CN118053260A - 基于物联网的生产车间施工作业安全预警系统及方法 - Google Patents

Abstract

本申请涉及安全预警领域，其具体地公开了一种基于物联网的生产车间施工作业安全预警系统及方法，其首先获取由摄像头采集的施工作业车行驶过程的周围环境图像和由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值，然后利用深度学习技术，对二者进行特征提取和关联分析，最后通过分类器以得到分类结果，以判断是否发出安全预警警报，从而进一步提升施工作业车辆的安全性能并减少事故风险。

Description

基于物联网的生产车间施工作业安全预警系统及方法

技术领域

本申请涉及安全预警领域，且更为具体地，涉及一种基于物联网的生产车间施工作业安全预警系统及方法。

背景技术

生产车间施工作业是指在制造车间内进行各种生产工艺操作和设备调试的过程。这包括原材料的加工、产品的组装、设备的维护和调整等工作内容。在施工作业过程中，操作人员需要严格遵守操作规程，确保生产过程安全高效地进行，以保障产品质量和生产效率。

在生产车间进行施工维护作业时，必须在不中断生产的情况下，确保施工单位不改变现有生产设备的位置、结构、操作方式。此外，由于施工地点和时间不确定，施工任务具有随机性，工程作业和机械设备检修任务具有临时性。特别是考虑到车间生产环境存在行车重载、长距离、不定时、无规律来回作业以及噪音大等特点，可能导致意外情况，如货物坠落，对施工人员造成威胁。

因此，期望一种基于物联网的生产车间施工作业安全预警系统及方法。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于物联网的生产车间施工作业安全预警系统及方法，其首先获取由摄像头采集的施工作业车行驶过程的周围环境图像和由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值，然后利用深度学习技术，对二者进行特征提取和关联分析，最后通过分类器以得到分类结果，以判断是否发出安全预警警报，从而进一步提升施工作业车辆的安全性能并减少事故风险。

根据本申请的一个方面，提供了一种基于物联网的生产车间施工作业安全预警系统，其包括：

施工作业车行驶数据获取模块，用于获取由摄像头采集的施工作业车行驶过程的周围环境图像和由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值；

施工作业车行驶数据提取模块，用于从所述由摄像头采集的施工作业车行驶过程的周围环境图像和所述由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值中提取施工作业车周围环境关联特征向量和作业车距离关联特征向量；

安全预警判断模块，用于基于所述施工作业车周围环境关联特征向量和所述作业车距离关联特征向量，判断是否发出安全预警警报。

根据本申请的另一方面，提供了一种基于物联网的生产车间施工作业安全预警方法，其包括：

获取由摄像头采集的施工作业车行驶过程的周围环境图像和由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值；

从所述由摄像头采集的施工作业车行驶过程的周围环境图像和所述由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值中提取施工作业车周围环境关联特征向量和作业车距离关联特征向量；

基于所述施工作业车周围环境关联特征向量和所述作业车距离关联特征向量，判断是否发出安全预警警报。

与现有技术相比，本申请提供的一种基于物联网的生产车间施工作业安全预警系统及方法，其首先获取由摄像头采集的施工作业车行驶过程的周围环境图像和由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值，然后利用深度学习技术，对二者进行特征提取和关联分析，最后通过分类器以得到分类结果，以判断是否发出安全预警警报，从而进一步提升施工作业车辆的安全性能并减少事故风险。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的基于物联网的生产车间施工作业安全预警系统的框图。

图2为根据本申请实施例的基于物联网的生产车间施工作业安全预警系统中施工作业车行驶数据提取模块的框图。

图3为根据本申请实施例的基于物联网的生产车间施工作业安全预警系统中作业车行驶环境特征提取单元的框图。

图4为根据本申请实施例的基于物联网的生产车间施工作业安全预警系统中安全预警判断模块的框图。

图5为根据本申请实施例的基于物联网的生产车间施工作业安全预警方法的流程图。

图6为根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

示例性系统

图1为根据本申请实施例的基于物联网的生产车间施工作业安全预警系统的框图。如图1所示，根据本申请实施例的基于物联网的生产车间施工作业安全预警系统100，包括：施工作业车行驶数据获取模块110，用于获取由摄像头采集的施工作业车行驶过程的周围环境图像和由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值；施工作业车行驶数据提取模块120，用于从所述由摄像头采集的施工作业车行驶过程的周围环境图像和所述由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值中提取施工作业车周围环境关联特征向量和作业车距离关联特征向量；安全预警判断模块130，用于基于所述施工作业车周围环境关联特征向量和所述作业车距离关联特征向量，判断是否发出安全预警警报。

在上述基于物联网的生产车间施工作业安全预警系统100中，所述施工作业车行驶数据获取模块110，用于获取由摄像头采集的施工作业车行驶过程的周围环境图像和由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值。应可以理解，在进行车间施工维护作业时，关键是确保施工单位在不中断生产的情况下，不改变现有生产设备的位置、结构和操作方式。施工任务的时间和地点通常具有不确定性，呈现出随机性和临时性。考虑到车间生产环境的特殊性，如行车重载、长距离操作、不定时移动以及噪音问题，存在一定风险，如货物可能坠落，对施工人员构成威胁。这些因素需要特别关注，以确保施工安全进行的同时保持生产连续性。仅依靠施工作业车与周围环境的测距值可能导致预警不准确。因此，在本申请的技术方案中，通过结合深度学习技术，利用摄像头采集的施工作业车行驶过程中的周围环境图像和相位式激光测距传感器在多个预定时间点采集的施工作业车与周围环境的测距值，以提高作业车安全预警的准确性。其中，摄像头提供了视觉信息，可以捕捉施工作业车周围环境的实时图像，包括行人、障碍物等，为系统提供了直观的环境感知数据。这些图像数据通过分析处理，可以提取出施工作业车周围环境的特征信息。另一方面，相位式激光测距传感器则提供了高精度的距离信息，能够实时测量施工作业车与周围环境的距离值。这些距离数值的采集可以帮助系统准确地了解施工作业车与周围障碍物之间的距离情况，从而及时发现潜在的碰撞风险或安全隐患。综合利用摄像头和激光测距传感器采集的数据，系统可以全面感知施工作业车的周围环境，实现对施工作业车行驶过程的全方位监控和安全评估，以及时发出安全预警警报，帮助避免潜在的事故风险，保障生产车间施工作业的安全进行。

在上述基于物联网的生产车间施工作业安全预警系统100中，所述施工作业车行驶数据提取模块120，用于从所述由摄像头采集的施工作业车行驶过程的周围环境图像和所述由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值中提取施工作业车周围环境关联特征向量和作业车距离关联特征向量。应可以理解，综合利用摄像头图像和激光测距数据，系统能够综合考虑车辆周围环境和车辆位置的信息，从而提取出施工作业车周围环境关联特征向量和作业车距离关联特征向量。这些特征向量是安全预警系统判断是否发出警报的关键依据，能够帮助系统准确、及时地识别潜在的安全风险，保障施工作业的顺利进行并最大程度地减少事故发生的可能性。

图2为根据本申请实施例的基于物联网的生产车间施工作业安全预警系统中施工作业车行驶数据提取模块的框图。如图2所示，在本申请一个具体的实施例中，所述施工作业车行驶数据提取模块120，包括：作业车行驶环境数据预处理单元121，用于对所述由摄像头采集的施工作业车行驶过程的周围环境图像进行数据预处理以得到多个施工作业车周围环境特征图；作业车行驶环境特征提取单元122，用于对所述多个施工作业车周围环境特征图进行特征提取以得到所述施工作业车周围环境关联特征向量；作业车测距特征提取单元123，用于对所述由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值进行特征提取以得到所述作业车距离关联特征向量。应可以理解，在生产车间施工作业安全预警的场景中，摄像头采集的图像可能受到光照等因素的影响，包含大量噪声和干扰。通过数据预处理，可以有效地消除这些干扰，提高图像的质量和清晰度。

进一步地，特征提取的过程可以将复杂的图像信息转化为简洁而有意义的特征表示。通过对多个施工作业车周围环境特征图进行特征提取，系统可以更深入地挖掘图像中的信息，从而得到施工作业车周围环境的关联特征向量。这些特征向量包含了图像中的关键信息，如障碍物位置、周围环境情况、潜在危险因素等，有助于系统更准确地分析和理解车辆周围的情况，提供更精准的安全预警和决策支持。

更进一步地，通过采集多个预定时间点的施工作业车与周围环境的测距值，可以从中提取出有意义的特征，以便系统能够更好地理解和分析车辆的位置关系，从而实现更精确的安全监测和预警。其中，特征提取可以帮助系统识别和区分不同的行为模式或情境。通过提取出车辆距离周围环境的特征，系统可以判断车辆是否存在潜在的危险情况，如与障碍物过近、偏离车道等。这些特征可以作为系统进行安全预警和监测的依据，及时发现并应对潜在的安全风险。

在本申请一个具体的实施例中，所述作业车行驶环境数据预处理单元121，包括：对所述由摄像头采集的施工作业车行驶过程的周围环境图像进行划分以得到多个施工作业车行驶周围环境图像；将所述多个施工作业车行驶周围环境图像通过具有多特征提取能力的施工作业车周围环境卷积神经网络模型以得到所述多个施工作业车周围环境特征图。应可以理解，通过将整个行驶过程的图像分割为多个小区域或时间段，可以更细致地观察和分析车辆周围的各个部分，为系统提供更全面和详细的信息。这种划分可以基于空间或时间进行，例如将整个行驶路段划分为若干个区域或将行驶过程分割为不同的时间段，以便系统能够针对每个小区域或时间段进行个别分析。并且，划分图像还可以帮助系统实现对车辆行驶过程的实时监测和跟踪。通过将整个行驶过程分割为多个小区域或时间段，系统可以更及时地捕捉到车辆周围环境的变化，从而更快速地做出反应和提供预警信息，确保行驶安全。

进一步地，将多个施工作业车行驶周围环境图像通过具有多特征提取能力的施工作业车周围环境卷积神经网络模型进行处理，旨在从这些图像中提取出丰富而有意义的特征信息。其中，通过施工作业车周围环境卷积神经网络模型处理多个施工作业车周围环境图像，可以得到多个施工作业车周围环境特征图。这些特征图包含了经过模型学习和提取的丰富信息，如道路、障碍物等环境元素的特征表示。具体地，所述具有多特征提取能力的施工作业车周围环境卷积神经网络模型，包括：第一卷积层、与所述第一卷积层并行的第二卷积层，以及，与所述第一卷积层和所述第二卷积层连接的级联层，其中，所述第一卷积层使用具有第一尺度的一维卷积核，所述第二卷积层使用具有第二尺度的一维卷积核。

图3为根据本申请实施例的基于物联网的生产车间施工作业安全预警系统中作业车行驶环境特征提取单元的框图。如图3所示，在本申请一个具体的实施例中，所述作业车行驶环境特征提取单元122，包括：作业车环境目标特征编码子单元1221，用于对所述多个施工作业车周围环境特征图进行目标特征编码以得到施工作业车周围环境关联特征图；作业车环境池化子单元1222，用于对所述施工作业车周围环境关联特征图进行全局均值池化以得到所述施工作业车周围环境关联特征向量。应可以理解，通过目标特征编码可以将不同特征图之间的相关性和关联性进行建模和捕捉。这样，可以更好地理解施工作业车周围环境各个方面之间的联系和影响，发现隐藏在特征图中的潜在规律和信息，为系统提供更深入的认知和分析能力。

进一步地，对施工作业车周围环境关联特征图进行全局均值池化可以将这些特征图中的丰富信息进行整合和压缩，从而得到一个紧凑且具有代表性的施工作业车周围环境关联特征向量。其中，全局均值池化是一种常用的池化操作，通过对整个特征图进行平均值计算，可以有效地保留主要特征并降低特征维度。应可以理解，在施工作业车周围环境关联特征图中，每个像素点都包含着对应位置的特征信息，而全局均值池化则将整个特征图的信息进行统一处理，将每个通道的特征值取平均，从而得到一个全局性的特征描述。这种操作有助于减少特征维度，降低计算复杂度，同时保留了关键特征，使得最终得到的施工作业车周围环境关联特征向量更具有代表性和稳定性。

在本申请一个具体的实施例中，所述作业车环境目标特征编码子单元1221，包括：将所述多个施工作业车周围环境特征图通过施工作业车环境目标检测网络以得到多个施工作业车周围环境感兴趣区域；将所述多个施工作业车周围环境感兴趣区域通过施工作业车周围环境显著目标检测器以得到所述施工作业车周围环境关联特征图。应可以理解，施工作业车环境目标检测网络能够通过深度学习算法和目标检测技术，对输入的施工作业车周围环境特征图进行高效的特征提取和目标识别。这样，网络可以准确地捕捉到施工作业车周围环境中各种目标的特征信息，包括行人、障碍物等，从而实现对感兴趣区域的全面检测和识别。相应地，在本申请的一个具体示例中，所述施工作业车环境目标检测网络为FastR-CNN、Faster R-CNN或Ret i naNet。具体地，使用所述施工作业车环境目标检测网络以如下目标检测公式对所述多个施工作业车周围环境特征图进行处理以得到所述多个施工作业车周围环境感兴趣区域；

其中，所述目标检测公式为：

其中，ψ_det为多个施工作业车周围环境特征图，B为锚框，ROI为多个施工作业车周围环境感兴趣区域，cls(ψ_det,B)表示分类，Regr(ψ_det,B)表示回归。

进一步地，将多个施工作业车周围环境感兴趣区域通过施工作业车周围环境显著目标检测器处理，旨在从这些区域中提取出关键的环境特征，进而生成施工作业车周围环境关联特征图。这一过程的关键在于通过显著目标检测器，能够更准确地识别和提取出施工作业车周围环境中最具显著性和重要性的目标。通过施工作业车周围环境显著目标检测器，可以进一步从感兴趣区域中提取出最显著的目标信息，即那些在视觉上更加突出和重要的目标，以准确地捕捉到施工作业车周围环境中的关键目标，帮助系统更好地理解和把握环境特征。具体地，使用所述施工作业车周围环境显著目标检测器的各层在层的正向传递中分别对输入数据进行：使用第一卷积核对所述输入数据进行卷积处理以得到第一卷积特征图；使用第二卷积核对所述第一卷积特征图进行卷积处理以得到第二卷积特征图，其中，所述第一卷积核的尺寸大于所述第二卷积核的尺寸；对所述第二卷积特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行激活处理以得到激活特征图；其中，所述施工作业车周围环境显著目标检测器的最后一层的输出为所述施工作业车周围环境关联特征图，所述施工作业车周围环境显著目标检测器的第一层的输入为所述多个施工作业车周围环境感兴趣区域。

在本申请一个具体的实施例中，所述作业车测距特征提取单元123，包括：将所述由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值构造为作业车环境距离输入向量；将所述作业车环境距离输入向量通过周围环境距离时序编码模型以得到所述作业车距离关联特征向量。应可以理解，通过采集多个时间点的施工作业车与周围环境的测距值，可以获得作业车在不同时间下与周围环境的距离信息。这种时序性的数据采集能够捕捉到作业车周围环境的动态变化，包括作业车移动、周围障碍物位置变化等情况，为系统提供更为丰富和准确的空间信息。并且，将这些测距数值构造为作业车环境距离输入向量能够将多个时间点的距离信息整合为一个向量表示，简化了数据的处理和分析过程。这样的向量表示能够更好地反映作业车与周围环境之间的整体关系，为系统提供更高效和综合的输入特征。

进一步地，通过周围环境距离时序编码模型，可以将作业车环境距离输入向量中的时间序列信息进行有效地编码和建模。其中，作业车距离关联特征向量的生成可以帮助系统更好地理解作业车与周围环境之间的距离关系，为作业车的自主导航、避障和路径规划等任务提供重要的信息支持。通过时序编码模型生成的特征向量，系统可以更准确地把握作业车与周围环境间的距离变化趋势。具体地，使用所述周围环境距离时序编码模型的全连接层对所述作业车环境距离输入向量进行全连接编码以提取所述作业车环境距离输入向量中各个位置的特征值的高维隐含特征；以及，使用所述周围环境距离时序编码模型的一维卷积层对所述作业车环境距离输入向量进行一维编码以提取所述作业车环境距离输入向量中各个位置的特征值间的关联的高维隐含关联特征。

在上述基于物联网的生产车间施工作业安全预警系统100中，所述安全预警判断模块130，用于基于所述施工作业车周围环境关联特征向量和所述作业车距离关联特征向量，判断是否发出安全预警警报。应可以理解，通过分析所述施工作业车周围环境关联特征向量和所述作业车距离关联特征向量，系统可以检测作业车辆与周围环境之间的关系，包括距离变化、速度、方向等信息。如果系统检测到潜在的安全风险，比如作业车辆与障碍物距离过近或速度异常，就可以发出安全预警警报。这种智能预警系统能够帮助监控人员及时发现潜在的危险情况，有效减少事故发生的可能性，提高施工现场的安全性和效率。这种智能化的安全监测系统将为施工行业带来更多的便利和保障。

图4为根据本申请实施例的基于物联网的生产车间施工作业安全预警系统中安全预警判断模块的框图。如图4所示，在本申请一个具体的实施例中，所述安全预警判断模块130，包括：作业车数据特征融合单元131，用于将所述施工作业车周围环境关联特征向量和所述作业车距离关联特征向量进行融合以得到安全预警判断特征向量；优化单元132，用于计算所述安全预警判断特征向量的基于类概率的等效强度表征以得到优化安全预警判断特征向量；预警警报判断生成单元133，用于将所述优化安全预警判断特征向量通过分类器以得到分类结果，所述分类结果用于判断是否发出安全预警警报。应可以理解，通过融合这两类特征向量，系统可以在更高的层面上理解作业车的周围环境状态以及作业车本身的位置信息，从而实现更全面、更准确的安全预警判断。其中，施工作业车周围环境关联特征向量提供了关于周围环境的重要信息，包括道路状况、障碍物位置、其他车辆情况等，这些信息对于作业车安全行驶至关重要。而作业车距离关联特征向量则反映了作业车与周围环境之间的距离关系，可以帮助系统准确把握作业车与周围物体的距离变化情况。将施工作业车周围环境关联特征向量和作业车距离关联特征向量进行融合，可以综合考虑作业车与周围环境之间的复杂关系，从而更准确地判断安全预警情况。

特别地，在本申请技术方案中，首先，从摄像头获取施工作业车周围环境图像和从相位式激光测距传感器获取施工作业车与周围环境的测距值。图像会被分割，然后经过卷积神经网络提取多个特征图，接着通过目标检测网络得到感兴趣区域，再通过显著目标检测器得到关联特征图。与此同时，测距值被处理以构建与作业车环境距离相关的特征向量，最后这些特征向量融合为安全预警判断特征向量，用来预测是否发出安全预警警报。考虑到在安全预警判断任务中，可能存在类别不平衡。这意味着不同类别(可能是“发出安全预警”和“不发出安全预警”)的样本数量不均衡。在施工作业车的安全监测中，发出安全预警的情况可能相对较少，而正常行驶无需预警的情况可能更常见。这种不平衡会影响模型的学习和预测结果。类别不平衡可能导致模型偏向于多数类别，从而影响对少数类别的预测能力。为了解决这个问题，在本申请技术方案中，计算所述安全预警判断特征向量的基于类概率的等效强度表征。

其中，计算所述安全预警判断特征向量的基于类概率的等效强度表征以得到优化安全预警判断特征向量，包括：使用训练完成的预分类模型对所述安全预警判断特征向量进行分类回归以得到类概率特征向量；计算所述类概率特征向量中各个位置的类概率值的倒数作为等效强度值以得到类概率等效强度表征特征向量；以所述类概率等效强度表征特征向量中各个位置的特征值作为系数分别乘以所述类概率特征向量以得到等效强度表征安全预警判断特征向量的序列；以及，将所述等效强度表征安全预警判断特征向量的序列输入基于RNN模型的优化编码器以得到所述优化安全预警判断特征向量。

这里，计算所述安全预警判断特征向量的基于类概率的等效强度表征以得到优化安全预警判断特征向量，其首先，利用已经训练好的预分类模型，将待优化的安全预警判断特征向量输入到该模型中进行分类回归。模型会输出每个类别的概率值，形成类概率特征向量，以提供关于所述安全预警判断特征向量所属类别的信息。然后，对类概率特征向量中每个位置的类概率值取倒数，并对应地乘以类概率特征向量的每个位置，从而将类概率的重要性信息转化为等效强度表征，以更好地表示特征向量的重要性，同时，优化过程可以更直接地针对特征向量的类别概率进行调整，从而更好地优化安全预警判断特征向量。最后，将得到的等效强度表征安全预警判断特征向量的序列输入到基于RNN模型的优化编码器中，以进一步处理这些特征向量序列，优化它们以得到最终的优化安全预警判断特征向量，使安全预警判断特征向量更好地表示特征的重要性和类别概率信息，从而可以帮助模型更好地区分不同类别之间的特征差异，提高分类模型的性能和泛化能力。此外，基于类概率的等效强度表征可以更好地平衡不同类别之间的重要性，也提高模型的可解释性。

具体地，计算所述类概率特征向量中各个位置的类概率值的倒数作为等效强度值以得到类概率等效强度表征特征向量，包括：创建一个切面类，用于定义切面逻辑；在Spring的配置文件中启用AOP支持；创建一个服务类，所述服务类中包含计算所述类概率特征向量中各个位置的类概率值的倒数作为等效强度值以得到类概率等效强度表征特征向量的计算方法；以及，在代码中调用所述服务类中的计算方法，触发AOP切面的逻辑。

这里，部分实现代码如下。

在这种情况下，使用Spring AOP机制来实现“计算类概率特征向量中各个位置的类概率值的倒数作为等效强度值”具有一些优点：

1.解耦业务逻辑和横切关注点：AOP可以帮助将横切关注点(如计算倒数)与业务逻辑(计算类概率特征向量)分离开来，使代码更具模块化和可维护性。

2.重用性：通过AOP，您可以将倒数计算逻辑应用于多个地方而无需重复编写代码，提高了代码的重用性。

3.易于维护：将横切关注点抽象为切面，可以更容易地管理和维护这些横切关注点的逻辑，而不会将其散布在整个代码库中。

4.可扩展性：如果将来需要修改倒数计算的逻辑或添加其他类似的横切关注点，使用AOP可以更容易地进行扩展和修改。

5.代码整洁性：AOP可以使业务逻辑更加清晰和简洁，因为横切关注点的逻辑被分离到单独的切面中，不会与业务逻辑混在一起。

总的来说，使用Spring AOP机制可以帮助您更好地管理和组织代码，提高代码的可维护性、可扩展性和整洁性，同时实现所需的功能。

进一步地，通过分类器得到的分类结果可以用于判断是否发出安全预警警报。如果分类结果表明存在安全风险，警报系统可以立即触发，提醒相关人员采取相应的措施，确保施工作业车辆和周围环境的安全。这种自动化的安全预警系统能够大大提高施工现场的安全性和效率，减少事故发生的可能性，保障工作人员的生命财产安全。

综上，本申请实施例首先获取由摄像头采集的施工作业车行驶过程的周围环境图像和由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值，然后利用深度学习技术，对二者进行特征提取和关联分析，最后通过分类器以得到分类结果，以判断是否发出安全预警警报，从而进一步提升施工作业车辆的安全性能并减少事故风险。

如上所述，根据本申请实施例的所述基于物联网的生产车间施工作业安全预警系统100可以实现在各种终端设备中，例如部署有基于物联网的生产车间施工作业安全预警算法的服务器等。在一个示例中，根据基于物联网的生产车间施工作业安全预警系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于物联网的生产车间施工作业安全预警系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于物联网的生产车间施工作业安全预警系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于物联网的生产车间施工作业安全预警系统100与该终端设备也可以是分立的设备，并且基于物联网的生产车间施工作业安全预警系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图5为根据本申请实施例的基于物联网的生产车间施工作业安全预警方法的流程图。如图5所示，根据本申请实施例的基于物联网的生产车间施工作业安全预警方法，其包括：S110，获取由摄像头采集的施工作业车行驶过程的周围环境图像和由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值；S120，从所述由摄像头采集的施工作业车行驶过程的周围环境图像和所述由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值中提取施工作业车周围环境关联特征向量和作业车距离关联特征向量；S130，基于所述施工作业车周围环境关联特征向量和所述作业车距离关联特征向量，判断是否发出安全预警警报。

这里，本领域技术人员可以理解，上述基于物联网的生产车间施工作业安全预警方法中的各个步骤的具体操作已经在上面参考图1至图4的基于物联网的生产车间施工作业安全预警系统的描述中得到了详细介绍，并因此，将省略其重复描述。

示例性电子设备

下面，参考图6来描述根据本申请实施例的电子设备。

如图6所示，电子设备10包括输入设备11、输入接口12、中央处理器13、存储器14、输出接口15、输出设备16、以及总线17。其中，输入接口12、中央处理器13、存储器14、以及输出接口15通过总线17相互连接，输入设备11和输出设备16分别通过输入接口12和输出接口15与总线17连接，进而与电子设备10的其他组件连接。

具体地，输入设备11接收来自外部的输入信息，并通过输入接口12将输入信息传送到中央处理器13；中央处理器13基于存储器14中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器14中，然后通过输出接口15将输出信息传送到输出设备16；输出设备16将输出信息输出到电子设备10的外部供用户使用。

在一个实施例中，图6所示的电子设备10可以被实现为一种网络设备，该网络设备可以包括：存储器，被配置为存储程序；处理器，被配置为运行存储器中存储的程序，以执行上述实施例描述的任意一种基于物联网的生产车间施工作业安全预警方法。

根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，和/或从可拆卸存储介质被安装。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。

可以理解的是，以上实施方式仅仅是为了说明本申请的原理而采用的示例性实施方式，然而本申请并不局限于此。对于本领域内的普通技术人员而言，在不脱离本申请的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本申请的保护范围。

Claims (10)

1.一种基于物联网的生产车间施工作业安全预警系统，其特征在于，包括：

施工作业车行驶数据获取模块，用于获取由摄像头采集的施工作业车行驶过程的周围环境图像和由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值；

施工作业车行驶数据提取模块，用于从所述由摄像头采集的施工作业车行驶过程的周围环境图像和所述由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值中提取施工作业车周围环境关联特征向量和作业车距离关联特征向量；

安全预警判断模块，用于基于所述施工作业车周围环境关联特征向量和所述作业车距离关联特征向量，判断是否发出安全预警警报。

2.根据权利要求1所述的基于物联网的生产车间施工作业安全预警系统，其特征在于，所述施工作业车行驶数据提取模块，包括：

作业车行驶环境数据预处理单元，用于对所述由摄像头采集的施工作业车行驶过程的周围环境图像进行数据预处理以得到多个施工作业车周围环境特征图；

作业车行驶环境特征提取单元，用于对所述多个施工作业车周围环境特征图进行特征提取以得到所述施工作业车周围环境关联特征向量；

作业车测距特征提取单元，用于对所述由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值进行特征提取以得到所述作业车距离关联特征向量。

3.根据权利要求2所述的基于物联网的生产车间施工作业安全预警系统，其特征在于，所述作业车行驶环境数据预处理单元，包括：

对所述由摄像头采集的施工作业车行驶过程的周围环境图像进行划分以得到多个施工作业车行驶周围环境图像；

将所述多个施工作业车行驶周围环境图像通过具有多特征提取能力的施工作业车周围环境卷积神经网络模型以得到所述多个施工作业车周围环境特征图。

4.根据权利要求3所述的基于物联网的生产车间施工作业安全预警系统，其特征在于，所述作业车行驶环境特征提取单元，包括：

作业车环境目标特征编码子单元，用于对所述多个施工作业车周围环境特征图进行目标特征编码以得到施工作业车周围环境关联特征图；

作业车环境池化子单元，用于对所述施工作业车周围环境关联特征图进行全局均值池化以得到所述施工作业车周围环境关联特征向量。

5.根据权利要求4所述的基于物联网的生产车间施工作业安全预警系统，其特征在于，所述作业车环境目标特征编码子单元，包括：

将所述多个施工作业车周围环境特征图通过施工作业车环境目标检测网络以得到多个施工作业车周围环境感兴趣区域；

将所述多个施工作业车周围环境感兴趣区域通过施工作业车周围环境显著目标检测器以得到所述施工作业车周围环境关联特征图。

6.根据权利要求5所述的基于物联网的生产车间施工作业安全预警系统，其特征在于，所述作业车测距特征提取单元，包括：

将所述由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值构造为作业车环境距离输入向量；

将所述作业车环境距离输入向量通过周围环境距离时序编码模型以得到所述作业车距离关联特征向量。

7.根据权利要求6所述的基于物联网的生产车间施工作业安全预警系统，其特征在于，所述安全预警判断模块，包括：

作业车数据特征融合单元，用于将所述施工作业车周围环境关联特征向量和所述作业车距离关联特征向量进行融合以得到安全预警判断特征向量；

优化单元，用于计算所述安全预警判断特征向量的基于类概率的等效强度表征以得到优化安全预警判断特征向量；

预警警报判断生成单元，用于将所述优化安全预警判断特征向量通过分类器以得到分类结果，所述分类结果用于判断是否发出安全预警警报。

8.根据权利要求7所述的基于物联网的生产车间施工作业安全预警系统，其特征在于，所述优化单元，包括：

使用训练完成的预分类模型对所述安全预警判断特征向量进行分类回归以得到类概率特征向量；

计算所述类概率特征向量中各个位置的类概率值的倒数作为等效强度值以得到类概率等效强度表征特征向量；

以所述类概率等效强度表征特征向量中各个位置的特征值作为系数分别乘以所述类概率特征向量以得到等效强度表征安全预警判断特征向量的序列；以及

将所述等效强度表征安全预警判断特征向量的序列输入基于RNN模型的优化编码器以得到所述优化安全预警判断特征向量。

9.根据权利要求8所述的基于物联网的生产车间施工作业安全预警系统，其特征在于，计算所述类概率特征向量中各个位置的类概率值的倒数作为等效强度值以得到类概率等效强度表征特征向量，包括：

创建一个切面类，用于定义切面逻辑；

在Spring的配置文件中启用AOP支持；

创建一个服务类，所述服务类中包含计算所述类概率特征向量中各个位置的类概率值的倒数作为等效强度值以得到类概率等效强度表征特征向量的计算方法；以及

在代码中调用所述服务类中的计算方法，触发AOP切面的逻辑。

10.一种基于物联网的生产车间施工作业安全预警方法，其特征在于，包括：

获取由摄像头采集的施工作业车行驶过程的周围环境图像和由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值；

从所述由摄像头采集的施工作业车行驶过程的周围环境图像和所述由相位式激光测距传感器采集的多个预定时间点的施工作业车与周围环境的测距值中提取施工作业车周围环境关联特征向量和作业车距离关联特征向量；

基于所述施工作业车周围环境关联特征向量和所述作业车距离关联特征向量，判断是否发出安全预警警报。