CN116403359A - 一种多模态图像识别算法的生产安全预警系统 - Google Patents
一种多模态图像识别算法的生产安全预警系统 Download PDFInfo
- Publication number
- CN116403359A CN116403359A CN202310665421.5A CN202310665421A CN116403359A CN 116403359 A CN116403359 A CN 116403359A CN 202310665421 A CN202310665421 A CN 202310665421A CN 116403359 A CN116403359 A CN 116403359A
- Authority
- CN
- China
- Prior art keywords
- thermal
- factory building
- unit
- area
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 238000001931 thermography Methods 0.000 claims abstract description 20
- 238000010586 diagram Methods 0.000 claims abstract description 15
- 238000007689 inspection Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims description 35
- 238000010438 heat treatment Methods 0.000 claims description 32
- 238000002310 reflectometry Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 239000000463 material Substances 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 9
- 238000011835 investigation Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种多模态图像识别算法的生产安全预警系统，涉及安全预警领域，包括厂房监测模块、机器人巡检模块以及数据处理模块，所述厂房监测模块用于实时对厂房区域进行热成像处理，得到区域热力图，所述机器人巡检模块用于采集物体的各类信息，所述数据处理模块用于对数据进行分析处理，本发明用于解决现有的生产安全预警系统还存在监测不够细致以及监测不够全面的问题。
Description
技术领域
本发明涉及安全预警领域，尤其涉及一种多模态图像识别算法的生产安全预警技术。
背景技术
安全预警，是指在安全事件发生之前，通过对潜在风险的识别、评估和预测，提前发现并预警可能出现的安全威胁，以便及时采取措施防范和化解风险；
现有生产安全预警系统中，针对火灾预警的检测，通常都是对厂房内的生产线以及生产线附近的区域进行安全监测，而针对其他区域通常都是利用烟雾报警器对火灾进行报警和洒水处理，导致用户出现经济损失，且现有的生产安全预警系统难以结合厂房内的物体的易燃程度对厂房的火灾风险进行预警，导致用户无法准确地知道哪些区域温度过高或者吸烟行为对厂房的危害，现有的生产安全预警系统还存在监测不够细致以及监测不够全面的问题。
发明内容
针对现有技术存在的不足，本发明提供了一种多模态图像识别算法的生产安全预警系统，能够通过检测分析物体的易燃性来确定厂房内不同区域的易燃程度，同时对厂房内所有区域进行实时监测，结合不同区域的易燃程度，判断厂房内是否存在火灾风险并及时发送预警信号，以解决现有的生产安全预警系统还存在监测不够细致以及监测不够全面的问题。
为了实现上述目的，本发明是通过如下的技术方案来实现：一种多模态图像识别算法的生产安全预警系统，包括厂房监测模块、机器人巡检模块以及数据处理模块；所述厂房监测模块、红外热成像模块以及机器人巡检模块分别与数据处理模块数据连接；
所述厂房监测模块用于实时对厂房区域进行热成像处理，得到区域热力图；
所述机器人巡检模块包括移动单元、图像采集单元、物体加热单元、机载热成像单元、光照单元、压力检测单元以及测距单元，所述移动单元用于在厂房内进行自由移动；所述图像采集单元用于采集物体的反光图像；所述物体加热单元用于对物体进行加热处理；所述机载热成像单元用于对物体进行热成像处理，得到物体热力图；所述光照单元用于对物体进行照明；所述压力检测单元用于通过压力检测物体的维氏硬度值；所述测距单元用于检测机器人巡检模块与物体的距离，标记为相对距离；
所述数据处理模块包括物体位置分析单元、反光图像处理单元、热力图像处理单元、易燃等级分析单元以及安全预警单元，所述反光图像处理单元用于分析物体的反光图像，得到物体的反光度；所述热力图像处理单元用于分析物体热力图，得到物体的热力灰度值；所述物体位置分析单元用于基于机器人当前的定位，分析物体的相对位置，得到物体在厂房的绝对位置；所述物体位置分析单元还用于对厂房进行区域划分；所述易燃等级分析单元用于分析物体的反光度、热力图像以及硬度，得到物体的易燃等级；所述易燃等级包括一级易燃类、二级易燃类以及三级易燃类；所述安全预警单元用于分析易燃等级、绝对位置以及热力图像，得到区域的危险系数，根据危险系数进行安全预警。
进一步地，所述厂房监测模块包括若干热成像仪，若干热成像仪均匀分布在各厂房区域内并对厂房区域进行热力监测；所述机载热成像单元也包括热成像仪。
进一步地，所述测距单元包括超声波传感器，所述超声波传感器用于发射和接收超声波信号，通过超声波测距算法计算移动平台前方障碍物的距离，所述超声波测距算法配置为：S=t×v/2；
其中，S为障碍物与移动平台之间的距离，t为超声波传感器发射超声波信号到接收超声波信号的时间，v为声波在空气中传播的速度。
进一步地，所述压力检测单元包括维氏硬度计，所述维氏硬度计用于测试物体的维氏硬度值。
进一步地，所述物体位置分析单元配置有物体位置分析策略，所述物体位置分析策略包括：
获取厂房的空间信息并构建厂房的轮廓图；
采用SLAM法对机器人进行定位；
建立二维坐标系，所述二维坐标系包括X1轴和Y1轴，将轮廓图的长边与X轴保持平行，将轮廓图的宽边与Y轴保持平行，将轮廓图对应到二维坐标系中得到厂房的平面图；基于平面图以第一划分长度为边长对厂房进行区域划分，划分后的区域标记为厂房区域；
获取机器人当前的坐标，标记为机器人坐标，获取机器人的朝向，将机器人的朝向与X轴的夹角标记为偏移度；
通过测距单元获取机器人与物体的相对距离，并通过公式Xi=cosθ×L计算机器人与物体横坐标差值，其中，Xi为横坐标差值，θ为偏移度，L为相对距离；
通过公式Yi=sinθ×L计算机器人与物体纵坐标差值，其中，Yi为纵坐标差值；
以机器人当前坐标为原点，建立平面坐标系，所述平面坐标系包括X2轴以及Y2轴，所述X1轴与X2轴平行，Y1轴与Y2轴平行，获取物体在平面坐标系的象限；
若物体在平面坐标系的第一象限，则通过公式X1g=X1e+Xi计算得到物体在二维坐标系的横坐标，其中，X1g为物体横坐标，X1e为机器人横坐标；通过公式Y1g=Y1e+Yi计算得到物体在二维坐标系的纵坐标，其中，Y1g为物体纵坐标，Y1e为机器人纵坐标；
若物体在平面坐标系的第二象限，则通过公式X1g=X1e-Xi计算得到物体在二维坐标系的横坐标；通过公式Y1g=Y1e+Yi计算得到物体在二维坐标系的纵坐标；
若物体在平面坐标系的第三象限，则通过公式X1g=X1e-Xi计算得到物体在二维坐标系的横坐标；通过公式Y1g=Y1e-Yi计算得到物体在二维坐标系的纵坐标；
若物体在平面坐标系的第四象限，则通过公式X1g=X1e+Xi计算得到物体在二维坐标系的横坐标；通过公式Y1g=Y1e-Yi计算得到物体在二维坐标系的纵坐标；
基于物体横坐标以及纵坐标，在二维坐标系内对物体进行标记。
进一步地，所述反光图像处理单元配置有反光图像处理策略，所述反光图像处理策略包括：
对物体进行光照，并通过图像采集单元获取物体的反光图像；
对反光图像进行灰度化处理，得到物体的反光灰度图；
获取反光灰度图内所有像素点的灰度值，将灰度值最小的像素点的灰度值标记为反光灰度值；
通过反光度算法
计算物体的反光度；其中，F为物体的反光度，Fh为物体的反光灰度值，α为预设反光系数。
进一步地，所述热力图像处理单元用于对热力图像进行灰度化处理，得到热力灰度图；获取热力灰度图上各像素点的灰度值，将灰度值最大的像素点的灰度值标记为热力灰度值。
进一步地，所述易燃等级分析单元配置有易燃等级分析策略，所述易燃等级分析策略包括：
建立物体材质易燃等级数据库，查询大数据系统，录入各种材料的常态灰度值、加热灰度值、反光度、维氏硬度值以及易燃等级；
获取物体在常温状态下的热力灰度值，标记为常态灰度值；
对物体进行加热，当加热到第一加热阈值时停止加热，获取物体的热力灰度值，标记为加热灰度值；
通过压力检测单元检测物体的维氏硬度值，获取物体的反光度；
将物体的常态灰度值、加热灰度值、反光度以及维氏硬度值与物体材质易燃等级数据库内的数据进行比对查找，得到物体的易燃等级。
进一步地，所述安全预警单元配置有安全预警策略，所述安全预警策略包括：
获取厂房区域内所有物体的易燃等级，若厂房区域内包含一级易燃类的物体或二级易燃类的物体，则将厂房区域标记为易燃区；若厂房区域内仅包含三级易燃类的物体，则将厂房区域标记为不易燃区；
实时获取厂房区域的热力图，通过热力图像处理单元获取厂房区域的热力灰度值，标记为区域热力灰度值；
将区域热力灰度值与第一热力阈值进行比对，若热力灰度值小于等于第一热力阈值，则输出热力正常信号；若热力灰度值大于第一热力阈值，则输出热力异常信号；
当检测到热力异常信号时，获取厂房区域是否为易燃区，若厂房区域是易燃区，则输出火灾预警信号；若厂房区域不是易燃区，则输出火灾排查信号；
当输出火灾排查信号时，获取所有与当前厂房区域相邻的厂房区域是否包含易燃区，若包含易燃区，则输出火灾预警信号；若不包含易燃区，则输出环境正常信号。
本发明的有益效果：本发明通过检测物体的维氏硬度值、反光度以及物体表面的温度，通过大数据比对查找确定厂房内所有物体的易燃等级，并对厂房内不同区域进行易燃等级划分，通过结合物体易燃性进行分析的方式对厂房进行安全预警，提高了安全预警系统分析的全面性以及厂房生产的安全性；
本发明通过对厂房所有区域进行热成像监测，实时判断区域内是否存在高温区域或者是否有明火以及吸烟行为，结合不同区域的易燃性进行安全预警，提高了厂房生产的安全性以及安全预警的及时性。
本发明附加方面的优点将在下面的具体实施方式的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：
图1为本发明的系统的原理框图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
请参阅图1所示，本发明提供一种多模态图像识别算法的生产安全预警系统，通过检测分析物体的易燃性来确定厂房内不同区域的易燃程度，同时对厂房内所有区域进行实时监测，结合不同区域的易燃程度，判断厂房内是否存在火灾风险并及时发送预警信号，以解决现有的生产安全预警系统还存在监测不够细致以及监测不够全面的问题。
具体地，安全预警系统包括图像识别模块、机器人巡检模块以及数据处理模块；图像识别模块、红外热成像模块以及机器人巡检模块分别与数据处理模块数据连接；
厂房监测模块用于实时对厂房区域进行热成像处理，得到区域热力图；
具体应用中，厂房监测模块包括若干红外热成像仪，若干红外热成像仪均匀分布在若干厂房区域内。
机器人巡检模块包括移动单元、图像采集单元、物体加热单元、机载热成像单元、光照单元、压力检测单元以及测距单元，移动单元用于在厂房内进行自由移动；图像采集单元用于采集物体的反光图像；物体加热单元用于对物体进行加热处理；机载热成像单元用于对物体进行热成像处理，得到物体热力图；光照单元用于对物体进行照明；压力检测单元用于通过压力检测物体的维氏硬度值；测距单元用于检测机器人巡检模块与物体的距离，标记为相对距离；
具体应用中，移动单元采用现有的移动机器人，图像采集单元采用高清摄像头，物体加热单元设置有的加热器，机载热成像单元设置有红外热成像仪，光照单元采用电筒照明，压力检测单元采用现有的维氏硬度计，测距单元采用现有的超声波传感器。
测距单元包括超声波传感器，超声波传感器用于发射和接收超声波信号，通过超声波测距算法计算移动平台前方障碍物的距离，超声波测距算法配置为：S=t×v/2；
其中，S为障碍物与移动平台之间的距离，t为超声波传感器发射超声波信号到接收超声波信号的时间，v为声波在空气中传播的速度；
具体应用中，获取到超声波传感器发射超声波信号到接收超声波信号的时间t为0.06s，声波在空气中传播的速度v为340m/s，则计算得到障碍物与移动平台之间的距离S为10.2m。
数据处理模块包括物体位置分析单元、反光图像处理单元、热力图像处理单元、易燃等级分析单元以及安全预警单元，反光图像处理单元用于分析物体的反光图像，得到物体的反光度；热力图像处理单元用于分析物体热力图，得到物体的热力灰度值；物体位置分析单元用于基于机器人当前的定位，分析物体的相对位置，得到物体在厂房的绝对位置；物体位置分析单元还用于对厂房进行区域划分；易燃等级分析单元用于分析物体的反光度、热力图像以及硬度，得到物体的易燃等级；易燃等级包括一级易燃类、二级易燃类以及三级易燃类；安全预警单元用于分析易燃等级、绝对位置以及热力图像，得到区域的危险系数，根据危险系数进行安全预警；
物体位置分析单元配置有物体位置分析策略，物体位置分析策略包括：
获取厂房的空间信息并构建厂房的轮廓图；
采用SLAM法对机器人进行定位；
建立二维坐标系，二维坐标系包括X1轴和Y1轴，将轮廓图的长边与X轴保持平行，将轮廓图的宽边与Y轴保持平行，将轮廓图对应到二维坐标系中得到厂房的平面图；基于平面图以第一划分长度为边长对厂房进行区域划分，划分后的区域标记为厂房区域；
获取机器人当前的坐标，标记为机器人坐标，获取机器人的朝向，将机器人的朝向与X轴的夹角标记为偏移度；
通过测距单元获取机器人与物体的相对距离，并通过公式Xi=cosθ×L计算机器人与物体横坐标差值，其中，Xi为横坐标差值，θ为偏移度，L为相对距离；
通过公式Yi=sinθ×L计算机器人与物体纵坐标差值，其中，Yi为纵坐标差值；
具体应用中，获取到机器人坐标为（10，20），获取到偏移度θ为30°，通过测距单元获取到相对距离L为10.2m，则计算得到横坐标差值Xi为8.83m，纵坐标差值Yi为5.10m，计算结果保留两位小数；
以机器人当前坐标为原点，建立平面坐标系，平面坐标系包括X2轴以及Y2轴，X1轴与X2轴平行，Y1轴与Y2轴平行，获取物体在平面坐标系的象限；
若物体在平面坐标系的第一象限，则通过公式X1g=X1e+Xi计算得到物体在二维坐标系的横坐标，其中，X1g为物体横坐标，X1e为机器人横坐标；通过公式Y1g=Y1e+Yi计算得到物体在二维坐标系的纵坐标，其中，Y1g为物体纵坐标，Y1e为机器人纵坐标；
若物体在平面坐标系的第二象限，则通过公式X1g=X1e-Xi计算得到物体在二维坐标系的横坐标；通过公式Y1g=Y1e+Yi计算得到物体在二维坐标系的纵坐标；
若物体在平面坐标系的第三象限，则通过公式X1g=X1e-Xi计算得到物体在二维坐标系的横坐标；通过公式Y1g=Y1e-Yi计算得到物体在二维坐标系的纵坐标；
若物体在平面坐标系的第四象限，则通过公式X1g=X1e+Xi计算得到物体在二维坐标系的横坐标；通过公式Y1g=Y1e-Yi计算得到物体在二维坐标系的纵坐标；
基于物体横坐标以及纵坐标，在二维坐标系内对物体进行标记；
具体应用中，获取物体在平面坐标系的象限为第一象限，则计算得到物体的物体横坐标X1g为18.83，物体纵坐标Y1g为25.1，则物体坐标为（18.83，25.1），在二维坐标系内对坐标点（18.83，25.1）进行标记。
反光图像处理单元配置有反光图像处理策略，反光图像处理策略包括：
对物体进行光照，并通过图像采集单元获取物体的反光图像；
对反光图像进行灰度化处理，得到物体的反光灰度图；
获取反光灰度图内所有像素点的灰度值，将灰度值最小的像素点的灰度值标记为反光灰度值；
通过反光度算法
计算物体的反光度；其中，F为物体的反光度，Fh为物体的反光灰度值，α为预设反光系数；
具体应用中，α设置为0.2获取到物体的反光灰度值Fh为165，则通过计算得到物体的反光度F为33。
热力图像处理单元用于对热力图像进行灰度化处理，得到热力灰度图；获取热力灰度图上各像素点的灰度值，将灰度值最大的像素点的灰度值标记为热力灰度值；
具体应用中，获取到物体的热力灰度图中灰度值最高为186，则物体的热力灰度值为186。
易燃等级分析单元配置有易燃等级分析策略，易燃等级分析策略包括：
建立物体材质易燃等级数据库，查询大数据系统，录入各种材料的常态灰度值、加热灰度值、反光度、维氏硬度值以及易燃等级；
获取物体在常温状态下的热力灰度值，标记为常态灰度值；
对物体进行加热，当加热到第一加热阈值时停止加热，获取物体的热力灰度值，标记为加热灰度值；
通过压力检测单元检测物体的维氏硬度值，获取物体的反光度；
将物体的常态灰度值、加热灰度值、反光度以及维氏硬度值与物体材质易燃等级数据库内的数据进行比对查找，得到物体的易燃等级；
具体应用中，物体材质易燃等级数据库部分数据如下表所示：
第一加热阈值设置为100℃，获取到物体的常态灰度值为126，加热灰度值为209，检测到物体的维氏硬度值为23GPa，物体的反光度为33；则通过数据比对得到物体的易燃等级为一级易燃类。
安全预警单元配置有安全预警策略，安全预警策略包括：
获取厂房区域内所有物体的易燃等级，若厂房区域内包含一级易燃类的物体或二级易燃类的物体，则将厂房区域标记为易燃区；若厂房区域内仅包含三级易燃类的物体，则将厂房区域标记为不易燃区；
实时获取厂房区域的热力图，通过热力图像处理单元获取厂房区域的热力灰度值，标记为区域热力灰度值；
将区域热力灰度值与第一热力阈值进行比对，若热力灰度值小于等于第一热力阈值，则输出热力正常信号；若热力灰度值大于第一热力阈值，则输出热力异常信号；
当检测到热力异常信号时，获取厂房区域是否为易燃区，若厂房区域是易燃区，则输出火灾预警信号；若厂房区域不是易燃区，则输出火灾排查信号；
当输出火灾排查信号时，获取所有与当前厂房区域相邻的厂房区域是否包含易燃区，若包含易燃区，则输出火灾预警信号；若不包含易燃区，则输出环境正常信号；
具体应用中，第一热力阈值设置为180，获取到厂房区域一内包含物体1为一级易燃类，则厂房区域一为易燃区；获取到厂房区域一的区域热力灰度值为196，通过比对得到区域热力灰度值大于第一热力阈值，则输出热力异常信号，由于区域一为易燃区，则输出火灾预警信号。
工作原理：首先通过物体位置分析单元构建厂房的轮廓图并建立二维坐标系得到厂房的平面图，再通过测距单元以及物体位置分析单元结合分析得到物体在厂房的绝对位置，并对厂房进行区域划分；
通过光照单元以及图像采集单元获取物体的反光图像，再通过反光图像分析单元分析得到物体的反光度，再通过热力图像处理单元获取物体的常态灰度值以及加热灰度值，同时通过压力检测单元获取物体的维氏硬度值，通过易燃等级分析单元对物体的常态灰度值、加热灰度值、反光度以及维氏硬度值进行分析，得到物体的易燃等级；
通过安全预警单元对厂房区域进行易燃等级划分，再通过厂房检测模块对厂房区域进行监测，实时获取厂房区域的区域热力图，再通过热力图像处理单元分析得到厂房区域的区域热力灰度值，最后通过安全预警单元对厂房区域的易燃等级以及区域热力灰度值进行分析，根据分析结果输出预警信号。
以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种多模态图像识别算法的生产安全预警系统，其特征在于，包括厂房监测模块、机器人巡检模块以及数据处理模块；所述厂房监测模块、红外热成像模块以及机器人巡检模块分别与数据处理模块数据连接；
所述厂房监测模块用于实时对厂房区域进行热成像处理，得到区域热力图；
所述机器人巡检模块包括移动单元、图像采集单元、物体加热单元、机载热成像单元、光照单元、压力检测单元以及测距单元，所述移动单元用于在厂房内进行自由移动；所述图像采集单元用于采集物体的反光图像；所述物体加热单元用于对物体进行加热处理；所述机载热成像单元用于对物体进行热成像处理，得到物体热力图；所述光照单元用于对物体进行照明；所述压力检测单元用于通过压力检测物体的维氏硬度值；所述测距单元用于检测机器人巡检模块与物体的距离，标记为相对距离；
所述数据处理模块包括物体位置分析单元、反光图像处理单元、热力图像处理单元、易燃等级分析单元以及安全预警单元，所述反光图像处理单元用于分析物体的反光图像，得到物体的反光度；所述热力图像处理单元用于分析物体热力图，得到物体的热力灰度值；所述物体位置分析单元用于基于机器人当前的定位，分析物体的相对位置，得到物体在厂房的绝对位置；所述物体位置分析单元还用于对厂房进行区域划分；所述易燃等级分析单元用于分析物体的反光度、热力图像以及硬度，得到物体的易燃等级；所述易燃等级包括一级易燃类、二级易燃类以及三级易燃类；所述安全预警单元用于分析易燃等级、绝对位置以及热力图像，得到区域的危险系数，根据危险系数进行安全预警。
2.根据权利要求1所述的一种多模态图像识别算法的生产安全预警系统，其特征在于，所述厂房监测模块包括若干热成像仪，若干热成像仪均匀分布在各厂房区域内并对厂房区域进行热力监测；所述机载热成像单元也包括热成像仪。
3.根据权利要求2所述的一种多模态图像识别算法的生产安全预警系统，其特征在于，所述测距单元包括超声波传感器，所述超声波传感器用于发射和接收超声波信号，通过超声波测距算法计算移动平台前方障碍物的距离，所述超声波测距算法配置为：S=t×v/2；
其中，S为障碍物与移动平台之间的距离，t为超声波传感器发射超声波信号到接收超声波信号的时间，v为声波在空气中传播的速度。
4.根据权利要求3所述的一种多模态图像识别算法的生产安全预警系统，其特征在于，所述压力检测单元包括维氏硬度计，所述维氏硬度计用于测试物体的维氏硬度值。
5.根据权利要求4所述的一种多模态图像识别算法的生产安全预警系统，其特征在于，所述物体位置分析单元配置有物体位置分析策略，所述物体位置分析策略包括：
获取厂房的空间信息并构建厂房的轮廓图；
采用SLAM法对机器人进行定位；
建立二维坐标系，所述二维坐标系包括X1轴和Y1轴，将轮廓图的长边与X轴保持平行，将轮廓图的宽边与Y轴保持平行，将轮廓图对应到二维坐标系中得到厂房的平面图；基于平面图以第一划分长度为边长对厂房进行区域划分，划分后的区域标记为厂房区域；
获取机器人当前的坐标，标记为机器人坐标，获取机器人的朝向，将机器人的朝向与X轴的夹角标记为偏移度；
通过测距单元获取机器人与物体的相对距离，并通过公式Xi=cosθ×L计算机器人与物体横坐标差值，其中，Xi为横坐标差值，θ为偏移度，L为相对距离；
通过公式Yi=sinθ×L计算机器人与物体纵坐标差值，其中，Yi为纵坐标差值；
以机器人当前坐标为原点，建立平面坐标系，所述平面坐标系包括X2轴以及Y2轴，所述X1轴与X2轴平行，Y1轴与Y2轴平行，获取物体在平面坐标系的象限；
若物体在平面坐标系的第一象限，则通过公式X1g=X1e+Xi计算得到物体在二维坐标系的横坐标，其中，X1g为物体横坐标，X1e为机器人横坐标；通过公式Y1g=Y1e+Yi计算得到物体在二维坐标系的纵坐标，其中，Y1g为物体纵坐标，Y1e为机器人纵坐标；
若物体在平面坐标系的第二象限，则通过公式X1g=X1e-Xi计算得到物体在二维坐标系的横坐标；通过公式Y1g=Y1e+Yi计算得到物体在二维坐标系的纵坐标；
若物体在平面坐标系的第三象限，则通过公式X1g=X1e-Xi计算得到物体在二维坐标系的横坐标；通过公式Y1g=Y1e-Yi计算得到物体在二维坐标系的纵坐标；
若物体在平面坐标系的第四象限，则通过公式X1g=X1e+Xi计算得到物体在二维坐标系的横坐标；通过公式Y1g=Y1e-Yi计算得到物体在二维坐标系的纵坐标；
基于物体横坐标以及纵坐标，在二维坐标系内对物体进行标记。
6.根据权利要求5所述的一种多模态图像识别算法的生产安全预警系统，其特征在于，所述反光图像处理单元配置有反光图像处理策略，所述反光图像处理策略包括：
对物体进行光照，并通过图像采集单元获取物体的反光图像；
对反光图像进行灰度化处理，得到物体的反光灰度图；
获取反光灰度图内所有像素点的灰度值，将灰度值最小的像素点的灰度值标记为反光灰度值；
通过反光度算法
计算物体的反光度；其中，F为物体的反光度，Fh为物体的反光灰度值，α为预设反光系数。
7.根据权利要求6所述的一种多模态图像识别算法的生产安全预警系统，其特征在于，所述热力图像处理单元用于对热力图像进行灰度化处理，得到热力灰度图；获取热力灰度图上各像素点的灰度值，将灰度值最大的像素点的灰度值标记为热力灰度值。
8.根据权利要求7所述的一种多模态图像识别算法的生产安全预警系统，其特征在于，所述易燃等级分析单元配置有易燃等级分析策略，所述易燃等级分析策略包括：
建立物体材质易燃等级数据库，查询大数据系统，录入各种材料的常态灰度值、加热灰度值、反光度、维氏硬度值以及易燃等级；
获取物体在常温状态下的热力灰度值，标记为常态灰度值；
对物体进行加热，当加热到第一加热阈值时停止加热，获取物体的热力灰度值，标记为加热灰度值；
通过压力检测单元检测物体的维氏硬度值，获取物体的反光度；
将物体的常态灰度值、加热灰度值、反光度以及维氏硬度值与物体材质易燃等级数据库内的数据进行比对查找，得到物体的易燃等级。
9.根据权利要求8所述的一种多模态图像识别算法的生产安全预警系统，其特征在于，所述安全预警单元配置有安全预警策略，所述安全预警策略包括：
获取厂房区域内所有物体的易燃等级，若厂房区域内包含一级易燃类的物体或二级易燃类的物体，则将厂房区域标记为易燃区；若厂房区域内仅包含三级易燃类的物体，则将厂房区域标记为不易燃区；
实时获取厂房区域的热力图，通过热力图像处理单元获取厂房区域的热力灰度值，标记为区域热力灰度值；
将区域热力灰度值与第一热力阈值进行比对，若热力灰度值小于等于第一热力阈值，则输出热力正常信号；若热力灰度值大于第一热力阈值，则输出热力异常信号；
当检测到热力异常信号时，获取厂房区域是否为易燃区，若厂房区域是易燃区，则输出火灾预警信号；若厂房区域不是易燃区，则输出火灾排查信号；
当输出火灾排查信号时，获取所有与当前厂房区域相邻的厂房区域是否包含易燃区，若包含易燃区，则输出火灾预警信号；若不包含易燃区，则输出环境正常信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310665421.5A CN116403359B (zh) | 2023-06-07 | 2023-06-07 | 一种多模态图像识别算法的生产安全预警系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310665421.5A CN116403359B (zh) | 2023-06-07 | 2023-06-07 | 一种多模态图像识别算法的生产安全预警系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116403359A true CN116403359A (zh) | 2023-07-07 |
| CN116403359B CN116403359B (zh) | 2023-08-15 |
Family
ID=87009059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310665421.5A Active CN116403359B (zh) | 2023-06-07 | 2023-06-07 | 一种多模态图像识别算法的生产安全预警系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116403359B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116633467A (zh) * | 2023-07-20 | 2023-08-22 | 杭州工信光电子有限公司 | 一种结合人工智能技术的应急广播系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060273912A1 (en) * | 2005-02-28 | 2006-12-07 | Krd Corporation | IC tag |
| CN109993941A (zh) * | 2019-03-20 | 2019-07-09 | 合肥名德光电科技股份有限公司 | 基于人工智能的热成像火灾报警系统及其图像处理方法 |
| US20200331148A1 (en) * | 2018-01-24 | 2020-10-22 | Qfeeltech (Beijing) Co., Ltd. | Cleaning robot |
| CN112801839A (zh) * | 2021-01-09 | 2021-05-14 | 上善智城(苏州)信息科技有限公司 | 一种基于物联网技术的安监生产监督方法及系统 |
| CN112926535A (zh) * | 2021-04-02 | 2021-06-08 | 北京电旗连江科技发展有限公司 | 一种基于机器人的仓库安全监测、盘点方法及系统 |
| CN113112729A (zh) * | 2021-03-29 | 2021-07-13 | 青岛海尔空调器有限总公司 | 一种具有监测火情功能的空调器及监测火情方法 |
| CN113426051A (zh) * | 2021-06-11 | 2021-09-24 | 姜琳 | 一种智能消防预警系统 |
| CN113945948A (zh) * | 2021-10-18 | 2022-01-18 | 南京天创电子技术有限公司 | 一种防爆巡检机器人 |
| CN116092260A (zh) * | 2022-12-22 | 2023-05-09 | 广西电网有限责任公司河池供电局 | 一种基于图像采集的电气火灾监控方法及系统 |
-
2023
- 2023-06-07 CN CN202310665421.5A patent/CN116403359B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060273912A1 (en) * | 2005-02-28 | 2006-12-07 | Krd Corporation | IC tag |
| US20200331148A1 (en) * | 2018-01-24 | 2020-10-22 | Qfeeltech (Beijing) Co., Ltd. | Cleaning robot |
| CN109993941A (zh) * | 2019-03-20 | 2019-07-09 | 合肥名德光电科技股份有限公司 | 基于人工智能的热成像火灾报警系统及其图像处理方法 |
| CN112801839A (zh) * | 2021-01-09 | 2021-05-14 | 上善智城(苏州)信息科技有限公司 | 一种基于物联网技术的安监生产监督方法及系统 |
| CN113112729A (zh) * | 2021-03-29 | 2021-07-13 | 青岛海尔空调器有限总公司 | 一种具有监测火情功能的空调器及监测火情方法 |
| CN112926535A (zh) * | 2021-04-02 | 2021-06-08 | 北京电旗连江科技发展有限公司 | 一种基于机器人的仓库安全监测、盘点方法及系统 |
| CN113426051A (zh) * | 2021-06-11 | 2021-09-24 | 姜琳 | 一种智能消防预警系统 |
| CN113945948A (zh) * | 2021-10-18 | 2022-01-18 | 南京天创电子技术有限公司 | 一种防爆巡检机器人 |
| CN116092260A (zh) * | 2022-12-22 | 2023-05-09 | 广西电网有限责任公司河池供电局 | 一种基于图像采集的电气火灾监控方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116633467A (zh) * | 2023-07-20 | 2023-08-22 | 杭州工信光电子有限公司 | 一种结合人工智能技术的应急广播系统 |
| CN116633467B (zh) * | 2023-07-20 | 2023-10-10 | 杭州工信光电子有限公司 | 一种结合人工智能技术的应急广播系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116403359B (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109230351A (zh) | 一种皮带输送机运行异常的识别方法 | |
| CN116403359B (zh) | 一种多模态图像识别算法的生产安全预警系统 | |
| CN108227606B (zh) | 一种基于多源感知的船舶安防智能管理系统 | |
| CN105486243B (zh) | 基于可见光成像技术的桥梁挠度监测系统 | |
| Kroll et al. | On autonomous detection of pressured air and gas leaks using passive IR-thermography for mobile robot application | |
| CN104808216B (zh) | 一种基于激光雷达测距的车辆防碰撞预警系统 | |
| CN111226178A (zh) | 监视设备、工业系统、用于监视的方法及计算机程序 | |
| CN111324143A (zh) | 无人机自主巡视避障系统、方法及计算机设备 | |
| CN112926535A (zh) | 一种基于机器人的仓库安全监测、盘点方法及系统 | |
| JP7043968B2 (ja) | 監視システムおよび監視方法 | |
| Karkoub et al. | Gas pipeline inspection using autonomous robots with omni-directional cameras | |
| TW202026944A (zh) | 具深度視覺之煙霧偵測方法 | |
| CN115512307B (zh) | 广域空间红外多点实时火灾探测方法及系统、定位方法 | |
| Mehta et al. | Internet-of-things enabled forest fire detection system | |
| CN102887155A (zh) | 货运列车超限计算机视觉检测系统 | |
| CN112286190A (zh) | 安防巡视预警方法与系统 | |
| Zhang et al. | Mobile sentry robot for laboratory safety inspection based on machine vision and infrared thermal imaging detection | |
| CN112733646B (zh) | 一种基于热成像的液态介质泄漏自动检测方法及系统 | |
| CN113819881A (zh) | 一种侦察巡检机器人用火源距离和地图方位的探测方法 | |
| KR101887477B1 (ko) | 안전 및 보안 시스템을 위한 가이드 광원을 포함하는 광대역 광센서 시스템 | |
| CN207540589U (zh) | 一种天然气巡检机器人 | |
| CN205946010U (zh) | 一种基于计算机视觉的多功能监控装置 | |
| CN108280895A (zh) | 一种石化防爆巡检机器人及防爆系统 | |
| CN111931657A (zh) | 目标物识别系统、方法以及存储介质 | |
| CN204408526U (zh) | 一种基于红外三维成像的单兵消防救灾设备与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |