CN118135490A - 一种基于图形组态的安全隐患排查及事故预警方法和系统 - Google Patents

一种基于图形组态的安全隐患排查及事故预警方法和系统 Download PDF

Info

Publication number
CN118135490A
CN118135490A CN202410306121.2A CN202410306121A CN118135490A CN 118135490 A CN118135490 A CN 118135490A CN 202410306121 A CN202410306121 A CN 202410306121A CN 118135490 A CN118135490 A CN 118135490A
Authority
CN
China
Prior art keywords
detection
module
potential safety
early warning
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410306121.2A
Other languages
English (en)
Inventor
陈美园
肖懿
陈亚明
李昕
王馥郁
余磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Everbright Envirotech China Ltd
Everbright Environmental Protection Technology Research Institute Shenzhen Co Ltd
Original Assignee
Everbright Envirotech China Ltd
Everbright Environmental Protection Technology Research Institute Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Everbright Envirotech China Ltd, Everbright Environmental Protection Technology Research Institute Shenzhen Co Ltd filed Critical Everbright Envirotech China Ltd
Priority to CN202410306121.2A priority Critical patent/CN118135490A/zh
Publication of CN118135490A publication Critical patent/CN118135490A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/185—Electrical failure alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提出了一种基于图形组态的安全隐患排查及事故预警方法和系统，其方法首先，在检测区域安装若干监控摄像头，配置各监控摄像头的监控视频流地址；然后，新建应用场景并构建图形组态化控制模块，将新建应用场景关联至监控摄像头，指定需要检测的基础目标标签，配置相应的检测区域及检测时间段；最后，基于图形组态化控制模块，新建应用场景下的多级安全隐患排查的策略及安全事故预警的策略，进行相应的行为检测及播报。本发明方法针对危废处置工厂成因复杂的安全隐患排查和安全事故预警场景，引入时序多帧图像识别和多级策略判定，通过图形组态化的方式，实现易理解、易操作、易维护、易扩展的安全隐患排查和安全事故预警。

Description

一种基于图形组态的安全隐患排查及事故预警方法和系统
技术领域
本发明涉及计算机视觉和图像处理技术领域，特别涉及一种基于图形组态的安全隐患排查及事故预警方法和系统。
背景技术
时序多帧图像识别技术通过对连续的图像或视频进行识别和分析，提取出其中的有用信息，并综合这些信息得出更全面、准确的结论。该领域的研究和应用广泛，包括但不限于目标检测和跟踪、行为识别、场景理解、医学影像分析及智能监控。
中国发明专利申请CN116580353A提出了一种热电厂安全隐患自动预警方法及系统，以输煤智能巡检和安全工作常态化开展为基础，通过深度学习，多模态数据融合、强化学习等先进技术配合人防、物防、技防，形成多维度立体化的安全防护，实现利用视频AI智能分析在输煤皮带状态监测预警、输煤人员反违章自动管理等方面建立智能应用。但是，该方法仅能通过图像识别相关技术来发现安全隐患，不能解决成因复杂、需多级策略判定的安全隐患识别问题。此外，它没有涉及将变化的国家行业标准和安全规范、公司作业规定和安全措施灵活的配置到系统这一功能。
中国发明专利申请CN115877810A提出了一种化工车间安全运行监控方法以及系统，包括信息录入单元、人员岗位图库单元、人脸识别单元、着装规范识别单元、行为分析单元、设备监测单元和热成像测温单元，通过图像识别和设备监测技术，实现对化工设备泄漏监测数据的实时获取、对在工作区域内工作人员脱岗、工作着装不规范、工作操作违规的实时识别，加强事故预警以及事故发生后的快速应急处理。但是，对在工作区域内工作人员脱岗、工作着装不规范、工作操作违规判定方面仅使用单帧图像作为依据，容易造成较高的预警误报率，例如：工作人员仅在短时间内被工作区域内的设备遮挡，便被判定为脱岗。
因此，工厂车间内部各种安全隐患及事故成因复杂，需要根据现场情况，制定多级策略判，综合各种因素，进行安全隐患排查和安全事故预警。
发明内容
本发明所要解决的问题是：提供一种基于图形组态的安全隐患排查及事故预警方法和系统，进行危废处置工厂成因复杂、需多级策略判定的安全隐患排查和安全事故预警，对时序多帧图像进行识别得到综合性结论，降低误报率，同时将变化的国家行业标准和安全规范、公司作业规定和安全措施灵活的配置到系统中，应用于实际生产过程的实践。
本发明采用如下技术方案：一种基于图形组态的安全隐患排查及事故预警方法，包括如下步骤：
S1、录入监控摄像头信息：在检测区域安装若干监控摄像头，配置各监控摄像头的监控视频流地址；
S2、新建应用场景并构建图形组态化控制模块：将新建应用场景关联至监控摄像头，指定需要检测的基础目标标签，配置相应的检测区域及检测时间段，构建深度学习模型进行单帧图像检测，基于时序多帧图像识别方法，从监控摄像头采集的连续的图像帧中识别基础目标标签的行为或事件；
S3、基于图形组态化控制模块，新建应用场景下的多级安全隐患排查策略及安全事故预警策略，进行相应的行为或事件检测及播报。
进一步地，步骤S2中，将新建应用场景关联至监控摄像头，指定需要检测的基础目标标签，配置相应的检测区域及检测时间段，包括如下子步骤：
S2.1.1、根据安全隐患排查或事故预警需要，新建检测区域的若干个应用场景，分别将S1中与各应用场景相关的监控视频流地址关联到应用场景，形成视频输入。
S2.1.2、基于内置的目标检测模型库，在新建应用场景中指定需要检测的基础目标标签，将与应用场景相关的目标检测模型库关联到该场景，形成目标检测范围，进行存在性判断；
目标检测模型库中包含所有潜在的基础目标标签，包括但不限于：人员、人员倒地姿态、人员抽烟姿态、火焰、电火花、已戴安全帽头部、未戴安全帽头部、水位计、堆料、叉车、货车、扬尘、已束口卸灰口、未束口卸灰口。
S2.1.3、在新建应用场景中配置检测区域，当目标检测识别结果锚框坐标不在该区域内，滤除该目标检测识别结果，形成区域约束，进行空间范围判断。
S2.1.4、在新建场景中配置检测时间段，若当前时间不在检测时间段内，不执行目标检测识别算法，形成时间段约束，进行时间范围判断。
进一步地，步骤S2中，构建图形组态化控制模块，以图形的方式独立实现特定的功能，根据危废行业标准和安全规范、公司作业规定和安全措施，基于新建的应用场景构建若干图形组件，通过逻辑模块连接若干个图形组件以定义数据流和控制逻辑，通过拖取图形组态化控制模块、箭头连线、框选组合，以图形的方式自主构建满足特定应用场景的判定策略或预警模型。
图形组态化控制模块包括：数据输入模块、基础逻辑模块、高级逻辑模块、图像处理模块、输出模块；还包括计时器模块，对输入模块及逻辑模块的判断设置检测时间，以连续图像为依据，进行连续行为检测判断。
箭头连接，用于定义判定逻辑和预警触发的条件，将视频输入、目标检测范围、区域约束及时间约束多个判定条件连接起来，进行行为识别，当所有条件都满足时，触发相应的判定结果或预警动作。
框选组合，用于将一组相关的图形组件，包括多个判定流程或预警模型，组合成一个整体，进行具体行为判断，输出综合结果。
进一步地，步骤S2中构建深度学习模型进行单帧图像检测，方法包括：
S2.3.1、建立深度学习模型，基于Python语言中Pytorch框架，使用Yolov5目标检测方法，对监控摄像头采集的图像帧进行单帧图像检测；
S2.3.2、深度学习模型优化，使用梯度下降优化算法调整模型参数，加速收敛速度并减少训练过程中的震荡；使用模型正则化，包括L1正则化、L2正则化及Dropout，防止模型过拟合；使用批标准化，对每一批输入数据进行标准化处理，减少内部协变量偏移。
进一步地，步骤S2中，通过时序多帧图像识别方法，从监控摄像头采集的连续的图像帧中识别基础目标标签的行为或事件，对图像序列中的对象、动作和场景进行建模和分析，包括如下子步骤：
S2.2.1、数据收集和预处理：从监控摄像头信息库模块的视频输入采集连续的图像帧，对图像进行预处理，包括去噪、归一化、缩放，消除图像中与基础目标标签无关的因素；
S2.2.2、特征提取：对于每个图像帧，进行特征提取，所述特征包括图像的光影、模糊程度、目标位置与形状、目标与摄像头距离，特征提取方法包括基于SIFT、SURF、HOG的计算机视觉，和卷积神经网络CNN深度学习；
S2.2.3、时序建模：基于循环神经网络中长短时记忆网络或门控循环单元，处理序列数据并学习时间依赖性，建立时序模型，捕捉时间上的依赖性和动态变化；进行动态时间规整，对不同长度和速度的行为序列，通过非线性调整时间序列的时间尺度，计算两个序列之间的最佳对齐方式，度量行为序列之间的相似性；
S2.2.4、训练与分类：使用反向传播算法优化时序模型参数，进行模型训练，训练过程中，时序模型从图像序列中提取判别性特征，并根据判别性特征进行分类或回归；
S2.2.5、后处理与结果展示：对时序模型输出的结果进行阈值处理和平滑滤波，将结果以通过绘制边界框、标注文本的可视化方式展示；
S2.2.6、评估与优化：评估时序模型性能，评估指标包括准确率、召回率、F1分数、mAP，根据评估结果对模型进行优化，包括调整模型结构、优化超参数、增加数据增强。
进一步地，步骤S3中，安全隐患排查判定策略及安全事故预警的策略有多个，通过多个图形组态化控制模块及箭头连线、框选组合设置分层的判定策略，并设置优先级；
行为检测中还包括图像缓存队列，用于存储各级策略指定取证的图片，以及语音报警，对检测到的安全隐患排查及事故预警，通过中控室广播设备、安环部门广播设备或现场音柱设备进行实时播报。
本发明技术方案还提供了一种基于图形组态的安全隐患排查及事故预警系统，用于实施上述任一项所述的方法，进行安全隐患排查、事故预警，包括：
监控摄像头信息库模块：在检测区域安装若干监控摄像头，配置各监控摄像头的监控视频流地址，新建场景并于监控视频流地址关联，形成视频输入；
目标检测模型库，包含所有潜在的目标检测模型，基于基础目标标签，在新建场景中指定需要检测的基础目标标签，将与该场景相关的目标检测模型库关联到应用场景，进行存在性判断；
区域约束及时间段约束模块：在新建场景中配置检测区域和检测时间段，当目标检测识别结果锚框坐标不在该区域内或检测时间段内，滤除该目标检测识别结果，进行空间及时间范围判断；
实时视频流目标检测结果库模块：用户存储各摄像头目标检测结果及指定取证的图片；
图形组态化策略库模块：用于配置及存储各级场景的安全隐患排查及事故预警策略；
多级策略判定结果库模块：用于输出各级安全隐患排查及事故预警结果，并对检测到的安全隐患排查及事故预警进行实时播报。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明通过图形组态化的方式，配置危废处置工厂的安全隐患排查和安全事故预警策略，使不了解编程的危废处置工厂工作人员也可以基于该系统进行策略开发。
2、本发明通过一种解耦的架构，组合衍生出多种多样的危废处置工厂安全隐患排查和安全事故预警策略，以应对动态变化的危废行业标准和安全规范、差异化的公司作业规定和安全措施。
3、本发明通过图像缓存队列特征识别和多种图像处理技术融合，实现对时序多帧图像的分析方法，进而得到综合性结论，降低误报率。
附图说明
图1为本发明基于图形组态的安全隐患排查及事故预警方法流程图；
图2为本发明基于图形组态的安全隐患排查及事故预警系统架构原理；
图3为本发明实施例卸料间场景安全隐患排查流程图；
图4为本发明实施例加药间场景事故预警流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对申请的技术方案做进一步地详尽阐述，所描述的实施例，也只是本发明所涉及实施例的一部分。本领域其他研究人员在该实施例上的所有非创新型实施例，都属于本发明的保护范围。同时对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
本发明基于图形组态的安全隐患排查及事故预警方法，如图1所示，包括如下步骤：
S1、录入监控摄像头信息：在检测区域安装若干监控摄像头，配置各监控摄像头的监控视频流地址，如：RTSP地址。
S2、首先，新建应用场景，将新建应用场景关联至监控摄像头，指定需要检测的基础目标标签，配置相应的检测区域及检测时间段，方法如下：
(1)在系统中新建场景，将S2中与该场景相关的监控视频流地址关联到该场景，形成视频输入模块(输入模块)。
(2)系统内置目标检测模型库，包含所有潜在的基础目标标签，在新建场景中指定需要检测的基础目标标签，
基础目标标签有：人员、人员姿态(倒地、抽烟等)、烟雾、火焰、电火花、电焊动火、不同颜色安全帽、已戴安全帽头部、未戴安全帽头部、水位计、堆料、叉车、货车、扬尘、已束口卸灰口、未束口卸灰口等；
将与该场景相关的目标检测模型库关联到该场景，形成目标检测范围模块，用于高级逻辑模块存在性判断。
(3)在新建场景中配置检测区域，当目标检测识别结果锚框坐标不在该区域内，滤除该目标检测识别结果，形成区域约束模块，用于高级逻辑模块空间范围判断。
(4)在新建场景中配置检测时间段，若当前时间不在检测时间段内，不执行目标检测识别算法，形成时间段约束模块，用于高级逻辑模块时间范围判断。
然后，构建图形组态化控制模块，根据危废行业标准和安全规范、公司作业规定和安全措施，基于新建的应用场景构建若干图形组件，通过逻辑模块连接若干个图形组件以定义数据流和控制逻辑，通过拖取图形组态化控制模块、箭头连线、框选组合，以图形的方式自主构建满足特定应用场景的判定策略或预警模型。
其中，图形组态化控制模块，包括：数据输入模块、基础逻辑模块、高级逻辑模块、图像处理模块、输出模块；在安全隐患排查和安全事故预警策略的配置过程中，图形组态化控制模块用于创建各种判定策略和预警模型。用户可以通过拖拽不同的图形组件(如判定框、处理框、数据输入/输出框等)，然后连接它们以定义数据流和控制逻辑，从而构建出满足特定需求的判定策略和预警模型。
图形组件，包括：判定框、处理框、数据输入/输出框；
基础逻辑模块，包括：与、或、非计算；
高级逻辑模块，包括：空间范围判断、时间范围判断、存在性判断、识别锚框持续变大/变小/不变判断、识别锚框持续远离/靠近摄像头判断；
箭头连线，在安全隐患排查和安全事故预警策略的配置过程中，箭头连线用于定义判定逻辑和预警触发的条件。例如，当用户设置一个判定策略时，可以使用箭头将多个判定条件连接起来，表示只有当所有条件都满足时，才触发相应的判定结果或预警动作。
框选组合，在安全隐患排查和安全事故预警策略的配置中，框选组合用于将一组相关的图形组件(如多个判定流程或预警模型)组合成一个整体，输出综合结果，使得层次分明、可读性高、易于编辑修改。
然后，构建深度学习模型进行单帧图像检测，方法包括：
(1)建立深度学习模型
基于Python语言中Pytorch框架，使用Yolov5目标检测方法，对监控摄像头采集的图像帧进行单帧图像检测；
(2)深度学习模型优化
梯度下降优化算法：如Adam、RMSProp，这些算法可以更有效地调整模型参数，加速收敛速度并减少训练过程中的震荡。
模型正则化：包括L1正则化、L2正则化以及Dropout等，用于防止模型过拟合，提高泛化能力。
批标准化(Batch Normalization)：对每一批输入数据进行标准化处理，减少内部协变量偏移，提高模型的训练速度和稳定性。
接着，基于时序多帧图像识别方法，从监控摄像头采集的连续的图像帧中识别基础目标标签的行为或事件：
时序多帧图像识别，是从一系列连续的图像帧中识别和理解动态行为或事件，涉及对图像序列中的对象、动作和场景进行建模和分析，下面是时序多帧图像识别的具体实现步骤：
(1)数据收集和预处理
收集一系列连续的图像帧，这些帧来自监控摄像头信息库模块的视频输入。对图像进行预处理，包括去噪、归一化、缩放等，以消除图像中的无关因素并提高识别准确性。
(2)特征提取
对于每个图像帧，提取有意义的特征。这些特征可以是基于图像的低级特征，包括：光影情况、模糊程度等，也可以是基于深度学习的高级特征，包括：如目标位置与形状、目标与摄像头的距离判定等。
特征提取的方法可以包括传统的计算机视觉技术，包括：如SIFT、SURF、HOG等，或深度学习技术，包括：卷积神经网络CNN。
(3)时序建模
由于时序多帧图像识别涉及对连续帧的分析，因此需要建立模型来捕捉时间上的依赖性和动态变化。可以使用各种时序建模技术，包括：RNN(循环神经网络)特别是LSTM(长短时记忆网络)或GRU(门控循环单元)，它们能够处理序列数据并学习时间依赖性。
进行DTW(动态时间规整)，通过非线性地调整时间序列的时间尺度，计算两个序列之间的最佳对齐方式，从而更准确地度量它们之间的相似性。DTW可以用于比较不同长度和速度的行为序列，提高识别的准确性。
(4)训练与分类
使用标记好的数据集来训练时序模型。这通常涉及使用监督学习技术，如反向传播算法来优化模型参数。训练过程中，模型会学习如何从图像序列中提取判别性特征，并根据这些特征进行分类或回归。
(5)后处理与结果展示
对模型输出的结果进行处理，可能包括阈值处理、平滑滤波等，以提高最终识别的准确性。将识别结果以可视化的方式展示出来，包括：通过绘制边界框、标注文本等方式。
(6)评估与优化
使用测试数据集评估模型的性能，评估指标包括准确率、召回率、F1分数、mAP(mean Average Precision)等。
根据评估结果对模型进行优化，包括调整模型结构、优化超参数和增加数据增强。
S3、基于图形组态化控制模块，新建应用场景下的多级安全隐患排查的策略及安全事故预警的策略，进行相应的行为检测及播报。
系统中内置了大量图形组态化输入模块、基础逻辑模块，包括：与、或、非、计时器等、高级逻辑模块，包括：空间范围判断、时间范围判断、存在性判断、识别锚框持续变大/变小/不变判断、识别锚框持续远离/靠近摄像头判断等、图像处理模块、输出模块，这些模块由标准化的代码实现，每一个模块都能独立实现特定的功能，以图形的方式呈现给用户，使用户无需编写代码即可自主配置，当配置完毕时自动生成相应代码植入系统。
危废处置工厂工作人员根据危废行业标准和安全规范、公司作业规定和安全措施，通过拖取模块、箭头连线、框选组合的方式自主配置可视化的安全隐患排查多级判定策略。
在本发明的一个实施例中，具体地，采用Mysql作为用户录入监控摄像头信息库，采用Mongodb作为系统内置模型库、实时视频流目标检测结果库、用户开发图形组态化策略库、多级策略判定结果库，采用Python语言中Pytorch框架实现Yolov5目标检测推理算法，采用Web组态技术实现可视化策略开发。
进一步地，采用TCP协议完成各个组态模块间、组态模块与输出设备间的通讯，采用HTTP协议完成组态模块与数据库间的通讯，采用RTSP协议完成组态模块与摄像头间的通讯。
应用场景一：危废处置工厂的“卸料间场景”，如图3所示，安全隐患排查多级判定策略，具体如下：
(1)设置“卸料间场景”，将视频输入模块1西北角、视频输入模块2东南角关联至新建应用场景。
其中，视频输入模块1西北角是拍摄料仓的监控视频，需要实现着火烟雾安全隐患排查，视频输入模块2东南角是拍摄卸料口的监控视频，需要实现工作人员未正确佩戴安全帽、倒车时后方有人安全隐患排查。
(2)设置“卸料间场景”目标检测范围模块1“烟雾”标签、目标检测范围模块2“未正确佩戴安全帽”标签、目标检测范围模块3“车辆”标签、目标检测范围模块4“人”标签至应用场景中。
将视频输入模块1西北角通过箭头连线至目标检测范围模块1“烟雾”标签；将视频输入模块2东南角通过箭头连线至目标检测范围模块2“未正确佩戴安全帽”标签、目标检测范围模块3“车辆”标签、目标检测范围模块4“人”标签。
(3)设置“卸料间场景”区域约束模块1全域、区域约束模块2卸料平台区域、时间段约束模块1全天、时间段约束模块2工作时间至应用场景中。
将区域约束模块1全域、时间段约束模块1全天与视频输入模块1西北角框选组合；将区域约束模块2卸料平台区域、时间段约束模块2工作时间与视频输入模块2东南角框选组合。
(4)设置计时器模块(T取值由用户自定义)和“识别锚框是否持续变大”判断模块，与目标检测范围模块1“烟雾”标签关联，构成着火烟雾安全隐患多级判断策略。
该策略设置原因：有时卸料的物体带有水汽，与着火烟雾相似，但水汽随着时间推移尺寸变小，着火烟雾随着时间推移尺寸变大，设置该策略有助于避免着火烟雾安全隐患误识别。拖
取计时器模块(T取值由用户自定义)和“识别锚框出现次数是否大于N次”判断模块(N取值由用户自定义)，与目标检测范围模块2“未正确佩戴安全帽”标签构成未正确佩戴安全帽安全隐患多级判断策略。
该策略设置原因：未正确佩戴安全帽的工作人员可能短时间内被车辆或其他物体遮挡，导致漏报情况，设置该策略检查T秒内的识别结果有助于得到贴合事实的判断。
设置计时器模块(T取值由用户自定义)、“识别锚框是否持续远离摄像头”判断模块和“A识别锚框是否在B识别锚框后”判断模块，与目标检测范围模块3“车辆”标签和目标检测范围模块4“人”标签构成倒车时后方有人安全隐患多级判断策略。
(5)为上述三种安全隐患多级判断策略指定取证图片的存储库和语音报警的设备，例如中控室广播设备、安环部门广播设备、现场音柱设备等。
应用场景二：场景为“加药间场景”，如图4所示，新建该场景下的安全事故预警的策略，步骤如下：
(1)设置“加药间场景”：将视频输入模块1内部全景关联至新建应用场景中。其中，视频输入模块1内部全景需要实现工作人员昏倒、着火明火安全事故预警。
(2)设置“加药间场景”目标检测范围模块1“火焰”标签、目标检测范围模块2“人倒地姿态”标签至应用场景中。
将视频输入模块1内部全景通过箭头连线至目标检测范围模块1“火焰”标签、目标检测范围模块2“人倒地姿态”标签。
(3)设置“加药间场景”区域约束模块1全域、时间段约束模块1全天至应用场景中。将区域约束模块1全域、时间段约束模块1全天与视频输入模块1内部全景框选组合。
(4)设置计时器模块(T取值由用户自定义)和“识别锚框是否持续变大”判断模块，与目标检测范围模块1“火焰”标签关联，构成着火明火安全事故多级判断策略。
该策略设置原因：有时加药间金属上有阳光反射，与着火明火相似，但金属上的阳光反射短时间内尺寸几乎不变，着火明火短时间内尺寸跳跃性变大，设置该策略有助于避免着火明火安全事故误识别)。
设置计时器模块(T取值由用户自定义)和“识别锚框是否持续不变”判断模块，与目标检测范围模块2“人倒地姿态”标签关联，构成人员昏倒安全事故多级判断策略。
该策略设置原因：卧倒检修的工作人员单帧图片与人员昏倒相似，但卧倒检修的工作人员实时进行动作，识别锚框尺寸会变化，人员昏倒没有动作，识别锚框尺寸几乎不变，设置该策略有助于避免人员昏倒安全事故误识别。
(5)为上述两种安全事故多级判断策略指定取证图片的存储库和语音报警的设备，例如：中控室广播设备、安环部门广播设备、现场音柱设备等。
本发明实施例涉及的基于图形组态的安全隐患排查及事故预警系统，如图2所示，包括：
监控摄像头信息库模块：在检测区域安装若干监控摄像头，配置各监控摄像头的监控视频流地址，新建场景并于监控视频流地址关联，形成视频输入；
目标检测模型库，包含所有潜在的目标检测模型，基于基础目标标签，在新建场景中指定需要检测的基础目标标签，将与该场景相关的目标检测模型库关联到应用场景，进行存在性判断；
区域约束及时间段约束模块：在新建场景中配置检测区域和检测时间段，当目标检测识别结果锚框坐标不在该区域内或检测时间段内，滤除该目标检测识别结果，进行空间及时间范围判断；
实时视频流目标检测结果库模块：用户存储各摄像头目标检测结果及指定取证的图片；
图形组态化策略库模块：用于配置及存储各级场景的安全隐患排查及事故预警策略；
多级策略判定结果库模块：用于输出各级安全隐患排查及事故预警结果，并对检测到的安全隐患排查及事故预警进行实时播报。
综上，本发明方法通过图形组态化的方式，配置危废处置工厂的安全隐患排查和安全事故预警策略，使不了解编程的危废处置工厂工作人员也可以基于该系统进行策略开发；同时通过一种解耦的架构，组合衍生出多种多样的危废处置工厂安全隐患排查和安全事故预警策略，以应对动态变化的危废行业标准和安全规范、差异化的公司作业规定和安全措施；更进一步地，通过图像缓存队列特征识别，分析危废处置工厂特定场景的时序多帧图像，进而得到综合性结论，降低误报率。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于图形组态的安全隐患排查及事故预警方法，其特征在于，包括如下步骤：
S1、录入监控摄像头信息：在检测区域安装若干监控摄像头，配置各监控摄像头的监控视频流地址；
S2、新建应用场景并构建图形组态化控制模块：将新建应用场景关联至监控摄像头，指定需要检测的基础目标标签，配置相应的检测区域及检测时间段，构建深度学习模型进行单帧图像检测，基于时序多帧图像识别方法，从监控摄像头采集的连续的图像帧中识别基础目标标签的行为或事件；
S3、基于图形组态化控制模块，新建应用场景下的多级安全隐患排查策略及安全事故预警策略，进行相应的行为或事件检测及播报。
2.根据权利要求1所述的基于图形组态的安全隐患排查及事故预警方法，其特征在于，步骤S2新建应用场景，包括如下子步骤：
S2.1.1、根据安全隐患排查或事故预警需要，新建检测区域的若干个应用场景，分别将S1中与各应用场景相关的监控视频流地址关联到应用场景，形成视频输入；
S2.1.2、基于内置的目标检测模型库，在新建应用场景中指定需要检测的基础目标标签，将与应用场景相关的目标检测模型库关联到该场景，形成目标检测范围，进行存在性判断；
S2.1.3、在新建应用场景中配置检测区域，当目标检测识别结果锚框坐标不在该区域内，滤除该目标检测识别结果，形成区域约束，进行空间范围判断；
S2.1.4、在新建场景中配置检测时间段，若当前时间不在检测时间段内，不执行目标检测识别算法，形成时间段约束，进行时间范围判断。
3.根据权利要求2所述的基于图形组态的安全隐患排查及事故预警方法，其特征在于，步骤S2.2中，所述目标检测模型库中包含所有潜在的基础目标标签，包括但不限于：人员、人员倒地姿态、人员抽烟姿态、烟雾、火焰、电火花、电焊动火、不同颜色安全帽、已戴安全帽头部、未戴安全帽头部、水位计、堆料、叉车、货车、扬尘、已束口卸灰口、未束口卸灰口。
4.根据权利要求1所述的基于图形组态的安全隐患排查及事故预警方法，其特征在于，步骤S2构建图形组态化控制模块，根据危废行业标准和安全规范、公司作业规定和安全措施，基于新建的应用场景构建若干图形组件，通过逻辑模块连接若干个图形组件以定义数据流和控制逻辑，通过拖取图形组态化控制模块、箭头连线、框选组合，以图形的方式自主构建满足特定应用场景的判定策略或预警模型；
图形组态化控制模块包括：数据输入模块、基础逻辑模块、高级逻辑模块、图像处理模块、输出模块；
所述图形组件，包括：判定框、处理框、数据输入/输出框；
所述基础逻辑模块，包括：与、或、非计算；
所述高级逻辑模块，包括：空间范围判断、时间范围判断、存在性判断、识别锚框持续变大/变小/不变判断、识别锚框持续远离/靠近摄像头判断；
所述箭头连接，用于定义判定逻辑和预警触发的条件，将视频输入、目标检测范围、区域约束及时间约束多个判定条件连接起来，进行行为识别，当所有条件都满足时，触发相应的判定结果或预警动作；
所述框选组合，用于将一组相关的图形组件，包括多个判定流程或预警模型，组合成一个整体，进行具体行为判断，输出综合结果。
5.根据权利要求4所述的基于图形组态的安全隐患排查及事故预警方法，其特征在于，图形组态化控制模块，还包括计时器模块，对输入模块及逻辑模块的判断设置检测时间，以连续图像为依据，进行连续行为检测判断。
6.根据权利要求5所述的基于图形组态的安全隐患排查及事故预警方法，其特征在于，步骤S2中构建深度学习模型进行单帧图像检测，方法包括：
S2.3.1、建立深度学习模型，基于Python语言中Pytorch框架，使用Yolov5目标检测方法，对监控摄像头采集的图像帧进行单帧图像检测；
S2.3.2、深度学习模型优化，使用梯度下降优化算法调整模型参数，加速收敛速度并减少训练过程中的震荡；使用模型正则化，包括L1正则化、L2正则化及Dropout，防止模型过拟合；使用批标准化，对每一批输入数据进行标准化处理，减少内部协变量偏移。
7.根据权利要求6所述的基于图形组态的安全隐患排查及事故预警方法，其特征在于，步骤S2所述时序多帧图像识别方法，从监控摄像头采集的连续的图像帧中识别基础目标标签的行为或事件，对图像序列中的对象、动作和场景进行建模和分析，包括如下子步骤：
S2.2.1、数据收集和预处理：从监控摄像头信息库模块的视频输入采集连续的图像帧，对图像进行预处理，包括去噪、归一化、缩放，消除图像中与基础目标标签无关的因素；
S2.2.2、特征提取：对于每个图像帧，进行特征提取，所述特征包括图像的光影、模糊程度、目标位置与形状、目标与摄像头距离，特征提取方法包括基于SIFT、SURF、HOG的计算机视觉，和卷积神经网络CNN深度学习；
S2.2.3、时序建模：基于循环神经网络中长短时记忆网络或门控循环单元，处理序列数据并学习时间依赖性，建立时序模型，捕捉时间上的依赖性和动态变化；进行动态时间规整，对不同长度和速度的行为序列，通过非线性调整时间序列的时间尺度，计算两个序列之间的最佳对齐方式，度量行为序列之间的相似性；
S2.2.4、训练与分类：使用反向传播算法优化时序模型参数，进行模型训练，训练过程中，时序模型从图像序列中提取判别性特征，并根据判别性特征进行分类或回归；
S2.2.5、后处理与结果展示：对时序模型输出的结果进行阈值处理和平滑滤波，将结果以通过绘制边界框、标注文本的可视化方式展示；
S2.2.6、评估与优化：评估时序模型性能，评估指标包括准确率、召回率、F1分数、mAP，根据评估结果对模型进行优化，包括调整模型结构、优化超参数、增加数据增强。
8.根据权利要求1所述的基于图形组态的安全隐患排查及事故预警方法，其特征在于，步骤S3中，安全隐患排查判定策略及安全事故预警的策略有多个，通过多个图形组态化控制模块及箭头连线、框选组合设置分层的判定策略，设置优先级，并根据策略对视频输入的时序多帧图像进行识别。
9.根据权利要求1所述的基于图形组态的安全隐患排查及事故预警方法，其特征在于，步骤S3行为检测中还包括图像缓存队列和语音报警；
图像缓存队列用于存储各级策略指定取证的图片；
语音报警，用于对检测到的安全隐患排查及事故预警，通过中控室广播设备、安环部门广播设备或现场音柱设备进行实时播报。
10.一种基于图形组态的安全隐患排查及事故预警系统，用于实施权利要求1至9任一项所述的方法，进行安全隐患排查、事故预警，其特征在于，包括：
监控摄像头信息库模块：在检测区域安装若干监控摄像头，配置各监控摄像头的监控视频流地址，新建场景并于监控视频流地址关联，形成视频输入；
目标检测模型库，包含所有潜在的目标检测模型，基于基础目标标签，在新建场景中指定需要检测的基础目标标签，将与该场景相关的目标检测模型库关联到应用场景，进行存在性判断；
区域约束及时间段约束模块：在新建场景中配置检测区域和检测时间段，当目标检测识别结果锚框坐标不在该区域内或检测时间段内，滤除该目标检测识别结果，进行空间及时间范围判断；
实时视频流目标检测结果库模块：用户存储各摄像头目标检测结果及指定取证的图片；
图形组态化策略库模块：用于配置及存储各级场景的安全隐患排查及事故预警策略；
多级策略判定结果库模块：用于输出各级安全隐患排查及事故预警结果，并对检测到的安全隐患排查及事故预警进行实时播报。
CN202410306121.2A 2024-03-18 2024-03-18 一种基于图形组态的安全隐患排查及事故预警方法和系统 Pending CN118135490A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410306121.2A CN118135490A (zh) 2024-03-18 2024-03-18 一种基于图形组态的安全隐患排查及事故预警方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410306121.2A CN118135490A (zh) 2024-03-18 2024-03-18 一种基于图形组态的安全隐患排查及事故预警方法和系统

Publications (1)

Publication Number Publication Date
CN118135490A true CN118135490A (zh) 2024-06-04

Family

ID=91229724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410306121.2A Pending CN118135490A (zh) 2024-03-18 2024-03-18 一种基于图形组态的安全隐患排查及事故预警方法和系统

Country Status (1)

Country Link
CN (1) CN118135490A (zh)

Similar Documents

Publication Publication Date Title
CN111598040B (zh) 一种建筑工人身份识别及安全帽佩戴检测方法及系统
CN101751744B (zh) 一种烟雾检测和预警方法
CN110689054B (zh) 一种工人违规行为监测方法
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN112766050B (zh) 着装及作业检查方法、计算机装置及存储介质
CN110618635A (zh) 一种基于ai技术的列车驾驶室作业规范监测系统
CN112396658A (zh) 一种基于视频的室内人员定位方法及定位系统
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN118072255B (zh) 一种智慧园区多源数据动态监控和实时分析系统及方法
CN112613449A (zh) 一种基于视频人脸图像的安全帽佩戴检测识别方法及系统
CN115294528A (zh) 一种行人安全监控方法及装置
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测系统
Peng et al. [Retracted] Helmet Wearing Recognition of Construction Workers Using Convolutional Neural Network
CN116258466B (zh) 多模态电力场景作业规范检测方法、系统、设备及介质
CN112183532A (zh) 基于弱监督协同学习算法的安全帽识别方法及存储介质
CN118135490A (zh) 一种基于图形组态的安全隐患排查及事故预警方法和系统
CN116052035A (zh) 一种基于卷积神经网络的电厂人员周界入侵检测方法
Tschürtz et al. System of systems safety analysis and evaluation in ZalaZONE
CN115661766A (zh) 一种基于深度学习的智能船舶安全监控方法及系统
CN115169673A (zh) 一种智慧校园疫情风险监测与预警系统及方法
Nain et al. Authentication control system for the efficient detection of hard-hats using deep learning algorithms
CN118298384B (zh) 一种基于5g网络的智能安防监控方法及系统
CN116189101B (zh) 一种安检员视觉作业规范识别判定和引导的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination