CN117333816A - 一种面向营销现场作业的安全风险辨识的前端系统 - Google Patents
一种面向营销现场作业的安全风险辨识的前端系统 Download PDFInfo
- Publication number
- CN117333816A CN117333816A CN202311266825.3A CN202311266825A CN117333816A CN 117333816 A CN117333816 A CN 117333816A CN 202311266825 A CN202311266825 A CN 202311266825A CN 117333816 A CN117333816 A CN 117333816A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- marketing
- end system
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000006399 behavior Effects 0.000 claims description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 21
- 230000007246 mechanism Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 230000002401 inhibitory effect Effects 0.000 claims description 6
- 230000001681 protective effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 claims description 3
- 230000005611 electricity Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 208000009144 Pure autonomic failure Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000012782 phase change material Substances 0.000 description 1
- 238000002135 phase contrast microscopy Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000013312 porous aromatic framework Substances 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像识别技术领域，尤其涉及面向营销现场作业的安全风险辨识的前端系统，系统包括作业人员识别模块，设置有图像采集单元，用于检测运动目标的图像处理单元，能够识别从现场图像中作业人员，便于进行后续的进一步识别；行为识别模块，设置有适用于场景的行为识别单元，摄像头控制单元，能够提高行为识别和追踪的能力，提高在宽广范围内的追踪和识别能力；安全细节识别模块，用于基于人员的外观特征和人体关键点，识别安全风险，能够识别人员的安全风险，以降低事故发生概率。
Description
技术领域
本发明属于图像识别技术领域，尤其涉及面向营销现场作业的安全风险辨识的前端系统。
背景技术
电网企业现场作业的安全监督办法虽然较为完善，但仍需相关安全管理人员人为执行，因此并不能保证百分之百的落到实处。特别是针对营销领域现场作业范围广、作业数量多、时效性要求高、部分作业在用户侧、主业人员和项目外单位人员兼有等问题，更难以保证监督人员对所有营销作业过程进行实时监控与风险预警信息实时反馈。
作业行为是否符合标准，作业人员是否会干扰其他人员、安全着装等内容都是电力作业安全管理中的重要内容，在电力作业场景下能够有效的保护作业人员的安全。但在实际作业中，作业人员不按照安全管理规定佩戴安全服装或执行操作时未按规定戴绝缘服装等违章行为时有发生，给电力作业现场带来极大的安全隐患。同时，这些作业行为和普通的行为，安全服装、绝缘服装和普通衣服的外观区别不显眼，因此在实际的识别中，容易和其他的服装/行为混淆，识别效果差。
发明内容
为了解决或者改善上述问题，本发明提供了面向营销现场作业的安全风险辨识的前端系统，具体技术方案如下：
本发明提供一种面向营销现场作业的安全风险辨识的前端系统，包括：作业人员识别模块，设置有图像采集单元，用于检测运动目标的图像处理单元；行为识别模块，设置有适用于场景的行为识别单元，摄像头控制单元；安全细节识别模块，用于基于人员的外观特征和人体关键点，识别安全风险。
优选的，所述图像采集单元用于通过自身设置的摄像组件获取现场图像，或者数据通信组件获取外部数据的方式获取现场图像；所述图像处理单元，用于：根据所述现场图像识别当前的作业环节和/或作业场景，以确定对应的风险点；通过帧间差分法检测所述现场图像中的运动目标，并基于YOLO算法对所述运动目标进行识别以标记作业人员；根据所述风险点和所述作业人员，追踪并识别人员行为。
优选的，所述行为识别单元，用于：根据所述作业环节和/或作业场景，确定相匹配的行为规则；基于深度学习处理所述现场图像和所述行为规则，得到作业人员的行为信息。
优选的，所述摄像头控制单元，基于融合HOG特征与颜色特征的改进型KCF算法，控制摄像头以实现图像中目标人员的追踪。
优选的，所述安全细节识别模块，用于：基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业安全风险的精细识别结果。
优选的，所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。
优选的，所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；通过全连接层对候选区域进行回归，以判定目标类型和位置。
优选的，所述识别营销作业现场图像中人员的人体关键点，包括：检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。
优选的，所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；对应的，所述以得到营销作业安全风险的精细识别结果，包括：通过所述外观特征，确定风险防护设备的完备状态信息；通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。
优选的，所述摄像头控制单元，用于：基于融合HOG特征与颜色特征的改进型KCF算法，实现图像中目标人员的追踪；基于SURF算法的多视角画面匹配实现主-从摄像头协同追踪目标人员。
本发明的有益效果为：作业人员识别模块，设置有图像采集单元，用于检测运动目标的图像处理单元，能够识别从现场图像中作业人员，便于进行后续的进一步识别；行为识别模块，设置有适用于场景的行为识别单元，摄像头控制单元，能够提高行为识别和追踪的能力，提高在宽广范围内的追踪和识别能力；安全细节识别模块，用于基于人员的外观特征和人体关键点，识别安全风险，能够识别人员的安全风险，以降低事故发生概率。
附图说明
图1是根据本发明的面向营销现场作业的安全风险辨识的前端系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
为解决背景提到的技术问题，本发明提供如图1所示的一种面向营销现场作业的安全风险辨识的前端系统，包括：作业人员识别模块1，设置有图像采集单元，用于检测运动目标的图像处理单元；行为识别模块2，设置有适用于场景的行为识别单元，摄像头控制单元；安全细节识别模块3，用于基于人员的外观特征和人体关键点，识别安全风险。
所述图像采集单元用于通过自身设置的摄像组件获取现场图像，或者数据通信组件获取外部数据的方式获取现场图像；所述图像处理单元，用于：根据所述现场图像识别当前的作业环节和/或作业场景，以确定对应的风险点；通过帧间差分法检测所述现场图像中的运动目标，并基于YOLO算法对所述运动目标进行识别以标记作业人员；根据所述风险点和所述作业人员，追踪并识别人员行为。
首先输入作业现场视频流；然后从场景分类算法输入场景判据，判断当前视频段是否处于作业环节以及处于哪种作业场景，若是，则从风险点识别算法输入风险点判据并开启相应的场景后处理算法进行风险判断，若否，则从风险点识别算法输入风险点判据并开启通用防护后处理算法；最后，若识别出风险则在现场发出告警并向云端输出报警信息。
其中的场景后处理算法的判定规则根据《电力安全工作规程》编写，规则与作业场景对应，每个作业场景对于一个模板算法。算法运行时根据输入的场景判据调出相应的模板算法，随后输入风险点判据信息与模板进行一一对比，确定是否出现违章操作以及违章类型。
以倒闸操作为例，若场景判据显示当前处于验电环节，则调用出验电模板算法，由《电力安全工作规程》可知，验电环节中核心规定为，“高压验电应戴绝缘手套”、“验电器的伸缩式绝缘棒长度应拉足”、“验电时手应握在手柄处不得超过护环”、“人体应与验电设备保持安全距离”等；根据风险点判据传入信息，分别为“人员”、“安全帽”、“绝缘手套”、“验电棒”、“护环”、“绝缘子”及其在图像上相对坐标；通过对风险点信息与验电模板匹配可知，模板要素均得到匹配无缺失，因此当前不需要告警。
所述采用帧间差分法对变电站监控视频进行快速运动目标检测，包括：取两帧图像，根据帧间差分法计算其差分结果，并计算差分图像的直方图；根据预先设置好的阈值，对差分图像进行阈值分割，并根据分割结果，分别计算前景区域和背景区域的平均灰度及两者之间的比值；若比值大于指定阈值，则视频帧中存在运动目标，反之则认为不存在运动目标。
通过均值漂移聚类改进所述帧间差分法。
所述基于YOLO算法对运动目标进行辨识，并标记作业人员，包括：以运动目标作为中心点，截取图片区域并均分为若干小区域，在所述小区域的中心点设置有若干不同尺寸的先验锚框；进行图像特征进行提取，并以作业人员作为目标对所述小区域进行目标预测，得到预测结果矩阵；基于非极大值抑制对所述预测结果矩阵进行筛选去重，得到监控视频图像中作业人员的识别存在结果和位置信息。
所述行为识别单元，用于：根据所述作业环节和/或作业场景，确定相匹配的行为规则；基于深度学习处理所述现场图像和所述行为规则，得到作业人员的行为信息。
所述摄像头控制单元，基于融合HOG特征与颜色特征的改进型KCF算法，控制摄像头以实现图像中目标人员的追踪。
在本发明所设计的算法中，追踪目标主要为变电站现场作业人员，在追踪过程中，作业人员的姿态会不断发生变化，同时作业现场存在大量的电力设备，作业人员很容易被遮挡，导致其外观形态发生较大的变化。本发明采用KCF算法通常采用HOG算法对目标进行描述，但在变电站作业安全管控场景中，由于以上原因，单一的HOG特征难以在作业人员外形出现较大变化、遮挡的情况下保持稳定。而颜色特征虽然对外观轮廓的表达能力不强，但同时对于目标形态的依赖性不强，可以在遮挡情况下保持较好的鲁棒性。因此，本发明将融合HOG特征与颜色特征进行融合，增强KCF算法在变电站作业安全管控任务中的作业人员跟踪能力。
对于HOG特征，首先借鉴DPM算法的思路，采用改进过的FHOG特征进行替代。
SURF是一种常见的特征点检测算法，常用于图像配准等领域，本发明采用SURF算法对主从摄像头的位置进行配准，将从摄像头画面映射到主摄像头画面中，从而为从摄像头的联动提供参考。
相机协同追踪控制策略：为了保证从相机能够有效的对作业人员进行主动跟踪，需要通过云台对从摄像头的拍摄角度进行调整。从相机拍摄角度调整分为两个阶段：(1)发现作业人员后，需要根据主摄像头的画面调整从摄像头的拍摄角度，使跟踪目标位于从摄像头的监控范围之内；(2)主动跟踪阶段，作业人员在画面内活动，需要根据作业人员的运动情况实时调整相机，避免作业人员超出监控范围。本发明仅考虑一个从摄像头一个作业人员的跟踪情况。
所述安全细节识别模块，用于：基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业安全风险的精细识别结果。
所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。
所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；通过全连接层对候选区域进行回归，以判定目标类型和位置。
特征提取网络是实现计算机视觉的基础结构，原始图像中数据量大、噪声多，直接对原始图像数据进行处理不仅需要进行无用的计算，且由于噪声的干扰，效果往往较差。因此，计算机视觉领域常采用卷积神经网络结构对图像特征进行提取和组合，从而形成能够表达图像复杂结构的深层语义信息。由于本发明的检测对象为工作服、绝缘手套等类别，该类别与普通衣服、未带绝缘手套这两种情况极为相似，通常的特征提取网络难以满足本发明应用的需求。因此，本发明在深度残差神经网络的基础上，引入混合注意力机制及多尺度特征融合机制，从而加强网络的提取和表达能力。
混合注意力机制包括通道注意力和空间注意力进行串联应用，形成混合注意力，通道注意力和空间注意力对应设置有表示公式，表示公式基于实践设计得到。
多尺度特征融合的相关内容包括：
卷积神经网络通过对原始图像进行卷积和池化操作，获取不同尺度的特征图。实验表明，浅层特征图分辨率高，较为完整的保留了原始图片的细节信息，但对于物体的整体形态表示能力不足；深层特征图经过了复杂的非线性变换，包含丰富的语义信息，但同时也由于分辨率过低而导致图片中的细节信息丢失。对于输电线路超小目标检测任务而言，浅层特征图难以捕捉目标整体形态信息，而深层特征图则由于卷积操作导致小目标像素信息损失，可利用信息大大减少。因此，本发明采用特征金字塔网络进行多尺度特征融合，从而作业人员安全防护状态细粒度辨识的准确率。
细粒度安全防护辨识的相关内容包括：
设置细粒度安全防护辨识模块，用于现场作业人员的安全防护措施是否符合规定进行检测。为了实现安全防护措施细粒度辨识。
借鉴FasterRCNN的目标分类头进行设计。首先，本模块基于特征提取模块得到的特征图，设计了金字塔结构的区域建议网络(FPN-RPN)，用于生成目标候选区域。随后，在区域建议结果的基础上，本发明采用ROIAlign操作对区域特征进行尺寸调整，使每个区域的特征图尺寸保持一致。最后，通过全连接层对候选区域进行回归，判定目标类型与位置。
所述识别营销作业现场图像中人员的人体关键点，包括：检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。
设置营销现场作业人员关键点链接模块，以识别营销作业现场图像中人员的人体关键点。
本发明借鉴OpenPose算法的思路，在特征提取模块的基础上，构建作业人员关键点连接模块，通过将人体关键点与上一小节中的身体部位识别结果相结合，从而保证作业人员安全防护状态识别结果的完整性和准确性。
作业人员关键点连接模块可以分成两部分，第一部分是对人体的各个关键点进行检测，从而得到人体各个关节的位置；第二部分是通过对人员的肢体的方向进行评估，寻找各个关键点之间的连接关系，从而聚类得到完整的个体信息以及各个关键点之间的连接关系，构建人体骨骼姿态。这两个部分输出的识别结果分别称为特征点置信图PCMs和局部亲和域PAFs。
所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；对应的，所述以得到营销作业安全风险的精细识别结果，包括：通过所述外观特征，确定风险防护设备的完备状态信息；通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。
所述摄像头控制单元，用于：基于融合HOG特征与颜色特征的改进型KCF算法，实现图像中目标人员的追踪；基于SURF算法的多视角画面匹配实现主-从摄像头协同追踪目标人员。
所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；对应的，所述以得到营销作业风险因素的精细识别结果，包括：通过所述外观特征，确定风险防护设备的完备状态信息；通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。
本领域普通技术人员可以意识到，结合本实施例中所公开的实施例描述的各示例的单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元可结合为一个单元，一个单元可拆分为多个单元，或一些特征可以忽略等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种面向营销现场作业的安全风险辨识的前端系统，其特征在于，包括：
作业人员识别模块，设置有图像采集单元，用于检测运动目标的图像处理单元；
行为识别模块，设置有适用于场景的行为识别单元，摄像头控制单元；
安全细节识别模块，用于基于人员的外观特征和人体关键点，识别安全风险。
2.根据权利要求1所述面向营销现场作业的安全风险辨识的前端系统，其特征在于，所述图像采集单元用于通过自身设置的摄像组件获取现场图像，或者数据通信组件获取外部数据的方式获取现场图像；
所述图像处理单元，用于：
根据所述现场图像识别当前的作业环节和/或作业场景，以确定对应的风险点；
通过帧间差分法检测所述现场图像中的运动目标，并基于YOLO算法对所述运动目标进行识别以标记作业人员；
根据所述风险点和所述作业人员，追踪并识别人员行为。
3.根据权利要求2所述面向营销现场作业的安全风险辨识的前端系统，其特征在于，所述行为识别单元，用于：
根据所述作业环节和/或作业场景，确定相匹配的行为规则；
基于深度学习处理所述现场图像和所述行为规则，得到所述作业人员的行为信息。
4.根据权利要求3所述面向营销现场作业的安全风险辨识的前端系统，其特征在于，所述摄像头控制单元，基于融合HOG特征与颜色特征的改进型KCF算法，控制摄像头以实现图像中目标人员的追踪。
5.根据权利要求4所述面向营销现场作业的安全风险辨识的前端系统，其特征在于，所述安全细节识别模块，用于：
基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测所述作业人员的外观特征；
识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业安全风险的精细识别结果。
6.根据权利要求5所述面向营销现场作业的安全风险辨识的前端系统，其特征在于，所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：
基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；
基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；
采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。
7.根据权利要求6所述面向营销现场作业的安全风险辨识的前端系统，其特征在于，所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：
基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；
在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；
通过全连接层对候选区域进行回归，以判定目标类型和位置。
8.根据权利要求7所述面向营销现场作业的安全风险辨识的前端系统，其特征在于，所述识别营销作业现场图像中人员的人体关键点，包括：
检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；
对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。
9.根据权利要求8所述面向营销现场作业的安全风险辨识的前端系统，其特征在于，所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；
对应的，所述以得到营销作业安全风险的精细识别结果，包括：
通过所述外观特征，确定风险防护设备的完备状态信息；
通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。
10.根据权利要求9所述面向营销现场作业的安全风险辨识的前端系统，其特征在于，所述摄像头控制单元，用于：
基于融合HOG特征与颜色特征的改进型KCF算法，实现图像中目标人员的追踪；
基于SURF算法的多视角画面匹配实现主-从摄像头协同追踪目标人员。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311266825.3A CN117333816A (zh) | 2023-09-27 | 2023-09-27 | 一种面向营销现场作业的安全风险辨识的前端系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311266825.3A CN117333816A (zh) | 2023-09-27 | 2023-09-27 | 一种面向营销现场作业的安全风险辨识的前端系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117333816A true CN117333816A (zh) | 2024-01-02 |
Family
ID=89278437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311266825.3A Pending CN117333816A (zh) | 2023-09-27 | 2023-09-27 | 一种面向营销现场作业的安全风险辨识的前端系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333816A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994594A (zh) * | 2024-04-03 | 2024-05-07 | 武汉纺织大学 | 一种基于深度学习的电力作业风险识别方法 |
-
2023
- 2023-09-27 CN CN202311266825.3A patent/CN117333816A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994594A (zh) * | 2024-04-03 | 2024-05-07 | 武汉纺织大学 | 一种基于深度学习的电力作业风险识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898514B (zh) | 一种基于目标检测与动作识别的多目标视觉监管方法 | |
| CN110070033B (zh) | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 | |
| CN103098076B (zh) | 电视机控制用手势识别系统 | |
| CN117333816A (zh) | 一种面向营销现场作业的安全风险辨识的前端系统 | |
| CN112287823A (zh) | 一种基于视频监控的面部口罩识别方法 | |
| CN109271844A (zh) | 基于OpenCV的电气柜电气符号识别方法 | |
| Zhao et al. | Detection and location of safety protective wear in power substation operation using wear-enhanced YOLOv3 algorithm | |
| CN107067595A (zh) | 一种指示灯的状态辨识方法、装置及电子设备 | |
| Serrano-Cuerda et al. | Robust human detection and tracking in intelligent environments by information fusion of color and infrared video | |
| CN116311082B (zh) | 基于关键部位与图像匹配的穿戴检测方法及系统 | |
| El Sibai et al. | A new robust approach for real-time hand detection and gesture recognition | |
| CN112532927A (zh) | 一种施工现场智能安全管控系统 | |
| Peng et al. | Design of forest fire warning system based on machine vision | |
| Yang et al. | Knowledge-based role recognition by using human-object interaction and spatio-temporal analysis | |
| CN111985331B (zh) | 预防商业秘密被窃照的检测方法及装置 | |
| CN114708544A (zh) | 一种基于边缘计算的违规行为智能监测头盔及其监测方法 | |
| Hongqi et al. | Research on video image preprocessing for monitoring abnormal behavior of mechanical operators | |
| CN117333940A (zh) | 一种营销作业风险因素的精细识别方法和系统 | |
| CN115410137B (zh) | 基于时空特征的双流工人劳动状态识别方法 | |
| CN118262270A (zh) | 预警信息确定方法、装置、服务器及存储介质 | |
| Peng et al. | Improved Yolov5S normative identification algorithm of power place operators | |
| CN117333815A (zh) | 一种在营销现场的作业人员的识别方法和系统 | |
| Tao et al. | Research on Detection Method of Daily Staff Work Management Violation based on Convolutional Neural Network and SSD Algorithm | |
| Gao et al. | Identification of risk behavior in power working scenarios based on deep learning | |
| CN112990060B (zh) | 一种关节点分类和关节点推理的人体姿态估计分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |