CN113111771A - 一种发电厂工作人员不安全行为的识别方法 - Google Patents
一种发电厂工作人员不安全行为的识别方法 Download PDFInfo
- Publication number
- CN113111771A CN113111771A CN202110386706.6A CN202110386706A CN113111771A CN 113111771 A CN113111771 A CN 113111771A CN 202110386706 A CN202110386706 A CN 202110386706A CN 113111771 A CN113111771 A CN 113111771A
- Authority
- CN
- China
- Prior art keywords
- unsafe
- image
- behaviors
- identifying
- unsafe behaviors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉技术领域,具体涉及一种发电厂工作人员不安全行为的识别方法。具体包括预设若干中工作人员不安全行为、获取现场视频图像、通过改进的YOLOv4算法的卷积神经网络对所述视频图像进行分析并识别不安全行为,包括单帧图像不安全行为分析、视频序列不安全行为分析、特定任务、场景不安全行为分析。有益之处是此方法基于计算机视觉技术,结合不安全行为语义信息对不安全行为进行识别。相比现有的方案,具有价格低廉、效率高、实时检测、不漏死角的优势,节省了大量人力,物力,财力。此方法可推广运用于所有工业领域不安全行为识别的场景。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及一种发电厂工作人员不安全行为的识别方法。
背景技术
传统的人的不安全行为识别,是人工现场巡视或在监控室浏览视频的方式进行。该方式虽然识别准确率非常高,但效率极低、覆盖面小,难以全面、实时识别所有不安全行为,因此电厂不安全行为仍时有发生。
近年来,随着计算机视觉技术的发展,入侵检测技术开始应用到不安全行为识别中。入侵检测技术的特征是通过计算两个连续视频帧的帧差,通过统计方式确定是否有目标。该方法对移动目标较为有效,但对静态目标无法识别,且仅能检测是否有入侵,无法确定入侵的具体类型。
目前,随着人工智能技术的发展,也有使用深度学习方法进行不安全行为检测的技术。但目前采用的技术,都是直接检测任务目标,对于更深层次语义的目标任务无能为力。
发明内容
本发明的目的在于弥补现有方法的不足,针对现有技术的缺点,本发明提供了一种发电厂工作人员不安全行为的识别方法。本发明采用发电厂现有的安防摄像机采集图像,利用深度学习技术检测目标,同时加入各种语义规则,实现了操作简单,易于控制,价格低廉的人的不安全行为识别方法。
为实现上述目的,本发明提供如下技术方案:一种发电厂工作人员不安全行为的识别方法,包括:
预设若干中工作人员不安全行为,将所述不安全行为对应的视频图像的信息作为数据集;
获取现场视频图像;
通过改进的YOLOv4算法的卷积神经网络对所述视频图像进行分析并识别不安全行为,包括:
单帧图像不安全行为分析,所述单帧图像不安全行为包括是否戴安全帽、是否佩戴安全带、是否使用移动设备;
视频序列不安全行为分析,所述视频序列不安全行为包括是否在移动中使用移动设备;
特定任务、场景不安全行为分析,所述特定任务、场景不安全行为包括是否正确佩戴安全带、是否跨越周界线、是否翻越栏杆、是否跨越皮带、是否在运行皮带上作业、开关室是否单人作业。
作为本发明的一种优选技术方案,所述改进的YOLOv4算法的改进方法是:使用变尺度感兴趣区域全连接层代替RoIPooling层,具体为,所述视频图像的源尺寸为HS×WS,目的尺寸为HT×WT,通过如下方式筛选像素进行全连接,达到统一尺寸目的,
作为本发明的一种优选技术方案,所述预设若干中工作人员不安全行为步骤中,包括对所述卷积神经网络进行训练,训练方法是通过人工标注的方式用标注框标注出所述标注框内的视频图像的以下信息:是否佩戴安全帽以及安全帽的类别、是否佩戴安全带、人员图像、周界线图像、栏杆图像、皮带图像、开关室的人脸以及标注框的坐标。
作为本发明的一种优选技术方案,所述单帧图像不安全行为分析步骤中,对于是否戴安全帽具体为检测视频图像中的人员图像位置,并分析该位置下是否有红、蓝、黄、白、黑的安全帽以进行判定。
作为本发明的一种优选技术方案,所述单帧图像不安全行为分析以及所述特定任务、场景不安全行为分析步骤中,对于是否佩戴安全带具体为检测视频图像中的人员图像位置,安全带的挂钩设置区别颜色的标记,通过识别所述标记并于人员图像比对,如果所述标记高于人员肩部或与人员腰部重合则为正确佩戴,否则为不正确。
作为本发明的一种优选技术方案,所述单帧图像不安全行为分析步骤中,对于是否使用移动设备为具体检测人员图像的像素。
作为本发明的一种优选技术方案,所述视频序列不安全行为分析步骤中,具体为采用行人重识别技术,识别两个图像帧中使用移动设备的人员是否为同一人员;具体方法是使用两个卷积神经网络子网,同时输入两张使用移动设备人员的图像,输出为是否同一人员的结果;对于同一人员使用移动设备,根据不同图像帧中位置,计算人员是否有移动,从而判断是否是在移动中使用移动设备。
作为本发明的一种优选技术方案,所述特定任务、场景不安全行为分析步骤中,对是否跨越周界线、是否翻越栏杆、是否跨越皮带、是否在运行皮带上作业、开关室是否单人作业的具体方法是对所述周界线、所述栏杆、所述皮带进行画线标记,检测图像中人员图像是否与画线标记重叠;识别开关室内的人员图像并计算人员图像数量,小于等于1为不安全行为。
与现有技术相比,本发明的有益效果是:
本发明提供的此方法基于计算机视觉技术,改进现有YOLOv4算法,基于基础网络的精度和速度都有极大保障结合不安全行为语义信息对不安全行为进行识别。本发明通过人工智能的手段提升发电厂视频监控系统对工作人员的不安全行为主动监控能力,及时发现事故隐患。通过识别工作人员不安全行为,精准地发现发出报警提示,做到防患于未然,保障安全生产。相比现有的方案,具有价格低廉、效率高、实时检测、不漏死角的优势,节省了大量人力,物力,财力。此方法可推广运用于所有工业领域不安全行为识别的场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例中一种发电厂工作人员不安全行为的识别方法的任务组成示意图;
图2为本发明实施例中单帧视频不安全行为的识别流程示意图。
图3为本发明实施例中视频序列不安全行为的识别流程示意图。
图4为本发明实施例中特定任务、场景不安全行为分析的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅附图1至4,本发明实施例提供的一种发电厂工作人员不安全行为的识别方法具体为:
S1:预设若干中工作人员不安全行为,将所述不安全行为对应的视频图像的信息作为数据集。
其中包括对所述卷积神经网络进行训练,训练方法是通过人工标注的方式用标注框标注出所述标注框内的视频图像的以下信息:是否佩戴安全帽以及安全帽的类别、是否佩戴安全带、人员图像、周界线图像、栏杆图像、皮带图像、开关室的人脸以及标注框的坐标。具体是通过以对历史监控视频的视频图像进行人工标注,如标注出各类的安全帽图像、人员图像等上述信息,形成数据集,当然,对于上述信息,可以根据实际情况进行灵活调整,以提高系统对监控对象的识别精度。
S2:获取现场视频图像。
具体是从安防摄像机中,根据摄像机公开协议获取视频图像。
S3:通过基于YOLOv4算法的卷积神经网络对所述视频图像进行分析并识别不安全行为,包括:
S31:单帧图像不安全行为分析,所述单帧图像不安全行为包括是否戴安全帽、是否佩戴安全带、是否使用移动设备。具体是采用基于深度学习的YOLOv4目标检测技术,对于是否戴安全帽具体为检测视频图像中的人员图像位置,并分析该位置下是否有红、蓝、黄、白、黑的安全帽以进行判定;
检测并识别是否佩戴安全带,若未佩戴则记录;若佩戴,进一步识别挂钩位置。其中安全带的挂钩设置区别颜色的标记,一般采用区别颜色的泡沫球,通过识别泡沫球并于人员图像比对,如果泡沫球高于人员肩部或与人员腰部重合则为正确佩戴,否则为不正确;
采用基于深度学习的YOLOv4目标检测技术具体检测人员图像的像素,检测并识别是否使用移动设备,若使用则记录。
在本发明实施例中,上述YOLOv4算法的改进方法是使用变尺度感兴趣区域全连接层代替目前常用的RoIPooling层,以适应源候选区域尺寸小于目标区域尺寸的问题。具体做法为,如果源尺寸为HS×WS,目的尺寸为HT×WT,通过如下方式筛选像素进行全连接,达到统一尺寸目的。
S32:视频序列不安全行为分析,所述视频序列不安全行为包括是否在移动中使用移动设备。
具体是采用行人重识别技术,识别两个图像帧中使用移动设备的人员是否为同一人员;具体方法是使用两个卷积神经网络子网,同时输入两张使用移动设备人员的图像,输出为是否同一人员的结果;对于同一人员使用移动设备,根据不同图像帧中位置,计算人员是否有移动,从而判断是否是在移动中使用移动设备。操作步骤为:
(1)获取第一次和最近一次记录的,未带清除标识的使用移动设备的视频帧。
(2)采用行人重识别技术,识别两个帧中使用移动设备的人员是否为同一人员,若是则继续;若不是,则添加清除记录,结束。
(3)对于同一人员使用移动设备,根据不同帧中位置,计算是否有移动,从而判断是否是在移动中使用移动设备,若是则记录。
S33:特定任务、场景不安全行为分析,所述特定任务、场景不安全行为包括是否正确佩戴安全带、是否跨越周界线、是否翻越栏杆、是否跨越皮带、是否在运行皮带上作业、开关室是否单人作业。
具体来说,此步骤为对是否跨越周界线、是否翻越栏杆、是否跨越皮带、是否在运行皮带上作业、开关室是否单人作业的具体方法是对所述周界线、所述栏杆、所述皮带进行画线标记,检测图像中人员图像是否与画线标记重叠;识别开关室内的人员图像并计算人员图像数量,小于等于1为不安全行为。具体步骤为:
(1)检测挂钩位置,对于挂钩不高于肩部,且与人员检测框重合的情况,记录不正确佩戴安全带。
(2)检测周界线与人员检测框的交叠,如有交叠则记录跨越周界。
(3)检测栏杆线与人员检测框的交叠,如有交叠则记录跨越栏杆。
(4)检测皮带封闭线与人员检测框的交叠,如有交叠则记录跨越皮带。
(5)检测运行皮带封闭线与人员检测框的交叠,如有交叠则记录在运行皮带上作业。
(6)计算一个开关室内是否只有一个人作业,若是则记录开关室内单人作业。
本发明的算法首先利用安防摄像机获取图像数据,进行单帧图像任务不安全行为识别,然后在利用多帧进行视频序列任务识别,最后进行场景任务识别。该方法不但适用于发电厂人的不安全行为识别,解决人工方法和传统方法不及时、不全面的问题。该方法同样适用于其它场景需求,例如其它工业生产中的人员不安全行为识别等。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种发电厂工作人员不安全行为的识别方法,其特征在于,包括:
预设若干中工作人员不安全行为,将所述不安全行为对应的视频图像的信息作为数据集;
获取现场视频图像;
通过改进的YOLOv4算法的卷积神经网络对所述视频图像进行分析并识别不安全行为,包括:
单帧图像不安全行为分析,所述单帧图像不安全行为包括是否戴安全帽、是否佩戴安全带、是否使用移动设备;
视频序列不安全行为分析,所述视频序列不安全行为包括是否在移动中使用移动设备;
特定任务、场景不安全行为分析,所述特定任务、场景不安全行为包括是否正确佩戴安全带、是否跨越周界线、是否翻越栏杆、是否跨越皮带、是否在运行皮带上作业、开关室是否单人作业。
3.根据权利要求1所述的发电厂工作人员不安全行为的识别方法,其特征在于,所述预设若干中工作人员不安全行为步骤中,包括对所述卷积神经网络进行训练,训练方法是通过人工标注的方式用标注框标注出所述标注框内的视频图像的以下信息:是否佩戴安全帽以及安全帽的类别、是否佩戴安全带、人员图像、周界线图像、栏杆图像、皮带图像、开关室的人脸以及标注框的坐标。
4.根据权利要求1所述的一种发电厂工作人员不安全行为的识别方法,其特征在于,所述单帧图像不安全行为分析步骤中,对于是否戴安全帽具体为检测视频图像中的人员图像位置,并分析该位置下是否有红、蓝、黄、白、黑的安全帽以进行判定。
5.根据权利要求1所述的一种发电厂工作人员不安全行为的识别方法,其特征在于,所述单帧图像不安全行为分析以及所述特定任务、场景不安全行为分析步骤中,对于是否佩戴安全带具体为检测视频图像中的人员图像位置,安全带的挂钩设置区别颜色的标记,通过识别所述标记并于人员图像比对,如果所述标记高于人员肩部或与人员腰部重合则为正确佩戴,否则为不正确。
6.根据权利要求1所述的一种发电厂工作人员不安全行为的识别方法,其特征在于,所述单帧图像不安全行为分析步骤中,对于是否使用移动设备为具体检测人员图像的像素。
7.根据权利要求1所述的一种发电厂工作人员不安全行为的识别方法,其特征在于,所述视频序列不安全行为分析步骤中,具体为采用行人重识别技术,识别两个图像帧中使用移动设备的人员是否为同一人员;具体方法是使用两个卷积神经网络子网,同时输入两张使用移动设备人员的图像,输出为是否同一人员的结果;对于同一人员使用移动设备,根据不同图像帧中位置,计算人员是否有移动,从而判断是否是在移动中使用移动设备。
8.根据权利要求1所述的一种发电厂工作人员不安全行为的识别方法,其特征在于,所述特定任务、场景不安全行为分析步骤中,对是否跨越周界线、是否翻越栏杆、是否跨越皮带、是否在运行皮带上作业、开关室是否单人作业的具体方法是对所述周界线、所述栏杆、所述皮带进行画线标记,检测图像中人员图像是否与画线标记重叠;识别开关室内的人员图像并计算人员图像数量,小于等于1为不安全行为。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110386706.6A CN113111771A (zh) | 2021-04-12 | 2021-04-12 | 一种发电厂工作人员不安全行为的识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110386706.6A CN113111771A (zh) | 2021-04-12 | 2021-04-12 | 一种发电厂工作人员不安全行为的识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113111771A true CN113111771A (zh) | 2021-07-13 |
Family
ID=76715502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110386706.6A Withdrawn CN113111771A (zh) | 2021-04-12 | 2021-04-12 | 一种发电厂工作人员不安全行为的识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113111771A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554682A (zh) * | 2021-08-03 | 2021-10-26 | 同济大学 | 一种基于目标跟踪的安全帽检测方法 |
CN113792665A (zh) * | 2021-09-16 | 2021-12-14 | 山东大学 | 一种针对不同角色权限的违禁区域侵入检测方法 |
CN115311753A (zh) * | 2022-06-21 | 2022-11-08 | 华能新华发电有限责任公司 | 一种输煤廊道智能巡检系统 |
-
2021
- 2021-04-12 CN CN202110386706.6A patent/CN113111771A/zh not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554682A (zh) * | 2021-08-03 | 2021-10-26 | 同济大学 | 一种基于目标跟踪的安全帽检测方法 |
CN113792665A (zh) * | 2021-09-16 | 2021-12-14 | 山东大学 | 一种针对不同角色权限的违禁区域侵入检测方法 |
CN113792665B (zh) * | 2021-09-16 | 2023-08-08 | 山东大学 | 一种针对不同角色权限的违禁区域侵入检测方法 |
CN115311753A (zh) * | 2022-06-21 | 2022-11-08 | 华能新华发电有限责任公司 | 一种输煤廊道智能巡检系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110188724B (zh) | 基于深度学习的安全帽定位与颜色识别的方法及系统 | |
CN113111771A (zh) | 一种发电厂工作人员不安全行为的识别方法 | |
CN103069434B (zh) | 用于多模式视频事件索引的方法和系统 | |
CN112396658B (zh) | 一种基于视频的室内人员定位方法及定位系统 | |
CN110414400B (zh) | 一种施工现场安全帽穿戴自动检测方法及系统 | |
CN113516076A (zh) | 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 | |
CN103456024B (zh) | 一种运动目标越线判断方法 | |
CN113903081A (zh) | 一种水电厂图像视觉识别人工智能报警方法及装置 | |
CN104504369A (zh) | 一种安全帽佩戴情况检测方法 | |
CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
CN108376246A (zh) | 一种多人脸识别及跟踪系统及方法 | |
CN105844245A (zh) | 一种伪装人脸检测方法及系统 | |
CN113743256B (zh) | 一种工地安全智能预警方法与装置 | |
CN112287823A (zh) | 一种基于视频监控的面部口罩识别方法 | |
Li et al. | Toward efficient safety helmet detection based on YoloV5 with hierarchical positive sample selection and box density filtering | |
CN112487891B (zh) | 一种应用于电力作业现场的视觉智能动态识别模型构建方法 | |
CN115861940B (zh) | 基于人体跟踪及识别技术的工作场景行为评估方法及系统 | |
CN115035088A (zh) | 一种基于yolov5和姿态估计的安全帽佩戴检测方法 | |
CN113191273A (zh) | 基于神经网络的油田井场视频目标检测与识别方法及系统 | |
Chern et al. | Context-aware safety assessment system for far-field monitoring | |
CN114067396A (zh) | 基于视觉学习的居配工程现场试验数字化管理系统及方法 | |
CN113537019A (zh) | 基于关键点识别变电站人员安全帽佩戴的检测方法 | |
CN112183532A (zh) | 基于弱监督协同学习算法的安全帽识别方法及存储介质 | |
CN116419059A (zh) | 基于行为标签的自动监控方法、装置、设备及介质 | |
CN113554682B (zh) | 一种基于目标跟踪的安全帽检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210713 |
|
WW01 | Invention patent application withdrawn after publication |