CN109919182B - 一种终端侧电力安全作业图像识别方法 - Google Patents
一种终端侧电力安全作业图像识别方法 Download PDFInfo
- Publication number
- CN109919182B CN109919182B CN201910067319.9A CN201910067319A CN109919182B CN 109919182 B CN109919182 B CN 109919182B CN 201910067319 A CN201910067319 A CN 201910067319A CN 109919182 B CN109919182 B CN 109919182B
- Authority
- CN
- China
- Prior art keywords
- image
- gradient
- safety helmet
- matrix
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 18
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000013500 data storage Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种终端侧电力安全作业图像识别方法。传统的基于图像的安全帽识别方法为保障识别的准确性,提取了大量的特征用于建模和分类;此类方法均有较高的计算复杂度,终端侧MCU的计算能力难以支撑现有算法的运行。本发明的终端侧电力安全作业图像识别方法,包括模型训练和安全帽识别两部分,训练和安全帽识别的过程均在摄像头终端侧完成,摄像头仅将发现存在作业人员未佩戴安全帽的图像发送至后台服务器,其余数据均在摄像头本地存储。本发明的方法具有较低的运算量和数据存储量,可在摄像头终端侧实现作业人员安全帽佩戴情况识别。
Description
技术领域
本发明属于图像识别领域,具体地说是一种终端侧电力安全作业图像识别方法。
背景技术
根据安全规范,在电力现场作业中作业人员都必须佩带安全帽。目前在电力安全作业图像识别方面,主要通过现场监控视频图像信息,识别作业人员是否佩戴安全帽。基于现场监控视频图像的安全帽识别的主要步骤如下:
1.采集现场作业图像,并对图像进行归一化处理,建立相应的训练样本库。
2.提取图像中用于鉴别安全帽的相关特征,现有方法使用的特征包括SIFT角点特征、颜色统计特征、HOG特征等。
3.利用训练样本库中的图像,基于图像中安全帽的特征,训练戴安全帽与不戴安全帽两类情况对应的模型,现有的建模方法主要包括神经网络、支持向量机、Fisher判别模型等。
4.根据现场拍摄的图像/视频,判断作业人员是否佩戴安全帽。
传统的基于图像的安全帽识别方法为保障识别的准确性,提取了大量的特征用于建模和分类;此类方法均有较高的计算复杂度,终端侧MCU的计算能力难以支撑现有算法的运行。
发明内容
本发明所要解决的技术问题是克服上述现有技术存在的缺陷,提供一种面向摄像头终端侧的电力安全作业图像识别方法,以较低的计算复杂度实现电力作业人员安全帽佩戴识别。
为此,本发明采用如下的技术方案:一种终端侧电力安全作业图像识别方法,其包括模型训练和安全帽识别,模型训练和安全帽识别的过程均在摄像头终端侧完成;
通过模型训练得到电力作业人员安全帽佩戴情况的支持向量机分类器F(x);
安全帽识别的过程如下:
1)获取无人员进入摄像头拍摄区域的图像,并将图像转化为灰度图;
2)通过maxpooling算法,以N*N的采样核为对灰度图进行下采样,得到背景图像H0;
3)计算H0中每个像素点的梯度、梯度幅值和梯度方向分别为:
式中,x、y表示图像中像素点的横、纵坐标;
4)以设定的时间间隔T,并将背景图像H0转化为灰度图,利用maxpooling算法对当前监测区域图像进行下采样,得到图像HkT;
5)计算HkT中每个像素点的梯度、梯度幅值和梯度方向分别为:
6)将HkT中每个像素点的梯度减去背景图像H0的梯度,得到特征矩阵AkT、BkT:
7)对AkT、BkT按列拉直,得到向量vec(AkT),vec(BkT);
8)如果||vec(AkT)||+||vec(BkT)||>e,跳转至步骤9),否则跳转至步骤4);
9)根据AkT、BkT构造HkT的HOG特征xkT;
10)计算F(xkT),如果F(xkT)≤0表示作业人员未佩戴安全帽,F(xkT)>0表示作业人员已佩戴安全帽。
本发明提出了一种终端侧电力安全作业图像识别方法,该方法具有较低的运算量和数据存储量,可在摄像头终端侧实现作业人员安全帽佩戴情况识别。
进一步地,步骤9)中,HOG特征向量xkT的具体构造方式如下:
3)将梯度方向角分为[0,20),[20,40),[40,60),[60,80),[80,100),[100,120),[120,140),[140,160),[160,180),[180,200),[200,220),[220,240),[240,260),[260,280),[280,300),[300,320),[320,340),[340,360)18个区间,统计中梯度方向的对应区间的梯度幅值大小,构造HOG特征向量xkT。
进一步地,所述模型训练的具体步骤如下:
1)获取无人员进入摄像头拍摄区域的图像,并将图像转化为灰度图;
2)通过maxpooling算法,以N*N的采样核为对灰度图进行下采样,得到背景图像H0;
3)计算H0中每个像素点的梯度、梯度幅值和梯度方向,分别为:
式中,x,y表示图像中像素点的横、纵坐标;
4)获取作业人员进入摄像头拍摄区域的图像,并将图像转化为灰度图;
5)对于第k幅有作业人员的图像,通过maxpooling算法对灰度图进行下采样,得到图像Hk;
6)计算Hk中每个像素点的梯度、梯度幅值和梯度方向,分别为:
7)将Hk中每个像素点的梯度减去背景图像H0的梯度,得到特征矩阵Ak、Bk:
8)根据Ak、Bk构造图像Hk的HOG特征;
9)对于图像Hk,用Pk=1表示图中的作业人员佩戴安全帽,用Pk=0表示图中的作业人员未佩戴安全帽;
10)选取电力作业图像,构造训练样本集{[x1,P1],[x2,P2],...,[xn,Pn]},训练电力作业人员安全帽佩戴情况的支持向量机分类器F(x)=wTx+b,其中,w,b通过下式计算得到:
进一步地,模型训练的步骤8)中,HOG特征向量xk的具体构造方式如下:
3)将梯度方向角分为[0,20),[20,40),[40,60),[60,80),[80,100),[100,120),[120,140),[140,160),[160,180),[180,200),[200,220),[220,240),[240,260),[260,280),[280,300),[300,320),[320,340),[340,360)18个区间,统计中梯度方向的对应区间的梯度幅值大小,构造HOG特征向量xk。
相比与现有的识别方法,本发明具有的有益效果如下:
1.通过maxpooling下采样,对图片进行了滤波,降低了数据存储量和计算量;
2.通过作业图像梯度与背景图像梯度相减,过滤了背景信息,实现了人体特征的有效提取;
3.在构造HOG特征过程中,对原始梯度矩阵中的全0行和全0列进行了裁剪,降低了HOG特征向量的长度,进一步降低了计算量。
附图说明
图1为本发明模型训练的过程图;
图2为本发明安全帽识别的过程图。
具体实施方式
为使本发明的目的、技术方案和优点表达的更加清晰、明白,下面结合附图及具体实例对本发明再做进一步详细的说明。
本发明提出的终端侧电力安全作业图像识别方法,包括模型训练和安全帽识别两部分,训练和识别的过程均在摄像头终端侧完成。拍摄图像的摄像头位置保持固定,摄像头与服务器通过以太网连接,摄像头仅将发现存在作业人员未佩戴安全帽的图像发送至后台服务器,其余数据均在摄像头本地存储。
模型训练的过程如图1所示,具体步骤如下:
1.获取无人员进入摄像头拍摄区域的图像,并将图像转化为灰度图;
2.通过maxpooling算法,以N*N的采样核为对灰度图进行下采样,得到背景图像H0;
3.计算H0中每个像素点的梯度,梯度幅值和梯度方向分别为:
其中,
4.获取作业人员进入摄像头拍摄区域的图像,并将图像转化为灰度图;
5.对于第k幅有作业人员的图像,通过maxpooling算法对灰度图进行下采样,得到图像Hk;
6.计算Hk中每个像素点的梯度,梯度幅值和梯度方向分别为:
其中,
7.将Hk中每个像素点的梯度减去背景图像H0的梯度,得到特征矩阵Ak、Bk:
8.根据Ak、Bk构造Hk的HOG特征,具体构造方式如下:
(3)将梯度方向角分为[0,20),[20,40),[40,60),[60,80),[80,100),[100,120),[120,140),[140,160),[160,180),[180,200),[200,220),[220,240),[240,260),[260,280),[280,300),[300,320),[320,340),[340,360)18个区间,统计中梯度方向的对应区间的梯度幅值大小,构造HOG特征向量xk;
9.对于图像Hk,用Pk=1表示图中的作业人员佩戴安全帽,用Pk=0表示图中的作业人员未佩戴安全帽;
10.选取电力作业图像,构造训练样本集{[x1,P1],[x2,P2],...,[xn,Pn]},训练电力作业人员安全帽佩戴情况的支持向量机(SVM)分类器F(x)=wTx+b,其中,w,b通过下式计算得到:
安全帽识别的过程如图2所示,具体步骤如下:
1.获取无人员进入摄像头拍摄区域的图像,并将图像转化为灰度图;
2.通过maxpooling算法,以N*N的采样核为对灰度图进行下采样,得到背景图像H0;
3.计算H0中每个像素点的梯度,梯度幅值和梯度方向分别为:
其中,
G0x(x,y)=H0(x+1,y)-H0(x-1,y)
G0y(x,y)=H0(x,y+1)-H0(x,y-1)
4.以设定的时间间隔T,并将背景图像H0转化为灰度图,利用maxpooling算法对当前监测区域图像进行下采样,得到图像HkT;
5.计算HkT中每个像素点的梯度,梯度幅值和梯度方向分别为:
其中,
6.将HkT中每个像素点的梯度减去背景图像H0的梯度,得到特征矩阵AkT、BkT:
7.对AkT、BkT按列拉直,得到向量vec(AkT),vec(BkT);
8.如果||vec(AkT)||+||vec(BkT)||>e,跳转至步骤9,否则跳转至步骤4;
9.根据AkT、BkT构造HkT的HOG特征,具体构造方式如下:
(3)将梯度方向角分为[0,20),[20,40),[40,60),[60,80),[80,100),[100,120),[120,140),[140,160),[160,180),[180,200),[200,220),[220,240),[240,260),[260,280),[280,300),[300,320),[320,340),[340,360)18个区间,统计中梯度方向的对应区间的梯度幅值大小,构造HOG特征向量xkT;
10.计算F(xkT),如果F(xkT)≤0表示作业人员未佩戴安全帽,F(xkT)>0表示作业人员已佩戴安全帽。
基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
Claims (2)
1.一种终端侧电力安全作业图像识别方法,其特征在于,包括模型训练和安全帽识别,模型训练和安全帽识别的过程均在摄像头终端侧完成;摄像头仅将发现存在作业人员未佩戴安全帽的图像发送至后台服务器,其余数据均在摄像头本地存储;
通过模型训练得到电力作业人员安全帽佩戴情况的支持向量机分类器F(x);
安全帽识别的过程如下:
1)获取无人员进入摄像头拍摄区域的图像,并将图像转化为灰度图;
2)通过maxpooling算法,以N*N的采样核为对灰度图进行下采样,得到背景图像H0;
3)计算H0中每个像素点的梯度、梯度幅值和梯度方向分别为:
式中,x、y表示图像中像素点的横、纵坐标;
4)以设定的时间间隔T,并将背景图像H0转化为灰度图,利用maxpooling算法对当前监测区域图像进行下采样,得到图像HkT;
5)计算HkT中每个像素点的梯度、梯度幅值和梯度方向分别为:
6)将HkT中每个像素点的梯度减去背景图像H0的梯度,得到特征矩阵AkT、BkT:
7)对AkT、BkT按列拉直,得到向量vec(AkT),vec(BkT);
8)如果||vec(AkT)||+||vec(BkT)||>e,跳转至步骤9),否则跳转至步骤4);
9)根据AkT、BkT构造HkT的HOG特征xkT;
10)计算F(xkT),如果F(xkT)≤0表示作业人员未佩戴安全帽,F(xkT)>0表示作业人员已佩戴安全帽;
步骤9)中,HOG特征向量xkT的具体构造方式如下:
3)将梯度方向角分为[0,20),[20,40),[40,60),[60,80),[80,100),[100,120),[120,140),[140,160),[160,180),[180,200),[200,220),[220,240),[240,260),[260,280),[280,300),[300,320),[320,340),[340,360)18个区间,统计中梯度方向的对应区间的梯度幅值大小,构造HOG特征向量xkT;
所述模型训练的具体步骤如下:
1)获取无人员进入摄像头拍摄区域的图像,并将图像转化为灰度图;
2)通过maxpooling算法,以N*N的采样核为对灰度图进行下采样,得到背景图像H0;
3)计算H0中每个像素点的梯度、梯度幅值和梯度方向,分别为:
4)获取作业人员进入摄像头拍摄区域的图像,并将图像转化为灰度图;
5)对于第k幅有作业人员的图像,通过maxpooling算法对灰度图进行下采样,得到图像Hk;
6)计算Hk中每个像素点的梯度、梯度幅值和梯度方向,分别为:
7)将Hk中每个像素点的梯度减去背景图像H0的梯度,得到特征矩阵Ak、Bk:
8)根据Ak、Bk构造图像Hk的HOG特征;
9)对于图像Hk,用Pk=1表示图中的作业人员佩戴安全帽,用Pk=0表示图中的作业人员未佩戴安全帽;
10)选取电力作业图像,构造训练样本集{[x1,P1],[x2,P2],...,[xn,Pn]},训练电力作业人员安全帽佩戴情况的支持向量机分类器F(x)=wTx+b,其中,w,b通过下式计算得到:
2.根据权利要求1所述的终端侧电力安全作业图像识别方法,其特征在于,模型训练的步骤8)中,HOG特征向量xk的具体构造方式如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910067319.9A CN109919182B (zh) | 2019-01-24 | 2019-01-24 | 一种终端侧电力安全作业图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910067319.9A CN109919182B (zh) | 2019-01-24 | 2019-01-24 | 一种终端侧电力安全作业图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109919182A CN109919182A (zh) | 2019-06-21 |
CN109919182B true CN109919182B (zh) | 2021-10-22 |
Family
ID=66960725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910067319.9A Active CN109919182B (zh) | 2019-01-24 | 2019-01-24 | 一种终端侧电力安全作业图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109919182B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114821305B (zh) * | 2022-04-02 | 2024-06-11 | 华南理工大学 | 电力作业现场安全带识别方法、装置、设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831409A (zh) * | 2012-08-30 | 2012-12-19 | 苏州大学 | 基于粒子滤波的运动行人视频自动跟踪方法及系统 |
CN103336965A (zh) * | 2013-07-18 | 2013-10-02 | 江西省电力公司检修分公司 | 基于轮廓差异及区块主方向直方图的前景与特征提取方法 |
CN103745226A (zh) * | 2013-12-31 | 2014-04-23 | 国家电网公司 | 一种电力设施作业现场人员着装安全检测方法 |
CN104063722A (zh) * | 2014-07-15 | 2014-09-24 | 国家电网公司 | 一种融合hog人体目标检测和svm分类器的安全帽识别方法 |
CN105760847A (zh) * | 2016-03-01 | 2016-07-13 | 江苏大学 | 一种对摩托车驾驶员头盔佩戴情况的视觉检测方法 |
CN106156765A (zh) * | 2016-08-30 | 2016-11-23 | 南京邮电大学 | 基于计算机视觉的安全检测方法 |
CN106709443A (zh) * | 2016-12-19 | 2017-05-24 | 同观科技(深圳)有限公司 | 一种安全带佩戴状态的检测方法及终端 |
CN106778609A (zh) * | 2016-12-15 | 2017-05-31 | 国网浙江省电力公司杭州供电公司 | 一种电力施工现场人员制服穿着识别方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170213080A1 (en) * | 2015-11-19 | 2017-07-27 | Intelli-Vision | Methods and systems for automatically and accurately detecting human bodies in videos and/or images |
CN107330365A (zh) * | 2017-05-27 | 2017-11-07 | 深圳市美好幸福生活安全系统有限公司 | 基于最大稳定极值区域和svm的交通标志识别方法 |
CN108520261B (zh) * | 2018-03-01 | 2021-06-18 | 中国农业大学 | 一种花生果仁数量的识别方法和装置 |
-
2019
- 2019-01-24 CN CN201910067319.9A patent/CN109919182B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102831409A (zh) * | 2012-08-30 | 2012-12-19 | 苏州大学 | 基于粒子滤波的运动行人视频自动跟踪方法及系统 |
CN103336965A (zh) * | 2013-07-18 | 2013-10-02 | 江西省电力公司检修分公司 | 基于轮廓差异及区块主方向直方图的前景与特征提取方法 |
CN103745226A (zh) * | 2013-12-31 | 2014-04-23 | 国家电网公司 | 一种电力设施作业现场人员着装安全检测方法 |
CN104063722A (zh) * | 2014-07-15 | 2014-09-24 | 国家电网公司 | 一种融合hog人体目标检测和svm分类器的安全帽识别方法 |
CN105760847A (zh) * | 2016-03-01 | 2016-07-13 | 江苏大学 | 一种对摩托车驾驶员头盔佩戴情况的视觉检测方法 |
CN106156765A (zh) * | 2016-08-30 | 2016-11-23 | 南京邮电大学 | 基于计算机视觉的安全检测方法 |
CN106778609A (zh) * | 2016-12-15 | 2017-05-31 | 国网浙江省电力公司杭州供电公司 | 一种电力施工现场人员制服穿着识别方法 |
CN106709443A (zh) * | 2016-12-19 | 2017-05-24 | 同观科技(深圳)有限公司 | 一种安全带佩戴状态的检测方法及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN109919182A (zh) | 2019-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109166094B (zh) | 一种基于深度学习的绝缘子故障定位识别方法 | |
CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
WO2016066038A1 (zh) | 一种图像主体提取方法及系统 | |
CN111241975B (zh) | 一种基于移动端边缘计算的人脸识别检测方法及系统 | |
CN113158850B (zh) | 基于深度学习的船舶驾驶员疲劳检测方法和系统 | |
CN106056079A (zh) | 一种图像采集设备及人脸五官的遮挡检测方法 | |
CN107977639A (zh) | 一种人脸清晰度判断方法 | |
CN112115775A (zh) | 一种基于计算机视觉的监控场景下的吸烟行为检测方法 | |
CN106778650A (zh) | 基于多类型信息融合的场景自适应行人检测方法和系统 | |
CN111666845A (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
CN109325472B (zh) | 一种基于深度信息的人脸活体检测方法 | |
CN114998830A (zh) | 一种变电站人员安全帽佩戴检测方法及系统 | |
CN111339811A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN114241522A (zh) | 现场作业安全穿戴识别方法、系统、设备及存储介质 | |
CN113850183A (zh) | 一种基于人工智能技术判断视频中行为的方法 | |
CN109919182B (zh) | 一种终端侧电力安全作业图像识别方法 | |
CN107895154B (zh) | 面部表情强度计算模型的形成方法及系统 | |
CN112381031B (zh) | 基于卷积神经网络的实时在线受电弓羊角检测方法 | |
CN115880620B (zh) | 一种应用在推车预警系统中的人员计数方法 | |
CN115909400A (zh) | 一种用于低分辨率监控场景中使用手机行为的识别方法 | |
CN110598569B (zh) | 一种基于人体姿态数据的动作识别方法 | |
CN112418085B (zh) | 一种部分遮挡工况下的面部表情识别方法 | |
CN113989886A (zh) | 基于人脸识别的船员身份验证方法 | |
CN112883889A (zh) | 一种适用于电力施工场景下违章行为检测方法 | |
Yu et al. | Research on application of helmet wearing detection improved by YOLOv4 algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |