一种基于神经网络的图像中施工工人安全服饰检测方法
技术领域
本发明涉及服饰检测方法,具体涉及一种基于神经网络的图像中施工工人安全服饰检测方法。
背景技术
在施工场景下,施工人员是否正确穿着施工服装是施工安全的重要一环,如安全帽、绝缘靴、安全手套等。为保证人员在施工过程中,始终正确的穿戴安全服饰,最为传统的方法是,人员巡检,但浪费人力。
另外,有一些做法是通过在需要检测的衣物上安装相关硬件,通过传感器判断,如中国专利“CN107647490A一种具有识别功能的智能服装”,该发明通过在服装上的采集装置来进行目标图像采集以及测距等操作。这种方法对服装本身有要求,增加了成本。
也有一些基于人工智能的方法,如中国专利“CN107818489A一种基于着装解析及人体检测的多人服装检索方法”利用头部检测以及人体关键点检测方法获得服装区域。这种方法虽然能够成功提取出人体关键点信息,但是过程复杂,计算开销比较大。
发明内容
本发明要解决的技术问题是提供一种基于神经网络的图像中施工工人安全服饰检测方法,其能够方便、快速的判断人员是否正确穿戴安全服饰,占用的计算资源和存储空间小,成本低。
为了解决上述技术问题,本发明提供了一种基于神经网络的图像中施工工人安全服饰检测方法,包括以下步骤:
S1,获取帧内人员的躯体的n个关键点{P1,P2,P3…Pn},并分别将其坐标值表示为:
{P1=(x1,y1),P2=(x2,y2),P3=(x3,y3),…Pn=(xn,yn)};
S2,根据关键点提取服饰的检测区域,其提取的方法为:
a,对于以人体脊柱为中心的非中心对称的检测区域,若检测区域即为关键点Pn-2本身,则其检测区域的中心点为该关键点,高Hn-2和宽Wn-2分别为:
Hn-2=|Pn-2-Pn|*A1
Wn-2=|Pn-2-Pn|*A2
其中,Pn为关键点Pn-2相邻的关键点,A1和A2均为不大于1的常数;
b,对于以人体脊柱为中心的中心对称的检测区域,若检测区域即为关键点Pn-2本身,且关键点Pn-2位于所有关键点的最边缘处,则其检测区域的中心点为该关键点,高Hn-2和宽Wn-2分别为:
Hn-2=|Pn-2-(Pn-1+Pn)/2|*A3
Wn-2=|Pn-2-(Pn-1+Pn)/2|*A4
其中,Pn和Pn-1为关键点Pn-2相邻的两个中心对称的关键点,A3和A4均为大于1的常数;
c,对于以人体脊柱为中心的中心对称的检测区域,若检测区域不是关键点本身,则其检测区域的高H和宽W分别为:
H=|(Pn+Pn+1)/2-(Pm+Pm+1)/2|
其中,Pn和Pn-1为离检测区域最近的中心对称的两个关键点,Pm和Pm-1为离检测区域最近的中心对称的另外两个关键点,m为不大于n-1的整数;
S3,判断检测区域内的服饰的特征,若检测区域内的特征符合服饰的特征,则判定为“正确穿着”;若不符合,则判定为“错误穿着”;
S4,错帧筛除后预警处理,其处理方式是,忽略连续帧数少于L帧的“错误穿着”断定,对于连续帧数不小于L帧的“错误穿着”发出预警。
作为优选的,步骤S1中获取人员的躯体的关键点的方法包括:
S10,对视频流进行前处理,前处理包括但不限于视频分帧和特征提取;
S11,利用目标检测对每一帧的人员进行检测,获取检测框,检测框的框选内容为人员的所在区域;
S12,利用单人姿态预测得到人员的关键点热度图,并通过关键点热度图得到每个人员的关键点。
作为优选的,步骤S11中的目标检测采用SSD(单镜头多盒检测器)模型,训练数据集采用COCO数据集。
作为优选的,步骤S12中的单人姿态预测的模型采用沙漏结构,且令沙漏结构的重复次数为4,训练数据采用AI Challenge数据集。
作为优选的,步骤S3中的判定的方法为:
a,对于颜色特征固定的服饰,直接将检测区域的RGB格式转化为HSV格式,并对第一维统计直方图,如果落在[10,50]最多的话则判定为“正确穿着”,否则判定为“错误穿着”;
b,对于颜色特征不固定的服饰,采用结构为VGG16的分类神经网络进行判定。
作为优选的,步骤S1中,获取的关键点分别为额头、左肩、右肩、左肘、右肘、左手、右手、左腰、右腰、左膝、右膝、左脚和右脚,并分别使用{P1,P2,P3…P13}表示,其坐标值分别为:
{P1=(x1,y1),P2=(x2,y2),P3=(x3,y3),…P13=(x13,y13)}。
作为优选的,步骤S2中,根据关键点提取服饰的检测区域的提取方法为:
a,对于左手P6,则其检测区域的中心点为该关键点,高H6和宽W6分别为:
H6=|P6-P4|*A1
W6=|P6-P4|*A2
其中,P4为手肘,A1和A2均为不大于1的常数;
b,对于额头P1,则其检测区域的中心点为该关键点,高H1和宽W1分别为:
H1=|P1-(P2+P3)/2|*A3
W1=|P1-(P2+P3)/2|*A4
其中,P2和P3分别左肩和右肩,A3和A4均为大于1的常数;
c,对于躯干,则其检测区域的高H和宽W分别为:
H=|(P8+P9)/2-(P2+P3)/2|
其中,P8和P9分别为左腰和右腰,P2和P3分别为左肩和右肩。
作为优选的,所述A1和A2分别为0.8和0.5。
作为优选的,所述A3和A4分别为1.3和1.1。
作为优选的,所述L为20。
与现有技术相比,本发明的有益效果是:
1、本发明通过计算机视觉技术,能够直接对出现在视频中的技术人员进行着装分析,从而快速的判断人员是否有正确的穿戴安全服饰,占用的计算资源和存储空间极小;同时,也能够极大的节省对服饰的硬件的要求,成本低。
2、本发明通过获取人体的关键点的方法,能够极为简单的获取各种服饰(包括安全帽、安全手套和工作服等)的位置,节省了计算时间和计算资源。
附图说明
为了更清楚的说明本发明实施例技术中的技术方案,下面将对实施例技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还能够根据这些附图获得其他的附图。
图1为本发明的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本实用型中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
参照图1所示,本发明公开了一种基于神经网络的图像中施工工人安全服饰检测方法,包括以下步骤:
S1,获取帧内人员的躯体的n个关键点{P1,P2,P3…Pn},并分别将其坐标值表示为:
{P1=(x1,y1),P2=(x2,y2),P3=(x3,y3),…Pn=(xn,yn)}。
S2,根据关键点提取服饰的检测区域,其提取的方法为:
a,对于以人体脊柱为中心的非中心对称的检测区域,若检测区域即为关键点Pn-2本身,则其检测区域的中心点为该关键点,高Hn-2和宽Wn-2分别为:
Hn-2=|Pn-2-Pn|*A1
Wn-2=|Pn-2-Pn|*A2
其中,Pn为关键点Pn-2相邻的关键点,A1和A2均为不大于1的常数;
b,对于以人体脊柱为中心的中心对称的检测区域,若检测区域即为关键点Pn-2本身,且关键点Pn-2位于所有关键点的最边缘处,则其检测区域的中心点为该关键点,高Hn-2和宽Wn-2分别为:
Hn-2=|Pn-2-(Pn-1+Pn)/2|*A3
Wn-2=|Pn-2-(Pn-1+Pn)/2|*A4
其中,Pn和Pn-1为关键点Pn-2相邻的两个中心对称的关键点,A3和A4均为大于1的常数;
c,对于以人体脊柱为中心的中心对称的检测区域,若检测区域不是关键点本身,则其检测区域的高H和宽W分别为:
H=|(Pn+Pn+1)/2-(Pm+Pm+1)/2|
其中,Pn和Pn-1为离检测区域最近的中心对称的两个关键点,Pm和Pm-1为离检测区域最近的中心对称的另外两个关键点,m为不大于n-1的整数。
S3,判断检测区域内的服饰的特征,若检测区域内的特征符合服饰的特征,则判定为“正确穿着”;若不符合,则判定为“错误穿着”,其判定的方法为:
a,对于颜色特征固定的服饰,直接将检测区域的RGB格式转化为HSV格式,并对第一维统计直方图,如果落在[10,50]最多的话则判定为“正确穿着”,否则判定为“错误穿着”;
b,对于颜色特征不固定的服饰,采用结构为VGG16的分类神经网络进行判定。
以上采用颜色直方图和简单神经网络模型的方法,进一步的节省了计算资源。
S4,错帧筛除后预警处理,其处理方式是,忽略连续帧数少于L帧的“错误穿着”断定,对于连续帧数不小于L帧的“错误穿着”发出预警。
具体的,上述步骤S1中,获取的关键点分别为额头、左肩、右肩、左肘、右肘、左手、右手、左腰、右腰、左膝、右膝、左脚和右脚,并分别使用{P1,P2,P3…P13}表示,其坐标值分别为:
{P1=(x1,y1),P2=(x2,y2),P3=(x3,y3),…P13=(x13,y13)}。
上述步骤S2中,根据关键点提取服饰的检测区域的提取方法为:
a,对于左手P6,则其检测区域的中心点为该关键点,高H6和宽W6分别为:
H6=|P6-P4|*A1
W6=|P6-P4|*A2
其中,P4为手肘,A1和A2均为不大于1的常数;左肩、右肩、左肘、右肘、左手、右手、左腰、右腰、左膝、右膝、左脚和右脚均采用同样的计算方法;
b,对于额头P1,则其检测区域的中心点为该关键点,高H1和宽W1分别为:
H1=|P1-(P2+P3)/2|*A3
W1=|P1-(P2+P3)/2|*A4
其中,P2和P3分别左肩和右肩,A3和A4均为大于1的常数;
c,对于躯干,则其检测区域的高H和宽W分别为:
H=|(P8+P9)/2-(P2+P3)/2|
其中,P8和P9分别为左腰和右腰,P2和P3分别为左肩和右肩。
作为本发明的进一步改进,上述A1和A2分别为0.8和0.5。
作为本发明的进一步改进,上述A3和A4分别为1.3和1.1。
作为本发明的进一步改进,上述L为20。
上述步骤S1中,获取人员的躯体的关键点的方法包括:
S10,对视频流进行前处理,前处理包括但不限于视频分帧和特征提取。
S11,利用目标检测对每一帧的人员进行检测,获取检测框,检测框的框选内容为人员的所在区域。
S12,利用单人姿态预测得到人员的关键点热度图,并通过关键点热度图得到每个人员的关键点。
作为本发明的进一步改进,上述步骤S11中的目标检测采用SSD(单镜头多盒检测器)模型,训练数据集采用COCO数据集。
作为本发明的进一步改进,上述步骤S12中的单人姿态预测的模型采用沙漏结构,且令沙漏结构的重复次数为4,训练数据采用AI Challenge数据集。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理能够在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖点相一致的最宽的范围。