CN112560741A - 一种基于人体关键点的安全穿戴检测方法 - Google Patents

一种基于人体关键点的安全穿戴检测方法 Download PDF

Info

Publication number
CN112560741A
CN112560741A CN202011537704.4A CN202011537704A CN112560741A CN 112560741 A CN112560741 A CN 112560741A CN 202011537704 A CN202011537704 A CN 202011537704A CN 112560741 A CN112560741 A CN 112560741A
Authority
CN
China
Prior art keywords
head
human body
key points
point
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011537704.4A
Other languages
English (en)
Inventor
宫法明
嵇晓峰
李昕
王芸
张宸玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202011537704.4A priority Critical patent/CN112560741A/zh
Publication of CN112560741A publication Critical patent/CN112560741A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人体关键点的安全穿戴检测方法，该方法包含：利用数据增强方法解决遮挡人员的检测问题，在模型训练阶段利用随机擦除方法增加遮挡样本的数量，最终实现目标人员的检测；利用区域姿态估计算法(RMPE)中的对称空间变换网络校正人员目标包围框，提高姿态估计的准确率，利用参数化姿态非最大抑制(Pose‑NMS)来解决冗余姿态的问题，得到目标人员的准确姿态，提取人体关键点信息，最终得到17个关键点坐标；提出人体二维投影模型，根据得到的17个关键点坐标信息，利用七点定位法得到头部区域，利用四点定位法得到躯干区域；提出基于ResNet50‑TL的安全穿戴识别方法，对得到的待检测区域提取特征，进行分类，得到工人安全穿戴情况，实现安全穿戴的检测。本发明的方法能够有效地解决海上钻井平台这种复杂场景下的安全穿戴检测问题。

Description

一种基于人体关键点的安全穿戴检测方法
技术领域
本发明属于计算机图形与图像处理领域，涉及一种基于人体关键点的安全穿戴检测方法。
背景技术
随着科技进步和社会发展，近年来，计算机图形与图像处理技术已经越来越多的被应用到人们的生产生活中，尤其是在各种工程领域中，这是因为计算机视觉技术对硬件的要求比较简单并且无需接触，而处理精度却很高，同时还具有很强的适应能力，因此得以被广泛应用。特别是在视频监控这一领域，计算机视觉技术因其低成本高成效，同时可以针对不同监管系统的功能专门定制不同图像处理算法而广受好评。
目前，工业生产和建设现场的安全行为检测通常利用摄像头采集视频数据，然后通过人工监管来判断人或物的不安全行为和状态。但人工监管增加了人力成本，而且有强烈的主观性，难以做到标准化和客观化的判断。随着计算机技术的发展，人们尝试依靠计算机实现自动获取、分析和监测人员穿戴情况。目前的安全帽识别算法在单一特定场景下效果较突出，但海洋平台背景复杂，工作人员的姿态多变，难以保证较高的识别准确率，而且针对监控场景下工作人员的着装规范性检测的技术研究较少。简单场景下的安全穿戴检测问题已经基本解决，但大多数的检测方法只适用于简单场景及单一姿态，且大多数只对安全帽进行检测，应用于复杂场景及多种姿态时由于受到杂乱背景及多样化姿态等因素的影响，很难进行准确检测，识别效果急剧下降，复杂场景下的安全穿戴检测成为了一个亟待解决的难题。
发明内容
本发明为了克服上述缺陷，提出了一种基于人体关键点的安全穿戴检测方法，本发明具体步骤如下：
S1，利用改进的目标检测算法对输入的图片进行人员目标检测，并以目标框和坐标信息的方式输出，为人体关键点检测提供输入数据；
S2，在人员目标检测的基础上，利用EMPE框架提取到全部人体骨骼关键点信息，形成关键点序列；
S3，基于骨骼关键点的信息，建立人体二维投影模型；
S4，在人体二维投影模型的基础上，提出七点定位法，利用头部七个关键点坐标信息定位出待检测的头部区域；
S5，提出四点定位法，利用左肩、右肩、左脚踝、右脚踝四个关键点的坐标定位出待检测的躯干区域；
S6，提出基于ResNet50-TL的安全穿戴识别算法，迁移学习ResNet50模型的特征提取能力。
S7，利用训练好的对待检测的头部区域及躯干区域进行特征提取，识别安全帽和安全衣；
S8，输出目标人员的安全穿戴结果。
本发明的技术方案特征和改进为：
对于步骤S1，本发明主要是利用随机擦除(Random Erasing)方法，增加相应的被遮挡人员的样本数据，从而训练出适用于海洋平台复杂场景下的人员目标检测模型。在训练过程中按照一定的概率对样本进行随机擦除，对于一个mini-batch，其被随机擦除处理的概率为p，保持不变的概率为1-p，在此过程中，产生具有不同遮挡程度的训练图像。
对于步骤S2，本发明采用的是一种自上而下的区域姿态估计算法(RMPE)，RMPE主要包括对称空间变换网络(SSTN)、参数化姿态非最大抑制(NMS)、姿态引导区域框生成器(PGPG)三部分。为了得到更加精确的人员目标区域检测框，RMPE加入了空间对称变换网络(SSTN)和并行单人姿态检测器(Parallel SPPE)，其中，空间变换网络通过2D仿射变换，自动的选取最优ROI，从而提取一个最精准的人体区域框，提取到精准的人体区域之后，利用单人姿态估计器(SPPE)进行精确目标人员的姿态估计，空间逆变换网络(SDTN)将估计到的人体姿态映射回原始的图像坐标。并行单人姿态检测器(PSPPE)在训练阶段作为额外的正则项，避免陷入局部最优，并进一步提升SSTN的效果。人员目标检测不可避免地会产生冗余检测，而冗余检测又会产生冗余的姿态估计，RMPE利用参数化姿态非最大抑制方法解决冗余检测问题，参数化姿态非最大抑制方法比之前的姿态非最大抑制效率和精度更高,而且不需要手动设置参数，可通过数据驱动的方式设置参数。为了得到更准确的姿态，需要定义姿态相似性，以消除过于接近和过于相似的姿态。参数化姿态非最大抑制定义了一个姿态距离尺度来测量姿态相似性，距离尺度公式如下：
d(Pi,Pj|Λ) (1)
式(1)中Λ是函数d(·)的参数集，采用如下消除标准：
f(Pi,P|Λ,η)＝1[d(Pi,Pj|Λ,λ)≤η] (2)
式(2中)η来作为判断是否消除的阈值，如果d()小于η则f(·)输出1，Pi是冗余姿态最终得到目标人员的准确姿态，提取到17个人体关键点坐标信息。
对于步骤S4，本发明根据头部关键点的坐标信息确定头部区域。首先分别连接左肩和右耳，左耳和右肩，求出两条连线的交点，并且求出左肩和右耳的距离，右肩和左耳的距离，以交点和连线距离确定头部偏移方向，将交点的横坐标作为头部中心点的横坐标，以左眼、右眼、鼻子、左耳、右耳五个关键点的最小纵坐标作为头部中心点的纵坐标，以头部中心点为圆心，以左肩和右耳、右肩和左耳距离中最大值的2/3作为半径画圆，然后求出圆的外接正方形，即待检测的头部区域。设左耳、右耳、左肩、右肩的坐标为Le(x1,y1),Re(x2,y2),Ls(x3,y3),Rs(x4,y4),则左耳和右肩的距离为
Figure BDA0002853640080000031
确定的直线方程为
Figure BDA0002853640080000032
右耳和左肩的距离为
Figure BDA0002853640080000033
确定的直线方程为
Figure BDA0002853640080000034
求出直线L1、L2的交点M(x0,y0)，x0代表了了头部的相对偏移量，以横坐标x0作为头部中心点的横坐标，设左眼、右眼、鼻子的坐标为Leye(x5,y5)，Reye(x6,y6)，N(x7,y7)，由于安全帽的位置在头部上方，因此找出头部关键点中位于顶部的关键点T(x8,y8)，以顶部关键点T的纵坐标y8作为头部中心点的纵坐标，以得到的头部中心点为圆心，以2/3max{|LeRs|,|ReLs|}为半径作圆C，最后求得C的外接正方形S即待检测的头部区域。
对于步骤S5，本发明利用四点定位法定位躯干区域，躯干区域主要是从脖子以下脚踝以上部分，因此通过左肩、右肩、左脚踝、右脚踝来确定躯干区域，依次连接左肩和左脚踝，右肩和右脚踝，左脚踝和右脚踝，左肩和右肩，生成一个不规则四边形包围框，将不规则的四边形包围框按照最大边的原则校正成矩形框，，但因为只考虑了左肩、右肩、左脚踝、右脚踝四个关键点，忽略了手臂，因此本发明采取多尺度的方式扩大感知野，按照1.0比1.4倍的比例对初始躯干区域的宽度进行扩大，最终得到待检测的躯干区域包围盒。
对于步骤S6，本发明提出基于ResNet50-TL的安全穿戴识别算法，使用ResNet50这一已经训练好的卷积神经网络模型结构和参数,通过再训练来解决安全帽和安全衣识别的问题。选用ResNet50模型作为预训练模型,冻结ResNet50其他网络层，添加一个全连接层，利用海上钻井平台数据集进行训练，最终得到适用于海上钻井平台的安全穿戴识别模型。
本发明的基于人体关键点的安全穿戴检测方法，解决了海上钻井平台这种复杂场景下的安全穿戴检测的问题，具有以下优点：
(1)本发明的方法能够有效地解决被遮挡人员的检测问题，实现了复杂场景下的人员目标检测；
(2)本发明的方法能够解决多种姿态下的安全穿戴检测问题，通过提取人体关键点信息，建立人体二维投影模型，定位出待检测区域(头部区域和躯干区域)，通过本发明的方法还能定位出其他待检测区域(安全带区域、鞋子区域等)；
(3)本发明的方法利用卷积神经网络和迁移学习，解决了小样本下的安全穿戴检测问题，避免了大量数据集标注的工作，实现了复杂场景下的安全穿戴检测。
附图说明
图1为本发明中基于人体关键点的安全穿戴检测方法的流程图。
图2为本发明中基于姿态识别算法提取人体关键点信息的流程图。
图3为本发明中基于ResNet50-TL算法进行安全穿戴识别的流程图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
一种基于人体关键点的安全穿戴检测方法，如图1所示，为本发明的基于人体关键点的安全穿戴检测方法的流程图，该方法包含：
S1，目标人员检测，海上钻井平台背景复杂，管道密集，工作人员在施工的过程中经常会被密集的管道遮挡，因此通过随机擦除(Random Erasing)方法，增加相应的遮挡样本数据，从而训练出适用于海上平台复杂场景下的目标人员检测模型，提高被遮挡人员的检测准确率。本发明在训练目标人员检测模型时用到的数据集来自两个方面，一是coco17数据集中person图片及其标注文件，共3235张图片，二是来自海洋钻井平台现场的含有工作人员的图片及其标注文件，共1500张图片。在对样本进行随机擦除处理时分以下三种情况：不区分目标区域和背景区域，在整个图像来做擦除处理；区分目标框和背景区域，来做擦除处理，只在目标框内做擦除处理；区分目标框和背景区域，分别在目标框和整个图像来做擦除处理。利用训练好的目标人员检测模型对输入的海上钻井平台现场图片进行检测，得到人员目标包围框。
S2，人体关键点提取，在检测到目标人员的基础上，以人员包围框作为输入，通过区域姿态估计(RMPE)算法提取人体关键点坐标信息。由于姿态检测准确度高度依赖于目标区域检测框，因此为了得到更加精确的目标区域检测框，利用空间变换网络通过2D仿射变换，自动的选取最优ROI，从而提取一个最精准的人体区域框。仿射变换过程如下：
Figure BDA0002853640080000051
式(1)中
Figure BDA0002853640080000052
为变换后坐标，
Figure BDA0002853640080000053
为变换前坐标，θ1,θ2,θ3为变换参数。
然后利用空间逆变换网络(SDTN)将估计到的人体姿态映射回原始的图像坐标，空间逆变换网络定义如下：
Figure BDA0002853640080000054
式(2)中
Figure BDA0002853640080000055
为变换后坐标，
Figure BDA0002853640080000056
为变换前坐标，γ1,γ2,γ3为变换参数。
人员目标检测不可避免地会产生冗余检测，而冗余检测又会产生冗余的姿态估计，RMPE利用参数Pose-NMS方法解决冗余检测问题，参数化Pose-NMS方法比之前的姿态非最大抑制效率和精度更高,而且不需要手动设置参数，可通过数据驱动的方式设置参数。为了得到更准确的姿态，需要定义姿态相似性，以消除过于接近和过于相似的姿态。参数化Pose-NMS定义了一个姿态距离尺度来测量姿态相似性，距离尺度公式如下：
d(Pi,Pj|Λ) (3)
式(3)中Λ是函数d(·)的参数集，采用如下消除标准：
f(Pi,P|Λ,η)＝1[d(Pi,Pj|Λ,λ)≤η] (4)
式(4)中η来作为判断是否消除的阈值，如果d()小于η则f(·)输出1，Pi是冗余姿态。最终得到目标人员的准确姿态，提取到17个人体关键点坐标信息。
S3，建立人体二维投影模型，通过姿态识别算法得到人体的关键点坐标，将关键点坐标信息保存到对应的json文件，利用OpenCV编码读取关键点信息，将17个人体关键点坐标标注到对应的目标人员上，最终得到带有关键点信息的目标人员。
S4，头部区域定位，本发明根据头部关键点的坐标信息确定头部区域。首先分别连接左肩和右耳，左耳和右肩，求出两条连线的交点，并且求出左肩和右耳的距离，右肩和左耳的距离，以交点和连线距离确定头部偏移方向，将交点的横坐标作为头部中心点的横坐标，以左眼、右眼、鼻子、左耳、右耳五个关键点的最小纵坐标作为头部中心点的纵坐标，以头部中心点为圆心，以左肩和右耳、右肩和左耳距离中最大值的2/3作为半径画圆，然后求出圆的外接正方形，即待检测的头部区域。设左耳、右耳、左肩、右肩的坐标为Le(x1,y1),Re(x2,y2),Ls(x3,y3),Rs(x4,y4),则左耳和右肩的距离为
Figure BDA0002853640080000061
确定的直线方程为
Figure BDA0002853640080000062
右耳和左肩的距离为
Figure BDA0002853640080000063
确定的直线方程为
Figure BDA0002853640080000064
出直线L1、L2的交点M(x0,y0)，x0代表了了头部的相对偏移量，以横坐标x0作为头部中心点的横坐标，设左眼、右眼、鼻子的坐标为Leye(x5,y5)，Reye(x6,y6)，N(x7,y7)，由于安全帽的位置在头部上方，因此找出头部关键点中位于顶部的关键点T(x8,y8)，以顶部关键点T的纵坐标y8作为头部中心点的纵坐标，以得到的头部中心点为圆心，以2/3max{|LeRs|,|ReLs|}为半径作圆C，最后求得C的外接正方形S即待检测的头部区域。
S5，躯干区域定位，为了得到安全衣区域，本发明利用四点定位法定位躯干区域，躯干区域主要是从脖子以下脚踝以上部分，因此通过左肩、右肩、左脚踝、右脚踝来确定躯干区域，依次连接左肩和左脚踝，右肩和右脚踝，左脚踝和右脚踝，左肩和右肩，生成一个不规则四边形包围框，将不规则的四边形包围框按照最大边的原则校正成矩形框，，但因为只考虑了左肩、右肩、左脚踝、右脚踝四个关键点，忽略了手臂，因此本发明采取多尺度的方式扩大感知野，按照1.0比1.4倍的比例对初始躯干区域的宽度进行扩大，最终得到待检测的躯干区域包围盒。
S6，基于ResNet50-TL的安全穿戴识别算法，使用ResNet50这一已经训练好的卷积神经网络模型结构和参数,通过再训练来解决安全帽和安全衣识别的问题。选用ResNet50模型作为预训练模型,冻结ResNet50其他网络层，添加一个全连接层，利用海上钻井平台数据集进行训练，最终得到适用于海上钻井平台的安全穿戴识别模型。
S7，对待检测区域进行特征提取并识别，首先在特征提取模型中输入一张安全帽或安全衣图像，然后利用ResNet50模型中的卷积层和池化层进行特征提取，得到安全帽和安全衣的图像特征，并用2048维向量表示，同时为了避免多次处理图片带来的时间成本，设置了一个缓存文件来保存图像特征；将得到的图像特征作为新的神经网络的输入，然后为神经网络训练新的Softmax函数来对图像进行分类。
S8，输出目标人员的安全穿戴结果，结果有四种，分别是安全帽安全衣穿戴正常(WHV)、只佩戴安全帽(WH)、只穿安全衣(WV)、未佩戴安全帽未穿戴安全衣(W)。
综上所述，本发明的基于人体关键点的安全穿戴识别方法在大数据环境下解决了海上钻井平台这种复杂场景下的安全穿戴检测的问题，提出的人体二维投影模型还可以定位出其他待检测区域，可以结合不同的需求进行选择，而且基于ResNet50-TL的安全穿戴识别算法避免了大量的数据集标注的问题。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (6)

1.一种基于人体关键点的安全穿戴检测方法，其特征及具体步骤如下：
S1，利用改进的目标检测算法对输入的图片进行人员目标检测，并以目标框和坐标信息的方式输出，为人体关键点检测提供输入数据；
S2，在人员目标检测的基础上，利用EMPE框架提取到全部人体骨骼关键点信息，形成关键点序列；
S3，基于骨骼关键点的信息，建立人体二维投影模型；
S4，在人体二维投影模型的基础上，提出七点定位法，利用头部七个关键点坐标信息定位出待检测的头部区域；
S5，提出四点定位法，利用左肩、右肩、左脚踝、右脚踝四个关键点的坐标定位出待检测的躯干区域；
S6，提出基于ResNet50-TL的安全穿戴识别算法，迁移学习ResNet50模型的特征提取能力。
S7，利用训练好的对待检测的头部区域及躯干区域进行特征提取，识别安全帽和安全衣；
S8，输出目标人员的安全穿戴结果。
2.根据权利要求1所述的一种基于人体关键点的安全穿戴检测方法，其特征在于，步骤S1，本发明主要是通过随机擦除(Random Erasing)方法，增加相应的被遮挡人员的样本数据，从而训练出适用于海洋平台复杂场景下的人员目标检测模型。在训练过程中按照一定的概率对样本进行随机擦除，对于一个mini-batch，其被随机擦除处理的概率为p，保持不变的概率为1-p，在此过程中，产生具有不同遮挡程度的训练图像。
3.根据权利要求1所述的一种基于人体关键点的安全穿戴检测方法，其特征在于，对于步骤S2，本发明采用的是一种自上而下的区域姿态估计算法(RMPE)，RMPE主要包括对称空间变换网络(SSTN)、参数化姿态非最大抑制(Pose-NMS)、姿态引导区域框生成器(PGPG)三部分。为了得到更加精确的人员目标区域检测框，RMPE加入了空间对称变换网络(SSTN)和并行单人姿态检测器(Parallel SPPE)，其中，空间变换网络通过2D仿射变换，自动的选取最优ROI，从而提取一个最精准的人体区域框，提取到精准的人体区域之后，利用单人姿态估计器(SPPE)进行精确目标人员的姿态估计，空间逆变换网络(SDTN)将估计到的人体姿态映射回原始的图像坐标。并行单人姿态检测器(PSPPE)在训练阶段作为额外的正则项，避免陷入局部最优，并进一步提升SSTN的效果。人员目标检测不可避免地会产生冗余检测，而冗余检测又会产生冗余的姿态估计，RMPE利用参数化姿态非最大抑制方法(Pose-NMS)解决冗余检测问题，Pose-NMS比之前的姿态非最大抑制效率和精度更高,而且不需要手动设置参数，可通过数据驱动的方式设置参数。为了得到更准确的姿态，需要定义姿态相似性，以消除过于接近和过于相似的姿态。
Pose-NMS定义了一个姿态距离尺度来测量姿态相似性，距离尺度公式如下：
d(Pi,Pj|Λ) (1)
式(1)中Λ是函数d(·)的参数集，采用如下消除标准：
f(Pi,P|Λ,η)＝1[d(Pi,Pj|Λ,λ)≤η] (2)
式(2中)η来作为判断是否消除的阈值，如果d()小于η则f(·)输出1，Pi是冗余姿态最终得到目标人员的准确姿态，提取到17个人体关键点坐标信息。
4.根据权利要求1所述的一种基于人体关键点的安全穿戴检测方法，其特征在于，对于步骤S4，本发明根据头部关键点的坐标信息确定头部区域。首先分别连接左肩和右耳，左耳和右肩，求出两条连线的交点，并且求出左肩和右耳的距离，右肩和左耳的距离，以交点和连线距离确定头部偏移方向，将交点的横坐标作为头部中心点的横坐标，以左眼、右眼、鼻子、左耳、右耳五个关键点的最小纵坐标作为头部中心点的纵坐标，以头部中心点为圆心，以左肩和右耳、右肩和左耳距离中最大值的2/3作为半径画圆，然后求出圆的外接正方形，即待检测的头部区域。设左耳、右耳、左肩、右肩的坐标为Le(x1,y1),Re(x2,y2),Ls(x3,y3),Rs(x4,y4),则左耳和右肩的距离为
Figure FDA0002853640070000021
确定的直线方程为
Figure FDA0002853640070000022
右耳和左肩的距离为
Figure FDA0002853640070000023
确定的直线方程为
Figure FDA0002853640070000024
求出直线L1、L2的交点M(x0,y0)，x0代表了了头部的相对偏移量，以横坐标x0作为头部中心点的横坐标，设左眼、右眼、鼻子的坐标为Leye(x5,y5)，Reye(x6,y6)，N(x7,y7)，由于安全帽的位置在头部上方，因此找出头部关键点中位于顶部的关键点T(x8,y8)，以顶部关键点T的纵坐标y8作为头部中心点的纵坐标，以得到的头部中心点为圆心，以2/3max{|LeRs|,|ReLs|}为半径作圆C，最后求得C的外接正方形S即待检测的头部区域。
5.根据权利要求1所述的一种基于骨骼关键点的安全穿戴检测方法，其特征在于，对于步骤S5，本发明利用四点定位法定位躯干区域，躯干区域主要是从脖子以下脚踝以上部分，因此通过左肩、右肩、左脚踝、右脚踝来确定躯干区域，依次连接左肩和左脚踝，右肩和右脚踝，左脚踝和右脚踝，左肩和右肩，生成一个不规则四边形包围框，将不规则的四边形包围框按照最大边的原则校正成矩形框，，但因为只考虑了左肩、右肩、左脚踝、右脚踝四个关键点，忽略了手臂，因此本发明采取多尺度的方式扩大感知野，按照1.0比1.4倍的比例对初始躯干区域的宽度进行扩大，最终得到待检测的躯干区域包围盒。
6.根据权利要求1所述的一种基于人体关键点的安全穿戴检测方法，其特征在于，对于步骤S6，本发明提出基于ResNet50-TL的安全穿戴识别算法，使用ResNet50这一已经训练好的卷积神经网络模型结构和参数,通过再训练来解决安全帽和安全衣识别的问题。选用ResNet50模型作为预训练模型,冻结ResNet50其他网络层，添加一个全连接层，利用已经标注好的海上钻井平台数据集进行训练，最终得到适用于海上钻井平台的安全穿戴识别模型。
CN202011537704.4A 2020-12-23 2020-12-23 一种基于人体关键点的安全穿戴检测方法 Pending CN112560741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011537704.4A CN112560741A (zh) 2020-12-23 2020-12-23 一种基于人体关键点的安全穿戴检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011537704.4A CN112560741A (zh) 2020-12-23 2020-12-23 一种基于人体关键点的安全穿戴检测方法

Publications (1)

Publication Number Publication Date
CN112560741A true CN112560741A (zh) 2021-03-26

Family

ID=75030914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011537704.4A Pending CN112560741A (zh) 2020-12-23 2020-12-23 一种基于人体关键点的安全穿戴检测方法

Country Status (1)

Country Link
CN (1) CN112560741A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949606A (zh) * 2021-04-14 2021-06-11 浙江大华技术股份有限公司 工服穿戴状态检测方法、装置、存储介质及电子装置
CN113240695A (zh) * 2021-06-02 2021-08-10 四川轻化工大学 基于姿态感知的电力作业人员穿戴识别方法
CN113408365A (zh) * 2021-05-26 2021-09-17 广东能源集团科学技术研究院有限公司 一种复杂场景下的安全帽识别方法及装置
CN113517056A (zh) * 2021-06-18 2021-10-19 安徽医科大学 医学图像目标区域的识别方法、神经网络模型及应用
CN113536917A (zh) * 2021-06-10 2021-10-22 浙江大华技术股份有限公司 着装识别方法、系统、电子装置和存储介质
CN113591590A (zh) * 2021-07-05 2021-11-02 天地（常州）自动化股份有限公司 一种基于人体姿态识别的打钻视频退杆计数方法
CN113609999A (zh) * 2021-08-06 2021-11-05 湖南大学 基于姿态识别的人体模型建立方法
CN113610037A (zh) * 2021-08-17 2021-11-05 北京计算机技术及应用研究所 一种基于头部和可见区域线索的遮挡行人检测方法
CN113743276A (zh) * 2021-08-30 2021-12-03 上海亨临光电科技有限公司 一种人体灰度图像中目标物体所在人体部位判定的方法
CN113887634A (zh) * 2021-10-08 2022-01-04 齐丰科技股份有限公司 基于改进两步检测的电力安全带检测及预警方法
WO2022213552A1 (en) * 2021-04-07 2022-10-13 Zhejiang Dahua Technology Co., Ltd. Systems and methods for helmet detection
CN115830635A (zh) * 2022-12-09 2023-03-21 南通大学 一种基于关键点检测和目标识别的pvc手套识别方法
CN116453100A (zh) * 2023-06-16 2023-07-18 国家超级计算天津中心 防护用具穿脱规范性的检测方法、装置、设备和介质

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022213552A1 (en) * 2021-04-07 2022-10-13 Zhejiang Dahua Technology Co., Ltd. Systems and methods for helmet detection
CN112949606A (zh) * 2021-04-14 2021-06-11 浙江大华技术股份有限公司 工服穿戴状态检测方法、装置、存储介质及电子装置
CN112949606B (zh) * 2021-04-14 2024-05-10 浙江大华技术股份有限公司 工服穿戴状态检测方法、装置、存储介质及电子装置
CN113408365A (zh) * 2021-05-26 2021-09-17 广东能源集团科学技术研究院有限公司 一种复杂场景下的安全帽识别方法及装置
CN113408365B (zh) * 2021-05-26 2023-09-08 广东能源集团科学技术研究院有限公司 一种复杂场景下的安全帽识别方法及装置
CN113240695A (zh) * 2021-06-02 2021-08-10 四川轻化工大学 基于姿态感知的电力作业人员穿戴识别方法
CN113536917A (zh) * 2021-06-10 2021-10-22 浙江大华技术股份有限公司 着装识别方法、系统、电子装置和存储介质
CN113536917B (zh) * 2021-06-10 2024-06-07 浙江大华技术股份有限公司 着装识别方法、系统、电子装置和存储介质
CN113517056A (zh) * 2021-06-18 2021-10-19 安徽医科大学 医学图像目标区域的识别方法、神经网络模型及应用
CN113517056B (zh) * 2021-06-18 2023-09-19 安徽医科大学 医学图像目标区域的识别方法、神经网络模型及应用
CN113591590A (zh) * 2021-07-05 2021-11-02 天地（常州）自动化股份有限公司 一种基于人体姿态识别的打钻视频退杆计数方法
CN113591590B (zh) * 2021-07-05 2024-02-23 天地（常州）自动化股份有限公司 一种基于人体姿态识别的打钻视频退杆计数方法
CN113609999B (zh) * 2021-08-06 2024-02-20 湖南大学 基于姿态识别的人体模型建立方法
CN113609999A (zh) * 2021-08-06 2021-11-05 湖南大学 基于姿态识别的人体模型建立方法
CN113610037A (zh) * 2021-08-17 2021-11-05 北京计算机技术及应用研究所 一种基于头部和可见区域线索的遮挡行人检测方法
CN113743276A (zh) * 2021-08-30 2021-12-03 上海亨临光电科技有限公司 一种人体灰度图像中目标物体所在人体部位判定的方法
CN113887634A (zh) * 2021-10-08 2022-01-04 齐丰科技股份有限公司 基于改进两步检测的电力安全带检测及预警方法
CN113887634B (zh) * 2021-10-08 2024-05-28 齐丰科技股份有限公司 基于改进两步检测的电力安全带检测及预警方法
CN115830635A (zh) * 2022-12-09 2023-03-21 南通大学 一种基于关键点检测和目标识别的pvc手套识别方法
CN116453100A (zh) * 2023-06-16 2023-07-18 国家超级计算天津中心 防护用具穿脱规范性的检测方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN112560741A (zh) 一种基于人体关键点的安全穿戴检测方法
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN106055091B (zh) 一种基于深度信息和校正方式的手部姿态估计方法
Li et al. Robust visual tracking based on convolutional features with illumination and occlusion handing
WO2019232894A1 (zh) 一种基于复杂场景下的人体关键点检测系统及方法
CN112241731B (zh) 一种姿态确定方法、装置、设备及存储介质
CN109949341B (zh) 一种基于人体骨架结构化特征的行人目标跟踪方法
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
WO2009123354A1 (en) Method, apparatus, and program for detecting object
CN113052876B (zh) 一种基于深度学习的视频接力跟踪方法及系统
JP5598751B2 (ja) 動作認識装置
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
US10803604B1 (en) Layered motion representation and extraction in monocular still camera videos
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN114170686A (zh) 一种基于人体关键点的屈肘行为检测方法
CN103745204A (zh) 一种基于斑痣点的体貌特征比对方法
CN111881841B (zh) 一种基于双目视觉的人脸检测识别方法
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统
CN112597902A (zh) 一种基于核电安全的小目标智能识别方法
CN115995097A (zh) 一种基于深度学习的安全头盔佩戴标准判断方法
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
CN114120444A (zh) 基于人体骨架特征的3d卷积神经网络不安全行为检测系统
CN114187663A (zh) 基于雷达探测灰度图与神经网络的体态控制无人机的方法
JP2022019988A (ja) 情報処理装置、ディスプレイ装置、及び制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination