CN111428703A - 一种电力运检人员坑洞倚靠行为检测方法 - Google Patents

一种电力运检人员坑洞倚靠行为检测方法 Download PDF

Info

Publication number
CN111428703A
CN111428703A CN202010540073.5A CN202010540073A CN111428703A CN 111428703 A CN111428703 A CN 111428703A CN 202010540073 A CN202010540073 A CN 202010540073A CN 111428703 A CN111428703 A CN 111428703A
Authority
CN
China
Prior art keywords
human body
contour
points
key
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010540073.5A
Other languages
English (en)
Other versions
CN111428703B (zh
Inventor
苟先太
康立烨
苟瀚文
陶明江
唐鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202010540073.5A priority Critical patent/CN111428703B/zh
Publication of CN111428703A publication Critical patent/CN111428703A/zh
Application granted granted Critical
Publication of CN111428703B publication Critical patent/CN111428703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种电力运检人员坑洞倚靠行为检测方法，包括S1、加载预训练的人体关键点检测模型，采集拍摄原图像中人体的18个关键点；S2、根据检测到的所述18个关键点，构建人体个人特征属性表；S3、对原图像进行双边滤波，确定二值图像阈值T，得到二值图像，并对二值图像进行形态学处理；S4、对二值图像进行轮廓检测，得到轮廓的最小外接矩形的四个坐标点K；S5、根据变电站坑洞轮廓指标，对二值图像轮廓进行筛选判断，得到二值图像中变电站坑洞的轮廓；S6、通过人体姿势选择不同的关键点，计算关键点与坑洞的四个坐标点K之间的最短距离，并判断人体是否存在坑洞倚靠行为。

Description

一种电力运检人员坑洞倚靠行为检测方法
技术领域
本发明属于计算机视觉的技术领域，具体涉及一种电力运检人员坑洞倚靠行为检测方法。
背景技术
近年来，我国频发一些电力运检人员安全事件，存在电力运检人员坑洞倚靠行为，除了安全意识薄弱外，安全预警和监测方面也做得不到位。
随着计算机视觉的发展，图像处理技术日渐成熟，且广泛应用于各个领域，带来了巨大的经济效益。对于一般的物体，现有的图像处理技术可以很好的识别出它的轮廓，然后根据轮廓形状进行操作。而变电站坑洞并非一个三维的物体，且受光照和周围环境影响较大，只能通过颜色和形状特征进行识别。因此，传统的图像处理技术不能直接对其进行识别，需要根据坑洞特征设计特定的识别算法。
发明内容
本发明的目的在于针对现有技术中的上述不足，提供一种电力运检人员坑洞倚靠行为检测方法，以解决传统的图像处理技术不能直接对变电站坑洞进行识别的问题。
为达到上述目的，本发明采取的技术方案是：
一种电力运检人员坑洞倚靠行为检测方法，其包括：
S1、加载预训练的人体关键点检测模型，采集拍摄原图像中人体的18个关键点；
S2、根据检测到的所述18个关键点，构建人体个人特征属性表；
S3、对原图像进行双边滤波，确定二值图像阈值T，得到二值图像，并对二值图像进行形态学处理；
S4、对二值图像进行轮廓检测，得到轮廓的最小外接矩形的四个坐标点K；
S5、根据变电站坑洞轮廓指标，对二值图像轮廓进行筛选判断，得到二值图像中变电站坑洞的轮廓；
S6、通过人体姿势选择不同的关键点，计算关键点与坑洞的四个坐标点K之间的最短距离，并判断人体是否存在坑洞倚靠行为。
优选地， S2中构建人体个人特征属性表，包括：
S2.1、构建人体关键点列表key_points：
Figure 62725DEST_PATH_IMAGE001
其中，n为关键点的数量，m为检测到的人的数量，[x mn ，y mn ]为第m个人的第n个关键点在图像中的二维坐标，即x mn 为第m个人的第n个关键点在图像中的二维坐标的横坐标值，y mn 为第m个人的第n个关键点在图像中的二维坐标的纵坐标值；
S2.2、遍历所述关键点列表key_points，对每一行分别按x和y排序，得到人体最外围的四个关键点列表most_points：
Figure 432396DEST_PATH_IMAGE002
其中，
Figure 415395DEST_PATH_IMAGE003
为第m个人的其中一个关键点在图像中的二维坐标的横坐标值，
Figure 764599DEST_PATH_IMAGE004
为第m个人的其中一个关键点在图像中的二维坐标的纵坐标值；
遍历所述关键点列表most_points，得到人体的近似外接矩形的顶点列表person_rect，顶点列表person_rect的四个顶点坐标为：
Figure 782234DEST_PATH_IMAGE005
其中，m为人的数量，
Figure 807958DEST_PATH_IMAGE006
为关键点位置下标，其值为1、2、3…18；
S2.3、遍历关键点列表most_points，得到人体躯干宽度列表person_length：
Figure 527522DEST_PATH_IMAGE007
；
S2.4、遍历关键点列表key_points对人体姿势pose进行判定；
S2.5、将人体关键点列表key_points、人体的近似外接矩形的顶点列表person_rect、人体躯干宽度列表person_length、人体姿势pose整合成人体特征属性表person。
优选地，步骤S2.4中遍历关键点列表key_points对人体姿势pose进行判定，对人体姿势pose判定，包括：
S2.4.1、计算人体的身体比例：
Figure 929684DEST_PATH_IMAGE008
其中，
Figure 801825DEST_PATH_IMAGE009
、
Figure 480675DEST_PATH_IMAGE010
、
Figure 438267DEST_PATH_IMAGE011
分别代表臀部、膝盖、肩膀部的平均y值，平均y值为臀部、膝盖、肩膀部关键点坐标的纵坐标的平均值；body_rate代表检测到人体的身体比例；
S2.4.2、判断膝盖是否高于臀部：
Figure 627808DEST_PATH_IMAGE012
其中，opt()代表多选一；
Figure 354456DEST_PATH_IMAGE013
分别代表右臀部、左臀部、右膝盖、左膝盖的y值，y值代表右臀部、左臀部、右膝盖、左膝盖关键点的纵坐标值；
Figure 472716DEST_PATH_IMAGE014
代表臀部关键点的y值与膝盖关键点的y值之差；
S2.4.3、计算人体躯干的角度：
Figure 917604DEST_PATH_IMAGE015
其中，
Figure 395989DEST_PATH_IMAGE016
、
Figure 491990DEST_PATH_IMAGE017
、
Figure 30419DEST_PATH_IMAGE018
、
Figure 962603DEST_PATH_IMAGE019
、
Figure 726903DEST_PATH_IMAGE020
、
Figure 162564DEST_PATH_IMAGE021
分别代表肩部关键点、臀部关键点、膝盖关键点的x和y的均值，x均值为肩部关键点、臀部关键点、膝盖关键点坐标的横坐标的平均值，y均值为肩部关键点、臀部关键点、膝盖关键点坐标的纵坐标的平均值，且x的取值在二维图像的横坐标中为从左至右数值递增，y的取值在二维图像的纵坐标中为从下至上数值递减；
Figure 386741DEST_PATH_IMAGE022
代表人体躯干的角度；臀部关键点为角度中心点；
S2.4.4、判断人体姿势：
当满足
Figure 540641DEST_PATH_IMAGE023
时，则判断为站立型姿势，即当躯干和大腿的比例满足人体正常比例，且膝盖在臀部以下，则判定为站立型姿势；
当满足
Figure 111562DEST_PATH_IMAGE024
时，则判断为蹲坐型姿势，即当存在膝盖关键点在臀部关键点以上，则判定为蹲坐型姿势；或者人体躯干有一定角度且大腿向水平方向有明显倾斜，也判定为蹲坐型姿势。
优选地，步骤S3中确定二值图像阈值T，包括：
根据变电站坑洞图像的特点是深黑色，且明显比周围颜色黑，故分割图像的深色区域，计算二值图像阈值T：
Figure 667309DEST_PATH_IMAGE025
其中，min_gray为图像的最小灰度值，avg_gray为平均灰度值。
优选地，步骤S5中根据变电站坑洞轮廓指标，对二值图像轮廓进行筛选判断，得到二值图像中变电站坑洞的轮廓，包括：
S5.1、排除人体所在区域的轮廓；
S5.2、计算轮廓的凸轮廓概率，获取轮廓的凸点集合B、凹点集合P，计算相邻两个凸点之间的凹点到相邻两个凸点所组成的凸边的距离d，并计算凸轮廓的概率：
Figure 796807DEST_PATH_IMAGE026
其中，Area1为轮廓凸点集合B所组成的面积，Area2为轮廓本身点集合所组成的面积，a、b分别为轮廓的最小外接矩形的长和宽；若满足
Figure 438004DEST_PATH_IMAGE027
，则判定为凸轮廓，n为凸边的个数；
S5.3、计算轮廓的规则度和边数，对轮廓本身点集合进行抽稀，得到简化后的轮廓点集合Q，并计算轮廓的规则度r：
Figure 61884DEST_PATH_IMAGE028
其中，n为凸边的个数；m代表每条凸边对应的所述轮廓点集合Q中的点数；d ij 为第i条凸边对应的所述轮廓点集合Q中的第j个点到其该凸边的距离；d i 为第i条凸边对应的所述轮廓点集合Q中的点到该凸边的距离均值，规则度r越大，轮廓越规则，若
Figure 485518DEST_PATH_IMAGE029
为规则轮廓的阈值，则判定为规则轮廓；
若轮廓为规则轮廓，计算轮廓的边数，假设所有凸边的斜率列表为[k1,k2,...,kn]；
Figure 802230DEST_PATH_IMAGE030
其中，
Figure 930723DEST_PATH_IMAGE031
为允许的最大斜率误差，n为凸边的个数；
遍历斜率列表通过上式进行斜率融合，若满足上述不等式，则删除k i ，得到最终的斜率列表[k1,k2,...,km]，m即为轮廓的近似边数；
Figure 607561DEST_PATH_IMAGE032
其中，min n和min m代表变电站坑洞轮廓允许的最小和最大边数，若m满足不等式，则该轮廓为坑洞。
优选地，步骤S5.1排除人体所在区域的轮廓，包括：
S5.1.1、遍历顶点列表person_rect，判断所述轮廓最小外接矩形的四个坐标点K中是否有包含于人体的近似外接矩形中，若没有，则该轮廓不在人体所在的区域，不排除；若存在，则继续下一步；
S5.1.2、计算轮廓的重叠率，即两个矩形重叠的面积和轮廓的最小外接矩形的面积之比；
假设所述轮廓的最小外接矩形的四个的坐标点为（x1,y1）、（x2，y2）、（x3,y3）、（x4，y4），其中（x1,y1）、（x2，y2）在所述人体的近似外接矩形内，（x3,y3）、（x4，y4）在外；确定所述人体的近似外接矩形的切割边b和轮廓的最小外接矩形的被分割边b1、b2；计算所述切割边b和被分割边b1、b2的交点（x5,y5）、（x6，y6）；进而计算轮廓的重叠率：
Figure 606741DEST_PATH_IMAGE033
其中，con1为人体所在区域所包含的部分轮廓的顶点集合；con2为所述轮廓的最小外接矩形的四个坐标点K集合；o_rate为重叠率，conArea为求点集包围的轮廓的面积；
S5.1.3、通过轮廓的重叠率判断轮廓是否在人体所在区域，进行轮廓排除，若满足
Figure 845087DEST_PATH_IMAGE034
，则该轮廓在人体所在区域，去除；否则进行保留。
优选地，步骤S6中通过人体姿势来选择不同的关键点，计算关键点与坑洞的四个坐标点K之间的最短距离，并判断人体是否存在坑洞倚靠行为，包括：
S6.1、遍历人体特征属性表person，得到人体躯干宽度和基本姿势pose，根据基本姿势pose选择人体关键点W；
S6.2、分别计算所述关键点W和所述轮廓的最小外接矩形的四个坐标点K之间的欧式距离
Figure 929717DEST_PATH_IMAGE035
；
S6.3、判断是否存在坑洞倚靠行为；
Figure 410246DEST_PATH_IMAGE036
其中，L代表人体躯干宽度，c代表是否倚靠的门限距离比率；若满足上式，则判定为存在坑洞倚靠行为；否则，不存在坑洞倚靠行为。
优选地，人体关键点W的选择为：若为站立型，则选取脚踝处关键点；若为蹲坐型，则选取臀部关键点。
本发明提供的电力运检人员坑洞倚靠行为检测方法，具有以下有益效果：
本发明基于传统的图像处理技术，融入新的坑洞倚靠识别算法，可对变电站电力运检人员的行为进行安全监测，提前做出预警或进行安全评测，以免带来不必要的安全事故。有效地解决了电力运检人员坑洞倚靠行为，在靠近坑洞时做出预警，或对电力运检人员的操作行为进行安全评测，及时加强电力运检人员的安全防范意识，保证变电站的运检工作顺利进行。
附图说明
图1为电力运检人员坑洞倚靠行为检测方法的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
根据本申请的一个实施例，参考图1，本方案的电力运检人员坑洞倚靠行为检测方法，包括：
S1：加载预训练的人体关键点检测模型，采集拍摄原图像中人体的18个关键点；
S2、根据检测到的所述18个关键点，构建人体个人特征属性表；
S3、对原图像进行双边滤波，确定二值图像阈值T，得到二值图像，并对二值图像进行形态学处理；
S4、对二值图像进行轮廓检测，得到轮廓的最小外接矩形的四个坐标点K；
S5、根据变电站坑洞轮廓指标，对二值图像轮廓进行筛选判断，得到二值图像中变电站坑洞的轮廓；
S6、通过人体姿势选择不同的关键点，计算关键点与坑洞的四个坐标点K之间的最短距离，并判断人体是否存在坑洞倚靠行为。
以下将对上述步骤进行详细说明
步骤S1、加载预训练的人体关键点检测模型，对人体的18个关键点，即在图像中的位置坐标进行检测。
步骤S2、根据检测到的关键点，构建个人的特征属性表，包括：所有关键点的位置坐标、人体的近似外接矩形的四个顶点位置坐标、人体躯干宽度、人体姿势（站立型和蹲坐型），其具体步骤包括：
步骤S2.1、构建人体关键点列表key_points：
Figure 795091DEST_PATH_IMAGE001
其中，n为关键点的数量，m为检测到的人的数量，[x mn ，y mn ]为第m个人的第n个关键点在图像中的二维坐标，即x mn 为第m个人的第n个关键点在图像中的二维坐标的横坐标值，y mn 为第m个人的第n个关键点在图像中的二维坐标的纵坐标值。
步骤S2.2、遍历所述关键点列表key_points，对每一行分别按x和y排序，得到人体最外围（上下左右）的四个关键点列表most_points：
Figure 188026DEST_PATH_IMAGE002
遍历所述关键点列表most_points，得到人体的近似外接矩形的顶点列表person_rect，顶点列表person_rect的四个顶点为：
Figure 38914DEST_PATH_IMAGE038
其中，m为人的数量，
Figure 808287DEST_PATH_IMAGE006
为为关键点位置下标，其值为1、2、3…18，
Figure 562485DEST_PATH_IMAGE003
为第m个人的其中一个关键点在图像中的二维坐标的横坐标值，
Figure 126322DEST_PATH_IMAGE004
为第m个人的其中一个关键点在图像中的二维坐标的横坐标值。
步骤S2.3、遍历所述关键点列表most_points，得到人体躯干宽度列表person_length：
Figure 451124DEST_PATH_IMAGE039
其中，m为人的数量。
步骤S2.4、遍历所述关键点列表key_points对人体姿势pose进行判定，人体姿势pose判定方法为：
步骤S2.4.1、计算人体的身体比例：
Figure 774920DEST_PATH_IMAGE008
其中，
Figure 603199DEST_PATH_IMAGE009
、
Figure 852784DEST_PATH_IMAGE010
、
Figure 664882DEST_PATH_IMAGE011
分别代表臀部、膝盖、肩膀部的平均y值，平均y值为臀部、膝盖、肩膀部关键点坐标的纵坐标的平均值；body_rate代表检测到人体的身体比例（躯干比大腿）。
步骤S2.4.2、判断膝盖是否高于臀部：
Figure 41636DEST_PATH_IMAGE012
其中，opt()代表多选一；
Figure 3383DEST_PATH_IMAGE013
分别代表右臀部、左臀部、右膝盖、左膝盖的y值，y值代表右臀部、左臀部、右膝盖、左膝盖关键点的纵坐标值；
Figure 174601DEST_PATH_IMAGE014
代表臀部关键点的y值与膝盖关键点的y值之差。
步骤S2.4.3、计算人体躯干的角度：
Figure 723263DEST_PATH_IMAGE040
其中，
Figure 638129DEST_PATH_IMAGE016
、
Figure 441000DEST_PATH_IMAGE017
、
Figure 533852DEST_PATH_IMAGE018
、
Figure 320543DEST_PATH_IMAGE019
、
Figure 22789DEST_PATH_IMAGE020
、
Figure 680166DEST_PATH_IMAGE021
分别代表肩部关键点、臀部关键点、膝盖关键点的x和y的均值，x均值为肩部关键点、臀部关键点、膝盖关键点坐标的横坐标的平均值，y均值为肩部关键点、臀部关键点、膝盖关键点坐标的纵坐标的平均值，且x的取值在二维图像的横坐标中为从左至右数值递增，y的取值在二维图像的纵坐标中为从下至上数值递减；
Figure 675410DEST_PATH_IMAGE041
代表人体躯干的角度。臀部关键点为角度中心点。
步骤S2.4.4、判断人体姿势：
Figure 949397DEST_PATH_IMAGE023
当满足上式时，则判断为站立型姿势，即当躯干和大腿的比例满足人体正常比例，且膝盖在臀部以下，则判定为站立型姿势。
Figure 206066DEST_PATH_IMAGE024
当满足上式时，则为蹲坐型姿势，即当存在膝盖关键点在臀部关键点以上，则可判定为蹲坐型姿势；或者人体躯干有一定角度且大腿向水平方向有明显倾斜，也可判定为蹲坐型姿势。
步骤S2.5、将所述人体关键点列表key_points、人体的近似外接矩形的顶点列表person_rect、人体躯干宽度列表person_length、人体姿势pose整合成人体特征属性表person。
步骤S3、对原图像进行双边滤波，再确定其二值图像的阈值T，得到二值图像；最后进行形态学处理（先腐蚀后膨胀）；
其中，二值图像阈值T计算方法为：
由于变电站坑洞的特点是深黑色，且明显比周围颜色黑，因此采用分割图像的深色区域，二值图像阈值T的计算公式如下：
Figure 498376DEST_PATH_IMAGE042
其中，min_gray为图像的最小灰度值，avg_gray为平均灰度值。
其中，双边滤波的目的是去掉噪声的同时保留物体的边缘信息，形态学处理（先腐蚀再膨胀）的目的是消除细小物体，在纤细处分离物体和平滑较大物体边界的作用。
步骤S4、对二值图像进行轮廓检测，首先排除较小面积的轮廓，再得到轮廓的最小外接矩形的四个坐标点K。
步骤S5、根据变电站坑洞的特点（近似凸轮廓，规则多边形），对轮廓进行筛选，首先排除人所在区域的轮廓，再分别计算凸轮廓的概率、规则度和多边形边数，最后根据这些指标确定是否为坑洞，其实施方法包括：
步骤S5.1、首先排除人所在区域的轮廓（人所穿的深色衣服和该区域的阴影会影响坑洞判断，提前排除掉该区域可以提高算法的效率和准确度），方法如下：
步骤S5.1.1、遍历所述顶点列表person_rect，判断所述轮廓的最小外接矩形的四个坐标点K中是否有包含于所述人体的近似外接矩形中。若没有，则该轮廓不在人所在的区域，不用排除；若存在，则继续下一步；
步骤S5.1.2、计算轮廓的重叠率（即所述两个矩形重叠的面积和所述轮廓的最小外接矩形的面积之比）；
假设所述轮廓的最小外接矩形的四个的坐标点为（x1,y1）、（x2，y2）、（x3,y3）、（x4，y4），其中（x1,y1）、（x2，y2）在所述人体的近似外接矩形内，（x3,y3）、（x4，y4）在外。首先确定所述人体的近似外接矩形的切割边b（将所述轮廓的最小外接矩形分割为两部分）和所述轮廓的最小外接矩形的被分割边b1、b2；再计算所述切割边b和被分割边b1、b2的交点（x5,y5）、（x6，y6）；最后计算轮廓的重叠率：
Figure 182298DEST_PATH_IMAGE043
其中，con1为人体所在区域所包含的部分轮廓的顶点集合；con2为所述轮廓的最小外接矩形的四个坐标点K集合；o_rate为重叠率，conArea为求点集包围的轮廓的面积。
步骤S5.1.3、通过轮廓的重叠率判断轮廓是否在人体所在区域，进行轮廓排除。若满足
Figure 428734DEST_PATH_IMAGE044
，则该轮廓在人体所在区域，去除；否则进行保留。
步骤S5.2、计算轮廓的凸轮廓概率（现有凸轮廓识别函数只能识别标准的凸轮廓，变电站坑洞的轮廓是一个近似凸轮廓，因此不能直接调用函数识别）。首先找到轮廓的凸点集合B、凹点集合P；再计算相邻两个凸点之间的凹点到相邻所述两个凸点所组成的凸边（这两个凸点所组成的边）的距离d，则凸轮廓的概率为：
Figure 489094DEST_PATH_IMAGE045
其中，Area1为轮廓凸点集合B所组成的面积，Area2为轮廓本身点集合所组成的面积，a、b分别为轮廓的最小外接矩形的长和宽。若满足
Figure 121063DEST_PATH_IMAGE046
，则判定为凸轮廓，n为凸边的个数。
步骤S5.3、计算轮廓的规则度和边数（变电站坑洞是一个规则的多边形）。首先对轮廓本身点集合进行抽稀，得到简化后的轮廓点集合Q；接着计算轮廓的规则度r：
Figure 490734DEST_PATH_IMAGE028
其中，n代表凸边的个数；m代表每条凸边对应的所述轮廓点集合Q中的点数；d ij 代表第i条凸边对应的所述轮廓点集合Q中的第j个点到其该凸边的距离；d i 代表第i条凸边对应的所述轮廓点集合Q中的点到该凸边的距离均值。规则度r越大，轮廓越规则，若
Figure 739312DEST_PATH_IMAGE047
（
Figure 843445DEST_PATH_IMAGE048
为规则轮廓的阈值），则可判定为规则轮廓。
若轮廓为规则轮廓，最后计算轮廓的边数，假设所有凸边的斜率列表为[k1,k2,...,kn]（n为凸边的个数）。
Figure 329921DEST_PATH_IMAGE049
其中，
Figure 621225DEST_PATH_IMAGE050
为允许的最大斜率误差。
遍历所述斜率列表通过上式进行斜率融合（若满足上述不等式，则删除k i ），得到最终的斜率列表[k1,k2,...,km]，m即为轮廓的近似边数。
Figure 340788DEST_PATH_IMAGE051
其中，min n和min m代表变电站坑洞轮廓允许的最小和最大边数，若满足上式，则该轮廓可确定为坑洞。
步骤S6、最后衡量人与坑洞之间的远近程度，通过人的姿势来选择不同的关键点，计算其与坑洞的四个坐标点K之间的最短距离（空间距离可通过与人体躯干宽度的比率衡量），判断是否存在坑洞倚靠行为，其具体步骤为：
步骤S6.1、遍历所述人体特征属性表person，得到人体躯干宽度和基本姿势pose，根据基本姿势pose选择人体关键点W（站立型选取脚踝处关键点，蹲坐型选取臀部关键点）。
步骤S6.2、分别计算所述关键点W和所述轮廓的最小外接矩形的四个坐标点K之间的欧式距离
Figure 477372DEST_PATH_IMAGE052
。
步骤S6.3、判断是否存在坑洞倚靠行为：
Figure 100245DEST_PATH_IMAGE053
其中，L代表人体躯干宽度，c代表是否倚靠的门限距离比率，公式说明：这里加上L为了更好地描述空间距离；若满足上式，则判定为存在坑洞倚靠行为；否则，不存在坑洞倚靠行为（正常操作）。
本专利基于人体关键点检测模型，对人体的关键点进行检测，通过对这些关键点的设计处理，得到人体关键点特征属性表，为坑洞倚靠算法提供人体的位置先验知识。通过对变电站坑洞特征（具有一定面积、黑色、凸轮廓、规则多边形）的分析，设计基于传统图像处理技术的坑洞识别算法，最后对坑洞倚靠行为进行判定。
本发明可解决了电力运检人员坑洞倚靠行为，在靠近坑洞时做出预警，或对电力运检人员的操作行为进行安全评测，及时加强电力运检人员的安全防范意识，保证变电站的运检工作顺利进行，在变电站运检领域具有重要的应用价值，将推动该领域的发展。
虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。

Claims (8)

1.一种电力运检人员坑洞倚靠行为检测方法，其特征在于，包括：
S1、加载预训练的人体关键点检测模型，采集拍摄原图像中人体的18个关键点；
S2、根据检测到的所述18个关键点，构建人体个人特征属性表；
S3、对原图像进行双边滤波，确定二值图像阈值T，得到二值图像，并对二值图像进行形态学处理；
S4、对二值图像进行轮廓检测，得到轮廓的最小外接矩形的四个坐标点K；
S5、根据变电站坑洞轮廓指标，对二值图像轮廓进行筛选判断，得到二值图像中变电站坑洞的轮廓；
S6、通过人体姿势选择不同的关键点，计算关键点与坑洞的四个坐标点K之间的最短距离，并判断人体是否存在坑洞倚靠行为。
2.根据权利要求1所述的电力运检人员坑洞倚靠行为检测方法，其特征在于：所述S2中构建人体个人特征属性表，包括：
S2.1、构建人体关键点列表key_points：
Figure 841091DEST_PATH_IMAGE001
其中，n为关键点的数量，m为检测到的人的数量，[x mn ，y mn ]为第m个人的第n个关键点在图像中的二维坐标，即x mn 为第m个人的第n个关键点在图像中的二维坐标的横坐标值，y mn 为第m个人的第n个关键点在图像中的二维坐标的纵坐标值；
S2.2、遍历所述关键点列表key_points，对每一行分别按x和y排序，得到人体最外围的四个关键点列表most_points：
Figure 430336DEST_PATH_IMAGE002
其中，
Figure 895559DEST_PATH_IMAGE003
为第m个人的其中一个关键点在图像中的二维坐标的横坐标值，
Figure 25189DEST_PATH_IMAGE004
为第m个人的其中一个关键点在图像中的二维坐标的纵坐标值；
遍历所述关键点列表most_points，得到人体的近似外接矩形的顶点列表person_rect，顶点列表person_rect的四个顶点坐标为：
Figure 511665DEST_PATH_IMAGE006
其中，m为人的数量，
Figure 317816DEST_PATH_IMAGE007
为关键点位置下标，其值为1、2、3…18；
S2.3、遍历所述关键点列表most_points，得到人体躯干宽度列表person_length：
Figure 256953DEST_PATH_IMAGE008
；
S2.4、遍历所述关键点列表key_points对人体姿势pose进行判定；
S2.5、将所述人体关键点列表key_points、人体的近似外接矩形的顶点列表person_rect、人体躯干宽度列表person_length、人体姿势pose整合成人体特征属性表person。
3.根据权利要求2所述的电力运检人员坑洞倚靠行为检测方法，其特征在于：所述S2.4中遍历所述关键点列表key_points对人体姿势pose进行判定，对人体姿势pose判定，包括：
S2.4.1、计算人体的身体比例：
Figure 190274DEST_PATH_IMAGE009
其中，
Figure 281989DEST_PATH_IMAGE010
、
Figure 213036DEST_PATH_IMAGE011
、
Figure 951053DEST_PATH_IMAGE012
分别代表臀部、膝盖、肩膀部的平均y值，平均y值为臀部、膝盖、肩膀部关键点坐标的纵坐标的平均值；body_rate代表检测到人体的身体比例；
S2.4.2、判断膝盖是否高于臀部：
Figure 625748DEST_PATH_IMAGE013
其中，opt()代表多选一；
Figure 506723DEST_PATH_IMAGE014
分别代表右臀部、左臀部、右膝盖、左膝盖的y值，y值代表右臀部、左臀部、右膝盖、左膝盖关键点的纵坐标值；
Figure 670988DEST_PATH_IMAGE015
代表臀部关键点的y值与膝盖关键点的y值之差；
S2.4.3、计算人体躯干的角度：
Figure 833985DEST_PATH_IMAGE016
其中，
Figure 843530DEST_PATH_IMAGE017
、
Figure 175416DEST_PATH_IMAGE018
、
Figure 448266DEST_PATH_IMAGE019
、
Figure 98559DEST_PATH_IMAGE020
、
Figure 911794DEST_PATH_IMAGE021
、
Figure 81875DEST_PATH_IMAGE022
分别代表肩部关键点、臀部关键点、膝盖关键点的x和y的均值，x均值为肩部关键点、臀部关键点、膝盖关键点坐标的横坐标的平均值，y均值为肩部关键点、臀部关键点、膝盖关键点坐标的纵坐标的平均值，且x的取值在二维图像的横坐标中为从左至右数值递增，y的取值在二维图像的纵坐标中为从下至上数值递减；
Figure 539008DEST_PATH_IMAGE023
代表人体躯干的角度；臀部关键点为角度中心点；
S2.4.4、判断人体姿势：
当满足
Figure 224067DEST_PATH_IMAGE024
时，则判断为站立型姿势，即当躯干和大腿的比例满足人体正常比例，且膝盖在臀部以下，则判定为站立型姿势；
当满足
Figure 27944DEST_PATH_IMAGE025
时，则判断为蹲坐型姿势，即当存在膝盖关键点在臀部关键点以上，则判定为蹲坐型姿势；或者人体躯干有一定角度且大腿向水平方向有明显倾斜，也判定为蹲坐型姿势。
4.根据权利要求1所述的电力运检人员坑洞倚靠行为检测方法，其特征在于：所述S3中确定二值图像阈值T，包括：
根据变电站坑洞图像的特点是深黑色，且明显比周围颜色黑，故分割图像的深色区域，计算二值图像阈值T：
Figure 114849DEST_PATH_IMAGE026
其中，min_gray为图像的最小灰度值，avg_gray为平均灰度值。
5.根据权利要求1所述的电力运检人员坑洞倚靠行为检测方法，其特征在于：所述S5中根据变电站坑洞轮廓指标，对二值图像轮廓进行筛选判断，得到二值图像中变电站坑洞的轮廓，包括：
S5.1、排除人体所在区域的轮廓；
S5.2、计算轮廓的凸轮廓概率，获取轮廓的凸点集合B、凹点集合P，计算相邻两个凸点之间的凹点到相邻所述两个凸点所组成的凸边的距离d，并计算凸轮廓的概率：
Figure 729501DEST_PATH_IMAGE027
其中，Area1为轮廓凸点集合B所组成的面积，Area2为轮廓本身点集合所组成的面积，a、b分别为轮廓的最小外接矩形的长和宽；若满足
Figure 652589DEST_PATH_IMAGE028
，则判定为凸轮廓，n为凸边的个数；
S5.3、计算轮廓的规则度和边数，对轮廓本身点集合进行抽稀，得到简化后的轮廓点集合Q，并计算轮廓的规则度r：
Figure 745310DEST_PATH_IMAGE029
其中，n为凸边的个数；m代表每条凸边对应的所述轮廓点集合Q中的点数；d ij 为第i条凸边对应的所述轮廓点集合Q中的第j个点到其该凸边的距离；d i 为第i条凸边对应的所述轮廓点集合Q中的点到该凸边的距离均值，规则度r越大，轮廓越规则，若
Figure 404830DEST_PATH_IMAGE030
为规则轮廓的阈值，则判定为规则轮廓；
若轮廓为规则轮廓，计算轮廓的边数，假设所有凸边的斜率列表为[k1,k2,...,kn]；
Figure 252700DEST_PATH_IMAGE031
其中，
Figure 850035DEST_PATH_IMAGE032
为允许的最大斜率误差，n为凸边的个数；
遍历所述斜率列表通过上式进行斜率融合，若满足上述不等式，则删除k i ，得到最终的斜率列表[k1,k2,...,km]，m即为轮廓的近似边数；
Figure 556566DEST_PATH_IMAGE033
其中，min n和min m代表变电站坑洞轮廓允许的最小和最大边数，若m满足不等式，则该轮廓为坑洞。
6.根据权利要求5所述的电力运检人员坑洞倚靠行为检测方法，其特征在于：所述S5.1排除人体所在区域的轮廓，包括：
S5.1.1、遍历顶点列表person_rect，判断所述轮廓最小外接矩形的四个坐标点K中是否有包含于所述人体的近似外接矩形中，若没有，则该轮廓不在人体所在的区域，不排除；若存在，则继续下一步；
S5.1.2、计算轮廓的重叠率，即两个矩形重叠的面积和轮廓的最小外接矩形的面积之比；
假设所述轮廓的最小外接矩形的四个的坐标点为（x1,y1）、（x2，y2）、（x3,y3）、（x4，y4），其中（x1,y1）、（x2，y2）在所述人体的近似外接矩形内，（x3,y3）、（x4，y4）在外；确定所述人体的近似外接矩形的切割边b和所述轮廓的最小外接矩形的被分割边b1、b2；计算所述切割边b和被分割边b1、b2的交点（x5,y5）、（x6，y6）；进而计算轮廓的重叠率：
Figure 290167DEST_PATH_IMAGE034
其中，con1为人体所在区域所包含的部分轮廓的顶点集合；con2为所述轮廓的最小外接矩形的四个坐标点K集合；o_rate为重叠率，conArea为求点集包围的轮廓的面积；
S5.1.3、通过轮廓的重叠率判断轮廓是否在人体所在区域，进行轮廓排除，若满足
Figure 761469DEST_PATH_IMAGE035
，则该轮廓在人体所在区域，去除；否则进行保留。
7.根据权利要求1所述的电力运检人员坑洞倚靠行为检测方法，其特征在于，所述S6中通过人体姿势来选择不同的关键点，计算关键点与坑洞的四个坐标点K之间的最短距离，并判断人体是否存在坑洞倚靠行为，包括：
S6.1、遍历人体特征属性表person，得到人体躯干宽度和基本姿势pose，根据所述基本姿势pose选择人体关键点W；
S6.2、分别计算关键点W和所述轮廓的最小外接矩形的四个坐标点K之间的欧式距离
Figure 908416DEST_PATH_IMAGE036
；
S6.3、判断是否存在坑洞倚靠行为；
Figure 874098DEST_PATH_IMAGE037
其中，L代表人体躯干宽度，c代表是否倚靠的门限距离比率；若满足上式，则判定为存在坑洞倚靠行为；否则，不存在坑洞倚靠行为。
8.根据权利要求7所述的电力运检人员坑洞倚靠行为检测方法，其特征在于，所述人体关键点W的选择为：若为站立型，则选取脚踝处关键点；若为蹲坐型，则选取臀部关键点。
CN202010540073.5A 2020-06-15 2020-06-15 一种电力运检人员坑洞倚靠行为检测方法 Active CN111428703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010540073.5A CN111428703B (zh) 2020-06-15 2020-06-15 一种电力运检人员坑洞倚靠行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010540073.5A CN111428703B (zh) 2020-06-15 2020-06-15 一种电力运检人员坑洞倚靠行为检测方法

Publications (2)

Publication Number Publication Date
CN111428703A true CN111428703A (zh) 2020-07-17
CN111428703B CN111428703B (zh) 2020-09-08

Family

ID=71559087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010540073.5A Active CN111428703B (zh) 2020-06-15 2020-06-15 一种电力运检人员坑洞倚靠行为检测方法

Country Status (1)

Country Link
CN (1) CN111428703B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091983A (zh) * 2023-04-10 2023-05-09 四川弘和通讯集团有限公司 一种行为检测方法、装置、电子设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020596A (zh) * 2012-12-05 2013-04-03 华北电力大学 一种基于块模型的电力生产中异常人体行为识别方法
US8837839B1 (en) * 2010-11-03 2014-09-16 Hrl Laboratories, Llc Method for recognition and pose estimation of multiple occurrences of multiple objects in visual images
CN105678284A (zh) * 2016-02-18 2016-06-15 浙江博天科技有限公司 一种固定位人体行为分析方法
CN109002783A (zh) * 2018-07-02 2018-12-14 北京工业大学 救援环境中的人体检测以及姿态识别方法
CN109389041A (zh) * 2018-09-07 2019-02-26 南京航空航天大学 一种基于关节点特征的跌倒检测方法
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN109697830A (zh) * 2018-12-21 2019-04-30 山东大学 一种基于目标分布规律的人员异常行为检测方法
CN109740513A (zh) * 2018-12-29 2019-05-10 青岛小鸟看看科技有限公司 一种动作行为分析方法和装置
CN110096983A (zh) * 2019-04-22 2019-08-06 苏州海赛人工智能有限公司 一种基于神经网络的图像中施工工人安全服饰检测方法
CN110210323A (zh) * 2019-05-09 2019-09-06 浙江大学 一种基于机器视觉的溺水行为在线识别方法
CN110287923A (zh) * 2019-06-29 2019-09-27 腾讯科技（深圳）有限公司 人体姿态获取方法、装置、计算机设备及存储介质
CN110502965A (zh) * 2019-06-26 2019-11-26 哈尔滨工业大学 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN111209814A (zh) * 2019-12-27 2020-05-29 广东德融汇科技有限公司 用于k12教育阶段的人脸识别校园区域预警方法及系统
CN111275910A (zh) * 2019-11-05 2020-06-12 杭州安脉盛智能技术有限公司 一种基于高斯混合模型的扶梯越界行为检测方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8837839B1 (en) * 2010-11-03 2014-09-16 Hrl Laboratories, Llc Method for recognition and pose estimation of multiple occurrences of multiple objects in visual images
CN103020596A (zh) * 2012-12-05 2013-04-03 华北电力大学 一种基于块模型的电力生产中异常人体行为识别方法
CN105678284A (zh) * 2016-02-18 2016-06-15 浙江博天科技有限公司 一种固定位人体行为分析方法
CN109002783A (zh) * 2018-07-02 2018-12-14 北京工业大学 救援环境中的人体检测以及姿态识别方法
CN109389041A (zh) * 2018-09-07 2019-02-26 南京航空航天大学 一种基于关节点特征的跌倒检测方法
CN109522793A (zh) * 2018-10-10 2019-03-26 华南理工大学 基于机器视觉的多人异常行为检测与识别方法
CN109697830A (zh) * 2018-12-21 2019-04-30 山东大学 一种基于目标分布规律的人员异常行为检测方法
CN109740513A (zh) * 2018-12-29 2019-05-10 青岛小鸟看看科技有限公司 一种动作行为分析方法和装置
CN109558865A (zh) * 2019-01-22 2019-04-02 郭道宁 一种基于人体关键点的对需特别看护人员的异常状态检测方法
CN110096983A (zh) * 2019-04-22 2019-08-06 苏州海赛人工智能有限公司 一种基于神经网络的图像中施工工人安全服饰检测方法
CN110210323A (zh) * 2019-05-09 2019-09-06 浙江大学 一种基于机器视觉的溺水行为在线识别方法
CN110502965A (zh) * 2019-06-26 2019-11-26 哈尔滨工业大学 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
CN110287923A (zh) * 2019-06-29 2019-09-27 腾讯科技（深圳）有限公司 人体姿态获取方法、装置、计算机设备及存储介质
CN111275910A (zh) * 2019-11-05 2020-06-12 杭州安脉盛智能技术有限公司 一种基于高斯混合模型的扶梯越界行为检测方法及系统
CN111209814A (zh) * 2019-12-27 2020-05-29 广东德融汇科技有限公司 用于k12教育阶段的人脸识别校园区域预警方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZIZHENG ZHANG 等: "Danger-Pose Detection System Using Commodity Wi-Fi for Bathroom Monitoring", 《SENSORS》 *
罗会兰 等: "融合多姿势估计特征的动作识别", 《中国图象图形学报》 *
陈庆峰: "矿井皮带区域不安全行为识别方法的研究", 《中国优秀硕士学位论文全文数据库工程科技I辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091983A (zh) * 2023-04-10 2023-05-09 四川弘和通讯集团有限公司 一种行为检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111428703B (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN110688987B (zh) 一种行人位置检测与跟踪方法及系统
CN106023220B (zh) 一种基于深度学习的车辆外观部件图像分割方法
CN109815850A (zh) 基于深度学习的虹膜图像分割及定位方法、系统、装置
Zhao et al. Preprocessing and postprocessing for skeleton-based fingerprint minutiae extraction
CN104166861B (zh) 一种行人检测方法
CN106960202A (zh) 一种基于可见光与红外图像融合的笑脸识别方法
CN104794693B (zh) 一种人脸关键区域自动检测蒙版的人像优化方法
CN101388080B (zh) 一种基于多角度步态信息融合的行人性别分类方法
CN111079518B (zh) 一种基于执法办案区场景下的倒地异常行为识别方法
CN108319943A (zh) 一种提高戴眼镜条件下人脸识别模型性能的方法
CN105893946A (zh) 一种正面人脸图像的检测方法
CN109360170A (zh) 基于高级特征的人脸修复方法
CN108491786A (zh) 一种基于分级网络和聚类合并的人脸检测方法
WO2018035814A1 (zh) 一种基于毫米波图像的人体异物检测方法及系统
CN109711378A (zh) 人脸表情自动识别方法
CN103425970A (zh) 一种基于头部姿态的人机交互方法
CN105160305B (zh) 一种手指多模态特征融合方法
CN111428703B (zh) 一种电力运检人员坑洞倚靠行为检测方法
CN106971131A (zh) 一种基于中心位置的手势识别方法
CN109389033A (zh) 一种新型的瞳孔快速定位方法
CN104966300A (zh) 轴承滚子图像检测系统及方法及图像检测装置
CN108108740B (zh) 一种主动毫米波人体图像性别识别方法
CN110263663A (zh) 一种基于多维面部特征的驾驶员多级疲劳度识别方法
Arif et al. Human pose estimation and object interaction for sports behaviour
CN114973320A (zh) 一种基于深度信息的煤矿井下人员检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant