CN115471874B - 基于监控视频的施工现场危险行为识别方法 - Google Patents

基于监控视频的施工现场危险行为识别方法 Download PDF

Info

Publication number
CN115471874B
CN115471874B CN202211330707.XA CN202211330707A CN115471874B CN 115471874 B CN115471874 B CN 115471874B CN 202211330707 A CN202211330707 A CN 202211330707A CN 115471874 B CN115471874 B CN 115471874B
Authority
CN
China
Prior art keywords
value
area
hand
roi
straight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211330707.XA
Other languages
English (en)
Other versions
CN115471874A (zh
Inventor
刘祥
贾利梅
马宗绪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Xinzhongtong Information Technology Co ltd
Original Assignee
Shandong Xinzhongtong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Xinzhongtong Information Technology Co ltd filed Critical Shandong Xinzhongtong Information Technology Co ltd
Priority to CN202211330707.XA priority Critical patent/CN115471874B/zh
Publication of CN115471874A publication Critical patent/CN115471874A/zh
Application granted granted Critical
Publication of CN115471874B publication Critical patent/CN115471874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于监控视频的施工现场危险行为识别方法，该方法对配电箱的检测区域的第一RGB图像进行人体关键点检测，当检测到人体关键点时，检测每个时刻下人员图像中的左手和右手对应的手部ROI区域，分别得到最优时刻下的手部ROI区域；对最优时刻下的手部ROI区域进行旋转，得到标准方向下的标准手部ROI区域；将标准手部ROI区域划分为手掌区域和手指区域；分别获取手掌区域和手指区域的纹理特征图、温差图以及反光性图，利用神经网络检测出对应的手套类型，基于手套类型进行危险行为预警。本发明能够分别准确识别人员的两只手的手套佩戴情况，以提升危险行为预警的准确率。

Description

基于监控视频的施工现场危险行为识别方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于监控视频的施工现场危险行为识别方法。
背景技术
随着基础建设行业的蓬勃发展，施工过程的规范化问题也亟需解决。施工现场触电事故是仅次于高空坠亡的第二大工地致死原因，其根本原因是：在施工现场，电路保险装置无法兼顾每一个角落，直接原因是施工人员的违规用电的危险行为导致的。一般的施工现场都会规定所有处于工地的人员必须穿绝缘鞋，进行电力作业的人员还需佩戴绝缘手套，以此从触电人员的源头上识别触电危险隐患。现有的技术主要是人为进行监督和提前的安全用电教育。
某些施工人员可能会抱有侥幸心理，为了一时的方便，裸手直接触摸配电箱中的元器件。近年来，计算机视觉技术的应用范围越来越广，智能监控就是其中一个重要的方向，通过智能监控能够有效代替人工检查,提高效率。但在智能监控过程需要防止错误的手套佩戴行为识别，由于裸手和戴了手套的手形状差异不大，非绝缘的劳保手套和绝缘手套也具有相似性，因此如何准确识别手套佩戴行为是亟待解决的问题。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于监控视频的施工现场危险行为识别方法，所采用的技术方案具体如下：
本发明一个实施例提供了一种基于监控视频的施工现场危险行为识别方法，该方法包括以下步骤：
设定配电箱的检测区域，获取检测区域的第一RGB图像，对第一RGB图像进行人体关键点检测，当检测到人体关键点时，获取设定时长内每个时刻下检测区域中的人员图像，人员图像包括RGB图像、红外热图和深度图像；分别获取人员图像中左手和右手对应的手部ROI区域，根据手部ROI区域的灰度变化分别得到最优时刻下的手部ROI区域，一个手部ROI区域对应一个最优时刻；
对于任意一个最优时刻下的手部ROI区域，根据红外热图中手部ROI区域的温度值变化对手部ROI区域进行旋转，得到标准方向下的标准手部ROI区域；将标准手部ROI区域划分为手掌区域和手指区域；
对于任意一个标准手部ROI区域的手掌区域，基于深度图像获取手掌区域中每个像素点的第一圆形邻域的灰度共生矩阵，将灰度共生矩阵的熵值和能量相加的结果的倒数作为对应像素点的纹理规律值，将手掌区域中每个像素点的深度值替换为对应的纹理规律值得到纹理特征图；基于红外热图获取手掌区域的温差图；获取RGB图像的灰度图像，基于手掌区域在灰度图像中的灰度值获取反光性图；获取标准手部ROI区域的手指区域的纹理特征图、温差图和反光性图；
将任意一个标准手部ROI区域的手掌区域以及手指区域的纹理特征图、温差图和反光性图输入神经网络中，得到对应标准手部ROI区域对应的手套类型，基于手套类型进行危险行为预警。
进一步的，所述根据手部ROI区域的灰度变化分别得到最优时刻下的手部ROI区域的方法，包括：
获取每个时刻下RGB图像的灰度图像，根据灰度图像中手部ROI区域内每个像素点的灰度值，计算灰度值方差作为对应时刻下手部ROI区域的灰度变化程度；
获取每个时刻下右手的手部ROI区域的灰度变化程度，选取灰度变化程度最大所对应时刻的手部ROI区域作为右手的最优时刻下的手部ROI区域；
获取每个时刻下左手的手部ROI区域的灰度变化程度，选取灰度变化程度最大所对应时刻的手部ROI区域作为左手的最优时刻下的手部ROI区域。
进一步的，所述根据红外热图中手部ROI区域的温度值变化对手部ROI区域进行旋转，得到标准方向下的标准手部ROI区域的方法，包括：
连接红外热图中的手肘关键点和手部关键点得到第一直线，第一直线的方向是手肘关键点指向手部关键点；获取手部ROI区域的最小外接圆，获取第一直线与最小外接圆的交点作为手腕关键点；
基于第一直线的方向，以手腕关键点为起点，获取起点的延长线与最小外接圆相交时对应的第二直线，基于设定的旋转角度分别获取第二直线在顺时针旋转和逆时针旋转下的N条直线；N为正整数；
对于第二直线和任意一条直线，获取直线在手部ROI区域中对应像素点的最大温度值和最小温度值，将最大温度值和最小温度值之间的差值作为对应直线的温度幅值；分别以直线上的任意一个像素点为起点，沿着第二条直线的方向做第三直线，计算第三直线在手部ROI区域中对应的所有像素点的温度值方差，将直线上每个像素点对应的温度值方差的平均值作为对应直线的温度差异值；
对于第二直线以及任意一条直线的温度幅值和温度差异值，以温度差异值为分母、温度幅值为分子得到对应的比值，获取最大比值所对应的直线，在该直线上以手腕关键点为起始点得到该直线的方向向量，将手部ROI区域旋转至方向向量为竖直向下，进而得到标准方向下的标准手部ROI区域，标准方向是指手垂直向下对应的方向。
进一步的，所述将标准手部ROI区域划分为手掌区域和手指区域的方法，包括：
统计设定数量人员的身高和手掌长度，以身高为横坐标、手掌长度为纵坐标进行直线拟合，将直线拟合的直线斜率作为身高和手掌长度之间的相关比例值；
对最优时刻下RGB图像进行人体关键点检测，得到一个头部关键点和两个足部关键点的纵坐标，计算两个足部关键点的纵坐标之间的平均坐标，将头部关键点的纵坐标减去平均坐标得到人员的预计身高，将预计身高和相关比例值的乘积作为该人员的预估手掌长度；
基于最大比值所对应的直线在深度图像中每个像素点的深度值，计算该直线的两端点的深度差值；对预估手掌长度和深度差值使用勾股定理得到手掌区域长度；在标准手部ROI区域中从上到小的长度为手掌区域长度的位置作一条水平线，水平线的上面为手掌区域，水平线的下方为手指区域。
进一步的，所述基于红外热图获取手掌区域的温差图的方法，包括：
根据红外热图中每个像素点的温度值，分别计算手掌区域的第一平均温度值和手指区域的第二平均温度值，利用第一平均温度值和第二平均温度值之间的差值绝对值替换手掌区域中每个像素点的温度值，得到手掌区域的温差图。
进一步的，所述基于手掌区域在灰度图像中的灰度值获取反光性图的方法，包括：
利用sobel算子获取手掌区域的边缘像素点，将灰度值大于或等于灰度值阈值的边缘像素点的灰度值设定为1，灰度值小于灰度值阈值以及非边缘像素点的灰度值设定为0，得到二值图像，将二值图像作为反光性图。
进一步的，所述获取标准手部ROI区域的手指区域的纹理特征图、温差图和反光性图的方法，包括：
基于深度图像获取手指区域中每个像素点的第二圆形邻域的灰度共生矩阵，将灰度共生矩阵的熵值和能量相加的结果的倒数作为对应像素点的纹理规律值，将手指区域中每个像素点的深度值替换为对应的纹理规律值得到纹理特征图；基于红外热图获取手指区域的温差图；获取RGB图像的灰度图像，基于手指区域在灰度图像中的灰度值获取反光性图。
进一步的，所述基于红外热图获取手指区域的温差图的方法，包括：
根据红外热图中每个像素点的温度值，分别计算手掌区域的第一平均温度值和手指区域的第二平均温度值，利用第一平均温度值和第二平均温度值之间的差值绝对值替换手指区域中每个像素点的温度值，得到手指区域的温差图。
进一步的，所述基于手指区域在灰度图像中的灰度值获取反光性图的方法，包括：
利用sobel算子获取手指区域的边缘像素点，将灰度值大于或等于灰度值阈值的边缘像素点的灰度值设定为1，灰度值小于灰度值阈值以及非边缘像素点的灰度值设定为0，得到二值图像，将二值图像作为反光性图。
进一步的，所述手套类型包括：绝缘手套、不绝缘的劳保手套以及未戴手套。
本发明具有如下有益效果：本发明通过采集配电箱的检测区域的第一RGB图像，对第一RGB图像进行人体关键点检测，以判断检测区域内是否有人；当确认检测到人体关键点时，采集设定时长内每个时刻下的RGB图像、红外热图和深度图像，对这些图像进行语义分割得到左手和右手的手部ROI区域，将手部ROI区域作为后续的分析对象，以减少计算量；为了使得后续手套类型的识别结果更加准确，根据每个时刻下任意一个手部ROI区域内的灰度变化以得到图像最清晰所对应的最优时刻下的手部ROI区域；将最优时刻下的手部ROI区域旋转至手指垂直向下所对应的标准手部ROI区域，以准确将手部ROI区域划分为手掌区域和手指区域；结合绝缘手套的特点，分别获取任意一个手对应的手掌区域和手指区域的纹理特征图、温差图以及反光性图，将其输入训练好的神经网络中，能够识别出对应手的手套佩戴情况，也即是手套类型，进而能够手套佩戴结果进行人员的危险行为预警，提升预警的准确率，为安全施工提供有力保障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于监控视频的施工现场危险行为识别方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于监控视频的施工现场危险行为识别方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于监控视频的施工现场危险行为识别方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于监控视频的施工现场危险行为识别方法的步骤流程图，
步骤S001，设定配电箱的检测区域，获取检测区域的第一RGB图像，对第一RGB图像进行人体关键点检测，当检测到人体关键点时，获取设定时长内每个时刻下检测区域的人员图像，人员图像包括RGB图像、红外热图和深度图像；分别获取人员图像中左手和右手对应的手部ROI区域，根据手部ROI区域的灰度变化分别得到最优时刻下的手部ROI区域，一个手部ROI区域对应一个最优时刻。
具体的，本发明实施例中设定工地上统一发放了两种手套：不绝缘的劳保手套和绝缘手套。手套的图案颜色样式可以是多种多样的，但不变的特征是，劳保手套的透气性比绝缘手套强，会导致两者的手套表面温度分布不同。
在配电箱的上方安装向下拍摄的集成监控模块，并与局域网连接，实时传输数据流至计算机中。其中，集成监控模块包含RGB相机、红外热成像仪和采用ToF原理的深度相机，RGB相机获取RGB图像、红外热成像仪获取红外热图、深度相机获取深度图像。
由于红外热成像仪和深度相机的监测范围都有限，而且能耗较高，所以优选地，设定的集成监控模块的启动条件：设置配电箱的检测区域，该检测区域是指以配电箱为圆心，设定半径为3米的圆形范围区域，当检测区域检测到有人员存在时启动集成监控模块。
其中对检测区域的人员检测方法为：利用RGB相机采集检测区域的第一RGB图像，将第一RGB图像输入OpenPose模型中检测人体关键点，其中人体关键点包括头部关键点、足部关键点、手部关键点和手肘关键点，在其他实施例中还可以包括其他人体关键点，基于实施场景进行自定义。
需要说明的是，OpenPose模型的人体姿态识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以Caffe为框架开发的开源库，其核心结构为一种神经网络，输入为第一RGB图像，输出为人体关键点。OpenPose模型为公知技术，本方案不再赘述。
作为一个示例，当检测区域中检测到足部关键点时，说明有人接近配电箱，满足启动条件。
当检测到人体关键点时，获取设定时长内每个时刻下检测区域的人员图像，人员图像包括RGB图像、红外热图和深度图像，分别获取人员图像中左手和右手应的手部ROI区域：获取1秒内每个时刻下检测区域中的人员图像，构建手部划分神经网络，其具体的神经网络结构为ResNet50，输入每个时刻下的RGB图像、深度图像以及在OpenPose模型检测到的RGB图像中的手部关键点的坐标，输出为RGB图像中左手和右手的手部ROI区域，其中，深度图像可反应手部的边缘，手部关键点的坐标可确定手部的大致位置。使用卡尔曼滤波跟踪算法和匈牙利匹配算法，实现每只手的手部ROI区域的跟踪和匹配，可得到在这1秒内任意一只手在每个时刻下对应RGB图像中的手部ROI区域。
其中，训练手部划分神经网络，该训练过程为：将每个时刻下人员的RGB图像、深度图像以及RGB图像中的手部关键点的坐标，安排大数据标注专家标注出RGB图像中的手部ROI区域，作为训练集；损失函数为均方差损失函数，优化算法使用随机梯度下降算法，得到能够直接使用的手部划分神经网络。
需要说明的是，分割手部ROI区域作为后续分析的基本单元是为了忽略其他信息，减少计算量，提高实时性。
根据手部ROI区域的灰度变化分别得到最优时刻下的手部ROI区域，一个手部ROI区域对应一个最优时刻：以一只手为例，获取每个时刻下RGB图像的灰度图像，根据灰度图像中该手对应手部ROI区域内每个像素点的灰度值，计算灰度值方差作为对应时刻下手部ROI区域的灰度变化程度；获取每个时刻下该手的手部ROI区域的灰度变化程度，选取灰度变化程度最大所对应时刻的手部ROI区域作为该手的最优时刻下的手部ROI区域。
作为一个示例，获取每个时刻下右手的手部ROI区域的灰度变化程度，选取灰度变化程度最大所对应时刻的手部ROI区域作为右手的最优时刻下的手部ROI区域；获取每个时刻下左手的手部ROI区域的灰度变化程度，选取灰度变化程度最大所对应时刻的手部ROI区域作为左手的最优时刻下的手部ROI区域。
需要说明的是，获取最优时刻下的手部ROI区域的目的是：最优时刻下的RGB图像最清晰，且RGB图像中的高频分量也最多，以RGB图像中的像素点的灰度变化作为参考，灰度变化程度越大，RGB图像越清晰，灰度变化程度越小，RGB图像越模糊。
步骤S002，对于任意一个最优时刻下的手部ROI区域，根据红外热图中手部ROI区域的温度值变化获取旋转方向，基于旋转方向对手部ROI区域进行旋转，得到标准方向下的标准手部ROI区域；将标准手部ROI区域划分为手掌区域和手指区域。
具体的，根据红外热图可得到每一个像素点
Figure DEST_PATH_IMAGE001
的温度值
Figure DEST_PATH_IMAGE002
。由于手指区域的表面积大于手腕区域和手掌区域，所以无论一个人员戴了手套与否，其手腕向着手指都呈现温度递减趋势。
对于任意一个最优时刻下的手部ROI区域，确定其手部的方向，具体如下：
基于OpenPose模型能够得到最优时刻下RGB图像中的人体关键点，对应能够得到红外热图中的人体关键点，连接红外热图中的手肘关键点和手部关键点得到第一直线
Figure DEST_PATH_IMAGE003
，第一直线的方向是手肘关键点指向手部关键点；获取手部ROI区域的最小外接圆，获取第一直线
Figure 615093DEST_PATH_IMAGE003
与最小外接圆的交点作为手腕关键点；基于第一直线的方向，以手腕关键点为起点，获取起点的延长线与最小外接圆相交时对应的第二直线
Figure DEST_PATH_IMAGE004
，基于设定的旋转角度分别获取第二直线
Figure 659797DEST_PATH_IMAGE004
在顺时针旋转和逆时针旋转下的N条直线，N为正整数；对于第二直线和任意一条直线，获取直线在手部ROI区域中对应像素点的最大温度值和最小温度值，将最大温度值和最小温度值之间的差值作为对应直线的温度幅值；分别以直线上的任意一个像素点为起点，沿着第二条直线的方向做第三直线，计算第三直线在手部ROI区域中对应的所有像素点的温度值方差，将直线上每个像素点对应的温度值方差的平均值作为对应直线的温度差异值；对于第二直线以及任意一条直线的温度幅值和温度差异值，以温度差异值为分母、温度幅值为分子得到对应的比值，获取最大比值所对应的直线，基于该直线的位置对手部ROI区域进行旋转，得到标准方向下的标准手部ROI区域，标准方向是指手垂直向下对应的方向。
作为一个示例，沿着与第一直线
Figure 439534DEST_PATH_IMAGE003
向着手腕关键点的方向，由手腕关键点延伸至最小外接圆的边界上的一条第二直线
Figure 897061DEST_PATH_IMAGE004
，以手腕关键点为定点，将第二直线
Figure 773750DEST_PATH_IMAGE004
按照顺时针方向旋转1度并再次延长到最小外接圆的边界上得到直线
Figure DEST_PATH_IMAGE005
，将第二直线
Figure 720846DEST_PATH_IMAGE004
按照顺时针方向旋转2度并再次延长到最小外接圆的边界上得到直线
Figure DEST_PATH_IMAGE006
，以此类推，得到直线
Figure DEST_PATH_IMAGE007
，
Figure DEST_PATH_IMAGE008
为最大旋转角度，经验值取值
Figure DEST_PATH_IMAGE009
；同理，将第二直线
Figure 174830DEST_PATH_IMAGE004
按照逆时针方向旋转1度并再次延长到最小外接圆的边界上得到直线
Figure DEST_PATH_IMAGE010
，将第二直线
Figure 495434DEST_PATH_IMAGE004
按照逆时针方向旋转2度并再次延长到最小外接圆的边界上得到
Figure DEST_PATH_IMAGE011
，以此类推，得到直线
Figure DEST_PATH_IMAGE012
，进而得到N条直线，N为正整数。
进一步地，分析每一条直线上的温度分布性质，以第二直线
Figure 288947DEST_PATH_IMAGE004
为例：获取第二直线
Figure 344627DEST_PATH_IMAGE004
上所有在手部ROI区域中的像素点
Figure 161274DEST_PATH_IMAGE001
的温度值
Figure 898286DEST_PATH_IMAGE002
，然后求得第二直线
Figure 483988DEST_PATH_IMAGE004
的温度幅值
Figure DEST_PATH_IMAGE013
其中，MAX表示取最大值，min表示取最小值，温度值的最大值和最小值时间的差值越大，对应直线的温度幅值越大；选取第二直线
Figure 41396DEST_PATH_IMAGE004
上一个像素点
Figure 283021DEST_PATH_IMAGE001
，以像素点
Figure 620461DEST_PATH_IMAGE001
为定点，沿着垂直于第二直线
Figure 388566DEST_PATH_IMAGE004
的方向做一条第三直线
Figure DEST_PATH_IMAGE014
，然后求既在第三直线
Figure 848366DEST_PATH_IMAGE014
上，也在手部ROI区域中的所有像素点的温度值方差
Figure DEST_PATH_IMAGE015
，作为像素点
Figure 639605DEST_PATH_IMAGE001
对应的温度值方差
Figure 780736DEST_PATH_IMAGE015
，求第二直线
Figure 361538DEST_PATH_IMAGE004
上所有在手部ROI区域中的所有像素点的温度值方差的平均值，将其作为第二直线
Figure 133185DEST_PATH_IMAGE004
的温度差异值
Figure DEST_PATH_IMAGE016
。
基于第二直线
Figure 208458DEST_PATH_IMAGE004
的温度幅值和温度差异值的获取方法，分别获取直线
Figure DEST_PATH_IMAGE017
的温度幅值和温度差异值，以温度差异值为分母、温度幅值为分子得到对应的比值，获取最大比值所对应的直线
Figure DEST_PATH_IMAGE018
，在直线
Figure 215597DEST_PATH_IMAGE018
上，以手腕关键点为方向向量的起始点，将方向向量作为温度递减方向
Figure DEST_PATH_IMAGE019
，将手部ROI区域旋转至
Figure 692714DEST_PATH_IMAGE019
为竖直向下，得到标准方向下的标准手部ROI区域。
将标准手部ROI区域划分为手掌区域和手指区域：因为人体是一个协调的机体，所以手掌长度与人员的身高成比例关系，故采集本施工现场的所有人员的身高和手掌长度，以身高为横坐标、手掌长度为纵坐标进行直线拟合，得到一条拟合直线，使用最小二乘法进行拟合，将拟合直线的斜率作为身高与手掌长度之间的相关比例值；为了求得待检测的人员的身高
Figure DEST_PATH_IMAGE020
，获取OpenPose模型检测到的一个头部关键点和两个足部关键点的纵坐标，分别是
Figure DEST_PATH_IMAGE021
，然后计算两个足部关键点的纵坐标之间的平均坐标，将头部关键点的纵坐标减去平均坐标得到人员的预计身高，将预计身高和相关比例值的乘积作为该人员的预估手掌长度
Figure DEST_PATH_IMAGE022
。
此外，需要考虑手部倾斜的情况，将方向向量
Figure DEST_PATH_IMAGE023
复制到深度图像中，求得方向向量
Figure 887460DEST_PATH_IMAGE023
的两端点之间的深度差值
Figure DEST_PATH_IMAGE024
，也即是深度值的差值，以此反应手部翘起或下垂的幅度。
结合预估手掌长度
Figure DEST_PATH_IMAGE025
和深度差值
Figure DEST_PATH_IMAGE026
，由勾股定理可得到手掌区域长度
Figure DEST_PATH_IMAGE027
：
Figure DEST_PATH_IMAGE028
在标准方向下的标准手部ROI区域中从上往下的长度为手掌区域长度
Figure DEST_PATH_IMAGE029
的位置做一条水平线，水平线的上面为手掌区域，水平线的下方为手指区域。
同理，获取任意一个最优时刻下的手部ROI区域对应的手掌区域和手指区域。
步骤S003，对于任意一个标准手部ROI区域的手掌区域，基于深度图像获取手掌区域中每个像素点的第一圆形邻域的灰度共生矩阵，将灰度共生矩阵的熵值和能量相加的结果的倒数作为对应像素点的纹理规律值，将手掌区域中每个像素点的深度值替换为对应的纹理规律值得到纹理特征图；基于红外热图获取手掌区域的温差图；获取RGB图像的灰度图像，基于手掌区域在灰度图像中的灰度值获取反光性图；获取标准手部ROI区域的手指区域的纹理特征图、温差图和反光性图。
具体的，考虑到裸手的纹理和手套的纹理差异较大，手套的防滑纹理较为密集，呈现一定的规律：在关节处褶皱较多，具有规律性纹理，橡胶材质有一定反光性；裸手也有固定的特征，皮肤纹理有一定的特点，纹理走势是较为随机的；绝缘手套和劳保手套都有纹理，但是劳保手套的纹理比较深，对应深度梯度值较大，因此分别获取手掌区域和手指区域的纹理特征图。
同样以一只手的手掌区域和手指区域为例，手掌区域的边缘点较少，手指区域的边缘较多，所以需要对手掌区域和手指区域进行不同的分析。首先，基于深度图像中对应手掌区域的每个像素点的深度值获取手掌区域的纹理特征图：选取一个像素点
Figure DEST_PATH_IMAGE030
，划定以
Figure 696366DEST_PATH_IMAGE030
为圆心，以
Figure DEST_PATH_IMAGE031
为半径的第一圆形邻域
Figure DEST_PATH_IMAGE032
，
Figure DEST_PATH_IMAGE033
为比例系数，经验值取
Figure DEST_PATH_IMAGE034
；基于第一圆形邻域中每个像素点的深度值获取灰度共生矩阵，将灰度共生矩阵的熵值和能量相加的结果的倒数作为对应像素点的纹理规律值，将手掌区域中每个像素点的深度值替换为对应的纹理规律值得到手掌区域的纹理特征图。
作为一个示例，像素点的纹理规律值
Figure DEST_PATH_IMAGE035
的计算公式为：
Figure DEST_PATH_IMAGE036
其中，
Figure DEST_PATH_IMAGE037
为熵值；
Figure DEST_PATH_IMAGE038
为能量。
需要说明的是，熵值
Figure 553201DEST_PATH_IMAGE037
反应了第一圆形邻域
Figure 91018DEST_PATH_IMAGE032
中纹理的非均匀程度，熵值越大，说明该像素点周围的纹理越无序，对应纹理规律值越小；能量
Figure 266784DEST_PATH_IMAGE038
反应了第一圆形邻域
Figure 192015DEST_PATH_IMAGE032
中纹理的随机性，能量越大，说明第一圆形邻域
Figure 478640DEST_PATH_IMAGE032
中的纹理越混乱，对应纹理规律值越小。
同理，对于手指区域的纹理特征图，其获取方法为：基于深度图像获取手指区域中每个像素点的第二圆形邻域的灰度共生矩阵，将灰度共生矩阵的熵值和能量相加的结果的倒数作为对应像素点的纹理规律值，将手指区域中每个像素点的深度值替换为对应的纹理规律值得到纹理特征图。
需要说明的是，由于各个手指相对位置的变化，不同手指头之间的纹理规律性会有差异，所以手指区域中每个像素点的第二圆形邻域的范围为：以
Figure DEST_PATH_IMAGE039
为半径、像素点为圆心对应的圆形范围，其中比例系数
Figure DEST_PATH_IMAGE040
。
进一步的，由于绝多大数材料的绝缘性和绝热性是正相关的，再加上非绝缘的劳保手套比绝缘手套透气孔多，所以绝缘手套的温度差和非绝缘的劳保手套的呈现差异性，故分别获取手掌区域和手指区域的温差图。
同样以一只手的手掌区域和手指区域为例，根据红外热图中每个像素点的温度值，分别计算手掌区域的第一平均温度值和手指区域的第二平均温度值，利用第一平均温度值和第二平均温度值之间的差值绝对值替换手掌区域中每个像素点的温度值，得到手掌区域的温差图；同理，根据红外热图中每个像素点的温度值，分别计算手掌区域的第一平均温度值和手指区域的第二平均温度值，利用第一平均温度值和第二平均温度值之间的差值绝对值替换手指区域中每个像素点的温度值，得到手指区域的温差图。
进一步的，为了准确识别手套的类型，避免非绝缘手套，而是普通的手套。考虑到绝缘手套比劳保手套硬，更容易产生褶皱，加上绝缘手套一般为橡胶材质，因此在褶皱处反光性很强，故分别获取手掌区域和手指区域的反光性图。
同样以一只手的手掌区域和手指区域为例，基于RGB图像对应的灰度图像，使用sobel算子获取手掌区域中的边缘像素点，选择中灰度值大于或等于灰值度阈值的边缘像素点，并将其灰度值设为1，同时将灰度值小于灰度值阈值的像素点的灰度值设为0，且将手掌区域中非边缘像素点的灰度值也设为0，进而得到一个手掌区域的二值图像，将该二值图像作为手掌区域的反光性图；同理，利用sobel算子获取手指区域的边缘像素点，将灰度值大于或等于灰度值阈值的边缘像素点的灰度值设定为1，灰度值小于灰度值阈值以及非边缘像素点的灰度值设定为0，得到手指区域的二值图像，将该二值图像作为手指区域的反光性图。
步骤S004，将任意一个标准手部ROI区域的手掌区域以及手指区域的纹理特征图、温差图和反光性图输入神经网络中，得到对应标准手部ROI区域对应的手套类型，基于手套类型进行危险行为预警。
具体的，由步骤S003能够得到任意一个标准手部ROI区域对应的手掌区域以及手指区域的纹理特征图、温差图和反光性图。
构建神经网络，本方案中为U-net神经网络，用于识别手套类型。将任意一个标准手部ROI区域的手掌区域以及手指区域的纹理特征图、温差图和反光性图输入神经网络中，输出对应标准手部ROI区域对应的手套类型，其中手套类型包括绝缘手套、不绝缘的劳保手套以及未戴手套。
其中，神经网络的训练过程为：输入为手掌区域以及手指区域的纹理特征图、温差图和反光性图，输出为对应手部的手套类型；对输入神经网络的图像进行标签设置，安排大数据标准专家用特定的像素值标注图像对应的手套类型，即绝缘手套设置为a、不绝缘的劳保手套设置为b、未戴手套设置为c；损失函数为交叉熵损失函数，用于作反向误差传播，优化器使用Adam。
需要说明的是，U-net神经网络的训练过程为公知技术，本方案中不再作详细赘述。
基于神经网络能够识别出进入配电箱的检测区域内的人员的左手和右手的手套佩戴情况，基于识别出的手套类型进行危险行为预警，以警告该人员的行为是危险的，并通知工地安全员，避免人员出现危险。
综上所述，本发明实施例对配电箱的检测区域内第一RGB图像进行人体关键点检测，当检测到人体关键点时，获取设定时长内每个时刻下检测区域中的人员图像，获取人员图像中的左手和右手对应的手部ROI区域，根据手部ROI区域的灰度变化分别得到最优时刻下的手部ROI区域；对任意一个最优时刻下的手部ROI区域进行旋转，得到标准方向下的标准手部ROI区域；将标准手部ROI区域划分为手掌区域和手指区域；分别获取手掌区域和手指区域的纹理特征图、温差图以及反光性图，利用神经网络检测出对应的手套类型，基于手套类型进行危险行为预警。本发明能够分别准确识别人员的两只手的手套佩戴情况，以提升危险行为预警的准确率。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于监控视频的施工现场危险行为识别方法，其特征在于，该方法包括以下步骤：
设定配电箱的检测区域，获取检测区域的第一RGB图像，对第一RGB图像进行人体关键点检测，当检测到人体关键点时，获取设定时长内每个时刻下检测区域中的人员图像，人员图像包括RGB图像、红外热图和深度图像；分别获取人员图像中左手和右手对应的手部ROI区域，根据手部ROI区域的灰度变化分别得到最优时刻下的手部ROI区域，一个手部ROI区域对应一个最优时刻；
对于任意一个最优时刻下的手部ROI区域，根据红外热图中手部ROI区域的温度值变化对手部ROI区域进行旋转，得到标准方向下的标准手部ROI区域；将标准手部ROI区域划分为手掌区域和手指区域；
对于任意一个标准手部ROI区域的手掌区域，基于深度图像获取手掌区域中每个像素点的第一圆形邻域的灰度共生矩阵，将灰度共生矩阵的熵值和能量相加的结果的倒数作为对应像素点的纹理规律值，将手掌区域中每个像素点的深度值替换为对应的纹理规律值得到纹理特征图；基于红外热图获取手掌区域的温差图；获取RGB图像的灰度图像，基于手掌区域在灰度图像中的灰度值获取反光性图；获取标准手部ROI区域的手指区域的纹理特征图、温差图和反光性图；
将任意一个标准手部ROI区域的手掌区域以及手指区域的纹理特征图、温差图和反光性图输入神经网络中，得到对应标准手部ROI区域对应的手套类型，基于手套类型进行危险行为预警；
所述根据红外热图中手部ROI区域的温度值变化对手部ROI区域进行旋转，得到标准方向下的标准手部ROI区域的方法，包括：
连接红外热图中的手肘关键点和手部关键点得到第一直线，第一直线的方向是手肘关键点指向手部关键点；获取手部ROI区域的最小外接圆，获取第一直线与最小外接圆的交点作为手腕关键点；
基于第一直线的方向，以手腕关键点为起点，获取起点的延长线与最小外接圆相交时对应的第二直线，基于设定的旋转角度分别获取第二直线在顺时针旋转和逆时针旋转下的N条直线；N为正整数；
对于第二直线和任意一条直线，获取直线在手部ROI区域中对应像素点的最大温度值和最小温度值，将最大温度值和最小温度值之间的差值作为对应直线的温度幅值；分别以直线上的任意一个像素点为起点，沿着第二条直线的方向做第三直线，计算第三直线在手部ROI区域中对应的所有像素点的温度值方差，将直线上每个像素点对应的温度值方差的平均值作为对应直线的温度差异值；
对于第二直线以及任意一条直线的温度幅值和温度差异值，以温度差异值为分母、温度幅值为分子得到对应的比值，获取最大比值所对应的直线，在该直线上以手腕关键点为起始点得到该直线的方向向量，将手部ROI区域旋转至方向向量为竖直向下，进而得到标准方向下的标准手部ROI区域，标准方向是指手垂直向下对应的方向。
2.如权利要求1所述的基于监控视频的施工现场危险行为识别方法，其特征在于，所述根据手部ROI区域的灰度变化分别得到最优时刻下的手部ROI区域的方法，包括：
获取每个时刻下RGB图像的灰度图像，根据灰度图像中手部ROI区域内每个像素点的灰度值，计算灰度值方差作为对应时刻下手部ROI区域的灰度变化程度；
获取每个时刻下右手的手部ROI区域的灰度变化程度，选取灰度变化程度最大所对应时刻的手部ROI区域作为右手的最优时刻下的手部ROI区域；
获取每个时刻下左手的手部ROI区域的灰度变化程度，选取灰度变化程度最大所对应时刻的手部ROI区域作为左手的最优时刻下的手部ROI区域。
3.如权利要求1所述的基于监控视频的施工现场危险行为识别方法，其特征在于，所述将标准手部ROI区域划分为手掌区域和手指区域的方法，包括：
统计设定数量人员的身高和手掌长度，以身高为横坐标、手掌长度为纵坐标进行直线拟合，将直线拟合的直线斜率作为身高和手掌长度之间的相关比例值；
对最优时刻下RGB图像进行人体关键点检测，得到一个头部关键点和两个足部关键点的纵坐标，计算两个足部关键点的纵坐标之间的平均坐标，将头部关键点的纵坐标减去平均坐标得到人员的预计身高，将预计身高和相关比例值的乘积作为该人员的预估手掌长度；
基于最大比值所对应的直线在深度图像中每个像素点的深度值，计算该直线的两端点的深度差值；对预估手掌长度和深度差值使用勾股定理得到手掌区域长度；在标准手部ROI区域中从上到小的长度为手掌区域长度的位置作一条水平线，水平线的上面为手掌区域，水平线的下方为手指区域。
4.如权利要求1所述的基于监控视频的施工现场危险行为识别方法，其特征在于，所述基于红外热图获取手掌区域的温差图的方法，包括：
根据红外热图中每个像素点的温度值，分别计算手掌区域的第一平均温度值和手指区域的第二平均温度值，利用第一平均温度值和第二平均温度值之间的差值绝对值替换手掌区域中每个像素点的温度值，得到手掌区域的温差图。
5.如权利要求1所述的基于监控视频的施工现场危险行为识别方法，其特征在于，所述基于手掌区域在灰度图像中的灰度值获取反光性图的方法，包括：
利用sobel算子获取手掌区域的边缘像素点，将灰度值大于或等于灰度值阈值的边缘像素点的灰度值设定为1，灰度值小于灰度值阈值以及非边缘像素点的灰度值设定为0，得到二值图像，将二值图像作为反光性图。
6.如权利要求1所述的基于监控视频的施工现场危险行为识别方法，其特征在于，所述获取标准手部ROI区域的手指区域的纹理特征图、温差图和反光性图的方法，包括：
基于深度图像获取手指区域中每个像素点的第二圆形邻域的灰度共生矩阵，将灰度共生矩阵的熵值和能量相加的结果的倒数作为对应像素点的纹理规律值，将手指区域中每个像素点的深度值替换为对应的纹理规律值得到纹理特征图；基于红外热图获取手指区域的温差图；获取RGB图像的灰度图像，基于手指区域在灰度图像中的灰度值获取反光性图。
7.如权利要求6所述的基于监控视频的施工现场危险行为识别方法，其特征在于，所述基于红外热图获取手指区域的温差图的方法，包括：
根据红外热图中每个像素点的温度值，分别计算手掌区域的第一平均温度值和手指区域的第二平均温度值，利用第一平均温度值和第二平均温度值之间的差值绝对值替换手指区域中每个像素点的温度值，得到手指区域的温差图。
8.如权利要求6所述的基于监控视频的施工现场危险行为识别方法，其特征在于，所述基于手指区域在灰度图像中的灰度值获取反光性图的方法，包括：
利用sobel算子获取手指区域的边缘像素点，将灰度值大于或等于灰度值阈值的边缘像素点的灰度值设定为1，灰度值小于灰度值阈值以及非边缘像素点的灰度值设定为0，得到二值图像，将二值图像作为反光性图。
9.如权利要求1所述的基于监控视频的施工现场危险行为识别方法，其特征在于，所述手套类型包括：绝缘手套、不绝缘的劳保手套以及未戴手套。
CN202211330707.XA 2022-10-28 2022-10-28 基于监控视频的施工现场危险行为识别方法 Active CN115471874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211330707.XA CN115471874B (zh) 2022-10-28 2022-10-28 基于监控视频的施工现场危险行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211330707.XA CN115471874B (zh) 2022-10-28 2022-10-28 基于监控视频的施工现场危险行为识别方法

Publications (2)

Publication Number Publication Date
CN115471874A CN115471874A (zh) 2022-12-13
CN115471874B true CN115471874B (zh) 2023-02-07

Family

ID=84337315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211330707.XA Active CN115471874B (zh) 2022-10-28 2022-10-28 基于监控视频的施工现场危险行为识别方法

Country Status (1)

Country Link
CN (1) CN115471874B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830719B (zh) * 2023-02-16 2023-04-28 青岛旭华建设集团有限公司 基于图像处理的建筑工地危险行为识别方法
CN116912756B (zh) * 2023-04-14 2024-04-09 广东墨点鹰智能科技有限公司 一种临边防护安全提醒识别方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017113736A1 (zh) * 2015-12-27 2017-07-06 乐视控股（北京）有限公司 手指与手腕的区分方法及其装置
CN109242773A (zh) * 2018-08-29 2019-01-18 杭州体光医学科技有限公司 一种热红外图像的拼接方法及部位划分方法
CN109272513A (zh) * 2018-09-30 2019-01-25 清华大学 基于深度相机的手与物体交互分割方法及装置
CN111507317A (zh) * 2020-06-30 2020-08-07 之江实验室 一种基于视觉的旋转设备作业手套佩戴检测方法及系统
CN111783741A (zh) * 2020-07-30 2020-10-16 国网江苏省电力有限公司南通供电分公司 关键要素定位的绝缘手套使用识别方法及专用识别装置、电子设备
WO2021103648A1 (zh) * 2019-11-29 2021-06-03 百果园技术(新加坡)有限公司 手部关键点检测方法、手势识别方法及相关装置
CN113052043A (zh) * 2021-03-17 2021-06-29 深圳荆虹科技有限公司 一种降低误检率的手部检测方法及装置
CN113052898A (zh) * 2021-04-08 2021-06-29 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN113989711A (zh) * 2021-10-27 2022-01-28 广东电网有限责任公司江门供电局 一种配电施工安全工器具使用识别方法及系统
CN114022845A (zh) * 2021-11-09 2022-02-08 国网河南省电力公司周口供电公司 电工绝缘手套实时检测方法、计算机可读介质
CN114187542A (zh) * 2021-11-29 2022-03-15 国网福建省电力有限公司建设分公司 一种电力场景下的绝缘手套检测方法及系统
CN114359792A (zh) * 2021-12-16 2022-04-15 广东电网有限责任公司广州供电局 基于深度学习的电力作业现场绝缘手套识别方法和装置
CN114494106A (zh) * 2021-11-04 2022-05-13 西安工业大学 一种基于深度学习多特征融合的口腔粘膜性疾病识别方法
CN114758363A (zh) * 2022-06-16 2022-07-15 四川金信石信息技术有限公司 一种基于深度学习的绝缘手套佩戴检测方法和系统
CN114882442A (zh) * 2022-05-31 2022-08-09 广州信诚信息科技有限公司 一种基于电力作业现场的人员装备态势识别方法
CN114973310A (zh) * 2022-04-06 2022-08-30 国网智慧能源交通技术创新中心(苏州)有限公司 一种基于红外热成像的被动人体定位方法及系统
CN115049875A (zh) * 2022-06-13 2022-09-13 中国科学院沈阳自动化研究所 一种基于深度学习的变电站中佩戴绝缘手套的检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9911361B2 (en) * 2013-03-10 2018-03-06 OrCam Technologies, Ltd. Apparatus and method for analyzing images
RU2750419C1 (ru) * 2020-10-23 2021-06-28 ООО "Ай Ти Ви групп" Система и способ идентификации экипировки на человеке
CN113255509A (zh) * 2021-05-20 2021-08-13 福州大学 一种基于Yolov3和OpenPose的工地危险行为监控方法
CN114821764A (zh) * 2022-01-25 2022-07-29 哈尔滨工程大学 一种基于kcf追踪检测的手势图像识别方法及系统
CN114842560B (zh) * 2022-07-04 2022-09-20 广东瑞恩科技有限公司 基于计算机视觉的建筑工地人员危险行为识别方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017113736A1 (zh) * 2015-12-27 2017-07-06 乐视控股（北京）有限公司 手指与手腕的区分方法及其装置
CN109242773A (zh) * 2018-08-29 2019-01-18 杭州体光医学科技有限公司 一种热红外图像的拼接方法及部位划分方法
CN109272513A (zh) * 2018-09-30 2019-01-25 清华大学 基于深度相机的手与物体交互分割方法及装置
WO2021103648A1 (zh) * 2019-11-29 2021-06-03 百果园技术(新加坡)有限公司 手部关键点检测方法、手势识别方法及相关装置
CN111507317A (zh) * 2020-06-30 2020-08-07 之江实验室 一种基于视觉的旋转设备作业手套佩戴检测方法及系统
CN111783741A (zh) * 2020-07-30 2020-10-16 国网江苏省电力有限公司南通供电分公司 关键要素定位的绝缘手套使用识别方法及专用识别装置、电子设备
CN113052043A (zh) * 2021-03-17 2021-06-29 深圳荆虹科技有限公司 一种降低误检率的手部检测方法及装置
CN113052898A (zh) * 2021-04-08 2021-06-29 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN113989711A (zh) * 2021-10-27 2022-01-28 广东电网有限责任公司江门供电局 一种配电施工安全工器具使用识别方法及系统
CN114494106A (zh) * 2021-11-04 2022-05-13 西安工业大学 一种基于深度学习多特征融合的口腔粘膜性疾病识别方法
CN114022845A (zh) * 2021-11-09 2022-02-08 国网河南省电力公司周口供电公司 电工绝缘手套实时检测方法、计算机可读介质
CN114187542A (zh) * 2021-11-29 2022-03-15 国网福建省电力有限公司建设分公司 一种电力场景下的绝缘手套检测方法及系统
CN114359792A (zh) * 2021-12-16 2022-04-15 广东电网有限责任公司广州供电局 基于深度学习的电力作业现场绝缘手套识别方法和装置
CN114973310A (zh) * 2022-04-06 2022-08-30 国网智慧能源交通技术创新中心(苏州)有限公司 一种基于红外热成像的被动人体定位方法及系统
CN114882442A (zh) * 2022-05-31 2022-08-09 广州信诚信息科技有限公司 一种基于电力作业现场的人员装备态势识别方法
CN115049875A (zh) * 2022-06-13 2022-09-13 中国科学院沈阳自动化研究所 一种基于深度学习的变电站中佩戴绝缘手套的检测方法
CN114758363A (zh) * 2022-06-16 2022-07-15 四川金信石信息技术有限公司 一种基于深度学习的绝缘手套佩戴检测方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A pattern recognition model for static gestures in malaysian sign language based on machine learning techniques;Ali.H.Alrubayi等;《Computers and Electrical Engineering》;20211031;第95卷 *
Vision-based hand gesture recognition using deep learning for the interpretation of sign language;Sakshi Sharma等;《Expert Systems with Applications》;20211115;第182卷 *
基于YOLOv3的人脸佩戴口罩检测改进算法;荣誉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220215;第2022年卷(第2期);I138-957 *
面向绝缘手套佩戴状况检测的小目标检测与匹配算法;郑海洋等;《小型微型计算机系统》;20220811;1-11 *

Also Published As

Publication number Publication date
CN115471874A (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN115471874B (zh) 基于监控视频的施工现场危险行为识别方法
JP3863809B2 (ja) 手の画像認識による入力システム
CN107038424B (zh) 一种手势识别方法
CN102402680B (zh) 人机交互系统中手部、指示点定位方法和手势确定方法
US9111135B2 (en) Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
CN101657825B (zh) 根据深度图对人形进行建模
CN103996019B (zh) 用于检测和跟踪一个物体上多个部位的系统和方法
US9117138B2 (en) Method and apparatus for object positioning by using depth images
Abe et al. Virtual 3-D interface system via hand motion recognition from two cameras
JP6066093B2 (ja) 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム
She et al. A real-time hand gesture recognition approach based on motion features of feature points
Chaudhary et al. A vision based geometrical method to find fingers positions in real time hand gesture recognition.
CN103426000B (zh) 一种静态手势指尖检测方法
Vishwakarma et al. Simple and intelligent system to recognize the expression of speech-disabled person
Vishwakarma et al. Hand gesture recognition in low-intensity environment using depth images
Jaemin et al. A robust gesture recognition based on depth data
Tang et al. Hand tracking and pose recognition via depth and color information
Chen et al. Depth-based hand gesture recognition using hand movements and defects
Qin et al. Real-time markerless hand gesture recognition with depth camera
CN108197540A (zh) 一种基于surf的火灾图像特征提取与识别方法
KR101614798B1 (ko) 컬러 이미지 분석을 이용한 비접촉 멀티 터치 인식 방법 및 시스템
JP6992900B2 (ja) 情報処理装置、制御方法、及びプログラム
Chonbodeechalermroong et al. Dynamic contour matching for hand gesture recognition from monocular image
Chaudhary et al. ABHIVYAKTI: A vision based intelligent system for elder and sick persons
JP2022019988A (ja) 情報処理装置、ディスプレイ装置、及び制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method for Identifying Dangerous Behaviors at Construction Sites Based on Surveillance Video

Effective date of registration: 20230816

Granted publication date: 20230207

Pledgee: China Postal Savings Bank Co.,Ltd. Jining Rencheng District sub branch

Pledgor: Shandong xinzhongtong Information Technology Co.,Ltd.

Registration number: Y2023980052399