CN116311082A - 基于关键部位与图像匹配的穿戴检测方法及系统 - Google Patents

基于关键部位与图像匹配的穿戴检测方法及系统 Download PDF

Info

Publication number
CN116311082A
CN116311082A CN202310539054.4A CN202310539054A CN116311082A CN 116311082 A CN116311082 A CN 116311082A CN 202310539054 A CN202310539054 A CN 202310539054A CN 116311082 A CN116311082 A CN 116311082A
Authority
CN
China
Prior art keywords
image
matching
feature
points
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310539054.4A
Other languages
English (en)
Other versions
CN116311082B (zh
Inventor
吴悦园
林丽霞
李华轩
陈浩
李杏
康钱江
庄凤彩
陈晓儒
陈智豪
王斌
陈江
陈婷
吴瑜
冯文秋
周君贤
赵浩远
王正哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhanjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Zhanjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhanjiang Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Zhanjiang Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202310539054.4A priority Critical patent/CN116311082B/zh
Publication of CN116311082A publication Critical patent/CN116311082A/zh
Application granted granted Critical
Publication of CN116311082B publication Critical patent/CN116311082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于关键部位与图像匹配的穿戴检测方法及系统，其方法通过采用YOLOv7网络架构为YOLO‑KP检测模型的骨干网络，并在YOLOv7网络的颈部网络和头部网络均加入微小目标检测通道，对YOLO‑KP检测模型进行训练，利用训练好的YOLO‑KP检测模型对目标图像提取电力作业人员关键部位子图像，基于BEBLID二进制描述子改进的SURF算法提取电力作业人员关键部位子图像中的多个目标特征点，对多个目标特征点分别与预设匹配模板图像中的关键部位特征点进行预匹配，采用RANSAC算法对特征匹配点进行筛选，提高了穿戴检测准确性。

Description

基于关键部位与图像匹配的穿戴检测方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于关键部位与图像匹配的穿戴检测方法及系统。
背景技术
变电站在电力系统中起着电压转换、功率集中和配电的关键作用，随着电力系统规模的不断扩大，大型变电站数量不断增加，变电站的安全稳定运行对电力输送至关重要。在智能电力系统的发展过程中，变电站的自动维护引起了人们的广泛关注，适当监控工作现场的人员安全防护装备穿戴情况是减少工作场所事故和工伤的关键问题之一。由于缺乏足够的重视和安全意识，变电站电力工作人员在实际现场中极易违反操作规程，导致电力系统区域停电甚至人身事故。最常违反人员安全防护装备穿戴要求的情况包括：不戴安全帽、不戴绝缘手套、不穿绝缘靴、不穿工作服、穿越安全屏障等。因此，有必要通过视频监控系统实时强制监控个人安全防护装备穿戴是否规范。
然而，若单纯只通过安全员查看监控视频的方式去监控人员是否规范穿戴安全防护装备，必然存在效率低、漏判、误判、疲劳、消极怠工等问题。随着人工智能中计算机视觉相关技术的成熟发展与广泛应用，基于可见光图像或视频检测出目标物体已经愈发成熟，所以通过计算机视觉中目标检测的方法来检测变电站工作人员及其个人安全防护装备穿戴情况，能够有助于安全员对电力作业人员的监控，有效预防人身事故发生率，降低电力系统跳闸率。
公开号为CN115424063A的中国发明专利申请公开了一种基于YOLO-MobileNet的电力作业现场安全防护装备穿戴状态检测方法，包括步骤：构建数据集并对其中图像进行标注；构建基于YOLO-MobileNet的安全防护装备穿戴状态检测网络；网络模型训练和测试。该发明对构成MobileNetv2的瓶颈模块进行改进，利用改进的瓶颈模块和原瓶颈模块构建了改进的MobileNetv2特征提取网络，并用该特征提取网络代替YOLOv4的主干特征提取网络CSPDarkNet53，同时将YOLOv4部分标准卷积网络替换成深度可分离卷积网络，安全帽检测精度由原来的97.5％减低到95.0％，而检测速度却由原来的22帧/秒提高到65帧/秒，完全能够满足实时检测的要求。
公开号为CN114067268A的中国发明专利申请公开了一种电力作业现场安全帽检测及身份识别方法及装置，包括以下步骤：步骤一、获取电力作业现场的待识别图像；步骤二、将所述待识别图像输入目标检测网络，获取所述目标检测网络输出的安全帽佩戴状态检测结果；步骤三、根据所述安全帽佩戴状态检测结果确定所述待识别图像中目标区域的人员身份；该发明能通过识别电力作业现场工作人员安全帽种类，进而判识别工作人员身份，辅助管理人员管理，防止外来人员对电力作业现场造成重大经济损失，保证人员生命安全。
公开号为CN113536842A的中国发明专利申请公开了一种电力作业人员安全着装识别方法及装置，所述方法包括：采集电力作业人员着装图像；将所述电力作业人员着装图像输入至预置的着装识别模型中进行人员头部和身体的检测以及安全帽分类识别和工装分类识别，获得安全帽识别结果和工装识别结果。该发明实施例提供的电力作业人员安全着装识别方法及装置，采用轻量级网络MobileNet作为基础特征提取网络，结合优化的SSD目标检测算法，对人员头部与身体部位初步判定，然后将网络不同层次特征、不同尺度拼接特征应用于不同分类识别任务，降低计算量同时，提升对安全着装分类识别性能。
通过研究发明，上述技术由于电力作业现场监控视频角度固定，电力人员行动、操作等过程中必然存在遮挡、远距的问题，这将使得检测范围存在盲区，同时，由于在实际工程应用中，也会因为复杂的天气与背景导致出现大量的误判与漏判，从而导致穿戴检测准确性较低。
发明内容
本发明提供了一种基于关键部位与图像匹配的穿戴检测方法及系统，解决了由于电力作业现场监控视频角度固定，电力人员行动、操作等过程中必然存在遮挡、远距的问题，这将使得检测范围存在盲区，同时，由于在实际工程应用中，也会因为复杂的天气与背景导致出现大量的误判与漏判，从而导致穿戴检测准确性较低的技术问题。
有鉴于此，本发明第一方面提供了一种基于关键部位与图像匹配的穿戴检测方法，包括以下步骤：
利用变电站电力作业人员历史图像数据，构建图像数据集，对所述图像数据集中的每个历史图像中的人员关键部位进行标注，得到标注图像数据集；
构建YOLO-KP检测模型，所述YOLO-KP检测模型采用YOLOv7网络架构为骨干网络，在YOLOv7网络的颈部网络和头部网络均加入微小目标检测通道，采用所述标注图像数据集对所述YOLO-KP检测模型进行训练，得到训练好的YOLO-KP检测模型；
利用训练好的YOLO-KP检测模型对目标图像提取电力作业人员关键部位子图像；
基于BEBLID二进制描述子改进的SURF算法提取所述电力作业人员关键部位子图像中的多个目标特征点；
采用快速最近邻逼近搜索函数库对多个所述目标特征点分别与预设匹配模板图像中的关键部位特征点进行预匹配，得到特征匹配点；
采用RANSAC算法对特征匹配点进行筛选，得到最佳关键部位匹配结果，利用所述最佳关键部位匹配结果检测电力作业人员的穿戴情况。
优选地，利用变电站电力作业人员历史图像数据，构建图像数据集，对所述图像数据集中的每个历史图像中的人员关键部位进行标注，得到标注图像数据集的步骤，具体包括：
利用变电站电力作业人员历史图像数据，构建图像数据集，其中，每个历史图像数据包含作业人员以及其穿戴的多种安全防护装备；
采用LabelImg标签工具对每个历史图像数据中的作业人员的位置进行标注，并对作业人员的各个关键部位以及其穿戴情况进行标注，所述关键部位包括手部、脚部、头部和胸部。
优选地，所述YOLOv7网络架构的颈部网络中集成了一个坐标注意模块，用于将输入的特征图分别编码，输出成对的方向感知和位置敏感注意图，获得增强特征图；所述YOLOv7网络架构包含递归门控卷积模块，递归门控卷积模块的操作表示为：
Figure SMS_1
；
式中，f为深度卷积层，p 1为相邻特征元素积，
Figure SMS_2
和/>
Figure SMS_3
分别为线性投影的输入、输出操作，y为递归门控卷积模块的输出，R为空间，H为特征图像的高，W为特征图像的宽，C为特征图像的通道数，p 0为输入特征，q 0为相邻特征；
输入特征与其相邻特征之间的一阶相互作用表示为：
Figure SMS_4
；
式中，i为中心特征坐标，j为相邻特征坐标，c表示输入特征图的第c个通道，Ωi为当前以i为中心坐标的局部窗口，w为深度卷积层f 的权值。
优选地，BEBLID二进制描述子改进的SURF算法的特征提取函数为：
Figure SMS_5
；
式中，I(q)表示历史图像中的人员关键部位图像中像素点q的灰度值，I(r)表示历史图像中的人员关键部位图像中像素点r的灰度值，p1、p2均为特征点，R(p1,s)表示中心位于特征点p1的大小为s的方形区域，R(p2,s)表示中心位于特征点p2的大小为s的方形区域，f(x0)为R(p1,s)与R(p2,s)像素点平均灰度值的差异值。
优选地，采用RANSAC算法对特征匹配点进行筛选，得到最佳关键部位匹配结果，利用所述最佳关键部位匹配结果检测电力作业人员的穿戴情况的步骤具体包括：
对预匹配获得的电力作业人员关键部位子图像中随机采样多个拟合点，对多个拟合点进行线性拟合，得到拟合模型；
计算电力作业人员关键部位子图像中其它采样点到拟合模型的距离，筛选出其它采样点到所述拟合模型的距离小于预设的距离阈值的其它采样点进行保留并统计，得到保留的采样点集以及其数量；
在保留的采样点集中随机采样多个拟合点，并进行线性拟合，得到新的拟合模型，重复上一步骤，直至迭代预设次数后，筛选出最多采样点数量的保留的采样点集对应的拟合模型为最优拟合模型；
计算每个特征匹配点到所述最优拟合模型的距离，将大于预设的距离阈值的特征匹配点进行剔除，得到最佳特征匹配点为最佳关键部位匹配结果；
利用所述最佳关键部位匹配结果检测电力作业人员的穿戴情况。
第二方面，本发明还提供了一种基于关键部位与图像匹配的穿戴检测系统，包括：
图像标注模块，用于利用变电站电力作业人员历史图像数据，构建图像数据集，对所述图像数据集中的每个历史图像中的人员关键部位进行标注，得到标注图像数据集；
模型构建模块，用于构建YOLO-KP检测模型，所述YOLO-KP检测模型采用YOLOv7网络架构为骨干网络，在YOLOv7网络的颈部网络和头部网络均加入微小目标检测通道，采用所述标注图像数据集对所述YOLO-KP检测模型进行训练，得到训练好的YOLO-KP检测模型；
训练模块，用于利用训练好的YOLO-KP检测模型对目标图像提取电力作业人员关键部位子图像；
特征提取模块，用于基于BEBLID二进制描述子改进的SURF算法提取所述电力作业人员关键部位子图像中的多个目标特征点；
预匹配模块，用于采用快速最近邻逼近搜索函数库对多个所述目标特征点分别与预设匹配模板图像中的关键部位特征点进行预匹配，得到特征匹配点；
穿戴检测模块，用于采用RANSAC算法对特征匹配点进行筛选，得到最佳关键部位匹配结果，利用所述最佳关键部位匹配结果检测电力作业人员的穿戴情况。
优选地，所述图像标注模块具体包括：
数据集构建模块，用于利用变电站电力作业人员历史图像数据，构建图像数据集，其中，每个历史图像数据包含作业人员以及其穿戴的多种安全防护装备；
标签模块，用于采用LabelImg标签工具对每个历史图像数据中的作业人员的位置进行标注，并对作业人员的各个关键部位以及其穿戴情况进行标注，所述关键部位包括手部、脚部、头部和胸部。
优选地，所述YOLOv7网络架构的颈部网络中集成了一个坐标注意模块，用于将输入的特征图分别编码，输出成对的方向感知和位置敏感注意图，获得增强特征图；所述YOLOv7网络架构包含递归门控卷积模块，递归门控卷积模块的操作表示为：
Figure SMS_6
；
式中，f为深度卷积层，p 1为相邻特征元素积，
Figure SMS_7
和/>
Figure SMS_8
分别为线性投影的输入、输出操作，y为递归门控卷积模块的输出，R为空间，H为特征图像的高，W为特征图像的宽，C为特征图像的通道数，p 0为输入特征，q 0为相邻特征；
输入特征与其相邻特征之间的一阶相互作用表示为：
Figure SMS_9
；
式中，i为中心特征坐标，j为相邻特征坐标，c表示输入特征图的第c个通道，Ωi为当前以i为中心坐标的局部窗口，w为深度卷积层f 的权值。
优选地，BEBLID二进制描述子改进的SURF算法的特征提取函数为：
Figure SMS_10
；
式中，I(q)表示历史图像中的人员关键部位图像中像素点q的灰度值，I(r)表示历史图像中的人员关键部位图像中像素点r的灰度值，p1、p2均为特征点，R(p1,s)表示中心位于特征点p1的大小为s的方形区域，R(p2,s)表示中心位于特征点p2的大小为s的方形区域，f(x0)为R(p1,s)与R(p2,s)像素点平均灰度值的差异值。
优选地，所述穿戴检测模块具体包括：
线性拟合模块，用于对预匹配获得的电力作业人员关键部位子图像中随机采样多个拟合点，对多个拟合点进行线性拟合，得到拟合模型；
采样筛选模块，用于计算电力作业人员关键部位子图像中其它采样点到拟合模型的距离，筛选出其它采样点到所述拟合模型的距离小于预设的距离阈值的其它采样点进行保留并统计，得到保留的采样点集以及其数量；
最优拟合筛选模块，用于在保留的采样点集中随机采样多个拟合点，并进行线性拟合，得到新的拟合模型，筛选出最多采样点数量的保留的采样点集对应的拟合模型为最优拟合模型；
剔除模块，用于计算每个特征匹配点到所述最优拟合模型的距离，将大于预设的距离阈值的特征匹配点进行剔除，得到最佳特征匹配点为最佳关键部位匹配结果；
检测模块，用于利用所述最佳关键部位匹配结果检测电力作业人员的穿戴情况。
从以上技术方案可以看出，本发明具有以下优点：
本发明通过利用变电站电力作业人员历史图像数据，构建图像数据集，对每个历史图像中的人员关键部位进行标注，得到标注图像数据集，采用YOLOv7网络架构为YOLO-KP检测模型的骨干网络，并在YOLOv7网络的颈部网络和头部网络均加入微小目标检测通道，实现对关键部位准确且快速检测，避免了检测范围存在盲区，采用标注图像数据集对YOLO-KP检测模型进行训练，得到训练好的YOLO-KP检测模型，利用训练好的YOLO-KP检测模型对目标图像提取电力作业人员关键部位子图像，基于BEBLID二进制描述子改进的SURF算法提取电力作业人员关键部位子图像中的多个目标特征点，并结合快速最近邻逼近搜索函数库对多个目标特征点分别与预设匹配模板图像中的关键部位特征点进行预匹配，采用RANSAC算法对特征匹配点进行筛选，能够有效减少因复杂的天气与背景导致出现大量的误判与漏判，通过最佳关键部位匹配结果检测电力作业人员的穿戴情况，提高了穿戴检测准确性。
附图说明
图1为本发明实施例提供的一种基于关键部位与图像匹配的穿戴检测方法的流程图；
图2为本发明实施例提供的YOLO-KP检测模型的网络结构示意图；
图3为本发明实施例提供的一种基于关键部位与图像匹配的穿戴检测系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于理解，请参阅图1，本发明提供的一种基于关键部位与图像匹配的穿戴检测方法，包括以下步骤：
101、利用变电站电力作业人员历史图像数据，构建图像数据集，对图像数据集中的每个历史图像中的人员关键部位进行标注，得到标注图像数据集。
在一个示例中，利用变电站电力作业人员历史图像数据，构建图像数据集，其中，每个历史图像数据包含作业人员以及其穿戴的多种安全防护装备。
其中，收集变电站监控视频，并间隔2s提取一帧图像，同时采用相机拍摄电力人员作业图像，从而构建图像数据集，其中，每个历史图像数据包含多种安全防护装备在内，如绝缘手套、绝缘靴、安全帽、工作服。
采用LabelImg标签工具对每个历史图像数据中的作业人员的位置进行标注，并对作业人员的各个关键部位以及其穿戴情况进行标注，关键部位包括手部、脚部、头部和胸部。
其中，标注的标签包括人员、手部、脚部、头部和胸部，对于穿戴情况的标签包括错误穿戴、正确穿戴和未穿戴。
102、构建YOLO-KP检测模型，YOLO-KP检测模型采用YOLOv7网络架构为骨干网络，在YOLOv7网络的颈部网络和头部网络均加入微小目标检测通道，采用标注图像数据集对YOLO-KP检测模型进行训练，得到训练好的YOLO-KP检测模型。
其中，YOLO-KP检测模型的网络结构如图2所示，该架构由三部分组成：骨干（Backbone）、颈部（neck）和头部（head）。YOLO-KP检测模型采用YOLOv7网络架构为骨干网络，采用了递归门控卷积（GnConv）模块替代部分注意力网络（ELAN）模块，实现基于卷积的GnConv模块避免自注意的二次复杂度，在空间交互执行过程中逐步增加通道宽度的设计，在有限复杂度的情况下实现高阶交互。
递归门控卷积（GnConv）模块通过结合递归策略和门控卷积（GConv）实现，其主要是通过线性投影和元素相乘、标准卷积构造，并在体分层和全连通层之间进行空间信息交互。该方法增强了模型的表达能力，对远距离电力人员的准确检测至关重要。如果输入特征为x∈RHW×C，则递归门控卷积模块的操作表示为：
Figure SMS_11
；
式中，f为深度卷积层，p 1为相邻特征元素积，
Figure SMS_12
和/>
Figure SMS_13
分别为线性投影的输入、输出操作，y为递归门控卷积模块的输出，R为空间，H为特征图像的高，W为特征图像的宽，C为特征图像的通道数，p 0为输入特征，q 0为相邻特征；
其中，通过逐元素乘法完成相邻特征之间的信息交互，通过线性投影输出，输入特征与其相邻特征之间的一阶相互作用表示为：
Figure SMS_14
；
式中，i为中心特征坐标，j为相邻特征坐标，c表示输入特征图的第c个通道，Ωi为当前以i为中心坐标的局部窗口，w为深度卷积层f 的权值。每个p 0只与相邻特征q 0交互一次。依次类推，就实现远距离空间与高阶空间之间的信息交互，将目标周围相邻区域内各层次的特征结合起来，从而提取目标特征。
鉴于远距离电力人员在图像中通常是超低像素的，本发明在原始YOLOv7的颈部和头部网络中均加入微小目标检测通道，以提高算法对远距离微小目标的检测性能。其原理就是将骨干网络中的第一个GnConv模块提取的特征作为微小目标检测的原始特征，再通过特征融合网络增强后获得特征图F'，然后利用RepConv卷积模块实现特征处理与通道压缩，从而获得微小目标检测特征图Ftiny，其大小为160×160×30，浅层特征160×160大小的特征图适合微小目标的检测；30解释为3×(4+1+5)，3为微小目标先验框个数（大小为[5,6,8,14,15,11]），4表示用于预测框调整的特征数，1表示用于置信度预测的特征数，5表示用于类别预测的特征数。
此外，YOLOv7网络架构的颈部网络中集成了一个坐标注意模块，用于将输入的特征图分别编码，输出成对的方向感知和位置敏感注意图，获得增强特征图，其计算公式如下：
Figure SMS_15
；
式中，z表示将位置信息保存在生成注意图中的编码操作，(h,i)为在特征图高为h上的第i个元素，(j,w)为在特征图宽为w上的第j个元素；然后利用1×1的卷积对f h 和f w 进行拼接，得到水平方向和垂直方向的增强特征图。
103、利用训练好的YOLO-KP检测模型对目标图像提取电力作业人员关键部位子图像。
其中，目标图像为电力作业人员图像。
104、基于BEBLID二进制描述子改进的SURF算法提取电力作业人员关键部位子图像中的多个目标特征点。
其中，BEBLID二进制描述子改进的SURF算法的特征提取函数为：
Figure SMS_16
；
式中，I(q)表示历史图像中的人员关键部位图像中像素点q的灰度值，I(r)表示历史图像中的人员关键部位图像中像素点r的灰度值，p1、p2均为特征点，R(p1,s)表示中心位于特征点p1的大小为s的方形区域，R(p2,s)表示中心位于特征点p2的大小为s的方形区域，f(x0)为R(p1,s)与R(p2,s)像素点平均灰度值的差异值。
可以理解的是，基于BEBLID描述子的SURF算法减少了内存占用，加速特征点的提取与匹配时间。
105、采用快速最近邻逼近搜索函数库对多个目标特征点分别与预设匹配模板图像中的关键部位特征点进行预匹配，得到特征匹配点；
其中，采用快速最近邻逼近搜索函数库（FLANN）计算两特征点之间的欧式距离，结合事先设置的欧式距离阈值，将两特征点之间的欧式距离大于欧式距离阈值的两特征点为特征匹配点，实现图像预匹配，其中匹配模板图像来源于收集的电力作业人员图像截取的关键部位以及穿戴情况，并进行标注。
106、采用RANSAC算法对特征匹配点进行筛选，得到最佳关键部位匹配结果，利用最佳关键部位匹配结果检测电力作业人员的穿戴情况。
需要说明的是，本发明提供了一种基于关键部位与图像匹配的穿戴检测方法，通过利用变电站电力作业人员历史图像数据，构建图像数据集，对每个历史图像中的人员关键部位进行标注，得到标注图像数据集，采用YOLOv7网络架构为YOLO-KP检测模型的骨干网络，并在YOLOv7网络的颈部网络和头部网络均加入微小目标检测通道，实现对关键部位准确且快速检测，避免了检测范围存在盲区，采用标注图像数据集对YOLO-KP检测模型进行训练，得到训练好的YOLO-KP检测模型，利用训练好的YOLO-KP检测模型对目标图像提取电力作业人员关键部位子图像，基于BEBLID二进制描述子改进的SURF算法提取电力作业人员关键部位子图像中的多个目标特征点，并结合快速最近邻逼近搜索函数库对多个目标特征点分别与预设匹配模板图像中的关键部位特征点进行预匹配，采用RANSAC算法对特征匹配点进行筛选，能够有效减少因复杂的天气与背景导致出现大量的误判与漏判，通过最佳关键部位匹配结果检测电力作业人员的穿戴情况，提高了穿戴检测准确性。
在一个具体实施例中，步骤106具体包括：
1061、对预匹配获得的电力作业人员关键部位子图像中随机采样多个拟合点，对多个拟合点进行线性拟合，得到拟合模型；
1062、计算电力作业人员关键部位子图像中其它采样点到拟合模型的距离，筛选出其它采样点到拟合模型的距离小于预设的距离阈值的其它采样点进行保留并统计，得到保留的采样点集以及其数量；
1063、在保留的采样点集中随机采样多个拟合点，并进行线性拟合，得到新的拟合模型，重复上一步骤1062，直至迭代预设次数后，筛选出最多采样点数量的保留的采样点集对应的拟合模型为最优拟合模型；
1064、计算每个特征匹配点到最优拟合模型的距离，将大于预设的距离阈值的特征匹配点进行剔除，得到最佳特征匹配点为最佳关键部位匹配结果；
1065、利用最佳关键部位匹配结果检测电力作业人员的穿戴情况。
其中，由于在训练过程中，对穿戴情况进行标注，通过对目标图像与匹配模板图像中的关键部位进行匹配，从而对安全防护装备的穿戴情况进行辨识。
通过采用改进YOLOv7算法和本方法分别对测试集进行目标检测，得到测试集检测结果，如表1。
Figure SMS_17
由表1可以看出，本方法所提出的基于关键部位与图像匹配的穿戴检测方法要比改进YOLOv7算法的正确率和正确检测数更高。
以上为本发明提供的一种基于关键部位与图像匹配的穿戴检测方法的实施例的详细描述，以下为本发明提供的一种基于关键部位与图像匹配的穿戴检测系统的实施例的详细描述。
为了便于理解，请参阅图3，本发明提供的一种基于关键部位与图像匹配的穿戴检测系统，包括：
图像标注模块100，用于利用变电站电力作业人员历史图像数据，构建图像数据集，对图像数据集中的每个历史图像中的人员关键部位进行标注，得到标注图像数据集；
模型构建模块200，用于构建YOLO-KP检测模型，YOLO-KP检测模型采用YOLOv7网络架构为骨干网络，在YOLOv7网络的颈部网络和头部网络均加入微小目标检测通道，采用标注图像数据集对YOLO-KP检测模型进行训练，得到训练好的YOLO-KP检测模型；
训练模块300，用于利用训练好的YOLO-KP检测模型对目标图像提取电力作业人员关键部位子图像；
特征提取模块400，用于基于BEBLID二进制描述子改进的SURF算法提取电力作业人员关键部位子图像中的多个目标特征点；
预匹配模块500，用于采用快速最近邻逼近搜索函数库对多个目标特征点分别与预设匹配模板图像中的关键部位特征点进行预匹配，得到特征匹配点；
穿戴检测模块600，用于采用RANSAC算法对特征匹配点进行筛选，得到最佳关键部位匹配结果，利用最佳关键部位匹配结果检测电力作业人员的穿戴情况。
在一个具体实施例中，图像标注模块具体包括：
数据集构建模块，用于利用变电站电力作业人员历史图像数据，构建图像数据集，其中，每个历史图像数据包含作业人员以及其穿戴的多种安全防护装备；
标签模块，用于采用LabelImg标签工具对每个历史图像数据中的作业人员的位置进行标注，并对作业人员的各个关键部位以及其穿戴情况进行标注，关键部位包括手部、脚部、头部和胸部。
在一个具体实施例中，YOLOv7网络架构的颈部网络中集成了一个坐标注意模块，用于将输入的特征图分别编码，输出成对的方向感知和位置敏感注意图，获得增强特征图；YOLOv7网络架构包含递归门控卷积模块，递归门控卷积模块的操作表示为：
Figure SMS_18
；
式中，f为深度卷积层，p 1为相邻特征元素积，
Figure SMS_19
和/>
Figure SMS_20
分别为线性投影的输入、输出操作，y为递归门控卷积模块的输出，R为空间，H为特征图像的高，W为特征图像的宽，C为特征图像的通道数，p 0为输入特征，q 0为相邻特征；
输入特征与其相邻特征之间的一阶相互作用表示为：
Figure SMS_21
；
式中，i为中心特征坐标，j为相邻特征坐标，c表示输入特征图的第c个通道，Ωi为当前以i为中心坐标的局部窗口，w为深度卷积层f 的权值。
在一个具体实施例中，BEBLID二进制描述子改进的SURF算法的特征提取函数为：
Figure SMS_22
；
式中，I(q)表示历史图像中的人员关键部位图像中像素点q的灰度值，I(r)表示历史图像中的人员关键部位图像中像素点r的灰度值，p1、p2均为特征点，R(p1,s)表示中心位于特征点p1的大小为s的方形区域，R(p2,s)表示中心位于特征点p2的大小为s的方形区域，f(x0)为R(p1,s)与R(p2,s)像素点平均灰度值的差异值。
在一个具体实施例中，穿戴检测模块具体包括：
线性拟合模块，用于对预匹配获得的电力作业人员关键部位子图像中随机采样多个拟合点，对多个拟合点进行线性拟合，得到拟合模型；
采样筛选模块，用于计算电力作业人员关键部位子图像中其它采样点到拟合模型的距离，筛选出其它采样点到拟合模型的距离小于预设的距离阈值的其它采样点进行保留并统计，得到保留的采样点集以及其数量；
最优拟合筛选模块，用于在保留的采样点集中随机采样多个拟合点，并进行线性拟合，得到新的拟合模型，筛选出最多采样点数量的保留的采样点集对应的拟合模型为最优拟合模型；
剔除模块，用于计算每个特征匹配点到最优拟合模型的距离，将大于预设的距离阈值的特征匹配点进行剔除，得到最佳特征匹配点为最佳关键部位匹配结果；
检测模块，用于利用最佳关键部位匹配结果检测电力作业人员的穿戴情况。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.基于关键部位与图像匹配的穿戴检测方法，其特征在于，包括以下步骤：
利用变电站电力作业人员历史图像数据，构建图像数据集，对所述图像数据集中的每个历史图像中的人员关键部位进行标注，得到标注图像数据集；
构建YOLO-KP检测模型，所述YOLO-KP检测模型采用YOLOv7网络架构为骨干网络，在YOLOv7网络的颈部网络和头部网络均加入微小目标检测通道，采用所述标注图像数据集对所述YOLO-KP检测模型进行训练，得到训练好的YOLO-KP检测模型；
利用训练好的YOLO-KP检测模型对目标图像提取电力作业人员关键部位子图像；
基于BEBLID二进制描述子改进的SURF算法提取所述电力作业人员关键部位子图像中的多个目标特征点；
采用快速最近邻逼近搜索函数库对多个所述目标特征点分别与预设匹配模板图像中的关键部位特征点进行预匹配，得到特征匹配点；
采用RANSAC算法对特征匹配点进行筛选，得到最佳关键部位匹配结果，利用所述最佳关键部位匹配结果检测电力作业人员的穿戴情况。
2.根据权利要求1所述的基于关键部位与图像匹配的穿戴检测方法，其特征在于，利用变电站电力作业人员历史图像数据，构建图像数据集，对所述图像数据集中的每个历史图像中的人员关键部位进行标注，得到标注图像数据集的步骤，具体包括：
利用变电站电力作业人员历史图像数据，构建图像数据集，其中，每个历史图像数据包含作业人员以及其穿戴的多种安全防护装备；
采用LabelImg标签工具对每个历史图像数据中的作业人员的位置进行标注，并对作业人员的各个关键部位以及其穿戴情况进行标注，所述关键部位包括手部、脚部、头部和胸部。
3.根据权利要求1所述的基于关键部位与图像匹配的穿戴检测方法，其特征在于，所述YOLOv7网络架构的颈部网络中集成了一个坐标注意模块，用于将输入的特征图分别编码，输出成对的方向感知和位置敏感注意图，获得增强特征图；所述YOLOv7网络架构包含递归门控卷积模块，递归门控卷积模块的操作表示为：
Figure QLYQS_1
；
式中，f为深度卷积层，p 1为相邻特征元素积，
Figure QLYQS_2
和/>
Figure QLYQS_3
分别为线性投影的输入、输出操作，y为递归门控卷积模块的输出，R为空间，H为特征图像的高，W为特征图像的宽，C为特征图像的通道数，p 0为输入特征，q 0为相邻特征；
输入特征与其相邻特征之间的一阶相互作用表示为：
Figure QLYQS_4
；
式中，i为中心特征坐标，j为相邻特征坐标，c表示输入特征图的第c个通道，Ωi为当前以i为中心坐标的局部窗口，w为深度卷积层 f 的权值。
4.根据权利要求1所述的基于关键部位与图像匹配的穿戴检测方法，其特征在于，BEBLID二进制描述子改进的SURF算法的特征提取函数为：
Figure QLYQS_5
；
式中，I(q)表示历史图像中的人员关键部位图像中像素点q的灰度值，I(r)表示历史图像中的人员关键部位图像中像素点r的灰度值，p1、p2均为特征点，R(p1,s)表示中心位于特征点p1的大小为s的方形区域，R(p2,s)表示中心位于特征点p2的大小为s的方形区域，f(x0)为R(p1,s)与R(p2,s)像素点平均灰度值的差异值。
5.根据权利要求1所述的基于关键部位与图像匹配的穿戴检测方法，其特征在于，采用RANSAC算法对特征匹配点进行筛选，得到最佳关键部位匹配结果，利用所述最佳关键部位匹配结果检测电力作业人员的穿戴情况的步骤具体包括：
对预匹配获得的电力作业人员关键部位子图像中随机采样多个拟合点，对多个拟合点进行线性拟合，得到拟合模型；
计算电力作业人员关键部位子图像中其它采样点到拟合模型的距离，筛选出其它采样点到所述拟合模型的距离小于预设的距离阈值的其它采样点进行保留并统计，得到保留的采样点集以及其数量；
在保留的采样点集中随机采样多个拟合点，并进行线性拟合，得到新的拟合模型，重复上一步骤，直至迭代预设次数后，筛选出最多采样点数量的保留的采样点集对应的拟合模型为最优拟合模型；
计算每个特征匹配点到所述最优拟合模型的距离，将大于预设的距离阈值的特征匹配点进行剔除，得到最佳特征匹配点为最佳关键部位匹配结果；
利用所述最佳关键部位匹配结果检测电力作业人员的穿戴情况。
6.基于关键部位与图像匹配的穿戴检测系统，其特征在于，包括：
图像标注模块，用于利用变电站电力作业人员历史图像数据，构建图像数据集，对所述图像数据集中的每个历史图像中的人员关键部位进行标注，得到标注图像数据集；
模型构建模块，用于构建YOLO-KP检测模型，所述YOLO-KP检测模型采用YOLOv7网络架构为骨干网络，在YOLOv7网络的颈部网络和头部网络均加入微小目标检测通道，采用所述标注图像数据集对所述YOLO-KP检测模型进行训练，得到训练好的YOLO-KP检测模型；
训练模块，用于利用训练好的YOLO-KP检测模型对目标图像提取电力作业人员关键部位子图像；
特征提取模块，用于基于BEBLID二进制描述子改进的SURF算法提取所述电力作业人员关键部位子图像中的多个目标特征点；
预匹配模块，用于采用快速最近邻逼近搜索函数库对多个所述目标特征点分别与预设匹配模板图像中的关键部位特征点进行预匹配，得到特征匹配点；
穿戴检测模块，用于采用RANSAC算法对特征匹配点进行筛选，得到最佳关键部位匹配结果，利用所述最佳关键部位匹配结果检测电力作业人员的穿戴情况。
7.根据权利要求6所述的基于关键部位与图像匹配的穿戴检测系统，其特征在于，所述图像标注模块具体包括：
数据集构建模块，用于利用变电站电力作业人员历史图像数据，构建图像数据集，其中，每个历史图像数据包含作业人员以及其穿戴的多种安全防护装备；
标签模块，用于采用LabelImg标签工具对每个历史图像数据中的作业人员的位置进行标注，并对作业人员的各个关键部位以及其穿戴情况进行标注，所述关键部位包括手部、脚部、头部和胸部。
8.根据权利要求6所述的基于关键部位与图像匹配的穿戴检测系统，其特征在于，所述YOLOv7网络架构的颈部网络中集成了一个坐标注意模块，用于将输入的特征图分别编码，输出成对的方向感知和位置敏感注意图，获得增强特征图；所述YOLOv7网络架构包含递归门控卷积模块，递归门控卷积模块的操作表示为：
Figure QLYQS_6
；
式中，f为深度卷积层，p 1为相邻特征元素积，
Figure QLYQS_7
和/>
Figure QLYQS_8
分别为线性投影的输入、输出操作，y为递归门控卷积模块的输出，R为空间，H为特征图像的高，W为特征图像的宽，C为特征图像的通道数，p 0为输入特征，q 0为相邻特征；
输入特征与其相邻特征之间的一阶相互作用表示为：
Figure QLYQS_9
；
式中，i为中心特征坐标，j为相邻特征坐标，c表示输入特征图的第c个通道，Ωi为当前以i为中心坐标的局部窗口，w为深度卷积层 f 的权值。
9.根据权利要求6所述的基于关键部位与图像匹配的穿戴检测系统，其特征在于，BEBLID二进制描述子改进的SURF算法的特征提取函数为：
Figure QLYQS_10
；
式中，I(q)表示历史图像中的人员关键部位图像中像素点q的灰度值，I(r)表示历史图像中的人员关键部位图像中像素点r的灰度值，p1、p2均为特征点，R(p1,s)表示中心位于特征点p1的大小为s的方形区域，R(p2,s)表示中心位于特征点p2的大小为s的方形区域，f(x0)为R(p1,s)与R(p2,s)像素点平均灰度值的差异值。
10.根据权利要求6所述的基于关键部位与图像匹配的穿戴检测系统，其特征在于，所述穿戴检测模块具体包括：
线性拟合模块，用于对预匹配获得的电力作业人员关键部位子图像中随机采样多个拟合点，对多个拟合点进行线性拟合，得到拟合模型；
采样筛选模块，用于计算电力作业人员关键部位子图像中其它采样点到拟合模型的距离，筛选出其它采样点到所述拟合模型的距离小于预设的距离阈值的其它采样点进行保留并统计，得到保留的采样点集以及其数量；
最优拟合筛选模块，用于在保留的采样点集中随机采样多个拟合点，并进行线性拟合，得到新的拟合模型，筛选出最多采样点数量的保留的采样点集对应的拟合模型为最优拟合模型；
剔除模块，用于计算每个特征匹配点到所述最优拟合模型的距离，将大于预设的距离阈值的特征匹配点进行剔除，得到最佳特征匹配点为最佳关键部位匹配结果；
检测模块，用于利用所述最佳关键部位匹配结果检测电力作业人员的穿戴情况。
CN202310539054.4A 2023-05-15 2023-05-15 基于关键部位与图像匹配的穿戴检测方法及系统 Active CN116311082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310539054.4A CN116311082B (zh) 2023-05-15 2023-05-15 基于关键部位与图像匹配的穿戴检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310539054.4A CN116311082B (zh) 2023-05-15 2023-05-15 基于关键部位与图像匹配的穿戴检测方法及系统

Publications (2)

Publication Number Publication Date
CN116311082A true CN116311082A (zh) 2023-06-23
CN116311082B CN116311082B (zh) 2023-08-01

Family

ID=86813494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310539054.4A Active CN116311082B (zh) 2023-05-15 2023-05-15 基于关键部位与图像匹配的穿戴检测方法及系统

Country Status (1)

Country Link
CN (1) CN116311082B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116805366A (zh) * 2023-06-27 2023-09-26 淮阴工学院 一种基于改进Yolov7-tiny的轻量化目标检测方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889376A (zh) * 2019-11-28 2020-03-17 创新奇智(南京)科技有限公司 一种基于深度学习的安全帽佩戴检测系统及方法
CN111144263A (zh) * 2019-12-20 2020-05-12 山东大学 一种建筑工人高坠事故预警方法及装置
US20200272813A1 (en) * 2019-02-21 2020-08-27 Tata Consultancy Services Limited Hand detection in first person view
CN113537019A (zh) * 2021-07-07 2021-10-22 智洋创新科技股份有限公司 基于关键点识别变电站人员安全帽佩戴的检测方法
CN113807276A (zh) * 2021-09-23 2021-12-17 江苏信息职业技术学院 基于优化的YOLOv4模型的吸烟行为识别方法
US20220066544A1 (en) * 2020-09-01 2022-03-03 Georgia Tech Research Corporation Method and system for automatic extraction of virtual on-body inertial measurement units
CN115294533A (zh) * 2022-09-30 2022-11-04 南通羿云智联信息科技有限公司 基于数据处理的建筑施工状态监测方法
CN115439743A (zh) * 2022-08-23 2022-12-06 华南理工大学 一种泊车场景下精确提取视觉slam静态特征的方法
WO2022266878A1 (zh) * 2021-06-23 2022-12-29 深圳市大疆创新科技有限公司 景别确定方法、装置及计算机可读存储介质
CN115830396A (zh) * 2022-12-26 2023-03-21 大连大学 一种基于YOLOv7优化的夜间樱桃果实检测方法
CN115937736A (zh) * 2022-11-01 2023-04-07 上海大学 基于注意力和上下文感知的小目标检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200272813A1 (en) * 2019-02-21 2020-08-27 Tata Consultancy Services Limited Hand detection in first person view
CN110889376A (zh) * 2019-11-28 2020-03-17 创新奇智(南京)科技有限公司 一种基于深度学习的安全帽佩戴检测系统及方法
CN111144263A (zh) * 2019-12-20 2020-05-12 山东大学 一种建筑工人高坠事故预警方法及装置
US20220066544A1 (en) * 2020-09-01 2022-03-03 Georgia Tech Research Corporation Method and system for automatic extraction of virtual on-body inertial measurement units
WO2022266878A1 (zh) * 2021-06-23 2022-12-29 深圳市大疆创新科技有限公司 景别确定方法、装置及计算机可读存储介质
CN113537019A (zh) * 2021-07-07 2021-10-22 智洋创新科技股份有限公司 基于关键点识别变电站人员安全帽佩戴的检测方法
CN113807276A (zh) * 2021-09-23 2021-12-17 江苏信息职业技术学院 基于优化的YOLOv4模型的吸烟行为识别方法
CN115439743A (zh) * 2022-08-23 2022-12-06 华南理工大学 一种泊车场景下精确提取视觉slam静态特征的方法
CN115294533A (zh) * 2022-09-30 2022-11-04 南通羿云智联信息科技有限公司 基于数据处理的建筑施工状态监测方法
CN115937736A (zh) * 2022-11-01 2023-04-07 上海大学 基于注意力和上下文感知的小目标检测方法
CN115830396A (zh) * 2022-12-26 2023-03-21 大连大学 一种基于YOLOv7优化的夜间樱桃果实检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUWAN GU ET AL.: "Automatic detection of safety helmet wearing based on head region location", 《IET IMAGE PROCESSING》, vol. 15, pages 2441 - 2453, XP006112479, DOI: 10.1049/ipr2.12231 *
丁田 等: "基于改进YOLOX的安全帽佩戴实时检测", 《电子测量技术》, vol. 45, pages 72 - 78 *
戚玲珑 等: "基于改进 YOLOv7 的小目标检测", 《计算机工程》, vol. 49, pages 41 - 48 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116805366A (zh) * 2023-06-27 2023-09-26 淮阴工学院 一种基于改进Yolov7-tiny的轻量化目标检测方法

Also Published As

Publication number Publication date
CN116311082B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
Huang et al. Detection algorithm of safety helmet wearing based on deep learning
Fang et al. Detecting non-hardhat-use by a deep learning method from far-field surveillance videos
CN111898514B (zh) 一种基于目标检测与动作识别的多目标视觉监管方法
CN110070033B (zh) 一种电力领域危险工作区域内安全帽佩戴状态检测方法
CN102521565B (zh) 低分辨率视频的服装识别方法及系统
CN109242439B (zh) 基于变电站设备相关联数据的特征提取识别方法
CN110425005B (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN113903081B (zh) 一种水电厂图像视觉识别人工智能报警方法及装置
CN113516076B (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
CN102902986A (zh) 自动性别识别系统及方法
CN116311082B (zh) 基于关键部位与图像匹配的穿戴检测方法及系统
CN109344842A (zh) 一种基于语义区域表达的行人重识别方法
CN110569843A (zh) 一种矿井目标智能检测与识别方法
CN113537019B (zh) 基于关键点识别变电站人员安全帽佩戴的检测方法
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
WO2022121498A1 (zh) 身份识别方法、模型训练方法、装置、设备和存储介质
CN115719475B (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN113076825A (zh) 一种变电站工作人员爬高安全监测方法
CN115169673A (zh) 一种智慧校园疫情风险监测与预警系统及方法
CN114037873A (zh) 基于人工智能的变电站二次回路保护压板检测系统及方法
Yuan et al. Real‐time recognition and warning of mask wearing based on improved YOLOv5 R6. 1
CN109509169A (zh) 基于近邻分类的距离度量学习的压板状态检测装置与方法
CN112597902A (zh) 一种基于核电安全的小目标智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant