CN113361369B - 基于训练样本选择的电力现场着装规范检测方法 - Google Patents

基于训练样本选择的电力现场着装规范检测方法 Download PDF

Info

Publication number
CN113361369B
CN113361369B CN202110611253.2A CN202110611253A CN113361369B CN 113361369 B CN113361369 B CN 113361369B CN 202110611253 A CN202110611253 A CN 202110611253A CN 113361369 B CN113361369 B CN 113361369B
Authority
CN
China
Prior art keywords
features
training samples
positive training
iou
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110611253.2A
Other languages
English (en)
Other versions
CN113361369A (zh
Inventor
陈海鹏
罗旺
毛进伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nari Information and Communication Technology Co
Original Assignee
Nari Information and Communication Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nari Information and Communication Technology Co filed Critical Nari Information and Communication Technology Co
Priority to CN202110611253.2A priority Critical patent/CN113361369B/zh
Publication of CN113361369A publication Critical patent/CN113361369A/zh
Application granted granted Critical
Publication of CN113361369B publication Critical patent/CN113361369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于训练样本选择的电力现场着装规范检测方法，利用不同特征等级上的正训练样本对神经网络进行训练，分别将两类正训练样本通过分类损失函数Focal Loss进行分类，通过回归损失函数GIoU Loss进行回归，通过CrossEntropyLoss进行质量评分，得到预测损失函数LM、辅助损失函数LM，最终的训练损失函数L，求取最终的训练损失函数L最小值时的神经网络参数；将电力现场图片输入训练好的神经网络，得到电力现场图片中着装不规范目标标定。本发明弥补了图像特征的信息损失及不同尺度之间特征的语义差距，提高了检测精度，在电力现场安防研究领域具有重要的意义。

Description

基于训练样本选择的电力现场着装规范检测方法
技术领域
本发明涉及一种基于训练样本选择的电力现场着装规范检测方法，属于人工智能领域的目标检测技术领域。
背景技术
电力现场属于高危作业场所，在建设阶段，部分企业为了抢工期，钢管、支架、电缆等设备散布在现场各处，对人员的人身安全有很大威胁，规范着装能降低人员所受到的伤害，然而作业人员对安全防护的懈怠时有发生，据统计，近年来在作业过程中因不正确佩戴安全防护用品而发生的伤亡事故占电力行业各类生产事故的50％以上，目前电力现场作业一般采用人工安全监护的方式，但监护人员和作业人员一样容易受到外界因素影响，注意力可能不集中，无法做到对整个施工现场的安全情况实时监控、全局管控，继而引发安全事故，加强电力现场着装规范检测迫在眉睫。
那么，如何利用图像目标检测技术对于现场人员着装进行自动锁定，是解决电力现场人员着装不规范的主要技术手段。目前，常用的目标检测技术为Yolov3、SSD、FasterR-CNN，然而他们都需要手动设置锚框参数如锚框大小、宽高比，锚框参数设置的大小对模型性能有较大影响，常用的特征提取方法是应用特征金子塔网络进行特征融合，忽视了不同尺度特征的语义差距和最高层特征的信息损失，使得部分特征提取不充分，最终导致检测性能不如人意。
发明内容
目的：为了克服现有技术中存在的不足，本发明提供一种基于训练样本选择的电力现场着装规范检测方法，以解决现有的着装规范检测方法不准确的问题。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
一种基于训练样本选择的电力现场着装规范检测方法，包括如下步骤：
利用P2、P3、P4、P5上的正训练样本、M2、M3、M4、M5上的正训练样本对神经网络进行训练，分别将两类正训练样本通过分类损失函数Focal Loss进行分类，通过回归损失函数GIoU Loss进行回归，通过CrossEntropyLoss进行质量评分，得到预测损失函数LM、辅助损失函数LM，根据预测损失函数LM、辅助损失函数LM得到最终的训练损失函数L，求取最终的训练损失函数L最小值时的神经网络参数。
将电力现场图片输入训练好的神经网络，得到电力现场图片中着装不规范目标标定。
作为优选方案，所述P2、P3、P4、P5上的正训练样本获取方法，包括如下步骤：
对于输入图片的每个真实标注框(GT)，在P2、P3、P4、P5上的特征上的预设锚框，分别计算GT中心点与预设锚框中心点的l2距离，分别从预设锚框中选择最小l2距离m个锚框作为候选正训练样本。
将这m个候选正训练样本与GT分别计算IOU，设置P2、P3、P4、P5的IOU阈值分别为b1、b2、b3、b4，对4个IOU阈值取平均和标准差得到Mb和Vb，最终训练阶段设置的IOU阈值为Mb+Vb。
当候选正训练样本与GT的IOU值大于Mb+Vb并满足候选正训练样本在GT内时，将候选正训练样本视为正训练样本，若一个候选正训练样本对应多个GT，选择一个IOU值最高的GT，将候选正训练样本作为该GT的正训练样本。
作为优选方案，所述M2、M3、M4、M5上的正训练样本获取方法，包括如下步骤：
对于输入图片的每个真实标注框(GT)，在M2、M3、M4、M5上的特征上的预设锚框，分别计算GT中心点与预设锚框中心点的l2距离，分别从预设锚框中选择最小l2距离m个锚框作为候选正训练样本。
将这m个候选正训练样本与GT分别计算IOU，设置M2、M3、M4、M5的IOU阈值分别为b1’、b2’、b3’、b4’，对4个IOU阈值取平均和标准差得到Mb’和Vb’，最终训练阶段设置的IOU阈值为Mb’+Vb’。
当候选正训练样本与GT的IOU值大于Mb’+Vb’并满足候选正样本在GT内时，将候选正训练样本视为正训练样本，若一个候选正训练样本对应多个GT，选择一个IOU值最高的GT，将候选正训练样本作为该GT的正训练样本。
作为优选方案，所述M2、M3、M4、M5上的特征获取方法，包括如下步骤：
采用Resnet50对输入的图片进行特征的提取，得到不同尺度的特征等级C1、C2、C3、C4、C5上的特征，将C2、C3、C4、C5上的特征通过1*1卷积，分别获得M2、M3、M4、M5不同尺度的中间特征等级上的特征。
作为优选方案，所述P2、P3、P4、P5上的特征获取方法，包括如下步骤：
对C5上的特征进行池化和1*1卷积操作，分别得n个不同比率的尺寸特征，每个上下文特征都是256个通道，通过concat和全局平均池化操作，输入权重生成模块，生成对应特征的权重，将n个不同比率的尺寸特征与生成的权重进行相乘然后累加，最后通过双线性差值上采样为S的尺寸，得到特征等级M6，将M6上的特征与M5上的特征concat得到预测特征等级P5上的特征，将P5上的特征与M4上的特征concat得到预测特征等级P4上的特征，将P4上的特征与M3上的特征concat得到预测特征等级P3上的特征，将P3上的特征与M2上的特征concat得到预测特征等级P2上的特征。
作为优选方案，所述输入权重生成模块由concat、1*1卷积，3*3卷积和sigmoid激活函数组成，通过concat将n个输入特征的通道由c变为nc个通道，通过1*1卷积将nc个通道降为c个通道，通过3*3卷积，将通道由c个变为n个通道，最后通过sigmoid激活函数，split为n*(1*h*w)的特征。
作为优选方案，所述最终的训练损失函数L，计算公式如下：
L＝LP+λLM
λ是辅助损失和预测损失间的平衡权重。
所述预测损失函数LP，计算公式如下：
LP＝Lcls,P(C1P,C1 *)+αLloc,P(BP,B*)+Lcenter,P(C2P,C2 *)
其中，Lcls,P，Lloc,P，Lcenter,P分别是Focal Loss，GIoU Loss和CrossEntropyLoss，α是为平衡分类和回归任务设置的权重值，C2 *、B*和C2 *分别是GT分类标签、GT坐标和GT中心点，C1P、BP和C2P分别为P2、P3、P4、P5上正训练样本分类标签、坐标和质量评分。
所述辅助损失函数LM为:
LM＝Lcls,M(C1M,C1 *)+αLloc,M(BM,B*)+Lcenter,M(C2M,C2 *)
其中Lcls,M,Lloc,M,Lcenter,M分别是Focal Loss，GIoU Loss和CrossEntropyLoss，α是为平衡分类和回归任务设置的权重值，C2 *、B*和C2 *分别是GT分类标签、GT坐标和GT中心点，C1M、BM和C2M分别为M2、M3、M4、M5上正训练样本分类标签、坐标和质量评分。
作为优选方案，所述α设置为2。
作为优选方案，所述m设置为9。
作为优选方案，分类标签为人员着装，人员着装包括：带安全帽、不带安全帽、穿长袖、穿短袖、穿长裤、穿红马甲、打伞。
作为优选方案，当GT的大多数候选训练正样本是低质量时，将Mb、Mb′值对应的IOU阈值调大。
当各个特征等级都能检测到候选训练正样本，将Vb、Vb′值对应的IOU阈值调小。
有益效果：本发明提供的一种基于训练样本选择的电力现场着装规范检测方法，通过mosaic数据增强、自适应训练样本选择策略及残差特征增强模块，使得该算法的算法准确度高于现有两种常规方法，FPS是三种方法中最高的，能够弥补了图像特征的信息损失及不同尺度之间特征的语义差距，准确区分背景与目标。
本发明有效区分目标与背景，弥补了图像特征的信息损失及不同尺度之间特征的语义差距，提高了检测精度，在电力现场安防研究领域具有重要的意义。
附图说明
图1为本发明方法的神经网络结构示意图。
图2为电力现场着装示意图。
图3为电力现场着装图片进行样本处理前后对比图。
图4为特征提取示意图。
图5为残差特征增强示意图。
图6为Mb、Vb值偏小情况下，P2、P3、P4、P5特征等级的IOU阈值。
图7为Mb、Vb值偏大情况下，P2、P3、P4、P5特征等级的IOU阈值。
图8为ATSS目标识别的实验效果图。
图9为本方法目标识别的的实验效果图。
图10为Faster R-CNN目标识别的实验效果图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
本发明涉及一种基于训练样本选择的电力现场着装规范检测方法，用于电力现场检测着装规范，如图1所示，包括如下步骤。
1.样本处理：
每次读取四张图片，并对这四张图片分别进行单样本增强(如裁减、缩放、色域变化)，将得到的四张图片按照左上、左下、右上、右下四个方向分别摆放，拼凑成新的图片，最后，为节省图片标注时间，将这四张图片的标注的分类标签文件进行组合，生成对应的分类标签。分类标签的内容为人员着装，人员着装包括：带安全帽、不带安全帽、穿长袖、穿短袖、穿长裤、穿红马甲、打伞等。
在具体实施例中，从图2中可以看出，检测目标在摄像头下显得较小，从摄像头获得的图中检测目标面积较小，且集中在一特定区域，背景占据了大幅图像空间，人员着装目标及背景样本数量的不平衡使得检测模型容易产生漏检，人员穿短袖的比穿长袖的多，带安全帽的比不带安全帽的多，人员着装类别间样本数量不平衡，影响着检测模型识别的性能，通过样本处理方法，进行数据增强，如图3，每次选取四张图片，并对着四张图片分别进行裁减、缩放、色域变化，将得到的图片按照四个方向分别摆放，合成新的图片，缓解目标及背景样本数量的不平衡，缓解着装类别间样本数量的不平衡。
2.特征提取：
采用Resnet50对输入的图片进行特征的提取，得到不同尺度的特征等级C1、C2、C3、C4、C5上的特征，残差特征增强模块主要为：将C2、C3、C4、C5上的特征通过1*1卷积，分别获得M2、M3、M4、M5不同尺度的中间特征等级上的特征，对C5上的特征进行池化和1*1卷积操作，分别得n个不同比率的尺寸特征，每个上下文特征都是256个通道，通过concat和全局平均池化(Global Mean Pooling，GMP)操作，输入权重生成模块，生成对应特征的权重，将n个不同比率的尺寸特征与生成的权重进行相乘然后累加，最后通过双线性差值上采样为S的尺寸，得到特征等级M6，将M6上的特征与M5上的特征concat得到预测特征等级P5上的特征，将P5上的特征与M4上的特征concat得到预测特征等级P4上的特征，将P4上的特征与M3上的特征concat得到预测特征等级P3上的特征，将P3上的特征与M2上的特征concat得到预测特征等级P2上的特征。
在具体实施例中，如图2所示，电力现场背景复杂，包含杆塔、线路、绝缘子等伪目标，人员衣服与绝缘子颜色较为相近，标识牌背面和杆塔颜色较为相近，检测模型容易产生误检，需要对C1、C2、C3、C4、C5上的特征进一步提取特征，如图4和图5，本特征提取方法，主要对Resnet50提取的特征进行改进，应用残差特征增强模块，高层语义信息对低层特征进行增强，弥补C5特征降采样导致的信息损失，弥补了M5上的特征减少特征通道而导致的信息损失，使得模型特征表达能力更强。
输入权重生成模块由concat、1*1卷积，3*3卷积和sigmoid激活函数组成，通过concat将n个输入特征的通道由c变为nc个通道，通过1*1卷积将nc个通道降为c个通道，通过3*3卷积，将通道由c个变为n个通道，最后通过sigmoid激活函数，split为n*(1*h*w)的特征。
3.正训练样本选择策略
自适应训练样本选择策略应用场景共分为两项，一为对P2、P3、P4、P5上的特征上的预设锚框采用自适应训练样本选择策略准确选择正训练样本、二为对M2、M3、M4、M5上的特征上的预设锚框采用自适应样本选择策略准确选择正训练样本。
对P2、P3、P4、P5上的特征上的预设锚框采用自适应训练样本选择策略:对于输入图片的每个真实标注框(Ground Truth，GT)，在P2、P3、P4、P5上的预设锚框，分别计算GT中心点与预设锚框中心点的l2距离，分别从预设锚框中选择最小l2距离9个锚框作为候选正训练样本，将这9个候选正训练样本与GT分别计算IOU，设置P2、P3、P4、P5的IOU阈值分别为b1、b2、b3、b4，对4个IOU阈值取平均和标准差得到Mb和Vb，最终训练阶段设置的IOU阈值为Mb+Vb，当候选正训练样本与GT的IOU值大于Mb+Vb并满足候选正训练样本在GT内时，则将候选正训练样本视为正训练样本，若一个候选正训练样本对应多个GT，选择一个IOU值最高的GT，将候选正训练样本作为该GT的最终正训练样本，对其余GT，该候选正训练样本则为训练负样本。
自适应调整P2、P3、P4、P5特征等级的IOU阈值：若Mb值偏小，则这个GT的大多数候选正训练样本是低质量的，若Vb偏小，多个特征等级都适合检测这个物体，则设置的IOU阈值需调低；若Mb值偏大，则大多数正训练样本检测这个物体性能较好，若Vb偏大，一个特征等级适合检测这个物体，通过对每个GT设置最终IOU阈值可以从合适的特征等级选择正确的正训练样本，余下的则为负训练样本。
在具体实施例中，如图6和图7，为最终训练阶段IOU阈值设置的计算图，针对图6中Mb值偏小、Vb偏小，自适应调整P2、P3、P4、P5特征等级的IOU阈值，图6中Mb值为0.35，偏小，则这个GT的大多数候选正训练样本是低质量的，Vb值为0.03，偏小，则P2、P3、P4、P5特征等级都适合检测这个物体，则设置的IOU阈值0.38需调低；图7中，Vb值为0.27，偏大，则P3特征等级适合检测这个物体。
对M2、M3、M4、M5上的特征上的预设锚框采用自适应训练样本选择策略:对于输入图片的每个GT，在M2、M3、M4、M5上的预设锚框，分别计算GT中心点与预设锚框中心点的l2距离，分别从预设锚框中选择最小l2距离9个锚框作为候选正训练样本，将这9个候选正训练样本与GT分别计算IOU，设置M2、M3、M4、M5的IOU阈值分别为b1’、b2’、b3’、b4’，对4个IOU阈值取平均和标准差得到Mb’和Vb’，最终训练阶段设置的IOU阈值为Mb’+Vb’，当候选正训练样本与GT的IOU值大于Mb’+Vb’并满足候选正样本在GT内时，则将候选正训练样本视为正训练样本，若一个候选正训练样本对应多个GT，选择一个IOU值最高的GT，将候选正训练样本作为该GT的最终正训练样本，对其余GT，该候选正样本则为负训练样本。
自适应调整M2、M3、M4、M5特征等级的IOU阈值：若Mb’值偏小，则这个GT的大多数候选正训练样本是低质量的，若Vb’偏小，多个特征都适合检测这个物体，则设置的IOU阈值需调低；若Mb’值偏大，则大多数候选正训练样本检测这个物体性能较好，若Vb’偏大，一个特征等级适合检测这个物体，通过对每个GT设置最终IOU阈值可以从合适的特征等级选择正确的正训练样本，余下的则为负训练样本。
4.训练策略
自适应正训练样本选择策略得到正训练样本后，对P2、P3、P4、P5上的正训练样本及M2、M3、M4、M5上的正训练样本分别进行训练，神经网络训练过程中，分别将两类正训练样本通过分类损失函数Focal Loss进行分类，通过回归损失函数GIoU Loss进行回归，通过CrossEntropyLoss进行质量评分，得到预测损失函数LM、辅助损失函数LM，根据预测损失函数LM、辅助损失函数LM得到最终的训练损失函数L，求取最终的训练损失函数L最小值时神经网络参数，如权重W，偏差B。
P2、P3、P4、P5上正训练样本进行神经网络训练时，预测损失函数LP为:
LP＝Lcls,P(C1P,C1 *)+αLloc,P(BP,B*)+Lcenter,P(C2P,C2 *) (1)
其中Lcls,P，Lloc,P，Lcenter,P分别是Focal Loss，GIoU Loss和CrossEntropyLoss，α是为平衡分类和回归任务设置的权重值，本次试验中设置为2，C2 *、B*和C2 *分别是GT分类标签、GT坐标和GT中心点，C1P、BP和C2P分别为分别为P2、P3、P4、P5上正训练样本分类标签、坐标和质量评分。
对M2、M3、M4、M5上正训练样本进行神经网络训练时，辅助损失函数LM为:
LM＝Lcls,M(C1M,C1 *)+αLloc,M(BM,B*)+Lcenter,M(C2M,C2 *) (2)
其中Lcls,M,Lloc,M,Lcenter,M分别是Focal Loss，GIoU Loss和CrossEntropyLoss，α是为平衡分类和回归任务设置的权重值，本次试验中设置为2，C2 *、B*和C2 *分别是GT分类标签、GT坐标和GT中心点，C1M、BM和C2M分别为分别为M2、M3、M4、M5上正训练样本分类标签、坐标和质量评分。
在具体实施例中，最终的训练损失函数L定义如下式：
L＝LP+λLM (3)
λ是辅助损失和预测损失间的平衡权重，当进行训练任务时，λ设置为1，当进行测试任务时，λ设置为零，即
L＝LP (4)
5.试验结果
在测试阶段，将训练好的神经网络应用到测试中，在本次试验结果评价标准采用AP50、AP75、mAP及FPS(Frames Per Second)，AP(Average Precision)是在特定IOU阈值下精度的平均值，AP50为IOU＝0.5下精度的平均值，AP75为IOU＝0.75下精度的平均值，mAP为IOU＝[0.5:0.05:0.95]十个IOU下AP的平均值，FPS为每秒处理的帧数。
最终与其他两种算法进行了比较，实验结果见表1，测试阶段时，在IOU阈值为0.5时，本文方法AP值达到0.884，比Faster R-CNN准确地提高了0.19，比ATSS准确度提高了0.79，FPS比Faster R-CNN更高，识别速度更快，表2，表明本方法在识别没戴安全帽、长裤、打伞、短袖类别中性能比另外两种方法好，图8、图9和图10分别为ATSS、本方法和Faster R-CNN的实验效果图，可以发现，本方法识别出来了穿黑色上衣男性的未戴安全帽，而ATSS、Faster R-CNN未能识别。
表1三种算法性能对比
Figure BDA0003094218740000091
表2各类在IOU＝0.5：0.95的mAP值
Figure BDA0003094218740000092
Figure BDA0003094218740000101
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于训练样本选择的电力现场着装规范检测方法，其特征在于：包括如下步骤：
利用P2、P3、P4、P5上的正训练样本、M2、M3、M4、M5上的正训练样本对神经网络进行训练，分别将两类正训练样本通过分类损失函数Focal Loss进行分类，通过回归损失函数GIoU Loss进行回归，通过CrossEntropyLoss进行质量评分，得到预测损失函数LM、辅助损失函数LM，根据预测损失函数LM、辅助损失函数LM得到最终的训练损失函数L，求取最终的训练损失函数L最小值时的神经网络参数；
将电力现场图片输入训练好的神经网络，得到电力现场图片中着装不规范目标标定；
所述P2、P3、P4、P5上的正训练样本获取方法，包括如下步骤：
对于输入图片的每个真实标注框GT，在P2、P3、P4、P5上的特征上的预设锚框，分别计算GT中心点与预设锚框中心点的l2距离，分别从预设锚框中选择最小l2距离m个锚框作为候选正训练样本；
将这m个候选正训练样本与GT分别计算IOU，设置P2、P3、P4、P5的IOU阈值分别为b1、b2、b3、b4，对4个IOU阈值取平均和标准差得到Mb和Vb，最终训练阶段设置的IOU阈值为Mb+Vb；
当候选正训练样本与GT的IOU值大于Mb+Vb并满足候选正训练样本在GT内时，将候选正训练样本视为正训练样本，若一个候选正训练样本对应多个GT，选择一个IOU值最高的GT，将候选正训练样本作为该GT的正训练样本；所述M2、M3、M4、M5上的正训练样本获取方法，包括如下步骤：
对于输入图片的每个真实标注框GT，在M2、M3、M4、M5上的特征上的预设锚框，分别计算GT中心点与预设锚框中心点的l2距离，分别从预设锚框中选择最小l2距离m个锚框作为候选正训练样本；
将这m个候选正训练样本与GT分别计算IOU，设置M2、M3、M4、M5的IOU阈值分别为b1’、b2’、b3’、b4’，对4个IOU阈值取平均和标准差得到Mb’和Vb’，最终训练阶段设置的IOU阈值为Mb’+Vb’；
当候选正训练样本与GT的IOU值大于Mb’+Vb’并满足候选正样本在GT内时，将候选正训练样本视为正训练样本，若一个候选正训练样本对应多个GT，选择一个IOU值最高的GT，将候选正训练样本作为该GT的正训练样本；
所述M2、M3、M4、M5上的特征获取方法，包括如下步骤：
采用Resnet50对输入的图片进行特征的提取，得到不同尺度的特征等级C1、C2、C3、C4、C5上的特征，将C2、C3、C4、C5上的特征通过1*1卷积，分别获得M2、M3、M4、M5不同尺度的中间特征等级上的特征；
所述P2、P3、P4、P5上的特征获取方法，包括如下步骤：
对C5上的特征进行池化和1*1卷积操作，分别得n个不同比率的尺寸特征，每个上下文特征都是256个通道，通过concat和全局平均池化操作，输入权重生成模块，生成对应特征的权重，将n个不同比率的尺寸特征与生成的权重进行相乘然后累加，最后通过双线性差值上采样为S的尺寸，得到特征等级M6，将M6上的特征与M5上的特征concat得到预测特征等级P5上的特征，将P5上的特征与M4上的特征concat得到预测特征等级P4上的特征，将P4上的特征与M3上的特征concat得到预测特征等级P3上的特征，将P3上的特征与M2上的特征concat得到预测特征等级P2上的特征。
2.根据权利要求1所述的一种基于训练样本选择的电力现场着装规范检测方法，其特征在于：所述输入权重生成模块包括：concat、1*1卷积，3*3卷积和sigmoid激活函数，通过concat将n个输入特征的通道由c变为nc个通道，通过1*1卷积将nc个通道降为c个通道，通过3*3卷积，将通道由c个变为n个通道，最后通过sigmoid激活函数，split为n*(1*h*w)的特征。
3.根据权利要求1所述的一种基于训练样本选择的电力现场着装规范检测方法，其特征在于：所述最终的训练损失函数L，计算公式如下：
L＝LP+λLM
λ是辅助损失和预测损失间的平衡权重；
所述预测损失函数LP，计算公式如下：
LP＝Lcls,P(C1P,C1 *)+αLloc,P(BP,B*)+Lcenter,P(C2P,C2 *)
其中，Lcls,P，Lloc,P，Lcenter,P分别是Focal Loss，GIoU Loss和CrossEntropyLoss，α是为平衡分类和回归任务设置的权重值，C2 *、B*和C2 *分别是GT分类标签、GT坐标和GT中心点，C1P、BP和C2P分别为P2、P3、P4、P5上正训练样本分类标签、坐标和质量评分；
所述辅助损失函数LM为：
LM＝Lcls,M(C1M,C1 *)+αLloc,M(BM,B*)+Lcenter,M(C2M,C2 *)
其中Lcls,M,Lloc,M,Lcenter,M分别是Focal Loss，GIoU Loss和CrossEntropyLoss，α是为平衡分类和回归任务设置的权重值，C2 *、B*和C2 *分别是GT分类标签、GT坐标和GT中心点，C1M、BM和C2M分别为M2、M3、M4、M5上正训练样本分类标签、坐标和质量评分。
4.根据权利要求3所述的一种基于训练样本选择的电力现场着装规范检测方法，其特征在于：所述α设置为2。
5.根据权利要求1所述的一种基于训练样本选择的电力现场着装规范检测方法，其特征在于：所述m设置为9。
6.根据权利要求1所述的一种基于训练样本选择的电力现场着装规范检测方法，其特征在于：分类标签为人员着装，人员着装包括：带安全帽、不带安全帽、穿长袖、穿短袖、穿长裤、穿红马甲、打伞。
7.根据权利要求1所述的一种基于训练样本选择的电力现场着装规范检测方法，其特征在于：当GT的大多数候选训练正样本是低质量时，将Mb、Mb′值对应的IOU阈值调大；
当各个特征等级都能检测到候选训练正样本，将Vb、Vb′值对应的IOU阈值调小。
CN202110611253.2A 2021-06-01 2021-06-01 基于训练样本选择的电力现场着装规范检测方法 Active CN113361369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110611253.2A CN113361369B (zh) 2021-06-01 2021-06-01 基于训练样本选择的电力现场着装规范检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110611253.2A CN113361369B (zh) 2021-06-01 2021-06-01 基于训练样本选择的电力现场着装规范检测方法

Publications (2)

Publication Number Publication Date
CN113361369A CN113361369A (zh) 2021-09-07
CN113361369B true CN113361369B (zh) 2022-08-09

Family

ID=77531091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110611253.2A Active CN113361369B (zh) 2021-06-01 2021-06-01 基于训练样本选择的电力现场着装规范检测方法

Country Status (1)

Country Link
CN (1) CN113361369B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914944A (zh) * 2020-08-18 2020-11-10 中国科学院自动化研究所 基于动态样本选择和损失一致性的物体检测方法和系统
CN112861915A (zh) * 2021-01-13 2021-05-28 北京航空航天大学 一种基于高级语义特征无锚框非合作目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914944A (zh) * 2020-08-18 2020-11-10 中国科学院自动化研究所 基于动态样本选择和损失一致性的物体检测方法和系统
CN112861915A (zh) * 2021-01-13 2021-05-28 北京航空航天大学 一种基于高级语义特征无锚框非合作目标检测方法

Also Published As

Publication number Publication date
CN113361369A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
Zhou et al. Safety helmet detection based on YOLOv5
CN112200043B (zh) 面向室外施工现场的危险源智能识别系统及方法
CN111339882B (zh) 基于实例分割的输电线路隐患检测方法
CN108898610A (zh) 一种基于mask-RCNN的物体轮廓提取方法
CN108269250A (zh) 基于卷积神经网络评估人脸图像质量的方法和装置
CN105354831B (zh) 一种基于图像分块方差-加权特征值的多缺陷检测方法
CN113516076A (zh) 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法
CN113903081A (zh) 一种水电厂图像视觉识别人工智能报警方法及装置
CN105303200B (zh) 用于手持设备的人脸识别方法
CN110110755A (zh) 基于ptgan区域差距与多重分支的行人重识别检测算法及装置
CN107358155A (zh) 一种鬼脸动作检测方法和装置及活体识别方法和系统
CN116385758A (zh) 基于YOLOv5网络对传送带表面损伤的检测方法
CN115690693A (zh) 一种建筑吊篮的智能监控系统及监控方法
CN113361369B (zh) 基于训练样本选择的电力现场着装规范检测方法
CN109975307A (zh) 基于统计投影训练的轴承表面缺陷检测系统及检测方法
CN112597902A (zh) 一种基于核电安全的小目标智能识别方法
CN111985406A (zh) 一种锌渣图像识别及分类方法
CN116206155A (zh) 基于YOLOv5网络的废钢分类识别方法
CN115953387A (zh) 一种基于深度学习的射线图像焊缝缺陷检测方法
CN113762115B (zh) 一种基于关键点检测的配网作业人员行为检测方法
CN113837103A (zh) 一种基于一阶全卷积目标检测的电网作业监测方法
CN113222947A (zh) 一种非金属材料焊接缺陷智能检测方法及系统
CN112651371A (zh) 着装安全检测方法、装置、存储介质及计算机设备
Zhou et al. Safety helmet wearing detection and recognition based on YOLOv4
CN116862952B (zh) 一种用于相似背景条件下的变电站作业人员视频追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant