CN113435407B - 一种输电系统的小目标识别方法及装置 - Google Patents

一种输电系统的小目标识别方法及装置 Download PDF

Info

Publication number
CN113435407B
CN113435407B CN202110819296.XA CN202110819296A CN113435407B CN 113435407 B CN113435407 B CN 113435407B CN 202110819296 A CN202110819296 A CN 202110819296A CN 113435407 B CN113435407 B CN 113435407B
Authority
CN
China
Prior art keywords
image
target object
area
module
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110819296.XA
Other languages
English (en)
Other versions
CN113435407A (zh
Inventor
张雨
原瀚杰
陈亮
董丽梦
陆林
曾繁荣
谢文聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202110819296.XA priority Critical patent/CN113435407B/zh
Publication of CN113435407A publication Critical patent/CN113435407A/zh
Application granted granted Critical
Publication of CN113435407B publication Critical patent/CN113435407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种输电系统的小目标识别方法及装置，其方法通过对具有目标物的图像集进行图像增强，以提高图像分辨率，再对图像集进行增广处理，增加图像集的图像数量和多样性，并在目标物对应的真实位置上添加类别标签，利用Darknet53神经网络构建的特征提取模型作为深度卷积神经网络的特征提取器，通过样本集训练建立图像目标识别模型，从而可以快速识别图像中目标物的类别及其对应的位置信息。

Description

一种输电系统的小目标识别方法及装置
技术领域
本申请涉及图像识别技术领域，尤其涉及一种输电系统的小目标识别方法及装置。
背景技术
当今社会对于电力供应的依赖越来越强。目前，绝缘子识别方法主要为传统的人工实地检测以及无人机航拍检测，人工检测技术识别精度高，但信息采集困难，效率低；而使用无人机进行输电线路的巡检，虽然信息采集方便，但仍需人工对采集图像进行检测，该技术虽然比传统的人工实地检测技术效率更高，但也会受到相关因素的影响，例如无人机在拍摄绝缘子时的环境影响和人工长时间的进行对航拍图像的检测容易出现漏检现象等。
同时，绝缘子等电气设备体积小目标，数量多，机巡图像中的绝缘子本身属于较小目标检测，在光线暗弱、背景复杂、天气状况不佳(如雨雪霜雾天气)条件下，难以对图像中的小目标进行快速识别定位。
发明内容
本申请提供了一种输电系统的小目标识别方法及装置，用于解决上述难以对图像中的小目标进行快速识别定位的技术问题。
有鉴于此，本申请第一方面提供了一种输电系统的小目标识别方法，包括以下步骤：
S1、获取具有目标物的图像集，对所述图像集进行图像增强处理；
S2、对经图像增强处理后的所述图像集进行增广处理，对经增广处理的所述图像集进行尺寸调整，将所述图像集的尺寸调整为统一的目标尺寸；
S3、基于标注软件在所述图像集中利用矩形框标记每个图像中的所述目标物，获得所述目标物的真实位置，在每个矩形框中所述目标物对应的真实位置上添加类别标签，以XML文件保存所述目标物真实位置及其对应的类别标签；
S4、将步骤S3标记后的所述图像集划分为训练集、样本集和测试集；
S5、将所述训练集输入到Darknet 53神经网络中训练，输出所述目标物的特征信息，以构建特征提取模型，所述Darknet 53神经网络包括群组归一化层；
S6、基于深度卷积神经网络对所述样本集进行训练，以建立图像目标识别模型，所述深度卷积神经网络以所述特征提取模型作为特征提取器；
S7、基于所述图像目标识别模型对所述测试集进行目标识别，以得到所述测试集中的目标物的类别及其对应位置的识别结果。
优选地，步骤S1具体包括：
S101、通过输电系统的现场摄像头获取具有目标物的图像，识别所述具有目标物的图像的背景，根据背景类型将所述具有目标物的图像按照VOC图像集格式创建不同的图像集；
S102、基于预设的图像增强算法池中随机选择一种或多种图像增强算法对所述图像集进行图像增强处理，所述预设的图像增强算法池内包括基于直方图均衡化的图像增强算法、基于拉普拉斯算子的图像增强算法、基于伽马变换的图像增强和基于主动光照的图像增强算法。
优选地，步骤S2具体包括：
S201、对经图像增强处理后的所述图像集进行增广处理，其中，增广处理的方式包括亮度变换、饱和度变换、对比度变换、翻转变换、随机修剪、噪声扰动和旋转变换；
S202、对经增广处理的所述图像集进行尺寸调整，将所述图像集的尺寸调整为统一的目标尺寸。
优选地，步骤S3之前包括：
S301、获取具有完整目标物轮廓的原始图像，对所述原始图像进行语义分割，获得所述原始图像的掩码图像，将所述掩码图像映射到所述原始图像，分割出所述原始图像中完整目标物轮廓的所在区域，将所述原始图像中完整目标物轮廓的所在区域作为处理图像；
S302、对所述处理图像进行二值化分割处理，获得二值化图像，提取所述二值化图像中的所述完整目标物轮廓的形态轮廓特征；
S303、对所述图像集进行灰度处理，得到灰度图像集；
S304、利用景深将所述灰度图像集中的每个灰度图像分为前景和背景区域；
S305、将所述前景进行二值化阈值分割，提取轮廓线，从而形成若干个二值化前景子区域；
S306、剔除像素面积小于预设像素面积的二值化前景子区域，根据剔除后的各个二值化前景子区域得到各个候选区域；
S307、根据所述目标物的形态轮廓特征在各个候选区域中进行形态学分析，以确定目标物的形态轮廓，从而得到目标物区域；
S308、计算所述目标物区域中各个像素点的像素值，根据各个像素点的像素值的差值判断所述目标物区域内是否覆盖遮挡物区域；
S309、当判断所述目标物区域内覆盖遮挡物区域时，计算所述遮挡物区域的像素点数量和所述目标物区域的像素点数量；
S310、判断所述遮挡物区域的像素点数量和所述目标物区域的像素点数量的比值是否大于预设第一比值，若判断所述遮挡物区域的像素点数量和所述目标物区域的像素点数量的比值大于所述预设第一比值时，则剔除相应的图像。
优选地，步骤S306之后包括：
S3061、检测所述目标物区域与所述背景区域之间的相对位置，若检测到所述目标物区域在所述背景区域的边缘处，则根据所述目标物的形态轮廓特征构建与所述目标物区域在同尺寸比例下的所述目标物的原始轮廓区域，计算所述目标物的原始轮廓区域的面积和所述目标物区域的面积，判断所述目标物区域的面积和所述目标物的原始轮廓区域的面积的比值是否小于预设第二比值，若判断所述目标物区域的面积和所述目标物的原始轮廓区域的面积的比值小于所述预设第二比值时，则剔除相应的图像。
第二方面，本发明提供了一种输电系统的小目标识别装置，包括：图像获取模块、图像处理模块、标记模块、划分模块、特征提取模块、训练模块和识别模块；
所述图像获取模块，用于获取具有目标物的图像集，对所述图像集进行图像增强处理；
所述图像处理模块，用于对经图像增强处理后的所述图像集进行增广处理，还用于对经增广处理的所述图像集进行尺寸调整，将所述图像集的尺寸调整为统一的目标尺寸；
所述标记模块，用于基于标注软件在所述图像集中利用矩形框标记每个图像中的所述目标物，还用于获得所述目标物的真实位置，还用于在每个矩形框中所述目标物对应的真实位置上添加类别标签，还用于以XML文件保存所述目标物真实位置及其对应的类别标签；
所述划分模块，用于将标记后的所述图像集划分为训练集、样本集和测试集；
所述特征提取模块，用于将所述训练集输入到Darknet 53神经网络中训练，输出所述目标物的特征信息，以构建特征提取模型，所述Darknet 53神经网络包括群组归一化层；
所述训练模块，用于基于深度卷积神经网络对所述样本集进行训练，以建立图像目标识别模型，所述深度卷积神经网络以所述特征提取模型作为特征提取器；
所述识别模块，用于基于所述图像目标识别模型对所述测试集进行目标识别，以得到所述测试集中的目标物的类别及其对应位置的识别结果。
优选地，所述图像获取模块具体包括图像集创建子模块和图像增强子模块；
所述图像集创建子模块，用于通过输电系统的现场摄像头获取具有目标物的图像，还用于识别所述具有目标物的图像的背景，还用于根据背景类型将所述具有目标物的图像按照VOC图像集格式创建不同的图像集；
所述图像增强子模块，用于基于预设的图像增强算法池中随机选择一种或多种图像增强算法对所述图像集进行图像增强处理，所述预设的图像增强算法池内包括基于直方图均衡化的图像增强算法、基于拉普拉斯算子的图像增强算法、基于伽马变换的图像增强和基于主动光照的图像增强算法。
优选地，所述图像处理模块具体包括：增广处理子模块和尺寸调整子模块；
所述增广处理子模块用于对经图像增强处理后的所述图像集进行增广处理，其中，增广处理的方式包括亮度变换、饱和度变换、对比度变换、翻转变换、随机修剪、噪声扰动和旋转变换；
所述尺寸调整子模块用于对经增广处理的所述图像集进行尺寸调整，将所述图像集的尺寸调整为统一的目标尺寸。
优选地，本装置还包括掩码模块、轮廓特征获取模块、灰度处理模块、景深划分模块、阈值分割模块、剔除模块、连通区域检测模块、遮挡物检测模块、像素点数量计算模块和遮挡物图像处理模块；
所述掩码模块，用于获取具有完整目标物轮廓的原始图像，还用于对所述原始图像进行语义分割，获得所述原始图像的掩码图像，还用于将所述掩码图像映射到所述原始图像，分割出所述原始图像中完整目标物轮廓的所在区域，还用于将所述原始图像中完整目标物轮廓的所在区域作为处理图像；
所述轮廓特征获取模块，用于对所述处理图像进行二值化分割处理，获得二值化图像，还用于提取所述二值化图像中的所述完整目标物轮廓的形态轮廓特征；
所述灰度处理模块，用于对所述图像集进行灰度处理，得到灰度图像集；
所述景深划分模块，用于利用景深将所述灰度图像集中的每个灰度图像分为前景和背景区域；
所述阈值分割模块，用于将所述前景进行二值化阈值分割，还用于提取轮廓线，从而形成若干个二值化前景子区域；
所述剔除模块，用于剔除像素面积小于预设像素面积的二值化前景子区域，还用于根据剔除后的各个二值化前景子区域得到各个候选区域；
所述连通区域检测模块，用于根据所述目标物的形态轮廓特征在各个候选区域中进行形态学分析，以确定目标物的形态轮廓，从而得到目标物区域；
所述遮挡物检测模块，用于计算所述目标物区域中各个像素点的像素值，还用于根据各个像素点的像素值的差值判断所述目标物区域内是否覆盖遮挡物区域；
所述像素点数量计算模块，用于当判断所述目标物区域内覆盖遮挡物区域时，计算所述遮挡物区域的像素点数量和所述目标物区域的像素点数量；
所述遮挡物图像处理模块，用于判断所述遮挡物区域的像素点数量和所述目标物区域的像素点数量的比值是否大于预设第一比值，还用于若判断所述遮挡物区域的像素点数量和所述目标物区域的像素点数量的比值大于所述预设第一比值时，则剔除相应的图像。
优选地，本装置还包括：边缘图像处理模块，用于检测所述目标物区域与所述背景区域之间的相对位置，还用于若检测到所述目标物区域在所述背景区域的边缘处，则根据所述目标物的形态轮廓特征构建与所述目标物区域在同尺寸比例下的所述目标物的原始轮廓区域，还用于计算所述目标物的原始轮廓区域的面积和所述目标物区域的面积，还用于判断所述目标物区域的面积和所述目标物的原始轮廓区域的面积的比值是否小于预设第二比值，还用于若判断所述目标物区域的面积和所述目标物的原始轮廓区域的面积的比值小于所述预设第二比值时，则剔除相应的图像。
从以上技术方案可以看出，本发明具有以下优点：
本发明通过对具有目标物的图像集进行图像增强，以提高图像分辨率，再对图像集进行增广处理，增加图像集的图像数量和多样性，并在目标物对应的真实位置上添加类别标签，利用Darknet 53神经网络构建的特征提取模型作为深度卷积神经网络的特征提取器，通过样本集训练建立图像目标识别模型，从而可以快速识别图像中目标物的类别及其对应的位置信息。
附图说明
图1为本申请实施例提供的一种输电系统的小目标识别方法的流程图；
图2为本申请实施例提供的一种输电系统的小目标识别装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本发明提供的一种输电系统的小目标识别方法，包括以下步骤：
S1、获取具有目标物的图像集，对图像集进行图像增强处理；
需要说明的是，获取具有目标物的原始图像后，可以对原始图像进行滤波处理、去噪处理和增强处理，以提高图像的分辨率，从而提高后续特征提取和识别模型训练的准确性。
S2、对经图像增强处理后的图像集进行增广处理，对经增广处理的图像集进行尺寸调整，将图像集的尺寸调整为统一的目标尺寸；
在本实施例中，将图像集的尺寸调整为统一的512×512mm宽高尺寸，其统一图像尺寸，以便于后续划分训练集、样本集和测试集提供相同的基准对比尺寸，也有利于利用矩形框进行快速标记。
S3、基于标注软件在图像集中利用矩形框标记每个图像中的目标物，获得目标物的真实位置，在每个矩形框中目标物对应的真实位置上添加类别标签，以XML文件保存目标物真实位置及其对应的类别标签；
S4、将步骤S3标记后的图像集划分为训练集、样本集和测试集；
S5、将训练集输入到Darknet 53神经网络中训练，输出目标物的特征信息，以构建特征提取模型，Darknet 53神经网络包括群组归一化层；
需要说明的是，选取群组归一化层进行群组归一化，是在原DarkNet-53网络的基础上进行了改进优化，使其在小规模的一次训练所抓取的数据样本数量的情况下，提升准确率。
S6、基于深度卷积神经网络对样本集进行训练，以建立图像目标识别模型，深度卷积神经网络以特征提取模型作为特征提取器；
S7、基于图像目标识别模型对测试集进行目标识别，以得到测试集中的目标物的类别及其对应位置的识别结果。
需要说明的是，本实施例提供了一种输电系统的小目标识别方法，通过对具有目标物的图像集进行图像增强，以提高图像分辨率，再对图像集进行增广处理，增加图像集的图像数量和多样性，并在目标物对应的真实位置上添加类别标签，利用Darknet 53神经网络构建的特征提取模型作为深度卷积神经网络的特征提取器，通过样本集训练建立图像目标识别模型，从而可以快速识别图像中目标物的类别及其对应的位置信息。
以下为本发明提供的一种输电系统的小目标识别方法的实施例的具体描述。
本发明提供的一种输电系统的小目标识别方法，包括以下步骤：
S100、获取具有目标物的图像集，对图像集进行图像增强处理；
具体地，步骤S100具体包括：
S101、通过输电系统的现场摄像头获取具有目标物的图像，识别具有目标物的图像的背景，根据背景类型将具有目标物的图像按照VOC图像集格式创建不同的图像集；
需要说明的是，本步骤是将具有目标物的图像的格式转换为深度卷积神经网络训练的格式，同时，可以通过航拍得到融合有背景的图像，其背景类型包括河流、森林、建筑物、农田。在具体实现中，可以将图像的背景区域作为感兴趣区域进行提取，从而识别背景，并将图像集按照不同的背景类型进行划分为多个图像集，以进行不同的背景下的图像目标识别，以提高背景复杂性下目标识别的适用性。
S102、基于预设的图像增强算法池中随机选择一种或多种图像增强算法对图像集进行图像增强处理，预设的图像增强算法池内包括基于直方图均衡化的图像增强算法、基于拉普拉斯算子的图像增强算法、基于伽马变换的图像增强和基于主动光照的图像增强算法。
需要说明的是，为了对图像集进行图像增强处理，本实施例采用了多种图像增强算法可以适配不同的图像集中待增强的图像问题，以提高图像增强的效果。
S200、对经图像增强处理后的图像集进行增广处理，对经增广处理的图像集进行尺寸调整，将图像集的尺寸调整为统一的目标尺寸；
在本实施例中，将图像集的尺寸调整为统一的256×256宽高尺寸，其统一图像尺寸，以便于后续划分训练集、样本集和测试集提供相同的基准对比尺寸，也有利于利用矩形框进行快速标记。
具体地，步骤S200具体包括：
S201、对经图像增强处理后的图像集进行增广处理，其中，增广处理的方式包括亮度变换、饱和度变换、对比度变换、翻转变换、随机修剪、噪声扰动和旋转变换；
需要说明的是，由于现有技术中，机巡图像中的绝缘子本身属于较小目标检测，在光线暗弱、背景复杂、天气状况不佳(如雨雪霜雾天气)条件下，难以对图像中的小目标进行快速识别定位，因此，通过对图像集进行上述方式的增广处理，可以用于模拟受雾、雾霾、扬沙、雨和雪等遮挡的效果；有效提升卷积神经网络训练时的数据集大小，从不同维度对卷积神经网络进行训练，增强卷积神经网络的泛化能力。
其中，在进行亮度变换或对比度变换过程中，可以选择照度中等的图像作为原始图像，然后，将零像素图像与原始图像合并以调整对比度或亮度。
在实际操作中，禁止进行能见度极低的无人机检查。因此，为了获得图像对比度，根据ps照片处理方法，将对比度α设置六个不同级别的0.2、0.6、0.8、1.0、1.2和1.6对比度。同样，当亮度γ小于-80上将会影响到检测效果，所以亮度γ被设计为80、40、0、-40、-80。基于原始图像，亮度γ为0和对比度α如1，亮度γ小于0或对比度α少于1个是模拟的多云或午后的阳光；与图像亮度γ大于0或对比度α大于1的是模拟明亮或清晨的光线。最后对处理后的图像进行筛选和修改，选出符合要求的图片后进行保存。
S202、对经增广处理的图像集进行尺寸调整，将图像集的尺寸调整为统一的目标尺寸。
S300、基于标注软件在图像集中利用矩形框标记每个图像中的目标物，获得目标物的真实位置，在每个矩形框中目标物对应的真实位置上添加类别标签，以XML文件保存目标物真实位置及其对应的类别标签；
需要说明的是，可以使用LabelImg标注工具对每个图像中的目标物进行标注，可以采用矩形框标记每个图像中的目标物，其中，矩形框为可以容纳目标物的最小框，同时，在个矩形框中目标物对应的真实位置上添加类别标签，如绝缘子、输电线，防震锤、避雷针、吊环等，通过对绝缘子、输电线，防震锤、避雷针、吊环目标进行框选后，在框选过程中可以实时的查看框选目标的类别，框选结束后自动保存为xml文件。
XML(Extensible Markup Language，可扩展标记语言)用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。从而通过XML文件保存目标物真实位置及其对应的类别标签，可以对类别标签的名称和目标物真实位置进行自定义。
其中，XML中保留了图像的多种属性以及绝缘子的相关信息，包含了图片名称、图片尺寸、图片深度、图片位置、目标类别以及矩形框的坐标信息。
在具体实现过程中，其在步骤S300之前包括：
S301、获取具有完整目标物轮廓的原始图像，对所述原始图像进行语义分割，获得所述原始图像的掩码图像，将所述掩码图像映射到所述原始图像，分割出所述原始图像中完整目标物轮廓的所在区域，将所述原始图像中完整目标物轮廓的所在区域作为处理图像；
需要说明的是，原始图像可以为历史图像，其具有完整目标物轮廓，在一般示例中，可以选择无遮挡的图像。
语义分割集合了空洞卷积，使用空洞卷积增大感受野，让每个卷积输出都包含较大范围的信息，使得输出的特征图更加稠密；捕获多尺度上下文信息，提升对于不同尺度识别目标的分割效果；融合浅层信息，增强识别目标的精确位置分割能力。其中，通过对所述原始图像进行语义分割，获得所述原始图像的掩码图像，将所述掩码图像映射到所述原始图像，分割出所述原始图像中完整目标物轮廓的所在区域，从而可以去除背景图像。
S302、对所述处理图像进行二值化分割处理，获得二值化图像，提取所述二值化图像中的所述完整目标物轮廓的形态轮廓特征；
需要说明的是，完整目标物轮廓的形态轮廓特征可以为外围轮廓线。
S303、对图像集进行灰度处理，得到灰度图像集；
S304、利用景深将灰度图像集中的每个灰度图像分为前景和背景区域；
S305、将前景进行二值化阈值分割，提取轮廓线，从而形成若干个二值化前景子区域；
S306、剔除像素面积小于预设像素面积的二值化前景子区域，根据剔除后的各个二值化前景子区域得到各个候选区域；
需要说明的是，由于在进行二值化阈值分割后，可能会出现背景噪声造成的斑点，而这斑点的面积并不会影响到目标物的识别，因此，可以将斑点进行剔除，而剔除后的其他二值化前景子区域可以形成相应的候选区域。
S307、根据目标物的形态轮廓特征在各个候选区域中进行形态学分析，以确定目标物的形态轮廓，从而得到目标物区域；
需要说明的是，由于前述获得到目标物的真实外围轮廓，因此，可以对各个候选区域中进行形态学分析，以进行连通区域检测，得到前景内的目标物区域。
S308、计算目标物区域中各个像素点的像素值，根据各个像素点的像素值的差值判断目标物区域内是否覆盖遮挡物区域；
需要说明的是，由于像素差值的问题，目标物和遮挡物会存在像素差值，且会形成较为显著的跨度变化，因此，通过目标物区域中各个像素点的像素值的差值与预设的分割划分差值进行比较，从而可以划分出目标物区域及覆盖在目标物区域内的遮挡物像素值，通过遮挡物像素值组合形成遮挡物区域。
在另一实施例中，可以预先获取人工选择的具有无遮挡的目标物的图像，确定初始目标物区域的初始像素值，再获取后续待检测的目标物区域的像素值，通过待检测的目标物区域的像素值与初始像素值进行比较，可以区分出是否存在遮挡物。
S309、当判断目标物区域内覆盖遮挡物区域时，计算遮挡物区域的像素点数量和目标物区域的像素点数量；
S310、判断遮挡物区域的像素点数量和目标物区域的像素点数量的比值是否大于预设第一比值，若判断遮挡物区域的像素点数量和目标物区域的像素点数量的比值大于预设第一比值时，则剔除相应的图像。
在本实施例中，预设第一比值为70％，也即若遮挡物区域的像素点数量和目标物区域的像素点数量的比值大于70％，则说明遮挡严重，需要剔除相应的图像，不再进行后续的标记，以提高标记效率和准确率。
在另一实施例中，步骤S306之后包括：
S3061、检测目标物区域与背景区域之间的相对位置，若检测到目标物区域在背景区域的边缘处，则根据目标物的形态轮廓特征构建与目标物区域在同尺寸比例下的目标物的原始轮廓区域，计算目标物的原始轮廓区域的面积和目标物区域的面积，判断目标物区域的面积和目标物的原始轮廓区域的面积的比值是否小于预设第二比值，若判断目标物区域的面积和目标物的原始轮廓区域的面积的比值小于预设第二比值时，则剔除相应的图像。
需要说明的是，在获取具有目标物的图像时，可能出现目标物在图像边缘处，当目标物的显露面积较小，难以进行识别。为此，本实施例还通过判断目标物区域与背景区域之间的相对位置，若目标物区域在背景区域的边缘处，则判断目标物区域的显露面积是否被允许。其中，可以通过目标物的形态轮廓特征构建与目标物区域在同尺寸比例下的目标物的原始轮廓区域，以此计算为目标物的基准区域的面积，通过判断目标物区域的面积和目标物的原始轮廓区域的面积的比值是否小于预设第二比值，在本实施例中，预设第二比值为50％，即若目标物区域的显露面积还不足原始区域的面积的50％，则说明目标物区域不够显露，难以识别并标记，因此，对相应的图像进行剔除。
S400、将步骤S300标记后的图像集划分为训练集、样本集和测试集；
在本实施例中，图像集经扩展后共28600幅图像，其中，训练集占60％，样本集占20％，测试集占20％。图像分别从网站爬取(80％)和相机拍摄(20％)获得。图像数据集包含5类目标，分别是：绝缘子、输电线，防震锤、避雷针、吊环，每类图像5120张，图像大小统一处理成为256×256宽高尺寸。
S500、将训练集输入到Darknet 53神经网络中训练，输出目标物的特征信息，以构建特征提取模型，Darknet 53神经网络包括群组归一化层；
需要说明的是，DarkNet 53神经网络包括一系列的1x1和3x3卷积层，并采用残差连接，其中，DarkNet 53神经网络中共有53个卷积层，该网络含有5个残差网络，每个残差网络由多个残差单元组成，通过输入两个基本组件及DBL单元进行残差操作，构建残差单元。其中，DBL单元为卷积层及一个群组归一化层和一个激活函数LeakyReLU层。
在训练网络时，从图像数据库中，随机抽取出图像的60％图像进行特征提取训练，从零开始训练改进后的模型，得到全连接层的参数以及Softmax层的多分类向量值和损失函数的值。
通过随机方法对全连接层和Softmax分类层的参数进行初始化，并且将网络最后一层全连接层的输出设置为本文图像分类数据集的类别数，即设置类别数22。训练模型时，使用Adam自适应矩估计优化方法，它能基于训练数据迭代地更新神经网络权重，最终，选择分类准确率作为模型训练效果的评价指标。
S600、基于深度卷积神经网络对样本集进行训练，以建立图像目标识别模型，深度卷积神经网络以特征提取模型作为特征提取器；
在本实施例中，采用类别均衡采样在样本集中，对训练图像样本进行提取，并将提取到的至少一个类别的目标的图像输入深度卷积神经网络中训练。
其中，类别均衡采样过程如下：
(1)对样本集进行整体排序，不同类别分到不同的组，计算每个组的大小，求出拥有最大样本数量的类别，记最大样本数为M；
(2)为每个目标类别生成随机的列表，列表中的数值是根据最大样本数量；假设列表中数值为n，则0≤n＜M；
(3)对每个类别的所对应列表的值进行处理，具体地将列表中的数对各自类别的样本数进行取余，得到的数作为图像的编号；
(4)根据编号从各自类别的样本中提取图像，然后将所有的图像随机混合，得到新的样本平衡的样本集；
(5)训练时每一轮迭代都要重新按照上述采样方法对原始样本集进行采样。
需要说明的是，本实施例采用的深度卷积神经网络为YOLOv3算法，采用GloU损失函数代替原来YOLOv3算法中的loU损失函数；使用群组归一化替代YOLOv3算法中所有卷积层上己有的批量归一化；为了避免梯度消失，提高模型检测精度，将原网络中每个预测层，使用1x1的卷积进行特征维度转换，并引入个ResNrt单元连接。
在训练过程中采用随机梯度下降算法进行更新参数，在训练后期，为了解决学习率过大导致模型不收敛，设置学习率衰减策略为step，学习率变动因子为0.1，阶段性地降低学习率，直至收敛，得到训练完成的卷积神经网络。
S700、基于图像目标识别模型对测试集进行目标识别，以得到测试集中的目标物的类别及其对应位置的识别结果。
以上为本发明提供的一种输电系统的小目标识别方法的实施例的详细描述，以下为本发明提供的一种输电系统的小目标识别装置的实施例的详细描述。
为了便于理解，请参阅图2，本发明提供的一种输电系统的小目标识别装置，包括：图像获取模块100、图像处理模块200、标记模块300、划分模块400、特征提取模块500、训练模块600和识别模块700；
图像获取模块100，用于获取具有目标物的图像集，对图像集进行图像增强处理；
需要说明的是，获取具有目标物的原始图像后，可以对原始图像进行滤波处理、去噪处理和增强处理，以提高图像的分辨率，从而提高后续特征提取和识别模型训练的准确性。
图像处理模块200，用于对经图像增强处理后的图像集进行增广处理，还用于对经增广处理的图像集进行尺寸调整，将图像集的尺寸调整为统一的目标尺寸；
在本实施例中，将图像集的尺寸调整为统一的512×512mm宽高尺寸，其统一图像尺寸，以便于后续划分训练集、样本集和测试集提供相同的基准对比尺寸，也有利于利用矩形框进行快速标记。
标记模块300，用于基于标注软件在图像集中利用矩形框标记每个图像中的目标物，还用于获得目标物的真实位置，还用于在每个矩形框中目标物对应的真实位置上添加类别标签，还用于以XML文件保存目标物真实位置及其对应的类别标签；
划分模块400，用于将标记后的图像集划分为训练集、样本集和测试集；
特征提取模块500，用于将训练集输入到Darknet 53神经网络中训练，输出目标物的特征信息，以构建特征提取模型，Darknet 53神经网络包括群组归一化层；
需要说明的是，选取群组归一化层进行群组归一化，是在原DarkNet-53网络的基础上进行了改进优化，使其在小规模的一次训练所抓取的数据样本数量的情况下，提升准确率。
训练模块600，用于基于深度卷积神经网络对样本集进行训练，以建立图像目标识别模型，深度卷积神经网络以特征提取模型作为特征提取器；
识别模块700，用于基于图像目标识别模型对测试集进行目标识别，以得到测试集中的目标物的类别及其对应位置的识别结果。
进一步地，图像获取模块具体包括图像集创建子模块和图像增强子模块；
图像集创建子模块，用于通过输电系统的现场摄像头获取具有目标物的图像，还用于识别具有目标物的图像的背景，还用于根据背景类型将具有目标物的图像按照VOC图像集格式创建不同的图像集；
需要说明的是，本步骤是将具有目标物的图像的格式转换为深度卷积神经网络训练的格式，同时，可以通过航拍得到融合有背景的图像，其背景类型包括河流、森林、建筑物、农田。在具体实现中，可以将图像的背景区域作为感兴趣区域进行提取，从而识别背景，并将图像集按照不同的背景类型进行划分为多个图像集，以进行不同的背景下的图像目标识别，以提高背景复杂性下目标识别的适用性。
图像增强子模块，用于基于预设的图像增强算法池中随机选择一种或多种图像增强算法对图像集进行图像增强处理，预设的图像增强算法池内包括基于直方图均衡化的图像增强算法、基于拉普拉斯算子的图像增强算法、基于伽马变换的图像增强和基于主动光照的图像增强算法。
需要说明的是，为了对图像集进行图像增强处理，本实施例采用了多种图像增强算法可以适配不同的图像集中待增强的图像问题，以提高图像增强的效果。
进一步地，图像处理模块具体包括：增广处理子模块和尺寸调整子模块；
增广处理子模块用于对经图像增强处理后的图像集进行增广处理，其中，增广处理的方式包括亮度变换、饱和度变换、对比度变换、翻转变换、随机修剪、噪声扰动和旋转变换；
需要说明的是，由于现有技术中，机巡图像中的绝缘子本身属于较小目标检测，在光线暗弱、背景复杂、天气状况不佳(如雨雪霜雾天气)条件下，难以对图像中的小目标进行快速识别定位，因此，通过对图像集进行上述方式的增广处理，可以用于模拟受雾、雾霾、扬沙、雨和雪等遮挡的效果；有效提升卷积神经网络训练时的数据集大小，从不同维度对卷积神经网络进行训练，增强卷积神经网络的泛化能力。
尺寸调整子模块用于对经增广处理的图像集进行尺寸调整，将图像集的尺寸调整为统一的目标尺寸。
进一步地，本装置还包括掩码模块、轮廓特征获取模块、灰度处理模块、景深划分模块、阈值分割模块、剔除模块、连通区域检测模块、遮挡物检测模块、像素点数量计算模块和遮挡物图像处理模块；
所述掩码模块，用于获取具有完整目标物轮廓的原始图像，还用于对所述原始图像进行语义分割，获得所述原始图像的掩码图像，还用于将所述掩码图像映射到所述原始图像，分割出所述原始图像中完整目标物轮廓的所在区域，还用于将所述原始图像中完整目标物轮廓的所在区域作为处理图像；
需要说明的是，原始图像可以为历史图像，其具有完整目标物轮廓，在一般示例中，可以选择无遮挡的图像。
语义分割集合了空洞卷积，使用空洞卷积增大感受野，让每个卷积输出都包含较大范围的信息，使得输出的特征图更加稠密；捕获多尺度上下文信息，提升对于不同尺度识别目标的分割效果；融合浅层信息，增强识别目标的精确位置分割能力。其中，通过对所述原始图像进行语义分割，获得所述原始图像的掩码图像，将所述掩码图像映射到所述原始图像，分割出所述原始图像中完整目标物轮廓的所在区域，从而可以去除背景图像。
所述轮廓特征获取模块，用于对所述处理图像进行二值化分割处理，获得二值化图像，还用于提取所述二值化图像中的所述完整目标物轮廓的形态轮廓特征；
需要说明的是，完整目标物轮廓的形态轮廓特征可以为外围轮廓线。
灰度处理模块，用于对图像集进行灰度处理，得到灰度图像集；
景深划分模块，用于利用景深将灰度图像集中的每个灰度图像分为前景和背景区域；
阈值分割模块，用于将前景进行二值化阈值分割，还用于提取轮廓线，从而形成若干个二值化前景子区域；
剔除模块，用于剔除像素面积小于预设像素面积的二值化前景子区域，还用于根据剔除后的各个二值化前景子区域得到各个候选区域；
需要说明的是，由于在进行二值化阈值分割后，可能会出现背景噪声造成的斑点，而这斑点的面积并不会影响到目标物的识别，因此，可以将斑点进行剔除，而剔除后的其他二值化前景子区域可以形成相应的候选区域。
连通区域检测模块，用于根据目标物的形态轮廓特征在各个候选区域中进行形态学分析，以确定目标物的形态轮廓，从而得到目标物区域；
需要说明的是，由于前述获得到目标物的真实外围轮廓，因此，可以对各个候选区域中进行形态学分析，以进行连通区域检测，得到前景内的目标物区域。
遮挡物检测模块，用于计算目标物区域中各个像素点的像素值，还用于根据各个像素点的像素值的差值判断目标物区域内是否覆盖遮挡物区域；
需要说明的是，由于像素差值的问题，目标物和遮挡物会存在像素差值，且会形成较为显著的跨度变化，因此，通过目标物区域中各个像素点的像素值的差值与预设的分割划分差值进行比较，从而可以划分出目标物区域及覆盖在目标物区域内的遮挡物像素值，通过遮挡物像素值组合形成遮挡物区域。
在另一实施例中，可以预先获取人工选择的具有无遮挡的目标物的图像，确定初始目标物区域的初始像素值，再获取后续待检测的目标物区域的像素值，通过待检测的目标物区域的像素值与初始像素值进行比较，可以区分出是否存在遮挡物。
像素点数量计算模块，用于当判断目标物区域内覆盖遮挡物区域时，计算遮挡物区域的像素点数量和目标物区域的像素点数量；
遮挡物图像处理模块，用于判断遮挡物区域的像素点数量和目标物区域的像素点数量的比值是否大于预设第一比值，还用于若判断遮挡物区域的像素点数量和目标物区域的像素点数量的比值大于预设第一比值时，则剔除相应的图像。
在本实施例中，预设第一比值为70％，也即若遮挡物区域的像素点数量和目标物区域的像素点数量的比值大于70％，则说明遮挡严重，需要剔除相应的图像，不再进行后续的标记，以提高标记效率和准确率。
进一步地，本装置还包括：边缘图像处理模块，用于检测目标物区域与背景区域之间的相对位置，还用于若检测到目标物区域在背景区域的边缘处，则根据目标物的形态轮廓特征构建与目标物区域在同尺寸比例下的目标物的原始轮廓区域，还用于计算目标物的原始轮廓区域的面积和目标物区域的面积，还用于判断目标物区域的面积和目标物的原始轮廓区域的面积的比值是否小于预设第二比值，还用于若判断目标物区域的面积和目标物的原始轮廓区域的面积的比值小于预设第二比值时，则剔除相应的图像。
需要说明的是，在获取具有目标物的图像时，可能出现目标物在图像边缘处，当目标物的显露面积较小，难以进行识别。为此，本实施例还通过判断目标物区域与背景区域之间的相对位置，若目标物区域在背景区域的边缘处，则判断目标物区域的显露面积是否被允许。其中，可以通过目标物的形态轮廓特征构建与目标物区域在同尺寸比例下的目标物的原始轮廓区域，以此计算为目标物的基准区域的面积，通过判断目标物区域的面积和目标物的原始轮廓区域的面积的比值是否小于预设第二比值，在本实施例中，预设第二比值为50％，即若目标物区域的显露面积还不足原始区域的面积的50％，则说明目标物区域不够显露，难以识别并标记，因此，对相应的图像进行剔除。
本实施例提供了一种输电系统的小目标识别装置，通过对具有目标物的图像集进行图像增强，以提高图像分辨率，再对图像集进行增广处理，增加图像集的图像数量和多样性，并在目标物对应的真实位置上添加类别标签，利用Darknet 53神经网络构建的特征提取模型作为深度卷积神经网络的特征提取器，通过样本集训练建立图像目标识别模型，从而可以快速识别图像中目标物的类别及其对应的位置信息。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种输电系统的小目标识别方法，其特征在于，包括以下步骤：
S1、获取具有目标物的图像集，对所述图像集进行图像增强处理；
S2、对经图像增强处理后的所述图像集进行增广处理，对经增广处理的所述图像集进行尺寸调整，将所述图像集的尺寸调整为统一的目标尺寸；
S3、基于标注软件在所述图像集中利用矩形框标记每个图像中的所述目标物，获得所述目标物的真实位置，在每个矩形框中所述目标物对应的真实位置上添加类别标签，以XML文件保存所述目标物真实位置及其对应的类别标签；
S4、将步骤S3标记后的所述图像集划分为训练集、样本集和测试集；
S5、将所述训练集输入到Darknet 53神经网络中训练，输出所述目标物的特征信息，以构建特征提取模型，所述Darknet 53神经网络包括群组归一化层；
S6、基于深度卷积神经网络对所述样本集进行训练，以建立图像目标识别模型，所述深度卷积神经网络以所述特征提取模型作为特征提取器；
S7、基于所述图像目标识别模型对所述测试集进行目标识别，以得到所述测试集中的目标物的类别及其对应位置的识别结果；
步骤S3之前包括：
S301、获取具有完整目标物轮廓的原始图像，对所述原始图像进行语义分割，获得所述原始图像的掩码图像，将所述掩码图像映射到所述原始图像，分割出所述原始图像中完整目标物轮廓的所在区域，将所述原始图像中完整目标物轮廓的所在区域作为处理图像；
S302、对所述处理图像进行二值化分割处理，获得二值化图像，提取所述二值化图像中的所述完整目标物轮廓的形态轮廓特征；
S303、对所述图像集进行灰度处理，得到灰度图像集；
S304、利用景深将所述灰度图像集中的每个灰度图像分为前景和背景区域；
S305、将所述前景进行二值化阈值分割，提取轮廓线，从而形成若干个二值化前景子区域；
S306、剔除像素面积小于预设像素面积的二值化前景子区域，根据剔除后的各个二值化前景子区域得到各个候选区域；
S307、根据所述目标物的形态轮廓特征在各个候选区域中进行形态学分析，以确定目标物的形态轮廓，从而得到目标物区域；
S308、计算所述目标物区域中各个像素点的像素值，根据各个像素点的像素值的差值判断所述目标物区域内是否覆盖遮挡物区域；
S309、当判断所述目标物区域内覆盖遮挡物区域时，计算所述遮挡物区域的像素点数量和所述目标物区域的像素点数量；
S310、判断所述遮挡物区域的像素点数量和所述目标物区域的像素点数量的比值是否大于预设第一比值，若判断所述遮挡物区域的像素点数量和所述目标物区域的像素点数量的比值大于所述预设第一比值时，则剔除相应的图像。
2.根据权利要求1所述的输电系统的小目标识别方法，其特征在于，步骤S1具体包括：
S101、通过输电系统的现场摄像头获取具有目标物的图像，识别所述具有目标物的图像的背景，根据背景类型将所述具有目标物的图像按照VOC图像集格式创建不同的图像集；
S102、基于预设的图像增强算法池中随机选择一种或多种图像增强算法对所述图像集进行图像增强处理，所述预设的图像增强算法池内包括基于直方图均衡化的图像增强算法、基于拉普拉斯算子的图像增强算法、基于伽马变换的图像增强和基于主动光照的图像增强算法。
3.根据权利要求1所述的输电系统的小目标识别方法，其特征在于，步骤S2具体包括：
S201、对经图像增强处理后的所述图像集进行增广处理，其中，增广处理的方式包括亮度变换、饱和度变换、对比度变换、翻转变换、随机修剪、噪声扰动和旋转变换；
S202、对经增广处理的所述图像集进行尺寸调整，将所述图像集的尺寸调整为统一的目标尺寸。
4.根据权利要求1所述的输电系统的小目标识别方法，其特征在于，步骤S306之后包括：
S3061、检测所述目标物区域与所述背景区域之间的相对位置，若检测到所述目标物区域在所述背景区域的边缘处，则根据所述目标物的形态轮廓特征构建与所述目标物区域在同尺寸比例下的所述目标物的原始轮廓区域，计算所述目标物的原始轮廓区域的面积和所述目标物区域的面积，判断所述目标物区域的面积和所述目标物的原始轮廓区域的面积的比值是否小于预设第二比值，若判断所述目标物区域的面积和所述目标物的原始轮廓区域的面积的比值小于所述预设第二比值时，则剔除相应的图像。
5.一种输电系统的小目标识别装置，其特征在于，包括：图像获取模块、图像处理模块、标记模块、划分模块、特征提取模块、训练模块和识别模块；
所述图像获取模块，用于获取具有目标物的图像集，对所述图像集进行图像增强处理；
所述图像处理模块，用于对经图像增强处理后的所述图像集进行增广处理，还用于对经增广处理的所述图像集进行尺寸调整，将所述图像集的尺寸调整为统一的目标尺寸；
所述标记模块，用于基于标注软件在所述图像集中利用矩形框标记每个图像中的所述目标物，还用于获得所述目标物的真实位置，还用于在每个矩形框中所述目标物对应的真实位置上添加类别标签，还用于以XML文件保存所述目标物真实位置及其对应的类别标签；
所述划分模块，用于将标记后的所述图像集划分为训练集、样本集和测试集；
所述特征提取模块，用于将所述训练集输入到Darknet 53神经网络中训练，输出所述目标物的特征信息，以构建特征提取模型，所述Darknet 53神经网络包括群组归一化层；
所述训练模块，用于基于深度卷积神经网络对所述样本集进行训练，以建立图像目标识别模型，所述深度卷积神经网络以所述特征提取模型作为特征提取器；
所述识别模块，用于基于所述图像目标识别模型对所述测试集进行目标识别，以得到所述测试集中的目标物的类别及其对应位置的识别结果；
还包括掩码模块、轮廓特征获取模块、灰度处理模块、景深划分模块、阈值分割模块、剔除模块、连通区域检测模块、遮挡物检测模块、像素点数量计算模块和遮挡物图像处理模块；
所述掩码模块，用于获取具有完整目标物轮廓的原始图像，还用于对所述原始图像进行语义分割，获得所述原始图像的掩码图像，还用于将所述掩码图像映射到所述原始图像，分割出所述原始图像中完整目标物轮廓的所在区域，还用于将所述原始图像中完整目标物轮廓的所在区域作为处理图像；
所述轮廓特征获取模块，用于对所述处理图像进行二值化分割处理，获得二值化图像，还用于提取所述二值化图像中的所述完整目标物轮廓的形态轮廓特征；
所述灰度处理模块，用于对所述图像集进行灰度处理，得到灰度图像集；
所述景深划分模块，用于利用景深将所述灰度图像集中的每个灰度图像分为前景和背景区域；
所述阈值分割模块，用于将所述前景进行二值化阈值分割，还用于提取轮廓线，从而形成若干个二值化前景子区域；
所述剔除模块，用于剔除像素面积小于预设像素面积的二值化前景子区域，还用于根据剔除后的各个二值化前景子区域得到各个候选区域；
所述连通区域检测模块，用于根据所述目标物的形态轮廓特征在各个候选区域中进行形态学分析，以确定目标物的形态轮廓，从而得到目标物区域；
所述遮挡物检测模块，用于计算所述目标物区域中各个像素点的像素值，还用于根据各个像素点的像素值的差值判断所述目标物区域内是否覆盖遮挡物区域；
所述像素点数量计算模块，用于当判断所述目标物区域内覆盖遮挡物区域时，计算所述遮挡物区域的像素点数量和所述目标物区域的像素点数量；
所述遮挡物图像处理模块，用于判断所述遮挡物区域的像素点数量和所述目标物区域的像素点数量的比值是否大于预设第一比值，还用于若判断所述遮挡物区域的像素点数量和所述目标物区域的像素点数量的比值大于所述预设第一比值时，则剔除相应的图像。
6.根据权利要求5所述的输电系统的小目标识别装置，其特征在于，所述图像获取模块具体包括图像集创建子模块和图像增强子模块；
所述图像集创建子模块，用于通过输电系统的现场摄像头获取具有目标物的图像，还用于识别所述具有目标物的图像的背景，还用于根据背景类型将所述具有目标物的图像按照VOC图像集格式创建不同的图像集；
所述图像增强子模块，用于基于预设的图像增强算法池中随机选择一种或多种图像增强算法对所述图像集进行图像增强处理，所述预设的图像增强算法池内包括基于直方图均衡化的图像增强算法、基于拉普拉斯算子的图像增强算法、基于伽马变换的图像增强和基于主动光照的图像增强算法。
7.根据权利要求5所述的输电系统的小目标识别装置，其特征在于，所述图像处理模块具体包括：增广处理子模块和尺寸调整子模块；
所述增广处理子模块用于对经图像增强处理后的所述图像集进行增广处理，其中，增广处理的方式包括亮度变换、饱和度变换、对比度变换、翻转变换、随机修剪、噪声扰动和旋转变换；
所述尺寸调整子模块用于对经增广处理的所述图像集进行尺寸调整，将所述图像集的尺寸调整为统一的目标尺寸。
8.根据权利要求5所述的输电系统的小目标识别装置，其特征在于，还包括：边缘图像处理模块，用于检测所述目标物区域与所述背景区域之间的相对位置，还用于若检测到所述目标物区域在所述背景区域的边缘处，则根据所述目标物的形态轮廓特征构建与所述目标物区域在同尺寸比例下的所述目标物的原始轮廓区域，还用于计算所述目标物的原始轮廓区域的面积和所述目标物区域的面积，还用于判断所述目标物区域的面积和所述目标物的原始轮廓区域的面积的比值是否小于预设第二比值，还用于若判断所述目标物区域的面积和所述目标物的原始轮廓区域的面积的比值小于所述预设第二比值时，则剔除相应的图像。
CN202110819296.XA 2021-07-20 2021-07-20 一种输电系统的小目标识别方法及装置 Active CN113435407B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110819296.XA CN113435407B (zh) 2021-07-20 2021-07-20 一种输电系统的小目标识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110819296.XA CN113435407B (zh) 2021-07-20 2021-07-20 一种输电系统的小目标识别方法及装置

Publications (2)

Publication Number Publication Date
CN113435407A CN113435407A (zh) 2021-09-24
CN113435407B true CN113435407B (zh) 2023-01-24

Family

ID=77761127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110819296.XA Active CN113435407B (zh) 2021-07-20 2021-07-20 一种输电系统的小目标识别方法及装置

Country Status (1)

Country Link
CN (1) CN113435407B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082775B (zh) * 2022-07-27 2022-12-02 中国科学院自动化研究所 基于图像分块的超分辨率增强小目标检测方法
CN115648224A (zh) * 2022-12-22 2023-01-31 北京钢铁侠科技有限公司 一种基于双深度相机识别定位的机械臂抓取方法
CN116758024B (zh) * 2023-06-13 2024-02-23 山东省农业科学院 一种花生种子方向识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012213747A1 (de) * 2012-08-02 2014-02-06 Carl Zeiss Optronics Gmbh Verfahren und Zieleinrichtung zur Ermittlung einer Wahrscheinlichkeit eines Treffers eines Zielobjekts
WO2016026371A1 (en) * 2014-08-22 2016-02-25 Zhejiang Shenghui Lighting Co., Ltd. Fast object detection method based on deformable part model (dpm)
CN111524135A (zh) * 2020-05-11 2020-08-11 安徽继远软件有限公司 基于图像增强的输电线路细小金具缺陷检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101391668B1 (ko) * 2013-02-06 2014-05-07 한국과학기술연구원 4도체 송전선상의 주행장애물 인식시스템 및 주행장애물 인식방법
CN109344753A (zh) * 2018-09-21 2019-02-15 福州大学 一种基于深度学习的航拍图像输电线路细小金具识别方法
CN111862013B (zh) * 2020-07-08 2024-02-02 湘潭大学 基于深度卷积神经网络的绝缘子检测方法、装置及设备
CN112184692B (zh) * 2020-10-13 2024-02-27 辽宁工程技术大学 一种输电线路多目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012213747A1 (de) * 2012-08-02 2014-02-06 Carl Zeiss Optronics Gmbh Verfahren und Zieleinrichtung zur Ermittlung einer Wahrscheinlichkeit eines Treffers eines Zielobjekts
WO2016026371A1 (en) * 2014-08-22 2016-02-25 Zhejiang Shenghui Lighting Co., Ltd. Fast object detection method based on deformable part model (dpm)
CN111524135A (zh) * 2020-05-11 2020-08-11 安徽继远软件有限公司 基于图像增强的输电线路细小金具缺陷检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
变背景下斑点状散布目标自动识别算法;柴饶军等;《航空计算技术》;20040930(第03期);第61-64页 *

Also Published As

Publication number Publication date
CN113435407A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN111046880A (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN110070008B (zh) 一种采用无人机图像的桥梁病害识别方法
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN109360179B (zh) 一种图像融合方法、装置及可读存储介质
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN111369526B (zh) 基于半监督深度学习的多类型旧桥裂痕识别方法
CN110059539A (zh) 一种基于图像分割的自然场景文本位置检测方法
CN111695373B (zh) 斑马线的定位方法、系统、介质及设备
CN111353396A (zh) 一种基于SCSEOCUnet的混凝土裂缝分割方法
CN113505702A (zh) 基于双神经网络优化的路面病害识别方法及系统
CN113205507B (zh) 一种视觉问答方法、系统及服务器
CN113378642B (zh) 一种对农村违法占地建筑物进行检测的方法
CN113988222A (zh) 一种基于Faster-RCNN的森林火灾检测与识别方法
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
Varkentin et al. Development of an application for car license plates recognition using neural network technologies
CN116152191A (zh) 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备
CN110163081A (zh) 基于ssd的实时区域入侵检测方法、系统及存储介质
Rani et al. Object Detection in Natural Scene Images Using Thresholding Techniques
CN116503406B (zh) 基于大数据的水利工程信息管理系统
CN114119754B (zh) 基于连通粒的像素级火灾烟雾根节点检测方法
CN113505653B (zh) 目标检测方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant