CN112862766B - 一种基于图像数据扩充技术的绝缘子检测方法及系统 - Google Patents

一种基于图像数据扩充技术的绝缘子检测方法及系统 Download PDF

Info

Publication number
CN112862766B
CN112862766B CN202110116012.0A CN202110116012A CN112862766B CN 112862766 B CN112862766 B CN 112862766B CN 202110116012 A CN202110116012 A CN 202110116012A CN 112862766 B CN112862766 B CN 112862766B
Authority
CN
China
Prior art keywords
virtual scene
positive sample
neural network
sample image
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110116012.0A
Other languages
English (en)
Other versions
CN112862766A (zh
Inventor
王亚茹
张效铭
杨凯
翟永杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202110116012.0A priority Critical patent/CN112862766B/zh
Publication of CN112862766A publication Critical patent/CN112862766A/zh
Application granted granted Critical
Publication of CN112862766B publication Critical patent/CN112862766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像数据扩充技术的绝缘子检测方法，所述绝缘子检测方法通过创建虚拟场景正样本图像，对绝缘子的实际场景正样本图像进行数据扩充，并借鉴控制理论中的“闭环”机制，基于导向反向传播算法对虚拟场景正样本图像进行反馈补偿，提高虚拟场景正样本图像的质量和数据扩充的效果，得到数量与质量更佳的训练集，使得卷积神经网络的训练更加充分，进一步提升网络的绝缘子识别性能，即提高深度学习算法在绝缘子识别上的准确率。

Description

一种基于图像数据扩充技术的绝缘子检测方法及系统
技术领域
本发明涉及图像识别领域，特别是涉及一种基于图像数据扩充技术的绝缘子检测方法及系统。
背景技术
近年来，深度学习算法在计算机视觉领域取得显著成效，也逐渐被应用于绝缘子的自动检测研究中。然而，目前公开的绝缘子数据集稀少；绝缘子种类、长度、角度各异，航拍视角和视距变化很大，现场样本采集不全面，多样性差；不同状况的绝缘子样本数量差异大，样本分布不平衡；样本标注过程困难，因此样本集在数量和质量上均难以满足深度学习算法的要求，导致深度学习算法无法充分训练，在绝缘子识别上的准确率难以满足要求，如何克服该技术缺陷，提高深度学习算法在绝缘子识别上的准确率，成为一个亟待解决的技术问题。
发明内容
本发明的目的是提供一种基于图像数据扩充技术的绝缘子检测方法及系统，以提高深度学习算法在绝缘子识别上的准确率。
为实现上述目的，本发明提供了如下方案：
一种基于图像数据扩充技术的绝缘子检测方法，所述绝缘子检测方法包括如下步骤：
获取绝缘子的M张实际场景正样本图像和M张实际场景负样本图像，建立训练集；
利用所述训练集训练卷积神经网络，获得一次训练后的卷积神经网络；
获取绝缘子的N张虚拟场景正样本图像；
将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络，获得每张所述虚拟场景正样本图像的识别结果；
分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，计算每张所述虚拟场景正样本图像的响应强度矩阵；
分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿，获得N张补偿后的虚拟场景正样本图像；
将N张补偿后的虚拟场景正样本图像和N张实际场景负样本图像添加至所述训练集，获得扩充后的训练集；
利用扩充后的训练集训练所述卷积神经网络，获得二次训练后的卷积神经网络；
将待识别的实际场景图像输入二次训练后的卷积神经网络，进行绝缘子识别。
可选的，所述获取绝缘子的N张虚拟场景正样本图像，具体包括：
采用3Ds MAX虚拟场景建模软件平台搭建绝缘子所在的虚拟场景；
利用KeyShot软件对虚拟场景中的绝缘子进行渲染，获得渲染后的虚拟场景；
在渲染后的虚拟场景中设置虚拟物体自转平台和多台虚拟摄像机；
利用所述虚拟物体自转平台和多台所述虚拟摄像机，采用360°旋转拍照、由远及近拍照和/或自定义相机路径拍照的方式，制作多个虚拟场景动画；
利用所述KeyShot软件分别截取多个虚拟场景动画中的每帧图像，作为虚拟场景正样本图像。
可选的，所述分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，计算每张所述虚拟场景正样本图像的响应强度矩阵，具体包括：
分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，利用公式
Figure BDA0002920677710000021
计算每张所述虚拟场景正样本图像的响应强度矩阵R，其中，
Figure BDA0002920677710000022
表示反向计算过程中卷积神经网络第l层第i个通道的梯度，
Figure BDA0002920677710000023
表示反向计算过程中卷积神经网络第l+1层第i个通道的梯度，
Figure BDA0002920677710000025
为反向计算过程中卷积神经网络第l层第i个通道的输入，Back(·)为反向传播的回传操作函数，响应强度矩阵R为当l＝0时，i＝1,2,3时的
Figure BDA0002920677710000024
构成矩阵。
可选的，所述分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿，获得N张补偿后的虚拟场景正样本图像，具体包括：
利用公式R'＝Exp(R)，分别对每张所述虚拟场景正样本图像的响应强度矩阵进行规范化处理，获得每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵；其中，R表示虚拟场景正样本图像的响应强度矩阵，R'表示虚拟场景正样本图像的规范化处理后的响应强度矩阵；
分别根据每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵，利用公式
Figure BDA0002920677710000031
对每张所述虚拟场景正样本图像进行补偿，获得N张初步补偿后的虚拟场景正样本图像；其中，PO表示虚拟场景正样本图像的像素矩阵，PCO表示初步补偿后的虚拟场景正样本图像的像素矩阵，运算符
Figure BDA0002920677710000032
为哈达马积运算符；
利用公式
Figure BDA0002920677710000033
分别对每张所述初步补偿后的虚拟场景正样本图像进行规范化处理，获得N张补偿后的虚拟场景正样本图像；其中，PC表示补偿后的虚拟场景正样本图像的像素矩阵。
可选的，所述利用扩充后的训练集训练所述卷积神经网络，获得二次训练后的卷积神经网络，之后还包括：
获取绝缘子的S张实际场景正样本图像和S张实际场景正样本图像，建立测试集；
分别将所述测试集中的每个样本输入所述二次训练后的卷积神经网络，获得每个样本的识别结果；所述样本为正样本或负样本，所述正样本为实际场景正样本图像，所述负样本为实际场景负样本图像；
根据每张实际场景样本图像的识别结果，利用公式
Figure BDA0002920677710000034
计算二次训练后的卷积神经网络的准确率；
根据每张实际场景样本图像的识别结果，利用公式
Figure BDA0002920677710000035
计算二次训练后的卷积神经网络的精确率；
根据每张实际场景样本图像的识别结果，利用公式
Figure BDA0002920677710000041
计算二次训练后的卷积神经网络的召回率；
根据每张实际场景样本图像的识别结果，利用公式
Figure BDA0002920677710000042
计算二次训练后的卷积神经网络的FI值；
根据所述准确率、所述精确率、所述召回率和所述FI值，确定二次训练后的卷积神经网络的性能；
其中，Accuracy、Precision、Recall和F1分别表示二次训练后的卷积神经网络的准确率、精确率、召回率和FI值，TP表示被二次训练后的卷积神经网络预测为正类的正样本，TN表示被二次训练后的卷积神经网络预测为负类的负样本，FP表示被二次训练后的卷积神经网络预测为正类的负样本，FN表示被二次训练后的卷积神经网络预测为负类的正样本。
一种基于图像数据扩充技术的绝缘子检测系统，所述绝缘子检测系统包括：
训练集获取模块，用于获取绝缘子的M张实际场景正样本图像和M张实际场景负样本图像，建立训练集；
一次训练模块，用于利用所述训练集训练卷积神经网络，获得一次训练后的卷积神经网络；
虚拟场景正样本图像获取模块，用于获取绝缘子的N张虚拟场景正样本图像；
第一识别模块，用于将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络，获得每张所述虚拟场景正样本图像的识别结果；
响应强度矩阵计算模块，用于分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，计算每张所述虚拟场景正样本图像的响应强度矩阵；
补偿模块，用于分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿，获得N张补偿后的虚拟场景正样本图像；
训练集扩充模块，用于将N张补偿后的虚拟场景正样本图像和N张实际场景负样本图像添加至所述训练集，获得扩充后的训练集；
二次训练模块，用于利用扩充后的训练集训练所述卷积神经网络，获得二次训练后的卷积神经网络；
第二识别模块，用于将待识别的实际场景图像输入二次训练后的卷积神经网络，进行绝缘子识别。
可选的，所述虚拟场景正样本图像获取模块，具体包括：
虚拟场景搭建子模块，用于采用3Ds MAX虚拟场景建模软件平台搭建绝缘子所在的虚拟场景；
绝缘子渲染子模块，用于利用KeyShot软件对虚拟场景中的绝缘子进行渲染，获得渲染后的虚拟场景；
虚拟相机设置子模块，用于在渲染后的虚拟场景中设置虚拟物体自转平台和多台虚拟摄像机；
虚拟场景动画生成子模块，用于利用所述虚拟物体自转平台和多台所述虚拟摄像机，采用360°旋转拍照、由远及近拍照和/或自定义相机路径拍照的方式，制作多个虚拟场景动画；
图像截取子模块，用于利用所述KeyShot软件分别截取多个虚拟场景动画中的每帧图像，作为虚拟场景正样本图像。
可选的，所述响应强度矩阵计算模块，具体包括：
响应强度矩阵计算子模块，用于分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，利用公式
Figure BDA0002920677710000051
计算每张所述虚拟场景正样本图像的响应强度矩阵R，其中，
Figure BDA0002920677710000052
表示反向计算过程中卷积神经网络第l层第i个通道的梯度，
Figure BDA0002920677710000053
表示反向计算过程中卷积神经网络第l+1层第i个通道的梯度，
Figure BDA0002920677710000056
为反向计算过程中卷积神经网络第l层第i个通道的输入，Back(·)为反向传播的回传操作函数，响应强度矩阵R为当l＝0时，i＝1,2,3时的
Figure BDA0002920677710000055
构成矩阵。
可选的，所述补偿模块，具体包括：
第一规范化处理子模块，用于利用公式R'＝Exp(R)，分别对每张所述虚拟场景正样本图像的响应强度矩阵进行规范化处理，获得每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵；其中，R表示虚拟场景正样本图像的响应强度矩阵，R'表示虚拟场景正样本图像的规范化处理后的响应强度矩阵；
虚拟场景正样本图像补偿子模块，用于分别根据每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵，利用公式
Figure BDA0002920677710000061
对每张所述虚拟场景正样本图像进行补偿，获得N张初步补偿后的虚拟场景正样本图像；其中，PO表示虚拟场景正样本图像的像素矩阵，PCO表示初步补偿后的虚拟场景正样本图像的像素矩阵，运算符
Figure BDA0002920677710000062
为哈达马积运算符；
第二规范化处理子模块，用于利用公式
Figure BDA0002920677710000063
分别对每张所述初步补偿后的虚拟场景正样本图像进行规范化处理，获得N张补偿后的虚拟场景正样本图像；其中，PC表示补偿后的虚拟场景正样本图像的像素矩阵。
可选的，所述绝缘子检测系统还包括：
测试集建立模块，用于获取绝缘子的S张实际场景正样本图像和S张实际场景正样本图像，建立测试集；
第三识别模块，用于分别将所述测试集中的每样本输入所述二次训练后的卷积神经网络，获得每个样本的识别结果；所述样本为正样本或负样本，所述正样本为实际场景正样本图像，所述负样本为实际场景负样本图像；
准确率计算模块，用于根据每张实际场景样本图像的识别结果，利用公式
Figure BDA0002920677710000064
计算二次训练后的卷积神经网络的准确率；
精确率计算模块，用于根据每张实际场景样本图像的识别结果，利用公式
Figure BDA0002920677710000065
计算二次训练后的卷积神经网络的精确率；
召回率计算模块，用于根据每张实际场景样本图像的识别结果，利用公式
Figure BDA0002920677710000066
计算二次训练后的卷积神经网络的召回率；
FI值计算模块，用于根据每张实际场景样本图像的识别结果，利用公式
Figure BDA0002920677710000071
计算二次训练后的卷积神经网络的FI值；
性能确定模块，用于根据所述准确率、所述精确率、所述召回率和所述FI值，确定二次训练后的卷积神经网络的性能；
其中，Accuracy、Precision、Recall和F1分别表示二次训练后的卷积神经网络的准确率、精确率、召回率和FI值，TP表示被二次训练后的卷积神经网络预测为正类的正样本，TN表示被二次训练后的卷积神经网络预测为负类的负样本，FP表示被二次训练后的卷积神经网络预测为正类的负样本，FN表示被二次训练后的卷积神经网络预测为负类的正样本。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种基于图像数据扩充技术的绝缘子检测方法，所述绝缘子检测方法包括如下步骤：获取绝缘子的M张实际场景正样本图像和M张实际场景负样本图像，建立训练集；利用所述训练集训练卷积神经网络，获得一次训练后的卷积神经网络；获取绝缘子的N张虚拟场景正样本图像；将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络，获得每张所述虚拟场景正样本图像的识别结果；分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，计算每张所述虚拟场景正样本图像的响应强度矩阵；分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿，获得N张补偿后的虚拟场景正样本图像；将N张补偿后的虚拟场景正样本图像和N张实际场景负样本图像添加至所述训练集，获得扩充后的训练集；利用扩充后的训练集训练所述卷积神经网络，获得二次训练后的卷积神经网络；将待识别的实际场景图像输入二次训练后的卷积神经网络，进行绝缘子识别。本发明通过创建虚拟场景正样本图像，对绝缘子的实际场景正样本图像进行数据扩充，并借鉴控制理论中的“闭环”机制，基于导向反向传播算法对虚拟场景正样本图像进行反馈补偿，提高虚拟场景正样本图像的质量和数据扩充的效果，得到数量与质量更佳的训练集，使得卷积神经网络的训练更加充分，进一步提升网络的绝缘子识别性能，即提高深度学习算法在绝缘子识别上的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于图像数据扩充技术的绝缘子检测方法的流程图；
图2为本发明提供的一种基于图像数据扩充技术的绝缘子检测方法的原理图；
图3为本发明提供的AlexNet网络的结构图；
图4为本发明提供的二次训练后的卷积神经网络性能测试的原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于图像数据扩充技术的绝缘子检测方法及系统，以提高深度学习算法在绝缘子识别上的准确率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和2所示，本发明提供一种基于图像数据扩充技术的绝缘子检测方法，所述绝缘子检测方法包括如下步骤：
步骤101，获取绝缘子的M张实际场景正样本图像和M张实际场景负样本图像，建立训练集。
本发明还获取了绝缘子的S张实际场景正样本图像和S张实际场景正样本图像，建立测试集，用于二次训练后的卷积神经网络的测试。
采用的实际场景图像数据集由固定摄像头拍摄或无人机航拍获得，为128×128像素的三通道图像，总计8000张，主要目标为4到16个伞裙的绝缘子串或串组；绝缘子材质包括玻璃、陶瓷、复合材料等；背景包括绿色森林、灰黄色荒野、农业用地、工业用地、未降水的天空等；光照情况随机。图像中有绝缘子的为正样本，没有绝缘子的为负样本。随机分别抽取实际场景正样本图像和负样本图像各2000张组成训练集，随机分别抽取实际场景正样本图像和负样本图像各1000张组成测试集。即，M的数值为2000，S的数值为1000。
步骤102，利用所述训练集训练卷积神经网络，获得一次训练后的卷积神经网络。本发明的卷积神经网络为AlexNet网络、VGG16网络、VGG11网络或VGG13网络等。其中，AlexNet网络的结构如图3所示。
将训练集中的实际场景样本图像输入卷积神经网络进行训练，并保存训练完成后的网络参数。实际场景图像为实际场景正样本图像或实际场景负样本图像。
步骤103，获取绝缘子的N张虚拟场景正样本图像。
步骤103所述获取绝缘子的N张虚拟场景正样本图像，具体包括：采用3Ds MAX虚拟场景建模软件平台搭建绝缘子所在的虚拟场景；利用KeyShot软件对虚拟场景中的绝缘子进行渲染，获得渲染后的虚拟场景；在渲染后的虚拟场景中设置虚拟物体自转平台和多台虚拟摄像机；利用所述虚拟物体自转平台和多台所述虚拟摄像机，采用360°旋转拍照、由远及近拍照和/或自定义相机路径拍照的方式，制作多个虚拟场景动画；利用所述KeyShot软件分别截取多个虚拟场景动画中的每帧图像，作为虚拟场景正样本图像。
具体的，采用3Ds MAX虚拟场景建模软件平台，结合电力设备的标准和规范文件等先验知识确定建模参数，结合真实场景中的常见要素设定人工场景构建要素，模拟出逼真度较高的虚拟3D人工场景，通过内置虚拟摄像机和旋转平台从人工场景中获得人工图像。在绝缘子的渲染环节，依托KeyShot软件的实时渲染功能，对不同材质和不同规格的电力设备在不同背景下进行渲染。设置虚拟物体自转平台和多台虚拟摄像机，采用360°旋转拍照、由远及近拍照以及自定义相机路径，制作多个小型动画，通过KeyShot软件对动画每帧图像进行截取，最终得到128×128像素的三通道图像，总计1000张，目标为包含4到20个伞裙的绝缘子串；材质为乳白色陶瓷；背景为纯黑色；绝缘子大小、角度各异。即，N的数值为1000。
步骤104，将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络，获得每张所述虚拟场景正样本图像的识别结果。
步骤105，分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，计算每张所述虚拟场景正样本图像的响应强度矩阵。
步骤105所述分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，计算每张所述虚拟场景正样本图像的响应强度矩阵，具体包括：分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，利用公式
Figure BDA0002920677710000101
计算每张所述虚拟场景正样本图像的响应强度矩阵R，其中，
Figure BDA0002920677710000102
表示反向计算过程中卷积神经网络第l层第i个通道的梯度，
Figure BDA0002920677710000103
表示反向计算过程中卷积神经网络第l+1层第i个通道的梯度，即第l+1层的输出对第l+1层第i个通道的输入的偏导，
Figure BDA0002920677710000104
Figure BDA00029206777100001010
为反向计算过程中卷积神经网络第l层第i个通道的输入，
Figure BDA0002920677710000106
为第l+1层的输出，
Figure BDA0002920677710000107
为第l+1层第i个通道的输入，Back(·)为反向传播的回传操作函数，响应强度矩阵R为当l＝0时，i＝1,2,3时的
Figure BDA0002920677710000108
构成矩阵，i表示第l层的第i个通道，l＝0,1,...,L,L为所有卷积神经网络的卷积层数。
具体的，将1000张虚拟场景正样本图像输入一次训练后的卷积神经网络，根据公式(1)所示的导向反向传播算法，计算图像的响应强度矩阵，记为RG，其中各元素即为响应强度值，分布于0附近。
Figure BDA0002920677710000109
步骤106，分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿，获得N张补偿后的虚拟场景正样本图像。
步骤106所述分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿，获得N张补偿后的虚拟场景正样本图像，具体包括：利用公式R'＝Exp(R)，分别对每张所述虚拟场景正样本图像的响应强度矩阵进行规范化处理，获得每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵；其中，R表示虚拟场景正样本图像的响应强度矩阵，R'表示虚拟场景正样本图像的规范化处理后的响应强度矩阵；分别根据每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵，利用公式
Figure BDA0002920677710000111
对每张所述虚拟场景正样本图像进行补偿，获得N张初步补偿后的虚拟场景正样本图像；其中，PO表示虚拟场景正样本图像的像素矩阵，PCO表示初步补偿后的虚拟场景正样本图像的像素矩阵，运算符
Figure BDA0002920677710000112
为哈达马积运算符；利用公式
Figure BDA0002920677710000113
分别对每张所述初步补偿后的虚拟场景正样本图像进行规范化处理，获得N张补偿后的虚拟场景正样本图像；其中，PC表示补偿后的虚拟场景正样本图像的像素矩阵。
具体的，采用以自然常数e为底的指数函数，将响应强度矩阵R的各元素值由0附近变换到1附近，得到规范化处理后的响应强度矩阵Exp(R)。
将输入一次训练后的卷积神经网络的虚拟场景正样本图像的像素矩阵记为PO，计算PO与规范化处理后的响应强度矩阵的哈达马积(Hadamard product),得到初步补偿后的虚拟场景正样本图像PCO：
Figure BDA0002920677710000114
其中，运算符
Figure BDA0002920677710000115
为哈达马积运算符。
对初步补偿后的虚拟场景正样本图像PCO进行规范化处理，得到补偿后的虚拟场景正样本图像PC：
Figure BDA0002920677710000116
步骤107，将N张补偿后的虚拟场景正样本图像和N张实际场景负样本图像添加至所述训练集，获得扩充后的训练集。
将补偿后的虚拟场景正样本图像加入训练集中，同时加入相同数量的实际场景负样本图像，对训练集进行扩充。
步骤108，利用扩充后的训练集训练所述卷积神经网络，获得二次训练后的卷积神经网络。
步骤108所述利用扩充后的训练集训练所述卷积神经网络，获得二次训练后的卷积神经网络，之后还包括：
获取绝缘子的S张实际场景正样本图像和S张实际场景正样本图像，建立测试集；
分别将所述测试集中的每样本输入所述二次训练后的卷积神经网络，获得每个样本的识别结果；所述样本为正样本或负样本，所述正样本为实际场景正样本图像，所述负样本为实际场景正样本图像；
根据每张实际场景样本图像的识别结果，利用公式(4)计算二次训练后的卷积神经网络的准确率；
Figure BDA0002920677710000121
根据每张实际场景样本图像的识别结果，利用公式(5)，计算二次训练后的卷积神经网络的精确率；
Figure BDA0002920677710000122
根据每张实际场景样本图像的识别结果，利用公式(6)，计算二次训练后的卷积神经网络的召回率；
Figure BDA0002920677710000123
根据每张实际场景样本图像的识别结果，利用公式(7)，计算二次训练后的卷积神经网络的FI值；
Figure BDA0002920677710000124
根据所述准确率、所述精确率、所述召回率和所述FI值，确定二次训练后的卷积神经网络的性能；
其中，Accuracy、Precision、Recall和F1分别表示二次训练后的卷积神经网络的准确率、精确率、召回率和FI值，TP表示被二次训练后的卷积神经网络预测为正类的正样本，TN表示被二次训练后的卷积神经网络预测为负类的负样本，FP表示被二次训练后的卷积神经网络预测为正类的负样本，FN表示被二次训练后的卷积神经网络预测为负类的正样本。
步骤109，将待识别的实际场景图像输入二次训练后的卷积神经网络，进行绝缘子识别。
一种基于图像数据扩充技术的绝缘子检测系统，所述绝缘子检测系统包括：
训练集获取模块，用于获取绝缘子的M张实际场景正样本图像和M张实际场景负样本图像，建立训练集；
一次训练模块，用于利用所述训练集训练卷积神经网络，获得一次训练后的卷积神经网络；
虚拟场景正样本图像获取模块，用于获取绝缘子的N张虚拟场景正样本图像。
所述虚拟场景正样本图像获取模块，具体包括：虚拟场景搭建子模块，用于采用3Ds MAX虚拟场景建模软件平台搭建绝缘子所在的虚拟场景；绝缘子渲染子模块，用于利用KeyShot软件对虚拟场景中的绝缘子进行渲染，获得渲染后的虚拟场景；虚拟相机设置子模块，用于在渲染后的虚拟场景中设置虚拟物体自转平台和多台虚拟摄像机；虚拟场景动画生成子模块，用于利用所述虚拟物体自转平台和多台所述虚拟摄像机，采用360°旋转拍照、由远及近拍照和/或自定义相机路径拍照的方式，制作多个虚拟场景动画；图像截取子模块，用于利用所述KeyShot软件分别截取多个虚拟场景动画中的每帧图像，作为虚拟场景正样本图像。
第一识别模块，用于将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络，获得每张所述虚拟场景正样本图像的识别结果；
响应强度矩阵计算模块，用于分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，计算每张所述虚拟场景正样本图像的响应强度矩阵。
所述响应强度矩阵计算模块，具体包括：响应强度矩阵计算子模块，用于分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，利用公式
Figure BDA0002920677710000131
计算每张所述虚拟场景正样本图像的响应强度矩阵R，其中，
Figure BDA0002920677710000132
表示反向计算过程中卷积神经网络第l层第i个通道的梯度，
Figure BDA0002920677710000133
表示反向计算过程中卷积神经网络第l+1层第i个通道的梯度，
Figure BDA0002920677710000136
为反向计算过程中卷积神经网络第l层第i个通道的输入，Back(·)为反向传播的回传操作函数，响应强度矩阵R为当l＝0时，i＝1,2,3时的
Figure BDA0002920677710000135
构成矩阵。
补偿模块，用于分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿，获得N张补偿后的虚拟场景正样本图像。
所述补偿模块，具体包括：第一规范化处理子模块，用于利用公式R'＝Exp(R)，分别对每张所述虚拟场景正样本图像的响应强度矩阵进行规范化处理，获得每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵；其中，R表示虚拟场景正样本图像的响应强度矩阵，R'表示虚拟场景正样本图像的规范化处理后的响应强度矩阵；虚拟场景正样本图像补偿子模块，用于分别根据每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵，利用公式
Figure BDA0002920677710000141
对每张所述虚拟场景正样本图像进行补偿，获得N张初步补偿后的虚拟场景正样本图像；其中，PO表示虚拟场景正样本图像的像素矩阵，PCO表示初步补偿后的虚拟场景正样本图像的像素矩阵，运算符
Figure BDA0002920677710000142
为哈达马积运算符；第二规范化处理子模块，用于利用公式
Figure BDA0002920677710000143
分别对每张所述初步补偿后的虚拟场景正样本图像进行规范化处理，获得N张补偿后的虚拟场景正样本图像；其中，PC表示补偿后的虚拟场景正样本图像的像素矩阵。
训练集扩充模块，用于将N张补偿后的虚拟场景正样本图像和N张实际场景负样本图像添加至所述训练集，获得扩充后的训练集；
二次训练模块，用于利用扩充后的训练集训练所述卷积神经网络，获得二次训练后的卷积神经网络；
第二识别模块，用于将待识别的实际场景图像输入二次训练后的卷积神经网络，进行绝缘子识别。
所述绝缘子检测系统还包括：测试集建立模块，用于获取绝缘子的S张实际场景正样本图像和S张实际场景正样本图像，建立测试集；第三识别模块，用于分别将所述测试集中的每样本输入所述二次训练后的卷积神经网络，获得每个样本的识别结果；所述样本为正样本或负样本，所述正样本为实际场景正样本图像，所述负样本为实际场景正样本图像；准确率计算模块，用于根据每张实际场景样本图像的识别结果，利用公式
Figure BDA0002920677710000144
计算二次训练后的卷积神经网络的准确率；精确率计算模块，用于根据每张实际场景样本图像的识别结果，利用公式
Figure BDA0002920677710000151
计算二次训练后的卷积神经网络的精确率；召回率计算模块，用于根据每张实际场景样本图像的识别结果，利用公式
Figure BDA0002920677710000152
计算二次训练后的卷积神经网络的召回率；FI值计算模块，用于根据每张实际场景样本图像的识别结果，利用公式
Figure BDA0002920677710000153
计算二次训练后的卷积神经网络的FI值；性能确定模块，用于根据所述准确率、所述精确率、所述召回率和所述FI值，确定二次训练后的卷积神经网络的性能；其中，Accuracy、Precision、Recall和F1分别表示二次训练后的卷积神经网络的准确率、精确率、召回率和FI值，TP表示被二次训练后的卷积神经网络预测为正类的正样本，TN表示被二次训练后的卷积神经网络预测为负类的负样本，FP表示被二次训练后的卷积神经网络预测为正类的负样本，FN表示被二次训练后的卷积神经网络预测为负类的正样本。
与本发明最相近的方案：
(1)基于深度学习的数据扩充方法，主要有对抗攻击、生成式方法和风格迁移。对抗攻击采用对抗性的数据明确数据空间中的类别边界；生成式方法以现有数据为基础训练生成网络，产生与现有数据类似的图像，用以扩充训练集；风格迁移则通过神经网络改变图像风格的同时保留被识别目标的特征，扩充训练集。
(2)基于图像处理的数据扩充方法，包含几何变换、噪声扰动、色彩变换、内核过滤、对比度扰动、图像融合、灰度增强等。
(3)基于平行视觉理论的数据扩充方法，通过创建人工绝缘子图像对数据集进行扩充。
上述方案(1)～(3)中方案-基于深度学习的数据扩充方法、基于图像处理的数据扩充方法和基于平行视觉理论的数据扩充方法，通过生成相似图像或对现有图像进行一些较为规则的映射变化的方式，对现有真实图像数据集进行扩充，均取得了一定的效果，但这些方法均基于“开环”机制，未针对具体网络的响应及输出情况对用于扩充的图像进行评估，缺乏对图像进行针对性优化的策略，使得数据扩充的性能受限。
如图4所示，为了说明本发明的技术效果，本发明提供了如下方法，将本发明的技术方案与现有技术中的技术方案进行对比：
步骤1、不进行数据扩充的绝缘子识别
将包含4000张图像的实际场景绝缘子图像训练集输入AlexNet网络进行训练，训练完成后，在包含2000张图像的实际场景绝缘子图像测试集上测试网络的绝缘子识别性能，并计算性能评价指标。
步骤2、采用未经反馈补偿的人工场景图像进行数据扩充
从人工场景图像数据集中随机抽取1000张正样本图像，从实际场景图像数据集中随机抽取1000张负样本图像，对原训练集进行扩充。将扩充后的包含6000张图像的训练集输入AlexNet网络重新训练，在原测试集上实时测试网络的绝缘子识别性能，并计算性能评价指标。性能评价指标为AUC值。其中，AUC(Area Under Curve)值为ROC(receiveroperating characteristic curve，接受者操作特征曲线)曲线下的面积，其取值范围一般在0.5和1之间。AUC值越大的分类器，正确率越高。其中，
Figure BDA0002920677710000161
M为正样本数，N为负样本数，positiveClass为正样本标签，Score表示每个测试样本属于正样本的概率，根据每个测试样本属于正样本的概率，将所有测试样本按照从大到小的顺序排序，ranki表示排在第i位的测试样本。
步骤3、本发明的方法进行数据扩充
用反馈补偿后的1000张人工场景绝缘子正样本图像对原训练集进行扩充，同时加入相同数量的负样本图像，将训练集扩充至6000张，输入AlexNet网络进行训练。在原测试集上实时测试网络的绝缘子识别性能，并计算性能评价指标。
步骤4、采用现有方法进行数据扩充
从训练集中随机抽取1000张正样本图像，利用GAN(Generative AdversarialNets，生成对抗网络)网络对其进行风格迁移，将生成的图像对原训练集进行数据扩充，同时加入相同数量的负样本图像，将训练集扩充至6000张，输入AlexNet网络进行重新训练。训练完成后，在测试集上实时测试网络的绝缘子识别性能，并计算性能评价指标。
步骤5、重复进行多组实验
重新从实际场景图像数据集中随机抽取2000张正样本和2000张负样本作为训练集，在测试集不变的条件下，重复步骤1～4，获得多组绝缘子识别准确率、精确率、召回率、F1值、AUC数据。
步骤6、更换卷积神经网络
采用其它卷积神经网络，例如VGG16、VGG11、VGG13等，重复步骤1～5。
对比以上不同方法的绝缘子识别性能评价指标，对本文数据扩充方法的性能进行评估。实验结果可验证，本文方法具有更好的数据扩充性能，可有效提高卷积神经网络的绝缘子识别准确性和网络的分辨能力。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过3Ds MAX和KeyShot建模软件创建人工场景绝缘子图像，输入卷积神经网络，借鉴控制理论中的“闭环”机制，根据网络响应，基于导向反向传播算法计算人工场景绝缘子图像的梯度回传响应强度，对人工场景图像进行反馈补偿，增强梯度回传响应强度大于0即对卷积神经网络目标识别结果有正面影响的区域，同时削弱梯度回传响应强度小于0即对卷积神经网络目标识别结果有负面影响的区域。采用反馈补偿后的人工场景绝缘子图像对实际场景绝缘子图像进行数据扩充，得到数量与质量更佳的训练数据集，重新训练卷积神经网络，提高网络的绝缘子识别性能。
本发明采用反馈补偿机制根据卷积神经网络的响应及输出情况对输入人工图像进行评估，并进行补偿优化，增强人工图像中对网络识别结果有正面影响的区域，削弱有负面影响的区域，从而提高人工图像的质量和数据扩充性能。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于图像数据扩充技术的绝缘子检测方法，其特征在于，所述绝缘子检测方法包括如下步骤：
获取绝缘子的M张实际场景正样本图像和M张实际场景负样本图像，建立训练集；
利用所述训练集训练卷积神经网络，获得一次训练后的卷积神经网络；
获取绝缘子的N张虚拟场景正样本图像；
将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络，获得每张所述虚拟场景正样本图像的识别结果；
分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，计算每张所述虚拟场景正样本图像的响应强度矩阵；
所述分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，计算每张所述虚拟场景正样本图像的响应强度矩阵，具体包括：
分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，利用公式
Figure FDA0003814656480000011
计算每张所述虚拟场景正样本图像的响应强度矩阵R，其中，
Figure FDA0003814656480000012
表示反向计算过程中卷积神经网络第l层第i个通道的梯度，
Figure FDA0003814656480000013
表示反向计算过程中卷积神经网络第l+1层第i个通道的梯度，fi l为反向计算过程中卷积神经网络第l层第i个通道的输入，Back(·)为反向传播的回传操作函数，响应强度矩阵R为当l＝0时，i＝1,2,3时的
Figure FDA0003814656480000014
构成矩阵；
分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿，获得N张补偿后的虚拟场景正样本图像，具体包括：利用公式R'＝Exp(R)，分别对每张所述虚拟场景正样本图像的响应强度矩阵进行规范化处理，获得每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵；其中，R表示虚拟场景正样本图像的响应强度矩阵，R'表示虚拟场景正样本图像的规范化处理后的响应强度矩阵；分别根据每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵，利用公式
Figure FDA0003814656480000015
对每张所述虚拟场景正样本图像进行补偿，获得N张初步补偿后的虚拟场景正样本图像；其中，PO表示虚拟场景正样本图像的像素矩阵，PCO表示初步补偿后的虚拟场景正样本图像的像素矩阵，运算符
Figure FDA0003814656480000021
为哈达马积运算符；利用公式
Figure FDA0003814656480000022
分别对每张所述初步补偿后的虚拟场景正样本图像进行规范化处理，获得N张补偿后的虚拟场景正样本图像；其中，PC表示补偿后的虚拟场景正样本图像的像素矩阵；
将N张补偿后的虚拟场景正样本图像和N张实际场景负样本图像添加至所述训练集，获得扩充后的训练集；
利用扩充后的训练集训练所述卷积神经网络，获得二次训练后的卷积神经网络；
将待识别的实际场景图像输入二次训练后的卷积神经网络，进行绝缘子识别。
2.根据权利要求1所述的基于图像数据扩充技术的绝缘子检测方法，其特征在于，所述获取绝缘子的N张虚拟场景正样本图像，具体包括：
采用3DsMAX虚拟场景建模软件平台搭建绝缘子所在的虚拟场景；
利用KeyShot软件对虚拟场景中的绝缘子进行渲染，获得渲染后的虚拟场景；
在渲染后的虚拟场景中设置虚拟物体自转平台和多台虚拟摄像机；
利用所述虚拟物体自转平台和多台所述虚拟摄像机，采用360°旋转拍照、由远及近拍照和/或自定义相机路径拍照的方式，制作多个虚拟场景动画；
利用所述KeyShot软件分别截取多个虚拟场景动画中的每帧图像，作为虚拟场景正样本图像。
3.根据权利要求1所述的基于图像数据扩充技术的绝缘子检测方法，其特征在于，所述利用扩充后的训练集训练所述卷积神经网络，获得二次训练后的卷积神经网络，之后还包括：
获取绝缘子的S张实际场景正样本图像和S张实际场景负样本图像，建立测试集；
分别将所述测试集中的每个样本输入所述二次训练后的卷积神经网络，获得每个样本的识别结果；所述样本为正样本或负样本，所述正样本为实际场景正样本图像，所述负样本为实际场景负样本图像；
根据每张实际场景样本图像的识别结果，利用公式
Figure FDA0003814656480000031
计算二次训练后的卷积神经网络的准确率；
根据每张实际场景样本图像的识别结果，利用公式
Figure FDA0003814656480000032
计算二次训练后的卷积神经网络的精确率；
根据每张实际场景样本图像的识别结果，利用公式
Figure FDA0003814656480000033
计算二次训练后的卷积神经网络的召回率；
根据每张实际场景样本图像的识别结果，利用公式
Figure FDA0003814656480000034
计算二次训练后的卷积神经网络的FI值；
根据所述准确率、所述精确率、所述召回率和所述FI值，确定二次训练后的卷积神经网络的性能；
其中，Accuracy、Precision、Recall和F1分别表示二次训练后的卷积神经网络的准确率、精确率、召回率和FI值，TP表示被二次训练后的卷积神经网络预测为正类的正样本，TN表示被二次训练后的卷积神经网络预测为负类的负样本，FP表示被二次训练后的卷积神经网络预测为正类的负样本，FN表示被二次训练后的卷积神经网络预测为负类的正样本。
4.一种基于图像数据扩充技术的绝缘子检测系统，其特征在于，所述绝缘子检测系统包括：
训练集获取模块，用于获取绝缘子的M张实际场景正样本图像和M张实际场景负样本图像，建立训练集；
一次训练模块，用于利用所述训练集训练卷积神经网络，获得一次训练后的卷积神经网络；
虚拟场景正样本图像获取模块，用于获取绝缘子的N张虚拟场景正样本图像；
第一识别模块，用于将每张所述虚拟场景正样本图像输入一次训练后的卷积神经网络，获得每张所述虚拟场景正样本图像的识别结果；
响应强度矩阵计算模块，用于分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，计算每张所述虚拟场景正样本图像的响应强度矩阵；
所述响应强度矩阵计算模块，具体包括：
响应强度矩阵计算子模块，用于分别根据每张所述虚拟场景正样本图像的识别结果，采用导向反向传播算法，利用公式
Figure FDA0003814656480000041
计算每张所述虚拟场景正样本图像的响应强度矩阵R，其中，
Figure FDA0003814656480000042
表示反向计算过程中卷积神经网络第l层第i个通道的梯度，
Figure FDA0003814656480000043
表示反向计算过程中卷积神经网络第l+1层第i个通道的梯度，fi l为反向计算过程中卷积神经网络第l层第i个通道的输入，Back(·)为反向传播的回传操作函数，响应强度矩阵R为当l＝0时，i＝1,2,3时的
Figure FDA0003814656480000044
构成矩阵；
补偿模块，用于分别根据每张所述虚拟场景正样本图像的响应强度矩阵对每张所述虚拟场景正样本图像进行补偿，获得N张补偿后的虚拟场景正样本图像；
所述补偿模块，具体包括：第一规范化处理子模块，用于利用公式R'＝Exp(R)，分别对每张所述虚拟场景正样本图像的响应强度矩阵进行规范化处理，获得每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵；其中，R表示虚拟场景正样本图像的响应强度矩阵，R'表示虚拟场景正样本图像的规范化处理后的响应强度矩阵；虚拟场景正样本图像补偿子模块，用于分别根据每张所述虚拟场景正样本图像的规范化处理后的响应强度矩阵，利用公式
Figure FDA0003814656480000045
对每张所述虚拟场景正样本图像进行补偿，获得N张初步补偿后的虚拟场景正样本图像；其中，PO表示虚拟场景正样本图像的像素矩阵，PCO表示初步补偿后的虚拟场景正样本图像的像素矩阵，运算符
Figure FDA0003814656480000046
为哈达马积运算符；第二规范化处理子模块，用于利用公式
Figure FDA0003814656480000047
分别对每张所述初步补偿后的虚拟场景正样本图像进行规范化处理，获得N张补偿后的虚拟场景正样本图像；其中，PC表示补偿后的虚拟场景正样本图像的像素矩阵；
训练集扩充模块，用于将N张补偿后的虚拟场景正样本图像和N张实际场景负样本图像添加至所述训练集，获得扩充后的训练集；
二次训练模块，用于利用扩充后的训练集训练所述卷积神经网络，获得二次训练后的卷积神经网络；
第二识别模块，用于将待识别的实际场景图像输入二次训练后的卷积神经网络，进行绝缘子识别。
5.根据权利要求4所述的基于图像数据扩充技术的绝缘子检测系统，其特征在于，所述虚拟场景正样本图像获取模块，具体包括：
虚拟场景搭建子模块，用于采用3DsMAX虚拟场景建模软件平台搭建绝缘子所在的虚拟场景；
绝缘子渲染子模块，用于利用KeyShot软件对虚拟场景中的绝缘子进行渲染，获得渲染后的虚拟场景；
虚拟相机设置子模块，用于在渲染后的虚拟场景中设置虚拟物体自转平台和多台虚拟摄像机；
虚拟场景动画生成子模块，用于利用所述虚拟物体自转平台和多台所述虚拟摄像机，采用360°旋转拍照、由远及近拍照和/或自定义相机路径拍照的方式，制作多个虚拟场景动画；
图像截取子模块，用于利用所述KeyShot软件分别截取多个虚拟场景动画中的每帧图像，作为虚拟场景正样本图像。
6.根据权利要求4所述的基于图像数据扩充技术的绝缘子检测系统，其特征在于，所述绝缘子检测系统还包括：
测试集建立模块，用于获取绝缘子的S张实际场景正样本图像和S张实际场景负样本图像，建立测试集；
第三识别模块，用于分别将所述测试集中的每个样本输入所述二次训练后的卷积神经网络，获得每个样本的识别结果；所述样本为正样本或负样本，所述正样本为实际场景正样本图像，所述负样本为实际场景负样本图像；
准确率计算模块，用于根据每张实际场景样本图像的识别结果，利用公式
Figure FDA0003814656480000061
计算二次训练后的卷积神经网络的准确率；
精确率计算模块，用于根据每张实际场景样本图像的识别结果，利用公式
Figure FDA0003814656480000062
计算二次训练后的卷积神经网络的精确率；
召回率计算模块，用于根据每张实际场景样本图像的识别结果，利用公式
Figure FDA0003814656480000063
计算二次训练后的卷积神经网络的召回率；
FI值计算模块，用于根据每张实际场景样本图像的识别结果，利用公式
Figure FDA0003814656480000064
计算二次训练后的卷积神经网络的FI值；
性能确定模块，用于根据所述准确率、所述精确率、所述召回率和所述FI值，确定二次训练后的卷积神经网络的性能；
其中，Accuracy、Precision、Recall和F1分别表示二次训练后的卷积神经网络的准确率、精确率、召回率和FI值，TP表示被二次训练后的卷积神经网络预测为正类的正样本，TN表示被二次训练后的卷积神经网络预测为负类的负样本，FP表示被二次训练后的卷积神经网络预测为正类的负样本，FN表示被二次训练后的卷积神经网络预测为负类的正样本。
CN202110116012.0A 2021-01-28 2021-01-28 一种基于图像数据扩充技术的绝缘子检测方法及系统 Active CN112862766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110116012.0A CN112862766B (zh) 2021-01-28 2021-01-28 一种基于图像数据扩充技术的绝缘子检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110116012.0A CN112862766B (zh) 2021-01-28 2021-01-28 一种基于图像数据扩充技术的绝缘子检测方法及系统

Publications (2)

Publication Number Publication Date
CN112862766A CN112862766A (zh) 2021-05-28
CN112862766B true CN112862766B (zh) 2022-11-04

Family

ID=75987327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110116012.0A Active CN112862766B (zh) 2021-01-28 2021-01-28 一种基于图像数据扩充技术的绝缘子检测方法及系统

Country Status (1)

Country Link
CN (1) CN112862766B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450318A (zh) * 2021-06-11 2021-09-28 东华大学 基于无人机自主视觉的初级配电系统瓷绝缘子检测方法
CN113781623B (zh) * 2021-11-15 2022-02-18 常州微亿智造科技有限公司 工业质检中的缺陷样本生成方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106383888A (zh) * 2016-09-22 2017-02-08 深圳市唯特视科技有限公司 一种利用图片检索定位导航的方法
CN109117863A (zh) * 2018-07-04 2019-01-01 全球能源互联网研究院有限公司 基于深度卷积生成对抗网络的绝缘子样本扩充方法及装置
CN109816611A (zh) * 2019-01-31 2019-05-28 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
CN111428865A (zh) * 2020-04-20 2020-07-17 杭州电子科技大学 一种用于理解dqn模型的可视分析方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203561591U (zh) * 2013-09-30 2014-04-23 国网河南省电力公司驻马店供电公司 图像分析结合超声原理检测绝缘子污秽的装置
CN105846354A (zh) * 2016-05-31 2016-08-10 国网河南省电力公司南阳供电公司 电力工程作业中防误入带电间隔的检修设备
JP2019076527A (ja) * 2017-10-25 2019-05-23 テルモ株式会社 治療方法
US10783622B2 (en) * 2018-04-25 2020-09-22 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN110888453B (zh) * 2018-09-11 2023-10-27 杨扬 一种基于LiDAR数据构建三维实景的无人机自主飞行方法
US11487997B2 (en) * 2018-10-04 2022-11-01 Visa International Service Association Method, system, and computer program product for local approximation of a predictive model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106383888A (zh) * 2016-09-22 2017-02-08 深圳市唯特视科技有限公司 一种利用图片检索定位导航的方法
CN109117863A (zh) * 2018-07-04 2019-01-01 全球能源互联网研究院有限公司 基于深度卷积生成对抗网络的绝缘子样本扩充方法及装置
CN109816611A (zh) * 2019-01-31 2019-05-28 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
CN111428865A (zh) * 2020-04-20 2020-07-17 杭州电子科技大学 一种用于理解dqn模型的可视分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dynamical Isometry and a Mean Field Theory of CNNs: How to Train 10,000-Layer Vanilla Convolutional Neural Networks;Lechao Xiao et al.;《ArXiv》;20180731;全文 *
毫米波全息成像快速反向传播算法研究;牛轶杰等;《中国激光》;20200930;全文 *

Also Published As

Publication number Publication date
CN112862766A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN110070008B (zh) 一种采用无人机图像的桥梁病害识别方法
CN109685072B (zh) 一种基于生成对抗网络的复合降质图像高质量重建方法
CN109614921B (zh) 一种基于对抗生成网络的半监督学习的细胞分割方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN111914924B (zh) 一种快速舰船目标检测方法、存储介质及计算设备
CN112862766B (zh) 一种基于图像数据扩充技术的绝缘子检测方法及系统
CN111833322B (zh) 一种基于改进YOLOv3的垃圾多目标检测方法
CN109472193A (zh) 人脸检测方法及装置
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
CN110751209B (zh) 一种融合深度图像分类和检索的智能台风定强方法
CN108710893B (zh) 一种基于特征融合的数字图像相机源模型分类方法
CN109784358B (zh) 一种融合人工特征和深度特征的无参考图像质量评价方法
CN110807757A (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN110111346B (zh) 基于视差信息的遥感图像语义分割方法
CN111340019A (zh) 基于Faster R-CNN的粮仓害虫检测方法
CN113688830A (zh) 基于中心点回归的深度学习目标检测方法
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
CN114359695A (zh) 基于不确定性估计的绝缘子破损识别方法
CN115984543A (zh) 一种基于红外与可见光图像的目标检测算法
CN113569981A (zh) 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法
CN114359167B (zh) 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法
CN113378672A (zh) 基于改进YOLOv3的输电线缺陷多目标检测方法
CN117409083A (zh) 一种基于红外图像和改进yolov5的电缆终端识别方法及装置
CN111507941B (zh) 一种用于美学质量评价的构图表征学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant