CN114049620A - 图像数据特征提取及缺陷识别方法、装置和系统 - Google Patents

图像数据特征提取及缺陷识别方法、装置和系统 Download PDF

Info

Publication number
CN114049620A
CN114049620A CN202111323491.XA CN202111323491A CN114049620A CN 114049620 A CN114049620 A CN 114049620A CN 202111323491 A CN202111323491 A CN 202111323491A CN 114049620 A CN114049620 A CN 114049620A
Authority
CN
China
Prior art keywords
image
image data
defect
frame
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111323491.XA
Other languages
English (en)
Inventor
余欣玺
孟宪
王谦
朱珠
李小平
王光明
任啸
蒋西平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Chongqing Electric Power Co Ltd
State Grid Corp of China SGCC
Original Assignee
Electric Power Research Institute of State Grid Chongqing Electric Power Co Ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Chongqing Electric Power Co Ltd, State Grid Corp of China SGCC filed Critical Electric Power Research Institute of State Grid Chongqing Electric Power Co Ltd
Priority to CN202111323491.XA priority Critical patent/CN114049620A/zh
Publication of CN114049620A publication Critical patent/CN114049620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像数据特征提取及缺陷识别方法、装置和系统，所述方法包括：将待识别图像输入神经网络进行特征提取，得到目标特征图像；根据RPN网络，在所述目标特征图像上生成多个候选锚框；对所述多个候选锚框进行兴趣区域池化，得到固定尺寸的特征矩阵；对所述特征矩阵进行边框回归和分类识别，得到所述待识别图像的缺陷识别结果和目标锚框位置。本发明解决了现有技术存在检测时间长和准确率低的问题，并且本实施例可以针对变电设备试验检测图像数据的专用人工智能算法，实现图像试验数据智能采集和智能判别，有效减少人力投入，更有效地提高工作效率，为电网的数字化转型提供基础。

Description

图像数据特征提取及缺陷识别方法、装置和系统
技术领域
本发明涉及数据处理技术领域，具体涉及一种图像数据特征提取及缺陷识别方法、装置和系统。
背景技术
随着能源互联网的逐步发展，国网公司测量、测试能力不断提高，对变电网设备的检测任务也不断增多，产生了大量的试验数据，如变电设备巡检图像数据等。目前，普遍采用的手段是由试验工作人员对数以万计的试验图像数据进行甄别、对比，然后再进行分析，该方式费时费力。
目前，国内外基于图像识别技术在电力行业中的应用主要集中在运用传统的图像处理方法对变电设备图像数据进行特征提取和缺陷识别，存在检测时间长和准确率低的问题，无法实现对电力设备进行准确的、全局的最优识别，不满足现代电网数字化转型需求。
发明内容
针对现有技术中所存在的不足，本发明提供的图像数据特征提取及缺陷识别方法、装置和系统，其解决了现有技术存在检测时间长和准确率低的问题，并且本实施例可以针对变电设备试验检测图像数据的专用人工智能算法，实现图像试验数据智能采集和智能判别，有效减少人力投入，更有效地提高工作效率，为电网的数字化转型提供基础。
第一方面，本发明提供一种图像数据特征提取及缺陷识别方法，所述方法包括：将待识别图像输入神经网络进行特征提取，得到目标特征图像；根据RPN网络，在所述目标特征图像上生成多个候选锚框；对所述多个候选锚框进行兴趣区域池化，得到固定尺寸的特征矩阵；对所述特征矩阵进行边框回归和分类识别，得到所述待识别图像的缺陷识别结果和目标锚框位置。
可选地，将待识别图像输入神经网络进行特征提取，得到目标特征图像，包括：将待识别图像输入神经网络的卷积层，得到卷积特征图；将所述卷积特征图输入神经网络的池化层，得到池化特征图；将所述池化特征图输入神经网络的全连接层，得到所述目标特征图像。
可选地，所述卷积层的前向传播公式为：
Figure RE-GDA0003409766990000011
其中，
Figure RE-GDA0003409766990000012
表示的是第l层的j个特征图，右边表示的是l-1层所关联的特征图
Figure RE-GDA0003409766990000013
和第l 层的第j个卷积核做卷积运算并求和，加入偏置函数和激励函数f；
所述池化层的计算公式为：
Figure RE-GDA0003409766990000021
其中，down函数是下采样函数，将n*n的像素块的所有像素相加，将原图大小变成1/n，β表示权重。
可选地，对所述多个候选锚框进行兴趣区域池化，得到固定尺寸的特征矩阵，包括：根据边框回归偏移量，从所述多个候选锚框中获取预测锚框；将所述目标特征图像与所述预测锚框进行融合，得到预测锚框特征图；对所述预测锚框特征图进行兴趣区域池化，得到固定尺寸的特征矩阵。
可选地，根据边框回归偏移量，从所述多个候选锚框中获取预测锚框之前，所述方法还包括：建立所述边框回归偏移量的目标函数；根据所述目标函数得到所述目标函数相对应的损失函数；根据所述损失函数对所述目标函数进行优化，得到优化目标函数；根据最小二乘法和所述优化目标函数，得到所述边框回归偏移量。
可选地，所目标函数表示为：
Figure RE-GDA0003409766990000022
其中，P表示候选锚框，Φ5(P)表示候选锚框的特征向量，d*(P)表示预测锚框， *∈(x,y,w,h)；
根据所述目标函数得到所述目标函数相对应的损失函数的公式表达式为：
Figure RE-GDA0003409766990000023
其中，t*表示真实值。
可选地，根据所述损失函数对所述目标函数进行优化，得到优化目标函数的公式表达式为：
Figure RE-GDA0003409766990000024
第二方面，本发明提供一种图像数据特征提取及缺陷识别装置，所述装置包括：特征提取模块，用于将待识别图像输入神经网络进行特征提取，得到目标特征图像；候选锚框生成模块，用于根据RPN网络，在所述目标特征图像上生成多个候选锚框；兴趣区域池化模块，用于对所述多个候选锚框进行兴趣区域池化，得到固定尺寸的特征矩阵；分类识别模块，用于对所述特征矩阵进行边框回归和分类识别，得到所述待识别图像的缺陷识别结果和目标锚框位置。
第三方面，本发明提供一种图像数据特征提取及缺陷识别系统，所述系统包括所述的图像数据特征提取及缺陷识别装置。
可选地，所述系统还包括：图像采集模块，用于通过动态链接库调用摄像头内部命令进行视频帧的实时截取完成对图像的实时采集；视图数据解析模块，用于对视频监控系统接入的图片流模式或视频流模式数据进行解析，获取所需变电站图像数据；图像数据标注模块，用于针对变电站前期检测得到的大量图像数据进行初步清洗和滤除，还用于根据设备典型缺陷类别对图片缺陷位置、图片缺陷类别进行标注；图像数据清洗模块，用于对已标注图像缺陷的数据进行清洗，分析数据、缺失值处理、异常值处理，滤除异常图片及标注；还用于对筛选出的可用数据进行预处理，提取出目标设备或缺陷相关的图片，并转化为训练支持的格式；还用于对处理完成的可用于训练的数据，划分算法训练集与算法验证集；缺陷识别算法模型，用于采用CNN提取缺陷特征，RPN生成候选缺陷边框，ROI pooling 提取候选框特征，针对候选框特征筛选目标缺陷，调整边框坐标；缺陷识别接口封装模块，用于实现通过HTTP/TCP API接口调用缺陷检测算法引擎方式提供识别服务，内部平台或者外部系统都可以调用接口使用缺陷识别能力；人机交互模块，用于提供监控画面展示，还可以对系统进行视频存储、报警事件查询等人机交互操作。
相比于现有技术，本发明具有如下有益效果：
本发明提供的图像数据特征提取及缺陷识别方法通过神经网络对图形数据进行特征提取，根据RPN网络生成候选锚框，再针对候选锚框进行兴趣区域池化、边框回归和分类识别，从而得到待识别图像的缺陷识别结果和目标锚框位置，大大缩减了检测时间，实现了端到端的目标检测，有效地平衡了检测精度和检测速度，解决了现有技术存在检测时间长和准确率低的问题，并且本实施例可以针对变电设备试验检测图像数据的专用人工智能算法，实现图像试验数据智能采集和智能判别，有效减少人力投入，更有效地提高工作效率，为电网的数字化转型提供基础。
附图说明
图1所示为本发明实施例提供的一种图像数据特征提取及缺陷识别方法的流程示意图；
图2所示为本发明实施例提供的神经网络的网络结构图；
图3所示为本发明实施例提供的卷积示意图；
图4所示为本发明实施例提供的候选锚框示意图；
图5所示为本发明实施例提供的RPN网络结构图；
图6所示为图1中步骤S103的具体流程示意图；
图7所示为本发明实施例提供的一种图像数据特征提取及缺陷识别装置的结构示意图；
图8所示为本发明实施例提供的一种图像数据特征提取及缺陷识别系统的结构示意图；
图9所示为本发明实施例提供的特征提取网络的准确率对比示意图；
图10所示为本发明实施例提供的变电设备巡检图像的识别准确率的曲线示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
第一方面，本发明提供一种图像数据特征提取及缺陷识别方法，具体包括以下实施例：
图1所示为本发明实施例提供的一种图像数据特征提取及缺陷识别方法的流程示意图，如图1所示，该图像数据特征提取及缺陷识别方法具体包括如下步骤：
步骤S101，将待识别图像输入神经网络进行特征提取，得到目标特征图像。
在本实施例中，将待识别图像输入神经网络进行特征提取，得到目标特征图像，包括：将待识别图像输入神经网络的卷积层，得到卷积特征图；将所述卷积特征图输入神经网络的池化层，得到池化特征图；将所述池化特征图输入神经网络的全连接层，得到所述目标特征图像。
需要说明的是，本实施例中的神经网络CNN能够将变电设备图片的像素信息直接读入并进行特征提取；首先，其采用卷积方法扫描图片，提取各个部分的细节特征图，经过池化进一步删减冗余参数，提高特征提取效率。CNN网络结构图如图2所示，由输入层、卷积层、池化层、全连接层组成。其具体卷积过程如图3所示，具体公式为：
yi＝w1x1+w2x2+…+wixi (1)
yi是卷积后结果，wi卷积核的参数，xi原始图的像素值，其中i为卷积核个数平方。
其中，CNN将输入的图像经过卷积的具体过程映射到下一个网络的卷积层前向传播公式的计算公式如下：
Figure RE-GDA0003409766990000051
Figure RE-GDA0003409766990000052
表示的是第l层的j个特征图，右边表示的是l-1层所关联的特征图
Figure RE-GDA0003409766990000053
和第l层的第 j个卷积核做卷积运算并求和，加入偏置函数和激励函数f。
在本实施例中，池化层旨在通过降低特征图的分辨率来获得具有空间不变性的特征，池化层实际是进一步提取特征，常用的池化方法有最大池化(max-pooling)、均值池化(mean pooling、随机池化(stachastic pooling)，池化层的计算公式如下所示：
Figure RE-GDA0003409766990000054
其中，down函数是下采样函数，将n*n的像素块的所有像素相加，将原图大小变成1/n，β表示权重，依照不同情况而定。
全连接层就是通常的神经网络，主要用于分类数据集，全连接层可以整合特征提取的局部信息。
步骤S102，根据RPN网络，在所述目标特征图像上生成多个候选锚框。
在本实施例中采用CNN直接产生候选区域Region Proposal，这种方法的本质就是在最后一个卷积上进行窗口滑动，利用anchor锚框机制和边框回归来得到多尺度、多长宽比的候选区域Region Proposal，锚点anchor示意图如图4所示。Faster R-CNN就是由这一方式来实现快速生成检测缺陷边框。RPN网络主要作用是根据特征图在原图像中来提取带有置信度分数的置信区域。在CNN输出的特征图里面，每个像素点设置几种候选框 anchor，算法中规定了anchor的具体比例和尺度，Faster R-CNN网络选取了三种尺度分别为：128，256，512的候选框，比例分别为1：1，2：1，1：2，通过比例和尺度的相互组合共有9种候选框。利用这种列举的做法能保证圈中人工标注的框。然后，使用非极大值抑制的方法选取其中概率最大的2000个候选框，最后采用ROI head对候选框进行最后的分类和回归。
在本实施例中，RPN网络的详细结构如图5所示，RPN网络起作用后会形成两个卷积，其中上面的一个卷积经过softmax函数分类锚框来得到被测设备的前景和背景，前景就是我们所要检测的目标物体；下面一条卷积用在计算锚框的边框回归偏移量，以期得到确切的尺度。而最后的层将负责综合前景锚框和边框回归的偏移量获得较准确的候选框，同时剔除里面过小和超越边界的。在RPN的整个网络结构中，RPN网络这一层完成了类似于目标定位的功能。
步骤S103，对所述多个候选锚框进行兴趣区域池化，得到固定尺寸的特征矩阵。
在本实施例中，如图6所示，对所述多个候选锚框进行兴趣区域池化，得到固定尺寸的特征矩阵具体包括以下步骤：
步骤S201，根据边框回归偏移量，从所述多个候选锚框中获取预测锚框；
步骤S202，将所述目标特征图像与所述预测锚框进行融合，得到预测锚框特征图；
步骤S203，对所述预测锚框特征图进行兴趣区域池化，得到固定尺寸的特征矩阵。
在本实施例中，根据边框回归偏移量，从所述多个候选锚框中获取预测锚框之前，所述方法还包括：建立所述边框回归偏移量的目标函数；根据所述目标函数得到所述目标函数相对应的损失函数；根据所述损失函数对所述目标函数进行优化，得到优化目标函数；根据最小二乘法和所述优化目标函数，得到所述边框回归偏移量。
在本实施来中，所目标函数表示为：
Figure RE-GDA0003409766990000061
其中，P表示候选锚框，Φ5(P)表示候选锚框的特征向量，d*(P)表示预测锚框， *∈(x,y,w,h)；
在本实施来中，根据所述目标函数得到所述目标函数相对应的损失函数的公式表达式为：
Figure RE-GDA0003409766990000062
其中，t*表示真实值。
在本实施来中，根据所述损失函数对所述目标函数进行优化，得到优化目标函数的公式表达式为：
Figure RE-GDA0003409766990000063
需要说明的是，候选锚框一般使用思维向量(x,y,w,h)来表示，分别表示锚框的中心点坐标和宽高，本实施例的目的是寻找一种关系使得输入的候选锚框P经过映射得到一个真实锚框G更接近的预测锚框
Figure RE-GDA0003409766990000071
即给定(Px,Py,Pw，Ph)，寻找一种映射f，使得：
Figure RE-GDA0003409766990000072
具体步骤为：(1)先做平移(Δx,Δy)，Δx＝Pwdx(P)，Δy＝Phdy(P)，则
Figure RE-GDA0003409766990000073
Figure RE-GDA0003409766990000074
(2)再做尺度缩放(Sw,Sh)，Sw＝Pwdw(P)，Sh＝Phdh(P)，则
Figure RE-GDA0003409766990000075
Figure RE-GDA0003409766990000076
由此可知，候选锚框P经过平移变化和尺寸缩放dx(P)、dy(P)、dw(P)、dh(P) 后，可得到预测锚框，目标函数可以表示为
Figure RE-GDA0003409766990000077
Φ5(P)表示候选锚框的特征向量，w*是要学习的参数，*表示x,y,w,h，也就是每一个变换对应一个目标函数，d*(P)表示预测锚框；本实施例中，为了让预测值跟真实值t*＝(tx,ty,tw,th)差距最小，得到损失函数为：
Figure RE-GDA0003409766990000078
函数优化目标为：
Figure RE-GDA0003409766990000079
利用梯度下降法或最小二乘法可以得到w*，根据w*计算出dx(P)、dy(P)、dw(P)、dh(P)，也就是本实施例中的边框回归偏移量。
步骤S104，对所述特征矩阵进行边框回归和分类识别，得到所述待识别图像的缺陷识别结果和目标锚框位置。
需要说明的是，在ROI pooling候选框特征提取后连入一个全连接层用来存储特征向量，利用奇异值分解得到两个特征向量，分别采用softmax函数进行分类，运用Bounding box regression进行边框回归以及再次精修边框位置，最终得到识别出的设备窗口位置和设备缺陷类别。
相比现有技术，本发明具有以下有益效果：
本实施例提供的图像数据特征提取及缺陷识别方法通过神经网络对图形数据进行特征提取，根据RPN网络生成候选锚框，再针对候选锚框进行兴趣区域池化、边框回归和分类识别，从而得到待识别图像的缺陷识别结果和目标锚框位置，大大缩减了检测时间，实现了端到端的目标检测，有效地平衡了检测精度和检测速度，解决了现有技术存在检测时间长和准确率低的问题，并且本实施例可以针对变电设备试验检测图像数据的专用人工智能算法，实现图像试验数据智能采集和智能判别，有效减少人力投入，更有效地提高工作效率，为电网的数字化转型提供基础。
第二方面，本发明提供一种图像数据特征提取及缺陷识别装置，如图7所示，所述图像数据特征提取及缺陷识别装置具体包括：特征提取模块110，用于将待识别图像输入神经网络进行特征提取，得到目标特征图像；候选锚框生成模块120，用于根据RPN网络，在所述目标特征图像上生成多个候选锚框；兴趣区域池化模块130，用于对所述多个候选锚框进行兴趣区域池化，得到固定尺寸的特征矩阵；分类识别模块140，用于对所述特征矩阵进行边框回归和分类识别，得到所述待识别图像的缺陷识别结果和目标锚框位置。
第三方面，本发明提供一种图像数据特征提取及缺陷识别系统，如图8所示，所述一种图像数据特征提取及缺陷识别系统包括图像采集模块、视图数据解析模块、图像数据标注模块、图像数据清洗模块、缺陷识别算法模型、缺陷识别接口封装模块，其中所述缺陷识别算法模型为上述实施例中的图像数据特征提取及缺陷识别装置。
在本实施例中，图像采集模块中采用动态链接库的方式，调用摄像头内部命令进行视频帧的实时截取完成对图像的实时采集。视图数据解析模块对视频监控系统接入的图片流模式或视频流模式数据进行解析，获取所需变电站图像数据。图像数据标注模块针对变电站前期检测得到的大量图像数据，初步清洗，滤除无效图像，并根据设备典型缺陷类别及变电设备巡检图像缺陷标注手册的要求，对图片缺陷位置、图片缺陷类别等进行标注。图像数据清洗模块针对已标注图像缺陷的数据进行清洗，分析数据、缺失值处理、异常值处理，滤除异常图片及标注；对筛选出的可用数据进行预处理，提取出目标设备或缺陷相关的图片，并转化为训练支持的格式；对处理完成的可用于训练的数据，划分算法训练集与算法验证集。缺陷识别算法模型采用CNN提取缺陷特征，RPN生成候选缺陷边框，ROI pooling提取候选框特征，针对候选框特征筛选目标缺陷，调整边框坐标。缺陷识别接口封装模块实现通过HTTP/TCP API接口调用缺陷检测算法引擎方式提供识别服务，内部平台或者外部系统都可以调用接口使用缺陷识别能力。人机交互模块仅提供监控画面展示，还可以对系统进行视频存储、报警事件查询等人机交互操作。
需要说明的是，变电设备巡检图像数据集主要包括三个方面，总缺陷类别25类，如表1所示。一是设备方面实现对金属锈蚀、主变漏油情况、关键设备表计读数、绝缘子破裂等进行智能缺陷识别，二是实现对现场作业人员是否配戴安全帽、穿戴工装等进行智能识别、分析。三是实现站区周围环境实时感知，包括越线闯入、室外场地异物等环境的识别。
表1变电设备巡检图像数据标注规则
Figure RE-GDA0003409766990000081
Figure RE-GDA0003409766990000091
本实施例中使用随机初始化参数的CNN模型与在ImageNet数据集上训练好的CNN预训练模型在图像数据集上进行相同的训练作为对比，实验结果表明使用CNN预训练模型在红外数据集上进行再训练，分类性能优于随机初始化参数的CNN模型，如图9所示。如图10所示，变电设备缺陷图像识别系统识别准确率均在90％以上，存在一定的误识率，但其整体的识别率仍然能够满足变电设备典型缺陷图像识别的需要，表明文中方法的有效性和准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM) 等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种图像数据特征提取及缺陷识别方法，其特征在于，所述方法包括：
将待识别图像输入神经网络进行特征提取，得到目标特征图像；
根据RPN网络，在所述目标特征图像上生成多个候选锚框；
对所述多个候选锚框进行兴趣区域池化，得到固定尺寸的特征矩阵；
对所述特征矩阵进行边框回归和分类识别，得到所述待识别图像的缺陷识别结果和目标锚框位置。
2.如权利要求1所述的图像数据特征提取及缺陷识别方法，其特征在于，将待识别图像输入神经网络进行特征提取，得到目标特征图像，包括：
将待识别图像输入神经网络的卷积层，得到卷积特征图；
将所述卷积特征图输入神经网络的池化层，得到池化特征图；
将所述池化特征图输入神经网络的全连接层，得到所述目标特征图像。
3.如权利要求2所述的图像数据特征提取及缺陷识别方法，其特征在于，所述卷积层的前向传播公式为：
Figure FDA0003344628170000011
其中，
Figure FDA0003344628170000012
表示的是第l层的j个特征图，右边表示的是l-1层所关联的特征图
Figure FDA0003344628170000013
和第l层的第j个卷积核做卷积运算并求和，加入偏置函数和激励函数f；
所述池化层的计算公式为：
Figure FDA0003344628170000014
其中，down函数是下采样函数，将n*n的像素块的所有像素相加，将原图大小变成1/n，β表示权重。
4.如权利要求1所述的图像数据特征提取及缺陷识别方法，其特征在于，对所述多个候选锚框进行兴趣区域池化，得到固定尺寸的特征矩阵，包括：
根据边框回归偏移量，从所述多个候选锚框中获取预测锚框；
将所述目标特征图像与所述预测锚框进行融合，得到预测锚框特征图；
对所述预测锚框特征图进行兴趣区域池化，得到固定尺寸的特征矩阵。
5.如权利要求4所述的图像数据特征提取及缺陷识别方法，其特征在于，根据边框回归偏移量，从所述多个候选锚框中获取预测锚框之前，所述方法还包括：
建立所述边框回归偏移量的目标函数；
根据所述目标函数得到所述目标函数相对应的损失函数；
根据所述损失函数对所述目标函数进行优化，得到优化目标函数；
根据最小二乘法和所述优化目标函数，得到所述边框回归偏移量。
6.如权利要求5所述的图像数据特征提取及缺陷识别方法，其特征在于，所目标函数表示为：
Figure FDA0003344628170000021
其中，P表示候选锚框，Φ5(P)表示候选锚框的特征向量，d*(P)表示预测锚框，*∈(x,y,w,h)；
根据所述目标函数得到所述目标函数相对应的损失函数的公式表达式为：
Figure FDA0003344628170000022
其中，t*表示真实值。
7.如权利要求5所述的图像数据特征提取及缺陷识别方法，其特征在于，根据所述损失函数对所述目标函数进行优化，得到优化目标函数的公式表达式为：
Figure FDA0003344628170000023
8.一种图像数据特征提取及缺陷识别装置，其特征在于，所述装置包括：
特征提取模块，用于将待识别图像输入神经网络进行特征提取，得到目标特征图像；
候选锚框生成模块，用于根据RPN网络，在所述目标特征图像上生成多个候选锚框；
兴趣区域池化模块，用于对所述多个候选锚框进行兴趣区域池化，得到固定尺寸的特征矩阵；
分类识别模块，用于对所述特征矩阵进行边框回归和分类识别，得到所述待识别图像的缺陷识别结果和目标锚框位置。
9.一种图像数据特征提取及缺陷识别系统，其特征在于，所述系统包括权利要求9所述的图像数据特征提取及缺陷识别装置。
10.如权利要求9所述的图像数据特征提取及缺陷识别系统，其特征在于，所述系统还包括：
图像采集模块，用于通过动态链接库调用摄像头内部命令进行视频帧的实时截取完成对图像的实时采集；
视图数据解析模块，用于对视频监控系统接入的图片流模式或视频流模式数据进行解析，获取所需变电站图像数据；
图像数据标注模块，用于针对变电站前期检测得到的大量图像数据进行初步清洗和滤除，还用于根据设备典型缺陷类别对图片缺陷位置、图片缺陷类别进行标注；
图像数据清洗模块，用于对已标注图像缺陷的数据进行清洗，分析数据、缺失值处理、异常值处理，滤除异常图片及标注；还用于对筛选出的可用数据进行预处理，提取出目标设备或缺陷相关的图片，并转化为训练支持的格式；还用于对处理完成的可用于训练的数据，划分算法训练集与算法验证集；
缺陷识别算法模型，用于采用CNN提取缺陷特征，RPN生成候选缺陷边框，ROI pooling提取候选框特征，针对候选框特征筛选目标缺陷，调整边框坐标；
缺陷识别接口封装模块，用于实现通过HTTP/TCP API接口调用缺陷检测算法引擎方式提供识别服务，内部平台或者外部系统都可以调用接口使用缺陷识别能力；
人机交互模块，用于提供监控画面展示，还可以对系统进行视频存储、报警事件查询等人机交互操作。
CN202111323491.XA 2021-11-09 2021-11-09 图像数据特征提取及缺陷识别方法、装置和系统 Pending CN114049620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111323491.XA CN114049620A (zh) 2021-11-09 2021-11-09 图像数据特征提取及缺陷识别方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111323491.XA CN114049620A (zh) 2021-11-09 2021-11-09 图像数据特征提取及缺陷识别方法、装置和系统

Publications (1)

Publication Number Publication Date
CN114049620A true CN114049620A (zh) 2022-02-15

Family

ID=80207893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111323491.XA Pending CN114049620A (zh) 2021-11-09 2021-11-09 图像数据特征提取及缺陷识别方法、装置和系统

Country Status (1)

Country Link
CN (1) CN114049620A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953405A (zh) * 2023-03-14 2023-04-11 中国科学院计算机网络信息中心 一种面向增强现实设备的桥梁裂缝识别方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953405A (zh) * 2023-03-14 2023-04-11 中国科学院计算机网络信息中心 一种面向增强现实设备的桥梁裂缝识别方法及装置
CN115953405B (zh) * 2023-03-14 2023-05-26 中国科学院计算机网络信息中心 一种面向增强现实设备的桥梁裂缝识别方法及装置

Similar Documents

Publication Publication Date Title
CN109446992B (zh) 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN112734692B (zh) 一种变电设备缺陷识别方法及装置
CN112288008B (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
Yang et al. Deep learning‐based bolt loosening detection for wind turbine towers
Su et al. RCAG-Net: Residual channelwise attention gate network for hot spot defect detection of photovoltaic farms
CN109993094A (zh) 基于机器视觉的材料缺陷智能检测系统及方法
Ding et al. Alexnet feature extraction and multi-kernel learning for objectoriented classification
CN111444939A (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN112801227B (zh) 一种台风识别模型的生成方法、装置、设备及存储介质
CN113343779A (zh) 环境异常检测方法、装置、计算机设备和存储介质
CN115240119A (zh) 一种基于深度学习的视频监控中行人小目标检测方法
CN114049620A (zh) 图像数据特征提取及缺陷识别方法、装置和系统
CN111507398A (zh) 基于目标检测的变电站金属仪器锈蚀识别方法
Feng et al. Improved SOLOv2 detection method for shield tunnel lining water leakages
CN116630301A (zh) 基于超分辨率和YOLOv8的带钢表面小目标缺陷检测方法及系统
Xu et al. Intelligent corrosion detection and rating based on faster region-based convolutional neural network
CN112036246B (zh) 遥感影像分类模型的构建方法，遥感影像分类方法及系统
CN115410089A (zh) 自适应局部上下文嵌入的光学遥感小尺度目标检测方法
Gao et al. Low saliency crack detection based on improved multimodal object detection network: an example of wind turbine blade inner surface
CN114332715A (zh) 气象自动观测积雪识别方法、装置、设备及存储介质
CN110399868B (zh) 一种滨海湿地鸟类检测方法
Xia et al. A multi-target detection based framework for defect analysis of electrical equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination