CN113706437A - 一种输电线路细粒度螺栓缺陷诊断方法及系统 - Google Patents
一种输电线路细粒度螺栓缺陷诊断方法及系统 Download PDFInfo
- Publication number
- CN113706437A CN113706437A CN202010436503.9A CN202010436503A CN113706437A CN 113706437 A CN113706437 A CN 113706437A CN 202010436503 A CN202010436503 A CN 202010436503A CN 113706437 A CN113706437 A CN 113706437A
- Authority
- CN
- China
- Prior art keywords
- fine
- features
- bolt
- grained
- transmission line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000005540 biological transmission Effects 0.000 title claims abstract description 45
- 238000013135 deep learning Methods 0.000 claims abstract description 51
- 238000010586 diagram Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims description 28
- 238000003745 diagnosis Methods 0.000 claims description 17
- 238000007689 inspection Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 9
- 238000013145 classification model Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000007635 classification algorithm Methods 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种输电线路细粒度螺栓缺陷诊断方法及系统，包括：对于获取到的待识别图像，对设定目标所在的区域进行定位，得到所述目标所在区域的局部区域图像；提取局部区域图像的深度学习特征；提取局部区域图片的SIFT特征，并计算各特征的热力图；将深度学习特征与SIFT特征的热力图进行融合；根据融合后的特征实现对待识别设备缺陷的细粒度分类。本发明有益效果：可实现更全面的局部细节信息提取，从而有效提升了细粒度图像识别方法的识别准确率。在一定程度上解决了传统的图像分类网络中，无论图像中的重要判别区域占整个图像的比重有多大，都只会对整张图片一视同仁提取特征的问题。
Description
技术领域
本发明涉及模式识别技术领域，尤其涉及一种输电线路细粒度螺栓缺陷诊断方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
为保证电力设备的安全稳定工作，人工智能技术中的“引擎”技术，深度学习技术已经在电力巡检工作中引入，面对具体场景下如何准确的将所感兴趣的目标对象识别出对应的种类是近期行业领域关注的研究热点，所以利用机器学习或深度学习实现精细化图像的识别显得尤为重要。
在输电线路领域，螺栓缺陷的识别是尤为关键的，通常其出现缺陷后大概率下为高危缺陷，并且螺栓级别的目标分类属于细粒度图像分类任务，不同子类别的特征是非常相似的。其中目标块的尺寸大小在10x10到200x200像素之间，并且分类样本极度分布不均。如何获取螺栓图像细节特征实现不同缺陷种类的分类即是实际场景下的迫切需求。
发明内容
有鉴于此，本发明提出了一种输电线路细粒度螺栓缺陷诊断方法及系统，将热度图特征与深度学习特征横向融合，并实现高层的输出特征融合低层特征，实现前向网络的横向特征融合再训练的方法，获取特征更强的表达能力，从而实现精细化的特征分类。
根据本发明实施例的第一个方面，提供了一种输电线路细粒度螺栓缺陷诊断方法，包括：
对于获取到的待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的局部区域图像；
提取局部区域图像的深度学习特征；
提取局部区域图片的SIFT特征，并计算SIFT特征的热力图；
将深度学习特征与SIFT特征的热力图进行融合；根据融合后的特征实现对螺栓缺陷的细粒度分类诊断。
根据本发明实施例的第二个方面，提供了一种输电线路细粒度螺栓缺陷诊断系统，包括：
局部区域定位模块，用于对于获取到的待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的局部区域图像；
深度学习特征提取模块，提取局部区域图像的深度学习特征；
SIFT特征提取模块，用于提取局部区域图片的SIFT特征，并计算SIFT特征的热力图；
特征融合模块，用于将深度学习特征与SIFT特征的热力图进行融合；
螺栓缺陷细粒度分类模块，用于根据融合后的特征实现对螺栓缺陷的细粒度分类。
根据本发明实施例的第三个方面，提供了一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的输电线路细粒度螺栓缺陷诊断方法。
根据本发明实施例的第四个方面，提供了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的输电线路细粒度螺栓缺陷诊断方法。
根据本发明实施例的第五个方面，提供了一种电力巡检设备，采用上述的输电线路细粒度螺栓缺陷诊断方法，实现输电线路细粒度螺栓缺陷分类诊断。
根据本发明实施例的第六个方面，提供了一种电力巡检机器人，采用上述的输电线路细粒度螺栓缺陷诊断方法，实现输电线路细粒度螺栓缺陷分类诊断。
根据本发明实施例的第七个方面，提供了一种电力巡检无人机，采用上述的输电线路细粒度螺栓缺陷诊断方法，实现输电线路细粒度螺栓缺陷分类诊断。
与现有技术相比，本发明的有益效果是：
(1)本发明提出了一种输电线路细粒度螺栓缺陷诊断方法，通过无监督化关键点热度图提取，增加了关键点的局部特征权重，提取了更全面的局部细节信息，实现了传统特征与深度学习特征的融合，从而有效提升了细粒度图像识别方法的识别准确率。
(2)本发明提出了输电线路细粒度螺栓图像局部精细化特征分类算法，提出图像无监督化局部特征自提取方法，设计了输电线路细粒度螺栓图像深度学习特征与SIFT特征横向融合方法，实现了关键点的局部特征权重增加，提升了网络结构对图像细节特征的表征能力，降低了图像背景噪声的干扰；解决了局部特征在全局占比较小的问题，实现了更强的特征表达能力,提高了精细化的特征分类准确率。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为根据本发明实施例的一种输电线路细粒度螺栓缺陷分类方法流程图；
图2为根据本发明实施例的一种热图与深度学习特征金字塔的融合结构示意图；
图3为根据本发明实施例的一种可选的输电线路细粒度螺栓缺陷分类方法流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
根据本发明实施例，提供了一种输电线路细粒度螺栓缺陷分类方法的实施例，参照图1的一种输电线路细粒度螺栓缺陷分类方法流程图，包括以下步骤：
步骤S101：对于获取到的待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的局部区域图像；
具体地，构建一个通类模型，也就是触发模型，基于所述通类模型来识别出物体的大类别，采用深度学习模型实现大类目标位置的局部区域定位。
通类模型可以采用一阶段深度学习网络或二阶段深度学习网络，如R-FCN、SSD、YOLO等。其中，对于深度学习网络的训练过程包括：
构建数据集，对所述数据集中的图像进行螺栓的标定，采用标定后的数据集对深度学习网络进行训练，得到训练后的能够进行待识别目标定位的模型。
具体地，模型的训练集为采集到的电力设备图像，进行人工标注螺栓大类别，螺栓类，包含的子类别有螺栓缺销子、螺栓销子脱出、螺栓销子未打开、螺栓螺母欠扣、螺栓锈蚀等，将训练集输入到深度学习网络模型进行模型训练，最终获取可定位预测的神经网络模型。此模型即为检测大类别的通类模型。
步骤S102：对于步骤S101中构建的数据集，根据大类别所独有的局部特征进行人工分类，构建大类下的细分类数据集；比如：对于螺栓局部图片进行细分类别，分为：螺栓缺销子、螺栓销子脱出、螺栓销子未打开、螺栓螺母欠扣、螺栓锈蚀等，并将图像尺寸都调整为422x422尺寸。
步骤S103：提取局部区域图像的深度学习特征，具体过程包括：将局部区域图像输入到训练好的深度学习网络；通过所述深度学习网络的各卷积网络层实现深度学习特征的提取，利用特征金字塔式结构实现特征横向融合，得到局部区域图像的深度学习特征。
深度学习特征融合按照
公式实现融合，Fc表示c通道上的深度学习特征，融合方式则为各通道特征进行直和运算生成最终融合特征F。
步骤S104：使用传统特征提取方法，提取局部区域图片的SIFT特征。
具体地，提取局部区域图片的SIFT特征的步骤如下：
步骤S1041：尺度空间极值点检测，建立局部区域图片高斯金字塔及高斯差分金字塔(DOG)，检测空间极值点。将输入图像通过不同尺度(σ)的高斯核函数连续滤波和下采样，形成高斯金字塔图像，然后利用不同尺度的高斯差分核与图像卷积生成高斯差分金字塔，计算公式：
D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)*I(x,y)]
＝L(x,y,kσ)-L(x,y,σ)。
将DoG尺度空间每个点与其相邻尺度和相邻位置的26个点逐个进行比较，以确保在尺度空间和二维空间检测到极值点。
步骤S1042：关键点位置确定。通过拟合三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度)，同时根据曲面拟合的方法对关键点进行进一步的精确定位，同时剔除对比度低的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)。
步骤S1043：关键点方向分配。以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。为每个关键点指定方向参数，使算子具备旋转不变性。
步骤S1044：生成特征点描述符。对任意一个关键点，在其所在的尺度空间(即高斯金字塔结构的某一层)，取以关键点为中心的16像素×16像素大小的邻域，再将此邻域均匀地分为4×4个子区域(每个子区域大小为4像素×4像素)，对每个子区域计算梯度方向直方图(直方图均匀分为8个方向)。然后，对4×4个子区域的8方向梯度直方图根据位置依次排序，这样就构成了一个4×4×8＝128维的向量，该向量就是SIFT描述符。
步骤S105：计算SIFT特征的热力图。
具体地，离散点热度图的计算是一个中心衰减，离散点处值最大，越远则值越小，公式如下：
热度图中各位置强度值的计算根据均值为σ的高斯分布，计算公式如式(1)所示。其中M(xi,yi)代表热度图中各位置强度值，D(xi,yi)表示热度图(xi,yi)位置和与该位置距离最近的关键点的距离的平方和。3σ2为D(xi,yi)的阈值，目的是使热度图主要关注对应关键点相关的区域，减少其他区域的干扰，同时也减少热度图计算量。D(xi,yi)的计算公式如式(2)所示。
SIFT特征的热力图计算过程如下：
步骤S1051：SIFT特征为离散点集，每个离散点设定一个半径，创建一个缓冲区；
步骤S1052：对每个离散点的缓冲区，使用渐进的灰度带(完整的灰度带是0～255)从内而外，由浅至深地填充；
步骤S1053：由于灰度值可以叠加，从而对于有缓冲区交叉的区域，可以叠加灰度值，因而缓冲区交叉的越多，灰度值越大；
步骤S1054：对叠加后的灰度值进行归一化处理，每个像素点的数值区间为(0，1)。
步骤S106：进行深度学习特征与图像SIFT特征的热力图融合。
具体地，深度学习特征与图像SIFT特征的融合，其中F表示网络结构中的特征图，Hsift表示SIFT特征热图，
表示将特征图的不同通道(共有c个通道)分别与热度图进行逐像素的融合后按照通道连接起来。
融合后的最终特征表示如下：
Hsift为SIFT特征的热力图，Fforward为融合图。
步骤S107：构建类似FPN的框架，实现分类算法特征融合模型，特征金字塔的融合结构如2图所示，卷积层Cn输出的多维特征通过步骤S106，对图像SIFT特征的热力图进行相应尺寸的放缩实现热力图与卷积层特征图的融合，然后运用1*1卷积实现特征的降维。最终输出n-1个特征图，输入average-pooling(平均池化)层，然后进行特征的横向融合(横向融合即为各通道进行矩阵直和操作)，然后输入全连接层，最终输入特征分类层。
步骤S108：运用步骤S107下构建的分类模型，采用步骤S102构建的数据集进行分类模型训练工作，最终获取优异的细粒度深度学习分类模型。
步骤S109：将螺栓图像信息，输入到训练好的细粒度深度学习分类模型，输出设备的细分类别。
下面以进行输电设备螺栓缺陷的细粒度检测为例，对本发明方法进行进一步的举例说明。
参照图3，进行输电设备螺栓缺陷的细粒度检测方法包括如下步骤：
步骤1：训练螺栓定位模型，选用resnet101模型，采用大规模数据集ImageNet的预训练的网络来进行网络结构以及模型参数的微调，实现大类螺栓位置的局部区域定位，获取螺栓局部区域图片。
步骤2：构建训练数据集，对数据集中的螺栓局部图片进行细分类别标注；包括：螺栓缺销子、螺栓销子脱出、螺栓销子未打开、螺栓螺母欠扣、螺栓锈蚀等，并图像调整尺寸都转为224x224尺寸。
步骤3：通过深度学习网络卷积层卷积获取的深度学习特征；
步骤4：提取螺栓区域图片SIFT特征；
步骤5：将SIFT特征转化为热力图；
步骤6：构建特征融合模块，进行深度学习特征与图像SIFT特征的热力图融合。
步骤7：选取resnet50作为深度学习分类模型，将步骤6中的特征融合模块在resnet50中进行添加实现分类算法特征融合模型。
步骤8：运用步骤7下构建的分类模型进行分类模型训练工作，最终获取优异的深度学习分类模型。
本发明实施例采用无监督关键点自提取方法定位出关键区域的位置，实现了关键点的局部特征权重增加，在一定程度上筛除了背景噪声的干扰。运用这种注意力机制的添加可以注意到子类别所独有的局部特征，可实现更全面的局部细节信息提取，从而有效提升了细粒度图像识别方法的识别准确率。在一定程度上解决了传统的图像分类网络中，无论图像中的重要判别区域占整个图像的比重有多大，都只会对整张图片一视同仁提取特征的问题。
实施例二
根据本发明实施例，还提供了一种输电线路细粒度螺栓缺陷诊断系统的实施例，具体包括：
局部区域定位模块，用于对于获取到的待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的局部区域图像；
深度学习特征提取模块，提取局部区域图像的深度学习特征；
SIFT特征提取模块，用于提取局部区域图片的SIFT特征，并计算SIFT特征的热力图；
特征融合模块，用于将深度学习特征与SIFT特征的热力图进行融合；
螺栓缺陷细粒度分类模块，用于根据融合后的特征实现对螺栓缺陷的细粒度分类。
此处需要说明的是，上述局部区域定位模块、深度学习特征提取模块、SIFT特征提取模块、特征融合模块和螺栓缺陷细粒度分类模块对应于实施例一中的步骤S101至S108，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例三
根据本发明实施例，提供了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的输电线路细粒度螺栓缺陷诊断方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的输电线路细粒度螺栓缺陷诊断方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
实施例四
根据本发明实施例，提供了提供了一种电力巡检设备，该设备在进行电力设备巡检时，采用上述的输电线路细粒度螺栓诊断方法，实现输电线路细粒度螺栓缺陷分类诊断。
具体来说，电力巡检设备可以是电力巡检机器人，也可以是电力巡检无人机等等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (12)
1.一种输电线路细粒度螺栓缺陷诊断方法及系统，其特征在于，包括：
对于获取到的待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的局部区域图像；
提取局部区域图像的深度学习特征；
提取局部区域图片的SIFT特征，并计算SIFT特征的热力图；
将深度学习特征与SIFT特征的热力图进行融合；根据融合后的特征实现对螺栓缺陷的细粒度分类诊断。
2.如权利要求1所述的一种输电线路细粒度螺栓缺陷诊断方法，其特征在于，对设定目标所在的区域进行定位，得到所述目标所在区域的局部区域图像，具体过程包括：
对获取到的待识别图像进行预处理，将处理后的图像输入训练好的深度学习网络，输出对设定目标所在的区域的定位结果。
3.如权利要求1所述的一种输电线路细粒度螺栓缺陷诊断方法，其特征在于，提取局部区域图像的深度学习特征的过程包括：
将局部区域图像输入到训练好的深度学习网络；通过所述深度学习网络的各卷积网络层实现深度学习特征的提取，利用特征金字塔式结构实现特征横向融合，得到局部区域图像的深度学习特征。
4.如权利要求1所述的一种输电线路细粒度螺栓缺陷诊断方法，其特征在于，计算SIFT特征的热力图的过程包括：
SIFT特征为离散点集，对每个离散点设定一个半径，创建一个缓冲区；
对每个离散点的缓冲区，使用渐进的灰度带从内而外，由浅至深地填充；
对于有缓冲区交叉的区域，将其灰度值进行叠加；
对叠加后的灰度值进行归一化处理，得到SIFT特征的热力图。
5.如权利要求1所述的一种输电线路细粒度螺栓缺陷诊断方法，其特征在于，将深度学习特征与SIFT特征的热力图进行融合，具体包括：
其中，F表示深度学习网络结构获取的特征图，Hsift表示SIFT特征热图，Fforward为融合图；
表示将特征图的不同通道分别与热度图进行逐像素的融合后按照通道连接起来。
6.如权利要求1所述的一种输电线路细粒度螺栓缺陷诊断方法，其特征在于，根据融合后的特征实现对待识别设备缺陷的细粒度分类的过程包括：
对于融合后的特征，通过卷积实现特征的降维；
降维后的特征图输入平均池化层，进行特征的横向融合；
融合后的特征经过全连接层，最终输入特征分类层进行分类，得到待识别设备缺陷的细粒度分类结果。
7.一种输电线路细粒度螺栓缺陷诊断系统，其特征在于，包括：
局部区域定位模块，用于对于获取到的待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的局部区域图像；
深度学习特征提取模块，提取局部区域图像的深度学习特征；
SIFT特征提取模块，用于提取局部区域图片的SIFT特征，并计算SIFT特征的热力图；
特征融合模块，用于将深度学习特征与SIFT特征的热力图进行融合；
螺栓缺陷细粒度分类模块，用于根据融合后的特征实现对螺栓缺陷的细粒度分类。
8.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-6任一项所述的输电线路细粒度螺栓缺陷诊断方法。
9.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-6任一项所述的输电线路细粒度螺栓缺陷诊断方法。
10.一种电力巡检设备，其特征在于，采用权利要求1-6任一项所述的输电线路细粒度螺栓缺陷诊断方法，实现输电线路细粒度螺栓缺陷分类诊断。
11.一种电力巡检机器人，其特征在于，采用权利要求1-6任一项所述的输电线路细粒度螺栓缺陷诊断方法，实现输电线路细粒度螺栓缺陷分类诊断。
12.一种电力巡检无人机，其特征在于，采用权利要求1-6任一项所述的输电线路细粒度螺栓缺陷诊断方法，实现输电线路细粒度螺栓缺陷分类诊断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010436503.9A CN113706437B (zh) | 2020-05-21 | 2020-05-21 | 一种输电线路细粒度螺栓缺陷诊断方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010436503.9A CN113706437B (zh) | 2020-05-21 | 2020-05-21 | 一种输电线路细粒度螺栓缺陷诊断方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706437A true CN113706437A (zh) | 2021-11-26 |
| CN113706437B CN113706437B (zh) | 2024-03-15 |
Family
ID=78645797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010436503.9A Active CN113706437B (zh) | 2020-05-21 | 2020-05-21 | 一种输电线路细粒度螺栓缺陷诊断方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706437B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180032846A1 (en) * | 2016-08-01 | 2018-02-01 | Nvidia Corporation | Fusing multilayer and multimodal deep neural networks for video classification |
| CN108090423A (zh) * | 2017-12-01 | 2018-05-29 | 上海工程技术大学 | 一种基于热力图和关键点回归的深度车牌检测方法 |
| US20180250826A1 (en) * | 2017-03-03 | 2018-09-06 | Futurewei Technologies, Inc. | Fine-grained object recognition in robotic systems |
| CN108921051A (zh) * | 2018-06-15 | 2018-11-30 | 清华大学 | 基于循环神经网络注意力模型的行人属性识别网络及技术 |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN109934111A (zh) * | 2019-02-12 | 2019-06-25 | 清华大学深圳研究生院 | 一种基于关键点的健身姿态估计方法及系统 |
| CN110210426A (zh) * | 2019-06-05 | 2019-09-06 | 中国人民解放军国防科技大学 | 基于注意力机制从单幅彩色图像进行手部姿态估计的方法 |
| CN110263786A (zh) * | 2019-06-24 | 2019-09-20 | 东北大学 | 一种基于特征维度融合的道路多目标识别系统及方法 |
| CN110335270A (zh) * | 2019-07-09 | 2019-10-15 | 华北电力大学（保定） | 基于层级区域特征融合学习的输电线路缺陷检测方法 |
| WO2019233166A1 (zh) * | 2018-06-04 | 2019-12-12 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| CN110705563A (zh) * | 2019-09-07 | 2020-01-17 | 创新奇智(重庆)科技有限公司 | 一种基于深度学习的工业零件关键点检测方法 |
| CN111079658A (zh) * | 2019-12-19 | 2020-04-28 | 夸氪思维(南京)智能技术有限公司 | 基于视频的多目标连续行为分析方法、系统、装置 |
| CN111079602A (zh) * | 2019-12-06 | 2020-04-28 | 长沙千视通智能科技有限公司 | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 |
| US20200160124A1 (en) * | 2017-07-19 | 2020-05-21 | Microsoft Technology Licensing, Llc | Fine-grained image recognition |
-
2020
- 2020-05-21 CN CN202010436503.9A patent/CN113706437B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180032846A1 (en) * | 2016-08-01 | 2018-02-01 | Nvidia Corporation | Fusing multilayer and multimodal deep neural networks for video classification |
| US20180250826A1 (en) * | 2017-03-03 | 2018-09-06 | Futurewei Technologies, Inc. | Fine-grained object recognition in robotic systems |
| US20200160124A1 (en) * | 2017-07-19 | 2020-05-21 | Microsoft Technology Licensing, Llc | Fine-grained image recognition |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN108090423A (zh) * | 2017-12-01 | 2018-05-29 | 上海工程技术大学 | 一种基于热力图和关键点回归的深度车牌检测方法 |
| WO2019233166A1 (zh) * | 2018-06-04 | 2019-12-12 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| CN108921051A (zh) * | 2018-06-15 | 2018-11-30 | 清华大学 | 基于循环神经网络注意力模型的行人属性识别网络及技术 |
| CN109934111A (zh) * | 2019-02-12 | 2019-06-25 | 清华大学深圳研究生院 | 一种基于关键点的健身姿态估计方法及系统 |
| CN110210426A (zh) * | 2019-06-05 | 2019-09-06 | 中国人民解放军国防科技大学 | 基于注意力机制从单幅彩色图像进行手部姿态估计的方法 |
| CN110263786A (zh) * | 2019-06-24 | 2019-09-20 | 东北大学 | 一种基于特征维度融合的道路多目标识别系统及方法 |
| CN110335270A (zh) * | 2019-07-09 | 2019-10-15 | 华北电力大学（保定） | 基于层级区域特征融合学习的输电线路缺陷检测方法 |
| CN110705563A (zh) * | 2019-09-07 | 2020-01-17 | 创新奇智(重庆)科技有限公司 | 一种基于深度学习的工业零件关键点检测方法 |
| CN111079602A (zh) * | 2019-12-06 | 2020-04-28 | 长沙千视通智能科技有限公司 | 基于多尺度区域特征约束的车辆细粒度识别方法及装置 |
| CN111079658A (zh) * | 2019-12-19 | 2020-04-28 | 夸氪思维(南京)智能技术有限公司 | 基于视频的多目标连续行为分析方法、系统、装置 |
Non-Patent Citations (2)
| Title |
|---|
| 王立新;江加和;: "基于深度学习的显著性区域的图像检索研究", 应用科技, no. 06 * |
| 赵毅力;徐丹;: "联合语义部件的鸟类图像细粒度识别", 计算机辅助设计与图形学学报, no. 08 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706437B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292305B (zh) | 一种改进型yolo-v3的金属加工表面缺陷检测方法 | |
| CN111046880B (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| Psyllos et al. | Vehicle model recognition from frontal view image measurements | |
| US7983486B2 (en) | Method and apparatus for automatic image categorization using image texture | |
| CN116664559B (zh) | 基于机器视觉的内存条损伤快速检测方法 | |
| CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
| CN109934216B (zh) | 图像处理的方法、装置、计算机可读存储介质 | |
| CN110033431B (zh) | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 | |
| CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
| Mukherjee et al. | Enhancement of image resolution by binarization | |
| CN107578011A (zh) | 视频关键帧的判定方法及装置 | |
| CN115131325A (zh) | 一种基于图像识别分析的断路器故障运维监测方法及系统 | |
| CN115578616A (zh) | 多尺度物体实例分割模型的训练方法、分割方法和装置 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN114387455A (zh) | 一种基于人工智能的污水排放实时监测方法、系统及设备 | |
| CN113537211A (zh) | 一种基于非对称iou的深度学习车牌框定位方法 | |
| CN111695373A (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
| CN115880260A (zh) | 基站施工的检测方法、装置、设备及计算机可读存储介质 | |
| CN115861226A (zh) | 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法 | |
| CN116740652B (zh) | 一种基于神经网络模型的锈斑面积扩大的监测方法与系统 | |
| CN109145770B (zh) | 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法 | |
| CN117475327A (zh) | 一种城市中基于遥感图像的多目标检测定位方法和系统 | |
| CN114494994A (zh) | 车辆异常聚集监控方法、装置、计算机设备及存储介质 | |
| Qaddour et al. | Automatic damaged vehicle estimator using enhanced deep learning algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |