CN112037215A - 一种基于零样本学习的绝缘子缺陷检测方法及系统 - Google Patents

一种基于零样本学习的绝缘子缺陷检测方法及系统 Download PDF

Info

Publication number
CN112037215A
CN112037215A CN202010938100.4A CN202010938100A CN112037215A CN 112037215 A CN112037215 A CN 112037215A CN 202010938100 A CN202010938100 A CN 202010938100A CN 112037215 A CN112037215 A CN 112037215A
Authority
CN
China
Prior art keywords
insulator
defect
defect type
feature vector
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010938100.4A
Other languages
English (en)
Other versions
CN112037215B (zh
Inventor
翟永杰
王新颖
陈瑜
张智柏
吴童桐
张冀
赵振兵
马燕鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202010938100.4A priority Critical patent/CN112037215B/zh
Priority to LU102284A priority patent/LU102284B1/en
Priority to PCT/CN2020/117749 priority patent/WO2022052181A1/zh
Priority to JP2023504059A priority patent/JP2023542460A/ja
Publication of CN112037215A publication Critical patent/CN112037215A/zh
Application granted granted Critical
Publication of CN112037215B publication Critical patent/CN112037215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Document Processing Apparatus (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种基于零样本学习的绝缘子缺陷检测方法及系统。该方法包括：获取绝缘子每种缺陷类别对应的文本数据；根据每种缺陷类别对应的文本数据，获取每种缺陷类别的语义特征向量；获取待检测绝缘子的图像；根据所述待检测绝缘子的图像，采用卷积神经网络提取所述待检测绝缘子的图像特征向量；确定所述图像特征向量与每种缺陷类别的语义特征向量之间的距离；基于所述图像特征向量与每种缺陷类别的语义特征向量之间的距离，采用最近邻分类器确定所述待检测绝缘子的缺陷类别；所述待检测绝缘子的缺陷类别为与所述图像特征向量距离最短的语义特征向量对应的缺陷类别。本发明可以提高绝缘子缺陷检测的准确度及鲁棒性。

Description

一种基于零样本学习的绝缘子缺陷检测方法及系统
技术领域
本发明涉及缺陷检测领域，特别是涉及一种基于零样本学习的绝缘子缺陷检测方法及系统。
背景技术
绝缘子是输电线路中极其重要且用量庞大的绝缘控件，它能够在架空输电线路中起到支撑导线、防止电流接地的双重作用。为了防止绝缘子绝缘失效而导致损害电力线路的使用和运行寿命，需对输电线路绝缘子进行准确检测，为绝缘子缺陷检测提供重要依据。目前绝缘子缺陷检测的检测方法分为非电量检测法和电量检测法。总体而言，目前的绝缘子缺陷检测方式主要有：
(1)观察法、火花叉等传统检测方法：
观察法就是用高倍望远镜就近直接观察绝缘子。这种方法可发现较明显的绝缘子表面缺陷，但效率低下。绝缘子串正常时等效为电容串，在运行状态下短路其中一片绝缘子，可以看到电容放电的火花和听到放电的声响，根据声响的大小判断绝缘子的状况。以上两种方法均需要人工登塔检测，工作量大，费时费力，高空作业有一定的危险性。
(2)紫外成像法和红外成像法：
紫外成像技术就是利用特殊的仪器接收放电产生的紫外线信号，经处理后转换为可见光图像信号，来判断电气设备外绝缘的真实状况。红外成像法检测的是缺陷绝缘子与正常绝缘子表面温度的差异。但是这两种方法易受观察角度、灵敏度的影响，实际使用时效果并不理想。
(3)电场检测法：
电场法利用电场来检测绝缘子，能直接反映绝缘子的绝缘状况，受干扰的影响较小。此方法的缺点是需要登杆操作且不能检测一些不影响电场分布的外绝缘缺陷如伞裙破损等。
(4)基于特征量和图像识别的在线检测系统：
现有的基于线路绝缘状态某个特征量的在线检测系统，根据温湿度、电流及脉冲等数据，运行检修人员借助专家诊断软件的分析对比，再结合图像识别系统对绝缘子图像进行分析，可以判断出绝缘子是否有缺陷和缺陷状况。其中：装置的复杂度较高；怎样选取合适的特征量以及各个特征量间的关系难以确定；结合图像识别的系统，对于缺陷样本较少的类别，识别率较低，且易受样本数量、光线、角度等因素的影响，鲁棒性较差；且对于不常见的缺陷，难以判定其类别。
发明内容
本发明的目的是提供一种基于零样本学习的绝缘子缺陷检测方法及系统，以提高绝缘子缺陷检测的准确度及鲁棒性。
为实现上述目的，本发明提供了如下方案：
一种基于零样本学习的绝缘子缺陷检测方法，包括：
获取绝缘子每种缺陷类别对应的文本数据；
根据每种缺陷类别对应的文本数据，获取每种缺陷类别的语义特征向量；
获取待检测绝缘子的图像；
根据所述待检测绝缘子的图像，采用卷积神经网络提取所述待检测绝缘子的图像特征向量；
确定所述图像特征向量与每种缺陷类别的语义特征向量之间的距离；
基于所述图像特征向量与每种缺陷类别的语义特征向量之间的距离，采用最近邻分类器确定所述待检测绝缘子的缺陷类别；所述待检测绝缘子的缺陷类别为与所述图像特征向量距离最短的语义特征向量对应的缺陷类别。
本发明还提供一种基于零样本学习的绝缘子缺陷检测系统，包括：
文本数据获取模块，用于获取绝缘子每种缺陷类别对应的文本数据；
语义特征向量获取模块，用于根据每种缺陷类别对应的文本数据，获取每种缺陷类别的语义特征向量；
图像获取模块，用于获取待检测绝缘子的图像；
图像特征向量提取模块，用于根据所述待检测绝缘子的图像，采用卷积神经网络提取所述待检测绝缘子的图像特征向量；
距离确定模块，用于确定所述图像特征向量与每种缺陷类别的语义特征向量之间的距离；
缺陷类别确定模块，用于基于所述图像特征向量与每种缺陷类别的语义特征向量之间的距离，采用最近邻分类器确定所述待检测绝缘子的缺陷类别；所述待检测绝缘子的缺陷类别为与所述图像特征向量距离最短的语义特征向量对应的缺陷类别。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明基于零样本学习的绝缘子缺陷检测方法及系统，采用视觉技术进行缺陷检测，相较于其它缺陷检测方式，成本低、部署灵活、鲁棒性强。同时，综合使用零样本学习和词向量技术降低了缺陷检测对样本的数量、质量的依赖；提取的图像特征更加具有表达力和泛化力，在识别环境较差的场景也具有很好的鲁棒性，缺陷检测分类准确度更高，可识别的缺陷种类也不再拘泥于已有样本类别。另外，通过解析字典学习算法对词向量进行稀疏表示，减少冗余信息。使用LMNN算法计算图像特征向量与每种缺陷类别的语义特征向量之间的距离，可以有效降低错误率和计算复杂度，具有更好的应用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于零样本学习的绝缘子缺陷检测方法的流程示意图；
图2为本发明采用解析字典学习方法去除每种缺陷类别的词向量的冗余信息的示意图；
图3为本发明采用卷积神经网络提取待检测绝缘子的图像特征向量的示意图；
图4为本发明LMNN算法的原理示意图；
图5为本发明基于零样本学习的绝缘子缺陷检测系统的结构示意图；
图6为本发明具体实施例的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对目前基于特征量和图像识别的在线检测系统模型复杂，对于某些缺乏缺陷样本的类别难以给出正确判断，在某些使用场景下鲁棒性差，实际使用成本高的缺陷，本发明提出一种基于零样本学习的绝缘子缺陷检测方法及系统。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于零样本学习的绝缘子缺陷检测方法的流程示意图。如图1所示，本发明基于零样本学习的绝缘子缺陷检测方法包括以下步骤：
步骤100：获取绝缘子每种缺陷类别对应的文本数据。绝缘子的缺陷类别包括：表面侵蚀缺陷、粗糙龟裂缺陷、破损断裂缺陷、掉串缺陷和闪络烧伤缺陷等。在获取文本数据时，首先从语料库中获取每种缺陷类别对应的大量数据，然后对获取的大量数据依次进行正文提取、语料清洗、分词操作等，得到对应的文本数据，进而可以得到每种缺陷类别对应的文本数据，即文本描述。
步骤200：根据每种缺陷类别对应的文本数据，获取每种缺陷类别的语义特征向量。语义特征向量为描述该缺陷类别的特征信息。前述得到的每种缺陷类别对应的文本数据用于词向量的无监督学习，采用Skip-Gram模型可以训练和提取每种缺陷类别的词向量，词向量为对应缺陷类别的语义描述信息；然后，采用解析字典学习方法对词向量进行稀疏表示，去除冗余信息，得到每种缺陷类别的语义特征向量，如图2所示，图2为本发明采用解析字典学习方法去除每种缺陷类别的词向量的冗余信息的示意图。
步骤300：获取待检测绝缘子的图像。待检测绝缘子的图像为绝缘子的完整图像。
步骤400：根据待检测绝缘子的图像，采用卷积神经网络提取待检测绝缘子的图像特征向量。如图3所示，将待检测绝缘子的完整图像输入卷积神经网络模型，依次经过卷积层、激励层、池化层、全连接层和输出层。输出层输出提取到的图像特征向量，其包含了待检测绝缘子图像的视觉信息。
步骤500：确定图像特征向量与每种缺陷类别的语义特征向量之间的距离。本发明采用大间隔最近邻居分类(Large Margin Nearest Neighbor，LMNN)算法计算图像特征向量与每种缺陷类别的语义特征向量之间的距离。如图4所示，图像特征向量与每种缺陷类别的语义特征向量经LMNN算法运算后，得到两向量之间的距离，最终得到距离映射矩阵。
具体的，定义X＝[x1,x2,…,xs]表示图像特征向量，定义Y＝[y1,y2,…,yn]表示语义特征向量的集合。n为总类别数LMNN算法的目标函数为：
ε(L)＝(1-μ)εpull(L)+μεpush(L)
其中：L为距离度量矩阵。权重系数μ＝0.5。εpull(L)只对与测试样本类标签相同，但距离处在最大限度以外的训练样本产生影响，在视觉上起到“拉近”的效果。εpull(L)表达式为：
Figure BDA0002672648530000051
εpush(L)只对与测试样本类标签不同，但距离处于最大限度以内的训练样本产生影响，在视觉上起到“推远”的效果。εpush(L)表达式为：
Figure BDA0002672648530000052
其中，映射后点xi和xj的距离度量为：DL(xi,xj)＝||L(xi-xj)||2；Kp为先验知识。i,j∈KpNN表示训练样本xi为测试样本xj的K近邻；当xi对应的语义向量yi＝yl时，yil＝1；当xi对应的语义向量yi≠yl时，yil＝0。[Z]+＝max(Z,0)。
步骤600：基于图像特征向量与每种缺陷类别的语义特征向量之间的距离，采用最近邻分类器确定待检测绝缘子的缺陷类别。所述待检测绝缘子的缺陷类别为与所述图像特征向量距离最短的语义特征向量对应的缺陷类别。
对应上述的基于零样本学习的绝缘子缺陷检测方法，本发明还提供一种基于零样本学习的绝缘子缺陷检测系统，图5为本发明基于零样本学习的绝缘子缺陷检测系统的结构示意图。如图5所示，本发明基于零样本学习的绝缘子缺陷检测系统包括：
文本数据获取模块501，用于获取绝缘子每种缺陷类别对应的文本数据。所述绝缘子的缺陷类别包括：表面侵蚀缺陷、粗糙龟裂缺陷、破损断裂缺陷、掉串缺陷和闪络烧伤缺陷。
语义特征向量获取模块502，用于根据每种缺陷类别对应的文本数据，获取每种缺陷类别的语义特征向量。
图像获取模块503，用于获取待检测绝缘子的图像。
图像特征向量提取模块504，用于根据所述待检测绝缘子的图像，采用卷积神经网络提取所述待检测绝缘子的图像特征向量。
距离确定模块505，用于确定所述图像特征向量与每种缺陷类别的语义特征向量之间的距离。
缺陷类别确定模块506，用于基于所述图像特征向量与每种缺陷类别的语义特征向量之间的距离，采用最近邻分类器确定所述待检测绝缘子的缺陷类别；所述待检测绝缘子的缺陷类别为与所述图像特征向量距离最短的语义特征向量对应的缺陷类别。
作为另一实施例，本发明基于零样本学习的绝缘子缺陷检测系统中，所述文本数据获取模块501具体包括：
数据提取单元，用于从维基百科语料库中获取每种缺陷类别对应的数据。
初步数据获取单元，用于从每种缺陷类别对应的数据中抽取正文，并通过正则表达式进行初步过滤，得到初步数据。
文本数据获取单元，用于对所述初步数据依次经过繁简转化、语料清洗和分词操作，得到每种缺陷类别对应的文本数据。
作为另一实施例，本发明基于零样本学习的绝缘子缺陷检测系统中，所述语义特征向量获取模块502具体包括：
词向量提取单元，用于根据每种缺陷类别对应的文本数据，采用Skip-Gram模型提取每种缺陷类别的词向量；所述词向量为对应缺陷类别的语义描述信息。
冗余信息去除单元，用于采用解析字典学习方法去除每种缺陷类别的词向量的冗余信息，得到每种缺陷类别的语义特征向量。
作为另一实施例，本发明基于零样本学习的绝缘子缺陷检测系统中，所述距离确定模块505具体包括：
LMNN计算单元，用于采用LMNN算法计算所述图像特征向量与每种缺陷类别的语义特征向量之间的距离，得到距离映射矩阵。
下面提供一个具体实施例进一步说明本发明的方案。
本实施例的基本思路是：采用卷积神经网络(CNN)提取带有缺陷的绝缘子航拍图像的图像特征向量。其次，获取Wikipedia语料库中关于绝缘子几种典型缺陷的文本数据。并将这些文本语料用于词向量的无监督学习，使用Skip-Gram方法来训练和获取相应缺陷类别的词向量。词向量经过解析字典学习方法去除冗余信息得到语义特征向量。图像特征向量和语义特征向量在距离度量模块经Large Margin Nearest Neighbor算法模型的运算后，得到两向量的距离和距离映射矩阵。最后经过最近邻分类器根据距离大小判定缺陷的类别。
图6为本发明具体实施例的流程示意图。如图6所示，本实施例包括以下步骤；
(1)输入待检测的绝缘子的完整图像；
(2)将得到的完整图像输入到Convolutional Neural Networks(卷积神经网络)模型，依次经过卷积层、激励层、池化层、全连接层和输出层。输出层输出的是提取到的图像特征向量，包含了绝缘子图像的视觉信息。Convolutional Neural Network图像特征提取。假设Convolutional Neural Networks模型输入图片大小是224×224×3，经过第一个conv×2和max pool卷积模块，是由两层conv和一层max pooling组成，其中conv采用relu激活函数，并使用最大池化的方法，模块输出为112×112×128，同理将其继续输入到第二个conv×2和max pool卷积模块，第三个conv×3和max pool卷积模块，第四个conv×3和maxpool卷积模块，最后经过一个conv和max pool层并将其展开生成4096维的向量，并最后添加一个全连接层输出为1024维的图像特征向量。
(3)在Wikipedia语料库中获取每种缺陷类别的文本数据，并进行数据抽取、过滤、繁简转换、语料清洗和分词处理操作。本实施例以5种缺陷类型为例，分别为：表面侵蚀、粗糙龟裂、破损断裂、掉串和闪络烧伤。具体的，首先，下载Wikipedia中的绝缘子描述信息。然后，从下载的压缩包中抽取出正文，并通过正则表达式进行初步过滤。一方面去掉那些帮助页面和重定向的页面；另一方面处理页面的一些特殊的、非文本的标记，将其去掉；最后使用opencc对于文本信息进行繁体到简体的转化。最后，使用jieba分词工具对文档中的数字、标点符号等非中文字符进行语料清洗，并对文本中的句子进行分词处理。
(4)将这些文本语料用于词向量的无监督学习，使用Skip-Gram方法来训练和获取相应缺陷类别的词向量。训练模型为Skip-Gram模型，核心是根据中心词汇去预测其上下文，并针对特定的名词进行数据增强采样。
(5)词向量经过解析字典学习方法去除冗余信息得到语义特征向量。AnalysisDictionary Learning(经过解析字典学习)算法是Synthesis Dictionary Learning方法的一种对偶形式，它可以为编码提供一个非常直观的解释，即特征转换。此外，AnalysisDictionary Learning算法处理数据的效率也比较高。给定一个训练样本，算法的目标是学习一个解析型字典，学到的字典可以在满足约束条件的情况下令字典与词向量库的乘积尽可能接近稀疏编码矩阵。本发明将稀疏编码矩阵作为语义特征向量库，减少了词向量库中的冗余信息，提高了运算效率和缺陷检测的准确度。本发明的Analysis DictionaryLearning模型包括：(a)包含五种缺陷类别的词向量库；(b)通过矩阵乘法和阈值函数获得的稀疏编码矩阵；(c)学习得到的解析字典，在满足约束的情况下使得解析字典与稀疏编码矩阵的乘积接近词向量的值。
(6)图像特征向量和语义特征向量在距离度量模块经LMNN(Large MarginNearest Neighbor)算法模型的运算后，得到两向量的距离和距离映射矩阵。L为距离度量矩阵，计算公式如下：
||L(xi-xl)||2≤||L(xi-xj)||2+1
通过设定一个合适的边界，先通过对训练数据学习可以得到一个映射矩阵L，再对原数据进行距离映射xi→Lx′i’。
LMNN算法的动机是对于K近邻分类，根据对约束条件(pairwise constraints)，在训练集中目标样本周围K个近邻中每个邻居中与目标样本类标签相同的点应尽量靠近；类别标签不同的点应与目标样本尽量远离。LMNN算法只惩罚与目标样本标签相同但是距离目标样本较远和与目标样本标签不同但是距离目标样本较近的点。目标函数中所求线性变换是非凸的，使用梯度下降法求解时有可能陷入局部最优解，对于不同的问题给定的初始矩阵不同最终结果也不同，这对于某些问题可能不具有可重现性，应用性较差。本发明对目标函数进行重构，转化为一个半正定规划问题。可以有效降低错误率和计算复杂度，具有更好的应用性。
(7)最后经过最近邻分类器根据距离大小判定缺陷的类别。根据(6)计算所得的距离大小，与待检测绝缘子的图像特征向量距离最近的语义特征向量所代表的类别，即为待检测绝缘子的缺陷类别。具体的：
若待检测绝缘子的图像特征向量与代表“正常”类别的语义特征向量距离最近，则判定为正常，输出“无异常”；若与代表“表面侵蚀”这一类别的语义特征向量距离最近，则输出“存在表面侵蚀缺陷”；若与代表“粗糙龟裂”这一类别的语义特征向量距离最近，则输出“存在粗糙龟裂缺陷”；若与代表“破损断裂”这一类别的语义特征向量距离最近，则输出“存在掉串缺陷”；若与代表“闪络烧伤”这一类别的语义特征向量距离最近，则输出“存在闪络烧伤缺陷”。
本实施例中步骤(1)-(2)与步骤(3)-(5)之间部分先后顺序，根据实际情况可进行调整。
本实施例通过Analysis Dictionary Learning算法对词向量进行稀疏表示，减少冗余信息。并对Analysis Dictionary Learning算法的目标函数进行改进，增设用于提升判决性的误差项，进一步减少了词向量的噪声与误差。在距离度量模块，使用Large MarginNearest Neighbor算法，并对损失函数进行重构，可以有效降低错误率和计算复杂度，具有更好的应用性。针对本发明的算法系统，设计了特定的损失函数，可以训练模型解决困难案例、提高缺陷检测准确度等问题。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于零样本学习的绝缘子缺陷检测方法，其特征在于，包括：
获取绝缘子每种缺陷类别对应的文本数据；
根据每种缺陷类别对应的文本数据，获取每种缺陷类别的语义特征向量；
获取待检测绝缘子的图像；
根据所述待检测绝缘子的图像，采用卷积神经网络提取所述待检测绝缘子的图像特征向量；
确定所述图像特征向量与每种缺陷类别的语义特征向量之间的距离；
基于所述图像特征向量与每种缺陷类别的语义特征向量之间的距离，采用最近邻分类器确定所述待检测绝缘子的缺陷类别；所述待检测绝缘子的缺陷类别为与所述图像特征向量距离最短的语义特征向量对应的缺陷类别。
2.根据权利要求1所述的基于零样本学习的绝缘子缺陷检测方法，其特征在于，所述绝缘子的缺陷类别包括：表面侵蚀缺陷、粗糙龟裂缺陷、破损断裂缺陷、掉串缺陷和闪络烧伤缺陷。
3.根据权利要求1所述的基于零样本学习的绝缘子缺陷检测方法，其特征在于，所述获取绝缘子每种缺陷类别对应的文本数据，具体包括：
从维基百科语料库中获取每种缺陷类别对应的数据；
从每种缺陷类别对应的数据中抽取正文，并通过正则表达式进行初步过滤，得到初步数据；
对所述初步数据依次经过繁简转化、语料清洗和分词操作，得到每种缺陷类别对应的文本数据。
4.根据权利要求1所述的基于零样本学习的绝缘子缺陷检测方法，其特征在于，所述根据每种缺陷类别对应的文本数据，获取每种缺陷类别的语义特征向量，具体包括：
根据每种缺陷类别对应的文本数据，采用Skip-Gram模型提取每种缺陷类别的词向量；所述词向量为对应缺陷类别的语义描述信息；
采用解析字典学习方法去除每种缺陷类别的词向量的冗余信息，得到每种缺陷类别的语义特征向量。
5.根据权利要求1所述的基于零样本学习的绝缘子缺陷检测方法，其特征在于，所述确定所述图像特征向量与每种缺陷类别的语义特征向量之间的距离，具体包括：
采用LMNN算法计算所述图像特征向量与每种缺陷类别的语义特征向量之间的距离，得到距离映射矩阵。
6.一种基于零样本学习的绝缘子缺陷检测系统，其特征在于，包括：
文本数据获取模块，用于获取绝缘子每种缺陷类别对应的文本数据；
语义特征向量获取模块，用于根据每种缺陷类别对应的文本数据，获取每种缺陷类别的语义特征向量；
图像获取模块，用于获取待检测绝缘子的图像；
图像特征向量提取模块，用于根据所述待检测绝缘子的图像，采用卷积神经网络提取所述待检测绝缘子的图像特征向量；
距离确定模块，用于确定所述图像特征向量与每种缺陷类别的语义特征向量之间的距离；
缺陷类别确定模块，用于基于所述图像特征向量与每种缺陷类别的语义特征向量之间的距离，采用最近邻分类器确定所述待检测绝缘子的缺陷类别；所述待检测绝缘子的缺陷类别为与所述图像特征向量距离最短的语义特征向量对应的缺陷类别。
7.根据权利要求6所述的基于零样本学习的绝缘子缺陷检测系统，其特征在于，所述绝缘子的缺陷类别包括：表面侵蚀缺陷、粗糙龟裂缺陷、破损断裂缺陷、掉串缺陷和闪络烧伤缺陷。
8.根据权利要求6所述的基于零样本学习的绝缘子缺陷检测系统，其特征在于，所述文本数据获取模块具体包括：
数据提取单元，用于从维基百科语料库中获取每种缺陷类别对应的数据；
初步数据获取单元，用于从每种缺陷类别对应的数据中抽取正文，并通过正则表达式进行初步过滤，得到初步数据；
文本数据获取单元，用于对所述初步数据依次经过繁简转化、语料清洗和分词操作，得到每种缺陷类别对应的文本数据。
9.根据权利要求6所述的基于零样本学习的绝缘子缺陷检测系统，其特征在于，所述语义特征向量获取模块具体包括：
词向量提取单元，用于根据每种缺陷类别对应的文本数据，采用Skip-Gram模型提取每种缺陷类别的词向量；所述词向量为对应缺陷类别的语义描述信息；
冗余信息去除单元，用于采用解析字典学习方法去除每种缺陷类别的词向量的冗余信息，得到每种缺陷类别的语义特征向量。
10.根据权利要求6所述的基于零样本学习的绝缘子缺陷检测系统，其特征在于，所述距离确定模块具体包括：
LMNN计算单元，用于采用LMNN算法计算所述图像特征向量与每种缺陷类别的语义特征向量之间的距离，得到距离映射矩阵。
CN202010938100.4A 2020-09-09 2020-09-09 一种基于零样本学习的绝缘子缺陷检测方法及系统 Active CN112037215B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010938100.4A CN112037215B (zh) 2020-09-09 2020-09-09 一种基于零样本学习的绝缘子缺陷检测方法及系统
LU102284A LU102284B1 (en) 2020-09-09 2020-09-25 Method and system for detecting insulator defect based on zero-shot learning
PCT/CN2020/117749 WO2022052181A1 (zh) 2020-09-09 2020-09-25 一种基于零样本学习的绝缘子缺陷检测方法及系统
JP2023504059A JP2023542460A (ja) 2020-09-09 2020-09-25 ゼロサンプル学習に基づく絶縁体欠陥検出方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010938100.4A CN112037215B (zh) 2020-09-09 2020-09-09 一种基于零样本学习的绝缘子缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN112037215A true CN112037215A (zh) 2020-12-04
CN112037215B CN112037215B (zh) 2024-05-28

Family

ID=73584094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010938100.4A Active CN112037215B (zh) 2020-09-09 2020-09-09 一种基于零样本学习的绝缘子缺陷检测方法及系统

Country Status (4)

Country Link
JP (1) JP2023542460A (zh)
CN (1) CN112037215B (zh)
LU (1) LU102284B1 (zh)
WO (1) WO2022052181A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112497A (zh) * 2021-05-06 2021-07-13 合肥中科迪宏自动化有限公司 一种基于零样本学习的工业外观缺陷检测方法、电子设备及存储介质
CN113344915A (zh) * 2021-07-12 2021-09-03 华北电力大学（保定） 一种输电线路关键部件缺陷检测方法及系统
CN114463296A (zh) * 2022-01-24 2022-05-10 武汉大学 基于单样本学习的轻量化部件缺陷检测方法
CN116486178A (zh) * 2023-05-16 2023-07-25 中科慧远视觉技术（洛阳）有限公司 一种缺陷检测方法、装置、电子设备及存储介质
CN113112497B (zh) * 2021-05-06 2024-06-07 合肥中科迪宏自动化有限公司 一种基于零样本学习的工业外观缺陷检测方法、电子设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114397306B (zh) * 2022-03-25 2022-07-29 南方电网数字电网研究院有限公司 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法
CN114821174B (zh) * 2022-04-24 2024-02-27 西北工业大学 一种基于内容感知的输电线路航拍图像数据清洗方法
CN116797533B (zh) * 2023-03-24 2024-01-23 东莞市冠锦电子科技有限公司 电源适配器的外观缺陷检测方法及其系统
CN116429782B (zh) * 2023-03-29 2024-01-09 南通大学 一种基于残差网络和知识编码的锯链缺陷检测方法
CN116124903B (zh) * 2023-04-13 2023-08-15 广东电网有限责任公司揭阳供电局 一种绝缘子的缺陷预警方法、装置、系统、设备及介质
CN116228778B (zh) * 2023-05-10 2023-09-08 国网山东省电力公司菏泽供电公司 一种基于多模态信息融合的绝缘子破裂的检测方法及系统
CN117351022B (zh) * 2023-12-06 2024-03-08 长沙能川信息科技有限公司 一种基于复杂环境下的输电线路绝缘子缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292349A (zh) * 2017-07-24 2017-10-24 中国科学院自动化研究所 基于百科知识语义增强的零样本分类方法、装置
CN107563444A (zh) * 2017-09-05 2018-01-09 浙江大学 一种零样本图像分类方法及系统
CN108596470A (zh) * 2018-04-19 2018-09-28 浙江大学 一种基于TensorFlow框架的电力设备缺陷文本处理方法
US20190205393A1 (en) * 2016-07-11 2019-07-04 Peking University Shenzhen Graduate School A cross-media search method
CN110232413A (zh) * 2019-05-31 2019-09-13 华北电力大学（保定） 基于gru网络的绝缘子图像语义描述方法、系统、装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205393A1 (en) * 2016-07-11 2019-07-04 Peking University Shenzhen Graduate School A cross-media search method
CN107292349A (zh) * 2017-07-24 2017-10-24 中国科学院自动化研究所 基于百科知识语义增强的零样本分类方法、装置
CN107563444A (zh) * 2017-09-05 2018-01-09 浙江大学 一种零样本图像分类方法及系统
CN108596470A (zh) * 2018-04-19 2018-09-28 浙江大学 一种基于TensorFlow框架的电力设备缺陷文本处理方法
CN110232413A (zh) * 2019-05-31 2019-09-13 华北电力大学（保定） 基于gru网络的绝缘子图像语义描述方法、系统、装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112497A (zh) * 2021-05-06 2021-07-13 合肥中科迪宏自动化有限公司 一种基于零样本学习的工业外观缺陷检测方法、电子设备及存储介质
CN113112497B (zh) * 2021-05-06 2024-06-07 合肥中科迪宏自动化有限公司 一种基于零样本学习的工业外观缺陷检测方法、电子设备及存储介质
CN113344915A (zh) * 2021-07-12 2021-09-03 华北电力大学（保定） 一种输电线路关键部件缺陷检测方法及系统
CN114463296A (zh) * 2022-01-24 2022-05-10 武汉大学 基于单样本学习的轻量化部件缺陷检测方法
CN114463296B (zh) * 2022-01-24 2024-04-16 武汉大学 基于单样本学习的轻量化部件缺陷检测方法
CN116486178A (zh) * 2023-05-16 2023-07-25 中科慧远视觉技术（洛阳）有限公司 一种缺陷检测方法、装置、电子设备及存储介质
CN116486178B (zh) * 2023-05-16 2024-01-19 中科慧远视觉技术（洛阳）有限公司 一种缺陷检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022052181A1 (zh) 2022-03-17
LU102284B1 (en) 2021-06-09
CN112037215B (zh) 2024-05-28
JP2023542460A (ja) 2023-10-10

Similar Documents

Publication Publication Date Title
CN112037215B (zh) 一种基于零样本学习的绝缘子缺陷检测方法及系统
CN113220919B (zh) 一种大坝缺陷图像文本跨模态检索方法及模型
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
CN112269901B (zh) 一种基于知识图谱的故障判别推理方法
CN110580292B (zh) 一种文本标签生成方法、装置和计算机可读存储介质
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
CN110532563B (zh) 文本中关键段落的检测方法及装置
CN110161388B (zh) 一种高压设备的故障类型识别方法及其系统
CN111475622A (zh) 一种文本分类方法、装置、终端及存储介质
CN111767398A (zh) 基于卷积神经网络的二次设备故障短文本数据分类方法
CN112527981B (zh) 开放式信息抽取方法、装置、电子设备及存储介质
CN114694178A (zh) 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统
CN114863429A (zh) 基于rpa和ai的文本纠错方法、训练方法及其相关设备
CN115048537A (zh) 一种基于图像-文本多模态协同表示的病害识别系统
CN117115581A (zh) 一种基于多模态深度学习的智能误操作预警方法及系统
CN115879453A (zh) 一种融合词汇边界及语义信息的实体识别及关系抽取方法
CN110413997B (zh) 针对电力行业的新词发现方法及其系统、可读存储介质
CN115019294A (zh) 一种指针式仪表读数识别方法及系统
Jui et al. A machine learning-based segmentation approach for measuring similarity between sign languages
CN114550153A (zh) 一种端子排图像检测识别方法
CN114417836A (zh) 一种基于深度学习的中文电子病历文本语义分割方法
CN113658690A (zh) 一种智能导医方法、装置、存储介质以及电子设备
CN113157918A (zh) 一种基于注意力机制的商品名称短文本分类方法和系统
CN112347247A (zh) 基于LDA和Bert的特定类别文本标题二分类方法
CN116843175A (zh) 一种合同条款风险检查方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant