CN111627015A - 小样本缺陷识别方法、装置、设备及存储介质 - Google Patents

小样本缺陷识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111627015A
CN111627015A CN202010475301.5A CN202010475301A CN111627015A CN 111627015 A CN111627015 A CN 111627015A CN 202010475301 A CN202010475301 A CN 202010475301A CN 111627015 A CN111627015 A CN 111627015A
Authority
CN
China
Prior art keywords
image
detected
defect
encoder
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010475301.5A
Other languages
English (en)
Other versions
CN111627015B (zh
Inventor
刘万凯
盛兴东
耿生海
朱琳
黄舒婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202010475301.5A priority Critical patent/CN111627015B/zh
Publication of CN111627015A publication Critical patent/CN111627015A/zh
Application granted granted Critical
Publication of CN111627015B publication Critical patent/CN111627015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种小样本缺陷识别方法、装置、设备及存储介质，获取待测图像，将待测图像输入编码器，通过编码器获得待测图像对应的第一特征向量；所述编码器是通过多个包含第二物体的样本图像作为包含编码器和解码器的第一神经网络的输入，将标准图像与解码器输出图像的比较结果作为损失函数，训练第一神经网络得到的，所以基于编码器得到的第一特征向量不包括待测图像中的噪声数据和除第一物体外的背景数据，数据维度大大降低；将第一特征向量输入预构建的缺陷识别模型后，缺陷识别模型的处理速度大大提升，且缺陷识别模型仅依赖第一物体自己的特征，提高了缺陷识别模型确定第一物体是否具有缺陷的准确性。

Description

小样本缺陷识别方法、装置、设备及存储介质
技术领域
本申请涉及图像识别领域，更具体的说，是涉及一种小样本缺陷识别方法、装置、设备及存储介质。
背景技术
目前设备或设备中某个部件的缺陷检测通常都由巡检人员依靠自身的经验进行判断，以电力行业为例，例如，输电线路、互感器、接触器都可能产生缺陷，这些缺陷通常伴随生产事故。
但是由于设备多样、缺陷隐蔽、人员数量不足，人力巡检已无法满足日常的巡检需求，因此，快速且准确的确定设备或设备中某个部件是否具有缺陷是技术人员需要解决的问题。
发明内容
有鉴于此，本申请提供了一种小样本缺陷识别方法、装置、设备及存储介质，以克服现有技术中人力巡检效率和准确率较低的问题。
为实现上述目的，本申请提供如下技术方案：
一种小样本缺陷识别方法，包括：
获取待测图像，所述待测图像包括第一物体；
将所述待测图像输入编码器，通过所述编码器获得所述待测图像对应的第一特征向量；
其中，所述第一特征向量包括所述第一物体对应的图像数据；通过将包含第二物体的样本图像作为包含编码器和解码器的第一神经网络的输入，将标准图像与所述解码器的输出图像的比较结果作为损失函数，训练所述第一神经网络，以得到所述编码器；所述标准图像是指去除所述样本图像包含的噪声数据以及除所述第二物体外的背景数据后的图像；
将所述第一特征向量输入缺陷识别模型，通过所述缺陷识别模型获得所述待测图像对应的预测缺陷结果，所述缺陷识别模型是基于小样本训练得到的。
一种小样本缺陷识别装置，包括：
第一获取模块，用于获取待测图像，所述待测图像包括第一物体；
第二获取模块，用于将所述待测图像输入编码器，通过所述编码器获得所述待测图像对应的第一特征向量；
其中，所述第一特征向量包括所述第一物体对应的图像数据；通过将包含第二物体的样本图像作为包含编码器和解码器的第一神经网络的输入，将标准图像与所述解码器的输出图像的比较结果作为损失函数，训练所述第一神经网络，以得到所述编码器；所述标准图像是指去除所述样本图像包含的噪声数据以及除所述第二物体外的背景数据后的图像；
第三获取模块，用于将所述第一特征向量输入缺陷识别模型，通过所述缺陷识别模型获得所述待测图像对应的预测缺陷结果，所述缺陷识别模型是基于小样本训练得到的。
一种电子设备，包括：
存储器，用于存储程序；
处理器，用于执行所述程序，所述程序具体用于：
获取待测图像，所述待测图像包括第一物体；
将所述待测图像输入编码器，通过所述编码器获得所述待测图像对应的第一特征向量；
其中，所述第一特征向量包括所述第一物体对应的图像数据；通过将包含第二物体的样本图像作为包含编码器和解码器的第一神经网络的输入，将标准图像与所述解码器的输出图像的比较结果作为损失函数，训练所述第一神经网络，以得到所述编码器；所述标准图像是指去除所述样本图像包含的噪声数据以及除所述第二物体外的背景数据后的图像；
将所述第一特征向量输入缺陷识别模型，通过所述缺陷识别模型获得所述待测图像对应的预测缺陷结果，所述缺陷识别模型是基于小样本训练得到的。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述任一项所述的小样本缺陷识别方法的各个步骤。
经由上述的技术方案可知，本申请提供的小样本缺陷识别方法中，获取待测图像，将待测图像输入编码器，通过编码器获得待测图像对应的第一特征向量。编码器是通过以下方式训练得到的：将包含第二物体的样本图像作为包含编码器和解码器的第一神经网络的输入，将标准图像与解码器的输出图像的比较结果作为损失函数，训练第一神经网络，以得到编码器，标准图像是指去除样本图像包含的噪声数据以及除第二物体外的背景数据后的图像，所以基于编码器得到的第一特征向量不包括待测图像中的噪声数据和除第一物体外的背景数据；所以第一特征向量相对于待测图像对应的图像数据而言，数据维度大大降低；所以将第一特征向量输入预构建的缺陷识别模型后，缺陷识别模型的处理速度大大提升，由于第一特征向量不包括背景数据和噪声数据，使得缺陷识别模型仅依赖第一物体自己的特征，例如，第一物体的纹理，确定第一物体的缺陷情况，提高了缺陷识别模型确定第一物体是否具有缺陷的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的小样本缺陷识别方法对应的小样本缺陷识别模型的一种实现方式的结构图；
图2为本申请实施例提供的小样本缺陷识别方法的一种实现方式的流程图；
图3为本申请实施例提供的编码器和解码器的训练过程的一种实现方式的示意图；
图4为本申请实施例提供的编码器的一种实现方式的结构图；
图5为本申请实施例提供的解码器的一种实现方式的结构图；
图6为本申请实施例提供的标注待测图像中第一物体的位置区域的一种实现方式的流程图；
图7为本申请实施例提供的小样本缺陷识别模型的另一种实现方式的结构图；
图8为本申请实施例提供的缺陷识别模型的一种实现方式的结构图；
图9为本申请实施例提供的小样本缺陷识别装置的一种实现方式的结构图；
图10为本申请实施例提供的电子设备的一种实现方式的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供了小样本缺陷识别方法、装置、设备及存储介质。
上述小样本缺陷识别装置可包括运行于终端中的小样本缺陷识别装置和运行于后台服务器/平台中的小样本缺陷识别装置。
上述终端可以是诸如台式机、移动终端(例如智能手机)、机器人、头戴式显示设备等的电子设备。运行于后台服务器/平台中的小样本缺陷识别装置可为服务器/平台的一个硬件组成部分，也可为功能模块或组件。
上述后台服务器或平台可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
在对本申请实施例提供的小样本缺陷识别方法进行详细介绍之前，先对小样本缺陷识别方法涉及的应用场景和实施环境进行简单介绍。
首先介绍应用场景，为了实现快速且准确的确定设备或设备中某个部件(本申请实施例中称为物体)是否具有缺陷的目的，可以将样本图像作为神经网络的输入，将神经网络输出的预测缺陷结果以及样本图像包含的第二物体(本申请实施例中称样本图像包含的物体为第二物体)是否具有缺陷的真实结果的比较结果，作为损失函数训练神经网络，以得到大样本缺陷识别模型。
大样本缺陷识别模型之所以称为“大样本”是因为样本图像的数据维度较高，若想要训练得到输出的预测缺陷结果具有一定准确度的模型，需要大量正样本图像训练该神经网络，本申请实施例中，正样本图像是指包含具有缺陷的第二物体的图像。
对于正样本图像采集难度较高的行业，例如，电力行业，物体的缺陷发生率较低，且物体发生缺陷后通常会产生事故，使得包含物体缺陷的正样本图像采集难度较高，正样本图像不足，使得得到的大样本缺陷识别模型输出的预测缺陷结果的准确度较低。
针对正样本图像采集难度较高的应用场景下，为了提高得到的预测缺陷结果的准确度，本申请实施例提供了小样本缺陷识别模型。
下面对本申请提供的小样本缺陷识别方法对应的小样本缺陷识别模型进行说明。
如图1所示，为本申请实施例提供的小样本缺陷识别方法对应的小样本缺陷识别模型的一种实现方式的结构图。
小样本缺陷识别模型包括：编码器11以及缺陷识别模型12，其中，小样本缺陷识别模型的输入端为编码器11的输入端，小样本缺陷识别模型的输出端为缺陷识别模型12的输出端；编码器11的输出端与缺陷识别模型12的输入端相连。
在实际应用场景中，若需要检测待测图像包含的第一物体是否具有缺陷，可以将待测图像输入至编码器的输入端，通过编码器得到待测图像对应的第一特征向量。
在一可选实施例中，第一物体可以为电网设备包含的变压器、电抗器、电容器、组合电器、断路器、互感器、避雷器、耦合电容器、输电线路、电力电缆、接地装置、发电机、调相机、电动机、封闭母线、晶闸管、绝缘子、仪表盘中任一物体。
假设待测图像如图1所示，其中，第一物体为圆柱形物体，网格表示第一物体所处的背景图像以及待测图像包含的噪声图像；那么第一特征向量对应的图像可以为图1中去除背景图像对应的背景数据和噪声图像对应的噪声数据的图像13。
编码器输出的第一特征向量输入至缺陷识别模型12的输入端，缺陷识别模型可以输出预测缺陷结果，该预测缺陷结果是指待测图像包含的第一物体是否具有缺陷的结果。
在一可选实施例中，第一物体具有缺陷可以是指第一物体破裂，或，第一物体包含的各部件松动(即未紧扣)，或，第一物体显示的读数不准确等等，本申请并不对第一物体具有的缺陷类型进行限定。
从图1可以看出，缺陷识别模型12仅基于第一物体的图像数据预测第一物体是否具有缺陷。
可选的，缺陷识别模型可以是通过训练神经网络(该神经网络可以为第二神经网络或第四神经网络，可以参见后续针对缺陷模型的实现方式的介绍，这里不再赘述)得到的。
在训练神经网络以得到缺陷识别模型12的过程中，先将样本图像输入至编码器得到第二特征向量(本申请实施例中将样本图像对应的特征向量称为第二特征向量)，利用第二特征向量训练神经网络，以得到缺陷识别模型12。由于第二特征向量的数据维度低于样本图像的数据维度，所以利用较少数量的正样本图像分别对应的第二特征向量训练神经网络，就可以得到输出的预测缺陷结果的准确度较高的缺陷识别模型。即实现了“小样本”训练得到缺陷识别模型的目的。
综上，本申请实施例中“小样本”与“大样本”是相对而言的，本申请实施例中，训练得到缺陷识别模型使用的样本图像的数量与训练得到大样本缺陷识别模型使用的样本图像的数量相比是“小样本”；训练得到大样本缺陷识别模型使用的样本图像的数量与训练得到缺陷识别模型使用的样本图像的数量相比是“大样本”。
第一特征向量的数据维度小于待测图像的数据维度，使用第二特征向量训练缺陷识别模型12，使用的样本数量较少，即可以实现小样本训练得到缺陷识别模型12的目的。
且缺陷识别模型12仅基于第一物体的图像数据预测第一物体是否具有缺陷，没有背景数据和噪声数据的干扰，使得预测缺陷结果更加准确。
下面结合应用场景和图1对本申请实施例涉及的实施环境进行说明。
第一种实施环境：位于需要巡检的现场环境中的电子设备包括小样本缺陷识别模型。
用户可以携带该电子设备对现场环境进行巡检。该电子设备可以为具有摄像头的电子设备，例如，AR(Augmented Reality，增强现实)头戴式显示设备、智能手机等。
电子设备可以采集现场的图像，将该图像作为待测图像输入至小样本缺陷模型的输入端。若小样本缺陷识别模型的输出端输出的预测缺陷结果为第一物体(本申请实施例中称待测图像包含的物体为第一物体)具有缺陷时，电子设备可以发生警报。以使得用户及时对具有缺陷的第一物体进行处理，避免事故的发生。
可选的，若电子设备为AR头戴式显示设备，警报可以是指通过头戴式显示设备显示虚拟信息，虚拟信息包括：闪烁的虚拟标识、指向具有缺陷的第一物体的虚拟箭头、将具有缺陷的第一物体包含在内的虚拟边框中的一种或多种。
第二种实施环境：远程监控需要巡检的现场环境的电子设备包括小样本缺陷识别模型。
现场环境中安装有至少一个摄像头，摄像头可以采集待测图像。
摄像头将采集的待测图像发送至电子设备，电子设备将待测图像输入至小样本缺陷识别模型中，若小样本缺陷识别模型输出的预测缺陷结果为第一物体具有缺陷时，电子设备可以发出警报，该警报可以为声音警报和灯光警报中的一种或多种。以使得用户及时达到现场并对具有缺陷的第一物体进行处理，避免事故的发生。
若用户可以携带摄像头对现场环境进行巡检。摄像头可以将采集的待测图像发送至电子设备，电子设备将小样本缺陷识别模型输出的预测缺陷结果返回至摄像头，若预测缺陷结果为第一物体具有缺陷时，摄像头可以发出警报，以使得位于现场的用户对具有缺陷的第一物体进行处理，避免事故的发生。
结合上述说明，下面对本申请提供的小样本缺陷识别方法进行详细说明。
如图2所示，为本申请实施例提供的小样本缺陷识别方法的一种实现方式的流程图，该方法包括：
步骤S201：获取待测图像，所述待测图像包括第一物体。
本申请实施例中称待测图像包含的物体为第一物体，称样本图像包含的物体为第二物体，其中，第一物体和第二物体可以属于同一物体，也可以为不同物体。
步骤S202：将所述待测图像输入编码器，通过所述编码器获得所述待测图像对应的第一特征向量。
其中，所述第一特征向量包括所述第一物体对应的图像数据；通过将包含第二物体的样本图像作为包含编码器和解码器的第一神经网络的输入，将标准图像与所述解码器的输出图像的比较结果作为损失函数，训练所述第一神经网络，以得到所述编码器；所述标准图像是指去除所述样本图像包含的噪声数据以及除所述第二物体外的背景数据后的图像。
在一可选实施例中，包含编码器和解码器的第一神经网络的训练过程如下：
将多个样本图像作为第一神经网络的输入；针对每一样本图像Xi，将第一神经网络输出的输出图像Yi与该样本图像对应的标准图像
Figure BDA0002515646060000081
进行比对，得到比对结果，以得到多个样本图像分别对应的比对结果，基于多个样本图像分别对应的比对结果，训练第一神经网络，即更新第一神经网络中的参数，直至达到训练结束条件，以得到训练完毕的编码器和解码器。
样本图像Xi对应的比对结果的表现形式有多种，例如，标准图像
Figure BDA0002515646060000082
与输出图像Yi相应位置的像素值的差距，例如，可以用公式
Figure BDA0002515646060000083
表示，
Figure BDA0002515646060000084
假设样本图像的总数量为M，M为正整数。那么，损失函数可以表示为:
Figure BDA0002515646060000091
为了让本领域技术人员更加理解本申请实施例中第一神经网络的训练过程，下面以图3为例进行说明，如图3所示，为本申请实施例提供的编码器和解码器的训练过程的一种实现方式的示意图。
在一可选实施例中，获取样本图像的方式包括但不限于网络搜索、摄像机拍摄、调用图像库等。
每一样本图像包括第二物体。不同样本图像包括的第二物体可以为不同拍摄角度的同一物体，也可以为不同的物体。各样本图像至少局部区域不同。
图3中以样本图像Xi为例，假设样本图像Xi输入第一神经网络31，第一神经网络31输出的输出图像Yi。
本申请实施例中将编码器输出的样本图像的特征向量称为第二特征向量，是为了与待测图像对应的第一特征向量进行区分。
在一可选实施例中，可以通过函数F(·)得到标准图像，其中，函数F(·)的功能是用于去除样本图像中的背景数据和噪声数据。
在一可选实施例中，可以人为将待测图像中的背景数据和噪声数据去除，得到标准图像。
在一可选实施例中，编码器为自适应编码器(Auto encoder)；假设，自适应编码器对应的编码函数为Φ，解码器对应的解码函数为Ψ，那么，第一神经网络输出的输出图像Yi的表达式为：Yi＝(ΦoΨ)(Xi)，其中“o”表示一种函数运算，其包括但不限于相乘、卷积等运算。
在一可选实施例中，编码器为自适应增强编码器(Augmented Autoencoder)，自适应增强编码器包括增强映射函数faugm(·)，增强映射函数的作用为通过自适应滤波，对背景数据和噪声数据进行过滤。
假设自适应增强编码器包含增强映射函数faugm(·)以及自适应编码器对应的编码函数Φ，那么，第一神经网络输出的输出图像
Figure BDA0002515646060000092
的表达式为：
Figure BDA0002515646060000093
通过图3可以看出，将第一神经网络输出的输出图像与标准图像进行比对，将比对结果训练第一神经网络，使得训练得到的第一神经网络可以输出趋于标准图像的图像，由于解码器与编码器是互逆的过程，即解码器基于编码器输出的第一特征向量得到输出图像，由于训练完毕的第一神经网络输出的输出图像趋于标准图像，所以第二特征向量不包括样本图像的背景数据和噪声数据，第二特征向量包括第二物体对应的图像数据。
可以理解的是，由于物体发生缺陷后容易产生事故，使得包含具有缺陷的物体的图像不容易采集，但是训练第一神经网络的样本图像可以为包含不具有缺陷的物体的图像(因为第一神经网络的目的是输出第一物体的特征向量)，所以可以利用大量样本图像训练第一神经网络，以使得第一神经网络输出的输出图像趋于标准图像。
步骤S203：将所述第一特征向量输入缺陷识别模型，通过所述缺陷识别模型获得所述待测图像对应的预测缺陷结果。
其中，所述缺陷识别模型是基于小样本训练得到的。
缺陷识别模型用于识别第一物体是否有缺陷，可选的，缺陷识别模型可以是通过训练第二神经网络得到的。
在训练第二神经网络的过程中，可以基于样本图像的第二特征向量训练第二神经网络。样本图像包括正样本图像以及负样本图像，其中，正样本图像是指包含具有缺陷的第二物体的样本图像，负样本图像是指包含不具有缺陷的第二物体的样本图像。
可以理解的是，由于第二特征向量不包括样本图像的背景数据和噪声数据，第二特征向量的维度小于样本图像的维度，基于第二特征向量训练第二神经网络，相比基于样本图像训练第二神经网络相比，使用的样本图像的数量大大降低，即可以实现相对小样本训练的目的。
本申请实施例提供的小样本缺陷识别方法中，首先获取待测图像，将待测图像输入编码器，通过编码器获得待测图像对应的第一特征向量。编码器是通过以下方式训练得到的：将包含第二物体的样本图像作为包含编码器和解码器的第一神经网络的输入，将标准图像与解码器的输出图像的比较结果作为损失函数，训练第一神经网络，以得到编码器，标准图像是指去除样本图像包含的噪声数据以及除第二物体外的背景数据后的图像，所以基于编码器得到的第一特征向量不包括待测图像中的噪声数据和除第一物体外的背景数据；所以第一特征向量相对于待测图像对应的图像数据而言，数据维度大大降低；所以将所述第一特征向量输入预构建的缺陷识别模型后，缺陷识别模型的处理速度大大提升，由于第一特征向量不包括背景数据和噪声数据，使得缺陷识别模型仅依赖第一物体自己的特征，例如，第一物体的纹理，确定第一物体的缺陷情况，提高了缺陷识别模型确定第一物体是否具有缺陷的准确性。
为了让本领域技术人员更加理解编码器和解码器的训练过程，下面以编码器和解码器的一种实现结构图为例，对编码器和解码器进行介绍。
如图4所示，为本申请实施例提供的编码器的一种实现方式的结构图。
编码器的包括至少一层卷积层41、至少一层下采样层42以及至少一层全连接层43。
其中，卷积层41，用于去除图像(待测图像或样本图像)中的噪声数据以及所述背景数据，以得到包含物体(第一物体或第二物体)对应的图像数据的第一目标向量。
经过卷积运算，可提取输入图像(待测图像或样本图像)的不同特征，第一层卷积层只能提取一些低级的特征如边缘、线条和角等特性，随着卷积层数的增多，提取到的特征也就越复杂。由于卷积运算量比较大，在经过卷积层的运算后特征向量维度会降低。
下采样层42，用于将所述第一目标向量进行降维，以得到第二目标向量。
下采样层，又称池化层。下采样层对第一目标向量进行下采样的方式有多种，例如，将第一目标向量切分成几个区域，取其中的最大值或平均值，以得到维度较小的第二目标向量。
全连接层43，用于将所述第二目标向量转换成一维的特征向量(第一特征向量或第二特征向量)。
本申请实施例中，对于待测图像而言，全连接层43得到的是第一特征向量；对于样本图像而言，全连接层43得到的是第二特征向量。
全连接层会将卷积层41、下采样层42提取到的所有局部特征，通过加权和的形式拟合成全局特征，以减少特征信息的丢失，其输出结果为一维的特征向量。
在一可选实施例中，一维的特征向量(第一特征向量或第二特征向量)可以为256*1维的向量，或，521*1维的向量，或，1024*1维的向量。
可以理解的是，图4示出的编码器的结构仅为一种示例，并不对本申请中的编码器的结构造成限定。
如图5所示，为本申请实施例提供的解码器的一种实现方式的结构图。
解码器包括至少一层全连接层51、至少一层上采样层52和至少一层反卷积层53。
全连接层51与全连接层41的功能相反，用于将输入的一维的特征向量(第一特征向量或第二特征向量)转换成第二目标向量。
即将一维的特征向量(第一特征向量或第二特征向量)拆分为多个局部特征向量。
上采样层52，用于将第二目标向量还原成第一目标向量。
可选的，可以通过双线性插值、转置卷积、上采样(unsampling)和上池化(unpooling)中任一方式将第二目标向量还原成第一目标向量。
反卷积层53，用于解码第一目标向量，以得到输出图像。
可选的，反卷积层53可以通过矩阵的映射关系按照一定的比例补0来扩大各个局部特征向量对应的像素尺寸，使得输出的输出图像大小与输入编码器的图像(待测图像或样本图像)一致。
但是反卷积53输出的输出图像内部包含的特征与输入编码器的图像包含的特征有所区别。
在一可选实施例中，第一神经网络可以采用一阶hourglass网络结构，这样可以更好捕捉大量局部特征信息并将其结合起来。
在一可选实施例中，为了更快速的训练第一神经网络，第一神经网络可以包括ImageNet预训练的经典特征提取网络，如Resnet101或VGG16网络，ImageNet预训练的经典特征提取网络具有提取图像的通用特征的能力。
其中，Resnet101特征提取网络为101层仅为卷积层或全连接层的网络，VGG16网络为包含13个卷积层和3个全连接层的网络，二者都能有效减少计算和参数量，达到去噪降维的目的。
若第一神经网络包括ImageNet预训练的经典特征提取网络，可以通过迁移学习的方式，利用损失函数训练第一神经网络，可以快速的达到训练结束条件。
与训练完全“空白”的神经网络相比，不必再耗费大量计算资源从头开始训练。
可以理解的是，图5示出的解码器的结构仅为一种示例，并不对本申请中的解码器的结构造成限定。
在一可选实施例中，若缺陷识别模型得到的预测缺陷结果表征第一物体具有缺陷，那么，为了让用户更加清楚的看到待测图像中具有缺陷的第一物体所在位置，本申请实施例还提供了以下方法。
如图6所示，为本申请实施例提供的标注待测图像中第一物体的位置区域的一种实现方式的流程图。
步骤S601：将所述第一特征向量输入所述解码器，通过所述解码器获得所述第一物体位于所述待测图像的边界区域。
为了让本领域技术人员更加理解本申请实施例，下面结合小样本缺陷识别模型的具体结构进行说明。如图7所示，为本申请实施例提供的小样本缺陷识别模型的另一种实现方式的结构图。
小样本缺陷识别模型包括：编码器11、缺陷识别模型12以及解码器71。
编码器11和缺陷识别模型12的功能可以参见图1，这里不再赘述。假设输入的待测图像如图1中所示的待测图像。
解码器71，用于基于第一特征向量得到输出图像。
由于第一特征向量不包括待测图像中的背景数据和噪声数据，所以输出图像包括第一物体对应的图像。
在一可选实施例中，输出图像中除包含第一物体外的区域均为黑色或者白色，这样解码器基于像素值，就可以的到第一物体的边界区域。
可选的，解码器71还可以包括边缘检测算法，通过边缘检测算法可以得到输出图像的边界区域。
第一物体的边界区域的形状可以基于第一物体所属具体类型而定，可以为圆形、长方形、多边形等等。
第一物体的边界区域的表现形式可以有多种，且不同形状的边界区域的表现形式可以相同可以不同，这里以边界区域的形状为长方形为例，对边界区域的表现形式进行说明，边界区域的表现形式可以为：长方形的中心位置点坐标、长方形的宽度、长方形的长度；或者，长方向的顶点的坐标、长方形的宽度、长方形的长度。
若本申请实施例提及的小样本缺陷识别模型位于AR头戴式显示设备中，或者，AR头戴式显示设备可以得到小样本缺陷识别模型输出的第一物体位于待测图像的边界区域，那么AR头戴式显示设备可以基于待测图像与自身构建的现场环境的三维模型，得到第一物体在现场环境的三维坐标，从而用户通过AR头戴式显示设备可以看到指向具有缺陷的第一物体的虚拟箭头，或者，具有缺陷的第一物体包含在内的虚拟边框。
步骤S602：若所述预测缺陷结果表征所述第一物体具有缺陷，在所述待测图像中所述边界区域处标注线条。
步骤S603：展示在所述边界区域处标注线条的所述待测图像。
本申请实施例中，因为解码器71的输出图像为仅包含第一物体对应的图像，因此很容易确定第一物体的边界区域，不需要单独拟合第一物体的边界框的位置，降低了网络训练的难度。
本申请实施例中缺陷识别模型的实现方式有多种，本申请实施例提供但不限于以下几种。
第一种缺陷识别模型的实现方式，如图8所示。
如图8所示，为本申请实施例提供的缺陷识别模型的一种实现方式的结构图。
缺陷识别模型包括物体分类模型81以及各物体类型分别对应的二分类模型82。
其中，缺陷识别模型的输入端为物体分类模型81的输入端，物体分类模型81的输出端分别与各二分类模型82相连。
物体分类模型81，用于确定所述第一物体所属目标类别。
在一可选实施例中，物体分类模型81的输出结果包括目标类别以及第一特征向量，以使得物体分类模型81将第一特征向量输入至目标类别对应的二分类模型82的输入端(图8对应该方案)。
在一可选实施例中，物体分类模型81的输出结果包括目标类别，不包括第一特征向量，物体分类模型81输出目标类别后，需要再将第一特征向量输入至目标类别对应的二分类模型82的输入端。可选的，可以人为将第一特征向量输入至目标类别对应的二分类模型82的输入端。
二分类模型82，用于基于输入的第一特征向量，获得预测缺陷结果。
假设，总共用N个物体类型，具体为：物体类型1、物体类型2，…，物体类型N，那么，具有N个二分类模型82，其中，N为大于或等于1的正整数。
可选的，物体分类模型81可以为包含SVM(Support Vector Machine，支持向量机)算法的模型，或，为包含KNN(k-NearestNeighbor，K近邻算法)的模型，或者，为包含交叉熵(cross entropy)算法的模型，或者，通过训练第三神经网络得到的模型。
在一可选实施例中，物体分类模型81可以是通过训练第三神经网络得到的。
可以理解的是，由于物体分类模型81的目的是识别物体的类型，无论物体是否具有缺陷，所以可以得到大量样本图像。
可选的，可以基于大量样本图像分别对应的第二特征向量训练第三神经网络，以得到物体分类模型81。
可选的，因为第二特征向量的数据维度较低，可以基于小样本的样本图像分别对应的第二特征向量训练第三神经网络，以得到物体分类模型81。
在一可选实施例中，二分类网络模型可以是训练第二神经网络得到的。不同二分类模型对应不同的第二神经网络。
可以理解的是，针对任一二分类模型82，该二分类模型只用于识别与其对应的物体类型的样本图像包含的第一物体是否具有缺陷，即训练第二神经网络能够提取出属于与其对应的物体类型的第一物体的特有特征即可。
与缺陷识别模型对应一个整体的大的神经网络相比，训练第二神经网络的速度较快，且，二分类网络模型得到的预测缺陷结果更加准确。
本申请实施例提供了训练第二神经网络的一种实现方法，该实现方法包括：
步骤一：将多个样本图像分别输入至编码器，通过所述编码器获得各样本图像分别对应的第二特征向量。
步骤二：将各所述样本图像对应的第二特征向量分别输入至物体分类模型，通过所述物体分类模型获得各样本图像中的第二物体分别所属类型。
步骤三：将各样本图像对应的第二特征向量分别作为相应样本图像中第二物体所属类型对应的第二神经网络的输入，训练得到各物体类型分别对应的二分类模型。
其中，训练一个物体类型对应的第二神经网络的过程，包括：
将目标样本图像(其中，目标样本图像是指属于该物体类型的样本图像)的目标第二特征向量输入至第二神经网络；通过第二神经网络获得预测缺陷结果；基于预测缺陷结果与目标样本图像包含的第二物体是否真正具有缺陷的真实结果进行比较，得到比较结果；基于该比较结果更新第二神经网络包含的至少一个参数，直至满足训练第二神经网络的终止条件。
第二种缺陷识别模型的实现方式包括：训练第四神经网络以得到缺陷识别模型。
即通过训练一个大的第四神经网络得到缺陷识别模型。
将多个样本图像分别对应的第二特征向量输入至第四神经网络；得到第四神经网络输出的多个样本图像分别对应的预测缺陷结果；针对每一样本图像，基于预测缺陷结果与样本图像包含的第二物体是否真正具有缺陷的真实结果进行比较得到比较结果，以得到多个样本图像分别对应的比较结果；基于多个样本图像分别对应的比较结果更新第四神经网络包含的至少一个参数，直至满足训练第四神经网络的终止条件。
本申请实施例提供的小样本缺陷识别模型包括：编码器以及缺陷识别模型，编码器是通过训练包含编码器和解码器的第一神经网络得到的。由于是利用样本图像的第二特征向量训练本申请中的缺陷识别模型对应的第二神经网络，所以可以基于小样本训练该第二神经网络以得到缺陷识别模型。
在样本图像匮乏的情况下，与将样本图像作为神经网络(例如，深度学习网络中的FasterRCNN网络)的输入，以神经网络输出的预测缺陷结果与实际缺陷结果(样本图像包含的第二物体实际是否具有缺陷的结果)的比较结果作为损失函数，训练得到大样本缺陷识别模型相比，本申请实施例提供的小样本缺陷识别模型输出的预测缺陷结果的准确度较高。
大样本缺陷识别模型在训练过程中高度依赖正样本图像，即需要大量的正样本图像(包含具有缺陷的物体的样本图像为正样本图像)训练神经网络，得到的大样本缺陷识别模型输出的预测缺陷结果的才具有一定的准确度。
对于正样本图像采集难度较高的行业，例如，电力行业，物体的缺陷发生率较低，但物体发生缺陷后通常会产生事故，使得包含物体缺陷的正样本图像采集难度较高，正样本图像不足，给大样本缺陷识别模型对应的神经网络例如FasterRCNN网络训练带来较大困难，例如，在小样本训练下，该神经网络容易出现过拟合情况。
为了本领域技术人员更加理解本申请实施例提供的小样本缺陷识别模型和大样本缺陷识别模型的区别，下面以大样本缺陷识别模型对应的神经网络为FasterRCNN网络为例进行说明。
如表1所示为第一方案与第二方案之间的准确度的对比表。
第一方案为将样本图像作为包含ImageNet预训练后的VGG16网络的FasterRCNN网络的输入，将包含ImageNet预训练后的VGG16网络的FasterRCNN网络输出的预测缺陷结果与实际缺陷结果(样本图像包含的第二物体实际是否具有缺陷的结果)的比较结果作为损失函数，训练得到大样本缺陷识别模型。
第二方案为将样本图像作为包含ImageNet预训练后的VGG16网络的第一神经网络的输入，将标准图像与第一神经网络的输出图像的比较结果作为损失函数，训练所述第一神经网络，以得到所述编码器；将样本图像的第二特征向量作为第二神经网络的输入，将第二神经网络输出的预测缺陷结果与实际缺陷结果的比较结果作为损失函数，训练得到缺陷识别模型，以得到小样本缺陷识别模型。
将国家电网对应的包含具有缺陷的物体图像(正样本图像)，以及，包含不具有缺陷的物体的图像(负样本图像)作为样本图像。对比试验结果见下表(评价标准mAP@0.5)。
表1
Figure BDA0002515646060000181
如表1所示，若第一方案和第二方案均是通过200张至300张正样本图像和多张负样本图像(本申请实施例对负样本图像的数量不限定)训练得到。
将多张包含仪表盘(仪表盘的表计读书异常)的待测图像输入至第一方案对应的大样本缺陷识别模型，得到的(按照评价标准为mAP@0.5)表征输出的预测缺陷结果的准确度的数据为0.15；将多张包含仪表盘(仪表盘的表计读书异常)的待测图像输入至第二方案对应的小样本缺陷识别模型，得到的(按照评价标准为mAP@0.5)表征输出的预测缺陷结果的准确度的数据为0.39，即第二方案比第一方案输出的预测缺陷结果准确度高。
将多张包含具有破裂缺陷的绝缘子的待测图像输入至第一方案对应的大样本缺陷识别模型，得到的(按照评价标准为mAP@0.5)表征输出的预测缺陷结果的准确度的数据为0.12；将多张包含具有破裂缺陷的绝缘子的待测图像输入至第二方案对应的小样本缺陷识别模型，得到的(按照评价标准为mAP@0.5)表征输出的预测缺陷结果的准确度的数据为0.27，即第二方案比第一方案输出的预测缺陷结果准确度高。
若第一方案和第二方案均是通过2000张至3000张正样本图像和多张负样本图像(本申请实施例对负样本图像的数量不限定)训练得到，将多张包含仪表盘(仪表盘的表计读书异常)的待测图像输入至第一方案对应的大样本缺陷识别模型，得到的(按照评价标准为mAP@0.5)表征输出的预测缺陷结果的准确度的数据为0.63；将多张包含仪表盘(仪表盘的表计读书异常)的待测图像输入至第二方案对应的小样本缺陷识别模型，得到的(按照评价标准为mAP@0.5)表征输出的预测缺陷结果的准确度的数据为0.57，即第二方案比第一方案输出的预测缺陷结果准确度低。
将多张包含具有破裂缺陷的绝缘子的待测图像输入至第一方案对应的大样本缺陷识别模型，得到的(按照评价标准为mAP@0.5)表征输出的预测缺陷结果的准确度的数据为0.47；将多张包含具有破裂缺陷的绝缘子的待测图像输入至第二方案对应的小样本缺陷识别模型，得到的(按照评价标准为mAP@0.5)表征输出的预测缺陷结果的准确度的数据为0.45，即第二方案比第一方案输出的预测缺陷结果准确度低。
上述本申请公开的实施例中详细描述了方法，对于本申请的方法可采用多种形式的装置实现，因此本申请还公开了一种装置，下面给出具体的实施例进行详细说明。
如图9所示，为本申请实施例提供的小样本缺陷识别装置的一种实现方式的结构图，该装置包括：
第一获取模块，用于获取待测图像，所述待测图像包括第一物体；
第二获取模块，用于将所述待测图像输入编码器，通过所述编码器获得所述待测图像对应的第一特征向量；
其中，所述第一特征向量包括所述第一物体对应的图像数据；通过将包含第二物体的样本图像作为包含编码器和解码器的第一神经网络的输入，将标准图像与所述解码器的输出图像的比较结果作为损失函数，训练所述第一神经网络，以得到所述编码器；所述标准图像是指去除所述样本图像包含的噪声数据以及除所述第二物体外的背景数据后的图像；
第三获取模块，用于将所述第一特征向量输入缺陷识别模型，通过所述缺陷识别模型获得所述待测图像对应的预测缺陷结果，所述缺陷识别模型是基于小样本训练得到的。
可选的，还包括：
第四获取模块，用于将所述第一特征向量输入所述解码器，通过所述解码器获得所述第一物体位于所述待测图像的边界区域；
标注模块，用于若所述预测缺陷结果表征所述第一物体具有缺陷，在所述待测图像中所述边界区域处标注线条；
显示模块，用于展示在所述边界区域处标注线条的所述待测图像。
可选的，所述缺陷识别模型包括：物体分类模型以及各物体类型分别对应的二分类模型，第三获取模块包括：
确定单元，用于将所述第一特征向量输入所述物体分类模型，通过所述物体分类模型确定所述第一物体所属目标类别；
第一获取单元，用于将所述第一特征向量输入至与所述目标类别对应的目标二分类模型，通过所述目标二分类模型获得所述预测缺陷结果。
可选的，还包括：
第五获取模块，用于将多个所述样本图像分别输入至所述编码器，通过所述编码器获得各所述样本图像分别对应的第二特征向量；
第六获取模块，用于将各所述样本图像对应的第二特征向量分别输入至所述物体分类模型，通过所述物体分类模型获得各样本图像中的第二物体分别所属类型；
训练模块，用于将各样本图像对应的第二特征向量分别作为相应样本图像中第二物体所属类型对应的第二神经网络的输入，训练得到各物体类型分别对应的二分类模型。
可选的，所述编码器包括卷积层、下采样层以及全连接层，第二获取模块包括：
第二获取单元，用于将所述待测图像输入所述卷积层，通过所述卷积层去除所述待测图像中的噪声数据以及所述背景数据，以得到包含所述第一物体对应的图像数据的第一目标向量；
第三获取单元，用于通过下采样层将所述第一目标向量进行降维，以得到第二目标向量；
第四获取单元，用于通过所述全连接层将所述第二目标向量转换成一维的所述第一特征向量。
如图10所示，为本申请实施例提供的电子设备的一种实现方式的结构图，该电子设备包括：
存储器1001，用于存储程序；
处理器1002，用于执行所述程序，所述程序具体用于：
获取待测图像，所述待测图像包括第一物体；
将所述待测图像输入编码器，通过所述编码器获得所述待测图像对应的第一特征向量；
其中，所述第一特征向量包括所述第一物体对应的图像数据；通过将包含第二物体的样本图像作为包含编码器和解码器的第一神经网络的输入，将标准图像与所述解码器的输出图像的比较结果作为损失函数，训练所述第一神经网络，以得到所述编码器；所述标准图像是指去除所述样本图像包含的噪声数据以及除所述第二物体外的背景数据后的图像；
将所述第一特征向量输入缺陷识别模型，通过所述缺陷识别模型获得所述待测图像对应的预测缺陷结果，所述缺陷识别模型是基于小样本训练得到的。
处理器1002可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)。
第一服务器还可以包括通信接口1003以及通信总线1004，其中，存储器1001、处理器1002以及通信接口1003通过通信总线1004完成相互间的通信。
本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述任一所述的小样本缺陷识别方法实施例包含的各个步骤。
需要说明的是，本说明书中的各个实施例中记载的特征可以相互替换或者组合。对于装置或系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种小样本缺陷识别方法，包括：
获取待测图像，所述待测图像包括第一物体；
将所述待测图像输入编码器，通过所述编码器获得所述待测图像对应的第一特征向量；
其中，所述第一特征向量包括所述第一物体对应的图像数据；通过将包含第二物体的样本图像作为包含编码器和解码器的第一神经网络的输入，将标准图像与所述解码器的输出图像的比较结果作为损失函数，训练所述第一神经网络，以得到所述编码器；所述标准图像是指去除所述样本图像包含的噪声数据以及除所述第二物体外的背景数据后的图像；
将所述第一特征向量输入缺陷识别模型，通过所述缺陷识别模型获得所述待测图像对应的预测缺陷结果，所述缺陷识别模型是基于小样本训练得到的。
2.根据权利要求1所述小样本缺陷识别方法，还包括：
将所述第一特征向量输入所述解码器，通过所述解码器获得所述第一物体位于所述待测图像的边界区域；
若所述预测缺陷结果表征所述第一物体具有缺陷，在所述待测图像中所述边界区域处标注线条；
展示在所述边界区域处标注线条的所述待测图像。
3.根据权利要求1或2所述小样本缺陷识别方法，所述缺陷识别模型包括：物体分类模型以及各物体类型分别对应的二分类模型；所述将所述第一特征向量输入缺陷识别模型，通过所述缺陷识别模型获得所述待测图像对应的预测缺陷结果，包括：
将所述第一特征向量输入所述物体分类模型，通过所述物体分类模型确定所述第一物体所属目标类别；
将所述第一特征向量输入至与所述目标类别对应的目标二分类模型，通过所述目标二分类模型获得所述预测缺陷结果。
4.根据权利要求3所述小样本缺陷识别方法，还包括：
将多个所述样本图像分别输入至所述编码器，通过所述编码器获得各所述样本图像分别对应的第二特征向量；
将各所述样本图像对应的第二特征向量分别输入至所述物体分类模型，通过所述物体分类模型获得各样本图像中的第二物体分别所属类型；
将各样本图像对应的第二特征向量分别作为相应样本图像中第二物体所属类型对应的第二神经网络的输入，训练得到各物体类型分别对应的二分类模型。
5.根据权利要求1所述小样本缺陷识别方法，所述编码器包括卷积层、下采样层以及全连接层，所述将所述待测图像输入编码器，通过所述编码器获得所述待测图像对应的第一特征向量，包括：
将所述待测图像输入所述卷积层，通过所述卷积层去除所述待测图像中的噪声数据以及所述背景数据，以得到包含所述第一物体对应的图像数据的第一目标向量；
通过下采样层将所述第一目标向量进行降维，以得到第二目标向量；
通过所述全连接层将所述第二目标向量转换成一维的所述第一特征向量。
6.根据权利要求1、2、4或5任一所述小样本缺陷识别方法，所述第一特征向量为256*1维的向量，或，521*1维的向量，或，1024*1维的向量。
7.一种小样本缺陷识别装置，包括：
第一获取模块，用于获取待测图像，所述待测图像包括第一物体；
第二获取模块，用于将所述待测图像输入编码器，通过所述编码器获得所述待测图像对应的第一特征向量；
其中，所述第一特征向量包括所述第一物体对应的图像数据；通过将包含第二物体的样本图像作为包含编码器和解码器的第一神经网络的输入，将标准图像与所述解码器的输出图像的比较结果作为损失函数，训练所述第一神经网络，以得到所述编码器；所述标准图像是指去除所述样本图像包含的噪声数据以及除所述第二物体外的背景数据后的图像；
第三获取模块，用于将所述第一特征向量输入缺陷识别模型，通过所述缺陷识别模型获得所述待测图像对应的预测缺陷结果，所述缺陷识别模型是基于小样本训练得到的。
8.根据权利要求7所述小样本缺陷识别装置，还包括：
第四获取模块，用于将所述第一特征向量输入所述解码器，通过所述解码器获得所述第一物体位于所述待测图像的边界区域；
标注模块，用于若所述预测缺陷结果表征所述第一物体具有缺陷，在所述待测图像中所述边界区域处标注线条；
显示模块，用于展示在所述边界区域处标注线条的所述待测图像。
9.一种电子设备，包括：
存储器，用于存储程序；
处理器，用于执行所述程序，所述程序具体用于：
获取待测图像，所述待测图像包括第一物体；
将所述待测图像输入编码器，通过所述编码器获得所述待测图像对应的第一特征向量；
其中，所述第一特征向量包括所述第一物体对应的图像数据；通过将包含第二物体的样本图像作为包含编码器和解码器的第一神经网络的输入，将标准图像与所述解码器的输出图像的比较结果作为损失函数，训练所述第一神经网络，以得到所述编码器；所述标准图像是指去除所述样本图像包含的噪声数据以及除所述第二物体外的背景数据后的图像；
将所述第一特征向量输入缺陷识别模型，通过所述缺陷识别模型获得所述待测图像对应的预测缺陷结果，所述缺陷识别模型是基于小样本训练得到的。
10.一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的小样本缺陷识别方法中的各个步骤。
CN202010475301.5A 2020-05-29 2020-05-29 小样本缺陷识别方法、装置、设备及存储介质 Active CN111627015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010475301.5A CN111627015B (zh) 2020-05-29 2020-05-29 小样本缺陷识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010475301.5A CN111627015B (zh) 2020-05-29 2020-05-29 小样本缺陷识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111627015A true CN111627015A (zh) 2020-09-04
CN111627015B CN111627015B (zh) 2024-04-26

Family

ID=72260775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010475301.5A Active CN111627015B (zh) 2020-05-29 2020-05-29 小样本缺陷识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111627015B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766110A (zh) * 2021-01-08 2021-05-07 重庆创通联智物联网有限公司 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN113689383A (zh) * 2021-07-27 2021-11-23 南京旭锐软件科技有限公司 一种图像处理方法、装置、设备及存储介质
CN113793343A (zh) * 2021-08-23 2021-12-14 南昌航空大学 基于图像的缺陷定位分割方法、系统、终端及存储介质
CN114419035A (zh) * 2022-03-25 2022-04-29 北京百度网讯科技有限公司 产品识别方法、模型训练方法、装置和电子设备
CN114491083A (zh) * 2022-04-01 2022-05-13 江苏智云天工科技有限公司 工业检测中的知识图库构建方法、知识图库构建装置
CN114882039A (zh) * 2022-07-12 2022-08-09 南通透灵信息科技有限公司 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法
WO2024061309A1 (zh) * 2022-09-22 2024-03-28 中广核核电运营有限公司 缺陷识别方法、装置、计算机设备及其存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN109949286A (zh) * 2019-03-12 2019-06-28 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110009614A (zh) * 2019-03-29 2019-07-12 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110349145A (zh) * 2019-07-09 2019-10-18 京东方科技集团股份有限公司 缺陷检测方法、装置、电子设备以及存储介质
CN110688893A (zh) * 2019-08-22 2020-01-14 成都通甲优博科技有限责任公司 佩戴安全帽的检测方法、模型训练方法及相关装置
CN111046971A (zh) * 2019-12-24 2020-04-21 上海眼控科技股份有限公司 图像识别方法、装置、设备及计算机可读存储介质
US20210334587A1 (en) * 2018-09-04 2021-10-28 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
US20210334587A1 (en) * 2018-09-04 2021-10-28 Boe Technology Group Co., Ltd. Method and apparatus for training a convolutional neural network to detect defects
CN109949286A (zh) * 2019-03-12 2019-06-28 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110009614A (zh) * 2019-03-29 2019-07-12 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110349145A (zh) * 2019-07-09 2019-10-18 京东方科技集团股份有限公司 缺陷检测方法、装置、电子设备以及存储介质
CN110688893A (zh) * 2019-08-22 2020-01-14 成都通甲优博科技有限责任公司 佩戴安全帽的检测方法、模型训练方法及相关装置
CN111046971A (zh) * 2019-12-24 2020-04-21 上海眼控科技股份有限公司 图像识别方法、装置、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
竺乐庆;马梦园;张真;孟昭军;吴伟;任利利;高翠青;南小宁;: "基于全卷积网络的鳞翅目标本图像前背景自动分割方法研究" *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766110A (zh) * 2021-01-08 2021-05-07 重庆创通联智物联网有限公司 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN113689383A (zh) * 2021-07-27 2021-11-23 南京旭锐软件科技有限公司 一种图像处理方法、装置、设备及存储介质
CN113689383B (zh) * 2021-07-27 2024-04-16 南京旭锐软件科技有限公司 一种图像处理方法、装置、设备及存储介质
CN113793343A (zh) * 2021-08-23 2021-12-14 南昌航空大学 基于图像的缺陷定位分割方法、系统、终端及存储介质
CN113793343B (zh) * 2021-08-23 2023-06-06 南昌航空大学 基于图像的缺陷定位分割方法、系统、终端及存储介质
CN114419035A (zh) * 2022-03-25 2022-04-29 北京百度网讯科技有限公司 产品识别方法、模型训练方法、装置和电子设备
CN114419035B (zh) * 2022-03-25 2022-06-17 北京百度网讯科技有限公司 产品识别方法、模型训练方法、装置和电子设备
CN114491083A (zh) * 2022-04-01 2022-05-13 江苏智云天工科技有限公司 工业检测中的知识图库构建方法、知识图库构建装置
CN114491083B (zh) * 2022-04-01 2022-07-15 江苏智云天工科技有限公司 工业检测中的知识图库构建方法、知识图库构建装置
CN114882039A (zh) * 2022-07-12 2022-08-09 南通透灵信息科技有限公司 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法
WO2024061309A1 (zh) * 2022-09-22 2024-03-28 中广核核电运营有限公司 缺陷识别方法、装置、计算机设备及其存储介质

Also Published As

Publication number Publication date
CN111627015B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN111627015B (zh) 小样本缺陷识别方法、装置、设备及存储介质
JP6902611B2 (ja) 物体検出方法、ニューラルネットワークの訓練方法、装置および電子機器
CN111144325A (zh) 变电站电力设备的故障识别定位方法、装置及设备
CN110348511A (zh) 一种图片翻拍检测方法、系统及电子设备
CN112348765A (zh) 数据增强方法、装置、计算机可读存储介质及终端设备
CN111680750B (zh) 图像识别方法、装置和设备
CN114820465A (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN111797821A (zh) 文本检测方法、装置、电子设备及计算机存储介质
CN114429637B (zh) 一种文档分类方法、装置、设备及存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114331949A (zh) 一种图像数据处理方法、计算机设备以及可读存储介质
CN113592839B (zh) 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统
CN111144425A (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN114169245A (zh) 一种变压器故障诊断方法、装置及设备
CN113012107B (zh) 电网缺陷检测方法及系统
CN109978855A (zh) 一种遥感图像变化检测方法及装置
CN116805387B (zh) 基于知识蒸馏的模型训练方法、质检方法和相关设备
CN116503399B (zh) 基于yolo-afps的绝缘子污闪检测方法
CN115273123B (zh) 一种票据识别方法、装置、设备及计算机存储介质
CN111340139A (zh) 一种图像内容复杂度的判别方法及装置
CN111126248A (zh) 一种遮挡下的车辆识别方法及装置
CN115761606A (zh) 基于图像处理的箱体电能表识别方法及装置
CN115374517A (zh) 布线软件的测试方法、装置、电子设备及存储介质
CN111524108B (zh) 一种变电站设备检测方法及设备
CN115393763A (zh) 基于图像频域的行人入侵识别方法、系统、介质及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant