CN113763305B - 标定物品缺陷的方法、装置及电子设备 - Google Patents

标定物品缺陷的方法、装置及电子设备 Download PDF

Info

Publication number
CN113763305B
CN113763305B CN202010476097.9A CN202010476097A CN113763305B CN 113763305 B CN113763305 B CN 113763305B CN 202010476097 A CN202010476097 A CN 202010476097A CN 113763305 B CN113763305 B CN 113763305B
Authority
CN
China
Prior art keywords
calibration
image
area
calibrated
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010476097.9A
Other languages
English (en)
Other versions
CN113763305A (zh
Inventor
陈佳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010476097.9A priority Critical patent/CN113763305B/zh
Publication of CN113763305A publication Critical patent/CN113763305A/zh
Application granted granted Critical
Publication of CN113763305B publication Critical patent/CN113763305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明实施例提供的一种标定物品缺陷的方法、装置及设备，通过获取待标定图像；待标定图像为存在物品区域的无标签的图像；基于预先训练完成的第一神经网络模型，对待标定图像进行标定处理，得到待标定图像的带有标签的预标定图像；其中，第一神经网络模型为利用多个第一样本图像，进行无监督训练得到的用于标定物品缺陷的模型；第一样本图像的物品区域中的物品不存在缺陷；利用预先训练完成的第二神经网络模型，检测预标定图像是否存在标定异常；第二神经网络模型为利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到的模型；如果不存在标定异常，基于预标定图像，确定所标定图像的标定图像。本方案可以提升缺陷标定的效率。

Description

标定物品缺陷的方法、装置及电子设备
技术领域
本发明涉及缺陷检测技术领域，特别是涉及一种标定物品缺陷的方法、装置及电子设备。
背景技术
在物品的质量管理中，可以利用缺陷检测技术对物品表面的缺陷进行检测。具体的，可以预先利用多个样本图像以及每个样本图像中物品缺陷的标定结果，进行有监督的训练得到神经网络模型，进而将待检测物品的表面图像输入所得到的神经网络模型，得到待检测物品表面的缺陷检测结果。其中，样本图像中的物品与待检测物品的物品类型相同，例如，待检测物品为布匹，样本图像中的物品也为布匹。可见，对样本图像进行缺陷的标定对于缺陷检测而言，至关重要。
相关技术中，可以由人工观测样本图像中物品的缺陷，并对存在缺陷的区域进行标定。示例性的，如图1(a)和图1(b)所示，人工观测到某一布匹的待标定图像图1(a)存在区域101中的缺陷：错纱，对该缺陷进行标定，得到标定结果图1(b)，其中区域102中的黑色实线为错纱缺陷的标定区域。
但是，在具体应用中，上述样本图像的数量往往是大量的，人工对样本图像进行缺陷的标定时，需要进行大量的人工观测以及标定的过程，导致缺陷的标定效率相对而言较低的问题。
发明内容
本发明实施例的目的在于提供一种标定物品缺陷的方法、装置及电子设备，以实现提升缺陷的标定效率的效果。具体技术方案如下：
第一方面，本发明实施例提供了一种标定物品缺陷方法，该方法包括：
获取待标定图像；所述待标定图像为存在物品区域的无标签的图像；
基于预先训练完成的第一神经网络模型，对所述待标定图像进行标定处理，得到所述待标定图像的带有标签的预标定图像；其中，所述第一神经网络模型为利用多个第一样本图像，进行无监督训练得到的、用于标定物品缺陷的模型；所述第一样本图像的物品区域中的物品不存在缺陷；
利用预先训练完成的第二神经网络模型，检测所述预标定图像是否存在标定异常；其中，所述第二神经网络模型用于识别所述预标定图像中是否存在对于物品缺陷的标定异常，且所述第二神经网络模型为利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到的模型；
如果不存在标定异常，基于所述预标定图像，确定所述待标定图像的标定图像。
第二方面，本发明实施例提供了一种标定物品缺陷的装置，该装置包括：
图像获取模块，用于获取待标定图像；所述待标定图像为存在物品区域的无标签的图像；
预标定模块，用于基于预先训练完成的第一神经网络模型，对所述待标定图像进行标定处理，得到所述待标定图像的带有标签的预标定图像；其中，所述第一神经网络模型为利用多个第一样本图像，进行无监督训练得到的、用于标定物品缺陷的模型；所述第一样本图像的物品区域中的物品不存在缺陷；
标定异常检测模块，用于利用预先训练完成的第二神经网络模型，检测所述预标定图像是否存在标定异常；其中，所述第二神经网络模型用于识别所述预标定图像中是否存在对于物品缺陷的标定异常，且所述第二神经网络模型为利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到的模型；
标定模块，用于在所述标定异常检测模块检测到所述预标定图像不存在标定异常时，基于所述预标定图像，确定所述待标定图像的标定图像。
第三方面，本发明实施例提供了一种电子设备，该设备包括：
处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现上述第一方面提供的标定物品缺陷的方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面提供的标定物品缺陷的方法的步骤。
本发明提供的方案中，所获取的待标定图像为存在物品区域的无标签的图像；第一神经网络模型为预先利用多个第一样本图像，进行无监督训练得到的、用于标定物品缺陷的模型，第一样本图像的物品区域中的物品不存在缺陷。因此，第一神经网络模型能够对待标定图像进行缺陷标定，得到待标定图像的带有标签的预标定图像。在此基础上，利用预先训练完成的第二神经网络模型，检测预标定图像是否存在标定异常，如果不存在标定异常，基于预标定图像，确定待标定图像的标定图像。并且，第二神经网络模型为利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到的模型。由此，在利用进行无监督训练得到的第一神经网络模型获得预标定图像，以节省大量的人工观测以及标定过程的基础上，利用第二神经网络模型筛选标定异常的预标定图像，从而提高基于预标定图像得到的标定图像的准确度。因此，与人工对图像进行缺陷的标定相比，可以兼顾缺陷的标定效率和准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1(a)为本发明一实施例提供的标定物品缺陷的方法中，待标定图像的示例图；
图1(b)为本发明一实施例提供的标定物品缺陷的方法中，待标定图像的关于物品缺陷的标定结果的示例图；
图1(c)为本发明一实施例提供的标定物品缺陷的方法中，物品缺陷的示例图；
图1(d)为本发明一实施例提供的标定物品缺陷的方法中，关于图1(c)中物品缺陷的标定结果的示例图；
图1(e)为本发明一实施例提供的标定物品缺陷的方法中，物品缺陷的示例图；
图1(f)为本发明一实施例提供的标定物品缺陷的方法中，关于图1(e)中物品缺陷的标定结果的示例图；
图1(g)为本发明一实施例提供的标定物品缺陷的方法中，物品缺陷的示例图；
图1(h)为本发明一实施例提供的标定物品缺陷的方法中，关于图1(g)中物品缺陷的标定结果的示例图；
图2为本发明一实施例提供的标定物品缺陷的方法的流程示意图；
图3(a)为本发明另一实施例提供的标定物品缺陷的方法的流程示意图；
图3(b)为本发明另一实施例提供的标定物品缺陷的方法的一种示例图；
图3(c)为本发明另一实施例提供的标定物品缺陷的方法的一种示例中，关于深度学习训练1的流程示意图；
图3(d)为本发明另一实施例提供的标定物品缺陷的方法的一种示例中，关于深度学习训练2的流程示意图；
图3(e)为本发明另一实施例提供的标定物品缺陷的方法的另一种示例图；
图4为本发明另一实施例提供的标定物品缺陷的方法中，异常结果的示例图；
图5为本发明另一实施例提供的标定物品缺陷的方法中，第一标定区域和第二标定区域的重合关系示例图；
图6为本发明一实施例提供的标定物品缺陷的装置的结构示意图；
图7为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
对样本图像进行缺陷的标定对于缺陷检测而言，至关重要。在具体应用中，图像中物品的缺陷通常具有多样化的特点，导致标定物品缺陷的准确度和效率受到一定影响。举例而言，如图1(c)、图1(d)、1(e)、图1(f)、图1(g)以及图1(h)所示，对于物品布匹可以存在：图1(c)所示区域103中的缺陷：坏针，对该缺陷进行标定，得到图1(d)中黑色区域所示的标定结果；图1(e)所示区域104中的缺陷：开幅线，对该缺陷进行标定，得到图1(f)中黑色区域所示的标定结果；以及图1(g)所示区域105中的缺陷：破洞，对该缺陷进行标定，得到图1(h)中黑色区域所示的标定结果。可见，具有多样化的物品缺陷，使得如何兼顾标定物品缺陷的效率和准确度，成为亟待解决的问题。
下面首先对本发明一实施例的标定物品缺陷的方法进行介绍。
本发明实施例提供的标定物品缺陷的方法，可以应用于电子设备，该设备具体可以包括台式计算机、便携式计算机、互联网电视，智能移动终端、可穿戴式智能终端以及服务器等，在此不作限定，任何可以实现本发明实施例的电子设备，均属于本发明实施例的保护范围。
如图2所示，本发明一实施例提供的标定物品缺陷的方法的流程，该方法可以包括：
S201，获取待标定图像；待标定图像为存在物品区域的无标签的图像。
为了对需要进行缺陷检测的物品标定缺陷，待标定图像为存在物品区域的无标签的图像。示例性的，如图1(a)所示，需要进行缺陷检测的物品为某一布匹，待标定图像可以为图1(a)，该待标定图像的物品区域所代表的布匹表面，存在区域101中的缺陷：错纱。并且，获取待标定图像的具体方式可以为：本发明的执行主体采集需要进行缺陷检测的物品的图像得到待标定图像，或者，本发明的执行主体从图像采集设备被动接收或者主动请求得到待标定图像。其中，图像采集设备用于采集需要进行缺陷检测的物品的图像。
S202，基于预先训练完成的第一神经网络模型，对待标定图像进行标定处理，得到待标定图像的带有标签的预标定图像。
其中，第一神经网络模型为利用多个第一样本图像，进行无监督训练得到的、用于标定物品缺陷的模型；第一样本图像的物品区域中的物品不存在缺陷。
为了识别待标定图像的物品区域中的物品是否存在缺陷，以及进行缺陷标定，并减少人工标定物品缺陷造成的效率较低的问题，可以预先使用多个物品区域中的物品不存在缺陷的第一样本图像，进行无监督训练得到第一神经网络模型。其中，无监督训练是一种通过聚类或自动编码等算法，在用于训练的数据不包含输出目标的情况下，学习到用于训练的数据和数据特征之间的关系的训练。预先训练完成的第一神经网络模型的结构，具体可以包括卷积层，池化层，激活函数层，池化层，归一化层以及全连接层，其中，归一化层具体可以为BN(Batch Normalization，批量归一化)层，或者，LRN(Local ResponseNormalization，局部响应归一化)层。在具体应用中，利用多个第一样本图像，进行无监督训练得到第一神经网络模型的方式，具体可以是多种的，下面以示例性描述的方式进行说明。
示例性的，可以将多个第一样本图像输入第一神经网络训练引擎，得到第一神经网络模型，第一神经网络训练引擎为用于进行无监督训练的神经网络训练工具。或者，示例性的，可以将多个第一样本图像输入聚类模型，得到多个第一样本图像的聚类结果；将多个第一样本图像，输入神经网络模型进行训练，得到神经网络模型输出的标定结果；基于所得到的标定结果、聚类结果以及损失函数，判断处于当前训练阶段的神经网络模型是否收敛，如果收敛，将处于当前训练阶段的神经网络模型作为第一神经网络模型；如果不收敛，调整处于当前训练阶段的神经网络模型的模型参数，得到调整后的神经网络模型，将多个第一样本图像输入调整后的神经网络模型，并重复上述进行训练和调整模型参数的步骤，直至所调整后的神经网络模型收敛。任何通过无监督训练得到第一神经网络模型的方法均可用于本发明，本实施例对此不作限制。
其中，预标定图像的形式可以是多种的。示例性的，对于物品存在缺陷的待标定图像，可以将存在缺陷的区域的图像作为预标定图像，例如，图1(b)为图1(a)中存在缺陷的区域101的图像，图1(b)的区域102中的黑色实线为错纱缺陷，可以将图1(b)作为预标定图像；对于物品不存在缺陷的待标定图像，可以将待标定图像本身作为预标定图像。或者，示例性的，对于物品存在缺陷的待标定图像，可以在待标定图像中标记出存在缺陷的区域，得到预标定图像，例如，在待标定图像图1(a)中标记出存在缺陷的区域101，得到预标定图像；对于物品不存在缺陷的待标定图像，可以将待标定图像本身作为预标定图像。任何形式的标签标记形式均可用于得到本发明的预标定图像，本实施例对此不作限制。
S203，利用预先训练完成的第二神经网络模型，检测预标定图像是否存在标定异常。如果不存在标定异常，执行步骤S204。
其中，第二神经网络模型用于识别预标定图像中是否存在对于物品缺陷的标定异常，且第二神经网络模型为利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到的模型。
在具体应用中，预标定图像中对于物品缺陷的标定异常可以是多种的。示例性的，预标定图像中对于物品缺陷的标定异常可以为漏标：预标定图像的物品区域中的物品存在缺陷，但没有标定。或者，示例性的，预标定图像中对于物品缺陷的标定异常可以为误标：预标定图像中标记的存在缺陷的区域，与存在缺陷的实际区域不相符。举例而言，如图4所示，预标定图像中标记的存在缺陷的区域可能为面积大于实际缺陷区域401的外扩一圈标定区域402；或者，预标定图像中标记的存在缺陷的区域可能为小于实际缺陷区域401的缩小一圈区域403；或者，预标定图像中标记的存在缺陷的区域实际上不存在缺陷。
对此，为了提高在后续S204中基于预标定图像，确定待标定图像的准确度，可以利用预先训练完成的第二神经网络模型，检测预标定图像是否存在标定异常。如果如果不存在标定异常，表明预标定图像中准确标定了物品缺陷，因此，可以执行步骤S305。其中，用于识别预标定图像中是否存在对于物品缺陷的标定异常的第二神经网络模型的数量具体可以是多种的，为了便于理解和合理布局，后续在本发明图3的可选实施例中进行具体说明。
并且，用于训练得到第二神经网络模型的第二样本图像具体可以包括：图像的物品区域中的物品存在缺陷的多个样本图像，和/或者图像的物品区域中的物品不存在缺陷的多个样本图像。其中，预先训练完成的第二神经网络模型的结构，具体可以包括卷积层，池化层，激活函数层，池化层，归一化层以及全连接层，其中，归一化层具体可以为BN层，或者，LRN层。在具体应用中，利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到第二神经网络模型的方式，具体可以是多种的，下面以示例性描述的方式进行说明。
示例性的，可以将多个第二样本图像和每个第二样本图像的标签输入第二神经网络训练引擎，得到第二神经网络模型，第二神经网络训练引擎为用于进行有监督训练的神经网络训练工具。或者，示例性的，可以将多个第二样本图像输入神经网络模型进行训练，得到神经网络模型输出的预测标定结果；基于所得到的预测标定结果、每个第二样本图像的标签以及损失函数，判断处于当前训练阶段的神经网络模型是否收敛；如果收敛，将处于当前训练阶段的神经网络模型作为第二神经网络模型；如果不收敛，调整处于当前训练阶段的神经网络模型的模型参数，得到调整后的神经网络模型，将多个第二样本图像输入调整后的神经网络模型，并重复上述进行训练和调整模型参数的步骤，直至所调整后的神经网络模型收敛。任何进行有监督训练得到第二神经网络模型的方法均可用于本发明，本实施例对此不作限制。
S204，基于预标定图像，确定待标定图像的标定图像。
在具体应用中，基于预标定图像，确定待标定图像的标定图像可以是多种的。示例性的，可以将预标定图像作为待标定图像的标定图像。或者，示例性的，如果在步骤S203之前对预标定图像进行了输出，进而获得了预检测后的预标定图像，并利用预先训练完成的第二神经网络模型，检测预检测后的预标定图像是否存在标定异常，可以将不存在标定异常的预检测后的预标定图像，作为待标定图像的标定图像。为了便于理解和合理布局，后续在本发明图2实施例中，对第二种示例性情况进行具体说明。
本发明提供的方案中，所获取的待标定图像为存在物品区域的无标签的图像；第一神经网络模型为预先利用多个第一样本图像，进行无监督训练得到的、用于标定物品缺陷的模型，第一样本图像的物品区域中的物品不存在缺陷。因此，第一神经网络模型能够对待标定图像进行缺陷标定，得到待标定图像的带有标签的预标定图像。在此基础上，利用预先训练完成的第二神经网络模型，检测预标定图像是否存在标定异常，如果不存在标定异常，基于预标定图像，确定待标定图像的标定图像。并且，第二神经网络模型为利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到的模型。由此，在利用进行无监督训练得到的第一神经网络模型获得预标定图像，以节省大量的人工观测以及标定过程的基础上，利用第二神经网络模型筛选标定异常的预标定图像，从而提高基于预标定图像得到的标定图像的准确度。因此，与人工对图像进行缺陷的标定相比，可以兼顾缺陷的标定效率和准确度。
如图3(a)所示，本发明另一实施例提供的标定物品缺陷的方法的流程，该方法可以包括：
S301，获取待标定图像。
S302，基于预先训练完成的第一神经网络模型，对待标定图像进行标定处理，得到待标定图像的带有标签的预标定图像。
上述S301至S302与本发明图1实施例的S201至S202为相同的步骤，在此不再赘述，详见上述本发明图1实施例的描述。
S303，输出预标定图像。
S304，获取预检测后的预标定图像；预检测后的预标定图像为人工对输出的预标定图像进行预检测后的图像；预检测包括：检测预标定图像是否存在对于物品缺陷的漏标或者误标，并对存在漏标或者误标的预标定图像进行标签的修复。
为了步骤S304的执行，可以通过步骤S303输出预标定图像，以便人工对输出的预标定图像进行预检测，得到预检测后的预标定图像。其中，预检测包括：检测预标定图像是否存在对于物品缺陷的漏标或者误标，并对存在漏标或者误标的预标定图像进行标签的修复。举例而言，标签的修复包括对存在漏标的预标定图像标记标签，将存在误标的预标定图像的标签调整为正确的标签。并且，对于不存在漏标或者误标的预标定图像，预检测后的预标定图像，仍然是原来的预标定图像。
在具体应用中，获取预检测后的预标定图像的方式可以是多种的。示例性的，可以向进行预检测的人员发送预检测后的预标定图像的获取请求，以使得预检测的人员返回预检测后的预标定图像。或者，示例性的，当预检测后的预标定图像被进行预检测的人员存储在存储装置中时，可以主动请求或者被动接收该存储装置中的预检测后的预标定图像。其中，存储装置可以包含在作为本发明执行主体的电子设备中，或者，独立于作为本发明执行主体的电子设备。
S305，利用预先训练完成的第二神经网络模型，检测预检测后的预标定图像是否存在标定异常。如果不存在标定异常，执行步骤S306。
S306，将预检测后的预标定图像，作为待标定图像的标定图像。
上述S305至S306与本发明图2实施例的S203至S204为相似步骤，区别在于本实施例中是对预检测后的预标定图像检测是否存在标定异常，进而将不存在标定异常的预检测后的预标定图像，作为待标定图像的标定图像。并且，对应于不同的第二神经网络模型的数量，利用预先训练完成的第二神经网络模型，检测预检测后的预标定图像是否存在标定异常具体可以是多种的，为了便于理解和合理布局，后续在本发明图3的可选实施例中进行具体说明。
并且，在一种可选的实施方式中，在上述步骤S305：利用预先训练完成的第二神经网络模型，检测所述预检测后的预标定图像是否存在标定异常之后，本发明实施例提供的标定物品缺陷的方法还可以包括如下步骤：
如果存在标定异常，输出预检测后的预标定图像，并返回执行获取预检测后的预标定图像。
并且，为了进一步提高待标定图像的标定图像的标定准确度，对于存在标定异常的预检测后的预标定图像，可以进行输出，以便人工对存在标定异常的预检测后的预标定图像进行预检测，得到新的预检测后的预标定图像。以此为基础，返回执行获取预检测后的预标定图像，可以实现对预标定图像的多次检测和修复，从而提高待标定图像的标定图像的标定准确度。
在一种可选的实施方式中，上述第二神经网络模型的数量为一个；预检测后的预标定图像中包括进行修复得到的修复后的缺陷区域标记；
相应的，上述本发明图3(a)实施例中的步骤S305：利用预先训练完成的第二神经网络模型，检测预检测后的预标定图像是否存在标定异常，具体可以包括如下步骤一至步骤三：
步骤一，将预检测后的预标定图像输入预先训练完成的第二神经网络模型，得到预检测后的预标定图像的预测缺陷区域标记；
步骤二，计算修复后的缺陷区域标记与预测缺陷区域标记之间的匹配度；
步骤三，当匹配度满足预设的匹配度异常条件时，确定预检测后的预标定图像存在标定异常。
其中，预设的匹配度异常条件为用于确定修复后的缺陷区域标记和预测缺陷区域标记的差异大于期望值的条件，具体可以为匹配度小于预设匹配度阈值。示例性的，当修复后的缺陷区域标记和预测缺陷区域标记的匹配度小于0.8，表明修复后的缺陷区域标记和预测缺陷区域标记之间的差异相对而言较大，可以确定预检测后的预标定图像存在标定异常。
示例性的，如图3(b)所示，对本可选实施例进行示例性说明。将本可选实施例应用于对缺陷检测中所使用的训练样本进行物品缺陷标定时，训练样本相当于本发明图3(a)实施例中的待标定图像。对此，可以通过步骤S301b开始，触发对训练样本进行物品缺陷标定的流程。具体的，S302b训练样本与本发明图3(a)实施例的S301为相似步骤；S303b深度学习训练1至S304b预标定图片与本发明图3(a)实施例的S302至S303为相似步骤；S305b人工审核、S306b是否训练、S307b深度学习训练2、S308b训练样本各标定区域得分至S309b结束，与本发明图3(a)实施例的S304至S306为相似步骤。对于相似部分，在此不再赘述，详见上述本发明图3(a)实施例的描述。区别在于图3(b)中为了简洁示例，采用了不同的表述。其中，S308b具体可以采用本可选实施例实现，训练样本各标定区域的得分相当于本可选实施例中修复后的缺陷区域标记与预测缺陷区域标记之间的匹配度。并且，如果在S306b是否训练中判定否，表明人工审核也就是预检测后的训练样本不存在标定异常，因此，可以结束对训练样本进行物品缺陷标定的流程，否则，表明人工审核后的训练样本存在标定异常，因此，可以执行S307b，直到判定不存在标定异常。
并且，如图3(c)所示，步骤S303b深度学习训练1的具体流程可以包括：将无缺陷样本输入深度学习训练引擎1，以使得深度学习训练引擎1输出模型1。该流程相当于本发明图2实施例步骤S202中第一神经网络模型的获取流程，模型1相当于第一神经网络，无缺陷样本相当于第一样本图像，深度学习训练引擎1相当于第一神经网络训练引擎。详见本发明图2实施例中对步骤S202的第一神经网络模型的获取方式的描述，在此不再赘述。
并且，如图3(d)所示，S307b深度学习训练2的具体流程可以包括：将所有训练样本输入深度学习训练引擎2，以使得深度学习训练引擎2输出模型2。该流程相当于本发明图2实施例步骤S203中第二神经网络模型的获取流程，模型2相当于第二神经网络，所有训练样本相当于第二样本图像和每个第二样本图像的标签，深度学习训练引擎2相当于第二神经网络训练引擎。详见本发明图2实施例中对步骤S203的第二神经网络模型的获取方式的描述，在此不再赘述。
在具体应用中，计算修复后的缺陷区域标记和预测缺陷区域标记之间的匹配度的方式可以是多种的，下面以可选实施例的形式进行具体说明。
在一种可选的实施方式中，上述计算修复后的缺陷区域标记与预测缺陷区域标记之间的匹配度，具体可以包括如下步骤：
对修复后的缺陷区域标记进行特征提取，得到第一特征向量；对预测缺陷区域标记进行特征提取，得到第二特征向量；
将第一特征向量和第二特征向量输入预设的相似度模型，得到第一特征向量和第二特征向量的相似度，将所得到的的相似度作为修复后的缺陷区域标记与预测缺陷区域标记之间的匹配度。
在本可选实施例中，可以按照提取图像特征的方式，分别对修复后的缺陷区域标记与预测缺陷区域标记进行特征提取，实现修复后的缺陷区域标记与预测缺陷区域标记的向量化，从而利用预设的相似度模型得到能够反映修复后的缺陷区域标记与预测缺陷区域标记之间的匹配度的相似度。其中，预设的相似度模型可以是多种的，举例而言，可以是计算欧氏距离的模型以及计算向量夹角余弦值的模型等等。
在另一种可选的实施方式中，上述计算修复后的缺陷区域标记与预测缺陷区域标记之间的匹配度，具体可以包括如下步骤：
利用第一标定区域和第二标定区域之间的重合关系，获取修复后的缺陷区域标记与预测缺陷区域标记之间的匹配度；
其中，第一标定区域为修复后的缺陷区域标记所指示的标定区域，第二标定区域为预测缺陷区域标记所指示的标定区域。
参见图5，修复后的缺陷区域标记和预测缺陷区域标记对应同一待标定图像，因此，将修复后的缺陷区域标记和预测缺陷区域标记进行叠加比对时，在所比对的区域501中，修复后的缺陷区域标记所指示的标定区域：第一标定区域5011，与预测缺陷区域标记所指示的标定区域：第二标定区域5012之间的重合关系，可以反映修复后的缺陷区域标记和预测缺陷区域标记之间的匹配度。因此，可以利用第一标定区域和第二标定区域之间的重合关系，获取修复后的缺陷区域标记和预测缺陷区域标记之间的匹配度。在一种可选的实施方式中，上述利用第一标定区域和第二标定区域之间的重合关系，获取修复后的缺陷区域标记与预测缺陷区域标记之间的匹配度，具体可以包括如下步骤：
计算第一标定区域和第二标定区域的交集面积与并集面积之间的比值，作为修复后的缺陷区域标记与预测缺陷区域标记之间的匹配度；
其中，交集面积为第一标定区域和第二标定区域之间重合区域的面积；并集面积为第一标定区域和第二标定区域的总面积与交集面积的差值。
参见图5，修复后的缺陷区域标记与预测缺陷区域标记之间的匹配度D＝第一标定区域和第二区域的交集面积B÷并集面积S；其中，第一标定区域和第二标定区域之间交集面积B为第一标定区域和第二标定区域之间的重合区域5031的面积；并集面积S＝第一标定区域5011的面积A+第二标定区域5012的面积C-交集面积B。
在具体应用中，修复后的缺陷区域标记与预测缺陷区域标记分别对应的图像具有相同的尺寸，因此，第一标定区域中像素点的坐标和第二标定区域中像素点的坐标属于同一坐标系。并且，图像中任一区域中像素点的个数，可以代表该区域的面积。以此为基础，可以统计上述交集面积和并集面积分别对应的区域中像素点的个数，作为该区域的面积：统计第一标定区域5011中像素点的个数，得到第一标定区域的面积，统计第二标定区域5012中像素点的个数，得到第二标定区域的面积；重合区域5013中的像素点为第一标定区域5011中，坐标与第二标定区域5012中坐标相同的像素点所在的区域，因此，可以根据第一标定区域5011和第二区域5012中像素点的坐标，确定重合区域5013，进而统计重合区域5013中像素点的个数，得到交集面积。
本可选实施例与利用特征向量的相似度获得匹配度相比，无需进行相对而言计算量较多的特征提取，因此，可以提高匹配度的获取效率，进而提高标定物品缺陷的效率。
在一种可选的实施方式中，上述第二神经网络模型的数量为N个，N为不小于2的整数；多个第二样本图像包括N个样本子集；N个第二神经网络模型与N个样本子集一一对应，且任一第二神经网络模型为利用该第二神经网络模型对应的样本子集，以及该样本子集中每个第二样本图像的标签，进行有监督训练得到的模型；
相应的，上述本发明图3(a)实施例中的步骤S305：利用预先训练完成的第二神经网络模型，检测预检测后的预标定图像是否存在标定异常，具体可以包括如下步骤一至步骤三：
步骤一，分别利用N个预先训练完成的第二神经网络模型，检测预检测后的预标定图像是否存在标定异常，得到N个预测概率；
步骤二，基于N个预测概率，判断预检测后的预标定图像是否满足预设的概率异常条件；
步骤三，如果满足，确定预检测后的预标定图像存在标定异常。
为了检测预检测后的预标定图像对物品缺陷的标定是否异常，可以分别利用N个预先训练完成的第二神经网络模型，对待标定图像进行缺陷检测，得到N个预测概率。并且，用于训练得到N个第二神经网络模型的为N个样本子集。举例而言，N为2个时，样本子集为2个；N为5个时，样本子集为5个，且各样本子集中的样本图像互不相同。在具体应用中，基于N个预测概率，判断预检测后的预标定图像是否满足预设的概率异常条件，可以是多种的，后续以可选实施例的形式进行具体说明。
示例性的，如图3(e)所示，对本可选实施例进行示例性说明。将本可选实施例应用于对缺陷检测中所使用的训练样本进行物品缺陷标定时，训练样本相当于本发明图3(a)实施例中的待标定图像。对此，可以通过步骤S301e开始，触发对训练样本进行物品缺陷标定的流程。具体的，S302e训练样本与本发明图3(a)实施例的S301为相似步骤；S303e预标定图片与本发明图3(a)实施例的S302至S303为相似步骤；S304e人工审核、S305e是否训练、S306e深度学习训练、S307e漏标和误标的图片至S308e结束，与本发明图3(a)实施例的S304至S306为相似步骤。对于相似部分，在此不再赘述，详见上述本发明图3(a)实施例的描述。区别在于图3(e)中为了简洁示例，采用了不同的表述。其中，S307e具体可以采用本可选实施例实现，漏标和误标的图片相当于本可选实施例中确定预检测后的预标定图像存在标定异常。并且，如果在S305e是否训练中判定否，表明人工审核也就是预检测后的训练样本不存在标定异常，因此，可以结束对训练样本进行物品缺陷标定的流程，否则，表明人工审核后的训练样本存在标定异常，因此，可以执行S306e，直到判定不存在标定异常。
在一种可选的实施方式中，上述基于所述N个预测概率，判断预检测后的预标定图像是否满足预设的概率异常条件，具体可以包括如下步骤：
对N个预测概率进行指定运算，得到目标概率；目标概率为反映预检测后的预标定图像中存在目标缺陷的概率；目标缺陷为N个第二神经网络所预测的缺陷；
当目标概率小于与指定运算对应的概率阈值、且预检测后的预标定图像的标签表明存在缺陷时，判定预检测后的预标定图像满足预设的概率异常条件；
或者，计算预检测后的预标定图像的标签所指示的标定区域的面积，作为第一标定面积；
当目标概率大于第二概率阈值、第一标定面积大于预设面积阈值、且预检测后的预标定图像的标签表明不存在缺陷时，判定预检测后的预标定图像的标签满足预设的概率异常条件。
在具体应用中，指定运算可以是多种的。示例性的，指定运算可以是对N个预测概率进行求和，或者，对N个预测概率求取平均值。由此，通过指定运算得到的目标概率，反映了预检测后的预标定图像中存在N个第二神经网络所预测的目标缺陷的概率。
其中，对应于不同的指定运算，存在不同的概率阈值。举例而言，指定运算为对N个预测概率进行求和时，概率阈值相对而言较大，指定运算为对N个预测概率求取平均值时，概率阈值相对而言较小。当目标概率小于与指定运算对应的概率阈值、且预检测后的预标定图像表明待标定图像存在缺陷时，表明可能对不存在缺陷的待标定图像进行了缺陷标定，即预检测后的预标定图像为误标定，因此，可以判定预检测后的预标定图像满足预设的概率异常条件。并且，预检测后的预标定图像表明待标定图像存在缺陷，具体可以为预检测后的预标定图像指示有标定区域。
或者，预检测后的预标定图像可能存在漏标。对此，可以计算预检测后的预标定图像所指示的标定区域的面积，作为第一标定面积；当目标概率大于第二概率阈值、且第一标定面积大于预设面积阈值时，判定待标定图像满足预设的概率异常条件。其中，计算第一标定面积具体可以为统计预检测后的预标定图像所指示的标定区域的像素点的个数，作为第一标定面积。目标概率大于第二概率阈值、第一标定面积大于预设面积阈值、且预检测后的预标定图像表明不存在缺陷时，表明待标定图像很可能存在缺陷，但未进行缺陷标定，为漏标，因此，可以判定待标定图像满足预设的概率异常条件。示例性的，当目标概率大于4、第一标定面积大于15、且预检测后的预标定图像表明不存在缺陷，预检测后的预标定图像存在漏标。
相应于上述方法实施例，本发明一实施例还提供了标定物品缺陷的装置。
如图6所示，本发明一实施例提供的标定物品缺陷的装置，该装置可以包括：
图像获取模块601，用于获取待标定图像；所述待标定图像为存在物品区域的无标签的图像；
预标定模块602，用于基于预先训练完成的第一神经网络模型，对所述待标定图像进行标定处理，得到所述待标定图像的带有标签的预标定图像；其中，所述第一神经网络模型为利用多个第一样本图像，进行无监督训练得到的、用于标定物品缺陷的模型；所述第一样本图像的物品区域中的物品不存在缺陷；
标定异常检测模块603，用于利用预先训练完成的第二神经网络模型，检测所述预标定图像是否存在标定异常；其中，所述第二神经网络模型用于识别所述预标定图像中是否存在对于物品缺陷的标定异常，且所述第二神经网络模型为利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到的模型；
标定模块604，用于在所述标定异常检测模块检测到所述预标定图像不存在标定异常时，基于所述预标定图像，确定所述待标定图像的标定图像。
本发明提供的方案中，所获取的待标定图像为存在物品区域的无标签的图像；第一神经网络模型为预先利用多个第一样本图像，进行无监督训练得到的、用于标定物品缺陷的模型，第一样本图像的物品区域中的物品不存在缺陷。因此，第一神经网络模型能够对待标定图像进行缺陷标定，得到待标定图像的带有标签的预标定图像。在此基础上，利用预先训练完成的第二神经网络模型，检测预标定图像是否存在标定异常，如果不存在标定异常，基于预标定图像，确定待标定图像的标定图像。并且，第二神经网络模型为利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到的模型。由此，在利用进行无监督训练得到的第一神经网络模型获得预标定图像，以节省大量的人工观测以及标定过程的基础上，利用第二神经网络模型筛选标定异常的预标定图像，从而提高基于预标定图像得到的标定图像的准确度。因此，与人工对图像进行缺陷的标定相比，可以兼顾缺陷的标定效率和准确度。
可选的，所述装置还包括：预检测模块；
所述预检测模块，用于在所述标定异常检测模块603利用预先训练完成的第二神经网络模型，检测所述预标定图像是否存在标定异常之前，输出所述预标定图像；获取预检测后的预标定图像；所述预检测后的预标定图像为人工对输出的所述预标定图像进行预检测后的图像；所述预检测包括：检测所述预标定图像是否存在对于物品缺陷的漏标或者误标，并对存在漏标或者误标的预标定图像进行所述标签的修复；
所述标定异常检测模块603，具体用于：
利用预先训练完成的第二神经网络模型，检测所述预检测后的预标定图像是否存在标定异常；
所述标定模块604，具体用于：
在所述标定异常检测模块603检测到所述预检测后的预标定图像不存在标定异常时，将所述预检测后的预标定图像，作为所述待标定图像的标定图像。
可选的，所述第二神经网络模型的数量为一个；所述预检测后的预标定图像中包括进行所述修复得到的修复后的缺陷区域标记；
所述标定异常检测模块603，具体用于：
将所述预检测后的预标定图像输入预先训练完成的第二神经网络模型，得到所述预检测后的预标定图像的预测缺陷区域标记；
计算所述修复后的缺陷区域标记与所述预测缺陷区域标记之间的匹配度；
当所述匹配度满足预设的匹配度异常条件时，确定所述预检测后的预标定图像存在标定异常。
可选的，所述标定异常检测模块603，具体用于：
利用第一标定区域和第二标定区域之间的重合关系，获取所述修复后的缺陷区域标记与所述预测缺陷区域标记之间的匹配度；
其中，所述第一标定区域为所述修复后的缺陷区域标记所指示的标定区域，所述第二标定区域为所述预测缺陷区域标记所指示的标定区域。
可选的，所述标定异常检测模块603，具体用于：
计算所述第一标定区域和所述第二标定区域的交集面积与并集面积之间的比值，作为所述修复后的缺陷区域标记与所述预测缺陷区域标记之间的匹配度；
其中，所述交集面积为所述第一标定区域和所述第二标定区域之间重合区域的面积；所述并集面积为所述第一标定区域和所述第二标定区域的总面积与所述交集面积的差值。
可选的，所述第二神经网络模型的数量为N个，所述N为不小于2的整数；所述多个第二样本图像包括N个样本子集；所述N个第二神经网络模型与所述N个样本子集一一对应，且任一第二神经网络模型为利用该第二神经网络模型对应的样本子集，以及该样本子集中每个第二样本图像的标签，进行有监督训练得到的模型；
所述标定异常检测模块603，具体用于：
分别利用所述N个预先训练完成的第二神经网络模型，检测所述预检测后的预标定图像是否存在标定异常，得到N个预测概率；
基于所述N个预测概率，判断所述预检测后的预标定图像是否满足预设的概率异常条件；
如果满足，确定所述预检测后的预标定图像存在标定异常。
可选的，所述标定异常检测模块603，具体用于：
对所述N个预测概率进行指定运算，得到目标概率；所述目标概率为反映所述预检测后的预标定图像中存在目标缺陷的概率；所述目标缺陷为所述N个第二神经网络所预测的缺陷；
当所述目标概率小于与所述指定运算对应的概率阈值、且所述预检测后的预标定图像的标签表明存在缺陷时，判定所述预检测后的预标定图像满足预设的概率异常条件；
或者，计算所述预检测后的预标定图像的标签所指示的标定区域的面积，作为第一标定面积；
当所述目标概率大于第二概率阈值、所述第一标定面积大于预设面积阈值、且所述预检测后的预标定图像的标签表明不存在缺陷时，判定所述预检测后的预标定图像的标签满足预设的概率异常条件。
可选的，所述标定异常检测模块603，具体用于：
在所述利用预先训练完成的第二神经网络模型，检测所述预检测后的预标定图像是否存在标定异常之后，如果检测到所述预检测后的预标定图像存在标定异常，输出所述预检测后的预标定图像，并触发所述预检测模块执行所述获取预检测后的预标定图像。
相应于上述实施例，本发明实施例还提供了一种电子设备，如图7所示，该设备可以包括：
处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器通703过通信总线704完成相互间的通信；
存储器703，用于存放计算机程序；
处理器701，用于执行上述存储器703上所存放的计算机程序时，实现上述实施例中任一标定物品缺陷的方法的步骤。
本发明提供的方案中，所获取的待标定图像为存在物品区域的无标签的图像；第一神经网络模型为预先利用多个第一样本图像，进行无监督训练得到的、用于标定物品缺陷的模型，第一样本图像的物品区域中的物品不存在缺陷。因此，第一神经网络模型能够对待标定图像进行缺陷标定，得到待标定图像的带有标签的预标定图像。在此基础上，利用预先训练完成的第二神经网络模型，检测预标定图像是否存在标定异常，如果不存在标定异常，基于预标定图像，确定待标定图像的标定图像。并且，第二神经网络模型为利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到的模型。由此，在利用进行无监督训练得到的第一神经网络模型获得预标定图像，以节省大量的人工观测以及标定过程的基础上，利用第二神经网络模型筛选标定异常的预标定图像，从而提高基于预标定图像得到的标定图像的准确度。因此，与人工对图像进行缺陷的标定相比，可以兼顾缺陷的标定效率和准确度。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明一实施例提供的计算机可读存储介质，包含于电子设备，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时，实现上述施例中任一标定物品缺陷的方法的步骤。
本发明提供的方案中，所获取的待标定图像为存在物品区域的无标签的图像；第一神经网络模型为预先利用多个第一样本图像，进行无监督训练得到的、用于标定物品缺陷的模型，第一样本图像的物品区域中的物品不存在缺陷。因此，第一神经网络模型能够对待标定图像进行缺陷标定，得到待标定图像的带有标签的预标定图像。在此基础上，利用预先训练完成的第二神经网络模型，检测预标定图像是否存在标定异常，如果不存在标定异常，基于预标定图像，确定待标定图像的标定图像。并且，第二神经网络模型为利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到的模型。由此，在利用进行无监督训练得到的第一神经网络模型获得预标定图像，以节省大量的人工观测以及标定过程的基础上，利用第二神经网络模型筛选标定异常的预标定图像，从而提高基于预标定图像得到的标定图像的准确度。因此，与人工对图像进行缺陷的标定相比，可以兼顾缺陷的标定效率和准确度。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的标定物品缺陷的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line，数字用户线)或无线(例如：红外线、无线电、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如：DVD(Digital Versatile Disc，数字通用光盘))、或者半导体介质(例如：SSD(Solid StateDisk，固态硬盘))等。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (14)

1.一种标定物品缺陷的方法，其特征在于，所述方法包括：
获取待标定图像；所述待标定图像为存在物品区域的无标签的图像；
基于预先训练完成的第一神经网络模型，对所述待标定图像进行标定处理，得到所述待标定图像的带有标签的预标定图像；其中，所述第一神经网络模型为利用多个第一样本图像，进行无监督训练得到的、用于标定物品缺陷的模型；所述第一样本图像的物品区域中的物品不存在缺陷；
输出所述预标定图像；
获取预检测后的预标定图像；
利用预先训练完成的第二神经网络模型，检测所述预检测后的预标定图像是否存在标定异常；其中，所述第二神经网络模型用于识别所述预检测后的预标定图像中是否存在对于物品缺陷的标定异常，且所述第二神经网络模型为利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到的模型；
如果不存在标定异常，基于所述预检测后的预标定图像，确定所述待标定图像的标定图像；
其中，所述第二神经网络模型的数量为一个；所述预检测后的预标定图像中包括进行修复得到的修复后的缺陷区域标记；所述利用预先训练完成的第二神经网络模型，检测所述预检测后的预标定图像是否存在标定异常，包括：
将所述预检测后的预标定图像输入预先训练完成的第二神经网络模型，得到所述预检测后的预标定图像的预测缺陷区域标记；计算所述修复后的缺陷区域标记与所述预测缺陷区域标记之间的匹配度；当所述匹配度满足预设的匹配度异常条件时，确定所述预检测后的预标定图像存在标定异常；或，
所述第二神经网络模型的数量为N个，所述N为不小于2的整数；所述多个第二样本图像包括N个样本子集；N个第二神经网络模型与所述N个样本子集一一对应，且任一第二神经网络模型为利用该第二神经网络模型对应的样本子集，以及该样本子集中每个第二样本图像的标签，进行有监督训练得到的模型；所述利用预先训练完成的第二神经网络模型，检测所述预检测后的预标定图像是否存在标定异常，包括：
分别利用N个预先训练完成的第二神经网络模型，检测所述预检测后的预标定图像是否存在标定异常，得到N个预测概率；基于所述N个预测概率，判断所述预检测后的预标定图像是否满足预设的概率异常条件；如果满足，确定所述预检测后的预标定图像存在标定异常。
2.根据权利要求1所述的方法，其特征在于，所述预检测后的预标定图像为人工对输出的所述预标定图像进行预检测后的图像；所述预检测包括：检测所述预标定图像是否存在对于物品缺陷的漏标或者误标，并对存在漏标或者误标的预标定图像进行所述标签的修复；
所述如果不存在标定异常，基于所述预检测后的预标定图像，确定所述待标定图像的标定图像，包括：
如果不存在标定异常，将所述预检测后的预标定图像，作为所述待标定图像的标定图像。
3.根据权利要求1所述的方法，其特征在于，所述计算所述修复后的缺陷区域标记与所述预测缺陷区域标记之间的匹配度，包括：
利用第一标定区域和第二标定区域之间的重合关系，获取所述修复后的缺陷区域标记与所述预测缺陷区域标记之间的匹配度；
其中，所述第一标定区域为所述修复后的缺陷区域标记所指示的标定区域，所述第二标定区域为所述预测缺陷区域标记所指示的标定区域。
4.根据权利要求3所述的方法，其特征在于，所述利用所述第一标定区域和所述第二标定区域之间的重合关系，获取所述修复后的缺陷区域标记与所述预测缺陷区域标记之间的匹配度，包括：
计算所述第一标定区域和所述第二标定区域的交集面积与并集面积之间的比值，作为所述修复后的缺陷区域标记与所述预测缺陷区域标记之间的匹配度；
其中，所述交集面积为所述第一标定区域和所述第二标定区域之间重合区域的面积；所述并集面积为所述第一标定区域和所述第二标定区域的总面积与所述交集面积的差值。
5.根据权利要求1所述的方法，其特征在于，所述基于所述N个预测概率，判断所述预检测后的预标定图像是否满足预设的概率异常条件，包括：
对所述N个预测概率进行指定运算，得到目标概率；所述目标概率为反映所述预检测后的预标定图像中存在目标缺陷的概率；所述目标缺陷为所述N个第二神经网络所预测的缺陷；
当所述目标概率小于与所述指定运算对应的概率阈值、且所述预检测后的预标定图像的标签表明存在缺陷时，判定所述预检测后的预标定图像满足预设的概率异常条件；
或者，计算所述预检测后的预标定图像的标签所指示的标定区域的面积，作为第一标定面积；
当所述目标概率大于第二概率阈值、所述第一标定面积大于预设面积阈值、且所述预检测后的预标定图像的标签表明不存在缺陷时，判定所述预检测后的预标定图像的标签满足预设的概率异常条件。
6.根据权利要求1所述的方法，其特征在于，在所述利用预先训练完成的第二神经网络模型，检测所述预检测后的预标定图像是否存在标定异常之后，所述方法还包括：
如果存在标定异常，输出所述预检测后的预标定图像，并返回执行所述获取预检测后的预标定图像。
7.一种标定物品缺陷的装置，其特征在于，所述装置包括：
图像获取模块，用于获取待标定图像；所述待标定图像为存在物品区域的无标签的图像；
预标定模块，用于基于预先训练完成的第一神经网络模型，对所述待标定图像进行标定处理，得到所述待标定图像的带有标签的预标定图像；其中，所述第一神经网络模型为利用多个第一样本图像，进行无监督训练得到的、用于标定物品缺陷的模型；所述第一样本图像的物品区域中的物品不存在缺陷；
预检测模块，用于输出所述预标定图像；获取预检测后的预标定图像；
标定异常检测模块，用于利用预先训练完成的第二神经网络模型，检测所述预检测后的预标定图像是否存在标定异常；其中，所述第二神经网络模型用于识别所述预标定图像中是否存在对于物品缺陷的标定异常，且所述第二神经网络模型为利用多个第二样本图像和每个第二样本图像的标签，进行有监督训练得到的模型；
标定模块，用于在所述标定异常检测模块检测到所述预标定图像不存在标定异常时，基于所述预标定图像，确定所述待标定图像的标定图像；
其中，所述第二神经网络模型的数量为一个；所述预检测后的预标定图像中包括进行修复得到的修复后的缺陷区域标记；
所述标定异常检测模块，具体用于：将所述预检测后的预标定图像输入预先训练完成的第二神经网络模型，得到所述预检测后的预标定图像的预测缺陷区域标记；计算所述修复后的缺陷区域标记与所述预测缺陷区域标记之间的匹配度；当所述匹配度满足预设的匹配度异常条件时，确定所述预检测后的预标定图像存在标定异常；或，
所述第二神经网络模型的数量为N个，所述N为不小于2的整数；所述多个第二样本图像包括N个样本子集；N个第二神经网络模型与所述N个样本子集一一对应，且任一第二神经网络模型为利用该第二神经网络模型对应的样本子集，以及该样本子集中每个第二样本图像的标签，进行有监督训练得到的模型；
所述标定异常检测模块，具体用于：分别利用N个预先训练完成的第二神经网络模型，检测所述预检测后的预标定图像是否存在标定异常，得到N个预测概率；基于所述N个预测概率，判断所述预检测后的预标定图像是否满足预设的概率异常条件；如果满足，确定所述预检测后的预标定图像存在标定异常。
8.根据权利要求7所述的装置，其特征在于，所述预检测后的预标定图像为人工对输出的所述预标定图像进行预检测后的图像；所述预检测包括：检测所述预标定图像是否存在对于物品缺陷的漏标或者误标，并对存在漏标或者误标的预标定图像进行所述标签的修复；
所述标定模块，具体用于：
在所述标定异常检测模块检测到所述预检测后的预标定图像不存在标定异常时，将所述预检测后的预标定图像，作为所述待标定图像的标定图像。
9.根据权利要求7所述的装置，其特征在于，所述标定异常检测模块，具体用于：
利用第一标定区域和第二标定区域之间的重合关系，获取所述修复后的缺陷区域标记与所述预测缺陷区域标记之间的匹配度；
其中，所述第一标定区域为所述修复后的缺陷区域标记所指示的标定区域，所述第二标定区域为所述预测缺陷区域标记所指示的标定区域。
10.根据权利要求9所述的装置，其特征在于，所述标定异常检测模块，具体用于：
计算所述第一标定区域和所述第二标定区域的交集面积与并集面积之间的比值，作为所述修复后的缺陷区域标记与所述预测缺陷区域标记之间的匹配度；
其中，所述交集面积为所述第一标定区域和所述第二标定区域之间重合区域的面积；所述并集面积为所述第一标定区域和所述第二标定区域的总面积与所述交集面积的差值。
11.根据权利要求7所述的装置，其特征在于，所述标定异常检测模块，具体用于：
对所述N个预测概率进行指定运算，得到目标概率；所述目标概率为反映所述预检测后的预标定图像中存在目标缺陷的概率；所述目标缺陷为所述N个第二神经网络所预测的缺陷；
当所述目标概率小于与所述指定运算对应的概率阈值、且所述预检测后的预标定图像的标签表明存在缺陷时，判定所述预检测后的预标定图像满足预设的概率异常条件；
或者，计算所述预检测后的预标定图像的标签所指示的标定区域的面积，作为第一标定面积；
当所述目标概率大于第二概率阈值、所述第一标定面积大于预设面积阈值、且所述预检测后的预标定图像的标签表明不存在缺陷时，判定所述预检测后的预标定图像的标签满足预设的概率异常条件。
12.根据权利要求7所述的装置，其特征在于，所述标定异常检测模块，具体用于：
在所述利用预先训练完成的第二神经网络模型，检测所述预检测后的预标定图像是否存在标定异常之后，如果检测到所述预检测后的预标定图像存在标定异常，输出所述预检测后的预标定图像，并触发所述预检测模块执行所述获取预检测后的预标定图像。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现如权利要求1-6任一项所述的方法步骤。
14.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的方法步骤。
CN202010476097.9A 2020-05-29 2020-05-29 标定物品缺陷的方法、装置及电子设备 Active CN113763305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010476097.9A CN113763305B (zh) 2020-05-29 2020-05-29 标定物品缺陷的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010476097.9A CN113763305B (zh) 2020-05-29 2020-05-29 标定物品缺陷的方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113763305A CN113763305A (zh) 2021-12-07
CN113763305B true CN113763305B (zh) 2023-08-04

Family

ID=78782348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010476097.9A Active CN113763305B (zh) 2020-05-29 2020-05-29 标定物品缺陷的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113763305B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630319B (zh) * 2023-07-24 2023-10-10 深圳信迈科技有限公司 基于机器学习的数据采集板卡焊接缺陷检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN110751163A (zh) * 2018-07-24 2020-02-04 杭州海康威视数字技术股份有限公司 目标定位方法及其装置、计算机可读存储介质和电子设备
CN111062495A (zh) * 2019-11-28 2020-04-24 深圳市华尊科技股份有限公司 机器学习方法及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233166A1 (zh) * 2018-06-04 2019-12-12 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN110751163A (zh) * 2018-07-24 2020-02-04 杭州海康威视数字技术股份有限公司 目标定位方法及其装置、计算机可读存储介质和电子设备
CN111062495A (zh) * 2019-11-28 2020-04-24 深圳市华尊科技股份有限公司 机器学习方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BP和SAE深度神经网络方法的织物缺陷检测研究;严伟;杨朔;;智能物联技术(第03期);全文 *
Coherent polarization beam combining approach based on polarization controlling in fiber decices;Yang Y,et al.;《IEEE photonics technology letters》;全文 *

Also Published As

Publication number Publication date
CN113763305A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN110163300B (zh) 一种图像分类方法、装置、电子设备及存储介质
TWI748122B (zh) 用於對多個項進行分類的系統、方法和電腦程式產品
TW202013248A (zh) 車輛損壞識別方法及裝置
CN110599484B (zh) 缺陷检测方法、装置及存储介质
CN110717881A (zh) 晶圆缺陷识别方法、装置、存储介质和终端设备
CN113657202B (zh) 构件识别方法、构建训练集方法、装置、设备及存储介质
CN110705596A (zh) 白屏检测方法、装置、电子设备及存储介质
CN111339137A (zh) 一种数据校验方法及装置
CN112529109A (zh) 一种基于无监督多模型的异常检测方法及系统
CN113763305B (zh) 标定物品缺陷的方法、装置及电子设备
CN110135428B (zh) 图像分割处理方法和装置
CN114463345A (zh) 基于动态自适应网络的多参数乳腺磁共振图像分割方法
CN112307086B (zh) 一种消防业务中自动化数据校验方法及装置
CN116579980A (zh) 基于小样本学习的印刷电路板缺陷检测方法、介质及设备
CN111507420A (zh) 轮胎信息获取方法、装置、计算机设备和存储介质
CN112784691B (zh) 一种目标检测模型训练方法、目标检测方法和装置
CN111986186B (zh) 一种定量化的炉前pcb贴片缺陷在线检测系统和方法
CN113989632A (zh) 一种遥感图像桥梁检测方法、装置、电子设备及存储介质
CN110874837A (zh) 一种基于局部特征分布的缺陷自动检测方法
CN118155004B (zh) 针对隔膜表面缺陷的缺陷分类模型的训练方法和装置
CN116486178B (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN116758356B (zh) 一种地表覆盖分类方法、系统、电子设备及介质
CN112598118B (zh) 有监督学习的标注异常处理方法、装置、存储介质及设备
CN117710763B (zh) 图像噪声识别模型训练方法、图像噪声识别方法及装置
CN109376739B (zh) 一种编组方式确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant