CN113570566A - 一种产品外观缺陷发展性认知检测方法及相关装置 - Google Patents

一种产品外观缺陷发展性认知检测方法及相关装置 Download PDF

Info

Publication number
CN113570566A
CN113570566A CN202110830857.6A CN202110830857A CN113570566A CN 113570566 A CN113570566 A CN 113570566A CN 202110830857 A CN202110830857 A CN 202110830857A CN 113570566 A CN113570566 A CN 113570566A
Authority
CN
China
Prior art keywords
model
product
target task
target
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110830857.6A
Other languages
English (en)
Other versions
CN113570566B (zh
Inventor
丁宁
马琳
何星
夏轩
李南
潘喜洲
张爱东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Artificial Intelligence and Robotics
Original Assignee
Shenzhen Institute of Artificial Intelligence and Robotics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Artificial Intelligence and Robotics filed Critical Shenzhen Institute of Artificial Intelligence and Robotics
Priority to CN202110830857.6A priority Critical patent/CN113570566B/zh
Publication of CN113570566A publication Critical patent/CN113570566A/zh
Application granted granted Critical
Publication of CN113570566B publication Critical patent/CN113570566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种产品外观缺陷发展性认知检测方法，通过先使用正常品图像对异常检测模型进行训练，再使用训练后的异常检测模型识别出产线中生产产品的异常品图像，之后再使用异常品图像训练具有针对性的目标任务模型，最终基于训练的目标任务模型完成目标任务。整个流程仅需要人工对异常品图像进行标注，而不需要在初始训练模型时人工对全部图像，包括正常品图像进行标注，从而可以明显减少人工标注的数量，提高模型训练效率。本发明还提供了一种产品外观缺陷发展性认知检测装置、一种产品外观缺陷发展性认知检测设备即存储介质，同样具有上述有益效果。

Description

一种产品外观缺陷发展性认知检测方法及相关装置
技术领域
本发明涉及图像识别技术领域，特别是涉及一种产品外观缺陷发 展性认知检测方法、一种产品外观缺陷发展性认知检测装置、一种产 品外观缺陷发展性认知检测设备以及一种计算机可读存储介质。
背景技术
伴随人工智能、计算机视觉等技术的不断成熟，机器视觉产业正经历一 个快速的发展阶段。
现阶段，视觉检测系统生产商需要人工收集并确认客户端样本和 检测参数，随后是漫长的算法开发、调试和测试过程。而对于更进一 步的复杂精密器件检测，其结构复杂、材质多样化，同时缺陷样品获 取异常困难，成为客户和设备供应商之间沟通的障碍和难点，不仅耗 费时间精力，而且时常因为专业鸿沟所引起的理解差异，造成开发工 作需要进行反复迭代，甚至最终以失败告终。所以如何提供一种可以 大量减少人工标注的检测方法是本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种产品外观缺陷发展性认知检测方法，可 以明显减少人工标注的数量；本发明的另一目的在于提供一种产品外 观缺陷发展性认知检测装置、一种产品外观缺陷发展性认知检测设备 以及一种计算机可读存储介质，可以明显减少人工标注的数量。
为解决上述技术问题，本发明提供一种产品外观缺陷发展性认知 检测方法，包括：
获取目标产品的正常品图像；
基于所述正常品图像训练异常检测模型；
通过训练后的所述异常检测模型对所述目标产品进行检测，获取 初始异常品图像；
在接收到所述初始异常品图像后，并当所述异常品图像满足预设 条件时，根据预设任务选取目标任务模型，并根据所述异常品图像对 所述目标任务模型进行训练；
通过训练后的所述目标任务模型对所述目标产品进行检测，完成 所述目标任务。
可选的，在所述通过训练后的所述目标任务模型对所述目标产品 进行检测之后，还包括：
接收根据所述目标任务模型对所述目标产品进行检测时获取的 后续异常品图像；
根据所述后续异常品图像对所述目标任务模型进行更新，并通过 更新后的所述目标任务模型对所述目标产品进行检测。
可选的，所述根据所述后续异常品图像对所述目标任务模型进行 更新包括：
通过无监督聚类模型对所述后续异常品图像进行标注，得到后续 伪标注样本；
根据所述后续伪标注样本对所述目标任务模型进行增量学习，以 对所述目标任务模型进行更新。
可选的，所述根据所述异常品图像对所述目标任务模型进行训练 包括：
调用小样本学习模型，根据所述异常品图像对所述目标任务模型 进行训练。
可选的，在获取初始异常品图像之后，还包括：
通过无监督聚类模型对所述初始异常品图像进行标注，得到初始 伪标注样本；
所述调用小样本学习模型，根据所述异常品图像对所述目标任务 模型进行训练包括：
调用小样本学习模型，根据所述初始伪标注样本对所述目标任务 模型进行训练。
可选的，所述目标任务模型包括：
分类模型、目标检测模型、图像分割模型。
本发明还提供了一种产品外观缺陷发展性认知检测装置，包括：
正常品图像获取模块，用于获取目标产品的正常品图像；
异常检测模型训练模块，基于所述正常品图像训练异常检测模 型；
异常检测模型发送模块，用于通过训练后的所述异常检测模型对 所述目标产品进行检测，获取初始异常品图像；
目标任务模型训练模块，用于在接收到所述初始异常品图像后， 并当所述异常品图像满足预设条件时，根据预设任务选取目标任务模 型，并根据所述异常品图像对所述目标任务模型进行训练；
目标任务模型发送模块，用于通过训练后的所述目标任务模型对 所述目标产品进行检测，完成所述目标任务。
可选的，还包括：
后续异常品图像获取模块，用于接收根据所述目标任务模型对所 述目标产品进行检测时获取的后续异常品图像；
更新模块，用于根据所述后续异常品图像对所述目标任务模型进 行更新，并通过更新后的所述目标任务模型对所述目标产品进行检测。
本发明还提供了一种产品外观缺陷发展性认知检测设备，所述设 备包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序时实现如上述任一项所述产品 外观缺陷发展性认知检测方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储 介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上 述任一项所述产品外观缺陷发展性认知检测方法的步骤。
本发明所提供的一种产品外观缺陷发展性认知检测方法，包括获 取目标产品的正常品图像；基于正常品图像训练异常检测模型；通过 训练后的异常检测模型对目标产品进行检测，获取初始异常品图像； 在接收到初始异常品图像后，并当异常品图像满足预设条件时，根据 预设任务选取目标任务模型，并根据异常品图像对目标任务模型进行 训练；通过训练后的目标任务模型对目标产品进行检测，完成目标任 务。
通过先使用正常品图像对异常检测模型进行训练，再使用训练后 的异常检测模型识别出产线中生产产品的异常品图像，之后再使用异 常品图像训练具有针对性的目标任务模型，最终基于训练的目标任务 模型完成目标任务。整个流程仅需要人工对异常品图像进行标注，而 不需要在初始训练模型时人工对全部图像，包括正常品图像进行标注， 从而可以明显减少人工标注的数量，提高模型训练效率。
本发明还提供了一种产品外观缺陷发展性认知检测装置、一种产 品外观缺陷发展性认知检测设备以及一种计算机可读存储介质，同样 具有上述有益效果，在此不再进行赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将 对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易 见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普 通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附 图获得其他的附图。
图1为本发明实施例所提供的一种产品外观缺陷发展性认知检测 方法的流程图；
图2为本发明实施例所提供的一种具体的产品外观缺陷发展性认 知检测方法的流程图；
图3为本发明实施例所提供的一种产品外观缺陷发展性认知检测 装置的结构框图；
图4为本发明实施例所提供的一种产品外观缺陷发展性认知检测 系统的结构框图。
图5为本发明实施例所提供的一种产品外观缺陷发展性认知检测 设备的结构框图。
具体实施方式
本发明的核心是提供一种产品外观缺陷发展性认知检测方法。在 现有技术中，视觉检测系统生产商需要人工收集并确认客户端样本和 检测参数，随后是漫长的算法开发、调试和测试过程。而对于更进一 步的复杂精密器件检测，其结构复杂、材质多样化，同时缺陷样品获 取异常困难，成为客户和设备供应商之间沟通的障碍和难点，不仅耗 费时间精力，而且时常因为专业鸿沟所引起的理解差异，造成开发工 作需要进行反复迭代，甚至最终以失败告终。
而本发明所提供的一种产品外观缺陷发展性认知检测方法，包括 获取目标产品的正常品图像；基于正常品图像训练异常检测模型；通 过训练后的异常检测模型对目标产品进行检测，获取初始异常品图像； 在接收到初始异常品图像后，并当异常品图像满足预设条件时，根据 预设任务选取目标任务模型，并根据异常品图像对目标任务模型进行 训练；通过训练后的目标任务模型对目标产品进行检测，完成目标任 务。
通过先使用正常品图像对异常检测模型进行训练，再使用训练后 的异常检测模型识别出产线中生产产品的异常品图像，之后再使用异 常品图像训练具有针对性的目标任务模型，最终基于训练的目标任务 模型完成目标任务。整个流程仅需要人工对异常品图像进行标注，而 不需要在初始训练模型时人工对全部图像，包括正常品图像进行标注， 从而可以明显减少人工标注的数量，提高模型训练效率。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图 和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施 例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中 的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得 的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的一种产品外观缺陷发 展性认知检测方法的流程图。
参见图1，在本发明实施例中，产品外观缺陷发展性认知检测方 法包括：
S101：获取目标产品的正常品图像。
在本发明实施例中，具体可以设置“云-边-端”架构的系统实现 后续产品外观缺陷发展性认知检测方法，其中边端主要用于获取图像， 边端主要用于对模型的使用，而云端主要用于对模型进行训练。当然 在实际情况中，上述云端，边端，前端各功能可以相互转移，例如当 前端处理硬件处理能力较强时可以使用前端运行各个模型；当模型运 行时需要的计算能力较大时也可以使用云端运行该模型，其具体内容 可以根据实际情况自行确定，在此不做具体限定。
在本步骤中，通常是云端从边端获取目标产线中对应目标产品的 正常品图像，所谓正常品图像即拍摄正常样品时产生的图像，上述边 端，即边缘端会通过前端设置的摄像头拍摄正常样品时产生的正常品 图像，通常还会将多张正常品图像构成一正常品图像集，之后将该正 常品图像集发送至云端。相应的，在本步骤中可以具体是通过边端获 取目标产品的正常品图像。
S102：基于正常品图像训练异常检测模型。
上述异常检测模型即对应异常检测算法的模型。在本步骤中，会 根据上述S101中获取的正常品图像来对异常检测模型进行检测，训 练后的异常检测模型在对目标产品识别出当前识别的目标产品与之前 训练时所使用的目标产品是否相同，即该训练后的异常检测模型可以 识别出当前检测的目标产品是正常品还是异常品，即在后续可以根据 该训练后的异常检测模型获取对应目标产品的异常品图像。有关异常 检测模型以及异常检测算法的具体内容可以参考现有技术，在此不再 进行赘述。
S103：通过训练后的异常检测模型对目标产品进行检测，获取初 始异常品图像。
在本步骤中，云端具体可以将训练好的异常检测模型发送至边 端，从而使得边端可以运行该异常检测模型，从而检测前端中目标产 品为正常品还是异常品。当检测出目标产品为异常品时，可以相应的 获取其异常品图像，即本步骤中的初始异常品图像。通常情况下，边 端会获取一定数量的初始异常品图像构成初始异常品图像集，再将初 始异常品图像集发送至云端，以便进行进一步训练。
S104：在接收到初始异常品图像后，并当异常品图像满足预设条 件时，根据预设任务选取目标任务模型，并根据异常品图像对目标任 务模型进行训练。
在本步骤中具体可以是云端获取S103中产生的初始异常品图像， 并当所述异常品图像满足预设条件，例如异常品图像的数量达到数量 阈值，或产生第一份异常品图像的时间达到时间阈值之后，会重新训 练一目标任务模型，此时需要训练的目标任务模型在训练完成后，可 以实际解决目标任务。具体的，在本发明实施例中上述目标任务模型 包括：分类模型、目标检测模型、图像分割模型。即若用户想要实现 对图像进行分类，则在本步骤中具体会训练一基于分类算法的分类模 型；当用户想要实现对图像中的目标进行检测，则在本步骤中具体会 训练一基于目标检测算法的目标检测模型；当用户想要实现对图像的分割时，则在本步骤中会训练一基于图像分割算法的图像分割模型。 当然，根据用户实际想要实现的任务，即目标任务的不同，在本步骤 中可以调用不同的目标任务模型进行训练，有关目标任务模型的具体 内容可以根据实际情况自行设定，在此不做具体限定。
在本步骤中，首先需要对异常品图像进行人工标注，在标注之后， 再使用异常品图像，通常需要结合S101中获取的正常品图像对目标 任务模型进行训练，使得训练后的目标任务模型可以实现其对应的功 能。
S105：通过训练后的目标任务模型对目标产品进行检测，完成目 标任务。
在本步骤中，云端可以将S104中训练好的目标任务模型发送至 边端，之后边端会根据该目标任务模型，继续对目标产品进行检测， 以完成用户预设的目标任务。
本发明实施例所提供的一种产品外观缺陷发展性认知检测方法， 包括获取目标产品的正常品图像；基于正常品图像训练异常检测模型； 通过训练后的异常检测模型对目标产品进行检测，获取初始异常品图 像；在接收到初始异常品图像后，并当异常品图像满足预设条件时， 根据预设任务选取目标任务模型，并根据异常品图像对目标任务模型 进行训练；通过训练后的目标任务模型对目标产品进行检测，完成目 标任务。
通过先使用正常品图像对异常检测模型进行训练，再使用训练后 的异常检测模型识别出产线中生产产品的异常品图像，之后再使用异 常品图像训练具有针对性的目标任务模型，最终基于训练的目标任务 模型完成目标任务。整个流程仅需要人工对异常品图像进行标注，而 不需要在初始训练模型时人工对全部图像，包括正常品图像进行标注， 从而可以明显减少人工标注的数量，提高模型训练效率。
有关本发明所提供的一种产品外观缺陷发展性认知检测方法的 具体内容将在下述发明实施例中做详细介绍。
请参考图2，图2为本发明实施例所提供的一种具体的产品外观 缺陷发展性认知检测方法的流程图。
参见图2，在本发明实施例中，产品外观缺陷发展性认知检测方 法包括：
S201：获取目标产品的正常品图像。
S202：基于正常品图像训练异常检测模型。
S203：通过训练后的异常检测模型对目标产品进行检测，获取初 始异常品图像。
上述S201至S203与上述发明实施例中S101至S103基本一致， 详细内容请参考上述发明实施例，在此不再进行赘述。
S204：调用小样本学习模型，根据异常品图像对目标任务模型进 行训练。
所谓小样本学习模型即基于小样本学习算法所构建的模型，小样 本学习算法可以仅仅基于少量的图像，通常少于20张图像对模型进行 训练的方法。在本步骤中，调用小样本学习模型，可以明显减少所需 异常品图像的数量，从而可以有效减少边端使用异常检测模型对目标 产品进行检测的时间，即上述S203所需要的时间，同时减少对异常 品图像进行人工标注所需要的时间，从而可以尽快执行后续步骤。
在本步骤之前，还可以通过无监督聚类模型对所述初始异常品图 像进行标注，得到初始伪标注样本。所谓无监督聚类模型即通过无监 督聚类算法所构建的模型，使用无监督聚类模型可以在没有人工干预 的条件下，实现对初始异常品图像的分类，即进行伪标注，形成初始 伪标注样本。之后仅需要通过人工对上述分类后的初始伪标注样本聚 类形成的各个类别进行人工标注，即可实现对初始异常品图像的标注， 从而可以进一步减少人工标注的工作量。相应的在本步骤中，则具体 会是：调用小样本学习模型，根据所述初始伪标注样本对所述目标任 务模型进行训练。
上述小样本学习模型所对应的小样本学习算法具体可以包括：
S1：构建数据集包，数据集包含m个样本的支持集
Figure BDA0003175405320000091
和 n个样本的测试集
Figure BDA0003175405320000092
其中m和n的值均很小，需要满足小样 本条件。上述
Figure BDA0003175405320000093
和
Figure BDA0003175405320000094
分别是样本
Figure BDA0003175405320000095
和
Figure BDA0003175405320000096
对应的标签。
S2：分别建立特征提取模型，将支持集XS和测试集XT的本映射到 特征空间ZS和ZT，从而得到特征集合fS和fT。
S3:接下来将特征集合fS和fT一起输入到分类器中进行分类，分类 器可以是卷积神经网络的最后一层构建带有Softmax的全连接层，也 可以是传统机器学习分类模型，如KNN(k近邻模型)、SVM(支持 向量机)等。
S4：通过最小fS和fT样本之间的距离以及fS中不同类别之间的距离， 实现对分类模型参数的更新，直至迭代完成。
S5：利用训练得到的分类模型，得到最终的分类结果CT。
有关小样本学习模型以及小样本学习算法的具体内容可以参考 现有技术，在此不再进行赘述。
S205：通过训练后的目标任务模型对目标产品进行检测，完成目 标任务。
本步骤与上述发明实施例中S105基本一致，详细内容请参考上 述发明实施例，在此不再进行赘述。
S206：接收根据目标任务模型对目标产品进行检测时获取的后续 异常品图像。
在本步骤中，当具体可以是在边端使用目标任务模型对目标产品 进行检测的同时，边端同时可以根据目标任务模型继续从前端获取异 常品图像，即后续异常品图像。而在边端接收到上述后续异常品图像， 或获取到达到数量阈值的后续异常品图像之后，会将后续异常品图像 发送至云端，相应的在本步骤中具体可以是云端接收边端根据目标任 务模型对目标产品进行检测时获取的后续异常品图像。
S207：根据后续异常品图像对目标任务模型进行更新，并通过更 新后的目标任务模型对目标产品进行检测。
在本步骤中，可以根据S206中获取的后续异常品图像对目标任 务模型进行更新，具体可以选用增量学习，进一步可以选用在线学习 的方式，基于上述后续异常品图像对目标任务模型进行更新。有关增 量学习以及在线学习更新模型的具体内容可以参考现有技术，在此不 再进行赘述。
需要说明的是，使用上述后续异常品图像对目标任务模型进行更 新时，通常也需要预先对后续异常品图像进行人工标注。而在本步骤 之前，还可以通过无监督聚类模型对所述后续异常品图像进行标注， 得到后续伪标注样本。
所谓无监督聚类模型即通过无监督聚类算法所构建的模型，使用 无监督聚类模型可以在没有人工干预的条件下，实现对后续异常品图 像的分类，即进行伪标注，形成后续伪标注样本。之后仅需要通过人 工对上述分类后的后续伪标注样本聚类形成的各个类别进行人工标 注，即可实现对后续异常品图像的标注，从而可以进一步减少人工标 注的工作量。相应的在本步骤中，则具体会是：根据所述后续伪标注 样本对所述目标任务模型进行增量学习，以对所述目标任务模型进行 更新。
还需要说明的是，在本步骤中，具体可以将更新后的目标任务模 型发送至边端，从而实现边端中存储的目标任务模型的迭代。之后， 边端可以继续基于迭代后的目标任务模型对目标产品进行检测时继续 获取的后续异常品图像，并执行本步骤。即在本发明实施例中可以一 直重复上述S206至S207，以循环对目标任务模型进行迭代，提升目 标任务模型检测的准确率，提高模型性能。
本发明实施例所提供的一种产品外观缺陷发展性认知检测方法， 系统学习策略随时间变化，从仅使用正常样本，到使用少量未标记样 本，到使用少量标记样本，随时间使用不同策略逐步提高准确率。从 项目启动初期，仅基于正常样品进行异常检测模型的训练，即可实现 对正常样品和异常样品的分类，摆脱了常规检测方法需要大量异常样 品进行模型训练的限制，极大地节省了用于异常样品收集、标注的人 力和时间成本；而结合无监督聚类伪标注与人工标注的方式，完成对 大量无标注样本的准确标注，极大地节省了用于样本标注的大量人力 物力；利用小样本学习方法进行模型训练和测试，可以快速积累大量 异常样品，再通过增量学习/在线学习的方法，不断迭代和优化模型， 提高模型性能。
同时在本发明实施例中系统检测策略随时间变化，从仅判断异 常，到对异常聚类，到对异常分类，随时间使用不同的检测模型提高 检测能力；且系统智能程度随时间变化，从机器智能到人机混合智能， 随时间引入人类智能提高系统的整体智能程度。
下面对本发明实施例提供的一种产品外观缺陷检装置进行介绍， 下文描述的产品外观缺陷发展性认知检测装置与上文描述的产品外观 缺陷发展性认知检测方法可相互对应参照。
请参考图3，图3为本发明实施例所提供的一种产品外观缺陷发 展性认知检测装置的结构框图。
本发明实施例所提供的产品外观缺陷发展性认知检测装置具体 安装以及应用于云端，用于实现上述发明实施例所提供的一种产品外 观缺陷发展性认知检测方法。参见图3，在本发明实施例中，产品外 观缺陷发展性认知检测方法包括：
正常品图像获取模块100，用于获取目标产品的正常品图像。
异常检测模型训练模块200，基于所述正常品图像训练异常检测 模型。
异常检测模型发送模块300，用于通过训练后的所述异常检测模 型对所述目标产品进行检测，获取初始异常品图像。
目标任务模型训练模块400，用于在接收到所述初始异常品图像 后，并当所述异常品图像满足预设条件时，根据预设任务选取目标任 务模型，并根据所述异常品图像对所述目标任务模型进行训练。
目标任务模型发送模块500，用于通过训练后的所述目标任务模 型对所述目标产品进行检测，完成所述目标任务。
作为优选的，在本发明实施例中，还包括：
后续异常品图像获取模块，用于接收根据所述目标任务模型对所 述目标产品进行检测时获取的后续异常品图像。
更新模块，用于根据所述后续异常品图像对所述目标任务模型进 行更新，并通过更新后的所述目标任务模型对所述目标产品进行检测。
作为优选的，在本发明实施例中，更新模块具体包括：
后续伪标注样本单元，用于通过无监督聚类模型对所述后续异常 品图像进行标注，得到后续伪标注样本。
更新单元，用于根据所述后续伪标注样本对所述目标任务模型进 行增量学习，以对所述目标任务模型进行更新。
作为优选的，在本发明实施例中，目标任务模型训练模块400具 体用于：
调用小样本学习模型，根据所述异常品图像对所述目标任务模型 进行训练。
作为优选的，在本发明实施例中，还可以包括：
初始伪标注样本模块，用于通过无监督聚类模型对所述初始异常 品图像进行标注，得到初始伪标注样本。
所述目标任务模型训练模块400具体用于：
调用小样本学习模型，根据所述初始伪标注样本对所述目标任务 模型进行训练。
作为优选的，在本发明实施例中，所述目标任务模型包括：
分类模型、目标检测模型、图像分割模型。
本实施例的产品外观缺陷发展性认知检测装置用于实现前述的 产品外观缺陷发展性认知检测方法，因此产品外观缺陷发展性认知检 测装置中的具体实施方式可见前文中的产品外观缺陷发展性认知检测 方法的实施例部分，例如，正常品图像获取模块100，异常检测模型 训练模块200，异常检测模型发送模块300，目标任务模型训练模块 400，目标任务模型发送模块500分别用于实现上述光伏场控制方法中 步骤S101，至S105，所以，其具体实施方式可以参照相应的各个部 分实施例的描述，在此不再赘述。
下面对本发明实施例提供的一种产品外观缺陷发展性认知检测 系统进行介绍，下文描述的产品外观缺陷发展性认知检测系统与上文 描述的产品外观缺陷发展性认知检测方法以及产品外观缺陷发展性认 知检测装置可相互对应参照。
请参考图4，图4为本发明实施例所提供的一种产品外观缺陷发 展性认知检测系统的结构框图。
参照图4，该产品外观缺陷发展性认知检测系统设备包括相互通 信连接的云端11和边端12，所述云端11用于：
通过边端12获取目标产品的正常品图像。
基于所述正常品图像训练异常检测模型。
将训练后的所述异常检测模型发送至所述边端12，以使所述边端 12通过所述异常检测模型对所述目标产品进行检测，获取初始异常品 图像。
在接收到所述初始异常品图像后，并当所述异常品图像满足预设 条件时，根据预设任务选取目标任务模型，并根据所述异常品图像对 所述目标任务模型进行训练；
将训练后的所述目标任务模型发送至所述边端12，以使所述边端 12通过所述目标任务模型对所述目标产品进行检测，完成所述目标任 务。
上述边端12通常还需要与前端通信连接，以形成“云-边-端”架构。 上述边端12主要用于在安装对应的模型之后，运行该模型，同时完成 图像的提取等对算力要求较低的功能。前端通常可以实现对图像的预 处理，包括图像缩放和图像变换等操作，相应的边端12的架设成本较 低，数据处理能力有限。当然在实际情况中，边端与前端的部分功能 可以相互替换，例如，若前端为一智能相机，该智能相机除了可以通 过摄像头拍摄图像之外，也可以调用云端所训练的各个模型。此时， 边端可以仅仅执行对于各个模型分发的流程。因此，本申请公开的边 端12具体是实际情况中前端与边端整体的上位结构，该边端12的功 能在实际情况中可以分散在前端和边端中。当然，在实际情况中远端 11与边端12的功能也可以互换，例如当模型运行时需要的计算能力 较大时也可以使用云端运行该模型，其具体内容可以根据实际情况自 行确定，在此不做具体限定。
上述云端11主要用于训练对应的模型，以及对数据进行最终的处 理。在本发明实施例中云端11通常具有较强的计算能力，通常设置有 高性能GPU、GPU集群等结构，从而可以实现对模型的快速训练。
作为优选的，在本发明实施例中，所述云端11还用于：
接收所述边端根据所述目标任务模型对所述目标产品进行检测 时获取的后续异常品图像。
根据所述后续异常品图像对所述目标任务模型进行更新，并将更 新后的所述目标任务模型发送至所述边端。
作为优选的，在本发明实施例中，所述云端11具体用于：
通过无监督聚类模型对所述后续异常品图像进行标注，得到后续 伪标注样本。
根据所述后续伪标注样本对所述目标任务模型进行增量学习，以 对所述目标任务模型进行更新。
作为优选的，在本发明实施例中，所述云端11具体用于：
调用小样本学习模型，根据所述异常品图像对所述目标任务模型 进行训练。
作为优选的，在本发明实施例中，所述云端11还用于：
通过无监督聚类模型对所述初始异常品图像进行标注，得到初始 伪标注样本。
所述云端11具体用于：
调用小样本学习模型，根据所述初始伪标注样本对所述目标任务 模型进行训练。
作为优选的，在本发明实施例中，所述目标任务模型包括：
分类模型、目标检测模型、图像分割模型。
本实施例的产品外观缺陷发展性认知检测系统用于实现前述的 产品外观缺陷发展性认知检测方法，因此产品外观缺陷发展性认知检 测系统中的具体实施方式可见前文中的产品外观缺陷发展性认知检测 方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分 实施例的描述，在此不再赘述。
下面对本发明实施例提供的一种产品外观缺陷发展性认知检测 设备进行介绍，下文描述的产品外观缺陷发展性认知检测设备与上文 描述的产品外观缺陷发展性认知检测方法以及产品外观缺陷发展性认 知检测装置可相互对应参照。
请参考图5，图5为本发明实施例所提供的一种产品外观缺陷发 展性认知检测设备的结构框图。
参照图5，该产品外观缺陷发展性认知检测设备可以包括处理器 13和存储器14。
所述存储器14用于存储计算机程序；所述处理器13用于执行所 述计算机程序时实现上述发明实施例中所述的产品外观缺陷发展性认 知检测方法的具体内容。
本实施例的产品外观缺陷发展性认知检测设备中处理器13用于 安装上述发明实施例中所述的产品外观缺陷发展性认知检测装置，同 时处理器13与存储器14相结合可以实现上述任一发明实施例中所述 的产品外观缺陷发展性认知检测方法。因此产品外观缺陷发展性认知 检测设备中的具体实施方式可见前文中的产品外观缺陷发展性认知检 测方法的实施例部分，其具体实施方式可以参照相应的各个部分实施 例的描述，在此不再赘述。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储 介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述 任一发明实施例中所介绍的一种产品外观缺陷发展性认知检测方法。 其余内容可以参照现有技术，在此不再进行展开描述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说 明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分 互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的 方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述 的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者 的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明 中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟 以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束 条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所 描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接 用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块 可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程 ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关 系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来， 而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系 或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖 非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者 设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者 是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更 多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包 括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种产品外观缺陷发展性认知检测方法、 一种产品外观缺陷发展性认知检测装置、一种产品外观缺陷发展性认 知检测设备以及一种计算机可读存储介质进行了详细介绍。本文中应 用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的 说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于 本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还 可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权 利要求的保护范围内。

Claims (10)

1.一种产品外观缺陷发展性认知检测方法，其特征在于，包括：
获取目标产品的正常品图像；
基于所述正常品图像训练异常检测模型；
通过训练后的所述异常检测模型对所述目标产品进行检测，获取初始异常品图像；
在接收到所述初始异常品图像后，并当所述异常品图像满足预设条件时，根据预设任务选取目标任务模型，并根据所述异常品图像对所述目标任务模型进行训练；
通过训练后的所述目标任务模型对所述目标产品进行检测，完成所述目标任务。
2.根据权利要求1所述的方法，其特征在于，在所述通过训练后的所述目标任务模型对所述目标产品进行检测之后，还包括：
接收根据所述目标任务模型对所述目标产品进行检测时获取的后续异常品图像；
根据所述后续异常品图像对所述目标任务模型进行更新，并通过更新后的所述目标任务模型对所述目标产品进行检测。
3.根据权利要求2所述的方法，其特征在于，所述根据所述后续异常品图像对所述目标任务模型进行更新包括：
通过无监督聚类模型对所述后续异常品图像进行标注，得到后续伪标注样本；
根据所述后续伪标注样本对所述目标任务模型进行增量学习，以对所述目标任务模型进行更新。
4.根据权利要求1所述的方法，其特征在于，所述根据所述异常品图像对所述目标任务模型进行训练包括：
调用小样本学习模型，根据所述异常品图像对所述目标任务模型进行训练。
5.根据权利要求4所述的方法，其特征在于，在获取初始异常品图像之后，还包括：
通过无监督聚类模型对所述初始异常品图像进行标注，得到初始伪标注样本；
所述调用小样本学习模型，根据所述异常品图像对所述目标任务模型进行训练包括：
调用小样本学习模型，根据所述初始伪标注样本对所述目标任务模型进行训练。
6.根据权利要求1所述的方法，其特征在于，所述目标任务模型包括：
分类模型、目标检测模型、图像分割模型。
7.一种产品外观缺陷发展性认知检测装置，其特征在于，包括：
正常品图像获取模块，用于获取目标产品的正常品图像；
异常检测模型训练模块，基于所述正常品图像训练异常检测模型；
异常检测模型发送模块，用于通过训练后的所述异常检测模型对所述目标产品进行检测，获取初始异常品图像；
目标任务模型训练模块，用于在接收到所述初始异常品图像后，并当所述异常品图像满足预设条件时，根据预设任务选取目标任务模型，并根据所述异常品图像对所述目标任务模型进行训练；
目标任务模型发送模块，用于通过训练后的所述目标任务模型对所述目标产品进行检测，完成所述目标任务。
8.根据权利要求7所述的装置，其特征在于，还包括：
后续异常品图像获取模块，用于接收根据所述目标任务模型对所述目标产品进行检测时获取的后续异常品图像；
更新模块，用于根据所述后续异常品图像对所述目标任务模型进行更新，并通过更新后的所述目标任务模型对所述目标产品进行检测。
9.一种产品外观缺陷发展性认知检测设备，其特征在于，所述设备包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序时实现如权利要求1至6任一项所述产品外观缺陷发展性认知检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述产品外观缺陷发展性认知检测方法的步骤。
CN202110830857.6A 2021-07-22 2021-07-22 一种产品外观缺陷发展性认知检测方法及相关装置 Active CN113570566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110830857.6A CN113570566B (zh) 2021-07-22 2021-07-22 一种产品外观缺陷发展性认知检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110830857.6A CN113570566B (zh) 2021-07-22 2021-07-22 一种产品外观缺陷发展性认知检测方法及相关装置

Publications (2)

Publication Number Publication Date
CN113570566A true CN113570566A (zh) 2021-10-29
CN113570566B CN113570566B (zh) 2024-03-19

Family

ID=78166325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110830857.6A Active CN113570566B (zh) 2021-07-22 2021-07-22 一种产品外观缺陷发展性认知检测方法及相关装置

Country Status (1)

Country Link
CN (1) CN113570566B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210024A (zh) * 2020-01-14 2020-05-29 深圳供电局有限公司 模型训练方法、装置、计算机设备和存储介质
CN111740991A (zh) * 2020-06-19 2020-10-02 上海仪电（集团）有限公司中央研究院 一种异常检测方法及系统
CN111899254A (zh) * 2020-08-12 2020-11-06 华中科技大学 基于半监督学习自动标注工业产品外观缺陷图像的方法
CN112200274A (zh) * 2020-12-09 2021-01-08 湖南索莱智能科技有限公司 一种目标检测方法、装置、电子设备和存储介质
CN112561383A (zh) * 2020-12-24 2021-03-26 航天科工网络信息发展有限公司 一种基于生成对抗网络的实时异常检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210024A (zh) * 2020-01-14 2020-05-29 深圳供电局有限公司 模型训练方法、装置、计算机设备和存储介质
CN111740991A (zh) * 2020-06-19 2020-10-02 上海仪电（集团）有限公司中央研究院 一种异常检测方法及系统
CN111899254A (zh) * 2020-08-12 2020-11-06 华中科技大学 基于半监督学习自动标注工业产品外观缺陷图像的方法
CN112200274A (zh) * 2020-12-09 2021-01-08 湖南索莱智能科技有限公司 一种目标检测方法、装置、电子设备和存储介质
CN112561383A (zh) * 2020-12-24 2021-03-26 航天科工网络信息发展有限公司 一种基于生成对抗网络的实时异常检测方法

Also Published As

Publication number Publication date
CN113570566B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN112837315B (zh) 一种基于深度学习的输电线路绝缘子缺陷检测方法
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN113435546B (zh) 基于区分置信度水平的可迁移图像识别方法及系统
CN111754498A (zh) 一种基于YOLOv3的传送带托辊检测方法
CN111179249A (zh) 一种基于深度卷积神经网络的电力设备检测方法和装置
CN111401418A (zh) 一种基于改进Faster r-cnn的员工着装规范检测方法
CN110659659A (zh) 一种智能识别和预警害虫的方法及系统
CN113688665A (zh) 一种基于半监督迭代学习的遥感影像目标检测方法及系统
CN114553475A (zh) 一种基于网络流量属性有向拓扑的网络攻击检测方法
CN108764361B (zh) 基于集成学习的游梁式抽油机示功图的工况识别方法
CN110751642A (zh) 一种绝缘子裂缝检测方法和系统
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN111008641B (zh) 一种基于卷积神经网络的输电线路杆塔外力破坏检测方法
CN106156805A (zh) 一种样本标签缺失数据的分类器训练方法
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN113111804B (zh) 一种人脸检测的方法、装置、电子设备及存储介质
CN105550710A (zh) 基于非线性拟合的接触网运行异常状态智能检测方法
CN117103790A (zh) 瓦楞纸板生产线及其控制方法
CN117670755B (zh) 一种吊钩防脱装置检测方法、装置、存储介质及电子设备
CN115690514A (zh) 图像识别方法及相关设备
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN105224941A (zh) 对象辨识与定位方法
CN111627018A (zh) 一种基于双流神经网络模型的钢板表面缺陷分类方法
CN113570566A (zh) 一种产品外观缺陷发展性认知检测方法及相关装置
CN111382191A (zh) 一种基于深度学习的机器学习识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant