CN116977324A - 产品外观缺陷全检测方法、装置及可读存储介质 - Google Patents

产品外观缺陷全检测方法、装置及可读存储介质 Download PDF

Info

Publication number
CN116977324A
CN116977324A CN202311065146.XA CN202311065146A CN116977324A CN 116977324 A CN116977324 A CN 116977324A CN 202311065146 A CN202311065146 A CN 202311065146A CN 116977324 A CN116977324 A CN 116977324A
Authority
CN
China
Prior art keywords
product
appearance
defect
product appearance
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311065146.XA
Other languages
English (en)
Inventor
周志刚
张强
陈志忠
王逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Bohr Zhizao Technology Co ltd
Original Assignee
Shenzhen Bohr Zhizao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bohr Zhizao Technology Co ltd filed Critical Shenzhen Bohr Zhizao Technology Co ltd
Priority to CN202311065146.XA priority Critical patent/CN116977324A/zh
Publication of CN116977324A publication Critical patent/CN116977324A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及产品检测技术领域，本申请提供一种产品外观缺陷全检测方法、装置及可读存储介质，通过获取用户提供的产品外观缺陷，根据产品外观缺陷匹配产品外观的成像方案，获取用户提供的产品外观的缺陷检测标准，并获取根据成像方案对产品外观进行成像的成像效果，根据产品外观缺陷、产品外观的缺陷检测标准以及成像效果，匹配出用于检测产品外观缺陷的深度学习检测模型，对深度学习检测模型进行训练，并根据深度学习检测模型的输出，对深度学习检测模型进行迭代优化，根据产品外观缺陷的成像方案、产品外观的缺陷检测标准以及迭代优化后的深度学习检测模型，对产品外观缺陷进行在线全检测，从而提升产品外观检测的检测效率和精度，减少误检和漏检情况的发生。

Description

产品外观缺陷全检测方法、装置及可读存储介质
技术领域
本申请属产品检测技术领域，尤其涉及一种产品外观缺陷全检测方法、装置及可读存储介质。
背景技术
在工业制造中，一般都会涉及对工业产品外观进行检测。目前，产品外观检测通常都由检测方根据专业经验，对产品外观的一些特定区域进行检测，而且很多检测还在依靠人工检测。随着工业制造中外观瑕疵检测技术的发展以及客户需求越来越多、越来越高，检测需求朝着高效率、高精度的方向延伸，人工检测往往会耗费过多的时间，且检测效率偏低，另外，人工长时间检测会导致视觉疲劳，又会导致产品的误检和漏检的情况频发。
综上所述，现有产品外观检测技术存在检测效率低，检测精度低，误检和漏检的情况频发等技术问题。
申请内容
针对上述现有技术存在的不足，本申请提供一种产品外观缺陷全检测方法、装置及可读存储介质，以提升产品外观检测的检测效率和精度，减少误检和漏检情况的发生。
第一方面，本申请提供一种产品外观缺陷全检测方法，包括以下步骤：
获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案；
获取用户提供的产品外观的缺陷检测标准，并获取根据所述成像方案对产品外观进行成像的成像效果；
根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型；
对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化；
根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测。
进一步，所述获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案，包括：
获取用户提供的产品外观缺陷，根据所述产品外观缺陷确定产品外观的成像方式和图像采集顺序；
根据所述成像方式和所述图像采集顺序，搭建产品外观的图像采集平台，以采集产品外观所有区域的图像，得到所述产品外观的成像方案。
进一步，所述根据所述产品外观缺陷确定产品外观的成像方式和图像采集顺序，包括：
根据所述产品外观缺陷确定所述产品外观缺陷出现在产品外观的位置；
根据所述产品外观缺陷出现在产品外观的位置，划分出产品外观的拍照区域，并确定产品外观各个区域的成像方式；
根据所述产品外观的拍照区域，确认产品外观所有区域的图像采集顺序。
进一步，所述根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型，包括：
根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型的数量；
确定每个所述深度学习检测模型对所述产品外观缺陷进行检测的产品外观检测区域，以得到所述深度学习检测模型的分布。
进一步，所述对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化，包括：
在产品的图像采集平台上采集产品的外观图像，对图像中产品的缺陷进行标注以得到产品外观缺陷标注数据；
使用所述产品外观缺陷标注数据对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化。
进一步，所述深度学习检测模型为CNN、RNN、GAN、CAM、DRL以及VAE中的任意一种。
进一步，所述根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测，包括：
根据所述产品外观缺陷的成像方案，采集产品外观的图像；
对采集到的所述产品外观的图像进行裁剪，以得到待检测的目标区域的图像；
将所述待检测的目标区域的图像输入深度学习检测模块，预测输出缺陷结果数据；
根据所述产品外观的缺陷检测标准，确定缺陷所需要提取的特征数据；
根据所述产品外观的缺陷检测标准，并结合缺陷提取的所述特征数据，以得到缺陷检出的评估模块，并通过所述缺陷结果数据的量化指标，设定各个缺陷检出的量化评估阈值；
通过所述评估模块和所述量化评估阈值，对产品外观的合格状态进行判定。
进一步，所述缺陷结果数据包括缺陷的概率分数，缺陷的位置信息、缺陷的大小信息以及缺陷掩码。
第二方面，本申请提供一种产品外观缺陷全检测装置，包括：
成像方案匹配模块，用于获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案；
检测标准和成像效果获取模块，用于获取用户提供的产品外观的缺陷检测标准，并获取根据所述成像方案对产品外观进行成像的成像效果；
深度学习检测模型匹配模块，用于根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型；
深度学习检测模型训练和优化模块，用于对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化；
产品外观缺陷在线全检测模块，用于根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测。
第三方面，本申请提供一种可读存储介质，所述可读存储介质储存计算机程序，所述计算机程序在处理器运行时实现上述任一项所述的产品外观缺陷全检测方法。
本申请与现有技术相比，其有益效果如下：
本申请提供一种产品外观缺陷全检测方法、装置及可读存储介质，通过获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案，获取用户提供的产品外观的缺陷检测标准，并获取根据所述成像方案对产品外观进行成像的成像效果，根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型，对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化，根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测，从而提升产品外观检测的检测效率和精度，减少误检和漏检情况的发生。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分，本领域技术人员应该理解的是，这些附图未必是按比例绘制的，在附图中：
图1是本申请产品外观缺陷全检测方法的一种流程示意图；
图2是本申请产品在线优化的一种流程示意图；
图3是本申请服务器的一种架构示意图；
图4是本申请产品外观缺陷全检测装置的一种架构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
实施例一
参见图1-图4，本实施例提供一种产品外观缺陷全检测方法，包括步骤S101、步骤S102、步骤S103、步骤S104以及步骤S105。其中，步骤S101、步骤S102、步骤S103、步骤S104以及步骤S105可以在服务器中运行，通过获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案，获取用户提供的产品外观的缺陷检测标准，并获取根据所述成像方案对产品外观进行成像的成像效果，根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型，对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化，根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测，从而提升产品外观检测的检测效率和精度，减少误检和漏检情况的发生。
需要说明的是，本实施例提供的产品外观缺陷全检测方法在服务器运行，服务器端作为产品外观缺陷全检测方法中全部或部分步骤的执行主体，除了可以执行本实施例中步骤S101、步骤S102、步骤S103、步骤S104以及步骤S105之外，还可以运行下文中涉及的方法的部分或全部步骤。需要说明的是，服务器包括通过系统总线相互通信连接存储器、处理器、网络接口。需要指出的是，图中仅示出了服务器的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代地实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的服务器是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。服务器可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。存储器至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是服务器的内部存储单元，例如该服务器的硬盘或内存。在另一些实施例中，存储器也可以是服务器的外部存储设备，例如该服务器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括服务器的内部存储单元也包括其外部存储设备。
S101、获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案。
需要说明的是，通过获取用户提供的产品外观缺陷，并根据这些缺陷匹配产品外观的成像方案，从而根据具体产品的实际缺陷，可以进行特定的成像方案选择，使得整个方案能够适应各种不同的产品和缺陷类型。
在一些优选实施例中，获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案，可以包括：获取用户提供的产品外观缺陷，根据所述产品外观缺陷确定产品外观的成像方式和图像采集顺序；根据所述成像方式和所述图像采集顺序，搭建产品外观的图像采集平台，以采集产品外观所有区域的图像，得到所述产品外观的成像方案。
需要说明的是，本实施例中，根据用户提供的产品外观缺陷确定成像方式和图像采集顺序，从而可以根据不同的产品和缺陷需求进行高度定制，确保成像方案能精确匹配产品的具体情况。另外，通过有序的采集顺序，能够确保图像采集的连续性和一致性，减少冗余的步骤和错误，从而提高采集效率和图像质量。另外，通过搭建专门的产品外观的图像采集平台，并以此采集产品外观所有区域的图像，对产品外观全方位覆盖，有助于确保缺陷检测的准确性和全面性，减少可能的遗漏。另外，对整个图像采集流程可以进行灵活的调整，以适应不同产品线的特定需求。
在一些优选实施例中，根据所述产品外观缺陷确定产品外观的成像方式和图像采集顺序，包括：根据所述产品外观缺陷确定所述产品外观缺陷出现在产品外观的位置；根据所述产品外观缺陷出现在产品外观的位置，划分出产品外观的拍照区域，并确定产品外观各个区域的成像方式；根据所述产品外观的拍照区域，确认产品外观所有区域的图像采集顺序。
需要说明的是，通过精确分析产品外观缺陷的位置，并据此划分产品的拍照区域，可以确保对缺陷的准确定位，有助于更有效地识别和解决特定问题，提高整体检测的准确性。另外，通过针对每个拍照区域确定成像方式，它能够为不同类型和位置的缺陷提供特定的解决方案，可以提高图像的质量和相关性，为后续分析提供更准确的数据。如果缺陷类型发生变化，只需调整特定区域的成像方式和采集顺序，而无需重新设计整个方案。
S102、获取用户提供的产品外观的缺陷检测标准，并获取根据所述成像方案对产品外观进行成像的成像效果。
需要说明的是，通过获取用户提供的产品外观的缺陷检测标准，从而整个检测流程遵循客户标准，确保了检测的准确性和一致性。
S103、根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型。
需要说明的是，通过结合产品外观缺陷、缺陷检测标准和成像效果来匹配用于检测的深度学习检测模型，配合后续步骤S104对深度学习检测模型的训练和迭代优化，从而可以逐渐提高检测的准确率和效率。
在一些优选实施例中，根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型，可以包括：根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型的数量；确定每个所述深度学习检测模型对所述产品外观缺陷进行检测的产品外观检测区域，以得到所述深度学习检测模型的分布。
需要说明的是，根据产品的特定情况确定深度学习检测模型的数量，而且还确定了每个模型的检测区域，可以为不同类型和位置的缺陷提供特定的解决方案，从而增加了整个系统的灵活性和可靠性。此外，通过分配专门的深度学习检测模型来处理特定的产品外观检测区域，能够实现更高效的并行处理，不仅缩短了检测时间，而且通过专门的模型可以优化每个区域的检测精度。此外，针对不同产品外观检测区域的检测，单独训练和优化深度学习检测模型，有助于实现对特定缺陷的深入了解和有效检测，而不会影响其他区域。
S104、对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化。
在一些优选实施例中，对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化，可以包括：在产品的图像采集平台上采集产品的外观图像，对图像中产品的缺陷进行标注以得到产品外观缺陷标注数据；使用所述产品外观缺陷标注数据对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化。
需要说明的是，所述深度学习检测模型可以为CNN、RNN、GAN、CAM、DRL以及VAE中的任意一种。
需要说明的是，通过使用标注的产品外观缺陷数据进行训练，深度学习模型能够学习和理解实际的缺陷特征，从而提高缺陷检测的准确性。迭代优化进一步确保了模型的精细调整和优化，使其更精确地反映实际生产环境中的缺陷。此外，通过对实际产品图像的采集和标注，模型训练基于真实世界的数据，有助于模型学习多样化的缺陷特征和场景，从而增强其泛化能力，使模型能够在新的、未见过的产品外观缺陷上表现良好。此外，在产品的图像采集平台上采集图像并进行标注，可以确保训练数据与实际生产环境紧密相符，有助于减少模型在从训练到实际部署时可能出现的性能下降，同时提供了灵活性，以适应产品或流程的变化。此外，迭代优化允许模型不断根据输出进行调整和改善，从而更好地适应可能的变化，这一过程的持续性使得模型能够随着时间的推移持续改进，从而与生产环境的变化保持同步。此外，通过自动化的深度学习训练和优化过程，人工干预的需求会减少。虽然需要进行图像标注，但训练和优化的过程可以相对自动化，从而减轻人工负担，并可能降低错误率。
S105、根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测。
在一些优选实施例中，根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测，包括：
根据所述产品外观缺陷的成像方案，采集产品外观的图像；
对采集到的所述产品外观的图像进行裁剪，以得到待检测的目标区域的图像；
将所述待检测的目标区域的图像输入深度学习检测模块，预测输出缺陷结果数据；
根据所述产品外观的缺陷检测标准，确定缺陷所需要提取的特征数据；
根据所述产品外观的缺陷检测标准，并结合缺陷提取的所述特征数据，以得到缺陷检出的评估模块，并通过所述缺陷结果数据的量化指标，设定各个缺陷检出的量化评估阈值；
通过所述评估模块和所述量化评估阈值，对产品外观的合格状态进行判定。
需要说明的是，本实施例中，从图像采集、裁剪、深度学习检测到最终评估，整个过程无缝衔接，有助于提高检测效率。此外，通过对图像进行裁剪并聚焦在待检测的目标区域上，可以减少不必要的干扰，从而提高了检测的准确性。此外，通过设定具体的量化评估阈值，并与缺陷结果数据的量化指标结合，可以更精确、客观地判断产品外观的合格状态，有助于减少人为判断的不一致性和主观性。此外，根据产品外观的缺陷检测标准来确定需要提取的特征数据，可以容易地调整以适应不同的产品和标准，能够广泛适用于多种需求。同时，通过量化评估阈值和评估模块的设定，可以持续收集和分析检测数据，从而不断优化和调整检测流程和标准。此外，通过全面和精确的在线全检测，产品外观缺陷得到及时发现和纠正，可以提高产品的整体质量和一致性。
需要说明的是，所述缺陷结果数据可以包括缺陷的概率分数，缺陷的位置信息、缺陷的大小信息以及缺陷掩码。
在一些优选实施例中，特征数据可以包括缺陷的面积值、周长值、长度值、宽度值、前景亮度值、背景亮度值、前景背景亮度差值、圆度值以及离散度值等量化指标。
需要说明的是，通过多个不同的特征数据，能够从多个维度全面地分析产品外观缺陷。每个特征数据(例如面积值、长度值、前景背景亮度差值等)代表了缺陷的不同方面和性质。结合使用这些特征可以提供对缺陷的全方位描述。通过使用这些量化指标，能够更精确地识别和定位产品外观的缺陷。例如，通过分析缺陷的面积值和周长值，可以准确判断缺陷的大小和形状；通过分析前景和背景的亮度差值，可以更清晰地区分缺陷与正常部分。本实施例中，不同的产品和缺陷可能需要关注不同的特征数据。例如，对于一些产品，可能更关注缺陷的长度和宽度；对于其他产品，可能更关注前景和背景的亮度差值。
需要说明的是，不同类型的缺陷使用的特征量化指标不尽相同。例如，黑点可提取前景亮度值、背景亮度值、前景背景亮度差值和面积值等特征数据进行分析。又如，划伤可提取长度值、宽度值以及面积值等特征数据进行分析。通过灵活选择和组合特征数据，可以更好地适应不同的需求。此外，量化指标可以提供清晰、明确的输入数据，有助于深度学习或其他机器学习算法的训练，提高模型的训练效率和预测准确性。
需要说明的是，在前期验证阶段或者人工复检过程中，会出现部分产品的过杀漏检情况，会收集对应产品的图像进行标注，并添加训练数据中进行模型的优化以及调整缺陷检出评估模块中设置的阈值，因此，可以通过人工干预等手段使得深度学习检测模型和缺陷检出的评估模块逐步向人工检测的判定标准趋同，提高产品的检出质量。
参见图1-图2，在一些优选实施例中，产品外观缺陷全检测方法包括产品在线优化，所述产品在线优化包括：
采集产品外观图像；定位待检测区域图像；深度学习模型检测；缺陷特征提取；导入产品缺陷质量评估模块；产品OK或NG判定；过杀或漏检率的统计分析；漏检图像的人工干预；优选训练，更新深度学习检测模型；人工替换新模型，再进行深度学习模型检测。
实施例二
参见图1-图4，本实施例提供一种产品外观缺陷全检测装置，包括：
成像方案匹配模块，用于获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案；
检测标准和成像效果获取模块，用于获取用户提供的产品外观的缺陷检测标准，并获取根据所述成像方案对产品外观进行成像的成像效果；
深度学习检测模型匹配模块，用于根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型；
深度学习检测模型训练和优化模块，用于对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化；
产品外观缺陷在线全检测模块，用于根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测。
需要说明的是，本实施例中，通过获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案，获取用户提供的产品外观的缺陷检测标准，并获取根据所述成像方案对产品外观进行成像的成像效果，根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型，对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化，根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测，从而提升产品外观检测的检测效率和精度，减少误检和漏检情况的发生。
实施例三
参见图1-图4，本实施例本申请提供一种可读存储介质，所述可读存储介质储存计算机程序，所述计算机程序在处理器运行时实现上述任一项所述的产品外观缺陷全检测方法。
本实施例中，可读存储介质储存的计算机程序在处理器运行时，可以实现上述任一项所述的产品外观缺陷全检测方法，通过获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案，获取用户提供的产品外观的缺陷检测标准，并获取根据所述成像方案对产品外观进行成像的成像效果，根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型，对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化，根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测，从而提升产品外观检测的检测效率和精度，减少误检和漏检情况的发生。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种产品外观缺陷全检测方法，其特征在于，包括以下步骤：
获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案；
获取用户提供的产品外观的缺陷检测标准，并获取根据所述成像方案对产品外观进行成像的成像效果；
根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型；
对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化；
根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测。
2.如权利要求1所述的产品外观缺陷全检测方法，其特征在于，所述获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案，包括：
获取用户提供的产品外观缺陷，根据所述产品外观缺陷确定产品外观的成像方式和图像采集顺序；
根据所述成像方式和所述图像采集顺序，搭建产品外观的图像采集平台，以采集产品外观所有区域的图像，得到所述产品外观的成像方案。
3.如权利要求2所述的产品外观缺陷全检测方法，其特征在于，所述根据所述产品外观缺陷确定产品外观的成像方式和图像采集顺序，包括：
根据所述产品外观缺陷确定所述产品外观缺陷出现在产品外观的位置；
根据所述产品外观缺陷出现在产品外观的位置，划分出产品外观的拍照区域，并确定产品外观各个区域的成像方式；
根据所述产品外观的拍照区域，确认产品外观所有区域的图像采集顺序。
4.如权利要求1所述的产品外观缺陷全检测方法，其特征在于，所述根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型，包括：
根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型的数量；
确定每个所述深度学习检测模型对所述产品外观缺陷进行检测的产品外观检测区域，以得到所述深度学习检测模型的分布。
5.如权利要求1所述的产品外观缺陷全检测方法，其特征在于，所述对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化，包括：
在产品的图像采集平台上采集产品的外观图像，对图像中产品的缺陷进行标注以得到产品外观缺陷标注数据；
使用所述产品外观缺陷标注数据对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化。
6.如权利要求1所述的产品外观缺陷全检测方法，其特征在于，所述深度学习检测模型为CNN、RNN、GAN、CAM、DRL以及VAE中的任意一种。
7.如权利要求1-6任一项所述的产品外观缺陷全检测方法，其特征在于，所述根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测，包括：
根据所述产品外观缺陷的成像方案，采集产品外观的图像；
对采集到的所述产品外观的图像进行裁剪，以得到待检测的目标区域的图像；
将所述待检测的目标区域的图像输入深度学习检测模块，预测输出缺陷结果数据；
根据所述产品外观的缺陷检测标准，确定缺陷所需要提取的特征数据；
根据所述产品外观的缺陷检测标准，并结合缺陷提取的所述特征数据，以得到缺陷检出的评估模块，并通过所述缺陷结果数据的量化指标，设定各个缺陷检出的量化评估阈值；
通过所述评估模块和所述量化评估阈值，对产品外观的合格状态进行判定。
8.如权利要求7所述的产品外观缺陷全检测方法，其特征在于，所述缺陷结果数据包括缺陷的概率分数，缺陷的位置信息、缺陷的大小信息以及缺陷掩码。
9.一种产品外观缺陷全检测装置，其特征在于，包括：
成像方案匹配模块，用于获取用户提供的产品外观缺陷，根据所述产品外观缺陷匹配产品外观的成像方案；
检测标准和成像效果获取模块，用于获取用户提供的产品外观的缺陷检测标准，并获取根据所述成像方案对产品外观进行成像的成像效果；
深度学习检测模型匹配模块，用于根据所述产品外观缺陷、所述产品外观的缺陷检测标准以及所述成像效果，匹配出用于检测所述产品外观缺陷的深度学习检测模型；
深度学习检测模型训练和优化模块，用于对所述深度学习检测模型进行训练，并根据所述深度学习检测模型的输出，对所述深度学习检测模型进行迭代优化；
产品外观缺陷在线全检测模块，用于根据所述产品外观缺陷的成像方案、所述产品外观的缺陷检测标准以及迭代优化后的所述深度学习检测模型，对所述产品外观缺陷进行在线全检测。
10.一种可读存储介质，所述可读存储介质储存计算机程序，其特征在于，所述计算机程序在处理器运行时实现如权利要求1-8任一项所述的产品外观缺陷全检测方法。
CN202311065146.XA 2023-08-22 2023-08-22 产品外观缺陷全检测方法、装置及可读存储介质 Pending CN116977324A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311065146.XA CN116977324A (zh) 2023-08-22 2023-08-22 产品外观缺陷全检测方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311065146.XA CN116977324A (zh) 2023-08-22 2023-08-22 产品外观缺陷全检测方法、装置及可读存储介质

Publications (1)

Publication Number Publication Date
CN116977324A true CN116977324A (zh) 2023-10-31

Family

ID=88476677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311065146.XA Pending CN116977324A (zh) 2023-08-22 2023-08-22 产品外观缺陷全检测方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN116977324A (zh)

Similar Documents

Publication Publication Date Title
US11341626B2 (en) Method and apparatus for outputting information
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN111401418A (zh) 一种基于改进Faster r-cnn的员工着装规范检测方法
CN110853005A (zh) 一种免疫组化膜染色切片诊断方法及装置
CN110826494A (zh) 标注数据质量评价方法、装置、计算机设备及存储介质
JP2011158373A (ja) 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
CN115151952A (zh) 一种变电设备高精度识别方法及系统
CN117173568A (zh) 目标检测模型训练方法和目标检测方法
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN112381800A (zh) 一种导线直径异常识别方法、装置、电子设备和计算机可读存储介质
US12008750B2 (en) Generating annotation data of tissue images
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN111368824A (zh) 一种仪表识别方法、移动设备及存储介质
CN117372424B (zh) 一种缺陷检测方法、装置、设备及存储介质
CN114066835A (zh) 图像检测、自动光学检测方法、装置、存储介质及设备
CN112434717A (zh) 一种模型训练方法及装置
CN115564776B (zh) 基于机器学习的异常细胞样本检测方法和装置
CN116977324A (zh) 产品外观缺陷全检测方法、装置及可读存储介质
CN113537407B (zh) 基于机器学习的图像数据评价处理方法及装置
CN114266941A (zh) 一种快速检测图像样本标注成果数据方法
CN114782822A (zh) 电力设备的状态检测方法、装置、电子设备及存储介质
CN114638304A (zh) 图像识别模型的训练方法、图像识别方法及装置
JP7343646B1 (ja) 教師データの収集方法
CN117036961A (zh) 农作物病虫害的智能监测方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination