CN114998194A - 产品缺陷检测方法、系统和存储介质 - Google Patents

产品缺陷检测方法、系统和存储介质 Download PDF

Info

Publication number
CN114998194A
CN114998194A CN202210418412.1A CN202210418412A CN114998194A CN 114998194 A CN114998194 A CN 114998194A CN 202210418412 A CN202210418412 A CN 202210418412A CN 114998194 A CN114998194 A CN 114998194A
Authority
CN
China
Prior art keywords
dimensional image
detection
depth data
detection result
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210418412.1A
Other languages
English (en)
Inventor
张俊峰
蓝明观
胡朋朋
陈炯标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Supersonic Automation Technology Co Ltd
Original Assignee
Guangzhou Supersonic Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Supersonic Automation Technology Co Ltd filed Critical Guangzhou Supersonic Automation Technology Co Ltd
Priority to CN202210418412.1A priority Critical patent/CN114998194A/zh
Publication of CN114998194A publication Critical patent/CN114998194A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请公开了一种产品缺陷检测方法、系统和存储介质，涉及图像识别技术，包括以下步骤：获取待测对象的三维图像信息；根据所述三维图像信息得到待测对象的二维图像和深度数据；将所述深度数据转换为灰度图；根据所述灰度图进行缺陷检测得到第一检测结果；将所述二维图像输入图像检测模型得到第二检测结果；将所述三维图像信息输入到三维图像检测模型得到第三检测结果；当所述第一检测结果、第二检测结果和第三检测结果的至少之一表示为所述待测对象存在缺陷时，产生缺陷提示信息。本申请可以提升缺陷检测的准确度。

Description

产品缺陷检测方法、系统和存储介质
技术领域
本申请涉及图像识别技术，特别是一种产品缺陷检测方法、系统和存储介质。
背景技术
在现有技术中，生产设备对产品进行缺陷检测的时候往往会用到图像检测技术。当前的图像检测技术主要以二维图像检测技术为主，二维图像检测技术对于颜色不明显的划痕等缺陷检测精度不足，容易出现漏检等情况。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种产品缺陷检测方法、系统和存储介质，以提高缺陷的检测精度。
一方面，本申请实施例提供了一种产品缺陷检测方法，包括以下步骤：
获取待测对象的三维图像信息，所述三维图像信息由三维摄像机采集；
根据所述三维图像信息得到待测对象的二维图像和深度数据；
将所述深度数据转换为灰度图；
根据所述灰度图进行缺陷检测得到第一检测结果；
将所述二维图像输入图像检测模型得到第二检测结果；
将所述三维图像信息输入到三维图像检测模型得到第三检测结果；
当所述第一检测结果、第二检测结果和第三检测结果的至少之一表示为所述待测对象存在缺陷时，产生缺陷提示信息。
在一些实施例中，所述三维图像信息经过预处理，所述预处理的过程是将待测对象以外的图像信息去除。
在一些实施例中，所述深度数据与所述二维图像相对应，所述二维图像中每个像素点对应一个深度数据；
所述将所述深度数据转换为灰度图具体为：
将二维图像中每个像素点对应的深度数据转化成灰度值，从而构成一个灰度图。
在一些实施例中，所述将二维图像中每个像素点对应的深度数据转化成灰度值，具体为：
将各深度数据与深度最浅的深度数据作差；
以深度最浅的深度数据作为基准灰度，确定所有深度数据对应的灰度。
在一些实施例中，所述图像检测模型通过以下方式得到：
获取经过标注的缺陷图像作为第一训练样本；
利用所述第一训练样本对卷积神经网络进行训练，直到满足训练条件。
在一些实施例中，所述图像检测模型通过以下方式得到：
获取经过标注的待测对象的三维图像信息作为第二训练样本；
将第二训练样本拆分为二维图像和深度输入，并输入三维图像检测模型进行训练，直到满足训练条件。
在另一方面，本实施例公开了一种产品缺陷检测系统，包括：
三维摄像机，用于采集待测对象的三维图像信息；
处理模块，用于执行所述的产品缺陷检测方法。
在另一方面，本实施例公开了一种产品缺陷检测系统，包括：
获取单元，用于获取待测对象的三维图像信息，所述三维图像信息由三维摄像机采集；
数据分解单元，用于根据所述三维图像信息得到待测对象的二维图像和深度数据；
转换单元，用于将所述深度数据转换为灰度图；
第一检测单元，用于根据所述灰度图进行缺陷检测得到第一检测结果；
第二检测单元，用于将所述二维图像输入图像检测模型得到第二检测结果；
第三检测单元，用于将所述三维图像信息输入到三维图像检测模型得到第三检测结果；
提示单元，用于当所述第一检测结果、第二检测结果和第三检测结果的至少之一表示为所述待测对象存在缺陷时，产生缺陷提示信息。
在另一方面，本实施例公开了一种产品缺陷检测系统，包括：
存储器，用于存储程序；
处理器，用于加载所述程序以执行所述的产品缺陷检测方法。
在另一方面，本实施例公开了一种存储介质，其存储有程序，所述程序被处理器执行时实现所述的产品缺陷检测方法。
本申请实施例基于三维摄像机采集三维图像信息，并将三维图像信息分离为二维图像和深度数据，根据深度数据转换成灰度图，利用灰度图进行缺陷检测实际上是利用了深度数据的统计特征，而利用深度神经网络模型对二维图像和三维图像数据进行识别，则是利用模型对隐藏数据特征进行挖掘，从而可以实现从三个维度来检测缺陷，准确度更高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是一种产品缺陷检测方法的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，以下将参照本申请实施例中的附图，通过实施方式清楚、完整地描述本申请的技术方案，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
参照图1，本实施例公开了一种产品缺陷检测方法，包括以下步骤：
步骤101、获取待测对象的三维图像信息，所述三维图像信息由三维摄像机采集。
可以理解的是，三维摄像机作为产品生产线的一部分存在，产品转移到特定工位的时候，三维摄像机对其进行拍摄。然后根据拍摄的三维数据进行识别，从而确定产品是否有缺陷。在本实施例中的待测对象，一般是指产品或者产品的某个部分或者产品的某个表面。
步骤102、根据所述三维图像信息得到待测对象的二维图像和深度数据。
三维图像信息一般由多个点构成，这些点包含了该点的颜色信息和深度信息，实际上，三维图像信息可以理解为待测对象表面的点云。因此，可以对三维图像信息进行拆分，得到二维图像和二维图像中每个像素点对应的深度数据。
步骤103、将所述深度数据转换为灰度图。
在本实施例中，深度数据的转换方式可以有多种，例如，直接以深度数据表示为对应的灰度，例如深度为100，对应灰度就是100。但是这一方式由于摄像机和待测对象之间存在较大的距离，导致深度变化不明显。因此，在一些实施例中，所述深度数据与所述二维图像相对应，所述二维图像中每个像素点对应一个深度数据；
所述将所述深度数据转换为灰度图具体为：
将二维图像中每个像素点对应的深度数据转化成灰度值，从而构成一个灰度图。
所述将二维图像中每个像素点对应的深度数据转化成灰度值，具体为：
将各深度数据与深度最浅的深度数据作差；
以深度最浅的深度数据作为基准灰度，确定所有深度数据对应的灰度。
在该例子中，利用深度最浅的深度数据作为基准灰度，例如作为0，深度较深的数据与最浅深度之差作为灰度值，这一方式可以将深度数据中的深度差异进行凸显。然后可以根据灰度图像的方差等统计信息确定表面是否存在明显缺陷。
步骤104、根据所述灰度图进行缺陷检测得到第一检测结果。
在本步骤中，基于灰度图判断是否存在缺陷，这是其中一种判断结果。
步骤105、将所述二维图像输入图像检测模型得到第二检测结果。
接着，通过神经网络模型(如卷积神经网络模型)，对二维图像进行检测，得到第二种判断结果。这一判断结果是基于训练好的卷积神经网络模型预测得到的。该神经网络模型预测的结果为待测对象存在缺陷的概率，当概率大于阈值的时候判定待测对象存在缺陷。
其中，所述图像检测模型通过以下方式得到：
获取经过标注的缺陷图像作为第一训练样本；一般以图像作为输入样本，而是否是缺陷图像则作为标签。
利用所述第一训练样本对卷积神经网络进行训练，直到满足训练条件。在训练过程中，利用梯度下降法对卷积神经网络进行参数更新，直到卷积神经网络达到训练次数，或者卷积神经网络可以在验证集上收敛为止。
步骤106、将所述三维图像信息输入到三维图像检测模型得到第三检测结果。
具体地，三维图像信息在输入模型之前被拆分为二维图像和深度数据(输入)，然后经由训练好的三维图像检测模型进行预测是否有缺陷。这一结果是第三个维度的检测结果。
其中，所述图像检测模型通过以下方式得到：
获取经过标注的待测对象的三维图像信息作为第二训练样本；
将第二训练样本拆分为二维图像和深度输入，并输入三维图像检测模型进行训练，直到满足训练条件。可见，训练的过程与预测的过程是相对应的。
步骤107、当所述第一检测结果、第二检测结果和第三检测结果的至少之一表示为所述待测对象存在缺陷时，产生缺陷提示信息。
在本实施例中无论是三个维度的检测结果中哪一个显示存在缺陷都会产生相关的提示，这些提示可以反应在生产/检测设备的控制终端上，其表现为产生提示音、产生提示信息、生成缺陷报告或者对产品进行筛选动作等。
本申请实施例基于三维摄像机采集三维图像信息，并将三维图像信息分离为二维图像和深度数据，根据深度数据转换成灰度图，利用灰度图进行缺陷检测实际上是利用了深度数据的统计特征，而利用深度神经网络模型对二维图像和三维图像数据进行识别，则是利用模型对隐藏数据特征进行挖掘，从而可以实现从三个维度来检测缺陷，准确度更高。
在一些实施例中，为了减少多余数据(因为摄像头拍摄的范围大于需要检测的范围)的干扰，所述三维图像信息经过预处理，所述预处理的过程是将待测对象以外的图像信息去除。一般通过图像识别的方式确定待测对象的目标区域，然后根据目标区域对数据进行裁剪。
本实施例公开了一种产品缺陷检测系统，包括：
三维摄像机，用于采集待测对象的三维图像信息；
处理模块，用于执行所述的产品缺陷检测方法。
本实施例公开了一种产品缺陷检测系统，包括：
获取单元，用于获取待测对象的三维图像信息，所述三维图像信息由三维摄像机采集；
数据分解单元，用于根据所述三维图像信息得到待测对象的二维图像和深度数据；
转换单元，用于将所述深度数据转换为灰度图；
第一检测单元，用于根据所述灰度图进行缺陷检测得到第一检测结果；
第二检测单元，用于将所述二维图像输入图像检测模型得到第二检测结果；
第三检测单元，用于将所述三维图像信息输入到三维图像检测模型得到第三检测结果；
提示单元，用于当所述第一检测结果、第二检测结果和第三检测结果的至少之一表示为所述待测对象存在缺陷时，产生缺陷提示信息。
本实施例公开了一种产品缺陷检测系统，包括：
存储器，用于存储程序；
处理器，用于加载所述程序以执行所述的产品缺陷检测方法。
在另一方面，本实施例公开了一种存储介质，其存储有程序，所述程序被处理器执行时实现所述的产品缺陷检测方法。
上述硬件实施例基于三维摄像机采集三维图像信息，并将三维图像信息分离为二维图像和深度数据，根据深度数据转换成灰度图，利用灰度图进行缺陷检测实际上是利用了深度数据的统计特征，而利用深度神经网络模型对二维图像和三维图像数据进行识别，则是利用模型对隐藏数据特征进行挖掘，从而可以实现从三个维度来检测缺陷，准确度更高。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种产品缺陷检测方法，其特征在于，包括以下步骤：
获取待测对象的三维图像信息，所述三维图像信息由三维摄像机采集；
根据所述三维图像信息得到待测对象的二维图像和深度数据；
将所述深度数据转换为灰度图；
根据所述灰度图进行缺陷检测得到第一检测结果；
将所述二维图像输入图像检测模型得到第二检测结果；
将所述三维图像信息输入到三维图像检测模型得到第三检测结果；
当所述第一检测结果、第二检测结果和第三检测结果的至少之一表示为所述待测对象存在缺陷时，产生缺陷提示信息。
2.根据权利要求1所述的产品缺陷检测方法，其特征在于，所述三维图像信息经过预处理，所述预处理的过程是将待测对象以外的图像信息去除。
3.根据权利要求1所述的产品缺陷检测方法，其特征在于，所述深度数据与所述二维图像相对应，所述二维图像中每个像素点对应一个深度数据；
所述将所述深度数据转换为灰度图具体为：
将二维图像中每个像素点对应的深度数据转化成灰度值，从而构成一个灰度图。
4.根据权利要求3所述的产品缺陷检测方法，其特征在于，所述将二维图像中每个像素点对应的深度数据转化成灰度值，具体为：
将各深度数据与深度最浅的深度数据作差；
以深度最浅的深度数据作为基准灰度，确定所有深度数据对应的灰度。
5.根据权利要求1所述的产品缺陷检测方法，其特征在于，所述图像检测模型通过以下方式得到：
获取经过标注的缺陷图像作为第一训练样本；
利用所述第一训练样本对卷积神经网络进行训练，直到满足训练条件。
6.根据权利要求1所述的产品缺陷检测方法，其特征在于，所述图像检测模型通过以下方式得到：
获取经过标注的待测对象的三维图像信息作为第二训练样本；
将第二训练样本拆分为二维图像和深度输入，并输入三维图像检测模型进行训练，直到满足训练条件。
7.一种产品缺陷检测系统，其特征在于，包括：
三维摄像机，用于采集待测对象的三维图像信息；
处理模块，用于执行如权利要求1-6任一项所述的产品缺陷检测方法。
8.一种产品缺陷检测系统，其特征在于，包括：
获取单元，用于获取待测对象的三维图像信息，所述三维图像信息由三维摄像机采集；
数据分解单元，用于根据所述三维图像信息得到待测对象的二维图像和深度数据；
转换单元，用于将所述深度数据转换为灰度图；
第一检测单元，用于根据所述灰度图进行缺陷检测得到第一检测结果；
第二检测单元，用于将所述二维图像输入图像检测模型得到第二检测结果；
第三检测单元，用于将所述三维图像信息输入到三维图像检测模型得到第三检测结果；
提示单元，用于当所述第一检测结果、第二检测结果和第三检测结果的至少之一表示为所述待测对象存在缺陷时，产生缺陷提示信息。
9.一种产品缺陷检测系统，其特征在于，包括：
存储器，用于存储程序；
处理器，用于加载所述程序以执行如权利要求1-6任一项所述的产品缺陷检测方法。
10.一种存储介质，其特征在于，其存储有程序，所述程序被处理器执行时实现如权利要求1-6任一项所述的产品缺陷检测方法。
CN202210418412.1A 2022-04-20 2022-04-20 产品缺陷检测方法、系统和存储介质 Pending CN114998194A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210418412.1A CN114998194A (zh) 2022-04-20 2022-04-20 产品缺陷检测方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210418412.1A CN114998194A (zh) 2022-04-20 2022-04-20 产品缺陷检测方法、系统和存储介质

Publications (1)

Publication Number Publication Date
CN114998194A true CN114998194A (zh) 2022-09-02

Family

ID=83024659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210418412.1A Pending CN114998194A (zh) 2022-04-20 2022-04-20 产品缺陷检测方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN114998194A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116539619A (zh) * 2023-04-19 2023-08-04 广州里工实业有限公司 产品缺陷检测方法、系统、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116539619A (zh) * 2023-04-19 2023-08-04 广州里工实业有限公司 产品缺陷检测方法、系统、装置及存储介质
CN116539619B (zh) * 2023-04-19 2024-05-10 广州里工实业有限公司 产品缺陷检测方法、系统、装置及存储介质

Similar Documents

Publication Publication Date Title
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN109871895B (zh) 电路板的缺陷检测方法和装置
EP3904866A1 (en) Defect inspecting device, defect inspecting method, and program for same
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN110569864A (zh) 基于gan网络的车损图像生成方法和装置
CN108982522B (zh) 用于检测管道缺陷的方法和装置
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN111539456B (zh) 一种目标识别方法及设备
CN111758117A (zh) 检查系统、识别系统以及学习数据生成装置
CN114998194A (zh) 产品缺陷检测方法、系统和存储介质
CN113554645B (zh) 基于wgan的工业异常检测方法和装置
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
KR20170010753A (ko) 부호의 광학적 검출 방법
CN114240928B (zh) 板卡质量的分区检测方法、装置、设备及可读存储介质
CN110751623A (zh) 基于联合特征的缺陷检测方法、装置、设备及存储介质
CN114782822A (zh) 电力设备的状态检测方法、装置、电子设备及存储介质
CN113326749B (zh) 目标检测方法、装置以及存储介质、电子设备
CN115457391A (zh) 一种管道的漏磁内检测方法、系统及相关组件
CN111553418B (zh) 神经元重建错误的检测方法、装置和计算机设备
CN115050016B (zh) 车牌检测方法、装置、设备终端和可读存储介质
CN116486178B (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN117474915B (zh) 一种异常检测方法、电子设备及存储介质
CN116563770B (zh) 车辆颜色的检测方法、装置及设备和介质
CN113989200A (zh) 样本干扰识别装置、方法、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication