CN110415214A - 摄像头模组的外观检测方法、装置、电子设备及存储介质 - Google Patents

摄像头模组的外观检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110415214A
CN110415214A CN201910562851.8A CN201910562851A CN110415214A CN 110415214 A CN110415214 A CN 110415214A CN 201910562851 A CN201910562851 A CN 201910562851A CN 110415214 A CN110415214 A CN 110415214A
Authority
CN
China
Prior art keywords
defect
component
type
camera module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910562851.8A
Other languages
English (en)
Inventor
吴拥
谢箭
焦松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201910562851.8A priority Critical patent/CN110415214A/zh
Publication of CN110415214A publication Critical patent/CN110415214A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提供了一种摄像头模组的外观检测方法、装置、电子设备及存储介质，该方法包括：对待检测摄像头模组的外观图像进行目标检测，以分离出待检测摄像头模组中各个部件对应的部件图像；针对每个部件，根据所述部件对应的缺陷分割模型，对部件图像进行缺陷分割，得到缺陷分割结果图像，所述缺陷分割模型为深度学习模型；对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型；根据所述缺陷类型和所述缺陷分割结果图像，确定所述部件的缺陷检测结果。本发明实现了对摄像头模组外观的自动检测，而且由基于深度学习的缺陷分割模型对部件图像进行缺陷分割，对外观图像的颜色、光照、形态、对比度不敏感，提高了摄像头模组外观检测的准确性。

Description

摄像头模组的外观检测方法、装置、电子设备及存储介质
技术领域
本发明涉及图像检测技术领域，特别是涉及一种摄像头模组的外观检测方法、装置、电子设备及存储介质。
背景技术
在摄像头模组生产过程中，外观检测是一个非常重要的环节。在现有的生产线上，主要是由人工进行检测，人工检测存在着效率低下、成本较高、容易出错的问题。
为了解决人工检测所存在的问题，可以采用传统的机器视觉算法对摄像头模组进行缺陷检测，这类方法主要采用颜色、纹理、形状等特征来判断是否存在缺陷，对颜色、光照、形态、对比度等因素比较敏感，导致检测的准确性较低。
发明内容
鉴于上述问题，提出了本发明实施例以便提供克服上述问题或者至少部分地解决上述问题的一种摄像头模组的外观检测方法、装置、电子设备及存储介质。
依据本发明实施例的第一方面，提供了一种摄像头模组的外观检测方法，包括：
对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像；
针对每个部件，根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，所述缺陷分割模型为深度学习模型；
对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型；
根据所述缺陷类型和所述缺陷分割结果图像，确定所述部件的缺陷检测结果。
可选的，所述根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，包括：
将所述部件图像输入所述缺陷分割模型，得到所述部件图像中每个像素点属于缺陷区域的置信度；
根据所述每个像素点属于缺陷区域的置信度，确定每个像素点的像素点类型，所述像素点类型包括缺陷或背景；
根据所述每个像素点的像素点类型，确定包括缺陷区域的缺陷分割结果图像。
可选的，所述根据所述缺陷类型和所述缺陷分割结果图像，确定所述部件的缺陷检测结果，包括：
根据所述缺陷类型，获取与所述缺陷类型对应的缺陷判断特征和缺陷判断规则；
计算所述缺陷分割结果图像对应的缺陷判断特征的值；
根据所述缺陷判断规则和所述缺陷判断特征的值，确定所述部件的缺陷检测结果。
可选的，在根据所述缺陷类型，获取与所述缺陷类型对应的缺陷判断特征和缺陷判断规则之前，还包括：
针对所述缺陷类型，接收用户设置的缺陷判断特征和缺陷判断规则，并将所述缺陷判断特征和所述缺陷判断规则与所述缺陷类型对应保存到数据库中。
可选的，所述对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像，包括：
将所述待检测摄像头模组的外观图像输入目标检测模型，得到所述待检测摄像头模组中各个部件对应的部件图像，所述目标检测模型为深度学习模型，由标记了各个部件的摄像头模组的外观图像样本集训练得到。
可选的，所述对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型，包括：
获取与所述部件对应的缺陷分类模型，并将所述缺陷分割结果图像输入所述缺陷分类模型，得到所述部件对应的缺陷类型，所述缺陷分类模型为深度学习模型，由标记了各种缺陷类型的与所述部件对应的部件图像样本集训练得到。
依据本发明实施例的第二方面，提供了一种摄像头模组的外观检测装置，包括：
部件定位模块，用于对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像；
缺陷分割模块，用于针对每个部件，根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，所述缺陷分割模型为深度学习模型；
缺陷分类模块，用于对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型；
缺陷判定模块，用于根据所述缺陷类型和所述缺陷分割结果图像，确定所述部件的缺陷检测结果。
可选的，所述缺陷分割模块包括：
像素点置信度确定单元，用于将所述部件图像输入所述缺陷分割模型，得到所述部件图像中每个像素点属于缺陷区域的置信度；
像素点类型确定单元，用于根据所述每个像素点属于缺陷区域的置信度，确定每个像素点的像素点类型，所述像素点类型包括缺陷或背景；
缺陷分割单元，用于根据所述每个像素点的像素点类型，确定包括缺陷区域的缺陷分割结果图像。
可选的，所述缺陷判定模块包括：
获取单元，用于根据所述缺陷类型，获取与所述缺陷类型对应的缺陷判断特征和缺陷判断规则；
计算单元，用于计算所述缺陷分割结果图像对应的缺陷判断特征的值；
缺陷判定单元，用于根据所述缺陷判断规则和所述缺陷判断特征的值，确定所述部件的缺陷检测结果。
可选的，所述装置还包括：
缺陷判断设置模块，用于在根据所述缺陷类型，获取与所述缺陷类型对应的缺陷判断特征和缺陷判断规则之前，针对所述缺陷类型，接收用户设置的缺陷判断特征和缺陷判断规则，并将所述缺陷判断特征和所述缺陷判断规则与所述缺陷类型对应保存到数据库中。
可选的，所述部件定位模块具体用于：
将所述待检测摄像头模组的外观图像输入目标检测模型，得到所述待检测摄像头模组中各个部件对应的部件图像，所述目标检测模型为深度学习模型，由标记了各个部件的摄像头模组的外观图像样本集训练得到。
可选的，所述缺陷分类模块具体用于：
获取与所述部件对应的缺陷分类模型，并将所述缺陷分割结果图像输入所述缺陷分类模型，得到所述部件对应的缺陷类型，所述缺陷分类模型为深度学习模型，由标记了各种缺陷类型的与所述部件对应的部件图像训练得到。
依据本发明实施例的第三方面，提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面中所述的摄像头模组的外观检测方法。
依据本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的摄像头模组的外观检测方法。
本发明实施例提供的摄像头模组的外观检测方法、装置、电子设备及存储介质，通过对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像，针对每个部件，根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型，根据所述缺陷类型和所述缺陷分割结果图像，确定所述部件的缺陷检测结果，实现了对摄像头模组外观的自动检测，而且由基于深度学习的缺陷分割模型对部件图像进行缺陷分割，对外观图像的颜色、光照、形态、对比度不敏感，对于外观图像的颜色、光照、形态、对比度在一定范围内的变化，均能得到较为准确的检测结果，提高了摄像头模组外观检测的准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1是本发明实施例提供的一种摄像头模组的外观检测方法的步骤流程图；
图2是本发明实施例中的对待检测摄像头模组的外观图像进行目标检测的示例图；
图3是本发明实施例中的对部件图像进行缺陷分割的示例图；
图4是本发明实施例提供的一种摄像头模组的外观检测方法的步骤流程图；
图5是本发明实施例中的确定缺陷区域的最小外接矩形的示例图；
图6是本发明实施例提供的一种摄像头模组的外观检测装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种摄像头模组的外观检测方法的步骤流程图，如图1所示，该方法可以包括：
步骤101，对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像。
其中，所述部件包括镜头、FPC(Flexible Printed Circuit，柔性电路板)、连接器、底座或补强板。
在对摄像头模组进行外观检测时，获取待检测摄像头模组的外观图像，对所述外观图像进行目标检测，以识别所述外观图像中的各个部件，并分离各个部件，得到各个部件对应的部件图像。如图2所示，对待检测摄像头模组的外观图像1进行目标检测，得到通光孔2、镜头3、FPC 4、补强板5的位置，并根据通光孔2、镜头3、FPC 4、补强板5的位置分别分离出通光孔2、镜头3、FPC 4、补强板5，得到通光孔2、镜头3、FPC 4、补强板5的部件图像。
在本申请的一些实施例中，所述对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像，包括：
将所述待检测摄像头模组的外观图像输入目标检测模型，得到所述待检测摄像头模组中各个部件对应的部件图像，所述目标检测模型为深度学习模型，由标记了各个部件的摄像头模组的外观图像样本集训练得到。
由基于神经网络的目标检测模型对待检测摄像头模组的外观图像进行目标检测，得到所述待检测摄像头模组中各个部件在所述外观图像中的位置，根据所述位置从所述外观图像中分别截取包括每个部件的图像，得到待检测摄像头模组中各个部件分别对应的部件图像。由于目标检测模型由大量的标记了各个部件的摄像头模组的外观图像样本集训练得到，所以由目标检测模型对待检测摄像头模组进行目标检测，得到的各个部件的位置较为准确，从而可以进一步提高后续缺陷检测的准确性。其中，所述目标检测模型可以由Faster R-CNN、R-FCN或SSD等网络模型实现。
步骤102，针对每个部件，根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，所述缺陷分割模型为深度学习模型。
其中，所述缺陷分割模型为深度学习模型，是基于神经网络的模型，由大量标记了缺陷区域的部件图像训练而成。
针对每个部件，获取该部件对应的缺陷分割模型，将该部件对应的部件图像输入所述缺陷分割模型，由缺陷分割模型对所述部件图像进行缺陷分割，得到包括缺陷区域的缺陷分割结果图像或者没有缺陷区域的检测结果。如图3所示，将部件底座输入底座对应的缺陷分割模型，由缺陷分割模型对部件图像进行缺陷分割，得到缺陷区域6的位置，根据缺陷区域6的位置得到包括缺陷区域6的缺陷分割结果图像。
在本申请的一些实施例中，所述根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，包括：
将所述部件图像输入所述缺陷分割模型，得到所述部件图像中每个像素点属于缺陷区域的置信度；
根据所述每个像素点属于缺陷区域的置信度，确定每个像素点的像素点类型，所述像素点类型包括缺陷或背景；
根据所述每个像素点的像素点类型，确定包括缺陷区域的缺陷分割结果图像。
在确定一个部件对应的缺陷分割模型后，将该部件的部件图像输入所述缺陷分割模型，由缺陷分割模型对所述部件图像中的每个像素点进行缺陷检测，得到所述部件图像中每个像素点属于缺陷区域的置信度。若一个像素点属于缺陷区域的置信度大于或等于预设阈值，则确定该像素点的像素点类型为缺陷，若一个像素点属于缺陷区域的置信度小于预设阈值，则确定该像素点的像素点类型为背景，即该像素点不属于缺陷区域。在确定了部件图像中每个像素点的像素点类型后，由于一个缺陷区域会包括相邻的多个像素点，因此，根据每个像素点的像素点类型，可以确定属于同一缺陷区域的多个像素点，可以将包括同一缺陷区域的图像作为缺陷分割结果图像，并从所述部件图像中分割出来。其中，包括同一缺陷区域的图像可以是该缺陷区域的最小外接矩形图像，也可以是与所述外观图像相同方向上的矩形图像，只要完全包括所述缺陷区域即可。
步骤103，对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型。
其中，FPC对应的缺陷类型包括：FPC破损、FPC划伤、FPC压伤、FPC起泡或FPC粘胶等。补强板对应的缺陷类型包括补强板裂纹或补强板露铜等。底座对应的缺陷类型包括底座划伤、底座压伤或底座露铜等。
在本申请的一些实施例中，所述对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型，包括：
获取与所述部件对应的缺陷分类模型，并将所述缺陷分割结果图像输入所述缺陷分类模型，得到所述部件对应的缺陷类型，所述缺陷分类模型为深度学习模型，由标记了各种缺陷类型的与所述部件对应的部件图像样本集训练得到。
针对一个部件，基于神经网络，建立一个对应的缺陷分类模型，并由标记了该部件对应的各种缺陷类型的部件图像样本集进行训练得到。在确定一个部件的缺陷类型时，获取与该部件对应的缺陷分类模型，并将所述缺陷分割结果图像输入所述缺陷分类模型，得到所述缺陷分割结果图像属于各个缺陷类型的概率，将概率最大的缺陷类型确定为所述部件对应的缺陷类型。通过缺陷分类模型对缺陷分割结果图像进行分类，分类结果较为准确，从而可以进一步提高缺陷检测的准确性。
步骤104，根据所述缺陷类型和所述缺陷分割结果图像，确定所述部件的缺陷检测结果。
在检测得到部件对应的缺陷分割结果图像后，若缺陷区域较小也可以认为该部件不存在缺陷，因此，针对每种缺陷类型，可以预先设置对应的缺陷判断规则，在确定一个部件的缺陷类型后，根据所述缺陷类型对应的缺陷判断规则来对缺陷分割结果图像进行判断，得到每个部件的缺陷检测结果，即得到每个部件是否存在缺陷。
本实施例提供的摄像头模组的外观检测方法，通过对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像，针对每个部件，根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型，根据所述缺陷类型和所述缺陷分割结果图像，确定所述部件的缺陷检测结果，实现了对摄像头模组外观的自动检测，而且由基于深度学习的缺陷分割模型对部件图像进行缺陷分割，对外观图像的颜色、光照、形态、对比度不敏感，对于外观图像的颜色、光照、形态、对比度在一定范围内的变化，均能得到较为准确的检测结果，提高了摄像头模组外观检测的准确性。
图4是本发明实施例提供的一种摄像头模组的外观检测方法的步骤流程图，如图4所示，该方法可以包括：
步骤201，对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像。
本步骤的具体内容与上述实施例中的步骤101的具体内容相同，这里不再赘述。
步骤202，针对每个部件，根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，所述缺陷分割模型为深度学习模型。
本步骤的具体内容与上述实施例中的步骤102的具体内容相同，这里不再赘述。
步骤203，对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型。
本步骤的具体内容与上述实施例中的步骤103的具体内容相同，这里不再赘述。
步骤204，根据所述缺陷类型，获取与所述缺陷类型对应的缺陷判断特征和缺陷判断规则。
针对每种缺陷类型，可以将用户预先设置的一种缺陷类型对应的缺陷判断规则和缺陷判断特征保存到数据库中。在得到摄像头模组中的一个部件的缺陷分割结果图像和缺陷类型后，从数据库中获取确定的缺陷类型对应的缺陷判断特征和缺陷判断规则。
步骤205，计算所述缺陷分割结果图像对应的缺陷判断特征的值。
根据所述缺陷判断特征，计算所述缺陷分割结果图像对应的缺陷判断特征的值。
步骤206，根据所述缺陷判断规则和所述缺陷判断特征的值，确定所述部件的缺陷检测结果。
若所述缺陷判断特征的值满足所述缺陷判断规则，则确定所述部件的缺陷检测结果为存在缺陷；若所述缺陷判断特征的值不满足所述缺陷判断规则，则确定所述部件的缺陷检测结果为不存在缺陷。缺陷判断规则可以是某个缺陷判断特征大于或等于设定阈值时认为真正有缺陷。缺陷判断特征可以包括长度、宽度、面积、矩形度或直径等特征。
例如，针对缺陷类型为FPC粘胶，缺陷判断规则为矩形度小于第一阈值或长宽比小于第二阈值时，确定存在的缺陷为FPC粘胶中的毛丝，此时，缺陷判断特征包括缺陷面积、最小外接矩形面积、最小外接矩形宽和最小外接矩形长，根据如下公式计算矩形度和长宽比：
矩形度＝缺陷面积/最小外接矩形面积
长宽比＝最小外接矩形宽/最小外接矩形长
因此，需要对缺陷分割结果图像求取缺陷区域的最小外接矩形，根据得到的最小外接矩形确定最小外接矩形宽和最小外接矩形长，从而根据最小外接矩形宽和最小外接矩形长计算得到最小外接矩形面积，根据属于缺陷区域的像素点，计算缺陷区域的缺陷面积，从而根据上述两个公式计算得到矩形度和长宽比，再根据缺陷判断规则即可确定缺陷检测结果。如图5所示，对缺陷分割结果图像求取缺陷区域的最小外接矩形7，根据得到的最小外接矩形，计算矩形度和长度比，若矩形度小于第一阈值或长宽比小于第二阈值，确定存在的缺陷为FPC粘胶中的毛丝。
本实施例提供的摄像头模组的外观检测方法，在上述实施例的基础上，可以根据缺陷类型，动态获取所述缺陷类型对应的缺陷判断特征和缺陷判断规则，计算所述缺陷分割结果图像对应的缺陷判断特征的值，根据所述缺陷判断规则和所述缺陷判断特征的值，确定所述部件的缺陷检测结果，从而根据缺陷判断规则可以较为准确的判断是否为缺陷，进一步提高了缺陷检测的准确性。
在上述实施例的基础上，在根据所述缺陷类型，获取与所述缺陷类型对应的缺陷判断特征和缺陷判断规则之前，还包括：
针对所述缺陷类型，接收用户设置的缺陷判断特征和缺陷判断规则，并将所述缺陷判断特征和所述缺陷判断规则与所述缺陷类型对应保存到数据库中。
针对每种缺陷类型，用户都可以自行设置对应的缺陷判断规则和缺陷判断特征，从而在具体判断时可以根据用户的需求进行判断，可以满足用户不同的需求，提升了缺陷检测判断的灵活性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图6是本发明实施例提供的一种摄像头模组的外观检测装置的结构框图，如图6所示，该摄像头模组的外观检测检测装置可以包括：
部件定位模块301，用于对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像；
缺陷分割模块302，用于针对每个部件，根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，所述缺陷分割模型为深度学习模型；
缺陷分类模块303，用于对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型；
缺陷判定模块304，用于根据所述缺陷类型和所述缺陷分割结果图像，确定所述部件的缺陷检测结果。
可选的，所述缺陷分割模块包括：
像素点置信度确定单元，用于将所述部件图像输入所述缺陷分割模型，得到所述部件图像中每个像素点属于缺陷区域的置信度；
像素点类型确定单元，用于根据所述每个像素点属于缺陷区域的置信度，确定每个像素点的像素点类型，所述像素点类型包括缺陷或背景；
缺陷分割单元，用于根据所述每个像素点的像素点类型，确定包括缺陷区域的缺陷分割结果图像。
可选的，所述缺陷判定模块包括：
获取单元，用于根据所述缺陷类型，获取与所述缺陷类型对应的缺陷判断特征和缺陷判断规则；
计算单元，用于计算所述缺陷分割结果图像对应的缺陷判断特征的值；
缺陷判定单元，用于根据所述缺陷判断规则和所述缺陷判断特征的值，确定所述部件的缺陷检测结果。
可选的，所述装置还包括：
缺陷判断设置模块，用于在根据所述缺陷类型，获取与所述缺陷类型对应的缺陷判断特征和缺陷判断规则之前，针对所述缺陷类型，接收用户设置的缺陷判断特征和缺陷判断规则，并将所述缺陷判断特征和所述缺陷判断规则与所述缺陷类型对应保存到数据库中。
可选的，所述部件定位模块具体用于：
将所述待检测摄像头模组的外观图像输入目标检测模型，得到所述待检测摄像头模组中各个部件对应的部件图像，所述目标检测模型为深度学习模型，由标记了各个部件的摄像头模组的外观图像样本集训练得到。
可选的，所述缺陷分类模块具体用于：
获取与所述部件对应的缺陷分类模型，并将所述缺陷分割结果图像输入所述缺陷分类模型，得到所述部件对应的缺陷类型，所述缺陷分类模型为深度学习模型，由标记了各种缺陷类型的与所述部件对应的部件图像样本集训练得到。
本实施例提供的摄像头模组的外观检测装置，通过部件定位模块对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像，缺陷分割模块针对每个部件，根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，缺陷分类模块对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型，缺陷判定模块根据所述缺陷类型和所述缺陷分割结果图像，确定所述部件的缺陷检测结果，实现了对摄像头模组外观的自动检测，而且由基于深度学习的缺陷分割模型对部件图像进行缺陷分割，对外观图像的颜色、光照、形态、对比度不敏感，对于外观图像的颜色、光照、形态、对比度在一定范围内的变化，均能得到较为准确的检测结果，提高了摄像头模组外观检测的准确性。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
进一步地，根据本发明的一个实施例，提供了一种电子设备，所述电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现前述实施例的摄像头模组的外观检测方法。
根据本发明的一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施例的摄像头模组的外观检测方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种摄像头模组的外观检测方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种摄像头模组的外观检测方法，其特征在于，包括：
对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像；
针对每个部件，根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，所述缺陷分割模型为深度学习模型；
对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型；
根据所述缺陷类型和所述缺陷分割结果图像，确定所述部件的缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，包括：
将所述部件图像输入所述缺陷分割模型，得到所述部件图像中每个像素点属于缺陷区域的置信度；
根据所述每个像素点属于缺陷区域的置信度，确定每个像素点的像素点类型，所述像素点类型包括缺陷或背景；
根据所述每个像素点的像素点类型，确定包括缺陷区域的缺陷分割结果图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述缺陷类型和所述缺陷分割结果图像，确定所述部件的缺陷检测结果，包括：
根据所述缺陷类型，获取与所述缺陷类型对应的缺陷判断特征和缺陷判断规则；
计算所述缺陷分割结果图像对应的缺陷判断特征的值；
根据所述缺陷判断规则和所述缺陷判断特征的值，确定所述部件的缺陷检测结果。
4.根据权利要求3所述的方法，其特征在于，在根据所述缺陷类型，获取与所述缺陷类型对应的缺陷判断特征和缺陷判断规则之前，还包括：
针对所述缺陷类型，接收用户设置的缺陷判断特征和缺陷判断规则，并将所述缺陷判断特征和所述缺陷判断规则与所述缺陷类型对应保存到数据库中。
5.根据权利要求1所述的方法，其特征在于，所述对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像，包括：
将所述待检测摄像头模组的外观图像输入目标检测模型，得到所述待检测摄像头模组中各个部件对应的部件图像，所述目标检测模型为深度学习模型，由标记了各个部件的摄像头模组的外观图像样本集训练得到。
6.根据权利要求1所述的方法，其特征在于，所述对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型，包括：
获取与所述部件对应的缺陷分类模型，并将所述缺陷分割结果图像输入所述缺陷分类模型，得到所述部件对应的缺陷类型，所述缺陷分类模型为深度学习模型，由标记了各种缺陷类型的与所述部件对应的部件图像样本集训练得到。
7.一种摄像头模组的外观检测装置，其特征在于，包括：
部件定位模块，用于对待检测摄像头模组的外观图像进行目标检测，以分离出所述待检测摄像头模组中各个部件对应的部件图像；
缺陷分割模块，用于针对每个部件，根据所述部件对应的缺陷分割模型，对所述部件图像进行缺陷分割，得到缺陷分割结果图像，所述缺陷分割模型为深度学习模型；
缺陷分类模块，用于对所述缺陷分割结果图像进行分类，得到所述部件对应的缺陷类型；
缺陷判定模块，用于根据所述缺陷类型和所述缺陷分割结果图像，确定所述部件的缺陷检测结果。
8.根据权利要求7所述的装置，其特征在于，所述缺陷分割模块包括：
像素点置信度确定单元，用于将所述部件图像输入所述缺陷分割模型，得到所述部件图像中每个像素点属于缺陷区域的置信度；
像素点类型确定单元，用于根据所述每个像素点属于缺陷区域的置信度，确定每个像素点的像素点类型，所述像素点类型包括缺陷或背景；
缺陷分割单元，用于根据所述每个像素点的像素点类型，确定包括缺陷区域的缺陷分割结果图像。
9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-6任一项所述的摄像头模组的外观检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的摄像头模组的外观检测方法。
CN201910562851.8A 2019-06-26 2019-06-26 摄像头模组的外观检测方法、装置、电子设备及存储介质 Pending CN110415214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910562851.8A CN110415214A (zh) 2019-06-26 2019-06-26 摄像头模组的外观检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910562851.8A CN110415214A (zh) 2019-06-26 2019-06-26 摄像头模组的外观检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110415214A true CN110415214A (zh) 2019-11-05

Family

ID=68359887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910562851.8A Pending CN110415214A (zh) 2019-06-26 2019-06-26 摄像头模组的外观检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110415214A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127571A (zh) * 2019-12-03 2020-05-08 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN112528860A (zh) * 2020-12-11 2021-03-19 浙江华电器材检测研究所有限公司 基于图像识别的安全工器具管理方法及系统
CN112686852A (zh) * 2020-12-25 2021-04-20 浙江伟星实业发展股份有限公司 一种产品缺陷识别方法、装置、设备及存储介质
CN113824951A (zh) * 2021-09-20 2021-12-21 苏州凯仕弘科技有限公司 一种摄像头模组视觉检测系统
CN114047123A (zh) * 2021-10-09 2022-02-15 江苏芯亿达电子科技有限公司 一种用于集成板生产缺陷检测方法及检测系统
CN116609344A (zh) * 2023-07-17 2023-08-18 苏州思谋智能科技有限公司 摄像头排插的缺陷检测方法、装置、设备及存储介质
CN116773152A (zh) * 2023-08-25 2023-09-19 成都中嘉微视科技有限公司 一种镜头性能的检测方法、装置、电子设备及存储介质
WO2024045963A1 (zh) * 2022-08-29 2024-03-07 歌尔股份有限公司 外观缺陷的检测方法、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392890A (zh) * 2017-06-20 2017-11-24 华南理工大学 一种fpc铜线表面氧化缺陷检测方法及其检测系统
CN108961238A (zh) * 2018-07-02 2018-12-07 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN109239102A (zh) * 2018-08-21 2019-01-18 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
CN109406527A (zh) * 2018-09-06 2019-03-01 华南理工大学 一种微型摄像模组镜头精细外观缺陷检测系统及方法
CN109886950A (zh) * 2019-02-22 2019-06-14 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392890A (zh) * 2017-06-20 2017-11-24 华南理工大学 一种fpc铜线表面氧化缺陷检测方法及其检测系统
CN108961238A (zh) * 2018-07-02 2018-12-07 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
CN109239102A (zh) * 2018-08-21 2019-01-18 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
CN109406527A (zh) * 2018-09-06 2019-03-01 华南理工大学 一种微型摄像模组镜头精细外观缺陷检测系统及方法
CN109886950A (zh) * 2019-02-22 2019-06-14 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHIA-FENG CHANG ET AL.: "A hybrid defect detection method for compact camera lens", 《ADVANCES IN MECHANICAL ENGINEERING》 *
HUI HAN ET AL.: "Polycrystalline silicon wafer defect segmentation based on deep convolutional neural networks", 《HTTPS://WWW.SCIENCEDIRECT.COM/SCIENCE/ARTICLE/PII/S0167865518309243》 *
梁雄: "基于机器视觉的摄像头模组缺陷检测系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
汤爱涛等: "《计算机在材料工程中的应用》", 30 June 2008, 重庆大学出版社 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836967B2 (en) 2019-12-03 2023-12-05 Goertek, Inc. Method and device for small sample defect classification and computing equipment
CN111127571A (zh) * 2019-12-03 2020-05-08 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN111127571B (zh) * 2019-12-03 2023-12-29 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN112528860A (zh) * 2020-12-11 2021-03-19 浙江华电器材检测研究所有限公司 基于图像识别的安全工器具管理方法及系统
CN112686852A (zh) * 2020-12-25 2021-04-20 浙江伟星实业发展股份有限公司 一种产品缺陷识别方法、装置、设备及存储介质
CN113824951A (zh) * 2021-09-20 2021-12-21 苏州凯仕弘科技有限公司 一种摄像头模组视觉检测系统
CN114047123A (zh) * 2021-10-09 2022-02-15 江苏芯亿达电子科技有限公司 一种用于集成板生产缺陷检测方法及检测系统
CN114047123B (zh) * 2021-10-09 2024-04-09 无锡芯羿达微电子有限公司 一种用于集成板生产缺陷检测方法及检测系统
WO2024045963A1 (zh) * 2022-08-29 2024-03-07 歌尔股份有限公司 外观缺陷的检测方法、电子设备和存储介质
CN116609344B (zh) * 2023-07-17 2023-11-03 苏州思谋智能科技有限公司 摄像头排插的缺陷检测方法、装置、设备及存储介质
CN116609344A (zh) * 2023-07-17 2023-08-18 苏州思谋智能科技有限公司 摄像头排插的缺陷检测方法、装置、设备及存储介质
CN116773152A (zh) * 2023-08-25 2023-09-19 成都中嘉微视科技有限公司 一种镜头性能的检测方法、装置、电子设备及存储介质
CN116773152B (zh) * 2023-08-25 2023-11-03 成都中嘉微视科技有限公司 一种镜头性能的检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110415214A (zh) 摄像头模组的外观检测方法、装置、电子设备及存储介质
US10885618B2 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
TWI525317B (zh) 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
CN111311542A (zh) 一种产品质量检测方法及装置
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN105574550A (zh) 一种车辆识别方法及装置
CN109946303A (zh) 检查装置和方法
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
JP2017054239A (ja) 画像分類装置および画像分類方法
US11423531B2 (en) Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof
CN111712769A (zh) 用于设定照明条件的方法、装置、系统及程序以及存储介质
TWI761806B (zh) 影像辨識裝置、影像辨識方法及其電腦程式產品
US11521015B2 (en) Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN107886131A (zh) 一种基于卷积神经网络检测电路板元器件极性方法和装置
CN116385430A (zh) 一种机器视觉瑕疵检测方法、装置、介质及设备
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
US20210027099A1 (en) Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof
CN116071365A (zh) 零件检测方法、装置、设备及存储介质
CN113267506A (zh) 木板ai视觉缺陷检测装置、方法、设备及介质
CN114219758A (zh) 缺陷检测方法、系统、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105