CN111563869B

CN111563869B - 用于摄像模组质检的污点测试方法

Info

Publication number: CN111563869B
Application number: CN201910073962.2A
Authority: CN
Inventors: 周广福; 黄宇; 吴高德; 廖海龙
Original assignee: Ningbo Sunny Opotech Co Ltd
Current assignee: Ningbo Sunny Opotech Co Ltd
Priority date: 2019-01-25
Filing date: 2019-01-25
Publication date: 2023-07-21
Anticipated expiration: 2039-01-25
Also published as: CN111563869A

Abstract

本申请提供了一种用于摄像模组质检的污点测试方法，包括：对测试图像进行图像增强处理；对增强后的测试图像进行包括亮度归一化的图像预处理；基于污点检测模型，对预处理后的测试图像进行目标识别，获得包含潜在目标的定位框；其中所述污点检测模型是基于深度学习技术的人工智能模型；以及将所获得的所述定位框作为感兴趣区域返回所拍摄的原测试图像中，计算所述感兴趣区域与污点区域的平均亮度的亮度差，以及污点区域的面积，根据所述亮度差和所述面积确定所述定位框中是否存在污点。本申请可以使摄像模组产线上的污点测试的稳定性、可操作性和效率方面都得到了很好的提升；可以有效地降低摄像模组污点检测的漏检率和误判率。

Description

用于摄像模组质检的污点测试方法

技术领域

本申请涉及摄像模组质检技术和计算机视觉技术，具体地说，本申请涉及用于摄像模组质检的污点测试技术。

背景技术

摄像模组又称为摄像头模组，当前，摄像模组已成为智能手机等消费电子终端产品中必不可少的内置部件。手机市场的发展趋势要求摄像模组具有大像素、大光圈和小型化等诸多特性，这给摄像模组的组装和质检都带来了难题。本申请主要涉及的是摄像模组的质检。

污点检测是摄像模组质检过程中尤其重要的一环。摄像模组属于高精密度的光学器件，通常需要在洁净度极高的无尘环境中进行组装。然而任何无尘环境都是相对的，且组装过程中可能需要使用胶材或其它添加物，如操作不当有可能意外出现碎屑或杂质。这些碎屑或杂质如果附着在感光芯片上或镜头内部的透镜上，会导致该摄像模组所拍摄图像中出现始终存在的污点，导致严重的质量问题。因此，每一个摄像模组都必须在出厂前对进行污点检测，以确保无存在污点问题的瑕疵产品流入市场。

现有技术中，污点检测算法(为便于描述，本文中有时将其称为传统污点检测算法)是基于污点的亮度和面积阈值来判断图像中是否存在污点以及确定污点位置。具体来说，先将图像划分为多个块(例如20*20像素的块)，对于每个块，计算其平均亮度值；然后对当前块中的每个像素，计算该像素与当前块的平均亮度值之差；再将这个差与预设的污点亮度阈值进行比较，从而判断当前像素是否属于污点(这里属于污点的含义是该像素被污点所覆盖，是污点的一部分)；所有块的所有像素都判断完毕，则可以获得含有污点信息的二值图像，进而获得污点位置，并且根据属于污点的连续的像素的个数还可以计算出污点的面积。在传统污点检测算法中，有时还会比较所计算出的污点面积与预设的污点面积阈值，只有所计算出的污点面积超过预设的污点面积阈值时，才最终判定该污点成立。

上述传统污点检测算法可以对传统的摄像模组进行自动化的污点检测。然而，随着摄像模组解像力的提升，图像的尺寸越来越大，传统的污点检测算法在效率上已经不能满足日益增长的出货量要求。另外，在检测图像污点时，传统的污点检测算法，容易受图像噪声、环境亮度等因素的影响，使得污点测试结果出现误判，不利于制造厂家在生产线上批量使用。

另一方面，近年来人工智能技术有了巨大的发展，它已被运用于人脸检测等诸多领域。然而目前尚无专门的对摄像模组污点检测这一特殊领域的人工智能模型及检测方案。

发明内容

本发明旨在提供一种能够克服现有技术的至少一个缺陷的解决方案。

根据本发明的一个方面，提供了一种用于摄像模组质检的污点测试方法，包括：获取待测摄像模组拍摄的测试图像，对所述测试图像进行图像增强处理；对增强后的测试图像进行图像预处理，其中所述预处理包括亮度归一化；基于污点检测模型，对预处理后的测试图像进行目标识别，获得包含潜在目标的定位框，其中所述污点检测模型是基于深度学习技术的人工智能模型，所述的潜在目标是由所述人工智能模型判断为属于污点类型的目标物；以及将所获得的所述定位框作为感兴趣区域返回所拍摄的原测试图像中，计算所述感兴趣区域的平均亮度与所述感兴趣区域内的污点区域的平均亮度的亮度差，计算所述感兴趣区域内的污点区域的面积，以及根据所述亮度差和所述面积确定所述定位框中是否存在污点。

其中，所述图像增强处理步骤包括：基于Retinex图像增强技术的图像处理。

其中，所述图像增强处理步骤包括：提取图像的亮度数据进行滤波处理以滤除噪声；基于图像增强技术去除图像中的背景以突出前景污点的特征；以及对图像进行线性拉伸。

其中，所述图像预处理步骤包括：平滑去噪处理和所述的亮度归一化。

其中，所述目标识别步骤中，所述的人工智能模型为fast-RCNN网络，利用标记了污点的人工标记数据集对所述的fast-RCNN网络进行训练获得所述污点检测模型。

其中，确定所述定位框中是否存在污点的步骤中，根据属于污点的像素个数或者属于污点的基本单元个数来表征所述感兴趣区域内的污点区域的面积。

其中，所述图像增强处理步骤还包括：对所拍摄的测试图像进行缩小以降低图像尺寸，然后再进行图像增强处理。

其中，所述污点测试方法还包括定位框合并步骤，所述定位框合并步骤为：对于同一图片，当目标识别后获得多个包含潜在目标的定位框时，根据所述的多个包含潜在目标的定位框的重叠区域的面积，判断是否将所述的多个包含潜在目标的定位框中的部分或全部定位框合并为一个定位框。

其中，所述污点测试方法还包括定位框合并步骤，所述定位框合并步骤为：对于同一图片，当目标识别后获得多个包含潜在目标的定位框时，根据所述的多个包含潜在目标的定位框的污点区域中心之间的距离，判断是否将所述的多个包含潜在目标的定位框中的部分或全部定位框合并为一个定位框。

其中，所述污点测试方法还包括定位框合并步骤，所述定位框合并步骤为：对于同一图片，当目标识别后获得多个包含潜在目标的定位框时，根据所述的多个包含潜在目标的定位框的重叠区域的面积，判断是否将所述的多个包含潜在目标的定位框中的部分或全部定位框合并为一个定位框；以及根据所述的多个包含潜在目标的定位框的污点区域中心之间的距离，判断是否将所述的多个包含潜在目标的定位框中的部分或全部定位框合并为一个定位框。

其中，所述定位框合并步骤在所述目标识别步骤之后、确定所述定位框中是否存在污点的步骤之前执行。

其中，所述定位框合并步骤在确定所述定位框中是否存在污点的步骤之后执行，其中合并后的定位框作为同一个污点输出。

根据本申请的另一方面，还提供了一种用于摄像模组质检的多线污点测试方法，包括：利用第一污点测试线程来检测第一类污点，其中所述第一污点测试线程采用前文中任一基于深度学习技术的污点测试方法实现；利用第二污点测试线程来检测第二类污点，其中所述第二类污点面积大于所述第一类污点，或者/并且所述第二类污点暗于所述第一类污点；以及根据第一污点测试线程输出的第一类污点和第二污点测试线程输出的第二类污点，得出最终的污点检测结果。

其中，所述的利用第一污点测试线程来检测第一类污点的步骤，和所述的利用第二污点测试线程来检测第二类污点的步骤同时执行。

与现有技术相比，本申请具有下列至少一个技术效果：

1、本申请可以使摄像模组产线上的污点测试的稳定性、可操作性和效率方面都得到了很好的提升。

2、本申请可以有效地降低摄像模组污点检测的漏检率和误判率。

3、本申请可以有效地提高污点检测的效率(例如更加快速地检测污点)。

4、本申请可以通过双线检测来进一步地提升污点检测的效率。

5、本申请可以通过双线检测来进一步地提升污点检测的准确率(例如降低漏检率和误判率)。

附图说明

在参考附图中示出示例性实施例。本文中公开的实施例和附图应被视作说明性的，而非限制性的。

图1示出了本申请的一个实施例的用于摄像模组质检的污点测试方法的流程图；

图2示出了本申请一个实施例中原始检测图像的示例；

图3示出了图2的原始检测图像进行增强后的示例；

图4示出了本申请一个实施例中的归一化后的测试图像的示例；

图5示出了本申请一个实施例中的基于污点检测模型获得的包含潜在目标的定位框；

图6示出了本申请一个实施例中的基于污点亮度差和面积对定位框中的物体进行分析后所保留的定位框；

图7示出了本申请一个实施例中的步骤S400完成后的输出结果；需注意，图7为软件输出的可视化检测结果的截图，该截图的本意是示意性地示出本申请的污点检测方法的污点检测模型所直接输出的定位框位置及框中的物体(本实施例中为污点)，为不破坏截图的完整性未对图中标注在定位框旁的数字进行清除，需注意，这些数字在本文中不起限定和解释作用；

图8示出了执行步骤S500的合并后的定位框；

图9示出了本申请一个实施例中的污点检测模型的进行目标识别和分类的方法；

图10示出了本申请的一个实施例中，的双线污点检测方法的流程示意图。

具体实施方式

为了更好地理解本申请，将参考附图对本申请的各个方面做出更详细的说明。应理解，这些详细说明只是对本申请的示例性实施方式的描述，而非以任何方式限制本申请的范围。在说明书全文中，相同的附图标号指代相同的元件。表述“和/或”包括相关联的所列项目中的一个或多个的任何和全部组合。

应注意，在本说明书中，第一、第二等的表述仅用于将一个特征与另一个特征区分开来，而不表示对特征的任何限制。因此，在不背离本申请的教导的情况下，下文中讨论的第一主体也可被称作第二主体。

在附图中，为了便于说明，已稍微夸大了物体的厚度、尺寸和形状。附图仅为示例而并非严格按比例绘制。

还应理解的是，用语“包括”、“包括有”、“具有”、“包含”和/或“包含有”，当在本说明书中使用时表示存在所陈述的特征、整体、步骤、操作、元件和/或部件，但不排除存在或附加有一个或多个其它特征、整体、步骤、操作、元件、部件和/或它们的组合。此外，当诸如“...中的至少一个”的表述出现在所列特征的列表之后时，修饰整个所列特征，而不是修饰列表中的单独元件。此外，当描述本申请的实施方式时，使用“可以”表示“本申请的一个或多个实施方式”。并且，用语“示例性的”旨在指代示例或举例说明。

如在本文中使用的，用语“基本上”、“大约”以及类似的用语用作表近似的用语，而不用作表程度的用语，并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。

除非另外限定，否则本文中使用的所有用语(包括技术用语和科学用语)均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是，用语(例如在常用词典中定义的用语)应被解释为具有与它们在相关技术的上下文中的含义一致的含义，并且将不被以理想化或过度正式意义解释，除非本文中明确如此限定。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请的一个实施例的用于摄像模组质检的污点测试方法的流程图。参考图1，本实施例中，污点测试方法包括步骤S100至步骤S400。下面分别描述这些步骤。

步骤S100，获取待测摄像模组拍摄的测试图像，对所述测试图像进行图像增强处理。本实施例中，所述图像增强处理步骤包括基于Retinex图像增强技术的图像处理。具体来说，所述图像增强处理步骤可以包括以下子步骤：提取图像的亮度数据(有时也称为图像的Y分量)进行滤波处理以滤除噪声；基于图像增强技术去除图像中的背景以突出前景污点的特征；以及对图像进行线性拉伸。

具体来说，在检测污点图像时，图像噪声等因素的影响可能导致污点测试结果出现误判。所以，在一个实施例中，首先对提取的图像亮度分量(图像亮度分量通常记为图像的Y分量)进行滤波处理，滤除噪声等对定位污点的影响。滤波处理可以用公式(1)代表。

filterImg＝filter(Y_Img) (1)

其中，filter()代表滤波函数，它可以理解为计算机中实现滤波功能的方法。Y_Img代表原图像的亮度Y分量。filterImg表示滤波后的图像。本实施例中选取圆形滤波函数。这是由于污点的形状特征大部分为圆形或接近圆形。

进一步地，由于产线环境和污点的成因不同，污点的深浅程度和种类不同，有深污点、浅污点、极浅污点、四角位置和中心位置等，而又因为污点特有的特征，并且受光源亮度的影响，在光源亮度较亮时，污点的特征更为明显，污点更能够从背景图像中显现出来。所以，在一个实施例中，采用一种改进的Retinex图像增强方法，将部分背景亮度去除，以突出前景污点的特征。将部分背景亮度去除的方法见公式(2)。

logImg＝log(Y_Img)–log(filterImg) (2)

其中，log()代表对数函数，它可以理解为计算机中实现图像增强功能的方法。本实施例中基于对数方法进行图像增强。logImg代表将部分背景亮度去除后的图像。

最后对将部分背景亮度去除的图像进行线性拉伸，保证图像像素值在0～255范围内。线性拉伸的方法可参考公式(3)。

其中pOutImg代表步骤S100完成后得到的图像，为便于描述，可以将其称为增强后的图像。增强的图像有助于快速准确的检测和定位污点。图2示出了本申请一个实施例中原始检测图像的示例。图3示出了图2的原始检测图像进行增强后的示例。参考图2和图3，左侧的原始图像中，光源亮度较低，污点几乎不显现，当对原始图像增强后，污点清楚的显示出来。

步骤S200，对增强后的测试图像(即步骤S100执行完毕后所获得的图像)进行图像预处理，其中所述预处理包括亮度归一化。在一个实施例中，还可以先对增强后的测试图像进行平滑去噪处理，然后再进行所述的亮度归一化。图4示出了本申请一个实施例中的归一化后的测试图像的示例。

在一个实施例中，基于污点检测模型对污点进行检测。其中所述污点检测模型是基于深度学习技术的人工智能模型。在制作深度学习训练样本时，由于不同的模组、机台和环境存在差异，采集的图像大小、亮度和噪声情况不一致，导致训练的模型在测试不同亮度图像时，准确性有所欠缺，所以本实施例对增强后的图像进行了平滑去噪和亮度归一化处理，使得进入深度学习网络的图片亮度相差不大，以提高模型的准确性。本实施例采用了有方向的亮度归一化算法，首先计算每行/列的平均值，然后以中心为亮度目标，计算每行/列的平均值与中心行/列的比值作为比例系数，最后对应行/列的像素值乘以相应行/列的比例系数，实现亮度的归一化。

步骤S300，基于污点检测模型，对预处理后(即归一化后)的测试图像进行目标识别，获得包含潜在目标的定位框；其中所述污点检测模型是基于深度学习技术的人工智能模型，所述的潜在目标是由所述人工智能模型判断为属于污点类型的目标物。本步骤中，所述的人工智能模型可以是fast-RCNN网络，利用标记了污点的人工标记数据集对所述的fast-RCNN网络进行训练获得所述污点检测模型。

在一个实施例中，将归一化后的图像送入FAST-RCNN网络进行学习获得污点检测模型，然后利用获得检测模型对测试图像进行检测，获取测试结果。如前文所述，在制作深度学习训练样本时，由于不同的模组、机台和环境存在差异，采集的图像大小、亮度和噪声情况不一致，导致训练的模型在测试不同亮度图像时，准确性有所欠缺，所以本实施例对增强后的图像进行了平滑去噪和亮度归一化处理，使得进入深度学习网络的图片亮度相差不大，以提高模型的准确性。

图5示出了本申请一个实施例中的基于污点检测模型获得的包含潜在目标的定位框。众所周知，FAST-RCNN网络模型具有目标检测(Object Detection，有时也可以译为物体检测)功能和分类(Classification)功能。其中通过目标检测功能可以定位目标位置。定位框通常为矩形框。将污点作为待检测的目标对FAST-RCNN网络模型进行训练，可以获得污点检测模型。将测试图像输入该污点检测模型，可以得到如图5所示的反馈结果。

进一步地，在一个实施例中，所述步骤S300中，污点检测模型可以自适应学习。即在检测过程中，可以把所检测的新的图像作为进一步训练FAST-RCNN网络模型的训练数据，从而进一步地优化污点检测模型，以提升检测的准确率。

进一步地，图9示出了本申请一个实施例中的污点检测模型的进行目标识别和分类的方法。参考图9，该方法包括：

S310，将图片输入污点检测模型。

S320，对所输入的图片进行RPN处理，获得感兴趣区域(即ROI)。RPN即区域候选网络(Region Proposal Network)。RPN处理可以是对输入图像进行多次卷积处理获得图像特征向量。在一个实施例中，RPN处理可以具体包括以下子步骤：S321)计算RPN卷积、S322)计算RPN类得分、S323)计算RPN重塑类得分、S324)计算RPN类概率、S325)计算RPN重塑类概率和S326)获取感兴趣区域。

S330，进行感兴趣区域(ROI)池化处理。

S340，计算类得分。本步骤中的类可以是污点这一类别。

S350，计算类概率。根据所计算的类得分和类概率输出被识别为污点的定位框。本步骤中的类可以是污点这一类别。

步骤S400，将所获得的所述定位框作为感兴趣区域返回所拍摄的原测试图像中，计算所述感兴趣区域的平均亮度与所述感兴趣区域内的污点区域的平均亮度的亮度差；计算所述感兴趣区域内的污点区域的面积；以及根据所述亮度差和所述面积确定所述定位框中是否存在污点。其中，可以根据属于污点的像素个数或者属于污点的基本单元个数来表征所述感兴趣区域内的污点区域的面积。这里污点区域是指定位框中污点所覆盖的区域。污点区域的面积也可以简称为污点面积。

在产线生产中，由于客户对污点的要求不同，有时需要设置不同的规格对不同亮度的污点、不同面积大小的污点进行区分检测。为满足不同规格检测的要求，可以首先通过FAST-RCNN网络模型粗略定位出所有规格的污点(即输出该污点对应的定位框)，然后根据FAST-RCNN网络模型定位的污点位置返回到原图像相应位置计算当前位置的污点亮度差和污点面积，最后基于不同规格的阈值来精确定位出最终的污点位置。

图6示出了本申请一个实施例中的基于污点亮度差和面积对定位框中的物体进行分析后所保留的定位框。可以看出，相对于图5，图6中仅保留了最上方的定位框作为输出结果，其余污点区域较淡和较小的定位框均被舍弃。

进一步地，在本申请的一个实施例中，所述污点测试方法还可以进一步包括步骤S500。

S500，对于同一图片，当目标识别后获得多个包含潜在目标的定位框时，根据所述的多个包含潜在目标的定位框的重叠区域的面积，判断是否将所述的多个包含潜在目标的定位框中的部分或全部定位框合并为一个定位框；以及根据所述的多个包含潜在目标的定位框的污点区域中心之间的距离，判断是否将所述的多个包含潜在目标的定位框中的部分或全部定位框合并为一个定位框。

所述步骤S500并不限于上述实施例。在一个变形的实施例中，所述步骤S500可以调整成：对于同一图片，当目标识别后获得多个包含潜在目标的定位框时，根据所述的多个包含潜在目标的定位框的重叠区域的面积，判断是否将所述的多个包含潜在目标的定位框中的部分或全部定位框合并为一个定位框。

在另一个变形的实施例中，所述步骤S500可以调整成：对于同一图片，当目标识别后获得多个包含潜在目标的定位框时，根据所述的多个包含潜在目标的定位框的污点区域中心之间的距离，判断是否将所述的多个包含潜在目标的定位框中的部分或全部定位框合并为一个定位框。

步骤S500可以称为定位框合并步骤。在一个实施例中，步骤S500可以在确定所述定位框中是否存在污点的步骤(步骤S400)之后执行，其中合并后的定位框可以作为同一个污点输出。与图像目标识别和分类技术的通常目标物(例如人、汽车、猫等)相比，摄像模组中的污点具有一些独特的特性。例如，有的污点面积较大且有的外形不规则污点的内部可能存在微小的亮斑，FAST-RCNN网络模型输出的定位框有可能把它定位成多个较小的污点并分别进行输出。这种情况不仅影响污点检测效率，而且增加了产线人员对污点摄像模组(本文中可简称为污点模组)后续处理工作量。针对上述情况，为了提高检测效率和降低产线员工工作量，本实施例对检测结果进行合并和删除，对于同一个大的污点被FAST-RCNN网络模型分割检测多次的情况，通过输出结果重叠区域面积比进行合并(即将部分或全部定位框合并为一个定位框)。对于FAST-RCNN网络模型输出的位置比较近的多个污点，可以通过输出结果污点中心位置的距离进行合并与删除(即将部分或全部定位框合并为一个定位框)。图7示出了本申请一个实施例中的步骤S400完成后的输出结果。如图7所示，输出结果中具有多个被判定内含污点的定位框。图8示出了执行步骤S500的合并后的定位框。图8中可以看出，实际的污点是内含微小亮斑的外形不规则一个污点，而不是面积较小的多个污点。在对定位框进行合并处理后，可准确地识别出该污点，从而便于操作人员的后续处理。例如操作人员可以拆解摄像模组并找到污点所对应的附着在摄像模组某个或多个部件上的杂质，然后准确地去除(例如通过擦拭或清洗工艺)这个或这些杂质。如果软件算法识别出的污点不准确，可能会给寻找杂质的工作带来诸多不便。

进一步地，在本申请的另一个实施例中，所述定位框合并步骤可以在所述目标识别步骤(步骤S300)之后、确定所述定位框中是否存在污点的步骤(步骤S400)之前执行。换句话说，步骤S500可以在基于亮度差和污点面积来筛选污点之前执行。如前文所述，有的外形不规则污点的内部可能存在微小的亮斑，FAST-RCNN网络模型输出的定位框有可能把它定位成多个较小的污点并分别进行输出。如果这些分别输出的较小的污点均小于预设的污点面积阈值，而事实上的污点(例如其内部存在微小亮斑的污点)的面积大于预设的污点面积阈值，则可能出现漏检。

进一步地，在本申请的一个实施例中，所述图像增强处理步骤(即步骤S100)还可以包括：对所拍摄的测试图像进行缩小以降低图像尺寸，然后再进行图像增强处理。这种设计有利于提高效率，特别适合于对大像素摄像模组进行污点测试。

进一步地，为了提高污点检测的准确性，可以采用异步多线程方法，在深度学习检测污点的同时，另一个线程利用传统的快速污点检测方法进行污点检测；最后对两种方法检测的结果进行有侧重的选取，得到最终的污点检测结果；例如，可以利用传统的污点检测方法检测深的、肉眼可见的污点，利用深度学习检测浅的、极浅的污点。

基于上述分析，图10示出了本申请的一个实施例的双线污点检测方法的流程示意图。参考图10，本实施例中提供了一种用于摄像模组质检的多线污点测试方法，该方法可以包括步骤S1000-S3000。

步骤S1000，利用第一污点测试线程来检测第一类污点，其中所述第一污点测试线程采用前文任意实施例中所述的污点测试方法实现；前文任意实施例中所述的污点测试方法例如可以是步骤S100-S400、或步骤S100-S500。

步骤S2000，利用第二污点测试线程来检测第二类污点，其中所述第二类污点面积大于所述第一类污点，或者/并且所述第二类污点暗于所述第一类污点。这里第一污点测试线程对应于前文中实施例的基于深度学习的检测方法，它可以用于检测浅的、极浅的污点。第二污点测试线程对应于传统的污点检测方法，它可以用于检测深的、肉眼可见的污点。

步骤S3000，根据第一污点测试线程输出的第一类污点和第二污点测试线程输出的第二类污点，得出最终的污点检测结果。

所述的利用第一污点测试线程来检测第一类污点的步骤，和所述的利用第二污点测试线程来检测第二类污点的步骤同时执行。

以上双线测试方法可以提升污点检测的效率。另一方面，双线测试还有助于提高检测准确率，例如降低漏检率和误判率。其中漏检是指测试图像中实际有污点但未检测出来，误判是指测试图像中实际没有污点但测试算法错误地输出了污点。误判率有时也可以称为虚警率。

在实际测试中，相对于传统的污点检测算法，基于本申请的污点检测模型(基于机器学习技术训练的污点检测模型)进行污点检测，其漏检率由传统的5.84％降至3.89％，误判率由11.7％降至2.94％。这些数据表明，本申请的污点检测算法可以显著地提升污点检测的准确率。

以上描述仅为本申请的较佳实施方式以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种用于摄像模组质检的污点测试方法，其特征在于，包括：

利用第一污点测试线程来检测第一类污点；

利用第二污点测试线程来检测第二类污点，其中所述第二类污点面积大于所述第一类污点，或者/并且所述第二类污点暗于所述第一类污点；以及

根据第一污点测试线程输出的第一类污点和第二污点测试线程输出的第二类污点，得出最终的污点检测结果；

其中，所述第一污点测试线程，包括：

获取待测摄像模组拍摄的测试图像，对所述测试图像进行图像增强处理；

对增强后的测试图像进行图像预处理，其中所述预处理包括亮度归一化；

基于污点检测模型，对预处理后的测试图像进行目标识别，获得包含潜在目标的定位框，其中所述污点检测模型是基于深度学习技术的人工智能模型，所述的潜在目标是由所述人工智能模型判断为属于污点类型的目标物；以及

将所获得的所述定位框作为感兴趣区域返回所拍摄的原测试图像中，计算所述感兴趣区域的平均亮度与所述感兴趣区域内的污点区域的平均亮度的亮度差，计算所述感兴趣区域内的污点区域的面积，以及根据所述亮度差和所述面积确定所述定位框中是否存在污点。

2. 根据权利要求 1 所述的用于摄像模组质检的污点测试方法，其特征在于，所述图像增强处理步骤包括：基于 Retinex 图像增强技术的图像处理。

3. 根据权利要求 2 所述的用于摄像模组质检的污点测试方法，其特征在于，所述图像增强处理步骤包括：

提取图像的亮度数据进行滤波处理以滤除噪声；

基于图像增强技术去除图像中的背景以突出前景污点的特征；以及

对图像进行线性拉伸。

4. 根据权利要求 1 所述的用于摄像模组质检的污点测试方法，其特征在于，所述图像预处理步骤包括：平滑去噪处理和所述的亮度归一化。

5. 根据权利要求 1 所述的用于摄像模组质检的污点测试方法，其特征在于，所述目标识别步骤中，所述的人工智能模型为 fast-RCNN 网络，利用标记了污点的人工标记数据集对所述的 fast-RCNN 网络进行训练获得所述污点检测模型。

6. 根据权利要求 1 所述的用于摄像模组质检的污点测试方法，其特征在于，确定所述定位框中是否存在污点的步骤中，根据属于污点的像素个数来表征所述感兴趣区域内的污点区域的面积。

7. 根据权利要求 1 所述的用于摄像模组质检的污点测试方法，其特征在于，所述图像增强处理步骤还包括：对所拍摄的测试图像进行缩小以降低图像尺寸，然后再进行图像增强处理。

8. 根据权利要求 1 所述的用于摄像模组质检的污点测试方法，其特征在于，所述污点测试方法还包括定位框合并步骤，所述定位框合并步骤为：

对于同一图片，当目标识别后获得多个包含潜在目标的定位框时，根据所述的多个包含潜在目标的定位框的重叠区域的面积，判断是否将所述的多个包含潜在目标的定位框中的部分或全部定位框合并为一个定位框。

9. 根据权利要求 1 所述的用于摄像模组质检的污点测试方法，其特征在于，所述污点测试方法还包括定位框合并步骤，所述定位框合并步骤为：

对于同一图片，当目标识别后获得多个包含潜在目标的定位框时，根据所述的多个包含潜在目标的定位框的污点区域中心之间的距离，判断是否将所述的多个包含潜在目标的定位框中的部分或全部定位框合并为一个定位框。

10. 根据权利要求 1 所述的用于摄像模组质检的污点测试方法，其特征在于，所述污点测试方法还包括定位框合并步骤，所述定位框合并步骤为：

对于同一图片，当目标识别后获得多个包含潜在目标的定位框时，根据所述的多个包含潜在目标的定位框的重叠区域的面积，判断是否将所述的多个包含潜在目标的定位框中的部分或全部定位框合并为一个定位框；以及根据所述的多个包含潜在目标的定位框的污点区域中心之间的距离，判断是否将所述的多个包含潜在目标的定位框中的部分或全部定位框合并为一个定位框。

11. 根据权利要求 8、9 或 10 所述的用于摄像模组质检的污点测试方法，其特征在于，所述定位框合并步骤在所述目标识别步骤之后、确定所述定位框中是否存在污点的步骤之前执行。

12. 根据权利要求 8、9 或 10 所述的用于摄像模组质检的污点测试方法，其特征在于，所述定位框合并步骤在确定所述定位框中是否存在污点的步骤之后执行，其中合并后的定位框作为同一个污点输出。

13. 根据权利要求 1 所述的用于摄像模组质检的污点测试方法，其特征在于，所述的利用第一污点测试线程来检测第一类污点的步骤，和所述的利用第二污点测试线程来检测第二类污点的步骤同时执行。