CN109767428A - 一种摄像模组脏污检测方法 - Google Patents

Abstract

本发明提出一种摄像模组脏污检测方法，能够实现自动化、批量化、标准化的摄像模组脏污检测。该方法包括以下步骤：(1)摄像模组拍图：在合适的光照条件下，用摄像模组拍摄有均光板背景的白色盖板，并使得成像清晰；(2)多帧融合降噪：对同一颗产品选取若干帧满足检测要求的图像，然后求取其平均图；(3)检测三策略：分别进行双重滤波处理、形态学分区和多粒度检测，以凸显脏污区域，并针对脏污粒度以及用户自定义的需求进行可靠脏污检测；(4)多区域定位：对检测出来的不同脏污区域依次进行连通域编号和标签，以方便结果显示和输出；(5)脏污判定：如果没有检测到脏污，则模组是合格品；如果检测到脏污，则模组为不合格。

Description

一种摄像模组脏污检测方法

技术领域

本发明属于计算机视觉和图像处理技术领域，具体涉及一种摄像模组脏污检测方法。

背景技术

中国作为全球手机制造产业的中心之一，目前全球有超过40％的手机来自中国。而在手机摄像头领域，中国也有庞大的产业链。目前，全国大约有400余家摄像头模组(Camera Module)厂商，100余家镜头厂商，60余家VCM马达厂商，150余家FPC厂商，以及周边约2000余家的辅料、各类设备塑胶件、材料等企业。随着可穿戴设备以及3D深度成像需求的增长，手机、汽车、无人机等设备将搭载更多的摄像模组。因此，摄像模组在未来的消费电子产品中将会有更大的市场空间。

传统摄像模组的组装生产和指标检测主要依赖人工手工操作、肉眼判断，随着工作时间加长，工人的生产效率会下降、误差率会上升，而且生产成本也比较高。这样的生产流程与工艺，对于高品质产品的一致性保证是一个很大的问题。面对未来消费电子产品对于高品质模组的要求以及指数级增长的产品数量市场需求，传统模组生产工艺很难满足挑剔的客户。要想在严峻的市场竞争中保持竞争力，自动化、批量化、标准化的生产工艺势在必行。虽然，摄像模组检测在韩国、日本等国有一些相关的设备，但是价格非常高昂，完全引进国外设备对国内的摄像模组生产企业有很重负担。因此，对这类摄像模组检测的设备的国产化研发很有必要，这将对我国国民经济发展以及从中国制造向中国智造的转型升级有重要意义。

根据客户对产品质量管控要求的不同，摄像模组的指标检测以及合格性评估往往需要评估若干项光学及影像指标。主要的检测指标如下表：

以上检测指标中，最具挑战的检测指标是摄像模组的脏污(Blemish)检测。因为摄像模组的脏污是一个尚无明确量化标准或者定义的指标，对于什么样的图像像素区域可被视为是脏污的边界问题还有一定的模糊性，往往这个标准由不同的客户产品质量来决定。

目前，检测一个摄像模组的光学成像方面是否合格，主要是通过分析摄像模组的成像状况来判定是否合格。传统生产工艺主要是通过人工肉眼观察拍摄到的图像是否满足要求,产品质量的一致性不能保证且生产效率较低。

发明内容

本发明提出一种摄像模组脏污检测方法，为自动化、批量化、标准化摄像模组的脏污检测提供了高效可靠的技术解决方案。

本发明的技术方案主要包括如下步骤：

(1)摄像模组拍图：在合适的光照条件下，用摄像模组拍摄有均光板背景的白色盖板，并使得成像清晰；

(2)多帧融合降噪：对同一颗产品选取若干帧满足检测要求的图像，然后求取其平均图；

(3)检测三策略：分别进行双重滤波处理、形态学分区和多粒度检测，以凸显脏污区域，并针对脏污粒度以及用户自定义的需求进行可靠脏污检测；

(4)多区域定位：对检测出来的不同脏污区域依次进行连通域编号和标签，以方便结果显示和输出；

(5)脏污判定：如果没有检测到脏污，则模组是合格品；如果检测到脏污，则模组为不合格。

基于以上方案，本发明还进一步作了如下优化：

步骤(3)中，所述双重滤波处理具体是：对平均图先用高斯高通频域滤波进行处理，使得图像的高频信息得到尽可能的保留；再用高斯低通频域滤波进行处理，使得图像的高频信息在图像中得到凸显。

步骤(3)中，所述形态学分区具体是：以光心为中心，根据对称性将平均图划分出四角、四边、以及同心圆区域。进一步的，在形态学分区时，确定光心的方法具体如下：

b1)利用图像中的所有像素数据，计算出图像的亮度平均值；

b2)标记图像中亮度值与图像平均亮度值的差值小于设定阈值的像素点，计算这些像素点的横坐标平均值和纵坐标平均值；

b3)将横坐标平均值和纵坐标平均值与该图像的几何中心点坐标比较，得出光心偏移的像素数和偏移方向；

b4)将光心坐标和偏移量保存下来，为以光心为中心的形态学分区提供必要参数。

步骤(3)中，所述多粒度检测是按照脏污粒度大小，定义对应于不同粒度的多个检测口径；针对每一个粒度的检测，具体过程如下：

1)图像分割成小块，该小块的尺寸与相应的粒度尺寸相同，计算每个小块的亮度均值；

2)每个小块的亮度均值与4-邻域块的亮度均值求出块均值梯度绝对值，每个小块都只计算它的左-邻域和上-邻域，相应得到X-块梯度绝对值和Y-块梯度绝对值；

3)将各个分区的X-块梯度绝对值和Y-块梯度绝对值分别与该分区既定阈值进行对比，如果块梯度绝对值大于该分区阈值，则临时标记为脏污。

在步骤(2)之前，可先对图像进行质量评价：采用无监督的质量评价方法来判定采图是否清晰；如果质量评价得分高于设定阈值，则认为满足检测要求，进行下一步处理，否则重新进行步骤(1)。

相应的，本发明还提出了一种嵌入式检测模块，适于被控制模块调用并依次执行上述摄像模组脏污检测方法中的步骤(2)至步骤(4)。

相应的，本发明还提出了一种DSP或FPGA芯片，芯片上设置有独立检测模块，该模块适于被控制模块调用并依次执行上述摄像模组脏污检测方法中的步骤(2)至步骤(4)。

相应的，本发明还提出了一种存储设备，其中存储有多条指令，所述多条指令适于由处理器加载并依次执行以实现上述摄像模组脏污检测方法中的步骤(2)至步骤(5)。

本发明为自动化、批量化、标准化摄像模组的脏污检测提供了高效可靠的技术解决方案，具体优点如下：

1)本发明通过多帧融合降噪、双重滤波处理、形态学分区、多粒度检测、多区域定位等系列处理流程，有效减小随机噪声、凸显脏污，提高了检测的可靠性和用户自定义友好性。

2)本发明首次实现摄像模组的嵌入式检测模块(典型的如基于ARM独立模块)，实现了设备的小型化、模块化。

3)本发明方法的脏污检测平均准确率可达99.71％，满足摄像模组生产要求。

4)本发明方法满足实时生产要求，单颗摄像模组的检测时间小于1s。

附图说明

图1为摄像模组脏污检测方法流程图；

图2为嵌入式模块脏污检测系统图；

图3为摄像模组脏污形态的四个示例；

图4为双重滤波结果图；

图5为形态学分区检测结果显示。

具体实施方式

本发明是一种基于图像融合、质量评价、滤波处理、形态学分区、多粒度检测等方式的高效可靠的摄像模组脏污检测方法。以下参照摄像模组脏污检测方法流程图1，对本发明各步骤的具体实现作进一步的详细描述。

步骤1，摄像模组拍图

摄像模组的脏污检测属于白板类指标检测，在合适的光照条件下，用摄像模组拍摄有均光板背景的专门白色盖板，并使得成像清晰。

步骤2，图像质量评价

每次取到的图像，都用图像质量评价方法进行初步筛选，由于没有标准的参考对比图像，因此采用无监督的质量评价方法来判定采图是否清晰。如果质量评价得分高于某一个既定阈值，则认为满足检测要求，否则继续拍图。

步骤3，多帧融合降噪

为了减小随机噪声对检测结果的影响，降低误检率和漏检率，本发明对同一颗产品选取若干帧(例如，3-10帧)满足检测要求的图像，然后求取其平均图。因为平均图能够有效降低随机噪声等高频信息，而脏污块一般呈局部区域性分布(如图3所示)，真正的脏污区域在平均图中依旧能够得到保留。

步骤4，检测三策略

(1)双重滤波处理

步骤3中得到了平均图依旧是原始数据空间，虽然脏污信息能够保留，但是不够明显，对于设定检测判定阈值不利，因此通过双重滤波处理将脏污区域与背景区域明显的区别出来。通过研究发现，该平均图先经过高通滤波，然后再经过低通滤波的双重滤波处理方法，能够明显的凸显脏污区域。其中的一种典型的滤波核是高斯滤波，即先用高斯高通频域滤波进行处理，使得图像的高频信息得到尽可能的保留；再用高斯低通频域滤波进行处理，使得图像的高频信息在图像中得到凸显，如图4所示。

(2)形态学分区

根据成像规律，因为图像四角没有靠近光心处光照更均匀，因此图像中噪声分布的概率有由光心到四角逐渐增大的趋势。为了满足用户对于脏污区域的选择性管控(因为靠近成像中心区域的品质要求远远高于四角)和个性化模组需求，对于从光心到四角的不同区域的脏污的阈值设定应该有所区别。因此，对平均图进行区域划分，以光心为中心，根据对称性对该图像划分出四角、四边、以及同心圆区域，如图5所示。

本发明也提出了一种光心的计算方法：

同一摄像模组在固定的情况下拍摄白板时成像的光心位置基本一致，为了提高检测效率，因此对同一颗摄像模组只需要计算一次即可。

1)利用图像中的所有像素数据，计算出该图像的亮度平均值；

2)标记图像中亮度值与该图像平均亮度值的差值小于设定阈值的像素点，计算这些像素点的横坐标平均值和纵坐标平均值；

3)将该横坐标平均值和纵坐标平均值与该图像的几何中心点坐标比较，得出光心偏移的像素数和偏移方向；

4)将光心坐标和偏移量保存下来，为以光心为中心的形态学提供必要参数。

(3)多粒度检测

摄像模组的脏污大小形态各异，有小型的粉尘、杂质；有水印般的很淡的脏污；也有如凸起等大型脏污。针对脏污粒度大小不同的问题，本发明定义了由粗口径到细口径的系列脏污检测器，检测器的口径大小以及检测器数目都可以用户自定义。例如，一个典型的做法是设置三口径，分别针对大粒度(25×25)、中粒度(15×15)、小粒度(5×5)的脏污。对于每一个粒度的检测，具体过程如下：

1)图像分割成小块(以中粒度为例，小块为15×15)，计算每个小块的亮度均值；

2)每个小块的亮度均值与4-邻域块的亮度均值求出块均值梯度绝对值，每个小块都只计算它的上-邻域和左-邻域即可，这样可以避免4-邻域的每两个块之间的梯度绝对值会计算两遍；

3)保存X-块梯度绝对值和Y-块梯度绝对值，将各个分区的X-块梯度绝对值和Y-块梯度绝对值分别与该分区既定阈值进行对比，如果块梯度绝对值大于该区域阈值，则临时标记为脏污。

步骤5，多区域定位

脏污往往是若干个局部区域，为了有利于用户进行自定义检索和筛查，需要对检测出来的不同脏污块依次编号，通过两遍扫描法进行连通域编号和标签。为了提高检测效率，如果某一口径的脏污检测器下已经检测到置信度很高的脏污，则放弃剩余口径(或粒度)的检测过程。返回检测结果并可视化显示。

6、脏污判定

如果没有检测到脏污，则模组是合格品；如果检测到脏污，则模组为不合格。

本发明方法除了在电脑上进行应用，还首次实现了嵌入式检测模块，如图2所示，使得设备更加小型化、模块化。该算法可基于ARM成为一个独立的检测处理模块，也可基于DSP、FPGA等芯片实现独立检测模块。

利用本发明方法进行摄像模组的自动化、批量化、标准化检测生产，能够有效提高摄像模组的脏污检出准确率，降低漏检率以及生产效率，从而为企业创造更大的经济效益，提升企业核心科技竞争力。

本发明方法通过大量实验得到了验证：

1、检测方法的验证实验使用的摄像模组是盛泰光学实际生产的摄像模组型号，主要用像素为500万、800万、1600万等三种摄像模组做大量测试。

2、对于检测系统对摄像模组脏污情况的判断结果，然后通过人工对合格品和不合格品分别进行复检，对每一颗产品重新进行归类；

3)根据人工复检，计算出本发明检测方法对摄像模组脏污判断的准确率、以及时效性。

4)平均脏污检测准确率达到99.71％；单颗摄像模组检测小于1秒。

Claims (9)

1.一种摄像模组脏污检测方法，其特征在于，包括以下步骤：

(1)摄像模组拍图：在合适的光照条件下，用摄像模组拍摄有均光板背景的白色盖板，并使得成像清晰；

(2)多帧融合降噪：对同一颗产品选取若干帧满足检测要求的图像，然后求取其平均图；

(3)检测三策略：分别进行双重滤波处理、形态学分区和多粒度检测，以凸显脏污区域，并针对脏污粒度以及用户自定义的需求进行可靠脏污检测；

(4)多区域定位：对检测出来的不同脏污区域依次进行连通域编号和标签，以方便结果显示和输出；

(5)脏污判定：如果没有检测到脏污，则模组是合格品；如果检测到脏污，则模组为不合格。

2.根据权利要求1所述的摄像模组脏污检测方法，其特征在于，步骤(3)中，所述双重滤波处理具体是：对平均图先用高斯高通频域滤波进行处理，使得图像的高频信息得到尽可能的保留；再用高斯低通频域滤波进行处理，使得图像的高频信息在图像中得到凸显。

3.根据权利要求1所述的摄像模组脏污检测方法，其特征在于，步骤(3)中，所述形态学分区具体是：以光心为中心，根据对称性将平均图划分出四角、四边、以及同心圆区域。

4.根据权利要求3所述的摄像模组脏污检测方法，其特征在于，在形态学分区时，确定光心的方法具体如下：

b1)利用图像中的所有像素数据，计算出图像的亮度平均值；

b2)标记图像中亮度值与图像平均亮度值的差值小于设定阈值的像素点，计算这些像素点的横坐标平均值和纵坐标平均值；

b3)将横坐标平均值和纵坐标平均值与该图像的几何中心点坐标比较，得出光心偏移的像素数和偏移方向；

b4)将光心坐标和偏移量保存下来，为以光心为中心的形态学分区提供必要参数。

5.根据权利要求1所述的摄像模组脏污检测方法，其特征在于，步骤(3)中，所述多粒度检测是按照脏污粒度大小，定义对应于不同粒度的多个检测口径；针对每一个粒度的检测，具体过程如下：

1)图像分割成小块，该小块的尺寸与相应的粒度尺寸相同，计算每个小块的亮度均值；

2)每个小块的亮度均值与4-邻域块的亮度均值求出块均值梯度绝对值，每个小块都只计算它的左-邻域和上-邻域，相应得到X-块梯度绝对值和Y-块梯度绝对值；

3)将各个分区的X-块梯度绝对值和Y-块梯度绝对值分别与该分区既定阈值进行对比，如果块梯度绝对值大于该分区阈值，则临时标记为脏污。

6.根据权利要求1所述的摄像模组脏污检测方法，其特征在于，在步骤(2)之前，先对图像进行质量评价：采用无监督的质量评价方法来判定采图是否清晰；如果质量评价得分高于设定阈值，则认为满足检测要求，进行下一步处理，否则重新进行步骤(1)。

7.一种嵌入式检测模块，其特征在于：适于被控制模块调用并依次执行权利要求1所述摄像模组脏污检测方法中的步骤(2)至步骤(4)。

8.一种DSP或FPGA芯片，其特征在于：设置有独立检测模块，该模块适于被控制模块调用并依次执行权利要求1所述摄像模组脏污检测方法中的步骤(2)至步骤(4)。

9.一种存储设备，其中存储有多条指令，其特征在于：所述多条指令适于由处理器加载并依次执行以实现权利要求1所述摄像模组脏污检测方法中的步骤(2)至步骤(5)。