CN109060831B - 一种基于底板拟合的自动脏污检测方法 - Google Patents

Abstract

本发明公开一种基于底板拟合的自动脏污检测方法，实时检测电子摄像设备的接入，并进行驱动加载；确定脏污检测阈值；获取原始白板图像；对所述原始白板图像进行降噪处理，构成新的脏污检测图像，对脏污检测图像进行底板拟合，获得脏污检测图像的拟合底板图像；求取脏污检测图像与拟合底板图像的灰度差，并与产线脏污特征阈值进行比对，根据比对结果判定脏污点；将邻居脏污点合并为脏污区域，并在原始白板图像上显色标注，相比基于人眼观察，可有效降低眼部疲劳，降低不良品误判率。

Description

一种基于底板拟合的自动脏污检测方法

技术领域

本发明涉及数字图像和计算机视觉领域，具体涉及一种基于底板拟合的自动脏污检测方法。

背景技术

随着移动通信技术与数字图像处理技术的发展，各种电子摄像设备的应用日益广泛。而且伴随着社会经济发展与人民生活水平的不断提高，带有电子摄像设备的各种移动终端的数量急剧上升，例如，数码相机、手机、平板电脑、笔记本电脑、安全监控等。

受电子摄像设备市场蓬勃发展的影响，生产电子摄像设备的企业数目也日益增多。在电子摄像设备生产过程中，清晰度调试与镜头脏污检测是两个重要环节，而当前大部分电子摄像设备生产仍然采用人眼判断的方法进行镜头脏污检测，这种方法不仅效率低下，而且容易使产线工人产生视觉疲劳与不良品误判。此外，一小部分企业采用了一定的计算机脏污检测，但都是依靠人工判断设备接入，手动触发检测程序，不利于生产自动化集成与生产效率的提高。

发明内容

本发明的目的是提供一种基于底板拟合的自动脏污检测方法，通过自动检测设备接入与白板图像采集，结合产线环境确定脏污特征，达到自动脏污检测的目地。

为实现上述目的，本发明所采用的技术方案是：

一种基于底板拟合的自动脏污检测方法，其具体步骤包括：(1)实时检测电子摄像设备与产线计算机操作系统提供的系统接口连接，并进行驱动加载；(2)获取多个无脏污电子摄像设备所摄取的无脏污白板图像以及多个脏污电子摄像设备摄取的脏污白板图像，对多个所述无脏污白板图像和所述脏污白板图像进行底板拟合，分别求取各自脏污检测图像与拟合底板图像的最大灰度差，确定产线脏污特征阈值；(3)获取产线环境下电子摄像设备所摄取的原始白板图像；(4)对所述原始白板图像进行降噪处理，构成新的脏污检测图像，对脏污检测图像进行底板拟合，获得脏污检测图像的拟合底板图像；(5)求取脏污检测图像与拟合底板图像的灰度差，并与产线脏污特征阈值进行比对，根据比对结果判定脏污点；(6)将邻居脏污点合并为脏污区域，并在原始白板图像上显色标注。

优选的是，所述底板拟合的步骤：对白板图像在水平、垂直两个方向进行曲线拟合，设白板图像Io大小为M*N，Px,y为位于(x,y)处像素的灰度值，x∈[1,M]，y∈[1,N]，根据采用的曲线拟合技术，求得拟合曲线的系数，得到拟合方程，计算出拟合值，构成拟合底板图像I。

优选的是，所述曲线拟合技术为最小二乘法曲线拟合；

(a)根据最小二乘法拟合方程：Y＝AX，得出YX-1＝A；其中A为n×k的矩阵，X为k×1的列向量，Y为n×1的列向量；

(b)取第r行像素值{Pr,y|y∈[1,N]}，其中r≤x，以及像素列坐标{y}分别取代拟合方程中的Y和X，求得拟合曲线的系数，得到行拟合方程，进而求得行拟合值；

(c)依次求得所有行拟合值，构成行拟合矩阵Ir，按照同样原理，对拟合矩阵Ir进行列拟合，得到拟合底板图像I。

优选的是，对步骤(4)中的降噪处理以3*3的模板进行均值降噪。

优选的是，所述产线脏污特征阈值的获取步骤：

(a)选取T个无脏污摄像头，获得T个无脏污白板图像，求得T个无脏污白板图像与拟合底板图像的距离矩阵的最大值Mi＝max Dix,y，Dix,y∈MATi，i∈[1,T]；

(b)选取T个脏污摄像头，获得T个脏污白板图像，求得T个脏污白板图像与拟合底板图像的距离矩阵的最大值Mj＝max Djx,y,Djx,y∈MATj，j∈[1,T]；

(c)产线脏污判断阈值Vsh满足：max(Mi)≤Vsh≤min(Mj)。

优选的是，T≥100。

优选的是，脏污特征判断步骤：

(a)定义Px,y为白板图像中位于(x,y)处像素的灰度值，P'x,y为拟合底板图像中位于(x,y)处像素的灰度值，则定义两幅图像中(x,y)处像素距离Dx,y＝P'x,y-Px,y，所有像素距离Dx,y，x∈[1,M]，y∈[1,N]，构成白板图像与拟合底板图像的距离矩阵；

(b)若距离矩阵MAT中某元素值>脏污阈值Vsh，则该元素为脏污点，即白板图像中存在脏污点。

优选的是，对所述脏污点进行合并，构成脏污区域，并在原始白板图像上显色标注。

优选的是，对所述脏污点进行合并的步骤：先对脏污点按灰度大小降序排序，从灰度最小的点开始按照一定的区域范围进行合并，构成脏污区域。

本发明采用上述方法后，

1)设备简单，不需要复杂的辅助设备；

2)相比基于人眼观察，可有效降低眼部疲劳，降低不良品误判率；

3)采用电子摄像设备接入实时检测技术，可与产线自动化集成方案有效结合；

4)算法简单，稳定性好，效率高，适合于实时处理系统。

附图说明

图1是本发明专利的具体实施流程图。

图2是原始白板图像示意图。

图3是拟合底板图像示意图。

图4是脏污特征判断示意图。

图5脏污区域标记示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明：

如图1所示，一种基于底板拟合的自动脏污检测方法，其具体步骤包括：(1)实时检测电子摄像设备与产线计算机操作系统提供的系统接口连接，并进行驱动加载；在本发明中，检测方法主要通过计算机操作系统的系统接口实现，如windows下通过系统消息判断设备接入，而Linux系统下则通过系统广播获取新设备接入信息。(2)获取多个无脏污电子摄像设备所摄取的无脏污白板图像以及多个脏污电子摄像设备摄取的脏污白板图像，对多个所述无脏污白板图像和所述脏污白板图像进行底板拟合，分别求取各自脏污检测图像与拟合底板图像的最大灰度差，确定产线脏污特征阈值；该步骤仅在初始设置时进行一次以确定脏污检测阈值。(3)获取产线环境下电子摄像设备所摄取的原始白板图像，可通过定义打出原始白板图像的外部设备与计算机的通信信令通知计算机当前摄取的是原始白板图像；(4)为减少各种干扰对图像的影响，对所述原始白板图像进行降噪处理，构成新的脏污检测图像，对脏污检测图像进行底板拟合如最小二乘法、B样条等，获得脏污检测图像的拟合底板图像；(5)求取脏污检测图像与拟合底板图像的灰度差，并与产线脏污特征阈值进行比对，根据比对结果判定脏污点；(6)将邻居脏污点合并为脏污区域，并在原始白板图像上显色标注。

在设备接入检测发现新摄像头与产线电脑连接后，加载驱动并周期性获取摄像头实时图像。白板测试一般发生在清晰度测试之后，即调焦操作完成后,通知机构件打出白板并延迟一定时间(约500ms-1s)，抓取摄像头白板图像，如图2所示。

白板图像指无脏污白板图像和/或脏污白板图像和/或原始白板图像。

1、以3*3的模板进行均值降噪,以最小二乘法曲线拟合为例，进行底部拟合步骤：

(a)对白板图像在水平、垂直两个方向进行曲线拟合，设白板图像Io大小为M*N，Px,y为位于(x,y)处像素的灰度值，x∈[1,M]，y∈[1,N]；

(b)根据最小二乘法拟合方程：Y＝AX，得出YX-1＝A；其中A为n×k的矩阵，X为k×1的列向量，Y为n×1的列向量；

(c)取第r行像素值{Pr,y|y∈[1,N]}，其中r≤x，以及像素列坐标{y}分别取代拟合方程中的Y和X，求得拟合曲线的系数，得到行拟合方程，进而求得行拟合值；

(d)依次求得所有行拟合值，构成行拟合矩阵Ir，按照同样原理，对拟合矩阵Ir进行列拟合，得到拟合底板图像I，如附图3所示。

均值降噪是图像处理的一个常用技术，3*3的模板指用3*3范围内9个像素的均值，取代这9个像素。

2、所述产线脏污特征阈值的获取步骤：

(a)选取T(T≥100)个无脏污摄像头，获得T个无脏污白板图像，求得T个无脏污白板图像与拟合底板图像的距离矩阵的最大值Mi＝max Dix,y，Dix,y∈MATi，i∈[1,T]；

(b)选取T个脏污摄像头，获得T个脏污白板图像，求得T个脏污白板图像与拟合底板图像的距离矩阵的最大值Mj＝max Djx,y,Djx,y∈MATj，j∈[1,T]；

(c)产线脏污判断阈值Vsh满足：max(Mi)≤Vsh≤min(Mj)。

该阈值的获取仅在系统初始化时进行一次即可，获取的阈值可存入后台数据库供后续脏污特征判断使用。

3、脏污特征判断步骤：

(a)定义Px,y为白板图像中位于(x,y)处像素的灰度值，P'x,y为拟合底板图像中位于(x,y)处像素的灰度值，则定义两幅图像中(x,y)处像素距离Dx,y＝P'x,y-Px,y，所有像素距离Dx,y，x∈[1,M]，y∈[1,N]，构成白板图像与拟合底板图像的距离矩阵；

(b)若距离矩阵MAT中某元素值>脏污阈值Vsh，则该元素为脏污点，即白板图像中存在脏污点，如图4所示，绿线表明距离矩阵中某行包含脏污点，而红线及蓝线表明该行不包含脏污点。

为标注脏污区域，需对上一步骤中的脏污点进行区域合并，有多种方法可完成这一步骤。本发明采用的方法是先对脏污点按灰度大小降序排序，从灰度最小的点开始按照一定的区域范围进行合并，合并后标注结果如图5所示。其它数据合并技术同样可以得到相似效果，本发明的示例方法不应对本发明造成限制。

以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的保护范围。

Claims (9)

1.一种基于底板拟合的自动脏污检测方法，其具体步骤包括：

(1)实时检测电子摄像设备与产线计算机操作系统提供的系统接口连接，并进行驱动加载；

(2)获取多个无脏污电子摄像设备所摄取的无脏污白板图像以及多个脏污电子摄像设备摄取的脏污白板图像，对多个所述无脏污白板图像和所述脏污白板图像进行底板拟合，分别求取各自脏污检测图像与拟合底板图像的最大灰度差，确定产线脏污特征阈值；

(3)获取产线环境下电子摄像设备所摄取的原始白板图像，该原始白板图像作为脏污检测图像；

(4)对所述原始白板图像进行降噪处理，构成新的脏污检测图像，对新的脏污检测图像进行底板拟合，获得脏污检测图像的拟合底板图像；

(5)求取脏污检测图像与拟合底板图像的灰度差，并与产线脏污特征阈值进行比对，根据比对结果判定脏污点；

(6)将邻居脏污点合并为脏污区域，并在原始白板图像上显色标注。

2.根据权利要求1所述的一种基于底板拟合的自动脏污检测方法，其特征在于：所述底板拟合的步骤：对白板图像在水平、垂直两个方向进行曲线拟合，设白板图像Io大小为M*N，Px,y为位于(x, y)处像素的灰度值，x∈[1, M]，y∈[1, N]，根据采用的曲线拟合技术，求得拟合曲线的系数，得到拟合方程，计算出拟合值，构成拟合底板图像I。

3.根据权利要求2所述的一种基于底板拟合的自动脏污检测方法，其特征在于：所述曲线拟合技术为最小二乘法曲线拟合；

（a）根据最小二乘法拟合方程：Y=AX，得出YX^-1 =A；其中A为 n×k的矩阵， X为k×1的列向量，Y为 n×1 的列向量；

（b）取第r行像素值{Pr,y | y∈[1, N]}，其中r ≤ x，以及像素列坐标{y}分别取代拟合方程中的Y和X，求得拟合曲线的系数，得到行拟合方程，进而求得行拟合值；

（c）依次求得所有行拟合值，构成行拟合矩阵Ir，按照同样原理，对行拟合矩阵Ir进行列拟合，得到拟合底板图像I。

4.根据权利要求1所述的一种基于底板拟合的自动脏污检测方法，其特征在于：对步骤（4）中的降噪处理以3*3的模板进行均值降噪。

5.根据权利要求1所述的一种基于底板拟合的自动脏污检测方法，其特征在于：所述产线脏污特征阈值的获取步骤：

(a) 选取T个无脏污摄像头，获得T个无脏污白板图像，求得T个无脏污白板图像与拟合底板图像的距离矩阵的最大值Mi=max Dix,y，Dix,y∈MATi，i∈[1, T]；

(b)选取T个脏污摄像头，获得T个脏污白板图像，求得T个脏污白板图像与拟合底板图像的距离矩阵的最大值Mj=max Djx,y, Djx,y∈MATj， j∈[1, T]；

(c) 产线脏污判断阈值Vsh满足：max(Mi)≤Vsh≤ min(Mj)。

6.根据权利要求5所述的一种基于底板拟合的自动脏污检测方法，其特征在于：T≥100。

7.根据权利要求5所述的一种基于底板拟合的自动脏污检测方法，其特征在于：脏污特征判断步骤：

(a)定义Px,y为白板图像中位于(x, y)处像素的灰度值，P'x,y为拟合底板图像中位于(x, y)处像素的灰度值，则定义两幅图像中(x, y)处像素距离Dx,y= P'x,y- Px,y，所有像素距离Dx,y，x∈[1,M]，y∈[1, N]，构成白板图像与拟合底板图像的距离矩阵MAT；

(b) 若距离矩阵MAT中某元素值>脏污阈值Vsh，则该元素为脏污点，即白板图像中存在脏污点。

8.根据权利要求7所述的一种基于底板拟合的自动脏污检测方法，其特征在于：对所述脏污点进行合并，构成脏污区域，并在原始白板图像上显色标注。

9.根据权利要求8所述的一种基于底板拟合的自动脏污检测方法，其特征在于：对所述脏污点进行合并的步骤：先对脏污点按灰度大小降序排序，从灰度最小的点开始按照一定的区域范围进行合并，构成脏污区域。

Images