CN115100146A - 结合多对焦法和图像优化的镜头表面缺陷快速检测方法 - Google Patents

Abstract

本发明公开了一种结合多对焦法和图像优化的镜头表面缺陷快速检测方法。本发明充分利用结合光学成像方式的数学推理与分析，设计结合多对焦法和图像优化的检测策略，提出了镜头表面缺陷的快速检测方案；结合成像方式，再结合后处理综合运算，获得缺陷检测结果。本发明包括如下步骤：(1)多对焦法成像；(2)缺陷锐化过程实现缺陷粗略图获取；(3)基于图像优化的镜头表面缺陷快速检测。为了实现待测镜头缺陷快速检测，本发明结合光学多对焦法成像，再结合图像分析优化运算，获得镜头表面缺陷检测结果。本发明只需结合常见的视觉检测系统，控制多次对焦成像，即可实时运算得到相应的检测结果。

Description

结合多对焦法和图像优化的镜头表面缺陷快速检测方法

技术领域

本发明涉及基于光学成像的视觉检测技术，尤其涉及一种结合多对焦法和图像优化的镜头表面缺陷快速检测方法。

背景技术

随着镜头生产技术的不断改进，基于机器视觉的镜头表面瑕疵实时检测技术开始逐渐替代了人工检测。这种新型的检测技术不仅节省人力资源,还具有准确度高，速度快，实时性好等特点，并且能够实时的与其他生产环节进行通信，后期可实现镜头生产线的自动化生产。目前国内外镜头瑕疵在线检测技术研究滞后，归根到底是方法策略的不足，导致精度，尤其是速度的不足。

当前，镜头视觉检测通常是基于图像处理和深度学习识别技术，成像相机获取镜头图像信号，成为数字矩阵信号，使用图像处理算法预处理，并结合深度学习或者经典检测算子等方式获得表面缺陷的检测定位。这个过程完全依赖于计算机等计算设备的数据处理能力，尤其是针对大视场高分辨率的视觉图像，需要强大算力的计算机、配备较好的GPU等设备，不然运算时间会非常长，极大的影响效率。

在镜片镜头表面瑕疵缺陷的检测方面，较为有名的授权的发明专利是万新光学集团有限公司2013年申请的系统专利(郭林发,杨尹,沈宝国,等.镜片瑕疵检测系统，CN201310086231.4.2021年，第二十二届中国专利优秀奖)，专利也主要侧重于整体系统的设计与规划。然而，近些年授权的专利主要为实用新型(如，吴国强.光学镜片缺陷检测系统,2017；王翔宇,孙为民.一种镜片瑕疵精密检测系统，2016；薛萍,刘光大,王宏民.一种镜片瑕疵检测系统，2017。)，鲜有发明专利授权，这是由于发明设计人一般只做了整个设备框架层面的修改与尝试，其背后的数学理论未有进展，对应的图像处理手段未曾变化，未从数学机理层面发明效果好、速度更快的方法，使得创新性不足。

本发明将系统性考虑镜头表面缺陷快速检测策略，将部分运算结合到成像过程中，设计了一种结合多对焦法和图像优化的镜头表面缺陷快速检测方法。

发明内容

在本发明中，提出了一种结合多对焦法和图像优化的镜头表面缺陷快速检测方法。

结合光学成像，可有助于简化图像计算复杂度，减少计算时间，快速实现缺陷的检测定位。该方法主要侧重于缺陷的检测方法，定位缺陷位置。本发明有如下特点：1.充分挖掘光学成像过程的潜力，设计结合多对焦法和图像优化的检测方案，充分利用结合光学成像方式的数学推理与分析，提出缺陷的快速检测方案；2.本发明方案的设计，是从数学理论层面推导、实验论证分析后获得的，进而将部分理论转化光学成像过程的控制，从而减少了一定的算法处理的时间。

为解决上述问题，本发明提出的一种结合多对焦法和图像优化的镜头表面缺陷快速检测方法，简要过程包括：

(1)多对焦法成像与缺陷粗略图获取

(1-1)数学推导与实验论证

(1-2)缺陷锐化过程实现缺陷粗略图获取

(2)基于图像优化的镜头表面缺陷快速检测

本发明的详细策略与设计内容具体如下：

(1)多对焦法成像与缺陷粗略图获取

(1-1)数学推导与实验论证

在光学成像过程中，面对待检测的镜头场景X，光学成像后获得图像矩阵Y，则X与Y存在如下关系：

此处k即整个系统的单位脉冲响应，对于光学成像主要由镜头决定，它也是一个矩阵，

即为卷积。当准确对角在X平面时，k最尖锐，而对焦点越远离X平面时，k越扁平。

当单位脉冲响应从尖锐到扁平时，目标镜头场景图像也从锐利到模糊，而镜头缺陷也会渐渐模糊。所以对焦位置不同，将会导致镜头图的整体模糊，包含缺陷的相对模糊，但缺陷区域的模糊速度会远低于其余镜面区域。这个模糊的变化是本发明对缺陷粗略位置提取的关键所在，这个关键的原理，是根据如下数学推导与实验论证获得的。

首先，对于

本发明设计缺陷区域锐化过程：

这里λ是个常数。

即统计X图中梯度大小

不为零的像素个数，这是为了控制待测镜头表面图像的锐度。

这个

无法直接优化获取，故引入G(X)的参考变量(h,v)，D₁与D₂为图像宽度方向和高度方向的梯度算子，||||默认为2阶范数，a为另一个常数，更新缺陷区域锐化过程为：

此处G(h,v)＝#{pixel||h_pixel|+v_pixel|≠0}，即统计X图中使得图像宽度方向和高度方向的梯度和|h_pixel|+|v_pixel|不为零的像素值数量。

其次，本发明对下式进行优化求解：

本发明通过交替优化获取X。

先获取(h,v)，能通过最小化下面的能量方程得到：

通过一系列推导分析，于是对于任意一个像素pixel，有如下结论：

对于X的所有像素快速分析遍历,可高效地获取(h,v)解。

再获取X，能通过最小化下面的能量方程得到：

令上式对X的偏微分为0，可获取全局最优的X。于是有

k^Θ是k的伴随矩阵(两者差π的相位),最终利用快速傅里叶变换，

F是快速福利叶变换算子,F(·)^*表示变换后的复共轭。

于是，最终获取了图像X。

本发明通过这里的方法，将成像拍摄获得图像Y通过处理获得了X，发现X可以实现对Y中较为模糊区域的像素起伏的抑制，而缺陷区域却可以相对凸显，通过这个实验论证，证明了缺陷区域的模糊速度会远低于其余镜头表面区域。

那么，对于不同对焦图Y，具备不同的单位脉冲响应k，可以获得不同的X。

这里对应的图像Y就可以用多对焦法获取，而k为单位脉冲响应，在本发明中，主要由对焦设置带来的离焦状态确定。比如，对焦于待测镜头平面X之前距离为L₁处得图Y₁，于待测镜头平面X之后距离为L₂处得图Y₂，此处具体的L₁与L₂很容易通过控制成像距离来获得(基于高斯成像与成像三角关系)，使用离焦模型获得对应的k₁与k₂。

(1-2)缺陷锐化过程实现缺陷粗略图获取

基于(1-1)的分析与论证，我们采用如下手段。

通过多对焦法成像获取图像与基于离焦模型获取单位脉冲响应。对焦位置1时，对焦于待测镜头平面X之前距离为L₁处得图Y₁，k₁；对焦位置2，对焦于待测镜头平面X之后距离为L₂处得图Y₂，k₂。

利用(1-1)的缺陷区域锐化过程求解，获取对应的X₁，X₂。

缺陷粗略图Quexian可以通过如下公式获取：Quexian＝||X₁-X₂||，|| ||跟上面一样默认为2阶范数。

(2)基于图像优化的镜头表面缺陷快速检测

基于内容(1)中的缺陷粗略图Quexian，本发明希望通过图像优化实现缺陷的凸显，并实现快速检测。

缺陷粗略图Quexian中，已经大致体现出缺陷特征。通过灰度、色彩特征优化分析，可获得缺陷检测图。本发明设计的优化方法如下。

对于图像矩阵Quexian中的任意像素(i,j),检测结果W由下式确定：

这里pixel代表图Quexian中的任意一个像素，并且

Dis(Quexian(i,j),Quexian(pixel))＝|Quexian(i,j)-Quexian(pixel)|

这样的设计，可以检测出当前像素(i,j)与其他所有像素之间的能量振幅差异，这对于缺陷检测非常有效。

进一步的，从数学上继续推导，可以从图像Quexian的像素值上来获得下式，使得更易于在计算机编程上实现：

Plevel是像素值，对于位深度为bitdepth的图Quexian，Plevel∈[0,2^bitdepth-1],通过灰度图位深度为8。Num是图Quexian的像素总数。N_Plevel代表图Quexian中含有像素值＝Plevel的数量。

由此，对于图像矩阵Quexian中的任意像素(i,j)，都可以用上式求取，遍历后获得最终的镜头表面缺陷图W。

后期，通过W图的自动二值化，即可确定缺陷定位。

与现有技术相比，本技术方案具有以下优点：

现有的镜头表面缺陷检测方法都是先成像再后处理的思路，基本是基于图像处理的成熟计算机算法，计算过程完全依赖于计算机、GPU等硬件的计算能力。本发明在数学理论层面推导、实验论证分析后，将部分理论转化光学成像过程的控制，设计了结合多对焦法和图像优化的检测方案，充分利用光学成像的数学内涵，实现缺陷的快速检测定位。由于这套方案减少了算法处理的时间，因此相比于同类型的检测系统，降低了对计算机算力的要求。

附图说明

图1为本发明方法的具体操作流程图；

图2为具体一实施例所涉及的一组实验中示例镜头表面图；

图3为具体一实施例所涉及的一组实验中获得的缺陷检测结果。

具体实施方式

为了实现镜头表面缺陷检测，本发明结合成像方式，再结合后处理综合运算，获得缺陷检测结果。

下面结合附图，通过具体实施例，对本发明的技术方案进行清楚、完整的描述。

本发明提出的一种结合多对焦法和图像优化的镜头表面缺陷快速检测方法如图1所示，其主要包含以下步骤：

1、多对焦法成像

待测镜头如图2所示，镜头表面存在较多的缺陷。

成像系统面向对焦位置1时，对焦于待测镜头平面之前距离为L₁处得图Y₁，k₁；

成像系统面向对焦位置2，对焦于待测镜头平面之后距离为L₂处得图Y₂，k₂。

k₁，k₂是基于离焦模型获取的单位脉冲响应，离焦模型中使用参数为L₁与L₂。

2、缺陷锐化过程实现缺陷粗略图获取

基于缺陷锐化过程的如下求解公式：

这里λ,a是常数。参考变量(h,v)，D₁与D₂为图像宽度方向和高度方向的梯度算子，pixel表示图像中任意像素，k^Θ是k的伴随矩阵(两者差π的相位),F和F^-1是快速福利叶变换和反变换算子,F(·)^*表示变换后的复共轭。

于是，针对Y₁，k₁，求解获得X₁；针对Y₂，k₂，求解获得X₂。

缺陷粗略图Quexian可以通过如下公式获取：Quexian＝||X₁-X₂||，|| ||跟上面一样默认为2阶范数。

3、基于图像优化的镜头表面缺陷快速检测

基于图像Quexian，基于下述方程求解表面缺陷图W，对于任意像素(i,j)：

Dis(Quexian(i,j),Plevel)＝|Quexian(i,j)-Plevel|Plevel是像素值，对于位深度为bitdepth的图Quexian，Plevel∈[0,2^bitdepth-1],通过灰度图位深度为8。Num是图Quexian的像素总数。N_Plevel代表图Quexian中含有像素值＝Plevel的数量。

求解结果如图3所示，已经可以明确定位缺陷位置。

对于例子，成像相机分辨率为1920pixel×1080pixel，电脑为普通个人电脑配置(1.8Ghz主频)，总体运行时间为20毫秒以内。

在本发明的图例中，所用到的需要指明相关参数如下：

采用本发明实施例的一种结合多对焦法和图像优化的镜头表面缺陷快速检测方法能快速稳定地对待测镜头进行缺陷检测，得到缺陷检测示意图，图2是含有较多缺陷的待测镜头原图，图3为提取的缺陷示意图。鉴于1920pixel×1080pixel分辨率下运行时间在20毫秒以内(即每秒可处理50帧以上的图像)，表明此系统可实现实时检测(最终速度由生产线运行速度决定)。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (4)

1.一种结合多对焦法和图像优化的镜头表面缺陷快速检测方法，其特征在于，包括如下步骤：

(1)多对焦法成像

成像系统对焦在位置1、2时，成像获取图Y₁，Y₂与对应的单位脉冲响应k₁，k₂

(2)缺陷锐化过程实现缺陷粗略图获取

缺陷粗略图Quexian通过构造缺陷锐化过程与运算获取

(3)基于图像优化的镜头表面缺陷快速检测

基于缺陷粗略图Quexian，基于优化方程求解表面缺陷图W，实现镜头表面缺陷快速检测。

2.如权利要求1所述的一种结合多对焦法和图像优化的镜头表面缺陷快速检测方法，其特征在于，步骤(1)中所述的多对焦法成像，具体方案如下：

成像系统面向对焦位置1时，对焦于待测镜头平面之前距离为L₁处得图Y₁，k₁；成像系统面向对焦位置2，对焦于待测镜头平面之后距离为L₂处得图Y₂，k₂；k₁，k₂是基于离焦模型获取的单位脉冲响应，离焦模型中使用参数为L₁与L₂；

该方案的设计策略，是基于整个发明的连贯实施而设计的。

3.如权利要求1所述的一种结合多对焦法和图像优化的镜头表面缺陷快速检测方法，其特征在于，步骤(2)中所述的缺陷粗略图Quexian通过构造缺陷锐化过程与运算获取，具体方法方案如下：

构造了缺陷区域锐化过程，

此处k即整个系统的单位脉冲响应，对于光学成像主要由镜头决定，它也是一个矩阵，

即为卷积；(h,v)是表示宽度方向和高度方向的梯度值的参考变量，G(h,v)＝#{pixel||h_pixel|+|v_pixel|≠0}，即统计X图中使得图像宽度方向和高度方向的梯度和|h_pixel|+|v_pixel|不为零的像素值数量。这里λ,a是常数；D₁与D₂为图像宽度方向和高度方向的梯度算子，pixel表示图像中任意像素，k^Θ是k的伴随矩阵(两者差π的相位),F和F^-1是快速福利叶变换和反变换算子,F(·)^*表示变换后的复共轭。|| ||默认为2阶范数

推导获得了求解公式：

于是，针对Y₁，k₁，求解获得X₁；针对Y₂，k₂，求解获得X₂

缺陷粗略图Quexian可以通过如下公式获取：Quexian＝||X₁-X₂||，|| ||跟上面一样为2阶范数。

4.如权利要求1所述的一种结合多对焦法和图像优化的镜头表面缺陷快速检测方法，其特征在于，步骤(3)中所述的基于缺陷粗略图Quexian，基于优化方程求解表面缺陷图W，具体方法方案如下：

基于图像Quexian，基于下述方程求解表面缺陷图W，对于任意像素(i,j)：

Dis(Quexian(i,j),Plevel)＝|Quexian(i,j)-Plevel|

Plevel是像素值，对于位深度为bitdepth的图Quexian，Plevel∈[0,2^bitdepth-1],通过灰度图位深度为8；Num是图Quexian的像素总数。N_Plevel代表图Quexian中含有像素值＝Plevel的数量。

Images