CN115908311A - 基于机器视觉的镜片成型检测设备及其方法 - Google Patents

Abstract

本申请涉及智能检测领域，其具体地公开了一种基于机器视觉的镜片成型检测设备及其方法，其通过采用基于深度学习的人工智能机器视觉技术来提取出待检测镜片在单色光源照射下的检测图像以及标准成型质量的参考图像的图像隐含特征信息，并基于解码器对于两者的特征图进行解码，以通过解码值之间的差异与阈值之间的比较来确定成型质量是否满足要求。这样，能够对于镜片的成型质量进行准确地检测，以确保摄像模组内部镜片的成型质量，进而保证了手机摄像模组成像的质量。

Description

基于机器视觉的镜片成型检测设备及其方法

技术领域

本申请涉及智能检测领域，且更为具体地，涉及一种基于机器视觉的镜片成型检测设备及其方法。

背景技术

当前市场手机摄像模组应用范围越来越广泛，客户对摄像模组品质要求越来越高，摄像模组内部镜片的成型质量极大地决定了手机摄像模组成像的质量。因此，在镜片通过模具加工成型后，需要对镜片进行成型质量检测，以确保其成型质量。

对于手机镜片的成型检测通常采用人工目测的方式管控产品的外观良率，通过直接夹取镀膜后的镜片进行目视观察，判断其表面缺陷是否满足客户验收标准。该检测方式效率低下，人员培训周期长，而且人工观察的方式存在较大的主观差异性，极容易出错。

因此，期待一种优化的镜片成型检测方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于机器视觉的镜片成型检测设备及其方法，其通过采用基于深度学习的人工智能机器视觉技术来提取出待检测镜片在单色光源照射下的检测图像以及标准成型质量的参考图像的图像隐含特征信息，并基于解码器对于两者的特征图进行解码，以通过解码值之间的差异与阈值之间的比较来确定成型质量是否满足要求。这样，能够对于镜片的成型质量进行准确地检测，以确保摄像模组内部镜片的成型质量，进而保证了手机摄像模组成像的质量。

根据本申请的一个方面，提供了一种基于机器视觉的镜片成型检测设备，其包括：

成像模块，用于获取待检测镜片在单色光源照射下的检测图像和参考图像，所述参考图像为成型质量符合要求的镜片在所述单色光源照射下的图像；

纹理特征图提取模块，用于提取所述检测图像的第一方向梯度直方图和提取所述参考图像的第二方向梯度直方图；

通道聚合模块，用于将所述第一方向梯度直方图和所述检测图像沿通道维度进行聚合以得到检测多通道图像，并将所述第二方向梯度直方图和所述参考图像沿通道维度进行聚合以得到参考多通道图像；

图像编码模块，用于将所述检测多通道图像和所述参考多通道图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图；

特征流形优化模块，用于分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到优化检测特征图和优化参考特征图；

图像解码模块，用于将所述优化检测特征图和所述优化参考特征图分别通过解码器以得到第一解码值和第二解码值；以及

成型检测结果生成模块，用于基于所述第一解码值和所述第二解码值之间的差值与预定阈值之间的比较，确定所述待检测镜片的成型质量是否满足预定要求。

在上述基于机器视觉的镜片成型检测设备中，所述图像编码模块，包括：第一图像特征提取单元，用于使用所述第一图像编码器对所述检测多通道图像进行深度卷积编码以得到所述检测特征图；以及，第二图像特征提取单元，用于使用所述第二图像编码器对所述参考多通道图像进行深度卷积编码以得到所述参考特征图。

在上述基于机器视觉的镜片成型检测设备中，所述第一图像编码器和所述第二图像编码器为金字塔网络。

在上述基于机器视觉的镜片成型检测设备中，所述第一图像编码器的金字塔网络与所述第二图像编码器的金字塔网络具有相同的网络结构。

在上述基于机器视觉的镜片成型检测设备中，所述特征流形优化模块，进一步用于：以如下公式分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到所述优化检测特征图和所述优化参考特征图；

其中，所述公式为：

其中

表示所述检测特征图和所述参考特征图的特征值，

是所述检测特征图和 所述参考特征图的尺度，且

表示以2为底的对数函数值。

在上述基于机器视觉的镜片成型检测设备中，所述图像解码模块，进一步用于：使 用所述解码器以如下公式对所述优化检测特征图和所述优化参考特征图分别进行解码回 归以获得第一解码值和第二解码值；其中，所述公式为：

，其中

表示所述优化 检测特征图或所述优化参考特征图，

是所述第一解码值或所述第二解码值，

是权重矩 阵，

表示矩阵相乘。

在上述基于机器视觉的镜片成型检测设备中，所述成型检测结果生成模块，包括：差值计算单元，用于计算所述第一解码值和所述第二解码值之间的差值的绝对值作为差异特征值；以及，检测结果生成单元，用于响应于所述差异特征值小于或等于所述预定阈值，确定所述待检测镜片的成型质量满足预定要求。

在上述基于机器视觉的镜片成型检测设备中，所述单色光源为红色光或者蓝色光。

根据本申请的另一方面，提供了一种基于机器视觉的镜片成型检测方法，其包括：

获取待检测镜片在单色光源照射下的检测图像和参考图像，所述参考图像为成型质量符合要求的镜片在所述单色光源照射下的图像；

提取所述检测图像的第一方向梯度直方图和提取所述参考图像的第二方向梯度直方图；

将所述第一方向梯度直方图和所述检测图像沿通道维度进行聚合以得到检测多通道图像，并将所述第二方向梯度直方图和所述参考图像沿通道维度进行聚合以得到参考多通道图像；

将所述检测多通道图像和所述参考多通道图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图；

分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到优化检测特征图和优化参考特征图；

将所述优化检测特征图和所述优化参考特征图分别通过解码器以得到第一解码值和第二解码值；以及

基于所述第一解码值和所述第二解码值之间的差值与预定阈值之间的比较，确定所述待检测镜片的成型质量是否满足预定要求。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于机器视觉的镜片成型检测方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于机器视觉的镜片成型检测方法。

与现有技术相比，本申请提供的一种基于机器视觉的镜片成型检测设备及其方法，其通过采用基于深度学习的人工智能机器视觉技术来提取出待检测镜片在单色光源照射下的检测图像以及标准成型质量的参考图像的图像隐含特征信息，并基于解码器对于两者的特征图进行解码，以通过解码值之间的差异与阈值之间的比较来确定成型质量是否满足要求。这样，能够对于镜片的成型质量进行准确地检测，以确保摄像模组内部镜片的成型质量，进而保证了手机摄像模组成像的质量。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的基于机器视觉的镜片成型检测设备的应用场景图；

图2为根据本申请实施例的基于机器视觉的镜片成型检测设备的框图；

图3为根据本申请实施例的基于机器视觉的镜片成型检测设备的系统架构图；

图4为根据本申请实施例的基于机器视觉的镜片成型检测设备中图像编码模块的框图；

图5为根据本申请实施例的基于机器视觉的镜片成型检测设备中成型检测结果生成模块的框图；和

图6为根据本申请实施例的基于机器视觉的镜片成型检测方法的流程图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，当前市场手机摄像模组应用范围越来越广泛，客户对摄像模组品质要求越来越高，摄像模组内部镜片的成型质量极大地决定了手机摄像模组成像的质量。因此，在镜片通过模具加工成型后，需要对镜片进行成型质量检测，以确保其成型质量。

对于手机镜片的成型检测通常采用人工目测的方式管控产品的外观良率，通过直接夹取镀膜后的镜片进行目视观察，判断其表面缺陷是否满足客户验收标准。该检测方式效率低下，人员培训周期长，而且人工观察的方式存在较大的主观差异性，极容易出错。因此，期待一种优化的镜片成型检测方案。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

近年来，深度学习以及神经网络的发展为镜片的成型质量检测提供了新的解决思路和方案。

具体地，在本申请的技术方案中，将采用基于深度学习的人工智能机器视觉技术来提取出待检测镜片在单色光源照射下的检测图像以及标准成型质量的参考图像的图像隐含特征信息，并基于解码器对于两者的特征图进行解码，以通过解码值之间的差异与阈值之间的比较来确定成型质量是否满足要求。也就是，将人工智能机器视觉技术用于实际的生产中以构建镜片成型的质量检测方案。

具体地，在本申请的技术方案中，首先，获取待检测镜片在单色光源照射下的检测图像和参考图像，这里，所述参考图像为成型质量符合要求的镜片在所述单色光源照射下的图像。然后，考虑到在所述镜片加工成型后的镜片质量缺陷一般表现为纹理特征中，而方向梯度直方图是一种用于描述图像局部纹理特征的方法，因此，进一步提取所述检测图像的第一方向梯度直方图和提取所述参考图像的第二方向梯度直方图以提取出图像源域端的纹理特征表示。应可以理解，这里，所述方向梯度直方图能够将所述检测图像和所述参考图像等划分为小尺寸的质量检测空间，计算检测空间内各像素点的梯度，并根据梯度分布生成质量检测方向梯度直方图，然后，在较大尺寸的块空间内统计各质量检测方向梯度直方图分布，生成块空间方向梯度直方图，描述局部纹理信息，进而提取出图像源域端的纹理特征表示。

接着，将所述第一方向梯度直方图和所述检测图像沿通道维度进行聚合以得到检测多通道图像，并将所述第二方向梯度直方图和所述参考图像沿通道维度进行聚合以得到参考多通道图像。进一步地，在进行沿通道维度聚合后，将所述检测多通道图像和所述参考多通道图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图。也就是，通过具有第一图像编码器和第二图像编码器的双重检测模型使用金字塔网络作为图像编码器来分别对于所述检测多通道图像和所述参考多通道图像进行编码处理，以在提取出所述待检测镜片的检测图像和参考图像的深层隐含特征的同时，保留作为浅层特征的纹理特征信息，进而在后续解码回归时提高对于镜片成型质量检测的精准度。特别地，这里，所述第一图像编码器和所述第二图像编码器都为金字塔网络，并且所述第一图像编码器的金字塔网络与所述第二图像编码器的金字塔网络具有相同的网络结构。应可以理解，金字塔网络主要是解决目标检测中的多尺度问题，通过简单的改变网络连接，在基本不增加原有模型计算量的情况下，可以在不同的特征层上独立进行预测，大幅提升了小目标检测的性能。

进一步地，基于解码器对特征图进行解码，并通过解码值之间的差异与预定阈值之间的比较，来确定成型质量是否满足要求。也就是，具体地，将所述优化检测特征图和所述优化参考特征图分别通过解码器以得到第一解码值和第二解码值，进一步再基于两者之间的差值与预定阈值进行比较来确定所述待检测镜片的成型质量是否满足预定要求。相应地，在本申请的一个具体示例中，可以计算所述第一解码值和所述第二解码值之间的差值的绝对值作为差异特征值，并且在响应于所述差异特征值小于或等于所述预定阈值，确定所述待检测镜片的成型质量满足预定要求。

特别地，在本申请的技术方案中，由于所述检测特征图和所述参考特征图均是由方向梯度直方图和原始图像沿通道维度后聚合经由图像编码器得到的，且所述方向梯度直方图和所述原始图像处于不同的源语义空间，因此经由图像编码器得到的所述检测特征图和所述参考特征图会在高维特征语义空间内存在分布发散，从而导致所述检测特征图和所述参考特征图分别通过解码器时存在回归发散，影响解码器的训练速度和解码回归结果的准确性。

因此，优选地，对所述检测特征图和所述参考特征图分别进行面向回归有界闭域的分布转移优化：

是特征图的特征值，

是特征图的尺度，即宽度乘以高度乘以通道数，且

表示 以2为底的对数。

这里，所述面向回归有界闭域的分布转移优化针对特征图所代表的高维特征分布在转移到回归问题的目标域时可能存在的回归发散，通过基于条件化回归的结构化信息约束来向着特征集合的有界闭域进行特征分布的收敛，以使得特征分布转移到目标域下的具有稳定的可结构化边界的范围内，提升了回归解的归纳迭代的稳定性，即，提高了解码器的解码回归的训练速度和回归结果的准确性。这样，能够对于镜片的成型质量进行准确地检测，以确保摄像模组内部镜片的成型质量，进而保证了手机摄像模组成像的质量。

基于此，本申请提出了一种基于机器视觉的镜片成型检测设备，其包括：成像模块，用于获取待检测镜片在单色光源照射下的检测图像和参考图像，所述参考图像为成型质量符合要求的镜片在所述单色光源照射下的图像；纹理特征图提取模块，用于提取所述检测图像的第一方向梯度直方图和提取所述参考图像的第二方向梯度直方图；通道聚合模块，用于将所述第一方向梯度直方图和所述检测图像沿通道维度进行聚合以得到检测多通道图像，并将所述第二方向梯度直方图和所述参考图像沿通道维度进行聚合以得到参考多通道图像；图像编码模块，用于将所述检测多通道图像和所述参考多通道图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图；特征流形优化模块，用于分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到优化检测特征图和优化参考特征图；图像解码模块，用于将所述优化检测特征图和所述优化参考特征图分别通过解码器以得到第一解码值和第二解码值；以及，成型检测结果生成模块，用于基于所述第一解码值和所述第二解码值之间的差值与预定阈值之间的比较，确定所述待检测镜片的成型质量是否满足预定要求。

图1为根据本申请实施例的基于机器视觉的镜片成型检测设备的应用场景图。如图1所示，在该应用场景中，通过摄像头（例如，如图1中所示意的C）获取待检测镜片在单色光源照射下的检测图像（例如，如图1中所示意的F1）和参考图像（例如，如图1中所示意的F2），其中，所述参考图像为成型质量符合要求的镜片在所述单色光源照射下的图像。接着，将上述图像输入至部署有用于基于机器视觉的镜片成型检测算法的服务器（例如，图1中的S）中，其中，所述服务器能够以所述基于机器视觉的镜片成型检测算法对上述输入的图像进行处理，以基于所述第一解码值和所述第二解码值之间的差值与预定阈值之间的比较，来确定所述待检测镜片的成型质量是否满足预定要求。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2为根据本申请实施例的基于机器视觉的镜片成型检测设备的框图。如图2所示，根据本申请实施例的基于机器视觉的镜片成型检测设备300，包括：成像模块310；纹理特征图提取模块320；通道聚合模块330；图像编码模块340；特征流形优化模块350；图像解码模块360；以及，成型检测结果生成模块。

其中，所述成像模块310，用于获取待检测镜片在单色光源照射下的检测图像和参考图像，所述参考图像为成型质量符合要求的镜片在所述单色光源照射下的图像；所述纹理特征图提取模块320，用于提取所述检测图像的第一方向梯度直方图和提取所述参考图像的第二方向梯度直方图；所述通道聚合模块330，用于将所述第一方向梯度直方图和所述检测图像沿通道维度进行聚合以得到检测多通道图像，并将所述第二方向梯度直方图和所述参考图像沿通道维度进行聚合以得到参考多通道图像；所述图像编码模块340，用于将所述检测多通道图像和所述参考多通道图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图；所述特征流形优化模块350，用于分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到优化检测特征图和优化参考特征图；所述图像解码模块360，用于将所述优化检测特征图和所述优化参考特征图分别通过解码器以得到第一解码值和第二解码值；以及，所述成型检测结果生成模块370，用于基于所述第一解码值和所述第二解码值之间的差值与预定阈值之间的比较，确定所述待检测镜片的成型质量是否满足预定要求。

图3为根据本申请实施例的基于机器视觉的镜片成型检测设备的系统架构图。如图3所示，在所述基于机器视觉的镜片成型检测设备300的系统架构中，首先通过所述成像模块310获取待检测镜片在单色光源照射下的检测图像和参考图像，所述参考图像为成型质量符合要求的镜片在所述单色光源照射下的图像；所述纹理特征图提取模块320提取所述成像模块310获取的检测图像的第一方向梯度直方图和提取所述成像模块310获取的参考图像的第二方向梯度直方图；接着，所述通道聚合模块330将所述纹理特征图提取模块320提取的第一方向梯度直方图和所述成像模块310获取的检测图像沿通道维度进行聚合以得到检测多通道图像，并将所述纹理特征图提取模块320提取的第二方向梯度直方图和所述成像模块310获取的参考图像沿通道维度进行聚合以得到参考多通道图像；所述图像编码模块340将所述通道聚合模块330得到的检测多通道图像和所述参考多通道图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图；然后，所述特征流形优化模块350分别对所述图像编码模块340生成的检测特征图和所述参考特征图的高维特征数据流形进行优化以得到优化检测特征图和优化参考特征图；所述图像解码模块360将所述特征流形优化模块350生成的优化检测特征图和所述优化参考特征图分别通过解码器以得到第一解码值和第二解码值；进而，所述成型检测结果生成模块370基于所述第一解码值和所述第二解码值之间的差值与预定阈值之间的比较，确定所述待检测镜片的成型质量是否满足预定要求。

具体地，在所述基于机器视觉的镜片成型检测设备300的运行过程中，所述成像模块310，用于获取待检测镜片在单色光源照射下的检测图像和参考图像，所述参考图像为成型质量符合要求的镜片在所述单色光源照射下的图像，所述单色光源为红色光或者蓝色光。在本申请的技术方案中，通过对待检测镜片在单色光源照射下的检测图像以及标准成型质量的参考图像两者的特征图进行解码，以通过解码值之间的差异与阈值之间的比较来确定成型质量是否满足要求，因此，在本申请的一个具体示例中，可通过摄像头来获取待检测镜片在单色光源照射下的检测图像和参考图像，由于镜片表面缺陷极其微小，因此，应采用像素偏高的摄像头来完成图像的采集。

具体地，在所述基于机器视觉的镜片成型检测设备300的运行过程中，所述纹理特征图提取模块320和所述通道聚合模块330，用于提取所述检测图像的第一方向梯度直方图和提取所述参考图像的第二方向梯度直方图，并将所述第一方向梯度直方图和所述检测图像沿通道维度进行聚合以得到检测多通道图像，并将所述第二方向梯度直方图和所述参考图像沿通道维度进行聚合以得到参考多通道图像。考虑到在所述镜片加工成型后的镜片质量缺陷一般表现为纹理特征中，而方向梯度直方图是一种用于描述图像局部纹理特征的方法，因此，进一步提取所述检测图像的第一方向梯度直方图和提取所述参考图像的第二方向梯度直方图以提取出图像源域端的纹理特征表示。应可以理解，这里，所述方向梯度直方图能够将所述检测图像和所述参考图像等划分为小尺寸的质量检测空间，计算检测空间内各像素点的梯度，并根据梯度分布生成质量检测方向梯度直方图，然后，在较大尺寸的块空间内统计各质量检测方向梯度直方图分布，生成块空间方向梯度直方图，描述局部纹理信息，进而提取出图像源域端的纹理特征表示。接着，将所述第一方向梯度直方图和所述检测图像沿通道维度进行聚合以得到检测多通道图像，并将所述第二方向梯度直方图和所述参考图像沿通道维度进行聚合以得到参考多通道图像。

具体地，在所述基于机器视觉的镜片成型检测设备300的运行过程中，所述图像编码模块340，用于将所述检测多通道图像和所述参考多通道图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图。在进行沿通道维度聚合后，将所述检测多通道图像和所述参考多通道图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图。也就是，通过具有第一图像编码器和第二图像编码器的双重检测模型使用金字塔网络作为图像编码器来分别对于所述检测多通道图像和所述参考多通道图像进行编码处理，以在提取出所述待检测镜片的检测图像和参考图像的深层隐含特征的同时，保留作为浅层特征的纹理特征信息，进而在后续解码回归时提高对于镜片成型质量检测的精准度。特别地，这里，所述第一图像编码器和所述第二图像编码器都为金字塔网络，并且所述第一图像编码器的金字塔网络与所述第二图像编码器的金字塔网络具有相同的网络结构。应可以理解，金字塔网络主要是解决目标检测中的多尺度问题，通过简单的改变网络连接，在基本不增加原有模型计算量的情况下，可以在不同的特征层上独立进行预测，为了使不同尺度的特征都包含丰富的语义信息，同时又不使得计算成本过高，采用top-down和lateral connection的方式，让低层高分辨率低语义的特征和高层低分辨率高语义的特征融合在一起，同时融合原来的特征，使得最终得到的不同尺度的特征图都有丰富的语义信息，即顶层特征通过上采样与低层特征做融合，而且每层都进行独立预测。因此，在本申请的技术方案中，可采用金字塔网络，整个过程是先对原始图像构造图像金字塔，即先将图像做成不同的尺寸，然后在图像金字塔的每一层提取不同的特征，然后进行相应的Bbox位置回归，这样，能够大幅提升小目标检测的性能。

图4为根据本申请实施例的基于机器视觉的镜片成型检测设备中图像编码模块的框图。如图4所示，所述图像编码模块340，包括：第一图像特征提取单元341，用于使用所述第一图像编码器对所述检测多通道图像进行深度卷积编码以得到所述检测特征图；以及，第二图像特征提取单元342，用于使用所述第二图像编码器对所述参考多通道图像进行深度卷积编码以得到所述参考特征图。其中，所述第一图像编码器和所述第二图像编码器为金字塔网络，且所述第一图像编码器的金字塔网络与所述第二图像编码器的金字塔网络具有相同的网络结构。

具体地，在所述基于机器视觉的镜片成型检测设备300的运行过程中，所述特征流形优化模块350，用于分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到优化检测特征图和优化参考特征图。特别地，在本申请的技术方案中，由于所述检测特征图和所述参考特征图均是由方向梯度直方图和原始图像沿通道维度后聚合经由图像编码器得到的，且所述方向梯度直方图和所述原始图像处于不同的源语义空间，因此经由图像编码器得到的所述检测特征图和所述参考特征图会在高维特征语义空间内存在分布发散，从而导致所述检测特征图和所述参考特征图分别通过解码器时存在回归发散，影响解码器的训练速度和解码回归结果的准确性。

因此，优选地，对所述检测特征图和所述参考特征图分别进行面向回归有界闭域的分布转移优化：

其中

表示所述检测特征图和所述参考特征图的特征值，

是所述检测特征图和 所述参考特征图的尺度，且

表示以2为底的对数函数值。

这里，所述面向回归有界闭域的分布转移优化针对特征图所代表的高维特征分布在转移到回归问题的目标域时可能存在的回归发散，通过基于条件化回归的结构化信息约束来向着特征集合的有界闭域进行特征分布的收敛，以使得特征分布转移到目标域下的具有稳定的可结构化边界的范围内，提升了回归解的归纳迭代的稳定性，即，提高了解码器的解码回归的训练速度和回归结果的准确性。这样，能够对于镜片的成型质量进行准确地检测，以确保摄像模组内部镜片的成型质量，进而保证了手机摄像模组成像的质量。

具体地，在所述基于机器视觉的镜片成型检测设备300的运行过程中，所述图像解 码模块360，用于将所述优化检测特征图和所述优化参考特征图分别通过解码器以得到第 一解码值和第二解码值。在本申请的一个具体示例中，所述所述图像解码模块，进一步用 于：使用所述解码器以如下公式对所述优化检测特征图和所述优化参考特征图分别进行解 码回归以获得第一解码值和第二解码值；其中，所述公式为：

，其中

表示所述 优化检测特征图或所述优化参考特征图，

是所述第一解码值或所述第二解码值，

是权 重矩阵，

表示矩阵相乘。

具体地，在所述基于机器视觉的镜片成型检测设备300的运行过程中，所述成型检测结果生成模块370，用于基于所述第一解码值和所述第二解码值之间的差值与预定阈值之间的比较，确定所述待检测镜片的成型质量是否满足预定要求。在本申请的技术方案中，通过解码值之间的差异与预定阈值之间的比较，来确定成型质量是否满足要求。也就是，具体地，将所述优化检测特征图和所述优化参考特征图分别通过解码器以得到第一解码值和第二解码值，进一步再基于两者之间的差值与预定阈值进行比较来确定所述待检测镜片的成型质量是否满足预定要求。相应地，在本申请的一个具体示例中，可以计算所述第一解码值和所述第二解码值之间的差值的绝对值作为差异特征值，并且在响应于所述差异特征值小于或等于所述预定阈值，确定所述待检测镜片的成型质量满足预定要求。

图5为根据本申请实施例的基于机器视觉的镜片成型检测设备中成型检测结果生成模块的框图。如图5所示，所述成型检测结果生成模块370，包括：差值计算单元371，用于计算所述第一解码值和所述第二解码值之间的差值的绝对值作为差异特征值；以及，检测结果生成单元372，用于响应于所述差异特征值小于或等于所述预定阈值，确定所述待检测镜片的成型质量满足预定要求。

综上，根据本申请实施例的基于机器视觉的镜片成型检测设备300被阐明，其通过采用基于深度学习的人工智能机器视觉技术来提取出待检测镜片在单色光源照射下的检测图像以及标准成型质量的参考图像的图像隐含特征信息，并基于解码器对于两者的特征图进行解码，以通过解码值之间的差异与阈值之间的比较来确定成型质量是否满足要求。这样，能够对于镜片的成型质量进行准确地检测，以确保摄像模组内部镜片的成型质量，进而保证了手机摄像模组成像的质量。

如上所述，根据本申请实施例的基于机器视觉的镜片成型检测设备可以实现在各种终端设备中。在一个示例中，根据本申请实施例的基于机器视觉的镜片成型检测设备300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于机器视觉的镜片成型检测设备300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于机器视觉的镜片成型检测设备300同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于机器视觉的镜片成型检测设备300与该终端设备也可以是分立的设备，并且该基于机器视觉的镜片成型检测设备300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图6为根据本申请实施例的基于机器视觉的镜片成型检测方法的流程图。如图6所示，根据本申请实施例的基于机器视觉的镜片成型检测方法，包括步骤：S110，获取待检测镜片在单色光源照射下的检测图像和参考图像，所述参考图像为成型质量符合要求的镜片在所述单色光源照射下的图像；S120，提取所述检测图像的第一方向梯度直方图和提取所述参考图像的第二方向梯度直方图；S130，将所述第一方向梯度直方图和所述检测图像沿通道维度进行聚合以得到检测多通道图像，并将所述第二方向梯度直方图和所述参考图像沿通道维度进行聚合以得到参考多通道图像；S140，将所述检测多通道图像和所述参考多通道图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图；S150，分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到优化检测特征图和优化参考特征图；S160，将所述优化检测特征图和所述优化参考特征图分别通过解码器以得到第一解码值和第二解码值；以及，S170，基于所述第一解码值和所述第二解码值之间的差值与预定阈值之间的比较，确定所述待检测镜片的成型质量是否满足预定要求。

在一个示例中，在上述基于机器视觉的镜片成型检测方法中，所述步骤S140，包括：使用所述第一图像编码器对所述检测多通道图像进行深度卷积编码以得到所述检测特征图；以及，使用所述第二图像编码器对所述参考多通道图像进行深度卷积编码以得到所述参考特征图。其中，所述第一图像编码器和所述第二图像编码器为金字塔网络，所述第一图像编码器的金字塔网络与所述第二图像编码器的金字塔网络具有相同的网络结构。

在一个示例中，在上述基于机器视觉的镜片成型检测方法中，所述步骤S150，包括：以如下公式分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到所述优化检测特征图和所述优化参考特征图；

其中，所述公式为：

其中

表示所述检测特征图和所述参考特征图的特征值，

是所述检测特征图和 所述参考特征图的尺度，且

表示以2为底的对数函数值。

在一个示例中，在上述基于机器视觉的镜片成型检测方法中，所述步骤S160，包 括：使用所述解码器以如下公式对所述优化检测特征图和所述优化参考特征图分别进行解 码回归以获得第一解码值和第二解码值；其中，所述公式为：

，其中

表示所述 优化检测特征图或所述优化参考特征图，

是所述第一解码值或所述第二解码值，

是权 重矩阵，

表示矩阵相乘。

在一个示例中，在上述基于机器视觉的镜片成型检测方法中，所述步骤S170，包括：计算所述第一解码值和所述第二解码值之间的差值的绝对值作为差异特征值；以及，响应于所述差异特征值小于或等于所述预定阈值，确定所述待检测镜片的成型质量满足预定要求。

综上，根据本申请实施例的基于机器视觉的镜片成型检测方法被阐明，其通过采用基于深度学习的人工智能机器视觉技术来提取出待检测镜片在单色光源照射下的检测图像以及标准成型质量的参考图像的图像隐含特征信息，并基于解码器对于两者的特征图进行解码，以通过解码值之间的差异与阈值之间的比较来确定成型质量是否满足要求。这样，能够对于镜片的成型质量进行准确地检测，以确保摄像模组内部镜片的成型质量，进而保证了手机摄像模组成像的质量。

Claims (10)

1.一种基于机器视觉的镜片成型检测设备，其特征在于，包括：

成像模块，用于获取待检测镜片在单色光源照射下的检测图像和参考图像，所述参考图像为成型质量符合要求的镜片在所述单色光源照射下的图像；

纹理特征图提取模块，用于提取所述检测图像的第一方向梯度直方图和提取所述参考图像的第二方向梯度直方图；

通道聚合模块，用于将所述第一方向梯度直方图和所述检测图像沿通道维度进行聚合以得到检测多通道图像，并将所述第二方向梯度直方图和所述参考图像沿通道维度进行聚合以得到参考多通道图像；

图像编码模块，用于将所述检测多通道图像和所述参考多通道图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图；

特征流形优化模块，用于分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到优化检测特征图和优化参考特征图；

图像解码模块，用于将所述优化检测特征图和所述优化参考特征图分别通过解码器以得到第一解码值和第二解码值；以及

成型检测结果生成模块，用于基于所述第一解码值和所述第二解码值之间的差值与预定阈值之间的比较，确定所述待检测镜片的成型质量是否满足预定要求。

2.根据权利要求1所述的基于机器视觉的镜片成型检测设备，其特征在于，所述图像编码模块，包括：

第一图像特征提取单元，用于使用所述第一图像编码器对所述检测多通道图像进行深度卷积编码以得到所述检测特征图；以及

第二图像特征提取单元，用于使用所述第二图像编码器对所述参考多通道图像进行深度卷积编码以得到所述参考特征图。

3.根据权利要求2所述的基于机器视觉的镜片成型检测设备，其特征在于，所述第一图像编码器和所述第二图像编码器为金字塔网络。

4.根据权利要求3所述的基于机器视觉的镜片成型检测设备，其特征在于，所述第一图像编码器的金字塔网络与所述第二图像编码器的金字塔网络具有相同的网络结构。

5.根据权利要求4所述的基于机器视觉的镜片成型检测设备，其特征在于，所述特征流形优化模块，进一步用于：以如下公式分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到所述优化检测特征图和所述优化参考特征图；

其中，所述公式为：

其中

表示所述检测特征图和所述参考特征图的特征值，

是所述检测特征图和所述参考特征图的尺度，且

表示以2为底的对数函数值。

6.根据权利要求5所述的基于机器视觉的镜片成型检测设备，其特征在于，所述图像解码模块，进一步用于：使用所述解码器以如下公式对所述优化检测特征图和所述优化参考特征图分别进行解码回归以获得第一解码值和第二解码值；其中，所述公式为：

，其中

表示所述优化检测特征图或所述优化参考特征图，

是所述第一解码值或所述第二解码值，

是权重矩阵，

表示矩阵相乘。

7.根据权利要求6所述的基于机器视觉的镜片成型检测设备，其特征在于，所述成型检测结果生成模块，包括：

差值计算单元，用于计算所述第一解码值和所述第二解码值之间的差值的绝对值作为差异特征值；以及

检测结果生成单元，用于响应于所述差异特征值小于或等于所述预定阈值，确定所述待检测镜片的成型质量满足预定要求。

8.根据权利要求7所述的基于机器视觉的镜片成型检测设备，其特征在于，所述单色光源为红色光或者蓝色光。

9.一种基于机器视觉的镜片成型检测方法，其特征在于，包括：

获取待检测镜片在单色光源照射下的检测图像和参考图像，所述参考图像为成型质量符合要求的镜片在所述单色光源照射下的图像；

提取所述检测图像的第一方向梯度直方图和提取所述参考图像的第二方向梯度直方图；

将所述第一方向梯度直方图和所述检测图像沿通道维度进行聚合以得到检测多通道图像，并将所述第二方向梯度直方图和所述参考图像沿通道维度进行聚合以得到参考多通道图像；

将所述检测多通道图像和所述参考多通道图像通过包含第一图像编码器和第二图像编码器的双重检测模型以得到检测特征图和参考特征图；

分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到优化检测特征图和优化参考特征图；

将所述优化检测特征图和所述优化参考特征图分别通过解码器以得到第一解码值和第二解码值；以及

基于所述第一解码值和所述第二解码值之间的差值与预定阈值之间的比较，确定所述待检测镜片的成型质量是否满足预定要求。

10.根据权利要求9所述的基于机器视觉的镜片成型检测方法，其特征在于，所述分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到优化检测特征图和优化参考特征图，包括：以如下公式分别对所述检测特征图和所述参考特征图的高维特征数据流形进行优化以得到所述优化检测特征图和所述优化参考特征图；

其中，所述公式为：

其中

表示所述检测特征图和所述参考特征图的特征值，

是所述检测特征图和所述参考特征图的尺度，且

表示以2为底的对数函数值。

Images