CN117197550A - 基于图像立方体与深度学习的vr镜片缺陷检测方法及系统 - Google Patents

Abstract

本发明提供一种基于图像立方体与深度学习的VR镜片缺陷检测方法及系统，本发明收集一批离线缺陷样本库，以YOLOV8网络为基础，进行网络的优化，构建一种轻量级的卷积神经网络，同将样本进行训练，生成图像分类、Anchor‑Free缺陷检测和实例分割的高效算法。每次检出时只要将提取的缺陷切片图给到训练好的深度学习分类模型中就可以输出检出与分类结果。本发明能够满足厚度不一的VR镜片模组的细微缺陷检测与分类，准确度高。

Description

基于图像立方体与深度学习的VR镜片缺陷检测方法及系统

技术领域

本发明涉及3D视觉检测领域，具体而言，涉及一种基于图像立方体与深度学习的VR镜片缺陷检测方法及系统。

背景技术

VR光学模组是虚拟现实(Virtual Reality，VR)设备中的光学元件之一，用于调节和聚焦图像，以提供用户更清晰、逼真的视觉体验，整个镜片模组是由多层不同的光学材料与LENS贴合而成，工艺过程中膜材很容易被设备及人员的不良操作造成划伤，及混入环境异物等。此类产品会显示出带缺陷的画面，佩戴使用时会造成不良的用户体验。

现阶段对于VR镜片模组的检测方案主要有两种，一是生产线下游工人，对着灯光进行人眼缺陷检测。但是人工成本高，高亮度持续作业对人的视力有不可逆转的伤害，并且人眼在高亮度环境下工作超过两个小时就会出现视力疲劳造成大量细微缺陷漏检的情况。第二种方案是自动光学检测。VR光学模组工艺较为复杂，有多层不同材质的叠构组成，其中包括了膜材和LENS，形态为曲面并且厚度较厚。现有技术的自动光学检测设备通常因为相机的限制无法将此类产品的所有缺陷，特别是细微缺陷做出清晰的成像。并且缺陷种类较多，清晰度不高的各类细微缺陷形态接近，传统算法更无法将不同类型的缺陷做出正确的分类。因此，急需研发一种新的缺陷检测方法以解决上述问题。

发明内容

为解决上述缺陷，本发明提供一种基于图像立方体与深度学习的VR镜片缺陷检测方法及系统，检出时只要将提取的缺陷切片图给到训练好的深度学习分类模型中就可以输出检出与分类结果。本发明能够满足厚度不一的VR镜片模组的细微缺陷检测与分类，准确度高。

第一方面，本发明提供一种基于图像立方体与深度学习的VR镜片缺陷检测方法，其包括以下步骤：

S1、选取VR镜片的标准图像和待测VR镜片的不同类别的缺陷图像作为训练样本集，以YOLOV8网络为基础，进行网络的优化，构建检测待测VR镜片缺陷的轻量级的卷积神经网络，并将训练样本集送入轻量级的卷积神经网络进行训练；

S2、基于轻量级的卷积神经网络，在线检测待测VR镜片的缺陷的位置和类别。

于本发明的一种实施方式中，所述步骤S1包括以下过程：

S11、将待测VR镜片分别放入机台内部，通过景深下降的方式，利用自动对焦系统拍摄N张图像，构成一个长宽高分别为X,Y,N的图像立方体；

S12、基于第一张图像，提取出待测VR镜片的感兴趣区域，同时计算出待测VR镜片的原点，并将其作为初始化信息保存到配方文件中；

S13、获取待测VR镜片的N张图像，将最清晰的缺陷提取出来，并保存为缺陷图像；

S14、重复步骤S11、S13的动作，将不少于1000张各类缺陷图像存储为训练样本集，不少于200张各类缺陷图像储存为验证样本集；

S15、基于YOLOV8进行轻量级的卷积神经网络的优化与搭建；

S16、初始化网络参数后，将训练样本集送入轻量级的卷积神经网络中进行训练，并采用验证样本集进行验证。

于本发明的一种实施方式中，在步骤S12中，通过对比度拉伸，增强边缘对比度，并通过阈值分割的方法，提取出待测VR镜片的感兴趣区域；同时通过拟合的方式将VR镜片轮廓拟合成一个椭圆形，计算长轴与短轴的交点记为VR镜片的原点，即为VR镜片缺陷坐标的原点。

于本发明的一种实施方式中，在步骤S12中，所述配方文件包括图像单相素精度、自动对焦系统每次拍照下降高度、坐标原点位置、顶点坐标位置、二值化参数和感兴趣区域的一种或者多种。

于本发明的一种实施方式中，在步骤S13中，在每张图像上分别利用配方文件中的感兴趣区域信息分割出待检测区域，利用自适应直方图均衡化和拉普拉斯金字塔的结合将图像的对比度进行增强，再利用特征点聚类的方法，将缺陷提取出来，以提取出的缺陷中心为中心坐标截取缺陷图像，并且将检出的缺陷信息保存到一个结构体里面；利用二分法，遍历所有提取到的缺陷D_all，当遍历到D_i时找出与之中心点坐标一致的其他图层的缺陷，利用清晰度算法确认缺陷D_i最清晰成像所在的图层序号，将其他图层的D_i缺陷相关信息删除，并更新D_all，遍历完最终的D _all就为此片VR镜片模组的缺陷集合。

于本发明的一种实施方式中，在步骤S13中，将基于像素技术与梯度技术的清晰度算法结合起来，先利用灰度方差算法，如下公式：

确定锚点图像所在的序号，再利用梯度函数分别计算锚点图像及上下各四张图像的水平垂直和斜向的梯度值；

模板算子：

卷积结果：

f_x(x，y)＝f(x，y)*K_x，f_y(x，y)＝f(x，y)*K_y，

f_α(x，y)＝f(x，y)*K_α，f_β(x，y)＝f(x，y)*K_β；

清晰度数值：

于本发明的一种实施方式中，在步骤S14中，缺陷的类型包括划伤、脏污、点刮、毛丝、异物和黑点中的一种或者多种。

于本发明的一种实施方式中，在步骤S15中：采用focal loss函数作为损失函数：

L_fl＝-(1-p_t)^γlog(p_t)。

于本发明的一种实施方式中，在步骤S16中，在训练样本集送入轻量级的卷积神经网络之前，需通过图像拉伸旋转、平移或者高斯滤波方式做数据集的增强，分别设置多个迭代次数，训练出多种在验证样本集中分类准确率均高于98％的模型，将模型加载到内存中，输入图像就可以进行分类预测，多组训练模型输出的分类结果不同时，选择分数最高的那个预测结果为最终结果。

第二方面，本发明提供一种基于图像立方体与深度学习的VR镜片缺陷检测系统，其包括：图像获取组件，用于获取VR镜片的标准图像和待测VR镜片的不同类别的缺陷图像；检测组件，用于构建待测VR镜片缺陷的轻量级的卷积神经网络，对待测VR镜片缺陷检测，确定所述待测VR镜片缺陷的位置和类别。

于本发明的一种实施方式中，所述检测组件包括：图像预处理模块，用于对VR镜片的不同类别的缺陷图像经过图像拉伸旋转，平移或者高斯滤波方式进行处理，进行训练数据的增强；主干网络模块，其以CSPDARKNET53作为基础网络，对于网络每层进行剪枝，优化参数，并通过迭代修剪的方式多次修剪同一参数，实现参数的优化，进而达到特征提取的优化；Neck网络模块，其采用CSPN-FPN作为颈部网络，用于将不同尺度的特征图进行融合；Head网络模块，其采用YOLOV8的head，其包括分类头和定位头，分类头采用解耦头的设计，包含3个3*3卷积层；定位头采用无锚框的设计，直接预测目标的中心点和边框并给出置信度；综合判断模块，其将训练样本集送入构造好的网络后设置多个迭代次数，训练出多种在验证样本集中分类准确率均高于98％的模型，当图像获取组件将目标缺陷传入多个网络后，通过不同网络给出的置信度分数，选择分数最高的预测结果为最终结果。

综上所述，本发明提供一种基于图像立方体与深度学习的VR镜片缺陷检测方法及系统，本发明的有益效果是：

本发明收集一批离线缺陷样本库，以YOLOV8网络为基础，进行网络的优化，构建一种轻量级的卷积神经网络，同将样本进行训练，生成图像分类、Anchor-Free缺陷检测和实例分割的高效算法。每次检出时只要将提取的缺陷切片图给到训练好的深度学习分类模型中就可以输出检出与分类结果。本发明能够满足厚度不一的VR镜片模组的细微缺陷检测与分类，准确度高。

附图说明

图1显示为实施例1提供的基于图像立方体与深度学习的VR镜片缺陷检测方法的流程图。

图2显示为实施例1中轻量级的卷积神经网络在线检测待测VR镜片得出的图像立方体融合图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

实施例1

如图1所示，实施例提供一种基于图像立方体与深度学习的VR镜片缺陷检测方法，包括以下步骤：

S1、选取VR镜片的标准图像和待测VR镜片的不同类别的缺陷图像作为训练样本集，以YOLOV8网络为基础，进行网络的优化，构建检测待测VR镜片缺陷的轻量级的卷积神经网络，并将训练样本集送入轻量级的卷积神经网络进行训练；

其中，步骤S1包括以下过程：

S11、将待测VR镜片分别放入机台内部，通过景深下降的方式，利用自动对焦系统拍摄N张图像。

S12、基于第一张图像，提取出待测VR镜片的感兴趣区域和非检出区域，同时计算出待测VR镜片的原点，并将其作为初始化信息保存到配方文件中，以便之后的批量测试使用。

具体来讲，在步骤S12中，通过对比度拉伸，增强边缘对比度，并通过阈值分割的方法，提取出待测VR镜片的感兴趣区域和非检出区域。

进一步地，通过拟合的方式将VR镜片轮廓拟合成一个椭圆形，计算长轴与短轴的交点记为VR镜片的原点，即为VR镜片缺陷坐标的原点。

进一步地，配方文件包括图像单相素精度、自动对焦系统每次拍照下降高度、坐标原点位置、顶点坐标位置、二值化参数和感兴趣区域等参数。

S13、获取待测VR镜片的N张图像，将最清晰的缺陷提取出来，并保存为尺寸为640*640像素的缺陷图像。

具体来讲，在步骤S13中，在每张图像上分别利用配方文件中的感兴趣区域信息分割出待检测区域，利用自适应直方图均衡化和拉普拉斯金字塔的结合将图像的对比度进行增强，再利用特征点聚类的方法，将缺陷提取出来，以提取出的缺陷中心为中心坐标截取缺陷图像，并且将检出的缺陷信息，如长、宽、图层序号、图像，都保存到一个结构体里面。

进一步地，利用二分法，遍历所有提取到的缺陷D_all，当遍历到D_i时找出与之中心点坐标一致的其他图层的缺陷，利用清晰度算法确认缺陷D_i最清晰成像所在的图层序号，将其他图层的D_i缺陷相关信息删除，并更新D _all，遍历完最终的D _all就为此片VR镜片模组的缺陷集合。

在步骤S13中，将基于像素技术与梯度技术的清晰度算法结合起来，先利用灰度方差算法确定锚点图像所在的序号，图像最清晰，图像中的高频分量也最多，该算法以图像所有像素的灰度平均值为参考，对每个像素点的灰度值求差后求平方和，然后用像素总数标准化，它表征了图像灰度变化的平均程度，灰度变化的平均程度越大，图像越清晰，灰度变化平均程度越小，图像越模糊，灰度方差算法如下公式：

再利用梯度函数分别计算锚点图像及上下各四张图像的水平垂直和斜向的梯度值，梯度值越大代表清晰度越大；

模板算子：

卷积结果：

f_x(x，y)＝f(x，y)*K_x，f_y(x，y)＝f(x，y)*K_y，

f_α(x，y)＝f(x，y)*K_α，f_β(x，y)＝f(x，y)*K_β；

清晰度数值：

S14、重复步骤S11、S13的动作，将不少于1000张各类缺陷图像存储为训练样本集，不少于200张各类缺陷图像储存为验证样本集。

具体来讲，在步骤S14中，缺陷的类型包括划伤、脏污、点刮、毛丝、异物和黑点中的一种或者多种。

S15、基于YOLOV8进行轻量级的卷积神经网络的优化与搭建。

具体来讲，在步骤S15中：由于VR镜片模组缺陷部分目标小，种类较多，样本不均衡的情况，定制了合适的损失函数，采用focal loss函数作为损失函数：

L_fl＝-(1-p_t)^γlog(p_t)，其中，(1-p_t)^γ为调节因子，γ≥0为可调节的聚焦参数，

S16、初始化网络参数后，将训练样本集送入轻量级的卷积神经网络中进行训练，并采用验证样本集进行验证。网络在验证样本集的准确率达到了98％。

具体来讲，在步骤S16中，在训练样本集送入轻量级的卷积神经网络之前，需通过图像拉伸旋转、平移或者高斯滤波方式做数据集的增强。增广后的数据量是原始数据集的二十倍。分别设置多个迭代次数，训练出多种在验证样本集中分类准确率均高于98％的模型。

S17、将训练好的网络保存为.pth文件，编写模型调用代码部署到C++环境中。

于本实施例中，有三个不同迭代次数产生的训练模型，将模型保存为.pth文件使用C++编写接口函数，该函数接受输入数据并返回模型预测的结果。在线测试时工程代码只需调用libtorch库中对应的函数，将模型加载到内存中，输入图像就可以进行分类预测，三组模型输出的分类结果不同时，选择分数最高的那个预测结果为最终结果，这样有效的再次提高了分类的准确性。

S2、基于轻量级的卷积神经网络，在线检测待测VR镜片的缺陷的位置和类别。

例如：将轻量级的卷积神经网络在线检测待测VR镜片，得出的图像立方体融合图如图2所示，并且检出缺陷的位置和类别，检出结果如表1所示。

表1检出结果

实施例2

一种基于图像立方体与深度学习的VR镜片缺陷检测系统，其包括：图像获取组件和检测组件。

图像获取组件用于获取VR镜片的标准图像和待测VR镜片的不同类别的缺陷图像。

检测组件用于构建待测VR镜片缺陷的轻量级的卷积神经网络，对待测VR镜片缺陷检测，确定所述待测VR镜片缺陷的位置和类别。

其中，检测组件包括：图像预处理模块、主干网络模块、Neck网络模块、Head网络模块、综合判断模块。

图像预处理模块用于对VR镜片的不同类别的缺陷图像经过图像拉伸旋转，平移或者高斯滤波方式进行处理，进行训练数据的增强，可以将原有的训练图像数量扩充到原来的10倍；

主干网络模块以CSPDARKNET53作为基础网络，对于网络每层进行剪枝，优化参数，并通过迭代修剪的方式多次修剪同一参数，实现参数的最优化，从而实现特征提取的最优化；

Neck网络模块采用CSPN-FPN作为颈部网络，用于将不同尺度的特征图进行融合；

Head网络模块采用YOLOV8的head，其包括分类头和定位头，分类头采用解耦头的设计，包含3个3*3卷积层；定位头采用无锚框的设计，直接预测目标的中心点和边框并给出置信度；

综合判断模块将训练样本集送入构造好的待测VR镜片缺陷的轻量级的卷积神经网络后设置多个迭代次数，训练出多种在验证样本集中分类准确率均高于98％的模型，当图像获取组件将目标缺陷传入多个待测VR镜片缺陷的轻量级的卷积神经网络后，通过不同网络给出的置信度分数，选择分数最高的预测结果为最终结果。

以上仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于图像立方体与深度学习的VR镜片缺陷检测方法，其特征在于，其包括以下步骤：

S1、选取VR镜片的标准图像和待测VR镜片的不同类别的缺陷图像作为训练样本集，以YOLOV8网络为基础，进行网络的优化，构建检测待测VR镜片缺陷的轻量级的卷积神经网络，并将训练样本集送入轻量级的卷积神经网络进行训练；

S2、基于轻量级的卷积神经网络，在线检测待测VR镜片缺陷的位置和类别。

2.如权利要求1所述的基于图像立方体与深度学习的VR镜片缺陷检测方法，其特征在于，所述步骤S1包括以下过程：

S11、将待测VR镜片分别放入机台内部，通过Z轴景深下降的方式，利用自动对焦系统拍摄N张图像堆叠并对齐，形成一个X，Y为相机分辨率，Z为N的图像立方体；

S12、基于第一张图像，提取出待测VR镜片的感兴趣区域，同时计算出待测VR镜片的原点，并将其作为初始化信息保存到配方文件中；

S13、获取待测VR镜片的N张图像，将最清晰的缺陷提取出来，并保存为缺陷图像；

S14、重复步骤S11、S13的动作，将不少于1000张各类缺陷图像存储为训练样本集，不少于200张各类缺陷图像储存为验证样本集；

S15、基于YOLOV8进行轻量级的卷积神经网络的优化与搭建；

S16、初始化网络参数后，将训练样本集送入轻量级的卷积神经网络中进行训练，并采用验证样本集进行验证。

3.如权利要求2所述的基于图像立方体与深度学习的VR镜片缺陷检测方法，其特征在于，

在步骤S12中，通过对比度拉伸，增强边缘对比度，并通过阈值分割的方法，提取出待测VR镜片的感兴趣区域；同时通过拟合的方式将VR镜片轮廓拟合成一个椭圆形，计算长轴与短轴的交点记为VR镜片的原点，即为VR镜片缺陷坐标的原点；

在步骤S12中，所述配方文件包括图像单相素精度、图像Z轴每次拍照下降高度、坐标原点位置、顶点坐标位置、二值化参数和感兴趣区域的一种或者多种。

4.如权利要求2所述的基于图像立方体与深度学习的VR镜片缺陷检测方法，其特征在于，

在步骤S13中，在每张图像上分别利用配方文件中的感兴趣区域信息分割出待检测区域，利用自适应直方图均衡化和拉普拉斯金字塔的结合将图像的对比度进行增强，再利用特征点聚类的方法，将缺陷提取出来，以提取出的缺陷中心为中心坐标截取缺陷图像，并且将检出的缺陷信息都保存到一个结构体里面；

利用二分法，遍历所有提取到的缺陷D_all，当遍历到D_i时找出与之中心点坐标一致的其他图层的缺陷，利用清晰度算法确认缺陷D_i最清晰成像所在的图层序号，将其他图层的D_i缺陷相关信息删除，并更新D _all，遍历完最终的D _all就为此片VR镜片模组的缺陷集合。

5.如权利要求2或4所述的图像立方体与深度学习的VR镜片缺陷检测方法，其特征在于，在步骤S13中，将基于像素技术与梯度技术的清晰度算法结合起来，先利用灰度方差算法，如下公式：

确定锚点图像所在的序号，再利用梯度函数分别计算锚点图像及上下各四张图像的水平垂直和斜向的梯度值；

模板算子：

卷积结果：

f_x(x，y)＝f(x，y)*K_x，f_y(x，y)＝f(x，y)*K_y，

f_α(x，y)＝f(x，y)*K_α，f_β(x，y)＝f(x，y)*K_β；

清晰度数值：

6.如权利要求2所述的基于图像立方体与深度学习的VR镜片缺陷检测方法，其特征在于，在步骤S14中，所述缺陷的类型包括划伤、脏污、点刮、毛丝、异物和黑点中的一种或者多种。

7.如权利要求1所述的基于图像立方体与深度学习的VR镜片缺陷检测方法，其特征在于，在步骤S15中：采用focal loss函数作为损失函数：

L_fl＝-(1-p_t)^γlog(p_t)，其中，(1-p_t)^γ为调节因子，γ≥0为可调节的聚焦参数，

8.如权利要求2所述的基于图像立方体与深度学习的VR镜片缺陷检测方法，其特征在于，在步骤S16中，在训练样本集送入轻量级的卷积神经网络之前，需通过图像拉伸旋转、平移或者高斯滤波方式做数据集的增强，分别设置多个迭代次数，训练出多种在验证样本集中分类准确率均高于98％的模型，将模型加载到内存中，输入图像就可以进行分类预测，多组训练模型输出的分类结果不同时，选择分数最高的那个预测结果为最终结果。

9.基于图像立方体与深度学习的VR镜片缺陷检测系统，其特征在于，其包括：

图像获取组件，用于获取VR镜片的标准图像和待测VR镜片的不同类别的缺陷图像；

检测组件，用于构建待测VR镜片缺陷的轻量级的卷积神经网络，对待测VR镜片缺陷检测，确定所述待测VR镜片缺陷的位置和类别。

10.如权利要求9所述的基于图像立方体与深度学习的VR镜片缺陷检测系统，其特征在于，所述检测组件包括：

图像预处理模块，用于对VR镜片的不同类别的缺陷图像经过图像拉伸旋转，平移或者高斯滤波方式进行处理，进行训练数据的增强；

主干网络模块，其以CSPDARKNET53作为基础网络，对于网络每层进行剪枝，优化参数，并通过迭代修剪的方式多次修剪同一参数，实现参数的优化，进而达到特征提取的优化；Neck网络模块，其采用CSPN-FPN作为颈部网络，用于将不同尺度的特征图进行融合；

Head网络模块，其采用YOLOV8的head，其包括分类头和定位头，分类头采用解耦头的设计，包含3个3*3卷积层；定位头采用无锚框的设计，直接预测目标的中心点和边框并给出置信度；

综合判断模块，其将训练样本集送入构建好的待测VR镜片缺陷的轻量级的卷积神经网络后，设置多个迭代次数，训练出多种在验证样本集中分类准确率均高于98％的模型，当图像获取组件将目标缺陷传入多个待测VR镜片缺陷的轻量级的卷积神经网络后，通过不同网络给出的置信度分数，选择分数最高的预测结果为最终结果。