CN113393464A - 一种平板玻璃缺陷的三维检测方法 - Google Patents

Abstract

本发明公开了一种平板玻璃缺陷的三维检测方法，包括以下步骤：S1、收集前期数据；S2、获取平板玻璃深度数据；S3、提取深度对比模型；S4、制定比对规则并根据比对规则比对深度数据；S5、整合二维图像数据与三维图像；S6、标记NG区域；S7、检测结果记录；本发明通过三维视觉检测系统对平板玻璃的平面和边缘进行扫描获得对应点位及其深度数据，选取其中部分对应点位构成对应点位组训练对比模型，并将对比模型带回对应点位深度数据确定比对规则，能够进一步规定平板玻璃上被允许存在的缺陷的范围，从而进一步确定前序二维视觉检测系统检测到的缺陷是否在被允许范围内，提高了整体检测精度，避免因检测误差导致可用平板玻璃被弃用，节省成本。

Description

一种平板玻璃缺陷的三维检测方法

技术领域

本发明涉及视觉识别系统处理技术领域，具体涉及一种平板玻璃缺陷的三维检测方法。

背景技术

目前，平板电脑的使用量逐年上升，平板电脑上的液晶显示屏一般采用基板玻璃，基板玻璃在加工过程中，可能存在玻璃原料溶解不充分、混入异物等情况，因此，平板玻璃上会可能会存在划痕、条纹、气泡、凹凸不平、条纹等缺陷，影响平板电脑的使用；因此，需要在装配之前对平板玻璃进行检测，并将检测结果及时反馈。

现有的检测装置和检测方法一般采用二维视觉系统对平板玻璃的表面进行拍照，通过二维图像处理点位容易发现较为明显的缺陷。但当缺陷范围较小时，简单的二维图像处理无法满足检测精度，也无法对平板玻璃的厚度方向进行扫描，无法确定缺陷的具体深度，可能存在漏检、错检、判定有误的情况，检测精度较低。因此，需要通过三维视觉系统对平板玻璃的平面和厚度方向进行扫描；但是，由于平板玻璃的加工技术无法达到完美生产状态，为了节省成本，平板玻璃上被允许存在特定因素范围内的缺陷，现有的三维视觉系统在实际检测过程中，无法进一步确定缺陷是否被允许，也无法进一步确定缺陷的具体位置、具体大小和具体深度，且其与二维数据整合较为困难，整合过程中可能存在误差，导致数据点位无法一一对应；从而导致存在一定的检测误差。

因此，设计一种能够提高检测精度、加快检测速度、进一步确定平板玻璃是否合格的平板玻璃缺陷的三维检测方法，显然具有实际的现实意义。

发明内容

为达到上述目的，本发明采用的技术方案是：一种平板玻璃缺陷的三维检测方法，包括以下步骤：

S1、收集前期数据：收集平板玻璃在二维视觉检测系统中检测到的二维图像数据形成二维图像数据包，收集数据处理后二维图像数据中的各点位的二维坐标形成点位数据库；

S2、获取平板玻璃深度数据：通过三维视觉检测系统对平板玻璃进行扫描，获得若干个小图像，每个小图像内均设有与点位一一对应的若干个对应点位；并获得对应点位的深度数据和Z坐标；

S3、提取深度对比模型：选取一个或多个小图像中的部分或全部对应点位组成对应点位组，对选取出的对应点位组中的对应点位的深度数据进行数据处理训练对比模型；

S4、制定比对规则并根据比对规则比对深度数据：将需要检测的小图像内的对应点位与阈值进行比较，根据比较结果判断该对应点位为NG或OK，并对其进行标记NG或OK；

S5、整合二维图像数据与三维图像：将小图像拼接为三维图像，并将三维图像与二维视觉检测系统中检测到的二维图像数据进行整合获得整合图像，整合过程中二维图像数据上的点位与三维图像上的对应点位一一对应；

S6、标记NG区域：将被标记为NG的相邻的对应点位形成的区域在S5中获得的整合图像中用框线标记为NG区域；

S7、检测结果记录：将S2中形成的对应点位的Z坐标及该对应点位在S4中形成的标记记录在点位数据库中；将S6中用框线标记完成的整合图像形成整合图像数据包。

优选地，所述小图像的获取方式包括通过三维视觉检测系统对平板玻璃进行全方位扫描，将扫描所得的三维图像分割为一系列小图像；或通过三维视觉检测系统对平板玻璃分局部进行多次扫描，每个局部对应一个或多个小图像，所有局部的小图像可整合成一个三维图像。

优选地，所述小图像获取过程中，对小图像进行初步标记，加快后续拼接和整合的速度。

优选地，所述阈值包括计算阈值和/或设定阈值，所述计算阈值为对应点位组内的对应点位的深度数据输入S3中所述的对比模型中获得的数值，所述设定阈值为设定的固定参数。

优选地，所述设定阈值的范围根据工作经验值确定，即人为规定深度数据可允许的缺陷极限值，优选的为-0.5~-1.5，更优选地为-1。

优选地，S4中需要检测的小图像内的对应点位与阈值进行比较的具体方法为：将对应点位的深度数据与计算阈值和/或设定阈值进行比较，当对应点位的深度数据小于阈值时，则该对应点位为NG的点，当对应点位的深度数据大于阈值时，则该对应点位为OK的点。

优选地，S4中在需要检测的小图像内的对应点位与阈值进行比较之前，比较设定阈值与计算阈值，当设定阈值较大时，以设定阈值为准，当设定阈值较小时，以计算阈值为准。

上文中，当计算阈值小于设定阈值时，需先检测选取输入至对比模型中的对应点位组是否存在选取的对应点位的深度数据全非0的问题，若是，则扩充对应点位组或重新选取对应点位组重新算出计算阈值，再与设定阈值进行比较；若否，则选用设定阈值为准。

优选地，计算阈值可根据选取的对应点位组进行实时计算和替换；确保计算阈值可控。

优选地，S3中所述对比模型的训练方式包括随机选取所有小图像中的全部或部分对应点位的深度数据进行数据处理；和/或随机选取每个小图像中的全部或部分对应点位的深度数据进行数据处理。

优选地，所述对比模型的训练方式包括处理随机选取的所有对应点位的深度数据，包括计算均值、方差、离散程度。

优选地，S3中所述对比模型的训练方式包括在一个小图像中选取一个或多个ROI（Region Of Interest，感兴趣区域），所述ROI包括一个小图像中一个区域内的对应点位。

优选地，通过对二维图像数据及二维图像数据中各点位的二维坐标进行初步筛查，确定可能为NG的区域，将该区域进行扩充并选取为ROI。

优选地，所述ROI的扩充方式包括根据区域边缘的点位的二维坐标及对应点位的深度数据确定相邻对应点位形成的区域，计算该区域的长度L1、宽度W1、深度D1和面积s1；向长度方向扩展1/3L1~2L1、和/或向宽度方向扩展1/3D1~2D1、和/或向长度和/或宽度方向扩展1/3s1~2s1。

优选地，所述对比模型的训练方式包括处理ROI内的所有对应点位的深度数据，包括计算均值、方差、离散程度，得出对比模型的计算公式为：DownValue=Mean-α*Deviation；

其中，DownValue表示计算阈值，Mean表示ROI中所有对应点位深度数据的平均值；Deviation表示ROI中所有对应点位深度数据的方差，α为系数。

优选地，所述α的值根据平板玻璃上被允许存在的缺陷的特定因素而定，所述特定因素包括ROI内对应点位的数量，所述α的范围为2~10，更优选地为3~6，最优选地为5。

上文中，α的值与对应点位的数量成比例。

优选地，所述三维视觉检测系统包括光谱共焦3D成像系统，所述光谱共焦3D成像系统包括传输装置和设置在传输装置上方的光谱共焦传感器，光谱共焦传感器在对平板玻璃进行扫描时，得到的三维图像是三维点云图像，在将三维图像与二维图像数据进行整合时，需要先将三维点云图像转换成可视化深度图，再将可视化深度图与二维图像数据进行整合。

优选地，所述可视化深度图与三维图像的转换方式具体包括：根据与对应点位一一对应的点位的二维坐标确定可视化深度图中各像素点的面积，根据对应点位的深度数据确定各个像素点的像素值，根据像素点的面积和对应的像素值生成可视化深度图。

优选地，所述二维视觉检测系统包括2D相机、光源和镜头。

优选地，S6中所述NG区域标记的具体方法包括：根据相邻的点位的二维坐标及对应点位的深度数据确定相邻对应点位形成的区域，计算该区域的长度L2、宽度W2、深度D2和面积s2；向长度方向扩展1/3L2~2L2、和/或向宽度方向扩展1/3D2~2D2、和/或向长度和/或宽度方向扩展1/3s2~2s2，形成NG区域，并在图像中将该NG区域用框线标出。

本申请还要求保护一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如上文所述的方法。

本申请还要求保护一种计算机可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上文所述的方法的指令。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

1.本发明通过三维视觉检测系统对平板玻璃的平面和边缘进行扫描获得对应点位及其深度数据，选取其中部分对应点位构成对应点位组训练对比模型，并将对比模型带回对应点位深度数据确定比对规则，能够进一步规定平板玻璃上被允许存在的缺陷的范围，从而进一步确定前序二维视觉检测系统检测到的缺陷是否在被允许范围内，提高了整体检测精度，避免因检测误差导致可用平板玻璃被弃用，节省成本；

2.本发明通过将三维视觉检测系统获取的三维图像经过转换为可视化深度图后再与二维图像数据进行整合，并将对应点位与点位一一对应，整合方法较为简单，确保了整合图像的整合准确度，并通过计算能够确定缺陷的具体位置，并对该NG区域进行标记，便于后续加工处理；

3.本发明通过设置设定阈值和算出计算阈值来对对应点位的深度数据进行比对，比对之前能够通过设定阈值来对计算阈值进行判定，确保了计算阈值计算过程中选取的对应点位组的准确度，进一步提升了比对精度，从而提升了平板玻璃的生成质量；

4.本发明检测流程操作简单方便，同时保证较高的稳定性及可靠性，具有较高的商业价值。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的一些附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种实施例的三维检测方法的流程示意图；

图2为本发明图1中S4中比对深度数据的流程示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例通过将二维视觉检测系统中检测到的NG平板玻璃进行三维视觉检测系统检测，并分析是否符合被允许存在的缺陷。

参见图1，一种平板玻璃缺陷的三维检测方法，包括以下步骤：

S1、收集前期数据：收集平板玻璃在二维视觉检测系统中检测到的二维图像数据形成二维图像数据包，收集数据处理后二维图像数据中的各点位的二维坐标形成点位数据库；

S2、获取平板玻璃深度数据：获取平板玻璃深度数据：通过三维视觉检测系统对平板玻璃进行扫描，获得若干个小图像，每个小图像内均设有与点位一一对应的若干个对应点位；并获得对应点位的深度数据和Z坐标；

S3、提取深度对比模型：选取一个或多个小图像中的部分或全部对应点位组成对应点位组，对选取出的对应点位组中的对应点位的深度数据进行数据处理训练对比模型；

S4、制定比对规则并根据比对规则比对深度数据：将需要检测的小图像内的对应点位与阈值进行比较，根据比较结果判断该对应点位为NG或OK，并对其进行标记NG或OK；

S5、整合二维图像数据与三维图像：将小图像拼接为三维图像大小，并将三维图像与二维视觉检测系统中检测到的二维图像数据进行整合获得整合图像，整合过程中二维图像数据上的点位与三维图像上的对应点位一一对应；

S6、标记NG区域：将被标记为NG的相邻对应点位形成的区域在S5中获得的整合图像中用框线标记为NG区域；

S7、检测结果记录：将S2中形成的对应点位的Z坐标及该对应点位在S4中形成的标记记录在点位数据库中；将S6中用框线标记完成的整合图像形成整合图像数据包。

本实施例中，所述小图像的获取方式为通过三维视觉检测系统对平板玻璃的表面进行分区域多次扫描和对平板玻璃的四个边缘进行多次扫描，每个分区域和边缘对应一个或多个小图像，所有分区域和边缘的小图像可整合成一个三维图像。

在另一种实施例中，可通过三维视觉检测系统对平板玻璃进行全方位扫描，将扫描所得的三维图像分割为一系列小图像。

进一步的，所述小图像获取过程中，对小图像进行标记，加快后续拼接和整合的速度。

进一步的，S4中所述阈值包括计算阈值和/或设定阈值，所述计算阈值为对应点位组内的对应点位的深度数据输入S3中所述的对比模型中获得的数值，所述设定阈值为设定的固定参数。

进一步的，所述设定阈值的范围根据经验值确定，即人为规定深度数据可允许的缺陷极限值，本实施例中采用的设定阈值为-1。

参见图2，S4中需要检测的小图像内的对应点位与阈值进行比较的具体方法，包括以下步骤：

S11、设置设定阈值；

S12、选取对应点位组成对应点位组输入对比模型中获得计算阈值；

S13、比较设定阈值和计算阈值，若设定阈值较小时，以计算阈值为准，将对应点位组内的深度数据与计算阈值进行比较；若设定阈值较大时，先检测选取输入至对比模型中的对应点位组是否存在选取的对应点位的深度数据全非0的问题，若是，则扩充对应点位组或重新选取对应点位组重新算出计算阈值，再与设定阈值进行比较；若否，则选用设定阈值为准；

S14、将对应点位的深度数据与S13中选定的阈值进行比较，当对应点位的深度数据小于阈值时，则该对应点位为NG的点，当对应点位的深度数据大于阈值时，则该对应点位为OK的点。

进一步的，计算阈值可根据选取的对应点位组进行实时计算和替换；确保计算阈值可控。

本实施例中，S3中所述对比模型的训练方式包括在一个小图像中选取一个或多个ROI，所述ROI包括一个小图像中相邻的部分所述对应点位。

进一步的，通过对二维图像数据及二维图像数据中各点位的二维坐标进行初步筛查，确定可能为NG的区域，将该区域进行扩充并选取为ROI。

进一步的，所述将可能为NG的区域进行扩充时，扩充后的ROI的面积是原可能为NG的区域的面积的1.2~4倍；扩充的方向为向可能为NG的区域的四周扩散。

进一步的，所述对比模型的训练方式包括处理ROI内的所有对应点位的深度数据，包括计算均值、方差、离散程度，得出对比模型的计算公式为：DownValue=Mean-α*Deviation；

其中，DownValue表示计算阈值，Mean表示ROI中所有对应点位深度数据的平均值；Deviation表示ROI中所有对应点位深度数据的方差，α为系数。

进一步的，所述α的值根据平板玻璃上被允许存在的缺陷的特定因素而定，所述特定因素包括ROI内对应点位的数量，本实施例中选择的α为5。

下表为本实施例选取的一个ROI进行检测后的点位数据表：

上表中，仅列出了ROI中部分二维检测结果为NG的对应点位，OK的对应点位进行了省略，由于表中的所有深度数据均为非0数据，不可直接带入对比模型中进行计算，需对对应点位进行扩充，本实施例带入了ROI中部分OK对应点位的深度数据，经过对比模型计算所得的计算阈值为-0.453，明显大于设定阈值-1，因此，将对应点位深度数据与计算阈值进行比对，可以明确看出，在二维视觉检测系统检测的NG区域经过三维视觉检测系统检测并通过本实施例所述的方法分析后，部分被判定为OK，部分被判定为NG，根据是否符合被允许存在的缺陷进一步确定了NG区域。

在另一种实施例中，S3中所述对比模型的训练方式包括随机选取所有小图像中的全部或部分对应点位的深度数据进行数据处理；和/或随机选取每个小图像中的全部或部分对应点位的深度数据进行数据处理；所述对比模型的训练方式包括处理随机选取的所有对应点位的深度数据，包括计算均值、方差、离散程度，并确定对比模型的具体公式。

进一步的，所述三维视觉检测系统包括光谱共焦3D成像系统，所述光谱共焦3D成像系统包括传输装置和设置在传输装置上方的光谱共焦传感器，光谱共焦传感器在对平板玻璃进行扫描时，得到的三维图像是三维点云图像，在将三维图像与二维图像数据进行整合时，需要先将三维点云图像转换成可视化深度图，再将可视化深度图与二维图像数据进行整合。

进一步的，所述可视化深度图与三维图像的转换方式具体包括：根据与对应点位一一对应的点位的二维坐标确定可视化深度图中各像素点的面积，根据对应点位的深度数据确定各个像素点的像素值，根据像素点的面积和对应的像素值生成可视化深度图。

进一步的，所述二维视觉检测系统包括2D相机、光源和镜头。

进一步的，S6中所述NG区域标记的具体方法包括：根据相邻点位的二维坐标及对应点位的深度数据确定相邻对应点位形成的区域，计算该区域的长度L2、宽度W2、深度D2和面积s2；向长度方向扩展1/3L2~2L2、和/或向宽度方向扩展1/3D2~2D2、和/或向长度和/或宽度方向扩展1/3s2~2s2，形成NG区域，并在图像中将该NG区域用框线标出。

本实施例还涉及一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如上文所述的方法。

进一步的，所述计算机设备可以包括一个或多个处理器，诸如一个或多个中央处理单元(CPU)或图形处理器（GPU），每个处理单元可以实现一个或多个硬件线程。计算机设备还可以包括任何存储器，其用于存储诸如代码、设置、数据等之类的任何种类的信息，存储器上具有可在处理器上运行的计算机程序，所述计算机程序被所述处理器运行时，可以执行上述所述的方法的指令。计算机设备还可以包括输入/输出接口（I/O），其用于接收各种输入(经由输入设备)和用于提供各种输出(经由输出设备)。计算机设备还可以包括一个或多个网络接口，其用于经由一个或多个通信链路与其他设备交换数据。一个或多个通信总线将上文所描述的部件耦合在一起。

本实施例还涉及一种计算机可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上文所述的方法的指令。

进一步的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体。可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机、可用程序代码的计算机、可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器）实施的计算机程序产品的形式。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种平板玻璃缺陷的三维检测方法，其特征在于，包括以下步骤：

S1、收集前期数据：收集平板玻璃在二维视觉检测系统中检测到的二维图像数据形成二维图像数据包，收集数据处理后二维图像数据中的各点位的二维坐标形成点位数据库；

S2、获取平板玻璃深度数据：通过三维视觉检测系统对平板玻璃进行扫描，获得若干个小图像，每个小图像内均设有与点位一一对应的若干个对应点位；并获得对应点位的深度数据和Z坐标；

S3、提取深度对比模型：选取一个或多个小图像中的部分或全部对应点位组成对应点位组，对选取出的对应点位组中的对应点位的深度数据进行数据处理训练对比模型；

S4、制定比对规则并根据比对规则比对深度数据：将需要检测的小图像内的对应点位与阈值进行比较，根据比较结果判断该对应点位为NG或OK，并对其进行标记NG或OK；

S5、整合二维图像数据与三维图像：将小图像拼接为三维图像，并将三维图像与二维视觉检测系统中检测到的二维图像数据进行整合获得整合图像，整合过程中二维图像数据上的点位与三维图像上的对应点位一一对应；

S6、标记NG区域：将被标记为NG的相邻的对应点位形成的区域在S5中获得的整合图像中用框线标记为NG区域；

S7、检测结果记录：将S2中形成的对应点位的Z坐标及该对应点位在S4中形成的标记记录在点位数据库中；将S6中用框线标记完成的整合图像形成整合图像数据包。

2.根据权利要求1所述的一种平板玻璃缺陷的三维检测方法，其特征在于，所述阈值包括计算阈值和/或设定阈值，所述计算阈值为对应点位组内的对应点位的深度数据输入S3中所述的对比模型中获得的数值，所述设定阈值为设定的固定参数。

3.根据权利要求2所述的一种平板玻璃缺陷的三维检测方法，其特征在于，S4中在需要检测的小图像内的对应点位与阈值进行比较之前，比较设定阈值与计算阈值，当设定阈值较大时，以设定阈值为准，当设定阈值较小时，以计算阈值为准。

4.根据权利要求1所述的一种平板玻璃缺陷的三维检测方法，其特征在于，S3中所述对比模型的训练方式包括随机选取所有小图像中的全部或部分对应点位的深度数据进行数据处理；和/或随机选取每个小图像中的全部或部分对应点位的深度数据进行数据处理。

5.根据权利要求4所述的一种平板玻璃缺陷的三维检测方法，其特征在于，所述对比模型的训练方式包括计算处理随机选取的所有对应点位的深度数据，包括计算均值、方差、离散程度。

6.根据权利要求1所述的一种平板玻璃缺陷的三维检测方法，其特征在于，S3中所述对比模型的训练方式包括在一个小图像中选取一个或多个ROI，所述ROI包括一个小图像中一个区域内的所述对应点位。

7.根据权利要求6所述的一种平板玻璃缺陷的三维检测方法，其特征在于，所述对比模型的训练方式包括处理ROI内的所有对应点位的深度数据，包括计算均值、方差、离散程度，得出对比模型的计算公式为：

DownValue=Mean-α*Deviation

其中，DownValue表示计算阈值，Mean表示ROI中所有对应点位深度数据的平均值；Deviation表示ROI中所有对应点位深度数据的方差，α为系数。

8.根据权利要求7所述的一种平板玻璃缺陷的三维检测方法，其特征在于，所述α的值根据平板玻璃上被允许存在的缺陷的特定因素而定，所述特定因素包括ROI内对应点位的数量，所述α的范围为2~10。

9.一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的方法。

10.一种计算机可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如权利要求1-8中任一项所述的方法的指令。

Images