CN112629441B

CN112629441B - 3d曲面玻璃轮廓扫描检测方法及系统

Info

Publication number: CN112629441B
Application number: CN202011384254.XA
Authority: CN
Inventors: 洪汉玉; 严桂林; 章秀华; 赵卿松; 王朋; 陈攀; 李兴珣
Original assignee: Wuhan Institute of Technology
Current assignee: Wuhan Institute of Technology
Priority date: 2020-12-01
Filing date: 2020-12-01
Publication date: 2022-07-19
Anticipated expiration: 2040-12-01
Also published as: CN112629441A

Abstract

本发明公开了一种基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测方法，包括以下步骤：根据设计的曲面玻璃图纸的尺寸信息，计算得到理论轮廓曲线方程；通过控制Z轴来控制相机与线激光器沿X轴正方向运动的同时动态沿着理论轮廓曲线方程运动；对采集的曲面玻璃激光线图像进行激光线提取，并把采集的图像数据转换成三维坐标值，以三维点云动态图显示在终端，并根据曲面玻璃的高度值显示不同的颜色；读入曲面玻璃实际模型图；在三维点云窗口，任意选取两点，得到一条实际的三维轮廓曲线，在模型窗口也截得一条同样位置的曲面玻璃实际模型的三维轮廓曲线，在同一个坐标系下，进行轮廓匹配，得到轮廓度。

Description

3D曲面玻璃轮廓扫描检测方法及系统

技术领域

本发明涉及图像处理及曲面玻璃轮廓测量领域，尤其涉及一种基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测方法及系统。

背景技术

近年来3D曲面玻璃在工业生产，建筑业，手机制造业等的生产应用范围越来越广泛，制造工艺已经比较完善。曲面玻璃自身的曲面轮廓、玻璃厚度、平面度是曲面玻璃的重要精度指标，在生产过程中要求重点管控。对于生产出来玻璃进行轮廓度测量，判断是否与设计轮廓度在误差范围之内，目前曲面玻璃的测量还是存在很大的问题，主要是测量的效率低，精度差。因此，提高测量效率与精度是目前许多公司得迫切需要。

发明内容

本发明要解决的技术问题在于针对现有技术中对曲面玻璃激光线图像处理后得到的精度不够、且处理系统的鲁棒性不强的缺陷，提供一种能自动、精确地提取曲面玻璃激光线，动态获取曲面玻璃三维坐标值且处理系统具备很强的鲁棒性的3D曲面玻璃轮廓扫描检测系统。

本发明解决其技术问题所采用的技术方案是：

提供一种基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测方法，包括以下步骤：

S1、根据设计的曲面玻璃图纸的尺寸信息，计算得到理论轮廓曲线方程；

S2、通过控制Z轴来控制相机与线激光器沿X轴正方向运动的同时动态沿着理论轮廓曲线方程运动；其中相机与线激光器安装在可运动的Z轴上，相机垂直于X轴与Y轴成90°构成的XOY平面，线激光器与相机成θ角度安装，以确保激光线显示在相机视野中间且相对水平；待测曲面玻璃置于该XOY平面上；

S3、采集曲面玻璃激光线图像，同时记录每幅激光线图像所在坐标轴的X、 Y、Z坐标；

S4、在获取每一帧曲面玻璃激光线图像时，同步进行图像处理，得到实时视频流；

S5、对采集的曲面玻璃激光线图像进行激光线提取，并把采集的图像数据转换成三维坐标值，以三维点云动态图显示在终端，并根据曲面玻璃的高度值显示不同的颜色；

S6、读入曲面玻璃实际模型图；在三维点云窗口，任意选取两点，得到一条实际的三维轮廓曲线，在模型窗口也截得一条同样位置的曲面玻璃实际模型的三维轮廓曲线，在同一个坐标系下，进行轮廓匹配，得到轮廓度。

接上述技术方案，步骤S1中，在动态测量过程中，根据曲面玻璃的实际图纸参数，在理论轮廓上选取一个合适的点作为工件轮廓坐标原点，建立坐标系XOZ，将每个理论轮廓相关参数都转换成此坐标系下的坐标点，计算出理论轮廓曲线方程，根据理论轮廓曲线方程与实际曲面玻璃大小与相机视场大小确定采集路线，再控制Z轴与安装在Z轴上的相机与线激光器动态沿着理论轮廓曲线方程运动。

接上述技术方案，步骤S4中，采用多线程同步采集图像和处理图像。

接上述技术方案，步骤S5中，曲面玻璃的高度值的获取过程为：根据标定得到的基准线与曲面玻璃上激光特征曲线之间的距离差、相机解析度、线激光器与相机角度以及当前坐标轴的三维坐标，在采集过程中实时获取曲面玻璃的高度值，并输出三维坐标值。

接上述技术方案，步骤S1中计算理论轮廓曲线方程时，理论轮廓曲线包括多段圆弧，获取每段圆弧的半径、长度，先通过x²+y²＝R²与每段圆弧上的两点坐标得到每段圆弧的圆心坐标(X，Y)，再通过每段圆弧的圆心坐标与半径R得到理论轮廓曲线方程。

接上述技术方案，步骤S2中，如果相机视场较大，Y轴方向不需要运动；若相机视场比曲面玻璃小，则控制相机与线激光器循环进行运动，每次循环向Y轴正方向移动一个相机视场大小的宽度。

接上述技术方案，包括：

曲面玻璃激光线图像采集机构，包括XOY平面、Z轴，X轴与Y轴成90°构成XOY平面，XOY平面水平安装，Z轴垂直于XOY平面安装，相机与线激光器安装在Z轴上，相机垂直于XOY平面安装，线激光器与相机成θ角度安装，以确保激光线显示在相机视野中间且相对水平；

检测器，包括：

理论轮廓曲线方程计算模块，用于根据设计的曲面玻璃图纸的尺寸信息，计算得到理论轮廓曲线方程；

控制模块，用于通过控制Z轴来控制相机与线激光器沿X轴正方向运动的同时动态沿着理论轮廓曲线方程运动；

采集模块，用于采集曲面玻璃激光线图像，同时记录每幅激光线图像所在坐标轴的X、Y、Z坐标；

实时视频流生成模块，用于在获取每一帧曲面玻璃激光线图像时，同步进行图像处理，得到实时视频流；

三维显示模块，用于对采集的曲面玻璃激光线图像进行激光线提取，并把采集的图像数据转换成三维坐标值，以三维点云动态图显示在终端，并根据曲面玻璃的高度值显示不同的颜色；

轮廓匹配模块，用于读入曲面玻璃实际模型图；在三维点云窗口，任意选取两点，得到一条实际的三维轮廓曲线，在模型窗口也截得一条同样位置的曲面玻璃实际模型的三维轮廓曲线，在同一个坐标系下，进行轮廓匹配，得到轮廓度。

本发明产生的有益效果是：本发明先搭建曲面玻璃激光线图像采集系统，然后计算得到理论轮廓曲线方程，控制采集系统动态沿着理论轮廓曲线方程进行运动，从而克服相机景深问题，时刻都能得到清晰、明亮的激光线图像。再对激光线图像进行激光线提取，得到三维点云数据，与实际模型的三维轮廓曲线进行轮廓匹配，得到轮廓度。本发明利用图像技术对曲面玻璃轮廓度的测量，极大的提高了测量速度、精度，这种方法稳定、高效，减少了人力物力的消耗，节省了成本。整个3D曲面玻璃轮廓扫描检测系统从开始采集曲面玻璃激光线图像、动态获取曲面玻璃的高度值、三维显示曲面玻璃点云、读取模型及进行比对，整个过程清晰、直观。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明实施例用于基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测方法的流程图一；

图2为本发明另一实施例用于基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测方法的流程图二；

图3为本发明实施例的曲面玻璃激光线图像采集系统结构示意图；

图4为本发明理论轮廓相关参数图；

图5为本发明Z轴运动路线图；

图6为本发明移动平台上曲面玻璃激光线图像；

图7为本发明激光线图像提取激光线结果图；

图8为本发明动态显示曲面玻璃测量三维点云图；

图9为本发明显示曲面玻璃实际导入模型图；

图10为本发明显示曲面玻璃测量实际轮廓与实际模型理论轮廓匹配图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明利用图像技术对曲面玻璃轮廓度的测量，极大的提高了测量速度、精度，这种方法稳定、高效，减少了人力物力的消耗，节省了成本。整个3D 曲面玻璃轮廓扫描检测系统从开始采集曲面玻璃激光线图像、动态获取曲面玻璃的高度值、三维显示曲面玻璃点云、读取模型及进行比对，整个过程清晰、直观。

本发明实施例基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测方法，如图所示，包括以下步骤：

S101、根据设计的曲面玻璃图纸的尺寸信息，计算得到理论轮廓曲线方程；

S102、通过控制Z轴来控制相机与线激光器沿X轴正方向运动的同时动态沿着理论轮廓曲线方程运动；其中相机与线激光器安装在可运动的Z轴上，相机垂直于X轴与Y轴成90°构成的XOY平面，线激光器与相机成θ角度安装，以确保激光线显示在相机视野中间且相对水平；待测曲面玻璃置于该XOY平面上；

S103、采集曲面玻璃激光线图像，同时记录每幅激光线图像所在坐标轴的X、Y、Z坐标；

S104、在获取每一帧曲面玻璃激光线图像时，同步进行图像处理，得到实时视频流；

S105、对采集的曲面玻璃激光线图像进行激光线提取，并把采集的图像数据转换成三维坐标值，以三维点云动态图显示在终端，并根据曲面玻璃的高度值显示不同的颜色；

S106、读入曲面玻璃实际模型图；在三维点云窗口，任意选取两点，得到一条实际的三维轮廓曲线，在模型窗口也截得一条同样位置的曲面玻璃实际模型的三维轮廓曲线，在同一个坐标系下，进行轮廓匹配，得到轮廓度。

本发明另一实施例基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测系统，如图2所示，包括以下步骤：

S1、搭建曲面玻璃激光线图像采集系统，X轴与Y轴成90°，水平安装，Z 轴垂直于XY轴平面安装，相机垂直XY轴平面安装，线激光器与相机成θ角度安装，确保激光线显示在相机视野中间且相对水平。系统硬件框架如图3所示，θ为激光发射器与相机的角度；

S2、根据设计的曲面玻璃图纸，将其所有尺寸信息进行分类，获取所有与理论轮廓相关的参数。在本实施例中测量的是一个理论轮廓曲线为三段圆弧拼接的曲面玻璃，理论轮廓相关参数如图4所示，R1、R2、R3分别为三段圆弧的半径；L1、L2、L3分别为三段圆弧在水平方向的长度；H1为第一段圆弧与第二段圆弧分界点的高度，H2为第二段圆弧与第三段圆弧分界点的高度；x1、x2、x3分别为三段圆弧到第一段圆弧左边边界点的水平距离。

S3、根据S2得到的理论轮廓参数，在理论轮廓上选取一个合适的点作为工件理论轮廓坐标原点，建立坐标系，将每个轮廓参数都转换成此坐标系下的坐标点。本发明的一个实施例中，如图5所示，选取左下方的点O，第一段圆弧的起点作为坐标原点，建立XOZ坐标系；

S4、根据S3得到的理论轮廓相关坐标点，计算得到理论轮廓曲线方程。步骤如下：

1.通过x²+y²＝R²，与每段圆弧上的两点坐标，得到每段圆弧的圆心坐标(X，Y)。

2.通过每段圆弧的圆心坐标与半径得到理论轮廓曲线方程。本发明的一个实施例中的理论轮廓曲线方程如下：

R1、R2、R3分别为三段曲面的圆半径，(X1,Y1)、(X2,Y2)、(X3,Y3) 分别为三段曲线的圆心坐标。x1、x2、x3为三段曲线的分界点的X坐标。

S5、Z坐标轴的运动路线如图6所示。具体步骤如下：

1.工件原点为O点，X轴运动路线为：CCD与激光器沿X轴正方向运动到A点；

2.如果相机视场足够大的话，Y轴方向不需要运动；若相机视场比曲面玻璃小，则需要循环进行运动，每次循环向Y轴正方向移动一个相机视场大小的宽度。

3.Z轴连同安装在Z轴的相机与线激光器动态沿着S4得到的理论轮廓曲线方程，即是沿着图中的曲线L运动；

4.线激光器发出的线激光投射在曲面玻璃的点T所在直线TL，CCD在激光线TL正上方进行成像；

S6、根据S5确定的采集路线控制坐标轴的运动，在运动过程中可能会出现失焦的情况，导致得到的激光线图像变得模糊，这时就需要通过图像算法来判断是否失焦，再控制Z轴运动来实时调焦，来获得清晰明亮的激光线。本发明对于任意由多段弧线拼成的二次曲面玻璃，通过理论轮廓曲线进行轴运动的引导，再通过图像算法进行实时调焦，使得可以在任何时候都能得到清晰、明亮的激光线图像，从而能在后面进行图像处理时，能够简单快捷。采集图像的同时记录每幅图像所在坐标轴的X、Y、Z坐标。采集图像如图6所示；

S7、通过计算机多线程程序处理，在获取每一帧图像时，同步进行图像的处理，从而得到实时视频流，达到实时动态显示效果；

S8、对采集的曲面玻璃激光线图像进行激光线提取。提取结果如图7所示。

S9、获取曲面玻璃的高度值，并把采集的数据，转换成三维坐标值，以三维点云动态图显示在终端，根据高度值显示不同的颜色。三维点云如图8 所示。曲面玻璃各点的真实高度计算公式如下：

h_real＝h_cur+z_shift

其中，

h_cur＝K*e*P_ixel

h_real为A点对应的真实高度值，h_cur当前算法提取的目标点的高度值； z_shift为当前图片所在的世界坐标的Z值和起点值的偏移量；e为T点距离标定线的像素距离，P_ixel为像素解析度，K为标定的基准线在图像上的斜率。基准线为线结构光投射在无测量物体下的移动平台上的明亮激光线。移动平台是在XOY平面上一个放置测量物体的水平工具。

S10、读入曲面玻璃实际模型图，显示在终端。曲面玻璃实际模型图如图 9所示；

S11、在三维点云窗口，任意选取两点，得到一条实际的三维轮廓曲线，在模型窗口也截得一条同样位置的理论三维轮廓曲线，在同一个坐标系下，进行轮廓匹配，得到轮廓度。轮廓匹配如图10所示。

综上，本发明针对目前曲面玻璃轮廓度测量的问题，利用线激光器、相机、计算机设计一种曲面玻璃轮廓度检测系统：把相机和激光发射器安装在设计的采集系统支架上，相机垂直向下安装，激光发射器与相机方向成θ角度安装，并相应调整相机、线激光发射器，在计算机上能清晰看到图像，且激光线在相机视野中心。根据实际曲面玻璃图纸，通过数学公式计算其理论轮廓曲线，根据得到的理论轮廓曲线与实际曲面玻璃大小与相机视场大小确定采集路线控制Z轴的运动，从而时刻都能得到清晰、明亮的激光线。线激光器发射激光投射在曲面玻璃表面，通过相机的回调实时采集成像，并把结果传输到计算机应用程序，对所得图像进行采集与储存，运用算法对激光线玻璃图像进行检测与识别，得到三维坐标信息与实际模型进行比对，进而分析曲面玻璃轮廓，在终端显示结果。

本发明提出的基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测系统，具有以下优点：

1、准确性：本发明对激光线动态检测，实时获取曲面玻璃三维坐标，为后续计算提供了精确可靠的数据，进而提高了检测精度。

2、真实性：本发明可以通过计算机上直观展现曲面玻璃测量实际轮廓线与实际模型理论轮廓线的匹配，让人更容易、清楚的看到轮廓度差异，具有良好的视觉效果；

3、自适应性和鲁棒性良好：采用本发明提出的方法对曲面玻璃轮廓扫描方法，程序运行稳定，自适应性好，鲁棒性强，无需人工干预，取得了满意的曲面玻璃轮廓度测量效果。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测方法，其特征在于，包括以下步骤：

S102、通过控制Z轴来控制相机与线激光器沿X轴正方向运动的同时动态沿着理论轮廓曲线方程运动；其中相机与线激光器安装在可运动的Z轴上，相机垂直于X轴与Y轴成90⁰构成的XOY平面，线激光器与相机成θ角度安装，以确保激光线显示在相机视野中间且相对水平；待测曲面玻璃置于该XOY平面上；

S106、读入曲面玻璃实际模型图；在三维点云窗口，任意选取两点，得到一条实际的三维轮廓曲线，在模型窗口也截得一条同样位置的曲面玻璃实际模型的三维轮廓曲线，在同一个坐标系下，进行轮廓匹配，得到轮廓度；

步骤S101中计算理论轮廓曲线方程时，理论轮廓曲线包括多段圆弧，获取每段圆弧的半径、长度，先通过x ²+y ²=R ²与每段圆弧上的两点坐标得到每段圆弧的圆心坐标（X，Y），再通过每段圆弧的圆心坐标与半径R得到理论轮廓曲线方程。

2.根据权利要求1所述的方法，其特征在于，步骤S101中，在动态测量过程中，根据曲面玻璃的实际图纸参数，在理论轮廓上选取一个合适的点作为工件轮廓坐标原点，建立坐标系XOZ，将每个理论轮廓相关参数都转换成此坐标系下的坐标点，计算出理论轮廓曲线方程，根据理论轮廓曲线方程与实际曲面玻璃大小与相机视场大小确定采集路线，再控制Z轴与安装在Z轴上的相机与线激光器动态沿着理论轮廓曲线方程运动。

3.根据权利要求1所述的基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测方法，其特征在于，步骤S104中，采用多线程同步采集图像和处理图像。

4.根据权利要求1所述的基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测方法，其特征在于，步骤S105中，曲面玻璃的高度值的获取过程为：根据标定得到的基准线与曲面玻璃上激光特征曲线之间的距离差、相机解析度、线激光器与相机角度以及当前坐标轴的三维坐标，在采集过程中实时获取曲面玻璃的高度值，并输出三维坐标值。

5.根据权利要求1所述的基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测方法，其特征在于，步骤S102中，如果相机视场较大，Y轴方向不需要运动；若相机视场比曲面玻璃小，则控制相机与线激光器循环进行运动，每次循环向Y轴正方向移动一个相机视场大小的宽度。

6.一种基于线结构光动态视觉的3D曲面玻璃轮廓扫描检测系统，其特征在于，包括：

曲面玻璃激光线图像采集机构，包括XOY平面、Z轴，X轴与Y轴成90⁰构成XOY平面，XOY平面水平安装，Z轴垂直于XOY平面安装，相机与线激光器安装在Z轴上，相机垂直于XOY平面安装，线激光器与相机成θ角度安装，以确保激光线显示在相机视野中间且相对水平；

检测器，包括：

轮廓匹配模块，用于读入曲面玻璃实际模型图；在三维点云窗口，任意选取两点，得到一条实际的三维轮廓曲线，在模型窗口也截得一条同样位置的曲面玻璃实际模型的三维轮廓曲线，在同一个坐标系下，进行轮廓匹配，得到轮廓度；

其中，理论轮廓曲线方程计算模块在计算理论轮廓曲线方程时，理论轮廓曲线包括多段圆弧，获取每段圆弧的半径、长度，先通过x ²+y ²=R ²与每段圆弧上的两点坐标得到每段圆弧的圆心坐标（X，Y），再通过每段圆弧的圆心坐标与半径R得到理论轮廓曲线方程。