CN114812429A - 基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及方法 - Google Patents

Abstract

本发明公开了一种基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及方法，装置包括：光源系统、旋转系统、投射系统、采集系统和计算机；所述光源系统包括LED光源以及光源控制器，所述旋转系统包括电控旋转台以及步进电机控制器，所述投射系统为DLP结构光投影装置，所述采集系统为两个相机组成的双目系统。测量方法为投射时间序列编码的格雷码结构光至待测面，双目相机采集结构光图片，解码格雷码得到待测面编码，多曝光融合得到无过曝光齿轮面图像，基于编码进行局部双目密集匹配，基于视差获得三维点云。本发明提供的金属齿轮三维形貌测量装置具有可实时测量、抗干扰能力强、测量精度高等优点。

Description

基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及 方法

技术领域

本发明涉及双目视觉三维重构技术，具体涉及一种基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及方法。

背景技术

随着智能制造业的飞速发展，机器视觉三维测量作为机器感知世界的手段之一愈发受到先进制造业的重视。在工业生产领域，生产线中的一大类产品是金属工件，其中金属齿轮工件是最常见的金属零部件之一。目前，对于金属齿轮的在线检测问题研究较为缺乏。而随着人工成本越发高昂，依靠密集的人工处理一些重复度极高的操作例如缺陷检测、尺寸测量、粗加工等工作已经变得得不偿失。

金属齿轮这类目标本身存在几个成像难点：(1)光滑的金属表面纹理缺失严重，灰度差异较小，特征点数量非常少。(2)局部高反光产生的过曝光区域会让金属局部细节完全消失。(3)齿轮的齿面一般非常小，但齿轮顶端到底面的距离相对较大，从而造成在相对的小区域内存在大幅度的视差变化，这种特征对现有的依靠局部区域内视差平滑假设的匹配算法非常不友好。

发明内容

本发明的目的在于提供一种基于格雷码结构光的双目视觉金属齿轮三维形貌测量装置及方法，针对金属齿轮目标成像难点，基于结构光优化解码技术、SAD&census局部匹配技术、多曝光HDR技术、设计一套应对方案，最终完成对金属齿轮工件的形貌进行在线检测工作。

实现本发明目的的技术解决方案为：一种基于格雷码结构光的双目金属齿轮三维形貌测量装置，主要由双目相机、DLP结构光投射装置、光源系统、运动系统和计算机构成；所述光源系统包括在双目相机两侧以固定角度安装的LED光源和光源控制器，计算机与光源控制器通讯以控制光源开启和关闭，不同光源开启可以提供两侧不同角度照明；所述运动系统包括步进电机驱动的旋转台以及步进电机控制器，计算机与步进电机控制器通讯以控制旋转台旋转；所述双目相机以水平面为基准上下安装，视角中心对准齿轮齿纹；所述DLP结构光投影装置在双目相机后方，投射镜头正对齿轮齿纹，该装置可以提供结构光投射和对齿轮的正面照明；所述计算机包括外设通讯模块、采集模块和三维重建模块；所述外设通讯模块与光源系统和运动系统以串口通讯；外设通讯模块提供光源亮度设定功能、光源开关功能、步进电机旋转角度功能、步进电机旋转速度功能；所述采集模块与双目相机和DLP结构光投射系统通讯；采集模块提供采集多曝光图片功能，投射并采集格雷码结构光图片功能、采集不同角度照明下的目标图片功能。

一种基于格雷码结构光的双目金属齿轮三维形貌测量方法，包括如下步骤：

步骤1，单目相机标定、双目相机立体标定以及立体矫正

通过张正友标定法计算相机模型的内部参数与多组外参，规定水平高度较低的相机为左相机，通过两相机对同一世界坐标系下的外参旋转矩阵和平移矩阵计算左相机至右相机之间的旋转矩阵和平移矩阵，基于最小二乘法对多组对应外参拟合优化旋转矩阵和平移矩阵；基于旋转矩阵和平移矩阵计算映射参数，重映射双目相机拍摄的图像，对图像进行共面以及同行矫正；

步骤2，数据采集以及预处理

1)通过计算机采集模块命令DLP结构光投影装置和双目相机采集不同曝光时间下的齿轮齿纹图片，通过多曝光图像融合算法获得融合图像；

2)通过计算机采集模块命令DLP结构光投影装置、光源系统和双目相机采集不同角度光照下齿轮齿纹图片，使用OTSU算法对采集图片进行二值化，并基于采集图片进行逻辑运算获得两相机视角下齿轮齿的侧面、顶面和底面掩模；

3)通过计算机采集模块命令DLP结构光投影装置和双目相机采集格雷码结构光图片，并基于采集图片解算目标面编码；

步骤3，视差解算

基于两相机齿轮齿的掩模，将两相机的匹配区域限制在齿轮齿的对应面；基于融合图像作为匹配算法的输入，提供局部匹配的细节数据；基于格雷码结构光的解码获得两相机视角下目标区域的编码图，限制双目匹配搜索范围，只在对应编码的图像块内进行双目匹配；基于SAD与Census匹配代价融合的局部匹配算法获得完整的视差图；

步骤4，生成点云

基于视差图、双目相机内参、立体标定得到的旋转矩阵和平移矩阵，从视差图反算深度；以立体矫正后的左相机为基准，建立点云。

与现有机器视觉三维重建技术相比，本发明的有益效果是：(1)采用HDR多曝光融合算法对金属面局部过曝光进行消除，重建点云时不会因为过曝光细节丢失而重建失败。(2)采用复合照明结构，结合齿轮本身的外形特征，通过不同角度的光照获得具有形态学意义的齿轮掩模，降低了匹配难度。(3)采用了复合的机器视觉三维重建系统结构：格雷码结构光+双目视觉三维重建系统结构，结构光采用主动光源对目标区域编码，双目匹配在结构光编码的基础上进行进一步的密集匹配。结构光对目标面的编码赋予了目标面更多的特征，本发明的三维重建系统结构相较于传统被动观察的双目视觉结构具有更好的重建鲁棒性；双目密集匹配是像素之间的匹配，而过于细密结构光条纹很难分辨，本发明的三维重建系统结构相较于传统结构光单目结构具有更高的分辨能力。

附图说明

图1是基于格雷码结构光的双目金属齿轮三维形貌测量装置示意图。

图2是样品齿轮图样。

图3是基于复合光照结构的齿轮掩模分割原理示意图。

图4是复合光照结构示意图。

图5是齿轮掩模分割效果图。

图6是系统工作流程图。

图7是重建算法工作流程图。

图8是重建效果示意图。

图9是点云效果示意图。

具体实施方式

如图1所示，一种基于格雷码结构光的双目金属齿轮三维形貌测量装置，主要由双目相机3,4、DLP结构光投射装置5、光源系统、运动系统、计算机构成；所述光源系统包括在双目相机3,4两侧以固定角度安装的LED光源1,2和光源控制器，计算机与光源控制器通讯以控制光源开启和关闭，不同光源开启可以提供两侧不同角度照明；所述运动系统包括步进电机驱动的旋转台6以及步进电机控制器，计算机与步进电机控制器通讯以控制旋转台旋转；所述双目相机3,4以水平面为基准上下安装，视角中心对准齿轮齿纹；所述DLP结构光投影装置5在双目相机后方，投射镜头正对齿轮齿纹，该装置可以提供结构光投射和对齿轮的正面照明；所述计算机包括外设通讯模块，采集模块和三维重建模块；

所述外设通讯模块与光源系统和运动系统以串口通讯；外设通讯模块提供光源亮度设定功能、光源开关功能、步进电机旋转角度功能、步进电机旋转速度功能；

所述采集模块与双目相机和DLP结构光投射系统以USB2.0通讯；采集模块提供采集多曝光图片功能，投射并采集格雷码结构光图片功能、采集不同角度照明下的目标图片功能。

进一步的，所述的光源系统和DLP结构光投射装置可以提供三个角度的照明；所述三个角度为：以DLP结构光投射装置镜头视角为基准，光源(1)在双目相机左侧，光源(2)在双目相机右侧，DLP结构光投射装置镜头在双目相机后方，其高度贴近上下相机水平高度的均值，其视角正对齿轮齿纹；分别开启三个角度的照明可以每次只照亮部分齿纹，采集三个角度照明下的齿纹图片，通过图片间逻辑运算可以对齿轮的外形构建分割掩模，区分出齿轮齿的侧面、顶面和底面。

进一步的，所述DLP结构光投影装置投射结构光编码形式为时间编码的格雷码结构光；所述格雷码结构光包括正相编码和反相编码。

进一步的，所述三维重建模块包括：格雷码优化解码子模块、基于SAD与Census匹配代价融合的局部匹配算法子模块、多曝光图像融合算法子模块、基于视差的深度解算子模块；

所述格雷码优化解码是基于传统正反相格雷码投影解码方法的改进型，在“明”、“暗”点的基础上增加定义“未确认”点，各点定义见下式：

式中I(x,y)表示正投影图片中坐标(x,y)处点的像素值，I′(x,y)表示反投影中坐标(x,y)处点的像素值，α为阈值，表示正反投影的明暗区分度限制；在解码时，将“未确认”点暂时排除解码范围；在解码获得的编码图的基础上通过定义特殊侵蚀算法为“未确认”点赋值；所述特殊侵蚀算法为以“未确认”点为中心，遍历一定窗口范围内的全部点的值，取众数作为“未确认”点的编码值；

所述基于SAD与Census匹配代价融合的局部匹配算法为SAD局部匹配算法和Census局部匹配算法的融合；融合方法为见下式：

C(p,d)是融合代价，分别计算待匹配两点的SAD匹配代价C_sad和Census匹配代价C_census，对SAD匹配代价和Census匹配代价进行归一化，B_census(n)、B_sad(n)分别是Census和SAD的归一化函数，其中n是匹配使用的窗口边长，M是当前使用的像素格式下最大的像素值；α是动态变化的灰度差异因子，q_i是左相机拍摄图片待匹配点匹配窗口内像素，p_i是右相机拍摄图片待匹配点匹配窗口内像素。

进一步的，所述双目相机，用针孔成像模型的内部参数与畸变系数描述工业相机成像。

进一步的，所述双目相机使用大恒的黑白相机；

所述DLP结构光投影装置，使用德州仪器的DMD投影设备；

所述步进电机驱动旋转台使用大恒光电的电控旋转台；

所述LED光源使用科麦视觉的专业机器视觉LED红色光源；所述光源控制器使用科麦视觉的四通道数字电源控制器。

本发明还提供一种基于上述装置的双目金属齿轮三维形貌测量方法，包括如下步骤：

步骤1，单目相机标定、双目相机立体标定以及立体矫正

通过张正友标定法计算相机模型的内部参数与多组外参，由此获得像素坐标系与相机坐标系的映射关系；规定水平高度较低的相机为左相机，通过两相机对同一世界坐标系下的外参旋转矩阵和平移矩阵计算左相机至右相机之间的旋转矩阵和平移矩阵，基于最小二乘法对多组对应外参拟合优化旋转矩阵和平移矩阵；基于旋转矩阵和平移矩阵计算映射参数，重映射双目相机拍摄的图像，对图像进行共面以及同行矫正；

步骤2，数据采集以及预处理

1)通过计算机采集模块命令DLP结构光投影装置和双目相机采集不同曝光时间下的齿轮齿纹图片，通过多曝光图像融合算法获得融合图像；

2)通过计算机采集模块命令DLP结构光投影装置、光源系统和双目相机采集不同角度光照下齿轮齿纹图片，使用OTSU算法对采集图片进行二值化，并基于采集图片进行逻辑运算获得两相机视角下齿轮齿的侧面、顶面和底面掩模；

3)通过计算机采集模块命令DLP结构光投影装置和双目相机采集格雷码结构光图片，并基于采集图片解算目标面编码。

步骤3，视差解算

基于两相机齿轮齿的掩模，将两相机的匹配区域限制在齿轮齿的对应面；基于融合图像作为匹配算法的输入，提供局部匹配的细节数据；基于格雷码结构光的解码获得两相机视角下目标区域的编码图，限制双目匹配搜索范围，只在对应编码的图像块内进行双目匹配；基于SAD与Census匹配代价融合的局部匹配算法获得完整的视差图。

步骤4，生成点云

基于视差图、双目相机内参、立体标定得到的旋转矩阵和平移矩阵，从视差图反算深度；以立体矫正后的左相机为基准，建立点云。

下面结合附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅是本发明的一部分实施例。

实施例

如图1所示，采集装置包括：DLP结构光照射系统、双目相机、两个LED红色机器视觉光源。待测工件为汽车轮毂，其下缘处有齿圈，采集装置以齿圈上的齿为采集目标。DLP在相机和光源的后方，负责投射结构光。光源负责左右照明。双相机组成双目系统采集数据。其中DLP使用触发输出连接相机触发输入，DLP和相机联动负责结构光投射+采集。

如图3、图4、图5所示，所述复合照明结构包括两个LED光源和DLP，以图4所示平面为基准，双目相机采用相机A在平面上方，另一个相机B在平面下方的上下搭设方式。这种搭设方式可以让双相机获取的图像不会被齿纹凹凸遮挡，同时给照明和投射结构留下了空间。DLP、光源、目标均在图中平面上；两个光源在目标和DLP连成的轴线两侧；DLP在双光源的后方，并正对着目标；上述照明结构存在着三个不同方向上的照明光源，由于采集系统和旋转台相对位置固定，结合图4照明结构提供的两侧照明和DLP直射光，可以通过调整照明角度和分段照明的方式取得具有形态学意义的目标面掩模；例如图3中A光源开启时，目标齿轮的上表面和侧面A被照亮；图3中B光源开启时目标物的上表面和侧面B被照亮，图3中DLP直射时目标物整体被照亮。如果A光源下相机观测到的图像记为P_a，B光源下相机观测到的图像记为P_b，DLP直射下相机观测到的图片记为P_DLP，M_lateralA表示A光源侧边掩模，M_lateralB表示B光源侧边掩模M_down表示下表面掩模，则掩模运算过程见下式：

式中～表示取反，∪表示并运算，∩表示交运算。最终取得的齿轮各表面掩模如图5，在合适的光源角度下，经过上述的操作可以获得区分度良好的不同表面掩模。

请参阅图2，本实施例中测量的齿轮工件为汽车轮毂下缘的齿圈，齿纹上下凹凸深度4.3mm，齿纹间偶见焊渣(焊渣0.5mm-1mm)。

使用本发明测量的第一步是完成标定工作，标定工作包括单目相机标定和双目相机的立体标定；双目相机中“左相机”一般作为双目重建基准，这里规定“左相机”为水平高度较低的相机；基于张正友标定理论，两个相机每个进行单目相机标定可以获得内参矩阵M_r、M_l；M_r、M_l分别是左相机内参矩阵和右相机内参矩阵；以左相机为例，其不同位姿的标定板都可以获得一个外参矩阵[R_r|T_r]，右相机同理可以获得[R_l|T_l]，两个相机对同一位姿的标定板可以分别获得各自对应标定板的外参，通过该组对应的外参可以计算双目相机之间的旋转矩阵R和平移矩阵T，计算方式见下式；式中R_l、R_r为左、右相机相对于标定板的旋转矩阵。T_l、T_r为左、右相机相对于标定板的平移向量。

在获得立体标定参数的基础上需要对双目系统采集的图片进行立体矫正，使矫正后的图片可以模拟理想双目系统的采集效果；所述理想双目系统是成像面平行且像素行对齐的双目系统。

如图6所示，在完成系统标定和双目采集图片的矫正工作后，系统可以进入采集流程。采集流程步骤如下：步骤一，程控DLP进入常亮作为采集照明，相机软触发采集一组多曝光图片；步骤二，曝光图片采集完成之后程序向DLP输入投射结构光和左右光照的命令序列并让DLP开始执行命令，DLP通过外触发和相机协作采集齿轮掩模和格雷码序列图片；步骤三，采集动作完成后程控旋转台转过一个齿，然后重复上述过程；采集端完成一次采集后重建算法根据采集数据进行三维重建。

如图7所示，重建算法流程如下：步骤一，格雷码序列图片经过格雷码优化解码后可以得到编码图，左右相机各自可以获得自己视角下目标物的编码图；步骤二，将相机拍摄的多曝光融合图像作为相机原景图输入和编码图一起进行立体矫正；步骤三，实景图和编码图一起送入匹配算法进行解算，在编码图的引导下，通过SAD&Census局部匹配算法进行局部密集匹配；步骤四，左右相机各自获得的视差图进行左右一致性检测，检测完毕后的视差图作为重建点云的输入；步骤五，根据相机内参，视差图解算相机各个像素点对应的实际世界物理点，生成点云。

如图8、图9所示，图8是本实施例中齿轮某齿的重建点云。本实施例中齿轮侧面存在镜面反射光，通过掩模去除，对齿轮上表面和两侧下表面完成了重建。本例中齿轮存在焊渣缺陷，可以看到该缺陷引起了点云的高度变化；图9是另外两齿的重建图，可以看到点云中的焊渣缺陷非常突出。

Claims (10)

1.一种基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，主要由双目相机(3,4)、DLP结构光投射装置(5)、光源系统、运动系统和计算机构成；所述光源系统包括在双目相机(3,4)两侧以固定角度安装的LED光源(1,2)和光源控制器，计算机与光源控制器通讯以控制光源开启和关闭，不同光源开启可以提供两侧不同角度照明；所述运动系统包括步进电机驱动的旋转台(6)以及步进电机控制器，计算机与步进电机控制器通讯以控制旋转台旋转；所述双目相机(3,4)以水平面为基准上下安装，视角中心对准齿轮齿纹；所述DLP结构光投影装置(5)在双目相机后方，投射镜头正对齿轮齿纹，该装置可以提供结构光投射和对齿轮的正面照明；所述计算机包括外设通讯模块、采集模块和三维重建模块；所述外设通讯模块与光源系统和运动系统以串口通讯；外设通讯模块提供光源亮度设定功能、光源开关功能、步进电机旋转角度功能、步进电机旋转速度功能；所述采集模块与双目相机和DLP结构光投射系统通讯；采集模块提供采集多曝光图片功能，投射并采集格雷码结构光图片功能、采集不同角度照明下的目标图片功能。

2.根据权利要求1所述的基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，所述的光源系统和DLP结构光投射装置可提供三个角度的照明，所述三个角度为：以DLP结构光投射装置镜头视角为基准，一个LED光源(1)在双目相机左侧，另一个LED光源(2)在双目相机右侧，DLP结构光投射装置镜头在双目相机后方，其高度贴近上下相机水平高度的均值，其视角正对齿轮齿纹；分别开启三个角度的照明可以每次只照亮部分齿纹，采集三个角度照明下的齿纹图片，通过图片间逻辑运算可以对齿轮的外形构建分割掩模，区分出齿轮齿的侧面、顶面和底面。

3.根据权利要求1所述的基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，所述DLP结构光投影装置投射结构光编码形式为时间编码的格雷码结构光；所述格雷码结构光包括正相编码和反相编码。

4.根据权利要求1所述的基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，所述三维重建模块包括：格雷码优化解码子模块、基于SAD与Census匹配代价融合的局部匹配算法子模块、多曝光图像融合算法子模块、基于视差的深度解算子模块；

所述格雷码优化解码子模块，在“明”、“暗”点的基础上增加定义“未确认”点，各点定义见下式：

式中I(x,y)表示正投影图片中坐标(x,y)处点的像素值，I′(x,y)表示反投影中坐标(x,y)处点的像素值，α为阈值，表示正反投影的明暗区分度限制；在解码时，将“未确认”点暂时排除解码范围；在解码获得的编码图的基础上通过定义特殊侵蚀算法为“未确认”点赋值；所述特殊侵蚀算法为以“未确认”点为中心，遍历一定窗口范围内的全部点的值，取众数作为“未确认”点的编码值；

所述基于SAD与Census匹配代价融合的局部匹配算法为SAD局部匹配算法和Census局部匹配算法的融合；融合方法为见下式：

C(p,d)是融合代价，分别计算待匹配两点的SAD匹配代价C_sad和Census匹配代价C_census，对SAD匹配代价和Census匹配代价进行归一化，B_census(n)、B_sad(n)分别是Census和SAD的归一化函数，其中n是匹配使用的窗口边长，M是当前使用的像素格式下最大的像素值；α是动态变化的灰度差异因子，q_i是左相机拍摄图片待匹配点匹配窗口内像素，p_i是右相机拍摄图片待匹配点匹配窗口内像素。

5.根据权利要求1所述的基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，所述双目相机，用针孔成像模型的内部参数与畸变系数描述工业相机成像。

6.根据权利要求5所述的基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，所述双目相机使用大恒的黑白相机。

7.根据权利要求5所述的基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，所述DLP结构光投影装置，使用德州仪器的DMD投影设备；所述步进电机驱动旋转台使用大恒光电的电控旋转台。

8.根据权利要求5所述的基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，所述LED光源使用科麦视觉的专业机器视觉LED红色光源；所述光源控制器使用科麦视觉的四通道数字电源控制器。

9.根据权利要求1所述的基于格雷码结构光的双目金属齿轮三维形貌测量装置，其特征在于，所述采集模块与双目相机和DLP结构光投射系统以USB2.0通讯。

10.一种基于权利要求1-9任意一项所述装置的双目金属齿轮三维形貌测量方法，其特征在于，包括如下步骤：

步骤1，单目相机标定、双目相机立体标定以及立体矫正

通过张正友标定法计算相机模型的内部参数与多组外参，规定水平高度较低的相机为左相机，通过两相机对同一世界坐标系下的外参旋转矩阵和平移矩阵计算左相机至右相机之间的旋转矩阵和平移矩阵，基于最小二乘法对多组对应外参拟合优化旋转矩阵和平移矩阵；基于旋转矩阵和平移矩阵计算映射参数，重映射双目相机拍摄的图像，对图像进行共面以及同行矫正；

步骤2，数据采集以及预处理

1)通过计算机采集模块命令DLP结构光投影装置和双目相机采集不同曝光时间下的齿轮齿纹图片，通过多曝光图像融合算法获得融合图像；

2)通过计算机采集模块命令DLP结构光投影装置、光源系统和双目相机采集不同角度光照下齿轮齿纹图片，使用OTSU算法对采集图片进行二值化，并基于采集图片进行逻辑运算获得两相机视角下齿轮齿的侧面、顶面和底面掩模；

3)通过计算机采集模块命令DLP结构光投影装置和双目相机采集格雷码结构光图片，并基于采集图片解算目标面编码；

步骤3，视差解算

基于两相机齿轮齿的掩模，将两相机的匹配区域限制在齿轮齿的对应面；基于融合图像作为匹配算法的输入，提供局部匹配的细节数据；基于格雷码结构光的解码获得两相机视角下目标区域的编码图，限制双目匹配搜索范围，只在对应编码的图像块内进行双目匹配；基于SAD与Census匹配代价融合的局部匹配算法获得完整的视差图；

步骤4，生成点云

基于视差图、双目相机内参、立体标定得到的旋转矩阵和平移矩阵，从视差图反算深度；以立体矫正后的左相机为基准，建立点云。

Images