CN114264248B - 一种单目旋转结构光三维测量方法 - Google Patents

Abstract

本发明属于机器视觉测量领域，提供了一种单目旋转结构光三维目标测量方法，通过振镜反射线结构光进行旋转扫描，实现了被测目标的高精度三维测量。对于本方法，在测量过程中线结构光光平面旋转轴轴线可标定出来，因此线结构光无需准确照射在振镜旋转轴轴线上即可实现高精度测量，且线结构光光平面旋转角度通过计算得到。与现有测量方法相比，本方法有效地避免了由控制电压参数或反射镜角度计算线结构光光平面旋转角度带来的误差，所有计算均在世界坐标系下进行，在保证精度的前提下简化了整个测量过程。

Description

一种单目旋转结构光三维测量方法

技术领域

本发明属于机器视觉测量技术领域，涉及一种单目旋转结构光三维测量方法，该方法通过振镜旋转完成线结构光的扫描，在实现线结构光光平面标定的基础上，完成被测目标的三维高精度测量。

背景技术

三维视觉测量技术是机器视觉技术的一种，结构光三维测量技术作为三维视觉测量技术的一种典型应用，具有测量精度高、稳定性好、速度快、成本低等诸多优点，已被广泛应用于航空航天、船舶、能源动力等各个领域。常见的结构光测量系统主要由激光器、工业相机、运动系统等部分组成。传统的结构光测量系统通过直线导轨移动被测目标的方式测量目标，难以实现固定式、大尺寸目标的三维测量。目前虽有旋转扫描的实现方案，但实施时需要线结构光准确照射在振镜旋转轴的轴线上，测量精度受系统装调误差的限制，并且计算过程复杂。因此，研究单目旋转结构光高精度三维测量方法具有重要意义。

单目旋转结构光三维测量目前有两种方式，一种是通过机构带动反射镜旋转从而完成线结构光对目标的扫描，另外一种是通过机构带动由激光器与相机组成的整体进行旋转。对于前者，中国海洋大学的解则晓等发明了专利号为CN102269587A“基于可控光平面的水下三维重绘装置及重绘方法”，发明的三维重绘装置主要包括带有反射镜的光平面控制装置、CCD摄像机以及光平面发生器，光平面发生器的出射光正好投射到反射镜片的旋转轴轴线上，利用反射镜反射后的线结构光扫描水下物体。对于后者，哈尔滨工程大学的刘涛等发明的专利号为CN 110763152 A“一种水下主动旋转线结构光三维视觉测量装置及测量方法”，发明了将水下摄像机和水下结构光放置于可控旋转装置上的测量方案，水下摄像机和水下结构光相对位置固定，通过可控装置带动二者组成的整体旋转从而实现目标的扫描测量。中国海洋大学的朱志浩等在2020 11th International Conference on AwarenessScience and Technology(iCAST)上发表了题为“Rotation Axis Calibration of LaserLineRotating-Scan System for 3D Reconstruction”的文章，提出将摄像机和线激光器作为整体安装在旋转平台上，利用平台的旋转完成扫描的方法。在方法中，相机光心与旋转轴轴线不重合，在测量中需要标定摄像机坐标系和旋转轴坐标系之间的变换矩阵。对于现有测量方法，前者在测量中需要激光器发射的线结构光与反射镜的旋转轴线保持对齐，对装调提出很高要求，对齐误差会降低最终的测量精度；对于后者测量方法，相机与激光器作为整体旋转，引入了多个坐标系且部分坐标系不断运动，因此，需要标定各坐标系之间的变换矩阵，计算过程复杂。在结构光光平面标定方面，以上两种方法均通过旋转装置参数(控制电压等)来获得结构光光平面旋转角度，而旋转装置的参数存在误差，此误差会通过降低结构光光平面的标定精度而削弱最终的视觉测量精度。

发明内容

本发明要解决的技术难题是克服现有技术的缺陷，发明了一种单目旋转结构光三维测量方法，采用线结构光激光器、振镜以及相机组成测量系统，固定相机与线结构光激光器，利用振镜对线结构光的旋转反射完成被测目标的线结构光扫描，最终，在线结构光光平面旋转轴轴线和线结构光光平面标定的基础上，完成目标的三维测量。首先，使用线结构光激光器、振镜以及相机搭建测量系统；其次，在相机视场内摆放若干不同位置的棋盘格标定板标定相机后，选择合适的原点建立世界坐标系，选用两个不同位置的标定板标定线结构光光平面方程及线结构光光平面的旋转轴轴线；然后，线结构光每隔固定角度(旋转步长)对被测目标进行旋转扫描，根据旋转步长、两次标定的线结构光光平面方程及线结构光光平面的旋转轴轴线求解出任意旋转步长下线结构光光平面方程；最后，根据标定结果及线结构光光平面方程解算任意旋转步长下线结构光中心线上各点的三维坐标，从而实现对被测目标的三维测量。

本发明的技术方案：

一种单目旋转结构光三维测量方法，步骤如下：

首先，通过使用线结构光激光器、振镜以及相机搭建测量系统，线结构光无需准确照射在振镜的旋转轴轴线上；然后，在相机视场内摆放若干不同位置的棋盘格标定板进行相机标定后，选择合适的原点建立世界坐标系，再选用另外两个不同位置的棋盘格标定板标定线结构光光平面方程及线结构光光平面的旋转轴轴线，并根据被测目标大小确定合适的旋转步长；之后，求出任意旋转步长下线结构光光平面方程，在此基础上，将振镜按照特定步长旋转反射后的线结构光照射在被测目标上，完成对被测目标的扫描，并利用灰度重心法提取线结构光中心线上的像素坐标；最后，根据标定结果、光平面方程及线结构光中心线上的像素坐标即可求出被测目标表面所有点的三维坐标。

对于本发明的结构光视觉测量方法，在测量过程中线结构光光平面旋转轴轴线可标定出来，在无需线结构光准确照射在振镜旋转轴轴线上的前提下即可实现高精度测量。此外，线结构光光平面的旋转角度也可通过计算得到，这有效避免了通过振镜控制电压参数计算线结构光光平面旋转角度所带来的误差。另外，所有计算均统一到世界坐标系下进行，在保证精度的前提下简化了计算过程。

一种单目旋转线结构光三维测量方法，具体如下：

(1)单目旋转线结构光三维测量系统搭建

单目旋转结构光三维测量系统由相机1、线结构光激光器2和振镜3组成，通过线结构光激光器2将线结构光照射在振镜3上，然后利用振镜3反射后的线结构光对被测目标进行扫描测量，由于测量过程中线结构光光平面旋转轴轴线可标定出来，所以线结构光无需严格照射在振镜3的旋转轴轴线上。

(2)线结构光光平面及其旋转轴轴线的标定

1)首先进行相机标定，本发明采用张氏标定法结合高精度棋盘格标定板标定相机内参数矩阵及畸变参数，其标定表达式为：

其中，Z_c为尺度因子，(u₀,v₀)为相机(1)拍摄图像的主点坐标，(C_x,C_y)为相机1像元在横、纵方向的等效焦距，R为旋转矩阵，T为平移矩阵，(X,Y,Z)为棋盘格标定板角点在世界坐标系O-XYZ4下的三维坐标，(u,v)为棋盘格标定板角点在图像上的像素坐标。

根据棋盘格标定板上三维点与二维成像点的对应关系即可求解相机1的内参数矩阵和畸变参数(包括径向畸变系数k₁、k₂以及切向畸变参数p₁、p₂)；

2)以1号位置棋盘格标定板5左上角的角点为原点O，棋盘格竖直排列方向为X轴、水平排列方向为Y轴、垂直于标定板平面向上为Z轴建立世界坐标系O-XYZ4；通过相机1拍摄1号位置棋盘格标定板5的图像，标定相机1在世界坐标系O-XYZ4下的外参数矩阵，进而可得到空间点与其图像像素坐标的对应关系为：

其中，R₁为相机1到世界坐标系O-XYZ4的旋转矩阵，T₁为相机1到世界坐标系O-XYZ4的平移矩阵，X、Y、Z为该点在世界坐标系O-XYZ4下的三维坐标分量；

3)开启线结构光激光器2，利用振镜3将线结构光光平面旋转至θ＝0°的初始角度，则线结构光光平面与1号位置棋盘格标定板5相交于直线AB，通过相机1拍摄线结构光图像并利用灰度重心法提取线结构光中心线上各点的像素坐标：

其中，I(u',v')为线结构光图像中像素坐标(u',v')处的像素点灰度值，Ω为图像u'方向上线结构光所占像素点的集合，(u₀',v₀')是线结构光中心线上点的像素坐标。

然后根据线结构光中心线上点的像素坐标及公式(2)计算线结构光中心线上点的世界坐标，进而拟合出线结构光AB的方程；

4)保持线结构光激光器2开启，将线结构光光平面旋转至特定角度θ，θ由后面计算得到，则线结构光光平面与1号位置棋盘格标定板5相交于直线CD，通过相机1拍摄线结构光图像并利用灰度重心法提取线结构光的中心，计算出线结构光中心线上各点的世界坐标，并进一步拟合出线结构光CD的方程；

5)对2号位置棋盘格标定板6重复上述步骤3)和4)，拟合线结构光A'B'与线结构光C'D'的方程，其中1号位置棋盘格标定板5与2号位置棋盘格标定板6不共面；

6)分别基于线结构光AB与A'B'、CD与C'D'的方程，利用最小二乘法拟合出世界坐标系O-XYZ4下两个线结构光光平面方程Z_b1、Z_b2及其对应法向量n_z1、n_z2：

其中，Z_b1、Z_b2为两次标定的线结构光光平面方程，n_z1、n_z2分别为其对应的法向量，a、b、c、d、e、f均为常量；

法向量n_z1、n_z2之间的角度即为线结构光光平面的旋转角度θ，通过计算两线结构光光平面的交线l可确定线结构光光平面旋转轴轴线的单位方向向量k。

(3)三维坐标计算

在交线l上任取一点o(x₁,y₁,z₁)作为所有线结构光光平面的公共点，然后根据被测目标大小确定合适的旋转步长θ'。根据罗德里格公式可确定任意线结构光光平面的法向量n_i：

n_i＝cos(θ'·i)·n_z1+(1-cos(θ'·i)·(n_z1·k)·k+sin(θ'·i)·k×n_z1i＝1,2,…  (5)

其中，θ'为旋转步长，n_z1为线结构光光平面Z_b1的法向量，k为线结构光光平面旋转轴轴线的单位方向向量。

这样，根据公共点o(x₁,y₁,z₁)及公式(3)得到的法向量n_i＝(a_i,b_i,c_i)^T，可以计算旋转任意角度后的线结构光光平面方程如下：

a_i(X-x₁)+b_i(Y-y₁)+c_i(Z-z₁)＝0(i＝1,2,…)  (6)

最后，联立公式(2)和公式(6)可求出任意旋转步长下线结构光图像上一点像素坐标对应世界坐标系O-XYZ(4)下的三维坐标(X,Y,Z)。这样经过旋转扫描后可得到整个被测目标的三维信息。

本发明的有益之处在于通过标定可得到线结构光光平面旋转轴轴线，标定过程中线结构光光平面旋转角度是通过计算得到且所有计算均统一到世界坐标系下。而现有测量方法通过引入控制电压参数或通过反射镜角度来确定实际线结构光光平面的旋转角度，无形之中引入误差或将误差放大。相较于现有测量方法，本发明有效地避免了上述误差，由于测量过程中线结构光光平面旋转轴轴线可标定出来，因此，线结构光无需严格照射在振镜旋转轴轴线上。

附图说明

图1为单目旋转结构光三维测量方法原理图。

图2为单目旋转结构光三维测量方法流程图。

图3为单目旋转结构光三维测量方法测量结果图。

图中：1-相机，2-线结构光激光器，3-振镜，4-世界坐标系O-XYZ，5-1号位置棋盘格标定板，6-2号位置棋盘格标定板。

具体实施方式

以下结合技术方案和附图1、2详细叙述本发明的具体实施方式。附图1为单目旋转线结构光三维测量方法原理图。实施例选用实验室搭建的单目旋转结构光三维测量系统，包括相机1、线结构光激光器2、振镜3。相机1帧频为30fps，分辨率为1280×1040pixels，选用的镜头焦距为35mm，线结构光激光器2的激光波长为450nm，振镜3的反射镜镜片尺寸为7×11×0.7mm，被测目标是高度为70mm的倒扣纸杯。采用附图2所示测量流程求解被测目标在世界坐标系O-XYZ4下的三维坐标。以下对具体实施进行详细说明。

(1)单目旋转结构光三维测量系统搭建

单目旋转线结构光三维测量系统由相机1、线结构光激光器2、振镜3组成，通过线结构光激光器2将线结构光照射在振镜3上，然后，利用振镜3反射出的线结构光对被测目标进行扫描测量。

(2)线结构光光平面及其旋转轴轴线的标定

1)首先进行相机标定，本发明采用张氏标定法结合高精度棋盘格标定板来标定相机1的内参数矩阵及畸变参数(包括径向畸变系数k₁、k₂以及切向畸变参数p₁、p₂)。所采用的标定板为陶瓷材料的棋盘格标定板，棋盘格标定板大小为200×200mm，棋盘格大小为10×10mm。标定时将该标定板在相机1视场内摆放15个位置，通过采集每一位置处的棋盘格标定板图像标定相机1。获得的相机1的内参数矩阵和畸变参数如下：

2)以1号位置棋盘格标定板5左上角点为原点O，棋盘格标定板竖直排列方向为X轴、水平排列方向为Y轴、垂直于棋盘格标定板平面向上为Z轴建立世界坐标系O-XYZ4，通过相机1拍摄1号位置棋盘格标定板5的图像，标定相机1在世界坐标系O-XYZ4下的外参数矩阵为：

由公式(2)及相机1在世界坐标系O-XYZ4下的外参数矩阵可得到空间一点与相机1中图像像素坐标的对应关系为：

3)开启线结构光激光器2，通过振镜3将线结构光光平面旋转至θ＝0°的初始角度，则线结构光光平面与1号位置棋盘格标定板5相交于直线AB，通过相机1拍摄线结构光图像并利用灰度重心法提取线结构光中心线上各点，计算线结构光中心线各点的世界坐标，并拟合线结构光AB的方程；

4)保持线结构光激光器2开启，将线结构光光平面旋转至特定角度θ，θ由后面计算得到，则线结构光光平面与1号位置棋盘格标定板5相交于直线CD，通过相机1拍摄线结构光图像并提取线结构光中心线上各点，计算线结构光中心线各点的世界坐标，并拟合线结构光CD的方程；

5)对2号位置棋盘格标定板6重复上述步骤3)和4)，拟合线结构光A'B'与线结构光C'D'的方程，其中1号位置棋盘格标定板5与2号位置棋盘格标定板6不共面；

6)分别基于线结构光AB与A'B'、CD与C'D'的方程，利用最小二乘法拟合出世界坐标系O-XYZ4下两个线结构光光平面方程Z_b1、Z_b2及其对应法向量n_z1、n_z2：

经计算法向量n_z1、n_z2之间的角度θ＝0.3208°，即两线结构光光平面之间的角度为θ＝0.3208°，计算两线结构光光平面的交线l可确定线结构光光平面旋转轴轴线的单位方向向量k＝(0.5863,-0.6145,0.5278)^T。

(3)三维坐标计算

在交线l上取一点o(0,-7.2263,6.2555)作为线结构光光平面的公共点，然后根据被测目标大小确定旋转步长为θ'＝0.03208°。

以i＝10为例计算第十个旋转步长下对应的线结构光光平面方程。由公式(5)可得线结构光光平面法向量为：n₁₀＝(-0.0096,-0.8683,-1.0003)^T。

这样，由公共点o(0,-7.2263,6.2555)和法向量n₁₀＝(-0.0096,-0.8683,-1.0003)^T可以得到旋转i＝10步后的线结构光光平面方程为：-0.0096(X-0)-0.8683(Y+7.2263)-1.0003(Z-6.2225)＝0。

最后联立公式(2)和公式(6)可求出线结构光像素坐标为(334,168)对应世界坐标系下O-XYZ4的三维坐标为(21.8260,25.0063,-39.5295)。这样经过线结构光旋转扫描后可得到整个被测目标表面的三维坐标，经过170个旋转步长扫描后的被测目标(杯子)测量结果如图3所示。

本发明采用单目旋转结构光三维目标测量技术实现了被测目标的三维测量。与现有测量方法相比，本发明有效地避免了由控制电压参数或反射镜角度带来的误差，且线结构光无需严格照射在振镜旋转轴轴线上，所有计算均在世界坐标系下进行，在保证精度的前提下简化了整个测量过程。

Claims (1)

1.一种单目旋转线结构光三维测量方法，其特征在于，步骤如下：

(1)单目旋转线结构光三维测量系统搭建

单目旋转线结构光三维测量系统主要由相机(1)、线结构光激光器(2)和振镜(3)组成，通过线结构光激光器(2)将线结构光照射在振镜(3)上，然后利用振镜(3)反射后的线结构光对被测目标进行扫描测量；

(2)线结构光光平面及其旋转轴轴线的标定

1)首先进行相机标定，采用张氏标定法结合高精度棋盘格标定板标定相机内参数矩阵及畸变参数，其标定表达式为：

其中，Z_c为尺度因子，(u₀,v₀)为相机(1)拍摄图像的主点坐标，(C_x,C_y)为相机(1)像元在横、纵方向的等效焦距，R为旋转矩阵，T为平移矩阵，(X,Y,Z)为棋盘格标定板角点在世界坐标系O-XYZ(4)下的三维坐标，(u,v)为棋盘格标定板角点在图像上的像素坐标；

根据棋盘格标定板上三维点与二维成像点的对应关系即求解相机(1)的内参数矩阵和畸变参数，包括径向畸变系数k₁、k₂以及切向畸变参数p₁、p₂；

2)以1号位置棋盘格标定板(5)左上角的角点为原点O，棋盘格竖直排列方向为X轴、水平排列方向为Y轴、垂直于标定板平面向上为Z轴建立世界坐标系O-XYZ(4)；通过相机(1)拍摄1号位置棋盘格标定板(5)的图像，标定相机(1)在世界坐标系O-XYZ(4)下的外参数矩阵，进而得到空间点与其图像像素坐标的对应关系为：

其中，R₁为相机(1)到世界坐标系O-XYZ(4)的旋转矩阵，T₁为相机(1)到世界坐标系O-XYZ(4)的平移矩阵，X、Y、Z为该点在世界坐标系O-XYZ(4)下的三维坐标分量；

3)开启线结构光激光器(2)，利用振镜(3)将线结构光光平面旋转至θ＝0°的初始角度，则线结构光光平面与1号位置棋盘格标定板(5)相交于直线AB，通过相机(1)拍摄线结构光图像并利用灰度重心法提取线结构光中心线上各点的像素坐标：

其中，I(u',v')为线结构光图像中像素坐标(u',v')处的像素点灰度值，Ω为图像u'方向上线结构光所占像素点的集合，(u₀',v₀')是线结构光中心线上点的像素坐标；

然后根据线结构光中心线上点的像素坐标及公式(2)计算线结构光中心线上点的世界坐标，进而拟合出线结构光AB的方程；

4)保持线结构光激光器(2)开启，将线结构光光平面旋转至角度θ，θ由后面计算得到，则线结构光光平面与1号位置棋盘格标定板(5)相交于直线CD，通过相机(1)拍摄线结构光图像并利用灰度重心法提取线结构光的中心，计算出线结构光中心线上各点的世界坐标，并进一步拟合出线结构光CD的方程；

5)对2号位置棋盘格标定板(6)重复上述步骤3)和4)，拟合线结构光A'B'与线结构光C'D'的方程，其中1号位置棋盘格标定板(5)与2号位置棋盘格标定板(6)不共面；

6)分别基于线结构光AB与A'B'、CD与C'D'的方程，利用最小二乘法拟合出世界坐标系O-XYZ(4)下两个线结构光光平面方程Z_b1、Z_b2及其对应法向量n_z1、n_z2：

其中，Z_b1、Z_b2为两次标定的线结构光光平面方程，n_z1、n_z2分别为其对应的法向量，a、b、c、d、e、f均为常量；

法向量n_z1、n_z2之间的角度即为线结构光光平面的旋转角度θ，通过计算两线结构光光平面的交线l来确定线结构光光平面旋转轴轴线的单位方向向量k；

(3)三维坐标计算

在交线l上任取一点o(x₁,y₁,z₁)作为所有线结构光光平面的公共点，然后根据被测目标大小确定旋转步长θ'；根据罗德里格公式确定任意线结构光光平面的法向量n_i：

n_i＝cos(θ'·i)·n_z1+(1-cos(θ'·i)·(n_z1·k)·k+sin(θ'·i)·k×n_z1 i＝1,2,…(5)

其中，θ'为旋转步长，n_z1为线结构光光平面Z_b1的法向量，k为线结构光光平面旋转轴轴线的单位方向向量；

这样，根据点o(x₁,y₁,z₁)及公式(3)得到的法向量n_i＝(a_i,b_i,c_i)^T，计算旋转任意角度后的线结构光光平面方程如下：

a_i(X-x₁)+b_i(Y-y₁)+c_i(Z-z₁)＝0 (i＝1,2,…)    (6)

最后，联立公式(2)和公式(6)求出任意旋转步长下线结构光图像上一点像素坐标对应世界坐标系O-XYZ(4)下的三维坐标(X,Y,Z)；经过旋转扫描后，得到整个被测目标的三维信息。

Images