CN109443209A - 一种基于单应性矩阵的线结构光系统标定方法 - Google Patents

Abstract

本发明公开了一种基于单应性矩阵的线结构光系统标定方法，通过构造光刀平面，采用单应性矩阵的计算方法，完成线结构光系统标定。本发明通过平移标定靶标，获取不同位置的光刀图像和靶标图像，从同一位置的两幅图中提取出特征点图像，从而构成一个光刀特征平面。按照相机针孔成像模型，可以建立光刀特征平面与相机系统中图像平面的单应性矩阵关系，并计算出该矩阵，从而完成标定。本发明标定过程简单，计算复杂度低，适用于快速获取物体的三维信息和工业化测量。

Description

一种基于单应性矩阵的线结构光系统标定方法

技术领域

本发明属于机器视觉测量技术领域，具体涉及一种基于单应性矩阵的线结构光系统标定方法的设计。

背景技术

在众多主动视觉测量技术中基于激光三角法的三维传感技术由于具有结构简单、成本低、非接触、操作灵活、测速快、精度适中以及光条图像信息易于提取等优点，在机器视觉、反向工程、实物仿形等领域有着广阔的应用前景。此类技术在计算待测物体的三维形貌信息时，由线光源投射线结构光到被测物体的表面，相机从一定角度获取含线结构光的图形信息，该图形信息即包含物体高度信息。若已知相机与线结构光之间的相对位置关系就可以解调出物体的表面形貌，而如何得到相对位置关系即称为系统标定，这是整个三维测量中的一个核心环节，将会直接影响到测量的精度。

目前的线结构光系统标定方法可以分为两类，第一类是先完成相机标定，再进行光刀平面方程标定。其中，相机透视模型标定方法相对成熟，而光平面的标定方法主要有拉丝标定法、齿形靶标定法和基于三维靶标的交比不变性的标定方法和消隐点法等，这类标定方法需要昂贵的辅助设备，且需预先标定相机的内参数和相机与光平面的位置关系，实验步骤繁琐。第二类是将线结构光系统参数作为一个整体，通过拟合的方式得到系统参数。如利用BP神经网络基于样本训练和学习的方式，建立二维图像坐标与三维空间坐标之间的映射关系，实现了结构光视觉系统的直接标定，或者通过使用遗传算法建立二维图像坐标与三维空间坐标之间的关系实现传感器标定，再或者基于支持向量机的方法建立待标定点图像坐标与其对应的三维空间坐标之间的映射模型。这些方法都不需要标定相机的参数和光刀平面方程，但算法复杂，且需要大量的数据样本。

发明内容

本发明的目的是为了解决现有线结构光系统标定方法操作困难且算法复杂度较高的问题，提出了一种基于单应性矩阵的线结构光系统标定方法。

本发明的技术方案为：一种基于单应性矩阵的线结构光系统标定方法，包括以下步骤：

S1、将标定靶标垂直固定设置于平移设备上。

S2、采用CCD相机获取无激光照射的标定靶标图像。

S3、对无激光照射的标定靶标图像进行角点提取与直线拟合，得到至少两条第一拟合直线。

S4、采用线激光器垂直投射在标定靶标上，并采用CCD相机获取有激光照射的标定靶标图像。

S5、从有激光照射的标定靶标图像中获取光刀图像，并对光刀图像进行重心提取与线性拟合，得到第二拟合直线。

S6、提取每条第一拟合直线与第二拟合直线的交点作为特征点，连接标定靶标图像上的所有特征点组成一条特征线。

S7、采用平移设备将标定靶标沿垂直于标定靶标平面的方向平移指定步进量，并重复步骤S2～S6，得到至少两条特征线。

S8、通过所有特征线构建光刀特征面。

S9、构建表示光刀特征面与CCD相机图像平面映射关系的单应性矩阵。

S10、选择至少四个非共线的特征点，根据每个特征点的世界坐标以及每个特征点在图像平面上对应像点的图像坐标计算出单应性矩阵中的未知量，完成线结构光系统的标定。

进一步地，标定靶标平面包括两个左右对称的棋盘格区域，两个棋盘格区域之间设置有一个用于投射线激光的白色区域。

进一步地，步骤S3具体为：

采用Harris角点提取算法对无激光照射的标定靶标图像进行处理，提取棋盘格角点，再对属于同一行的角点进行直线拟合，得到至少两条第一拟合直线。

进一步地，步骤S5包括以下分步骤：

S5-1、采用阈值滤波法从有激光照射的标定靶标图像中获取光刀图像。

S5-2、采用灰度重心法从光刀图像中提取每行的重心点坐标，得到重心点图像。

S5-3、采用最大似然法去掉重心点图像中的明显噪点。

S5-4、对重心点图像中的剩余有效数据点进行直线拟合，得到第二拟合直线。

进一步地，步骤S9包括以下分步骤：

S9-1、以第一条特征线上的第一个特征点为坐标原点O，以平移设备的平移方向为Z_w轴，以特征线的竖直向下的方向为X_w轴，采用右手定则建立世界坐标系O-X_wY_wZ_w。

S9-2、以图像平面的左上角为坐标原点O，以图像平面水平方向为u轴，以图像平面竖直方向为v轴，建立图像坐标系O-uv。

S9-3、根据相机针孔成像模型下物点和像点的成像几何关系，构建表示光刀特征面与CCD相机图像平面映射关系的单应性矩阵H＝A[r₁ r₃ t]，其中A表示CCD相机的内参数矩阵，且：

其中f_x,f_y分别为u轴和v轴的尺度因子，γ为u轴和v轴的倾斜因子，且当u轴和v轴垂直时γ＝0，u₀,v₀分别为CCD相机的光轴中心在图像平面的坐标；r₁,r₃分别为3×3单位正交旋转矩阵R中的第1列元素和第3列元素，t为3×1的平移矢量。

进一步地，步骤S10包括以下分步骤：

S10-1、选择N个非共线的特征点，获取每个特征点的世界坐标及其在图像平面上对应像点的图像坐标；其中N≥4。

S10-2、将每个特征点的世界坐标及其对应像点的图像坐标转化为齐次坐标形式。

S10-3、假设单应性矩阵为根据每个特征点与像点的对应关系，即得到一个包含2N个方程的方程组：

其中s为尺度因子，[u_i,v_i,1]^T表示第i个像点的齐次坐标，[X_wi,Z_wi,1]^T表示第i个特征点的齐次坐标，i＝1,2,...,N；根据该方程组计算得到单应性矩阵H，从而完成线结构光系统的标定。

本发明的有益效果是：

(1)本发明不需要预先标定相机，也不需要标定光刀平面方程，而是采用单应性矩阵的计算方法，建立起二维图像坐标与三维世界坐标之间的关系，标定过程简单。

(2)本发明数据处理量小，获取世界坐标速度快，由于二维图像坐标与三维世界坐标是通过单应性矩阵的形式给出，因此标定结果存储量小，计算复杂度低；并且将本发明的标定结果应用于后续线结构光系统测量过程中时，若已知待测物体图像平面坐标，应用单应性矩阵便可以快速求解出待测物体空间坐标。

(3)本发明特殊设计了标定靶标，该标定靶标设计简单，成本低廉，通过对标定靶标上角点和光刀图像的线性拟合求解角点坐标得到特征点坐标，可以很方便地找到特征点的位置，简化了实验步骤；并且提取标定靶标上的角点精度能达到亚像素级，进一步提高了特征点提取的精度。

附图说明

图1所示为本发明实施例提供的一种基于单应性矩阵的线结构光系统标定方法流程图。

图2所示为本发明实施例提供的标定靶标角点提取示意图。

图3所示为本发明实施例提供的重心点图像示意图。

图4所示为本发明实施例提供的特征点提取示意图。

图5所示为本发明实施例提供的特征点图。

图6所示为本发明实施例提供的线结构光三维测量系统示意图。

图7所示为本发明实施例提供的线结构光传感器数学模型示意图。

图8所示为本发明实施例提供的测量误差分布示意图。

具体实施方式

现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

本发明实施例提供了一种基于单应性矩阵的线结构光系统标定方法，如图1所示，包括以下步骤S1至S10：

S1、将标定靶标垂直固定设置于平移设备上。

本发明实施例中，采用特殊设计的标定标靶，其平面包括两个左右对称的棋盘格区域，两个棋盘格区域之间设置有一个用于投射线激光的白色区域。本发明实施例中，每个棋盘格的大小为10mm×10mm，白色区域宽度为20mm。

S2、采用CCD相机获取无激光照射的标定靶标图像。

S3、对无激光照射的标定靶标图像进行角点提取与直线拟合，得到至少两条第一拟合直线。

本发明实施例中，首先采用Harris角点提取算法对无激光照射的标定靶标图像进行处理，提取棋盘格角点，如图2所示；再对属于同一行的角点逐一进行直线拟合，得到至少两条第一拟合直线，即y＝a_i*x+b_i，i＝1,2,...,I，I≥2。本发明实施例中，I＝15。

S4、采用线激光器垂直投射在标定靶标上，并采用CCD相机获取有激光照射的标定靶标图像。

S5、从有激光照射的标定靶标图像中获取光刀图像，并对光刀图像进行重心提取与线性拟合，得到第二拟合直线。

步骤S5包括以下分步骤S5-1至S5-4：

S5-1、采用阈值滤波法从有激光照射的标定靶标图像中获取光刀图像。

S5-2、采用灰度重心法从光刀图像中提取每行的重心点坐标，得到重心点图像，如图3所示。

S5-3、采用最大似然法去掉重心点图像中的明显噪点。

S5-4、对重心点图像中的剩余有效数据点进行直线拟合，得到第二拟合直线，即y＝c₁*x+d₁。

阈值滤波法、灰度重心法以及最大似然法均为本领域的现有算法，在此不再赘述。

S6、提取每条第一拟合直线与第二拟合直线的交点作为特征点，连接标定靶标图像上的所有特征点组成一条特征线。

根据第一拟合直线与第二拟合直线的表达式，其交点坐标为这些交点具有亚像素精度，将其作为特征点并将所有特征点连接组成一条特征线，如图4所示。

S7、采用平移设备将标定靶标沿垂直于标定靶标平面的方向平移指定步进量(本发明实施例中指定步进量为10mm)，并重复步骤S2～S6，得到至少两条特征线。

本发明实施例中，需要得到9条特征线，由于步骤S3中设置I＝15，因此每一条特征线上共有15个特征点，如图5所示。

S8、通过所有特征线构建光刀特征面。

S9、构建表示光刀特征面与CCD相机图像平面映射关系的单应性矩阵。

步骤S9包括以下分步骤S9-1至S9-3：

S9-1、以第一条特征线上的第一个特征点为坐标原点O，以平移设备的平移方向为Z_w轴，以特征线的竖直向下的方向为X_w轴，采用右手定则建立世界坐标系O-X_wY_wZ_w，则在光刀特征面上所有Y_w坐标为0，如图6所示。

S9-2、以图像平面的左上角为坐标原点O，以图像平面水平方向为u轴，以图像平面竖直方向为v轴，建立图像坐标系O-uv，如图7所示。

S9-3、根据相机针孔成像模型下物点和像点的成像几何关系，构建表示光刀特征面与CCD相机图像平面映射关系的单应性矩阵。

首先需要构建如图7所示的线结构光传感器数学模型，其中O-uv为图像坐标系，O_n-X_nY_n为CCD相机的像平面坐标系，O_c-X_cY_cZ_c为CCD相机的摄像机坐标系，其中原点O_c为CCD相机的摄像机光心，Z_c轴为CCD相机的摄像机光轴。本发明实施例中，在标定过程中首先选取某一特征点p作为物点，其在世界坐标系下的坐标为(X_wi,Y_wi,Z_wi)，其齐次坐标为(X_wi,Y_wi,Z_wi,1)，点p在图像平面上的对应像点为p′，其在图像坐标系下的坐标为(u_i,v_i)，其齐次坐标为(u_i,v_i,1)，根据线结构光传感器数学模型中世界坐标系-摄像机坐标系-像平面坐标系-图像坐标系的坐标转换关系，可以得到如下透视投影矩阵关系：

其中A表示CCD相机的内参数矩阵，且：

其中f_x,f_y分别为u轴和v轴的尺度因子，γ为u轴和v轴的倾斜因子，且当u轴和v轴垂直时γ＝0，u₀,v₀分别为CCD相机的光轴中心在图像平面的坐标。

R为3×3单位正交旋转矩阵，且：

R＝[r₁ r₂ r₃] (3)

r_j表示矩阵R的第j列元素，j＝1,2,3；t为3×1的平移矢量，s为尺度因子。

将公式(2)和公式(3)带入公式(1)可得：

由于在标定过程中，光刀特征面与世界坐标系的X_wOZ_w平面重合，因此Y_wi＝0，公式(4)可以改写为：

因此即可采用单应性矩阵H＝A[r₁ r₃ t]来表示特征点p与其对应像点p′的映射关系。

S10、选择至少四个非共线的特征点，根据每个特征点的世界坐标以及每个特征点在图像平面上对应像点的图像坐标计算出单应性矩阵中的未知量，完成线结构光系统的标定。

步骤S10包括以下分步骤S10-1至S10-4：

S10-1、选择N个非共线的特征点，获取每个特征点的世界坐标及其在图像平面上对应像点的图像坐标；其中N≥4。

S10-2、将每个特征点的世界坐标及其对应像点的图像坐标转化为齐次坐标形式。

S10-3、单应性矩阵H是一个3×3的矩阵，假设其表示为并且根据公式(5)可以确定，其最后一个元素值即h₃₃为1，而其它8个元素值都为未知量，这8个未知量的求取方法为：

根据每个特征点与像点的对应关系，即可以得到一个包含2N个方程的方程组：

其中s为尺度因子，[u_i,v_i,1]^T表示第i个像点的齐次坐标，[X_wi,Z_wi,1]^T表示第i个特征点的齐次坐标，i＝1,2,...,N。公式(6)可以改写为：

其中，h＝[h₁₁,h₁₂,h₁₃,h₂₁,h₂₂,h₂₃,h₃₁,h₃₂,h₃₃]^T，b_xi＝(-X_wi,-Z_wi,-1,0,0,0,u_iX_wi,u_iZ_wi,u_i)^T，

b_yi＝(0,0,0,-X_wi,-Z_wi,-1,v_iX_wi,v_iZ_wi,v_i)^T，每给定一组非共线的特征点，就可以得到以下线性方程组：

Bh＝0 (8)

其中当N≥4时，2N≥8，方程组中方程个数大于未知量个数，可通过对矩阵B进行奇异值分解(SVD)求解出h，对h重组便可求解得到单应性矩阵H，从而完成线结构光系统的标定。

为了验证本发明的标定精度，使用单应性矩阵H验证测量精度，将其应用于如图6所示的线结构光三维测量系统中。本发明实施例中，CCD相机采用德国IDS2250CCD相机，分辨率为1280×1024pixels，镜头焦距为16mm；线激光器波长为650nm、激光器与CCD相机距离为300mm、两光轴夹角为28°；平移设备采用卓立汉光TSA150-E电控精密平移台。

在测量中，每次拍摄均可获取一幅图像，从中提取待测点像素坐标，便可根据单应性矩阵计算出世界坐标X_wi和Z_wi，若单应性矩阵则其逆矩阵可表示为那么则有：

其中(u_i,v_i)为实测每个点的图像坐标，通过单次拍摄获取(X_wi,Z_wi)，其世界坐标Y_wi的位置信息则来自于每次扫描，即由平移设备提供。

本发明实施例中，最终计算得到单应性矩阵将其带入公式(9)计算得到具体(X_wi,Z_wi)数值后，其在X_w、Z_w方向的最大残差和均方差如表1所示，其误差分布图如图8所示。

表1

根据表1和图8可知，本发明实施例提供的线结构光系统标定最大残差小于0.05mm，标准差小于0.02mm，该方法可快速获取空间坐标、精度高、操作简单、标定靶设计简单，成本低廉，因此该方法适用于快速测量物体的三维信息和工业化应用。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于单应性矩阵的线结构光系统标定方法，其特征在于，包括以下步骤：

S1、将标定靶标垂直固定设置于平移设备上；

S2、采用CCD相机获取无激光照射的标定靶标图像；

S3、对无激光照射的标定靶标图像进行角点提取与直线拟合，得到至少两条第一拟合直线；

S4、采用线激光器垂直投射在标定靶标上，并采用CCD相机获取有激光照射的标定靶标图像；

S5、从有激光照射的标定靶标图像中获取光刀图像，并对光刀图像进行重心提取与线性拟合，得到第二拟合直线；

S6、提取每条第一拟合直线与第二拟合直线的交点作为特征点，连接标定靶标图像上的所有特征点组成一条特征线；

S7、采用平移设备将标定靶标沿垂直于标定靶标平面的方向平移指定步进量，并重复步骤S2～S6，得到至少两条特征线；

S8、通过所有特征线构建光刀特征面；

S9、构建表示光刀特征面与CCD相机图像平面映射关系的单应性矩阵；

S10、选择至少四个非共线的特征点，根据每个特征点的世界坐标以及每个特征点在图像平面上对应像点的图像坐标计算出单应性矩阵中的未知量，完成线结构光系统的标定。

2.根据权利要求1所述的线结构光系统标定方法，其特征在于，所述标定靶标平面包括两个左右对称的棋盘格区域，两个棋盘格区域之间设置有一个用于投射线激光的白色区域。

3.根据权利要求2所述的线结构光系统标定方法，其特征在于，所述步骤S3具体为：

采用Harris角点提取算法对无激光照射的标定靶标图像进行处理，提取棋盘格角点，再对属于同一行的角点进行直线拟合，得到至少两条第一拟合直线。

4.根据权利要求1所述的线结构光系统标定方法，其特征在于，所述步骤S5包括以下分步骤：

S5-1、采用阈值滤波法从有激光照射的标定靶标图像中获取光刀图像；

S5-2、采用灰度重心法从光刀图像中提取每行的重心点坐标，得到重心点图像；

S5-3、采用最大似然法去掉重心点图像中的明显噪点；

S5-4、对重心点图像中的剩余有效数据点进行直线拟合，得到第二拟合直线。

5.根据权利要求1所述的线结构光系统标定方法，其特征在于，所述步骤S9包括以下分步骤：

S9-1、以第一条特征线上的第一个特征点为坐标原点O，以特征线的竖直向下的方向为X_w轴，以平移设备的平移方向为Z_w轴，采用右手定则建立世界坐标系O-X_wY_wZ_w；

S9-2、以图像平面的左上角为坐标原点O，以图像平面水平方向为u轴，以图像平面竖直方向为v轴，建立图像坐标系O-uv；

S9-3、根据相机针孔成像模型下物点和像点的成像几何关系，构建表示光刀特征面与CCD相机图像平面映射关系的单应性矩阵H＝A[r₁r₃t]，其中A表示CCD相机的内参数矩阵，且：

其中f_x,f_y分别为u轴和v轴的尺度因子，γ为u轴和v轴的倾斜因子，且当u轴和v轴垂直时γ＝0，u₀,v₀分别为CCD相机的光轴中心在图像平面的坐标；r₁,r₃分别为3×3单位正交旋转矩阵R中的第1列元素和第3列元素，t为3×1的平移矢量。

6.根据权利要求5所述的线结构光系统标定方法，其特征在于，所述步骤S10包括以下分步骤：

S10-1、选择N个非共线的特征点，获取每个特征点的世界坐标及其在图像平面上对应像点的图像坐标；其中N≥4；

S10-2、将每个特征点的世界坐标及其对应像点的图像坐标转化为齐次坐标形式；

S10-3、假设单应性矩阵为根据每个特征点与像点的对应关系，即得到一个包含2N个方程的方程组：

其中s为尺度因子，[u_i,v_i,1]^T表示第i个像点的齐次坐标，[X_wi,Z_wi,1]^T表示第i个特征点的齐次坐标，i＝1,2,...,N；根据该方程组计算得到单应性矩阵H，从而完成线结构光系统的标定。