CN109146959A - 单目相机实现动态点三维测量方法 - Google Patents

Abstract

本发明公开了一种单目相机实现动态点三维测量方法，该方法包括：在空间非运动刚体某一位置建立全局坐标系，并在该全局坐标系上粘贴多个坐标已知的控制点；标定出单目相机的内外参数；利用多台激光发射器发出多条激光光束，每条激光光束打在动态测量点所在平面上产生一个激光点；利用单目相机采集控制点和动态测量点所在平面的初始图像，以及采集动态测量点所在平面在空间运动过程中的序列图像，根据单目相机的内外参数，确定每个激光点的实时空间坐标；根据每个激光点的实时空间坐标，确定动态测量点所在平面方程，从而确定动态测量点的实时三维坐标。本发明可以实现空间目标点的三维坐标测量，为机械系统仿真、验证、试验结果鉴定提供了基础。

Description

单目相机实现动态点三维测量方法

技术领域

本发明涉及一种视觉测量方法，尤其是一种单目相机实现动态点三维测量方法，属于视觉测量领域。

背景技术

坐标测量技术广泛的应用于航空航天、机械制造、土木建筑、医学等领域，坐标测量可分为静态坐标测量和动态坐标测量，静态测量方法一般有全站仪、三坐标测量仪、3D扫描仪、多目视觉测量等，动态测量方法有多目高速相机测量法、激光跟踪仪测量法等。激光跟踪仪一次性只能跟踪测量一点的运动参数，而视觉测量是近几年来测量领域的新兴测量技术，作为一种非接触式测量方法，它是用视觉传感器对被测目标进行图像采集，从采集的图像中提取有用信息，进而实现对被测目标的几何参数测量。

目前，双目甚至多目高速视觉测量系统可以实现目标点的三维坐标测量，但视觉传感器之间立体匹配困难，测量视场范围小且价格昂贵，单目视觉在相机安装、视场调整、相机参数标定等方面都比双目视觉有优势，但单目视觉测量丢失了目标点的深度信息，只能实现二维平面目标点运动参数测量。

发明内容

本发明的目的是为了解决上述现有技术的缺陷，提供了一种单目相机实现动态点三维测量方法，该方法仅用一台视觉成像设备(单目相机)采集图像，相较于其他动态点测量系统、双目视觉或多目视觉动态测量，无需解决双目视觉中的两摄像机间的最优距离(基线长度)和特征点匹配难的问题，也不会像全方位视觉传感器那样产生很大的畸变，在相机安装、视场调整、相机参数标定等方面也都比双目视觉有优势，并在多台激光发射器的辅助下，实现了空间目标点的三维坐标测量，为机械系统仿真、验证，试验结果鉴定提供了基础。

本发明的目的可以通过采取如下技术方案达到：

一种单目相机实现动态点三维测量方法，所述方法包括：

在空间非运动刚体某一位置建立全局坐标系，并在该全局坐标系上粘贴多个坐标已知的控制点；

根据每个控制点的坐标与该控制点在单目相机像平面中的成像点像素坐标之间的线性变换关系，标定出单目相机的内外参数；

利用多台激光发射器发出多条激光光束，每条激光光束打在动态测量点所在平面上产生一个激光点；

利用单目相机采集控制点和动态测量点所在平面的初始图像，以及采集动态测量点所在平面在空间运动过程中的序列图像，根据单目相机的内外参数，确定每个激光点的实时空间坐标；

根据每个激光点的实时空间坐标，确定动态测量点所在平面的方程，从而确定动态测量点的实时三维坐标。

进一步的，所述方法在标定出单目相机的内外参数之前，还包括：

在空间固定单目相机的摆放位置，并调整单目相机的焦距，使单目相机的镜头对准控制点和动态测量点所在平面。

进一步的，所述全局坐标系上的控制点为至少六个，且至少四个控制点不共面。

进一步的，所述每个控制点的坐标与该控制点在单目相机的像平面中的成像点像素坐标之间的线性变换关系为：

式中，f为单目相机的焦距；(du，dv)为单个像素尺寸；u_i和v_i为每个控制点在单目相机像平面中的成像点像素坐标，x_wi、y_wi、z_wi为每个控制点在全局坐标系下的坐标，其中1≤i≤N，N为控制点的数量；r_ij为正交旋转矩阵R_3×3中的元素，其中i,j＝1,2,3；T_3×1＝(x₀，y₀，z₀)^T为全局坐标系原点在单目相机坐标系下的坐标；(u₀，v₀)为单目相机像平面中焦点的像素坐标。

进一步的，所述根据单目相机的内外参数，确定每个激光点的实时空间坐标，具体包括：

确定每条激光束的直线方程；

根据单目相机的内外参数，得到每个激光点在单目相机像平面中的成像点与单目相机光心的连线方程；

根据每条激光束的直线方程，以及每个激光点在单目相机像平面中的成像点与单目相机光心的连线方程，确定每个激光点的实时空间坐标。

进一步的，所述每条激光束的直线方程，如下式：

式中，T_2i-1(x_2i-1，y_2i-1，z_2i-1)、T_2i(x_2i，y_2i，z_2i)分别为每条激光束上在全局坐标系下可测得的点，其中1≤i≤N，N为激光束的数量。

进一步的，所述每个激光点在单目相机像平面中的成像点与单目相机光心的连线方程，如下式：

A_ix+B_iy+C_iz+D_i＝0

E_ix+F_iy+G_iz+H_i＝0

式中，A_i＝f/du*r₁₁+(u₀-u_i)*r₃₁，B_i＝f/du*r₁₂+(u₀-u_i)*r₃₂，

C_i＝f/du*r₁₃+(u₀-u_i)*r₃₃，E_i＝f/d_V*r₂₁+(v₀-v_i)*r₃₁，F_i＝f/dv*r₂₂+(v₀-v_i)*r₃₂，G_i＝f/dv*r₂₃+(v₀-v_i)*r₃₃，D_i＝u₀-u_i，H_i＝v₀-v_i；

f为单目相机的焦距；(du，dv)为单个像素尺寸；u_i和v_i为每个控制点在单目相机像平面中的成像点像素坐标，其中1≤i≤N，N为控制点的数量；r_ij为正交旋转矩阵R_3×3中的元素，其中i,j＝1,2,3；(u₀，v₀)为单目相机像平面中焦点的像素坐标。

进一步的，所述每个激光点的实时空间坐标，由下式确定：

式中，T_2i-1(x_2i-1，y_2i-1，z_2i-1)、T_2i(x_2i，y_2i，z_2i)分别为每条激光束上在全局坐标系下可测得的点，其中1≤i≤N，N为激光束的数量；

A_i＝f/du*r₁₁+(u₀-u_i)*r₃₁，B_i＝f/du*r₁₂+(u₀-u_i)*r₃₂，C_i＝f/du*r₁₃+(u₀-u_i)*r₃₃，E_i＝f/d_V*r₂₁+(v₀-v_i)*r₃₁，F_i＝f/dv*r₂₂+(v₀-v_i)*r₃₂，G_i＝f/dv*r₂₃+(v₀-v_i)*r₃₃，D_i＝u₀-u_i，H_i＝v₀-v_i；

f为单目相机的焦距；(du，dv)为单个像素尺寸；u_i和v_i为每个控制点在单目相机像平面中的成像点像素坐标，其中1≤i≤N，N为控制点的数量；r_ij为正交旋转矩阵R_3×3中的元素，其中i,j＝1,2,3；(u₀，v₀)为单目相机像平面中焦点的像素坐标。

进一步的，所述动态测量点所在平面方程，如下式：

式中，(x_i，y_i，z_i)为每个激光点在全局坐标系下的坐标，其中1≤i≤N，N为激光点的数量。

进一步的，所述动态测量点的实时三维坐标，由下式确定：

Ax+By+Cz+D＝0

Ex+Fy+Gz+H＝0

式中，(x，y，z)为动态测量点的三维坐标，(x_i，y_i，z_i)为每个激光点在全局坐标系下的坐标，其中1≤i≤N，N为激光点的数量；

A＝f/du*r₁₁+(u₀-u)*r₃₁，B＝f/du*r₁₂+(u₀-u)*r₃₂，C＝f/du*r₁₃+(u₀-u)*r₃₃，E＝f/d_V*r₂₁+(v₀-v)*r₃₁，F＝f/dv*r₂₂+(v₀-v)*r₃₂，G＝f/dv*r₂₃+(v₀-v)*r₃₃，D＝u₀-u，H＝v₀-v；

f为单目相机的焦距；(du，dv)为单个像素尺寸；u_i和v_i为每个控制点在单目相机像平面中的成像点像素坐标，其中1≤i≤N，N为控制点的数量；r_ij为正交旋转矩阵R_3×3中的元素，其中i,j＝1,2,3。

本发明相对于现有技术具有如下的有益效果：

1、本发明仅用一台视觉成像设备(单目相机)采集图像，相较于其他动态点测量系统、双目视觉或多目视觉动态测量，无需解决双目视觉中的两摄像机间的最优距离(基线长度)和特征点匹配难的问题，也不会像全方位视觉传感器那样产生很大的畸变，在相机安装、视场调整、相机参数标定等方面也都比双目视觉有优势，并在多台激光发射器的辅助下，实现了空间目标点的三维坐标测量，为机械系统仿真、验证、试验结果鉴定提供了基础。

2、本发明可以在空间固定单目相机的摆放位置，并调整单目相机的焦距，使单目相机的镜头对准控制点和动态测量点所在平面，这样可以保证控制点在单目相机的像平面中的成像点清晰可见，同样可以保证动态测量点在单目相机的像平面中的成像点在动态测量点P运动过程中始终清晰可见。

附图说明

图1为本发明实施例的单目相机实现动态点三维测量方法流程图。

图2为本发明实施例的单目相机实现动态点三维测量的示意图。

图3为本发明实施例的确定每个激光点的实时空间坐标流程图。

其中，1-控制点，2-单目相机，3-动态测量点所在平面，4-像平面，5-第一激光发射器，6-第二激光发射器，7-第三激光发射器。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

如图1所示，本实施例提供了一种单目相机实现动态点三维测量方法，该方法包括以下步骤：

S101、在空间非运动刚体某一位置建立全局坐标系，并在该全局坐标系上粘贴多个坐标已知的控制点。

如图2所示，本实施例建立的全局坐标系为o_w-x_wy_wz_w，在该全局坐标系o_w-x_wy_wz_w上粘贴六个坐标已知的宝马控制点1，其中至少四个控制点1不共面，各个控制点1之间的空间距离尽量较大。

S102、根据每个控制点的坐标与该控制点在单目相机像平面中的成像点像素坐标之间的线性变换关系，标定出单目相机的内外参数。

本实施例的单目相机采用单目高速相机，单目相机的内参数包括f/du、f/dv、u₀和v₀，单目相机的外参数包括R_3×3和T_3×1。

如图2所示，每个控制点1的坐标与该控制点1在单目相机的像平面中的成像点像素坐标之间的线性变换关系为：

式中，f为单目相机的焦距；(du，dv)为单个像素尺寸；u_i和v_i为每个控制点在单目相机2像平面4中的成像点像素坐标，x_wi、y_wi、z_wi为每个控制点1在全局坐标系o_w-x_wy_wz_w下的坐标，其中＝1,2,3,4,5,6；r_ij为正交旋转矩阵R_3×3中的元素，其中i,j＝1,2,3；T_3×1＝(x₀，y₀，z₀)^T为全局坐标系o_w-x_wy_wz_w原点o_w在单目相机坐标系o_c-x_cy_cz_c下的坐标；(u₀，v₀)为单目相机像平面中焦点O的像素坐标。

因此通过上式能够获得单目相机的内外参数，从而对单目相机进行标定。

进一步地，在标定出单目相机的内外参数之前，还可以包括：如图2所示，在空间固定单目相机2的摆放位置，该摆放位置可以在适宜的位置上，并调整单目相机2的焦距，使单目相机2的镜头对准控制点1和动态测量点所在平面3，这样可以保证控制点1在单目相机2的像平面4中的成像点清晰可见，而动态测量点P在单目相机2的像平面4中的成像点为p，同样可以保证成像点p在动态测量点P运动过程中始终清晰可见，其中动态测量点P在运动过程中不受遮挡。

为了进一步提高成像点p的清晰度，本实施例的动态测量点P上可以粘贴标记点，从上述内容可以理解，控制点1在像平面4中的成像点即为控制点1投影在像平面4中成像的点，动态测量点P在像平面4中的成像点即为动态测量点P投影在像平面4中成像的点，下面不再一一赘述。

S103、利用多台激光发射器发出多条激光光束，每条激光光束打在动态测量点所在平面上产生一个激光点。

如图2所示，本实施例采用三台激光发射器，三台激光发射器分别为第一激光发射器5、第二激光发射器6和第三激光发射器7，将第一激光发射器5、第二激光发射器6和第三激光发射器7分别固定在空间的三个适宜位置上，三台激光发射器发出三条激光光束，其中第一激光发射器5发出的激光光束所在直线为L₁，第二激光发射器6发出的激光光束所在直线为L₂，第三激光发射器7发出的激光光束所在直线为L₃，每条激光光束打在动态测量点P所在平面上产生一个激光点，三个激光点均为可见激光点，分别为P₁、P₂和P₃，三个激光点P₁、P₂和P₃在单目相机2的像平面4中的成像点分别为p₁、p₂和p₃，成像点p₁、p₂和p₃在动态测量点所在平面运动过程中始终清晰可见。

S104、利用单目相机采集控制点和动态测量点所在平面的初始图像，以及采集动态测量点所在平面在空间运动过程中的图像，根据单目相机的内外参数，确定每个激光点的实时空间坐标。

本实施例在单目相机2、第一激光发射器5、第二激光发射器6和第三激光发射器7的位置都固定后，即可利用单目相机2采集控制点1和动态测量点所在平面3的初始图像，以及采集动态测量点所在平面3在空间运动过程中的图像。

如图3所示，所述根据单目相机的内外参数，确定每个激光点的实时空间坐标，具体包括以下步骤：

S1041、确定每条激光束的直线方程。

三条激光光束所在直线L₁、L₂和L₃的直线方程可表示如下：

可将上述三式整合如下：

式中，T_2i-1(x_2i-1，y_2i-1，z_2i-1)、T_2i(x_2i，y_2i，z_2i)分别为每条激光束上在全局坐标系下可测得的点，其中i＝1,2,3。

S1042、根据单目相机的内外参数，得到每个激光点在单目相机像平面中的成像点与单目相机光心的连线方程。

如图2所示，三个激光点P₁、P₂和P₃在单目相机2的像平面4中的成像点p₁、p₂和p₃与单目相机光心o_c的连线方程，可表示如下：

A_ix+B_iy+C_iz+D_i＝0

E_ix+F_iy+G_iz+H_i＝0

式中，A_i＝f/du*r₁₁+(u₀-u_i)*r₃₁，B_i＝f/du*r₁₂+(u₀-u_i)*r₃₂，

C_i＝f/du*r₁₃+(u₀-u_i)*r₃₃，E_i＝f/d_V*r₂₁+(v₀-v_i)*r₃₁，F_i＝f/dv*r₂₂+(v₀-v_i)*r₃₂，G_i＝f/dv*r₂₃+(v₀-v_i)*r₃₃，D_i＝u₀-u_i，H_i＝v₀-v_i；

S1043、根据每条激光束的直线方程，以及每个激光点在单目相机像平面中的成像点与单目相机光心的连线方程，确定每个激光点的实时空间坐标。

如图2所示，在动态测量点所在平面3在空间运动过程中，该动态测量点所在平面3上的三个激光点P₁、P₂和P₃各自既在其激光束所在直线上，又在单目相机2的光心o_c与其对应的成像点p₁、p₂和p₃构成的直线上，根据空间几何线-线交会原理，在已得到每条激光束的直线方程，以及每个激光点在单目相机像平面中的成像点与单目相机光心的连线方程的情况下，可将三个激光点P₁、P₂和P₃的实时三维坐标表示如下：

S105、根据每个激光点的实时空间坐标，确定动态测量点所在平面的方程，从而确定动态测量点的实时三维坐标。

如图2所示，利用三个激光点P₁、P₂和P₃的实时三维坐标，确定动态测量点所在平面的方程，如下式：

式中，(x_Pi，y_Pi，z_Pi)为每个激光点P_i在全局坐标系下的坐标，其中i＝1,2,3。

由于动态测量点P既在动态测量点所在平面3上，又在其对应的成像点p与单目相机2的光心o_c的连线上，则动态测量点P的三维坐标即可唯一确定，如下式：

Ax+By+Cz+D＝0

Ex+Fy+Gz+H＝0

式中，(x，y，z)为动态测量点的三维坐标；

A＝f/du*r₁₁+(u₀-u)*r₃₁，B＝f/du*r₁₂+(u₀-u)*r₃₂，C＝f/du*r₁₃+(u₀-u)*r₃₃，E＝f/d_V*r₂₁+(v₀-v)*r₃₁，F＝f/dv*r₂₂+(v₀-v)*r₃₂，G＝f/dv*r₂₃+(v₀-v)*r₃₃，D＝u₀-u，H＝v₀-v。

综上所述，本发明在多台激光发射器的辅助下，利用单目相机实现了空间目标点的三维坐标测量，为机械系统仿真、验证、试验结果鉴定提供了基础。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种单目相机实现动态点三维测量方法，其特征在于：所述方法包括：

在空间非运动刚体某一位置建立全局坐标系，并在该全局坐标系上粘贴多个坐标已知的控制点；

根据每个控制点的坐标与该控制点在单目相机像平面中的成像点像素坐标之间的线性变换关系，标定出单目相机的内外参数；

利用多台激光发射器发出多条激光光束，每条激光光束打在动态测量点所在平面上产生一个激光点；

利用单目相机采集控制点和动态测量点所在平面的初始图像，以及采集动态测量点所在平面在空间运动过程中的序列图像，根据单目相机的内外参数，确定每个激光点的实时空间坐标；

根据每个激光点的实时空间坐标，确定动态测量点所在平面的方程，从而确定动态测量点的实时三维坐标。

2.根据权利要求1所述的一种单目相机实现动态点三维测量方法，其特征在于：所述方法在标定出单目相机的内外参数之前，还包括：

在空间固定单目相机的摆放位置，并调整单目相机的焦距，使单目相机的镜头对准控制点和动态测量点所在平面。

3.根据权利要求1或2所述的一种单目相机实现动态点三维测量方法，其特征在于：所述全局坐标系上的控制点为至少六个，且至少四个控制点不共面。

4.根据权利要求1或2所述的一种单目相机实现动态点三维测量方法，其特征在于：所述每个控制点的坐标与该控制点在单目相机的像平面中的成像点像素坐标之间的线性变换关系为：

式中，f为单目相机的焦距；(du，dv)为单个像素尺寸；u_i和v_i为每个控制点在单目相机像平面中的成像点像素坐标，x_wi、y_wi、z_wi为每个控制点在全局坐标系下的坐标，其中1≤i≤N，N为控制点的数量；r_ij为正交旋转矩阵R_3×3中的元素，其中i,j＝1,2,3；T_3×1＝(x₀，y₀，z₀)^T为全局坐标系原点在单目相机坐标系下的坐标；(u₀，v₀)为单目相机像平面中焦点的像素坐标。

5.根据权利要求1或2所述的一种单目相机实现动态点三维测量方法，其特征在于：所述根据单目相机的内外参数，确定每个激光点的实时空间坐标，具体包括：

确定每条激光束的直线方程；

根据单目相机的内外参数，得到每个激光点在单目相机像平面中的成像点与单目相机光心的连线方程；

根据每条激光束的直线方程，以及每个激光点在单目相机像平面中的成像点与单目相机光心的连线方程，确定每个激光点的实时空间坐标。

6.根据权利要求5所述的一种单目相机实现动态点三维测量方法，其特征在于：所述每条激光束的直线方程，如下式：

式中，T_2i-1(x_2i-1，y_2i-1，z_2i-1)、T_2i(x_2i，y_2i，z_2i)分别为每条激光束上在全局坐标系下可测得的点，其中1≤i≤N，N为激光束的数量。

7.根据权利要求5所述的一种单目相机实现动态点三维测量方法，其特征在于：所述每个激光点在单目相机像平面中的成像点与单目相机光心的连线方程，如下式：

A_ix+B_iy+C_iz+D_i＝0

E_ix+F_iy+G_iz+H_i＝0

式中，A_i＝f/du*r₁₁+(u₀-u_i)*r₃₁，B_i＝f/du*r₁₂+(u₀-u_i)*r₃₂，

C_i＝f/du*r₁₃+(u₀-u_i)*r₃₃，E_i＝f/d_V*r₂₁+(v₀-v_i)*r₃₁，F_i＝f/dv*r₂₂+(v₀-v_i)*r₃₂，G_i＝f/dv*r₂₃+(v₀-v_i)*r₃₃，D_i＝u₀-u_i，H_i＝v₀-v_i；

f为单目相机的焦距；(du，dv)为单个像素尺寸；u_i和v_i为每个控制点在单目相机像平面中的成像点像素坐标，其中1≤i≤N，N为控制点的数量；r_ij为正交旋转矩阵R_3×3中的元素，其中i,j＝1,2,3；(u₀，v₀)为单目相机像平面中焦点的像素坐标。

8.根据权利要求5所述的一种单目相机实现动态点三维测量方法，其特征在于：所述每个激光点的实时空间坐标，由下式确定：

式中，T_2i-1(x_2i-1，y_2i-1，z_2i-1)、T_2i(x_2i，y_2i，z_2i)分别为每条激光束上在全局坐标系下可测得的点，其中1≤i≤N，N为激光束的数量；

A_i＝f/du*r₁₁+(u₀-u_i)*r₃₁，B_i＝f/du*r₁₂+(u₀-u_i)*r₃₂，C_i＝f/du*r₁₃+(u₀-u_i)*r₃₃，E_i＝f/d_V*r₂₁+(v₀-v_i)*r₃₁，F_i＝f/dv*r₂₂+(v₀-v_i)*r₃₂，G_i＝f/dv*r₂₃+(v₀-v_i)*r₃₃，D_i＝u₀-u_i，H_i＝v₀-v_i；

f为单目相机的焦距；(du，dv)为单个像素尺寸；u_i和v_i为每个控制点在单目相机像平面中的成像点像素坐标，其中1≤i≤N，N为控制点的数量；r_ij为正交旋转矩阵R_3×3中的元素，其中i,j＝1,2,3；(u₀，v₀)为单目相机像平面中焦点的像素坐标。

9.根据权利要求1或2所述的一种单目相机实现动态点三维测量方法，其特征在于：所述动态测量点所在平面方程，如下式：

式中，(x_i，y_i，z_i)为每个激光点在全局坐标系下的坐标，其中1≤i≤N，N为激光点的数量。

10.根据权利要求1或2所述的一种单目相机实现动态点三维测量方法，其特征在于：所述动态测量点的实时三维坐标，由下式确定：

Ax+By+Cz+D＝0

Ex+Fy+Gz+H＝0

式中，(x，y，z)为动态测量点的三维坐标，(x_i，y_i，z_i)为每个激光点在全局坐标系下的坐标，其中1≤i≤N，N为激光点的数量；

A＝f/du*r₁₁+(u₀-u)*r₃₁，B＝f/du*r₁₂+(u₀-u)*r₃₂，C＝f/du*r₁₃+(u₀-u)*r₃₃，E＝f/d_V*r₂₁+(v₀-v)*r₃₁，F＝f/dv*r₂₂+(v₀-v)*r₃₂，G＝f/dv*r₂₃+(v₀-v)*r₃₃，D＝u₀-u，H＝v₀-v；

f为单目相机的焦距；(du，dv)为单个像素尺寸；u_i和v_i为每个控制点在单目相机像平面中的成像点像素坐标，其中1≤i≤N，N为控制点的数量；r_ij为正交旋转矩阵R_3×3中的元素，其中i,j＝1,2,3。