CN106482665A - 一种组合点群高精度三维信息视觉测量方法 - Google Patents

Abstract

本发明一种组合点群高精度三维信息视觉测量方法属于计算机视觉测量技术领域，涉及一种组合点群自动快速高精度的三维信息测量方法。测量方法中，由投影仪投影经过标定的多个点到待测物体表面形成组合点群，利用双目视觉测量方法与被测物上投影的组合点群空间位置关系相对不变相结合的方法进行三维精确测量。该方法通过对投影点群的移动，形成对待测物体表面的扫描，经过对组合点群空间三维信息粗测量和优化得到高精度的空间三维信息，实现对被测物体整个表面的三维信息精确测量。测量方法测量效率高，测量准确度高，可适用于多种表面的测量，普遍性高。

Description

一种组合点群高精度三维信息视觉测量方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种组合点群自动快速高精度的三维信息测量方法。

背景技术

空间点三维信息的测量方法在机器视觉中有着十分重要的地位，大多数情况下，空间点三维信息是进行视觉测量的最终目的。随着现代科技的不断发展，机器视觉技术的应用越来越广泛，这使得空间点三维信息的测量方法必须满足更宽泛的需求，在测量速度以及准确度上都提出了比较苛刻的要求。测量过程越来越多的要求在线进行，待测物体表面空间点的测量速度和精确度将直接影响其制造效率以及制造质量。待测物体表面形状的复杂程度也在加大，对其测量难度加大，现有的测量方法有时无法满足高精度的测量要求。在目前情况下，如何合理设计测量方法并快速高精度地获取空间点的三维信息是目前的主要难题和研究的主要方向。

罗世民等人2006年在计算机工程与设计期刊第27卷第19期发表的《双目视觉测量中三维坐标的求取方法研究》中使用双目视觉原理求取物体三维空间点的坐标，再利用异面直线公垂线中点进行优化，这种方法虽然可以一定程度上的提高测量精度，但是其测量过程针对单个空间点，且优化方法的精度无法保证，测量效率较低。姜军等人2012年在计算机测量与控制期刊第20卷第2期发表的《双目立体全景视觉传感器的三维测量精度的研究》中通过摄像机的标定获取该点在空间中的方位信息，再联合基线距建立三角计算模型，实现物点深度信息的可计算，这种测量方法的测量精度与基线距离和测量距离等有关，无法保证测量精度的稳定性。

发明内容

本发明要解决的技术难题是克服现有技术的缺陷，发明了一种利用双目视觉测量方法与组合点群空间位置关系相对不变的方法相结合的组合点群空间三维信息高精度测量方法。采用投影仪投影组合点群至待测物体表面，根据双目视觉原理以及各投影点与投影中心连线生成的投影线间的空间夹角不变的特点对投影仪的投影点群进行精测量，快速高精度的获得组合点群中所有投影点的空间三维信息。

本发明采用的技术方案是一种组合点群高精度三维信息视觉测量方法，测量方法中，由投影仪投影经过标定的多个点到待测物体表面形成组合点群，利用双目视觉测量方法与被测物上投影的组合点群空间位置关系相对不变相结合的方法进行三维精确测量；该方法通过对投影点群的移动，形成对待测物体表面的扫描，经过对组合点群空间三维信息粗测量和优化得到高精度的空间三维信息，实现对被测物体整个表面的三维信息精确测量；测量方法的具体步骤如下：

第一步、组合点群空间三维信息粗测量

采用双目视觉测量系统，首先以精密加工的靶标板对摄像机进行标定；该方法是以张正友等人提出的基于二维平面靶标的摄像机标定方法为基础，并针对测量过程中相对距离高精度的测量要求，以双目测量系统空间点的重建精度作为目标函数，实现双目系统在较大视场下的高精度标定；固定系统中的两个摄像机，使其对准靶标板，对靶标板进行图像采集后，根据采集的靶标板的图像采用张氏标定方法标定出两相机的内外参数；

其中，s为比例因子，u、v为相面坐标，X_w、Y_w、Z_w是世界坐标，α_x、α_y、u₀、v₀为摄像机内参数，分别代表u轴尺度因子、v轴尺度因子、相面中心u轴坐标、相面中心v轴坐标；R为旋转矩阵、t为平移矩阵，它们是摄像机的外参数。

事先制作用好于投影的组合点群图片，图片由不同颜色的点组成用于测量的组合点群，颜色不同是用于区别组合点群中的每个不同的点，并进行标定；标定完成后，两个摄像机位置固定不动，投影仪将带组合点群的图片投影到待测物体表面，两个摄像机对组合点群进行图像采集，通过对采集的图像进行图像处理，利用双目视觉测量公式得出双目视觉测量结果，即组合点群的初始三维坐标；双目视觉测量公式如下：

其中：(u_il,v_il)为图像在左摄像机图像坐标系下的像素坐标，(u_ir,v_ir)为图像在右摄像机图像坐标系下的像素坐标，其中a_xl为左摄像机u轴上的尺度因子，a_yl为左摄像机v轴上的尺度因子，a_xr为右摄像机u轴上的尺度因子，a_yr为右摄像机v轴上的尺度因子，(u_0l,v_0l)为左摄像机光轴与图像平面交点的像素坐标，其中R_l为左摄像机旋转矩阵，t_l为左摄像机平移矩阵，(u_0r,v_0r)为右摄像机光轴与图像平面交点的像素坐标，其中R_t为右摄像机旋转矩阵，t_r为右摄像机平移矩阵，以上参数都与摄像机的标定有关，标定过程完成，则以上参量即确定，且只要摄像机不动，以上参数就不变，s是尺度因子，n为投影的组合点群的点数，(x_i,y_i,z_i)为利用双目视觉测量原理获得的组合点群中任意空间点A_i的三维坐标。由此得到的空间三维信息没有考虑投影线之间的空间相对关系，测量结果精度无法保证，所以需通过优化得到组合点群的高精度空间三维信息。

第二步、组合点群空间三维信息精测量

组合点群图片由投影仪投影至待测物体表面后，其投影图片中组合点群中每一投影点的投射中心都为投影仪的原点O，投影点与投影仪原点的连线为该投影点的投影直线，设投影仪同时投影出n个不同颜色的点；通过第一步已经求出组合点群中每一点的初始空间三维信息，通过对其进行优化得到高精度的空间三维信息。

优化约束包括两部分：一部分投影到被测物表面的组合点群中每两条投影直线之间的相对空间角度位置关系不变，另一部分在双目视觉系统的两个摄像机坐标系中，组合点群中每点测得的三维坐标在摄像机图像坐标系下的像素坐标与已知的摄像机坐标系中的像素坐标之差最小；通过以上的优化约束，对于第一步求得的组合点群中所有投影点的初始三维信息逐一进行优化，要求最终获得的组合点群中每一点的空间点三维信息(x_i,y_i,z_i)都同时满足以上优化条件。由以上约束条件得到的约束函数包括两部分：第一部分是由三个目标函数组成的方程组，第一个目标函数为计算测得的待测点i处投影直线向量与组合点群中其他点投影直线向量的夹角和事先已知的其间的投影向量空间夹角之差，第二个目标函数为计算测得的待测点i处的空间三维坐标转化为双目系统中左摄像机坐标系下的像素坐标和已知的其在左摄像机坐标系下的像素坐标之差，第三个目标函数为计算测得的待测点i处的空间三维坐标转化为双目系统中右摄像机坐标系下的像素坐标和已知的其在右摄像机坐标系下的像素坐标之差，第二部分是要求最终得到的待测点i处的空间三维信息(x_i,y_i,z_i)同时满足使第一部分的三个方程的值最小。

其具体的优化公式如下：

利用LM优化方法，优化问题转化成求解M最小值问题，求解满足使M值最小的空间点三维坐标优化结果(x_i,y_i,z_i)；其中为组合点群中的任意一投影点A_i与投影仪原点O形成的向量，是除待测点A_i以外的任意投影点A_j与投影仪原点O形成的向量，α_ij为已知的与向量的夹角；H₁为求得的组合点群中待测投影向量与其他任意投影向量间的空间夹角与事先已知的其间夹角之差，H₂为待测点求得的空间坐标与已知双目系统中左侧摄像机中坐标之差，H₃为待测点求得的空间坐标与已知双目系统中右侧摄像机中坐标之差，M为最终的优化目标，求解同时满足公式(4)中每个方程都求取最小值。通过以上的优化过程，精确求解出使优化目标最小值的组合点群中所有点的三维信息。

再沿待测物体表面通过对投影点群的移动，形成对待测物体表面的扫描，实现对被测物体整个表面的三维信息精确测量。

本发明的有益效果是通过对投影点群的移动，形成对待测物体表面的扫描，可以实现对被测物体整个表面的三维信息测量。本专利的测量方法测量效率高，测量准确度高，可适用于多种表面的测量，普遍性高。

附图说明

图1为组合点群测量原理图。A_i为组合点群中任意一点，设组合点群共有n个点，i＝1～n。A_j为除了待测点A_i以外的任意一点，j＝1～n，为待测点A_i与投影仪原点O组成的向量，为A_j点与投影仪原点O组成的向量，α_ij为与的夹角。

图2为组合点群测量过程流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。附图1为组合点群测量原理图。通过投影仪将本组合点群投影于待测物体表面，配置相机及其附属光源等设备，调整焦距视角等使投影点清晰可见，对组合点群进行图像采集。

附图2为组合点群测量过程流程图，测量方法整个测量过程分为组合点群空间三维信息的粗测量和组合点群空间三维信息精测量两个步骤。

第一步、组合点群空间三维信息粗测量

双目视觉测量系统采用两个摄像机，其中两个摄像机标定完成后位置固定不可移动，如变化则需要重新标定才能进行测量。首先固定两摄像机位置，使两摄像机对准靶标板。然后在移动靶标板的同时，控制两个摄像机同时对靶标板进行连续的图像采集，获取靶标板的清晰图像。然后对采集的靶标板图像进行一系列的图像处理过程，最终通过公式(1)得到使优化目标最小的标定板各角点的重建坐标可得到双目相机的内外参数，如下：

左相机的比例因子s_l＝1，摄像机内参数α_xl＝868.66、α_yl＝868.56、u_0l＝512.66、v_0l＝520.56，为旋转矩阵、t_l＝[-200.94660.214 760.24]为平移矩阵，它们是摄像机的外参数。

右相机的比例因子s_r＝1，摄像机内参数α_xr＝854.23、α_yl＝854.21、u_0l＝513.16、v_0l＝523.46，为旋转矩阵、t_l＝[-100.32130.214 440.21]为平移矩阵，它们是摄像机的外参数。

双目视觉测量系统标定完成后，就已知了两个摄像机的内参数M₁与外参数M₂，进入粗测量过程，投影仪将含有组合点群的图片投影到待测物体表面，控制两个摄像机同时采集组合点群图像，根据公式(3)和(4)，其中投影的组合点群的点数n＝3，a_x＝1，a_y＝1，通过对获取的组合点群的图像进行处理，已知图像在左摄像机图像坐标系下的像素坐标(u_il,v_il)为(30.21,120.21)，(60.24,165.32)，(75.26,90.56)，图像在右摄像机图像坐标系下的像素坐标(u_ir,v_ir)为(56.32,116.11)，(35.21,142.36)，(65.12,65.21)，将以上已知参数带入到公式(3)和公式(4)中，最终获得组合点群中每一点的粗测量结果分别为A₁(123.21,23.43,234.76)，A₂(156.32,58.34,289.54)，A₃(68.54,87.12,31.51)。

由此得到的三维信息没有考虑投射点之间的相对空间位置关系，使测量结果精度无法保证，所以需通过优化得到组合点群的高精度三维信息。

第二步、组合点群空间三维信息精测量

带有组合点群的图片由投影仪投影至待测物体表面，其投射中心为投影仪的原点O，待测投影点与投影仪原点的连线为该点的投影直线，设投影仪同时投影出n个点，取n＝3。公式(5)中已知空间中每一点i的投影向量与其他任意投影向量的夹角α_ij，其中α₁₂＝α₂₁＝30°，α₁₃＝α₃₁＝30°，α₂₃＝α₃₂＝30°，且(u_il,v_il)和(u_ir,v_ir)不变，将以上已知参数带入优化公式(4)和(5)中，求得满足使目标函数值最小的最终待测组合点群中的每一点A_i的三维坐标分别为A₁(123.31,24.67,234.46)，A₂(156.32,58.34,289.54)，A₃(68.14,87.72,32.11)。

最终精测量的结果，第一满足了对双目视觉测量系统的优化，将测得的结果反推出其在双目系统中左右摄像机坐标系下的像素坐标，将反推得到的像素坐标与已知的从图像处理中得到的像素坐标进行对比，寻找最小值进行优化；第二满足了利用组合点群中点与点之间的空间相对位置关系进行优化，将测得的投影直线间的空间角度关系与制作组合点群时就已知的投影直线间的空间角度关系进行对比优化。这种测量方法相对于仅依靠传统双目视觉测量原理的坐标转换更加可靠。

本发明通过投影仪将组合点群投影到待测物体表面，利用双目视觉原理与空间点位置关系固定来高精度同时获取点群的三维信息。并且通过对投影点群的移动，形成对待测物体表面的扫描，可以实现对被测物体整个表面的三维信息测量。这种测量方式相对于传统的只基于双目视觉原理方法测得的空间点的三维信息更加准确高精度，且通过扫描的方式可以提高测量效率，实现对待测物体表面三维信息的快速高精度测量。

Claims (1)

1.一种组合点群高精度三维信息视觉测量方法，其特征是，测量方法中，由投影仪投影经过标定的多个点到待测物体表面形成组合点群，利用双目视觉测量方法与被测物上投影的组合点群空间位置关系相对不变相结合的方法进行三维精确测量；该方法通过对投影点群的移动，形成对待测物体表面的扫描，经过对组合点群空间三维信息粗测量和优化得到高精度的空间三维信息，实现对被测物体整个表面的三维信息精确测量；测量方法的具体步骤如下：

第一步、组合点群空间三维信息粗测量

采用双目视觉测量系统，首先以精密加工的靶标板对摄像机进行标定；该方法是以张正友等人提出的基于二维平面靶标的摄像机标定方法为基础，并针对测量过程中相对距离高精度的测量要求，以双目测量系统空间点的重建精度作为目标函数，实现双目系统在较大视场下的高精度标定；固定系统中的两个摄像机，使其对准靶标板，对靶标板进行图像采集后，根据采集的靶标板的图像采用张氏标定方法标定出两相机的内外参数；

$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(1\right)$

其中，s为比例因子，u、v为相面坐标，X_w、Y_w、Z_w是世界坐标，α_x、α_y、u₀、v₀为摄像机内参数，分别代表u轴尺度因子、v轴尺度因子、相面中心u轴坐标、相面中心v轴坐标；R为旋转矩阵、t为平移矩阵，它们是摄像机的外参数；

事先制作好用于投影的组合点群图片，用于测量的组合点群图片由不同颜色的点组成，颜色不同是用于区别组合点群中的每个不同的点，并进行标定；标定完成后，两个摄像机位置固定不动，投影仪将带有组合点群的图片投影到待测物体表面，两个摄像机对组合点群进行图像采集，通过对采集的图像进行图像处理，利用双目视觉测量公式得出双目视觉测量结果，即组合点群的初始三维坐标，完成组合点群空间三维信息粗测量；双目视觉测量公式如下：

$s\left[\begin{array}{c}{u}_{il}\\ v_{il}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_{xl}& 0& u_{0l}& 0\\ 0& a_{yl}& v_{0l}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_l& t_l\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\\ z_i\\ 1\end{array}\right],i=1~n---\left(2\right)$

$s\left[\begin{array}{c}{u}_{ir}\\ v_{ir}\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_{xr}& 0& u_{0r}& 0\\ 0& a_{yr}& v_{0r}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_r& t_r\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\\ z_i\\ 1\end{array}\right],i=1~n---\left(3\right)$

其中：(u_il,v_il)为图像在左摄像机图像坐标系下的像素坐标，(u_ir,v_ir)为图像在右摄像机图像坐标系下的像素坐标，其中a_xl为左摄像机u轴上的尺度因子，a_yl为左摄像机v轴上的尺度因子，a_xr为右摄像机u轴上的尺度因子，a_yr为右摄像机v轴上的尺度因子，(u_0l,v_0l)为左摄像机光轴与图像平面交点的像素坐标，其中R_l为左摄像机旋转矩阵，t_l为左摄像机平移矩阵，(u_0r,v_0r)为右摄像机光轴与图像平面交点的像素坐标，其中R_t为右摄像机旋转矩阵，t_r为右摄像机平移矩阵，以上参数都与摄像机的标定有关，标定过程完成，则以上参量即确定，且只要摄像机不动，以上参数就不变，s是尺度因子，n为投影的组合点群的点数，(x_i,y_i,z_i)为利用双目视觉测量原理获得的组合点群中任意空间点A_i的三维坐标；

第二步、组合点群空间三维信息精测量

组合点群图片由投影仪投影至待测物体表面后，其投影图片中组合点群中每一投影点的投射中心都为投影仪的原点O，投影点与投影仪原点的连线为该投影点的投影直线，设投影仪同时投影出n个不同颜色的点；通过第一步已经求出组合点群中每一点的初始空间三维信息，通过对其进行优化得到高精度的空间三维信息；

优化约束包括两部分：一部分投影到被测物表面的组合点群中每两条投影直线之间的相对空间角度位置关系不变，另一部分在双目视觉系统的两个摄像机坐标系中，组合点群中每点测得的三维坐标在摄像机图像坐标系下的像素坐标与已知的摄像机坐标系中的像素坐标之差最小；通过以上的优化约束，对于第一步求得的组合点群中所有投影点的初始三维信息逐一进行优化，要求最终获得的组合点群中每一点的空间点三维信息(x_i,y_i,z_i)都同时满足以上优化条件；由以上约束条件得到的约束函数包括两部分：第一部分是由三个目标函数组成的方程组，第一个目标函数为计算测得的待测点i处投影直线向量与组合点群中其他点投影直线向量的夹角和事先已知的其间的投影向量空间夹角之差，第二个目标函数为计算测得的待测点i处的空间三维坐标转化为双目系统中左摄像机坐标系下的像素坐标和已知的其在左摄像机坐标系下的像素坐标之差，第三个目标函数为计算测得的待测点i处的空间三维坐标转化为双目系统中右摄像机坐标系下的像素坐标和已知的其在右摄像机坐标系下的像素坐标之差，第二部分是要求最终得到的待测点i处的空间三维信息(x_i,y_i,z_i)同时满足使第一部分的三个方程的值最小；

其具体的优化公式如下：

$\left\{\begin{array}{c}{H}_1=\arccos \frac{\left(\stackrel{\→}{a_i}-\stackrel{\→}{o}\right)\·\left(\stackrel{\→}{a_j}-\stackrel{\→}{o}\right)}{|\stackrel{\→}{a_i}-\stackrel{\→}{o}|\·|\stackrel{\→}{a_j}-\stackrel{\→}{o}|}-{\mathrm{\α}}_{ij},i=1~n,j=1~n\\ H_2=s\left[\begin{array}{c}{u}_{il}\\ v_{il}\\ 1\end{array}\right]-\left[\begin{array}{cccc}{a}_{xl}& 0& u_{0l}& 0\\ 0& a_{yl}& v_{0l}& 0\\ 0& 0& 0& 0\end{array}\right]\left[\begin{array}{cc}{R}_l& t_l\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\\ z_i\\ 1\end{array}\right],i=1~n\\ H_3=s\left[\begin{array}{c}{u}_{ir}\\ v_{ir}\\ 1\end{array}\right]-\left[\begin{array}{cccc}{a}_{xr}& 0& u_{0r}& 0\\ 0& a_{yr}& v_{0r}& 0\\ 0& 0& 0& 0\end{array}\right]\left[\begin{array}{cc}{R}_r& t_r\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_i\\ y_i\\ z_i\\ 1\end{array}\right],i=1~n\end{array}\right.---\left(4\right)$

$M=\min \left(\sqrt{{H_1}^2+\left|\right|H_2\left|\right|+\left|\right|H_3\left|\right|}\right)---\left(5\right)$

利用LM优化方法，优化问题转化成求解M最小值问题，求解满足使M值最小的空间点三维坐标优化结果(x_i,y_i,z_i)；其中为组合点群中的任意一投影点A_i与投影仪原点O形成的向量，是除待测点A_i以外的任意投影点A_j与投影仪原点O形成的向量，α_ij为已知的与向量的夹角；H₁为求得的组合点群中待测投影向量与其他任意投影向量间的空间夹角与事先已知的其间夹角之差，H₂为待测点求得的空间坐标与已知双目系统中左侧摄像机中坐标之差，H₃为待测点求得的空间坐标与已知双目系统中右侧摄像机中坐标之差，M为最终的优化目标，求解同时满足公式(4)中每个方程都求取最小值；通过以上的优化过程，精确求解出使优化目标最小值的组合点群中所有点的三维空间信息；

再沿待测物体表面通过对投影点群的移动，形成对待测物体表面的扫描，实现对被测物体整个表面的三维信息精确测量。