CN103727927B - 基于结构光的高速运动物体位姿视觉测量方法 - Google Patents

Abstract

本发明基于结构光的高速运动物体位姿测量方法属于计算机视觉测量技术领域，涉及一种大视场小目标高速运动空间位姿测量方法。该测量方法是采用竖直激光条纹和辅助交叉激光，使用左、右高速摄像机拍摄辅助交叉激光，识别交叉点以及记录辅助交叉激光分别在左、右高速摄像机的成像位置；用左、右两台高速摄像机采集被测圆柱体以及竖直激光条纹的图像，将采集图像传递给图形工作站，利用由于被测圆柱体而产生的激光条纹变形部分到轴线的距离约束优化出目标轴线，最终求出目标物的位置、姿态信息。本发明利用激光条纹实现了不对高速运动目标物做任何处理就可高精度的求取其位姿信息，提高了图像采集质量，有效避免了噪点的影响。

Description

基于结构光的高速运动物体位姿视觉测量方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种大视场小圆柱目标高速运动空间位置和姿态测量方法。

背景技术

物体位姿信息在航空航天、机器人导航以及汽车工业领域都有着十分重要的地位，为了保证在各种工况下的目标位姿实时可控，使得对物体位姿进行测量是十分必要的，这也对物体位姿信息测量技术提出了很多新的要求。特别针对大视场高速运动小目标位姿测量时，为保证真实还原工况，不对目标物做任何处理的情况下，快速准确的测量目标物位姿信息是现阶段所要解决的主要问题。

目前利用视觉系统配合激光条纹测量高速运动物体位姿的研究较少，多数利用视觉测量配合结构光完成静态尺寸测量，而不能对运动目标进行位姿测量。高学海，梁斌等人发表的《非合作大目标位姿测量的线结构光视觉方法》提出了一种用单目视觉结合投射在大目标上的激光矩形特征控制对接位姿的方法，但是其依旧不能解决小目标高速位姿测量。

发明内容

本发明要解决的技术难题是克服现有技术的缺陷，发明一种基于结构光的高速运动物体位姿测量方法，采用双目高速视觉以及激光光条所组成的高速测量系统进行大视场高速运动小目标位姿测量。利用双目视觉结合激光条纹可以实现不对高速运动目标物做任何处理就可高精度的求取其位姿信息，激光条纹还具有能量高、亮度大等优点，提高了图像采集质量，有效避免了噪点的影响。此外激光条纹采用辅助交叉激光法进行识别无需激光条纹间的任何约束关系就可确保激光条的正确匹配，大大降低了激光条识别要求以及计算量。解决了在大测量视场下，不对高速运动目标物做任何处理，准确、快速测量其运动位姿信息的问题。

本发明所采用的技术方案是一种基于结构光的高速运动物体位姿视觉测量方法，其特征是，该测量方法是采用竖直激光条纹和辅助交叉激光，使用左、右高速摄像机拍摄辅助交叉激光，识别交叉点以及记录辅助交叉激光分别在左、右高速摄像机的成像位置；用左、右两台高速摄像机采集被测圆柱体以及竖直激光条纹的图像，将采集图像传递给图形工作站，利用由于被测圆柱体而产生的激光条纹变形部分到轴线的距离约束优化出目标轴线，最终求出目标物的位置、姿态信息；具体步骤如下：

（1）双目视觉系统标定

采用张氏提出的以精密二维靶标对双目高速视觉系统进行标定；利用靶标角点求解坐标与实际坐标的偏差函数g(x)对张氏标定方法

求解出的两高速相机的内外参数进行优化，如下所示：

g(x)=(X_w-X_d)²+(Y_w-Y_d)²+(Z_w-Z_d)²    (1)

其中，X_w，Y_w，Z_w为靶标角点的实际坐标，而X_d，Y_d，Z_d为通过相机内外参数求解的各角点坐标，则可建立目标函数G(x)如下：

$G\left(x\right)=\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}g\left(x\right)---\left(2\right)$

其中，为所有角点偏离实际坐标距离的平方和，应用LM算法求取目标函数G(x)，可得内外参数的全局最优解；

（2）激光条纹辅助交叉激光识别方法

采用辅助交叉激光方法识别激光条纹；首先将辅助交叉激光投射在背景平面上，保证交叉点在背景平面中心位置且在左、右高速摄像机公共视场中心；使用左、右高速摄像机拍摄辅助交叉激光，识别交叉点以及记录辅助交叉激光分别在左、右高速摄像机的成像位置；然后将辅助交叉激光去掉，投影测量用竖直激光条纹，激光条纹竖直投射且每条条纹不产生干涉即可，对激光条纹进行拍摄，利用前面记录的交叉点作为分隔处，对交点左、右的光条进行一次识别，例如左相机交叉点左1光条-右相机交叉点左1、左相机交叉点右1光条-右相机交叉点右1、左相机交叉点左2光条-右相机交叉点左2，依次类推将光条一一对应；如出现左（右）高速摄像机存在某条激光条，但右（左）高速摄像机无激光条与之对应的情况，说明这条激光条不在公共视场内，去掉此激光条；最后利用已经记录的交叉激光的成像位置与激光条纹所产生的交点验证识别是否正确；

（3）激光条纹中心线提取

本发明采用Steger条纹中心提取算法对激光条纹在像面所产生的光条进行提取；通过计算Hessian矩阵 $\left[\begin{array}{cc}{r}_{\mathrm{uu}}& r_{\mathrm{uv}}\\ r_{\mathrm{uv}}& r_{\mathrm{vv}}\end{array}\right]$ 的特征值和特征向量来确定直线的法线方向向量[n_un_v]^T，其中r_uu、r_uv、r_vv、r_v、r_u是图像点离散二维高斯卷积的偏微分，通过以下公式计算光条的中心坐标：(q_uq_v)=(u₀+τn_uv₀+τn_v)    (3)

其中，u₀、v₀是主点相面坐标，系数τ由以下公式计算得来：

$\mathrm{\τ}=-\frac{r_u{n}_u+r_v{n}_u}{r_{\mathrm{uu}}{n}_u^2+{2r}_{\mathrm{uv}}{n}_u{n}_v+r_w{n}_v^2}---\left(4\right)$

拟合所有光条中心点得到整条激光条纹中心线；

（4）激光条纹匹配

利用对应关系已经确定的激光条以及两台高速摄像机1、1’的基本矩阵F，再通过左高速摄像机与右高速摄像机的极限约束关系进行图像激光条纹中心线的匹配，极限约束条件如下所示：

x_l ^TFx_r=0   (5)

其中，x_l为左高速摄像机1拍摄的图像激光条中心线某点坐标；x_r为右高速摄像机1拍摄的与x_l匹配的图像激光条中心线某点坐标；F为左右两个高速摄像机1、1’间的基本矩阵；将左、右摄像机图像上所对应的激光条中心线的每个像素点进行匹配，最终完成激光条的匹配；

（5）激光条纹变形部分分割

本发明需要将激光条纹变形部分从激光条中分割出来，由于竖直激光条投射在目标表面引起变形的部分与投射在背景面的激光条有所不同，可以使用灰度法或曲率法寻找激光条投射到目标物的上、下边缘点，边缘点之间的部分就是激光条因目标物所产生的形变部分；

1）灰度法

在背景平面上的每条激光条其灰度值分布为连续渐变，投射在目标物上的变形激光条灰度分布也成连续渐变，只有在目标边缘点处激光条灰度会骤变，所以寻找到的灰度骤变点就是激光变形边缘点；沿已识别、提起、匹配的激光条中心线比较灰度变化率，当变化率超过设定阀值就认定为激光变形边缘点，从而找出激光条变形部分；

2）曲率法

激光条在背景平面上为一条曲率几乎为零的线，在圆柱形目标物上其曲率也只为圆柱面曲率，而在激光条变形边缘点上曲率大于以上情况；所以沿已识别、提起、匹配的激光条中心线比较曲率值，当某点曲率超过设定阀值就认定为激光变形边缘点，从而找出激光条变形部分；

（6）位姿求取

激光条纹变形部分是投射在圆柱目标物上的条纹，所以激光条纹变形部分的每一个点到圆柱目标轴线的距离都是圆柱目标物半径；利用这个所有激光条纹变形部分点到轴线距离为定值的约束可以优化出目标轴线，将所得轴线中点作为目标的位置点，将轴线与世界坐标系各轴比较求得目标俯仰角与偏航角；

首先确定世界坐标O_wX_wY_wZ_w，其中领与目标初始轴线方向一致且目标前头方向为正，轴竖直向上，遵循右手定则确定轴方向；激光条变形部分点d_i到目标轴线l的距离为目标半径R：

其中表示激光条中心线各点到轴线距离，利用以上公式优化出轴线l，并计算出轴线方向向量

轴线中点d_o在世界坐标系O_wX_wY_wZ_w下坐标(X_o,Y_o,Z_o)为目标的位置信息；利用以求得的目标轴线向量分别向面O_wX_wY_w、面O_wX_wZ_w投影得到投影向量和向量根据以下公式求得偏航角θ和俯仰角α：

$\mathrm{\θ}=\arccos \left(\frac{\stackrel{\→}{l_{\mathrm{OXY}}}\×\stackrel{\→}{O_w{X}_w}}{\left|\stackrel{\→}{l_{\mathrm{OXY}}}\right|\·\left|\stackrel{\→}{O_w{X}_w}\right|}\right)---\left(7\right)$

$\mathrm{\α}=\arccos \left(\frac{\stackrel{\→}{l_{\mathrm{OXZ}}}\×\stackrel{\→}{O_w{X}_w}}{\left|\stackrel{\→}{l_{\mathrm{OXZ}}}\right|\·\left|\stackrel{\→}{O_w{X}_w}\right|}\right)---\left(8\right)$

其中，为向量的模；(X_o，Y_o，Z_o)为目标物位置信息，目标偏航角θ与俯仰角α为测量目标的姿态信息。

本发明的有益效果是在大测量视场下，利用激光条纹可以实现不对高速运动目标物做任何处理就可准确、快速得求取其位姿信息；激光条纹还具有能量高、亮度大等优点，提高了图像采集质量，有效避免了噪点的影响。此外激光条纹采用辅助交叉激光法进行识别无需激光条纹间的任何约束关系就可确保激光条的正确匹配，大大降低了激光条识别要求以及计算量。

附图说明

图1为基于结构光的高速运动物体位姿测量方法原理图。其中，1-左高速摄像机、1’-右高速摄像机、2-竖直激光条纹、3-激光条纹变形部分、4-被测圆柱体、5-图形工作站。

图2为位姿视觉测量方法流程图。

图3为激光条纹辅助交叉激光识别方法原理图，其中，2-竖直激光条纹、6-交叉激光左激光、7-交叉激光右激光、8-交叉点、9-交叉激光与竖直激光交点。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。附图1为基于结构光条的高速运动物体位姿测量方法原理图。本方法采用左、右两台高速摄像机1、1’采集被测圆柱体4以及竖直激光条纹2的图像，将采集图像传递给图形工作站5，利用由于被测圆柱体4而产生的激光条纹变形部分3到轴线的距离约束优化出目标轴线最终求出目标物的位置、姿态信息。

首先安装测量装置，将左、右高速摄像机1、1’固定，调整焦距使得距离摄像机600mm的焦平面公共视场大小为1m×1m。在距离摄像机1m的背景平面上投射激光条纹2，保证激光条纹竖直、条纹间距不产生条纹干涉且充满高速摄像机的公共视场。将相机与图形工作站5相连，准备进行测量。

本发明采用分别带有广角镜头的两个高速摄像机1、1’拍摄物体运动情况，两个超高速摄像机型号为FASTCAM SAX摄像机，广角镜头型号为AF-S17-35mm f/2.8D IF-ED。拍摄条件如下：高速摄像机帧频为3000fps，图片像素为1024×1024，镜头焦距为17mm，物距为750mm，视场约为800mm×800mm。以下为位姿测量方法的具体流程：

（1）双目视觉系统标定

本发明采用张氏标定方法计算两高速相机的内参数K，外参数[RT],畸变系数k以及基本矩阵F，利用靶标角点求解坐标与实际坐标的偏差对张氏标定方法求解出的两高速相机的内外参数进行优化，可得到双目视觉系统各摄像机内外参数的全局最优解，标定结果如表1所示：

表1标定结果

（2）激光条纹辅助交叉激光识别方法

本发明采用辅助交叉激光方法识别激光条纹。首先将如图3激光条纹辅助交叉激光识别方法原理图所示的交叉激光左激光6、交叉激光右激光7投射在背景平面上，保证交叉点8在背景平面中心位置且在左、右高速摄像机公共视场中心。使用左、右高速摄像机拍摄交叉激光左激光6、交叉激光右激光7，识别交叉点8以及记录交叉激光左激光6、交叉激光右激光7分别在左、右高速摄像机的成像位置。然后将交叉激光去掉，投影测量用竖直激光条纹2，对竖直激光条纹2进行拍摄，利用前面记录的交叉点作为分隔处，对交点左、右的光条进行一次识别，如图3所标的交叉点8左边第1条、右边第1条、左边第2条、右边第2条等依次类推将光条一一对应。如果出现左（右）高速摄像机存在某条激光条，但右（左）高速摄像机无激光条与之对应的情况，说明这条激光条不在公共视场内，去掉此激光条。最后利用已经记录的交叉激光与竖直激光交点9验证识别是否正确。

（3）激光条纹中心线提取

本发明采用Steger条纹中心提取算法对激光条纹在像面所产生的光条进行提取。通过计算Hessian矩阵 $\left[\begin{array}{cc}{r}_{\mathrm{uu}}& r_{\mathrm{uv}}\\ r_{\mathrm{uv}}& r_{\mathrm{vv}}\end{array}\right]$ 的特征值和特征向量来确定直线的法线方向向量[n_un_v]^T，r_uu、r_uv、r_vv、r_v、r_u是图像点离散二维高斯卷积的偏微分，通过公式（3）计算光条的中心坐标。

（4）激光条纹的匹配

利用对应关系已经确定的激光条以及两台高速摄像机1、1’的基本矩阵F，再通过左高速摄像机与右高速摄像机的极限约束关系公式（5）进行图像激光条纹中心线的匹配；将左、右摄像机图像上所对应的的激光条中心线的每个像素点进行匹配，最终完成激光条的匹配。

（5）激光条纹变形部分分割

本发明采用灰度法将激光条纹变形部分从激光条中分割出来。在背景平面上的每条激光条其灰度值分布为连续渐变，投射在目标物上的变形激光条灰度分布也成连续渐变，只有在目标边缘点处激光条灰度会骤变，所以寻找到的灰度骤变点就是激光变形边缘点。沿已识别、提起、匹配的激光条中心线比较灰度变化率，当变化率超过设定阀值就认定为激光变形边缘点，从而找出激光条变形部分。

（6）位姿求取

激光条纹变形部分是投射在圆柱目标物上的条纹，所以激光条纹变形部分的每一个点到圆柱目标轴线的距离都是圆柱目标物半径。利用这个所有激光条纹变形部分点到轴线距离为定值的约束可以优化出目标轴线，将所得轴线中点作为目标的位置点，将轴线与世界坐标系各轴比较求得目标俯仰角与偏航角。

首先确定世界坐标O_wX_wY_wZ_w，其中领与目标初始轴线方向一致且目标前头方向为正，轴竖直向上，遵循右手定则确定轴方向。激光条变形部分点d_i到目标轴线l的距离为目标半径R，利用公式（6）优化出轴线l，并计算出轴线方向向量

轴线中点d_o在世界坐标系O_wX_wY_wZ_w下坐标(X_o,Y_o,Z_o)为目标的位置信息。利用以求得的目标轴线向量分别向面O_wX_wY_w、面O_wX_wZ_w投影得到投影向量和向量根据公式（7、8）求得偏航角θ和俯仰角α。

综上所述，(X_o,Y_o,Z_o)为目标物位置信息，目标偏航角θ与俯仰角α为测量目标的姿态信息。

经图形工作站计算得到位姿信息见下表：

本发明利用激光条纹实现了不对高速运动目标物做任何处理就可高精度的求取其位姿信息，并提高了图像采集质量，有效避免了噪点的影响；激光条纹采用辅助交叉激光法识别无需激光条纹间的任何约束关系就可确保激光条的正确匹配，降低了识别要求以及计算量。

Claims (1)

1.一种基于结构光的高速运动物体位姿视觉测量方法，其特征是，该测量方法是采用竖直激光条纹和辅助交叉激光，使用左、右高速摄像机拍摄辅助交叉激光，识别交叉点以及记录辅助交叉激光分别在左、右高速摄像机的成像位置；用左、右两台高速摄像机采集被测圆柱体以及竖直激光条纹的图像，将采集图像传递给图形工作站，利用由于被测圆柱体而产生的激光条纹变形部分到轴线的距离约束优化出目标轴线，最终求出目标物的位置、姿态信息，具体步骤如下：

(1)双目视觉系统标定

采用张氏提出的以精密二维靶标对双目高速视觉系统进行标定；利用靶标角点求解坐标与实际坐标的偏差函数g(x)对张氏标定方法求解出的两高速相机的内外参数进行优化，如下所示：

g(x)＝(X_w-X_d)²+(Y_w-Y_d)²+(Z_w-Z_d)²  (1) 

其中，X_w，Y_w，Z_w为靶标角点的实际坐标，而X_d，Y_d，Z_d为通过两相机内外参数求解的各角点坐标，则可建立目标函数G(x)如下：

其中，为所有角点偏离实际坐标距离的平方和，应用LM算法求取目标函数G(x)，可得内外参数的全局最优解；

(2)激光条纹辅助交叉激光识别方法

采用辅助交叉激光方法识别激光条纹；首先将辅助交叉激光投射在背景平面上，保证交叉点在背景平面中心位置且在左、右高速摄像机公共视场中心；使用左、右高速摄像机拍摄辅助交叉激光，识别交叉点以及记录辅助交叉激光 分别在左、右高速摄像机的成像位置；然后将辅助交叉激光去掉，投影测量用竖直激光条纹，激光条纹竖直投射且每条条纹不产生干涉即可，对激光条纹进行拍摄，利用前面记录的交叉点作为分隔处，对交点左、右的光条进行一次识别，例如左相机交叉点左1光条-右相机交叉点左1、左相机交叉点右1光条-右相机交叉点右1、左相机交叉点左2光条-右相机交叉点左2，依次类推将光条一一对应；如出现左(右)高速摄像机存在某条激光条，但右(左)高速摄像机无激光条与之对应的情况，说明这条激光条不在公共视场内，去掉此激光条；最后利用已经记录的交叉激光的成像位置与激光条纹所产生的交点验证识别是否正确；

(3)激光条纹中心线提取

本发明采用Steger条纹中心提取算法对激光条纹在像面所产生的光条进行提取；通过计算Hessian矩阵的特征值和特征向量来确定直线的法线方向向量[n_u n_v]^T，其中r_uu、r_uv、r_vv、r_v、r_u是图像点离散二维高斯卷积的偏微分，通过以下公式计算光条的中心坐标：

(q_u q_v)＝(u₀+τn_u v₀+τn_v)    (3) 

其中，u₀、v₀是主点相面坐标，系数τ由以下公式计算得来：

拟合所有光条中心点得到整条激光条纹中心线；

(4)激光条纹匹配

利用对应关系已经确定的激光条以及两台高速摄像机1、1’的基本矩阵F，再通过左高速摄像机与右高速摄像机的极限约束关系进行图像激光条纹中心线的匹配，极限约束条件如下所示：

x_l ^TFx_r＝0      (5) 

其中，x_l为左高速摄像机1拍摄的图像激光条中心线某点坐标；x_r为右高速摄像机1拍摄的与x_l匹配的图像激光条中心线某点坐标；F为左右两个高速摄像机1、1’间的基本矩阵；将左、右摄像机图像上所对应的的激光条中心线的每个像素点进行匹配，最终完成激光条的匹配；

(5)激光条纹变形部分分割

本发明需要将激光条纹变形部分从激光条中分割出来，由于竖直激光条投射在目标表面引起变形的部分与投射在背景面的激光条有所不同，可以使用灰度法或曲率法寻找激光条投射到目标物的上、下边缘点，边缘点之间的部分就是激光条因目标物所产生的形变部分；

1)灰度法

在背景平面上的每条激光条其灰度值分布为连续渐变，投射在目标物上的变形激光条灰度分布也成连续渐变，只有在目标边缘点处激光条灰度会骤变，所以寻找到的灰度骤变点就是激光变形边缘点；沿已识别、提起、匹配的激光条中心线比较灰度变化率，当变化率超过设定阈值就认定为激光变形边缘点，从而找出激光条变形部分；

2)曲率法

激光条在背景平面上为一条曲率几乎为零的线，在圆柱形目标物上其曲率也只为圆柱面曲率，而在激光条变形边缘点上曲率大于以上情况；所以沿已识 别、提起、匹配的激光条中心线比较曲率值，当某点曲率超过设定阈值就认定为激光变形边缘点，从而找出激光条变形部分；

(6)位姿求取

激光条纹变形部分是投射在圆柱目标物上的条纹，所以激光条纹变形部分的每一个点到圆柱目标轴线的距离都是圆柱目标物半径；利用这个所有激光条纹变形部分点到轴线距离为定值的约束可以优化出目标轴线，将所得轴线中点作为目标的位置点，将轴线与世界坐标系各轴比较求得目标俯仰角与偏航角；

首先确定世界坐标O_wX_wY_wZ_w，其中令与目标初始轴线方向一致且目标前头方向为正，轴竖直向上，遵循右手定则确定轴方向；激光条变形部分点d_i到目标轴线l的距离为目标半径R：

其中表示激光条中心线各点到轴线距离，利用以上公式优化出轴线l，并计算出轴线方向向量；

轴线中点d_o在世界坐标系O_wX_wY_wZ_w下坐标(X_o,Y_o,Z_o)为目标的位置信息；利用以求得的目标轴线向量分别向面O_wX_wY_w、面O_wX_wZ_w投影得到投影向量和向量根据以下公式求得偏航角θ和俯仰角α：

其中，为向量的模；

(X_o,Y_o,Z_o)为目标物位置信息，目标偏航角θ与俯仰角α为测量目标的姿态信息。