CN101629806A - 结合激光发射器的非线性ccd三维定位装置及定位方法 - Google Patents

Abstract

本发明提供的是一种结合激光发射器的非线性CCD三维定位装置及定位方法。在平面内标定非线性CDD摄像机参数；调整好步进电动机、激光发射器与摄像机的相对位置关系，使之满足步进电动机轴与水平面成垂直关系，CCD摄像机的光心与线激光发射器的发射点在垂直面上严格共面，激光发射器的发射光线形成的平面与水平面垂直；利用采集的图像信息，结合装置的三角形结构得到目标物的三维坐标。本发明采用激光发射器增加辅助的定位信息，弥补了单目视觉没有经过精确的计算导致定位精度不准确的缺点，避免了双目视觉中立体匹配困难的问题。步进电动机的引用，可以很方便地进行三角法中角度的测量，并且没有积累误差，提高了定位精度。

Description

结合激光发射器的非线性CCD三维定位装置及定位方法

(一)技术领域

本发明涉及的是一种基于单目视觉的三维定位装置。本发明也涉及一种基于单目视觉的三维定位方法。

(二)背景技术

三维定位系统的定位方法，目前主要有机械定位法、超声波定位法、电磁定位法和光学定位法。而光学定位法是其中定位精度最高，使用最为方便的一种定位方法。光视觉定位技术又可分为单目视觉定位技术和双目视觉定位技术。例如：1992年，《电子学报》第11期中的“3-D计算机视觉系统高精度摄像机定标算法-DLTEAII”中采用的是双目摄像机；2009年《计算机工程与设计》第30期中的“对三维激光扫描系统的研究和改进”同样是采用双目视觉，利用二维图像的融合来定位三维信息；中国专利申请号为200310113300.2、名称为“一种基于双目视觉和激光测距仪的主动实时三维测距系统”的专利文件中的技术方案，也为双目视觉的范畴。但是双目立体视觉定位技术中的立体匹配问题到现在都没有得到很好的解决。2006年《系统仿真学报》第18卷增刊1中的“机器人三维定位系统关键技术的研究”采用的是扫描匹配法，引入了倾角传感器；2004年4月清华大学理学博士论文《三维高精度光学定位技术及其临床应用》采用的是线性的CCD与激光测距仪的结合，由激光测距仪直接得到距离坐标，不需要自己计算；中国专利申请号为200510090494的专利申请文件、测量三维空间的数字摄像和激光系统及其应用中，直接采用激光测距仪，直接得到三维坐标，应用于较大范围的地貌探测。以上为单目视觉的应用，单目视觉定位技术结构简单，但算法还不够完善，定位精度有限。从实际应用的角度看，现在传统的单目视觉或者双目视觉定位技术尚未成熟，还有很长的路要走。传统的利用激光发射器或者雷达装置的三维定位方法，要得到目标物的深度信息，一般利用光波或者声波在测距点与目标物体之间传播的时间来得到距离信息。而在短距离范围内，时间非常短，此方法不再适用。

(三)发明内容

本发明的目的在于提供一种定位精确可靠、结构简单、操作方便的结合激光发射器的非线性CCD三维定位装置。本发明的目的还在于提供一种基于结合激光发射器的非线性CCD三维定位装置的定位方法。

本发明的目的是这样实现的：

本发明的结合激光发射器的非线性CCD三维定位装置包括CCD摄像机、线激光发射器、步进电动机及计算机，线激光发射器通过联轴器与步进电动机轴相连，步进电动机轴与水平面成垂直关系，CCD摄像机的光心与线激光发射器的发射点在垂直面上严格共面，激光发射器的发射光线形成的平面与水平面垂直、即发射光线与目标点的交线在垂直面上的投影是铅垂状态。计算机通过电平转换接口与步进电动机驱动器相连接，二者之间通过RS232通讯协议进行通讯。计算机发控制指令给步进电机驱动器，步进电机转动的步距角返回给计算机，实现电机与计算机之间的双向通讯。

所述的线激光发射器与步进电动机安装于支架上，联轴器与支架之间设置有轴向定位轴承。

基于本发明的结合激光发射器的非线性CCD三维定位装置的定位方法为：

1、在平面内标定非线性CDD摄像机参数；

2、调整好步进电动机、激光发射器与摄像机的相对位置关系，使之满足步进电动机轴与水平面成垂直关系，CCD摄像机的光心与线激光发射器的发射点在垂直面上严格共面，激光发射器的发射光线形成的平面与水平面垂直、即发射光线与目标点的交线在垂直面上的投影是铅垂状态；

3、图像采集卡采集图像目标物，形成图像信息。利用已经标定好的摄像机参数计算得到目标物质心的二维图像平面内的坐标。结合激光发射器与摄像机以及目标质心点之间的三角形几何关系，计算得到目标物质心在摄像机坐标系的三维坐标。

所述的利用图像信息得到目标物三维坐标的方法为：

1、预处理采集到的图像信息，从背景当中提取目标物；

2、根据灰度重心法提取目标物的质心位置，即在图像平面内的像素坐标；

3、根据提前标定好的摄像机参数值计算质心像素坐标在摄像机坐标系下的物理坐标；

4、打开激光发射器，步进电动机驱动激光发射器转动，使图像中目标物质心位于激光条纹中心位置；

5、根据步进电动机的步距角及其驱动脉冲，结合初始夹角，得到线激光发射器发射光线在水平面内与横轴的夹角；

6、根据标定好的整个装置的结构参数，利用三角法测距原理计算得到目标物在摄像机坐标系下的三维坐标位置。

本发明采用三角法激光测距原理，利用激光发射器与摄像机之间的位置关系，结合三角形中坐标的计算得到目标物体的深度信息，同时校正了摄像机的径向畸变问题。随着陆地不可再生资源的日益枯竭，人类把目光逐渐投向了蕴藏着丰富的生物和矿产资源的海洋世界，所以同时本发明亦针对水下特殊的工作环境，修正了水下三维定位时折射畸变的影响，提高了水下工作环境时的定位精度。

本发明采用激光发射器增加辅助的定位信息，弥补了单目视觉没有经过精确的计算导致定位精度不准确的缺点，同时也避免了双目视觉中立体匹配困难的问题。步进电动机的引用，可以很方便地进行三角法中角度的测量，并且没有积累误差，提高了定位精度。本方法硬件结构简单，成本低，并且定位精度高。

在不同的环境中进行了大量的实验，证实了此定位方法的有效性和准确性，为近距离的三维定位及导航提供了新方法，提高了定位精度，同时降低了应用成本，可以应用于工业、科技、国防、教育等领域中，例如可以基于此方法为机器人定位和导航以及检测焊缝的连续性等等，在国民经济发展和国防现代化方面都有着广泛的应用价值。

(四)附图说明

图1是本发明的定位方法的流程框图；

图2-a是本发明的定位装置的示意图；

图2-b是图2-a的俯视图；

图3是本三维定位结构位置关系的标定模板图；

图4是标定本三维定位结构位置关系的示意图；

图5是校正由水下折射引起图像失真的示意图；

图6是三角法测距原理图。

(五)具体实施方式

下面结合附图举例对本发明做更详细地描述：

结合图2-a和图2-b，其中1为联轴器，2为激光发射器，3为CCD摄像机。本发明的结构装置需要满足以下几点要求：

1)保证CCD摄像机3光心与线激光发射器2发射点在垂直面上严格共面；

2)电动机轴与水平面成垂直关系；

3)保持线激光发射器的发射光线形成的平面与水平面垂直，即发射光线与目标点的交线在垂直面上的投影是铅垂状态；

4)CCD摄像机镜头的方向为垂直纸面向里；

5)步进电动机轴不能承受很大的轴向力，所以为了保证步进电机轴带动激光发射器转动的过程中发射光线保持与水平面成垂直状态，需对步进电动机输出轴进行轴向定位，利用定位轴承使得与激光发射器连接在一起的联轴器(1)在转动时始终与水平面保持垂直。

本发明在实践当中更具体的应用过程分为两部分进行描述，第一部分为通用的陆地上三维定位系统装置的应用，如下所述：

1)利用摄像机采集图像前最重要的是需要标定摄像机的参数。在本发明中，考虑到摄像机的镜头的径向畸变，采用平移正交运动的方法来标定摄像机参数。避免空间两两正交平移运动实施性难的问题，本发明中摄像机做四组平面运动，每组运动包括相互垂直的两个运动向量，共得到八个向量，任意两个向量不平行。根据正交关系和传统的摄像机成像针孔模型，四元二次方程组，可以很方便的得到摄像机的内部参数。

2)定位系统装置示意图见附图2所示(此图中硬件设备为简单的位置示意图，并且没有考虑摄像机镜头的畸变以及水下环境时折射的影响)。在进行有关工作之前，首先需要进行激光发射器的校准和激光条纹提取。在激光发射器转动的过程中随时保证发射光线与铅垂线平行。安装好激光发射器后，使激光发射器在初始位置时发射光线与铅垂线平行，然后激光发射器转过一个比较大的角度，再回到初始位置时仍保证发射光线与铅垂线平行，反复几次，不断调整，直到在转动的任意时刻，发射光线都与铅垂线平行，至此完成激光发射器的校准，不再改变激光发射器自身的姿态。由于光的发散作用，使得发射光线与目标物的交线不是清晰的细线条，而是朦胧的粗线条，直接影响目标的定位精度，所以先提取激光条纹的中心，然而又不同于图像的细化处理。在此，采用阈值法和可变方向模板法结合的处理方式提取激光条纹。采集有激光条纹和无激光条纹的图像，二者相加取平均值再减去无激光条纹图像N，得到差图像为δ。差图像的灰度均值为Y_e，均方差为δ，激光条纹的灰度阈值为δ(T)，那么q为像素值大于(Y_e-δ)的所有像素灰度值之和，q′为对应的像素的个数，则有阈值δ(T)＝q/q′。所以灰度值大于δ(T)的像素点都认为是激光点。像素Y(i，j)的灰度邻域属性值记为A(i，j)。其中邻域是指像素的前三个像素，后三个像素，再加上自身像素，则A(i，j)＝Y(i，j-3)+Y(i，j-2)+2*Y(i，j-1)+4*Y(i，j)+2*Y(i，j+1)+Y(i，j+2)+Y(i，j+3)若A_P＝max[A(i，j)]＝max[A(i，0)，A(i，1)，......，A(i，400)](每幅图像的大小为400*400个像素)，则激光条纹中心点为Y(i，P)，至此确定了每一行激光条纹中心点的位置。取激光条纹宽度为21个像素，在使用方向模板时仅对每行确定为激光点的21(每行确定为激光点的21邻域)个像素进行计算，从而提高了运算速度，得到激光条纹的中心。

3)关于系统参数初始角度和基线距离的标定，本发明中针对线型激光发射器设计出一种新方法。其中标定模板如附图3所示。附图3中为5*5阵列标定圆环，外围黑色圆环直径为R，中心小圆环直径为r。其中小圆环的设定是为了定位线激光发射器所发出的扫描光线及摄像头的光心位置。每个圆环与其四邻域圆环中心的距离都为d。定位原理图如附图3所示。

附图4中，与激光发射器发射光线垂直的虚线表示标定模板。激光发射器光线发射点与摄像头中心在同一平面内，标定板与发射光线垂直，激光发射器的发射光线打到标定模板第三列圆环的中心位置，摄像头光心对准模板最中心圆环，即第三行第三列，此时标定板中心到摄像头光心的距离可测为L；保持标定板与激光发射器发射光线垂直的状态向后平移标定板，此时发射光线一直打到第三列圆环中心的位置不变，而令摄像头的光心对准第四行第三个圆环的中心，测得平移的距离为h₁；第二次在相同的条件下进行平移，直到摄像机的光心对准标定模板第五行第三个圆环的中心，测得此次平移的距离为h₂。那么由此可得：

$\arctan \mathrm{\θ}=\frac{2d}{h_1+h_2}$

与标定时已知的L值结合得到基线距离：

b＝L·tanθ

4)三角原理测距所要求的参数全部测出以后，摄像机开始采集图像，进行此系统的定位过程。首先图像采集卡采集到图像，为了后续基于图像的工作更方便地进行，计算机对图像进行最初的预处理：基于最大熵的图像增强处理和中值滤波。从而提高图像的对比度，降低图像的噪声，进行图像的分割，从背景中提取出我们感兴趣的所要进行定位的目标物。目标物被成功分割出来以后，开始进行目标物特征的提取和识别。利用灰度-梯度共轭不变矩来代替灰度共生矩阵，保留了共生矩阵算法的优点，而且大幅度的减少了计算量。采用遗传算法训练的神经网络进行目标物的识别，克服了神经网络收敛速度慢，容易陷入局部最小值的缺点。至此，前期的图像处理工作完成，为后续的目标定位提供了可靠的技术保证。

采用灰度重心法则进行目标物质心的提取，从而得到了目标物质心在图像平面内的物理坐标，根据三角法则计算摄像机坐标系中目标物质心的物理坐标，对于水下目标物还需进行折射的修正，至此完成了对目标物的三维定位。其中三角法测距原理图如附图6所示。由以下公式计算得到：

$X_c=\frac{X_i*b*\tan \mathrm{\θ}}{f-X_i*\tan \mathrm{\θ}}$

$Y_c=\frac{Y_i*X_c}{X_i}$

Z_c＝b*X_c*tanθ

X_i＝(u-u₀)*d_x，Y_i＝(v-v₀)*d_y

其中，

(u，v)为检测到的目标物质心像素坐标，(u₀，v₀)为图像平面的中心像素坐标。第二部分是专门为水下环境下的应用所设计，其中具体实现步骤的(1)、(2)、(3)步分别与第一部分相同，在第(4)步进行由于折射引起的水下图像畸变的校正。水下的光电成像系统与陆地上的光电成像系统大不相同，这种不同表现为光线在两种介质的分界面处产生折射引起光线发生偏折。所以要得到水下目标物准确的三维坐标，从而实现水下机器人更为准确的自主导航，必须进行折射的校正。设计中用到的水下摄像头为平面型密封防水装置，在此设计校正折射的原理图附图5所示。附图中，δ为一安装误差值。一般光心前密封玻璃应该在光心前f处，由于安装原因，可能会有一误差值，即δ。此时，激光发射器发射光线在水平面内与X轴的夹角为θ，光线在水中和在空气中的折射率分别为n_w和n_a，由此得到折射角：n_w·sinω＝n_a·cosθ。由此可以得到理想的入射角度 ${\mathrm{\θ}}^{\′}=\frac{\mathrm{\π}}{2}-\mathrm{\ω}.$ 由 $\tan \mathrm{\α}=\sqrt{x_i^{\′2}+y_i^{\′2}}/f$ (其中x_i′²与y_i′²为图像平面上像素的坐标值经过径向畸变修正得到)与n_ω·sinβ＝n_a·sin_α可以得到β值。由图中的几何关系可得到： $\left\{\begin{array}{c}{Z}_c=f-\mathrm{\δ}+\frac{b-(f-\mathrm{\δ})\·(\cot \mathrm{\θ}+\tan \mathrm{\ω})}{\tan \mathrm{\β}+\tan \mathrm{\ω}}\\ \left|P_w{Z}_c\right|=(f-\mathrm{\δ})\·\tan \mathrm{\α}+\frac{[b-(f-\mathrm{\δ})\·(\cot \mathrm{\θ}+\tan \mathrm{\α})]\·\tan \mathrm{\β}}{\tan \mathrm{\β}+\tan \mathrm{\ω}}\end{array}\right..$

又由于 $\frac{\left|O_1{P}_1\right|}{f}=\frac{\left|P_w{Z}_c\right|}{Z_c},$ 所以经过折射修正后得到的坐标值为 $\left[\begin{array}{c}{x}_i^{\′\′}\\ y_i^{\′\′}\end{array}\right]={\mathrm{\η}}_i\left[\begin{array}{c}{x}_i^{\′}\\ y_i^{\′}\end{array}\right],$ 式中，

${\mathrm{\η}}_i=\frac{\left|O_1{P}_1\right|}{\left|O_1{P}_i\right|}=\frac{(f-\mathrm{\δ})\·(\tan \mathrm{\α}\·\tan \mathrm{\ω}-\tan \mathrm{\β}\·\cot \mathrm{\θ})+b\·\tan \mathrm{\β}}{[(f-\mathrm{\δ})\·(\tan \mathrm{\β}+\tan \mathrm{\ω}-\cot \mathrm{\θ}-\tan \mathrm{\α})+b]\·\tan \mathrm{\α}}.$

在上面的校正过程中有一误差值δ。在已知激光初始角度θ和基线长度b时，根据径向畸变后的标定点坐标以及水与空气的折射率之比可以得到ω，α，β，并且标定点的坐标Z_c已知。此时向此装置注水，注水后使激光发射器的发射光线仍然打在标定点上，就需要向远处平移标定点，移动距离为Δ，标定点的(X_c，Y_c)没有变，只是Z_c变为Z_c+Δ。将Z_c+Δ代入上式就可以求出δ值。

对水下图像的畸变校正完成后，开始计算水下目标的三维坐标，加入折射畸变因子，基本算法同第一部分步骤(4)。至此完成在水下环境下的目标物三维定位。

以上即是本设计发明进行三维定位的基本实现过程，可以为陆地上和水下的系统实现近距离单目视觉对目标物的三维定位，从对一般的单目视觉和双目视觉定位的困难和缺陷的考虑出发，设计此三维定位装置，结构成本低，原理简单，比较容易实现，并且能够达到一定的定位精度。

Claims (4)

1、一种结合激光发射器的非线性CCD三维定位装置，包括CCD摄像机、线激光发射器、步进电动机及计算机，其特征是：线激光发射器通过联轴器与步进电动机轴相连，步进电动机轴与水平面成垂直关系，CCD摄像机的光心与线激光发射器的发射点在垂直面上严格共面，激光发射器的发射光线形成的平面与水平面垂直、即发射光线与目标点的交线在垂直面上的投影是铅垂状态，计算机通过电平转换接口与步进电动机驱动器相连接，二者之间通过RS232通讯协议进行通讯，计算机发控制指令给步进电机驱动器，步进电机转动的步距角返回给计算机，实现电机与计算机之间的双向通讯。

2、根据权利要求1所述的结合激光发射器的非线性CCD三维定位装置，其特征是：所述的线激光发射器与步进电动机安装于支架上，联轴器与支架之间设置有轴向定位轴承。

3、一种基于本发明的结合激光发射器的非线性CCD三维定位装置的定位方法，其特征是：

(1)在平面内标定非线性CDD摄像机参数；

(2)调整好步进电动机、激光发射器与摄像机的相对位置关系，使之满足步进电动机轴与水平面成垂直关系，CCD摄像机的光心与线激光发射器的发射点在垂直面上严格共面，激光发射器的发射光线形成的平面与水平面垂直、即发射光线与目标点的交线在垂直面上的投影是铅垂状态；

(3)图像采集卡采集图像目标物，形成图像信息，利用已经标定好的摄像机参数计算得到目标物质心的二维图像平面内的坐标，结合激光发射器与摄像机以及目标质心点之间的三角形几何关系，计算得到目标物质心在摄像机坐标系的三维坐标。

4、根据权利要求3所述的基于本发明的结合激光发射器的非线性CCD三维定位装置的定位方法，其特征是所述的利用图像信息得到目标物三维坐标的方法为：

(1)预处理采集到的图像信息，从背景当中提取目标物；

(2)根据灰度重心法提取目标物的质心位置，即在图像平面内的像素坐标；

(3)根据提前标定好的摄像机参数值计算质心像素坐标在摄像机坐标系下的物理坐标；

(4)打开激光发射器，步进电动机驱动激光发射器转动，使图像中目标物质心位于激光条纹中心位置；

(5)根据步进电动机的步距角及其驱动脉冲，结合初始夹角，得到线激光发射器发射光线在水平面内与横轴的夹角；

(6)根据标定好的整个装置的结构参数，利用三角法测距原理计算得到目标物在摄像机坐标系下的三维坐标位置。

Images