CN104613929A

CN104613929A - 基于机器视觉自动准直立方镜的方法

Info

Publication number: CN104613929A
Application number: CN201510006022.3A
Authority: CN
Inventors: 刘涛; 杨再华; 闫荣鑫; 胡瑞钦; 易旺民; 万毕乐; 郭洁瑛; 于兆吉; 王伟; 刘浩淼; 阮国伟; 陶力
Original assignee: Beijing Institute of Spacecraft Environment Engineering
Current assignee: Beijing Institute of Spacecraft Environment Engineering
Priority date: 2015-01-07
Filing date: 2015-01-07
Publication date: 2015-05-13

Abstract

本发明公开了一种基于机器视觉的立方镜准直测量自动引导方法，该方法通过使工业相机与经纬仪一起转动，并保持相对位置关系不变，然后控制相机采集待测立方镜的图像，通过图像处理识别立方镜并提取出立方镜的角点，得到角点在图像坐标系下的坐标值；建立相机坐标系、立方镜坐标系和经纬仪坐标系之间的数学模型，在该数学模型下，进行坐标转换并解算出立方镜的待测镜面法向直线与经纬仪运动平面的交点位置，控制经纬仪运动到交点位置并根据立方镜待测镜面的法向调整好经纬仪的姿态，使得立方镜待测镜面法线方向进入到经纬仪视场范围内，并基于图像识别的经纬仪自动准直步骤实现立方镜的自动准直。

Description

基于机器视觉自动准直立方镜的方法

技术领域

本发明属于航天器总装测量技术领域，具体涉及使用机器视觉的方法测量立方镜的位置和姿态，然后基于机器视觉测量得到的立方镜位置和姿态引导经纬仪移动到相应的位置，并调节经纬仪角度，实现经纬仪对立方镜的自动准直。

背景技术

精度测量是航天器可靠运行的重要保证环节，为了保证航天器的正常运行，必须在地面总装时对其结构外形和有精度要求的仪器设备进行几何精度测量，如航天器上的地球敏感器、太阳和星敏感器、惯性器件等姿态敏感仪器；10N推力器、490N发动机等动力组件；天线、相机等传感通信设备。被测量的设备一般用被测设备上已被标定的光学立方镜进行表征，被测仪器的坐标系坐标轴由光学立方镜的反射面法线代表。

目前的测量方法是采用高精度的电子经纬仪进行人工准直测量。经纬仪准直立方镜的操作是依赖操作人员手动寻找目标，准直或瞄准待测镜面后读出经纬仪转动角度，然后解算出立方镜的位置和姿态。现有的经纬仪准直测量过程对操作人员要求较高，测量效率不高。专利“基于图像识别的经纬仪自动准直方法”可以在目标进入经纬仪视场内后进行自动准直，但是依然需要操作人员先寻找目标，并调整经纬仪使得目标进入视场，自动化程度有待提高。

通过机器视觉测量的方法识别特定靶标可以提高经纬仪测量系统的自动化程度，减少对操作人员的依赖，提高测量效率和测量稳定性。目前，国内外都在进行利用视觉测量方法引导其他测量系统的相关研究，例如国防科技大学的Xiaohu Zhang,ZhaokunZhu,YunYuan,etc.A universal and flexible theodol ite-camera system for makingaccurate measurements over large volumes.Optics and Lasers in Engineering.2012,(50),1611–1620中披露了一种基于经纬仪和全站仪提出了一种经纬仪-相机视觉测量系统(TVS)，该系统由2台全站仪组成。针对该系统研究了相应的图像校正算法、坐标系标定方法、目标识别算法。

天津大学的CN200610129442.1号专利公开了一种基于自动视觉引导的大尺寸空间坐标测量方法及检测装置。经纬仪通过可变焦摄像机的引导完成对被测点的自动识别及测量，由各经纬仪间的交汇约束实现大尺寸内空间坐标的自动识别及精密测量。该系统在左右两台经纬仪上安装了激光器，发射的激光点打到被测物体上的特殊标志点，通过相机的视觉引导实现激光点与靶标点的重合，然后进行测量。

以上两种方法都实现了特定靶标点的识别和坐标测量，但要将其应用于航天器立方镜测量中必须在立方镜上贴特定的靶标，这在工程中是不允许的。而且以上方法没有实现对立方镜的准直引导功能，无法进行镜面法向的自动测量。因此，需要研究一种可用于立方镜准直测量的视觉引导方法，实现立方镜自动准直，提高测量效率。

发明内容

本发明的目的在于提供一种基于机器视觉的立方镜准直测量自动引导方法，基于立方镜的几何特征实现对立方镜的识别和位姿测量，测量精度达到0.5°，从而实现对经纬仪的自动引导。通过自动引导使立方镜法线进入经纬仪视场范围内，然后与中国专利“基于图像识别的经纬仪自动准直方法”(201310553352.5)相结合，提高利用经纬仪准直立方镜进行立方镜角度测量的自动化程度，降低准直测量过程对操作人员的依赖。

为达到以上目的，本发明采用的技术方案是：

一种基于机器视觉的立方镜准直测量自动引导方法，包括以下步骤：

(1)在经纬仪上安装一台或一台以上的工业相机，使其与经纬仪一起转动，并保持相对位置关系不变，待测立方镜设置在高精度转台上，高精度转台设置在经纬仪的观测范围内；

(2)标定出工业相机的内部参数、相机坐标系与经纬仪坐标系之间的转换矩阵、经纬仪的运动导轨与高精度转台的位置关系并确定经纬仪初始位置；

(3)控制相机采集待测立方镜的图像，通过图像处理识别立方镜并提取出立方镜的角点(八个角点)，得到角点在图像坐标系下的坐标值；

(4)建立相机坐标系、立方镜坐标系和经纬仪坐标系之间的数学模型，在该数学模型下，基于待测立方镜同一角点的三条棱边的相互垂直关系和各个棱边的长度，求解出待测镜面法向和立方镜中心在相机坐标系下的坐标值，并根据上述相机坐标系与经纬仪坐标系之间的转换矩阵将其转换成经纬仪坐标系下的坐标值；

(5)基于求解出的立方镜的待测镜面法向和立方镜中心在相机坐标系下的坐标值、已标定的经纬仪运动导轨与高精度转台的位置关系以及经纬仪初始位置，解算出立方镜的待测镜面法向直线与经纬仪运动平面的交点位置，控制经纬仪运动到交点位置并根据立方镜待测镜面的法向调整好经纬仪的姿态，使得立方镜待测镜面法线方向进入到经纬仪视场范围内，并基于图像识别的经纬仪自动准直步骤实现立方镜的自动准直。

其中，经纬仪为具有电控功能的各种经纬仪，例如Leica的TM5100、TM6100等。

其中，对于多台相机，则利用双目视觉或多目视觉原理，将不同相机采集的图像进行匹配。

本发明首次实现了利用机器视觉原理测量立方镜相对于经纬仪的位置和姿态，测量精度可达到0.5°，可实现对经纬仪的自动准直引导功能，使得立方镜法线方向进入经纬仪视场范围，完成自动准直测量。本发明可用于经纬仪或自准直仪的自动化角度测量中，提高测量效率和自动化程度，降低准直测量过程对操作人员的依赖。

附图说明

图1为本发明中基于机器视觉的立方镜准直测量自动引导系统示意图；

其中：1－计算机、2－精密导轨、3－CCD相机、4－经纬仪、5－运动控制平台、6—待测立方镜、7－高精度转台。

图2为本发明的立方镜准直测量自动引导方法中立方镜的位姿解算的数学模型。

具体实施方式

以下介绍的是作为本发明内容的具体实施方式，下面通过具体实施方式对本发明内容作进一步的阐明。当然，描述下列具体实施方式只为示例本发明的不同方面的内容，而不应理解为限制本发明范围。

如图1所示，本发明的基于机器视觉的立方镜准直测量自动引导系统包括：用于图像处理和位姿解算的计算机1、精密导轨2、CCD相机3、经纬仪4、运动控制平台5、待测立方镜6和高精度转台7。利用相机3进行立方镜6的位姿测量并实现对经纬仪的自动引导，主要包括以下步骤：

(1)相机3与经纬仪4间的安装

按图1将相机3固定在经纬仪4上，使相机3可以与经纬仪4的视准轴一起运动，且测量过程中保持相机3与经纬仪4的视准轴相对位置关系不变；

(2)系统的标定

利用棋盘标定法或其他相机标定方法得到相机3的内参数(包括图2中图像平面坐标系u、v方向的等效焦距f_x、f_y和主点O_i的像素坐标u_x,v_y)和相机畸变矩阵。

利用相机3和经纬仪4分别测量相对位置关系已知的公共靶标点A1，A2，…，An(n≥3)，得到点A1～An在经纬仪4坐标系O_T-X_TY_TZ_T和相机3坐标系O_c-X_cY_cZ_c下的坐标，利用最小二乘法拟合得到相机3坐标系与经纬仪4坐标系间的转换矩阵C。靶标点测量过程应保证相机3采集的图像清晰且靶标特征易于提取，靶标点应尽量分散的布设在待测区域附近，以提高测量精度。

利用激光跟踪仪或其他测量设备标定出经纬仪运动导轨2和高精度转台7之间的位置关系。

(3)图像采集与处理

利用计算机1控制经纬仪4和相机3在运动控制平台5上运动，使相机3可以采集到待测立方镜6的图像。

在计算机1上利用图像处理算法提取立方镜关键顶点。提取流程为：利用相机3标定得到的相机畸变矩阵对图像预处理(消除畸变)->利用Canny边缘检测等方法获取图像边缘信息->利用Hough变换等方法对获取的边缘进行轮廓分析->通过直线分类得到立方镜关键棱边->求解直线交点得到立方镜关键角点。得到图1中顶点P0～P3在图像坐标系下的坐标(u_i，v_i)(i＝0～3)。当图像中存在较多干扰时，可以利用立方体特性进行图像匹配方法提高立方镜顶点提取正确率，也可以通过外加光源或改变背景等方法改善图像质量。

(4)立方镜位姿解算

利用计算机1进行立方镜位姿解算。

图2是本发明中立方镜位姿解算的数学模型。其中，待测立方镜过P0的三条立方镜棱边在空间中互相垂直，且各个棱边的长度L已知。基于立方镜的以上几何特征和立方镜在图像平面像素坐标系下的坐标，可以解算出待测面法向(此处假设为)在相机坐标系下的方向。具体解算方法如下：

①如图2所示，空间目标点P在相机坐标系下坐标为(x_i ^c,y_i ^c,z_i ^c)^T，在相平面中成像为Pr，Pr在图像平面像素坐标系o-uv中的坐标为(u_i,v_i)，则根据几何关系，易得到坐标(x_i ^c,y_i ^c,z_i ^c)^T和(u_i,v_i)满足以下关系：

\{\begin{matrix} x_{i}^{c} = \frac{(u_{i} - u_{x})}{f_{x}} \cdot z_{i}^{c} \\ y_{i}^{c} = \frac{(v_{i} - v_{y})}{f_{y}} \cdot z_{i}^{c} \end{matrix} - - - (1)

式(1)中，f_x、f_y分别为相机在u、v方向的等效焦距，u_x、v_y分别为相机主点(图2中O_i点)在图像平面像素坐标系下的坐标。

②设图2中立方镜角点P0、P1、P2、P3在像素坐标系中的坐标分别为(u0，v0)、(u1，v1)、(u2，v2)、(u3，v3)，设P0、P1、P2、P3在相机坐标系中的坐标分别为(x0^c,y0^c,z0^c)^T、(x1^c,y1^c,z1^c)^T、(x2^c,y2^c,z2^c)^T和(x3^c,y3^c,z3^c)^T。由式(1)得：

\{\begin{matrix} x_{0}^{c} = \frac{(u_{0} - u_{x})}{f_{x}} \cdot z_{0}^{c} \\ y_{0}^{c} = \frac{(v_{0} - v_{y})}{f_{y}} \cdot z_{0}^{c} \end{matrix}, \{\begin{matrix} x_{1}^{c} = \frac{(u_{1} - u_{x})}{f_{x}} \cdot z_{1}^{c} \\ y_{1}^{c} = \frac{(v_{1} - v_{y})}{f_{y}} \cdot z_{1}^{c} \end{matrix},

\{\begin{matrix} x_{2}^{c} = \frac{(u_{2} - u_{x})}{f_{x}} \cdot z_{2}^{c} \\ y_{2}^{c} = \frac{(v_{2} - v_{y})}{f_{y}} \cdot z_{2}^{c} \end{matrix}, \{\begin{matrix} x_{3}^{c} = \frac{(u_{3} - u_{x})}{f_{x}} \cdot z_{3}^{c} \\ y_{3}^{c} = \frac{(v_{3} - v_{y})}{f_{y}} \cdot z_{3}^{c} \end{matrix} - - - (2)

由于过P0的三条立方镜棱边在空间中互为直角关系，于是有：

在以上关系式中，点P0、P1、P2、P3在像素坐标系下的坐标已在步骤(3)中得到，基于公式(2)和(3)即可解算出向量在相机空间坐标系下的方向。

③立方镜棱边长度已知，设为L，则

④基于公式(2)-(4)，可以得到：

\{\begin{matrix} a_{1} \cdot k_{1} k_{2} - b_{1} \cdot k_{1} - b_{2} \cdot k_{2} + c = 0 \\ a_{2} \cdot k_{2} k_{3} - b_{2} \cdot k_{2} - b_{3} \cdot k_{3} + c = 0 \\ a_{3} \cdot k_{3} k_{1} - b_{3} \cdot k_{3} - b_{1} \cdot k_{1} + c = 0 \end{matrix} - - - (5)

\{\begin{matrix} c_{1} z_{1}^{2} + c_{0} z_{0}^{2} - {2 b}_{1} z_{1} z_{0} = L^{2} \\ c_{2} z_{2}^{2} + c_{0} z_{0}^{2} - {2 b}_{2} z_{2} z_{0} = L^{2} \\ c_{3} z_{2}^{2} + c_{0} z_{0}^{2} - {2 b}_{3} z_{3} z_{0} = L^{2} \end{matrix} - - - (6)

其中，c_i＝p_i·p_i，a₁＝p₁·p₂,a₂＝p₂·p₃,a₃＝p₃·p₁，b₁＝p₀·p₁,b₂＝p₀·p₂,b₃＝p₀·p₃，(i＝0,1,2,3)。

求解公式(5)和(6)即可解算出向量和点P0～P3在相机坐标系下的坐标。由操作人员根据测量需求在计算机1上从向量中选择出待测镜面法线。计算机1根据转换矩阵C得到立方镜6在经纬仪坐标系下的坐标和待测面法线方向，并解算出经纬仪4准直待测面的理论位置和姿态。

(4)自动准直引导

利用计算机1控制经纬仪4运动到理论准直位置，并调整好准直姿态。此时，立方镜6法线方向已进入经纬仪4视场范围内，基于图像识别的经纬仪自动准直方法(例如中国专利2013公开的201310553352.5)实现经纬仪自动准直。

尽管上文对本发明的具体实施方式给予了详细描述和说明，但是应该指明的是，我们可以根据本发明的构想对上述实施方式进行各种等效改变和修改，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，均应在本发明的保护范围之内。

Claims

1.一种基于机器视觉的立方镜准直测量自动引导方法，包括以下步骤：

(3)控制相机采集待测立方镜的图像，通过图像处理识别立方镜并提取出立方镜的八个角点，得到角点在图像坐标系下的坐标值；

2.如权利要求1所述的方法，其中，经纬仪为具有电控功能的各种经纬仪。

3.如权利要求1所述的方法，其中，对于多台相机，则利用双目视觉或多目视觉原理，将不同相机采集的图像进行匹配。