CN101900552B - 经纬摄像机摄像测量方法 - Google Patents

Abstract

本发明公开了一种经纬像机摄像测量方法及系统。其中经纬像机摄像测量方法首先将像机安装于二维旋转平台之上，组成经纬像机，该经纬像机经网络通讯模块与主机连接，构成了经纬像机摄像测量系统；然后，将经纬像机对准布置了控制点的区域，标定经纬像机的内参数及在初始位置的外参数，并进一步得出像机与二维旋转平台间的系统差H_tc；再将经纬像机对准待测目标进行拍摄，并利用二维旋转平台提供的方位角和俯仰角实时修正摄像机外参数；最后利用实时得到的摄像机外参数和之前已标定的摄像机内参数基于交汇测量原理，实时计算出待测目标的绝对位姿和运动参数，实现对待测目标的三维测量。本发明所述经纬像机摄像测量方法及系统体积小巧、装拆简单、便于携带、成本较低，且像机外参数获取方式快速简单。

Description

经纬摄像机摄像测量方法

技术领域

本发明涉及摄像测量、图像处理、计算机视觉等技术领域。 

背景技术

摄像测量技术是近年来发展起来的具有重大工程实用价值的测量技术，具有高精度、非接触以及可实时测量等特点。 

实施摄像测量时，通常需要已知像机的内外参数。在摄像测量学中，像机模型被近似成中心透视投影模型，摄像测量常用坐标系及中心透视投影成像关系如图1所示： 

其中世界坐标系O_W-X_WY_WZ_W，也称全局坐标系，是由用户任意定义的三维空间坐标系，通常是将被测物体和摄像机作为一个整体来考虑的坐标系。为了使用方便，此坐标系的建立较多的考虑应用环境和对象条件。 

像机坐标系O_C-X_CY_CZ_C，中心透视投影的光心和光轴即像机的光心和光轴。像机坐标系原点取为像机光心，Z_C轴与像机光轴重合，且取摄像方向为正向，X_C，Y_C轴与图像坐标系的x，y轴分别平行。 

图像坐标系I-xy，图像坐标系是建立在像面上的，即在像机坐标系Z_C＝f的平面内，f为中心透视投影模型的焦距。此坐标系是以图像左上角点I为原点，以像素为坐标单位的直角坐标系。x，y分别表示该像素在数字图像中的列数和行数。 

在中心透视投影模型下，像机的参数可分为像机内参数和外参数两个部分。像机内参数包括图像主点，即像机光轴与像面交点的图像坐标(C_x，C_y)；等效焦距，即焦距f分别与CCD像元的横、纵尺寸之比(F_x，F_y)。像机外参数是指世界坐标系O_W-X_WY_WZ_W与像机坐标系O_C-X_CY_CZ_C之间的关系，它包括三个旋转角(A_X，A_Y，A_Z)，即为将世界坐标系变换到与像机坐标系姿态一致而分别 绕三个坐标轴转过的欧拉角；平移向量T＝(T_X，T_Y，T_Z)，是世界坐标系原点在像机坐标系中的坐标。 

像机参数的获取一般分两种方式：基于已知控制点的解算方式和辅助设备测量方式。前者即像机参数的标定，这种方式具有摄像系统小巧、装拆简单、便于携带等优点。但它需要在像机视场内放置若干世界坐标已知的控制点，标定过程相对繁琐。而且在某些使用条件下，如对空中或海上目标的测量情况，难以放置控制点，导致无法标定和测量。后者如光电经纬仪上的摄像系统，其外参数可由经纬仪提供的方位和俯仰角直接获得，获取方式快速简单，可对运动目标跟踪拍摄。但是光电经纬仪要求二维旋转平台旋转中心与摄像系统光心重合，并且要求经纬仪视准轴与摄像系统光轴重合，即要求同心同轴，这需要精密的安装调试才能实现。导致光电经纬仪设备体积大、安装困难、成本高，一般只在靶场对远距离目标跟踪拍摄时使用。 

发明内容

针对上述现有技术存在的缺陷，本发明目的旨在结合上述两种像机外参数的获取方式，取长补短，提供一种小巧、装拆简单、便于携带、成本较低、像机外参数获取方式快速简单的经纬像机摄像测量方法及系统。 

本发明采取的具体技术方案是，一种经纬像机摄像测量方法，包括如下步骤： 

1)将像机安装于二维旋转平台之上，组成经纬像机； 

2)将经纬像机对准布置了控制点的区域，标定经纬像机的内参数及在初始位置的外参数，再标定二维旋转平台与像机之间的系统差H_tc，所述系统差包括二维旋转平台与像机之间的偏心距和角度偏差；； 

3)修正像机外参数：完成标定后，转动二维旋转平台使像机对准待测目标，根据步骤2中得到的像机与二维旋转平台间的系统差H_tc、记录下二维旋转平台的两个转动角度，即方位角和俯仰角，结合步骤2中标定的初始位 置像机的外参数，计算出像机当前位置的外参数； 

4)通过两台经纬像机对待测目标进行拍摄，基于交汇测量原理，结合前述步骤获取的像机外参数，实时计算出待测目标的绝对位姿和运动参数，实现对待测目标的三维测量。 

所述步骤2中内外参数的标定及像机与二维旋转平台间的系统差的计算步骤如下： 

(1)先在初始位置通过经纬像机对已知世界坐标的控制点成像来标定得到像机内参数和初始位置的外参数； 

(2)利用上一步中得到的像机内参数，使二维旋转平台在水平面内任意旋转不小于5°的角度，在转动后的位置处记录二维旋转平台的方位角并标定此时像机的外参数； 

(3)再根据第一步中得到的像机内参数，使二维旋转平台在铅垂面内任意旋转不小于5°的角度，在转动后的位置处记录二维旋转平台的俯仰角并标定此时像机的外参数； 

(4)根据前三步中每次标定得到的像机外参数得出每个位置上像机坐标系和世界坐标系之间的旋转平移单应矩阵H_wci；利用每次旋转的方位角和俯仰角，确定每次旋转后，二维旋转平台坐标系前后两个位置处之间的旋转平移单应矩阵H_tt；利用两次旋转得到的旋转平移单应矩阵以及两个旋转平移单应矩阵H_tt，结合公式：H_wci′＝H_tcH_ttH_wti，求解得到像机与二维旋转平台的系统差H_tc。 

作为具体实施方案，所述步骤3中像机当前位置的外参数的计算过程为：根据像机与二维旋转平台的系统差H_tc，二维旋转的方位角和俯仰角得到的旋转平移单应矩阵H_tt，以及初始位置像机外参数H_wci，根据公式：H_wci′＝H_tcH_ttH_tc ^-1H_wci，即可得到像机在当前位置的外参数H_wci′。 

相应的，本发明也提供了一种经纬像机摄像测量系统，包括由像机和二维旋转平台构成的经纬像机、网卡、路由器和三维测量PC机，其中经纬像 机经路由器和网卡接入三维测量PC机。 

为了进一步提高所述经纬像机摄像测量系统的实时性，上述网卡和路由器优选采用千兆网卡和千兆路由器。 

所述像机为非量测像机。 

本发明的设计原理和工作过程详细描述如下： 

本发明所述经纬像机是由二维旋转平台和固定于平台上的像机组成。所述经纬像机并不要求二维与像机同心同轴。二维旋转平台可以选用经纬仪，也可用其他能够提供方位和俯仰转角的仪器代替。 

在摄像测量前，由于二维旋转平台与像机不同心同轴，两者的外参数不相同，存在系统差，即两者之间存在偏心距和角度偏差。测量前首先标定此系统差，测量过程中需利用系统差修正消除安装引起的位姿偏差。具体方法是首先在易于标定场合先安装像机，将经纬像机对准容易布置控制点的区域，并标定像机，解算像机与二维旋转平台间的系统差。然后转动二维旋转平台，使像机对准待测目标并修正此时像机的外参数；接着拍摄目标图像，基于交汇测量原理实时解算目标的位置、姿态和速度等运动参数，最后传输处理结果并显示图形。 

在本发明中提出了像机与二维旋转平台间的位姿偏差的具体解算方法：调整二维旋转平台，使像机对标定架所成的像位于图像的中心区域，在此初始位置记录转角值并标定像机获得像机的外参数；使二维旋转平台在水平面内任意旋转，要求转动角度不小于5°，且标定架不超出视场，在此位置记录水平转角值并标定像机获得像机的外参数；使二维旋转平台在铅垂面内任意旋转，要求转动角度不小于5°，且标定架不超出视场，在此位置记录俯仰转角值并标定像机获得像机的外参数；根据上述二维旋转平台两次相对于初始位置的转动角度和像机三次标定的外参数，计算出像机与二维旋转平台间的系统差。 

所述二维旋转平台提供角度的方式可分为：能通过数据线实时传输给计 算机的电子传入式和人工读取方式。对于电子传入式二维旋转平台，像机固装在二维旋转平台上可对目标进行全场实时跟踪，解决了固定不动的像机视场有限的难题。如果系统差已修正，那么每一时刻像机的外参数可根据它和二维旋转平台的两个转角，对初始时刻像机外参数修正得到，这有效解决了难以安放控制点时像机无法标定的难题。 

本发明涉及的公式都为欧氏空间下的三维坐标变换，因此统一写成如下形式： 

$X_q=H_{\mathrm{pq}}{X}_p,H_{\mathrm{pq}}=\left[\begin{array}{cc}{R}_{\mathrm{pq}}& t_{\mathrm{pq}}\\ 0^T& 1\end{array}\right]---\left(1\right)$

式中X_p、X_q表示同名点在三维坐标系p、q中的规范齐次坐标，H_pa表示同名点的X_p坐标向X_q坐标变换的旋转平移单应矩阵。R_pq表示旋转矩阵；t_pq表示平移向量，为三维坐标系p的原点在三维坐标系q中的坐标值。 

各坐标系间的关系如图3所示。世界坐标系w由标定架定义。任意位置的二维旋转平台坐标系都是以其旋转中心为原点，以其主轴方向为Z轴，以在水平面内且与Z轴垂直的轴为Y轴，由右手定则确定X轴。 

像机固连在二维旋转平台的主轴上，像机坐标系以光心为原点，以光轴为Z轴，X，Y轴与图像的两坐标轴对应平行。 

将二维旋转平台的初始位置定为位置1，然后将二维旋转平台转动到下一位置定为位置2，坐标系分别用1、2下标表示。假设像机在位置1和位置2都能对标定架成像，在这两个位置分别对像机标定，像机的外参数建立了世界坐标系向像机坐标系的转换关系，如下式 

X_c1＝H_wc1X_w    (2) 

X_c2＝H_wc2X_w    (3) 

其中H_wc1为像机在位置1的外参数，H_wc2为像机在位置2的外参数。 

像机与二维旋转平台间的系统差H_tc固定不变，如下式 

X_c1＝H_tcX_t1    (4) 

X_c2＝H_tcX_t2           (5) 

二维旋转平台两个不同位置之间的相对位姿可由其提供的两个旋转角度的变化值，即方位角及俯仰角的变化值计算得出。关系式为 

X_t2＝H_ttX_t1           (6) 

其中H_tt为二维旋转的方位角和俯仰角得到的旋转平移单应矩阵。 

从式(2)和式(3)中消去X_w得到两个不同位置所定义的像机坐标系间转换关系 

X_c2＝H_wc2H_wc1 ^-1X_c1      (7) 

从式(4)和式(6)中消去X_t1得到 

X_t2＝H_ttH_tc ^-1X_c1       (8) 

将式(8)代入式(5)得 

X_c2＝H_tcH_ttH_tc ^-1X_c1     (9) 

比较式(7)和(9)，由于两式对所有空间点都成立，所以有 

H_wc2H_wc1 ^-1＝H_tcH_ttH_tc ^-1    (10) 

记为如下形式 

H_tcH_a＝H_bH_tc               (11) 

式中H_a＝H_tt，H_b＝H_wc2H_wc1 ^-1。 

由式(1)和分块对角矩阵的性质由式(11)得到旋转矩阵之间关系 

R_tcR_a＝R_bR_tc              (12) 

根据方程两边对应元素相等可写出9个方程，表示为 

(A-B)r＝0                 (13) 

式中r是由R_tc元素按行形式组成的9维矢量，A是分块对角矩阵， 

A＝diag(R_a ^T，R_a ^T，R_a ^T)，B是分块矩阵，每块为B_ij＝R_bijE_3×3。根据式(13)对A-B进行奇异值分解可线性求解R_tc。 

由式(11)得到关于平移向量t_tc的关系式 

R_tct_a+t_tc＝R_bt_tc+t_b         (14) 

二维旋转平台的相对运动只有旋转没有平移，则t_a＝0，上式变成如下形式 

(E_3×3-R_b)t_tc＝t_b        (15) 

由此可知求解t_tc与求解R_tc是独立的。 

如前所述，理论上转动一次二维旋转平台，根据转动前和转动后两个位置对像机标定获取的像机外参数和二维旋转平台提供的两个转角，可解算出像机与二维旋转平台间的系统差。但是在实际解算中发现，式(15)中的系数矩阵常常是奇异或接近奇异的，导致无解或解的误差很大。因此，利用二维旋转平台的两次转动，通过式(13)和式(15)超静定求解像机与二维旋转平台间的系统差，提高解的稳定性。须指出，两次相对运动并不要求都在同一个世界坐标系中完成。 

R_tc的自由度为3，且是单位正交矩阵，即它可由三个旋转角或者Cayley变换来表示，但不是线性的。前述部分已提到线性求解的 

不一定是单位正交阵，需要在2-范数意义下求解最逼近 

的单位正交矩阵 

即最小化目标函数 

若奇异值分解得 

则 

具体请参考相关文献(Z.Zhang.A flexible new technique for camera calibration.IEEETransactions on Pattern Analysis and Machine Intelligence，(一种新的灵活的像机标定技术，IEEE模式分析与机器智能汇刊)22(11)：1330-1334，2000.详见文中附录3。由 

得到三个旋转角作为平差优化的初值，将旋转角和平移向量共六个参数代入式(11)中进行平差优化求精。 

世界坐标系到二维旋转平台位置1坐标系的转换公式为 

X_t1＝H_wt1X_w    (17) 

将式(17)依次代入式(6)和式(5)得 

X_c2＝H_tcH_ttH_wt1X_w    (18) 

比较式(18)和式(3)，因为对所有点成立，所以有 

H_wc2＝H_tcH_ttH_wt1          (19) 

式(19)表明像机在位置2的外参数可根据像机与二维旋转平台的系统差H_tc、由二维旋转平台的两个转角得出的H_tt、二维旋转平台位置1坐标系的像机外参数H_wt1计算得到。精密光电经纬仪的像机与二维旋转平台同心同轴，像机与二维旋转平台的系统差为 

H_tc＝E_4×4            (20) 

代入式(19)得 

H_wc2＝H_ttH_wt1         (21) 

很显然，精密光电经纬仪只是本发明所述经纬仪摄像系统的一个特例。相对于精密光电经纬仪，本发明方法及系统的外参数获取公式(19)增加了像机与二维旋转平台的系统差的解算。 

H_wt1也可由下面方法得到：从式(2)和式(4)消去X_c1得： 

X_t1＝H_tc ^-1H_wc1X_w      (22) 

比较式(17)和式(22)，因为对所有点成立，所以有 

H_wt1＝H_tc ^-1H_wc1       (23) 

即为H_wt1的计算公式。 

将式(23)代入式(19) 

H_wc2＝H_tcH_ttH_tc ^-1H_wc1    (24) 

式(24)表明像机在位置2的外参数可根据像机与二维旋转平台的系统差、二维旋转平台的两个转角，对像机在位置1的外参数修正得到。 

综上所述，本发明所述经纬像机摄像测量系统及其测量方法与现有技术中的光电经纬仪对比，所具有的优点有： 

1)本发明采用的像机可以是非量测型的CCD像机，其内参数可以通过标定方法得到，相对于现有技术中必须采用量测型像机的光电经纬仪而言，具备体积小、组合简便、成本低等特点； 

2)本发明能在不满足二维旋转平台与像机间同心同轴的安装条件的情形下，也能达到准确精密的测量效果； 

3)实时性上，光电经纬仪一般是将跟踪拍摄目标的过程通过胶片或数字图像的方式记录下来，然后事后通过判读仪判读目标脱靶量，并交会得到目标位姿；而本发明是一个实时的交会测量目标的系统。 

附图说明

图1是世界坐标系O_W-X_WY_WZ_W、像机坐标系O_C-X_CY_CZ_C和图像坐标系I-xy的定义示意图； 

图2为像机与二维旋转平台固连示意图； 

图3为像机与二维旋转平台之间系统差标定过程中各坐标系的关系示意图； 

图4是本发明所述经纬像机摄像测量系统的结构示意图。 

在附图中： 

1-由像机和二维旋转平台构成的经纬像机  2-路由器  3-网卡  4-测量分机  5-测量主机  6-像机  7-二维旋转平台的主轴 

具体实施方式：

背景技术所述光电经纬仪摄像测量系统中，二维旋转平台旋转中心与摄像系统光心重合，并且其平台的两个旋转轴与摄像系统光轴垂直，即同心同轴，其采用的是量测型像机，即其像机的内参数在出厂时就通过光学检校精确已知，成本较高。 

而本实施例所述经纬像机摄像测量系统中，二维旋转平台和摄像系统并没有通过精密的装配保证二维旋转平台和像机同心同轴，且经纬像机的摄像系统采用的是非量测型像机，像机内参数事先是未知的，需要通过标定得到，因此，由于其采用的是非量测型像机，使整个系统的成本大大降低。 

所述经纬像机摄像测量系统中，像机与二维旋转平台之间系统差标定过 程中各坐标系的关系如图3所示： 

其中世界坐标系w由标定架定义。任意位置的二维旋转平台坐标系都是以其旋转中心为原点，以其主轴方向为Z轴，以在水平面内且与Z轴垂直的轴为Y轴，由右手定则确定X轴。像机6固连在二维旋转平台的主轴7上，像机坐标系以光心为原点，以光轴为Z轴，其X，Y轴与图像的两坐标轴对应平行。转动前和转动后分别用下标1，2表示。 

下述内容以传统测量方法中难以放置控制点时无法标定情形下的测量，如对空中运动目标的运动参数进行测量为例，对本发明实施方法和步骤进行详细描述： 

第一步，安装像机。 

将像机固定安装在二维旋转平台上，组合成经纬像机，进而形成如图4所示的经纬像机摄像测量系统，其包括由像机和二维旋转平台构成的经纬像机1、千兆网卡3、千兆2路由器和三维测量PC机，该三维测量PC机中包括测量分机4和测量主机5；其中经纬像机1均经千兆路由器2和千兆网卡3接入测量分机4，所述多个测量分机4一并接入测量主机5的信号输入端。本实施例中像机采用的是非量测像机。其中非量测像机与二维旋转平台没有同心同轴。安装完成后，像机对准地面上放置的标定物。可根据任务需要选择一台或多台经纬像机，如图4所示。本实施例采用两台经纬像机，以实现后续的交会测量。 

第二步，标定摄像机并解算摄像机与二维旋转平台间的系统差。 

安装完经纬像机后，对经纬像机的内外参数进行标定。经纬像机的标定属于摄像测量的范畴，有多种公知的标定方法，例如传统标定方法中的两步法，具体可参考由邱茂林、马颂德、李毅著的计算机视觉中摄像机定标综述，自动化学报的2000年1月第26卷第1期。 

像机与二维旋转平台间的系统差利用本发明提供的方法来解算。较为简单的步骤设计为： 

1)调整二维旋转平台，使像机对标定架所成的像位于图像的中心区域，在此初始位置记录转角值并标定像机获得像机的外参数； 

2)使平台在水平面内任意旋转，要求转动角度不小于5°，且标定架不超出视场。在此位置记录水平转角值并标定像机获得像机的外参数； 

3)使平台在铅垂面内任意旋转，要求转动角度不小于5°，且标定架不超出视场。在此位置记录俯仰转角值并标定像机获得像机的外参数。 

4)根据二维旋转平台两次相对于初始位置的转动角度和像机三次标定的外参数，解算像机与二维旋转平台间的位姿偏差。 

第三步，修正摄像机外参数。 

在地面上完成标定后，转动二维旋转平台使像机对准空中目标，根据像机与二维旋转平台间的位姿偏差、记录下的两个转动角度、第二步标定中初始位置像机的外参数，利用发明内容部分的公式(24)计算像机当前位置的外参数。 

第四步，拍摄目标图像并实时解算目标的绝对位姿和速度等运动参数。 

所有像机均采用连续拍摄的工作模式对目标进行拍摄。对拍摄的图像进行目标捕获、识别、跟踪锁定等处理后，实时得到目标在不同摄像机图像上的位置，并根据修正后的像机参数，实时交会解算目标的位置、姿态和速度等运动参数。 

对于大范围运动目标的实时测量，需要连续转动二维旋转平台进行目标捕获。因此，平台每一时刻的转动角度都必须已知，以进行像机外参数的实时修正。此种情况需要二维旋转平台具备转动角度的实时反馈功能。在完成第一、二步后，不断重复第三、四步，即可实现对目标的全场实时连续测量。 

当经纬像机整体移动到另一个位置后，像机内参数不变，像机外参数改变，但像机与二维旋转平台间的系统差不变，不需要进行第一步与第二步。利用全站仪等测量手段可以标定二维旋转平台的外参数。不需要再次设置控制点进行像机的标定，利用公式(19)：H_wc2＝H_tcH_ttH_wt1，可计算得到像机的外参数，与光电经纬仪类似。 

Claims (3)

1.一种经纬摄像机摄像测量方法，其特征是，包括如下步骤：

1)将摄像机安装于二维旋转平台之上，组成经纬摄像机；

2)将经纬摄像机对准布置了控制点的区域，标定经纬摄像机的内参数及在初始位置的外参数，再标定二维旋转平台与摄像机之间的系统差，所述系统差包括二维旋转平台与摄像机之间的偏心距和角度偏差；

3)修正摄像机外参数：完成标定后，转动二维旋转平台使摄像机对准待测目标，根据步骤2)中标定得到的摄像机与二维旋转平台间的系统差、记录下二维旋转平台的两个转动角度，即方位角和俯仰角，结合步骤2)中标定的初始位置摄像机的外参数，计算出摄像机在当前位置的外参数；

4)通过两台经纬摄像机对待测目标进行拍摄，基于交汇测量原理，结合前述步骤获取的摄像机在当前位置的外参数，实时计算出待测目标的绝对位姿和运动参数，实现对待测目标的三维测量。

2.根据权利要求1所述经纬摄像机摄像测量方法，其特征是，所述步骤2)中内外参数的标定及摄像机与二维旋转平台间的系统差的计算步骤如下：

(1)先在初始位置通过经纬摄像机对已知世界坐标的控制点成像来标定得到摄像机内参数和初始位置的外参数；

(2)利用上一步中得到的摄像机内参数，使二维旋转平台在水平面内任意旋转不小于5°的角度，在转动后的位置处记录二维旋转平台的方位角并标定摄像机在当前位置的外参数；

(3)再根据第一步中得到的摄像机内参数，使二维旋转平台在铅垂面内任意旋转不小于5°的角度，在转动后的位置处记录二维旋转平台的俯仰角并标定摄像机在当前位置的外参数；

(4)利用每次旋转的方位角和俯仰角，确定每次旋转后，二维旋转平台坐标系前后两个位置处之间的相对关系，并结合上三步中标定得到的三个位置处摄像机的外参数即可求解得到摄像机与二维旋转平台的系统差。

3.根据权利要求1或2所述经纬摄像机摄像测量方法，其特征是，所述步骤3)修正摄像机外参数中，摄像机当前位置的外参数的计算过程为：根据摄像机与二维旋转平台的系统差，二维旋转平台当前位置相对于初始位置转动的方位角和俯仰角，以及初始位置摄像机外参数，即可计算得到像机在当前位置的外参数。

Images