CN113739765A - 一种无额外控制点的双目协同落点测量方法 - Google Patents

Abstract

本发明属于机器视觉与摄影测量技术领域，提供一种无额外控制点的双目协同落点测量方法，首先提前对靶面进行测量，再通过规划两台相机的布设位置，使每台相机均能观测到目标区域和另一台相机，利用相机的空间位置及相机的图像坐标，建立相机的相对位姿关系模型；然后根据目标点的像素坐标和靶面信息测得目标点的位置；最后可带入目标点的测量值完成相机的标定。本发明无需额外控制点，大幅简化测量准备流程，能适应更多场景；该方法无需迭代优化，计算效率高，结果稳定。

Description

一种无额外控制点的双目协同落点测量方法

技术领域：

本发明属于机器视觉与摄影测量技术领域，具体涉及一种基于相机图像的落点测量方法。

背景技术

根据摄影测量原理，要基于双相机图像对落点坐标进行测量，应获取相机的位置及姿态信息。对搭载于无人机或转台的相机而言，相机位置或姿态将随时间变动，无法事前标定。目前主要有标定手段的标定方法可以分为：一类是基于多个控制点的标定方法，利用至少3个控制点的图像及空间坐标解算出相机位置及姿态(Wang P,Xu G,Wang Z,et al.Anefficient solution to the perspective-three-point pose problem[J].ComputerVision and Image Understanding,2018,166:81-87.)，该方法测量精度高，求解内容全面，但需要视场内有足量特征明显的控制点，对环境或测量准备工作有一定要求；另一类是利用POS系统等直接获取相机位置及姿态用于测量(Wang P,Xu G, Wang Z,et al.Anefficient solution to the perspective-three-point pose problem[J]. ComputerVision and Image Understanding,2018,166:81-87.)，在位置测量技术方面，基于RTK原理的小型定位设备已经实现量产，可以安装于无人机等小型平台，且定位精度达厘米量级，但在姿态测量技术方面，当前还无法同时满足小型化、高精度、非静置的要求，无法实现对无人机、小型转台上搭载相机的高精度标定；此外，一些新方法也被陆续提出，通过结合两类方法的优点，将部分易于获取的信息使用GPS、水平仪等设备快速测得，再基于布设的控制点解算剩余不易测量的信息(王向军，邓子贤，曹宇，等.野外大视场单相机空间坐标测量系统的快速标定[J].光学精密工程，2017,25： 1961-1967.)，但水平仪等设备仅适合获取静止相机的姿态信息，且该方法仍需一定数量的控制点进行辅助。

在一些测量环境中，待测点为目标与固定平面的交点(或目标仅在一个固定平面上运动)，我们将该平面称为靶面，该交点称为落点，此时未知量可降低一维，再利用RTK等设备获取相机空间位置信息，则无需使用额外控制点即可完成测量。

发明内容

本发明的目的是提供一种无额外控制点的双目协同落点测量方法，解决现行落点测量方法中必须布设多个控制点或使用昂贵的测量设备来获取相机姿态的技术问题

为达到上述目的，解决上述技术问题，本发明的技术方案如下：

一种无额外控制点的双目协同落点测量方法，记参与测量的两台相机分别为A、B，靶面上待测目标点为X，记X点的空间坐标为P_X(x_X,y_X,z_X)，其余目标点为P_i(x_i,y_i,z_i)，相机配备有RTK终端，能够实时输出所在位置的空间坐标，其特征在于，测量方法包括如下步骤：

步骤1、测量靶面方程f_靶面(P)＝0

步骤2、相机A和相机B内参数的获取

根据内标定法或相机出厂性能参数得到两台相机的内参数，包括相机A 的镜头焦距f、像元尺寸d、主点坐标(u₀,v₀)，相机B的镜头焦距f′、像元尺寸d′、主点坐标(u′₀,v′₀)；

步骤3、目标着靶前，将相机A、B放置于目标区域附近，保证每一台相机都能观测到靶面区域和另一台相机；

步骤4、获取并记录目标运动的影像，从中选取目标着靶时图像，记录着靶时刻RTK显示的相机坐标分别为P_A(x_A,y_A,z_A)、P_B(x_B,y_B,z_B)，相机B、X点及其余目标点在相机A图像中的像素坐标分别为(u_B,v_B)、(u_X,v_X)、(u_i,v_i)，相机 A、X点及其余目标点在相机B图像中的像素坐标分别为(u′_A,v′_A)、(u′_X,v′_X)、 (u′_i,v′_i)；

步骤5、根据相机位置信息和获取的图像计算目标空间坐标

5.1在相机A的图像坐标系中，相机A位于原点p_A(0,0,0)，相机B和X 点的像点对应空间坐标分别为p_B(u_B-u₀,v_B-v₀,f_x)、p_X(u_X-u₀,v_X-v₀,f_x)；在相机B 的图像坐标系中，相机B位于原点p′_B(0,0,0)，相机A和X点的像点对应空间坐标分别为p′_A(u′_A-u′₀,v′_A-v′₀,f′_x)、p′_X(u′_X-u′₀,v′_X-v′₀,f′_x)，其中

及

为相机的等效焦距；

5.2根据小孔成像模型，相机光心、像点、目标点3点共线，建立等式：

5.3根据几何关系，可求得点P_X到直线P_AP_B的距离h为：

且垂点的坐标P_C为：

5.4至此，已经得到关于P_X的3个方程：

求解方程可得待测目标坐标P_X。

本发明的有效收益：

1、本发明提出了一种无额外控制点的双目协同落点测量方法，该方法通过RTK获取相机的位置信息，再利用相机间互相成像的位置和目标点的图像建立相机与目标的位置关系模型，结合靶面信息完成落点测量。本发明无需额外控制点，大幅简化测量准备流程，能适应更多场景，在准备周期短或试验场地不便于布设控制点(如水面上)的情形中都可完成高精度的落点测量工作。

2、本发明无需迭代优化，计算效率高，结果稳定；

2、本发明主要使用相机和RTK设备，技术成熟、价格低廉、体积重量小，可搭载于无人机等小型平台；

3、本发明可在落点测量完成后，将落点和另一台相机看做控制点完成相机标定，继续用于对非靶面上目标点的测量。

附图说明

图1为本发明无额外控制点的双目协同落点测量方法的测量布局示意图；

图2为本发明实施例1相机结果示意图；

2(a)为相机A图像示意图；

2(b)为相机B图像示意图。

具体实施方式

下面结合附图对本发明的实现过程进行详细的解释和说明。

本发明的总体实现思路如下，首先提前对靶面进行测量，再通过规划两台相机的布设位置，使每台相机均能观测到目标区域和另一台相机，利用相机的空间位置及相机的图像坐标，建立相机的相对位姿关系模型；然后根据目标点的像素坐标和靶面信息测得目标点的位置；最后可带入目标点的测量值完成相机的标定。该方法不需要额外控制点，也不需要初始值迭代优化，可测量靶面上目标点的空间位置，同时完成相机的标定，该标定结果可用于测量其它目标点(无需位于靶面上)的空间位置。

一种无额外控制点的双目协同落点测量方法，测量布局如图1所示。

记两台相机分别为A、B，靶面上待测目标为X，记X点的空间坐标为 P_X(x_X,y_X,z_X)，其余目标点为P_i(x_i,y_i,z_i)相机配备有RTK终端，可实时输出所在位置的空间坐标。主要测量步骤如下：

步骤1、测量靶面方程

一般可使用3点法来确定任意一个平面，将RTK终端(或带RTK的相机) 依次放置于靶面上任意3个非共线点并分别记录RTK结果为P₁(x₁,y₁,z₁)、 P₂(x₂,y₂,z₂)、P₃(x₃,y₃,z₃)，3个点位可任意选取，无需标记或特殊处理，RTK终端可回收并重复使用，靶面方程如公式(1)所示：

若条件允许，也可使用测绘或读取靶标结构设计等方法获得靶面方程。

步骤2、根据内标定方法或相机出厂性能参数得到两台相机主要内参数，包括相机A的镜头焦距f、像元尺寸d、主点坐标(u₀,v₀)，相机B的镜头焦距 f′、像元尺寸d′、主点坐标(u′₀,v′₀)。

步骤3、目标着靶前，将相机A、B布设或航拍无人机悬停于目标区域附近，保证相机可观测到靶面区域和另一台相机；

即布设完成后从相机A中可以观测到靶面区域和相机B，从相机B中也可以观测到靶面区域和相机A。

此外还可以采用将相机放置于航拍无人机中，将无人机悬停于空中适合的位置，达到上述观测效果。采用无人机进行相机位置的选取，不受传统布设位置的限制，相机位置的选取会更多样灵活。

步骤4、获取并记录目标运动的影像，从中选取目标着靶时图像，记录着靶时刻RTK显示的相机坐标分别为P_A(x_A,y_A,z_A)、P_B(x_B,y_B,z_B)，相机B、X点及其余目标点在相机A图像中的像素坐标分别为(u_B,v_B)、(u_X,v_X)、(u_i,v_i)，相机 A、X点及其余目标点在相机B图像中的像素坐标分别为(u′_A,v′_A)、(u′_X,v′_X)、 (u′_i,v′_i)。

步骤5、根据相机位置信息和获取的图像计算目标空间坐标，计算流程如下：

5.1在相机A的图像坐标系中，相机A位于原点p_A(0,0,0)，相机B和X 点的像点对应空间坐标分别为p_B(u_B-u₀,v_B-v₀,f_x)、p_X(u_X-u₀,v_X-v₀,f_x)；在相机B 的图像坐标系中，相机B位于原点p′_B(0,0,0)，相机A和X点的像点对应空间坐标分别为p′_A(u′_A-u′₀,v′_A-v′₀,f′_x)、p′_X(u′_X-u′₀,v′_X-v′₀,f′_x)，其中

及

为相机的等效焦距。

5.2根据小孔成像模型，相机光心、像点、目标点3点共线，可建立等式：

5.3根据几何关系，可求得点P_X到直线P_AP_B的距离h为：

且垂点的坐标P_C为：

5.4至此，已经得到关于P_X的3个方程：

求解方程可得待测坐标P_X。

至此，详细的介绍了本发明的整体实现过程，在本发明的基础上，还可以在无控制点的情况下实现相机外参数的标定，即旋转矩阵R和平移向量T 得标定。对参与测量的每台相机而言，视场内可提取另一台相机及落点的像素坐标，且已知两台相机的空间位置和落点的空间坐标，构成一个可求解的 P2P问题，能够标定得到两台相机的外参数。

旋转矩阵对应世界坐标系到相机坐标系的旋转关系，即旋转前的矢量

与旋转后的矢量

满足：

相机A旋转前的一组归一正交向量为：

对应于旋转后的向量为：

两者满足(V′_A)^T＝R_AV_A ^T，由于V′_A、R_A、V_A均为酉矩阵，因此：

R_A＝(V′_A)^TV_A

则相机A的平移向量为：

T_A＝-R_A·P_A ^T (9)

同理，可标定出相机B的外参数R_B、T_B。

在步骤5.4的方程求解时，至多出现两组解，需使用其它约束条件进行筛选。在大部分使用情况下，相机正放且滚转角较小，可作为默认筛选条件；此外，当靶面上存在两个以上目标点时，可使用两次测量相机外参数的一致性作为筛选条件。

此外，当存在靶面外待测点时，使用步骤6获取的标定结果基于传统交会测量方法完成其余点的测量。

根据小孔成像模型，目标点的空间坐标P_i与成像坐标p_i、p′_i满足映射关系：

其中A_A和A_B分别为相机A、B的内参矩阵，可表示为：

联立两台相机的方程组，可求解P_i。

实施例1

本发明采用仿真模拟的方式进行了实施验证。在虚拟环境中，靶面方程为2x+y+6z＝90，靶面上存在一目标点(3,18,11)，靶面外存在一目标点(0,-5,50)。

目标区域附近布设有两台相机，分别固定于点(170,-280,176)和 (180,289,191)，相机光轴指向方位角(北偏西)为21°和157°，俯仰角为-11°和-15.5度，滚转角为1°和-2°。两台相机型号相同，且内参数已知，分辨率4000×2000，焦距16mm，像元尺寸4.5μm，不考虑内参数误差且认为畸变已校正。

使用RTK获取靶面上随机三个非共线点的坐标为(0.02，-0.04，15.00)、 (49.93，-10.03，-0.17)、(29.95，89.98，-10.03)，相机A的RTK定位坐标为(169.91，-280.02，175.99)，相机B的RTK定位坐标为(180.01，288.98， 191.02)，上述测量值均已考虑RTK定位带来的厘米级误差。

相机成像结果如图2所示，每台相机均可以同时看到目标点和另一台相机。

两台相机图像中各点位像素坐标真值及测量值如下表所示，当前技术水平下，像素提取精度为亚像素级，因此两者存在一定的误差。

将已知条件代入上述计算过程(步骤1、5、6)，可得到主要过程量：

测得靶面方程为：0.3156x+0.1553y+0.9361z-14.0414＝0；

距离h＝243.9795m；

垂点坐标P_C＝(175.0673,10.5244,183.6647)。

最终得到两组解：

第一组解：点X坐标P_X＝(2.82,18.14,11.04)

对应相机A外参数矩阵

等效于相机方位角20.99°，俯仰角-11.49°，滚转角度0.99°；

对应相机B外参数矩阵

等效于相机方位角156.98°，俯仰角-15.49°，滚转角-1.97度。

第二组解：点X坐标P_X＝(208.37,16.32,-57.96)

对应相机A外参数矩阵

等效于相机方位角-1.98°，俯仰角-24.63°，滚转角63.66度；

对应相机B外参数矩阵

等效于相机方位角177.39°，俯仰角-27.29°，滚转角-57.65度。

基于相机滚转角较小这一约束条件，排除第二组解，根据第一组解对应的外参数矩阵可测量点i坐标P_i＝(-0.11,-4.92,50.03)。

综上，两个目标点坐标均已求解，点X坐标和点i坐标分别为(2.82,18.14,11.04)、(-0.11，-4.92,50.03)，与两点的坐标真值(3,18,11)、 (0,-5,50)对比，误差分别为0.23m和0.14m。在该实施案例350m～400m的长布设距离和58.72°×31.42°的大视场角测量条件下，已达到了较高的精度。

Claims (9)

1.一种无额外控制点的双目协同落点测量方法，记参与测量的两台相机分别为A、B，靶面上待测目标点为X，记X点的空间坐标为P_X(x_X,y_X,z_X)，其余目标点为P_i(x_i,y_i,z_i)相机配备有RTK终端，能够实时输出所在位置的空间坐标，其特征在于，测量方法包括如下步骤：

步骤1、测量靶面方程f_靶面(P)＝0

步骤2、相机A和相机B内参数的获取

根据内标定法或相机出厂性能参数得到两台相机的内参数，包括相机A的镜头焦距f、像元尺寸d、主点坐标(u₀,v₀)，相机B的镜头焦距f′、像元尺寸d′、主点坐标(u′₀,v′₀)；

步骤3、目标着靶前，将相机A、B放置于目标区域附近，保证每一台相机都能观测到靶面区域和另一台相机；

步骤4、获取并记录目标运动的影像，从中选取目标着靶时图像，记录着靶时刻RTK显示的相机坐标分别为P_A(x_A,y_A,z_A)、P_B(x_B,y_B,z_B)，相机B、X点及其余目标点在相机A图像中的像素坐标分别为(u_B,v_B)、(u_X,v_X)、(u_i,v_i)，相机A、X点及其余目标点在相机B图像中的像素坐标分别为(u′_A,v′_A)、(u′_X,v′_X)、(u′_i,v′_i)；

步骤5、根据相机位置信息和获取的图像计算目标空间坐标

5.1在相机A的图像坐标系中，相机A位于原点p_A(0,0,0)，相机B和X点的像点对应空间坐标分别为p_B(u_B-u₀,v_B-v₀,f_x)、p_X(u_X-u₀,v_X-v₀,f_x)；在相机B的图像坐标系中，相机B位于原点p′_B(0,0,0)，相机A和X点的像点对应空间坐标分别为p′_A(u′_A-u′₀,v′_A-v′₀,f′_x)、p′_X(u′_X-u′₀,v′_X-v′₀,f′_x)，其中

及

为相机的等效焦距；

5.2根据小孔成像模型，相机光心、像点、目标点3点共线，建立等式：

5.3根据几何关系，可求得点P_X到直线P_AP_B的距离h为：

且垂点的坐标P_C为：

5.4至此，已经得到关于P_X的3个方程：

求解方程得到待测目标坐标P_X。

2.根据权利要求1所述的一种无额外控制点的双目协同落点测量方法，其特征在于，所述步骤1采用下述方法测量靶面方程，使用3点法来确定任意一个平面，将RTK终端或带RTK的相机依次放置于靶面上任意3个非共线点并分别记录RTK结果为P₁(x₁,y₁,z₁)、P₂(x₂,y₂,z₂)、P₃(x₃,y₃,z₃)；

3个点位任意选取，无需标记或特殊处理，RTK终端能够回收并重复使用。

3.根据权利要求1所述的一种无额外控制点的双目协同落点测量方法，其特征在于，所述步骤1采用测绘或读取靶标结构设计等方法获得靶面方程。

4.根据权利要求1所述的一种无额外控制点的双目协同落点测量方法，其特征在于，将相机A、B放置于航拍无人机上，航拍无人机悬停于合适的位置以达到步骤2所述的观测位置。

5.根据权利要求1所述的一种无额外控制点的双目协同落点测量方法，其特征在于，参与测量的两台相机A、B，已知两台相机的空间位置和待测目标的空间坐标后，作为P2P问题能够标定两台相机的外参数。

6.根据权利要求5所述的一种无额外控制点的双目协同落点测量方法，其特征在于，所述相机的外参数标定过程如下，旋转矩阵对应世界坐标系到相机坐标系的旋转关系，即旋转前的矢量

与旋转后的矢量

满足：

相机A旋转前的一组归一正交向量为：

对应于旋转后的向量为：

两者满足(V′_A)^T＝R_AV_A ^T，由于V′_A、R_A、V_A均为酉矩阵，因此：

R_A＝(V′_A)^TV_A (9)

则相机A的平移向量为：

T_A＝-R_A·P_A ^T (10)

同理，可标定出相机B的外参数R_B、T_B。

7.根据权利要求1所述的一种无额外控制点的双目协同落点测量方法，其特征在于，所述步骤5.4的方程求解出现多解时，若相机正放且滚转角较小，作为默认筛选条件；若靶面上存在两个以上目标点，则使用两次测量相机外参数的一致性作为筛选条件。

8.根据权利要求7所述的一种无额外控制点的双目协同落点测量方法，其特征在于，若存在靶面外待测点时，基于相机外参数的标定结果采用传统交会测量的方法完成其余点的测量。

9.根据权利要求8所述的一种无额外控制点的双目协同落点测量方法，其特征在于，所述余点的测量过程如下：

根据小孔成像模型，目标点的空间坐标P_i与成像坐标p_i、p′_i满足映射关系：

其中A_A和A_B分别为相机A、B的内参矩阵，可表示为：

联立两台相机的方程组，可求解P_i。

Images