CN106289184A - 一种无gnss信号和无控制点下无人机协同视觉形变监测方法 - Google Patents

Abstract

本发明公开了一种无GNSS信号和无控制点下无人机协同视觉形变监测方法，首先，在协同无人机A和形变监测点设置上设置靶标A作为识别的标识点，将无人机A置于悬停状态，在作业时使用无人机A对监测点进行拍摄，得到包含监测点的立体像对，获取监测点在图像中的位置；使用无人机B对无人机A进行立体像对获取，获取无人机A的靶标A在图像中的位置；求取无人机A的空间坐标；根据解算得到的无人机A位置以及姿态信息解算出监测点的空间位置，最终完成监测任务。本发明与传统的GNSS监测技术相比可以有效克服局部建筑遮挡造成无法接收定位信号从而不能有效定位的问题，而且与传统的摄影测量相比，不仅采用倾斜摄影技术而且不需要地面控制点。

Description

一种无GNSS信号和无控制点下无人机协同视觉形变监测方法

技术背景

GNSS（Global Navigation Satellite System）全球导航卫星定位技术由于历史悠久、自动化采集、动态测量等良好特性，在现阶段的形变监测中得到了最为广泛的应用。然而，对受遮挡区域的监测点进行形变监测时，例如桥背以及桥墩内侧，由于卫星信号被遮挡，导致定位系统难以准确定位，或根本无法定位。从而无法完成监测点的正常的形变监测。若采用传统的摄影测量技术虽然不需要GNSS仍然可以完成监测，但需要地面控制点，无疑增大了劳动成本，降低了自动化效率。

发明内容

为了解决上述技术问题，因此，本发明提出了一种基于无人机协同与倾斜摄影测量的形变监测方法，可以对卫星信号受遮挡的且无地面控制的区域进行快速自动形变监测。

本发明所采用的技术方案是：一种无GNSS信号和无控制点下无人机协同视觉形变监测方法，其特征在于，包括以下步骤：

步骤1：在协同无人机A上设置靶标A作为识别的标识点，并量测出标靶A中心点与无人机A的机载相机摄影中心的坐标平移向量相对几何关系；

步骤2：在形变监测点设置与步骤1同样的靶标B，并确保靶标B与形变监测点位置不会发生相对位移；

步骤3：无人机A置于悬停状态，在作业时使用无人机A对监测点进行拍摄，得到包含监测点的立体像对，获取监测点在图像中的位置；

步骤4：使用无人机B对无人机A进行立体像对获取，获取无人机A的靶标在图像中的位置；

步骤5：根据无人机B的位置与姿态信息、无人机B对无人A拍摄得到的立体像对，求得无人机A的空间坐标；

步骤6：根据解算得到的无人机A位置以及姿态信息，结合无人机A针对形变监测点获取的立体像对，解算出监测点的空间位置，最终完成监测任务。

作为优选，步骤4中，无人机B在可接收定位信号的区域以直线飞行轨迹对无人机A进行连续拍摄，在拍摄时同时记录无人机B的相机姿态以及位置，其中姿态由IMU获得，位置由GNSS获得。

作为优选，步骤4中所述获取无人机A的靶标在图像中的位置，具体的识别过程为在图像中使用Hough圆检测算法检测出圆形的区域，并在圆形范围内采用Hough线段检测，若圆形区域内检测出存在两条相交的线段，则确认该区域为标志点，且交点为无人机A的靶标中心在图像中的位置。

作为优选，步骤5的具体实现包括以下子步骤：

步骤5.1：构建像空间坐标系和像空间辅助坐标系；

像空间坐标系为以摄影中心为坐标原点，Z轴垂直于像平面的右手空间直角坐标系；像空间辅助坐标系为以原点为投影中心，X，Y，Z轴平行于地面摄影坐标轴的空间右手直角坐标系；

步骤5.2：设步骤4中无人机B对无人机A拍摄第i幅图像时，无人机B的相机在空间辅助坐标系中的坐标为(X_i，Y_i，Z_i)，像空间坐标系在空间辅助坐标系中绕空间直角坐标系自带三个轴（X’，Y’，Z’）所旋转的角度为ω_i、k_i，摄影中心坐标为(X_si,Y_si,Z_si)；无人机B在像空间坐标系的位置为(x_i－x₀，y_i－y₀，-f)，其中f为摄影中心到成像中心的距离，x₀、y₀分别为像主点在像平面坐标系中横纵轴坐标；求得无人机A靶标在无人机B拍摄的立体像对中的位置后，将求解得到的人机A靶标在辅助空间坐标系中的坐标加上平移向量便得到了最终的无人机A所在位置。

作为优选，步骤5.2中所述求解得到的无人机A靶标在辅助空间坐标系中的坐标，其具体实现过程是：

以双目视觉为例，根据共线方程可列出四个线性方程式：

$\left\{\begin{array}{c}{l}_{11}X+l_{12}Y+l_{13}Z-l_{1x}=0\\ l_{14}X+l_{15}Y+l_{16}Z-l_{1y}=0\\ l_{21}X+l_{22}Y+l_{23}Z-l_{2x}=0\\ l_{24}X+l_{25}Y+l_{26}Z-l_{2y}=0\end{array}\right.---\left(1\right)$

其中：

$\begin{array}{c}{l}_{i1}={\mathrm{fa}}_{i1}+(x_i-x_0)a_{i3},l_{i2}={\mathrm{fb}}_{i1}+(x_i-x_0)a_{b3},l_{i3}={\mathrm{fc}}_{i1}+(x_i-x_0)a_{c3}\\ l_{ix}={\mathrm{fa}}_{i1}{X}_{Si}+{\mathrm{fb}}_{i1}{Y}_{Si}+{\mathrm{fc}}_{i1}{Z}_{is}+(x_i-x_0)a_{i3}{X}_{iS}+(x-x_0)b_3{Y}_{iS}+(x-x_0)c_3{Z}_{iS}\\ l_{i4}={\mathrm{fa}}_{i2}+(y_i-y_0)a_3,l_5={\mathrm{fb}}_2+(y_i-y_0)b_{i3},l_6={\mathrm{fc}}_{i2}+(y_i-y_0)c_{i3}\\ l_{iy}={\mathrm{fa}}_{i2}{X}_{iS}+{\mathrm{fb}}_{i2}{Y}_{Si}+{\mathrm{fc}}_2{Z}_{Si}+(y_i-y_0)a_{i3}{X}_{si}+(y_i-y_0)b_3{Y}_{Si}+(y_i-y_0)c_3{Z}_{Si}\end{array}---\left(2\right)$

式中i表示其为第i幅图像中的参数；已知每幅图像拍摄瞬间，IMU所记录的旋转角度为ω，k_i,式2中的a_ij，b_ij可分别按下式求得；

式1可写为矩阵形式：

$\left[\begin{array}{ccc}{l}_{11}& l_{12}& l_{12}\\ l_{14}& l_{15}& l_{16}\\ l_{21}& l_{22}& l_{23}\\ l_{24}& l_{25}& l_{25}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{l}_{1x}\\ l_{1y}\\ l_{2x}\\ l_{2y}\end{array}\right]$

若将式4简写成：AB=C，则无人机A靶标在辅助空间坐标系中的坐标可由加权最小二乘方法解得，即：

[X Y Z]^T=(A^TPA)^-1A^TPC (5)

其中P为权矩阵，采用选权迭代法之验后方差估计法改善平差精度。

作为优选，步骤6的具体实现包括以下子步骤：

步骤6.1：使用无人机A对监测点位置的靶标B进行拍摄，拍摄过程中通过IMU模块直接获得拍摄瞬间的相机姿态(ω,k)；

步骤6.2：通过步骤4中所述获取无人机A的靶标在图像中的位置方法后，可得到监测点在立体像对中的两个坐标(x_a,y_a),(x_b,y_b)；

步骤6.3：利用步骤5的原理计算监测点的空间位置。

作为优选，对形变监测点进行了多次拍摄，使用无控制点自检校光束法平差方法，通过冗余观测进一步改善形变点的测量精度。

作为优选，将监测点的空间坐标与历史坐标序列比较，得出监测点位置变化情况。

相对现有技术，本发明的有益效果是：可以有效克服局部建筑遮挡造成无法接收定位信号从而不能有效定位的问题，而且与传统的摄影测量相比，不仅采用倾斜摄影技术而且不需要地面控制点。

附图说明

图1：本发明实施例的标靶示意图；

图2：本发明实施例的监测过程示意图；

图3：本发明实施例的像空间坐标系（x-y-z）与辅助空间坐标系(n-v-u)示意图；图4：本发明实施例的定基线双目视觉模块示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明的目的在于提供一种局部区域监测点定位信号受到遮蔽时，基于多台（两台或大于两台）无人机协同定位进行监测点位置测量的方法。即，通过无遮挡区域的无人机协同解算出遮挡区域无人机机身的标志点坐标；再通过检校技术获得的相对关系将机身的标志点坐标转换为机载摄像机的坐标；并结合惯性测量装置（IMU，Inertial MeasurementUnit）获得的相机姿态，可以获得倾斜摄影测量所需的外方位元素；最后通过摄影测量的技术定位监测点的绝对坐标，从而实现形变监测。

请见图1、图2、图3和图4，本发明提供的一种无GNSS信号和无控制点下无人机协同视觉形变监测方法，包括以下步骤：

步骤1：在无人机A机身放置一个标靶A（注：也可用声波发射器替代靶标，在辅助无人机上装置声波接收器）作为识别的标识点，并量测出标靶中心点与机载相机摄影中心的相对几何关系。标靶如图1所示，标靶图像可由一个圆和两条相交的线段组成。

步骤2：在形变监测点放置与步骤1同样的靶标B，并确保靶标B与监测位置不会发生相对位移。

步骤3：作业无人机进行监测点位置测量而无法有效接收GNSS定位信号，此时将作业无人机A置于悬停状态，另一台无人机B协同在可接收定位信号的区域以直线飞行轨迹对作业无人机进行连续拍摄（图2）（若有多无人机协同，则可进行编队并同时对作业无人机进行同步拍摄），在飞行过程中需要进行至少两次有效拍摄，为提升测量精度，可采用多基线摄影测量（多目视觉）技术，通过增大摄影基线，保证最大交会角在90°附近，在拍摄时同时记录相机的姿态以及位置，其中姿态由IMU获得，位置由GNSS获得（辅助协同的无人机处于有信号位置）。

步骤4：在拍摄的每一幅图像中识别出无人机A机身标靶的位置，具体的识别过程为：在图像中使用Hough圆检测算法检测出圆形的区域，并在圆形范围内采用Hough线段检测，若圆形区域内检测出存在两条相交的线段，则确认该区域为标志点，且交点为无人机A的靶标中心在图像中的位置。

步骤5：解算作业无人机位置。

步骤5.1：构建像空间坐标系和像空间辅助坐标系；

像空间坐标系为以摄影中心为坐标原点，Z轴垂直于像平面的右手空间直角坐标系；像空间辅助坐标系为以原点为投影中心，X，Y，Z轴平行于地面摄影坐标轴的空间右手直角坐标系；

步骤5.2：设步骤4中无人机B对无人机A拍摄第i幅图像时，无人机B的相机在空间辅助坐标系（图3）中的坐标为(X_i，Y_i，Z_i)，像空间坐标系（图3）在空间辅助坐标系中绕空间直角坐标系自带三个轴（X’，Y’，Z’）所旋转的角度为ω_i、k_i，摄影中心坐标为(X_si,Y_si,Z_si)；无人机B在像空间坐标系的位置为(x_i－x₀，y_i－y₀，-f)，其中f为摄影中心到成像中心的距离，x₀、y₀分别为像主点在像平面坐标系中横纵轴坐标，以上参数可以通过出厂说明或者相机检校获得；求得无人机A靶标在无人机B拍摄的立体像对中的位置后，将求解得到的人机A靶标在辅助空间坐标系中的坐标加上平移向量便得到了最终的无人机A所在位置。

以双目视觉为例（多目视觉多添加对应方程即可），根据共线方程可列出四个线性方程式：

$\left\{\begin{array}{c}{l}_{11}X+l_{12}Y+l_{13}Z-l_{1x}=0\\ l_{14}X+l_{15}Y+l_{16}Z-l_{1y}=0\\ l_{21}X+l_{22}Y+l_{23}Z-l_{2x}=0\\ l_{24}X+l_{25}Y+l_{26}Z-l_{2y}=0\end{array}\right.---\left(1\right)$

其中：

$\begin{array}{c}{l}_{i1}={\mathrm{fa}}_{i1}+(x_i-x_0)a_{i3},l_{i2}={\mathrm{fb}}_{i1}+(x_i-x_0)a_{b3},l_{i3}={\mathrm{fc}}_{i1}+(x_i-x_0)a_{c3}\\ l_{ix}={\mathrm{fa}}_{i1}{X}_{Si}+{\mathrm{fb}}_{i1}{Y}_{Si}+{\mathrm{fc}}_{i1}{Z}_{is}+(x_i-x_0)a_{i3}{X}_{iS}+(x-x_0)b_3{Y}_{iS}+(x-x_0)c_3{Z}_{iS}\\ l_{i4}={\mathrm{fa}}_{i2}+(y_i-y_0)a_3,l_5={\mathrm{fb}}_2+(y_i-y_0)b_{i3},l_6={\mathrm{fc}}_{i2}+(y_i-y_0)c_{i3}\\ l_{iy}={\mathrm{fa}}_{i2}{X}_{iS}+{\mathrm{fb}}_{i2}{Y}_{Si}+{\mathrm{fc}}_2{Z}_{Si}+(y_i-y_0)a_{i3}{X}_{si}+(y_i-y_0)b_3{Y}_{Si}+(y_i-y_0)c_3{Z}_{Si}\end{array}---\left(2\right)$

式中i表示其为第i幅图像中的参数。已知每幅图像拍摄瞬间，IMU所记录的旋转角度为ω_i，k_i,式2中的a_ij，b_ij可分别按下式求得。

式1可写为矩阵形式：

$\left[\begin{array}{ccc}{l}_{11}& l_{12}& l_{12}\\ l_{14}& l_{15}& l_{16}\\ l_{21}& l_{22}& l_{23}\\ l_{24}& l_{25}& l_{25}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{l}_{1x}\\ l_{1y}\\ l_{2x}\\ l_{2y}\end{array}\right]$

若将式4简写成：AB=C，则无人机A靶标在辅助空间坐标系中的坐标可由加权最小二乘方法解得，即：

[X Y Z]^T=(A^TPA)^-1A^TPC (5)

其中P为权矩阵，采用选权迭代法之验后方差估计法改善平差精度。由于知道靶标与相机的平移向量，将求解得到的标志点在辅助空间坐标系中的坐标加上平移向量便得到了最终的无人机相机所在位置（外方位线元素）。

步骤6：解算监测点的空间坐标。通过上述步骤，得到了拍摄瞬间无人机机载相机摄影中心的三维空间坐标，只要解算出待监测点与无人机的几何关系，就可获得监测点的空间三维坐标。使用多目视觉原理，监测点的空间坐标仍可根据立体相对的空间前方交会求得，具体解算方法如下：

步骤6.1：使用无人机A携带的定基线双目（或多目）视觉模块（图4）对监测点位置的靶标进行拍摄，由于IMU模块与两个相机同轴，可以直接获得拍摄瞬间的相机姿态(ω,k)。在无人机B的辅助下已求得作业无人机A的位置信息，即立体像对的内外方位均已知。

步骤6.2：通过步骤4中所述获取无人机A的靶标在图像中的位置方法后，可得到监测点在立体像对中的两个坐标(x_a,y_a),(x_b,y_b)。

步骤6.3：计算监测点的空间位置，具体步骤如下：

步骤6.3.1：根据监测点在立体像对中的同名关系，可列出式(4)的矩阵等式。

步骤6.3.2：由于立体像对各自的外方位元素与内方位元素已知，可按式(2)与式(3)解算出系数矩阵A以及因变量矩阵C。最终通过式5的最小二乘解法求得监测点空间坐标。

步骤6.4：若对形变点进行了多次拍摄，还可以使用无控制点自检校光束法平差技术，通过冗余观测进一步改善形变点的测量精度。

步骤7：将监测点的空间坐标与历史坐标序列比较，得出监测点位置变化情况。

以上内容是结合某一实施方案（双目视觉测量协同定位）对本发明所做的进一步详细说明，不能认定本发明的具体实施只限于这些说明（例如，采用多目，声波，激光等其它手段）。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的情况下，在细节上进行各种修改，都应当视为属于本发明的保护范围。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种无GNSS信号和无控制点下无人机协同视觉形变监测方法，其特征在于，包括以下步骤：

步骤1：在协同无人机A上设置靶标A作为识别的标识点，并量测出标靶A中心点与无人机A的机载相机摄影中心的坐标平移向量相对几何关系；

步骤2：在形变监测点设置与步骤1同样的靶标B，并确保靶标B与形变监测点位置不会发生相对位移；

步骤3：无人机A置于悬停状态，在作业时使用无人机A对监测点进行拍摄，得到包含监测点的立体像对，获取监测点在图像中的位置；

步骤4：使用无人机B对无人机A进行立体像对获取，获取无人机A的靶标在图像中的位置；

步骤5：根据无人机B的位置与姿态信息、无人机B对无人A拍摄得到的立体像对，求得无人机A的空间坐标；

步骤6：根据解算得到的无人机A位置以及姿态信息，结合无人机A针对形变监测点获取的立体像对，解算出监测点的空间位置，最终完成监测任务。

2.根据权利要求1所述的无GNSS信号和无控制点下无人机协同视觉形变监测方法，其特征在于：步骤4中，无人机B在可接收定位信号的区域以直线飞行轨迹对无人机A进行连续拍摄，在拍摄时同时记录无人机B的相机姿态以及位置，其中姿态由IMU获得，位置由GNSS获得。

3.根据权利要求1所述的无GNSS信号和无控制点下无人机协同视觉形变监测方法，其特征在于：步骤4中所述获取无人机A的靶标在图像中的位置，具体的识别过程为在图像中使用Hough圆检测算法检测出圆形的区域，并在圆形范围内采用Hough线段检测，若圆形区域内检测出存在两条相交的线段，则确认该区域为标志点，且交点为无人机A的靶标中心在图像中的位置。

4.根据权利要求1所述的无GNSS信号和无控制点下无人机协同视觉形变监测方法，其特征在于，步骤5的具体实现包括以下子步骤：

步骤5.1：构建像空间坐标系和像空间辅助坐标系；

像空间坐标系为以摄影中心为坐标原点，Z轴垂直于像平面的右手空间直角坐标系；像空间辅助坐标系为以原点为投影中心，X，Y，Z轴平行于地面摄影坐标轴的空间右手直角坐标系；

步骤5.2：设步骤4中无人机B对无人机A拍摄第i幅图像时，无人机B的相机在空间辅助坐标系中的坐标为(X_i，Y_i，Z_i)，像空间坐标系在空间辅助坐标系中绕空间直角坐标系自带三个轴(X’，Y’，Z’)所旋转的角度为ω_i、k_i，摄影中心坐标为(X_si,Y_si,Z_si)；无人机B在像空间坐标系的位置为(x_i－x₀，y_i－y₀，-f)，其中f为摄影中心到成像中心的距离，x₀、y₀分别为像主点在像平面坐标系中横纵轴坐标；求得无人机A靶标在无人机B拍摄的立体像对中的位置后，将求解得到的人机A靶标在辅助空间坐标系中的坐标加上平移向量便得到了最终的无人机A所在位置。

5.根据权利要求4所述的无GNSS信号和无控制点下无人机协同视觉形变监测方法，其特征在于，步骤5.2中所述求解得到的无人机A靶标在辅助空间坐标系中的坐标，其具体实现过程是：

以双目视觉为例，根据共线方程可列出四个线性方程式：

$\left\{\begin{array}{c}{l}_{11}X+l_{12}Y+l_{13}Z-l_{1x}=0\\ l_{14}X+l_{15}Y+l_{16}Z-l_{1y}=0\\ l_{21}X+l_{22}Y+l_{23}Z-l_{2x}=0\\ l_{24}X+l_{25}Y+l_{26}Z-l_{2y}=0\end{array}\right.---\left(1\right)$

其中：

$\begin{array}{c}{l}_{i1}={\mathrm{fa}}_{i1}+(x_i-x_0)a_{i3},l_{i2}={\mathrm{fb}}_{i1}+(x_i-x_0)a_{b3},l_{i3}={\mathrm{fc}}_{i1}+(x_i-x_0)a_{c3}\\ l_{ix}={\mathrm{fa}}_{i1}{X}_{Si}+{\mathrm{fb}}_{i1}{Y}_{Si}+{\mathrm{fc}}_{i1}{Z}_{is}+(x_i-x_0)a_{i3}{X}_{iS}+(x-x_0)b_3{Y}_{iS}+(x-x_0)c_3{Z}_{iS}\\ l_{i4}={\mathrm{fa}}_{i2}+(y_i-y_0)a_3,l_5={\mathrm{fb}}_2+(y_i-y_0)b_{i3},l_6={\mathrm{fc}}_{i2}+(y_i-y_0)a_{i3}\\ l_{iy}={\mathrm{fa}}_{i2}{X}_{iS}+{\mathrm{fb}}_{i2}{Y}_{Si}+{\mathrm{fc}}_2{Z}_{Si}+(y_i-y_0)a_{i3}{X}_{si}+(y_i-y_0)b_3{Y}_{Si}+(y_i-y_0)c_3{Z}_{Si}\end{array}---\left(2\right)$

式中i表示其为第i幅图像中的参数；已知每幅图像拍摄瞬间，IMU所记录的旋转角度为ω_i，k_i,式2中的a_ij，b_ij可分别按下式求得；

式1可写为矩阵形式：

若将式4简写成：AB＝C，则无人机A靶标在辅助空间坐标系中的坐标可由加权最小二乘方法解得，即：

[X Y Z]^T＝(A^TPA)^-1A^TPC (5)

其中P为权矩阵，采用选权迭代法之验后方差估计法改善平差精度。

6.根据权利要求1所述的无GNSS信号和无控制点下无人机协同视觉形变监测方法，其特征在于，步骤6的具体实现包括以下子步骤：

步骤6.1：使用无人机A对监测点位置的靶标B进行拍摄，拍摄过程中通过IMU模块直接获得拍摄瞬间的相机姿态

步骤6.2：通过步骤4中所述获取无人机A的靶标在图像中的位置方法后，可得到监测点在立体像对中的两个坐标(x_a,y_a),(x_b,y_b)；

步骤6.3：利用步骤5的原理计算监测点的空间位置。

7.根据权利要求1-6任意一项所述的无GNSS信号和无控制点下无人机协同视觉形变监测方法：对形变监测点进行了多次拍摄，使用无控制点自检校光束法平差方法，通过冗余观测进一步改善形变点的测量精度。

8.根据权利要求1-6任意一项所述的无GNSS信号和无控制点下无人机协同视觉形变监测方法：将监测点的空间坐标与历史坐标序列比较，得出监测点位置变化情况。