CN111412898B - 基于地空耦合的大区域变形摄影测量方法 - Google Patents

Abstract

本发明公开了一种基于地空耦合的大区域变形摄影测量方法，包括如下步骤：建立无人机机载视觉探测系统和地面双目视觉系统，其中，无人机机载视觉探测系统包括机载相机，地面双目视觉系统包括多架作为定位点的双目相机；对双目相机进行共面线校准；无人机启动巡航飞行，开启无人机机载视觉探测系统，通过无人机机载相机拍摄双目相机；开启地面双目视觉系统，双目相机耦合定位；利用双目相机对飞行中的无人机进行联合追踪，并进行几何校准以修正无人机的飞行位置；机载视觉探测系统获得被测区域的图像，并将图像回传给地面控制中心；以及地面控制中心将机载视觉探测系统回传的图像进行算法处理，从而获得被测区域的地面变形监测结果。

Description

基于地空耦合的大区域变形摄影测量方法

技术领域

本发明是关于非接触工程监测与摄影测量技术领域，特别是关于一种基于地空耦合的大区域变形摄影测量方法。

背景技术

随着通信技术的发展，单一的通信手段已经不能满足用户的需求。然而，传统的测量设备及安装方式不仅成本高，且难以满足大区域内的地面变形、山体滑坡及已有大型建筑体的变形测量需求。另外，考虑到机载雷达成本、区域内面扫控制难度、飞行定位精度及成像精度，采用雷达探测技术并不是最有选择。

随着非接触测量与摄影测量技术的发展以及视觉成像处理算法的飞速提升，需要寻找在低成本监测投入前提下，寻求对大区域范围的内目标物体进行状态追踪与变化分析的解决方案。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种基于地空耦合的大区域变形摄影测量方法，其通过耦合定位的方式减少了机载视觉探测系统的测量误差。

为实现上述目的，本发明提供了一种基于地空耦合的大区域变形摄影测量方法，包括如下步骤：建立无人机机载视觉探测系统和地面双目视觉系统，其中，无人机机载视觉探测系统包括机载相机，地面双目视觉系统包括多架作为定位点的双目相机；对双目相机进行共面线校准；无人机启动巡航飞行，开启无人机机载视觉探测系统，通过无人机机载相机拍摄双目相机；开启地面双目视觉系统，双目相机耦合定位；利用双目相机对飞行中的无人机进行联合追踪，并进行几何校准以修正无人机的飞行位置；机载视觉探测系统获得被测区域的图像，并将图像回传给地面控制中心；以及地面控制中心将机载视觉探测系统回传的图像进行算法处理，从而获得被测区域的地面变形监测结果。

在本发明的一实施方式中，地面双目视觉系统包括三架作为定位点的双目相机，三架双目相机位于地面不同的位置，其相对海拔高度和相对位置通过三架双目相机构成的视觉测量链进行解耦计算，并通过相互定位及地面相机的立体校正反馈出地面基准的空间信息。

在本发明的一实施方式中，每架双目相机由两个内参相同的摄像机平行安装，以拍摄空中处于飞行的、且飞行位置与高度发生变化的无人机。

在本发明的一实施方式中，三架双目相机为三角形布局，双目相机的相互距离及其形成的三角形布局是通过测量机器人实现的，通过测量双目相机的相互距离形成无人机飞行测量的地面标志及尺寸。

在本发明的一实施方式中，无人机机载视觉探测系统还包括GPS定位系统、飞行控制系统、飞行执行系统和视觉监测云台。

在本发明的一实施方式中，无人机巡航飞行前无需设置飞行轨迹，机载相机加载于视觉监测云台，在机载相机视野范围内拍摄到双目相机则表示已到达或者接近待测区域。

在本发明的一实施方式中，机载相机为变焦相机，其能够根据地面标志物体的距离自动进行调整以获取清晰的图像数据，飞行控制系统的数据反馈于地面控制中心，数据包括飞行速度、飞行高度、飞行姿态及相机倾角。

在本发明的一实施方式中，GPS定位系统获得的GPS定位数据与飞行控制系统及视觉图像采集系统耦合，使得机载相机的拍摄角度及焦距与地面双目视觉系统联动与调整，以实现无人机机载视觉探测系统面对大区域测量拍摄时的镜头几何失真问题的校正，根据机载相机拍摄地面所处的角度不同而引起的分辨率变化进行校正标定，并作为计算地面变形的输入参量。

在本发明的一实施方式中，地面控制中心将机载视觉探测系统回传的图像进行算法处理包括如下步骤：对机载视觉探测系统回传的图像进行特征点提取、特征点匹配、筛选好的匹配点、透视变换、图像匹配、图像拼接与融合、消除裂缝与边界，最终在被拼接的图像中选择待测区域，并分析其随时间的变化。

与现有技术相比，根据本发明的基于地空耦合的大区域变形摄影测量方法具有如下优点：本发明通过无人机机载视觉探测系统与地面双目视觉系统联动，机载视觉系统获得可视范围内被测区域的图像并回传给地面控制系统，地面三架双目探测系统用来协同测量以定位机载视觉探测系统，提高飞控可视系统的测量精度。本发明的方法能够通过耦合定位的方式减少机载视觉探测系统的测量误差，同时也适合于可视区域内的大型物体的位置和速度测量，可在低空区域替代机载雷达的大区域探测方式，在测量精度和设备成本上成为更好的选择。

附图说明

图1是根据本发明一实施方式的无人机机载视觉探测系统与地面双目视觉系统空间布置示意图；

图2是根据本发明一实施方式的基于地空耦合的大区域变形摄影测量方法流程图；

图3是根据本发明一实施方式的基于地空耦合大区域变形摄影测量方法的原理框图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

如图1所示，本发明的基于地空耦合的大区域变形摄影测量方法利用无人机101、无人机机载视觉探测系统、地面双目视觉系统102以及地面控制中心构成的监测系统，本发明提供的无人机机载视觉探测系统、地面双目探测系统及地面控制中心的算法处理可统一整合至一个系统，也可分别处理，且机载图像系统与地面双目视觉系统联动，通过地面视觉系统定位误差修正算法、机载图像拼接与误差消除算法降低系统测量误差。本发明涉及的所有相机在作为本监测系统的“光学传感器”之前都经过校准。

如图2所示，根据本发明优选实施方式的基于地空耦合的大区域变形摄影测量方法，包括如下步骤：步骤201：建立无人机机载视觉探测系统和地面双目视觉系统，其中，无人机机载视觉探测系统包括机载相机，地面双目视觉系统包括多架作为定位点的双目相机；步骤202：对所有双目相机进行共面线校准；步骤203：无人机启动巡航飞行，开启无人机机载视觉探测系统，通过无人机机载相机拍摄双目相机；步骤204：开启地面双目视觉系统，双目相机耦合定位；步骤205：利用双目相机对飞行中的无人机进行联合追踪，并进行几何校准以修正无人机的飞行位置；步骤206：机载视觉探测系统获得被测区域的图像，并将图像回传给地面控制中心；以及步骤207：地面控制中心将机载视觉探测系统回传的图像进行算法处理，从而获得被测区域的地面变形监测结果。

在本发明的一实施方式中，如图1所示，地面双目视觉系统102包括三架作为定位点的双目相机，三架双目相机位于地面不同的位置，每架双目相机由两个内参相同的摄像机平行安装，以拍摄空中处于飞行的、且飞行位置与高度发生变化的无人机101。

在本发明的一实施方式中，如图1-3所示，地面三架双目相机为三角形布局，双目相机的相互距离及其形成的三角形布局是通过测量机器人实现的，通过测量双目相机的相互距离形成无人机飞行测量的地面标志及尺寸。并且通过双目相机在机载相机中所占的像素点的位置及布局面积反算焦距及单个像素点所对应的范围。以地面三架双目相机作为标定点进行航拍的益处在于，通过双目视觉系统的立体校正来协同测量并定位无人机系统的位置，其所构成的三形角布局可与无人机与三架地面双目相机构成四面体，且该四面体的斜边及高度随无人机飞行位置的变化而变化，斜边长度（即无人机到每架双目相机的距离）由校准后的双目相机根据拍摄画面直接获得。通过地面相机拍摄空中飞行的无人机并分析其所占像素点，以图像中无人机所占区域的等效中心（所占像素点区域的重心）作为待测距的目标点，目标点在左相机图像中距图像左边缘的距离与目标在右相机图像中距图像左边缘的距离之差，乘以相机焦距并除以双目相机的光轴轴距，则成为无人机距离双目相机的距离。将地面双目视觉系统作为基准，三架相机位于地面不同的位置，其相对海拔高度和相对位置通过三架相机构成的视觉测量链进行解耦计算，通过相互定位及地面相机的立体校正反馈出地面基准的空间信息。

步骤205的具体实现过程为：每一架双目相机都可以测得其与无人机的距离，便于动态补充修正记录无人机飞行高度精度以及与待测区域的几何关系。在同一时间、同一状态下，记录无人机飞行时所拍摄的地面双目相机的图像，最终使用多张图片的融合拼接记录大区域的地面信息，通过多次航拍飞行记录目标区域随时间的变化趋势，通过计算目标区域在机载相机中所占用的像素点来获得该区域的变形，从而获得待测区域随时间迁移的变形情况。

在本发明的一实施方式中，无人机机载视觉探测系统还包括GPS定位系统、飞行控制系统、飞行执行系统和视觉监测云台。无人机巡航飞行前无需设置飞行轨迹，机载相机加载于视觉监测云台，在机载相机视野范围内拍摄到双目相机则表示已到达或者接近待测区域。

在本发明的一实施方式中，机载相机为变焦相机，其能够根据地面标志物体的距离自动进行调整以获取清晰的图像数据，飞行控制系统的数据反馈于地面控制中心，数据包括飞行速度、飞行高度、飞行姿态及相机倾角。

在本发明的一实施方式中，GPS定位系统获得的GPS定位数据与飞行控制系统及视觉图像采集系统耦合，使得机载相机的拍摄角度及焦距与地面双目视觉系统联动与调整，以实现无人机机载视觉探测系统面对大区域测量拍摄时的镜头几何失真问题的校正，根据机载相机拍摄地面所处的角度不同（垂向或者斜向）而引起的分辨率变化进行校正标定，并作为计算地面变形的输入参量。

在本发明的一实施方式中，步骤207中，地面控制中心将机载视觉探测系统回传的图像进行算法处理包括如下步骤：对机载视觉探测系统回传的图像进行特征点提取、特征点匹配、筛选好的匹配点、透视变换、图像匹配、图像拼接与融合、消除裂缝与边界，最终在被拼接的图像中选择待测区域，并分析其随时间的变化。

在本发明的一实施方式中，对双目相机进行共面线校准是利用共面线对准的立体校正算法进行的。在理想条件下可利用视差距离公式对双目摄像机系统进行距离测量，然而，在实际安装情况往往不满足理想条件下，双目相机轴线完全平行的要求，因此无法进行根据视差距离公式的校准与测距。因为对于真正的双目立体视觉系统来说，摄像机像平面上完全两共面线的理想条件是不存在的（特别是双目相机有的安装于无人机上，有的安装于地面支架上，都存在较大的安装误差），利用共面线对准的立体校正算法可以允许地面双目视觉系统存在较大的安装误差而对测量结果无影响。

本发明采用多位传感立体监测手段，机载图像系统与地面双目视觉系统联动，适用于大区域变形监测，也适合于可视区域内的大型物体的位置和速度测量，可在低空区域替代机载雷达的大区域探测方式，在测量精度和设备成本上成为更好的选择。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (9)

1.一种基于地空耦合的大区域变形摄影测量方法，其特征在于，

包括如下步骤：

建立无人机机载视觉探测系统和地面双目视觉系统，其中，所述无人机机载视觉探测系统包括机载相机，所述地面双目视觉系统包括多架作为定位点的双目相机；

对所述双目相机进行共面线校准；

无人机启动巡航飞行，开启所述无人机机载视觉探测系统，通过所述无人机机载相机拍摄所述双目相机；

开启所述地面双目视觉系统，所述双目相机耦合定位；

利用所述双目相机对飞行中的所述无人机进行联合追踪，并进行几何校准以修正所述无人机的飞行位置；

机载视觉探测系统获得被测区域的图像，并将所述图像回传给地面控制中心；以及

所述地面控制中心将所述机载视觉探测系统回传的图像进行算法处理，从而获得被测区域的地面变形监测结果，

每一架双目相机都可以测得其与无人机的距离，便于动态补充修正记录无人机飞行高度精度以及与待测区域的几何关系，在同一时间、同一状态下，记录无人机飞行时所拍摄的地面双目相机的图像，最终使用多张图片的融合拼接记录大区域的地面信息，通过多次航拍飞行记录目标区域随时间的变化趋势，通过计算目标区域在机载相机中所占用的像素点来获得该区域的变形，从而获得待测区域随时间迁移的变形情况，

通过双目视觉系统的立体校正来协同测量并定位无人机系统的位置，其所构成的三形角布局可与无人机与三架地面双目相机构成四面体，且该四面体的斜边及高度随无人机飞行位置的变化而变化，无人机到每架双目相机的距离由校准后的双目相机根据拍摄画面直接获得，通过地面相机拍摄空中飞行的无人机并分析其所占像素点，以图像中无人机所占区域的等效中心所占像素点区域的重心作为待测距的目标点，目标点在左相机图像中距图像左边缘的距离与目标在右相机图像中距图像左边缘的距离之差，乘以相机焦距并除以双目相机的光轴轴距，则成为无人机距离双目相机的距离，将地面双目视觉系统作为基准，三架相机位于地面不同的位置，其相对海拔高度和相对位置通过三架相机构成的视觉测量链进行解耦计算，通过相互定位及地面相机的立体校正反馈出地面基准的空间信息，

通过无人机机载视觉探测系统与地面双目视觉系统联动，机载视觉系统获得可视范围内被测区域的图像并回传给地面控制系统，地面三架双目探测系统用来协同测量以定位机载视觉探测系统，提高飞控可视系统的测量精度，所述方法能够通过耦合定位的方式减少机载视觉探测系统的测量误差，同时也适合于可视区域内的大型物体的位置和速度测量。

2.如权利要求1所述的基于地空耦合的大区域变形摄影测量方法，其特征在于，

所述地面双目视觉系统包括三架作为定位点的双目相机，三架所述双目相机位于地面不同的位置，其相对海拔高度和相对位置通过三架所述双目相机构成的视觉测量链进行解耦计算，并通过相互定位及地面相机的立体校正反馈出地面基准的空间信息。

3.如权利要求2所述的基于地空耦合的大区域变形摄影测量方法，其特征在于，

每架所述双目相机由两个内参相同的摄像机平行安装，以拍摄空中处于飞行的、且飞行位置与高度发生变化的所述无人机。

4.如权利要求3所述的基于地空耦合的大区域变形摄影测量方法，其特征在于，

三架所述双目相机为三角形布局，所述双目相机的相互距离及其形成的三角形布局是通过测量机器人实现的，通过测量双目相机的相互距离形成所述无人机飞行测量的地面标志及尺寸。

5.如权利要求1所述的基于地空耦合的大区域变形摄影测量方法，其特征在于，

所述无人机机载视觉探测系统还包括GPS定位系统、飞行控制系统、飞行执行系统和视觉监测云台。

6.如权利要求5所述的基于地空耦合的大区域变形摄影测量方法，其特征在于，

所述无人机巡航飞行前无需设置飞行轨迹，所述机载相机加载于所述视觉监测云台，在所述机载相机视野范围内拍摄到所述双目相机则表示已到达或者接近待测区域。

7.如权利要求6所述的基于地空耦合的大区域变形摄影测量方法，其特征在于，

所述机载相机为变焦相机，其能够根据地面标志物体的距离自动进行调整以获取清晰的图像数据，所述飞行控制系统的数据反馈于地面控制中心，所述数据包括飞行速度、飞行高度、飞行姿态及相机倾角。

8.如权利要求7所述的基于地空耦合的大区域变形摄影测量方法，其特征在于，

所述GPS定位系统获得的GPS定位数据与所述飞行控制系统及视觉图像采集系统耦合，使得所述机载相机的拍摄角度及焦距与所述地面双目视觉系统联动与调整，以实现无人机机载视觉探测系统面对大区域测量拍摄时的镜头几何失真问题的校正，根据所述机载相机拍摄地面所处的角度不同而引起的分辨率变化进行校正标定，并作为计算地面变形的输入参量。

9.如权利要求1所述的基于地空耦合的大区域变形摄影测量方法，其特征在于，

所述地面控制中心将所述机载视觉探测系统回传的图像进行算法处理包括如下步骤：对所述机载视觉探测系统回传的图像进行特征点提取、特征点匹配、筛选好的匹配点、透视变换、图像匹配、图像拼接与融合、消除裂缝与边界，最终在被拼接的图像中选择待测区域，并分析其随时间的变化。

Images