CN115839714A - 一种基于航拍图像的无人机工作区域地图构建方法 - Google Patents

Abstract

本发明属于无人机自主定位与导航技术领域，涉及面向拒止环境且卫星图像不可获得时的无人机地图构建方法，具体提供一种基于航拍图像的无人机工作区域地图构建方法，用以解决现有区域地图构建方法中的图像形变、边缘不对齐等问题。本发明将无人机航拍工作区域按同一地理坐标系正交分割为网格，无人机在工作区域按规划航迹执行覆盖式飞行任务，保持相邻航道的间隔为视野范围宽度的50％；无人机航拍时同步获取图像与地理定位信息(中心点的GPS信息与偏航角信息)作为图像位点，根据无人机传感器数据以及无人机飞行轨迹位姿等抽取航拍视频中的地理位置信息关键帧，进而填充对应网格内容，获得工作区域的全局地图。

Description

一种基于航拍图像的无人机工作区域地图构建方法

技术领域

本发明属于无人机自主定位与导航技术领域，涉及面向拒止环境且卫星图像不可获得时的无人机地图构建方法，具体提供一种基于航拍图像的无人机工作区域地图构建方法。

背景技术

无人机自主定位与导航一般依赖雷达、卫星等通信手段，但无线电信号和卫星信号极易受到干扰或有意攻击，导致GPS信号丢失，造成无人机丧失自主能力；随着计算机视觉领域的发展，视觉定位方法得到广泛的研究，视觉定位使用无人机的常用搭载设备：可见光相机，不依赖其他外部设备，利用机器视觉信息估计出精度较高的地理定位信息；因此，本发明立足于服务视觉定位，为无人机视觉定位构建视觉可视化地图。

拒止环境下无人机建图主要利用机载可见光相机所捕获的航拍地理信息，结合飞行过程中利用视觉里程计、IMU等方法的修正而获得的地面特征点在全局坐标系下的GPS坐标，将GPS坐标与航拍图像中的像素位置实现映射。无人机采集的航拍图像通常具有重叠度高、像幅小的特点，为了更加直观、全面地了解目标区域的实际情况，采用拼接技术处理图像显得尤为重要；图像拼接是指将两幅或者多幅图像(来自不同传感器、不同视角、或者不同时间获得的含有部分相同区域)按照某种顺序进行拼接，得到一幅比单幅图像包含更多像素的高分辨率、宽视角新图像，新图像包含更多的信息要素。传统的地图拼接方法往往采用手工标注、人工挑选的方式，但由于无人机采集的航拍图像通常具有重叠度高、像幅小的特点，这类方法不适合大范围区域地图的构建。同时，现有研究利用地面标志作为标识的方式，来实现关键帧的筛选，完成地图构建；但这类方法在工作区域不可达时，无法使用。另外，现有研究也有利用无人机速度、结合地面距离计算的方式，获取视频帧，实现地图构建，但无人机速度受风速，高度等因素的影响，无法实现绝对的匀速。

发明内容

本发明的目的在于提供一种基于航拍图像的无人机工作区域地图构建方法，用以解决现有区域地图构建方法中的图像形变、边缘不对齐等问题。本发明将无人机航拍工作区域按同一地理坐标系正交分割为网格，无人机在工作区域按规划航迹执行覆盖式飞行任务，保持相邻航道的间隔为视野范围宽度的50％；无人机航拍时同步获取图像与地理定位信息(中心点的GPS信息与偏航角信息)作为图像位点，根据无人机传感器数据以及无人机飞行轨迹位姿等抽取航拍视频中的地理位置信息关键帧，进而填充对应网格内容，获得工作区域的全局地图。

为实现上述目的，本发明采用的技术方案为：

一种基于航拍图像的无人机工作区域地图构建方法，其特征在于，包括以下步骤：

步骤1.计算无人机在定高状态下捕获图像中单位像素的距离标定值及经纬度变化量；

将无人机飞至预设高度H，并捕获包含标识A、B的图像，进而根据标识A、B的GPS坐标：(lon_A,lat_A)、(lon_B,lat_B)以及标识A、B在图像中的像素坐标：(x_A,y_A)、(x_B,y_B)计算单位像素的距离标定值以及单位像素对应的经纬度变化量：

Dis_lon＝R×arccos(cos(lat_A)cos(lat_A)cos(lon_B-lon_A)+sin(lat_A)sin(lat_A))

Dis_lat＝R×arccos(sin(lat_A)sin(lat_B))

其中，P_lon为单位像素的经度标定值、P_lat为单位像素的纬度标定值，Δ_lon为单位像素对应的经度变化量，Δ_lat为单位像素对应的纬度变化量；R为地球半径；

步骤2.设定无人机的规划航迹；

设定无人机的飞行高度为H；飞行轨迹采用标准测绘飞行轨迹：由多条航道组成，每条航道的距离相同，首先在起点沿航道1由北向南飞行，在达到指定里程hall后，转向并飞抵下一航道，其中，索引值为单数的航道方向由北向南，偶数索引航道方向由南向北；相邻航道的间隔interval_lon为：

其中，width为无人机捕获图像的宽度；

步骤3.采集飞行数据；

调节无人机相机镜头正视向下，并锁定云台；设置无人机的GPS数据传输、偏航角数据传输、图像传输的时间戳对齐，使无人机按照规划航迹完成飞行，采集得到工作区域的飞行视频；飞行视频中每一视频帧均包含时间戳、中心点的GPS信息与偏航角信息；

步骤4.构建工作区域地图；

步骤4-1.获取起始航道的所有地理信息关键帧；

步骤4-1-1.获取起始航道的起始状态地理信息关键帧；

将无人机到达规划航迹的起始点的时间作为起始时间，得到起始视频帧，并计算起始视频帧的地理位置信息，将包含地理位置信息的起始视频帧作为起始状态地理信息关键帧，并标记航道索引index为1；

步骤4-1-2.获取起始航道的飞行状态地理信息关键帧；

针对飞行视频中起始视频帧后每一视频帧，计算无人机当前飞行距离Distance：

Distance＝R×arccos[cos(lat_p)cos(lat_n)cos(lon_p-lon_n)+sin(lat_p)sin(lat_n)]

其中，(lon_p,lat_p)为上一地理信息关键帧的中心点的GPS信息，(lon_n,lat_n)为当前视频帧的中心点的GPS信息；

设置距离间隔阈值interval_lat：

其中，length为无人机捕获图像的长度；

若飞行距离Distance等于距离间隔阈值interval_lat，则判定当前视频帧为地理信息关键帧；计算当前视频帧的地理位置信息，得到飞行状态地理信息关键帧；

并根据偏航角信息判断是否到达转弯点，若否，则标记航道索引index与上一地理信息关键帧相同；若是，执行步骤4-2；

步骤4-2.获取其余航道的所有地理信息关键帧；

步骤4-2-1.获取新航道的起始起始状态地理信息关键帧；

因为新航道的起始状态与上一航道的航线角相反，为保证无缝拼接，新航道起始位置的纬度应该与上一航道的结尾位置的纬度一致，即当两点距离等于航道间隔时纬度一致，故根据偏航角信息和GPS信息判断当前视频帧中心点坐标是否同时满足以下条件：

|now_yaw+pre_yaw|＝π

R×arccos[cos(lat_p)cos(lat_n)cos(lon_p-lon_n)+sin(lat_p)sin(lat_n)]＝interval_lon

其中，now_yaw表示当前视频帧的偏航角信息，pre_yaw表示上一地理信息关键帧的偏航角信息；

若是，则将当前视频帧作为新航道的起始视频帧；计算起始视频帧的地理位置信息，将包含地理位置信息的起始视频帧作为起始状态地理信息关键帧，并标记航道索引index为上一地理信息关键帧的航道索引值加1；

步骤4-2-2.获取新航道的飞行状态地理信息关键帧；

针对当前航道的起始视频帧后每一视频帧，计算无人机当前飞行距离Distance，若飞行距离Distance等于距离间隔阈值interval_lat，则判定当前视频帧为地理信息关键帧；计算当前视频帧的地理位置信息，得到飞行状态地理信息关键帧；

根据偏航角信息判断是否到达转弯点，若否，则标记航道索引index与上一地理信息关键帧相同；若是，跳转至步骤4-2-1；

步骤4-3.将所有地理信息关键帧按照时间戳与航道索引index依次拼接，得到工作区域地图。

进一步的，地理位置信息的计算过程为：

获取视频帧的中心点的GPS信息：(lon_centre,lat_centre)，并根据偏航角信息将起始视频帧旋转至正北朝向，计算得到视频帧中其余像素点的GPS信息：

lon_other＝lon_centre+diff_y×Δ_lon

lat_other＝lat_centre+diff_x×Δ_lat

其中，(lon_other,lat_other)表示视频帧中当前像素点的GPS信息，diff_x、diff_y分别代表视频帧中当前像素点与中心点在宽度、长度方向的像素差值；

计算视频帧中每个像素点的GPS信息，共同构成视频帧的地理位置信息。

基于上述技术方案，本发明的有益效果在于：

本发明提供一种基于航拍图像的无人机工作区域地图构建方法，具有如下优点：

其一、采用基于网格填充的图像拼接；

将工作区域依据无人机镜头航拍视野大小划分为大小相同的网格，并提出无人机自身位置为网格角点的假设，将根据轨迹运算得到的关键帧依次填充入网格，这种方法有效解决了图片序列的顺序确定及边缘不对齐的问题；

其二、采用基于轨迹运算的关键帧筛选；

本发明提出基于相对飞行距离的轨迹运算方法，以此挑选出地理位置信息关键帧，构成序列；同时，提出基于偏航角结合纬度度距离最小的转弯点判断方法，能够有效准确的判断建图时的边界关键帧；与现有基于飞行速度的方案相比，对飞行高度、速度等参数具有较强的鲁棒性；

综上，本发明充分利用无人机自身的经纬度信息，提出网格拼接方法和基于相对距离的轨迹运算方法，具有边缘对齐、计算量低、鲁棒性强的优点。

附图说明

图1为本发明实施例中基于航拍图像的无人机工作区域地图构建方法的流程示意图。

图2为本发明实施例中无人机航迹规划示意图。

图3为本发明实施例中基于网格的图像拼接方法的原理示意图。

具体实施方式

为使本发明的目的、技术方案与有益效果更加清楚明白，下面结合附图和实施例对本发明做进一步详细说明。

本实施例提供一种基于航拍图像的无人机工作区域地图构建方法，包括以下步骤：

步骤1.计算无人机在定高状态下捕获图像中单位像素的距离标定值及经纬度变化量；

将无人机飞至指定高度H悬浮，根据航拍影像指示，在无人机捕获图像的视野范围中指定位置放置标识A、B，分别获取标识A、B的GPS坐标：(lon_A,lat_A)、(lon_B,lat_B)，以及标识A、B在图像中的像素坐标：(x_A,y_A)、(x_B,y_B)，计算单位像素的距离标定值、以及单位像素对应的经纬度变化量：

Dis_lon＝R×arccos(cos(lat_A)cos(lat_A)cos(lon_B-lon_A)+sin(lat_A)sin(lat_A))

Dis_lat＝R×arccos(sin(lat_A)sin(lat_B))

其中，P_lon为单位像素的经度标定值、P_lat为单位像素的纬度标定值、单位为m/pixel，Δ_lon为单位像素对应的经度变化量，Δ_lat为单位像素对应的纬度变化量；R为地球半径；(x_A,y_A)、(x_B,y_B)为标识A、B在图像中的像素坐标，x表示宽度方向、y表示长度方向，(lon_A,lat_A)、(lon_B,lat_B)为标识A、B的GPS坐标，lon表示经度、lat表示纬度；

步骤2.设定无人机的规划航迹；

设定无人机的飞行高度为H；飞行轨迹采用标准测绘飞行轨迹：由多条航道组成，每条航道的距离相同，首先在起点沿航道1由北向南飞行，在达到指定里程hall后，转向并飞抵下一航道，其中，索引值为单数的航道方向由北向南，偶数索引航道方向由南向北；相邻航道的间隔interval_lon为，如附图2所示，其中，S、E分别代表起始点、结束点，W_all为工作区域的宽度、H_all为工作区域的长度(单位为m)，interval_lon为相邻航道的间隔；由于无人机相机的图像分辨率为1080×1920(长度×宽度)，为保证无缝拼接，则设置interval_lon为：

其中，width为无人机捕获图像的宽度，即：1920；

步骤3.采集飞行数据；

由于无人机工作区域较大，在高度一定的情况下无人机的视野范围有限；因此，需要无人机按照飞行轨迹对工作区域进行覆盖飞行，再于采集得视频中挑选关键帧，构建工作区域地图；

调节无人机相机镜头正视向下，并锁定云台，保证无人机镜头的光心为无人机当前位置，即：无人机位于每一个视频帧的中心；设置无人机的GPS数据传输、偏航角数据传输、图像传输的时间戳对齐，使无人机按照规划航迹完成飞行，采集得到工作区域的飞行视频；由于无人机位于每一视频帧的中心，则无人机的GPS信息等同于飞行视频中每一视频帧的中心点的GPS信息，即每一视频帧均包含中心点GPS信息与偏航角信息；

步骤4.构建工作区域地图，如图1所示，具体过程为；

步骤4-1.获取起始航道的所有地理信息关键帧；

步骤4-1-1.获取起始航道的起始状态地理信息关键帧；

将无人机到达规划航迹的起始点(图2中S点)的时间作为起始时间，得到起始视频帧，并计算起始视频帧的地理位置信息，将包含地理位置信息的起始视频帧作为起始状态地理信息关键帧，并标记航道索引index为1；

地理位置信息的计算过程为：

获取视频帧的中心点的GPS信息：(lon_centre,lat_centre)，并根据偏航角信息将起始视频帧旋转至正北朝向(使视频帧满足卫星图像坐标要求)；在获得中心点的GPS信息后，以中心点为参考点，计算得到视频帧中其余位置：

lon_other＝lon_centre+diff_y×Δ_lon

lat_other＝lat_centre+diff_x×Δ_lat

其中，(lon_other,lat_other)表示视频帧中当前像素点的GPS信息，diff_x、diff_y分别代表视频帧中当前像素点与中心点在宽度(x)、长度(y)方向的像素差值；

基于此，计算得到视频帧中每个像素点的GPS信息，即得到包含地理位置信息的关键帧；地理位置信息以固定格式保存在同名.txt文件中，得到一张小区域地图；

步骤4-1-2.获取起始航道的飞行状态地理信息关键帧；

针对飞行视频中起始视频帧后每一视频帧，计算无人机当前飞行距离Distance：

Distance＝R×arccos[cos(lat_p)cos(lat_n)cos(lon_p-lon_n)+sin(lat_p)sin(lat_n)]

其中，(lon_p,lat_p)为上一地理信息关键帧的中心点的GPS信息，(lon_n,lat_n)为当前视频帧的中心点的GPS信息，R为地球半径；

为保证无缝拼接，两张图像沿经度方向保持50％的重叠区域；则两个关键帧中心点的距离间隔应该为interval_lat：

其中，length为无人机捕获图像的长度，即：1080；

因此，设置距离间隔阈值interval_lat，若飞行距离Distance等于距离间隔阈值interval_lat，则判定当前视频帧为地理信息关键帧；计算当前视频帧的地理位置信息，得到飞行状态地理信息关键帧；

根据偏航角信息判断是否到达转弯点，若否，则标记航道索引index与上一地理信息关键帧相同；若是，执行步骤4-2；

步骤4-2.获取其余航道的所有地理信息关键帧；

步骤4-2-1.获取新航道的起始起始状态地理信息关键帧；

因为新航道的起始状态与上一航道的航线角相反，为保证无缝拼接，新航道起始位置的纬度应该与上一航道的结尾位置的纬度一致，即当两点距离等于航道间隔时纬度一致，故根据偏航角信息和GPS信息判断当前视频帧中心点坐标是否同时满足以下条件：

|now_yaw+pre_yaw|＝π

R×arccos[cos(lat_p)cos(lat_n)cos(lon_p-lon_n)+sin(lat_p)sin(lat_n)]＝interval_lon

其中，now_yaw表示当前视频帧的偏航角信息，pre_yaw表示上一地理信息关键帧的偏航角信息；

若是，则将当前视频帧作为新航道的起始视频帧；计算起始视频帧的地理位置信息，将包含地理位置信息的起始视频帧作为起始状态地理信息关键帧，并标记航道索引index为上一地理信息关键帧的航道索引值加1；

步骤4-2-2.获取新航道的飞行状态地理信息关键帧；

针对当前航道的起始视频帧后每一视频帧，计算无人机当前飞行距离Distance，若飞行距离Distance等于距离间隔阈值interval_lat，则判定当前视频帧为地理信息关键帧；计算当前视频帧的地理位置信息，得到飞行状态地理信息关键帧；

根据偏航角信息判断是否到达转弯点，若否，则标记航道索引index与上一地理信息关键帧相同；若是，跳转至步骤4-2-1；

步骤4-3.将所有地理信息关键帧按照时间戳与航道索引index依次拼接，得到工作区域地图；拼接过程中，每条航道中地理信息关键帧的拼接方向与航向一致，如图3所示。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (2)

1.一种基于航拍图像的无人机工作区域地图构建方法，其特征在于，包括以下步骤：

步骤1.计算无人机在定高状态下捕获图像中单位像素的距离标定值及经纬度变化量；

将无人机飞至预设高度H，并捕获包含标识A、B的图像，进而根据标识A、B的GPS坐标：(lon_A,lat_A)、(lon_B,lat_B)以及标识A、B在图像中的像素坐标：(x_A,y_A)、(x_B,y_B)计算单位像素的距离标定值以及单位像素对应的经纬度变化量：

Dis_lon＝R×arccos(cos(lat_A)cos(lat_A)cos(lon_B-lon_A)+sin(lat_A)sin(lat_A))

Dis_lat＝R×arccos(sin(lat_A)sin(lat_B))

其中，P_lon为单位像素的经度标定值、P_lat为单位像素的纬度标定值，Δ_lon为单位像素对应的经度变化量，Δ_lat为单位像素对应的纬度变化量；R为地球半径；

步骤2.设定无人机的规划航迹；

设定无人机的飞行高度为H、飞行轨迹为标准测绘飞行轨迹，相邻航道的间隔interval_lon为：

其中，width为无人机捕获图像的宽度；

步骤3.采集飞行数据；

调节无人机相机镜头正视向下，并锁定云台；设置无人机的GPS数据传输、偏航角数据传输、图像传输的时间戳对齐，使无人机按照规划航迹完成飞行，采集得到工作区域的飞行视频；飞行视频中每一视频帧均包含时间戳、中心点的GPS信息与偏航角信息；

步骤4.构建工作区域地图；

步骤4-1.获取起始航道的所有地理信息关键帧；

步骤4-1-1.获取起始航道的起始状态地理信息关键帧；

将无人机到达规划航迹的起始点的时间作为起始时间，得到起始视频帧，并计算起始视频帧的地理位置信息，将包含地理位置信息的起始视频帧作为起始状态地理信息关键帧，并标记航道索引index为1；

步骤4-1-2.获取起始航道的飞行状态地理信息关键帧；

针对飞行视频中起始视频帧后每一视频帧，计算无人机当前飞行距离Distance：

Distance＝R×arccos[cos(lat_p)cos(lat_n)cos(lon_p-lon_n)+sin(lat_p)sin(lat_n)]

其中，(lon_p,lat_p)为上一地理信息关键帧的中心点的GPS信息，(lon_n,lat_n)为当前视频帧的中心点的GPS信息；

设置距离间隔阈值interval_lat：

其中，length为无人机捕获图像的长度；

若飞行距离Distance等于距离间隔阈值interval_lat，则判定当前视频帧为地理信息关键帧；计算当前视频帧的地理位置信息，得到飞行状态地理信息关键帧；

并根据偏航角信息判断是否到达转弯点，若否，则标记航道索引index与上一地理信息关键帧相同；若是，执行步骤4-2；

步骤4-2.获取其余航道的所有地理信息关键帧；

步骤4-2-1.获取新航道的起始状态地理信息关键帧；

根据偏航角信息和GPS信息，判断当前视频帧中心点坐标是否同时满足以下条件：

|now_yaw+pre_yaw|＝π

R×arccos[cos(lat_p)cos(lat_n)cos(lon_p-lon_n)+sin(lat_p)sin(lat_n)]＝interval_lon

其中，now_yaw表示当前视频帧的偏航角信息，pre_yaw表示上一地理信息关键帧的偏航角信息；

若是，则将当前视频帧作为新航道的起始视频帧；计算起始视频帧的地理位置信息，将包含地理位置信息的起始视频帧作为起始状态地理信息关键帧，并标记航道索引index为上一地理信息关键帧的航道索引值加1；

步骤4-2-2.获取新航道的飞行状态地理信息关键帧；

针对当前航道的起始视频帧后每一视频帧，计算无人机当前飞行距离Distance，若飞行距离Distance等于距离间隔阈值interval_lat，则判定当前视频帧为地理信息关键帧；计算当前视频帧的地理位置信息，得到飞行状态地理信息关键帧；

根据偏航角信息判断是否到达转弯点，若否，则标记航道索引index与上一地理信息关键帧相同；若是，跳转至步骤4-2-1；

步骤4-3.将所有地理信息关键帧按照时间戳与航道索引index依次拼接，得到工作区域地图。

2.按权利要求1所述基于航拍图像的无人机工作区域地图构建方法，其特征在于，地理位置信息的计算过程为：

获取视频帧的中心点的GPS信息：(lon_centre,lat_centre)，并根据偏航角信息将起始视频帧旋转至正北朝向，计算得到视频帧中其余像素点的GPS信息：

lon_other＝lon_centre+diff_y×Δ_lon

lat_other＝lat_centre+diff_x×Δ_lat

其中，(lon_other,lat_other)表示视频帧中当前像素点的GPS信息，diff_x、diff_y分别代表视频帧中当前像素点与中心点在宽度、长度方向的像素差值；

计算视频帧中每个像素点的GPS信息，共同构成视频帧的地理位置信息。

Images