CN109782786B

CN109782786B - 一种基于图像处理的定位方法和无人机

Info

Publication number: CN109782786B
Application number: CN201910111462.3A
Authority: CN
Inventors: 卞江; 陆海峰; 肖启富
Original assignee: Shanghai Daisch Intelligent Technology Co ltd
Current assignee: Shanghai Daisch Intelligent Technology Co ltd
Priority date: 2019-02-12
Filing date: 2019-02-12
Publication date: 2021-09-28
Anticipated expiration: 2039-02-12
Also published as: CN109782786A

Abstract

本发明公开了一种基于图像处理的定位方法和无人机。所述方法包括：使用飞行器机载相机或固定于高处的相机拍摄俯视图像，获取相机的地理位置信息和相机的拍摄方向与姿态角度，将获取到的俯视图像进行图像识别算法处理，得到图像中的特征线条及特征点，最后根据相机的焦距像素等参数、相机的地理位置信息和相机的拍摄方向与姿态角度以及图像信息计算图像中所需特征线条及特征点的地理位置信息，完成图像的定位目标。

Description

一种基于图像处理的定位方法和无人机

技术领域

本发明涉及一种定位方法和无人机，尤其涉及一种基于图像处理的地理位置定位方法。

背景技术

智能控制技术的进步，使得在工业、农业以及智能汽车领域，越来越多使用具有高度智能化、自动化作业的行业机械。而在此类应用场景中，对于目标地域的地图测绘是应用的前提条件。例如在采集农田地理坐标信息主要通过作业人员拿着手持测绘仪围绕农田边界行走打点，完成对目标地块的地理坐标信息采集。这种测绘方式费时费力，作业效率低。

发明内容

本发明的目的在于，提出一种基于图像处理的定位方法，根据图像中的距离计算实际距离，得到测绘地的地理位置定位信息，提高了测绘的效率，降低测绘作业的成本。

按照本发明的一个方面，本发明提供了一种基于图像处理的定位方法，其特征在于，该方法包括以下步骤：

步骤1，通过相机获取目标测绘地的俯视图像；

步骤2，获取相机拍摄时的相机位姿信息；

步骤3，从获取到的俯视图像得到图像中的特征线条和/或特征点，且在图像中任取一点作为参考点，并计算图像中的特征线条和/或特征点与所述参考点的相对位置关系；

步骤4，根据获取的相机位姿信息和相机参数算得图像中所述特征线条和/或特征点的地理位置信息。

可选地，根据本发明的实施方式，相机能够安装在无人机（例如其机载云台）上，使用载有相机的无人机飞至目标测绘地的上空并拍摄目标测绘地，获取目标测绘地的俯视图像；此外，选择图像中心点作为所述参考点，该技术方案的优点在于图像中心点能够相对而言较容易地进行确定，并且所述图像中心点相对于图像其余点的位置信息能够较容易地进行计算，由此节约了时间成本和计算成本。

具体地，将无人机飞至目标测绘地靠近中心的位置，向下拍摄俯视图像，其中，无人机飞行高度优选地满足相机能拍摄到所述目标测绘地的全部；该方案的益处是，使用飞行器可以具有较高的自由度，快速高效的获得大量目标地块的图像信息。

步骤1还包括，获取相机拍摄图像时的焦距(用

表示，单位：毫米）和像素大小参数（图像中单位长度的像素数，用

表示，单位：像素/毫米）；

所述相机可以是带有定焦镜头或焦距可知的变焦镜头的相机；

具体地，相机的像素大小参数可根据相机感光元件的尺寸和分辨率计算得到。该方案的益处是，将图像信息与获取图像时的光学参数一同获取，有利于后期精确地对图像进行分析处理。比如感光元件的尺寸是25mm×15mm，分辨率是5000×3000，那么像素大小参数应该是25/5000mm。

步骤2，获取相机拍摄目标测绘地图像时的高精度地理位置信息、拍摄方向和姿态角度；

可选的是，通过基于实时差分定位系统的装置来获取所述相机位姿信息中的地理位置信息。例如在所述无人机上安装有基于实时差分定位系统（RTK）的装置，可以获取相机拍摄图像时的高精度地理位置信息，精度可达到厘米级，所述地理位置信息包括经度(用

表示，单位：度)、纬度（用

表示，单位：度）和高度(用

表示，单位：米)，高度为无人机机载相机相对于拍摄地面的高度；该方案的益处是，实时差分定位技术可以提供厘米级的定位信息，有利于提高地图信息的测量精度。

步骤2还包括通过传感器来测量所述相机位姿信息中的拍摄方向与相机的姿态角度。例如，所述无人机上安装有传感器，用于测量相机拍摄时的拍摄方向与相机的姿态角度，所述拍摄方向能够为相机镜头朝下时的机身方向与地理正北方向的夹角（用

表示，单位：度），所述相机的姿态角度包括俯仰角（用

表示，单位：度）和横滚角（用

表示，单位：度）。该方案的益处是，获得图像拍摄时刻的摄像机姿态角信息，为图像矫正提供数据支撑。

步骤3，将获取到的俯视图像进行图像识别算法处理得到图像中的特征线条及特征点，并计算图像中的特征点与图像中心位置的相对位置关系；

具体的图像处理计算方法包括以下步骤：

步骤31，将获取到的俯视图像进行图像识别算法处理得到图像中的特征线条及特征点(用

表示，其中，i=1，2，3……)；

具体地，可根据目标测绘地的俯视图像，手动选择所需位置的特征线条或特征点，或根据图像中的封闭图案自动计算特征线条和/或特征点；该方案的益处是，对图像信息进行几何参数抽象，有利于图像信息数学化，为后期处理提供便利。其中，封闭图案的特征点例如为多边形的顶点。

步骤32，利用图像识别算法计算图像的参考点、例如中心点并将其作为坐标原点 O，计算特征点

（i=1，2，3……）在图像中相对于坐标原点O的坐标，主要包括横坐标方向的像素数和纵坐标方向的像素数；该方案的益处是，使图片像素获得统一的坐标系。

步骤33，根据相机的像素大小参数

计算图像中的特征点与参考点、例如图像中心点的相对位置关系，包括横坐标方向的距离（用

表示，i=1,2,3……，单位：毫米）和纵坐标方向的距离（用

表示，i=1,2,3……，单位：毫米）。需要用到步骤32中的横坐标方向和纵坐标方向的像素数，ΔX=p×横坐标方向的像素数，Δy=p×纵坐标方向的像素数。

步骤4，根据获取的地理位置信息、相机参数、相机拍摄方向和姿态角度以及图像信息计算图像中目标测绘地的地理位置信息，完成测绘；

具体的计算步骤包括：

步骤41，根据所述相机拍摄时的姿态角度，包括俯仰角（用

表示，单位：度）和横滚角（用

表示，单位：度），以及所述相机拍摄图像时的高度(用

表示，单位：米)计算图像参考点、例如中心点相对于所述相机拍摄图像时的地理位置在纬度方向的距离（用

表示，单位：米）和经度方向的距离（用

表示，单位：米）；

计算公式为：

该方案的益处是，利用拍摄图片时刻的姿态信息，矫正图片畸变。可以简化图片采集时对相机的控制精度要求。

步骤42，根据步骤33中得到图像中的特征点与图像参考点、例如中心点的相对位置关系

(i=1,2,3……)和

(i=1,2,3……）、所述相机拍摄图像时的高度(用

表示，单位：米)和所述相机焦距参数（用

表示，单位：毫米）计算图像中的特征点

(i=1,2, 3……)相对于所述目标测绘地中对应参考点（在参考点为图像中心点的情况下，对应参考点为目标测绘地中心位置)在横坐标的距离（用

表示，单位：米）和纵坐标的距离（用

表示，单位：米）；

计算公式为：

该方案的益处是，利用相机光学参数，获得图像与真实地理坐标系之间的对应关系，同时也进一步修正畸变。

步骤43，根据步骤41和步骤42得到结果和所述相机拍摄图像时的地理位置信息，包括经度(用

表示)和纬度（用

表示），计算图像中的特征点

(i=1,2,3……)的地理位置信息，包括经度(用

表示)和纬度（用

表示）,得到所述目标测绘地的测绘信息，完成测绘；应当理解的是，如果特征点明显的情况下，可以不需要特征线条，上述提到的特征线条能够是手动选择的，比如在拍摄的图像中有很多特征线条的情况下，从而确定特征点，此外，也可以直接手动选特征点。

计算公式为：

其中，

。

该方案的益处是，可以精确且高效地将图片像素信息与地理坐标信息进行对应。

在这一实施例中，所述定位方法，还可包括：

所述相机可固定安装于目标测绘地的俯视位置或者说较高位置处，用于定点测绘，此时安装平台不需要安装传感器测量相机拍摄时的拍摄方向与相机的姿态角度，所述相机的拍摄方向和姿态角度参数可在固定安装相机时获取。该方案的益处是，具有高度的算法通用性，对相机的安装方式和载具具有较高的适应性。

在这一实施例中，所述定位方法，还包括：

特别地，当相机拍摄所述目标测绘地时，相机处于水平位置（即

），相机的拍摄方向为

，此时，

，

，图像中的特征点

(i=1,2,3……)的地理位置信息计算公式为：

其中，

。

在这一实施例中，所述定位方法，还包括：

），相机的拍摄方向朝向正北（即

），此时图像中的特征点

(i=1,2,3……)的地理位置信息计算公式为：

其中，

。该方案的益处是，获得图像的地理方向信息，并对图片的坐标进一步修正。

按照本发明的另一方面，本发明还提供了一种无人机，其中，所述无人机用于执行根据本发明的定位方法，其中，所述相机安装在无人机上。

附图说明

下面结合附图和具体实施方式详细描述本发明的实施例，以便更好地体现和理解本发明的特征。

图1是本发明的一种基于图像处理的定位方法流程示意图。

图2是本发明的一种基于图像处理的定位方法实施例中的获取的目标测绘农田的俯视图。

图3是本发明的一种基于图像处理的定位方法中相机的机身方向和姿态角度示意图。

图4是本发明的一种基于图像处理的定位方法实施例中的图像处理结果。

图5是本发明的一种基于图像处理的定位方法实施例中的图像中心点位置计算方法示意图。

图6是本发明的一种基于图像处理的定位方法实施例中的拍摄图像与实际测量距离换算关系示意图。

图7是本发明的一种基于图像处理的定位方法实施例中的测量距离换算关系示意图。

具体实施方式

如图1所示，为本发明实施例公开的一种基于图像处的定位方法的流程图，包括：

步骤S101，拍摄目标测绘地的俯视图像；

具体地，将相机安装在无人机机载云台上，将载有相机的无人机飞至目标测绘地靠近中心的位置，向下拍摄俯视图像，其中，无人机飞行高度需满足相机能拍摄到所述目标测绘地的全部，获取目标测绘地的俯视图像，图2为本实施例中拍摄的目标测绘农田的俯视图像；

还包括，根据相机参数获取相机拍摄图像时的焦距(用f表示，单位：毫米）和像素大小参数（图像中单位长度的像素数，用p表示，单位：像素/毫米）；

具体地，相机的像素大小参数可根据相机感光元件的尺寸和分辨率计算得到。

步骤S102，获取相机拍摄目标测绘地俯视图像时的高精度地理位置信息和相机的拍摄方向及姿态角度信息；

具体地，所述无人机上安装有基于实时差分定位系统的装置，可以获取相机拍摄图像时的高精度地理位置信息，精度可达到厘米级，所述地理位置信息包括经度(用

表示，单位：度)、纬度（用

表示，单位：度）和高度(用

表示，单位：米)，高度为无人机机载相机相对于拍摄地面的高度；

还包括，所述无人机上安装有传感器，用于测量相机拍摄时的拍摄方向与相机的姿态角度，所述拍摄方向指的是相机镜头朝下时的机身方向与地理正北方向的夹角（用

表示，单位：度），所述相机的姿态角度包括俯仰角（用

表示，单位：度）和横滚角（用

表示，单位：度），如图3所示，指出了相机的拍摄方向与相机姿态角度的示意图。

步骤S103，将获取到的俯视图像进行图像识别算法处理得到图像中的特征线条及特征点，并计算图像中的特征点与图像中心位置的相对位置关系，如图4所示，图像处理得到的特征线条与特征点示意图；

具体的图像处理计算方法包括以下步骤：

步骤1031，将获取到的俯视图像进行图像识别算法处理得到图像中的特征线条（如图4中农田的边界线）及特征点P₁、P₂、P₃和P₄（用

表示，其中，i=1，2，3，4)，具体地，可根据目标测绘地的俯视图像，手动选择所需位置的特征线条或特征点，或根据图像中的封闭图案自动计算特征点；

步骤1032，利用图像识别算法计算图像的中心点并将中心点作为坐标原点O，计算特征点

（i=1，2，3，4）在图像中相对于坐标原点O的坐标，主要包括横坐标方向的像素数和纵坐标方向的像素数；

步骤1033，根据相机的像素大小参数

计算图像中的特征点与图像中心点的相对位置关系，包括横坐标方向的距离（用

表示，i=1，2，3，4，单位：毫米）和纵坐标方向的距离（用

表示，i=1，2，3，4，单位：毫米）。

步骤S104，根据获取的地理位置信息、相机参数、相机拍摄方向和姿态角度以及图像信息计算图像中目标测绘地的地理位置信息，完成测绘；

具体的计算步骤包括：

步骤1041，根据所述相机拍摄时的姿态角度，包括俯仰角（用

表示，单位：度）和横滚角（用

表示，单位：度），以及所述相机拍摄图像时的高度(用

表示，单位：米)计算图像中心点相对于所述相机拍摄图像时的地理位置在纬度方向的距离（用

表示，单位：米）和经度方向的距离（用

表示，单位：米），如图5所示为相机姿态角度对应的三角关系，图6为坐标变换示意图；

计算公式为：

步骤1042，根据步骤1033中得到图像中的特征点与图像中心点的相对位置关系

(i=1，2，3，4)和

(i=1，2，3，4）、所述相机拍摄图像时的高度(用

表示，单位：米)和所述相机焦距参数（用

表示，单位：毫米）计算图像中的特征点

（i=1，2，3，4）相对于所述目标测绘地中心位置在横坐标的距离（用

表示，单位：米）和纵坐标的距离（用

表示，单位：米），如图7所示为图像距离与实际测量距离换算关系示意图；

计算公式为：

步骤1043，根据步骤1041和步骤1042得到结果和所述相机拍摄图像时的地理位置信息，包括经度(用

表示)和纬度（用

表示），计算图像中的特征点（P₁、P₂、P₃和P₄）的地理位置信息，包括经度(用

表示)和纬度（用

表示）,得到所述目标测绘地的测绘信息，完成测绘；

计算公式为：

其中，

。

在这一实施例中，所述定位方法，还可包括：

），相机的拍摄方向为

，此时，

，

，图像中的特征点

（i=1，2，3，4）的地理位置信息计算公式为：

其中，

。

在这一实施例中，所述定位方法，还可包括：

），相机的拍摄方向朝向正北（即

），此时图像中的特征点

（i=1，2，3，4）的地理位置信息计算公式为：

其中，

。

需要说明的是，本发明所提到的各个步骤名称（如步骤1、步骤S101等）仅仅用于步骤起名和便于步骤引用的目的，而不明确表示或暗指步骤之间的顺序。除非本发明明确提到或者在明显冲突的情况下，各个步骤之间的顺序可以任意或者同步进行实施。此外，本发明的方法能够相应地在装载有相机的无人机上得以实现，由此，本发明还旨在保护一种无人机，其中，所述无人机用于执行根据本发明的定位方法，其中，所述相机安装在无人机上。

应当理解的是，所有以上的优选实施例都是示例性而非限制性的，本领域技术人员在本发明的构思下对以上描述的具体实施例做出的各种改型或变形都应在本发明的法律保护范围内。

Claims

1.一种基于图像处理的定位方法，其特征在于，该方法包括以下步骤：

步骤1，通过相机获取目标测绘地的俯视图像；

步骤2，获取相机拍摄时的相机位姿信息；所述步骤2中：通过传感器来测量所述相机位姿信息中的拍摄方向与相机的姿态角度；

步骤3，从获取到的俯视图像得到图像中的特征点，且在图像中任取一点作为参考点，并计算图像中的特征点与所述参考点的相对位置关系；

步骤4，根据获取的相机位姿信息和相机参数算得图像中特征点的地理位置信息，其中，

步骤3的具体的图像处理计算方法包括以下步骤：

步骤31，将获取到的俯视图像进行图像识别算法处理得到图像中的特征点；

步骤32，利用图像识别算法计算图像的参考点并将其作为坐标原点O，计算特征点在图像中相对于坐标原点O的坐标，包括横坐标方向的像素数和纵坐标方向的像素数，

步骤33，根据相机的像素大小参数p计算图像中的特征点与参考点的相对位置关系，包括横坐标方向的距离Δx_i＝p×横坐标方向的像素数，i＝1,2,3……，单位：毫米，和纵坐标方向的距离Δy_i＝p×纵坐标方向的像素数，i＝1,2,3……，单位：毫米，

步骤4的具体的计算步骤包括：

步骤41，根据所述相机拍摄时的姿态角度，包括俯仰角α，单位：度，和横滚角β，单位：度，以及所述相机拍摄图像时的高度H，单位：米，来计算图像参考点相对于所述相机拍摄图像时的地理位置在纬度方向的距离ΔLat_center，单位：米，和经度方向的距离ΔLng_center，单位：米，

计算公式为：

ΔLat_center＝H·tanα·cosθ+H·tanβ·sinθ

ΔLng_center＝H·tanα·sinθ-H·tanβ·cosθ

其中，拍摄方向为相机镜头朝下时的机身方向与地理正北方向的夹角，用θ表示，单位：度，

步骤42，根据步骤33中得到图像中的特征点与图像参考点的相对位置关系Δx_i和Δy_i、所述相机拍摄图像时的高度H和所述相机焦距参数f，单位：毫米，来计算图像中的特征点相对于所述目标测绘地中对应参考点在横坐标的距离ΔX_i，单位：米，和纵坐标的距离ΔY_i，单位：米；

计算公式为：

步骤43，根据步骤41和步骤42得到结果和所述相机拍摄图像时的地理位置信息，包括经度Lng₀和纬度Lat₀，计算图像中的特征点的地理位置信息，包括经度Lng_i和纬度Lat_i,得到所述目标测绘地的测绘信息，完成测绘，

计算公式为：

Lat_i＝Lat₀+(ΔLat_center+ΔY_i·cosθ-ΔX_i·sinθ)·K

其中，K＝8.983204953368922×10^-6。

2.根据权利要求1所述的定位方法，其特征在于，所述相机安装在无人机上。

3.根据权利要求1所述的定位方法，其特征在于，选择图像中心点作为所述参考点。

4.根据权利要求1所述的定位方法，其特征在于，所述相机是带有定焦镜头或焦距可知的变焦镜头的相机。

5.根据权利要求1所述的定位方法，其特征在于，所述步骤2中：

通过基于实时差分定位系统的装置来获取所述相机位姿信息中的地理位置信息。

6.根据权利要求1所述的定位方法，其特征在于，所述步骤3包括以下步骤：

步骤31，所述特征点手动地进行选择，或根据图像中的封闭图案自动进行计算。

7.根据权利要求1所述的定位方法，其特征在于，还包括：

所述相机固定安装于目标测绘地的俯视位置处，用于定点测绘。

8.根据权利要求1所述的定位方法，其特征在于，还包括：

当相机拍摄所述目标测绘地时，使得相机处于水平位置。

9.根据权利要求8所述的定位方法，其特征在于，还包括：当相机拍摄所述目标测绘地时，还使得相机的拍摄方向朝向正北。

10.一种无人机，其特征在于，所述无人机用于执行根据权利要求1、3至6、8、9中任一项所述的定位方法，其中，所述相机安装在无人机上。