CN112215860A - 一种基于图像处理的无人机定位方法 - Google Patents

Abstract

本发明涉及一种基于图像处理的无人机定位方法，包括步骤：设降落地标为同心圆与三角形的结合体，其中三角形的顶点与同心圆的圆心重合；在无人机上搭载摄像头与超声波测距装置；将无人机获取的降落地标图像进行预处理，提取图像边缘轮廓，进行椭圆拟合，计算同心圆标识中心点；将降落地标的内圆设置为感兴趣区域，只对感兴趣区域内图像进行处理，通过Harris角点检测提取三角形三个角点，并计算方向角；获取超声波测距装置获取的无人机高度信息和图像处理获取的降落地标中心点信息，并将像素坐标系转换为摄像机坐标，获取无人机与降落地标的实际相对空间位置方向关系。本发明能够帮助无人机实现准确的定位。

Description

一种基于图像处理的无人机定位方法

技术领域

本发明涉及无人机定位导航技术领域，特别是一种基于图像处理的无人机定位方法。

背景技术

随着无人机的推广、视觉算法的应用以及导航技术和无线通信技术的发展，电网公司也开始使用无人机辅助巡线。由于无人机在进行线路巡检时不受地形的影响，收集图像信息更为灵活，因此其实现难度相对较低，成本也易于进行控制。无人机上往往搭载高清摄像机、红外成像仪等光学器材代替人工采集线路信息，而工作人员只需在地面分析图像数据便可实现对线路故障的判别，极大提升巡线效率和节省了巡线成本。然而，无人机的续航能力较弱，巡线范围受限。据统计，无人机在电力巡线中续航时间仅为20～30分钟，巡检范围也只有7公里。这样的巡检范围对于分布如此广泛的电力系统而言，只适用于特定区域巡检，依旧难以深入到偏远地区，无法做到全天候巡检。因此要提升无人机巡检范围，需研究无人机自主定点着陆技术，引导无人机在巡线途中自主着陆到充电停机坪上，自行充电，从而实现无人机自主飞行，达到持续运作的目标。

众所周知，广泛使用的定位方法主要是基于全球卫星定位系统(GPS)的定位方法，然而GPS的误差还不能满足无人机精准着陆要求，仅仅依靠GPS定位偏差较大，极可能造成无人机坠毁，造成经济损失，因此准确且可靠的视觉算法辅助无人机实现精准定点着陆显得十分必要。

发明内容

有鉴于此，本发明的目的是提出一种基于图像处理的无人机定位方法，能够帮助无人机实现准确的定位。

本发明采用以下方案实现：一种基于图像处理的无人机定位方法，包括以下步骤：

设降落地标为同心圆与三角形的结合体，其中三角形的顶点与同心圆的圆心重合；在无人机上搭载摄像头与超声波测距装置；

将无人机获取的降落地标图像进行预处理，提取图像边缘轮廓，进行椭圆拟合，计算同心圆标识中心点；

将降落地标的内圆设置为感兴趣区域，只对感兴趣区域内图像进行处理，通过Harris角点检测提取三角形三个角点，并计算方向角；

获取超声波测距装置获取的无人机高度信息和图像处理获取的降落地标中心点信息，并将像素坐标系转换为摄像机坐标，获取无人机与降落地标的实际相对空间位置方向关系。

进一步地，所述摄像头安装在无人机底部两轴云台的下方，所述超声波测距装置与摄像头的光心同一水平位置设置。

进一步地，所述将无人机获取的降落地标图像进行预处理，提取图像边缘轮廓具体包括以下步骤：

步骤S11：使用颜色分割对图像进行目标提取，减少复杂背景的干扰；设定像素点应该满足的RGB区间，并对图像中降落地标进行分割提取；

步骤S12：将步骤S11处理后的图像进行灰度化处理与滤波；

步骤S13：对步骤S12处理后的图像进行边缘检测和自适应二值化；

步骤S14：进行轮廓提取，以查找图像中的闭合轮廓。

进一步地，所述进行椭圆拟合，计算同心圆标识中心点具体包括以下步骤：

步骤S21：进行轮廓的筛选，剔除轮廓点数少于阈值的轮廓；

步骤S22：对降落地标同心圆轮廓进行椭圆拟合；

步骤S23：判断两个椭圆是否存在相同中心点的并且外径与内径比为设定的比例，若是，则通过拟合的椭圆方程计算同心椭圆的中心坐标，由此得到无人机所在水平位置的图像中心与降落地标中心的像素差，再通过坐标转换计算无人机与降落地标的相对位置。

进一步地，所述将降落地标的内圆设置为感兴趣区域，只对感兴趣区域内图像进行处理，通过Harris角点检测提取三角形三个角点，并计算方向角具体包括以下步骤：

步骤S31：将降落地标的内圆包围的区域为感兴趣区域；

步骤S32：在此感兴趣区域进行Harris角点检测，提取图像中三角形的三个角点像素坐标，其中三角形的顶点与内圆的中心点重合，由此判断出剩余三角形两个端点坐标，两端点中心指向顶点的向量为指定的无人机降落的方向。

进一步地，所述获取超声波测距装置获取的无人机高度信息和图像处理获取的降落地标中心点信息，并将像素坐标系转换为摄像机坐标，获取无人机与降落地标的实际相对空间位置方向关系。具体包括以下步骤：

步骤S41：定义三个坐标系如下：

图像坐标系：为OXY平面，用以表示空间点在成像平面的投影的平面位置，图像坐标系的点以(x，y)表示；

摄像机坐标系：为三维坐标系，以成像平面的中心点为原点，X轴与Y轴的方向与图像坐标系OXY平面中的X轴、Y轴方向相同，Z轴的方向沿着摄像机主光轴方向，摄像机坐标系用以表示空间目标在以摄像机中心为原点的相对三维空间位置，摄像机坐标系的点以(x_c，y_c，z_c)来表示；其中，主光轴为过摄像机光心，并垂直于成像平面的直线；

像素坐标系：像素坐标系所在平面与图像坐标系重合，坐标原点在图像左上角位置，U轴和V轴的方向分别与X轴和Y轴的方向相同，像素坐标系的点以(u，v)来表示；

步骤S42：通过相似三角形的关系得到摄像机坐标系与像素坐标系之间的坐标转换关系：

式中，f表示摄像机焦距；

步骤S43：设像素坐标系中心点的坐标为(u₀,v₀)，则图像坐标系和像素坐标系实现以下转换：

式中，dx、dy为单位像素在U轴、V轴对应的实际尺寸，简称像元尺寸；

步骤S44：通过矩阵形式表示出摄像机坐标系与像素坐标系之间的转换关系：

将上式简化为：

z_c*m'＝A*I*M'；

式中，A表示摄像机的内参数矩阵，由摄像机标定获取；I为单位矩阵；m代表像素坐标系的坐标，M表示摄像机坐标系的坐标；则已知z_c与摄像机的内参数，由上式实现像素坐标与摄像机坐标的转换，通过坐标转换得到降落标志在摄像机坐标系下的三维坐标；其中，超声波测距装置设于摄像机光心同一水平处，由于采用两轴云台，使摄像机的摄像头始终保持主光轴垂直于地面，因此通过超声波测距装置直接获取z_c的值。

与现有技术相比，本发明有以下有益效果：本发明所提出基于图像处理的无人机定位方法采用图像处理技术，只需通过摄像头与超声波采集信息，无需采集大量数据，计算简易、运算快速、定位准确，可用于实现对无人机的定位。

附图说明

图1为本发明实施例的降落地标示意图。

图2为本发明实施例的摄像机数学模型示意图。

图3为本发明实施例的像素坐标系示意图。

图4为本发明实施例的无人机自主电网巡线系统运作示意图；

图5为本发明实施例的无人机自主着陆导航系统组成框图；

图6为本发明实施例的无人机自主导航着陆流程图；

图7为本发明实施例的无人机视觉算法每帧消耗时间；

图8为本发明实施例的飞行位移偏差曲线。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本实施例提供了一种基于图像处理的无人机定位方法，包括以下步骤：

设降落地标为同心圆与三角形的结合体，其中三角形的顶点与同心圆的圆心重合；在无人机上搭载摄像头与超声波测距装置；如图1所示，降落地标设计为同心圆与三角形的组合体，分别用于中心位置计算和方向计算，其中三角形顶点与同心圆圆心重合。该地标可以设计为红色，颜色特征更为鲜明，更易于从复杂背景进行目标提取；从形状上，同时兼有中心点和方向的特征信息，圆形为对称图形，从其他角度拍摄发生仿射变换从而呈现椭圆效果，但质心不发生改变，使得无人机在任意方向都能进行位姿调整。

将无人机获取的降落地标图像进行预处理，提取图像边缘轮廓，进行椭圆拟合，计算同心圆标识中心点；

将降落地标的内圆设置为感兴趣区域，只对感兴趣区域内图像进行处理，通过Harris角点检测提取三角形三个角点，并计算方向角；

获取超声波测距装置获取的无人机高度信息和图像处理获取的降落地标中心点信息，并将像素坐标系转换为摄像机坐标，获取无人机与降落地标的实际相对空间位置方向关系。

在本实施例中，所述摄像头安装在无人机底部两轴云台的下方，所述超声波测距装置与摄像头的光心同一水平位置设置。

在本实施例中，所述将无人机获取的降落地标图像进行预处理，提取图像边缘轮廓具体包括以下步骤：

步骤S11：使用颜色分割对图像进行目标提取，减少复杂背景的干扰；彩色图像有三个颜色通道：红(R)、绿(G)、蓝(B)，彩色图像的每个像素点都对应一个RGB值，强度值皆为0-255。设定像素点应该满足的RGB区间，即满足下式选取的像素点，并对图像中降落地标进行分割提取；

R_low≤pixel(R)≤R_high

G_low≤pixel(G)≤G_high

B_low≤pixel(B)≤B_high；

本实施例阈值选取如下：

R_low＝120,R_high＝220

G_low＝30,G_high＝130

B_low＝40,B_high＝125；

步骤S12：将步骤S11处理后的图像进行灰度化处理与滤波；将分割后的图像做灰度化处理，将三通道的彩色图像转为单通道的灰色图，加快了视觉的处理并提高了实时性。而且由于飞行振动、光线不均、背景复杂等影响，不可避免会造成噪声干扰，造成图像质量降低，影响图像处理。因此采用均值滤波算法对灰度图进行滤波，该滤波算法使用一个像素邻域内所有像素灰度值的平均值来代替该像素灰度值以进行滤波处理；

步骤S13：对步骤S12处理后的图像进行边缘检测和自适应二值化；边缘检测是根据边缘像素的变化，用微分的方法，找出边缘，由于降落标识的识别需要对地标的轮廓进行分析验证，因此需要通过Canny边缘检测进一步从目标中提取出边缘信息。边缘检测后进行自适应二值化处理，去除细小边缘的干扰，把边缘和背景分割出来；

步骤S14：进行轮廓提取，以查找图像中的闭合轮廓。在经过边缘检测后，进行轮廓提取查找图像中的闭合轮廓，并将已经得到的轮廓存起来，为后续的中心点计算和角点检测奠定基础。

在本实施例中，所述进行椭圆拟合，计算同心圆标识中心点具体包括以下步骤：

步骤S21：进行轮廓的筛选，剔除轮廓点数少于阈值的轮廓；本实施例中，将阈值设为50，以减少一些无规则轮廓的干扰；

步骤S22：对降落地标同心圆轮廓进行椭圆拟合；在二维平面坐标系中，椭圆方程的一般形式可由下式来表示：

f(α,X)＝αX＝Ax²+Bxy+Cy²+Dx+Ey+F＝0；

其中α为(A,B,C,D,E,F)，即系数向量,由微积分极值原理可知,欲使f(A,B,C,D,E,F)值为最小,必有：

可求得方程系数A，B，C，D，E，F，最终可得到两个椭圆方程。

步骤S23：判断两个椭圆是否存在相同中心点的并且外径与内径比为设定的比例，本实施例中为2(预先设计同心圆的内外圆半径1:2，可根据实际需求调整设定的比例)。若是，则通过拟合的椭圆方程计算同心椭圆的中心坐标，由此得到无人机所在水平位置的图像中心与降落地标中心的像素差，再通过坐标转换计算无人机与降落地标的相对位置。

在本实施例中，所述将降落地标的内圆设置为感兴趣区域，只对感兴趣区域内图像进行处理，通过Harris角点检测提取三角形三个角点，并计算方向角具体包括以下步骤：

步骤S31：将降落地标的内圆包围的区域为感兴趣区域；

步骤S32：在此感兴趣区域进行Harris角点检测，提取图像中三角形的三个角点像素坐标，其中三角形的顶点与内圆的中心点重合，由此判断出剩余三角形两个端点坐标，两端点中心指向顶点的向量为指定的无人机降落的方向。无人机要带方向降落，这个三角形规定了一个方向，就是两端中心指向原点，无人机本身跟飞机一样，有机头机尾，这样无人机不仅可以定点降落，而且可以带方向降落，比如降落机头要朝着北方或者某个方向。

在本实施例中，所述获取超声波测距装置获取的无人机高度信息和图像处理获取的降落地标中心点信息，并将像素坐标系转换为摄像机坐标，获取无人机与降落地标的实际相对空间位置方向关系。具体包括以下步骤：

步骤S41：如图2与图3所示，P为空间上的点，OXY平面为摄像机的成像平面，o为投影中心(摄像机的光心)，成像时，空间上的点P投影在OXY平面上并聚焦在光心o上，空间上的物体会在成像平面上投影出一系列点，从而构成图像。其中，OXY平面有U行V列紧密排列的离散像素点构成，每个像素点储存着RGB三通道的颜色信息，通过一系列像素点的组合可构成各式各样不同的图像。其中过光心o，且垂直于成像平面的射线为主光轴，主光轴与成像平面交点称为主点，而光心与成像平面的距离为焦距，用f表示，定义下列三种坐标系：

图像坐标系：为OXY平面，用以表示空间点在成像平面的投影的平面位置，图像坐标系的点以(x，y)表示；

摄像机坐标系：为三维坐标系，以成像平面的中心点为原点，X轴与Y轴的方向与图像坐标系OXY平面中的X轴、Y轴方向相同，Z轴的方向沿着摄像机主光轴方向，建立了以摄像机视角估计空间物体位置的三维坐标系，摄像机坐标系用以表示空间目标在以摄像机中心为原点的相对三维空间位置，摄像机坐标系的点以(x_c，y_c，z_c)来表示；其中，主光轴为过摄像机光心，并垂直于成像平面的直线；

像素坐标系：如图3所示，像素坐标系所在平面与图像坐标系重合，坐标原点在图像左上角位置，U轴和V轴的方向分别与X轴和Y轴的方向相同，所以该坐标系是一系列正整数的离散点坐标构成，像素坐标系的点以(u，v)来表示；

本实施例将摄像机安装在无人机底部两轴云台下方，并在与摄像头光心同水平位置安装超声波测距模块，两轴云台用于控制无人机发生偏移或倾斜时候调节摄像头，使摄像头主光轴保持垂直于地面，摄像头用于采集图像信息，超声波测距模块用于测量无人机相对降落地标垂直高度；

步骤S42：若要通过像素坐标系来估计降落地标与无人机的相对位置，则需对摄像机坐标系与像素坐标系之间的坐标转化进行研究；通过相似三角形的关系得到摄像机坐标系与像素坐标系之间的坐标转换关系：

式中，f表示摄像机焦距；

步骤S43：设像素坐标系中心点的坐标为(u₀,v₀)，则图像坐标系和像素坐标系实现以下转换：

式中，dx、dy为单位像素在U轴、V轴对应的实际尺寸，简称像元尺寸；

步骤S44：通过矩阵形式表示出摄像机坐标系与像素坐标系之间的转换关系：

将上式简化为：

z_c*m'＝A*I*M'；

式中，其中f为摄像机焦距，单位一般为mm；令fx＝f/dx，fy＝f/dy，分别称为x轴和y轴上的归一化焦距；A表示摄像机的内参数矩阵，内参数矩阵用于分析摄像机特性和功能的固定参数，由摄像机标定获取；I为单位矩阵；m代表像素坐标系的坐标，M表示摄像机坐标系的坐标；则已知z_c与摄像机的内参数，由上式实现像素坐标与摄像机坐标的转换，通过坐标转换得到降落标志在摄像机坐标系下的三维坐标；其中，超声波测距装置设于摄像机光心同一水平处，由于采用两轴云台，使摄像机的摄像头始终保持主光轴垂直于地面，因此通过超声波测距装置直接获取z_c的值。

图4为本实施例无人机自主导航巡线系统的运作示意图，包括一个用于巡线的无人机1、一个设置于电网杆塔3上的停机坪2以及用于控制分析的地面控制中心，无人机通过无线通信与地面控制中心相互通信，无人机1可停在杆塔3的停机坪2对无人机进行充电，解决无人机续航能力不足而导致的巡检范围小的问题，提高无人机1巡检的可靠性和安全性。具体运作过程如下：无人机1通过GPS和视觉导航沿输电导线至杆塔3上方，对杆塔进行线路巡检，尤其对绝缘子设备进行各个方向的拍照，将拍摄的的照片数据传回地面控制中心。中控中心可通过智能图像系统对绝缘子等设备进行检测和故障诊断。由于无人机1电源模块的电量不足以支撑其完成一个完整的巡检任务，当中控系统检测到无人机电量不足维持到下一个杆塔的巡检，或者无人机发生故障无法继续执行巡线任务，规划无人机1在就近的停机坪2依据GPS和视觉导航自主着陆并进行充电，充电完成继续完成下一次巡检任务，如此往复，实现无人机的自主导航巡线。因此，无人机的自主定点着陆是实现无人机自主充电，提升续航能力，延长巡线范围的必要条件。

无人机自主定点着陆视觉导航方案拟以数据采集系统、视觉处理系统和飞行控制系统三个系统成闭环飞行控制方案，并在无人机上实现实时的图像处理，最终通过视觉控制实现无人机的定点着陆，系统组成框图如下图5所示，数据采集系统由安装在无人机底部的云台摄像头和超声波测距模块组成，摄像头采集的图像通过视觉处理可用于获取无人机与着陆标志的水平相对位移，超声波测距模块用于测量相对高度，由此可建立无人机与着陆标志的三维坐标关系。视觉处理系统选用基于Raspberry Pi的视觉处理模块，RaspberryPi是仅为信用卡大小的微型电脑主板，具有独立实时处理图像的性能。在Raspberry Pi中建立OpenCV视觉库，并且编写相关程序，以摄像头采集的图像作为输入，可实现着陆标志图像预处理、中心点和方向计算、空间位置计算、无人机控制指令生成等功能，并且可自动对巡检图像进行拍摄并传输到中控系统，好比无人机的“视觉系统”，极大提升了无人机与环境的交互能力。飞行控制系统采用基于STM32飞控板，通过MavLink协议接收Raspberry Pi生成的控制指令，控制无人机实现自主着陆。

无人机自主导航着陆流程图如图6所示，当无人机进行自主定点着陆时，首先需要GPS引导无人机至停机坪上方，当成功识别到着陆标志，由视觉算法计算无人机与降落标志的中心点像素偏差，并用超声波测距测量无人机的高度，通过像素坐标与摄像机坐标系的转换，获取无人机与着陆标志的三维空间关系，进而调整无人机的位置方向；每当无人机追踪着陆标志直至水平距离小于某个阈值，便垂直下降一段距离，之后继续进行水平位置与方向的调整，如此往复，直至无人机高度小于2m时，缓慢垂直下降至地面，成功着陆。

其中，对降落标志图像预处理包括颜色分割、滤波去噪、边缘检测、自适应二值化等预处理步骤，剔除图像背景干扰，提取出着陆标志的有效信息。并通过对目标轮廓的椭圆拟合和角点提取分别计算出着陆标志的中心点与方向。位置估计包括摄像机像素坐标获取和空间坐标转换，将像素坐标转换为摄像机三维空间坐标，从而引导无人机的自主定点着陆。

接下来，本实施例进行基于视觉的位置与角度估计测试以验证视觉方法的可行性，其中由公式z_c*m'＝A*I*M'化简可得，

椭圆拟合算法计算出的着陆标志中心点像素坐标(u,v)，通过上式(11)可求得着陆标志中心在摄像机坐标系下的坐标(x_c,y_c,z_c)，由此作为无人机着陆调整的依据。本实施例为验证无人机位置方向估计方法的准确性，将摄像机和超声波测距模块搭载在Raspberry Pi上对着陆标志的位置和方向进行估计，由于假定无人机进行自主着陆的高度为5m，对1～5m内每隔1m进行10次试验，取平均值进行统计，并求得视觉估计结果与实际值的偏差，如下表所示：

高度	偏航角误差/°	T<sub>X</sub>/cm	T<sub>Y</sub>/cm	T<sub>Z</sub>/cm
					1m	1.46	0.61	0.75	0.51
2m	1.84	0.93	1.04	0.92
					3m	2.31	1.14	1.23	1.45
4m	2.53	1.44	1.61	1.77
					5m	3.01	1.84	1.92	1.83
平均误差	2.23	1.18	1.31	1.29

其中T_X、T_Y、T_Z分别为估计值与实际值在水平X方向偏差，水平Y方向偏差，垂直Z方向偏差。由表可见，位置估计的误差中，X，Y，Z轴的误差都不超过1.5cm，方向误差基本都在3°以内，而且离地面越近，方向与位置的误差越小，估计越为准确，越有助于无人机着陆精准。

为了验证本实施例的实时性，为了验证算法的实时性，在无人机从5m高度下降到1m高度过程中，记录了300帧视觉系统的处理时间，每帧处理包括对着陆标识的识别与无人机位置方向的估计，如图7所示。由图可见，每帧处理时间都在0.11s以内，80％以上的处理时间都在0.1s以内，平均处理时间约为0.0825s，图像处理速度达到12FPS(f/s，Frames PerSecond，每秒处理帧数)，当飞行器晃动幅度较大或处理场景较复杂时，处理时间相应延长，整个处理周期不超过0.11s，达到实时性的要求。

本实施例在实际测试中，自主着陆的硬件结构主要有两轴云台摄像机做图像采集，Raspberry Pi做图像处理，超声波测量高度以及飞控板控制着陆过程。着陆过程如下，首先设定着陆标志所在的GPS位置，无人机在GPS的引导下往着陆标志方向飞行，当无人机抵达所设定GPS所在位置，通过超声波，控制无人机使其高度保持在5m左右位置。然后，开启视觉着陆系统，在系统识别出着陆标识后，通过最小二乘椭圆拟合和Harris角点检测得到着陆标志中心点位置和着陆方向，并通过坐标转换得到着陆标志在摄像机坐标系下的三维坐标，并实时将数据传输到控制板控制无人机飞行着陆。当摄像头识别到着陆标识并计算出坐标，无人机便往标志中心点进行追踪平移，并进行偏航角校正，矫正方向，当着陆标志中心与无人机的水平距离小于某个阈值，竖直下降一段距离后，继续进行中心点追踪平移，直到与地面距离小于2m，直接下降至地面完成自主着陆。

图8为无人机从3.5m着陆到地面的位移曲线图，可以看出无人机在从3.5m着陆到2m的过程中，x轴方向和y轴方向的距离一开始处于正负波动的状态，然而幅值慢慢减小，当x轴方向和y轴方向的距离小于设定阈值，无人机便竖直着陆一段距离；之后，继续进行对着陆标志水平方向的平移追踪，在20s之后，水平距离仅在0.3m范围内波动，无人机完成水平方向的调整，继续着陆一段高度，如此往复；当超声波测距模块检测到无人机离地面高度小于2m，便直接着陆到地面。经过20次左右飞行试验，无人机自主着陆的位置偏差在12cm之内，角度偏差在10°之内，有较好的自主着陆效果。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种基于图像处理的无人机定位方法，其特征在于，包括以下步骤：

设降落地标为同心圆与三角形的结合体，其中三角形的顶点与同心圆的圆心重合；在无人机上搭载摄像头与超声波测距装置；

将无人机获取的降落地标图像进行预处理，提取图像边缘轮廓，进行椭圆拟合，计算同心圆标识中心点；

将降落地标的内圆设置为感兴趣区域，只对感兴趣区域内图像进行处理，通过Harris角点检测提取三角形三个角点，并计算方向角；

获取超声波测距装置获取的无人机高度信息和图像处理获取的降落地标中心点信息，并将像素坐标系转换为摄像机坐标，获取无人机与降落地标的实际相对空间位置方向关系。

2.根据权利要求1所述的一种基于图像处理的无人机定位方法，其特征在于，所述摄像头安装在无人机底部两轴云台的下方，所述超声波测距装置与摄像头的光心同一水平位置设置。

3.根据权利要求1所述的一种基于图像处理的无人机定位方法，其特征在于，所述将无人机获取的降落地标图像进行预处理，提取图像边缘轮廓具体包括以下步骤：

步骤S11：使用颜色分割对图像进行目标提取，减少复杂背景的干扰；设定像素点应该满足的RGB区间，并对图像中降落地标进行分割提取；

步骤S12：将步骤S11处理后的图像进行灰度化处理与滤波；

步骤S13：对步骤S12处理后的图像进行边缘检测和自适应二值化；

步骤S14：进行轮廓提取，以查找图像中的闭合轮廓。

4.根据权利要求1所述的一种基于图像处理的无人机定位方法，其特征在于，所述进行椭圆拟合，计算同心圆标识中心点具体包括以下步骤：

步骤S21：进行轮廓的筛选，剔除轮廓点数少于阈值的轮廓；

步骤S22：对降落地标同心圆轮廓进行椭圆拟合；

步骤S23：判断两个椭圆是否存在相同中心点的并且外径与内径比为设定的比例，若是，则通过拟合的椭圆方程计算同心椭圆的中心坐标，由此得到无人机所在水平位置的图像中心与降落地标中心的像素差，再通过坐标转换计算无人机与降落地标的相对位置。

5.根据权利要求1所述的一种基于图像处理的无人机定位方法，其特征在于，所述将降落地标的内圆设置为感兴趣区域，只对感兴趣区域内图像进行处理，通过Harris角点检测提取三角形三个角点，并计算方向角具体包括以下步骤：

步骤S31：将降落地标的内圆包围的区域为感兴趣区域；

步骤S32：在此感兴趣区域进行Harris角点检测，提取图像中三角形的三个角点像素坐标，其中三角形的顶点与内圆的中心点重合，由此判断出剩余三角形两个端点坐标，两端点中心指向顶点的向量为指定的无人机降落的方向。

6.根据权利要求1所述的一种基于图像处理的无人机定位方法，其特征在于，所述获取超声波测距装置获取的无人机高度信息和图像处理获取的降落地标中心点信息，并将像素坐标系转换为摄像机坐标，获取无人机与降落地标的实际相对空间位置方向关系。具体包括以下步骤：

步骤S41：定义三个坐标系如下：

图像坐标系：为OXY平面，用以表示空间点在成像平面的投影的平面位置，图像坐标系的点以(x，y)表示；

摄像机坐标系：为三维坐标系，以成像平面的中心点为原点，X轴与Y轴的方向与图像坐标系OXY平面中的X轴、Y轴方向相同，Z轴的方向沿着摄像机主光轴方向，摄像机坐标系用以表示空间目标在以摄像机中心为原点的相对三维空间位置，摄像机坐标系的点以(x_c，y_c，z_c)来表示；其中，主光轴为过摄像机光心，并垂直于成像平面的直线；

像素坐标系：像素坐标系所在平面与图像坐标系重合，坐标原点在图像左上角位置，U轴和V轴的方向分别与X轴和Y轴的方向相同，像素坐标系的点以(u，v)来表示；

步骤S42：通过相似三角形的关系得到摄像机坐标系与像素坐标系之间的坐标转换关系：

式中，f表示摄像机焦距；

步骤S43：设像素坐标系中心点的坐标为(u₀,v₀)，则图像坐标系和像素坐标系实现以下转换：

式中，dx、dy为单位像素在U轴、V轴对应的实际尺寸，简称像元尺寸；

步骤S44：通过矩阵形式表示出摄像机坐标系与像素坐标系之间的转换关系：

将上式简化为：

z_c*m'＝A*I*M'；

式中，A表示摄像机的内参数矩阵，由摄像机标定获取；I为单位矩阵；m代表像素坐标系的坐标，M表示摄像机坐标系的坐标；则已知z_c与摄像机的内参数，由上式实现像素坐标与摄像机坐标的转换，通过坐标转换得到降落标志在摄像机坐标系下的三维坐标；其中，超声波测距装置设于摄像机光心同一水平处，由于采用两轴云台，使摄像机的摄像头始终保持主光轴垂直于地面，因此通过超声波测距装置直接获取z_c的值。

Images