CN110083177A - 一种基于视觉着陆的四旋翼飞行器及控制方法 - Google Patents
一种基于视觉着陆的四旋翼飞行器及控制方法 Download PDFInfo
- Publication number
- CN110083177A CN110083177A CN201910372312.8A CN201910372312A CN110083177A CN 110083177 A CN110083177 A CN 110083177A CN 201910372312 A CN201910372312 A CN 201910372312A CN 110083177 A CN110083177 A CN 110083177A
- Authority
- CN
- China
- Prior art keywords
- quadrotor
- angle
- landing
- image
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 5
- 238000013459 approach Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 8
- 239000007787 solid Substances 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 abstract description 17
- 238000012546 transfer Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000007423 decrease Effects 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 230000014616 translation Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 239000002917 insecticide Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000009331 sowing Methods 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000855 fermentation Methods 0.000 description 1
- 230000004151 fermentation Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明属于飞行器技术领域，公开了一种基于视觉着陆的四旋翼飞行器及控制方法，将一个区域内的所有角点转换成一个单值角点，指定四旋翼飞行器着陆进场方向和获取四旋翼飞行器空间点到像素点坐标；求解出机体系与摄像头系的变换关系后，通过视觉模式下的姿态与位置转换算法和视觉着陆控制算法解算出四旋翼飞行器的姿态和位置，使的四旋翼飞行器自主着陆。本发明减小了计算量；设计了四旋翼视觉模式下的姿态与位置转换算法，得到视觉模式下的姿态和位置；本发明以低成本商用MEMS传感器、数字摄像头、GPS和ARM‑CortexM4为内核的STM32F407、32位微处理器搭建微型四旋翼实验平台。
Description
技术领域
本发明属于飞行器技术领域，尤其涉及一种基于视觉着陆的四旋翼飞行器及控制方法。
背景技术
目前，最接近的现有技术：
四旋翼(Quadrotor)具有体积小，成本低，适应性强等特点在民用发面快速发展，如：电影的拍摄、包裹的运输、无线网络传感器的搭建、在农业中用于喷洒农药和播种、电力的巡查、地形的测绘、气象信息的探测和火灾等灾情的救援和搜索。一般而言，四旋翼采用GPS进行导航定位，在室内、近地面或者某些GPS信号不好的环境下，四旋翼的导航精度会降低。视觉着陆是一种借用视觉导航的方法，可以实现四旋翼的辅助定位，并且能够实现四旋翼在特殊场合需求下的自动着陆。因此，研究基于视觉着陆技术的四旋翼的姿态与位置算法具有重要的理论意义和实际应用价值。
国内外的高校相继开展研究了视觉着陆，成果丰硕。南加州大学的Saripalli等人基于AVATAR直升机为实验平台，利用直升机上的摄像头对“H”型的地面标志图像中的特征角点检测，并对标志图像进行识别。由识别到的图像信息计算飞行器的位置和姿态信息，来控制直升机着陆。韩国首尔大学的D Lee等人利用基于图像的视觉伺服(Image-basedVisual Servo,IBVS)技术提出了一种基于视觉的算法，将标志图像放置在可移动的实验平台上，然后通过视觉算法让四旋翼对移动平台上的二维图像信息进行识别跟踪，最终成功完成了自主视觉着陆的实验。法国科学技术大学和美国加利福尼亚大学通过四旋翼飞行器上的摄像头来对地面移动的车辆上的二维图像识别，提出了一种位置与姿态的转换算法来估计出四旋翼飞行器与移动车辆之间相对的位置与姿态信息。电子科技大学的陈勇等人针对视觉降落与着陆中的关键问题：地面标志图像的检测识别和无人机的位置与姿态估计，提出了一种极坐标转换的姿态解算方法，并且设计了一种新型地面标志图像，成功通过Hough算法检测到标志图像的直线，快速，准确的完成了着陆。北京航空航天大学的张广军等人，设计一个双圆着陆标志图像，通过提取双圆标志图像中的21个特征点信息，设计了无人机视觉着陆算法，实时解算出相对双圆标志图像的无人机姿态与位置。
综上所述，现有技术存在的问题是：
现有飞行器在室内或者近地面等环境下，GPS易丢失信号而无法工作。
而且现有技术中，飞行器没有利用四旋翼视觉模式下的姿态与位置转换算法，得到视觉模式下的姿态和位置数据信息准确度差。而且在飞行器识别着陆标志以获得姿态与位置数据中，Harris角点检测算法计算量大。
解决上述技术问题的难度：研究了单目视觉的标志图像检测和识别算法的难度在于怎么样快速准确的识别出标志图像的角点信息；视觉模式下的四旋翼相对位姿转换算法的难度在于求解机体系和摄像头系的变换关系。
解决上述技术问题的意义：视觉着陆是一种借用视觉导航的方法，可以实现四旋翼的辅助定位，并且能够实现四旋翼在特殊场合需求下的自动着陆，可广泛应用与电影的拍摄、包裹的运输、无线网络传感器的搭建、在农业中用于喷洒农药和播种、电力的巡查、地形的测绘、气象信息的探测和火灾等灾情的救援和搜索。因此，研究基于视觉着陆技术的四旋翼的姿态与位置算法具有重要的理论意义和实际应用价值；针对Harris角点算法计算量大的问题，改进设计了一种快速、准确的标志图像检测识别算法。将一个区域内的所有角点转换成一个单值角点,替代了Harris算法中的局部非极大值抑制算法，减小了计算量，提高了四旋翼视觉着陆的快速性；设计了四旋翼视觉模式下的姿态与位置转换算法，得到视觉模式下的姿态和位置，提高了四旋翼的视觉着陆的应用范围和实际应用价值。
发明内容
针对现有技术存在的问题，本发明提供了一种基于视觉着陆的四旋翼飞行器设计及控制方法。
本发明是这样实现的，一种基于视觉着陆的四旋翼飞行器控制方法，所述基于视觉着陆的四旋翼飞行器控制方法包括：
步骤一，将一个区域内的所有角点转换成一个单值角点，指定四旋翼飞行器着陆进场方向和获取四旋翼飞行器空间点到像素点坐标；
步骤二，求解出机体系与摄像头系的变换关系后，通过视觉模式下的姿态与位置转换算法和视觉着陆控制算法解算出四旋翼飞行器的姿态和位置。
进一步，步骤一，具体包括：
1)构建视觉识别标志：
采用以两个纯黑色实心等边三角形组成，背景为白色纸的标志，用于识别图像用的特征；
2)角点检测：通过改进Harris角点算法进行检测角点；：
3)标志图像识别：由改进Harris算法，识别出标志图像的6个特征角点，判定标志图像。
进一步，步骤2)角点检测具体包括：
(1)首先求得梯度矩阵M，通过水平和数值差分算子对图像的所有像素点进行滤波，得到的灰度值在x方向，y方向的梯度Ix、Iy构成梯度矩阵M：
由上式得到，假如一个像素点的Ix和Iy都很大，表明该像素点为一个角点；
(2)采用大小为3×3的高斯滤波器对矩阵M中的元素滤波，高斯算子公式：
联立和得到平滑处理后的矩阵M：
(3)定义角点响应函数，如下式；
R＝det(G(M))-k*trace2(G(M))；
det(G(M))和trace(G(M))为分别表示矩阵M的行列式和迹，k＝0.04-0.06为经验参数；k为固定值；定义新的响应函数：
(4)若公式中的cim矩阵同时满足条件，则认为是角点。
进一步，步骤(4)中满足条件包括：
(a)cim函数值大于某一阈值tresh；
(b)当前响应点是邻域内的局部极大值；
由(a)判断条件得到，最后输出的Harris角点值和阈值tresh的选取有关，选择适当的阈值后，存在许多Harris角点群；
由(b)判断条件得到，在许多Harris角点群中做极大值筛选得到一个角点输出；通过改进的滤波器，到某个Harris角点附近的其他角点位置，计算几何中心后输出一个单角点；写成如下公式：
式中，S_Harris(x,y)即为最终的Harris角点输出，Harris_Corners(i)即为得到的Harri角点群。
进一步，步骤3)标志图像识别中，6个角点中相邻的角点会组成3个不同数值的10段距离，并且这三个距离刚好组成一个直角三角形；标志图像判定条件包括：
6个相邻角点计算得到的10段距离中，只有3个不同的值a,b,c，且a＜b＜c；
a,b,c构成三角形且满足a2+b2＝c2，即a,b,c组成直角三角形。
进一步，步骤二四旋翼位姿转换和视觉着陆算法包括：
a)视觉模式下相对位置估计:
计算标志图像中心在摄像头系下的坐标与摄像头光心Oc的距离；摄像头光心Oc的位置可根据平移矩阵[Tx Ty h]确定；通过三角形相似性定理求解相对相对高度h；
lc/d是摄像头焦距的像素长度；P1,P2是标志图像两个角点在导航系的二维位置，I1,I2是标志图像的两个角点在图像系下的像素点位置；通过相似三角形，得到如下公式：
首先，测量得到标志图像中P1,P2的距离P1P2；已知P1,P2的坐标，运用像素平面和图像平面的转换关系，算出P1,P2在图像坐标系下的像素点距离I1I2，lc/d的距离通过标定摄像头得到；最后由公式求出四旋翼距离标志图像中心的高度h；假定导航坐标系下的标志图像的中心点坐标(0,0,0)T，得到下公式：
由公式得到平移向量矩阵[TxTy h]中的Tx和Ty，如下公式：
公式中，h为四旋翼距离标志图像中心的高度，u,v是标志图像中心点在图像平面的像素坐标，(u0,v0)是图像平面和光轴的交点，lc/dx、lc/dy分别表示焦距在X、Y轴上的像素长度。
b)视觉模式下相对姿态估计算:
(i)给定偏航角范围(-180°，90°]，其中C1像素行坐标大于C5像素行坐标，并且C1像素列坐标大于C5像素列坐标；同时满足上述两个条件；则给定偏航角ψcr的计算公式如下：
(ii)给定偏航角ψcr范围[-90°，0)，其中C1像素行坐标小于C5像素行坐标，并且C1像素列坐标大于C5像素列坐标；同时满足上述两个条件；则给定偏航角ψcr的计算公式如下：
(iii)给定偏航角ψcr范围(0，90°]，其中C1像素行坐标小于C5像素行坐标，并且C1像素列坐标小于C5像素列坐标；同时满足上述两个条件；则给定偏航角ψcr的计算公式如下：
(iv)给定偏航角ψcr范围[90°，180°)，其中C1像素行坐标大于C5像素行坐标，并且C1像素列坐标小于C5像素列坐标；同时满足上述两个条件；则给定偏航角ψcr的计算公式如下：
c)视觉着陆，四旋翼在飞至识别标志附近时开启着陆功能，因此视觉着陆分为两个阶段，第一阶段：视觉着陆系统开始对着陆标志识别，实时位置姿态估计，并对位置姿态实时调整；第二阶段：根据识别的位置姿态信息以及高度信息，通过着陆控制算法实时控制四旋翼飞行器着陆。
本发明的另一目的在提供一种实施所述基于视觉着陆的四旋翼飞行器的控制方法的基于视觉着陆的四旋翼飞行器的控制系统。
本发明的优点及积极效果为：
本发明将一个区域内的所有角点转换成一个单值角点,替代了Harris算法中的局部非极大值抑制算法，减小了计算量。设计了四旋翼视觉模式下的姿态与位置转换算法，得到视觉模式下的姿态和位置；本发明以低成本商用MEMS传感器和ARM-CortexM3为内核的STM32F103CBT6、32位微处理器搭建微型四旋翼实验平台，通过上述实验平台验证了本发明设计的标志图像检测识别算法和视觉着陆算法。
本发明为了增强四旋翼的自主性，借用视觉导航方法在GPS丢失信号或信号精度不高的情况下进行辅助定位，并且能够在某些特殊需求场合自动着陆。
本发明为了测试视觉着陆的稳定性和准确性，在室内无GPS信号的情况下，直接将四旋翼飞至标志图像的上空，开启视觉着陆功能，四旋翼便开始对标志图像识别，并调整姿态航向，随即开始着陆。一共进行了6组实验。实验过程如图11所示。
表4视觉着陆实验数据
图11为视觉着陆全过程，(a)图为四旋翼飞行至标志图像上方，并开启视觉着陆功能；(b)图为四旋翼悬停在标志物上方，并识别出标志图像；(c)为下降着陆过程中，位置和偏航角出现了偏差；(d)为着陆过程中着陆控制算法对四旋翼进行了校正；(e)图为继续着陆过程；(f)为近地面小于设定距离后，直接自动关闭电机着陆，这样会避免近地面摄像头识别出错和近地面的气流对四旋翼的着陆造成大误差影响。表4为视觉着陆实验的数据，6次均成功着陆，并且着陆的位置平均误差为9.6cm，偏航角平均误差为7.83°。
附图说明
图1是本发明实施提供的基于视觉着陆的四旋翼飞行器设计及控制方法流程图。
图2是本发明实施提供的摄像头成像模型图。
图3是本发明实施提供的标志识别图像图。
图4是本发明实施提供的标志图像识别算法流程图。
图5是本发明实施提供的四旋翼和标志图像特征点的相对位置图。
图6是本发明实施提供的识别标志图像相对姿态的6种情况图。
图7是本发明实施提供的视觉着陆流程图。
图8是本发明实施提供的本发明的实验平台图。
图9是本发明实施提供的实验测试标志识别图像的图形图。
图10是本发明实施提供的视觉识别算法实验结果图。
图11是本发明实施提供的视觉识别算法实验结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有飞行器在室内或者近地面等环境下，GPS易丢失信号而无法工作。而且现有技术中，飞行器没有利用四旋翼视觉模式下的姿态与位置转换算法，得到视觉模式下的姿态和位置数据信息准确度差。而且在飞行器姿态与位置定位中，Harris角点检测算法计算量大。
为解决上述问题，下面结合附图对本发明的应用原理作详细描述。
如图1所示，本发明实施例提供的基于视觉着陆的四旋翼飞行器的控制方法包括以下步骤：
S101，将一个区域内的所有角点转换成一个单值角点,替代了Harris算法中的局部非极大值抑制算法；
S102，设计视觉模式下的姿态与位置转换算法和视觉着陆控制算法。
在本发明实施例中，步骤S101包括视觉的目标识别算法如下：
图2表示摄像头的成像模型，OcXcYcZc平面表示摄像头系，OiXiYi表示图像系。原点Oc为摄像头的光心，焦距为OiOc的长度lc。
由图2可以得出，空间点Q(Xc,Yc,Zc)对应的成像点为图像平面上的点q(X,Y)，由三角形相似得到：
将导航(世界)系到图像系的关系写成矩阵的形式如公式(2)所示：
由于摄像头的工艺原因，使得光轴和图像平面的交点不在图像的中心，因此图像平面OiXiYi与像素坐标系Ouv
存在如下对应关系：
为了配合后续转换运算，将公式(3)凑写成矩阵形式：
式(4)中，(u,v)中u和v仅仅表示像素数组的行和列。X和Y表示像素点图像像素坐标系由于摄像头的镜头并不是理想的针孔，会存在畸变，导致像素由矩形扭曲成平行四边形，由于存在这种畸变，定义一个标定矩阵K:
公式(5)中，lc/dx、lc/dy表示摄像头焦距在像素系u和v方向上的单位长度，u0和v0为光轴和图像平面的交点转换到像素系的坐标。
联立(2)，(4)和(5)得到空间点到像素点坐标的关系：
公式(6)中，[I|0]为3×4的不可逆矩阵，这样就可以和空间点坐标矩阵[Xc Yc Zc1]T这个4×1的矩阵进行运算。
视觉的目标识别算法具体包括：
1.1视觉识别标志图像设计
传统的地面识别标志图像一般都采用“H”标，其12个特征点比较明显。本发明采用自行设计的标志图像用于识别。标志图像以两个纯黑色实心等边三角形组成，背景为白色的纸。这样设计的标志图像不仅易于识别，特征点少，具有固定的长度和坐标外，并且还能指定四旋翼着陆的方向。如图3所示。
本标志识别图像用于判定的特征比较突出，有6个待检测的特征点，比传统“H”的12个待检测特征点少了一半。并且可以用于快速指定着陆进场方向和获取中点。因此，该标志图像的特征点少，易识别，处理起来简单快速。
1.2角点检测
本发明设计的改进Harris角点算法步骤为：
(1)首先求得梯度矩阵M，通过水平和数值差分算子对图像的所有像素点进行滤波，得到的灰度值在x方向，y方向的梯度Ix、Iy构成梯度矩阵M：
由公式(7)可以得到，假如一个像素点的Ix和Iy都很大，则表明该像素点为一个角点。
(2)采用大小为3×3的高斯滤波器对矩阵M中的元素滤波，高斯算子公式：
联立(7)和(8)得到平滑处理后的矩阵M：
(3)定义角点响应函数，如公式(10)所示。
R＝det(G(M))-k*trace2(G(M)) (10)
det(G(M))和trace(G(M))为分别表示矩阵M的行列式和迹，k＝0.04-0.06为经验参数。因为k为固定值，导致算法的自适应性较差。本发明定义新的响应函数：
(4)若公式(11)中的cim矩阵同时满足以下两个条件，则认为是角点：
(a)cim函数值大于某一阈值tresh；
(b)当前响应点是邻域内的局部极大值。
由(a)判断条件得到，最后输出的Harris角点值和阈值tresh的选取有关，选择适当的阈值后，可能存在许多Harris角点群。由(b)判断条件得到，在上述许多Harris角点群中做极大值筛选得到一个角点输出。这样计算量过大，本发明为了减少计算量，设计了一种改进滤波器，到某个Harris角点附近的其他角点位置，计算几何中心后输出一个单角点。写成如下(12)公式：
式(12)中，S_Harris(x,y)即为最终的Harris角点输出，Harris_Corners(i)即为经过上述4个步骤得到的Harri角点群。
1.3标志图像识别
由改进Harris算法，识别出了标志图像的6个特征角点，来判定标志图像。6个角点中相邻的角点会组成3个不同数值的10段距离，并且这三个距离刚好组成一个直角三角形。有上述特点给出如下的标志图像判定条件：
(1)6个相邻角点计算得到的10段距离中，只有3个不同的值a,b,c，且a＜b＜c。
(2)a,b,c可以构成三角形且满足a2+b2＝c2，即a,b,c可以组成直角三角形。上述判定条件的具体流程图如图4所示：
在本发明实施例中，步骤S102提供的四旋翼位姿转换和视觉着陆算法包括：
如果求解出机体系与摄像头系的变换关系，就可以根据图像信息解算出四旋翼的姿态和位置。因为摄像头安装在四旋翼载体上，所以只需求解出导航系和摄像头系的转换关系。本发明采用文献定义的摄像头坐标系和导航坐标系仅存在平移和旋转关系，公式可以定义为：
公式(13)中，(X,Y,Z)表示摄像头系下的坐标，(X,Y,Z)表示导航系下的对应坐标，Cb为旋转矩阵，T为平移向量。
将公式(14)代入公式(6)中并整理得到：
考虑到着陆过程中俯仰角和横滚角近似为零的特性，公式(13)简化为公式(16)：
将公式(15)、(16)结合，得出导航系到像素系的转换关系：
公式(17)与公式(6)相比，等式左边的Zc换成了Zn+h，是因为由公式(16)得到Zc＝Zn+h。
在本发明实施例中，四旋翼位姿转换和视觉着陆算法具体包括：
2.1视觉模式下相对位置估计算法
相对位置估计指的是标志图像的中心距离摄像头的位置，因为摄像头固连在四旋翼载体上面，所以相对位置的估计也就是计算标志图像中心在摄像头系下的坐标与摄像头光心Oc的距离。摄像头光心Oc的位置可以根据平移矩阵[Tx Ty h]来确定。通过三角形相似性定理来求解相对相对高度h。如图5所示。
图5中，lc/d是摄像头焦距的像素长度。P1,P2是标志图像两个角点在导航系的二维位置，I1,I2是标志图像的两个角点在图像系下的像素点位置。通过相似三角形，得到公式(18)：
首先，测量得到标志图像中P1,P2的距离P1P2。已知P1,P2的坐标，运用像素平面和图像平面的转换关系，算出P1,P2在图像坐标系下的像素点距离I1I2，lc/d的距离通过标定摄像头得到。最后由公式(18)求出四旋翼距离标志图像中心的高度h。假定导航坐标系下的标志图像的中心点坐标(0,0,0)T，代入公式(17)得到公式(19)：
由公式(19)可以得到平移向量矩阵[Tx Ty h]中的Tx和Ty，如公式(20)：
公式(20)中，h为四旋翼距离标志图像中心的高度，u,v是标志图像中心点在图像平面的像素坐标，(u0,v0)是图像平面和光轴的交点，lc/dx、lc/dy分别表示焦距在X、Y轴上的像素长度。
2.2视觉模式下相对姿态估计算法
由于四旋翼着陆时水平姿态近似为零。所以相对姿态估计只估计偏航角的角度。考虑到实际摄像头拍摄到的标志图像有以下几种情形，因此计算偏航角时考虑如下六种情况，如图6所示。
图6为识别出标志图像后计算偏航角的6种情况。图中C1和C5为识别出的角点像素坐标，C5Yn为导航坐标系的正北方，C1Yi为像素坐标系下指引四旋翼着陆的正方向，ψcr为需要解算的着陆前调整的偏航给定角度。摄像头从图像是左上角逐行对像素点扫描。由此可以根据C1和C5得像素点坐标来确定调整偏航角cr的范围。
(1)给定偏航角范围(-180°，90°]，其中C1像素行坐标大于C5像素行坐标，并且C1像素列坐标大于C5像素列坐标。需同时满足上述两个条件。则给定偏航角ψcr的计算公式如下：
(2)给定偏航角ψcr范围[-90°，0)，其中C1像素行坐标小于C5像素行坐标，并且C1像素列坐标大于C5像素列坐标。需同时满足上述两个条件。则给定偏航角ψcr的计算公式如下：
(3)给定偏航角ψcr范围(0，90°]，其中C1像素行坐标小于C5像素行坐标，并且C1像素列坐标小于C5像素列坐标。需同时满足上述两个条件。则给定偏航角ψcr的计算公式如下：
(4)给定偏航角ψcr范围[90°，180°)，其中C1像素行坐标大于C5像素行坐标，并且C1像素列坐标小于C5像素列坐标。需同时满足上述两个条件。则给定偏航角ψcr的计算公式如下：
由图6(a)和(b)两幅图知，这是两种特殊形式，图6(a)中ψcr为0°，图(b)中ψcr为180°。
2.3视觉着陆流程：本发明视觉着陆流程图如图7所示。
视觉着陆，四旋翼在飞至识别标志附近时开启着陆功能，因此视觉着陆分为两个阶段，第一阶段：视觉着陆系统开始对着陆标志识别，实时位置姿态估计，并对位置姿态实时调整；第二阶段：根据识别的位置姿态信息以及高度信息，通过着陆控制算法实时控制四旋翼飞行器着陆。
下面结合实验平台对本发明作进一步描述。
本发明的实验平台实物如图8所示，参数如表1所示。
表1实验平台的具体参数
表1中，电机尺寸2208代表电机定子内径22mm，定子厚8mm，KV值的大小代表电机增加1V电压，转速提升1260转。
下面结合实验测试与结果分析对本发明作进一步描述。
4.1标志图像识别实验
四旋翼进行着陆时，需要单目摄像头对地面标志图像进行识别，因此标志图像的识别算法准确性和鲁棒性也将决定四旋翼着陆的成功概率。一共选取了6个特征点数目相同或者相似的图像，来验证标志图像识别算法的性能。如图9所示，实验测试图像分别有：黑色实心直角三角形组合，黑色实心等边三角形，黑色实心圆，标志图像，黑色实心正6边形、黑色实心等边三角形+正方形组合图像等6个图像。
通过本发明提出的角点算法和图像识别算法，对上述6副图像进行了检测和识别。结果如图10所示。
表2实验图形测试结果
图10中，显示屏分别显示了四部分的内容，屏幕左上角显示了是摄像头所采集到的原始图像RawImage，屏幕右上角显示了改进Harris检测到的图像的Harris角点，屏幕第二行显示了检测到Harris角点数目CornerCnt，屏幕第三行显示了视觉识别算法是否成功识别到本发明设计的标志图像,Success表示识别到标志图像，Failed表示未识别到标志图像。表2中显示了实验中检测的Harris角点数目以及是成功识别到标志图像的结果。通过实验结果得到，本发明改进的Harris算法成功检测到所有特征角点，并且本发明的标志图像识别算法成功识别出了两个等边三角形组合的标志图像。
同时运行传统Harris角点检测算法和本发明改进的Harris角点检测算法对本发明的视觉着陆标志图像的特征点进行检测，同时运行100次所需时间如表3所示。
表3算法运行速度对比
由表3可以得到，本发明改进的Harris角点检测算法只计算几何中心后输出一个单角点，检测相同的标志图像，传统加测算法运行100次的时间为27.42s，而改进的Harris算法那检测相同的标志图像仅需4.13s。缩短了监测识别时间。
4.2着陆实验
本发明为了测试视觉着陆的稳定性和准确性，在室内无GPS信号的情况下，直接将四旋翼飞至标志图像的上空，开启视觉着陆功能，四旋翼便开始对标志图像识别，并调整姿态航向，随即开始着陆。一共进行了6组实验。实验过程如图11所示。
表4视觉着陆实验数据
图11为视觉着陆全过程，(a)图为四旋翼飞行至标志图像上方，并开启视觉着陆功能；(b)图为四旋翼悬停在标志物上方，并识别出标志图像；(c)为下降着陆过程中，位置和偏航角出现了偏差；(d)为着陆过程中着陆控制算法对四旋翼进行了校正；(e)图为继续着陆过程；(f)为近地面小于设定距离后，直接自动关闭电机着陆，这样会避免近地面摄像头识别出错和近地面的气流对四旋翼的着陆造成大误差影响。表4为视觉着陆实验的数据，6次均成功着陆，并且着陆的位置平均误差为9.6cm，偏航角平均误差为7.83°。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于视觉着陆的四旋翼飞行器控制方法，其特征在于，所述基于视觉着陆的四旋翼飞行器控制方法包括：
步骤一，将一个区域内的所有角点转换成一个单值角点，指定四旋翼飞行器着陆进场方向和获取四旋翼飞行器空间点到像素点坐标；
步骤二，求解出机体系与摄像头系的变换关系后，通过视觉模式下的姿态与位置转换算法和视觉着陆控制算法解算出四旋翼飞行器的姿态和位置。
2.如权利要求1所述的基于视觉着陆的四旋翼飞行器的控制方法，其特征在于，步骤一，具体包括：
1)构建视觉识别标志：
采用以两个纯黑色实心等边三角形组成，背景为白色纸的标志，用于识别图像用的特征；
2)角点检测：通过改进Harris角点算法进行检测角点；
3)标志图像识别：由改进Harris算法，识别出标志图像的6个特征角点，判定标志图像。
3.如权利要求2所述的基于视觉着陆的四旋翼飞行器的控制方法，其特征在于，步骤2)角点检测具体包括：
(1)首先求得梯度矩阵M，通过水平和数值差分算子对图像的所有像素点进行滤波，得到的灰度值在x方向，y方向的梯度Ix、Iy构成梯度矩阵M：
由上式得到，假如一个像素点的Ix和Iy都很大，表明该像素点为一个角点；
(2)采用大小为3×3的高斯滤波器对矩阵M中的元素滤波，高斯算子公式：
联立和得到平滑处理后的矩阵M：
(3)定义角点响应函数，如下式；
R＝det(G(M))-k*trace2(G(M))；
det(G(M))和trace(G(M))为分别表示矩阵M的行列式和迹，k＝0.04-0.06为经验参数；k为固定值；定义新的响应函数：
(4)若公式中的cim矩阵同时满足条件，则认为是角点。
4.如权利要求3所述的基于视觉着陆的四旋翼飞行器的控制方法，其特征在于，步骤(4)中满足条件包括：
(a)cim函数值大于某一阈值tresh；
(b)当前响应点是邻域内的局部极大值；
由(a)判断条件得到，最后输出的Harris角点值和阈值tresh的选取有关，选择适当的阈值后，存在许多Harris角点群；
由(b)判断条件得到，在许多Harris角点群中做极大值筛选得到一个角点输出；通过改进的滤波器，到某个Harris角点附近的其他角点位置，计算几何中心后输出一个单角点；写成如下公式：
式中，S_Harris(x,y)即为最终的Harris角点输出，Harris_Corners(i)即为得到的Harri角点群。
5.如权利要求2所述的基于视觉着陆的四旋翼飞行器的控制方法，其特征在于，步骤3)标志图像识别中，6个角点中相邻的角点会组成3个不同数值的10段距离，并且这三个距离刚好组成一个直角三角形；标志图像判定条件包括：
6个相邻角点计算得到的10段距离中，只有3个不同的值a,b,c，且a＜b＜c；
a,b,c构成三角形且满足a2+b2＝c2，即a,b,c组成直角三角形。
6.如权利要求1所述的基于视觉着陆的四旋翼飞行器的控制方法，其特征在于，步骤二四旋翼位姿转换和视觉着陆算法包括：
a)视觉模式下相对位置估计:
计算标志图像中心在摄像头系下的坐标与摄像头光心Oc的距离；摄像头光心Oc的位置可根据平移矩阵[Tx Ty h]确定；通过三角形相似性定理求解相对相对高度h；
lc/d是摄像头焦距的像素长度；P1,P2是标志图像两个角点在导航系的二维位置，I1,I2是标志图像的两个角点在图像系下的像素点位置；通过相似三角形，得到如下公式：
首先，测量得到标志图像中P1,P2的距离P1P2；已知P1,P2的坐标，运用像素平面和图像平面的转换关系，算出P1,P2在图像坐标系下的像素点距离I1I2，lc/d的距离通过标定摄像头得到；最后由公式求出四旋翼距离标志图像中心的高度h；假定导航坐标系下的标志图像的中心点坐标(0,0,0)T，得到下公式：
由公式得到平移向量矩阵[Tx Ty h]中的Tx和Ty，如下公式：
公式中，h为四旋翼距离标志图像中心的高度，u,v是标志图像中心点在图像平面的像素坐标，(u0,v0)是图像平面和光轴的交点，lc/dx、lc/dy分别表示焦距在X、Y轴上的像素长度。
b)视觉模式下相对姿态估计算:
(i)给定偏航角范围(-180°，90°]，其中C1像素行坐标大于C5像素行坐标，并且C1像素列坐标大于C5像素列坐标；同时满足上述两个条件；则给定偏航角ψcr的计算公式如下：
(ii)给定偏航角ψcr范围[-90°，0)，其中C1像素行坐标小于C5像素行坐标，并且C1像素列坐标大于C5像素列坐标；同时满足上述两个条件；则给定偏航角ψcr的计算公式如下：
(iii)给定偏航角ψcr范围(0，90°]，其中C1像素行坐标小于C5像素行坐标，并且C1像素列坐标小于C5像素列坐标；同时满足上述两个条件；则给定偏航角ψcr的计算公式如下：
(iv)给定偏航角ψcr范围[90°，180°)，其中C1像素行坐标大于C5像素行坐标，并且C1像素列坐标小于C5像素列坐标；同时满足上述两个条件；则给定偏航角ψcr的计算公式如下：
c)视觉着陆包括：第一阶段：视觉着陆系统对着陆标志识别，实时位置姿态估计，并对位置姿态实时调整；
第二阶段：根据识别的位置姿态信息以及高度信息，通过着陆控制算法实时控制四旋翼飞行器着陆。
7.一种实施权利要求1所述基于视觉着陆的四旋翼飞行器的控制方法的基于视觉着陆的四旋翼飞行器的控制系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910372312.8A CN110083177A (zh) | 2019-05-06 | 2019-05-06 | 一种基于视觉着陆的四旋翼飞行器及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910372312.8A CN110083177A (zh) | 2019-05-06 | 2019-05-06 | 一种基于视觉着陆的四旋翼飞行器及控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110083177A true CN110083177A (zh) | 2019-08-02 |
Family
ID=67418920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910372312.8A Pending CN110083177A (zh) | 2019-05-06 | 2019-05-06 | 一种基于视觉着陆的四旋翼飞行器及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110083177A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110906922A (zh) * | 2019-11-08 | 2020-03-24 | 沈阳无距科技有限公司 | 无人机位姿信息的确定方法及装置、存储介质、终端 |
| CN112762900A (zh) * | 2021-01-12 | 2021-05-07 | 潍坊工程职业学院 | 一种可以增加遥感图像测绘精度的辅助装置 |
| CN113189875A (zh) * | 2021-04-29 | 2021-07-30 | 湖南大学 | 一种基于圆形特征的无人机在移动平台上鲁棒着陆方法 |
| CN113190042A (zh) * | 2021-05-06 | 2021-07-30 | 南京云智控产业技术研究院有限公司 | 一种基于图形矩的无人机地面移动目标追踪控制方法 |
| CN115050215A (zh) * | 2022-04-29 | 2022-09-13 | 北京航空航天大学 | 基于机器视觉辅助的门对门全自主飞行着陆引导方法 |
| CN115218928A (zh) * | 2022-08-11 | 2022-10-21 | 湖南科天健光电技术有限公司 | 校准方法、测量待测目标的方法、装置、系统及飞行系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102914302A (zh) * | 2012-09-12 | 2013-02-06 | 西北工业大学 | 一种无人机着陆视觉导航合作目标鲁棒检测方法 |
| CN103424126A (zh) * | 2013-08-12 | 2013-12-04 | 西安电子科技大学 | 一种无人机视觉自主着陆仿真验证系统及方法 |
| CN105929837A (zh) * | 2016-04-23 | 2016-09-07 | 上海大学 | 小型无人旋翼机自主着陆位姿估计方法 |
-
2019
- 2019-05-06 CN CN201910372312.8A patent/CN110083177A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102914302A (zh) * | 2012-09-12 | 2013-02-06 | 西北工业大学 | 一种无人机着陆视觉导航合作目标鲁棒检测方法 |
| CN103424126A (zh) * | 2013-08-12 | 2013-12-04 | 西安电子科技大学 | 一种无人机视觉自主着陆仿真验证系统及方法 |
| CN105929837A (zh) * | 2016-04-23 | 2016-09-07 | 上海大学 | 小型无人旋翼机自主着陆位姿估计方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张晓龙: "基于视觉的四旋翼飞行器自主着陆和位姿估计", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技Ⅱ辑》 * |
| 王立等: "基于北斗/GPS导航的视觉着陆四旋翼飞行器设计", 《中国优秀博硕士学位论文全文数据库（硕士）工程科技Ⅱ辑》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110906922A (zh) * | 2019-11-08 | 2020-03-24 | 沈阳无距科技有限公司 | 无人机位姿信息的确定方法及装置、存储介质、终端 |
| CN112762900A (zh) * | 2021-01-12 | 2021-05-07 | 潍坊工程职业学院 | 一种可以增加遥感图像测绘精度的辅助装置 |
| CN112762900B (zh) * | 2021-01-12 | 2022-09-13 | 潍坊工程职业学院 | 一种增加遥感图像测绘精度的辅助装置 |
| CN113189875A (zh) * | 2021-04-29 | 2021-07-30 | 湖南大学 | 一种基于圆形特征的无人机在移动平台上鲁棒着陆方法 |
| CN113189875B (zh) * | 2021-04-29 | 2022-04-22 | 湖南大学 | 一种基于圆形特征的无人机在移动平台上鲁棒着陆方法 |
| CN113190042A (zh) * | 2021-05-06 | 2021-07-30 | 南京云智控产业技术研究院有限公司 | 一种基于图形矩的无人机地面移动目标追踪控制方法 |
| CN115050215A (zh) * | 2022-04-29 | 2022-09-13 | 北京航空航天大学 | 基于机器视觉辅助的门对门全自主飞行着陆引导方法 |
| CN115050215B (zh) * | 2022-04-29 | 2023-12-26 | 北京航空航天大学 | 基于机器视觉辅助的门对门全自主飞行着陆引导方法 |
| CN115218928A (zh) * | 2022-08-11 | 2022-10-21 | 湖南科天健光电技术有限公司 | 校准方法、测量待测目标的方法、装置、系统及飞行系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110083177A (zh) | 一种基于视觉着陆的四旋翼飞行器及控制方法 | |
| CN108305264B (zh) | 一种基于图像处理的无人机精确着陆方法 | |
| CN109270953B (zh) | 一种基于同心圆视觉标识的多旋翼无人机自主降落方法 | |
| CN106054929B (zh) | 一种基于光流的无人机自动降落引导方法 | |
| CN111968128B (zh) | 一种基于图像标记的无人机视觉姿态和位置解算方法 | |
| CN109949361A (zh) | 一种基于单目视觉定位的旋翼无人机姿态估计方法 | |
| CN107194399B (zh) | 一种视觉定标的方法、系统及无人机 | |
| CN109725645B (zh) | 一种嵌套式无人机着陆合作标志设计及相对位姿获取方法 | |
| CN108873917A (zh) | 一种面向移动平台的无人机自主着陆控制系统及方法 | |
| CN104298248A (zh) | 旋翼无人机精确视觉定位定向方法 | |
| CN110081875B (zh) | 一种仿鸽子智能的无人机自主导航系统及方法 | |
| CN106774386A (zh) | 基于多尺度标识物的无人机视觉导航降落系统 | |
| CN108955685A (zh) | 一种基于立体视觉的加油飞机锥套位姿测量方法 | |
| CN109460046B (zh) | 一种无人机自然地标识别与自主着陆方法 | |
| CN106570904A (zh) | 一种基于Xtion摄像头的多目标相对位姿识别方法 | |
| CN110058604A (zh) | 一种基于计算机视觉的无人机精准降落系统 | |
| CN108387206A (zh) | 一种基于地平线与偏振光的载体三维姿态获取方法 | |
| CN114415736B (zh) | 一种无人机多阶段视觉精准降落方法和装置 | |
| CN114004977A (zh) | 一种基于深度学习的航拍数据目标定位方法及系统 | |
| CN109613926A (zh) | 多旋翼无人机自动降落高精度自动识别降落区域的方法 | |
| CN108225273B (zh) | 一种基于传感器先验知识的实时跑道检测方法 | |
| Oszust et al. | A vision-based method for supporting autonomous aircraft landing | |
| Chiu et al. | Vision-only automatic flight control for small UAVs | |
| Duan et al. | Eagle-vision-inspired visual measurement algorithm for UAV’s autonomous landing | |
| CN109764864B (zh) | 一种基于颜色识别的室内无人机位姿获取方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190802 |