CN110068321B - 定点降落标志的uav相对位姿估计方法 - Google Patents

定点降落标志的uav相对位姿估计方法 Download PDF

Info

Publication number
CN110068321B
CN110068321B CN201910236732.3A CN201910236732A CN110068321B CN 110068321 B CN110068321 B CN 110068321B CN 201910236732 A CN201910236732 A CN 201910236732A CN 110068321 B CN110068321 B CN 110068321B
Authority
CN
China
Prior art keywords
point
rectangular frame
points
landing
uav
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910236732.3A
Other languages
English (en)
Other versions
CN110068321A (zh
Inventor
黄小云
王建强
许庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910236732.3A priority Critical patent/CN110068321B/zh
Publication of CN110068321A publication Critical patent/CN110068321A/zh
Application granted granted Critical
Publication of CN110068321B publication Critical patent/CN110068321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种定点降落标志的UAV相对位姿估计方法，该方法包括：步骤1，在移动平台设计定点降落标志形状。其中，定点降落标志利用RGB色彩模型，包括外部矩形框、内部矩形框以及和位于外部矩形框与内部矩形框之间且衔接外部矩形框和内部矩形框的隔离矩形框；步骤2，基于视觉检测标志的特征点；步骤3，根据检测到的标志特征点，估计UAV相对于定点降落标志的位姿。本发明提供的移动平台定点降落标志在外形和识别原理上明显有别于国内外现有的降落标志，以色彩学为基础的内外双层组合的移动平台降落标志形状，使得无人机在整个降落过程中都有标志特征的存在，为其在固定和移动平台上的自主降落提供基础。

Description

定点降落标志的UAV相对位姿估计方法
技术领域
本发明涉及一种UAV(英文全称为“Unmanned Aerial Vehicle”；中文全称为“无人驾驶飞机”；中文简称为“无人机”)自主导航及降落技术领域，特别设计一种定点降落标志的UAV相对位姿估计方法。
背景技术
基于视觉的定点降落标志主要用于装载有相机的UAV的自主导航及降落。UAV通过检测降落平台标志中的图案，得到所需要的特征信息，再利用图像坐标系与平台标志坐标之间的转换关系，联立方程组，求解出UAV相对于标志平台的位置姿态(下文简称为“位姿”)信息，从而实现UAV自主导航及降落在指定位置。与自然景物及建筑设施特征相比，定点降落标志能为UAV提供固有的特征信息，针对性地特征提取方法更有利于提高信息的准确性和系统的稳定性。
目前国内外常用的定点降落标志根据检测原理不同，主要分为基于点信息、线信息和面信息三种。
基于点信息的方法利用了三维空间中的点经过相机投影成像模型成为像平面上像点的投影原理，首先通过图像处理方法得到空间点在像面上的对应坐标，再建立关于这些点的投影方程组，通过解方程组得到相对位姿。基于点信息而设计的人工图标也分为许多种，例如，图1a为Amidi等使用的图标，其中包括了6个矩形，通过检测所有矩形的各个角点，再联立方程组来计算无人机相对位姿。刘晓杰等设计了一个以圆心为特征点的降落标志形状(见图1b)，利用联合基色动态统计的自适应阈值分割法对所采集的图像进行动态自适应二值化预处理，应用基于投影与小波变换的联合方法对特征点进行提取，再计算无人机的相对位姿。那盟等提出了红蓝两个正方形组成的矩形图标，同样是检测矩形的4个角点联立方程组从而得到无人机相对位姿。
直接通过检测点的信息来计算无人机相对位姿的方法对几何信息的利用不够充分，稳定性和可靠性较弱。而且，由于在无人机降落到较低位置时，标志不能完整出现在视觉范围内，目前基于点信息的方法也无法满足在移动平台上的实用需求。
基于平行线信息的方法是利用空间中平行线在射影到像平面后相交于消影点的固有特性，因此通过在图像中检测消影点的方法，估计得到无人机相对标志的位姿。刘士清设计的降落标志形状如图2a所示，图案中包含了四组平行线，利用这些平行线在图像中消影点、消影线和角点来估计无人机的相对位姿。邱力为等使用了双目视觉系统，利用Hough变换检测图像中标志的直线(图案标志见图2b)，然后提取各个角点，结合点、线和角点信息对位姿进行估计。Xu G.l.等采用了一个T形作为降落标志形状(如图2c)，利用T形的两对平行线在图像中的消失点估计相对位姿。
虽然与点信息方法相比，基于线信息的方法对几何信息的利用更充分，更稳定。然而，由于在无人机降落到较低位置时，标志不能完整出现在视觉范围内，目前基于面信息的方法任无法满足在移动平台上的实用需求。
基于面信息的方法则是利用设计的标志的面积、图像矩、质心或主轴方向等信息，在某些假设条件下估计载体的相对标志位姿，但通常这种方法很难一次获得全部位姿信息。图3a是由徐贵力等人设计的红外十字架形状的平面标志，主要采用图像矩法和方向链码法来实现平面标志识别，由于使用了红外因此无人机可以全天候在舰艇甲板上着陆。Yang S.W.等设计了一个由圆环和“H”形状相结合的标志(见图3b)，首先利用二值化图像与连通区域提取技术检测标志中的图案并分类，然后通过投影几何关系计算得到相对位姿信息。Lange等人利用了环形圆信息，如图3c所示，图案由4个白色同心圆环组成，而且从内到外各圆环的内外径比分别为50％、65％、75％和85％，正是利用这一比值在图像中确定识别出的圆环的对应位置，在假设无人机俯仰角和滚动角为0的情况下，最终可根据圆环信息估计其余位姿参数。
基于面信息的方法一般假设无人机姿态接近水平，因此适用范围受到限制。而且，由于在无人机降落到较低位置时，标志不能完整出现在视觉范围内，目前基于面信息的方法也无法满足在移动平台上的实用需求。
发明内容
本发明的目的在于提供一种定点降落标志的UAV相对位姿估计方法来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种定点降落标志的UAV相对位姿估计方法，定点降落标志的UAV相对位姿估计方法包括：步骤1，在移动平台设计定点降落标志形状。其中，所述定点降落标志利用RGB色彩模型，包括外部矩形框、内部矩形框以及和位于外部矩形框与内部矩形框之间且衔接外部矩形框和内部矩形框的隔离矩形框；步骤2，基于视觉检测标志的特征点：当UAV处于相对高空阶段时，检测所述外部矩形框的外轮廓边缘上的特征点，当UAV已经接近移动平台，检测所述内部矩形框的外轮廓边缘上的特征点；步骤3，根据检测到的标志特征点，估计UAV相对于定点降落标志的位姿。
进一步地，所述外部矩形框选用蓝色作为基底颜色，所述内部矩形框选用蓝色作为基底颜色，所述内部矩形框与隔离矩形框相衔接的部分区域选用红蓝色，所述隔离矩形框选用绿色。
进一步地，所述步骤21具体包括：
步骤211，检测标志中所述外部矩形框的图案区域，其具体包括：
步骤2111，基于R、G、B三个通道分量的图像分割：首先，从UAV机载摄像头拍摄的彩色图像中提取R、G、B三个通道的分量图；然后，计算差值图像B-G和R-G，以去除降落标志形状之外的背景图像；再将差值图像B-G和R-G分别进行自适应二值化处理，以增强标志图案的像素；最后，将得到的两张二值化图像进行与运算，以合并为一张二值图像；
步骤2112，开闭运算去噪点：首先，采用矩形结构核，对步骤2111得到的二值图像进行闭运算，然后再进行开运算；
步骤2113，提取最大联通区域：首先，对步骤2112得到的二值图像进行联通区域检测；然后，计算各个连通区域包含的像素点个数；最后，将像素点个数最多，即面积最大的连通区域作为标志的外部矩形框1的图案区域；
步骤212，检测及定位特征点，获得所述外部矩形框的外轮廓边缘上的四个角点。
进一步地，所述步骤22具体包括：
步骤221，检测标志中所述内部矩形框的图案区域，其具体包括：
步骤2211，基于R、G、B三个通道分量的图像分割：首先，从UAV机载摄像头拍摄的彩色图像中提取R、G、B三个通道的分量图；然后，计算差值图像G-R和G-B，以去除降落标志形状之外的背景图像；再将差值图像G-R和G-B分别进行自适应二值化处理，以增强降落标志形状的像素；最后，将得到的两张二值化图像进行与运算，以合并为一张二值图像。
步骤2212，开闭运算去噪点：首先，采用矩形结构核，对步骤2211得到的二值图像进行闭运算，然后再进行开运算。
步骤2213，提取最大联通区域：首先，对步骤2211得到的二值图像进行联通区域检测；然后，计算各个连通区域包含的像素点个数(即连通区域面积)；最后，保留像素点个数最多，即面积最大的连通区域作为标志的内部矩形框2的图案区域；
步骤222，检测及定位特征点，获得所述内部矩形框的外轮廓边缘上的四个角点。
进一步地，所述步骤212和步骤222均具体包括：
步骤212a，检测步骤2113和步骤2213保留的最大联通区域的外侧轮廓边缘点集中的每一个像素点的梯度幅值及方向：首先，设计8个大小为5×5的梯度算子，分别表示常见的8个梯度方向：2个方向的水平梯度、2个方向的垂直梯度、4个方向的斜45°梯度；然后，使用设计好的8个梯度算子分别与步骤2113和步骤2213得到的最大联通区域的所有外侧轮廓边缘点进行卷积运算；最后，遍历步骤2113和步骤2213保留的最大联通区域的外侧轮廓边缘点集中的每一个像素点，每个像素点再遍历8个方向的梯度算子进行卷积运算得到的值，找到取得最大值的梯度方向；
步骤212b，根据步骤212a找到的取得最大值的梯度方向的外侧轮廓边缘点，进行分类：所有在一个梯度方向上取得卷积运算最大值的像素点统计为同一类，并保留像素点数量最多的四个类；
步骤212c，最优直线拟合，获得所述外部矩形框的四条边分别所在的直线。
进一步地，所述步骤212c具体包括：
步骤212d，根据步骤212b获得的四个类，检测是否存在未进行直线拟合的边缘点类，a)如果存在，随机选择一类，并从中随机选择其中两个像素点，形成一条直线，并得到其直线方程f(x)＝ax+b，转入步骤212e；b)如果不存在，循环结束；
步骤212e：采用下式(1)计算当前直线方程的该拟合边缘点类中所有点的距离函数ρ(r)值；
Figure GDA0002305827740000051
式(1)中，r代表取同一横坐标x下，像素点与直线之间的纵向距离，其表示为下式(2)：
r＝|y-f(x)| (2)
δ为权值；
步骤212f：判断步骤212e计算得到的当前拟合边缘点类的所有边缘点的距离函数之和∑ρ(r)是否达到精度要求，a)如果已达到，将此直线方程定义为此边缘点在图像上的最优拟合直线，转入步骤212d；b)如果未达到，随机更新直线方程中的系数a和b，转入步骤212e。
进一步地，步骤212和和步骤222均具体包括：
步骤212g，分别计算由步骤212c拟合得到的四条直线两两之间的夹角，保留得到的最大四个夹角值的直线对；
步骤212h，先分别计算步骤212g保留的最大四个夹角值的直线对的四个交点在其所在的UAV机载摄像头拍摄的彩色图像上的坐标，再根据四个交点在其所在的UAV机载摄像头拍摄的彩色图像上的坐标，在R-G的二值化图像中分别以四个交点为中心框选出c×c大小的矩形区域，并统计该区域内像素值之和∑Pi(i＝1,2,…,4)；
步骤212i，将步骤212h计算得到的四个交点的∑Pi(i＝1,2,…,4)中的最大值的中心点，作为第一角点；
步骤212j，在步骤212h保留的最大四个夹角值的直线对的另外三个交点中，与所述第一角点不共线的交点定位为第三角点；
步骤212k，在与所述第一角点共线的两个交点中任意选取一点，计算选取的该点与所述第一角点连接成的第一直线沿顺时针方向旋转到未被选取的点与所述第一角点连接形成的第二直线之间的夹角θ的大小，若θ＜180°，那么选取的该点定位为第二角点，另一未被选取的点定位为第四角点；否则该点定位为第四角点，另一未被选取的点定位为第二角点。
进一步地，步骤3具体包括：
步骤31，根据消失点坐标的位姿，计算相对位姿x的初始值；
步骤32，根据步骤31计算得到的初始值以及步骤2检测到的标志的特征点，利用L-M方法估计UAV相对于定点降落标志的位姿。
进一步地，步骤31具体包括：
步骤311，在图像坐标系中，联立平行于降落标志坐标系的Xw轴的两条直线对应的直线方程，计算这两直线在图像坐标系中的交点P(up,vp)，该点为降落标志坐标系中斜率为0的直线组在图像中的消失点坐标；
步骤312，令图像坐标系相对于标志的滚动角的初始值
Figure GDA0002305827740000061
将消失点坐标P(up,vp)代入下面的式(3)，计算得到图像坐标系相对于标志的俯仰角的初始值θ0和图像坐标系相对于标志的偏航角初始值
Figure GDA0002305827740000062
Figure GDA0002305827740000063
式(3)中，fu、fv是UAV机载摄像头分别在图像坐标系中X和Y两个方向的焦距，u0和v0是相机图像的中心点在图像坐标系中X和Y两个方向的坐标值；
步骤313，在步骤2检测到的标志的外部矩形框1的4个角点中随机选取两个点，或者，在步骤2检测到的标志的内部矩形框2的4个角点中随机选取两个点，令被选取的两点分别在图像坐标和对应降落标志坐标中的坐标分别为(u1,v1)、(u2,v2)和(xw1,yw1,zw1)、(xw2,yw2,zw2)，将步骤31计算得到的初始值：
Figure GDA0002305827740000064
θ＝θ0和
Figure GDA0002305827740000065
均代入式(4),再将n＝2和两点的坐标值代入式(5)，再联立公式(4)和(5)，计算得到位置参数初始值tx0,ty0,tz0；
Figure GDA0002305827740000066
Figure GDA0002305827740000067
式(5)中，参考图8，xw1、……xwn分别表示各角点在降落标志坐标系中在Xw方向的坐标值；yw1、……ywn分别表示各角点在降落标志坐标系中在Yw方向的坐标值；zw1、……zwn分别表示各角点在降落标志坐标系中在Zw方向的坐标值；u0、……un分别表示各角点在图像坐标系中在U方向的坐标值；v0、……vn分别表示各角点在图像坐标系中在V方向的坐标值。
进一步地，步骤32具体包括：
步骤321，令F(x)＝(f1(x)，f2(x)，…，fn(x))T，其中，f(x)为方程组(4)的等号左侧部分，
Figure GDA0002305827740000071
步骤322，输入步骤31计算得到的初始值
Figure GDA0002305827740000072
设置终止迭代控制参数ε、迭代次数计数k＝0、阻尼系数变量λ0＝10-3和系数s＝10，计算ε0＝||F(x0)||；
步骤323，计算Jacobi矩阵Jk以及
Figure GDA0002305827740000073
便可构造出增量正规方程
Figure GDA0002305827740000074
其中，令
Figure GDA0002305827740000075
Figure GDA0002305827740000076
那么，
Figure GDA0002305827740000077
表示当前向量x与函数F(x)＝0的最佳线性逼近程度；I为单位矩阵；δk为增量正规方程的增量，用来调整向量x的大小，使其快速逼近最优值；
步骤324，求解步骤323构造出的增量正规方程，得到调整系数δk；
步骤325，a)如果||F(xk+δk)||<εk：令xk+1＝xk+δk，然后判断||δk||＜ε是否成立，如果成立，则停止迭代并输出最终位姿参数结果；否则令λk+1＝λk/s，返回步骤323；b)如果||F(xk+δk)||≥εk，则令λk+1＝s×λk，然后返回步骤323。
本发明提供的移动平台定点降落标志在外形和识别原理上明显有别于国内外现有的降落标志，以色彩学为基础的内外双层组合的移动定点降落标志形状，使得无人机在整个降落过程中都有标志特征的存在，通过L-M迭代方法与消失点相结合的方法估计UAV的当前实时相对位姿，为其在固定和移动平台上的自主降落提供基础。
附图说明
图1a至图1b均是现有技术中基于点信息的人工标志的示意图；
图2a至图2c均是现有技术中基于线信息的人工标志的示意图；
图3a至图3c均是现有技术中基于面信息的人工标志的示意图；
图4是本发明实施例提供的定点降落标志形状的示意图；
图5是本发明实施例提供的外部标志特征的检测流程示意图；
图6是本发明实施例提供的8个方向的梯度算子；
图7是本发明实施例的UAV机载摄像头处于相对高空阶段时拍摄到的图像，其中包含了降落标志；
图8是本发明实施例的UAV、像平面以及降落标志各自坐标系之间的对应关系示意图。
具体实施方式
在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
定点降落标志的UAV相对位姿估计方法以UAV机载摄像头采集的定点降落标志(下文均简称为“标志”)图像作为信息基础来实现，因此，标志的形状设计及检测方法将直接影响到整个系统的性能。目前已有的标志大多放置于如地面等固定的降落平台上，标志因此而不会移动，所以UAV机载摄像头只需在一段时间内检测到标志，并计算出UAV相对于标志平台的位姿信息，再依据计算出的UAV相对于标志平台的位姿，直接降落到目标点。但是，当降落平台是一个移动平台(如车辆平台)，则需要UAV机载摄像头在整个降落过程中，都能实时获取标志的图像信息，从而不断更新当前UAV相对于标志平台的位姿信息，以实现降落到移动平台。
为适应在整个降落过程的实时定位要求，本发明设计了一种以彩色图案为基础的内外双层目标的标志，提出了针对此标志的图像检测方法，以及基于该标志特征的UAV相对降落标志的位姿估计方法。当UAV处于不同的降落高度阶段，平台标志的使用及检测方法也略有不同。利用色彩学为基础检测标志区域，面对精确获取不规则四边形各角点坐标的问题，提出了一种基于梯度聚类的高鲁棒性及高准确性的识别定位方法。利用视觉系统中图像坐标系和降落标志坐标系之间的转换关系，提出了基于图像特征点信息的L-M迭代方法与消失点相结合的无人机相对位姿最优估计方法，为UAV在静止和移动平台上的自主降落提供重要信息。其中，图像坐标系的确定规则是：图像的左下角点为坐标原点，垂直向上为Y轴，平行向右为X轴。
鉴于此，本实施例所涉及的一种定点降落标志的UAV相对位姿估计方法包括：
步骤1，在移动平台设计定点降落标志形状。其中，定点降落标志在移动平台的设置位置只要足够UAV降落的空间即可，定点降落标志的尺寸可根据降落空间和机载相机的视野来灵活确定。
步骤2，基于视觉检测标志的特征点；
步骤3，根据检测到的标志特征点，估计UAV相对于定点降落标志的位姿。
其中，步骤1提供的“设计定点降落标志形状”的降落标志形状如图图4所示，该降落标志形状利用RGB色彩模型，包括外部矩形框1、内部矩形框2以及和位于外部矩形框1与内部矩形框2之间且衔接外部矩形框1和内部矩形框2的隔离矩形框3。外部矩形框1选用蓝色作为基底颜色，内部矩形框2选用蓝色作为基底颜色，但内部矩形框2与隔离矩形框3相衔接的部分区域选用红蓝色，隔离矩形框3选用绿色，这样，形成了一个以内外两层定位图案组合而成的标志。
其中，步骤2提供的“基于视觉检测标志的特征点”具体在使用标志的形状过程中，当UAV处于相对高空阶段时，检测外部矩形框1的外轮廓边缘上的特征点，例如图4中的外部矩形框1、内部矩形框2和隔离矩形框3均设计成矩形，因此，外部矩形框1的四个角点，即角点1、角点2、角点3和角点4，作为检测到的外部矩形框1的外轮廓边缘上的特征点。当UAV已经接近移动平台，即处于即将着落移动平台的阶段时，此时因UAV机载摄像头的视场所限，外部矩形框1的外轮廓边缘的特征点已经处于UAV机载摄像头视野以外，此时，检测内部矩形框2的外轮廓边缘上的特征点，即图4中的角点5、角点6、角点7和角点8。
下面对步骤2提供的“基于视觉检测标志的特征点”进行详细说明，步骤2包括：
步骤21，检测外部矩形框1的外轮廓边缘上的特征点。
步骤22，检测内部矩形框2的外轮廓边缘上的特征点。
其中，步骤21提供的“检测外部矩形框1的外轮廓边缘上的特征点”具体包括：
步骤211，检测标志中外部矩形框1的图案区域。
步骤212，检测及定位特征点，获得外部矩形框1的外轮廓边缘上的四个角点，如图4中示出的角点1、角点2、角点3和角点4。
其中，步骤211提供的“检测标志的图案区域”具体包括：
步骤2111，基于R、G、B三个通道分量的图像分割：首先，从UAV机载摄像头拍摄的彩色图像中提取R、G、B三个通道的分量图；然后，计算差值图像B-G和R-G，以去除降落标志形状之外的背景图像；再将差值图像B-G和R-G分别进行自适应二值化处理，以增强标志图案的像素；最后，将得到的两张二值化图像进行与运算，以合并为一张二值图像。
步骤2112，开闭运算去噪点：首先，采用矩形结构核，对步骤2111得到的二值图像进行闭运算，然后再进行开运算。
步骤2113，提取最大联通区域：首先，对步骤2112得到的二值图像进行联通区域检测；然后，计算各个连通区域包含的像素点个数(即连通区域面积)；最后，将像素点个数最多，即面积最大的连通区域作为标志的外部矩形框1的图案区域。
其中，步骤212提供的“检测及定位特征点”具体包括：
步骤2121，根据步骤211检测到的标志中外部矩形框1的图案区域，获得外部矩形框1的四条边分别所在的直线，即图4中的直线A、直线B、直线C和直线D。
步骤2122，根据步骤2121获得的外部矩形框1的四条边分别所在的直线，获得外部矩形框1的外轮廓边缘上的四个角点。
其中，步骤2121具体包括：
步骤212a，检测步骤2113保留的最大联通区域的外侧轮廓边缘点集中的每一个像素点的梯度幅值及方向：首先，设计如图6所示的8个大小为5×5的梯度算子，分别表示常见的8个梯度方向：2个方向的水平梯度、2个方向的垂直梯度、4个方向的斜45°梯度。当然，也可以划分的更加细致，但会影响运算速度。然后，使用设计好的8个梯度算子分别与步骤2113得到的最大联通区域的所有外侧轮廓边缘点进行卷积运算。最后，遍历步骤2113保留的最大联通区域的外侧轮廓边缘点集中的每一个像素点，每个像素点再遍历8个方向的梯度算子进行卷积运算得到的值，找到取得最大值的梯度方向。
步骤212b，根据步骤212a找到的取得最大值的梯度方向的外侧轮廓边缘点，进行分类：所有在一个梯度方向上取得卷积运算最大值的像素点统计为同一类，并保留像素点数量最多的四个类。
步骤212c，最优直线拟合，获得外部矩形框1的四条边分别所在的直线，其具体包括如下步骤212d至步骤212f：
步骤212d，根据步骤212b获得的四个类，检测是否存在未进行直线拟合的边缘点类，a)如果存在，随机选择一类，并从中随机选择其中两个像素点，形成一条直线，并得到其直线方程f(x)＝ax+b，转入步骤212e；b)如果不存在，循环结束。
步骤212e：采用下式(1)计算当前直线方程的该拟合边缘点类中所有点的距离函数ρ(r)值；
Figure GDA0002305827740000111
式(1)中，r代表取同一横坐标x下，像素点与直线之间的纵向距离，其表示为下式(2)：
r＝|y-f(x)| (2)
δ为权值，该值为经验值，其具体数值一般从实验中确定，例如，计算机视觉库OpenCV中给默认值为1.345。
步骤212f：判断步骤212e计算得到的当前拟合边缘点类的所有边缘点的距离函数之和∑ρ(r)是否达到精度要求，a)如果已达到，将此直线方程定义为此边缘点在图像上的最优拟合直线，转入步骤212d；b)如果未达到，随机更新直线方程中的系数a和b，转入步骤212e。其中：“判断所有此类外侧边缘点的距离函数之和∑ρ(r)是否达到精度要求”可以理解为，自行设置一个阈值，在所有此类外侧边缘点的距离函数之和∑ρ(r)小于设定的阈值的情形下，可认为达到精度要求，否则认为没有达到精度要求。
步骤2122，根据步骤步骤212c拟合得到的四条直线方程，定位外部矩形框1的外轮廓边缘上的四个角点，其具体包括如下步骤212g至步骤212k：
步骤212g，分别计算由步骤212c拟合得到的四条直线两两之间的夹角，保留得到的最大四个夹角值的直线对。
步骤212h，先分别计算步骤212g保留的最大四个夹角值的直线对的四个交点在其所在的UAV机载摄像头拍摄的彩色图像上的坐标，再根据四个交点在其所在的UAV机载摄像头拍摄的彩色图像上的坐标，在R-G的二值化图像中分别以四个交点为中心框选出c×c大小的矩形区域，并统计该区域内像素值之和∑Pi(i＝1,2,…,4)。其中，c的具体数值根据图像分辨率及降落标志形状的实际大小来确定。
步骤212i，将步骤212h计算得到的四个交点的∑Pi(i＝1,2,…,4)中的最大值的中心点，作为降落标志坐标系的原点O(0,0)，即图4中的第一角点(角点1)。
步骤212j，在步骤212h保留的最大四个夹角值的直线对的另外三个交点中，与所述第一角点(角点1)不共线的交点定位为图4中的第三角点(角点3)。
步骤212k，在与所述第一角点(角点1)共线的两个交点中任意选取一点，计算选取的该点与所述第一角点(角点1)连接成的第一直线沿顺时针方向旋转到未被选取的点与所述第一角点(角点1)连接形成的第二直线之间的夹角θ的大小，若θ＜180°，那么选取的该点定位为图4中的第二角点(角点2)，另一未被选取的点定位为图4中的第四角点(角点4)；否则该点定位为图4中的第四角点(角点4)，另一未被选取的点定位为图4中的第二角点(角点2)。
那么，降落标志坐标系的确定规则可以由使用者认为设定，比如可以设角点1为坐标原点，角点1与角点2的连线为Y轴，角点1与角点4的连线为X轴。同样地，也可以将降落标志坐标系的原点平移至由角点1、角点2、角点3和角点4围成的矩形的中心点，此时的坐标系原点不同，各角点的坐标值相应地不同，但坐标原点设定好之后，标志的图案的实际尺寸也是提前设定好的，因此，各角点的坐标值由此而确定了。
其中，步骤22提供的“检测内部矩形框2的外轮廓边缘上的特征点”具体包括：
步骤221，检测标志中内部矩形框2的图案区域。
步骤222，检测及定位特征点，获得内部矩形框2的外轮廓边缘上的四个角点，如图4中示出的角点5、角点6、角点7和角点8。
其中，步骤221提供的“检测标志的图案区域”具体包括：
步骤2211，基于R、G、B三个通道分量的图像分割：首先，从UAV机载摄像头拍摄的彩色图像中提取R、G、B三个通道的分量图；然后，计算差值图像G-R和G-B，以去除降落标志形状之外的背景图像；再将差值图像G-R和G-B分别进行自适应二值化处理，以增强降落标志形状的像素；最后，将得到的两张二值化图像进行与运算，以合并为一张二值图像。
步骤2212，开闭运算去噪点：首先，采用矩形结构核，对步骤2211得到的二值图像进行闭运算，然后再进行开运算。
步骤2213，提取最大联通区域：首先，对步骤2211得到的二值图像进行联通区域检测；然后，计算各个连通区域包含的像素点个数(即连通区域面积)；最后，保留像素点个数最多，即面积最大的连通区域作为标志的内部矩形框2的图案区域。
其中，步骤222提供的“检测及定位特征点”目的在于获得内部矩形框2的外轮廓边缘上的四个角点，即角点5、角点6、角点7和角点8，与上述步骤212提供的“检测及定位特征点”的具体方法基本一致，在此不再展开说明。
本实施例针对该双层标志的目标特征检测方法，利用二值图像的形态学处理方法及最大连通区域理论方法实现了目标区域的分割，然后提出了一种基于梯度聚类及Huber直线拟合的不规则四边形检测方法。
其中，步骤3提供的“根据检测到的标志特征点，利用L-M方法估计UAV相对于定点降落标志的位姿”，该相对位姿表示为：
Figure GDA0002305827740000131
如图8所示，图中的A表示图像坐标系O(U，V)；B表示图像(像面)坐标系OS(x，y)，C表示相机(UAV机载摄像头)坐标系OC(XC,YC,ZC)；D表示降落标志坐标系Ow(Xw，Yw，Zw)。其中：
Figure GDA0002305827740000132
为相机坐标系相对于降落标志坐标系的滚动角，θ为相机坐标系相对于降落标志坐标系的俯仰角，
Figure GDA0002305827740000133
为相机坐标系相对于降落标志坐标系的偏航角，tx为相机坐标系在降落标志坐标系中在X的位置坐标值，ty为相机坐标系在降落标志坐标系中在Y方向的坐标值，tz为相机坐标系在降落标志坐标系中在Z方向的坐标值。
步骤3具体包括：
步骤31，根据消失点坐标的位姿，计算相对位姿x的初始值。
步骤32，根据步骤31计算得到的初始值以及步骤2检测到的标志的特征点，利用L-M方法估计UAV相对于定点降落标志的位姿。
其中，步骤31具体是，根据消失点坐标的位姿，计算图像坐标系相对于标志的俯仰角的初始值θ0和图像坐标系相对于标志的偏航角初始值
Figure GDA0002305827740000134
具体包括：
步骤311，如图7所示，因为在飞行过程中，UAV机载摄像头与标志一般会存在一定的角度，因此，UAV机载摄像头拍出来的标志图像中的降落标志的四条边(图4中的直线A、直线B、直线C和直线D)无法两两平行，因此，存在交点。故，在UAV机载摄像头的图像坐标系中，联立图4中平行于Xw轴的两条直线A和C，即步骤212c获得的平行于Xw轴的两条直线A和C对应的直线方程，计算这两直线在图像坐标系中的交点P(up,vp)，该点为降落标志坐标系中斜率为0的直线组在图像中的消失点坐标。
步骤312，令图像坐标系相对于标志的滚动角的初始值
Figure GDA0002305827740000141
将消失点坐标P(up,vp)代入下面的式(3)，计算得到图像坐标系相对于标志的俯仰角的初始值θ0和图像坐标系相对于标志的偏航角初始值
Figure GDA0002305827740000142
Figure GDA0002305827740000143
式(3)中，fu、fv是UAV机载摄像头分别在图像坐标系中X和Y两个方向的焦距，u0和v0是相机图像的中心点在图像坐标系中X和Y两个方向的坐标值，这些数据可通过相机标定的方法得到。
步骤313，在步骤2检测到的标志的外部矩形框1的4个角点中随机选取两个点，令被选取的两点分别在图像坐标和对应降落标志坐标中的坐标分别为(u1,v1)、(u2,v2)和(xw1,yw1,zw1)、(xw2,yw2,zw2)，将步骤31计算得到的初始值：
Figure GDA0002305827740000144
和
Figure GDA0002305827740000147
均代入式(4),再将n＝2和两点的坐标值代入式(5)，再联立公式(4)和(5)，计算得到位置参数初始值tx0，ty0，tz0。
Figure GDA0002305827740000145
Figure GDA0002305827740000146
式(5)中，参考图8，xw1、……xwn分别表示各角点在降落标志坐标系中在Xw方向的坐标值；yw1、……ywn分别表示各角点在降落标志坐标系中在Yw方向的坐标值；zw1、……zwn分别表示各角点在降落标志坐标系中在Zw方向的坐标值。u0、……un分别表示各角点在图像坐标系中在U方向(横坐标)的坐标值；v0、……vn分别表示各角点在图像坐标系中在V方向(纵坐标)的坐标值各角点在图像坐标系中的坐标值。下标n表示角点数，例如：取2个角点时，n＝2；取4个角点时，n＝4。
也可以通过选取外部矩形框1的两个角点，获取相对位姿x的初始值。并且，外部矩形框1和内部矩形框2选取角点方法相同，也是在步骤2检测到的标志的内部矩形框2的4个角点中随机选取两个点，方法与步骤313相同，在此不再展开描述。
其中，步骤32提供的“根据步骤31计算得到的初始值以及步骤2检测到的标志的特征点，利用L-M方法估计UAV相对于定点降落标志的位姿”具体包括：
步骤321，令F(x)＝(f1(x)，f2(x)，…，fn(x))T，其中，f(x)为方程组(4)的等号的左侧的图像坐标系与大地(或标志图案)坐标系之间的转换的旋转矩阵，即
Figure GDA0002305827740000151
步骤322，输入步骤31计算得到的初始值
Figure GDA0002305827740000152
设置终止迭代控制参数ε、迭代次数计数k＝0、阻尼系数变量λ0＝10-3和系数s＝10，计算ε0＝||F(x0)||。
步骤323，计算Jacobi矩阵Jk以及
Figure GDA0002305827740000153
便可构造出增量正规方程
Figure GDA0002305827740000154
其中，令相对位姿
Figure GDA0002305827740000155
Figure GDA0002305827740000156
那么，
Figure GDA0002305827740000157
表示当前向量x与函数F(x)＝0的最佳线性逼近程度；I为单位矩阵；δk为增量正规方程的增量，用来调整向量x的大小，使其快速逼近最优值。
步骤324，求解步骤323构造出的增量正规方程，得到调整系数δk。
步骤325，a)如果||F(xk+δk)||<εk：令xk+1＝xk+δk，然后判断||εk||＜ε是否成立，如果成立，则停止迭代并输出最终位姿参数结果；否则令λk+1＝λk/s，返回步骤323；b)如果||F(xk+δk)||≥εk，则令λk+1＝s×λk，然后返回步骤323。xk是第k次迭代时所求向量x的取值；xk+1是第k+1次迭代所求向量x的取值；λk是第k次迭代时的阻尼系数变量；λk+1是第k+1次迭代时的阻尼系数变量；εk是第k次迭代时的||F(xk)||，表示向量x取当前的xk时与F(x)＝0之间的偏差大小。
本实施例提供的步骤3具体是以视觉系统中图像坐标系和平台标志坐标系之间的转换关系为基础，提出了基于标志图像特征点信息的L-M迭代方法与消失点相结合的无人机相对位姿最优估计方法。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种定点降落标志的UAV相对位姿估计方法，其特征在于，包括：
步骤1，在移动平台设计定点降落标志形状，其中，所述定点降落标志利用RGB色彩模型，包括外部矩形框、内部矩形框以及和位于外部矩形框与内部矩形框之间且衔接外部矩形框和内部矩形框的隔离矩形框；
步骤2，基于视觉检测标志的特征点：当UAV处于相对高空阶段时，检测所述外部矩形框的外轮廓边缘上的特征点，当UAV已经接近移动平台，检测所述内部矩形框的外轮廓边缘上的特征点；
步骤3，根据检测到的标志特征点，估计UAV相对于定点降落标志的位姿；
所述步骤2包括：
步骤21，检测外部矩形框的外轮廓边缘上的特征点；和
步骤22，检测内部矩形框的外轮廓边缘上的特征点；
其中，所述步骤21具体包括：
步骤211，检测标志中所述外部矩形框的图案区域；和
步骤212，检测及定位特征点，获得所述外部矩形框的外轮廓边缘上的四个角点；
所述步骤22具体包括：
步骤221，检测标志中所述内部矩形框的图案区域；
其中，所述步骤212具体包括：
步骤212a，检测所述步骤211中保留的最大联通区域的外侧轮廓边缘点集中的每一个像素点的梯度幅值及方向：首先，设计8个大小为5×5的梯度算子，分别表示常见的8个梯度方向：2个方向的水平梯度、2个方向的垂直梯度、4个方向的斜45°梯度；然后，使用设计好的8个梯度算子分别与所述最大联通区域的所有外侧轮廓边缘点进行卷积运算；最后，遍历所述最大联通区域的外侧轮廓边缘点集中的每一个像素点，每个像素点再遍历8个方向的梯度算子进行卷积运算得到的值，找到取得最大值的梯度方向；
步骤212b，根据步骤212a找到的取得最大值的梯度方向的外侧轮廓边缘点，进行分类：所有在一个梯度方向上取得卷积运算最大值的像素点统计为同一类，并保留像素点数量最多的四个类；
步骤212c，最优直线拟合，获得所述外部矩形框的四条边分别所在的直线。
2.如权利要求1所述的定点降落标志的UAV相对位姿估计方法，其特征在于，所述外部矩形框选用蓝色作为基底颜色，所述内部矩形框选用蓝色作为基底颜色，所述内部矩形框与隔离矩形框相衔接的部分区域选用红蓝色，所述隔离矩形框选用绿色。
3.如权利要求2所述的定点降落标志的UAV相对位姿估计方法，其特征在于，所述步骤21具体包括：
步骤211，检测标志中所述外部矩形框的图案区域，其具体包括：
步骤2111，基于R、G、B三个通道分量的图像分割：首先，从UAV机载摄像头拍摄的彩色图像中提取R、G、B三个通道的分量图；然后，计算差值图像B-G和R-G，以去除降落标志形状之外的背景图像；再将差值图像B-G和R-G分别进行自适应二值化处理，以增强标志图案的像素；最后，将得到的两张二值化图像进行与运算，以合并为一张二值图像；
步骤2112，开闭运算去噪点：首先，采用矩形结构核，对步骤2111得到的二值图像进行闭运算，然后再进行开运算；
步骤2113，提取所述最大联通区域：首先，对步骤2112得到的二值图像进行联通区域检测；然后，计算各个连通区域包含的像素点个数；最后，将像素点个数最多，即面积最大的连通区域作为标志的外部矩形框的图案区域。
4.如权利要求2所述的定点降落标志的UAV相对位姿估计方法，其特征在于，所述步骤2还包括：
步骤22，检测内部矩形框的外轮廓边缘上的特征点；
所述步骤22具体还包括：
步骤221具体包括：
步骤2211，基于R、G、B三个通道分量的图像分割：首先，从UAV机载摄像头拍摄的彩色图像中提取R、G、B三个通道的分量图；然后，计算差值图像G-R和G-B，以去除降落标志形状之外的背景图像；再将差值图像G-R和G-B分别进行自适应二值化处理，以增强降落标志形状的像素；最后，将得到的两张二值化图像进行与运算，以合并为一张二值图像；
步骤2212，开闭运算去噪点：首先，采用矩形结构核，对步骤2211得到的二值图像进行闭运算，然后再进行开运算；
步骤2213，提取最大联通区域：首先，对步骤2211得到的二值图像进行联通区域检测；然后，计算各个连通区域包含的像素点个数；最后，保留像素点个数最多，即面积最大的连通区域作为标志的内部矩形框的图案区域；
步骤222，检测及定位特征点，获得所述内部矩形框的外轮廓边缘上的四个角点。
5.如权利要求4所述的定点降落标志的UAV相对位姿估计方法，其特征在于，所述步骤222具体包括：
步骤222a，检测步骤221保留的最大联通区域的外侧轮廓边缘点集中的每一个像素点的梯度幅值及方向：首先，设计8个大小为5×5的梯度算子，分别表示常见的8个梯度方向：2个方向的水平梯度、2个方向的垂直梯度、4个方向的斜45°梯度；然后，使用设计好的8个梯度算子分别与所述最大联通区域的所有外侧轮廓边缘点进行卷积运算；最后，遍历所述最大联通区域的外侧轮廓边缘点集中的每一个像素点，每个像素点再遍历8个方向的梯度算子进行卷积运算得到的值，找到取得最大值的梯度方向；
步骤222b，根据步骤222a找到的取得最大值的梯度方向的外侧轮廓边缘点，进行分类：所有在一个梯度方向上取得卷积运算最大值的像素点统计为同一类，并保留像素点数量最多的四个类；
步骤222c，最优直线拟合，获得所述外部矩形框的四条边分别所在的直线。
6.如权利要求5所述的定点降落标志的UAV相对位姿估计方法，其特征在于，所述步骤212c具体包括：
步骤212d，根据步骤212b获得的四个类，检测是否存在未进行直线拟合的边缘点类，a)如果存在，随机选择一类，并从中随机选择其中两个像素点，形成一条直线，并得到其直线方程f(x)＝ax+b，转入步骤212e；b)如果不存在，循环结束；
步骤212e：采用下式(1)计算当前直线方程的该拟合边缘点类中所有点的距离函数ρ(r)值；
Figure FDA0002407639430000031
式(1)中，r代表取同一横坐标x下，像素点与直线之间的纵向距离，其表示为下式(2)：
r＝|y-f(x)| (2)
δ为权值；
步骤212f：判断步骤212e计算得到的当前拟合边缘点类的所有边缘点的距离函数之和∑ρ(r)是否达到精度要求，a)如果已达到，将此直线方程定义为此边缘点在图像上的最优拟合直线，转入步骤212d；b)如果未达到，随机更新直线方程中的系数a和b，转入步骤212e。
7.如权利要求4所述的定点降落标志的UAV相对位姿估计方法，其特征在于，步骤212还包括：
步骤212g，分别计算由步骤212c拟合得到的四条直线两两之间的夹角，保留得到的最大四个夹角值的直线对；
步骤212h，先分别计算步骤212g保留的最大四个夹角值的直线对的四个交点在其所在的UAV机载摄像头拍摄的彩色图像上的坐标，再根据四个交点在其所在的UAV机载摄像头拍摄的彩色图像上的坐标，在R-G的二值化图像中分别以四个交点为中心框选出c×c大小的矩形区域，并统计该区域内像素值之和∑Pi，i＝1，2，...，4；
步骤212i，将步骤212h计算得到的四个交点的∑Pi中的最大值的中心点，作为第一角点；
步骤212j，在步骤212h保留的最大四个夹角值的直线对的另外三个交点中，与所述第一角点不共线的交点定位为第三角点；
步骤212k，在与所述第一角点共线的两个交点中任意选取一点，计算选取的该点与所述第一角点连接成的第一直线沿顺时针方向旋转到未被选取的点与所述第一角点连接形成的第二直线之间的夹角θ的大小，若θ＜180°，那么选取的该点定位为第二角点，另一未被选取的点定位为第四角点；否则该点定位为第四角点，另一未被选取的点定位为第二角点。
8.如权利要求5或6或7所述的定点降落标志的UAV相对位姿估计方法，其特征在于，步骤3具体包括：
步骤31，根据消失点坐标的位姿，计算相对位姿x的初始值；
步骤32，根据步骤31计算得到的初始值以及步骤2检测到的标志的特征点，利用L-M方法估计UAV相对于定点降落标志的位姿。
9.如权利要求8所述的定点降落标志的UAV相对位姿估计方法，其特征在于，步骤31具体包括：
步骤311，在图像坐标系中，联立平行于降落标志坐标系的Xw轴的两条直线对应的直线方程，计算这两直线在图像坐标系中的交点P(up，vp)，该点为降落标志坐标系中斜率为0的直线组在图像中的消失点坐标；
步骤312，令图像坐标系相对于标志的滚动角的初始值
Figure FDA0002407639430000051
将消失点坐标P(up，vp)代入下面的式(3)，计算得到图像坐标系相对于标志的俯仰角的初始值θ0和图像坐标系相对于标志的偏航角初始值
Figure FDA0002407639430000052
Figure FDA0002407639430000053
式(3)中，fu、fv是UAV机载摄像头分别在图像坐标系中X和Y两个方向的焦距，u0和v0是相机图像的中心点在图像坐标系中X和Y两个方向的坐标值；
步骤313，在步骤2检测到的标志的外部矩形框的4个角点中随机选取两个点，或者，在步骤2检测到的标志的内部矩形框的4个角点中随机选取两个点，令被选取的两点分别在图像坐标和对应降落标志坐标中的坐标分别为(u1，v1)、(u2，v2)和(xw1，yw1，zw1)、(xw2，yw2，zw2)，将步骤312计算得到的初始值：
Figure FDA0002407639430000054
θ＝θ0和
Figure FDA0002407639430000055
均代入式(4)，再将n＝2和两点的坐标值代入式(5)，再联立公式(4)和(5)，计算得到位置参数初始值tx0，ty0，tz0；
Figure FDA0002407639430000056
Figure FDA0002407639430000057
式(5)中，xw1、......xwn分别表示各角点在降落标志坐标系中在Xw方向的坐标值；yw1、......ywn分别表示各角点在降落标志坐标系中在Yw方向的坐标值；zw1、......zwn分别表示各角点在降落标志坐标系中在Zw方向的坐标值；u0、......un分别表示各角点在图像坐标系中在U方向的坐标值；v0、......vn分别表示各角点在图像坐标系中在V方向的坐标值。
10.如权利要求9所述的定点降落标志的UAV相对位姿估计方法，其特征在于，步骤32具体包括：
步骤321，令F(x)＝(f1(x)，f2(x)，…，fn(x))T，其中，f(x)为方程组(4)的等号左侧部分，
Figure FDA0002407639430000061
步骤322，输入步骤31计算得到的初始值
Figure FDA0002407639430000062
设置终止迭代控制参数ε、迭代次数计数k＝0、阻尼系数变量λ0＝10-3和系数s＝10，计算ε0＝||F(x0)||；
步骤323，计算Jacobi矩阵Jk以及
Figure FDA0002407639430000063
便可构造出增量正规方程
Figure FDA0002407639430000064
其中，令
Figure FDA0002407639430000065
Figure FDA0002407639430000066
那么，
Figure FDA0002407639430000067
表示当前向量x与函数F(x)＝0的最佳线性逼近程度；I为单位矩阵；δk为增量正规方程的增量，用来调整向量x的大小，使其快速逼近最优值；
步骤324，求解步骤323构造出的增量正规方程，得到调整系数δk；
步骤325，a)如果||F(xk+δk)||＜εk：令xk+1＝xk+δk，然后判断||δk||＜ε是否成立，如果成立，则停止迭代并输出最终位姿参数结果；否则令λk+1＝λk/s，返回步骤323；b)如果||F(xk+δk)||≥εk，则令λk+1＝s×λk，然后返回步骤323。
CN201910236732.3A 2019-03-27 2019-03-27 定点降落标志的uav相对位姿估计方法 Active CN110068321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910236732.3A CN110068321B (zh) 2019-03-27 2019-03-27 定点降落标志的uav相对位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910236732.3A CN110068321B (zh) 2019-03-27 2019-03-27 定点降落标志的uav相对位姿估计方法

Publications (2)

Publication Number Publication Date
CN110068321A CN110068321A (zh) 2019-07-30
CN110068321B true CN110068321B (zh) 2020-04-24

Family

ID=67366684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910236732.3A Active CN110068321B (zh) 2019-03-27 2019-03-27 定点降落标志的uav相对位姿估计方法

Country Status (1)

Country Link
CN (1) CN110068321B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673622B (zh) * 2019-10-25 2022-11-25 大连东软信息学院 一种基于视觉图像的无人机自动着舰引导方法与系统
CN111551151B (zh) * 2020-06-04 2021-05-14 江苏集萃智能光电系统研究所有限公司 基于双目视觉的临近空间飞行器相对位姿测量方法及装置
CN112053381A (zh) * 2020-07-13 2020-12-08 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113012226B (zh) * 2021-03-22 2024-07-12 浙江商汤科技开发有限公司 相机位姿的估计方法、装置、电子设备及计算机存储介质
CN113298788A (zh) * 2021-05-27 2021-08-24 南京航空航天大学 基于视觉的海上移动平台跟踪识别方法
CN113592953B (zh) * 2021-07-20 2023-05-02 中国科学院西安光学精密机械研究所 一种基于特征点集的双目非合作目标位姿测量方法
CN115402525B (zh) * 2022-11-02 2023-01-13 众芯汉创（北京）科技有限公司 一种适用于单兵作业的无人机智能停靠仓系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159855A (zh) * 2007-11-14 2008-04-09 南京优科漫科技有限公司 基于特征点分析的多目标分离预测方法
CN104463866A (zh) * 2014-12-04 2015-03-25 无锡日联科技有限公司 一种基于轮廓随机采样的局部形状匹配方法
WO2016111573A1 (ko) * 2015-01-08 2016-07-14 이주성 파일 변환 방법 및 장치
CN106546233A (zh) * 2016-10-31 2017-03-29 西北工业大学 一种面向合作目标的单目视觉定位方法
CN107169972A (zh) * 2017-06-07 2017-09-15 上海航天控制技术研究所 一种非合作目标快速轮廓跟踪方法
DE102017212418A1 (de) * 2017-07-20 2019-01-24 Continental Automotive Gmbh Fahrerassistenzsystem und -verfahren zur leitplankenerkennung

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2028600A5 (zh) * 1969-01-03 1970-10-09 Thomson Brandt Csf
CN104166854B (zh) * 2014-08-03 2016-06-01 浙江大学 针对小型无人机自主降落的视觉分级地标定位识别方法
CN105021184B (zh) * 2015-07-08 2017-10-24 西安电子科技大学 一种用于移动平台下视觉着舰导航的位姿估计系统及方法
CN105550692B (zh) * 2015-12-30 2018-08-31 南京邮电大学 基于标志物颜色及轮廓检测的无人机自动寻的着陆方法
CN106203439B (zh) * 2016-06-27 2019-05-31 南京邮电大学 基于标志物多特征融合的无人机自动寻的着陆方法
CN107066981A (zh) * 2017-04-20 2017-08-18 上海博历机械科技有限公司 针对小型无人机自主降落的视觉分级地标定位识别系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159855A (zh) * 2007-11-14 2008-04-09 南京优科漫科技有限公司 基于特征点分析的多目标分离预测方法
CN104463866A (zh) * 2014-12-04 2015-03-25 无锡日联科技有限公司 一种基于轮廓随机采样的局部形状匹配方法
WO2016111573A1 (ko) * 2015-01-08 2016-07-14 이주성 파일 변환 방법 및 장치
CN106546233A (zh) * 2016-10-31 2017-03-29 西北工业大学 一种面向合作目标的单目视觉定位方法
CN107169972A (zh) * 2017-06-07 2017-09-15 上海航天控制技术研究所 一种非合作目标快速轮廓跟踪方法
DE102017212418A1 (de) * 2017-07-20 2019-01-24 Continental Automotive Gmbh Fahrerassistenzsystem und -verfahren zur leitplankenerkennung

Also Published As

Publication number Publication date
CN110068321A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110068321B (zh) 定点降落标志的uav相对位姿估计方法
CN108873943B (zh) 一种无人机厘米级精准降落的图像处理方法
CN110569838B (zh) 一种基于视觉定位的四旋翼无人机自主降落方法
CN106326892B (zh) 一种旋翼式无人机的视觉着陆位姿估计方法
CN108305264B (zh) 一种基于图像处理的无人机精确着陆方法
CN107194399B (zh) 一种视觉定标的方法、系统及无人机
CN110991207B (zh) 综合H图案识别和AprilTag二维码识别的无人机精准降落方法
CN102865859B (zh) 一种基于surf特征的航空序列图像位置估计方法
CN110825101B (zh) 一种基于深度卷积神经网络的无人机自主降落方法
CN109725645B (zh) 一种嵌套式无人机着陆合作标志设计及相对位姿获取方法
CN109885086A (zh) 一种基于复合多边形标志引导的无人机垂直降落方法
CN107063261B (zh) 用于无人机精准着陆的多特征信息地标检测方法
CN109460046B (zh) 一种无人机自然地标识别与自主着陆方法
CN113377118A (zh) 一种基于视觉的无人机机库多阶段精确降落方法
CN110569861A (zh) 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN105427284A (zh) 基于机载Android平台的固定靶标识方法
CN110083177A (zh) 一种基于视觉着陆的四旋翼飞行器及控制方法
CN104008542A (zh) 一种针对特定平面图形的快速角点匹配方法
CN108122255A (zh) 一种基于梯形与圆形组合地标的无人机位姿估计方法
CN114815871A (zh) 一种基于视觉的垂直起降无人机动平台自主降落方法
CN107576329B (zh) 基于机器视觉的固定翼无人机着降引导合作信标设计方法
CN111899289B (zh) 一种基于图像特征信息的红外图像与可见光图像的配准方法
Huang et al. Vision-based autonomous landing of uav on moving platform using a new marker
CN105741268B (zh) 一种基于彩色图块及其拓扑关系的视觉定位方法
US11501511B2 (en) Method for optical recognition of markers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant