CN110068321A - 定点降落标志的uav相对位姿估计方法 - Google Patents

定点降落标志的uav相对位姿估计方法 Download PDF

Info

Publication number
CN110068321A
CN110068321A CN201910236732.3A CN201910236732A CN110068321A CN 110068321 A CN110068321 A CN 110068321A CN 201910236732 A CN201910236732 A CN 201910236732A CN 110068321 A CN110068321 A CN 110068321A
Authority
CN
China
Prior art keywords
point
mark
rectangular frame
image
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910236732.3A
Other languages
English (en)
Other versions
CN110068321B (zh
Inventor
黄小云
王建强
许庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910236732.3A priority Critical patent/CN110068321B/zh
Publication of CN110068321A publication Critical patent/CN110068321A/zh
Application granted granted Critical
Publication of CN110068321B publication Critical patent/CN110068321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

本发明公开了一种定点降落标志的UAV相对位姿估计方法，该方法包括：步骤1，在移动平台设计定点降落标志形状。其中，定点降落标志利用RGB色彩模型，包括外部矩形框、内部矩形框以及和位于外部矩形框与内部矩形框之间且衔接外部矩形框和内部矩形框的隔离矩形框；步骤2，基于视觉检测标志的特征点；步骤3，根据检测到的标志特征点，估计UAV相对于定点降落标志的位姿。本发明提供的移动平台定点降落标志在外形和识别原理上明显有别于国内外现有的降落标志，以色彩学为基础的内外双层组合的移动平台降落标志形状，使得无人机在整个降落过程中都有标志特征的存在，为其在固定和移动平台上的自主降落提供基础。

Description

定点降落标志的UAV相对位姿估计方法
技术领域
本发明涉及一种UAV(英文全称为“Unmanned Aerial Vehicle”；中文全 称为“无人驾驶飞机”；中文简称为“无人机”)自主导航及降落技术领域， 特别设计一种定点降落标志的UAV相对位姿估计方法。
背景技术
基于视觉的定点降落标志主要用于装载有相机的UAV的自主导航及降落。 UAV通过检测降落平台标志中的图案，得到所需要的特征信息，再利用图像坐 标系与平台标志坐标之间的转换关系，联立方程组，求解出UAV相对于标志平 台的位置姿态(下文简称为“位姿”)信息，从而实现UAV自主导航及降落在 指定位置。与自然景物及建筑设施特征相比，定点降落标志能为UAV提供固有 的特征信息，针对性地特征提取方法更有利于提高信息的准确性和系统的稳定 性。
目前国内外常用的定点降落标志根据检测原理不同，主要分为基于点信 息、线信息和面信息三种。
基于点信息的方法利用了三维空间中的点经过相机投影成像模型成为像 平面上像点的投影原理，首先通过图像处理方法得到空间点在像面上的对应坐 标，再建立关于这些点的投影方程组，通过解方程组得到相对位姿。基于点信 息而设计的人工图标也分为许多种，例如，图1a为Amidi等使用的图标，其 中包括了6个矩形，通过检测所有矩形的各个角点，再联立方程组来计算无人 机相对位姿。刘晓杰等设计了一个以圆心为特征点的降落标志形状(见图1b)， 利用联合基色动态统计的自适应阈值分割法对所采集的图像进行动态自适应 二值化预处理，应用基于投影与小波变换的联合方法对特征点进行提取，再计 算无人机的相对位姿。那盟等提出了红蓝两个正方形组成的矩形图标，同样是 检测矩形的4个角点联立方程组从而得到无人机相对位姿。
直接通过检测点的信息来计算无人机相对位姿的方法对几何信息的利用 不够充分，稳定性和可靠性较弱。而且，由于在无人机降落到较低位置时，标 志不能完整出现在视觉范围内，目前基于点信息的方法也无法满足在移动平台 上的实用需求。
基于平行线信息的方法是利用空间中平行线在射影到像平面后相交于消 影点的固有特性，因此通过在图像中检测消影点的方法，估计得到无人机相对 标志的位姿。刘士清设计的降落标志形状如图2a所示，图案中包含了四组平 行线，利用这些平行线在图像中消影点、消影线和角点来估计无人机的相对位 姿。邱力为等使用了双目视觉系统，利用Hough变换检测图像中标志的直线(图 案标志见图2b)，然后提取各个角点，结合点、线和角点信息对位姿进行估计。 Xu G.1.等采用了一个T形作为降落标志形状(如图2c)，利用T形的两对平 行线在图像中的消失点估计相对位姿。
虽然与点信息方法相比，基于线信息的方法对几何信息的利用更充分， 更稳定。然而，由于在无人机降落到较低位置时，标志不能完整出现在视觉范 围内，目前基于面信息的方法任无法满足在移动平台上的实用需求。
基于面信息的方法则是利用设计的标志的面积、图像矩、质心或主轴方 向等信息，在某些假设条件下估计载体的相对标志位姿，但通常这种方法很难 一次获得全部位姿信息。图3a是由徐贵力等人设计的红外十字架形状的平面 标志，主要采用图像矩法和方向链码法来实现平面标志识别，由于使用了红外 因此无人机可以全天候在舰艇甲板上着陆。Yang S.W.等设计了一个由圆环和 “H”形状相结合的标志(见图3b)，首先利用二值化图像与连通区域提取技 术检测标志中的图案并分类，然后通过投影几何关系计算得到相对位姿信息。 Lange等人利用了环形圆信息，如图3c所示，图案由4个白色同心圆环组成， 而且从内到外各圆环的内外径比分别为50％、65％、75％和85％，正是利用这一 比值在图像中确定识别出的圆环的对应位置，在假设无人机俯仰角和滚动角为 0的情况下，最终可根据圆环信息估计其余位姿参数。
基于面信息的方法一般假设无人机姿态接近水平，因此适用范围受到限 制。而且，由于在无人机降落到较低位置时，标志不能完整出现在视觉范围内， 目前基于面信息的方法也无法满足在移动平台上的实用需求。
发明内容
本发明的目的在于提供一种定点降落标志的UAV相对位姿估计方法来克 服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种定点降落标志的UAV相对位姿估计方法， 定点降落标志的UAV相对位姿估计方法包括：步骤1，在移动平台设计定点降 落标志形状。其中，所述定点降落标志利用RGB色彩模型，包括外部矩形框、 内部矩形框以及和位于外部矩形框与内部矩形框之间且衔接外部矩形框和内 部矩形框的隔离矩形框；步骤2，基于视觉检测标志的特征点：当UAV处于相 对高空阶段时，检测所述外部矩形框的外轮廓边缘上的特征点，当UAV已经接 近移动平台，检测所述内部矩形框的外轮廓边缘上的特征点；步骤3，根据检 测到的标志特征点，估计UAV相对于定点降落标志的位姿。
进一步地，所述外部矩形框选用蓝色作为基底颜色，所述内部矩形框选 用蓝色作为基底颜色，所述内部矩形框与隔离矩形框相衔接的部分区域选用红 蓝色，所述隔离矩形框选用绿色。
进一步地，所述步骤21具体包括：
步骤211，检测标志中所述外部矩形框的图案区域，其具体包括：
步骤2111，基于R、G、B三个通道分量的图像分割：首先，从UAV机载 摄像头拍摄的彩色图像中提取R、G、B三个通道的分量图；然后，计算差值图 像B-G和R-G，以去除降落标志形状之外的背景图像；再将差值图像B-G和R-G 分别进行自适应二值化处理，以增强标志图案的像素；最后，将得到的两张二 值化图像进行与运算，以合并为一张二值图像；
步骤2112，开闭运算去噪点：首先，采用矩形结构核，对步骤2111得到 的二值图像进行闭运算，然后再进行开运算；
步骤2113，提取最大联通区域：首先，对步骤2112得到的二值图像进行 联通区域检测；然后，计算各个连通区域包含的像素点个数；最后，将像素点 个数最多，即面积最大的连通区域作为标志的外部矩形框1的图案区域；
步骤212，检测及定位特征点，获得所述外部矩形框的外轮廓边缘上的四 个角点。
进一步地，所述步骤22具体包括：
步骤221，检测标志中所述内部矩形框的图案区域，其具体包括：
步骤2211，基于R、G、B三个通道分量的图像分割：首先，从UAV机载 摄像头拍摄的彩色图像中提取R、G、B三个通道的分量图；然后，计算差值图 像G-R和G-B，以去除降落标志形状之外的背景图像；再将差值图像G-R和G-B 分别进行自适应二值化处理，以增强降落标志形状的像素；最后，将得到的两 张二值化图像进行与运算，以合并为一张二值图像。
步骤2212，开闭运算去噪点：首先，采用矩形结构核，对步骤2211得到 的二值图像进行闭运算，然后再进行开运算。
步骤2213，提取最大联通区域：首先，对步骤2211得到的二值图像进行 联通区域检测；然后，计算各个连通区域包含的像素点个数(即连通区域面积)； 最后，保留像素点个数最多，即面积最大的连通区域作为标志的内部矩形框2 的图案区域；
步骤222，检测及定位特征点，获得所述内部矩形框的外轮廓边缘上的四 个角点。
进一步地，所述步骤212和步骤222均具体包括：
步骤212a，检测步骤2113和步骤2213保留的最大联通区域的外侧轮廓 边缘点集中的每一个像素点的梯度幅值及方向：首先，设计8个大小为5×5 的梯度算子，分别表示常见的8个梯度方向：2个方向的水平梯度、2个方向 的垂直梯度、4个方向的斜45°梯度；然后，使用设计好的8个梯度算子分别 与步骤2113和步骤2213得到的最大联通区域的所有外侧轮廓边缘点进行卷积 运算；最后，遍历步骤2113和步骤2213保留的最大联通区域的外侧轮廓边缘 点集中的每一个像素点，每个像素点再遍历8个方向的梯度算子进行卷积运算 得到的值，找到取得最大值的梯度方向；
步骤212b，根据步骤212a找到的取得最大值的梯度方向的外侧轮廓边缘 点，进行分类：所有在一个梯度方向上取得卷积运算最大值的像素点统计为同 一类，并保留像素点数量最多的四个类；
步骤212c，最优直线拟合，获得所述外部矩形框的四条边分别所在的直 线。
进一步地，所述步骤212c具体包括：
步骤212d，根据步骤212b获得的四个类，检测是否存在未进行直线拟合 的边缘点类，a)如果存在，随机选择一类，并从中随机选择其中两个像素点， 形成一条直线，并得到其直线方程f(x)＝ax+b，转入步骤212e；b)如果不 存在，循环结束；
步骤212e：采用下式(1)计算当前直线方程的该拟合边缘点类中所有点 的距离函数ρ(r)值；
式(1)中，r代表取同一横坐标x下，像素点与直线之间的纵向距离，其 表示为下式(2)：
r＝|y-f(x)| (2)
δ为权值；
步骤212f：判断步骤212e计算得到的当前拟合边缘点类的所有边缘点的 距离函数之和∑ρ(r)是否达到精度要求，a)如果已达到，将此直线方程定义 为此边缘点在图像上的最优拟合直线，转入步骤212d；b)如果未达到，随机 更新直线方程中的系数a和b，转入步骤212e。
进一步地，步骤212和和步骤222均具体包括：
步骤212g，分别计算由步骤212c拟合得到的四条直线两两之间的夹角， 保留得到的最大四个夹角值的直线对；
步骤212h，先分别计算步骤212g保留的最大四个夹角值的直线对的四个 交点在其所在的UAV机载摄像头拍摄的彩色图像上的坐标，再根据四个交点在 其所在的UAV机载摄像头拍摄的彩色图像上的坐标，在R-G的二值化图像中分 别以四个交点为中心框选出c×c大小的矩形区域，并统计该区域内像素值之 和∑Pi(i＝1，2，...，4)；
步骤212i，将步骤212h计算得到的四个交点的∑Pi(i＝1，2，...，4)中的 最大值的中心点，作为第一角点；
步骤212j，在步骤212h保留的最大四个夹角值的直线对的另外三个交点 中，与所述第一角点不共线的交点定位为第三角点；
步骤212k，在与所述第一角点共线的两个交点中任意选取一点，计算选 取的该点与所述第一角点连接成的第一直线沿顺时针方向旋转到未被选取的 点与所述第一角点连接形成的第二直线之间的夹角θ的大小，若θ＜180°，那 么选取的该点定位为第二角点，另一未被选取的点定位为第四角点；否则该点 定位为第四角点，另一未被选取的点定位为第二角点。
进一步地，步骤3具体包括：
步骤31，根据消失点坐标的位姿，计算相对位姿x的初始值；
步骤32，根据步骤31计算得到的初始值以及步骤2检测到的标志的特征 点，利用L-M方法估计UAV相对于定点降落标志的位姿。
进一步地，步骤31具体包括：
步骤311，在图像坐标系中，联立平行于降落标志坐标系的Xw轴的两条 直线对应的直线方程，计算这两直线在图像坐标系中的交点P(up，vp)，该点 为降落标志坐标系中斜率为0的直线组在图像中的消失点坐标；
步骤312，令图像坐标系相对于标志的滚动角的初始值将消失点 坐标P(up，vp)代入下面的式(3)，计算得到图像坐标系相对于标志的俯仰角 的初始值θ0和图像坐标系相对于标志的偏航角初始值
式(3)中，fu、fv是UAV机载摄像头分别在图像坐标系中X和Y两个 方向的焦距，u0和v0是相机图像的中心点在图像坐标系中X和Y两个方向的坐 标值；
步骤313，在步骤2检测到的标志的外部矩形框1的4个角点中随机选取 两个点，或者，在步骤2检测到的标志的内部矩形框2的4个角点中随机选取 两个点，令被选取的两点分别在图像坐标和对应降落标志坐标中的坐标分别为 (u1，v1)、(u2，v2)和(xw1，yw1，zw1)、(xw2，yw2，zw2)，将步骤31计算得到的初始值： θ＝θ0和均代入式(4)，再将n＝2和两点的坐标值代入式(5)， 再联立公式(4)和(5)，计算得到位置参数初始值tx0，ty0，tz0；
式(5)中，参考图8，xw1、......xwn分别表示各角点在降落标志坐标系中 在Xw方向的坐标值；yw1、......ywn分别表示各角点在降落标志坐标系中在Yw方 向的坐标值；zw1、......zwn分别表示各角点在降落标志坐标系中在Zw方向的坐 标值；u0、......un分别表示各角点在图像坐标系中在U方向的坐标值；v0、......vn分别表示各角点在图像坐标系中在V方向的坐标值。
进一步地，步骤32具体包括：
步骤321，令F(x)＝(f1(x)，f2(x)，…，fn(x))T，其中，f(x)为方程组(4) 的等号左侧部分，
步骤322，输入步骤31计算得到的初始值设置终止迭代控制参数ε、迭代次数计数k＝0、阻尼系数变量λ0＝10-3和系 数s＝10，计算ε0＝||F(x0)||；
步骤323，计算Jacobi矩阵Jk以及便可构造出增量正 规方程其中，令 那么，表示当前向量x与函数F(x)＝0的最佳线性逼近程 度；I为单位矩阵；占k为增量正规方程的增量，用来调整向量x的大小，使其快 速逼近最优值；
步骤324，求解步骤323构造出的增量正规方程，得到调整系数占k；
步骤325，a)如果||F(xk+δk)||＜εk：令xk+1＝xk+δk，然后判断||δk||＜ε 是否成立，如果成立，则停止迭代并输出最终位姿参数结果；否则令 λk+1＝λk/s，返回步骤323；b)如果||F(xk+δk)||≥εk，则令λk+1＝s×λk， 然后返回步骤323。
本发明提供的移动平台定点降落标志在外形和识别原理上明显有别于国 内外现有的降落标志，以色彩学为基础的内外双层组合的移动定点降落标志形 状，使得无人机在整个降落过程中都有标志特征的存在，通过L-M迭代方法与 消失点相结合的方法估计UAV的当前实时相对位姿，为其在固定和移动平台上 的自主降落提供基础。
附图说明
图1a至图1b均是现有技术中基于点信息的人工标志的示意图；
图2a至图2c均是现有技术中基于线信息的人工标志的示意图；
图3a至图3c均是现有技术中基于面信息的人工标志的示意图；
图4是本发明实施例提供的定点降落标志形状的示意图；
图5是本发明实施例提供的外部标志特征的检测流程示意图；
图6是本发明实施例提供的8个方向的梯度算子；
图7是本发明实施例的UAV机载摄像头处于相对高空阶段时拍摄到的图 像，其中包含了降落标志；
图8是本发明实施例的UAV、像平面以及降落标志各自坐标系之间的对应 关系示意图。
具体实施方式
在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或 类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
定点降落标志的UAV相对位姿估计方法以UAV机载摄像头采集的定点降 落标志(下文均简称为“标志”)图像作为信息基础来实现，因此，标志的形 状设计及检测方法将直接影响到整个系统的性能。目前已有的标志大多放置于 如地面等固定的降落平台上，标志因此而不会移动，所以UAV机载摄像头只需 在一段时间内检测到标志，并计算出UAV相对于标志平台的位姿信息，再依据 计算出的UAV相对于标志平台的位姿，直接降落到目标点。但是，当降落平台 是一个移动平台(如车辆平台)，则需要UAV机载摄像头在整个降落过程中，都能实时获取标志的图像信息，从而不断更新当前UAV相对于标志平台的位姿 信息，以实现降落到移动平台。
为适应在整个降落过程的实时定位要求，本发明设计了一种以彩色图案 为基础的内外双层目标的标志，提出了针对此标志的图像检测方法，以及基于 该标志特征的UAV相对降落标志的位姿估计方法。当UAV处于不同的降落高度 阶段，平台标志的使用及检测方法也略有不同。利用色彩学为基础检测标志区 域，面对精确获取不规则四边形各角点坐标的问题，提出了一种基于梯度聚类 的高鲁棒性及高准确性的识别定位方法。利用视觉系统中图像坐标系和降落标 志坐标系之间的转换关系，提出了基于图像特征点信息的L-M迭代方法与消失 点相结合的无人机相对位姿最优估计方法，为UAV在静止和移动平台上的自主 降落提供重要信息。其中，图像坐标系的确定规则是：图像的左下角点为坐标 原点，垂直向上为Y轴，平行向右为X轴。
鉴于此，本实施例所涉及的一种定点降落标志的UAV相对位姿估计方法 包括：
步骤1，在移动平台设计定点降落标志形状。其中，定点降落标志在移动 平台的设置位置只要足够UAV降落的空间即可，定点降落标志的尺寸可根据降 落空间和机载相机的视野来灵活确定。
步骤2，基于视觉检测标志的特征点；
步骤3，根据检测到的标志特征点，估计UAV相对于定点降落标志的位姿。
其中，步骤1提供的“设计定点降落标志形状”的降落标志形状如图图4 所示，该降落标志形状利用RGB色彩模型，包括外部矩形框1、内部矩形框2 以及和位于外部矩形框1与内部矩形框2之间且衔接外部矩形框1和内部矩形 框2的隔离矩形框3。外部矩形框1选用蓝色作为基底颜色，内部矩形框2选 用蓝色作为基底颜色，但内部矩形框2与隔离矩形框3相衔接的部分区域选用 红蓝色，隔离矩形框3选用绿色，这样，形成了一个以内外两层定位图案组合 而成的标志。
其中，步骤2提供的“基于视觉检测标志的特征点”具体在使用标志的 形状过程中，当UAV处于相对高空阶段时，检测外部矩形框1的外轮廓边缘上 的特征点，例如图4中的外部矩形框1、内部矩形框2和隔离矩形框3均设计 成矩形，因此，外部矩形框1的四个角点，即角点1、角点2、角点3和角点 4，作为检测到的外部矩形框1的外轮廓边缘上的特征点。当UAV已经接近移 动平台，即处于即将着落移动平台的阶段时，此时因UAV机载摄像头的视场所 限，外部矩形框1的外轮廓边缘的特征点已经处于UAV机载摄像头视野以外， 此时，检测内部矩形框2的外轮廓边缘上的特征点，即图4中的角点5、角点 6、角点7和角点8。
下面对步骤2提供的“基于视觉检测标志的特征点”进行详细说明，步 骤2包括：
步骤21，检测外部矩形框1的外轮廓边缘上的特征点。
步骤22，检测内部矩形框2的外轮廓边缘上的特征点。
其中，步骤21提供的“检测外部矩形框1的外轮廓边缘上的特征点”具 体包括：
步骤211，检测标志中外部矩形框1的图案区域。
步骤212，检测及定位特征点，获得外部矩形框1的外轮廓边缘上的四个 角点，如图4中示出的角点1、角点2、角点3和角点4。
其中，步骤211提供的“检测标志的图案区域”具体包括：
步骤2111，基于R、G、B三个通道分量的图像分割：首先，从UAV机载 摄像头拍摄的彩色图像中提取R、G、B三个通道的分量图；然后，计算差值图 像B-G和R-G，以去除降落标志形状之外的背景图像；再将差值图像B-G和R-G 分别进行自适应二值化处理，以增强标志图案的像素；最后，将得到的两张二 值化图像进行与运算，以合并为一张二值图像。
步骤2112，开闭运算去噪点：首先，采用矩形结构核，对步骤2111得到 的二值图像进行闭运算，然后再进行开运算。
步骤2113，提取最大联通区域：首先，对步骤2112得到的二值图像进行 联通区域检测；然后，计算各个连通区域包含的像素点个数(即连通区域面积)； 最后，将像素点个数最多，即面积最大的连通区域作为标志的外部矩形框1 的图案区域。
其中，步骤212提供的“检测及定位特征点”具体包括：
步骤2121，根据步骤211检测到的标志中外部矩形框1的图案区域，获 得外部矩形框1的四条边分别所在的直线，即图4中的直线A、直线B、直线 C和直线D。
步骤2122，根据步骤2121获得的外部矩形框1的四条边分别所在的直线， 获得外部矩形框1的外轮廓边缘上的四个角点。
其中，步骤2121具体包括：
步骤212a，检测步骤2113保留的最大联通区域的外侧轮廓边缘点集中的 每一个像素点的梯度幅值及方向：首先，设计如图6所示的8个大小为5×5 的梯度算子，分别表示常见的8个梯度方向：2个方向的水平梯度、2个方向 的垂直梯度、4个方向的斜45°梯度。当然，也可以划分的更加细致，但会影 响运算速度。然后，使用设计好的8个梯度算子分别与步骤2113得到的最大 联通区域的所有外侧轮廓边缘点进行卷积运算。最后，遍历步骤2113保留的 最大联通区域的外侧轮廓边缘点集中的每一个像素点，每个像素点再遍历8 个方向的梯度算子进行卷积运算得到的值，找到取得最大值的梯度方向。
步骤212b，根据步骤212a找到的取得最大值的梯度方向的外侧轮廓边缘 点，进行分类：所有在一个梯度方向上取得卷积运算最大值的像素点统计为同 一类，并保留像素点数量最多的四个类。
步骤212c，最优直线拟合，获得外部矩形框1的四条边分别所在的直线， 其具体包括如下步骤212d至步骤212f：
步骤212d，根据步骤212b获得的四个类，检测是否存在未进行直线拟合 的边缘点类，a)如果存在，随机选择一类，并从中随机选择其中两个像素点， 形成一条直线，并得到其直线方程f(x)＝ax+b，转入步骤212e；b)如果不 存在，循环结束。
步骤212e：采用下式(1)计算当前直线方程的该拟合边缘点类中所有点 的距离函数ρ(r)值；
式(1)中，r代表取同一横坐标x下，像素点与直线之间的纵向距离，其 表示为下式(2)：
r＝|y-f(x)| (2)
δ为权值，该值为经验值，其具体数值一般从实验中确定，例如，计算机 视觉库OpenCV中给默认值为1.345。
步骤212f：判断步骤212e计算得到的当前拟合边缘点类的所有边缘点的 距离函数之和∑ρ(r)是否达到精度要求，a)如果已达到，将此直线方程定义 为此边缘点在图像上的最优拟合直线，转入步骤212d；b)如果未达到，随机 更新直线方程中的系数a和b，转入步骤212e。其中：“判断所有此类外侧边缘 点的距离函数之和∑ρ(r)是否达到精度要求”可以理解为，自行设置一个阈值， 在所有此类外侧边缘点的距离函数之和∑ρ(r)小于设定的阈值的情形下，可认 为达到精度要求，否则认为没有达到精度要求。
步骤2122，根据步骤步骤212c拟合得到的四条直线方程，定位外部矩形 框1的外轮廓边缘上的四个角点，其具体包括如下步骤212g至步骤212k：
步骤212g，分别计算由步骤212c拟合得到的四条直线两两之间的夹角， 保留得到的最大四个夹角值的直线对。
步骤212h，先分别计算步骤212g保留的最大四个夹角值的直线对的四个 交点在其所在的UAV机载摄像头拍摄的彩色图像上的坐标，再根据四个交点在 其所在的UAV机载摄像头拍摄的彩色图像上的坐标，在R-G的二值化图像中分 别以四个交点为中心框选出c×c大小的矩形区域，并统计该区域内像素值之 和∑Pi(i＝1，2，...，4)。其中，c的具体数值根据图像分辨率及降落标志形状 的实际大小来确定。
步骤212i，将步骤212h计算得到的四个交点的∑Pi(i＝1，2，...，4)中的 最大值的中心点，作为降落标志坐标系的原点O(0，0)，即图4中的第一角点 (角点1)。
步骤212j，在步骤212h保留的最大四个夹角值的直线对的另外三个交点 中，与所述第一角点(角点1)不共线的交点定位为图4中的第三角点(角点 3)。
步骤212k，在与所述第一角点(角点1)共线的两个交点中任意选取一 点，计算选取的该点与所述第一角点(角点1)连接成的第一直线沿顺时针方 向旋转到未被选取的点与所述第一角点(角点1)连接形成的第二直线之间的 夹角θ的大小，若θ＜180°，那么选取的该点定位为图4中的第二角点(角点 2)，另一未被选取的点定位为图4中的第四角点(角点4)；否则该点定位为 图4中的第四角点(角点4)，另一未被选取的点定位为图4中的第二角点(角 点2)。
那么，降落标志坐标系的确定规则可以由使用者认为设定，比如可以设 角点1为坐标原点，角点1与角点2的连线为Y轴，角点1与角点4的连线 为X轴。同样地，也可以将降落标志坐标系的原点平移至由角点1、角点2、 角点3和角点4围成的矩形的中心点，此时的坐标系原点不同，各角点的坐标 值相应地不同，但坐标原点设定好之后，标志的图案的实际尺寸也是提前设定 好的，因此，各角点的坐标值由此而确定了。
其中，步骤22提供的“检测内部矩形框2的外轮廓边缘上的特征点”具 体包括：
步骤221，检测标志中内部矩形框2的图案区域。
步骤222，检测及定位特征点，获得内部矩形框2的外轮廓边缘上的四个 角点，如图4中示出的角点5、角点6、角点7和角点8。
其中，步骤221提供的“检测标志的图案区域”具体包括：
步骤2211，基于R、G、B三个通道分量的图像分割：首先，从UAV机载 摄像头拍摄的彩色图像中提取R、G、B三个通道的分量图；然后，计算差值图 像G-R和G-B，以去除降落标志形状之外的背景图像；再将差值图像G-R和G-B 分别进行自适应二值化处理，以增强降落标志形状的像素；最后，将得到的两 张二值化图像进行与运算，以合并为一张二值图像。
步骤2212，开闭运算去噪点：首先，采用矩形结构核，对步骤2211得到 的二值图像进行闭运算，然后再进行开运算。
步骤2213，提取最大联通区域：首先，对步骤2211得到的二值图像进行 联通区域检测；然后，计算各个连通区域包含的像素点个数(即连通区域面积)； 最后，保留像素点个数最多，即面积最大的连通区域作为标志的内部矩形框2 的图案区域。
其中，步骤222提供的“检测及定位特征点”目的在于获得内部矩形框2 的外轮廓边缘上的四个角点，即角点5、角点6、角点7和角点8，与上述步 骤212提供的“检测及定位特征点”的具体方法基本一致，在此不再展开说明。
本实施例针对该双层标志的目标特征检测方法，利用二值图像的形态学 处理方法及最大连通区域理论方法实现了目标区域的分割，然后提出了一种基 于梯度聚类及Huber直线拟合的不规则四边形检测方法。
其中，步骤3提供的“根据检测到的标志特征点，利用L-M方法估计UAV 相对于定点降落标志的位姿”，该相对位姿表示为：如图8所示，图中的A表示图像坐标系O(U，V)；B表示图像(像面)坐标 系Os(x，y)，C表示相机(UAV机载摄像头)坐标系OC(XC，YC，Zc)；D表示降 落标志坐标系Ow(Xw，Yw，Zw)。其中：为相机坐标系相对于降落标志坐标系 的滚动角，θ为相机坐标系相对于降落标志坐标系的俯仰角，为相机坐标系 相对于降落标志坐标系的偏航角，tx为相机坐标系在降落标志坐标系中在X的 位置坐标值，ty为相机坐标系在降落标志坐标系中在Y方向的坐标值，tz为 相机坐标系在降落标志坐标系中在Z方向的坐标值。
步骤3具体包括：
步骤31，根据消失点坐标的位姿，计算相对位姿x的初始值。
步骤32，根据步骤31计算得到的初始值以及步骤2检测到的标志的特征 点，利用L-M方法估计UAV相对于定点降落标志的位姿。
其中，步骤31具体是，根据消失点坐标的位姿，计算图像坐标系相对于 标志的俯仰角的初始值θ0和图像坐标系相对于标志的偏航角初始值具体包 括：
步骤311，如图7所示，因为在飞行过程中，UAV机载摄像头与标志一 般会存在一定的角度，因此，UAV机载摄像头拍出来的标志图像中的降落标 志的四条边(图4中的直线A、直线B、直线C和直线D)无法两两平行，因 此，存在交点。故，在UAV机载摄像头的图像坐标系中，联立图4中平行于Xw轴的 两条直线A和C，即步骤212c获得的平行于xw轴的两条直线A和C对应的直 线方程，计算这两直线在图像坐标系中的交点P(up，vp)，该点为降落标志坐 标系中斜率为0的直线组在图像中的消失点坐标。
步骤312，令图像坐标系相对于标志的滚动角的初始值将消失点 坐标P(up，vp)代入下面的式(3)，计算得到图像坐标系相对于标志的俯仰角 的初始值θ0和图像坐标系相对于标志的偏航角初始值
式(3)中，fu、fv是UAV机载摄像头分别在图像坐标系中X和Y两个 方向的焦距，u0和v0是相机图像的中心点在图像坐标系中X和Y两个方向的坐 标值，这些数据可通过相机标定的方法得到。
步骤313，在步骤2检测到的标志的外部矩形框1的4个角点中随机选取 两个点，令被选取的两点分别在图像坐标和对应降落标志坐标中的坐标分别为 (u1，v1)、(u2，v2)和(xw1，yw1，zw1)、(xw2，yw2，zw2)，将步骤31计算得到的初始值： 和均代入式(4)，再将n＝2和两点的坐标值代入式(5)， 再联立公式(4)和(5)，计算得到位置参数初始值tx0，ty0，tz0。
式(5)中，参考图8，xw1、......xwn分别表示各角点在降落标志坐标系中 在Xw方向的坐标值；yw1、......ywn分别表示各角点在降落标志坐标系中在Yw方 向的坐标值；zw1、......zwn分别表示各角点在降落标志坐标系中在Zw方向的坐 标值。u0、......un分别表示各角点在图像坐标系中在U方向(横坐标)的坐标 值；v0、......vn分别表示各角点在图像坐标系中在V方向(纵坐标)的坐标值 各角点在图像坐标系中的坐标值。下标n表示角点数，例如：取2个角点时，n＝2 ；取4个角点时，n＝4。
也可以通过选取外部矩形框1的两个角点，获取相对位姿x的初始值。 并且，外部矩形框1和内部矩形框2选取角点方法相同，也是在步骤2检测 到的标志的内部矩形框2的4个角点中随机选取两个点，方法与步骤313相同， 在此不再展开描述。
其中，步骤32提供的“根据步骤31计算得到的初始值以及步骤2检测 到的标志的特征点，利用L-M方法估计UAV相对于定点降落标志的位姿”具体 包括：
步骤321，令F(x)＝(f1(x)，f2(x)，…，fn(x))T，其中，f(x)为方程组(4) 的等号的左侧的图像坐标系与大地(或标志图案)坐标系之间的转换的旋转矩 阵，即
步骤322，输入步骤31计算得到的初始值设置终止迭代控制参数ε、迭代次数计数k＝0、阻尼系数变量λ0＝10-3和系 数s＝10，计算ε0＝||F(x0)||。
步骤323，计算Jacobi矩阵Jk以及便可构造出增量正 规方程其中，令相对位姿 那么，表示当前向量x与函数F(x)＝0的最佳线 性逼近程度；I为单位矩阵；δk为增量正规方程的增量，用来调整向量x的大小， 使其快速逼近最优值。
步骤324，求解步骤323构造出的增量正规方程，得到调整系数δk。
步骤325，a)如果||F(xk+δk)||＜εk：令xk+1＝xk+δk，然后判断||εk||＜ε 是否成立，如果成立，则停止迭代并输出最终位姿参数结果；否则令 λk+1＝λk/s，返回步骤323；b)如果||F(xk+δk)||≥εk，则令λk+1＝s×λk， 然后返回步骤323。xk是第k次迭代时所求向量x的取值；xk+1是第k+1次迭代 所求向量x的取值；λk是第k次迭代时的阻尼系数变量；λk+1是第k+1次迭代 时的阻尼系数变量；εk是第k次迭代时的||F(xk)||，表示向量x取当前的xk时与 F(x)＝0之间的偏差大小。
本实施例提供的步骤3具体是以视觉系统中图像坐标系和平台标志坐标 系之间的转换关系为基础，提出了基于标志图像特征点信息的L-M迭代方法与 消失点相结合的无人机相对位姿最优估计方法。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对 其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术 方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换， 并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种定点降落标志的UAV相对位姿估计方法，其特征在于，包括：
步骤1，在移动平台设计定点降落标志形状。其中，所述定点降落标志利用RGB色彩模型，包括外部矩形框、内部矩形框以及和位于外部矩形框与内部矩形框之间且衔接外部矩形框和内部矩形框的隔离矩形框；
步骤2，基于视觉检测标志的特征点：当UAV处于相对高空阶段时，检测所述外部矩形框的外轮廓边缘上的特征点，当UAV已经接近移动平台，检测所述内部矩形框的外轮廓边缘上的特征点；
步骤3，根据检测到的标志特征点，估计UAV相对于定点降落标志的位姿。
2.如权利要求1所述的定点降落标志的UAV相对位姿估计方法，其特征在于，所述外部矩形框选用蓝色作为基底颜色，所述内部矩形框选用蓝色作为基底颜色，所述内部矩形框与隔离矩形框相衔接的部分区域选用红蓝色，所述隔离矩形框选用绿色。
3.如权利要求2所述的定点降落标志的UAV相对位姿估计方法，其特征在于，所述步骤21具体包括：
步骤211，检测标志中所述外部矩形框的图案区域，其具体包括：
步骤2111，基于R、G、B三个通道分量的图像分割：首先，从UAV机载摄像头拍摄的彩色图像中提取R、G、B三个通道的分量图；然后，计算差值图像B-G和R-G，以去除降落标志形状之外的背景图像；再将差值图像B-G和R-G分别进行自适应二值化处理，以增强标志图案的像素；最后，将得到的两张二值化图像进行与运算，以合并为一张二值图像；
步骤2112，开闭运算去噪点：首先，采用矩形结构核，对步骤2111得到的二值图像进行闭运算，然后再进行开运算；
步骤2113，提取最大联通区域：首先，对步骤2112得到的二值图像进行联通区域检测；然后，计算各个连通区域包含的像素点个数；最后，将像素点个数最多，即面积最大的连通区域作为标志的外部矩形框1的图案区域；
步骤212，检测及定位特征点，获得所述外部矩形框的外轮廓边缘上的四个角点。
4.如权利要求2所述的定点降落标志的UAV相对位姿估计方法，其特征在于，所述步骤22具体包括：
步骤221，检测标志中所述内部矩形框的图案区域，其具体包括：
步骤2211，基于R、G、B三个通道分量的图像分割：首先，从UAV机载摄像头拍摄的彩色图像中提取R、G、B三个通道的分量图；然后，计算差值图像G-R和G-B，以去除降落标志形状之外的背景图像；再将差值图像G-R和G-B分别进行自适应二值化处理，以增强降落标志形状的像素；最后，将得到的两张二值化图像进行与运算，以合并为一张二值图像。
步骤2212，开闭运算去噪点：首先，采用矩形结构核，对步骤2211得到的二值图像进行闭运算，然后再进行开运算。
步骤2213，提取最大联通区域：首先，对步骤2211得到的二值图像进行联通区域检测；然后，计算各个连通区域包含的像素点个数(即连通区域面积)；最后，保留像素点个数最多，即面积最大的连通区域作为标志的内部矩形框2的图案区域；
步骤222，检测及定位特征点，获得所述内部矩形框的外轮廓边缘上的四个角点。
5.如权利要求3或4所述的定点降落标志的UAV相对位姿估计方法，其特征在于，所述步骤212和步骤222均具体包括：
步骤212a，检测步骤2113和步骤2213保留的最大联通区域的外侧轮廓边缘点集中的每一个像素点的梯度幅值及方向：首先，设计8个大小为5×5的梯度算子，分别表示常见的8个梯度方向：2个方向的水平梯度、2个方向的垂直梯度、4个方向的斜45°梯度；然后，使用设计好的8个梯度算子分别与步骤2113和步骤2213得到的最大联通区域的所有外侧轮廓边缘点进行卷积运算；最后，遍历步骤2113和步骤2213保留的最大联通区域的外侧轮廓边缘点集中的每一个像素点，每个像素点再遍历8个方向的梯度算子进行卷积运算得到的值，找到取得最大值的梯度方向；
步骤212b，根据步骤212a找到的取得最大值的梯度方向的外侧轮廓边缘点，进行分类：所有在一个梯度方向上取得卷积运算最大值的像素点统计为同一类，并保留像素点数量最多的四个类；
步骤212c，最优直线拟合，获得所述外部矩形框的四条边分别所在的直线。
6.如权利要求5所述的定点降落标志的UAV相对位姿估计方法，其特征在于，所述步骤212c具体包括：
步骤212d，根据步骤212b获得的四个类，检测是否存在未进行直线拟合的边缘点类，a)如果存在，随机选择一类，并从中随机选择其中两个像素点，形成一条直线，并得到其直线方程f(x)＝ax+b，转入步骤212e；b)如果不存在，循环结束；
步骤212e：采用下式(1)计算当前直线方程的该拟合边缘点类中所有点的距离函数ρ(r)值；
式(1)中，r代表取同一横坐标x下，像素点与直线之间的纵向距离，其表示为下式(2)：
r＝|y-f(x)| (2)
δ为权值；
步骤212f：判断步骤212e计算得到的当前拟合边缘点类的所有边缘点的距离函数之和∑ρ(r)是否达到精度要求，a)如果已达到，将此直线方程定义为此边缘点在图像上的最优拟合直线，转入步骤212d；b)如果未达到，随机更新直线方程中的系数a和b，转入步骤212e。
7.如权利要求3或4所述的定点降落标志的UAV相对位姿估计方法，其特征在于，步骤212和和步骤222均具体包括：
步骤212g，分别计算由步骤212c拟合得到的四条直线两两之间的夹角，保留得到的最大四个夹角值的直线对；
步骤212h，先分别计算步骤212g保留的最大四个夹角值的直线对的四个交点在其所在的UAV机载摄像头拍摄的彩色图像上的坐标，再根据四个交点在其所在的UAV机载摄像头拍摄的彩色图像上的坐标，在R-G的二值化图像中分别以四个交点为中心框选出c×c大小的矩形区域，并统计该区域内像素值之和∑Pi(i＝1，2，...，4)；
步骤212i，将步骤212h计算得到的四个交点的∑Pi(i＝1，2，...，4)中的最大值的中心点，作为第一角点；
步骤212j，在步骤212h保留的最大四个夹角值的直线对的另外三个交点中，与所述第一角点不共线的交点定位为第三角点；
步骤212k，在与所述第一角点共线的两个交点中任意选取一点，计算选取的该点与所述第一角点连接成的第一直线沿顺时针方向旋转到未被选取的点与所述第一角点连接形成的第二直线之间的夹角θ的大小，若θ＜180°，那么选取的该点定位为第二角点，另一未被选取的点定位为第四角点；否则该点定位为第四角点，另一未被选取的点定位为第二角点。
8.如权利要求5或6或7所述的定点降落标志的UAV相对位姿估计方法，其特征在于，步骤3具体包括：
步骤31，根据消失点坐标的位姿，计算相对位姿x的初始值；
步骤32，根据步骤31计算得到的初始值以及步骤2检测到的标志的特征点，利用L-M方法估计UAV相对于定点降落标志的位姿。
9.如权利要求8所述的定点降落标志的UAV相对位姿估计方法，其特征在于，步骤31具体包括：
步骤311，在图像坐标系中，联立平行于降落标志坐标系的Xw轴的两条直线对应的直线方程，计算这两直线在图像坐标系中的交点P(up，vp)，该点为降落标志坐标系中斜率为0的直线组在图像中的消失点坐标；
步骤312，令图像坐标系相对于标志的滚动角的初始值将消失点坐标P(up，vp)代入下面的式(3)，计算得到图像坐标系相对于标志的俯仰角的初始值θ0和图像坐标系相对于标志的偏航角初始值
式(3)中，fu、fv是UAV机载摄像头分别在图像坐标系中X和Y两个方向的焦距，u0和v0是相机图像的中心点在图像坐标系中X和Y两个方向的坐标值；
步骤313，在步骤2检测到的标志的外部矩形框1的4个角点中随机选取两个点，或者，在步骤2检测到的标志的内部矩形框2的4个角点中随机选取两个点，令被选取的两点分别在图像坐标和对应降落标志坐标中的坐标分别为(u1，v1)、(u2，v2)和(xw1，yw1，zw1)、(xw2，yw2，zw2)，将步骤31计算得到的初始值：θ＝θ0和均代入式(4),再将n＝2和两点的坐标值代入式(5)，再联立公式(4)和(5)，计算得到位置参数初始值tx0，ty0，tz0；
式(5)中，参考图8，xw1、……xwn分别表示各角点在降落标志坐标系中在Xw方向的坐标值；yw1、……ywn分别表示各角点在降落标志坐标系中在Yw方向的坐标值；zw1、……zwn分别表示各角点在降落标志坐标系中在Zw方向的坐标值；u0、……un分别表示各角点在图像坐标系中在U方向的坐标值；v0、……vn分别表示各角点在图像坐标系中在V方向的坐标值。
10.如权利要求9所述的定点降落标志的UAV相对位姿估计方法，其特征在于，步骤32具体包括：
步骤321，令F(x)＝(f1(x)，f2(x)，…，fn(x))T，其中，f(x)为方程组(4)的等号左侧部分，
步骤322，输入步骤31计算得到的初始值设置终止迭代控制参数ε、迭代次数计数k＝0、阻尼系数变量λ0＝10-3和系数s＝10，计算ε0＝||F(x0)||；
步骤323，计算Jacobi矩阵Jk以及便可构造出增量正规方程其中，令 那么，表示当前向量x与函数F(x)＝0的最佳线性逼近程度；I为单位矩阵；δk为增量正规方程的增量，用来调整向量x的大小，使其快速逼近最优值；
步骤324，求解步骤323构造出的增量正规方程，得到调整系数δk；
步骤325，a)如果||F(xk+δk)||<εk：令xk+1＝xk+δk，然后判断||δk||＜ε是否成立，如果成立，则停止迭代并输出最终位姿参数结果；否则令λk+1＝λk/s，返回步骤323；b)如果||F(xk+δk)||≥εk，则令λk+1＝s×λk，然后返回步骤323。
CN201910236732.3A 2019-03-27 2019-03-27 定点降落标志的uav相对位姿估计方法 Active CN110068321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910236732.3A CN110068321B (zh) 2019-03-27 2019-03-27 定点降落标志的uav相对位姿估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910236732.3A CN110068321B (zh) 2019-03-27 2019-03-27 定点降落标志的uav相对位姿估计方法

Publications (2)

Publication Number Publication Date
CN110068321A true CN110068321A (zh) 2019-07-30
CN110068321B CN110068321B (zh) 2020-04-24

Family

ID=67366684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910236732.3A Active CN110068321B (zh) 2019-03-27 2019-03-27 定点降落标志的uav相对位姿估计方法

Country Status (1)

Country Link
CN (1) CN110068321B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673622A (zh) * 2019-10-25 2020-01-10 大连东软信息学院 一种基于视觉图像的无人机自动着舰引导方法与系统
CN111551151A (zh) * 2020-06-04 2020-08-18 江苏集萃智能光电系统研究所有限公司 基于双目视觉的临近空间飞行器相对位姿测量方法及装置
CN113012226A (zh) * 2021-03-22 2021-06-22 浙江商汤科技开发有限公司 相机位姿的估计方法、装置、电子设备及计算机存储介质
CN113298788A (zh) * 2021-05-27 2021-08-24 南京航空航天大学 基于视觉的海上移动平台跟踪识别方法
CN113592953A (zh) * 2021-07-20 2021-11-02 中国科学院西安光学精密机械研究所 一种基于特征点集的双目非合作目标位姿测量方法
CN115402525A (zh) * 2022-11-02 2022-11-29 众芯汉创（北京）科技有限公司 一种适用于单兵作业的无人机智能停靠仓系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1237480A (en) * 1969-01-03 1971-06-30 Thomson Csf Blind landing aids
CN101159855A (zh) * 2007-11-14 2008-04-09 南京优科漫科技有限公司 基于特征点分析的多目标分离预测方法
CN104166854A (zh) * 2014-08-03 2014-11-26 浙江大学 针对小型无人机自主降落的视觉分级地标定位识别方法
CN104463866A (zh) * 2014-12-04 2015-03-25 无锡日联科技有限公司 一种基于轮廓随机采样的局部形状匹配方法
CN105021184A (zh) * 2015-07-08 2015-11-04 西安电子科技大学 一种用于移动平台下视觉着舰导航的位姿估计系统及方法
CN105550692A (zh) * 2015-12-30 2016-05-04 南京邮电大学 基于标志物颜色及轮廓检测的无人机自动寻的着陆方法
WO2016111573A1 (ko) * 2015-01-08 2016-07-14 이주성 파일 변환 방법 및 장치
CN106203439A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于标志物多特征融合的无人机自动寻的着陆方法
CN106546233A (zh) * 2016-10-31 2017-03-29 西北工业大学 一种面向合作目标的单目视觉定位方法
CN107066981A (zh) * 2017-04-20 2017-08-18 上海博历机械科技有限公司 针对小型无人机自主降落的视觉分级地标定位识别系统
CN107169972A (zh) * 2017-06-07 2017-09-15 上海航天控制技术研究所 一种非合作目标快速轮廓跟踪方法
DE102017212418A1 (de) * 2017-07-20 2019-01-24 Continental Automotive Gmbh Fahrerassistenzsystem und -verfahren zur leitplankenerkennung

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1237480A (en) * 1969-01-03 1971-06-30 Thomson Csf Blind landing aids
CN101159855A (zh) * 2007-11-14 2008-04-09 南京优科漫科技有限公司 基于特征点分析的多目标分离预测方法
CN104166854A (zh) * 2014-08-03 2014-11-26 浙江大学 针对小型无人机自主降落的视觉分级地标定位识别方法
CN104463866A (zh) * 2014-12-04 2015-03-25 无锡日联科技有限公司 一种基于轮廓随机采样的局部形状匹配方法
WO2016111573A1 (ko) * 2015-01-08 2016-07-14 이주성 파일 변환 방법 및 장치
CN105021184A (zh) * 2015-07-08 2015-11-04 西安电子科技大学 一种用于移动平台下视觉着舰导航的位姿估计系统及方法
CN105550692A (zh) * 2015-12-30 2016-05-04 南京邮电大学 基于标志物颜色及轮廓检测的无人机自动寻的着陆方法
CN106203439A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于标志物多特征融合的无人机自动寻的着陆方法
CN106546233A (zh) * 2016-10-31 2017-03-29 西北工业大学 一种面向合作目标的单目视觉定位方法
CN107066981A (zh) * 2017-04-20 2017-08-18 上海博历机械科技有限公司 针对小型无人机自主降落的视觉分级地标定位识别系统
CN107169972A (zh) * 2017-06-07 2017-09-15 上海航天控制技术研究所 一种非合作目标快速轮廓跟踪方法
DE102017212418A1 (de) * 2017-07-20 2019-01-24 Continental Automotive Gmbh Fahrerassistenzsystem und -verfahren zur leitplankenerkennung

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673622A (zh) * 2019-10-25 2020-01-10 大连东软信息学院 一种基于视觉图像的无人机自动着舰引导方法与系统
CN110673622B (zh) * 2019-10-25 2022-11-25 大连东软信息学院 一种基于视觉图像的无人机自动着舰引导方法与系统
CN111551151A (zh) * 2020-06-04 2020-08-18 江苏集萃智能光电系统研究所有限公司 基于双目视觉的临近空间飞行器相对位姿测量方法及装置
CN113012226A (zh) * 2021-03-22 2021-06-22 浙江商汤科技开发有限公司 相机位姿的估计方法、装置、电子设备及计算机存储介质
CN113298788A (zh) * 2021-05-27 2021-08-24 南京航空航天大学 基于视觉的海上移动平台跟踪识别方法
CN113592953A (zh) * 2021-07-20 2021-11-02 中国科学院西安光学精密机械研究所 一种基于特征点集的双目非合作目标位姿测量方法
CN115402525A (zh) * 2022-11-02 2022-11-29 众芯汉创（北京）科技有限公司 一种适用于单兵作业的无人机智能停靠仓系统
CN115402525B (zh) * 2022-11-02 2023-01-13 众芯汉创（北京）科技有限公司 一种适用于单兵作业的无人机智能停靠仓系统

Also Published As

Publication number Publication date
CN110068321B (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN110068321A (zh) 定点降落标志的uav相对位姿估计方法
CN107202982B (zh) 一种基于无人机位姿计算的信标布置及图像处理方法
CN108305264B (zh) 一种基于图像处理的无人机精确着陆方法
CN104134071B (zh) 一种基于颜色描述的可变形部件模型物体检测方法
CN105021184B (zh) 一种用于移动平台下视觉着舰导航的位姿估计系统及方法
CN107392963B (zh) 一种用于软式自主空中加油的仿鹰眼运动目标定位方法
CN106225787B (zh) 一种无人机视觉定位方法
CN107194399B (zh) 一种视觉定标的方法、系统及无人机
CN109949361A (zh) 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN103761524B (zh) 一种基于图像的线性目标识别与提取方法
CN106340044B (zh) 摄像机外参自动标定方法及标定装置
CN105644785B (zh) 一种基于光流法和地平线检测的无人机着陆方法
CN109725645B (zh) 一种嵌套式无人机着陆合作标志设计及相对位姿获取方法
CN106803286A (zh) 基于多视点图像的虚实遮挡实时处理方法
CN106527487A (zh) 一种运动平台上无人机自主精确着陆系统及着陆方法
CN103927758B (zh) 一种基于对比度与角点最小凸包的显著性检测方法
CN107063261B (zh) 用于无人机精准着陆的多特征信息地标检测方法
CN107194339A (zh) 障碍物识别方法、设备及无人飞行器
CN108876723A (zh) 一种灰度目标图像的彩色背景的构建方法
CN105631852B (zh) 基于深度图像等高线的室内人体检测方法
CN105825505B (zh) 一种面向硬式空中加油的视觉测量方法
CN104504675B (zh) 一种主动视觉定位方法
CN110083177A (zh) 一种基于视觉着陆的四旋翼飞行器及控制方法
CN106251337A (zh) 一种空中加油锥套空间定位方法及系统
CN107977453A (zh) 一种无人机巡视图片分类方法以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant