CN110222612B - 用于无人机自主降落的动态标靶识别与跟踪方法 - Google Patents

用于无人机自主降落的动态标靶识别与跟踪方法 Download PDF

Info

Publication number
CN110222612B
CN110222612B CN201910446707.8A CN201910446707A CN110222612B CN 110222612 B CN110222612 B CN 110222612B CN 201910446707 A CN201910446707 A CN 201910446707A CN 110222612 B CN110222612 B CN 110222612B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
landing target
image
landing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910446707.8A
Other languages
English (en)
Other versions
CN110222612A (zh
Inventor
李晓峰
杨晗
管岭
贾利民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN201910446707.8A priority Critical patent/CN110222612B/zh
Publication of CN110222612A publication Critical patent/CN110222612A/zh
Application granted granted Critical
Publication of CN110222612B publication Critical patent/CN110222612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种用于无人机自主降落的动态标靶识别与跟踪方法。该方法包括：通过卫星导航系统引导无人机飞行到地面上的降落标靶的设定距离范围内；通过机载相机获取地面的视频图像，通过图形检测规则识别出视频图像中包含的降落标靶上的语义图标，根据语义图标计算出降落标靶的中心位置信息；根据降落标靶的中心位置信息通过机载相机与无人机的姿态和相对位置关系，计算大地坐标系下降落标靶的位置和动态特性；持续计算出大地坐标系下无人机与降落标靶的相对位置和相对速度，通过三重PID控制算法控制无人机降落在降落标靶的中心位置。本发明的方法通过识别降落标靶中的语义图标，实现对降落标靶的定位和跟踪，实现无人机的在动态降落标靶上精准自主降落。

Description

用于无人机自主降落的动态标靶识别与跟踪方法
技术领域
本发明涉及无人机控制技术领域，尤其涉及一种用于无人机自主降落的动态标靶识别与跟踪方法。
背景技术
旋翼无人机具有使用便利、机动灵活、运营成本低、飞行精度高等优点，在实际应用中存在大量的需求，被广泛应用于侦察、救援、测绘、植保等各个领域。无人机的自主起飞、降落等技术多年来一直是无人机领域的研究热点。
目前无人机的自主降落多采用GNSS(Global Navigation Satellite System，全球导航卫星系统)导航定位配合高度数据进行定点降落。高度数据通常由GNSS、气压计、超声波或对地雷达测得。但GNSS信号易受建筑物遮挡和天气条件影响，数据漂移严重，且高度方向的精度非常有限；基于超声波、微波、激光等的测距传感器难以区分降落平台与地面，无法直接用于无人机在移动平台上降落。
目前，针对移动的降落平台，现有技术中的无人机的自主降落通常采用人工引导控制，对GNSS精度和操作人员的熟练度都有较高的要求，无法做到自主降落。在一些复杂条件下，例如海面移动平台、颠簸移动的地面平台上起飞降落，对该类无人机的飞行控制系统和控制人员仍然是严峻的挑战，制约着无人机在更广泛的领域运用。
发明内容
本发明的实施例提供了一种用于无人机自主降落的动态标靶识别与跟踪方法，以克服现有技术的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种用于无人机自主降落的动态标靶识别与跟踪方法，包括：
通过卫星导航系统引导无人机飞行到地面上的降落平台的设定距离范围内；
通过机载相机获取地面的视频图像，利用轮廓检测和形状匹配的方法识别出所述视频图像中的降落标靶，计算出所述降落标靶的中心位置信息；
根据所述降落标靶的中心位置信息通过机载相机与无人机的姿态和相对位置关系，计算大地坐标系下所述降落标靶的位置和动态特性，根据所述降落标靶的位置和动态特性通过PID控制算法控制无人机动态识别与跟踪所述降落标靶。
优选地，所述降落标靶设置在降落平台上，所述降落标靶的图形包括背景、主体图形和其他细节图标，其中，背景为白色填充，涂满降落平台的上表面；主体图形为由大圆环内包含T形组成的图形，用黑色填充；细节图标不能与主体图形相重叠。
优选地，所述通过机载相机获取地面的视频图像，利用轮廓检测和形状匹配的方法识别出所述视频图像中的降落标靶，包括：
通过机载相机拍摄地面的视频，从地面的视频中截取BGR彩色图像，对BGR彩色图像进行预处理，将预处理后的图像转换为灰度图像，通过自适应阈值将灰度图像转换为二值图像，提取二值图像中的边缘轮廓，对所述边缘轮廓通过最小二乘法进行椭圆拟合，即对于目标的椭圆表达式ax2+bxy+cy2+dx+ey+f＝0，求解以下最优化方程：
Figure GDA0003060333520000021
其中，A＝(a,b,c,d,e,f)T为所求参数，X＝(x2,xy,y2,x,y,1)T为边缘轮廓点的坐标形成的向量，N表示第N个
Figure GDA0003060333520000022
其中i＝N,T表示矩阵或向量的转置：
Figure GDA0003060333520000023
为椭圆曲线的约束矩阵；最终求得的拟合椭圆的参数为
Figure GDA0003060333520000024
对应的最小误差为
Figure GDA0003060333520000025
计算出最小误差
Figure GDA0003060333520000026
与边缘轮廓周长的比值，当该比值小于设定的第一阈值时，则认为该边缘轮廓为候选椭圆区域；
截取候选椭圆区域的图像，将图像缩放为特定大小后，提取图像中的黑色连通域，计算黑色连通域的凸包面积SC，计算出凸包面积SC与黑色连通域的外围圆环面积的比值，当该比值小于设定的第二阈值时，则认为该黑色连通域为候选连通域；
对于候选连通域，均匀抽取候选连通域中的特征点，进行二自由度的混合线性模型拟合，得到两个线段方程ab,cd以及对应的四个端点a,b,c,d，判断两条线段是否成为T型，若是，则解算该T形图形的朝向角度θ；
将原本的T形模板图像旋转角度θ，将旋转后的T形模板与候选椭圆区域图像进行匹配验证，当旋转后的T形模板与候选椭圆区域图像之间的相似度超过第三阈值时，则判断该候选区域为降落标靶图形。
优选地，所述的通过自适应阈值将灰度图像转换为二值图像，包括：
根据所述灰度图像中每个像素点的邻域计算出每个像素点对应的自适应阈值，将每个像素点的灰度值与对应的自适应阈值进行比较，当某个像素点的灰度值大于自适应阈值时，则将所述某个像素点设为白色，当某个像素点的灰度值不大于自适应阈值时，则将所述某个像素点设为反之设置为黑色。
优选地，所述第二阈值的取值范围为0.15～0.35。
优选地，所述的对BGR彩色图像进行预处理，包括：
选取BGR彩色图像中的感兴趣区域ROI，初始ROI为整幅图像；如果上一帧BGR彩色图像检测到了降落标靶图形，则将降落标靶图形所占区域的边长为1.2倍的矩形范围作为ROI；如果上一帧图像没有检测到降落标靶图形，则将上一次所选取的ROI的中心为基准，将上一次所选取的ROI扩大1.2倍后作为新的ROI，直到覆盖全图；
将感兴趣区域的BGR彩色图像转换为灰度图像；
对所述灰度图像进行中值滤波处理。
优选地，所述的根据所述降落标靶的中心位置信息通过机载相机与无人机的姿态和相对位置关系，计算大地坐标系下所述降落标靶的位置和动态特性，包括：
通过无人机载的惯性导航系统获取无人机相对于地面的三轴姿态，通过相机云台或标定获取相机相对于无人机的三轴姿态，降落标靶由相机坐标系转换到大地坐标系的公式如式(2)所示；
Xg＝RpXp+Xg0＝RpRcXc+Xg0 (2)
其中Xg、Xp、Xc分别为降落标靶在大地坐标系、无人机坐标系、相机坐标系下的坐标；Xg0为无人机当前在大地坐标系下的坐标，由GNSS定位坐标转换得出；Rp为无人机坐标系到大地坐标系的旋转矩阵，Rc为相机坐标系到无人机坐标系的旋转矩阵，所有的旋转矩阵计算公式如式(3)所示，其中，α为翻滚角，β为俯仰角，γ为偏航角；
Figure GDA0003060333520000031
以降落标靶的东、北方向的大地坐标为输入，通过卡尔曼滤波预测降落标靶的位置和速度，由降落标靶东、北方向坐标和速度组成状态向量X＝[x,y,vx,vy]T，输出向量Y＝[x,y]T，系统的状态方程如式(4)所示；
Figure GDA0003060333520000041
其中，
Figure GDA0003060333520000042
Δt为采样时间间隔；W代表均值为零的系统噪声，是协方差为Q的高斯变量；V代表均值为零的量测噪声，是协方差为R的高斯变量；
通过求解所述式(4)所示的状态方程得到降落标靶在大地坐标系下的位置、姿态和速度之后，持续计算出大地坐标系下无人机与降落标靶的相对位置和相对速度，上述相对位置包括相对距离和相对高度。
优选地，所述的根据所述降落标靶的位置和动态特性通过PID控制算法控制无人机动态识别与跟踪所述降落标靶，包括：
基于所述降落标靶的位置和动态特性持续计算出大地坐标系下无人机与降落标靶的相对位置和相对速度；
以无人机与降落标靶的相对位置为输入，通过PID控制算法控制无人机向标靶移动；
以无人机与降落标靶的相对速度为输入，叠加在位置控制得出的速度上，通过PID控制算法追踪动态降落标靶；
以无人机与降落标靶的相对高度为输入，通过PID控制算法控制无人机降落在标靶上。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例的用于无人机自主降落的动态标靶识别与跟踪方法通过对不同时刻的坐标位置跟踪，实现降落标靶的位置的跟踪和预测，并估算降落标靶的移动速度，弥补GNSS定位精度不足导致的降落标靶定位误差大的不足，支撑无人机的精准跟随和自主降落等智能化功能。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明中无人机对动态降落标靶识别与跟踪的流程图。
图2是本发明中降落标靶图案。
图3是本发明中降落标靶的识别流程图。
图4是本发明中T形图形识别过程示意图。
图5是本发明中相机坐标系、无人机坐标系与大地坐标系的相对关系示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
实施例一
为了解决现有技术中GNSS定位精度不够导致无人机无法精确地自主降落在移动平台上的问题，提高无人机的自主能力，本发明实施例提供了一种用于无人机自主降落的动态标靶识别与跟踪方法，该方法的处理流程如图1所示，包括如下的处理步骤：
步骤S1：通过GNSS卫星导航系统引导无人机飞行到地面上的降落平台的设定距离范围内。
降落平台为印有降落标靶图形的矩形平面，降落平台不仅可以固定在地面，也可以安装在车辆、船舶等可移动载具上。
降落标靶图形主要由背景、主体图形和其他细节图标三部分组成。其中，背景为白色填充，涂满降落平台的上表面；主体图形为由大圆环内包含T形组成的图形，用黑色填充；细节图标可以为任意图形，但不能与主体图形相重叠。本发明实施例中所用标靶如图2所示，没有使用细节图标。
所述的无人机指的是多旋翼无人机和无人驾驶的直升机。
步骤S2.通过机载相机拍摄地面的视频，从地面的视频中截取BGR彩色图像，对BGR彩色图像进行预处理，该预处理包括：
(1)选取BGR彩色图像中的ROI(region of interest，感兴趣区域)。选择合适的ROI可以大幅度减少计算量。初始ROI为整幅图像；如果上一帧图像检测到了降落标靶图形，则将降落标靶图形所占区域的边长为1.2倍的矩形范围作为ROI；如果上一帧图像没有检测到降落标靶图形，则将上一次所选取的ROI的中心为基准，将上一次所选取的ROI扩大1.2倍后作为新的ROI，直到覆盖全图。
(2)将感兴趣区域的BGR彩色图像转换为灰度图像。如式(5)所示将BGR彩色图像转换为灰度图像，其中，R为图像的红色分量，G为绿色分量，B为蓝色分量；
Gray＝R·0.299+G·0.587+B·0.114 (5)
(3)对灰度图像进行中值滤波处理，消除灰度图像的噪声。中值滤波可以有效滤除图像中的椒盐噪音和斑点噪音，并且保留图像的边缘特征。
步骤S3.利用轮廓检测和形状匹配的方法识别降落标靶，降落标靶的识别流程如图3所示，包括如下的处理过程；
首先将预处理后的图像转换为二值图像，然后通过自适应阈值将灰度图像二值化。所述的自适应阈值是一种局部阈值化方法。它的原理是根据图像每个像素点的邻域计算出每个像素点对应的自适应阈值，然后将每个像素点的灰度值与对应的自适应阈值进行比较，根据比较结果设置每个像素点为白色或者黑色。
自适应阈值化的计算如式(6)所示
Figure GDA0003060333520000071
其中，Pi,j为第i行第j列的图像像素灰度值，N为窗口内的像素数量总数，C为计算偏置。得出阈值后，将对应的像素灰度值与阈值进行比较，当灰度值大于阈值时，该像素点设为255(白色)，反之设置为0(黑色)，如式(7)所示。
Figure GDA0003060333520000072
然后提取二值图像中的边缘轮廓；剔除太大、太小、形状太偏的边缘轮廓后，对剩下的边缘轮廓，通过最小二乘法进行椭圆拟合，即对于目标的椭圆表达式ax2+bxy+cy2+dx+ey+f＝0，求解以下最优化方程：
Figure GDA0003060333520000073
其中，A＝(a,b,c,d,e,f)T为所求参数，X＝(x2,xy,y2,x,y,1)T为边缘轮廓点的坐标形成的向量，T表示矩阵或向量的转置。
Figure GDA0003060333520000074
为椭圆曲线的约束矩阵；最终求得的拟合椭圆的参数为
Figure GDA0003060333520000075
对应的最小误差为
Figure GDA0003060333520000076
计算出最小误差
Figure GDA0003060333520000077
与边缘轮廓周长的比值，当该比值小于设定的第一阈值时，可认为该边缘轮廓为候选椭圆区域；对于同心圆的情况，取最外围的圆作为候选区域。
截取候选椭圆区域的图像，将图像缩放为特定大小后，提取图像中的黑色连通域，计算黑色连通域的凸包面积SC，并剔除过小和过大的连通域。计算出凸包面积SC与黑色连通域的外围圆环面积的比值，当该比值小于设定的第二阈值时，可认为该黑色连通域为候选连通域。本发明实施例中，图像中心的黑色T型图形的凸包面积约为外围圆环面积的1/4，因此，选取的第二阈值范围为0.15～0.35。
对于候选连通域(如图4a所示)，均匀抽取候选连通域中的特征点(图4b)，进行二自由度的混合线性模型拟合，得到两个线段方程ab,cd以及对应的四个端点a,b,c,d，如图4c所示。然后判断两条线段是否成为T型，并解算该T形图形的朝向角度θ。
最后，将原本的T形模板图像旋转角度θ，然后将旋转后的T形模板与预选存储的候选椭圆区域图像进行匹配验证，当旋转后的T形模板与候选椭圆区域图像之间的相似度超过第三阈值时，可认定该候选区域为降落标靶图形。
步骤S4.通过机载相机与无人机的姿态和相对位置关系，计算大地坐标系下降落标靶的位置，并通过卡尔曼滤波计算降落标靶的动态特性,计算出大地坐标系下无人机与降落标靶的相对位置和相对速度。
所述的大地坐标系为以无人机起飞点为原点的北东地坐标系；所述降落标靶的动态特性包括标靶的大地坐标、降落标靶朝向、东向速度、北向速度和旋转角速度等。
本发明实施例提供的一种相机坐标系、无人机坐标系、大地坐标系的相对关系如图5所示，通过无人机载的惯性导航系统可以获取无人机相对于地面的三轴姿态(翻滚角、俯仰角、航向角)，通过相机云台或标定可以获取相机相对于无人机的三轴姿态。降落标靶由相机坐标系转换到大地坐标系的公式如式(9)所示。
Xg＝RpXp+Xg0＝RpRcXc+Xg0 (9)
其中Xg、Xp、Xc分别为降落标靶在大地坐标系、无人机坐标系、相机坐标系下的坐标；Xg0为无人机当前在大地坐标系下的坐标，由GNSS定位坐标转换得出；Rp为无人机坐标系到大地坐标系的旋转矩阵，Rc为相机坐标系到无人机坐标系的旋转矩阵，所有的旋转矩阵计算公式如式(10)所示。其中，α为翻滚角，β为俯仰角，γ为偏航角。
Figure GDA0003060333520000081
以降落标靶的东、北方向的大地坐标为输入，通过卡尔曼滤波预测降落标靶的位置和速度。由降落标靶东、北方向坐标和速度组成状态向量X＝[x,y,vx,vy]T，输出向量Y＝[x,y]T，系统的状态方程如式(11)所示。
Figure GDA0003060333520000091
其中，
Figure GDA0003060333520000092
Δt为采样时间间隔；W代表均值为零的系统噪声，是协方差为Q的高斯变量；V代表均值为零的量测噪声，是协方差为R的高斯变量。
得到降落标靶在大地坐标系下的位置、姿态和速度之后，持续计算出大地坐标系下无人机与降落标靶的相对位置和相对速度，上述相对位置包括相对距离和相对高度。
步骤S5：根据大地坐标系下无人机与降落标靶的相对位置和相对速度，以及降落标靶的位置和动态特性通过PID控制算法控制无人机动态识别与跟踪降落标靶，使无人机精确地降落在标靶中心位置。
所述的三重PID控制算法分为：
(1)位置控制，以无人机与降落标靶的相对位置为输入，通过PID控制算法控制无人机向标靶移动；
(2)水平速度控制，以无人机与降落标靶的相对速度为输入，叠加在位置控制得出的速度上，通过PID控制算法追踪动态降落标靶；
(3)降落速度控制，以无人机与降落标靶的相对高度为输入，通过PID控制算法控制无人机降落在标靶上。
本发明实施例的无人机降落方法不只适用于无人机在固定降落标靶上降落，还适用于在行驶中的车辆和船舶上降落。
综上所述，本发明实施例的用于无人机自主降落的动态标靶识别与跟踪方法通过对不同时刻的坐标位置跟踪，实现降落标靶的位置的跟踪和预测，并估算降落标靶的移动速度，弥补GNSS定位精度不足导致的降落标靶定位误差大的不足，支撑无人机的精准跟随和自主降落等智能化功能。
本发明实施例的方法可以采用固定的单个高清相机对降落标靶进行定位和跟踪，也可以采用可变焦、带云台的相机，扩展视野范围，配置灵活，无需使用昂贵的高精度传感器。
本发明实施例的方法既可以单独应用，也可以与其他降落标靶定位跟踪方法进行综合应用。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种用于无人机自主降落的动态标靶识别与跟踪方法，其特征在于，包括：
通过卫星导航系统引导无人机飞行到地面上的降落平台的设定距离范围内；
通过机载相机获取地面的视频图像，利用轮廓检测和形状匹配的方法识别出所述视频图像中的降落标靶，计算出所述降落标靶的中心位置信息；
根据所述降落标靶的中心位置信息通过机载相机与无人机的姿态和相对位置关系，计算大地坐标系下所述降落标靶的位置和动态特性，根据所述降落标靶的位置和动态特性通过PID控制算法控制无人机动态识别与跟踪所述降落标靶；
所述降落标靶设置在降落平台上，所述降落标靶的图形包括背景、主体图形和其他细节图标，其中，背景为白色填充，涂满降落平台的上表面；主体图形为由大圆环内包含T形组成的图形，用黑色填充；细节图标不能与主体图形相重叠；
所述通过机载相机获取地面的视频图像，利用轮廓检测和形状匹配的方法识别出所述视频图像中的降落标靶，包括：
通过机载相机拍摄地面的视频，从地面的视频中截取BGR彩色图像，对BGR彩色图像进行预处理，将预处理后的图像转换为灰度图像，通过自适应阈值将灰度图像转换为二值图像，提取二值图像中的边缘轮廓，对所述边缘轮廓通过最小二乘法进行椭圆拟合，即对于目标的椭圆表达式ax2+bxy+cy2+dx+ey+f＝0，求解以下最优化方程：
Figure FDA0003077529600000011
其中，A＝(a,b,c,d,e,f)T为所求参数，X＝(x2,xy,y2,x,y,1)T为边缘轮廓点的坐标形成的向量，i表示第i个
Figure FDA0003077529600000012
其中N表示
Figure FDA0003077529600000013
的总数，T表示矩阵或向量的转置；
Figure FDA0003077529600000021
为椭圆曲线的约束矩阵；最终求得的拟合椭圆的参数为
Figure FDA0003077529600000024
对应的最小误差为
Figure FDA0003077529600000022
计算出最小误差
Figure FDA0003077529600000023
与边缘轮廓周长的比值，当该比值小于设定的第一阈值时，则认为该边缘轮廓为候选椭圆区域；
截取候选椭圆区域的图像，将图像缩放为特定大小后，提取图像中的黑色连通域，计算黑色连通域的凸包面积SC，计算出凸包面积SC与黑色连通域的外围圆环面积的比值，当该比值小于设定的第二阈值时，则认为该黑色连通域为候选连通域；
对于候选连通域，均匀抽取候选连通域中的特征点，进行二自由度的混合线性模型拟合，得到两个线段方程ab,cd以及对应的四个端点a,b,c,d，判断两条线段是否成为T形 模板图像，若是，则解算该T形模板图像的朝向角度θ；
将原本的T形模板图像旋转角度θ，将旋转后的T形模板图像与候选椭圆区域图像进行匹配验证，当旋转后的T形模板图像与候选椭圆区域图像之间的相似度超过第三阈值时，则判断该候选椭圆区域图像为降落标靶图形。
2.根据权利要求1所述的方法，其特征在于，所述的通过自适应阈值将灰度图像转换为二值图像，包括：
根据所述灰度图像中每个像素点的邻域计算出每个像素点对应的自适应阈值，将每个像素点的灰度值与对应的自适应阈值进行比较，当某个像素点的灰度值大于自适应阈值时，则将所述某个像素点设为白色，当某个像素点的灰度值不大于自适应阈值时，则将所述某个像素点设为反之设置为黑色。
3.根据权利要求1所述的方法，其特征在于，所述第二阈值的取值范围为0.15～0.35。
4.根据权利要求1所述的方法，其特征在于，所述的对BGR彩色图像进行预处理，包括：
选取BGR彩色图像中的感兴趣区域ROI，初始ROI为整幅图像；如果上一帧BGR彩色图像检测到了降落标靶图形，则将降落标靶图形所占区域的边长为1.2倍的矩形范围作为ROI；如果上一帧图像没有检测到降落标靶图形，则将上一次所选取的ROI的中心为基准，将上一次所选取的ROI扩大1.2倍后作为新的ROI，直到覆盖全图；
将感兴趣区域的BGR彩色图像转换为灰度图像；
对所述灰度图像进行中值滤波处理。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述的根据所述降落标靶的中心位置信息通过机载相机与无人机的姿态和相对位置关系，计算大地坐标系下所述降落标靶的位置和动态特性，包括：
通过无人机载的惯性导航系统获取无人机相对于地面的三轴姿态，通过相机云台或标定获取相机相对于无人机的三轴姿态，降落标靶由相机坐标系转换到大地坐标系的公式如式(2)所示；
Xg＝RpXp+Xg0＝RpRcXc+Xg0 (2)
其中Xg、Xp、Xc分别为降落标靶在大地坐标系、无人机坐标系、相机坐标系下的坐标；Xg0为无人机当前在大地坐标系下的坐标，由GNSS定位坐标转换得出；Rp为无人机坐标系到大地坐标系的旋转矩阵，Rc为相机坐标系到无人机坐标系的旋转矩阵，所有的旋转矩阵计算公式如式(3)所示，其中，α为翻滚角，β为俯仰角，γ为偏航角；
Figure FDA0003077529600000031
以降落标靶的东、北方向的大地坐标为输入，通过卡尔曼滤波预测降落标靶的位置和速度，由降落标靶东、北方向坐标和速度组成状态向量X＝[x，y，vx，vy]T，输出向量Y＝[x，y]T，系统的状态方程如式(4)所示；
Figure FDA0003077529600000032
其中，
Figure FDA0003077529600000033
Δt为采样时间间隔；W代表均值为零的系统噪声，是协方差为Q的高斯变量；V代表均值为零的量测噪声，是协方差为R的高斯变量；
通过求解所述式(4)所示的状态方程得到降落标靶在大地坐标系下的位置、姿态和速度之后，持续计算出大地坐标系下无人机与降落标靶的相对位置和相对速度，上述相对位置包括相对距离和相对高度。
6.根据权利要求5所述的方法，其特征在于，所述的根据所述降落标靶的位置和动态特性通过PID控制算法控制无人机动态识别与跟踪所述降落标靶，包括：
基于所述降落标靶的位置和动态特性持续计算出大地坐标系下无人机与降落标靶的相对位置和相对速度；
以无人机与降落标靶的相对位置为输入，通过PID控制算法控制无人机向标靶移动；
以无人机与降落标靶的相对速度为输入，叠加在位置控制得出的速度上，通过PID控制算法追踪动态降落标靶；
以无人机与降落标靶的相对高度为输入，通过PID控制算法控制无人机降落在标靶上。
CN201910446707.8A 2019-05-27 2019-05-27 用于无人机自主降落的动态标靶识别与跟踪方法 Active CN110222612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910446707.8A CN110222612B (zh) 2019-05-27 2019-05-27 用于无人机自主降落的动态标靶识别与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910446707.8A CN110222612B (zh) 2019-05-27 2019-05-27 用于无人机自主降落的动态标靶识别与跟踪方法

Publications (2)

Publication Number Publication Date
CN110222612A CN110222612A (zh) 2019-09-10
CN110222612B true CN110222612B (zh) 2021-08-03

Family

ID=67818506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910446707.8A Active CN110222612B (zh) 2019-05-27 2019-05-27 用于无人机自主降落的动态标靶识别与跟踪方法

Country Status (1)

Country Link
CN (1) CN110222612B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569810B (zh) * 2019-09-11 2022-02-08 浙江大华技术股份有限公司 坐标信息的获取方法及装置、存储介质、电子装置
CN110595468B (zh) * 2019-09-25 2021-05-07 中国地质科学院地球物理地球化学勘查研究所 一种基于深度学习的三分量感应线圈姿态测量系统及方法
CN111198561B (zh) * 2019-12-05 2021-10-22 浙江大华技术股份有限公司 目标跟踪的运动控制方法、装置、计算机设备及存储介质
CN110968722A (zh) * 2019-12-06 2020-04-07 上海航天控制技术研究所 一种用于无人机自主着陆的平台识别测量方法
CN111813148B (zh) * 2020-07-22 2024-01-26 广东工业大学 一种无人机降落方法、系统、设备和存储介质
CN112702139A (zh) * 2020-12-21 2021-04-23 中交遥感天域科技江苏有限公司 一种无人机侦测管控系统
CN114326766A (zh) * 2021-12-03 2022-04-12 深圳先进技术研究院 一种车机协同自主跟踪与降落方法
CN114689030A (zh) * 2022-06-01 2022-07-01 中国兵器装备集团自动化研究所有限公司 一种基于机载视觉的无人机辅助定位方法及系统
CN115068109B (zh) * 2022-06-13 2023-07-28 元化智能科技(深圳)有限公司 面向医疗手术导航的红外标靶识别方法和装置
CN115167512A (zh) * 2022-07-25 2022-10-11 亿航智能设备（广州）有限公司 一种地面坡度探测方法、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536453A (zh) * 2014-11-28 2015-04-22 深圳一电科技有限公司 飞行器的控制方法及装置
CN106054929A (zh) * 2016-06-27 2016-10-26 西北工业大学 一种基于光流的无人机自动降落引导方法
CN106527487A (zh) * 2016-12-23 2017-03-22 北京理工大学 一种运动平台上无人机自主精确着陆系统及着陆方法
CN108256491A (zh) * 2018-01-25 2018-07-06 北方工业大学 无预设靶标的复杂场景无人机自主降落候选区筛选方法
CN108563236A (zh) * 2018-06-08 2018-09-21 清华大学 一种基于同心圆特征的纳型无人机目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013025552A1 (en) * 2011-08-12 2013-02-21 Aerovironment, Inc. Bi-stable, sub-commutated, direct-drive, sinusoidal motor controller for precision position control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536453A (zh) * 2014-11-28 2015-04-22 深圳一电科技有限公司 飞行器的控制方法及装置
CN106054929A (zh) * 2016-06-27 2016-10-26 西北工业大学 一种基于光流的无人机自动降落引导方法
CN106527487A (zh) * 2016-12-23 2017-03-22 北京理工大学 一种运动平台上无人机自主精确着陆系统及着陆方法
CN108256491A (zh) * 2018-01-25 2018-07-06 北方工业大学 无预设靶标的复杂场景无人机自主降落候选区筛选方法
CN108563236A (zh) * 2018-06-08 2018-09-21 清华大学 一种基于同心圆特征的纳型无人机目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无人机高速移动移动降落技术研究;贾配洋;《中国优秀硕士学位论文全文数据库（电子期刊）工程科技Ⅱ辑》;20180115(第1期);参见第26-32、47-55、59-68页 *

Also Published As

Publication number Publication date
CN110222612A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN110222612B (zh) 用于无人机自主降落的动态标靶识别与跟踪方法
CN110221625B (zh) 无人机精确位置的自主降落导引方法
CN110991207B (zh) 综合H图案识别和AprilTag二维码识别的无人机精准降落方法
CN107741229B (zh) 一种光电/雷达/惯性组合的舰载机着舰导引方法
US5072396A (en) Navigation systems
Marut et al. ArUco markers pose estimation in UAV landing aid system
CN102538782B (zh) 一种基于计算机视觉的直升机着陆引导方法
US20170328716A1 (en) Vision-aided aerial navigation
KR100985195B1 (ko) 영상기반 자동 이착륙 시스템
CN108153334B (zh) 无合作目标式无人直升机视觉自主返航与着降方法及系统
CN107240063A (zh) 一种面向移动平台的旋翼无人机自主起降方法
CN111326023A (zh) 一种无人机航线预警方法、装置、设备及存储介质
Sanchez-Lopez et al. Toward visual autonomous ship board landing of a VTOL UAV
CN101109640A (zh) 基于视觉的无人驾驶飞机自主着陆导航系统
CN105644785A (zh) 一种基于光流法和地平线检测的无人机着陆方法
CN109613926A (zh) 多旋翼无人机自动降落高精度自动识别降落区域的方法
KR20210034253A (ko) 위치 추정 장치 및 방법
Fan et al. Vision algorithms for fixed-wing unmanned aerial vehicle landing system
Lombaerts et al. Distributed Ground Sensor Fusion Based Object Tracking for Autonomous Advanced Air Mobility Operations
Lombaerts et al. Adaptive multi-sensor fusion based object tracking for autonomous urban air mobility operations
CN114689030A (zh) 一种基于机载视觉的无人机辅助定位方法及系统
RU2513900C1 (ru) Способ и устройство определения координат объектов
Li et al. Sea–sky line detection using gray variation differences in the time domain for unmanned surface vehicles
Thompson Maritime object detection, tracking, and classification using lidar and vision-based sensor fusion
CN113933828A (zh) 一种无人艇环境自适应多尺度目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190910

Assignee: GUANGZHOU HI-TARGET SURVEYING INSTRUMENT Co.,Ltd.

Assignor: Beijing Jiaotong University

Contract record no.: X2021990000807

Denomination of invention: Dynamic target recognition and tracking method for UAV autonomous landing

Granted publication date: 20210803

License type: Exclusive License

Record date: 20211222