CN111562791A - 一种无人机合作目标识别视觉辅助着陆的系统及方法 - Google Patents

一种无人机合作目标识别视觉辅助着陆的系统及方法 Download PDF

Info

Publication number
CN111562791A
CN111562791A CN201910220707.6A CN201910220707A CN111562791A CN 111562791 A CN111562791 A CN 111562791A CN 201910220707 A CN201910220707 A CN 201910220707A CN 111562791 A CN111562791 A CN 111562791A
Authority
CN
China
Prior art keywords
target
camera
unmanned aerial
aerial vehicle
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910220707.6A
Other languages
English (en)
Inventor
刘秦
姚齐
徐保树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Sumboy Intelligent Imaging Technology Co ltd
Original Assignee
Shenyang Sumboy Intelligent Imaging Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Sumboy Intelligent Imaging Technology Co ltd filed Critical Shenyang Sumboy Intelligent Imaging Technology Co ltd
Priority to CN201910220707.6A priority Critical patent/CN111562791A/zh
Publication of CN111562791A publication Critical patent/CN111562791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种无人机合作目标识别视觉辅助着陆的系统及方法,系统包括位于无人机下方的相机、图像处理模块和靶标板,靶标板包括多个尺寸不同的靶标,靶标之间相互独立而非嵌套式,靶标尺寸依次增大或者减小,靶标为aruco图案;图像处理模块包括检测识别aruco图案和姿态解算。本发明采用多种尺寸非嵌套、尺寸依次减小或增大的靶标设计,确保无人机在下降到不同高度时,相机始终可以拍摄到不同尺寸的靶标,提高识别率和实用性,同时提高姿态估计的准确性和实时性。

Description

一种无人机合作目标识别视觉辅助着陆的系统及方法
技术领域
本发明属于无人机控制领域,具体涉及一种无人机合作目标识别视觉辅助着陆的系统及方法,尤其适用于动平台的辅助着陆。
背景技术
近几年来,随着无人机行业飞速发展,无人机的飞行安全尤为重要。无人机自主降落过程是事故的高发阶段,尤其是对于体积大、重量大、成本高的行业无人机而言,它们通常在比较恶劣的环境下执行任务,例如风浪较大的船上,所以精确且安全的自主降落是十分必要的。传统的无人机视觉辅助降落方法主要借助相机镜头对周围人为设置的图形符号集的感知,以及地面站实时传输的视频图像,帮助飞手将无人机降落到指定地点。该方法未能实现无人机真正的自主降落,不仅多种符号集指示单元成本较高,而且从准备指示图标到完成真正的辅助降落的耗时较长,实用性较差。对于传统方法采用的靶标形状如“H”形,圆形以及十字形靶标,由于飞行过程中镜头不能完全保证一直垂直照射靶标,图像的透视变换容易造成靶标的漏识别,而且这种靶标设计也很有可能与地表其他形状相似的物体产生误识别。此外在识别过程中由于受靶标尺寸约束,当无人机飞行较近时,靶标容易超出视野范围。为避免这一问题,传统方法主要采用嵌套式的靶标设计。传统的嵌套式靶标主要有两种,一种是同心嵌套,一种是非同心嵌套。对于简单的同心嵌套,如多个同心圆嵌套,这样的靶标设计多适用于静平台的辅助着陆。当降落平台的运动方式发生突然改变时,相机视野中的同心大小靶标可能会同时超出视野范围。另一种为非同心嵌套,虽然一定程度上避免了同心嵌套存在的问题,但是小图标覆盖在大图标上,改变了大靶标原来的内部图像结构,增加了大靶标的识别难度。此外传统方法采用的靶标一般不具有方向性,很难实现无人机首尾的准确降落,而且大多利用单一靶标估计相机姿态,计算结果不够准确。对于夜间或是光照较差条件下的无人机自主降落,传统方法也无法实现。由此可见传统方法对于实现低成本、高精度、操作简单的无人机动平台自主着陆还有很多缺点和不足。
发明内容
为解决上述技术问题,本发明提供一种无人机合作目标识别视觉辅助着陆的系统及方法。本发明采用大小靶标结合的图案设计,通过对靶标板中aruco图案的精确识别得到大小靶标角点的像素位置,然后根据相机的内参和畸变参数将靶标在图像下的坐标转换到相机坐标系下的坐标,实时输出相机相对于靶标的三维位置和三维姿态。
本发明的技术方案如下:
一种无人机合作目标识别视觉辅助着陆的系统,包括位于无人机下方的相机、图像处理模块和靶标板,所述靶标板包括多个尺寸不同的靶标,靶标之间相互独立而非嵌套式,靶标尺寸依次增大或者减小,所述靶标为aruco图案;所述图像处理模块包括检测识别aruco图案和姿态解算。
优选所述检测识别aruco图案既识别靶标的外形轮廓又对其内部进行分割解码,得到靶标角点的像素坐标和ID号,避免图像发生透视变换或是与近地面形状相似物体发生漏识别或是误识别,大大增强了靶标识别的准确性;所述姿态解算根据相机内参和畸变参数将靶标角点的像素坐标转化到相机坐标系下的三维坐标,进一步得到靶标坐标系和相机坐标系的转化关系,解算出相机相对于每个靶标的姿态信息,不同尺寸的靶标对于相机姿态解算的结果不同,根据不同尺寸靶标的位置关系,将不同相机姿态数据转化到相对于最小靶标坐标系下,再利用优化算法迭代收敛到最优结果,将优化后的无人机相对于最小靶标的三维位置和三维姿态信息实时输出给无人机的飞行控制系统。
得到相机相对于靶标的三维姿态信息后,利用相机坐标系和无人机的机体坐标系之间的转换关系,即可得到无人机相对最小靶标的姿态信息。
所述靶标板水平放置在动平台上,相机和图像处理模块相连接,将靶标板的图像信号传递给检测识别算法,然后将检测识别结果传递给姿态解算模块。
优选无人机合作目标识别视觉辅助着陆的系统还包括LED辅助系统,LED辅助系统位于相机一侧,与相机的水平高度一致,可以根据相机拍摄的画面自动感知周围环境的亮度,从而控制LED的开关,进行辅助照明,实现夜间或是光照较差环境下的辅助着陆,扩大了无人机合作目标识别视觉辅助着陆系统的适用范围。
优选无人机合作目标识别视觉辅助着陆的系统还包括车载GPS辅助系统,所述GPS辅助系统挂载在动平台上;如果当前帧未检测到aruco图案或者无人机下方的车载着陆平台运动方式突然发生变化时,可通过动平台上挂载的GPS辅助系统来获取车载着陆平台的大致位置,调整无人机的飞行方向,保证视野范围内始终有靶标出现,方便着陆。
本发明还提供一种无人机合作目标识别视觉辅助着陆系统的辅助着陆方法,包括如下步骤:
A.准备工作:利用棋盘格标定相机;将靶标板水平放置在动平台上,并将最小靶标的中心对准着陆点;记录不同靶标的实际物理尺寸和ID号,以及各个靶标相对于最小靶标的相对位置关系;
B. 检测识别aruco图案;
C. 姿态解算。
更进一步,所述步骤C中,具体包括如下步骤:
C1. 将大小靶标角点在图像坐标系下的坐标转化到相机坐标系下的坐标;
相机下的三维坐标为
Figure DEST_PATH_IMAGE001
Figure 403743DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
为图像中的像素坐标,
Figure 519466DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
Figure 874093DEST_PATH_IMAGE006
是相机的标定参数,
Figure DEST_PATH_IMAGE007
Figure 417070DEST_PATH_IMAGE008
分别为每个像素在像素平面
Figure DEST_PATH_IMAGE009
Figure 522560DEST_PATH_IMAGE010
方向上的物理尺寸,
Figure DEST_PATH_IMAGE011
Figure 707554DEST_PATH_IMAGE012
为靶标坐标系到相机坐标系的旋转矩阵和平移矩阵;利用下述公式(1)即可得到靶标角点在相机坐标系下的坐标以及靶标坐标系到相机坐标系的旋转矩阵
Figure 932999DEST_PATH_IMAGE011
和平移矩阵
Figure 362056DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE013
(1)
C2.根据靶标之间的位置关系,将多个靶标计算的全部姿态数据转化到以最小靶标中心为原点的坐标系下,并利用优化算法进行优化,输出最小靶标坐标系下的最优结果;
首先根据不同靶标计算出来的相机的位姿结果,根据不同靶标的位置关系
Figure 469690DEST_PATH_IMAGE014
Figure DEST_PATH_IMAGE015
(ri和ti分别表示第i靶标坐标系相对于相机坐标系的旋转矩阵和平移矩阵),将该结果化到最小靶标的坐标系下;不同大小的靶标根据初步计算出的距离
Figure 130478DEST_PATH_IMAGE016
对姿态估计结果占有不同的权重;当距离较远时,靶标越大对于相机的姿态估计越准确,所占的权重也越大;相反,当距离较近时,越小的靶标所占的权重越大,设不同靶标在相机姿态估计中占有的权重为
Figure DEST_PATH_IMAGE017
,由此姿态估计问题最终转化为以下公式(2)最小二乘问题进行优化求解;其中,
Figure 492320DEST_PATH_IMAGE018
为靶标坐标系下的坐标,
Figure DEST_PATH_IMAGE019
为靶标在图像坐标系下的坐标;
Figure 642679DEST_PATH_IMAGE020
(2)
利用牛顿法进行优化求解计算,得到相机在最小靶标坐标系下的最优旋转矩阵和平移矩阵;
C3利用相机坐标系和无人机的机体坐标系之间的转换关系,得到无人机相对最小靶标的姿态信息,输出给无人机的飞行控制系统。
无人机飞行控制系统通过接收到辅助着陆模块(无人机合作目标识别视觉辅助着陆系统)实时传输的相对于最小靶标的三维位置和三维姿态,调整自身的飞行姿态,改变飞行高度,减小自身和最小靶标中心的偏差;当无人机相对于最小靶标的距离较小时,降低自身的飞行速度,启动降落系统,最终安全着落到最小的靶标上;由于该靶标具有方向性,无人机可根据最小靶标提供的坐标系,按照预先指定方向进行降落。
本发明的有益效果是本发明采用的靶标使用aruco图案而非传统的二维码,主要是由于aruco图案算法识别速度更快,可探测距离更长,同时具备方向性,能实现无人机机头与机尾的准确降落,在辅助着陆方面实用性更强。同时aruco图案外围特有的黑色边框有利于在视野范围内快速发现和识别该靶标,方便降落。本发明采用多种尺寸非嵌套、尺寸依次减小或增大的靶标设计,确保无人机在下降到不同高度时,相机始终可以拍摄到不同尺寸的靶标,提高识别率和实用性,同时提高姿态估计的准确性和实时性。当无人机飞行高度较低时或是下方着陆平台发生运行时,较大尺寸的靶标容易超出相机所拍摄的视野范围,这时主要利用较小尺寸的靶标辅助着陆;当无人机飞行高度较高时,较小尺寸的靶标容易模糊不清,这时主要利用较大的靶标来进行辅助降落。不同尺寸的靶标之间彼此相互独立而非内部嵌套,避免了对靶标内部原有图像结构的改变,提高识别效率,本发明大小靶标独立设计与嵌套设计相比,对于不同位置的识别,灵活度更高,对于可能存在的干扰,鲁棒性更好;本发明利用每个检测到靶标的四个角点进行相机的位姿估计,然后将结果转化到最小靶标的坐标系,并根据不同尺寸的靶标在相机的姿态解算过程中所占权重的不同,优化所有相机姿态数据使其收敛到最优结果,减小与目标降落点的偏差,从而达到自主降落,抗干扰性更强,计算结果更精确,实用性更高。而且靶标具有方向性,可实现无人机首尾的准确降落。
附图说明
图1为不同尺寸靶标示意图。
具体实施方式
实施例1
一种无人机合作目标识别视觉辅助着陆的系统,包括挂载在无人机下方的相机、图像处理模块和靶标板,如图1所示,所述靶标板包括1个大尺寸靶标,3个中等尺寸靶标和1个小尺寸靶标,靶标之间相互独立而非嵌套式,且自上而下尺寸依次减少分布在靶标板上,所述靶标为aruco图案;所述图像处理模块包括检测识别aruco图案和姿态解算,所述靶标板水平放置在动平台上,相机和图像处理模块相连接,将靶标板的图像信号传递给检测识别算法,然后将检测识别结果传递给姿态解算模块,所述检测识别aruco图案既识别靶标的外形轮廓又对其内部进行分割解码,得到aruco图案的四个角点(靶标角点)的像素坐标和ID号;所述姿态解算根据相机内参和畸变参数将靶标角点的像素坐标转化到相机坐标系下的三维坐标,进一步得到靶标坐标系和相机坐标系的转化关系,解算出相机的姿态信息,不同尺寸的靶标对于相机姿态解算的结果不同,根据不同尺寸靶标的位置关系,将不同相机姿态数据转化到相对于最小靶标坐标系下,再利用优化算法迭代收敛到最优结果,将优化后的无人机相对于最小靶标的三维位置和三维姿态信息实时输出给无人机的飞行控制系统;无人机合作目标识别视觉辅助着陆的系统还包括LED辅助系统和车载GPS辅助系统,所述LED辅助系统位于相机一侧,与相机水平高度一致,可以根据相机拍摄的画面自动感知周围环境的亮度,从而控制LED的开关,进行辅助照明,所述GPS辅助系统挂载在动平台上,如果当前帧未检测到aruco图标或者无人机下方的车载着陆平台运动方式突然发生变化时,可通过动平台上挂载的GPS辅助来获取车载着陆平台的大致位置,调整无人机的飞行方向,保证视野范围内始终有靶标出现,方便着陆。
得到相机相对于靶标的三维姿态信息后,利用相机坐标系和无人机的机体坐标系之间的转换关系,即可得到无人机相对最小靶标的姿态信息。
一种无人机合作目标识别视觉辅助着陆系统辅助着陆的方法,包括如下步骤:
A.准备工作:利用棋盘格标定相机;将靶标板水平放置在动平台上,并将最小靶标的中心对准着陆点;记录不同靶标的实际物理尺寸和ID号,以及各个靶标相对于最小靶标的相对位置关系;
B. 检测识别aruco图案:对相机采集到的每帧图片进行灰度处理并提取轮廓,对提取到的所有轮廓进行初步的筛选,保留接近正方形的轮廓;再对剩余的轮廓内部进行分割解码,即可识别出aruco图案,该步骤可得到所识别出的所有aruco图案的四个角点(靶标角点)的像素坐标和ID号。
C. 无人机姿态解算;根据步骤B检测到的所有aruco图案的四个角点像素坐标,利用相机的内部参数和畸变参数将每个靶标的四个角点像素坐标转化到相机坐标系下的三维坐标,进一步得到靶标坐标系和相机坐标系的转化关系,解算出相机相对于每个靶标的姿态信息;再利用不同尺寸靶标之间的位置关系,将各个靶标的计算出的相机姿态结果转化到最小靶标的坐标系下;设不同尺寸的靶标在相机姿态优化估计中占有不同的权重,将所有相机姿态数据进行优化,迭代收敛到最优结果;将优化后的无人机对于最小靶标的三维位置和三维姿态信息实时输出给无人机的飞行控制系统;
得到相机相对于靶标的三维姿态信息后,利用相机坐标系和无人机的机体坐标系之间的转换关系,即可得到无人机相对最小靶标的姿态信息。
所述步骤C中,具体包括如下步骤:
C1. 将大小靶标角点在图像坐标系下的坐标转化到相机坐标系下的坐标;
相机下的三维坐标为
Figure 690138DEST_PATH_IMAGE001
Figure 420197DEST_PATH_IMAGE002
Figure 620234DEST_PATH_IMAGE003
为图像中的像素坐标,
Figure 410336DEST_PATH_IMAGE004
Figure 446556DEST_PATH_IMAGE005
Figure 714726DEST_PATH_IMAGE006
是单目相机的标定参数,
Figure 769270DEST_PATH_IMAGE007
Figure 933535DEST_PATH_IMAGE008
分别为每个像素在像素平面
Figure 440740DEST_PATH_IMAGE009
Figure 764798DEST_PATH_IMAGE010
方向上的物理尺寸,
Figure 939428DEST_PATH_IMAGE011
Figure 805752DEST_PATH_IMAGE012
为靶标坐标系到相机坐标系的旋转矩阵和平移矩阵。利用公式(1)即可得到靶标角点在相机坐标系下的坐标以及靶标坐标系到相机坐标系的旋转矩阵
Figure 331412DEST_PATH_IMAGE011
和平移矩阵
Figure 692117DEST_PATH_IMAGE012
Figure 721253DEST_PATH_IMAGE013
(1)
C2.根据靶标之间的位置关系,将多个靶标计算的全部姿态数据转化到以最小靶标中心为原点的坐标系下,并利用优化算法进行优化,输出最小靶标坐标系下的最优结果;
首先根据不同靶标计算出来的相机的位姿结果,根据不同靶标的位置关系
Figure 758479DEST_PATH_IMAGE014
Figure 505855DEST_PATH_IMAGE015
将该结果转化到最小靶标的坐标系下;不同大小的靶标根据初步计算出的距离
Figure 122781DEST_PATH_IMAGE016
对姿态估计结果占有不同的权重;当距离较远时,靶标越大对于相机的姿态估计越准确,所占的权重也越大;相反,当距离较近时,越小的靶标所占的权重越大,设不同靶标在相机姿态估计中占有的权重为
Figure 255691DEST_PATH_IMAGE017
,由此姿态估计问题最终可以转化为以下公式(2)最小二乘问题进行优化求解。其中,
Figure 729398DEST_PATH_IMAGE018
为靶标坐标系下的坐标,
Figure 964070DEST_PATH_IMAGE019
为靶标在图像坐标系下的坐标;
Figure 915846DEST_PATH_IMAGE020
(2)
利用牛顿法进行优化求解计算,得到相机在最小靶标坐标系下的最优旋转矩阵和平移矩阵;
C3利用相机坐标系和无人机的机体坐标系之间的转换关系,得到无人机相对最小靶标的姿态信息,输出给无人机的飞行控制系统。
无人机飞行控制系统通过接收到辅助着陆模块(无人机合作目标识别视觉辅助着陆系统)实时传输的相对于最小靶标的三维位置和三维姿态,调整自身的飞行姿态,改变飞行高度,减小自身和最小靶标中心的偏差;当无人机相对于最小靶标的距离较小时,降低自身的飞行速度,启动降落系统,最终安全着落到最小的靶标上。由于该靶标具有方向性,无人机可根据最小靶标提供的坐标系,按照预先指定方向进行降落。

Claims (7)

1.一种无人机合作目标识别视觉辅助着陆的系统,其特征在于:包括位于无人机下方的相机、图像处理模块和靶标板,所述靶标板包括多个尺寸不同的靶标,靶标之间相互独立而非嵌套式,靶标尺寸依次增大或者减小排列,所述靶标为aruco图案;所述图像处理模块包括检测识别aruco图案和姿态解算。
2.如权利要求1所述的一种无人机合作目标识别视觉辅助着陆的系统,其特征在于:所述检测识别aruco图案既识别靶标的外形轮廓又对其内部进行分割解码,得到靶标角点的像素坐标和ID号;所述姿态解算根据相机内参和畸变参数将靶标角点的像素坐标转化到相机坐标系下的三维坐标,进一步得到靶标坐标系和相机坐标系的转化关系,解算出相机相对于每个靶标的姿态信息,根据不同尺寸靶标的位置关系,将不同相机姿态数据转化到相对于最小靶标坐标系下,再利用优化算法迭代收敛到最优结果,将优化后的无人机相对于最小靶标的三维位置和三维姿态信息实时输出给无人机的飞行控制系统。
3.如权利要求1或2所述的一种无人机合作目标识别视觉辅助着陆的系统,其特征在于:还包括LED辅助系统,LED辅助系统位于相机一侧,与相机的水平高度一致。
4.如权利要求1或2所述的一种无人机合作目标识别视觉辅助着陆的系统,其特征在于:还包括车载GPS辅助系统,所述GPS辅助系统挂载在动平台上。
5.一种权利要求1所述的无人机合作目标识别视觉辅助着陆系统的辅助着陆方法,包括如下步骤:
A.准备工作:利用棋盘格标定相机;将靶标板水平放置在动平台上,并将最小靶标的中心对准着陆点;记录不同靶标的实际物理尺寸和ID号,各个靶标相对于最小靶标的相对位置关系;
B. 检测识别aruco图案;
C. 姿态解算。
6.如权利要求5所述的一种无人机合作目标识别视觉辅助着陆系统的辅助着陆方法,其特征在于:所述检测识别aruco图案既识别靶标的外形轮廓又对其内部进行分割解码,得到靶标角点的像素坐标和ID号;所述姿态解算根据相机内参和畸变参数将靶标角点的像素坐标转化到相机坐标系下的三维坐标,进一步得到靶标坐标系和相机坐标系的转化关系,解算出相机相对于每个靶标的姿态信息,根据不同尺寸靶标的位置关系,将不同相机姿态数据转化到最小靶标坐标系下,再利用优化算法迭代收敛到最优结果,将优化后的无人机相对于最小靶标的三维位置和三维姿态信息实时输出给无人机的飞行控制系统。
7.如权利要求6所述的一种无人机合作目标识别视觉辅助着陆系统的辅助着陆方法,其特征在于:所述步骤C中,具体包括如下步骤:
C1. 将大小靶标角点在图像坐标系下的坐标转化到相机坐标系下的坐标;
相机下的三维坐标为
Figure 108559DEST_PATH_IMAGE001
Figure 539540DEST_PATH_IMAGE002
Figure 902388DEST_PATH_IMAGE003
为图像中的像素坐标,
Figure 735215DEST_PATH_IMAGE004
Figure 873285DEST_PATH_IMAGE005
Figure 791563DEST_PATH_IMAGE006
是相机的标定参数,
Figure 895785DEST_PATH_IMAGE007
Figure 317539DEST_PATH_IMAGE008
分别为每个像素在像素平面
Figure 645752DEST_PATH_IMAGE009
Figure 536479DEST_PATH_IMAGE010
方向上的物理尺寸,
Figure 506709DEST_PATH_IMAGE011
Figure 48549DEST_PATH_IMAGE012
为靶标坐标系到相机坐标系的旋转矩阵和平移矩阵;利用下述公式(1)即可得到靶标角点在相机坐标系下的坐标以及靶标坐标系到相机坐标系的旋转矩阵
Figure 547663DEST_PATH_IMAGE011
和平移矩阵
Figure 424221DEST_PATH_IMAGE012
Figure 870246DEST_PATH_IMAGE013
(1)
C2.根据靶标之间的位置关系,将多个靶标计算的全部姿态数据转化到以最小靶标中心为原点的坐标系下,并利用优化算法进行优化,输出最小靶标坐标系下的最优结果;
首先根据不同靶标计算出来的相机的位姿结果,利用不同靶标的位置关系
Figure 266592DEST_PATH_IMAGE014
和将该结果转化到最小靶标的坐标系下;不同大小的靶标根据初步计算出的距离
Figure 936608DEST_PATH_IMAGE015
对姿态估计结果占有不同的权重;当距离较远时,靶标越大对于相机的姿态估计越准确,所占的权重也越大;相反,当距离较近时,越小的靶标所占的权重越大,设不同靶标在相机姿态估计中占有的权重为
Figure 51195DEST_PATH_IMAGE016
,由此姿态估计问题最终转化为以下公式(2)最小二乘问题进行优化求解;其中,
Figure 582801DEST_PATH_IMAGE017
为靶标坐标系下的坐标,
Figure 99233DEST_PATH_IMAGE018
为靶标在图像坐标系下的坐标;
Figure 205730DEST_PATH_IMAGE019
(2)
利用牛顿法进行优化求解计算,得到相机在最小靶标坐标系下的最优旋转矩阵和平移矩阵;
C3.利用相机坐标系和无人机的机体坐标系之间的转换关系,得到无人机相对于最小靶标的姿态信息,输出给无人机的飞行控制系统。
CN201910220707.6A 2019-03-22 2019-03-22 一种无人机合作目标识别视觉辅助着陆的系统及方法 Pending CN111562791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910220707.6A CN111562791A (zh) 2019-03-22 2019-03-22 一种无人机合作目标识别视觉辅助着陆的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910220707.6A CN111562791A (zh) 2019-03-22 2019-03-22 一种无人机合作目标识别视觉辅助着陆的系统及方法

Publications (1)

Publication Number Publication Date
CN111562791A true CN111562791A (zh) 2020-08-21

Family

ID=72072943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910220707.6A Pending CN111562791A (zh) 2019-03-22 2019-03-22 一种无人机合作目标识别视觉辅助着陆的系统及方法

Country Status (1)

Country Link
CN (1) CN111562791A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987764A (zh) * 2021-02-01 2021-06-18 鹏城实验室 降落方法、装置、无人机以及计算机可读存储介质
CN113066050A (zh) * 2021-03-10 2021-07-02 天津理工大学 一种基于视觉的空投货台航向姿态解算方法
CN113066154A (zh) * 2021-03-10 2021-07-02 浙江图维科技股份有限公司 一种地表图像与地下空间图像实时叠加的方法和系统
CN113112549A (zh) * 2020-12-23 2021-07-13 合肥工业大学 一种基于编码立体靶标的单目摄像机快速标定方法
CN113655806A (zh) * 2021-07-01 2021-11-16 中国人民解放军战略支援部队信息工程大学 一种无人机群辅助降落方法
CN114415736A (zh) * 2022-04-01 2022-04-29 之江实验室 一种无人机多阶段视觉精准降落方法和装置
WO2022144652A1 (en) * 2020-12-30 2022-07-07 Verity Ag System and method for controlling a light source for illuminating a scene of interest

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169636A1 (en) * 2012-12-05 2014-06-19 Denso Wave Incorporated Method and system for estimating attitude of camera
CN105353772A (zh) * 2015-11-16 2016-02-24 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法
US20160122038A1 (en) * 2014-02-25 2016-05-05 Singularity University Optically assisted landing of autonomous unmanned aircraft
CN106197422A (zh) * 2016-06-27 2016-12-07 东南大学 一种基于二维标签的无人机定位及目标跟踪方法
CN106708066A (zh) * 2015-12-20 2017-05-24 中国电子科技集团公司第二十研究所 基于视觉/惯导的无人机自主着陆方法
CN106774386A (zh) * 2016-12-06 2017-05-31 杭州灵目科技有限公司 基于多尺度标识物的无人机视觉导航降落系统
CN107063261A (zh) * 2017-03-29 2017-08-18 东北大学 用于无人机精准着陆的多特征信息地标检测方法
CN107240063A (zh) * 2017-07-04 2017-10-10 武汉大学 一种面向移动平台的旋翼无人机自主起降方法
KR20170128957A (ko) * 2016-05-16 2017-11-24 주식회사 한화 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법 및 장치
CN107991665A (zh) * 2017-11-23 2018-05-04 江苏理工学院 一种基于定焦相机的对标靶三维坐标连续测量方法
CN108549397A (zh) * 2018-04-19 2018-09-18 武汉大学 基于二维码和惯导辅助的无人机自主降落方法及系统
KR20180105875A (ko) * 2017-03-16 2018-10-01 한국전자통신연구원 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
CN109242918A (zh) * 2018-11-15 2019-01-18 中国直升机设计研究所 一种直升机机载双目立体视觉标定方法
CN109270953A (zh) * 2018-10-10 2019-01-25 大连理工大学 一种基于同心圆视觉标识的多旋翼无人机自主降落方法
CN109298723A (zh) * 2018-11-30 2019-02-01 山东大学 一种车载无人机精准降落方法和系统
CN210072415U (zh) * 2019-03-22 2020-02-14 沈阳上博智像科技有限公司 一种无人机合作目标识别视觉辅助着陆的系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140169636A1 (en) * 2012-12-05 2014-06-19 Denso Wave Incorporated Method and system for estimating attitude of camera
US20160122038A1 (en) * 2014-02-25 2016-05-05 Singularity University Optically assisted landing of autonomous unmanned aircraft
CN105353772A (zh) * 2015-11-16 2016-02-24 中国航天时代电子公司 一种无人机机动目标定位跟踪中的视觉伺服控制方法
CN106708066A (zh) * 2015-12-20 2017-05-24 中国电子科技集团公司第二十研究所 基于视觉/惯导的无人机自主着陆方法
KR20170128957A (ko) * 2016-05-16 2017-11-24 주식회사 한화 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법 및 장치
CN106197422A (zh) * 2016-06-27 2016-12-07 东南大学 一种基于二维标签的无人机定位及目标跟踪方法
CN106774386A (zh) * 2016-12-06 2017-05-31 杭州灵目科技有限公司 基于多尺度标识物的无人机视觉导航降落系统
KR20180105875A (ko) * 2017-03-16 2018-10-01 한국전자통신연구원 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
CN107063261A (zh) * 2017-03-29 2017-08-18 东北大学 用于无人机精准着陆的多特征信息地标检测方法
CN107240063A (zh) * 2017-07-04 2017-10-10 武汉大学 一种面向移动平台的旋翼无人机自主起降方法
CN107991665A (zh) * 2017-11-23 2018-05-04 江苏理工学院 一种基于定焦相机的对标靶三维坐标连续测量方法
CN108549397A (zh) * 2018-04-19 2018-09-18 武汉大学 基于二维码和惯导辅助的无人机自主降落方法及系统
CN109270953A (zh) * 2018-10-10 2019-01-25 大连理工大学 一种基于同心圆视觉标识的多旋翼无人机自主降落方法
CN109242918A (zh) * 2018-11-15 2019-01-18 中国直升机设计研究所 一种直升机机载双目立体视觉标定方法
CN109298723A (zh) * 2018-11-30 2019-02-01 山东大学 一种车载无人机精准降落方法和系统
CN210072415U (zh) * 2019-03-22 2020-02-14 沈阳上博智像科技有限公司 一种无人机合作目标识别视觉辅助着陆的系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
倪章松;顾艺;柳庆林;陈然;李中伟;: "大视场双目立体视觉柔性标定", 光学精密工程, no. 07, 15 July 2017 (2017-07-15) *
张广军, 周富强: "基于双圆特征的无人机着陆位置姿态视觉测量方法", 航空学报, no. 03, 25 May 2005 (2005-05-25), pages 344 - 348 *
赵文一: "无人机视觉辅助自主降落系统研究", 中国优秀硕士学位论文全文数据库, no. 2019, 15 January 2019 (2019-01-15), pages 031 - 225 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112549B (zh) * 2020-12-23 2022-08-23 合肥工业大学 一种基于编码立体靶标的单目摄像机快速标定方法
CN113112549A (zh) * 2020-12-23 2021-07-13 合肥工业大学 一种基于编码立体靶标的单目摄像机快速标定方法
WO2022144652A1 (en) * 2020-12-30 2022-07-07 Verity Ag System and method for controlling a light source for illuminating a scene of interest
CN112987764A (zh) * 2021-02-01 2021-06-18 鹏城实验室 降落方法、装置、无人机以及计算机可读存储介质
CN112987764B (zh) * 2021-02-01 2024-02-20 鹏城实验室 降落方法、装置、无人机以及计算机可读存储介质
CN113066050A (zh) * 2021-03-10 2021-07-02 天津理工大学 一种基于视觉的空投货台航向姿态解算方法
CN113066154A (zh) * 2021-03-10 2021-07-02 浙江图维科技股份有限公司 一种地表图像与地下空间图像实时叠加的方法和系统
CN113066154B (zh) * 2021-03-10 2021-11-30 浙江图维科技股份有限公司 一种地表图像与地下空间图像实时叠加的方法和系统
CN113066050B (zh) * 2021-03-10 2022-10-21 天津理工大学 一种基于视觉的空投货台航向姿态解算方法
CN113655806A (zh) * 2021-07-01 2021-11-16 中国人民解放军战略支援部队信息工程大学 一种无人机群辅助降落方法
CN113655806B (zh) * 2021-07-01 2023-08-08 中国人民解放军战略支援部队信息工程大学 一种无人机群辅助降落方法
CN114415736A (zh) * 2022-04-01 2022-04-29 之江实验室 一种无人机多阶段视觉精准降落方法和装置
CN114415736B (zh) * 2022-04-01 2022-07-12 之江实验室 一种无人机多阶段视觉精准降落方法和装置

Similar Documents

Publication Publication Date Title
CN111562791A (zh) 一种无人机合作目标识别视觉辅助着陆的系统及方法
CN111311679B (zh) 一种基于深度相机的自由漂浮目标位姿估计方法
CN106863332B (zh) 一种机器人视觉定位方法及系统
CN110569838A (zh) 一种基于视觉定位的四旋翼无人机自主降落方法
CN110174088A (zh) 一种基于单目视觉的目标测距方法
CN104867158B (zh) 基于单目视觉的室内水面船舶精确定位系统和方法
CN113657256B (zh) 一种无人艇载无人机海空协同视觉跟踪与自主回收方法
CN111598952A (zh) 一种多尺度合作靶标设计与在线检测识别方法及系统
CN111709994B (zh) 一种自主无人机视觉探测与引导系统及方法
CN210072415U (zh) 一种无人机合作目标识别视觉辅助着陆的系统
CN110334625A (zh) 一种面向自动泊车的停车位视觉识别系统及其识别方法
CN113525631A (zh) 一种基于光视觉引导的水下终端对接系统及方法
CN116255908B (zh) 面向水下机器人的海生物定位测量装置及方法
CN107527368A (zh) 基于二维码的三维空间姿态定位方法与装置
CN110322462B (zh) 基于5g网络的无人机视觉着陆方法及系统
Li et al. Vision-based target detection and positioning approach for underwater robots
CN114660579A (zh) 一种全自动激光雷达与相机标定方法
US20240051146A1 (en) Autonomous solar installation using artificial intelligence
CN112308900B (zh) 一种基于led圆环检测的四旋翼无人机相对位姿估计方法
CN116185049A (zh) 基于视觉引导的无人直升机自主着舰方法
CN110393165A (zh) 一种基于自动投饵船的远海养殖网箱投饵方法
CN114237280B (zh) 一种无人机精准降落机巢平台的方法
Xing et al. Quadrotor vision-based localization for amphibious robots in amphibious area
CN112862862B (zh) 基于人工智能视觉跟踪的飞机自主受油装置及应用方法
CN113959412A (zh) 一种基于红外探测的无人机对接过程主动视觉导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination