CN113485449A - 基于嵌套二维码的无人机自主降落方法及系统 - Google Patents
基于嵌套二维码的无人机自主降落方法及系统 Download PDFInfo
- Publication number
- CN113485449A CN113485449A CN202110937743.1A CN202110937743A CN113485449A CN 113485449 A CN113485449 A CN 113485449A CN 202110937743 A CN202110937743 A CN 202110937743A CN 113485449 A CN113485449 A CN 113485449A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- dimensional code
- error
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于嵌套二维码的无人机自主降落方法及系统,其包括如下步骤:在停机坪上设置具有空白区域的第一二维码,且在空白区域内设置若干第二二维码;当无人机位于第一相对高度区间后,根据第一二维码上的角点信息解算出无人机在第一相对高度区间时的位姿信息,并根据该位姿信息控制无人机下降;当无人机高度下降至第二相对高度区间,根据第一二维码和/或第二二维码上的角点信息解算出无人机在第二相对高度区间时的位姿信息,并根据该位姿信息控制无人机下降。本发明通过在高空和低空采用不同的位姿计算方式减小位姿解算误差,提高计算精度,同时通过RTK插补无人机位置姿数据,避免二维码识别掉帧造成的不良影响。
Description
技术领域
本发明涉及无人机领域,具体为一种基于嵌套二维码的无人机自主降落方法及系统。
背景技术
在无人机自主降落任务中,对于无人机的控制精度要求越来越高,同时,出于对不同应用场景以及便携性的要求,要求停机坪尺寸越来越小,因此,需要通过精准控制将无人机降落到停机坪上的更小区域中。
目前,在无人机降落过程中,二维码已作为视觉引导降落的重要手段,通常会在停机坪上设置大小两种尺寸的二维码,当无人机在高空时,通过大号二维码进行初步引导,降落至一定高度后,再通过小号二维码进行精确引导,如申请号201911133565.6、“大小二维码混合图像地标设计方法与无人机识别地标方法”中即在大型二维码外部设置小型二维码。然而,在大型二维码外部设置小型二维码需要较大的设置空间,其与停机坪尺寸小型化的趋势相冲突,尺寸较小的停机坪上不具有将小型二维码设置于大型二维码外部的空间,另外,目前无人机在整个降落的过程中,二维码在整个识别图像画幅的比例变化非常大,由此,通过单一的位姿估计算法难以满足高精度降落的控制要求,同时,通过视觉识别二维码引导无人机降落时,对于二维码的检测会存在掉帧的情况,其同样无法实现对无人机降落的精确引导。
发明内容
针对现有技术的不足,本发明提供了一种基于嵌套二维码的无人机自主降落方法及系统,其通过在高空和低空采用不同的位姿计算方式减小位姿解算误差,提高计算精度,同时,在识别二维码的过程中通过RTK插补无人机位置姿数据,避免二维码识别掉帧造成的不良影响,有利于无人机的控制稳定。
为实现上述目的,本发明提供如下技术方案:
一方面,提供了一种基于嵌套二维码的无人机自主降落方法,其包括如下步骤:
在停机坪上设置具有空白区域的第一二维码,且在所述空白区域内设置若干第二二维码;
当无人机位于第一相对高度区间,且识别出第一二维码后,根据第一二维码上的角点信息解算出无人机在第一相对高度区间时的位姿信息,并根据该位姿信息控制无人机下降;
当无人机高度下降至第二相对高度区间,且识别出第一二维码和/或第二二维码后,根据第一二维码和/或第二二维码上的角点信息解算出无人机在第二相对高度区间时的位姿信息,并根据该位姿信息控制无人机下降。
优选的,“根据第一二维码上的角点信息解算出无人机在第一相对高度区间时的位姿信息”的过程包括如下步骤:
获取第一二维码上若干角点的像素坐标p1(u1,v1),p2(u2,v2),p3(u3,v3)...,再根据每一角点的像素坐标获取该角点在停机坪上的实际位置坐标q1(x1,y1,z1),q2(x2,y2,z2),q3(x3,y3,z3)...,进一步获得多个角点像素坐标和该角点在停机坪上的实际位置坐标的匹配对点P(p1,p2,p3...)和Q(q1,q2,q3...);
通过PnP解算匹配对点P、Q之间的位姿关系,得到相对位移变换矩阵[R|T],其中R为旋转矩阵、T为平移向量;
再根据所述相对位移变换矩阵[R|T]解算出无人机的位姿信息,且所述位姿信息包括:无人机在第一相对高度区间时的航向角误差eλ、X方向误差ex、Y方向误差ey以及当前无人机与停机坪的相对高度h。
优选的,所述基于嵌套二维码的无人机自主降落方法还包括:
根据匹配对点P、Q获得单应性矩阵H,且根据下述公式(1)-(2)获取停机坪中心点在视觉识别图像中的像素坐标d;
d′=(H·[0,0,1]T) (1)
d=d′/d′[2] (2);
根据无人机的横滚角α、俯仰角β构建无人机本身的姿态旋转矩阵Ru,根据下述公式(3)-(9)获取矫正后的停机坪中心点在视觉识别图像中的像素坐标:
x′=(d[0]-cx)/fx (3)
y′=(d[1]-cy)/fy (4)
[x″,y″,w]=Ru·[x′,y′,1] (5)
x=x″/w (6)
y=y″/w (7)
E[0]=x·fx+cx (8)
E[1]=y·fy+cy (9);
其中:cx、cy为矫正后的停机坪中心点在视觉识别图像中的像素坐标;fx、fy分别是视觉识别设备在x、y方向的焦距;E为向量;w、x”,y”均为过程量;
按照公式(10)-(11)获取无人机位于第一相对高度区间时的、校正后的X方向误差ex’以及校正后的Y方向误差ey’:
e’x=(E[0]-cx)·h/fx (10)
e’y=(E[1]-cy)·h/fy (11);
且根据无人机位于第一相对高度区间时的航向角误差eλ、X方向误差ex/校正后的X方向误差ex’,以及Y方向误差ey/校正后的Y方向误差ey’控制无人机下降。
优选的,“根据第一二维码和/或第二二维码上的角点信息解算出无人机在第二相对高度区间时的位姿信息”的过程包括:
直接使用PnP对第一二维码的角点信息进行解算,以获得无人机位于第二相对高度区间时的航向角误差eλ1、X方向误差ex1、Y方向误差ey1,和/或,直接使用PnP对第二二维码的角点信息进行解算,以获得无人机位于第二相对高度区间H2时的航向角误差eλ2、X方向误差ex2、Y方向误差ey2。
优选的,根据无人机位于第二相对高度区间时,通过第一二维码的角点信息解算出的航向角误差eλ1、X方向误差ex1、Y方向误差ey1,和/或,通过第二二维码的角点信息解算出的航向角误差eλ2、X方向误差ex2、Y方向误差ey2控制无人机继续下降。
优选的,所述基于嵌套二维码的无人机自主降落方法还包括:
记录每一帧识别图像下无人机的RTK数据L(x,y,h),且所述无人机的RTK数据L(x,y,h)为在大地坐标系下的绝对位置;
若上一帧图像下识别出二维码,且当前帧图像中未识别出二维码,则获取当前帧与上一帧图像下无人机RTK数据的差值△L(△x,△y,△h);
根据上一帧图像下识别出的二维码解算出无人机的位姿信息,再根据该位姿信息以及差值△L(△x,△y,△h)获取当前帧图像下无人机的位姿信息。
优选的,所述空白区域中划分出若干个面积相同的正方形单元格,且每一单元格中对应设置一个所述第二二维码。
优选的,每一第二二维码的面积为单元格面积的80-85%。
还提供一种基于嵌套二维码的无人机自主降落系统,其包括:
停机坪,且所述停机坪上设置具有空白区域的第一二维码,且所述空白区域中设置若干第二二维码;
视觉识别设备,其连接无人机机体,用于在无人机下降过程中获取第一二维码和/或第二二维码的图像,并进行识别;
第一位姿解算单元,其用于当无人机位于第一相对高度区间,且识别出第一二维码后,解算出无人机位于第一相对高度区间的位姿信息;
第二位姿解算单元,其用于当无人机高度下降至第二相对高度区间时,且识别出第一二维码和/或第二二维码后,解算出无人机位于第二相对高度区间的位姿信息;
降落控制单元,其连接所述第一位姿解算单元、第二位姿解算单元,用于根据无人机位于第一相对高度区间时的位姿信息,以及无人机位于第二相对高度区间的位姿信息控制无人机下降。
优选的,所述基于嵌套二维码的无人机自主降落系统还包括:
第一位姿校正单元,其用于对第一位姿解算单元解算出的无人机的位姿信息进行校正;且所述降落控制单元连接所述第一位姿校正单元,并根据校正后的、无人机位于第一相对高度区间时的位姿信息控制无人机下降;
以及位姿插补单元,其用于记录每一帧识别图像下无人机的RTK数据,且当上一帧图像下识别出二维码,而当前帧图像中未识别出二维码时,获取当前帧与上一帧图像下无人机RTK数据的差值;再通过根据上一帧图像下识别出的二维码获取的无人机位姿信息以及差值获取当前帧图像下无人机的位姿信息。
与现有技术相比,本发明具备以下有益效果:
本发明通过在高空和低空采用不同的位姿计算方式减小位姿解算误差,提高计算精度,同时,在识别二维码的过程中,可通过RTK插补无人机位置姿数据,避免二维码识别掉帧造成的不良影响,使得相对位姿输出更加连续,有利于无人机的控制稳定。
附图说明
图1为本发明中在停机坪上设置第一二维码、第二二维码的示意图;
图2a为本发明中无人机位于第一相对高度区间时获取的二维码图像;
图2b为本发明中无人机位于第二相对高度区间时获取的二维码图像;
图3为本发明基于嵌套二维码的无人机自主降落方法的流程图;
图4为本发明基于嵌套二维码的无人机自主降落系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
如图1-3所示,本实施例中基于嵌套二维码的无人机自主降落方法包括如下步骤:
S1、在停机坪100上设置具有空白区域S的第一二维码1,且所述空白区域S中划分出若干个面积相同的正方形单元格S1,同时,所述大二维码1包含第一编码信息,以供无人机降落时识别读取,其中,所述第一编码信息包括第一二维码1的编号、角点位置等;本实施例中,所述停机坪100尺寸可以设计为700mm*700mm,其还可以根据大二维码1的尺寸进行调整;
在所述空白区域S内设置若干第二二维码2,且每一单元格S1中对应设置一个所述第二二维码2,本实施例中,每一第二二维码2的面积为单元格S1面积的80-85%,且每一第二二维码2包含第二编号信息,类似的,所述第二编码信息包括第二二维码2的编号、角点位置等;
由此,由于在大二维码(即第一二维码1)的空白区域内嵌套小二维码(即第二二维码2),所以停机坪1上无需预留其他空间以设置小二维码,大二维码的尺寸可以尽可能增大(不超过停机坪100的表面积即可),使其由于无人机在高空进行精确识别,其既可以引导无人机进行精准降落,又可以减小停机坪1的尺寸,满足停机坪1小型化的设计趋势;
S2、当无人机位于第一相对高度区间H1(如5-20m),且通过视觉识别设备(如相机等)识别出第一二维码1后,提取第一二维码1所包含的第一编码信息,获取第一二维码1上若干角点的像素坐标p1(u1,v1),p2(u2,v2),p3(u3,v3)...,再根据每一角点的像素坐标获取该角点在停机坪100上的实际位置坐标q1(x1,y1,z1),q2(x2,y2,z2),q3(x3,y3,z3)...,进一步获得多个角点像素坐标和该角点在停机坪100上的实际位置坐标的匹配对点P(p1,p2,p3...)和Q(q1,q2,q3...),并组合成向量,该步骤中,取停机坪100的中心O为坐标系的原点(0,0,0);
通过PnP解算匹配对点P、Q之间的位姿关系,得到相对位移变换矩阵[R|T],其中R为旋转矩阵、T为平移向量;
再根据所述相对位移变换矩阵[R|T]解算出无人机的位姿信息,所述位姿信息包括:无人机在第一相对高度区间H1时的航向角误差eλ、X方向误差ex、Y方向误差ey以及当前无人机与停机坪100的相对高度h;
但由于无人机在第一相对高度区间H1时的相对高度较高,因此第一二维码1在识别图像中占比很小(如图2a所示,此时无人机相对高度为14.2m),角点在识别图像中较为集中,此时解算出的X方向误差ex、Y方向误差ey波动很大,据此计算出的无人机位姿不准确,无法直接用于无人机降落引导,因此需要对无人机位于第一相对高度区间H1时的X方向误差ex、Y方向误差ey进行如下校正处理:
根据匹配对点P、Q和一般单应性矩阵求取方式获得单应性矩阵H,且根据下述公式(1)-(2)获取停机坪100中心点O在视觉识别图像中的像素坐标d;
d′=(H·[0,0,1]T) (1)
d=d′/d′[2] (2);
考虑无人机的横滚角α、俯仰角β对姿态估计的影响,此时还需要对视觉识别图像进行矫正,其具体包括:根据无人机的横滚角α、俯仰角β构建无人机本身的姿态旋转矩阵Ru,根据下述公式(3)-(9)获取矫正后的停机坪100中心点O在视觉识别图像中的像素坐标,由此极大减小无人机本身的姿态变化导致的位置误差:
x′=(d[0]-cx)/fx (3)
y′=(d[1]-cy)/fy (4)
[x″,y″,w]=Ru·[x′,y′,1] (5)
x=x″/w (6)
y=y″/w (7)
E[0]=x·fx+cx (8)
E[1]=y·fy+cy (9);
其中:cx、cy为矫正后的停机坪100中心点O在视觉识别图像中的像素坐标;fx、fy分别是视觉识别设备(如相机)在x、y方向的焦距;E为向量;w、x”,y”均为过程量;
进一步的,按照公式(10)-(11)获取无人机位于第一相对高度区间H1时的、校正后的X方向误差ex’以及校正后的Y方向误差ey’:
e’x=(E[0]-cx)·h/fx (10)
e’y=(E[1]-cy)·h/fy (11);
S3、根据无人机位于第一相对高度区间H1时的航向角误差eλ、X方向误差ex/校正后的X方向误差ex’,以及Y方向误差ey/校正后的Y方向误差ey’控制无人机下降;
S4、当无人机高度下降至第二相对高度区间H2(如0-5m)时,此时无人机处于相对较低的高度,可通过视觉识别设备识别出第一二维码1和/或第二二维码2,且第一二维码1、第二二维码2在识别图像中的占比均增大(如图2b所示,此时无人机相对高度为2.4m),第一二维码1、第二二维码2的角点在图像中均较为分散,均容易被无人机的视觉识别设备识别出,此时可直接使用PnP对第一二维码1的角点信息进行解算,以获得无人机位于第二相对高度区间H2时的航向角误差eλ1、X方向误差ex1、Y方向误差ey1,和/或,直接使用PnP对第二二维码2的角点信息进行解算,以获得无人机位于第二相对高度区间H2时的航向角误差eλ2、X方向误差ex2、Y方向误差ey2;上述对第一二维码1的角点信息解算出的无人机位于第二相对高度区间H2时的航向角误差eλ1、X方向误差ex1、Y方向误差ey1,和/或,对第二二维码2的角点信息解算出的无人机在第二相对高度区间H2时的航向角误差eλ2、X方向误差ex2、Y方向误差ey2即为无人机位于第二相对高度区间H2时位姿信息;由此,当无人机位于较低相对高度后,其无需特异性的识别第一二维码1或第二二维码2,只要是能够识别出第一二维码1和/或第二二维码2,即可通过识别到的二维码的角点信息,直接通过PnP进行解算,当然,能够获得的角点信息越多,其最后解算出的无人机位姿信息越精确,其既可以保证运算速度(直接通过PnP解算,无需进行其他处理),又可以保证计算出的无人机位姿的精度;
S5、根据无人机位于第二相对高度区间H2时,通过第一二维码1的角点信息解算出的航向角误差eλ1、X方向误差ex1、Y方向误差ey1,和/或,通过第二二维码2的角点信息解算出的航向角误差eλ2、X方向误差ex2、Y方向误差ey2控制无人机继续下降。
由此,本实施例中对停机坪100的靶标设计进行改进,即在大尺寸二维码的空白区域内嵌入小号尺寸的二维码,由此同时兼顾高空与低空对二维码尺寸的要求,使其既可以引导无人机进行精准降落,又可以在减小停机坪100尺寸的前提下充分利用停机坪100的表面面积,大尺寸二维码可尽量铺满整个停机坪,以此满足停机坪100小型化的设计趋势;
进一步的,通过在高空和低空(即第一相对高度区间H1、第二相对高度区间H2)采用不同的位姿计算方式,由此减小位姿解算误差,提高计算精度,具体的,在高空时,在PnP解算之后,增加了求取单应性矩阵H,再结合无人机的横滚角、俯仰角,利用几何变换进行解算,以获取矫正位姿,由此可极好的屏蔽因大尺寸二维码在识别图像中所占比例较小带来的波动误差;低空时,则无需特异性的识别二维码,直接识别大尺寸二维码和/或小尺寸二维码的角点即可,且直接通过PnP解算位姿信息,其既可以保证运算速度,又可以保证计算出的无人机位姿的精度。
实施例2:
本实施例与实施例1的不同之处仅在于,在二维码(包括第一二维码1和/或第二二维码2)的识别过程中,识别出二维码后,则使用二维码的编码信息进行位姿解算,当出现二维码识别掉帧后,本实施例中的基于嵌套二维码的无人机自主降落方法还包括如下步骤:利用RTK(Real-time kinematic,实时动态载波相位差分技术)插补无人机位姿数据,其具体包括如下步骤:
记录每一帧识别图像下无人机的RTK数据L(x,y,h),且所述无人机的RTK数据L(x,y,h)为在大地坐标系下的绝对位置;
若上一帧图像下识别出二维码,且当前帧图像中未识别出二维码,则获取当前帧与上一帧图像下无人机RTK数据的差值△L(△x,△y,△h);
根据上一帧图像下识别出的二维码的编码信息解算出无人机的位姿信息,再根据该位姿信息以及差值△L(△x,△y,△h)获取当前帧图像下无人机的位姿信息;
具体的,获取当前帧图像下无人机的位姿信息的步骤包括:根据上一帧图像下识别出的二维码的编码信息解算出无人机的X方向误差ex、Y方向误差ey、当前无人机与停机坪100的相对高度h以及△L计算出当前帧图像下无人机的X方向误差ex、Y方向误差ey以及当前无人机与停机坪100的相对高度h。
由于航向角误差eλ对降落的影响较小,因此此处忽略航向角误差eλ。由此,本实施例中通过RTK插补无人机位姿数据,使得相对位姿输出更加连续,有利于无人机的控制稳定。
实施例3:
本实施例提供了一种实现实施例1或2所述无人机自主降落方法的基于嵌套二维码的无人机自主降落系统,如图4所示,其包括:
停机坪100,且所述停机坪100上设置具有空白区域S的第一二维码1,且所述空白区域S中划分出若干个面积相同的正方形单元格S1,且在所述空白区域S内设置若干第二二维码2,每一单元格S1中对应设置一个所述第二二维码2;
视觉识别设备200(如相机等),其连接无人机机体,用于在无人机下降过程中获取第一二维码1和/或第二二维码2的图像;
第一位姿解算单元300,其用于当无人机位于第一相对高度区间H1(如5-20m),且通过视觉识别设备200识别出第一二维码1后,解算出无人机位于第一相对高度区间H1时的位姿信息,所述位姿信息包括:无人机在第一相对高度H1时的航向角误差eλ、X方向误差ex、Y方向误差ey以及当前无人机与停机坪100的相对高度h;具体解算过程与实施例1的步骤S2相同,在此不再赘述;
第一位姿校正单元400,其用于对第一位姿解算单元300解算出的无人机的位姿信息进行校正,以获取无人机位于第一相对高度区间H1时的、校正后的X方向误差ex’以及校正后的Y方向误差ey’;具体校正过程与实施例1的步骤S2相同,在此不再赘述;
第二位姿解算单元500,其用于当无人机高度下降至第二相对高度区间H2(如0-5m)时,且通过视觉识别设备200识别出第一二维码1和/或第二二维码2后,根据第一二维码1的角点信息、直接使用PnP解算出无人机位于第二相对高度区间H2时的航向角误差eλ1、X方向误差ex1、Y方向误差ey1,和/或,根据第二二维码2的角点信息、直接使用PnP解算出无人机位于第二相对高度区间H2时的航向角误差eλ2、X方向误差ex2、Y方向误差ey2,也即无人机位于第二相对高度区间H2时位姿置信息,具体解算过程与实施例1的步骤S4相同,在此不再赘述;
降落控制单元600,其连接所述第一位姿解算单元300、第一位姿校正单元400、第二位姿解算单元500,用于根据无人机位于第一相对高度区间H1时的航向角误差eλ、X方向误差ex/校正后的X方向误差ex’、Y方向误差ey/校正后的Y方向误差ey’控制无人机下降;以及根据第一二维码1的角点信息解算出的航向角误差eλ1、X方向误差ex1、Y方向误差ey1,和/或,通过第二二维码2的角点信息解算出的航向角误差eλ2、X方向误差ex2、Y方向误差ey2控制无人机继续下降;
位姿插补单元700,其用于记录每一帧识别图像下无人机的RTK数据L(x,y,h),且当上一帧图像下识别出二维码,而当前帧图像中未识别出二维码时,获取当前帧与上一帧图像下无人机RTK数据的差值△L(△x,△y,△h);再通过根据上一帧图像下识别出的二维码获取的无人机位姿信息以及差值△L(△x,△y,△h)获取当前帧图像下无人机的位姿信息;获取当前帧图像下无人机的位姿信息的步骤与实施例2中利用RTK插补无人机位姿数据的步骤相同,在此不再赘述。
综上所述,本发明通过在高空和低空采用不同的位姿计算方式减小位姿解算误差,提高计算精度,具体的,在高空时,在PnP解算之后,增加了求取单应性矩阵H,再结合无人机的横滚角、俯仰角,利用几何变换进行解算,以获取矫正位姿,由此可极好的屏蔽因大尺寸二维码在识别图像中所占比例较小带来的波动误差;低空时,则无需特异性的识别二维码,直接识别大尺寸二维码和/或小尺寸二维码的角点即可,且直接通过PnP解算位姿信息,其既可以保证运算速度,又可以保证计算出的无人机位姿的精度,同时,在识别二维码的过程中,可通过RTK插补无人机位置姿数据,避免二维码识别掉帧造成的不良影响,使得相对位姿输出更加连续,有利于无人机的控制稳定。
需要说明的是,上述实施例1-3中的技术特征可进行任意组合,且组合而成的技术方案均属于本申请的保护范围。在本文中,诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于嵌套二维码的无人机自主降落方法,其特征在于,包括如下步骤:
在停机坪上设置具有空白区域的第一二维码,且在所述空白区域内设置若干第二二维码;
当无人机位于第一相对高度区间,且识别出第一二维码后,根据第一二维码上的角点信息解算出无人机在第一相对高度区间时的位姿信息,并根据该位姿信息控制无人机下降;
当无人机高度下降至第二相对高度区间,且识别出第一二维码和/或第二二维码后,根据第一二维码和/或第二二维码上的角点信息解算出无人机在第二相对高度区间时的位姿信息,并根据该位姿信息控制无人机下降。
2.如权利要求1所述的无人机自主降落方法,其特征在于,“根据第一二维码上的角点信息解算出无人机在第一相对高度区间时的位姿信息”的过程包括如下步骤:
获取第一二维码上若干角点的像素坐标p1(u1,v1),p2(u2,v2),p3(u3,v3)...,再根据每一角点的像素坐标获取该角点在停机坪上的实际位置坐标q1(x1,y1,z1),q2(x2,y2,z2),q3(x3,y3,z3)...,进一步获得多个角点像素坐标和该角点在停机坪上的实际位置坐标的匹配对点P(p1,p2,p3...)和Q(q1,q2,q3...);
通过PnP解算匹配对点P、Q之间的位姿关系,得到相对位移变换矩阵[R|T],其中R为旋转矩阵、T为平移向量;
再根据所述相对位移变换矩阵[R|T]解算出无人机的位姿信息,且所述位姿信息包括:无人机在第一相对高度区间时的航向角误差eλ、X方向误差ex、Y方向误差ey以及当前无人机与停机坪的相对高度h。
3.如权利要求2所述的无人机自主降落方法,其特征在于,所述基于嵌套二维码的无人机自主降落方法还包括:
根据匹配对点P、Q获得单应性矩阵H,且根据下述公式(1)-(2)获取停机坪中心点在视觉识别图像中的像素坐标d;
d′=(H·[0,0,1]T) (1)
d=d′/d′[2] (2);
根据无人机的横滚角α、俯仰角β构建无人机本身的姿态旋转矩阵Ru,根据下述公式(3)-(9)获取矫正后的停机坪中心点在视觉识别图像中的像素坐标:
x′=(d[0]-cx)/fx (3)
y′=(d[1]-cy)/fy (4)
[x″,y″,w]=Ru·[x′,y′,1] (5)
x=x″/w (6)
y=y″/w (7)
E[0]=x·fx+cx (8)
E[1]=y·fy+cy (9);
其中:cx、cy为矫正后的停机坪中心点在视觉识别图像中的像素坐标;fx、fy分别是视觉识别设备在x、y方向的焦距;E为向量;w、x″,y″均为过程量;
按照公式(10)-(11)获取无人机位于第一相对高度区间时的、校正后的X方向误差ex’以及校正后的Y方向误差ey’:
e’x=(E[0]-cx)·h/fx (10)
e’y=(E[1]-cy)·h/fy (11);
且根据无人机位于第一相对高度区间时的航向角误差eλ、X方向误差ex/校正后的X方向误差ex’,以及Y方向误差ey/校正后的Y方向误差ey’控制无人机下降。
4.如权利要求2所述的无人机自主降落方法,其特征在于,“根据第一二维码和/或第二二维码上的角点信息解算出无人机存第二相对高度区间时的位姿信息”的过程包括:
直接使用PnP对第一二维码的角点信息进行解算,以获得无人机位于第二相对高度区间时的航向角误差eλ1、X方向误差ex1、Y方向误差ey1,和/或,直接使用PnP对第二二维码的角点信息进行解算,以获得无人机位于第二相对高度区间H2时的航向角误差eλ2、X方向误差ex2、Y方向误差ey2。
5.如权利要求4所述的无人机自主降落方法,其特征在于,根据无人机位于第二相对高度区间时,通过第一二维码的角点信息解算出的航向角误差eλ1、X方向误差ex1、Y方向误差ey1,和/或,通过第二二维码的角点信息解算出的航向角误差eλ2、X方向误差ex2、Y方向误差ey2控制无人机继续下降。
6.如权利要求1所述的无人机自主降落方法,其特征在于,所述基于嵌套二维码的无人机自主降落方法还包括:
记录每一帧识别图像下无人机的RTK数据L(x,y,h),且所述无人机的RTK数据L(x,y,h)为在大地坐标系下的绝对位置;
若上一帧图像下识别出二维码,且当前帧图像中未识别出二维码,则获取当前帧与上一帧图像下无人机RTK数据的差值ΔL(Δx,Δy,Δh);
根据上一帧图像下识别出的二维码解算出无人机的位姿信息,再根据该位姿信息以及差值ΔL(Δx,Δy,Δh)获取当前帧图像下无人机的位姿信息。
7.如权利要求1所述的无人机自主降落方法,其特征在于,所述空白区域中划分出若干个面积相同的正方形单元格,且每一单元格中对应设置一个所述第二二维码。
8.如权利要求7所述的无人机自主降落方法,其特征在于,每一第二二维码的面积为单元格面积的80-85%。
9.一种基于嵌套二维码的无人机自主降落系统,其特征在于,包括:
停机坪,且所述停机坪上设置具有空白区域的第一二维码,且所述空白区域中设置若干第二二维码;
视觉识别设备,其连接无人机机体,用于在无人机下降过程中获取第一二维码和/或第二二维码的图像,并进行识别;
第一位姿解算单元,其用于当无人机位于第一相对高度区间,且识别出第一二维码后,解算出无人机位于第一相对高度区间的位姿信息;
第二位姿解算单元,其用于当无人机高度下降至第二相对高度区间时,且识别出第一二维码和/或第二二维码后,解算出无人机位于第二相对高度区间的位姿信息;
降落控制单元,其连接所述第一位姿解算单元、第二位姿解算单元,用于根据无人机位于第一相对高度区间时的位姿信息,以及无人机位于第二相对高度区间的位姿信息控制无人机下降。
10.如权利要求9所述的无人机自主降落系统,其特征在于,所述基于嵌套二维码的无人机自主降落系统还包括:
第一位姿校正单元,其用于对第一位姿解算单元解算出的无人机的位姿信息进行校正;且所述降落控制单元连接所述第一位姿校正单元,并根据校正后的、无人机位于第一相对高度区间时的位姿信息控制无人机下降;
以及位姿插补单元,其用于记录每一帧识别图像下无人机的RTK数据,且当上一帧图像下识别出二维码,而当前帧图像中未识别出二维码时,获取当前帧与上一帧图像下无人机RTK数据的差值;再通过根据上一帧图像下识别出的二维码获取的无人机位姿信息以及差值获取当前帧图像下无人机的位姿信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110937743.1A CN113485449B (zh) | 2021-08-16 | 2021-08-16 | 基于嵌套二维码的无人机自主降落方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110937743.1A CN113485449B (zh) | 2021-08-16 | 2021-08-16 | 基于嵌套二维码的无人机自主降落方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113485449A true CN113485449A (zh) | 2021-10-08 |
CN113485449B CN113485449B (zh) | 2024-06-14 |
Family
ID=77945445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110937743.1A Active CN113485449B (zh) | 2021-08-16 | 2021-08-16 | 基于嵌套二维码的无人机自主降落方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113485449B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114460970A (zh) * | 2022-02-22 | 2022-05-10 | 四川通信科研规划设计有限责任公司 | 一种无人机库定位标识显示方法及无人机降落方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108549397A (zh) * | 2018-04-19 | 2018-09-18 | 武汉大学 | 基于二维码和惯导辅助的无人机自主降落方法及系统 |
CN108873917A (zh) * | 2018-07-05 | 2018-11-23 | 太原理工大学 | 一种面向移动平台的无人机自主着陆控制系统及方法 |
CN110989661A (zh) * | 2019-11-19 | 2020-04-10 | 山东大学 | 一种基于多个定位二维码的无人机精准降落方法及系统 |
CN111176331A (zh) * | 2020-03-12 | 2020-05-19 | 江苏蓝鲸智慧空间研究院有限公司 | 一种无人机精准降落控制方法 |
CN111221343A (zh) * | 2019-11-22 | 2020-06-02 | 西安君晖航空科技有限公司 | 一种基于嵌入式二维码的无人飞机降落方法 |
CN112184812A (zh) * | 2020-09-23 | 2021-01-05 | 广东海洋大学 | 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统 |
CN112198902A (zh) * | 2020-11-18 | 2021-01-08 | 普宙飞行器科技(深圳)有限公司 | 一种无人机降落控制方法、系统、存储介质及电子设备 |
-
2021
- 2021-08-16 CN CN202110937743.1A patent/CN113485449B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108549397A (zh) * | 2018-04-19 | 2018-09-18 | 武汉大学 | 基于二维码和惯导辅助的无人机自主降落方法及系统 |
CN108873917A (zh) * | 2018-07-05 | 2018-11-23 | 太原理工大学 | 一种面向移动平台的无人机自主着陆控制系统及方法 |
CN110989661A (zh) * | 2019-11-19 | 2020-04-10 | 山东大学 | 一种基于多个定位二维码的无人机精准降落方法及系统 |
CN111221343A (zh) * | 2019-11-22 | 2020-06-02 | 西安君晖航空科技有限公司 | 一种基于嵌入式二维码的无人飞机降落方法 |
CN111176331A (zh) * | 2020-03-12 | 2020-05-19 | 江苏蓝鲸智慧空间研究院有限公司 | 一种无人机精准降落控制方法 |
CN112184812A (zh) * | 2020-09-23 | 2021-01-05 | 广东海洋大学 | 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统 |
CN112198902A (zh) * | 2020-11-18 | 2021-01-08 | 普宙飞行器科技(深圳)有限公司 | 一种无人机降落控制方法、系统、存储介质及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114460970A (zh) * | 2022-02-22 | 2022-05-10 | 四川通信科研规划设计有限责任公司 | 一种无人机库定位标识显示方法及无人机降落方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113485449B (zh) | 2024-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109270953B (zh) | 一种基于同心圆视觉标识的多旋翼无人机自主降落方法 | |
CN110595476B (zh) | 一种基于gps和图像视觉融合的无人机降落导航方法及装置 | |
CN111415387B (zh) | 相机位姿确定方法、装置、电子设备及存储介质 | |
CN108549397A (zh) | 基于二维码和惯导辅助的无人机自主降落方法及系统 | |
CN105045263B (zh) | 一种基于Kinect深度相机的机器人自定位方法 | |
CN106529587B (zh) | 基于目标点识别的视觉航向识别方法 | |
Martínez et al. | On-board and ground visual pose estimation techniques for UAV control | |
CN112161567B (zh) | 一种综采工作面的定位方法及系统 | |
CN109447326B (zh) | 无人机迁移轨迹生成方法、装置、电子设备和存储介质 | |
CN114898313B (zh) | 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质 | |
CN109839945B (zh) | 无人机降落方法、无人机降落装置及计算机可读存储介质 | |
CN112184812B (zh) | 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统 | |
CN107831776A (zh) | 基于九轴惯性传感器的无人机自主返航方法 | |
CN109472778B (zh) | 一种基于无人机的高耸结构外观检测方法 | |
CN110488838A (zh) | 一种室内自主导航机器人精确重复定位方法 | |
CN106325305A (zh) | 对地定位或导航用相机、飞行器及其导航方法和系统 | |
CN113295171B (zh) | 一种基于单目视觉的旋转刚体航天器姿态估计方法 | |
CN114900609B (zh) | 一种无人机的自动化拍摄控制方法和系统 | |
CN113485449A (zh) | 基于嵌套二维码的无人机自主降落方法及系统 | |
CN109661631A (zh) | 无人机的控制方法、装置和无人机 | |
CN112577463A (zh) | 姿态参数修正的航天器单目视觉测距方法 | |
CN109342439B (zh) | 基于无人机的索结构外观检测方法 | |
CN115383517A (zh) | 一种局部识别n点位置进行整体定位的方法和装置 | |
CN113790711A (zh) | 一种无人机低空飞行位姿无控多视测量方法及存储介质 | |
Zhang et al. | Automated Extrinsic Calibration of Multi-cameras and LiDAR |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Country or region after: China Address after: 430070 North of Floor 3, Building 2, No. 5, Huanglongshan South Road, Fozuling Street, Donghu New Technology Development Zone, Wuhan, Hubei Province (Wuhan Area of Free Trade Zone) Applicant after: Puzhou Technology Co.,Ltd. Address before: 1006, building 1, yongxinhui, No. 4078, Dongbin Road, Nanshan District, Shenzhen, Guangdong 518054 Applicant before: Puzhou Technology (Shenzhen) Co.,Ltd. Country or region before: China |
|
GR01 | Patent grant | ||
GR01 | Patent grant |