CN110001980B - 一种飞行器降落方法及装置 - Google Patents
一种飞行器降落方法及装置 Download PDFInfo
- Publication number
- CN110001980B CN110001980B CN201910318700.8A CN201910318700A CN110001980B CN 110001980 B CN110001980 B CN 110001980B CN 201910318700 A CN201910318700 A CN 201910318700A CN 110001980 B CN110001980 B CN 110001980B
- Authority
- CN
- China
- Prior art keywords
- aircraft
- landing
- matching
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 239000011159 matrix material Substances 0.000 claims abstract description 146
- 230000003287 optical effect Effects 0.000 claims abstract description 94
- 230000009466 transformation Effects 0.000 claims abstract description 88
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 19
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 28
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- DMSMPAJRVJJAGA-UHFFFAOYSA-N benzo[d]isothiazol-3-one Chemical compound C1=CC=C2C(=O)NSC2=C1 DMSMPAJRVJJAGA-UHFFFAOYSA-N 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种飞行器降落方法及装置,该方法包括:获取飞行器在降落过程中采集的预设起降点的当前图像;获取飞行器在起飞阶段采集的预设起降点的匹配图像及飞行器的位姿信息;对当前图像和匹配图像进行特征匹配,得到各匹配特征点对;根据各匹配特征点对计算当前图像与匹配图像之间的特征变换矩阵;根据特征变换矩阵得到匹配图像的光心点投影至当前图像的光心投影点;根据光心投影点的坐标控制飞行器降落至预设起降点。通过实施本发明,实现了一种飞行器降落指令的调整方法,指引飞行器降落至起降点,提高了飞行器的降落精确度,仅通过对采集图像的成功匹配即可对降落指令做出调整,避免了对降落点的实时跟踪,降低了飞行器精准降落的难度。
Description
技术领域
本发明涉及飞行器技术领域,具体涉及一种飞行器降落方法及装置。
背景技术
随着飞行器的不断发展,飞行器应用的领域也越来越广。带有飞行功能的飞行器可以根据终端发送的降落指令进行降落,当然,有些智能飞行器具有自动返航或者一键降落的功能,目前,飞行器常用的降落方式是使用GPS(Global Positioning System,全球定位系统)辅助降落,即将目标区域的GPS坐标发送至飞行器,飞行器的控系统控制飞行器在目标区域降落,并根据目标区域的GPS坐标修正自身的降落位置。但是,由于GPS坐标精度不足,以及飞行器的漂移等问题,飞行器采用这种方式降落时很难准确的降落到目标上,同时,使用GPS坐标进行降落往往具有很大的降落误差,可差距数米,特别是在降落目标区域比较小的区域并不适用。
发明内容
本发明要解决的技术问题在于克服现有技术中利用GPS定位等调整飞行器的降落指令,指引飞行器降落,由于GPS坐标精度不足,以及飞行器的漂移,造成飞行器降落误差大、难以在较小的目标区域进行精准降落的问题。
本发明实施例提供了一种飞行器降落方法,包括:获取所述飞行器在降落过程中采集的预设起降点的当前图像;获取所述飞行器在起飞阶段采集的所述预设起降点的匹配图像和所述飞行器采集所述匹配图像时所述飞行器的位姿信息;对所述当前图像和所述匹配图像进行特征匹配,得到各匹配特征点对;根据所述各匹配特征点对,计算所述当前图像与所述匹配图像之间的特征变换矩阵;根据所述特征变换矩阵,得到所述匹配图像的光心点投影至所述当前图像的光心投影点;根据所述光心投影点的坐标,控制所述飞行器降落至所述预设起降点。
可选地,所述获取所述飞行器在起飞阶段采集的所述预设起降点的匹配图像和所述飞行器的位姿信息,包括:在起飞阶段,每隔预设飞行高度,获取所述飞行器采集的所述预设起降点的匹配图像和所述飞行器的位姿信息。
可选地,所述飞行器降落方法,还包括:当所述飞行器的当前飞行高度大于预设高度时,停止采集匹配图像和所述飞行器的位姿信息。
可选地,所述根据所述光心投影点的坐标,控制所述飞行器降落至所述预设起降点,包括:获取所述匹配图像的光心点投影至所述当前图像的光心投影点的二维像素坐标;根据所述二维像素坐标,计算所述光心投影点在世界坐标系下的三维坐标;根据所述三维坐标,控制所述飞行器降落至所述预设起降点。
可选地,所述根据所述二维像素坐标,计算所述光心投影点在世界坐标系下的三维坐标,包括:获取所述飞行器在拍摄所述匹配图像时,所述飞行器的位姿及对地高度;根据所述各匹配特征点对,计算所述飞行器在拍摄所述当前图像时的补偿偏航角;根据所述特征变换矩阵、所述位姿及所述对地高度,计算所述当前图像的补偿对地高度;根据所述补偿偏航角、所述补偿对地高度,对所述光心投影点的所述三维坐标进行更新,得到所述三维坐标。
可选地,所述根据各所述匹配特征点对计算所述当前图像的补偿偏航角,包括:根据所述匹配特征点对,得到所述当前图像的第一描述子及所述匹配图像的第二描述子;计算所述第一描述子的主方向与所述第二描述子主方向的偏差角;计算各所述匹配特征点对的偏差角的偏差角均值,并将所述偏差角均值确定为所述补偿偏航角。
可选地,所述根据所述特征变换矩阵、所述位姿及所述对地高度计算所述当前图像的补偿对地高度,包括:分解所述特征变换矩阵得到所述当前图像相对于所述匹配图像的相对位姿;根据所述位姿、所述对地高度及所述相对位姿,得到所述当前图像的补偿对地高度。
可选地,所述匹配特征点对包括:第一匹配特征点和第二匹配特征点,所述第一匹配特征点位于所述当前图像上,所述第二匹配特征点位于所述匹配图像上,在所述根据所述各匹配特征点对,计算所述当前图像与所述匹配图像之间的特征变换矩阵之后,在所述根据所述特征变换矩阵得到所述匹配图像的光心点投影至所述当前图像的光心投影点之前,所述飞行器降落方法还包括:根据所述特征变换矩阵得到所述匹配图像的各第二匹配特征点在所述当前图像上的对应的各投影匹配特征点;分别计算所述投影匹配特征点与对应的所述第一匹配特征点之间的距离误差,并判断所述距离误差的平均值是否小于预设距离阈值;当所述距离误差的平均值小于所述预设距离阈值时,执行所述根据所述特征变换矩阵得到所述匹配图像的光心点投影至所述当前图像的光心投影点的步骤。
可选地,所述特征变换矩阵为单应矩阵。
可选地,所述飞行器降落方法,还包括:当所述距离误差的平均值不小于所述预设距离阈值时,将所述特征变换矩阵由所述单应矩阵替换为基础矩阵,并重新执行所述根据所述特征变换矩阵得到所述匹配图像的各第二匹配特征点在所述当前图像上的对应的各投影匹配特征点的步骤。可选地,当所述特征变换矩阵由所述单应矩阵替换为基础矩阵后,并且判断所述距离误差的平均值不小于预设距离阈值时,执行所述获取飞行器当前采集的预设起降点的当前图像及所述飞行器在起飞阶段采集的所述预设起降点的匹配图像的步骤。
本发明实施例还提供了一种飞行器降落装置,包括:当前图像获取模块,用于获取所述飞行器在降落过程中采集的预设起降点的当前图像;匹配图像获取模块用于获取所述飞行器在起飞阶段采集的所述预设起降点的匹配图像和所述飞行器采集所述匹配图像时所述飞行器的位姿信息;匹配特征点对生成模块,用于对所述当前图像和所述匹配图像进行特征匹配,得到各匹配特征点对;特征变换矩阵计算模块,用于根据所述各匹配特征点对计算所述当前图像与所述匹配图像之间的特征变换矩阵;光心投影点生成模块,用于根据所述特征变换矩阵得到所述匹配图像的光心点投影至所述当前图像的光心投影点;降落指令调整模块,用于根据所述光心投影点的坐标控制所述飞行器降落至所述预设起降点。
可选地,所述匹配图像获取模块具体用于在起飞阶段,每隔预设飞行高度,获取所述飞行器采集的所述预设起降点的匹配图像和所述飞行器的位姿信息。
可选地,当所述飞行器的当前飞行高度大于预设高度时,所述匹配图像获取模块还用于停止采集匹配图像和所述飞行器的位姿信息。
可选地,所述降落指令调整模块包括:二维像素坐标获取子模块,用于获取所述匹配图像的光心点投影至所述当前图像的光心投影点的二维像素坐标;计算子模块,用于根据所述二维像素坐标,计算所述光心投影点在世界坐标系下的三维坐标;控制子模块,用于根据所述三维坐标,控制所述飞行器降落至所述预设起降点。
可选地,所述计算子模块包括:信息获取单元,用于获取所述飞行器在拍摄所述匹配图像时,所述飞行器的位姿及对地高度;补偿偏航角计算单元,用于根据所述各匹配特征点对,计算所述飞行器在拍摄所述当前图像时的补偿偏航角;补偿对地高度计算单元,用于根据所述特征变换矩阵、所述位姿及所述对地高度,计算所述当前图像的补偿对地高度;三维坐标更新单元,用于根据所述补偿偏航角、所述补偿对地高度,对所述光心投影点的所述三维坐标进行更新,得到所述三维坐标。
可选地,所述补偿偏航角计算单元包括:描述子生成子单元,用于根据所述匹配特征点对,得到所述当前图像的第一描述子及所述匹配图像的第二描述子;偏差角计算子单元,用于计算所述第一描述子的主方向与所述第二描述子主方向的偏差角;补偿偏航角计算子单元,用于计算各所述匹配特征点对的偏差角的偏差角均值,并将所述偏差角均值确定为所述补偿偏航角。
可选地,所述补偿对地高度计算单元包括:分解子单元,用于分解所述特征变换矩阵得到所述当前图像相对于所述匹配图像的相对位姿;补偿对地高度生成子单元,用于根据所述位姿、所述对地高度及所述相对位姿,得到所述当前图像的补偿对地高度。
可选地,所述飞行器降落装置还包括:投影匹配特征点生成模块,用于根据所述特征变换矩阵得到所述匹配图像的各第二匹配特征点在所述当前图像上的对应的各投影匹配特征点;判断模块,用于分别计算所述各投影匹配特征点与对应的所述第一匹配特征点之间的距离误差,并判断所述距离误差的平均值是否小于预设距离阈值;当所述距离误差的平均值小于所述预设距离阈值时,返回所述光心投影点生成模块。
可选地,所述特征变换矩阵为单应矩阵。
可选地,所述飞行器降落装置还包括:转换矩阵替换模块,当所述距离误差的平均值不小于所述预设距离阈值时,所述转换矩阵替换模块用于将所述特征变换矩阵由所述单应矩阵替换为基础矩阵,返回所述投影匹配特征点生成模块。
可选地,当所述特征变换矩阵由所述单应矩阵替换为基础矩阵后,所述飞行器降落装置还包括:第二判断模块,用于分别计算投影匹配特征点与对应的第一匹配特征点之间的距离误差,并判断距离误差的平均值是否小于预设距离阈值,当判断所述距离误差的平均值不小于预设距离阈值时,返回所述当前图像获取模块。
本发明实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行上述的飞行器降落方法。
本发明实施例还提供了一种计算机设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行上述的飞行器降落方法。
本发明实施例还提供了一种飞行器,包括:飞行器本体、图像采集设备及飞行控制器,其中,所述图像采集设备与所述飞行控制器设置于所述飞行器本体上;所述图像采集设备用于采集所述飞行器在降落过程中的预设起降点的当前图像,并采集所述飞行器在起飞阶段采集的所述预设起降点的匹配图像和所述飞行器采集所述匹配图像时所述飞行器的位姿信息,并将所述当前图像、匹配图像及位姿信息发送至所述飞行控制器;所述飞行控制器用于接收所述当前图像、匹配图像及位姿信息,并采用上述的飞行器降落方法控制所述飞行器降落至所述预设起降点。
本发明技术方案,具有如下优点:
本发明实施例提供了一种飞行器降落方法及装置,该方法通过将飞行器在降落过程中采集的预设起降点的当前图像与飞行器起飞阶段采集的匹配图像进行特征匹配,得到各匹配特征点对计算当前图像与匹配图像的特征变换矩阵,通过该特征变换矩阵得到匹配图像的光心点在当前图像上的光心投影点,并根据该光心投影点的坐标调整飞行器降落至预设起降点。从而利用特征匹配实现了一种飞行器降落指令的调整方法,指引飞行器降落至起降点,从而提高了飞行器的降落精确度,仅通过对采集图像的成功匹配即可对降落指令做出调整,避免了对降落点的实时跟踪,降低了飞行器精准降落的难度。
本发明实施例提供了一种飞行器,通过在飞行器上设置图像采集设备及飞行控制器,实现了对飞行器降落的精准控制,指引飞行器降落至起降点,从而提高了飞行器的降落精确度,仅通过对采集图像的成功匹配即可对降落指令做出调整,避免了对降落点的实时跟踪,降低了飞行器精准降落的难度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种飞行器降落方法的流程图;
图2为本发明实施例图1所示飞行器降落方法中步骤S6的流程图;
图3为本发明实施例中步骤S623的具体流程图;
图4为本发明实施例中一种飞行器降落方法另一实施例的流程图;
图5为本发明实施例中一种飞行器降落方法再一实施例的流程图;
图6为本发明实施例中一种飞行器降落装置的结构示意图;
图7为本发明实施例中一种计算机设备的结构示意图;
图8为本发明实施例中一种飞行器的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供了一种飞行器降落方法,如图1所示,该飞行器降落方法包括:
步骤S1:获取飞行器在降落过程中采集的预设起降点的当前图像。
步骤S2:获取飞行器在起飞阶段采集的预设起降点的匹配图像和飞行器采集匹配图像时飞行器的位姿信息。在实际应用中,飞行器上搭载有照相机或摄像机,可以在飞行器起飞和降落过程中按照预先设置的规则,采集预设起降点的图像,例如,可以按照固定的图像采集时间通过下视相机拍摄的预设起降点的灰度图像,并且在起飞阶段拍摄预设起降点的图像时,通过下视相机的拍摄参数等得到飞行器的位姿信息。
步骤S3:对当前图像和匹配图像进行特征匹配,得到各匹配特征点对。具体地,在本发明实施例中,可以采用特征匹配算法实现上述两个图像的特征匹配,需要说明的是,在本发明实施例中是采用采用尺度不变特征变换(Scale-invariant feature transform,简称SIFT)算法来实现上述两个图像的特征匹配,在实际应用中,还可以采用其他特征匹配算法进行特征匹配,本发明并不以此为限。
步骤S4:根据各匹配特征点对,计算当前图像与匹配图像之间的特征变换矩阵。具体地,该特征变换矩阵可以是单应矩阵或基础矩阵。
步骤S5:根据特征变换矩阵得到匹配图像的光心点投影至当前图像的光心投影点。具体地,该光心点为上述的照相机或摄像机在图像拍摄过程中摄像机光心所对应的图像上的像素点。
步骤S6:根据光心投影点的坐标控制飞行器降落至预设起降点。在实际应用中,当飞行器在上述预设起降点附近准备降落时,如果偏离起降点则上述的光心投影点会与上述当前图像的实际光心点在位置上产生偏差,因此,可以根据该光心投影点的坐标信息对该飞行器的降落指令进行相应的调整,进而控制飞行器可以精准降落至预设起降点。
通过上述步骤S1至步骤S6,上述的飞行器降落方法,通过将飞行器在降落过程中采集的预设起降点的当前图像与飞行器起飞阶段采集的匹配图像进行特征匹配,得到各匹配特征点对计算当前图像与匹配图像的特征变换矩阵,通过该特征变换矩阵得到匹配图像的光心点在当前图像上的光心投影点,并根据该光心投影点的坐标调整飞行器降落至预设起降点。从而利用特征匹配实现了一种飞行器降落指令的调整方法,指引飞行器降落至起降点,从而提高了飞行器的降落精确度,仅通过对采集图像的成功匹配即可对降落指令做出调整,避免了对降落点的实时跟踪,降低了飞行器精准降落的难度。
具体地,在一实施例中,上述的步骤S1,获取飞行器在降落过程中采集的预设起降点的当前图像。在实际应用中,当飞行器在降落过程中,飞行器上所搭载的图像采集设备例如摄像机,会按照预设的时间间隔采集预设起降点的当前图像,为判断飞行器与预设起降点的位置关系做准备。
具体地,在一实施例中,上述的步骤S2,获取飞行器在起飞阶段采集的预设起降点的匹配图像和飞行器采集匹配图像时飞行器的位姿信息。具体地,在起飞阶段,每隔预设飞行高度,获取飞行器采集的预设起降点的匹配图像和飞行器的位姿信息,当飞行器的当前飞行高度大于预设高度时,停止采集上述匹配图像和飞行器的位姿信息。在实际应用中,在飞行器在起飞阶段会在不同的起飞高度采集预设起降点的图像,可以选取这些图像中的任意一张图像作为上述的匹配图像,例如:可以从拍摄的图像中选择一个清晰度高、预设起降点信息保留完整的图像作为该匹配图像。
具体地,在一实施例中,上述的步骤S3,对当前图像和匹配图像进行特征匹配,得到各匹配特征点对。在实际应用中,采用SIFT算法对上述的两个图像进行特征匹配,得到多组匹配特征点,具体地,该SIFT算法可以采用现有技术实现,在此不再进行赘述。
具体地,在一实施例中,上述的步骤S4,根据各匹配特征点对计算当前图像与匹配图像之间的特征变换矩阵。具体地,该特征变换矩阵可以为单应矩阵或基础矩阵的任意一种,在实际应用中,可以是直接使用基础矩阵作为该特征变换矩阵。较佳地,由于单应矩阵比基础矩阵的准确性更好,因而在本发明实施例中优先将单应矩阵设置为特征变换矩阵,只有在单应矩阵不满足预设条件的情况下,再将特征变换矩阵更新为基础矩阵,以保证飞行器的降落精度的最优。
具体地,在一实施例中,上述的步骤S5,根据特征变换矩阵得到匹配图像的光心点投影至当前图像的光心投影点。具体地,在得到上述当前图像与匹配图像的之间的特征变换矩阵后,可以根据该特征变换矩阵将其中任意一个图像上的点通过特征变换矩阵投影至另一个图像上,得到该点在另一图像的投影点。
在一较佳实施例中,如图2所示,上述的步骤S6,根据光心投影点的坐标控制飞行器降落至预设起降点,具体包括:
步骤S61:获取匹配图像的光心点投影至当前图像的光心投影点的二维像素坐标。在实际应用中,由于飞行器的飞行位置是在不断变化的,使得所获取的当前图像与匹配图像之间存在差异,匹配图像的光心投影点投影至当前图像上,以当前图像的关心投影点为原点,可以得到匹配图像光心投影点在当前图像的二维像素坐标,该二维像素坐标反映出飞行器与预设起降点之间的偏差。
步骤S62:根据二维像素坐标,计算光心投影点从二维像素坐标到以飞行器为原点的水平坐标系的三维坐标。在实际应用中,如果上述的飞行器在降落过程中偏离上述预设起降点,则该光心投影点会偏离上述当前图像的光心点,即该光心投影点与当前图像的光心点的偏差反应的飞行器的当前飞行状态,通过计算得到该光心投影点以飞行器为原点的三维世界坐标,根据该坐标值即可以反映出当前飞行器与预设起降点的距离偏差,即可对降落指令进行对应的调整,从而保证飞行器的精准降落。
步骤S63:根据三维坐标控制飞行器降落至预设起降点。在实际应用中,根据该三维坐标得到飞行器与预设起降点的水平相对位移,通过持续的执行上述的步骤S1至步骤S6,并将上述的水平相对位移控制上述的飞行器进行降落,即将该水平相对位移作为位置闭环约束飞行器降落至预设起降点。
具体地,在一实施例中,如图3所示,上述的步骤S62具体包括:
步骤S621:获取飞行器在拍摄匹配图像时,飞行器的位姿及对地高度。在实际应用中,在飞行器起飞阶段采集预设起降点的匹配图像的同时,记录当前飞行器的飞行高度及对应的位姿信息。
步骤S622:根据各匹配特征点对计算飞行器在拍摄当前图像时的补偿偏航角。在实际应用中,飞行器在向预设起降点飞行过程中由于飞机的飞行姿态等原因会与产生一定的角度偏差,可以通过计算上述当前图像的补偿偏航角,对该角度偏差进行弥补,以进一步提高飞行器的降落精确度。
具体地,在一实施例中,如图3所示,上述的步骤S622具体包括:
步骤S6221:根据匹配特征点对,得到当前图像的第一描述子及匹配图像的第二描述子。在实际应用中,每一组匹配特征点对由位于当前图像的第一匹配特征点和位于匹配图像的第二匹配特征点组成,基于图像梯度,对每个匹配特征点赋予一个或多个主方向,得到每个匹配特征点主方向的特征向量作为该匹配特征点的描述子,上述的第一描述子与第二描述子分别对应上述的第一匹配特征点和第二匹配特征点。
步骤S6222:计算第一描述子的主方向与第二描述子主方向的偏差角。在实际应用中,每一组匹配特征点对都会产生一个偏差角。
步骤S6223:计算各匹配特征点对的偏差角的偏差角均值,并将偏差角均值确定为补偿偏航角。在实际应用中,将上述匹配特征点对的偏差角的平均值作为补偿偏航角,以补偿飞行器在降落过程与预设起降点的角度偏差。
步骤S623:根据特征变换矩阵、位姿及对地高度计算当前图像的补偿对地高度。在实际应用中,由于传统的GPS等定位方式精度的局限,并且飞行器在降落过程中飞行高度急剧下降,对飞行器的对地高度(飞行高度)的定位存在一定的偏差,飞行器的降落指令需要参考飞行器当前的对地高度,当对地高度有偏差时,会影响飞行器降落的准确性,因而需要通过补偿对地高度的方式进一步的提高飞行器降落的精准度。
具体地,在一实施例中,如图3所示,上述的步骤S623具体包括:
步骤S6231:分解特征变换矩阵得到当前图像相对于匹配图像的相对位姿。具体地,在实际应用中,通过分解单应矩阵或基础矩阵即可得到当前位置相对于匹配图像位置的位姿,该分解过程采用现有技术即可实现,在此不再进行赘述。
步骤S6232:根据位姿、对地高度及相对位姿,得到当前图像的补偿对地高度。在实际应用中,通过上述匹配图像的位姿、相对位姿即可得到飞行器当前位置与采集匹配图像的位置的相对高度差值,该高度差值与采集匹配图像位置的对地高度之和即为当前飞行器的补偿对地高度,具体地,该补偿对地高度与GPS定位等高度定位方法得到的当前飞行器的对地高度的差异可以用来调整飞行器的降落指令,以提高飞行器降落的精准度。
步骤S624:根据补偿偏航角、补偿对地高度对光心投影点的三维坐标进行更新,得到三维坐标。在实际应用中,通过上述的补偿偏航角及补偿对地高度的计算,对上述光心投影点的三维坐标进行相应的调整,进而得到可以准确反映飞行器当前降落过程的飞行状况,进而可以据此对飞行器的降落指令进行相应的调整,以提高飞行器降落的精准度。
在一较佳实施例中,如图4所示,上述的飞行器降落方法还包括:
步骤S7:根据特征变换矩阵得到匹配图像的各第二匹配特征点在当前图像上的对应的各投影匹配特征点。在实际应用中,由于受到飞行器飞行位姿及照相机或摄像机拍摄环境等因素的影响,上述的当前图像及匹配图像可能存在较大的匹配误差,从而影响后续对降落指令调整的精确性,因此在本发明实施例中,通过上述当前图像上的投影匹配特征点与对应的匹配特征点距离误差来判断图像匹配的精确性。
步骤S8:分别计算投影匹配特征点与对应的第一匹配特征点之间的距离误差,并判断距离误差的平均值是否小于预设距离阈值。在实际应用中,通过计算得到每一组特征点对中投影匹配特征点与匹配特征点的距离误差,并通过判断上述这些距离误差的平均值是否小于预设距离阈值来判断图像匹配是否满足要求,当距离误差的平均值小于预设距离阈值时,执行上述的步骤S5,当距离误差的平均值不小于预设距离阈值时,返回上述的步骤S1,重新获取飞行器当前的当前图像或者根据实际情况重新选择在起飞阶段拍摄的其他的预设起降点的图像作为匹配图像。
在实际应用中,在飞行器的降落全过程中可以通过持续的执行上述的步骤S1至步骤S8,从而不断地调整飞行器的降落指令,直至飞行器降落至预设起降点,例如:飞行器按照预设时间间隔采集当前图像,在飞行器每次采集到当前图像后,执行上述的步骤S1至步骤S8,直至飞行器降落。
在另一可替换的实施例中,如图5所示,当上述的特征变换矩阵为单应矩阵,并且距离误差的平均值不小于预设距离阈值时,上述的飞行器降落方法还包括:
步骤S9:将特征变换矩阵由单应矩阵替换为基础矩阵,并重新上述步骤S7。
步骤S10:当特征变换矩阵由单应矩阵替换为基础矩阵后,判断距离误差的平均值不小于预设距离阈值时,执行上述的步骤S5,当距离误差的平均值不小于预设距离阈值时,返回上述的步骤S1。
具体地,由于单应矩阵是基于平面假设来计算两幅图像的特征变换矩阵,在实际应用中,是以地平面作为假设平面来计算单应矩阵,如果采用单应矩阵后,计算上述的距离误差的平均值不小于预设距离阈值,则说明平面假设失效,需要将上述的特征转换矩阵更新为基础矩阵。由于单应矩阵比基础矩阵的准确性更好,因而在本发明实施例中优先将单应矩阵设置为特征变换矩阵,只有在单应矩阵不满足预设条件的情况下,再将特征变换矩阵更新为基础矩阵,以保证飞行器的降落精度的最优。
通过上述步骤S1至步骤S10,本发明实施例提供的飞行器降落方法,通过将飞行器在降落过程中采集的预设起降点的当前图像与飞行器起飞阶段采集的匹配图像进行特征匹配,得到各匹配特征点对计算当前图像与匹配图像的特征变换矩阵,通过该特征变换矩阵得到匹配图像的光心点在当前图像上的光心投影点,并根据该光心投影点的坐标控制飞行器降落至预设起降点。从而实现了一种飞行器降落指令的调整方法,指引飞行器降落至起降点,从而提高了飞行器的降落精确度,仅通过对采集图像的成功匹配即可对降落指令做出调整,避免了对降落点的实时跟踪,降低了飞行器精准降落的难度。
本发明实施例提供了一种飞行器降落装置,如图6所示,该飞行器降落装置包括:
当前图像获取模块1,用于获取飞行器在降落过程中采集的预设起降点的当前图像。当前图像获取模块1的详细功能参见上述实施例中步骤S1的相关描述。
匹配图像获取模块2,获取飞行器在起飞阶段采集的预设起降点的匹配图像和飞行器采集匹配图像时飞行器的位姿信息。匹配图像获取模块2的详细功能参见上述实施例中步骤S2的相关描述。
匹配特征点对生成模块3,用于对当前图像和匹配图像进行特征匹配,得到各匹配特征点对。匹配特征点对生成模块3的详细功能参见上述实施例中步骤S3的相关描述。
特征变换矩阵计算模块4,用于根据各匹配特征点对计算当前图像与匹配图像之间的特征变换矩阵。特征变换矩阵计算模块4的详细功能参见上述实施例中步骤S4的相关描述。
光心投影点生成模块5,用于根据特征变换矩阵得到匹配图像的光心点投影至当前图像的光心投影点。光心投影点生成模块5的详细功能参见上述实施例中步骤S5的相关描述。
降落指令调整模块6,用于根据光心投影点的坐标控制飞行器降落至预设起降点。降落指令调整模块6的详细功能参见上述实施例中步骤S6的相关描述。
通过上述各个组成部分的协同合作,本发明实施例提供的飞行器降落装置,通过将飞行器在降落过程中采集的预设起降点的当前图像与飞行器起飞阶段采集的匹配图像进行特征匹配,得到各匹配特征点对计算当前图像与匹配图像的特征变换矩阵,通过该特征变换矩阵得到匹配图像的光心点在当前图像上的光心投影点,并根据该光心投影点的坐标控制飞行器降落至预设起降点。从而实现了一种飞行器降落指令的调整方法,指引飞行器降落至起降点,从而提高了飞行器的降落精确度,仅通过对采集图像的成功匹配即可对降落指令做出调整,避免了对降落点的实时跟踪,降低了飞行器精准降落的难度。
具体地,在一实施例中,上述的匹配图像获取模块2具体用于在起飞阶段,每隔预设飞行高度,获取所述飞行器采集的所述预设起降点的匹配图像和所述飞行器的位姿信息。图像获取模块2的详细功能参见上述实施例中步骤S2的相关描述。
具体地,在一实施例中,当所述飞行器的当前飞行高度大于预设高度时,所述匹配图像获取模块2还用于停止采集匹配图像和所述飞行器的位姿信息。图像获取模块2的详细功能参见上述实施例中步骤S2的相关描述。
具体地,在一实施例中,所述降落指令调整模块6包括:二维像素坐标获取子模块,用于获取所述匹配图像的光心点投影至所述当前图像的光心投影点的二维像素坐标。二维像素坐标获取子模块的详细功能参见上述实施例中步骤S61的相关描述。
计算子模块,用于根据所述二维像素坐标,计算所述光心投影点在世界坐标系下的三维坐标。计算子模块的详细功能参见上述实施例中步骤S62的相关描述。
控制子模块,用于根据所述三维坐标,控制所述飞行器降落至所述预设起降点。控制子模块的详细功能参见上述实施例中步骤S63的相关描述。
具体地,在一实施例中,所述计算子模块包括:信息获取单元,用于获取所述飞行器在拍摄所述匹配图像时,所述飞行器的位姿及对地高度。信息获取单元的详细功能参见上述实施例中步骤S621的相关描述。
补偿偏航角计算单元,用于根据所述各匹配特征点对,计算所述飞行器在拍摄所述当前图像时的补偿偏航角。补偿偏航角计算单元的详细功能参见上述实施例中步骤S622的相关描述。
补偿对地高度计算单元,用于根据所述特征变换矩阵、所述位姿及所述对地高度,计算所述当前图像的补偿对地高度。补偿对地高度计算单元的详细功能参见上述实施例中步骤S623的相关描述。
三维坐标更新单元,用于根据所述补偿偏航角、所述补偿对地高度,对所述光心投影点的所述三维坐标进行更新,得到所述三维坐标。三维坐标更新单元的详细功能参见上述实施例中步骤S624的相关描述。
具体地,在一实施例中,所述补偿偏航角计算单元包括:描述子生成子单元,用于根据所述匹配特征点对,得到所述当前图像的第一描述子及所述匹配图像的第二描述子。描述子生成子单元的详细功能参见上述实施例中步骤S6221的相关描述。
偏差角计算子单元,用于计算所述第一描述子的主方向与所述第二描述子主方向的偏差角。偏差角计算子单元的详细功能参见上述实施例中步骤S6222的相关描述。
补偿偏航角计算子单元,用于计算各所述匹配特征点对的偏差角的偏差角均值,并将所述偏差角均值确定为所述补偿偏航角。补偿偏航角计算子单元的详细功能参见上述实施例中步骤S6223的相关描述。
具体地,在一实施例中,所述补偿对地高度计算单元包括:分解子单元,用于分解所述特征变换矩阵得到所述当前图像相对于所述匹配图像的相对位姿。分解子单元的详细功能参见上述实施例中步骤S6231的相关描述。
补偿对地高度生成子单元,用于根据所述位姿、所述对地高度及所述相对位姿,得到所述当前图像的补偿对地高度。补偿对地高度生成子单元的详细功能参见上述实施例中步骤S6232的相关描述。
具体地,在一实施例中,所述飞行器降落装置还包括:投影匹配特征点生成模块,用于根据所述特征变换矩阵得到所述匹配图像的各第二匹配特征点在所述当前图像上的对应的各投影匹配特征点。投影匹配特征点生成模块的详细功能参见上述实施例中步骤S7的相关描述。
判断模块,用于分别计算所述各投影匹配特征点与对应的所述第一匹配特征点之间的距离误差,并判断所述距离误差的平均值是否小于预设距离阈值;当所述距离误差的平均值小于所述预设距离阈值时,返回所述光心投影点生成模块。判断模块的详细功能参见上述实施例中步骤S8的相关描述。
具体地,在一实施例中,所述特征变换矩阵为单应矩阵。
具体地,在一实施例中,所述飞行器降落装置还包括:转换矩阵替换模块,当所述距离误差的平均值不小于所述预设距离阈值时,所述转换矩阵替换模块用于将所述特征变换矩阵由所述单应矩阵替换为基础矩阵,返回所述投影匹配特征点生成模块。转换矩阵替换模块的详细功能参见上述实施例中步骤S9的相关描述。
具体地,在一实施例中,当所述特征变换矩阵由所述单应矩阵替换为基础矩阵后,所述飞行器降落装置还包括:第二判断模块,用于分别计算投影匹配特征点与对应的第一匹配特征点之间的距离误差,并判断距离误差的平均值是否小于预设距离阈值,当判断所述距离误差的平均值不小于预设距离阈值时,返回所述当前图像获取模块1。第二判断模块的详细功能参见上述实施例中步骤S10的相关描述。
通过上述各个组成部分的协同合作,本发明实施例提供的飞行器降落装置,通过将飞行器在降落过程中采集的预设起降点的当前图像与飞行器起飞阶段采集的匹配图像进行特征匹配,得到各匹配特征点对计算当前图像与匹配图像的特征变换矩阵,通过该特征变换矩阵得到匹配图像的光心点在当前图像上的光心投影点,并根据该光心投影点的坐标控制飞行器降落至预设起降点。从而实现了一种飞行器降落指令的调整方法,指引飞行器降落至起降点,从而提高了飞行器的降落精确度,仅通过对采集图像的成功匹配即可对降落指令做出调整,避免了对降落点的实时跟踪,降低了飞行器精准降落的难度。
本发明实施例提供一种非暂态计算机存储介质,该计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的飞行器降落方法,其中,上述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;该存储介质还可以包括上述种类的存储器的组合。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成的,程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。
本发明实施例提供一种计算机设备,其结构示意图如图7所示,该计算机设备包括:一个或多个处理器410以及存储器420,图7中以一个处理器410为例。
上述的计算机设备还可以包括:输入装置430和输出装置440。
处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接,图7中以通过总线连接为例。
处理器410可以为中央处理器(Central Processing Unit,CPU)。处理器410还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器420作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的飞行器降落方法对应的程序指令/模块,处理器410通过运行存储在存储器420中的非暂态软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的飞行器降落方法。
存储器420可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据飞行器降落方法的处理装置的使用所创建的数据等。此外,存储器420可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器420可选包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至飞行器降落装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可接收输入的数字或字符信息,以及产生与飞行器降落操作的处理装置有关的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
一个或者多个模块存储在存储器420中,当被一个或者多个处理器410执行时,执行如图1-图5所示的方法。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本发明实施例中详尽描述的技术细节,具体可参见如图1-图5所示的实施例中的相关描述。
本发明实施例还提供了一种飞行器,其结构示意图如图8所示,该飞行器包括:飞行器本体101、图像采集设备102及飞行控制器103,其中,所述图像采集设备102与所述飞行控制器103设置于所述飞行器本体101上;所述图像采集设备102用于采集所述飞行器在降落过程中的预设起降点的当前图像,并采集所述飞行器在起飞阶段采集的所述预设起降点的匹配图像和所述飞行器采集所述匹配图像时所述飞行器的位姿信息,并将所述当前图像、匹配图像及位姿信息发送至所述飞行控制器103;所述飞行控制器103用于接收所述当前图像、匹配图像及位姿信息,并采用如上述实施例中的飞行器降落方法控制所述飞行器降落至所述预设起降点。飞行控制器103控制飞行器降落的详细内容参见上述实施例中关于飞行器降落方法的相关描述,在此不再进行赘述。
通过上述各个组成部分的协同合作,本发明实施例提供的飞行器,通过在飞行器上设置图像采集设备及飞行控制器,实现了对飞行器降落的精准控制,指引飞行器降落至起降点,从而提高了飞行器的降落精确度,仅通过对采集图像的成功匹配即可对降落指令做出调整,避免了对降落点的实时跟踪,降低了飞行器精准降落的难度。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (23)
1.一种飞行器降落方法,其特征在于,包括:
获取所述飞行器在降落过程中采集的预设起降点的当前图像;
获取所述飞行器在起飞阶段采集的所述预设起降点的匹配图像和所述飞行器采集所述匹配图像时所述飞行器的位姿信息;
对所述当前图像和所述匹配图像进行特征匹配,得到各匹配特征点对;
根据所述各匹配特征点对,计算所述当前图像与所述匹配图像之间的特征变换矩阵;
根据所述特征变换矩阵,得到所述匹配图像的光心点投影至所述当前图像的光心投影点;
根据所述光心投影点的坐标,控制所述飞行器降落至所述预设起降点;
所述匹配特征点对包括:第一匹配特征点和第二匹配特征点,所述第一匹配特征点位于所述当前图像上,所述第二匹配特征点位于所述匹配图像上,在所述根据所述各匹配特征点对,计算所述当前图像与所述匹配图像之间的特征变换矩阵之后,在根据所述特征变换矩阵得到所述匹配图像的光心点投影至所述当前图像的光心投影点之前,所述飞行器降落方法还包括:
根据所述特征变换矩阵得到所述匹配图像的各第二匹配特征点在所述当前图像上的对应的各投影匹配特征点;
分别计算所述各投影匹配特征点与对应的所述第一匹配特征点之间的距离误差,并判断所述距离误差的平均值是否小于预设距离阈值;
当所述距离误差的平均值小于所述预设距离阈值时,执行根据所述特征变换矩阵得到所述匹配图像的光心点投影至所述当前图像的光心投影点的步骤。
2.根据权利要求1所述的飞行器降落方法,其特征在于,所述获取所述飞行器在起飞阶段采集的所述预设起降点的匹配图像和所述飞行器的位姿信息,包括:
在起飞阶段,每隔预设飞行高度,获取所述飞行器采集的所述预设起降点的匹配图像和所述飞行器的位姿信息。
3.根据权利要求1所述的飞行器降落方法,其特征在于,该方法还包括:
当所述飞行器的当前飞行高度大于预设高度时,停止采集匹配图像和所述飞行器的位姿信息。
4.根据权利要求1-3中任一项所述的飞行器降落方法,其特征在于,所述根据所述光心投影点的坐标,控制所述飞行器降落至所述预设起降点,包括:
获取所述匹配图像的光心点投影至所述当前图像的光心投影点的二维像素坐标;
根据所述二维像素坐标,计算所述光心投影点在世界坐标系下的三维坐标;
根据所述三维坐标,控制所述飞行器降落至所述预设起降点。
5.根据权利要求4所述的飞行器降落方法,其特征在于,所述根据所述二维像素坐标,计算所述光心投影点在世界坐标系下的三维坐标,包括:
获取所述飞行器在拍摄所述匹配图像时,所述飞行器的位姿及对地高度;
根据所述各匹配特征点对,计算所述飞行器在拍摄所述当前图像时的补偿偏航角;
根据所述特征变换矩阵、所述位姿及所述对地高度,计算所述当前图像的补偿对地高度;
根据所述补偿偏航角、所述补偿对地高度,对所述光心投影点的所述三维坐标进行更新,得到所述三维坐标。
6.根据权利要求5所述的飞行器降落方法,其特征在于,所述根据各所述匹配特征点对,计算所述当前图像的补偿偏航角,包括:
根据所述匹配特征点对,得到所述当前图像的第一描述子及所述匹配图像的第二描述子;
计算所述第一描述子的主方向与所述第二描述子主方向的偏差角;
计算各所述匹配特征点对的偏差角的偏差角均值,并将所述偏差角均值确定为所述补偿偏航角。
7.根据权利要求5所述的飞行器降落方法,其特征在于,所述根据所述特征变换矩阵、所述位姿及所述对地高度计算所述当前图像的补偿对地高度,包括:
分解所述特征变换矩阵得到所述当前图像相对于所述匹配图像的相对位姿;
根据所述位姿、所述对地高度及所述相对位姿,得到所述当前图像的补偿对地高度。
8.根据权利要求7所述的飞行器降落方法,其特征在于,所述特征变换矩阵为单应矩阵。
9.根据权利要求8所述的飞行器降落方法,其特征在于,还包括:当所述距离误差的平均值不小于所述预设距离阈值时,将所述特征变换矩阵由所述单应矩阵替换为基础矩阵,并重新执行所述根据所述特征变换矩阵得到所述匹配图像的各第二匹配特征点在所述当前图像上的对应的各投影匹配特征点的步骤。
10.根据权利要求9所述的飞行器降落方法,其特征在于,当所述特征变换矩阵由所述单应矩阵替换为基础矩阵后,并且判断所述距离误差的平均值不小于预设距离阈值时,执行获取所述飞行器在降落过程中采集的预设起降点的当前图像的步骤。
11.一种飞行器降落装置,其特征在于,包括:
当前图像获取模块,用于获取所述飞行器在降落过程中采集的预设起降点的当前图像;
匹配图像获取模块,用于获取所述飞行器在起飞阶段采集的所述预设起降点的匹配图像和所述飞行器采集所述匹配图像时所述飞行器的位姿信息;
匹配特征点对生成模块,用于对所述当前图像和所述匹配图像进行特征匹配,得到各匹配特征点对;
特征变换矩阵计算模块,用于根据所述各匹配特征点对计算所述当前图像与所述匹配图像之间的特征变换矩阵;
光心投影点生成模块,用于根据所述特征变换矩阵得到所述匹配图像的光心点投影至所述当前图像的光心投影点;
降落指令调整模块,用于根据所述光心投影点的坐标控制所述飞行器降落至所述预设起降点;
所述匹配特征点对包括:第一匹配特征点和第二匹配特征点,所述第一匹配特征点位于所述当前图像上,所述第二匹配特征点位于所述匹配图像上,所述飞行器降落装置还包括:
投影匹配特征点生成模块,用于根据所述特征变换矩阵得到所述匹配图像的各第二匹配特征点在所述当前图像上的对应的各投影匹配特征点;
判断模块,用于分别计算所述各投影匹配特征点与对应的所述第一匹配特征点之间的距离误差,并判断所述距离误差的平均值是否小于预设距离阈值,当所述距离误差的平均值小于所述预设距离阈值时,返回所述光心投影点生成模块。
12.根据权利要求11所述的飞行器降落装置,其特征在于,所述匹配图像获取模块具体用于在起飞阶段,每隔预设飞行高度,获取所述飞行器采集的所述预设起降点的匹配图像和所述飞行器的位姿信息。
13.根据权利要求11所述的飞行器降落装置,其特征在于,当所述飞行器的当前飞行高度大于预设高度时,所述匹配图像获取模块还用于停止采集匹配图像和所述飞行器的位姿信息。
14.根据权利要求11-13中任一项所述的飞行器降落装置,其特征在于,所述降落指令调整模块包括:
二维像素坐标获取子模块,用于获取所述匹配图像的光心点投影至所述当前图像的光心投影点的二维像素坐标;
计算子模块,用于根据所述二维像素坐标,计算所述光心投影点在世界坐标系下的三维坐标;
控制子模块,用于根据所述三维坐标,控制所述飞行器降落至所述预设起降点。
15.根据权利要求14所述的飞行器降落装置,其特征在于,所述计算子模块包括:
信息获取单元,用于获取所述飞行器在拍摄所述匹配图像时,所述飞行器的位姿及对地高度;
补偿偏航角计算单元,用于根据所述各匹配特征点对,计算所述飞行器在拍摄所述当前图像时的补偿偏航角;
补偿对地高度计算单元,用于根据所述特征变换矩阵、所述位姿及所述对地高度,计算所述当前图像的补偿对地高度;
三维坐标更新单元,用于根据所述补偿偏航角、所述补偿对地高度,对所述光心投影点的所述三维坐标进行更新,得到所述三维坐标。
16.根据权利要求15所述的飞行器降落装置,其特征在于,所述补偿偏航角计算单元包括:
描述子生成子单元,用于根据所述匹配特征点对,得到所述当前图像的第一描述子及所述匹配图像的第二描述子;
偏差角计算子单元,用于计算所述第一描述子的主方向与所述第二描述子主方向的偏差角;
补偿偏航角计算子单元,用于计算各所述匹配特征点对的偏差角的偏差角均值,并将所述偏差角均值确定为所述补偿偏航角。
17.根据权利要求15所述的飞行器降落装置,其特征在于,所述补偿对地高度计算单元包括:
分解子单元,用于分解所述特征变换矩阵得到所述当前图像相对于所述匹配图像的相对位姿;
补偿对地高度生成子单元,用于根据所述位姿、所述对地高度及所述相对位姿,得到所述当前图像的补偿对地高度。
18.根据权利要求17所述的飞行器降落装置,其特征在于,所述特征变换矩阵为单应矩阵。
19.根据权利要求18所述的飞行器降落装置,其特征在于,所述飞行器降落装置还包括:转换矩阵替换模块,当所述距离误差的平均值不小于所述预设距离阈值时,所述转换矩阵替换模块用于将所述特征变换矩阵由所述单应矩阵替换为基础矩阵,返回所述投影匹配特征点生成模块。
20.根据权利要求19所述的飞行器降落装置,其特征在于,当所述特征变换矩阵由所述单应矩阵替换为基础矩阵后,所述飞行器降落装置还包括:
第二判断模块,用于分别计算投影匹配特征点与对应的第一匹配特征点之间的距离误差,并判断距离误差的平均值是否小于预设距离阈值,当判断所述距离误差的平均值不小于预设距离阈值时,返回所述当前图像获取模块。
21.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令被处理器执行时实现如权利要求1-10任一项所述的飞行器降落方法。
22.一种计算机设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-10任一项所述的飞行器降落方法。
23.一种飞行器,其特征在于,包括:飞行器本体、图像采集设备及飞行控制器,其中,
所述图像采集设备与所述飞行控制器设置于所述飞行器本体上;
所述图像采集设备用于采集所述飞行器在降落过程中的预设起降点的当前图像,并采集所述飞行器在起飞阶段采集的所述预设起降点的匹配图像和所述飞行器采集所述匹配图像时所述飞行器的位姿信息,并将所述当前图像、匹配图像及位姿信息发送至所述飞行控制器;
所述飞行控制器用于接收所述当前图像、匹配图像及位姿信息,并采用如权利要求1-10任一项所述的飞行器降落方法控制所述飞行器降落至所述预设起降点。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910318700.8A CN110001980B (zh) | 2019-04-19 | 2019-04-19 | 一种飞行器降落方法及装置 |
PCT/CN2020/085082 WO2020211812A1 (zh) | 2019-04-19 | 2020-04-16 | 一种飞行器降落方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910318700.8A CN110001980B (zh) | 2019-04-19 | 2019-04-19 | 一种飞行器降落方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110001980A CN110001980A (zh) | 2019-07-12 |
CN110001980B true CN110001980B (zh) | 2021-11-26 |
Family
ID=67173144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910318700.8A Active CN110001980B (zh) | 2019-04-19 | 2019-04-19 | 一种飞行器降落方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110001980B (zh) |
WO (1) | WO2020211812A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110001980B (zh) * | 2019-04-19 | 2021-11-26 | 深圳市道通智能航空技术股份有限公司 | 一种飞行器降落方法及装置 |
CN110968107A (zh) * | 2019-10-25 | 2020-04-07 | 深圳市道通智能航空技术有限公司 | 一种降落控制方法、飞行器及存储介质 |
CN112070814B (zh) * | 2020-08-31 | 2024-04-02 | 杭州迅蚁网络科技有限公司 | 一种靶标角度识别方法、装置 |
CN112859888B (zh) * | 2021-01-18 | 2023-09-12 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 辅助垂直起降机着陆方法、装置、计算机设备及存储介质 |
CN113093772B (zh) * | 2021-04-13 | 2022-10-28 | 中国计量大学 | 一种无人机机库精确降落方法 |
CN113377118A (zh) * | 2021-07-14 | 2021-09-10 | 中国计量大学 | 一种基于视觉的无人机机库多阶段精确降落方法 |
CN113608542B (zh) * | 2021-08-12 | 2024-04-12 | 山东信通电子股份有限公司 | 一种无人机自动降落的控制方法以及设备 |
CN113821047A (zh) * | 2021-08-18 | 2021-12-21 | 杭州电子科技大学 | 一种基于单目视觉的无人机自主降落方法 |
CN114200954B (zh) * | 2021-10-28 | 2023-05-23 | 佛山中科云图智能科技有限公司 | 基于Apriltag的无人机降落方法、装置、介质和电子设备 |
CN114296477A (zh) * | 2021-12-17 | 2022-04-08 | 南京航空航天大学 | 一种面向空地协同作战的无人机动平台自主降落方法 |
CN114489140A (zh) * | 2022-02-16 | 2022-05-13 | 中国电子科技集团公司第五十四研究所 | 一种无标识环境下的无人机精准自主起降方法 |
CN114355984A (zh) * | 2022-03-18 | 2022-04-15 | 北京卓翼智能科技有限公司 | 系留无人机的控制方法、控制装置、控制器及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3629911A1 (de) * | 1986-09-03 | 1988-03-10 | Precitronic | Landeanflughilfe fuer flugzeuge |
CN102435188B (zh) * | 2011-09-15 | 2013-10-02 | 南京航空航天大学 | 一种用于室内环境的单目视觉/惯性全自主导航方法 |
CN102722697B (zh) * | 2012-05-16 | 2015-06-03 | 北京理工大学 | 一种无人飞行器视觉自主导引着陆的目标跟踪方法 |
CN104076817A (zh) * | 2014-06-18 | 2014-10-01 | 北京计算机技术及应用研究所 | 一种高清视频航拍多模传感器自外感知智能导航系统及其方法 |
CN104932522B (zh) * | 2015-05-27 | 2018-04-17 | 深圳市大疆创新科技有限公司 | 一种飞行器的自主降落方法和系统 |
CN106127201B (zh) * | 2016-06-21 | 2019-02-15 | 西安因诺航空科技有限公司 | 一种基于视觉定位降落末端的无人机降落方法 |
JP2018021491A (ja) * | 2016-08-02 | 2018-02-08 | 株式会社日立製作所 | システム及び飛行ルート生成方法 |
CN106542105B (zh) * | 2016-09-05 | 2019-12-10 | 珠海市磐石电子科技有限公司 | 飞行器移动降落方法和系统 |
CN107014380B (zh) * | 2017-05-26 | 2020-01-07 | 西安科技大学 | 基于飞行器的视觉导航与惯性导航的组合导航方法 |
CN108983807B (zh) * | 2017-06-05 | 2021-08-10 | 北京臻迪科技股份有限公司 | 一种无人机定点降落方法及系统 |
CN109307510A (zh) * | 2017-07-28 | 2019-02-05 | 广州极飞科技有限公司 | 飞行导航方法、装置和无人飞行器 |
CN109292099B (zh) * | 2018-08-10 | 2020-09-25 | 顺丰科技有限公司 | 一种无人机着陆判断方法、装置、设备及存储介质 |
CN109085851A (zh) * | 2018-09-12 | 2018-12-25 | 哈尔滨工业大学(威海) | 无人机定点降落方法 |
CN110001980B (zh) * | 2019-04-19 | 2021-11-26 | 深圳市道通智能航空技术股份有限公司 | 一种飞行器降落方法及装置 |
-
2019
- 2019-04-19 CN CN201910318700.8A patent/CN110001980B/zh active Active
-
2020
- 2020-04-16 WO PCT/CN2020/085082 patent/WO2020211812A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN110001980A (zh) | 2019-07-12 |
WO2020211812A1 (zh) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110001980B (zh) | 一种飞行器降落方法及装置 | |
US11073389B2 (en) | Hover control | |
US10928838B2 (en) | Method and device of determining position of target, tracking device and tracking system | |
CN109596118B (zh) | 一种用于获取目标对象的空间位置信息的方法与设备 | |
US20210141378A1 (en) | Imaging method and device, and unmanned aerial vehicle | |
CN106529495B (zh) | 一种飞行器的障碍物检测方法和装置 | |
WO2018099198A1 (zh) | 无人机姿态控制方法、装置及无人机 | |
WO2021078264A1 (zh) | 一种降落控制方法、飞行器及存储介质 | |
WO2018210078A1 (zh) | 无人机的距离测量方法以及无人机 | |
CN111829532B (zh) | 一种飞行器重定位系统和重定位方法 | |
WO2018120351A1 (zh) | 一种对无人机进行定位的方法及装置 | |
US20230384803A1 (en) | Autonomous orbiting method and device and uav | |
WO2019127306A1 (en) | Template-based image acquisition using a robot | |
JP2023505987A (ja) | 人間関節を用いた無人航空機上のカメラの校正 | |
WO2023036260A1 (zh) | 一种图像获取方法、装置、飞行器和存储介质 | |
CN117641107A (zh) | 拍摄控制方法和装置 | |
JP2022130588A (ja) | 自動運転車両の位置合わせ方法、装置、電子機器及び車両 | |
US20190302806A1 (en) | Image capturing system for shape measurement of structure, on-board controller | |
CN112292712A (zh) | 装置、摄像装置、移动体、方法以及程序 | |
KR20200076628A (ko) | 모바일 디바이스의 위치 측정 방법, 위치 측정 장치 및 전자 디바이스 | |
WO2020082349A1 (zh) | 高精度的无人机飞行轨迹测量系统、机器可读存储介质 | |
CN110168462B (zh) | 飞行器的控制方法和装置 | |
CN105988474A (zh) | 一种飞行器的偏差补偿方法和飞行器 | |
CN112859888B (zh) | 辅助垂直起降机着陆方法、装置、计算机设备及存储介质 | |
WO2021217312A1 (zh) | 目标定位方法、可移动平台、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 518055 Shenzhen, Guangdong, Nanshan District Xili street, No. 1001, Zhiyuan Road, B1 9. Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd. Address before: 518055 Shenzhen, Guangdong, Nanshan District Xili street, No. 1001, Zhiyuan Road, B1 9. Applicant before: AUTEL ROBOTICS Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |