CN115729250A - 一种无人机的飞行控制方法、装置、设备及存储介质 - Google Patents
一种无人机的飞行控制方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115729250A CN115729250A CN202111019049.8A CN202111019049A CN115729250A CN 115729250 A CN115729250 A CN 115729250A CN 202111019049 A CN202111019049 A CN 202111019049A CN 115729250 A CN115729250 A CN 115729250A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- determining
- flight
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 title claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 29
- 238000004422 calculation algorithm Methods 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 13
- 230000004888 barrier function Effects 0.000 description 10
- 230000008447 perception Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请实施例公开了一种无人机的飞行控制方法、装置、设备及存储介质；其中，所述方法包括：获取待处理图像；其中，所述待处理图像的画面内容包括前方飞行环境信息；基于时序上相邻的两帧待处理图像，确定满足预设条件的图像特征点对；在所述前方飞行环境中，确定与所述图像特征点对相关联的三维坐标信息；基于所述三维坐标信息，对与所述待处理图像对应的待调整地图进行调整，得到三维地图；基于所述三维地图，确定所述无人机的飞行轨迹。本申请实施例能够高效且精准地还原实际飞行环境信息，并构建具有高度信息的三维地形图，进而能够降低无人机飞行受实际飞行环境的影响。
Description
技术领域
本申请涉及信息技术领域，尤其涉及一种无人机的飞行控制方法、装置、设备及存储介质。
背景技术
无人机在未知环境中进行救援或数据收集时，需对未知环境进行识别；相关技术中，由于检测识别算法识别未知环境的精准度不高，进而易影响无人机的飞行任务。
发明内容
为解决上述技术问题，本申请实施例提供一种无人机的飞行控制方法、装置、设备及存储介质，通过与时序上相邻的两帧待处理图像中的图像特征点对关联的三维坐标信息，构建三维地图，能够高效且精准地还原实际飞行环境信息，并构建具有高度信息的三维地形图；同时基于三维地图确定飞行轨迹以实现避障飞行，能够降低无人机飞行受实际飞行环境的影响。
为达到上述目的，本申请的技术方案是这样实现的：
本申请实施例提供一种无人机的飞行控制方法，所述方法包括：
获取待处理图像；其中，所述待处理图像的画面内容包括前方飞行环境信息；
基于时序上相邻的两帧待处理图像，确定满足预设条件的图像特征点对；
在所述前方飞行环境中，确定与所述图像特征点对相关联的三维坐标信息；
基于所述三维坐标信息，对与所述待处理图像对应的待调整地图进行调整，得到三维地图；
基于所述三维地图，确定所述无人机的飞行轨迹。
本申请实施例提供一种无人机的飞行控制装置，所述装置包括：
获取模块，用于获取待处理图像；其中，所述待处理图像的画面内容包括前方飞行环境信息；
第一确定模块，用于基于时序上相邻的两帧待处理图像，确定满足预设条件的图像特征点对；
第二确定模块，用于在所述前方飞行环境中，确定与所述图像特征点对相关联的三维坐标信息；
调整模块，用于基于所述三维坐标信息，对与所述待处理图像对应的待调整地图进行调整，得到三维地图；
第三确定模块，用于基于所述三维地图，确定所述无人机的飞行轨迹。
本申请实施例还提供一种电子设备，所述电子设备包括：处理器、存储器和通信总线；其中，所述通信总线用于实现所述处理器和所述存储器之间的通信连接；
所述处理器用于执行所述存储器中的程序，以实现如上述所述的无人机的飞行控制方法。
相应地，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述所述的无人机的飞行控制方法。
本申请实施例提供的无人机的飞行控制方法、装置、设备及存储介质，首先，获取待处理图像，该待处理图像的画面内容包括前方飞行环境信息；其次，基于时序上相邻的两帧待处理图像，确定满足预设条件的图像特征点对；并在前方飞行环境中，确定与图像特征点对相关联的三维坐标信息；最后，基于三维坐标信息，对与待处理图像对应的待调整地图进行调整，得到三维地图；基于三维地图，确定无人机的飞行轨迹。如此，通过与时序上相邻的两帧待处理图像中的图像特征点对关联的三维坐标信息，构建三维地图，能够高效且精准地还原实际飞行环境信息，并构建具有高度信息的三维地形图；同时基于三维地图确定飞行轨迹以实现避障飞行，能够降低无人机飞行受实际飞行环境的影响。
附图说明
图1为本申请实施例提供的一种无人机的飞行控制方法的流程示意图；
图2为本申请实施例提供的另一种无人机的飞行控制方法的流程示意图；
图3为本申请实施例提供的又一种无人机的飞行控制方法的流程示意图；
图4为本申请实施例提供的一种飞行过程中构建三维地图的流程示意图；
图5本申请实施例提供的一种表征图像特征点对之间对应的关系的示意图；
图6为本申请实施例提供的一种无人机的飞行控制装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
应理解，说明书通篇中提到的“本申请实施例”或“前述实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“本申请实施例中”或“在前述实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中应。在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在未做特殊说明的情况下，信息处理设备执行本申请实施例中的任一步骤，可以是信息处理设备的处理器执行该步骤。还值得注意的是，本申请实施例并不限定信息处理设备执行下述步骤的先后顺序。另外，不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是，本申请实施例中的任一步骤是信息处理设备可以独立执行的，即信息处理设备执行下述实施例中的任一步骤时，可以不依赖于其它步骤的执行。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)无人机避障：无人机正逐步代替人工完成各种特殊任务，如搜索、救援、消防和数据收集等。在完成此类任务时，无人机往往处在具有复杂地形的环境中，诸如建筑群、狭窄的室内、崎岖的山区和森林等，环境中的障碍物随时会对无人机构成碰撞威胁，使其难以完成任务。无人机必须通过其有限的传感器和存储空间尽可能地收集环境信息，以便及时探测空间中存在的障碍物，并且通过更新飞行路径避开原定路线中的障碍物。
2)计算机视觉(Computer Vision，CV)：CV是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的各类信息。传统的计算机视觉系统的主要目标是从图像中提取特征，包括边缘检测、角点检测以及图像分割等。根据输入图像的类型和质量，不同的算法执行的效果不同。
3)基于视觉的同步定位与地图构建(Visual Simultaneous Localization AndMapping，VSLAM)：无人机通过视觉传感器对周边环境进行图像采集，并对图像进行滤波和几何计算，完成自身位置确定和路径识别，进而帮助无人机控制系统做出导航决策。VSLAM最主要的特点是自主性和实时性，且无需依靠外界预计算，只需对储存系统和环境中的信息进行计算就可以在陌生环境中完成无人机实时追踪。
相关技术中，在视觉障碍物感知领域中，无人机或车辆通过使用机载设备感知前方环境中的障碍物，获得相对距离和自身角度位姿等信息，并通过对这些信息进行处理来实时更新动态的环境信息。无人机根据动态环境信息和自身飞行状态自主制定避障路线。最后，飞行控制系统调整无人机飞行速度和方向，实现避障。
同时现有无人机障碍物识别通常采用以下两种方式来实现：
第一种，以无人机操作员人工识别为主，通过无人机实时传回的画面，操作员手动操作无人机完成对空间中障碍物的躲避飞行。这对于无人机操作员的技术要求提出了较高要求，可能因为误操作发生事故，并且当需要多无人机同时工作时会出现人手不足等问题。
第二种，通过算法使无人机自主进行障碍物识别与避障；通常会将现实空间中的障碍物映射到二维虚拟地图中实现无人机对障碍物的感知，这样会导致原本具有高度信息的各种障碍物的点云就都被压缩到了二维空间，障碍物原本的形状也无法感知，如果是外形不规则的障碍物就会导致建模误差。虽然这种方法对躲避空间中一些体积比较小的障碍物是可行的。但是，一些大面积的障碍物，比如：森林、山脉、大楼等。如果只是控制无人机进行二维水平面的避障，一定会增加为了避障而行进距离，对于很多电池储备能力有限的小型无人机来说这显然是不利的。
基于以上问题，本申请实施例提供一种无人机的飞行控制方法，应用于电子设备，参照图1所示，该方法包括以下步骤：
步骤101、获取待处理图像。
其中，待处理图像的画面内容包括前方飞行环境信息。
在本申请实施例中，电子设备可以是任一具有数据处理能力的设备；其中，电子设备可以是设置于无人机内部的数据处理设备，也可以是能够与无人机进行信息交互的电子设备，还可以是管理无人机的云处理器等。
其中，电子设备可以是接收设置在无人机上的图像和/或视频采集模块发送的待处理图像；相应地，在本申请实施例中，无人机上设置有图像和/或视频采集模块，该图像和/或视频采集模块可以是：单目摄像头或双目摄像头。
需要说明的是，前方飞行环境信息指代无人机在飞行过程中所处的前方环境信息。在本申请实施例中，无人机可以是在山区、森林、建筑群或室内等环境中执行飞行任务。
在本申请实施例中，待处理图像的数量可以是一个，也可以是两个及以上；待处理图像的图片格式可以是位图(Bitmap，BMP)格式、联合图像专家组(Joint PhotographicExperts Group，JEPG)格式以及便携式网络图形(Portable Network Graphics，PNG)格式等。
步骤102、基于时序上相邻的两帧待处理图像，确定满足预设条件的图像特征点对。
在本申请实施例中，电子设备基于时序上相邻的两帧待处理图像，确定满足预设条件的图像特征点对；其中，时序上相邻指代两帧待处理图像各自被采集的时间相邻，也可以指代两帧待处理图像各自被电子设备获取的时间相邻。
其中，预设条件可以是事先设定好的，比如，可以指代图像特征点对中两个图像特征点之间的相关属性信息相似，还可以指代图像特征点对中两个图像特征点之间的预设距离小于或等于预设阈值，还可以指代图像特征点对两个图像特征点在各自待处理图像中所处的位置信息相同等。
在一种可行的实现方式中，电子设备首先从时序上相邻的两帧待处理图像中，提取每一待处理图像上的至少一个图像特征点；其次，选取任一图像特征点作为第一图像特征点，同时计算与第一图像特征点不在同一待处理图像的其他图像特征点之间的汉明距离，在该汉明距离小于或等于预设距离的情况下，将第一图像特征点与对应的其他图像特征点，确定为一对图像特征点对。
需要说明的是，在本申请实施例中，电子设备可以基于图像特征点对在对应的待处理图像中的位置信息，来描述该图像特征点对，也可以基于图像特征点对所描述的特征信息，来描述该图像特征点对。
在本申请实施例中，图像特征点对中的两个图像特征点为设置在无人机内部的图像采集设备在前方飞行环境中对同一空间点，基于相邻时间点进行采集得到的。也就是说，图像特征点对中每一图像特征点映射至前方飞行环境中的空间点相同。
其中，特征点对的数量在本申请实施例中可以是一个，两个及以上。
步骤103、在前方飞行环境中，确定与图像特征点对相关联的三维坐标信息。
在本申请实施例中，电子设备在前方飞行环境中，确定与图像特征点对相关联的三维坐标信息；其中，该三维坐标信息是前方飞行环境中与图像特征点对具有映射关系的空间点的坐标信息。
其中，该三维坐标信息可以指代与图像特征点对具有映射关系的空间点在世界坐标系下的三维坐标参数。
在一种可行的实现方式中，电子设备基于图像特征点对中每一图像特征点在对应的待处理图像中的坐标位置，该坐标位置可以是电子设备以无人机中的图像采集设备为参考物建立的相机坐标系，得到对应的坐标位置信息，进而基于该两个坐标位置，基于几何算法确定与图像特征点对相关联的三维坐标信息。
步骤104、基于三维坐标信息，对与待处理图像对应的待调整地图进行调整，得到三维地图。
在本申请实施例中，电子设备基于确定的三维坐标信息，对与待处理图像对应的待调整地图进行调整或修正，以得到具有高度信息的三维地图；其中，该三维地图可以是与前方飞行环境对应的虚拟三维立体图像。
在本申请实施例中，与待处理图像对应的待调整地图可以是二维地形图，还可以是三维地形图。
在一种可行的实现方式中，与待处理图像对应的待调整地图为二维平面地图，电子设备可以将确定的三维坐标信息，与该二维平面地图中二维坐标信息进行融合，构建具有高度信息的三维地图。
在另一种可行的实现方式中，与待处理图像对应的待调整地图为三维立体图，电子设备可以基于确定的三维坐标信息，对该三维立体坐标信息进行调整或修正，得到更新后的三维地图。
需要说明的是，与待处理图像对应的待调整地图可以是电子设备在获取到每一帧待处理图像的情况下，生成与每一帧待处理图像对应的二维平面地图；也可以是电子设备基于获取到多帧待处理图像，并基于相关算法确定与多帧待处理图像对应的预设三维立体图像。
步骤105、基于三维地图，确定无人机的飞行轨迹。
在本申请实施例中，电子设备基于得到的三维地图，确定无人机的飞行轨迹；其中，飞行轨迹可以是指代在前方飞行环境中的实际避障路径。
在一种可行的实现方式中，电子设备基于三维地图，获取前方飞行环境中存在的障碍物信息，进而确定无人机在飞行过程中需对障碍物进行避障所执行的飞行轨迹，即无人机的飞行轨迹。
需要说明的是，在本申请实施例中，依次通过采集的待处理图像，确定图像特征点对、在前方飞行环境中与图像特征点对相关联的三维坐标信息以及三维地图；如此，能够更加准确地还原出前方飞行环境中的障碍物状态，进而能够给出更加精准的具有高度信息的三维地图，进而能够使得电子设备基于确定的三维地图给出更加精准地无人机的避障路径，即尽可能保证无人机飞行轨迹不受前方飞行环境中障碍物的影响。
本申请实施例提供的无人机的飞行控制方法，首先，获取待处理图像，该待处理图像的画面内容包括前方飞行环境信息；其次，基于时序上相邻的两帧待处理图像，确定满足预设条件的图像特征点对；并在前方飞行环境中，确定与图像特征点对相关联的三维坐标信息；最后，基于三维坐标信息，对与待处理图像对应的待调整地图进行调整，得到三维地图；基于三维地图，确定无人机的飞行轨迹。如此，通过与时序上相邻的两帧待处理图像中的图像特征点对关联的三维坐标信息，构建三维地图，能够高效且精准地还原实际飞行环境信息，并构建具有高度信息的三维地形图；同时基于三维地图确定飞行轨迹以实现避障飞行，能够降低无人机飞行受实际飞行环境的影响。
基于前述实施例，本申请实施例还提供一种无人机的飞行控制方法，应用于电子设备，参照图1和图2所示，该方法包括以下步骤：
步骤201、采集前方飞行环境信息中的预设图像。
在本申请实施例中，电子设备采集前方飞行环境信息中的预设图像，即电子设备采集画面内容包括前方飞行环境信息的预设图像；其中，预设图像，可以是设置于无人机上且至少包括图像采集模块的电子设备，对无人机在飞行过程中的前方飞行环境信息进行采集得到的。
其中，预设图像可以是电子设备在无人机处于飞行过程中直接采集得到的图像，且没有经过任何数据处理的图像；相应地，预设图像的数量以及采集频率在本申请实施例中不作任何限定。
步骤202、对预设图像的图像对比度进行调整，得到待处理图像。
在本申请实施例中，电子设备对预设图像的图像对比度进行调整，得到待处理图像；其中，对比度调整可以是对预设图像的像素值进行修正或优化，也可以是将预设图像的图像对比度增强，在本申请以下其他实施例中，图像对比度进行调整均指代增强图像对比度。
其中，电子设备可以直接将预设图像的图像对比度进行增强，也可以通过间接方法将预设图像的图像对比度进行增强；其中，可以基于直方图拉伸和/或直方图均衡化将图像对比度进行增强，其具体实现过程在本申请实施例中不作详细说明。
需要说明的是，在本申请实施例中，通过将采集得到的预设图像的图像对比度进行增强，得到待处理图像；如此，能够使得待处理图像中的特征信息更加凸显，关键点的像素值的强度梯度增大，进而能够使得后期对待处理图像进行特征提取时可以提取到更加显著的图像特征点。
相应地，电子设备基于时序上相邻的两帧待处理图像，确定满足预设条件的图像特征点对，即电子设备执行上述实施例提供的步骤102，可以通过以下步骤203至步骤205的方式来实现：
步骤203、确定时序上相邻的两帧待处理图像中每帧待处理图像的至少一个图像特征点。
在本申请实施例中，电子设备确定时序上相邻的两帧待处理图像中每帧待处理图像的至少一个图像特征点；其中，不同待处理图像的图像特征点对应的数量、参数信息可以相同，也可以不同。
在一种可行的实现方式中，电子设备确定时序上相邻的两帧待处理图像中每帧待处理图像的至少一个图像特征点，即电子设备执行上述步骤203，可以通过以下步骤203a和步骤203b的方式来实现：
步骤203a、按照图像分辨率梯度，对每帧待处理图像进行图像下采样，生成每帧待处理图像对应的图像金字塔。
在本申请实施例中，电子设备按照图像分辨率梯度，对时序上相邻的两帧待处理图像中每帧待处理图像进行图像下采样，得到每帧待处理图像对应图像金字塔。
其中，图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构；一幅图像的图像金字塔是一系列以金字塔形状(自下而上)逐步降低，且来源于同一张原始图的图像分辨率集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。其中，将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。
步骤203b、对每帧待处理图像对应的图像金字塔中每一层级的图像进行特征提取，得到每帧待处理图像的至少一个图像特征点。
在本申请实施例中，电子设备执行特征提取操作，即对时序上连续的两帧待处理图像中每帧待处理图像对应的图像金字塔中每一层级的图像，进行特征提取，得到每帧待处理图像的至少一个图像特征点。其中，电子设备可以采用相关神经网络，对每一层级的图像进行特征提取；也可以基于目标检测算法，对每一层级的图像进行特征提取。
在一种可行的实现过程中，电子设备可以基于快速特征点提取和描述算法(Oriented FAST and Rotated BRIEF，ORB)，从每一待处理图像对应的图像金字塔中每一层级的图像进行特征提取。
其中，电子设备将待处理图像的图像金字塔中每一层级的图像对应的图像特征点进行融合，组合得到每一待处理图像的图像特征点集合。
需要说明的是，在本申请实施例中，电子设备对每帧待处理图像的图像金字塔中每一层级的图像进行特征提取，得到每帧待处理图像的图像特征点；如此，对采集到的实时图像进行图像增强预处理并进行多层下采样，再对采样的每层图像进行特征点提取，能够提高特征点提取的数量与质量，对于一些复杂的飞行环境具有较强的鲁棒性，能够提高特殊环境下提升无人机对障碍物的识别能力的技术效果。
步骤204、确定至少一个图像特征点对应的二进制参数。
在本申请实施例中，电子设备可以采用ORB对得到的每一待处理图像的至少一个图像特征点进行描述，即采用二进制数值对图像特征点进行描述。
步骤205、在时序上相邻的两帧待处理图像中每帧待处理图像的图像特征点中，基于至少一个图像特征点对应的二进制参数，确定图像特征点对。
在本申请实施例中，电子设备在时序上相邻的两帧待处理图像中每帧待处理图像的图像特征点中，基于每一图像特征点对应的二进制参数，对图像特征点进行特征匹配，以得到图像特征点对。
需要说明的是，通过对每帧待处理图像进行特征提取，得到对应的图像特征点，同时基于图像特征点对应的二进制参数，对处于不同且时序上连续的待处理图像中的图像特征点进行特征匹配，得到图像特征点对；如此，能够高效且精准地确定图像特征点对，进而能够提高无人机在飞行过程中对前方飞行环境实时感知的准确度。
在一种可行的实现方式中，电子设备在时序上相邻的两帧待处理图像中每帧待处理图像的至少一个图像特征点中，基于至少一个图像特征点对应的二进制参数，确定图像特征点对，即电子设备执行步骤205，可以通过以下步骤205a和步骤205b的方式来实现：
步骤205a、基于图像特征点对应的二进制参数，确定位于时序上相邻的两帧待处理图像中的两个图像特征点之间的汉明距离。
在本申请实施例中，电子设备计算分别处于时序上连续的两帧待处理图像中，不同待处理图像中的两个图像特征点对应的二进制参数之间的汉明距离。
其中，汉明距离是使用在数据传输差错控制编码里面的，汉明距离是一个概念，它表示两个(相同长度)字对应位不同的数量，我们以d(x，y)表示两个字x和y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。
步骤205b、在汉明距离小于预设阈值的情况下，将两个图像特征点，确定为图像特征点对。
在本申请实施例中，在汉明距离小于预设阈值的情况下，电子设备则认为对应的两个图像特征点近似相似，即为匹配特征点对，进而将该两个图像特征点组成图像特征点对。
其中，在时序上连续的两帧待处理图像中，存在的图像特征点对的数量可以是一个，两个及以上，本申请实施例对此不作任何限定。
需要说明的是，在本申请实施例中，通过计算处于不同的且处于时序上连续的两帧待处理图像中的两个图像特征点之间的汉明距离，确定两个图像特征点之间的匹配关系；如此，能够高效且精准地确定图像特征点对。
本申请实施例提供的无人机的飞行控制方法，通过对图像进行预处理、基于图像金字塔提取图像特征点以及基于特征匹配确定图像特征点对，能够高效且精准地给出图像特征点对；同时与时序上相邻的两帧待处理图像中的图像特征点对关联的三维坐标信息，构建三维地图，能够高效且精准地还原实际飞行环境信息，并构建具有高度信息的三维地形图；同时基于三维地图确定飞行轨迹以实现避障飞行，能够降低无人机飞行受实际飞行环境的影响。
基于前述实施例，本申请实施例还提供一种无人机的飞行控制方法，应用于电子设备，参照图1和图3所示，该方法包括以下步骤：
步骤301、获取图像特征点对中每一图像特征点在对应的待处理图像中的二维坐标信息。
在本申请实施例中，电子设备获取图像特征点对中每一图像特征点在对应的待处理图像中的二维坐标信息；其中，该二维坐标信息可以是基于无人机上的图像采集设置为参考物建立的相机坐标系中对应的坐标参数。
其中，图像特征点对中每一图像特征点在对应的待处理图像中的二维坐标信息之间可以完全相同，也可以不同；相应地，在本申请实施例中，电子设备在一个图像特征点对中，将图像特征点A在第一待处理图像中的第一坐标记为(x1，y1)，图像特征点B在第二待处理图像中的第二坐标记为(x2，y2)；其中，第一待处理图像和第二待处理图像在时序上相邻，其时序上的前后在本申请实施例中不作任何限定。
步骤302、基于二维坐标信息，确定图像特征点对中两个图像特征点之间的空间位置关系。
在本申请实施例中，电子设备基于第一图像特征点的第一坐标，以及第二图像特征点的第二坐标，同时根据时序上相邻的两帧待处理图像，即第一待处理图像与第二待处理图像之间的对极几何关系，计算表征两个图像特征点之间的空间位置关系的本质矩阵或基础矩阵。
在一种可行的实现方式中，电子设备可以基于设置于无人机上的图像采集模块的采集参数，以及二维坐标信息，共同确定图像特征点对中两个图像特征点之间的空间位置关系。
步骤303、基于空间位置关系以及二维坐标信息，在前方飞行环境中确定三维坐标信息。
在本申请实施例中，电子设备基于该空间位置关系，即基于表征两个图像特征点之间的空间位置关系的本质矩阵或基础矩阵，以及二维坐标信息，确定相关三维坐标信息。
需要说明的是，在本申请实施例中，通过图像特征点对中每一图像特征点对应的二维坐标信息，确定对应的空间位置关系，进而确定对应的三维坐标信息；如此，能够高效且精准地确定实际飞行环境中的三维坐标点，进而能够使得电子设备后期基于该三维坐标信息构建更加精准地具有高度信息的地形图。
在一种可行的实现方式中，电子设备基于空间位置关系以及二维坐标信息，在前方飞行环境中确定三维坐标信息，即电子设备执行步骤303，可以通过以下步骤303a和步骤303b的方式来实现：
步骤303a、对空间位置关系进行解析，得到表征飞行变化参数的旋转矩阵参数和平移矩阵参数。
在本申请实施例中，电子设备对空间位置关系进行解析，可以是对表征空间位置关系的本质矩阵参数或基础矩阵参数进行拆解，得到表征飞行变化参数的旋转矩阵参数和平移矩阵参数。
步骤303b、基于旋转矩阵参数、平移矩阵参数以及二维坐标信息，在前方飞行环境中确定三维坐标信息。
在本申请实施例中，电子设备基于旋转矩阵参数、平移矩阵参数以及二维坐标信息，根据几何运算，在前方飞行环境中确定与图像特征点对相关联的空间点的三维坐标信息。
其中，该几何运算可以是利用第一图像特征点和/或第二图像特征点映射至前方飞行环境中的点之间构成的射线，与相机坐标系下的空间射线重合的关系，确定前方飞行环境中，与图像特征点对相关联的空间点的三维坐标参数。
需要说明的是，在本申请实施例中，电子设备基于相关几何运算，以及图像特征点对的二维坐标信息，在前方飞行环境中与该图像特征点对相关联的空间点的三维坐标信息；如此，能够高效且精准地确定具有高度信息的空间点坐标参数，进而能够使得电子设备后期基于该坐标参数构建三维地形图。
在一种可行的实现方式中，电子设备基于三维坐标信息，对于待处理图像对应的待调整地图进行调整，得到三维地图之前，即电子设备执行步骤104之前，电子设备还可以执行以下步骤304至步骤306：
步骤304、获取无人机飞行的初始位置信息以及初始飞行姿态参数。
在本申请实施例中，电子设备获取并确定无人机在飞行过程中的初始位置信息以及初始飞行姿态参数；其中，初始位置参数可以是在世界坐标下的三维坐标参数来表示；同时初始飞行姿态参数可以是无人机飞行原点对应的角度差等。
步骤305、确定初始位置信息与三维坐标信息之间的距离。
在本申请实施例中，电子设备计算并确定三维坐标信息与初始位置信息之间的距离差。
需要说明的是，在本申请实施例中，每一图像特征点对在前方飞行环境中对应一个空间点以及该空间点的三维坐标信息，其中，不同的三维坐标信息与初始位置信息之间的距离不同。该距离可以是x轴、y轴以及z轴中任一方向上的距离差。
步骤306、基于距离、初始位置信息以及初始飞行姿态参数，构建与三维坐标信息匹配的具有预设维度的坐标向量参数。
在本申请实施例中，电子设备可以将距离求倒数，并将距离的倒数、初始位置信息以及初始飞行姿态参数进行融合，以生成与三维坐标信息匹配的具有预设维度的坐标向量参数；其中，该预设维度可以是六维。
需要说明的是，在本申请实施例中，电子设备可以采用逆深度参数化对提取的三维坐标信息进行快速深度收敛，以提高计算效率。
相应地，电子设备基于三维坐标信息，对于待处理图像对应的待调整地图进行调整，得到三维地图，可以通过以下步骤307来实现：
步骤307、基于坐标向量参数，对待调整地图中的待调整坐标进行调整，得到三维地图。
在本申请实施例中，电子设备基于提取的坐标向量参数，即前方飞行环境中的实际空间点的坐标信息，对待调整地图中的待调整坐标信息进行调整，得到三维地图；其中，该待调整坐标可以是二维坐标，也可以是三维坐标。
需要说明的是，在本申请实施例中，通过采用逆深度参数化方案对特征点与无人机姿态数据进行处理，能够提高扩展卡尔曼滤波对特征点深度计算时的收敛速度，以及计算效率，进而使得小型无人机在高速运动时也能快速更新障碍物深度信息的效果；同时，逆深度参数化能够使得算法可以处理远距离的特征，包括一些远到在无人机移动期间视差很小的特征点运动，从而能够增强障碍物感知效率。
在一种可行的实现方式中，电子设备基于坐标向量参数，对待调整地图中的待调整坐标进行调整，得到三维地图，即电子设备执行步骤307，可以通过以下步骤307a至步骤307c的方式来实现：
步骤307a、基于坐标向量参数，构建更新后的协方差矩阵。
在本申请实施例中，电子设备基于坐标向量参数，确定用于修正矩阵参数，即构建更新协方差矩阵；其中，可以采用扩展卡尔曼滤波更新协方差矩阵。
步骤307b、基于更新后的协方差矩阵，对待调整地图的待调整坐标进行调整，得到修正后的三维坐标信息。
在本申请实施例中，电子设备基于更新协方差矩阵，对待调整地图中与三维坐标参数相关联的坐标参数进行修正，以得到修正后的三维坐标信息；其中，调整可以是将待调整地图中的坐标的高度信息进行增加或减少，还是填充该高度信息。
步骤307c、基于修正后的三维坐标信息，构建三维地图。
在本申请实施例中，电子设备基于修正后的三维坐标信息，构建生成与前方飞行环境信息向匹配的三维地图。
需要说明的是，在本申请实施例中，电子设备基于对与待处理图像相关联的待调整地图进行优化，得到具有高度信息的三维立体地图；如此，能够更加准确地还原出障碍物状态，尽可能保证无人机飞行轨迹不受影响。
本申请实施例提供的无人机的飞行控制方法，基于与时序上相邻的两帧待处理图像中的图像特征点对，通过几何运算在前方飞行环境中确定与图像特征点对关联的空间点的三维坐标信息，进而基于该三维坐标信息来优化初期的地图；如此，能够高效且精准地还原实际飞行环境信息，并构建具有高度信息的三维地形图；同时基于三维地图确定飞行轨迹以实现避障飞行，能够降低无人机飞行受实际飞行环境的影响。
基于前述实施例，在本申请实施例提供的无人机的飞行控制的方法中，电子设备基于三维地图，确定无人机的飞行轨迹，可以通过以下步骤A1和步骤A2的方式来实现：
步骤A1、基于三维地图，确定规避路线。
在本申请实施例中，电子设备基于确定的三维地图，提前感知前方飞行环境中的障碍物信息，进而确定出对障碍物进行绕行的规避路线。
步骤A2、基于规避路线，确定无人机的飞行轨迹。
在本申请实施例中，电子设备基于规避路线，确定无人机的飞行轨迹。
需要说明的是，在本申请实施例中，电子设备基于三维地图，获知前方飞行环境中的障碍物，进而确定出对应的规避路线，以执行相关飞行任务；如此，能够降低无人机飞行受实际环境的影响。
基于此，如图4所示，为本申请实施例提供的一种飞行过程中构建三维地图的流程示意图；可通过以下步骤来实现：
步骤一、无人机执行飞行任务，即开始操作，对应图4中的401。
步骤二、采集实时图像，即对应图4中的402；其中，可以是使用单目摄像头采集实时图像。
步骤三、对采集的实时图像进行增强处理以突出图像中的特征信息，即对应图4中的403；因相关技术中的无人机避障算法都是在理想的环境下采集实时图像并进行障碍物识别与空间感知，但是在实际应用中的无人机应用场景下，环境中往往存在很多视觉干扰，比如：弱光照、自然阴影以及雾霾等，此类干扰可能对机器视觉产生较大的影响，直接导致对空间环境进行特征提取时出现误差或特征提取不足，进而需针对一些特殊环境下图像特征信息模糊的问题进行优化。
本申请实施例中，首先对采集的实时图像进行非线性移位并重新分配图像中的像素值，确保实时图像在一定灰度范围内的所有像素值的数目大致相等。其次，再增加图像中像素值处于中间峰值部分的对比度，降低两侧山谷部分的对比度，输出图像对应的平坦分段直方图。如此，经过对实时采集的图像进行直方图均衡化后，实时图像中的特征信息能够得到凸显，关键像素的强度梯度增大，之后对实时图像进行特征提取时就可以提取到更加显著的特征点。
步骤四、按梯度对图像进行下采样，构建图像金字塔，并从图像金字塔的每一层提取ORB特征点，以及进行图像帧间的特征点匹配，即对应图4中的404、特征点提取以及特征点匹配。
其中，对图像帧(即采集的实时图像进行增强处理之后的图像，即对应本申请实施例中的待处理图像)进行特征提取时，若提取到的特征点数量不足或者不能从障碍物区域提取到正确的特征点，在进行空间地图点构建的时候就可能出现误差，进而影响无人机避障算法的鲁棒性。同时若图像中的特征点分布足够均匀，对于视觉感知的整体效率也是有帮助的。进而为了提高特征提取的质量，本申请实施例可以基于图像分辨率对待处理图像进行下采样，构成8层图像金字塔，并在图像金字塔各层级上提取ORB特征点；然后统计图像网格化每格内特征点个数，如果特征点数量不够，就调整角点计算阈值直到能够从网格中提取到至少5个特征点；其中，每个网格提取5个特征点是可以获得较好的特征描述效果。
在本申请实施例中可以使用ORB特征算法作为图像帧的特征提取和描述算法。首先，使用FAST角点来检测图像中具有强度差异的特征点，然后使用特征描述子(BRIEF)算法来计算特征点的描述符。其中，对于待处理图像中的某一像素点p，以3个像素点为半径在其附近找到16个像素点；同时对这个圆周上的像素点的灰度值与像素点p的灰度值做差，如果存在n个连续像素与像素点p灰度差值的绝对值大于一个阈值t，那么这个像素点p就可以被选为候选角点做进一步筛选。若最终计算结果表明在圆周上有10个及以上的像素点满足条件，则该点便可以被认为是一个FAST角点。其次，在提取到FAST角点之后，ORB算法通过使用改进后的BRIEF算法对特征点进行描述。首先对图像使用高斯滤波处理以去除噪声并采用积分图像来进行平滑处理；再以图像特征点为中心取尺寸为S×S(事先设定好的)的窗口，从窗口内随机选取两个像素点x和y作为点对，比较其像素值大小，并进行二进制赋值。
需要说明的是，ORB算法最明显的特点是计算速度快，且具有较好的尺度与旋转不变性，这主要归功于FAST角点检测算法极高的速度，并且BRIEF算法独特的二进制字符串表示方式不仅节省了存储空间，也在很大程度上缩短了匹配时间。ORB特征算法的使用为整个避障算法节省了大量的计算空间。且对于无人机这类高速运动的物体，ORB算法相比于其他特征点算法具有更高的鲁棒性，能够持续提取到稳定的特征。图像中所有特征点将用于后续帧的特征匹配。
此外，图像间特征匹配可以保证无人机在飞行过程中实现对周边环境进行实时的持续感知，如果飞行路径中出现未知障碍物也可以及时发现并准确定位障碍物位置。即完成特征点提取后，图像中的特征点被通过二进制字符串的方式进行描述。此时可根据经过描述的特征信息完成图像帧间的特征匹配。该部分的主要思路是遍历前一幅图像帧中所有的地图点，将其全部投影到当前帧，然后在当前帧中找到一个描述子距离最相近的特征点作为其匹配点。
对于获取的两幅连续图像帧，在经过特征点提取和特征点描述之后，假设生成了两幅图像中的某两个图像特征点，即特征描述子A、B，然后使用计算它们之间的汉明距离D(A，B)＝A⊕B，来判断它们是否是匹配的点。通过计算得出的D值越小，说明这两个图像特征点的相似度越高。如果D小于设定好的阈值，就说明这一对图像特征点能够完成匹配，即构成图像特征点对。
步骤五、通过几何计算还原实际空间中相关特征点的深度信息，即对应图4中的405、计算特征点深度。
若从时序上相邻的两帧图像帧中获得足够多匹配的图像特征点对，进而可通过这些图像特征点对之间对应关系，计算出无人机的单目摄像头采集两幅图像帧之间的运动变化。该运动变化可以使用旋转矩阵R和平移矩阵t表示。如图5所示，为本申请实施例提供的一种表征图像特征点对之间对应的关系的示意图。
其中，对于时序上相邻的两帧图像帧I1和I2，p1和p2分别位于图像帧I1和图像帧I2中，且p1和p2是一对特征点对；同时是p1和p2空间中的点P在图像帧I1和图像帧I2的投影。
点P与相机光心O1、O2构成的平面称为极平面。O1、O2分别与I1、I2的交点e1、e2称为极点。对于图像帧I1，P点可能存在于
上的任意位置，也就是I2中对应的
中，通过特征匹配在图像帧I2中找到了p2的准确位置就能确定点P在空间点的坐标。而对于p1和p2则满足对极约束，如公式(1)所示：
其中K为相机内参。其还可以转换为公式(2)和公式(3)；
E＝tΛR 公式(2)；
F＝K-TEK-1 公式(3)；
其中，E为本质矩阵，R为基础矩阵，同时对极约束可以简化为公式(4)：
进而，相机的运动位姿变化问题就可以转化为：通过配对的特征点的像素坐标，计算出矩阵E或F；或通过求得的E或F，求出旋转矩阵R和平移矩阵t。
此外，利用图像中的二维坐标点射线与相机坐标系下的空间点射线重合的关系，确定空间中的点P的三维坐标，计算公式如(5)所示：
x·(RX+t)＝0 公式(5)；
其中，x表示p1和p2，X表示在世界坐标系下的空间点P的三维坐标。
步骤六、对特征点深度信息进行逆深度参数化，并使用扩展卡尔曼滤波对空间点云进行优化，即对应图4中的406、优化深度信息。
其中，本申请实施例可采用逆深度参数化结合扩展卡尔曼滤波来优化相机位姿数据，即优化空间点P的三维坐标信息。因小型无人机在快速狭小空间中飞行时，对障碍物感知算法的计算效率有较高的要求；本申请实施例中可使用储存在数据库中的位姿数据，通过计算对已有无人机位姿与三维空间点坐标进行持续优化修正的过程。
其中，基于视觉的感知方法使用扩展卡尔曼滤波来优化图像中特征点在环境空间中的坐标以尽可能减少飞行过程中累积的误差。为了保证能快速准确地生成空间中障碍物的地形信息，本申请实施例中采用逆深度参数化方法对提取的特征点进行快速深度收敛；因逆深度参数化的使用使得收敛速度快于笛卡尔参数化，其中，逆深度的不确定度比标准深度更接近高斯分布。
在参数化的过程中，储存在数据库中的特征点均由六维向量表示，这个向量由特征点P相对于一个锚点的笛卡尔坐标：[xa,ya,za]T、方位角ψ、仰角θ以及特征点P到锚点的距离的倒数ρ共同定义，其中锚点为数据库初始化时无人机的空间位置。特征点P可以表示为：y＝[xa,ya,za,ψ,θ,ρ]T。
同时，无人机的状态向量可采用四元数进行表示：x＝[p,v,e,sb,wb]T，其中p是无人机在空间坐标系下的位置，v是速度，e是四元数误差，sb与ωb分别是无人机飞行过程中的加速度与陀螺仪偏差。因此，在计算模型中，空间中三维点与无人机的距离可以表示为无人机状态和特征状态的归一化向量，即如公式(6)所示：
其中，R是从空间坐标系到摄像机坐标的旋转矩阵。该公式允许估计器在无限深度下处理特征，在这种情况下ρ＝0。因此，对于无人机执行工作任务的一些宽阔室外空间，经过逆深度参数化过后，算法也可以处理一些远距离的图像特征点，这些点在无人机运动过程中往往只存在较小位移，所以视差很小，以往的特征点深度计算方法处理此类特征点是比较困难的。该专利方法也很好的解决了这个问题。同时在定义逆深度参数后，系统按照图像序列执行建图算法。其中每个特征点被视为独立的测量数据，并且忽略测量值和真实值之间的相关性。在每个时间戳，查看特征点数据库的子集，即对应图4中的407，并将其于用特征状态更新，过程中使用扩展卡尔曼滤波更新协方差矩阵。由此可以计算出数据库中有效特征点的深度信息。
步骤七、根据空间中特征点深度信息建立具有高度信息的地形图，即对应图4中的408；其中，利用空间中收敛点的三维坐标，可以生成由高度表示的地形网格，具体位置的高度信息由数据库中的点坐标进行更新，当接收到新的收敛点时，网格中位置的高度被升高或降低。
步骤八、无人机根据构建的三维地形图进行避障飞行。
通过滤波器生成的网格地形图可以被用于进行无人机避障。避障算法通过考虑无人机在水平的速度矢量方向上的地形图的网格高度判断下一步操作。首先将无人机到指定网格的高度与指定网格的最小高度进行比较。如果这个最小高度将阻碍无人机原有轨迹，则无人机自行执行平滑拉起机动。以类似的方式，该算法还可以使无人机在通过障碍物后迅速返回到所需的高度。
基于此，本申请实施例提出一种基于单目摄像头的无人机在飞行过程中障碍物感知的方法，能够感知障碍物高度信息，保证无人机可以从障碍物上空避障。能够缩短无人机避障距离，使其对障碍物的感知能力进一步提升。此外，本申请通过设计多尺度下特征提取方法，从不同分辨率下的图层中提取ORB特征，保证图像中特征点的均匀分布，进而得到更好的障碍物感知效果。对于一些复杂的无人机工作环境(如：暗光照环境、阴影环境、弱纹理环境等)普通视觉环境感知方法还可能出现误识别、高误差或中断等问题，本申请实施例通过提出图像预处理步骤尽可能地提升障碍感知方法的鲁棒性。此外基于逆深度参数化结合扩展卡尔曼滤波对图像中特征点进行深度信息计算的方法，能够提高深度信息的快速收敛，并且对于空间中远距离的点也能更好地还原其深度。
基于前述实施例，本申请实施例还提供一种无人机的飞行控制装置6，该无人机的飞行控制装置6可以应用于图1至图3对应的实施例提供的一种无人机的飞行控制方法中，参照图6所示，该无人机的飞行控制装置6包括：获取模块61、第一确定模块62、第二确定模块63、调整模块64以及第三确定模块65，其中：
获取模块61，用于获取待处理图像；其中，所述待处理图像的画面内容包括前方飞行环境信息；
第一确定模块62，用于基于时序上相邻的两帧待处理图像，确定满足预设条件的图像特征点对；
第二确定模块63，用于在所述前方飞行环境中，确定与所述图像特征点对相关联的三维坐标信息；
调整模块64，用于基于所述三维坐标信息，对与所述待处理图像对应的待调整地图进行调整，得到三维地图；
第三确定模块65，用于基于所述三维地图，确定所述无人机的飞行轨迹。
在本申请其他实施例中，获取模块61，还用于所述前方飞行环境信息中的预设图像；对所述预设图像的图像对比度进行调整，得到所述待处理图像。
在本申请其他实施例中，第一确定模块62，还用于确定所述时序上相邻的两帧待处理图像中每帧待处理图像的至少一个图像特征点；确定所述至少一个图像特征点对应的二进制参数；在所述时序上相邻的两帧待处理图像中每帧待处理图像的至少一个图像特征点中，基于所述至少一个图像特征点对应的二进制参数，确定所述图像特征点对。
在本申请其他实施例中，第一确定模块62，还用于按照图像分辨率梯度，对所述每帧待处理图像进行图像下采样，生成所述每帧待处理图像对应的图像金字塔；对所述每帧待处理图像对应的图像金字塔中每一层级的图像进行特征提取，得到所述每帧待处理图像的至少一个图像特征点。
在本申请其他实施例中，第一确定模块62，还用于基于所述图像特征点对应的二进制参数，确定位于所述时序上相邻的两帧待处理图像中的两个图像特征点之间的汉明距离；在所述汉明距离小于所述预设阈值的情况下，将所述两个图像特征点，确定为所述图像特征点对。
在本申请其他实施例中，第二确定模块63，还用于获取所述图像特征点对中每一图像特征点在对应的待处理图像中的二维坐标信息；基于所述二维坐标信息，确定所述图像特征点对中两个图像特征点之间的空间位置关系；基于所述空间位置关系以及所述二维坐标信息，在所述前方飞行环境中确定所述三维坐标信息。
在本申请其他实施例中，第二确定模块63，还用于对所述空间位置关系进行解析，得到表征所述飞行变化参数的旋转矩阵参数和平移矩阵参数；基于所述旋转矩阵参数、所述平移矩阵参数以及所述二维坐标信息，在所述前方飞行环境中确定所述三维坐标信息。
在本申请其他实施例中，无人机的飞行控制装置6，还包括：第四确定模块，用于获取所述无人机飞行的初始位置信息以及初始飞行姿态参数；确定所述初始位置信息与所述三维坐标信息之间的距离；基于所述距离、所述初始位置信息以及所述初始飞行姿态参数，构建与所述三维坐标信息匹配的具有预设维度的坐标向量参数；调整模块64，还用于基于所述坐标向量参数，对所述待调整地图中的待调整坐标进行调整，得到所述三维地图。
在本申请其他实施例中，调整模块64，还用于基于所述坐标向量参数，构建更新后的协方差矩阵；基于所述更新后的所述协方差矩阵，对所述待调整地图的待调整坐标进行调整，得到修正后的三维坐标信息；基于所述修正后的三维坐标信息，构建所述三维地图。
在本申请其他实施例中，第三确定模块65，还用于基于所述三维地图，确定规避路线；基于所述规避路线，确定所述无人机的飞行轨迹。
需要说明的是，本实施例中各个模块所执行的步骤的具体实现过程，可以参照图1至3对应的实施例提供的无人机的飞行控制方法中的实现过程，此处不再赘述。
本申请实施例提供的无人机的飞行控制装置，基于与时序上相邻的两帧待处理图像中的图像特征点对，通过几何运算在前方飞行环境中确定与图像特征点对关联的空间点的三维坐标信息，进而基于该三维坐标信息来优化初期的地图；如此，能够高效且精准地还原实际飞行环境信息，并构建具有高度信息的三维地形图；同时基于三维地图确定飞行轨迹以实现避障飞行，能够降低无人机飞行受实际飞行环境的影响。
基于前述实施例，本申请实施例还提供一种电子设备7，该电子设备7可以应用于图1至3对应的实施例提供的一种无人机的飞行控制方法中，参照图7所示，该电子设备7包括：处理器71、存储器72和通信总线73，其中：
通信总线73用于实现处理器71和存储器72之间的通信连接。
处理器71用于执行存储器72中存储的无人机的飞行控制方法的程序，以实现参照图1至图3对应的实施例提供的无人机的飞行控制方法。
本申请实施例提供的电子设备，基于与时序上相邻的两帧待处理图像中的图像特征点对，通过几何运算在前方飞行环境中确定与图像特征点对关联的空间点的三维坐标信息，进而基于该三维坐标信息来优化初期的地图；如此，能够高效且精准地还原实际飞行环境信息，并构建具有高度信息的三维地形图；同时基于三维地图确定飞行轨迹以实现避障飞行，能够降低无人机飞行受实际飞行环境的影响。
基于前述实施例，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如图1至3对应的实施例提供的无人机的飞行控制方法。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ReadOnly Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (13)
1.一种无人机的飞行控制方法，其特征在于，所述方法包括：
获取待处理图像；其中，所述待处理图像的画面内容包括前方飞行环境信息；
基于时序上相邻的两帧待处理图像，确定满足预设条件的图像特征点对；
在所述前方飞行环境中，确定与所述图像特征点对相关联的三维坐标信息；
基于所述三维坐标信息，对与所述待处理图像对应的待调整地图进行调整，得到三维地图；
基于所述三维地图，确定所述无人机的飞行轨迹。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像，包括：
采集所述前方飞行环境信息中的预设图像；
对所述预设图像的图像对比度进行调整，得到所述待处理图像。
3.根据权利要求1所述的方法，其特征在于，所述基于时序上相邻的两帧待处理图像，确定满足预设条件的图像特征点对，包括：
确定所述时序上相邻的两帧待处理图像中每帧待处理图像的至少一个图像特征点；
确定所述至少一个图像特征点对应的二进制参数；
在所述时序上相邻的两帧待处理图像中每帧待处理图像的图像特征点中，基于所述至少一个图像特征点对应的二进制参数，确定所述图像特征点对。
4.根据权利要求3所述的方法，其特征在于，所述确定所述时序上相邻的两帧待处理图像中每帧待处理图像的至少一个图像特征点，包括：
按照图像分辨率梯度，对所述每帧待处理图像进行图像下采样，生成所述每帧待处理图像对应的图像金字塔；
对所述每帧待处理图像对应的图像金字塔中每一层级的图像进行特征提取，得到所述每帧待处理图像的至少一个图像特征点。
5.根据权利要求3所述的方法，其特征在于，所述从所述时序上相邻的两帧待处理图像中每帧待处理图像的图像特征点中，基于所述至少一个图像特征点对应的二进制参数，确定所述图像特征点对，包括：
基于所述图像特征点对应的二进制参数，确定位于所述时序上相邻的两帧待处理图像中的两个图像特征点之间的汉明距离；
在所述汉明距离小于所述预设阈值的情况下，将所述两个图像特征点，确定为所述图像特征点对。
6.根据权利要求1所述的方法，其特征在于，所述在所述前方飞行环境中，确定与所述图像特征点对相关联的三维坐标信息，包括：
获取所述图像特征点对中每一图像特征点在对应的待处理图像中的二维坐标信息；
基于所述二维坐标信息，确定所述图像特征点对中两个图像特征点之间的空间位置关系；
基于所述空间位置关系以及所述二维坐标信息，在所述前方飞行环境中确定所述三维坐标信息。
7.根据权利要求6所述的方法，其特征在于，所述基于所述空间位置关系以及所述二维坐标信息，在所述前方飞行环境中确定所述三维坐标信息，包括：
对所述空间位置关系进行解析，得到表征所述飞行变化参数的旋转矩阵参数和平移矩阵参数；
基于所述旋转矩阵参数、所述平移矩阵参数以及所述二维坐标信息，在所述前方飞行环境中确定所述三维坐标信息。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述基于所述三维坐标信息，对与所述待处理图像对应的待调整地图进行调整，得到三维地图之前，所述方法还包括：
获取所述无人机飞行的初始位置信息以及初始飞行姿态参数；
确定所述初始位置信息与所述三维坐标信息之间的距离；
基于所述距离、所述初始位置信息以及所述初始飞行姿态参数，构建与所述三维坐标信息匹配的具有预设维度的坐标向量参数；
所述基于所述三维坐标信息，对与所述待处理图像对应的待调整地图进行调整，得到三维地图，包括：
基于所述坐标向量参数，对所述待调整地图中的待调整坐标进行调整，得到所述三维地图。
9.根据权利要求8所述的方法，其特征在于，所述基于所述坐标向量参数，对所述待调整地图中的待调整坐标进行调整，得到所述三维地图，包括：
基于所述坐标向量参数，构建更新后的协方差矩阵；
基于更新后的所述协方差矩阵，对所述待调整地图的待调整坐标进行调整，得到修正后的三维坐标信息；
基于所述修正后的三维坐标信息，构建所述三维地图。
10.根据权利要求1所述的方法，其特征在于，所述基于所述三维地图，确定所述无人机的飞行轨迹，包括：
基于所述三维地图，确定规避路线；
基于所述规避路线，确定所述无人机的飞行轨迹。
11.一种无人机的飞行控制装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像；其中，所述待处理图像的画面内容包括前方飞行环境信息；
第一确定模块，用于基于时序上相邻的两帧待处理图像，确定满足预设条件的图像特征点对；
第二确定模块，用于在所述前方飞行环境中，确定与所述图像特征点对相关联的三维坐标信息；
调整模块，用于基于所述三维坐标信息，对与所述待处理图像对应的待调整地图进行调整，得到三维地图；
第三确定模块，用于基于所述三维地图，确定所述无人机的飞行轨迹。
12.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器和通信总线；其中，所述通信总线用于实现所述处理器和所述存储器之间的通信连接；
所述处理器用于执行所述存储器中的程序，以实现如权利要求1至10任一所述的无人机的飞行控制方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或多个程序，所述一个或多个程序可被一个或者多个处理器执行，以实现如权利要求1至10任一所述的无人机的飞行控制方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111019049.8A CN115729250A (zh) | 2021-09-01 | 2021-09-01 | 一种无人机的飞行控制方法、装置、设备及存储介质 |
| PCT/CN2022/113856 WO2023030062A1 (zh) | 2021-09-01 | 2022-08-22 | 一种无人机的飞行控制方法、装置、设备、介质及程序 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111019049.8A CN115729250A (zh) | 2021-09-01 | 2021-09-01 | 一种无人机的飞行控制方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115729250A true CN115729250A (zh) | 2023-03-03 |
Family
ID=85292015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111019049.8A Pending CN115729250A (zh) | 2021-09-01 | 2021-09-01 | 一种无人机的飞行控制方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115729250A (zh) |
| WO (1) | WO2023030062A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117058209B (zh) * | 2023-10-11 | 2024-01-23 | 山东欧龙电子科技有限公司 | 一种基于三维地图的飞行汽车视觉图像深度信息计算方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6658001B2 (ja) * | 2016-01-27 | 2020-03-04 | 株式会社リコー | 位置推定装置、プログラム、位置推定方法 |
| CN106501829A (zh) * | 2016-09-26 | 2017-03-15 | 北京百度网讯科技有限公司 | 一种无人机导航方法和装置 |
| CN107656545A (zh) * | 2017-09-12 | 2018-02-02 | 武汉大学 | 一种面向无人机野外搜救的自主避障与导航方法 |
| CN108917753B (zh) * | 2018-04-08 | 2022-02-15 | 中国人民解放军63920部队 | 基于从运动恢复结构的飞行器位置确定方法 |
| EP3825954A1 (en) * | 2018-07-18 | 2021-05-26 | SZ DJI Technology Co., Ltd. | Photographing method and device and unmanned aerial vehicle |
| CN109407705A (zh) * | 2018-12-14 | 2019-03-01 | 厦门理工学院 | 一种无人机躲避障碍物的方法、装置、设备和存储介质 |
| CN110047142A (zh) * | 2019-03-19 | 2019-07-23 | 中国科学院深圳先进技术研究院 | 无人机三维地图构建方法、装置、计算机设备及存储介质 |
| CN112434709B (zh) * | 2020-11-20 | 2024-04-12 | 西安视野慧图智能科技有限公司 | 基于无人机实时稠密三维点云和dsm的航测方法及系统 |
-
2021
- 2021-09-01 CN CN202111019049.8A patent/CN115729250A/zh active Pending
-
2022
- 2022-08-22 WO PCT/CN2022/113856 patent/WO2023030062A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023030062A1 (zh) | 2023-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112258618B (zh) | 基于先验激光点云与深度图融合的语义建图与定位方法 | |
| CN109166149B (zh) | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 | |
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| Kumar et al. | Monocular fisheye camera depth estimation using sparse lidar supervision | |
| US11237637B2 (en) | Gesture recognition systems | |
| CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
| CN106940704A (zh) | 一种基于栅格地图的定位方法及装置 | |
| CN106595659A (zh) | 城市复杂环境下多无人机视觉slam的地图融合方法 | |
| CN114424250A (zh) | 结构建模 | |
| CN113359782B (zh) | 一种融合lidar点云与图像数据的无人机自主选址降落方法 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN113568435B (zh) | 一种基于无人机自主飞行态势感知趋势的分析方法与系统 | |
| CN113689503B (zh) | 目标对象的姿态检测方法、装置、设备及存储介质 | |
| CN112818925A (zh) | 一种城市建筑和树冠识别方法 | |
| CN115406447B (zh) | 拒止环境下基于视觉惯性的四旋翼无人机自主定位方法 | |
| CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
| CN112102342B (zh) | 平面轮廓识别方法、装置、计算机设备和存储介质 | |
| Ouyang et al. | A cgans-based scene reconstruction model using lidar point cloud | |
| Alcantarilla et al. | Large-scale dense 3D reconstruction from stereo imagery | |
| CN113065397A (zh) | 行人检测方法及装置 | |
| CN114170290A (zh) | 图像的处理方法及相关设备 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| WO2023030062A1 (zh) | 一种无人机的飞行控制方法、装置、设备、介质及程序 | |
| Zhang et al. | A stereo SLAM system with dense mapping | |
| CN116879870A (zh) | 一种适用于低线束3d激光雷达的动态障碍物去除方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |