CN112639881A - 距离测量方法、可移动平台、设备和存储介质 - Google Patents
距离测量方法、可移动平台、设备和存储介质 Download PDFInfo
- Publication number
- CN112639881A CN112639881A CN202080004149.0A CN202080004149A CN112639881A CN 112639881 A CN112639881 A CN 112639881A CN 202080004149 A CN202080004149 A CN 202080004149A CN 112639881 A CN112639881 A CN 112639881A
- Authority
- CN
- China
- Prior art keywords
- image
- aerial vehicle
- unmanned aerial
- pixel points
- target area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000003860 storage Methods 0.000 title claims abstract description 18
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000691 measurement method Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 7
- 238000011065 in-situ storage Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 abstract description 21
- 238000003062 neural network model Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000001174 ascending effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 101150064138 MAP1 gene Proteins 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
公开了一种距离测量方法、可移动平台、设备和存储介质。该方法获取无人机上方空域的第一图像。对其进行语义识别后,即可得到影响无人机飞行的目标区域。再控制无人机向指定方向移动预设距离,以获取无人机上方空域的第二图像。然后,匹配目标区域在第一图像和第二图像中的像素点,以得到匹配像素点。最终,根据匹配像素点确定目标区域与无人机之间的距离,进一步地,还可以根据此距离控制无人机的飞行状态。通过图像识别进行距离测量,使用到的图像是无人机必备的摄像头拍得的,因此,对于未配置深度传感器的无人机也能够实现距离的测量。
Description
技术领域
本发明涉及图像识别技术领域,尤其涉及一种距离测量方法、可移动平台、设备和存储介质。
背景技术
无人机是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器。与载人飞机相比,它具有体积小、造价低等特点,目前已经广泛使用到众多领域中,比如街景拍摄、电力巡检、交通监视、灾后救援等等。
在无人机飞行的各个阶段,都需要躲避障碍物。特别是无人机的返航阶段,此阶段中无人机存在一个上升飞行的过程,因此,就需要对无人机与无人机上方影响其飞行的区域之间的距离进行检测,以确定此区域是否对无人机上升飞行产生影响,其中,此区域中通常包含障碍物。
现有技术中,距离的测量通常是利用无人机上配置的测距传感器比如激光雷达等来实现的。而当无人机未配置有测距传感器件时,则无法实现距离的测量,使无人机在返航过程中存在较大的损毁风险。
发明内容
本发明提供了一种距离测量方法、可移动平台、设备和存储介质,用于使未配置测距传感器的无人机实现距离测量,保证测量准确性。
本发明的第一方面是为了提供一种距离测量方法,所述方法包括:
获取所述无人机上方空域的第一图像;
在所述第一图像中,根据所述第一图像中像素点的语义类别确定影响所述无人机飞行的目标区域;
对飞行指令进行响应,以使所述无人机向指定方向移动预设距离,获得所述无人机上方空域的第二图像;
匹配所述目标区域在所述第一图像和所述第二图像中的像素点,以得到匹配像素点;
根据所述匹配像素点确定所述目标区域与所述无人机之间的距离。
本发明的第二方面是为了提供一种可移动平台,所述可移动平台包括:机体、动力系统以及控制装置;
所述动力系统,设置于所述机体上,用于为所述可移动平台提供动力;
所述控制装置包含存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于运行所述存储器中存储的计算机程序以实现:
获取所述无人机上方空域的第一图像;
在所述第一图像中,根据所述第一图像中像素点的语义类别确定影响所述无人机飞行的目标区域;
对飞行指令进行响应,以使所述无人机向指定方向移动预设距离,获得所述无人机上方空域的第二图像;
匹配所述目标区域在所述第一图像和所述第二图像中的像素点,以得到匹配像素点;
根据所述匹配像素点确定所述目标区域与所述无人机之间的距离。
本发明的第三方面是为了提供一种距离测量设备,所述设备包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取所述无人机上方空域的第一图像;
在所述第一图像中,根据所述第一图像中像素点的语义类别确定影响所述无人机飞行的目标区域;
对飞行指令进行响应,以使所述无人机向指定方向移动预设距离,获得所述无人机上方空域的第二图像;
匹配所述目标区域在所述第一图像和所述第二图像中的像素点,以得到匹配像素点;
根据所述匹配像素点确定所述目标区域与所述无人机之间的距离。
本发明的第四方面是为了提供一种计算机可读存储介质,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于第一方面所述的距离测量方法。
本发明提供的距离测量方法、可移动平台、设备和存储介质,先获取无人机上方空域的第一图像,再对第一图像进行语义识别,以在此第一图像中确定出影响无人机飞行的目标区域。然后,控制无人机向指定方向移动预设距离,以获取无人机上方空域的第二图像,即第一图像和第二图像拍摄于不同位置。然后,匹配目标区域在第一图像和第二图像中的像素点,以得到匹配像素点,根据此匹配像素点确定目标区域与无人机之间的距离。进一步地,还可以根据此距离控制无人机的飞行状态即返航还是原地悬停。
根据上述描述可知,与现有技术中利用深度传感器测距的方式相比,本发明提供了通过图像识别来实现距离测量的方法。由于摄像头是保证无人机正常执行任务不可缺少的器件,因此,使用本发明提供的测量方法在保证测量准确性的同时,也不会对无人机的体积和成本产生影响。并且使用本发明提供的测量方法,对于未配置深度传感器的无人机也能够实现距离测量。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例提供的一种距离测量方法的流程示意图;
图2为本发明实施例提供的无人机在其配置的云台处于不同状态下的结构示意图;
图3为本发明实施例提供的第二图像获取方式的流程示意图;
图4为本发明实施例提供的图像对应的环形视场的示意图;
图5为本发明实施例提供的第一图像获取方式的流程示意图;
图6为本发明实施例提供的无人机与目标区域之间距离测量方式的流程示意图;
图7为如图6所示本发明实施例提供的一种测量方式中各参量的位置关系;
图8为如图6所示本发明实施例提供的另一种测量方式中各参量的位置关系;
图9为本发明实施例提供的一种距离测量装置的结构示意图;
图10为本发明实施例提供的一种可移动平台的结构示意图;
图11为本发明实施例提供的一种距离测量设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
本发明提供的距离测量方法是要测量无人机上方影响无人机飞行的目标区域与无人机之间的距离,这种距离的测量在无人机的自动返航过程中显得尤为重要。
具体来说,当无人机完成飞行任务或者在飞行过程中遇到恶劣的自然环境比如突起的山峰,又或者与地面基站之间的通信连接断开时,为了保证无人机的安全,避免出现损毁事故,无人机往往需要开启自动返航。并且由于无人机的自动返航过程中存在一个上升飞行阶段,因此,确定无人机与目标区域之间的距离就成为判断无人机能否自动返航的重要条件。此时,便可以使用本发明各实施例提供的障碍物距离的测量方法实现测距。
下面结合附图,对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图1为本发明实施例提供的一种距离测量方法的流程示意图。该距离测量方法的执行主体是测量设备。可以理解的是,该测量设备可以实现为软件、或者软件和硬件的组合。测量设备执行该距离测量方法则可以实现对无人机与影响无人飞行的目标区域之间距离的测量。本实施例以及下述各实施例中的测量设备具体来说可以是可移动平台,比如无人机、无人车、无人船等等。以无人机作为执行主体为例对下述各实施例进行说明。
具体的,该方法可以包括:
S101,获取无人机上方空域的第一图像。
无人机在飞行过程中,自身配置的摄像头可以在无人机当前所处的位置拍得第一图像。可选地,无人机上配置的摄像头可以是单目摄像头。此摄像头可以放置于能够向上抬起的云台上。当云台处于抬起状态时,便能够拍得无人机上方空域的第一图像。云台的非抬起和抬起状态可以如图2所示。此时,第一图像对应的视角可以与单目摄像头的视角相同。
S102、在第一图像中,根据第一图像中像素点的语义类别确定影响无人机飞行的目标区域。
在获得第一图像后,无人机可以识别出第一图像中的各像素点所属的语义类别,也即是对第一图像进行像素级别的语义识别。可选地,此种语义识别可以借助一个神经网络模型来完成,具体地识别过程可以参见下述相关描述。可选地,上述的神经网络模型可以实现二分类,即区分出第一图像中的天空和障碍物;也可以实现多分类,即区分出第一图像中的天空、树木、建筑、其他等等。进而,根据每个像素点的语义类别在第一图像中确定影响无人机飞行的目标区域。若此目标区域中包含障碍物,则会影响无人机的正常上升飞行。
当神经网络模型能够实现二分类时,一种可选地方式,可以将用于描述天空的像素点确定为目标像素点,并由此目标像素点构成目标区域。
容易理解地,与天空相邻的障碍物所在的位置也会影响无人机的飞行,则另一种可选地方式,可以将第一图像中用于描述天空以及与天空相邻的障碍物的像素点确定为目标像素点,以由此目标像素点构成目标区域。
除此之外,在实际应用中,对于目标区域的选择还可以将无人机的飞行环境和/或无人机的体积大小考虑进来,则另一种可选地方式,可以先根据第一图像中各像素点所属的类别确定备选区域,其中,此备选区域可以由用于描述天空以及与天空最相邻的障碍物的像素点构成。然后,再根据无人机的体积和/或无人机当前所处的飞行环境内障碍物的分布情况,对备选区域的范围进行调整。举例来说,当无人机的体积较小或者所处飞行环境内的障碍物分布较为稀疏时,可以将备选区域缩小预设倍数,以得到目标区域;反之,则可以将备选区域扩大预设倍数,以得到目标区域。
S103,对飞行指令进行响应,以使无人机向指定方向移动预设距离,获得无人机上方空域的第二图像。
接着,无人机响应于飞行控制指令,可以从当前位置向指定方向飞行预设距离至另一位置,并在此另一位置处拍得无人机上方空域的第二图像。为了后续描述的清晰,可以将无人机所处的当前位置称为第一位置,第一图像在第一位置拍得;将另一位置称为第二位置,第二图像在第二位置拍得。
其中,可选地,上述的指定方向可以是向上,也即是在第一位置拍得第一图像后,无人机可以对接收到的上升飞行控制指令进行响应,以由第一位置上升飞行至第二位置,单目摄像头则可以在第二位置处拍得第二图像。在实际应用中,第一位置和第二位置通常差距较小,比如为几厘米。另外,上升飞行控制指令可以由无人机自主产生,也可以由飞手通过控制设备发送至无人机。
S104,匹配目标区域在第一图像和第二图像中的像素点,以得到匹配像素点。
在得到第二图像后,无人机可以将第一图像的目标区域中的像素点分别与第二图像中的像素点进行匹配,以得到匹配像素点,也即是得到至少一个匹配像素对。正如步骤103中描述的,由于第一位置和第二位置通常距离较小,因此,第一图像和第二图像中包含的物体通常也是相同的,只是位置会存在稍许差异。此时,对于任一匹配像素对中包含的两个像素点,二者描述的是同一物体。可选地,像素点是否匹配可以通过像素点之间的相似度来体现。
S105,根据匹配像素点确定目标区域与无人机之间的距离。
在得到匹配像素点后,可选地,可以预设建立的测距模型来实现测距,也可以采用三角测距原理来实现测距。测距的具体实现方式可以参见下述如图6~图8所示的实施例。
本实施例提供的距离测量方法,获取无人机上方空域的第一图像,对其进行语义识别后,即可得到影响无人机飞行的目标区域。再控制无人机向指定方向移动预设距离,以获取无人机上方空域的第二图像。然后,匹配目标区域在第一图像和第二图像中的像素点,以得到匹配像素点。最终,根据匹配像素点确定目标区域与无人机之间的距离,进一步地,还可以根据此距离控制无人机的飞行状态。可见,本发明提供的是一种通过图像识别方式实现障碍物距离测量的方法。由于进行识别的图像是无人机自身必备的摄像头拍得的,因此,对于无人机的体积和成本都不会产生影响。同时对于未配置深度传感器的无人机也能够使用这种方法实现距离的测量,保证测量的准确性。
对于图1所示实施例的步骤102,上述已经提及了使用神经网络模型对第一图像进行像素级别的语义识别,下面可以此对语义识别过程进行详细说明:
神经网络模型具体可以为卷积神经网络(Convolutional Neural Networks,CNN)模型。神经网络模型可以包括多个计算节点,每个计算节点中可以包括卷积(Conv)层、批量归一化(Batch Normalization,BN)以及激活函数ReLU,计算节点之间可以采用跳跃连接(Skip Connection)方式连接。
K×H×W的输入数据可以输入神经网络模型,经过神经网络模型处理后,可以获得C×H×W的输出数据。其中,K可以表示输入通道的个数,K可以等于4,分别对应红(R,red)、绿(G,green)、蓝(B,blue)和深度(D,deep)共四个通道;H可以表示输入图像(即第一图像)的高,W可以表示输入图像的宽,C可以表示类别数。
需要说明的是,当输入图像过大时,可以将一个输入图像切割为N个子图像,相应的,输入数据可以为N×K×H’×W’,输出数据可以为N×C×H’×W’,其中,H’可以表示子图像的高,W’可以表示子图像的宽。当然,在其他实施例中,也可以通过其他方式获得特征图,本申请对此不做限定。
利用上述预先训练好的神经网络模型处理环境图像,以得到特征图,具体来说可以包括如下步骤:
步骤1,将环境图像输入神经网络模型,得到神经网络模型的模型输出结果。
其中,神经网络模型的模型输出结果可以包括多个输出通道分别输出的置信度特征图,该多个输出通道可以与多个对象类别一一对应,单个对象类别的置信度特征图的像素值用于表征像素是对象类别的概率。
步骤2,根据神经网络模型的模型输出结果,得到包含语义信息的特征图。
可以将与该多个输出通道一一对应的多个置信度特征图中同一像素位置像素值最大的置信度特征图对应的对象类别,作为像素位置的对象类别,从而得到特征图。
假设,神经网络模型的输出通道的个数为4,每个通道的输出结果是一个置信度特征图,即4个置信度特征图分别为置信度特征图1至置信度特征图4,且置信度特征图1对应天空、置信度特征图2对应建筑物、置信度特征图3对应树木、置信度特征图4对应“其他”。在这几种分类中,除了天空,剩余都可以认为是障碍物。
例如,当置信度特征图1中像素位置(100,100)的像素值是70,置信度特征图2中像素位置(100,100)的像素值是50,置信度特征图3中像素位置(100,100)的像素值是20,置信度特征图4中像素位置(100,100)的像素值是20时,可以确定像素位置(100,100)是天空。
又例如,当置信度特征图1中像素位置(100,80)的像素值是20,置信度特征图2中像素位置(100,80)的像素值是30,置信度特征图3中像素位置(100,80)的像素值是20,置信度特征图4中像素位置(100,80)的像素值是70时,可以确定像素位置(100,80)是其他,即不是树木、建筑物和树木中的任意一种。
同时,对于如图1所示实施例步骤104,上述也已经提供了一种像素点的匹配方式,即先计算目标区域中各像素点与第二图像中各像素点之间的相似度,再根据相似度得到的至少一对匹配像素点。但由于目标区域和第二图像各自包含的像素点数量都是较多的,此时导致匹配过程中的计算量较大,这样会占用无人机较多的计算资源,同时也使得匹配效率不高。
因此,为了避免上述问题,可选地,无人机可以采用自身内预先配置的特征点检测算法来分别提取出目标区域以及第二图像中的特征像素点。其中,检测出的特征像素点通常是图像中的角点。可选地,上述特征点检测算具体可以是尺度不变特征变换(Scale-invariant feature transform,简称SIFT)算法、快速鲁棒特征(Speeded-Up RobustFeatures,简称SURF)算法或者二进制鲁棒独立特征(Binary Robust IndependentElementary Features,简称BRIEF)算法等等。在实际应用中,根据上述算法得到特征像素点的同时,也可以得到用于描述该特征像素点属性的描述子,此描述子具体可以表现为向量形式。
接着,无人机可以对目标区域和第二图像中的特征像素点进行匹配处理,以得到至少一个匹配像素对。对于任一匹配像素对,其中的两个特征像素点描述的也是同一物体。
可选地,特征像素点是否匹配同样可以通过特征像素点之间的相似度来体现。像素点之间的相似度具体来说又可以是特征像素点的描述子之间的相似度。若相似度大于或等于预设阈值,则确定这两个特征像素点匹配,以由二者组成一对匹配像素对。
对于描述子之间的相似度,可选地,采用不同特征点检测算法得到的特征像素点,可以采用不同的相似度计算方式。比如,对于采用BRIEF算法得到的特征像素点,可以通过计算特征像素点之间的汉明距离来得到相似度;对于采用SIFT算法或者SURF算法得到的描述子,可以通过计算特征像素点对应的描述子之间的欧式距离来得到相似度。
综上所述,经过对目标区域和第二图像的特征像素点提取处理后,能够使得进行匹配处理的像素点的数量大大减小,也就使得匹配过程中的计算量大大减小,保证匹配效率。
另外,对于第一图像的获取方式,图1所示实施例的步骤101中已经提供了一种方式,此时第一图像对应的视场与单目摄像头具有的视场相同,都是较小的。而容易理解的,第一图像对应的视场越大,其对于无人机上方空域的描述就越全面,利用此大视场的第一图像也就能够更准确地计算出目标区域与无人机之间的距离,能更准确地控制无人机自动返航。
基于此,如图3所示,另一种可选地第一图像获取方式,也即是步骤101一种可选地实现方式可以为:
S1011,对第一飞行控制指令进行响应,使无人机在第一位置原地旋转飞行一周。
S1012,无人机在旋转飞行过程中,获取无人机配置的单目摄像头拍得的第一图像。
无人机悬停于第一位置时,对第一飞行控制指令进行响应,以使无人机在第一位置旋转飞行一周。在此旋转飞行期间,无人机上的单目摄像头便可以拍得对应于环形视场的第一图像。这种环形视场可以如图4所示。
对于第二图像的获取方式,图1所示实施例的步骤103中已经提供了一种方式,但在该获取方式中无人机存在一个上升飞行过程,此上升过程很容易使无人机落入目标区域,并与目标区域中的障碍物发生碰撞,甚至造成无人机损毁。因此,为了避免上述情况,如图5所示,另一种可选地第二图像获取方式,也即是步骤103一种可选地实现方式可以为:
S1031,对第二飞行控制指令进行响应,使无人机由第一位置下降飞行预设距离至第二位置。
S1032,无人机位于第二位置时,获取单目摄像头拍得的第二图像。
无人机悬停于第一位置时,无人机上的单目摄像头可以拍得无人机上方空域的图像即第一图像。无人机对接收到的第二飞行控制指令进行响应,便会由当前的第一位置下降飞行至第二位置。此时,无人机上配置的单目摄像头会再次拍摄无人机上方空域的图像即第二图像。通过上述方式无人机也即是获取到了第一图像和第二图像。通过这种下降飞行的方式,不仅可以得到不同高度拍摄位置拍得的图像,还能够避免无人机落入自身上方的目标区域。此时,第二图像对应的视场可以与单目摄像头的视场相同。
单目摄像头具有的视场通常较小,与图3所示实施例中的描述类似的,第二图像对应的视场越大,第二图像对于无人机上方空域的描述就越全面,利用此大视场的第二图像同样也能够更准确地计算出目标区域与无人机之间的距离,能更准确地控制无人机自动返航。
因此,在无人机响应第二飞行控制指令飞行下降飞行至第二位置后,还可以对第三飞行控制指令进行响应,以使无人机在第二位置原地旋转飞行一周,并获取无人在机旋转飞行过程中,单目摄像头拍得的第二图像。经过旋转飞行后,得到的第二图像对应于无人机上方空域的环形视场。这种环形视场同样可以如图4所示。
综合图3~图5所示的实施例,无人机可以获取具有环形视场的第一图像和第二图像,以便根据此大视场的图像更加准确地计算出目标区域与无人机之间的距离,能更准确地控制无人机自动返航。
根据上述图3~图5所示的实施例可知,无人机可以在第一位置处拍得第一图像,经过下降飞行,可以得到在第二位置处拍得的第二图像。基于这种通过下降飞行得到第一图像、第二图像的方式,在无人机进行像素点匹配后,如图6所示,一种可选地根据匹配像素对确定无人机与目标区域之间距离的方式,也即是步骤105一种可选地实现方式可以为:
S1051,确定第一像素点与第一图像的图像中心之间的第一距离。
S1052,确定第二像素点与第二图像的图像中心之间的第二距离。
S1053,根据预设距离、单目摄像头的摄像头参数、第一距离以及第二距离确定目标区域与无人机之间的距离。
经过步骤104后,无人机已经可以得到至少一个匹配像素对,其中,任一匹配像素对可以由第一图像中的第一像素点和第二图像中的第二像素点组成。无人机可以利用任一匹配像素对来确定无人机与目标区域之间的距离。
假设任一匹配像素对A中包括第一像素点A1和第二像素点A2,包含第一像素点A1的第一图像的图像中心为O1,包含第二像素点A2的第二图像的图像中心为O2。此时,则可以根据下述公式计算目标区域与无人机之间的距离:
其中,公式中各参数的具体位置关系可以如图7所示。具体的,A0为目标区域,x为无人机与目标区域之间的水平距离即线段O0A0,z为无人机与目标区域之间的垂直距离即线段O0P1,O0为无人机上配置的单目摄像头的光心。d0为拍得第一图像的第一位置P1和拍得第二图像的第二位置P2之间的距离。d1为第一像素点A1与第一图像的图像中心O1之间的距离。d2为第二像素点A2与第二图像的图像中心O2之间的距离。f为单目摄像头的焦距即图中线段O1P1,也即线段O2P2。
其中,无人机可以先得到第一像素点A1以及第一图像的图像中心O1各自在第一图像中的像素坐标。然后,根据二者的像素坐标确定第一像素点A1与图像中心O1之间的第一距离d1。第二距离d2的计算方式也类似,在此不再赘述。
根据上述描述可知,使用任一匹配像素对即可确定出目标区域与无人机之间的距离。但为了保证距离测量的准确性,可选地,还可以分别对多个匹配像素对分别进行上述计算,以得到多个距离,并根据这多个距离确定无人机与目标区域与之间距离。比如将多个距离的平均数或者中位数确定为无人机与目标区域与之间距离。
除此之外,正如图1所示实施中提供的方式,无人机可以在第一位置处拍得第一图像,然后经过上升飞行,得到在第二位置处拍得的第二图像。对于这种通过上升飞行得到第一图像、第二图像的方式,同样也可以采用上述方式来实现距离测量。只不过,上述的第一位置P1、第一图像的图像中心O1、第一像素点A1和第二位置P2、第二图像的图像中心O2、第二像素点A2之间的位置关系变为如图8所示。
此时,可以采用以下公式计算目标区域与无人机之间的距离:
其中,A0为目标区域,x为无人机与目标区域之间的水平距离即线段O0A0,z为无人机与目标区域之间的垂直距离即线段O0P1,O0为无人机上配置的单目摄像头的光心。d0为拍得第一图像的第一位置P1和拍得第二图像的第二位置P2之间的距离。d1为第一特征像素点A1与第一图像的图像中心O1之间的距离。d2为第二特征像素点A2与第二图像的图像中心O2之间的距离。f为单目摄像头的焦距即图中线段O1P1,也即线段O2P2。
此处未详细描述的内容可以参见图7所示实施例中的相关描述,在此不再赘述。
需要说明的有,根据上述描述可知,像素点匹配也可以在第一图像和第二图像中的特征像素点中进行,此时得到的任一匹配像素对中包含的是第一图像中的第一特征像素点和第二图像中的第二特征像素点。然后可以进一步确定第一特征像素点与第一图像的图像中心之间的第一距离,确定第二特征像素点与第一图像的图像中心之间的第二距离,再利用如图7或图8所示的方式计算目标区域与无人机之间的距离。
由于图像中特征像素点的数量是远远小于全部像素点的数量的,因此使用包含特征像素点的至少一个匹配像素对来实现测距,计算量更小,计算效率也更高。
在利用上述各实施例提供的测距方法得到的无人机与目标区域之间的距离之后,便可以根据距离来控制无人机的运动。具体来说,若此距离满足预设条件,表明无人机上方的目标区域较远,无人机在返航过程中具有的上升飞行阶段不会受到影响,此时,无人机可以对返航控制指令进行响应,以控制无人机自动返航。否则,则控制无人机继续悬停。
此外,在上述实施例的基础上,当确定出无人机与目标区域之间的距离满足预设条件后,即可控制无人返航。有容易理解的,无人机的任何飞行过程都是需要电池供电的,因此,在控制无人机返航之前,还可以先确定返航过程中所需的电量,若当前的剩余电量多于返航所需电量时,才会控制无人机返航。
而对于返航过程中所需电量的确定,一种可选地方式,可以先根据历史风速信息估计从当前位置降落至返航目的地的风速信息。再确定从当前位置降落至返航目的地的地速信息,以根据风速信息和地速信息确定无人机的返航过程所需的电量。
同时,在得到无人机与目标区域之间的距离后,还可以进一步得到此目标区域对应的点云数据。此点云数据可以描述无人机所处的飞行环境,利用此点云数据可以为进一步无人机规划返航路径,以保证无人机按照此路径实现自动安全返航。
图9为本发明实施例提供的一种距离测量装置的结构示意图;参考附图9所示,本实施例提供了一种距离测量装置,该测量装置可以执行上述的距离测量方法;具体的,距离测量装置包括:
获取模块11,用于获取所述无人机上方空域的第一图像。
区域确定模块12,用于在所述第一图像中,根据所述第一图像中像素点的语义类别确定影响所述无人机飞行的目标区域。
响应模块13,用于对飞行指令进行响应,以使所述无人机向指定方向移动预设距离,获得所述无人机上方空域的第二图像。
匹配模块14,用于匹配所述目标区域在所述第一图像和所述第二图像中的像素点,以得到匹配像素点;
距离确定模块15,用于根据所述匹配像素点确定所述目标区域与所述无人机之间的距离。
图9所示装置还可以执行图1~图8所示实施例的方法,本实施例未详细描述的部分,可参考对图1~图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1~图8所示实施例中的描述,在此不再赘述。
图10为本发明实施例提供的一种可移动平台的结构示意图;参考附图10所示,本发明实施例的提供了一种可移动平台,该可移动平台为以下至少之一:无人飞行器、无人船、无人车;具体的,该可移动平台包括:机体21、动力系统22以及控制装置23。
所述动力系统22,设置于所述机体21上,用于为所述可移动平台提供动力。
所述控制装置23包括存储器231和处理器232。
所述存储器,用于存储计算机程序;
所述处理器,用于运行所述存储器中存储的计算机程序以实现:
获取所述无人机上方空域的第一图像;
在所述第一图像中,根据所述第一图像中像素点的语义类别确定影响所述无人机飞行的目标区域;
对飞行指令进行响应,以使所述无人机向指定方向移动预设距离,获得所述无人机上方空域的第二图像;
匹配所述目标区域在所述第一图像和所述第二图像中的像素点,以得到匹配像素点;
根据所述匹配像素点确定所述目标区域与所述无人机之间的距离。
进一步的,可移动平台还包括单目摄像头24,其设置于机体21上;
理器232还用于:对第一飞行控制指令进行响应,使所述无人机在第一位置原地旋转飞行一周;
所述无人机在旋转飞行过程中,获取所述无人机配置的单目摄像头拍得的所述第一图像。
进一步的,处理器232还用于:对第二飞行控制指令进行响应,使所述无人机由所述第一位置下降飞行预设距离至第二位置;
所述无人机位于所述第二位置时,获取所述单目摄像头拍得的所述第二图像。
进一步的,单目摄像头24放置于能够向上摆动的云台上,以使单目摄像头24能够拍得所述第一图像和所述第二图像;
处理器232还用于:对第三飞行控制指令进行响应,使所述无人机在所述第二位置原地旋转飞行一周;
获取所述无人在机旋转飞行过程中,所述单目摄像头拍得的所述第二图像,其中,所述第一图像和所述第二图像对应于所述无人机上方空域的环形视场。
进一步的,处理器232还用于:识别所述第一图像中像素点的语义类别;
根据所述像素点的语义类别,确定所述第一图像中的所述目标区域。
进一步的,像素点的语义类别包括天空和障碍物,则处理器232还用于:根据像素点的语义类别,确定所述第一图像中用于描述天空以及与天空最相邻的障碍物的目标像素点,以由所述目标像素点构成所述目标区域。
进一步的,处理器232还用于:根据所述像素点的语义类别,在所述第一图像中确定备选区域;
根据所述无人机的体积和/或所述无人机所处飞行环境的障碍物分布情况,调整所述备选区域,以得到所述目标区域。
进一步的,处理器232还用于:计算所述目标区域中像素点与所述第二图像中像素点之间的相似度;
根据像素点之间的相似度,在所述第二图像中确定与所述目标区域中像素点匹配的像素点。
进一步的,处理器232还用于:若所述无人机与所述目标区域之间的距离满足预设条件,则对返航控制指令进行响应,使所述无人机自动返航。
进一步的,处理器232还用于:根据所述目标区域与所述无人机之间的距离,确定所述目标区域对应的点云数据。
图10所示的可移动平台可以执行图1~图8所示实施例的方法,本实施例未详细描述的部分,可参考对图1~图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1~图8所示实施例中的描述,在此不再赘述。
在一个可能的设计中,图11所示距离测量设备的结构可实现为一电子设备,该电子设备可以是无人机。如图11所示,该电子设备可以包括:一个或多个处理器31和一个或多个存储器32。其中,存储器32用于存储支持电子设备执行上述图1~图8所示实施例中提供的距离测量方法的程序。处理器31被配置为用于执行存储器32中存储的程序。
具体的,程序包括一条或多条计算机指令,其中,一条或多条计算机指令被处理器31执行时能够实现如下步骤:
获取所述无人机上方空域的第一图像;
在所述第一图像中,根据所述第一图像中像素点的语义类别确定影响所述无人机飞行的目标区域;
对飞行指令进行响应,以使所述无人机向指定方向移动预设距离,获得所述无人机上方空域的第二图像;
匹配所述目标区域在所述第一图像和所述第二图像中的像素点,以得到匹配像素点;
根据所述匹配像素点确定所述目标区域与所述无人机之间的距离。
其中,该距离测量设备的结构中还可以包括通信接口33,用于电子设备与其他设备或通信网络通信。
进一步的,设备上还包括单目摄像头;
处理器31还用于:对第一飞行控制指令进行响应,使所述无人机在第一位置原地旋转飞行一周;
所述无人机在旋转飞行过程中,获取所述无人机配置的单目摄像头拍得的所述第一图像。
进一步的,处理器31还用于:对第二飞行控制指令进行响应,使所述无人机由所述第一位置下降飞行预设距离至第二位置;
所述无人机位于所述第二位置时,获取所述单目摄像头拍得的所述第二图像。
进一步的,单目摄像头放置于能够向上摆动的云台上,以使单目摄像头24能够拍得所述第一图像和所述第二图像;
处理器31还用于:对第三飞行控制指令进行响应,使所述无人机在所述第二位置原地旋转飞行一周;
获取所述无人在机旋转飞行过程中,所述单目摄像头拍得的所述第二图像,其中,所述第一图像和所述第二图像对应于所述无人机上方空域的环形视场。
进一步的,处理器31还用于:识别所述第一图像中像素点的语义类别;
根据所述像素点的语义类别,确定所述第一图像中的所述目标区域。
进一步的,像素点的语义类别包括天空和障碍物,则处理器31还用于:根据像素点的语义类别,确定所述第一图像中用于描述天空以及与天空最相邻的障碍物的目标像素点,以由所述目标像素点构成所述目标区域。
根据所述特征像素点之间的相似度确定所述匹配像素对。
进一步的,处理器31还用于:根据所述像素点的语义类别,在所述第一图像中确定备选区域;
根据所述无人机的体积和/或所述无人机所处飞行环境的障碍物分布情况,调整所述备选区域,以得到所述目标区域。
进一步的,处理器31还用于:计算所述目标区域中像素点与所述第二图像中像素点之间的相似度;
根据像素点之间的相似度,在所述第二图像中确定与所述目标区域中像素点匹配的像素点。
进一步的,处理器31还用于:若所述无人机与所述目标区域之间的距离满足预设条件,则对返航控制指令进行响应,使所述无人机自动返航。
进一步的,处理器31还用于:根据所述目标区域与所述无人机之间的距离,确定所述目标区域对应的点云数据。
图11所示的设备可以执行图1~图8所示实施例的方法,本实施例未详细描述的部分,可参考对图1~图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1~图8所示实施例中的描述,在此不再赘述。
另外,本发明实施例提供了一种计算机可读存储介质,存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,程序指令用于实现上述图1~图8所示的距离测量方法。
以上各个实施例中的技术方案、技术特征在与本相冲突的情况下均可以单独,或者进行组合,只要未超出本领域技术人员的认知范围,均属于本申请保护范围内的等同实施例。
在本发明所提供的几个实施例中,应该理解到,所揭露的相关检测装置(例如:IMU)和方法,可以通过其它的方式实现。例如,以上所描述的遥控装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,遥控装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (33)
1.一种距离测量方法,用于无人机,其特征在于,所述方法包括:
获取所述无人机上方空域的第一图像;
在所述第一图像中,根据所述第一图像中像素点的语义类别确定影响所述无人机飞行的目标区域;
对飞行指令进行响应,以使所述无人机向指定方向移动预设距离,获得所述无人机上方空域的第二图像;
匹配所述目标区域在所述第一图像和所述第二图像中的像素点,以得到匹配像素点;
根据所述匹配像素点确定所述目标区域与所述无人机之间的距离。
2.根据权利要求1所述的方法,其特征在于,所述获取所述无人机上方空域的第一图像,包括:
对第一飞行控制指令进行响应,使所述无人机在第一位置原地旋转飞行一周;
所述无人机在旋转飞行过程中,获取所述无人机配置的单目摄像头拍得的所述第一图像。
3.根据权利要求2所述的方法,其特征在于,所述对飞行指令进行响应,以使所述无人机向指定方向移动预设距离,获得所述无人机上方空域的第二图像,包括:
对第二飞行控制指令进行响应,使所述无人机由所述第一位置下降飞行预设距离至第二位置;
所述无人机位于所述第二位置时,获取所述单目摄像头拍得的所述第二图像。
4.根据权利要求2所述的方法,其特征在于,所述获取所述无人机位于所述第二位置时,所述单目摄像头拍得的所述第二图像,包括:
对第三飞行控制指令进行响应,使所述无人机在所述第二位置原地旋转飞行一周;
获取所述无人在机旋转飞行过程中,所述单目摄像头拍得的所述第二图像。
5.根据权利要求2或4所述的方法,其特征在于,所述第一图像和所述第二图像对应于所述无人机上方空域的环形视场。
6.根据权利要求2或4所述的方法,其特征在于,所述单目摄像头放置于能够向上摆动的云台上,以使所述单目摄像头能够拍得所述第一图像和所述第二图像。
7.根据权利要求1所述的方法,其特征在于,所述在所述第一图像中,根据所述第一图像中像素点的语义类别确定影响所述无人机飞行的目标区域,包括:
识别所述第一图像中像素点的语义类别;
根据所述像素点的语义类别,确定所述第一图像中的所述目标区域。
8.根据权利要求7所述的方法,其特征在于,像素点的语义类别包括天空和障碍物;
所述根据所述像素点的语义类别,确定所述第一图像中的所述目标区域,包括:
根据像素点的语义类别,确定所述第一图像中用于描述天空以及与天空最相邻的障碍物的目标像素点,以由所述目标像素点构成所述目标区域。
9.根据权利要求7所述的方法,其特征在于,所述根据所述像素点的语义类别,确定所述第一图像中的所述目标区域,包括:
根据所述像素点的语义类别,在所述第一图像中确定备选区域;
根据所述无人机的体积和/或所述无人机所处飞行环境的障碍物分布情况,调整所述备选区域,以得到所述目标区域。
10.根据权利要求7至9中任一项所述的方法,其特征在于,所述匹配所述目标区域在所述第一图像和所述第二图像中的像素点,以得到匹配像素点,包括:
计算所述目标区域中像素点与所述第二图像中像素点之间的相似度;
根据像素点之间的相似度,在所述第二图像中确定与所述目标区域中像素点匹配的像素点。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述无人机与所述目标区域之间的距离满足预设条件,则对返航控制指令进行响应,使所述无人机自动返航。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述目标区域与所述无人机之间的距离,确定所述目标区域对应的点云数据。
13.一种可移动平台,其特征在于,至少包括:机体、动力系统以及控制装置;
所述动力系统,设置于所述机体上,用于为所述可移动平台提供动力;
所述控制装置包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于运行所述存储器中存储的计算机程序以实现:
获取所述无人机上方空域的第一图像;
在所述第一图像中,根据所述第一图像中像素点的语义类别确定影响所述无人机飞行的目标区域;
对飞行指令进行响应,以使所述无人机向指定方向移动预设距离,获得所述无人机上方空域的第二图像;
匹配所述目标区域在所述第一图像和所述第二图像中的像素点,以得到匹配像素点;
根据所述匹配像素点确定所述目标区域与所述无人机之间的距离。
14.根据权利要求13所述的平台,其特征在于,所述平台还包括设置于所述机体上的单目摄像头;
所述处理器还用于:
对第一飞行控制指令进行响应,使所述无人机在第一位置原地旋转飞行一周;
所述无人机在旋转飞行过程中,获取所述无人机配置的单目摄像头拍得的所述第一图像。
15.根据权利要求14所述的平台,其特征在于,所述处理器还用于:
对第二飞行控制指令进行响应,使所述无人机由所述第一位置下降飞行预设距离至第二位置;
所述无人机位于所述第二位置时,获取所述单目摄像头拍得的所述第二图像。
16.根据权利要求14所述的平台,其特征在于,所述单目摄像头放置于能够向上摆动的云台上,以使所述单目摄像头能够拍得所述第一图像和所述第二图像;
所述处理器还用于:
对第三飞行控制指令进行响应,使所述无人机在所述第二位置原地旋转飞行一周;
获取所述无人在机旋转飞行过程中,所述单目摄像头拍得的所述第二图像,其中,所述第一图像和所述第二图像对应于所述无人机上方空域的环形视场。
17.根据权利要求13所述的平台,其特征在于,所述处理器还用于:
识别所述第一图像中像素点的语义类别;
根据所述像素点的语义类别,确定所述第一图像中的所述目标区域。
18.根据权利要求17所述的平台,其特征在于,像素点的语义类别包括天空和障碍物;
所述处理器还用于:
所述根据所述像素点的语义类别,确定所述第一图像中的所述目标区域,包括:
根据像素点的语义类别,确定所述第一图像中用于描述天空以及与天空最相邻的障碍物的目标像素点,以由所述目标像素点构成所述目标区域。
19.根据权利要求17所述的平台,其特征在于,所述处理器还用于:
根据所述像素点的语义类别,在所述第一图像中确定备选区域;
根据所述无人机的体积和/或所述无人机所处飞行环境的障碍物分布情况,调整所述备选区域,以得到所述目标区域。
20.根据权利要求17至19中任一项所述的平台,其特征在于,所述处理器还用于:
计算所述目标区域中像素点与所述第二图像中像素点之间的相似度;
根据像素点之间的相似度,在所述第二图像中确定与所述目标区域中像素点匹配的像素点。
21.根据权利要求13所述的平台,其特征在于,所述处理器还用于:
若所述无人机与所述目标区域之间的距离满足预设条件,则对返航控制指令进行响应,使所述无人机自动返航。
22.根据权利要求13所述的平台,其特征在于,所述处理器还用于:
根据所述目标区域与所述无人机之间的距离,确定所述目标区域对应的点云数据。
23.一种距离测量设备,其特征在于,所述测量设备包括:
存储器,用于存储计算机程序;
处理器,用于运行所述存储器中存储的计算机程序以实现:
获取所述无人机上方空域的第一图像;
在所述第一图像中,根据所述第一图像中像素点的语义类别确定影响所述无人机飞行的目标区域;
对飞行指令进行响应,以使所述无人机向指定方向移动预设距离,获得所述无人机上方空域的第二图像;
匹配所述目标区域在所述第一图像和所述第二图像中的像素点,以得到匹配像素点;
根据所述匹配像素点确定所述目标区域与所述无人机之间的距离。
24.根据权利要求23所述的设备,其特征在于,所述设备还包括:单目摄像头;
所述处理器还用于:
对第一飞行控制指令进行响应,使所述无人机在第一位置原地旋转飞行一周;
所述无人机在旋转飞行过程中,获取所述无人机配置的单目摄像头拍得的所述第一图像。
25.根据权利要求24所述的设备,其特征在于,所述处理器还用于:
对第二飞行控制指令进行响应,使所述无人机由所述第一位置下降飞行预设距离至第二位置;
所述无人机位于所述第二位置时,获取所述单目摄像头拍得的所述第二图像。
26.根据权利要求24所述的设备,其特征在于,所述设备还包括云台,所述单目摄像头放置于能够向上摆动的所述云台上,以使所述单目摄像头能够拍得所述第一图像和所述第二图像;
所述处理器还用于:
对第三飞行控制指令进行响应,使所述无人机在所述第二位置原地旋转飞行一周;
获取所述无人在机旋转飞行过程中,所述单目摄像头拍得的所述第二图像,其中,所述第一图像和所述第二图像对应于所述无人机上方空域的环形视场。
27.根据权利要求23所述的设备,其特征在于,所述设备还包括:
识别所述第一图像中像素点的语义类别;
根据所述像素点的语义类别,确定所述第一图像中的所述目标区域。
28.根据权利要求27所述的设备,其特征在于,像素点的语义类别包括天空和障碍物;
所述设备还包括:
根据像素点的语义类别,确定所述第一图像中用于描述天空以及与天空最相邻的障碍物的目标像素点,以由所述目标像素点构成所述目标区域。
29.根据权利要求27所述的设备,其特征在于,所述设备还包括:
根据所述像素点的语义类别,在所述第一图像中确定备选区域;
根据所述无人机的体积和/或所述无人机所处飞行环境的障碍物分布情况,调整所述备选区域,以得到所述目标区域。
30.根据权利要求27至29中任一项所述的设备,其特征在于,所述设备还包括:
计算所述目标区域中像素点与所述第二图像中像素点之间的相似度;
根据像素点之间的相似度,在所述第二图像中确定与所述目标区域中像素点匹配的像素点。
31.根据权利要求23所述的设备,其特征在于,所述设备还包括:
若所述无人机与所述目标区域之间的距离满足预设条件,则对返航控制指令进行响应,使所述无人机自动返航。
32.根据权利要求23所述的设备,其特征在于,所述设备还包括:
根据所述目标区域与所述无人机之间的距离,确定所述目标区域对应的点云数据。
33.一种计算机可读存储介质,其特征在于,所述存储介质为计算机可读存储介质,该计算机可读存储介质中存储有程序指令,所述程序指令用于实现权利要求1至12中任一项所述的距离测量方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/073656 WO2021146969A1 (zh) | 2020-01-21 | 2020-01-21 | 距离测量方法、可移动平台、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112639881A true CN112639881A (zh) | 2021-04-09 |
Family
ID=75291161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080004149.0A Pending CN112639881A (zh) | 2020-01-21 | 2020-01-21 | 距离测量方法、可移动平台、设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112639881A (zh) |
WO (1) | WO2021146969A1 (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104677329A (zh) * | 2015-03-19 | 2015-06-03 | 广东欧珀移动通信有限公司 | 基于摄像头的目标测距方法及装置 |
CN106558038A (zh) * | 2015-09-18 | 2017-04-05 | 中国人民解放军国防科学技术大学 | 一种水天线检测方法及装置 |
CN107687841A (zh) * | 2017-09-27 | 2018-02-13 | 中科创达软件股份有限公司 | 一种测距方法及装置 |
CN108140245A (zh) * | 2017-12-25 | 2018-06-08 | 深圳市道通智能航空技术有限公司 | 测距方法、装置以及无人机 |
CN108427438A (zh) * | 2018-04-11 | 2018-08-21 | 北京木业邦科技有限公司 | 飞行环境检测方法、装置、电子设备及存储介质 |
CN109074476A (zh) * | 2016-08-01 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 用于障碍物规避的系统以及方法 |
US20190120950A1 (en) * | 2017-10-24 | 2019-04-25 | Canon Kabushiki Kaisha | Distance detecting apparatus, image capturing apparatus, distance detecting method, and storage medium |
CN109948616A (zh) * | 2019-03-26 | 2019-06-28 | 北京迈格威科技有限公司 | 图像检测方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018090205A1 (en) * | 2016-11-15 | 2018-05-24 | SZ DJI Technology Co., Ltd. | Method and system for image-based object detection and corresponding movement adjustment maneuvers |
CN107367262B (zh) * | 2017-06-17 | 2019-11-15 | 周超 | 一种无人机远距离实时定位测绘显示互联式控制方法 |
WO2019104560A1 (zh) * | 2017-11-29 | 2019-06-06 | 深圳市大疆创新科技有限公司 | 探测设备及可移动平台 |
JP6892603B2 (ja) * | 2017-12-07 | 2021-06-23 | 富士通株式会社 | 距離計測装置、距離計測方法および距離計測プログラム |
CN110068826B (zh) * | 2019-03-27 | 2021-05-07 | 东软睿驰汽车技术(沈阳)有限公司 | 一种测距的方法及装置 |
CN110132226B (zh) * | 2019-05-14 | 2021-05-28 | 广东电网有限责任公司 | 一种无人机巡线的距离及方位角测量系统和方法 |
-
2020
- 2020-01-21 WO PCT/CN2020/073656 patent/WO2021146969A1/zh active Application Filing
- 2020-01-21 CN CN202080004149.0A patent/CN112639881A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104677329A (zh) * | 2015-03-19 | 2015-06-03 | 广东欧珀移动通信有限公司 | 基于摄像头的目标测距方法及装置 |
CN106558038A (zh) * | 2015-09-18 | 2017-04-05 | 中国人民解放军国防科学技术大学 | 一种水天线检测方法及装置 |
CN109074476A (zh) * | 2016-08-01 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 用于障碍物规避的系统以及方法 |
CN107687841A (zh) * | 2017-09-27 | 2018-02-13 | 中科创达软件股份有限公司 | 一种测距方法及装置 |
US20190120950A1 (en) * | 2017-10-24 | 2019-04-25 | Canon Kabushiki Kaisha | Distance detecting apparatus, image capturing apparatus, distance detecting method, and storage medium |
CN108140245A (zh) * | 2017-12-25 | 2018-06-08 | 深圳市道通智能航空技术有限公司 | 测距方法、装置以及无人机 |
CN108427438A (zh) * | 2018-04-11 | 2018-08-21 | 北京木业邦科技有限公司 | 飞行环境检测方法、装置、电子设备及存储介质 |
CN109948616A (zh) * | 2019-03-26 | 2019-06-28 | 北京迈格威科技有限公司 | 图像检测方法、装置、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021146969A1 (zh) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11195011B2 (en) | Object detection and avoidance for aerial vehicles | |
CN113359810B (zh) | 一种基于多传感器的无人机着陆区域识别方法 | |
US10769466B2 (en) | Precision aware drone-based object mapping based on spatial pattern recognition | |
Patruno et al. | A vision-based approach for unmanned aerial vehicle landing | |
Steder et al. | Place recognition in 3D scans using a combination of bag of words and point feature based relative pose estimation | |
JP2024053085A (ja) | 飛行体制御装置、飛行体制御方法、及びプログラム | |
CN109885086B (zh) | 一种基于复合多边形标志引导的无人机垂直降落方法 | |
JP6324649B1 (ja) | 検出システム、検出方法、及びプログラム | |
WO2020107372A1 (zh) | 拍摄设备的控制方法、装置、设备及存储介质 | |
US11713977B2 (en) | Information processing apparatus, information processing method, and medium | |
WO2020181719A1 (zh) | 无人机控制方法、无人机及系统 | |
CN113031633A (zh) | 一种无人机的降落方法、装置、无人机及介质 | |
CN111913492B (zh) | 无人机安全降落方法和装置 | |
US11687086B2 (en) | Autonomous robotic navigation in storage site | |
KR102289752B1 (ko) | Gps 음영 지역에서 경로 비행을 수행하는 드론 및 그 방법 | |
CN110751336A (zh) | 无人载具的避障方法、避障装置及无人载具 | |
WO2021174539A1 (zh) | 物体检测方法、可移动平台、设备和存储介质 | |
WO2021146973A1 (zh) | 无人机返航的控制方法、设备、可移动平台和存储介质 | |
WO2021056139A1 (zh) | 获取降落位置的方法、设备、无人机、系统及存储介质 | |
JP6775748B2 (ja) | コンピュータシステム、位置推測方法及びプログラム | |
CN112639881A (zh) | 距离测量方法、可移动平台、设备和存储介质 | |
Recker et al. | Autonomous precision landing for the joint tactical aerial resupply vehicle | |
WO2022104746A1 (zh) | 返航控制方法、装置、无人机及计算机可读存储介质 | |
WO2021146972A1 (zh) | 空域检测方法、可移动平台、设备和存储介质 | |
US20230133480A1 (en) | Thin object detection and avoidance in aerial robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |