CN113454558A - 障碍物检测方法、装置、无人机和存储介质 - Google Patents
障碍物检测方法、装置、无人机和存储介质 Download PDFInfo
- Publication number
- CN113454558A CN113454558A CN202080011277.8A CN202080011277A CN113454558A CN 113454558 A CN113454558 A CN 113454558A CN 202080011277 A CN202080011277 A CN 202080011277A CN 113454558 A CN113454558 A CN 113454558A
- Authority
- CN
- China
- Prior art keywords
- height
- obstacle
- obstacles
- type
- electric wire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000003062 neural network model Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 239000002420 orchard Substances 0.000 description 7
- 239000000575 pesticide Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000004888 barrier function Effects 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000005507 spraying Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 3
- 239000007921 spray Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000005422 blasting Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
一种障碍物检测方法、装置、无人机和存储介质,其中,该障碍物检测方法包括:获取无人机的作业场景图像(201),识别作业场景图像中电线的位置和电线杆的位置(202),根据电线的位置和电线杆的位置,确定电线与电线杆是否存在连接关系,当确定电线与电线杆存在连接关系时,根据电线杆的高度,确定电线的高度(203)。在该方案中,通过与电线相连接的电线杆的高度来辅助确定该电线的高度,能够准确、方便地完成电线位置和高度的检测。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种障碍物检测方法、装置、无人机和存储介质。
背景技术
无人机目前已经广泛使用到众多场景中,比如农业植保、电力巡检、交通监视,等等。在农业植保场景中,可以利用无人机对农作物、树木等植物进行农药喷洒。
无人机在飞行过程中,需要躲避障碍物,以保证飞行安全。为了避免无人机在飞行作业的过程中与作业场景中存在的障碍物发生碰撞,需要准确识别出障碍物的位置和高度。
但是,在实际的作用环境中,可能会存在一种特殊的障碍物——较细线条状的障碍物,常见的比如为电线。由于电线比较细的特殊性,很难准确地确定出其高度。因此,如何准确地确定出电线这种具有较细线条特征的障碍物的位置和高度,是亟待解决的问题。
发明内容
本发明提供了一种障碍物检测方法、装置、无人机和存储介质,可以实现对电线位置和高度的准确检测。
本发明的第一方面提供了一种障碍物检测方法,应用于无人机,所述方法包括:
获取所述无人机的作业场景图像;
识别所述作业场景图像中电线的位置和电线杆的位置;
根据所述电线的位置和所述电线杆的位置,确定所述电线与所述电线杆是否存在连接关系;
当确定所述电线与所述电线杆存在连接关系时,根据所述电线杆的高度,确定所述电线的高度。
本发明的第二方面提供了一种障碍物检测装置,该障碍物检测装置设于无人机,该障碍物检测装置包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器实现:
获取所述无人机的作业场景图像;
识别所述作业场景图像中电线的位置和电线杆的位置;
根据所述电线的位置和所述电线杆的位置,确定所述电线与所述电线杆是否存在连接关系;
当确定所述电线与所述电线杆存在连接关系时,根据所述电线杆的高度,确定所述电线的高度。
本发明的第三方面提供了一种无人机,包括:机体、动力系统、相机以及控制装置;
所述动力系统,设置于所述机体上,用于为所述无人机提供动力;
所述相机,设置于所述机体上,用于采集所述无人机的作业场景图像;
所述控制装置包括存储器和处理器;
所述存储器,用于存储可执行代码;
所述处理器,用于运行所述存储器中存储的所述可执行代码,以实现:
识别所述作业场景图像中电线的位置和电线杆的位置;
根据所述电线的位置和所述电线杆的位置,确定所述电线与所述电线杆是否存在连接关系;
当确定所述电线与所述电线杆存在连接关系时,根据所述电线杆的高度,确定所述电线的高度。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有可执行代码,所述可执行代码用于实现上述第一方面所述的障碍物检测方法。
本发明的第五方面提供了一种障碍物检测方法,应用于可移动平台,所述方法包括:
获取所述可移动平台的作业场景图像;
识别所述作业场景图像中第一类别的障碍物的位置和第二类别的障碍物的位置;
根据所述第一类别的障碍物的位置和所述第二类别的障碍物的位置,确定所述第一类别的障碍物与所述第二类别的障碍物是否存在连接关系;
当确定所述第一类别的障碍物与所述第二类别的障碍物存在连接关系时,根据所述第二类别的障碍物的高度,确定所述第一类别的障碍物的高度。
本发明的第六方面提供了一种障碍物检测装置,该障碍物检测装置设于可移动平台,该障碍物检测装置包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器实现:
获取所述可移动平台的作业场景图像;
识别所述作业场景图像中第一类别的障碍物的位置和第二类别的障碍物的位置;
根据所述第一类别的障碍物的位置和所述第二类别的障碍物的位置,确定所述第一类别的障碍物与所述第二类别的障碍物是否存在连接关系;
当确定所述第一类别的障碍物与所述第二类别的障碍物存在连接关系时,根据所述第二类别的障碍物的高度,确定所述第一类别的障碍物的高度。
本发明的第七方面提供了一种可移动平台,包括:机体、动力系统、相机以及控制装置;
所述动力系统,设置于所述机体上,用于为所述可移动平台提供动力;
所述相机,设置于所述机体上,用于采集所述可移动平台的作业场景图像;
所述控制装置包括存储器和处理器;
所述存储器,用于存储可执行代码;
所述处理器,用于运行所述存储器中存储的所述可执行代码,以实现:
识别所述作业场景图像中第一类别的障碍物的位置和第二类别的障碍物的位置;
根据所述第一类别的障碍物的位置和所述第二类别的障碍物的位置,确定所述第一类别的障碍物与所述第二类别的障碍物是否存在连接关系;
当确定所述第一类别的障碍物与所述第二类别的障碍物存在连接关系时,根据所述第二类别的障碍物的高度,确定所述第一类别的障碍物的高度。
本发明的第八方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有可执行代码,所述可执行代码用于实现上述第五方面所述的障碍物检测方法。
在本发明提供的障碍物检测方案可以应用于诸如无人机等可移动平台,在无人机的一些作业场景中可能会存在电线这种呈现较细特征的障碍物,为了能够对这种障碍物进行避障飞行,需要准确地识别出电线的位置和高度。为此,本发明提供了如下的解决方案:首先,获取无人机的作业场景图像,通过对该作业场景图像进行语义分割处理,以识别出该作业场景图像中包含的电线的位置和电线杆的位置。实际上,作业场景中可能会包含很多个电线杆以及通过电线杆连接的电线,但是由于其他物体的遮挡等原因,未必能够从作业场景图像中完全地识别出现实场景中存在的各个电线及电线杆的位置。因此,需要基于从作业场景图像中识别出的各个电线的位置和电线杆的位置,确定识别出的电线和电线杆之间是否具有连接关系。当确定某电线与某电线杆具有连接关系时,可以基于该电线所连接的电线杆的高度,确定该电线的高度,从而,完成电线位置和高度的检测,克服电线所呈现的较细形态特征对准确检测其高度的不利影响。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例提供的一种无人机的组成结构示意图;
图2为本发明实施例提供的一种障碍物检测方法的示意图;
图3为本发明实施例提供的一种无人机作业场景图像的采集结果示意图;
图4为本发明实施例提供的另一种障碍物检测方法的流程示意图;
图5为本发明实施例提供的另一种障碍物检测方法的流程示意图;
图6为本发明实施例提供的另一种障碍物检测方法的流程示意图;
图7为本发明实施例提供的一种障碍物检测装置的结构示意图;
图8为本发明实施例提供的一种障碍物检测装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
本发明实施例提供的障碍物检测方法可以适用于农业植保的应用场景中,在该应用场景中,可以使用无人机对诸如果树等植物进行农药喷洒作业。从而,本发明提供的障碍物检测方法可以应用于无人机上。当然,执行主体以及应用场景都不以此为限。
比如在使用无人机对果园中的果树进行农药喷洒的作业场景下,果园中可能会存在很多的电线,如果无人机撞到电线会发在炸机等风险,因此,需要让无人机能够预先得知电线的位置和高度信息,以便在作业过程中能够根据电线的位置和高度成功躲避电线。
而由于电线呈现出较细的形态特征,激光雷达的扫描具有间隔性,所以在针对电线这类细线状物体的避障场景效果不佳,使得传统的基于激光雷达探测数据的避障策略在电线这种障碍物的检测任务上,往往具有较差的效果。另外,由于在80-100m这样较大范围的航拍视角中,电线过于细小,很难被重建出高度,所以根据三维重建的高度信息避障不现实。因此,为了实现对电线位置、高度地准确、方便检测,提供了本发明的障碍物检测方法。
在确定电线的位置和高度的过程中,难点是确定电线的高度。概括来说,在本发明提供的障碍物检测方法中,主要是根据与电线连接的电线杆的高度信息来辅助确定电线的高度,而不需要直接检测电线的高度。
当本发明提供的障碍物检测方法应用于无人机时,先结合图1示例性说明无人机的组成。如图1所示,无人机可以包括:机体1、动力系统2、相机3以及控制装置4。
其中,动力系统2设置于机体1上,用于为无人机提供动力。实际应用中,动力系统2可以包括电子调速器、一个或多个旋翼以及与该一个或多个旋翼对应的一个或多个电机。
相机3设置于机体1上,用于采集无人机的作业场景图像。比如在上文的举例场景中,可以通过该相机3采集果园场景图像。实际应用中,该相机3具体可以实现为满足摄像需求的相机。另外,无人机还可以包括云台5,从而,相机3可以设在云台5上,相机3通过云台5可以相对机体1而移动。
控制装置4可以设于机体内部,具体可以包括存储器和处理器。其中,存储器用于存储可执行代码,处理器运行存储器中存储的可执行代码,以实现本发明提供的障碍物检测方法。
另外,无人机上还可以设置诸如惯性测量单元等其他器件(图中未示出),在此不列举。
下面结合以下一些实施例来具体说明如何实现对电线这种障碍物的位置、高度信息的检测。
图2为本发明实施例提供的一种障碍物检测方法的示意图,如图2所示,该障碍物检测方法可以包括如下步骤:
201、获取无人机的作业场景图像。
202、识别作业场景图像中电线的位置和电线杆的位置。
203、根据电线的位置和电线杆的位置,确定电线与电线杆是否存在连接关系,当确定电线与电线杆存在连接关系时,根据电线杆的高度,确定电线的高度。
以无人机需要执行对某果园中的果树进行农药喷洒的任务为例,此时,无人机的作业场景即为该果园,作业对象即为果园中的果树。
实际应用中,可以在无人机真正执行农药喷洒任务之前,先识别该作业场景内存在的障碍物的位置、高度信息,以便在执行作业任务的过程中,基于已经得到的障碍物位置、高度信息进行安全地飞行控制。
可以理解的是,在无人机的作业场景中会存在很多类型的障碍物,本发明中仅强调电线这种类型的障碍物的检测方案,至于其他类型的障碍物的检测方案,不在本发明的讨论范畴内。
为了能够获得作业场景中各电线的位置和高度信息,首先,对作业场景进行图像拍摄,以获得作业场景图像。具体地,可以通过无人机上挂载的相机以俯视视角对作业场景进行拍摄,以获得作业场景图像,该俯视视角可以是预先设定的某种角度。
之后,需要对作业场景图像进行识别,以确定其中各物体的类别。其中,这种识别是像素级的识别,也可以称为语义分割,即识别出作业场景图像中各个像素所属的物体类别。在本发明中,主要关注的物体类别包括:电线、电线杆,从而,需要识别出作业场景图像中包含的各个电线、电线杆的位置。
可选地,可以通过预先训练至收敛的神经网络模型来完成该识别任务。具体地,可以将作业场景图像输入到神经网络模型中,通过神经网络模型对作业场景图像进行语义分割以识别出作业场景图像中电线的位置和电线杆的位置。
实际应用中,采集的作业场景图像可以是RGB三通道图像,也可以是RGBD图像,即包含深度信息的四通道图像。
可选地,上述神经网络模型具体可以为卷积神经网络(Convolutional NeuralNetworks,CNN)模型。与传统的CNN模型组成相似,本发明采用的CNN也可以是包括多个卷积层、激活函数、下采样函数的模型结构。
根据实际的分类需求,可以收集包含不同类别物体的样本图像以对CNN模型进行有监督训练,以使得CNN模型具有设定的多种类别的识别能力。可以理解的是,为让CNN模型具有像素级的分类识别能力,样本图像中目标类别的物体所对应的像素位置将作为监督信息以对CNN模型进行训练。在本发明中,上述多种类别包括电线、电线杆。
在获得作业场景图像后,可以将作业场景图像输入到CNN模型中,以获得CNN模型输出的N×H×W的输出数据,其中,N表示类别数,H可以表示输入图像(即作业场景图像)的高,W可以表示输入图像的宽。
简单来说,CNN模型的输出数据反映的是作业场景图像中各个像素分别属于N个类别的概率。假设像素i是作业场景图像中的任一像素,并假设N个类别分别为:电线、电线杆、树木、建筑、其他,如果像素i对应于这几个类别的概率分别为:0.8、0.1、0.05、0、0.05。基于上述假设,可以最终确定像素i对应的类别为电线。
其中,作为作业对象的树木也可以被视为是一种特殊的障碍物,因为在无人机对树木进行农药喷洒作业的过程中,无人机也需要躲避树木,比如需要控制无人机在树木上方2米的高度飞行。
由于在实际的作业场景中,往往可能存在很多电线杆以及电线,基于CNN模型对输入的作业场景图像进行语义分割处理后,不仅可以得到各个像素对应的类别,还可以实现对同一类别的不同物体进行区分。简单来说就是,可以识别出作业场景图像中存在的各个电线、电线杆的位置。
为便于理解,结合图3中示意的作业场景图像来说明。
如图3中所示,无人机上挂载的相机以俯视视角向下拍摄作业场景,以获得作业场景图像,其中,作业场景内存在各种高度的树木、不同高度的电线杆以及由电线杆连接的电线。
由于树木等的遮挡,会有一些电线杆、电线被树木遮挡。比如图3中示意的,电线杆4、电线杆5被树木遮挡住了,电线c和电线d的部分被树木遮挡住了。
基于图3中的假设,通过对作业场景图像进行语义分割处理,可以得到如下识别结果:从作业场景图像中识别出了电线杆1、电线杆2、电线杆3、电线a、电线b的位置,以及电线c和电线d的露出部分的位置。
通过上述处理过程,可以获得电线这种障碍物的位置信息,当然,除了电线的位置信息外,还能够获得电线杆、树木的位置信息。
在识别出作业场景图像中各电线和电线杆的位置之后,根据各电线的位置和各电线杆的位置,确定出彼此之间存在连接关系的电线和电线杆。仍以图3中示意的情形为例,图3中电线和电线杆的位置连接关系确定结果为:电线杆1与电线杆2之间连接有电线a;电线杆2与电线杆3之间连接有电线b;电线c的一端连接在电线杆3上;不存在与电线d连接的电线杆。
概括来说,当确定某电线与某电线杆具有连接关系时,可以根据该电线杆的高度来确定与其连接的电线的高度。
其中,电线杆的高度可以是通过某种方式确定出的。举例来说,比如控制无人机在某高度向电线杆发射激光雷达探测信号,以通过激光雷达探测的方式来确定电线杆的高度。当然,电线杆的高度的确定方式不以此为限。
针对从作业场景图像中识别出的任一电线来说,该电线与电线杆的连接可能存在如下三种情形:电线的两端都连接有电线杆;仅电线的一端连接有电线杆;电线的两端都没有连接电线杆。
下面分别针对上述三种情形来说明电线高度的确定方式。
第一种情形:某电线的两端都连接有电线杆。
此时,可以确定该电线的高度为目标电线杆的高度,其中,目标电线杆是电线连接的两个电线杆中高度最高的电线杆。图3中示意的电线a和电线b即对应于这种情形。以图3中示意的电线a为例,假设电线杆1的高度为H1,电线杆2的高度为H2,H1小于H2,则可以确定电线a的高度为H2。
本文中的高度,是指距离地面的高度。当然,实际应用中,电线相距相连接的电线杆的顶端来说可能还具有一些距离,因此,在上述举例中,也可以确定电线a的高度为H2与预设值的差值,该预设值即为默认设置的电线相距相连接的电线杆的顶端的预设距离。
第二种情形:某电线仅一端连接有电线杆。
此时,可选地,可以直接确定该电线的高度为其一端所连接的电线杆的高度。图3中示意的电线c即对应于这种情形。以图3中示意的电线c为例,电线c的一端连接在电线杆3上,假设电线杆3的高度为H3,则可以确定电线c的高度为H3。
但是,由于实际应用中电线c的一部分可能是被作业对象——树木遮挡才导致的无法从作业场景图像中识别出电线c的这部分,而如上文所说,树木也是无人机的避障对象,并且电线c可能大部分都被树木遮挡了,只有少部分露出,此时,还可以进一步结合电线c被遮挡部分所对应的树木的高度来确定电线c的高度。也就是说,此时,还可以根据连接在电线c一端的电线杆3的高度和邻接于该电线c的树木的高度,确定该电线c的高度。
为此,如上文所述,还可以在作业场景图像中识别出作为作业对象的众多树木的位置,根据电线c的位置,从众多树木中确定出邻接于电线c的树木,比如图3中示意的树木1,以根据树木1的高度和电线杆3的高度来确定电线c的高度。
具体地,当树木1的高度低于连接在电线c一端的电线杆3的高度时,电线c的高度为电线杆3的高度H3。反之,当树木1的高度高于连接在电线c一端的电线杆3的高度时,电线c的高度还可以被确定为是树木1的高度。
第三种情形:某电线的两端都不存在连接的电线杆。图3中示意的电线d即对应于这种情形。
此时,可选地,可以根据从作业场景图像中识别出的多个电线杆的位置和该电线的位置,从多个电线杆中确定出距离该电线最近的目标电线杆,以根据目标电线杆的高度,确定该电线的高度。
以图3中示意的电线d为例,基于从作业场景图像中识别出的各电线杆的位置可知,距离电线d最近的目标电线杆为电线杆3,从而,可以确定电线d的高度为电线杆3的高度H3。
当然,可选地,还可以识别出电线d邻接的树木的高度,如果该树木的高度高于上述电线杆3的高度,也可以确定电线d的高度为该树木的高度。
值得说明的是,本文中,对于树木的高度来说,可以不用精确到每棵树木的高度,可以估计得到一个范围内树木的高度情况即可。
综上,由于电线这种障碍物呈现出较细的形态特征,这种形态特征对电线高度的确定提出了挑战,本发明中,基于电线不能孤立存在这种客观情况,基于与电线连接的电线杆的高度来间接确定电线的高度,从而可以准确、方便地获知电线的位置和高度信息,为无人机躲避这种障碍物提供了可靠依据。
基于确定出的各电线的位置、高度信息,无人机的避障策略可以是图4和图5所示实施例提供的两种策略中的任一种。
图4为本发明实施例提供的另一种障碍物检测方法的流程示意图,如图4所示,该方法可以包括如下步骤:
401、获取无人机的作业场景图像。
402、识别作业场景图像中电线的位置和电线杆的位置。
403、根据电线的位置和电线杆的位置,确定电线与电线杆是否存在连接关系,当确定电线与电线杆存在连接关系时,根据电线杆的高度,确定电线的高度。
404、根据电线的高度调整无人机的最低飞行高度,以爬升越过障碍区域,障碍区域是包含所述电线的区域。
其中,所述最低飞行高度可以比所述电线的高度高设定值,比如高1.5m。
本实施例中,无人机可以在作业过程中进行障碍物的检测,并基于障碍物检测结果来实时地调整最低飞行高度,以躲避障碍物。其中,这里的障碍物是指电线,障碍物检测结果是指电线的位置、高度。
为便于理解,结合图3中示意的电线a为例,假设最终确定电线a的高度为电线杆2的高度H2,则可以确定针对电线a的避障区域为包含电线a以及电线杆1、电线杆2在内的最小闭合区域(如圆形、矩形闭合区域),这样,当无人机飞行到该避障区域时,调整最低飞行高度为:H2+1.5m,其中,1.5m即为上述设定值。
实际应用中,比如上述避障区域外的树木的高度比较低,为获得良好的作业效果,可以控制无人机在树木上方比如1.5m的上空飞行,当无人机飞行到该避障区域时,由于该避障区域内电线a的高度高于上述树木的高度,所以及时地上调无人机的最低飞行高度,以使得无人机爬升越过该避障区域。
图5为本发明实施例提供的另一种障碍物检测方法的流程示意图,如图5所示,该方法可以包括如下步骤:
501、获取无人机的作业场景图像。
502、识别作业场景图像中电线的位置和电线杆的位置。
503、根据电线的位置和电线杆的位置,确定电线与电线杆是否存在连接关系,当确定电线与电线杆存在连接关系时,根据电线杆的高度,确定电线的高度。
504、根据电线和电线杆的位置和高度,生成三维地图。
本实施例中,无人机可以在真正执行作业任务之前,预先建立作业场景对应的三维地图,以便后续在无人机真正执行作业任务的过程中,基于该三维地图实现避障。其中,该三维地图中包含检测到的各障碍物的位置、高度信息。
其中,这里的障碍物包括电线、电线杆,当然,也可以包括诸如、树木、建筑物等其他障碍物。
无人机在真正执行作业任务的过程中,可以通过对自身位置的定位获得实时的位置信息。之后,在生成的三维地图中定位无人机的位置,当发现无人机的位置接近避障区域时,调整最低飞行高度。其中,避障区域和最低飞行高度的定义可以参考上述实施例中的说明,在此不赘述。
图6为本发明实施例提供的另一种障碍物检测方法的流程示意图,如图6所示,该方法可以包括如下步骤:
601、获取可移动平台的作业场景图像。
602、识别作业场景图像中第一类别的障碍物的位置和第二类别的障碍物的位置。
603、根据第一类别的障碍物的位置和第二类别的障碍物的位置,确定第一类别的障碍物与第二类别的障碍物是否存在连接关系。
604、当确定第一类别的障碍物与第二类别的障碍物存在连接关系时,根据第二类别的障碍物的高度,确定第一类别的障碍物的高度。
本实施例提供的障碍物检测方法可以由可移动平台来执行,该可移动平台包括但不限于前文中提到的无人机,比如可以是任何可以在高空中移动的设备。
可选地,上述第一类别的障碍物可以是电线,第二类别的障碍物可以是电线杆。当然,第一类别的障碍物和第二类别的障碍物不以此为限,比如,第一类别的障碍物还可以是其他呈现线条状的物体,第二类别的障碍物可以是实际应用中用于连接第一类别的障碍物的物体。
可选地,可移动平台的作业场景包括:农业植保场景;作业场景中的作业对象包括:植物。比如,实际应用中,可以利用可移动平台对果园中的果树进行农药喷洒作业。
实际应用中,可移动平台上可以设置有具有俯视视角的相机,以通过该相机拍摄作业场景,获得作业场景图像。
可选地,可以将作业场景图像输入到神经网络模型中,通过神经网络模型对作业场景图像进行语义分割以识别出作业场景图像中包含的各个第一类别的障碍物的位置和第二类别的障碍物的位置。
与前文介绍的实施例中的情形相似,本实施例中,在识别出作业场景图像中存在的各个第一类别的障碍物的位置以及各个第二类别的障碍物的位置后,针对任一个第一类别的障碍物来说,其与第二类别的障碍物的连接情况可以包括如下三种情形,针对每种情形,分别给出该第一类别的障碍物的高度的确定方式。
情形一:作业场景图像中存在连接在某第一类别的障碍物两端的两个第二类别的障碍物。此时,可以确定该第一类别的障碍物的高度为目标第二类别的障碍物的高度,其中,目标第二类别的障碍物是所述两个第二类别的障碍物中高度最高的第二类别的障碍物。
情形二:作业场景图像中存在连接在某第一类别的障碍物一端的第二类别的障碍物。此时,在一可选方式中,可以确定该第一类别的障碍物的高度为连接在其一端的该第二类别的障碍物的高度。在另一可选方式中,还可以通过如下方式确定该第一类别的障碍物的高度:识别作业场景图像中多个作业对象的位置;根据该第一类别的障碍物的位置,从多个作业对象中确定出邻接于该第一类别的障碍物的目标作业对象,确定目标作业对象的高度;根据连接在该第一类别的障碍物一端的第二类别的障碍物的高度和该目标作业对象的高度,确定该第一类别的障碍物的高度。具体地,若目标作业对象的高度低于连接在该第一类别的障碍物一端的第二类别的障碍物的高度,则确定该第一类别的障碍物的高度为连接在其一端的第二类别的障碍物的高度。
情形三:作业场景图像中不存在连接在某第一类别的障碍物两端的第二类别的障碍物。此时,可以根据从作业场景图像中识别出的多个第二类别的障碍物的位置和该第一类别的障碍物的位置,从多个第二类别的障碍物中确定出距离该第一类别的障碍物最近的目标第二类别的障碍物;根据目标第二类别的障碍物的高度确定该第一类别的障碍物的高度。
在确定出第一类别的障碍物的高度后,可选地,可以根据第一类别的障碍物的高度调整可移动平台的最低飞行高度,以爬升越过障碍区域,其中,该障碍区域是包含该第一类别的障碍物的区域。其中,该最低飞行高度可以比该第一类别的障碍物的高度高设定值。
在确定出第一类别的障碍物的高度后,可选地,还可以根据第一类别的障碍物和第二类别的障碍物的位置和高度,生成三维地图,以便于可移动平台根据该三维地图进行避障。
本实施例中未详细展开介绍的相关内容可以参考前述其他实施例中的对应说明,与之类似,不再赘述。
图7为本发明实施例提供的一种障碍物检测装置的结构示意图,该障碍物检测装置可以设于无人机,如图7所示,该障碍物检测装置包括:存储器11、处理器12。其中,存储器11上存储有可执行代码,当所述可执行代码被处理器12执行时,使处理器12实现:
获取所述无人机的作业场景图像;
识别所述作业场景图像中电线的位置和电线杆的位置;
根据所述电线的位置和所述电线杆的位置,确定所述电线与所述电线杆是否存在连接关系;
当确定所述电线与所述电线杆存在连接关系时,根据所述电线杆的高度,确定所述电线的高度。
可选地,所述处理器12还用于:根据所述电线的高度调整所述无人机的最低飞行高度,以爬升越过障碍区域,所述障碍区域是包含所述电线的区域。
其中,可选地,所述最低飞行高度比所述电线的高度高设定值。
可选地,所述处理器12还用于:根据所述电线和所述电线杆的位置和高度,生成三维地图。
当所述作业场景图像中存在连接在所述电线两端的两个电线杆时,可选地,所述处理器12具体用于:确定所述电线的高度为目标电线杆的高度,所述目标电线杆是所述两个电线杆中高度最高的电线杆。
当所述作业场景图像中存在连接在所述电线一端的电线杆时,可选地,所述处理器12具体用于:确定所述电线的高度为连接在所述电线一端的电线杆的高度。
当所述作业场景图像中存在连接在所述电线一端的电线杆时,可选地,所述处理器12具体用于:识别所述作业场景图像中多个作业对象的位置;根据所述电线的位置,从所述多个作业对象中确定出邻接于所述电线的目标作业对象;确定所述目标作业对象的高度,根据连接在所述电线一端的电线杆的高度和所述目标作业对象的高度,确定所述电线的高度。
其中,在根据连接在所述电线一端的电线杆的高度和所述目标作业对象的高度确定所述电线的高度的过程中,所述处理器12具体用于:若所述目标作业对象的高度低于连接在所述电线一端的电线杆的高度,则确定所述电线的高度为连接在所述电线一端的电线杆的高度。
当所述作业场景图像中不存在连接在所述电线两端的电线杆时,可选地,所述处理器12具体用于:根据从所述作业场景图像中识别出的多个电线杆的位置和所述电线的位置,从所述多个电线杆中确定出距离所述电线最近的目标电线杆;根据所述目标电线杆的高度,确定所述电线的高度。
可选地,所述无人机的作业场景包括:农业植保场景;所述作业场景中的作业对象包括:植物。
可选地,所述处理器12还用于:将所述作业场景图像输入到神经网络模型中,通过所述神经网络模型对所述作业场景图像进行语义分割以识别出所述作业场景图像中电线的位置和电线杆的位置。
另外,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有可执行代码,所述可执行代码用于实现如前述各实施例提供的障碍物检测方法。
图8为本发明实施例提供的一种障碍物检测装置的结构示意图,该障碍物检测装置可以设于可移动平台,如图8所示,该障碍物检测装置包括:存储器21、处理器22。其中,存储器21上存储有可执行代码,当所述可执行代码被处理器22执行时,使处理器22实现:
获取所述可移动平台的作业场景图像;
识别所述作业场景图像中第一类别的障碍物的位置和第一类别的障碍物第二类别的障碍物的位置;
根据所述第一类别的障碍物的位置和所述第一类别的障碍物第二类别的障碍物的位置,确定所述第一类别的障碍物与所述第一类别的障碍物第二类别的障碍物是否存在连接关系;
当确定所述第一类别的障碍物与所述第一类别的障碍物第二类别的障碍物存在连接关系时,根据所述第一类别的障碍物第二类别的障碍物的高度,确定所述第一类别的障碍物的高度。
可选地,所述可移动平台的作业场景包括:农业植保场景;所述作业场景中的作业对象包括:植物。
可选地,所述第一类别的障碍物包括:电线;所述第二类别的障碍物包括:电线杆。
可选地,所述处理器22还用于:将所述作业场景图像输入到神经网络模型中,通过所述神经网络模型对所述作业场景图像进行语义分割以识别出所述作业场景图像中第一类别的障碍物的位置和第一类别的障碍物第二类别的障碍物的位置。
可选地,所述处理器22还用于:根据所述第一类别的障碍物的高度调整所述可移动平台的最低飞行高度,以爬升越过障碍区域,所述障碍区域是包含所述第一类别的障碍物的区域。
其中,所述最低飞行高度比所述第一类别的障碍物的高度高设定值。
可选地,所述处理器22还用于:根据所述第一类别的障碍物和所述第一类别的障碍物第二类别的障碍物的位置和高度,生成三维地图。
可选地,所述作业场景图像中存在连接在所述第一类别的障碍物两端的两个第一类别的障碍物第二类别的障碍物,所述处理器22具体用于:确定所述第一类别的障碍物的高度为目标第一类别的障碍物第二类别的障碍物的高度,所述目标第一类别的障碍物第二类别的障碍物是所述两个第一类别的障碍物第二类别的障碍物中高度最高的第一类别的障碍物第二类别的障碍物。
可选地,所述作业场景图像中存在连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物,所述处理器22具体用于:确定所述第一类别的障碍物的高度为连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物的高度。
可选地,所述作业场景图像中存在连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物,所述处理器22具体用于:识别所述作业场景图像中多个作业对象的位置;根据所述第一类别的障碍物的位置,从所述多个作业对象中确定出邻接于所述第一类别的障碍物的目标作业对象;确定所述目标作业对象的高度,根据连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物的高度和所述目标作业对象的高度,确定所述第一类别的障碍物的高度。
可选地,所述处理器22具体用于:若所述目标作业对象的高度低于连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物的高度,则确定所述第一类别的障碍物的高度为连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物的高度。
可选地,所述作业场景图像中不存在连接在所述第一类别的障碍物两端的第一类别的障碍物第二类别的障碍物,所述处理器22具体用于:根据从所述作业场景图像中识别出的多个第一类别的障碍物第二类别的障碍物的位置和所述第一类别的障碍物的位置,从所述多个第一类别的障碍物第二类别的障碍物中确定出距离所述第一类别的障碍物最近的目标第一类别的障碍物第二类别的障碍物;根据所述目标第一类别的障碍物第二类别的障碍物的高度,确定所述第一类别的障碍物的高度。
另外,本发明还提供一种可移动平台,包括:机体、动力系统、相机以及控制装置。其中:
所述动力系统,设置于所述机体上,用于为所述可移动平台提供动力。
所述相机,设置于所述机体上,用于采集所述可移动平台的作业场景图像。
所述控制装置包括存储器和处理器,所述存储器,用于存储可执行代码,所述处理器,用于运行所述存储器中存储的所述可执行代码,以实现:
识别所述作业场景图像中第一类别的障碍物的位置和第一类别的障碍物第二类别的障碍物的位置;
根据所述第一类别的障碍物的位置和所述第一类别的障碍物第二类别的障碍物的位置,确定所述第一类别的障碍物与所述第一类别的障碍物第二类别的障碍物是否存在连接关系;
当确定所述第一类别的障碍物与所述第一类别的障碍物第二类别的障碍物存在连接关系时,根据所述第一类别的障碍物第二类别的障碍物的高度,确定所述第一类别的障碍物的高度。
所述处理器还可以用于执行如图6所示实施例中提供的其他步骤,在此不赘述。
实际应用中,该可移动平台可以实现为无人机等设备。以上各个实施例中的技术方案、技术特征在不相冲突的情况下均可以单独,或者进行组合,只要未超出本领域技术人员的认知范围,均属于本申请保护范围内的等同实施例。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (71)
1.一种障碍物检测方法,其特征在于,应用于无人机,所述方法包括:
获取所述无人机的作业场景图像;
识别所述作业场景图像中电线的位置和电线杆的位置;
根据所述电线的位置和所述电线杆的位置,确定所述电线与所述电线杆是否存在连接关系;
当确定所述电线与所述电线杆存在连接关系时,根据所述电线杆的高度,确定所述电线的高度。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述电线的高度调整所述无人机的最低飞行高度,以爬升越过障碍区域,所述障碍区域是包含所述电线的区域。
3.根据权利要求2所述的方法,其特征在于,所述最低飞行高度比所述电线的高度高设定值。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述电线和所述电线杆的位置和高度,生成三维地图。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述作业场景图像中存在连接在所述电线两端的两个电线杆;
所述根据所述电线杆的高度,确定所述电线的高度,包括:
确定所述电线的高度为目标电线杆的高度,所述目标电线杆是所述两个电线杆中高度最高的电线杆。
6.根据权利要求1至4中任一项所述的方法,其特征在于,所述作业场景图像中存在连接在所述电线一端的电线杆;
所述根据所述电线杆的高度,确定所述电线的高度,包括:
确定所述电线的高度为连接在所述电线一端的电线杆的高度。
7.根据权利要求1至4中任一项所述的方法,其特征在于,所述作业场景图像中存在连接在所述电线一端的电线杆;
所述方法还包括:
识别所述作业场景图像中多个作业对象的位置;
根据所述电线的位置,从所述多个作业对象中确定出邻接于所述电线的目标作业对象;
确定所述目标作业对象的高度;
所述根据所述电线杆的高度,确定所述电线的高度,包括:
根据连接在所述电线一端的电线杆的高度和所述目标作业对象的高度,确定所述电线的高度。
8.根据权利要求7所述的方法,其特征在于,所述根据连接在所述电线一端的电线杆的高度和所述目标作业对象的高度,确定所述电线的高度,包括:
若所述目标作业对象的高度低于连接在所述电线一端的电线杆的高度,则确定所述电线的高度为连接在所述电线一端的电线杆的高度。
9.根据权利要求1至4中任一项所述的方法,其特征在于,所述作业场景图像中不存在连接在所述电线两端的电线杆;
所述根据所述电线杆的高度,确定所述电线的高度,包括:
根据从所述作业场景图像中识别出的多个电线杆的位置和所述电线的位置,从所述多个电线杆中确定出距离所述电线最近的目标电线杆;
根据所述目标电线杆的高度,确定所述电线的高度。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述无人机的作业场景包括:农业植保场景;所述作业场景中的作业对象包括:植物。
11.根据权利要求1至10中任一项所述的方法,其特征在于,所述识别所述作业场景图像中电线的位置和电线杆的位置,包括:
将所述作业场景图像输入到神经网络模型中,通过所述神经网络模型对所述作业场景图像进行语义分割以识别出所述作业场景图像中电线的位置和电线杆的位置。
12.一种障碍物检测装置,其特征在于,所述障碍物检测装置设于无人机,所述障碍物检测装置包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器实现:
获取所述无人机的作业场景图像;
识别所述作业场景图像中电线的位置和电线杆的位置;
根据所述电线的位置和所述电线杆的位置,确定所述电线与所述电线杆是否存在连接关系;
当确定所述电线与所述电线杆存在连接关系时,根据所述电线杆的高度,确定所述电线的高度。
13.根据权利要求12所述的装置,其特征在于,所述处理器还用于:
根据所述电线的高度调整所述无人机的最低飞行高度,以爬升越过障碍区域,所述障碍区域是包含所述电线的区域。
14.根据权利要求13所述的装置,其特征在于,所述最低飞行高度比所述电线的高度高设定值。
15.根据权利要求12所述的装置,其特征在于,所述处理器还用于:
根据所述电线和所述电线杆的位置和高度,生成三维地图。
16.根据权利要求12至15中任一项所述的装置,其特征在于,所述作业场景图像中存在连接在所述电线两端的两个电线杆,所述处理器具体用于:确定所述电线的高度为目标电线杆的高度,所述目标电线杆是所述两个电线杆中高度最高的电线杆。
17.根据权利要求12至15中任一项所述的装置,其特征在于,所述作业场景图像中存在连接在所述电线一端的电线杆,所述处理器具体用于:确定所述电线的高度为连接在所述电线一端的电线杆的高度。
18.根据权利要求12至15中任一项所述的装置,其特征在于,所述作业场景图像中存在连接在所述电线一端的电线杆,所述处理器具体用于:识别所述作业场景图像中多个作业对象的位置;根据所述电线的位置,从所述多个作业对象中确定出邻接于所述电线的目标作业对象;确定所述目标作业对象的高度,根据连接在所述电线一端的电线杆的高度和所述目标作业对象的高度,确定所述电线的高度。
19.根据权利要求18所述的装置,其特征在于,所述处理器具体用于:
若所述目标作业对象的高度低于连接在所述电线一端的电线杆的高度,则确定所述电线的高度为连接在所述电线一端的电线杆的高度。
20.根据权利要求12至15中任一项所述的装置,其特征在于,所述作业场景图像中不存在连接在所述电线两端的电线杆,所述处理器具体用于:根据从所述作业场景图像中识别出的多个电线杆的位置和所述电线的位置,从所述多个电线杆中确定出距离所述电线最近的目标电线杆;根据所述目标电线杆的高度,确定所述电线的高度。
21.根据权利要求12至20中任一项所述的装置,其特征在于,所述无人机的作业场景包括:农业植保场景;所述作业场景中的作业对象包括:植物。
22.根据权利要求12至21中任一项所述的装置,其特征在于,所述处理器还用于:
将所述作业场景图像输入到神经网络模型中,通过所述神经网络模型对所述作业场景图像进行语义分割以识别出所述作业场景图像中电线的位置和电线杆的位置。
23.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有可执行代码,所述可执行代码用于实现权利要求1至11中任一项所述的障碍物检测方法。
24.一种无人机,其特征在于,包括:机体、动力系统、相机以及控制装置;
所述动力系统,设置于所述机体上,用于为所述无人机提供动力;
所述相机,设置于所述机体上,用于采集所述无人机的作业场景图像;
所述控制装置包括存储器和处理器;
所述存储器,用于存储可执行代码;
所述处理器,用于运行所述存储器中存储的所述可执行代码,以实现:
识别所述作业场景图像中电线的位置和电线杆的位置;
根据所述电线的位置和所述电线杆的位置,确定所述电线与所述电线杆是否存在连接关系;
当确定所述电线与所述电线杆存在连接关系时,根据所述电线杆的高度,确定所述电线的高度。
25.根据权利要求24所述的无人机,其特征在于,所述处理器还用于:
根据所述电线的高度调整所述无人机的最低飞行高度,以爬升越过障碍区域,所述障碍区域是包含所述电线的区域。
26.根据权利要求25所述的无人机,其特征在于,所述最低飞行高度比所述电线的高度高设定值。
27.根据权利要求24所述的无人机,其特征在于,所述处理器还用于:
根据所述电线和所述电线杆的位置和高度,生成三维地图。
28.根据权利要求24至27中任一项所述的无人机,其特征在于,所述作业场景图像中存在连接在所述电线两端的两个电线杆,所述处理器具体用于:确定所述电线的高度为目标电线杆的高度,所述目标电线杆是所述两个电线杆中高度最高的电线杆。
29.根据权利要求24至27中任一项所述的无人机,其特征在于,所述作业场景图像中存在连接在所述电线一端的电线杆,所述处理器具体用于:确定所述电线的高度为连接在所述电线一端的电线杆的高度。
30.根据权利要求24至27中任一项所述的无人机,其特征在于,所述作业场景图像中存在连接在所述电线一端的电线杆,所述处理器具体用于:识别所述作业场景图像中多个作业对象的位置;根据所述电线的位置,从所述多个作业对象中确定出邻接于所述电线的目标作业对象;确定所述目标作业对象的高度,根据连接在所述电线一端的电线杆的高度和所述目标作业对象的高度,确定所述电线的高度。
31.根据权利要求30所述的无人机,其特征在于,所述处理器具体用于:
若所述目标作业对象的高度低于连接在所述电线一端的电线杆的高度,则确定所述电线的高度为连接在所述电线一端的电线杆的高度。
32.根据权利要求24至27中任一项所述的无人机,其特征在于,所述作业场景图像中不存在连接在所述电线两端的电线杆,所述处理器具体用于:根据从所述作业场景图像中识别出的多个电线杆的位置和所述电线的位置,从所述多个电线杆中确定出距离所述电线最近的目标电线杆;根据所述目标电线杆的高度,确定所述电线的高度。
33.根据权利要求24至32中任一项所述的无人机,其特征在于,所述无人机的作业场景包括:农业植保场景;所述作业场景中的作业对象包括:植物。
34.根据权利要求24至33中任一项所述的无人机,其特征在于,所述处理器还用于:
将所述作业场景图像输入到神经网络模型中,通过所述神经网络模型对所述作业场景图像进行语义分割以识别出所述作业场景图像中电线的位置和电线杆的位置。
35.一种障碍物检测方法,其特征在于,应用于可移动平台,所述方法包括:
获取所述可移动平台的作业场景图像;
识别所述作业场景图像中第一类别的障碍物的位置和第二类别的障碍物的位置;
根据所述第一类别的障碍物的位置和所述第二类别的障碍物的位置,确定所述第一类别的障碍物与所述第二类别的障碍物是否存在连接关系;
当确定所述第一类别的障碍物与所述第二类别的障碍物存在连接关系时,根据所述第二类别的障碍物的高度,确定所述第一类别的障碍物的高度。
36.根据权利要求35所述的方法,其特征在于,所述方法还包括:
根据所述第一类别的障碍物的高度调整所述可移动平台的最低飞行高度,以爬升越过障碍区域,所述障碍区域是包含所述第一类别的障碍物的区域。
37.根据权利要求36所述的方法,其特征在于,所述最低飞行高度比所述第一类别的障碍物的高度高设定值。
38.根据权利要求35所述的方法,其特征在于,所述方法还包括:
根据所述第一类别的障碍物和所述第二类别的障碍物的位置和高度,生成三维地图。
39.根据权利要求35至38中任一项所述的方法,其特征在于,所述作业场景图像中存在连接在所述第一类别的障碍物两端的两个第二类别的障碍物;
所述根据所述第二类别的障碍物的高度,确定所述第一类别的障碍物的高度,包括:
确定所述第一类别的障碍物的高度为目标第二类别的障碍物的高度,所述目标第二类别的障碍物是所述两个第二类别的障碍物中高度最高的第二类别的障碍物。
40.根据权利要求35至38中任一项所述的方法,其特征在于,所述作业场景图像中存在连接在所述第一类别的障碍物一端的第二类别的障碍物;
所述根据所述第二类别的障碍物的高度,确定所述第一类别的障碍物的高度,包括:
确定所述第一类别的障碍物的高度为连接在所述第一类别的障碍物一端的第二类别的障碍物的高度。
41.根据权利要求35至38中任一项所述的方法,其特征在于,所述作业场景图像中存在连接在所述第一类别的障碍物一端的第二类别的障碍物;
所述方法还包括:
识别所述作业场景图像中多个作业对象的位置;
根据所述第一类别的障碍物的位置,从所述多个作业对象中确定出邻接于所述第一类别的障碍物的目标作业对象;
确定所述目标作业对象的高度;
所述根据所述第二类别的障碍物的高度,确定所述第一类别的障碍物的高度,包括:
根据连接在所述第一类别的障碍物一端的第二类别的障碍物的高度和所述目标作业对象的高度,确定所述第一类别的障碍物的高度。
42.根据权利要求41所述的方法,其特征在于,所述根据连接在所述第一类别的障碍物一端的第二类别的障碍物的高度和所述目标作业对象的高度,确定所述第一类别的障碍物的高度,包括:
若所述目标作业对象的高度低于连接在所述第一类别的障碍物一端的第二类别的障碍物的高度,则确定所述第一类别的障碍物的高度为连接在所述第一类别的障碍物一端的第二类别的障碍物的高度。
43.根据权利要求35至38中任一项所述的方法,其特征在于,所述作业场景图像中不存在连接在所述第一类别的障碍物两端的第二类别的障碍物;
所述根据所述第二类别的障碍物的高度,确定所述第一类别的障碍物的高度,包括:
根据从所述作业场景图像中识别出的多个第二类别的障碍物的位置和所述第一类别的障碍物的位置,从所述多个第二类别的障碍物中确定出距离所述第一类别的障碍物最近的目标第二类别的障碍物;
根据所述目标第二类别的障碍物的高度,确定所述第一类别的障碍物的高度。
44.根据权利要求35至43中任一项所述的方法,其特征在于,所述可移动平台的作业场景包括:农业植保场景;所述作业场景中的作业对象包括:植物。
45.根据权利要求35至44中任一项所述的方法,其特征在于,所述第一类别的障碍物包括:电线;所述第二类别的障碍物包括:电线杆。
46.根据权利要求35至45中任一项所述的方法,其特征在于,所述识别所述作业场景图像中第一类别的障碍物的位置和第二类别的障碍物的位置,包括:
将所述作业场景图像输入到神经网络模型中,通过所述神经网络模型对所述作业场景图像进行语义分割以识别出所述作业场景图像中第一类别的障碍物的位置和第二类别的障碍物的位置。
47.一种障碍物检测装置,其特征在于,所述障碍物检测装置设于可移动平台,所述障碍物检测装置包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器实现:
获取所述可移动平台的作业场景图像;
识别所述作业场景图像中第一类别的障碍物的位置和第一类别的障碍物第二类别的障碍物的位置;
根据所述第一类别的障碍物的位置和所述第一类别的障碍物第二类别的障碍物的位置,确定所述第一类别的障碍物与所述第一类别的障碍物第二类别的障碍物是否存在连接关系;
当确定所述第一类别的障碍物与所述第一类别的障碍物第二类别的障碍物存在连接关系时,根据所述第一类别的障碍物第二类别的障碍物的高度,确定所述第一类别的障碍物的高度。
48.根据权利要求47所述的装置,其特征在于,所述处理器还用于:
根据所述第一类别的障碍物的高度调整所述可移动平台的最低飞行高度,以爬升越过障碍区域,所述障碍区域是包含所述第一类别的障碍物的区域。
49.根据权利要求48所述的装置,其特征在于,所述最低飞行高度比所述第一类别的障碍物的高度高设定值。
50.根据权利要求47所述的装置,其特征在于,所述处理器还用于:
根据所述第一类别的障碍物和所述第一类别的障碍物第二类别的障碍物的位置和高度,生成三维地图。
51.根据权利要求47至50中任一项所述的装置,其特征在于,所述作业场景图像中存在连接在所述第一类别的障碍物两端的两个第一类别的障碍物第二类别的障碍物,所述处理器具体用于:确定所述第一类别的障碍物的高度为目标第一类别的障碍物第二类别的障碍物的高度,所述目标第一类别的障碍物第二类别的障碍物是所述两个第一类别的障碍物第二类别的障碍物中高度最高的第一类别的障碍物第二类别的障碍物。
52.根据权利要求47至50中任一项所述的装置,其特征在于,所述作业场景图像中存在连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物,所述处理器具体用于:确定所述第一类别的障碍物的高度为连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物的高度。
53.根据权利要求47至50中任一项所述的装置,其特征在于,所述作业场景图像中存在连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物,所述处理器具体用于:识别所述作业场景图像中多个作业对象的位置;根据所述第一类别的障碍物的位置,从所述多个作业对象中确定出邻接于所述第一类别的障碍物的目标作业对象;确定所述目标作业对象的高度,根据连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物的高度和所述目标作业对象的高度,确定所述第一类别的障碍物的高度。
54.根据权利要求53所述的装置,其特征在于,所述处理器具体用于:
若所述目标作业对象的高度低于连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物的高度,则确定所述第一类别的障碍物的高度为连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物的高度。
55.根据权利要求47至50中任一项所述的装置,其特征在于,所述作业场景图像中不存在连接在所述第一类别的障碍物两端的第一类别的障碍物第二类别的障碍物,所述处理器具体用于:根据从所述作业场景图像中识别出的多个第一类别的障碍物第二类别的障碍物的位置和所述第一类别的障碍物的位置,从所述多个第一类别的障碍物第二类别的障碍物中确定出距离所述第一类别的障碍物最近的目标第一类别的障碍物第二类别的障碍物;根据所述目标第一类别的障碍物第二类别的障碍物的高度,确定所述第一类别的障碍物的高度。
56.根据权利要求47至55中任一项所述的装置,其特征在于,所述可移动平台的作业场景包括:农业植保场景;所述作业场景中的作业对象包括:植物。
57.根据权利要求47至56中任一项所述的装置,其特征在于,所述第一类别的障碍物包括:电线;所述第二类别的障碍物包括:电线杆。
58.根据权利要求47至57中任一项所述的装置,其特征在于,所述处理器还用于:
将所述作业场景图像输入到神经网络模型中,通过所述神经网络模型对所述作业场景图像进行语义分割以识别出所述作业场景图像中第一类别的障碍物的位置和第一类别的障碍物第二类别的障碍物的位置。
59.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有可执行代码,所述可执行代码用于实现权利要求35至46中任一项所述的障碍物检测方法。
60.一种可移动平台,其特征在于,包括:机体、动力系统、相机以及控制装置;
所述动力系统,设置于所述机体上,用于为所述可移动平台提供动力;
所述相机,设置于所述机体上,用于采集所述可移动平台的作业场景图像;
所述控制装置包括存储器和处理器;
所述存储器,用于存储可执行代码;
所述处理器,用于运行所述存储器中存储的所述可执行代码,以实现:
识别所述作业场景图像中第一类别的障碍物的位置和第一类别的障碍物第二类别的障碍物的位置;
根据所述第一类别的障碍物的位置和所述第一类别的障碍物第二类别的障碍物的位置,确定所述第一类别的障碍物与所述第一类别的障碍物第二类别的障碍物是否存在连接关系;
当确定所述第一类别的障碍物与所述第一类别的障碍物第二类别的障碍物存在连接关系时,根据所述第一类别的障碍物第二类别的障碍物的高度,确定所述第一类别的障碍物的高度。
61.根据权利要求60所述的可移动平台,其特征在于,所述处理器还用于:
根据所述第一类别的障碍物的高度调整所述可移动平台的最低飞行高度,以爬升越过障碍区域,所述障碍区域是包含所述第一类别的障碍物的区域。
62.根据权利要求61所述的可移动平台,其特征在于,所述最低飞行高度比所述第一类别的障碍物的高度高设定值。
63.根据权利要求60所述的可移动平台,其特征在于,所述处理器还用于:
根据所述第一类别的障碍物和所述第一类别的障碍物第二类别的障碍物的位置和高度,生成三维地图。
64.根据权利要求60至63中任一项所述的可移动平台,其特征在于,所述作业场景图像中存在连接在所述第一类别的障碍物两端的两个第一类别的障碍物第二类别的障碍物,所述处理器具体用于:确定所述第一类别的障碍物的高度为目标第一类别的障碍物第二类别的障碍物的高度,所述目标第一类别的障碍物第二类别的障碍物是所述两个第一类别的障碍物第二类别的障碍物中高度最高的第一类别的障碍物第二类别的障碍物。
65.根据权利要求60至63中任一项所述的可移动平台,其特征在于,所述作业场景图像中存在连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物,所述处理器具体用于:确定所述第一类别的障碍物的高度为连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物的高度。
66.根据权利要求60至63中任一项所述的可移动平台,其特征在于,所述作业场景图像中存在连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物,所述处理器具体用于:识别所述作业场景图像中多个作业对象的位置;根据所述第一类别的障碍物的位置,从所述多个作业对象中确定出邻接于所述第一类别的障碍物的目标作业对象;确定所述目标作业对象的高度,根据连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物的高度和所述目标作业对象的高度,确定所述第一类别的障碍物的高度。
67.根据权利要求66所述的可移动平台,其特征在于,所述处理器具体用于:
若所述目标作业对象的高度低于连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物的高度,则确定所述第一类别的障碍物的高度为连接在所述第一类别的障碍物一端的第一类别的障碍物第二类别的障碍物的高度。
68.根据权利要求60至63中任一项所述的可移动平台,其特征在于,所述作业场景图像中不存在连接在所述第一类别的障碍物两端的第一类别的障碍物第二类别的障碍物,所述处理器具体用于:根据从所述作业场景图像中识别出的多个第一类别的障碍物第二类别的障碍物的位置和所述第一类别的障碍物的位置,从所述多个第一类别的障碍物第二类别的障碍物中确定出距离所述第一类别的障碍物最近的目标第一类别的障碍物第二类别的障碍物;根据所述目标第一类别的障碍物第二类别的障碍物的高度,确定所述第一类别的障碍物的高度。
69.根据权利要求60至63中任一项所述的可移动平台,其特征在于,所述可移动平台的作业场景包括:农业植保场景;所述作业场景中的作业对象包括:植物。
70.根据权利要求60至69中任一项所述的可移动平台,其特征在于,所述第一类别的障碍物包括:电线;所述第二类别的障碍物包括:电线杆。
71.根据权利要求60至70中任一项所述的可移动平台,其特征在于,所述处理器还用于:
将所述作业场景图像输入到神经网络模型中,通过所述神经网络模型对所述作业场景图像进行语义分割以识别出所述作业场景图像中第一类别的障碍物的位置和第一类别的障碍物第二类别的障碍物的位置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/117322 WO2022061632A1 (zh) | 2020-09-24 | 2020-09-24 | 障碍物检测方法、装置、无人机和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113454558A true CN113454558A (zh) | 2021-09-28 |
Family
ID=77808734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080011277.8A Pending CN113454558A (zh) | 2020-09-24 | 2020-09-24 | 障碍物检测方法、装置、无人机和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113454558A (zh) |
WO (1) | WO2022061632A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114913717A (zh) * | 2022-07-20 | 2022-08-16 | 成都天巡微小卫星科技有限责任公司 | 一种基于智能终端的便携式低空飞行防撞系统及方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116374203B (zh) * | 2023-06-06 | 2023-08-04 | 应急管理部沈阳消防研究所 | 一种系留式灭火无人机避障返航控制性能测试方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007099190A (ja) * | 2005-10-07 | 2007-04-19 | Hokkaido Broadcasting Co Ltd | ヘリコプター用送電線鉄塔警告表示システム |
WO2017070856A1 (zh) * | 2015-10-28 | 2017-05-04 | 深圳市大疆创新科技有限公司 | 一种无人机的线缆避障方法和系统及无人机 |
CN108319982A (zh) * | 2018-02-06 | 2018-07-24 | 贵州电网有限责任公司 | 一种电力巡线无人机多传感器数据融合障碍物检测方法 |
CN108665464A (zh) * | 2018-04-03 | 2018-10-16 | 电子科技大学 | 一种基于形态学的高压电塔及高压电线的异物检测方法 |
CN109541613A (zh) * | 2018-11-26 | 2019-03-29 | 国网宁夏电力有限公司银川供电公司 | 基于单线激光测距的架空高压导线巡检系统及巡检方法 |
CN110133440A (zh) * | 2019-05-27 | 2019-08-16 | 国电南瑞科技股份有限公司 | 基于杆塔模型匹配及视觉导航的电力无人机及巡检方法 |
CN111104861A (zh) * | 2019-11-20 | 2020-05-05 | 广州极飞科技有限公司 | 用于确定电线位置的方法和设备以及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9238507B2 (en) * | 2011-11-03 | 2016-01-19 | Sandel Avionics, Inc. | Terrain awareness system with obstruction alerts |
CN103135550B (zh) * | 2013-01-31 | 2015-05-20 | 南京航空航天大学 | 用于电力巡线的无人机多重避障控制方法 |
CN104865971B (zh) * | 2015-05-26 | 2017-07-28 | 广西大学 | 一种输电线路巡检无人机的控制方法及无人机 |
CN110989671A (zh) * | 2019-12-11 | 2020-04-10 | 中国南方电网有限责任公司超高压输电公司大理局 | 一种基于无人机的输电线路及杆塔拍摄系统及方法 |
-
2020
- 2020-09-24 CN CN202080011277.8A patent/CN113454558A/zh active Pending
- 2020-09-24 WO PCT/CN2020/117322 patent/WO2022061632A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007099190A (ja) * | 2005-10-07 | 2007-04-19 | Hokkaido Broadcasting Co Ltd | ヘリコプター用送電線鉄塔警告表示システム |
WO2017070856A1 (zh) * | 2015-10-28 | 2017-05-04 | 深圳市大疆创新科技有限公司 | 一种无人机的线缆避障方法和系统及无人机 |
CN107077143A (zh) * | 2015-10-28 | 2017-08-18 | 深圳市大疆创新科技有限公司 | 一种无人机的线缆避障方法和系统及无人机 |
CN108319982A (zh) * | 2018-02-06 | 2018-07-24 | 贵州电网有限责任公司 | 一种电力巡线无人机多传感器数据融合障碍物检测方法 |
CN108665464A (zh) * | 2018-04-03 | 2018-10-16 | 电子科技大学 | 一种基于形态学的高压电塔及高压电线的异物检测方法 |
CN109541613A (zh) * | 2018-11-26 | 2019-03-29 | 国网宁夏电力有限公司银川供电公司 | 基于单线激光测距的架空高压导线巡检系统及巡检方法 |
CN110133440A (zh) * | 2019-05-27 | 2019-08-16 | 国电南瑞科技股份有限公司 | 基于杆塔模型匹配及视觉导航的电力无人机及巡检方法 |
CN111104861A (zh) * | 2019-11-20 | 2020-05-05 | 广州极飞科技有限公司 | 用于确定电线位置的方法和设备以及存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114913717A (zh) * | 2022-07-20 | 2022-08-16 | 成都天巡微小卫星科技有限责任公司 | 一种基于智能终端的便携式低空飞行防撞系统及方法 |
CN114913717B (zh) * | 2022-07-20 | 2022-09-27 | 成都天巡微小卫星科技有限责任公司 | 一种基于智能终端的便携式低空飞行防撞系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022061632A1 (zh) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10929664B2 (en) | Visual observer of unmanned aerial vehicle for monitoring horticultural grow operations | |
CN112710318A (zh) | 地图生成方法、路径规划方法、电子设备以及存储介质 | |
EP2772814A2 (en) | Tree metrology system | |
US20210327287A1 (en) | Uav path planning method and device guided by the safety situation, uav and storage medium | |
CN110770791A (zh) | 一种基于点云地图的图像边界获取方法、设备及飞行器 | |
WO2020103109A1 (zh) | 一种地图生成方法、设备、飞行器及存储介质 | |
CN110832494A (zh) | 一种语义生成方法、设备、飞行器及存储介质 | |
CN113454558A (zh) | 障碍物检测方法、装置、无人机和存储介质 | |
WO2023272633A1 (zh) | 无人机的控制方法、无人机、飞行系统及存储介质 | |
Mendes et al. | Localization based on natural features detector for steep slope vineyards | |
CN114428515A (zh) | 一种无人机避障方法、装置、无人机及存储介质 | |
CN112861755A (zh) | 一种目标多类别实时分割方法及系统 | |
CN118034352A (zh) | 无人机避障方法、避障装置和无人机 | |
CN117516513A (zh) | 智能割草机路径规划方法、装置、设备及存储介质 | |
CN115686073B (zh) | 一种基于无人机的输电线路巡检控制方法及系统 | |
CN113574487A (zh) | 无人机控制方法、装置及无人机 | |
CN113966496A (zh) | 控制方法、控制装置、可移动平台与计算机可读存储介质 | |
AU2021105629A4 (en) | System and Method for Monitoring, Detecting and Counting Fruits in a Field | |
CN114740878B (zh) | 基于计算机图像识别的无人机飞行障碍物探测方法 | |
CN116700228A (zh) | 机器人路径规划方法、电子设备及可读存储介质 | |
CN114637332A (zh) | 一种无人机的农药喷淋方法、系统和可读存储介质 | |
CN113273173A (zh) | 可移动平台的巡检方法、装置、可移动平台及存储介质 | |
CN111611897A (zh) | 一种基于相机网络的无人机侦测系统及方法 | |
WO2021146971A1 (zh) | 基于可通行空域判断的飞行控制方法、装置及设备 | |
CN116301020A (zh) | 障碍物识别方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210928 |
|
WD01 | Invention patent application deemed withdrawn after publication |