CN109933092B - 飞行器避障方法、装置、可读存储介质和飞行器 - Google Patents

飞行器避障方法、装置、可读存储介质和飞行器 Download PDF

Info

Publication number
CN109933092B
CN109933092B CN201711364355.9A CN201711364355A CN109933092B CN 109933092 B CN109933092 B CN 109933092B CN 201711364355 A CN201711364355 A CN 201711364355A CN 109933092 B CN109933092 B CN 109933092B
Authority
CN
China
Prior art keywords
aircraft
obstacle
image
obstacle avoidance
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711364355.9A
Other languages
English (en)
Other versions
CN109933092A (zh
Inventor
门春雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN201711364355.9A priority Critical patent/CN109933092B/zh
Publication of CN109933092A publication Critical patent/CN109933092A/zh
Application granted granted Critical
Publication of CN109933092B publication Critical patent/CN109933092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提出一种飞行器避障方法、装置和飞行器,领域飞行器技术领域。本申请的一种飞行器避障方法包括:利用位于飞行器上单一方向的相机获取前进方向的图像;根据所述图像确定障碍物位置;根据障碍物的位置和尺寸,以及目标航路点位置、当前位置的预定直线路径方向生成势场;根据所述势场规划避障路线,其中,所述避障路线的行进方向在所述相机的视角范围内。通过这样的方法,能够根据飞行器单一方向部署的相机获取的图像确定障碍物,规划行进方向在相机的视角范围内的避障路线,从而避免了后退、侧移等避障动作,只需处理单方向的视觉图像,且保证了飞行器向前的行进方向,少走弯路和减速,提高了飞行器货物配送效率。

Description

飞行器避障方法、装置、可读存储介质和飞行器
技术领域
本申请涉及领域飞行器技术领域,特别是一种飞行器避障方法、装置和飞行器。
背景技术
目前,在飞行器避障领域有多种技术,包括采用超声波、红外、雷达等主动式传感器,以及采用视觉传感器等被动传感器。
使用超声波传感器的信息处理简单、速度快且易于实时控制,但是超声波在飞行器避障的应用中,存在干扰较强、作用距离较短且测距精度不高等缺点;相比较超声波传感器,红外传感器的方向性较强、体积较小且响应速度快,但易受到光照的影响,当目标物的颜色接近透明时反射光会更弱;基于雷达测距的障碍物检测方法能够精确获取物体的位置信息,具有高精度和高解析度等优点,然而对于微小型飞行器而言雷达的成本较高而且重量较重,不利于实现设备的小型化。
视觉传感器(摄像机)具有重量轻、体积小和低成本的优点,适合在小型飞行器上使用,并且软硬件一体化的智能摄像机产品逐步成熟,摄像机提供的视觉信息非常丰富,与超声波传感器和红外传感器相比更加可靠。
发明内容
申请人发现,现有技术中为了能够使飞行器在遇到障碍物时安全执行后退、侧移等规避动作,需要在飞行器的各个方向安装传感器,当遇到障碍物时从各个方向寻找避障角度。这样的方案一方面会导致飞行器成本的增加;另一方面,后退、侧移等规避动作降低了飞行器的行驶速度,降低了飞行器货物配送效率。
本申请的一个目的在于提出一种基于视觉传感器的飞行器避障方案,能够降低飞行器成本,保证飞行器货物配送效率。
根据本申请的一个实施例,提出一种飞行器避障方法,包括:利用位于飞行器上单一方向的相机获取前进方向的图像;根据图像确定障碍物位置;根据障碍物的位置和尺寸,以及目标航路点位置、当前位置的预定直线路径方向生成势场;根据势场规划避障路线,其中,避障路线的行进方向在相机的视角范围内。
可选地,相机包括双目相机,图像包括双目视觉图像;根据图像确定障碍物位置包括:确定图像中的障碍物;通过双目坐标系标定确定障碍物的深度信息;基于障碍物在图像中的尺寸和深度信息确定障碍物的尺寸。
可选地,确定图像中的障碍物包括:将图像分割成多个网格;对每个网格进行障碍物识别并用窗口框取;确定窗口在图像坐标系中的位置和尺寸。
可选地,势场包括:基于目标航路点生成的目标航路点吸引势场;基于当前位置的预定直线路径生成的直线路径吸引势场;和基于障碍物生成的障碍物排斥势场。
可选地,避障路线包括下一目标点的位置;飞行器避障方法还包括:飞行器从当前位置沿直线行进至下一目标点。
可选地,还包括:飞行器旋转使相机的图像采集方向正对下一目标点。
通过这样的方法,能够根据飞行器单一方向部署的相机获取的图像确定障碍物,规划行进方向在相机的视角范围内的避障路线,从而避免了后退、侧移等避障动作,只需处理单方向的视觉图像,且保证了飞行器向前的行进方向,少走弯路和减速,提高了飞行器货物配送效率。
根据本申请的另一个实施例,提出一种飞行器避障装置,包括:位于飞行器上单一方向的相机,用于获取前进方向的图像;图像处理器,用于根据图像确定障碍物位置;和,路线规划控制器,用于根据障碍物的位置和尺寸,以及目标航路点位置、当前位置的预定直线路径方向生成势场,并根据势场规划避障路线,其中,避障路线的行进方向在相机的视角范围内。
可选地,相机包括双目相机,图像包括双目视觉图像;图像处理器包括:障碍物确定单元,用于确定图像中的障碍物;深度确定单元,用于通过双目坐标系标定确定障碍物的深度信息;尺寸确定单元,用于基于障碍物在图像中的尺寸和深度信息确定障碍物的尺寸。
可选地,障碍物确定单元用于:将图像分割成多个网格;对每个网格进行障碍物识别并用窗口框取;确定窗口在图像坐标系中的位置和尺寸。
可选地,势场包括:基于目标航路点生成的目标航路点吸引势场;基于当前位置的预定直线路径生成的直线路径吸引势场;和基于障碍物生成的障碍物排斥势场。
可选地,避障路线包括下一目标点的位置;飞行器避障装置还包括驱动模块,用于驱动飞行器从当前位置沿直线行进至下一目标点。
可选地,驱动模块还用于驱动飞行器旋转使相机的图像采集方向正对下一目标点。
根据本申请的又一个实施例,提出一种飞行器避障装置,包括:存储器;以及耦接至存储器的处理器,处理器被配置为基于存储在存储器的指令执行上文中提到的任意一种飞行器避障方法。
这样的飞行器避障装置能够根据飞行器单一方向部署的相机获取的图像确定障碍物,规划行进方向在相机的视角范围内的避障路线,从而避免了后退、侧移等避障动作,只需处理单方向的视觉图像,且保证了飞行器向前的行进方向,少走弯路和减速,提高了飞行器货物配送效率。
根据本申请的再一个实施例,提出一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现上文中提到的任意一种飞行器避障方法的步骤。
这样的计算机可读存储介质能够通过执行其上的程序,能够根据飞行器单一方向部署的相机获取的图像确定障碍物,规划行进方向在相机的视角范围内的避障路线,从而避免了后退、侧移等避障动作,只需处理单方向的视觉图像,且保证了飞行器向前的行进方向,少走弯路和减速,提高了飞行器货物配送效率。
另外,根据本申请的一个实施例,提出一种飞行器,包括上文中提到的任意一种飞行器避障装置。
这样的飞行器能够根据飞行器单一方向部署的相机获取的图像确定障碍物,规划行进方向在相机的视角范围内的避障路线,从而避免了后退、侧移等避障动作,只需处理单方向的视觉图像,且保证了飞行器向前的行进方向,少走弯路和减速,提高了飞行器货物配送效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请的飞行器避障方法的一个实施例的流程图。
图2为本申请的飞行器避障方法中确定障碍物位置的一个实施例的流程图。
图3为本申请的飞行器避障方法中进行深度确定的一个实施例的示意图。
图4为本申请的飞行器避障方法中进行避障路线规划的一个实施例的流程图。
图5A为本申请的飞行器避障方法中进行避障路线规划的一个实施例的原理示意图。
图5B为本申请的飞行器避障方法中进行避障路线规划的一个实施例的示意图。
图6为本申请的飞行器避障装置的一个实施例的示意图。
图7为本申请的飞行器避障装置的另一个实施例的示意图。
图8为本申请的飞行器避障装置的又一个实施例的示意图。
图9为本申请的飞行器的一个实施例的示意图。
具体实施方式
下面通过附图和实施例,对本申请的技术方案做进一步的详细描述。
本申请的飞行器避障方法的一个实施例的流程图如图1所示。
在步骤101中,利用位于飞行器单一方向的相机获取图像。在一个实施例中,只在飞行器预定前进方向面(如飞行器头部或正面)布置相机,相机捕获飞行器正面视角的图像。飞行器的其他面无需部署相机。在一个实施例中,由于飞行器的正面方向朝向其运动路径的方向,因此相机获取的图像为飞行器运动方向的图像。
在步骤102中,根据图像确定障碍物位置。在一个实施例中,可以通过确定图像中每个像素点的深度的方式确定障碍物;在另一个实施例中,还可以采用图像处理方法提取出图像中不同于背景图像的点,确定障碍物。
在步骤103中,根据障碍物位置规划避障路线,其中,避障路线的行进方向在飞行器前进方向的相机的视角范围内,飞行器在按照避障路线运动时无需刹停、侧移或后退,仅需要一定的转弯,其运动路径依然具有沿预定路径方向的分量。在一个实施例中,由于飞行器在飞行过程中受到各种障碍物的影响,其当前的位置不一定位于源位置与目的位置之间预定的路线上,因此飞行器的飞行受到多个因素的影响,包括目标航路点的位置,当前位置及其航向,以及障碍物。在一个实施例中,可以基于上述因素构建虚拟的势场,进而确定飞行器的运动路线,从而能够根据飞行器运动的特点构建虚拟的势场,采用场强理论对飞行器的运动进行路径规划,从而达到飞行器平滑避障的效果。
通过这样的方法,能够根据飞行器单一方向部署的相机获取的图像确定障碍物,规划行进方向在相机的视角范围内的避障路线,从而避免了后退、侧移等避障动作,只需处理单方向的视觉图像,且保证了飞行器向前的行进方向,少走弯路和减速,提高了飞行器货物配送效率。
飞行器避障方法中确定障碍物位置的一个实施例的流程图如图2 所示。
在步骤201中,确定图像中的障碍物,该图像可以为双目视觉图像。在一个实施例中,可以先对图像进行网格划分处理,将单个图像划分为多个网格,如划分为7*7的网格,进而对每个网格进行障碍物识别,并用窗口框取,障碍物位于窗口内且窗口的边与障碍物相切,确定窗口在图像坐标系中的位置和尺寸。在一个实施例中,还可以对框取的多个窗口进行筛选,如删除不会对飞行器的运动造成障碍的窗口等,得到目标窗口,进而确定目标窗口在图像坐标系中的位置和尺寸。
在步骤202中,通过双目坐标系标定确定障碍物的深度信息。在一个实施例中,如图3所示,左边的框图为左视图,右边的框图为右视图;OL和OR分别为左相机和右相机的光轴,P为目标点(如障碍物上的一个或多个点),P(x,y,z)点在左、右视图上的投影分别为Pleft和Pright,B为相机的基线,由图3可得几何关系:
Figure BDA0001512551590000061
其中,f为焦距。视差D为Pleft和Pright两点之间的距离,即 D=Xleft-Xright,则点P在平视模型系统下的三维坐标如下:
Figure BDA0001512551590000071
在步骤203中,基于障碍物在图像中的尺寸和深度信息确定障碍物的尺寸。在一个实施例中,利用窗口的尺寸,基于相机的尺寸参数和小孔成像原理能够计算出障碍物的尺寸。
现有技术中,往往致力于得到稠密的匹配结果以获得整幅图像的深度图,在此深度图的基础上再进行图像分割,得到障碍物区域,这样的运算量大,不利于飞行器快速反应。通过本发明实施例中的方法,能够先基于单目图像的处理结果确定障碍物,进而只进行障碍物的深度提取,从而降低了运算量,提高了飞行器的反应速度。
在一个实施例中,可以采用YOLO(You Only Look Once,只看一眼)算法确定图像中的障碍物,并确定其坐标和尺寸,在YOLO算法中,其图像分类模型可以通过GoogleNet实现,便于推广应用。
本申请的飞行器避障方法中进行避障路线规划的一个实施例的流程图如图4所示。
在步骤401中,基于目标航路点生成目标航路点吸引势场。由于飞行器的最终目标是目标航路点,因此该目标航路点对飞行器具有吸引作用,可以构建吸引势场。
在步骤402中,基于当前位置的预定直线路径生成直线路径吸引势场。由于飞行器在当前位置、当前方向上具有速度,出于运动惯性的影响,可以构建吸引势场。
在步骤403中,基于障碍物的位置和尺寸生成障碍物排斥势场。由于飞行器避障的目的是避开障碍物,因此以障碍物为中心构建排斥势场,场强可以与障碍物的尺寸有关。
上述步骤401~403可更改执行顺序,或并行执行。
在步骤404中,根据目标航路点吸引势场、直线路径吸引势场和障碍物排斥势场规划避障路线。
通过这样的方法,能够根据飞行器运动的特点和可能造成影响的因素构建较为完备的虚拟的势场,采用场强理论对飞行器的运动进行路径规划,从而达到飞行器平滑避障的效果,保证了飞行器向前的行进方向,少走弯路和减速,提高了飞行器货物配送效率。
本申请的飞行器避障方法中进行避障路线规划的一个实施例的原理示意图如图5A所示。其中p是飞行器当前位置,pwp是目标航路点,pwp,l是上一个目标航路点,在无障碍物的情况下飞行器在下一时刻的期望位置pd。pwp,perp为p点到pwp与pwp,l连线的垂足。
Figure BDA0001512551590000081
从而
p-pwp,perp=A(p-pwp)
其中,
Figure BDA0001512551590000082
定义
Figure BDA0001512551590000083
为沿
Figure BDA0001512551590000084
方向分布的向量场。考虑到饱和处理,李雅普诺夫函数可以设计为:
Figure BDA0001512551590000085
其中k0,k1,k2∈{0}∪R+,a0∈R+,p’=v,v’=u,a0为初始位置常数。对V1求一阶导数得
Figure BDA0001512551590000086
如果虚拟控制量
Figure BDA0001512551590000087
则V’1=-vTsatgd(v,a1),
当且仅当v=03*1时V’1=0,而v=03*1意味着
Figure BDA0001512551590000091
根据不变集原理可知系统将全局收敛到(P,V),其中P是上式的解,V=03×1。调节参数k0,k1,k2可以调节多旋翼靠近到直线航路和靠近到目标航路点的快慢,当k1越大时靠近直线路径的速度越快。将虚拟控制量写成:
Figure BDA0001512551590000092
其中
Figure BDA0001512551590000093
当1/k′1=k0=k1=1时,Pd如图3中所示。
如图5B所示,当场景中存在障碍物P0,i时(i为整数,0<i≤图像中障碍物的数量),期望的目标位置Pd可表示为
Pd=p+k1pd,waypoont,path+k3pd,obstacle
其中,
pd,waypoint,path=satgd(k1(pwp-p)+k2(pwp,perp-p),a0)
Figure BDA0001512551590000094
Figure BDA0001512551590000095
若没有障碍物时飞行器会沿着p→pd,waypoint,path→pd’运动,在针对p0,i避障后,飞行器会沿着p→pd运动,可以看出,避障处理后飞行器与障碍物之间的距离更远。
在一个实施例中,当规划完避障路径后,飞行器将按照避障路线规划确定的下一目标点的位置沿直线行进,从而实现快速避障。
在一个实施例中,在确定避障路径后,飞行器可以逐渐转向或立即原地转向,使得预定前进方向面,即相机采集图像面正对下一目标点,从而保证飞行器的视角正对其运动路径的正前方,确保能够获取运动方向上较大范围的图像,提高避障的可靠性。
本申请的飞行器避障装置的一个实施例的示意图如图6所示。相机61位于飞行器单一方向,能够获取前进方向的图像。相机捕获飞行器正面视角的图像,飞行器的其他面无需部署相机。在一个实施例中,由于飞行器的正面方向朝向其运动路径的方向,因此相机获取的图像为飞行器运动方向的图像。图像处理器62能够根据图像确定障碍物位置。在一个实施例中,可以通过确定图像中每个像素点的深度的方式确定障碍物;在另一个实施例中,还可以采用图像处理方法提取出图像中不同于背景图像的点,确定障碍物。路线规划控制器63能够根据障碍物位置规划避障路线,其中,避障路线的行进方向在飞行器相机的视角范围内,飞行器在按照避障路线运动时无需刹停、侧移或后退,仅需要一定的转弯,其运动路径依然具有沿预定路径方向的分量。在一个实施例中,由于飞行器在飞行过程中受到各种障碍物的影响,其当前的位置不一定位于源位置与目的位置之间预定的路线上,因此飞行器的飞行受到多个因素的影响,包括目标航路点的位置,当前位置及其航向,以及障碍物。在一个实施例中,可以基于上述因素构建虚拟的势场,进而确定飞行器的运动路线,从而能够根据飞行器运动的特点构建虚拟的势场,采用场强理论对飞行器的运动进行路径规划,从而达到飞行器平滑避障的效果。
这样的飞行器避障装置能够根据飞行器单一方向部署的相机获取的图像确定障碍物,规划行进方向在相机的视角范围内的避障路线,从而避免了后退、侧移等避障动作,只需处理单方向的视觉图像,且保证了飞行器向前的行进方向,少走弯路和减速,提高了飞行器货物配送效率。
在一个实施例中,相机可以是双目相机,其获取的为双目视觉图像。图像处理器62包括障碍物确定单元、深度确定单元和尺寸确定单元。障碍物确定单元能够确定图像中的障碍物。在一个实施例中,可以先对图像进行网格划分处理,将单个图像划分为多个网格,如划分为7*7的网格,进而对每个网格进行障碍物识别,并用窗口框取,障碍物位于窗口内且窗口的边与障碍物相切,确定窗口在图像坐标系中的位置和尺寸。深度确定单元能够通过双目坐标系标定确定障碍物的深度信息。尺寸确定单元能够基于障碍物在图像中的尺寸和深度信息确定障碍物的尺寸。
这样的飞行器避障装置能够先基于单目图像的处理结果确定障碍物,进而只进行障碍物的深度提取,从而降低了运算量,提高了飞行器的反应速度
在一个实施例中,路线规划控制器可以包括势场确定单元和规划单元。势场确定单元能够基于目标航路点生成目标航路点吸引势场、基于当前位置的预定直线路径生成直线路径吸引势场,以及基于障碍物的位置和尺寸生成障碍物排斥势场。规划单元能够根据目标航路点吸引势场、直线路径吸引势场和障碍物排斥势场规划避障路线。在一个实施例中,可以采用如图5A、5B所示的方式确定避障路线。
这样的飞行器避障装置能够根据飞行器运动的特点构建虚拟的势场,采用场强理论对飞行器的运动进行路径规划,从而达到飞行器平滑避障的效果,保证了飞行器向前的行进方向,少走弯路和减速,提高了飞行器货物配送效率。
在一个实施例中,如图6所示,飞行器避障装置还可以包括驱动模块64,能够驱动飞行器从当前位置沿直线行进至下一目标点,从而实现快速避障。
在一个实施例中,在确定避障路径后,驱动模块64可以驱动飞行器逐渐转向或立即原地转向,使得预定前进方向面,即相机采集图像面正对下一目标点,从而保证飞行器的视角正对其运动路径的正前方,确保能够获取运动方向上较大范围的图像,提高避障的可靠性。
本申请飞行器避障装置的一个实施例的结构示意图如图7所示。飞行器避障装置包括存储器710和处理器720。其中:存储器710可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储上文中飞行器避障方法的对应实施例中的指令。处理器720耦接至存储器 710,可以作为一个或多个集成电路来实施,例如微处理器或微控制器。该处理器120用于执行存储器中存储的指令,能够降低飞行器成本和保证飞行器货物配送效率。
在一个实施例中,还可以如图8所示,飞行器避障装置800包括存储器810和处理器820。处理器820通过BUS总线830耦合至存储器810。该飞行器避障装置800还可以通过存储接口840连接至外部存储装置850以便调用外部数据,还可以通过网络接口860连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。
在该实施例中,通过存储器存储数据指令,再通过处理器处理上述指令,能够实降低飞行器成本和保证飞行器货物配送效率。
在另一个实施例中,一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现飞行器避障方法对应实施例中的方法的步骤。本领域内的技术人员应明白,本申请的实施例可提供为方法、装置、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请的飞行器的一个实施例的示意图如图9所示。飞行器避障装置93可以为上文中任意一种飞行器避障装置。飞行器还可以包括飞行设备91,如多旋翼。动力设备92能够为飞行器提供能源。
这样的飞行器能够根据单一方向部署的相机获取的图像确定障碍物,规划行进方向在相机的视角范围内的避障路线,从而避免了后退、侧移等避障动作,只需处理单方向的视觉图像,且保证了飞行器向前的行进方向,少走弯路和减速,提高了飞行器货物配送效率。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/ 或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此,已经详细描述了本申请。为了避免遮蔽本申请的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本申请的方法以及装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本申请的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本申请实施为记录在记录介质中的程序,这些程序包括用于实现根据本申请的方法的机器可读指令。因而,本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
最后应当说明的是:以上实施例仅用以说明本申请的技术方案而非对其限制;尽管参照较佳实施例对本申请进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本申请的具体实施方式进行修改或者对部分技术特征进行等同替换;而不脱离本申请技术方案的精神,其均应涵盖在本申请请求保护的技术方案范围当中。

Claims (13)

1.一种飞行器避障方法,包括:
利用位于飞行器上单一方向的相机获取前进方向的图像;
根据所述图像确定障碍物位置和尺寸;
根据障碍物的位置和尺寸,以及目标航路点位置、当前位置的预定直线路径方向生成势场;
根据所述势场规划避障路线,其中,所述避障路线的行进方向在所述相机的视角范围内;
其中,
所述相机包括双目相机,所述图像包括双目视觉图像;
所述根据所述图像确定障碍物位置和尺寸包括:
确定图像中的障碍物;
通过双目坐标系标定确定所述障碍物的深度信息;
基于所述障碍物在所述图像中的尺寸和所述深度信息确定所述障碍物的尺寸。
2.根据权利要求1所述的方法,其中,所述确定图像中的障碍物包括:
将所述图像分割成多个网格;
对每个所述网格进行障碍物识别并用窗口框取;
确定所述窗口在图像坐标系中的位置和尺寸。
3.根据权利要求1所述的方法,其中,所述势场包括:
基于目标航路点生成的目标航路点吸引势场;
基于当前位置的预定直线路径生成的直线路径吸引势场;和
基于所述障碍物生成的障碍物排斥势场。
4.根据权利要求3所述的方法,其中,
所述避障路线包括下一目标点的位置;
所述飞行器避障方法还包括:所述飞行器从当前位置沿直线行进至所述下一目标点。
5.根据权利要求4所述的方法,还包括:
所述飞行器旋转使所述相机的图像采集方向正对所述下一目标点。
6.一种飞行器避障装置,包括:
位于飞行器上单一方向的相机,用于获取前进方向的图像;
图像处理器,用于根据所述图像确定障碍物位置和尺寸;和,
路线规划控制器,用于根据障碍物的位置和尺寸,以及目标航路点位置、当前位置的预定直线路径方向生成势场,并根据所述势场规划避障路线,其中,所述避障路线的行进方向在所述相机的视角范围内;
其中,
所述相机包括双目相机,所述图像包括双目视觉图像;
所述图像处理器包括:
障碍物确定单元,用于确定图像中的障碍物;
深度确定单元,用于通过双目坐标系标定确定所述障碍物的深度信息;
尺寸确定单元,用于基于所述障碍物在所述图像中的尺寸和所述深度信息确定所述障碍物的尺寸。
7.根据权利要求6所述的飞行器避障装置,其中,所述障碍物确定单元用于:
将所述图像分割成多个网格;
对每个所述网格进行障碍物识别并用窗口框取;
确定所述窗口在图像坐标系中的位置和尺寸。
8.根据权利要求6所述的飞行器避障装置,其中,所述势场包括:
基于目标航路点生成的目标航路点吸引势场;
基于当前位置的预定直线路径生成的直线路径吸引势场;和
基于所述障碍物生成的障碍物排斥势场。
9.根据权利要求6或8所述的飞行器避障装置,其中,
所述避障路线包括下一目标点的位置;
所述飞行器避障装置还包括驱动模块,用于驱动所述飞行器从当前位置沿直线行进至所述下一目标点。
10.根据权利要求9所述的飞行器避障装置,其中,所述驱动模块还用于驱动所述飞行器旋转使所述相机的图像采集方向正对所述下一目标点。
11.一种飞行器避障装置,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至5任一项所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现权利要求1至5任意一项所述的方法的步骤。
13.一种飞行器,包括权利要求6~11任意一项所述的飞行器避障装置。
CN201711364355.9A 2017-12-18 2017-12-18 飞行器避障方法、装置、可读存储介质和飞行器 Active CN109933092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711364355.9A CN109933092B (zh) 2017-12-18 2017-12-18 飞行器避障方法、装置、可读存储介质和飞行器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711364355.9A CN109933092B (zh) 2017-12-18 2017-12-18 飞行器避障方法、装置、可读存储介质和飞行器

Publications (2)

Publication Number Publication Date
CN109933092A CN109933092A (zh) 2019-06-25
CN109933092B true CN109933092B (zh) 2022-07-05

Family

ID=66982504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711364355.9A Active CN109933092B (zh) 2017-12-18 2017-12-18 飞行器避障方法、装置、可读存储介质和飞行器

Country Status (1)

Country Link
CN (1) CN109933092B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112484692B (zh) * 2020-11-05 2023-01-03 江西洪都航空工业集团有限责任公司 一种飞行器与云层相对高度视觉检测方法和装置
CN115840459B (zh) * 2023-01-04 2023-05-16 北京科技大学 一种面向扑翼飞行器的单目视觉避障系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN105974917A (zh) * 2016-05-11 2016-09-28 江苏大学 一种基于新型人工势场法的车辆避障路径规划研究方法
WO2017168423A1 (en) * 2016-03-30 2017-10-05 Aerialguard Ltd System and method for autonomous guidance of vehicles
WO2017197556A1 (en) * 2016-05-16 2017-11-23 SZ DJI Technology Co., Ltd. Systems and methods for coordinating device actions

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9752878B2 (en) * 2014-12-09 2017-09-05 Sikorsky Aircraft Corporation Unmanned aerial vehicle control handover planning
CN205049143U (zh) * 2015-10-22 2016-02-24 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统
CN106933243A (zh) * 2015-12-30 2017-07-07 湖南基石信息技术有限公司 一种基于双目视觉的无人机实时避障系统及方法
CN105761265A (zh) * 2016-02-23 2016-07-13 英华达(上海)科技有限公司 利用影像深度信息提供避障的方法及无人飞行载具
WO2018058442A1 (zh) * 2016-09-29 2018-04-05 深圳市大疆创新科技有限公司 路径规划的方法、装置、飞行控制系统、全方位避障系统与无人机
CN107102650B (zh) * 2017-05-27 2020-01-31 河南科技大学 一种适用于高速环境的无人机动态路径规划方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
WO2017168423A1 (en) * 2016-03-30 2017-10-05 Aerialguard Ltd System and method for autonomous guidance of vehicles
CN105974917A (zh) * 2016-05-11 2016-09-28 江苏大学 一种基于新型人工势场法的车辆避障路径规划研究方法
WO2017197556A1 (en) * 2016-05-16 2017-11-23 SZ DJI Technology Co., Ltd. Systems and methods for coordinating device actions

Also Published As

Publication number Publication date
CN109933092A (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
US11704812B2 (en) Methods and system for multi-target tracking
US20210319575A1 (en) Target positioning method and device, and unmanned aerial vehicle
CA2950791C (en) Binocular visual navigation system and method based on power robot
CN103925920B (zh) 一种基于图像透视的微型无人机室内自主导航方法
Pfeiffer et al. Efficient representation of traffic scenes by means of dynamic stixels
CN106548486B (zh) 一种基于稀疏视觉特征地图的无人车位置跟踪方法
Saha et al. A real-time monocular vision-based frontal obstacle detection and avoidance for low cost UAVs in GPS denied environment
EP3488603B1 (en) Methods and systems for processing an image
CN106681353A (zh) 基于双目视觉与光流融合的无人机避障方法及系统
CN106444837A (zh) 一种无人机避障方法及系统
WO2019241782A1 (en) Deep virtual stereo odometry
BR102017020283A2 (pt) Sistema de câmera estéreo para evitar colisão durante operações de superfície de aeronave
WO2017038291A1 (ja) 環境地図自動作成装置
CN103743394A (zh) 一种基于光流的移动机器人避障方法
CN109933092B (zh) 飞行器避障方法、装置、可读存储介质和飞行器
EP3839817A2 (en) Generating and/or using training instances that include previously captured robot vision data and drivability labels
WO2020038155A1 (zh) 自主移动设备、控制方法及存储介质
Mehtab et al. 3D vehicle detection using cheap LiDAR and camera sensors
Dubey et al. Droan-disparity-space representation for obstacle avoidance: Enabling wire mapping & avoidance
Sanyal et al. Detection and location estimation of object in unmanned aerial vehicle using single camera and GPS
KR101700764B1 (ko) 자율 이동 방법 및 그 장치
CN106933233A (zh) 一种基于区间流场的无人机避障系统及方法
Xiong et al. A 3d estimation of structural road surface based on lane-line information
WO2021131990A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3867725A1 (en) Obstacle detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210303

Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

Effective date of registration: 20210303

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Address before: 100195 Beijing Haidian Xingshikou Road 65 West Cedar Creative Garden 4 District 11 Building East 1-4 Floor West 1-4 Floor

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant