CN105974938A - 避障方法、装置、载体及无人机 - Google Patents
避障方法、装置、载体及无人机 Download PDFInfo
- Publication number
- CN105974938A CN105974938A CN201610431250.XA CN201610431250A CN105974938A CN 105974938 A CN105974938 A CN 105974938A CN 201610431250 A CN201610431250 A CN 201610431250A CN 105974938 A CN105974938 A CN 105974938A
- Authority
- CN
- China
- Prior art keywords
- carrier
- interest
- area
- connection line
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000033001 locomotion Effects 0.000 claims abstract description 98
- 230000001143 conditioned effect Effects 0.000 claims description 28
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000005086 pumping Methods 0.000 claims description 8
- 230000000052 comparative effect Effects 0.000 claims description 4
- 239000000969 carrier Substances 0.000 claims description 2
- 230000032258 transport Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 7
- 230000004888 barrier function Effects 0.000 description 28
- 230000008569 process Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明实施例提供了一种避障方法、装置、载体及无人机,所述方法包括:获取载体运动方向上的深度图;在所述深度图中确定感兴趣区域,所述载体在所述深度图中的投影区域在所述感兴趣区域范围内;获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的连通线;控制所述载体向所述连通线对应的区域运动。该方法只需要对深度图的部分进行处理,减少了数据处理量,降低了运算复杂度,加快了处理时间,更好得提升了用户体验。
Description
技术领域
本发明涉及控制技术领域,具体而言,涉及一种避障方法、装置、载体及无人机。
背景技术
无人机、遥控车以及机器人等载体在运动过程中,需要对运动路线上的障碍物及时进行回避,若由操控者进行操控,常很难在短时间内对障碍物进行判断及回避。
对于无人机而言,在无人机飞行过程中,操控者需要实时控制无人机对障碍物进行回避,而当无人机的飞行速度较快时,操控者往往很难在短时间内对其飞行路线上的障碍物进行判断及回避操作,导致无人机很容易撞上障碍物,造成损毁。于是需要无人机能自动调整飞行方向进行避障。
现有的避障方法,通常对获取的整幅深度图像进行处理,即需要对深度图中的每个像素点进行处理,以获取避障方向。现有的避障方法运算复杂度较高,且由于无人机的芯片处理能力有限,导致运算时间较长,用户体验感较差。
发明内容
有鉴于此,本发明实施例提供了一种避障方法、装置、载体及无人机,以改善上述避障方法运算复杂度较高的问题。
为了实现上述目的,本发明采用的技术方案如下:
一种避障方法,所述方法包括:获取载体运动方向上的深度图;在所述深度图中确定感兴趣区域,所述载体在所述深度图中的投影区域在所述感兴趣区域范围内;获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的连通线;控制所述载体向所述连通线对应的区域运动。
一种避障装置,所述装置包括:
深度图获取模块,用于获取载体运动方向上的深度图;感兴趣区域获取模块,用于在所述深度图中确定感兴趣区域,所述载体在所述深度图中的投影区域在所述感兴趣区域范围内;连通线获取模块,用于获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的连通线;运动控制模块,用于控制所述载体向所述连通线对应的区域运动。
一种载体,所述载体包括:存储器;处理器;及避障装置,所述避障装置安装于所述存储器中并包括一个或多个由所述处理器执行的软件功能模块,所述避障装置包括:深度图获取模块,用于获取载体运动方向上的深度图;感兴趣区域获取模块,用于在所述深度图中确定感兴趣区域,所述载体在所述深度图中的投影区域在所述感兴趣区域范围内;连通线获取模块,用于获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的预设连通线;运动控制模块,用于控制所述载体向所述连通线对应的区域运动。
一种无人机,所述无人机包括:图像获取单元;以及处理器,与所述图像获取单元电性连接;所述图像获取单元用于获取无人机运动方向上的深度图;所述处理器用于在所述深度图中确定感兴趣区域,所述无人机在所述深度图中的投影区域在所述感兴趣区域范围内;获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的连通线;以及,控制所述无人机向所述连通线对应的区域运动。
本发明实施例提供的避障方法、装置、载体及无人机,在深度图中只需要确定感兴趣区域,并且对感兴趣区域的边界像素点进行处理以获取载体的运动方向,极大地减少了处理数据量,减少了运算复杂难度,使运算时间更短,提升了用户体验。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了本发明较佳实施例提供的载体的内部结构示意图;
图2示出了本发明第一实施例提供的一种避障方法的流程图;
图3示出了本发明第一实施例提供的一种深度图;
图4示出了本发明第一实施例提供的另一种深度图;
图5示出了本发明第一实施例提供的另一种避障方法流程图;
图6示出了本发明第一实施例提供的一种避障运动方向示意图;
图7示出了本发明第一实施例提供的另一种避障运动方向示意图;
图8示出了本发明第一实施例提供的又一种避障方法的流程图;
图9示出了本发明第二实施例提供的避障装置的功能模块图;
图10示出了本发明第三实施例提供的无人机的功能模块图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
如图1所示,是本发明实施例提供的载体100的内部结构示意图。所述载体100包括避障装置200、存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105以及其他。所述存储器101、存储控制器102、处理器103以及外设接口104各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述避障装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块,例如所述避障装置200包括的软件功能模块或计算机程序。
其中,存储器101可以是,但不限于,随机存取存储器101(Random Access Memory,RAM),只读存储器101(Read OnlyMemory,ROM),可编程只读存储器101(Programmable Read-OnlyMemory,PROM),可擦除只读存储器101(Erasable ProgrammableRead-Only Memory,EPROM),电可擦除只读存储器101(ElectricErasable Programmable Read-Only Memory,EEPROM)等。其中,存储器101用于存储程序,所述处理器103在接收到执行指令后,执行所述程序,本发明实施例任一实施例揭示的流过程定义的载体所执行的方法可以应用于处理器103中,或者由处理器103实现。
处理器103可能是一种集成电路芯片,具有信号的处理能力。上述的处理器103可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器103(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器103可以是微处理器或者该处理器103也可以是任何常规的处理器等。
所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中,外设接口104,处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元105用于提供给用户输入数据实现用户与该载体100的交互。
载体在运动过程中,当确定其运动方向存在障碍物时,需要选择向其他方向运动以进行避障,本发明实施例即提供了载体进行避障的方法。当然,在本发明提供的实施例中,运动方向存在障碍物的具体确定方式不作为限定。
并且,可以理解的,该运动方向为用户根据需要设定的一个载体的主要运动方向,当在该方向上存在障碍物时,载体启动本方法实施例提供的避障方法进行避障。
可以理解的,本发明实施例所述的载体为使用本发明实施例的方法进行避障的可运动的载体,或者说为设置有本发明实施例的避障装置的可运动的载体,如无人机、遥控车、机器人等。
以下实施例主要以无人机避障过程为例进行详细说明。
第一实施例
图2示出了本发明第一实施例提供的避障方法,请参见图2,该方法包括:
步骤S110:获取载体运动方向上的深度图。
深度图是一种二维图像,单位为像素点,像素点的不同像素值代表不同的深度信息,对应不同的深度值,深度值表示深度图中的障碍物与载体之间的距离。即像素点的不同像素值可以表现该像素点对应的实际环境中的位置与载体的不同距离。通常的,像素值越大,表示距离越远,像素值越小,表示距离越近。具体像素值与距离值的对应关系根据实际需要确定,在本实施例中并不作为限定。
在本实施例中,载体,如无人机,可以通过图像获取单元采集前进方向的深度图,并将深度图传送给处理器,该前进方向即为运动方向。该深度图表现了载体前进方向上的周边环境,包括前进方向上存在的各种障碍物。
在本实施例中,深度图可以通过超声波检测、激光雷达扫描、红外反射、双目视差测距等方式获取,具体获取深度图的方式在本实施例中并不作为限制。
优选的,本发明实施例中的深度图通过双目视差测距的方式获得。具体的,双目视差测距方式采用两个或者两个以上的摄像头来采集前进方向的图像,并计算各采集图像的视差,从而获取摄像头视角内的深度信息,进而可以通过分析深度信息来判断视觉范围内是否存在障碍物。
步骤S120:在所述深度图中确定感兴趣区域,所述载体在所述深度图中的投影区域在所述感兴趣区域范围内。
在本实施例提供的一种实施方式中,可以先确定载体在深度图上的投影区域,再根据该投影区域在深度图中确定感兴趣区域。
在本实施例中,可以将载体在深度图中的投影作为投影区域,从而可以通过确定载体在深度图中的投影来确定其感兴趣区域。可以理解的,载体投影在深度图中的位置对应的实际尺寸大小等于载体在运动方向投影到深度图对应的环境区域的实际投影尺寸大小,该投影在深度图中的位置对应的实际环境区域为载体按照当前方向运动会经过的路径位置。
再根据载体在深度图上的投影,确定一个尺寸大于或等于该投影的感兴趣区域,并使该投影在感兴趣区域范围内,即,可以理解的,感兴趣区域的大小大于或等于载体在深度图中的投影区域的大小,并且投影区域在感兴趣区域范围内。则在本实施例中,感兴趣区域(Region of interest,简称ROI)对应的实际环境区域即为载体在其运动路径上会经过的区域。如,该载体为无人机时,感兴趣区域对应的实际环境区域即为无人机在其飞行路径上会经过的区域。
在本实施例的另一种实施方式中,也可以先确定一个平面框体,该平面框体的尺寸大于或等于载体的二维尺寸大小,在本实施例中,该载体的二维尺寸为载体在平行于深度图所表示的平面的截面上的二维尺寸。
再将该平面框体投影到深度图中,以该平面框体在深度图中的投影作为感兴趣区域。
在本实施例中,感兴趣区域的具体形状可以是方形或圆形,当然,感兴趣区域的具体形状并不作为限定,可以根据实际需要进行设定。
并且,可以理解的,深度图对应的周围环境距离载体越近,则载体在该深度图中的投影区域越大,感兴趣区域的尺寸越大。
以载体为无人机为例,如图3以及图4分别示出了无人机在前进方向上的不同位置获取的周围环境的深度图。其中方框001对应的区域为确定的感兴趣区域,方框001中的圆点002表示该感兴趣区域的中心点,即无人机的机头对应的位置。并且,请参见图3及图4,无人机获取图4对应的深度图时比获取图3对应的深度图时距离相应的物体更近。
优选的,在本实施例中,感兴趣区域以满足条件的情况下尺寸最小为宜。
步骤S130:获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的连通线。
在本实施例中,感兴趣区域的边界像素点为位于感兴趣区域的边界的一圈依次首尾相连的像素点。在边界像素点中获取满足预设条件的像素点,连续的满足预设条件的边界像素点形成连通线。即从连通线一端的像素点起沿该连通线至另一端的像素点止,连通线上的所有像素点均满足预设条件。
在本实施例中,认为满足预设条件的像素点对应的位置不存在障碍物,认为连通线对应的实际环境区域为不存在障碍物的无障碍连通区域。
在本实施例提供的一种具体的实施方式中,以深度图中感兴趣区域的边界像素点的像素值大于预设像素阈值作为所述预设条件。由于在深度图中,不同的像素值对应不同的距离,则可以根据实际需要设置一个像素值作为预设像素阈值。获取感兴趣区域的边界像素点的像素值,并且对边界像素点的像素值与预设像素阈值的大小进行比较,当某边界像素点的像素值大于预设像素阈值,则认为该像素点对应的位置安全,不存在会发生碰撞的障碍物。相反的,当某边界像素点的像素值小于或等于预设像素阈值,则认为该像素点对应的位置危险,存在会发生碰撞的障碍物。当然,该预设像素阈值在本实施例中并不作为限制,由用户根据实际需要进行确定。
另外,在本实施例提供的另一种具体的实施方式中,可以先获取所述感兴趣区域的边界像素点的像素值对应的深度值;再以所述深度值大于预设深度阈值作为所述预设条件。
由于每个像素点对应的深度值表示载体与该像素点对应的物体之间的相对距离,则可以设置一个深度值作为预设深度阈值,该预设深度阈值为一个距离阈值。同样的,认为大于该预设深度阈值的像素点对应的位置安全,否则认为存在可能发生碰撞的障碍物。
具体的,首先根据每个感兴趣区域边界像素点的像素值获得其对应的深度值,再以所述深度值大于预设深度阈值作为预设条件,判断每个边界像素点是否满足预设条件,以满足预设条件的连续的像素点形成连通线。当然,该预设深度阈值由用户根据实际需要确定,在本实施例中并不作为限制,优选的,该预设深度阈值可以是2米。
可以理解的,感兴趣区域的形状不同,形成的连通线的形状不同。如,若感兴趣区域是矩形,则连通线可能为直线、折线或矩形。若感兴趣区域是圆形,则连通线可能为弧线、圆形等。
进一步的,载体可以实时将获取的深度图发送到用户终端,于是,用户可以通过深度图查看载体前进方向上的环境情况。优选的,将发送到用户终端的深度图处理为彩色图像,同样的,以越小的像素值对应越近的距离,越大的像素值对应越远的距离,以使用户可以更直观地在深度图中了解到前进方向上的障碍物与载体的距离情况。
进一步的,在本实施例中,还可以将满足所述预设条件的感兴趣区域的边界像素点设置为第一颜色;将所述感兴趣区域的其他边界像素点设置为第二颜色。于是,连通线为第一颜色,感兴趣区域的边界上的其他位置为第二颜色。则用户可以查看到感兴趣区域范围以及该感兴趣区域边界中的连通线及其他位置。可以理解的,其他边界像素点为边界像素点中不满足预设条件的像素点。
优选的,该第一颜色可以是绿色,第二颜色可以是红色。当然,第一颜色以及第二颜色具体为哪种像素值的颜色在本实施例中并不作为限定,可以由用户根据实际需要确定。
步骤S140:控制所述载体向所述连通线对应的区域运动。
在获取边界像素点中连续的满足预设条件的像素点形成的连通线后,控制载体向连通线对应的区域运动,即控制载体向连通线对应的无障碍连通区域运动。
另外,由于若某条连通线的长度过短,其对应的实际环境区域不足以载体避障通过,则载体向该连通线对应的无障碍连通区域方向运动避障仍然会与障碍物发生碰撞。
因此,进一步的,如图5所示,在本实施例中,在步骤S140之前,还包括:
步骤S131:获取所述连通线的长度。
步骤S132:判断所述连通线的长度是否大于预设长度阈值,若是,执行步骤S140,若否,执行步骤S141。
步骤S141:控制所述载体停滞或者后退。
即获取连通线的长度,当所述连通线的长度大于预设长度阈值,控制所述载体向所述连通线对应的区域运动,当所述感兴趣区域的边界像素点形成的各连通线的长度均小于或等于预设长度阈值,控制所述载体停滞或者后退。
获取满足预设条件的像素点形成的连通线的长度,确定长度大于预设长度阈值的连通线。当存在长度大于预设长度阈值的连通线时,控制载体向长度大于预设长度阈值的连通线对应的区域运动。当然,可以理解的,若长度大于预设长度阈值的连通线包括多条,载体可以向其中任意一条对应的区域运动。若长度大于预设长度阈值的连通线只有一条,则控制载体向该条连通线对应的区域运动。另外,当所述连通线的长度均小于或等于预设长度阈值,控制所述载体停滞或者后退。当该载体是无人机的时候,则控制无人机悬停或者后退。
在本实施例中,连通线的长度为,连续的满足所述预设条件的所述感兴趣区域的边界像素点的长度。可以理解的,连通线的长度即为,在连通线上,从连通线的第一个像素点到连通线的最后一个像素点的所有像素点的连线长度。并且,该预设长度阈值为用户根据实际需要设定的一个长度阈值,其对应的实际区域大小可以是载体运动到相应位置时所需要的最小空间大小,当然,也可以大于载体运动到相应位置时所需要的最小空间大小。当连通线的长度大于预设长度阈值,则认为载体可以安全通过该连通线对应的无障碍连通区域进行避障。若存在多条长度大于预设长度阈值的连通线,则该多条连通线对应的无障碍连通区域都可以为载体的运动避障方向,可以选择其中任意一条大于预设长度阈值的连通线对应的无障碍区域作为载体的运动避障方向。
当然,优选的,当存在多条长度大于预设长度阈值的连通线,以长度最长的连通线所对应的无障碍连通区域为优选的运动避障方向。即,进一步的,在本实施例中,还可以包括:获取长度最长的连通线;控制所述载体向所述长度最长的连通线对应的区域运动。
当连通线的长度小于或等于预设长度阈值,则认为载体在运动到该连通线对应的实际区域时会与紧邻该实际区域的障碍物碰撞,无法成功避障。当连通线的长度均小于或等于预设长度阈值,则在运动方向的深度图对应的环境区域中,不存在可以成功避障的区域,控制载体在当前位置停滞或者后退。
在本实施例中,载体的具体运动避障方向的确定方式可以是:获取所述感兴趣区域的中心点向所述连通线的任一点的连线方向;以所述连线方向对应的方向作为所述载体的目标运动速度方向控制所述载体运动。
以无人机的矩形感兴趣区域为例,图6中的矩形框表示该感兴趣区域的边界像素点形成的边界线,该矩形框及其以内的区域表示感兴趣区域。其中,点003表示该感兴趣区域的中心点,左边界线004以及下边界线005对应的实线连接成连通线,以该连通线对应的无障碍连通区域作为运动避障方向。则载体避障的目标运动速度方向可以是中心点向该连通线的任意点的连线方向,即载体可以向该连线方向运动避障,如图6中箭头线所示。
当然,可以理解的,感兴趣区域的中心点向连通线中的任一点的连线方向也可以理解为,该连通线的首尾两端的像素点与中心点形成扇形区域,该中心点与扇形区域上任一点的连线方向为无人机的飞行避障方向。请参见图7,其中,在感兴趣区域的边界线上,点006沿逆时针方向与点007之间形成连通线,如图7中的矩形框中的实线所示,该连通线为图7所示的感兴趣区域的边界线中的连通线,扇形008表示该连通线的首尾两端的像素点与中心点形成的扇形区域。则表示中心点的点003指向该扇形区域的任一点的连线方向为飞行避障方向,如图7中的箭头线所示。
当然,可以理解的,在图6以及图7中,实线表示选择作为对应避障方向的连通线,虚线表示其他边界线,实线与虚线仅用于区分选择作为对应避障方向的连通线以及其他边界线,并不一定代表感兴趣区域的边界的边界线的实或虚。
优选的,载体的目标速度方向为感兴趣区域的中心点指向连通线的中心点的方向。
当然,在本实施例中,若长度最长的连通线的长度等于0,则认为载体前进路径上的周边都存在障碍物,不存在可以避障的方向,则控制载体停滞或者后退。控制载体停滞,则使载体的目标运动速度为0,控制载体后退,则使载体的目标运动速度与当前运动速度方向相反。
另外,若长度最长的连通线的长度等于感兴趣区域的边界长度,即感兴趣区域的所有边界像素点皆满足预设像素条件,则载体可以向任意方向运动进行避障。若该载体为无人机,则优选的,在该情况下,控制无人机向上飞行。
进一步的,在本实施例中,还包括确定载体在避障过程中的运动速度。
首先,可以确定载体的目标运动速度,在本实施例中,该目标运动速度即为控制载体进行避障过程中所需要达到的运动速度。再将载体的运动速度调整为目标运动速度,以使载体以目标运动速度运动。具体的,如图8所示,可以包括:
步骤S150:获取所述感兴趣区域中的像素点的像素值对应的最小深度值。由于每个像素点的像素值对应一个深度值,而深度值又为该像素点对应的实际物体与载体之间的距离,则在感兴趣区域中像素点对应的最小深度值为该感兴趣区域对应的实际区域中离载体最近的距离。在本实施例中,最小深度值可以用MinDepth表示。
步骤S160:比较所述最小深度值与安全深度阈值。
步骤S170:根据比较结果确定所述载体的目标运动速度。该安全深度阈值为设置的载体可以离障碍物的最近的距离,其具体数值并不作为限定,可以根据实际情况进行设定。在本实施例中,可以用th表示该安全深度阈值。
比较该安全深度阈值th与最小深度值MinDepth的大小,并且根据比较结果确定所述载体的目标运动速度。
若所述最小深度值大于安全深度阈值,则根据所述最小深度值及所述安全深度阈值的差值的预设阈值倍确定所述载体的目标运动速度。在本实施例中,该预设阈值为一个系数,根据实际需要设置其大小,可以用α表示,优选的,该预设阈值大于0小于1。则,当MinDepth>th时,目标运动速度v=α(MinDepth-th)。
并且,在步骤S140中,调整所述载体的运动速度为所述目标运动速度。即在控制载体向连通线对应的区域运动的过程中,将载体的运动速度调整为目标运动速度,使载体以该目标运动速度进行避障。
另外,若所述最小深度值小于或等于所述安全深度阈值,控制所述载体停滞或者后退。当最小深度值小于或等于所述安全深度阈值,即MinDepth≤th时,载体即使向连通线对应的区域运动避障也有与障碍物发生碰撞的危险,此时,使载体的目标运动速度为0,并且将调整载体的运动速度调整为该为0的目标运动速度,使载体停滞。当然,也可以使载体后退。
进一步的,在载体向所述连通线对应的区域运动过程中,确定载体的目标运动速度后,根据所述载体的目标运动速度以及所述载体的当前运动速度确定所述载体的运动加速度;并且根据所述运动加速度控制所述载体运动。
另外,为确保载体安全进入可避障的环境区域,不与障碍物发生碰撞,则使载体在原运动方向上的运动路程长度小于或等于该最小深度值,于是,也可以根据该最小深度值及当前运动速度,求得载体调整到目标运动速度所需的时间。再根据所需的时间、目标运动速度以及当前运动速度,可以求得运动加速度。
根据该运动加速度,将载体的运动速度调整为目标运动速度,同时可以获知如何控制载体的运动以达到成功避障的目的。若该载体为无人机,则可以获知如何控制无人机的旋翼转速来达到对飞行状态的控制。
可以理解的,在本发明实施例中,步骤S150、S160以及S170在步骤S120之后,但在步骤S130之前还是之后或者和步骤S130并行执行并不作为限制,即获取载体避障运动方向以及避障目标运动速度的先后顺序并不作为限制。
当然,可以理解的是,载体在运动过程中,可以不断重复本发明实施例所提供的避障流程,即每间隔一段时间,获取一次深度图,并且通过对获取的深度图的分析及处理获取避障方向以及避障的目标运动速度,以实现以一定频率更新避障方向以及避障的目标运动速度。当然,进行更新的间隔时间长度根据用户需求进行设置,在本实施例中并不作为限制。
另外,在本实施例中,载体也可以在接收到避障激励信号后再开始进入避障流程,即接收到避障激励信号后开始获取深度图,并对深度图进行分析以进行避障。该避障激励信号可以为用户向载体发送的信号,也可以是载体自身通过判断发现运动的前进方向存在障碍物而发出的信号。
若载体在接收到避障激励信号后进入避障流程,则载体可以在接收到避障停止信号后,退出避障流程,停止避障方向以及避障的目标运动速度的更新。
当然,载体在进入避障流程之前的运动过程中,也可以一直处于获取深度图并确定感兴趣区域的状态,当接收到避障激励信号后,则直接对感兴趣区域的边界进行处理,以获得避障运动方向。
第二实施例
如图9所示,为本发明第二实施例提供的避障装置200。请参见图9,该无人机避障装置200包括:
深度图获取模块210,用于获取载体运动方向上的深度图;感兴趣区域获取模块220,用于在所述深度图中确定感兴趣区域,所述载体在所述深度图中的投影区域在所述感兴趣区域范围内;连通线获取模块230,用于获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的连通线;运动控制模块240,用于控制所述载体向所述连通线对应的区域运动。
进一步的,在本实施例中,为确保载体可以顺利通过连通线所对应的无障碍连通区域,还可以包括:长度获取模块250,用于获取所述连通线的长度.所述运动控制模块240用于当所述连通线的长度大于预设长度阈值,控制所述载体向所述连通线对应的区域运动。
进一步的,可能存在多条长度大于预设长度阈值的连通线,则所述长度获取模块250还用于获取长度最长的连通线;并且,所述运动控制模块240用于控制所述载体向所述长度最长的连通线对应的区域运动。
当然,在本实施例中,当所述感兴趣区域的边界像素点形成的各连通线的长度均小于或等于预设长度阈值,则不存在载体可以安全避障的无障碍连通区域,则所述运动控制模块240用于控制所述载体停滞或者后退。
在本实施例提供的一种实施方式中,连通线获取模块230以所述感兴趣区域的边界像素点的像素值大于预设像素阈值作为预设条件。
在本实施例提供的另一种实施方式中,连通线获取模块230还用于获取所述感兴趣区域的边界像素点的像素值对应的深度值;并且以所述深度值大于预设深度阈值作为预设条件。
进一步的,在本实施例中,还包括颜色设置模块,用于将满足所述预设条件的所述感兴趣区域的像素点设置为第一颜色,将所述感兴趣区域的其他边界像素点设置为第二颜色。
另外,为更好控制载体的运动,进一步的,该避障装置200还可以对载体的目标运动速度以及运动加速度进行确定。具体的,可以包括:
最小深度值获取模块260,用于获取所述感兴趣区域中的像素点的像素值对应的最小深度值;比较模块270,用于比较所述最小深度值与安全深度阈值;目标运动速度确定模块280,用于根据比较结果确定所述载体的目标运动速度。
当然,在本实施例中,还可以获取载体将运动速度调整为目标运动速度的运动加速度,则,可以包括:运动加速度获取模块290,用于根据所述载体的目标运动速度以及所述载体的当前运动速度确定所述载体的运动加速度;所述运动控制模块240用于控制所述载体以所述运动加速度运动,以将载体的运动速度调整为目标运动速度运动。
进一步的,该装置还可以包括激励信号接收模块,用于接收避障激励信号,以使载体进入避障状态。
另外,优选的,本实施例中深度图获取模块210可以通过双目视差测距方式获得深度图。
第三实施例
本实施例提供了一种无人机300,如图10所示,该无人机300包括图像获取单元310;以及处理器320,该处理器320与所述图像获取单元电性连接。
其中,所述图像获取单元用于获取无人机运动方向上的深度图;
所述处理器用于在所述深度图中确定感兴趣区域,所述无人机在所述深度图中的投影区域在所述感兴趣区域范围内;获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的连通线;以及,控制所述无人机向所述连通线对应的区域运动。
可以理解的,本发明实施例提供的避障方法也可以通过本实施例提供的无人机300的整体硬件设备实现。
图像获取单元310将获得的深度图发送给处理器。处理器通过在深度图上确定感兴趣区域,并且在感兴趣区域的边界获取连通线,连通线对应的无障碍连通区域为无人机可安全避障的区域,再通过控制无人机的旋翼的旋转控制无人机向连通线对应的区域飞行。
综上所述,本发明实施例提供的避障方法、装置、载体及无人机,通过确定深度图中的部分区域为感兴趣区域,对该感兴趣区域的边界像素点进行分析处理,从而获得边界像素点形成的连通线对应的可以避障的区域,控制载体向该区域运动。该避障方法、装置、载体及无人机仅对深度图中的部分区域进行处理,可以极大减少数据处理量,从而减小了运算复杂度以及处理时间,提高了用户体验。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (24)
1.一种避障方法,其特征在于,所述方法包括:
获取载体运动方向上的深度图;
在所述深度图中确定感兴趣区域,所述载体在所述深度图中的投影区域在所述感兴趣区域范围内;
获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的连通线;
控制所述载体向所述连通线对应的区域运动。
2.根据权利要求1所述的方法,其特征在于,
以所述感兴趣区域的边界像素点的像素值大于预设像素阈值作为所述预设条件。
3.根据权利要求1所述的方法,其特征在于,还包括:
获取所述感兴趣区域的边界像素点的像素值对应的深度值;
以所述深度值大于预设深度阈值作为所述预设条件。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将满足所述预设条件的所述感兴趣区域的边界像素点设置为第一颜色,将所述感兴趣区域的其他边界像素点设置为第二颜色。
5.根据权利要求1所述的方法,其特征在于,所述获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的连通线的步骤之后,还包括:
获取所述连通线的长度;
当所述连通线的长度大于预设长度阈值,执行所述控制所述载体向所述连通线对应的区域运动的步骤。
6.根据权利要求5所述的方法,其特征在于,还包括:
获取长度最长的连通线;
所述控制所述载体向所述连通线对应的区域运动包括:控制所述载体向所述长度最长的连通线对应的区域运动。
7.根据权利要求5所述的方法,其特征在于,还包括:
当所述感兴趣区域的边界像素点形成的各连通线的长度均小于或等于预设长度阈值,控制所述载体停滞或者后退。
8.根据权利要求1所述的方法,其特征在于:
所述感兴趣区域大于或等于所述载体在所述深度图中的投影区域。
9.根据权利要求1或8所述的方法,其特征在于:
所述感兴趣区域为方形区域或圆形区域。
10.根据权利要求1所述的方法,其特征在于,所述在所述深度图中确定感兴趣区域之后还包括:
获取所述感兴趣区域中的像素点的像素值对应的最小深度值;
比较所述最小深度值与安全深度阈值;
根据比较结果确定所述载体的目标运动速度。
11.根据权利要求10所述的方法,其特征在于,所述根据比较结果确定所述载体的目标运动速度的步骤包括:
若所述最小深度值大于安全深度阈值,则根据所述最小深度值及所述安全深度阈值的差值的预设阈值倍确定所述载体的目标运动速度;
所述控制所述载体向所述连通线对应的区域运动的步骤还包括:调整所述载体的运动速度为所述目标运动速度。
12.根据权利要求10所述的方法,其特征在于,所述根据比较结果确定所述载体的目标运动速度的步骤包括:
若所述最小深度值小于或等于所述安全深度阈值,控制所述载体停滞或者后退。
13.根据权利要求11所述的方法,其特征在于,还包括:
根据所述载体的目标运动速度以及所述载体的当前运动速度确定所述载体的运动加速度;
根据所述运动加速度控制所述载体运动。
14.根据权利要求1所述的方法,其特征在于,所述控制所述载体向所述连通线对应的区域运动的步骤包括:
获取所述感兴趣区域的中心点向所述连通线的任一点的连线方向;
以所述连线方向对应的方向作为所述载体的目标运动速度方向。
15.根据权利要求14所述的方法,其特征在于,所述获取所述感兴趣区域的中心点向所述连通线的任一点的连线方向包括:
获取所述连通线的首尾两端的像素点与所述感兴趣区域的中心点形成的扇形区域;
获取所述感兴趣区域的中心点向所述扇形区域的任一点的连线方向以作为所述载体的目标运动速度方向。
16.根据权利要求1所述的方法,其特征在于,所述深度图通过双目视差测距方式获得。
17.根据权利要求1所述的方法,其特征在于,在获取载体运动方向上的深度图之前,还包括:
接收避障激励信号。
18.一种避障装置,其特征在于,所述装置包括:
深度图获取模块,用于获取载体运动方向上的深度图;
感兴趣区域获取模块,用于在所述深度图中确定感兴趣区域,所述载体在所述深度图中的投影区域在所述感兴趣区域范围内;
连通线获取模块,用于获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的连通线;
运动控制模块,用于控制所述载体向所述连通线对应的区域运动。
19.根据权利要求18所述的装置,其特征在于,还包括:
长度获取模块,用于获取所述连通线的长度;
所述运动控制模块用于当所述连通线的长度大于预设长度阈值,控制所述载体向所述连通线对应的区域运动。
20.根据权利要求19所述的装置,其特征在于,
所述长度获取模块还用于获取长度最长的连通线;
所述运动控制模块用于控制所述载体向所述长度最长的连通线对应的区域运动。
21.根据权利要求19所述的装置,其特征在于,当所述感兴趣区域的边界像素点形成的各连通线的长度均小于或等于预设长度阈值,所述运动控制模块用于控制所述载体停滞或者后退。
22.根据权利要求18所述的装置,其特征在于,还包括:
最小深度值获取模块,用于获取所述感兴趣区域中的像素点的像素值对应的最小深度值;
比较模块,用于比较所述最小深度值与安全深度阈值;
目标运动速度确定模块,用于根据比较结果确定所述载体的目标运动速度。
23.一种载体,其特征在于,所述载体包括:
存储器;
处理器;及
避障装置,所述避障装置安装于所述存储器中并包括一个或多个由所述处理器执行的软件功能模块,所述避障装置包括:
深度图获取模块,用于获取载体运动方向上的深度图;
感兴趣区域获取模块,用于在所述深度图中确定感兴趣区域,所述载体在所述深度图中的投影区域在所述感兴趣区域范围内;
连通线获取模块,用于获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的连通线;
运动控制模块,用于控制所述载体向所述连通线对应的区域运动。
24.一种无人机,其特征在于,所述无人机包括:
图像获取单元;以及
处理器,与所述图像获取单元电性连接;
所述图像获取单元用于获取无人机运动方向上的深度图;
所述处理器用于在所述深度图中确定感兴趣区域,所述无人机在所述深度图中的投影区域在所述感兴趣区域范围内;获取所述感兴趣区域的边界像素点中连续的满足预设条件的像素点形成的连通线;以及,控制所述无人机向所述连通线对应的区域运动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610431250.XA CN105974938B (zh) | 2016-06-16 | 2016-06-16 | 避障方法、装置、载体及无人机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610431250.XA CN105974938B (zh) | 2016-06-16 | 2016-06-16 | 避障方法、装置、载体及无人机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105974938A true CN105974938A (zh) | 2016-09-28 |
CN105974938B CN105974938B (zh) | 2023-10-03 |
Family
ID=57022799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610431250.XA Active CN105974938B (zh) | 2016-06-16 | 2016-06-16 | 避障方法、装置、载体及无人机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105974938B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106646515A (zh) * | 2016-12-30 | 2017-05-10 | 易瓦特科技股份公司 | 在避障过程中对避障距离进行测量的方法及装置 |
CN106680803A (zh) * | 2016-12-30 | 2017-05-17 | 易瓦特科技股份公司 | 飞行避障过程中进行测距模块切换选择的方法及装置 |
CN106952303A (zh) * | 2017-03-09 | 2017-07-14 | 北京旷视科技有限公司 | 车距检测方法、装置和系统 |
CN107077741A (zh) * | 2016-11-11 | 2017-08-18 | 深圳市大疆创新科技有限公司 | 深度图生成方法和基于该方法的无人机 |
CN107229903A (zh) * | 2017-04-17 | 2017-10-03 | 深圳奥比中光科技有限公司 | 机器人避障的方法、装置及存储装置 |
CN108052111A (zh) * | 2017-10-24 | 2018-05-18 | 南京奇蛙智能科技有限公司 | 一种基于双目视觉技术的无人机实时避障方法 |
WO2018095278A1 (zh) * | 2016-11-24 | 2018-05-31 | 腾讯科技(深圳)有限公司 | 飞行器的信息获取方法、装置及设备 |
CN108140245A (zh) * | 2017-12-25 | 2018-06-08 | 深圳市道通智能航空技术有限公司 | 测距方法、装置以及无人机 |
WO2019127518A1 (zh) * | 2017-12-29 | 2019-07-04 | 深圳市大疆创新科技有限公司 | 避障方法、装置及可移动平台 |
WO2019144287A1 (en) * | 2018-01-23 | 2019-08-01 | SZ DJI Technology Co., Ltd. | Systems and methods for automatic water surface and sky detection |
WO2020024185A1 (en) * | 2018-08-01 | 2020-02-06 | SZ DJI Technology Co., Ltd. | Techniques for motion-based automatic image capture |
CN110825109A (zh) * | 2019-11-12 | 2020-02-21 | 广州极飞科技有限公司 | 光谱信息的获取方法及装置、飞行器的控制方法 |
CN111722640A (zh) * | 2019-03-21 | 2020-09-29 | 北京京东尚科信息技术有限公司 | 无人机的控制方法、装置和计算机可读存储介质 |
WO2021146971A1 (zh) * | 2020-01-21 | 2021-07-29 | 深圳市大疆创新科技有限公司 | 基于可通行空域判断的飞行控制方法、装置及设备 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101101203A (zh) * | 2006-07-05 | 2008-01-09 | 三星电子株式会社 | 使用特征点来划分区域的设备、方法、介质和移动机器人 |
US20110123135A1 (en) * | 2009-11-24 | 2011-05-26 | Industrial Technology Research Institute | Method and device of mapping and localization method using the same |
CN102317954A (zh) * | 2009-02-16 | 2012-01-11 | 戴姆勒股份公司 | 检测对象的方法 |
CN102707724A (zh) * | 2012-06-05 | 2012-10-03 | 清华大学 | 一种无人机的视觉定位与避障方法及系统 |
KR20130045743A (ko) * | 2011-10-26 | 2013-05-06 | 엘지전자 주식회사 | 이동 로봇 및 이의 목표물 추적 방법 |
CN103365299A (zh) * | 2013-08-02 | 2013-10-23 | 中国科学院自动化研究所 | 一种无人机的避障方法及其装置 |
CN103729632A (zh) * | 2014-01-22 | 2014-04-16 | 哈尔滨工业大学 | 一种基于连通区域滤波的圆形Mark点的定位方法 |
WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
US9174830B1 (en) * | 2014-09-29 | 2015-11-03 | Crown Equipment Limited | Industrial vehicles with point fix based localization |
US20160003636A1 (en) * | 2013-03-15 | 2016-01-07 | Honda Motor Co., Ltd. | Multi-level navigation monitoring and control |
CN105571588A (zh) * | 2016-03-10 | 2016-05-11 | 赛度科技(北京)有限责任公司 | 一种无人机三维空中航路地图构建及其航路显示方法 |
-
2016
- 2016-06-16 CN CN201610431250.XA patent/CN105974938B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101101203A (zh) * | 2006-07-05 | 2008-01-09 | 三星电子株式会社 | 使用特征点来划分区域的设备、方法、介质和移动机器人 |
CN102317954A (zh) * | 2009-02-16 | 2012-01-11 | 戴姆勒股份公司 | 检测对象的方法 |
US20110123135A1 (en) * | 2009-11-24 | 2011-05-26 | Industrial Technology Research Institute | Method and device of mapping and localization method using the same |
KR20130045743A (ko) * | 2011-10-26 | 2013-05-06 | 엘지전자 주식회사 | 이동 로봇 및 이의 목표물 추적 방법 |
CN102707724A (zh) * | 2012-06-05 | 2012-10-03 | 清华大学 | 一种无人机的视觉定位与避障方法及系统 |
US20160003636A1 (en) * | 2013-03-15 | 2016-01-07 | Honda Motor Co., Ltd. | Multi-level navigation monitoring and control |
CN103365299A (zh) * | 2013-08-02 | 2013-10-23 | 中国科学院自动化研究所 | 一种无人机的避障方法及其装置 |
WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
CN103729632A (zh) * | 2014-01-22 | 2014-04-16 | 哈尔滨工业大学 | 一种基于连通区域滤波的圆形Mark点的定位方法 |
US9174830B1 (en) * | 2014-09-29 | 2015-11-03 | Crown Equipment Limited | Industrial vehicles with point fix based localization |
CN105571588A (zh) * | 2016-03-10 | 2016-05-11 | 赛度科技(北京)有限责任公司 | 一种无人机三维空中航路地图构建及其航路显示方法 |
Non-Patent Citations (2)
Title |
---|
AKSHAY AGGARWAL等: "Vision Based Collision Avoidance by Plotting a Virtual Obstacle on Depth Map", 《PROCEEDINGS OF THE 2010 IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION》, pages 532 - 536 * |
杨维等: "基于RGB-D相机的无人机快速自主避障", 《湖南工业大学学报》, vol. 26, no. 6, pages 74 - 79 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107077741A (zh) * | 2016-11-11 | 2017-08-18 | 深圳市大疆创新科技有限公司 | 深度图生成方法和基于该方法的无人机 |
WO2018095278A1 (zh) * | 2016-11-24 | 2018-05-31 | 腾讯科技(深圳)有限公司 | 飞行器的信息获取方法、装置及设备 |
US10942529B2 (en) | 2016-11-24 | 2021-03-09 | Tencent Technology (Shenzhen) Company Limited | Aircraft information acquisition method, apparatus and device |
CN106680803B (zh) * | 2016-12-30 | 2019-10-18 | 易瓦特科技股份公司 | 飞行避障过程中进行测距模块切换选择的方法及装置 |
CN106680803A (zh) * | 2016-12-30 | 2017-05-17 | 易瓦特科技股份公司 | 飞行避障过程中进行测距模块切换选择的方法及装置 |
CN106646515A (zh) * | 2016-12-30 | 2017-05-10 | 易瓦特科技股份公司 | 在避障过程中对避障距离进行测量的方法及装置 |
CN106646515B (zh) * | 2016-12-30 | 2019-11-19 | 易瓦特科技股份公司 | 在避障过程中对避障距离进行测量的方法及装置 |
CN106952303A (zh) * | 2017-03-09 | 2017-07-14 | 北京旷视科技有限公司 | 车距检测方法、装置和系统 |
CN106952303B (zh) * | 2017-03-09 | 2020-04-24 | 北京旷视科技有限公司 | 车距检测方法、装置和系统 |
CN107229903A (zh) * | 2017-04-17 | 2017-10-03 | 深圳奥比中光科技有限公司 | 机器人避障的方法、装置及存储装置 |
CN108052111A (zh) * | 2017-10-24 | 2018-05-18 | 南京奇蛙智能科技有限公司 | 一种基于双目视觉技术的无人机实时避障方法 |
CN108140245A (zh) * | 2017-12-25 | 2018-06-08 | 深圳市道通智能航空技术有限公司 | 测距方法、装置以及无人机 |
CN108140245B (zh) * | 2017-12-25 | 2022-08-23 | 深圳市道通智能航空技术股份有限公司 | 测距方法、装置以及无人机 |
WO2019127518A1 (zh) * | 2017-12-29 | 2019-07-04 | 深圳市大疆创新科技有限公司 | 避障方法、装置及可移动平台 |
WO2019144287A1 (en) * | 2018-01-23 | 2019-08-01 | SZ DJI Technology Co., Ltd. | Systems and methods for automatic water surface and sky detection |
WO2020024185A1 (en) * | 2018-08-01 | 2020-02-06 | SZ DJI Technology Co., Ltd. | Techniques for motion-based automatic image capture |
CN111344644A (zh) * | 2018-08-01 | 2020-06-26 | 深圳市大疆创新科技有限公司 | 用于基于运动的自动图像捕获的技术 |
CN111344644B (zh) * | 2018-08-01 | 2024-02-20 | 深圳市大疆创新科技有限公司 | 用于基于运动的自动图像捕获的技术 |
CN111722640A (zh) * | 2019-03-21 | 2020-09-29 | 北京京东尚科信息技术有限公司 | 无人机的控制方法、装置和计算机可读存储介质 |
CN111722640B (zh) * | 2019-03-21 | 2024-04-09 | 北京京东乾石科技有限公司 | 无人机的控制方法、装置和计算机可读存储介质 |
CN110825109A (zh) * | 2019-11-12 | 2020-02-21 | 广州极飞科技有限公司 | 光谱信息的获取方法及装置、飞行器的控制方法 |
CN110825109B (zh) * | 2019-11-12 | 2023-11-21 | 广州极飞科技股份有限公司 | 光谱信息的获取方法及装置、飞行器的控制方法 |
WO2021146971A1 (zh) * | 2020-01-21 | 2021-07-29 | 深圳市大疆创新科技有限公司 | 基于可通行空域判断的飞行控制方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105974938B (zh) | 2023-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105974938A (zh) | 避障方法、装置、载体及无人机 | |
US11521009B2 (en) | Automatically generating training data for a lidar using simulated vehicles in virtual space | |
CN112292711B (zh) | 关联lidar数据和图像数据 | |
KR102032070B1 (ko) | 깊이 맵 샘플링을 위한 시스템 및 방법 | |
CN110826370B (zh) | 车内人员的身份识别方法、装置、车辆及存储介质 | |
CN111814752B (zh) | 室内定位实现方法、服务器、智能移动设备、存储介质 | |
CN108174152A (zh) | 一种目标监控方法及目标监控系统 | |
CN100386595C (zh) | 一种汽车防撞预警方法及其装置 | |
CN113378760A (zh) | 训练目标检测模型和检测目标的方法及装置 | |
Bucki et al. | Rectangular pyramid partitioning using integrated depth sensors (rappids): A fast planner for multicopter navigation | |
CN110850859B (zh) | 一种机器人及其避障方法和避障系统 | |
US11501538B2 (en) | Systems and methods for detecting vehicle tailgating | |
US20160354926A1 (en) | Method And System For Operating And/Or Monitoring A Machine, In Particular A Robot | |
EP3786919A1 (en) | Method and system for determining awareness data | |
Philipp et al. | Analytic collision risk calculation for autonomous vehicle navigation | |
CN112166446A (zh) | 可通行性的识别方法、系统、设备及计算机可读存储介质 | |
CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
CN110598980B (zh) | 交通场景的风险评估方法及装置 | |
CN111985850A (zh) | 行车风险控制方法及行车风险控制装置、计算机存储介质 | |
Browning | A neural circuit for robust time-to-contact estimation based on primate MST | |
CN108960432A (zh) | 决策规划方法、装置及计算机可读存储介质 | |
CN114945961B (zh) | 变道预测回归模型训练方法、变道预测方法和装置 | |
CN115123291A (zh) | 一种基于障碍物识别的行为预测方法及装置 | |
CN113483775A (zh) | 路径预测方法及装置、电子设备及计算机可读存储介质 | |
Suzuki et al. | A vision system with wide field of view and collision alarms for teleoperation of mobile robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |