CN105761265A - 利用影像深度信息提供避障的方法及无人飞行载具 - Google Patents

利用影像深度信息提供避障的方法及无人飞行载具 Download PDF

Info

Publication number
CN105761265A
CN105761265A CN201610097501.5A CN201610097501A CN105761265A CN 105761265 A CN105761265 A CN 105761265A CN 201610097501 A CN201610097501 A CN 201610097501A CN 105761265 A CN105761265 A CN 105761265A
Authority
CN
China
Prior art keywords
image
depth
block
degree
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610097501.5A
Other languages
English (en)
Inventor
林政宇
徐国峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inventec Appliances Shanghai Corp
Inventec Appliances Pudong Corp
Inventec Appliances Corp
Original Assignee
Inventec Appliances Shanghai Corp
Inventec Appliances Pudong Corp
Inventec Appliances Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventec Appliances Shanghai Corp, Inventec Appliances Pudong Corp, Inventec Appliances Corp filed Critical Inventec Appliances Shanghai Corp
Priority to CN201610097501.5A priority Critical patent/CN105761265A/zh
Priority to US15/082,013 priority patent/US10507915B2/en
Priority to TW105112043A priority patent/TWI623913B/zh
Publication of CN105761265A publication Critical patent/CN105761265A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开一种利用影像深度信息提供避障的方法，包括以下步骤:拍摄场景以取得场景的深度影像；根据深度影像决定飞行方向及飞行距离；然后，根据飞行方向及飞行距离飞行。

Description

利用影像深度信息提供避障的方法及无人飞行载具
技术领域
本发明涉及一种避障的方法及无人飞行载具，且特别是有关于一种利用影像深度信息提供避障的方法及无人飞行载具。
背景技术
无人飞行载具(UnmannedAerialVehicle,UAV)的操作模式大致上可分为手动操作模式及自动飞行模式。在自动飞行模式中，必须提供避障的方法使无人飞行载具可闪避障碍物以顺利抵达目的地。关于避障的方法，一般都需要对环境进行扫描或提供环境的各种参数(例如地理信息)以建立环境模型，并藉由参考环境模型来决定飞行路径以达到避障的目的。但是，建立及维持环境模型需花费大量时间。除此之外，根据环境模型来计算飞行路径的资料运算量庞大，故无人飞行载具必须要装载较高效能的处理器来计算飞行路径，增加成本负担。
发明内容
本发明是有关于一种利用影像深度信息提供避障的方法及无人飞行载具，可根据深度影像决定无人飞行载具的飞行方向及飞行距离以闪避障碍物。
根据本发明的一方面，提出一种利用影像深度信息提供避障的方法。利用影像深度信息提供避障的方法包括以下步骤:拍摄场景以取得场景的深度影像；根据深度影像决定飞行方向及飞行距；然后，根据飞行方向及飞行距离飞行。
其中在根据所述深度影像决定所述飞行方向的步骤中，包括：采用距离阈值来检查所述深度影像各个像素的深度值，依检查结果设置所述各个像素为安全属性或危险属性，并根据所述深度影像产生二值化影像；将所述二值化影像分割成多个区块；根据选取门槛，从所述多个区块中选择目标区块；以及根据所述目标区块在所述二值化影像中的位置决定所述飞行方向。
其中在采用所述距离阈值来检查所述深度影像各个像素的深度值的步骤中，包括：将每个所述像素的深度值转换成长度；以及判断所述长度是否小于所述距离阈值；其中当所述长度小于所述距离阈值时，将所述深度值设为最小深度值以表示所述危险属性，当所述长度大于或等于所述距离阈值时，将所述深度值设为最大深度值以表示所述安全属性，以产生所述二值化影像。
其中在根据所述选取门槛选择所述目标区块的步骤中，包括：分别计算所述区块中具所述危险属性的像素所占的比例；以及选择所述比例小于所述选取门槛的区块作为所述目标区块。
其中在根据所述深度影像决定所述飞行距离的步骤中，包括：平均所述目标区块中所有像素的深度值以得到深度平均值；将所述深度平均值转换成距离；以及将所述距离减去保留距离得到所述飞行距离。
其中在将所述二值化影像分割成多个所述区块的步骤之后，还包括：分别给予所述多个区块不同的优先权值；其中当选择的所述目标区块具有多个时，则依据所述优先权值选择多个所述目标区块其中之一。
其中在根据所述深度影像决定所述飞行方向及所述飞行距离的步骤中，当无法根据所述深度影像决定所述飞行方向时，则改变拍摄的方向。
根据本发明的另一方面，提出一种无人飞行载具。无人飞行载具包括影像拍摄单元及处理单元。影像拍摄单元拍摄场景以取得场景的深度影像。处理单元耦接至影像拍摄单元，根据深度影像决定飞行方向及飞行距离，以及根据飞行方向及飞行距离控制无人飞行载具飞行。
其中所述无人机还包括储存单元，所述处理单元用以采用距离阈值来检查所述深度影像各个像素的深度值，依检查结果在所述储存单元中设置所述像素为安全属性或危险属性，并根据所述深度影像产生二值化影像，所述处理单元将所述二值化影像分割成多个区块，根据选取门槛，从多个所述区块中选择目标区块，以及根据所述目标区块在所述二值化影像中的位置决定所述飞行方向。
其中所述处理单元用以将每个所述像素的深度值转换成长度，以及判断所述长度是否小于所述距离阈值；其中当所述长度小于所述距离阈值时，所述处理单元将所述深度值设为最小深度值以表示所述危险属性，当所述长度大于或等于所述距离阈值时，所述处理单元将所述深度值设为最大深度值以表示所述安全属性，以产生所述二值化影像。
其中所述处理单元用以分别计算多个所述区块中所述危险属性的像素所占的比例，并选择所述比例小于所述选取门槛的区块作为所述目标区块。
其中所述处理单元用以平均所述目标区块中所有像素的深度值以得到深度平均值，将所述深度平均值转换成距离，以及将所述距离减去保留距离得到所述飞行距离。
其中所述处理单元还用以分别给予所述区块不同的优先权值；其中当选择的所述目标区块具有多个时，则所述处理单元依据所述优先权值选择多个所述目标区块其中之一。
其中当无法根据所述深度影像决定所述飞行方向时，所述处理单元改变所述无人飞行载具的方向以使所述影像拍摄单元拍摄另一场景以取得所述另一场景的深度影像。
为了对本发明的上述内容及其他方面有更佳的了解，下文特举较佳实施例，并配合所附图式，作详细说明如下：
附图说明
图1绘示本发明的利用影像深度信息提供避障的方法的流程图。
图2绘示根据本发明实施例的无人飞行载具的框图。
图3绘示本发明实施例的影像拍摄单元所拍摄的深度影像示意图。
图4绘示根据深度影像决定飞行方向的方法流程图。
图5绘示深度影像经二值化所产生的二值化影像示意图。
图6绘示发明实施例的二值化影像被分割成多个区块的示意图。
图7绘示根据深度影像决定飞行距离的方法流程图。
符号说明：
S102、S104、S106、S402、S404、S406、S408、S702、S704、S706：流程步骤
200：无人飞行载具
202：影像拍摄单元
204：处理单元
206：储存单元
300：深度影像
302、304、306、308、310、502、504、506、b1～b9：区块
500：二值化影像
具体实施方式
请参照图1及图2，图1绘示本发明的利用影像深度信息提供避障的方法的流程图。图2绘示根据本发明实施例的无人飞行载具(UnmannedAerialVehicle,UAV)200的框图。无人飞行载具200包括影像拍摄单元202、处理单元204及储存单元206。处理单元204耦接至影像拍摄单元202及储存单元206。影像拍摄单元202例如为三维影像感应器，其可拍摄地点以产生该地点的深度影像。处理单元204例如为微处理器或微控制器，其可接收影像拍摄单元202所输出的深度影像，并根据深度影像执行无人飞行载具200的避障功能。储存单元206例如为记忆体。
步骤S102，影像拍摄单元202拍摄场景以取得场景的深度影像。影像拍摄单元202可以架设在无人飞行载具200的前方，即时拍摄无人飞行载具200前方场景的深度影像。在实施例中，影像拍摄单元202在无人飞行载具200进行自动飞行之后才启动，以节省电力。
请参考图3，图3绘示本发明实施例的影像拍摄单元202所拍摄的深度影像300示意图。深度影像300为无人飞行载具200前方场景的深度影像。深度影像300包括多个像素，每个像素具有深度值，深度值的范围为0至255。在深度影像300中，深度值由小到大(也就是像素颜色由深到浅)的像素所组成的区块，依序可表示为区块302、区块304、区块306(或区块308)及区块310。其中区块306及区块308具有相同的深度值。为方便说明，在本实施例中以深度影像300具有四种深度值为例。
在本发明中，深度值越大(也就是像素颜色越浅)代表无人飞行载具200离障碍物越远；深度值越小(也就是像素颜色越深)代表无人飞行载具200离障碍物越近。然而，实际应用需视影像拍摄单元202的设定为准，并不以上述情况为限。例如有些影像拍摄单元的设定中，距离越近的障碍物的影像的深度值越大(也就是颜色越浅)；而距离越远的障碍物的影像的深度值越小(也就是颜色越深)。简单来说，只要处理单元204知道影像拍摄单元202的设定信息即可。此外，由于不同影像拍摄单元的感应范围不同，有些影像拍摄单元无法辨识场景中过远或过近的障碍物的深度信息。这些无法辨识的物体所对应的像素的深度值会被表示为最小值0或最大值255。
步骤S104，处理单元204接收影像拍摄单元202所拍摄的深度影像300，并根据深度影像300决定无人飞行载具200的飞行方向及飞行距离。进一步来说，处理单元204是根据深度影像300中每个像素的深度值，判断深度影像300中哪个区块没有障碍物或是障碍物较少，并控制无人飞行载具200依据该区块的位置飞行。接着，处理单元204依据区块中所有像素的深度值决定无人飞行载具200需飞行多少距离。详细说明如下。
请参考图4，图4绘示根据深度影像300决定飞行方向的方法流程图。步骤S402，处理单元204对深度影像300进行影像处理，也就是采用距离阈值来检查深度影像300各个像素的深度值，依检查结果在储存单元206中设置所述各个像素为安全属性或危险属性。
以二值化的方法为例，实际的方法即为根据深度影像产生二值化影像(一般深度影像是以灰阶来表示，故在深度值的表示上，会对应至灰阶值(灰度)，二值化的表示则在图像上会以两种色块方式呈现，例如：白、黑)，其中，将像素的深度值设为最大深度值(深度值255，一般为白色)则表示该像素的属性为安全，将像素的深度值设为最小深度值(深度值0，一般为黑色)则表示该像素的属性为危险。具体来说，处理单元204在二值化判断过程中，会将深度影像每个像素的深度值转换成长度(即与物的距离)，并判断距离是否小于距离阈值，其中，当距离大于或等于距离阈值时，处理单元204依判断结果设置相对位置的像素深度值为255，当距离小于距离阈值时，处理单元204依判断结果设置相对位置的像素深度值为0，最后组成相对于深度影像的二值化影像并存于储存单元206中。
距离阈值代表的是安全距离，当长度小于安全距离时，表示障碍物离无人飞行载具200过近，则无人飞行载具200的反应时间较短，因此撞上障碍物的机率变大。在实施例中，在产生深度影像300时，影像拍摄单元202会主动将无法辨识的物体视为离无人飞行载具200很远(像素深度值会以255表示)。本发明为了避免如此状况造型的飞行安全问题，在二值化深度影像300的过程中，处理单元204会一并将无法辨识的物体所对应的像素的深度值(也就是像素深度值为最大值255)改设为最小深度值，从而确保无人飞行载具200的飞行安全。
距离阈值为可调整的参数，与影像拍摄单元202的感应范围相关，且距离阈值与无人飞行载具200的飞行速度相关。举例来说，若无人飞行载具200的飞行速度较快，则可提高距离阈值，以使无人飞行载具200有更多的时间反应，以闪避障碍物。
请参考图3及图5，图5绘示深度影像300经二值化所产生的二值化影像500示意图。二值化影像500为基于深度影像300所产出的另一影像。在深度影像300中，区块306、区块308及区块310所包含的像素其深度值所对应的长度皆大于或等于距离阈值，代表这些区块中的像素皆属于安全属性。因此处理单元204将区块306、区块308及区块310中的所有像素所对应的二值化影像像素的深度值设定为最大深度值255，设定后如二值化影像500中的区块506所示。区块302及区块304所包含的像素其深度值所对应的长度皆小于距离阈值，代表这些区块中的像素皆属于危险属性。因此处理单元204将区块302及区块304中的所有像素所对应的二值化影像像素的深度值设定为最小深度值0，如二值化影像500中的区块502及区块504所示。在另一实施例中，处理单元204并不一定要将安全属性像素的深度值设定为最大深度值255以及将危险属性像素的深度值设定为最小深度值0。处理单元204只要将安全属性像素的深度值以及危险属性像素的深度值分别设定为两个不同的深度值，以区别像素是属于安全属性或危险属性即可。
在二值化影像500中，区块506为具有安全属性的像素所组成；区块502及504为具有危险属性的像素所组成。换句话说，区块506代表障碍物较远或没有障碍物的区块，因此无人飞行载具200往所述这些区块所对应的方向前进，较不易撞到障碍物；而区块502及504代表障碍物较近，因此所述多个区块对于无人飞行载具200而言，无法继续前进的机率变大。
步骤S404，处理单元204将二值化影像500分割成多个区块。请参考图6，图6绘示发明实施例的二值化影像500被分割成多个区块的示意图。在产生二值化影像500之后，处理单元204将二值化影像500分割成九个相同大小的区块b1～b9。值得注意的是，分割区块的个数及大小并不以此为限。在一实施例中，程序设计者可事先得到无人飞行载具200的大小，以及影像拍摄单元202的可视角度信息。处理单元204根据无人飞行载具200的大小以及影像拍摄单元202的可视角度信息分割影像，使区块大小所对应到的实际场景至少为无人飞行载具200可通过的大小，确保不会因为分割大小不当，而造成虽然判断该区块是可供飞行，但最后无人飞行载具200却因为空间不足，无法顺利穿越的状况。
步骤S406，处理单元204根据选取门槛，从所述多个区块中选择目标区块。进一步来说，处理单元204分别计算区块b1～b9中危险属性的像素在各区块中所占的比例是否超出选取门槛，并依据结果选择目标区块。
举例来说，区块b1中危险属性的像素所占的比例为0％、区块b2中危险属性的像素所占的比例为0％、区块b3中危险属性的像素所占的比例为0％、区块b4中危险属性的像素所占的比例为40％、区块b5中危险属性的像素所占的比例为4％、区块b6中危险属性的像素所占的比例为20％、区块b7中危险属性的像素所占的比例为80％、区块b8中危险属性的像素所占的比例为20％、区块b9中危险属性的像素所占的比例为100％。
接着，处理单元204选取比例小于选取门槛的区块作为目标区块。假设选取门槛为5％，则处理单元204选取区块b1、b2、b3及b5做为目标区块。由于是判断选取区块中具危险属性像素所占的比例，故选取门槛为不安全指数，当选取区块中具危险属性像素所占的比例高于该选取门槛，则代表在该区块中可能具有较多的障碍物，对于无人飞行载具200来说较不安全。
在实施例中，当目标区块具有多个时，处理单元204依据预设的顺序，例如区块b1～b9的顺序来选择其一作为目标区块。以上述为例，若处理单元204依照预设顺序选择目标区块，则区块b1被选为目标区块。预设的顺序可为使用者所任意设定的顺序。
在另一实施例中，当目标区块具有多个时，处理单元204依据优先权选择其一作为目标区块。在处理单元204将二值化影像500分割成多个区块之后，根据所述多个区块于二值化影像500中的位置分别给予所述多个区块不同的优先权值，例如位于中央的区块(也就是区块b5)具有最高的优先权，再来优先权由高至低分别为位于中央区块的上方区块(也就是区块b2)、下方区块(也就是区块b8)、左边区块(也就是区块b4)及右边区块(也就是区块b6)，接着是位于角落的区块(也就是区块b1、区块b3、区块b7、区块b9)。当目标区块具有多个时，处理单元204选择具有较高优先权的区块作为目标区块。在这个实施例中，假设区块b1、b2、b3及b5为目标区块，则处理单元204选取区块b5做为目标区块。
步骤S408，处理单元204根据目标区块的位置决定飞行方向。举例来说，假设目标区块为区块b5，由于区块b5位于二值化影像500的中央位置，则处理单元204以无人飞行载具200的正前方作为飞行方向。假设目标区块为区块b1，由于b1位于二值化影像500的左上方位置，则处理单元204以无人飞行载具200的左上前方作为飞行方向。类似地，其余区块与飞行方向的决定方式依此类推，在此不多赘述。
在实施例中，处理单元204根据最短飞行路径分别给予区块优先权，例如中央区块具有最高优先权。当中央区块具有最高的优先权且被选为目标区块时，无人飞行载具200可以正前方作为飞行方向，而不需要转向，以减少额外的电力消耗。
此外，在实施例中，步骤S406，若处理单元204无法根据深度影像决定无人飞行载具200的飞行方向(例如：离物体太近或是无法正确取得深度影像)，则处理单元204改变无人飞行载具200的方向以使影像拍摄单元202拍摄另一场景以取得所述另一场景的深度影像。举例来说，处理单元204可控制无人飞行载具200转向，如向左转向、向右转向，或控制无人飞行载具200往任一方向平移，如往左平移、往右平移、往上平移、往下平移。
在另一实施例中，除了架设在无人飞行载具200前方的影像拍摄单元202之外，还可包括多个影像拍摄单元，分别架设在无人飞行载具200的左方、右方及后方。当处理单元204无法根据深度影像决定无人飞行载具200的飞行方向时，处理单元204控制其他影像拍摄单元之一拍摄另一场景的深度影像，并根据所述另一场景的深度影像决定飞行方向。
接着，请参考图6及图7，图7绘示根据深度影像决定飞行距离的方法流程图。步骤S702，处理单元204平均目标区块中所有像素的深度值以得到深度平均值。举例来说，若目标区块为区块b5，则处理单元204加总区块b5中所有像素的深度值，并除以区块b5中的像素个数，以得到深度平均值。
步骤S704，处理单元204将深度平均值转换成距离。详细来说，处理单元204是通过换算公式将深度平均值转换成距离。与实际长度对应的换算公式可由实验数据取得，且换算公式可储存在储存单元206中。深度平均值代表目标区块所对应的场景以及场景中的障碍物与无人飞行载具200之间的大致距离。假设处理单元204所计算的距离为2公尺，表示目标区块所对应的场景以及场景中的障碍物与无人飞行载具200之间的距离约为2公尺。
步骤S706，处理单元204将距离减去保留距离得到飞行距离。假设保留距离为1.85公尺，则处理单元204将距离2公尺减去保留距离1.85公尺，得到飞行距离为0.15公尺。保留距离是让无人飞行载具200往目标区块的方向飞行时，不会离障碍物太近而预留的距离，可避免无人飞行载具200撞到障碍物。另外，一般而言，保留距离会大于距离阈值。
请参考图1，在处理单元204根据二值化影像及深度影像来决定飞行方向及飞行距离之后，接着进入步骤S106，处理单元204根据飞行方向及飞行距离控制无人飞行载具200飞行。举例来说，若飞行方向为正前方且飞行距离为0.15公尺，则处理单元204控制无人飞行载具200往正前方飞行0.15公尺。
在另一实施例中，图1、图4及图7的方法也可应用在无人飞行载具200的返航模式中。例如在返航途中，开启影像拍摄单元202即时拍摄场景的深度影像，当侦测到障碍物时，处理单元204执行如第1、4及7图所述的方法，当无人飞行载具200避开障碍物之后，处理单元204控制无人飞行载具200再次进入返航模式。
上述实施例中，还可以是直接采用此影像深度信息提供避障的方法来自动飞返目的地，其中，处理单元204除了会执行如图1、图4及图7所述的方法外，同时还结合预定飞行目的地的方位动态调整飞行区块的优先权顺序，依此来决定飞行的方向及飞行的距离，使无人飞行载具200在返航的同时亦能成功避开障碍物，达成自动避障返航的效果。
本发明上述实施例所公开的利用影像深度信息提供避障的方法，根据深度影像决定无人飞行载具的飞行方向及飞行距离以闪避障碍物。由于本发明在飞行避障时采用的深度影像是二维影像，因此资料的计算量相较一般3D建模避障方式来的低。另外，本发明仅需要通过深度影像即可进行障碍物的判断及闪避，不需要额外花时间建立环境模型，可减少时间的花费。
综上所述，虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视后附的权利要求书所界定的为准。

Claims (14)

1.一种利用影像深度信息提供避障的方法，其特征在于，包括：
拍摄场景以取得所述场景的深度影像；
根据所述深度影像决定飞行方向及飞行距离；以及
根据所述飞行方向及所述飞行距离飞行。
2.如权利要求1所述的利用影像深度信息提供避障方法，其特征在于，其中在根据所述深度影像决定所述飞行方向的步骤中，包括：
采用距离阈值来检查所述深度影像各个像素的深度值，依检查结果设置所述各个像素为安全属性或危险属性，并根据所述深度影像产生二值化影像；
将所述二值化影像分割成多个区块；
根据选取门槛，从所述多个区块中选择目标区块；以及
根据所述目标区块在所述二值化影像中的位置决定所述飞行方向。
3.如权利要求2所述的利用影像深度信息提供避障方法，其特征在于，其中在采用所述距离阈值来检查所述深度影像各个像素的深度值的步骤中，包括：
将每个所述像素的深度值转换成长度；以及
判断所述长度是否小于所述距离阈值；
其中当所述长度小于所述距离阈值时，将所述深度值设为最小深度值以表示所述危险属性，当所述长度大于或等于所述距离阈值时，将所述深度值设为最大深度值以表示所述安全属性，以产生所述二值化影像。
4.如权利要求2所述的利用影像深度信息提供避障方法，其特征在于，其中在根据所述选取门槛选择所述目标区块的步骤中，包括：
分别计算所述区块中具所述危险属性的像素所占的比例；以及
选择所述比例小于所述选取门槛的区块作为所述目标区块。
5.如权利要求2所述的利用影像深度信息提供避障方法，其特征在于，其中在根据所述深度影像决定所述飞行距离的步骤中，包括：
平均所述目标区块中所有像素的深度值以得到深度平均值；
将所述深度平均值转换成距离；以及
将所述距离减去保留距离得到所述飞行距离。
6.如权利要求2所述的利用影像深度信息提供避障方法，其特征在于，其中在将所述二值化影像分割成多个所述区块的步骤之后，还包括：
分别给予所述多个区块不同的优先权值；
其中当选择的所述目标区块具有多个时，则依据所述优先权值选择多个所述目标区块其中之一。
7.如权利要求1所述的利用影像深度信息提供避障方法，其特征在于，其中在根据所述深度影像决定所述飞行方向及所述飞行距离的步骤中，当无法根据所述深度影像决定所述飞行方向时，则改变拍摄的方向。
8.一种无人飞行载具，其特征在于，包括：
影像拍摄单元，用以拍摄场景以取得所述场景的深度影像；
处理单元，耦接至所述影像拍摄单元，用以根据所述深度影像决定飞行方向及飞行距离，以及根据所述飞行方向及所述飞行距离控制所述无人飞行载具飞行。
9.如权利要求8所述的无人飞行载具，其特征在于，其中所述无人机还包括储存单元，所述处理单元用以采用距离阈值来检查所述深度影像各个像素的深度值，依检查结果在所述储存单元中设置所述像素为安全属性或危险属性，并根据所述深度影像产生二值化影像，所述处理单元将所述二值化影像分割成多个区块，根据选取门槛，从多个所述区块中选择目标区块，以及根据所述目标区块在所述二值化影像中的位置决定所述飞行方向。
10.如权利要求9所述的无人飞行载具，其特征在于，其中所述处理单元用以将每个所述像素的深度值转换成长度，以及判断所述长度是否小于所述距离阈值；
其中当所述长度小于所述距离阈值时，所述处理单元将所述深度值设为最小深度值以表示所述危险属性，当所述长度大于或等于所述距离阈值时，所述处理单元将所述深度值设为最大深度值以表示所述安全属性，以产生所述二值化影像。
11.如权利要求9所述的无人飞行载具，其特征在于，其中所述处理单元用以分别计算多个所述区块中所述危险属性的像素所占的比例，并选择所述比例小于所述选取门槛的区块作为所述目标区块。
12.如权利要求9所述的无人飞行载具，其特征在于，其中所述处理单元用以平均所述目标区块中所有像素的深度值以得到深度平均值，将所述深度平均值转换成距离，以及将所述距离减去保留距离得到所述飞行距离。
13.如权利要求9所述的无人飞行载具，其特征在于，其中所述处理单元还用以分别给予所述区块不同的优先权值；
其中当选择的所述目标区块具有多个时，则所述处理单元依据所述优先权值选择多个所述目标区块其中之一。
14.如权利要求8所述的无人飞行载具，其特征在于，其中当无法根据所述深度影像决定所述飞行方向时，所述处理单元改变所述无人飞行载具的方向以使所述影像拍摄单元拍摄另一场景以取得所述另一场景的深度影像。
CN201610097501.5A 2016-02-23 2016-02-23 利用影像深度信息提供避障的方法及无人飞行载具 Pending CN105761265A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610097501.5A CN105761265A (zh) 2016-02-23 2016-02-23 利用影像深度信息提供避障的方法及无人飞行载具
US15/082,013 US10507915B2 (en) 2016-02-23 2016-03-28 Method for providing obstacle avoidance using depth information of image and unmanned aerial vehicle
TW105112043A TWI623913B (zh) 2016-02-23 2016-04-18 利用影像深度資訊提供避障的方法及無人飛行載具

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610097501.5A CN105761265A (zh) 2016-02-23 2016-02-23 利用影像深度信息提供避障的方法及无人飞行载具

Publications (1)

Publication Number Publication Date
CN105761265A true CN105761265A (zh) 2016-07-13

Family

ID=56331142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610097501.5A Pending CN105761265A (zh) 2016-02-23 2016-02-23 利用影像深度信息提供避障的方法及无人飞行载具

Country Status (3)

Country Link
US (1) US10507915B2 (zh)
CN (1) CN105761265A (zh)
TW (1) TWI623913B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683101A (zh) * 2016-12-30 2017-05-17 英华达（上海）科技有限公司 路面检测方法及手持式电子装置
CN107272742A (zh) * 2017-08-07 2017-10-20 深圳市华琥技术有限公司 一种无人机群协同作业的导航控制方法
WO2018086050A1 (zh) * 2016-11-11 2018-05-17 深圳市大疆创新科技有限公司 深度图生成方法和基于该方法的无人机
CN109064555A (zh) * 2018-08-06 2018-12-21 百度在线网络技术（北京）有限公司 3d建模的方法、装置和存储介质
CN109478070A (zh) * 2016-08-04 2019-03-15 深圳市大疆创新科技有限公司 障碍物识别和避让方法和系统
CN109708636A (zh) * 2017-10-26 2019-05-03 广州极飞科技有限公司 导航图配置方法、避障方法以及装置、终端、无人飞行器
WO2019144291A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 飞行控制方法、装置和机器可读存储介质
WO2019237413A1 (zh) * 2018-06-13 2019-12-19 仲恺农业工程学院 一种基于gis的无人机植保系统及方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018195857A1 (zh) * 2017-04-27 2018-11-01 深圳市大疆创新科技有限公司 无人机的控制方法、设备及障碍物的提示方法、设备
CN109933092B (zh) * 2017-12-18 2022-07-05 北京京东乾石科技有限公司 飞行器避障方法、装置、可读存储介质和飞行器
WO2020037524A1 (zh) * 2018-08-22 2020-02-27 深圳市大疆创新科技有限公司 可移动平台的控制方法、可移动平台及可读存储介质
US10937325B2 (en) 2018-12-27 2021-03-02 Intel Corporation Collision avoidance system, depth imaging system, vehicle, obstacle map generator, and methods thereof
US10884415B2 (en) * 2018-12-28 2021-01-05 Intel Corporation Unmanned aerial vehicle light flash synchronization
CN110390681B (zh) * 2019-07-17 2023-04-11 海伯森技术（深圳）有限公司 一种基于深度相机的深度图物体轮廓快速提取方法及装置
CN110658819B (zh) * 2019-09-30 2022-04-15 北京猎户星空科技有限公司 一种避障方法、装置、电子设备和存储介质
TWI738538B (zh) * 2020-10-14 2021-09-01 中華學校財團法人中華科技大學 無人載具之三維影像重組方法及系統
CN115576329B (zh) * 2022-11-17 2023-04-07 西北工业大学 一种基于计算机视觉的无人驾驶agv小车的避障方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286456A1 (en) * 2006-06-12 2007-12-13 Honeywell International Inc. Static camera tracking system
CN101504287A (zh) * 2009-01-22 2009-08-12 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
US20110128379A1 (en) * 2009-11-30 2011-06-02 Dah-Jye Lee Real-time optical flow sensor design and its application to obstacle detection
US20130253733A1 (en) * 2012-03-26 2013-09-26 Hon Hai Precision Industry Co., Ltd. Computing device and method for controlling unmanned aerial vehicle in flight space
CN103587708A (zh) * 2013-11-14 2014-02-19 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401242B2 (en) * 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US9266611B2 (en) * 2013-06-20 2016-02-23 University Of Florida Research Foundation, Inc. Flight path development for remote sensing vehicles in a moving reference frame
CN105346706B (zh) * 2015-11-13 2018-09-04 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286456A1 (en) * 2006-06-12 2007-12-13 Honeywell International Inc. Static camera tracking system
CN101504287A (zh) * 2009-01-22 2009-08-12 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
US20110128379A1 (en) * 2009-11-30 2011-06-02 Dah-Jye Lee Real-time optical flow sensor design and its application to obstacle detection
US20130253733A1 (en) * 2012-03-26 2013-09-26 Hon Hai Precision Industry Co., Ltd. Computing device and method for controlling unmanned aerial vehicle in flight space
CN103587708A (zh) * 2013-11-14 2014-02-19 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨维等: "《基于RGB-D相机的无人机快速自主避障》", 《湖南工业大学学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478070A (zh) * 2016-08-04 2019-03-15 深圳市大疆创新科技有限公司 障碍物识别和避让方法和系统
WO2018086050A1 (zh) * 2016-11-11 2018-05-17 深圳市大疆创新科技有限公司 深度图生成方法和基于该方法的无人机
CN106683101A (zh) * 2016-12-30 2017-05-17 英华达（上海）科技有限公司 路面检测方法及手持式电子装置
CN106683101B (zh) * 2016-12-30 2019-12-31 英华达（上海）科技有限公司 路面检测方法及手持式电子装置
CN107272742A (zh) * 2017-08-07 2017-10-20 深圳市华琥技术有限公司 一种无人机群协同作业的导航控制方法
CN109708636A (zh) * 2017-10-26 2019-05-03 广州极飞科技有限公司 导航图配置方法、避障方法以及装置、终端、无人飞行器
WO2019144291A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 飞行控制方法、装置和机器可读存储介质
WO2019237413A1 (zh) * 2018-06-13 2019-12-19 仲恺农业工程学院 一种基于gis的无人机植保系统及方法
CN109064555A (zh) * 2018-08-06 2018-12-21 百度在线网络技术（北京）有限公司 3d建模的方法、装置和存储介质

Also Published As

Publication number Publication date
US20170243355A1 (en) 2017-08-24
TWI623913B (zh) 2018-05-11
US10507915B2 (en) 2019-12-17
TW201730844A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
CN105761265A (zh) 利用影像深度信息提供避障的方法及无人飞行载具
US11315266B2 (en) Self-supervised depth estimation method and system
CN108682026B (zh) 一种基于多匹配基元融合的双目视觉立体匹配方法
CN108459599B (zh) 一种运动路径规划方法及装置
US11748998B1 (en) Three-dimensional object estimation using two-dimensional annotations
US9424649B1 (en) Moving body position estimation device and moving body position estimation method
WO2017136578A1 (en) Partially occluded object detection using context and depth ordering
US11810311B2 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
CN111480183B (zh) 用于产生透视效果的光场图像渲染方法和系统
US10878277B2 (en) Ship identification system and method
CN114332214A (zh) 物体姿态估计方法、装置、电子设备及存储介质
CN110667474A (zh) 通用障碍物检测方法、装置与自动驾驶系统
CN111209840A (zh) 一种基于多传感器数据融合的3d目标检测方法
CN112949347B (zh) 基于人体姿势的风扇调节方法、风扇和存储介质
EP3992909A1 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
CN116993817A (zh) 目标车辆的位姿确定方法、装置、计算机设备及存储介质
CN112509054A (zh) 一种相机外参动态标定方法
Manivannan et al. Vision based intelligent vehicle steering control using single camera for automated highway system
Saxena et al. 3-d reconstruction from sparse views using monocular vision
CN114863388A (zh) 障碍物朝向的确定方法、装置、系统、设备、介质及产品
CN113420704A (zh) 一种基于视觉传感器的物体识别方法、装置及机器人
Pohl et al. Depth map improvements for stereo-based depth cameras on drones
CN115953446A (zh) 基于误差纠正的深度估计方法、装置、电子设备
CN113994382A (zh) 深度图生成方法、电子设备、计算处理设备及存储介质
CN117197211B (zh) 一种深度图像生成方法、系统、装置及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160713

RJ01 Rejection of invention patent application after publication