CN108140245A - 测距方法、装置以及无人机 - Google Patents

测距方法、装置以及无人机 Download PDF

Info

Publication number
CN108140245A
CN108140245A CN201780002607.5A CN201780002607A CN108140245A CN 108140245 A CN108140245 A CN 108140245A CN 201780002607 A CN201780002607 A CN 201780002607A CN 108140245 A CN108140245 A CN 108140245A
Authority
CN
China
Prior art keywords
target
unmanned plane
distance
image
prospect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780002607.5A
Other languages
English (en)
Other versions
CN108140245B (zh
Inventor
张柯
臧波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Publication of CN108140245A publication Critical patent/CN108140245A/zh
Application granted granted Critical
Publication of CN108140245B publication Critical patent/CN108140245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种测距方法及其装置、以及使用该方法和装置的无人机。本发明实施例提供的测距方法、装置及无人机通过对相邻两帧图像进行前景背景分割、利用扩大的感兴趣区域进行边缘特征提取来获取图像尺度的变化，通过该图像尺度的变化能够实现极端条件下的远距离避障，同时解决了在无纹理、低纹理或者密集重复纹理等极端情况下立体匹配精度差或无法进行立体匹配的问题。

Description

测距方法、装置以及无人机
技术领域
本发明涉及无人机技术领域，尤其涉及一种测距方法、装置及使用该方法或装置的无人机。
背景技术
目前，在无人机自主返航过程中，一般采用单目立体视觉的避障方式进行远距离避障，通过获取一段飞行时间间隔内无人机的位置姿态变化和对应的图像信息，通过对校正对齐后的图像进行立体视觉匹配(Stereo Matching)从而获得图像中每一点的景深信息。即，当前方一定距离内有目标时，图像随着无人机的飞行发生变化，通过对图像中每一点的信息进行前后两帧的立体视觉匹配，可获得目标相对于无人机的即时位置，从而提前预警，实施避障策略。
值得注意的是，尽管立体视觉匹配算法已经相当成熟，无论误差平方和算法(Sumof Squared Differences，SSD)、绝对误差和算法(Sum of Absolute Differences，SAD)、Census等局部匹配算法或是动态规划、置信传播、模拟退火等全局匹配算法均须利用图像的像素信息，通过寻找两幅图像中的相同像素点，进而通过其对应的图像位置来得到描述该点景深信息的视差图，进一步通过对应的位置变化获得目标实际相对于无人机的距离信息。依据这样的匹配原理，图像像素点与临近像素点的差异性成为决定匹配精度甚至匹配能否成功的重要因素。而对于某些情况，如天气因素或亮度引起的目标低纹理甚至无纹理、密集重复纹理等极端情况，该远距离避障方法则容易引起误匹配，导致避障方法不可用。
发明内容
第一方面，本发明为解决其技术问题提供了一种测距方法，该方法包括：
目标
获取所述无人机拍摄的相邻两帧的图像；
确定所述相邻两帧图像中每个所述图像的第一感兴趣区域(Region ofInterest,ROI)；
确定无人机无法通过立体匹配的方法确定所述无人机与所述无人机飞行方向上的目标之间的距离；
扩大所述相邻两帧图像中每个所述图像的第一感兴趣区域，以形成第二感兴趣区域；
从所述相邻两帧图像中，分别提取所述第二感兴趣区域中的前景；根据从所述相邻两帧图像中分别提取出的所述前景，确定所述无人机与所述目标之间的距离。
在本发明的一实施例中，所述确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离，包括：
在所述第一感兴趣区域内选取n×n个像素单元作为一个胞元，并计算所述n×n个像素单元的灰度值之和g0；
在所述胞元周围选取n×n个胞元作为一个块，并分别计算所述块内所述n×n个胞元的灰度值g1，g2，……gn×n；
判断所述n×n个像素单元的灰度值之和与所述块内所述n×n个胞元的灰度值是否满足预设条件；
若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
在本发明的一实施例中，所述判断所述n×n个像素单元的灰度值之和与所述块内所述n×n个胞元的灰度值是否满足预设条件，包括：
计算所述块内所有所述胞元的灰度值与所述g0差值的和与所述胞元大小的比值：
其中，Scell为所述胞元的大小；
判断所述比值是否在预设范围内；
若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
在本发明的一实施例中，所述第二感兴趣区域的尺寸与所述第一感兴趣区域的尺寸的比值大于1。
在本发明的一实施例中，该方法还包括：
判断所述前景中是否存在至少两个目标；
若是，则确定其中一个所述目标为检测对象；
则，所述根据从所述相邻两帧图像中分别提取出的所述前景，确定所述无人机与所述目标之间的距离，包括：
根据从所述相邻两帧图像中分别提取出的所述前景，确定所述无人机与所述检测对象的距离。
在本发明的一实施例中，所述确定其中一个所述目标作为检测对象，包括：
判断所述前景中所述至少两个目标尺度的变化是否相同；
若是，则确定在所述前景中上边缘最高的目标为所述检测对象。
在本发明的一实施例中，该方法还包括：
若所述前景中所述至少两个目标尺度的变化不同，则确定在所述前景中边缘尺度变化最大的目标为所述检测对象。
在本发明的一实施例中，所述目标为静止的目标，则所述根据从所述相邻两帧图像中分别提取出的前景，确定所述无人机与所述目标之间的距离，包括：
至少根据h1,h2,f,S确定所述距离；
其中，所述S为拍摄所述相邻两帧图像时所述无人机飞行的距离，所述f为所述无人机的摄像装置的焦距，所述h1为所述目标在所述无人机拍摄其中一帧图像时在所述摄像装置的像平面上的宽度，所述h2为所述目标在所述无人机拍摄另一帧图像时在所述摄像装置的像平面上的宽度。
在本发明的一实施例中，所述根据h1,h2,f,S确定所述距离，包括：
按照下述公式计算所述无人机与所述目标之间的距离H：
在本发明的一实施例中，所述目标为动态的目标，则所述根据从所述相邻两帧图像中分别提取出的前景，确定所述无人机与所述目标之间的距离，包括：
计算所述目标在所述无人机拍摄所述相邻两帧图像时运动的距离S；
至少根据h1,h2,f,所述S确定所述距离；
其中，所述f为所述无人机的摄像装置的焦距，所述h1为所述目标在所述无人机拍摄其中一帧图像时在所述摄像装置的像平面上的宽度，所述h2为所述目标在所述无人机拍摄另一帧图像时在所述摄像装置的像平面上的宽度。
在本发明的一实施例中，所述至少根据h1,h2,f,所述S确定所述距离，包括：
按照下述公式计算所述无人机与所述目标之间的距离H：
在本发明的一实施例中，所述方法还包括：
按照下述公式计算所述目标的宽度E：
在本发明的一实施例中，所述计算所述目标在所述无人机拍摄所述相邻两帧图像时运动的距离S，包括：
获取所述无人机拍摄的至少三帧所述目标的图像；
根据所述至少三帧所述目标的图像获取描述所述目标运动规律的速度模型；
根据所述速度模型计算所述目标在所述无人机拍摄所述相邻两帧图像时运动的距离S。
在本发明的一实施例中，所述速度模型为：
其中，t为所述目标的运动时间，k、b、c为常数。
在本发明的一实施例中，所述k、b、c由所述至少三帧所述目标的图像确定。
在本发明的一实施例中，该方法还包括：
调整所述无人机的飞行姿态，以使得所述图像的中心落在所述无人机飞行方向所在的直线上。
第二方面，本发明为解决其技术问题提供了一种测距装置，该装置包括：
目标获取模块，用于获取所述无人机拍摄的任意相邻两帧的图像；
图像处理模块，用于：
确定所述任意相邻两帧图像的感兴趣区域(Region of Interest,ROI)；
根据所述感兴趣区域分别确定所述任意相邻两帧图像的扩大的感兴趣区域；
分别分割并提取所述扩大的感兴趣区域中的前景；
所述确定模块用于：
用于确定无人机无法通过立体匹配的方法确定所述无人机与所述无人机飞行方向上的目标之间的距离；以及
根据所述任意相邻两帧图像的所述前景确定所述无人机与所述无人机飞行方向上的目标之间的距离。
在本发明的一实施例中，所述确定模块用于：
在所述感兴趣区域内选取n×n个像素单元作为一个胞元，并计算所述n×n个像素单元的灰度值之和g0；
在所述胞元周围选取n×n个胞元作为一个块，并分别计算所述块内所述n×n个胞元的灰度值g1，g2，……gn×n；
判断所述n×n个像素单元的灰度值之和与所述块内所述n×n个胞元的灰度值是否满足预设条件；
若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
在本发明的一实施例中，所述确定模块具体用于：
计算所述块内所有所述胞元的灰度值与所述g0差值的和与所述胞元大小的比值：
其中，Scell为所述胞元的大小
判断所述比值是否在预设范围内；
若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
在本发明的一实施例中，所述第二感兴趣区域的尺寸与所述第一感兴趣区域的尺寸的比值大于1。
在本发明的一实施例中，该装置还包括判断模块，所述判断模块用于：
判断所述前景中是否存在至少两个目标；
若是，则确定其中一个所述目标为检测对象；
则，所述确定模块用于：
根据从所述相邻两帧图像中分别提取出的所述前景，确定所述无人机与所述检测对象的距离。
在本发明的一实施例中，所述判断模块具体用于：
判断所述前景中所述至少两个目标尺度的变化是否相同；
若是，则确定在所述前景中上边缘最高的目标为所述检测对象。
在本发明的一实施例中，若所述前景中所述多个目标尺度变化不相同，则所述判断模块还用于确定在所述前景中边缘尺度变化最大的目标为所述检测对象。
在本发明的一实施例中，所述目标为静止的目标，则所述确定模块用于：
至少根据h1,h2,f,S确定所述距离；
其中，所述S为拍摄所述相邻两帧图像时所述无人机飞行的距离，所述f为所述无人机的摄像装置的焦距，所述h1为所述目标在所述无人机拍摄其中一帧图像时在所述摄像装置的像平面上的宽度，所述h2为所述目标在所述无人机拍摄另一帧图像时在所述摄像装置的像平面上的宽度。
在本发明的一实施例中，所述确定模块具体用于：
计算所述无人机与所述无人机飞行方向上的目标之间的距离H：
在本发明的一实施例中，所述目标为动态的目标，则所述确定模块用于：
计算所述目标在所述无人机拍摄所述相邻两帧图像时运动的距离S；
至少根据h1,h2,f,所述S确定所述距离；
其中，所述f为所述无人机的摄像装置的焦距，所述h1为所述目标在所述无人机拍摄其中一帧图像时在所述摄像装置的像平面上的宽度，所述h2为所述目标在所述无人机拍摄另一帧图像时在所述摄像装置的像平面上的宽度。
在本发明的一实施例中，所述确定模块具体用于：
计算所述无人机与所述无人机飞行方向上的目标之间的距离H：
在本发明的一实施例中，所述确定模块还用于：
按照下述公式计算所述目标的宽度E：
在本发明的一实施例中，所述确定模块还用于：
获取所述无人机拍摄的至少三帧所述目标的图像；
根据所述至少三帧所述目标的图像获取描述所述目标运动规律的速度模型；
根据所述速度模型计算所述目标在所述无人机拍摄所述相邻两帧图像时运动的距离S。
在本发明的一实施例中，所述速度模型为：
其中，t为所述目标的运动时间，k、b、c为常数。
在本发明的一实施例中，所述k、b、c由所述至少三帧所述目标的图像确定。
在本发明的一实施例中，该装置还包括调整模块，所述调整模块用于调整所述无人机的飞行姿态，以使得所述图像的中心落在所述无人机飞行方向所在的直线上。
第三方面，本发明为解决其技术问题还提供了一种无人机，包括：
壳体；
与所述壳体连接的机臂；
设置在所述壳体或者机臂内的处理器；以及，
与所述处理器通信连接的存储器，所述存储器设在所述壳体或者机臂内；其中，
所述存储器存储有可被所述处理器执行的指令，所述处理器执行所述指令时，实现如上述所述的测距方法。
第四方面，本发明为解决其技术问题还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被无人机执行时，使所述无人机执行如上述所述的测距方法。
本发明实施例提供的测距方法、装置及无人机通过对相邻两帧图像进行前景背景分割、利用扩大的感兴趣区域进行边缘特征提取来获取图像尺度的变化，通过该图像尺度的变化能够实现极端条件下的远距离避障，同时解决了在无纹理、低纹理或者密集重复纹理等极端情况下立体匹配精度差或无法进行立体匹配的问题。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明一种无人机其中一实施例的结构示意图；
图2是图1所示无人机拍摄的其中一幅图像的示意图，其中该图像包含第一感兴趣区域；
图3a是图1所示的无人机拍摄的图像中的目标在雾天呈现无纹理的示意图；
图3b是图1所示的无人机拍摄的图像中的目标在低亮度环境下呈现低纹理的示意图；
图3c是图1所示的无人机拍摄的图像中的目标在远距离情况下呈现密集重复纹理的示意图；
图4是图1所示的无人机确定无法通过立体匹配的方法确定无人机与其飞行方向上的目标的相对距离的其中一实施例的流程图；
图5是图4所示的流程图中判断所述n×n个像素单元的灰度值之和与所述块内所述n×n个胞元的灰度值是否满足预设条件其中一实施例的流程图；
图6是图4所示流程图中提及的胞元与块的结构示意图；
图7是图2中的第一感兴趣区域被扩大后形成第二感兴趣区域的示意图；
图8是当前景中存在至少两个目标时，图1所示的无人机确定检测对象的其中一实施例的流程图；
图9是当目标为静态目标时，图1所示的无人机拍摄相邻两帧图像形成的几何关系图；
图10是当目标为动态目标时，图1所示的无人机拍摄相邻两帧图像形成的几何关系图；
图11是本发明一种测距方法其中一实施例的流程图；
图12是本发明一种测距方法另一实施例的流程图；
图13是本发明一种测距装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的一种测距方法、装置及无人机能够解决在无人机前方的目标无纹理、低纹理或者密集重复纹理等极端情况下立体匹配精度差或无法进行立体匹配，从而导致无人机无法实现远距离避障的问题。
图1是本发明实施例提供的一种无人机10的结构示意图。该无人机10包括壳体11、与壳体11相连的机臂12、设置在机臂12一端的动力装置13、与壳体11相连的云台15、与云台15相连的摄像装置14以及设置在壳体11内的处理器16和存储器17。
在本实施例中，机臂12的数量为4，即该飞行器为四旋翼飞行器，在其他可能的实施例中，机臂12的数量也可以为3、6、8、10等。无人机10还可以是其他可移动物体，例如载人飞行器、航模、无人飞艇、固定翼无人机和无人热气球等。
动力装置13包括设置在机臂12一端的电机132以及与电机132的转轴相连的螺旋桨131。电机132的转轴转动以带动螺旋桨131旋转从而给无人机10提供升力。
云台15用于减轻甚至消除动力装置13传递给摄像装置14的振动，以保证摄像装置14能够拍摄出稳定清晰的图像或视频。
摄像装置14可以是高清摄像头或者运动相机等，用于完成图像的拍摄，在本发明的一实施例中，摄像装置14支持自主光学变焦。摄像装置14可以直接搭载在无人机10上，也可以通过如本实施例所示的云台15搭载在无人机10上，云台15允许摄像装置14相对于无人机10绕至少一个轴转动。
处理器16可以包括多个功能性单元，如，用于控制飞行器飞行姿态的飞行控制单元、用于识别目标的目标识别单元、用于跟踪特定目标的跟踪单元、用于导航飞行器的导航单元(例如GPS(Global Positioning System)、北斗)、以及用于处理相关机载设备(如，摄像装置14)所获取的环境信息的数据处理单元等。
摄像装置14首先获取无人机10拍摄的任意相邻两帧的图像，处理器16确定相邻两帧图像中每个图像的第一感兴趣区域(Region of Interest,ROI)。感兴趣区域是指图像处理中，以方框、圆、椭圆或不规则多边形等方式从被处理的图像中勾勒出需要处理的区域。感兴趣区域通常会包括至少一部分目标的图像。图2为摄像装置14获取的其中一幅图像140，方框内的区域表示第一感兴趣区域ROI，该第一感兴趣区域ROI包含了目标(图2中阴影线表示的部分)的至少部分图像。
当无人机10处于图3a的雾天目标呈现无纹理、图3b的低亮度目标呈现低纹理以及图3c的远距离目标呈现密集重复纹理的极端情况时，会导致立体匹配(Stereo Matching)的方法不可用。立体匹配是利用图像的像素信息，通过寻找两幅图像中的相同像素点，进而通过相同像素点对应的图像位置来得到描述该点景深信息的视差图，进一步通过对应的位置变化获得目标与无人机之间的相对距离信息。
处理器16首先需要确定无人机10处于上述的极端情况，如图4至图6所示，在本发明的一实施例中，处理器16通过下述方法判断无人机10是否处于上述极端情况，即无法通过立体匹配的方法确定无人机10与无人机10飞行方向上的目标之间的距离的情况：
S40、在所述第一感兴趣区域内选取n×n个像素单元51作为一个胞元50，并计算所述n×n个像素单元51的灰度值之和g0。
S41、在所述胞元50周围选取n×n个胞元50作为一个块，并分别计算所述块内所述n×n个胞元50的灰度值g1，g2，……gn×n。
在本发明的一实施例中，n取4，在其他可能的实施例中，n也可以取8,10,12等。通过选取胞元以及块，处理器16可以比较第一感兴趣区域内某个局部的灰度值差异。
S42、判断所述n×n个像素单元51的灰度值之和与所述块内所述n×n个胞元50的灰度值是否满足预设条件。
如图5所示，在本发明的一实施例中，该步骤进一步包括：
S421、计算所述块内所有所述胞元的灰度值与所述g0差值的和与所述胞元大小的比值：
其中，Scell为所述胞元的大小。
S422、判断所述比值是否在预设范围内。
例如，可以根据经验或者实际应用情况给出一个预设阈值λ，当步骤S421中的比值小于λ时，表明目标的局部纹理差异小，无人机需要启用本发明的测距方法。相反，若比值大于λ，则说明目标的局部纹理差异较大，可以采用现有的立体匹配的方法来获取无人机与目标的相对距离。
若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
S43、若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
S44、若否，则确定所述无人机可以通过立体匹配的方法确定所述无人机与所述目标之间的距离。
通过以上方法步骤，处理器16可以确定目标的局部纹理的差异是否足够小，从而确定是否需要启用本发明实施例提供的测距方法。
如图7所示，处理器16在确定了无人机10无法通过立体匹配的方法确定无人机与目标之间的距离后，需要扩大所述相邻两帧图像中每个图像的第一感兴趣区域，以形成第二感兴趣区域。仍然以摄像装置14获取的其中一幅图像140为例，方框内的区域表示第一感兴趣区域ROI，该第一感兴趣区域ROI包含了目标(图2中阴影线表示的部分)的至少部分图像。从图6可知，与第一感兴趣区域ROI相比，第二感兴趣区域ROI+有一定范围的扩张。这是因为进行ROI内图像匹配时只需获取前景(即目标)的局部图像信息即可。但是在获得的远距离拍摄图像中，前景的边缘特征尺寸往往较小，为了能够在逼近飞行中鲁棒的获取前景的边缘特征，首先须保证边缘特征存在于感兴趣区域内，因而对感兴趣区域进行了一定程度的扩张，表示为第二感兴趣区域ROI+。此外，本发明实施例还引入了扩张因子σ的概念，其表示第二感兴趣区域ROI+的尺寸与ROI尺寸的比例值，其中，σ＞1，具体数值需根据无人机避障的探测范围及无人机本身的计算能力确定。
在确定了相邻两帧图像中每一帧图像的第二感兴趣区域后，处理器16还需要对该第二感兴趣区域中的前景进行分割提取操作，以及判断提取的前景中是否存在至少两个目标。若是，则需要确定其中一个目标为检测对象，继而根据从相邻两帧图像中分别提取出来的前景，确定无人机10与检测对象之间的距离。
如图8所示，在本发明的一实施例中，当前景中存在至少两个目标时，处理器16可以根据以下步骤来确定检测对象：
S70、判断所述前景中所述至少两个目标尺度的变化是否相同；
S71、若是，则确定在所述前景中上边缘最高的目标为所述检测对象。
S72、若否，则确定在所述前景中边缘尺度变化最大的目标为所述检测对象。
这是因为，目标相对无人机的距离越远，其对应边缘的尺度变化就越小，相反，目标相对无人机的距离越近，其对应边缘的尺度变化就越大。若所有目标的尺度变化相同，说明这些目标相对无人机的距离可以认为基本相同，此时，可以确定在前景中上边缘最高的目标为检测对象(如图6中的目标C)。这是因为无人机10一般通过升高高度的方式进行避障，因此，选取上边缘最高的目标能够保证避障结果最安全。
若多个目标的尺度变化不相同(说明此时多个目标相对于无人机10的距离有远近的差别)，则确定边缘尺度变化最大的目标(离无人机最近的目标)作为检测对象。
在处理器16确定了检测对象之后，需要进一步计算目标与无人机10的相对距离。
在本发明的一实施例中，当目标为静止的目标时，处理器16根据相邻两帧图像之间的几何关系可以算出目标与无人机10的相对距离：
如图9所示。假设目标80的实际宽度为E，目标80在无人机的摄像装置前后两帧图像的像平面上的宽度分别为h1和h2，无人机10在拍摄相邻两帧图像期间，即从位置81移动到位置81’期间移动的距离为S，摄像装置的焦距为f，则存在以下几何关系：
对于式(2)、(3)，E和H属于未知数，通过求解方程可以得到：
在获取了目标与无人机之间的相对距离后，处理器16就能够根据该距离提前预警，实施相应的避障策略。
在本发明的一实施例中，当目标为动态的目标时，即目标处于运动中时，可以通过以下方法测出无人机10与目标之间的相对距离：
对于运动的目标，为了保证对目标的持续跟踪，往往要求保持目标处于图像中心且尺度保持不变，在跟踪算法鲁棒精确，机载硬件实时性和飞控装置稳定性能够满足保持这样的状态的条件下，根据无人机的运动信息能够得到一段时间内目标的运动距离，如图10所示，由图10的几何关系可得：
由h1＝h2可以得到，目标该时间间隔内的运动距离与无人机的飞行距离一致。
倘若一直保持上述状态，则无法得到目标与无人机的相对距离，因此针对该情况本发明提出如下策略：连续获取至少三帧图像，在本发明的一实施例中为四帧图像后进行一次距离检测，检测时保持无人机静止，该阶段目标的运动距离通过前面四帧的速度进行预测，跟踪算法持续进行，稳定获得检测前后两帧图像的目标尺寸，进而根据几何关系得到目标与无人机的相对距离。
在S已知的情况下，无人机与目标之间的相对距离H，目标的宽度E可以通过以下公式得到：
在本发明的一实施例中，对检测阶段目标的运动距离S通过以下方法得到：
为使结果更具有普遍性，建立变加速运动模型，加速度a＝kt+b，进而可得速度模型为：
其中，t为所述目标的运动时间，k、b、c为常数。
通过前面四帧图像及其相对距离关系，可求解得到k、b、c；
利用上述速度模型与运动时间，完成目标运动距离S的解算。
上述方法能够实现对目标与无人机之间相对距离的持续解算。
本发明实施例通过对相邻两帧图像进行前景背景分割、利用扩大的感兴趣区域进行边缘特征提取来获取图像尺度的变化，通过该图像尺度的变化能够实现极端条件下的远距离避障，同时解决了在无纹理、低纹理或者密集重复纹理等极端情况下立体匹配精度差或无法进行立体匹配的问题。
在本发明的另一实施例中，还可以根据本发明的测距方法实时获取运动的目标与无人机之间的相对距离。
如图11所示，本发明实施例还提供了一种测距方法，该方法包括：
S111、调整所述无人机的飞行姿态，以使得图像的中心落在所述无人机飞行方向所在的直线上。
无人机在飞行过程中，本来应该是平直飞行的，但是难免存在风干扰或者控制系统不稳定引起的姿态变化，无人机姿态的变化可能导致某几帧图像中心没有落在无人机的飞行方向所在的直线上，由于本发明关注的是无人机飞行方向上的安全问题，所以这个时候需要对图像进行校正对齐，使图像的中心落在无人机飞行方向所在的直线上，使图像满足极线约束(Epipolar Constraint)。
S112、获取所述无人机拍摄的相邻两帧的图像；
S113、确定所述相邻两帧图像中每个所述图像的第一感兴趣区域(Region ofInterest,ROI)；
S114、确定无人机无法通过立体匹配的方法确定所述无人机与所述无人机飞行方向上的目标之间的距离；
如图4和图5所示，在本发明的一实施例中，该步骤进一步包括：
S40、在所述第一感兴趣区域内选取n×n个像素单元51作为一个胞元50，并计算所述n×n个像素单元51的灰度值之和g0。
S41、在所述胞元50周围选取n×n个胞元50作为一个块，并分别计算所述块内所述n×n个胞元50的灰度值g1，g2，……gn×n。
在本发明的一实施例中，n取4，在其他可能的实施例中，n也可以取8,10,12等。通过选取胞元以及块，处理器16可以比较第一感兴趣区域内某个局部的灰度值差异。
S42、判断所述n×n个像素单元51的灰度值之和与所述块内所述n×n个胞元50的灰度值是否满足预设条件。
如图5所示，在本发明的一实施例中，步骤S42进一步包括：
S421、计算所述块内所有所述胞元的灰度值与所述g0差值的和与所述胞元大小的比值：
其中，Scell为所述胞元的大小。
S422、判断所述比值是否在预设范围内。
例如，可以根据经验或者实际应用情况给出一个预设阈值λ，当步骤S421中的比值小于λ时，表明目标的局部纹理差异小，无人机需要启用本发明的测距方法。相反，若比值大于λ，则说明目标的局部纹理差异较大，可以采用现有的立体匹配的方法来获取无人机与目标的相对距离。
若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
在确定了无人机无法通过立体匹配的方法确定无人机与目标之间的相对距离后，需进行下一步的处理：
S115、扩大所述相邻两帧图像中每个所述图像的第一感兴趣区域，以形成第二感兴趣区域。
从图2和6可知，与第一感兴趣区域ROI相比，第二感兴趣区域ROI+有一定范围的扩张。这是因为进行ROI内图像匹配时只需获取前景(即目标)的局部图像信息即可。但是在获得的远距离拍摄图像中，前景的边缘特征尺寸往往较小，为了能够在逼近飞行中鲁棒的获取前景的边缘特征，首先须保证边缘特征存在于感兴趣区域内，因而对感兴趣区域进行了一定程度的扩张，表示为第二感兴趣区域ROI+。此外，本发明实施例还引入了扩张因子σ的概念，其表示第二感兴趣区域ROI+的尺寸与ROI尺寸的比例值，其中，σ＞1，具体数值需根据无人机避障的探测范围及无人机本身的计算能力确定。
S116、从所述相邻两帧图像中，分别提取所述第二感兴趣区域中的前景。
S117、判断所述前景中是否存在至少两个目标。若是，则进行步骤S118；若否，则进行步骤S121，当前景中只有一个目标，则直接将该目标确定为检测对象。
S118、判断所述前景中所述至少两个目标尺度的变化是否相同；若是，则进行步骤S119；若否，则进行步骤S120。
S119、确定在所述前景中上边缘最高的目标为所述检测对象。
S120、确定在所述前景中边缘尺度变化最大的目标为所述检测对象。
这是因为，目标相对无人机的距离越远，其对应边缘的尺度变化就越小，相反，目标相对无人机的距离越近，其对应边缘的尺度变化就越大。若所有目标的尺度变化相同，说明这些目标相对无人机的距离可以认为基本相同，此时，可以确定在前景中上边缘最高的目标为检测对象(如图6中的目标C)。这是因为无人机10一般通过升高高度的方式进行避障，因此，选取上边缘最高的目标能够保证避障结果最安全。
若多个目标的尺度变化不相同(说明此时多个目标相对于无人机10的距离有远近的差别)，则确定边缘尺度变化最大的目标(离无人机最近的目标)作为检测对象。
S121、根据从所述相邻两帧图像中分别提取出的所述前景，确定所述无人机与所述检测对象之间的距离。
在本发明的一实施例中，当目标为静止的目标时，根据相邻两帧图像之间的几何关系可以算出目标与无人机的相对距离：
如图8所示。假设目标80的实际宽度为E，目标80在无人机的摄像装置前后两帧图像的像平面上的宽度分别为h1和h2，无人机在拍摄相邻两帧图像期间，即从位置81移动到位置81’期间移动的距离为S，摄像装置的焦距为f，则存在以下几何关系：
对于式(2)、(3)，E和H属于未知数，通过求解方程可以得到：
在获取了目标与无人机之间的相对距离后，无人机就能够根据该距离提前预警，实施相应的避障策略。
在本发明的一实施例中，当目标为动态的目标时，即目标处于运动中时，可以通过以下方法测出无人机与目标之间的相对距离：
对于运动的目标，为了保证对目标的持续跟踪，往往要求保持目标处于图像中心且尺度保持不变，在跟踪算法鲁棒精确，机载硬件实时性和飞控装置稳定性能够满足保持这样的状态的条件下，根据无人机的运动信息能够得到一段时间内目标的运动距离，如图9所示，由图9的几何关系可得：
由h1＝h2可以得到，目标该时间间隔内的运动距离与无人机的飞行距离一致。
倘若一直保持上述状态，则无法得到目标与无人机的相对距离，因此针对该情况本发明提出如下策略：连续获取至少三帧图像，在本发明的一实施例中为四帧图像后进行一次距离检测，检测时保持无人机静止，该阶段目标的运动距离通过前面四帧的速度进行预测，跟踪算法持续进行，稳定获得检测前后两帧图像的目标尺寸，进而根据几何关系得到目标与无人机的相对距离。
在S已知的情况下，无人机与目标之间的相对距离H，目标的宽度E可以通过以下公式得到：
在本发明的一实施例中，对检测阶段目标的运动距离S通过以下方法得到：
为使结果更具有普遍性，建立变加速运动模型，加速度a＝kt+b，进而可得速度模型为：
其中，t为所述目标的运动时间，k、b、c为常数。
通过前面四帧图像及其相对距离关系，可求解得到k、b、c；
利用上述速度模型与运动时间，完成目标运动距离S的解算。
上述方法能够实现对目标与无人机之间相对距离的持续解算。
有关该方法中各步骤的详细内容可以参考前述的描述，在此不再赘述。
如图12所示，本发明的另一实施例还提供了一种测距方法，该方法包括：
S122、获取所述无人机拍摄的相邻两帧的图像；
S123、确定所述相邻两帧图像中每个所述图像的第一感兴趣区域(Region ofInterest,ROI)；
S124、确定无人机无法通过立体匹配的方法确定所述无人机与所述无人机飞行方向上的目标之间的距离；
S125、扩大所述相邻两帧图像中每个所述图像的第一感兴趣区域，以形成第二感兴趣区域；
S126、从所述相邻两帧图像中，分别提取所述第二感兴趣区域中的前景；
S127、根据从所述相邻两帧图像中分别提取出的所述前景，确定所述无人机与所述目标之间的距离。
有关该方法中各步骤的详细内容可以参考前述的描述，在此不再赘述。
如图13所示，本发明还提供了一种测距装置130，该装置130包括：
获取模块132，用于获取所述无人机拍摄的任意相邻两帧的图像；
图像处理模块134，用于：
确定所述任意相邻两帧图像的感兴趣区域(Region of Interest,ROI)；
根据所述感兴趣区域分别确定所述任意相邻两帧图像的扩大的感兴趣区域；
分别分割并提取所述扩大的感兴趣区域中的前景；
所述确定模块133用于：
确定无人机无法通过立体匹配的方法确定所述无人机与所述无人机飞行方向上的目标之间的距离；以及
根据所述任意相邻两帧图像的所述前景确定所述无人机与所述无人机飞行方向上的目标之间的距离。
在本发明的一实施例中，所述确定模块133用于：
在所述感兴趣区域内选取n×n个像素单元作为一个胞元，并计算所述n×n个像素单元的灰度值之和g0；
在所述胞元周围选取n×n个胞元作为一个块，并分别计算所述块内所述n×n个胞元的灰度值g1，g2，……gn×n；
判断所述n×n个像素单元的灰度值之和与所述块内所述n×n个胞元的灰度值是否满足预设条件；
若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
在本发明的一实施例中，所述确定模块133具体用于：
计算所述块内所有所述胞元的灰度值与所述g0差值的和与所述胞元大小的比值：
其中，Scell为所述胞元的大小
判断所述比值是否在预设范围内；
若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
在本发明的一实施例中，所述第二感兴趣区域的尺寸与所述第一感兴趣区域的尺寸的比值大于1。
在本发明的一实施例中，该装置130还包括判断模块135，所述判断模块135用于：
判断所述前景中是否存在至少两个目标；
若是，则确定其中一个所述目标为检测对象；
则，所述确定模块133用于：
根据从所述相邻两帧图像中分别提取出的所述前景，确定所述无人机与所述检测对象的距离。
在本发明的一实施例中，所述判断模块135具体用于：
判断所述前景中所述至少两个目标尺度的变化是否相同；
若是，则确定在所述前景中上边缘最高的目标为所述检测对象。
在本发明的一实施例中，若所述前景中所述多个目标尺度变化不相同，则所述判断模块135还用于确定在所述前景中边缘尺度变化最大的目标为所述检测对象。
在本发明的一实施例中，所述目标为静止的目标，则所述确定模块133用于：
至少根据h1,h2,f,S确定所述距离；
其中，所述S为拍摄所述相邻两帧图像时所述无人机飞行的距离，所述f为所述无人机的摄像装置的焦距，所述h1为所述目标在所述无人机拍摄其中一帧图像时在所述摄像装置的像平面上的宽度，所述h2为所述目标在所述无人机拍摄另一帧图像时在所述摄像装置的像平面上的宽度。
在本发明的一实施例中，所述确定模块133具体用于：
计算所述无人机与所述无人机飞行方向上的目标之间的距离H：
在本发明的一实施例中，所述目标为动态的目标，则所述确定模块133用于：
计算所述目标在所述无人机拍摄所述相邻两帧图像时运动的距离S；
至少根据h1,h2,f,所述S确定所述距离；
其中，所述f为所述无人机的摄像装置的焦距，所述h1为所述目标在所述无人机拍摄其中一帧图像时在所述摄像装置的像平面上的宽度，所述h2为所述目标在所述无人机拍摄另一帧图像时在所述摄像装置的像平面上的宽度。
在本发明的一实施例中，所述确定模块133具体用于：
计算所述无人机与所述无人机飞行方向上的目标之间的距离H：
在本发明的一实施例中，所述确定模块133还用于：
按照下述公式计算所述目标的宽度E：
在本发明的一实施例中，所述确定模块133还用于：
获取所述无人机拍摄的至少三帧所述目标的图像；
根据所述至少三帧所述目标的图像获取描述所述目标运动规律的速度模型；
根据所述速度模型计算所述目标在所述无人机拍摄所述相邻两帧图像时运动的距离S。
在本发明的一实施例中，所述速度模型为：
其中，t为所述目标的运动时间，k、b、c为常数。
在本发明的一实施例中，所述k、b、c由所述至少三帧所述目标的图像确定。
在本发明的一实施例中，该装置130还包括调整模块131，所述调整模块131用于调整所述无人机的飞行姿态，以使得所述图像的中心落在所述无人机飞行方向所在的直线上。
有关该装置中各模块的详细内容可以参考前述的描述，在此不再赘述。
本发明还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行在图11或图12所示的实施例中所描述的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (34)

1.一种测距方法，其特征在于，该方法包括：
获取所述无人机拍摄的相邻两帧的图像；
确定所述相邻两帧图像中每个所述图像的第一感兴趣区域(Region of Interest,ROI)；
确定无人机无法通过立体匹配的方法确定所述无人机与所述无人机飞行方向上的目标之间的距离；
扩大所述相邻两帧图像中每个所述图像的第一感兴趣区域，以形成第二感兴趣区域；
从所述相邻两帧图像中，分别提取所述第二感兴趣区域中的前景；
根据从所述相邻两帧图像中分别提取出的所述前景，确定所述无人机与所述目标之间的距离。
2.根据权利要求1所述的方法，其特征在于，所述确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离，包括：
在所述第一感兴趣区域内选取n×n个像素单元作为一个胞元，并计算所述n×n个像素单元的灰度值之和g0；
在所述胞元周围选取n×n个胞元作为一个块，并分别计算所述块内所述n×n个胞元的灰度值g1，g2，……gn×n；
判断所述n×n个像素单元的灰度值之和与所述块内所述n×n个胞元的灰度值是否满足预设条件；
若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
3.根据权利要求2所述的方法，其特征在于，所述判断所述n×n个像素单元的灰度值之和与所述块内所述n×n个胞元的灰度值是否满足预设条件，包括：
计算所述块内所有所述胞元的灰度值与所述g0差值的和与所述胞元大小的比值：
其中，Scell为所述胞元的大小；
判断所述比值是否在预设范围内；
若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述第二感兴趣区域的尺寸与所述第一感兴趣区域的尺寸的比值大于1。
5.根据权利要求1-4任一项所述的方法，其特征在于，该方法还包括：
判断所述前景中是否存在至少两个目标；
若是，则确定其中一个所述目标为检测对象；
则，所述根据从所述相邻两帧图像中分别提取出的所述前景，确定所述无人机与所述目标之间的距离，包括：
根据从所述相邻两帧图像中分别提取出的所述前景，确定所述无人机与所述检测对象的距离。
6.根据权利要求5所述的方法，其特征在于，所述确定其中一个所述目标作为检测对象，包括：
判断所述前景中所述至少两个目标尺度的变化是否相同；
若是，则确定在所述前景中上边缘最高的目标为所述检测对象。
7.根据权利要求6所述的方法，其特征在于，该方法还包括：
若所述前景中所述至少两个目标尺度的变化不同，则确定在所述前景中边缘尺度变化最大的目标为所述检测对象。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述目标为静止的目标，则所述根据从所述相邻两帧图像中分别提取出的前景，确定所述无人机与所述目标之间的距离，包括：
至少根据h1,h2,f,S确定所述距离；
其中，所述S为拍摄所述相邻两帧图像时所述无人机飞行的距离，所述f为所述无人机的摄像装置的焦距，所述h1为所述目标在所述无人机拍摄其中一帧图像时在所述摄像装置的像平面上的宽度，所述h2为所述目标在所述无人机拍摄另一帧图像时在所述摄像装置的像平面上的宽度。
9.根据权利要求8所述的方法，其特征在于，所述根据h1,h2,f,S确定所述距离，包括：
按照下述公式计算所述无人机与所述目标之间的距离H：
10.根据权利要求1-7任一项所述的方法，其特征在于，所述目标为动态的目标，则所述根据从所述相邻两帧图像中分别提取出的前景，确定所述无人机与所述目标之间的距离，包括：
计算所述目标在所述无人机拍摄所述相邻两帧图像时运动的距离S；
至少根据h1,h2,f,所述S确定所述距离；
其中，所述f为所述无人机的摄像装置的焦距，所述h1为所述目标在所述无人机拍摄其中一帧图像时在所述摄像装置的像平面上的宽度，所述h2为所述目标在所述无人机拍摄另一帧图像时在所述摄像装置的像平面上的宽度。
11.根据权利要求10所述的方法，其特征在于，所述至少根据h1,h2,f,所述S确定所述距离，包括：
按照下述公式计算所述无人机与所述目标之间的距离H：
12.根据权利要求8-11任一项所述的方法，所述方法还包括：
按照下述公式计算所述目标的宽度E：
13.根据权利要求11所述的方法，其特征在于，所述计算所述目标在所述无人机拍摄所述相邻两帧图像时运动的距离S，包括：
获取所述无人机拍摄的至少三帧所述目标的图像；
根据所述至少三帧所述目标的图像获取描述所述目标运动规律的速度模型；
根据所述速度模型计算所述目标在所述无人机拍摄所述相邻两帧图像时运动的距离S。
14.根据权利要求13所述的方法，其特征在于，所述速度模型为：
其中，t为所述目标的运动时间，k、b、c为常数。
15.根据权利要求14所述的方法，其特征在于，所述k、b、c由所述至少三帧所述目标的图像确定。
16.根据权利要求1-15任一项所述的方法，其特征在于，该方法还包括：
调整所述无人机的飞行姿态，以使得所述图像的中心落在所述无人机飞行方向所在的直线上。
17.一种测距装置，其特征在于，该装置包括：
获取模块，用于获取所述无人机拍摄的任意相邻两帧的图像；
图像处理模块，用于：
确定所述任意相邻两帧图像的感兴趣区域(Region of Interest,ROI)；
根据所述感兴趣区域分别确定所述任意相邻两帧图像的扩大的感兴趣区域；
分别分割并提取所述扩大的感兴趣区域中的前景；
所述确定模块用于：
确定无人机无法通过立体匹配的方法确定所述无人机与所述无人机飞行方向上的目标之间的距离；以及
根据所述任意相邻两帧图像的所述前景确定所述无人机与所述无人机飞行方向上的目标之间的距离。
18.根据权利要求17所述的装置，其特征在于，所述确定模块用于：
在所述感兴趣区域内选取n×n个像素单元作为一个胞元，并计算所述n×n个像素单元的灰度值之和g0；
在所述胞元周围选取n×n个胞元作为一个块，并分别计算所述块内所述n×n个胞元的灰度值g1，g2，……gn×n；
判断所述n×n个像素单元的灰度值之和与所述块内所述n×n个胞元的灰度值是否满足预设条件；
若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
19.根据权利要求18所述的装置，其特征在于，所述确定模块具体用于：
计算所述块内所有所述胞元的灰度值与所述g0差值的和与所述胞元大小的比值：
其中，Scell为所述胞元的大小
判断所述比值是否在预设范围内；
若是，则确定所述无人机无法通过立体匹配的方法确定所述无人机与所述目标之间的距离。
20.根据权利要求17-19任一项所述的装置，其特征在于，所述第二感兴趣区域的尺寸与所述第一感兴趣区域的尺寸的比值大于1。
21.根据权利要求17-20任一项所述的装置，其特征在于，该装置还包括判断模块，所述判断模块用于：
判断所述前景中是否存在至少两个目标；
若是，则确定其中一个所述目标为检测对象；
则，所述确定模块用于：
根据从所述相邻两帧图像中分别提取出的所述前景，确定所述无人机与所述检测对象的距离。
22.根据权利要求21所述的装置，其特征在于，所述判断模块具体用于：
判断所述前景中所述至少两个目标尺度的变化是否相同；
若是，则确定在所述前景中上边缘最高的目标为所述检测对象。
23.根据权利要求22所述的装置，其特征在于，若所述前景中所述多个目标尺度变化不相同，则所述判断模块还用于确定在所述前景中边缘尺度变化最大的目标为所述检测对象。
24.根据权利要求17-23任一项所述的装置，其特征在于，所述目标为静止的目标，则所述确定模块用于：
至少根据h1,h2,f,S确定所述距离；
其中，所述S为拍摄所述相邻两帧图像时所述无人机飞行的距离，所述f为所述无人机的摄像装置的焦距，所述h1为所述目标在所述无人机拍摄其中一帧图像时在所述摄像装置的像平面上的宽度，所述h2为所述目标在所述无人机拍摄另一帧图像时在所述摄像装置的像平面上的宽度。
25.根据权利要求24所述的装置，其特征在于，所述确定模块具体用于：
计算所述无人机与所述无人机飞行方向上的目标之间的距离H：
26.根据权利要求17-23任一项所述的装置，其特征在于，所述目标为动态的目标，则所述确定模块用于：
计算所述目标在所述无人机拍摄所述相邻两帧图像时运动的距离S；
至少根据h1,h2,f,所述S确定所述距离；
其中，所述f为所述无人机的摄像装置的焦距，所述h1为所述目标在所述无人机拍摄其中一帧图像时在所述摄像装置的像平面上的宽度，所述h2为所述目标在所述无人机拍摄另一帧图像时在所述摄像装置的像平面上的宽度。
27.根据权利要求26所述的装置，其特征在于，所述确定模块具体用于：
计算所述无人机与所述无人机飞行方向上的目标之间的距离H：
28.根据权利要求24-27任一项所述的装置，其特征在于，所述确定模块还用于：
按照下述公式计算所述目标的宽度E：
29.根据权利要求27所述的装置，其特征在于，所述确定模块还用于：
获取所述无人机拍摄的至少三帧所述目标的图像；
根据所述至少三帧所述目标的图像获取描述所述目标运动规律的速度模型；
根据所述速度模型计算所述目标在所述无人机拍摄所述相邻两帧图像时运动的距离S。
30.根据权利要求29所述的装置，其特征在于，所述速度模型为：
其中，t为所述目标的运动时间，k、b、c为常数。
31.根据权利要求30所述的装置，其特征在于，所述k、b、c由所述至少三帧所述目标的图像确定。
32.根据权利要求17-31任一项所述的装置，其特征在于，该装置还包括调整模块，所述调整模块用于调整所述无人机的飞行姿态，以使得所述图像的中心落在所述无人机飞行方向所在的直线上。
33.一种无人机，其特征在于，包括：
壳体；
与所述壳体连接的机臂；
设置在所述壳体或者机臂内的处理器；以及，
与所述处理器通信连接的存储器，所述存储器设在所述壳体或者机臂内；其中，
所述存储器存储有可被所述处理器执行的指令，所述处理器执行所述指令时，实现如权利要求1-16任意一项所述的方法。
34.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被无人机执行时，使所述无人机执行权利要求1-16任意一项所述的方法。
CN201780002607.5A 2017-12-25 2017-12-25 测距方法、装置以及无人机 Active CN108140245B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/118266 WO2019126930A1 (zh) 2017-12-25 2017-12-25 测距方法、装置以及无人机

Publications (2)

Publication Number Publication Date
CN108140245A true CN108140245A (zh) 2018-06-08
CN108140245B CN108140245B (zh) 2022-08-23

Family

ID=62400288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002607.5A Active CN108140245B (zh) 2017-12-25 2017-12-25 测距方法、装置以及无人机

Country Status (4)

Country Link
US (1) US10621456B2 (zh)
EP (1) EP3531375B1 (zh)
CN (1) CN108140245B (zh)
WO (1) WO2019126930A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684994A (zh) * 2018-12-21 2019-04-26 宁波如意股份有限公司 基于视觉的叉车避障方法及系统
CN110187720A (zh) * 2019-06-03 2019-08-30 深圳铂石空间科技有限公司 无人机导引方法、装置、系统、介质及电子设备
CN110687929A (zh) * 2019-10-10 2020-01-14 辽宁科技大学 基于单目视觉与运动想象的飞行器三维空间目标搜索系统
CN111736622A (zh) * 2019-03-25 2020-10-02 海鹰航空通用装备有限责任公司 基于双目视觉与imu相结合的无人机避障方法及系统
CN112639881A (zh) * 2020-01-21 2021-04-09 深圳市大疆创新科技有限公司 距离测量方法、可移动平台、设备和存储介质
WO2021102994A1 (zh) * 2019-11-29 2021-06-03 深圳市大疆创新科技有限公司 高度确定方法、飞行器及计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020010620A1 (zh) * 2018-07-13 2020-01-16 深圳市大疆创新科技有限公司 波浪识别方法、装置、计算机可读存储介质和无人飞行器
CN112698661B (zh) * 2021-03-22 2021-08-24 成都睿铂科技有限责任公司 一种飞行器的航测数据采集方法、装置、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005227205A (ja) * 2004-02-16 2005-08-25 Toshiba Corp 目標距離測定装置
JP2009270863A (ja) * 2008-05-01 2009-11-19 Toshiba Corp バイスタティックレーダ装置
CN105447853A (zh) * 2015-11-13 2016-03-30 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
CN105974938A (zh) * 2016-06-16 2016-09-28 零度智控（北京）智能科技有限公司 避障方法、装置、载体及无人机
CN107065895A (zh) * 2017-01-05 2017-08-18 南京航空航天大学 一种植保无人机定高技术
CN107329490A (zh) * 2017-07-21 2017-11-07 歌尔科技有限公司 无人机避障方法及无人机
CN107507190A (zh) * 2017-07-12 2017-12-22 西北工业大学 一种基于可见光序列图像的低空运动目标检测方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9878804B2 (en) * 2013-10-21 2018-01-30 Eric Olsen Systems and methods for producing temperature accurate thermal images
US9584814B2 (en) * 2014-05-15 2017-02-28 Intel Corporation Content adaptive background foreground segmentation for video coding
US9848112B2 (en) * 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
JP6121063B1 (ja) * 2014-11-04 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ カメラ較正方法、デバイス及びシステム
US9933264B2 (en) * 2015-04-06 2018-04-03 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
CN113093808A (zh) * 2015-05-23 2021-07-09 深圳市大疆创新科技有限公司 使用惯性传感器和图像传感器的传感器融合
US9549125B1 (en) * 2015-09-01 2017-01-17 Amazon Technologies, Inc. Focus specification and focus stabilization
WO2017041303A1 (en) * 2015-09-11 2017-03-16 SZ DJI Technology Co., Ltd. Systems and methods for detecting and tracking movable objects
EP3353706A4 (en) * 2015-09-15 2019-05-08 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR MONITORING UNIFORM TARGET TRACKING
CN105225241B (zh) * 2015-09-25 2017-09-15 广州极飞科技有限公司 无人机深度图像的获取方法及无人机
EP3368957B1 (en) * 2015-10-30 2022-02-09 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
CN105346706B (zh) * 2015-11-13 2018-09-04 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
WO2017096547A1 (en) * 2015-12-09 2017-06-15 SZ DJI Technology Co., Ltd. Systems and methods for uav flight control
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及系统
CN105574894B (zh) * 2015-12-21 2018-10-16 天津远度科技有限公司 一种运动物体特征点跟踪结果的筛选方法和系统
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
EP4016228A1 (en) * 2016-02-26 2022-06-22 SZ DJI Technology Co., Ltd. Systems and methods for visual target tracking
CN107851308A (zh) * 2016-03-01 2018-03-27 深圳市大疆创新科技有限公司 用于识别目标物体的系统和方法
KR20170136750A (ko) * 2016-06-02 2017-12-12 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10074183B1 (en) * 2016-06-03 2018-09-11 Amazon Technologies, Inc. Image alignment correction for imaging processing during operation of an unmanned aerial vehicle
US10301041B2 (en) * 2016-06-09 2019-05-28 California Institute Of Technology Systems and methods for tracking moving objects
US9977434B2 (en) * 2016-06-23 2018-05-22 Qualcomm Incorporated Automatic tracking mode for controlling an unmanned aerial vehicle
US10033980B2 (en) * 2016-08-22 2018-07-24 Amazon Technologies, Inc. Determining stereo distance information using imaging devices integrated into propeller blades
US10196141B1 (en) * 2016-09-21 2019-02-05 Amazon Technologies, Inc. Detection of transparent elements using reflective disparities
CN106529495B (zh) * 2016-11-24 2020-02-07 腾讯科技（深圳）有限公司 一种飞行器的障碍物检测方法和装置
CN106960454B (zh) * 2017-03-02 2021-02-12 武汉星巡智能科技有限公司 景深避障方法、设备及无人飞行器
US10434451B2 (en) * 2017-07-26 2019-10-08 Nant Holdings Ip, Llc Apparatus and method of harvesting airborne moisture
US10402646B2 (en) * 2017-09-21 2019-09-03 Amazon Technologies, Inc. Object detection and avoidance for aerial vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005227205A (ja) * 2004-02-16 2005-08-25 Toshiba Corp 目標距離測定装置
JP2009270863A (ja) * 2008-05-01 2009-11-19 Toshiba Corp バイスタティックレーダ装置
CN105447853A (zh) * 2015-11-13 2016-03-30 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
CN105974938A (zh) * 2016-06-16 2016-09-28 零度智控（北京）智能科技有限公司 避障方法、装置、载体及无人机
CN107065895A (zh) * 2017-01-05 2017-08-18 南京航空航天大学 一种植保无人机定高技术
CN107507190A (zh) * 2017-07-12 2017-12-22 西北工业大学 一种基于可见光序列图像的低空运动目标检测方法
CN107329490A (zh) * 2017-07-21 2017-11-07 歌尔科技有限公司 无人机避障方法及无人机

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ABDULLA AL-KAFF ET AL: "Obstacle Detection and Avoidance System Based on Monocular Camera and Size Expansion Algorithm for UAVs", 《SENSORS》 *
ANDRII MOLCHANOV ET AL: "A real-time system for detection and avoidance of dynamic obstacles for micro UAVs", 《2016 4TH INTERNATIONAL CONFERENCE ON METHODS AND SYSTEMS OF NAVIGATION AND MOTION CONTROL (MSNMC)》 *
洪荣: "无人机对地面目标位姿的单目视觉测量方法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）工程科技Ⅱ辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684994A (zh) * 2018-12-21 2019-04-26 宁波如意股份有限公司 基于视觉的叉车避障方法及系统
CN111736622A (zh) * 2019-03-25 2020-10-02 海鹰航空通用装备有限责任公司 基于双目视觉与imu相结合的无人机避障方法及系统
CN110187720A (zh) * 2019-06-03 2019-08-30 深圳铂石空间科技有限公司 无人机导引方法、装置、系统、介质及电子设备
CN110187720B (zh) * 2019-06-03 2022-09-27 深圳铂石空间科技有限公司 无人机导引方法、装置、系统、介质及电子设备
CN110687929A (zh) * 2019-10-10 2020-01-14 辽宁科技大学 基于单目视觉与运动想象的飞行器三维空间目标搜索系统
CN110687929B (zh) * 2019-10-10 2022-08-12 辽宁科技大学 基于单目视觉与运动想象的飞行器三维空间目标搜索系统
WO2021102994A1 (zh) * 2019-11-29 2021-06-03 深圳市大疆创新科技有限公司 高度确定方法、飞行器及计算机可读存储介质
CN112639881A (zh) * 2020-01-21 2021-04-09 深圳市大疆创新科技有限公司 距离测量方法、可移动平台、设备和存储介质
WO2021146969A1 (zh) * 2020-01-21 2021-07-29 深圳市大疆创新科技有限公司 距离测量方法、可移动平台、设备和存储介质

Also Published As

Publication number Publication date
EP3531375A4 (en) 2019-08-28
EP3531375A1 (en) 2019-08-28
US10621456B2 (en) 2020-04-14
EP3531375B1 (en) 2021-08-18
WO2019126930A1 (zh) 2019-07-04
US20190197335A1 (en) 2019-06-27
CN108140245B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
CN108140245A (zh) 测距方法、装置以及无人机
US11605175B2 (en) Systems and methods for maneuvering a vehicle responsive to detecting a condition based on dynamic object trajectories
US20230360230A1 (en) Methods and system for multi-traget tracking
US20220335844A1 (en) Systems and methods for vehicle guidance
CN103575267B (zh) 使图像与用于导航的地形高程地图相关的方法
US10860039B2 (en) Obstacle avoidance method and apparatus and unmanned aerial vehicle
US8521418B2 (en) Generic surface feature extraction from a set of range data
EP2249311B1 (en) Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
US20210133996A1 (en) Techniques for motion-based automatic image capture
EP2738517B1 (en) System and methods for feature selection and matching
CN109417596A (zh) 多传感器图像稳定技术
US8503730B2 (en) System and method of extracting plane features
WO2013162839A1 (en) Point cloud visualization of acceptable helicopter landing zones based on 4d lidar
CN112444784B (zh) 三维目标检测及神经网络的训练方法、装置及设备
McConville et al. Visual odometry using pixel processor arrays for unmanned aerial systems in gps denied environments
Verbandt et al. Robust marker-tracking system for vision-based autonomous landing of VTOL UAVs
Poiesi et al. Detection of fast incoming objects with a moving camera.
US20210256732A1 (en) Image processing method and unmanned aerial vehicle
Morgan et al. Computer vision see and avoid simulation using OpenGL and OpenCV
JP2020095519A (ja) 形状推定装置、形状推定方法、プログラム、及び記録媒体
Cieśluk et al. A stereovision system for real time obstacle avoidance by unmanned aerial vehicle
CN114387321A (zh) 基于平均场景深度的飞行器视觉里程计尺度估计方法
Aziz et al. A Review on Method of Obstacle Detection and Avoidance Systems for Unmanned Aerial Vehicles: Monocular Camera
WO2019153196A1 (zh) 图像处理的方法、装置、计算机系统和可移动设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518055 Shenzhen, Guangdong, Nanshan District Xili street, No. 1001, Zhiyuan Road, B1 9.

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Shenzhen, Guangdong, Nanshan District Xili street, No. 1001, Zhiyuan Road, B1 9.

Applicant before: AUTEL ROBOTICS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant