CN106529495A - 一种飞行器的障碍物检测方法和装置 - Google Patents
一种飞行器的障碍物检测方法和装置 Download PDFInfo
- Publication number
- CN106529495A CN106529495A CN201611045197.6A CN201611045197A CN106529495A CN 106529495 A CN106529495 A CN 106529495A CN 201611045197 A CN201611045197 A CN 201611045197A CN 106529495 A CN106529495 A CN 106529495A
- Authority
- CN
- China
- Prior art keywords
- image
- pixels
- location
- depth value
- aircraft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明公开了一种飞行器的障碍物检测方法和装置，用于减少飞行器的障碍物检测误差，提高飞行器的障碍物检测精度。本发明实施例提供一种飞行器的障碍物检测方法，包括：通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像，其中，所述第一图像由所述双目摄像头中的左眼拍摄得到，所述第二图像由所述双目摄像头中的右眼拍摄得到；确定所述目标障碍物投影在所述第一图像中的第一像素位置，以及所述目标障碍物投影在所述第二图像中的第二像素位置，并根据所述第一像素位置和所述第二像素位置计算所述第一像素位置和所述第二像素位置之间的视差值；根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵计算所述双目摄像头距离所述目标障碍物的深度值。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种飞行器的障碍物检测方法和装置。
背景技术
无人驾驶飞机简称为飞行器，飞行器在国民经济、军事上都有很多应用,目前飞行器己被广泛应用于航拍摄影、电力巡检、环境监测、森林防火、灾情巡查、防恐救生、军事侦察、战场评估等领域，飞行器是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。机上无驾驶舱，但安装有自动驾驶仪、程序控制装置、信息采集装置等设备，遥控站人员通过雷达等设备，对其进行跟踪、定位、遥控、遥测和数字传输。
现有技术中飞行器在检测障碍物时通常采用如下两种方案：1、飞行器基于激光雷达进行障碍物的检测，2、飞行器基于超声波检测障碍物。对于现有的方法1，飞行器中需要安装激光雷达，激光雷达检测障碍物易受到太阳光的影响，在强光下面，激光雷达无法准确探测障碍物，降低了障碍物检测的精确度。对于现有的方法2，飞行器中需要安装超声波发生器，通过其发射的超声波来检测障碍物，这种超声波检测的方式对于非垂直平面或者异形物体的检测会出现很大的误差。
综上，现有技术中需要在飞行器安装额外的器件用于障碍物检测，这不利于飞行器的小型化发展，并在现有技术还存在障碍物检测精确度低的问题。
发明内容
本发明实施例提供了一种飞行器的障碍物检测方法和装置，用于减少飞行器的障碍物检测误差，提高飞行器的障碍物检测精度。
为解决上述技术问题，本发明实施例提供以下技术方案：
第一方面，本发明实施例提供一种飞行器的障碍物检测方法，包括：
通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像，其中，所述第一图像由所述双目摄像头中的左眼拍摄得到，所述第二图像由所述双目摄像头中的右眼拍摄得到；
确定所述目标障碍物投影在所述第一图像中的第一像素位置，以及所述目标障碍物投影在所述第二图像中的第二像素位置，并根据所述第一像素位置和所述第二像素位置计算所述第一像素位置和所述第二像素位置之间的视差值；
根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵计算所述双目摄像头距离所述目标障碍物的深度值。
第二方面，本发明实施例还提供一种飞行器的障碍物检测装置，包括：
图像采集模块，用于通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像，其中，所述第一图像由所述双目摄像头中的左眼拍摄得到，所述第二图像由所述双目摄像头中的右眼拍摄得到；
视差计算模块，用于确定所述目标障碍物投影在所述第一图像中的第一像素位置，以及所述目标障碍物投影在所述第二图像中的第二像素位置，并根据所述第一像素位置和所述第二像素位置计算所述第一像素位置和所述第二像素位置之间的视差值；
深度计算模块，用于根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵计算所述双目摄像头距离所述目标障碍物的深度值。
从以上技术方案可以看出，本发明实施例具有以下优点：
在本发明实施例中，首先通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像，其中，第一图像由双目摄像头中的左眼拍摄得到，第二图像由双目摄像头中的右眼拍摄得到，然后确定目标障碍物投影在第一图像中的第一像素位置，以及目标障碍物投影在第二图像中的第二像素位置，并根据第一像素位置和第二像素位置计算第一像素位置和第二像素位置之间的视差值，最后根据第一像素位置和第二像素位置之间的视差值、预置的视差深度映射矩阵计算双目摄像头距离目标障碍物的深度值。本发明实施例通过飞行器的内置双目摄像头实现前向障碍物的实时检测，不需要在飞行器中增加额外的器件设备，对于飞行器的飞行场景和障碍物的形状都不需要限制，通过图像的分析和计算可以准确的计算出双目摄像头距离目标障碍物的深度值，减少飞行器的障碍物检测误差，提高飞行器的障碍物检测精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种飞行器的障碍物检测方法的流程方框示意图；
图2为本发明实施例提供的双目立体视觉障碍物检测的整个工作流程示意图；
图3为本发明实施例提供的双目立体视觉障碍物检测中图像处理环节的流程示意图；
图4为本发明实施例提供的双目立体视觉障碍物检测中视差值计算环节的流程示意图；
图5-a为本发明实施例提供的一种飞行器的障碍物检测装置的组成结构示意图；
图5-b为本发明实施例提供的另一种飞行器的障碍物检测装置的组成结构示意图；
图5-c为本发明实施例提供的另一种飞行器的障碍物检测装置的组成结构示意图；
图5-d为本发明实施例提供的另一种飞行器的障碍物检测装置的组成结构示意图；
图5-e为本发明实施例提供的一种视差计算模块的组成结构示意图；
图5-f为本发明实施例提供的一种深度计算模块的组成结构示意图；
图5-g为本发明实施例提供的另一种飞行器的障碍物检测装置的组成结构示意图；
图6为本发明实施例提供的飞行器的障碍物检测方法应用于飞行器的组成结构示意图。
具体实施方式
本发明实施例提供了一种飞行器的障碍物检测方法和装置，用于减少飞行器的障碍物检测误差，提高飞行器的障碍物检测精度。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域的技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
以下分别进行详细说明。
本发明飞行器的障碍物检测方法的一个实施例，具体可以应用于飞行器飞行过程中的目标障碍物避障场景中，飞行器具体可以是无人机、也可以是遥控飞机、航模飞机等。本发明实施例通过飞行器自带的双目摄像头实现对目标障碍物的图像拍摄，再通过对左右眼拍摄的图像进行视差值、深度值的计算，就可以确定出障碍物与飞行器之间的深度值，通过图像的分析计算就可以检测出障碍物，无需在飞行器中内置额外器件，有利于飞行器的小型化发展。请参阅图1所示，本发明一个实施例提供的飞行器的障碍物检测方法，可以包括如下步骤：
101、通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像。
其中，第一图像由双目摄像头中的左眼拍摄得到，第二图像由双目摄像头中的右眼拍摄得到。
在本发明实施例中，飞行器需要对前方出现的目标障碍物进行实时的检测，飞行器中设置有双目摄像头，该双目摄像头的左右眼(即两个摄像头)实时拍摄目标障碍物，并生成在不同时刻拍摄的图像，本发明实施例中通过飞行器中已有的双目摄像头拍摄目标障碍物，双目摄像头可以被动接收可见光，因此不会受到强光干扰，在复杂场景下面也可以很好的估算物体的深度信息，很好的解决了激光雷达和超声波的缺陷，同时本发明实施例中使用的双目摄像头是普通的摄像头，因此其硬件成本比激光雷达要低很多。
本发明实施例中每对摄像头采集在同一时刻采集相同的目标障碍物可以得到两个图像，其中为了区别上述两个图像，由双目摄像头中的左眼拍摄得到的图像定义为“第一图像”，由双目摄像头中的右眼拍摄得到“第二图像”，第一图像和第二图像只是用于区分两个摄像头分别拍摄到的图像。
102、确定目标障碍物投影在第一图像中的第一像素位置，以及目标障碍物投影在第二图像中的第二像素位置，并根据第一像素位置和第二像素位置计算第一像素位置和第二像素位置之间的视差值。
在本发明实施例中，第一图像和第二图像是对同一时刻的同一个目标障碍物进行拍摄得到的两个图像，同一目标障碍物投影到左右摄像头中，其位置会有一些差别，对于第一图像和第二图像先计算出目标障碍物的投影位置，其中为了区别上述两个投影位置，将目标障碍物在第一图像中的投影位置定义为“第一图像位置”，将目标障碍物在第二图像中的投影位置定义为“第二图像位置”。针对同一目标障碍物在摄像头中的投影会有一个像素位置，左右两个摄像头的像素位置会有一个偏移值，这个值就是第一像素位置和第二像素位置之间的视差值。本发明实施例中可以使用双目立体视觉(Binocular Stereo Vision)来计算两个像素位置之间的视差值，基于视差原理并利用成摄像头从不同的位置获取被测目标障碍物的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息，双目立体视觉融合两个摄像头获得的图像并观察它们之间的差别，可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别也可以称作视差图像。
在本发明的一些实施例中，步骤102中的确定目标障碍物投影在第一图像中的第一像素位置，以及目标障碍物投影在第二图像中的第二像素位置，包括：
A1、根据飞行器在双目摄像头中形成的机身尺寸图像确定图像选择窗口，图像选择窗口的总像素值大于机身尺寸图像的总像素值、且小于第一图像的总像素值、且小于第二图像的总像素值；
A2、使用图像选择窗口分别从第一图像、第二图像中选择出与图像选择窗口对应的第一子图像和第二子图像；
A3、使用全局匹配(Semi-Global Block Matching，SGBM)算法对第一子图像和第二子图像分别拍摄到的目标障碍物进行图像点的匹配，通过匹配成功的图像点确定目标障碍物投影在第一子图像中的第一像素位置，以及目标障碍物投影在第二子图像中的第二像素位置。
其中，为了提高对图像的处理速度，满足飞行器的实时计算需求，可以根据飞行器在双目摄像头中形成的机身尺寸图像确定图像选择窗口，飞行器在飞行方向上只需要保证正前方的障碍物被实时的探测，在飞行轨迹以外的障碍物不会影响到飞行器的飞行，因此本发明实施例中可以预先根据飞行器的机身尺寸确定出图像选择窗口，该图像选择窗口用于对第一图像、第二图像进行裁剪，选择出与图像选择窗口对应的第一子图像和第二子图像，其中，第一子图像是第一图像中与图像选择窗口相同大小的图像内容，第二子图像是第二图像中与图像选择窗口相同大小的图像内容，该图像选择窗口的大小只需要大于飞行器的实际大小均可，即可保证飞行器在未探测到障碍时不会碰撞到障碍，则步骤A3中只需要计算该图像选择窗口内的视差值，不需要计算图像选择窗口之外的视差值，这可以大大减少图像处理资源的开销。
本发明实施例中，步骤A3中使用SGBM算法对第一子图像和第二子图像分别拍摄到的目标障碍物进行图像点的匹配，SGBM算法可以基于Open CV完成两个图像中的图像点匹配，再结合步骤A1和步骤A2中对原有图像的窗口选择，因此SGBM算法还需要计算图像选择窗口内的视差值即可，不限定的是，在本发明的其它实施例中，还可以使用其它的立体匹配算法，例如OpenCV2.1中的BM算法和GC算法，此处不做限定。
在本发明的一些实施例中，步骤101通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像之后，本发明实施例提供的飞行器的障碍物检测方法还包括：
B1、对第一图像和第二图像分别进行缩放处理和裁剪处理；
B2、将处理后的第一图像、第二图像分别转换为第一灰度图和第二灰度图，并对第一灰度图和第二灰度图分别进行均衡化处理；
在执行步骤B1和B2的实现场景下，步骤102中的确定目标障碍物投影在第一图像中的第一像素位置，以及目标障碍物投影在第二图像中的第二像素位置，包括：
B3、从均衡化处理后的第一灰度图中确定出目标障碍物投影到的第一像素位置，从均衡化处理后的第二灰度图中确定出目标障碍物投影到的第二图像位置。
其中，对于双目摄像头采集目标对象得到的图像，若存在干扰情况，还可以对图像进行预处理，例如可以进行缩放处理、裁剪处理和灰度直方图的均衡化处理。其中，对图像的缩放处理时可以将摄像头采集目标对象得到的图像分别缩放到一个适合进行目标障碍物识别的比例，例如可以放大图像也可以缩小图像。对于图像的裁剪，在处理时可以剪裁掉左右两幅图像边缘的多个像素点，这样可以减少视觉处理的计算量。在本发明的另一些实施例中，如果一副图像的像素占有很多的灰度级而且分布均匀，那么这样的图像往往有高对比度和多变的灰度色调。对灰度图的均衡化处理也称为直方图均衡化，就是一种能仅靠输入图像直方图信息自动达到这种效果的变换函数。它的基本思想是对图像中像素个数多的灰度级进行展宽，而对图像中像素个数少的灰度进行压缩，从而扩展像素取值的动态范围，提高了对比度和灰度色调的变化，使图像更加清晰。通过前述对图像的预处理，还可以使图像的光照均衡，图像大小适合移动设备处理。
在本发明实施例执行前述步骤B1和步骤B2的实现场景下，对于飞行器中目标摄像头实时采集目标障碍物得到的图像，若先对该图像转换得到的灰度图进行了均衡化处理，则视差计算时需要的图像就是均衡化处理后的灰度图，对左右两个摄像头采集到的灰度图中投影到的目标障碍物进行检测可以得到第一像素位置和第二像素位置。
在本发明的一些实施例中，步骤101通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像之后，本发明实施例提供的飞行器的障碍物检测方法还包括：
C1、获取双目摄像头的内参信息和外参信息，内参信息包括：左眼的径向畸变参数和切向畸变参数、右眼的径向畸变参数和切向畸变参数，外参信息包括：双目摄像头中左眼和右眼之间的旋转矩阵和偏移矩阵；
C2、根据内参信息分别对第一图像和第二图像进行畸变补偿，得到畸变补偿完成后的第一图像和畸变补偿完成后的第二图像；
C3、根据外参信息对畸变补偿完成后的第一图像和畸变补偿完成后的第二图像进行同一水平面上的图像校正处理。
其中，为了提高对图像计算的准确度，若双目摄像头没有进行提前标定，还可以对双目摄像头采集的图像进行校正，其中包括图像的畸变校正和图像的对准。例如，在图像裁剪以后，本发明实施例中可以使用Open CV的remap函数根据之前摄像头标定得到的内参和外参对图像做畸变校正和对准，经过remap函数后的左右眼图像就满足数学意义上面的在同一水平线上面的图像。双目摄像头的外参信息中包括旋转矩阵和偏移矩阵，通过旋转矩阵和偏移矩阵对第一图像和第二图像的校正，可以对第一图像和第二图像进行对准校正，使得第一图像和第二图像满足是处于同一水平线上面的图像。
103、根据第一像素位置和第二像素位置之间的视差值、预置的视差深度映射矩阵计算双目摄像头距离目标障碍物的深度值。
在本发明实施例中，计算出第一像素位置和第二像素位置之间的视差值之后，通过对双目摄像头的摄像头参数进行计算可以预先确定出左右两个摄像头的视差深度映射矩阵，再根据视差值和深度值之间的反比关系，可以计算出双目摄像头距离目标障碍物的深度值，其中，目标障碍物的深度值是指目标障碍物所在的平面与双目摄像头的之间的垂直距离，通过计算出的深度值可以确定在飞行器的飞行方向上距离多远的距离会出现障碍物。
在本发明的一些实施例中，步骤103根据第一像素位置和第二像素位置之间的视差值、预置的视差深度映射矩阵计算双目摄像头距离目标障碍物的深度值之后，本发明实施例提供的方法还包括：
D1、将双目摄像头距离目标障碍物的深度值发送给飞行器的飞行控制模块，由飞行控制模块根据双目摄像头距离目标障碍物的深度值判断在其飞行方向上是否有障碍物阻挡。
其中，通过步骤103计算出双目摄像头距离目标障碍物的深度值之后，该深度值可以用于飞行控制模块判断当前飞行器距离目标障碍物的距离，飞行控制模块根据双目摄像头距离目标障碍物的深度值判断在其飞行方向上是否有障碍物阻挡，例如该深度值表示距离小于某个门限值(例如1米)，那么表示飞行器将会碰撞到目标障碍物。
在本发明的一些实施例中，在前述执行步骤A1至步骤A3的实现场景下，步骤103根据第一像素位置和第二像素位置之间的视差值、预置的视差深度映射矩阵计算双目摄像头距离目标障碍物的深度值，包括如下步骤：
E1、根据第一像素位置和第二像素位置之间的视差值、预置的视差深度映射矩阵分别计算出与图像选择窗口对应的所有像素点的深度值；
E2、将图像选择窗口划分为多个图像子窗口，根据与图像选择窗口对应的所有像素点的深度值分别计算出每个图像子窗口的深度值；
E3、从每个图像子窗口的深度值中选择深度值最小的图像子窗口，确定深度值最小的图像子窗口的深度值为双目摄像头距离目标障碍物的深度值。
其中，在前述步骤A1至步骤A3的实现场景下，根据飞行器在双目摄像头中形成的机身尺寸图像确定图像选择窗口，对于第一图像和第二图像都使用图像选择窗口分别划分出第一子图像和第二子图像。因此在步骤E1中只需要对于第一子图像和第二子图像中每个像素点的深度值进行计算，第一图像和第二图像中处于图像选择窗口以外的像素点的深度值不需要计算，因此可以大大减少计算深度值所需要的计算资源开销，例如可以减少中央处理器(Central Processing Unit，CPU)的计算负荷。步骤E1中计算图像选择窗口内的像素点的深度值可以是用视差值和视差深度映射矩阵(Disparity-to-Depth MappingMatrix)做矩阵乘法来获得实际的三维点位置，具体的，在本发明实施例中可以使用OpenCV提供的stereoRectify函数来获得该映射矩阵和像素点的深度值。计算出与图像选择窗口对应的所有像素点的深度值之后，将图像选择窗口划分为多个图像子窗口，例如将其等分成4×4的子窗口。在步骤E2中计算每个图像子窗口的深度值时，具体可以从每个图像子窗口的所有像素点的深度值中选择深度值最小的作为该图像子窗口的深度值。例如，根据与图像选择窗口对应的所有像素点的深度值分别计算出16个图像子窗口的深度值，再从16个图像子窗口的深度值中选择深度值最小的图像子窗口，确定深度值最小的图像子窗口的深度值为双目摄像头距离目标障碍物的深度值，这表示在该子窗口内距离飞行器最近的障碍物的距离。
进一步的，在本发明的另一些实施例中，步骤E3确定深度值最小的图像子窗口的深度值为双目摄像头距离目标障碍物的深度值之后，本发明实施例提供的方法还包括：
E4、将每个图像子窗口的深度值都发送给飞行器的飞行控制模块，由飞行控制模块根据每个图像子窗口的深度值选择避障方向后再调整飞行器的飞行姿态。
其中，在前述执行步骤E1至步骤E3的实现场景下，通过对图像选择窗口划分为多个图像子窗口，则每个图像子窗口都计算出深度值，则所有图像子窗口的深度值也可以发送给飞行控制模块，由飞行控制模块根据每个图像子窗口的深度值选择避障方向后再调整飞行器的飞行姿态。其中，飞行器的飞行姿态可以指的是飞行器的朝向，高度和位置，在使用飞行器避障飞行的实现过程中，主要控制飞行器与目标障碍物保持适当距离进行的位置移动。例如，调整飞行姿态可以只是控制飞行器往前飞行，也可以指控制飞行器实现翻滚等飞行动作。
通过以上实施例对本发明实施例的描述可知，首先通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像，其中，第一图像由双目摄像头中的左眼拍摄得到，第二图像由双目摄像头中的右眼拍摄得到，然后确定目标障碍物投影在第一图像中的第一像素位置，以及目标障碍物投影在第二图像中的第二像素位置，并根据第一像素位置和第二像素位置计算第一像素位置和第二像素位置之间的视差值，最后根据第一像素位置和第二像素位置之间的视差值、预置的视差深度映射矩阵计算双目摄像头距离目标障碍物的深度值。本发明实施例通过飞行器的内置双目摄像头实现前向障碍物的实时检测，不需要在飞行器中增加额外的器件设备，对于飞行器的飞行场景和障碍物的形状都不需要限制，通过图像的分析和计算可以准确的计算出双目摄像头距离目标障碍物的深度值，减少飞行器的障碍物检测误差，提高飞行器的障碍物检测精度。
为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。
如图2所示，为本发明实施例提供的双目立体视觉障碍物检测的整个工作流程示意图。双目立体视觉是被动接收可见光，因此不会受到强光干扰，在复杂场景下面也可以很好的估算目标障碍物的深度信息，很好的解决了激光雷达和超声波的缺陷，同时双目视觉使用的是普通摄像头，因此其硬件成本比激光雷达低很多，其中，本发明实施例中计算出的障碍物的深度信息是指障碍物所在的平面与双目摄像头的之间的垂直距离。
如图2所示，以飞行器具体为无人机为例说明本发明实施例中的障碍物检测方法，首先在无人机上安装双目摄像头然后进行摄像头的标定。对单个摄像头需要做标定，其目的是求得摄像头的径向畸变(例如桶形畸变)和切向畸变的参数，称为内参(intrinsicparameters)。双目立体视觉避障要求左右两个眼的摄像头安装在同一个水平线上面，并且间隔在6cm～10cm左右。小于6cm的间隔，图像的视差值太小不能得到合理的深度值。间隔太大近处的物体会无法匹配。安装好的摄像头因为无法在数学上实现精确的同一水平线。因此需要对其做立体标定。立体标定使用张正友标定法，这样可以求出两个镜头之间的旋转矩阵和偏移矩阵，这组值成为摄像头的外参(extrinsic parameters)。图像在被采集到后会使用内参对其进行畸变补偿，然后使用外参来旋转和平移图像使其到达数学上面要求的同一水平线上面。
接下来介绍双目立体视觉障碍物检测的工作流程。
无人机通过其搭载的双目摄像头采集左右眼的实时图像。左右眼的实时图像会经过图像深度计算模块来生成对应的深度值。无人机根据深度值来确定其飞行方向上是否有障碍物阻挡。如果有障碍物阻挡，会把距离当前障碍物的深度值发送给无人机的飞行控制模块。
如图3所示，为本发明实施例提供的双目立体视觉障碍物检测中图像处理环节的流程示意图，无人机中可以通过立体视觉模块负责计算场景的深度信息，其工作流程分为图像的缩放和裁剪，图像畸变补偿，图像的对准，视差计算和深度值计算，接下来分别对各个过程进行举例说明。
首先说明图像的缩放与裁剪，无人机使用双目视觉探测障碍物时，不需要高精度图片，因此双目摄像头采集的图片可以缩放到320x240的格式。因为左右眼的视差存在，所以左右两幅图像的边缘是不能匹配的，在处理时可以剪裁掉左右两幅图像边缘20个像素左右，这样可以减少视觉处理的计算量。
然后进行图像校正，图像校正包括图像的畸变校正和图像的对准。在图像裁剪以后，会使用openCV的remap函数根据之前摄像头标定得到的内参和外参对图像做畸变校正和对准。经过remap函数后的左右眼图像就满足数学意义上面的在同一水平线上面的图像。一个是对单张图片进行畸变校正，另外一个是对两张图片做平移和旋转使其满足数学意义上面的在同一个水平面上。
接下来说明视差值的计算过程。双目视觉的深度值计算要先求取左右图像对应点之间的视差值。实际世界中的同一物体投影到左右摄像头中，其位置会有一些差别。针对同一个实际空间中的点在摄像头中的投影会有一个像素位置，左右两个摄像头的像素位置会有一个偏移值，这个值就是视差。
如图4所示，为本发明实施例提供的双目立体视觉障碍物检测中视差值计算环节的流程示意图，物理点P在左右摄像头中的投影分别是点XL和XR。因为双目视觉要求在同一水平线上面，所以其Y值都相同。视差值(disparity)即是XL－XR，图4中，f表示左右摄像头的焦点位置，Tx表示两个摄像头之间的位移，Z就是P点的深度值。在本发明实施例中以使用OpenCV提供的SGBM算法为例来说明图像点的匹配和视差值的计算。
为了减少SGBM算法的运算量，在嵌入式设备上保证图像处理计算的实时性。为了减少运算量提高处理速度，本发明实施例中没有对整张图像做SGBM，根据无人机运动的特性，只需要对其飞行轨迹的正前方的障碍物做探测，在飞行轨迹以外的障碍物不会影响到无人机的飞行。具体可以利用3维投影的计算方法，可以得到一个图像选择窗口，该图像选择窗口的大小只需要大于无人机的实际大小，即可保证无人机在未探测到障碍时不会碰撞到障碍，只需要计算该窗口内的视差值，不需要计算窗口之外的视差值，这可以大大减少CPU的开销。
深度值是用视差值和视差深度映射矩阵做矩阵乘法来获得实际的三维点位置，其计算公式如下：
[X Y Z W]T＝Q*[xydisparity(x,y)1]T；
其中，x，y是实际三维空间中的点在图像中的投影坐标，单位是像素。disparity(x,y)表示在像素点(x,y)处的视差值，Q矩阵是视差深度映射矩阵，它是通过摄像头内参和外参计算得到。Q的形式如下：Tx，f，Cx，Cy，其中，Q是摄像头的标定和校准获得的，Tx是两个摄像头之间的水平偏移，f是焦距，Cx和Cy是内参，用于表示光心和焦点的位置偏移。
在本发明实施例中使用OpenCV提供的stereoRectify函数来获得该映射矩阵。通过矩阵乘法得到的[X Y Z W]T是实际的三维点的齐次坐标，计算出的深度值是Zc＝Z/W。
最后对无人机的障碍检测进行说明，通过双目视觉模块得到了图像选择窗口中的所有像素点的深度值(单位是物理值单位，例如米)，将图像选择窗口其等分成3x3的图像子窗口。对每个子窗口求其深度值的最小值。子窗口中所有像素点的深度值的最小值就是该子窗口的深度最小值，这表示在该子窗口内离无人机最近的障碍物的距离，其中，障碍物与摄像头的距离是与主光轴平行的垂直于障碍物平面的连线。如果距离小于某个门限值(例如1米),那么表示无人机将会碰撞到该障碍物。每个子窗口的最小深度值可能不一样，这可以帮助无人机飞控系统来决定该往哪个方向避障。我们把所有子窗口的深度值都发送给飞控系统。对于障碍物的探测过程举例说明如下，可以设定一个阈值，比如1.5米，那么只要有一个图像子窗口的深度值小于1.5米，就意味着无人机再飞1.5米就会碰到障碍物，那么需要根据其它图像子窗口情况来判读向哪个方向转向来避开，比如左边的子窗口是3米，那么可以向左避障，如果所有图像子窗口都是1.5米，那么采用随机转向来避障，这只是最简单的避障策略，避障策略还可以结合人工智能，定位，地图等来实现。
本发明实施例中，通过无人机的内置双目摄像头实现前向障碍物的实时检测。通过设定图像选择窗口来减少双目匹配算法的运算量，达到无人机障碍物探测的实时性要求。通过划分图像子窗口来获取无人机前向不同位置的深度值来帮助无人机的飞行控制模块控制无人机的转向。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。
请参阅图5-a所示，本发明实施例提供的一种飞行器的障碍物检测装置500，可以包括：图像采集模块501、视差计算模块502、深度计算模块503，其中，
图像采集模块501，用于通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像，其中，所述第一图像由所述双目摄像头中的左眼拍摄得到，所述第二图像由所述双目摄像头中的右眼拍摄得到；
视差计算模块502，用于确定所述目标障碍物投影在所述第一图像中的第一像素位置，以及所述目标障碍物投影在所述第二图像中的第二像素位置，并根据所述第一像素位置和所述第二像素位置计算所述第一像素位置和所述第二像素位置之间的视差值；
深度计算模块503，用于根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵计算所述双目摄像头距离所述目标障碍物的深度值。
在本发明的一些实施例中，请参阅图5-b所示，所述飞行器的障碍物检测装置500还包括：图像预处理模块504，其中，
所述图像预处理模块504，用于所述图像采集模块501通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像之后，对所述第一图像和所述第二图像分别进行缩放处理和裁剪处理；将处理后的第一图像、第二图像分别转换为第一灰度图和第二灰度图，并对所述第一灰度图和所述第二灰度图分别进行均衡化处理；
所述视差计算模块502，具体用于从均衡化处理后的第一灰度图中确定出所述目标障碍物投影到的第一像素位置，从均衡化处理后的第二灰度图中确定出所述目标障碍物投影到的第二图像位置。
在本发明的一些实施例中，请参阅图5-c所示，相对于图5-a所示，所述飞行器的障碍物检测装置500，还包括：
获取模块504，用于所述图像采集模块501通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像之后，获取所述双目摄像头的内参信息和外参信息，所述内参信息包括：所述左眼的径向畸变参数和切向畸变参数、所述右眼的径向畸变参数和切向畸变参数，所述外参信息包括：所述双目摄像头中左眼和右眼之间的旋转矩阵和偏移矩阵；
畸变补偿模块505，用于根据所述内参信息分别对所述第一图像和所述第二图像进行畸变补偿，得到畸变补偿完成后的第一图像和畸变补偿完成后的第二图像；
校正模块506，用于根据所述外参信息对畸变补偿完成后的第一图像和畸变补偿完成后的第二图像进行同一水平面上的图像校正处理。
在本发明的一些实施例中，请参阅图5-d所示，相对于图5-a所示，所述飞行器的障碍物检测装置500，还包括：
第一发送模块507，用于所述深度计算模块503根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵计算所述双目摄像头距离所述目标障碍物的深度值之后，将所述双目摄像头距离所述目标障碍物的深度值发送给所述飞行器的飞行控制模块，由所述飞行控制模块根据所述双目摄像头距离所述目标障碍物的深度值判断在其飞行方向上是否有障碍物阻挡。
在本发明的一些实施例中，请参阅图5-e所示，所述视差计算模块502，包括：
窗口确定模块5021，用于根据所述飞行器在所述双目摄像头中形成的机身尺寸图像确定图像选择窗口，所述图像选择窗口的总像素值大于所述机身尺寸图像的总像素值、且小于所述第一图像的总像素值、且小于所述第二图像的总像素值；
图像区域选择模块5022，用于使用所述图像选择窗口分别从所述第一图像、所述第二图像中选择出与所述图像选择窗口对应的第一子图像和第二子图像；
图像匹配模块5023，用于使用全局匹配SGBM算法对所述第一子图像和所述第二子图像分别拍摄到的所述目标障碍物进行图像点的匹配，通过匹配成功的图像点确定所述目标障碍物投影在所述第一子图像中的第一像素位置，以及所述目标障碍物投影在所述第二子图像中的第二像素位置。
进一步的，请参阅图5-f所示，所述深度计算模块503，包括：
像素点深度值计算模块5031，用于根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵分别计算出与所述图像选择窗口对应的所有像素点的深度值；
子窗口深度值计算模块5032，用于将所述图像选择窗口划分为多个图像子窗口，根据与所述图像选择窗口对应的所有像素点的深度值分别计算出每个图像子窗口的深度值；
深度值确定模块5033，用于从所述每个图像子窗口的深度值中选择深度值最小的图像子窗口，确定所述深度值最小的图像子窗口的深度值为所述双目摄像头距离所述目标障碍物的深度值。
进一步的，在深度计算模块503如图5-f的实现场景下，请参阅图5-g所示，相对于如图5-a所示，所述飞行器的障碍物检测装置500，还包括：
第二发送模块508，用于所述深度值确定模块确定所述深度值最小的图像子窗口的深度值为所述双目摄像头距离所述目标障碍物的深度值之后，将所述每个图像子窗口的深度值都发送给所述飞行器的飞行控制模块，由所述飞行控制模块根据所述每个图像子窗口的深度值选择避障方向后再调整所述飞行器的飞行姿态。
通过以上对本发明实施例的描述可知，首先通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像，其中，第一图像由双目摄像头中的左眼拍摄得到，第二图像由双目摄像头中的右眼拍摄得到，然后确定目标障碍物投影在第一图像中的第一像素位置，以及目标障碍物投影在第二图像中的第二像素位置，并根据第一像素位置和第二像素位置计算第一像素位置和第二像素位置之间的视差值，最后根据第一像素位置和第二像素位置之间的视差值、预置的视差深度映射矩阵计算双目摄像头距离目标障碍物的深度值。本发明实施例通过飞行器的内置双目摄像头实现前向障碍物的实时检测，不需要在飞行器中增加额外的器件设备，对于飞行器的飞行场景和障碍物的形状都不需要限制，通过图像的分析和计算可以准确的计算出双目摄像头距离目标障碍物的深度值，减少飞行器的障碍物检测误差，提高飞行器的障碍物检测精度。
图6是本发明实施例提供的一种飞行器的结构示意图，该飞行器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)、摄像头1152、传感器1162。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对飞行器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在飞行器1100上执行存储介质1130中的一系列指令操作。本领域技术人员可以理解，图6中示出的飞行器结构并不构成对飞行器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
飞行器1100还可以包括一个或一个以上电源1126，一个或一个以上无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作系统1141，例如安卓系统等等。
飞行器中包括的摄像头1152，该摄像头具体可以是数字摄像头，也可以是模拟摄像头，摄像头1152具体为双目摄像头，摄像头的分辨率可以根据实际需要来选择，摄像头的结构组件可以包括：镜头、图像传感器可以结合具体场景来配置。
飞行器还可以包括：传感器1162，比如运动传感器以及其他传感器。具体地，作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别飞行器姿态的应用(比如飞行器偏航角、横滚角、俯仰角的测算、磁力计姿态校准)、识别相关功能等；至于飞行器还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
上述实施例中由飞行器所执行的飞行器的障碍物检测方法步骤可以基于该图6所示的飞行器结构。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
综上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照上述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (14)
1.一种飞行器的障碍物检测方法，其特征在于，包括：
通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像，其中，所述第一图像由所述双目摄像头中的左眼拍摄得到，所述第二图像由所述双目摄像头中的右眼拍摄得到；
确定所述目标障碍物投影在所述第一图像中的第一像素位置，以及所述目标障碍物投影在所述第二图像中的第二像素位置，并根据所述第一像素位置和所述第二像素位置计算所述第一像素位置和所述第二像素位置之间的视差值；
根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵计算所述双目摄像头距离所述目标障碍物的深度值。
2.根据权利要求1所述的方法，其特征在于，所述通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像之后，所述方法还包括：
对所述第一图像和所述第二图像分别进行缩放处理和裁剪处理；
将处理后的第一图像、第二图像分别转换为第一灰度图和第二灰度图，并对所述第一灰度图和所述第二灰度图分别进行均衡化处理；
所述确定所述目标障碍物投影在所述第一图像中的第一像素位置，以及所述目标障碍物投影在所述第二图像中的第二像素位置，包括：
从均衡化处理后的第一灰度图中确定出所述目标障碍物投影到的第一像素位置，从均衡化处理后的第二灰度图中确定出所述目标障碍物投影到的第二图像位置。
3.根据权利要求1所述的方法，其特征在于，所述通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像之后，所述方法还包括：
获取所述双目摄像头的内参信息和外参信息，所述内参信息包括：所述左眼的径向畸变参数和切向畸变参数、所述右眼的径向畸变参数和切向畸变参数，所述外参信息包括：所述双目摄像头中左眼和右眼之间的旋转矩阵和偏移矩阵；
根据所述内参信息分别对所述第一图像和所述第二图像进行畸变补偿，得到畸变补偿完成后的第一图像和畸变补偿完成后的第二图像；
根据所述外参信息对畸变补偿完成后的第一图像和畸变补偿完成后的第二图像进行同一水平面上的图像校正处理。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵计算所述双目摄像头距离所述目标障碍物的深度值之后，所述方法还包括：
将所述双目摄像头距离所述目标障碍物的深度值发送给所述飞行器的飞行控制模块，由所述飞行控制模块根据所述双目摄像头距离所述目标障碍物的深度值判断在其飞行方向上是否有障碍物阻挡。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述确定所述目标障碍物投影在所述第一图像中的第一像素位置，以及所述目标障碍物投影在所述第二图像中的第二像素位置，包括：
根据所述飞行器在所述双目摄像头中形成的机身尺寸图像确定图像选择窗口，所述图像选择窗口的总像素值大于所述机身尺寸图像的总像素值、且小于所述第一图像的总像素值、且小于所述第二图像的总像素值；
使用所述图像选择窗口分别从所述第一图像、所述第二图像中选择出与所述图像选择窗口对应的第一子图像和第二子图像；
使用全局匹配SGBM算法对所述第一子图像和所述第二子图像分别拍摄到的所述目标障碍物进行图像点的匹配，通过匹配成功的图像点确定所述目标障碍物投影在所述第一子图像中的第一像素位置，以及所述目标障碍物投影在所述第二子图像中的第二像素位置。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵计算所述双目摄像头距离所述目标障碍物的深度值，包括：
根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵分别计算出与所述图像选择窗口对应的所有像素点的深度值；
将所述图像选择窗口划分为多个图像子窗口，根据与所述图像选择窗口对应的所有像素点的深度值分别计算出每个图像子窗口的深度值；
从所述每个图像子窗口的深度值中选择深度值最小的图像子窗口，确定所述深度值最小的图像子窗口的深度值为所述双目摄像头距离所述目标障碍物的深度值。
7.根据权利要求6所述的方法，其特征在于，所述确定所述深度值最小的图像子窗口的深度值为所述双目摄像头距离所述目标障碍物的深度值之后，所述方法还包括：
将所述每个图像子窗口的深度值都发送给所述飞行器的飞行控制模块，由所述飞行控制模块根据所述每个图像子窗口的深度值选择避障方向后再调整所述飞行器的飞行姿态。
8.一种飞行器的障碍物检测装置，其特征在于，包括：
图像采集模块，用于通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像，其中，所述第一图像由所述双目摄像头中的左眼拍摄得到，所述第二图像由所述双目摄像头中的右眼拍摄得到；
视差计算模块，用于确定所述目标障碍物投影在所述第一图像中的第一像素位置，以及所述目标障碍物投影在所述第二图像中的第二像素位置，并根据所述第一像素位置和所述第二像素位置计算所述第一像素位置和所述第二像素位置之间的视差值；
深度计算模块，用于根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵计算所述双目摄像头距离所述目标障碍物的深度值。
9.根据权利要求8所述的装置，其特征在于，所述飞行器的障碍物检测装置还包括：图像预处理模块，其中，
所述图像预处理模块，用于所述图像采集模块通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像之后，对所述第一图像和所述第二图像分别进行缩放处理和裁剪处理；将处理后的第一图像、第二图像分别转换为第一灰度图和第二灰度图，并对所述第一灰度图和所述第二灰度图分别进行均衡化处理；
所述视差计算模块，具体用于从均衡化处理后的第一灰度图中确定出所述目标障碍物投影到的第一像素位置，从均衡化处理后的第二灰度图中确定出所述目标障碍物投影到的第二图像位置。
10.根据权利要求8所述的装置，其特征在于，所述飞行器的障碍物检测装置，还包括：
获取模块，用于所述图像采集模块通过飞行器配置的双目摄像头对目标障碍物进行实时的图像采集，得到第一图像和第二图像之后，获取所述双目摄像头的内参信息和外参信息，所述内参信息包括：所述左眼的径向畸变参数和切向畸变参数、所述右眼的径向畸变参数和切向畸变参数，所述外参信息包括：所述双目摄像头中左眼和右眼之间的旋转矩阵和偏移矩阵；
畸变补偿模块，用于根据所述内参信息分别对所述第一图像和所述第二图像进行畸变补偿，得到畸变补偿完成后的第一图像和畸变补偿完成后的第二图像；
校正模块，用于根据所述外参信息对畸变补偿完成后的第一图像和畸变补偿完成后的第二图像进行同一水平面上的图像校正处理。
11.根据权利要求8所述的装置，其特征在于，所述飞行器的障碍物检测装置，还包括：
第一发送模块，用于所述深度计算模块根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵计算所述双目摄像头距离所述目标障碍物的深度值之后，将所述双目摄像头距离所述目标障碍物的深度值发送给所述飞行器的飞行控制模块，由所述飞行控制模块根据所述双目摄像头距离所述目标障碍物的深度值判断在其飞行方向上是否有障碍物阻挡。
12.根据权利要求8至11中任一项所述的装置，其特征在于，所述视差计算模块，包括：
窗口确定模块，用于根据所述飞行器在所述双目摄像头中形成的机身尺寸图像确定图像选择窗口，所述图像选择窗口的总像素值大于所述机身尺寸图像的总像素值、且小于所述第一图像的总像素值、且小于所述第二图像的总像素值；
图像区域选择模块，用于使用所述图像选择窗口分别从所述第一图像、所述第二图像中选择出与所述图像选择窗口对应的第一子图像和第二子图像；
图像匹配模块，用于使用全局匹配SGBM算法对所述第一子图像和所述第二子图像分别拍摄到的所述目标障碍物进行图像点的匹配，通过匹配成功的图像点确定所述目标障碍物投影在所述第一子图像中的第一像素位置，以及所述目标障碍物投影在所述第二子图像中的第二像素位置。
13.根据权利要求12所述的装置，其特征在于，所述深度计算模块，包括：
像素点深度值计算模块，用于根据所述第一像素位置和所述第二像素位置之间的视差值、预置的视差深度映射矩阵分别计算出与所述图像选择窗口对应的所有像素点的深度值；
子窗口深度值计算模块，用于将所述图像选择窗口划分为多个图像子窗口，根据与所述图像选择窗口对应的所有像素点的深度值分别计算出每个图像子窗口的深度值；
深度值确定模块，用于从所述每个图像子窗口的深度值中选择深度值最小的图像子窗口，确定所述深度值最小的图像子窗口的深度值为所述双目摄像头距离所述目标障碍物的深度值。
14.根据权利要求13所述的装置，其特征在于，所述飞行器的障碍物检测装置，还包括：
第二发送模块，用于所述深度值确定模块确定所述深度值最小的图像子窗口的深度值为所述双目摄像头距离所述目标障碍物的深度值之后，将所述每个图像子窗口的深度值都发送给所述飞行器的飞行控制模块，由所述飞行控制模块根据所述每个图像子窗口的深度值选择避障方向后再调整所述飞行器的飞行姿态。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611045197.6A CN106529495B (zh) | 2016-11-24 | 2016-11-24 | 一种飞行器的障碍物检测方法和装置 |
| PCT/CN2017/111577 WO2018095278A1 (zh) | 2016-11-24 | 2017-11-17 | 飞行器的信息获取方法、装置及设备 |
| US16/296,073 US10942529B2 (en) | 2016-11-24 | 2019-03-07 | Aircraft information acquisition method, apparatus and device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611045197.6A CN106529495B (zh) | 2016-11-24 | 2016-11-24 | 一种飞行器的障碍物检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106529495A true CN106529495A (zh) | 2017-03-22 |
| CN106529495B CN106529495B (zh) | 2020-02-07 |
Family
ID=58356913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611045197.6A Active CN106529495B (zh) | 2016-11-24 | 2016-11-24 | 一种飞行器的障碍物检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106529495B (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107065926A (zh) * | 2017-04-12 | 2017-08-18 | 普宙飞行器科技（深圳）有限公司 | 全向避障装置、云台、云台的控制方法及避障控制方法 |
| CN107229903A (zh) * | 2017-04-17 | 2017-10-03 | 深圳奥比中光科技有限公司 | 机器人避障的方法、装置及存储装置 |
| CN107274400A (zh) * | 2017-06-21 | 2017-10-20 | 歌尔股份有限公司 | 空间定位装置、定位处理方法及装置、虚拟现实系统 |
| CN107703951A (zh) * | 2017-07-27 | 2018-02-16 | 上海拓攻机器人有限公司 | 一种基于双目视觉的无人机避障方法及系统 |
| CN107817811A (zh) * | 2017-10-26 | 2018-03-20 | 哈尔滨市舍科技有限公司 | 基于视觉的无人机防碰撞装置及方法 |
| WO2018095278A1 (zh) * | 2016-11-24 | 2018-05-31 | 腾讯科技（深圳）有限公司 | 飞行器的信息获取方法、装置及设备 |
| CN108627816A (zh) * | 2018-02-28 | 2018-10-09 | 沈阳上博智像科技有限公司 | 影像测距方法、装置、存储介质和电子设备 |
| CN108735001A (zh) * | 2018-05-31 | 2018-11-02 | 智飞智能装备科技东台有限公司 | 一种基于北斗导航的无人机防撞及预警装置 |
| CN108759788A (zh) * | 2018-03-19 | 2018-11-06 | 深圳飞马机器人科技有限公司 | 无人机影像定位定姿方法及无人机 |
| WO2019126930A1 (zh) * | 2017-12-25 | 2019-07-04 | 深圳市道通智能航空技术有限公司 | 测距方法、装置以及无人机 |
| CN109977924A (zh) * | 2019-04-15 | 2019-07-05 | 北京麦飞科技有限公司 | 针对农作物的无人机机上实时图像处理方法及系统 |
| WO2019154179A1 (en) * | 2018-02-08 | 2019-08-15 | Huawei Technologies Co., Ltd. | Group optimization depth information method and system for constructing 3d feature map |
| CN110210280A (zh) * | 2019-03-01 | 2019-09-06 | 北京纵目安驰智能科技有限公司 | 一种超视距感知方法、系统、终端和存储介质 |
| CN110222557A (zh) * | 2019-04-22 | 2019-09-10 | 北京旷视科技有限公司 | 路况的实时检测方法、装置、系统和存储介质 |
| CN110231832A (zh) * | 2018-03-05 | 2019-09-13 | 北京京东尚科信息技术有限公司 | 用于无人机的避障方法和避障装置 |
| CN110986891A (zh) * | 2019-12-06 | 2020-04-10 | 西北农林科技大学 | 一种利用无人机准确快速测量树木冠幅的系统 |
| CN111144279A (zh) * | 2019-12-25 | 2020-05-12 | 苏州奥易克斯汽车电子有限公司 | 一种智能辅助驾驶中障碍物的识别方法 |
| CN111898396A (zh) * | 2019-05-06 | 2020-11-06 | 北京四维图新科技股份有限公司 | 障碍物检测方法和装置 |
| CN112116639A (zh) * | 2020-09-08 | 2020-12-22 | 苏州浪潮智能科技有限公司 | 一种图像配准方法、装置及电子设备和存储介质 |
| CN112639400A (zh) * | 2020-01-21 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 基于语义分割的测距方法、装置、设备及系统 |
| CN112766151A (zh) * | 2021-01-19 | 2021-05-07 | 北京深睿博联科技有限责任公司 | 一种用于导盲眼镜的双目目标检测方法和系统 |
| CN112866629A (zh) * | 2019-11-27 | 2021-05-28 | 深圳市大富科技股份有限公司 | 双目视觉应用的控制方法以及终端 |
| CN112912811A (zh) * | 2018-11-21 | 2021-06-04 | 深圳市道通智能航空技术股份有限公司 | 一种无人机路径规划方法、装置及无人机 |
| CN113155293A (zh) * | 2021-04-06 | 2021-07-23 | 内蒙古工业大学 | 一种基于无人机的人体遥感测温监测识别系统 |
| CN113870345A (zh) * | 2021-09-24 | 2021-12-31 | 埃洛克航空科技（北京）有限公司 | 基于三维场景的飞行定位方法以及装置、存储介质、电子装置 |
| CN114913717A (zh) * | 2022-07-20 | 2022-08-16 | 成都天巡微小卫星科技有限责任公司 | 一种基于智能终端的便携式低空飞行防撞系统及方法 |
| CN115188091A (zh) * | 2022-07-13 | 2022-10-14 | 国网江苏省电力有限公司泰州供电分公司 | 一种融合电力输变配设备的无人机网格化巡检系统及方法 |
| CN115880248A (zh) * | 2022-12-13 | 2023-03-31 | 哈尔滨耐是智能科技有限公司 | 一种表面划痕缺陷识别方法及视觉检测设备 |
| US12025996B2 (en) | 2021-05-17 | 2024-07-02 | Autel Robotics Co., Ltd. | Unmanned aerial vehicle path planning method and apparatus and unmanned aerial vehicle |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251379A (zh) * | 2008-02-19 | 2008-08-27 | 哈尔滨工程大学 | 一种面向水下运载器的实时双目视觉导引方法 |
| CN102435174A (zh) * | 2011-11-01 | 2012-05-02 | 清华大学 | 基于混合式双目视觉的障碍物检测方法及装置 |
| CN102779347A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种用于飞行器的目标跟踪与定位方法和装置 |
| CN103679707A (zh) * | 2013-11-26 | 2014-03-26 | 西安交通大学 | 基于双目相机视差图的道路障碍物检测系统及检测方法 |
| CN105787447A (zh) * | 2016-02-26 | 2016-07-20 | 深圳市道通智能航空技术有限公司 | 一种无人机基于双目视觉的全方位避障的方法及系统 |
| CN105807786A (zh) * | 2016-03-04 | 2016-07-27 | 深圳市道通智能航空技术有限公司 | 一种无人机自动避障的方法及系统 |
| CN105913474A (zh) * | 2016-04-05 | 2016-08-31 | 清华大学深圳研究生院 | 双目三维重构装置及其三维重构方法以及一种安卓应用 |
| CN106020232A (zh) * | 2016-07-07 | 2016-10-12 | 天津航天中为数据系统科技有限公司 | 一种无人机避障装置及避障方法 |
-
2016
- 2016-11-24 CN CN201611045197.6A patent/CN106529495B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101251379A (zh) * | 2008-02-19 | 2008-08-27 | 哈尔滨工程大学 | 一种面向水下运载器的实时双目视觉导引方法 |
| CN102435174A (zh) * | 2011-11-01 | 2012-05-02 | 清华大学 | 基于混合式双目视觉的障碍物检测方法及装置 |
| CN102779347A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种用于飞行器的目标跟踪与定位方法和装置 |
| CN103679707A (zh) * | 2013-11-26 | 2014-03-26 | 西安交通大学 | 基于双目相机视差图的道路障碍物检测系统及检测方法 |
| CN105787447A (zh) * | 2016-02-26 | 2016-07-20 | 深圳市道通智能航空技术有限公司 | 一种无人机基于双目视觉的全方位避障的方法及系统 |
| CN105807786A (zh) * | 2016-03-04 | 2016-07-27 | 深圳市道通智能航空技术有限公司 | 一种无人机自动避障的方法及系统 |
| CN105913474A (zh) * | 2016-04-05 | 2016-08-31 | 清华大学深圳研究生院 | 双目三维重构装置及其三维重构方法以及一种安卓应用 |
| CN106020232A (zh) * | 2016-07-07 | 2016-10-12 | 天津航天中为数据系统科技有限公司 | 一种无人机避障装置及避障方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘玮 等: "《计算机视觉中的目标特征模型和视觉注意模型》", 30 September 2016 * |
| 王懋华 等: "《现代精细农业理论与实践》", 31 October 2012 * |
Cited By (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018095278A1 (zh) * | 2016-11-24 | 2018-05-31 | 腾讯科技（深圳）有限公司 | 飞行器的信息获取方法、装置及设备 |
| US10942529B2 (en) | 2016-11-24 | 2021-03-09 | Tencent Technology (Shenzhen) Company Limited | Aircraft information acquisition method, apparatus and device |
| CN107065926A (zh) * | 2017-04-12 | 2017-08-18 | 普宙飞行器科技（深圳）有限公司 | 全向避障装置、云台、云台的控制方法及避障控制方法 |
| CN107229903A (zh) * | 2017-04-17 | 2017-10-03 | 深圳奥比中光科技有限公司 | 机器人避障的方法、装置及存储装置 |
| US10699436B2 (en) * | 2017-06-21 | 2020-06-30 | Goertek Inc. | Spatial positioning device and positioning processing method and device |
| CN107274400A (zh) * | 2017-06-21 | 2017-10-20 | 歌尔股份有限公司 | 空间定位装置、定位处理方法及装置、虚拟现实系统 |
| CN107274400B (zh) * | 2017-06-21 | 2021-02-12 | 歌尔光学科技有限公司 | 空间定位装置、定位处理方法及装置、虚拟现实系统 |
| WO2018232900A1 (zh) * | 2017-06-21 | 2018-12-27 | 歌尔股份有限公司 | 空间定位装置、定位处理方法及装置 |
| US20190051010A1 (en) * | 2017-06-21 | 2019-02-14 | Goertek Inc. | Spatial positioning device and positioning processing method and device |
| CN107703951A (zh) * | 2017-07-27 | 2018-02-16 | 上海拓攻机器人有限公司 | 一种基于双目视觉的无人机避障方法及系统 |
| CN107703951B (zh) * | 2017-07-27 | 2019-02-01 | 上海拓攻机器人有限公司 | 一种基于双目视觉的无人机避障方法及系统 |
| CN107817811A (zh) * | 2017-10-26 | 2018-03-20 | 哈尔滨市舍科技有限公司 | 基于视觉的无人机防碰撞装置及方法 |
| WO2019126930A1 (zh) * | 2017-12-25 | 2019-07-04 | 深圳市道通智能航空技术有限公司 | 测距方法、装置以及无人机 |
| US10621456B2 (en) | 2017-12-25 | 2020-04-14 | Autel Robotics Co., Ltd. | Distance measurement method and apparatus, and unmanned aerial vehicle |
| WO2019154179A1 (en) * | 2018-02-08 | 2019-08-15 | Huawei Technologies Co., Ltd. | Group optimization depth information method and system for constructing 3d feature map |
| US10643342B2 (en) | 2018-02-08 | 2020-05-05 | Huawei Technologies Co., Ltd. | Group optimization depth information method and system for constructing a 3D feature map |
| CN108627816A (zh) * | 2018-02-28 | 2018-10-09 | 沈阳上博智像科技有限公司 | 影像测距方法、装置、存储介质和电子设备 |
| CN110231832A (zh) * | 2018-03-05 | 2019-09-13 | 北京京东尚科信息技术有限公司 | 用于无人机的避障方法和避障装置 |
| CN110231832B (zh) * | 2018-03-05 | 2022-09-06 | 北京京东乾石科技有限公司 | 用于无人机的避障方法和避障装置 |
| CN108759788A (zh) * | 2018-03-19 | 2018-11-06 | 深圳飞马机器人科技有限公司 | 无人机影像定位定姿方法及无人机 |
| CN108735001A (zh) * | 2018-05-31 | 2018-11-02 | 智飞智能装备科技东台有限公司 | 一种基于北斗导航的无人机防撞及预警装置 |
| CN112912811A (zh) * | 2018-11-21 | 2021-06-04 | 深圳市道通智能航空技术股份有限公司 | 一种无人机路径规划方法、装置及无人机 |
| CN112912811B (zh) * | 2018-11-21 | 2024-03-29 | 深圳市道通智能航空技术股份有限公司 | 一种无人机路径规划方法、装置及无人机 |
| CN110210280A (zh) * | 2019-03-01 | 2019-09-06 | 北京纵目安驰智能科技有限公司 | 一种超视距感知方法、系统、终端和存储介质 |
| CN110210280B (zh) * | 2019-03-01 | 2024-04-19 | 北京纵目安驰智能科技有限公司 | 一种超视距感知方法、系统、终端和存储介质 |
| CN109977924A (zh) * | 2019-04-15 | 2019-07-05 | 北京麦飞科技有限公司 | 针对农作物的无人机机上实时图像处理方法及系统 |
| CN110222557A (zh) * | 2019-04-22 | 2019-09-10 | 北京旷视科技有限公司 | 路况的实时检测方法、装置、系统和存储介质 |
| CN110222557B (zh) * | 2019-04-22 | 2021-09-21 | 北京旷视科技有限公司 | 路况的实时检测方法、装置、系统和存储介质 |
| CN111898396A (zh) * | 2019-05-06 | 2020-11-06 | 北京四维图新科技股份有限公司 | 障碍物检测方法和装置 |
| CN112866629A (zh) * | 2019-11-27 | 2021-05-28 | 深圳市大富科技股份有限公司 | 双目视觉应用的控制方法以及终端 |
| CN110986891A (zh) * | 2019-12-06 | 2020-04-10 | 西北农林科技大学 | 一种利用无人机准确快速测量树木冠幅的系统 |
| CN110986891B (zh) * | 2019-12-06 | 2021-08-24 | 西北农林科技大学 | 一种利用无人机准确快速测量树木冠幅的系统 |
| CN111144279A (zh) * | 2019-12-25 | 2020-05-12 | 苏州奥易克斯汽车电子有限公司 | 一种智能辅助驾驶中障碍物的识别方法 |
| CN112639400A (zh) * | 2020-01-21 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 基于语义分割的测距方法、装置、设备及系统 |
| CN112116639A (zh) * | 2020-09-08 | 2020-12-22 | 苏州浪潮智能科技有限公司 | 一种图像配准方法、装置及电子设备和存储介质 |
| CN112116639B (zh) * | 2020-09-08 | 2022-06-07 | 苏州浪潮智能科技有限公司 | 一种图像配准方法、装置及电子设备和存储介质 |
| CN112766151A (zh) * | 2021-01-19 | 2021-05-07 | 北京深睿博联科技有限责任公司 | 一种用于导盲眼镜的双目目标检测方法和系统 |
| CN112766151B (zh) * | 2021-01-19 | 2022-07-12 | 北京深睿博联科技有限责任公司 | 一种用于导盲眼镜的双目目标检测方法和系统 |
| CN113155293A (zh) * | 2021-04-06 | 2021-07-23 | 内蒙古工业大学 | 一种基于无人机的人体遥感测温监测识别系统 |
| US12025996B2 (en) | 2021-05-17 | 2024-07-02 | Autel Robotics Co., Ltd. | Unmanned aerial vehicle path planning method and apparatus and unmanned aerial vehicle |
| CN113870345A (zh) * | 2021-09-24 | 2021-12-31 | 埃洛克航空科技（北京）有限公司 | 基于三维场景的飞行定位方法以及装置、存储介质、电子装置 |
| CN115188091B (zh) * | 2022-07-13 | 2023-10-13 | 国网江苏省电力有限公司泰州供电分公司 | 一种融合电力输变配设备的无人机网格化巡检系统及方法 |
| CN115188091A (zh) * | 2022-07-13 | 2022-10-14 | 国网江苏省电力有限公司泰州供电分公司 | 一种融合电力输变配设备的无人机网格化巡检系统及方法 |
| CN114913717B (zh) * | 2022-07-20 | 2022-09-27 | 成都天巡微小卫星科技有限责任公司 | 一种基于智能终端的便携式低空飞行防撞系统及方法 |
| CN114913717A (zh) * | 2022-07-20 | 2022-08-16 | 成都天巡微小卫星科技有限责任公司 | 一种基于智能终端的便携式低空飞行防撞系统及方法 |
| CN115880248A (zh) * | 2022-12-13 | 2023-03-31 | 哈尔滨耐是智能科技有限公司 | 一种表面划痕缺陷识别方法及视觉检测设备 |
| CN115880248B (zh) * | 2022-12-13 | 2024-02-09 | 哈尔滨耐是智能科技有限公司 | 一种表面划痕缺陷识别方法及视觉检测设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106529495B (zh) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106529495A (zh) | 一种飞行器的障碍物检测方法和装置 | |
| CN110322702B (zh) | 一种基于双目立体视觉系统的车辆智能测速方法 | |
| CN112132972B (zh) | 一种激光与图像数据融合的三维重建方法及系统 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| CN112444242B (zh) | 一种位姿优化方法及装置 | |
| CN105627932B (zh) | 一种基于双目视觉的测距方法及装置 | |
| EP3488603B1 (en) | Methods and systems for processing an image | |
| CN106960454B (zh) | 景深避障方法、设备及无人飞行器 | |
| CN105955308A (zh) | 一种飞行器的控制方法和装置 | |
| CN106339006A (zh) | 一种飞行器的目标跟踪方法和装置 | |
| CN107636679A (zh) | 一种障碍物检测方法及装置 | |
| CN106570899B (zh) | 一种目标物体检测方法及装置 | |
| CN107980138A (zh) | 一种虚警障碍物检测方法及装置 | |
| CN109263637B (zh) | 一种碰撞预测的方法及装置 | |
| CN107560592A (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN110619660A (zh) | 一种物体定位方法、装置、计算机可读存储介质及机器人 | |
| CN113686314B (zh) | 船载摄像头的单目水面目标分割及单目测距方法 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN109712188A (zh) | 一种目标跟踪方法及装置 | |
| CN112837207A (zh) | 全景深度测量方法、四目鱼眼相机及双目鱼眼相机 | |
| CN112348890A (zh) | 一种空间定位方法、装置及计算机可读存储介质 | |
| CN105488780A (zh) | 一种用于工业生产线的单目视觉测距追踪装置及其追踪方法 | |
| CN116503566B (zh) | 一种三维建模方法、装置、电子设备及存储介质 | |
| CN114359891B (zh) | 一种三维车辆检测方法、系统、装置及介质 | |
| CN112330726B (zh) | 一种图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |