CN109292099B - 一种无人机着陆判断方法、装置、设备及存储介质 - Google Patents

一种无人机着陆判断方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109292099B
CN109292099B CN201810906438.4A CN201810906438A CN109292099B CN 109292099 B CN109292099 B CN 109292099B CN 201810906438 A CN201810906438 A CN 201810906438A CN 109292099 B CN109292099 B CN 109292099B
Authority
CN
China
Prior art keywords
value
coordinate
visual image
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810906438.4A
Other languages
English (en)
Other versions
CN109292099A (zh
Inventor
杨小平
宋翔
毛曙源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201810906438.4A priority Critical patent/CN109292099B/zh
Publication of CN109292099A publication Critical patent/CN109292099A/zh
Application granted granted Critical
Publication of CN109292099B publication Critical patent/CN109292099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种无人机着陆判断方法，包括：获取双目视觉图像并处理双目视觉图像获得深度图；根据深度图中点平面坐标值计算对应的深度值，获得三维坐标值，集合三维坐标值获得待降区域三维点簇坐标集合；根据三维点簇坐标集合获取噪声参数及双目摄像机的灵敏度；根据噪音参数及双目摄像机的灵敏度设定动态阈值；根据待降区域三维点簇坐标集合构建拟合平面；判断待降区域三维点簇坐标集合与拟合平面的平均距离是否小于动态阈值，若是，则待降区域为可降平面。本发明公开的无人机着陆判断方法实现了由双目视觉引导无人机飞控系统完成无人机的自主着陆，增加了无人机着陆过程的安全性，同时可以缩减无人机的飞控人员，降低无人机运输的成本。

Description

一种无人机着陆判断方法、装置、设备及存储介质
技术领域
本发明属于无人机飞行安全控制技术领域，尤其涉及一种基于双目视觉对无人机着陆场是否为平面进行判断的方法，具体涉及一种无人机着陆判断方法、装置、设备及存储介质。
背景技术
近年来无人机发展迅猛，在军事、公安、农业、航拍等领域应用越来越广泛。由于无人机的行驶路径在空中，不受到地面路况的影响，因此无人机可以广泛的应用到货物运输领域中。尤其对于一些路况极差的山区、以及一些急需件，都可以使用无人机来进行运输。随着无人机技术的发展，使得无人机运货成为可能，但是如果给每台无人机都配备一个操控人员，将极大的增加无人机的运输成本。因此，目前迫切需要研制出自主无人机，自主无人机要求无人机能够实现自主起飞、自主飞行以及自主着陆。
在无人机的自主着陆方面，目前已经有一些专利公开了其自主着陆的方法。例如，发明号为201710604323.5的发明专利，名称为一种自主降落方法，在该发明专利中首先将地面进行网格划分，然后利用深度学习方法对地面场景进行分割，再根据分割的结果结合网格的位置，确定无人机可降落点。发明号为201710604323.5的发明专利公开的自主降落方法可以确定无人机的可降平面，但是因为无法完整的重建出可降落区域内的真实三维场景，因此按照该方法进行自主降落的无人机存在着一定的危险。
目前，利用深度学习的方法可以较为准确的确定无人机的可降区域，但是对于可降平面需要进一步地确认可降区域的平整性。可降区域平整性确认是一个涉及到无人机着陆安全所必不可少的过程。目前，采用的方法大多数是基于双目视觉来对平面进行判断，基于双目计算的深度图进行判断。
但是目前基于双目获取的深度图进行平面判断的方法存在以下几个技术难点：
1.基于双目视觉计算得到的深度图存在大量空洞的问题；
2.基于双目视觉计算得到的深度图存在噪声大的问题；
3.在纹理不足时，双目得到的深度效果非常差；
4.双目视觉在CPU上计算耗时大的问题；
5.暂无一个较为合理的三维点簇判断平面的算法；
6.基于有噪声的深度图难以判断平面的问题。
因此，现在迫切需要研究出一种新型的基于双目视觉对无人机着陆场是否为平面进行判断的方法。通过这种新型的无人机着陆判断方法，改善或解决上述技术难点。
发明内容
鉴于现有技术存在的上述缺陷或不足，本发明的目的在于提供一种无人机着陆判断方法、装置、设备及存储介质。本发明提供的无人机着陆判断方法、装置、设备及存储介质，可以解决目前无人机基于双目视觉对着陆平面进行判断时存在的上述技术难点，实现由双目视觉引导飞控系统完成无人机的自主着陆，增加着陆过程的安全性，同时缩减无人机的飞控人员，降低无人机运输的成本。
为实现上述目的，本发明一方面，提供一种无人机着陆判断方法，其中包括：
获取双目视觉图像并处理所述双目视觉图像获得深度图，其中，所述双目视觉图像包括左目视觉图像和右目视觉图像；
根据深度图中点平面坐标值计算对应的深度值，获得三维坐标值，集合所述三维坐标值获得待降区域三维点簇坐标集合；
根据所述三维点簇坐标集合计算噪声参数及双目摄像机的灵敏度；
根据所述噪音参数及所述双目摄像机的灵敏度设定动态阈值；
根据待降区域三维点簇坐标集合构建拟合平面；
判断待降区域三维点簇坐标集合与拟合平面的平均距离是否小于动态阈值，
若是，则所述待降区域为可降平面。
其中，平均距离为所述待降区域三维点簇坐标集合中的每一点与所述拟合平面之间距离的平均值。
进一步的，所述点平面坐标值是利用图像检测算法获得深度图中待降区域的点平面坐标值，其中，所述待降区域为利用图像检测算法检测左目摄像机的标识区域，将标识区域映射到所述深度图中所获得的。
进一步的，计算所述深度值所依据的公式为：
Figure BDA0001760736830000031
Figure BDA0001760736830000032
其中，Z为任一点的深度值，
xl为任一点在所述左目视觉图像中X轴方向上的坐标值，
xr为任一点在所述右目视觉图像中X轴方向上的坐标值，
f为焦距值，
T为基线值。
进一步的，计算所述噪音参数所依据的公式为：
P_noise＝N*P_size
其中，P_noise为噪音参数，
N为系数，
P_size为待降区域三维点簇中点的数量。
进一步的，计算所述双目摄像机的灵敏度所依据的公式为：
Figure BDA0001760736830000033
其中，sensetivity为灵敏度，
Z为深度值，
f为焦距值，
T为基线值，
sz为像元尺寸。
进一步的，设定动态阈值所依据的公式为：
Figure BDA0001760736830000034
其中，threshlod为动态阈值，
Z为深度值，
N为系数，
P_size为待降区域三维点簇中点的数量，
sensetivity为灵敏度。
进一步的，所述根据待降区域三维点簇坐标集合建拟合平面，包括：
求解所述待降区域三维点簇坐标集合的坐标平均值，将所述坐标平均值设为中心点坐标值；
将所述待降区域三维点簇坐标集合中的每一点的坐标值分别减去所述中心点坐标值，获得坐标差值集合；
构建所述坐标差值集合的协方差矩阵；
求解所述协方差矩阵的特征值和特征向量，获得最小特征值及最小特征值对应的特征向量；
根据所述最小特征值对应的特征向量和所述中心点坐标构建拟合平面。
进一步的，获取双目视觉图像并处理所述双目视觉图像获得深度图，包括：
对所述左目视觉图像和右目视觉图像进行校正，将所述左目视觉图像和右目视觉图像在水平方向上完成对齐；
利用半全局立体匹配算法分别对所述左目视觉图像和所述右目视觉图像进行配准处理，得到从左到右的视差图A和从右到左的视差图B；
输入所述视差图A、所述视差图B及所述左目视觉图像，利用后置滤波算法进行滤波处理，对所述视差图A进行空洞填充；
利用中值滤波算法对空洞填充后的视差图进行噪音处理，得到深度图。
进一步的，所述半全局立体匹配算法采用统一计算设备架(Compute UnifiedDevice Architecture，简称CUDA)版本。
进一步的，所述后置滤波算法采用统一计算设备架构(Compute Unified DeviceArchitecture，简称CUDA)版本。
本发明另一方面，还提供一种无人机着陆判断装置，其中包括：
深度图获得单元，配置用于获取双目视觉图像并处理所述双目视觉图像获得深度图，其中，所述双目视觉图像包括左目视觉图像和右目视觉图像；
三维点簇坐标集合获取单元，配置用于根据每一点的平面坐标值计算每一点对应的深度值，获得每一点的三维坐标值，集合所述三维坐标值获得待降区域三维点簇坐标集合；
噪声参数及灵敏度计算单元，配置用于根据所述三维点簇坐标集合计算噪声参数及双目摄像机的灵敏度；
动态阈值设定单元，配置用于根据所述噪音参数及所述双目摄像机的灵敏度设定动态阈值；
拟合平面构建单元，配置用于根据待降区域三维点簇坐标集合构建拟合平面；
可降平面判断单元，配置用于判断待降区域三维点簇坐标集合与拟合平面的平均距离是否小于动态阈值，
若是，则所述待降区域为可降平面。
进一步的，所述点平面坐标值是利用图像检测算法获得深度图中待降区域的点平面坐标值，其中，所述待降区域为利用图像检测算法检测左目摄像机的标识区域，将标识区域映射到所述深度图中所获得的。
进一步的，计算所述深度值所依据的公式为：
Figure BDA0001760736830000051
Figure BDA0001760736830000052
其中，Z为任一点的深度值，
xl为任一点在所述左目视觉图像中X轴方向上的坐标值，
xr为任一点在所述右目视觉图像中X轴方向上的坐标值，
f为焦距值，
T为基线值。
进一步的，计算所述噪音参数所依据的公式为：
P_noise＝N*P_size
其中，P_noise为噪音参数，
N为系数，
P_size为待降区域中三维点的数量。
进一步的，计算所述双目摄像机的灵敏度所依据的公式为：
Figure BDA0001760736830000061
其中，sensetivity为灵敏度，
Z为深度值，
f为焦距值，
T为基线值，
进一步的，设定动态阈值所依据的公式为：
Figure BDA0001760736830000062
其中，threshlod为动态阈值，
Z为深度值，
N为系数，
P_size为待降区域三维点簇中点的数量，
sensetivity为灵敏度。
进一步的，所述拟合平面构建单元，包括：
中心点坐标值求解子单元，配置用于求解所述待降区域三维点簇坐标集合的坐标平均值，将所述坐标平均值设为中心点坐标值；
坐标差值集合获取子单元，配置用于将所述待降区域三维点簇坐标集合中的每一点的坐标值分别减去所述中心点坐标值，获得坐标差值集合；
协方差矩阵构建子单元，配置用于构建所述坐标差值集合的协方差矩阵；
特征向量获取子单元，配置用于求解所述协方差矩阵的特征值和特征向量，获得最小特征值及最小特征值对应的特征向量；
拟合平面构建子单元，配置用于根据所述最小特征值对应的特征向量和所述中心点坐标构建拟合平面。
进一步的，所述深度图获取单元，包括：
视觉图像对齐子单元，配置用于分别对所述左目视觉图像和右目视觉图像进行校正，将所述左目视觉图像和右目视觉图像在水平方向上完成对齐；
视差图获取子单元，配置用于利用半全局立体匹配算法分别对所述左目视觉图像和所述右目视觉图像进行配准处理，得到从左到右的视差图A和从右到左的视差图B；
图像滤波子单元：配置用于输入所述视差图A、所述视差图B及所述左目视觉图像，利用后置滤波算法进行滤波处理，对所述视差图A进行空洞填充；
噪音处理子单元：配置用于利用中值滤波算法对空洞填充后的视差图进行噪音处理，得到深度图。
本发明另一方面，还提供一种无人机着陆判断设备，所述设备包括：
一个或多个处理器；
数据存储器，用于存储左目摄像机的内参数、右目摄像机的内参数、左右相机之间的外部参数以及一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上述任一项所述的方法。
本发明另一方面，还提供一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如上述任一项所述的方法。
与现有技术相比，本发明的有益效果是：
1、本发明提供的无人机着陆判断方法，针对现有的基于有噪声的深度图难以判断平面的问题，建立深度图噪音参数，并将噪音参数加入到平面判断的阈值的限制中去，用于判断平面是否真实可降，本发明提供的方法能够大大提高平面判断的准确度，增加无人机着陆过程的安全性，同时可以缩减无人机的飞控人员，降低无人机的运输成本。
2、本发明提供的无人机着陆判断方法，针对现有技术中的暂无一个较为合理的三维点簇判断平面的算法的问题，设计了一套能够对三维点簇数据进行分析的算法，判断三维点簇是否构成一个平面。
3、本发明提供的无人机着陆判断方法，针对现有的基于双目视觉技术得到的深度图存在大量空洞的问题，通过采用结合视差图A与视差图B及左目视觉图像这三张图像，利用后置滤波算法进行空洞填充以及平滑深度图上的噪音。
4、本发明提供的无人机着陆判断方法，针对现有的基于双目视觉技术得到的深度图存在噪声大的问题，通过采用中值滤波算法对空洞填充后的视差图进行平滑，滤除出现的较大的噪声。
5、本发明提供的无人机着陆判断方法，针对现有的在纹理不足时，双目得到的深度效果非常差的问题，设计了降落的标识区域，标识区域的内部采用较强的纹理，且边缘采用波浪形的边缘。
6、本发明提供的无人机着陆判断方法，针对现有的在CPU上计算困难的问题，改写其源代码，将其使用CUDA进行加速，实现在CUDA上的运行。
7、本发明提供的无人机着陆判断装置，采用噪音参数及灵敏度获取单元、动态阈值设定单元和可降平面判断单元等，针对现有的基于有噪声的深度图难以判断平面的问题，建立了深度图噪音参数，并将噪音参数加入到平面判断的阈值的限制中去，用于判断平面是否真实可降，能够大大提高平面判断的准确度，实现由双目视觉引导飞控系统完成无人机的自主着陆，增加无人机着陆过程的安全性，同时可以缩减无人机的飞控人员，降低无人机的运输成本。
8、本发明提供的无人机着陆判断设备、通过存储有计算机程序的计算机可读介质,便于无人机着陆判断技术的推广。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例示例的无人机着陆判断方法示意图；
图2为双目成像原理的架构示意图；
图3为不同深度下一个像素引起的误差示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
如图1所示，本发明提供了一种无人机着陆判断方法，包括以下步骤：
S1、获取双目视觉图像并处理双目视觉图像获得深度图，其中，双目视觉图像包括左目视觉图像和右目视觉图像；
S2、根据深度图中点平面坐标值计算对应的深度值，获得三维坐标值，集合三维坐标值获得待降区域三维点簇坐标集合；
S3、根据三维点簇坐标集合计算噪声参数及双目摄像机的灵敏度；
S4、根据噪音参数及双目摄像机的灵敏度设定动态阈值；
S5、根据待降区域三维点簇坐标集合利用主成分分析算法构建拟合平面；
S6、判断待降区域三维点簇坐标集合与拟合平面的平均距离是否小于动态阈值，
若是，则待降区域为可降平面。
其中，平均距离为待降区域三维点簇坐标集合中的每一点与拟合平面之间距离的平均值。
在本实施例中，点平面坐标值是利用图像检测算法获得深度图中待降区域的点平面坐标值，其中，待降区域为利用图像检测算法检测左目摄像机的标识区域，将标识区域映射到所述深度图中所获得的。
在本实施例中，计算深度值所依据的公式为：
Figure BDA0001760736830000091
Figure BDA0001760736830000092
其中，Z为任一点的深度值，
xl为任一点在所述左目视觉图像中X轴方向上的坐标值，
xr为任一点在所述右目视觉图像中X轴方向上的坐标值，
f为焦距值，
T为基线值。
在本实施例中，计算噪音参数所依据的公式为：
P_noise＝N*P_size
其中，P_noise为噪音参数，
N为系数，可以根据实际需要进行取值，在本实施例中取0.2,
P_size为待降区域中三维点的数量。
计算双目摄像机的灵敏度所依据的公式为：
Figure BDA0001760736830000101
其中，sensetivity为灵敏度，
Z为深度值，
f为焦距值，
T为基线值，
sz为像元尺寸。
设定动态阈值所依据的公式为：
Figure BDA0001760736830000102
其中，threshlod为动态阈值，
Z为深度值，
N为系数，可以根据实际需要进行取值，在本实施例中取0.2,
P_size为待降区域三维点簇中点的数量，
sensetivity为灵敏度。
其中，根据待降区域三维点簇坐标集合构建拟合平面，包括：
求解所述待降区域三维点簇坐标集合的坐标平均值，将所述坐标平均值设为中心点坐标值；
将所述待降区域三维点簇坐标集合中的每一点的坐标值分别减去所述中心点坐标值，获得坐标差值集合；
构建所述坐标差值集合的协方差矩阵；
求解所述协方差矩阵的特征值和特征向量，获得最小特征值及最小特征值对应的特征向量；
根据所述最小特征值对应的特征向量和所述中心点坐标构建拟合平面。
其中，获取双目视觉图像并处理所述双目视觉图像获得深度图，包括：
对所述左目视觉图像和右目视觉图像进行校正，将所述左目视觉图像和右目视觉图像在水平方向上完成对齐；
利用半全局立体匹配算法分别对所述左目视觉图像和所述右目视觉图像进行配准处理，得到从左到右的视差图A和从右到左的视差图B；
输入所述视差图A、所述视差图B及所述左目视觉图像，利用后置滤波算法进行滤波处理，对所述视差图A进行空洞填充；
利用中值滤波算法对空洞填充后的视差图进行噪音处理，得到深度图。
在本实施例中，半全局立体匹配算法采用统一计算设备架(Compute UnifiedDevice Architecture，简称CUDA)版本。后置滤波算法也采用统一计算设备架构(ComputeUnified Device Architecture，简称CUDA)版本。
为了便于对本发明的理解，下面以本发明无人机着陆判断方法的原理，对本实施例提供的无人机着陆判断方法做进一步的描述：
获取参数：
在左目摄像机和右目摄像机投入使用时，首先采用双目立体标定方法获取摄像机的内外参数，包括获取左目摄像机的内参数、右目摄像机的内参数以及左右两个相机之间的外部参数。
调取参数，程序初始化：
调取预配置的左目摄像机的内参数、右目摄像机的内参数以及左右相机之间的外部参数。
获取图像：
通过左目摄像机摄像获取左目视觉图像，通过右目摄像机摄像获取右目视觉图像，从而获得摄像区域的双目视觉图像。
对齐图像：
根据左目摄像机的内参数、右目摄像机的内参数以及左右相机之间的外部参数分别对左目视觉图像和右目视觉图像进行校正，将左目视觉图像和右目视觉图像在水平方向上完成对齐。
获取视差图：
利用半全局立体匹配算法(Stereo Process ing by Semi-global Matching，简称StereoSGBM)分别对左目视觉图像和所述右目视觉图像进行配准处理，得到从左到右的视差图A和从右到左的视差图B。
在本实施例中StereoSGBM算法采用统一计算设备架构(Compute Unified DeviceArchitecture，简称CUDA)版本。采用CUDA版本的StereoSGBM算法，可以减少计算程序消耗的时间。
获取深度图：
将前面获得的视差图A、视差图B和左目视觉图像作为输入，利用后置滤波算法(post-fi l tering)进行滤波处理以实现对原始视差图A进行空洞填充。
在本实施例中后置滤波算法采用统一计算设备架构(Compute Unified DeviceArchitecture，简称CUDA)版本。采用CUDA版本的后置滤波算法，可以减少计算程序消耗的时间。
利用中值滤波算法对于空洞填充后的视差图进行噪音处理，从而得到更加准确的视差图，即为深度图。
中值滤波算法是以某像素的领域图像区域中的像素值的排序为基础，将像素领域内灰度的中值代替该像素的值；中值滤波算法在滤除椒盐噪音上表现非常好，在滤除深度图的噪音方面有较好的效果。
获取待降区域：
结合图像检测算法分别检测左目视觉图像和右目视觉图像中的标识区域。由于深度图是左目视觉图像和右目视觉图像经过一系列处理后得到的，因此深度图中的每一个点与左目视觉图像(或右目视觉图像)中的每一个点都是一一对应的。将左目视觉图像(或右目视觉图像)中的标识区域映射到深度图中，即可得到深度图中的待降区域(region ofintrest，简称ROI)。
计算坐标集：
如图2所示，利用左目摄像机的内参数、右目摄像机的内参数以及左右摄像机之间的距离值(基线值)，计算待降区域中每一点的深度值。
计算深度值的公式为：
Figure BDA0001760736830000131
Figure BDA0001760736830000132
其中，Z为任一点的深度值，
xl为任一点在所述左目视觉图像中X轴方向上的坐标值，l表示左侧，
xr为任一点在所述右目视觉图像中X轴方向上的坐标值，r表示右侧，
f为焦距值，
T为基线值，即左目摄像机与右目摄像机之间的距离值。
将待降区域中某一点的深度值(Z值)与该点的平面坐标值(X,Y)相结合形成该点的三维坐标值(X,Y,Z)，将待降区域中所有点的三维坐标值集合，构成待降区域的三维点簇坐标集合。
构建拟合平面：
利用主成分分析算法(Principal Component Analysis，简称PCA)根据待降区域的三维点簇坐标集合，构建拟合平面，具体方法为：
假定pt(p1,p2,…,pn)为三维点簇坐标集合，其中p1,p2,…,pn分别代表一个点的三维坐标值p1＝p1(X,Y,Z)。
求解三维点簇坐标集合的坐标平均值，将坐标平均值设为中心点坐标值Cp(X,Y,Z)，求解公式为：
Figure BDA0001760736830000133
将三维点簇坐标集合中任一点A的坐标值减去所述中心点坐标值，获得任一点A的坐标差值，具体公式为：
p1'＝p1(X,Y,Z)-Cp(X,Y,Z)；
将三维点簇坐标集合中每一点的坐标差值集合，构成坐标差值集合：
pt′＝pt-Cp。
构建坐标差值集合的协方差矩阵，具体公式为：
P＝(pt′*transpose(pt′))/(n-1)
其中，transpose为转置。
求解协方差矩阵的特征值(t1,t2,t3)和特征向量(v1,v2,v3)，并获得最小特征值及最小特征值对应的特征向量。
特征向量构成了三维点簇的分布中波动最大和最小以及最大最小的垂直方向的三个方向,而对应的特征值，即为三维点簇在该方向上的波动范围亦称波动幅度。
最小特征值代表了三维点簇最小波动幅度，将与最小特征值对应的特征向量设定为待构建的三维平面的平面法线，将中点坐标设定待构建的三维平面上的一点，通过平面法线与平面法线外的一点构建三维平面，即为拟合平面。
计算平均距离：
计算待降区域的三维点簇坐标集中每一点与拟合平面的距离的平均值。
判断可降平面：
根据待降区域中三维点的数量计算噪音参数，具体公式为：
P_noise＝0.2*P_size
其中，P_noise为噪音参数，P表示数量，noise表示噪音；
P_size为待降区域中三维点的数量，P表示数量，size表示待降区域中三维点。
计算双目摄像机的灵敏度。双目视觉技术的特性在于在不同的深度下视差不同。这里的视差即为前面所提到了像素差xl-xr(即同一点在左目视觉图像中X轴方向上的坐标值与在左目视觉图像中X轴方向上的坐标值的差值)。如图3所示，在越靠近摄像机处，一个像素(这里是不是一个点)的视差对应的深度越短，越远离摄像机处，一个像素的视差所对应的深度将会越大。我们在此称其为双目摄像机对深度的灵敏度。
灵敏度的计算公式为：
Figure BDA0001760736830000141
其中，sensetivity为灵敏度，
Z为深度值，
f为焦距值，
T为基线值，
sz为像元尺寸。
根据双目摄像机的灵敏度及噪音参数设定动态阈值，具体公式为：
Figure BDA0001760736830000151
其中，threshlod为动态阈值。
判断S9中所求得的平均距离是否小于动态阈值，若是，则待降区域为可降平面。
本实施例提供的无人机着陆判断方法，针对现有的基于双目视觉技术得到的深度图存在大量空洞的问题，通过采用结合视差图A与视差图B及左目视觉图像这三张图像，利用后置滤波算法进行空洞填充以及平滑深度图上的噪音；针对现有的基于双目视觉技术得到的深度图存在噪声大的问题，通过采用中值滤波算法对空洞填充后的视差图进行平滑，滤除出现的较大的噪声；针对现有的在纹理不足时，双目得到的深度效果非常差的问题，设计了降落的标识区域，标识区域的内部采用较强的纹理，且边缘采用波浪形的边缘；针对现有的在CPU上计算困难的问题，改写其源代码，将其使用CUDA进行加速，实现在CUDA上的运行；针对现有技术中的暂无一个较为合理的三维点簇判断平面的算法的问题，设计了一套能够对三维点簇数据进行分析的算法，判断三维点簇是否构成一个平面；针对现有的基于有噪声的深度图难以判断平面的问题，建立深度图噪音参数，并将噪音参数加入到平面判断的阈值的限制中去。从而实现了由双目视觉引导飞控系统完成无人机的自主着陆，增加了着陆过程的安全性，同时缩减了无人机的飞控人员，降低了无人机运输的成本。
本实施例还提供了一种无人机着陆判断装置，其中包括：
深度图获取单元，配置用于获取双目视觉图像并处理双目视觉图像获得深度图，其中，双目视觉图像包括左目视觉图像和右目视觉图像；
三维点簇坐标集合获得单元，配置用于根据深度图中点平面坐标值计算对应的深度值，获得三维坐标值，集合所述三维坐标值获得待降区域三维点簇坐标集合；
噪声参数及灵敏度计算单元，配置用于根据所述三维点簇坐标集合计算噪声参数及双目摄像机的灵敏度；
动态阈值设定单元，配置用于根据所述噪音参数及所述双目摄像机的灵敏度设定动态阈值；
拟合平面构建单元，配置用于根据待降区域三维点簇坐标集合构建拟合平面；
可降平面判断单元，配置用于判断待降区域三维点簇坐标集合与拟合平面的平均距离是否小于动态阈值，
若是，则所述待降区域为可降平面。
其中，所述平均距离为所述待降区域三维点簇坐标集合中的每一点与所述拟合平面之间距离的平均值。
其中，计算待降区域中每一点对应的深度值所依据的公式为：
Figure BDA0001760736830000161
Figure BDA0001760736830000162
其中，Z为任一点的深度值，
xl为任一点在所述左目视觉图像中X轴方向上的坐标值，
xr为任一点在所述右目视觉图像中X轴方向上的坐标值，
f为焦距值，
T为基线值。
计算噪音参数所依据的公式为：
P_noise＝0.2*P_size
其中，P_noise为噪音参数，
P_size为待降区域中三维点的数量。
计算双目摄像机的灵敏度所依据的公式为：
Figure BDA0001760736830000163
其中，sensetivity为灵敏度，
Z为深度值，
f为焦距值，
T为基线值，
设定动态阈值所依据的公式为：
Figure BDA0001760736830000164
其中，threshlod为动态阈值，
P_size为待降区域三维点簇中点的数量，
sensetivity为灵敏度。
其中，拟合平面构建单元，包括：
中心点坐标值求解子单元，配置用于求解所述待降区域三维点簇坐标集合的坐标平均值，将所述坐标平均值设为中心点坐标值；
坐标差值集合获取子单元，配置用于将所述待降区域三维点簇坐标集合中的每一点的坐标值分别减去所述中心点坐标值，获得坐标差值集合；
协方差矩阵构建子单元，配置用于构建所述坐标差值集合的协方差矩阵；
特征向量获取子单元，配置用于求解所述协方差矩阵的特征值和特征向量，获得最小特征值及最小特征值对应的特征向量；
拟合平面构建子单元，配置用于根据所述最小特征值对应的特征向量和所述中心点坐标构建拟合平面。
其中，深度图获取单元，包括：
视觉图像对齐子单元，配置用于分别对所述左目视觉图像和右目视觉图像进行校正，将所述左目视觉图像和右目视觉图像在水平方向上完成对齐；
视差图获取子单元，配置用于利用半全局立体匹配算法分别对所述左目视觉图像和所述右目视觉图像进行配准处理，得到从左到右的视差图A和从右到左的视差图B；
图像滤波子单元：配置用于输入所述视差图A、所述视差图B及所述左目视觉图像，利用后置滤波算法进行滤波处理，对所述视差图A进行空洞填充；
噪音处理子单元：配置用于利用中值滤波算法对空洞填充后的视差图进行噪音处理，得到深度图。
在本实施例中，半全局立体匹配算法采用统一计算设备架(Compute UnifiedDevice Architecture，简称CUDA)版本。后置滤波算法也采用统一计算设备架构(ComputeUnified Device Architecture，简称CUDA)版本。
本实施例提供的无人机着陆判断装置，采用噪音参数及灵敏度计算单元、动态阈值设定单元和可降平面判断单元，针对现有的基于有噪声的深度图难以判断平面的问题，建立了深度图噪音参数，并将噪音参数加入到平面判断的阈值的限制中去，用于判断平面是否真实可降，能够大大提高平面判断的准确度，实现由双目视觉引导飞控系统完成无人机的自主着陆，增加无人机着陆过程的安全性，同时可以缩减无人机的飞控人员，降低无人机的运输成本。
本实施例还提供了一种无人机着陆判断设备，所述设备包括：
一个或多个处理器；
数据存储器，用于存储左目摄像机的内参数、右目摄像机的内参数、左右相机之间的外部参数以及一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上述任一项所述的方法。
本实施例还提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如上述任一项所述的方法。
本实施例提供的无人机着陆判断设备、通过存储有计算机程序的计算机可读介质,便于无人机着陆判断技术的推广。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (20)

1.一种无人机着陆判断方法，其特征在于，包括：
获取双目视觉图像并处理所述双目视觉图像获得深度图，其中，所述双目视觉图像包括左目视觉图像和右目视觉图像；
根据深度图中点平面坐标值计算对应的深度值，获得三维坐标值，集合所述三维坐标值获得待降区域三维点簇坐标集合；
根据所述三维点簇坐标集合计算噪音参数及双目摄像机的灵敏度；
根据所述噪音参数及所述双目摄像机的灵敏度设定动态阈值；
根据待降区域三维点簇坐标集合构建拟合平面；
判断待降区域三维点簇坐标集合与拟合平面的平均距离是否小于动态阈值，若是，则所述待降区域为可降平面，
其中，所述获取双目视觉图像并处理所述双目视觉图像获得深度图，包括：
对所述左目视觉图像和右目视觉图像进行处理，得到从左到右的视差图A和从右到左的视差图B；
基于所述视差图A、所述视差图B及所述左目视觉图像，对所述视差图A进行空洞填充；
对空洞填充后的视差图进行噪音处理，得到所述深度图。
2.根据权利要求1所述的无人机着陆判断方法，其特征在于，所述点平面坐标值是利用图像检测算法获得深度图中待降区域的点平面坐标值，其中，所述待降区域为利用图像检测算法检测左目摄像机的标识区域，将标识区域映射到所述深度图中所获得的。
3.根据权利要求1所述的无人机着陆判断方法，其特征在于，计算所述深度值所依据的公式为：
Figure FDA0002410423660000011
Figure FDA0002410423660000012
其中，Z为任一点的深度值，xl为任一点在所述左目视觉图像中X轴方向上的坐标值，xr为任一点在所述右目视觉图像中X轴方向上的坐标值，f为焦距值，T为基线值。
4.根据权利要求1所述的无人机着陆判断方法，其特征在于，计算所述噪音参数所依据的公式为：
P_noise＝N*P_size
其中，P_noise为噪音参数，N为系数，P_size为待降区域三维点簇中点的数量。
5.根据权利要求4所述的无人机着陆判断方法，其特征在于，计算所述双目摄像机的灵敏度所依据的公式为：
Figure FDA0002410423660000021
其中，sensetivity为灵敏度，Z为深度值，f为焦距值，T为基线值，sz为像元尺寸。
6.根据权利要求5所述的无人机着陆判断方法，其特征在于，设定动态阈值所依据的公式为：
Figure FDA0002410423660000022
其中，threshlod为动态阈值，Z为深度值，N为系数，P_size为待降区域三维点簇中点的数量，sensetivity为灵敏度。
7.根据权利要求1所述的无人机着陆判断方法，其特征在于，所述根据待降区域三维点簇坐标集合构建拟合平面，包括：
求解所述待降区域三维点簇坐标集合的坐标平均值，将所述坐标平均值设为中心点坐标值；
将所述待降区域三维点簇坐标集合中的每一点的坐标值分别减去所述中心点坐标值，获得坐标差值集合；
构建所述坐标差值集合的协方差矩阵；
求解所述协方差矩阵的特征值和特征向量，获得最小特征值及最小特征值对应的特征向量；
根据所述最小特征值对应的特征向量和所述中心点坐标构建拟合平面。
8.根据权利要求1所述的无人机着陆判断方法，其特征在于，对所述左目视觉图像和右目视觉图像进行处理，得到从左到右的视差图A和从右到左的视差图B包括：
对所述左目视觉图像和右目视觉图像进行校正，将所述左目视觉图像和右目视觉图像在水平方向上完成对齐；
利用半全局立体匹配算法分别对所述左目视觉图像和所述右目视觉图像进行配准处理，得到从左到右的视差图A和从右到左的视差图B；
则所述基于所述视差图A、所述视差图B及所述左目视觉图像，对所述视差图A进行空洞填充包括：
输入所述视差图A、所述视差图B及所述左目视觉图像，利用后置滤波算法进行滤波处理，对所述视差图A进行空洞填充；
对空洞填充后的视差图进行噪音处理，得到所述深度图包括：
利用中值滤波算法对空洞填充后的视差图进行噪音处理，得到深度图。
9.根据权利要求8所述的无人机着陆判断方法，其特征在于，所述半全局立体匹配算法采用统一计算设备架(Compute Unified Device Architecture，简称CUDA)版本。
10.根据权利要求8所述的无人机着陆判断方法，其特征在于，所述后置滤波算法采用统一计算设备架构(Compute Unified Device Architecture，简称CUDA)版本。
11.一种无人机着陆判断装置，其特征在于，包括：
深度图获取单元，配置用于获取双目视觉图像并处理所述双目视觉图像获得深度图，其中，所述双目视觉图像包括左目视觉图像和右目视觉图像；
三维点簇坐标集合获取单元，配置用于根据深度图中点平面坐标值计算对应的深度值，获得三维坐标值，集合所述三维坐标值获得待降区域三维点簇坐标集合；
噪声参数及灵敏度计算单元，配置用于根据所述三维点簇坐标集合计算噪音参数及双目摄像机的灵敏度；
动态阈值设定单元，配置用于根据所述噪音参数及所述双目摄像机的灵敏度设定动态阈值；
拟合平面构建单元，配置用于根据待降区域三维点簇坐标集合构建拟合平面；
可降平面判断单元，配置用于判断待降区域三维点簇坐标集合与拟合平面的平均距离是否小于动态阈值，若是，则所述待降区域为可降平面，
其中，所述深度图获取单元用于：
对所述左目视觉图像和右目视觉图像进行处理，得到从左到右的视差图A和从右到左的视差图B；
基于所述视差图A、所述视差图B及所述左目视觉图像，对所述视差图A进行空洞填充；
对空洞填充后的视差图进行噪音处理，得到所述深度图。
12.根据权利要求11所述的无人机着陆判断装置，其特征在于，所述点平面坐标值是利用图像检测算法获得深度图中待降区域的点平面坐标值，其中，所述待降区域为利用图像检测算法检测左目摄像机的标识区域，将标识区域映射到所述深度图中所获得的。
13.根据权利要求11所述的无人机着陆判断装置，其特征在于，计算所述深度值所依据的公式为：
Figure FDA0002410423660000041
Figure FDA0002410423660000042
其中，Z为任一点的深度值，xl为任一点在所述左目视觉图像中X轴方向上的坐标值，xr为任一点在所述右目视觉图像中X轴方向上的坐标值，f为焦距值，T为基线值。
14.根据权利要求13所述的无人机着陆判断装置，其特征在于，计算所述噪音参数所依据的公式为：
P_noise＝N*P_size
其中，P_noise为噪音参数，N为系数，P_size为待降区域中三维点的数量。
15.根据权利要求14所述的无人机着陆判断装置，其特征在于，计算所述双目摄像机的灵敏度所依据的公式为：
Figure FDA0002410423660000051
其中，sensetivity为灵敏度，Z为深度值，f为焦距值，T为基线值，sz为像元尺寸。
16.根据权利要求15所述的无人机着陆判断装置，其特征在于，设定动态阈值所依据的公式为：
Figure FDA0002410423660000052
其中，threshlod为动态阈值，Z为深度值，N为系数，P_size为待降区域三维点簇中点的数量，sensetivity为灵敏度。
17.根据权利要求11所述的无人机着陆判断装置，其特征在于，所述拟合平面构建单元，包括：中心点坐标值求解子单元，配置用于求解所述待降区域三维点簇坐标集合的坐标平均值，将所述坐标平均值设为中心点坐标值；
坐标差值集合获取子单元，配置用于将所述待降区域三维点簇坐标集合中的每一点的坐标值分别减去所述中心点坐标值，获得坐标差值集合；
协方差矩阵构建子单元，配置用于构建所述坐标差值集合的协方差矩阵；
特征向量获取子单元，配置用于求解所述协方差矩阵的特征值和特征向量，获得最小特征值及最小特征值对应的特征向量；
拟合平面构建子单元，配置用于根据所述最小特征值对应的特征向量和所述中心点坐标构建拟合平面。
18.根据权利要求11所述的无人机着陆判断装置，其特征在于，所述深度图获取单元，包括：视觉图像对齐子单元，配置用于分别对所述左目视觉图像和右目视觉图像进行校正，将所述左目视觉图像和右目视觉图像在水平方向上完成对齐；
视差图获取子单元，配置用于利用半全局立体匹配算法分别对所述左目视觉图像和所述右目视觉图像进行配准处理，得到从左到右的视差图A和从右到左的视差图B；
图像滤波子单元：配置用于输入所述视差图A、所述视差图B及所述左目视觉图像，利用后置滤波算法进行滤波处理，对所述视差图A进行空洞填充；
噪音处理子单元：配置用于利用中值滤波算法对空洞填充后的视差图进行噪音处理，得到深度图。
19.一种无人机着陆判断设备，其特征在于，所述设备包括：一个或多个处理器；
数据存储器，用于存储左目摄像机的内参数、右目摄像机的内参数、左右相机之间的外部参数以及一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-10中任一项所述的方法。
20.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一项所述的方法。
CN201810906438.4A 2018-08-10 2018-08-10 一种无人机着陆判断方法、装置、设备及存储介质 Active CN109292099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810906438.4A CN109292099B (zh) 2018-08-10 2018-08-10 一种无人机着陆判断方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810906438.4A CN109292099B (zh) 2018-08-10 2018-08-10 一种无人机着陆判断方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109292099A CN109292099A (zh) 2019-02-01
CN109292099B true CN109292099B (zh) 2020-09-25

Family

ID=65170441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810906438.4A Active CN109292099B (zh) 2018-08-10 2018-08-10 一种无人机着陆判断方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109292099B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111746810B (zh) * 2019-03-27 2022-02-22 丰翼科技(深圳)有限公司 全天候无人机降落方法及降落系统、设备和存储介质
CN110001980B (zh) * 2019-04-19 2021-11-26 深圳市道通智能航空技术股份有限公司 一种飞行器降落方法及装置
CN110231829B (zh) * 2019-06-20 2022-01-07 上海大学 基于数据增融的强化学习小型无人旋翼机自主着陆方法
CN112119428A (zh) * 2019-09-23 2020-12-22 深圳市大疆创新科技有限公司 获取降落位置的方法、设备、无人机、系统及存储介质
CN113220014B (zh) * 2021-04-08 2022-08-23 复旦大学 一种基于四叉树递归的无人机最佳着陆点搜索方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3463721B2 (ja) * 1996-04-15 2003-11-05 三菱電機株式会社 自動着陸装置の着陸点平面度検出方法
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
CN205049143U (zh) * 2015-10-22 2016-02-24 一飞智控(天津)科技有限公司 一种基于双目视觉的无人机自主障碍物检测系统
CN106767682A (zh) * 2016-12-01 2017-05-31 腾讯科技（深圳）有限公司 一种获取飞行高度信息的方法及飞行器
CN107458619B (zh) * 2017-06-27 2021-04-16 西安电子科技大学 一种全自动化微小型四旋翼自主降落与充电的方法及系统
CN107677274B (zh) * 2017-09-12 2019-02-19 西北工业大学 基于双目视觉的无人机自主着陆导航信息实时解算方法

Also Published As

Publication number Publication date
CN109292099A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN109292099B (zh) 一种无人机着陆判断方法、装置、设备及存储介质
US10789719B2 (en) Method and apparatus for detection of false alarm obstacle
CN104700414B (zh) 一种基于车载双目相机的前方道路行人快速测距方法
US10929998B2 (en) Method and apparatus for estimating disparity
Chen et al. Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework
US9361696B2 (en) Method of determining a ground plane on the basis of a depth image
US20150243035A1 (en) Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
CN105096307A (zh) 在成对的立体图像中检测物体的方法
EP2757529B1 (en) Systems and methods for 3D data based navigation using descriptor vectors
CN106183995B (zh) 一种基于立体视觉的可视倒车方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN104200453B (zh) 基于图像分割和可信度的视差图像校正方法
EP4083917A1 (en) Depth image processing method, small obstacle detection method and system, robot, and medium
CN106503605A (zh) 基于立体视觉技术的人体目标识别方法
CN108474658A (zh) 地面形态检测方法及系统、无人机降落方法和无人机
CN111047634B (zh) 场景深度的确定方法、装置、设备及存储介质
CN108010075B (zh) 一种基于多特征联合的局部立体匹配方法
CN110243390B (zh) 位姿的确定方法、装置及里程计
CN103473743A (zh) 一种获取图像深度信息的方法
CN109410234A (zh) 一种基于双目视觉避障的控制方法及控制系统
CN111126116A (zh) 无人船河道垃圾识别方法及系统
Shivakumar et al. Real time dense depth estimation by fusing stereo with sparse depth measurements
JP5501084B2 (ja) 平面領域検出装置及びステレオカメラシステム
Fei et al. Ossim: An object-based multiview stereo algorithm using ssim index matching cost

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant