CN106960454A - 景深避障方法、设备及无人飞行器 - Google Patents

景深避障方法、设备及无人飞行器 Download PDF

Info

Publication number
CN106960454A
CN106960454A CN201710121590.7A CN201710121590A CN106960454A CN 106960454 A CN106960454 A CN 106960454A CN 201710121590 A CN201710121590 A CN 201710121590A CN 106960454 A CN106960454 A CN 106960454A
Authority
CN
China
Prior art keywords
subgraph
depth
image
pixel
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710121590.7A
Other languages
English (en)
Other versions
CN106960454B (zh
Inventor
王峰
李宾
张庆峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Simtoo Intelligent Technology Co ltd
Original Assignee
Wuhan Star Tour Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Star Tour Intelligent Technology Co Ltd filed Critical Wuhan Star Tour Intelligent Technology Co Ltd
Priority to CN201710121590.7A priority Critical patent/CN106960454B/zh
Publication of CN106960454A publication Critical patent/CN106960454A/zh
Application granted granted Critical
Publication of CN106960454B publication Critical patent/CN106960454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种景深避障方法、设备及无人飞行器。该景深避障方法包括：S1 控制摄像装置拍摄指定场景获取第一图像和第二图像，第一图像包括多个第一子图像，第二图像包括多个第二子图像；S2 计算第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；S3 检测第一子图像相对于对应的第二子图像的遮挡点；S4 对第一子图像的遮挡点进行恢复；S5 获取初始场景深度图；S6 利用高斯分布对初始场景深度图进行深度优化，以获取场景深度图；S7 滤除场景深度图的噪声；S8 依据滤除噪声后的场景深度图，控制无人飞行器避开障碍物。本发明的景深避障方法、设备及无人飞行器，具有在飞行中判断障碍物时芯片运算量小且障碍物判断准确的优点。

Description

景深避障方法、设备及无人飞行器
技术领域
本发明涉及无人飞行器技术领域，特别是涉及一种景深避障方法、设备及无人飞行器。
背景技术
无人机是一种有动力、可控制、能携带多种任务设备、执行多种任务并能重复使用的飞行器。能够利用无线遥控设备和自身的控制装置进行控制的不载人飞行器，例如无人直升机、无人固定翼机、无人伞翼机等等。该无人机可以用于挂载拍摄装置，用于航拍、测绘、侦查等等。
目前，随着无人机应用越来越普及，常常发生人为操作失误而导致无人机与飞行场所内的障碍物发生碰撞的事故，为此人们越来越关注无人机的避障技术。现有技术中的无人机避障技术大多采用红外传感测距避障、超声波测距避障和视觉避障等技术，其中，红外传感测距避障技术在遇到玻璃或镜面反射时效果很差，超声波测距避障则只是用于距离较近的情况，而且超声波受到环境干扰的可能性很大。在视觉避障方面，对比文件1（CN105787447A）公开一种无人机基于双目视觉的全方位避障的方法及系统。无人机四周均布设有双目摄像装置，并且所述双目摄像装置实时拍摄，其使用至少8个相机，一方面耗电量高，另一方面对处理器芯片的运算能力要求和硬件设施的散热性能要求都相当高。而且，现有技术中采用双目摄像装置时并未考虑遮挡物出现等情况，对障碍物判断未必准确。
发明内容
本发明正是基于以上一个或多个问题，提供一种景深避障方法、设备及无人飞行器，用以解决现有技术中存在的无人飞行器在飞行中判断障碍物时芯片运算量大以及障碍物判断不准确的问题。
本发明提供一种景深避障方法，所述景深避障方法主要包括以下步骤：
S1 控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
S2 计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
S3 检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
S4 对所述第一子图像的所述遮挡点进行恢复；
S5 获取初始场景深度图；
S6 利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
S7 滤除所述场景深度图的噪声；
S8 依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
优选地，所述景深避障方法在所述步骤S1之前还包括以下步骤：
S01 对所述摄像装置进行标定，获取所述摄像装置的性能参数；
S02 所述摄像装置包括双目摄像头时，对所述摄像装置进行校正，所述校正包括畸变校正和标准化。
优选地，所述步骤S2具体包括：
S21 选取所述第一子图像的一中心像素点为待匹配点；
S22基于图像灰度信息获取与所述第一子图像相对应的第二子图像，以所述第一子图像的中心像素点和所述第二子像素的中心像素点作为匹配点对；
S23 重复上述步骤S21和步骤S22，直至所述第一图像的所有第一子图像与所述第二图像搜索完成后形成沿着一极线分布的曲线图；
S24以所述曲线图中的最大值对应的点为中心点，从所述最大值两侧选取两个参考点，以这三个点为基准点构造二次曲线，并求取二次曲线的极大值点作为最终的匹配点。
优选地，所述步骤S3具体包括：
S31 获取所述第一子图像中各像素点的视差值；
S32 获取所述第二子图像中各像素点的视差值；
S33 判断所述第一子图像中各像素点的视差值与所述第二子图像中相对应的像素点的视差值差值是否大于预设阈值；
S34 若所述第一子图像中的第一像素点的视差值与所述第二子图像中对应像素点的视差值的差值大于所述预设阈值，则判定所述第一像素点为所述遮挡点。
优选地，所述步骤S5具体包括：
S51 对于所述初始场景中任意一点的场景深度，利用Z=Bf/X获得，其中，B为双目相机光心之间的物理间距，f为光心到像面的最短距离，所述初始场景中前述点在双目摄像机两摄像头的成像点的视差值为X；
S52 待计算所述初始场景中的所有点的场景深度后，获取所述初始场景深度图。
优选地，所述步骤S7具体包括：采用（2N+1）×（2N+1）的中值滤波器对所述场景深度图进行滤波，去除噪声，其中N为正整数。
本发明还提供一种景深避障设备，所述景深避障设备包括：
拍摄模块，用于控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
计算模块，用于计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
遮挡点检测模块，用于检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
遮挡点恢复模块，用于对所述第一子图像的所述遮挡点进行恢复为非遮挡点；
初始场景深度图获取模块，用于获取初始场景深度图；
优化模块，用于利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
噪声滤除模块，用于滤除所述场景深度图的噪声；
避障控制模块，用于依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
优选地，所述遮挡点检测模块具体包括:
第一视差值获取单元，用于获取所述第一子图像中各像素点的视差值；
第二视差值获取单元，用于获取所述第二子图像中各像素点的视差值；
差值判断单元，用于判断所述第一子图像中各像素点的视差值与所述第二子图像中相对应的像素点的视差值差值是否大于预设阈值；
遮挡点确定单元，用于在所述第一子图像中的第一像素点的视差值与所述第二子图像中对应像素点的视差值的差值大于所述预设阈值时，则判定所述第一像素点为所述遮挡点。
本发明还提供一种景深避障设备。所述景深避障设备包括处理器和存储器以及摄像装置，所述处理器控制所述景深避障设备，所述存储器存储一段可被所述处理器执行的程序指令，所述摄像装置拍摄指定场景生成图像，其中，所述处理器调用所述存储器存储的程序指令以执行以下步骤：
S1 控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
S2 计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
S3 检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
S4 对所述第一子图像的所述遮挡点进行恢复；
S5 获取初始场景深度图；
S6 利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
S7 滤除所述场景深度图的噪声；
S8 依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
本发明还提供一种无人飞行器，所述无人飞行器包括景深避障设备，所述景深避障设备至少包括：拍摄模块，用于控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
计算模块，用于计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
遮挡点检测模块，用于检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
遮挡点恢复模块，用于对所述第一子图像的所述遮挡点进行恢复为非遮挡点；
初始场景深度图获取模块，用于获取初始场景深度图；
优化模块，用于利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
噪声滤除模块，用于滤除所述场景深度图的噪声；
避障控制模块，用于依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
本发明提供的景深避障方法、设备及无人飞行器，在对无人飞行器飞行中的障碍物进行深度测量时，通过滤除遮挡点和滤除噪声等处理，仅需使用一个摄像装置就能准确获得障碍物的距离，不仅芯片运算量小，而且能准确获得障碍物分布信息。
附图说明
图1是本发明实施例一的景深避障方法的流程示意图；
图2是图1中步骤S3的详细流程示意图；
图3是本发明摄像装置采用双目摄像头时，计算场景深度的几何模型示意图；
图4是本发明实施例二的无人飞行器的景深避障设备的结构示意图；
图5是图4中遮挡点检测模块的具体结构示意图；
图6是本发明实施例三的无人飞行器的景深避障设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例一
如图1所示，本发明提供一种景深避障方法，所述景深避障方法主要包括以下步骤：
S1 控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
S2 计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
S3 检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
S4 对所述第一子图像的所述遮挡点进行恢复；
S5 获取初始场景深度图；优选地，所述步骤S5具体包括：
S51 对于所述初始场景中任意一点的场景深度，利用Z=Bf/X获得，其中，B为双目相机光心之间的物理间距，f为光心到像面的最短距离，所述初始场景中前述点在双目摄像机两摄像头的成像点的视差值为X；
S52 待计算所述初始场景中的所有点的场景深度后，获取所述初始场景深度图。
在一具体实施例中，如图3所示，对于上述步骤S5，摄像装置为双目摄像机，该双目摄像机的主光轴相互平行，利用三角关系求取场景深度图中某点对应的场景深度，也就是场景中的某物体与摄像头之间的间距。该双目摄像机模型中，世界坐标系中的任意一点都满足该点与它在左右相机的成像点在同一个极平面上。OL和OR是双目摄像机的的光心，OL和OR之间的物理间距为B。光心到像面的最短距离就是焦距长度f。若P是世界坐标系中的一点，它在左、右像面上的成像点是P2和P1。P1和P2距各自像面的左边缘的距离是XR和XL。而（XR-XL）为匹配点对P1和P2的视差值。
由相似三角形关系可得到P对应的景深深度Z=Bf/(XR-XL)。
S6 利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；这里，具体来说，是对经过步骤S5计算得到的初始场景深度图进行优化，这里优选采用基于高斯分布的深度优化算法，具体算法如下：
S61、假设所有像素点的深度是符合某个初始的高斯分布；
S62、当新数据产生时，即对于某一点新测出的深度值，虽然两帧图像就可以解算出深度，本发明利用多对图像求解深度，获得该点的更多深度值数据，再通过极线搜索和NCC块匹配确定投影点位置；
S63、根据几何关系计算三角化后的深度并分析单个像素的不确定性及其所引发深度信息的不确定性；
S64、将当前观测融合进上一次对不确定性的估计中。若单个像素的不确定性所引发深度信息的不确定性小于一定阈值即可以停止计算，否则返回步骤S62。
S7 滤除所述场景深度图的噪声；
S8 依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
本发明提供的景深避障方法，在对无人飞行器飞行中的障碍物进行深度测量时，通过滤除遮挡点和滤除噪声等处理，仅需使用一个摄像装置就能准确获得障碍物的距离，不仅芯片运算量小，而且能准确获得障碍物分布信息。
优选地，所述景深避障方法在所述步骤S1之前还包括以下步骤：
S01 对所述摄像装置进行标定，获取所述摄像装置的性能参数；
S02 所述摄像装置包括双目摄像头时，对所述摄像装置进行校正，所述校正包括畸变校正和标准化。
具体来说，首先采用张氏棋盘标定法分别对摄像装置为双目摄像机时对每一目摄像机进行标定以获取双目摄像机的内参和畸变参数。其中，张氏棋盘标定法的基本过程为：1.打印一张棋盘格，把它贴在一个平面上，作为标定物；2.通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片；3.从照片中提取角点特征点；4.估算理想无畸变的情况下，五个内参和所有外参。5.应用最小二乘法估算实际存在径向畸变下的畸变系数。6.使用极大似然法进行优化估计，提升估计精度。
然后，利用双目摄像机的内参和畸变参数，再根据两个相机的外参，得到两个相机之间的旋转和平移关系。之后进入双目摄像机的校正，双目摄像机校正的目的是为了使得到的不同视角下两帧图像之间只存在X方向的差异（即视差值）。
双目摄像机校正分为畸变校正和摄像机标准化两个步骤。首先根据摄像机标定得到的畸变参数和内参矩阵对原始图像进行畸变校正，即对图像做与畸变相反的变换，从而消除畸变，使得两帧图像的成像原点坐标一致、两摄像头光轴平行、两帧图像平面共面；然后将摄像机转换为标准形式，使得同一个物体在两幅图像中的大小一样，且水平在一条直线上。
优选地，所述步骤S2具体包括：
S21 选取所述第一子图像的一中心像素点为待匹配点；
S22基于图像灰度信息获取与所述第一子图像相对应的第二子图像，以所述第一子图像的中心像素点和所述第二子像素的中心像素点作为匹配点对；
S23 重复上述步骤S21和步骤S22，直至所述第一图像的所有第一子图像与所述第二图像搜索完成后形成沿着一极线分布的曲线图；
S24以所述曲线图中的最大值对应的点为中心点，从所述最大值两侧选取两个参考点，以这三个点为基准点构造二次曲线，并求取二次曲线的极大值点作为最终的匹配点。
具体来说，本发明采用去均值的NCC块匹配算法，是一种基于图像灰度信息的匹配方法，根据下面的公司计算两个小块的相似度，从而获取匹配点。
其中， f1(x,y)是在第一图像的第一子图像（窗口）中，以第一子图像左上角为原点，坐标(x,y)处的灰度值，f2(x,y)是第二图像的第二子图像中，以第二子图像（窗口）左上角为原点，坐标(x,y)点的灰度值。 表示的是第一图像中窗口的均值， 表示的是第二图像中窗口的均值。互相关系数C接近0表示两个窗口不相似，而接近1 表示两个窗口相似，此时窗口中两个中心点是匹配点对。
本发明采用的搜索方法是以图像一中的某个像素点为待匹配点，在对应的极线上不停的搜索窗口并计算NCC，进而得到一个沿着极线分布的NCC曲线图，但是这种NCC曲线并非连续曲线，因此所获取的匹配点所对应的NCC值并不一定是最大值。
本发明采取子像素插值方法求解精确的匹配点来解决这一问题，且该匹配点一般为子像素精度。该子像素插值方法的基本思路为：以NCC曲线最大值对应的点为中心点，分别从其左、右两个方向选取两个坐标点，以这三个点为基准点构造二次曲线，并求取二次曲线的极大值点作为最终的匹配点。
如图2所示，在一个具体实施例中，所述步骤S3具体包括：
S31 获取所述第一子图像中各像素点的视差值；
S32 获取所述第二子图像中各像素点的视差值；
S33 判断所述第一子图像中各像素点的视差值与所述第二子图像中相对应的像素点的视差值差值是否大于预设阈值；
S34 若所述第一子图像中的第一像素点的视差值与所述第二子图像中对应像素点的视差值的差值大于所述预设阈值，则判定所述第一像素点为所述遮挡点。
具体连说，由于双目摄像机视场不同的原因，必然会导致一些场景会出现在一幅图像中，而在另外一幅图像中看不到。LRC算法主要用于处理双目视觉中出现的遮挡检测（Occlusion Detection）问题，得到对应的遮挡图像。LRC算法检测模块的基本思路为：根据得到的左右两幅视差图，对于左图中的点p1，其求取视差值为d1,那么其在右图中对应的像素点为（p1-d1）(经过极线校正后两者纵轴像素坐标相同）,而此时右图中点（p1-d1）所对应的视差值为d2。若d1与d2的差的绝对值大于一个特定数值，则点p1标记为遮挡点。该特定数值是根据实际图像调整的，且与图像大小和相机视差角都有关系，但实际中一般这个值为自定义，小于两个像素即可。对于一个遮挡点p，分别水平往左和往右找到第一个非遮挡点，记作pl、pr。点p的视差值赋成pl和pr的视差值中较小的那一个，即d(p)= min (d(pl),d(pr))，这样就可以对遮挡点进行修正。
进一步地，所述步骤S7具体包括：采用（2N+1）×（2N+1）的中值滤波器对所述场景深度图进行滤波，去除噪声，其中N为正整数。在一个具体实施例中，本发明采用7×7 的中值滤波器对场景深度图进行滤波，去除因为噪声或者弱纹理匹配失败的杂点，这些统称为噪声。该滤波器的基本思想为以某一个点为中心，选取7×7的区域上的49个点，求解这49个点的中值并赋值给这个中心点的值。当然还可以是5×5或者9×9的中值滤波器，这里不作限定。
实施例二
如图4和图5所示，本发明还提供一种景深避障设备，所述景深避障设备包括：
拍摄模块10，用于控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
计算模块20，用于计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
遮挡点检测模块30，用于检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
遮挡点恢复模块40，用于对所述第一子图像的所述遮挡点进行恢复为非遮挡点；
初始场景深度图获取模块50，用于获取初始场景深度图；
优化模块60，用于利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
噪声滤除模块70，用于滤除所述场景深度图的噪声；
避障控制模块80，用于依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
本发明提供的景深避障设备，在对无人飞行器飞行中的障碍物进行深度测量时，通过滤除遮挡点和滤除噪声等处理，仅需使用一个摄像装置就能准确获得障碍物的距离，不仅芯片运算量小，而且能准确获得障碍物分布信息。
此外，本发明还提供一种具有上述景深避障设备的无人飞行器，该无人飞行器具有芯片运算量小以及能准确避障的优点。
优选地，所述遮挡点检测模块30具体包括:
第一视差值获取单元31，用于获取所述第一子图像中各像素点的视差值；
第二视差值获取单元32，用于获取所述第二子图像中各像素点的视差值；
差值判断单元33，用于判断所述第一子图像中各像素点的视差值与所述第二子图像中相对应的像素点的视差值差值是否大于预设阈值；
遮挡点确定单元34，用于在所述第一子图像中的第一像素点的视差值与所述第二子图像中对应像素点的视差值的差值大于所述预设阈值时，则判定所述第一像素点为所述遮挡点。
实施例三
如图6所示，本发明还提供一种景深避障设备，所述景深避障设备包括处理器100和摄像装置200以及存储器300。所述处理器100控制所述景深避障设备，所述存储器300存储一段可被所述处理器执行的程序指令，所述摄像装置200拍摄指定场景生成图像，其中，所述处理器100调用所述存储器300存储的程序指令以执行以下步骤：
S1 控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
S2 计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
S3 检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
S4 对所述第一子图像的所述遮挡点进行恢复；
S5 获取初始场景深度图；
S6 利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
S7 滤除所述场景深度图的噪声；
S8 依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
本发明提供的景深避障设备，在对无人飞行器飞行中的障碍物进行深度测量时，通过滤除遮挡点和滤除噪声等处理，仅需使用一个摄像装置就能准确获得障碍物的距离，不仅芯片运算量小，而且能准确获得障碍物分布信息。
此外，本发明还提供一种具有上述景深避障设备的无人飞行器，该无人飞行器具有芯片运算量小以及能准确避障的优点。
还有，本发明的景深避障方法、设备以及无人飞行器在采用双目摄像机时，获取到准确的场景深度图的前提下，还可以构建出障碍物的三维图像，便于更清楚地分辨出障碍物的形状，有助于更好地规避障碍物。
以上对本发明所提供的一种景深避障方法、设备及无人飞行器，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。不应理解为对本发明的限制。

Claims (10)

1.一种景深避障方法，其特征在于，所述景深避障方法主要包括以下步骤：
S1 控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
S2 计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
S3 检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
S4 对所述第一子图像的所述遮挡点进行恢复；
S5 获取初始场景深度图；
S6 利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
S7 滤除所述场景深度图的噪声；
S8 依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
2.如权利要求1所述的景深避障方法，其特征在于，所述景深避障方法在所述步骤S1之前还包括以下步骤：
S01 对所述摄像装置进行标定，获取所述摄像装置的性能参数；
S02 所述摄像装置包括双目摄像头时，对所述摄像装置进行校正，所述校正包括畸变校正和标准化。
3.如权利要求1所述的景深避障方法，其特征在于，所述步骤S2具体包括：
S21 选取所述第一子图像的一中心像素点为待匹配点；
S22基于图像灰度信息获取与所述第一子图像相对应的第二子图像，以所述第一子图像的中心像素点和所述第二子像素的中心像素点作为匹配点对；
S23 重复上述步骤S21和步骤S22，直至所述第一图像的所有第一子图像与所述第二图像搜索完成后形成沿着一极线分布的曲线图；
S24以所述曲线图中的最大值对应的点为中心点，从所述最大值两侧选取两个参考点，以这三个点为基准点构造二次曲线，并求取二次曲线的极大值点作为最终的匹配点。
4.如权利要求1所述的景深避障方法，其特征在于，所述步骤S3具体包括：
S31 获取所述第一子图像中各像素点的视差值；
S32 获取所述第二子图像中各像素点的视差值；
S33 判断所述第一子图像中各像素点的视差值与所述第二子图像中相对应的像素点的视差值差值是否大于预设阈值；
S34 若所述第一子图像中的第一像素点的视差值与所述第二子图像中对应像素点的视差值的差值大于所述预设阈值，则判定所述第一像素点为所述遮挡点。
5.如权利要求4所述的景深避障方法，其特征在于，所述步骤S5具体包括：
S51 对于所述初始场景中任意一点的场景深度，利用Z=Bf/X获得，其中，B为双目相机光心之间的物理间距，f为光心到像面的最短距离，所述初始场景中前述点在双目摄像机两摄像头的成像点的视差值为X；
S52 待计算所述初始场景中的所有点的场景深度后，获取所述初始场景深度图。
6.如权利要求1所述的景深避障方法，其特征在于，所述步骤S7具体包括：采用（2N+1）×（2N+1）的中值滤波器对所述场景深度图进行滤波，去除噪声，其中N为正整数。
7.一种景深避障设备，其特征在于，所述景深避障设备包括：
拍摄模块，用于控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
计算模块，用于计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
遮挡点检测模块，用于检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
遮挡点恢复模块，用于对所述第一子图像的所述遮挡点进行恢复为非遮挡点；
初始场景深度图获取模块，用于获取初始场景深度图；
优化模块，用于利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
噪声滤除模块，用于滤除所述场景深度图的噪声；
避障控制模块，用于依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
8.如权利要求7所述的景深避障设备，其特征在于，所述遮挡点检测模块具体包括:
第一视差值获取单元，用于获取所述第一子图像中各像素点的视差值；
第二视差值获取单元，用于获取所述第二子图像中各像素点的视差值；
差值判断单元，用于判断所述第一子图像中各像素点的视差值与所述第二子图像中相对应的像素点的视差值差值是否大于预设阈值；
遮挡点确定单元，用于在所述第一子图像中的第一像素点的视差值与所述第二子图像中对应像素点的视差值的差值大于所述预设阈值时，则判定所述第一像素点为所述遮挡点。
9.一种景深避障设备，其特征在于，所述景深避障设备包括处理器和存储器以及摄像装置，所述处理器控制所述景深避障设备，所述存储器存储一段可被所述处理器执行的程序指令，所述摄像装置拍摄指定场景生成图像，其中，所述处理器调用所述存储器存储的程序指令以执行以下步骤：
S1 控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
S2 计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
S3 检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
S4 对所述第一子图像的所述遮挡点进行恢复；
S5 获取初始场景深度图；
S6 利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
S7 滤除所述场景深度图的噪声；
S8 依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
10.一种无人飞行器，其特征在于，所述无人飞行器包括权利要求7至9任一项所述的景深避障设备。
CN201710121590.7A 2017-03-02 2017-03-02 景深避障方法、设备及无人飞行器 Active CN106960454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710121590.7A CN106960454B (zh) 2017-03-02 2017-03-02 景深避障方法、设备及无人飞行器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710121590.7A CN106960454B (zh) 2017-03-02 2017-03-02 景深避障方法、设备及无人飞行器

Publications (2)

Publication Number Publication Date
CN106960454A true CN106960454A (zh) 2017-07-18
CN106960454B CN106960454B (zh) 2021-02-12

Family

ID=59469952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710121590.7A Active CN106960454B (zh) 2017-03-02 2017-03-02 景深避障方法、设备及无人飞行器

Country Status (1)

Country Link
CN (1) CN106960454B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808407A (zh) * 2017-10-16 2018-03-16 亿航智能设备（广州）有限公司 基于双目相机的无人机视觉slam方法、无人机及存储介质
CN107891813A (zh) * 2017-10-31 2018-04-10 北京新能源汽车股份有限公司 一种车辆的控制方法、装置及汽车
CN109426277A (zh) * 2017-08-30 2019-03-05 广州极飞科技有限公司 移动轨迹规划的方法及装置
WO2019084868A1 (zh) * 2017-11-02 2019-05-09 深圳市道通智能航空技术有限公司 一种避障方法、装置、可移动物体及计算机可读存储介质
WO2019126930A1 (zh) * 2017-12-25 2019-07-04 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
CN110187720A (zh) * 2019-06-03 2019-08-30 深圳铂石空间科技有限公司 无人机导引方法、装置、系统、介质及电子设备
CN110264510A (zh) * 2019-05-28 2019-09-20 北京邮电大学 一种基于双目采集图像提取景深信息的方法
CN110326028A (zh) * 2018-02-08 2019-10-11 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机系统和可移动设备
CN111724431A (zh) * 2019-03-22 2020-09-29 北京地平线机器人技术研发有限公司 视差图的获得方法、装置和电子设备
CN112748742A (zh) * 2020-06-10 2021-05-04 宋师光 自动化山体目标躲避平台及方法
CN113362445A (zh) * 2021-05-25 2021-09-07 上海奥视达智能科技有限公司 基于点云数据重建对象的方法及装置
WO2021217444A1 (zh) * 2020-04-28 2021-11-04 深圳市大疆创新科技有限公司 深度图生成方法、电子设备、计算处理设备及存储介质
WO2023115390A1 (zh) * 2021-12-22 2023-06-29 深圳市大疆创新科技有限公司 图像处理方法、装置、可移动平台、控制终端及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030189511A1 (en) * 2002-04-05 2003-10-09 The Regents Of The University Of California Non-contact radar system for reconstruction of scenes obscured under snow and similar material
CN101504287A (zh) * 2009-01-22 2009-08-12 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
CN102510506A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种基于双目图像和距离信息的虚实遮挡处理方法
CN103268604A (zh) * 2013-05-10 2013-08-28 清华大学 双目视频深度图求取方法
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
CN105913474A (zh) * 2016-04-05 2016-08-31 清华大学深圳研究生院 双目三维重构装置及其三维重构方法以及一种安卓应用
CN106096559A (zh) * 2016-06-16 2016-11-09 深圳零度智能机器人科技有限公司 障碍物检测方法及系统以及运动物体
CN106127788A (zh) * 2016-07-04 2016-11-16 触景无限科技（北京）有限公司 一种视觉避障方法和装置
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030189511A1 (en) * 2002-04-05 2003-10-09 The Regents Of The University Of California Non-contact radar system for reconstruction of scenes obscured under snow and similar material
CN101504287A (zh) * 2009-01-22 2009-08-12 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
CN102510506A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种基于双目图像和距离信息的虚实遮挡处理方法
CN103268604A (zh) * 2013-05-10 2013-08-28 清华大学 双目视频深度图求取方法
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
CN105913474A (zh) * 2016-04-05 2016-08-31 清华大学深圳研究生院 双目三维重构装置及其三维重构方法以及一种安卓应用
CN106096559A (zh) * 2016-06-16 2016-11-09 深圳零度智能机器人科技有限公司 障碍物检测方法及系统以及运动物体
CN106127788A (zh) * 2016-07-04 2016-11-16 触景无限科技（北京）有限公司 一种视觉避障方法和装置
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陆凯等: "一种快速的亚像素图像配准算法", 《红外技术》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426277A (zh) * 2017-08-30 2019-03-05 广州极飞科技有限公司 移动轨迹规划的方法及装置
WO2019076304A1 (zh) * 2017-10-16 2019-04-25 亿航智能设备（广州）有限公司 基于双目相机的无人机视觉slam方法、无人机及存储介质
CN107808407A (zh) * 2017-10-16 2018-03-16 亿航智能设备（广州）有限公司 基于双目相机的无人机视觉slam方法、无人机及存储介质
CN107891813A (zh) * 2017-10-31 2018-04-10 北京新能源汽车股份有限公司 一种车辆的控制方法、装置及汽车
CN107891813B (zh) * 2017-10-31 2020-04-24 北京新能源汽车股份有限公司 一种车辆的控制方法、装置、汽车及计算机可读存储介质
WO2019084868A1 (zh) * 2017-11-02 2019-05-09 深圳市道通智能航空技术有限公司 一种避障方法、装置、可移动物体及计算机可读存储介质
US10672283B2 (en) 2017-11-02 2020-06-02 Autel Robotics Co., Ltd. Obstacle avoidance method and device, moveable object and computer readable storage medium
US10621456B2 (en) 2017-12-25 2020-04-14 Autel Robotics Co., Ltd. Distance measurement method and apparatus, and unmanned aerial vehicle
WO2019126930A1 (zh) * 2017-12-25 2019-07-04 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
CN110326028A (zh) * 2018-02-08 2019-10-11 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机系统和可移动设备
CN111724431A (zh) * 2019-03-22 2020-09-29 北京地平线机器人技术研发有限公司 视差图的获得方法、装置和电子设备
CN111724431B (zh) * 2019-03-22 2023-08-08 北京地平线机器人技术研发有限公司 视差图的获得方法、装置和电子设备
CN110264510A (zh) * 2019-05-28 2019-09-20 北京邮电大学 一种基于双目采集图像提取景深信息的方法
CN110187720A (zh) * 2019-06-03 2019-08-30 深圳铂石空间科技有限公司 无人机导引方法、装置、系统、介质及电子设备
CN110187720B (zh) * 2019-06-03 2022-09-27 深圳铂石空间科技有限公司 无人机导引方法、装置、系统、介质及电子设备
WO2021217444A1 (zh) * 2020-04-28 2021-11-04 深圳市大疆创新科技有限公司 深度图生成方法、电子设备、计算处理设备及存储介质
CN112748742A (zh) * 2020-06-10 2021-05-04 宋师光 自动化山体目标躲避平台及方法
CN113362445A (zh) * 2021-05-25 2021-09-07 上海奥视达智能科技有限公司 基于点云数据重建对象的方法及装置
WO2023115390A1 (zh) * 2021-12-22 2023-06-29 深圳市大疆创新科技有限公司 图像处理方法、装置、可移动平台、控制终端及系统

Also Published As

Publication number Publication date
CN106960454B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN106960454A (zh) 景深避障方法、设备及无人飞行器
CN104778690B (zh) 一种基于摄像机网络的多目标定位方法
CN109360240B (zh) 一种基于双目视觉的小型无人机定位方法
WO2020206903A1 (zh) 影像匹配方法、装置及计算机可读存储介质
Forster et al. Continuous on-board monocular-vision-based elevation mapping applied to autonomous landing of micro aerial vehicles
WO2019076304A1 (zh) 基于双目相机的无人机视觉slam方法、无人机及存储介质
CN108399643A (zh) 一种激光雷达和相机间的外参标定系统和方法
Bansal et al. Geometric urban geo-localization
CN107507277B (zh) 三维点云重构方法和装置、服务器及可读存储介质
CN107798702A (zh) 一种用于增强现实的实时图像叠加方法以及装置
CN107194339A (zh) 障碍物识别方法、设备及无人飞行器
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN106845410B (zh) 一种基于深度学习模型的火焰识别方法
CN106920276A (zh) 一种三维重建方法和系统
WO2019127518A1 (zh) 避障方法、装置及可移动平台
CN110673632A (zh) 一种基于视觉slam的无人机自主避障方法及装置
CN110956661A (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
Shah et al. Deepfly: Towards complete autonomous navigation of mavs with monocular camera
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
CN107192375A (zh) 一种基于航拍姿态的无人机多帧图像自适应定位校正方法
WO2020135187A1 (zh) 基于rgb_d和深度卷积网络的无人机识别定位系统和方法
CN107860390A (zh) 基于视觉ros系统的非完整机器人远程定点自导航方法
CN104331884A (zh) 四触角履带机器人爬楼梯参数获取系统和方法
Oreifej et al. Horizon constraint for unambiguous uav navigation in planar scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231229

Address after: 518000 Room 501, block a, West Industrial Building, Gongyuan Road, zone 22, Xin'an street, Bao'an District, Shenzhen, Guangdong Province

Patentee after: SHENZHEN SIMTOO INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 430070 room 3001, 3rd floor, Nanhu Pioneer Park, 53 Nanhu Avenue, Hongshan District, Wuhan City, Hubei Province

Patentee before: WUHAN XINGXUN INTELLIGENT TECHNOLOGY CO.,LTD.