CN105844692B - 基于双目立体视觉的三维重建装置、方法、系统及无人机 - Google Patents

基于双目立体视觉的三维重建装置、方法、系统及无人机 Download PDF

Info

Publication number
CN105844692B
CN105844692B CN201610273969.5A CN201610273969A CN105844692B CN 105844692 B CN105844692 B CN 105844692B CN 201610273969 A CN201610273969 A CN 201610273969A CN 105844692 B CN105844692 B CN 105844692B
Authority
CN
China
Prior art keywords
edge
edge pixel
pixel block
image
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610273969.5A
Other languages
English (en)
Other versions
CN105844692A (zh
Inventor
冯伟明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Brisky Technology Development Co Ltd
Original Assignee
Beijing Brisky Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Brisky Technology Development Co Ltd filed Critical Beijing Brisky Technology Development Co Ltd
Priority to CN201610273969.5A priority Critical patent/CN105844692B/zh
Publication of CN105844692A publication Critical patent/CN105844692A/zh
Application granted granted Critical
Publication of CN105844692B publication Critical patent/CN105844692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了基于双目立体视觉的三维重建装置、方法、系统及无人机。该装置包括用于获取边缘像素集合的边缘获取单元、用于进行相似值评价的相似评价单元,用于从候选像素块集合中确定匹配像素块的匹配确定单元以及用于构建三维立体图像的视图重建单元。应用本发明,能够在保证视觉导航的准确度和精度的同时显著减小计算量,有利于提高障碍物检测的实时性。本发明尤其适用于高速小型无人机。

Description

基于双目立体视觉的三维重建装置、方法、系统及无人机
技术领域
本公开涉及视觉导航领域,更具体地,涉及一种基于双目立体视觉的三维重建装置、一种基于双目立体视觉的三维重建方法和一种基于双目立体视觉的三维重建系统和一种无人机。
背景技术
无人机导航主要方法包括全球定位系统导航、惯性导航、超声波导航、激光测距导航以及视觉导航等。目前应用最为广泛的无人机自主导航系统是使用全球定位系统(GPS)导航定位和惯性导航系统(IMU)相结合,GPS估计精度受到信号和环境的影响,在遇到建筑物遮挡或者无线电干扰较强的环境时定位精度很低。而IMU位置误差也会随时间累积,需要其他传感器提供位置信息进行修正。因此该种方法更适合高空无人机导航,而对于环境更加复杂,障碍物更多的低空导航该方法无法有效完成避障任务。另一方面,针对消费类别的轻小型无人机对低负载,低功耗的要求,激光测距设备进行导航具有体积重量大的缺点,也不适合作为小型无人机低空避障的导航方法,也有采用超声波测距进行避障的应用,但是该种方法无法精确地得到障碍物所处的方位和角度,因而误差也较大,无法满足对定位精度要求较高的无人机飞行避障的要求。
目前基于视觉的导航方案主要有光流法、利用kinect等深度传感器进行环境三维重建、单目相机深度测距等。光流法是利用角点处提取光流信息并求解延伸焦点来估计障碍物的位置,存在较大的估计误差。而深度传感器受到红外测距范围的限制,不适合应用于室外环境的深度测量。单目相机进行深度测距需要借助飞机上的传感器返回准确的位姿信息或者通过对相邻帧进行单应性计算获得帧间投影矩阵,再进行立体匹配求取视差,从而精确定位障碍物。但由于传感器返回位姿精度低会导致投影矩阵误差大,最终将影响障碍物定位的精度。单目相机深度测距方法也可以根据相邻帧特征点匹配求取单应性矩阵,但是该方法计算量大,无法满足避障算法的实时性要求。
针对上述方法准确度和精度不足的缺陷,有人提出可基于SURF特征点的双目立体视觉进行环境三维重建及障碍物检测。基于SURF特征点的双目立体视觉三维重建及障碍物检测的精度较高,但是由于其全画面像素特征匹配的算法复杂度很高,无法满足高速小型无人机低空飞行过程中复杂频繁的障碍物规避要求,仍然不能令人满意。
发明内容
本公开提出了能够显著减小双目立体视觉(Binocular Stereo Vision)三维重建的计算量和计算时间的技术方案,并且相比于基于SURF特征点的双目立体视觉三维重建方案,基本不降低重建的准确度和精度。
根据本公开的一方面,提出了一种基于双目立体视觉的三维重建装置,该装置包括:边缘获取单元,得到第一边缘像素集合和第二边缘像素集合,所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成,所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成;相似评价单元,用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值SSAD
其中,N表示每个边缘像素块中的像素点的数目,pleft(i)表示边缘像素块Pleft中第i个像素点的像素值,pright(i)表示边缘像素块Pright中第i个像素点的像素值;匹配确定单元,用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块,所述候选像素块集合由与该边缘像素块Pleft间的相似评价值SSAD大于评价值阈值的所有边缘像素块Pright组成;视图重建单元,用于基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像,L是拉普拉斯算子。
根据本公开的另一方面,提出了一种基于双目立体视觉的三维重建方法,该方法包括:得到第一边缘像素集合和第二边缘像素集合,所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成,所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成;基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值SSAD
其中,N表示每个边缘像素块中的像素点的数目,pleft(i)表示边缘像素块Pleft中第i个像素点的像素值,pright(i)表示边缘像素块Pright中第i个像素点的像素值,L是拉普拉斯算子;针对第一边缘像素集合中的每一边缘像素块Pleft,从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块,所述候选像素块集合由与该边缘像素块Pleft间的相似评价值SSAD大于评价值阈值的所有边缘像素块Pright组成;基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像。
根据本公开的另一方面,提出了一种基于双目立体视觉的三维重建系统,该系统包括:双目摄像头,布置于无人飞行器上,用于拍摄双目图像;飞行控制器,包括接收机和处理器,所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像,所述处理器被配置为执行如上所述的方法。
根据本公开的另一方面,提出了一种无人机,所述无人机采用了如上所述的装置和/或方法和/或系统。
本公开的各方面通过检测边缘图像、并通过定义的相似评价值在双目图像的边缘像素块间寻找彼此匹配的边缘特征,从而能显著减小重建三维视图的计算量和计算时间,有利于大大提高障碍物检测的实时性,并且,经验证应用本公开能保证较高的导航准确度和精度。本发明尤其适用于高速小型无人机。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面,并且用于解释本发明的原理。相同的附图标记用于表示相同或相似的部件。
图1示出了基于双目立体视觉的三维重建的原理示意图。
图2示出了根据本公开的一个实施例的基于双目立体视觉的三维重建装置的结构框图。
图3示出了根据本公开的一个实施例的示例性的基于双目立体视觉的三维重建装置的结构框图。
图4示出了根据本公开的一个实施例的示例性的深度递进式的障碍物检测示意图。
图5示出了根据本公开的一个实施例的示例性的基于双目立体视觉的三维重建装置的结构框图。
图6示出了根据本公开的一个实施例的基于双目立体视觉的三维重建方法流程图。
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本发明同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本发明的主旨。
此处,先对双目立体视觉三维重建的基本原理进行简单介绍。
摄像头成像模型采用通常的针孔模型描述三维欧式空间到二维图像平面的投影变换。双目立体视觉(Binocular Stereo Vision)系统一般由左摄像头和右摄像头两个摄像头组成,其成像模型均采用针孔模型。如图1所示,点P在成像面左成像面Ol和右成像面Or上的投影p1和p2的位置差定义为视差,用d表示;左右摄像头光心的距离称为基线距离,在图1中标记为b。设左右摄像头的焦距大小均为f,点p在左成像面Ol上的投影p1的坐标为(u1,v1),点p在右成像面Or上的投影p2的坐标(u2,v2),基于双目视差的三维重建原理,即可以得到点p在世界坐标系下的三维坐标(xc,yc,zc)为(此处设世界坐标系与左摄像头坐标系重合):
从而可构建三维图像,即可先找出左右图像中相匹配的特征点,基于匹配的特征点进一步确定该特征点的视差,然后基于该视差即可确定该特征点的三维坐标(包括深度zc)。可以看出,由于左右摄像头的焦距f和基线距离b是一定的,因此只要确定视差d即可得到相应的深度信息。基于算法原理可以看出找到匹配的像素点是进行三维重建的关键。
实施例1
图2示出了根据本公开的一个实施例的基于双目立体视觉的三维重建装置100的结构框图。在本实施例中,装置100包括边缘获取单元101、相似评价单元102、匹配确定单元103、视图重建单元104。边缘获取单元101用于得到第一边缘像素集合和第二边缘像素集合。所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成,所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成。相似评价单元用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值SSAD
其中,N表示每个边缘像素块中的像素点的数目,pleft(i)表示边缘像素块Pleft中第i个像素点的像素值,pright(i)表示边缘像素块Pright中第i个像素点的像素值,L是拉普拉斯算子。匹配确定单元103用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块,所述候选像素块集合由与该边缘像素块Pleft间的相似评价值SSAD大于评价值阈值的所有边缘像素块Pright组成。本领域技术人员可以根据需要设置该评价值阈值。视图重建单元104用于基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像。
本实施例中,通过对边缘像素点进行匹配,而非传统方法中对区域进行匹配,能大大减少计算量。同时,本发明中通过采用定义的相似评价值SSAD寻找候选的相似像素块集合,并从中最终确定匹配像素块,来补偿因为降低计算复杂度而牺牲的准确度。上述实施例的计算复杂度大大小于基于SURF特征点的双目立体视觉三维重建,并且基本不损害重建的准确度和精度。
在一种可能的实施方式中,边缘获取单元100可以采用拉普拉斯边缘检测算法得到双目图像各自对应的第一边缘像素集合和第二边缘像素集合,例如,可采用拉普拉斯边缘检测算法对通过左摄像头得到的图像进行边缘检测,以得到第一边缘像素集合;可采用拉普拉斯边缘检测算法对通过右摄像头得到的图像进行边缘检测,以得到第二边缘像素集合,以实现简单高效的边缘检测。本领域技术人员也可根据需要采用其他任意适用的技术手段获取第一和第二边缘像素集合,例如,直接从其他部件接收第一和第二边缘像素集合。
在一种可能的实施方式中,匹配确定单元103可以在水平方向采用自相似滤波从边缘像素块Pleft的所述候选像素块集合中确定该边缘像素块Pleft的所述匹配像素块。此处的“水平”指与左右摄像头的连线平行的方向。
一个物体存在自相似,通常指它和它本身的一部分完全或是几乎相似。例如一个曲线自相似,即指每部分的曲线有一小块和它相似。自然界中有很多东西具有自相似性质,例如海岸线、建筑物的窗户等。
由于相似评价值SSAD的局部性,以及双目相机的左右摄像头是水平放置的,因此基于SSAD得到的候选像素块集合中可能存在水平自相似的情况,而水平方向的误匹配将直接影响三维重建中求取的三维坐标的准确度。因此根据本发明,可仅在水平方向对基于SSAD的初步匹配结果进行自相似滤波,在初步匹配结果的领域范围内进行二次检测以剔除水平自相似候选像素块,从而在消耗较少计算量的情况下避免当环境中存在水平连续出现的相似物时出现误匹配,进一步提高匹配的准确度。此处,本领域技术人员可采用任意适用的自相似滤波算法在水平方向进行自相似滤波。
在一种可能的实施方式中,上述实施例中每一边缘像素块的每一维的长度在2~10之间,即4≤N≤100,例如,该像素块可以是5*5的像素块,也可以是4*6的像素块。发明人经过深入研究和反复验证,将边缘像素块的大小设置在上述范围内,有利于在计算量和匹配准确度两方面取得良好平衡,有利于实现较高的匹配效率。
图3示出了根据本公开的一个实施例的基于双目立体视觉的三维重建装置100的结构框图。在该示例性实施例中,装置100还可以包括新障碍信息获取单元105和障碍物分布确定单元106。新障碍信息获取单元105可以用于在所述三维立体图像中仅在预设视差范围[d_min,d_max]内进行障碍物检测,以得到新障碍物检测信息,其中d_min为预设视察范围的最小视差,d_max为预设视差范围的最大视差。障碍物分布确定单元106可以用于基于所述新障碍物检测信息和在预设历史时间段内的历史障碍物检测信息得到障碍物分布信息。在现有技术中,通常遍历从最大视差到零视差(对应于零深度至最大深度)以逐步进行障碍物检测,但发明人研究发现,这其中有相当的检测信息是冗余的,例如,对于当前的无人机避障任务而言,事实上并不需要对应于很小视差(即深度接近于无穷远)的障碍物信息。获取这些冗余信息需要很大的计算量,保存这些冗余信息需要很大的存储量,是对资源的严重浪费。因此,在本示例性实施例中,可仅在预设视差范围[d_min,d_max]内进行障碍物检测以大大节省计算量和存储量,同时结合“短时记忆”(即在预设历史时间段内的历史障碍物检测信息)得到当前无人机避障所需的障碍物分布信息。本领域技术人员可以根据需要设置d_min和d_max
应用图3所示的装置100可进行深度递进式的障碍物检测。图4示出了示出了根据本公开的一个实施例的示例性的深度递进式的障碍物检测示意图。如图4所示,在当前时刻,只需在特定深度范围(如图4中圈出的黑色区域所示)内进行障碍物检测,并结合历史障碍物检测信息(如图4中圈出的白色区域所示),以快速确定所需的障碍物分布信息。
图5示出了根据本公开的一个实施例的示例性的基于双目立体视觉的三维重建装置100的结构框图。在该示例性实施例中,装置100还可以包括图像预处理单元107,其可用于对双目摄像头拍摄得到的双目图像进行预处理,并将预处理后的双目图像传送至边缘获取单元101。图像预处理单元107可以包括畸变校正子单元和平行校正子单元,以用于对图像进行畸变校正和平行校正。
在一种可能的实施方式中,畸变校正子单元可以包括校正矩阵获取模块和校正模块。校正矩阵获取模块可以用于采用张正友标定法得到双目摄像头的标定参数、并基于所述标定参数得到畸变校正投影矩阵。校正模块可以用于将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。由于先获取基于全局优化目标得到的畸变校正投影矩阵,并将其应用于后续的所有图像,从而避免针对每一帧双目图像分别计算畸变校正所需的参数,有效提高了计算的实时性和计算效率。发明人经过大量对比实验后发现,采用张正友标定法(诸如基于张正友标定法的matlab工具箱)实现摄像头标定,有利于提高标定结果的准确度。例如,畸变校正投影矩阵可以是在离线状态下获得的。本领域技术人员可采用任意适用的技术手段实现平行校正。
实施例2
图6示出了根据本公开的一个实施例的基于双目立体视觉的三维重建方法流程图。在本实施例中,该方法包括:
步骤601,得到第一边缘像素集合和第二边缘像素集合,所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成,所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成;
步骤602,基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值SSAD
其中,N表示每个边缘像素块中的像素点的数目,pleft(i)表示边缘像素块Pleft中第i个像素点的像素值,pright(i)表示边缘像素块Pright中第i个像素点的像素值,L是拉普拉斯算子;
步骤603,针对第一边缘像素集合中的每一边缘像素块Pleft,从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块,所述候选像素块集合由与该边缘像素块Pleft间的相似评价值SSAD大于评价值阈值的所有边缘像素块Pright组成;
步骤604,基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像。
在一种可能的实施方式中,得到双目图像各自对应的第一边缘像素集合和第二边缘像素集合可以包括:可以采用拉普拉斯边缘检测算法得到双目图像各自对应的第一边缘像素集合和第二边缘像素集合。
在一种可能的实施方式中,从边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块可以包括:可以在水平方向采用自相似滤波从边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的所述匹配像素块。
在一种可能的实施方式中,该方法还可以包括:可以在所述三维立体图像中仅在预设视差范围[d_min,d_max]内进行障碍物检测,以得到新障碍物检测信息,其中d_min为预设视差范围的最小视差,d_max为预设视差范围的最大视差;可以基于所述新障碍物检测信息和在预设历史时间段内的历史障碍物检测信息得到障碍物分布信息。
在一种可能的实施方式中,该方法还可以包括:在得到边缘像素集合前,可以先对双目摄像头拍摄得到的双目图像进行预处理,所述预处理可以进一步包括对图像进行畸变校正和平行校正。进一步地,所述畸变校正可以包括:可以采用张正友标定法得到双目摄像头的标定参数;可以基于所述标定参数得到畸变校正投影矩阵;可以将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。
在一种可能的实施方式中,每一所述边缘像素块的每一维的长度可以在2~10之间。
实施例3
根据本公开的一个实施例,还公开了一种基于双目立体视觉的三维重建系统,该系统包括双目摄像头和飞行控制器。所述双目摄像头布置于无人飞行器上,用于拍摄双目图像。所述飞行控制器包括接收机和处理器。所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像,所述处理器被配置为包括如实施例1所述的装置,和/或执行如实施例2所述的方法。在本实施例中,无人飞行器和飞行控制器间直接进行无线数据传输,无需通过额外的地面站进行数据中转,进一步提高了导航的时效性。
在一种可能的实施方式中,该系统可以包括多组双目摄像头,其可以分别布置于无人飞行器的前侧、后侧、左侧、右侧和下方。例如,该系统可以包括5组摄像头,可以在无人飞行器的前侧、后侧、左侧、右侧和下方各布置一组摄像头。
实施例4
根据本公开的一个实施例,还公开了一种无人机。该无人机采用如实施例1所述的装置、和/或采用如实施例2所述的方法、和/或采用如实施例3所述的系统。具体细节可参见上文中的详细描述。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种基于双目立体视觉的三维重建装置,该装置包括:
边缘获取单元,用于得到第一边缘像素集合和第二边缘像素集合,所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成,所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成;
相似评价单元,用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值SSAD
其中,N表示每个边缘像素块中的像素点的数目,pleft(i)表示边缘像素块Pleft中第i个像素点的像素值,pright(i)表示边缘像素块Pright中第i个像素点的像素值,L是拉普拉斯算子;
匹配确定单元,用于针对第一边缘像素集合中的每一边缘像素块Pleft,从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块,所述候选像素块集合由与该边缘像素块Pleft间的相似评价值SSAD大于评价值阈值的所有边缘像素块Pright组成;
视图重建单元,用于基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像;
新障碍信息获取单元,用于在所述三维立体图像中仅在预设视差范围[d_min,d_max]内进行障碍物检测,以得到新障碍物检测信息,其中d_min为预设视差范围的最小视差,d_max为预设视差范围的最大视差;
障碍物分布确定单元,用于基于所述新障碍物检测信息和在预设历史时间段内的历史障碍物检测信息得到障碍物分布信息。
2.根据权利要求1所述的装置,其中,所述边缘获取单元用于采用拉普拉斯边缘检测算法得到双目图像各自对应的第一边缘像素集合和第二边缘像素集合。
3.根据权利要求1所述的装置,其中,匹配确定单元在水平方向采用自相似滤波从边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的所述匹配像素块。
4.根据权利要求1所述的装置,该装置还包括:
图像预处理单元,用于对双目摄像头拍摄得到的双目图像进行预处理,并将预处理后的双目图像传送至所述边缘获取单元,其中,所述图像预处理单元进一步包括用于对图像进行畸变校正的畸变校正子单元和用于对图像进行平行校正的平行校正子单元;
进一步地,所述畸变校正子单元包括校正矩阵获取模块和校正模块,所述校正矩阵获取模块用于采用张正友标定法得到双目摄像头的标定参数、并基于所述标定参数得到畸变校正投影矩阵,所述校正模块用于将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。
5.根据权利要求1所述的装置,其中,每一所述边缘像素块的每一维的长度在2~10之间。
6.一种基于双目立体视觉的三维重建方法,该方法包括:
得到第一边缘像素集合和第二边缘像素集合,所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成,所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成;
基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值SSAD
其中,N表示每个边缘像素块中的像素点的数目,pleft(i)表示边缘像素块Pleft中第i个像素点的像素值,pright(i)表示边缘像素块Pright中第i个像素点的像素值,L是拉普拉斯算子;
针对第一边缘像素集合中的每一边缘像素块Pleft,从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块,所述候选像素块集合由与该边缘像素块Pleft间的相似评价值SSAD大于评价值阈值的所有边缘像素块Pright组成;
基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像;
在所述三维立体图像中仅在预设视差范围[d_min,d_max]内进行障碍物检测,以得到新障碍物检测信息,其中d_min为预设视差范围的最小视差,d_max为预设视差范围的最大视差;
基于所述新障碍物检测信息和在预设历史时间段内的历史障碍物检测信息得到障碍物分布信息。
7.根据权利要求6所述的方法,其中,得到双目图像各自对应的第一边缘像素集合和第二边缘像素集合包括:
采用拉普拉斯边缘检测算法得到双目图像各自对应的第一边缘像素集合和第二边缘像素集合。
8.根据权利要求6所述的方法,其中,从边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块包括:
在水平方向采用自相似滤波从边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的所述匹配像素块。
9.根据权利要求6所述的方法,该方法还包括:
在得到边缘像素集合前,先对双目摄像头拍摄得到的双目图像进行预处理,所述预处理进一步包括对图像进行畸变校正和平行校正;
进一步地,所述畸变校正包括:
采用张正友标定法得到双目摄像头的标定参数;
基于所述标定参数得到畸变校正投影矩阵;
将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。
10.根据权利要求6所述的方法,其中,每一所述边缘像素块的每一维的长度在2~10之间。
11.一种基于双目立体视觉的三维重建系统,该系统包括:
双目摄像头,布置于无人飞行器上,用于拍摄双目图像;
飞行控制器,包括接收机和处理器,所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像,所述处理器执行如权利要求6-10中任意一者所述的基于双目立体视觉的三维重建方法。
12.根据权利要求11所述的系统,其中,该系统包括多组双目摄像头,所述多组双目摄像头分别布置于无人飞行器的前侧、后侧、左侧、右侧和下方。
13.一种无人机,所述无人机采用如权利要求1-5中任意一者所述的基于双目立体视觉的三维重建装置或采用如权利要求11-12中任意一者所述的基于双目立体视觉的三维重建系统。
CN201610273969.5A 2016-04-27 2016-04-27 基于双目立体视觉的三维重建装置、方法、系统及无人机 Active CN105844692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610273969.5A CN105844692B (zh) 2016-04-27 2016-04-27 基于双目立体视觉的三维重建装置、方法、系统及无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610273969.5A CN105844692B (zh) 2016-04-27 2016-04-27 基于双目立体视觉的三维重建装置、方法、系统及无人机

Publications (2)

Publication Number Publication Date
CN105844692A CN105844692A (zh) 2016-08-10
CN105844692B true CN105844692B (zh) 2019-03-01

Family

ID=56589679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610273969.5A Active CN105844692B (zh) 2016-04-27 2016-04-27 基于双目立体视觉的三维重建装置、方法、系统及无人机

Country Status (1)

Country Link
CN (1) CN105844692B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384382A (zh) * 2016-09-05 2017-02-08 山东省科学院海洋仪器仪表研究所 一种基于双目立体视觉的三维重建系统及其方法
CN106767817B (zh) * 2016-12-01 2019-01-04 腾讯科技(深圳)有限公司 一种获取飞行定位信息的方法及飞行器
CN106741897A (zh) * 2016-12-31 2017-05-31 曹萍 一种矩阵飞行器
CN106871902A (zh) * 2017-02-16 2017-06-20 广东工业大学 一种无人机导航的方法、装置以及系统
CN107886477B (zh) * 2017-09-20 2020-07-14 武汉环宇智行科技有限公司 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法
CN107507249B (zh) * 2017-09-21 2018-09-21 广汽本田汽车有限公司 一种智能车立体视觉系统
CN109155061B (zh) * 2017-12-20 2021-08-27 深圳市大疆创新科技有限公司 图像融合的方法、装置与无人机
CN109490926B (zh) * 2018-09-28 2021-01-26 浙江大学 一种基于双目相机和gnss的路径规划方法
CN110672007A (zh) * 2019-09-24 2020-01-10 佛山科学技术学院 一种基于机器视觉的工件表面质量检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1747559A (zh) * 2005-07-29 2006-03-15 北京大学 三维几何建模系统和方法
CN101908230A (zh) * 2010-07-23 2010-12-08 东南大学 一种基于区域深度边缘检测和双目立体匹配的三维重建方法
CN103065351A (zh) * 2012-12-16 2013-04-24 华南理工大学 一种双目三维重建的方法
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1747559A (zh) * 2005-07-29 2006-03-15 北京大学 三维几何建模系统和方法
CN101908230A (zh) * 2010-07-23 2010-12-08 东南大学 一种基于区域深度边缘检测和双目立体匹配的三维重建方法
CN103065351A (zh) * 2012-12-16 2013-04-24 华南理工大学 一种双目三维重建的方法
CN104318561A (zh) * 2014-10-22 2015-01-28 上海理工大学 基于双目立体视觉与光流融合的车辆运动信息检测方法

Also Published As

Publication number Publication date
CN105844692A (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
CN105844692B (zh) 基于双目立体视觉的三维重建装置、方法、系统及无人机
EP3517997B1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
US9659378B2 (en) Point cloud position data processing device, point cloud position data processing system, point cloud position data processing method, and program therefor
EP3469306B1 (en) Geometric matching in visual navigation systems
CN111436216B (zh) 用于彩色点云生成的方法和系统
CN110567469B (zh) 视觉定位方法、装置、电子设备及系统
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
CN106960454B (zh) 景深避障方法、设备及无人飞行器
KR102126513B1 (ko) 카메라의 포즈를 판단하기 위한 장치 및 방법
Levinson et al. Automatic online calibration of cameras and lasers.
CN106384382A (zh) 一种基于双目立体视觉的三维重建系统及其方法
US9031809B1 (en) Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion
EP1843292B1 (en) Image processing device and method
WO2017080108A1 (zh) 飞行装置、飞行控制系统及方法
AU2018282302A1 (en) Integrated sensor calibration in natural scenes
CN109035309A (zh) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN112017251A (zh) 标定方法、装置、路侧设备和计算机可读存储介质
CN110288659B (zh) 一种基于双目视觉的深度成像及信息获取方法
KR101544021B1 (ko) 3차원 지도 생성 장치 및 3차원 지도 생성 방법
EP3716210B1 (en) Three-dimensional point group data generation method, position estimation method, three-dimensional point group data generation device, and position estimation device
CN110162085A (zh) 用于无人载具的环境自适应感知与规避系统
CN111077907A (zh) 一种室外无人机的自主定位方法
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
JP2017142613A (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
CN114494462A (zh) 一种基于Yolov5和改进跟踪算法的双目相机测距方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant