CN109816710A - 一种双目视觉系统高精度且无拖影的视差计算方法 - Google Patents

一种双目视觉系统高精度且无拖影的视差计算方法 Download PDF

Info

Publication number
CN109816710A
CN109816710A CN201811527154.0A CN201811527154A CN109816710A CN 109816710 A CN109816710 A CN 109816710A CN 201811527154 A CN201811527154 A CN 201811527154A CN 109816710 A CN109816710 A CN 109816710A
Authority
CN
China
Prior art keywords
parallax
feature
vision system
pixel
binocular vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811527154.0A
Other languages
English (en)
Other versions
CN109816710B (zh
Inventor
陈创荣
成慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN201811527154.0A priority Critical patent/CN109816710B/zh
Publication of CN109816710A publication Critical patent/CN109816710A/zh
Application granted granted Critical
Publication of CN109816710B publication Critical patent/CN109816710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及双目视觉系统处理的技术领域，更具体地，涉及一种双目视觉系统高精度且无拖影的视差计算方法。本发明提供的方法用于在自然场景中，利用双目视觉系统计算出精确像素视差，并且不同于已有系统，本发计算得到的场景深度没有普遍存在的过度平滑现象，无需复杂的后处理，能直接用于下游任务。该方法首先对像素的视差进行分布建模，利用卷积神经网络模拟传统方法，并对每个像素点输出一个像素的视差分布。

Description

一种双目视觉系统高精度且无拖影的视差计算方法
技术领域
本发明涉及双目视觉系统处理的技术领域，更具体地，涉及一种双目视觉系统高精度且无拖影的视差计算方法。
背景技术
对于双目视觉系统，在系统内参和基线已知的前提下，通过计算视差即可求解出场景深度。双目视差估计在许多领域都有重要应用，如机器人，自动驾驶和增强现实。它提供了一种获取场景深度的经济的方式，相比于昂贵的激光雷达。另外，相比于基于结构光技术和TOF技术的深度传感器，它对环境的鲁邦性更好，在强烈光照条件下也能较好的工作。
视差估计流程通常由4个部分组成：特征提取，代价计算，代价聚合，视差精细化。传统方法使用手工设计的特征和基于全局或半全局的方法来估计视差。传统方法估计得到的视差精度有限，并且受计算量和可并行性及运行时间限制。近期的方法开始使用卷积神经网络来进行视差估计，以一种数据驱动的方式。具体地，一类方式是使用卷积神经网络学习得到的特征代替传统人工设计的特征，剩下的工作仍然由传统优化方法完成。一类方式是已一种完全段端到端的方式，设计一个卷积神经网络完成整个视差估计的流程。基于卷积神经网络的方式在视差精度方面相比于传统方法有了巨大提升。
然而，现有的基于卷积神经网络的方法估计得到的视差图普遍存在过度平滑的问题，具体地，在场景深度不连续的地方，如前景和后景的交界处，真实的深度应该是一个剧烈的跳变，而卷积神经网络在这些区域的估计往往过渡平滑，如图2所示，在前景后景的交界处，卷积神经网络估计得到的视差往往有过渡平滑的现象，这些过度平滑的估计实际违背了边缘的实际几何结构，对于下游任务如建图，避障，规划有十分消极的影响。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷，提供一种双目视觉系统高精度且无拖影的视差计算方法，基于3D卷积神经网络，针对卷积神经网络输出的视差概率分布，作了进一步的推断。通过单一峰加权平均操作，改进原网络输出的视差估计的过度平滑视差。
本发明的技术方案是：一种双目视觉系统高精度且无拖影的视差计算方法，其中，包括以下步骤：
S1.对输入的左右两幅图像，提取特征，得到左右两幅图像在1/4分辨率下特征；
S2.根据提取得到的左右图特征，构建4D的代价体V；
S3.进行代价聚合，得到视差值的对数似然估计，并上采用到原图分辨率，得到每个像素的可能视差值的对数似然估计；
S4.对得到的对数似然估计，每个像素在视差维度上做归一化操作，得到每个像素的视差概率分布；
S5.找出概率值最大的峰，做进一步推断，得到更精确的视差概率分布；
S6.基于得到的精确视差概率分布，通过加权平均操作得到每个像素视差的最终估计值。
进一步的，所述的步骤S1中，对输入的左右两幅图像，分别使用2D卷积神经网络Nfea提取特征，得到左右两幅图像在1/4分辨率下特征，定义为：
Fleft＝Nfea(Ileft)，Fright＝Nfea(Iright)。
进一步的，所述的步骤S2中，根据提取得到的左右图特征Fleft和Fright，构建4D的代价体V。
进一步的，所述的步骤S3中，基于构建的4D代价体V，使用3D卷积神经网络Nagg进行代价聚合，得到视差值的对数似然估计，并上采用到原图分辨率，得到每个像素的可能视差值的对数似然估计，定义为：
L＝Nagg(V)。
进一步的，所述的步骤S4中，对得到的对数似然估计，每个像素在视差维度上做归一化操作，得到每个像素的视差概率分布，如下：
其中N为视差枚举值。
所述的步骤S5中，得到每个像素的视差概率分布Pi后，首先找出概率值最大的峰，由其视差值dl和dr界定，然后对Pi做进一步推断，得到更精确的视差概率分布，具体地：
所述的步骤S6中，基于得到的精确视差概率分布通过加权平均操作得到每个像素视差的最终估计值：
与现有技术相比，有益效果是：本发明针对双目视差估计存在的边缘处过度平滑问题，提出了一种解决方案。本发明基于3D卷积神经网络，提出了单一峰加权平均思路，在卷积神经网络输出的概率分布基础上，做进一步的推断。
附图说明
图1本发明算法流程图。
图2现有方法边缘处过度平滑估计示意图。
图3本发明单一峰处理示意图。
图4本发明估计示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
如图1所示，具体步骤如下，
S1.对输入的左右两幅图像，分别使用2D卷积神经网络Nfea提取特征，得到左右两幅图像在1/4分辨率下特征，定义为：
Fleft＝Nfea(Ileft)，Fright＝Nfea(Iright)，
S2.根据提取得到的左右图特征Fleft和Fright，构建4D的代价体V
S3.基于构建的4D代价体V，使用3D卷积神经网络Nagg进行代价聚合，得到视差值的对数似然估计，并上采用到原图分辨率，得到每个像素的可能视差值的对数似然估计，定义为：
L＝Nagg(V)
S4.对得到的对数似然估计，每个像素在视差维度上做归一化操作，得到每个像素的视差概率分布，如下：
其中N为视差枚举值
S5.得到每个像素的视差概率分布Pi后，首先找出概率值最大的峰，由其视差值dl和dr界定，然后对Pi做进一步推断，得到更精确的视差概率分布，具体地：
S6.基于得到的精确视差概率分布通过加权平均操作得到每个像素视差的最终估计值：
图3中，为单一峰处理示意图，本发明的最终效果如图4所示。本发明提供的方法用于在自然场景中，利用双目视觉系统计算出精确像素视差，并且不同于已有系统，本发计算得到的场景深度没有普遍存在的过度平滑现象，无需复杂的后处理，能直接用于下游任务。该方法首先对像素的视差进行分布建模，利用卷积神经网络模拟传统方法，并对每个像素点输出一个像素的视差分布，整个流程如图1所示。更重要的，针对已有方法普遍存在的在边缘处过度平滑问题，该方法通过分析实际情况下卷积神经网络输出的视差分布，提出了单一峰值加权平均方法，基于网络输出的视差分布，首先估计出概率分布的峰值，并定位该峰值所在峰，然后取出该峰的数据后进行归一化，最后在归一化后的概率分布上做加权平均。该方法可以有效解决视差估计任务的过度平滑问题。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种双目视觉系统高精度且无拖影的视差计算方法，其特征在于，包括以下步骤：
S1.对输入的左右两幅图像，提取特征，得到左右两幅图像在1/4分辨率下特征；
S2.根据提取得到的左右图特征，构建4D的代价体V；
S3.进行代价聚合，得到视差值的对数似然估计，并上采用到原图分辨率，得到每个像素的可能视差值的对数似然估计；
S4.对得到的对数似然估计，每个像素在视差维度上做归一化操作，得到每个像素的视差概率分布；
S5.找出概率值最大的峰，做进一步推断，得到更精确的视差概率分布；
S6.基于得到的精确视差概率分布，通过加权平均操作得到每个像素视差的最终估计值。
2.根据权利要求1所述的一种双目视觉系统高精度且无拖影的视差计算方法，其特征在于：所述的步骤S1中，对输入的左右两幅图像，分别使用2D卷积神经网络Nfea提取特征，得到左右两幅图像在1/4分辨率下特征，定义为：
Fleft＝Nfea(Ileft)，Fright＝Nfea(Iright)。
3.根据权利要求2所述的一种双目视觉系统高精度且无拖影的视差计算方法，其特征在于：所述的步骤S2中，根据提取得到的左右图特征Fleft和Fright，构建4D的代价体V。
4.根据权利要求3所述的一种双目视觉系统高精度且无拖影的视差计算方法，其特征在于：所述的步骤S3中，基于构建的4D代价体V，使用3D卷积神经网络Nagg进行代价聚合，得到视差值的对数似然估计，并上采用到原图分辨率，得到每个像素的可能视差值的对数似然估计，定义为：
L＝Nagg(V)。
5.根据权利要求4所述的一种双目视觉系统高精度且无拖影的视差计算方法，其特征在于：所述的步骤S4中，得到每个像素的视差概率分布，如下：
其中N为视差枚举值。
6.根据权利要求5所述的一种双目视觉系统高精度且无拖影的视差计算方法，其特征在于：所述的步骤S5中，得到每个像素的视差概率分布Pi后，首先找出概率值最大的峰，由其视差值dl和dr界定，然后对Pi做进一步推断，得到更精确的视差概率分布，具体地：
7.根据权利要求6所述的一种双目视觉系统高精度且无拖影的视差计算方法，其特征在于：所述的步骤S6中，基于得到的精确视差概率分布通过加权平均操作得到每个像素视差的最终估计值：
CN201811527154.0A 2018-12-13 2018-12-13 一种双目视觉系统高精度且无拖影的视差计算方法 Active CN109816710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811527154.0A CN109816710B (zh) 2018-12-13 2018-12-13 一种双目视觉系统高精度且无拖影的视差计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811527154.0A CN109816710B (zh) 2018-12-13 2018-12-13 一种双目视觉系统高精度且无拖影的视差计算方法

Publications (2)

Publication Number Publication Date
CN109816710A true CN109816710A (zh) 2019-05-28
CN109816710B CN109816710B (zh) 2023-08-29

Family

ID=66601563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811527154.0A Active CN109816710B (zh) 2018-12-13 2018-12-13 一种双目视觉系统高精度且无拖影的视差计算方法

Country Status (1)

Country Link
CN (1) CN109816710B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260711A (zh) * 2020-01-10 2020-06-09 大连理工大学 一种弱监督可信代价传播的视差估计方法
WO2022120988A1 (zh) * 2020-12-11 2022-06-16 深圳先进技术研究院 基于混合2d卷积和伪3d卷积的立体匹配方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05256613A (ja) * 1992-03-13 1993-10-05 Matsushita Electric Ind Co Ltd ステレオ画像からの視差演算方法と装置並びに奥行き測定装置
CN106780442A (zh) * 2016-11-30 2017-05-31 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
CN106920276A (zh) * 2017-02-23 2017-07-04 华中科技大学 一种三维重建方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05256613A (ja) * 1992-03-13 1993-10-05 Matsushita Electric Ind Co Ltd ステレオ画像からの視差演算方法と装置並びに奥行き測定装置
CN106780442A (zh) * 2016-11-30 2017-05-31 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
CN106920276A (zh) * 2017-02-23 2017-07-04 华中科技大学 一种三维重建方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
翟振刚等: "利用块几何约束及视差概率的立体匹配算法", 《软件学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260711A (zh) * 2020-01-10 2020-06-09 大连理工大学 一种弱监督可信代价传播的视差估计方法
WO2021138991A1 (zh) * 2020-01-10 2021-07-15 大连理工大学 一种弱监督可信代价传播的视差估计方法
CN111260711B (zh) * 2020-01-10 2021-08-10 大连理工大学 一种弱监督可信代价传播的视差估计方法
US11315273B2 (en) 2020-01-10 2022-04-26 Dalian University Of Technology Disparity estimation method for weakly supervised trusted cost propagation
WO2022120988A1 (zh) * 2020-12-11 2022-06-16 深圳先进技术研究院 基于混合2d卷积和伪3d卷积的立体匹配方法

Also Published As

Publication number Publication date
CN109816710B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
US11238602B2 (en) Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks
CN108615244B (zh) 一种基于cnn和深度滤波器的图像深度估计方法及系统
CN103440653A (zh) 双目视觉立体匹配方法
CN110276768B (zh) 图像分割方法、图像分割装置、图像分割设备及介质
CN104077808A (zh) 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法
CN113362247A (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
CN113888639B (zh) 基于事件相机与深度相机的视觉里程计定位方法及系统
CN110349186B (zh) 基于深度匹配的大位移运动光流计算方法
CN109146946A (zh) 一种图像非局部立体匹配方法
Li et al. ADR-MVSNet: A cascade network for 3D point cloud reconstruction with pixel occlusion
CN102447917A (zh) 立体图像匹配方法及其设备
Shivakumar et al. Real time dense depth estimation by fusing stereo with sparse depth measurements
CN109816710A (zh) 一种双目视觉系统高精度且无拖影的视差计算方法
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法
CN113140034A (zh) 基于房间布局的全景新视角生成方法、装置、设备和介质
WO2022120988A1 (zh) 基于混合2d卷积和伪3d卷积的立体匹配方法
CN108830890B (zh) 一种使用生成式对抗网络从单幅图像中估计场景几何信息的方法
CN107274448B (zh) 一种基于水平树结构的可变权重代价聚合立体匹配算法
CN106323190A (zh) 可定制深度测量范围的深度测量方法及深度图像的系统
CN116740488B (zh) 一种用于视觉定位的特征提取模型的训练方法及装置
CN115965961B (zh) 局部到全局的多模态融合方法、系统、设备及存储介质
CN112233149A (zh) 场景流的确定方法及装置、存储介质、电子装置
Le Besnerais et al. Dense height map estimation from oblique aerial image sequences
CN110390724B (zh) 一种带有实例分割的slam方法
CN104616304A (zh) 一种基于fpga的自适应支撑权重的立体匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant