CN105701787B - 基于置信度的深度图融合方法 - Google Patents

基于置信度的深度图融合方法 Download PDF

Info

Publication number
CN105701787B
CN105701787B CN201610026936.0A CN201610026936A CN105701787B CN 105701787 B CN105701787 B CN 105701787B CN 201610026936 A CN201610026936 A CN 201610026936A CN 105701787 B CN105701787 B CN 105701787B
Authority
CN
China
Prior art keywords
depth
confidence level
depth map
point
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610026936.0A
Other languages
English (en)
Other versions
CN105701787A (zh
Inventor
刘怡光
董鹏飞
曹丽萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201610026936.0A priority Critical patent/CN105701787B/zh
Publication of CN105701787A publication Critical patent/CN105701787A/zh
Application granted granted Critical
Publication of CN105701787B publication Critical patent/CN105701787B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出了一种基于置信度的深度图融合方法。由于匹配信息弱或噪声影响，深度计算精度难以保证，从而导致深度图融合变得困难。为此，本发明提出了一种基于置信度的抗噪融合算法。该方法首先对每幅深度图进行修正，利用一致性检测剔除大多数错误点并填补某些空洞。其次，通过保留那些在自身邻域内具有最高置信度的三维点以删除冗余。最后，将深度图反投影到三维空间，采用迭代最小二乘法进一步优化三维点并剔除离群点。通过在标准测试数据集上与其他算法比较，验证了该方法的有效性。

Description

基于置信度的深度图融合方法
技术领域
本发明设计一种深度图融合方法，该方法是一种基于置信度的深度图融合方法。
背景技术
多目立体视觉(Multiple View Stereo,MVS)三维重建的目的是通过多幅图像恢复出场景的三维模型，它是计算机视觉领域中一个非常重要的研究课题，并已受到越来越多的关注。MVS算法可以分为基于体素的方法、基于特征点扩展的方法、基于表面演化的方法和基于深度图融合的方法四类。在这些算法中，基于深度图融合的方法具有更高的灵活性，更适用于大多数场景的三维重建。
基于深度图融合的三维重建算法一般包含两个步骤：深度图计算和深度图融合。目前，已有许多研究者，比如Goesele、Bradley等，在深度图计算方面做出了杰出的工作。但值得注意的是，三维模型重建精度直接依赖于深度图的计算精度，而由于受到摄像机噪声、图像畸变以及匹配误差等因素的影响，深度图的计算不可能达到很高的准确性，导致三维模型与实际情况有偏差。
发明内容
提出了一种基于置信度的深度图融合方法，可以比较准确地融合被噪声干扰的深度图。该方法充分考虑深度图之间的一致性，并以此为基础对原始深度图进行修正。同时，又依据影响深度计算的各种因素获得每个3D点的置信度，从而删除冗余信息。最后，从整体考虑对三维模型进行过滤，提高模型的重建精度。该方法将图像序列以及对应的深度图和摄像机参数作为输入，最终输出一个具有法向量的稠密三维点云。该方法包含三个步骤：
(1)深度图修正，由于深度的计算误差，原始深度图可能不会完全与其他深度图在共有区域相匹配，因此就需要对原始深度进行修正增强一致性。将待修正深度图所对应的图像作为参考图像，记为R。选出与之相关联的图像集，记为CR。为描述方便，设PI(p)为图像I中p像素点所对应的3D点，DI(PI(p))为PI(p)相对于图像I的深度。对于参考图像R中的每个像素位置pr，可以获得三个与之相关的3D点PR(pr)，PI(pi)，PI(pr→i)，其中I表示CR中某一图像。为获得PR(pr)，将pr处像素点根据深度值反投影到三维空间。为获得PI(pi)，将图像I中所有像素点反投影到三维空间，将能投影到pr处并且距离图像R最近的3D点作为PI(pi)。为获取PI(pr→i)，将PR(pr)投影到图像I中得到投影点pr→i，然后将此点反投影到三维空间获得PI(pr→i)。最后，便可获得与待修正图像R中pr处像素点相关的待定深度DR(PR(pr))，DR(PI(pi))，DR(PI(pr→i))。依据实际情况，如果图像R和I可以看到同一个3D点，换句话说，如果DR(PR(pr))与DR(PI(pi))之间的相对差足够小，且DI(PR(pr))与DI(PI(pr→i))之间的相对差也足够小，那么便可判定图像R在pr处与图像I连续。否则，便可断定在此处是不连续的。定义图像R在pr处的一致性比率RR(pr)如下述公式:
如果判定图像R在pr处与图像I连续，则cI,1(pr)被设置为1。否则，便被设置为0，此时若DR(PR(pr))>DR(PI(pi))，cI,2(pr)被设为1，若DI(PI(pr→i))>DI(PR(pr))，cI,3(pr)便被设置为1。除此之外的其他情况，这三个标志全部设置为0。丢弃那些一致性比率小于特定的阈值t1的深度信息，因为较低的一致性比率意味着深度估计有很大可能是错误的。然后，利用下述公式得到d*，用来代替原始深度。
对于深度图像R中每个无深度信息的像素p'r，收集所有能投影到p'r处的3D点P组成集合P*，I∈CR。如果在P*中存在足够多的点，那么便可以利用这些点按照下述公式来估计p'r处的深度信息，否则，便不做任何处理。
上式中表示集合P*中所有可得到的3D点P总和的平均值，t2表示特定阈值。在估计出了p'r处对应的3D点之后，又采用了主成分分析法(PCA来估计出场景表面在此点处的法向量。最后，为了确保准确性，在填补完空洞之后对所有深度图按照所述方法进行再次修正。
(2)删除冗余。深度图修正之后可能存在大量冗余信息，通过保留那些在自身邻域内具有最高置信度的3D点来达到删除冗余的目的。首先将所有深度图像反投影到三维空间中，并赋予每个3D点P’一个置信度。置信度是对深度计算准确性的衡量，置信度越高，那么计算的深度值就越可信。一般来说，置信度的计算主要由三个部分组成:1)判断一个3D点P'是否准确最直观的准则就是匹配误差，而匹配误差通过NCC(Normalized cross-correlation标准化互相关)计算出，匹配误差越小，那么得到的3D点就越精确。因此，可以将匹配权重作为衡量置信度的指标之一。2)场景离摄像机中心的距离也对3D点的重建产生一定影响。场景距离摄像机中心越近，场景的细节信息保留的越完整，重建的3D点也就越准确，因此，可以将距离权重作为衡量置信度的指标之二。3)另外，在深度估计中存在两个非常重要的夹角。其中一个是场景的视角方向与对应摄像机基轴的夹角，记为θ1，另一个是场景视角与场景表面法向量之间的夹角，记为θ2。当这两个夹角越接近于零，深度估计得也就越准确。因此，可以将角度权重作为衡量置信度的指标之三。考虑以上所有的因素，最终可以定义每个3D点的置信度计算公式
对于由图像R中处于pr的像素点获得的3D点P'来说，首先利用下述公式找到与P'互为冗余的3D点集，记为根据上述公式计算中所有点的置信度，保留其中置信度最大的3D点，删除其余点。
但是，为防止误删正确的3D点，如果已经保留了某个点，那么在接下来的删除冗余过程中就要一直保留此点。
(3)深度图融合。在所有深度图修正之后，将它们反投影到三维空间中，获取三维模型，并通过迭代的方法进一步消除离群点获取精确的三维模型。在前面两步的过程中，每次只对一幅深度图单独进行过滤，这就导致无法完全剔除离群点和冗余点。那么接下来将从整体考虑对三维模型进行优化，提高重建的精确度。首先将所有深度图中具有深度信息的像素点反投影到三维空间中去，得到初始三维模型C。为了进一步删除冗余信息和提高算法效率，对初始点云进行一次降采样。首先，假设一个3D点P由图像I中某个像素点得到，定义P的影响半径。
其中，VI表示以I所对应摄像机中心为起点，以P为终点的向量。PRI表示I所对应摄像机的轴线，fI表示I所对应摄像机的焦距。然后，循环初始点云中所有点，只保留那些置信度在其影响半径内所有点中最大的3D点。在降采样后，利用迭代最小二乘法来对点云进行整体优化，具体优化过程为，任取点云中一点P，令nP为它的法向量，NP为落入P两倍影响半径内的3D点组成的集合，初始值P0＝P，对其进行迭代优化，优化过程如下述公式所示。在经过最大的迭代次数k之后，如果能收敛到NP范围内，则用Pk代替原来的P，如此，直至所有3D点全部优化完毕。

Claims (1)

1.一种基于置信度的深度图融合方法，该方法充分考虑深度图之间的一致性，并以此为基础对原始深度图进行修正，同时，又依据影响深度计算的各种因素获得每个三维点的置信度，从而删除冗余信息，最后，从整体考虑对三维模型进行过滤，提高模型的重建精度，具体步骤为：
(1)获取待定深度，通过一系列投影与反投影获得与每个像素相关的待定深度；
(2)一致性检测，通过下述公式①获得在待修正深度图的像素点处的一致性比率
(3)深度值更新，通过下述公式②利用上述步骤(1)(2)对一致性比率大于特定值的深度进行更新
(4)空洞填补，通过下述公式③对深度值更新后的深度图中无深度信息的像素点进行填补
(5)定义置信度，利用下述公式④通过匹配误差、场景离摄像机中心的距离以及场景视角等因素定义三维点的置信度
(6)删除冗余，通过那些由深度更新后的深度图像的像素点反投影到三维空间获得的3D点邻域内保留具有最高置信度的3D点，以删除冗余；
(7)深度图融合，将所有深度图中具有深度信息的像素点反投影到三维空间中去，得到初始三维模型，然后对得到的初始三维模型进行降采样，降低基于置信度的深度图融合算法复杂度，通过迭代最小二乘法从整体对降采样后的点云进行过滤；
通过步骤(1)(2)(3)(4)(5)(6)(7)对原始深度图进行融合。
CN201610026936.0A 2016-01-15 2016-01-15 基于置信度的深度图融合方法 Expired - Fee Related CN105701787B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610026936.0A CN105701787B (zh) 2016-01-15 2016-01-15 基于置信度的深度图融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610026936.0A CN105701787B (zh) 2016-01-15 2016-01-15 基于置信度的深度图融合方法

Publications (2)

Publication Number Publication Date
CN105701787A CN105701787A (zh) 2016-06-22
CN105701787B true CN105701787B (zh) 2019-04-12

Family

ID=56227381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610026936.0A Expired - Fee Related CN105701787B (zh) 2016-01-15 2016-01-15 基于置信度的深度图融合方法

Country Status (1)

Country Link
CN (1) CN105701787B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184603B (zh) * 2019-07-04 2022-06-24 浙江商汤科技开发有限公司 一种点云融合方法、装置、电子设备和计算机存储介质
CN110390689B (zh) * 2019-07-11 2021-07-30 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备
CN110458952B (zh) * 2019-08-19 2022-07-15 江苏濠汉信息技术有限公司 一种基于三目视觉的三维重建方法和装置
CN110675440B (zh) * 2019-09-27 2022-07-12 深圳市易尚展示股份有限公司 三维深度数据的置信度评估方法、装置和计算机设备
CN112907463A (zh) * 2021-01-28 2021-06-04 华南理工大学 联合图像语义和三维信息的深度图像错误点移除方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020606A (zh) * 2012-12-27 2013-04-03 北京大学 一种基于时空上下文信息的行人检测方法
US8447098B1 (en) * 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching
CN103702098A (zh) * 2013-12-09 2014-04-02 上海交通大学 一种时空域联合约束的三视点立体视频深度提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8447098B1 (en) * 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching
CN103020606A (zh) * 2012-12-27 2013-04-03 北京大学 一种基于时空上下文信息的行人检测方法
CN103702098A (zh) * 2013-12-09 2014-04-02 上海交通大学 一种时空域联合约束的三视点立体视频深度提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multi-View Depth Map Estimation With Cross-View Consistency;Wei J等;《Proceedings of the British Machine Vision Conference》;20141231;第1-13页
Scale robust multi-view stereo;Christian Bailer等;《Proceedings of the 12th Europen Conference on Computer Vision》;20121231;第398-411页

Also Published As

Publication number Publication date
CN105701787A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
CN105701787B (zh) 基于置信度的深度图融合方法
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
US10706567B2 (en) Data processing method, apparatus, system and storage media
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN107886477A (zh) 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法
US9959625B2 (en) Method for fast camera pose refinement for wide area motion imagery
CN105160702A (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及系统
US20170272724A1 (en) Apparatus and method for multi-view stereo
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN113888639B (zh) 基于事件相机与深度相机的视觉里程计定位方法及系统
CN108399631B (zh) 一种尺度不变性的倾斜影像多视密集匹配方法
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、系统及无人机
Bethmann et al. Semi-global matching in object space
CN113052880B (zh) 一种sfm稀疏重建方法、系统及应用
CN106289188A (zh) 一种基于多视角航空影像的测量方法及系统
CN104715504A (zh) 一种鲁棒的大场景稠密三维重建方法
CN102447917A (zh) 立体图像匹配方法及其设备
CN111127522A (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
CN113989758A (zh) 一种用于自动驾驶的锚引导3d目标检测方法及装置
Shivakumar et al. Real time dense depth estimation by fusing stereo with sparse depth measurements
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
Ahmadabadian et al. Stereo‐imaging network design for precise and dense 3D reconstruction
CN106447709A (zh) 一种快速高精度双目视差匹配方法
Jaw et al. Building roof reconstruction by fusing laser range data and aerial images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Yiguang

Inventor after: Feng Jingming

Inventor after: Xu Zhenyu

Inventor after: Dong Pengfei

Inventor after: Cao Liping

Inventor before: Liu Yiguang

Inventor before: Dong Pengfei

Inventor before: Cao Liping

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190412

Termination date: 20200115