CN107392943A - 基于多尺度权重引导滤波的视差精炼算法 - Google Patents

基于多尺度权重引导滤波的视差精炼算法 Download PDF

Info

Publication number
CN107392943A
CN107392943A CN201710575966.1A CN201710575966A CN107392943A CN 107392943 A CN107392943 A CN 107392943A CN 201710575966 A CN201710575966 A CN 201710575966A CN 107392943 A CN107392943 A CN 107392943A
Authority
CN
China
Prior art keywords
refining
disparity map
parallax
reference picture
guiding filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710575966.1A
Other languages
English (en)
Other versions
CN107392943B (zh
Inventor
朱程涛
李锵
滕建辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710575966.1A priority Critical patent/CN107392943B/zh
Publication of CN107392943A publication Critical patent/CN107392943A/zh
Application granted granted Critical
Publication of CN107392943B publication Critical patent/CN107392943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于多尺度权重引导滤波的视差精炼算法，包括下列步骤：将参考图像IR_0记为第0尺度层下的参考图像，对其进行基于权重引导滤波式的多尺度分解，得到Nmax+1个不同尺度层下的参考图像IR_n，对待精炼的视差图D0进行2n倍率的下采样，得到不同采样率下的视差图Dn；将第n尺度层参考图像IR_n作为引导图像，对相应的视差图Dn采用基于权重引导滤波的视差精炼方法进行精炼，得到相应的精炼视差图DR_n，并对除n＝0外的DR_n进行2n倍率的上采样生成上采样后的精炼视差图计算得到视差精炼分布信息；计算匹配代价c，对匹配代价c采样基于权重引导滤波的立体匹配算法进行聚合匹配，得到最终的精炼视差图D。

Description

基于多尺度权重引导滤波的视差精炼算法
技术领域
本发明涉及计算机立体视觉领域中的立体匹配，涉及一种视差精炼算法，可用于图像的三维重建，在医学图像、媒体设备等中提供指导。
背景技术
立体视觉技术旨在模拟人类视觉系统，使用计算机帮助人类完成各种复杂的工作。立体匹配技术是立体视觉技术的核心。对于立体匹配技术的研究，能够大大增强计算机或机器人对环境的感知与认识能力，使得机器人能够更好的适应环境、更加智能，从而能够更好的为人类服务。
立体匹配技术主要分为四大步骤，分别是匹配代价的计算、匹配代价的聚合、视差的计算、视差的精炼。其中视差的精炼是影响立体匹配精度的关键步骤之一。现阶段常用的视差精炼算法是基于权重引导滤波算法，通过使用引导滤波的方式对待精炼的视差图进行保边缘滤波后再进行中值滤波。上述方法只利用了单一尺度的图像信息而未考虑到图像在不同尺度空间的差异，且使用的引导滤波在保边缘的效果上存在一定的缺陷。因此，基于权重引导滤波的视差精炼方法获得的精度有限。
对于匹配精度要求较高的应用场合，除了采用匹配性能良好的立体匹配算法外还需要采用高精度的视差精炼算法。近年来，图像滤波理论的发展为获得高精度的视差精炼效果提供了理论基础。
发明内容
本发明针对传统的视差精炼算法存在的问题提出一种基于多尺度权重引导滤波的视差精炼算法，首先对参考图像进行基于权重引导滤波式的多尺度分解，并利用各尺度层的分解结果对采样后的视差图进行迭代精炼，最终获得高精度的精炼效果，本发明的技术方案如下：
一种基于多尺度权重引导滤波的视差精炼算法，包括下列步骤：
(1)将参考图像IR_0记为第0尺度层下的参考图像，然后对IR_0进行基于权重引导滤波式的多尺度分解，得到Nmax+1个不同尺度层下的参考图像IR_n，其中n为尺度层编号且n∈{0,1,2,…,Nmax}，同时对待精炼的视差图D0进行2n倍率的下采样，得到不同采样率下的视差图Dn；
(2)将第n尺度层参考图像IR_n作为引导图像，对相应的视差图Dn采用基于权重引导滤波的视差精炼方法进行精炼，得到相应的精炼视差图DR_n，并对除n＝0外的DR_n进行2n倍率的上采样生成上采样后的精炼视差图
(3)根据公式计算得到视差精炼分布信息Γ，e为自然底数，α为常数；
(4)根据公式计算匹配代价c，其中d为视差搜索值，然后对匹配代价c采样基于权重引导滤波的立体匹配算法进行聚合匹配，得到最终的精炼视差图D。
总之，本发明针对传统的单一尺度基于权重中值滤波视差精炼算法存在的不足,提出一种基于多尺度权重引导滤波的视差精炼算法，将权重引导滤波方法与多尺度精炼方法相结合实现高精度视差精炼效果。本发明能够获得更为精准的视差精炼效果，有着广泛的应用前景。
附图说明
图1本发明的基于多尺度权重引导滤波的视差精炼算法流程图。
图2为传统的基于权重中值滤波的视差精炼算法与本发明对待精炼的“Recycle”视差图进行视差精炼得到的对比结果，(a)为Recycle左图，(b)为采用传统的窗口聚合立体匹配算法得到的待精炼视差图(红色区域为误匹配区域)，(c)为传统的基于权重中值滤波的视差精炼算法得到精炼后的视差图(红色区域为误匹配区域)，(d)为本发明得到精炼后的视差图(红色区域为误匹配区域)。
具体实施方式
本发明基于多尺度权重引导滤波的视差精炼算法，主要由四部分组成：参考图像的多尺度分解、各尺度层的视差精炼、视差精炼分布信息的计算、匹配代价的更新聚合。具体步骤和原理如下：
101：参考图像IR_0的多尺度分解及待精炼视差图D0的下采样；
为保持多尺度分解后的图像在边缘处具有良好的保边缘特性，本发明采用基于权重引导滤波的方式对参考图像IR_0进行滤波后下采样以完成多尺度分解，得到一系列不同尺度层下的参考图像IR_n(n＝0,1,2,…,Nmax，n为尺度层编号，Nmax为最大尺度层编号)，同时对待精炼的视差图D0进行2n倍率的下采样，得到一系列不同采样率下的视差图Dn。
Dn＝fdown(D0,2n)
其中fdown代表下采样操作；j为以i为中心像素点，尺寸为ωi的窗口内任意像素点，|ωi|为窗口ωi内的像素数；ωj为以j为中心像素点，邻域像素点组成的窗口，|ωj|为窗口ωj内的像素数；k为ωi与ωj的交集内的任意像素点；p为以k为中心像素点，尺寸为ωk的窗口内任意像素点，|ωk|为窗口ωk内的像素数；Vn(j)为权重引导滤波在j处的权重(以为IR_n引导图像)，T代表矩阵的转置操作，λ为常数其值为1/128，μk为k点所在窗口内的像素点平均值；∑k为k点的标准差；Wk为k点的结构信息值，σ2为图像IR_n在3×3矩阵窗口内的方差，ε0为常数，取为(0.001×256)2。
102：各尺度层的视差精炼；
将第n尺度层参考图像IR_n作为引导图像，对相应的视差图Dn采用基于权重引导滤波的视差精炼方法进行精炼，得到相应的精炼视差图DR_n，并对除n＝0外的DR_n进行2n倍率的上采样生成上采样后的精炼视差图
其中fmed代表中值滤波操作；fup代表上采样操作；z为中心像素点，t为以z为中心像素点，尺寸为ωz的窗口内任意像素点；V0(t)为权重引导滤波在t处的权重(以为IR_0引导图像)；δ为分段函数，d为视差搜索值，dmin、dmax分别为视差搜索最小、最大值。
103：视差精炼分布信息Γ的计算；
比较及DR_0的值，得到视差精炼分布信息Γ：
其中α为常数，Γ值越大说明各尺度层精炼结果越相近。
104：匹配代价更新及最终精炼。
将视差精炼分布信息Γ与视差图DR_0进行结合，生成新的匹配代价c，对新的匹配代价采样基于权重引导滤波的立体匹配算法进行匹配，得到最终的视差精炼图D：
其中iI为参考图像IR_0内任意像素点；b为以iI为中心像素点，尺寸为的窗口内任意像素点；c(iI,d)为像素点iI在视差搜索值为d时的匹配代价；V0(b)为权重引导滤波在b处的权重(以为IR_0引导图像)；DΓ为经过WTA(Winner Takes All)策略得到的视差图；D为最终得到的精炼视差图。
下面以具体的试验来验证本方法的可行性，详见下文描述：
试验结果均为本方法在CPU为Intel i7-3610QM，2.3GHz，内存为16G的笔记本电脑上运行所得，操作系统为Windows 7，仿真软件为64位Matlab R2012b。试验采用的图对‘Adirondack’为标准测试图来源于http://vision.middlebury.edu/stereo/eval3/。
从图2可以看出，待精炼视差图存在较多的误匹配点，传统的基于权重中值滤波的视差精炼算法可以消除一些误匹配点，但精炼的精度有限，而采用本发明得到的精炼效果图的误匹配点较传统算法少，因此视差精炼的精度更高。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本发明的具体流程如下：
(1)将参考图像IR_0记为第0尺度层下的参考图像，然后对IR_0进行基于权重引导滤波式的多尺度分解，得到Nmax+1个不同尺度层下的参考图像IR_n，其中n为尺度层编号且n∈{0,1,2,…,Nmax}，同时对待精炼的视差图D0进行2n倍率的下采样，得到不同采样率下的视差图Dn；
(2)将第n尺度层参考图像IR_n作为引导图像，对相应的视差图Dn采用基于权重引导滤波的视差精炼方法进行精炼，得到相应的精炼视差图DR_n，并对除n＝0外的DR_n进行2n倍率的上采样生成上采样后的精炼视差图
(3)根据公式计算得到视差精炼分布信息Γ，e为自然底数，α为常数；
(4)根据公式计算匹配代价c，其中d为视差搜索值，然后对匹配代价c采样基于权重引导滤波的立体匹配算法进行聚合匹配，得到最终的精炼视差图D。

Claims (1)

1.一种基于多尺度权重引导滤波的视差精炼算法，包括下列步骤：
(1)将参考图像IR_0记为第0尺度层下的参考图像，然后对IR_0进行基于权重引导滤波式的多尺度分解，得到Nmax+1个不同尺度层下的参考图像IR_n，其中n为尺度层编号且n∈{0,1,2,…,Nmax}，同时对待精炼的视差图D0进行2n倍率的下采样，得到不同采样率下的视差图Dn；
(2)将第n尺度层参考图像IR_n作为引导图像，对相应的视差图Dn采用基于权重引导滤波的视差精炼方法进行精炼，得到相应的精炼视差图DR_n，并对除n＝0外的DR_n进行2n倍率的上采样生成上采样后的精炼视差图
(3)根据公式计算得到视差精炼分布信息Γ，e为自然底数，α为常数；
(4)根据公式计算匹配代价c，其中d为视差搜索值，然后对匹配代价c采样基于权重引导滤波的立体匹配算法进行聚合匹配，得到最终的精炼视差图D。
CN201710575966.1A 2017-07-14 2017-07-14 基于多尺度权重引导滤波的视差精炼方法 Active CN107392943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710575966.1A CN107392943B (zh) 2017-07-14 2017-07-14 基于多尺度权重引导滤波的视差精炼方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710575966.1A CN107392943B (zh) 2017-07-14 2017-07-14 基于多尺度权重引导滤波的视差精炼方法

Publications (2)

Publication Number Publication Date
CN107392943A true CN107392943A (zh) 2017-11-24
CN107392943B CN107392943B (zh) 2020-06-16

Family

ID=60339673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710575966.1A Active CN107392943B (zh) 2017-07-14 2017-07-14 基于多尺度权重引导滤波的视差精炼方法

Country Status (1)

Country Link
CN (1) CN107392943B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830818A (zh) * 2018-05-07 2018-11-16 西北工业大学 一种快速多聚焦图像融合方法
CN110084841A (zh) * 2019-04-29 2019-08-02 优乐圈(武汉)科技有限公司 一种基于log算子的加权引导图滤波立体匹配算法
WO2021114871A1 (zh) * 2019-12-13 2021-06-17 上海肇观电子科技有限公司 视差确定方法、电子设备及计算机可读存储介质
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156957A (zh) * 2014-08-06 2014-11-19 昆山天工智能科技有限公司 一种稳定高效的高分辨率立体匹配方法
US20150178936A1 (en) * 2013-12-20 2015-06-25 Thomson Licensing Method and apparatus for performing depth estimation
US9111342B2 (en) * 2010-07-07 2015-08-18 Electronics And Telecommunications Research Institute Method of time-efficient stereo matching
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN106530247A (zh) * 2016-11-04 2017-03-22 天津大学 一种基于结构信息的多尺度图像修复算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111342B2 (en) * 2010-07-07 2015-08-18 Electronics And Telecommunications Research Institute Method of time-efficient stereo matching
US20150178936A1 (en) * 2013-12-20 2015-06-25 Thomson Licensing Method and apparatus for performing depth estimation
CN104156957A (zh) * 2014-08-06 2014-11-19 昆山天工智能科技有限公司 一种稳定高效的高分辨率立体匹配方法
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN106530247A (zh) * 2016-11-04 2017-03-22 天津大学 一种基于结构信息的多尺度图像修复算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KANG ZHANG ET AL: "Cross-Scale Cost Aggregation for Stereo Matching", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
ZHU CHENG-TAO ET AL: "Efficient Stereo Matching with Decoupled Dissimilarity Measure Using Successive Weighted Summation", 《MATHEMATICAL PROBLEMS IN ENGINEERING 》 *
张华 等: "基于跨尺度变窗口代价聚合的快速立体匹配", 《计算机工程与应用》 *
朱娜: "基于暗原色先验的图像去雾技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830818A (zh) * 2018-05-07 2018-11-16 西北工业大学 一种快速多聚焦图像融合方法
CN110084841A (zh) * 2019-04-29 2019-08-02 优乐圈(武汉)科技有限公司 一种基于log算子的加权引导图滤波立体匹配算法
WO2021114871A1 (zh) * 2019-12-13 2021-06-17 上海肇观电子科技有限公司 视差确定方法、电子设备及计算机可读存储介质
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity

Also Published As

Publication number Publication date
CN107392943B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN107392943A (zh) 基于多尺度权重引导滤波的视差精炼算法
CN108765363B (zh) 一种基于人工智能的冠脉cta自动后处理系统
US20170277977A1 (en) Image classifying apparatus, image classifying method, and image classifying program
CN111524106A (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN105139004A (zh) 基于视频序列的人脸表情识别方法
CN107895377A (zh) 一种前景目标提取方法、装置、设备及存储介质
CN105574527A (zh) 一种基于局部特征学习的快速物体检测方法
CN108229364A (zh) 建筑物轮廓生成方法、装置、计算机设备及存储介质
CN107507232A (zh) 基于多尺度迭代的立体匹配算法
WO2021114636A1 (zh) 基于多模态数据的病灶分类方法、装置、设备及存储介质
Wang et al. Bi-channel image registration and deep-learning segmentation (BIRDS) for efficient, versatile 3D mapping of mouse brain
CN104484886A (zh) 一种mr图像的分割方法及装置
CN113066025B (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN103955945A (zh) 基于双目视差和活动轮廓的自适应彩色图像分割方法
CN110046116A (zh) 一种张量填充方法、装置、设备及存储介质
CN105761270A (zh) 一种基于外极线距离变换的树型滤波立体匹配方法
CN109703465A (zh) 车载图像传感器的控制方法和装置
CN107590782A (zh) 一种基于全卷积网络的高分辨率光学图像厚云去除方法
CN103679764B (zh) 一种图像生成方法及装置
CN107564045A (zh) 基于梯度域引导滤波的立体匹配算法
Shah et al. EMED-UNet: an efficient multi-encoder-decoder based UNet for medical image segmentation
CN105374043B (zh) 视觉里程计背景过滤方法及装置
Liu et al. Joint estimation of depth and motion from a monocular endoscopy image sequence using a multi-loss rebalancing network
Laves et al. Deep-learning-based 2.5 D flow field estimation for maximum intensity projections of 4D optical coherence tomography
DE102019102903A1 (de) Anpassung einer Charakteristik eines Erweiterte-Realität-Inhalts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant