CN101710426B - 一种深度图像跟踪方法 - Google Patents

一种深度图像跟踪方法 Download PDF

Info

Publication number
CN101710426B
CN101710426B CN2009102128329A CN200910212832A CN101710426B CN 101710426 B CN101710426 B CN 101710426B CN 2009102128329 A CN2009102128329 A CN 2009102128329A CN 200910212832 A CN200910212832 A CN 200910212832A CN 101710426 B CN101710426 B CN 101710426B
Authority
CN
China
Prior art keywords
image
depth
clr
depth image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009102128329A
Other languages
English (en)
Other versions
CN101710426A (zh
Inventor
戴琼海
黎政
曹汛
刘晓冬
刘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Jingxiang Digital Technology Co Ltd
Original Assignee
Wuxi Jingxiang Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Jingxiang Digital Technology Co Ltd filed Critical Wuxi Jingxiang Digital Technology Co Ltd
Priority to CN2009102128329A priority Critical patent/CN101710426B/zh
Publication of CN101710426A publication Critical patent/CN101710426A/zh
Application granted granted Critical
Publication of CN101710426B publication Critical patent/CN101710426B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种精确的深度图像跟踪的方法，属于计算机视觉立体视频领域。所述方法包括：获取两帧图像p、q以及p的深度图像，先使用改进的双边滤波算法得到q的估计深度图像，然后使用基于块匹配的运动补偿算法对q的估计深度图像进行修正，从而得到q的精确的深度图像。本发明可以得到很精确的深度图像，从而提高了立体视频制作的效率。

Description

一种深度图像跟踪方法
技术领域
本发明涉及一种立体视频制作中密集深度图像跟踪的方法，属于计算机视觉立体视频领域。
背景技术
随着计算机技术的发展，平面视频已经不能满足人们对世界表述的需要，立体视频的研究成为热点。
立体视频与普通的平面视频的最大不同点就在于立体视频包含了深度信息，也就是视频中对象离观察者的远近距离，而这在平面视频中是不可能办到的。然而在立体视频的制作中，深度图像的获取的代价也是很高的，所以研究如何利用有限的深度图像而得到更多的深度图像就显得很有必要。
目前的深度图像跟踪方法主要有两种，运动估计法和双边滤波法。其中运动估计法又包括基于运动图像专家组(MPEG)标准的块匹配法和光流法。块匹配法就是寻找相邻两幅图像中相似的块，根据相似块之间的位置差异(即运动)而得到深度图像中相应的块在下一帧中的位置。而光流法是利用图像像素点的时域变化来确定每个点的运动，光流法的计算结果就是图像中每一个点的运动矢量，根据每个点的运动矢量来确定当前帧的深度图像中一点在下一帧中的位置。双边滤波法是对当前帧中一点周围一定范围的每个像素计算一个权值，根据计算出的权值和当前帧深度图像中该范围内每个点的深度得到下一帧中该点的深度。
在本发明的实施过程中，发明人发现现有的技术存在以下的问题：由基于块匹配的运动估计法所跟踪得到的深度图存在很大的块效应，往往使得对象的边界变得曲曲折折，而基于光流法的运动估计方法所得到的深度图存在误匹配点，使得对象的边缘附近存在很多“雪花点”。现有的双边滤波法不存在块效应和误匹配的问题，但是它会使得对象的边缘模糊，比较明显的是出现像“彗尾”一样的狭长过渡区。
发明内容
本发明的目的是克服现有技术中存在的不足，提供一种精确的深度图像跟踪方法，使得深度跟踪的结果更精确。
按照本发明提供的技术方案，所述深度图像跟踪方法，首先获取两帧图像p、q以及图像p的深度图像；然后使用改进的双边滤波算法求得图像q的估计深度图像；再使用基于块匹配的运动补偿算法对所述图像q的估计深度图像进行运动补偿修正，得到精确的图像q的深度图像。
所述改进的双边滤波算法步骤如下：
a)计算图像q中点(i，j)的深度时，选取图像p中以坐标为(i，j)的点为中心，输入参数wsize为边长的正方形范围内的点(m，n)，计算图像p中点(m，n)与图像q中点(i，j)的颜色差clr_dist2；所述颜色差clr_dist2定义为RGB空间的欧氏距离的平方；
b)如果所述颜色差clr_dist2小于给定的阈值MAX_CLR_DIF，则根据该颜色差计算点(m，n)的权值weight(m，n，i，j)＝exp[-clr_dist2/(alpha*alpha)]*[1/(clr_dist2/(256*256)+1)]；
其中exp[-clr_dist2/(alpha*alpha)]是按照以e为底指数分布的权重分量，[1/(clr_dist2/(256*256)+1)]是按照双曲线分布的权重分量；
c)如果所述颜色差clr_dist2大于阈值MAX_CLR_DIF，则不予计算权值，权值默认为0，即过滤掉该点；
d)对图像p中所述正方形范围内每一个点的深度按照该点权重加权平均，得到图像q中点(i，j)的估计深度值。
所述基于块匹配的运动补偿算法步骤如下：
a)将图像q的估计深度图像分为大小相同的小块；
b)对于图像q的估计深度图像中的一个块，称为当前块，在图像p的深度图像中找到与当前块最相似的块；相似度度量函数为：cost＝sum_b(clr_dist*dep_dist)，即对图像p的深度图像中的块内的每一点计算颜色距离和深度距离的乘积，然后对所述图像p的深度图像中的块内所有点的所述乘积求和，cost越小表示越相似；所述颜色距离指图像p的深度图像中的块与所述当前块中对应点的颜色距离，所述深度距离指图像p的深度图像中的块与所述当前块中对应点的深度距离；
c)用图像p的深度图像中最相似的块的每一点的深度替代图像q的估计深度图像的当前块中对应点的深度。
本发明的优点是：本发明结合了双边滤波和运动补偿，可以避免块效应和雪花点效应，而且对双边滤波的模糊效应也有很大的改善效果，可以得到很精确的深度图像，提高了立体视频制作的效率。
附图说明
图1是本发明的示意图。
图2是本发明的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
在本实施案例中，相关参数的选择如下：alpha＝8，wsize＝9(该值与两帧图像的最大运动距离有关，运动越大，则该值应该越大)，MAX_CLR_DIF＝10000(该值与估计精度有关，取值过小将导致在双边滤波时存在很多点估计不到深度的情况，而取值太大将失去过滤效果)，运动补偿时块大小为8，运动搜索范围为20。wsize是算法输入参数，取值一般在3～19之间。alpha值用于衡量双边滤波的滤波程度，其值越小，颜色差越小的点的深度所占比重越大。
如图2所示，本发明具体实施步骤如下：
1、读入两帧彩色图像p和q(RGB三通道图像)，并读入图像p的深度图像(单通道图像)，深度图像为图像p中每一点的深度，离观察者最近的深度值为255，最远的深度值为0，如图1所示；
2、对于q中的每一点(i，j)，其颜色值为Color_q(i，j)，找到图像p中以(i，j)为中心，wsize为边长的正方形区域内的每一点(m，n)，记其颜色值为Color_p(m，n)，计算点(m，n)与点(i，j)之间的颜色距离：clr_dist2＝[R(i，j)-R(m，n)]2+[G(i，j)-G(m，n)]2+[B(i，j)-B(m，n)]2。
3、如果颜色距离clr_dist2小于给定的阈值MAX_CLR_DIF，则计算权值：weight(m，n，i，j)＝exp[-clr_dist2/(alpha*alpha)]*[1/(clr_dist2/(256*256)+1)]，否则权值weight(m，n，i，j)＝0，表示过滤掉该点。
所述阈值MAX_CLR_DIF是算法输入参数，它的取值范围是0～3*255*255，该参数的作用是限制滤波过程中与图像q中(i，j)点颜色差值太大的点的深度对点(i，j)深度的影响。取值为0时则不管颜色差是多少都将其深度考虑进来，而随着取值的增大，与(i，j)点颜色值差别很大的点的深度将不予考虑，而只考虑与点(i，j)颜色很相似的点的深度。如果该值取得太大，有可能造成上述正方形区域内没有点被考虑，这时候点(i，i)点的深度将不能被估计到，此时默认其深度为0，从而在最后的结果中呈现“黑色的空洞”。
4、对图像p的深度图像中以(i，j)为中心，wsize为边长的正方形区域内的每一点加权平均，权重即为步骤2中计算所得，从而得到q中点(i，j)的估计深度。
5、将q的估计深度图像分为8*8的小块，对每一个小块，在给定的搜索范围内使用块匹配的运动估计法(如全搜索算法、菱形搜索算法等方法)计算得到图像p的深度图像中与其最相似的小块，相似度度量函数定义为：cost＝sum_b(clr_dist*dep_dist)，其中clr_dist＝sqrt([R(x，y)-R(s，t)]2+[G(x，y)-G(s，t)]2+[B(x，y)-B(s，t)]2)，dep_dist＝abs(D(x，y)-D(s，t))，sum_b()表示对小块内的所有点求和，sqrt()表示对括号内的变量进行开方运算，abs()表示对括号内的变量进行求绝对值运算，R(x，y)、G(x，y)、B(x，y)、D(x，y)表示图像p中点(x，y)的红色、绿色、蓝色分量值以及图像p的深度图像中点(x，y)的值，R(s，t)、G(s，t)、B(s，t)、D(s，t)表示q图像中点(s，t)的红色、绿色、蓝色分量值以及q的估计深度图像中点(s，t)值。在搜索范围内取cost最小的块即为最相似的块。
6、用图像p的深度图像中最相似的小块的每一点的深度代替q的估计深度图像中当前块的相应点的深度，从而得到精确的q的深度图像。

Claims (2)

1.一种深度图像跟踪方法，其特征是：
首先获取两帧图像p、q以及图像p的深度图像；
然后使用改进的双边滤波算法求得图像q的估计深度图像；
再使用基于块匹配的运动补偿算法对所述图像q的估计深度图像进行运动补偿修正，得到精确的图像q的深度图像；
所述改进的双边滤波算法步骤如下：
a)计算图像q中点(i，j)的深度时，选取图像p中以坐标为(i，j)的点为中心，输入参数wsize为边长的正方形范围内的点(m，n)，计算图像p中点(m，n)与图像q中点(i，j)的颜色差clr_dist2；所述颜色差clr_dist2定义为RGB空间的欧氏距离的平方；
b)如果所述颜色差clr_dist2小于给定的阈值MAX_CLR_DIF，则根据该颜色差计算点(m，n)的权值：
weight(m，n，i，j)＝exp[-clr_dist2/(alpha*alpha)]*[1/(clr_dist2/(256*256)+1)]；
其中exp[-clr_dist2/(alpha*alpha)]是按照以e为底指数分布的权重分量，[1/(clr_dist2/(256*256)+1)]是按照双曲线分布的权重分量；
alpha值用于衡量双边滤波的滤波程度，其值越小，颜色差越小的点的深度所占比重越大；
c)如果所述颜色差clr_dist2大于阈值MAX_CLR_DIF，则不予计算权值，权值默认为0，即过滤掉该点；
d)对图像p中所述正方形范围内每一个点的深度按照该点权重加权平均，得到图像q中点(i，j)的估计深度值。
2.如权利要求1所述的深度图像跟踪方法，其特征是所述基于块匹配的运动补偿算法步骤如下：
a)将图像q的估计深度图像分为大小相同的小块；
b)对于图像q的估计深度图像中的一个块，称为当前块，在图像p的深度图像中找到与当前块最相似的块；相似度度量函数为：cost＝sum_b(clr_dist*dep_dist)，即对图像p的深度图像中的块内的每一点计算颜色距离和深度距离的乘积，然后对所述图像p的深度图像中的块内所有点的所述乘积求和，cost越小表示越相似；所述颜色距离指图像p的深度图像中的块与所述当前块中对应点的颜色距离，所述深度距离指图像p的深度图像中的块与所述当前块中对应点的深度距离；
c)用图像p的深度图像中最相似的块的每一点的深度替代图像q的估计深度图像的当前块中对应点的深度。
CN2009102128329A 2009-10-30 2009-10-30 一种深度图像跟踪方法 Expired - Fee Related CN101710426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009102128329A CN101710426B (zh) 2009-10-30 2009-10-30 一种深度图像跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009102128329A CN101710426B (zh) 2009-10-30 2009-10-30 一种深度图像跟踪方法

Publications (2)

Publication Number Publication Date
CN101710426A CN101710426A (zh) 2010-05-19
CN101710426B true CN101710426B (zh) 2011-08-24

Family

ID=42403211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102128329A Expired - Fee Related CN101710426B (zh) 2009-10-30 2009-10-30 一种深度图像跟踪方法

Country Status (1)

Country Link
CN (1) CN101710426B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074018B (zh) * 2010-12-22 2013-03-20 Tcl集团股份有限公司 一种基于深度信息的轮廓跟踪方法
CN102063725B (zh) * 2010-12-30 2013-05-08 Tcl集团股份有限公司 一种基于深度信息的多目标跟踪方法
CN102750711B (zh) * 2012-06-04 2015-07-29 清华大学 一种基于图像分割和运动估计的双目视频深度图求取方法
CN107465911B (zh) * 2016-06-01 2019-03-15 东南大学 一种深度信息提取方法及装置
CN107205144A (zh) * 2017-06-30 2017-09-26 努比亚技术有限公司 3d图像的合成方法及移动终端、存储介质
CN109819229B (zh) * 2019-01-22 2021-02-26 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448077A (zh) * 2008-12-26 2009-06-03 四川虹微技术有限公司 一种自适应视频图像3d降噪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448077A (zh) * 2008-12-26 2009-06-03 四川虹微技术有限公司 一种自适应视频图像3d降噪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Adnan Ansar et al..Enhanced Real-time Stereo Using Bilateral Filtering.《Proceedings of the 2nd International Symposium on 3D Data Processing,Visualization,and Transmission》.2004,全文. *
Jiangjian Xiao et al..Bilateral Filtering-Based Optical Flow Estimation with Occlusion Detection.《LNCS》.2006,第3951卷全文. *
龙红梅等.一种基于运动估计的3D视频降噪算法.《计算机与数字工程》.2009,第37卷(第6期),全文. *

Also Published As

Publication number Publication date
CN101710426A (zh) 2010-05-19

Similar Documents

Publication Publication Date Title
CN108682026B (zh) 一种基于多匹配基元融合的双目视觉立体匹配方法
US9374571B2 (en) Image processing device, imaging device, and image processing method
CN101710426B (zh) 一种深度图像跟踪方法
CN105023249B (zh) 基于光场的高光图像修复方法及装置
TWI483612B (zh) Converting the video plane is a perspective view of the video system
CN103996174B (zh) 一种对Kinect深度图像进行空洞修复的方法
CN109961506A (zh) 一种融合改进Census图的局部场景三维重建方法
CN102903098A (zh) 一种基于图像清晰度差异的深度估计方法
KR20130102626A (ko) 글로벌 모션에 기초한 심도 추정
KR101820673B1 (ko) 멀티 스레드 방식을 기반으로 하는 3ｄ 디스플레이를 위한 비디오 처리 방법
CN106997478B (zh) 基于显著中心先验的rgb-d图像显著目标检测方法
CN111091592A (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN103440662A (zh) Kinect深度图像获取方法与装置
JP6850751B2 (ja) 物体追跡装置、物体追跡方法、及びコンピュータプログラム
CN109859249B (zh) Rgbd序列中基于自动分层的场景流估计方法
CN106447718B (zh) 一种2d转3d深度估计方法
US10074209B2 (en) Method for processing a current image of an image sequence, and corresponding computer program and processing device
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
JP2006270301A (ja) シーンチェンジ検出装置およびシーンチェンジ検出プログラム
CN104159098B (zh) 一种视频的时域一致性半透明边缘提取方法
JP5914046B2 (ja) 画像処理装置および画像処理方法
EP3616399B1 (en) Apparatus and method for processing a depth map
Mathai et al. Automatic 2D to 3D video and image conversion based on global depth map
CN104537637A (zh) 一种单幅静态图像深度估计方法及装置
Brosch et al. Segmentation-based depth propagation in videos

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110824

Termination date: 20131030