CN104125446A - 一种视频图像2d转3d中优化处理深度图的方法和装置 - Google Patents

一种视频图像2d转3d中优化处理深度图的方法和装置 Download PDF

Info

Publication number
CN104125446A
CN104125446A CN201310153656.2A CN201310153656A CN104125446A CN 104125446 A CN104125446 A CN 104125446A CN 201310153656 A CN201310153656 A CN 201310153656A CN 104125446 A CN104125446 A CN 104125446A
Authority
CN
China
Prior art keywords
scene
gray value
frame source
contrast
source images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310153656.2A
Other languages
English (en)
Inventor
黄强
徐瀚杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruizhi Semiconductor (shanghai) Co Ltd
Original Assignee
Ruizhi Semiconductor (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruizhi Semiconductor (shanghai) Co Ltd filed Critical Ruizhi Semiconductor (shanghai) Co Ltd
Priority to CN201310153656.2A priority Critical patent/CN104125446A/zh
Publication of CN104125446A publication Critical patent/CN104125446A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

一种视频图像2D转3D中优化处理深度图的方法和装置,主要对由基于运动估计和运动矢量而生成的深度图进行对比度提升处理,具体包括当前帧源图像与前一帧源图像之间的场景连贯度检测、当前帧源图像场景自然度检测、有效深度图区域内的对比度分化阈值计算和深度图对比度提升处理等步骤,以此提高所生成深度图中运动物体与背景灰度值的对比度,使渲染出来的3D视差图像效果更理想,同时基于场景连贯度和场景自然度的对比度处理可以使图像处理芯片的计算开销保持在合理的范围之内。

Description

一种视频图像2D转3D中优化处理深度图的方法和装置
技术领域
本发明涉及一种视频图像2D转3D中提升深度图质量的方法,尤其涉及一种基于场景连贯度和场景自然度的对比度优化的方法,大大提高了深度图的对比度,并且保持芯片计算开销在合理范围之内。
背景技术
在视频图像2D转3D的过程中,主要分为两个大的环节:深度图像的提取、3D视差图像的渲染。其中深度图像的提取是视频图像2D转3D计算过程中的重点和难点,如果不对所提取的深度图进行严格的优化处理,那么由此深度图渲染而成的3D视差图像产生的3D视觉效果将大打折扣。
一些传统的深度图优化处理方法主要是对深度图进行简单的低通滤波处理,虽然这种方法在一定程度上可以改善深度图的高频噪声,让深度图在一定程度上均衡统一。但是经过试验发现在深度图中运动物体的灰度值与背景的灰度值对比度不明显,对比度小的深度图渲染出来的3D视差图像中运动物体与背景的景深差距就小,3D视觉效果很不理想。目前对深度图进行优化处理的方法和手段各种各样,但这众多技术之中大都存在严重的缺点,要么对比度提升不明显,要么计算量太大而无法实时处理,这样就很难达到实际生产的需求。
中国专利ZL200910151710.3提供了一种生成深度图的方法,此方法利用显著性图生成模块和3D结构匹配模块,分别生成两路深度图,通过这两路深度图合成初始深度图,最后对深度图进行空域和时域的平滑滤波,得到最终深度图。可以发现该方法的主要不足之处在于:对深度图进行空域和时域的平滑滤波操作仍然是简单的低通滤波处理,深度图的对比度仍然没有改善。
本发明将对由基于运动估计和运动矢量深度图生成装置而生成的深度图进行严格的对比度提升处理。具体包括当前帧源图像与前一帧源图像之间的场景连贯度检测、当前帧源图像场景自然度检测、有效深度图区域内的对比度分化阈值计算和深度图对比度提升处理等环节。可以看出发明所示提升深度图质量的方法效果明显、运算量适中,大大弥补了原专利文献的缺点和不足。
发明内容
针对上述提及的技术问题,本发明提出一种2D转3D中提升深度图质量的方法,所述方法主要包括:初始深度图计算、当前帧源图像与前一帧源图像之间的场景连贯度检测、当前帧源图像场景自然度检测、有效深度图区域内的对比度分化阈值计算和深度图对比度提升处理等五部分,其中由运动估计和运动矢量计算初始深度图为现有技术,本说明书将不再详细介绍,下面重点介绍其余四个部分:
如图1所示的提升深度图质量的方法之流程图,本发明所揭示的方法会自动根据场景连贯度的大小(场景连贯度阈值)情况判断深度图对比度提升处理过程中是选用当前帧的对比度分化阈值还是选用前一帧的对比度分化阈值。简单的说,当前场景连贯度较大时选用前一帧的对比度分化阈值,场景连贯度较小时重新计算当前帧的对比度分化阈值,这种基于场景连贯度的选择性处理可以在一定程度上有效降低图像处理芯片的运算量,提高运算处理速度。
具体而言,场景连贯度检测包含:检测至少一个当前帧源图像像素点的灰度值大小,检测至少一个前一帧源图像的灰度值大小,计算前一帧源图像灰度值与后一帧源图像灰度值差值的绝对值与一固定常数对比,并针对所述当前帧源图像所有像素点重复所述的灰度值检测与所述弧度制差值的绝对值与所述固定常数对比,并计算小于固定常数的像素点个数占总像素点的百分比,即计算出一场景连贯度,如该场景连贯度大于一固定百分比,则该当前与前一帧源图像具有相关性,则自动根据前一帧源图像的对比度分化阈值进入深度图对比度提升处理步骤,如所述的场景连贯度大于一固定百分比,则所述的当前与前一帧源图像没有有相关性,则自动进入当前帧源图像场景自然度检测步骤;
本发明所揭示的方法自动根据场景自然度的大小(场景自然度阈值)情况来确定在深度图中计算对比度分化阈值的有效运算区域。有效运算区域的选择至关重要,因为它决定了对比度分化阈值的计算结果是否准确。如果运算区域选择错误,让一些非自然因素干扰那么不但不能提升深度图质量,反而降低深度图的有效信息量,让最终的3D视差图像受损。
具体而言,当前帧源图像场景自然度检测包含:检测当前帧源图像至少两个相邻的水平或垂直像素点的灰度值大小,比较该水平或垂直像素点灰度值大小,通过前述的两个相邻水平或垂直像素点灰度值差值的绝对值与一固定常数对比,并针对所述的当前帧源图像所有水平或垂直像素点重复所述的检测和对比,并计算大于前述固定常数的水平和垂直像素点个数占总像素点个数的百分比,即计算出一场景自然度;
有效运算区域内计算对比度的分化阈值,其方法包含:根据前述场景自然度定义其所对应的有效运算对比度分化阈值区域值,即有效像素点的个数,该有效区域值分为水平区域值与垂直区域值,后检测有效区域内的所有像素点的灰度值,根据检测到的灰度值、水平区域值、垂直区域值、场景自然度计算该对比度分化阈值,该对比度分化阈值是深度图对比度提升处理步骤的临界参考值;
深度图对比提升处理包含根据前述对比度分化阈值划分成至少二个高低灰度值区间,检测当前帧源图像内所有像素点的灰度值,根据该灰度值所在区间对像素点重新赋值,以低灰度区间的灰度值赋值越来越小、高灰度区间的灰度值赋值越来越大为趋势对在不同灰度值区间的像素点灰度值赋值,以使整个深度图对比度大幅提高。
本发明揭示的方法中,场景连贯度检测是在当前帧和前一帧之间进行处理的,具有时间维度的属性;场景自然度检测是在当前帧内部不同像素点之间进行处理的,具有空间维度的属性。把时间维度和空间维度结合起来处理也是本发明所揭示方法的一大特点。
本发明还包含一种视频图像2D转3D中优化处理深度图的装置,包含一场景连贯度检测模块、一场景自然度检测模块、一对比度分化阈值计算模块、一对比度提升处理模块,实现前述的时间和空间维度结合处理深度图的功能。
附图说明
申请书所附的图式说明用以让本发明更易理解,并成为本说明书的一部分。图式说明结合说明书用以例示本发明之实施例,并解释本发明的创作原理。
图1是本发明揭示之一种2D转3D中提升深度图质量的方法之流程图;
图2是本发明揭示之一种2D转3D中提升深度图质量的方法中相邻帧源图像场景连贯度检测之示意图;
图3是本发明揭示之一种2D转3D中提升深度图质量的方法中当前帧源图像之示意图;
图4是本发明揭示之一种2D转3D中提升深度图质量的方法中场景自然度所克服的图像遮幅问题之示意图;
图5是本发明揭示之一种2D转3D中提升深度图质量的方法中深度图对比度提升区间之示意图;
图6显示应用本发明方法使对比度提升的效果之比较图;
附图标号说明:
X当前帧或前一帧源图像某像素点的纵向坐标
Y当前帧或前一帧源图像某像素点的横向坐标
W当前帧或前一帧源图像的宽度
H当前帧或前一帧源图像的高度
P对比度分化阈值
具体实施方式
本发明提出一种2D转3D中提升深度图质量的方法,该方法主要包括:当前帧源图像与前一帧源图像之间的场景连贯度检测、当前帧源图像场景自然度检测、有效深度图区域内的对比度分化阈值计算和深度图对比度提升处理等四个步骤,具体实施方式如下:
本发明的一个实施例:
本实施例中,所述的当前帧画面的内容与前一帧画面内容的连贯度检测如图2所示,假设帧图像的宽度为W,高度为H。Ft(x,y)表示当前帧中坐标为(x,y)处的像素点的灰度值大小,Ft-1(x,y)表示前一帧中坐标为(x,y)处的像素点的灰度值大小,并且0≤x≤H-1,0≤y≤W-1,x、y∈Z(Z为当前帧源图像所在平面)。
如所述的Ft(x,y)减去Ft-1(x,y)的绝对值大于Sencoherth,则Senchnum自动加1,
即Senchnum=Senchnum+1,
那么,所述的Sencoherrat Sencoher rat = W * H - Sench num W * H * 100 % .
其中,Sencoherth为场景连贯度阈值,Senchnum场景像素点改变次数计数器,初始值设为0,Sencoherrat表示场景连贯度。
进一步地,如果Sencoherrat小于某一固定百分比(70%),则认为前后两帧图像就没有相关性,后续深度图提升处理将重新计算深度图对比度阈值,如果大于该百分比就认为当前帧与前一帧相似度较大,则前一帧图像对当前图像还具有一定的参考价值,后续深度图提升处理将使用前一帧源图像的深度图对比度阈值。
本发明的另一个实施例:
在前一实施例的基础上,本实施例的相邻帧中对应的像素点还可细分为Y(亮度)、U(色度)、V(色差)三个分量,则当前帧源图像像素点的灰度值大小Ft(x,y)还包含Ft(x,y)y、Ft(x,y)u、Ft(x,y)v三个分量,前一帧源图像的灰度值大小Ft-1(x,y)还包含Ft-1(x,y)y、Ft-1(x,y)u、Ft-1(x,y)v三个分量,如其对应差值的绝对值之和大于场景连贯度阈值时,场景改变次数计数器就自动加一,
即如果
||Ft(x,y)-Ft-1(x,y)|Y+|Ft(x,y)-Ft-1(x,y)|U+|Ft(x,y)-Ft-1(x,y)|V|>Sencoherth
那么
Senchnum=Senchnum+1
相应的场景连贯像素点占总像素点的百分占比为:
Sencoher rat = W * H - Sench num W * H * 100 %
本发明的另一实施例:
所谓自然场景一般是指画面内容没有大面积的同质化,全黑或者全白,当然如果用户需求的图像就是这种情况的话除外。一般认为,在自然界状态下所拍摄的画面,相邻像素的值之间是有大小差别的,这个差别一般会大于某个固定常数。如果相邻像素点之间的差值小于这个固定常数,并且这样的像素点个数达到一定的数量级,自动认为这幅场景不是自然画面。场景自然度检测主要计算一帧图像中符合自然画面像素点的个数占总像素点个数的百分比。往往自然度检测在电影视频序列中是至关重要的。
如图4所示的电影视频画面中上端和下端往往都是黑色的遮幅,该遮幅相对于中心场景来说不包含任何图像信息。如果遮幅所占的像素点的比例过高的话,会给后续本发明所揭示的方法带来极大的偏差,本发明所揭示的方法根据场景自然度的不同而自动的选择深度图的有效运算区域。
在该实施例中,如图3所示,假设帧源图像的宽度为W,高度为H。Ft(x,y)表示当前帧中坐标为(x,y)处的像素点的灰度值大小,并且0≤x≤H-1,0≤y≤W-1,x,y∈Z。
<1>在水平方向上,如果:
设一个场景自然度阈值Naturth,设定一个水平场景中自然像素点计数器VNaturnum,所述的VNaturnum初始值为0,该场景自然度为Naturrat,当前帧源图像至少两个相邻的水平或垂直像素点的灰度值大小分别为Ft(x,y)、Ft(x,y+2),
Ft(x,y+2)减去Ft(x,y)差值的绝对值大于所述的Naturth,则所述的VNaturnum自动加1。
<2>在垂直方向上
设一个场景自然度阈值Naturth,设定一个水平场景中自然像素点计数器HNaturnum,所述的HNaturnum初始值为0,该场景自然度为Naturrat,当前帧源图像至少两个相邻的水平或垂直像素点的灰度值大小分别为Ft(x,y)、Ft(x,y+2),
如垂直Ft(x,y+2)减去Ft(x,y)差值的绝对值大于所述的Naturth,则所述的HNaturnum自动加1。
用同样的方法,使x、y在上述的H、W范围内一直循环完,就可以得到整个水平和垂直方向上自然像素点的个数。
那么
Naturrat Natur rat = VNatur num + HNatur num 2 * ( W - 2 ) * ( H - 2 ) * 100 %
本发明的另一个实施例:
在上一实施例的基础上,当前帧源图像像素点的灰度值在本实施例进一步地还包含亮度Y、色度U、色差V三个分量,该当前帧源图像至少两个相邻水平或垂直像素点的灰度值大小Ft(x,y)还包含Ft(x,y)y、Ft(x,y)u、Ft(x,y)v三个分量和Ft(x,y+2)y、Ft(x,y+2)u、Ft(x,y+2)v三个分量,
前述Ft(x,y)y减去Ft(x,y+2)y的绝对值、Ft(x,y)u减去Ft(x,y+2)u的绝对值、Ft(x,y)v减去Ft(x,y+2)v的绝对值之和大于所述的Naturth,则VNaturnum或HNaturnum对应自动加1。
即||Ft(x,y+2)-Ft(x,y)|Y+|Ft(x,y+2)-Ft(x,y)|U+|Ft(x,y+2)-Ft(x,y)|V|>Naturth
那么
VNaturnum=VNaturnum+1或HNaturnum=HNaturnum+1
用同样的方法,使x、y在上述的H、W范围内一直循环完,就可以得到整个水平方向上自然像素点的个数。
那么 Natur rat = VNatur num + HNatur num 2 * ( W - 2 ) * ( H - 2 ) * 100 %
本发明的另一个实施例:
当场景自然度小于等于50%的时候,深度图的水平方向的有效区域为:,垂直方向上为:
当场景自然度在50%-65%之间时,水平方向上的有效区域为:,垂直方向上为:
当场景自然度在65%-80%之间时,水平方向上的有效区域为:,垂直方向上为:
当场景自然度大于等于80%,整幅图像都默认为有效区域。
上述实施例可绘制表格如下:
表1自然度与有效区域关系
在自然度小于50%的情况下,默认该幅图像的场景中包含大量无效像素点,例如电影或者电视视频帧序列中的黑色遮幅,只有中间部分的场景可信度较高,所以此时选择的水平方向和垂直方向上的有效区域比较窄;在自然度大于80%的情况下,默认该帧图像的所有像素点都富含有效信息,画面中没有黑色遮幅等,所以选择整幅图像作为有效地计算区域。
本发明的另一实施例:
深度图对比度阈值是图像对比度提升步骤中的临界参考值,是物体与背景、近景区域与远景区域进一步区分开来的主要依据。在有效场景区域内对比度阈值的计算方法是:把深度图有效区域内所有的像素点的灰度值累加求和,然后再用此累加和除以有效像素点的个数得到像素点的平均灰度值,最后用此平均灰度值除以相应区域内的自然度上限就得到最终的对比度阈值。
当场景自然度≤50%时:
Cont th = 1 0.5 * &Sigma; x = 1 4 H 3 4 H &Sigma; y = 1 5 W 4 5 W Dep ( x , y ) 1 2 H * 3 5 W
当场景自然度在50%-65%时:
Cont th = 1 0.65 * &Sigma; x = 1 5 H 4 5 H &Sigma; y = 1 6 W 5 6 W Dep ( x , y ) 3 5 H * 2 3 W
当场景自然度在65%-80%时:
Cont th = 1 0.8 * &Sigma; x = 1 6 H 5 6 H &Sigma; y = 1 7 W 6 7 W Dep ( x , y ) 2 3 H * 5 7 W
当场景自然度≥80%时:
Cont th = &Sigma; x = 0 H - 1 &Sigma; y = 0 W - 1 Dep ( x , y ) H * W
其中,Contth表示深度图的对比度阈值,H、W分别表示深度图的高度和宽度,Dep(x,y)表示深度图中相应坐标上的灰度值大小。
本实施例以表格方式表现为:
表2场景自然度与对比度阈值关系
前述获取最终的对比度阈值的方法之所以都乘上相应自然度区间最大自然度的倒数,是作为一个补偿因子来弥补先前舍去的像素区域可能造成的误差。
本发明的另一实施例:
图5揭示了本实施例包括基于深度图的对比度阈值划分出不同的临界点,并在这些不同临界点区间对深度图的像素值进行重新赋值。
具体的实施方法是:根据对比度阈值Contth如图5所示的P,分别选择 、2Contth(2P)这五个点作为重新划分深度图灰度值区域的五个邻近点,划分的区间为:、≥2Contth。然后以Contth(P)为分界点,如深度图像素点灰度值在Contth(P)左侧的区间内,分别取像素点的灰度值所在子区间内的区间分界点的下限值代替该子区间内所有像素点的灰度值;如灰度值,原灰度值保持不变;如深度图像素点灰度值在Contth(P)右侧的区间内,分别取像素点的灰度值所在子区间内的区间分界点的上限值代替该子区间内所有像素点的灰度值;如灰度值≥2Contth(2P),原灰度值也同样保持不变。
这种处理方法,让不同子区间内的灰度值呈两种不同的缩进趋势,低灰度区间的灰度值越来越小,高灰度区间的灰度值越来越大,这样整个深度图的对比度就会显著提高。
主要计算公式:
Dep ( x , y ) = { Dep ( x , y ) , ( Dep ( x , y ) > 2 Cont th ) &cup; ( Dep ( x , y ) < 1 4 Cont th ) 2 Cont th , Dep ( x , y ) &Element; ( 3 2 Cont th , 2 Cont th &rsqb; 3 2 Cont th , Dep ( x , y ) &Element; ( Cont th , 3 2 Cont th &rsqb; 1 2 Cont th , Dep ( x , y ) &Element; &lsqb; 1 2 Cont th , Cont th &rsqb; 1 4 Cont th , Dep ( x , y ) &Element; &lsqb; 1 4 Cont th , 1 2 Cont th )
其中,0≤x≤H-1、0≤y≤W-1,H、W分别为深度图的高度和宽度。本发明的另一种实施例:
一种视频图像2D转3D中优化处理深度图的装置,其特征在于所述的装置包含一场景连贯度检测模块、一场景自然度检测模块、一对比度分化阈值计算模块、一对比度提升处理模块;
其中,所述的场景连贯度检测模块通过检测至少一个当前帧源图像像素点的灰度值大小,检测至少一个前一帧源图像的灰度值大小,计算所述前一帧源图像灰度值与后一帧源图像灰度值差值的绝对值,并与一固定常数对比,并计算小于所述固定常数的像素点个数占总像素点的百分比,计算出一场景连贯度;
所述的场景自然度检测模块通过检测当前帧源图像至少两个相邻的水平或垂直像素点的灰度值大小,比较所述的水平或垂直像素点灰度值大小,通过所述两个相邻水平或垂直像素点灰度值差值的绝对值与一固定常数对比,并计算大于所述固定常数的水平和垂直像素点个数占总像素点个数的百分比,计算出一场景自然度;
所述的对比度分化阈值计算模块通过所述的场景自然度定义其所对应的有效运算对比度分化阈值区域值,所述的有效区域值分为水平区域值与垂直区域值,通过检测有效区域内的所有像素点的灰度值,并根据检测到的所述灰度值、水平区域值、垂直区域值、场景自然度计算所述的对比度分化阈值,所述的对比度分化阈值是深度图对比度提升处理本发明所揭示的方法的临界参考值;
所述的对比度提升处理模块通过所述对比度分化阈值划分成至少二个高低灰度值子区间,并检测当前帧源图像内所有像素点的灰度值,根据所述灰度值所在子区间对所述像素点重新赋值,以低灰度子区间的灰度值赋值越来越小、高灰度子区间的灰度值赋值越来越大为趋势对在不同灰度值子区间的像素点灰度值赋值。
本发明揭示了依次通过场景连贯度检测、场景自然度检测、对比度分化阈值计算以及对比度提升处理等环节,对源深度图进行运算处理,大大提高了深度图中运动物体与背景的对比度效果,这样渲染出的3D视差图像深度层次感明显,视觉效果突出,并且所揭示的方法的场景连贯度检测方法让整个过程的图像处理芯片计算开销保持在合理的范围之内。所以,相比其它的一些深度图对比度优化处理方法,本文本发明所揭示的方法的上述优点可以实现更加令人满意的深度图效果。
尽管以上揭露了部分的实施例,但并非用以限制本发明之范围,本领域普通技术人员均可在不违背本创作的精神及范畴下,对上述实施例进行修饰与变化。

Claims (14)

1.一种视频图像2D转3D中优化处理深度图的方法,包含基于运动估计、运动矢量进行初始深度图计算,其特征在于所述方法还包含:
步骤一,所述深度图的当前帧源图像与前一帧源图像之间的场景连贯度检测;
步骤二,所述深度图的当前帧源图像场景自然度检测;
步骤三,所述深度图的有效区域内的对比度分化阈值计算;
步骤四,所述深度图的对比度提升处理;
其中,所述的场景连贯度检测包含:检测至少一个当前帧源图像像素点的灰度值大小,检测至少一个前一帧源图像的灰度值大小,计算所述前一帧源图像灰度值与后一帧源图像灰度值差值的绝对值与一固定常数对比,并针对所述当前帧源图像所有像素点重复所述的灰度值检测与所述弧度制差值的绝对值与所述固定常数对比,计算小于所述固定常数的像素点个数占总像素点的百分比,即计算出一场景连贯度,
如所述的场景连贯度大于一固定百分比,则所述的当前与前一帧源图像具有相关性,则自动根据前一帧源图像的对比度分化阈值进入步骤四,如所述的场景连贯度小于一固定百分比,则所述的当前与前一帧源图像没有有相关性,则自动进入步骤二;
所述的当前帧源图像场景自然度检测包含:检测当前帧源图像至少两个相邻的水平或垂直像素点的灰度值大小,比较所述的水平或垂直像素点灰度值大小,通过所述两个相邻水平或垂直像素点灰度值差值的绝对值与一固定常数对比,并针对所述的当前帧源图像所有水平或垂直像素点重复所述的检测和对比,计算大于所述固定常数的水平和垂直像素点个数占总像素点个数的百分比,即计算出一场景自然度;
所述的深度图有效区域内的对比度分化阈值计算包含:根据所述的场景自然度定义其所对应的有效运算对比度分化阈值区域值,所述的有效区域值分为水平区域值与垂直区域值,后检测有效区域内的所有像素点的灰度值,根据检测到的所述灰度值、水平区域值、垂直区域值、场景自然度计算所述的对比度分化阈值,所述的对比度分化阈值是深度图对比度提升处理步骤的临界参考值;
所述的深度图对比提升处理包含:根据所述的对比度分化阈值划分成至少二个高低灰度值区间,检测当前帧源图像内所有像素点的灰度值,根据所述灰度值所在区间对所述像素点重新赋值,以低灰度区间的灰度值赋值越来越小、高灰度区间的灰度值赋值越来越大为趋势对在不同灰度值区间的像素点灰度值赋值,以使整个所述的深度图对比度大幅提高。
2.如权利要求1所述的优化深度图处理方法,其特征在于所述场景连贯度检测中的固定常数为一个场景连贯度阈值Sencoherth,并具有一个场景像素点改变次数计数器Senchnum,所述的场景像素点改变次数计数器Senchnum初始值为0,所述的场景连贯度为Sencoherrat,所述的至少一个当前帧源图像像素点的灰度值大小为Ft(x,y),至少一个前一帧源图像的灰度值大小为Ft-1(x,y),所述的前一帧源图像与当前帧源图像的宽度均为W,高度均为H,其中0≤x≤H-1,0≤y≤W-1,,
如所述的Ft(x,y)-Ft-1(x,y)的绝对值大于Sencoherth,则Senchnum自动加1,所述的Sencoherrat Sencoher rat = W * H - Sench num W * H * 100 % .
3.根据权利要求2所述的优化深度图处理方法,其特征在于所述的前一帧源图像与当前帧源图像像素点的灰度值还包含亮度Y、色度U、色差V三个分量,所述的至少一个当前帧源图像像素点的灰度值大小Ft(x,y)还包含Ft(x,y)y、Ft(x,y)u、Ft(x,y)v三个分量,至少一个前一帧源图像的灰度值大小Ft-1(x,y)还包含Ft-1(x,y)y、Ft-1(x,y)u、Ft-1(x,y)v三个分量。
4.根据权利要求3所述的优化深度图处理方法,其特征在于所述的当前帧源图像像素点Ft(x,y)y减去Ft-1(x,y)y的绝对值、Ft(x,y)u减去Ft-1(x,y)u的绝对值、Ft(x,y)v减去Ft-1(x,y)v的绝对值之和大于Sencoherth,则Senchnum自动加1。
5.根据权利要求1或2或3或4所述的优化深度图处理方法,其特征在于所述的场景连贯度大于一固定百分比,其中所述一固定百分比为70%。
6.根据权利要求1所述的优化深度图处理方法,其特征在于所述的当前帧源图像场景自然中的固定常数为一场景自然度阈值Naturth,还具有一水平场景中自然像素点计数器VNaturnum和一垂直场景中自然像素点计数器HNaturnum,所述的VNaturnum、HNaturnum初始值均为0,所述的当前帧源图像的宽度均为W,高度均为H,所述的场景自然度为Naturrat,当前帧源图像至少两个相邻的水平或垂直像素点的灰度值大小分别为Ft(x,y)、Ft(x,y+2),其中0≤x≤H-1,0≤y≤W-1,,
如水平Ft(x,y+2)减去Ft(x,y)差值的绝对值大于所述的Naturth,则所述的VNaturnum自动加1,如垂直Ft(x,y+2)减去Ft(x,y)差值的绝对值大于所述的Naturth,则所述的HNaturnum自动加1,所述的VNaturnum与所述的HNaturnum之和为水平和垂直方向上总的自然像素点个数,所述的Naturrat Natur rat = VNatur num + HNatur num 2 * ( W - 2 ) * ( H - 2 ) * 100 % .
7.根据权利要求6所述的优化深度图处理方法,其特征在于所述的当前帧源图像像素点的灰度值还包含亮度Y、色度U、色差V三个分量,所述的当前帧源图像至少两个相邻水平或垂直像素点的灰度值大小Ft(x,y)还包含Ft(x,y)y、Ft(x,y)u、Ft(x,y)v三个分量和Ft(x,y+2)y、Ft(x,y+2)u、Ft(x,y+2)v三个分量。
8.根据权利要求7所述的优化深度图处理方法,其特征在于所述的Ft(x,y)y减去Ft(x,y+2)y的绝对值、Ft(x,y)u减去Ft(x,y+2)u的绝对值、Ft(x,y)v减去Ft(x,y+2)v的绝对值之和大于所述的Naturth,则所述的VNaturnum或HNaturnum对应自动加1。
9.根据权利要求1所述的优化深度图处理方法,其特征在于所述的深度图有效区域内的对比度分化阈值计算中,所述的当前帧源图像的高度为H,宽度为W,所述的有效运算对比度分化阈值区域值为:
当所述的场景自然度小于等于50%时,深度图的水平方向的有效区域为:,垂直方向上为:
当所述场景自然度在50%-65%之间时,水平方向上的有效区域为:,垂直方向上为:
当所述场景自然度在65%-80%之间时,水平方向上的有效区域为:,垂直方向上为:
当所述场景自然度大于等于80%,整幅所述的当前帧源图像都默认为有效区域。
10.根据权利要求9所述的优化深度图处理方法,其特征在于所述的对比度分化阈值为:所述当前帧源图像水平和垂直有效区域内所有的像素点灰度值求和;再以此累加和除以所述有效像素点的个数得到像素点的平均灰度值;再以所述的平均灰度值除以相应区域内的所述场景自然度上限。
11.根据权利要求10所述的优化深度图处理方法,其特征在于所述的对比度分化阈值为Contth,所述的当前帧源图像水平和垂直有效区域内所有的像素点灰度值为Dep(x,y),则所述的Contth为:
当所述场景自然度≤50%时:
Cont th = 1 0.5 * &Sigma; x = 1 4 H 3 4 H &Sigma; y = 1 5 W 4 5 W Dep ( x , y ) 1 2 H * 3 5 W
当所述场景自然度在50%-65%时:
Cont th = 1 0.65 * &Sigma; x = 1 5 H 4 5 H &Sigma; y = 1 6 W 5 6 W Dep ( x , y ) 3 5 H * 2 3 W
当所述场景自然度在65%-80%时:
Cont th = 1 0.8 * &Sigma; x = 1 6 H 5 6 H &Sigma; y = 1 7 W 6 7 W Dep ( x , y ) 2 3 H * 5 7 W
当所述场景自然度≥80%时:
Cont th = &Sigma; x = 0 H - 1 &Sigma; y = 0 W - 1 Dep ( x , y ) H * W .
12.根据权利要求1所述的优化深度图处理方法,其特征在于所述的高低灰度值区间为5个子区间,所述的对比度分化阈值为Contth,所述的5个子区间的临界点分别为、Contth、2Contth,划分为、≥2Contth
13.根据权利要求12所述的优化深度图处理方法,其特征在于所述的高低灰度值区间以所述Contth为分界点,如所述当前帧源图像像素点灰度值在Contth左侧的区间内,分别取像素点的灰度值所在子区间内的区间分界点的下限值代替所述子区间内所有像素点的灰度值;如所述灰度值,原灰度值保持不变;如所述灰度值在Contth右侧的区间内,分别取像素点的灰度值所在子区间内的区间分界点的上限值代替所述子区间内所有像素点的灰度值;如灰度值≥2Contth,原灰度值也同样保持不变。
14.一种视频图像2D转3D中优化处理深度图的装置,其特征在于所述的装置包含一场景连贯度检测模块、一场景自然度检测模块、一对比度分化阈值计算模块、一对比度提升处理模块;
其中,所述的场景连贯度检测模块通过检测至少一个当前帧源图像像素点的灰度值大小,检测至少一个前一帧源图像的灰度值大小,计算所述前一帧源图像灰度值与后一帧源图像灰度值差值的绝对值,并与一固定常数对比,并针对所述当前帧源图像所有像素点重复所述的灰度值检测与所述弧度制差值的绝对值与所述固定常数对比,并计算小于所述固定常数的像素点个数占总像素点的百分比,计算出一场景连贯度;
所述的场景自然度检测模块通过检测当前帧源图像至少两个相邻的水平或垂直像素点的灰度值大小,比较所述的水平或垂直像素点灰度值大小,通过所述两个相邻水平或垂直像素点灰度值差值的绝对值与一固定常数对比,并针对所述的当前帧源图像所有水平或垂直像素点重复所述的检测和对比,并计算大于所述固定常数的水平和垂直像素点个数占总像素点个数的百分比,计算出一场景自然度;
所述的对比度分化阈值计算模块通过所述场景自然度定义其所对应的有效运算对比度分化阈值区域值,所述的有效区域值分为水平区域值与垂直区域值,通过检测有效区域内的所有像素点的灰度值,并根据检测到的所述灰度值、水平区域值、垂直区域值、场景自然度计算所述的对比度分化阈值,所述的对比度分化阈值是深度图对比度提升处理本发明所揭示的方法的临界参考值;
所述的对比度提升处理模块通过所述对比度分化阈值划分成至少二个高低灰度值子区间,并检测当前帧源图像内所有像素点的灰度值,根据所述灰度值所在子区间对所述像素点重新赋值,以低灰度子区间的灰度值赋值越来越小、高灰度子区间的灰度值赋值越来越大为趋势对在不同灰度值子区间的像素点灰度值赋值。
CN201310153656.2A 2013-04-27 2013-04-27 一种视频图像2d转3d中优化处理深度图的方法和装置 Pending CN104125446A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310153656.2A CN104125446A (zh) 2013-04-27 2013-04-27 一种视频图像2d转3d中优化处理深度图的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310153656.2A CN104125446A (zh) 2013-04-27 2013-04-27 一种视频图像2d转3d中优化处理深度图的方法和装置

Publications (1)

Publication Number Publication Date
CN104125446A true CN104125446A (zh) 2014-10-29

Family

ID=51770693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310153656.2A Pending CN104125446A (zh) 2013-04-27 2013-04-27 一种视频图像2d转3d中优化处理深度图的方法和装置

Country Status (1)

Country Link
CN (1) CN104125446A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106993178A (zh) * 2017-04-05 2017-07-28 上海矽奥微电子有限公司 2d转3d视频图像提升深度图质量的计算方法
CN110784642A (zh) * 2018-07-30 2020-02-11 佳能株式会社 图像处理装置及其控制方法以及存储介质、摄像装置
CN111260592A (zh) * 2020-03-17 2020-06-09 北京华捷艾米科技有限公司 一种深度图像去噪方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106993178A (zh) * 2017-04-05 2017-07-28 上海矽奥微电子有限公司 2d转3d视频图像提升深度图质量的计算方法
CN110784642A (zh) * 2018-07-30 2020-02-11 佳能株式会社 图像处理装置及其控制方法以及存储介质、摄像装置
US11044396B2 (en) 2018-07-30 2021-06-22 Canon Kabushiki Kaisha Image processing apparatus for calculating a composite ratio of each area based on a contrast value of images, control method of image processing apparatus, and computer-readable storage medium
CN110784642B (zh) * 2018-07-30 2022-01-18 佳能株式会社 图像处理装置及其控制方法以及存储介质、摄像装置
CN111260592A (zh) * 2020-03-17 2020-06-09 北京华捷艾米科技有限公司 一种深度图像去噪方法及装置
CN111260592B (zh) * 2020-03-17 2023-10-31 北京华捷艾米科技有限公司 一种深度图像去噪方法及装置

Similar Documents

Publication Publication Date Title
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
US8718356B2 (en) Method and apparatus for 2D to 3D conversion using scene classification and face detection
RU2587425C2 (ru) Способ получения карты глубины изображения повышенного качества
CN105374039B (zh) 基于轮廓锐度的单目图像深度信息估计方法
CN103440664B (zh) 一种生成高分辨率深度图的方法、系统及计算设备
CN103839258A (zh) 一种二值化激光散斑图像的深度感知方法
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
CN105069808A (zh) 基于图像分割的视频图像深度估计方法
CN103810708A (zh) 一种激光散斑图像深度感知方法及装置
CN103020988B (zh) 一种激光散斑图像的运动向量生成方法
CN104574366A (zh) 一种基于单目深度图的视觉显著性区域的提取方法
Lee et al. Depth estimation from light field by accumulating binary maps based on foreground–background separation
CN104270624B (zh) 一种分区域的3d视频映射方法
CN103514610B (zh) 一种背景静止的运动目标分割方法
CN117596411A (zh) 生成场景的分层深度数据的方法、装置和计算机可读介质
Yang et al. Dynamic 3D scene depth reconstruction via optical flow field rectification
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
KR101125061B1 (ko) Ldi 기법 깊이맵을 참조한 2d 동영상의 3d 동영상 전환방법
CN104125446A (zh) 一种视频图像2d转3d中优化处理深度图的方法和装置
Zhang et al. A real-time time-consistent 2D-to-3D video conversion system using color histogram
US9113142B2 (en) Method and device for providing temporally consistent disparity estimations
Zhang et al. A novel 2D-to-3D scheme by visual attention and occlusion analysis
Zhang et al. Stereoscopic learning for disparity estimation
KR101382227B1 (ko) 윈도우 영상을 분류하는 방법, 이를 입체 영상으로 변환하는 방법 및 이를 수행하는 전자 장치
CN104052985B (zh) 三维影像校正装置及三维影像校正方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141029