CN105812767A - 一种基于多频带分解的立体显示深度调整方法及装置 - Google Patents

一种基于多频带分解的立体显示深度调整方法及装置 Download PDF

Info

Publication number
CN105812767A
CN105812767A CN201610154603.6A CN201610154603A CN105812767A CN 105812767 A CN105812767 A CN 105812767A CN 201610154603 A CN201610154603 A CN 201610154603A CN 105812767 A CN105812767 A CN 105812767A
Authority
CN
China
Prior art keywords
image
depth
degree
frequency band
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610154603.6A
Other languages
English (en)
Other versions
CN105812767B (zh
Inventor
桑新柱
王鹏
解松霖
郭南
陈铎
于迅博
陈志东
崔璨
孟侨
颜玢玢
苑金辉
王葵如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201610154603.6A priority Critical patent/CN105812767B/zh
Publication of CN105812767A publication Critical patent/CN105812767A/zh
Application granted granted Critical
Publication of CN105812767B publication Critical patent/CN105812767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Abstract

本发明实施例公开了一种基于多频带分解的立体显示深度调整方法及装置,方法包括:确定待调整深度的目标图像;基于高斯滤波函数,得到所述目标图像所对应的高斯金字塔,其中,所述高斯金字塔由不同深度的空间频带组成;将所述高斯金字塔中的各空间频带通过频带差函数获得对数域的频带;将所述对数域频带通过降低低频函数,获得备用3D显示图像;基于所述备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,结束深度调整。应用本发明实施例,能够对不同的深度值进行针对性调整,能够感知深度的变化。

Description

一种基于多频带分解的立体显示深度调整方法及装置
技术领域
本发明涉及3D显示图像深度调整领域,特别涉及一种基于多频带分解的立体显示深度调整方法及装置。
背景技术
显示景深(Depthoffield)是自由立体3D显示器的一个重要特性,显示深度超过显示器景深的3D内容分辨率会降低。不同参数的自由立体显示器具有不同的显示景深,为了能够最有效的利用显示器的显示景深带宽,3D内容显示深度需要调整。自由立体显示所需的多视点内容可由一张视点图以及与其对应的深度图或视差图经过基于深度图或视差图的渲染(DIBR)的方法获得,深度图决定了立体显示中对应细节的显示深度。通过调整深度图或视差图的值,可以改变渲染出来的多视点内容,从而达到控制显示深度的目的。
现有的常用的两种调整方法:一是线性调整方法,二是截取法。第一种方法将深度图乘上一个全局的系数,将其调整到景深带宽内,但这种方法会整体降低3D深度,原有的不需要降低深度的区域也会降低,导致对深度绝对值小的细节不能突出显示深度的保留;第二种方法将超过显示景深带宽的部分,深度值调整为显示景深最大值,但当显示3D深度远大于显示景深带宽时,该方法结果会产生明显的“卡片效应”,即超出部分显示深度相同,不能对深度绝对值大的细节优先压缩,导致无法感知超出部分的深度变化。以上两种调整方法,都不能对不同的深度值进行针对性调整。
发明内容
本发明实施例公开了一种基于多频带分解的立体显示深度调整方法及装置,能够对不同的深度值进行针对性调整,能够感知深度的变化。
为达到上述目的,本发明实施例公开了一种基于多频带分解的立体显示深度调整方法,方法包括:
确定待调整深度的目标图像;
基于高斯滤波函数,得到所述目标图像所对应的高斯金字塔,其中,所述高斯金字塔由不同深度的空间频带组成;
将所述高斯金字塔中的各空间频带通过频带差函数获得对数域的频带;
将所述对数域频带通过降低低频函数,获得备用3D显示图像;
基于所述备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,结束深度调整。
可选的,所述目标图像的图像类型为深度图类型或视差图类型;所述待3D显示图像的图像类型为深度图类型或视差图类型。
可选的,所述基于高斯滤波函数,得到所述目标图像所对应的高斯金字塔,包括:
将所述目标图像通过视差-深度转换函数转换为所述目标图像对应的待调整深度图;
通过高斯滤波函数对待调整深度图进行多频带分解,得到所述待调整深度图所对应的高斯金字塔;
相应的,所述基于所述备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,包括:
基于所述备用3D显示图像和差值函数,得到待转换视差图;
将所述待转换视差图通过所述视差-深度转换函数的反函数,得到深度调整后的待3D显示图像。
可选的,所述基于高斯滤波函数,得到所述目标图像所对应的高斯金字塔,包括:
将所述目标图像通过所述预定视差-深度转换函数的反函数转换为所述目标图像对应的待调整视差图;
通过高斯滤波函数对待调整视差图进行多频带分解,得到所述待调整视差图所对应的高斯金字塔;
相应的,所述基于所述备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,包括:
基于所述备用3D显示图像和差值函数,得到待转换深度图;
将所述待转换深度图通过所述视差-深度转换函数,得到深度调整后的待3D显示图像。
可选的,所述高斯滤波函数为:
Yi=↓σ*Yi-1
其中,Yi为空间频带(i=1…n),↓表示下采样操作,采样率为0.5,*表示卷积操作,σ为窗口大小为5x5的高斯核,Y1=DS,DS为目标图像;
所述频带差函数为:
Ri=Log(Yi)-Log(↑σ*Yi+1)
其中,Ri为对数域的频带i(i=1…n),Yi为空间频带i(i=1…n),↑表示上采样操作,采样率为2;
所述降低低频函数为:
P = k · Σ i N ↑ σ * ( λ i · R i )
其中,P为备用3D显示图像,λi为不同频带差的缩放系数,↑表示上采样,采样频率为2,σ为窗口大小为5x5的高斯核,*表示卷积运算,k为全局深度值调整系数;
所述差值函数为:
D=DS-P
其中,D为待3D显示图像,P为备用3D显示图像,DS为目标图像,且备用3D显示图像与目标图像的图像类型相同。
为达到上述目的,本发明实施例还公开一种基于多频带分解的立体显示深度调整装置,装置包括:
目标图像确定模块,用于确定待调整深度的目标图像;
高斯金字塔获取模块,用于基于高斯滤波函数,得到所述目标图像所对应的高斯金字塔,其中,所述高斯金字塔由不同深度的空间频带组成;
对数域频带获取模块,用于将所述高斯金字塔中的各空间频带通过频带差函数获得对数域的频带;
备用3D显示图像获取模块,用于将所述对数域频带通过降低低频函数,获得备用3D显示图像;
待3D显示图像获取模块,用于基于所述备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,结束深度调整。
可选的,所述目标图像的图像类型为深度图类型或视差图类型;所述待3D显示图像的图像类型为深度图类型或视差图类型。
可选的,所述高斯金字塔获取模块包括:
第一图像类型转换子模块,用于将所述目标图像通过视差-深度转换函数转换为所述目标图像对应的待调整深度图;
第一多频带分解子模块,用于通过高斯滤波函数对待调整深度图进行多频带分解,得到所述待调整深度图所对应的高斯金字塔;
相应的,所述待3D显示图像获取模块包括:
第一待转换图像获取子模块,用于基于所述备用3D显示图像和差值函数,得到待转换视差图;
第一待3D显示图像获取子模块,用于将所述待转换视差图通过所述视差-深度转换函数的反函数,得到深度调整后的待3D显示图像。
可选的,所述高斯金字塔获取模块包括:
第二图像类型转换子模块,用于将所述目标图像通过所述预定视差-深度转换函数的反函数转换为所述目标图像对应的待调整视差图;
第二多频带分解子模块,用于通过高斯滤波函数对待调整视差图进行多频带分解,得到所述待调整视差图所对应的高斯金字塔;
相应的,待3D显示图像获取模块包括:
第二待转换图像获取子模块,用于基于所述备用3D显示图像和差值函数,得到待转换深度图;
第二待3D显示图像获取子模块,用于将所述待转换深度图通过所述视差-深度转换函数,得到深度调整后的待3D显示图像。
可选的,所述高斯滤波函数为:
Yi=↓σ*Yi-1
其中,Yi为空间频带(i=1…n),↓表示下采样操作,采样率为0.5,*表示卷积操作,σ为窗口大小为5x5的高斯核,Y1=DS,DS为目标图像;
所述频带差函数为:
Ri=Log(Yi)-Log(↑σ*Yi+1)
其中,Ri为对数域的频带i(i=1…n),Yi为空间频带i(i=1…n),↑表示上采样操作,采样率为2;
所述降低低频函数为:
P = k · Σ i N ↑ σ * ( λ i · R i )
其中,P为备用3D显示图像,λi为不同频带差的缩放系数,↑表示上采样,采样频率为2,σ为窗口大小为5x5的高斯核,*表示卷积运算,k为全局深度值调整系数;
所述差值函数为:
D=DS-P
其中,D为待3D显示图像,P为备用3D显示图像,DS为目标图像,且备用3D显示图像与目标图像的图像类型相同。
由上述技术方案可见,本发明实施例提供了,一种基于多频带分解的深度调整方法及装置,确定待调整深度的目标图像,基于高斯滤波函数,得到所述目标图像所对应的高斯金字塔,将所述高斯金字塔中的各空间频带通过频带差函数获得对数域的频带,将所述对数域频带通过降低低频函数,获得备用3D显示图像,基于所述备用3D显示图像和差值函数,得到深度调整后的待3D显示图像。
可见,本发明实施例中,通过多频带分解,降低低频带来进行深度的调整,本发明实施例还定义频带差函数,利用该函数生成对数域的空间频带差,频带的降低以该频带差为基础,能够保证具有大深度绝对值的内容优先压缩,深度绝对值小的细节被保留,最大程度上保留原有的深度感知,同时还引入深度感知中的康士维错觉,通过降低低频函数生成康士维轮廓曲线,保留高频分量,对图像进行康士维增强,增强了感知的深度效果。
当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多频分解的立体显示深度调整方法的流程示意图;
图2为本发明实施例中的视差-深度转换函数原理示意图;
图3为本发明实施例中义的单调映射函数的函数曲线图;
图4A为正常深度下所形成的立体感知深度分布图及其感知深度曲线图;
图4B为引入康士维错觉所形成的立体感知深度分布图及其感知深度曲线图;
图5为阶跃形式深度曲线的康士维曲线图;
图6为本发明实施例应用实例中的目标图像;
图7为本发明实施例应用实例中的高斯金字塔;
图8为本发明实施例应用实例中的对数域频带差图;
图9为本发明实施例应用实例中的备用3D显示图像;
图10为本发明实施例应用实例中的待3D显示图像;
图11为本发明实施例中的视差图类型;
图12为本发明实施例提供的一种基于多频分解的立体显示深度调整装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种基于多频带分解的立体显示深度调整方法及装置,该方案中,确定待调整深度的目标图像,基于高斯滤波函数,得到所述目标图像所对应的高斯金字塔,将所述高斯金字塔中的各空间频带通过频带差函数获得对数域的频带,将所述对数域频带通过降低低频函数,获得备用3D显示图像,基于所述备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,结束深度调整。
下面通过具体实施例,对本发明进行详细说明。
图1为本发明实施例提供的一种基于多频分解的立体显示深度调整方法的流程示意图,包括如下步骤:
S101:确定待调整深度的目标图像;
该目标图像的图像类型为深度图类型或视差图类型。
可以理解的是,视差是从有一定距离的两个点上观察同一个目标所产生的方向差异,视差图是以图像对中任一幅图像为基准,其大小为该基准图像的大小,元素值为视差值的图像;视差值为两个视点图像中匹配像素点横坐标(水平坐标)的差值。深度图:表征对应纹理细节3D显示深度大小,可由视差图参考实际观看条件求得。
S102:基于高斯滤波函数,得到该目标图像所对应的高斯金字塔,其中,该高斯金字塔由不同深度的空间频带组成;
基于高斯滤波函数,得到该目标图像所对应的高斯金字塔,包括:
将该目标图像通过视差-深度转换函数转换为该目标图像对应的待调整深度图;
通过高斯滤波函数对待调整深度图进行多频带分解,得到该待调整深度图所对应的高斯金字塔。
基于高斯滤波函数,得到该目标图像所对应的高斯金字塔,包括:
将该目标图像通过该预定视差-深度转换函数的反函数转换为该目标图像对应的待调整视差图;
通过高斯滤波函数对待调整视差图进行多频带分解,得到该待调整视差图所对应的高斯金字塔。
该高斯滤波函数为:
Yi=↓σ*Yi-1
其中,Yi为空间频带(i=1…n),↓表示下采样操作,采样率为0.5,*表示卷积操作,σ为窗口大小为5x5的高斯核,Y1=DS,DS为目标图像。
通过高斯滤波函数,将目标图像进行多频带分解,多频带分解是依据图像的空间频率分布,通过高斯函数将图像分解为不同的空间频带的过程,这里所说的空间频率为描述图像细节变化剧烈程度的物理量。图像梯度大,细节变化明显,对应为空间高频,例如边缘;图像梯度小,细节变换不明显,对应为空间低频,例如细节相似度高的连续区域。对于视差图或深度图,深度不连续处空间频率高,深度连续处空间频率低。
不难理解的是,这里所说的采样是采集模拟信号的样本,采样是将时间或空间上、幅值上都连续的信号,在采样脉冲的作用下,转换成时间或空间、幅值上离散的信号。所以采样又称为波形的离散化过程,而下采样是对数字信号进行重新采样,重新采样的采样率与原来获得该数字信号(比如从模拟信号采样而来)的采样率比较,小于原来获得该数字信号的采样率,则称为下采样;采样率,也称为采样速度或者采样频率,为每秒从连续信号中提取并组成离散信号的采样个数,用赫兹(Hz)来表示。
视差-深度转换函数是现有技术,该函数需要考虑观看距离和显示器的分辨率,如图2所示,图中,Y为人的双眼,S为显示屏幕,P为双眼观察到的物点,视差-深度转换函数为:
d p = d i s p · p s i z e d i s p · p s i z e · v d
其中,disp表示视差值,psize表示像素大小,e表示瞳孔间距,vd表示观看距离即人的双眼Y到显示屏幕S的距离,dp表示显示深度即为显示屏幕S到双眼观察到的物点P之间的距离。
S103:将该高斯金字塔中的各空间频带通过频带差函数获得对数域的频带;
该频带差函数为:
Ri=Log(Yi)-Log(↑σ*Yi+1)
其中,Ri为对数域的频带i(i=1…n),Yi为空间频带i(i=1…n),↑表示上采样操作,采样率为2。
可以理解的是,这里所说的上采样是对数字信号进行重新采样,重新采样的采样率与原来获得该数字信号(比如从模拟信号采样而来)的采样率比较,大于原来获得该数字信号的采样率,则称为上采样。这里所说的Log(·)定义的单调映射函数,下面以显示深度d为变量对Log(·)进行说明,Log(·)为:
L o g ( d ) = l o g ( 1 + d 0 + s &CenterDot; d ) - d 0 &le; s &CenterDot; d &le; 0 - l o g ( 1 + d 0 - s &CenterDot; d ) + 21 o g ( 1 + d 0 ) 0 < s &CenterDot; d &le; d 0
其中,s为缩放系数,d0>|s·d|。
该单调映射函数的函数曲线如图3所示,对于绝对值小的深度值,曲线的斜率小,对于绝对值大的深度值,曲线的斜率大。
S104:将该对数域频带通过降低低频函数,获得备用3D显示图像;
该降低低频函数为:
P = k &CenterDot; &Sigma; i N &UpArrow; &sigma; * ( &lambda; i &CenterDot; R i )
其中,P为备用3D显示图像,λi为不同频带差的缩放系数,↑表示上采样,采样频率为2,σ为窗口大小为5x5的高斯核,*表示卷积运算,k为全局深度值调整系数。
调整λi的值,可以生成康士维曲线(Cornsweetprofile),通过降低低频,保留高频分量,对图像进行康士维增强,增强了感知深度。这里所说的康士维增强将通过引入康士维错觉((Cornsweetillusion))进行深度感知增强过程。康士维错觉是是一种生理感知错觉,研究表明在深度感知中的康士维错觉明显的深度感知取决于深度对比度大小,感知到的整个表面的深度40%取决于曲面不连续处的深度差异,通过增强曲面深度不连续处(边缘)的深度对比度,能够增强曲面的深度感知。人眼视觉系统对深度的感知取决于一系列的深度线索,双目视差是其中最重要的因素之一,康士维增强的效果可以通过双目视差的感知表达出来。康士维轮廓曲线是将通过增强不连续处的深度对比度引入康士维错觉所形成的深度分布曲线。如图4A和4B所示,通过立体图展示了正常深度和通过引入康士维错觉所形成的立体感知深度分布以及正常深度下深度感知曲线和引入康士维错觉感知深度曲线图对比可知,通常的康士维增强通过增加深度图像的高频分量获得。如图5所示,展示了对阶跃形式的深度分布曲线进行康士维增强的结果,深度阶跃处为高频,通过对深度分布进行频带分解,增强高频分量,生成康士维轮廓曲线。
S105:基于该备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,结束深度调整。
该差值函数为:
D=DS-P
其中,D为待3D显示图像,P为备用3D显示图像,DS为目标图像,且备用3D显示图像与目标图像的图像类型相同。
该待3D显示图像的图像类型为深度图类型或视差图类型。
基于该备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,包括:
基于该备用3D显示图像和差值函数,得到待转换视差图;
将该待转换视差图通过该视差-深度转换函数的反函数,得到深度调整后的待3D显示图像。
需要说明的是,这里所说的备用3D显示图像为视差图类型,待3D显示图像为深度图类型。
基于该备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,包括:
基于该备用3D显示图像和差值函数,得到待转换深度图;
将该待转换深度图通过该视差-深度转换函数,得到深度调整后的待3D显示图像。
需要说明的是,这里所说的备用3D显示图像为深度图类型,待3D显示图像为视差图类型。
下面结合具体的应用实例,对本发明实施例所提供的一种基于多频带分解的立体显示深度调整方法进行详细说明。目标图像为深度图类型,如图6所示;通过高斯滤波函数对目标图像进行多频带分解,得到高斯金字塔,高斯金字塔中空间频带的数量为8,在图7中仅展示了前四层的空间频带。将高斯金字塔中的各空间频带通过频带差函数获得对数域的频带,如图8所示。将对数域频带通过降低低频函数,其中,λ={0.1,0.1,0.1,0.1,0.1,1,1,1},k=100,获得的备用3D显示图像如图9所示。通过差值函数,得到深度调整后的待3D显示图像如图10所示。
在实际应用中,目标图像的图像类型与待3D显示图像的图像类型可以是相同的图像类型,也可以是不同的图像类型。
当目标图像与待3D显示图像的图像类型不同时,目标图像为视差图类型,如图11所示,可以通过视差-深度转换函数将目标图像转换为待调整的视差图类型,如图6所示,然后,对待调整的视差图类型通过高斯滤波函数对待调整深度图进行多频带分解,得到该待调整深度图所对应的高斯金字塔,经过步骤S103、S104和S105可以得到待3D显示图像的图像,该图像类型为深度图类型。
目标图像为视差图类型,待3D显示图像为深度图类型也可以通过以下方法实现:
通过步骤S102、S103和S104得到备用3D显示图像,基于该备用3D显示图像,此处的备用3D显示图像为视差图类型,通过差值函数得到待转换视差图,将该待转换视差图通过该视差-深度转换函数的反函数,得到深度调整后的待3D显示图像。
当目标图像为深度图类型,待3D显示图像为视差图类型可以通过以下方法实现:
首先,将该目标图像通过该预定视差-深度转换函数的反函数转换为该目标图像对应的待调整视差图,通过高斯滤波函数对待调整视差图进行多频带分解,得到该待调整视差图所对应的高斯金字塔,然后通过经过步骤S103、S104和S105可以得到待3D显示图像的图像。
当目标图像为深度图类型,待3D显示图像为视差图类型还可以通过以下方法实现:
通过步骤S102、S103和S104得到备用3D显示图像,此处的备用3D显示图像为深度图类型,基于该备用3D显示图像和差值函数,得到待转换深度图;将该待转换深度图通过该视差-深度转换函数,得到深度调整后的待3D显示图像。
应用本发明实施例,通过多频带分解,降低低频带来进行深度的调整,本发明实施例还定义频带差函数,利用该函数生成对数域的空间频带差,频带的降低以该频带差为基础,能够保证具有大深度绝对值的内容优先压缩,深度绝对值小的细节被保留,最大程度上保留原有的深度感知,同时还引入深度感知中的康士维错觉,通过降低低频函数生成康士维轮廓曲线,保留高频分量,对图像进行康士维增强,增强了感知的深度效果。
图12为本发明实施例提供的一种基于多频分解的立体显示深度调整装置的结构示意图,包括:
目标图像确定模块301,用于确定待调整深度的目标图像;
该目标图像的图像类型为深度图类型或视差图类型。
高斯金字塔获取模块302,用于基于高斯滤波函数,得到所述目标图像所对应的高斯金字塔,其中,该高斯金字塔由不同深度的空间频带组成。
该高斯滤波函数为:
Yi=↓σ*Yi-1
其中,Yi为空间频带(i=1…n),↓表示下采样操作,采样率为0.5,*表示卷积操作,σ为窗口大小为5x5的高斯核,Y1=DS,DS为目标图像。
本实施例中的高斯金字塔获取模块302包括第一图像类型转换子模块和第一多频带分解子模块(图中未示出)。
第一图像类型转换子模块,用于将所述目标图像通过视差-深度转换函数转换为所述目标图像对应的待调整深度图。
第一多频带分解子模块,用于通过高斯滤波函数对待调整深度图进行多频带分解,得到所述待调整深度图所对应的高斯金字塔。
本实施例中的高斯金字塔获取模块302包括第二图像类型转换子模块和第二多频带分解子模块(图中未示出)。
第二图像类型转换子模块,用于将所述目标图像通过所述预定视差-深度转换函数的反函数转换为所述目标图像对应的待调整视差图。
第二多频带分解子模块,用于通过高斯滤波函数对待调整视差图进行多频带分解,得到所述待调整视差图所对应的高斯金字塔。
对数域频带获取模块303,用于将所述高斯金字塔中的各空间频带通过频带差函数获得对数域的频带。
频带差函数为:
Ri=Log(Yi)-Log(↑σ*Yi+1)
其中,Ri为对数域的频带i(i=1…n),Yi为空间频带i(i=1…n),↑表示上采样操作,采样率为2。
备用3D显示图像获取模块304,用于将所述对数域频带通过降低低频函数,获得备用3D显示图像。
降低低频函数为:
P = k &CenterDot; &Sigma; i N &UpArrow; &sigma; * ( &lambda; i &CenterDot; R i )
其中,P为备用3D显示图像,λi为不同频带差的缩放系数,↑表示上采样,采样频率为2,σ为窗口大小为5x5的高斯核,*表示卷积运算,k为全局深度值调整系数。
待3D显示图像获取模块305,用于基于所述备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,结束深度调整。
该差值函数为:
D=DS-P
其中,D为待3D显示图像,P为备用3D显示图像,DS为目标图像,且备用3D显示图像与目标图像的图像类型相同。
待3D显示图像获取模块305包括第一待转换图像获取子模块和第一待3D显示图像获取子模块(图中未示出)。
第一待转换图像获取子模块,用于基于所述备用3D显示图像和差值函数,得到待转换视差图。
第一待3D显示图像获取子模块,用于将所述待转换视差图通过所述视差-深度转换函数的反函数,得到深度调整后的待3D显示图像。
待3D显示图像获取模块305包括第二待转换图像获取子模块和第二待3D显示图像获取子模块(图中未示出)。
第二待转换图像获取子模块,用于基于所述备用3D显示图像和差值函数,得到待转换深度图;
第二待3D显示图像获取子模块,用于将所述待转换深度图通过所述视差-深度转换函数,得到深度调整后的待3D显示图像。
应用本发明实施例,通过多频带分解,降低低频带来进行深度的调整,本发明实施例还定义频带差函数,利用该函数生成对数域的空间频带差,频带的降低以该频带差为基础,能够保证具有大深度绝对值的内容优先压缩,深度绝对值小的细节被保留,最大程度上保留原有的深度感知,同时还引入深度感知中的康士维错觉,通过降低低频函数生成康士维轮廓曲线,保留高频分量,对图像进行康士维增强,增强了感知的深度效果。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围。

Claims (10)

1.一种基于多频带分解的立体显示深度调整方法,其特征在于,所述方法包括:
确定待调整深度的目标图像;
基于高斯滤波函数,得到所述目标图像所对应的高斯金字塔,其中,所述高斯金字塔由不同深度的空间频带组成;
将所述高斯金字塔中的各空间频带通过频带差函数获得对数域的频带;
将所述对数域频带通过降低低频函数,获得备用3D显示图像;
基于所述备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,结束深度调整。
2.根据权利要求1所述方法,其特征在于,所述目标图像的图像类型为深度图类型或视差图类型;所述待3D显示图像的图像类型为深度图类型或视差图类型。
3.根据权利要求2所述方法,其特征在于,所述基于高斯滤波函数,得到所述目标图像所对应的高斯金字塔,包括:
将所述目标图像通过视差-深度转换函数转换为所述目标图像对应的待调整深度图;
通过高斯滤波函数对待调整深度图进行多频带分解,得到所述待调整深度图所对应的高斯金字塔;
相应的,所述基于所述备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,包括:
基于所述备用3D显示图像和差值函数,得到待转换视差图;
将所述待转换视差图通过所述视差-深度转换函数的反函数,得到深度调整后的待3D显示图像。
4.根据权利要求2所述方法,其特征在于,所述基于高斯滤波函数,得到所述目标图像所对应的高斯金字塔,包括:
将所述目标图像通过所述预定视差-深度转换函数的反函数转换为所述目标图像对应的待调整视差图;
通过高斯滤波函数对待调整视差图进行多频带分解,得到所述待调整视差图所对应的高斯金字塔;
相应的,所述基于所述备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,包括:
基于所述备用3D显示图像和差值函数,得到待转换深度图;
将所述待转换深度图通过所述视差-深度转换函数,得到深度调整后的待3D显示图像。
5.根据权利要求1~4任一项所述方法,其特征在于,所述高斯滤波函数为:
Yi=↓σ*Yi-1
其中,Yi为空间频带(i=1…n),↓表示下采样操作,采样率为0.5,*表示卷积操作,σ为窗口大小为5x5的高斯核,Y1=DS,DS为目标图像;
所述频带差函数为:
Ri=Log(Yi)-Log(↑σ*Yi+1)
其中,Ri为对数域的频带i(i=1…n),Yi为空间频带i(i=1…n),↑表示上采样操作,采样率为2;
所述降低低频函数为:
P = k &CenterDot; &Sigma; i N &UpArrow; &sigma; * ( &lambda; i &CenterDot; R i )
其中,P为备用3D显示图像,λi为不同频带差的缩放系数,↑表示上采样,采样频率为2,σ为窗口大小为5x5的高斯核,*表示卷积运算,k为全局深度值调整系数;
所述差值函数为:
D=DS-P
其中,D为待3D显示图像,P为备用3D显示图像,DS为目标图像,且备用3D显示图像与目标图像的图像类型相同。
6.一种基于多频带分解的立体显示深度调整装置,其特征在于,所述装置包括:
目标图像确定模块,用于确定待调整深度的目标图像;
高斯金字塔获取模块,用于基于高斯滤波函数,得到所述目标图像所对应的高斯金字塔,其中,所述高斯金字塔由不同深度的空间频带组成;
对数域频带获取模块,用于将所述高斯金字塔中的各空间频带通过频带差函数获得对数域的频带;
备用3D显示图像获取模块,用于将所述对数域频带通过降低低频函数,获得备用3D显示图像;
待3D显示图像获取模块,用于基于所述备用3D显示图像和差值函数,得到深度调整后的待3D显示图像,结束深度调整。
7.根据权利要求6所述装置,其特征在于,所述目标图像的图像类型为深度图类型或视差图类型;所述待3D显示图像的图像类型为深度图类型或视差图类型。
8.根据权利要求7所述装置,其特征在于,所述高斯金字塔获取模块包括:
第一图像类型转换子模块,用于将所述目标图像通过视差-深度转换函数转换为所述目标图像对应的待调整深度图;
第一多频带分解子模块,用于通过高斯滤波函数对待调整深度图进行多频带分解,得到所述待调整深度图所对应的高斯金字塔;
相应的,所述待3D显示图像获取模块包括:
第一待转换图像获取子模块,用于基于所述备用3D显示图像和差值函数,得到待转换视差图;
第一待3D显示图像获取子模块,用于将所述待转换视差图通过所述视差-深度转换函数的反函数,得到深度调整后的待3D显示图像。
9.根据权利要求7所述装置,其特征在于,所述高斯金字塔获取模块包括:
第二图像类型转换子模块,用于将所述目标图像通过所述预定视差-深度转换函数的反函数转换为所述目标图像对应的待调整视差图;
第二多频带分解子模块,用于通过高斯滤波函数对待调整视差图进行多频带分解,得到所述待调整视差图所对应的高斯金字塔;
相应的,所述待3D显示图像获取模块包括:
第二待转换图像获取子模块,用于基于所述备用3D显示图像和差值函数,得到待转换深度图;
第二待3D显示图像获取子模块,用于将所述待转换深度图通过所述视差-深度转换函数,得到深度调整后的待3D显示图像。
10.根据权利要求6~9任一项所述装置,其特征在于,所述高斯滤波函数为:
Yi=↓σ*Yi-1
其中,Yi为空间频带(i=1…n),↓表示下采样操作,采样率为0.5,*表示卷积操作,σ为窗口大小为5x5的高斯核,Y1=DS,DS为目标图像;
所述频带差函数为:
Ri=Log(Yi)-Log(↑σ*Yi+1)
其中,Ri为对数域的频带i(i=1…n),Yi为空间频带i(i=1…n),↑表示上采样操作,采样率为2;
所述降低低频函数为:
P = k &CenterDot; &Sigma; i N &UpArrow; &sigma; * ( &lambda; i &CenterDot; R i )
其中,P为备用3D显示图像,λi为不同频带差的缩放系数,↑表示上采样,采样频率为2,σ为窗口大小为5x5的高斯核,*表示卷积运算,k为全局深度值调整系数;
所述差值函数为:
D=DS-P
其中,D为待3D显示图像,P为备用3D显示图像,DS为目标图像,且备用3D显示图像与目标图像的图像类型相同。
CN201610154603.6A 2016-03-17 2016-03-17 一种基于多频带分解的立体显示深度调整方法及装置 Active CN105812767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610154603.6A CN105812767B (zh) 2016-03-17 2016-03-17 一种基于多频带分解的立体显示深度调整方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610154603.6A CN105812767B (zh) 2016-03-17 2016-03-17 一种基于多频带分解的立体显示深度调整方法及装置

Publications (2)

Publication Number Publication Date
CN105812767A true CN105812767A (zh) 2016-07-27
CN105812767B CN105812767B (zh) 2017-11-10

Family

ID=56453315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610154603.6A Active CN105812767B (zh) 2016-03-17 2016-03-17 一种基于多频带分解的立体显示深度调整方法及装置

Country Status (1)

Country Link
CN (1) CN105812767B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111384983A (zh) * 2018-12-29 2020-07-07 北京聚利科技有限公司 信号处理方法及装置
WO2020173414A1 (zh) * 2019-02-25 2020-09-03 昀光微电子(上海)有限公司 一种基于人眼视觉特征的近眼显示方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501681A (zh) * 2011-09-20 2014-01-08 奥林巴斯医疗株式会社 图像处理装置以及内窥镜系统
CN104301706A (zh) * 2014-10-11 2015-01-21 成都斯斐德科技有限公司 一种增强裸眼立体显示效果的合成方法
JP2015142260A (ja) * 2014-01-29 2015-08-03 シャープ株式会社 画像処理装置
CN104820981A (zh) * 2015-04-22 2015-08-05 上海交通大学 一种基于视差分层分割的图像立体表示方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501681A (zh) * 2011-09-20 2014-01-08 奥林巴斯医疗株式会社 图像处理装置以及内窥镜系统
JP2015142260A (ja) * 2014-01-29 2015-08-03 シャープ株式会社 画像処理装置
CN104301706A (zh) * 2014-10-11 2015-01-21 成都斯斐德科技有限公司 一种增强裸眼立体显示效果的合成方法
CN104820981A (zh) * 2015-04-22 2015-08-05 上海交通大学 一种基于视差分层分割的图像立体表示方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111384983A (zh) * 2018-12-29 2020-07-07 北京聚利科技有限公司 信号处理方法及装置
WO2020173414A1 (zh) * 2019-02-25 2020-09-03 昀光微电子(上海)有限公司 一种基于人眼视觉特征的近眼显示方法和装置
US11438564B2 (en) 2019-02-25 2022-09-06 Lumicore Microelectronics Shanghai Co. Ltd. Apparatus and method for near-eye display based on human visual characteristics

Also Published As

Publication number Publication date
CN105812767B (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
Miao et al. A novel algorithm of image fusion using shearlets
Didyk et al. A perceptual model for disparity
CN108830818B (zh) 一种快速多聚焦图像融合方法
Sandić-Stanković et al. DIBR-synthesized image quality assessment based on morphological multi-scale approach
Liu et al. A medical image enhancement method using adaptive thresholding in NSCT domain combined unsharp masking
KR20150008877A (ko) 화상 처리 장치, 화상 처리 방법, 프로그램, 인쇄 매체, 및 기록 매체
TW200908748A (en) Method and apparatus for decompression of SAR images
CN113837974B (zh) 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法
WO2012156518A2 (en) Methods and device for processing digital stereo image content
CN104574284A (zh) 一种数字x射线图像对比度增强处理方法
CN107908969A (zh) 一种基于空域特性的jpeg图像自适应隐写方法
CN104915930B (zh) 对图像进行灰度补偿和噪声抑制的方法及装置
CN105812767A (zh) 一种基于多频带分解的立体显示深度调整方法及装置
CN104240208A (zh) 非制冷红外焦平面探测器图像细节增强方法
Thai et al. Performance evaluation of high dynamic range image tone mapping operators based on separable non-linear multiresolution families
Reynaud et al. A normative dataset on human global stereopsis using the quick Disparity Sensitivity Function (qDSF)
Zhang et al. Real-time foveation filtering using nonlinear Mipmap interpolation
CN103747268B (zh) 一种分层自适应阈值视频去噪方法
Wan et al. Multi-focus color image fusion based on quaternion multi-scale singular value decomposition
Singh Enhancement of contrast and resolution of gray scale and color images by wavelet decomposition and histogram shaping and shifting
Guo et al. An Image Denoising Algorithm based on Kuwahara Filter
Zhou et al. Contrast enhancement based on viewing distance
Sravya et al. Image fusion on multi focused images using NSCT
Xu et al. An improved switching vector median filter for image-based haptic texture generation
EP3198554B1 (en) Image processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant