CN104869389A - 离轴式虚拟摄像机参数确定方法及系统 - Google Patents

离轴式虚拟摄像机参数确定方法及系统 Download PDF

Info

Publication number
CN104869389A
CN104869389A CN201510250453.4A CN201510250453A CN104869389A CN 104869389 A CN104869389 A CN 104869389A CN 201510250453 A CN201510250453 A CN 201510250453A CN 104869389 A CN104869389 A CN 104869389A
Authority
CN
China
Prior art keywords
mrow
msub
mfrac
depth
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510250453.4A
Other languages
English (en)
Other versions
CN104869389B (zh
Inventor
马华东
刘安尔
卢大玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201510250453.4A priority Critical patent/CN104869389B/zh
Publication of CN104869389A publication Critical patent/CN104869389A/zh
Priority to US15/012,442 priority patent/US9754379B2/en
Application granted granted Critical
Publication of CN104869389B publication Critical patent/CN104869389B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

本发明实施例提供的一种离轴式虚拟摄像机参数确定方法及系统,可以从深度缓冲区中提取各视频帧的场景深度图;并将场景深度图的边缘深度值中的最小值确定为各视频帧的场景边缘最近深度,将第一物体的深度确定为各视频帧的感兴趣物体深度,使用场景边缘最近深度和感兴趣物体深度中的较小值作为零视差值,得到由各视频帧的零视差值组成的零视差值序列。本发明实现了各视频帧的零视差值的自动确定,无需人工设置,因此不受经验不足等因素的影响,也减小了技术人员的工作量。同时,本发明还可以在不发生窗口遮挡问题的前提下,令零视差尽可能地靠近感兴趣物体,从而可以在保证舒适性的同时尽量提升立体感,保证了所确定的零时差的使用效果。

Description

离轴式虚拟摄像机参数确定方法及系统
技术领域
本发明涉及三维动画制作技术领域,特别是涉及离轴式虚拟摄像机参数确定方法及系统。
背景技术
近年来,随着三维动画电影的流行,三维动画制作技术已经成为电影制作中十分重要的技术。
三维动画制作中对立体效果的控制尤为重要。零视差是左右两个摄像机在拍摄方向上交叉会聚的点到两个摄像机基线中点的距离,零视差的值对立体视觉效果影响较大。零视差确定后,可以根据零视差调整离轴式虚拟摄像机,从而得到较好的立体视觉效果。现有的零视差由人工进行设定,容易受经验不足等因素影响,而且由于需要对每一个视频帧设定零视差,因此工作量巨大。
发明内容
本发明实施例的目的在于提供一种离轴式虚拟摄像机参数确定方法级系统,以实现自动确定离轴式虚拟摄像机参数的目的。
为达到上述目的,本发明实施例公开了一种离轴式虚拟摄像机参数确定方法,应用于计算机,所述方法包括:
从深度缓冲区中提取离轴式虚拟摄像机中心点视角的各视频帧的场景深度图;
对各视频帧:将该视频帧的所述场景深度图的边缘深度值中的最小值确定为该视频帧的场景边缘最近深度Zb,将该视频帧的第一物体的深度确定为该视频帧的感兴趣物体深度Zi
对各视频帧:通过公式
zpo=min(Zb,Zi)
计算该视频帧的零视差值zpo,获得由各视频帧的零视差值zpo组成的零视差值序列。
可选的,还包括:
对所述零视差值序列进行数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列。
可选的,还包括:
对各视频帧:将该视频帧的所述场景深度图中的深度最小值确定为该视频帧的场景最近深度Zmin,将该视频帧的所述场景深度图中的深度最大值确定为该视频帧的场景最远深度Zmax
获得瞳距pd、观看距离vd、角差值的最小值γmin和角差值的最大值γmax,其中,所述角差值为辐辏角与调节角的差值;
根据公式
D neg = vd - pd 2 tan α - γ min 2
计算得出最大出屏感知距离Dneg,其中,
α = 2 tan - 1 pd 2 vd ;
根据公式
D pos = pd 2 tan α - γ max 2 - vd
计算得出最小出屏感知距离Dpos,其中,
α = 2 tan - 1 pd 2 vd
;
通过公式
s = 2 · zp · tan α 2 · pd · ( 1 - vd D ) δ · W s · ( 1 - zp Z )
计算得到各视频帧的摄像机间距s,其中,δ为视频显示设备的像素宽度,Ws为用户输入的立体图像的像素宽度,在ρ1≤ρ2且ρ2≥0时,Z=Zmin且D=Dmin;在zp>Zmax时,Z=Zmin且D=Dmin;在ρ1>ρ2且ρ2≥0时,Z=Zmax且D=Dmax;在zp<Zmin时,Z=Zmax且D=Dmax,其中,
Dmax=Dpos+vd
Dmin=vd-Dneg
ρ 1 = D neg D pos
ρ 2 = zp - Z min Z max - zp .
可选的,所述对所述零视差值序列进行数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列,包括:
使用七点线性平滑算法对所述零视差值序列进行预设次数的数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列。
可选的,还包括:
根据所述零视差终值序列和各视频帧的摄像机间距s对离轴式虚拟摄像机进行参数设置。
一种离轴式虚拟摄像机参数确定系统,应用于计算机,所述系统包括:深度图提取单元、第一深度确定单元和零时差序列获得单元,
所述深度图提取单元,用于从深度缓冲区中提取离轴式虚拟摄像机中心点视角的各视频帧的场景深度图;
所述第一深度确定单元,用于对各视频帧:将该视频帧的所述场景深度图的边缘深度值中的最小值确定为该视频帧的场景边缘最近深度Zb,将该视频帧的第一物体的深度确定为该视频帧的感兴趣物体深度Zi
所述零时差序列获得单元,用于对各视频帧:通过公式
zpo=min(Zb,Zi)
计算该视频帧的零视差值zpo,获得由各视频帧的零视差值zpo组成的零视差值序列。
可选的,还包括:平滑处理单元,用于对所述零时差序列获得单元获得的零视差值序列进行数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列。
可选的,还包括:第二深度确定单元、参数获得单元、第一距离计算单元、第二距离计算单元和间距计算单元,
所述第二深度确定单元,用于对各视频帧:将该视频帧的所述场景深度图中的深度最小值确定为该视频帧的场景最近深度Zmin,将该视频帧的所述场景深度图中的深度最大值确定为该视频帧的场景最远深度Zmax
所述参数获得单元,用于获得瞳距pd、观看距离vd、角差值的最小值γmin和角差值的最大值γmax,其中,所述角差值为辐辏角与调节角的差值;
所述第一距离计算单元,用于根据公式
D neg = vd - pd 2 tan α - γ min 2
计算得出最大出屏感知距离Dneg,其中,
α = 2 tan - 1 pd 2 vd ;
所述第二距离计算单元,用于根据公式
D pos = pd 2 tan α - γ max 2 - vd
计算得出最小出屏感知距离Dpos,其中,
α = 2 tan - 1 pd 2 vd ;
所述间距计算单元,用于通过公式
s = 2 · zp · tan α 2 · pd · ( 1 - vd D ) δ · W s · ( 1 - zp Z )
计算得到各视频帧的摄像机间距s,其中,δ为视频显示设备的像素宽度,Ws为用户输入的立体图像的像素宽度,在ρ1≤ρ2且ρ2≥0时,Z=Zmin且D=Dmin;在zp>Zmax时,Z=Zmin且D=Dmin;在ρ1>ρ2且ρ2≥0时,Z=Zmax且D=Dmax;在zp<Zmin时,Z=Zmax且D=Dmax,其中,
Dmax=Dpos+vd
Dmin=vd-Dneg
ρ 1 = D neg D pos
ρ 2 = zp - Z min Z max - zp .
可选的,所述平滑处理单元,具体用于:
使用七点线性平滑算法对所述零视差值序列进行预设次数的数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列。
可选的,还包括:参数设置单元,用于根据所述零视差终值序列和各视频帧的摄像机间距s对离轴式虚拟摄像机进行参数设置。
本发明实施例提供的一种离轴式虚拟摄像机参数确定方法及系统,可以从深度缓冲区中提取离轴式虚拟摄像机中心点视角的各视频帧的场景深度图;并将各视频帧的场景深度图的边缘深度值中的最小值确定为各视频帧的场景边缘最近深度Zb,将各视频帧的第一物体的深度确定为各视频帧的感兴趣物体深度Zi,使用场景边缘最近深度Zb和感兴趣物体深度Zi中的较小值作为零视差值,得到由各视频帧的零视差值zpo组成的零视差值序列。本发明实现了各视频帧的零视差值的自动确定,无需人工设置,因此不受经验不足等因素的影响,也减小了技术人员的工作量。同时,本发明还可以在不发生窗口遮挡问题的前提下,令零视差尽可能地靠近感兴趣物体,从而可以在保证舒适性的同时尽量提升立体感,保证了所确定的零时差的使用效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种离轴式虚拟摄像机参数确定方法的流程图;
图2为本发明实施例提供的视差分类示意图;
图3为本发明实施例提供的视差分类示意图;
图4为本发明实施例提供的视差分类示意图;
图5为本发明实施例提供的视差分类示意图;
图6为本发明实施例提供的离轴式模型示意图;
图7为本发明实施例提供的辐辏-调节矛盾示意图;
图8为本发明实施例提供的立体电视广告示意图;
图9为本发明实施例提供的窗口遮挡问题造成的信息冲突示意图;
图10为本发明实施例提供的另一种离轴式虚拟摄像机参数确定方法的流程图;
图11为本发明实施例提供的另一种离轴式虚拟摄像机参数确定方法的流程图;
图12为本发明实施例提供的立体显示舒适区示意图;
图13为本发明实施例提供的立体显示舒适区示意图;
图14为本发明实施例提供的虚拟空间到显示空间的信息传递示意图;
图15为本发明实施例提供的一种离轴式虚拟摄像机参数确定系统的结构示意图;
图16为本发明实施例提供的另一种离轴式虚拟摄像机参数确定系统的结构示意图;
图17为本发明实施例提供的另一种离轴式虚拟摄像机参数确定系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供的一种离轴式虚拟摄像机参数确定方法,应用于计算机,该方法可以包括:
S001、从深度缓冲区中提取离轴式虚拟摄像机中心点视角的各视频帧的场景深度图;
立体显示的目标是突破二维图像显示的束缚,向观众呈现立体空间信息。根据原理的不同,立体显示技术可以分为基于视差和非基于视差两大类。非基于视差的立体显示技术包括体显示技术、全息投影等,往往需要特殊的显示介质来实现,大多还处在实验研究阶段。
目前已经得到广泛应用的是基于视差的立体显示技术,尤其是双目立体显示技术。首先,在拍摄时,使用一组左右摄像机对来获取同一个场景的左右眼图像对;然后在显示时,通过特殊的设备或方法,使得观看者的左右眼分别获取各自的图像。区分立体图像对的方法主要包括色差法、偏振法、主动立体显示技术和自由立体显示技术等。双目立体图像对保存了场景的视差线索,通过观看者大脑的融合处理,就被感知成为立体图像。下面将对双目立体显示中的视差进行说明。
假设空间某点A在左眼图像中的坐标为Al(xl,yl),在右眼图像中的坐标为Ar(xr,yr)。我们定义点A在立体图像中的水平视差(Horizontal Parallax)和垂直视差(Vertical Parallax)分别为:
Ph=xr-xl
Pv=yr-yl
研究表明,只有水平视差可以产生立体感,垂直视差对立体感的形成没有帮助。
考虑水平视差Ph,主要分为图2至图5中的4种情况:
如图2所示,如果Al在Ar的右侧,则Ph<0,此时点A被感知在图像平面前方,称为负视差;
如图3所示,如果Al和Ar重合,则Ph=0,此时点A被感知在图像平面上,称为零视差;
如图4所示,如果Al在Ar的左侧,则Ph>0,此时点A被感知在图像平面后方,称为正视差;
当A被感知在无穷远处时,左右眼视线平行,则Ph等于双眼间距。如果继续增加分离度,增大Ph的值,则出现图5中的情况,在视线正前方没有A的汇聚点,称为发散视差。形成发散视差时人眼无法完成视觉融合,必须避免。
立体摄像机通常由左眼摄像机和右眼摄像机根据一定的摆放方式构成。左右眼摄像机可以看成是中心摄像机通过一对镜像的平移和旋转变换得来。这样就保证了左右眼摄像机的光学特性完全一致,只是相对方位发生了变化。根据左右眼摄像机之间的摆放方式的不同,双目立体摄像机存在三种模型:汇聚模型、平行模型和离轴模型。
为了实现场景有一部分感知在屏幕前方,一部分感知在屏幕后方,可以对立体图像对进行平移。如图4中点A呈现正视差,如果把左眼图像向右平移,右眼图像向左平移,则点A的感知深度会不断减小,最终会实现图2的效果,即呈现负视差。平移图像,等价于反向平移投影平面。为了不引入垂直视差,仍然令左右眼摄像机主光轴平行,但与平行模型不同的是,摄像机投影平面发生平移,即投影平面中心偏离主光轴。所以,这种双目立体摄像机模型被称为离轴模型,如图6所示。
为了不引入垂直视差,仅在水平方向上移动。让左眼摄像机投影平面向x轴正方向平移s/2,右摄像机投影平面向x轴负方向平移s/2,则两个摄像机的投影平面在z=-f处完全重合。在求点P在投影面上的坐标时,相当于在获得平行模型中坐标后,再在x方向上进行平移。
因此得出某点到右眼投影面的坐标公式为公式1,公式1为:
[ x r , y r ] = [ s 2 - x z f + s 2 , y z f ]
某点到左眼投影面的坐标公式为公式2,公式2为:
[ x l , y l ] = [ - s 2 - x z f + s 2 , y z f ]
显然,垂直视差仍为0。水平视差为公式3,公式3为:
x r - x l = ( 1 + f z ) s = ( 1 - f | z | ) s
对任意点|z|=f,恒有水平视差为0,所以|z|=f面称为零视差面,f称为零视差;|z|<f时,物体在零视差平面前方,视差为负,被感知在屏幕前方;|z|>f时,物体在零视差平面后方,视差为正,被感知在屏幕后方。
离轴模型即能产生正负视差值,又能避免出现水平视差,是一种理想的双目立体摄像机模型。对于实体摄像机,需要使用特殊的离轴镜头实现投影平面的平移,并且要求左右眼镜头的光学系数完全相同;而对于虚拟摄像机,只需要改变视景体的定义即可。这使得离轴模型特别适合于立体三维动画的拍摄。因此,在进行立体三维动画的拍摄时,业内多使用离轴式虚拟摄像机进行拍摄。
立体三维动画与二维动画的区别在于:立体三维动画具有深度。在图形处理器GPU绘制物体的时候,每一个所生成的像素的深度(即z坐标)都保存在缓冲区中,这个缓冲区叫作z缓冲区或者深度缓冲区(Z-Buffer)。
对于像素宽度为W、像素高度为H的图像,其场景深度图是一个大小为W×H×K的数据区,其中K为深度位长。深度值Kij表示图像中坐标为[i,j]的像素点的深度信息,其中i∈[0,W-1],j∈[0,H-1]。在本发明中,从深度缓冲区方法提取场景深度图。具体的,通过对每一视频帧的场景均进行一次绘制,就能在GPU的深度缓冲区中获得场景深度图。上述绘制过程不需要任何颜色信息,可以完全关闭灯光和材质,以获得更高的绘制速度。
S002、对各视频帧:将该视频帧的所述场景深度图的边缘深度值中的最小值确定为该视频帧的场景边缘最近深度Zb,将该视频帧的第一物体的深度确定为该视频帧的感兴趣物体深度Zi
具体的,对各视频帧:可以通过遍历该视频帧的场景深度图的上下左右四个边缘,以获得该视频帧的场景边缘最近深度Zb
其中,第一物体可以为感兴趣物体,例如:行驶的汽车。该第一物体可以是由用户指定的,也可以由计算机自动识别,例如:当位于中间区域的某物体移动而四周区域的物体未移动时,将该位于中间区域的物体确定为第一物体;当位于中间区域的某物体未移动而四周区域的物体移动时,同样将该位于中间区域的物体确定为第一物体。
S003、对各视频帧:通过公式4计算该视频帧的零视差值zpo,获得由各视频帧的零视差值zpo组成的零视差值序列,其中,公式4为:
zpo=min(Zb,Zi)。
当人眼在观看现实物体时,双眼辐辏于物体上一点;同时为了获得清晰的物像,眼部肌肉调节晶状体曲率使得焦距为物体到眼睛的距离。此时,辐辏点和调节点相同,辐辏点到双眼的距离与焦距相同,称这种情况为辐辏-调节一致。观看立体内容时则不然,如图7所示,某点在左右眼图像中的相点分别为Pl和Pr,则该点被感知于点P,双眼辐辏于P;但此时清晰物像在屏幕上,为了获得清晰的物像,双眼必须调节于屏幕上的点A。此时,辐辏点到眼睛的距离和焦距不相等,称这一现象为辐辏-调节矛盾。
辐辏-调节矛盾是我们观看立体内容时,与观看二维内容时的主要差别之一。目前学术界已经形成共识,认为辐辏-调节矛盾是导致立体观看不适感的最主要原因之一。
人类在进行观察活动时,需要视觉系统与大脑的协同工作,即双眼汇聚于某个物体,同时大脑分析该物体的图像信息。如果当我们观看某个物体时,大脑却在处理别的信息,则视线会不自觉的发散,也就是常说的“发呆”或“走神”;相反,当我们要获取某个物体的信息时,视线甚至会不自觉地移动到物体上。我们进行观察活动时,视线汇聚并且大脑注意力集中的区域,称为感兴趣区域。
在交互式立体三维动画应用中,主要通过模拟第一人称视角,来实现身临其境的真实沉浸感,那么双目立体摄像机应该模拟人眼的观察方式。将立体摄像机汇聚在感兴趣区域的中心,可以让辐辏-调节矛盾最小,从而提高舒适性,减小用户的不适感。
辐辏-调节矛盾的本质是立体观看经验与习惯观看经验之间的冲突。立体显示中,除了辐辏-调节矛盾,还存在深度线索之间的冲突。
图8是目前是市面上常见的立体电视宣传广告,通过展示某物体跨越屏幕的形象,说明产品能够实现逼真的立体感。事实上,这种效果是无法实现的,因为观众可看到的图像不可能超过屏幕的像素范围,从任何角度都不可能看到图像遮挡屏幕边框。考虑处于图像边缘的物体,如果物体呈现正视差,即被感知在屏幕后方,则相当于人眼透过屏幕这个“窗口”观察场景,导致物体有一部分被遮挡了,这是自然而然的。但是,如果物体呈现负视差,即被感知在屏幕前方时,则会导致视差线索和非视差线索的冲突。此时,视差线索告诉大脑,物体在屏幕前方;而由于物体超出屏幕范围的图像无法显示,看起来是物体被屏幕边框遮挡,非视差线索告诉大脑,物体在屏幕后方。这种深度线索的冲突,被称为窗口遮挡问题。
Mendiburu研究发现,发生窗口遮挡问题时,经验线索要强于视差线索,大脑会将物体“推”回屏幕内,或者将屏幕弯曲向观察者,如图9所示。这种信息冲突导致的图像扭曲,会引发视觉疲劳,必须尽可能的避免。
窗口遮挡问题的本质是边缘像素出现了负视差,那么解决这一问题的思路是消除边缘像素的负视差。深度值小于零视差的点,总是呈现负视差,所以,必须要求零视差小于或等于所有边缘像素点的深度。可见,调整零视差为场景边缘最近深度Zb可以解决窗口遮挡问题。
综上,为了减小辐辏-调节矛盾,应该将零视差置于感兴趣物体上;为了消除窗口遮挡矛盾,应该令零视差不大于场景边缘最近深度Zb
本发明实施例提供的一种离轴式虚拟摄像机参数确定方法,可以从深度缓冲区中提取离轴式虚拟摄像机中心点视角的各视频帧的场景深度图;并将各视频帧的场景深度图的边缘深度值中的最小值确定为各视频帧的场景边缘最近深度Zb,将各视频帧的第一物体的深度确定为各视频帧的感兴趣物体深度Zi,使用场景边缘最近深度Zb和感兴趣物体深度Zi中的较小值作为零视差值,得到由各视频帧的零视差值zpo组成的零视差值序列。本发明实现了各视频帧的零视差值的自动确定,无需人工设置,因此不受经验不足等因素的影响,也减小了技术人员的工作量。同时,本发明还可以在不发生窗口遮挡问题的前提下,令零视差尽可能地靠近感兴趣物体,从而可以在保证舒适性的同时尽量提升立体感,保证了所确定的零时差的使用效果。
如图10所示,本发明实施例提供的另一种离轴式虚拟摄像机参数确定方法,还可以包括:
S004、对所述零视差值序列进行数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列。
其中,S004可以具体包括:使用七点线性平滑算法对所述零视差值序列进行预设次数的数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列。
其中,七点线性平滑算法的计算公式可以为公式5,公式5为:
y ′ i - 3 = 1 28 ( 13 y i - 3 + 10 y i - 2 + 7 y i - 1 + 4 y i + y i + 1 - 2 y i + 2 - 5 y i + 3 ) y ′ i - 2 = 1 14 ( 5 y i - 3 + 4 y i - 2 + 3 y i - 1 + 2 y i + y i + 1 - y i + 3 ) y ′ i - 1 = 1 28 ( 7 y i - 3 + 6 y i - 2 + 5 y i - 1 + 4 y i + 3 y i + 1 + 2 y i + 2 + y i + 3 ) y ′ i = 1 7 ( y i - 3 + y i - 2 + y i - 1 + y i + y i + 1 + y i + 2 + y i + 3 ) y ′ i + 1 = 1 28 ( y i - 3 + 2 y i - 2 + 3 y i - 1 + 4 y i + 5 y i + 1 + 6 y i + 2 + 4 y i + 3 ) y ′ i + 2 = 1 14 ( - y i - 3 + y i - 1 + 2 y i + 3 y i + 1 + 4 y i + 2 + 5 y i + 3 ) y ′ i + 3 = 1 28 ( - 5 y i - 3 - 2 y i - 2 + y i - 1 + 4 y i + 7 y i + 1 + 10 y i + 2 + 13 y i + 3 )
下面对七点线性平滑算法进行说明:
假设对m个数据进行平滑:对起始的3个平滑值:y′0、y′1和y′2,采用i=3时计算出的平滑值;同理,对末尾的3个平滑值:y′m-3、y′m-2和y′m-1,采用i=m-4时计算出的平滑值;对任意i∈[3,m-4],平滑值y′i实际上就是以yi为中心的7个数据点的线性平均值。
当然,在本发明其他实施例中,还可以采用三点线性平滑算法、五点线性平滑算法、十一点线性平滑算法等进行数据平滑处理。
在现实生活中,人们在长时间观察时,习惯于物体保持深度不变。因为如果物体的深度不断变化,则人眼必须频繁地改变辐辏和调节,就会导致眼部肌肉的疲劳。观看平面内容时,虽然双目汇聚点也会变化,但一般只集中在屏幕中心区域附近并且总是在一个平面上,所以变化幅度较小,不易引发疲劳。在观看立体内容时,双眼会辐辏于物体的感知深度处,也就是说如果物体在较大的深度范围内变化,则双眼也需要进行更多的辐辏变化,更容易引起视觉疲劳。同时,人眼的辐辏和调节是需要时间的。人眼在不同物体间切换时,需要经过一段时间之后才能看清物体,然后才能感知物体的深度。如果物体在两帧之间的深度变化很大,则大脑还来不及分析物体深度,就发生了画面的切换,这不仅会让立体感大打折扣,还会引起眩晕和恶心。立体显示中,深度变化过快、过大的问题,称为深度跳变问题。
图10所示实施例通过对零视差值序列进行数据平滑处理,可以使得深度变化更加平滑,避免了深度跳变问题,使用图10所示实施例得到的零视差终值序列中的零视差终值进行拍摄得到的三维立体动画可以使用户获得更好的观看感受。
双目立体显示通过视差来实现立体感。在早期的立体电影中,创作者经常通过营造巨大的视差来实现夸张的视觉效果,例如飞向人脸的子弹或棒球。这样做的目的是希望体现出立体显示这一新兴技术能够实现的视觉冲击力。但实际上,这些影片会让观众产生强烈的不适感,包括恶心、眩晕、头痛、眼睛酸涩等。这导致了立体显示技术被认为缺乏实用性,沉寂了相当长的一段时间。
随着立体显示技术的不断发展成熟,人们已经意识到,立体显示除了能够实现传统二维显示无法的实现的效果外,也会引入新的问题。在实现真实立体感的同时,也要保证立体显示的舒适性。影响立体显示舒适性的问题之一为:立体内容本身。
根据前述实施例对辐辏-调节矛盾的描述可知,辐辏-调节矛盾越大,则舒适性越差。在观看立体内容时,我们总是调节于屏幕上。那么物体的感知深度距离屏幕越远,辐辏点距离屏幕也越远,辐辏-调节矛盾就越大。相应的,立体显示的舒适性就越差。人眼对辐辏-调节矛盾有一定的耐受性,我们把不会导致辐辏-调节矛盾超出人眼可接受范围的感知深度区间,称为立体显示舒适区,简称为舒适区。
下面,结合辐辏-调节矛盾对舒适区进行分析。如图12所示,假设左眼L和右眼R连线的中垂线交屏幕于点A,物体在立体图像对上的像点分别为Pl和Pr,并关于点A对称,则该点被感知于点P。此时,双眼调节于A,辐辏于P,称α为调节角,β为辐辏角。
可以直观地看出,α与β的差值越大,则P点距离屏幕越远,辐辏-调节矛盾就越严重。我们定义γ=α-β为辐辏-调节角差。需要强调的是,对于固定的α,具有相同辐辏-调节角差的点实际上构成一个过L、R、P三点的圆,此时它们到屏幕的距离并不相等。但由于β角一般很小,我们近似地以β角表示P点所在深度平面上所有点的辐辏角。同理,我们总是以A点处的调节角α作为当前观看条件下的调节角。
设人眼瞳距为pd(pupillary distance),观看距离为vd(viewing distance),则P点的感知深度D为公式6,公式6为:
D = pd 2 tan β 2 = pd 2 tan α - γ 2
其中,
α = 2 tan - 1 pd 2 vd
由公式6知,一个γ值对应于一个感知深度值。如果我们定义了辐辏-调节角差的范围,也就定义了一个感知深度范围。假设人眼可承受的辐辏调节角差γ∈[γminmax],则得到如下公式:
公式7:
β∈[βminmax]=[α-γmax,α-γmin]
公式8:
D ∈ [ D min , D max ] = [ pd 2 tan α - γ min 2 , pd 2 tan α - γ max 2 ]
[Dmin,Dmax]就是一个由γ定义的舒适区。一般舒适区分布在屏幕的两侧,即
Dmin<vd>Dmax
所以,舒适区可以表示成另一种形式,如公式9所示:
公式9:
Dneg=vd-Dmin,Dpos=Dmax-vd
其中,Dneg为最大出屏感知距离,最大出屏感知距离也即:屏幕前方的舒适区距离屏幕的最远距离;Dpos为最小出屏感知距离,最小出屏感知距离也即:屏幕后方舒适区中距离屏幕的最远距离。此时,舒适区可以看成一个以屏幕为中心的,从屏幕前方和后方距离屏幕最远分别为Dneg和Dpos的空间,这也是最常用的一种舒适区定义方式,如图13所示。
目前,对舒适区的定量研究主要是通过主观评价实验的方式,而各种实验的结论也不尽相同,比如屏幕前舒适区为观看距离的25%,屏幕后舒适区为观看距离的60%;屏幕前和屏幕后舒适区分别为107mm和145mm;屏幕前舒适区分布在50mm到190mm之间,屏幕后舒适区分布在60mm到180mm之间等。
从立体图像的生成,到观众观看,存在如图14所示的信息传递过程。我们将场景和摄像机构成的空间称为摄像机空间;屏幕和人眼构成的空间称为观察空间。两个空间之间存在着对应关系:场景中的零视差对应于屏幕;摄像机对应于人眼。那么,场景中某个深度的点,也应该对应于现实空间中某个感知深度的点。这种对应关系称为感知深度映射。对于一个已经定义好的虚拟场景,摄像机参数就决定了获得的立体图像,从而决定了立体显示效果。下面,详细分析立体摄像机参数与立体效果之间的关系模型,即感知深度映射关系。
首先,由公式3知离轴模型中视差计算公式为公式10,公式10为:
P p = ( 1 - zp Z ) s
其中,zp为零视差,s为摄像机间距,Z为某点距离摄像机的距离,则Pp为该点在投影平面上的视差。
假设中心摄像机的视角为α,则投影平面宽度Wp的计算公式为公式11,公式11为:
W p = 2 · zp · tan α 2
Pp和Wp均使用虚拟空间中的长度单位。投影平面上的图像对应于屏幕上宽度为Ws像素的图像,所以,该点在屏幕上以像素为单位的视差Ps的计算公式为公式12,公式12为:
P s = W s W p P p
设屏幕的像素间距为σ毫米/像素,则该点在屏幕上的最终视差P的计算公式为公式13,公式13为:
P=Ps·σ
单位为毫米。视差这种表示方法不够直观,我们将其换算成感知深度D。假设人眼瞳距为pd,观看距离为vd,如图12所示,由三角形相似可得公式14,公式14为:
D = pd pd - P · vd
单位为毫米。将公式13带入公式14,则建立了一个从场景深度Z到感知深度D的映射关系f为公式15,公式15为:
D=f(Z)
我们称f为感知深度映射关系。
我们将f中的系数分为两部分:零视差zp和摄像机间距s称为立体系数,其它系数统称为环境系数。环境系数一般是预设的,那么,一组立体系数就唯一决定了一个映射关系,也就是说,此时立体摄像机的参数决定了立体图像的立体效果。反之,我们希望获得怎样的立体效果,就可以根据映射关系反推需要的摄像机参数。
需要确定的系数有两个,所以我们需要定义一组映射关系为公式16所示,公式16为:
D min = f ( Z min ) D max = f ( Z max )
由于f是一个等比例映射,对于任意Z∈[Zmin,Zmax],有D∈[Dmin,Dmax]。也就是说,我们实际上选取了一个虚拟场景深度区间和一个感知深度区间,将前者等比例映射到后者。我们把区间的选择方式称为映射策略。
由上述内容,我们知道立体显示中存在舒适区,并用一个感知深度区间来定义。一种自然而然的映射策略是,将某个场景深度区间映射到整个舒适区,这样就可以在保证舒适性的情况下,获得更好的立体感。
现有的感知深度映射策略的主要思路,是完全利用立体舒适区内的舒适空间。为此,需要有比例关系一成立,比例关系一为:
在舒适区范围确定的情况下,该比例关系就决定了零视差平面在场景中的位置。也就是说,零视差和摄像机间距两个参数都是由感知深度映射关系决定的。
同时,我们考虑窗口遮挡问题。窗口遮挡问题的本质是边缘像素出现了负视差,那么解决这一问题的思路是消除边缘像素的负视差。深度值小于零视差的点,总是呈现负视差,所以,必须要求零视差小于或等于所有边缘像素点的深度。可见,调整零视差可以解决窗口遮挡问题。
人在观察现实场景时双目会汇聚于感兴趣区域,在观看三维动画时,也同样如此。观察者注视感兴趣区域就意味着人眼辐辏于感兴趣区域的中心,也就是说感兴趣区域的感知深度将决定着辐辏-调节矛盾的大小。如果我们总是把零视差平面放置在感兴趣区域中心,就意味着观察者在整个观看过程中总能获得较小的辐辏-调节差,理论上就能够实现较好的舒适性。在动画创作过程中,感兴趣区域主要由创作者直接指定。同时,我们考虑窗口遮挡问题。窗口遮挡问题的本质是边缘像素出现了负视差,那么解决这一问题的思路是消除边缘像素的负视差。深度值小于零视差的点,总是呈现负视差,所以,必须要求零视差小于或等于所有边缘像素点的深度。
综上,本文提出一种零视差调整策略。其基本思路是,在不发生窗口遮挡问题的前提下,令零视差尽可能逼近感兴趣区域。这种策略避免了窗口遮挡问题,同时在一定程度上保证了舒适度的优化分配。
计算出舒适区和零视差后,可以计算摄像机间距。根据公式14,可以推导出摄像机间距的计算公式为公式17,公式17为:
s = 2 · zp · tan α 2 · pd · ( 1 - vd D ) δ · W s · ( 1 - zp Z )
由公式17可以看出,在零视差zp确定后,一个Z到D的映射就确定了摄像机间距,即:
s=g(Z,D)
所以,我们只需要选择一个映射关系即可。
我们选取映射关系时,要尽可能使虚拟空间经过映射后覆盖最多的舒适区空间,以尽量减小立体感的损失,方法如下:
感知深度映射为等比例映射。设有比例关系ρ1和ρ2
ρ 1 = D neg D pos
ρ 2 = zp - Z min Z max - zp
其中,Zmin和Zmax分别为像素最近深度和像素最远深度。比较ρ1和ρ2的大小,共分为如下几种情况:
(1)、若ρ1<ρ2,则为了在不超出舒适区的前提下,尽可能利用舒适区,选择将像素最近深度Zmin映射到Dneg,称为负视差对齐映射。此时屏幕后舒适区中有一部分没有利用到。一种极限情况是zp=Zmax,采用同样的映射方法。
(2)、若ρ1=ρ2,此时正好可以完全利用舒适区,称为全视差映射。
(3)、若ρ1>ρ2,将Zmax映射到Dpos,称为正视差对齐映射。此时屏幕前舒适区中有一部分没有被利用到。zp=Zmin时同理。
(4)、以上3种情况中,均有ρ2≥0。但是,由于引入了零视差平滑,可能会出现ρ2<0的情况。此时zp>Zmax,采用负视差对齐映射,场景全部被感知在屏幕前。同理,zp<Zmin的情况,采用正视差对齐映射。
确定映射关系后,可以通过公式18计算出摄像机间距s,公式18为:
进而,就可以计算得到摄像机间距。
在图10所示实施例基础上,如图11所示,本发明实施例提供的另一种离轴式虚拟摄像机参数确定方法,还可以包括:
S005、对各视频帧:将该视频帧的所述场景深度图中的深度最小值确定为该视频帧的场景最近深度Zmin,将该视频帧的所述场景深度图中的深度最大值确定为该视频帧的场景最远深度Zmax
S006、获得瞳距pd、观看距离vd、角差值的最小值γmin和角差值的最大值γmax,其中,所述角差值为辐辏角与调节角的差值;
S007、根据公式19计算得出最大出屏感知距离Dneg,其中,公式19为:
D neg = vd - pd 2 tan α - γ min 2
其中,
α = 2 tan - 1 pd 2 vd ;
S008、根据公式20计算得出最小出屏感知距离Dpos,其中,公式20为:
D pos = pd 2 tan α - γ max 2 - vd
其中,
α = 2 tan - 1 pd 2 vd ;
其中,步骤S005与步骤S002至S004的执行顺序可以为任意执行顺序;步骤S006至S008与步骤S001至S004的执行顺序可以为任意执行顺序;步骤S006至S008与步骤S005的执行顺序可以为任意执行顺序;步骤S007与步骤S008的执行顺序可以为任意执行顺序。
S009、通过公式17计算得到各视频帧的摄像机间距s,其中,公式17为:
s = 2 · zp · tan α 2 · pd · ( 1 - vd D ) δ · W s · ( 1 - zp Z )
其中,δ为视频显示设备的像素宽度,Ws为用户输入的立体图像的像素宽度,在ρ1≤ρ2且ρ2≥0时,Z=Zmin且D=Dmin;在zp>Zmax时,Z=Zmin且D=Dmin;在ρ1>ρ2且ρ2≥0时,Z=Zmax且D=Dmax;在zp<Zmin时,Z=Zmax且D=Dmax,其中,
Dmax=Dpos+vd
Dmin=vd-Dneg
ρ 1 = D neg D pos
ρ 2 = zp - Z min Z max - zp .
由于图11所示实施例中摄像机间距的计算公式根据立体显示舒适区和感知深度映射关系得到,因此根据图11所示实施例计算得出的摄像机间距可以使得场景深度位于舒适区内,从而使得用户得到较舒适的观看感受。
在图11所示实施例基础上,本发明实施例提供的另一种离轴式虚拟摄像机参数确定方法,还可以包括:
根据所述零视差终值序列和各视频帧的摄像机间距s对离轴式虚拟摄像机进行参数设置。
与上述方法实施例相对应,本发明还提供了一种离轴式虚拟摄像机参数确定系统。
如图15所示,本发明还提供的一种离轴式虚拟摄像机参数确定系统,应用于计算机,该系统可以包括:深度图提取单元001、第一深度确定单元002和零时差序列获得单元003,
所述深度图提取单元001,用于从深度缓冲区中提取离轴式虚拟摄像机中心点视角的各视频帧的场景深度图;
所述第一深度确定单元002,用于对各视频帧:将该视频帧的所述场景深度图的边缘深度值中的最小值确定为该视频帧的场景边缘最近深度Zb,将该视频帧的第一物体的深度确定为该视频帧的感兴趣物体深度Zi
所述零时差序列获得单元003,用于对各视频帧:通过公式
zpo=min(Zb,Zi)
计算该视频帧的零视差值zpo,获得由各视频帧的零视差值zpo组成的零视差值序列。
本发明实施例提供的一种离轴式虚拟摄像机参数确定系统,可以从深度缓冲区中提取离轴式虚拟摄像机中心点视角的各视频帧的场景深度图;并将各视频帧的场景深度图的边缘深度值中的最小值确定为各视频帧的场景边缘最近深度Zb,将各视频帧的第一物体的深度确定为各视频帧的感兴趣物体深度Zi,使用场景边缘最近深度Zb和感兴趣物体深度Zi中的较小值作为零视差值,得到由各视频帧的零视差值zpo组成的零视差值序列。本发明实现了各视频帧的零视差值的自动确定,无需人工设置,因此不受经验不足等因素的影响,也减小了技术人员的工作量。同时,本发明还可以在不发生窗口遮挡问题的前提下,令零视差尽可能地靠近感兴趣物体,从而可以在保证舒适性的同时尽量提升立体感,保证了所确定的零时差的使用效果。
在图15所示实施例基础上,如图16所示,本发明实施例提供的另一种离轴式虚拟摄像机参数确定系统,还可以包括:
平滑处理单元004,用于对所述零时差序列获得单元003获得的零视差值序列进行数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列。
其中,平滑处理单元004,可以具体用于:
使用七点线性平滑算法对所述零视差值序列进行预设次数的数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列。
图16所示实施例通过对零视差值序列进行数据平滑处理,可以使得深度变化更加平滑,避免了深度跳变问题,使用图16所示实施例得到的零视差终值序列中的零视差终值进行拍摄得到的三维立体动画可以使用户获得更好的观看感受。
在图16所示实施例基础上,如图17所示,本发明实施例提供的另一种离轴式虚拟摄像机参数确定系统,还可以包括:第二深度确定单元005、参数获得单元006、第一距离计算单元007、第二距离计算单元008和间距计算单元009,
第二深度确定单元005,用于对各视频帧:将该视频帧的所述场景深度图中的深度最小值确定为该视频帧的场景最近深度Zmin,将该视频帧的所述场景深度图中的深度最大值确定为该视频帧的场景最远深度Zmax
参数获得单元006,用于获得瞳距pd、观看距离vd、角差值的最小值γmin和角差值的最大值γmax,其中,所述角差值为辐辏角与调节角的差值;
第一距离计算单元007,用于根据公式
D neg = vd - pd 2 tan α - γ min 2
计算得出最大出屏感知距离Dneg,其中,
α = 2 tan - 1 pd 2 vd ;
第二距离计算单元008,用于根据公式
D pos = pd 2 tan α - γ max 2 - vd
计算得出最小出屏感知距离Dpos,其中,
α = 2 tan - 1 pd 2 vd ;
间距计算单元009,用于通过公式
s = 2 · zp · tan α 2 · pd · ( 1 - vd D ) δ · W s · ( 1 - zp Z )
计算得到各视频帧的摄像机间距s,其中,δ为视频显示设备的像素宽度,Ws为用户输入的立体图像的像素宽度,在ρ1≤ρ2且ρ2≥0时,Z=Zmin且D=Dmin;在zp>Zmax时,Z=Zmin且D=Dmin;在ρ1<ρ2且ρ2≥0时,Z=Zmax且D=Dmax;在zp<Zmin时,Z=Zmax且D=Dmax,其中,
Dmax=Dpos+vd
Dmin=vd-Dneg
ρ 1 = D neg D pos
ρ 2 = zp - Z min Z max - zp .
由于图17所示实施例中摄像机间距的计算公式根据立体显示舒适区和感知深度映射关系得到,因此根据图17所示实施例计算得出的摄像机间距可以使得场景深度位于舒适区内,从而使得用户得到较舒适的观看感受。
在图17所示实施例基础上,本发明实施例提供的另一种离轴式虚拟摄像机参数确定系统,还可以包括:
参数设置单元,用于根据所述零视差终值序列和各视频帧的摄像机间距s对离轴式虚拟摄像机进行参数设置。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种离轴式虚拟摄像机参数确定方法,其特征在于,应用于计算机,所述方法包括:
从深度缓冲区中提取离轴式虚拟摄像机中心点视角的各视频帧的场景深度图;
对各视频帧:将该视频帧的所述场景深度图的边缘深度值中的最小值确定为该视频帧的场景边缘最近深度Zb,将该视频帧的第一物体的深度确定为该视频帧的感兴趣物体深度Zi
对各视频帧:通过公式
zpo=min(Zb,Zi)
计算该视频帧的零视差值zpo,获得由各视频帧的零视差值zpo组成的零视差值序列。
2.根据权利要求1所述的方法,其特征在于,还包括:
对所述零视差值序列进行数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列。
3.根据权利要求2所述的方法,其特征在于,还包括:
对各视频帧:将该视频帧的所述场景深度图中的深度最小值确定为该视频帧的场景最近深度Zmin,将该视频帧的所述场景深度图中的深度最大值确定为该视频帧的场景最远深度Zmax
获得瞳距pd、观看距离vd、角差值的最小值γmin和角差值的最大值γmax,其中,所述角差值为辐辏角与调节角的差值;
根据公式
D neg = vd - pd 2 tan α - γ min 2
计算得出最大出屏感知距离Dneg,其中,
α = 2 tan - 1 pd 2 vd ;
根据公式
D pos = pd 2 tan α - γ max 2 - vd
计算得出最小出屏感知距离Dpos,其中,
α = 2 tan - 1 pd 2 vd ;
通过公式
s = 2 · zp · tan α 2 · pd · ( 1 - vd D ) δ · W s · ( 1 - zp Z )
计算得到各视频帧的摄像机间距s,其中,δ为视频显示设备的像素宽度,Ws为用户输入的立体图像的像素宽度,在ρ1≤ρ2且ρ2≥0时,Z=Zmin且D=Dmin;在zp>Zmax时,Z=Zmin且D=Dmin;在ρ1>ρ2且ρ2≥0时,Z=Zmax且D=Dmax;在zp<Zmin时,Z=Zmax且D=Dmax,其中,
Dmax=Dpos+vd
Dmin=vd-Dneg
ρ 1 = D neg D pos
ρ 2 = zp - Z min Z max - zp .
4.根据权利要求2或3所述的方法,其特征在于,所述对所述零视差值序列进行数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列,包括:
使用七点线性平滑算法对所述零视差值序列进行预设次数的数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列。
5.根据权利要求3所述的方法,其特征在于,还包括:
根据所述零视差终值序列和各视频帧的摄像机间距s对离轴式虚拟摄像机进行参数设置。
6.一种离轴式虚拟摄像机参数确定系统,其特征在于,应用于计算机,所述系统包括:深度图提取单元、第一深度确定单元和零时差序列获得单元,
所述深度图提取单元,用于从深度缓冲区中提取离轴式虚拟摄像机中心点视角的各视频帧的场景深度图;
所述第一深度确定单元,用于对各视频帧:将该视频帧的所述场景深度图的边缘深度值中的最小值确定为该视频帧的场景边缘最近深度Zb,将该视频帧的第一物体的深度确定为该视频帧的感兴趣物体深度Zi
所述零时差序列获得单元,用于对各视频帧:通过公式
zpo=min(Zb,Zi)
计算该视频帧的零视差值zpo,获得由各视频帧的零视差值zpo组成的零视差值序列。
7.根据权利要求6所述的系统,其特征在于,还包括:平滑处理单元,用于对所述零时差序列获得单元获得的零视差值序列进行数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列。
8.根据权利要求7所述的系统,其特征在于,还包括:第二深度确定单元、参数获得单元、第一距离计算单元、第二距离计算单元和间距计算单元,
所述第二深度确定单元,用于对各视频帧:将该视频帧的所述场景深度图中的深度最小值确定为该视频帧的场景最近深度Zmin,将该视频帧的所述场景深度图中的深度最大值确定为该视频帧的场景最远深度Zmax
所述参数获得单元,用于获得瞳距pd、观看距离vd、角差值的最小值γmin和角差值的最大值γmax,其中,所述角差值为辐辏角与调节角的差值;
所述第一距离计算单元,用于根据公式
D neg = vd - pd 2 tan α - γ min 2
计算得出最大出屏感知距离Dneg,其中,
α = 2 tan - 1 pd 2 vd ;
所述第二距离计算单元,用于根据公式
D pos = pd 2 tan α - γ max 2 - vd
计算得出最小出屏感知距离Dpos,其中,
α = 2 tan - 1 pd 2 vd ;
所述间距计算单元,用于通过公式
s = 2 · zp · tan α 2 · pd · ( 1 - vd D ) δ · W s · ( 1 - zp Z )
计算得到各视频帧的摄像机间距s,其中,δ为视频显示设备的像素宽度,Ws为用户输入的立体图像的像素宽度,在ρ1≤ρ2且ρ2≥0时,Z=Zmin且D=Dmin;在zp>Zmax时,Z=Zmin且D=Dmin;在ρ1>ρ2且ρ2≥0时,Z=Zmax且D=Dmax;在zp<Zmin时,Z=Zmax且D=Dmax,其中,
Dmax=Dpos+vd
Dmin=vd-Dneg
ρ 1 = D neg D pos
ρ 2 = zp - Z min Z max - zp .
9.根据权利要求7或8所述的系统,其特征在于,所述平滑处理单元,具体用于:
使用七点线性平滑算法对所述零视差值序列进行预设次数的数据平滑处理,获得由各视频帧的零视差终值zp组成的零视差终值序列。
10.根据权利要求8所述的系统,其特征在于,还包括:参数设置单元,用于根据所述零视差终值序列和各视频帧的摄像机间距s对离轴式虚拟摄像机进行参数设置。
CN201510250453.4A 2015-05-15 2015-05-15 离轴式虚拟摄像机参数确定方法及系统 Expired - Fee Related CN104869389B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510250453.4A CN104869389B (zh) 2015-05-15 2015-05-15 离轴式虚拟摄像机参数确定方法及系统
US15/012,442 US9754379B2 (en) 2015-05-15 2016-02-01 Method and system for determining parameters of an off-axis virtual camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510250453.4A CN104869389B (zh) 2015-05-15 2015-05-15 离轴式虚拟摄像机参数确定方法及系统

Publications (2)

Publication Number Publication Date
CN104869389A true CN104869389A (zh) 2015-08-26
CN104869389B CN104869389B (zh) 2016-10-05

Family

ID=53914855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510250453.4A Expired - Fee Related CN104869389B (zh) 2015-05-15 2015-05-15 离轴式虚拟摄像机参数确定方法及系统

Country Status (2)

Country Link
US (1) US9754379B2 (zh)
CN (1) CN104869389B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060524A (zh) * 2016-06-30 2016-10-26 北京邮电大学 一种摄像机的设置方法及装置
CN111323663A (zh) * 2020-02-26 2020-06-23 中南大学 一种基于电流特征提取的电磁阀寿命预测方法及装置
CN113034597A (zh) * 2021-03-31 2021-06-25 华强方特(深圳)动漫有限公司 一种实现立体相机自动优化位置参数的方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251403B (zh) * 2016-06-12 2018-02-16 深圳超多维光电子有限公司 一种虚拟立体场景实现的方法、装置和系统
EP3396949A1 (en) * 2017-04-26 2018-10-31 Koninklijke Philips N.V. Apparatus and method for processing a depth map
US12080013B2 (en) * 2020-07-06 2024-09-03 Toyota Research Institute, Inc. Multi-view depth estimation leveraging offline structure-from-motion
CN113658202B (zh) * 2021-08-17 2024-09-06 吉林大学 边缘模糊定位联合mrf优化的单目视频虚拟视图合成方法
CN113723500B (zh) * 2021-08-27 2023-06-16 四川启睿克科技有限公司 基于特征相似性和线性平滑组合的图像数据扩充方法
CN114255319B (zh) * 2021-12-09 2022-11-25 苏州大学 一种不同帧率的立体相机的三维重建方法、系统及其应用
CN114859561B (zh) * 2022-07-11 2022-10-28 泽景(西安)汽车电子有限责任公司 一种可穿戴显示设备及其控制方法、存储介质
CN118379436B (zh) * 2024-06-21 2024-08-16 云士康(深圳)智能科技有限公司 三维虚拟场景的生成方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102157012A (zh) * 2011-03-23 2011-08-17 深圳超多维光电子有限公司 对场景进行立体渲染的方法、图形图像处理装置及设备、系统
US20110216167A1 (en) * 2009-09-11 2011-09-08 Sheldon Katz Virtual insertions in 3d video
CN102244732A (zh) * 2011-07-01 2011-11-16 深圳超多维光电子有限公司 一种立体摄像机的参数设置方法、装置及该立体摄像机
CN104159099A (zh) * 2014-08-29 2014-11-19 杭州道玄影视科技有限公司 一种3d立体影视制作中双目立体摄像机的设置方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956573B1 (en) * 1996-11-15 2005-10-18 Sarnoff Corporation Method and apparatus for efficiently representing storing and accessing video information
EP1314138A1 (en) * 2000-08-04 2003-05-28 Dynamic Digital Depth Research Pty. Ltd. Image conversion and encoding technique
US7675540B2 (en) * 2003-08-19 2010-03-09 Kddi Corporation Concealed regions complementing system of free viewpoint video images
US7376250B2 (en) * 2004-01-05 2008-05-20 Honda Motor Co., Ltd. Apparatus, method and program for moving object detection
AU2006217569A1 (en) * 2005-02-23 2006-08-31 Craig Summers Automatic scene modeling for the 3D camera and 3D video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110216167A1 (en) * 2009-09-11 2011-09-08 Sheldon Katz Virtual insertions in 3d video
CN102157012A (zh) * 2011-03-23 2011-08-17 深圳超多维光电子有限公司 对场景进行立体渲染的方法、图形图像处理装置及设备、系统
CN102244732A (zh) * 2011-07-01 2011-11-16 深圳超多维光电子有限公司 一种立体摄像机的参数设置方法、装置及该立体摄像机
CN104159099A (zh) * 2014-08-29 2014-11-19 杭州道玄影视科技有限公司 一种3d立体影视制作中双目立体摄像机的设置方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡辉跃: "虚拟场景的立体显示技术研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060524A (zh) * 2016-06-30 2016-10-26 北京邮电大学 一种摄像机的设置方法及装置
CN106060524B (zh) * 2016-06-30 2017-12-29 北京邮电大学 一种摄像机的设置方法及装置
CN111323663A (zh) * 2020-02-26 2020-06-23 中南大学 一种基于电流特征提取的电磁阀寿命预测方法及装置
CN113034597A (zh) * 2021-03-31 2021-06-25 华强方特(深圳)动漫有限公司 一种实现立体相机自动优化位置参数的方法

Also Published As

Publication number Publication date
CN104869389B (zh) 2016-10-05
US20160337640A1 (en) 2016-11-17
US9754379B2 (en) 2017-09-05

Similar Documents

Publication Publication Date Title
CN104869389B (zh) 离轴式虚拟摄像机参数确定方法及系统
JP7094266B2 (ja) 単一深度追跡型の遠近調節-両眼転導ソリューション
WO2010084716A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
US9106906B2 (en) Image generation system, image generation method, and information storage medium
Blum et al. The effect of out-of-focus blur on visual discomfort when using stereo displays
CN108632599B (zh) 一种vr图像的显示控制系统及其显示控制方法
US11659158B1 (en) Frustum change in projection stereo rendering
US8094148B2 (en) Texture processing apparatus, method and program
WO2012175939A1 (en) Apparatus and method for displaying images
CN106095106A (zh) 虚拟现实终端及其显示光心距的调整方法及装置
JP2011205195A (ja) 画像処理装置、プログラム、画像処理方法、椅子および観賞システム
TW201919393A (zh) 立體成像顯示系統及顯示立體影像的顯示方法
CN116567191A (zh) 一种面向舒适度提升的立体视觉内容视差调节方法
CN108287609B (zh) 用于ar眼镜的图像绘制方法
KR20200043483A (ko) 컴퓨터 장치에서 이미지를 수정하는 방법
WO2017085803A1 (ja) 映像表示装置及び映像表示方法
US12081722B2 (en) Stereo image generation method and electronic apparatus using the same
KR101172507B1 (ko) 시점 조정 3차원 영상 제공 장치 및 방법
Lee et al. Eye tracking based glasses-free 3D display by dynamic light field rendering
JP2003348622A (ja) 立体映像表示方法及び記憶媒体
JPH09233499A (ja) 立体画像生成装置
US11164375B1 (en) Stereoscopic rendering of non-flat, reflective or refractive surfaces
CN108881892A (zh) 用于桌面式虚拟现实系统的防眩晕方法、系统
CN211791831U (zh) 集成成像显示系统
Gurrieri Improvements in the visualization of stereoscopic 3D imagery

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Ma Huadong

Inventor after: Liu Liang

Inventor after: Liu Aner

Inventor after: Lu Dawei

Inventor before: Ma Huadong

Inventor before: Liu Aner

Inventor before: Lu Dawei

COR Change of bibliographic data
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161005

Termination date: 20170515

CF01 Termination of patent right due to non-payment of annual fee