CN102420999A - 电子设备、再现系统、再现方法、以及程序 - Google Patents

电子设备、再现系统、再现方法、以及程序 Download PDF

Info

Publication number
CN102420999A
CN102420999A CN2011102811731A CN201110281173A CN102420999A CN 102420999 A CN102420999 A CN 102420999A CN 2011102811731 A CN2011102811731 A CN 2011102811731A CN 201110281173 A CN201110281173 A CN 201110281173A CN 102420999 A CN102420999 A CN 102420999A
Authority
CN
China
Prior art keywords
picture
reproduction
display position
picture data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102811731A
Other languages
English (en)
Other versions
CN102420999B (zh
Inventor
细井隆宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102420999A publication Critical patent/CN102420999A/zh
Application granted granted Critical
Publication of CN102420999B publication Critical patent/CN102420999B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种电子设备,包括:获取部分,配置为获取具有构成运动画面的多个画面数据的视频数据,用于再现三维运动画面;操作部分,配置为给出指令,用于对于三维运动画面再现所获取的多个画面数据的稀疏再现;以及选择部分,配置为根据稀疏再现指令从对于三维运动画面再现所获取的多个画面数据中依次选择用于三维运动画面稀疏再现的画面数据;其中,选择部分选择其相对于前一选择的画面的显示位置在深度方向经历有限变化的画面数据。

Description

电子设备、再现系统、再现方法、以及程序
技术领域
本公开涉及一种用于再现三维(3D)运动画面(moving picture)的电子设备、再现系统、再现方法、以及程序。
背景技术
存在许多用于再现3D运动画面的再现设备。日本专利公开待审No.Hei11-289555(以下称为专利文档1)中公开了一种这样的再现设备,日本专利公开待审No.Hei 10-327430(以下称为专利文档2)中公开了另一种这样的再现设备,日本专利公开待审No.2010-130495(以下称为专利文档3)中公开了再一种这样的再现设备。
专利文档1公开了一种3D视频设备,描述了有关字符信息的位置信息,包括用于三维显示伴随视频的字符信息的显示位置信息。
专利文档2公开了一种用于数字3D广播的自动反射式幻灯机(telop)显示设备,描述了如何将视差添加到自动反射式幻灯机信息。
专利文档3描述了如何基于给定3D效果程度,根据菜单显示信息创建右眼显示信息和左眼显示信息。
发明内容
再现设备和其它类似的电子设备通常具有执行运动画面的快进再现的能力以及执行它们的快退再现的能力。
在诸如快进再现或者快退再现的特定再现模式中,存在着这样的可能性:在3D运动画面的再现期间,画面、整个画面、画面中的对象或者画面背景的显示位置可能会在深度方向突然变化。
即使创建了将要再现的运动画面数据以便不引发显示位置在深度方向上的突然变化,也依然存在着在诸如快进再现或者快退再现的稀疏(thin out)再现中显示位置在深度方向突然变化的可能性。
鉴于上述情况,作出了本公开,并且本公开尤其提供了诸如在3D画面的稀疏再现期间不会导致3D运动画面的显示位置在深度方向的突然变化的再现设备的电子设备。
根据本公开的一个实施例,提供了一种电子设备,包含:获取部分,配置为获取具有构成运动画面的多个画面数据的视频数据,用于再现三维运动画面;操作部分,配置为给出指令,用于对于三维运动画面再现所获取的所述多个画面数据的稀疏再现;以及选择部分,配置为基于稀疏再现指令从对于三维运动画面再现所获取的所述多个画面数据中依次选择用于三维运动画面的稀疏再现的画面数据;其中,所述选择部分选择其相对于前一选择的画面的显示位置在深度方向经历有限变化的画面数据。
优选地,当稀疏再现时,选择部分可以选择其相对于前一选择的画面的显示位置在深度方向经历有限变化的画面数据。
根据本公开的另一实施例,提供了一种再现系统,包含:显示设备,配置为显示运动画面;以及再现设备,配置为向所述显示设备输出三维运动画面;其中,所述再现设备包括:获取部分,配置为获取具有构成运动画面的多个画面数据的视频数据,用于再现三维运动画面;操作部分,配置为给出指令,用于对于三维运动画面再现所获取的所述多个画面数据的稀疏再现;以及选择部分,配置为基于稀疏再现指令从对于三维运动画面再现所获取的所述多个画面数据中依次选择用于三维运动画面的稀疏再现的画面数据;以及所述选择部分选择其相对于前一选择的画面的显示位置在深度方向经历有限变化的画面数据。
根据本公开的再一实施例,提供了一种用于电子设备的再现方法,所述电子设备具有获取部分、操作部分以及选择部分,所述再现方法包含:使所述获取部分获取具有构成运动画面的多个画面数据的视频数据,用于再现三维运动画面;使所述操作部分给出指令,用于对于三维运动画面再现所获取的所述多个画面数据的稀疏再现;以及使所述选择部分基于稀疏再现指令从对于三维运动画面再现所获取的所述多个画面数据中依次选择用于三维运动画面的稀疏再现的画面数据;其中,使所述选择部分选择其相对于前一选择的画面的显示位置在深度方向经历有限变化的画面数据。
根据本公开的又一实施例,提供了一种用于连接至操作部分的计算机的程序,所述程序使得所述计算机执行过程,所述过程包含:获取具有构成运动画面的多个画面数据的视频数据,用于再现三维运动画面;从所述操作部分输入指令,用于对于三维运动画面再现所获取的所述多个画面数据的稀疏再现;以及基于已经输入的稀疏再现指令从对于三维运动画面再现所获取的所述多个画面数据中依次选择用于三维运动画面的稀疏再现的画面数据;其中,选择其相对于前一选择的画面的显示位置在深度方向经历有限变化的画面数据。
通过使用根据本公开的电子设备(例如,再现设备),防止稀疏再现中3D运动画面等的显示在深度方向突然变化。
附图简述
图1为作为本公开的第一实施例的再现系统的示意图;
图2为在图1中包括的再现设备的硬件框图;
图3是在图2的再现设备上再现3D运动画面所获取的视频数据的说明图;
图4是图3中所示的视频数据所给出的立体图的说明图;
图5为稀疏再现部件的框图;
图6为与下一显示画面相关的候选选择处理的流程图;
图7为与下一显示画面相关的选择参考时间生成处理的流程图;
图8为针对下一显示画面候选执行的下一显示画面选择处理的流程图;
图9为与下一显示画面相关的3D画面创建处理(深度调整处理)的流程图;
图10为在已经启动了3D画面创建处理的执行之后确定对于预定的时间段是否需要3D画面创建处理(深度调整处理)的处理的流程图;
图11为从稀疏再现中的暂停模式向正常再现转换时3D画面创建处理(深度调整处理)的流程图;
图12为本公开的第二实施例针对下一显示画面候选执行的下一显示画面选择处理的流程图;以及
图13为本公开的第三实施例针对下一显示画面候选执行的下一显示画面选择处理的流程图。
优选实施例详述
现在,将参考附图描述本公开的一些优选实施例。
将按下述标题进行这一描述:
1.第一实施例(用于在针对快进或者快退的稀疏再现时选择多个候选画面数据以及进一步用于从所述多个候选画面数据中优先选择选择-参考画面数据的典型的再现系统);
2.第二实施例(用于对于多个候选画面中的每一候选画面的显示位置在深度方向的变化量评分以及关于这些候选画面中的每一个候选画面在时间上的变化量评分、从而选择其得分最小的画面数据的典型的再现系统);以及
3.第三实施例(配置为从显示位置在深度方向的变化量均小于预定值的多个候选画面数据中选择时间变化量最小的画面数据的典型的再现系统,)。
<1.第一实施例>
[再现系统1的配置]
图1为作为本公开的第一实施例的再现系统1的示意图。
图1的再现系统1具有再现设备2和显示设备3。
通过诸如HDMI(高清晰度多介质接口)电缆的AV(视觉听觉)电缆4将再现设备2和显示设备3互相连接。
在针对快进或者快退的稀疏再现时,第一实施例的再现设备2选择多个候选画面数据,并且进一步从所述多个候选画面数据中优先选择选择-参考画面数据。
例如,再现设备2可以为使用诸如蓝光盘的记录介质的再现设备或者硬盘再现设备。
当再现时,再现设备2从记录介质或者从硬盘获取运动画面的视频数据21,以便创建用于3D运动画面再现的视频数据21。
如果针对快进或者快退执行操作,则再现设备2根据实际快进或者快退速度创建画面已被稀疏的视频数据21。
在诸如快进或者快退的特定再现的情况下,再现设备2从所获取的视频数据21的多个画面中选择用于稀疏再现的多个画面,从而创建由所述多个已经选择的画面组成的视频数据21。
再现设备2通过AV电缆4向显示设备3输出如此创建的视频数据21。
例如,显示设备3可以为液晶显示设备3或者投影仪型的显示设备3。
当经由AV电缆4输入视频数据21时,显示设备3使得显示部件51显示对应的视频。
在以上所描述的方式中,图1中所示的再现系统1允许显示设备3显示再现设备2所再现的3D运动画面。
对于诸如快进或者快退的稀疏再现,再现设备2选择构成视频数据21的多个画面的一部分。显示设备3继续显示由所选择的部分画面组成的3D运动画面。
图2为在图1中包括的再现设备2的硬件框图。
图2中的再现设备2具有由CPU(中央处理器)11、存储器(MEM)12、显示接口(DIS I/F)13、以及操作部分(KEY)14组成的计算机。另外,再现设备2还包括无线通信部分(RE I/F)15、计时器(TMR)16、网络通信部分(COM)17、盘驱动器(D DRV)18、以及互连这些组件的系统总线19。
例如,存储器12可以由硬盘驱动器、ROM、和/或RAM构成。
存储器12存储由再现设备2使用的控制程序。
存储器12还可以存储视频数据21。
存储器12向CPU 11输出所存储的视频数据21。
盘驱动器18从诸如蓝光盘或者DVD(数字多功能盘)的记录介质读取视频数据21。盘驱动器18从附接于其的记录介质检索视频数据21。
盘驱动器18将检索到的视频数据21输出到CPU 11。
例如,可以将网络通信部分17与LAN(局域网)电缆连接。
网络通信部分17可以与诸如因特网上的内容服务器的外部实体进行通信,并且从该外部实体接收视频数据21。
网络通信部分17将接收到的视频数据21输出到CPU 11。
将网络通信部分17接收到的视频数据21写到存储器12或者写到附接于盘驱动器18的记录介质。
例如,可以将操作部分14安装在再现设备2外壳的前面板上。操作部分14具有多个操作键。
将视频数据21的诸如选择、再现、停止、暂停、快进、以及快退的功能分配给所述多个操作键。操作部分14还可以配备有用于调整再现速度的缓动盘(jog dial)等。
操作部分14向CPU 11输出与已被操作的操作键对应的指令。
无线通信部分15与用于再现设备2的遥控器进行无线通信。
遥控器具有多个操作键。将视频数据21的诸如选择、再现、停止、暂停、快进、以及快退的功能分配给遥控器的所述多个操作键。
无线通信部分15向CPU 11输出与已经在遥控器上操作的操作键对应的指令。
将显示接口13与AV电缆4相连接。
显示接口13将从CPU 11或者从其它源输入的视频数据21输出到AV电缆4上。
计时器16计数时间,并且测量一天中的时间。
计时器16向CPU 11输出所计数的时间和所测量的一天中的时间。
CPU 11从存储器12读取程序,并且执行所读取的程序。
相关程序的执行使CPU 11能够实现再现设备2的控制部件20。
控制部件20控制操作中的再现设备2。
例如,操作部分14和无线通信部分15通过系统总线19向控制部件20输入再现视频数据21的指令。
控制部件20从存储器12或者从其它源读取将要再现的视频数据21。
控制部件20根据所获取的视频数据21创建用于再现3D运动画面的视频数据21。如果发现视频数据21被压缩,则控制部件20对所获取的视频数据进行解码。
控制部件20将针对3D运动画面再现创建的视频数据21输出到显示接口13。
另外,将用于诸如快进或者快退再现的稀疏再现的指令输入到控制部件20。
控制部件20从存储器12或者从其它源读取将要再现的视频数据21。
当稀疏再现时,控制部件20选择性地对构成所获取的视频数据21的部分画面(例如,以下将讨论的I-画面)进行解码,由此创建针对3D运动画面再现的视频数据21。
控制部件20将针对3D运动画面再现创建的视频数据输出到显示接口13。
[稀疏再现的解释]
图3是在图2的再现设备2上再现3D运动画面所获取的视频数据的说明图。
例如,可以将图3中所示的视频数据21记录到存储器12或者蓝光盘。
例如,再现设备2所处理的视频数据21可以包括MPEG(运动画面专家组)2传送流、AVI(音频视频交织)数据、以及MP4(MPEG-4)数据。在这些视频数据21中,多路复用诸如运动画面数据和音频数据的流数据。
视频数据21的运动画面数据由包括I-画面、B-画面以及P-画面的多个画面组成。在视频数据21中,通过诸如MPEG-2、MPEG-4、以及H.264/AVC的视频压缩方案中的任何一种对运动画面数据进行压缩。
在正常再现期间,从左至右顺序地使用图3中所示的多个画面用于再现。
在压缩地记录视频数据21的情况下,可以以从左向右顺序地再现画面的次序或者不以这一次序存储图3中的多个画面。例如,在帧间预测编码的情况下,对这些画面进行解码的次序不同于它们将要再现的次序。
为此,例如,视频数据21具有包括I-画面数据存储位置的索引信息、I-画面显示时间(再现的次序)、以及用于将视频与同时显示的字幕24相连接的链接信息。
另外,图3中所示的视频数据21为针对3D运动画面再现的数据。
为此,图3中所示的视频数据21由左眼画面22和右眼画面23构成。
当再现每一对左眼和右眼画面22和23时,显示3D画面。
在图3中的视频数据21中,左眼画面22和右眼画面23分离的示出。
如果显示设备3支持以至少为普通速率两倍高的帧速率的再现,则显示设备3能够以与普通2D画面的帧速率相当的帧速率再现3D画面。
图3中所示的每一画面中具有字幕24。
在每一对左眼和右眼画面22和23中,相同的字幕24显示在画面中交错的位置。
按相同的方式,诸如字幕24的显示对象在左眼和右眼画面22和23中交错地出现。
当观看再现的视频数据21时,观看者32可以安排佩戴一副3D画面眼镜,其中,例如由与视频数据21的帧速率(画面速率)同步的信号控制所述3D画面眼镜的快门(shutter)。
以上设置向观看者32呈现了所显示的3D运动画面。
图4是由一对左眼和右眼画面22和23所给出的立体图的说明图。
图4说明了显示部件51的屏幕31和观看者32的双眼。
屏幕31实际显示两个画面:左眼画面22和右眼画面23。
观看者32位于屏幕31的前方。
在图4中,示出屏幕31,其给出作为显示对象的字幕部分“A”的左眼和右眼显示位置。
左眼显示位置位于屏幕31中心的右侧。
右眼显示位置位于屏幕31中心的左侧。
在这一情况下,观看者32首先用左眼观看在左眼画面22的左眼显示位置中的字幕部分“A”,然后用右眼观看在右眼画面23的右眼显示位置中的字幕部分“A”。
这允许观看者32识别字幕部分“A”,好像该字幕部分“A”显示在屏幕31前方观看者视线的交叉点33处。
观看者32看到浮在屏幕31前方的字幕部分“A”。
这是导致画面、显示对象、屏幕24等的显示位置在屏幕31的深度方向变化地出现的双眼视差效果。这允许观看者32看到3D运动画面。
将连接左眼和视线的交叉点的线段与连接右眼和同一交叉点的线段所形成的角度θ称为视差角度。
从操作部分14给出再现指令,再现设备2的控制部件20从存储器12或者从记录介质获取针对3D运动画面再现的视频数据21。
控制部件20从所获取的视频数据21获取多个画面数据。
对于正常再现,控制部件20按记录画面数据的次序获取多个画面数据。控制部件20对所获取的画面数据进行解码,将所解码的数据重新排列为它们将被再现的次序,并且在对应于预定的再现帧速率的时间间隔输出画面数据。
对于稀疏再现,控制部件20根据索引信息获取多个I-画面数据。控制部件20对所获取的I-画面数据进行解码,并且一个接一个地输出解码的数据。
通过显示接口13和AV电缆4将从控制部件20输出的画面数据输入到显示设备3。
显示设备3通过使用前一输入的画面数据更新在显示部件51上显示的画面。
与此同时,在3D运动画面的再现期间,如果画面的视差角度θ在时间或空间上突然变化,则观看者32会在生理上受到影响。
与3D静止画面不同,不能够简单地依据视差针对反生理影响度测量3D运动画面。而且,普遍同意视差角度的时间或者空间变化最好应该尽可能地限制在1度或者2度之内。
另外,还同意3D运动画面中视差角度变化的影响不仅应该考虑所涉及变化的简单大小,而且还要考虑变化速率。
例如,同意3D静止画面的视差角度θ仅需要落入60~70弧分(1弧分是1度的六十分之一)的范围内。然而,对于3D运动画面,即使满足所述角度范围,仍会因视差角度θ的突然变化导致生理影响。
另外,对于3D静止画面,只要双眼视差落入焦点深度内,就认为视觉疲劳程度与2D静止画面一样。对于3D运动画面,即使当双眼视差落入焦点深度内,如果画面或者其它对象的显示位置改变一定的次数或者以某一频率变化,则观看者也会因此生理上受到影响。
为此,在用于使用立体图技术的3D运动画面再现的视频数据21的情况下,优选地以不在生理上影响观看者32的方式创建多个画面。
至少对于观看者32能够特别加以注意的诸如字幕24的显示对象,优选地以生理上不影响观看者的方式创建对象的显示位置在深度方向的变化。
于是,以这样的方式创建用于3D运动画面再现的视频数据21:针对其中要顺序地再现画面数据的正常再现,最小化显示位置在深度方向的变化。
然而,即使考虑潜在生理影响而创建了用于3D运动画面再现的视频数据21,如在快进或者快退中那样针对再现稀疏了画面的情况下,深度方向每一单位时间的变化仍变得突然。
为了抑制深度方向每一单位时间的这样的突然变化,可以想到针对稀疏再现仅使用一对画面中的一个。
然而,安排为仅使用一对画面中的一个用于再现必然导致2D画面的显示。这一安排使得获得3D效果的最初目的失败。
[稀疏再现功能的说明]
图5为稀疏再现部件40的框图。
与稀疏再现部件40一起,图5示出了操作部分14、控制部件20、保持在存储器12中的视频数据21、以及显示设备3的显示部件51。
由加载和执行相关程序的CPU 11实现图5中所示的稀疏再现部件40。与控制部件20的一部分或者全部一起实现稀疏再现部件40。
当操作部分14给出用于正常再现的指令时,或者当操作部分14给出用于快进或者快退再现的指令时,使用图5中的稀疏再现部件40。
稀疏再现部件40包括索引信息读取部分41、显示候选选择部分42、时间差计算部分43、深度信息读取部分44、前一显示画面深度信息缓存器45、下一显示画面选择部分46、视频数据读取部分47、以及输出部分48。
图5中的稀疏再现部件40从保持在存储器12中的视频数据21中一次一个地选择视频画面数据,以在稀疏再现中顺序地显示。
除了构成运动画面数据的多个画面数据之外,存储在存储器12中的视频数据21还包括有关字幕24的信息和有关字幕24的显示位置的深度信息。
例如,如视频和音频数据一样,将有关字幕24的信息作为单个一组内容数据存储在视频数据21中。
索引信息读取部分41从存储器12读取有关视频数据21的索引信息。
例如,索引信息包括构成运动画面的I-画面的数据存储位置、I-画面显示时间(再现次序)、以及用于与视频或者与能够在同一时间显示的字幕24相连的链接信息。链接信息将每一画面与对应的字幕24相连。
显示候选选择部分42根据索引信息从存储器12中的视频数据21选择多个画面数据。
在接下来的描述中,将把显示候选选择部分42选择的画面数据称为候选画面数据。
时间差计算部分43计算在正常再现中所选择的多个候选画面数据中的每一个的再现时间。
深度信息读取部分44从存储器12读取有关字幕数据的显示位置的深度信息。
前一显示画面深度信息缓存器45存储有关前一显示画面的字幕24在深度方向的显示位置信息。
更具体地讲,前一显示画面深度信息缓存器45将有关链接到输出部分48前一输出的画面数据的字幕24在深度方向的显示位置信息存储在显示部件51中。
下一显示画面选择部分46通过预定的选择处理,选择多个候选画面数据之一。
下一显示画面选择部分46所选择的画面数据构成下一个将在显示部件51上显示的画面。
视频数据读取部分47从存储器12读取下一显示画面选择部分46所选择的画面数据。视频数据读取部分47对所读取的画面数据进行解码,并且输出解码的画面数据。
输出部分48将从视频数据读取部分47发送的画面数据输出到显示部件51。
当需要的时候,输出部分48还可以根据画面数据,在深度方向调整3D形式的整个画面、画面中的显示对象、画面的背景、画面的字幕24等的显示位置。
[稀疏再现的操作]
以下,将解释图5中所示的稀疏再现部件40所执行的稀疏再现操作。
图5中的稀疏再现部件40从保留在存储器12中的视频数据21中一次一个地选择视频画面数据用于顺序稀疏再现。
操作部分14根据在被分配了快进或者快退功能的操作键上执行的操作,向控制部件20给出在快进或者快退中稀疏再现的指令。
在被给予从操作部分14输入的指令时,控制部件20启动图5中所示的稀疏再现部件40。
图6为与下一显示画面相关的候选选择处理的流程图。
在图6的处理中,显示候选选择部分42首先根据前一显示画面的理想再现时间和所指示的快进或者快退的再现速度,计算下一显示画面的理想再现时间(在步骤ST1中)。
前一显示画面的理想再现时间指的是根据所指示的快进或者快退再现速度针对前一显示画面计算的理想的再现时间。
例如,如果按每60个画面1个的速率从60-fps流中选择画面,而且如果按2个画面的间隔显示(即,保持)每一所选择的画面,则相当于30倍速。在这一情况下,按30倍速显示的理想时间为1秒以后。
接下来,显示候选选择部分42根据索引信息中的I-画面显示序列信息选择接近下一显示画面的理想再现时间的多个I-画面(在步骤ST2中)。
例如,显示候选选择部分42可以选择最接近下一显示画面的理想再现时间的I-画面,以及紧邻在作为最接近的而选择的I-画面之前的I-画面和紧接在作为最接近的而选择的I-画面之后的I-画面。
以这一方式,显示候选选择部分42选择多个I-画面作为候选画面。
显示候选选择部分42选择最接近理想再现时间的候选画面数据作为对应于所指示的稀疏再现速度的将要选择的选择-参考画面数据,并且选择紧邻在选择-参考画面数据之前的画面数据和紧接在选择-参考画面数据之后的画面数据。
当显示候选选择部分42选择多个I-画面作为候选画面时,时间差计算部分43和深度信息读取部分44开始操作。
图7为与下一显示画面相关的选择参考时间生成处理的流程图。
时间差计算部分43计算每一候选画面数据的再现时间和下一显示画面的理想再现时间之间的差(在步骤ST11中)。
接下来,时间差计算部分43存储多个有关多个候选画面数据的所计算的时间差信息(在步骤ST12中)。例如,可以将多个时间差信息存储在存储器12中。
另外,深度信息读取部分44从存储器12中读取有关每一候选画面数据的字幕24的深度信息。
然后,深度信息读取部分44存储有关多个候选画面数据的字幕24的多个深度信息。例如,可以将所述多个深度信息存储在存储器12中。
以这一方式,存储器12存储有关所述多个候选画面数据的时间差信息以及有关与这些候选画面数据相关的字幕24的深度信息。
可选地,可以依照指向候选画面数据的每一索引编号将时间差信息和有关字幕24的深度信息存储在存储器12中。
图8为对下一显示画面候选执行的下一显示画面选择处理的流程图。
当将有关多个候选画面数据的时间差信息和有关与这些候选画面数据相关的字幕24的深度信息存储在存储器12中时,下一显示画面选择部分46选择下一显示画面。
下一显示画面选择部分46首先选择其时间差最小的候选画面数据(在步骤ST21中)。
然后,下一显示画面选择部分46获取有关与当前候选画面数据相关的字幕24的深度信息(在步骤ST22中)。下一显示画面选择部分46继续计算前一显示画面和当前候选画面之间的字幕24的深度差(在步骤ST23中)。
从前一显示画面深度信息缓存器45中读取有关与前一显示画面数据相关的字幕24的深度信息。
下一显示画面选择部分46确定字幕24的深度差是否在预定值以内(在步骤ST24中)。
如果发现字幕24的深度差在预定值以内,则下一显示画面选择部分46选择具有最小时间差的候选画面数据作为下一个将要显示的画面数据(在步骤ST27中)。
如果发现字幕24的深度差大于预定值,则下一显示画面选择部分46继续选择下一候选画面。
更具体地讲,下一显示画面选择部分46确定是否还存在将要处理的任何其它候选画面,以及当前实际的循环计数是否小于预定计数(例如,4)(在步骤ST25中)。
如果步骤ST25中的确定结果为肯定的(“是”),则下一显示画面选择部分46选择其时间差为次最小的候选画面(在步骤ST26中)。
下一显示画面选择部分46计算其时间差为次最小的当前候选画面数据中的字幕的深度差,并且确定深度差是否在预定值以内(在步骤ST22到ST24中)。
如果发现字幕24的深度差在预定值以内,则下一显示画面选择部分46选择其时间差为次最小的候选画面数据作为下一个将要显示的画面数据(在步骤ST27中)。
如果发现字幕24的深度差大于预定值,则下一显示画面选择部分46继续选择下一个候选画面。
下一显示画面选择部分46继续执行其循环处理(在步骤ST25、ST26、以及ST22到ST24中)。
如果步骤ST25中的确定结果为否定的(“否”),则下一显示画面选择部分46选择其时间差为最小的候选画面作为下一个将要显示的画面数据(在步骤ST28中)。
在这一情况下,下一显示画面选择部分46通知输出部分48,所选择的下一显示画面不适合固有的3D显示。
当下一显示画面选择部分46选择了下一个将要显示的画面数据时,则视频数据读取部分47从存储器12读取所述的画面数据。
输出部分48将从视频数据读取部分47发送的画面数据输出到显示部件51。
如果下一显示画面选择部分46已经通知输出部分48所选择的画面数据不适合,则输出部分48在向显示部件51输出画面数据之前,根据所述的画面数据调整将要显示的字幕24或者其它对象的深度。
显示部件51显示新输入的画面数据。
以这一方式,显示部件51在稀疏再现中显示3D运动画面。
另外,显示部件51使用有关新显示的字幕24或者其它对象的深度信息更新保持在前一显示画面深度信息缓存器45中的深度信息。
通过以上所描述的稀疏再现处理,显示部件51根据来自操作部分14的指令显示稀疏的3D运动画面。
[深度(显示位置)调整的操作]
图9为与下一显示画面相关的3D画面创建处理(深度调整处理)的流程图。在难以获得具有深度方向的适当变化的视频的情况下,执行3D画面创建处理。
在3D画面创建处理中,按下述的方式调整下一显示画面的显示位置中的深度:关于整个画面、显示对象、字幕24等在深度方向的变化量落入预定值以内。
例如,如果下一显示画面选择部分46已经通知输出部分48所选择的画面数据不适合,则输出部分48根据下一个将要显示的画面数据对字幕24或者显示的其它对象进行深度调整处理。
在对字幕24或者其它对象的深度调整处理中,输出部分48首先使前一显示画面的深度更接近参考深度达预定量,并且将所获得的深度作为下一显示画面的深度(在步骤ST31中)。例如,预定量可以为80%。
例如,在从前一显示画面深度信息缓存器45中读取前一显示画面的深度之后,输出部分48确定适合于下一显示画面的深度。
应当注意,参考深度通常为显示部件51的屏幕31的表面。
如果图2中的字幕24为前一显示的字幕24,则输出部分48将通过使图2中的交叉点更接近屏幕31达预定量所到达的位置确定为下一显示画面的深度。
接下来,输出部分48调整下一显示画面的显示位置,以使下一显示画面中的字幕24和其它对象的显示位置与所确定的深度相一致(在步骤ST32中)。
在图3的视频数据21中,使用每一对左眼和右眼画面22和23形成3D画面。
于是,输出部分48进行调整,以使左眼和右眼画面22和23中的任一个构成所获得的显示位置中的3D画面。
通常,输出部分48可以根据左眼画面22创建其位置向图3中所示视线的中心移动的画面数据。输出部分48输出如此创建的左眼画面22的数据。
例如,在3D画面创建处理中,输出部分48可以在假设左眼或者右眼画面22或者23为平面的情况下调整显示位置。
在3D画面创建处理中,可以按下述的方式进行调整:使用左眼和右眼画面22和23在屏幕的前景中明显地显示的对象在其显示位置和屏幕之间将具有减小的间隙。也可以进行调整,以使得在屏幕的背景中明显地显示的对象在其显示位置和屏幕之间将具有减小的间隙。如果存在多个被显示的对象,则仅前景中位置最近的对象或者背景中位置最远的对象在其显示位置上进行调整。
[深度(显示位置)调整操作的具体实例]
假设存在着视频数据21的流,其每15帧包括I-画面,并且以每分钟30帧流动。每0.5秒生成I-画面。
在上述情况下,如果从每4个画面中选出1个I-画面,而且如果每一I-画面保持6帧的时间段(为了冻结显示(freeze display)),则将在0.2秒内显示具有2秒再现时间的视频。在这一情况下,快进速度为10x。
现在,考虑其中将选择紧跟在每一固有I-画面之后的I-画面的情况。
如果在0.2秒内再现(保持)具有1.5秒再现时间的视频,则再现速度为7.5x。
如果在0.2秒内再现(保持)具有2.5秒再现时间的视频,则再现速度为12.5x。
上述快进再现速度的波动范围为25%。
在这些情况下,显示候选选择部分42选择紧邻在每一固有I-画面之前的I-画面和紧随在每一固有I-画面之后的I-画面。
下一显示画面选择部分46选择这3个I-画面之一。
输出部分48输出所选择的I-画面数据。
然后,输出部分48在0.2秒内输出下一个所选择的I-画面数据。
在以上所提到的例子中,示出每一I-画面的保持时间固定为0.2秒。可选择地,也可以不同地调整保持时间。
例如,如果所选择的I-画面具有1.5秒的再现时间,则可以将保持时间调整至0.15秒。
如果所选择的I-画面具有2.5秒的再现时间,则可以将保持时间调整至0.25秒。
这些调整使得可能将总的快进再现速度保持基本恒定。
由于以上所描述的深度(显示位置)调整处理,第一实施例的显示部件51显示针对稀疏再现其显示位置在深度方向在预定的参考值以内变化的3D运动画面。
于是,使用第一实施例,与如果以简单顺序方式选择选择-参考画面数据相比,在稀疏再现期间所显示的3D运动画面经历其显示位置在深度方向略微小一些的变化。这使得可能最小化在整个画面、显示对象、字幕24等的显示位置中出现的突然变化。
另外,在稀疏再现中,存在着这样的情况:难以选择相对于前一选择的画面数据的显示位置、其显示位置在深度方向的变化量将落入预定范围内的画面。
在这样的情况下,关于稀疏再现实际显示的画面,第一实施例允许显示位置在深度方向的变化量落入预定范围内。
具体地讲,如果关于选择-参考画面数据的显示位置在深度方向的变化量在预定范围内,则第一实施例选择选择-参考画面数据。否则,第一实施例选择如下画面数据:该画面数据之前和之后在深度方向的变化量落入预定范围内。
优先选择选择-参考画面数据,在选择处理中,相对选择-参考画面数据具有较小时间差的画面数据优先于那些具有大时间差的画面数据。
于是,如果使在深度方向的变化量落入预定范围内,则稀疏再现速度的波动减小至严格最小。
而且,第一实施例注意到字幕24,并且根据字幕24的深度进行确定。
字幕24为观看者32特别关注以在短时间内掌握其含义的画面部分。
在3D运动画面中,如果字幕24示出为埋入或者浮在周围背景或者其它显示对象之上,则观看者难以注视字幕24。
为此,通常,字幕24在它们的显示位置上进行调整,以致它们被示出为显示在周围背景中或者显示在其它显示对象的表面上。
通常,以允许上述特征的方式准备有关字幕24的深度信息。
于是,第一实施例设计为根据有关字幕24或者其它对象的显示位置信息,防止字幕24或者其它对象的深度的突然变化。这使得可以最小化字幕24以及画面中特别引起关注的周围部分的显示位置在深度方向的突然变化。
[包括对画面、字幕24等的深度调整处理的稀疏再现的具体实例]
当在稀疏再现期间基于索引信息从保持在存储器12中的视频数据21选择I-画面数据时,下一显示画面选择部分46与再现方向一致并根据稀疏再现的速度稀疏I-画面。
在下一显示画面选择部分46已选择了下一个将要显示的I-画面的数据之后,视频数据读取部分47从存储器12中读取I-画面数据。
输出部分48向显示部件51输出由视频数据读取部分47读取的画面数据。
此时,在稀疏再现期间,为了抑制画面显示位置在深度方向的突然变化,输出部分48可以根据需要执行图9中的3D画面创建处理。
基本上,每次选择画面数据时,输出部分48确定是否需要3D画面创建处理。
如果如上所述每次选择画面数据时输出部分48确定是否需要图9的3D画面创建处理,则按固有深度显示的画面数据可以与稀疏再现期间连续显示的多个画面中的3D形式的画面数据共存。
另外,存在着这样的可能性:其深度被调整的画面和其深度未被调整的固有画面互相频繁地转换。
如果如以上提到的在稀疏再现期间连续再现的画面在3D形式的画面和固有画面之间频繁地转换,则观看它们的观看者32会觉得不安和不舒服。
在这些情况下,当针对给定的画面数据执行3D画面创建处理时,输出部分48根据图10中所示的判断处理,在预定的时间段内对随后相继的画面数据控制3D画面创建处理。
图10为在已经启动了3D画面创建处理的执行之后确定在预定的时间段内是否需要3D画面创建处理的处理的流程图。
即,当进行3D画面显示时,执行图10中所示的处理,以便确定在进行3D画面显示时是否需要3D画面创建处理。
在图10的流程图中,输出部分48首先确定下一显示画面是否适合作为固有3D画面(在步骤ST41中)。
例如,如果前一显示画面(例如,字幕24)的显示位置和新选择的画面(例如,字幕24)的显示位置之间的深度差小于预定值,则输出部分48确定下一显示画面适合作为固有3D画面;否则输出部分48确定下一画面不适合作为固有3D画面。
如果步骤ST41中的确定结果为否定的(“否”),则在向显示部件51输出调整的数据之前,输出部分48在深度方向调整所选择的下一显示画面的显示位置(在步骤ST43中)。
输出部分48按下述方式调整下一显示画面的显示位置:关于整个画面、显示对象、字幕24等在深度方向的变化量落入预定值以内。
在以下的描述中,可以将这些步骤称为下一显示画面3D创建处理。
接下来,输出部分48再次确定下一显示画面是否适合作为固有3D画面(在步骤ST41中)。
输出部分48循环执行步骤ST41和ST43,直至下一显示画面变得适合作为固有3D画面。
另一方面,如果因为发现下一显示画面适合作为固有3D画面所以步骤ST41中的确定结果为肯定的(“是”),则输出部分48确定循环计数是否大于预定的计数(在步骤ST43中)。
在这一情况下,循环计数指的是在启动图10的处理之后执行步骤ST43和ST41的次数。
在对应于预定的时间段的预定的循环计数耗尽(exhausted)之前,输出部分48在步骤ST42中做出否定的判断(“否”)。
输出部分48在深度方向调整所选择的下一显示画面的显示位置,并且向显示部件51输出调整的数据(在步骤ST43中)。
以这一方式,直到预定的循环计数(预定的时间段)耗尽之前,输出部分48保持3D形式的下一显示画面的输出,即使下一显示画面不适合作为固有3D画面。
如果对应于预定的时间段的循环计数耗尽,而且如果发现下一显示画面适合于作为固有3D画面,则在步骤ST42中输出部分48做出肯定的确定(“是”)。
输出部分48向显示部件51输出未修改的所选择的下一显示画面数据(在步骤ST44中)。
这使得显示部件51能够在视频数据21的固有显示位置显示画面数据。
如所描述的,在3D画面显示期间,输出部分48执行图10中所示的处理,以确定是否需要3D画面创建处理。
于是,在3D视频的稀疏再现期间一旦3D画面取代了当前显示的画面,则在此之后的预定时间段只连续显示3D画面,而不显示固有画面。
因此,不在3D画面和固有画面之间发生频繁转换。
使用第一实施例,如所描述的,一旦对于稀疏再现开始显示3D画面,则在预定的时间段内不会发生向固有画面的转换。于是,第一实施例最小化观看者看到3D画面和固有画面之间的频繁转换而可能体验的不安感。
[从稀疏再现模式向正常再现的直接转换的操作]
基于稀疏再现处理期间对被分配再现功能的操作键执行的操作,通过操作部分14向控制部件20给出以正常速度再现的指令来启动从稀疏再现模式向正常再现的转换。
基于输入的指令,控制部件20使得图5中的稀疏再现部件40执行正常再现。
在正常再现中,下一显示画面选择部分46依次从存储在存储器12中的视频数据21选择画面数据。
下一显示画面选择部分46启动从紧随在稀疏再现处理期间前一选择的画面数据之后的画面数据的选择。
在下一显示画面选择部分46选择了下一个将要显示的画面数据之后,视频数据读取部分47从存储器12读取所选择的画面数据。
输出部分48将视频数据读取部分47所读取的画面数据输出到显示部件51。
当要执行从稀疏再现模式向正常再现的直接转换时,输出部分48可以执行图10中所示的处理,以确定是否需要3D画面创建处理。
例如,如果稀疏再现结束时所显示的画面为3D画面,则输出部分48可以执行图10的处理,以确定是否需要3D画面创建处理。
在执行确定是否需要3D画面创建处理的处理中,输出部分48首先确定下一显示画面是否适合作为固有3D画面(在步骤ST41中)。
如果确定下一显示画面适合,则输出部分48确定循环计数是否已超过预定的计数(在步骤ST42中)。
在当前上下文中,循环计数指的是从稀疏再现转换为正常再现之后执行步骤ST43和ST41的次数。
于是,循环计数定义其中将执行当前处理的时间段。
输出部分48在步骤ST42中做出否定的确定(“否”),直到所定义的时间段过去。
在步骤ST41或者ST42中的否定确定的情形中,输出部分48针对正常再现在深度方向调整下一显示画面的显示位置,并且将调整的数据输出到显示部件51(在步骤ST43中)。
例如,输出部分48可以以下述方式对于正常再现在深度方向调整下一显示画面的显示位置:使显示位置的变化量落入预定值以内。
当跟随在从稀疏再现到正常再现的转换之后的预定的时间段经过之后,输出部分48在步骤ST42中做出肯定的确定(“是”)。
输出部分48以未经修改的形式向显示部件51输出对于正常再现的下一显示画面数据(在步骤ST44中)。
这允许显示部件51将画面数据显示在其固有显示位置。
通过执行以上所描述的操作以从稀疏再现转换为正常再现,第一实施例最小化紧随在到正常再现的转换之后显示的视频的显示位置的突然变化。
即使紧随在发出了从稀疏再现转换为正常再现的指令之后,给出了从正常再现转换为稀疏再现的指令,在如此短的正常再现期间第一实施例继续在深度方向的调整。
于是,在预定的转换时间段期间第一实施例继续针对稀疏再现的深度调整。
第一实施例使得画面、显示对象、字幕24等在深度方向难以出现突然变化,所述变化归因于正常再现和稀疏再现之间反复地转换。
可选地,从稀疏再现模式向正常再现的转换操作可以经过以下将讨论的图11的处理。具体地讲,取代从“稀疏再现”向“正常再现”的直接转换,首先可以将控制从“稀疏再现”改变为“暂停”,然后从“暂停”改变为“正常再现”。这使得可能紧跟在“正常再现”开始之后显示固有3D画面。
另外,在通过“暂停”进行转换的情况下,可以执行图10中的处理以确定是否需要3D画面创建处理。
[从稀疏再现中的暂停模式向正常再现转换的操作]
当在稀疏再现期间从操作部分14输入暂停指令时,控制部件20使稀疏再现功能临时停止。
这使得从输出部分48向显示部件51的新画面数据的输出暂停。
显示部件51根据从输出部分48前一输出的画面数据显示3D静止画面。
在稀疏再现期间的暂停模式中,根据对被分配了再现功能的操作键执行的操作,操作部分14向控制部件20给出以正常速度进行再现的指令。
基于输入的指令,控制部件20使图5中所示的稀疏再现部件40执行正常再现。
图11为从稀疏再现中的暂停模式向正常再现转换时执行的3D画面创建处理(深度调整处理)的流程图。
例如,当在稀疏再现期间以暂停模式显示3D画面时,输出部分48可以执行图11中的3D画面创建处理(深度调整处理)。
首先,输出部分48使以暂停模式显示的3D画面的深度更接近固有显示位置达预定量,并且将如此获得的深度值作为下一显示画面的深度(在步骤ST51中)。
输出部分48将视频数据读取部分47读取的画面数据的显示位置调整为新获得的显示位置,并且将调整的数据输出到显示部件51。
然后,下一显示画面选择部分46确定输出部分48重新输出的画面数据的显示位置和固有显示位置之间的差是否落入预定值以内(在步骤ST52中)。
如果确定新显示位置和固有显示位置之间的差超过预定值,则输出部分48计算通过使当前显示的3D画面的显示位置更接近固有显示位置达预定量所获得的值,并且将如此计算出的值作为下一显示画面的深度(在步骤ST53中)。
输出部分48将视频数据读取部分47读取的画面数据的显示位置调整至新显示位置,并且将调整的数据输出至显示部件51(在步骤ST54中)。
当下一显示画面的显示位置和固有显示位置之间的差达到落入预定值之内时,下一显示画面选择部分46在步骤ST52做出肯定的确定。
下一显示画面选择部分46从存储在存储器12中的视频数据21选择下一个将要显示的画面数据(在步骤ST55中)。
一旦下一显示画面选择部分46选择了下一个将要显示的画面数据,则视频数据读取部分47从存储器12读取所选择的画面数据。
输出部分48将视频数据读取部分47读取的画面数据输出到显示部件51。
在这一情况下,输出部分48向显示部件51输出新读取的画面数据,而不使数据经历3D画面创建处理。
通过以上所描述的从稀疏再现中的暂停模式向正常再现转换的操作,能够最小化在向正常再现转换时视频的显示位置的突然变化。
即使当以暂停模式在显示部件51上显示用于稀疏再现的视频数据时给出了转换到正常再现的指令,在转换之前和之后,也能够抑制在深度方向的突然变化。
<2.第二实施例>
[再现系统1的配置及其选择操作]
作为第二实施例的再现系统1的配置及其操作基本上与第一实施例的那些相同。因此,在接下来的描述中,在第一实施例中使用的相同的参考数字在第二实施例中也用于指定相同或者对应的部件,并且省略对它们的冗余的描述。
第二实施例关于多个候选画面数据获取显示位置的深度变化和时间变化得分,并且选择具有最小得分的画面数据。
图12为本公开第二实施例对下一显示画面候选所执行的下一显示画面选择处理的流程图。
当将有关多个候选画面数据的时间差信息和有关画面数据中的字幕24的深度信息存储到存储器12中时,下一显示画面选择部分46继续选择下一显示画面。
首先,下一显示画面选择部分46从多个候选画面数据中排除那些其时间差或者显示位置深度差超过对应上限的那些数据(在步骤ST61中)。
可以将时间差的上限调整至主观评估的值。例如,可以将典型的时间差上限设置为25%。
首先,将家用电器设计为仅具有若干速度等级。为此,不需要将时间差的上限固定地设置为25%或者某一其它固定的值(比率)。
可选择地,也可以将按步进快进再现速度的时间差的上限列在表中。
作为另一种选择,在诸如能够使其快进速度以非步进方式改变的广播设备的高端设备的情况下,可以使用诸如以下所给出的算术表达式的合适的算术表达式来计算时间差的上限。
对于10倍速,时间差上限约为25%,对于100倍速,时间差上限约为8%。
(计算时间差上限的算术表达式)
时间差上限(%)=80÷(快进速度)1/2
也可以将显示位置的深度差的上限调整至主观评估的值。
例如,可以将显示位置的深度差的上限设置为覆盖(capping)视差角度θ的变化量的两个度数。
依据视频数据21的格式,可能需要将显示位置的深度量转换为视差角度θ的变化量。
然后,下一显示画面选择部分46计算剩余候选画面数据的得分(在步骤ST62中)。
下一显示画面选择部分46通过对速度的变化量和深度的变化量加权,计算得分。
例如,下一显示画面选择部分46可以根据以下给出的算术表达式计算每一候选画面的得分。
(计算得分的算术表达式)
罚分=稀疏再现速度的变化率(%)+10×[视差角度θ的变化量(度数)]2
如果快进速度的变化范围为0%,而且视差角度θ的变化量为1度,则罚分为10。
如果快进速度的变化范围为10%,而且视差角度θ的变化量为0.5度,则罚分为12.5。
如果快进速度的变化范围为25%,而且视差角度θ的变化量为0.1度,则罚分为25.1。
然后,下一显示画面选择部分46选择具有所计算的最小得分的画面(在步骤ST63中)。
在下一显示画面选择部分46已经选择了下一个将要显示的画面数据之后,视频数据读取部分47从存储器12读取所选择的画面数据。
输出部分48向显示部件51输出视频数据读取部分47所读取的画面数据。
如果输出部分48已经被通知下一显示画面不合适,输出部分48调整画面数据中的画面、显示对象、屏幕24等的显示位置,并且将调整的数据输出到显示部件51。
显示部件51显示新输入的画面数据。
这允许显示部件51在稀疏再现中显示3D运动画面。
另外,显示部件51更新保持在前一显示画面深度信息缓存器45中的深度信息。
第二实施例排除指示的稀疏再现速度的变化量超过其上限的画面以及显示位置在深度方向的变化量超过其上限的画面,并且评估剩余画面,以选择被发现具有最小的这样的变化量的候选画面数据。
以这一方式,第二实施例抑制了再现速度的极端变化和显示位置在深度方向的突然变化。另外,第二实施例以下述方式提供用于稀疏再现的3D运动画面:最小化再现速度的波动,并且确保显示位置在深度方向进一步平滑的变化。
<3.第三实施例>
[再现系统1的配置及其选择操作]
作为第三实施例的再现系统1的配置及其操作基本上与第一实施例的那些相同。因此,在接下来的描述中,在第一实施例中使用的相同的参考数字在第三实施例中也用于指定相同或者对应的部件,并且省略对它们的冗余的描述。
第三实施例从其显示位置在深度方向的变化量小于预定值的多个候选画面数据中选择具有最小时间变化量的画面数据。
图13为本公开的第三实施例对下一显示画面候选执行的下一显示画面选择处理的流程图。
在将有关多个候选画面数据的时间差信息和画面数据中有关字幕24的深度信息存储在存储器12中之后,下一显示画面选择部分46选择下一显示画面。
首先,下一显示画面选择部分46从所述多个候选画面数据中排除那些其显示位置的深度差超过其上限的数据(在步骤ST71中)。
然后,下一显示画面选择部分46从剩余的候选画面数据中选择具有最小速度变化量的画面(在步骤ST72中)。
在下一显示画面选择部分46已经选择了下一个将要显示的画面数据之后,视频数据读取部分47从存储器12中读取所选择的画面数据。
输出部分48向显示部件51输出视频数据读取部分47读取的画面数据。
如果输出部分48已经被通知下一显示画面不合适,输出部分48调整画面数据中的画面、显示对象、屏幕24等的显示位置,并且将调整的数据输出到显示部件51。
显示部件51显示新输入的画面数据。
这允许显示部件51在稀疏再现中显示3D运动画面。
另外,显示部件51更新保持在前一显示画面深度信息缓存器45中的深度信息。
第三实施例排除其显示位置在深度方向的变化量超过其上限的画面,并且从剩余画面中选择具有最小稀疏再现速度变化量的候选图像数据。
以这一方式,第三实施例可以抑制在稀疏再现中显示的3D运动画面的显示位置在深度方向的突然变化。
另外,第三实施例可以将稀疏再现速度的波动减小至严格最小。
尽管以上的描述包含许多说明,然而不应该将这些说明理解为对本公开范围的限制,而应理解为仅仅提供了本公开某些当前优选实施例的示例说明。应该意识到,可以在不背离以下权利要求书的精神与范围的情况下作为改变和变化。
例如,尽管在以上所描述的每一实施例中将显示设备3示出为与再现设备2分离地构造,但这仅仅是实例。
可选择地,显示设备3也可以与再现设备2集成地构造。
在上述每一实施例中,将所获取的视频数据21示出为针对3D再现所准备的视频数据21。
可选择地,视频数据21可以是针对2D再现所设计的视频数据21。
在这一情况下,可以从选择的视频数据21创建用于3D再现的画面数据。
在以上所描述的每一实施例中,将存储在存储器12中的视频数据21示出为具有有关字幕24的深度信息。
然而,将要放置在存储器12中的某些视频数据21也可以不具有有关字幕24的深度信息。
如果将要把不具有深度信息的视频数据21记录在存储器12中,则可以提供深度信息创建部分以创建有关字幕24的深度信息,并且将所创建的信息记录在存储器12中。转而,深度信息读取部分44可以在记录时获取这样创建的深度信息。
可选择地,也可以将深度信息读取部分44布置为在稀疏再现或者正常再现时创建有关字幕24的深度信息。
在以上所描述的每一实施例中,将字幕24的显示位置示出为根据有关字幕24的显示位置的深度信息在深度方向进行调整。可选择地,也可以将视频数据21布置为携带有关字幕24或者其它对象的视差信息。在这一情况下,可以根据这样提供的视差信息确定和调整用于稀疏再现的显示位置的深度。
本公开包含与2010年9月28日向日本专利局提交的日本优先权专利申请JP 2010-217252中所公开的主题相关的主题,其全部内容并入此处以作参考。

Claims (15)

1.一种电子设备,包含:
获取部分,配置为获取具有构成运动画面的多个画面数据的视频数据,用于再现三维运动画面;
操作部分,配置为给出指令,用于对于三维运动画面再现所获取的所述多个画面数据的稀疏再现;以及
选择部分,配置为基于稀疏再现指令从对于三维运动画面再现所获取的所述多个画面数据中依次选择用于三维运动画面的稀疏再现的画面数据;
其中,所述选择部分选择其相对于前一选择的画面的显示位置在深度方向经历有限变化的画面数据。
2.根据权利要求1所述的电子设备,其中,所述选择部分从对于三维运动画面再现所获取的所述多个画面数据中依照对应于稀疏再现的方向的次序选择用于三维运动画面稀疏再现的画面数据;
在每一轮画面数据选择中,所述选择部分选择对应于所指示的稀疏再现速度的要选择的选择-参考画面数据和至少在所选择的选择-参考画面数据之前或者之后的画面数据,作为多个候选画面数据;以及
所述选择部分从所述多个候选画面数据中选择其相对于所述前一选择的画面的显示位置在深度方向经历有限变化的画面数据。
3.根据权利要求2所述的电子设备,其中,在每一轮画面数据选择中,所述选择部分基于在选择所述多个候选画面数据中的每一个时指示的实际稀疏再现速度的变化量的评估、并基于相对于所述前一选择的画面所选择的候选画面数据的显示位置在深度方向的变化量的评估,从所述多个候选画面数据选择画面数据。
4.根据权利要求1所述的电子设备,还包含深度调整部分,配置为以下述方式调整由所述选择部分对于稀疏再现所选择的画面数据的显示位置:参考所述前一选择的显示位置,使当前画面的显示位置的变化量进入预定范围内。
5.根据权利要求4所述的电子设备,其中,所述深度调整部分确定对于由所述选择部分对于稀疏再现所选择的每一画面数据是否需要显示位置调整处理;
如果确定需要所述显示位置调整处理,则所述深度调整部分对所选择的画面数据执行所述显示位置调整处理,以及
在启动所述显示位置调整处理之后,所述深度调整部分在预定的时间段内对所述所选择的画面数据继续所述显示位置调整处理。
6.根据权利要求4所述的电子设备,其中,所述操作部分给出从稀疏再现向正常再现转换以及从正常再现向稀疏再现转换的指令;
其中,基于最近的转换指令,所述选择部分在稀疏选择模式和连续选择模式之间改变从对于三维运动画面再现所获取的所述多个画面数据选择画面数据;以及
其中,在所述深度调整部分给出了从稀疏再现向正常再现转换的指令之后的预定的时间段内,所述深度调整部分关于画面的显示位置、对所述选择部分选择用于正常再现的画面数据继续所述显示位置调整处理。
7.根据权利要求4所述的电子设备,其中,所述操作部分在用于稀疏再现的画面数据暂停显示期间给出向正常再现转换的指令,
基于转换指令,所述深度调整部分以下述方式更新以暂停模式显示的画面:使所述的画面的显示位置接近其固有显示位置,以及
当以暂停模式显示的画面的显示位置接近其固有显示位置时,所述选择部分开始选择用于正常再现的画面数据。
8.根据权利要求1所述的电子设备,其中,所述选择部分基于所述的画面数据中所关注部分的显示位置,确定所述多个候选画面数据中的每一个的显示位置的变化量。
9.根据权利要求8所述的电子设备,其中,所述选择部分基于所述的画面数据中的字幕的显示位置,确定所述多个候选画面数据中的每一个的显示位置的变化量。
10.根据权利要求3所述的电子设备,其中,在每一轮画面数据选择中,如果所述选择-参考画面数据的显示位置在深度方向的变化量小于预定值,则所述选择部分选择所述选择-参考画面数据,以及
如果所述选择-参考画面数据的显示位置在深度方向的变化量大于所述预定值,则所述选择部分按候选画面数据的稀疏再现速度的变化量的递增次序评估每一剩余候选画面数据的显示位置的变化量,以便选择其显示位置的变化量在当前轮中首次落入所述预定值以内的候选画面数据。
11.根据权利要求3所述的电子设备,其中,在每一轮画面数据选择中,所述选择部分从所述多个候选画面数据中排除那些稀疏再现速度的变化量或者显示位置在深度方向的变化量大于对应上限的画面数据,
所述选择部分评估剩余候选画面数据中的每一个的稀疏再现速度的变化量和源自所述的候选画面数据的显示位置的变化量的视差角度的变化量,以及
所述选择部分选择评估的变化量为最小的候选画面数据。
12.根据权利要求3所述的电子设备,其中,在每一轮画面数据选择中,所述选择部分从所述多个候选画面数据中排除那些其源自显示位置在深度方向的变化量的视差角度的变化量大于预定上限的画面数据,以及
所述选择部分从剩余候选画面数据中选择其稀疏再现速度的变化量最小的画面数据。
13.一种再现系统,包含:
显示设备,配置为显示运动画面;以及
再现设备,配置为向所述显示设备输出三维运动画面;
其中,所述再现设备包括:
获取部分,配置为获取具有构成运动画面的多个画面数据的视频数据,用于再现三维运动画面;
操作部分,配置为给出指令,用于对于三维运动画面再现所获取的所述多个画面数据的稀疏再现;以及
选择部分,配置为基于稀疏再现指令从对于三维运动画面再现所获取的所述多个画面数据中依次选择用于三维运动画面的稀疏再现的画面数据;以及
所述选择部分选择其相对于前一选择的画面的显示位置在深度方向经历有限变化的画面数据。
14.一种用于电子设备的再现方法,所述电子设备具有获取部分、操作部分以及选择部分,所述再现方法包含:
使所述获取部分获取具有构成运动画面的多个画面数据的视频数据,用于再现三维运动画面;
使所述操作部分给出指令,用于对于三维运动画面再现所获取的所述多个画面数据的稀疏再现;以及
使所述选择部分基于稀疏再现指令从对于三维运动画面再现所获取的所述多个画面数据中依次选择用于三维运动画面的稀疏再现的画面数据;
其中,使所述选择部分选择其相对于前一选择的画面的显示位置在深度方向经历有限变化的画面数据。
15.一种用于连接至操作部分的计算机的程序,所述程序使得所述计算机执行过程,所述过程包含:
获取具有构成运动画面的多个画面数据的视频数据,用于再现三维运动画面;
从所述操作部分输入指令,用于对于三维运动画面再现所获取的所述多个画面数据的稀疏再现;以及
基于已经输入的稀疏再现指令从对于三维运动画面再现所获取的所述多个画面数据中依次选择用于三维运动画面的稀疏再现的画面数据;
其中,选择其相对于前一选择的画面的显示位置在深度方向经历有限变化的画面数据。
CN201110281173.1A 2010-09-28 2011-09-21 电子设备、再现系统以及再现方法 Expired - Fee Related CN102420999B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010217252A JP5764895B2 (ja) 2010-09-28 2010-09-28 電子機器、再生システム、再生方法、プログラム
JP2010-217252 2010-09-28

Publications (2)

Publication Number Publication Date
CN102420999A true CN102420999A (zh) 2012-04-18
CN102420999B CN102420999B (zh) 2015-05-27

Family

ID=45870761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110281173.1A Expired - Fee Related CN102420999B (zh) 2010-09-28 2011-09-21 电子设备、再现系统以及再现方法

Country Status (3)

Country Link
US (1) US8582961B2 (zh)
JP (1) JP5764895B2 (zh)
CN (1) CN102420999B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179284A (zh) * 2013-03-08 2013-06-26 东莞宇龙通信科技有限公司 终端和终端节能方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10491694B2 (en) 2013-03-15 2019-11-26 Oath Inc. Method and system for measuring user engagement using click/skip in content stream using a probability model

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111979A (en) * 1996-04-23 2000-08-29 Nec Corporation System for encoding/decoding three-dimensional images with efficient compression of image data
CN101842840A (zh) * 2007-11-01 2010-09-22 松下电器产业株式会社 记录媒体、再现装置、记录装置、再现方法及记录方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3423189B2 (ja) 1997-05-27 2003-07-07 三洋電機株式会社 ディジタル立体放送によるテロップ表示装置
JPH11289555A (ja) 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
JP4755565B2 (ja) * 2006-10-17 2011-08-24 シャープ株式会社 立体画像処理装置
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP2010130495A (ja) 2008-11-28 2010-06-10 Toshiba Corp 立体情報出力装置及び立体情報出力方法
JP5610933B2 (ja) * 2010-09-03 2014-10-22 キヤノン株式会社 再生装置及びその制御方法
JP5473842B2 (ja) * 2010-09-09 2014-04-16 三菱電機株式会社 映像再生方法及び装置、並びに映像表示方法及び装置、並びにプログラム及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111979A (en) * 1996-04-23 2000-08-29 Nec Corporation System for encoding/decoding three-dimensional images with efficient compression of image data
CN101842840A (zh) * 2007-11-01 2010-09-22 松下电器产业株式会社 记录媒体、再现装置、记录装置、再现方法及记录方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179284A (zh) * 2013-03-08 2013-06-26 东莞宇龙通信科技有限公司 终端和终端节能方法
CN103179284B (zh) * 2013-03-08 2015-11-18 东莞宇龙通信科技有限公司 终端和终端节能方法

Also Published As

Publication number Publication date
JP2012074845A (ja) 2012-04-12
CN102420999B (zh) 2015-05-27
US8582961B2 (en) 2013-11-12
US20120076469A1 (en) 2012-03-29
JP5764895B2 (ja) 2015-08-19

Similar Documents

Publication Publication Date Title
CN102106153B (zh) 字幕的3d显示处理
JP6846130B2 (ja) 3dビデオ上に3dグラフィックスをオーバレイするための方法及び装置
CN101897195B (zh) 用于视频重放的3d模式选择机制
CN103024408B (zh) 立体图像转换装置和方法、立体图像输出装置
CN102428706B (zh) 用于3d特技播放的入口点
KR20100096000A (ko) 3d 영상이 기록된 기록매체, 3d 영상을 기록하는 기록장치, 3d 영상을 재생하는 재생장치 및 재생방법
CN102461181A (zh) 用于提供3d用户界面的立体图像再现装置和方法
KR20110113186A (ko) 비디오 인터페이스를 통해 송신하고 3d 비디오 및 3d 오버레이들을 합성하기 위한 방법 및 시스템
WO2011080878A1 (ja) 画像再生装置及び表示装置
EP2783514B1 (en) Interlaced 3d video
US8704876B2 (en) 3D video processor and 3D video processing method
CN102420999A (zh) 电子设备、再现系统、再现方法、以及程序
US8712225B2 (en) Playback device for stereoscopic viewing, integrated circuit, and program
WO2007069189A2 (en) Method and processing unit for processing a video transport stream
EP2408214A2 (en) Playback apparatus, playback method, and program
CN102196287A (zh) 再现设备、再现控制方法和程序
JP2010263383A (ja) 映像出力装置、及びその制御方法
JP5422597B2 (ja) 三次元映像処理装置
EA040953B1 (ru) Устройство и способ для обработки трехмерной (3d) видеоинформации

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150527

Termination date: 20170921