CN103460292A - 定义立体视觉图形对象的场景图形 - Google Patents

定义立体视觉图形对象的场景图形 Download PDF

Info

Publication number
CN103460292A
CN103460292A CN2012800158137A CN201280015813A CN103460292A CN 103460292 A CN103460292 A CN 103460292A CN 2012800158137 A CN2012800158137 A CN 2012800158137A CN 201280015813 A CN201280015813 A CN 201280015813A CN 103460292 A CN103460292 A CN 103460292A
Authority
CN
China
Prior art keywords
image
stereoscopic vision
interdependent
primary image
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800158137A
Other languages
English (en)
Other versions
CN103460292B (zh
Inventor
J.霍伦特鲁普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN103460292A publication Critical patent/CN103460292A/zh
Application granted granted Critical
Publication of CN103460292B publication Critical patent/CN103460292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005Tree description, e.g. octree, quadtree
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/61Scene description
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

描述了一种适合定义立体视觉图形对象的场景图形、一种用于创建这种场景图形的方法和装置以及一种用于基于这种场景图形呈现图形对象的方法和装置。该场景图形描述立体视觉图形对象的空间和/或时间布置,并包括有关用于立体视觉图形对象的基本图像(BI)的图像数据和图形对象的依存图像(DI)的图像数据,以及基本图像(BI)和依存图像(DI)的空间和/或时间布置的信息。对于3D呈现模式,图形对象由基本图像(BI)和依存图像(DI)组成。对于2D呈现模式,图形对象仅由基本图形(BI)组成。

Description

定义立体视觉图形对象的场景图形
技术领域
本发明涉及适合用于定义立体图形对象的场景图形(scene graph),涉及一种用于创建这样的场景图形的方法和装置,还涉及一种用于基于这样的场景图形呈现图形对象的方法和装置。此外,本发明涉及一种存储介质,包括用于定义立体视觉图形对象的场景图形。最后,本发明涉及一种用于初始化呈现模块的方法和一种包括适于执行该方法的应用程序的存储介质。
背景技术
用户界面或其他的图形对象通常通过场景图形描述。一般情况下,这样的场景图形通常以分层方式(例如,树结构)描述如何在空间和时间上布置图形元素以构成场景。场景图形的典型示例是用于互联网网页的超文本标记语言HTML。场景图形可以在视觉设计软件的帮助下创建。在运行时,能够解释场景图形的软件将它呈现在屏幕上。例如,在HTML的情形中,由互联网浏览器进行呈现。
这种系统的一个基本优点是,在视觉设计软件工具的帮助下可以相对容易地生成场景图形或用户界面。另一个优点是,场景图形通常是独立于平台的。只有呈现软件依赖于平台。
今天的基于场景图形的系统要么只是平面视觉的,要么在更复杂的系统情形中描述几何三维世界(例如,可从电脑游戏了解)。
最近,蓝光光盘协会发布了其预录格式的立体视觉3D扩展。该格式不仅允许在蓝光光盘上存储立体视觉3D视频,而且还支持创建立体视觉3D用户界面,例如3D弹出式菜单。蓝光3D格式被设计成能够向后兼容。目标是当被合适地制作出来时,同一张蓝光光盘应该可以在3D蓝光播放器上以3D模式播放,并可以在标准2D播放器上以2D模式播放。
关于这种立体视觉3D用户界面,主要有两个问题产生。第一个问题是如何高效地创建这样的立体视觉用户界面。第二个问题是如何高效地创建同时用于立体3D模式和2D模式的用户界面。
一个简单的选择是在制作过程中创建用户界面的立体视觉3D版本和平面视觉2D版本。这种方法的缺点是需要付出额外的努力,也就是说,它是相当低效的。
另一种选择是利用成熟三维场景图形形式的模型虚拟3D世界(如,可以从电脑游戏了解)。这种方法也能够呈现场景的2D版本和立体视觉版本。然而,这种方法的计算成本相当之高,通常需要一些硬件加速支持,例如,现代计算机图形适配器的3D图形加速。消费电子设备通常不能提供这样的处理能力。
发明内容
本发明的目的是提出一种解决方案,用以高效地创建可以较低的处理成本以3D和2D形式呈现的用户界面。
根据本发明,该目的通过用于创建用于立体视觉图形对象的场景图形的方法实现,场景图形描述立体视觉图形对象的空间和/或时间布置,包括以下步骤:
-规定用于立体视觉图形对象的基本图像和依存图像(dependent image);
-规定基本图像和依存图像的空间和/或时间布置;以及
-布置有关基本图像的图像数据、依存图像的图像数据以及场景图形中基本图像和依存图像的空间和/或时间布置的信息。
同样地,一种用于创建用于立体视觉图形对象的场景图形的装置,场景图形描述立体视觉图形对象的空间和/或时间布置,包括:
-用于规定用于立体视觉图形对象的基本图像和依存图像的部件;
-用于规定基本图像和依存图像的空间和/或时间布置的部件;以及
-用于布置有关基本图像的图像数据、依存图像的图像数据以及场景图形中基本图像和依存图像的空间和/或时间布置的信息的部件。
同样,一种用于立体视觉图形对象的场景图像,该场景图形描述立体视觉图形对象的空间和/或时间布置,其中场景图形包括有关用于立体视觉图形对象的基本图像的图像数据、用于图形对象的依存图像的图像数据以及基本图像和依存图像的空间和/或时间布置的信息。
因此,一种存储介质包括用于立体视觉图形对象的场景图形,该场景图形描述立体视觉图形对象的空间和/或时间布置,其中该场景图形包括有关用于立体视觉图形对象的基本图像的图像数据、用于立体视觉图形对象的依存图像的图像数据以及基本图像和依存图像的空间和/或时间布置的信息。
对于以3D形式呈现立体视觉图形对象,图形对象由基本图像和依存图像组成。对于以2D形式呈现立体视觉图形对象,图形对象仅由基本图像组成。
本发明的第一方面是定义“立体视觉”场景图形,即尤其适合用于描述立体视觉图形对象(例如,立体视觉用户界面)的场景图形。这种立体视觉图形对象可以设置在例如蓝光3D光盘上。提出的场景图形尤其适合用于通过仅使用指定的基本图像从立体视觉图形对象中自动导出2D表示。这使得场景图形对混合3D/2D回放系统是有用的。当创建3D/2D兼容内容(例如,3D蓝光光盘)时,内容制作者可以不用为立体视觉3D模式创建一个图形对象,为平面视觉2D模式创建另一个图形对象。通常情况下,制作系统会提供用于定义或生成基本图像和依存图像的图形用户界面。
有利地,基本图像的图像数据包含在基本图像马赛克(base image mosaic)中,和/或依存图像的图像数据包含在依存图像马赛克(dependent imagemosaic)中。由于生成菜单等所需的多幅图像被引用在单个资源之中,因此图像马赛克(image mosaics)能够减少加载次数,并提高播放器性能。通过保证图像马赛克只包含基本图像的图像数据和只包含依存图像的图像数据可以至少在一定程度上确保不会加载包含当前呈现模式不需要的图像资源。图像马赛克通常会使用专门的软件生成,该软件可以将选择的图像的分布优化成不同的图像马赛克。
根据本发明的再一个方面,一种用于呈现立体视觉图形对象的方法包括以下步骤:
-获取场景图形,它包括有关用于立体视觉图形对象的基本图像的图像数据和依存图像的图像数据以及基本图像和依存图像的空间和/或时间布置的信息;
-为了呈现立体视觉图形对象的立体视觉版本,获取基本图像的图像数据和依存图像的图像数据,并根据在场景图形中规定的空间和/或时间布置来合成基本图像和依存图像的立体视觉图形对象;以及
-为了呈现立体视觉图形对象的平面视觉版本,获取基本图像的图像数据,并根据在场景图形中规定的空间和/或时间布置来仅合成基本图像的立体视觉图形对象。
同样,一种用于呈现立体视觉图形对象的装置,包括:
-用于获取场景图形的部件,该场景图形包括有关用于立体视觉图形对象的基本图像的图像数据和依存图像的图像数据以及基本图像和依存图像的空间和/或时间布置的信息;
-用于获取基本图像的图像数据和依存图像的图像数据并根据在场景图形中规定的空间和/或时间布置来合成基本图像和依存图像的立体视觉图形对象以呈现立体视觉图形对象的立体视觉版本的部件;以及
-用于获取基本图像的图像数据并根据在场景图形中规定的空间和/或时间布置来仅合成基本图像的立体视觉图形对象以呈现立体视觉图形对象的平面视觉版本的部件。
本发明的第二方面涉及一种利用场景图形、基本图像和依存图像的呈现方法及装置。该方法和装置能够根据场景图形的规定以3D模式和2D模式呈现立体视觉图形对象。提出的场景图形的重要优点是,它能够高效地以立体3D模式或平面视觉2D模式呈现。这使得该场景图形对像蓝光3D光盘这样的系统来说非常有用,在这样的系统中,例如当在3D播放器上执行时,立体3D用户界面需要以立体3D模式生成,当在仅具有2D功能的系统上运行时,需要平面视觉用户界面。在2D呈现模式的情形中,只需要获取和呈现基本图像的图像数据,而在3D呈现模式的情形中,需要获取和呈现基本图像的图像数据和依存图像的图像数据。以这种方式保证不加载不必要的数据。通常情况下,换能器会从存储介质中获取必要的图像,例如,光存储介质情形中的光学拾取器,或硬盘情形中的读取头。
然而,有利的是,在呈现立体视觉图形对象的平面视觉版本的情形中,也获取依存图像的图像数据。在这方面,优选地确定3D呈现模式是否是可能的,也就是说,呈现设备是否支持3D呈现模式;以及
-在3D呈现模式是可能的情形中,不论实际呈现模式是什么,都获取场景图形规定的基本图像的图像数据和依存图像的图像数据。
换言之,在2D呈现模式的情形中,检查3D呈现模式实际上是否是可能的。例如,连接到3D显示器的3D播放器可能被设置为2D呈现模式,虽然3D呈现模式是可能的。在这种情况下,有利地加载依存图像的图像数据,即使它们不是当前的呈现模式需要的。然而,如果用户决定切换到3D呈现模式,那么所有必需的图像都已经是可用的。因此,从2D呈现模式切换到3D呈现模式可以非常快地完成。
如果从2D呈现模式转换到3D呈现模式之后,不一定已经获取可用的依存图像,那么确定是否已经获取规定的依存图像的图像数据。如果还没有获取依存图像的图像数据,那么随后获取,以使得能够以3D呈现模式呈现图形对象。以这种方式可以确保除了基本图像之外所有必需的依存图像都可用于呈现。
根据本发明的又一个方面,一种用于初始化可以在3D呈现模式和2D呈现模式之间切换并且其输出被馈送到图形子系统的呈现模块的方法,包括如下步骤:
-确定是否将要呈现立体视觉内容;
-确定图形子系统是否能够以立体视觉模式呈现;以及
-如果图形子系统能够以立体视觉模式呈现,那么独立于图形子系统当前的呈现模式初始化呈现模块。
为了实施上述方法,有利地将适于执行必要步骤的应用程序存储在存储介质上。该应用程序还包括可以在3D呈现模式和2D呈现模式之间切换的呈现模块。
通常情况下,除可切换的呈现模块之外,2D呈现模块是可用的。如果当前的呈现模式是2D模式,那么根据现有技术会初始化2D呈现模块。与此相反,根据本发明,如果图形子系统能够以立体视觉模式呈现,那么不论当前实际的呈现模式是什么,都初始化可切换的呈现模块。以这种方式可以确保在从2D模式切换到3D模式的情况下,可以立即开始3D呈现,而不需要先终止2D呈现模块和初始化可切换的呈现模块。
附图说明
为了更好地理解本发明,在下面的描述中参照附图进行更详细的说明。应该理解的是,本发明不限于该示例性实施例,还可以在不偏离如所附权利要求限定的本发明的范围的情况下对多个特定的特征进行权宜的组合和/或改进。附图中:
图1示出了用于以不同的输出模式呈现场景图形的图形元素的过程;
图2示意性描述了图像马赛克;
图3示出了常规操作过程中的加载图像的过程;以及
图4示出了在切换呈现模式之后加载图像的示例性过程。
具体实施方式
为了定义可以高效地以立体3D模式和以2D模式呈现的图形对象,定义了“立体视觉”场景图形。提出的场景图形规定并使用立体图像对。相似的立体图像对形成立体视觉3D的基础。一个图像用于左眼,另一个图像用于右眼。立体图像对中的一个图像代表“基本图像”(BI)。另一个图像代表“依存图像”(DI)。基本图像是强制性的(mandatory),而依存图像是可选的。
可以有多种方式来定义这样的立体图像对。下面对三个示例进行说明。当然,本发明并不限于这些示例。示例1示例了立体图像对的第一示例性定义,它使用XML作为声明性语言(declarative language)。
示例1:
Figure BDA0000388735600000061
</img>元素定义一个图像元素。每一个这样的图像元素都带有唯一标识符,在<img>元素的“id”属性中指定。在这个示例中,<file>元素定义图像数据的来源。除其他用处之外,这可以简单地标识一些本地文件系统上的文件。上面的示例定义了两个名为“ibgd”和“ibgd_r”的图像。此外,“ibgd”带有“stereo_idref”属性。该属性将两个图像链接在一起形成立体图像对。
该立体图像对可以方便地使用如下:
<layer id="lb"clipWidth="500"clipHeight="200"z="0">
    <graphic id="gback"idref="ibgd"x="20"y="20"z="10"/>
</layer>
这里,图形被放置在图层(layer)内部的位置x=20,y=20,z=10处。通过“idref”属性标识要使用的图像资源。在该示例中,它指的是上面示例1中定义的立体图像对。
示例2示例了立体图像对的第二示例性定义,它使用XML作为声明性语言。
示例2:
<img id="ibgd"src="bgd_l.jpg"src r="bgd_r.jpg"/>
<img>元素定义一个图像元素。它带有唯一标识符,在“id”属性中指定。在这个示例中,“scr”属性定义立体图像对中一个图像的图像数据来源。“src_r”属性定义立体图像对中另一个图像的图像数据来源。
示例3示例了立体图像对的第三示例性定义。该示例使用HTML作为声明性语言。
示例3:
<img src="bgdl.jpg"src r="bgdr.jpg">
在HTML中,<img>元素的“src”属性定义图像的数据来源。新的属性“src_r”定义用以形成立体图像对的相关联的第二图像的数据来源。
为了规定如何以不同的输出模式呈现场景图形的图形元素,定义了若干规则。这示意性地示于图1。在第一判定步骤1中,检测将要生成2D输出还是立体3D输出。在2D输出模式下,强制性基本图像BI用于合成2图形对象。在立体3D输出模式下,第二判定步骤3检测将要呈现的图像是否是立体图像,即是否在除强制性基本图像BI之外还声明了依存图像DI。如果该图像仅是平面视觉图像,那么基本图像BI用于合成4左通道输出和右通道输出。在立体图像的情况下,基本图像BI用于合成5左通道输出,依存图像DI用于合成右通道输出。然后,输出6以显示在合成步骤2、4、5中合成的立体视觉图形对象。
对于资源有限的系统,如消费电子设备(例如,蓝光播放器),Java应用程序等图像要使用的图像资源通常都存储在“图像马赛克”(image mosaics,IM)中。这种马赛克图像IM将多个基元图像(elementary image)组合成更大的图像。这示例性地示于图2。这种技术可以减少在运行时对所有图像解码所需的时间,因为每一个图像解码过程都包括一些用来设置图像解码器的运行时间开销。将图像基元组合成图像马赛克IM避免了频繁设置图像解码器和相关联的额外时间。
为了提高所提出的使用立体图像对的方法的效率,如果一个特定的图像马赛克IM未组合一个或多个基本图像BI和一个或多个依存图像DI,那么是有益的。这就是说,一组基本图像BI优选地组合成一个或多个图像马赛克IM,因此被称为基本图像马赛克(BI-IM),而一组依存图像DI分别组合成一个或多个不同的图像马赛克IM,因此被称为依存图像马赛克(DI-IM)。
将图像分为基本图像BI和依存图像DI,或者分为基本图像马赛克BI-IM和依存图像马赛克DI-IM,允许对能够以立体3D模式或2D模式呈现场景图形的应用程序实施有益的规则。当应用程序在运行时检测到在执行环境中无法以3D模式呈现时(例如,应用程序运行在2D蓝光播放器上,或者应用程序运行在3D蓝光播放器但只有非3D屏幕连接到该播放器上),当要加载图像时,根据规定,忽略任何依存图像DI或依存图像马赛克DI-IM,只将基本图像BI和基本图像马赛克BI-IM加载到存储器之中。
然而,如果应用程序检测到立体3D模式是可能的,那么优选地支持下面两种加载图像资源模式。
在第一模式中,当要加载图像时,根据规定,将基本图像BI或基本图像马赛克BI-IM以及依存图像DI或依存图像马赛克DI-IM加载到存储器之中。尤其地,这包括3D模式在执行环境中是可能的但应用程序当前被配置或被发信号告知以2D模式呈现的情形。这种模式的优点是,当从2D呈现模式转换为3D呈现模式时,不需要加载任何依存图像DI或依存图像马赛克DI-IM,因此转变会相对较快。该模式可以定义为“渴望加载(eager loading)”模式。
在第二模式中,当要加载图像时,应用程序检测当前呈现模式是3D还是2D。在3D呈现模式的情形中,将基本图像BI或马赛克基本图像BI-IM以及依存图像DI或马赛克依存图像DI-IM加载到存储器之中。在2D模式的情形中,只加载基本图像BI或马赛克基本图像BI-IM。并且,在此模式中,当从2D呈现模式转变为3D呈现模式时,根据需要,加载必要的依存图像DI或依存图像马赛克DI-IM。该模式可以定义为“懒惰加载(lazy loading)”。
图3示出了常规操作中(即并非由任何模式改变引起)的示例性的图像加载过程。在接收到加载图像的请求7之后,确定8三维呈现模式是否可能。如果不可能,那么只加载基本图像BI或基本图像马赛克BI-IM,忽略任何依存图像DI或依存图像马赛克DI-IM。然而,如果3D呈现模式是可能的,那么进一步的过程取决于加载模式。因此,在进一步的判定步骤10中,确定加载模式。当然,当对于特定的实施已经确定加载模式时,可以省略进一步的判定步骤10。在渴望加载模式的情形中,加载11基本图像BI或基本图像马赛克BI-MI以及依存图像DI或依存图像马赛克DI-IM。在懒惰加载模式的情形中,确定11三维呈现模式是否是有效的。如果是无效的,那么只加载9基本图像BI或基本图像马赛克BI-IM,忽略任何依存图像DI或依存图像马赛克DI-IM。然而,如果3D呈现模式是有效的,那么加载11基本图像BI或基本图像马赛克BI-MI以及依存图像DI或依存图像马赛克DI-IM。
图4示出了在切换呈现模式之后的示例性的图像加载过程。在接收到模式改变请求13之后,确定14当前3D呈现模式是否可能。如果不可能,那么不需要执行进一步的步骤。然而,如果3D模式是可能的,那么进一步的过程取决于转换类型。因此,在进一步的判定步骤15中,确定转换类型。在从3D呈现模式转换到2D呈现模式的情形中,不需要执行进一步的步骤,因为所有必需的基本图像BI或马赛克基本图像BI-IM在这之前已经加载用于3D呈现。在从2D呈现模式转换到3D呈现模式的情形中,进一步的过程取决于在这之前响应于图3中的图像加载请求7已经使用的加载模式。因此,在进一步的判定步骤16中,确定之前使用的加载模式。当然,当对于特定的实施方式已经确定加载模式时,可以省略进一步的判定步骤16。在已经使用过渴望加载模式的情形中,不需要执行进一步的步骤,因为在这之前已经加载了所有必需的依存图像DI或依存图像马赛克DI-IM。在已经使用过懒惰加载模式的情形中,加载17必需的依存图像DI或依存图像马赛克DI-IM。
能够呈现场景图形的应用程序部分是图像呈现模块。这种应用程序通常和将要重现的内容一起设置在存储介质上。图形呈现模块的典型任务是“双缓冲”,即应用程序将下一个合成结果(composition)拖入不可见的后置缓冲器(back buffer)中,而将当前合成结果存储在与显示器连接的前置缓冲器(front buffer)中的技术。当被请求时,图形呈现模块将后置缓冲器中的内容复制到前置缓冲器之中。双缓冲技术避免中间合成结果在显示器上变为可见(这可能会造成闪烁)。
对于立体视觉3D,该图形呈现模块需要两条流水线(pipeline),每一条都与一个后置缓冲器连接。合成左通道输出需要使用一个后置缓冲器,而右通道输出需要使用另一个后置缓冲器。
该立体图形呈现模块可以被设计为支持立体视觉3D呈现和2D呈现。在后一种情形中,两条流水线中的一条用于生成2D输出,而另一条流水线保持不使用。并且,立体3D图形呈现模块可以被设计为支持在立体3D图形呈现和平面视觉2D呈现之间进行动态模式切换。这意味着如上描述的立体3D图形呈现器是非常灵活的。
然而,立体3D呈现模块对两个后置缓冲器进行分配,每一个都分配相当数量的图像存储器。在蓝光播放器的情形中,对于1920×1080的像素分辨率,这样的后置缓冲器分配差不多8MB的图像存储器。由于在消费电子设备中图像存储器通常是有限的,因此优选地对能够以立体3D模式或2D模式呈现立体视觉场景图形的应用程序实施以下有益规则。
当应用程序在运行时检测到在执行环境中无法以3D模式呈现时(例如,因为应用程序运行在2D蓝光播放器上,或者应用程序运行在3D蓝光播放器但只有非3D屏幕连接到该播放器上),应用程序创建并激活仅能够以2D模式呈现的图形呈现器实现。这种实现只嵌入单条流水线,因此只分配保存单个后置缓冲器的存储器。
当应用程序检测到立体3D模式在执行环境中是可能的,那么应用程序创建并激活能够以3D模式和以2D模式呈现的图形呈现器实现方式。值得注意的是,应用程序仅检测到3D模式在技术上是可能的。这并不意味着3D模式处于激活状态。
可以从立体视觉场景图形导出用于定位屏幕上的图形对象的有效的“x”、“y”和“z”参数。对于平面视觉2D呈现,“x”确定水平方向上的位置,“z”通常只规定单个元素之间在前或在后的关系,即合成顺序。对于立体视觉呈现,与平面视觉2D呈现模式相似,“z”用来确定场景图形中单个元素的合成顺序。

Claims (18)

1.一种用于创建用于立体视觉图形对象的场景图形的方法,场景图形描述立体视觉图形对象的空间和/或时间布置,所述方法包括以下步骤:
-规定用于立体视觉图形对象的基本图像(BI)和依存图像(DI);
-规定基本图像(BI)和依存图像(DI)的空间和/或时间布置;以及
-布置有关基本图像(BI)的图像数据、依存图像(DI)的图像数据以及场景图形中基本图像(BI)和依存图像(DI)的空间和/或时间布置的信息。
2.如权利要求1所述的方法,进一步包括布置基本图像马赛克(BI-IM)中的基本图像(BI)的图像数据和/或布置依存图像马赛克(DI-IM)中的依存图像(DI)的图像数据的步骤。
3.如权利要求1或2所述的方法,其中基本图像(BI)和依存图像(DI)使得能够呈现立体视觉图形对象的立体视觉版本,并且其中基本图像(BI)使得只能够呈现立体视觉图形对象的平面视觉版本。
4.一种用于创建用于立体视觉图形对象的场景图形的装置,场景图形描述立体视觉图形对象的空间和/或时间布置,其特征在于,所述装置包括:
-用于规定用于立体视觉图形对象的基本图像(BI)和依存图像(DI)的部件;
-用于规定基本图像(BI)和依存图像(DI)的空间和/或时间布置的部件;以及
-用于布置有关基本图像(BI)的图像数据、依存图像(DI)的图像数据以及场景图形中基本图像(BI)和依存图像(DI)的空间和/或时间布置的信息的部件。
5.如权利要求4所述的装置,进一步具有用于布置基本图像马赛克(BI-IM)中的基本图像(BI)的图像数据和/或布置依存图像马赛克(DI-IM)中的依存图像(DI)的图像数据的部件。
6.如权利要求4或5所述的装置,其中基本图像(BI)和依存图像(DI)使得能够呈现立体视觉图形对象的立体视觉版本,并且其中基本图像(BI)使得只能够呈现立体视觉图形对象的平面视觉版本。
7.一种存储介质,包括用于立体视觉图形对象的场景图形,场景图形描述立体视觉图形对象的空间和/或时间布置,其特征在于,场景图形包括有关用于立体视觉图形对象的基本图像(BI)的图像数据、用于立体视觉图形对象的依存图像(DI)的图像数据以及基本图像(BI)和依存图像(DI)的空间和/或时间布置的信息。
8.如权利要求7所述的存储介质,其中存储介质进一步包括用于图形对象的基本图像(BI)的图像数据和依存图像(DI)的图像数据。
9.如权利要求8所述的存储介质,其中基本图像(BI)的图像数据被包含在基本图像马赛克(BI-IM)之中和/或依存图像(DI)的图像数据被包含在依存图像马赛克(DI-IM)之中。
10.如权利要求8-9中任何一项所述的存储介质,其中基本图像(BI)和依存图像(DI)使得能够呈现立体视觉图形对象的立体视觉版本,并且其中基本图像(BI)使得只能够呈现立体视觉图形对象的平面视觉版本。
11.一种用于呈现立体视觉图形对象的方法,包括以下步骤:
-获取场景图形,其包括有关用于立体视觉图形对象的基本图像(BI)的图像数据和依存图像(DI)的图像数据、以及基本图像(BI)和依存图像(DI)的空间和/或时间布置的信息;
-为了呈现立体视觉图形对象的立体视觉版本,获取基本图像(BI)的图像数据和依存图像(DI)的图像数据,并根据在场景图形中规定的空间和/或时间布置来合成基本图像(BI)和依存图像(DI)的立体视觉图形对象;以及
-为了呈现立体视觉图形对象的平面视觉版本,获取基本图像(BI)的图像数据,并根据在场景图形中规定的空间和/或时间布置来仅合成基本图像(BI)的立体视觉图形对象。
12.如权利要求11所述的方法,其中在呈现立体视觉图形对象的平面视觉版本的情形中也获取依存图像(DI)的图像数据。
13.一种用于呈现立体视觉图形对象的装置,所述装置包括:
-用于获取场景图形的部件,所述场景图形包括有关用于立体视觉图形对象的基本图像(BI)的图像数据和依存图像(DI)的图像数据,以及基本图像(BI)和依存图像(DI)的空间和/或时间布置的信息;
-用于获取基本图像(BI)的图像数据和依存图像(DI)的图像数据,并根据在场景图形中规定的空间和/或时间布置来合成基本图像(BI)和依存图像(DI)的立体视觉图形对象以呈现立体视觉图形对象的立体视觉版本的部件;以及
-用于获取基本图像(BI)的图像数据,并根据在场景图形中规定的空间和/或时间布置来仅合成基本图像(BI)的立体视觉图形对象,以呈现立体视觉图形对象的平面视觉版本的部件。
14.如权利要求13所述的装置,其中在呈现立体视觉图形对象的平面视觉版本的情形中也获取依存图像(DI)的图像数据。
15.一种用于立体视觉图形对象的场景图形,所述场景图形描述立体视觉图形对象的空间和/或时间布置,其特征在于,场景图形包括有关用于立体视觉图形对象的基本图像(BI)的图像数据、用于图形对象的依存图像(DI)的图像数据以及基本图像(BI)和依存图像(DI)的空间和/或时间布置的信息。
16.如权利要求15所述的场景图形,其中基本图像(BI)和依存图像(DI)使得能够呈现立体视觉图形对象的立体视觉版本,并且其中基本图像(BI)使得只能够呈现立体视觉图形对象的平面视觉版本。
17.一种用于初始化可以在3D呈现模式和2D呈现模式之间切换并且其输出被馈送到图形子系统的呈现模块的方法,所述方法包括如下步骤:
-确定是否将要呈现立体视觉内容;
-确定图形子系统是否能够以立体视觉模式呈现;以及
-如果图形子系统能够以立体视觉模式呈现,那么独立于图形子系统的当前呈现模式初始化呈现模块。
18.一种包括应用程序的存储介质,所述应用程序包括可以在3D呈现模式和2D呈现模式之间切换并且其输出被馈送到图形子系统的呈现模块,其中应用程序适于执行以下步骤:
-确定是否将要呈现立体视觉内容;
-确定图形子系统是否能够以立体视觉模式呈现;以及
-如果图形子系统能够以立体视觉模式呈现,那么独立于图形子系统的当前呈现模式初始化呈现模块。
CN201280015813.7A 2011-03-31 2012-03-19 定义立体视觉图形对象的场景图形 Active CN103460292B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11305373A EP2506263A1 (en) 2011-03-31 2011-03-31 Stereoscopic scene graph for defining 3D- and 2D-compatible graphical objects
EP11305373.0 2011-03-31
PCT/EP2012/054761 WO2012130650A2 (en) 2011-03-31 2012-03-19 Scene graph for defining a stereoscopic graphical object

Publications (2)

Publication Number Publication Date
CN103460292A true CN103460292A (zh) 2013-12-18
CN103460292B CN103460292B (zh) 2017-02-15

Family

ID=44041523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280015813.7A Active CN103460292B (zh) 2011-03-31 2012-03-19 定义立体视觉图形对象的场景图形

Country Status (6)

Country Link
US (1) US10332299B2 (zh)
EP (2) EP2506263A1 (zh)
JP (1) JP6113142B2 (zh)
KR (1) KR20140010120A (zh)
CN (1) CN103460292B (zh)
WO (1) WO2012130650A2 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140300611A1 (en) * 2013-03-15 2014-10-09 Trigger Happy, Ltd. Web and native code environment modular player and modular rendering system
US9092658B2 (en) 2013-04-25 2015-07-28 Nvidia Corporation Automatic detection of stereoscopic content in video/image data
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
CN109658516B (zh) * 2018-12-11 2022-08-30 国网江苏省电力有限公司常州供电分公司 Vr培训场景的创建方法、vr培训系统以及计算机可读存储介质
CN110717963B (zh) * 2019-08-30 2023-08-11 杭州群核信息技术有限公司 一种基于WebGL的可替换模型的混合渲染展示方法、系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080303832A1 (en) * 2007-06-11 2008-12-11 Samsung Electronics Co., Ltd. Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
US20110013888A1 (en) * 2009-06-18 2011-01-20 Taiji Sasaki Information recording medium and playback device for playing back 3d images

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590573B1 (en) 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
JP2001273520A (ja) 2000-03-23 2001-10-05 Famotik Ltd マルチメディアドキュメント統合表示システム
FR2828055B1 (fr) 2001-07-27 2003-11-28 Thomson Licensing Sa Procede et dispositif de codage d'une mosaique d'images
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
JP2004102526A (ja) 2002-09-06 2004-04-02 Sony Corp 立体画像表示装置、表示処理方法及び処理プログラム
KR100488804B1 (ko) * 2002-10-07 2005-05-12 한국전자통신연구원 Mpeg-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
EP1579391A4 (en) 2002-11-01 2009-01-21 Sony Electronics Inc UNIFORM SURFACE MODEL FOR PICTORIAL AND GEOMETRIC SCENE COMPOSITION
US7417645B2 (en) 2003-03-27 2008-08-26 Microsoft Corporation Markup language and object model for vector graphics
JP4490074B2 (ja) 2003-04-17 2010-06-23 ソニー株式会社 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
EP2105032A2 (en) 2006-10-11 2009-09-30 Koninklijke Philips Electronics N.V. Creating three dimensional graphics data
KR100826519B1 (ko) * 2007-05-29 2008-04-30 한국전자통신연구원 Dmb 기반의 3차원 정지영상 서비스를 위한 객체 기술 및다중화 방법과, 그에 따른 복호화 장치 및 그 방법
GB0806183D0 (en) 2008-04-04 2008-05-14 Picsel Res Ltd Presentation of objects in 3D displays
AU2009263686A1 (en) * 2008-06-24 2009-12-30 Panasonic Corporation Recording medium, reproducing device, integrated circuit, reproducing method, and program
EP3197155A1 (en) * 2008-07-20 2017-07-26 Dolby Laboratories Licensing Corp. Compatible stereoscopic video delivery
KR100984816B1 (ko) 2008-08-20 2010-10-01 주식회사 컴퍼니원헌드레드 3d 그래픽스 사용자 인터페이스 모델링 언어 기반의 모바일 응용 프로그램 구성 방법
JP5368470B2 (ja) * 2008-11-06 2013-12-18 パナソニック株式会社 再生装置、再生方法、再生プログラム、及び集積回路
EP2362672B1 (en) * 2008-12-01 2016-04-20 Sharp Kabushiki Kaisha Contents reproduction device, reproduction method, program and recording medium
KR101659576B1 (ko) * 2009-02-17 2016-09-30 삼성전자주식회사 영상 처리 방법 및 장치
JP4654327B2 (ja) 2009-02-19 2011-03-16 パナソニック株式会社 記録媒体、及び再生装置
JP5510700B2 (ja) * 2009-04-03 2014-06-04 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2010143439A1 (ja) * 2009-06-12 2010-12-16 パナソニック株式会社 再生装置、集積回路、記録媒体
US9307224B2 (en) * 2009-11-23 2016-04-05 Samsung Electronics Co., Ltd. GUI providing method, and display apparatus and 3D image providing system using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080303832A1 (en) * 2007-06-11 2008-12-11 Samsung Electronics Co., Ltd. Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
US20110013888A1 (en) * 2009-06-18 2011-01-20 Taiji Sasaki Information recording medium and playback device for playing back 3d images

Also Published As

Publication number Publication date
EP2506263A1 (en) 2012-10-03
US10332299B2 (en) 2019-06-25
JP6113142B2 (ja) 2017-04-12
EP2691956A2 (en) 2014-02-05
CN103460292B (zh) 2017-02-15
WO2012130650A3 (en) 2013-01-10
US20140002451A1 (en) 2014-01-02
KR20140010120A (ko) 2014-01-23
WO2012130650A2 (en) 2012-10-04
JP2014516432A (ja) 2014-07-10

Similar Documents

Publication Publication Date Title
US11962741B2 (en) Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment
US8576228B2 (en) Composite transition nodes for use in 3D data generation
TWI461932B (zh) 多層幻燈片轉換
US8436857B2 (en) System and method for applying level of detail schemes
KR20230149347A (ko) 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
WO2021135320A1 (zh) 一种视频的生成方法、装置及计算机系统
CN103460292A (zh) 定义立体视觉图形对象的场景图形
WO2008118065A1 (en) Graphics rendering system
US20210195168A1 (en) Virtual display engine
US11094133B2 (en) Virtual location selection for virtual content
EP4018673A1 (en) Data model for representation and streaming of heterogeneous immersive media
TW201921919A (zh) 影像處理裝置及檔案生成裝置
US20160239095A1 (en) Dynamic 2D and 3D gestural interfaces for audio video players capable of uninterrupted continuity of fruition of audio video feeds
KR20220079685A (ko) 하이브리드 스트리밍
US20180136814A1 (en) Systems and methods for multi-dimensional augmented and virtual reality digital media integration
CN101401130B (zh) 提供视频帧序列的设备和方法,提供场景模型的设备和方法,场景模型,创建菜单结构的设备和方法,以及计算机程序
KR20230118794A (ko) 가상 공간 구축 및 제어를 위한 웹 기반 3d 컨텐츠의패키징 및 스트리밍 서비스 제공 방법 및 그 시스템
CN102474650B (zh) 立体观察影像的再现装置、集成电路、再现方法
JP7448677B2 (ja) 没入型メディアをストリーミングする方法、並びにそのデバイス、及びコンピュータプログラム
US11570227B2 (en) Set up and distribution of immersive media to heterogenous client end-points
US20210173478A1 (en) Virtual, augmented, and mixed reality systems and methods
US12003792B2 (en) Adaptation of 2D video for streaming to heterogenous client end-points
Bibiloni et al. An Augmented Reality and 360-degree video system to access audiovisual content through mobile devices for touristic applications
US20220201055A1 (en) Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points
KR20240052837A (ko) 몰입형 미디어를 위한 스트리밍 장면 우선순위화기

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant