CN101822049A - 基于轻便应用场景表现在终端上提供立体三维图像/视频内容的装置和方法 - Google Patents

基于轻便应用场景表现在终端上提供立体三维图像/视频内容的装置和方法 Download PDF

Info

Publication number
CN101822049A
CN101822049A CN200880111397A CN200880111397A CN101822049A CN 101822049 A CN101822049 A CN 101822049A CN 200880111397 A CN200880111397 A CN 200880111397A CN 200880111397 A CN200880111397 A CN 200880111397A CN 101822049 A CN101822049 A CN 101822049A
Authority
CN
China
Prior art keywords
video
rendering
dimensional
attribute
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880111397A
Other languages
English (en)
Other versions
CN101822049B (zh
Inventor
黄棲煐
宋在涓
李健日
李国熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101822049A publication Critical patent/CN101822049A/zh
Application granted granted Critical
Publication of CN101822049B publication Critical patent/CN101822049B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种用于在基于轻便应用场景表现(LASeR)的终端中提供立体三维(3D)图像/视频内容的方法。所述方法包括：接收其中包括立体3D图像/视频信息的LASeR内容；根据立体3D图像/视频属性解码所接收的LASeR内容；从解码后的LASeR内容中检查LASeR命令；执行LASeR命令；解析包含立体3D图像/视频信息的场景信息，所述立体3D图像/视频信息被包括在解码后的LASeR内容中；根据立体3D图像/视频信息，确定要被包括在场景描述中的媒体对象是否是立体3D图像/视频；和当要被包括在场景描述中的媒体对象是立体3D图像/视频时，根据终端是否支持立体3D图像/视频显示立体3D图像/视频。

Description

基于轻便应用场景表现在终端上提供立体三维图像/视频内容的装置和方法
技术领域
本发明一般地涉及三维(3D)图像/视频的显示。更具体地，本发明涉及一种用于基于轻便应用场景表现(Lightweight Application SceneRepresentation，LASeR)来显示立体3D图像/视频的装置和方法。
背景技术
现在考虑各种技术用于提供多媒体服务。具体来说，提供多媒体内容的元素的时间、空间配置和表现的一种技术是运动图片专家组(Moving PictureExperts Group，MPEG)-4轻便应用场景表现(LASeR)。LASeR是允许用户在其中可用资源不足的通信环境中、例如在移动终端环境中享受多媒体服务的多媒体内容格式。更具体地说，LASeR是为了使用诸如场景描述、视频、音频、图像、字体、文本、元数据和脚本的数据来自由表现各种多媒体以及与用户的交互而提出的技术。LASeR数据由包括至少一个命令的存取单元(Access Unit，AU)组成，其中，所述命令用于在特定时间改变场景属性。应该被同时执行的命令被包括在一个AU中作为一个插件(bundle)。AU可以是一个场景、声音，或者短动画。目前，LASeR在进行标准化以便与万维网联盟(World Wide Web Consortium，W3C)会合，并使用W3C的可缩放矢量图形(Scalable Vector Graphics，SVG)和同步多媒体集成语言(SynchronizedMultimedia Integration Language，SMIL)标准。使用SVG允许无论屏幕的类型或者分辨率如何都显示相同的画面质量，因为它以数学方式表现(表达)场景。而且，因为其基于文本，所以可以以低数据容量有效表现场景。SMIL定义并示出多媒体数据的时间、空间关系。使用SVG和SMIL可以表现音频、视频、文本、图像、视频、多面体等等。
图1是示出根据传统技术接收LASeR内容的终端的操作的图。这里，术语“LASeR内容”指在终端中被实际提供的场景中显示的资源元素，包括诸如视频和音频的媒体。参考图1，在步骤100中，终端接收LASeR服务。在步骤110中，终端解码所接收的LASeR服务的LASeR内容。在步骤120中，终端从解码后的LASeR内容中检查LASeR命令并执行所述LASeR命令。在步骤130中，终端处理LASeR内容的所有事件，并在步骤140中根据媒体对象的时间信息激活媒体对象。最后，在步骤150中，终端呈现并显示场景组件，包括诸如视频和音频的媒体。接收LASeR内容的终端的操作遵循ISO/IEC14496-20MPEG-4LASeR标准文档的执行模型，所述文档的全部公开通过引用被包含于此。可以使用LASeR语言用表1的语法来表现上述LASeR内容。根据表1，每次执行LASeR命令(<NewScene>(新场景))时，终端配置(描述)并显示在相应LASeR命令中包括的场景(<svg>...</svg>)。
表1
<NewScene><svg width＝″480″height＝″360″viewBox＝″0 0 480 360″>...</svg></NewScene>
对于近来的图像/视频技术，正在对实现提供更为逼真的图像/视频表现的三维(3D)图像/视频的方案进行密切研究。一种用于实现3D图像/视频的方法是使用几个照相机从各个角度的视频/图像的几个剪辑(cut)中提取3D对象。但是，这是一种复杂的方法，其相应地要求复杂的计算。因此，正在对用于将左视点图像/视频和右视点图像/视频投影到它们在现有显示设备上的对应位置以利用人眼的视觉感知特性的方法进行很多尝试。即，左和右视点图像/视频被投影到其对应位置，然后，左视点和右视点分别在用户的左眼和右眼上成像，从而提供立体效果。使用眼间视觉差方法做出的3D图像/视频被称为“立体3D图像/视频”。
随着对3D图像/视频兴趣的增加，具有能够再现立体内容并向用户提供更逼真的图像/视频的光屏障(Barrier)液晶显示器(LCD)的便携式终端正被推进。具体来说，由于用于再现立体内容的方法可以在通过使用各种元素而需要更少的数据容量的同时表现丰富的场景，所以很多服务提供商打算选择并提供LASeR作为场景表现工具。
立体视频流应该一起包含左和右图像/视频数据，并因此与诸如在图2A中所示的视频流的正常视频流不同。参考图2A，可以注意到，正常视频流由其中多个图像/视频帧串联的一个流组成。
图2B到图2E是示出传统立体视频流的图。图2B的立体视频流由其中在一帧中一起包含左和右图像/视频的一个视频流组成。图2C的立体视频流由其中左和右图像/视频被以交织方式逐行地包含在一帧中的一个视频流组成。图2D的立体视频流由其中左和右图像/视频帧交替地出现的一个视频流组成，并且图2E的立体视频流由独立的左和右图像/视频流组成。
如图2B到图2E中所示，在立体3D图像/视频视频流中，与在传统视频流中不同，即使左和右图像/视频被配置在两个视频流或者一个视频流中，也在其相关联的帧中单独配置左和右图像/视频，或者以混和方式在一帧中对其进行配置。
关于立体3D图像/视频，根据显示器的LCD光屏障类型，左和右图像/视频二者被混和并被显示为单个3D图像/视频。但是，由于现有的基于LASeR的终端在期望显示立体3D图像/视频的情况下对于一个媒体元素只识别和显示一个视频流，所以如果如图2E的参考数字210所示，传递了两个或更多个视频流，则不能标识应该被显示的视频流。否则，因为终端只显示两个或更多个视频流中的一个可识别的视频流，所以它不能显示3D图像/视频。此外，即使如图2B到图2D中所示在一个视频流上传递左和右图像/视频，它们也不被显示为如图2D的参考数字200所示的通过混和左和右图像/视频二者做出的3D图像/视频。相反，显示其中左和右图像/视频交替地出现的正常图像/视频。这种显示很可能使用户感觉疲劳。此外，在图2B的情况下，由于用户应该在一个屏幕上分离地观看到几乎相同的左和右图像/视频，所以从用户的观点，视频的尺寸被不必要地减小了，并且用户也容易感到疲劳。即使在图2C的情况下，也观看到失真的图像/视频，导致与其他例子相同的问题。因此，当打算提供立体3D图像/视频时，存在对于在基于LASeR的终端上提供立体3D图像/视频的方法和装置的需求。
此外，存在对于能够解析立体关于3D图像/视频的信息并将优化的图像/视频传递到LASeR引擎而不管其是否支持终端上安装的LASeR引擎的立体3D图像/视频的功能的需求。
发明内容
本发明的一个方面是解决至少上面提到的问题和/或缺点，并提供至少下面描述的益处。因此，本发明的一个方面是提供一种用于在LASeR服务中在基于LASeR的终端上提供立体3D图像/视频内容的装置和方法。
本发明的另一个方面是提供一种立体3D图像/视频内容提供装置和方法，其中，不能处理立体3D图像/视频内容的接收终端能够控制相应内容并提供优化的内容。
根据本发明的一个方面，提供了一种用于基于轻便应用场景表现(LASeR)提供立体三维(3D)图像/视频内容的方法。所述方法包括：根据立体3D图像/视频属性产生其中包括立体3D图像/视频信息的LASeR内容；编码所产生的LASeR内容；和将编码后的LASeR内容发送到终端。
根据本发明的另一个方面，提供了一种用于在基于轻便应用场景表现(LASeR)的终端中提供立体三维(3D)图像/视频内容的方法。所述方法包括：接收其中包括立体3D图像/视频信息的LASeR内容；根据立体3D图像/视频属性解码所接收的LASeR内容；从解码后的LASeR内容中检查LASeR命令；执行LASeR命令；解析包含立体3D图像/视频信息的场景信息，所述立体3D图像/视频信息被包括在解码后的LASeR内容中；根据立体3D图像/视频信息，确定要被包括在场景描述中的激活媒体对象包含立体3D图像/视频；以及当要被包括在场景描述中的媒体对象包含立体3D图像/视频时，根据终端是否支持立体3D图像/视频显示立体3D图像/视频。
根据本发明的再一个方面，提供了一种用于在通信网络的发送器中基于轻便应用场景表现(LASeR)提供立体三维(3D)图像/视频内容的装置。所述装置包括：LASeR内容产生器，用于根据立体3D图像/视频属性产生其中包括立体3D图像/视频信息的LASeR内容；LASeR内容编码器，用于对所产生的LASeR内容进行LASeR编码；和LASeR内容发送器，用于将编码后的LASeR内容发送到终端。
根据本发明的又一个方面，提供了一种用于在基于轻便应用场景表现(LASeR)的终端中提供立体三维(3D)图像/视频内容的装置。所述装置包括：音频/视频(AV)处理器，用于处理立体3D图像/视频数据；LASeR解码器，用于解码LASeR数据；LASeR场景树管理器，用于根据立体3D图像/视频属性从解码后的LASeR数据中检查立体3D图像/视频信息，并控制用于根据立体3D图像/视频信息描述LASeR场景的场景描述；LASeR呈现器，用于根据从LASeR场景树管理器提供的LASeR场景描述信息产生LASeR数据；以及显示器，用于显示从AV处理器提供的立体3D图像/视频数据，作为LASeR呈现器根据LASeR场景描述信息呈现的LASeR场景的一部分。
通过下面的详细描述，本领域技术人员将清楚本发明的其他方面、益处和突出特征，所述详细描述结合附图，公开了本发明的示范性实施例。
附图说明
通过结合附图进行的下面描述，本发明的一些示范性实施例的上述以及其他方面、特征和益处将更清楚，在附图中：
图1是根据传统技术，由LASeR引擎处理所接收的LASeR数据流的控制流图；
图2A是示出传统视频流的图；
图2B到图2E是示出传统立体视频流的图；
图3是根据本发明的第一示范性实施例的、用于处理包括关于LASeR引擎所接收的立体3D图像/视频的信息的LASeR数据流的控制流图；
图4是示出根据本发明的第二示范性实施例的、接收到LASeR内容的终端的操作的流程图；
图5是示出根据本发明的示范性实施例的、由发送器发送LASeR内容的过程的流程图；
图6是示出根据本发明的示范性实施例的发送器的结构的框图；
图7是示出根据本发明的示范性实施例的接收器的结构的框图；
图8是示出根据本发明的示范性实施例的对于“帧顺序类型”的优化处理方法的例子的图；以及
图9是示出根据本发明的示范性实施例的对于“并排(side-by-side)类型”的优化处理方法的例子的图。
贯穿附图，应该注意使用类似的参考数字来描绘相同或者类似的元素、特征和结构。
具体实施方式
提供下列结合附图的描述以帮助全面理解由权利要求及其等同物限定的本发明的示范性实施例。其包括各种具体细节来帮助理解，但是这些只被视为示范性的。因此，本领域普通技术人员将认识到在不偏离本发明的精神和范围的情况下，可以对这里描述的实施例做出各种变化和修改。而且，为了清晰和简洁，省略了对公知功能和构造的描述。基于在本发明中的功能而定义这里使用的术语，并且其可能根据用户或者操作者的意图或惯常实践变化。因此，应该基于贯穿本说明书的内容做出术语的定义。
要理解，单数形式的“一(a)”、“一个(an)”和“该(the)”包括复数指示对象，除非上下文清楚地指示并非如此。因此，例如对“一部件表面”的引用包括对一个或更多个这样的表面的引用。
本发明的示范性实施例提供了一种用于在基于LASeR的终端上提供立体3D图像/视频内容的装置和方法，其中，包括立体3D图像/视频的场景描述信息被发送，以使终端能够接收该场景描述信息并显示优化的立体3D图像/视频。
此外，本发明的示范性实施例提供了一种用于在基于LASeR的终端上提供立体3D图像/视频内容的装置和方法，其中，所述装置和方法控制立体3D图像/视频内容而不管其是否支持接收立体3D图像/视频的终端的立体3D图像/视频。
这里将参考基于LASeR引擎的终端进行本发明的示范性实施例的描述，所述LASeR引擎是丰富媒体引擎(Rich Media Engine，RME)类型，并且所述描述甚至也可以应用于其他的基于RME的终端。但是，当被应用于终端的RME或者系统中有变化时，需要对引擎中唯一用于除了LASeR引擎以外的RME或系统的名称进行变化。因为对于本领域技术人员来说这被认为是显而易见的，所以这里将不再对其进一步解释。
尽管本发明的示范性实施例处理立体3D图像/视频，但是，本发明的示范性实施例可以被扩展，并且甚至可以被应用于通过使用几个照相机从各种角度的图像/视频的几个剪辑中提取3D对象的各种方法做出的3D图像/视频，对于所述立体3D图像/视频，眼间视觉差方法使用左和右图像/视频二者。
图3是示出根据本发明的第一示范性实施例的、处理包括关于由LASeR引擎接收的立体3D图像/视频的信息的LASeR数据流的方法的控制流图。在这个过程中，处理命令和LASeR场景描述的接收终端的LASeR引擎控制和处理LASeR数据流，所述LASeR数据流包括由终端接收的立体3D图像/视频信息。术语“LASeR数据流”指LASeR内容中所包括的以纯LASeR语言构建的内容的场景描述数据。参考图3，现在将描述根据本发明的第一示范性实施例的、用于定义包括关于立体3D图像/视频的信息的新的元素和属性的装置和方法。在下面的描述中，术语“元素”指构成场景的实体的基本单元，并且术语“属性”指构成场景的元素的性质。
参考图3，终端在步骤300中接收LASeR内容，并且在步骤310中解码所接收的LASeR内容。在步骤320中，终端从解码后的LASeR内容中检查LASeR命令，并执行所述LASeR命令。在示范性实施方案中，终端解析LASeR命令中所包括的LASeR场景组件。LASeR命令表现场景中的变化，并被使用声明性方法来表现。LASeR命令可以包括诸如用于呈现新场景的“NewScene(新场景)”、用于插入元素和属性的“Insert(插入)”、用于删除元素和属性的“Delete(删除)”等等的声明。LASeR场景组件其中包括用于表现以声明性方法构成场景的媒体和图形实体的元素、用于表现元素的属性、事件、脚本等等的属性。
由于终端接收的LASeR内容包括立体3D图像/视频信息，所以终端在步骤330中解析包括立体3D图像/视频信息的场景信息。术语“场景信息”指时间信息、关于构成场景的元素的空间配置的信息、元素的性质、以及交互的过程。终端在步骤340中处理LASeR内容的所有事件，并在步骤350中根据媒体对象的时间信息确定显示媒体对象。对于步骤350，终端根据立体3D图像/视频信息来确定要被包括在场景描述中的媒体对象是立体3D图像/视频。由于LASeR内容包括立体3D图像/视频作为场景组件，所以终端确定其将根据立体3D图像/视频的时间信息显示3D图像/视频。在步骤360中，终端呈现并显示包括立体3D图像/视频的LASeR内容的场景组件。这里，根据在步骤330中解析的信息，提供立体3D图像/视频服务。表2示出在LASeR内容的LASeR头信息中定义其中指示是否提供立体3D图像/视频的属性的架构(schema)的例子。用作参考，术语“架构”指一种其中定义了数据结构的一类建模文档。可以在图3的步骤320中终端检查LASeR命令之前检查LASeR头信息。如表2中所示，可以通过扩展LASeR头的属性组来定义LASeR头的新属性。表2是架构的一个例子，其中，指示是否提供立体3D图像/视频的新属性被定义为“stereoscopic(立体)”，并且属性的类型被定义为布尔型(Boolean)。新属性“stereoscopic”用来指示被用作LASeR内容的场景组件的媒体对象是否是立体3D图像/视频。而且，当新属性的属性值为“true(真)”时，其也可以被用作确定接收终端是否能够处理立体3D图像/视频数据的指令。在本发明的示范性实施例中，当“stereoscopic”的属性值为“true”时，其指示被用作LASeR内容的场景组件的媒体对象是立体3D图像/视频。或者，如果“stereoscopic”的属性值为“false(假)”，其指示被用作LASeR内容的场景组件的媒体对象不是立体3D图像/视频。在“stereoscopic”的属性值被用作检查指示接收终端是否能够处理立体3D图像/视频数据的终端信息的指令的情况下，如果“stereoscopic”的属性值为“true”，则LASeR引擎检查指示接收终端是否能够处理立体3D图像/视频数据或者接收终端是否处于其能够处理立体3D图像/视频数据的状态的终端信息。
表2
<xs:complexType name＝″LASeRHeaderTypeExt″><xs:complexContent><xs:extension base＝″lsr:LASeRHeaderType″><attribute name＝″stereoscopic″type＝″boolean″use＝″optional″/></xs:extension></xs:complexContent></xs:complexType><element name＝″LASeRHeader″type＝″lsr:LASeRHeaderTypeExt″/>
在这里所提供的例子中，架构被用来定义属性和元素。这里所使用的架构遵循“XML架构”语法，并且可以使用架构的元素来定义架构：复杂类型“complexType”用于规定可声明元素内容、复杂内容“complexContent”用于使用现有类型做出新类型，并且“extension(扩展)”用于将其添加到现有数据类型并声明它。尽管存在用于定义属性和元素的结构的各种可能的方法，但是本发明的示范性实施例预见一种具有相同含义的方法，尽管其不是使用架构的方法。在表2中，前缀“lsr:”指可以引用被声明为“lsr”的命名空间前缀的细节。换句话说，它指LASeR引擎能够解析的细节。
表3A和表3B示出了其中定义元素“stereoscopicVideo(立体视频)”和“stereoscopicImage(立体图像)”的架构的例子。元素“stereoscopicVideo”和“stereoscopicImage”表现立体3D图像/视频，并且包括其信息。对于元素“stereoscopicVideo”和“stereoscopicImage”的类型，可以通过扩展元素“video(视频)”和“image(图像)”的属性类型“videoType(视频类型)”和“imageType(图像类型)”来定义“stereoscopicVideoType(立体视频类型)”和“stereoscopicImageType(立体图像类型)”，元素“video”和“image”是用于传统LASeR的场景描述的元素。
表3A
  <complexType name＝″stereoscopicVideoType″><complexContent><extension base＝″lsr:videoType″>...</extension></complexContent></complexType><element name＝″stereoscopicVideo″type＝″lsr:stereoscopicVideoType″/>
表3B
  <complexType name＝″stereoscopicImageType″><complexContent><extension base＝″lsr:imageType″>...</extension></complexContent></complexType><element name＝″stereoscopicImage″type＝″lsr:stereoscopicImageType″/>
表4A到表4C示出其中定义了指示关于立体3D图像/视频的信息的新属性的架构的例子。
表4A示出定义指示如何配置立体3D图像/视频的属性“compositionType(组成类型)”的例子。由“stereoscopicCompositionType(立体组成类型)”定义的“compositionType”的属性值可以包括“并排类型(side-by-side type)”、“垂直列交织类型(vertical line interleaved type)”、“帧顺序类型(framesequential type)”和“左/右视图序列类型(Left/Right view sequence type)”。“并排类型”是由其中左和右图像/视频被包含在一帧中的一个视频流组成的立体3D图像/视频的组成类型，类似于图2B中所示的类型。“垂直列交织类型”是由其中左和右图像/视频以逐列交织方式被包含在一帧中的一个视频流组成的立体3D图像/视频的组成类型，类似于图2C中所示的类型。“帧顺序类型”是由其中左和右图像/视频帧交替地出现的一个视频流组成的立体3D图像/视频的组成类型，类似于图2D中所示的类型。“左/右视图序列类型”是由独立的左和右图像/视频流组成的立体3D图像/视频的组成类型，类似于图2E中所示的类型。除了上面描述的立体3D图像/视频组成类型以外，组成类型还可以包括：用于分别在一帧的顶部和底部中配置左和右图像/视频的“顶部和底部类型”、用于以逐像素为基础配置左和右图像/视频的“逐像素类型”、以及各种其他的类型。如果其含义等同，则可以使用其他的名称或者值来表达属性值。
表4A
  <attribute name＝″compositionType″type＝″stereoscopicCompositionType″use＝″optional″/><simpleType name＝″stereoscopicCompositionType<restriction base＝″string″><enumeration value＝″side-by-side type″/><enumeration value＝″vertical line interleaved type″/><enumeration value＝″frame sequential type″/><enumeration value＝″Left/Right view sequence type″/><！--enumeration value＝″top and bottom type″/--><！--enumeration value＝″pixel-by-pixel type″/--></restriction></simpleType>
表4B示出其中定义了属性“priorView(在先视图)”的架构的例子，所述属性“priorView”指示构成立体3D图像/视频的两个图像/视频中的哪一个、即左图像/视频和右图像/视频中的哪一个是应该被首先表现的基本图像/视频。在表4B中，“priorView”的属性值可以使用如“priorViewType(在先视图类型)”所定义的“LEFT_view(左视图)”和“RIGHT_view(右视图)”。使用值“LEFT_view”意味着立体3D图像/视频的左图像/视频应该被首先表现，并且使用值“RIGHT_view”意味着立体3D图像/视频的右图像/视频应该被首先表现。属性值也可以被定义为“primaryView(主要视图)”和“secondaryView(次要视图)”，指示构成立体3D图像/视频的一个图像/视频的优先级在图像/视频表现中是更高还是更低。对于通过从不同角度的图像/视频的几个剪辑(cut)中提取3D对象而做出的3D图像/视频，有必要从这几个图像/视频的剪辑中选择应该被首先表现的基本图像/视频，而不是选择左或者右图像/视频。以这种方式，可以用整数的属性值表现第一剪辑。如果新属性“priorView”的值是“LEFT_view”，则其意味着在构成立体3D图像/视频的左和右图像/视频里面，左图像/视频在图像/视频表现中具有优先级。在此情况下，当不能支持3D图像/视频并且必须仅仅选择和显示左和右图像/视频中的一个的终端接收传输时，应该显示左图像/视频。在表4B的例子中，已经以枚举方式描述了“priorViewType”的属性值。但是，也可以根据对于“string(串)”、“boolean(布尔)”、“anyURI”、“hexbinary(十六进制编码的二进制)”、“base64Binary”、“mormalizedString(规格化串)”、“NMTOKENS”、“ID”、“IDREF”、“Integer(整数)”和“PositiveInteger(正整数)”的属性值的表达方法，将其指定为各种数据类型。
表4B
  <attribute name＝″priorView″type＝″priorViewType″use＝″optional″/><simpleType name＝″priorViewType″><restriction base＝″string″><enumeration value＝″left_view″/><enumeration value＝″right_view″/></restriction></simpleType>
表4C示出其中定义了“stereoscopicMode(立体模式)”属性的架构的例子，所述“stereoscopicMode”属性指示其将利用3D图像/视频模式还是正常图像/视频模式支持立体3D图像/视频。“stereoscopicMode”的属性值可以被定义为布尔类型，或者可以被定义成将其表现为“ON(开启)”和“OFF(关闭)”。属性“stereoscopicMode”用于根据用户终端是否能够处理立体3D图像/视频或者根据用户的偏好提供3D图像/视频服务。使用该属性，可以根据终端类型或者用户信息改变3D图像/视频的服务提供模式。对于不想要立体3D图像/视频服务的用户，属性“stereoscopicMode”可以被设置为“stereoscopicMode＝false”或者“stereoscopicMode＝OFF”。或者，对于想要立体3D图像/视频服务的用户，属性“stereoscopicMode”可以被设置为“stereoscopicMode＝true”或者“stereoscopicMode＝ON”。
通过独立使用属性“stereoscopicMode”而不是将其与指示立体3D图像/视频信息的属性或者元素一起使用，属性“stereoscopicMode”也可以被用作用于LASeR的其他场景组件的属性。例如，当打算根据终端是否支持立体3D图像/视频以及用户是否优选3D图像/视频来提供不同的场景描述服务时，LASeR内容可以包括具有“stereoscopicMode＝true”的一个场景集合和具有“stereoscopicMode＝false”的另一个场景设置集合。在这种情况下，即使传输侧向各个终端和用户提供同一LASeR内容，接收侧也可以根据终端是否支持立体3D图像/视频以及用户是否优选3D图像/视频来接收不同的场景集合。例如，在用户通过两个不同的终端接收同一LASeR内容的情况下，尽管用户已经接收到同一内容，但是用户可以在一个终端上观看具有“stereoscopicMode＝true”的场景，而在另一个终端上观看具有“stereoscopicMode＝false”的场景。在这种情况下，属性“stereoscopicMode”可以被用作诸如“g”、“switch(开关)”和“lsr:selector”的容器元素的属性，容器元素可以包括各种元素。术语“容器元素”指其中可以包括其他元素的元素。
表4C
  <attribute name＝″stereoscopicMode″type＝″boolean″use＝″optional″/><！--OR--><attribute name＝″stereoscopicMode″type＝″stereoscopicModeType″use＝″optional″/><simpleType name＝″stereoscopicModeType″><restriction base＝″string″><enumeration value＝″ON″/><enumeration value＝″OFF″/></restriction></simpleType>
在表4A到表4C中定义的指示关于立体3D图像/视频信息的新属性“compositionType”、“priorView”和“stereoscopicMode”可以被用作在表3A和表3B中描述的“stereoscopicVideoType”和“stereoscopicImageType”。表5示出其中定义了“stereoscopicVideoType”和“stereoscopicImageType”的方案的例子，“stereoscopicVideoType”和“stereoscopicImageType”包括关于由本发明的示范性实施例定义的立体3D图像/视频的属性信息。
表5
        <complexType name＝″stereoscopicVideoType″><complexContent><extension base＝″lsr:videoType″><attribute name＝″compositionType″type＝″stereoscopicCompositionType″use＝″optional″/><attribute name＝″priorView″type＝″priorViewType″use＝″optional″/><attribute name＝″stereoscopicMode″type＝″boolean″use＝″optional″/></extension></complexContent></complexType><complexType name＝″stereoscopicImageType″><complexContent><extension base＝″lsr:imageType″><attribute name＝″compositionType″type＝″stereoscopicCompositionType″use＝″optional″/><attribute name＝″priorView″type＝″priorViewType″use＝″optional″/><attribute name＝″stereoscopicMode″type＝″boolean″use＝″optional″/></extension></complexContent></complexType>
如表5所示定义的“stereoscopicVideoType”和“stereoscopicImageType”还可以包括诸如视频和图像的媒体实体的性质、以及与立体3D图像/视频相关的各种信息。此外，“stereoscopicVideoType”和“stereoscopicImageType”或者其中所包括的立体3D图像/视频相关新属性、即表4A到表4C的新属性不仅可以用作新定义的元素“stereoscopicVideo”和“stereoscopicImage”的属性，而且也可以被添加到现有元素“Video”或“Image”的属性中。此外，新定义的立体3D图像/视频相关属性可以被用作独立地包括立体3D图像/视频的元素的场景组件的属性。
当元素和属性具有相同的含义时，元素和属性的名称或者其属性值可以被进行变化。
表6A到表6C示出根据本发明的示范性实施例的、用于使用新元素和属性提供包括立体3D图像/视频的LASeR内容的LASeR数据的例子。
表6A
              <！--LASeR Header--><LASeRHeader...stereoscopic＝″true″/><NewScene><svg>...<stereoscopicVideo x＝″10″y＝″10″width＝″100″height＝″100″begin＝″5″end＝″50″xlink:href＝″http://www.example.com/myfile.mp4#ffp(track_ID＝1)″compositionType＝″frame sequential type″priorView＝″left″stereoscopicMode＝″true″/></svg></NewScene>
如表6A中所示，通过使用在表2中定义的属性“stereoscopic”来指示LASeR内容包括立体3D图像/视频。更具体地说，在表6A中，属性“stereoscopic”被设置为“true”，从而指示包括立体3D图像/视频。再次参考表6A，在表3A中定义的元素“stereoscopicVideo”被描述为用于执行呈现新场景的操作的场景描述命令“NewScene(新场景)”的元素。元素“stereoscopicVideo”描述了使具有文件名称＝“myfile.mp4”的立体3D图像/视频的具有“track_ID＝1”的图像/视频流作为被显示的场景，并且在部分(10，10)开始以宽度“100”和高度“100”显示该场景，并且再现从LASeR内容场景的开始时间起流逝大约“5”的时间以后到时间“50”为止。时间“5”和“50”的单位可以是用于场景表现得秒或者毫秒，并且根据场景表现架构对空间和长度的单位进行改变。此外，因为具有“track_ID＝1”的图像/视频流的组成类型是“帧顺序类型”，并且在场景表现中具有优先级的图像/视频是“priorView＝LEFT”，所以图像/视频流是左图像/视频，并且由于“stereoscopicMode＝true”，所以它描述了以3D图像/视频模式提供图像/视频服务。
表6B
         <NewScene><svg>...<video x＝″10″y＝″10″width＝″100″height＝″100″begin＝″5″end＝″50″xlink:href＝″http://www.example.com/myfile.mp4#ffp(track_ID＝1)″
compositionType＝″frame sequential type″priorView＝″left″stereoscopicMode＝″true″/></svg></NewScene>
表6B示出通过将由本发明的示范性实施例定义的新属性添加到现有元素而无需定义用于立体3D图像/视频的新元素来表现与表6A的LASeR数据相同的LASeR数据的例子。可以不使用在表6B的例子中所示的LASeR头中定义的属性。
即使当在由本发明的示范性实施例定义的新属性中只有“stereoscopicMode＝true”被添加到现有元素“video”时，由于可以检查相应元素“video”是立体3D图像/视频，所以终端能够检查并控制LCD光屏障的状态以提供立体3D图像/视频，或者，终端能够防止仅仅识别构成立体3D图像/视频的两个图像/视频流中的一个的错误。
表6C
  ...<stereoscopicVideo...src01＝″http://www.example.com/myfile.mp4#ffp(track_ID＝1)″src02＝″http://www.example.com/myfile.mp4#ffp(track_ID＝2)″compositionType＝″Lefi/Right view sequence type″priorView＝″PrimaryView″stereoscopicMode＝″true″/>...
表6C示出定义执行与“xlink:href”相同的操作的新属性“src01”和“src02”，并描述了具有“compositionType＝Left/Right view sequence type”的两个图像/视频流的例子，通过在两个图像/视频流中分别包括左图像/视频和右图像/视频而做成所述两个图像/视频流。在这种情况下，终端可以通过确定其应该同时提供这两个图像/视频流服务而提供3D图像/视频服务。
在表6A和表6B的情况下，其中，具有“compositionType＝Left/Right Viewsequence type”的两个图像/视频流中的任何一个都没有被描述，为了处理多个视频流，当与一个图像/视频流相关的、描述立体3D图像/视频的、通过属性“xlink:href”对其做出引用的图像/视频流是右图像/视频时，终端可以通过找到与左图像/视频成对的另一个图像/视频流、即右图像/视频来提供立体内容。
图4是示出根据本发明的第二示范性实施例的、接收到LASeR内容的终端的操作的流程图。与图3中示出的第一示范性实施例相比，第二示范性实施例提供当事件发生时处理事件的更为详细的步骤。
在根据本发明的第二示范性实施例的LASeR数据流中，网络会话的管理、解码过程和终端内的操作中的变化、或者用于数据或接口的输入/输出的细节可以被定义为事件。在检测到所定义的事件后，LASeR引擎可以针对相应事件或者终端的操作中的变化而在场景中做出改变。参考图4，现在将描述第二示范性实施例，在第二示范性实施例中，新事件是确定终端类型的变化。
参考图4，终端在步骤400中接收LASeR内容。终端在步骤410中解码所接收的LASeR内容，并在步骤420中检查和执行在解码后的LASeR内容中的LASeR命令。此刻，终端解析LASeR命令中所包括的LASeR场景组件。即，当所接收的LASeR内容包括立体3D图像/视频信息时，终端将其解析。在步骤430中，终端处理LASeR内容的所有事件，并处理由于终端类型的变化而导致的新事件。在步骤440中，终端确定其是否将根据媒体对象的时间信息显示所述媒体对象。在步骤440中，当LASeR内容包括立体3D图像/视频作为场景组件时，终端确定其将根据立体3D图像/视频的时间信息显示3D图像/视频。在步骤450中，终端呈现并显示LASeR内容的场景组件。对于包括立体3D图像/视频的LASeR内容，根据在步骤420中解析的立体3D图像/视频信息向用户提供所述LASeR内容。对于所述新事件，终端可以在步骤430中直接检测并处理它。或者，在场景被显示后接收用户的输入，或者如步骤460中那样，新事件可以根据终端的状态变化而发生。作为处理所发生的新事件的例子，如果终端、或LASeR引擎在步骤460中检测到新事件的发生，则终端前进到步骤430，在步骤430中，其可以通过监听器元素“ev:listener”来执行相关联的元素“script(脚本)”。
表7A和表7B示出针对在本发明的第二示范性实施例中定义的立体3D图像/视频中的变化而定义新事件的例子。
表7A
  名称   命名空间   描述
  stereoscopic_ON   Urn:mpeg:mpeg4:laser:2008   其在终端能够提供3D图像/视频时发生。
  名称   命名空间   描述
  stereoscopic_OFF   Urn:mpeg:mpeg4:laser:2008   其在终端不能提供3D图像/视频时发生。
在表7A中定义的事件“stereoscopic_ON”是当终端现在能够支持3D图像/视频时发生的事件的例子。当因为终端的LCD光屏障被开启、用于处理3D图像/视频的程序或终端的功能被激活所以终端能够提供3D图像/视频时，或者当因为当前所提供的图像/视频内容变化为3D图像/视频内容所以终端能够提供3D图像/视频时，可以发生相应事件。事件“stereoscopic_OFF”是当终端转变为其中其不能支持3D图像/视频的状态时发生的事件的例子。例如，当因为终端的LCD光屏障被关闭、用于处理3D图像/视频的程序或终端的功能被去激活所以终端不能提供3D图像/视频时，或者当因为当前所提供的图像/视频内容变化为正常图像/视频内容所以终端不能提供3D图像/视频时，可以发生相应事件。
表7B  
  名称   命名空间   描述
 stereoscopicModeChanged   Urn:mpeg:mpeg4:laser:2008   其在终端的3D图像/视频支持模式变化时发生。
在表7B中定义的事件“stereoscopicModeChanged”是当终端的3D图像/视频支持性改变时发生的事件的例子。例如，当终端从其中其能够支持3D图像/视频的状态转变为其中其不能支持3D图像/视频的状态时，或者当终端从其中其不能支持3D图像/视频的状态转变为其中其能够支持3D图像/视频的状态时，发生事件“stereoscopicModeChanged”。即，这是指示终端的3D图像/视频支持模式中的变化的事件。终端的3D图像/视频支持模式可以由通过键盘或者触摸屏(未示出)的来自用户的输入而变化。
表8A示出使用在表7A中定义的事件来描述场景的例子。当发生事件“stereoscopic_ON”时，即当终端的立体3D图像/视频模式被激活时(例如，当用户开启终端的立体3D图像/视频模式时)，事件监听器对其进行识别并命令事件处理器执行相应操作“#stereoscopicModeON(立体模式开启)”。作为LASeR场景组件之一的事件监听器和事件处理器命令LASeR场景树管理器(图7的710)解析LASeR数据并对事件监听器和事件处理器执行操作。依据具有属性“id”＝“video01”的场景组件，操作“#stereoscopicModeON”将相应元素的属性“stereoscopicMode”的值从“stereoscopicMode＝false”变化到“true”。只要终端的用于处理事件的操作或者信号流以及相应事件具有相同的含义，则事件处理器的操作可以被变化为各种操作和方法。
表8A
  <ev:listener handler＝″#sterescopicModeON″event＝″stereoscopic_ON″/><script id＝″stereoscopicModeON″><lsr:Replace ref＝″video01″attributeName＝″stereoscopicMode″value＝″On″/></script><video id＝″video01″...stereoscopicMode＝″false″.../>...
表8B示出使用在表7B中定义的事件来描述场景的例子。当发生事件“stereoscopicModeChanged”时，事件监听器识别该条件并命令事件处理器执行相应操作“#refreshScene(刷新场景)”。操作“#refreshScene”执行用于做出刷新当前场景的命令的命令“refreshScene(刷新场景)”。
表8B
      <ev:listener handler＝″#refreshScene″event＝″stereoscopicModeChanged″/><script id＝″refreshScene″><lsr:refreshScene/></script><NewScene><switch><g stereoscopicMode＝″ON″><StereoscopicVideo          xlink:href＝″a.mpg#ffp(trackID＝1)″compositionType＝″side-by-side type″priorView＝″left″/></g><g stereoscopicMode＝″OFF″><video xlink:href＝″a.mpg#ffp(trackID＝3)″/></g>
  </switch></NewScene>
也可以使用为了将来引用而在外部单独定义由本发明的示范性实施例新定义的元素、属性和事件的方案来表达它们。引用在外部定义的数据的方案可以通过搜索或者检测相应数据的系统化信息或者链接被提供为URI类型的信息来引用数据。即使对于元素或者属性的值，当它们在外部被单独定义或者提供时，也可以引用它们。
图5是示出根据本发明的示范性实施例发送LASeR内容的过程的流程图。在步骤500中，发送器产生包括在本发明的第一和第二示范性实施例中定义的立体3D图像/视频信息和事件的LASeR内容。在步骤505中，发送器编码在步骤500中产生的LASeR内容。在步骤510中，发送器发送在步骤505中编码的LASeR内容。
图6是示出根据本发明的示范性实施例的发送器的结构的框图。
参考图6，LASeR内容产生器600产生包括在本发明的第一和第二示范性实施例中描述的立体3D图像/视频信息和事件中的至少一个的LASeR数据。这里，构成LASeR内容的诸如视频和音频的媒体数据可以被包括在一起，产生一个逻辑流。否则，可以从LASeR数据中分离媒体数据并将其单独传递。LASeR内容产生器600将所产生的LASeR内容传递到LASeR编码器610。LASeR编码器610编码从LASeR内容产生器600提供的LASeR内容，并将编码后的LASeR内容提供给LASeR内容发送器620。LASeR内容发送器620将从LASeR内容编码器610提供的编码后的LASeR内容发送到终端。
图7是示出根据本发明的示范性实施例的接收器的结构的框图。
参考图7，可能包括终端所接收的立体3D图像/视频数据的立体数据760被输入到音频/视频(AV)处理器740，可以包括LASeR数据流的LASeR数据750被输入到LASeR解码器700。当构成LASeR内容的诸如视频和音频的媒体数据被包括在一起并产生一个逻辑流时，可以包括一个过程，其中，在终端将物理流输入到它们相关联的数据处理器之前，终端根据物理流的特性将所接收的立体3D图像/视频数据和数据流分类。LASeR解码器700解码所接收的LASeR数据，并将其传递到LASeR场景树管理器710。LASeR数据包括指示构成LASeR内容的元素的时间信息、空间信息和性质的场景描述信息。术语“LASeR内容”指包括作为场景描述信息的LASeR数据的内容，所述场景描述信息指示时间信息、在终端中实际提供的场景中显示的所有资源元素和构成包括具有视频和音频的所有媒体的LASeR内容的元素的空间信息和性质。LASeR场景树管理器710解析场景组件信息，并检查由使用或者事件的发生导致的操作的细节，所述场景组件信息包括在本发明的示范性实施例中描述的新事件和立体3D图像/视频信息，诸如组成类型信息、关于具有优先级的图像/视频的信息、以及立体模式信息。即，LASeR场景树管理器710执行用于解析从LASeR解码器700输出的LASeR数据并描述场景的场景描述控制。在LASeR场景树管理器710中也执行根据立体3D图像/视频属性检查立体3D图像/视频信息、并根据所述立体3D图像/视频信息将3D图像/视频配置为LASeR场景组件的操作。LASeR场景树管理器710将检查到的场景描述信息传递到LASeR呈现器720。LASeR呈现器720根据从LASeR场景树管理器710提供的LASeR场景描述信息产生并输出LASeR数据。根据本发明的示范性实施例，当“stereoscopic”的属性值为“true”时，LASeR场景树管理器710确定用作LASeR内容的场景组件的媒体对象是立体3D图像/视频，并且当“stereoscopic”的属性值为“false”时，LASeR场景树管理器710确定用作LASeR内容的场景组件的媒体对象不是立体3D图像/视频。当发生其中终端的3D图像/视频支持模式被变化的事件时，LASeR场景树管理器710识别指示终端的3D图像/视频制成模式中的变化的事件“stereoscopicModeChanged”，并执行与其相应的操作。
利用显示器730在终端上显示由LASeR呈现器720呈现的LASeR数据。但是，根据由LASeR场景树管理器710所解析的场景描述信息，诸如立体3D图像/视频数据的位置、时间信息、组成类型信息、关于具有优先级的图像/视频的信息、以及立体模式信息，被传递到AV处理器740的立体3D图像/视频数据在终端的显示器730上被显示为LASeR呈现器720呈现的场景的一部分。显示器730向用户输出从LASeR呈现器720提供的LASeR场景和从AV处理器740提供的立体视频。即，显示器730显示从AV处理器740提供的立体3D图像/视频数据，作为LASeR呈现器根据LASeR场景描述信息呈现的LASeR场景的一部分。
图8是示出根据本发明的示范性实施例的用于“帧顺序类型”的优化处理方法的例子的图。特别的，图9是示出根据本发明的示范性实施例的用于“并排类型”的优化处理方法的例子的图。对于“左/右视图序列类型”，因为其只需选择和再现对应于“priorView”的图像/视频流，所以其可以被简单地处理。但是，当左和右图像/视频信息如在“帧顺序类型”或者“并排类型”中那样被一起配置在一个视频流中时，处理更为困难。
对于按图8的“帧顺序类型”配置的立体3D图像/视频，由于左和右图像/视频帧交替出现810，所以也可以用以下方法处理立体3D图像/视频：首先检查属性“priorView”的值，通过检查每秒的帧数而隐藏不具有“priorView”的图像/视频帧，如参考数字800所示，并在其中应当提供不具有“priorView”的图像/视频帧的时间连续地显示具有“priorView”的图像/视频帧。例如，对于具有“priorView＝LEFT”的图像/视频，优化处理方法隐藏全部右图像/视频800，然后在应当显示第一帧帧1的右图像/视频的时间显示第一帧帧1的左图像/视频802。
图9是示出根据本发明的示范性实施例的用于“并排类型”的优化处理方法的例子的图。
参考图9，视频流920是按“并排类型”配置的帧的序列。在“并排类型”中，左图像/视频和右图像/视频被配置在一个帧中。因此，如图9中所示，优化处理方法首先根据LASeR场景描述930确定第一帧帧1940的帧尺寸，并且确定“priorView”是否被设置成在区域中隐藏帧950(即无“priorView”)。此后，优化处理方法可以将具有“priorView”的区域的尺寸扩展为一个帧尺寸(全帧尺寸)，并且在终端上只显示被扩展的“priorView”区域的数据960。
如图8和图9的例子所示，本发明的示范性实施例提供了一种当终端不能支持立体3D图像/视频或者立体模式为“OFF”时为用户显示优化的图像/视频的方法。当然，对于这里所描述的那些方法，存在各种可能的替换方法。
如上所述，本发明的示范性实施例提供了一种装置和方法，其用于在基于LASeR的终端上提供立体3D图像/视频内容，用于定义和发送包含关于立体3D图像/视频内容的信息的属性信息，以使基于LASeR服务的接收终端能够控制立体3D图像/视频内容并显示最佳的图像/视频。
此外，本发明的示范性实施例提供了一种用于在基于LASeR的终端上提供立体3D图像/视频内容的装置和方法，其中，不支持立体3D图像/视频内容的接收终端能够提取和控制其中包括关于立体3D图像/视频的信息的数据，使得可以根据相应内容显示最佳的图像/视频。
从前面的描述很清楚的是，本发明的示范性实施例定义和发送包括关于立体3D图像/视频内容的信息的元素和属性信息，以使基于LASeR服务的接收终端能够控制立体3D图像/视频内容并显示最佳的图像/视频。
此外，根据本发明的示范性实施例，不支持立体3D图像/视频内容的接收终端使用关于立体3D图像/视频的信息来处理相应内容，使得可以显示最佳的图像/视频。
虽然已经参考本发明的示范性实施例示出和描述了本发明，但是本领域技术人员将理解，在不偏离由所附权利要求及其等同物限定的本发明的精神和范围的情况下，可以在其中做出各种形式上和细节上的变化。

Claims (26)

1.一种用于基于轻便应用场景表现(LASeR)提供立体三维(3D)图像/视频内容的方法，所述方法包含：
根据立体3D图像/视频属性产生其中包括立体3D图像/视频信息的LASeR内容；
编码所产生的LASeR内容；和
将编码后的LASeR内容发送到终端。
2.如权利要求1所述的方法，其中，所述立体3D图像/视频属性包含以下属性其中至少一个：属性“stereoscopic”，用于指示用作所述LASeR内容的场景组件的媒体对象是否是立体3D图像/视频；属性“compositionType”，用于指示立体3D图像/视频组成类型，所述立体3D图像/视频组成类型指示所述立体3D图像/视频是如何组成的；属性“priorView”，用于指示在构成所述立体3D图像/视频的左和右图像/视频中应该被首先表现的基本图像/视频；属性“stereoscopicMode”，用于指示将如何提供所述立体3D图像/视频；以及属性“stereoscopicModeChanged”，用于指示3D图像/视频模式中的变化。
3.如权利要求2所述的方法，其中，当所述属性“stereoscopic”的值为“true”时，其指示用作所述LASeR内容的场景组件的媒体对象是立体3D图像/视频，并且当所述属性“stereoscopic”的值为“false”时，其指示用作所述LASeR内容的场景组件的媒体对象不是立体3D图像/视频。
4.如权利要求2所述的方法，其中，所述属性“compositionType”包含以下其中至少一个：“并排类型”，指示由其中左和右图像/视频被一起包含在一帧中的一个视频流组成的立体3D图像/视频；“垂直列交织类型”，指示由其中左和右图像/视频被以交织方式逐列地包含在一帧中的一个视频流组成的立体3D图像/视频；“帧顺序类型”，指示由其中左和右图像/视频帧交替地出现的一个视频流组成的立体3D图像/视频；以及“左/右视图序列类型”，指示由独立的左和右图像/视频流组成的立体3D图像/视频。
5.如权利要求2所述的方法，其中，对于在构成所述立体3D图像/视频的左和右图像/视频中应该首先表现左图像/视频的基本图像/视频，所述属性“priorView”的值被设置为“LEFT_view”，并且对于在所述左和右图像/视频中应该首先表现右图像/视频的基本图像/视频，所述属性“priorView”的值被设置为“Right_view”。
6.如权利要求2所述的方法，其中，当以3D图像/视频模式提供所述立体3D图像/视频时，所述属性“stereoscopicMode”的值被设置为“ON”和“true”中的一个，并且当以正常图像/视频模式提供所述立体3D图像/视频时，所述属性“stereoscopicMode”的值被设置为“OFF”和“false”中的一个。
7.一种用于在基于轻便应用场景表现(LASeR)的终端中提供立体三维(3D)图像/视频内容的方法，所述方法包含：
接收其中包括立体3D图像/视频信息的LASeR内容；
根据立体3D图像/视频属性解码所接收的LASeR内容；
从解码后的LASeR内容中检查LASeR命令；
执行LASeR命令；
解析包含立体3D图像/视频信息的场景信息，所述立体3D图像/视频信息被包括在解码后的LASeR内容中；
根据所述立体3D图像/视频信息，确定要被包括在场景描述中的媒体对象是否包含立体3D图像/视频；和
当要被包括在场景描述中的媒体对象包含立体3D图像/视频时，根据终端是否支持立体3D图像/视频显示所述立体3D图像/视频。
8.如权利要求7所述的方法，其中，所述立体3D图像/视频属性包含以下属性其中至少一个：属性“stereoscopic”，用于指示用作所述LASeR内容的场景组件的媒体对象是否是立体3D图像/视频；属性“compositionType”，用于指示立体3D图像/视频组成类型，所述立体3D图像/视频组成类型指示所述立体3D图像/视频是如何组成的；属性“priorView”，用于指示在构成所述立体3D图像/视频的左和右图像/视频中应该被首先表现的基本图像/视频；属性“stereoscopicMode”，用于指示将如何提供所述立体3D图像/视频；以及属性“stereoscopicModeChanged”，用于指示3D图像/视频模式中的变化。
9.如权利要求8所述的方法，其中，所述确定包含：
当所述立体3D图像/视频属性包含“stereoscopic”并且“stereoscopic”的值为“true”时，确定用作所述LASeR内容的场景组件的媒体对象是立体3D图像/视频；和
当所述立体3D图像/视频属性包含“stereoscopic”并且“stereoscopic”的值为“false”时，确定用作所述LASeR内容的场景组件的媒体对象不是立体3D图像/视频。
10.如权利要求8所述的方法，其中，所述属性“compositionType”包含以下其中至少一个：“并排类型”，指示由其中左和右图像/视频被一起包含在一帧中的一个视频流组成的立体3D图像/视频；“垂直列交织类型”，指示由其中左和右图像/视频被以交织方式逐列地包含在一帧中的一个视频流组成的立体3D图像/视频；“帧顺序类型”，指示由其中左和右图像/视频帧交替地出现的一个视频流组成的立体3D图像/视频；以及“左/右视图序列类型”，指示由独立的左和右图像/视频流组成的立体3D图像/视频。
11.如权利要求8所述的方法，其中，对于在构成所述立体3D图像/视频的左和右图像/视频中应该首先表现左图像/视频的基本图像/视频，所述属性“priorView”的值被设置为“LEFT_view”，并且对于在所述左和右图像/视频中应该首先表现右图像/视频的基本图像/视频，所述属性“priorView”的值被设置为“Right_view”。
12.如权利要求8所述的方法，其中，当以3D图像/视频模式提供所述立体3D图像/视频时，所述属性“stereoscopicMode”的值被设置为“ON”和“true”中的一个，并且当以正常图像/视频模式提供所述立体3D图像/视频时，所述属性“stereoscopicMode”的值被设置为“OFF”和“false”中的一个。
13.如权利要求8所述的方法，还包含：
当发生其中终端的3D图像/视频支持模式变化的事件时，产生指示所述终端的3D图像/视频支持模式中的变化的事件“stereoscopicModeChanged”。
14.一种用于在通信网络的发送器中基于轻便应用场景表现(LASeR)提供立体三维(3D)图像/视频内容的装置，所述装置包含：
LASeR内容产生器，用于根据立体3D图像/视频属性产生其中包括立体3D图像/视频信息的LASeR内容；
LASeR编码器，用于对所产生的LASeR内容进行LASeR编码；和
LASeR内容发送器，用于将编码后的LASeR内容发送到终端。
15.如权利要求14所述的装置，其中，所述立体3D图像/视频属性包含以下属性其中至少一个：属性“stereoscopic”，用于指示用作所述LASeR内容的场景组件的媒体对象是否是立体3D图像/视频；属性“compositionType”，用于指示立体3D图像/视频组成类型，所述立体3D图像/视频组成类型指示所述立体3D图像/视频是如何组成的；属性“priorView”，用于指示在构成所述立体3D图像/视频的左和右图像/视频中应该被首先表现的基本图像/视频；属性“stereoscopicMode”，用于指示将如何提供所述立体3D图像/视频；以及属性“stereoscopicModeChanged”，用于指示3D图像/视频模式中的变化。
16.如权利要求15所述的装置，其中，当所述属性“stereoscopic”的值为“true”时，其指示用作所述LASeR内容的场景组件的媒体对象是立体3D图像/视频，并且当所述属性“stereoscopic”的值为“false”时，其指示用作所述LASeR内容的场景组件的媒体对象不是立体3D图像/视频。
17.如权利要求15所述的装置，其中，所述属性“compositionType”包含以下其中至少一个：“并排类型”，指示由其中左和右图像/视频被一起包含在一帧中的一个视频流组成的立体3D图像/视频；“垂直列交织类型”，指示由其中左和右图像/视频被以交织方式逐列地包含在一帧中的一个视频流组成的立体3D图像/视频；“帧顺序类型”，指示由其中左和右图像/视频帧交替地出现的一个视频流组成的立体3D图像/视频；以及“左/右视图序列类型”，指示由独立的左和右图像/视频流组成的立体3D图像/视频。
18.如权利要求15所述的装置，其中，对于在构成所述立体3D图像/视频的左和右图像/视频中应该首先表现左图像/视频的基本图像/视频，所述属性“priorView”的值被设置为“LEFT_view”，并且对于在所述左和右图像/视频中应该首先表现右图像/视频的基本图像/视频，所述属性“priorView”的值被设置为“Right_view”。
19.如权利要求15所述的装置，其中，当以3D图像/视频模式提供所述立体3D图像/视频时，所述“stereoscopicMode”的属性值被设置为“ON”和“true”中的一个，并且当以正常图像/视频模式提供所述立体3D图像/视频时，所述“stereoscopicMode”的属性值被设置为“OFF”和“false”中的一个。
20.一种用于在基于轻便应用场景表现(LASeR)的终端中提供立体三维(3D)图像/视频内容的装置，所述装置包含：
音频/视频(AV)处理器，用于处理立体3D图像/视频数据；
LASeR解码器，用于解码LASeR数据；
LASeR场景树管理器，用于根据立体3D图像/视频属性从解码后的LASeR数据中检查立体3D图像/视频信息，并控制用于根据所述立体3D图像/视频信息描述LASeR场景的场景描述；
LASeR呈现器，用于根据从所述LASeR场景树管理器提供的LASeR场景描述信息产生LASeR数据；和
显示器，用于显示从所述AV处理器提供的立体3D图像/视频数据，作为所述LASeR呈现器根据所述LASeR场景描述信息呈现的LASeR场景的一部分。
21.如权利要求20所述的装置，其中，所述立体3D图像/视频属性包含以下属性其中至少一个：属性“stereoscopic”，用于指示用作所述LASeR内容的场景组件的媒体对象是否是立体3D图像/视频；属性“compositionType”，用于指示立体3D图像/视频组成类型，所述立体3D图像/视频组成类型指示所述立体3D图像/视频是如何组成的；属性“priorView”，用于指示在构成所述立体3D图像/视频的左和右图像/视频中应该被首先表现的基本图像/视频；属性“stereoscopicMode”，用于指示将如何提供所述立体3D图像/视频；以及属性“stereoscopicModeChanged”，用于指示3D图像/视频模式中的变化。
22.如权利要求21所述的装置，其中，当所述立体3D图像/视频属性包含“stereoscopic”并且属性“stereoscopic”的值为“true”时，所述LASeR场景树管理器确定用作所述LASeR内容的场景组件的媒体对象是立体3D图像/视频；和当所述立体3D图像/视频属性包含“stereoscopic”并且属性“stereoscopic”的值为“false”时，所述LASeR场景树管理器确定用作所述LASeR内容的场景组件的媒体对象不是立体3D图像/视频。
23.如权利要求21所述的装置，其中，所述属性“compositionType”包含以下其中至少一个：“并排类型”，指示由其中左和右图像/视频被一起包含在一帧中的一个视频流组成的立体3D图像/视频；“垂直列交织类型”，指示由其中左和右图像/视频被以交织方式逐列地包含在一帧中的一个视频流组成的立体3D图像/视频；“帧顺序类型”，指示由其中左和右图像/视频帧交替地出现的一个视频流组成的立体3D图像/视频；以及“左/右视图序列类型”，指示由独立的左和右图像/视频流组成的立体3D图像/视频。
24.如权利要求21所述的装置，其中，对于在构成所述立体3D图像/视频的左和右图像/视频中应该首先表现左图像/视频的基本图像/视频，所述属性“priorView”的值被设置为“LEFT_view”，并且对于在所述左和右图像/视频中应该首先表现右图像/视频的基本图像/视频，所述属性“priorView”的值被设置为“Right_view”。
25.如权利要求21所述的装置，其中，当以3D图像/视频模式提供所述立体3D图像/视频时，所述属性“stereoscopicMode”的值被设置为“ON”和“true”中的一个，并且当以正常图像/视频模式提供所述立体3D图像/视频时，所述属性“stereoscopicMode”的值被设置为“OFF”和“false”中的一个。
26.如权利要求21所述的装置，其中，当发生其中终端的3D图像/视频支持模式变化的事件时，所述LASeR场景树管理器产生指示所述终端的3D图像/视频支持模式中的变化的事件“stereoscopicModeChanged”。
CN2008801113974A 2007-10-13 2008-10-13 基于轻便应用场景表现在终端上提供立体三维图像/视频内容的装置和方法 Expired - Fee Related CN101822049B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20070103295 2007-10-13
KR10-2007-0103295 2007-10-13
PCT/KR2008/006013 WO2009048309A2 (en) 2007-10-13 2008-10-13 Apparatus and method for providing stereoscopic three-dimensional image/video contents on terminal based on lightweight application scene representation

Publications (2)

Publication Number Publication Date
CN101822049A true CN101822049A (zh) 2010-09-01
CN101822049B CN101822049B (zh) 2013-04-24

Family

ID=40533796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801113974A Expired - Fee Related CN101822049B (zh) 2007-10-13 2008-10-13 基于轻便应用场景表现在终端上提供立体三维图像/视频内容的装置和方法

Country Status (6)

Country Link
US (1) US8330798B2 (zh)
EP (1) EP2201774A4 (zh)
JP (1) JP5121935B2 (zh)
KR (1) KR101521655B1 (zh)
CN (1) CN101822049B (zh)
WO (1) WO2009048309A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597842A (zh) * 2011-05-20 2014-02-19 日立麦克赛尔株式会社 内容接收机和内容信息输出方法
US9485054B2 (en) 2010-06-24 2016-11-01 Sony Corporation Transmission device, reception device and communication system
CN110706355B (zh) * 2018-07-09 2021-05-11 上海交通大学 基于视频内容的指示信息标识方法、系统及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405019B1 (ko) * 2009-01-29 2014-06-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 다중 이미지들，예를 들면 스테레오스코픽을 서브―샘플링 및 인터리빙하기 위한 방법들 및 디바이스들
CN102474633A (zh) * 2009-06-30 2012-05-23 Lg电子株式会社 对3d图像的数据进行处理的方法和音频/视频系统
JP5428697B2 (ja) * 2009-09-16 2014-02-26 ソニー株式会社 受信装置、受信方法、送信装置およびコンピュータプログラム
JP5482254B2 (ja) 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
KR101356818B1 (ko) * 2009-12-17 2014-01-28 한국전자통신연구원 스테레오스코픽 콘텐츠 재생 장치 및 방법
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
JP5652642B2 (ja) * 2010-08-02 2015-01-14 ソニー株式会社 データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
CN103002407B (zh) * 2011-09-14 2018-01-16 中兴通讯股份有限公司 一种在彩信中传输3d图片的方法及系统
CN102510558B (zh) * 2011-10-13 2018-03-27 中兴通讯股份有限公司 一种信息显示方法及系统、发送模块与接收模块
US9681116B2 (en) * 2013-03-15 2017-06-13 Arris Enterprises, Inc. System and method for delivering 3DTV content to variety of receivers
WO2014185942A1 (en) * 2013-05-15 2014-11-20 La Barrie Simeon System and method for signal and data routing
US11991226B2 (en) 2021-07-29 2024-05-21 Open4Sale International Pte Ltd System and method of data routing for videotelephonic shopping

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998025413A1 (en) * 1996-12-04 1998-06-11 Matsushita Electric Industrial Co., Ltd. Optical disc for high resolution and three-dimensional image recording, optical disc reproducing device, and optical disc recording device
EP1031047A1 (en) * 1997-11-13 2000-08-30 3DV Systems Ltd. Three dimension imaging by dual wavelength triangulation
JP2000078611A (ja) * 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
KR20010104493A (ko) * 2000-05-02 2001-11-26 성필문 데이터통신망을 이용한 입체영상제공방법 및 그 처리장치
CN1682539A (zh) * 2002-07-16 2005-10-12 韩国电子通信研究院 用于适配2d和3d立体视频信号的装置和方法
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
CN101156319B (zh) * 2005-04-11 2012-05-30 三星电子株式会社 产生和恢复3d压缩数据的方法和设备
KR100929073B1 (ko) * 2005-10-14 2009-11-30 삼성전자주식회사 휴대 방송 시스템에서 다중 스트림 수신 장치 및 방법
CN1971340A (zh) * 2005-11-21 2007-05-30 耿征 真三维高清晰度显示方法和装置
US20070165942A1 (en) * 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
KR101276605B1 (ko) * 2007-06-19 2013-06-19 한국전자통신연구원 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485054B2 (en) 2010-06-24 2016-11-01 Sony Corporation Transmission device, reception device and communication system
CN103597842A (zh) * 2011-05-20 2014-02-19 日立麦克赛尔株式会社 内容接收机和内容信息输出方法
CN103597842B (zh) * 2011-05-20 2017-05-24 日立麦克赛尔株式会社 内容接收机和内容信息输出方法
CN110706355B (zh) * 2018-07-09 2021-05-11 上海交通大学 基于视频内容的指示信息标识方法、系统及存储介质

Also Published As

Publication number Publication date
KR101521655B1 (ko) 2015-05-20
US8330798B2 (en) 2012-12-11
EP2201774A2 (en) 2010-06-30
CN101822049B (zh) 2013-04-24
JP5121935B2 (ja) 2013-01-16
WO2009048309A3 (en) 2009-07-16
EP2201774A4 (en) 2012-02-29
JP2011501501A (ja) 2011-01-06
WO2009048309A2 (en) 2009-04-16
US20090096864A1 (en) 2009-04-16
KR20090038364A (ko) 2009-04-20

Similar Documents

Publication Publication Date Title
CN101822049B (zh) 基于轻便应用场景表现在终端上提供立体三维图像/视频内容的装置和方法
US10210907B2 (en) Systems and methods for adding content to video/multimedia based on metadata
US6801575B1 (en) Audio/video system with auxiliary data
US20200389640A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
WO2012017643A1 (ja) 符号化方法、表示装置、及び復号方法
US20090066785A1 (en) System and method for generating and reproducing 3d stereoscopic image file including 2d image
US20080303832A1 (en) Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
US8830301B2 (en) Stereoscopic image reproduction method in case of pause mode and stereoscopic image reproduction apparatus using same
US20110216162A1 (en) Multi-View Video Format Control
CN102474638A (zh) 组合3d视频与辅助数据
CN102972030B (zh) 用于生成和重建立体兼容视频流的方法及相关的编码和解码设备
CN103891275B (zh) 数字广播信号处理方法及设备
CN102986229A (zh) 解码2d-兼容立体视频流的方法
KR101101320B1 (ko) 추출 방법과 그 장치, 및 다시점 스케일러블 비디오 비트스트림 생성 방법과 그 장치
CN104160698A (zh) 使用新的3d编码“帧兼容”格式的帧打包方法、装置和系统
US20080163314A1 (en) Advanced information display method
CN115225928B (zh) 一种多类型音视频混播系统及方法
US20230043591A1 (en) Information processing apparatus and method
CN114979704A (zh) 视频数据生成方法和系统、视频播放系统
de Fez et al. GrafiTV: Interactive and Personalized Information System over Audiovisual Content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130424

Termination date: 20211013