CN107787585B - 用于处理立体视频数据的mmt装置和mmt方法 - Google Patents

用于处理立体视频数据的mmt装置和mmt方法 Download PDF

Info

Publication number
CN107787585B
CN107787585B CN201680035274.1A CN201680035274A CN107787585B CN 107787585 B CN107787585 B CN 107787585B CN 201680035274 A CN201680035274 A CN 201680035274A CN 107787585 B CN107787585 B CN 107787585B
Authority
CN
China
Prior art keywords
stereoscopic video
information
video
type
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680035274.1A
Other languages
English (en)
Other versions
CN107787585A (zh
Inventor
李振莹
尹国镇
郑元植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Priority to CN202110879531.2A priority Critical patent/CN113490016B/zh
Priority claimed from PCT/KR2016/006333 external-priority patent/WO2016204502A1/ko
Publication of CN107787585A publication Critical patent/CN107787585A/zh
Application granted granted Critical
Publication of CN107787585B publication Critical patent/CN107787585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/40—Aspects of broadcast communication characterised in that additional data relating to the broadcast data are available via a different channel than the broadcast channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了用于处理立体视频数据的MMT装置和MMT方法。根据实施例的MMT装置包括：资产文件生成单元，用于生成包含全部或部分立体视频数据的单个资产文件；以及信令消息生成单元，用于生成用于立体视频数据的传送或使用的信令消息。此外，所生成的单个资产文件和生成的信令消息中的至少一个包括与立体视频数据有关的立体视频信息。

Description

用于处理立体视频数据的MMT装置和MMT方法
技术领域
本发明涉及MPEG媒体传输(MMT)技术，并且更具体地涉及用于处理立体视频数据的MMT装置和方法。
背景技术
MPEG媒体传输(以下简称“MMT”)是由MPEG系统子工作组开发的、用于存储和运送多媒体内容的一种新的标准技术。由MPEG系统子工作组开发的现有标准技术定义了在广播网络上的多媒体内容发送所需的功能，例如分组化、同步、复用等，并且已被标准化并被广泛地用作MPEG-2传输流(TS)技术。随着基于现有广播网络的开发，MPEG-2TS技术具有不适合于通过基于互联网协议(IP)的网络的IPTV广播或移动广播的多媒体内容发送的元素，这使得所述技术效率低下。因此，考虑到新的媒体发送环境和预期的未来的媒体发送环境，MPEG系统子工作组已经开始认识到对新的媒体传输标准的需求，并由此开发了MMT标准。
作为当前创建的MMT标准的“ISO/IEC 23008-1”是用于存储和运送媒体数据的标准，定义对资产(其为媒体数据)使用MMT系统进行封装，并作为个人文件存储或运送。然而，最近通过的MMT标准支持用于处理和使用包括2D图像的多媒体内容的功能，但不支持包括立体视频的多媒体内容。
随着互联网上高清晰度视频流服务的日益普及，超高清晰度电视(UHDTV)服务已被强调，同时，使用立体视频即3D视频的数字广播服务作为下一代广播服务受到关注。特别地，预期3DTV服务在不久的将来将会可用，其基于诸如4K或更高分辨率的通用立体显示等相关技术的发展来允许用户在家欣赏3D视频。
根据这一趋势，为了4K UHD广播服务的目的，标准化(例如，ATSC 3.0)正由例如高级电视系统委员会(ATSC)进行。在这种情况下，为了提供3DTV服务，需要采用在保持与2D内容的4K UHD广播服务的兼容性的同时运送3D内容的方法，并且该方法的问题在于，与2D内容相比，需要更大的带宽来发送3D内容。为了解决这个问题，ATSC正在通过增加一个额外的信道到现有的信道而提供3DTV广播服务来发展该技术。换句话说，ATSC 3.0使用两个UHD信道或HD信道(即，多信道)来标准化3DTV广播服务，并且已经采用高效视频编码(HEVC)或可缩放HEVC(SHVC)作为编码方法来提供服务。
然而，ATSC 3.0还没有具体地提出一种发送用于3DTV广播服务的立体视频数据的方法。为了提供3DTV广播服务，可以考虑通过MPEG系统提供3D内容，但是如上所述，MPEG-2TS技术不适用于当前广播网络，而MMT技术还不支持3D内容的发送。
发明内容
技术问题
为了解决上述缺点，本发明的一个目的是提供一种用于处理立体视频数据的MPEG媒体传输(以下称为“MMT”)装置和方法，使得立体视频内容被存储和/或在MMT系统内发送。
本发明的另一个目的是提供一种用于处理立体视频数据的MMT装置和方法，使得在维持与2DTV广播服务的兼容性的同时提供高清3DTV广播服务。
技术方案
为了解决上述缺陷，根据本发明的一个示例性实施例，提供了一种用于处理立体视频数据的MPEG媒体传输(以下称为“MMT”)装置，包括：资产文件生成器，被配置为生成包含全部或部分立体视频数据的单个资产文件；以及信令消息生成器，被配置为生成用于立体视频数据的传送或使用的信令消息，其中，单个资产文件和信令消息中的至少一个包含与立体视频数据有关的立体视频信息。
根据示例性实施例的一个方面，立体视频信息可以包括：组合类型信息，其指定左视图图像和右视图图像结合以形成立体视频的方式；视频序列描述信息，其指定在立体视频中结合的左视图图像和右视图图像的顺序；以及视频类型描述信息，其指示构成立体视频的特定视图的视频是左视图图像还是右视图图像。在这种情况下，组合类型信息可以指示以下类型之一：并排型、垂直行交织型、帧序列型、左/右视图序列型、以及自上而下型。另外，只有当组合类型信息指示左/右视图序列型时立体视频信息才可以包括视频类型描述信息。立体视频信息可以以由ISO/IEC 23008-11指定的立体视频媒体信息(svmi)框的语法格式创建，并且可以被包含在单个资产文件中，或者立体视频信息可以以由ISO/IEC23008-1指定的立体视频信息描述符的语法格式创建，并且可以被包含在信令消息的MMT包(package)(以下称为“MP”)表中。
根据示例性实施例的另一方面，立体视频信息可以包括：服务兼容性信息，其指示立体视频是否与2D视频服务兼容；视频类型描述信息，其指示构成立体视频的特定视图的视频是左视图图像还是右视图图像；基本视频描述信息，其指示构成立体视频的特定视图的视频是否可用于2D视频服务；组合类型信息，其指定左视图图像和右视图图像结合以形成立体视频的方式；以及视频序列描述信息，其指定在立体视频中结合的左视图图像和右视图图像的顺序，其中仅当服务兼容性信息指示立体视频与2D视频服务兼容时立体视频信息才包括视频类型描述信息和基本视频描述信息，并且仅当服务兼容性信息指示立体视频与2D视频服务不兼容时立体视频信息才包括组合类型信息和基本视频描述信息。立体视频信息可以以由ISO/IEC 23008-1指定的立体视频信息(svin)框的语法格式来创建，并且可以被包含在单个资产文件中，或者立体视频信息可以以由ISO/IEC 23008-1指定的立体视频信息描述符的语法格式来创建，并且可以被包含在单个资产文件中的MP表中。
为了解决上述缺点，根据本发明的另一示例性实施例，提供了一种在MMT装置中处理立体视频数据的方法，所述方法包括：生成包含全部或部分立体视频数据的单个资产文件；以及生成用于立体视频数据的传送或使用的信令消息，其中单个资产文件或信令消息中的至少一个通过将与立体视频数据有关的立体视频信息包括在单个资产文件或信令消息中而生成。
根据示例性实施例的一个方面，立体视频信息可以包括：组合类型信息，其指定左视图图像和右视图图像结合以形成立体视频的方式；视频序列描述信息，指定在立体视频中结合的左视图图像和右视图图像的顺序；以及视频类型描述信息，其指示构成立体视频的特定视图的视频是左视图图像还是右视图图像，组合类型信息可以指示以下类型之一：并排型、垂直行交织型、帧序列型、左/右视图序列型、以及自上而下型，并且仅在组合类型信息指示左/右视图序列型时立体视频信息才可以包括视频类型描述信息。另外，立体视频信息可以以由ISO/IEC 23008-11指定的立体视频媒体信息(svmi)框的语法格式来创建，并且可以被包含在单个资产文件中，或者立体视频信息可以以由ISO/IEC 23008-1指定的立体视频信息描述符的语法格式创建，并且被包含在信令消息的MP表中。
有益效果
根据本发明的上述实施例，立体视频信息被包含在资产文件和/或信令消息中，使得可以在MMT系统中存储和/或发送立体视频内容。此外，由于立体信息包括组合类型信息、视频序列描述信息、视频类型描述信息等等，因此可以在保持与DTV广播服务的兼容性的同时提供高清3DTV广播服务。
附图说明
图1是示出包括MPEG媒体传输(以下称为“MMT”)系统的功能区域的分层结构的图。
图2是示出MMT包的逻辑结构的图。
图3是示出根据本发明示例性实施例用于处理立体视频数据的MMT装置的配置的框图。
图4是示出由图3的资产文件生成器生成的资产文件的通用配置的示例的图。
图5是示出用于表示图4的资产文件报头的文件语法的示例的图。
图6是示出由图3的资产文件生成器生成的资产文件的通用配置的另一示例的图。
图7是示出表示图6的资产文件报头的文件语法的示例的图。
图8是示出可以被包含在MMT包(以下称为“MP”)表中的立体视频信息描述符(以下称为“stereoscopic_video_info_descriptor”)的示例的图。
图9是示出可以被包含在MP表中的stereoscopic_video_info_descriptor的另一示例的图。
图10是示出使用两个独立的高效视频编码(HEVC)编解码器来提供3DTV广播服务的服务场景的图。
图11是示出用于使用一个可缩放HEVC(SHVC)编解码器来提供3DTV广播服务的服务场景的图。
图12是示出在系统级发送的立体视频信息的另一示例HEVC_stereoscopic_video_info_descriptor的图。
图13是示出2D/3D指示符(以下称为“multi_view_position_SEI”)消息的示例的图。
图14是示出图10的服务场景的图，用于解释在视频级区分2DTV节目和3DTV节目的方法的示例。
图15是示出图11的服务场景的图，用于解释在视频级区分2DTV节目和3DTV节目的方法的示例。
具体实施方式
发明模式
在下文中将参考附图更全面地描述本发明，在附图中示出了本发明的示例性实施例。如本领域技术人员所将认识到的，所描述的实施例可以以各种不同的方式进行修改，所有这些均不脱离本发明的精神或范围。在整个说明书中使用的术语是根据示例性实施例考虑功能来定义的，并且可以根据用户或管理者的目的或先例等而变化。除非另外定义，否则本文使用的所有术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。
图1是示出包括MPEG媒体传输(MMT)系统的功能区域的分层结构的图。参考图1，MMT系统100由封装功能层(层E)110、传送功能层(层D)120、和信令功能层(层S)130组成。
在媒体编码层12中压缩的多媒体数据经过封装功能层110，在封装功能层110中数据被处理成类似于文件格式的形式的包，然后输出所得的包。封装功能层110接收媒体编码层提供的编码的媒体数据，生成作为用于MMT服务的小单元的数据片段或分段，并使用数据片段生成用于MMT服务的接入单元(AU)。另外，封装功能层110聚合和/或分割AU以生成用于存储和/或发送组成内容的预定格式的所述组成内容和数据。
传送功能层120可以对通过网络、网络分组化、QoS控制等所发送的媒体执行网络流复用。具体而言，传送功能层120可以将从封装功能层110输出的一个或多个数据单元(DU)转换为MMT有效载荷格式，然后添加MMT传输分组(packet)报头以创建MMT分组，或者可以创建使用作为传统传输协议的实时协议(RTP)的RTP分组。在传送功能层120中形成的分组在进入互联网协议(IP)层16之前经过诸如用户数据报协议(UDP)层或传输控制协议(TCP)层的传输协议层14，在互联网协议(IP)层16中分组最终被IP分组化并且然后被发送。
信令功能层130生成包含包传送和使用所需的控制信息或信令信息的预定格式的消息。所生成的信令消息可以与媒体数据一起分组化为MMT分组用于传送，也可以作为单独的信令消息分组化为MMT分组并且被发送给接收侧。
图2是示出了MMT包的逻辑结构的图，显示了构成MMT分组的元素以及所述元素之间的关系。
参考图2，MMT包是一组媒体内容数据和相关元数据，并且由演示信息(PI)、一个或多个资产、以及传输特性(TC)组成。PI是描述MMT资产之间的空间和时间关系的信息。资产是编码的媒体数据，例如音频、视频、和网页，并且每个资产都有一个资产ID作为标识符。每个资产可以包括一个或多个媒体处理单元(MPU)，每个媒体处理单元是根据国际标准组织-基本媒体文件格式(ISO-BMFF)的文件并且可以被独立使用。一个资产中的两个连续的MPU不能包含相同的媒体样本。此外，TC提供资产传送所需的QoS信息。一个资产只能有一个TC，而一个TC可以被多个资产使用。
根据MMT技术，在由左视图图像和右视图图像的单独帧组成的立体视频中，左视图图像和右视图图像具有不同的资产ID。在MMT技术中，内容的发送和回放以及关联的数据处理或服务质量控制被认为是单独的文件并且被独立处理。因此，为了重建和回放左视图图像和右视图图像，左视图资产和右视图资产需要彼此时间同步使得可以播放三维(3D)视频。另外，在由左视图资产和右视图资产组成的立体视频的情况下，可以优选将立体视频设计为与二维(2D)显示兼容。
进一步地，在立体视频中，左视图图像和右视图图像可以分别由不同的帧构成，或者立体视频也可以使用各种方法通过将左视图图像和右视图图像结合为一帧来而形成。例如，在立体视频中，左视图图像和右视图图像可以以并排型、自上而下型、或者垂直行交织型结合为一帧。在这种情况下，通过结合左视图图像和右视图图像而形成的立体视频作为一个整体可以被认为是一个资产(但是不限于此)而使得左视图图像和右视图图像可被视为单独的资产。
如此，可以使用各种类型的组合来形成立体视频。此外，结合为一帧的立体视频本身可以由一个资产组成，或者所述一帧的左视图图像和右视图图像可以分别由不同的资产组成。进一步地，立体视频数据优选地不仅使用3D显示、还使用2D显示进行回放。为了允许通过MMT系统存储立体视频数据或者从MMT发出实体向MMT接收实体发送立体视频数据，需要充分考虑到上述立体视频的特性来处理立体视频数据。
图3是图示根据本发明示例性实施例的用于处理立体视频数据的MMT装置的配置的框图。参考图3，MMT装置200包括资产文件生成器210和信令消息生成器220。另外，MMT装置200可以进一步包括发送器230。图3所示的MMT装置的全部或部分组件(或功能)可以作为由MMT标准指定的MMT发出实体的组件(或功能)来实现。
资产文件生成器210基于访问单元(AU)为每个资产生成资产文件。这里，“资产文件”不一定是指单个物理文件，而是可以指一组众多文件。换句话说，“资产文件”是一组一个或多个文件，每个文件不仅包含形成单个资产的编码的立体视频数据，而且还包含相关的立体视频信息。如上所述，在立体视频的情况下，左视图图像和右视图图像中的每一个可以形成一个资产文件，或者结合为选定类型的一帧的立体视频图像可以本身形成一个资产文件。在前一种情况下，立体视频数据的部分被包含在单个资产文件中，而在后一种情况下，整个立体视频数据被包含在单个资产文件中。
由图3的资产文件生成器210生成的资产文件可以被存储在其中所生成的资产文件必须包含立体视频信息的存储介质中。可替代地，如果由资产文件生成器210生成的资产文件被输入到发送器230并被发送到MMT接收装置，则这种情况下所生成的资产文件可以包含也可以不包含立体视频信息。这是因为如下所述、由信令消息生成器220创建的信令消息可以携带立体视频信息。现在将讨论立体视频信息被包含在由资产文件生成器210生成的资产文件中的情况。
图4是图示由图3的资产文件生成器210生成的资产文件的通用配置的示例的图。参照图4，资产文件300包括资产文件报头300a和资产文件主体300b。资产文件300的配置基于包含在每个单元中的数据的特性而是逻辑性的，并且可以以各种物理形式来实现。例如，资产文件报头300a和资产文件主体300b不一定被构造为单个文件，而可以是每个由一个文件组成或每个由多个文件组成。
资产文件主体300b是至少包含立体视频数据的单元，并且可以由例如多个MPU形成。资产文件主体300b是包含立体数据的部分，并且可以对应于资产文件的有效载荷。如上所述，MPU可以是根据ISO-BMFF被封装的指定格式的文件，并且所述MPU具有唯一的序列号以及资产ID。构成相同资产的MPU具有相同的资产ID。MPU包含编码的立体视频数据并且每个MPU最多包含一个媒体轨道。
资产文件报头300a包含与资产相关的各种信息(即资产文件信息)。具体地，如果资产是构成立体视频数据的左视图资产或右视图资产，则资产文件报头300a可以包含立体视频信息310作为资产文件信息之一。此外，资产文件报头300a可以进一步包含关于资产ID的信息，诸如资产ID的体系、长度、取值等(参考图5和图7)。
根据本实施例的一个方面，立体视频信息310可以包括组合类型信息311、视频序列描述信息312、以及视频类型描述信息313。组合类型信息311指定左视图图像和右视图图像结合以形成立体视频的方式。例如，组合类型信息311可以指示以下类型之一：并排型、垂直行交织型、帧序列型、左/右视图序列型、以及自上而下型。
表1示出了组合类型信息311的示例。参考表1，可以看出，作为组合类型信息311，并排型和自上而下型可用于两种类型的图像：全图像和半图像。此外，对于本领域技术人员而言显而易见的是，表1的左栏中的值仅是示例性的。
表1
值 描述
0x00 并排(半)型
0x01 自上而下(半)型
0x02 并排(全)型
0x03 自上而下(全)型
0x04 垂直行交织型
0x05 帧序列型
0x06-0xFF 保留
视频序列描述信息312指定在立体视频中结合的左视图图像和右视图图像的顺序。例如，视频序列描述信息312可以被表示为“is_left_first”或“is_right_first”。表2示出了视频序列描述信息312的示例。参照表2，根据视频序列描述信息(在表2的情况下，值“is_left_first”)，对于每种组合类型，可以确定在帧中的左视图和右视图中的每一个的位置、或者是否左视图和右视图中的每一个为在帧序列中的奇数帧还是偶数帧。
表2
值 描述
0x00 并排(半)型
0x01 垂直行交织型
0x02 帧序列型
0x03 左/右视图序列型
0x04 自上而下(半)型
0x05 并排(全)型
0x06 自上而下(全)型
0x07-0xFF 保留
视频类型描述信息313指示特定视图的视频是左视图图像还是右视图图像。例如，可以以这样的方式来表示视频类型描述信息313，以显示特定视图的视频是“is_left”或“is_right”。因此，视频类型描述信息313可以仅在组合类型信息311指示左视图图像和右视图图像的组合类型是左/右视图序列型的情况下提供(在值为表2中的“0x03”的情况下)。
图5是示出用于表示图4的资产文件报头300a的文件语法的示例的图。图5的文件语法是基于(仅为举例提供的)ISO/IEC 23008-11的立体视频媒体信息(svmi)框文件格式而被创建。图4的资产文件报头300a可以是基于其他标准或者其他文件格式而被创建。
参考图5，图4的组合类型信息311由元素“stereoscopic_composition_type”表示，并且所述元素可以描述例如如表1所示的内容。另外，视频序列描述信息312由元素“is_left_first”表示，并且所述元素可以描述例如如表2所示的内容。另外，视频类型描述信息313由元素“is_left”表示，并且其可以被理解为仅当“stereoscopic_composition_type”具有指示左/右视图序列型的值“0x03”时所述元素才被包括。另外，文件语法可以进一步包括用于指示资产ID的体系、长度、和取值的元素。
图6是示出由图3的资产文件生成器210生成的资产文件的通用配置的另一示例的图。图6的资产文件400的配置也基于每个单元中包含的数据的特性而是逻辑的，并且可以以各种物理形式来实现。例如，资产文件报头400a和资产文件主体400b可以分别由单个文件或多个文件组成。参考图6，资产文件400与图4的资产文件300的相同之处在于其包括资产文件报头400a和资产文件主体400b。此外，资产文件主体400b与图4的资产文件主体300b的相同之处在于所述资产文件主体400b是至少包含立体视频数据并且可以由例如多个MPU构成的单元，因此将不重复其详细描述。
资产文件报头400a与图4的资产文件报头300a的相同之处在于资产文件报头400a包括关于相关资产的各种信息，即资产文件信息，并且具体地，在构成立体视频数据的资产是左视图资产或者右视图资产的情况下，资产文件报头400a可以包含立体视频信息410作为资产文件信息。然而，在资产文件报头400a和资产文件报头300a之间存在细节差异。具体地，立体信息410可以包括服务兼容性信息411、视频类型描述信息412、基本视频描述信息413、组合类型信息414、以及视频序列描述信息415。
服务兼容性信息411是描述立体视频是否与2D视频服务兼容的信息(“is_service_compatible”)。例如，如果立体视频可用于2D视频服务而无需通过特殊图像处理技术处理，则立体视频可被认为与2D视频服务兼容。通常，在左/右视图序列型的立体视频的情况下，通过提取左视图图像和右视图图像可以提供2D视频服务。在其他组合类型的立体视频的情况下，每帧需要额外的图像处理以便提供2D视频服务。
视频类型描述信息412和基本图像描述信息413可以是仅当立体视频与2D视频服务兼容时被包括在立体信息410中的信息，即，当服务兼容性信息411具有指示立体视频是兼容的值时。这里，视频类型描述信息412描述特定视图的视频是左视图图像还是右视图图像。例如，可以以显示特定视图的视频是“is_left”还是“is_right”这样的方式来表示视频类型描述信息412。此外，基本视频描述信息413指示特定视图的视频是否可用于2D视频服务，即，所述视频是否是基本视频(“is_base”)。因此，只有由基本视频描述信息413指定为基本视频的特定视图的视频才可以用于2D视频服务。
组合类型信息414指定将左视图图像和右视图图像结合以形成立体视频的方式。例如，组合类型信息414可以指示以下类型之一：并排型、垂直行交织型、帧顺序型、和自上而下型。组合类型信息414与表1的组合类型信息311的不同之处在于组合类型信息414不包括左/右视图序列型。
表3示出了组合类型信息414的例子。参照表3，可以看出，作为组合类型信息414，并排型和自上而下型可用于两种类型的图像：全图像和半图像。此外，对于本领域技术人员而言显而易见的是，表3的左栏中的值仅是示例性的。
表3
Figure GDA0001509974230000111
视频序列描述信息415指定立体视频中的左视图图像和右视图图像的顺序。例如，可以以显示左视图图像先于右视图图像(“is_left_first”)还是右视图图像先于左视图图像(“is_right_first”)这样的方式来表示视频序列描述信息415，以上参考表2描述了视频序列描述信息415的示例，因此将不重复其详细描述。
图7是示出表示图6的资产文件报头400a的文件语法的示例的图。图7的文件语法是基于(仅用于举例而提供的)ISO/IEC 23008-1指定的立体视频信息(svin)框文件格式而被创建的。也就是说，图6的资产文件报头400a可以是基于其他标准或其他文件格式而被创建。
参考图7，图6的服务兼容性信息411由元素“is_service_compatible”表示，其值为“0”指示与2D视频服务的不兼容性，值为“1”指示与2D视频服务的兼容性。此外，图6的视频类型描述信息412和基本视频描述信息413分别由元素“is_left”和“is_base”表示。可以理解的是，仅当元素“is_service_compatible”指示与2D视频服务的兼容性时才包括这些元素。相反，如果“is_service_compatible”指示与2D视频服务的不兼容性，则可以包括分别由元素“stereoscopic_composition_type”和“is_left_first”表示的组合类型信息414和视频序列描述信息415。例如，元素“stereoscopic_composition_type”可以指示表3中所示的内容。此外，文件语法可以进一步包括用于指示资产ID的体系、长度、和取值的元素。
转回参考图3，信令消息生成器220生成用于立体视频数据的传送和/或使用的信令消息。这里，信令消息是由ISO/IEC 23008-1指定的格式的消息，包含信令表、描述符等形式的信息。信令消息生成器220可以不仅基于相关资产的表示信息和传输特性、而且还基于从MMT接收实体接收的立体视频数据和各种信息来生成信令消息。
根据本实施例的一个方面，由信令消息生成器220生成的信令消息可以携带使用包含立体视频数据的MMT包所需的立体视频信息。例如，信令消息生成器220可以生成包含图4所示的资产文件300的资产文件报头310中包含的立体视频信息的信令消息。也就是说，信令消息生成器220可以生成包含组合类型信息、视频序列描述信息、和视频类型描述信息的信令消息。在另一个示例中，信令消息生成器220可以生成包含图6所示的资产文件400的资产文件报头410中包含的立体视频信息的信令消息。在这种情况下，信令消息生成器220可以生成包含服务兼容性信息、视频类型描述信息、基本视频描述信息、组合类型信息、和视频序列描述信息的信令消息。
根据本实施例的另一方面，由信令消息生成器220生成的信令消息可以不包含参考图4或图6描述的立体视频信息。在这种情况下，信令消息可以包含由ISO/IEC 23008-1指定的其他类型的信息。然而，如参照图4或图6所描述的，该实施例仅限于资产文件的资产文件报头包含立体视频信息的情况。然而，对于本领域技术人员而言显而易见的是，即使当立体视频信息被包含在资产文件的资产文件报头中时，立体视频信息的全部或部分也可以被包含在信令消息生成器220生成的信令消息中。下面将描述在由信令消息生成器220生成的信令消息中包含全部立体视频数据的情况。
例如，信令消息生成器220可以将立体视频信息包括在由ISO/IEC23008-1指定的MMT包(以下称为“MP”)表中。在这种情况下，立体视频信息可以是包含在MP表中的描述符之一。这样的立体视频信息描述符(以下，称为“stereoscopic_video_info_descriptor”)可以被包含在MP表中的asset_descriptor循环中。
图8是图示可以被包含在MP表中的stereoscopic_video_info_descriptor的示例的图。参考图8，stereoscopic_video_info_descriptor包含组合类型信息，视频序列描述信息和视频类型描述信息。更具体地，组合类型信息由元素“stereoscopic_composition_type”表示、视频序列描述信息由元素“is_left_first”表示、并且视频类型描述信息由元素“stereoscopic_composition_type”表示。另外，示出了仅当“stereoscopic_composition_type”的值是指示左/右视图序列型(参见表1)的“0x03”时才包括视频类型描述信息。
图9是示出可以被包含在MP表中的stereoscopic_video_info_descriptor的另一示例的图。参考图9，stereoscopic_video_info_descriptor包括服务兼容性信息、视频类型描述信息、基本视频描述信息、组合类型信息、和视频序列描述信息。更具体地，服务兼容性信息由元素“is_service_compatible”表示，并且视频类型描述信息和基本视频描述信息分别由元素“is_left”和“is_base”表示。可以理解的是，仅当元素“is_service_compatible”指示与2D视频服务的兼容性时才包括这些元素。相反，如果“is_service_compatible”指示与2D视频服务的不兼容性，则可以包括分别由元素“stereoscopic_composition_type”和“is_left_first”表示的组合类型信息414和视频序列描述信息415。
转回参考图3，发送器230接收由资产文件生成器210生成的资产文件和/或由信令消息生成器220生成的信令消息，并将它们发送到MMT接收实体。这里，发送器230可以根据符合ISO/IEC 23008-1的MMT协议(以下称为“MMTP”)将接收到的资产文件和/或信令消息转换成MMT分组，并将MMT分组发送到MMT接收装置。然而，本实施例不限于此，发送器230可以根据其他互联网传输协议、实时传输协议、或3D广播协议将接收到的资产文件和/或信令消息发送到MMT接收装置。
这里将描述使用上述MMT装置提供3DTV广播服务的方法。在此描述的方法涉及一种用信号发送与3D立体视频数据有关的信息(即，立体视频信息)的方法，其中立体视频信息基于被选择用于编码ATSC3.0的高分辨率视频的高效视频编码(以下称为“HEVC”)或可缩放HEVC(以下称为“SHVC”)编解码器被发送到多信道以提供高清3DTV广播服务，同时保持与2DTV广播服务的可计算性。
图10是示出使用两个独立的HEVC编解码器来提供3DTV广播服务的服务场景的图。在图10中，2D表示由两个信道(即，第一信道Ch1和第二信道Ch2)独立提供的2DTV广播节目，并且3D表示通过关联两个信道而提供的3DTV广播节目。此外，在3DTV广播节目的情况下，可以将两个独立的HEVC流相互同步然后提供，并且可以设想通过两个基层流来提供服务。
图11是示出使用一个SHVC编解码器来提供3DTV广播服务的服务场景的图。在图11中，2D表示由两个信道(即，第一信道Ch1和第二信道Ch2)独立提供的2DTV广播节目，3D表示通过关联两个信道而提供的3DTV广播节目。此外，在3DTV广播节目的情况下，可以将使用可缩放HEVC编解码器(即，SHVC编解码器)编码立体视频数据而生成的基层流与增强层流同步，并且可以提供所得到的流。
参照图10和图11，对于3DTV广播服务，在时间段t1期间广播2DTV广播节目；在时间段t2期间广播3DTV广播节目；并且在时间段t3期间再次广播2DTV广播节目。这是因为3DTV广播服务正被认为是提供2D内容和3D内容的混合而非24小时单独广播3D内容的2DTV/3DTV混合广播服务。然而，对于本领域技术人员显而易见的是，3DTV广播服务不排除24小时连续播放3D节目。
根据图10或图11所示的服务场景，为了提供3DTV广播服务，需要清楚地识别要在特定时间段广播的节目是2DTV广播节目还是3DTV广播节目。例如，在2DTV广播节目和3DTV广播节目之间切换的情况下，可以发送信息来通知所述事件。另外，对于3DTV广播节目，还可以发送由配备有2D显示的接收装置回放3DTV广播节目所需的信息。
在另一个示例中，可以发送节目类型描述信息以识别要在特定时间段广播的广播节目是2DTV广播节目还是3DTV广播节目。这里，如果广播节目是3DTV广播节目，则可以将具有2D显示的接收装置回放3DTV广播节目所需的信息与节目类型描述信息一起发送。以下，节目类型描述信息和由具有2D显示的接收装置回放3DTV广播节目所需的信息将被统称为“立体视频信息”。
在这种情况下，可以在视频级或系统级发送立体视频信息。视频级的发送意味着立体视频信息在视频流中发送。例如，包含在图4或图6的资产文件报头中的立体视频信息可以是在视频级发送的立体视频信息。另一方面，系统级的发送意味着立体视频信息在非视频流中发送。例如，参照图8或图9描述的信令消息的MP表中包含的stereoscopic_video_info_descriptor可以是在视频级发送的立体视频信息。
图12是图示在系统级发送的立体视频信息的另一示例HEVC_stereoscopic_video_info_descriptor的图。参考图12，HEVC_stereoscopic_video_info_descriptor包括descriptor_tag、descriptor_length、service_id、view_position和2D/3D指示符信息(以下称为“multi_view_position_SEI_present”)。
descriptor_tag信息用于识别描述符。descriptor_length信息指定描述符的长度。service_id信息指示用于发送左视图图像或右视图图像的信道ID或服务ID。例如，在如图10所示的情况下，通过第一信道提供左视图图像，并且通过第二信道提供右视图图像，通过第一信道发送的HEVC_stereoscopic_video_info_descriptor的service_id可以包括第二信道的服务ID或信道ID。view_position用于识别当前发送的视频是左视图图像还是右视图图像。
multi_view_position_SEI_present指示HEVC或SHVC编码流是否包含2D/3D指示符(以下称为“multi_view_position_SEI”)。通过使用mukt_view_position_SEI_present，可以更清楚地识别相关的视频流是用于2DTV节目还是3DTV节目。因为系统级的信息发送是以指定的时间间隔(例如500ms)执行的，而非逐帧或逐个AU执行，所以很难根据帧明确地识别内容是2D的内容还是3D内容。因此，当multi_view_position_SEI_present被设置为“1”时，接收器可以基于所述信息在编码流级来辨识2DTV节目或3DTV节目。此外，基于相关的描述符的存在或不存在，可以在系统级识别2DTV节目或3DTV节目。具体而言，所述描述符存在于3D节目中。
HEVC ISO/IEC 23008-2定义了multi_view_position_SEI消息，其用于在对由多个视图组成的多视图图像编码时提供关于每个视图的位置的信息。multi_view_position_SEI消息的一个示例在图13中示出，并且所述消息由HEVC ISO/IEC 23008-2具体描述，因此将省略其详细描述。
图14是示出图10的服务场景的图，用于解释在视频级区分2DTV节目和3DTV节目的方法的示例。参考图14，可以看出图13的multi_view_position_SEI消息仅在3D节目期间被发送。因此，可以基于所述消息是否被包括在视频级(即所发送的节目内容)来确定当前节目是2DTV节目还是3DTV节目。
此外，在通过每个信道发送使用两个独立的HEVC编解码器编码的视频流的情况下，multi_view_position_SEI消息通过第一信道Ch1和第二信道Ch2两者被包括在视频流中。此时，由于仅发送一个独立的视频流，通过第一信道Ch1和第二信道Ch2包含在编码流中的信息被分配为num_views_minus＝0和view_position[0]＝0。在这种情况下，不能在视频级识别左视图和右视图，并且因此在系统级发送的立体视频信息，例如，图12的HEVCstereoscopic_video_info_descriptor可以用来区分左视图图像和右视图图像。
另外，multi_view_position_SEI消息可以被分配给编码流的AU。这样，multi_view_position_SEI消息被包含在3DTV节目周期中的每个AU中，如图14所示，因此可以在帧级识别3DTV节目或2DTV节目。
图15是示出图11的服务场景的图，用于解释在视频级区分2DTV节目和3DTV节目的方法的示例。参考图15，可以看出，在图13中示出的multi_view_position_SEI消息仅在基层视频流中发送。因此，根据所述消息是否被包含在基级视频流中，可以确定当前节目是2DTV节目还是3DTV节目。在这种情况下，在图15的服务场景中，通过SHVC对两个视图-视频进行编码，以便将num_views_minus＝0、view_position[0]＝0、以及view_position[1]＝1分配给基层视频流。这里，view_position[0]＝0可以指示左(右)视图图像，并且view_position[1]＝1可以指示右(左)视图图像。因此，能够区分左视图图像和右视图图像。
根据本发明示例性实施例的上述设备可以以硬件组件、软件组件、和/或硬件组件和软件组件的结合的形式来实现。例如，根据本发明的上述示例性实施例的设备和相应组件可以通过使用至少一个或多个通用计算机或专用计算机来实现，诸如处理器、控制器、算术逻辑单元(ALU)、数字信号处理器、现场可编程阵列(FPA)、可编程逻辑单元(PLU)、微处理器或能够执行和响应指令(或命令)的任何类型的设备。处理设备可以执行操作系统(OS)以及在操作系统(OS)内执行的至少一个或多个软件应用程序。另外，处理设备可以响应软件应用程序的执行，以访问、存储、操作、处理、和生成数据。为了便于和简化对本发明的理解，可以将本发明描述为仅包括一个处理装置。然而，对于本领域的任何技术人员来说显而易见的是，处理设备可以包括多个处理元件和/或可以包括多种类型的处理元件。例如，处理设备可以包括多个处理器，或者处理设备可以包括一个处理器和一个控制器。另外，在此可以配置例如并行处理器的其他处理配置。
该软件可以包括计算机程序、代码、指令、或上述中的一个或多个的结合。并且，软件可以配置处理设备，使得处理设备可以按照预期操作，或者软件可以独立地或共同地指令(或命令)处理设备。为了被处理设备理解，或为了向处理设备提供指令或数据，软件和/或数据可以永久地或暂时地配备在任何类型的机器、组件、物理装置(或设备)、虚拟装置、计算机存储介质或设备、或者发送的信号波中。由于软件散布(或分散)在连接至网络的计算机系统内，所以可以通过使用散布方法来存储或执行软件。软件和数据可以存储在一个或多个计算机可读记录介质中。
根据本发明的示例性实施例的方法可以以可以通过使用不同的计算部件执行的程序命令(或指令)格式来实现，从而被记录在计算机可读介质中。这里，计算机可读介质可以独立地包括程序命令(或指令)、数据文件、数据结构等、或者可以包括其结合。被记录在介质中的程序命令可以对应于为本发明的示例性实施例特别设计和配置的程序命令、或者程序命令可以对应于对计算机软件或与其相关领域任何技术人员所公开或可获得的程序命令。计算机可读记录介质可以包括磁介质，例如硬盘、软盘、和磁带、例如CD-ROM、DVD等的光介质、诸如软光盘的磁光介质、以及专门为存储和执行程序命令配置(或设计)的硬件设备(诸如ROM、RAM、闪存等等)。程序命令的示例不仅可以包括由编译器创建的机器语言代码，还可以包括可以由计算机通过使用解释器执行的高级语言代码等等。上述硬件装置可以被配置为作为用于执行本发明示例性实施例的操作的一个或多个软件模块来操作，反之亦然。
对于本领域的技术人员显而易见的是，在不脱离本发明的精神或范围的情况下，可以对本发明进行各种修改和变化。因此，本发明旨在覆盖落入所附权利要求书及其等同物范围内的本发明的修改和变化。
工业适用性
本发明可以有效地应用于与媒体数据的存储或发送相关的流程、设备、和广播产业。

Claims (13)

1.一种用于处理立体视频数据的MPEG媒体传输MMT装置，所述MMT装置包括：
资产文件生成器，被配置为生成包含立体视频数据的单个资产文件；和
信令消息生成器，被配置为生成用于所述立体视频数据的信令消息，
其中所述单个资产文件包含与所述立体视频数据有关的立体视频信息，
当基于与基层和增强层有关的可缩放HEVC(SHVC)对所述立体视频数据进行编码时，其中multi_view_position_SEI消息用于指示所述立体视频数据的左视图和右视图，
其中所述multi_view_position_SEI消息包括num_view_minus1和view_position，
其中所述view_position的值是基于与基层相对应的视图确定的并且指示所述视图是右视图图像还是左视图图像，
其中所述单个资产文件包括与所述立体视频数据相对应的资产的资产ID，
其中所述单个资产文件包括所述资产的资产ID的长度，
其中所述单个资产文件包括多个媒体处理单元MPU，并且其中所述单个资产文件中的MPU包括资产ID。
2.如权利要求1所述的MMT装置，其中所述立体视频信息包括：
组合类型信息，其指定左视图图像和右视图图像结合以形成立体视频的方式；
视频序列描述信息，其指定在立体视频中结合的左视图图像和右视图图像的顺序；以及
视频类型描述信息，其指示构成立体视频的特定视图的视频是左视图图像还是右视图图像。
3.根据权利要求2所述的MMT装置，其中所述组合类型信息指示以下类型中的一个：并排型、垂直行交织型、帧序列型、左/右视图序列型、以及自上而下型。
4.根据权利要求3所述的MMT装置，其中仅当所述组合类型信息指示左/右视图序列型时才包括所述视频类型描述信息。
5.根据权利要求4所述的MMT装置，其中所述立体视频信息是以由ISO/IEC 23008-11指定的立体视频媒体信息(svmi)框的语法格式而被创建的，并且被包含在所述单个资产文件中。
6.根据权利要求4所述的MMT装置，其中所述立体视频信息是以由ISO/IEC 23008-1指定的立体视频信息描述符的语法格式而被创建的，并且被包含在所述信令消息的MMT包MP表中。
7.根据权利要求1所述的MMT装置，其中所述立体视频信息包括：
服务兼容性信息，其指示立体视频是否与2D视频服务兼容；
视频类型描述信息，其指示构成立体视频的特定视图的视频是左视图图像还是右视图图像；
基本视频描述信息，其指示构成立体视频的特定视图的视频是否可用于2D视频服务；
组合类型信息，其指定左眼图像和右视图图像结合以形成立体视频的方式；以及
视频序列描述信息，其指定在立体视频中结合的左视图图像和右视图图像的顺序；
其中仅当所述服务兼容性信息指示所述立体视频与2D视频服务兼容时才包括所述视频类型描述信息和所述基本视频描述信息，并且
仅当服务兼容性信息指示立体视频与2D视频服务不兼容时才包括组合类型信息和基本视频描述信息。
8.根据权利要求7所述的MMT装置，其中所述立体视频信息是以由ISO/IEC 23008-1指定的立体视频信息(svin)框的语法格式而被创建的，并且被包含在所述单个资产文件中。
9.根据权利要求7所述的MMT装置，其中所述立体视频信息是以由ISO/IEC 23008-1指定的立体视频信息描述符的语法格式而被创建的，并且被包含在所述单个资产文件中的MP表中。
10.一种在MMT装置中处理立体视频数据的方法，所述方法包括：
生成包含立体视频数据的单个资产文件；和
生成用于所述立体视频数据的信令消息，
其中所述单个资产文件包括与所述立体视频数据有关的立体视频信息，
当基于与基层和增强层有关的可缩放HEVC(SHVC)对所述立体视频数据进行编码时，其中multi_view_position_SEI消息用于指示所述立体视频数据的左视图和右视图，
其中所述multi_view_position_SEI消息包括num_view_minus1和view_position，
其中所述view_position的值是基于与基层相对应的视图确定的并且指示所述视图是右视图图像还是左视图图像，
其中所述单个资产文件包括与所述立体视频数据相对应的资产的资产ID，
其中所述单个资产文件包括所述资产的资产ID的长度，
其中所述单个资产文件包括多个媒体处理单元MPU，并且其中所述单个资产文件中的MPU包括资产ID。
11.如权利要求10所述的方法，其中：
立体视频信息包括：组合类型信息，其指定左视图图像和右视图图像结合以形成立体视频的方式；视频序列描述信息，其指定在立体视频中结合的左视图图像和右视图图像的顺序；以及视频类型描述信息，其指示构成立体视频的特定视图的视频是左视图图像还是右视图图像，
组合类型信息指示以下类型之一：并排型、垂直行交织型、帧序列型、左/右视图序列型、和自上而下型，并且
仅当组合类型信息指示左/右视图序列型时才包括视频类型描述信息。
12.根据权利要求11所述的方法，其中所述立体视频信息是以由ISO/IEC 23008-11指定的立体视频媒体信息(svmi)框的语法格式而被创建的，并且被包含在所述单个资产文件中。
13.如权利要求11所述的方法，其中所述立体视频信息是以由ISO/IEC23008-1指定的立体视频信息描述符的语法格式而被创建的，并且被包含在所述信令消息的MP表中。
CN201680035274.1A 2015-06-17 2016-06-15 用于处理立体视频数据的mmt装置和mmt方法 Active CN107787585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110879531.2A CN113490016B (zh) 2015-06-17 2016-06-15 Mmt方法

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR20150086168 2015-06-17
KR10-2015-0086168 2015-06-17
KR20150088689 2015-06-22
KR10-2015-0088689 2015-06-22
KR20150153397 2015-11-02
KR10-2015-0153397 2015-11-02
KR1020160072720A KR102519209B1 (ko) 2015-06-17 2016-06-10 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
KR10-2016-0072720 2016-06-10
PCT/KR2016/006333 WO2016204502A1 (ko) 2015-06-17 2016-06-15 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110879531.2A Division CN113490016B (zh) 2015-06-17 2016-06-15 Mmt方法

Publications (2)

Publication Number Publication Date
CN107787585A CN107787585A (zh) 2018-03-09
CN107787585B true CN107787585B (zh) 2021-08-17

Family

ID=57736807

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680035274.1A Active CN107787585B (zh) 2015-06-17 2016-06-15 用于处理立体视频数据的mmt装置和mmt方法
CN202110879531.2A Active CN113490016B (zh) 2015-06-17 2016-06-15 Mmt方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110879531.2A Active CN113490016B (zh) 2015-06-17 2016-06-15 Mmt方法

Country Status (4)

Country Link
US (3) US10412364B2 (zh)
JP (2) JP6730320B2 (zh)
KR (2) KR102519209B1 (zh)
CN (2) CN107787585B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351492B (zh) * 2018-04-06 2021-11-19 中兴通讯股份有限公司 一种视频数据处理方法、装置及介质
EP4026343A4 (en) * 2019-10-01 2022-11-09 Samsung Electronics Co., Ltd. METHOD, APPARATUS AND COMPUTER READABLE RECORDING MEDIA FOR TRANSMITTING OR RECEIVING VPCC DATA
CN112153395A (zh) * 2020-09-01 2020-12-29 海信电子科技（深圳）有限公司 流媒体数据播放方法和显示设备
US20220417543A1 (en) * 2021-06-28 2022-12-29 Tencent America LLC Multiview view position supplementary enhancement information message

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005114998A1 (en) * 2004-05-21 2005-12-01 Electronics And Telecommunications Research Institute Apparatus and method for transmitting/receiving 3d stereoscopic digital broadcast signal by using 3d stereoscopic video additional data
CN102860000A (zh) * 2010-01-28 2013-01-02 三星电子株式会社 产生用于提供三维多媒体服务的数据流的方法和设备以及用于接收所述数据流的方法和设备
CN102972039A (zh) * 2010-04-30 2013-03-13 Lg电子株式会社 处理图像的设备及处理图像的方法
KR20130031767A (ko) * 2011-09-21 2013-03-29 서울시립대학교 산학협력단 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치
CN103069817A (zh) * 2010-08-23 2013-04-24 Lg电子株式会社 用于在3dtv中提供3d视频数据的方法
CN103329544A (zh) * 2010-10-13 2013-09-25 韩国电子通信研究院 用于传送立体感视频信息的方法和设备
CN103339946A (zh) * 2010-12-03 2013-10-02 Lg电子株式会社 用于接收多视图三维广播信号的接收设备和方法
CN103535045A (zh) * 2010-12-02 2014-01-22 韩国电子通信研究院 用于传送立体视频信息的方法和设备
CN103843351A (zh) * 2011-09-29 2014-06-04 三星电子株式会社 用于发送和接收内容的方法和装置
KR20140090202A (ko) * 2011-10-13 2014-07-16 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치
CN104247413A (zh) * 2012-04-23 2014-12-24 Lg电子株式会社 用于3d服务的信号处理设备和方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2501137A3 (en) * 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
KR101434674B1 (ko) 2007-09-07 2014-08-29 삼성전자주식회사 스테레오스코픽 파일을 생성하기 위한 장치 및 방법
KR101311982B1 (ko) * 2009-06-15 2013-09-30 에스케이텔링크 주식회사 디지털 방송 시스템의 스테레오스코픽 비디오 서비스 제공/수신 방법 및 장치
JP2011066871A (ja) * 2009-08-21 2011-03-31 Sony Corp コンテンツ伝送方法及び表示装置
JP5559614B2 (ja) * 2010-04-21 2014-07-23 日立マクセル株式会社 受信装置および受信方法
US20150179218A1 (en) * 2010-09-10 2015-06-25 3DOO, Inc. Novel transcoder and 3d video editor
KR20120060771A (ko) * 2010-12-02 2012-06-12 한국전자통신연구원 스테레오스코픽 영상 정보의 전송 방법 및 장치
JP2013545361A (ja) 2010-12-13 2013-12-19 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート ステレオスコピックビデオサービスのためのシグナリング方法及びその方法を使用する装置
KR101827800B1 (ko) 2011-01-19 2018-02-12 한국전자통신연구원 단일 포트 또는 다중 포트에서 미디어 콘텐츠 전송 방법 및 장치
US9386125B2 (en) 2011-06-13 2016-07-05 Electronic And Telecommunications Research Institute Method for transmitting packet-based media data having header in which overhead is minimized
KR101959260B1 (ko) 2011-09-23 2019-03-18 한국전자통신연구원 Ｍｍｔ 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법
WO2013055168A1 (ko) * 2011-10-13 2013-04-18 한국전자통신연구원 콤포지션 정보 및 전송 특성 정보가 연동된 미디어 데이터를 이종 ip 네트워크를 통하여 전송하는 방법
US9319721B2 (en) * 2011-10-13 2016-04-19 Electronics And Telecommunications Research Institute Method of configuring and transmitting an MMT transport packet
JP2015503281A (ja) * 2011-11-23 2015-01-29 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ スケーラビリティ及びビュー情報を提供するストリーミングサービスのための方法及び装置
WO2013121823A1 (ja) * 2012-02-16 2013-08-22 ソニー株式会社 送信装置、送信方法および受信装置
KR101998892B1 (ko) * 2012-03-01 2019-07-10 소니 주식회사 송신 장치, 송신 방법 및 수신 장치
EP2830318A4 (en) 2012-03-23 2015-12-02 Humax Holdings Co Ltd TRANSMISSION METHOD AND HYBRID RECEPTION METHOD FOR SVC VIDEO CONTENT EMPTYED IN MMT
KR101501344B1 (ko) * 2012-05-02 2015-03-10 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치
KR20140002447A (ko) * 2012-06-29 2014-01-08 삼성전자주식회사 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치
US9843801B2 (en) * 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
WO2014010830A1 (ko) * 2012-07-10 2014-01-16 한국전자통신연구원 엠엠티의 하이브리드 전송 서비스에서 패킷 전송 및 수신 장치 및 방법
US9674499B2 (en) * 2012-08-15 2017-06-06 Qualcomm Incorporated Compatible three-dimensional video communications
US20140079116A1 (en) * 2012-09-20 2014-03-20 Qualcomm Incorporated Indication of interlaced video data for video coding
US9635394B2 (en) 2013-01-24 2017-04-25 Electronics And Telecommunications Research Institute Method and device for flexible MMT asset transmission and reception
US9503732B2 (en) * 2013-04-10 2016-11-22 Arris Enterprises, Inc. Re-sampling with phase offset adjustment for luma and chroma to select filters in scalable video coding
KR102148158B1 (ko) * 2013-04-23 2020-08-28 삼성전자주식회사 통신 시스템에서 패킷 송수신 방법 및 장치
US10070125B2 (en) * 2013-07-31 2018-09-04 Nokia Technologies Oy Method and apparatus for video coding and decoding
US20160249069A1 (en) * 2013-10-22 2016-08-25 Vid Scale, Inc. Error concealment mode signaling for a video transmission system
WO2015076616A1 (ko) * 2013-11-21 2015-05-28 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
BR112017008892A2 (pt) * 2014-11-05 2017-12-19 Sony Corp aparelhos e métodos de transmissão e de recepção

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005114998A1 (en) * 2004-05-21 2005-12-01 Electronics And Telecommunications Research Institute Apparatus and method for transmitting/receiving 3d stereoscopic digital broadcast signal by using 3d stereoscopic video additional data
CN102860000A (zh) * 2010-01-28 2013-01-02 三星电子株式会社 产生用于提供三维多媒体服务的数据流的方法和设备以及用于接收所述数据流的方法和设备
CN102972039A (zh) * 2010-04-30 2013-03-13 Lg电子株式会社 处理图像的设备及处理图像的方法
CN103069817A (zh) * 2010-08-23 2013-04-24 Lg电子株式会社 用于在3dtv中提供3d视频数据的方法
CN103329544A (zh) * 2010-10-13 2013-09-25 韩国电子通信研究院 用于传送立体感视频信息的方法和设备
CN103535045A (zh) * 2010-12-02 2014-01-22 韩国电子通信研究院 用于传送立体视频信息的方法和设备
CN103339946A (zh) * 2010-12-03 2013-10-02 Lg电子株式会社 用于接收多视图三维广播信号的接收设备和方法
KR20130031767A (ko) * 2011-09-21 2013-03-29 서울시립대학교 산학협력단 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치
CN103843351A (zh) * 2011-09-29 2014-06-04 三星电子株式会社 用于发送和接收内容的方法和装置
KR20140090202A (ko) * 2011-10-13 2014-07-16 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치
CN104247413A (zh) * 2012-04-23 2014-12-24 Lg电子株式会社 用于3d服务的信号处理设备和方法

Also Published As

Publication number Publication date
KR20230050292A (ko) 2023-04-14
US10911736B2 (en) 2021-02-02
CN113490016B (zh) 2023-08-22
KR20160149150A (ko) 2016-12-27
JP7080929B2 (ja) 2022-06-06
CN107787585A (zh) 2018-03-09
US11405599B2 (en) 2022-08-02
CN113490016A (zh) 2021-10-08
US20210160475A1 (en) 2021-05-27
JP2018526839A (ja) 2018-09-13
US10412364B2 (en) 2019-09-10
US20180302608A1 (en) 2018-10-18
US20200007846A1 (en) 2020-01-02
JP2020184773A (ja) 2020-11-12
JP6730320B2 (ja) 2020-07-29
KR102519209B1 (ko) 2023-04-07

Similar Documents

Publication Publication Date Title
US9544641B2 (en) Hybrid transmission method through MMT packet format extension
US11405599B2 (en) MMT apparatus and MMT method for processing stereoscopic video data
US8289998B2 (en) Method and apparatus for generating three (3)-dimensional image data stream, and method and apparatus for receiving three (3)-dimensional image data stream
AU2018301314A1 (en) Region-wise packing, content coverage, and signaling frame packing for media content
US11363330B2 (en) Method, apparatus and computer-readable recording medium for transmitting or receiving VPCC data
CA3059215A1 (en) High-level signalling for fisheye video data
CN106303673B (zh) 码流对齐、同步处理方法及发送、接收终端和通信系统
CN110832878B (zh) 增强区域取向包封及视区独立高效视频译码媒体配置文件
US10291922B2 (en) Method and apparatus for decoding an enhanced video stream
GB2608399A (en) Method, device, and computer program for dynamically encapsulating media content data
KR101941781B1 (ko) Mmt 기반 8k 방송 수신 방법 및 장치
WO2016204502A1 (ko) 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
US10630745B2 (en) MMT apparatus and MMT method for processing media data
US20120269256A1 (en) Apparatus and method for producing/regenerating contents including mpeg-2 transport streams using screen description
US20240314408A1 (en) Method, device, and computer program for dynamically encapsulating media content data
KR20180000320A (ko) 하이브리드 방송 서비스를 위한 타임드 메타데이터 송신 방법 및 장치
KR101943214B1 (ko) Mmt 기반 8k 방송 스트림 생성 방법 및 이를 적용한 방송 서비스 시스템
US20130120526A1 (en) Association of mvc stereoscopic views to left or right eye display for 3dtv

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant