CN102292997A - 广播接收机及其视频数据处理方法 - Google Patents

广播接收机及其视频数据处理方法 Download PDF

Info

Publication number
CN102292997A
CN102292997A CN2010800055131A CN201080005513A CN102292997A CN 102292997 A CN102292997 A CN 102292997A CN 2010800055131 A CN2010800055131 A CN 2010800055131A CN 201080005513 A CN201080005513 A CN 201080005513A CN 102292997 A CN102292997 A CN 102292997A
Authority
CN
China
Prior art keywords
video flowing
view
viewpoint
video
broadcasting receiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800055131A
Other languages
English (en)
Other versions
CN102292997B (zh
Inventor
徐琮烈
梁正烋
金镇泌
金官奭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN201510232384.4A priority Critical patent/CN104837001B/zh
Publication of CN102292997A publication Critical patent/CN102292997A/zh
Application granted granted Critical
Publication of CN102292997B publication Critical patent/CN102292997B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

公开了用于处理3D视频数据的广播接收机和方法。一种广播接收机的用于处理视频数据的方法包括以下步骤：接收包括视频流的广播信号，其中，所述视频流包括具有不同视点的多个视频流段；获取指示了所述视频流段的相应视点的视点信息；以及根据所述视点信息输出指示了当前显示的视频流的视点的界面。

Description

广播接收机及其视频数据处理方法
技术领域
本发明涉及广播接收机和用于处理视频数据以用在该广播接收机中的方法，并且更具体地说，涉及用于接收并处理三维(3D)视频数据的广播接收机和用于处理视频数据以用在该广播接收机中的方法。
背景技术
一般而言，三维(3D)图像(或立体图像)使用立体视觉原理为用户的眼睛提供立体效果。通过两眼之间约65毫米的间距所得到的双眼视差(binocular parallax)，人们能够感受到近和远，从而3D图像使得右眼及左眼分别观看与其相关联的平面图像，从而产生立体效果和透视效果。
可将上述3D图像显示方法划分为立体方案(stereoscopic scheme)、容量方案(volumetric scheme)、全息方案(holographic scheme)等。在使用立体方案的情况下，3D图像显示方法提供了要由左眼观看的左视图像和要由右眼观看的右视图像，从而通过偏光眼镜或显示设备，用户左眼观看到左视图像，而用户右眼观看到右视图像，使得识别出3D图像效果。
发明内容
技术问题
因此，本发明致力于广播接收机及其视频数据处理方法，其基本上避免了由于现有技术的限制和缺点所导致的一个或更多个问题。
本发明的目的是提供以下这种方法，其允许能够显示3D视频数据的接收设备或仅能够显示2D视频数据的其它接收设备适当地处理视频数据，并通过向各个接收设备输出适当的图像来为用户提供更高效和方便的广播环境。
技术方案
本发明的目的可以通过提供一种广播接收机的用于处理视频数据的方法来实现，该方法包括以下步骤：接收包括视频流的广播信号，其中，所述视频流包括具有不同视点的多个视频流段；获取指示了所述视频流段的相应视点的视点信息；以及根据所述视点信息输出指示了当前显示的视频流的视点的界面。
在本发明的另一方面，提供了一种广播接收机，该广播接收机包括：调谐器，其用于接收广播信号；解复用器，其用于从所述广播信号中提取视频流，其中，所述视频流包括具有不同视点的多个视频流段；解码器，其用于对所提取的视频流进行解码；以及三维(3D)显示控制器，其用于获取指示了所述视频流段的相应视点的视点信息，并根据所获得的视点信息来对所述视频流的3D视频显示输出进行控制，其中，所述3D显示控制器根据所述视点信息来输出指示了当前显示的视频流的视点的界面。
本发明的有利效果
根据本发明的各个实施方式，所述广播接收机识别出接收到的视频流中包含的各个图像的视点，从而其控制3D显示输出。
根据本发明的各个实施方式，所述广播接收机响应于各个视点来控制视频数据的输出，从而其可以准确地显示3D图像，从而实现3D效果。
附图说明
附图被包括来提供对本发明的进一步理解，附图示出了本发明的实施方式，并且与说明书一起用来解释本发明的原理。
在附图中：
图1是示出根据本发明的一个实施方式的、用于传送3D内容视频流的方法的概念图。
图2是示出根据本发明的一个实施方式的、对包括补充增强信息(SEI)消息的视频流进行处理的次序的流程图。
图3示出了根据本发明的一个实施方式的、包括视图分支元数据(view branchingmetadata)的SEI消息的语法结构。
图4示出了根据本发明的一个实施方式的数据view_branch_data的语法结构。
图5示出了根据本发明的一个实施方式的、包括视图分支元数据的打包基本流(PES：Packetized Elementary Stream)包的语法结构。
图6是示出根据本发明的一个实施方式的、用于允许广播接收机在视图分支元数据包含在视频基本流(ES)中时处理视频数据的方法的流程图。
图7是示出根据本发明的一个实施方式的、用于允许广播接收机在视图分支元数据包含在附加的PES包中时处理视频数据的方法的流程图。
图8是示出根据本发明的一个实施方式的、用于控制3D视频流的输出的方法的概念图。
图9是示出根据本发明的一个实施方式的、能够处理3D广播信号(其包括视图分支元数据)的广播接收机的组成部件的框图。
图10是示出根据本发明的一个实施方式的、用于提供指示了在广播接收机中使用的视点的界面的方法的流程图。
图11示出了根据本发明的一个实施方式的、指示了视点的界面的显示。
图12是示出根据本发明的一个实施方式的、对通过指示视点的界面所获得的显示图像的视点控制的概念图。
图13示出了用于指示出是否按照2D图像观看模式来提供3D广播服务的用户界面。
图14示出了根据本发明的一个实施方式的、在广播信号的节目和系统信息协议(PSIP)信息中包含的地面虚拟频道表(TVCT)的表格式。
图15示出了根据本发明的一个实施方式的、在广播信号的节目特定信息(PSI)信息中包含的节目映射表(PMT)的表格式。
具体实施方式
现在将详细参照本发明的优选实施方式，在附图中示出了这些实施方式的实施例。参照附图给出的以下具体描述旨在说明本发明的示例性实施方式，而不是仅仅示出根据本发明可以实现的实施方式。
在描述本发明之前应当注意的是，本发明中公开的大部分术语是考虑到本发明的功能而限定的，并且对应于本领域中公知的通用术语，而且，可以根据本领域技术人员的意图、通常的实践或者新技术的引入而另行确定这些术语。在一些情况下，申请人根据需要选择了一些术语，并且将在下文对本发明的以下描述中公开这些术语。因此，优选的是，应当基于申请人定义的术语在本发明中的含义来理解这些术语。
3D图像显示方法包括立体成像方案(考虑两个视点)以及多视图成像方案(考虑三个或更多个视点)。相应地，现有技术中示出的单视图图像方案也可以称为单视场图像方案。
立体成像方案设计为使用当左侧摄像机和右侧摄像机(其彼此相隔预定距离)拍摄同一目标对象时所获取的一对右视图像和左视图像。多视图成像方案使用由三个或更多个摄像机(其彼此相隔预定距离或角度)所拍摄的三个或更多个图像。虽然以下描述公开了本发明的使用立体成像方案作为实施例的实施方式，但是，本发明的创造性概念也可以应用于多视图成像方案。
可以根据各种方法(包括运动图像专家组(MPEG)方案)来对立体图像或多视图图像进行压缩和编码，并将其发送到目的地。
例如，可以根据H264/高级视频编码(AVC)方案来对立体图像或多视图图像进行压缩和编码，并将其发送。在这种情况下，接收系统可以按照与H264/AVC编码方案相反的次序来对接收到的图像进行解码，从而能够获得3D图像。
另外，可将立体图像的左视图像和右视图像中的一个、或者多视图图像中的一个指定为基本层的图像，而将剩下的一个图像指定为扩展层的图像。可以使用与单视场成像方法相同的方法来对基本层图像进行编码。对于扩展层图像，仅对基本层图像与扩展层图像之间的关系的信息进行编码和发送。作为用于基本层图像的示例性压缩编码方案，可以使用JPEG、MPEG-2、MPEG-4或者H.264/AVC方案。为了便于描述，在本发明的一个实施方式中示例性地使用H.264/AVC方案。在本发明的一个实施方式中，用于上层或高层的图像的压缩编码方案可以设置为H.264/多视图视频编码(MVC)方案。
当将MVC方案附加应用于AVC方案、或者仅使用AVC方案对右图像/左图像序列进行编码以实现立体显示时，广播相应3D内容时要适当考虑的一点是，与现有技术的2D广播接收机的兼容性。对于不能支持3D图像显示的现有广播接收机而言，如果根据后向兼容的方法来对右视图像和左视图像中的一个进行编码和发送，则该2D广播接收机仅识别出相应的信号并进行输出，从而用户能够通过现有设备来观看相应内容。
在3D内容传输的一个实施方式中，选择右视图像/左视图像中的一个，并将所选择的图像编码为2D兼容信号，从而传送2D兼容信号。然而，在这种情况下，考虑到制造商的意图、图像效果或者观看环境，可将在同一内容中作为2D图像而发送的视频流编辑成按照各个段具有不同视点的图像序列，从而可以发送所生成的图像序列。例如，当在同一内容内按照各个段生成2D视频流时，将初始10分钟的数据指定为左视图像，而将接下来15分钟的数据指定为右视图像，从而形成2D视频流。为了与现有设备的兼容性，通过单个流对所形成的2D图像流进行后向兼容编码(例如，AVC编码)，从而传送编码后的结果。
图1是示出根据本发明的一个实施方式的、用于传送3D内容视频流的方法的概念图。
参照图1，按照左视图对左视图像序列1010进行拍摄和编辑，而按照右视图对右视图像序列1040进行拍摄和编辑，从而生成3D内容。
为了实现2D广播接收机的显示功能，传输系统选择左视图像序列1010和右视图像序列1040中的一个，并对所选择的图像序列进行编码和发送。然而，如果需要，可以对当选择和设置左视图像和右视图像时所获取的视频流1020进行编码和发送。
在图1中，视频流1020(其中设置有左视图视频流段、右视图视频流段以及该左视图视频流段)是能够由2D广播接收机显示的经AVC编码的视频流、以与现有设备兼容。在这种情况下，该视频流段指示了不同视点的视频流中包含的视频流段，并且，该段可以按照视频帧、图片或序列单元进行配置。
通过AVC方案或MVC方案对用于3D广播接收机的附加的视频流1030进行编码，并将其发送。
需要一种2D广播接收机来接收已针对2D广播接收机进行编码和发送的视频流1020，对接收到的视频流1020进行解码，并输出解码得到的结果。然而，当3D广播接收机接收针对2D广播接收机的视频流1020和附加的视频流1030，并在没有任何改变的情况下输出接收到的视频流1020和1030时，可能出现左视图像和右视图像相互替代的不期望的段。
换言之，如果在如图1中所示的编码后的视频流1020和1030中一个视点改变为另一视点，则在响应于相应视点未正确控制3D输出的状况下，不能正常显示3D图像。当对该3D视频流进行解码时，必须将右视图像段发送到用于显示右视图像的显示输出单元，并且必须将左视图像段发送到用于显示左视图像的显示输出单元。甚至可以将这种对视点的改变或控制应用于多视图图像。
下文将参照附图来描述指示了信令数据的视图分支元数据，该视图分支元数据按照图片、帧或序列单元来通知相应图像视点的编码后的图像序列。将在下文详细描述用于传送视图分支元数据的方法和当接收视图分支元数据时所执行的广播接收机操作。
首先，将在下文描述根据本发明的一个实施方式的、用于将视图分支元数据包括在视频基本流(ES)中并发送所生成的视频ES的方法。
在使用H264(或AVC)视频数据或MVC扩展视频数据的情况下，视频ES可以包括补充增强信息(SEI)消息。SEI消息指示了对于视频编码层(VCL)的解码过程所不需要的附加的信息。另外，SEI消息可以包括：与假想参考解码器(HRD：Hypothetical Reference Decoder)有关的各个图片定时信息；摇摄/扫描功能(即，用于读取并显示解码得到的图像的某些部分的功能)的信息；随机存取所需的信息；由用户独立限定的信息等等。
图2是根据本发明的一个实施方式的、对包括SEI消息的视频流进行处理的次序的流程图。
下文将详细描述图2中示出的用于处理访问单元的方法。
在步骤2010当存在访问单元定界符网络抽象层(NAL)单元时，其应当是第一NAL单元。在任何访问单元中应当至多有一个访问单元定界符NAL单元。
在步骤S2020当存在任何SEL NAL单元时，在步骤S2030它们应当位于主编码后的图片之前。当存在包含缓冲周期SEI消息的SEI NAL单元时，该缓冲周期SEI消息应当是访问单元中的第一SEI NAL单元的第一SEI消息有效载荷。
主编码后的图片应当位于相应的冗余编码后的图片之前。在步骤S2040当存在冗余编码后的图片时，它们应当以redundant_pic_cnt值的升序来进行排序。
当存在序列参数集扩展NAL单元时，其应当是具有与该序列参数集扩展NAL单元中的seq_parameter_set_id相同的值的序列参数集NAL单元之后的下一NAL单元。
在步骤S2050当存在不具有划分多个NAL单元的辅助编码后的图片的一个或更多个编码片时，它们应当跟随在主编码后的图片和全部冗余编码后的图片(如果有)之后。
在步骤S2060当存在序列NAL单元的结尾时，其应当跟随在主编码后的图片和全部冗余编码后的图片(如果有)、以及没有划分NAL单元的辅助编码后的图片的全部编码片(如果有)之后。
在步骤S2070当存在流NAL单元的结尾时，其应当是最后NAL单元。
在本发明的一个实施方式中，传输系统可以将视图分支元数据包括在视频ES的SEI区域中，并发送得到的视频ES。
图3示出了根据本发明的一个实施方式的、包括视图分支元数据的SEI消息的语法结构。
如可以从图3的SEI消息看到的，传输系统使用“user_data_registered_itu_t_35()”字段中包括的“user_identifier”和“user_structure”字段，来发送广播应用所需的附加信息，其中SEI有效载荷类型值设置为4。“ATSC_user_data()”字段包含在“user_structure()”字段中，并且，传输系统能够通过参照“user_data type_code”字段来识别出相应数据是数据“view_branch_data”。接收机能够使用“user_data type_structure”字段的“view_branch_data()”中包含的各个字段，来识别出哪一个视图包含在相应图片中。
图4示出了根据本发明的一个实施方式的视图分支数据“view_branch_data”的语法结构。
参照图4，“left_right_view_flag”字段指示了包括SEI消息在内的图片是左视图像还是右视图像。在图4中所示的实施方式中，如果“left_right_view_flag”字段设置为“0”，则表示包括SEI消息的图片是左视图像。否则，如果“left_right_view_flag”字段设置为“1”，则表示包括SEI消息的图片是右视图像。
为了便于描述和更好地理解本发明，图4中示出的实施方式示出立体图像作为实施例。在多视图图像的情况下，为“view_flag”字段指定两个或更多个比特，以指示相应图像的视点。
可以按照各种方式来获得用于发送视图分支元数据的方法，并且下文将详细描述相关的实施方式。
在一个实施方式中，可以在指示图像序列的头部图片的瞬时解码刷新(IDR)图片的位置处发送视图分支元数据。与IDR图片相关联，因为H.264/AVC方案通常允许帧间预测来指示位于I图片之后的P图片指代位于I图片之前的其它图片，所以，难以仅使用通用I图片来完整初始化一个状态，从而使用IDR图片来解决该问题。
在另一实施方式中，可以在每个图片位置发送视图分支元数据。
在另一实施方式中，可以在各个序列的起始位置处发送视图分支元数据。在这种情况下，可以维持之前的视图分支元数据，直到接收到新的视图分支元数据为止。
在另一实施方式中，可以在各个图片位置发送视图分支元数据，同时在一个序列中可以将相应值保持在相同值处。换言之，如果针对2D视频序列在特定段中选择了一个视点，则可以对视频序列进行编码，从而在一个序列中维持同一视点。
另外，还可以针对按照两个流或一个流来传送立体视频数据的各种情况而提出其它实施方式。
在一个实施方式中，如果按照两个流来传送立体视频数据，则基本上将视图分支元数据包括在基本视图视频流中，然后将其发送。即使在处理扩展视图视频流的情况中，也可能使用该基本视图视频流中包括的视点的信息。例如，在立体视频流的情况中，扩展视图视频流的视点与基本视图视频流的视点是相对的，从而，即使在处理扩展视图视频流的情况下也仍然可能使用基本视图视频流中包括的视点的信息。在另一实施方式中，基本视图视频流甚至可以包括扩展视图视频流的视点信息，并发送所得到的基本视图视频流。
另外，可将视图分支元数据包括在扩展视图视频流中并将其发送，或者，可以将其包括在全部流的每一个流中并将其发送。
在另一实施方式中，如果按照一个流来传送立体视频数据，则按照并列、上下、纵横交错、水平/垂直交织格式等的形式来混合左视图像和右视图像，然后将其发送。即使在这种情况下，可以将视图分支元数据包括在视频数据流中(如上所述)，针对2D模式的2D广播接收机或3D广播接收机使用视图分支元数据来对由左视图像或右视图像构成的2D序列进行重构，并可以显示重构得到的2D序列。
与视点标识相关的多个实施方式可以应用于在两个流中形成的立体视频数据。
在一个实施方式中，可以使用视图分支元数据来初始指定流的左标识/右标识，从而可以进行分支。在另一实施方式中，可以经由指示了视点的标志来指定相应流的基本视点标识，并且可以经由视图分支元数据来进行分支。
下文将详细描述根据本发明的一个实施方式的、用于构造包括视图分支元数据的附加的打包基本流(PES)包并发送所构造的PES包的方法。
与上述将视图分支元数据包括在视频流中不同的是，除了视频及音频流之外，传输系统可以构造附加的独立PES包的视图分支元数据，然后发送所构造的视图分支元数据。
图5示出了根据本发明的一个实施方式的、包括视图分支元数据的PES包的语法结构。
在图5中，“steam_id”字段具有值“0xBF”，并指示包括视图分支元数据的PES的流ID。
当为不同的专有数据PES服务时，“data_identifier”字段指示出相应PES等同于与视图分支元数据相关的PES。
“base_view_flag”字段指示了经由“view_branch_segment”传送的元数据所应用到的流是基本视图流(例如，AVC流)还是扩展视图流(例如，MVC扩展流)。
“number_of_scenes”字段指示了与视图分支元数据进行交互的视频流中包含的场景的数量，并且，在立体图像的情况中各个场景包括左视图像和右视图像中的一个。
“left_right_view_flag”字段指示了相应帧中包括的图片是左视图像还是右视图像。在图5中示出的实施方式中，如果“left_right view_flag”设置为“0”，则表示该图片是左视图像。否则，如果“left_right_view_flag”设置为“1”，则表示该图片是右视图像。
为了便于描述和更好地理解本发明，图5中示出的实施方式示出立体图像作为实施例。在多视图图像的情况中，将两个或更多个比特指定给“view_flag”字段，以指示出相应图像的视点。可以从“start_frame_num”字段和“end_frame_num”字段获取关于与由“left_right_view_flag”字段所指示的视点有关的帧段的信息。
“start_frame_num”字段指示了相应场景的第一图片的帧编号，并且可以根据实施方式通过解码次序或显示次序来表示。
“end_frame_num”字段指示了相应场景的最后图片的帧编号，并且可以通过解码次序或显示次序来表示。
图6是示出根据本发明的一个实施方式的、用于允许广播接收机在视图分支元数据包含在视频基本流(ES)中时处理视频数据的方法的流程图。
参照图6，广播接收机接收广播信号，对节目和系统信息协议(PSIP)信息进行解析，并且，可以在步骤S6010从PSIP信息中包含的节目映射表(PMT)或地面虚拟频道表(TVCT)中获取视频ES的PID信息。广播接收机在步骤S6020可以通过使用所获取的PID信息设置滤波器来对相应视频ES进行滤波，然后对提取的视频流进行解码。
广播接收机在步骤6030能够通过对视频流进行解码来对SEI消息进行解码。可以根据图2和图3中示出的方法来进行对视频流中包含的SEI消息的解码。
在步骤S6040，广播接收机对SEI消息中包含的“view_branch_data”进行解析，从而能够识别出相应图片的视点。图6中示出的实施方式公开了立体图像作为实施例的情况。在图6的实施方式中，相应图片的视点可以是左视图或右视图。
在步骤S6050，广播接收机使用解析得到的view_branch_data的视点信息，来对解码图片的3D立体输出进行控制。根据广播接收机的3D立体输出控制，将3D立体图像的左视图像输出到左视图像输出单元，而将3D立体图像的右视图像输出到右视图像输出单元，从而可以根据期望的3D效果来显示该3D立体图像。
图7是示出根据本发明的一个实施方式的、用于允许广播接收机在视图分支元数据包含在附加的打包基本流(PES)包中时处理视频数据的方法的流程图。
参照图7，广播接收机接收广播信号，并对节目和系统信息协议(PSIP)信息进行解析。在步骤S7010，广播接收机可以从解析得到的PSIP信息中包含的PMT或TVCT中获取包括视图分支元数据的PES包的PID信息。
在步骤S7020，广播接收机使用所获取的PID信息来执行滤波处理，从而可以将包括视图分支元数据的PES包发送到视图分支元数据处理器。在步骤S7030，视图分支元数据处理器可以对接收到的PES包进行解码并存储。
在步骤S7040，广播接收机可以使用解码得到的视图分支元数据来获取要解码和输出的图片的视点。图7中示出的实施方式公开了立体图像作为实施例的情况。在图7的实施方式中，相应图片的视点可以是左视图或右视图。
在步骤S7050，广播接收机使用所获取的视点信息来对解码得到的图片的输出进行控制。根据广播接收机的3D立体输出控制，将3D立体图像的左视图像输出到左视图像输出单元，而将3D立体图像的右视图像输出到右视图像输出单元，从而可以根据期望的3D效果来显示该3D立体图像。
图8是示出根据本发明的一个实施方式的、用于控制3D视频流的输出的方法的概念图。
在图8中，3D视频流是立体图像，根据AVC方案来对基本层的视频流8010进行编码，而根据AVC或MVC扩展方案来对扩展层的视频流8020进行编码。基本层的视频流8010包括与次序“左视图(L)→右视图(R)→左视图(L)(即，左-右-段)”相应的段，而扩展层的视频流8020包括与次序“右视图(R)→左视图(L)→右视图(R)(即，右-左-右段)”相应的段。
针对2D模式的2D广播接收机或3D广播接收机接收基本层的视频流8030，并在没有任何改变的情况下输出接收到的视频流8030。针对3D模式的3D广播接收机如上述来处理视图分支元数据，并且根据所获取的视点信息来对解码得到的视频流的输出进行控制。因此，在输出视频流8040中，可将左视图像输出到左视图像输出单元，而可将右视图像输出到右视图像输出单元。
图9是示出根据本发明的一个实施方式的、能够处理包括视图分支元数据的3D广播信号的广播接收机的组成部件的框图。
参照图9，广播接收机包括调谐器及解调器9010、残余边带(VSB)解码器9020、传输包(TP)解复用器(TP Demux)9030、PSI/PSIP处理器9040、音频/视频(A/V)解码器、扩展视频解码器9060、以及3D立体控制及3D格式化器9070(下文中称为3D视频处理器9070)。根据本发明的一个实施方式，广播接收机还可以包括元数据处理器9080。A/V解码器9050包括用于处理视频数据的视频编码层9090，并包括用于处理补充数据的报头及扩展9100。扩展视频解码器9060可以包括用于处理视频数据的视频编码层9110，并包括用于处理补充数据的报头及扩展9120。虽然在图9中未示出，但是，广播接收机还可以包括能够控制广播接收机的单独组件的控制器。
此外，广播接收机可以包括多个图像输出单元(在图9中未示出)，用于按照需要输出相应视点的图像。
用于显示立体图像的广播接收机还可以包括左视图像输出单元和右视图像输出单元。另外，一个图像输出单元可以控制单个视点的图像，然后在屏幕上显示得到的图像。
A/V解码器9050是用于对基本视图视频数据进行解码、以用于2D图像输出的解码器，而扩展视频解码器9060是用于对扩展视图视频数据进行解码、以用于3D图像输出的解码器。
广播接收机可以根据用于发送视图分支元数据的方法按照各种方式工作。
方法“A”(9140或9150)指示了当将视图分支元数据包含在视频流的SEI消息中后进行发送时，广播接收机如何工作。方法“B”(9130)指示了当将视图分支元数据包含在附加的PES包中后进行发送时，广播接收机如何工作。
首先，下文将详细描述当将视图分支元数据包含在视频流的SEI消息中并且随后进行发送时的广播接收机的操作。
广播接收机从PSI/PSIP处理器9040解析得到的PMT和TVCT信息中提取视频流PID，并允许TP解复用器9030使用相应视频流PID来输出视频流。如果输出的视频流相应于基本视图视频流(AVC)，则TP解复用器9030将视频流输出到A/V解码器9050。如果输出的视频流对应于扩展视图视频流(MVC扩展)，则TP解复用器9030将视频流输出到扩展视频解码器9060。
A/V解码器9050和扩展视频解码器9060分别对接收到的视频流中的视频数据和补充数据进行处理，并将处理后的数据输出到3D视频处理器9070。在这种情况下，A/V解码器9050和扩展视频解码器9060对视频流中包含的视图分支元数据进行处理，因此输出视点信息。
3D视频处理器9070响应于各个视点，使用视点信息来对从A/V解码器9050和扩展视频解码器9060接收到的视频数据进行控制，并随后输出经过控制的数据。
可以从A/V解码器9050和扩展视频解码器9060中的至少一个输出视点信息。
下文将详细描述当将视图分支元数据包含在附加的PES包中并随后进行发送时的广播接收机的操作。
广播接收机从PSI/PSIP处理器9040解析得到的PMT和TVCT信息中提取包括视图分支元数据的PES包的PID，并允许TP解复用器9030使用相应PID来将PES包(视图分支区段)输出到元数据处理器9080。
元数据处理器9080处理包括视图分支元数据的PES包，从而将视点信息输出到3D视频处理器9070。
3D视频处理器9070响应于各个视点，使用视点信息来对从A/V解码器9050和扩展视频解码器9060接收到的视频数据进行控制，并随后输出经过控制的数据。
在一个实施方式中，3D视频处理器9070响应于各个视点来重构视频流，从而可将包括左视图像的一个视频流输出到左视图像输出单元，而可将包括右视图像的另一视频流输出到右视图像输出单元。在另一实施方式中，3D视频处理器9070可以使用获取的视点信息来从视频流缓冲器(未示出)中读取相应视点的视频数据，并控制图像输出单元来输出所读取的视频数据。
当用户观看3D图像时，用户可以考虑各种因素(例如，眼睛疲劳、观看环境的变化、广播内容等)而将当前观看模式(即，3D图像观看模式)切换到2D图像观看模式。对于上述模式切换，需要向用户提供视点信息。
下文将详细描述用于使用上述视点信息来向用户提供用户界面(UI)的广播接收机、以及用于提供该UI的方法。
图10是示出根据本发明的一个实施方式的、用于提供指示了在广播接收机中使用的视点的界面的方法的流程图。
参照图10，控制器在步骤S10010将广播接收机的视频观看模式切换到另一模式。更详细地说，控制器在步骤S10010将3D视频观看模式切换到2D视频观看模式。广播接收机可以接收用户输入信号，从而可以根据接收到的用户输入信号来执行上述切换操作。
广播接收机在步骤S10020使用解码器对2D视频流进行解码，并输出解码得到的视频流。在2D视频观看模式期间，广播接收机可以仅对基本视图视频流进行解码，并输出解码得到的视频流。
广播接收机在步骤S10030获取输出的视频流的视点信息。可以如上文所描述来执行广播接收机获取输出的视频流的视点信息的操作。换言之，广播接收机可以使用元数据处理器或解码器来获取视点信息，并且对其详的细描述与图3-图9相同。
广播接收机在步骤S10040根据视点信息来生成指示了输出的视频流的视点的界面，并且使用3D视频处理器来输出所生成的指示了视点的界面。广播接收机通过视点信息中包含的left_right_view_flag字段来识别出当前输出的视频流是左视图视频流还是右视图视频流，生成指示来该视频流的视点的界面，并输出所生成的界面。
在本发明的一个实施方式中，如果从解码器或元数据处理器获取的left_right_view_flag字段设置为“0”，则广播接收机确定该显示图像是左视图像。如果从解码器或元数据处理器获取的left_right_view_flag字段设置为“1”，则广播接收机确定该显示图像是右视图像。然后，广播接收机可以使用用户界面来表示所确定的显示图像的视点。
图11示出了根据本发明的一个实施方式的、指示了视点的界面的显示。
图11示出了2D视频观看模式(即，2D模式)的显示屏幕图像11010和11020。在本发明的一个实施方式中，广播接收机显示指示了视点11030和11040的界面(各个还可以称为视图指示符)，该界面指示了2D图像当前显示所在的屏幕的某些部分上的显示图像的视点。
在这种情况下，广播接收机可以根据当前显示的视频流的视点信息、使用指示视点11030和11040的界面来表示视点信息。更详细地说，广播接收机可以根据视点信息中包含的left_right_view_flag字段的字段值，通过指示了视点11030和11040的界面来表示当前显示的图像的视点。
在本发明的一个实施方式中，指示图11中所示的显示图像11010的视点11030的界面示出了当前图像的视点信息中包含的left_right_view_flag字段设置为“0”的示例性情况。在指示视点11030的界面中，对指示左视图的左框“L”进行上色或高亮，以使得上色或高亮的左框“L”表示当前显示左视图像。在显示图像11020中，如果当前显示图像的视点信息中包含的left_right_view_flag字段设置为“1”，则对指示右视图像的右框“R”进行上色或高亮，以使得当前显示上色或高亮的右框“R”。根据各个实施方式和实现方法，如果需要，指示了视点11030和11040的界面的位置和用于显示指示视点的界面的方法可以与图11的位置和方法不同。
图12是示出根据本发明的一个实施方式的、对通过指示视点的界面所获得的显示图像的视点控制的概念图。
在一个实施方式中，如果用户选择指示了视点的界面的L框或R框，则当前视点改变为用户通过该界面所选择的视点，从而可以响应于改变的视点来对图像输出操作进行控制。
在使用“L”来标示通过指示了显示图像12010的视点12030的界面而显示的当前图像的情况下，可以通过远程控制器输入动作或在屏幕上显示的指针来选择“R”。如果用户选择右视图，则广播接收机将当前输出图像转换为右视图像。在一个实施方式中，在从基本视图视频流中解码出当前在屏幕上显示的左视图像、并通过指示视点的界面来选择视点转换的情况下，广播接收机将作为基本视图视频流的当前解码目标改变为扩展视图视频流，对相应间隔的右视图像进行解码，并显示解码得到的图像12020。
因此，用户可以通过指示了视点的界面来识别出当前图像的视点信息，并且可以主动选择特定视点图像和所选视点的视图。
图13示出了用于指示出是否按照2D图像观看模式来提供3D广播服务的用户界面。
参照图13，如果用户在按照2D视频观看模式(即，2D模式)观看广播内容时将当前频道或节目切换到另一频道或节目，则基本上维持2D视频观看模式。然而，在按照3D广播服务来提供切换后的频道或节目的内容的状况下，需要向用户通知该状况。
在图13中，执行频道或节目切换，使得在显示屏幕13010上显示2D图像。在这种情况下，广播接收机确定是否为相应频道或节目提供3D广播服务。如果用户可以观看3D图像，则显示指示该情形的用户界面13020和13030。
在图13的实施方式中，示出了第一UI 13020和第二UI 13030。第一UI 13020提供了用于将观看模式切换到3D图像观看模式的用户输入。如果用户期望继续观看2D图像，则第二UI 13030提供用于停止显示UI的用户输入。在切换频道或节目的情况下，按照1到3分钟的间隔来显示使得用户能够识别出3D可用性的第一UI13020，达到5到10秒。如果用户期望继续以2D模式观看图像，则用户按下第二UI 13030，以阻止显示3D可用性。可以通过箭头标记来选择性地键入UI 13020和13030，或者可以通过远程控制器的按钮来键入UI 13020和13030。在这种情况下，可以通过此类UI来额外显示相应按钮的信息。例如，如果用户期望观看3D图像，则用户按下第一按钮1。如果用户期望继续观看2D图像，则用户按下第二按钮2。
在图13的实施方式中，广播接收机必须确定当前显示的频道或节目是否提供3D广播服务。下文将参照以下实施方式来描述用于确定是否提供3D广播服务的方法。
首先，如果在接收到的广播信号中包含扩展视图视频流，则广播接收机确定提供3D广播服务。也就是说，PSI/PSIP处理器解析系统信息。如果在接收到的广播信号中存在扩展视图视频流或相关的信息，则广播接收机确定是否提供3D广播服务。
另外，广播接收机对PSI信息中包含的PMT或PSIP信息中包含的TVCT进行解析，并确定是否存在3D广播服务。
如果用户通过上述UI选择了3D视频观看模式，则广播接收机对3D视频流进行解码，并显示解码得到的3D视频流。在这种情况下，广播接收机可以使用参照图1到图9所述的方法来解码和输出3D视频流。也就是说，广播接收机获取视点信息，根据所获取的视点信息来控制基本视图视频流和扩展视图视频流，并输出经过控制而得到的流。
图14示出了根据本发明的一个实施方式的、在广播信号的PSIP信息中包含的TVCT的表格式。
图14中示出的TVCT中包含如下各个字段。
“table_id”字段是指示表段类型的8比特无符号整数字段。
“section_syntax_indicator”字段是1比特字段，其对于“terrestrial_virtual_channel_table_section()”字段应当设置为“1”。
“private_indicator”字段是应当设置为“1”的1比特字段。
“section_length”字段是12比特字段(其中前两个比特应当设置为“00”)，并指定了紧跟在“section_length”字段之后开始的该段的字节数(包括CRC)。
“transport_stream_id”字段指示16比特的MPEG-2传输流(TS)ID。“transport_stream_id”字段将地面虚拟频道表(TVCT)与可以在不同PTC中广播的其它内容进行区分。
作为5比特字段的“version_number”字段指示虚拟频道表(VCT)的版本号。
“current_next_indicator”字段是1比特指示符。在“current_next_indicator”字段设置为“1”的情况下，这表示所发送的虚拟频道表(VCT)是当前可应用的。当“current_next_indicator”字段的比特设置为“0”时，这表示所发送的表不再可应用，并且下一个表应当为有效。
“section_number”字段是给出该段的编号的8比特字段。
作为8比特字段的“last_section_number”字段指定了完整地面虚拟频道表(TVCT)的最后段(即，具有最高section_number值的段)的编号。
“protocol_version”字段为8比特无符号整数字段，用于在将来允许表类型承载可以与当前协议中限定的方式不同构造的参数。
作为8比特字段的“num_channels_in_section”字段指定了该VCT段中虚拟频道的数量。
“short_name”字段可以指示虚拟频道的名称，其被表示为根据用于统一代码字符数据的UTF-16标准而解释的1到7个16比特代码值的序列。
“major_channel_number”字段指示10比特数，其表示与在“for”循环的该次迭代中所定义的虚拟频道相关联的“major(主要)”频道编号。
“minor_channel_number”字段指示范围从“0”到“999”的10比特数，以表示“minor(次要)”或“sub(子)”频道编号。该“minor_channel_number”字段与“major_channel_number”字段一起可以指示两部分频道编号，其中“minor_channel_number”字段表示该编号的第二部分或右侧部分。
“modulation_mode”字段包括8比特无符号整数，其可以指示用于与虚拟频道相关联的发送载波的调制模式。
“carrier_frequency”字段可以指示允许的载波频率。
“channel_TSID”字段是范围从0x0000到0xFFFF的16比特无符号整数字段。“channel_TSID”字段表示与承载由虚拟频道所涉及的MPEG-2节目的传输流(TS)相关联的MPEG-2传输流(TS)ID。
“program_number”字段包括16比特无符号整数，其将这里定义的虚拟频道与MPEG-2节目联合和TS节目映射表进行关联。
作为2比特字段的“ETM_location”字段指定了扩展文本消息(ETM)的存在和位置。
“access_controlled”字段指示1比特布尔标志。当“access_controlled”字段的布尔标志被置位时，这表示可以对存取与虚拟频道相关联的事件进行控制。
“hidden”字段指示1比特布尔标志。当“hidden”字段的布尔标志被置位时，这表示用户直接键入虚拟频道编号无法访问该虚拟频道。
“hide_guide”字段指示布尔标志。当针对隐藏频道“hide_guide”字段的布尔标志设置为零“0”时，这表示虚拟频道和虚拟频道事件可以出现在EPG显示中。
“service_type”字段是应当标识出虚拟频道中承载的服务的类型的6比特枚举型字段。
“source_id”字段包括标识出与虚拟频道相关联的节目源的16比特无符号整数。
“descriptor_length”字段可以指示用于虚拟频道的描述符的总长度(字节)。
“descriptor()”字段可以包括确定为适于“descriptor()”字段的零个或更多个描述符。
“additional_descriptors_length”字段可以指示VCT描述符列表的总长度(字节)。
“CRC_32”字段是包含CRC值的32比特字段，CRC值确保在处理整个地面虚拟频道表(TVCT)段之后，在根据ISO/IEC 13818 1“MPEG-2 Systems”[8]的附录A所定义的解码器内的寄存器的零输出。
“service_type”字段14010还可以指示从相应频道提供的广播服务是3D广播服务。根据一个实施方式，如果“service_type”字段14010具有值0x12，则其可以识别为相应虚拟信道提供了3D广播节目(包括音频流、视频流，以及用于显示3D立体图像的附加视频流)。
因此，广播接收机使用PSI/PSIP处理器来解析TVCT，并通过TVCT的service_type字段来确定是否提供3D广播服务。
图15示出了根据本发明的一个实施方式的、在广播信号的PSI信息中包含的PMT的表格式。
图15中示出的PMT中包含如下各个字段。
“table_id”字段是在“TS_program_map_section”字段中应当始终设置为“0x02”的8比特字段。
“section_syntax_indicator”字段应当设置为“1”的1比特字段。
“section_length”字段是12比特字段(其中前两个比特应当设置为“00”)，并指定紧跟在“section_length”字段之后开始的该段的字节数(包括CRC)。
“program_number”字段是16比特字段，其指定“program_map_PID”字段可应用于的节目。
“version_number”字段为指示“TS_program_map_section”字段的版本号的5比特字段。
“current_next_indicator”字段是1比特字段。当“current_next_indicator”字段的比特设置为“1”时，这表示所发送的“TS_program_map_section”字段是当前可应用的。当“current_next_indicator”字段的比特设置为“0”时，这表示所发送的“TS_program_map_section”字段不再可应用，并且下一个“TS_program_map_section”字段应当为有效。
“section_number”字段包括应当为“0x00”的8比特字段的值。
“last_section_number”字段包括应当为“0x00”的8比特字段的值。
“PCR_PID”字段是指示传输流(TS)包的PID的13比特字段，该传输流(TS)包应当包含对于由“program_number”字段所指定的节目有效的PCR字段。在没有PCR与用于专有流的节目定义相关联的情况下，该字段应当取“0x1FFF”的值。
“program_info_length”字段是12比特字段，其前两个比特应当为“00”。“program_info_length”字段指定了紧跟在“program_info_length”字段之后的描述符的字节数。
“stream_type”字段是8比特字段，其指定了在值为“elementary_PID”字段所指定的PID的包内承载的基本流或有效载荷的类型。
“elementary_PID”字段是13比特字段，其指定了承载相关联的基本流或有效载荷的传输流(TS)包的PID。
“ES_infor_length”字段是12比特字段，其前两个比特应当为“00”。“ES_infor_length”字段可以指定紧跟在“ES_infor_length”字段之后的相关联的基本流的描述符的字节数。
“CRC_32”字段是包含CRC值的32比特字段，该CRC值在处理整个传输流节目映射段之后，给出在附录B中定义的解码器内的寄存器的零输出。
描述符(“descriptor”)字段15010可以包括关于构成立体图像或3D广播服务的视频流的信息。
广播接收机使用PSI/PSIP处理器来解析PMT，并通过stream_type字段、elementary_PID字段和描述符字段中的至少一个来确定是否提供3D广播服务。
上述实施方式还可以应用于多视图图像显示方案的3D广播服务，而不是立体图像显示方案。
本发明中公开的方法可以按照各种计算机装置可访问的程序命令的形式来实现，并且被记录在计算机可读记录介质上。计算机可读记录介质可以单独或组合地包括程序命令、数据文件、数据结构等。记录在介质上的程序命令可以是专门为本发明设计和配置的程序命令，或者是计算机软件技术人员已知和可获得的程序命令。计算机可读记录介质的实施例包括诸如硬盘、软盘和磁带的磁介质，诸如致密盘只读存储器(CD-ROM)和数字通用盘(DVD)的光介质，诸如软光盘的磁光介质，以及专门配置为存储和执行程序命令的硬件设备，例如ROM、随机存取存储器(RAM)和闪存。程序命令的实施例包括可以由使用解释器等的计算机执行的高级语言代码，以及诸如由编译器所生成的机器语言代码的机器语言代码。上述硬件设备可以被配置为作为用于执行本发明的操作的一个或更多个软件模块来操作，反之亦然。
虽然已经结合有限的实施方式和附图描述了本发明，但是本发明并不限于此。本领域技术人员将意识到根据被说明书的各种修改、添加和替换是可能的。因此，本发明的范围不应限于示例性实施方式的描述，而应当由所附权利要求及其等同物来确定。
虽然通过上述实施方式公开了本发明，但是应当注意的是，仅为了说明性的目的而公开上述实施方式，并且本领域技术人员可以理解的是，可以在不脱离如所附权利要求中所公开的本发明的精神与范围的情况下，进行各种修改、增加及替换。因而，本发明旨在涵盖落入所附权利要求及其等同物范围内的本发明的修改以及变型。因此，本发明并不仅仅限于上述实施方式，而是可以应用至可以满足本发明的上述原理与新特征的其它示例。
本发明的模式
已经以用于实施本发明的最佳模式描述了各个实施方式。
工业应用
从上述说明中明显的是，本发明的实施方式可以整体或部分地应用于数字广播系统。
对于本领域技术人员明显的是，可以在不偏离本发明范围的情况下作出各种修改和变型。因此，本发明旨在涵盖落入所附权利要求及其等同物的范围内的对本发明的这些修改和变型。

Claims (16)

1.一种广播接收机的用于处理视频数据的方法，该方法包括以下步骤：
接收包括视频流的广播信号，其中，所述视频流包括具有不同视点的多个视频流段；
获取指示了所述视频流段的相应视点的视点信息；以及
根据所述视点信息来输出指示了当前显示的视频流的视点的界面。
2.根据权利要求1所述的方法，其中，所述视点信息使用视频帧单元、图片单元和序列单元中的至少一项来指示所述视频流段的视点。
3.根据权利要求1所述的方法，其中，获取指示了所述视频流段的相应视点的视点信息的步骤包括以下步骤：
对所述视频流中的补充增强信息SEI进行解码；并且
从经过解码的补充增强信息SEI中获得所述视点信息。
4.根据权利要求1所述的方法，其中，获取指示了所述视频流段的相应视点的视点信息的步骤包括以下步骤：
从所述广播信号中提取包括所述视点信息的打包基本流PES包；并且
从所提取的PES包中获取所述视点信息。
5.根据权利要求1所述的方法，该方法还包括以下步骤：
响应于相应视点，使用所述视频流段的视点信息来对所述视频流的输出进行控制。
6.根据权利要求1所述的方法，其中，指示了视点的所述界面提供用于接收所述视频流的视点选择的用户输入界面。
7.根据权利要求6所述的方法，该方法还包括以下步骤：
通过指示了视点的所述界面来接收所述视频流的所述视点选择，并对所述视频流的3D视频显示输出进行控制，以输出所选择的视点的视频流。
8.根据权利要求7所述的方法，其中，所选择的视点的视频流作为左视图视频流或右视图视频流而输出。
9.一种广播接收机，该广播接收机包括：
调谐器，其用于接收广播信号；
解复用器，其用于从所述广播信号中提取视频流，其中，所述视频流包括具有不同视点的多个视频流段；
解码器，其用于对所提取的视频流进行解码；以及
三维3D显示控制器，其用于获取指示了所述视频流段的相应视点的视点信息，并根据所获得的视点信息来对所述视频流的3D视频显示输出进行控制，
其中，所述3D显示控制器根据所述视点信息来输出指示了当前显示的视频流的视点的界面。
10.根据权利要求9所述的广播接收机，其中，所述视点信息使用视频帧单元、图片单元和序列单元中的至少一项来指示所述视频流段的视点。
11.根据权利要求9所述的广播接收机，其中，所述解码器还被配置为对所述视频流中的补充增强信息SEI进行解码，并从经过解码的补充增强信息SEI中获得所述视点信息。
12.根据权利要求9所述的广播接收机，其中，所述解复用器还被配置为从所述广播信号中提取包括所述视点信息的打包基本流PES包，并且从所提取的PES包中获取所述视点信息。
13.根据权利要求9所述的广播接收机，其中，所述3D显示控制器还被配置为响应于相应视点，使用所述视频流段的视点信息来对所述视频流的输出进行控制。
14.根据权利要求1所述的广播接收机，其中，指示了视点的所述界面提供用于接收所述视频流的视点选择的用户输入界面。
15.根据权利要求14所述的广播接收机，其中，所述3D显示控制器通过指示了视点的所述界面来接收所述视频流的所述视点选择，并对所述视频流的3D视频显示输出进行控制，以输出所选择的视点的视频流。
16.根据权利要求15所述的广播接收机，其中，所选择的视点的视频流作为左视图视频流或右视图视频流而输出。
CN201080005513.1A 2009-01-28 2010-01-28 广播接收机及其视频数据处理方法 Expired - Fee Related CN102292997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510232384.4A CN104837001B (zh) 2009-01-28 2010-01-28 广播接收机及其视频数据处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14803509P 2009-01-28 2009-01-28
US61/148,035 2009-01-28
PCT/KR2010/000508 WO2010087621A2 (en) 2009-01-28 2010-01-28 Broadcast receiver and video data processing method thereof

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510232384.4A Division CN104837001B (zh) 2009-01-28 2010-01-28 广播接收机及其视频数据处理方法

Publications (2)

Publication Number Publication Date
CN102292997A true CN102292997A (zh) 2011-12-21
CN102292997B CN102292997B (zh) 2015-06-10

Family

ID=42396148

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201510088058.0A Active CN104618708B (zh) 2009-01-28 2009-12-01 广播接收机及其视频数据处理方法
CN200980155541.9A Active CN102396236B (zh) 2009-01-28 2009-12-01 广播接收机及其视频数据处理方法
CN201510232384.4A Active CN104837001B (zh) 2009-01-28 2010-01-28 广播接收机及其视频数据处理方法
CN201080005513.1A Expired - Fee Related CN102292997B (zh) 2009-01-28 2010-01-28 广播接收机及其视频数据处理方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201510088058.0A Active CN104618708B (zh) 2009-01-28 2009-12-01 广播接收机及其视频数据处理方法
CN200980155541.9A Active CN102396236B (zh) 2009-01-28 2009-12-01 广播接收机及其视频数据处理方法
CN201510232384.4A Active CN104837001B (zh) 2009-01-28 2010-01-28 广播接收机及其视频数据处理方法

Country Status (6)

Country Link
US (6) US8947504B2 (zh)
EP (2) EP2382793A4 (zh)
KR (2) KR101626486B1 (zh)
CN (4) CN104618708B (zh)
CA (2) CA2749065C (zh)
WO (2) WO2010087574A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254898A (zh) * 2016-08-15 2016-12-21 杭州当虹科技有限公司 一种ts包插入互动广告的方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2749065C (en) 2009-01-28 2017-01-17 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP5482254B2 (ja) * 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
JP5390017B2 (ja) * 2010-03-24 2014-01-15 パナソニック株式会社 映像処理装置
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
KR20120019635A (ko) * 2010-08-26 2012-03-07 삼성전자주식회사 방송 채널 전환 방법 및 이를 수행하는 방송 수신 장치
KR20120038385A (ko) * 2010-10-13 2012-04-23 한국전자통신연구원 스테레오스코픽 영상 정보의 전송 방법 및 장치
DE112011103739B4 (de) 2010-12-03 2020-02-06 Lg Electronics Inc. Empfangsvorrichtung und Verfahren zum Empfang dreidimensionaler Multiview-Sendesignale
JP5366996B2 (ja) * 2011-03-09 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
KR20130057389A (ko) * 2011-11-23 2013-05-31 한국전자통신연구원 다시점 비디오 및 그에 대응되는 깊이 영상 정보의 ｍｐｅｇ-2 트랜스포트 스트림으로의 전송 방법 및 장치
KR101779181B1 (ko) * 2011-11-29 2017-09-18 한국전자통신연구원 3ｄ 디지털방송 수신 장치 및 방법, 그리고 영상 모드 전환 장치 및 방법
KR20140004591A (ko) * 2012-07-02 2014-01-13 삼성전자주식회사 3차원 영상 데이터 스트림 생성 방법 및 장치, 3차원 영상 데이터 스트림 재생 방법 및 장치
KR20140007708A (ko) * 2012-07-10 2014-01-20 삼성전자주식회사 영상 디스플레이 장치, 영상 디스플레이 방법 및 안경장치
CN103688535B (zh) * 2012-07-19 2017-02-22 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置及图像解码装置
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
US9118843B2 (en) 2013-01-17 2015-08-25 Google Inc. Methods and systems for creating swivel views from a handheld device
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
JP2015125606A (ja) * 2013-12-26 2015-07-06 株式会社東芝 送信回路
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
WO2017007258A1 (ko) * 2015-07-08 2017-01-12 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10171849B1 (en) 2015-07-08 2019-01-01 Lg Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
JP7146747B2 (ja) * 2016-11-17 2022-10-04 インテル コーポレイション パノラマビデオのための提案されるビューポート指示
GB2567624B (en) 2017-10-12 2021-05-26 Canon Kk Method, device and computer program for transmitting media content
CN112312219A (zh) * 2020-11-26 2021-02-02 上海连尚网络科技有限公司 一种流媒体视频播放、生成方法及设备
CN113014944A (zh) * 2021-03-03 2021-06-22 上海七牛信息技术有限公司 一种视频处理方法、系统及视频直播系统
CN113014814A (zh) * 2021-03-03 2021-06-22 上海七牛信息技术有限公司 一种视频采集方法、视频采集终端及视频直播系统
CN113014943A (zh) * 2021-03-03 2021-06-22 上海七牛信息技术有限公司 一种视频播放方法、视频播放器及视频直播系统
CN114125501A (zh) * 2021-10-30 2022-03-01 杭州当虹科技股份有限公司 互动视频生成方法及其播放方法和装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100348922B1 (ko) 1996-02-28 2002-11-18 마쯔시다덴기산교 가부시키가이샤 고해상도및입체영상기록용광디스크,광디스크재생장치및광디스크기록장치
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
TW580826B (en) 2001-01-12 2004-03-21 Vrex Inc Method and apparatus for stereoscopic display using digital light processing
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100454194B1 (ko) * 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
JP2003260028A (ja) * 2002-03-11 2003-09-16 Fuji Photo Optical Co Ltd 立体電子内視鏡装置
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR100488804B1 (ko) * 2002-10-07 2005-05-12 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
US7324594B2 (en) 2003-11-26 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Method for encoding and decoding free viewpoint videos
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US20060015919A1 (en) 2004-07-13 2006-01-19 Nokia Corporation System and method for transferring video information
US7515759B2 (en) 2004-07-14 2009-04-07 Sharp Laboratories Of America, Inc. 3D video coding using sub-sequences
US7142209B2 (en) * 2004-08-03 2006-11-28 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
WO2006038562A1 (ja) * 2004-10-04 2006-04-13 Sharp Kabushiki Kaisha 多重映像表示装置
KR100828358B1 (ko) 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR100813961B1 (ko) * 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
CN101292538B (zh) 2005-10-19 2012-11-28 汤姆森特许公司 使用可缩放的视频编码的多视图视频编码
US7817865B2 (en) * 2006-01-12 2010-10-19 Lg Electronics Inc. Processing multiview video
EP2002658A2 (en) * 2006-03-23 2008-12-17 Koninklijke Philips Electronics N.V. Coding device and method for encoding movie data
KR100864826B1 (ko) 2006-09-29 2008-10-23 한국전자통신연구원 디지털 방송기반의 3차원 정지영상 서비스 방법 및 장치
JP4793366B2 (ja) 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP4692770B2 (ja) * 2006-12-27 2011-06-01 富士フイルム株式会社 複眼デジタルカメラ
CA2675955C (en) 2007-01-18 2013-07-23 Nokia Corporation Carriage of sei messages in rtp payload format
WO2008140190A1 (en) 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
KR101381601B1 (ko) * 2007-05-14 2014-04-15 삼성전자주식회사 다시점 영상 부호화 및 복호화 장치
US8373744B2 (en) 2007-06-07 2013-02-12 Reald Inc. Stereoplexing for video and film applications
JP2010530702A (ja) 2007-06-19 2010-09-09 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造、およびこれを用いるステレオスコピックコンテンツファイルの保存方法
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
EP2174502A2 (en) 2007-06-26 2010-04-14 Nokia Corporation System and method for indicating temporal layer switching points
US8538134B2 (en) * 2007-10-04 2013-09-17 Samsung Electronics Co., Ltd. Method and apparatus for receiving and generating image data stream including parameters for displaying local three dimensional image
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
CN101682719B (zh) * 2008-01-17 2013-01-30 松下电器产业株式会社 3d影像的记录装置、方法以及3d影像的再现装置、方法
US8878836B2 (en) * 2008-02-29 2014-11-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
CN101312542B (zh) * 2008-07-07 2010-09-08 浙江大学 一种自然三维电视系统
RU2518435C2 (ru) 2008-07-20 2014-06-10 Долби Лэборетериз Лайсенсинг Корпорейшн Оптимизация кодера в системах доставки стереоскопического видео
KR20110063615A (ko) * 2008-09-30 2011-06-13 파나소닉 주식회사 3ｄ 영상이 기록된 기록매체, 3ｄ 영상을 재생하는 재생장치 및 시스템 ｌｓｉ
CN101911713B (zh) 2008-09-30 2014-01-08 松下电器产业株式会社 再现装置、集成电路、再现方法、记录方法、记录介质再现系统
RU2011135363A (ru) * 2008-09-30 2013-03-27 Панасоник Корпорэйшн Устройство воспроизведения, носитель записи и интегральная схема
CA2749065C (en) * 2009-01-28 2017-01-17 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
EP2491723A4 (en) 2009-10-20 2014-08-06 Ericsson Telefon Ab L M METHOD AND ARRANGEMENT FOR MULTILOOK VIDEO COMPRESSION

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254898A (zh) * 2016-08-15 2016-12-21 杭州当虹科技有限公司 一种ts包插入互动广告的方法

Also Published As

Publication number Publication date
CN104837001A (zh) 2015-08-12
EP2382789A2 (en) 2011-11-02
CN102292997B (zh) 2015-06-10
WO2010087574A3 (en) 2011-10-06
CN104618708B (zh) 2017-07-07
CN102396236B (zh) 2015-03-25
CN104837001B (zh) 2017-07-11
CA2749065C (en) 2017-01-17
KR20110125204A (ko) 2011-11-18
US9769452B2 (en) 2017-09-19
WO2010087621A3 (en) 2010-10-28
KR20110125203A (ko) 2011-11-18
US20110273542A1 (en) 2011-11-10
KR101626486B1 (ko) 2016-06-01
CA2749258C (en) 2016-08-09
KR101657124B1 (ko) 2016-09-13
US9013548B2 (en) 2015-04-21
WO2010087621A2 (en) 2010-08-05
US8947504B2 (en) 2015-02-03
CN104618708A (zh) 2015-05-13
US10341636B2 (en) 2019-07-02
US20150195505A1 (en) 2015-07-09
CN102396236A (zh) 2012-03-28
US20170318276A1 (en) 2017-11-02
CA2749258A1 (en) 2010-08-05
EP2382789A4 (en) 2014-01-15
CA2749065A1 (en) 2010-08-05
US20170359563A1 (en) 2017-12-14
EP2382793A2 (en) 2011-11-02
US20110279646A1 (en) 2011-11-17
US9736452B2 (en) 2017-08-15
US20150097933A1 (en) 2015-04-09
WO2010087574A2 (en) 2010-08-05
EP2382793A4 (en) 2014-01-15

Similar Documents

Publication Publication Date Title
CN102292997B (zh) 广播接收机及其视频数据处理方法
CN102415101B (zh) 广播发射机、广播接收机及其3d视频数据处理方法
KR100970649B1 (ko) 수신 시스템 및 데이터 처리 방법
CN102415100B (zh) 广播接收机及其3d视频数据处理方法
CN103069815B (zh) 用于接收数字广播信号的设备和方法
CN104717479B (zh) 广播接收机及其3d广播数据处理方法
CN102388620B (zh) 广播接收机和三维视频数据处理方法
CN102439980B (zh) 广播接收机及其3d字幕数据处理方法
KR101653319B1 (ko) 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
CN102484729A (zh) 广播发送器、广播接收器及其3d视频数据处理方法
CN102461183A (zh) 广播发射机、广播接收机及其3d视频处理方法
EP2637412B1 (en) Apparatus and method for receiving a digital broadcast signal
CN104813657A (zh) 用于将数字视频编码和解码的方法以及相关编码和解码设备
KR20120097372A (ko) 방송 수신기 및 3ｄ 방송 데이터 처리 방법
CN103843330A (zh) 发送设备、发送方法、接收设备以及接收方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150610

Termination date: 20210128

CF01 Termination of patent right due to non-payment of annual fee