CN101589619A - 信息处理装置、信息处理方法、显示控制装置、显示控制方法和程序 - Google Patents

信息处理装置、信息处理方法、显示控制装置、显示控制方法和程序 Download PDF

Info

Publication number
CN101589619A
CN101589619A CNA2008800025872A CN200880002587A CN101589619A CN 101589619 A CN101589619 A CN 101589619A CN A2008800025872 A CNA2008800025872 A CN A2008800025872A CN 200880002587 A CN200880002587 A CN 200880002587A CN 101589619 A CN101589619 A CN 101589619A
Authority
CN
China
Prior art keywords
information
window
screen
picture
video flowing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008800025872A
Other languages
English (en)
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201410106271.5A priority Critical patent/CN103945170B/zh
Publication of CN101589619A publication Critical patent/CN101589619A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

可以提供一种信息处理设备、信息处理方法、显示控制设备、显示控制方法和程序，其使得提供者能够主动地控制用于使用多个视频流显示视频的方法。发送设备(1)产生用于显示一个节目的视频的多个视频流。通过多路复用多个视频流，产生多路复用的流以将添加了组成信息的多路复用的流提供给接收设备(2)。组成信息包含用于指定在屏幕(3)的每个位置要使用哪个视频流来显示视频的信息。在接收设备(2)中，多路复用的流中包含的视频信息被解码，并且根据在组成信息中包含的信息将每个视频显示在屏幕(3)上。本发明可应用到处理多个视频流的设备。

Description

信息处理装置、信息处理方法、显示控制装置、显示控制方法和程序
技术领域
本发明涉及信息处理装置、信息处理方法、显示控制装置、显示控制方法和程序。更具体地，本发明涉及允许提供者主观地控制使用多个视频流显示画面的方式的信息处理装置、信息处理方法、显示控制装置、显示控制方法和程序。
背景技术
已经实现或提出了多屏幕显示技术，从而从广播、网络或存储体得到的多个流被多路解码(multi-decode)为要在单个显示器上显示的多个画面。
例如，当以所谓的PinP(Picture in Picture，画中画)格式显示多个画面时，用户可在主屏幕(main screen)上观看以大的形式显示的给定频道上的节目的画面，同时在副屏幕(sub screen)上观看以小的形式显示的另一频道上的节目的画面。
并且当在显示器的右半边和左半边并排显示两个不同频道上的节目的画面时，用户可同时观看两个频道上的节目的画面。
专利文献1公开了当在正常显示状态下指定多屏幕显示时、允许快速切换到多屏幕的技术。
专利文献1：日本专利特开No.2000-13712
发明内容
要解决的技术问题
通常，要用于普通多屏幕显示的流是不同节目的。例如，在上述PinP多屏幕显示的情况下，提供要在主屏幕上显示的画面的源的流、和提供要在副屏幕上显示的画面的源的流经常是不同节目的。
即，没有允许提供者以下述方式指定如何协调用于画面显示的多个流的功能，所述方式是：在主屏幕和副屏幕上显示如从不同视角观看的相同的节目，从而将单个节目提供给用户。
而且，无论多屏幕显示以普通PinP格式给出、还是涉及并排示出画面的屏幕的左半边和右半边，提供显示的方式都依赖于显示设备的实现而不由提供者指定。
今后，随着至少具有全HD(高清晰度)分辨率的显示器的普及，可能以下述方式准备广播或媒体：使用在单个显示屏幕上显示的多个画面来提供单个节目。在这样的情况下，对于节目的提供者，可能存在主观地控制显示所涉画面的方式的需求。
已经鉴于上述情况做出本发明，并且本发明预期允许提供者主观地控制使用多个视频流显示画面的方式。
技术方案
根据本发明第一方面的信息处理装置包括：多路复用部件，用于多路复用包括垂直和水平画面大小信息的视频流；添加部件，用于将组成(compose)信息添加到通过所述多路复用部件多路复用而获得的多路复用的流，所述组成信息包括指定用于画面显示的屏幕的第一信息、指定在所述屏幕上形成的窗口的数量的第二信息、指定用于在所述窗口中进行画面显示的视频流的第三信息、以及指定所述窗口在所述屏幕上的位置的第四信息；以及提供部件，用于为显示控制装置提供所述多路复用的流，所述添加部件已经为所述多路复用的流添加了所述组成信息，所述显示控制装置控制所述画面在所述屏幕上的显示。
所述窗口在大小上可以是可变的。
所述添加部件可向所述多路复用的流添加进一步包括指定用于画面显示的屏幕的数量的信息、以及关于所述各个屏幕的所述第一信息到所述第四信息的组成信息。
所述添加部件可向所述多路复用的流添加进一步包括指定要形成窗口的定时的信息的组成信息。
所述多路复用部件可设置用于指定显示定时的显示时间戳，在所述显示定时，在所述显示定时，同时显示从用于在各个窗口中显示所述画面的所述视频流得到的所述画面的一些。
所述添加部件可向所述多路复用的流添加进一步包括指定由所述第一信息指定的所述屏幕的大小的信息的组成信息。
根据本发明第一方面的信息处理方法或程序包括下述步骤：多路复用包括垂直和水平画面大小信息的视频流；将组成信息添加到通过所述多路复用而获得的多路复用的流，所述组成信息包括指定用于画面显示的屏幕的第一信息、指定在所述屏幕上形成的窗口的数量的第二信息、指定用于在各个窗口中进行画面显示的视频流的第三信息、以及指定所述各个窗口在所述屏幕上的位置的第四信息；以及为显示控制装置提供所述多路复用的流，已经为所述多路复用的流添加所述组成信息，所述显示控制装置控制画面在所述屏幕上的显示。
根据本发明另一方面的显示控制装置获取由信息处理装置提供的用于画面显示的多路复用的流，所述多路复用的流通过多路复用包括垂直和水平画面大小信息的视频流获得，所述信息处理装置将组成信息添加到所述多路复用的流，所述组成信息包括指定用于画面显示的屏幕的第一信息、指定在所述屏幕上形成的窗口的数量的第二信息、指定用于在各个窗口中进行画面显示的视频流的第三信息、以及指定所述各个窗口在所述屏幕上的位置的第四信息，所述显示控制装置包括：分离部件，用于将所述多路复用的流分离为所述视频流；分析部件，用于分析添加到所述多路复用的流的所述组成信息，关于数量由所述第二信息指定的各个窗口，基于所述第三信息，检测用于画面显示的所述视频流，以便基于在所检测的视频流中包括的所述大小信息检测所述窗口的大小，并且在由所述第一信息指定的所述屏幕上、由所述第四信息指定的那些位置处形成所检测的大小的窗口；解码部件，用于解码所述视频流；以及显示控制部件，用于在所述各个窗口中显示通过所述解码部件解码获得的画面。
所述组成信息可进一步包括指定目标屏幕的大小的信息；以及，如果由进一步包括的信息指定的大小与指定的屏幕的大小不同，则所述显示控制部件可改变通过所述解码部件解码获得的画面的大小。
根据本发明另一方面的显示控制方法或程序包括下述步骤：将所述多路复用的流分离为所述视频流；分析添加到所述多路复用的流的所述组成信息，关于数量由所述第二信息指定的各个窗口，基于所述第三信息，检测用于画面显示的所述视频流，以便基于在所检测的视频流中包括的所述大小信息检测所述窗口的大小，并且在由所述第一信息指定的所述屏幕上、由所述第四信息指定的那些位置处形成所检测的大小的窗口；解码所述视频流；以及在所述窗口中显示通过解码获得的画面。
根据本发明的第一方面，多路复用包括垂直和水平画面大小信息的视频流；将组成信息添加到通过所述多路复用而获得的多路复用的流，所述组成信息包括指定用于画面显示的屏幕的第一信息、指定在所述屏幕上形成的窗口的数量的第二信息、指定用于在各个窗口中进行画面显示的视频流的第三信息、以及指定所述各个窗口在所述屏幕上的位置的第四信息；以及为显示控制装置提供所述多路复用的流，已经为所述多路复用的流添加所述组成信息，所述显示控制装置控制画面在所述屏幕上的显示。
根据本发明的第二方面，将所述多路复用的流分离为所述视频流；分析添加到所述多路复用的流的所述组成信息，以便基于关于每个窗口的所述第三信息，检测用于画面显示的所述视频流，所述窗口的数量由所述第二信息指定，以便基于在所检测的视频流中包括的所述大小信息检测所述窗口的大小，并且在由所述第一信息指定的所述屏幕上、由所述第四信息指定的那些位置处形成所检测的大小的窗口；解码所述视频流；以及在所述窗口中显示通过解码获得的画面。
有利效果
根据本发明，提供者可以主观地控制使用多个视频流显示画面的方式。
附图说明
图1是示出提供节目并作为本发明的一个实施例实践的系统的典型配置的视图。
图2是示出组成信息的概念的视图。
图3是示出基于组成信息在屏幕上显示的典型窗口的视图。
图4是示出基于组成信息在屏幕上显示的其他典型窗口的视图。
图5是示出基于组成信息在屏幕上显示的其他典型窗口的视图。
图6是示出基于组成信息在屏幕上显示的典型窗口的视图。
图7是示出如何典型地改变画面的视图。
图8是示出组成信息的典型描述的视图。
图9是示出发送设备的典型结构的框图。
图10是示出接收设备的典型结构的框图。
图11是说明发送设备的处理的流程图。
图12是说明接收设备的处理的流程图。
图13是说明在图12的步骤S13中执行的组成信息分析处理的流程图。
图14是说明提供系统的另一典型配置的视图。
图15是示出屏幕的典型布局的透视图。
图16是示出屏幕的典型布局的视图。
图17是示出接收设备的另一典型结构的框图。
图18是示出如何添加组成信息的概念的视图。
图19是示出组成信息的典型插入位置的视图。
图20是示出个人计算机的典型结构的框图。
参考符号的说明
1发送设备，2接收设备，3屏幕，11-1到11-n编码器，12多路复用器，13组成信息添加部分，14发送部分，21接收部分，22解复用器，23组成信息分析部分，24-1到24-n解码器，25显示控制部分
具体实施方式
图1是示出提供节目并作为本发明一个实施例实践的系统的典型配置的视图。
如图1所示，提供系统由发送设备1和接收设备2组成。接收设备2通过电缆等与屏幕3连接。
发送设备1是在如广播台的节目提供者一侧设立的设备。
发送设备1分别将由一个相机拍摄的一个节目的画面分离为每帧预定数量的区域，并且将分离的区域的画面编码为分离的流，或将由多个相机拍摄的一个节目的画面编码为分离的流，从而产生用于在显示一个节目的画面中使用的多个视频流(PES(Packetized Elementaty Stream，分组元素流))。
而且，发送设备1将多个产生的视频流多路复用为用于在显示一个节目的画面中使用的多路复用的流(TS(传送流))。
发送设备1将四维组成映射(map)信息添加到产生的多路复用流，并为接收设备2提供由多路复用的流构成的节目，其中已经向所述多路复用的流添加了四维组成映射信息。通过使用广播电波、通过网络、或通过如DVD(数字多功能盘)或蓝光(注册商标)盘的记录介质提供所述节目。
四维组成映射信息表示作为单个节目的、共享给定时间段的多个流之间的显示关系，所述信息通过发送设备1传递到接收设备2，以指定如何协调构成用于画面显示的多路复用的流的各个视频流。在下面的描述中，四维组成映射信息可适当地简称为组成信息。
组成信息中包括指定在屏幕3上的各种位置处显示画面时使用的视频流的信息。如下面将描述的，在接收设备2一侧设立多个屏幕的情况下，组成信息将包括关于各个屏幕的信息。
接收设备2在如家庭的节目接收侧设立。
接收设备2接收由发送设备1提供的节目，并且解码构成多路复用的流的每个视频流。而且，接收设备2使得屏幕3根据在组成信息中包括的信息，显示通过解码各个视频流获得的画面。根据在组成信息中包括的信息在屏幕3上显示的画面是构成单个节目的画面，使得用户可观看那一个节目。
图2是示出组成信息的概念的视图。
如图2所示，组成信息包括为参考目的以时间顺序排列的预定数量的组成映射(map)。每个组成映射中表示显示画面的屏幕和每个屏幕上显示画面的那些位置。
图2中的组成映射f0是在给定时间要参考的信息；组成映射f1是在参考组成映射f0的时间之后的时间要参考的信息；并且组成映射f2是在参考组成映射f1的时间之后的时间要参考的信息。在单个组成映射组由如图2所述的组成映射f0到f2组成的情况下，在参考组成映射f2以用于画面显示之后，从组成映射f0开始以连续重复的方式参考各组成映射，以用于连续画面显示。组成映射组由参数Tm表示。
垂直地示出三条并且水平地示出三条的点划线L1表示屏幕的划分。由点划线L1划分的区域指示在每个屏幕上如何显示画面。如果在如图1所示的接收设备2侧准备一个屏幕，则仅使用由点划线L1划分的16个区域中的左上的一个区域。如果在接收设备2侧准备16个屏幕，则使用组成映射f0的全部区域。屏幕由参数Sn表示。
实线L2——垂直地示出七条并且水平地示出七条、包括与点划线L1重叠的线——指示如何分割一个屏幕。在下面的描述中，在一个屏幕上形成的用于画面显示的区域可适当地称为窗口。屏幕是物理地作为设备建立的画面显示区域，而窗口是在单个屏幕上形成的画面显示区域。一个窗口显示通过解码一个视频流获得的一个画面。各个窗口在大小上是可变的。
图2示出其中通过将每个屏幕垂直、水平地分别对分而形成四个窗口的组成信息的示例。
屏幕上的每个窗口的位置通过相对于如屏幕的左上角的预定位置、指示水平位置的参数Hp和指示垂直位置的参数Vq定义。
通过参数Sn、Tm、Hp和Vq的使用，每个窗口通过Window_ID(Sn，Tm，Hp，Vq)标识。
例如，对应于图2中的左上区域A01的窗口通过Window_ID(S0，T0，H0，V0)标识，参数S0指示这是在第一屏幕S0上形成的窗口，参数T0指示这是通过参考构成同一组成映射组的组成映射中的第一个而显示画面的窗口，参数H0指示这是当将屏幕S0分割为四个区域时、在左手侧形成的窗口，并且通过参数V0指示这是当将屏幕S0分割为四个区域时、在上侧形成的窗口。
并且对应于区域A04的窗口通过Window_ID(S0，T0，H1，V1)标识，其中参数S0指示这是在第一屏幕S0上形成的窗口，参数T0指示这是通过参考构成同一组成映射组的组成映射中的第一个而显示画面的窗口，参数H1指示这是当将屏幕S0分割为四个区域时、在右手侧形成的窗口，并且通过参数V1指示这是当将屏幕S0分割为四个区域时、在下侧形成的窗口。
类似地，对应于区域A02的窗口由Window_ID(S0，T0，H1，V0)标识，并且对应于区域A03的窗口由Window_ID(S0，T0，H0，V1)标识。
组成信息包括视频流的PID，所述PID指示哪个视频流要被解码为用于在如上所述标识的窗口中显示的画面。组成信息还包括指定由图2中的虚线L3指示的屏幕大小的信息(由发送设备1针对(target)的屏幕分辨率)。
下面将讨论组成信息的具体描述。
图3是示出基于组成信息在屏幕3上显示的典型窗口的视图。
图3示出这样的示例，其中将由一个相机拍摄的一个节目的画面分割为每帧四个区域，并且将各个分割的区域的画面编码为作为分割的流的、之后被多路复用的四个视频流，从而提供节目。
在此情况下，基于附到多路复用的流的组成信息，接收设备2在屏幕3的左上区域、右上区域、左下区域和右下区域分别形成窗口W0、W1、W2和W3。
在组成信息中，如参考图2在上面描述的，窗口W0通过Window_ID(S0，T0，H0，V0)标识，窗口W1通过Window_ID(S0，T0，H1，V0)标识，窗口W2通过Window_ID(S0，T0，H0，V1)标识，并且窗口W3通过Window_ID(S0，T0，H1，V1)标识。
在窗口W0的Window_ID中包括的参数Vq是V0，并且除了W0外，还有窗口W1的Window_ID作为把相同的参数V0包括在参数Vq的Window_ID。因此，检测到接收设备2仅需要在屏幕3的上侧形成两个窗口。
基于在这些窗口的Window_ID中包括的参数Hp的值，窗口W0和W1分别被检测为位于左边和右边。
在窗口W2的Window_ID中包括的参数Vq是V1，并且除了W2外，还有窗口W3的Window_ID作为把相同的参数V0包括在参数Vq的Window_ID。因此，检测到接收设备2仅需要在屏幕3的下侧形成两个窗口。
基于在这些窗口的Window_ID中包括的参数Hp的值，窗口W2和W3分别被检测为位于左边和右边。
关于画面的垂直和水平大小的信息包括在视频流中。因此，通过分配大小与在上述检测的位置中的画面的大小相同的区域来形成窗口W0到W3。各个窗口和用于在各个窗口中的画面显示的视频流之间的对应关系也通过组成信息表示。
以此方式，基于窗口的大小(即，要在窗口中显示的画面的大小)，并基于窗口的位置，根据由发送设备1给出的规定，接收设备2形成所述窗口。
并且接收设备2检测在组成信息中包括的PID和Window_ID之间的对应关系，其中窗口W0显示通过解码由相关PID标识的视频流获得的画面Q-0。这对窗口W1到W3同样适用；在通过解码由各自相关PID标识的视频流而获得画面Q-1到Q-3后，显示所述画面Q-1到Q-3。
当安排画面Q-1到Q-3以相互同步的方式出现时，屏幕3显示由一个相机拍摄的原始单个节目的画面。
当如上所述利用组成信息时，发送设备1使得接收设备2不是基于单个视频流，而且基于四个分离的视频流，来在屏幕3上显示一个大的原始画面。
图4是示出基于组成信息在屏幕3上显示的其他典型窗口的视图。
图4示出这样的示例，其中，通过设立在四个不同位置的四个相机拍摄的作为一个广播节目的画面的一场足球比赛的画面被编码为四个不同的流，该四个不同的流然后被多路复用，从而提供节目。
在此情况下，与通过参考图3在上面说明的情况相同，接收设备2基于添加到多路复用的流的组成信息，分别在屏幕3的左上、右上、左下和右下区域形成窗口W0、W1、W2和W3。
在组成信息中，图4的窗口W0也通过Window_ID(S0，T0，H0，V0)标识，并且窗口W1通过Window_ID(S0，T0，H1，V0)标识。窗口W2通过Window_ID(S0，T0，H0，V1)标识，并且窗口W3通过Window_ID(S0，T0，H1，V1)标识。从构成在组成信息中包括的Window_ID的各个参数，检测到接收设备2仅需要将屏幕3垂直地和水平地对分成四个窗口。
并且接收设备2检测在组成信息中包括的PID和Window_ID之间的对应关系，其中窗口W0显示通过解码由相关PID标识的视频流获得的、并表示从给定角度拍摄的足球广播的画面的画面Q-0。这对窗口W1到W3同样适用；在通过解码由各自相关PID标识的视频流而获得画面Q-1到Q-3后，显示所述画面Q-1到Q-3，所述画面表示分别从不同角度拍摄的足球广播的画面。
当安排画面Q-1到Q-3以相互同步的方式出现时，屏幕3显示由四个相机拍摄的原始单个节目的画面。
当如上所述利用组成信息时，发送设备1能够在接收设备2的屏幕3上的相关位置处分别显示由多个相机拍摄的一个节目的多个画面。
图5是示出基于组成信息在屏幕3上显示的其他典型窗口的视图。
图5示出这样的示例，其中通过六个相机拍摄的一个节目的画面分别编码为六个视频流，该六个视频流然后被多路复用，从而提供节目。
在此情况下，基于添加到多路复用的流的组成信息，在屏幕3的最上面的区域形成具有与屏幕的水平宽度大致相同的宽度的窗口W0；在从屏幕3顶部起的第二区域，形成其每个具有与组成屏幕3的水平宽度的四个相等部分之一相等的宽度的窗口W1到W4；并且在屏幕3的最下面的区域形成具有与屏幕3的水平宽度大致相同的宽度的窗口W5。
在组成信息中，窗口W0通过Window_ID(S0，T0，H0，V0)标识，窗口W1通过Window_ID(S0，T0，H0，V1)标识，并且窗口W2通过Window_ID(S0，T0，H1，V1)标识。窗口W3通过Window_ID(S0，T0，H2，V1)标识，窗口W4通过Window_ID(S0，T0，H3，V1)，并且窗口W5通过Window_ID(S0，T0，H0，V2)标识。
在窗口W0的Window_ID中包括的参数Vq是V0，并且不存在在参数Vq中包括相同V0的其他Wmdow_ID。因此，检测到接收设备2仅需要在屏幕3的最上面的区域形成一个窗口。
在窗口W1的Window_ID中包括的参数Vq是V1，并且除了窗口W1以外，存在在参数Vq中包括相同V1的窗口W2、W3和W4的Window_ID。因此，检测到接收设备2仅需要在从屏幕3的顶部起的第二区域中形成四个窗口。
同样，对于窗口W1到W4的顺序，基于在各个窗口的Window_ID中包括的参数Hp的值，检测窗口W1、W2、W3和W4以该顺序从左到右放置。
在窗口W5的Window_ID中包括的参数Vq是V2，并且不存在在参数Vq中包括相同V2的其他Window_ID。因此，检测到接收设备2仅需要在屏幕3的最下面的区域形成一个窗口。
从如上所述检测的窗口W0到W5的位置、并且从六个视频流的每个中包括的画面大小信息，检测到接收设备2仅需要形成如图5所示的各个窗口。
并且接收设备2检测在组成信息中包括的PID和Window_ID之间的对应关系，其中窗口W0显示通过解码由相关的PID标识的视频流获得的画面Q-0。这对窗口W1到W5同样适用；在通过解码由各自相关的PID标识的视频流而获得画面Q-1到Q-5后，显示所述画面Q-1到Q-5。
当以相互同步的方式安排画面Q-1到Q-5出现时，屏幕3图示性显示由多个相机拍摄的原始单个节目的全景视图画面。
当如上所述利用组成信息时，发送设备1将由多个摄像机拍摄的全景视图画面分离为六个视频流来提供，因此允许接收设备2在屏幕3上显示原始单个全景视图画面。
图6是示出基于组成信息在屏幕3上显示的典型窗口的视图。
图6示出这样的示例，其中由设立在两个不同位置的两个相机从左边和右边拍摄对象的画面，所拍摄的画面作为不同的流分别编码为两个视频流，所述视频流然后被多路复用，从而提供节目。
在此情况下，基于添加到多路复用的流的组成信息，由接收设备2在整个屏幕3上以时间交错的方式交替形成窗口W0和窗口W1。在图6中，窗口W1由虚线指示，因为其在与形成窗口W0的时间不同的时间形成。
在组成信息中，窗口W0通过Window_ID(S0，T0，H0，V0)标识，并且窗口W1通过Window_ID(S0，T1，H0，V0)标识。
在窗口W0的Window_ID中包括的参数Tm是T0，并且在窗口W1的Window_ID中包括的参数Tm是T1。因此，检测到接收设备2仅需要在不同时间形成窗口W0和W1。
基于在组成信息中包括的关于组成映射组的信息，还检测到仅需要将窗口W0和W1交替形成为窗口W0、窗口W1、窗口W0、窗口W1...。
从没有窗口W0以外的窗口需要在时间T0形成的事实，并且从视频流中关于要在窗口W0中显示的画面的大小的信息，检测到接收设备2仅需要在整个屏幕3上形成窗口W0。
类似地，从没有窗口W1以外的窗口需要在时间T1形成的事实，并且从视频流中关于要在窗口W1中显示的画面的大小的信息，检测到接收设备2仅需要在整个屏幕3上形成窗口W1。
接收设备2检测在组成信息中包括的PID和Window_ID之间的对应关系。在给定时间形成的窗口W0显示通过解码由相关的PID标识的视频流获得的、并且描绘如从例如左边拍摄的对象的画面Q-0。
并且在形成窗口W0的时间之后的时间形成的窗口W1显示画面Q-1，所述画面Q-1通过解码由相关的PID标识的视频流获得，并且描绘如从右边拍摄的对象。
因此，当通过使用如图7所示的组成信息以预定周期交替切换画面P-0和P-1的显示时，发送设备1使得接收设备2能够通过利用人类的视差，在屏幕3上显示3-D画面。
图8是示出组成信息的典型描述的视图。在图8的左手侧示出的数字以及每个的冒号(：)仅用于说明目的给出，而不构成组成信息的任何部分。
第1行的描述“Window_Linkage_flag”指示多个窗口的存在。第2行的描述“If(Window_Linkage_Flag)”和之后各行的随后的描述构成组成信息的内容。
第3行的描述“Number_of_Screens，S”表示由组成信息针对的屏幕的数量S。数量S是可变的。在上述示例中，数量S为1。
第4行的描述“For(i＝0；i＜S；i++)”和之后各行的随后的描述指示在各个屏幕中应当如何进行显示。如果存在由组成信息针对的多个屏幕，则组成信息包括与针对的屏幕的数量一样多的组的第4行和随后各行的描述。
第5行的描述“Direction_Mapping”指示正针对的屏幕。
第6行的描述“Target_Display_Size”指示针对的屏幕的大小。如将在下面讨论的，如果由发送设备1针对的屏幕的大小与由接收设备2实际准备的屏幕的大小不同，则将由接收设备2按需要放大或缩小画面。
第7行的描述“Number_of_Windows_per_screen，N”指示要在加亮的(highlight)屏幕上形成的窗口的数量N。数量N是可变的。在图3和图4的示例中，数量N为4。
第8行的描述“For(j＝0；j＜N；j++)”和之后各行的随后的描述指示在各个窗口中应当如何进行显示。如果存在由组成信息针对的多个窗口，则组成信息包括与针对的窗口的数量一样多的组的第8行和随后各行的描述。
第9行的描述“Elementary_PID”指示用于在加亮的窗口中进行画面显示的视频流的PID，即，窗口和视频流之间的对应关系。
第10行的描述“Window_id”是关于加亮的窗口的标识信息，并包括如上所述的参数。
第11行的描述“FrameGroup”指示形成加亮的窗口的时间(按时间顺序的ID)，即，何时切换到该窗口。
第12行的描述“V_offset”与描述Window_id中包括的参数Vq一样，指示加亮的窗口在屏幕上的垂直位置。
第13行的描述“H_offset”与描述Window_id中包括的参数Hp一样，指示加亮的窗口在屏幕上的水平位置。
基于由上面的描述构成的组成信息，实现上述显示。
下面说明发送设备1和接收设备2的结构。
图9是示出发送设备1的典型结构的框图。
如图9所示，发送设备1包括编码器11-1到11-n、多路复用器12、组成信息添加部分13、以及发送部分14。提供了与画面信号的数量一样多的编码器，该画面信号构成单个节目，并且从外部输入。
编码器11-1到11-n的每个将从相机输入的信号编码为视频流，并且将通过编码获得的视频流输出到多路复用器12。
多路复用器12将来自编码器11-1到11-n的视频流多路复用为多路复用的流，并且将由此获得的多路复用的流输出到组成信息添加部分13。
根据来自发送设备1的管理者的输入，组成信息添加部分13产生通过如图8所示的那些的描述构成的组成信息，并且将产生的组成信息添加到从多路复用器12提供的多路复用的流。组成信息添加部分13将已经对其添加了组成信息的多路复用的流输出到发送部分14。
关于同步管理，可提取代表的流的PCR和时间戳，并将其复制到其他流的、与相同定时对应的那些位置，从而可保证各流之间的同步。
发送部分14使用广播电波或通过网络，将由从组成信息添加部分13提供的多路复用的流构成的节目发送到接收设备2。如果要通过记录介质提供节目，则发送部分14将多路复用的流记录到将提供给接收设备2的记录介质。
图10是示出接收设备2的典型结构的框图。
如图10所示，接收设备2包括接收部分21、解复用器22、组成信息分析部分23、解码器24-1到24-n、以及显示控制部分25。也提供了与构成单个节目的画面的数量一样多的解码器。
接收部分21接收由发送设备1发送的节目。接收部分21将构成接收的节目的多路复用的流输出到解复用器22，并且将添加到多路复用的流的组成信息输出到组成信息分析部分23。
解复用器22将从接收部分21提供的多路复用的流分离为多个视频流，并且基于一个流对一个解码器地将分离的视频流输出到解码器24-1到24-n。
通过分析从接收部分21提供的组成信息，组成信息分析部分23检测在屏幕3上形成窗口的时间、在屏幕3上形成窗口的那些位置、以及窗口的大小。组成信息分析部分23将指定检测的定时、窗口位置和窗口大小的信息输出到显示控制部分25。解复用器22提供指定在各个视频流中包括的画面的大小的信息。
同样，组成信息分析部分23分析组成信息，以便检测窗口和视频流之间的对应关系，从而向显示控制部分25输出指定显示画面的窗口、以及要解码为用于在指定的窗口中显示的画面的视频流的信息。
解码器24-1到24-n将从解复用器22提供的视频流解码为画面信号，并且将通过解码获得的画面信号输出到显示控制部分25。画面信号包括指示视频流的信息，通过解码从所述视频流获取每个画面信号。
显示控制部分25根据从组成信息分析部分23提供的信息，以适当计时的方式在屏幕3上形成窗口。
同样，根据从组成信息分析部分23提供的信息，显示控制部分25检测显示画面的窗口、以及从其得到要在所述窗口中显示的画面并已经从解码器24-1到24-n提供的信号。与检测的结果一致，显示控制部分25在屏幕3上形成的窗口中显示基于来自解码器24-1到24-n的信号的画面。
下面说明如上所述构造的发送设备1和接收设备2执行的处理。
首先，参照图11的流程图说明发送设备1的处理。
该处理在从相机输入信号时开始。
在步骤S1，编码器11-1到11-n将输入信号编码为视频流，并且将通过编码获得的视频流输出到多路复用器12。
在步骤S2，多路复用器12将从编码器11-1到11-n提供的视频流多路复用为多路复用的流，并且将由此获得的多路复用的流输出到组成信息添加部分13。
在步骤S3，组成信息添加部分13根据来自发送设备1的管理者的输入，产生组成信息。
在步骤S4，组成信息添加部分13将组成信息添加到从多路复用器12提供的多路复用的流，并且将已经对其添加了组成信息的多路复用的流输出到发送部分14。
在步骤S5，发送部分14向接收设备2发送由从组成信息添加部分13提供的多路复用的流构成的节目，并且终止该处理。
下面参照图12的流程图说明接收设备2的处理。该处理在从发送设备1发送构成节目的多路复用的流时开始。
在步骤S11，接收部分21接收从发送部分1发送的节目。接收部分21将构成接收的节目的多路复用的流输出到解复用器22，并且将多路复用的流和组成信息输出到组成信息分析部分23。
在步骤S12，解复用器22将从接收部分21提供的多路复用的流分离为多个视频流，并且将分离的视频流输出到解码器24-1到24-n。
在步骤S13，执行组成信息分析处理。执行组成信息分析处理允许组成信息分析部分23为显示控制部分25提供关于要在屏幕3上形成的窗口的信息、以及关于要在各个窗口中显示的画面的信息。下面将参照图13的流程图说明组成信息分析处理。
在步骤S14，解码器24-1到24-n将从解复用器22分别提供的视频流解码为画面信号，并且将通过解码获得的画面信号输出到显示控制部分25。
在步骤S15，显示控制部分25根据从组成信息分析部分23提供的信息，以适当计时的方式在屏幕3上形成窗口，并且在由此形成的各个窗口中显示基于来自解码器24-1到24-n的信号的画面。
下面参照图13的流程图说明图12的步骤S13中执行的组成信息分析处理。
在步骤S21，组成信息分析部分23根据在组成信息中包括的描述“Number_of_Screens，S”，检测由组成信息针对的屏幕的数量。
在步骤S22，基于描述“Direction_Mapping，”，组成信息分析部分23检测“Direction_Mapping，”之后的组成信息的描述针对哪个屏幕。组成信息分析部分23加亮由此检测到的针对的屏幕，并且进行到随后的步骤。
在步骤S23，组成信息分析部分23基于描述“Number_of_Windows_per_screen，N”，检测要在加亮的屏幕上形成的窗口的数量。
在步骤S24，组成信息分析部分23加亮由“Window_id”标识的窗口，并且基于描述“Elementary_PID”，检测用于在加亮的窗口中显示画面的视频流的PID。同样，组成信息分析部分23基于用于在加亮的窗口中显示画面的视频流中包括的画面大小信息，检测加亮的窗口的大小。
在步骤S25，组成信息分析部分23基于描述“V_offset”和“H_offset，”，或基于描述“Window_id”中包括的参数，检测加亮的窗口的位置。
在步骤S26，组成信息分析部分23基于描述“FrameGroup”，检测形成加亮的窗口的时间以及其他数据。
在步骤S27，组成信息分析部分23检查是否尚待加亮要在加亮的屏幕上形成的任何窗口。
如果在步骤S27发现存在尚待加亮的窗口，则组成信息分析部分23加亮另一窗口，并且重复步骤S24和随后的步骤。
如果在步骤S27发现不存在尚待加亮的窗口，则到达步骤S28。在步骤S28，组成信息分析部分23检查是否存在由组成信息针对的、并尚待被加亮的屏幕。
如果在步骤S28发现存在尚待加亮的屏幕，则组成信息分析部分23加亮另一屏幕，并且重复步骤S22和随后的步骤。
如果在步骤S28发现不存在尚待加亮的屏幕，则到达步骤S29。在步骤S29，组成信息分析部分23向显示控制部分25输出关于各个屏幕的信息，包括关于要在每个屏幕上形成的窗口的位置和大小的信息、以及关于用于在各个窗口中显示画面的视频流的PID的信息。
此后，控制返回到图12的步骤S13，并且执行随后的步骤。
当执行上述步骤时，发送设备1可以通过使用组成信息主动地控制接收设备2应当显示画面的方式。这允许发送设备1使接收设备2按照节目的制作者的意图，显示由多个视频流的画面构成的单个节目的画面。
如果由发送设备1针对的屏幕的大小与在接收设备2侧上设立的屏幕3的大小不同，则显示控制部分25可将要在窗口中显示的画面的大小进行上转换或下转换。
例如，假设由发送设备1针对的屏幕具有2000乘以1000像素的大小，并且在接收设备2侧建立的屏幕3具有1000乘以500像素的大小。如果基于如图3所示的四个视频流的画面显示节目的每个帧的画面，则发送设备1将四个视频流多路复用为所提供的流，通过编码具有1000乘以500像素的大小的画面获得所述四个视频流。
在此情况下，接收设备2将一个视频流解码为具有1000乘以500像素的大小的画面。通过显示控制部分25将该画面下转换为具有500乘以250像素的大小的画面。
四个视频流的每个类似地进行下转换。这允许屏幕3显示与发送设备1设想的相同的画面，尽管是以不同的大小显示。
上面的段落说明了在接收设备2侧设立一个屏幕的情况。替代地，可建立多个屏幕。
图14是示出提供系统的另一典型配置的视图。
在图14的示例中，在接收设备2侧设立屏幕3-1到3-S。接收设备2基于添加到由发送设备1提供的多路复用流的组成信息，在每个屏幕上形成预定数量的窗口，以便显示构成单个节目的多个画面。
假设产生组成信息的发送设备1的管理者知道连接到接收设备2的各屏幕之间的位置关系。还假设各个屏幕之间的物理连接的关系由接收设备2使用连接网络ID等管理。
图15是示出在接收设备2一侧设立的六个屏幕的典型布局的透视图。
在图15的示例中，以围绕基本立方体空间的方式建立屏幕3-1到3-6。屏幕3-1到3-4侧面设立以面对空间的内部。屏幕3-5位于四个侧面屏幕的顶部，并且朝下面向空间的内部。屏幕3-6位于四个侧面屏幕的底部，并且朝上面向空间的内部。由屏幕3-1到3-6包围的空间内部的用户可在所有方向观看到画面。
图16示出如从屏幕3-3一侧观看地、由图15的屏幕3-1到3-6包围的空间。
图15和16示出下述情况，其中通过六个相机拍摄单个节目的画面，并将其分别编码为六个视频流，所述六个视频流然后被多路复用，从而提供节目。
在此情况下，基于添加到多路复用的流的组成信息，在屏幕3-1到3-6的每个的整个显示区域上形成单个窗口。
在组成信息中，在屏幕3-1上形成的窗口由Window_ID(S0，T0，H0，V0)标识，在屏幕3-2上形成的窗口由Window_ID(S 1，T0，H0，V0)标识，在屏幕3-3上形成的窗口由Window_ID(S2，T0，H0，V0)标识，在屏幕3-4上形成的窗口由Window_ID(S3，T0，H0，V0)标识，在屏幕3-5上形成的窗口由Window_ID(S4，T0，H0，V0)标识，并且在屏幕3-6上形成的窗口由Window_ID(S5，T0，H0，V0)标识。
从在各个窗口的Window_ID中包括的参数Sn的值，接收设备2检测到通过不同窗口构成每个屏幕。还从参数Hp和Vq的值检测到仅需要在每个屏幕上形成一个窗口。
由检测设备2检测在组成信息中包括的PID和Window_ID之间的对应关系。基于在视频流中包括的画面大小信息检测每个窗口的大小。
以此方式，如图15所示，在屏幕3-1上形成的窗口显示通过解码由相关PID标识的视频流获得的画面R-0。类似地，在屏幕3-2到3-6上形成的窗口分别显示通过解码由各自相关PID标识的视频流获得的画面R-1到R-5。
当安排画面R-0到R-5以互相同步的方式出现时，显示通过位于不同位置的多个相机图示性拍摄的原始单个节目的画面。
在如上所述利用组成信息的情况下，发送设备1使得接收设备2能够在多个屏幕上显示由处于不同位置的多个摄像机拍摄的画面。
图17是示出与多个屏幕连接的接收设备2的典型结构的框图。在图17所示的组件中，在图10中发现的组件通过类似的参考标号表示，并且以下在冗余时可省略其描述。
图17中的结构与图10中的接收设备2的结构的不同在于，提供了与配置的屏幕的数量一样多的显示控制部分25-1到25-S。
通过分析从接收部分21提供的组成信息，组成信息分析部分23检测在每个屏幕上形成窗口的时间、每个屏幕上形成窗口的那些位置、以及窗口的大小。组成信息分析部分23将指定检测的定时、窗口位置和窗口大小的信息输出到显示控制部分25-1到25-S。
同样，组成信息分析部分23分析组成信息，以便检测窗口和视频流之间的对应关系，从而向显示控制部分25-1到25-S输出指定显示画面的窗口、以及要解码为在指定的窗口中显示的画面的视频流的信息。
解码器24-1将从解复用器22提供的视频流解码为画面信号，并且将通过解码获得的画面信号输出到显示控制部分25-1。
类似地，解码器24-2到24-n将从解复用器22提供的视频流解码为画面信号，并且将通过解码获得的画面信号分别输出到显示控制部分25-2到25-S。
图17示出如图15所示、在每个屏幕上形成一个窗口以便显示单个画面的情况。在单个屏幕上形成多个窗口、以便在其中显示多个画面的情况下，来自多个解码器的输出输入到单个显示控制部分。
显示控制部分25-1根据从组成信息分析部分23提供的信息，以适当计时的方式在屏幕3-1上形成窗口，并且使得由此形成的窗口显示基于从解码器24-1提供的信号的画面。
类似地，显示控制部分25-2到25-S根据从组成信息分析部分23提供的信息，以适当计时的方式在屏幕3-3到3-S上形成窗口，并且使得由此形成的窗口显示基于从解码器24-2到24-n提供的信号的画面。
以此方式，可能在接收设备2侧设立多个屏幕。
而且，可存在这样的情况，其中存在多个多路复用的流，其每个包括与每个窗口对应的视频流，并且其中这些多路复用的流被再多路复用(Remux)为大的流，从而提供节目。在此情况下，当产生要再多路复用的每个多路复用的流时，可关于下述对象(要在窗口中显示的画面)由多路复用器12说明性地设置新的显示用时间戳，所述对象从构成各个多路复用的流的视频流得到，并且要被同时显示，所述时间戳还用于同步检查。
在上述情况下，发送设备1在产生每个多路复用的流时使用统一的PCR(节目时钟参考)。这允许接收设备2以确保没有矛盾的同步的方式，显示基于多个视频流的画面。
图18是示出如何添加组成信息的概念的视图。
假设如图18中通过箭头A11到A13、A21到A23、以及A31到A33指示的视频流、音频流和其他数据构成分别组成节目1、2和3的数据的传输流TS1、TS2和TS3。在此情况下，如箭头A41到A43所示，传输流TS1到TS3被再多路复用(Re-multiplex)为流。将组成信息添加到通过再多路复用获得的流产生大的TS。大的TS是要提供到接收设备2的流。
图19是示出其中典型地组成信息典型插入位置的视图。
例如，组成信息插入到由ISO/IEC标准13818-1定义的TS私有部分(Private Section)。如图19所示，TS私有部分通过表格ID(TableID)、部分语法指示符(Section Syntax Indicator)、私有指示符(Private Indicator)、固定为“11”的值、私有部分长度和Private_Data构造。
在部分数据的有效负载中，表格ID是数据类型标识符。作为部分语法指示符，图示性地描述值“0”以表示组成信息。图示性地描述值“1”作为私有指示符。对于私有部分长度，描述部分数据的长度。在Private_Data中，描述诸如图8中所示的组成信息。
上述一系列步骤可通过硬件或通过软件执行。在要执行基于软件的处理的情况下，构成软件的程序可预先并入到用于程序执行的计算机的专用硬件中，或在使用时从适当程序记录介质安装到通用个人计算机、或能够基于安装的程序执行各种功能的类似设备中。
图20是示出用于通过使用程序执行上述一系列步骤的计算机的典型硬件结构的框图。
CPU(中央处理单元)51、ROM(只读存储器)52、以及RAM(随机存取存储器)53经由总线54彼此互连。
输入/输出接口55也连接到总线54。输入/输出接口55与下述部分连接：输入部分56，典型地包括键盘、鼠标和麦克风；输出部分57，典型地通过显示器和扬声器形成；存储部分58，典型地通过硬盘或非易失性存储器构成；通信部分59，典型地包括网络接口；以及驱动器60，用于驱动如光盘或半导体存储器的可移除介质61。
在如上所述构造的计算机中，图示性存储在存储部分58中的程序通过输入/输出接口55和总线54加载到RAM 53中，从而执行上述一系列步骤。
在所述节目安装到存储部分58之前，要由CPU 51执行的程序图示性地提供为记录在可移除介质61上，或通过如局域网、因特网或数字广播的有线或无线介质传输。
在本说明书中，要由计算机执行的程序可基于时间序列以所述顺序、并行方式、或适当计时的方式(如按需要调用)执行。
尽管已经使用特定术语描述了本发明的优选实施例，但是这样的描述仅用于说明目的，并且要理解，可进行改变和变化而不背离权利要求书的精神或范围。

Claims (12)

1.一种信息处理装置，包括：
多路复用部件，用于多路复用包括垂直和水平画面大小信息的视频流；
添加部件，用于将组成信息添加到通过所述多路复用部件多路复用而获得的多路复用的流，所述组成信息包括指定用于画面显示的屏幕的第一信息、指定在所述屏幕上形成的窗口的数量的第二信息、指定用于在所述窗口中进行画面显示的视频流的第三信息、以及指定所述窗口在所述屏幕上的位置的第四信息；以及
提供部件，用于为显示控制装置提供所述多路复用的流，所述添加部件已经为所述多路复用的流添加了所述组成信息，所述显示控制装置控制画面在所述屏幕上的显示。
2.根据权利要求1的信息处理装置，其中所述窗口在大小上是可变的。
3.根据权利要求1的信息处理装置，其中所述添加部件向所述多路复用的流添加进一步包括指定用于画面显示的屏幕的数量的信息、以及关于所述各个屏幕的所述第一信息到所述第四信息的组成信息。
4.根据权利要求1的信息处理装置，其中所述添加部件向所述多路复用的流添加进一步包括指定要形成各个窗口的定时的信息的组成信息。
5.根据权利要求1的信息处理装置，其中所述多路复用部件设置用于指定显示定时的显示时间戳，在所述显示定时，同时显示从用于在各个窗口中显示所述画面的所述视频流得到的所述画面的一些。
6.根据权利要求1的信息处理装置，其中所述添加部件向所述多路复用的流添加进一步包括指定由所述第一信息指定的所述屏幕的大小的信息的组成信息。
7.一种信息处理方法，包括下述步骤：
多路复用包括垂直和水平画面大小信息的视频流；
将组成信息添加到通过所述多路复用而获得的多路复用的流，所述组成信息包括指定用于画面显示的屏幕的第一信息、指定在所述屏幕上形成的窗口的数量的第二信息、指定用于在各个窗口中进行画面显示的视频流的第三信息、以及指定所述各个窗口在所述屏幕上的位置的第四信息；以及
为显示控制装置提供所述多路复用的流，已经为所述多路复用的流添加所述组成信息，所述显示控制装置控制画面在所述屏幕上的显示。
8.一种用于使得计算机执行包括下述步骤的处理的程序：
多路复用包括垂直和水平画面大小信息的视频流；
将组成信息添加到通过所述多路复用而获得的多路复用的流，所述组成信息包括指定用于画面显示的屏幕的第一信息、指定在所述屏幕上形成的窗口的数量的第二信息、指定用于在各个窗口中进行画面显示的视频流的第三信息、以及指定所述各个窗口在所述屏幕上的位置的第四信息；以及
为显示控制装置提供所述多路复用的流，已经为所述多路复用的流添加所述组成信息，所述显示控制装置控制画面在所述屏幕上的显示。
9.一种显示控制装置，用于获取由信息处理装置提供的用于画面显示的多路复用的流，所述多路复用的流通过多路复用包括垂直和水平画面大小信息的视频流获得，所述信息处理装置将组成信息添加到所述多路复用的流，所述组成信息包括指定用于画面显示的屏幕的第一信息、指定在所述屏幕上形成的窗口的数量的第二信息、指定用于在各个窗口中进行画面显示的视频流的第三信息、以及指定所述各个窗口在所述屏幕上的位置的第四信息，所述显示控制装置包括：
分离部件，用于将所述多路复用的流分离为所述视频流；
分析部件，用于分析添加到所述多路复用的流的所述组成信息，以便关于数量由所述第二信息指定的各个窗口，基于所述第三信息，检测用于画面显示的所述视频流，以便基于在所检测的视频流中包括的所述大小信息检测所述窗口的大小，并且在由所述第一信息指定的所述屏幕上、由所述第四信息指定的那些位置处形成所检测的大小的窗口；
解码部件，用于解码所述视频流；以及
显示控制部件，用于在所述各个窗口中显示通过所述解码部件解码获得的画面。
10.根据权利要求9的显示控制装置，其中所述组成信息进一步包括指定目标屏幕的大小的信息；以及
其中，如果由该进一步包括的信息指定的大小与指定的屏幕的大小不同，则所述显示控制部件改变通过所述解码部件解码获得的画面的大小。
11.一种显示控制方法，用于获取由信息处理装置提供的用于画面显示的多路复用的流，所述多路复用的流通过多路复用包括垂直和水平画面大小信息的视频流获得，所述信息处理装置将组成信息添加到所述多路复用的流，所述组成信息包括指定用于画面显示的屏幕的第一信息、指定在所述屏幕上形成的窗口的数量的第二信息、指定用于在各个窗口中进行画面显示的视频流的第三信息、以及指定所述各个窗口在所述屏幕上的位置的第四信息，所述显示控制方法包括下述步骤：
将所述多路复用的流分离为所述视频流；
分析添加到所述多路复用的流的所述组成信息，以便关于数量由所述第二信息指定的各个窗口，基于所述第三信息，检测用于画面显示的所述视频流，以便基于在所检测的视频流中包括的所述大小信息检测所述窗口的大小，并且在由所述第一信息指定的所述屏幕上、由所述第四信息指定的那些位置处形成所检测的大小的窗口；
解码所述视频流；以及
在所述窗口中显示通过解码获得的画面。
12.一种程序，用于使得计算机执行用于获取由图像处理装置提供的用于画面显示的多路复用的流的处理，所述多路复用的流通过多路复用包括垂直和水平画面大小信息的视频流获得，所述信息处理装置为所述多路复用的流添加组成信息，所述组成信息包括指定用于画面显示的屏幕的第一信息、指定在所述屏幕上形成的窗口的数量的第二信息、指定用于在所述窗口中进行画面显示的视频流的第三信息、以及指定各个窗口在所述屏幕上的位置的第四信息，所述处理包括下述步骤：
将所述多路复用的流分离为所述视频流；
分析添加到所述多路复用的流的所述组成信息，以便关于数量由所述第二信息指定的各个窗口，基于所述第三信息，检测用于画面显示的所述视频流，以便基于在所检测的视频流中包括的所述大小信息检测窗口的大小，并且在由所述第一信息指定的所述屏幕上、由所述第四信息指定的那些位置处形成所检测的大小的窗口；
解码所述视频流；以及
在所述各个窗口中显示通过解码获得的画面。
CNA2008800025872A 2007-11-20 2008-11-20 信息处理装置、信息处理方法、显示控制装置、显示控制方法和程序 Pending CN101589619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410106271.5A CN103945170B (zh) 2007-11-20 2008-11-20 信息处理装置、信息处理方法、和非暂时性记录介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007300623 2007-11-20
JP300623/2007 2007-11-20
JP020334/2008 2008-01-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410106271.5A Division CN103945170B (zh) 2007-11-20 2008-11-20 信息处理装置、信息处理方法、和非暂时性记录介质

Publications (1)

Publication Number Publication Date
CN101589619A true CN101589619A (zh) 2009-11-25

Family

ID=40917936

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008800025872A Pending CN101589619A (zh) 2007-11-20 2008-11-20 信息处理装置、信息处理方法、显示控制装置、显示控制方法和程序

Country Status (1)

Country Link
CN (1) CN101589619A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186038A (zh) * 2011-05-17 2011-09-14 浪潮(山东)电子信息有限公司 一种在数字电视屏幕上同步播放多视角画面的方法
CN102714746A (zh) * 2010-09-06 2012-10-03 索尼公司 立体图像数据传送设备、立体图像数据传送方法、以及立体图像数据接收设备
CN103024583A (zh) * 2012-12-26 2013-04-03 新奥特（北京）视频技术有限公司 一种数据显示的方法和装置
CN103137156A (zh) * 2011-08-03 2013-06-05 索尼公司 信息处理装置和显示方法
WO2014079303A1 (zh) * 2012-11-23 2014-05-30 中兴通讯股份有限公司 一种视频多画面合成方法、装置和系统
CN106851376A (zh) * 2017-03-01 2017-06-13 惠州Tcl移动通信有限公司 一种同一界面多视频播放的方法、系统及其移动终端
CN107046631A (zh) * 2017-03-28 2017-08-15 深圳广世创科技有限公司 一种可同时编码2路和以上流媒体的多人无线会议室演示的方法和系统
WO2018058773A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种视频数据的处理方法及装置
WO2023185835A1 (zh) * 2022-03-28 2023-10-05 海尔智家股份有限公司 制冷电器中的多相机视觉系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102714746A (zh) * 2010-09-06 2012-10-03 索尼公司 立体图像数据传送设备、立体图像数据传送方法、以及立体图像数据接收设备
CN102186038A (zh) * 2011-05-17 2011-09-14 浪潮(山东)电子信息有限公司 一种在数字电视屏幕上同步播放多视角画面的方法
CN103137156A (zh) * 2011-08-03 2013-06-05 索尼公司 信息处理装置和显示方法
WO2014079303A1 (zh) * 2012-11-23 2014-05-30 中兴通讯股份有限公司 一种视频多画面合成方法、装置和系统
CN103841359A (zh) * 2012-11-23 2014-06-04 中兴通讯股份有限公司 一种视频多画面合成方法、装置和系统
CN103024583A (zh) * 2012-12-26 2013-04-03 新奥特（北京）视频技术有限公司 一种数据显示的方法和装置
WO2018058773A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种视频数据的处理方法及装置
CN107888939A (zh) * 2016-09-30 2018-04-06 华为技术有限公司 一种视频数据的处理方法及装置
CN106851376A (zh) * 2017-03-01 2017-06-13 惠州Tcl移动通信有限公司 一种同一界面多视频播放的方法、系统及其移动终端
CN106851376B (zh) * 2017-03-01 2020-07-14 惠州Tcl移动通信有限公司 一种同一界面多视频播放的方法、系统及其移动终端
CN107046631A (zh) * 2017-03-28 2017-08-15 深圳广世创科技有限公司 一种可同时编码2路和以上流媒体的多人无线会议室演示的方法和系统
WO2023185835A1 (zh) * 2022-03-28 2023-10-05 海尔智家股份有限公司 制冷电器中的多相机视觉系统

Similar Documents

Publication Publication Date Title
CN103945170B (zh) 信息处理装置、信息处理方法、和非暂时性记录介质
CN101589619A (zh) 信息处理装置、信息处理方法、显示控制装置、显示控制方法和程序
JP5979499B2 (ja) 再生装置、再生方法、集積回路、放送システム、及び放送方法
ES2413529T3 (es) Aparato para recibir una señal de información digital
CN104584562B (zh) 发送设备、发送方法、接收设备和接收方法
RU2633385C2 (ru) Передающее устройство, способ передачи, приемное устройство, способ приема и способ отображения приема
JP2012507968A (ja) ステレオスコピック画像を同期化する装置及び方法と、これを利用したステレオスコピック画像提供装置及び方法
CN102860000A (zh) 产生用于提供三维多媒体服务的数据流的方法和设备以及用于接收所述数据流的方法和设备
KR20060100264A (ko) 기록 재생 장치 및 방법과, 입체 영상 시각 효과 확인 장치및 방법
CN103026713A (zh) 3d视频广播中的辅助数据
JP2013545361A (ja) ステレオスコピックビデオサービスのためのシグナリング方法及びその方法を使用する装置
CN103155574A (zh) 发射机、传送方法和接收机
EP2448272A1 (en) 3d image providing device, display device, and method thereof
WO2013018490A1 (ja) 送信装置、送信方法および受信装置
CN103168476A (zh) 发送器、发送方法以及接收器
WO2012026342A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US20130188015A1 (en) Transmitting apparatus, transmitting method, and receiving apparatus
JP5321676B2 (ja) 情報再生装置および情報再生方法
JP4947198B2 (ja) 情報再生装置および情報再生方法
JP2013055479A (ja) 通信コンテンツ生成装置および通信コンテンツ生成プログラム
JP2008118704A (ja) 映像信号処理装置および映像信号処理方法
JP2001211432A (ja) 画像復号装置、半導体装置、及び画像復号方法
JP5920442B2 (ja) デジタル衛星放送の受信装置および受信方法
JP5861735B2 (ja) デジタル放送の受信装置および受信方法
JP5664699B2 (ja) 情報再生装置および情報再生方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20091125