CN101500144B - 显示控制装置和显示控制方法 - Google Patents

显示控制装置和显示控制方法 Download PDF

Info

Publication number
CN101500144B
CN101500144B CN2009100097059A CN200910009705A CN101500144B CN 101500144 B CN101500144 B CN 101500144B CN 2009100097059 A CN2009100097059 A CN 2009100097059A CN 200910009705 A CN200910009705 A CN 200910009705A CN 101500144 B CN101500144 B CN 101500144B
Authority
CN
China
Prior art keywords
content
datas
video
unit
programs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009100097059A
Other languages
English (en)
Other versions
CN101500144A (zh
Inventor
小林誠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101500144A publication Critical patent/CN101500144A/zh
Application granted granted Critical
Publication of CN101500144B publication Critical patent/CN101500144B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种显示控制装置和显示控制方法。显示控制装置基于多条内容数据而在一个画面上显示多个视频图像。所述显示控制装置具有：选择单元，其被配置成选择多条内容数据，以显示多个视频图像。所述显示控制装置还具有：调整单元，其被配置成基于所述多条内容数据中所包括的信息，调整对所述多个视频图像进行显示的定时。

Description

显示控制装置和显示控制方法
技术领域
本发明一般涉及一种用于再现多个节目的显示控制装置以及显示控制方法。
背景技术
近来广播系统的多样化鼓励了广泛使用与多种广播系统兼容的数字电视。
所述多种广播系统的示例是：模拟地面广播、对模拟地面广播进行同步广播的数字地面广播、广播卫星(BS)数字广播、以及通信卫星(CS)数字广播。又一示例是使用缆线的缆线电视广播。在缆线电视广播中，也执行广播波的重传，例如通过无线电进行数字地面广播。
由于从模拟地面广播到数字地面广播的完全转换，因此使用IP网络的互联网协议(IP)重传广播将开始于在数字地面广播波到达范围之外的区域或地方。还已经通过流式发布的方式来提供互联网上公布的内容。
然而，广播中可能出现延迟。延迟时间可以根据广播系统而变化。
图4示出不同广播系统的延迟时间。通常，在模拟地面广播中，地面传输时间可能是延迟的主要因素，这种延迟可能增加现场广播的拍摄时间。在数字地面广播中，各种数字处理的时间可能是增加延迟时间的关键因素。在BS和CS数字广播中，往返于卫星的传输时间可能进一步增加延迟时间。换句话说，取决于广播系统，节目的再现时间可能与拍摄时间相差若干秒。在通过缆线电视广播或IP广播进行的重传中，用于重传的信号处理可能进一步增加延迟时间，从而与不涉及重传的数字地面广播或BS/CS数字广播相比，延迟时间可能更长。在使用互联网的IP广播中，也可能出现延迟时间的改变，即波动。
日本未决专利申请公开2006-128741讨论了记录开始与节目开始的失配。由于卫星广播的传输距离比地面广播更长，因此延迟时间可能导致失配。为了减少这种失配，日本未决专利申请公开2006-128741讨论了一种用于在预约卫星广播节目的记录的情况下在通过预定延迟时间之后开始进行记录的方法。
日本未决专利申请公开2006-270824讨论了即使在正广播同一节目的情况下，当通过同时广播而广播的节目从数字地面广播切换到模拟地面广播时，由于传输系统之间的差异而产生的时间滞后可以如何导致视频和音频的不连续性。提供一种技术，通过该技术，检测两个广播系统之间的再现的时间差，并且根据检测到的时间差来移位模拟地面广播的再现位置。日本未决专利申请公开2006-270824讨论了一种方法，该方法使得在同时广播的切换期间，能够通过使用上述技术而相对平滑地接收并且再现同一节目。
然而，于在多个画面上再现多个关联节目的情况下，如果再现节目的定时不匹配，则用户可能感到无所适从。关联节目的示例可以是这样的节目：其在某项体育运动的同一比赛中关注于不同视点或不同对象。
更具体地说，例如，当对足球比赛进行现场广播时，用户可以在左边画面上再现关注于关于整个比赛流的场景的节目并且通过数字地面广播方式而进行广播，以及在右边画面上再现关注于比赛的特定选手的节目并且通过互联网广播方式而进行广播。在此情况下，虽然观看(同一比赛的)多个关联节目，但因为不同的广播系统，所以延迟时间可能不同，并且该延迟时间可能导致在再现节目的定时方面的失配。更具体地说，如图5A所示，在右边画面上的视频或音频的再现可能滞后于在左边画面上的视频或音频的再现，从而用户可能感到无所适从。
例如，当经由互联网从不同服务器接收到多个关联节目的内容数据并且对其进行再现时，可能出现以下情况。也就是说，因为内容数据的路径的差异，以及发布内容数据的服务器的能力和负载，所以延迟时间可能从一个节目到另一节目而变化，并且导致再现节目的定时方面的失配。此外，还可能出现波动。
例如，当从外连硬盘记录器或数字多功能盘(DVD)接收到多个关联节目的内容数据并且对其进行再现时，可能出现以下情况。再现操作的定时的差异可能导致再现节目的定时方面的失配。
在这些示例中，当在左边和右边上的两个画面上观看节目时，右边画面上的节目的再现可能滞后于左边画面上的节目的再现，从而用户可能感到无所适从。
发明内容
根据本发明的一个方面，提供一种显示控制装置，其基于多条内容数据而在一个画面上显示多个视频图像。所述显示控制装置包括：选择单元，其被配置成选择多条内容数据，以显示多个视频图像；以及调整单元，其被配置成基于所述多条内容数据中所包括的信息，调整显示所述多个视频图像的定时。
根据本发明的另一个方面，提供一种用于控制显示控制装置的方法，所述显示控制装置基于被选择以显示多个视频图像的多条内容数据而在一个画面上显示所述多个视频图像。所述方法包括：基于所述多条内容数据中所包括的信息，调整显示所述多个视频图像的定时。
结合附图从以下示例性实施例的详细描述，本发明的进一步的特征和方面将变得清楚。
附图说明
合并到说明书中并且构成说明书的一部分的附图示出本发明的示例性实施例、特征和方面，并且连同说明书一起用于解释本发明的原理。
图1示出根据本发明第一示例性实施例的显示控制装置的系统配置。
图2是示出根据第一示例性实施例的在两个节目的再现期间的处理的流程图。
图3示出根据本发明第二示例性实施例的显示控制装置的系统配置。
图4示出在传输系统与延迟时间之间的关联性的示例。
图5A和图5B示出在两个节目的再现期间的时间差与同步再现的示例。
具体实施方式
以下将参照附图详细描述本发明的各个示例性实施例、特征和方面。
以下将参照附图描述本发明第一示例性实施例。
图1示出根据本发明第一示例性实施例的作为显示控制装置的数字电视101的系统配置。本示例性实施例的数字电视101是基于多条内容数据(例如与多个节目对应的传输流)而在一个画面上显示多个视频的显示控制装置。除了数字电视之外，还可以由例如以下装置来实现本发明：个人计算机、工作站、笔记本个人计算机(PC)、掌上PC、包括计算机的各种家用电器、游戏机以及便携式电话、或这些装置的组合，它们可以对多个节目的显示进行控制。
在图1的实施例中，数字地面调谐器102包括解调电路和纠错电路，从而其可以对从地面天线接收到的数字广播波进行解调，以将传输流输出到多路复用分离单元105或106。
广播卫星/通信卫星(BS/CS)调谐器103可以相似地对从BS/CS天线接收到的数字广播波进行解调，以将传输流输出到多路复用分离电路105或106。本示例性实施例的数字地面调谐器102和BS/CS调谐器103可以能够同时处理两路传输流。因此，数字电视101可以基于不同传输流的处理而执行数字地面广播或BS/CS广播的双画面显示。
通信单元104是用于经由IP网络执行与设备的各种通信的接口。通信单元104与记录装置进行通信，以接收各种传输流，所述记录装置连接到局域网(LAN)以及互联网上的服务器。通信单元104将接收到的传输流输出到多路复用分离单元105或106。本示例性实施例的通信单元104可以同时处理两路传输流。因此，该实施例的数字电视101可以基于不同传输流的处理来执行不同节目的双画面显示。
可以根据情况来确定数字地面调谐器102、BS/CS调谐器103和通信单元104是将传输流输出到多路复用分离单元105还是输出到多路复用分离单元106。例如，当正使用多路复用分离单元105并且没有使用多路复用分离单元106时，可以将传输流输出到多路复用分离单元106。
多路复用分离单元105和106中的每一个可以从自数字地面调谐器102、BS/CS调谐器103和通信单元104中的至少一个所接收到的传输流分离出分组(packet)，并且可以对传输流进行解扰。本示例性实施例的传输流可以包括被多路复用并且用于再现节目的分组，例如视频分组化基本流(packetized elementary stream，PES)分组和音频PES分组中的至少之一。可以在存储分组的传输(TS)分组的头部中描述分组标识符(PID)。基于PID，可以标识节目以及分组的类型。换句话说，可以通过具有相同PID的多个TS分组来发送包括用于相同节目的视频、音频和字幕中的一个或多个的各个流的PES分组。
传输流可以包括片段(section)格式表中所描述的分组(下文中称之为片段分组)，例如节目特定信息(program specificinformation，PSI)或服务信息(SI)。PSI是用于对广播频道进行选择以接收节目的信息，并且可以包括节目关联表(PAT)、节目映射表(PMT)、网络信息表(NIT)和条件访问表(CAT)
在PID＝0的情况下发送PAT，并且该PAT包括发送与每一节目对应的PMT的TS分组的PID。在PAT中，包括发送如下所述的NIT的TS分组的PID。
对于构成每一节目的每一组分(视频、音频、数据和字幕的每一元素)，PMT包括发送所述组分的TS分组的PID。PMT进一步包括发送CAT的TS分组的PID。对于每一传输流，NIT包括用于选择频道的信息(例如关于其发送源以及在传输流上所多路复用的节目的信息)。CAT是用于获得未加扰信息的表。
SI是对于广播公司所提供的服务而使用的信息，并且包括例如事件信息表(EIT)。EIT包括广播节目的名称、开始时间、长度和内容。
多路复用分离单元105和106中的每一个从自数字地面调谐器102、BS/CS调谐器103和通信单元104中的至少一个所接收到的传输流分离出片段分组，以将分离出的片段分组发送到如下所述的片段处理单元107。
多路复用分离单元105和106中的每一个可以能够基于来自片段处理单元107的指令而从传输流选择并且分离出关于节目的PES分组。换句话说，多路复用分离单元105和106中的每一个可以选择多条内容数据(例如与多个节目对应的PES分组)。分离出的视频PES分组可以被输出到延迟缓冲器108，并且分离出的音频PES分组可以被输出到音频处理单元109。片段处理单元107对从多路复用分离单元105和106中的每一个所发送的片段分组(例如PSI和SI)进行处理。换句话说，基于用户已经从指令输入单元(未示出)输入的关于待观看的节目的指令，并且基于接收到的片段分组，片段处理单元107可以向多路复用分离单元105和106中的每一个发出关于待分离的PES分组的指令以及用于解扰的指令。
在处理两个节目的情况下，片段处理单元107参照关于每一节目的EIT，以确定节目是否彼此关联。片段处理单元107向时间差调整单元111通知确定的结果。换句话说，片段处理单元107确定多路复用分离单元105和106所选择的多条内容数据之间的关联性。
延迟缓冲器108是用于临时存储从多路复用分离单元105和106中的每一个接收到的视频信息的记录单元。在该示例中，视频信息在其已编码状态下而被记录。在再现两个节目的情况下，延迟缓冲器108对从多路复用分离单元105和106两者所发送的多条视频信息进行记录。
音频处理单元109对从多路复用分离单元105和106中的每一个所接收到的音频信息进行解码，以将解码后的音频信息输出到延迟缓冲器110。音频处理单元109具有用于对多个音频流进行解码以对两个节目的副音频和音频进行解码的能力。
延迟缓冲器110是用于临时存储由音频处理单元109所解码的音频信息的记录单元。在对两个节目的副音频和音频信息进行解码的情况下，延迟缓冲器110对多条已解码音频信息进行记录。
根据该实施例的时间差调整单元111获得再现两个关联节目的定时之间的时间差。再现两个节目的定时之间的时间差表示两个节目的再现时间相对于现场广播的拍摄时间的时间延迟之间的差，例如在图4中示出的那样。当片段处理单元107确定在待再现的两个节目之间存在关联性时，时间差调整单元111执行以下处理。时间差调整单元111对延迟缓冲器110中记录的两个节目的各条音频信息彼此进行比较，以获得再现这两个节目的定时之间的时间差。换句话说，时间差调整单元111获得图5A的观看示例所示的时间差“t1”。进一步地，时间差调整单元111向音频输出单元112和视频处理单元113通知用于对两个节目中的哪一个具有较早再现定时进行标识的信息以及所获得的时间差“t1”。已经从时间差调整单元111接收到时间差“t1”的视频处理单元113执行处理，从而两个节目的视频中具有较早再现定时的一个的再现可以相对于具有较晚再现定时的另一个而被延迟。
换句话说，时间差调整单元111基于多条内容数据中所包括的信息(例如已解码音频信息)对显示片段处理单元107已经确定为具有关联性的多个视频的定时进行匹配。
本示例性实施例的时间差调整单元111发送用于对两个节目中的哪一个具有较早再现定时进行标识的信息。然而，时间差调整单元111也可以发送用于对节目中的哪一个具有较晚再现定时进行标识的信息。
已经从时间差调整单元111接收到时间差“t1”的音频输出单元112相对于两个节目的音频中具有较晚再现定时的一个而延迟具有较早再现定时的另一个音频的再现。
音频输出单元112再现从延迟缓冲器110接收到的已解码音频信息。音频输出单元112可以包括扬声器和头戴式耳机输出，并且例如当同时再现主音频和副音频时，或者当再现两个节目的音频时，音频输出单元112再现不同的各条音频信息。本示例性实施例的音频输出单元112可以例如将两路音频流之一输出到扬声器，并且将另一路音频流输出到头戴式耳机。当片段处理单元107确定两个节目关联时，例如，音频输出单元112可以对音频进行合成，以将结果输出到同一扬声器。
视频处理单元113对延迟缓冲器108中记录的视频信息进行解码，并且将解码后的视频信息输出到视频输出单元114。视频处理单元113具有用于对至少两条视频信息进行解码以再现两个节目的能力。当片段处理单元107确定待处理的两个节目关联时，在两个节目的处理期间，视频处理单元113可以执行以下处理。更具体地说，根据再现两个节目的定时之间的时间差“t1”，视频处理单元113可以将具有较早再现定时的节目的视频流的解码相对于具有较晚再现定时的另一节目的视频流的解码延迟时间“t1”。通过该方法，如例如图5B所示，视频处理单元113可以通过同步方式再现关联节目的视频。
视频输出单元114将从视频处理单元113接收到的已解码视频信息再现为视频。更具体地说，视频输出单元114可以将从视频处理单元113接收到的视频与各条显示信息(例如字幕或音量显示)进行合成，可以执行各种高质量处理和场角度调整，并且显示处理后的视频。在处理两个节目的情况下，视频输出单元114可以执行合成处理，以在两个画面上显示从视频处理单元113接收到的两个视频。
已经描述了本示例性实施例的数字电视101的系统配置。
接下来，将描述根据本示例性实施例的双节目再现的处理流的示例。
图2是示出当数字电视101执行用于两个节目的再现处理时的处理流的示例的流程图。
在本示例性实施例中，描述当在单节目再现期间用户命令同时再现两个节目时的处理示例。根据本示例性实施例，当命令同时再现两个节目时，在左边画面和右边画面上分离地显示这两个节目。在数字电视101中，在接收到同时再现两个节目的指令之后，左边画面显示单节目再现的视频，而右边画面显示在最近双节目再现期间在右边画面上显示的频道的视频，作为最初画面。例如，如果右边画面上最近显示的节目是数字地面广播的频道3的节目，则根据下一个双节目再现的指令而在右边画面上首先显示数字地面广播的频道3的当前广播视频。当在单节目再现期间命令同时再现两个节目时，并且当在单节目再现期间显示数字地面广播的频道1时，左边画面基于双节目再现的指令而显示数字地面广播的频道1。
在图2中，当从用户接收到再现两个节目的指令时，处理进入步骤S201。在步骤S201，数字电视101分别使得视频输出单元114和音频输出单元112停止再现视频和音频。换句话说，视频输出单元114停止输出在单节目再现期间再现的视频。相似地，音频输出单元112停止输出音频。在步骤S201，停止输出视频和音频。然而，视频处理单元113和音频处理单元109继续进行视频信息和音频信息的解码处理。
在步骤S202，片段处理单元107执行右边画面的选择处理，以用于双节目再现。换句话说，片段处理单元107对在最近双节目再现期间在右边画面上再现的节目的频道进行存储。基于所存储的频道，片段处理单元107执行用于数字地面调谐器102、BS/CS调谐器103或通信单元104的选择处理。例如，如果在最近双画面显示期间在右边画面上最近显示数字地面广播的频道3，则片段处理单元107向数字地面调谐器102给出用于接收频道3的选择指令。于是，数字地面调谐器102对接收到的数字广播数据进行解码，并且将包括频道3的节目的传输流输出到未使用的多路复用分离单元105和106之一。
在步骤S203，数字电视101在左边画面上继续再现节目的视频和音频。更具体地说，视频输出单元114通过在左边画面上对在步骤S201被停止的单节目再现期间的节目的输出位置进行重置而继续输出该节目的视频。相似地，音频输出单元112继续再现于步骤S201停止的音频。步骤S202和步骤S203的顺序也可以相反。
在步骤S204(选择过程)，数字电视101开始再现对于双节目再现而新选择的节目。也就是说，多路复用分离单元105或106从基于步骤S202的选择而接收到的传输流选择并且分离出与所选择的频道对应的分组。
多路复用分离单元105或106已经通过以上处理而选择并且分离出了用于单节目再现的PES分组。换句话说，在步骤S204，多路复用分离单元105或106选择多条内容数据(例如与多个节目对应的PES分组)中的每一个。
经由延迟缓冲器108将分离出的视频PES分组发送到视频处理单元113。视频处理单元113对视频信息进行解码，并且于是视频输出单元114输出解码后的视频信息。在此情况下，视频输出单元114将在步骤S202所选择的节目的视频设置为在右边画面上进行再现。分离出的音频PES分组被音频处理单元109解码，并且于是经由延迟缓冲器110而被发送到音频输出单元112，以待输出。
对于音频再现，音频输出单元112将用于单节目再现的节目输出到扬声器，并且经由头戴式耳机再现对于双节目再现而新选择的节目的音频。然而，例如，当用户希望同时收听两个节目的音频时，音频输出单元112可以输出所述音频，从而它们可以被同时收听到。音频输出单元112可以仅输出所述节目之一的音频。
在步骤S205(确定过程)，片段处理单元107确定待再现的两个节目之间的关联性。片段处理单元107分析关于每一节目的EIT，基于多条信息(例如节目名称和节目内容)确定这两个节目是否彼此关联，并且向时间差调整单元111通知其结果。
更具体地说，片段处理单元107确定由多路复用分离单元105或106所选择的多条内容数据(例如与多个节目对应的PES分组)之间的关联性。由片段处理单元107对两个节目之间的关联性进行确定使得能够基于多个节目的再现指令而进行自动时间差检测，并且其后进行延迟处理。如果在步骤S205确定这两个节目之间没有关联性(步骤S205中的“否”)，则视频输出单元114执行正常双画面显示。在此情况下，片段处理单元107周期性分析EIT(例如每隔一分钟)，以检查待再现的节目是否已经改变为关联节目。因此，当待选择的节目改变时，周期性确定待再现的节目之间的关联性可以减少再现多个节目的定时方面的失配，从而可以减少用户部分上的无所适从的感觉。例如，当片段处理单元107接收到用于改变待再现的节目的指令时，其可以确定关联性。
在步骤S205，当片段处理单元107确定两个节目之间存在关联性(步骤205中的“是”)时，处理进入步骤206。
在步骤S206，时间差调整单元111对两个节目的多条音频信息彼此进行比较，以检测再现两个节目的定时之间的时间差。基于片段处理单元107的确定结果，时间差调整单元111对延迟缓冲器110中记录的两个节目的各条音频信息彼此进行比较，以获得时间差。换句话说，可以获得图5A所示的时间差“t1”。例如，时间差调整单元111确定在待同时再现的节目之一(节目2)中是否出现与从另一节目(节目1)提取的特定音频相似的音频。如果出现相似的音频，则当再现一个节目(节目1)中的音频的定时是“3:25:20”并且再现另一节目(节目2)中的相似音频的定时是“3:25:25”时，时间差“t1”是“5秒”。如果没有出现相似的音频，则时间差调整单元111从一个节目(节目1)提取其他音频，以确定在另一节目(节目2)中是否出现与提取出的所述其他音频相似的音频。时间差调整单元111重复该处理，直到检测到相似的音频。
因此，当节目的音频几乎相似时，可以通过对多个节目的多条音频信息进行比较来获得再现所述多个节目的定时之间的时间差。例如，在多个摄像机从同一拍摄地点拍摄同一体育比赛(例如一个摄像机拍摄整个比赛，而另一摄像机通过变焦来拍摄特定选手)的情况下，节目的音频可能几乎相似。上述处理不限于体育运动，而是还可以应用于管弦乐队和音乐方面。进一步地，当可以对麦克风进行共享或者在不同位置设置摄像机时，可以应用该技术。
时间差调整单元111向音频输出单元112和视频处理单元113通知用于对两个节目中的哪一个具有较早再现定时进行标识的信息和通过以上方式获得的时间差“t1”。
在步骤S207，音频输出单元112执行音频信息的延迟处理和再现。根据在步骤S206时间差调整单元111所通知的再现两个节目的定时之间的时间差“t1”，音频输出单元112将具有较早再现定时的音频信息的输出相对于具有较晚再现定时的音频信息的输出延迟“t1”。通过延迟再现的定时，如图5B所示，可以执行音频的同时再现。
在步骤S208(调整过程)，视频处理单元113执行视频信息的延迟处理和再现。根据在步骤S206从时间差调整单元111通知的再现两个节目的定时之间的时间差“t1”，视频处理单元113延迟视频信息的解码处理，从而具有较早再现定时的视频信息的输出可以相对于具有较晚再现定时的视频信息的输出滞后“t1”。在以上示例中，视频处理单元113延迟视频信息的解码处理，从而节目1的视频信息的输出可以相对于节目2的视频信息的输出滞后5秒。因此，从视频输出单元114输出的视频变得与图5B所示的视频相似。换句话说，视频处理单元113基于多条内容数据(例如与多个节目对应的PES分组)中所包括的多条信息(例如已解码音频信息)对再现在步骤S205被确定为具有关联性的多个视频的定时进行匹配。当在步骤S205确定存在关联性时，在执行步骤S207和步骤S208的调整处理之后，可以开始步骤S203和步骤S204的视频输出。
在两个节目的显示期间，可以按固定间隔来重复步骤S205至步骤S208的处理。因此，本示例性实施例可以处理由于节目的结束或者由于用户的选择而导致的节目的改变。甚至当节目没有改变时，重复处理也可以改进同步的精度。波动的问题(即，例如经由互联网的IP广播中可能出现的关于再现节目的延迟时间的改变)可能减少并且甚至被有效地解决。更具体地说，在例如延迟时间并非恒定的IP广播的环境中，可以通过重复在步骤S206所执行的时间差“t1”的检测来减少再现多个关联节目的定时方面的失配，从而可以减少以及甚至减轻使用的部分上的无所适从的感觉。如果这些效果是不必要的，则无需重复所述处理。当检测到来自用户的时间差校正指令或节目改变指令时，可以执行步骤S206的时间差的检测以及步骤S207和步骤S208的延迟处理。
已经描述了当在作为根据本示例性实施例的显示控制装置的数字电视101中激活两个画面时的处理流的示例。
与视频相似，可以对于各种显示信息(例如字幕和音量显示中的至少一个)执行延迟处理。
根据本示例性实施例，在两个节目的再现期间左边画面和右边画面的大小可以彼此相等或彼此不等。本发明也可以应用于在用于显示一个节目的画面内对另一关联节目的画面进行显示的情况。
本示例性实施例描述了仅两个节目的再现。然而，本发明也可以应用于两个或更多节目的再现。
根据本示例性实施例，片段处理单元107参照每一节目的EIT来确定关联性。然而，也可以采用其它方法。例如，片段处理单元107可以获得关于从互联网的网站接收到的节目的信息，并且基于所获得的信息确定关联性。
根据本示例性实施例，数字电视101接收到的内容是以下内容中的至少一个：来自地面天线、BS/CS天线的广播波、以及经由IP网络接收到的传输流。然而，也可以从其它接口接收内容。本发明可以应用于经由各种数字接口(例如高清晰度多媒体接口(HDMI))而输入的流。
根据本示例性实施例，时间差调整单元111调整时间差。除此而外，用户也可以精细地调整时间差。更具体地说，根据本示例性实施例，时间差调整单元111根据在步骤S206检测到的时间差而在步骤S207和步骤S208调整时间差。用户也可以对用于通过调整处理被调整从而再现的多个内容的定时进行精细调整。通过所述精细调整，可以相对精确地对再现多个内容的定时进行匹配。
在本示例性实施例中，当内容数据彼此关联时，执行对再现与多条所选择的内容数据对应的视频的定时进行匹配的处理。因此，可以减少当对再现多条不关联的内容数据的定时进行匹配时所施加的处理负荷。然而，无论关联性如何，都可以执行用于对一个画面上所显示的多个视频的显示的定时进行匹配的处理。换句话说，可以省略用于确定关联性的存在的处理。
接下来，将参照附图关注与第一示例性实施例的不同之处，描述本发明第二示例性实施例。根据第一示例性实施例，基于已解码音频信息来检测再现多个节目的定时之间的时间差。第二示例性实施例与第一示例性实施例的不同之处在于，基于在每一节目的拍摄时间的实时信息(时间信息)来检测时间差。
图3示出根据本发明第二示例性实施例的数字电视101的系统配置。本示例性实施例的数字电视101是基于多条内容数据(与多个节目对应的传输流)而显示多个视频的显示控制装置。除了数字电视之外，还可以由例如以下装置来实现本发明：个人计算机、工作站、笔记本PC、掌上PC、包括计算机的各种家用电器、游戏机以及便携式电话、或这些装置的组合，它们可以再现多个节目。
在图3所示的实施例中，数字地面调谐器102、BS/CS调谐器103、通信单元104、片段处理单元107、延迟缓冲器108、视频处理单元113和视频输出单元114与图1所示的相似，并且因此将不重复描述它们。
第二示例性实施例的多路复用分离单元105和106与第一示例性实施例的不同之处在于，从传输流所选择和分离出的音频PES分组的输出目的地是延迟缓冲器110。
延迟缓冲器110是用于临时存储从多路复用分离单元105和106中的每一个接收到的音频信息的记录单元。在本示例性实施例中，音频信息在其已编码状态下被记录。在再现两个节目的情况下，延迟缓冲器110对从多路复用分离单元105和106两者所发送的各条已编码音频信息进行记录。
在再现两个节目的情况下，时间差调整单元111获得再现这两个节目的定时之间的时间差。再现两个节目的定时之间的时间差表示待再现的节目的再现时间相对于现场广播的拍摄时间的时间延迟之间的差，例如在图4中示出的那样。当片段处理单元107确定在待再现的两个节目之间存在关联性时，时间差调整单元111执行时间差检测。本示例性实施例的时间差调整单元111参考延迟缓冲器108和110，并且对两个节目中的每一个中所包括的拍摄时间的各条实时信息(例如时间信息)进行比较，以检测时间差。可以将拍摄时间的实时信息包括在视频PES分组和音频PES分组中的每一个的头部中。时间差调整单元111通过在拍摄时间的实时信息中对一个音频与另一音频以及一个视频与另一个视频进行比较而获得再现这两个节目的定时之间的时间差。因此，时间差调整单元111获得例如图5A中所示的时间差“t1”。
时间差调整单元111向音频处理单元109和视频处理单元113通知用于对两个节目中的哪一个具有较早再现定时进行标识的信息以及所检测到的时间差“t1”。已经从时间差调整单元111接收到时间差的通知的视频处理单元113执行处理，从而可以相对于具有较晚定时的两个节目的视频之一而对具有较早再现定时的另一视频的再现进行延迟。
更具体地说，时间差调整单元111基于多条内容数据(例如与多个节目对应的PES分组)中所包括的信息(例如拍摄时间的实时信息)对片段处理单元107已经确定为具有关联性的多个视频的显示的定时进行匹配。
音频处理单元109对延迟缓冲器110中所记录的音频信息进行解码，并且将解码后的音频信息输出到音频输出单元112。本示例性实施例的音频处理单元109具有对至少两路音频流进行解码的能力。在两个关联节目的再现期间，音频处理单元109基于从时间差调整单元111接收到的时间差“t1”而将具有较早再现定时的一个节目的音频流的解码相对于具有较晚定时的另一节目的音频流的解码延迟“t1”。通过该方法，如例如图5B所示，在多个关联节目的再现期间，可以同步地再现音频。
音频输出单元112从音频处理单元109接收音频信息作为音频。音频输出单元112例如可以包括扬声器和头戴式耳机输出，并且可以例如当同时再现主音频和副音频时，或者当再现两个节目的音频时，再现不同的各条音频信息。本示例性实施例的音频输出单元112可以将两路音频流之一输出到扬声器，并且将另一路音频流输出到头戴式耳机。当片段处理单元107确定两个节目关联时，例如，音频输出单元112可以对音频进行合成，以将结果输出到同一扬声器。
已经描述了本示例性实施例的数字电视101的系统配置。
接下来，参照图2，将描述根据本示例性实施例的双节目再现的处理流的示例。本示例性实施例的数字电视101是基于多条内容数据(与多个节目对应的传输流)而显示多个视频的显示控制装置。
与第一示例性实施例相似，在第二示例性实施例中，描述当在单节目再现期间用户命令同时再现两个节目时的处理示例。根据本示例性实施例，作为在接收到同时再现两个节目的指令之后的最初画面，左边画面显示单节目再现的视频，右边画面对在最近双节目再现期间在右边画面上所显示的频道的视频进行显示。例如，如果右边画面上最近显示的节目是数字地面广播的频道3的节目，则根据下一个双节目再现的指令而在右边画面上首先显示数字地面广播的频道3的当前广播视频。
在图2中，当从用户接收到再现两个节目的指令时，处理进入步骤S201。在步骤S201，数字电视101分别使得视频输出单元114和音频输出单元112停止再现视频和音频。换句话说，视频输出单元114停止输出在单节目再现期间再现的视频。相似地，音频输出单元112停止输出音频。在步骤S201，停止输出视频和音频。然而，视频处理单元113和音频处理单元109继续进行视频信息和音频信息的解码处理。
在步骤S202，片段处理单元107执行右边画面的选择处理，以用于双节目再现。换句话说，片段处理单元107对在最近双节目再现期间在右边画面上再现的节目的频道进行存储。基于所存储的频道，片段处理单元107执行用于数字地面调谐器102、BS/CS调谐器103或通信单元104的选择处理。例如，如果在最近双画面显示期间在右边画面上最近显示数字地面广播的频道3，则片段处理单元107向数字地面调谐器102给出用于接收频道3的选择指令。于是，数字地面调谐器102对接收到的数字广播数据进行解码，并且将包括频道3的节目的传输流输出到多路复用分离单元105和106中未使用的一个。
在步骤S203，数字电视101在左边画面上继续再现节目的视频和音频。也就是说，视频输出单元114通过在左边画面上对在步骤S201被停止的单节目再现期间的节目的视频输出的位置进行重置而继续进行其视频输出。相似地，音频输出单元112继续再现于步骤S201停止的音频。步骤S202和步骤S203的顺序也可以相反。
在步骤S204(选择过程)，数字电视101开始再现对于双节目再现而新选择的节目。更具体地说，多路复用分离单元105或106从基于步骤S202的选择而接收到的传输流来选择并且分离出用于再现所选择的频道的分组。
多路复用分离单元105或106已经通过以上处理而选择并且分离出了用于单节目再现的PES分组。换句话说，在步骤S204，多路复用分离单元105或106选择多条内容数据(例如与多个节目对应的PES分组)中的每一个。
经由延迟缓冲器108将分离出的视频PES分组发送到视频处理单元113。视频处理单元113对视频信息进行解码，并且于是视频输出单元114输出解码后的视频信息。在此情况下，视频输出单元114将在步骤S202所选择的节目的视频设置为在右边画面上进行再现。经由延迟缓冲器110将分离出的音频PES分组发送到音频处理单元109，并且对音频信息进行解码，以待从音频输出单元112输出。
对于音频再现，音频输出单元112将用于单节目再现的节目输出到扬声器，并且经由头戴式耳机再现对于双节目再现而新选择的节目的音频。因此，当再现具有关联性但具有不同音频输出的节目时，通过以不同的设备再现音频，可以减少甚至减轻所使用的部分上的无所适从的感觉。然而，例如，当用户希望同时收听两个节目的音频时，音频输出单元112可以输出所述音频，从而它们可以被同时收听到。
在步骤S205(确定过程)，片段处理单元107确定待再现的两个节目之间的关联性。片段处理单元107分析关于每一节目的EIT，基于各条信息(例如节目名称和节目内容)确定两个节目是否彼此关联，并且向时间差调整单元111通知其结果。当例如在EIT中写入的节目名称和节目内容在两个节目之间彼此匹配时，本示例性实施例的片段处理单元107确定它们是关联的节目。片段处理单元107还可以从EIT的节目名称和节目内容提取关键字，并且比较关键字，以确定关联性。
更具体地说，片段处理单元107确定由多路复用分离单元105或106所选择的多个内容数据(例如与多个节目对应的PES分组)之间的关联性。由片段处理单元107确定两个节目之间的关联性使得能够基于多个节目的再现指令进行自动时间差检测以及延迟处理。片段处理单元107可以通过从用户接收指示节目之间存在关联性的信息确定节目之间的关联性。如果在步骤S205确定两个节目之间没有关联性(步骤S205中的“否”)，则视频输出单元114执行正常双画面显示。在此情况下，片段处理单元107周期性分析EIT，以检查待再现的节目是否已经改变为关联节目。因此，当待选择的节目改变时，周期性地确定待再现的节目之间的关联性可以减少再现多个节目的定时方面的失配。例如，当片段处理单元107接收到用于改变待再现的节目的指令时，其可以确定关联性。
在步骤S205，当片段处理单元107确定两个节目之间存在关联性(步骤205中的“是”)时，处理进入步骤206。
在步骤S206，时间差调整单元111对在两个节目的拍摄时间的各条实时信息彼此进行比较，以检测再现两个节目的定时之间的时间差。基于片段处理单元107的确定结果，时间差调整单元111对延迟缓冲器108和110中记录的PES分组的头部中所包括的拍摄时间的各条实时信息彼此进行比较，以获得时间差“t1”。
更具体地说，在特定时间，本示例性实施例的延迟缓冲器108将从多路复用分离单元105和106接收到的两个关联节目的视频PES分组发送到时间差调整单元111。进一步地，在特定时间，延迟缓冲器110将从多路复用分离单元105和106接收到的两个关联节目的音频PES分组发送到时间差调整单元111。然后，时间差调整单元111对从延迟缓冲器108接收到的两个节目的视频PES分组的头部中所包括的拍摄时间的各条实时信息彼此进行比较，以获得关于视频数据的时间差“t2”。例如，当待同时再现的节目之一的视频PES分组中所包括的拍摄时间的实时信息指示“5:00:00”，而另一节目的实时信息指示“5:00:01”时，“t2”是“1秒”。相似地，时间差调整单元111对音频PES分组的头部中所包括的拍摄时间的各条实时信息彼此进行比较，以获得关于音频数据的时间差“t3”。于是，本示例性实施例的时间差调整单元111从所获得的时间差“t2”和“t3”的平均值而获得时间差“t1”。相应地，可以获得例如图5A所示的时间差“t1”。然而，也可以从关于视频数据和音频数据的时间差之一获得时间差“t1”。可以输出两个节目的视频PES分组的视频数据和音频PES分组的音频数据，从而拍摄时间的实际时间可以彼此匹配。
时间差调整单元111向音频处理单元109和视频处理单元113通知用于对两个节目中的哪一个具有较早再现定时进行标识的信息和通过以上方式获得的时间差“t1”。
在步骤S207，音频输出单元112执行音频信息的延迟处理和再现。根据在步骤S206由时间差调整单元111所通知的再现两个节目的定时之间的时间差“t1”，音频输出单元112将具有较早再现定时的音频信息的输出相对于具有较晚定时再现的音频信息的输出延迟“t1”。通过延迟再现的定时，如图5B所示，可以执行音频的同时再现。
在步骤S208(调整过程)，视频处理单元113执行视频信息的延迟处理。根据在步骤S206从时间差调整单元111通知的再现两个节目的定时之间的时间差“t1”，视频处理单元113延迟视频信息的解码处理，从而具有较早再现定时的视频信息的输出可以相对于具有较晚再现定时的视频信息的输出而被延迟“t1”。如图5B所示，已经从视频处理单元113接收到已解码视频信息的视频输出单元114执行两个节目的视频的同步再现。换句话说，视频处理单元113基于多条内容数据(例如与多个节目对应的PES分组)中所包括的多条信息(例如拍摄时间的实时信息)对再现在步骤S205被确定为具有关联性的多个视频的定时进行匹配。当在步骤S205确定存在关联性时，在执行步骤S207和步骤S208的调整处理之后，可以开始步骤S203和步骤S204的视频输出。
在两个节目的显示期间，可以按固定间隔来重复步骤S205至步骤S208的处理。因此，本示例性实施例可以处理由于节目的结束或者由于用户的指令而导致的节目的改变。甚至当节目没有改变时，重复处理也可以改进同步的精度。波动的问题(即，例如经由互联网的IP广播中可能出现的关于节目的再现的延迟时间的改变)可能减少并且甚至被有效地解决。更具体地说，在例如延迟时间并非恒定的IP广播的环境中，可以通过重复在步骤S206所执行的时间差“t1”的检测来减少再现多个关联节目的定时方面的失配。如果这些效果是不必要的，则无需重复所述处理。当检测到来自用户的时间差校正指令或节目改变指令时，可以执行步骤S206中的时间差检测以及步骤S207和步骤S208的延迟处理。
已经描述了当在作为根据本示例性实施例的显示控制装置的数字电视101中激活两个画面时的处理流的示例。
与视频相似，可以对于各种显示信息(例如字幕和音量显示中的至少一个)执行延迟处理。
根据本示例性实施例，在两个节目的再现期间左边画面和右边画面的大小可以彼此相等或彼此不等。本发明也可以应用于在用于显示一个节目的画面内显示另一关联节目的画面的情况。
本示例性实施例描述了仅两个节目的再现。然而，本发明也可以应用于两个或更多节目的再现。
根据本示例性实施例，片段处理单元107参照每一节目的EIT来确定关联性。然而，也可以采用其它方法。例如，片段处理单元107可以获得关于从互联网的网站接收到的节目的信息，并且基于所获得的信息确定关联性。
根据本示例性实施例，数字电视101接收到的内容是以下内容中的至少一个：来自地面天线、BS/CS天线的广播波、以及通过IP网络接收到的传输流。然而，也可以从其它接口接收内容。本发明可以应用于经由各种数字接口(例如高清晰度多媒体接口(HDMI))而输入的流。
根据本示例性实施例，拍摄时间的各条实时信息被包括在视频PES分组和音频PES分组的头部中。然而，当各条实时信息被包括在其它地方(例如TS分组、片段分组或视频和音频编码数据的头部中)时，也可以实现本发明。在此情况下，在步骤S206，数字电视101的时间差调整单元111对如上所述的地方中所包括的两个节目的拍摄时间的各条实时信息彼此进行比较，以检测再现两个节目的定时之间的时间差。于是，在步骤S208(调整过程)，视频处理单元113根据在步骤S206由时间差调整单元111所通知的再现两个节目的定时之间的时间差而执行延迟处理。因此，视频处理单元113基于多条内容数据(例如与多个节目对应的分组)中所包括的各条信息(例如拍摄时间的实时信息)对显示在步骤S205被确定为具有关联性的多个视频的定时进行匹配。
根据本示例性实施例，时间差调整单元111调整时间差。除此而外，用户也可以精细地调整时间差。更具体地说，根据本示例性实施例，时间差调整单元111根据在步骤S206检测到的时间差而在步骤S207和步骤S208调整时间差。用户也可以对用于被调整从而通过调整处理而再现的多个内容的定时进行精细调整。通过所述精细调整，可以相对精确地对再现多个内容的定时进行匹配。
在本示例性实施例中，当内容数据彼此关联时，执行对再现与多条所选择的内容数据对应的视频的定时进行匹配的处理。因此，可以减少当对再现多条不关联的内容数据的定时进行匹配时所施加的处理负荷。然而，无论关联性如何，都可以执行用于对一个画面上所显示的多个视频的显示的定时进行匹配的处理。换句话说，可以省略用于确定关联性的存在的处理。
也可以通过以下实施例来实现本发明。更具体地说，可以向系统或装置提供存储软件的程序代码的存储介质，所述软件具有用于实现前述示例性实施例的功能的计算机可执行指令。所述系统或装置的计算机(或中央处理单元(CPU)或微处理单元(MPU))读取存储介质中所存储的程序代码的计算机可执行指令，以执行它们。在此情况下，从存储介质读取的计算机可执行指令实现前述示例性实施例的功能，并且存储计算机可执行指令的存储介质构成根据本发明的实施例。
对于用于提供程序代码的存储介质，例如，可以使用以下存储介质中的至少一种：软盘、硬盘、光盘、磁光盘、光盘只读存储器(CD-ROM)、可记录CD(CD-R)、磁带、非易失性存储卡、ROM、数字多功能盘(DVD)。
本发明不限于计算机执行计算机可执行指令以实现根据前述示例性实施例的功能的实施例。换句话说，本发明可以包括以下情况：基于程序代码的指令，所述计算机中操作的操作系统(OS)执行一部分或全部实际处理步骤，以实现根据前述示例性实施例的功能。
在一个实施例中，本发明可以包括以下情况。可以将从存储介质读取的程序代码的计算机可执行指令写入存储器，存储器被包括在被插入到计算机的功能扩展板中或连接到计算机的功能扩展单元中。于是，基于程序代码的指令，功能扩展板或功能扩展单元中所包括的CPU执行一部分或全部实际处理步骤，以实现根据前述示例性实施例的功能。
虽然已经参照示例性实施例描述了本发明，但应理解，本发明不限于所公开的示例性实施例。所附权利要求的范围与最宽泛的解释一致，从而包括所有修改和等同物结构以及功能。

Claims (5)

1.一种显示控制装置，其基于多条内容数据在一个画面上显示多个视频图像，其中，所述多条内容数据包括音频数据，所述显示控制装置包括：
选择单元，其被配置成选择多条内容数据，以显示多个视频图像；
确定单元，其被配置成基于对用于对所述多条内容数据中所包括的节目进行标识的各条信息的比较，确定由所述选择单元选择的所述多条内容数据之间的关联性；以及
调整单元，其被配置成基于对两条内容数据的各条音频数据彼此进行比较以检测再现所述两条内容数据的定时之间的时间差，调整对由所述确定单元确定为具有关联性的所述多个视频图像进行显示的定时；以及
音频输出单元，用于当再现两条内容数据的音频数据时，将用于单节目再现的内容数据的音频数据输出到扬声器，并且将对于双节目再现而新选择的内容数据的音频数据输出到头戴式耳机，
其中，当显示具有关联性的所述多个视频图像时，所述调整单元重复调整对所述多个视频图像进行显示的定时。
2.根据权利要求1的显示控制装置，其中，基于从存储用于对所述内容数据中所包括的节目进行标识的信息的存储装置所获得的用于对所述内容数据中所包括的节目进行标识的信息，执行由所述确定单元对所述关联性的确定。
3.根据权利要求1的显示控制装置，其中，所述调整单元基于所述内容数据中所包括的信息，调整在被确定为具有关联性的所述内容数据中所包括的音频数据的再现时间。
4.根据权利要求1的显示控制装置，进一步包括：输入单元，其被配置成输入用于调整对由所述调整单元所调整的所述多个视频图像进行显示的定时的指令。
5.一种用于控制显示控制装置的方法，所述显示控制装置基于被选择以显示多个视频图像的多条内容数据而在一个画面上显示所述多个视频图像，其中，所述多条内容数据包括音频数据，所述方法包括：
选择多条内容数据，以显示多个视频图像；
基于对用于对所述多条内容数据中所包括的节目进行标识的各条信息的比较，确定所选择的所述多条内容数据之间的关联性；
基于对两条内容数据的的各条音频数据彼此进行比较以检测再现所述两条内容数据的定时之间的时间差，调整对被确定为具有关联性的所述多个视频图像进行显示的定时；以及
当再现两条内容数据的音频数据时，将用于单节目再现的内容数据的音频数据输出到扬声器，并且将对于双节目再现而新选择的内容数据的音频数据输出到头戴式耳机，
其中，当显示具有关联性的所述多个视频图像时，重复调整对所述多个视频图像进行显示的定时。
CN2009100097059A 2008-01-29 2009-01-23 显示控制装置和显示控制方法 Expired - Fee Related CN101500144B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008017841A JP5283914B2 (ja) 2008-01-29 2008-01-29 表示制御装置及び表示制御方法
JP2008017841 2008-01-29
JP2008-017841 2008-01-29

Publications (2)

Publication Number Publication Date
CN101500144A CN101500144A (zh) 2009-08-05
CN101500144B true CN101500144B (zh) 2013-03-13

Family

ID=40535594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100097059A Expired - Fee Related CN101500144B (zh) 2008-01-29 2009-01-23 显示控制装置和显示控制方法

Country Status (4)

Country Link
US (1) US20090190034A1 (zh)
EP (1) EP2086241A3 (zh)
JP (1) JP5283914B2 (zh)
CN (1) CN101500144B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8692937B2 (en) * 2010-02-25 2014-04-08 Silicon Image, Inc. Video frame synchronization
JP5357839B2 (ja) * 2010-07-02 2013-12-04 日本放送協会 送信装置及び送信プログラム
JP5599267B2 (ja) * 2010-09-07 2014-10-01 株式会社メディアグローバルリンクス デジタル放送信号再送信システム
US8904453B2 (en) 2012-06-10 2014-12-02 Apple Inc. Systems and methods for seamlessly switching between media streams
JP2020137091A (ja) * 2019-02-26 2020-08-31 日本電気株式会社 信号処理モジュール、信号符号化装置、信号処理方法、および信号処理用プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6630963B1 (en) * 2001-01-23 2003-10-07 Digeo, Inc. Synchronizing a video program from a television broadcast with a secondary audio program
CN101039398A (zh) * 2007-04-09 2007-09-19 海尔集团公司 电视音频的播放方法及实现该方法的电视
CN101090466A (zh) * 2006-06-14 2007-12-19 厦门华侨电子股份有限公司 电视机的画外画/画中画双通道处理方法及装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742329A (en) * 1992-10-26 1998-04-21 Canon Kabushiki Kaisha Image pickup system and communication system for use in video conference system or the like
US5946049A (en) * 1993-07-26 1999-08-31 Pixel Instruments Corp. Apparatus and method for synchronizing multiple asynchronous signals
US5461427A (en) * 1994-06-28 1995-10-24 Thomson Consumer Electronics, Inc. Television receiver having the capability to associate any HDTV and any NTSC channel
JP3393356B2 (ja) * 1995-05-26 2003-04-07 ソニー株式会社 受信装置および受信方法
TW376629B (en) * 1997-12-19 1999-12-11 Toshiba Corp Digital image decoding method and device
JP3830645B2 (ja) * 1997-12-19 2006-10-04 株式会社東芝 画像復号化方法及び装置
DE60034409T2 (de) * 1999-10-15 2007-08-16 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Datenanzeige von mehreren Datenkanälen und Datenträger und Rechnerprogramm dafür
JP2002094890A (ja) * 2000-07-10 2002-03-29 Matsushita Electric Ind Co Ltd テレビジョン受像機および放送信号受信方法
CA2441819A1 (en) * 2001-03-20 2002-09-26 Intellocity Usa, Inc. Video combiner
EP1265439B1 (en) * 2001-06-06 2009-07-08 Thomson Licensing Video signal processing system with auxiliary information processing capability
EP1593272B1 (en) * 2003-02-14 2017-08-30 Thomson Licensing DTV Automatic synchronization of audio and video based media services of media content
KR100513290B1 (ko) * 2003-06-30 2005-09-09 삼성전자주식회사 멀티미디어 컨텐츠와 세그먼트 메타데이터간의 시간 동기화를 위한 시스템 및 방법
FR2859859A1 (fr) * 2003-09-16 2005-03-18 France Telecom Procede et module de reception de signaux de television
JP2005173395A (ja) * 2003-12-12 2005-06-30 Pioneer Electronic Corp 表示制御装置及び表示制御方法等
KR100598223B1 (ko) * 2003-12-12 2006-07-07 엘지전자 주식회사 화질개선 기능을 갖는 영상표시기기 및 그 제어방법
JP3892478B2 (ja) * 2004-04-06 2007-03-14 松下電器産業株式会社 音声再生装置
KR100678938B1 (ko) * 2004-08-28 2007-02-07 삼성전자주식회사 영상과 자막의 동기화 조절 장치 및 방법
US7796598B2 (en) * 2006-04-03 2010-09-14 Cisco Technology, Inc. Synchronizing redundant video streams encapsulated in IP/UDP packets
JP2007295047A (ja) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 映像処理装置、映像制御装置および映像処理方法
JP4049799B2 (ja) * 2006-04-26 2008-02-20 三菱電機株式会社 デジタル放送受信装置及びその受信方法
EP1860866A1 (en) * 2006-05-26 2007-11-28 British Telecommunications Public Limited Company Audio-visual reception
US8392947B2 (en) * 2006-06-30 2013-03-05 At&T Intellectual Property I, Lp System and method for home audio and video communication
US8054382B2 (en) * 2007-05-21 2011-11-08 International Business Machines Corporation Apparatus, method and system for synchronizing a common broadcast signal among multiple television units

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6630963B1 (en) * 2001-01-23 2003-10-07 Digeo, Inc. Synchronizing a video program from a television broadcast with a secondary audio program
CN101090466A (zh) * 2006-06-14 2007-12-19 厦门华侨电子股份有限公司 电视机的画外画/画中画双通道处理方法及装置
CN101039398A (zh) * 2007-04-09 2007-09-19 海尔集团公司 电视音频的播放方法及实现该方法的电视

Also Published As

Publication number Publication date
CN101500144A (zh) 2009-08-05
JP5283914B2 (ja) 2013-09-04
EP2086241A3 (en) 2011-01-05
US20090190034A1 (en) 2009-07-30
JP2009182426A (ja) 2009-08-13
EP2086241A2 (en) 2009-08-05

Similar Documents

Publication Publication Date Title
CN101427579B (zh) 媒体流的时移表现
JP3491431B2 (ja) テレビジョン信号受信装置
US7738767B2 (en) Method, apparatus and program for recording and playing back content data, method, apparatus and program for playing back content data, and method, apparatus and program for recording content data
CN1774928A (zh) 广播节目的记录
JP2008160748A (ja) 記録システム、および記録再生システム
JP2008160748A5 (zh)
KR20160067081A (ko) 수신 디바이스, 수신 방법, 송신 디바이스, 및 송신 방법
CN101500144B (zh) 显示控制装置和显示控制方法
KR101181777B1 (ko) 방송 시스템 및 방법
JP2006270299A (ja) Ｃｍ検出装置およびｃｍ検出方法
EP1266521A1 (en) System and method for providing multi-perspective instant replay
AU2001266732A1 (en) System and method for providing multi-perspective instant replay
JP5649768B2 (ja) デジタル放送記録装置
US20080317434A1 (en) Information recording/reproducing apparatus
JP2005151462A (ja) ストリームデータ送信機、ストリームデータ送信方法、ストリームデータ受信機及びストリームデータ受信方法並びにストリームデータ通信システム及びストリームデータ送受信方法。
US20150172734A1 (en) Multi-angle view processing apparatus
JP2003348489A (ja) 放送受信機
US7400566B2 (en) Method of sequentially recording programs using calculated reception ending times
JP2011091752A (ja) デジタル放送受信装置及びプログラム
JP2007068042A (ja) 受信装置および方法
JP2008153955A (ja) 映像記録再生装置、その特殊再生方法
EP3528505A1 (en) Apparatus and method for operating a media device to select from plural instances of content for play back
JP2022058012A (ja) Ｃｍデータ特定装置、システム、方法、及びプログラム
KR20010045778A (ko) 디지털 방송 신호의 녹화/재생 장치 및 방법
KR20100047734A (ko) 방송 수신 장치 및 이를 이용한 영상 재생 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130313

Termination date: 20190123