CN102685588B - 同步通过不同网络接收的内容的呈现的解码器及其方法 - Google Patents

同步通过不同网络接收的内容的呈现的解码器及其方法 Download PDF

Info

Publication number
CN102685588B
CN102685588B CN201210063228.6A CN201210063228A CN102685588B CN 102685588 B CN102685588 B CN 102685588B CN 201210063228 A CN201210063228 A CN 201210063228A CN 102685588 B CN102685588 B CN 102685588B
Authority
CN
China
Prior art keywords
frame
decoding
programme content
decoded
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210063228.6A
Other languages
English (en)
Other versions
CN102685588A (zh
Inventor
A.劳伦特
E.高蒂尔
P.吉尔伯顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
InterDigital Madison Patent Holdings SAS
Original Assignee
InterDigital Madison Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital Madison Patent Holdings SAS filed Critical InterDigital Madison Patent Holdings SAS
Publication of CN102685588A publication Critical patent/CN102685588A/zh
Application granted granted Critical
Publication of CN102685588B publication Critical patent/CN102685588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/814—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts comprising emergency warnings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种解码通过宽带网络发送的音频/视频内容的方法。所述方法基于如果一组画面到达太迟以至于不能与通过广播网络接收的另一音频/视频内容同步地呈现，则快速解码该组画面的第一帧而不呈现它们。所述方法允许尽可能快地向观看者同步呈现分别通过广播和宽带网络接收的内容。

Description

同步通过不同网络接收的内容的呈现的解码器及其方法
技术领域
本发明大体上涉及一种用于解码通过宽带网络接收的音频视频节目的方法，并且具体地涉及一种将通过宽带网络接收的内容的呈现与通过广播网络接收的内容的呈现同步的方法。
背景技术
本部分旨在向读者介绍可能与下面描述和/或要求保护的本发明的各个方面有关的技术的各个方面。相信本讨论有助于帮助向读者提供背景技术信息以便促使对本发明的各个方面的更好理解。相应地，应该理解这些陈述应该鉴于此地阅读，并且不作为对现有技术的承认。
在过去的几年中，随着通过宽带因特网协议(IP)网络的TV或视频服务的大量推出(roll out)，已经扩展了地面、卫星和有线网络的传统TV广播领域。这些网络是互补的，其中广播分发适配用于实况事件和大量分发和宽带分发适配用于点播、赶上(catch-up)以及个人化服务。这样的互补提供了混合模型的前景，其中平衡每个网络的强度以便以高效的方式提供增强TV和视频服务。可以通过宽带传递的个人化内容来丰富广播事件，这个内容事先用流传输并且推送(push)。这样的混合服务可能需要通过分离的网络传递的分量(component)紧密同步。例示这个精确同步的需要的一个典型示例是正在观看广播节目的用户选择没有被广播但是通过宽带可用的外国音频序列。另一个示例是通过由广播传递另一视频分量来丰富广播内容，根据广播分量该另一个视频分量例如是可分级视频编码(SVC)增强层的多视图视频编码(MVC)分量，以在3D或同一场景的另一视图提出该事件。
有多种通过宽带传递这个额外分量的方法。第一种基于点播传递的解决方案是使用超文本传输协议(HTTP)流传输，如在文件“HTTP Live Streaming，draft-pantos-http-live-streaming-01-R.Pantos，Apple Inc June 8，2009”中所描述的，或者依赖于推荐RFC3550，“A Transport Protocol for Real-Time Applications”中定义的通过UDP/IP的实时传输协议(RTP)。在这最后一种情况中如实时流协议(RTSP)(在推荐RFC 2326中所描述的)的通信协议与RTP相关联。基于多播传递的另一种解决方案是使用如文件“A TransportProtocol for Real-Time Applications”中定义的RTP协议(RTP/UDP/IP)。
在点播传递的情况下，内容的请求可以嵌入表示要传递的第一视听样本的展示时间戳(PTS)的定时信息。当终端向多播流订阅时不是这种情况。终端不能请求给定时间戳的定时信息，并且该行为类似于客户端经受内容传递限制的广播网络。
一些网络的特征是其等待时间和其抖动。这意味着通过一个网络与通过另一网络传递内容不采用相同的持续时间。
广播网络的特定性在于内容在不需要接收器请求任何东西的情况下到达接收器，即，接收器持久地接收内容，并且传递具有有限的抖动，其可以在具有有限尺寸的缓冲器的接收器中处理(treat)。内容传递持续时间包括从服务器到终端通过广播网络传递内容的持续时间以及终端需要用来多路分解、缓冲并且解码内容的持续时间。
宽带网络可以被视为个人化传递网络，由于其仅在接收器请求时传递内容。
图1图示通过宽带网络传递节目内容。视频服务器向机顶盒接收器(STB)传递节目内容。机顶盒接收并解码内容以便在显示设备上对其显示。传递可以被分开为4个主要步骤以及对应持续时间：
●请求到达服务器需要的持续时间为T1。
●服务器对请求进行处理并发射节目内容的持续时间为T2。
●从服务器到机顶盒的节目内容传递的持续时间为T3。
●机顶盒需要用来缓冲、解码和显示节目内容的持续时间为T4。
在混合广播宽带环境中的传递不一定暗示时间格式对于所有分量都相同。在MPEG-2传输流格式(通常用于广播网络)中，定时信息基于节目时钟参考(PCR)格式，而网络时间协议(NTP)是用于在实时传输协议(通常用于宽带网络)中编码的流的定时的格式。此外，两个分量可以具有相同的时间格式，而时间参考可以不同(偏移值)。为了补偿分量之间的所提到的定时问题，必须实施一种机制来变换(transpose)其它分量中一些的定时格式和/或参考。通过宽带传递的(多个)分量的定时格式和/或参考与通过广播传递的(多个)分量的定时格式和/或参考对齐(line up)，后者为“主”分量。在此处的描述中，估计当定时格式和/或参考不同时，这个定时对准操作隐式地进行以便同步分量，并且当我们引起(evoke)定时值时它们指代相同变换的参考(相同的格式和相同的初始值)中的定时值。这个唯一的时间参考叫做系统时钟。
通过广播传递的分量叫做“主分量”而通过宽带传递的分量叫做“个人化分量(personalized component)”。
在此描述传递个人化分量的方法。终端请求个人化分量并且通过双向宽带网络发送个人化分量。传递可以是线性的或是非线性的。
线性传递确保终端以相当恒定的速率接收分量。由于抖动网络，其不是精确恒定的。对于要与广播的主分量同步的个人化分量的传递可以考虑两种情况。在展示主分量的对应的帧之前可以接收、解码并展示个人化分量流，或者个人化分量流在之后到达，并且在这种情况下个人化分量的所有帧将没有用处。
线性传递机制的典型情况是当终端通过发送请求以加入多播组(如因特网组管理协议(IGMP协议)中定义的)来订阅多播流时。使用多播流传递，终端不能从定义的时间戳接收流。在这种情况下，并且如果个人化分量比主分量的对应的帧到达更晚，则不能同步它们的呈现。
实时传输协议(RTP)对于线性传递也是熟知的。RTP协议允许从给定时间戳的内容的请求，所述给定时间戳等于当前接收时间参考加上偏移(offset)。终端估计偏移以便事先请求内容使得在解码和呈现内容之前对其接收。如果不正确地评估了偏移，则个人化分量被接收得太迟以至于不能与主分量同步。从而，客户机必须停止当前流传输的接收并且必须更加准确地评估偏移并且然后基于新估计的偏移值发送新请求。
非线性传递是其中终端以非定期方式接收内容的机制。内容的一部分以比其被展示更高的速率被传递。示例中，帧速率接收高于帧速率展示。非线性传递的构思是向接收起初迟于展示的个人化分量的终端提供赶上主分量以便能够在给定的时刻展示的可能性。
实时流协议(RTSP)服务器也可以以非线性方式传递内容。取决于请求参数，其可以例如在突发(burst)中传递节目内容的第一帧或画面组并且然后以巡航速率(cruisingrate)传递内容。在使用RTSP的情况下，终端请求给定展示时间戳。
超文本传输协议(HTTP)流传输是另一种非线性传递。个人化分量被分开为许多被称为块(chunk)的连续部分。块是文件或者是包括描述其的一段信息的文件的一部分。所述一段信息可以包括例如时隙、文件名、字节范围、比特率或者任何对于终端解码和呈现块的内容可能有用的其它信息。包含视频的块的编码开始于可以不参照先前帧而解码的关键帧(key-frame)。关键帧可以例如是如MPEG压缩标准(ISO/IEC13818)中定义的I画面(或I帧)。块包含如MPEG压缩中定义的一整组或若干整组画面(GOP)。当使用HTTP流传输接收内容时，终端向服务器请求块。服务器然后尽力而为地发送块。内容被发送至连续突发。
非线性传递向终端提供以下可能性：通过发送连续请求以便得到开始于关键帧的在系统时钟方面与主分量同步的个人化内容的一些片段，解码时间参考并且展示时间参考，来将个人化分量的呈现与主分量的呈现同步。
这样的同步的一个缺点在于：当终端请求要与主分量同步个人化分量并且接收开始于关键帧(对于其解码和展示时间参考指示接收太迟以至于不能与主分量同步)内容时，丢弃的内容可能与就呈现而言重要的时间范围(达到许多秒)对应。终端然后必须发送一个或更多新请求并且接收新个人化流内容直至解码和展示时间参考指示在终端中可以同步。
发明内容
本发明的目的在于克服现有技术的缺点。更具体地，本发明提供将个人化分量的呈现与主分量的呈现同步所需的延迟的优化。
在分量的混合广播和宽带传递需要紧密的同步的环境中，本发明提出一种显著减少访问点播分量(个人化分量)的等待时间来增强用户体验的方法。本发明的方法的使用因此最小化时间参考参数的不良估计的影响，依据时间参考参数必须向终端发送点播(个人化)分量以便与主分量同步。在这种方法中，即便通过宽带传递的分量的帧在当展示要同时呈现的广播内容帧时的时刻之后到达，也处理它们。该方法基于以下事实：宽带分量的传递帧速率高于展示帧速率，使得，在给定时刻，对于其系统时钟参考与广播分量的系统时钟参考一致的宽带分量的一部分，可以在广播分量的对应部分同时展示。
本发明的方法忽视其中帧以由解码时间戳给定的节奏解码并且其中系统地呈现解码的帧的视频解码器的通常行为。该方法尽可能快地解码晚到的宽带分量的一组画面的第一帧，但不对其进行呈现。因此简单地不呈现这些帧。但是，因为对不是关键帧的解码需要参照一个或更多先前或之后帧来解码，所以被解码但未被呈现的帧用于准时呈现的该组画面的其它帧的解码。
本发明的方法用于解码通过宽带网络接收的第二节目内容，节目内容的呈现与呈现第一节目内容同步，该方法包括以下步骤：关于节目时钟参考解码第一节目内容，关于节目时钟参考解码第二节目内容，所述第二节目内容包括与解码时间信息以及展示时间信息相关联的连续第二帧。该方法还包括以下步骤：当解码时间信息次于节目时钟参考时，解码第二节目内容的第二帧，以及当展示时间信息使得第二帧的呈现能够与第一节目内容的呈现同步时呈现解码的第二帧。
根据本发明的实施例，解码第二帧的步骤包括以下步骤：读取与第二帧中的一个相关联的解码时间戳，以及根据解码时间戳和节目时钟参考之间的比较结果来解码第二帧。
根据本发明的实施例，呈现解码的第二帧的步骤包括以下步骤：读取与一个第二帧相关联的展示时间戳，以及根据展示时间戳和节目时钟参考之间的比较结果来呈现第二帧。
根据本发明的实施例，第一节目内容包括：与解码时间信息和展示时间信息相关联的连续第一帧。
根据本发明的实施例，解码时间信息包括解码时间戳。
根据本发明的实施例，展示时间信息包括展示戳。
根据本发明的实施例，通过第一解码器装置从广播网络接收第一节目内容，并且通过第二解码器装置从宽带网络接收第二节目内容。
本发明还关注解码器装置，其包括：解码部件，用于关于节目时钟参考解码从宽带网络接收的节目内容，所述节目内容包括与解码时间信息和展示时间信息相关联的连续帧。解码器装置的解码部件被适配用于当解码时间信息次于节目时钟参考时来解码帧，并且解码部件还包括：用于当展示时间信息优于或者等于节目时钟参考时呈现解码帧的部件。
根据本发明的实施例，解码器装置还包括：滤波模块，其被适配解析解码时间信息和展示时间信息，用于根据将解码时间信息和展示信息分别相比较于节目时钟参考之间的比较结果，以便对帧进行滤波。
附图说明
以非限制性方式，参照附图，借助于以下实施例和执行示例，将更好地理解和图示本发明，附图中：
图1图示通过宽带网络的传递；
图2是遵从于本发明第一实施例的系统的框图；
图3是遵从于本发明第一实施例的接收器/解码器的框图；
图4图示根据本发明第一实施例的加速解码的第一种情况；
图5图示根据本发明第一实施例的加速解码的第二种情况；
图6是描述根据本发明第一实施例的解码的方法的图；
图7是根据本发明第二实施例的接收器/解码器的框图。
在图2、图3和图7中，所表示的方框为单纯功能实体，其不必与物理分离实体对应。即，可以以硬件或软件形式对其开发，或者在一个或若干个集成电路中实现。
具体实施方式
已经了解到已经对本发明的附图和描述进行了简化以便例示有关用于清楚地理解本发明的元件，同时为简要目的，消除典型数字多媒体内容传递方法和系统中发现的许多其它元件。然而，因为这样的元件在技术中已知，所以在此不提供这样的元件的详细讨论。在此的公开针对本领域技术人员已知的所有的这样的变型和修改。
图2图示根据本发明第一实施例的网络架构。广播定时被考虑为参考并且宽带网络被适配用于同步。视频源1向编码器2传递非编码主分量节目。编码器2编码主分量并且将其发送至发射器3。通过发送器3广播主分量可以与通过编码器2的编码同步完成但是也可以迟于编码器2的编码。主分量通过空中被广播至接收器/解码器6。编码器2还向点播服务器4提供编码的个人化分量节目。个人化分量与主分量同步。编码器2可以在编码期间提供个人化分量，但是个人化分量还可以在点播服务器4上已经可用。其可以在与要广播的主分量有关的个人化分量的数据库中可用。通过编码器2同步两个分量的时间参考信息(诸如，解码时间戳、展示时间戳和节目时钟参考)。通过编码器2对齐定时格式和/或参考的方式不在范围以内。
接收器/解码器6在来自用户的初始请求时通过宽带网络5向点播服务器4请求个人化分量。然后点播服务器4通过宽带网络传递个人化分量到接收器/解码器6。接收器/解码器6处理个人化分量的加速解码阶段(accelerated decoding phase)以便将其呈现与发送器3广播的主分量的呈现同步。以同步的方式呈现两个分量并且通过接收器/解码器6输出这两个分量以便在显示设备7上显示。
根据本发明的实施例，将个人化分量和主分量的同步定义成本领域技术人员共用的。换言之，如果主分量和个人化分量二者是视频内容，那么同步例如与个人化分量的呈现处理GOP的事实对应，该GOP包括展示时间参考(用于定义展示时间)，其与用于呈现主分量而处理的GOP中包括的展示时间参考接近。如果分别属于第一和第二视频内容的两个GOP在几秒钟或更短的时间范围内至少部分地都被呈现，则两个视频分量可以例如被认为就呈现而言同步。关于音频和视频分量的同步，同步基于已经熟知的“嘴唇同步(lip sync)”同步，其中包括声音作品的音频流应该与正在说话(或正在唱歌)的人的嘴唇的运动同步。“嘴唇同步”的目标在于具有嘴唇运动和唱出或说出的声音作品的匹配。
图3图示根据本发明第一实施例的接收器/解码器6。解码器具有两个输入接口。第一输入接口601被连接用于接收广播主分量。第二输入接口602被连接用于接收通过宽带网络传递的个人化分量。两个分量都被作为通过节目标识符识别的并且包含一些连续画面组(GOP)的连续分组被发送。广播输入接口601和宽带输入接口602实现它们各自接收的内容的多路分解并且在接收缓冲器603的专用缓冲区域中存储与每个分量对应的数据。每个GOP开始于与解码时间戳(DTS)以及展示时间戳(PTS)相关联的所谓的关键帧的第一帧。第一帧解码器607通过读取接收缓冲器603中的主分量的分组来处理正常解码。当从广播输入接口601以分组接收的关键帧具有等于当前节目时钟参考(PCR)的解码时间戳时，第一帧解码器607操作帧的解码并且在帧缓冲器604中存储对应的解码帧。当关键帧的展示时间戳等于PCR值时，第一帧解码器607还读取帧缓冲器604中的帧并且传输显示缓冲器605中的关键帧。显示输出接口606读取显示缓冲器的内容并且输出帧到连接的显示设备(未示出)。显示缓冲器中解码和传输的处理对于来自广播输入接口的当前GOP的连续帧相同直至通过第一帧解码器607在接收缓冲器603中读取下一关键帧。第一帧解码器607通过当GOP的关键帧的DTS等于PCR值时开始解码一组画面，并且通过当关键帧的PTS等于PCR值时开始展示显示缓冲器605中的解码帧，来实现被广播的主分量的解码和显示。
第二帧解码器608通过解码在接收缓冲器603中读取的所有对应的帧直至关键帧的DTS大于或等于当前PCR值，来操作通过宽带输入接口602接收的个人化分量的解码。对于要与从广播输入接口601接收的对应的广播内容同步呈现的、从宽带输入接口602晚到达的GOP就是这种情况。即使相关联的DTS小于当前PCR值，第二帧解码器608也解码来自接收缓冲器603的帧。在帧缓冲器604中存储解码帧。当对应的PTS等于当前PCR值时，第二帧解码器608也读取与帧缓冲器604中的个人化分量对应的解码帧，并且传输解码器帧到显示缓冲器605。如果个人化分量的帧的相关联的PTS小于当前PTS，则不将该帧复制到显示缓冲器。当DTS信息小于PCR值时第二帧解码器608操作加速解码阶段，并且一旦DTS值等于或大于PCR值第二帧解码器608操作正常解码。
图4图示根据本发明第一实施例的加速解码处理。该图示出其中通过宽带网络接收的个人化分量的第一帧太迟以至于不能被解码并且以正常解码速率与主分量同步的情况。因此可以通过使用不考虑DTS值的加速解码阶段来实现两个分量的同步呈现。这样的情况取决于网络等待时间(latency)。该图示出在以第二步骤中的巡航速率发送之前，对于第一步骤中的宽带内容(个人化分量)的缓冲器的填充更快，这是因为宽带网络可以实现以比解码和展示速率更高的速率的发送(突发(burst)模式)。宽带缓冲器填充从当接收到个人化内容的第一数据时的BTS1时间开始。当缓冲器包含足够数据时(例如考虑如MPEG压缩标准定义的发送比特率)，在DTS1时间开始加速解码阶段。在加速解码期间，即便帧的对应的DTS信息小于PCR值，也可以对其解码。然后解码速率是比当解码器等待等于DTS的PCR值以便开始帧的解码时的正常模式更高。在所表示的情况中，因为宽带内容不是太迟以至于不能以与广播内容(主分量)同步的方式来呈现，加速解码允许具有一些来自宽带内容具有大于或等于PCR值的PTS值的解码画面。没有丢弃任何用于呈现的解码帧。当加速解码阶段允许在接收缓冲器中存储一些具有DTS信息等于或大于PCR值的画面时，加速解码阶段结束并且以正常速率继续解码。
图5图示根据具有宽带网络等待时间大于图4中所示的情况的本发明的第一实施例的加速解码的情况。宽带网络的等待时间太长使得输入帧太迟以至于不能被解码并且太迟以至于不能在解码的开始被呈现。来自宽带网络的要解码的第一帧从时间BTS1存储在接收缓冲器中。缓冲器的填充速率快于从广播网络接收的内容的填充速率，这是因为宽带网络的突发容量造成的。当接收缓冲器中存在足够的数据时(例如，取决于根据压缩标准的比特率)，在DTS1时间，加速解码阶段开始，但是解码帧太迟以至于不能以与广播内容同步的方式呈现。丢弃解码帧而不将其展示，并且仅仅呈现来自广播内容的解码帧。在加速解码期间，在DTSn时间，广播内容的解码帧具有符合PCR值的相关联的PTS值。所以宽带内容和广播内容的呈现可以同步。最后，在DTSi时间，来自宽带网络的输入帧具有根据正常解码处理的要及时解码的相关联的DTS值。加速解码阶段完成并且以正常速率继续解码。
图6是包括加速解码阶段的第二帧解码器解码的方法。第二帧解码器负责从宽带网络接收的个人化分量的解码和呈现。认为在是第二帧解码器的解码处理的开始的步骤S1，在接收缓冲器中接收的第一帧是与解码时间戳和展示时间戳相关联的关键帧。
在步骤S2，第二帧解码器读取帧并且在步骤S3确定其是否是关键帧。如果其不是关键帧，解码处理继续下一帧而不考虑任何与先前关键帧相关联的解码时间戳值。因此处理经过步骤S6。这种情况与不是关键帧的GOP中的画面对应。在步骤S4，第二帧解码器读取与关键帧相关联的PTS和DTS信息。在步骤S5，第二帧解码器将DTS值与PCR值相比较。如果DTS值小于当前PCR值，则读取帧太迟以至于不能及时解码。因此在步骤S6立即解码帧以便在解码帧缓冲器中对于下一帧的解码可用。在步骤S5，如果帧还不太迟，当DTS大于PCR值时，处理在步骤S5循环直至PCR值大于或等于DTS。正常解码模式(没有加速的)是这种情况。在步骤S7，第二帧解码器将PTS值与PCR值相比较以便定义是必须显示还是丢弃该帧。如果PTS小于PCR值，那么解码帧太迟以至于不能以与主分量同步的方式呈现。处理循环到步骤S2。如果PTS大于或等于PCR值，那么帧还不太迟并且必须以PCR及时呈现。处理在步骤S8上循环直至PCR大于或等于PTS。当达到这个条件时，在步骤S9，第二帧解码器将帧从解码帧缓冲器复制到显示缓冲器用于呈现。处理然后在步骤S2上循环。
第二帧解码器使用的解码方法然后是用于解码通过宽带网络接收的第二节目内容的方法，第二节目内容的呈现为要与第一节目内容的呈现同步，第一节目内容通过广播网络接收。方法包括以下步骤：关于节目时钟参考解码第一节目内容，关于节目时钟参考解码第二节目内容，所述第二节目内容包括与解码时间信息以及展示时间信息相关联的连续第二帧。该方法特征在于其还包括以下步骤：当解码时间信息次于节目时钟参考时，解码第二帧(S4，S5，S6)，以及当展示时间信息使得第二帧的呈现可以与第一节目内容的呈现同步时呈现解码第二帧(S8，S9)。
根据实施例的变型，通过两个分离的装置实现主分量和个人化分量的解码和呈现。两个装置的每一个都包括用于接收、解码和呈现相关联的分量的部件。解码个人化分量的装置使用非传统解码，其允许关于节目时钟参考解码从宽带网络接收的节目内容并且该节目内容包括与解码时间信息以及展示时间信息相关联的连续帧。解码个人化分量的装置的解码部件被适配用于当解码时间信息次于(inferior to)节目时钟参考时对帧解码，并且包括用于当对应展示时间信息优于(superior to)或者等于节目时钟参考时呈现解码帧的部件。
在这种情况下，两个装置包括用于交换关于正在被接收和呈现的当前节目的解码和呈现的信息的部件。具体地，解码个人化分量的装置必须知道当前正在解码和呈现主分量的哪个部分以便选择/请求来自远程服务器的个人化分量的对应片段。由接收并解码主分量的装置发送到接收并解码个人化分量的装置的信息是，例如，节目中的时间索引、用于呈现的节目时钟参考值、或者允许识别当前解码和呈现的主分量的当前部分的任何其它值。
这样的装置可以包括滤波模块，其被适配用于解析解码时间信息和展示时间信息，以便根据解码时间信息和展示信息相比较于节目时钟参考之间的比较结果来对帧进行滤波。
根据实施例的这个变型的用于解码个人化分量的装置例如是与家用网关连接的因特网平板电脑(internet tablet)，允许用户观看多视图节目的视图，主视图在诸如例如地面数字电视机的另一装置上广播和呈现。
图7图示根据本发明第二实施例的接收器/解码器6。个人化分量(来自宽带网络)由包含许多组画面的连续块组成，滤波模块609通过读取块和/或画面组内的某些时间参考信息来对在宽带输入接口602上接收的块内容进行滤波。滤波模块609将接收的内容里的时间信息与接收器/解码器6使用的节目时间参考相比较，以进行解码和呈现。如果滤波模块检测到块或GOP太迟以至于不能将其内容的呈现与接收的广播内容的呈现同步，则不将GOP或块发送到接收缓冲器。这避免第二帧解码器608解码接收缓冲器603中出现的、不能与广播内容同步的内容。这个滤波使得两个分量的呈现有可能提前。
根据本发明第三实施例，通过双向宽带网络接收的个人化分量是包括音频样本的连续块的音频内容。音频样本的块的每一个都包括用于其解码和呈现的时间参考信息。只有如果时间参考信息指示样本可以被及时解码以便以与主分量同步的方式呈现，接收器/解码器滤波器的滤波模块才解析时间信息并且向接收缓冲器传输块。
显然地，本发明不限于包括被承载作为连续画面组或块的视频或音频的主分量和个人化分量。本发明关注包括在接收器中节目内容的解码和展示所需的、可以与节目时钟参考(系统时钟)相比较的时间参考信息的所有同步节目内容。
说明书、权利要求书和附图中公开的引用可以被单独提供或以任何适当方式提供。在适当处，可以以硬件、软件或二者的结合实现特征。
在此对“一个实施例”或“实施例”的引用意味着结合该实施例所描述的具体特征、结构、或特性可以被包括到本发明的至少一个实现方式中。短语“在一个实施例中”在说明书各处的出现不必全部指代相同的实施例，单独或可替换实施例也不必与其它实施例彼此排斥。

Claims (10)

1.一种用于解码从宽带网络接收的节目内容的方法，所述节目内容的呈现与从广播网络接收的另一节目内容的呈现同步用于两个节目的同步呈现，所述另一节目内容关于节目时钟参考解码，所述节目内容包括与展示时间信息相关联的连续帧，所述连续帧包括在所述节目内容的帧的组中，所述方法包括：
-当与所述接收的节目内容的所述连续帧中的关键帧相关联的解码时间信息次于所述节目时钟参考时，解码所述关键帧，以及
通过使用所述解码的关键帧，解码包括所述解码的关键帧的组中的帧。
2.如权利要求1所述的方法，其特征在于，所述方法包括：
当所述关联的展示时间信息大于或等于所述节目时钟参考时，呈现所述解码的组的帧。
3.如权利要求1所述的方法，其特征在于，所述另一节目内容包括与展示时间信息相关联的连续帧。
4.如权利要求1所述的方法，其特征在于，所述解码时间信息包括解码时间戳。
5.如权利要求1所述的方法，其特征在于，所述展示时间信息包括展示时间戳。
6.一种解码器装置，用于解码从宽带网络接收的节目内容，所述节目内容的呈现与从广播网络接收的另一节目内容的呈现同步用于两个节目的同步呈现，所述另一节目内容关于节目时钟参考解码，所述节目内容包括与展示时间信息相关联的连续帧，所述连续帧包括在所述节目内容的帧的组中，
其特征在于，解码器装置包括帧解码器，所述帧解码器被适配用于：
-解码所述连续帧，所述解码操作于所述连续帧的关键帧，所述连续帧的该关键帧与次于所述节目时钟参考地解码时间信息相关联，所述关键帧开始所述节目内容的帧的组，所述关键帧被适配以不参照先前帧而解码，
通过使用所述解码的关键帧，解码包括所述解码的关键帧的组中的帧。
7.如权利要求6所述的解码器装置，其特征在于，
所述帧解码器被适配用于当开始所述帧的组的关键帧的解码时间信息次于所述节目时钟参考时，解码所述帧的组中一组的帧；
所述解码器装置包括呈现部件，用于当所述解码的组的所述帧的展示时间信息大于或等于所述节目时钟参考时，呈现所述解码的组的帧。
8.如权利要求7所述的解码器装置，其特征在于，其包括：
滤波模块(609)，其被适配用于解析所述解码时间信息和展示时间信息，用于根据将所述解码时间信息和所述展示时间信息相比较于节目时钟参考之间的比较结果，对所述连续帧进行滤波。
9.如权利要求6所述的解码器装置，其特征在于，其包括：
广播输入接口，适配用于从所述广播网络接收所述另一节目内容；以及
另一帧解码器，适配用于关于所述节目时钟参考解码所述另一节目内容。
10.如权利要求9所述的解码器装置，其特征在于，所述另一节目内容包括与展示时间信息相关联的连续帧。
CN201210063228.6A 2011-03-11 2012-03-12 同步通过不同网络接收的内容的呈现的解码器及其方法 Active CN102685588B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11305271A EP2498494A1 (en) 2011-03-11 2011-03-11 Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
EP11305271.6 2011-03-11

Publications (2)

Publication Number Publication Date
CN102685588A CN102685588A (zh) 2012-09-19
CN102685588B true CN102685588B (zh) 2019-02-12

Family

ID=45768156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210063228.6A Active CN102685588B (zh) 2011-03-11 2012-03-12 同步通过不同网络接收的内容的呈现的解码器及其方法

Country Status (8)

Country Link
US (1) US10063938B2 (zh)
EP (2) EP2498494A1 (zh)
JP (1) JP6317872B2 (zh)
KR (1) KR101927145B1 (zh)
CN (1) CN102685588B (zh)
AU (1) AU2012201224B2 (zh)
BR (1) BR102012005228B1 (zh)
TW (1) TWI544791B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104012101A (zh) * 2011-12-29 2014-08-27 索尼电脑娱乐公司 视频再现系统
WO2013190787A1 (ja) * 2012-06-22 2013-12-27 ソニー株式会社 受信装置およびその同期処理方法
WO2013190789A1 (ja) * 2012-06-22 2013-12-27 ソニー株式会社 受信装置およびその同期処理方法
US9215500B2 (en) * 2012-12-17 2015-12-15 Lattice Semiconductor Corporation Full-frame buffer to improve video performance in low-latency video communication systems
CA2856620A1 (en) * 2013-07-10 2015-01-10 Comcast Cable Communications, Llc Adaptive content delivery
JP6616064B2 (ja) * 2013-07-25 2019-12-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
US9819604B2 (en) * 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
JP6625318B2 (ja) * 2013-08-29 2019-12-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
JP6505996B2 (ja) * 2013-08-30 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 受信方法、及び、受信装置
EP3087747A4 (en) * 2013-12-23 2017-08-16 Lg Electronics Inc. Apparatuses and methods for transmitting or receiving a broadcast content via one or more networks
KR101788066B1 (ko) * 2014-01-13 2017-11-15 엘지전자 주식회사 하나 이상의 네트워크를 통해 방송 컨텐츠를 송수신하는 장치 및 방법
KR102202597B1 (ko) * 2014-06-20 2021-01-13 삼성전자주식회사 이종망 기반 방송 서비스를 제공하는 방법 및 장치
KR102312681B1 (ko) 2015-03-17 2021-10-13 한화테크윈 주식회사 영상 처리 시스템 및 방법
JP6822407B2 (ja) * 2015-09-01 2021-01-27 ソニー株式会社 受信装置、データ処理方法、及び、プログラム
EP3160147A1 (en) * 2015-10-19 2017-04-26 Thomson Licensing Method for fast channel change, corresponding arrangement and device
US10582258B2 (en) * 2015-12-26 2020-03-03 Intel Corporation Method and system of rendering late or early audio-video frames
US10812558B1 (en) 2016-06-27 2020-10-20 Amazon Technologies, Inc. Controller to synchronize encoding of streaming content
US10652625B1 (en) 2016-06-27 2020-05-12 Amazon Technologies, Inc. Synchronization of multiple encoders for streaming content
US10652292B1 (en) * 2016-06-28 2020-05-12 Amazon Technologies, Inc. Synchronization of multiple encoders for streaming content
CN109905763B (zh) * 2019-03-20 2021-09-10 四川长虹电器股份有限公司 优化播放器音频播放卡顿的方法
BE1029802B1 (fr) * 2021-09-28 2023-04-24 Demute Synchronisation d'informations fournies par deux dispositifs différents
CN114173207B (zh) * 2021-11-15 2024-02-23 杭州当虹科技股份有限公司 一种视频帧顺序传输的方法和系统
CN114286149B (zh) * 2021-12-31 2023-07-07 广东博华超高清创新中心有限公司 一种跨设备和系统的音视频同步渲染的方法及系统
CN115174991B (zh) * 2022-06-28 2023-11-24 Vidaa国际控股(荷兰)公司 一种显示设备及视频播放方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297628A (ja) * 2003-03-27 2004-10-21 Sanyo Electric Co Ltd ストリーム切替装置およびその装置にコンテンツを提供する装置
WO2010001609A1 (ja) * 2008-07-04 2010-01-07 パナソニック株式会社 符号化ストリーム再生装置及び符号化ストリーム再生方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262776B1 (en) 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
JP4010617B2 (ja) * 1997-12-03 2007-11-21 株式会社東芝 画像復号化装置及び画像復号化方法
US7031348B1 (en) * 1998-04-04 2006-04-18 Optibase, Ltd. Apparatus and method of splicing digital video streams
JP2004088366A (ja) * 2002-08-26 2004-03-18 Matsushita Electric Ind Co Ltd デジタル放送受信機およびデジタル放送システム
JP2004193673A (ja) * 2002-12-06 2004-07-08 Sony Corp 受信装置及び方法、再生装置及び方法、並びに記録再生装置及び方法
JP4134164B2 (ja) * 2003-07-10 2008-08-13 富士通株式会社 メディア再生装置
KR100868820B1 (ko) * 2004-07-23 2008-11-14 비치 언리미티드 엘엘씨 데이터 스트림을 전달하는 방법 및 시스템과 데이터 저장 레벨을 제어하는 방법
US9137502B2 (en) * 2004-08-25 2015-09-15 Broadcom Corporation Method and system for fast digital channel change utilizing time-stamp management
US8320446B2 (en) 2004-11-24 2012-11-27 Qformx, Inc. System for transmission of synchronous video with compression through channels with varying transmission delay
KR20060105890A (ko) 2005-03-31 2006-10-12 삼성전자주식회사 디지털 방송 수신 장치 및 그 장치에서의 동기화 처리 방법
BRPI0609562A2 (pt) * 2005-04-26 2011-10-18 Koninkl Philips Electronics Nv dispositivo e método para processar um fluxo de dados codificado em um sistema criptográfico, meio legìvel por computador e elemento de programa
WO2007072255A2 (en) * 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. A device for and a method of processing an input data stream comprising a sequence of input frames
JP5191493B2 (ja) * 2006-11-20 2013-05-08 エスケー プラネット カンパニー、リミテッド 放送コンテンツに関連した付加情報サービス提供システム、付加情報サービス提供サーバー及び付加情報サービス提供方法
JP5194564B2 (ja) * 2007-05-29 2013-05-08 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US8693553B2 (en) 2007-12-28 2014-04-08 Nokia Corporation Methods, apparatuses, and computer program products for adaptive synchronized decoding of digital video
KR101500440B1 (ko) * 2008-10-17 2015-03-09 삼성전자 주식회사 영상처리장치 및 영상처리방법
WO2010052857A1 (ja) * 2008-11-06 2010-05-14 パナソニック株式会社 再生装置、再生方法、再生プログラム、及び集積回路
JP5086285B2 (ja) 2009-01-22 2012-11-28 株式会社日立製作所 映像配信システム，映像配信装置，及び同期補正処理装置
JP2010245974A (ja) * 2009-04-08 2010-10-28 Panasonic Corp デジタルテレビ放送再生装置およびその再生方法
JP5767638B2 (ja) * 2009-08-07 2015-08-19 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔＧｒｏｕｐ）トランスポートストリーム（ＭＰＥＧ−ＴＳ）のチャンネル選局を行う装置及び方法
ATE540529T1 (de) * 2009-11-03 2012-01-15 Tektronix Int Sales Gmbh Verfahren und vorrichtung zum messen der verzögerung innerhalb eines komprimierten digitalen stroms

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297628A (ja) * 2003-03-27 2004-10-21 Sanyo Electric Co Ltd ストリーム切替装置およびその装置にコンテンツを提供する装置
WO2010001609A1 (ja) * 2008-07-04 2010-01-07 パナソニック株式会社 符号化ストリーム再生装置及び符号化ストリーム再生方法

Also Published As

Publication number Publication date
AU2012201224A1 (en) 2012-09-27
JP2012191623A (ja) 2012-10-04
JP6317872B2 (ja) 2018-04-25
EP2498494A1 (en) 2012-09-12
US10063938B2 (en) 2018-08-28
KR20120104496A (ko) 2012-09-21
US20120230389A1 (en) 2012-09-13
TW201242340A (en) 2012-10-16
CN102685588A (zh) 2012-09-19
TWI544791B (zh) 2016-08-01
BR102012005228B1 (pt) 2021-12-28
AU2012201224B2 (en) 2015-04-16
EP2498495B1 (en) 2022-02-16
EP2498495A1 (en) 2012-09-12
BR102012005228A2 (pt) 2013-05-14
KR101927145B1 (ko) 2018-12-10

Similar Documents

Publication Publication Date Title
CN102685588B (zh) 同步通过不同网络接收的内容的呈现的解码器及其方法
KR101639358B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
KR101727050B1 (ko) 미디어 세그먼트 송수신 방법 및 그를 이용한 송수신 장치
CN103733631B (zh) 媒体内容收发方法和使用该方法的收发设备
CN108293145B (zh) 视频分发同步
CN107409234A (zh) 基于lct利用dash格式的基于文件格式的流式传输
Howson et al. Second screen TV synchronization
EP2690876A2 (en) Heterogeneous network-based linked broadcast content transmitting/receiving device and method
CN101179484A (zh) 一种不同媒体流间的同步方法及系统
US9426506B2 (en) Apparatuses for providing and receiving augmented broadcasting service in hybrid broadcasting environment
AU2015204359B2 (en) Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
TW201018214A (en) Mobile TV system and method for synchronizing the rendering of streaming services thereof
Köhnen et al. A DVB/IP streaming testbed for hybrid digital media content synchronization
KR20130056829A (ko) 3dtv 방송을 위한 송수신 장치 및 그 제어 방법
KR101808672B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
Yuste et al. Inter-media synchronization for IPTV: A case study for VLC
Caprioglio et al. An end-to-end architecture for advanced multimedia broadcast

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1173291

Country of ref document: HK

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190313

Address after: Paris France

Patentee after: Interactive Digital Madison Patent Holdings

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190313

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING