JP2016015739A - スケーラブルビデオコーディングを利用したリニアなデジタルtv番組の伝送方法 - Google Patents

スケーラブルビデオコーディングを利用したリニアなデジタルtv番組の伝送方法 Download PDF

Info

Publication number
JP2016015739A
JP2016015739A JP2015153727A JP2015153727A JP2016015739A JP 2016015739 A JP2016015739 A JP 2016015739A JP 2015153727 A JP2015153727 A JP 2015153727A JP 2015153727 A JP2015153727 A JP 2015153727A JP 2016015739 A JP2016015739 A JP 2016015739A
Authority
JP
Japan
Prior art keywords
layer
data unit
file
receiving
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015153727A
Other languages
English (en)
Other versions
JP2016015739A5 (ja
JP6034458B2 (ja
Inventor
シュピン ルー
Xiuping Lu
シュピン ルー
マナリクディ アンスル シェミモン
Manalikudy Anthru Shemimon
マナリクディ アンスル シェミモン
アンソニー カンパナ デイビッド
anthony campana David
アンソニー カンパナ デイビッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42039783&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2016015739(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2016015739A publication Critical patent/JP2016015739A/ja
Publication of JP2016015739A5 publication Critical patent/JP2016015739A5/ja
Application granted granted Critical
Publication of JP6034458B2 publication Critical patent/JP6034458B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331Caching operations, e.g. of an advertisement for later insertion during playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4623Processing of entitlement messages, e.g. ECM [Entitlement Control Message] or EMM [Entitlement Management Message]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H04N7/122Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】オフピークの帯域を有効利用し、テレビ番組の伝送効率を改善する、デジタルTV番組の伝送方法を提供する。
【解決手段】テレビ番組の伝送装置がSVCを使用し、エンコーディングされたエンハンスメント層ビデオデータが事前にSTBにダウンロードされ、エンコーディングされたベース層ビデオデータが視聴時刻にSTBに生放送される。エンハンスメント層データの事前ダウンロードは、オフピーク視聴時間に行われ、多量のネットワーク帯域を活用し、ベース層データのみを放送することによってピーク視聴時間中の帯域需要を減少させる。エンハンスメント層データは、MP4ファイルでダウンロードされ、リアルタイムプロトコル(RTP)ストリームでSTBに送信されているベース層との後の同期化及び結合のためにSTB内に保存される。結合されたベース及びエンハンスメント層データは、エンドユーザに表示するためにSVCデコーディングされる。
【選択図】図1

Description

<関連特許出願>
本出願は、米国特許法第119条(e)の下で米国仮特許出願第61/097,531号(出願日2008年9月16日)の利益を主張し、当該仮特許出願の全体の内容は、参照することによって本願に包含されている。
本発明は全体としてデータ通信システムに関し、特に、ビデオデータの伝送に関する。
現在のリニアなデジタルテレビ(TV)伝送システムにおいては、エンドユーザ端末で利用可能なTV番組の総数を制限する帯域の制約が存在する。高解像度のTV番組がますます一般的になってくると、この帯域の制約が目に見えてくる。プライムタイム(ゴールデンタイム)の視聴者を奪い合う高解像度(HD)番組等のさらに広い帯域を必要とするコンテンツがさらに多くなると、ピーク時間に使用可能な帯域幅がボトルネックになり得る。
1日の間、一般的なTV放送サービスの帯域需要は、大きく変化するだろう。例えば、帯域需要は、一般的に、平日の午後6時から午後11時の間、及び週末の午前10時から午後11時までにおいてピークを迎える。ピーク時間において、ほとんどの場合、使用可能な帯域の全ては使用されていないが、いくつかの条件において帯域が不十分であり得る。一方、通常、オフピーク時間においては、帯域は十分に利用可能である。
従って、オフピーク時間の帯域は十分に使用されておらず、ピーク時間においては、標準解像度(SD)及び高解像度(HD)TV番組に対するエンドユーザの要求に見合う十分な使用可能帯域幅がない。
本発明の原理に従った例示の実施形態において、スケーラブルビデオコーディング(Scalable Video Coding(SVC))を使用した伝送方法が、ピークタイムの広い帯域幅を必要とするビデオの伝送をオフピーク時間に移動する。今まで十分に使用されていなかったオフピークの帯域が、有利に使用されて、僅かなアップグレード費用でまたはアップグレード費用無しで全体の伝送効率が改善される。
特に、SVCエンコーダによって生成されたビデオビットストリームは、1つのベース層及び1または複数のエンハンスメント層を含む。本発明原理に従っている1つの例示の実施形態において、通常は低いビットレート、低いフレームレート及び低いビデオ品質でエンコーディングされているベース層ビデオストリームは、エンドユーザ端末に生でストリーム配信されるかまたは放送される一方で、1または複数のエンハンスメント層ビデオストリームは、開始時間以前のオフピーク時間の間にエンドユーザ端末に徐々にダウンロードされる。
本発明による伝送方法は、リニアなTVサービスに使用されて、ピーク時間の帯域消費を減少させることが可能である。さらに、ベース層ビデオが基本のサービスとして扱われることが可能であり、その一方でエンハンスメント層がその高いビデオ品質に関する上位サービスとして扱われることも可能である。デジタル著作権管理(DRM)等が使用されて、エンハンスメント層ビデオへのアクセスが制御されてもよい。
上述のように、かつ発明を実施するための形態から明らかになるように、他の実施形態及び特徴も利用可能でありかつ本発明の原理内に含まれる。
本発明の実施形態に従った装置及び/または方法のいくつかの実施形態が、例示のみの目的で、添付の図面を参照して説明される。
一般的なビデオ伝送環境のブロック図である。 本発明の原理に従った例示のビデオ伝送システムのブロック図である。 SVCエンハンスメント層ビデオ情報を含むメディアコンテナファイルの例示の形式を示す図である。 SVCエンハンスメント層ビデオ情報を含むメディアコンテナファイルの例示の形式を示す図である。 SVCエンハンスメント層ビデオ情報を含むメディアコンテナファイルの例示の形式を示す図である。 SVCベース層ビデオ情報を伝送するためのパケットストリームの例示の形式を示す図である。 本発明の例示の実施形態のデバイス受信動作方法例のフロー図である。 事前にダウンロードされているエンハンスメント層データとストリーム配信されたベース層データとの同期化を示す図である。
本発明の概念以外、添付図面に示されている要素は、公知であり、詳細には説明されていない。例えば、本発明の概念以外、放送、受信機及びビデオエンコーディングについて熟知していることが前提とされ、これらは本明細書には詳細に説明されていない。例えば、本発明の概念以外、NTSC(National Television System Committee)、PAL(Phase Alternation Lines)、SECAM(SEquential Couleur Avec Memoire)、及びATSC(Advanced Television System Committee)(ATSC)、中国デジタルテレビシステム(GB)20600−2006、及びDVB−H等のTV規格に関する現在の勧告及び今まで提案された勧告への熟知が前提とされる。同様に、本発明の概念以外、8−VSB(eight−level vestigial sideband)、QAM(Quadrature Amplitude Modulation)等の他の伝送概念、並びにラジオ周波数(RF)フロントエンド(front−end)(ローノイズブロック(low noise block)、チューナ、ダウンコンバータ(down converter)等)、デモジュレータ、コリレータ、リークインテグレータ(leak integrator)、及びスクエアラ(squarer)等の受信コンポーネントの熟知が前提とされる。さらに、本発明の概念以外、IP(Internet Protocol)、RTP(Real−time Transport Protocol)、RTCP(RTP Control Protocol)、UDP(User Datagram Protocol)等のプロトコルへの熟知が前提とされ、本明細書において説明されていない。同様に、本発明の概念以外、MPEG(Moving Picture Expert Group)−2システム規格(ISO/IEC 13818−1)、H.264 AVC(Advanced Video Coding)及びスケーラブルビデオコーディング(SVC)が前提にされ、本明細書において説明されていない。本発明の概念が、それ自体は本明細書に記載されていない従来のプログラミング技術を用いて実装されてもよいことに留意すべきである。最後に、図面内の同様の参照符号は同様の要素を示す。
ほとんどのTV番組は、現在、図1に示されているようなシステムで伝送されている。示されているシステム100において、AVC(Advanced Video Coding)/MPEG−2エンコーダ110が、例えばTV番組に対応するビデオ信号101を受信し、STB150で示されている1または複数のセットトップボックス(STB)への配信のために生放送(live broadcast)信号125を生成する。その後、セットトップボックスは、受信した生放送信号125をデコーディングし、高解像度(HD)または標準解像度(SD)ビデオ等のビデオ信号165を、ユーザに表示するためのTV等の表示デバイス170に提供する。ビデオ信号165を生成するためにSTBによって必要とされる情報の全ては、信号125を介した生放送である。信号125は、有線または無線通信チャンネルを含む任意の適切な手段で伝送されてもよい。
図2は、本発明の原理に従った例示のシステム200を示している。このシステムにおいて、エンコーディングされたビデオは、ビデオサーバ210からSTB等のエンドユーザ端末に、スケーラブルビデオコーディング(SVC)等の高度なコーディング技術を使用して伝送される。ビデオ信号201に基づいて、サーバ210のSVCエンコーダ212は、少なくとも2つの空間的に拡張可能な(spatially scalable)ビデオ層ストリームを生成する。すなわち、低いビットレートのSD解像度を用いた1つのベース層、及び高いビットレートのHD解像度を用いた1つのエンハンスメント層である。ビデオ信号201は、例えば、HDTV番組に対応している。SVCベース層及びSVCエンハンスメント層は、ストリーム224及び226を介してSTB250に各々伝送される。本明細書においては空間的に拡張可能(例えば、SD対HD)という用語で説明されているが、本発明の原理は、SVC拡張性の時間的及び品質的なモードにも適用可能である。
本発明によって考慮されているように、異なったSVC層は、異なった時間にエンドユーザ端末に伝送される。1つの例示の実施形態において、SVCエンハンスメント層ストリーム226は、オフピーク時間帯にSTB250に送信され、その一方で、対応するベース層ストリーム224は、視聴時間にSTB250に、例えば、ビデオ信号265が、表示デバイス270によりエンドユーザに表示するためにSTBによって生成される際に送信される。視聴時間は、1日の内のピーク帯域需要時間帯を含む任意の時間に発生してもよいことが考慮されている。
エンハンスメント層ストリーム226が、エンコーディングする時刻にSTB250に送信されてもよい一方で、後に間に合うように送信されるベース層ストリーム224は、記憶装置213等に保存され、視聴時刻にSTB250への伝送のために記憶装置から読み出される。代替的に、ビデオ信号201は、エンコーダ212によって生成されたときに送信されるベース層ストリーム224を用いて視聴時間において再生(re−play)されかつ再度エンコーディングされ得、それによって記憶装置213が除去される。図示していないが、エンハンスメント層ストリーム226は、生成された後に保存され、STB250に送信されるときに記憶装置から読み出されてもよい。保存及び読み出しのための任意の適切な手段が、ストリーム224及び/または226に対して使用可能である。
異なった層のビデオストリーム224、226は、STB250等のエンドユーザ端末がSVCデコーティングのこれらの異なったビデオストリームを再同期化及び結合可能な限り、異なった伝送メカニズム(例えば、ファイルダウンロード、ファイルストリーミング配信等)を使用して送信される。別々のストリームとして説明されているが、ストリーム224及び226は、サーバ210からSTB250まで、同一または異なった物理チャンネル及び関連付けられた物理層デバイスを用いて送信されてもよい。例示の実施形態において、ストリーム224及び226は、異なったサーバから伝送されてもよい。
STB250は、デコーディングのためにこれら2つのストリームを再同期化して結合し、そこから表示デバイス270によって表示されるビデオ265を生成する。ベース層ストリーム224がSTB250によって受信される際に、ビデオ信号265が生成されると考えられる。上述のように、エンハンスメント層ストリーム226は、ベース層ストリーム224より早い時刻に受信され、この場合、エンハンスメント層ストリーム226は、SVCデコーダ259によるデコーディングのために2つのストリームが255において結合する時間まで、メモリ257に保存されるだろう。通常、エンハンスメント層ストリーム226は、ベース層ストリーム224のデータが受信される前に完全に保存される。
例示の実施形態において、エンハンスメント層ストリーム226は、ビデオフレーム各々のデコーディングタイミング情報を維持するMP4ファイル等のメディアコンテナファイルの形式にされる。サーバ210のファイルライタブロック216は、SVCエンコーダ212によって生成されたエンハンスメント層ストリームを上述のメディアコンテナファイルの形式にする。このファイルは、STB250にダウンロードされて256で保存される。デコーディング時刻においてまたはその少し前において、STB250のファイルリーダブロック256が、当該ダウンロードされたメディアコンテナファイル内に含まれているエンハンスメント層ビデオデータ及びそれに関連するタイミング情報を抽出する。ファイルライタ216及びファイルリーダ256の動作は、変更されたMPファイル構造に関して以下でさらに詳しく説明される。
信号201によって示されるTV番組が表示に関してスケジューリングされている場合、ベース層ビデオストリーム224は、生放送、ネットワークストリーミング配信等を介して、STB等の複数の受信デバイスに放送(送信)される。例示の実施形態において、ベース層ビデオストリーム224の放送(送信)は、リアルタイムプロトコル(RTP)ストリーミングを用いて行われる。RTPは、ベース層ストリーム224を上述のメディアコンテナファイル内のエンハンスメント層データと同期化するために使用されるヘッダ内の時間情報を提供する。サーバ210において、パケタイザ(packetizer)214は、STB250にストリーミング配信するためにSVCベース層をRTPパケット形式にする。STB250において、デパケタイザ(de−packetizer)254は、ブロック255によってエンハンスメント層と同期化させて結合させるために受信されたベース層RTPパケットストリーム224からベース層ビデオデータ及びタイミング情報を抽出する。パケタイザ214及びデパケタイザ254の動作は、例示のRTPパケット構造を参照して以下でされに詳細に説明される。
エンハンスメント層ファイルは、デジタル著作権管理(DRM)保護付きであってもよい。エンハンスメント層ビデオに対して条件付きアクセスを用いることは、高度なビデオをベース層ビデオに追加される上位アドオンサービスとして提供することを可能にする。例えば、HD番組は、エンハンスメント層への条件付きアクセスによって提供され得、その一方で、SD番組はベース層へのアクセスによって全ての契約者に提供され得る。HD番組のこれらの契約に関して、1または複数のエンハンスメント層ファイルが、後に使用される1または複数のHD番組の全てまたは一部に関して、STBに前もってダウンロードされるだろう。エンハンスメント層ファイルの各々は、1もしくは複数のHD番組またはHD番組の一部のデータを含んでもよい。HD番組を契約していないユーザは、インジケータ等に基づいて、エンハンスメント層データ受信できるかもしくは受信できなくてもよく、または当該ファイルを受信できるが保存もしくは復号できなくてもよい。インジケータは、例えば、様々な可能性があるが、ユーザがパスワードもしくはアクセスコードを間違えなく入力するかまたはユーザのSTBにスマートカードを挿入すること等のユーザとのやりとりに基づいて設定されてもよい。エンハンスメント層がDRM保護付きであり、STB250がこれらを復号可能である場合、このような復号は258において行われ、復号されたエンハンスメント層データは、その後、ファイルリーダ256に提供される。代替的に、復号は、ファイルリーダ256によって行われてもよい。ファイルリーダ256は、復号されたエンハンスメント層データを、視聴時間にSTB250にストリーミング配信されたベース層データとの同期化及び結合のためにブロック255に提供する。結合されたデータは、その後、ビデオ信号265のデコーディング及び生成のためにSVCデコーダ259に送られる。RTPストリーム内の対応するSVCベース層を有するMP4ファイル内のSVCエンハンスメント層を同期化及び結合する例示の方法は、以下に説明される。
例示の実施形態において、エンハンスメント層への条件付きアクセス機能は、同期化及び結合ブロック255によって制御されてもよい。例えば、エンハンスメント層メディアコンテナファイル内のデジタルセキュリティ機能が、STB250がエンハンスメント層データを使用する権利を有していると示す場合、ブロック255は、エンハンスメント層データとベース層データとの同期化及び結合を行い、そうでない場合、同期化及び結合はスキップされ、ベース層データのみがSVCデコーダ259に送られる。セキュリティ機能は、エンハンスメント層がデコーディング可能な回数を示すインジケータを含んでもよい。この回数は、エンハンスメント層がデコーディングされるたびに、エンハンスメント層のデコーディングが許可されなくなるまでデクリメント(減少)させられる。
上述のように、本発明の例示の実施形態において、エンコーディングされたSVCストリームのベース層及びエンハンスメント層は、生放送のために、各々、事前ダウンロード可能なMP4ファイルとRTPパケットストリームに分割される。ISO規格化団体は、エンコーディングされたAVCコンテンツの包含のためにMP4ファイル形式を定義している(ISO/IEC 14496−15:2004 情報技術--オーディオビジュアルオブジェクトのコーディング--第15部:AVC(Advanced Video Coding)ファイル形式)が、MP4ファイル形式は、SVCでコーディングされたコンテンツにも容易に拡張可能である。図3A−3Cは、変更されたMP4ファイル内のエンコーディングされたSVCエンハンスメント層コンテンツの例示のレイアウトを示している。
図3A及び3Cに示されているように、本発明の例示の実施形態において使用される変更されたMP4ファイル300は、メタデータアトム(metadeta atom)301及びメディアデータアトム(metadeta atom)302を含んでいる。メタデータアトム301は、編集リスト320を含んでいるSVCトラックアトム310を含んでいる。編集リスト320の編集内容の各々は、メディア時間及び存続期間を含んでいる。この編集内容は、端末相互間に配され、トラックタイムラインを生成する。SVCトラックアトム310は、サンプル表(sample table)340を含んでいるメディア情報アトム330も含む。サンプル表340は、サンプル記述アトム350、時間とサンプルとを対応させた表360及びスケーラビリティ(scalability)レベル記述子アトム370を含む。時間とサンプルとを対応させた表360は、メディアのタイミング及び構造データを含んでいる。アトム360のさらに詳細な表示は、図3Bに示されている。図3Bに示されているように、アトム360内のエントリの各々は、エンハンスメント層のコーディングされているビデオサンプル及び当該ビデオサンプルの対応する存続期間dTへのポインタを含んでいる。サンプルは、デコーディング順に保存される。サンプルのデコーディングタイムスタンプは、編集リスト内の全ての先行するサンプルの存続期間を追加することによって判定されてもよい。時間とサンプルとを対応させた表は、図3Bに示されているように、これらの存続期間を与える。
図3Cに示されているメディアデータアトム302は、アトム360内のポインタによって参照されるエンハンスメント層のコーディングされたビデオサンプルを含む。メディアデータアトム302内のサンプルの各々は、アクセスユニット及び対応する長さを含む。アクセスユニットは、連続的なネットワーク抽象化層(NAL)ユニットの1つのセットであり、このセットのデコーディングは、1つのデコーディングされたピクチャをもたらす。
図3A−3Cに示された例示のファイル形式が、SVCエンハンスメント層データしか含まないことに注意する。SVCベース層データ及びエンハンスメント層データの両方を含むファイル形式は、エンハンスメント層サンプルとインタリーブ(interleave)されたベース層を含む。
図2の例示のシステム200を参照すると、図3A−3Cに示されているファイル等の変形されたMP4ファイルを生成する場合、サーバ210内のファイルライタ216は、タイミング情報を有するエンハンスメント層NALUを、SVCエンコーダ212からMP4ファイルのメディアデータアトム構造内にコピーする。上述のように、変形されたMP4ファイルは、当該ファイルが関連する番組の生放送の前に、STB250に事前にダウンロードされる。
STB250内のファイルリーダ256は、サーバ210内のファイルライタ216の逆の機能を実行する。ファイルリーダ256は、257内に保存されている事前にダウンロードされているメディアコンテナを読み込み、アトム360内のタイミング情報を有するエンハンスメント層NALU、及びISO/IEC JTC1/SC29/WG11 CORDING OF MOVING PICTURES AND AUDIO(ISO/IEC 14496−15 Amendment 2−情報技術--オーディオビジュアルオブジェクトのコーディング--スケーラブルビデオコーディングのファイルフォーマットサポート)に定義されているようなアトム370内のスケーラビリティレベル記述子を抽出する。
RTPでSVCエンコーディングされたストリームのパケット化及び伝送は、IETFによって特定されている(例えば、SVCビデオに関するRTPペイロードフォーマット、IETF、2009年3月6日参照)。ベース層及びエンハンスメント層NALUは、別々のRTPパケット内にパケット化されてもよい。図4は、本発明の例示の実施形態に従って、SVCベース層のみを送信するRTPパケットストリームを示している。パケットの各々のRTPタイムスタンプは、コンテンツのサンプリングタイムスタンプに設定されている。
図2の例示のシステム200を参照すると、サーバ210のパケタイザ214が、RTPヘッダタイムスタンプ領域内にコピーされているタイミング情報を用いて、RTPプロトコルに従ってSVCベース層NALUをパケット化している。デパケタイザ254は、STBのネットワークバッファ(図示せず)からSTBによって受信されたパケットを読み込んで、関連するタイミング情報を有するベース層NALUを抽出する。
そこから抽出されたタイミング情報に基づいて、STB250内の同期化及び結合もモジュール255が、デパケタイザ254及びファイルリーダ256から得られたベース及びエンハンスメント層NALUを同期化及び結合する。同期化の後、生RTPストリームから非パケット化されたベース層NALUと事前にダウンロードされていたMP4ファイルから抽出される対応するエンハンスメントNALUとが結合される。例示の実施形態において、ベース層NALUとエンハンスメント層NALUとの結合は、デコーダ259に対して、正確なデコーディング順序でNALUを表示することを含んでもよい。結合されたNALUは、その後、適切なSVCデコーディングのためにデコーダ259に送信される。
本発明の原理に従ったSTB250等の受信デバイスの例示の動作方法のフロー図が図5に示されている。505において、STBは、後に使用される番組のエンハンスメント層ビデオ(ELV)ファイル507を、サーバ210等から受信して保存する。510において、上述の番組の視聴時間に先立って、STB250がサーバ210から、番組に関連しており、RFC2327に記載されているセッション記述プロトコル(SDP)に従っているようなセッション記述ファイルを受信する。このSDPファイルは、1または複数の関連付けられたエンハンスメント層の存在及びそれらの暗号化情報を特定してもよい。515において、STBは、STBが番組に対して関連付けられたELVファイルを有しているか、及び上述のようにELVファイルが上位サービス契約に関係しているDRMによって保護されている場合に、STBが当該ELVファイルを復号して読み込めるかを判定する。そうであるならば、上述のファイルリーダ機能256等のELVファイルリーダ処理が520で開始される。
525において、STBは、RTPストリーミング等によって、SVCベース層のパケット(1または複数)のフレームを受信する。ベース層フレームの各々は、図4に示されているような、1または複数のパケットによって表されてもよい。530において、ベース層フレームは、さらなる処理のために非パケット化される。図4に示されているように、ベース層RTPパケットの各々は、RTPヘッダ及びSVCベース層NALUを含む。535において判定されるように、関連付けられたELVファイルが存在し、STBがそれを読み込み可能であるならば、動作は540に進み、そこにおいて、同期化情報が非パケット化されたベース層フレームから抽出される。このような同期化情報は、例えば、フレームのベース層パケット(1または複数)のヘッダ内のRTPタイムスタンプを含んでもよい。545において、ベース層フレームのタイミング情報と合致するタイミング情報を有しているエンハンスメント層アクセスユニットのNALUがELVファイル507から読み込まれる。タイミング情報に基づいて、エンハンスメント層NALUを特定する例示の方法が以下に説明されている。ベース層NALU(1または複数)及びそれに合致するエンハンスメント層NALU(1または複数)は、550において結合、例えば、それらのタイミング情報に基づいて適切に並べられ、当該結合されたものが表示のために555においてデコーディングされる。
535において、ベース層がSTBにストリーミング配信されている番組に関連付けられているELVファイルが無い場合、またはSTBがELVを読み込めない場合、動作は555に進み、そこで単独のベース層フレームが視聴のためにデコーディングされる。
560において、番組が終了を迎えたかに関する判定が行われる。番組に関するベース層パケットがもはや受信されなくなった時に終了を迎える。そうではない場合、動作が525にループバックして次のベース層フレームが受信されて、上述の手順が繰り返され、これ以外の場合、図5の処理が終了する。ELVファイル507が番組の終了の前に完全に読み込まれている場合、利用可能であるならば他のELVファイルが読み込まれるか、または動作はエンハンスメント層無しでベース層のみのデコーディングを行う。
上述の例は、MP4及びRTPを用いて与えられているが、同期化メカニズムは、他の規格形式の中で、例えば、MP4及びMPEG2−TSに適用されてもよい。
複数のエンハンスメント層を用いた応用に関して、全てのエンハンスメント層が1または複数のファイルで事前にダウンロードされて、ベース層がストリーミング配信されてもよい。代替的に、1または複数のエンハンスメント層が事前にダウンロードされ、1または複数のエンハンスメント層がベース層とともにストリーミング配信されてもよい。
図6は、上述の変更されたMP4ファイル等であって、RTPストリームにおいて受信されるベース層データに対応している事前ダウンロードメディアコンテナファイル内のエンハンスメント層データを特定する例示の方法を示している。ベース層RTPパケットBnがサーバからストリーミング配信される場合、STBは、ストリーミング配信が開始された後のある時点でこのストリーミングを受信(tune into)する(605)。ベース層RTPパケットBnの各々は、ストリーム内の第1のパケットのタイムスタンプB1(例えば、t1=0)に参照されるRTPタイムスタンプtnを有している。
図6の例に示されているように、STBは、ベース層パケットB2のストリーミングの間に受信を行う。しかし、このストリームを適切にデコーディングするために、STBはアクセスポイントを受信しなければならず、この受信はパケットB3が受信される際に発生する。パケットB3のタイムスタンプは、メディアコンテナファイル内の対応するエンハンスメント層データE3を発見するために使用される。換言すれば、メディアコンテナファイル内のトラックタイムラインの開始からtn−t1であるエンハンスメント層データサンプルは、ベース層パケットBnに対応しているだろう。データサンプルが上述の変更されたMP4形式等で、それらに対応する存続期間を用いて一覧化された場合、先行するサンプルの存続期間が合計されてトラックタイムラインの開始からのデータサンプルの時間的変位、すなわちRTPタイムスタンプに相当するデータサンプルが判定される。従って、図6で示されているように、E3は、B3に対応して判定される。なぜならば、E1及びE2の存続期間の合計dT1+dT2は、t3−t1、ベース層RTPストリームの開始からのB3の時間的変位に等しいからである。このように、STBの同期化及び結合モジュール(255)は、生ストリーミング放送から得られる第1のアクセスポイントパケット(Bn)のRTPタイムスタンプを、RTPストリームの開始からのパケットの時間的変位を判定するための基準点として使用する(例えば、tn−t1)。その後、同期化及び結合モジュールは、事前にダウンロードされているエンハンスメント層メディアコンテナファイルの時間とサンプルとを対応させた表(360)をチェックし、トラックタイムラインの開始からの同一のまたは実質的に同一の時間的変位を有するエンハンスメント層サンプルを検索する。図6において、B3及びE3は、同期化されてSVCデコーディングに関して一緒に提供される第1のベース及びエンハンスメント層データを表す。
上記のことを考慮して、上述の記載は、本発明の原理を例示しているだけであり、当業者が、本明細書内に明示的に記載していなくとも、本発明の原理を含みかつ本発明の精神及び範囲内にある様々な代替の構成を考え出すことが可能であることが理解されるだろう。例えば、別個の機能的要素の文脈で説明されていたとしても、これらの機能的要素は、1つの集積回路(IC)内、または複数の集積回路(IC)内で具体化されてもよい。同様に、別個の要素として示されていても、いくつかまたは全ての要素は、例えば、任意の様々な適切な記憶媒体内に具体化されているソフトウェアであって、1または複数のステップに対応する関連付けられたソフトウェアを実行するデジタル信号プロセッサまたは汎用プロセッサ等の、保存されているプログラムによって制御されているプロセッサ内に実装されてもよい。さらに、本発明の原理は、例えば、地上放送波、衛星、Wi−Fi(Wireless−Fidelity)、携帯電話等の、様々なタイプの有線及び無線通信システムに適用可能である。実際、本発明の概念は、固定または携帯受信器に適用可能である。従って、様々な変更を例示の実施形態に対して行うことが可能であり、他の構成も本発明の精神及び範囲から逸脱することなく考え出すことが可能であることが理解されるべきである。
上記のことを考慮して、上述の記載は、本発明の原理を例示しているだけであり、当業者が、本明細書内に明示的に記載していなくとも、本発明の原理を含みかつ本発明の精神及び範囲内にある様々な代替の構成を考え出すことが可能であることが理解されるだろう。例えば、別個の機能的要素の文脈で説明されていたとしても、これらの機能的要素は、1つの集積回路(IC)内、または複数の集積回路(IC)内で具体化されてもよい。同様に、別個の要素として示されていても、いくつかまたは全ての要素は、例えば、任意の様々な適切な記憶媒体内に具体化されているソフトウェアであって、1または複数のステップに対応する関連付けられたソフトウェアを実行するデジタル信号プロセッサまたは汎用プロセッサ等の、保存されているプログラムによって制御されているプロセッサ内に実装されてもよい。さらに、本発明の原理は、例えば、地上放送波、衛星、Wi−Fi(Wireless−Fidelity)、携帯電話等の、様々なタイプの有線及び無線通信システムに適用可能である。実際、本発明の概念は、固定または携帯受信器に適用可能である。従って、様々な変更を例示の実施形態に対して行うことが可能であり、他の構成も本発明の精神及び範囲から逸脱することなく考え出すことが可能であることが理解されるべきである。
本発明の好ましい実施形態を以下に示す。
付記1.第1の層及び第2の層において伝送されるエンコーディングされたデジタルビデオ信号を再生する方法であって、前記第2の層は前記第1の層の解像度、フレームレート及び品質のうちの少なくとも1つを向上させる情報を含み、前記方法が、
前記第2の層のデータユニットを受信するステップと、
前記第2の層の当該受信されたデータユニットを保存するステップと、
前記第2の層のデータユニットに対応する第1の層のデータユニットを受信するステップと、
前記第1の層の更なるデータユニットを受信する間に前記第1の層のデータユニットを前記第2の層の対応するデータユニットと結合するステップであって、前記第2の層のデータユニットは、前記第1の層の対応するデータユニットが受信される前に受信されて保存される、ステップと、
前記結合されたデータユニットをデコーディングすることによって出力ビデオフレームを生成するステップと
を含むことを特徴とする方法。
付記2.前記結合されたデータユニットのデコーディングが許可されていることをインジケータが示している場合に、前記第2の層のデータユニットが保存されることを特徴とする付記1に記載の方法。
付記3.ユーザ入力を受信して、前記結合されたデータユニットのデコーディングの許可または前記結合されたデータユニットのデコーディングの不許可のうちの1つに前記インジケータを設定するステップをさらに含むことを特徴とする付記2に記載の方法。
付記4.前記第1の層のデータユニットの受信に応答して前記第2の層の前記保存されたデータユニットを含むファイルを特定するステップと、
前記第2の層のデータユニットを検索するために前記ファイルにアクセスするステップと
をさらに含むことを特徴とする付記1に記載の方法。
付記5.前記第1の層及び前記第2の層のデータユニットがデジタルサンプルを含み、前記結合するステップが、
マッチング同期化情報を有する前記第1の層内のデジタルサンプル及び前記第2の層内のデジタルサンプルを特定するステップを含むことを特徴とする付記1に記載の方法。
付記6.前記第2の層のデータユニットは、メディアコンテナファイル内に含まれていることを特徴とする付記1に記載の方法。
付記7.前記メディアコンテナファイルは、MP4ファイルであることを特徴とする付記6に記載の方法。
付記8.前記第1の層のデータユニットは、リアルタイムプロトコルに従ったパケットのストリーム内で伝送されることを特徴とする付記1に記載の方法。
付記9.前記デジタルビデオ信号がスケーラブルビデオコーディングに従ってエンコーディングされ、前記第1の層はベース層であり、前記第2の層はエンハンスメント層であることを特徴とする付記1に記載の方法。
付記10.前記ベース層は標準解像度ビデオを伝送し、前記エンハンスメント層は高解像度ビデオを伝送することを特徴とする付記9に記載の方法。
付記11.第1の層及び第2の層において伝送されるエンコーディングされたデジタルビデオ信号を再生する装置であって、前記第2の層は、前記第1の層の解像度、フレームレート及び品質のうちの少なくとも1つを向上させる情報を含み、前記装置が、
前記第1の層及び前記第2の層のデータユニットを受信する受信器と、
前記第2の層の当該受信されたデータユニットを保存するメモリと、
前記第1の層の更なるデータユニットを受信する間、前記第1の層のデータユニットを前記第2の層の対応するデータユニットに結合する結合器であって、前記第2の層のデータユニットは、前記第1の層の対応するデータユニットが受信される前に受信されかつ保存される、結合器と、
前記結合されたデータユニットをデコーディングすることによって出力ビデオフレームを生成するデコーダと
を含むことを特徴とする装置。
付記12.当該結合されたデータユニットのデコーディングが許可されているとインジケータが示している場合に、前記第2の層のデータユニットが保存されることを特徴とする付記11に記載の装置。
付記13.ユーザインプットを受信して、前記結合されたデータユニットのデコーディングの許可または前記結合されたデータユニットのデコーディングの不許可のうちの1つに前記インジケータを設定するインタフェースをさらに含むことを特徴とする付記12に記載の装置。
付記14.前記第1の層のデータユニットの受信に応答して前記第2の層の当該保存されたデータユニットを含むファイルを特定しかつ前記第2の層のデータユニットを検索するために前記ファイルにアクセスするファイルリーダをさらに含むことを特徴とする付記11に記載の装置。
付記15.前記第1の層及び前記第2の層のデータユニットがデジタルサンプルを含み、前記装置が、
マッチング同期化情報を有する前記第1の層内のデジタルサンプル及び前記第2の層内のデジタルサンプルを特定する同期化器を含むことを特徴とする付記11に記載の装置。
付記16.前記第2の層のデータユニットは、メディアコンテナファイル内に含まれることを特徴とする付記11に記載の装置。
付記17.前記メディアコンテナファイルは、MP4ファイルであることを特徴とする付記16に記載の装置。
付記18.前記第1の層のデータユニットが、リアルタイムプロトコルに従ったパケットのストリームで前記受信器に伝送されることを特徴とする付記11に記載の装置。
付記19.前記デジタルビデオ信号がスケーラブルビデオコーディングに従ってエンコーディングされ、前記第1の層がベース層であり、前記第2の層がエンハンスメント層であることを特徴とする付記11に記載の装置。
付記20.前記ベース層が標準解像度ビデオを伝送し、前記エンハンスメント層が高解像度ビデオを伝送することを特徴とする付記19に記載の装置。
付記21.第1の層及び第2の層において伝送されるエンコーディングされたデジタルビデオ信号を再生する装置であって、前記第2の層が前記第1の層の解像度、フレームレート及び品質のうちの少なくとも1つを向上させる情報を含み、前記装置が、
第2の層のデータユニットを受信する手段と、
前記第2の層の当該受信されたデータユニットを保存する手段と、
前記第2の層のデータユニットに対応する前記第1の層のデータユニットを受信する手段と、
前記第1の層の更なるデータユニットを受信する間、前記第1の層のデータユニットと前記第2の層の対応するデータユニットとを結合する手段であって、前記第2の層のデータユニットが、前記第1の層の対応するデータユニットが受信される前に、受信されかつ保存される、手段と、
前記結合されたデータユニットをデコーディングすることによって出力ビデオフレームを生成する手段と
を含むことを特徴とする装置。
付記22.前記結合されたデータユニットのデコーディングが許可されているとインジケータが示している場合に、前記第2の層のデータユニットが保存されることを特徴とする付記21に記載の装置。
付記23.ユーザ入力を受信して、前記結合されたデータユニットのデコーディングの許可または前記結合されたデータユニットのデコーディングの不許可のうちの1つに前記インジケータを設定する手段をさらに含むことを特徴とする付記22に記載の装置。
付記24.前記第1の層のデータユニットの受信に応答して前記第2の層の前記保存されたデータユニットを含むファイルを特定しかつ前記第2の層のデータユニットを検索するために前記ファイルにアクセスする手段をさらに含むことを特徴とする付記21に記載の装置。
付記25.前記第1の層及び前記第2の層のデータユニットがデジタルサンプルを含み、前記装置が、
マッチング同期化情報を有する前記第1の層内のデジタルサンプル及び前記第2の層内のデジタルサンプルを特定する手段を含むことを特徴とする付記21に記載の装置。
付記26.前記第2の層のデータユニットがメディアコンテナファイル内に含まれていることを特徴とする付記21に記載の装置。
付記27.前記メディアコンテナファイルがMP4ファイルであることを特徴とする付記26に記載の装置。
付記28.前記第1の層のデータユニットがリアルタイムプロトコルに従ったパケットのストリームで伝送されることを特徴とする付記21に記載の装置。
付記29.前記デジタルビデオ信号が、スケーラブルビデオコーディングに従ってエンコーディングされ、前記第1の層がベース層であり、前記第2の層がエンハンスメント層であることを特徴とする付記21に記載の装置。
付記30.前記ベース層が標準解像度ビデオを伝送し、前記エンハンスメント層が高解像度ビデオを伝送することを特徴とする付記29に記載の装置。

Claims (30)

  1. 第1の層及び第2の層において伝送されるエンコーディングされたデジタルビデオ信号を再生する方法であって、前記第2の層は前記第1の層の解像度、フレームレート及び品質のうちの少なくとも1つを向上させる情報を含み、前記方法が、
    前記第2の層のデータユニットを受信するステップと、
    前記第2の層の当該受信されたデータユニットを保存するステップと、
    前記第2の層のデータユニットに対応する第1の層のデータユニットを受信するステップと、
    前記第1の層の更なるデータユニットを受信する間に前記第1の層のデータユニットを前記第2の層の対応するデータユニットと結合するステップであって、前記第2の層のデータユニットは、前記第1の層の対応するデータユニットが受信される前に受信されて保存される、ステップと、
    前記結合されたデータユニットをデコーディングすることによって出力ビデオフレームを生成するステップと
    を含むことを特徴とする方法。
  2. 前記結合されたデータユニットのデコーディングが許可されていることをインジケータが示している場合に、前記第2の層のデータユニットが保存されることを特徴とする請求項1に記載の方法。
  3. ユーザ入力を受信して、前記結合されたデータユニットのデコーディングの許可または前記結合されたデータユニットのデコーディングの不許可のうちの1つに前記インジケータを設定するステップをさらに含むことを特徴とする請求項2に記載の方法。
  4. 前記第1の層のデータユニットの受信に応答して前記第2の層の前記保存されたデータユニットを含むファイルを特定するステップと、
    前記第2の層のデータユニットを検索するために前記ファイルにアクセスするステップと
    をさらに含むことを特徴とする請求項1に記載の方法。
  5. 前記第1の層及び前記第2の層のデータユニットがデジタルサンプルを含み、前記結合するステップが、
    マッチング同期化情報を有する前記第1の層内のデジタルサンプル及び前記第2の層内のデジタルサンプルを特定するステップを含むことを特徴とする請求項1に記載の方法。
  6. 前記第2の層のデータユニットは、メディアコンテナファイル内に含まれていることを特徴とする請求項1に記載の方法。
  7. 前記メディアコンテナファイルは、MP4ファイルであることを特徴とする請求項6に記載の方法。
  8. 前記第1の層のデータユニットは、リアルタイムプロトコルに従ったパケットのストリーム内で伝送されることを特徴とする請求項1に記載の方法。
  9. 前記デジタルビデオ信号がスケーラブルビデオコーディングに従ってエンコーディングされ、前記第1の層はベース層であり、前記第2の層はエンハンスメント層であることを特徴とする請求項1に記載の方法。
  10. 前記ベース層は標準解像度ビデオを伝送し、前記エンハンスメント層は高解像度ビデオを伝送することを特徴とする請求項9に記載の方法。
  11. 第1の層及び第2の層において伝送されるエンコーディングされたデジタルビデオ信号を再生する装置であって、前記第2の層は、前記第1の層の解像度、フレームレート及び品質のうちの少なくとも1つを向上させる情報を含み、前記装置が、
    前記第1の層及び前記第2の層のデータユニットを受信する受信器と、
    前記第2の層の当該受信されたデータユニットを保存するメモリと、
    前記第1の層の更なるデータユニットを受信する間、前記第1の層のデータユニットを前記第2の層の対応するデータユニットに結合する結合器であって、前記第2の層のデータユニットは、前記第1の層の対応するデータユニットが受信される前に受信されかつ保存される、結合器と、
    前記結合されたデータユニットをデコーディングすることによって出力ビデオフレームを生成するデコーダと
    を含むことを特徴とする装置。
  12. 当該結合されたデータユニットのデコーディングが許可されているとインジケータが示している場合に、前記第2の層のデータユニットが保存されることを特徴とする請求項11に記載の装置。
  13. ユーザインプットを受信して、前記結合されたデータユニットのデコーディングの許可または前記結合されたデータユニットのデコーディングの不許可のうちの1つに前記インジケータを設定するインタフェースをさらに含むことを特徴とする請求項12に記載の装置。
  14. 前記第1の層のデータユニットの受信に応答して前記第2の層の当該保存されたデータユニットを含むファイルを特定しかつ前記第2の層のデータユニットを検索するために前記ファイルにアクセスするファイルリーダをさらに含むことを特徴とする請求項11に記載の装置。
  15. 前記第1の層及び前記第2の層のデータユニットがデジタルサンプルを含み、前記装置が、
    マッチング同期化情報を有する前記第1の層内のデジタルサンプル及び前記第2の層内のデジタルサンプルを特定する同期化器を含むことを特徴とする請求項11に記載の装置。
  16. 前記第2の層のデータユニットは、メディアコンテナファイル内に含まれることを特徴とする請求項11に記載の装置。
  17. 前記メディアコンテナファイルは、MP4ファイルであることを特徴とする請求項16に記載の装置。
  18. 前記第1の層のデータユニットが、リアルタイムプロトコルに従ったパケットのストリームで前記受信器に伝送されることを特徴とする請求項11に記載の装置。
  19. 前記デジタルビデオ信号がスケーラブルビデオコーディングに従ってエンコーディングされ、前記第1の層がベース層であり、前記第2の層がエンハンスメント層であることを特徴とする請求項11に記載の装置。
  20. 前記ベース層が標準解像度ビデオを伝送し、前記エンハンスメント層が高解像度ビデオを伝送することを特徴とする請求項19に記載の装置。
  21. 第1の層及び第2の層において伝送されるエンコーディングされたデジタルビデオ信号を再生する装置であって、前記第2の層が前記第1の層の解像度、フレームレート及び品質のうちの少なくとも1つを向上させる情報を含み、前記装置が、
    第2の層のデータユニットを受信する手段と、
    前記第2の層の当該受信されたデータユニットを保存する手段と、
    前記第2の層のデータユニットに対応する前記第1の層のデータユニットを受信する手段と、
    前記第1の層の更なるデータユニットを受信する間、前記第1の層のデータユニットと前記第2の層の対応するデータユニットとを結合する手段であって、前記第2の層のデータユニットが、前記第1の層の対応するデータユニットが受信される前に、受信されかつ保存される、手段と、
    前記結合されたデータユニットをデコーディングすることによって出力ビデオフレームを生成する手段と
    を含むことを特徴とする装置。
  22. 前記結合されたデータユニットのデコーディングが許可されているとインジケータが示している場合に、前記第2の層のデータユニットが保存されることを特徴とする請求項21に記載の装置。
  23. ユーザ入力を受信して、前記結合されたデータユニットのデコーディングの許可または前記結合されたデータユニットのデコーディングの不許可のうちの1つに前記インジケータを設定する手段をさらに含むことを特徴とする請求項22に記載の装置。
  24. 前記第1の層のデータユニットの受信に応答して前記第2の層の前記保存されたデータユニットを含むファイルを特定しかつ前記第2の層のデータユニットを検索するために前記ファイルにアクセスする手段をさらに含むことを特徴とする請求項21に記載の装置。
  25. 前記第1の層及び前記第2の層のデータユニットがデジタルサンプルを含み、前記装置が、
    マッチング同期化情報を有する前記第1の層内のデジタルサンプル及び前記第2の層内のデジタルサンプルを特定する手段を含むことを特徴とする請求項21に記載の装置。
  26. 前記第2の層のデータユニットがメディアコンテナファイル内に含まれていることを特徴とする請求項21に記載の装置。
  27. 前記メディアコンテナファイルがMP4ファイルであることを特徴とする請求項26に記載の装置。
  28. 前記第1の層のデータユニットがリアルタイムプロトコルに従ったパケットのストリームで伝送されることを特徴とする請求項21に記載の装置。
  29. 前記デジタルビデオ信号が、スケーラブルビデオコーディングに従ってエンコーディングされ、前記第1の層がベース層であり、前記第2の層がエンハンスメント層であることを特徴とする請求項21に記載の装置。
  30. 前記ベース層が標準解像度ビデオを伝送し、前記エンハンスメント層が高解像度ビデオを伝送することを特徴とする請求項29に記載の装置。
JP2015153727A 2008-09-16 2015-08-03 スケーラブルビデオコーディングを利用したリニアなデジタルtv番組の伝送方法 Expired - Fee Related JP6034458B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US9753108P 2008-09-16 2008-09-16
US61/097,531 2008-09-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011527806A Division JP5815408B2 (ja) 2008-09-16 2009-09-10 スケーラブルビデオコーディングを利用したリニアなデジタルtv番組の伝送方法

Publications (3)

Publication Number Publication Date
JP2016015739A true JP2016015739A (ja) 2016-01-28
JP2016015739A5 JP2016015739A5 (ja) 2016-03-10
JP6034458B2 JP6034458B2 (ja) 2016-11-30

Family

ID=42039783

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011527806A Expired - Fee Related JP5815408B2 (ja) 2008-09-16 2009-09-10 スケーラブルビデオコーディングを利用したリニアなデジタルtv番組の伝送方法
JP2015153727A Expired - Fee Related JP6034458B2 (ja) 2008-09-16 2015-08-03 スケーラブルビデオコーディングを利用したリニアなデジタルtv番組の伝送方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011527806A Expired - Fee Related JP5815408B2 (ja) 2008-09-16 2009-09-10 スケーラブルビデオコーディングを利用したリニアなデジタルtv番組の伝送方法

Country Status (7)

Country Link
US (1) US20110164686A1 (ja)
EP (1) EP2361479A4 (ja)
JP (2) JP5815408B2 (ja)
KR (1) KR101691050B1 (ja)
CN (1) CN102160375B (ja)
BR (1) BRPI0918671A2 (ja)
WO (1) WO2010033164A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100262708A1 (en) * 2009-04-08 2010-10-14 Nokia Corporation Method and apparatus for delivery of scalable media data
EP2302923A1 (en) * 2009-09-25 2011-03-30 Nagravision S.A. Method for displaying enhanced video content
US9071875B2 (en) * 2009-12-17 2015-06-30 At&T Intellectual Property I, L.P. Processing and distribution of video-on-demand content items
US20110317770A1 (en) * 2010-06-24 2011-12-29 Worldplay (Barbados) Inc. Decoder for multiple independent video stream decoding
CN102123299B (zh) * 2011-01-11 2012-11-28 中国联合网络通信集团有限公司 可伸缩视频的播放方法和播放装置
JP2013030907A (ja) * 2011-07-27 2013-02-07 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
JP2013074534A (ja) * 2011-09-28 2013-04-22 Sharp Corp 記録装置、配信装置、記録方法、プログラム、及び記録媒体
JP2015506134A (ja) * 2011-12-02 2015-02-26 トムソン ライセンシングThomson Licensing スケーラブル・ビデオ・コーディングを利用したパーソナル・ビデオ・レコーダにおける記憶スペースのリクレーム
US9179169B2 (en) * 2012-03-14 2015-11-03 Imagine Communications Corp. Adaptive media delivery
KR101697385B1 (ko) * 2012-04-05 2017-02-01 한국전자통신연구원 채널 적응형 계층적 방송 장치 및 방법
WO2013190787A1 (ja) * 2012-06-22 2013-12-27 ソニー株式会社 受信装置およびその同期処理方法
US9172737B2 (en) * 2012-07-30 2015-10-27 New York University Streamloading content, such as video content for example, by both downloading enhancement layers of the content and streaming a base layer of the content
CN103780870B (zh) 2012-10-17 2017-11-21 杭州海康威视数字技术股份有限公司 视频图像质量诊断系统及其方法
US9516080B2 (en) * 2013-05-31 2016-12-06 Western Digital Technologies, Inc. Methods and apparatuses for streaming content
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
US9980014B2 (en) * 2013-06-28 2018-05-22 Saturn Licensing Llc Methods, information providing system, and reception apparatus for protecting content
US9516356B2 (en) 2013-12-06 2016-12-06 Cable Television Laboratories, Inc. Parallel scheduling of multilayered media
KR102171707B1 (ko) 2014-01-08 2020-10-29 삼성전자주식회사 멀티미디어 데이터 재생 방법 및 장치
JP5836424B2 (ja) 2014-04-14 2015-12-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9948618B2 (en) 2015-02-05 2018-04-17 Western Digital Technologies, Inc. Secure stream buffer on network attached storage
US9860535B2 (en) * 2015-05-20 2018-01-02 Integrated Device Technology, Inc. Method for time-dependent visual quality encoding for broadcast services
CN112533029B (zh) * 2020-11-17 2023-02-28 浙江大华技术股份有限公司 一种视频分时传输方法、摄像装置、系统和存储介质
CN114745558B (zh) * 2021-01-07 2024-04-09 北京字节跳动网络技术有限公司 直播监控方法、装置、系统、设备及介质
CN114422860A (zh) * 2022-01-21 2022-04-29 武汉风行在线技术有限公司 一种降低高峰期视频点播cdn带宽的方法和装置、系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
JP2006511149A (ja) * 2002-12-20 2006-03-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デュアルレイヤhdtv信号を放送及びストリーミング経由で供給するための方法及びシステム
US20070223582A1 (en) * 2006-01-05 2007-09-27 Borer Timothy J Image encoding-decoding system and related techniques
JP2008533850A (ja) * 2005-03-10 2008-08-21 クゥアルコム・インコーポレイテッド 二層符号化及び単層復号化による階層的ビデオ符号化

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372611B2 (ja) * 1993-10-18 2003-02-04 キヤノン株式会社 映像伝送システム、映像処理装置及び映像処理方法
US7096481B1 (en) * 2000-01-04 2006-08-22 Emc Corporation Preparation of metadata for splicing of encoded MPEG video and audio
JP2002124927A (ja) * 2000-10-17 2002-04-26 Hitachi Ltd 総合データ配信サービスにおける受信端末
KR100876025B1 (ko) * 2001-07-04 2008-12-26 오카이그렉제드 이차원 또는 삼차원 기하 요소와 관련된 데이터엑스포트를 위한 방법 및 시스템
US7369610B2 (en) * 2003-12-01 2008-05-06 Microsoft Corporation Enhancement layer switching for scalable video coding
US8341527B2 (en) * 2005-06-10 2012-12-25 Aniruddha Gupte File format method and apparatus for use in digital distribution system
KR20070052650A (ko) * 2005-11-17 2007-05-22 엘지전자 주식회사 기록매체 재생방법 및 재생장치, 기록매체와 기록매체기록방법 및 기록장치
US8630355B2 (en) * 2006-12-22 2014-01-14 Qualcomm Incorporated Multimedia data reorganization between base layer and enhancement layer
MX2009007240A (es) * 2007-01-08 2009-08-07 Nokia Corp Sistema y procedimiento para proporcionar y usar señalizacion predeterminada de puntos de interoperabilidad para flujos de medios transcodificados.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
JP2006511149A (ja) * 2002-12-20 2006-03-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デュアルレイヤhdtv信号を放送及びストリーミング経由で供給するための方法及びシステム
JP2008533850A (ja) * 2005-03-10 2008-08-21 クゥアルコム・インコーポレイテッド 二層符号化及び単層復号化による階層的ビデオ符号化
US20070223582A1 (en) * 2006-01-05 2007-09-27 Borer Timothy J Image encoding-decoding system and related techniques

Also Published As

Publication number Publication date
JP2012503419A (ja) 2012-02-02
EP2361479A4 (en) 2013-05-22
CN102160375B (zh) 2015-04-22
JP6034458B2 (ja) 2016-11-30
JP5815408B2 (ja) 2015-11-17
EP2361479A1 (en) 2011-08-31
CN102160375A (zh) 2011-08-17
KR20110069006A (ko) 2011-06-22
KR101691050B1 (ko) 2016-12-29
WO2010033164A1 (en) 2010-03-25
US20110164686A1 (en) 2011-07-07
BRPI0918671A2 (pt) 2020-07-14

Similar Documents

Publication Publication Date Title
JP6034458B2 (ja) スケーラブルビデオコーディングを利用したリニアなデジタルtv番組の伝送方法
JP2016015739A5 (ja)
EP3391653B1 (en) System and method for media delivery using common mezzanine distribution format
US10129308B2 (en) Session description information for over-the-air broadcast media data
US8117638B2 (en) System and method for improved multi-stream multimedia transmission and processing
US9456015B2 (en) Representation groups for network streaming of coded multimedia data
US7386129B2 (en) System and method for multimedia content simulcast
CA2720905C (en) Method of transmitting and receiving broadcasting signal and apparatus for receiving broadcasting signal
US7463737B2 (en) System and method for conditional access key encryption
CN111837403B (zh) 处理用于以流传送媒体数据的交互性事件
US20070130498A1 (en) Time-shifted presentation of media streams
EP2339850A1 (en) Method and device for reception of video contents and services broadcast with prior transmission of data
Park et al. Delivery of ATSC 3.0 services with MPEG media transport standard considering redistribution in MPEG-2 TS format
Concolato et al. Synchronized delivery of multimedia content over uncoordinated broadcast broadband networks
EP2814256B1 (en) Method and apparatus for modifying a stream of digital content
EP3242490B1 (en) Self-adaptive streaming media processing method and device
WO2009080113A1 (en) Method and apparatus for distributing media over a communications network
Chen Digital Video Transport System

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under section 19 (pct)

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20160119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161027

R150 Certificate of patent or registration of utility model

Ref document number: 6034458

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees