JP2009105970A - 漸進的デコーダリフレッシュに基づくストリーム切り換え - Google Patents

漸進的デコーダリフレッシュに基づくストリーム切り換え Download PDF

Info

Publication number
JP2009105970A
JP2009105970A JP2009026345A JP2009026345A JP2009105970A JP 2009105970 A JP2009105970 A JP 2009105970A JP 2009026345 A JP2009026345 A JP 2009026345A JP 2009026345 A JP2009026345 A JP 2009026345A JP 2009105970 A JP2009105970 A JP 2009105970A
Authority
JP
Japan
Prior art keywords
switching
stream
streaming
bitstream
bitstreams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009026345A
Other languages
English (en)
Inventor
Ye-Kui Wang
ワン，イェ−クイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=33517947&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2009105970(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2009105970A publication Critical patent/JP2009105970A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】GDRランダムアクセスポイントが使用されるストリーム切り換えにおいて使用される信号通知方法および装置を提供すること。
【解決手段】ビットストリームにおけるGDR切り換えポイントを表すために、同期サンプルボックスに包含される同期サンプル情報ボックスが使用され、斯かるGDR切り換えポイントの情報が提供される。上記情報は、もしスライスグループが符号化において適用されるなら、どのスライスグループが分離領域であり且つどのスライスグループが残余領域であるかに関する情報も含む。上記信号通知方法はリアルタイムトランスポートプロトコル(RTP)を用いるビデオ・データ伝送において使用され得ると共に、ビットストリームの特性を表す情報を伝達すべくセッション記述プロトコル(SDP)を使用し得る。
【選択図】図４ｂ

Description

本発明は概略的にビデオストリーミングに関し、より詳細には、変動する伝送条件に従うストリーム適合化方法(stream adaptation)に関する。
ビデオストリーミングまたはビデオオンデマンドのサービスにおいてはネットワーク状態が動的であるが故に、サーバとクライアントとの間における端末相互間伝送特性は頻繁に変動し得る。たとえば、伝送ビットレートが減少し得る。ストリーミングセッションの連続性を維持しサービスの品質を最大化するためにサーバは、伝送されるストリームを、変動する伝送状態に対して適合させねばならない。このプロセスはストリーム適合化方法と称される。
ストリーム適合化方法は、マルチエンコード(multi-encoding)式またはトランスコード(transcoding)式のいずれかである。マルチエンコード式のストリーム適合化方法において、サーバは同一のビデオコンテンツを、異なる形態の又は異なるパラメータによる複数の符号化ストリームで記憶し、各符号化ストリームにおいて伝送されるデータは異なるストリーム間で切り換わり得る。トランスコード式のストリーム適合化方法において、サーバは、ストリームを異なる形態へと又は異なるパラメータによりトランスコードするトランスコーダを含む。
ひとつのビットストリームから他のビットストリームへの切り換えを可能とするためには、切り換えの後において容認可能な復号化品質のイメージデータをクライアント側デコーダが依然として受信し得るように、切り換え後のビットストリームが切り換えポイントを含まねばならない。切り換えポイントは、ランダムアクセスポイントまたは非ランダムアクセスポイントであり得る。非ランダムアクセスポイントにおけるストリーム切り換えに対しては、SP/SIピクチャを使用し得る。それに対して、ランダムアクセスポイントは、自然な切り換えポイントである。
ランダムアクセスとは、復号器が、ストリームの開始ポイントではなく該ストリームの或るポイントにて該ストリームの復号を開始し、且つ、復号されたピクチャの厳密なもしくは近似的な表現を回復し得ることをいう。このように、ランダムアクセスポイントとは、追随する任意の符号化ピクチャの復号を開始し得る切り換えポイントである。
ランダムアクセスポイントおよび回復ポイント(recovery point)がランダムアクセス動作を特徴付ける。出力順序において回復ポイントにまたはそれに引き続いて配置された復号化ピクチャの全ては、内容が正しいかまたは近似的に正しい。もしランダムアクセスポイントが回復ポイントと同一であれば、ランダムアクセス動作は即時的復号化リフレッシュ(Instantaneous Decoding Refresh)(IDR)であり、そうでなければ漸進的復号化リフレッシュ(Gradual Decoding Refresh)である。ビデオストリームにおけるIDRポイントは早送りおよびランダムアクセスにおいて使用し得るが、エラーの復元および回復に対しても使用し得る。IDRはまた、特にサーバ側でストリーム切り換えによりビットレート適合化に用いられる。
IDRピクチャとは他のピクチャに対する一切の参照なしで符号化されるピクチャであり且つ復号化順序においてIDRピクチャに追随する全てのピクチャは復号化順序において上記IDRピクチャに先行する一切のピクチャを参照することなく符号化される一方、GDRは本明細書において後に記述される如く分離領域(isolated region)と称される技術を用いて実現し得る。GDRランダムアクセスポイントにおけるピクチャはGDRピクチャと称される。GDRピクチャから回復ポイントまでの期間は、該回復ポイントを含め、GDR期間と称される。
ランダムアクセスポイントは、ローカル的に記憶されたビデオストリームにおけるシーク動作を可能にする。ビデオオンデマンドまたはストリーミングにおいてサーバはシーク要求に対し、シーク動作の要求目標に最も近いランダムアクセスポイントから開始するデータを伝送することにより応答する。異なるビットレートの符号化ストリーム間の切り換えは、伝送ビットレートと期待されるネットワークのスループットとを整合させるべく且つネットワークにおける輻輳を回避すべくインターネットにおけるユニキャストストリーミングにおいて一般的に使用される方法である。別のストリームへの切り換えは、ランダムアクセスポイントにおいて可能である。更に、ランダムアクセスポイントは、ブロードキャストもしくはマルチキャストへの同調を可能とする。これに加えてランダムアクセスポイントは、ソースシーケンスにおけるシーンカットに対する応答として、または、内部的ピクチャ更新要求に対する応答として符号化し得る。
ファイルフォーマット
MPEG-4パート12は、ISO(国際標準化機構)に基づくメディアファイルフォーマットの仕様を定めている。それは、メディアの交換、管理、編集およびプレゼンテーションを促進する融通性の高い拡張可能なフォーマットとされたプレゼンテーション用の時的メディア情報を含むべく設計される。このプレゼンテーションは、該プレゼンテーションを含むシステムに対して‘ローカル的’であるか、または、ネットワークまたは他のストリーム配信機構を介して実施し得る。上記ファイル構造はオブジェクト指向的である、と言うのも、ファイルを構成オブジェクトへと分解し得ると共に、各オブジェクトの構造をそれらの種類から直接的に推察し得るからである。上記ファイルフォーマットは、概略的には特定のネットワークプロトコルに対する効率的なサポートを可能とし乍らも、それらに依存しない様に設計される。ISO式メディアファイルフォーマットは、MP4ファイルフォーマット(MPEG-4パート14)とAVC(Advanced Video Coding)ファイルフォーマット(MPEG-4パート15)とに対する基礎として用いられる。AVCファイルフォーマットは、ISO式メディアファイルフォーマットによりAVCコンテンツが如何にして記憶されるかの仕様を定めている。それは通常は、AVCビデオの使用を許容するISO式メディアファイルフォーマットから導出されるMP4ファイルフォーマットなどの仕様に関して用いられる。
現在のAVCファイルフォーマットの設計態様において、SP/SIピクチャにより形成された切り換えピクチャは、切り換え元トラックおよび切り換え先トラックとは別個のトラックである切り換えトラック内に記憶される。切り換えトラックは、そのトラックにおいて特に必要とされるトラック参照先の存在により識別され得る。また切り換えピクチャは、宛先トラックにおけるサンプルの代替物であって厳密に同一の復号化時間を有する代替物である。
各IDRランダムアクセスポイントは、同期サンプルボックス(Sync Sample Box)において表される同期サンプルに対応する。同期サンプルボックスの設計態様はISO式メディアファイルフォーマットにおいて以下の如く仕様を定められている：
定義
ボックス形式(Box Type)：‘stss’
コンテナ(Container)：サンプルテーブルボックス(‘stbl’)
必須事項(Mandatory)：なし
値(Quantity)：０または１
このボックスは、ストリーム内におけるランダムアクセスポイントのコンパクトなマーキングを提供する。該テーブルは、厳密にサンプル番号の昇順に配置される。もし同期サンプルボックスが存在しなければ、全てのサンプルがランダムアクセスポイントである。
構文：
aligned(8) class SyncSampleBox
extends FullBox('stss', version = 0,0) ｛
unsigned int(32) entry_count;
int i;
for (i=0; i < entry_count; i++) ｛
unsigned int(32) sample_number;
｝
｝
語義
versionは、該ボックスのバージョンを特定する整数である。
entry_countは、追随するテーブルにおけるエントリの個数を与える整数である。もしentry_countがゼロなら、そのストリーム内にランダムアクセスポイントは無く、追随するテーブルは空である。
sample_numberは、そのストリームにおけるランダムアクセスポイントである各サンプルの夫々の番号を与える。
分離領域
分離領域技術は、GDR(漸進的復号化リフレッシュ)(JVT-C074)、エラー復元および回復(JVT-C073)、関心領域の符号化および優先順位付け、ピクチャインピクチャ機能、および、マスクされたビデオシーン遷移(masked video scene transition)の符号化(JVT-C075)などの、多くのアプリケーションに対する洗練された解決策を提供する。GDRは分離領域に基づくことから、受信器に対するメディアチャネル切り換え、サーバに対するビットストリーム切り換え、および、マルチキャストストリーミングに対する新規参加者の許容は、より平滑化されたビットレートにより即時的なランダムアクセスと同じくらい容易である。
ピクチャにおける分離領域は任意のマクロブロックを包含し得ると共に、ピクチャはゼロ個または１個の分離領域、または、重なり合わない更に多くの分離領域を包含し得る。残余領域(leftover region)とは、ピクチャの一切の分離領域により覆われない該ピクチャの領域である。残余領域は、同一ピクチャの各分離領域から予測し得る。
符号化されて分離された領域は、符号化された同一ピクチャの他の一切の分離領域または残余領域の存在なしで復号化され得る。残余領域の前に、ピクチャの全ての分離領域を復号化することが必要とされることもある。分離領域は、少なくとも一個のスライス(slice)を包含する。
当該複数のピクチャの各分離領域が相互に予測されるという複数のピクチャは、ひとつの分離領域ピクチャグループへとグループ分けされる。ひとつの分離領域は、同一の分離領域ピクチャグループにおける各先行ピクチャにおける対応分離領域と連結し得る。分離領域は、同一の分離領域ピクチャグループにおける対応分離領域から相互予測し得る。但し、ひとつの分離領域を他の各分離領域から相互予測することは許容されない。対照的に、残余領域は任意の分離領域から相互予測されることもある。連結された各分離領域の形状、箇所およびサイズは、分離領域ピクチャグループにおけるピクチャ毎に発展し得る。
分離領域の符号化は、AVC符復号器適用スライスグループにおいて実現し得る。各GDRランダムアクセスポイントは、回復ポイントの補足的増進情報(Supplemental Enhancement Information)(SEI)メッセージにより特徴付けられる。分離領域の符号化はスライスグループを用いずにAVC符復号器または他の標準的な符復号器においても実現し得るが、スライスグループを使用する符号化と比較して効率は低くなりこともある。
SP/SIピクチャ
AVCコード化規格は、SP/SIピクチャをサポートする。P-スライスのみを包含するストリーム切り換えにおいて復号器は、イメージ再構成に必要な正しく復号された基準フレームを有さないことは知られている。この問題は、符号化シーケンスに規則的時的間隔でI-スライスを挿入することで解決し得る。但し、I-スライスはP-スライスよりも更に多くの符号化データを含み易い。その故に、符号化ビットレートにおけるピークは各切り換えポイントに帰着する。SP-スライスおよびSI-スライスは、I-スライスの大きなビットレートの不利益なしで切り換えをサポートすべく設計される。
SP/SIピクチャは、異なる基準ピクチャ(reference picture)を用いる別のSP/SIピクチャが厳密に同一的に再構成されたピクチャを有し得る如き様式で符号化される。SP/SIピクチャは、ビットストリーム切り換え、スプライシング(splicing)、ランダムアクセス、早送り、早戻し、および、エラー復元／回復に対して適用し得る。たとえば、同一のビデオシーケンスに由来する異なるビットレートの２つのビットストリームbs1およびbs2が在ると仮定する。bs1においてはSPピクチャ(s1)が符号化され、bs2における同一箇所においては別のSPピクチャ(s2)が符号化される。bs1においては、厳密にs2と同一的に再構成されたピクチャを有する付加的なSPピクチャ(s12)が符号化される。s1およびs2は(夫々、bs1およびbs2からの)異なる基準ピクチャを使用する。故に、bs1からbs2への切り換えは、切り換え箇所においてs1の代わりにs12を伝送することにより実施し得る。s12は厳密にs2と同一的な再構成を有することから、切り換えの後で再構成されたピクチャはエラーが無い。SPピクチャs12は、AVCファイルフォーマットにおける切り換えトラックに記憶される切り換えピクチャと称される。
ストリーミングシステム
先に言及された如く、マルチエンコード式のストリーム適合化方法においてサーバは同一のビデオコンテンツを複数の符号化ストリームにより記憶するが、伝送に対しては各符号化ストリームの内の唯一個の符号化ストリームが選択される。図１は、トランスコーダまたはマルチストリーム生成器または記憶デバイス12からの複数のストリームを受信し得るサーバ20を含む伝送システム10を示している。示された如く、ストリーミングサーバ20は符号化ストリーム1〜nの内から１個の符号化ストリームを選択するストリーム選択器22を備える。選択された符号化ストリームは、パケット化器24によりパケットへと分割されると共に、伝送のためにチャネル符号化器26において符号化される。ストリーミングセッションの連続性を維持すべく且つサービスの品質を最大化すべく上記サーバは概略的に、可能な最良の符号化ストリームを選択する。たとえば、伝送状態が変化したときに上記サーバはビットレートを増大または減少し得る。故に上記ストリーム選択器は、切り換えポイントにおいて異なる符号化ストリームを選択することにより、ストリームを切り換える。しかしながら、クライアント側において復号器は、該復号器が受信した伝送データを単純に復号するのみである。図２に示された如く、基本的にストリーミングクライアントデバイス40は、チャネル復号器42と、パケット分解器44と、表示のためにディスプレイ48に対して復号ビデオ信号を提供する復号器46とを備える。但しクライアント主導のストリーム適合化方法をサポートするストリーミングシステムにおいて、ストリーミングクライアントデバイスは、ストリームの切り換えを要求する要求信号をサーバに対して送信し得る。上記ストリーミングシステムは、ネットワーク60を介したストリーミングサーバ20とストリーミングクライアント40との間の接続を示す図３に示される。
即時的／漸進的復号化リフレッシュ
先に言及された如く、ランダムアクセスポイントとは、復号を開始し得る任意のピクチャである。斯かるアクセスポイントにては、回復ポイントにおいて又はそれに引き続いて復号化される全てのピクチャは内容が正しくまたは近似的に正しい。本開示において“内容が正しい”という表現は、復号されたスライスまたはピクチャが、ストリームの開始から復号が開始された場合と厳密に同一であることを意味し、且つ、“内容が近似的に正しい”という表現は、復号されたスライスまたはピクチャが、ビットストリームの開始から復号が開始された場合と近似的に同一であることを意味することを銘記されたい。図４ａに示された如く、回復ポイントが切り換えポイントと同一である場合、内容が正しいかまたは近似的に正しいというピクチャは切り換えポイントにおいて開始する。その故に、ランダムアクセス動作は即時的復号化リフレッシュ(IDR)と称される。IDRランダムアクセスポイントは、IスライスまたはSIスライスのみを包含する。
対照的に、漸進的復号化リフレッシュ(GDR)ランダムアクセスポイントは任意の種類のスライス(I, P, SI, SP)を包含し得る。但し図４ｂに示された如く、そのピクチャにおける内容は、出力順序において切り換えポイントに続く或るピクチャから正しいか又は近似的に正しい。回復ポイントと切り換えポイントとの間のピクチャは視覚的に煩わしく或いは視認に対しては受け入れられないこともある。
現在、ファイルフォーマットにおいて使用されるべきGDR切り換えポイントをシグナリングする効率的な方法は無い。上記ファイルフォーマットの例はAVCファイルフォーマットであり、これは、ストリームスィッチングをサポートすべくGDR式ビデオ符号化によるストリーミング内容を包含するサーバファイルに対して重要である。AVCファイルフォーマットで記憶されたAVCコンテンツに対してGDR切り換えポイントは、AVC規格において仕様を定められた如くアクセス単位(access unit)が回復ポイントSEIメッセージを包含するときにのみ識別され得る。この方法は、回復ポイントSEIメッセージが在るか否かを調べるために各AVCアクセス単位がチェックされることを必要とする。
本発明は、ファイルフォーマットにおけるGDR切り換えポイントに対する効率的な信号通知方法およびデバイスを提供する。また、更に高速なストリーム切り換えおよびビットレートの減少を達成すべく、分離領域を用いてGDRが如何に符号化されているかに関する情報も信号通知される。本発明の信号通知方法によれば、IDRおよびSP/SI切り換えポイントなどの他の切り換えポイントと同じくらい容易に、GDR切り換えポイントを識別し得る。これに加え、もし指定されたならばサーバは、GDR切り換えポイントから当該回復ポイントを含めて回復ポイントまでのアクセス単位に対して分離領域のみを伝送することを選択することで、更に高速なGDRスィッチングおよびビットレートの減少を達成し得る。
故に、本発明の第１の形態に依れば、複数のビットストリーム間におけるストリーム切り換えで使用される信号通知方法であって、
上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
上記複数のビットストリームは、
切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも一個の切り換えポイントと、
出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも一個の回復ポイントと、を備える信号通知方法が提供される。該方法は、上記複数のビットストリームにおいて上記切り換えポイントを表す情報を提供して該提供された情報に基づいて上記ストリーム切り換えを実施可能にすることを具備し、上記回復ポイントは上記切り換えポイントとは異なっていることにより特徴付けられる。
更に、上記ビデオフレームは、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる1個以上のスライスと関係付けられた1個以上の分離領域を包含し、且つ、上記提供された情報は上記分離領域を更に表しても表さなくても良い。
上記ストリーム切り換えは、ストリーミングネットワークにおけるサーバ装置とクライアント装置との間の伝送状態に基づき、上記サーバ装置により開始され得るか、上記クライアント装置により要求され得る。
上記信号通知方法はリアルタイムトランスポートプロトコル(RTP)を利用する伝送において使用され、且つ、上記第1および第2ビットストリームの特性を表す情報を伝達すべくセッション記述プロトコル(SDP)が使用される。
本発明の第２の形態によれば、複数のビットストリーム間においてストリームを切り換え得るストリーミングサーバ装置であって、
上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
上記複数のビットストリームは、
切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも一個の切り換えポイントと、
出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備えるというストリーミングサーバ装置が提供される。該ストリーミングサーバ装置は、
伝送のために上記第1ビットストリームを選択するストリーム選択器と、
上記切り換えポイントを表す情報を上記複数のビットストリーム内に提供して提供された情報に基づき伝送のために上記ストリーム選択器が上記第2ビット・ストリームを選択するのを許容する手段であって、上記回復ポイントは上記切り換えポイントとは異なるという手段と、
により特徴付けられる。
本発明の第３の形態に依れば、複数のビットストリーム間においてストリームを切り換え得るストリーミングシステムであって、
上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
上記複数のビットストリームは、
切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも1個の切り換えポイントと、
出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備えるというストリーミングシステムが提供される。該ストリーミングシステムは、
少なくとも1つのストリーミングクライアントと；
伝送されたビットストリームに基づき上記ストリーミングクライアントがビデオフレームを再構成するのを許容すべく該ストリーミングクライアントに対して複数のビットストリームの内の1つのビットストリームを伝送する少なくとも一台のストリーミングサーバであって、
伝送のために上記第1ビットストリームを、且つ、上記第2ビットストリームを更に選択するストリーム選択器と、
上記切り換えポイントを表す情報を上記複数のビットストリーム内に提供して、提供された情報に基づき伝送のために上記ストリーム選択器が上記第2ビットストリームを選択するのを許容する手段であって、上記回復ポイントは上記切り換えポイントとは異なるという手段と、
を備えるストリーミングサーバと；により特徴付けられる。
上記ストリーミングシステムは、
ビデオ入力信号をビデオデータへと変換するビデオ符号化器と、
上記ビデオデータに応答し、該ビデオデータを複数のビットストリームへと符号化する手段と、
により特徴付けられる。
本発明の第４の形態に依れば、複数のビットストリーム間におけるストリーム切り換えのためのストリーミングシステムにおいて使用されるソフトウェアプログラムであって、
上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
上記複数のビットストリームは、
切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも1個の切り換えポイントと、
出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備えるというコンピュータプログラムが提供される。該コンピュータプログラムは、
上記切り換えポイントを決定するコードと、
上記複数のビットストリーム内に提供された情報において上記切り換えポイントを表すことにより、提供された情報に基づきストリーミングサーバがストリーム切り換えを実施することを許容するコードであって、上記回復ポイントは上記切り換えポイントとは異なるというコードと、
により特徴付けられる。
本発明は、図５乃至図７に関する記述を読破すれば明らかとなろう。
ストリーム切り換えをサポートするストリーミングサーバを示すブロック図である。 ストリーミングクライアントを示すブロック図である。 ストリーミングシステムの概略図である。 即時的デコーダリフレッシュピクチャを用いるストリーム切り換えを示す概略図である。 漸進的デコーダリフレッシュピクチャを用いるストリーム切り換えを示す概略図である。 同期サンプルボックスのブロック図である。 本発明に係る同期サンプル情報ボックスを示すブロック図である。 本発明に係るストリーミングシステムを示す概略図である。
本発明によれば、切り換え可能なGDRピクチャに関する情報は、ランダムアクセスポイントを(故に切り換えポイントを)表すべく同期サンプルボックス内に包含された同期サンプル情報ボックス(ssif)に含まれる。更に、分離領域を実現すべくスライスグループが使用されるなら、該スライスグループは、ssifにおける分離領域と残余領域とに対して関係付けられる必要がある。この情報を用い、ストリーミングサーバはGDRピクチャを用いてストリームを正しく切り換え得る。切り換えにおいてGDRピクチャを用いると、切り換えポイントにおけるピクチャの情報をIDRピクチャに対するよりも更に高速に伝送し得る、と言うのも、GDRピクチャにおける残余領域を送信する必要がないからである。切り換えに対してGDRピクチャを用いるとユーザは開始時にはピクチャ領域の一部のみしか参照し得ないが、ユーザは可及的に早く一定内容を参照し得るので更に満足できる。これに加え、GDR切り換えポイントから当該回復ポイントを含めて回復ポイントまでのピクチャにおける残余領域は、送信する必要がない。その故に、分離領域および残余領域の両方が送信される場合と比較して、伝送速度の減少が達成される。
AVCファイルフォーマットにおける本発明の実施方式は、各ランダムアクセスポイントが切り換えポイントであることを特徴とする。本発明の実施方式の第１実施例は以下の如くである。
IDRランダムアクセスポイント(IDRアクセス単位)およびGDRランダムアクセスポイント(1または2に等しい構文要素changing_slice_group_idcによる回復ポイントSEIメッセージを含むアクセス単位)の両方を含むランダムアクセスポイントの全ては、同期サンプルボックス内にマークされる。これに加え、(同期サンプルボックス内に包含された)同期サンプル情報ボックス(Sync Sample Information Box)は以下の如く定義される：
定義
ボックス形式：‘ssif’
コンテナ：同期サンプルボックス(‘stss’)
必須事項：なし
値：０または１
このボックスは、ストリームにおけるランダムアクセスポイントの情報を提供する。該情報は、ランダムアクセスポイントがGDRランダムアクセスポイントであるかIDRランダムアクセスポイントであるかに関する情報を包含する。ランダムアクセスポイントがGDRポイントであれば、上記情報は、どのスライス・グループが分離領域でありどのスライス・グループが残余領域であるかに関する情報も含む。同期サンプルボックスが同期サンプル情報ボックスを含まなければ、同期サンプルボックスによりマークされた全ての同期サンプルはIDRランダムアクセスポイントである。
構文：
aligned (8) class SyncSampleInformationBox
extends FullBox('ssif', version = 0,0) ｛
int i;
for (i=0; i < entry_count; i++) ｛
unsigned int(2) random_access_point_idc;
bit(6) reserved = '111111'b;
｝
｝
語義
versionは、該ボックスのバージョンを特定する整数である。
random_access_point_idc：
0は、ランダムアクセスポイントがIDRランダムアクセスポイントであることを表し；
1は、ランダムアクセスポイントがGDRランダムアクセスポイントであり、GDR期間内で、残余領域はスライスグループ1によりカバーされる一方で分離領域はスライスグループ0によりカバーされることとを表し；
2は、ランダムアクセスポイントがGDRランダムアクセス・ポイントであり、GDR期間内で、残余領域はスライスグループ0によりカバーされる一方で分離領域はスライスグループ1によりカバーされることとを表し；
3は、許容されない。
本発明の実施方式の第２実施例は以下の如くである。
IDRランダムアクセスポイント(IDRアクセス単位)およびGDRランダムアクセスポイント(回復ポイントSEIメッセージを含むアクセス単位)の両方を含むランダムアクセスポイントの全ては、同期サンプルボックス内にマークされる。これに加え、(同期サンプルボックス内に包含された)同期サンプル情報ボックスは以下の如く定義される：
定義
ボックス形式：‘ssif’
コンテナ：同期サンプルボックス(‘stss’)
必須事項：なし
値：０または１
このボックスは、ストリームにおけるランダムアクセスポイントの情報を提供する。該情報は、ランダムアクセスポイントがGDRランダムアクセスポイントであるかIDRランダムアクセスポイントであるかに関する情報を包含する。もしランダムアクセスポイントがGDRピクチャであれば、上記情報は、GDR期間内のピクチャを符号化する上でスライスグループが適用されるか否かに関する情報を含む。ランダムアクセスポイントがGDRピクチャであり且つGDR期間内にピクチャを符号化する上でスライスグループが適用されるのであれば、上記情報は、GDR期間内で、どのスライスグループが分離領域をカバーし且つどのスライスグループが残余領域をカバーするかに関する情報も含む。同期サンプルボックスが同期サンプル情報ボックスを含まなければ、同期サンプルボックスによりマークされた全ての同期サンプルはIDRランダムアクセスポイントである。
構文：
aligned (8) class SyncSampleInformationBox
extends FullBox('ssif', version = 0,0) ｛
int i;
for (i=0; i < entry_count; i++) ｛
unsigned int(2) random_access_point_idc;
bit(6) reserved = '111111'b;
｝
｝
語義
versionは、該ボックスのバージョンを特定する整数である。
random_access_point_idc：
0は、ランダムアクセスポイントがIDRランダムアクセスポイントであることを表し；
1は、ランダムアクセスポイントがGDRランダムアクセスポイントであり、GDR期間内で、残余領域はスライスグループ1によりカバーされる一方で分離領域はスライスグループ0によりカバーされることとを表し；
2は、ランダムアクセスポイントがGDRランダムアクセスポイントであり、GDR期間内で、残余領域はスライスグループ0によりカバーされる一方で分離領域はスライスグループ1によりカバーされることとを表し；
3は、ランダムアクセスポイントがGDRランダムアクセスポイントであり、GDR期間内で、どのスライスが分離領域をカバーし且つどのスライスが残余領域をカバーするかが特定されないことを表す。
本発明に係る上記信号通知方法によれば、全ての切り換えポイントを明示的にマークし得ることから、ストリームサーバは切り換えポイントを見出す上で各ピクチャを解析する必要はない。もしGDR切り換えポイントが無ければ、(同期サンプルボックス内に包含された)同期サンプル情報ボックスを使用する必要はない。
代表的な同期サンプルボックスは図５に示され、且つ、代表的な同期サンプル情報ボックスは図６に示される。
本発明に依れば、同期サンプルボックスに包含された同期サンプル情報ボックス内の切り換え可能なGDRピクチャに関する情報を提供するためにストリーミングシステムにおいてコンピュータプログラムが用いられる。この情報は、切り換えポイントを含む。これに加えて該コンピュータプログラムは、もし情報が入手可能であれば、分離領域と残余領域とに関係付けられたスライスグループも指定する。斯かるコンピュータプログラムは、図７に示された如く参照番号16により示される。コンピュータプログラム16は、符号化されたビデオ入力信号とGDR関連情報とをマルチストリームトランスコーダ／生成器12に対して提供するビデオコーダ14の一部である。ストリームサーバ20は、ネットワーク60における動的ネットワーク状態に基づき、符号化されたストリームの内のひとつのストリームを伝送のために選択し得る。ストリーミングサーバ20とストリーミングクライアント40との間の端末相互間伝送特性が変化したなら、ストリーミングサーバ20は同期サンプル情報ボックス内に提供されたGDR関連情報に従い、別の符号化ストリームを選択してストリーム切り換えを開始する。代替的に、ストリーミングクライアント40がネットワーク60における伝送状態の変化を検出したなら、該ストリーミングクライアント40はストリーミングサーバ20に対して要求信号を送信し、異なる伝送ストリームを要求しても良い。
本発明に係るGDR信号通知方法はリアルタイムトランスポートプロトコル(Real-time Transport Protocol)(RTP)を用いるビデオ・データ伝送に使用し得ると共に、セッション記述プロトコル(Session Description Protocol)(SDP)は、ストリーム切り換えにおいてビットストリームの特性を表す情報を伝達すべく使用し得る。公知の如くRTPは、マルチキャストまたはユニキャストのネットワークサービスによりオーディオ、ビデオまたはシミュレーションデータなどのリアルタイムデータを伝送するアプリケーションに適した端末相互間ネットワーク用トランスポート機能を提供する。RTPは、リソース確保に対処しておらず、リアルタイムサービスに対してサービス特性(QoS)を保証しない。データ転送は制御プロトコル(RTCP)により増強されることで、大規模なマルチキャストネットワークに対してスケーラブルな様式でデータ配信の監視を許容し、且つ、最小限の制御および識別機能性を提供する。RTPおよびRTCPは、下層に位置するトランスポート層およびネットワーク層から独立して設計される。上記プロトコルは、RTPレベルのトランスレータおよびミキサの使用をサポートする。セッション記述プロトコル(SDP)は、セッション通知、セッション勧誘、および、他の形態のマルチメディアセッション開始を目的としてマルチメディアセッションを記述することが意図される。SDPはたとえばサーバが使用することで、ビットストリームのどのビットレート代替物が利用可能であるかをクライアントに対して知らせ得る。
本発明に係るGDR信号通知方法は、ジョイントビデオチーム(JVT)により開発された(MPEG-4パート10またはAVCとしても知られる)ビデオコード化規格ITU-T H.264に対して適用可能である。但し、本発明の適用は上述のAVC規格に限られない。本発明は、他のビデオ符号化規格およびデバイスに対しても適用され得る。たとえばH.263およびMPEG-4パート2などの、スライスの符号化をサポートする他のビデオ符号化規格に対し、分離領域はGDRピクチャにおけるマクロブロックの第1行をカバーし得ると共に、他の行の全てのマクロブロックは残余領域によりカバーされる。引き続くピクチャにおいて分離領域は、それが回復ポイントピクチャにおけるピクチャ領域全体をカバーするまで、(同時に残余領域が同一速度で減少し乍ら)行毎に１個のマクロブロックの速度にて大きくなる。GDR期間における各ピクチャ内の分離領域は、一個以上のスライスとして符号化され得る。先に記述された如き分離領域の符号化制限は、符号化プロセスの間にも適用される。斯かる場合または他の同様の場合において、本発明に係るGDR信号通知方法が適用可能である。
故に本発明はその好適実施例に関して記述されたが、当業者であれば、本発明の有効範囲から逸脱することなく上記形態およびその詳細における上記のおよび種々の他の変更、省略および改変が為され得る。

Claims (24)

  1. 複数のビットストリーム間におけるストリーム切り換えで使用される信号通知方法であって、
    上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
    上記複数のビットストリームは、
    切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも1個の切り換えポイントと、
    出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備える、信号通知方法において、該方法は、
    上記ビットストリームに関連付けて上記少なくとも1つの切り換えポイントに関する情報を提供して上記ストリーム切り換えを実施可能にすることであって、上記切り換えポイントは上記回復ポイントとは異なっていることにより特徴付けられる、信号通知方法。
  2. 各ビデオフレームは1個以上のスライスを備えると共に、ビデオフレームは前記ストリーム切り換えに引き続き復号化される前記第2ビットストリームによる1個以上のスライスと関係付けられた1個以上の分離領域を包含し、
    当該方法は、提供される情報が上記分離領域を更に表すことを特徴とする、
    請求項１記載の信号通知方法。
  3. 前記複数のビットストリームはストリーミングネットワークにおいてサーバ装置からクライアント装置へと伝達され、
    当該方法は、前記ストリーム切り換えが上記サーバ装置により開始されることを特徴とする、請求項１記載の信号通知方法。
  4. 前記複数のビットストリームはストリーミングネットワークにおいてサーバ装置からクライアント装置へと伝達され、
    前記方法は、前記ストリーム切り換えが上記クライアント装置により開始されることを特徴とする、請求項１記載の信号通知方法。
  5. 前記信号通知方法はリアルタイムトランスポートプロトコル(RTP)を利用する伝送において使用される、請求項１記載の信号通知方法。
  6. 前記第1および第2ビットストリームの特性を表す情報を伝達すべくセッション記述プロトコル(SDP)が使用される、請求項５記載の信号通知方法。
  7. 前記ストリーム切り換えは、ストリーミングネットワークにおけるサーバ装置とクライアント装置との間における伝送状態に基づき、ビデオデータの伝送において実施される、請求項１記載の信号通知方法。
  8. 複数のビットストリーム間においてストリームを切り換え得るストリーミングサーバ装置であって、
    上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
    上記複数のビットストリームは、
    切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも1個の切り換えポイントと、
    出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備える、ストリーミングサーバ装置において、該ストリーミングサーバ装置は、
    伝送のために上記第1ビットストリームを選択するストリーム選択器と、
    上記ビットストリームに関連付けて上記少なくとも1つの切り換えポイントに関する情報を提供して、切り換えポイントに基づき伝送のために上記ストリーム選択器が上記第2ビットストリームを選択するのを許容する手段であって、上記切り換えポイントは上記回復ポイントとは異なるという手段と、
    により特徴付けられる、ストリーミングサーバ装置。
  9. 各ビデオフレームは1個以上のスライスを備えると共に、ビデオフレームは前記ストリーム切り換えに引き続き復号化される前記第2ビットストリームによる1個以上のスライスと関係付けられた1個以上の分離領域を包含し、
    提供される情報は上記分離領域を更に表す、請求項８記載のストリーミングサーバ装置。
  10. 提供される情報はリアルタイムトランスポートプロトコル(RTP)を利用する伝送において使用される、請求項８記載のストリーミングサーバ装置。
  11. 前記第1および第2ビットストリームの特性を表す情報を伝達すべくセッション記述プロトコル(SDP)が使用される、請求項１０記載のストリーミングサーバ装置。
  12. 前記ストリーム選択器は、ストリーミングネットワークにおけるストリーミングサーバ装置とクライアント装置との間における伝送状態に基づきストリーム切り換えのために前記第2ビットストリームを選択する、請求項８記載のストリーミングサーバ装置。
  13. 複数のビットストリーム間においてストリームを切り換え得るストリーミングシステムであって、
    上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
    上記複数のビットストリームは、
    切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも1個の切り換えポイントと、
    出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備える、ストリーミングシステムにおいて、該ストリーミングシステムは、
    少なくとも1つのストリーミングクライアントと；
    伝送されたビットストリームに基づき上記ストリーミングクライアントがビデオフレームを再構成するのを許容すべく該ストリーミングクライアントに対して複数のビットストリームの内の1つのビットストリームを伝送する少なくとも一台のストリーミングサーバであって、
    伝送のために上記第1ビットストリームを、且つ、上記第2ビットストリームを更に選択するストリーム選択器と、
    上記ビットストリームに関連付けて上記少なくとも1つの切り換えポイントに関する情報を提供して、切り換えポイントに基づき伝送のために上記ストリーム選択器が上記第2ビットストリームを選択するのを許容する手段であって、上記切り換えポイントは上記回復ポイントとは異なるという手段と、により特徴付けられる、ストリーミングシステム。
  14. 各ビデオフレームは1個以上のスライスを備えると共に、ビデオフレームは前記ストリーム切り換えに引き続き復号化される前記第2ビットストリームによる1個以上のスライスと関係付けられた1個以上の分離領域を包含し、
    提供される情報は上記分離領域を更に表す、請求項１３記載のストリーミングシステム。
  15. 前記ストリーム切り換えは前記ストリーミングサーバにより開始される、請求項１３記載のストリーミングシステム。
  16. 前記ストリーム切り換えが前記ストリーミングクライアントにより開始される、請求項１３記載のストリーミングシステム。
  17. 提供される情報はリアルタイムトランスポートプロトコル(RTP)を利用する伝送において使用される、請求項１３記載のストリーミングシステム。
  18. 前記第1および第2ビットストリームの特性を表す情報を伝達すべくセッション記述プロトコル(SDP)が使用される、請求項１７記載のストリーミングシステム。
  19. 前記ストリームは、前記ストリーミングサーバと前記ストリーミングクライアントとの間における伝送状態に基づきストリーム切り換えのために前記第2ビットストリームを選択する、請求項１３記載のストリーミングシステム。
  20. ビデオ入力信号をビデオデータへと変換するビデオ符号化器と、
    上記ビデオデータに応答し、該ビデオデータを複数のビットストリームへと符号化する手段とにより特徴付けられる、請求項１３記載のストリーミングシステム。
  21. 複数のビットストリーム間におけるストリーム切り換えのためのストリーミングシステムにおいて使用されるソフトウェアプログラムであって、
    上記複数のビットストリームは、各ビットストリームに対する複数個のビデオフレームを表すビデオデータを含み、
    上記複数のビットストリームは、
    切り換えポイントにおいて第1ビットストリームから第2ビットストリームへの切り換えを許容する少なくとも1個の切り換えポイントと、
    出力順序における第1の正しいまたは近似的に正しいピクチャであって、上記ストリーム切り換えに引き続き復号化される上記第2ビットストリームによる第1の正しいまたは近似的に正しいピクチャを定義する少なくとも1個の回復ポイントと、を備える、コンピュータプログラムにおいて、該コンピュータプログラムは、
    上記切り換えポイントを決定するコードと、
    上記ビットストリームに関連付けて提供された情報において上記切り換えポイントを表すことにより、切り換えポイントに基づきストリーミングサーバがストリーム切り換えを実施することを許容するコードであって、上記切り換えポイントは上記回復ポイントとは異なるというコードと、
    により特徴付けられる、ソフトウェアプログラム。
  22. 各ビデオフレームは1個以上のスライスを備えると共に、ビデオフレームは前記ストリーム切り換えに引き続き復号化される前記第2ビットストリームによる1個以上のスライスと関係付けられた1個以上の分離領域を包含し、
    提供される情報は上記分離領域を更に表す、請求項２１記載のソフトウェアプログラム。
  23. 提供される情報はリアルタイムトランスポートプロトコル(RTP)を利用する伝送において使用される、請求項２１記載のソフトウェアプログラム。
  24. 前記第1および第2ビットストリームの特性を表す情報を伝達すべくセッション記述プロトコル(SDP)が使用される、請求項２３記載のソフトウェアプログラム。
JP2009026345A 2003-06-19 2009-02-06 漸進的デコーダリフレッシュに基づくストリーム切り換え Pending JP2009105970A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/601,320 US20040260827A1 (en) 2003-06-19 2003-06-19 Stream switching based on gradual decoder refresh

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005500713A Division JP2006527927A (ja) 2003-06-19 2003-07-11 漸進的デコーダリフレッシュに基づくストリーム切り換え

Publications (1)

Publication Number Publication Date
JP2009105970A true JP2009105970A (ja) 2009-05-14

Family

ID=33517947

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2005500713A Withdrawn JP2006527927A (ja) 2003-06-19 2003-07-11 漸進的デコーダリフレッシュに基づくストリーム切り換え
JP2009026345A Pending JP2009105970A (ja) 2003-06-19 2009-02-06 漸進的デコーダリフレッシュに基づくストリーム切り換え

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2005500713A Withdrawn JP2006527927A (ja) 2003-06-19 2003-07-11 漸進的デコーダリフレッシュに基づくストリーム切り換え

Country Status (12)

Country Link
US (2) US20040260827A1 (ja)
EP (1) EP1639804A4 (ja)
JP (2) JP2006527927A (ja)
KR (1) KR100734408B1 (ja)
CN (1) CN100414956C (ja)
AU (1) AU2003246988B2 (ja)
BR (1) BR0318357A (ja)
CA (1) CA2529889C (ja)
MX (1) MXPA05013542A (ja)
MY (1) MY140364A (ja)
RU (1) RU2328086C2 (ja)
WO (1) WO2004112374A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765908A (zh) * 2011-07-02 2014-04-30 三星电子株式会社 用于对视频数据进行复用和解复用以识别视频数据的再现状态的方法和设备
JPWO2021044974A1 (ja) * 2019-09-06 2021-03-11

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260827A1 (en) * 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
JP4789401B2 (ja) * 2003-06-25 2011-10-12 トヨタ自動車株式会社 コンテンツ配信システム
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
US7522667B2 (en) * 2005-02-24 2009-04-21 Freescale Semiconductor, Inc. Method and apparatus for dynamic determination of frames required to build a complete picture in an MPEG video stream
US8606949B2 (en) 2005-04-20 2013-12-10 Jupiter Systems Interconnection mechanism for multiple data streams
US20060242669A1 (en) * 2005-04-20 2006-10-26 Jupiter Systems Display node for use in an audiovisual signal routing and distribution system
US20070058576A1 (en) * 2005-08-25 2007-03-15 Samsung Electronics Co., Ltd. Mobile communication terminal and method for reproducing digital broadcasting
US8670437B2 (en) 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
CN101998123B (zh) * 2005-10-11 2015-03-18 诺基亚公司 用于有效的可伸缩流适配的系统和方法
US20070168534A1 (en) * 2005-12-16 2007-07-19 Nokia Corp. Codec and session parameter change
US7826536B2 (en) * 2005-12-29 2010-11-02 Nokia Corporation Tune in time reduction
DK2227017T3 (en) * 2006-06-19 2015-10-26 Ericsson Telefon Ab L M Media Channel-handling
EP2129129B1 (en) 2006-11-14 2013-09-18 Qualcomm Incorporated Systems and methods for channel switching
CN101902630B (zh) 2006-11-15 2014-04-02 高通股份有限公司 用于使用信道切换帧的应用的系统和方法
PT3399756T (pt) 2007-04-12 2020-10-13 Dolby Int Ab Disposição em mosaico na codificação e descodificação de vídeo
WO2008129500A2 (en) * 2007-04-24 2008-10-30 Nokia Corporation System and method for implementing fast tune-in with intra-coded redundant pictures
US8396082B2 (en) 2007-06-05 2013-03-12 Core Wireless Licensing S.A.R.L. Time-interleaved simulcast for tune-in reduction
CN101321284B (zh) 2007-06-10 2012-01-04 华为技术有限公司 一种编解码方法、设备及系统
US7987285B2 (en) * 2007-07-10 2011-07-26 Bytemobile, Inc. Adaptive bitrate management for streaming media over packet networks
JPWO2009017105A1 (ja) * 2007-07-30 2010-10-21 日本電気株式会社 通信端末、配信システム、変換方法、及びプログラム
KR20110138426A (ko) * 2007-07-30 2011-12-27 닛본 덴끼 가부시끼가이샤 변환 장치, 배신 시스템, 및 배신 방법
US8325800B2 (en) 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
US7860996B2 (en) 2008-05-30 2010-12-28 Microsoft Corporation Media streaming with seamless ad insertion
JP5167412B2 (ja) * 2008-07-03 2013-03-21 テレフオンアクチーボラゲット エル エム エリクソン（パブル） Ｔｖ放送システムにおける高速チャネル切り替え
US8265140B2 (en) 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
CN104768032B (zh) 2009-01-26 2018-06-01 汤姆森特许公司 用于视频解码的装置
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
EP2529557A1 (en) 2010-01-29 2012-12-05 Thomson Licensing Block-based interleaving
US8908103B2 (en) * 2010-10-01 2014-12-09 Sony Corporation Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system
US9179198B2 (en) * 2010-10-01 2015-11-03 Sony Corporation Receiving apparatus, receiving method, and program
US9078031B2 (en) * 2010-10-01 2015-07-07 Sony Corporation Reception apparatus, reception method, and program
KR101744977B1 (ko) * 2010-10-08 2017-06-08 삼성전자주식회사 멀티미디어 스트리밍 서비스에서 서비스 품질을 보장하는 방법
US8964056B2 (en) 2011-06-30 2015-02-24 Cisco Technology, Inc. Encoder-supervised imaging for video cameras
KR101687092B1 (ko) 2012-06-25 2016-12-15 닛본 덴끼 가부시끼가이샤 비디오 인코딩/디코딩 장치, 방법 및 프로그램
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
KR102077556B1 (ko) * 2012-06-28 2020-02-14 엑시스 에이비 가상 인트라-프레임을 사용하여 비디오 콘텐츠를 인코딩하기 위한 시스템 및 방법
EP2680527A1 (en) * 2012-06-28 2014-01-01 Alcatel-Lucent Adaptive streaming aware node, encoder and client enabling smooth quality transition
US9491457B2 (en) * 2012-09-28 2016-11-08 Qualcomm Incorporated Signaling of regions of interest and gradual decoding refresh in video coding
US9571847B2 (en) 2013-01-07 2017-02-14 Qualcomm Incorporated Gradual decoding refresh with temporal scalability support in video coding
US9521389B2 (en) 2013-03-06 2016-12-13 Qualcomm Incorporated Derived disparity vector in 3D video coding
US9667990B2 (en) 2013-05-31 2017-05-30 Qualcomm Incorporated Parallel derived disparity vector for 3D video coding with neighbor-based disparity vector derivation
WO2015053525A1 (ko) * 2013-10-11 2015-04-16 한국전자통신연구원 영상의 부호화/복호화 방법 및 이를 이용하는 장치
CN105765978B (zh) 2013-10-11 2019-01-29 韩国电子通信研究院 用于编码/解码图像的方法和使用其的装置
JP2016005043A (ja) * 2014-06-13 2016-01-12 株式会社リコー 情報処理装置およびプログラム
WO2016054697A1 (en) 2014-10-09 2016-04-14 Spinal Developments Pty Ltd Spinal alignment and securement
US11171999B2 (en) 2016-07-21 2021-11-09 Qualcomm Incorporated Methods and apparatus for use of compact concurrent codecs in multimedia communications
EP3900345A4 (en) 2018-12-20 2022-03-02 Telefonaktiebolaget LM Ericsson (publ) NORMATIVE DISPLAY OF A RECOVERY POINT
JP7399977B2 (ja) 2019-03-11 2023-12-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド エンコーダ、デコーダ、および対応する方法
WO2021002303A1 (ja) * 2019-07-03 2021-01-07 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
CN112565224B (zh) * 2020-11-26 2022-08-19 北京经纬恒润科技股份有限公司 一种视频处理方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3070110B2 (ja) * 1991-02-27 2000-07-24 日本電気株式会社 動画像信号の伝送システム
US5778143A (en) * 1993-01-13 1998-07-07 Hitachi America, Ltd. Method and apparatus for the selection of data for use in VTR trick playback operation in a system using progressive picture refresh
US6473903B2 (en) * 1996-12-30 2002-10-29 Koninklijke Philips Electronics N.V. Method and system for implementing interactive broadcast programs and commercials
GB2369518B (en) * 1997-07-18 2002-07-17 British Broadcasting Corp Switching compressed video bitstreams
US6134243A (en) * 1998-01-15 2000-10-17 Apple Computer, Inc. Method and apparatus for media data transmission
US6304295B1 (en) * 1998-09-18 2001-10-16 Sarnoff Corporation Region-based refresh strategy for video compression
US6434195B1 (en) * 1998-11-20 2002-08-13 General Instrument Corporaiton Splicing of video data in progressively refreshed video streams
US7046910B2 (en) * 1998-11-20 2006-05-16 General Instrument Corporation Methods and apparatus for transcoding progressive I-slice refreshed MPEG data streams to enable trick play mode features on a television appliance
US6570922B1 (en) * 1998-11-24 2003-05-27 General Instrument Corporation Rate control for an MPEG transcoder without a priori knowledge of picture type
KR20010056374A (ko) * 1999-12-15 2001-07-04 박종섭 다중 비디오 디코딩 장치
US20020016969A1 (en) * 2000-02-03 2002-02-07 International Business Machines Corporation Media on demand system and method
US6925097B2 (en) * 2000-03-29 2005-08-02 Matsushita Electric Industrial Co., Ltd. Decoder, decoding method, multiplexer, and multiplexing method
EP1272930B1 (en) * 2000-04-08 2015-05-20 Oracle America, Inc. Method and apparatus for handling events received at a server socket
EP1374578A4 (en) * 2001-03-05 2007-11-14 Intervideo Inc SYSTEMS AND METHOD FOR ERROR ROBUSTNESS IN A VIDEO DECODER
JP3788260B2 (ja) * 2001-04-09 2006-06-21 日本電気株式会社 配信システムとその配信方法、及び配信プログラム
US6940904B2 (en) * 2001-05-29 2005-09-06 Broadcom Corporation Artifact-free displaying of MPEG-2 video in the progressive-refresh mode
US7274661B2 (en) * 2001-09-17 2007-09-25 Altera Corporation Flow control method for quality streaming of audio/video/media over packet networks
JP2005533444A (ja) * 2002-07-16 2005-11-04 ノキア コーポレイション 画像符号化におけるランダム・アクセス及び段階的画像更新に対する方法
US20040260827A1 (en) * 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765908A (zh) * 2011-07-02 2014-04-30 三星电子株式会社 用于对视频数据进行复用和解复用以识别视频数据的再现状态的方法和设备
US9788003B2 (en) 2011-07-02 2017-10-10 Samsung Electronics Co., Ltd. Method and apparatus for multiplexing and demultiplexing video data to identify reproducing state of video data
JPWO2021044974A1 (ja) * 2019-09-06 2021-03-11
JP7304419B2 (ja) 2019-09-06 2023-07-06 株式会社ソニー・インタラクティブエンタテインメント 送信装置、送信方法及びプログラム

Also Published As

Publication number Publication date
AU2003246988B2 (en) 2009-11-19
MY140364A (en) 2009-12-31
KR20060024425A (ko) 2006-03-16
EP1639804A4 (en) 2009-08-26
KR100734408B1 (ko) 2007-07-03
CA2529889C (en) 2010-09-28
WO2004112374A1 (en) 2004-12-23
CN100414956C (zh) 2008-08-27
MXPA05013542A (es) 2006-03-09
US7552227B2 (en) 2009-06-23
US20050021814A1 (en) 2005-01-27
JP2006527927A (ja) 2006-12-07
CA2529889A1 (en) 2004-12-23
EP1639804A1 (en) 2006-03-29
CN1820494A (zh) 2006-08-16
RU2006101400A (ru) 2006-06-10
US20040260827A1 (en) 2004-12-23
AU2003246988A1 (en) 2005-01-04
BR0318357A (pt) 2006-07-25
RU2328086C2 (ru) 2008-06-27

Similar Documents

Publication Publication Date Title
RU2328086C2 (ru) Переключение потока на основе постепенного восстановления при декодировании
US10397295B2 (en) Processing continuous multi-period content
Schierl et al. System layer integration of high efficiency video coding
CN107251562B (zh) 检索媒体数据的方法及装置、发信媒体信息的方法及装置
US9185439B2 (en) Signaling data for multiplexing video components
US11665219B2 (en) Processing media data using a generic descriptor for file format boxes
EP2627082A2 (en) Method for transmitting a scalable http stream for natural reproduction upon the occurrence of expression-switching during http streaming
WO2019217733A1 (en) Signaling, in a manifest file, missing sections of media data for network streaming
US11184665B2 (en) Initialization set for network streaming of media data
EP4356593A1 (en) Real-time augmented reality communication session
KR101656193B1 (ko) 이기종 망에서의 uhd 비디오 전송을 위한 mmt 기반 방송 시스템 및 방법
US11863767B2 (en) Transporting HEIF-formatted images over real-time transport protocol
US20240163461A1 (en) Transporting heif-formatted images over real-time transport protocol
WO2022266457A1 (en) Real-time augmented reality communication session

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111101