JP2015533048A - 改善されたランダムアクセスポイントピクチャ挙動を用いたビデオコーディング - Google Patents

改善されたランダムアクセスポイントピクチャ挙動を用いたビデオコーディング Download PDF

Info

Publication number
JP2015533048A
JP2015533048A JP2015533079A JP2015533079A JP2015533048A JP 2015533048 A JP2015533048 A JP 2015533048A JP 2015533079 A JP2015533079 A JP 2015533079A JP 2015533079 A JP2015533079 A JP 2015533079A JP 2015533048 A JP2015533048 A JP 2015533048A
Authority
JP
Japan
Prior art keywords
picture
bla
cra
cpb
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015533079A
Other languages
English (en)
Other versions
JP6271558B2 (ja
JP2015533048A5 (ja
Inventor
ワン、イェ−クイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015533048A publication Critical patent/JP2015533048A/ja
Publication of JP2015533048A5 publication Critical patent/JP2015533048A5/ja
Application granted granted Critical
Publication of JP6271558B2 publication Critical patent/JP6271558B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本開示では、ビデオビットストリーム中のクリーンランダムアクセス(CRA)ピクチャとブロークンリンクアクセス(BLA)ピクチャとのためのビデオコーディングデバイスのためのコード化ピクチャバッファ(CPB)を定義するために使用されるCPBパラメータの選択のための技法について説明する。ビデオコーディングデバイスは、1つまたは複数のCRAピクチャまたはBLAピクチャを含むビットストリームを受信し、また、CRAピクチャまたはBLAピクチャのうちの少なくとも1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信する。メッセージは、ストリーミングサーバまたはネットワークエンティティ中に含まれる処理手段など、外部手段から受信され得る。ビデオコーディングデバイスは、受信されたメッセージに基づいて、ピクチャのうちの所与の1つのためのCPBパラメータのセットを示すように定義された変数を設定し、ピクチャのための変数に基づいて、ピクチャのうちの所与の1つのためのCPBパラメータのセットを選択する。【選択図】 図5

Description

優先権の主張
本出願は、その内容全体が参照により本明細書に組み込まれる、2012年9月20日に出願された米国仮出願第61/703,695号の利益を主張する。
本開示は、一般に、ビデオデータを処理することに関し、より詳細には、ビデオデータ中で使用されるランダムアクセスピクチャに関する。
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4,Part10,アドバンストビデオコーディング(AVC:Advanced Video Coding)、現在開発中の高効率ビデオコーディング(HEVC:High Efficiency Video Coding)規格によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法など、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
[0004]ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的(イントラピクチャ)予測および/または時間的(インターピクチャ)予測を含む。ブロックベースのビデオコーディングでは、ビデオスライス(たとえば、ビデオフレームまたはビデオフレームの一部分)が、ツリーブロック、コーディングユニット(CU:coding unit)および/またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコード化(I)スライス中のビデオブロックは、同じピクチャの中の隣接ブロック内の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0005]空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックを生じる。残差データは、コーディングされるべきオリジナルのブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初は2次元アレイで構成され、変換係数の1次元ベクトルを生成するために走査され得、なお一層の圧縮を達成するために、エントロピーコーディングが適用され得る。
[0006]概して、本開示では、ビデオコーディングにおいて、クリーンランダムアクセス(CRA:clean random access)ピクチャとブロークンリンクアクセス(BLA:broken link access)ピクチャとを含むランダムアクセスポイント(RAP:random access point)ピクチャの改善されたサポートを提供するための技法について説明する。場合によっては、RAPピクチャは、代替的に、イントラランダムアクセスポイント(IRAP:intra random access point)ピクチャと呼ばれることがある。特に、本開示では、ビデオビットストリーム中のCRAピクチャまたはBLAピクチャのためのビデオコーディングデバイスのためのコード化ピクチャバッファ(CPB:coded picture buffer)を定義するために使用されるCPBパラメータの選択のための技法について説明する。CPBを定義するためにCPBパラメータのデフォルトセットまたは代替セットのいずれかが使用され得る。代替セットが選択されているべきであるときにデフォルトセットが使用される場合、CPBがオーバーフローすることがある。
[0007]一例では、本開示は、CRAピクチャまたはBLAピクチャのうちの1つまたは複数を含む複数のピクチャを表すビットストリームを受信することと、CRAピクチャまたはBLAピクチャのうちの少なくとも1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信することとを備える、ビデオデータを処理する方法を対象とする。本方法は、受信されたメッセージに基づいて、CRAピクチャまたはBLAピクチャのうちの1つのためのCPBパラメータのセットを示すように定義された変数を設定することと、ピクチャのための変数に基づいて、CRAピクチャまたはBLAピクチャのうちの1つのためのCPBパラメータのセットを選択することとをさらに備える。
[0008]別の例では、本開示は、ビデオデータを処理するためのビデオコーディングデバイスを対象とし、本デバイスは、ビデオデータを記憶するように構成されたCPBと、CRAピクチャまたはBLAピクチャのうちの1つまたは複数を含む複数のピクチャを表すビットストリームを受信することと、CRAピクチャまたはBLAピクチャのうちの少なくとも1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信することと、受信されたメッセージに基づいて、CRAピクチャまたはBLAピクチャのうちの1つのためのCPBパラメータのセットを示すように定義された変数を設定することと、ピクチャのための変数に基づいて、CRAピクチャまたはBLAピクチャのうちの1つのためのCPBパラメータのセットを選択することと、を行うように構成された1つまたは複数のプロセッサとを備える。
[0009]さらなる例では、本開示は、ビデオデータを処理するためのビデオコーディングデバイスを対象とし、本デバイスは、CRAピクチャまたはBLAピクチャのうちの1つまたは複数を含む複数のピクチャを表すビットストリームを受信するための手段と、CRAピクチャまたはBLAピクチャのうちの少なくとも1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信するための手段と、受信されたメッセージに基づいて、CRAピクチャまたはBLAピクチャのうちの1つのためのCPBパラメータのセットを示すように定義された変数を設定するための手段と、ピクチャのための変数に基づいて、CRAピクチャまたはBLAピクチャのうちの1つのためのCPBパラメータのセットを選択するための手段とを備える。
[0010]追加の例では、本開示は、ビデオデータを処理するための命令を備えるコンピュータ可読媒体を対象とし、命令は、実行されたとき、1つまたは複数のプロセッサに、CRAピクチャまたはBLAピクチャのうちの1つまたは複数を含む複数のピクチャを表すビットストリームを受信することと、CRAピクチャまたはBLAピクチャのうちの少なくとも1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信することと、受信されたメッセージに基づいて、CRAピクチャまたはBLAピクチャのうちの1つのためのCPBパラメータのセットを示すように定義された変数を設定することと、ピクチャのための変数に基づいて、CRAピクチャまたはBLAピクチャのうちの1つのためのCPBパラメータのセットを選択することとを行わせる。
[0011]1つまたは複数の例の詳細は、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。
本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 本開示で説明する技法を実装し得る例示的なビデオエンコーダを示すブロック図。 本開示で説明する技法を実装し得る例示的なビデオデコーダを示すブロック図。 仮想リファレンスデコーダ(HRD:hypothetical reference decoder)に従って動作するように構成された例示的な宛先デバイスを示すブロック図。 ビットストリーム中の特定のランダムアクセスポイント(RAP)ピクチャのためのコード化ピクチャバッファ(CPB)パラメータのセットを示す変数に基づいて、CPBパラメータのセットを選択する例示的な動作を示すフローチャート。 ピクチャのためのCPBパラメータのセットを示す変数に基づいて、特定のRAPピクチャのためのネットワークレイヤアブストラクション(NAL:network layer abstraction)ユニットタイプを設定する例示的な動作を示すフローチャート。 ピクチャのためのNALユニットタイプと、ピクチャのためのCPBパラメータのセットを示す変数とに基づいて、特定のRAPピクチャのためのCPBパラメータのセットを選択する例示的な動作を示すフローチャート。 ビットストリーム中の特定のRAPピクチャのためのネットワークレイヤアブストラクション(NAL)ユニットタイプを示すために定義された変数に基づいて、CPBパラメータのセットを選択する例示的な動作を示すフローチャート。 ネットワークの一部を形成するデバイスの例示的なセットを示すブロック図。
[0021]本開示では、ビデオコーディングにおいて、クリーンランダムアクセス(CRA)ピクチャとブロークンリンクアクセス(BLA)ピクチャとを含むランダムアクセスポイント(RAP)ピクチャの改善されたサポートを提供する技法について説明する。場合によっては、RAPピクチャは、代替的に、イントラランダムアクセスポイント(IRAP)ピクチャと呼ばれることがある。特に、本開示は、ビデオビットストリーム中のCRAピクチャまたはBLAピクチャのためのビデオコーディングデバイスのためのCPBを定義するために使用されるコード化ピクチャバッファ(CPB)パラメータの選択のための技法について説明する。仮想リファレンスデコーダ(HRD:hypothetical reference decoder)が、バッファリング期間情報とピクチャタイミング情報とを含むHRDパラメータに依拠する。バッファリング期間情報は、CPBパラメータ、すなわち、初期CPB削除遅延と初期CPB削除遅延オフセットとを定義する。HRDを初期化するために使用されたピクチャのタイプに基づいて、CPBを定義するためにCPBパラメータのデフォルトセットまたは代替セットのいずれかが使用され得る。代替セットが選択されているべきであるときにデフォルトセットが使用される場合、HRDに準拠するビデオコーディングデバイス中のCPBがオーバーフローすることがある。
[0022]本技法によれば、ビデオコーディングデバイスは、1つまたは複数のCRAピクチャまたはBLAピクチャを含む複数のピクチャを表すビットストリームを受信し、また、CRAピクチャまたはBLAピクチャの各々のためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信する。メッセージは、ストリーミングサーバ、中間ネットワーク要素、または別のネットワークエンティティ中に含まれる処理手段など、外部手段から受信され得る。
[0023]ビデオコーディングデバイスは、受信されたメッセージに基づいて、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのCPBパラメータのセットを示すように定義された変数を設定する。ビデオコーディングデバイスは、次いで、ピクチャのための変数に基づいて、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのCPBパラメータのセットを選択する。CPBパラメータの選択されたセットは、ビデオコーディング中にCPBがオーバーフローしないことを保証するために、ビデオエンコーダまたはビデオデコーダ中に含まれるCPBに適用される。場合によっては、ビデオコーディングデバイスは、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定し得る。ビデオコーディングデバイスは、シグナリングされた通りにピクチャのためのNALユニットタイプを設定し得、または、ビデオコーディングデバイスは、ピクチャのための変数に基づいてNALユニットタイプを設定し得る。ビデオコーディングデバイスは、ピクチャのためのNALユニットタイプと変数とに基づいて、所与のピクチャのためのCPBパラメータのセットを選択し得る。
[0024]図1は、本開示で説明する技法を利用し得る例示的なビデオ符号化および復号システム10を示すブロック図である。図1に示されているように、システム10は、宛先デバイス14によって後で復号されるべき符号化ビデオデータを与えるソースデバイス12を含む。特に、ソースデバイス12は、コンピュータ可読媒体16を介してビデオデータを宛先デバイス14に与える。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス12および宛先デバイス14は、ワイヤレス通信のために装備され得る。
[0025]宛先デバイス14は、コンピュータ可読媒体16を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体16は、符号化ビデオデータをソースデバイス12から宛先デバイス14に移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、コンピュータ可読媒体16は、ソースデバイス12が、符号化ビデオデータを宛先デバイス14にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルまたは1つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス12から宛先デバイス14への通信を可能にするために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。
[0026]いくつかの例では、符号化データは、出力インターフェース22からストレージデバイスに出力され得る。同様に、符号化データは、入力インターフェースによってストレージデバイスからアクセスされ得る。ストレージデバイスは、ハードドライブ、Blu−ray(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイスは、ソースデバイス12によって生成された符号化ビデオを記憶し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して、ストレージデバイスから記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス14に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、(たとえば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブがある。宛先デバイス14は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、または両方の組合せを含み得る。ストレージデバイスからの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、またはそれらの組合せであり得る。
[0027]本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH:dynamic adaptive streaming over HTTP)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオテレフォニーなどの適用例をサポートするために、単方向または二方向のビデオ送信をサポートするように構成され得る。
[0028]図1の例では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェース22とを含む。宛先デバイス14は、入力インターフェース28と、ビデオデコーダ30と、ディスプレイデバイス32とを含む。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。たとえば、ソースデバイス12は、外部カメラなど、外部ビデオソース18からビデオデータを受信し得る。同様に、宛先デバイス14は、内蔵ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
[0029]図1の図示のシステム10は一例にすぎない。本開示の技法は、任意のデジタルビデオ符号化および/または復号デバイスによって実施され得る。概して、本技法はビデオ符号化デバイスによって実行されるが、本技法は、一般に「コーデック」と呼ばれるビデオエンコーダ/デコーダによっても実行され得る。その上、本開示の技法は、ビデオプリプロセッサによっても実行され得る。ソースデバイス12および宛先デバイス14は、ソースデバイス12が宛先デバイス14に送信するためのコード化ビデオデータを生成するような、コーディングデバイスの例にすぎない。いくつかの例では、デバイス12、14は、デバイス12、14の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的に動作し得る。したがって、システム10は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオテレフォニーのための、ビデオデバイス12とビデオデバイス14との間の一方向または双方向のビデオ送信をサポートし得る。
[0030]ソースデバイス12のビデオソース18は、ビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。さらなる代替として、ビデオソース18は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。場合によっては、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラ付き携帯電話またはビデオ電話を形成し得る。ただし、上述のように、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例に適用され得る。各場合において、キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成ビデオは、ビデオエンコーダ20によって符号化され得る。符号化ビデオ情報は、次いで、出力インターフェース22によってコンピュータ可読媒体16上に出力され得る。
[0031]コンピュータ可読媒体16は、ワイヤレスブロードキャストまたはワイヤードネットワーク送信などの一時媒体、あるいはハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、Blu−rayディスク、または他のコンピュータ可読媒体などの記憶媒体(すなわち、非一時的記憶媒体)を含み得る。いくつかの例では、ネットワークサーバ(図示せず)は、ソースデバイス12から符号化ビデオデータを受信し、たとえば、ネットワーク送信を介して、その符号化ビデオデータを宛先デバイス14に与え得る。同様に、ディスクスタンピング設備など、媒体製造設備のコンピューティングデバイスは、ソースデバイス12から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを生成し得る。したがって、コンピュータ可読媒体16は、様々な例において、様々な形態の1つまたは複数のコンピュータ可読媒体を含むことが理解されよう。
[0032]宛先デバイス14の入力インターフェース28は、コンピュータ可読媒体16から情報を受信する。コンピュータ可読媒体16の情報は、ビデオエンコーダ20によって定義され、またビデオデコーダ30によって使用される、ブロックおよび他のコード化ユニット、たとえば、GOPの特性および/または処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。ディスプレイデバイス32は、復号されたビデオデータをユーザに対して表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
[0033]ビデオエンコーダ20およびビデオデコーダ30は、現在開発中の高効率ビデオコーディング(HEVC)規格などのビデオコーディング規格に従って動作し得、HEVCテストモデル(HM)に準拠し得る。代替的に、ビデオエンコーダ20およびビデオデコーダ30は、代替的にMPEG−4,Part 10,アドバンストビデオコーディング(AVC)と呼ばれるITU−T H.264規格など、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオコーディング規格の他の例は、MPEG−2およびITU−T H.263を含む。図1には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は、それぞれオーディオエンコーダおよびオーディオデコーダと統合され得、適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
[0034]ITU−T H.264/MPEG−4(AVC)規格は、ジョイントビデオチーム(JVT:Joint Video Team)として知られる共同パートナーシップの成果として、ISO/IECムービングピクチャエキスパートグループ(MPEG:Moving Picture Experts Group)とともにITU−Tビデオコーディングエキスパートグループ(VCEG:Video Coding Experts Group)によって策定された。いくつかの態様では、本開示で説明する技法は、H.264規格に概して準拠するデバイスに適用され得る。H.264規格は、ITU−T Study Groupによる2005年3月付けのITU−T勧告H.264「Advanced Video Coding for generic audiovisual services」に記載されており、本明細書ではH.264規格またはH.264仕様、あるいはH.264/AVC規格または仕様と呼ぶことがある。ジョイントビデオチーム(JVT)は、H.264/MPEG−4 AVCへの拡張に取り組み続けている。
[0035]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、1つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
[0036]JCT−VCは、HEVC規格の開発に取り組んでいる。HEVC規格化の取り組みは、HEVCテストモデル(HM)と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。HMは、たとえば、ITU−T H.264/AVCに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、H.264は9つのイントラ予測符号化モードを提供するが、HMは33個ものイントラ予測符号化モードを提供し得る。
[0037]概して、HMの作業モデル(working model)は、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット(LCU:largest coding unit)に分割され得ることを記載している。ビットストリーム内のシンタックスデータが、ピクセルの数に関して最大コーディングユニットであるLCUのサイズを定義し得る。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、1つまたは複数のスライスに区分され得る。各ツリーブロックは、4分木(quadtree)に従ってコーディングユニット(CU)に分割され得る。一般に、4分木データ構造はCUごとに1つのノードを含み、ルートノードはツリーブロックに対応する。CUが4つのサブCUに分割された場合、CUに対応するノードは4つのリーフノードを含み、リーフノードの各々はサブCUのうちの1つに対応する。
[0038]4分木データ構造の各ノードは、対応するCUのシンタックスデータを与え得る。たとえば、4分木のノードは、そのノードに対応するCUがサブCUに分割されるかどうかを示す分割フラグを含み得る。CUのシンタックス要素は、再帰的に定義され得、CUがサブCUに分割されるかどうかに依存し得る。CUがさらに分割されない場合、そのCUはリーフCUと呼ばれる。本開示では、オリジナルのリーフCUの明示的分割が存在しない場合でも、リーフCUの4つのサブCUをリーフCUとも呼ぶ。たとえば、16×16サイズのCUがさらに分割されない場合、この16×16CUが決して分割されなくても、4つの8×8サブCUをリーフCUとも呼ぶ。
[0039]CUは、CUがサイズ差異を有しないことを除いて、H.264規格のマクロブロックと同様の目的を有する。たとえば、ツリーブロックは、4つの子ノード(サブCUとも呼ばれる)に分割され得、各子ノードは、今度は親ノードとなり、別の4つの子ノードに分割され得る。4分木のリーフノードと呼ばれる、最後の分割されていない子ノードは、リーフCUとも呼ばれるコーディングノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大CU深さと呼ばれる、ツリーブロックが分割され得る最大回数を定義し得、また、コーディングノードの最小サイズを定義し得る。それに応じて、ビットストリームは最小コーディングユニット(SCU:smallest coding unit)をも定義し得る。本開示は、HEVCのコンテキストにおけるCU、PU、もしくはTU、または他の規格のコンテキストにおける同様のデータ構造(たとえば、H.264/AVCにおけるマクロブロックおよびそのサブブロック)のいずれかを指すために「ブロック」という用語を使用する。
[0040]CUは、コーディングノードと、コーディングノードに関連する予測ユニット(PU:prediction unit)および変換ユニット(TU:transform unit)とを含む。CUのサイズは、コーディングノードのサイズに対応し、形状が正方形でなければならない。CUのサイズは、8×8ピクセルから最大64×64以上のピクセルをもつツリーブロックのサイズまでに及び得る。各CUは、1つまたは複数のPUと、1つまたは複数のTUとを含み得る。CUに関連するシンタックスデータは、たとえば、CUを1つまたは複数のPUに区分することを記述し得る。区分モードは、CUが、スキップモード符号化またはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、あるいはインター予測モード符号化されるかの間で異なり得る。PUは、形状が非正方形になるように区分され得る。CUに関連するシンタックスデータは、たとえば、4分木に従って、CUを1つまたは複数のTUに区分することも記述し得る。TUは、形状が正方形または非正方形(たとえば、矩形)であり得る。
[0041]HEVC規格は、CUごとに異なり得るTUに従う変換を可能にする。TUは、一般に、区分されたLCUについて定義された所与のCU内のPUのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。TUは、一般に、PUと同じサイズであるかまたはPUよりも小さい。いくつかの例では、CUに対応する残差サンプルは、「残差4分木」(RQT:residual quad tree)として知られる4分木構造を使用してより小さいユニットに再分割され得る。RQTのリーフノードは変換ユニット(TU)と呼ばれることがある。TUに関連するピクセル差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。
[0042]リーフCUは、1つまたは複数の予測ユニット(PU)を含み得る。概して、PUは、対応するCUの全部または一部分に対応する空間エリアを表し、そのPUの参照サンプルを取り出すためのデータを含み得る。その上、PUは、予測に関係するデータを含む。たとえば、PUがイントラモード符号化されるとき、PUについてのデータは、PUに対応するTUについてのイントラ予測モードを記述するデータを含み得る残差4分木(RQT)中に含まれ得る。別の例として、PUがインターモード符号化されるとき、PUは、PUのための1つまたは複数の動きベクトルを定義するデータを含み得る。PUの動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度(たとえば、1/4ピクセル精度もしくは1/8ピクセル精度)、動きベクトルが指す参照ピクチャ、および/または動きベクトルの参照ピクチャリスト(たとえば、リスト0、リスト1、もしくはリストC)を記述し得る。
[0043]1つまたは複数のPUを有するリーフCUはまた、1つまたは複数の変換ユニット(TU)を含み得る。変換ユニットは、上記で説明したように、(TU4分木構造とも呼ばれる)RQTを使用して指定され得る。たとえば、分割フラグは、リーフCUが4つの変換ユニットに分割されるかどうかを示し得る。次いで、各変換ユニットはさらに、さらなるサブTUに分割され得る。TUがさらに分割されないとき、そのTUはリーフTUと呼ばれることがある。概して、イントラコーディングの場合、リーフCUに属するすべてのリーフTUは同じイントラ予測モードを共有する。すなわち、概して、リーフCUのすべてのTUの予測値を計算するために同じイントラ予測モードが適用される。イントラコーディングの場合、ビデオエンコーダは、イントラ予測モードを使用して各リーフTUの残差値を、TUに対応するCUの一部とオリジナルのブロックとの間の差分として計算し得る。TUは、必ずしもPUのサイズに制限されるとは限らない。したがって、TUはPUよりも大きくまたは小さくなり得る。イントラコーディングの場合、PUは、同じCUの対応するリーフTUとコロケートされ得る。いくつかの例では、リーフTUの最大サイズは、対応するリーフCUのサイズに対応し得る。
[0044]その上、リーフCUのTUはまた、残差4分木(RQT)と呼ばれる、それぞれの4分木データ構造に関連付けられ得る。すなわち、リーフCUは、リーフCUがどのようにTUに区分されるかを示す4分木を含み得る。TU4分木のルートノードは概してリーフCUに対応し、CU4分木のルートノードは概してツリーブロック(またはLCU)に対応する。分割されないRQTのTUはリーフTUと呼ばれる。概して、本開示では、特に明記しない限り、リーフCUおよびリーフTUに言及するためにそれぞれCUおよびTUという用語を使用する。
[0045]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ(GOP:group of pictures)は、概して、ビデオピクチャのうちの一連の1つまたは複数を備える。GOPは、GOP中に含まれるいくつかのピクチャを記述するシンタックスデータを、GOPのヘッダ中に、1つまたは複数のピクチャのヘッダ中に、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックはCU内のコーディングノードに対応し得る。ビデオブロックは、固定サイズまたは可変サイズを有し得、指定のコーディング規格に応じてサイズが異なり得る。
[0046]一例として、HMは、様々なPUサイズでの予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2NまたはN×NのPUサイズでのイントラ予測をサポートし、2N×2N、2N×N、N×2N、またはN×Nの対称的なPUサイズでのインター予測をサポートする。HMはまた、2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズでのインター予測のための非対称区分をサポートする。非対称区分では、CUの一方向は区分されないが、他の方向は25%と75%とに区分される。25%の区分に対応するCUの部分は、「n」とその後ろに付く「Up」、「Down」、「Left」、または「Right」という表示によって示される。したがって、たとえば、「2N×nU」は、上部の2N×0.5N PUと下部の2N×1.5N PUとで水平方向に区分された2N×2N CUを指す。
[0047]本開示では、「N×N(NxN)」および「N×N(N by N)」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、16×16(16x16)ピクセルまたは16×16(16 by 16)ピクセルを指すために互換的に使用され得る。概して、16×16ブロックは、垂直方向に16ピクセルを有し(y=16)、水平方向に16ピクセルを有する(x=16)。同様に、N×Nブロックは、概して、垂直方向にNピクセルを有し、水平方向にNピクセルを有し、ただし、Nは非負整数値を表す。ブロック中のピクセルは行と列に構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはN×Mピクセルを備え得、ただし、Mは必ずしもNに等しいとは限らない。
[0048]CUのPUを使用したイントラ予測コーディングまたはインター予測コーディングの後に、ビデオエンコーダ20は、CUのTUのための残差データを計算し得る。PUは、(ピクセル領域とも呼ばれる)空間領域において予測ピクセルデータを生成する方法またはモードを記述するシンタックスデータを備え得、TUは、変換、たとえば、残差ビデオデータへの離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、PUに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ20は、CUのための残差データを含むTUを形成し、次いで、TUを変換して、CUの変換係数を生成し得る。
[0049]変換係数を生成するための任意の変換の後に、ビデオエンコーダ20は、変換係数の量子化を実行し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にnビット値がmビット値に切り捨てられ得、ただし、nはmよりも大きい。
[0050]量子化の後に、ビデオエンコーダは、変換係数を走査して、量子化変換係数を含む2次元行列から1次元ベクトルを生成し得る。走査は、より高いエネルギー(したがってより低い周波数)の係数をアレイの前方に配置し、より低いエネルギー(したがってより高い周波数)の係数をアレイの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ20は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ20は適応走査を実施し得る。量子化変換係数を走査して1次元ベクトルを形成した後に、ビデオエンコーダ20は、たとえば、コンテキスト適応型可変長コーディング(CAVLC:context-adaptive variable length coding)、コンテキスト適応型バイナリ算術コーディング(CABAC:context-adaptive binary arithmetic coding)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC:syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE:Probability Interval Partitioning Entropy)コーディング、または別のエントロピー符号化方法に従って1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
[0051]CABACを実行するために、ビデオエンコーダ20は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が非0であるか否かに関係し得る。CAVLCを実行するために、ビデオエンコーダ20は、送信されるべきシンボルのための可変長コードを選択し得る。VLCにおけるコードワードは、比較的短いコードが優勢シンボル(more probable symbol)に対応し、より長いコードが劣勢シンボル(less probable symbol)に対応するように構成され得る。このようにして、VLCの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
[0052]ビデオエンコーダ20はさらに、ブロックベースのシンタックスデータ、フレームベースのシンタックスデータ、およびGOPベースのシンタックスデータなどのシンタックスデータを、たとえば、フレームヘッダ、ブロックヘッダ、スライスヘッダ、またはGOPヘッダ中でビデオデコーダ30に送り得る。GOPシンタックスデータは、それぞれのGOP中のいくつかのフレームを記述し得、フレームシンタックスデータは、対応するフレームを符号化するために使用される符号化/予測モードを示し得る。
[0053]ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、適用可能なとき、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダまたはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ/デコーダ(コーデック)の一部として統合され得る。ビデオエンコーダ20および/またはビデオデコーダ30を含むデバイスは、集積回路、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを備え得る。
[0054]ビデオコーディング規格は、ビデオバッファリングモデルの仕様を含み得る。AVCおよびHEVCでは、バッファリングモデルは、ビデオエンコーダ20および/またはビデオデコーダ30中に含まれるコード化ピクチャバッファ(CPB)と復号ピクチャバッファ(DPB:decoded picture buffer)の両方のバッファリングモデルを含む仮想リファレンスデコーダ(HRD)と呼ばれ、CPB挙動(behavior)およびDPB挙動は数学的に指定される。HRDは、異なるタイミング、バッファサイズおよびビットレートに直接制約を課し、ビットストリーム特性および統計に間接的に制約を課す。HRDパラメータの完全セットは、初期CPB除去遅延、CPBサイズ、ビットレート、初期DPB出力遅延、およびDPBサイズという5つの基本パラメータを含む。AVCおよびHEVCでは、ビットストリーム適合およびデコーダ適合は、HRD仕様の一部として指定される。デコーダのタイプとして称されるが、HRDは、一般に、ビットストリーム適合、すなわち、エンコーダによって生成されたビットストリームのデコーダの要件への適合を保証するためにエンコーダ側で必要とされ、一般に、デコーダ側では必要とされない。
[0055]AVCおよびHEVC HRDモデルでは、復号またはCPB除去はアクセスユニットベースであり、ピクチャ復号が瞬時に行われると仮定される。実際の適用例では、アクセスユニットの復号を開始するために、適合デコーダが、たとえば、ピクチャタイミング補足エンハンスメント情報(SEI:supplemental enhancement information)メッセージ中でシグナリングされた復号時間に厳密に従う場合、特定の復号ピクチャを出力する可能な最も早い時間は、その特定のピクチャの復号時間にその特定のピクチャを復号するために必要とされる時間を加えたものに等しくなる。AVCおよびHEVC HRDモデルとは異なり、現実の世界でピクチャを復号するために必要とされる時間は0に等しくならない。本開示で使用される「瞬時」および「瞬時に」という用語は、これが、物理的または文字通りの意味で「瞬時」とは異なり得るという了解の下で、1つまたは複数のコーディングモデルにおいてあるいは1つまたは複数のコーディングモデルの理想的な態様において瞬時であると仮定され得る任意の持続時間を指すことがある。たとえば、本開示では、関数またはプロセスが、実行されるべき関数またはプロセスのための仮定的なまたは理想的なできるだけ早い時間の実際のマージンで、またはそれの内で行われる場合、それは、名目上「瞬時」であると見なされ得る。本明細書で用いられるシンタックス名および変数名は、いくつかの例では、HEVCモデル内のそれらの意味に従って理解され得る。
[0056]例示的な仮想リファレンスデコーダ(HRD)動作、コード化ピクチャバッファの例示的な動作、ビットストリーム到着の例示的なタイミング、復号ユニット除去の例示的なタイミング、復号ユニットの例示的な復号、復号ピクチャバッファの例示的な動作、復号ピクチャバッファからのピクチャの例示的な除去、例示的なピクチャ出力、ならびに例示的な現在の復号ピクチャのマーキングおよびストレージの以下の説明を、他の機能のなかでも、ピクチャバッファ中にビデオデータの1つまたは複数の復号ユニットを記憶することと、1つまたは複数の復号ユニットのためのそれぞれのバッファ除去時間を取得することと、復号ユニットの各々のための取得されたバッファ除去時間に従ってピクチャバッファから復号ユニットを除去することと、除去された復号ユニットに対応するビデオデータをコーディングすることとを行うように構成され得るビデオエンコーダ20および/またはビデオデコーダ30の例を示すために与える。動作は、他の例では、別様に、定義または実行され得る。このようにして、ビデオエンコーダ20および/またはビデオデコーダ30は、以下で説明するHRD動作の様々な例に従って動作するように構成され得る。
[0057]HRDは、バッファリング期間補足エンハンスメント情報(SEI)メッセージのうちのいずれか1つで初期化され得る。初期化前に、CPBは空であり得る。初期化後、HRDは後続のバッファリング期間SEIメッセージによって再び初期化され得ない。CPBを初期化するバッファリング期間SEIメッセージに関連するアクセスユニットは、アクセスユニット0と呼ばれ得る。復号ピクチャバッファは、ピクチャストレージバッファを含み得る。ピクチャストレージバッファの各々は、「参照のために使用される」とマーキングされているか、または将来の出力のために保持された復号ピクチャを含み得る。初期化前に、DPBは空であり得る。
[0058]HRD(たとえば、ビデオエンコーダ20および/またはビデオデコーダ30)は、以下のように動作し得る。指定された到着スケジュールに従ってCPBに流れる復号ユニットに関連するデータは、仮想ストリームスケジューラ(HSS:hypothetical stream scheduler)によって配信され得る。一例では、各復号ユニットに関連するデータは、CPB除去時間に瞬時復号プロセスによって瞬時に除去され復号され得る。各復号ピクチャは、DPB中に配置され得る。復号ピクチャは、DPB出力時またはインター予測参照のためにもはや必要とされなくなったときのうちの遅い方でDPBから除去され得る。
[0059]HRDは、初期CPB削除遅延および初期CPB削除遅延オフセットのCPBパラメータを含む、HRDパラメータに依拠する。場合によっては、HRDパラメータは、HRDを初期化するために使用されたピクチャのタイプに基づいて決定され得る。ランダムアクセスの場合、HRDは、クリーンランダムアクセス(CRA)ピクチャまたはブロークンリンクアクセス(BLA)ピクチャなど、ランダムアクセスポイント(RAP)ピクチャを用いて初期化され得る。場合によっては、RAPピクチャは、代替的に、イントラランダムアクセスポイント(IRAP)ピクチャと呼ばれることがある。たとえば、ビットストリーム中の、廃棄タグ付き(TFD:tagged for discard)ピクチャまたはランダムアクセススキップリーディング(RASL:Random Access Skipped Leading)ピクチャとも呼ばれる、関連する非復号可能リーディングピクチャ(non-decodable leading picture)を有するBLAピクチャを用いてHRDが初期化されるとき、CPBパラメータの代替セットが使用され得る。他の場合、HRDのためにCPBパラメータのデフォルトセットが使用される。代替セットが選択されているべきであるときにCPBパラメータのデフォルトセットが使用される場合、CPBはオーバーフローすることがある。
[0060]いくつかの例では、所与のCRAピクチャまたはBLAピクチャは、オリジナルのビットストリーム中で関連するTFDピクチャを有することがあり、TFDピクチャは、外部手段によってオリジナルのビットストリームから除去され得る。外部手段は、ストリーミングサーバ、中間ネットワーク要素、または別のネットワークエンティティ中に含まれる処理手段を備え得る。外部手段は、しかしながら、関連するTFDピクチャの削除を反映するために所与のCRAピクチャまたはBLAピクチャのシグナリングされたタイプを変更することができないことがある。この場合、オリジナルのビットストリーム中のCRAピクチャまたはBLAピクチャのシグナリングされたタイプに基づいて、CPBパラメータのデフォルトセットが選択され得る。ピクチャが関連するTFDピクチャをもはや有しないように、TFDピクチャが外部手段によって除去され、HRDのためにCPBパラメータの代替セットが使用されるべきであるので、これによりCPBオーバーフローを生じることがある。
[0061]本開示では、ビデオビットストリーム中のCRAピクチャまたはBLAピクチャのためのビデオエンコーダ20および/またはビデオデコーダ30のためのCPBを定義するために使用されるCPBパラメータの選択のための技法について説明する。本技法によれば、ビデオデコーダ30は、1つまたは複数のCRAピクチャまたはBLAピクチャを含む複数のピクチャを表すビットストリームを受信し、また、CRAピクチャまたはBLAピクチャのうちの少なくとも1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信する。メッセージは、ストリーミングサーバ、中間ネットワーク要素、または別のネットワークエンティティ中に含まれる処理手段など、外部手段から受信され得る。
[0062]ビデオデコーダ30は、受信されたメッセージに基づいて、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのCPBパラメータのセットを示すために定義された変数を設定する。ビデオデコーダ30は、次いで、ピクチャのための変数に基づいて、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのCPBパラメータのセットを選択する。場合によっては、ビデオデコーダ30は、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定し得、ピクチャのためのNALユニットタイプと変数とに基づいて、所与のピクチャのためのCPBパラメータのセットを選択し得る。
[0063]CPBパラメータの選択されたセットは、ビデオデコーダ30中に含まれるCPBに適用され、ビデオ復号中にCPBがオーバーフローしないことを保証する。ビデオエンコーダ20は、同様の動作を実行し、CPBパラメータの選択されたセットを、ビデオエンコーダ20中に含まれるCPBに適用するように構成され得、ビデオ符号化中に、ビデオエンコーダ20中に含まれるCPBがオーバーフローしないことと、ビデオエンコーダ20によって生成された符号化ビットストリームを受信したときに、ビデオデコーダ30中に含まれるCPBがオーバーフローしないこととを保証する。
[0064]図2は、本開示で説明する技法を実装し得るビデオエンコーダ20の例を示すブロック図である。ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコーディングおよびインターコーディングを実行し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために時間的予測に依拠する。イントラ(I)モードは、いくつかの空間ベースのコーディングモードのいずれかを指し得る。単方向予測(Pモード)または双方向予測(Bモード)などのインターモードは、いくつかの時間ベースのコーディングモードのいずれかを指し得る。
[0065]図2に示すように、ビデオエンコーダ20は、符号化されるべきビデオフレーム内の現在ビデオブロックを受信する。図2の例では、ビデオエンコーダ20は、モード選択ユニット40と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56と、復号ピクチャバッファ(DPB)64と、コード化ピクチャバッファ(CPB)66とを含む。モード選択ユニット40は、今度は、動き補償ユニット44と、動き推定ユニット42と、イントラ予測処理ユニット46と、パーティションユニット48とを含む。ビデオブロックの再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換処理ユニット60と、加算器62とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ(図2に図示せず)も含まれ得る。所望される場合、デブロッキングフィルタは、一般に、加算器62の出力をフィルタ処理することになる。追加のフィルタ(ループ内またはループ後)もデブロッキングフィルタに加えて使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、(ループ内フィルタとして)加算器50の出力をフィルタ処理し得る。
[0066]符号化プロセス中に、ビデオエンコーダ20は、コーディングされるべきビデオフレームまたはスライスを受信する。フレームまたはスライスは、複数のビデオブロックに区分され得る。動き推定ユニット42および動き補償ユニット44は、時間予測を行うために、1つまたは複数の参照フレーム中の1つまたは複数のブロックに対して、受信されたビデオブロックのインター予測コーディングを実行する。イントラ予測処理ユニット46は、代替的に、空間的予測を行うために、コーディングされるべきブロックと同じフレームまたはスライス中の1つまたは複数の隣接ブロックに対して、受信されたビデオブロックのイントラ予測コーディングを実行し得る。ビデオエンコーダ20は、たとえば、ビデオデータのブロックごとに適切なコーディングモードを選択するために、複数のコーディングパスを実行し得る。
[0067]その上、パーティションユニット48は、前のコーディングパスにおける前の区分スキームの評価に基づいて、ビデオデータのブロックをサブブロックに区分し得る。たとえば、パーティションユニット48は、初めにフレームまたはスライスをLCUに区分し、レートひずみ(rate-distortion)分析(たとえば、レートひずみ最適化)に基づいてLCUの各々をサブCUに区分し得る。モード選択ユニット40は、LCUをサブCUに区分することを示す4分木データ構造をさらに生成し得る。4分木のリーフノードCUは、1つまたは複数のPUと、1つまたは複数のTUとを含み得る。
[0068]モード選択ユニット40は、たとえば、誤差結果に基づいてコーディングモード、すなわち、イントラまたはインターのうちの1つを選択し、残差ブロックデータを生成するために、得られたイントラコード化ブロックまたはインターコード化ブロックを加算器50に与え、参照フレームとして使用するための符号化ブロックを再構築するために、得られたイントラコード化ブロックまたはインターコード化ブロックを加算器62に与え得る。モード選択ユニット40はまた、動きベクトル、イントラモードインジケータ、パーティション情報、および他のそのようなシンタックス情報など、シンタックス要素をエントロピー符号化ユニット56に与える。
[0069]動き推定ユニット42と動き補償ユニット44とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在フレーム(または他のコード化ユニット)内でコーディングされている現在ブロックに対する参照フレーム(または他のコード化ユニット)内の予測ブロックに対する現在ビデオフレームまたはピクチャ内のビデオブロックのPUの変位を示し得る。予測ブロックは、絶対値差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of square difference)、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきブロックにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ20は、DPB64に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ20は、参照ピクチャの1/4ピクセル位置、1/8ピクセル位置、または他の分数ピクセル位置の値を補間し得る。したがって、動き推定ユニット42は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
[0070]動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライスにおけるビデオブロックのPUのための動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択され得、それらの参照ピクチャリストの各々は、DPB64に記憶された1つまたは複数の参照ピクチャを識別する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56と動き補償ユニット44とに送る。
[0071]動き補償ユニット44によって実行される動き補償は、動き推定ユニット42によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することに関与し得る。この場合も、いくつかの例では、動き推定ユニット42と動き補償ユニット44とは機能的に統合され得る。現在ビデオブロックのPUについての動きベクトルを受信すると、動き補償ユニット44は、動きベクトルが参照ピクチャリストのうちの1つにおいて指す予測ブロックの位置を特定し得る。加算器50は、以下で説明するように、コーディングされている現在ビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって、残差ビデオブロックを形成する。概して、動き推定ユニット42はルーマ成分に対して動き推定を実行し、動き補償ユニット44は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット40はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
[0072]イントラ予測処理ユニット46は、上記で説明したように、動き推定ユニット42と動き補償ユニット44とによって実行されるインター予測の代替として、現在ブロックをイントラ予測し得る。特に、イントラ予測処理ユニット46は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット46は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、イントラ予測処理ユニット46(または、いくつかの例では、モード選択ユニット40)は、テストされたモードから使用するのに適切なイントラ予測モードを選択し得る。
[0073]たとえば、イントラ予測処理ユニット46は、様々なテストされたイントラ予測モードのためのレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化されたオリジナルの符号化されていないブロックとの間のひずみ(または誤差)の量、ならびに符号化ブロックを生成するために使用されるビットレート(すなわち、ビット数)を決定する。イントラ予測処理ユニット46は、どのイントラ予測モードがブロックについて最良のレートひずみ値を呈するかを決定するために、様々な符号化ブロックのひずみおよびレートから比を計算し得る。
[0074]ブロックのイントラ予測モードを選択した後に、イントラ予測処理ユニット46は、エントロピー符号化ユニット56にブロックのための選択されたイントラ予測モードを示す情報を与え得る。エントロピー符号化ユニット56は、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、複数のイントラ予測モードインデックステーブルおよび複数の変更されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル、および変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを、送信ビットストリーム中に含め得る。
[0075]ビデオエンコーダ20は、コーディングされているオリジナルのビデオブロックから、モード選択ユニット40からの予測データを減算することによって残差ビデオブロックを形成する。加算器50は、この減算演算を実行する1つまたは複数の構成要素を表す。変換処理ユニット52は、離散コサイン変換(DCT)または概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット52は、DCTと概念的に同様である他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換または他のタイプの変換も使用され得る。いずれの場合も、変換処理ユニット52は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報をピクセル値領域から周波数領域などの変換領域に変換し得る。変換処理ユニット52は、得られた変換係数を量子化ユニット54に送り得る。量子化ユニット54は、ビットレートをさらに低減するために変換係数を量子化する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。いくつかの例では、量子化ユニット54は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット56が走査を実行し得る。
[0076]量子化の後に、エントロピー符号化ユニット56は、量子化変換係数をエントロピーコーディングする。たとえば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コーディング(CAVLC)、コンテキスト適応型バイナリ算術コーディング(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC)、確率間隔区分エントロピー(PIPE)コーディングまたは別のエントロピーコーディング技法を実行し得る。コンテキストベースエントロピーコーディングの場合、コンテキストは隣接ブロックに基づき得る。エントロピー符号化ユニット56によるエントロピーコーディングの後に、符号化ビットストリームは、ほぼ一時的にCPB66にバッファまたは記憶されるか、別のデバイス(たとえば、ビデオデコーダ30)に送信されるか、あるいは後で送信するかまたは取り出すためにアーカイブされ得る。
[0077]逆量子化ユニット58および逆変換処理ユニット60は、それぞれ逆量子化および逆変換を適用して、たとえば、参照ブロックとして後で使用するために、ピクセル領域中で残差ブロックを再構築する。動き補償ユニット44は、残差ブロックをDPB64のフレームのうちの1つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット44はまた、再構成された残差ブロックに1つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器62は、再構成された残差ブロックを、動き補償ユニット44によって生成された動き補償予測ブロックに加算して、DPB64に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、後続のビデオフレーム中のブロックをインターコーディングするために動き推定ユニット42および動き補償ユニット44によって参照ブロックとして使用され得る。
[0078]DPB64は、同期ダイナミックランダムアクセスメモリ(SDRAM)、埋込みダイナミックランダムアクセスメモリ(eDRAM)、またはスタティックランダムアクセスメモリ(SRAM)など、データを記憶することが可能な任意のパーマネントまたは揮発性メモリなどのデータストレージデバイスであり得るか、またはそれに含まれ得る。DPB64は、本開示で説明する例示的なコード化ピクチャバッファおよび/または復号ピクチャバッファ挙動の任意の組合せに従って動作し得る。たとえば、ビデオエンコーダ20は、仮想リファレンスデコーダ(HRD)に従って動作するように構成され得る。この場合、ビデオエンコーダ20中に含まれるDPB64は、HRDのバッファリングモデルに従って、CPBパラメータおよびDPBパラメータを含む、HRDパラメータによって定義され得る。
[0079]同様に、CPB66は、同期ダイナミックランダムアクセスメモリ(SDRAM)、埋込みダイナミックランダムアクセスメモリ(eDRAM)、またはスタティックランダムアクセスメモリ(SRAM)など、データを記憶することが可能な任意のパーマネントまたは揮発性メモリなどのデータストレージデバイスであり得るか、またはそれに含まれ得る。ビデオエンコーダ20の一部を形成するものとして示されているが、いくつかの例では、CPB66は、ビデオエンコーダ20の外部のデバイス、ユニット、またはモジュールの一部を形成し得る。たとえば、CPB66は、ビデオエンコーダ20の外部のストリームスケジューラユニット、たとえば、配信スケジューラまたは仮想ストリームスケジューラ(HSS)の一部を形成し得る。ビデオエンコーダ20が、HRDに従って動作するように構成される場合、ビデオエンコーダ20中に含まれるCPB66は、HRDのバッファリングモデルに従って、初期CPB削除遅延およびオフセットのCPBパラメータを含む、HRDパラメータによって定義され得る。
[0080]本開示の技法によれば、ビデオエンコーダ20は、ビデオデータの符号化中にCPB66がオーバーフローしないことと、ビデオエンコーダ20によって生成された符号化ビットストリームを受信したときに、ビデオデコーダ30中に含まれるCPBがオーバーフローしないこととを保証するために、CPBパラメータのデフォルトセットまたは代替セットのいずれかをCPB66に適用し得る。代替セットが選択されているべきであるときにデフォルトセットが使用される場合、ビデオエンコーダ20中に含まれるCPB66またはビデオデコーダ30中に含まれるCPBがオーバーフローすることがある。適切なCPBパラメータの選択は主に、HRDを初期化するためにクリーンランダムアクセス(CRA)ピクチャまたはブロークンリンクアクセス(BLA)ピクチャなど、ランダムアクセスポイント(RAP)ピクチャが使用されるときに問題になる。本技法は、したがって、ビデオコーディングにおけるRAPピクチャの改善されたサポートを提供し得る。
[0081]ビデオエンコーダ20は、1つまたは複数のCRAピクチャまたはBLAピクチャを含む複数のピクチャを表すビットストリームを受信するように構成され得、また、CRAピクチャまたはBLAピクチャのうちの少なくとも1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信する。場合によっては、ビットストリームは、ビデオエンコーダ20の符号化部分、たとえば、エントロピー符号化ユニット56またはCPB66から直接、ビデオエンコーダ20の復号部分、すなわち、逆量子化ユニット58および逆変換処理ユニット60において受信され得る。メッセージは、ストリーミングサーバ、中間ネットワーク要素、または別のネットワークエンティティ中に含まれる処理手段など、外部手段から受信され得る。
[0082]ビデオエンコーダ20は、受信されたメッセージに基づいて、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのCPBパラメータのセットを示すために定義された変数を設定する。ビデオエンコーダ20は、次いで、ピクチャのための変数に基づいて、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのCPBパラメータのセットを選択する。ビデオエンコーダ20は、ビデオ符号化中にCPB66がオーバーフローしないことを保証するために、およびビデオエンコーダ20によって生成された符号化ビットストリームを受信したときに、ビデオデコーダ30中に含まれるCPBがオーバーフローしないことを保証するために、CPBパラメータの選択されたセットを、ビデオエンコーダ20中に含まれるCPB66に適用する。場合によっては、ビデオエンコーダ20は、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定し得、ピクチャのためのNALユニットタイプと変数とに基づいて、所与のピクチャのためのCPBパラメータのセットを選択し得る。RAPピクチャのためのCPBパラメータ選択プロセスについて、図3のビデオデコーダ30に関してより詳細に説明する。
[0083]図3は、本開示で説明する技法を実装し得る例示的なビデオデコーダ30を示すブロック図である。図3の例では、ビデオデコーダ30は、エントロピー復号ユニット70と、動き補償ユニット72およびイントラ予測処理ユニット74を含む予測処理ユニット71と、逆量子化ユニット76と、逆変換処理ユニット78と、加算器80と、コード化ピクチャバッファ(CPB)68と、復号ピクチャバッファ(DPB)82とを含む。ビデオデコーダ30は、いくつかの例では、図2のビデオエンコーダ20に関して説明した符号化パスとは概して逆の復号パスを実行し得る。
[0084]復号プロセス中に、ビデオデコーダ30は、ビデオエンコーダ20から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビデオデコーダ30は、ネットワークエンティティ29から符号化ビデオビットストリームを受信し得る。ネットワークエンティティ29は、たとえば、ストリーミングサーバ、メディアアウェアネットワーク要素(MANE)、ビデオエディタ/スプライサ、中間ネットワーク要素、あるいは上述した技法のうちの1つまたは複数を実装するように構成された他のそのようなデバイスであり得る。ネットワークエンティティ29は、本開示の技法を実行するように構成された外部手段を含み得る。上記で説明したように、本開示で説明する技法のいくつかは、ネットワークエンティティ29が符号化ビデオビットストリームをビデオデコーダ30に送信するより前にネットワークエンティティ29によって実装され得る。いくつかのビデオ復号システムでは、ネットワークエンティティ29およびビデオデコーダ30は別個のデバイスの部分であり得るが、他の事例では、ネットワークエンティティ29に関して説明する機能は、ビデオデコーダ30を備える同じデバイスによって実行され得る。
[0085]エントロピー復号ユニット70によるエントロピー復号の前に、ビットストリームは、ほぼ一時的にCPB68中にバッファまたは記憶され得る。ビデオデコーダ30のエントロピー復号ユニット70は、次いで、量子化係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成するためにビットストリームをエントロピー復号する。エントロピー復号ユニット70は、動きベクトルと他のシンタックス要素とを動き補償ユニット72に転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルでシンタックス要素を受信し得る。
[0086]ビデオスライスがイントラコード化(I)スライスとしてコーディングされるとき、イントラ予測処理ユニット74は、シグナリングされたイントラ予測モードと、現在フレームまたはピクチャの、前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化(すなわち、BまたはP)スライスとしてコーディングされるとき、動き補償ユニット72は、エントロピー復号ユニット70から受信された動きベクトルと他のシンタックス要素とに基づいて、現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つから生成され得る。ビデオデコーダ30は、DPB82に記憶された参照ピクチャに基づいて、デフォルトの構築技法を使用して、参照フレームリスト、すなわち、リスト0とリスト1とを構築し得る。
[0087]動き補償ユニット72は、動きベクトルと他のシンタックス要素とをパースすることによって現在ビデオスライスのビデオブロックのための予測情報を決定し、その予測情報を使用して、復号されている現在ビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット72は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(たとえば、イントラまたはインター予測)と、インター予測スライスタイプ(たとえば、BスライスまたはPスライス)と、スライスの参照ピクチャリストのうちの1つまたは複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報と、を決定するために、受信されたシンタックス要素のいくつかを使用する。
[0088]動き補償ユニット72はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット72は、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。この場合、動き補償ユニット72は、受信されたシンタックス要素からビデオエンコーダ20によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
[0089]逆量子化ユニット76は、ビットストリーム中で与えられ、エントロピー復号ユニット70によって復号された、量子化変換係数を逆量子化(inverse quantize)、すなわち、逆量子化(de-quantize)する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオエンコーダ30によって計算される量子化パラメータQPYの使用を含み得る。逆変換処理ユニット78は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆DCT、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
[0090]動き補償ユニット72が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ30は、逆変換ユニット78からの残差ブロックを動き補償ユニット72によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器90は、この加算演算を実行する1つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号されたブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。ピクセル遷移を平滑化するために、または場合によってはビデオ品質を改善するために、他のループフィルタも(コーディングループ中またはコーディングループ後のいずれかで)使用され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶するDPB82に記憶される。DPB82はまた、図1のディスプレイデバイス32などのディスプレイデバイス上での後の表示のために、復号されたビデオを記憶する。
[0091]DPB82は、同期ダイナミックランダムアクセスメモリ(SDRAM)、埋込みダイナミックランダムアクセスメモリ(eDRAM)、またはスタティックランダムアクセスメモリ(SRAM)など、データを記憶することが可能な任意のパーマネントまたは揮発性メモリなどのデータストレージデバイスであり得るか、またはそれに含まれ得る。DPB82は、本開示で説明する例示的なコード化ピクチャバッファおよび/または復号ピクチャバッファ挙動の任意の組合せに従って動作し得る。たとえば、ビデオデコーダ30は、仮想リファレンスデコーダ(HRD)に従って動作するように構成され得る。この場合、ビデオデコーダ30は、HRDのバッファリングモデルに従ってDPB82を定義するために使用される、CPBパラメータおよびDPBパラメータを含む、HRDパラメータを復号し得る。
[0092]同様に、CPB68は、同期ダイナミックランダムアクセスメモリ(SDRAM)、埋込みダイナミックランダムアクセスメモリ(eDRAM)、またはスタティックランダムアクセスメモリ(SRAM)など、データを記憶することが可能な任意のパーマネントまたは揮発性メモリなどのデータストレージデバイスであり得るか、またはそれに含まれ得る。ビデオデコーダ30の一部を形成するものとして示されているが、いくつかの例では、CPB68は、ビデオデコーダ30の外部のデバイス、ユニット、またはモジュールの一部を形成し得る。たとえば、CPB68は、ビデオデコーダ30の外部のストリームスケジューラユニット、たとえば、配信スケジューラまたは仮想ストリームスケジューラ(HSS)の一部を形成し得る。ビデオデコーダ30がHRDに従って動作するように構成される場合、ビデオデコーダ30は、HRDのバッファリングモデルに従ってCPB68を定義するために使用される、初期CPB削除遅延およびオフセットのCPBパラメータを含む、HRDパラメータを復号し得る。
[0093]本開示の技法によれば、ビデオデコーダ30は、ビデオデータの復号中にCPB68がオーバーフローしないことを保証するために、CPBパラメータのデフォルトセットまたは代替セットのいずれかをCPB68に適用し得る。代替セットが選択されているべきであるときにデフォルトセットが使用される場合、HRDに従って動作するように構成されたビデオデコーダ30に含まれるCPB68が、オーバーフローすることがある。適切なCPBパラメータの選択は主に、HRDを初期化するためにクリーンランダムアクセス(CRA)ピクチャまたはブロークンリンクアクセス(BLA)ピクチャなど、ランダムアクセスポイント(RAP)ピクチャが使用されるときに問題になる。本技法は、したがって、ビデオコーディングにおけるRAPピクチャの改善されたサポートを提供し得る。
[0094]ビデオデコーダ30は、1つまたは複数のCRAピクチャまたはBLAピクチャを含む複数のピクチャを表すビットストリームを受信し、また、CRAピクチャまたはBLAピクチャのうちの少なくとも1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信する。メッセージは、ネットワークエンティティ29、あるいはストリーミングサーバまたは中間ネットワーク要素中に含まれる処理手段などの別の外部手段から受信され得る。
[0095]ビデオデコーダ30は、受信されたメッセージに基づいて、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのCPBパラメータのセットを示すために定義された変数を設定する。ビデオコーディングデバイスは、次いで、ピクチャのための変数に基づいて、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのCPBパラメータのセットを選択する。ビデオデコーダ30は、ビデオ復号中にCPB68がオーバーフローしないことを保証するために、CPBパラメータの選択されたセットをCPB68に適用する。場合によっては、ビデオデコーダ30は、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定し得る。ビデオデコーダ30は、シグナリングされた通りにピクチャのためのNALユニットタイプを設定し得るか、またはピクチャのための変数に基づいてNALユニットタイプを設定し得る。ビデオデコーダ30は、次いで、ピクチャのためのNALユニットタイプと変数とに基づいて、所与のピクチャのためのCPBパラメータのセットを選択し得る。
[0096]概して、本開示は、RAPピクチャのためのHRDパラメータの選択の改善された方法を含み、CRAピクチャをBLAピクチャとして処理する、RAPピクチャの改善されたサポートを提供するための技法について説明する。上記で説明したように、ビデオコーディング規格としては、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262またはISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual、およびそれのスケーラブルビデオコーディング(SVC)拡張とマルチビュービデオコーディング(MVC)拡張とを含む、(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264がある。さらに、ITU−Tビデオコーディングエキスパートグループ(VCEG)とISO/IECモーションピクチャエキスパートグループ(MPEG:Motion Picture Experts Group)とのジョイントコラボレーションチームオンビデオコーディング(JCT−VC:Joint Collaboration Team on Video Coding)によって開発されている新しいビデオコーディング規格、すなわち、高効率ビデオコーディング(HEVC)がある。(以下でHEVC WD8と呼ぶ)HEVCの最近のワーキングドラフト(WD)は、2012年9月20日現在、http://phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zipから入手可能である、ドキュメントJCTVC−J1003_d7、Brossら、「High Efficiency Video Coding (HEVC) Text Specification Draft 8」、ITU−T SG16 WP3およびISO/IEC JTC1/SC29/WG11のジョイントコラボレーションチームオンビデオコーディング(JCT−VC)、第10回会議:スウェーデン、ストックホルム、2012年7月11〜20日に記載されている。
[0097]ランダムアクセスは、ビットストリーム中の最初のコード化ピクチャではないコード化ピクチャから始まる、ビデオビットストリームの復号を指す。ビットストリームへのランダムアクセスは、たとえば、ユーザが、任意の時間にプログラムに同調するため、異なるチャネル間を切り替えるため、ビデオの特定の部分にジャンプするため、またはビットレート、フレームレート、空間解像度などのストリーム適応のために異なるビットストリームに切り替えるために、ブロードキャスティングおよびストリーミングなど、多くのビデオアプリケーションにおいて必要とされる。この特徴は、ランダムアクセスピクチャまたはランダムアクセスポイントを規則的な間隔で何回もビデオビットストリームに挿入することによって有効にされる。
[0098]ビットストリームスプライシングは、2つ以上のビットストリームまたはそれの部分の連結を指す。たとえば、場合によっては、スプライスされたビットストリームを生成するためにビットストリームのいずれか一方または両方にいくつかの変更を加えて、第1のビットストリームに第2のビットストリームが付加され得る。第2のビットストリーム中の第1のコード化ピクチャは、スプライシングポイントとも呼ばれる。したがって、スプライスされたビットストリーム中のスプライシングポイントの後のピクチャは、第2のビットストリームから生じたものであり、スプライスされたビットストリーム中のスプライシングポイントに先行するピクチャは、第1のビットストリームから生じたものである。
[0099]ビットストリームのスプライシングはビットストリームスプライサ(bitstream splicer)によって実行される。ビットストリームスプライサは、しばしば、軽量であり、エンコーダよりもはるかにインテリジェントではない。たとえば、ビットストリームスプライサは、エントロピー復号および符号化能力を装備し得ない。ビットストリーム切替えは適応ストリーミング環境において使用され得る。切り替えられたビットストリーム中のあるピクチャにおけるビットストリーム切替え動作は、事実上、ビットストリームスプライシング動作であり、ここにおいて、スプライシングポイントは、ビットストリーム切替えポイント、すなわち、切り替えられたビットストリームからの第1のピクチャである。
[0100]AVCまたはHEVCにおいて指定されている瞬時復号リフレッシュ(IDR:instantaneous decoding refresh)ピクチャがランダムアクセスのために使用され得る。しかしながら、復号順序においてIDRピクチャに後続するピクチャは、IDRピクチャより前に復号されたピクチャを参照として使用することができないので、ランダムアクセスのためにIDRピクチャに依拠するビットストリームは、著しく低いコーディング効率を有することがある。コーディング効率を改善するために、復号順序においてCRAピクチャに後続するが、出力順序においてCRAピクチャに先行するピクチャが、CRAピクチャの前に復号されたピクチャを参照ピクチャとして使用することを可能にするために、クリーンランダムアクセス(CRA)ピクチャの概念がHEVCに導入された。
[0101]復号順序においてCRAピクチャに後続するが出力順序においてCRAピクチャに先行するピクチャは、CRAピクチャに関連するピクチャ、またはCRAピクチャのリーディングピクチャと呼ばれる。CRAピクチャのリーディングピクチャは、現在のCRAピクチャの前のIDRまたはCRAピクチャから復号が始まる場合は正しく復号可能である。CRAピクチャのリーディングピクチャは、現在のCRAピクチャからのランダムアクセスが行われるとき、非復号可能になり得る。リーディングピクチャは、したがって、一般に、ランダムアクセス復号中に破棄される。復号がどこから始まるかに応じて利用可能ではないことがある参照ピクチャからの誤り伝搬を防止するために、復号順序と出力順序の両方においてCRAピクチャに後続するすべてのピクチャは、復号順序または出力順序のいずれかにおいて、リーディングピクチャを含む、CRAピクチャに先行するいかなるピクチャも参照ピクチャとして使用すべきではない。
[0102]ブロークンリンクアクセス(BLA)ピクチャの概念は、CRAピクチャの導入の後にHEVCにさらに導入され、CRAピクチャの概念に基づく。BLAピクチャは、一般に、CRAピクチャの位置におけるビットストリームスプライシングから生じ、スプライスされたビットストリーム中で、スプライシングポイントCRAピクチャはBLAピクチャに変更される。IDRピクチャ、CRAピクチャおよびBLAピクチャは、ランダムアクセスポイント(RAP)ピクチャまたはイントラランダムアクセスポイント(IRAP)ピクチャと総称される。
[0103]BLAピクチャとCRAピクチャとの間の主要な差異についての説明は以下の通りである。CRAピクチャの場合、関連するリーディングピクチャは、復号が復号順序においてCRAピクチャの前のRAPピクチャから開始する場合、正しく復号可能であり、CRAピクチャからランダムアクセスが行われるとき(すなわち、復号がCRAピクチャから開始するとき、または言い換えると、CRAピクチャがビットストリーム中の第1のピクチャであるとき)、正しく復号可能でないことがある。BLAピクチャの場合、関連するリーディングピクチャは、すべての場合、復号が復号順序においてBLAピクチャの前のRAPピクチャから開始するときでも、非復号可能になり得る。
[0104]特定のCRAまたはBLAピクチャの場合、関連するリーディングピクチャのうちのいくつかは、CRAまたはBLAピクチャがビットストリーム中の第1のピクチャであるときでも、正しく復号可能である。これらのリーディングピクチャは復号可能リーディングピクチャ(DLP:decodable leading picture)と呼ばれ、他のリーディングピクチャは非復号可能リーディングピクチャ(NLP:non-decodable leading picture)と呼ばれる。場合によっては、DLPは、代替的に、ランダムアクセス復号可能リーディング(RADL:Random Access Decodable Leading)ピクチャと呼ばれることがある。NLPは、HEVC WD8では廃棄タグ付き(TFD)ピクチャと呼ばれる。他の場合には、NLPは、代替的に、ランダムアクセススキップリーディング(RASL)ピクチャと呼ばれることがある。本開示では、「非復号可能リーディングピクチャ」、「TFDピクチャ」、および「RASLピクチャ」という用語は、互換的に使用され得る。
[0105]HEVC WD8では、仮想リファレンスデコーダ(HRD)はアネックスCにおいて指定されている。HRDは、ビデオパラメータセット(VPS)および/またはシーケンスパラメータセット(SPS)、バッファリング期間補足エンハンスメント情報(SEI)メッセージ、およびピクチャタイミングSEIメッセージに含まれるhrd_parameters( )シンタックス構造中でビットストリーム中で与えられ得る、HRDパラメータに依拠する。バッファリング期間SEIメッセージは、主にCPBパラメータ、すなわち、初期コード化ピクチャバッファ(CPB)削除遅延と初期CPB削除遅延オフセットとを含む。シンタックス要素initial_cpb_removal_delay[ ]とinitial_cpb_removal_delay_offset[ ]とによってシグナリングされるデフォルトセット、およびシンタックス要素initial_alt_cpb_removal_delay[ ]とinitial_alt_cpb_removal_delay_offset[ ]とによってシグナリングされる代替セットと呼ばれる、CPBパラメータの2つのセットが与えられ得る。
[0106]sub_pic_cpb_params_present_flagが0に等しく、rap_cpb_params_present_flagが1に等しいとき、以下のことが当てはまる。ビデオデコーダ30は、HRDが、ビットストリーム中に関連するTFDピクチャを有しないBLAピクチャを用いて初期化されるとき、CPB68を定義するためにCPBパラメータの代替セットを使用する。関連する非復号可能リーディングピクチャを有しないBLAピクチャは、復号可能リーディングピクチャをもつBLAピクチャ、たとえば、BLA_W_DLPを示すか、またはリーディングピクチャをもたないBLAピクチャ、たとえば、BLA_N_LPを示すnal_unit_typeを有する。代わりにデフォルトセットが使用される場合、CPBはオーバーフローすることがある。HRDが、CRAピクチャまたは関連するTFDピクチャを有するBLAピクチャを用いて初期化されるとき、ビデオデコーダ30は、CPB68を定義するためにCPBパラメータのデフォルトセットを使用する。関連するTFDピクチャを有するBLAピクチャは、非復号可能リーディングピクチャをもつBLAピクチャ、たとえば、BLA_W_TFDを示すnal_unit_typeを有する。これは、HEVC WD8のサブクローズC.2.1中の以下のテキストに反映されている。
変数InitCpbRemovalDelay[SchedSelIdx]およびInitCpbRemovalDelayOffset[SchedSelIdx]は以下のように設定される。
− 以下の条件のいずれかが真である場合、InitCpbRemovalDelay[SchedSelIdx]およびInitCpbRemovalDelayOffset[SchedSelIdx]は、それぞれ、関連するバッファリング期間SEIメッセージの対応するinitial_alt_cpb_removal_delay[SchedSelIdx]およびinitial_alt_cpb_removal_delay_offset[SchedSelIdx]の値に設定される。
− アクセスユニット0は、それのためのコード化ピクチャが、BLA_W_DLPまたはBLA_N_LPに等しいnal_unit_typeを有するBLAアクセスユニットであり、関連するバッファリング期間SEIメッセージのrap_cpb_params_present_flagの値が1に等しい。
− SubPicCpbFlagが1に等しい。
− 他の場合、InitCpbRemovalDelay[SchedSelIdx]およびInitCpbRemovalDelayOffset[SchedSelIdx]は、それぞれ、関連するバッファリング期間SEIメッセージの対応するinitial_cpb_removal_delay[SchedSelIdx]およびinitial_cpb_removal_delay_offset[SchedSelIdx]の値に設定される。
上記のことからわかるように、所与のピクチャのために使用すべきCPBパラメータのセットの選択は、ピクチャのnal_unit_typeに基づき得る。
[0107]HEVC WD8はまた、BLAピクチャとしてのCRAピクチャの処理についてサブクローズ8.1に以下のテキストを含む。
現在ピクチャがCRAピクチャであるとき、以下のことが当てはまる。
− この仕様において指定されていない何らかの外部手段が、変数HandleCraAsBlaFlagをある値に設定するために利用可能である場合、HandleCraAsBlaFlagは、外部手段によって与えられた値に設定される。
− 他の場合、HandleCraAsBlaFlagの値は0に設定される。
HandleCraAsBlaFlagが1に等しいとき、各コード化スライスNALユニットのための構文解析および復号プロセス中に、以下のことが当てはまる。
− nal_unit_typeの値がBLA_W_TFDに設定される。
− no_output_of_prior_pics_flagの値が1に設定される。
HEVC WD8では、CRAピクチャは、それのコード化スライスのNALユニットヘッダ中にCRA_NUTに等しいnal_unit_typeを有し、CRAピクチャは関連するTFDピクチャおよびDLPピクチャを有することがある
[0108]以下の問題は、CRAピクチャと、BLAピクチャと、BLAピクチャとして処理されるCRAピクチャとのためのCPBパラメータの選択のための既存の方法に関連する。第1の問題は、CRAピクチャおよびBLAピクチャのためのCPBパラメータの選択に関連する。CRAピクチャは、関連するTFDピクチャを有することがある。CRAピクチャがオリジナルのビットストリーム中で関連するTFDピクチャを有するが、関連するTFDピクチャが、ストリーミングサーバまたは中間ネットワーク要素によって廃棄されているとき、CPBパラメータの適切なセット、すなわち、代替セットの選択を可能にするために、ネットワークエンティティ29または別の外部手段が、ビデオデコーダ30にCRAピクチャを送る前に、それをBLAピクチャに変更しなければならない。しかしながら、ネットワークエンティティ29は、これを行うことが可能でないことがある。そのような状況では、初期CPB削除遅延およびオフセットの適切なセットの選択が成功し得ず、これにより、CPB68のオーバーフローが生じ得るか、またはTFDピクチャの廃棄が実行され得ず、これにより、帯域幅の浪費またはより低いビデオ品質が生じるかのいずれかである。
[0109]第2の問題は、BLAピクチャとしてのCRAピクチャの処理に関連する。CRAピクチャは、関連するTFDピクチャを有することがある。CRAピクチャがオリジナルのビットストリーム中で関連するTFDピクチャを有するが、関連するTFDピクチャは、ネットワークエンティティ29、あるいはストリーミングサーバまたは中間ネットワーク要素中に含まれる処理手段など、別の外部手段によって廃棄されるとき、外部手段は、BLAピクチャとしてCRAピクチャを処理することを示す。HEVC WD8において指定されているように、ビデオデコーダ30は、次いで、非復号可能リーディングピクチャをもつBLAピクチャ、たとえば、BLA_W_TFDを示すようにnal_unit_typeの値を設定し、これにより、CPBパラメータのデフォルトセットの使用が生じ、したがってCPB68がオーバーフローすることがある。
[0110]本開示の技法は、上記で説明した問題を解消または回避することが可能な改善されたRAPピクチャビヘイビアを提供する。本技法によれば、変数が定義され、変数の値は、ネットワークエンティティ29、あるいはビデオコーディング仕様の範囲外のストリーミングサーバ、中間ネットワーク要素、または別のネットワークエンティティ中に含まれる処理手段など、別の外部手段によって設定され得る。一例では、変数は、CPBパラメータの代替セットが使用されるかどうか、およびCRAピクチャがBLAピクチャとして処理されるとき、どのNALユニットタイプが使用されるのかを指定し得る。別の例では、変数は、CPBパラメータのデフォルトセットが使用されるのか代替セットが使用されるのかがそこから導出され得る、特定のピクチャのために使用されるべきNALユニットタイプ値を指定し得る。
[0111]以下のセクションでは、上述の技法についてより詳細に説明する。下線は、HEVC WD8に対する追加を示し得、取り消し線は、HEVC WD8に対する削除を示し得る。
[0112]一例では、ビデオデコーダ30は、1つまたは複数のCRAピクチャまたはBLAピクチャを含む複数のピクチャを表すビットストリームを受信する。ビデオデコーダ30はまた、ネットワークエンティティ29から、CRAピクチャまたはBLAピクチャのうちの少なくとも1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信する。ビデオデコーダ30は、受信されたメッセージに基づいて、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのCPBパラメータのセットを示すために定義された変数を設定する。ビデオデコーダ30は、次いで、ピクチャのための変数に基づいて、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのCPBパラメータのセットを選択する。
[0113]この例によれば、各BLAまたはCRAピクチャのために変数UseAltCpbParamsFlagが定義され得る。この変数の値は、ネットワークエンティティ29または何らかの他の外部手段によって0または1のいずれかに設定される。そのような外部手段が利用可能でない場合、ビデオデコーダ30は変数の値を0に設定し得る。
[0114]この場合、上記で引用されたHEVC WD8のサブクローズ8.1中のテキストは以下と置き換えられ得る。
現在ピクチャが、BLA_W_TFDに等しいnal_unit_typeを有するBLAピクチャであるか、またはCRAピクチャであるとき、以下のことが当てはまる。
− この仕様において指定されていない何らかの外部手段が、変数UseAltCpbParamsFlagをある値に設定するために利用可能である場合、UseAltCpbParamsFlagは、外部手段によって与えられた値に設定される。
− 他の場合、UseAltCpbParamsFlagの値は0に設定される。
現在ピクチャがCRAピクチャであるとき、以下のことが当てはまる。
− この仕様において指定されていない何らかの外部手段が、変数HandleCraAsBlaFlagをある値に設定するために利用可能である場合、HandleCraAsBlaFlagは、外部手段によって与えられた値に設定される。
− 他の場合、HandleCraAsBlaFlagの値は0に設定される。
現在ピクチャがCRAピクチャであり、HandleCraAsBlaFlagが1に等しいとき、各コード化スライスNALユニットのための構文解析および復号プロセス中に以下のことが当てはまり、CRAピクチャはBLAピクチャと見なされ、CRAアクセスユニットはBLAアクセスユニットと見なされる
− UseAltCpbParamsFlagが0に等しい場合、nal_unit_typeの値はBLA_W_TFDに設定される。他の場合、nal_unit_typeの値はBLA_W_DLPに設定される。
− no_output_of_prior_pics_flagの値が1に設定される。
さらに、上記で引用されたHEVC WD8のサブクローズC.2.1中のテキストは以下と置き換えられ得る。
変数InitCpbRemovalDelay[SchedSelIdx]およびInitCpbRemovalDelayOffset[SchedSelIdx]は以下のように設定される。
− 以下の条件のうちの1つが真である場合、InitCpbRemovalDelay[SchedSelIdx]およびInitCpbRemovalDelayOffset[SchedSelIdx]は、それぞれ、関連するバッファリング期間SEIメッセージの対応するinitial_alt_cpb_removal_delay[SchedSelIdx]およびinitial_alt_cpb_removal_delay_offset[SchedSelIdx]の値に設定される。
− アクセスユニット0は、それのためのコード化ピクチャが、BLA_W_DLPまたはBLA_N_LPに等しいnal_unit_typeを有するBLAアクセスユニットであり、関連するバッファリング期間SEIメッセージのrap_cpb_params_present_flagの値が1に等しい。
− アクセスユニット0は、それのためのコード化ピクチャが、BLA_W_TFDに等しいnal_unit_typeを有するBLAアクセスユニットであるか、またはCRAアクセスユニットであり、UseAltCpbParamsFlagが1に等しく、関連するバッファリング期間SEIメッセージのrap_cpb_params_present_flagの値が1に等しい。
− SubPicCpbFlagが1に等しい。
− 他の場合、InitCpbRemovalDelay[SchedSelIdx]およびInitCpbRemovalDelayOffset[SchedSelIdx]は、それぞれ、関連するバッファリング期間SEIメッセージの対応するinitial_cpb_removal_delay[SchedSelIdx]およびinitial_cpb_removal_delay_offset[SchedSelIdx]の値に設定される。
[0115]ネットワークエンティティ29、またはUseAltCpbParamsFlagの値を設定するように構成された別の外部手段は、以下のように動作し得る。ネットワークエンティティ29は、ビデオデコーダ30に、またはビデオデコーダ30を含む受信機にメッセージを送り得る。メッセージは、特定のBLAまたはCRAピクチャについて、それは関連するTFDピクチャを有したが、関連するTFDピクチャは廃棄されており、したがって、CPBパラメータの代替セットが使用されるべきであることを示し得る。そのようなメッセージを受信すると、ビデオデコーダ30は、特定のBLAまたはCRAピクチャのためのUseAltCpbParamsFlagの値を1に設定し得る。特定のBLAまたはCRAがTFDピクチャを有しなかったか、あるいは、それが、廃棄されなかったTFDピクチャを有した場合、メッセージは送られる必要がないか、あるいは、特定のBLAまたはCRAピクチャのためのUseAltCpbParamsFlagの値を0に設定するようにビデオデコーダ30に命令するためのメッセージが送られる。
[0116]場合によっては、ビデオデコーダ30は、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定し得、ピクチャのためのNALユニットタイプと変数とに基づいて、所与のピクチャのためのCPBパラメータのセットを選択し得る。さらなる例として、一般CRAピクチャ、たとえば、CRA_NUTを示すただ1つのNALユニットタイプを使用する代わりに、本開示の技法は、それぞれ、非復号可能リーディングピクチャをもつCRAピクチャ、たとえば、CRA_W_TFD、復号可能リーディングピクチャをもつCRAピクチャ、たとえば、CRA_W_DLP、およびリーディングピクチャをもたないCRAピクチャ、たとえば、CRA_N_LPを示す3つの異なるNALユニットタイプの使用を可能にする。この場合、HEVC WD8中の表7−1およびその表の下の注釈は、以下に示すように変更される。
Figure 2015533048
Figure 2015533048
注3− CRA_W_TFDに等しいnal_unit_typeを有するCRAピクチャは、ビットストリーム中に存在する関連するTFDピクチャ、または関連するDLPピクチャ、または両方を有し得る。CRA_W_DLPに等しいnal_unit_typeを有するCRAピクチャは、ビットストリーム中に存在する関連するTFDピクチャを有しないが、ビットストリーム中に関連するDLPピクチャを有し得る。CRA_N_LPに等しいnal_unit_typeを有するCRAピクチャは、ビットストリーム中に存在する関連するリーディングピクチャを有しない。
注4− BLA_W_TFDに等しいnal_unit_typeを有するBLAピクチャは、ビットストリーム中に存在する関連するTFDピクチャ、または関連するDLPピクチャ、または両方を有し得る。BLA_W_DLPに等しいnal_unit_typeを有するBLAピクチャは、ビットストリーム中に存在する関連するTFDピクチャを有しないが、ビットストリーム中に関連するDLPピクチャを有し得る。BLA_N_LPに等しいnal_unit_typeを有するBLAピクチャは、ビットストリーム中に存在する関連するリーディングピクチャを有しない。
注5− IDR_N_LPに等しいnal_unit_typeを有するIDRピクチャは、ビットストリーム中に存在する関連するリーディングピクチャを有しない。IDR_W_DLPに等しいnal_unit_typeを有するIDRピクチャは、ビットストリーム中に存在する関連するTFDピクチャを有しないが、ビットストリーム中に関連するDLPピクチャを有し得る。
[0117]さらに、上記で説明した第1の例と同様に、各BLAまたはCRAピクチャのために変数UseAltCpbParamsFlagが定義される。この変数の値は、ネットワークエンティティ29、または別の外部手段によって、0または1のいずれかに設定される。そのような外部手段が利用可能でない場合、ビデオデコーダ30は変数の値を0に設定し得る。
[0118]この場合、上記で引用されたHEVC WD8のサブクローズ8.1中のテキストは以下と置き換えられ得る。
現在ピクチャが、BLA_W_TFDに等しいnal_unit_typeを有するBLAピクチャであるか、またはCRA_W_TFDに等しいnal_unit_typeを有するCRAピクチャであるとき、以下のことが当てはまる。
− この仕様において指定されていない何らかの外部手段が、変数UseAltCpbParamsFlagをある値に設定するために利用可能である場合、UseAltCpbParamsFlagは、外部手段によって与えられた値に設定される。
− 他の場合、UseAltCpbParamsFlagの値は0に設定される。
現在ピクチャがCRAピクチャであるとき、以下のことが当てはまる。
− この仕様において指定されていない何らかの外部手段が、変数HandleCraAsBlaFlagをある値に設定するために利用可能である場合、HandleCraAsBlaFlagは、外部手段によって与えられた値に設定される。
− 他の場合、HandleCraAsBlaFlagの値は0に設定される。
現在ピクチャがCRAピクチャであり、HandleCraAsBlaFlagが1に等しいとき、各コード化スライスNALユニットのための構文解析および復号プロセス中に以下のことが当てはまり、CRAピクチャはBLAピクチャと見なされ、CRAアクセスユニットはBLAアクセスユニットと見なされる
− nal_unit_typeの値がCRA_W_TFDに等しい場合、nal_unit_typeの値はBLA_W_TFDに設定される。他の場合、nal_unit_typeの値がCRA_W_DLPに等しい場合、nal_unit_typeの値はBLA_W_DLPに設定される。他の場合、nal_unit_typeの値はBLA_N_LPに設定される。
− no_output_of_prior_pics_flagの値が1に設定される。
さらに、上記で引用されたHEVC WD8のサブクローズC.2.1中のテキストは以下と置き換えられ得る。
変数InitCpbRemovalDelay[SchedSelIdx]およびInitCpbRemovalDelayOffset[SchedSelIdx]は以下のように設定される。
− 以下の条件のうちの1つが真である場合、InitCpbRemovalDelay[SchedSelIdx]およびInitCpbRemovalDelayOffset[SchedSelIdx]は、それぞれ、関連するバッファリング期間SEIメッセージの対応するinitial_alt_cpb_removal_delay[SchedSelIdx]およびinitial_alt_cpb_removal_delay_offset[SchedSelIdx]の値に設定される。
− アクセスユニット0は、それのためのコード化ピクチャが、BLA_W_DLPまたはBLA_N_LPに等しいnal_unit_typeを有するBLAアクセスユニットであり、関連するバッファリング期間SEIメッセージのrap_cpb_params_present_flagの値が1に等しい。
− アクセスユニット0は、それのためのコード化ピクチャが、CRA_W_DLPまたはCRA_N_LPに等しいnal_unit_typeを有するCRAアクセスユニットであり、関連するバッファリング期間SEIメッセージのrap_cpb_params_present_flagの値が1に等しい。
− アクセスユニット0は、それのためのコード化ピクチャが、BLA_W_TFDに等しいnal_unit_typeを有するBLAアクセスユニットであるか、または、それのためのコード化ピクチャがCRA_W_TFDに等しいnal_unit_typeを有するCRAアクセスユニットであり、UseAltCpbParamsFlagが1に等しく、関連するバッファリング期間SEIメッセージのrap_cpb_params_present_flagの値が1に等しい。
− SubPicCpbFlagが1に等しい。
− 他の場合、InitCpbRemovalDelay[SchedSelIdx]およびInitCpbRemovalDelayOffset[SchedSelIdx]は、それぞれ、関連するバッファリング期間SEIメッセージの対応するinitial_cpb_removal_delay[SchedSelIdx]およびinitial_cpb_removal_delay_offset[SchedSelIdx]の値に設定される。
[0119]ネットワークエンティティ29、またはUseAltCpbParamsFlagの値を設定するように構成された別の外部手段は、以下のように動作し得る。ネットワークエンティティ29は、ビデオデコーダ30またはビデオデコーダ30を含む受信機にメッセージを送り得る。メッセージは、特定のBLAまたはCRAピクチャについて、それは関連するTFDピクチャを有したが、関連するTFDピクチャは廃棄されており、したがって、CPBパラメータの代替セットが使用されるべきであることを示し得る。そのようなメッセージを受信すると、ビデオデコーダ30は、特定のBLAまたはCRAピクチャのためのUseAltCpbParamsFlagの値を1に設定し得る。特定のBLAまたはCRAはTFDピクチャを有しなかったか、あるいは、それは、TFDピクチャを有したが、廃棄されない場合、メッセージは送られる必要がないか、あるいは、特定のBLAまたはCRAピクチャのためのUseAltCpbParamsFlagの値を0に設定するようにビデオデコーダ30に命令するためのメッセージが送られる。
[0120]別の例では、ビデオデコーダ30は、1つまたは複数のCRAピクチャまたはBLAピクチャを含む複数のピクチャを表すビットストリームを受信し、また、ネットワークエンティティ29からCRAピクチャまたはBLAピクチャのうちの少なくとも1つのためのNALユニットタイプを示すメッセージを受信する。ビデオデコーダ30は、受信されたメッセージに基づいて、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのNALユニットタイプを示すために定義された変数を設定する。ビデオデコーダ30は、次いで、CRAピクチャまたはBLAピクチャのうちの所与の1つのためのNALユニットタイプを設定し、NALユニットタイプに基づいて、所与のピクチャのためのCPBパラメータのセットを選択する。
[0121]この例によれば、各CRAまたはBLAピクチャのために変数UseThisNalUnitTypeが定義され得る。この変数の値は、ネットワークエンティティ29または何らかの他の外部手段によって設定される。そのような外部手段が利用可能でない場合、ビデオデコーダ30は、変数の値をCRAまたはBLAピクチャのnal_unit_typeに設定し得る。いくつかの例では、この変数のための可能な値は、CRA_NUT、BLA_W_TFD、BLA_W_DLPおよびBLA_N_LPである。他の例では、この変数の可能な値は、一般CRAピクチャ、非復号可能リーディングピクチャをもつBLAピクチャ、復号可能リーディングピクチャをもつBLAピクチャ、およびリーディングピクチャをもたないBLAピクチャを示すように構成された他のnal_unit_typeを含み得る。
[0122]この場合、上記で引用されたHEVC WD8のサブクローズ8.1中のテキストは以下と置き換えられ得る。
現在ピクチャがBLAまたはCRAピクチャであるとき、以下のことが当てはまる。
− この仕様において指定されていない何らかの外部手段が、変数UseThisNalUnitTypeをある値に設定するために利用可能である場合、UseThisNalUnitTypeは、外部手段によって与えられた値に設定される。BLA_N_LPに等しいnal_unit_typeをもつBLAピクチャの場合、外部手段は、UseThisNalUnitTypeをBLA_N_LPにのみ設定し得、BLA_W_DLPに等しいnal_unit_typeをもつBLAピクチャの場合、外部手段は、UseThisNalUnitTypeをBLA_W_DLPまたはBLA_N_LPのいずれかにのみ設定し得、BLA_W_TFDに等しいnal_unit_typeをもつBLAピクチャの場合、外部手段は、UseThisNalUnitTypeをBLA_W_TFD、BLA_W_DLPおよびBLA_N_LPのうちの1つにのみ設定し得、BLAピクチャの場合、外部手段は、CRAピクチャまたは任意の他のピクチャタイプを示すために、UseThisNalUnitTypeを決して設定しないものとし、CRAピクチャの場合、外部手段は、UseThisNalUnitTypeを、任意の他の値ではない、CRA_NUT、BLA_W_TFD、BLA_W_DLPおよびBLA_N_LPのうちの1つに設定し得る。
− 他の場合、UseThisNalUnitTypeの値は、現在ピクチャのnal_unit_typeに設定される。
現在ピクチャがCRAまたはBLAピクチャであるとき、各コード化スライスNALユニットのための構文解析および復号プロセス中に以下のことが当てはまる。
− nal_unit_typeの値はUseThisNalUnitTypeに設定され、現在ピクチャまたはアクセスユニットは、UseThisNalUnitTypeに等しいnal_unit_typeの値に従って、CRAまたはBLAピクチャまたはアクセスユニットと見なされる。
− no_output_of_prior_pics_flagの値は、現在ピクチャが、上記のステップの前にCRAピクチャであって、BLAピクチャになっている場合、1に設定される。
上記で引用されたHEVC WD8のサブクローズC.2.1中のテキストは、変更される必要がない。
[0123]さらなる例として、一般CRAピクチャ、たとえば、CRA_NUTを示すただ1つのNALユニットタイプを使用する代わりに、本開示の技法は、それぞれ、非復号可能リーディングピクチャをもつCRAピクチャ、たとえば、CRA_W_TFD、復号可能リーディングピクチャをもつCRAピクチャ、たとえば、CRA_W_DLP、およびリーディングピクチャをもたないCRAピクチャ、たとえば、CRA_N_LPを示す3つの異なるNALユニットタイプの使用を可能にする。この場合、HEVC WD8中の表7−1および表の下の注釈は、上記で説明したように変更される。
[0124]さらに、上記で説明した第2の例と同様に、各CRAまたはBLAピクチャのために変数UseThisNalUnitTypeが定義される。この変数の値は、ネットワークエンティティ29または別の外部手段によって設定される。そのような外部手段が利用可能でない場合、ビデオデコーダ30は、変数の値をCRAまたはBLAピクチャのnal_unit_typeに設定し得る。いくつかの例では、この変数のための可能な値は、CRA_W_TFD、CRA_W_DLP、CRA_N_LP、BLA_W_TFD、BLA_W_DLPおよびBLA_N_LPである。他の例では、この変数の可能な値は、非復号可能リーディングピクチャをもつCRAピクチャ、復号可能リーディングピクチャをもつCRAピクチャ、リーディングピクチャをもたないCRAピクチャ、非復号可能リーディングピクチャをもつBLAピクチャ、復号可能リーディングピクチャをもつBLAピクチャ、およびリーディングピクチャをもたないBLAピクチャを示すように構成された他のnal_unit_typeを含み得る。
[0125]この場合、上記で引用されたHEVC WD8のサブクローズ8.1中のテキストは以下と置き換えられ得る。
現在ピクチャがBLAピクチャまたはCRAピクチャであるとき、以下のことが当てはまる。
− この仕様において指定されていない何らかの外部手段が、変数UseThisNalUnitTypeをある値に設定するために利用可能である場合、UseThisNalUnitTypeは、外部手段によって与えられた値に設定される。
BLA_N_LPに等しいnal_unit_typeをもつBLAピクチャの場合、外部手段は、UseThisNalUnitTypeをBLA_N_LPにのみ設定し得、BLA_W_DLPに等しいnal_unit_typeをもつBLAピクチャの場合、外部手段は、UseThisNalUnitTypeをBLA_W_DLPまたはBLA_N_LPのいずれかにのみ設定し得、BLA_W_TFDに等しいnal_unit_typeをもつBLAピクチャの場合、外部手段は、UseThisNalUnitTypeをBLA_W_TFD、BLA_W_DLPおよびBLA_N_LPのうちの1つにのみ設定し得、BLAピクチャの場合、外部手段は、CRAピクチャまたは任意の他のピクチャタイプを示すために、UseThisNalUnitTypeを決して設定しないものとする。
CRA_N_LPに等しいnal_unit_typeをもつCRAピクチャの場合、外部手段は、UseThisNalUnitTypeをCRA_N_LPまたはBLA_N_LPにのみ設定し得、CRA_W_DLPに等しいnal_unit_typeをもつCRAピクチャの場合、外部手段は、UseThisNalUnitTypeをCRA_W_DLP、CRA_N_LP、BLA_W_DLPまたはBLA_N_LPにのみ設定し得、CRA_W_TFDに等しいnal_unit_typeをもつCRAピクチャの場合、外部手段は、UseThisNalUnitTypeをCRA_W_TFD、CRA_W_DLP、CRA_N_LP、BLA_W_TFD、BLA_W_DLPまたはBLA_N_LPにのみ設定し得る。
− 他の場合、UseThisNalUnitTypeの値は、現在ピクチャのnal_unit_typeに設定される。
現在ピクチャがCRAまたはBLAピクチャであるとき、各コード化スライスNALユニットのための構文解析および復号プロセス中に以下のことが当てはまる。
− nal_unit_typeの値はUseThisNalUnitTypeに設定され、現在ピクチャまたはアクセスユニットは、UseThisNalUnitTypeに等しいnal_unit_typeの値に従って、CRAまたはBLAピクチャまたはアクセスユニットと見なされる。
− no_output_of_prior_pics_flagの値は、現在ピクチャが、上記のステップの前にCRAピクチャであって、BLAピクチャになっている場合、1に設定される。
さらに、上記で引用されたHEVC WD8のサブクローズC.2.1中のテキストは以下と置き換えられ得る。
変数InitCpbRemovalDelay[SchedSelIdx]およびInitCpbRemovalDelayOffset[SchedSelIdx]は以下のように設定される。
− 以下の条件のうちの1つが真である場合、InitCpbRemovalDelay[SchedSelIdx]およびInitCpbRemovalDelayOffset[SchedSelIdx]は、それぞれ、関連するバッファリング期間SEIメッセージの対応するinitial_alt_cpb_removal_delay[SchedSelIdx]およびinitial_alt_cpb_removal_delay_offset[SchedSelIdx]の値に設定される。
− アクセスユニット0は、それのためのコード化ピクチャが、BLA_W_DLPまたはBLA_N_LPに等しいnal_unit_typeを有するBLAアクセスユニットであり、関連するバッファリング期間SEIメッセージのrap_cpb_params_present_flagの値が1に等しい。
− アクセスユニット0は、それのためのコード化ピクチャが、CRA_W_DLPまたはCRA_N_LPに等しいnal_unit_typeを有するCRAアクセスユニットであり、関連するバッファリング期間SEIメッセージのrap_cpb_params_present_flagの値が1に等しい。
− SubPicCpbFlagが1に等しい。
− 他の場合、InitCpbRemovalDelay[SchedSelIdx]およびInitCpbRemovalDelayOffset[SchedSelIdx]は、それぞれ、関連するバッファリング期間SEIメッセージの対応するinitial_cpb_removal_delay[SchedSelIdx]およびinitial_cpb_removal_delay_offset[SchedSelIdx]の値に設定される。
[0126]図4は、仮想リファレンスデコーダ(HRD)に従って動作するように構成された例示的な宛先デバイス100を示すブロック図である。この例では、宛先デバイス100は、入力インターフェース102と、ストリームスケジューラ104と、コード化ピクチャバッファ(CPB)106と、ビデオデコーダ108と、復号ピクチャバッファ(DPB)110と、レンダリングユニット112と、出力インターフェース114とを含む。宛先デバイス100は、図1からの宛先デバイス14に実質的に対応し得る。入力インターフェース102は、ビデオデータのコード化ビットストリームを受信することが可能な任意の入力インターフェースを備え得、図1からの入力インターフェース28に実質的に対応し得る。たとえば、入力インターフェース102は、受信機、モデム、ワイヤードまたはワイヤレスインターフェースなどのネットワークインターフェース、メモリまたはメモリインターフェース、光ドライブインターフェースまたは磁気媒体インターフェースなど、ディスクからデータを読み取るためのドライブ、または他のインターフェース構成要素を備え得る。
[0127]入力インターフェース102は、ビデオデータを含むコード化ビットストリームを受信し、ストリームスケジューラ104にビットストリームを与え得る。ストリームスケジューラ104は、ビットストリームからアクセスユニットおよび/または復号ユニットなどのビデオデータのユニットを抽出し、CPB106に抽出されたユニットを記憶する。このようにして、ストリームスケジューラ104は、仮想ストリームスケジューラ(HSS)の例示的な実装形態を表す。CPB106は、図4に示されているように、CPB106がビデオデコーダ108とは別個であることを除いて、図3からのCPB68に実質的に一致し得る。CPB106は、異なる例では、ビデオデコーダ108とは別個であることも、またはそれの一部として統合されることもある。
[0128]ビデオデコーダ108はDPB110を含む。ビデオデコーダ108は、図1および図3からのビデオデコーダ30に実質的に一致し得る。DPB110は、図3からのDPB82に実質的に一致し得る。したがって、ビデオデコーダ108は、CPB106の復号ユニットを復号し得る。その上、ビデオデコーダ108は、復号されたピクチャをDPB110から出力し得る。ビデオデコーダ108は、出力されたピクチャをレンダリングユニット112にパスし得る。レンダリングユニット112は、ピクチャをクロップし、次いで、クロップされたピクチャを出力インターフェース114にパスし得る。出力インターフェース114は、図1からのディスプレイデバイス32に実質的に一致し得るディスプレイデバイスに、クロップされたピクチャを与え得る。
[0129]ディスプレイデバイスは、宛先デバイス100の一部を形成し得、または宛先デバイス100に通信可能に結合され得る。たとえば、ディスプレイデバイスは、宛先デバイス100と統合されたスクリーン、タッチスクリーン、プロジェクタ、または他のディスプレイユニットを備え得、または宛先デバイス100に通信可能に結合されたテレビジョン、モニタ、プロジェクタ、タッチスクリーン、または他のデバイスなどの別個のディスプレイを備え得る。通信結合は、同軸ケーブル、コンポジットビデオケーブル、コンポーネントビデオケーブル、高解像度マルチメディアインターフェース(HDMI(登録商標))ケーブル、無線周波ブロードキャスト、あるいは他のワイヤードまたはワイヤレス結合などによる、ワイヤードまたはワイヤレス結合を備え得る。
[0130]図5は、ビットストリーム中の特定のランダムアクセスポイント(RAP)ピクチャのためのCPBパラメータのセットを示す変数に基づいて、コード化ピクチャバッファ(CPB)パラメータのセットを選択する例示的な動作を示すフローチャートである。図示された動作について、CPB68を含む図3からのビデオデコーダ30に関して説明する。他の例では、同様の動作が、CPB66を含む図2からのビデオエンコーダ20、CPB106とビデオデコーダ108とを含む図4からの宛先デバイス100、または、HRD動作に従って動作するように構成されたCPBをもつビデオエンコーダまたはビデオデコーダを含む他のデバイスによって実行され得る。
[0131]ビデオデコーダ30は、1つまたは複数のCRAピクチャまたはBLAピクチャを含むビットストリームを受信する(120)。ビットストリームとともに、ビデオデコーダ30は、CRAピクチャまたはBLAピクチャのうちの特定の1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージをも受信する(122)。より詳細には、ビデオデコーダ30は、特定のピクチャに関連するTFDピクチャを廃棄することが可能であり、TFDピクチャが廃棄されたときにビデオデコーダ30に通知することも可能である、ネットワークエンティティ29などの外部手段からメッセージを受信し得る。
[0132]たとえば、特定のピクチャが、ビデオエンコーダ20から出力されたオリジナルのビットストリーム中でTFDピクチャを有し、TFDピクチャが外部手段によって廃棄されているとき、ビデオデコーダ30によって受信されたメッセージは、特定のピクチャのためのCPBパラメータの代替セットを使用することを示す。別の例として、特定のピクチャが、ビデオエンコーダ20から出力されたオリジナルのビットストリーム中でTFDピクチャを有しなかったか、または、特定のピクチャがオリジナルのビットストリーム中でTFDピクチャを有し、TFDピクチャが外部手段によって廃棄されていないとき、ビデオデコーダ30によって受信されたメッセージは、特定のピクチャのためのCPBパラメータの代替セットを使用することを示さない。この場合、ピクチャのNALユニットタイプに基づいて、CRAピクチャまたはBLAピクチャのうちの1つのためにCPBパラトメーのデフォルトセットまたは代替セットのいずれかが使用され得る。
[0133]ビデオデコーダ30は、受信されたメッセージに基づいて、特定のピクチャのためのCPBパラメータのセットを示すために定義された変数、たとえば、UseAltCpbParamsFlagを設定する(124)。たとえば、ビデオデコーダ30は、受信されたメッセージが特定のピクチャのためのCPBパラメータの代替セットを示すとき、UseAltCpbParamsFlagを1に等しく設定し得る。逆に、ビデオデコーダ30は、受信されたメッセージが特定のピクチャのためのCPBパラメータの代替セットを明示的に示さないとき、UseAltCpbParamsFlagを0に等しく設定し得る。場合によっては、ビデオデコーダ30は、CRAピクチャまたはBLAピクチャのうちの少なくとも1つのためのメッセージを受信し得ない。ビデオデコーダ30は、次いで、UseAltCpbParamsFlagを0に等しく設定し得る。
[0134]ビデオデコーダ30は、次いで、特定のピクチャのためのNALユニットタイプを設定する(126)。場合によっては、ビデオデコーダ30は、ビットストリーム中でシグナリングされた通りに特定のピクチャのためのNALユニットタイプを設定し得る。他の場合には、ビデオデコーダ30は、ピクチャのための変数に少なくとも部分的に基づいて、特定のピクチャのためのNALユニットタイプを設定し得る。NALユニットタイプ選択動作について、図6に関して以下でより詳細に説明する。ビデオデコーダ30は、特定のピクチャのためのNALユニットタイプと変数とに基づいて、特定のピクチャのためのCPBパラメータのデフォルトセットまたは代替セットを選択する(128)。詳細には、ビデオデコーダ30は、変数がCPBパラメータの代替セットを示さないとき、1つまたは複数のNALユニットタイプのためのCPBパラメータのデフォルトセットを選択し、変数が1つまたは複数の異なるNALユニットタイプのためとのCPBパラメータの代替セットを示すとき、1つまたは複数のNALユニットタイプのためのCPBパラメータの代替セットを選択する。CPBパラメータセット選択動作について、図7に関して以下でより詳細に説明する。
[0135]図6は、ピクチャのためのCPBパラメータのセットを示す変数に基づいて、特定のRAPピクチャのためのネットワークレイヤアブストラクション(NAL)ユニットタイプを設定する例示的な動作を示すフローチャートである。図示された動作について、CPB68を含む図3からのビデオデコーダ30に関して説明する。他の例では、同様の動作が、CPB66を含む図2からのビデオエンコーダ20、CPB106とビデオデコーダ108とを含む図4からの宛先デバイス100、または、HRD動作に従って動作するように構成されたCPBをもつビデオエンコーダまたはビデオデコーダを含む他のデバイスによって実行され得る。
[0136]ビデオデコーダ30は、1つまたは複数のCRAピクチャまたはBLAピクチャを含むビットストリームを受信する(150)。ビデオデコーダ30は、CRAピクチャまたはBLAピクチャのうちの特定の1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信する(152)。ビデオデコーダ30は、受信されたメッセージに基づいて、特定のピクチャのためのCPBパラメータのセットを示すために定義された変数を設定する(154)。
[0137]特定のピクチャがBLAピクチャであるとき(156のNOブランチ)、ビデオデコーダ30は、特定のBLAピクチャのためのNALユニットタイプをビットストリーム中でシグナリングされた通りに設定する(158)。特定のピクチャがCRAピクチャであり(156のYESブランチ)、CRAピクチャがBLAピクチャとして処理されないとき(160のNOブランチ)、ビデオデコーダ30はまた、特定のCRAピクチャのためのNALユニットタイプをビットストリーム中でシグナリングされた通りに設定する(158)。
[0138]従来、CRAピクチャがBLAピクチャとして処理されるとき、CRAピクチャのためのNALユニットタイプは、ピクチャのためのCPBパラメータのデフォルトセットの選択を生じる、非復号可能リーディングピクチャをもつBLAピクチャ、たとえば、BLA_W_TFDを示すように設定される。場合によっては、ピクチャは関連するTFDピクチャを有し得ず、CPBパラメータのデフォルトセットの使用はCPBのオーバーフローが生じることがある。本開示の技法によれば、特定のピクチャがCRAピクチャであり(156のYESブランチ)、CRAピクチャがBLAピクチャとして処理されるとき(160のYESブランチ)、ビデオデコーダ30は、特定のピクチャのための変数に基づいて、特定のCRAピクチャのためのNALユニットタイプを設定する。
[0139]たとえば、変数がCPBパラメータの代替セットを明示的に示さないとき(162のNOブランチ)、ビデオデコーダ30は、特定のピクチャのためのNALユニットタイプを、特定のピクチャが関連するTFDピクチャを有することを示す、非復号可能リーディングピクチャをもつBLAピクチャ、たとえば、BLA_W_TFDを示すように設定する(164)。この場合、CPBパラメータのデフォルトセットが、特定のピクチャのために適切に選択されることになる。変数がCPBパラメータの代替セットを示すとき(162のYESブランチ)、ビデオデコーダ30は、特定のピクチャのためのNALユニットタイプを、特定のピクチャが関連するTFDピクチャを有さないことを示す、復号可能リーディングピクチャをもつBLAピクチャ、たとえば、BLA_W_DLPを示すように設定する(166)。この場合、CPBパラメータの代替セットが、特定のピクチャのために適切に選択されることになる。このようにして、本技法は、不適切なCPBパラメータの使用によりビデオデコーダのCPBがオーバーフローしないことを保証する。
[0140]図7は、ピクチャのためのNALユニットタイプと、ピクチャのためのCPBパラメータのセットを示す変数とに基づいて、特定のRAPピクチャのためのCPBパラメータのセットを選択する例示的な動作を示すフローチャートである。図示された動作について、CPB68を含む図3からのビデオデコーダ30に関して説明する。他の例では、同様の動作が、CPB66を含む図2からのビデオエンコーダ20、CPB106とビデオデコーダ108とを含む図4からの宛先デバイス100、または、HRD動作に従って動作するように構成されたCPBをもつビデオエンコーダまたはビデオデコーダを含む他のデバイスによって実行され得る。
[0141]ビデオデコーダ30は、1つまたは複数のCRAピクチャまたはBLAピクチャを含むビットストリームを受信する(170)。ビデオデコーダ30は、CRAピクチャまたはBLAピクチャのうちの特定の1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信する(172)。ビデオデコーダ30は、受信されたメッセージに基づいて、特定のピクチャのためのCPBパラメータのセットを示すために定義された変数を設定する(174)。ビデオデコーダ30は、次いで、特定のピクチャのためのNALユニットタイプを設定する(176)。図6に関して上記で説明したように、ビデオデコーダ30は、ビットストリーム中でシグナリングされた通りに特定のピクチャのためのNALユニットタイプを設定し得、またはピクチャのための変数に基づいて特定のピクチャのためのNALユニットタイプを設定し得る。
[0142]特定のピクチャが、復号可能リーディングピクチャをもつBLAピクチャ、たとえば、BLA_W_DLPを示すNALユニットタイプ、または、特定のピクチャが関連するTFDピクチャを有さないことを示す、リーディングピクチャをもたないBLAピクチャ、たとえば、BLA_N_LPを示すNALユニットタイプを有するBLAピクチャであるとき(178のYESブランチ)、ビデオデコーダ30は、NALユニットタイプに基づいて特定のピクチャのためのCPBパラメータの代替セットを選択する(180)。従来、CPBパラメータのデフォルトセットは、関連するTFDピクチャをもつ任意のCRAピクチャまたはBLAピクチャ、たとえば、BLA_W_TFDのために使用される。場合によっては、しかしながら、オリジナルのビットストリーム中で特定のピクチャに関連するTFDピクチャは、ビットストリームがビデオデコーダに達する前に廃棄され得る。ビデオデコーダは、次いで、ピクチャが関連するTFDピクチャをもはや有さないときでさえ、NALユニットタイプに基づいてデフォルトCPBパラメータを使用し、これによりCPBのオーバーフローが生じることがある。
[0143]本開示の技法によれば、特定のピクチャが、CRAピクチャであるか、または、特定のピクチャが関連するTFDピクチャ有することを示す、非復号可能リーディングピクチャをもつBLAピクチャ、たとえば、BLA_W_TFDを示すNALユニットタイプを有するBLAピクチャであるとき(182のYESブランチ)、ビデオデコーダ30は、特定のピクチャのための変数に基づいて、特定のピクチャのために使用すべきCPBパラメータのセットを選択する。たとえば、変数がCPBパラメータの代替セットを明示的に示さないとき(184のNOブランチ)、ビデオデコーダ30は、変数に基づいて特定のピクチャのためのCPBパラメータのデフォルトセットを選択する(186)。変数がCPBパラメータの代替セットを示すとき(184のYESブランチ)、ビデオデコーダ30は、変数に基づいて特定のピクチャのためのCPBパラメータの代替セットを選択する(188)。このようにして、本技法は、不適切なCPBパラメータの使用によりビデオデコーダのCPBがオーバーフローしないことを保証する。
[0144]図8は、ビットストリーム中の特定のRAPピクチャのためのネットワークレイヤアブストラクション(NAL)ユニットタイプを示すために定義された変数に基づいて、CPBパラメータのセットを選択する例示的な動作を示すフローチャートである。図示された動作について、CPB68を含む図3からのビデオデコーダ30に関して説明する。他の例では、同様の動作が、CPB66を含む図2からのビデオエンコーダ20、CPB106とビデオデコーダ108とを含む図4からの宛先デバイス100、または、HRD動作に従って動作するように構成されたCPBをもつビデオエンコーダまたはビデオデコーダを含む他のデバイスによって実行され得る。
[0145]ビデオデコーダ30は、1つまたは複数のCRAピクチャまたはBLAピクチャを含むビットストリームを受信する(190)。ビットストリームとともに、ビデオデコーダ30は、CRAまたはBLAピクチャのうちの特定の1つのためのNALユニットタイプを示すメッセージをも受信する(192)。より詳細には、ビデオデコーダ30は、特定のピクチャに関連するTFDピクチャを廃棄することが可能であり、TFDピクチャが廃棄されたときにビデオデコーダ30に通知することも可能である、ネットワークエンティティ29などの外部手段からメッセージを受信し得る。
[0146]たとえば、特定のピクチャが、ビデオエンコーダ20から出力されたオリジナルのビットストリーム中でTFDピクチャを有し、当該TFDピクチャが外部手段によって廃棄されているとき、ビデオデコーダ30によって受信されたメッセージは、当該特定のピクチャのために、復号可能リーディングピクチャをもつBLAピクチャ、たとえば、BLA_W_DLP、またはリーディングピクチャをもたないBLAピクチャ、たとえば、BLA_N_LPを示すNALユニットタイプを示し得る。別の例として、特定のピクチャがオリジナルのビットストリーム中でTFDピクチャを有し、TFDピクチャが外部手段によって廃棄されていないとき、ビデオデコーダ30によって受信されたメッセージは、CRAピクチャまたはBLAピクチャのうちの1つのために、非復号可能リーディングピクチャをもつBLAピクチャ、たとえば、BLA_W_TFDを示すNALユニットタイプを示し得る。
[0147]ビデオデコーダ30は、受信されたメッセージに基づいて、特定のピクチャのためのNALユニットタイプを示すために定義された変数、たとえば、UseThisNalUnitTypeを設定する(194)。たとえば、ビデオデコーダ30は、UseThisNalUnitTypeを、特定のピクチャのための受信されたメッセージによって示されたNALユニットタイプに等しく設定し得る。場合によっては、ビデオデコーダ30は、CRAピクチャまたはBLAピクチャのうちの少なくとも1つのためのメッセージを受信し得ない。ビデオデコーダ30は、次いで、UseThisNalUnitTypeを、ビットストリーム中で特定のピクチャのためにシグナリングされたNALユニットタイプに等しく設定し得る。ビデオデコーダ30は、変数に基づいて特定のピクチャのためのNALユニットタイプを設定する(196)。ビデオデコーダ30は、次いで、特定のピクチャのためのNALユニットタイプに基づいて、特定のピクチャのためのCPBパラメータのデフォルトセットまたは代替セットを選択する(198)。
[0148]図9は、ネットワーク200の一部を形成するデバイスの例示的なセットを示すブロック図である。この例では、ネットワーク200は、ルーティングデバイス204A、204B(ルーティングデバイス204)と、トランスコーディングデバイス206とを含む。ルーティングデバイス204およびトランスコーディングデバイス206は、ネットワーク200の一部を形成し得る少数のデバイスを表すことが意図される。スイッチ、ハブ、ゲートウェイ、ファイアウォール、ブリッジ、および他のそのようなデバイスなどの他のネットワークデバイスも、ネットワーク200内に含まれ得る。その上、サーバデバイス202とクライアントデバイス208との間にネットワーク経路に沿って追加のネットワークデバイスが与えられ得る。いくつかの例では、サーバデバイス202は図1のソースデバイス12に対応し得るが、クライアントデバイス208は図1の宛先デバイス14に対応し得る。
[0149]概して、ルーティングデバイス204は、ネットワーク200を介してネットワークデータを交換するための1つまたは複数のルーティングプロトコルを実装する。いくつかの例では、ルーティングデバイス204は、プロキシまたはキャッシュ動作を実行するように構成され得る。したがって、いくつかの例では、ルーティングデバイス204はプロキシデバイスと呼ばれることがある。概して、ルーティングデバイス204は、ネットワーク200を介したルートを発見するためにルーティングプロトコルを実行する。そのようなルーティングプロトコルを実行することによって、ルーティングデバイス204Bは、それ自体からルーティングデバイス204Aを介してサーバデバイス202に至るネットワークルートを発見し得る。
[0150]本開示の技法は、ルーティングデバイス204およびトランスコーディングデバイス206などのネットワークデバイスによって実装され得るが、クライアントデバイス208によっても実装され得る。このように、ルーティングデバイス204、トランスコーディングデバイス206、およびクライアントデバイス208は、本開示の請求の範囲部分に記載されている技法を含む、本開示の技法を実行するように構成されたデバイスの例を表す。その上、図1のデバイス、ならびに図2に示されたエンコーダおよび図3に示されたデコーダも、本開示の請求の範囲部分に記載されている技法を含む、本開示の技法を実行するように構成され得る例示的なデバイスである。
[0151]例によっては、本明細書で説明した技法のうちいずれかの、いくつかの作用またはイベントは、異なるシーケンスで実行され得、追加、マージ、または完全に除外され得る(たとえば、すべての説明した作用またはイベントが、本技法の実施のために必要であるとは限らない)ことを認識されたい。さらに、いくつかの例では、行為またはイベントは、連続してではなくむしろ、同時に、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通して実行され得る。
[0152]1つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つまたは複数のコンピュータあるいは1つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0153]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびBlu−rayディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0154]命令は、1つまたは複数のデジタル信号プロセッサ(DSP)などの1つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明する技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび/またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素中に十分に実装され得る。
[0155]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明した1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
[0156]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
[0156]様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1] ビデオデータを処理する方法であって、前記方法は、
クリーンランダムアクセス(CRA)ピクチャまたはブロークンリンクアクセス(BLA)ピクチャのうちの1つまたは複数を含む複数のピクチャを表すビットストリームを受信することと、
前記CRAピクチャまたは前記BLAピクチャのうちの少なくとも1つのためのコード化ピクチャバッファ(CPB)パラメータの代替セットを使用すべきかどうかを示すメッセージを受信することと、
前記受信されたメッセージに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを示すように定義された変数を設定することと、
前記ピクチャのための前記変数に基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを選択することと、
を備える方法。
[2] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つと、関連する仮想リファレンスデコーダ(HRD)パラメータとを使用してHRDを初期化することをさらに備え、ここで、前記HRDパラメータは、前記ピクチャのためのCPBパラメータの前記選択されたセットを含む、[1]に記載の方法。
[3] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示さず、
CPBパラメータの前記セットを選択することは、前記ピクチャのためのCPBパラメータのデフォルトセットを選択することを備える、
[1]に記載の方法。
[4] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示し、
CPBパラメータの前記セットを選択することは、前記ピクチャのためのCPBパラメータの前記代替セットを選択することを備える、
[1]に記載の方法。
[5] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定することをさらに備え、
CPBパラメータの前記セットを選択することは、前記ピクチャのための前記NALユニットタイプと前記変数とに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを選択することを備える、
[1]に記載の方法。
[6] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、BLAピクチャとして処理されるCRAピクチャを備え、
前記NALユニットタイプを設定することは、前記ピクチャのための前記変数に基づいて、前記BLAピクチャとして処理される前記CRAピクチャのための前記NALユニットタイプを設定することを備える、[5]に記載の方法。
[7] 前記BLAピクチャとして処理される前記CRAピクチャのための前記NALユニットタイプを設定することは、
CPBパラメータの前記代替セットを示す前記ピクチャのための前記変数に基づいて、復号可能リーディングピクチャをもつBLAピクチャを示すように前記ピクチャのための前記NALユニットタイプを設定することと、
CPBパラメータの前記代替セットを示さない前記ピクチャのための前記変数に基づいて、非復号可能リーディングピクチャをもつBLAピクチャを示すように前記ピクチャのための前記NALユニットタイプを設定することと、
を備える、[6]に記載の方法。
[8] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つはCRAピクチャを備え、
前記NALユニットタイプを設定することは、シグナリングされた通りに一般CRAピクチャを示すように前記CRAピクチャのための前記NALユニットタイプを設定することを備える、
[5]に記載の方法。
[9] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つはCRAピクチャを備え、
前記NALユニットタイプを設定することは、シグナリングされた通りに、非復号可能リーディングピクチャをもつCRAピクチャ、復号可能リーディングピクチャをもつCRAピクチャ、またはリーディングピクチャをもたないCRAピクチャのうちの1つを示すように、前記CRAピクチャのための前記NALユニットタイプを設定することを備える、[5]に記載の方法。
[10] 前記メッセージを受信することは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記代替セットを使用すべきかどうかを示す前記メッセージを外部手段から受信することを備える、[1]に記載の方法。
[11] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、オリジナルのビットストリーム中で非復号可能リーディングピクチャを有し、前記非復号可能リーディングピクチャは前記外部手段によって廃棄されており、
前記受信されたメッセージは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記代替セットを使用することを示す、
[10]に記載の方法。
[12] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、オリジナルのビットストリーム中で非復号可能リーディングピクチャを有しなかったか、あるいは前記オリジナルのビットストリーム中で非復号可能リーディングピクチャを有し、前記非復号可能リーディングピクチャは前記外部手段によって廃棄されておらず、
前記受信されたメッセージは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記代替セットを使用することを示さない、
[10]に記載の方法。
[13] 前記CRAピクチャまたは前記BLAピクチャのうちの別の1つのためにCPBパラメータの前記代替セットを使用すべきかどうかを示すメッセージを受信しないことと、
前記CRAピクチャまたは前記BLAピクチャのうちの前記別の1つのためにCPBパラメータの前記代替セットを示さないように前記変数を設定することと、
前記ピクチャのための前記変数に基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記別の1つのためにCPBパラメータの前記セットを選択することと、
をさらに備える、[1]に記載の方法。
[14] 前記CPBパラメータは初期CPB削除遅延と初期CPB削除遅延オフセットとを含む、[1]に記載の方法。
[15] 前記ビデオデータの復号中に前記CPBがオーバーフローしないことを保証するために、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記選択されたセットを、ビデオ復号デバイス中に含まれるCPBに適用することをさらに備える、[1]に記載の方法。
[16] 前記ビデオデータの符号化中に、ビデオ符号化デバイス中に含まれる第1のCPBがオーバーフローしないことを保証するために、および前記ビデオ符号化デバイスによって生成された符号化ビットストリームを受信したときに、ビデオ復号デバイス中に含まれる第2のCPBがオーバーフローしないことを保証するために、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記選択されたセットを、前記ビデオ符号化デバイス中に含まれる前記第1のCPBに適用することをさらに備える、[1]に記載の方法。
[17] ビデオデータを処理するためのビデオコーディングデバイスであって、前記デバイスは、
ビデオデータを記憶するように構成されたコード化ピクチャバッファ(CPB)と、
クリーンランダムアクセス(CRA)ピクチャまたはブロークンリンクアクセス(BLA)ピクチャのうちの1つまたは複数を含む複数のピクチャを表すビットストリームを受信することと、前記CRAピクチャまたは前記BLAピクチャのうちの少なくとも1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信することと、前記受信されたメッセージに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを示すように定義された変数を設定することと、前記ピクチャのための前記変数に基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを選択することと、を行うように構成された1つまたは複数のプロセッサと、
を備える、ビデオコーディングデバイス。
[18] 前記プロセッサは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つと、関連する仮想リファレンスデコーダ(HRD)パラメータとを使用してHRDを初期化するように構成され、ここで、前記HRDパラメータは、前記ピクチャのためのCPBパラメータの前記選択されたセットを含む、[17]に記載のビデオコーディングデバイス。
[19] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示さず、
前記プロセッサは、前記ピクチャのためのCPBパラメータのデフォルトセットを選択するように構成された、
[17]に記載のビデオコーディングデバイス。
[20] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示し、
前記プロセッサは、前記ピクチャのためのCPBパラメータの前記代替セットを選択するように構成された、
[17]に記載のビデオコーディングデバイス。
[21] 前記プロセッサは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定することと、前記ピクチャのための前記NALユニットタイプと前記変数とに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを選択することと、を行うように構成された、[17]に記載のビデオコーディングデバイス。
[22] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、BLAピクチャとして処理されるCRAピクチャを備え、
前記プロセッサは、前記ピクチャのための前記変数に基づいて、前記BLAピクチャとして処理される前記CRAピクチャのための前記NALユニットタイプを設定するように構成された、
[21]に記載のビデオコーディングデバイス。
[23] CPBパラメータの前記代替セットを示す前記ピクチャのための前記変数に基づいて、前記プロセッサは、復号可能リーディングピクチャをもつBLAピクチャを示すように、BLAピクチャとして処理される前記CRAピクチャのための前記NALユニットタイプを設定するように構成され、
CPBパラメータの前記代替セットを示さない前記ピクチャのための前記変数に基づいて、前記パラメータは、非復号可能リーディングピクチャをもつBLAピクチャを示すように、前記BLAピクチャとして処理される前記CRAピクチャのための前記NALユニットタイプを設定するように構成された、
[22]に記載のビデオコーディングデバイス。
[24] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つはCRAピクチャを備え、
前記プロセッサは、シグナリングされた通りに一般CRAピクチャを示すように前記CRAピクチャのための前記NALユニットタイプを設定するように構成された、
[21]に記載のビデオコーディングデバイス。
[25] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つはCRAピクチャを備え、
前記プロセッサは、シグナリングされた通りに、非復号可能リーディングピクチャをもつCRAピクチャ、復号可能リーディングピクチャをもつCRAピクチャ、またはリーディングピクチャをもたないCRAピクチャのうちの1つを示すように、前記CRAピクチャのための前記NALユニットタイプを設定するように構成された、[21]に記載のビデオコーディングデバイス。
[26] 前記プロセッサは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記代替セットを使用すべきかどうかを示す前記メッセージを外部手段から受信するように構成された、[17]に記載のビデオコーディングデバイス。
[27] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、オリジナルのビットストリーム中で非復号可能リーディングピクチャを有し、前記非復号可能リーディングピクチャは前記外部手段によって廃棄されており、
前記受信されたメッセージは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記代替セットを使用することを示す、
[26]に記載のビデオコーディングデバイス。
[28] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、オリジナルのビットストリーム中で非復号可能リーディングピクチャを有しなかったか、あるいは前記オリジナルのビットストリーム中で非復号可能リーディングピクチャを有し、前記非復号可能リーディングピクチャが前記外部手段によって廃棄されておらず、
前記受信されたメッセージは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記代替セットを使用することを示さない、
[26]に記載のビデオコーディングデバイス。
[29] 前記プロセッサは、
前記CRAピクチャまたは前記BLAピクチャのうちの別の1つのためにCPBパラメータの前記代替セットを使用すべきかどうかを示すメッセージを受信しないことと、
前記CRAピクチャまたは前記BLAピクチャのうちの前記別の1つのためにCPBパラメータの前記代替セットを示さないように前記変数を設定することと、
前記ピクチャのための前記変数に基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記別の1つのためにCPBパラメータの前記セットを選択することと、
を行うように構成された、[17]に記載のビデオコーディングデバイス。
[30] 前記CPBパラメータは初期CPB削除遅延と初期CPB削除遅延オフセットとを含む、[17]に記載のビデオコーディングデバイス。
[31] 前記プロセッサは、前記ビデオデータの復号中に前記CPBがオーバーフローしないことを保証するために、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記選択されたセットを、ビデオ復号デバイス中に含まれるCPBに適用するように構成された、[17]に記載のビデオコーディングデバイス。
[32] 前記プロセッサは、前記ビデオデータの符号化中に、ビデオ符号化デバイス中に含まれる第1のCPBがオーバーフローしないことを保証するために、および前記ビデオ符号化デバイスによって生成された符号化ビットストリームを受信したときに、ビデオ復号デバイス中に含まれる第2のCPBがオーバーフローしないことを保証するために、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記選択されたセットを、前記ビデオ符号化デバイス中に含まれる前記第1のCPBに適用するように構成された、[17]に記載のビデオコーディングデバイス。
[33] ビデオデータを処理するためのビデオコーディングデバイスであって、前記デバイスは、
クリーンランダムアクセス(CRA)ピクチャまたはブロークンリンクアクセス(BLA)ピクチャのうちの1つまたは複数を含む複数のピクチャを表すビットストリームを受信するための手段と、
前記CRAピクチャまたは前記BLAピクチャのうちの少なくとも1つのためのコード化ピクチャバッファ(CPB)パラメータの代替セットを使用すべきかどうかを示すメッセージを受信するための手段と、
前記受信されたメッセージに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを示すように定義された変数を設定するための手段と、
前記ピクチャのための前記変数に基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためにCPBパラメータの前記セットを選択するための手段と、
を備える、ビデオコーディングデバイス。
[34] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つと、関連する仮想リファレンスデコーダ(HRD)パラメータとを使用してHRDを初期化するための手段をさらに備え、ここで、前記HRDパラメータは、前記ピクチャのためのCPBパラメータの前記選択されたセットを含む、
[33]に記載のビデオコーディングデバイス。
[35] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示さず、
前記ピクチャのためのCPBパラメータのデフォルトセットを選択するための手段をさらに備える、
[33]に記載のビデオコーディングデバイス。
[36] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示し、
前記ピクチャのためのCPBパラメータの前記代替セットを選択するための手段をさらに備える、
[33]に記載のビデオコーディングデバイス。
[37] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためにネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定するための手段と、
前記ピクチャのための前記NALユニットタイプと前記変数とに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためにCPBパラメータの前記セットを選択するための手段とをさらに備える、[33]に記載のビデオコーディングデバイス。
[38] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、BLAピクチャとして処理されるCRAピクチャを備え、
前記ピクチャのための前記変数に基づいて、前記BLAピクチャとして処理される前記CRAピクチャのために前記NALユニットタイプを設定するための手段をさらに備える、[37]に記載のビデオコーディングデバイス。
[39] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためにCPBパラメータの前記代替セットを使用すべきかどうかを示す前記メッセージを外部手段から受信するための手段をさらに備える、[33]に記載のビデオコーディングデバイス。
[40] 前記ビデオデータの復号中に前記CPBがオーバーフローしないことを保証するために、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記選択されたセットを、ビデオ復号デバイス中に含まれるCPBに適用するための手段をさらに備える、[33]に記載のビデオコーディングデバイス。
[41] 前記ビデオデータの符号化中に、ビデオ符号化デバイス中に含まれる第1のCPBがオーバーフローしないことを保証するために、および前記ビデオ符号化デバイスによって生成された符号化ビットストリームを受信したときに、ビデオ復号デバイス中に含まれる第2のCPBがオーバーフローしないことを保証するために、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記選択されたセットを、前記ビデオ符号化デバイス中に含まれる前記第1のCPBに適用するための手段をさらに備える、[33]に記載のビデオコーディングデバイス。
[42] ビデオデータを処理するための命令を備えるコンピュータ可読媒体であって、前記命令は、実行されたとき、1つまたは複数のプロセッサに、
クリーンランダムアクセス(CRA)ピクチャまたはブロークンリンクアクセス(BLA)ピクチャのうちの1つまたは複数を含む複数のピクチャを表すビットストリームを受信することと、
前記CRAピクチャまたは前記BLAピクチャのうちの少なくとも1つのためのコード化ピクチャバッファ(CPB)パラメータの代替セットを使用すべきかどうかを示すメッセージを受信することと、
前記受信されたメッセージに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを示すように定義された変数を設定することと、
前記ピクチャのための前記変数に基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを選択することと、
を行わせる、コンピュータ可読媒体。
[43] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示さず、
前記命令は、前記プロセッサに、前記ピクチャのためのCPBパラメータのデフォルトセットを選択させる、
[42]に記載のコンピュータ可読媒体。
[44] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示し、
前記命令は、前記プロセッサに、前記ピクチャのためのCPBパラメータの前記代替セットを選択させる、
[42]に記載のコンピュータ可読媒体。
[45] 前記命令は、前記プロセッサに、
前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定させ、
前記ピクチャのための前記NALユニットタイプと前記変数とに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを選択させる、
[42]に記載のコンピュータ可読媒体。
[46] 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、BLAピクチャとして処理されるCRAピクチャを備え、
前記命令は、前記プロセッサに、前記ピクチャのための前記変数に基づいて、前記BLAピクチャとして処理される前記CRAピクチャのための前記NALユニットタイプを設定させる、
[45]に記載のコンピュータ可読媒体。

Claims (46)

  1. ビデオデータを処理する方法であって、前記方法は、
    クリーンランダムアクセス(CRA)ピクチャまたはブロークンリンクアクセス(BLA)ピクチャのうちの1つまたは複数を含む複数のピクチャを表すビットストリームを受信することと、
    前記CRAピクチャまたは前記BLAピクチャのうちの少なくとも1つのためのコード化ピクチャバッファ(CPB)パラメータの代替セットを使用すべきかどうかを示すメッセージを受信することと、
    前記受信されたメッセージに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを示すように定義された変数を設定することと、
    前記ピクチャのための前記変数に基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを選択することと、
    を備える方法。
  2. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つと、関連する仮想リファレンスデコーダ(HRD)パラメータとを使用してHRDを初期化することをさらに備え、ここで、前記HRDパラメータは、前記ピクチャのためのCPBパラメータの前記選択されたセットを含む、請求項1に記載の方法。
  3. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示さず、
    CPBパラメータの前記セットを選択することは、前記ピクチャのためのCPBパラメータのデフォルトセットを選択することを備える、
    請求項1に記載の方法。
  4. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示し、
    CPBパラメータの前記セットを選択することは、前記ピクチャのためのCPBパラメータの前記代替セットを選択することを備える、
    請求項1に記載の方法。
  5. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定することをさらに備え、
    CPBパラメータの前記セットを選択することは、前記ピクチャのための前記NALユニットタイプと前記変数とに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを選択することを備える、
    請求項1に記載の方法。
  6. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、BLAピクチャとして処理されるCRAピクチャを備え、
    前記NALユニットタイプを設定することは、前記ピクチャのための前記変数に基づいて、前記BLAピクチャとして処理される前記CRAピクチャのための前記NALユニットタイプを設定することを備える、請求項5に記載の方法。
  7. 前記BLAピクチャとして処理される前記CRAピクチャのための前記NALユニットタイプを設定することは、
    CPBパラメータの前記代替セットを示す前記ピクチャのための前記変数に基づいて、復号可能リーディングピクチャをもつBLAピクチャを示すように前記ピクチャのための前記NALユニットタイプを設定することと、
    CPBパラメータの前記代替セットを示さない前記ピクチャのための前記変数に基づいて、非復号可能リーディングピクチャをもつBLAピクチャを示すように前記ピクチャのための前記NALユニットタイプを設定することと、
    を備える、請求項6に記載の方法。
  8. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つはCRAピクチャを備え、
    前記NALユニットタイプを設定することは、シグナリングされた通りに一般CRAピクチャを示すように前記CRAピクチャのための前記NALユニットタイプを設定することを備える、
    請求項5に記載の方法。
  9. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つはCRAピクチャを備え、
    前記NALユニットタイプを設定することは、シグナリングされた通りに、非復号可能リーディングピクチャをもつCRAピクチャ、復号可能リーディングピクチャをもつCRAピクチャ、またはリーディングピクチャをもたないCRAピクチャのうちの1つを示すように、前記CRAピクチャのための前記NALユニットタイプを設定することを備える、請求項5に記載の方法。
  10. 前記メッセージを受信することは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記代替セットを使用すべきかどうかを示す前記メッセージを外部手段から受信することを備える、請求項1に記載の方法。
  11. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、オリジナルのビットストリーム中で非復号可能リーディングピクチャを有し、前記非復号可能リーディングピクチャは前記外部手段によって廃棄されており、
    前記受信されたメッセージは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記代替セットを使用することを示す、
    請求項10に記載の方法。
  12. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、オリジナルのビットストリーム中で非復号可能リーディングピクチャを有しなかったか、あるいは前記オリジナルのビットストリーム中で非復号可能リーディングピクチャを有し、前記非復号可能リーディングピクチャは前記外部手段によって廃棄されておらず、
    前記受信されたメッセージは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記代替セットを使用することを示さない、
    請求項10に記載の方法。
  13. 前記CRAピクチャまたは前記BLAピクチャのうちの別の1つのためにCPBパラメータの前記代替セットを使用すべきかどうかを示すメッセージを受信しないことと、
    前記CRAピクチャまたは前記BLAピクチャのうちの前記別の1つのためにCPBパラメータの前記代替セットを示さないように前記変数を設定することと、
    前記ピクチャのための前記変数に基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記別の1つのためにCPBパラメータの前記セットを選択することと、
    をさらに備える、請求項1に記載の方法。
  14. 前記CPBパラメータは初期CPB削除遅延と初期CPB削除遅延オフセットとを含む、請求項1に記載の方法。
  15. 前記ビデオデータの復号中に前記CPBがオーバーフローしないことを保証するために、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記選択されたセットを、ビデオ復号デバイス中に含まれるCPBに適用することをさらに備える、請求項1に記載の方法。
  16. 前記ビデオデータの符号化中に、ビデオ符号化デバイス中に含まれる第1のCPBがオーバーフローしないことを保証するために、および前記ビデオ符号化デバイスによって生成された符号化ビットストリームを受信したときに、ビデオ復号デバイス中に含まれる第2のCPBがオーバーフローしないことを保証するために、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記選択されたセットを、前記ビデオ符号化デバイス中に含まれる前記第1のCPBに適用することをさらに備える、請求項1に記載の方法。
  17. ビデオデータを処理するためのビデオコーディングデバイスであって、前記デバイスは、
    ビデオデータを記憶するように構成されたコード化ピクチャバッファ(CPB)と、
    クリーンランダムアクセス(CRA)ピクチャまたはブロークンリンクアクセス(BLA)ピクチャのうちの1つまたは複数を含む複数のピクチャを表すビットストリームを受信することと、前記CRAピクチャまたは前記BLAピクチャのうちの少なくとも1つのためのCPBパラメータの代替セットを使用すべきかどうかを示すメッセージを受信することと、前記受信されたメッセージに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを示すように定義された変数を設定することと、前記ピクチャのための前記変数に基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを選択することと、を行うように構成された1つまたは複数のプロセッサと、
    を備える、ビデオコーディングデバイス。
  18. 前記プロセッサは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つと、関連する仮想リファレンスデコーダ(HRD)パラメータとを使用してHRDを初期化するように構成され、ここで、前記HRDパラメータは、前記ピクチャのためのCPBパラメータの前記選択されたセットを含む、請求項17に記載のビデオコーディングデバイス。
  19. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示さず、
    前記プロセッサは、前記ピクチャのためのCPBパラメータのデフォルトセットを選択するように構成された、
    請求項17に記載のビデオコーディングデバイス。
  20. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示し、
    前記プロセッサは、前記ピクチャのためのCPBパラメータの前記代替セットを選択するように構成された、
    請求項17に記載のビデオコーディングデバイス。
  21. 前記プロセッサは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定することと、前記ピクチャのための前記NALユニットタイプと前記変数とに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを選択することと、を行うように構成された、請求項17に記載のビデオコーディングデバイス。
  22. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、BLAピクチャとして処理されるCRAピクチャを備え、
    前記プロセッサは、前記ピクチャのための前記変数に基づいて、前記BLAピクチャとして処理される前記CRAピクチャのための前記NALユニットタイプを設定するように構成された、
    請求項21に記載のビデオコーディングデバイス。
  23. CPBパラメータの前記代替セットを示す前記ピクチャのための前記変数に基づいて、前記プロセッサは、復号可能リーディングピクチャをもつBLAピクチャを示すように、BLAピクチャとして処理される前記CRAピクチャのための前記NALユニットタイプを設定するように構成され、
    CPBパラメータの前記代替セットを示さない前記ピクチャのための前記変数に基づいて、前記パラメータは、非復号可能リーディングピクチャをもつBLAピクチャを示すように、前記BLAピクチャとして処理される前記CRAピクチャのための前記NALユニットタイプを設定するように構成された、
    請求項22に記載のビデオコーディングデバイス。
  24. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つはCRAピクチャを備え、
    前記プロセッサは、シグナリングされた通りに一般CRAピクチャを示すように前記CRAピクチャのための前記NALユニットタイプを設定するように構成された、
    請求項21に記載のビデオコーディングデバイス。
  25. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つはCRAピクチャを備え、
    前記プロセッサは、シグナリングされた通りに、非復号可能リーディングピクチャをもつCRAピクチャ、復号可能リーディングピクチャをもつCRAピクチャ、またはリーディングピクチャをもたないCRAピクチャのうちの1つを示すように、前記CRAピクチャのための前記NALユニットタイプを設定するように構成された、請求項21に記載のビデオコーディングデバイス。
  26. 前記プロセッサは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記代替セットを使用すべきかどうかを示す前記メッセージを外部手段から受信するように構成された、請求項17に記載のビデオコーディングデバイス。
  27. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、オリジナルのビットストリーム中で非復号可能リーディングピクチャを有し、前記非復号可能リーディングピクチャは前記外部手段によって廃棄されており、
    前記受信されたメッセージは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記代替セットを使用することを示す、
    請求項26に記載のビデオコーディングデバイス。
  28. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、オリジナルのビットストリーム中で非復号可能リーディングピクチャを有しなかったか、あるいは前記オリジナルのビットストリーム中で非復号可能リーディングピクチャを有し、前記非復号可能リーディングピクチャが前記外部手段によって廃棄されておらず、
    前記受信されたメッセージは、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記代替セットを使用することを示さない、
    請求項26に記載のビデオコーディングデバイス。
  29. 前記プロセッサは、
    前記CRAピクチャまたは前記BLAピクチャのうちの別の1つのためにCPBパラメータの前記代替セットを使用すべきかどうかを示すメッセージを受信しないことと、
    前記CRAピクチャまたは前記BLAピクチャのうちの前記別の1つのためにCPBパラメータの前記代替セットを示さないように前記変数を設定することと、
    前記ピクチャのための前記変数に基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記別の1つのためにCPBパラメータの前記セットを選択することと、
    を行うように構成された、請求項17に記載のビデオコーディングデバイス。
  30. 前記CPBパラメータは初期CPB削除遅延と初期CPB削除遅延オフセットとを含む、請求項17に記載のビデオコーディングデバイス。
  31. 前記プロセッサは、前記ビデオデータの復号中に前記CPBがオーバーフローしないことを保証するために、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記選択されたセットを、ビデオ復号デバイス中に含まれるCPBに適用するように構成された、請求項17に記載のビデオコーディングデバイス。
  32. 前記プロセッサは、前記ビデオデータの符号化中に、ビデオ符号化デバイス中に含まれる第1のCPBがオーバーフローしないことを保証するために、および前記ビデオ符号化デバイスによって生成された符号化ビットストリームを受信したときに、ビデオ復号デバイス中に含まれる第2のCPBがオーバーフローしないことを保証するために、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記選択されたセットを、前記ビデオ符号化デバイス中に含まれる前記第1のCPBに適用するように構成された、請求項17に記載のビデオコーディングデバイス。
  33. ビデオデータを処理するためのビデオコーディングデバイスであって、前記デバイスは、
    クリーンランダムアクセス(CRA)ピクチャまたはブロークンリンクアクセス(BLA)ピクチャのうちの1つまたは複数を含む複数のピクチャを表すビットストリームを受信するための手段と、
    前記CRAピクチャまたは前記BLAピクチャのうちの少なくとも1つのためのコード化ピクチャバッファ(CPB)パラメータの代替セットを使用すべきかどうかを示すメッセージを受信するための手段と、
    前記受信されたメッセージに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを示すように定義された変数を設定するための手段と、
    前記ピクチャのための前記変数に基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためにCPBパラメータの前記セットを選択するための手段と、
    を備える、ビデオコーディングデバイス。
  34. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つと、関連する仮想リファレンスデコーダ(HRD)パラメータとを使用してHRDを初期化するための手段をさらに備え、ここで、前記HRDパラメータは、前記ピクチャのためのCPBパラメータの前記選択されたセットを含む、
    請求項33に記載のビデオコーディングデバイス。
  35. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示さず、
    前記ピクチャのためのCPBパラメータのデフォルトセットを選択するための手段をさらに備える、
    請求項33に記載のビデオコーディングデバイス。
  36. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示し、
    前記ピクチャのためのCPBパラメータの前記代替セットを選択するための手段をさらに備える、
    請求項33に記載のビデオコーディングデバイス。
  37. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためにネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定するための手段と、
    前記ピクチャのための前記NALユニットタイプと前記変数とに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためにCPBパラメータの前記セットを選択するための手段とをさらに備える、請求項33に記載のビデオコーディングデバイス。
  38. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、BLAピクチャとして処理されるCRAピクチャを備え、
    前記ピクチャのための前記変数に基づいて、前記BLAピクチャとして処理される前記CRAピクチャのために前記NALユニットタイプを設定するための手段をさらに備える、請求項37に記載のビデオコーディングデバイス。
  39. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためにCPBパラメータの前記代替セットを使用すべきかどうかを示す前記メッセージを外部手段から受信するための手段をさらに備える、請求項33に記載のビデオコーディングデバイス。
  40. 前記ビデオデータの復号中に前記CPBがオーバーフローしないことを保証するために、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記選択されたセットを、ビデオ復号デバイス中に含まれるCPBに適用するための手段をさらに備える、請求項33に記載のビデオコーディングデバイス。
  41. 前記ビデオデータの符号化中に、ビデオ符号化デバイス中に含まれる第1のCPBがオーバーフローしないことを保証するために、および前記ビデオ符号化デバイスによって生成された符号化ビットストリームを受信したときに、ビデオ復号デバイス中に含まれる第2のCPBがオーバーフローしないことを保証するために、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記選択されたセットを、前記ビデオ符号化デバイス中に含まれる前記第1のCPBに適用するための手段をさらに備える、請求項33に記載のビデオコーディングデバイス。
  42. ビデオデータを処理するための命令を備えるコンピュータ可読媒体であって、前記命令は、実行されたとき、1つまたは複数のプロセッサに、
    クリーンランダムアクセス(CRA)ピクチャまたはブロークンリンクアクセス(BLA)ピクチャのうちの1つまたは複数を含む複数のピクチャを表すビットストリームを受信することと、
    前記CRAピクチャまたは前記BLAピクチャのうちの少なくとも1つのためのコード化ピクチャバッファ(CPB)パラメータの代替セットを使用すべきかどうかを示すメッセージを受信することと、
    前記受信されたメッセージに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを示すように定義された変数を設定することと、
    前記ピクチャのための前記変数に基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを選択することと、
    を行わせる、コンピュータ可読媒体。
  43. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示さず、
    前記命令は、前記プロセッサに、前記ピクチャのためのCPBパラメータのデフォルトセットを選択させる、
    請求項42に記載のコンピュータ可読媒体。
  44. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、非復号可能リーディングピクチャをもつBLAピクチャを示すネットワークアブストラクションレイヤ(NAL)ユニットタイプをもつCRAピクチャまたはBLAピクチャのうちの1つを備え、前記ピクチャのための前記変数はCPBパラメータの前記代替セットを示し、
    前記命令は、前記プロセッサに、前記ピクチャのためのCPBパラメータの前記代替セットを選択させる、
    請求項42に記載のコンピュータ可読媒体。
  45. 前記命令は、前記プロセッサに、
    前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのネットワークアブストラクションレイヤ(NAL)ユニットタイプを設定させ、
    前記ピクチャのための前記NALユニットタイプと前記変数とに基づいて、前記CRAピクチャまたは前記BLAピクチャのうちの前記1つのためのCPBパラメータの前記セットを選択させる、
    請求項42に記載のコンピュータ可読媒体。
  46. 前記CRAピクチャまたは前記BLAピクチャのうちの前記1つは、BLAピクチャとして処理されるCRAピクチャを備え、
    前記命令は、前記プロセッサに、前記ピクチャのための前記変数に基づいて、前記BLAピクチャとして処理される前記CRAピクチャのための前記NALユニットタイプを設定させる、
    請求項45に記載のコンピュータ可読媒体。
JP2015533079A 2012-09-20 2013-08-27 改善されたランダムアクセスポイントピクチャ挙動を用いたビデオコーディング Active JP6271558B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261703695P 2012-09-20 2012-09-20
US61/703,695 2012-09-20
US13/952,340 2013-07-26
US13/952,340 US9374583B2 (en) 2012-09-20 2013-07-26 Video coding with improved random access point picture behaviors
PCT/US2013/056904 WO2014046850A1 (en) 2012-09-20 2013-08-27 Video coding with improved random access point picture behaviors

Publications (3)

Publication Number Publication Date
JP2015533048A true JP2015533048A (ja) 2015-11-16
JP2015533048A5 JP2015533048A5 (ja) 2016-09-29
JP6271558B2 JP6271558B2 (ja) 2018-01-31

Family

ID=50274437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015533079A Active JP6271558B2 (ja) 2012-09-20 2013-08-27 改善されたランダムアクセスポイントピクチャ挙動を用いたビデオコーディング

Country Status (24)

Country Link
US (1) US9374583B2 (ja)
EP (1) EP2898677B1 (ja)
JP (1) JP6271558B2 (ja)
KR (1) KR101721344B1 (ja)
CN (1) CN104641637B (ja)
AR (1) AR093236A1 (ja)
AU (1) AU2013318467B2 (ja)
BR (1) BR112015006059B1 (ja)
CA (1) CA2883439C (ja)
DK (1) DK2898677T3 (ja)
ES (1) ES2684546T3 (ja)
HK (1) HK1205841A1 (ja)
HU (1) HUE039076T2 (ja)
IL (1) IL237365B (ja)
MY (1) MY181728A (ja)
PH (1) PH12015500517B1 (ja)
PT (1) PT2898677T (ja)
RU (1) RU2624100C2 (ja)
SG (1) SG11201501407TA (ja)
SI (1) SI2898677T1 (ja)
TW (1) TWI559774B (ja)
UA (1) UA117462C2 (ja)
WO (1) WO2014046850A1 (ja)
ZA (1) ZA201502302B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113785584A (zh) * 2019-03-01 2021-12-10 弗劳恩霍夫应用研究促进协会 假想参考解码器

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185992A (zh) * 2012-02-08 2014-12-03 汤姆逊许可公司 用于使用假设参考解码器的超低延迟模式的方法和装置
US9351016B2 (en) 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US20140003520A1 (en) * 2012-07-02 2014-01-02 Cisco Technology, Inc. Differentiating Decodable and Non-Decodable Pictures After RAP Pictures
US9374585B2 (en) * 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US10264272B2 (en) * 2013-10-15 2019-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
US9826232B2 (en) * 2014-01-08 2017-11-21 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US10116576B2 (en) * 2015-10-19 2018-10-30 Samsung Electronics Co., Ltd. Methods and apparatus for random access of HEVC bitstream for MMT
WO2020139829A1 (en) * 2018-12-27 2020-07-02 Futurewei Technologies, Inc. On intra random access point pictures and leading pictures in video coding
MX2021012094A (es) * 2019-04-03 2021-11-03 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes.
US11695965B1 (en) 2022-10-13 2023-07-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010232720A (ja) * 2009-03-25 2010-10-14 Toshiba Corp 画像符号化方法および画像復号化方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
US8599925B2 (en) * 2005-08-12 2013-12-03 Microsoft Corporation Efficient coding and decoding of transform blocks
US8358665B2 (en) 2008-08-15 2013-01-22 Qualcomm Incorporated Method and apparatus for controlling the presentation of multimedia data from a multiplex signal between devices in a local area network
US20100098156A1 (en) 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
US8665964B2 (en) 2009-06-30 2014-03-04 Qualcomm Incorporated Video coding based on first order prediction and pre-defined second order prediction mode
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US8861599B2 (en) * 2011-03-08 2014-10-14 Sony Corporation Context reduction for last transform position coding
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US9026671B2 (en) 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods
JP5993453B2 (ja) 2011-07-15 2016-09-14 テレフオンアクチーボラゲット エルエム エリクソン(パブル) クリーンランダムアクセス画像に最下レイヤ識別情報を割り当てるための符号器およびその方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010232720A (ja) * 2009-03-25 2010-10-14 Toshiba Corp 画像符号化方法および画像復号化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS(外4名): "High efficiency video coding (HEVC) text specification draft 8", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC, JPN6016036430, 28 July 2012 (2012-07-28), US, pages 203 - 250, ISSN: 0003630938 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113785584A (zh) * 2019-03-01 2021-12-10 弗劳恩霍夫应用研究促进协会 假想参考解码器
JP2022522767A (ja) * 2019-03-01 2022-04-20 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 仮想参照デコーダ
JP7346585B2 (ja) 2019-03-01 2023-09-19 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 仮想参照デコーダ
US11936889B2 (en) 2019-03-01 2024-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Hypothetical reference decoder

Also Published As

Publication number Publication date
SI2898677T1 (en) 2018-08-31
KR101721344B1 (ko) 2017-03-29
BR112015006059B1 (pt) 2023-04-11
EP2898677B1 (en) 2018-05-30
ES2684546T3 (es) 2018-10-03
RU2624100C2 (ru) 2017-06-30
WO2014046850A1 (en) 2014-03-27
TW201424392A (zh) 2014-06-16
PT2898677T (pt) 2018-10-08
TWI559774B (zh) 2016-11-21
IL237365B (en) 2018-05-31
AR093236A1 (es) 2015-05-27
US20140079140A1 (en) 2014-03-20
AU2013318467B2 (en) 2017-04-20
EP2898677A1 (en) 2015-07-29
JP6271558B2 (ja) 2018-01-31
CN104641637A (zh) 2015-05-20
SG11201501407TA (en) 2015-04-29
HK1205841A1 (en) 2015-12-24
CN104641637B (zh) 2019-04-02
UA117462C2 (uk) 2018-08-10
AU2013318467A1 (en) 2015-03-19
ZA201502302B (en) 2021-09-29
DK2898677T3 (en) 2018-08-27
CA2883439C (en) 2017-08-01
BR112015006059A2 (pt) 2017-07-04
IL237365A0 (en) 2015-04-30
CA2883439A1 (en) 2014-03-27
MY181728A (en) 2021-01-05
KR20150060776A (ko) 2015-06-03
HUE039076T2 (hu) 2018-12-28
US9374583B2 (en) 2016-06-21
PH12015500517A1 (en) 2015-04-27
PH12015500517B1 (en) 2015-04-27
RU2015114441A (ru) 2016-11-10

Similar Documents

Publication Publication Date Title
JP6271558B2 (ja) 改善されたランダムアクセスポイントピクチャ挙動を用いたビデオコーディング
JP6162236B2 (ja) ビデオコード化のためのseinalのコード化
JP6224080B2 (ja) ビデオコーディングにおけるクリーンランダムアクセスピクチャからのフルランダムアクセス
JP6009569B2 (ja) 参照ピクチャシグナリングおよび復号ピクチャバッファ管理
JP6117341B2 (ja) ビデオコーディングにおけるパラメータセットの更新
JP6169723B2 (ja) ビデオコーディングにおけるランダムアクセスのためのビデオバッファリング動作
US9479776B2 (en) Signaling of long-term reference pictures for video coding
JP6158422B2 (ja) アラインされていないirapピクチャを含み得るマルチレイヤビットストリームのクロスレイヤpocアラインメント
JP2018110425A (ja) ビデオコード化における低遅延バッファリングモデル
US10123030B2 (en) Streaming adaption based on clean random access (CRA) pictures
JP6177884B2 (ja) パラメータセットコーディング
JP2018509035A (ja) 適応型成分間残差予測
JP2017522799A (ja) ビットストリームパーティションのためのhrdパラメータを信号伝達すること
JP2015532554A (ja) ビデオプロパティの指示

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160805

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160805

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171227

R150 Certificate of patent or registration of utility model

Ref document number: 6271558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250