JP2014535219A - ビデオコーディングにおける高度な復号ピクチャバッファ(dpb)管理によるランダムアクセス - Google Patents

ビデオコーディングにおける高度な復号ピクチャバッファ(dpb)管理によるランダムアクセス Download PDF

Info

Publication number
JP2014535219A
JP2014535219A JP2014540043A JP2014540043A JP2014535219A JP 2014535219 A JP2014535219 A JP 2014535219A JP 2014540043 A JP2014540043 A JP 2014540043A JP 2014540043 A JP2014540043 A JP 2014540043A JP 2014535219 A JP2014535219 A JP 2014535219A
Authority
JP
Japan
Prior art keywords
picture
pictures
decoding
cvs
decoding order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014540043A
Other languages
English (en)
Other versions
JP5837216B2 (ja
Inventor
チェン、イン
ワン、イェ—クイ
ワン、イェ―クイ
チェン、ジャンレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014535219A publication Critical patent/JP2014535219A/ja
Application granted granted Critical
Publication of JP5837216B2 publication Critical patent/JP5837216B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一例として、ビデオデータを復号するための技法が、コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを含むビットストリームを受信することと、復号順序による、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャである第1のピクチャを復号することと、復号順序により第1のピクチャの後に来る少なくとも1つの他のピクチャを、復号された第1のピクチャに基づいて復号することとを含む。別の例として、ビデオデータを符号化するための技法が、CVSの1つまたは複数のピクチャを含むビットストリームを生成することであって、復号順序による第1のピクチャが、IDRピクチャではないRAPピクチャである、ことと、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の少なくとも1つの他のピクチャをビットストリームに含めるのを回避することとを含む。

Description

本出願は、各々の内容全体が参照により本明細書に組み込まれる、2011年10月31日に出願された米国仮出願第61/553,802号、および2012年2月6日に出願された米国仮出願第61/595,605号の利益を主張する。
本開示は、ビデオコーディングに関し、より詳細には、ビデオコーディングプロセスによって生成されたビデオデータのフレームをコーディングすることに関する。
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4、Part 10、アドバンストビデオコーディング(「AVC」:Advanced Video Coding)、現在開発中の高効率ビデオコーディング(HEVC)規格によって定義された規格、およびそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。ビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために空間的(イントラピクチャ)予測および/または時間的(インターピクチャ)予測を実行する。ブロックベースのビデオコーディングでは、ビデオスライス(すなわち、ビデオフレームまたはビデオフレームの一部)はビデオブロックに区分され得、これらのビデオブロックは、ツリーブロック、コーディングユニット(CU:coding unit)および/またはコーディングノードと呼ばれることがある。ピクチャのイントラコード化(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
空間的予測または時間的予測は、コーディングされるべきブロックの予測ブロックをもたらす。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトル、およびコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードと残差データとに従って符号化される。さらなる圧縮のために、残差データは、ピクセル領域から変換領域に変換されて、残差変換係数が得られ得、その残差変換係数は、次いで量子化され得る。最初は2次元アレイに構成される、量子化変換係数は、変換係数の1次元ベクトルを生じさせるために走査され得る。次いで、エントロピーコーディングが適用されて、なお一層の圧縮を達成することができる。
本開示は、ビデオコーディングにおけるランダムアクセスのための技法について説明する。詳細には、本開示は、1つまたは複数のフレーム、または「ピクチャ」を含むビデオシーケンスをコーディングするためのいくつかの技法であって、準拠ビットストリームにおける特定のコード化ビデオシーケンス(CVS)の第1のコード化ピクチャが、瞬時復号リフレッシュ(IDR:instantaneous decoding refresh)ピクチャではないランダムアクセスポイント(RAP)ピクチャであり得る、技法について説明する。たとえば、本技法によれば、第1のコード化ピクチャは、クリーンランダムアクセス(CRA)ピクチャであり得る。
一例として、本開示の技法は、本技法に準拠するビデオデコーダが予測可能なおよび定義された、または「標準的な」方法で、そのような非IDR RAPピクチャから開始するビットストリームを正常に復号することを可能にし得る。たとえば、開示される技法は、準拠ビデオデコーダが、同じくビットストリーム中に含まれる第1のコード化ピクチャに関連するいわゆる「先行ピクチャ」の様々な出力特性および参照特性を操作することを可能にし得る。その結果、本技法は、他の技法と比較して、ビデオデコーダによるビットストリームの相対的に改善されたランダムアクセスを可能にし得る。たとえば、本技法は、他の技法(たとえば、IDRピクチャからのみビットストリームのランダムアクセスを許容する技法)と比較して、ビデオデコーダがビットストリームの比較的より多くの開始ポイント、またはアクセスピクチャ(すなわち、非IDRピクチャ)においてビットストリームを復号することを可能にすることによって、ビットストリームの「より精度の高い(finer)」またはよりきめの細かい(more granular)ランダムアクセスを促進することができる。さらに、本技法は、準拠ビデオデコーダが、たとえば、第1のピクチャに関連する先行ピクチャを出力すること、および/または参照ピクチャとして使用することを回避することによって、同じくビットストリーム中に含まれる1つまたは複数の他のピクチャの視覚的品質を改善することを可能にし得る。
代替的に、別の例として、開示される技法は、本技法に準拠するビデオエンコーダが、非IDR RAPピクチャであるビットストリームの第1のコード化ピクチャに関連する先行ピクチャを除くビットストリームを生成することを可能にし得る。その結果、同じく開示される技法に準拠するビデオデコーダは、予測可能なおよび定義された方法でビットストリームを正常に復号することができる。
したがって、本開示の技法を使用することで、一般に、様々なビデオアプリケーションにおいて頻繁に発生し得るビットストリームランダムアクセスに関して、ビデオ符号化および復号システムおよびデバイスの相互運用性とユーザエクスペリエンスとを改善することができる。
本開示の一例では、ビデオデータを復号する方法が、CVSの1つまたは複数のピクチャを備えるビットストリームを受信することと、CVSに関連する復号順序による1つまたは複数のピクチャの、IDRピクチャではないRAPピクチャである第1のピクチャを復号することと、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを、復号された第1のピクチャに基づいて復号することとを含む。
本開示の別の例では、ビデオデータを符号化する方法が、CVSの1つまたは複数のピクチャを備えるビットストリームを生成することを含み、CVSに関連する復号順序による1つまたは複数のピクチャの第1のピクチャは、IDRピクチャではないRAPピクチャであり、ビットストリームを生成することは、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つをビットストリームに含めるのを回避することを備え、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャを備え、第1のピクチャは復号可能であり、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つは、第1のピクチャに基づいて復号可能である。
本開示の別の例では、ビデオデータを復号するように構成された装置が、CVSの1つまたは複数のピクチャを備えるビットストリームを受信することと、CVSに関連する復号順序による1つまたは複数のピクチャの、IDRピクチャではないRAPピクチャである第1のピクチャを復号することと、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを、復号された第1のピクチャに基づいて復号することとを行うように構成されたビデオデコーダを含む。
本開示の別の例では、ビデオデータを符号化するように構成された装置が、CVSの1つまたは複数のピクチャを備えるビットストリームを生成するように構成されたビデオエンコーダを含み、CVSに関連する復号順序による1つまたは複数のピクチャの第1のピクチャは、IDRピクチャではないRAPピクチャであり、ビットストリームを生成するにあたり、ビデオエンコーダは、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つをビットストリームに含めるのを回避するように構成され、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャを備え、第1のピクチャは復号可能であり、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つは、第1のピクチャに基づいて復号可能である。
本開示の別の例では、ビデオデータを復号するためのデバイスが、CVSの1つまたは複数のピクチャを備えるビットストリームを受信するための手段と、CVSに関連する復号順序による1つまたは複数のピクチャの、IDRピクチャではないRAPピクチャである第1のピクチャを復号するための手段と、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを、復号された第1のピクチャに基づいて復号するための手段とを含む。
本開示の別の例では、ビデオデータを符号化するためのデバイスが、CVSの1つまたは複数のピクチャを備えるビットストリームを生成するための手段を含み、CVSに関連する復号順序による1つまたは複数のピクチャの第1のピクチャは、IDRピクチャではないRAPピクチャであり、ビットストリームを生成するための手段は、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つをビットストリームに含めるのを回避するための手段を備え、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャを備え、第1のピクチャは復号可能であり、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つは、第1のピクチャに基づいて復号可能である。
本開示で説明する技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せで実装され得る。ハードウェアで実装される場合、装置は、集積回路、プロセッサ、ディスクリート論理、またはそれらの任意の組合せとして実現され得る。ソフトウェアで実装される場合、ソフトウェアは、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはデジタル信号プロセッサ(DSP)など、1つまたは複数のプロセッサで実行され得る。本技法を実行するソフトウェアは、最初に有形コンピュータ可読媒体に記憶され、プロセッサにロードされ、実行され得る。
したがって、別の例では、本開示は、実行されたとき、1つまたは複数のプロセッサに、CVSの1つまたは複数のピクチャを備えるビットストリームを受信することと、CVSに関連する復号順序による1つまたは複数のピクチャの、IDRピクチャではないRAPピクチャである第1のピクチャを復号することと、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを、復号された第1のピクチャに基づいて復号することとを行わせる命令を記憶しているコンピュータ可読記憶媒体を企図する。
別の例では、本開示は、実行されたとき、1つまたは複数のプロセッサに、CVSの1つまたは複数のピクチャを備えるビットストリームを生成することを行わせる命令を記憶しているコンピュータ可読記憶媒体を企図し、CVSに関連する復号順序による1つまたは複数のピクチャの第1のピクチャは、IDRピクチャではないRAPピクチャであり、1つまたは複数のプロセッサに、ビットストリームを生成することを行わせる命令は、1つまたは複数のプロセッサに、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つをビットストリームに含めるのを回避することを行わせる命令を備え、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャを備え、第1のピクチャは復号可能であり、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つは、第1のピクチャに基づいて復号可能である。
1つまたは複数の例の詳細は、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、その説明および図面から、ならびに特許請求の範囲から明らかになろう。
本開示の技法に一致する、高度なデコーダピクチャバッファ(DPB)管理によるランダムアクセスのための技法を実行することができるビデオ符号化および復号システムの例を示すブロック図。 本開示の技法に一致する、高度なDPB管理によるランダムアクセスのための技法を実行することができるビデオエンコーダの例を示すブロック図。 本開示の技法に一致する、高度なDPB管理によるランダムアクセスのための技法を実行することができるビデオデコーダの例を示すブロック図。 本開示の技法に一致する、ビデオデータのピクチャグループ(GOP)のピクチャ間の参照階層の例を示す概念図。 本開示の技法に一致する、ビデオデコーダによってビデオデータの1つまたは複数のピクチャを含むビットストリームのランダムアクセスを実行する例示的な方法を示すフローチャート。 本開示の技法に一致する、ビデオエンコーダによってビデオデータの1つまたは複数のピクチャを含むビットストリームを生成する例示的な方法を示すフローチャート。
本開示は、ビデオコーディングにおけるランダムアクセスのための技法について説明する。詳細には、本開示は、1つまたは複数のフレーム、または「ピクチャ」を含むビデオシーケンスをコーディングするためのいくつかの技法であって、準拠ビットストリームにおける特定のコード化ビデオシーケンス(CVS)の第1のコード化ピクチャが、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャであり得る、技法について説明する。たとえば、本技法によれば、第1のコード化ピクチャは、クリーンランダムアクセス(CRA)ピクチャであり得る。
一例として、本開示の技法は、本技法に準拠するビデオデコーダが予測可能なおよび定義された、または「標準的な」方法で、そのような非IDR RAPピクチャから開始するビットストリームを正常に復号することを可能にし得る。たとえば、開示される技法は、準拠ビデオデコーダが、同じくビットストリーム中に含まれる第1のコード化ピクチャに関連するいわゆる「先行ピクチャ」の様々な出力特性および参照特性を操作することを可能にし得る。その結果、本技法は、他の技法と比較して、ビデオデコーダによるビットストリームの相対的に改善されたランダムアクセスを可能にし得る。たとえば、本技法は、他の技法(たとえば、IDRピクチャからのみビットストリームのランダムアクセスを許容する技法)と比較して、ビデオデコーダがビットストリームの比較的より多くの開始ポイント、またはアクセスピクチャ(すなわち、非IDRピクチャ)においてビットストリームを復号することを可能にすることによって、ビットストリームの「より精度の高い」またはよりきめの細かいランダムアクセスを促進することができる。さらに、本技法は、準拠ビデオデコーダが、たとえば、第1のピクチャに関連する先行ピクチャを出力すること、および/または参照ピクチャとして使用することを回避することによって、同じくビットストリーム中に含まれる1つまたは複数の他のピクチャの視覚的品質を改善することを可能にし得る。
代替的に、別の例として、開示される技法は、本技法に準拠するビデオエンコーダが、非IDR RAPピクチャであるビットストリームの第1のコード化ピクチャに関連する先行ピクチャを除くビットストリームを生成することを可能にし得る。その結果、同じく開示される技法に準拠するビデオデコーダは、予測可能なおよび定義された方法でビットストリームを正常に復号することができる。
したがって、本開示の技法を使用することで、一般に、様々なビデオアプリケーションにおいて頻繁に発生し得るビットストリームランダムアクセスに関して、ビデオ符号化および復号システムおよびデバイスの相互運用性とユーザエクスペリエンスとを改善することができる。
具体的には、本明細書で説明する技法は、他の技法と比較して、以下の新規の態様のうちの少なくとも1つまたは複数を含み得る。(1)非IDR RAPピクチャ(たとえば、CRAピクチャ)からのランダムアクセスの発生を検出すること、2)復号順序で非IDR RAPピクチャの後に来るが、出力順序で非IDR RAPピクチャの前に来る1つまたは複数のピクチャ(すなわち、非IDR RAPピクチャの1つまたは複数の「先行ピクチャ」)を識別し、復号すること、ならびに(3)非IDR RAPピクチャの1つまたは複数の先行ピクチャの各々が、対応するシグナリングされたシンタックス要素output_flagが真または「1」である(すなわち、output_flagが、それぞれのピクチャが出力されることになることを示している)場合でも出力されないことと、それぞれのピクチャが、復号順序および出力順序で非IDR RAPピクチャの後に来る任意の他のピクチャの参照ピクチャとして使用されないこととを指定すること。
このようにして、ビデオデータの1つまたは複数のピクチャを含み、非IDR RAPピクチャにより始まるビットストリームが、本開示の技法に準拠するビデオデコーダによって、予測可能なおよび定義された方法で復号され得る。代替的に、開示される技法に準拠するビデオエンコーダが、ビデオデータの1つまたは複数のピクチャを含み、非IDR RAPピクチャにより始まるビットストリームを、同じく本技法に準拠するビデオデコーダによって、予測可能なおよび定義された方法でビットストリームが復号され得るように生成することができる。結果として、本開示の技法を使用する場合に、ビデオデータの1つまたは複数のピクチャを含むビットストリームのランダムアクセスを実行するときにユーザエクスペリエンスの相対的改善があり得る。特に、開示される技法を使用する場合に、ランダムアクセスのきめの細かさ、ならびにビットストリームの1つもしくは複数のピクチャの視覚的品質および/または1つもしくは複数のピクチャを含むCVS全体の視覚的品質の相対的改善があり得る。
図1は、本開示の技法に一致する、高度なデコーダピクチャバッファ(DPB)管理によるランダムアクセスのための技法を実行することができるビデオ符号化および復号システムの例を示すブロック図である。図1に示すように、システム10は、宛先デバイス14によって後で復号されるべき符号化ビデオデータを生成するソースデバイス12を含む。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、ソースデバイス12および宛先デバイス14は、ワイヤレス通信のために装備され得る。
宛先デバイス14は、リンク16を介して復号されるべき符号化ビデオデータを受信し得る。リンク16は、ソースデバイス12から宛先デバイス14に符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備え得る。一例では、リンク16は、ソースデバイス12が、符号化ビデオデータをリアルタイムで宛先デバイス14に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先デバイス14に送信され得る。通信媒体は、無線周波数(RF)スペクトルあるいは1つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ソースデバイス12から宛先デバイス14への通信を可能にするために有用であり得るルータ、スイッチ、基地局、または任意の他の機器を含み得る。
代替的に、符号化データは、出力インターフェース22からストレージデバイス24に出力され得る。同様に、符号化データは、入力インターフェース26によってストレージデバイス24からアクセスされ得る。ストレージデバイス24は、ハードドライブ、Blu−ray(登録商標)ディスク、DVD、CD−ROM、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散したまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、ストレージデバイス24は、ソースデバイス12によって生成された符号化ビデオを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応し得る。宛先デバイス14は、ストリーミングまたはダウンロードを介して、ストレージデバイス24から、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス14に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、(たとえば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続ストレージ(NAS)デバイス、またはローカルディスクドライブを含む。宛先デバイス14は、インターネット接続を含む、任意の標準のデータ接続を介して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル(たとえば、Wi−Fi(登録商標)接続)、ワイヤード接続(たとえば、DSL、ケーブルモデムなど)、または両方の組合せを含み得る。ストレージデバイス24からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、または両方の組合せであり得る。
本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および/またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。
図1の例では、ソースデバイス12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェース22とを含む。場合によっては、出力インターフェース22は、変調器/復調器(モデム)および/または送信機を含み得る。ソースデバイス12において、ビデオソース18は、たとえばビデオカメラなどのビデオキャプチャデバイス、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および/またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、またはそのようなソースの組合せを含み得る。一例として、ビデオソース18がビデオカメラである場合、ソースデバイス12および宛先デバイス14は、いわゆるカメラ付き携帯電話またはビデオ電話を形成し得る。ただし、本開示で説明する技法は、概してビデオコーディングに適用可能であり得、ワイヤレスおよび/またはワイヤード適用例に適用され得る。
キャプチャされたビデオ、以前にキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ20によって符号化され得る。符号化ビデオデータは、ソースデバイス12の出力インターフェース22を介して宛先デバイス14に直接送信され得る。符号化ビデオデータは、さらに(または代替として)、復号および/または再生のための宛先デバイス14または他のデバイスによる後のアクセスのためにストレージデバイス24上に記憶され得る。
宛先デバイス14は、入力インターフェース26と、ビデオデコーダ30と、ディスプレイデバイス28とを含む。場合によっては、入力インターフェース26は、受信機および/またはモデムを含み得る。宛先デバイス14の入力インターフェース26は、リンク16を介して、またはストレージデバイス24から符号化ビデオデータを受信する。リンク16を介して通信され、またはストレージデバイス24上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ30など、ビデオデコーダが使用するためのビデオエンコーダ20によって生成される様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、またはファイルサーバ上に記憶される符号化ビデオデータとともに含まれ得る。
ディスプレイデバイス28は、宛先デバイス14と一体化されるかまたはその外部にあり得る。いくつかの例では、宛先デバイス14は、一体型ディスプレイデバイスを含み、また、外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、宛先デバイス14はディスプレイデバイスであり得る。概して、ディスプレイデバイス28は、復号されたビデオデータをユーザに対して表示し、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なディスプレイデバイスのいずれかを備え得る。
ビデオエンコーダ20およびビデオデコーダ30は、ITU−T Video Coding Experts Group(VCEG)とISO/IEC Motion Picture Experts Group(MPEG)とのJoint Collaborative Team on Video Coding(JCT−VC)によって現在開発中の高効率ビデオコーディング(HEVC)規格などのビデオ圧縮規格に従って動作してよく、HEVCテストモデル(HM)に準拠してよい。代替的に、ビデオエンコーダ20およびビデオデコーダ30は、代替的にMPEG−4、Part 10、AVCと呼ばれるITU−T H.264規格など、他のプロプライエタリ規格または業界規格、あるいはそのような規格の拡張に従って動作し得る。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例には、MPEG−2およびITU−T H.263がある。「HEVC Working Draft 8」または「WD8」と呼ばれるHEVC規格の最近のドラフトは、文書JCTVC−J1003_d7、Brossら、「High efficiency video coding(HEVC) text specification draft 8」、ITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11とのJoint Collaborative Team on Video Coding(JCT−VC)、第10回会合:スウェーデン ストックホルム、2012年7月11〜20日に記載されており、この文書は、2012年10月17日現在、http://phenix.int−evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC−J1003−v8.zipからダウンロード可能である。
本開示において「HEVC Working Draft 4」または「WD4」と呼ばれるHEVC規格の別のドラフトは、文書JCTVC−F803、Brossら、「WD4:Working Draft 4 of High−Efficiency Video Coding」、ITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11とのJoint Collaborative Team on Video Coding(JCT−VC)、第6回会合:イタリア トリノ、2011年7月14〜22日に記載されており、この文書は、2012年10月17日現在、http://phenix.int−evry.fr/jct/doc_end_user/documents/6_Torino/wg11/JCTVC−F803−v8.zipからダウンロード可能である。
本開示において「HEVC Working Draft 5」または「WD5」と呼ばれるHEVC規格のさらに別のドラフトは、文書JCTVC−G1103、Brossら、「WD5:Working Draft 5 of High−Efficiency Video Coding」、ITU−T SG16 WP3とISO/IEC JTC1/SC29/WG11とのJoint Collaborative Team on Video Coding(JCT−VC)、第7回会合:スイス ジュネーブ、2011年11月21〜30日に記載されおり、この文書は、2012年10月17日現在、http://phenix.int−evry.fr/jct/doc_end_user/documents/7_Geneva/wg11/JCTVC−G1103−v12.zipからダウンロード可能である。
図1には示されていないが、いくつかの態様では、ビデオエンコーダ20およびビデオデコーダ30は、それぞれオーディオエンコーダおよびデコーダと統合され得、適切なMUX−DEMUXユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。適用可能な場合、いくつかの例では、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な好適なエンコーダまたはデコーダ回路のいずれかとして実装され得る。本技法がソフトウェアで部分的に実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、1つまたは複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(「コーデック」)の一部として統合され得る。
HEVCの規格化の取り組みは、HEVCテストモデル(HM)と呼ばれるビデオコーディングデバイスの発展的モデルに基づく。HMは、たとえば、ITU−T H.264/AVCに従う既存のデバイスに対してビデオコーディングデバイスのいくつかの追加の能力を仮定する。たとえば、H.264は9つのイントラ予測符号化モードを提供するが、HMは35個ものイントラ予測符号化モードを提供し得る。
概して、HMの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含む一連のツリーブロックまたは最大コーディングユニット(LCU)に分割され得ることを記述する。ツリーブロックは、H.264規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、1つまたは複数のスライスに区分され得る。各ツリーブロックは、4分木に従ってコーディングユニット(CU)に分割され得る。たとえば、4分木のルートノードとしてのツリーブロックは、4つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の4つの子ノードに分割され得る。4分木のリーフノードとしての、最終的な、分割されていない子ノードは、コーディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連するシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コーディングノードの最小サイズをも定義し得る。
CUは、コーディングノードと、コーディングノードに関連する予測ユニット(PU:prediction unit)および変換ユニット(TU:transform unit)とを含む。CUのサイズは、コーディングノードのサイズに対応し、かつ形状が方形でなければならない。CUのサイズは、8×8ピクセルから最大64×64以上のピクセルをもつツリーブロックのサイズまでに及び得る。各CUは、1つまたは複数のPUと、1つまたは複数のTUとを含み得る。CUに関連するシンタックスデータは、たとえば、CUを1つまたは複数のPUに区分することを記述し得る。区分モードは、CUが、スキップモード符号化もしくはダイレクトモード符号化されるか、イントラ予測モード符号化されるか、またはインター予測モード符号化されるかの間で異なり得る。PUは、形状が非方形になるように区分され得る。CUに関連するシンタックスデータは、たとえば、4分木に従って、CUを1つまたは複数のTUに区分することも記述し得る。TUは、形状が方形または非方形であり得る。
HEVC規格は、CUごとに異なり得るTUに従う変換を可能にする。TUは、一般に、区分されたLCUについて定義された所与のCU内のPUのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。TUは、一般にPUと同じサイズであるかまたはPUよりも小さい。いくつかの例では、CUに対応する残差サンプルは、「残差4分木」(RQT:residual quad tree)として知られる4分木構造を使用してより小さいユニットに再分割され得る。RQTのリーフノードはTUと呼ばれることがある。TUに関連するピクセル差分値は、変換されて変換係数が生成され得、その変換係数は量子化され得る。
一般に、PUは、予測プロセスに関連したデータを含む。たとえば、PUがイントラモード符号化されるとき、PUは、そのPUについてのイントラ予測モードを記述するデータを含み得る。別の例として、PUがインターモード符号化されるとき、PUは、そのPUについての動きベクトルを定義するデータを含み得る。PUについての動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度(たとえば、1/4ピクセル精度または1/8ピクセル精度)、動きベクトルが指す参照ピクチャ、および/または動きベクトルの参照ピクチャリスト(たとえば、リスト0、リスト1、またはリストC)を記述し得る。
概して、TUは、変換プロセスと量子化プロセスとのために使用される。1つまたは複数のPUを有する所与のCUは、1つまたは複数のTUをも含み得る。予測の後に、ビデオエンコーダ20は、PUに対応する残差値を計算し得る。残差値は、エントロピーコーディングのためのシリアル化変換係数(serialized transform coefficient)を生成するために、TUを使用して変換係数に変換され、量子化され、走査され得るピクセル差分値を備える。本開示では、一般に、CUのコーディングノードを指すために「ビデオブロック」、または単に「ブロック」という用語を使用する。いくつかの特定の場合において、本開示では、コーディングノードならびにPUおよびTUを含む、ツリーブロック、すなわち、LCUまたはCUを指す「ビデオブロック」という用語も使用し得る。
ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ(GOP)は、概して、ビデオピクチャのうちの一連の1つまたは複数を備える。GOPは、GOP中に含まれるいくつかのピクチャを記述するシンタックスデータを、GOPのヘッダ中、ピクチャのうちの1つまたは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックはCU内のコーディングノードに対応し得る。ビデオブロックは、サイズを固定することもまたは変更することもでき、かつ指定のコーディング規格に応じてサイズが異なることがある。
一例として、HMは、様々なPUサイズでの予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2NまたはN×NのPUサイズでのイントラ予測をサポートし、2N×2N、2N×N、N×2N、またはN×Nの対称的なPUサイズでのインター予測をサポートする。HMはまた、2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズでのインター予測のための非対称区分をサポートする。非対称区分では、CUの一方向は区分されないが、他の方向は25%と75%とに区分される。25%の区分に対応するCUの部分は、「n」とその後ろに付く「Up」、「Down」、「Left」、または「Right」という表示によって示される。したがって、たとえば、「2N×nU」は、上部の2N×0.5N PUと下部の2N×1.5N PUとで水平方向に区分された2N×2N CUを指す。
本開示では、「N×N(NxN)」および「N×N(N by N)」は、垂直寸法および水平寸法に関するビデオブロックのピクセル寸法、たとえば、16×16(16x16)ピクセルまたは16×16(16 by 16)ピクセルを指すために互換的に使用され得る。概して、16×16ブロックは、垂直方向に16ピクセルを有し(y=16)、水平方向に16ピクセルを有する(x=16)。同様に、N×Nブロックは、概して、垂直方向にNピクセルを有し、水平方向にNピクセルを有し、ここで、Nは非負整数値を表す。ブロック中のピクセルは行と列に構成され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有する必要があるとは限らない。たとえば、ブロックはN×Mピクセルを備え得、ただし、Mは必ずしもNに等しいとは限らない。
CUのPUを使用したイントラ予測コーディングまたはインター予測コーディングの後、ビデオエンコーダ20は、CUのTUのための残差データを計算し得る。PUは、(ピクセル領域とも呼ばれる)空間領域においてピクセルデータを備え得、TUは、たとえば、残差ビデオデータへの離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に同様の変換などの変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャのピクセルと、PUに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ20は、CUのための残差データを含むTUを形成し、次いで、TUを変換して、CUの変換係数を生成し得る。
変換係数を生成するための任意の変換の後に、ビデオエンコーダ20は、変換係数の量子化を実行し得る。量子化は、概して、さらなる圧縮を行う、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化されるプロセスを指す。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。たとえば、量子化中にnビット値がmビット値に切り捨てられ得、この場合、nはmよりも大きい。
いくつかの例では、ビデオエンコーダ20は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するためにあらかじめ定義されたスキャンまたは「走査」順序を利用し得る。他の例では、ビデオエンコーダ20は適応走査を実行し得る。量子化変換係数を走査して1次元ベクトルを形成した後に、ビデオエンコーダ20は、たとえば、コンテキスト適応型可変長コーディング(CAVLC:context-adaptive variable length coding)、コンテキスト適応型バイナリ算術コーディング(CABAC:context-adaptive binary arithmetic coding)、シンタックスベースコンテキスト適応型バイナリ算術コーディング(SBAC:syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE:Probability Interval Partitioning Entropy)コーディング、または別のエントロピー符号化方法に従って1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
CABACを実行するために、ビデオエンコーダ20は、送信されるべきシンボルに、コンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接する値が0値であるかどうかに関係し得る。CAVLCを実行するために、ビデオエンコーダ20は、送信されるべきシンボルのための可変長コードを選択し得る。VLCにおけるコードワードは、比較的短いコードが優勢シンボルに対応し、比較的長いコードが劣勢シンボルに対応するように構成され得る。このようにして、VLCの使用は、たとえば、送信されるべき各シンボルのために等長コードワードを使用するよりも、ビット節約を達成し得る。確率判断は、シンボルに割り当てられるコンテキストに基づき得る。
いくつかの例では、本開示の技法はビデオコーディングにおけるランダムアクセスを対象とする。詳細には、本開示は、1つまたは複数のフレーム、またはピクチャを含むビデオシーケンスをコーディングするためのいくつかの技法であって、準拠ビットストリームにおける特定のCVSの第1のコード化ピクチャが、IDRピクチャではないRAPピクチャであり得る、技法について説明する。たとえば、開示される技法によれば、第1のコード化ピクチャはCRAピクチャであり得る。
言い換えれば、本開示の技法によれば、CVSの1つまたは複数のピクチャを含むビットストリームは、ビットストリームの第1のコード化ピクチャが非IDR RAPピクチャである場合、「準拠」ビットストリームと考えられ得る。言い換えれば、開示される技法に準拠するビデオデコーダは正常に、かつ予測可能なおよび定義された方法で、そのようなビットストリームを復号することができる。具体的には、本開示の技法は、ビデオデコーダによって、第1のコード化ピクチャに関連する先行ピクチャの復号ならびに出力特性および参照特性を処理する方法を含む。代替的に、本技法はまた、ビットストリームがビデオデコーダによって予測可能なおよび定義された方法で正常に復号され得るように、ビデオエンコーダによって、非IDR RAPピクチャであるビットストリームの第1のコード化ピクチャに関連する先行ピクチャをビットストリームから除く準拠ビットストリームを生成することを含む。
本開示では、CVSのIDRピクチャは一般に、イントラ予測コーディングを使用してコーディングされたCVS内に含まれるピクチャ、すなわち、CVS内またはCVSの外部の任意の他のピクチャを参照せずにコーディングされた「I」ピクチャを指し得る。加えて、IDRピクチャは、CVSに関連する復号順序によりIDRピクチャの後に来るCVS内に含まれるすべての他のピクチャが、復号順序によりIDRピクチャの前に来るいずれのピクチャも参照せずに復号される場合のピクチャを指し得る。たとえば、いくつかの技法(たとえば、H.264/MPEG−4 Part 10/AVC、以下「H.264/AVC」)によれば、CVSは、CVSに関連する復号順序によるCVSの第1のピクチャとしてのIDRピクチャ、ならびに1つまたは複数の追加のIDRピクチャを含み得る。一例として、CVSは、1つまたは複数のGOPを含むことができ、各GOPはIDRピクチャで始まり、その後に1つまたは複数の他の非IDRピクチャ(たとえば、インター予測コーディングを使用して、他の参照ピクチャからの順方向および双方向予測に基づいてコーディングされたいわゆる「P」および「B」ピクチャ)が来る。
上述の技法(たとえば、H.264/AVC)によれば、CVSのランダムアクセスは、CVSのIDRピクチャ、たとえば、CVS内に含まれる特定のGOPのIDRピクチャを最初に復号することによって実現され得る。これらの技法によれば、上述のように、IDRピクチャは任意の他のピクチャを参照せずに復号され得るので、CVSのランダムアクセスは、GOPベースで、各GOPの最初に位置するIDRピクチャを最初に復号することによって実行され得る。言い換えれば、いくつかの技法(たとえば、H.264/AVC)によれば、CVSのランダムアクセスは、CVS内に含まれるIDRピクチャからのみ実行され得る。したがって、これらの技法において、準拠ビットストリームにおける特定のCVSの第1のコード化ピクチャがRAPピクチャであるためには、そのピクチャはIDRピクチャでなければならない。
上述の技法とは対照的に、本開示の技法によれば、非IDRピクチャ(たとえば、CRAピクチャ)から開始するビットストリームのランダムアクセスが、準拠ビデオデコーダによって、予測可能なおよび定義された、または「標準的な」方法で実行され得る。結果として、開示される技法は、一般に、様々なビデオアプリケーションにおいて頻繁に発生し得るビットストリームランダムアクセスに関して、ビデオエンコーダおよびビデオデコーダシステムおよびデバイスの相互運用性ならびにユーザエクスペリエンスを大幅に改善することができる。たとえば、本明細書で説明する技法は、他の技法と比較して、以下の新規の態様のうちの少なくとも1つまたは複数を含み得る。
(1)非IDR RAPピクチャ(たとえば、CRAピクチャ)からのランダムアクセスの発生を検出すること、
2)復号順序で非IDR RAPピクチャの後に来るが、出力順序で非IDR RAPピクチャの前に来る1つまたは複数のピクチャ(すなわち、非IDR RAPピクチャの1つまたは複数の「先行ピクチャ」)を識別し、復号すること、ならびに
(3)非IDR RAPピクチャの1つまたは複数の先行ピクチャの各々が、対応するシグナリングされたoutput_flagが真または「1」である(すなわち、output_flagが、それぞれのピクチャが出力されることになることを示している)場合でも出力されないことと、それぞれのピクチャが、復号順序および出力順序で非IDR RAPピクチャの後に来る任意の他のピクチャの参照ピクチャとして使用されないこととを指定すること。
上述のように、いくつかの技法(たとえば、H.264/AVC)によれば、IDRピクチャは、CVSの従来型アクセスポイント(たとえば、ランダムアクセスポイント、または「RAP」ピクチャ)として働き得る。たとえば、IDRピクチャは、GOPと呼ばれることがある、CVSの独立して復号可能な部分の最初に含まれ得る。CVSのランダムアクセスのこの実装形態は、「クローズドGOP」実装形態と呼ばれることがあり、特定のGOP内のいずれのピクチャも、CVSに関連する復号順序によりGOPのIDRピクチャの前に発生するピクチャ、たとえば、CVSの先行GOP内または別の先行CVSのGOP内に含まれるピクチャを参照しない。すでに上記で説明したように、このコンテキストでは、GOPは、IDRピクチャの後に1つまたは複数の「P」ピクチャおよび/または「B」ピクチャが来るものと定義され得る。
いわゆる「オープンGOP」実装形態では、CRAピクチャが、クローズドGOP実装形態に関して上述したIDRピクチャと同様の目的に適う。たとえば、このコンテキストでは、GOPは、CRAピクチャの後に1つまたは複数の「P」ピクチャおよび/または「B」ピクチャが来るものと定義され得る。しかしながら、クローズドGOP実装形態とは対照的に、オープンGOP実装形態では、特定のGOP内に含まれるピクチャは、CVSに関連する復号順序によりGOPのCRAピクチャの前に発生するピクチャ、たとえば、CVSの先行GOP内または別の先行CVSのGOP内に含まれるピクチャを参照し得る。たとえば、オープンGOP実装形態によれば、CVSに関連する復号順序によりCVSの1つのGOPの(IDRピクチャのように、イントラ予測ピクチャ、または「I」ピクチャである)CRAピクチャの後に来る「B」ピクチャは、CVSの先行GOP内に含まれるピクチャ(たとえば、「P」ピクチャまたは「B」ピクチャ)を参照し得る。
いくつかの技法によれば、CVSの「B」ピクチャは通常、CVSに関連する出力順序で「B」ピクチャの前に来るピクチャと「B」ピクチャの後に来るピクチャとを参照することによって予測される。たとえば、この例の「B」ピクチャは、CVSに関連する出力順序で「B」ピクチャの前に来ることのある、先行GOP内に含まれるピクチャを参照する(すなわち、参照ピクチャとして使用する)ことがあり、出力順序で「B」ピクチャの後に来ることのあるCRAピクチャを参照する(すなわち、参照ピクチャとして使用する)こともある。言い換えれば、この例では、「B」ピクチャは復号順序でCRAピクチャの後に来るが、出力順序でCRAピクチャの前に来る。したがって、「B」ピクチャは、CRAピクチャの「先行ピクチャ」と考えられ得る。しかしながら、他の例では、「B」ピクチャは、上記で定義したように、同じくCRAピクチャの先行ピクチャである任意の他のタイプのピクチャであり得る。
上述の例は、上述したオープンGOP実装形態に関連する少なくとも1つの問題を示している。具体的には、CVSのランダムアクセスが、CVS内に含まれるCRAピクチャから実行された場合、CRAピクチャの先行ピクチャは正しく復号され得ない。これは、CRAピクチャがCVSの第1のコード化ピクチャである場合に、CVSに関連する復号順序でCRAピクチャの前に来るいずれのピクチャも、復号されていないので先行ピクチャの参照ピクチャとして利用不可能であることに起因する。したがって、上述のオープンGOP実装形態では、先行ピクチャは正しく復号され得ず、それにより、表示された場合にユーザエクスペリエンスを損なうことがある。たとえば、復号された場合に、先行ピクチャは、誤ったビデオデータを含むことがあり、表示された場合に、ピクチャ自体の視覚的品質ならびにCVS全般の視覚的品質を劣化させることがある。同じ理由により、オープンGOP実装形態では、復号順序と出力順序の両方でCRAピクチャの後に来るCVSの他のピクチャ(たとえば、「P」ピクチャ)は、先行ピクチャを参照し得ず(たとえば、その理由として、これらの先行ピクチャは、復号された場合に誤ったビデオデータを含み得ることがある)、または復号順序および出力順序でCRAピクチャの前に来る任意の他のピクチャを参照し得ない(たとえば、その理由として、これらのピクチャは復号されていないので参照ピクチャとして利用不可能であることがある)。
一般的に言って、上述の技法(すなわち、IDRピクチャを使用するクローズドGOP実装形態およびCRAピクチャを使用するオープンGOP実装形態)のいずれも、ビデオデータのCVSのランダムアクセスを可能にし得る。しかしながら、たとえば、H.264/AVCなどのいくつかのコーディング規格によれば、CRAピクチャで始まるビットストリームは、「非準拠」ビットストリームと考えられる。たとえば、上述のように、たとえばH.264/AVCなどのいくつかの技法によれば、ビットストリームはIDRピクチャで始まらなければならない。言い換えれば、これらの技法によれば、上述のクローズドGOPランダムアクセス実装形態のみがサポートされ得る。本開示の技法は、ビデオデコーダがそのような非準拠ビットストリーム(すなわち、CRAピクチャで開始し、オープンGOP実装形態に準拠するビットストリーム)を処理することを可能にし得る。言い換えれば、本明細書で説明する技法は、そのようなビットストリームを「準拠」ビットストリームとして定義することを目的とする。いくつかの例では、本開示の技法による準拠ビットストリームは、CRAピクチャで開始し、オープンGOP実装形態に準拠するビットストリーム、ならびにIDRピクチャで開始し、クローズドGOP実装形態に準拠するビットストリームを含む。
すでに説明したように、CRAピクチャで発生するランダムアクセスに関して識別される1つの問題は、CRAピクチャの先行ピクチャが正しく復号され得ず、したがって表示された場合にユーザエクスペリエンスを損ないかねないことに関係する。本開示の技法は、特定の方法でCRAピクチャに関連する先行ピクチャの復号を実行すること、ならびに出力特性および参照特性を操作することによって、CRAピクチャからのCVSのランダムアクセスを可能にすることによって、この問題に対処し得る。具体的には、本技法は以下のステップの一部または全部を含み得る。
ステップ1:CVSの1つまたは複数のピクチャを、1つまたは複数のピクチャの各々のピクチャ順序カウント(POC)値が、CRAピクチャのPOC値よりも小さい(すなわち、それぞれのピクチャが、CRAに関連する出力順序でCRAピクチャの前に来る)とき、およびそれぞれのピクチャが、CRAに関連する復号順序でCRAピクチャの後に来るときに、CVSのCRAピクチャの先行ピクチャとして識別すること。
ステップ2:1つまたは複数の先行ピクチャの各々について、それぞれの先行ピクチャが、復号に利用可能ではないピクチャを参照するかどうかを判断すること。
ステップ3:復号に利用可能ではないピクチャを参照すると判断された1つまたは複数の先行ピクチャの各々について、仮想参照ピクチャを生成すること(たとえば、CVSに関連するルーマ(またはクロマ)値範囲の中間に対応するルーマ(またはクロマ)値を有する「中間」ルーマ(またはクロマ)ピクチャ、たとえば「グレー」ピクチャを生成する)。
ステップ4:仮想参照ピクチャが生成された1つまたは複数の先行ピクチャの各々を、対応する生成された仮想参照ピクチャを使用して復号し、かつ残りの先行ピクチャを復号すること。(1つまたは複数の先行ピクチャの復号は、元のCVSタイミングパラメータをビデオデコーダにおいて、たとえばビデオデコーダのDPB内に維持するために実行されるが、以下に示すように、復号された先行ピクチャは、出力されることも、CVSの他のピクチャの参照ピクチャとして使用されることもない)。
ステップ5:復号された1つまたは複数の先行ピクチャの各々に関連するoutput_flagを、現在のoutput_flagが真または「1」に等しい場合でも、それぞれの先行ピクチャを出力しないように偽または「0」にセットすること。(代替的に、本技法は、それぞれの先行ピクチャを出力しないように、真または「1」に等しい現在のoutput_flagを単に無視または「マスクする」ことを含み得る)。
ステップ6:復号された1つまたは複数の先行ピクチャの各々が、復号順序と出力順序の両方でCRAピクチャの後に来るCVSの任意の他のピクチャの予測(すなわち、参照)ピクチャとして使用されるのを防止すること。
さらに、本明細書で説明する技法は、復号デバイス(たとえば、ビデオデコーダ30)ではなく符号化デバイス(たとえば、ビデオエンコーダ20)に適用可能であり得る。たとえば、CVSの第1のコード化ピクチャがCRAピクチャを備える場合、本開示の技法に準拠するインテリジェントビデオエンコーダは、ビデオデコーダにCRAピクチャの任意の先行ピクチャを送るのを回避するように構成され得る。一例として、ビデオエンコーダは、CVSに関連する復号順序によりCRAピクチャの後に来る「P」ピクチャのみを送るように構成され得る。これを達成するために、いくつかの例では、ビデオエンコーダは、CRAピクチャに関連する先行ピクチャを含むすべての「アクセスユニット」または同等のデータセットをドロップすることによって、いわゆるビットストリーム「サブネット」を生成するように構成され得る。したがって、上で示した代替的な例では、ビデオデコーダではなくビデオエンコーダが、ビデオデコーダにおけるビットストリームのランダムアクセスに関して、相互運用性とユーザエクスペリエンスとを改善するために、CVSを含むビットストリームを生成することの一部として、CVSのCRAの先行ピクチャを処理する(すなわち、除去する)ように構成され得る。
よって、本明細書で説明する技法によれば、準拠ビットストリームにおけるCVSに関連する復号順序によるCVSの第1のコード化ピクチャは、IDRピクチャまたはCRAピクチャであり得る。言い換えれば、本開示の技法は、CVSに関連する復号順序によるCVSの第1のコード化ピクチャがCRAピクチャである場合に、ビットストリームを準拠ビットストリームとして定義することによって、CVSのCRAピクチャで発生するランダムアクセスを可能にし得る。たとえば、本開示の技法は、特定のコーディング規格(たとえば、H.265/HEVC)またはコーディング規格の拡張(たとえば、H.264/AVC)に適用可能であり得る。いずれの場合にも、開示される技法によれば、そのようなビットストリームは準拠ビットストリームであり得る。言い換えれば、そのようなビットストリームは、本開示の技法に準拠するビデオデコーダによって、定義されたおよび予測可能な方法で正常に復号され得る。
以下の説明は、上述の本開示の技法に関する追加の情報および例ならびに追加の情報および技法を提供する。
具体的には、本明細書で説明する技法は、他の技法と比較して、以下の新規の態様のうちの1つまたは複数を含み得る。(1)非IDR RAPピクチャからのランダムアクセスの発生を検出すること、(2)ピクチャが、対応するシグナリングされたoutput_flagが真または「1」に等しい場合でも出力されないことを指定すること、(3)復号順序で非IDR RAPピクチャの後に来るピクチャに関して、非IDR RAPピクチャがビットストリームの第1のコード化ピクチャであるとき、および第1のコード化ピクチャに関連する先行ピクチャが存在しないときに、更新された「コード化ピクチャバッファ」(CPB)除去時間パラメータをシグナリングすること。開示される技法に一致するいくつかの例では、更新されたCPB除去時間パラメータは、非IDR RAPピクチャからのランダムアクセスを実行した後に復号順序で非IDR RAPピクチャの後に来るすべてのピクチャに適用されるオフセットによって示され得る。
本明細書で説明する技法は、ITU−T H.261、ISO/IEC MPEG−1 Visual、ITU−T H.262またはISO/IEC MPEG−2 Visual、ITU−T H.263、ISO/IEC MPEG−4 Visual、およびスケーラブルビデオコーディング(SVC)拡張とマルチビュービデオコーディング(MVC)拡張とを含む、(ISO/IEC MPEG−4 AVCとしても知られる)ITU−T H.264を含む様々なビデオコーディング規格に適用可能であり得る。さらに、開示される技法は、ITU−T Video Coding Experts Group(VCEG)とISO/IEC Motion Picture Experts Group(MPEG)とのJCT−VCによって現在開発されているHEVC規格に適用可能であり得る。上記で説明したように、本開示で言及されるHEVCの1つの特定のバージョンは、文書JCTVC−F803に記載のWD4である。
次に、いくつかのDPB管理技法について説明する。いくつかのビデオコーディング技法によれば、DPB管理の様々な方法が実施され得る。一例として、後続のコード化ピクチャの予測に、また将来の出力に使用される復号されたピクチャがDPBにバッファリングされ得る。DPBのメモリを効率的に利用するために、DPBへの復号されたピクチャの記憶プロセスと、参照ピクチャのマーキングプロセスと、DPBからの復号されたピクチャの出力および除去プロセスとを含むDPB管理プロセスが指定され得る。DPB管理は、少なくとも次の態様を含み得る。(1)ピクチャ識別および参照ピクチャ識別、(2)参照ピクチャリスト作成、(3)参照ピクチャマーキング、(4)DPBからのピクチャ出力、(5)DPBへのピクチャ挿入、および(6)DPBからのピクチャ除去。参照ピクチャマーキングおよび参照ピクチャリスト作成について、以下で紹介する。
一例として次に、参照ピクチャリストマーキング技法について説明する。いくつかのビデオコーディング技法によれば、参照ピクチャマーキングの様々な方法が実施され得る。一例として、H.264/AVCにおける参照ピクチャマーキングは次のように要約され得る。インター予測に使用される参照ピクチャの、「M」と呼ばれることがある(たとえば、シンタックス要素num_ref_framesに対応する)最大数が、アクティブなシーケンスパラメータセット(SPS)に示され得る。参照ピクチャは、復号されるとき、「参照のために使用される」とマークされ得る。参照ピクチャの復号により、「M」個よりも多くのピクチャが「参照のために使用される」とマークされる場合、少なくとも1つのピクチャは「参照のために使用されない」とマークされ得る。その後、DPB除去プロセスは、「参照のために使用されない」とマークされたピクチャを、出力にも必要とされない場合にDPBから除去することができる。
ピクチャは、復号されるとき、非参照ピクチャまたは参照ピクチャのいずれかであり得る。参照ピクチャは長期参照ピクチャまたは短期参照ピクチャであってよく、「参照のために使用されない」とマークされたとき、ピクチャは非参照ピクチャになり得る。
H.264/AVCは、参照ピクチャのステータスを変更する参照ピクチャマーキング動作を含む。たとえば、H.264/AVCでは、参照ピクチャマーキングの2つのタイプの動作、すなわちスライディングウィンドウおよび適応メモリ制御がある。参照ピクチャマーキングの動作モードは、ピクチャベースで選択される。一例として、スライディングウィンドウ参照ピクチャマーキングは、固定数の短期参照ピクチャを有する先入れ先出し(FIFO)キューとして機能する。言い換えれば、復号時間が最も早い短期参照ピクチャが、黙示的に最初に除去される(すなわち、「参照のために使用されない」とマークされる)ことになる。別の例として、適応メモリ制御参照ピクチャマーキングは、短期ピクチャまたは長期ピクチャを明示的に除去する。これにより、短期ピクチャおよび長期ピクチャのステータスを切り替えることもできる。
別の例として次に、参照ピクチャリスト作成技法について説明する。いくつかのビデオコーディング技法によれば、参照ピクチャリスト作成の様々な方法が実施され得る。一例として、通常、「B」ピクチャの第1または第2の参照ピクチャリストの参照ピクチャリスト作成は、次の2つのステップを含み得る。(1)参照ピクチャリスト初期化、および(2)参照ピクチャリスト並べ替え(「変更」と呼ばれ得る)。参照ピクチャリスト初期化は、POC(上記で説明したように、「ピクチャ順序カウント」であり、ピクチャの出力順序または表示順序と整合する)値の順序に基づいて、参照ピクチャメモリ(DPBとも呼ばれる)中の参照ピクチャをリストに置く明示的な機構であり得る。
参照ピクチャリスト並べ替え機構は、参照ピクチャリスト初期化中にリストに置かれたピクチャの位置を任意の新しい位置に変更すること、または参照ピクチャメモリ中の任意の参照ピクチャを、初期化されたリストにそのピクチャが属していない場合でも任意の位置に置くことができる。いくつかのピクチャは、参照ピクチャリスト並べ替え(または変更)の後、リスト中の非常に「遠い」位置に置かれ得る。しかしながら、ピクチャの位置が、リストのアクティブな参照ピクチャの数を超えた場合、そのピクチャは、最終参照ピクチャリストのエントリとは見なされ得ない。アクティブな参照ピクチャの数は、リストごとにスライスヘッダでシグナリングされ得る。
代替的に、異なるDPB管理手法が、Sjobergらによる文書「JCTVC−F493:Absolute Signaling of Reference Pictures」、第6回会合、トリノ、2011(以下ではJCTVC−F493と呼ばれる)に記述されており、その内容全体は参照により本明細書に組み込まれる。
次に、いくつかの参照ピクチャセット(RPS)技法について説明する。たとえば、同じく内容全体が参照により本明細書に組み込まれる、2012年9月19日に出願された米国特許出願第13/622,972号は、ピクチャごとに、現在のピクチャまたは現在のコード化ピクチャおよび復号順序で現在のコード化ピクチャの後に来るピクチャによって使用され得るいくつかの参照ピクチャを含むRPSについて記述している。RPSの詳細な定義は次のように行われ得る。あるピクチャに関連する参照ピクチャのセットであって、関連ピクチャまたは復号順序で関連ピクチャの後に来る任意のピクチャのインター予測に使用されることがあり、かつ関連ピクチャのシンタックス要素temporal_id以下であるシンタックス要素temporal_idを有する、関連ピクチャ自体を除くすべての参照ピクチャからなるセット。
次に、RAPおよび対応するRPSの例について説明する。すでに説明したように、本開示では、「ランダムアクセス」は、CVSにおける従来の第1のコード化ピクチャ、すなわちIDRピクチャではないコード化ピクチャから開始するCVSの復号を指す。非IDR RAPピクチャは、「picR」と呼ばれることがあり、次の条件のすべてが真であるコード化ピクチャと定義され得る。
(1)picRはIDRピクチャではない。
(2)picRのPOCを「rPoc」とし、「picA」を、同じCVS中にあり、かつ復号順序と出力順序の両方でpicRの後に来るピクチャとし、picAのPOCを「aPoc」とする。picRでランダムアクセスが実行されるとき、同じCVS中にあり、かつ出力順序でpicAの後の来るすべてのピクチャが正しく復号され得る。
この例では、非IDR RAPピクチャpicRについて、次の条件が真である場合、そのピクチャはCRAピクチャと呼ばれ得る。picRでランダムアクセスが実行されるとき、同じCVS中にあり、かつ出力順序でpicRの後に来るすべてのピクチャが正しく復号され得る。非IDR RAPピクチャpicRについて、上記の条件が真でない場合、ピクチャは漸進的復号リフレッシュ(GDR:gradual decoding refresh)ピクチャと呼ばれ得る。さらに、CRAピクチャについて、対応するRPSは、CRAピクチャの参照ピクチャをまったく含み得ないが、通常、復号順序でCRAピクチャの後に来るピクチャのための少なくとも1つのピクチャを含み得る。
図4は、本開示の技法に一致する、ビデオデータのGOPのピクチャ間の参照階層の例を示す概念図である。具体的には、図4は、4つの時間レベルと「8」のGOPサイズとを有する階層型「B」ピクチャコーディングを示している。図4に示すように、「8」に等しいPOC値を有するピクチャがイントラ(すなわち、「I」ピクチャ)としてコーディングされるとき、そのピクチャはCRAピクチャであり得る。RPSの定義に基づいて、RPSは、「0」に等しいPOC値を有するピクチャを、復号順序でこのピクチャの後に来るピクチャのために含む。
次に、先行ピクチャおよび対応するRPSについて説明する。すでに説明したように、復号順序でRAPピクチャの後に来るが、表示順序でRAPピクチャの前に来るピクチャは、RAPピクチャの対応「先行ピクチャ」と呼ばれ得る。図4の例では、CRAピクチャ(すなわち、「8」のPOC値を有するピクチャ)の対応先行ピクチャのRPSが下の表1に示されている。
次に、ピクチャ出力技法について説明する。HEVC WD4では、各ピクチャはoutput_flagを割り当てられ得る。このフラグが偽または「0」に等しいとき、それぞれのピクチャは出力に使用されず、したがって表示されることはない。
次に、CPBの例について説明する。CPBは、ビデオデコーダによって、各々がコード化ピクチャと関連ネットワークアブストラクションレイヤ(NAL)ユニットとを含むアクセスユニットを復号前に受信しバッファリングするために必要とされ得る。HEVC WD4では、たとえば、CPB動作は欠落しているが、それでもH.264/AVCにおいて指定されているCPB動作は適用され得る。一例として、H.264/AVCによれば、準拠ビットストリームの場合、H.264/AVC中のサブクローズC.3において指定されている条件のリストが完全に満たされ得る。ビットストリーム準拠条件の2つは次の通りである。
(1)CPBオーバーフローは、CPBにおけるビット総数がCPBサイズよりも大きい条件と指定される。CPBはオーバーフローしてはならない。
(2)CPBアンダーフローは、tr,n(n)が「taf(n)」よりも小さい条件と指定される。low_delay_hrd_flagが「0」に等しいとき、CPBはアンダーフローしてはならない。
次に、上述の技法によるいくつかの潜在的な問題について説明する。CRAピクチャで発生するランダムアクセスに関する上述の様々な手法は、いくつかの欠点を有する。一例として、先行ピクチャが存在しない場合、準拠デコーダは、先行ピクチャが伝送損失により失われたのか、それとも(たとえば、ストリーミングサーバによって、ランダムアクセス動作のために意図的に行われた)意図的なピクチャドロップにより失われたのかを知り得ない。別の例として、先行ピクチャは正しく復号されないことがあり、それにより、表示された場合にユーザエクスペリエンスを損なうことがある。さらに別の例として、いくつかのコード化ピクチャが意図的にドロップされた場合、CRAピクチャから開始する得られるビットストリームは、1つまたは複数のビットストリーム準拠条件と対立することがあり、それにより、予測不可能な復号行動および制御不可能な復号結果が発生することがある。たとえば、先行ピクチャのすべてがドロップされたとき、復号順序でCRAピクチャの後の次のピクチャが、復号順序で最後の先行ピクチャの後のコード化ピクチャになる。先行ピクチャが存在する場合と比較して、この次のピクチャは早めにCPBに入り、その結果、そのCPB最終到着時間taf(n)は早まる。関連ピクチャタイミング補足エンハンスメント情報(SEI)メッセージにおけるシンタックス要素cpb_removal_delayから導出されたCPB除去時間は変化し得ない。それにより、CPBアンダーフローは発生しない。しかしながら、このピクチャおよび復号順序で後に来るピクチャのビット数が、ドロップされた先行ピクチャのビット数をはるかに上回る場合、CPBオーバーフローが発生し得る。
本開示では、上記で説明した欠点の一部を、いくつかの場合において減らし、またはなくし得るいくつかの技法を記載する。具体的には、本開示の技法は、第1のコード化ピクチャがCRAピクチャであるビットストリームが、CRAピクチャに関連する先行ピクチャが存在するかどうかにかかわらず準拠しているようにするための様々な方法を採用することによって、CRAピクチャからのランダムアクセスに関する上述の問題を解決することができる。開示される技法は、少なくとも、上述の特徴を実現するために使用され得る次の態様を含む。
一例として、ランダムアクセスの発生の検出のためのプロセスが随意に追加され得る。各ピクチャおよび各先行ピクチャのランダムアクセスの発生の検出は、復号および/または出力を目的としているかどうかにかかわらず、ランダムアクセスに起因して正しく受信され復号されてはいないことがあるが、通常の場合には正しく受信され復号されるピクチャを含む消失ピクチャセット(VPS:vanish picture set)を作成することによって実行され得る。VPSが空でない限り、検出は必要とされ得る。
別の例として、先行ピクチャの出力特性の処理が、関連CRAピクチャから開始するランダムアクセスが発生しているときに先行ピクチャが出力に使用され得ないように実行され得る。
別の例として、先行ピクチャのための復号プロセスが、先行ピクチャが受信された場合にハイレベルシンタックスの解析および関連復号プロセスの呼出し、たとえば、参照ピクチャセット(RPS)の導出のみが実行され得、かつそのようなピクチャの復号が省略され得るように、変更され得る。
別の例として、デコーダがCRAピクチャの復号を開始し、CRAピクチャの後に来る先行ピクチャがまったくないときでも、仮想参照デコーダ(HRD:hypothetical reference decoder)パラメータと、ピクチャバッファリング期間SEIメッセージと、ピクチャタイミングSEIメッセージとを含むCPB準拠関連情報が使用されてCPB制約を実現し、それによりバッファのオーバーフローまたはアンダーフローが発生し得ないように、ビットストリーム制限が追加され得る。
別の例として、先行ピクチャが存在しない場合に、CPB初期遅延パラメータの追加セットを適用したときにCPB準拠制約が実現され得るように、CRAピクチャに関連するSEIメッセージがCPB初期遅延パラメータの追加セットを含む形でシグナリングされ得る。より詳細には、ピクチャバッファリング期間SEIメッセージにおいて、現在のピクチャがCRAピクチャである場合にCPB初期遅延パラメータの2つのセットがシグナリングされ得る。
以下の例は、本開示の技法の上述の特徴を示す。以下の例について説明する目的で、以下の用語が定義される。
先行ピクチャ:復号順序でCRAピクチャの後に来て、出力順序または表示順序でCRAピクチャの前に来る、CRAピクチャに関連するピクチャ。
VPS:CRAピクチャの表示順序よりも早い表示順序を有する、CRAピクチャに関連する参照ピクチャのセット。
次に、シンタックスの例、特にバッファリング期間SEIメッセージシンタックスの例について記述する。
さらに、バッファリング期間SEIメッセージセマンティクスの例について以下で説明する。
一例として、真または「1」に等しいcra_para_present_flagは、現在の関連ピクチャがCRAピクチャであるときに、CPB初期遅延の別のセットがシグナリングされることを示し得る。偽または「0」に等しいこのフラグは、CPB初期遅延の追加セットがシグナリングされないことを示し得る。関連ピクチャがCRAピクチャでないときに、このフラグは「0」に等しくなり得る。
別の例として、update_initial_cpb_removal_delay[SchedSelIdx]は、HRD初期化後の第1のバッファリング期間における、バッファリング期間SEIメッセージに関連するアクセスユニットに関連するコード化データの第1のビットがCPBに到着する時間と、同じアクセスユニットに関連するコード化データがCPBから除去される時間との間のSchedSelIdx番目のCPBの遅延を指定し得る。シンタックス要素は、initial_cpb_removal_delay_length_minus1+1によって与えられるビットの長さを有し得る。これは90kHzクロックの単位であり得る。さらに、update_initial_cpb_removal_delay[SchedSelIdx]は「0」に等しくてはならず、90kHzクロック単位のCPBサイズに相当する時間である90000×(CpbSize[SchedSelIdx]÷BitRate[SchedSelIdx])を超えてはならない。
別の例として、CPBへのコード化アクセスユニットの初期配信時間を指定するために、cpb_removal_delayと組み合わせてSchedSelIdx番目のCPBにupdate_initial_cpb_removal_delay_offset[SchedSelIdx]が使用され得る。たとえば、update_initial_cpb_removal_delay_offset[SchedSelIdx]は90kHzクロックの単位であり得る。update_initial_cpb_removal_delay_offset[SchedSelIdx]シンタックス要素は、ビットの長さがinitial_cpb_removal_delay_length_minus1+1によって与えられる固定長コードであり得る。このシンタックス要素は、デコーダによって使用され得ず、HEVC WD4のAnnex Cに指定されている配信スケジューラ(HSS)のためにのみ必要とされ得る。
次に、復号プロセスの例について説明する。本開示の技法によれば、以下の復号プロセスは、内容全体が参照により本明細書に組み込まれる、2012年9月19日に出願された米国特許出願第13/622,972号に記述されている復号プロセスに対して追加および/または修正が行われ得る。
一例として次に、VPS作成技法について説明する。いくつかの例では、VPS作成は、現在のピクチャがCRAピクチャであるときに、RPSのための導出プロセスの呼出し直後に発生し得る。たとえば、現在のピクチャがCRAピクチャである場合に、RPSにおけるいずれのピクチャもDPBにない場合、VPSが現在のRPSとしてセットされ得る。そうでない場合、VPSは空であるようにセットされ得る。
別の例として次に、先行ピクチャ識別技法について説明する。いくつかの例では、VPSが空ではなく、VPSと重複するRPSをピクチャが有する場合、そのピクチャは先行ピクチャとして識別され得る。
別の例として次に、先行ピクチャ復号技法について説明する。いくつかの例では、先行ピクチャの復号は準拠デコーダによって省略され得る。
別の例として次に、先行ピクチャ出力技法について説明する。いくつかの例では、先行ピクチャごとに、output_flagが、スライスヘッダにおけるoutput_flagの値が「0」に等しいか、それとも「1」に等しいかにかかわらず「偽」にセットされ得る。
次に、HRDおよび特にCPBの動作について説明する。たとえば、本開示のこの部分の説明は、存在するCPBパラメータの各セットに、およびタイプI準拠とタイプII準拠の両方に独立して当てはまり得る。
一例として次に、ビットストリーム到着のタイミングについて説明する。HRDは、バッファリング期間SEIメッセージのうちのいずれか1つで初期化され得る。初期化前に、CPBは空であり得る。この例では、初期化後、HRDは後続のバッファリング期間SEIメッセージによって再び初期化されることはない。またこの例では、第1のアクセスユニットがCRAアクセスユニットであって、先行ピクチャが存在せず、cra_para_present_flagが「1」に等しい場合、useUpdateParaが「1」にセットされ得る。そうでない場合、useUpdateParaは「0」にセットされ得る。
たとえば、useUpdateParaが「0」に等しい場合、InitialCpbRemovalDelay[SchedSelIdx]はinitial_cpb_removal_delay[SchedSelIdx]にセットされてよく、InitialCpbRemovalDelayOffset[SchedSelIdx]はinitial_cpb_removal_delay_offset[SchedSelIdx]にセットされてよい。そうでない場合、InitialCpbRemovalDelay[SchedSelIdx]はupdate_initial_cpb_removal_delay[SchedSelIdx]にセットされてよく、InitialCpbRemovalDelayOffset[SchedSelIdx]はupdate_initial_cpb_removal_delay_offset[SchedSelIdx]にセットされてよく、ここで、initial_cpb_removal_delay[SchedSelIdx]、initial_cpb_removal_delay_offset[SchedSelIdx]、update_initial_cpb_removal_delay[SchedSelIdx]、およびupdate_initial_cpb_removal_delay_offset[SchedSelIdx]は、CRAアクセスユニットに関連するバッファリング期間SEIメッセージで指定され得る。
さらに、CPBを初期化するバッファリング期間SEIメッセージに関連するアクセスユニットは、アクセスユニット「0」と呼ばれ得る。すべての他のアクセスユニットは、アクセスユニット「n」と呼ばれ、「n」は、復号順序で次のアクセスユニットに関して1だけ増分される。この例では、
アクセスユニットnの第1のビットがCPBに入り始める時間は、初期到着時間tai(n)と呼ばれ得る。
一例では、アクセスユニットの初期到着時間は次のように導出され得る。
(1)アクセスユニットがアクセスユニット0である場合、tai(0)=0、
(2)そうでない(アクセスユニットがアクセスユニットnであって、n>0である)場合、以下が適用され得る。
(a)cbr_flag[SchedSelIdx]が「1」に等しい場合、アクセスユニットnの初期到着時間はアクセスユニットn−1の最終到着時間(以下で導出される)に等しくなり得る。すなわち、次のようになる。
(b)そうではなく、cbr_flag[SchedSelIdx]が「0」に等しく、アクセスユニットnが後続のバッファリング期間の第1のアクセスユニットではない場合、アクセスユニットnの初期到着時間は以下によって導出され得る。
上式で、tai,earliest(n)は次のように与えられる。
いくつかの例では、tr,n(n)は、HEVC WD4のサブクローズC.1.2で指定されている、CPBからのアクセスユニットnの名目除去時間である。
(c)そうではない場合(cbr_flag[SchedSelIdx]が「0」に等しく、後続のアクセスユニットnが後続のバッファリング期間の第1のアクセスユニットである場合)、アクセスユニットnの初期到着時間は以下によって導出され得る。
いくつかの例では、InitialCpbRemovalDelay[SchedSelIdx]は、アクセスユニットnに関連するバッファリング期間SEIメッセージで指定される。
この例では、アクセスユニットnの最終到着時間は以下によって導出され得る。
上式で、b(n)は、アクセスユニットnのビットのサイズであってよく、タイプI準拠の場合にはタイプIビットストリームのビット、またはタイプII準拠の場合にはタイプIIビットストリームのビットをカウントする。
いくつかの例では、SchedSelIdx、BitRate[SchedSelIdx]、およびCpbSize[SchedSelIdx]の値は、次のように制限され得る。
(1)アクセスユニットnおよびアクセスユニットn−1が異なるCVSの部分であり、2つのCVSのアクティブなSPSの内容が異なる場合、HSSは、アクセスユニットnを含むCVSに提供されるSchedSelIdxの値の中からSchedSelIdxの値SchedSelIdx1を選択することができ、その結果、2つのCVSのうちの第2のもの(アクセスユニットn−1を含む)に、アクセスユニットn−1を含むCVSに使用されていたSchedSelIdxの値SchedSelIdx0のBitRate[SchedSelIdx0]またはCpbSize[SchedSelIdx0]の値とは異なる、BitRate[SchedSelIdx1]またはCpbSize[SchedSelIdx1]がもたらされる。
(2)そうでない場合、HSSは、SchedSelIdx、BitRate[SchedSelIdx]、およびCpbSize[SchedSelIdx]の以前の値で動作し続けることができる。
他の例では、HSSが以前のアクセスユニットのBitRate[SchedSelIdx]またはCpbSize[SchedSelIdx]の値とは異なるBitRate[SchedSelIdx]またはCpbSize[SchedSelIdx]の値を選択した場合、以下が適用され得る。
(1)可変BitRate[SchedSelIdx]は時間tai(n)に効力を生じ得る。
(2)可変CpbSize[SchedSelIdx]は次のように効力を生じ得る。
(a)CpbSize[SchedSelIdx]の新しい値が古いCPBサイズを超えた場合、その値は時間tai(n)に効力を生じ得る。
(b)そうでない場合、CpbSize[SchedSelIdx]の新しい値は、時間tr(n)に効力を生じ得る。
別の例として次に、コード化ピクチャ除去のタイミングについて説明する。たとえば、アクセスユニット0の場合、CPBからのアクセスユニットの名目除去時間は以下によって指定され得る。
さらに、HRDを初期化しないバッファリング期間の第1のアクセスユニットの場合、CPBからのアクセスユニットの名目除去時間は以下によって指定され得る。
上式で、tr,n(nb)は、以前のバッファリング期間の第1のピクチャの名目除去時間であってよく、cpb_removal_delay(n)は、アクセスユニットnに関連するピクチャタイミングSEIメッセージで指定され得る。
さらに、アクセスユニットnがバッファリング期間の第1のアクセスユニットであるとき、nbは、アクセスユニットnの除去時間にnに等しくセットされ得る。
また、バッファリング期間の第1のアクセスユニットではないアクセスユニットnの名目除去時間tr,n(n)は、以下によって与えられ得る。
さらに、アクセスユニットnの除去時間は次のように指定され得る。
(1)low_delay_hrd_flagが「0」に等しいか、またはtr,n(n)≧taf(n)である場合、アクセスユニットnの除去時間は以下によって指定され得る。
(2)そうでない(low_delay_hrd_flagが「1」に等しく、かつtr,n(n)<taf(n)である)場合、アクセスユニットnの除去時間は以下によって指定され得る。
この例において後者のケースは、アクセスユニットnのサイズ、b(n)が非常に大きくて、名目除去時間における除去を阻むことを示している。
別の例として次に、ビットストリーム準拠について説明する。H.264/AVCのサブクローズC.3の開示は、次の変更を含めることにより、後述する技法に適用可能である。準拠ビットストリームの復号順序での第1のコード化ピクチャはIDRピクチャまたはCRAピクチャであり得る。CRAピクチャで開始する準拠ビットストリームの場合、開始CRAピクチャに関連するすべての先行ピクチャを含むアクセスユニットをドロップすることによって生成されたビットストリームサブセットは、依然として準拠ビットストリームであり得る。
以下の説明は、上述した本開示の技法の代替例を含む。たとえば、本開示のいくつかの態様の様々な代替実装形態が可能であり、いくつかは次のように説明される。以下の代替実装形態は、本開示の技法の様々な態様に関して説明される。ただし、様々な態様に関する実装形態の任意の組合せも、本開示の技法に一致する実装形態を形成することができる。
以下の代替例は、VPSの変更に関する。
一例として、VPSの定義は次のように提供される。あるピクチャに関連する参照ピクチャのセットであって、現在のRPSにあり、復号順序でそのピクチャの前に来る最も近いCRAピクチャからのランダムアクセスが発生したときに正しく復号されないことがある、すべての参照ピクチャからなるセット。
以下は、VPS変更の1つの代替例である。この例では、VPSが空ではない場合、以下が適用され得る。
(1)現在のピクチャが復号される前に、VPSにおける各ピクチャがチェックされ得る。
(a)ピクチャは、RPSにある場合、VPSで維持され得る。
(b)そうでない場合、ピクチャはVPSから除去され得る。
(2)現在のピクチャのVPSおよび現在のピクチャのRPSが重複を有する場合、現在のピクチャは、参照ピクチャである場合には、復号された後にVPSに挿入され得る。
いくつかの例では、ピクチャがCRAピクチャではなく、VPSが空ではない場合、現在のRPSにおける各ピクチャは、VPS中またはDPB中のいずれかにあり得る。
以下は、VPS変更の別の代替例である。この例では、VPSが空ではない場合、以下が適用され得る。
(1)ピクチャが復号される前に、VPSにおける各ピクチャがチェックされ得る。
(a)ピクチャがRPSにあり、サブセットRefPicSetStCurr0、RefPicSetStCurr1、およびRefPicSetLtCurrのうちの1つである場合、そのピクチャはVPSで維持され得る。
(b)そうでない場合、ピクチャはVPSから除去され得る。
(2)現在のピクチャのVPSおよび現在のピクチャのRPSが重複を有する場合、現在のピクチャは、参照ピクチャである場合には、復号された後にVPSに挿入され得る。
以下は、VPS変更の別の代替例である。この例では、あるピクチャがCRAピクチャよりも大きい表示順序を有し、VPSが空ではない場合、以下が適用され得る。
(1)RPSにおける少なくとも1つのピクチャがVPSに属する場合、VPSは変更されずに維持され得る。
(2)RPSにおけるいずれのピクチャもVPSに属さない場合、VPSは空にセットされ得る。
この例では、VPSは各ランダムアクセス中に2回変更されるのみであり得る。第1の時間に、VPSは、先行ピクチャが依存し得るピクチャで満たされ得る。第2の時間に、VPSは空にセットされ得る。
図4の例では、ピクチャ「8」がランダムアクセスに使用される場合、VPSは{8}であり得る。この例では、ピクチャ「16」のRPSが作成された後にのみ、VPSは空にセットされ得る。この例では、CRAピクチャの表示順序よりも小さい表示順序を有するピクチャは、VPSが空でない限り、復号および出力のために省略されてよい。これは、「先行ピクチャ識別」のための異なる、または代替的な手法として説明され得る。
次に、消失ピクチャを作成する代替例について説明する。この例では、あるピクチャは、消失ピクチャとして検出された場合に、消失ピクチャに最も近い表示順序(POC距離)を有するDPB中のピクチャのコピーとして作成され得る。2つのピクチャが同じPOC距離を有する場合、より小さいPOCを有するピクチャが使用され得る。
次に、先行ピクチャ復号の代替例について説明する。一例として、先行ピクチャは、RefPicSetStCurr0、RefPicSetStCurr1、またはRefPicSetLtCurrにおけるピクチャのいずれもVPSに属さない場合に復号され得る。別の例として、先行ピクチャは、とりわけ、ドリフトを伴いながらもDPBにおいて各消失ピクチャが利用可能であるときに、常に復号され得る。
次に、先行ピクチャ出力の代替例について説明する。一例として、先行ピクチャが適切に復号される場合、output_flagは「1」にセットされ得る。そうでない場合、output_flagは「0」にセットされ得る。別の例として、出力順序でCRAピクチャの直前の連続する先行ピクチャのみが、すべて正しく復号される場合に、「1」にセットされたoutput_flag値を有してよく、他の先行ピクチャは、「0」にセットされたoutput_flag値を有してよい。
次に、除去時間オフセット、および特にバッファリング期間SEIメッセージシンタックスの代替例について記述する。
代替的に、他の例では、オフセットは、CRA(または非IDRランダムアクセス)ピクチャのみに関連する異なるSEIメッセージでシグナリングされ得、そのメッセージのシンタックスを以下で提示する。
次に、CPB除去遅延オフセットSEIメッセージシンタックスの例について記述する。
さらに、バッファリング期間SEIメッセージセマンティクスについて以下で説明する。
一例として、「1」に等しいcra_para_present_flagは、random_access_removal_delay_offset[SchedSelIdx]シンタックス要素の存在を示すことができる。「0」に等しいこのフラグは、random_access_removal_delay_offset[SchedSelIdx]シンタックス要素の不在を示すことができる。
別の例として、random_access_removal_delay_offset[SchedSelIdx]は、SchedSelIdx番目のCPBのCPB除去時間オフセットを指定することができる。たとえば、これは90kHzクロックの単位であり得る。さらに、random_access_removal_delay_offset[SchedSelIdx]は、initial_cpb_removal_delay[SchedSelIdx]+initial_cpb_removal_delay_offset[SchedSelIdx]を超えてはならない。いくつかの例では、値は、存在しない場合、「0」に等しいと推測され得る。
次に、CPB除去遅延オフセットSEIメッセージセマンティクスの例について説明する。いくつかの例では、そのようなSEIメッセージは、CRAピクチャに関してのみ存在することがあり、CRAがランダムアクセスに使用され、かつその対応先行ピクチャがビットストリームに存在しないときのみ効力を発し得る。一例として、random_access_removal_delay_offset[SchedSelIdx]は、SchedSelIdx番目のCPBのCPB除去時間オフセットを指定することができる。たとえば、これは90kHzクロックの単位であり得る。さらに、random_access_removal_delay_offset[SchedSelIdx]は、initial_cpb_removal_delay[SchedSelIdx]+initial_cpb_removal_delay_offset[SchedSelIdx]を超えてはならない。いくつかの例では、値は、存在しない場合、「0」に等しいと推測され得る。
次に、CPBの動作の例について説明する。本開示のこの部分の説明は、存在するCPBパラメータの各セットに、およびタイプI準拠とタイプII準拠の両方に独立して当てはまり得る。
一例として次に、ビットストリーム到着のタイミングについて説明する。たとえば、HRDは、バッファリング期間SEIメッセージのうちのいずれか1つで初期化され得る。初期化前に、CPBは空であり得る。この例では、初期化後、HRDは後続のバッファリング期間SEIメッセージによって再び初期化されることはない。またこの例では、CPBを初期化するバッファリング期間SEIメッセージに関連するアクセスユニットは、アクセスユニット0と呼ばれ得る。すべての他のアクセスユニットは、アクセスユニットnと呼ばれ、nは、復号順序で次のアクセスユニットに関して1だけ増分される。
この例では、第1のアクセスユニットがCRAアクセスユニットであって、先行ピクチャが存在せず、cra_para_present_flagが「1」に等しい場合、useUpdateParaが「1」にセットされ得る。そうでない場合、useUpdateParaは「0」にセットされ得る。さらに、useUpdateParaが「1」に等しい場合、DelayOffset[SchedSelIdx]は、random_access_removal_delay_offset[SchedSelIdx]にセットされ得る。そうでない場合、DelayOffset[SchedSelIdx]は「0」にセットされ得る。また、アクセスユニットnの第1のビットがCPBに入り始める時間は、初期到着時間tai(n)と呼ばれ得る。いくつかの例では、アクセスユニットの初期到着時間は次のように導出され得る。
(1)アクセスユニットがアクセスユニット0である場合、tai(0)=0である。
(2)そうでない(アクセスユニットがアクセスユニットnであって、n>0である)場合、以下が適用され得る。
(a)cbr_flag[SchedSelIdx]が「1」に等しい場合、アクセスユニットnの初期到着時間はアクセスユニットn−1の最終到着時間(以下で導出される)に等しくなり得る。すなわち、次のようになる。
(b)そうではなく、cbr_flag[SchedSelIdx]が「0」に等しく、アクセスユニットnが後続のバッファリング期間の第1のアクセスユニットではない場合、アクセスユニットnの初期到着時間は以下によって導出され得る。
上式で、tai,earliest(n)は次のように与えられ得る。
r,n(n)は、HEVC WD4のサブクローズC.1.2で指定されている、CPBからのアクセスユニットnの名目除去時間であり、initial_cpb_removal_delay[SchedSelIdx]およびinitial_cpb_removal_delay_offset[SchedSelIdx]は、以前のバッファリング期間SEIメッセージで指定される。
(c)そうではない場合(cbr_flag[SchedSelIdx]が「0」に等しく、後続のアクセスユニットnが後続のバッファリング期間の第1のアクセスユニットである場合)、アクセスユニットnの初期到着時間は以下によって導出され得る。
initial_cpb_removal_delay[SchedSelIdx]は、アクセスユニットnに関連するバッファリング期間SEIメッセージで指定される。この例では、アクセスユニットnの最終到着時間は以下によって導出され得る。
上式で、b(n)は、アクセスユニットnのビットのサイズであってよく、タイプI準拠の場合にはタイプIビットストリームのビット、またはタイプII準拠の場合にはタイプIIビットストリームのビットをカウントする。
さらに、SchedSelIdx、BitRate[SchedSelIdx]、およびCpbSize[SchedSelIdx]の値は、次のように制限され得る。
(1)アクセスユニットnおよびアクセスユニット「n−1」が異なるCVSの部分であり、2つのCVSのアクティブなSPSの内容が異なる場合、HSSは、アクセスユニットnを含むCVSに提供されるSchedSelIdxの値の中からSchedSelIdxの値SchedSelIdx1を選択することができ、その結果、2つのCVSのうちの第2のもの(アクセスユニットn−1を含む)に、アクセスユニットn−1を含むCVSに使用されていたSchedSelIdxの値SchedSelIdx0のBitRate[SchedSelIdx0]または「CpbSize[SchedSelIdx0]」の値とは異なる、BitRate[SchedSelIdx1]またはCpbSize[SchedSelIdx1]がもたらされる。
(2)そうでない場合、HSSは、SchedSelIdx、BitRate[SchedSelIdx]、およびCpbSize[SchedSelIdx]の以前の値で動作し続けることができる。
また、HSSが以前のアクセスユニットのBitRate[SchedSelIdx]またはCpbSize[SchedSelIdx]の値とは異なるBitRate[SchedSelIdx]またはCpbSize[SchedSelIdx]の値を選択した場合、以下が適用され得る。
(1)可変BitRate[SchedSelIdx]は時間tai(n)に効力を生じ得る。
(2)可変CpbSize[SchedSelIdx]は次のように効力を生じ得る。
(a)CpbSize[SchedSelIdx]の新しい値が古いCPBサイズを超えた場合、その値は時間tai(n)に効力を生じ得る。
(b)そうでない場合、CpbSize[SchedSelIdx]の新しい値は、時間tr(n)に効力を生じ得る。
別の例として次に、コード化ピクチャ除去のタイミングについて説明する。いくつかの例では、コード化ピクチャの名目CPB除去時間およびCPB除去時間は、以前のコード化ピクチャがCPBから除去された直後に、またはアクセスユニット0の場合にはHRDが初期化されたときに、計算されると仮定され得る。
たとえば、アクセスユニット0の場合、CPBからのアクセスユニットの名目除去時間は以下によって指定され得る。
アクセスユニット0の除去時間に、可変nbは「0」に等しくセットされ得る。CPBからのアクセスユニット0の除去の直後に、tr,n(0)はtr,n(0)−(DelayOffset[SchedSelIdx]÷90000)に等しくなるようにセットされ得る。
この例では、アクセスユニット0の実効CPB除去時間はシフトされ得ないが、復号順序でアクセスユニット0の後のすべてのピクチャについては、実効CPB除去時間は(DelayOffset[SchedSelIdx]÷90000)だけ早めにシフトされ得る。
さらに、HRDを初期化しないバッファリング期間の第1のアクセスユニットの場合、CPBからのアクセスユニットの名目除去時間は以下によって指定され得る。
上式で、tr,n(nb)は、以前のバッファリング期間の第1のピクチャの名目除去時間であってよく、cpb_removal_delay(n)は、アクセスユニットnに関連するピクチャタイミングSEIメッセージで指定され得る。
また、アクセスユニットnがHRDを初期化しないバッファリング期間の第1のアクセスユニットである場合、nbは、アクセスユニットnの除去時間に「n」に等しくセットされ得る。その上、バッファリング期間の第1のアクセスユニットではないアクセスユニットnの名目除去時間tr,n(n)は、以下によって与えられ得る。
たとえば、アクセスユニットnの除去時間は次のように指定され得る。
(1)low_delay_hrd_flagが「0」に等しいか、またはtr,n(n)≧taf(n)である場合、アクセスユニットnの除去時間は以下によって指定され得る。
(2)そうでない場合(low_delay_hrd_flagが「1」に等しく、かつtr,n(n)<taf(n)である場合)、アクセスユニットnの除去時間は以下によって指定され得る。
この例において後者のケースは、アクセスユニットnのサイズ、b(n)が非常に大きくて、名目除去時間における除去を阻むことを示している。
本開示の技法の別の例は、欠落参照ピクチャを有する先行ピクチャの復号プロセスを明示している。この例では、ビットストリームに先行ピクチャが存在する場合のCRAピクチャで開始するビットストリームのみが、準拠ビットストリームとして指定される。特に、この例は、HEVC WD5に記載されている技法のうちのいくつかに対応し、以下で詳細に説明するように、HEVC WD5のこれらの技法に対する以下の変更を含む。
この例では、ビットストリーム中の第1のコード化ピクチャはIDRピクチャまたはCRAピクチャであり得る。すでに説明したように、本開示で使用する「先行ピクチャ」という用語は、次のように定義され得る。復号順序でCRAピクチャの後に来て、出力順序でCRAピクチャの前に来る、CRAピクチャに関連するコード化ピクチャ。たとえば、ビットストリーム中の第1のコード化ピクチャがCRAピクチャであって、現在のピクチャまたは現在のコード化ピクチャがビットストリーム中の第1のコード化ピクチャの先行ピクチャである場合、現在のコード化ピクチャのoutput_flagは、(たとえば、コード化ピクチャのビデオコーディングレイヤ(VCL)NALユニットのNALユニットヘッダにおけるoutput_flagの値にかかわりなく)偽または「0」に等しくなるようにセットされ得る。この例では、(以下で示す)欠落参照ピクチャを生成するための復号プロセスが呼び出され得る(たとえば、このプロセスは、ピクチャの1つのスライスのためにのみ呼び出される必要があり得る)。
さらに、RPSには含まれているが、DPBには存在しない1つまたは複数の参照ピクチャがあり得る。「参照ピクチャなし」に等しいRefPicSetStFollまたはRefPicSetLtFollのエントリは、ビットストリーム中の第1のコード化ピクチャがIDRピクチャである場合、またはビットストリーム中の第1のコード化ピクチャがCRAピクチャであって、現在のコード化ピクチャがビットストリーム中の第1のコード化ピクチャの先行ピクチャではない場合、無視され得る。たとえば、意図的でないピクチャ損失が、「参照ピクチャなし」に等しいRefPicSetStCurr0、RefPicSetStCurr1、およびRefPicSetLtCurrのエントリごとに推測され得る。
さらに、ビットストリーム中の第1のコード化ピクチャがIDRピクチャである場合、またはビットストリーム中の第1のコード化ピクチャがCRAピクチャであって、現在のコード化ピクチャがビットストリーム中の第1のコード化ピクチャの先行ピクチャではない場合、「参照ピクチャなし」に等しいRefPicSetStCurr0、RefPicSetStCurr1、またはRefPicSetLtCurrのエントリは存在しないことがある。
欠落参照ピクチャを生成するための復号プロセスは次のように明示され得る。このプロセスは、(文書「JCTVC−G1103」中、たとえばこの文書のバージョン「d9」中のHEVC WD5のサブクローズ8.2.2で明示されているように)RPSの復号プロセスの呼出しの後、コード化ピクチャごとに1回呼び出され得る。ビットストリーム中の第1のコード化ピクチャがCRAピクチャであって、現在のコード化ピクチャがビットストリーム中の第1のコード化ピクチャの先行ピクチャである場合、以下が適用され得る。
1)「参照ピクチャなし」に等しい、「i」が「0」〜NumPocStCurr0−1(これらを含む)の範囲にあるRefPicSetStCurr0[i]ごとに、以下に明示するように、欠落参照ピクチャを生成するための復号プロセスの呼出しによって参照ピクチャが生成され得る。さらに、以下が適用され得る。
A)生成された参照ピクチャのPicOrderCntValの値がPocStCurr0[i]にセットされ得る。
B)生成された参照ピクチャのoutput_flagの値が「0」にセットされ得る。
C)生成された参照ピクチャは、「短期の参照のために使用される」とマークされ得る。
D)生成された参照ピクチャとなるようにRefPicSetStCurr0[i]がセットされ得る。
2)「参照ピクチャなし」に等しい、「i」が「0」〜NumPocStCurr1−1(これらを含む)の範囲にあるRefPicSetStCurr1[i]ごとに、以下に明示するように、欠落参照ピクチャを生成するための復号プロセスの呼出しによって参照ピクチャが生成され得る。さらに、以下が適用され得る。
A)生成された参照ピクチャのPicOrderCntValの値がPocStCurr1[i]にセットされ得る。
B)生成された参照ピクチャのoutput_flagの値が「0」にセットされ得る。
C)生成された参照ピクチャは、「短期の参照のために使用される」とマークされ得る。
D)生成された参照ピクチャとなるようにRefPicSetStCurr1[i]がセットされ得る。
3)「参照ピクチャなし」に等しい、「i」が「0」〜NumPocLtCurr−1(これらを含む)の範囲にあるRefPicSetLtCurr[i]ごとに、以下に明示するように、欠落参照ピクチャを生成するための復号プロセスの呼出しによって参照ピクチャが生成され得る。さらに、以下が適用され得る。
A)生成された参照ピクチャのpic_order_cnt_lsbの値がPocLtCurr[i]にセットされ得る。
B)生成された参照ピクチャのoutput_flagの値が「0」にセットされ得る。
C)生成された参照ピクチャは、「長期の参照のために使用される」とマークされ得る。
D)生成された参照ピクチャとなるようにRefPicSetLtCurr[i]がセットされ得る。
いくつかの例では、欠落参照ピクチャを生成するための復号プロセスは次のように明示され得る。
1)サンプルアレイSLの各要素の値が1<<(BitDepthY−1)にセットされ得る。
2)サンプルアレイSCbおよびSCrの各要素の値が1<<(BitDepthC−1)にセットされ得る。
3)各最小CUの予測モードPredModeがMODE_INTRAにセットされ得る。
代替的に、各LCUは最小CUに分割されてよく、最小CUはMODE_INTRAにセットされてよい。
代替的に、各LCUはMODE_INTRAにセットされ得る。
したがって、本開示の技法に一致するいくつかの例では、ソースデバイス12のビデオエンコーダ20は、ビデオデータの1つまたは複数のピクチャを符号化するように構成され得る。これらの例では、宛先デバイス14のビデオデコーダ30は、ビデオエンコーダ20から符号化された1つまたは複数のピクチャを、たとえば、ビデオエンコーダ20によって生成され、ビデオデコーダ30によって受信された符号化ビットストリームの一部として受信し、1つまたは複数のピクチャを復号するように構成され得る。
一例として、ビデオデコーダ30は、CVSの1つまたは複数のピクチャを含むビットストリームを受信するように構成され得る。ビデオデコーダ30は、CVSに関連する復号順序による1つまたは複数のピクチャの第1のピクチャを復号するようにさらに構成され得る。この例では、第1のピクチャは、IDRピクチャではないRAPピクチャであり得る。ビデオデコーダ30はまた、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを、復号された第1のピクチャに基づいて復号するように構成され得る。
別の例として、ビデオエンコーダ20は、CVSの1つまたは複数のピクチャを含むビットストリームを生成するように構成され得る。この例では、CVSに関連する復号順序による1つまたは複数のピクチャの第1のピクチャは、IDRピクチャではないRAPピクチャであり得る。またこの例では、ビットストリームを生成するにあたり、ビデオエンコーダ20は、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つをビットストリームに含めるのを回避するように構成され得る。たとえば、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャであり得る。この例では、第1のピクチャは復号可能、すなわち、たとえばビデオデコーダ30によって復号可能であり得る。またこの例では、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つも、復号された第1のピクチャに基づいて復号可能であり得る。たとえば、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つは、第1のピクチャの復号バージョンを参照ピクチャとして使用して復号可能であり得る。
このようにして、ビデオデコーダ30は、たとえばビデオエンコーダ20によって生成された、ビデオデータの1つまたは複数のピクチャを含み、非IDR RAPピクチャにより始まるビットストリームを、本開示の技法によって明示されるように予測可能なおよび定義された方法で復号することができる。結果として、開示される技法を使用する場合に、ビデオデータの1つまたは複数のピクチャを含むビットストリームのランダムアクセスを実行するときにユーザエクスペリエンスの相対的改善があり得る。特に、ビデオデコーダ30は、比較的きめ細かくビットストリームを復号することが可能であり得る。言い換えれば、ビデオデコーダ30は、他の技法(たとえば、IDRピクチャからのみビットストリームのランダムアクセスを許容する技法)と比較して、ビットストリームの比較的より多くのポイント、またはピクチャ(すなわち、非IDRピクチャ)においてビットストリームにランダムにアクセスすることが可能であり得る。さらに、本開示の技法を使用する場合に、ビットストリームに含まれるCVSの1つまたは複数のピクチャの視覚的品質および/またはCVS全体の視覚的品質の相対的改善があり得る。
ビデオエンコーダ20およびビデオデコーダ30はそれぞれ、適用可能なとき、1つまたは複数のマイクロプロセッサ、DSP、ASIC、FPGA、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な好適なエンコーダまたはデコーダ回路のいずれかとして実装され得る。ビデオエンコーダ20およびビデオデコーダ30の各々は1つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合ビデオエンコーダ/デコーダ(コーデック)の一部として統合され得る。ビデオエンコーダ20および/またはビデオデコーダ30を含む装置は、集積回路(IC)、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを備え得る。
図2は、本開示の技法に一致する、高度なDPB管理によるランダムアクセスのための技法を実行することができるビデオエンコーダの例を示すブロック図である。ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実行し得る。イントラコーディングは、空間的予測を利用して、所与のビデオフレームまたはピクチャ内のビデオの空間的冗長性を低減または除去する。インターコーディングは、時間的予測を利用して、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去する。イントラモード(Iモード)は、いくつかの空間ベースの圧縮モードのいずれかを指し得る。単方向予測(Pモード)または双方向予測(Bモード)などのインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指し得る。
図2の例では、ビデオエンコーダ20は、モード選択ユニット40と、動き推定ユニット42と、動き補償ユニット44と、イントラ予測処理ユニット46と、参照ピクチャメモリ66と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換処理ユニット60と、加算器62とを含む。再構成されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタ処理するデブロッキングフィルタ64も含まれる。
図2に示すように、ビデオエンコーダ20は、符号化されるべきビデオスライス内の現在のビデオブロックを受信する。スライスは複数のビデオブロックに分割され得る。モード選択ユニット40は、誤差結果に基づいて、現在のビデオブロックについて、コーディングモードのうちの1つ、すなわちイントラモードまたはインターモードを選択し得る。イントラモードまたはインターモードが選択された場合、モード選択ユニット40は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器50に与え、かつ参照ピクチャとして使用するための符号化ブロックを再構成するために加算器62に与え得る。イントラ予測処理ユニット46は、空間圧縮を行うために、コーディングされるべき現在のブロックと同じフレームまたはスライス中の1つまたは複数の隣接ブロックに対する現在のビデオブロックのイントラ予測コーディングを実行する。動き推定ユニット42および動き補償ユニット44は、時間圧縮を行うために、1つまたは複数の参照ピクチャ中の1つまたは複数の予測ブロックに対する現在のビデオブロックのインター予測コーディングを実行する。
インターコーディングの場合、動き推定ユニット42は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを判断するように構成され得る。所定のパターンは、シーケンス中のビデオスライスをPスライス、BスライスまたはGPBスライスに指定し得る。動き推定ユニット42と動き補償ユニット44とは、高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット42によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックのPUの変位を示し得る。
予測ブロックは、絶対値差分和(SAD:sum of absolute difference)、2乗差分和(SSD:sum of square difference)、または他の差分メトリックによって判断され得るピクセル差分に関して、コーディングされるべきビデオブロックのPUにぴったり一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ20は、参照ピクチャメモリ66に記憶された参照ピクチャのサブ整数ピクセル位置の値を計算し得る。たとえば、ビデオエンコーダ20は、参照ピクチャの1/4ピクセル位置、1/8ピクセル位置、または他の分数ピクセル位置の値を計算し得る。したがって、動き推定ユニット42は、フルピクセル位置と分数ピクセル位置とに対する動き探索を実行し、分数ピクセル精度で動きベクトルを出力し得る。
動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライスにおけるビデオブロックのPUのための動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)または第2の参照ピクチャリスト(リスト1)から選択され得、それらの参照ピクチャリストの各々は、参照ピクチャメモリ66に記憶された1つまたは複数の参照ピクチャを識別する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56と動き補償ユニット44とに送る。
動き補償ユニット44によって実行される動き補償は、動き推定によって判断された動きベクトルに基づいて予測ブロックをフェッチまたは生成することに関与し得る。現在のビデオブロックのPUのための動きベクトルを受信すると、動き補償ユニット44は、動きベクトルが参照ピクチャリストのうちの1つにおいて指す予測ブロックの位置を特定し得る。ビデオエンコーダ20は、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器50は、この減算演算を実行する1つまたは複数の構成要素を表す。動き補償ユニット44はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30が使用するための、ビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
動き補償ユニット44が現在のビデオブロックのための予測ブロックを生成した後、ビデオエンコーダ20は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロックにおける残差ビデオデータは、1つまたは複数のTUに含まれ得、変換処理ユニット52に適用され得る。変換処理ユニット52は、変換、たとえば離散コサイン変換(DCT)または概念的に同様の変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット52は、ピクセル領域からの残差ビデオデータを周波数領域などの変換領域に変換し得る。
変換処理ユニット52は、得られた変換係数を量子化ユニット54に送り得る。量子化ユニット54は、変換係数を量子化してビットレートをさらに低減する。量子化プロセスは、係数の一部または全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータ(QP)を調整することによって修正され得る。いくつかの例では、量子化ユニット54は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット56が走査を実行し得る。
量子化の後に、エントロピー符号化ユニット56は量子化変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット56は、CAVLC、CABAC、または別のエントロピー符号化技法を実行することができる。エントロピー符号化ユニット56によるエントロピー符号化の後に、符号化ビットストリームは、ビデオデコーダ30に送信されるか、あるいはビデオデコーダ30が後で送信するかまたは取り出すためにアーカイブされ得る。エントロピー符号化ユニット56はまた、コーディングされている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
逆量子化ユニット58および逆変換処理ユニット60は、それぞれ逆量子化および逆変換を適用して、参照ピクチャの参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構成する。動き補償ユニット44は、残差ブロックを参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット44はまた、再構成された残差ブロックに1つまたは複数の補間フィルタを適用して、動き推定において使用するサブ整数ピクセル値を計算し得る。加算器62は、再構成された残差ブロックを動き補償ユニット44によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ66に記憶するための参照ブロックを生成する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット42と動き補償ユニット44とによって参照ブロックとして使用され得る。
一例として、ビデオエンコーダ20は、ビデオ符号化プロセス中にビデオデータの1つまたは複数のピクチャを符号化するように構成され得る。たとえば、ビデオエンコーダ20は、CVSの1つまたは複数のピクチャを含むビットストリームを生成することであって、CVSに関連する復号順序による1つまたは複数のピクチャの第1のピクチャは、IDRピクチャではないRAPピクチャである、ことを行うように構成され得る。この例では、ビットストリームを生成するにあたり、ビデオエンコーダ20は、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つをビットストリームに含めるのを回避するように構成され得る。たとえば、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャであり得る。またこの例では、ビデオエンコーダ20が上記の方法でビットストリームを生成することにより、第1のピクチャは(たとえば、ビデオデコーダ30によって)正常に復号され得る、すなわち復号可能であり得る。さらに、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つも、第1のピクチャに基づいて(たとえば、上記のように第1のピクチャが復号された後に、第1のピクチャを参照ピクチャとして使用して)、(たとえば、ビデオデコーダ30によって)正常に復号され得る、すなわち復号可能であり得る。
したがって、上記で説明したように、本開示の技法は、ビデオエンコーダ20が、ビデオデコーダ、たとえばビデオデコーダ30によって復号され得るビットストリームを、本開示の技法によって明示されるように予測可能なおよび定義された方法で生成することを可能にし得る。具体的には、ビットストリームは、ビデオデータのCVSの1つまたは複数のピクチャを含むことができる。ビットストリームはビデオデコーダによって、ビットストリームが非IDR RAPピクチャで始まるように受信され得る。本開示の技法を使用して、ビデオデコーダはビットストリームを正常に復号することができる。したがって、開示される技法を使用する場合に、ビットストリームのランダムアクセスを実行するときにユーザエクスペリエンスの相対的改善があり得る。一例として、本技法は、ビデオデコーダが比較的きめ細かくビットストリームを復号することを可能にし得る。言い換えれば、本技法は、ビデオデコーダが、他の技法(たとえば、IDRピクチャからのみビットストリームのランダムアクセスを許容する技法)と比較して、ビットストリームの比較的より多くのポイント、またはピクチャ(すなわち、非IDRピクチャ)においてビットストリームにランダムにアクセスすることを可能にし得る。別の例として、開示される技法を使用する場合に、(たとえば、ビデオエンコーダ20が、第1のピクチャに関連する先行ピクチャをビットストリームから省くことによって)ビットストリームに含まれるCVSの1つもしくは複数のピクチャの視覚的品質および/またはCVS全体の視覚的品質の相対的改善があり得る。
このようにして、ビデオエンコーダ20は、CVSの1つまたは複数のピクチャを含むビットストリームを生成するように構成されたビデオエンコーダの例を表しており、CVSに関連する復号順序による1つまたは複数のピクチャの第1のピクチャは、IDRピクチャではないRAPピクチャであり、ビットストリームを生成するにあたり、ビデオエンコーダは、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つをビットストリームに含めるのを回避するように構成され、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャであり、第1のピクチャは復号可能であり、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つは、第1のピクチャに基づいて復号可能である。
図3は、本開示の技法に一致する、高度なDPB管理によるランダムアクセスのための技法を実行することができるビデオデコーダの例を示すブロック図である。図3の例では、ビデオデコーダ30は、エントロピー復号ユニット80と、予測処理ニット82と、逆量子化ユニット88と、逆変換処理ユニット90と、加算器92と、デブロッキングフィルタ94と、参照ピクチャメモリ96とを含む。予測処理ユニット82は、動き補償ユニット84と、イントラ予測処理ユニット86とを含む。ビデオデコーダ30は、いくつかの例では、図2のビデオエンコーダ20に関して説明した符号化パスとは概して逆の復号パスを実行し得る。
復号プロセス中に、ビデオデコーダ30は、ビデオエンコーダ20から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。ビットストリーム中に表されたビデオブロックが圧縮されたビデオデータを含むとき、ビデオデコーダ30のエントロピー復号ユニット80はビットストリームをエントロピー復号して、量子化係数と、動きベクトルと、他のシンタックス要素とを生成する。エントロピー復号ユニット80は、予測処理ユニット82に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ30は、ビデオスライスレベルおよび/またはビデオブロックレベルでシンタックス要素を受信し得る。
ビデオスライスがイントラコード化(I)スライスとしてコーディングされるとき、予測処理ユニット82のイントラ予測処理ユニット86は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの、以前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化(すなわち、B、PまたはGPB)スライスとしてコーディングされるとき、予測処理ユニット82の動き補償ユニット84は、エントロピー復号ユニット80から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つから生成され得る。ビデオデコーダ30は、参照ピクチャメモリ96に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、すなわち、リスト0およびリスト1を構成し得る。
動き補償ユニット84は、動きベクトルと他のシンタックス要素とを解析することによって現在のビデオスライスのビデオブロックのための予測情報を判断し、その予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。たとえば、動き補償ユニット84は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(たとえば、イントラ予測またはインター予測)と、インター予測スライスタイプ(たとえば、Bスライス、Pスライス、またはGPBスライス)と、スライスの参照ピクチャリストのうちの1つまたは複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報とを判断するために、受信されたシンタックス要素のいくつかを使用する。
動き補償ユニット84はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット84は、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルの補間値を計算し得る。動き補償ユニット84は、受信されたシンタックス要素からビデオエンコーダ20によって使用された補間フィルタを判断し、その補間フィルタを使用して予測ブロックを生成し得る。
逆量子化ユニット88は、ビットストリーム中で与えられ、エントロピー復号ユニット80によって復号された、量子化変換係数を逆量子化(inverse quantize)、すなわち、逆量子化(de-quantize)する。逆量子化プロセスは、ビデオスライス中の各ビデオブロックについてビデオエンコーダ20によって計算される量子化パラメータ(QP)を使用して、量子化の程度を判断し、同様に、適用されるべき逆量子化の程度を判断することを含み得る。逆変換処理ユニット90は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆DCT、逆整数変換、または概念的に同様の逆変換プロセスを変換係数に適用する。
動き補償ユニット84が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックのための予測ブロックを生成した後、ビデオデコーダ30は、逆変換処理ユニット90からの残差ブロックを動き補償ユニット84によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器92は、この加算演算を実行する1つまたは複数の構成要素を表す。ブロッキネスアーティファクトを除去するために、復号ブロックをフィルタ処理するためにデブロッキングフィルタ94が適用される。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ96に記憶される。参照ピクチャメモリ96はまた、図1のディスプレイデバイス28などのディスプレイデバイス上での後の提示のために、復号されたビデオを記憶する。
一例として、ビデオデコーダ30は、ビデオ復号プロセス中にビデオデータの1つまたは複数のピクチャを復号するように構成され得る。たとえば、ビデオデコーダ30は、たとえばビデオエンコーダ20によって生成された、CVSの1つまたは複数のピクチャを含むビットストリームを受信するように構成され得る。ビデオデコーダ30は、CVSに関連する復号順序による1つまたは複数のピクチャの第1のピクチャを復号するようにさらに構成され得る。この例では、第1のピクチャは、IDRピクチャではないRAPピクチャであり得る。ビデオデコーダ30はまた、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを、復号された第1のピクチャに基づいて復号するように構成され得る。
いくつかの例では、ビデオデコーダ30は、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを特定する(または識別する)ようにさらに構成され得る。言い換えれば、ビデオデコーダ30は、1つまたは複数のピクチャの中で、第1のピクチャに関連する少なくとも1つの先行ピクチャを識別するように構成され得る。これらの例では、先行ピクチャはまたしても、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャであり得る。たとえば、ビデオデコーダ30は、1つまたは複数のピクチャのうちの少なくとも1つを復号するように構成され得る。1つまたは複数のピクチャのうちの少なくとも1つの各々を復号するにあたり、ビデオデコーダ30は、それぞれのピクチャを符号化するために使用された1つまたは複数の参照ピクチャを特定または識別することと、特定または識別された1つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、復号に利用不可能であると判断された特定または識別された1つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、それぞれのピクチャを、対応する1つまたは複数の生成された仮想参照ピクチャに基づいて復号することとを行うように構成され得る。
上述の例では、仮想参照ピクチャを生成するにあたり、ビデオデコーダ30は、CVSに関連するピクセル値の範囲の中間に各々対応する1つまたは複数のピクセル値を含むピクチャを生成するように構成され得る。たとえば、ビデオデコーダ30は、「127」の「ルーマ」または「クロマ」値を各々有する1つまたは複数のピクセル値をピクチャが含むようにピクチャを生成するように構成され得る。この例では、そのような各ピクセル値は、「0」のピクセル強度値から「255」のピクセル強度値までと定義されたルーマまたはクロマピクセル強度値の範囲の中間に対応し得る。たとえば、ルーマまたはクロマピクセル強度値の各々は、7ビットのデータを使用して表されてよく、それにより上述の値の範囲が得られる。ただし、他の例では、ルーマまたはクロマピクセル強度範囲、およびその範囲の対応する中間または中間値は、異なる方法で定義され得る。
いくつかの例では、ビデオデコーダ30は、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを特定または識別するようにさらに構成され得る。これらの例では、またしても、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャであり得る。また、これらの例では、ビデオデコーダ30は、1つまたは複数のピクチャのうちの少なくとも1つのうちの1つまたは複数(すなわち、以前に特定または識別された、第1のピクチャに関連する先行ピクチャのうちの1つまたは複数)を、それぞれのピクチャが出力されることになることを出力フラグ(たとえば、上述のシンタックス要素output_flag)が示す場合に出力しないか、または出力するのを回避するように構成され得る。
他の例では、ビデオデコーダ30は、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを特定または識別するようにさらに構成され得る。これらの例では、またしても、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャであり得る。また、これらの例では、ビデオデコーダ30は、1つまたは複数のピクチャのうちの少なくとも1つのうちの1つまたは複数(すなわち、以前に特定または識別された、第1のピクチャに関連する先行ピクチャのうちの1つまたは複数)を、復号順序により、またCVSに関連する表示順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを復号するために参照ピクチャとして使用しないか、または使用するのを回避するように構成され得る。
いくつかの例では、第1のピクチャはCRAピクチャであってよい。これらの例では、CRAピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャであり得る。これらの例では、CRAピクチャの場合、CRAピクチャとともにCVS内に含まれる、CVSに関連する復号順序によりCRAピクチャの後に来る1つまたは複数のピクチャは、復号順序によりCRAピクチャの前に来る1つまたは複数のピクチャを参照して復号され得る。たとえば、CRAピクチャは、図1に関して上述したように、「オープンGOP」イントラコード化ピクチャと呼ばれ得る。同じく上述したように、CRAピクチャは、特に、ビデオデータの1つまたは複数のGOPの1つまたは複数のピクチャを含むビットストリームのランダムアクセスを可能にすることに関して、「クローズドGOP」設定におけるIDRピクチャと同様の目的に適うことができる。
他の例では、IDRピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャであり得る。これらの例では、IDRピクチャの場合、IDRピクチャとともにCVS内に含まれる、CVSに関連する復号順序によりIDRピクチャの後に来るすべての他のピクチャは、復号順序によりIDRピクチャの前に来るいずれのピクチャも参照せずに復号され得る。
さらに他の例では、たとえば、ビデオデコーダ30によって受信されたビットストリームが、第1のピクチャに関連する先行ピクチャをまったく含んでいない場合(たとえば、ビデオエンコーダ20が、第1のピクチャの先行ピクチャをビットストリームから除くことによってビットストリームを生成した場合)、ビデオデコーダ30は、以下の例に示すように、特定の方法でビットストリームを復号するように構成され得る。
一例として、ビデオデコーダ30は、コード化ピクチャバッファ(CPB)初期遅延パラメータの第1のセットを復号し、1つまたは複数のピクチャが、第1のピクチャに関連する少なくとも1つの先行ピクチャを含んでいないときに、CPB初期遅延パラメータの第1のセットとは異なる第2のセット、およびCPB遅延オフセットパラメータのセットのうちの1つを復号するようにさらに構成され得る。この例では、またしても、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャであり得る。
上述の例では、CPB初期遅延パラメータの第1および第2のセットならびにCPB遅延オフセットパラメータのセットのうちの1つまたは複数は、第1のピクチャに関連する補足エンハンスメント情報(SEI)メッセージ、ピクチャバッファリング期間SEIメッセージ、およびスライスヘッダのうちの1つに含まれ得る。
また、上述の例では、復号順序で第1のピクチャの後に来る各ピクチャのCPB除去時間は、CPB初期遅延パラメータの第1および第2のセットならびにCPB遅延オフセットパラメータのセットのうちの1つまたは複数によって示されるように早めにシフトされ得る。
したがって、上記で説明したように、本開示の技法は、ビデオデコーダ30が、たとえばビデオエンコーダ20によって符号化されたビットストリームを、本開示の技法によって明示されるように予測可能なおよび定義された方法で復号することを可能にし得る。具体的には、ビットストリームは、ビデオデータのCVSの1つまたは複数のピクチャを含むことができる。ビットストリームはビデオデコーダ30によって、ビットストリームが非IDR RAPピクチャで始まるように受信され得る。本開示の技法を使用して、ビデオデコーダ30はビットストリームを正常に復号することができる。したがって、開示される技法を使用する場合に、ビットストリームのランダムアクセスを実行するときにユーザエクスペリエンスの相対的改善があり得る。一例として、本技法は、ビデオデコーダ30が比較的きめ細かくビットストリームを復号することを可能にし得る。言い換えれば、本技法は、ビデオデコーダ30が、他の技法(たとえば、IDRピクチャからのみビットストリームのランダムアクセスを許容する技法)と比較して、ビットストリームの比較的より多くのポイント、またはピクチャ(すなわち、非IDRピクチャ)においてビットストリームにランダムにアクセスすることを可能にし得る。別の例として、開示される技法を使用する場合に、(たとえば、ビデオデコーダ30が、第1のピクチャに関連する先行ピクチャを出力すること、または参照ピクチャとして使用することを回避することによって)ビットストリームに含まれるCVSの1つまたは複数のピクチャの視覚的品質および/またはCVS全体の視覚的品質の相対的改善があり得る。
このようにして、ビデオデコーダ30は、CVSの1つまたは複数のピクチャを備えるビットストリームを受信することと、CVSに関連する復号順序による1つまたは複数のピクチャの、IDRピクチャではないRAPピクチャである第1のピクチャを復号することと、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを、復号された第1のピクチャに基づいて復号することとを行うように構成されたビデオデコーダの例を表している。
図5および図6は、本開示の技法に一致する、高度なDPB管理によるランダムアクセスのための技法を実行するための例示的な方法を示すフローチャートである。具体的には、図5の例示的な方法は、ビデオデコーダ、たとえば図1および図3のビデオデコーダ30の観点から技法を実行することを示している。さらに、図6の例示的な方法は、ビデオエンコーダ、たとえば図1および図2のビデオエンコーダ20の観点から技法を実行することを示している。
図5および図6の技法は、概して、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せのいずれで実装されるかにかかわらず、任意の処理ユニットまたはプロセッサによって実行され得、ソフトウェアまたはファームウェアで実装されるとき、ソフトウェアまたはファームウェアのための命令を実行するために、対応するハードウェアが提供され得る。例として、図5および図6の技法について、ビデオエンコーダ20(図2)および/またはビデオデコーダ30(図3)の構成要素に関して説明するが、他のデバイスが同様の技法を実行するように構成され得ることを理解されたい。その上、図5および図6に示すステップは、異なる順序でまたは並列に実行され得、本開示の技法から逸脱することなく、追加のステップが追加され、かついくつかのステップが省略され得る。さらに、本開示の技法に従い、図5および図6の例示的な方法の技法は、個々に、または互いに組み合わせて実行され得る。
図5は、本開示の技法に一致する、ビデオデコーダ、たとえば図1および図3のビデオデコーダ30によってビデオデータの1つまたは複数のピクチャを含むビットストリームのランダムアクセスを実行する例示的な方法を示すフローチャートである。具体的には、図5の例示的な方法の技法は、以下で説明するように特定の方法で、ビットストリームの第1のピクチャが非IDR RAPピクチャである場合にビットストリームのランダムアクセスを実行することを含む。
一例として、ビデオデコーダ30は、CVSの1つまたは複数のピクチャを含むビットストリームを受信する(500)ことができる。ビデオデコーダ30はさらに、CVSに関連する復号順序による1つまたは複数のピクチャの、IDRピクチャではないRAPピクチャである第1のピクチャを復号する(502)ことができる。ビデオデコーダ30はまた、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを、復号された第1のピクチャに基づいて復号する(504)ことができる。
いくつかの例では、ビデオデコーダ30はさらに、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを特定または識別することができる。これらの例では、またしても、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャであり得る。ビデオデコーダ30はさらに、1つまたは複数のピクチャのうちの少なくとも1つを復号することができる。これらの例では、1つまたは複数のピクチャのうちの少なくとも1つの各々を復号するにあたり、ビデオデコーダ30は以下のステップを実行することができる。(1)それぞれのピクチャを符号化するために使用された1つまたは複数の参照ピクチャを特定または識別する、(2)特定または識別された1つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断する、(3)復号に利用不可能であると判断された特定または識別された1つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成する、(4)それぞれのピクチャを、対応する1つまたは複数の生成された仮想参照ピクチャに基づいて復号する。
上述の例では、仮想参照ピクチャを生成するにあたり、ビデオデコーダ30は、図3に関して上述したように、CVSに関連するピクセル値の範囲の中間に各々対応する1つまたは複数のピクセル値(たとえば、「0」〜「255」の範囲内の「127」の1つまたは複数のルーマまたはクロマピクセル値)を含むピクチャを生成することができる。
いくつかの例では、ビデオデコーダ30はさらに、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを特定または識別することができる。これらの例では、またしても、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャであり得る。また、これらの例では、ビデオデコーダ30はさらに、1つまたは複数のピクチャのうちの少なくとも1つのうちの1つまたは複数(すなわち、以前に特定または識別された、第1のピクチャに関連する先行ピクチャのうちの1つまたは複数)を、それぞれのピクチャが出力されることになることを出力フラグ(たとえば、シンタックス要素output_flag)が示す場合に出力するのを回避することできる。
他の例では、ビデオデコーダ30はさらに、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを特定または識別することができる。これらの例では、またしても、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャであり得る。また、これらの例では、ビデオデコーダ30はさらに、1つまたは複数のピクチャのうちの少なくとも1つのうちの1つまたは複数(すなわち、以前に特定または識別された、第1のピクチャに関連する先行ピクチャのうちの1つまたは複数)を、復号順序により、またCVSに関連する表示順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを復号するために参照ピクチャとして使用するのを回避することができる。
上述の例では、第1のピクチャはCRAピクチャであってよい。これらの例では、CRAピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャであり得る。これらの例では、CRAピクチャの場合、CRAピクチャとともにCVS内に含まれる、CVSに関連する復号順序によりCRAピクチャの後に来る1つまたは複数のピクチャは、復号順序によりCRAピクチャの前に来る1つまたは複数のピクチャを参照して復号され得る。たとえば、上述のように、CRAピクチャは、図1に関して上述したように、「オープンGOP」イントラコード化ピクチャと呼ばれ得る。同じく上述したように、CRAピクチャは、特に、ビデオデータの1つまたは複数のGOPの1つまたは複数のピクチャを含むビットストリームのランダムアクセスを可能にすることに関して、「クローズドGOP」設定におけるIDRピクチャと同様の目的に適うことができる。
また、上述の例では、IDRピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャであり得る。さらに、IDRピクチャは、IDRピクチャとともにCVS内に含まれる、CVSに関連する復号順序によりIDRピクチャの後に来るすべての他のピクチャが、復号順序によりIDRピクチャの前に来るいずれのピクチャも参照せずに復号される場合のピクチャであり得る。
さらに他の例では、たとえば、ビデオデコーダ30によって受信されたビットストリームが、第1のピクチャに関連する先行ピクチャをまったく含んでいない場合(たとえば、ビデオエンコーダ20が、第1のピクチャの先行ピクチャをビットストリームから除くことによってビットストリームを生成した場合)、ビデオデコーダ30は、以下の例に示すように、特定の方法でビットストリームを復号することができる。
一例として、ビデオデコーダ30はさらに、CPB初期遅延パラメータの第1のセットを復号し、1つまたは複数のピクチャが、第1のピクチャに関連する少なくとも1つの先行ピクチャを含んでいないときに、CPB初期遅延パラメータの第1のセットとは異なる第2のセット、およびCPB遅延オフセットパラメータのセットのうちの1つを復号することができる。この例では、またしても、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャであり得る。
上述の例では、CPB初期遅延パラメータの第1および第2のセットならびにCPB遅延オフセットパラメータのセットのうちの1つまたは複数は、第1のピクチャに関連するSEIメッセージ、ピクチャバッファリング期間SEIメッセージ、およびスライスヘッダのうちの1つに含まれ得る。
また、上述の例では、復号順序で第1のピクチャの後に来る各ピクチャのCPB除去時間は、CPB初期遅延パラメータの第1および第2のセットならびにCPB遅延オフセットパラメータのセットのうちの1つまたは複数によって示されるように早めにシフトされ得る。
このようにして、図5の方法は、CVSの1つまたは複数のピクチャを備えるビットストリームを受信することと、CVSに関連する復号順序による1つまたは複数のピクチャの、IDRピクチャではないRAPピクチャである第1のピクチャを復号することと、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを、復号された第1のピクチャに基づいて復号することとを行う方法の例を表している。
図6は、本開示の技法に一致する、ビデオエンコーダ、たとえば図1および図2のビデオエンコーダ20によってビデオデータの1つまたは複数のピクチャを含むビットストリームを生成する例示的な方法を示すフローチャートである。具体的には、図6の例示的な方法の技法は、ビデオデコーダ、たとえばビデオデコーダ30が特定の方法でビットストリームを正常に復号することができるようにビットストリームを生成することを含む。たとえば、ビデオデコーダは、以下で説明するように、ビットストリームの第1のピクチャが非IDR RAPピクチャである場合に、ビットストリームを復号することができる。
一例として、ビデオエンコーダ20は、CVSの1つまたは複数のピクチャを含むビットストリームを生成することができる。この例では、CVSに関連する復号順序による1つまたは複数のピクチャの第1のピクチャは、IDRピクチャではないRAPピクチャであり得る(600)。ビデオエンコーダ20はさらに、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つをビットストリームに含めるのを回避することができる。この例では、またしても、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャであり得る(602)。
この例では、その後、ビデオデコーダ、たとえばビデオデコーダ30は、ビデオエンコーダ20によって生成されたビットストリームを受信し、ビットストリームを復号することができる。たとえば、ビデオデコーダは第1のピクチャを復号することができる。ビデオデコーダはさらに、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つを、第1のピクチャに基づいて(たとえば、第1のピクチャの復号バージョンに基づいて)復号することができる。
このようにして、図6の方法は、CVSの1つまたは複数のピクチャを備えるビットストリームを生成する方法の例を表しており、CVSに関連する復号順序による1つまたは複数のピクチャの第1のピクチャは、IDRピクチャではないRAPピクチャであり、ビットストリームを生成することは、第1のピクチャに関連する先行ピクチャに対応する、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つをビットストリームに含めるのを回避することを備え、先行ピクチャは、復号順序により第1のピクチャの後に来て、CVSに関連する表示順序により第1のピクチャの前に来るピクチャを備え、第1のピクチャは復号可能であり、復号順序により第1のピクチャの後に来る、第1のピクチャ以外の1つまたは複数のピクチャのうちの少なくとも1つは、第1のピクチャに基づいて復号可能である。
1つまたは複数の例では、本明細書で説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体または通信媒体などの有形または非一時的媒体に対応し得る、コンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つまたは複数のコンピュータあるいは1つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非過渡または非一時的、有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびBlu−rayディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
命令は、1つまたは複数の汎用マイクロプロセッサ、DSP、ASIC、FPGA、あるいは他の等価な集積回路またはディスクリート論理回路など、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本開示で説明する技法の実装に好適な他の構造のいずれかを指す。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のハードウェアおよび/またはソフトウェアモジュール内に与えられ得、あるいは複合コーデックに組み込まれ得る。また、本技法は、1つまたは複数の回路または論理要素中に十分に実装され得る。
本開示の技法は、ワイヤレスハンドセット、IC、またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェア構成要素、モジュール、またはユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明した1つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。
様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
〔1〕
ビデオデータを復号する方法であって、
コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを備えるビットストリームを受信することと、
前記CVSに関連する復号順序による前記1つまたは複数のピクチャの、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャである第1のピクチャを復号することと、
前記復号順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを、前記復号された第1のピクチャに基づいて復号することと
を備える方法。
〔2〕
前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
前記1つまたは複数のピクチャのうちの前記少なくとも1つを復号することと
をさらに備え、前記1つまたは複数のピクチャのうちの前記少なくとも1つの各々を復号することは、
前記それぞれのピクチャを符号化するために使用された1つまたは複数の参照ピクチャを識別することと、
前記識別された1つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、
復号に利用不可能であると判断された前記識別された1つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、
前記それぞれのピクチャを、前記対応する1つまたは複数の生成された仮想参照ピクチャに基づいて復号することと
を含む、〔1〕に記載の方法。
〔3〕
前記仮想参照ピクチャを生成することは、前記CVSに関連するピクセル値の範囲の中間に各々対応する1つまたは複数のピクセル値を含むピクチャを生成することを備える、〔2〕に記載の方法。
〔4〕
前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避することと
をさらに備える、〔1〕に記載の方法。
〔5〕
前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記復号順序により、また前記CVSに関連する表示順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを復号するために参照ピクチャとして使用するのを回避することと
をさらに備える、〔1〕に記載の方法。
〔6〕
前記第1のピクチャは、クリーンランダムアクセス(CRA)ピクチャを備え、前記CRAピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記CRAピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記CRAピクチャの後に来る1つまたは複数のピクチャは、前記復号順序により前記CRAピクチャの前に来る1つまたは複数のピクチャを参照して復号され得る、〔1〕に記載の方法。
〔7〕
前記IDRピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記IDRピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記IDRピクチャの後に来るすべての他のピクチャは、前記復号順序により前記IDRピクチャの前に来るいずれのピクチャも参照せずに復号される、〔1〕に記載の方法。
〔8〕
コード化ピクチャバッファ(CPB)初期遅延パラメータの第1のセットを復号し、前記1つまたは複数のピクチャが、前記第1のピクチャに関連する少なくとも1つの先行ピクチャを含んでいないときに、CPB初期遅延パラメータの前記第1のセットとは異なる第2のセット、およびCPB遅延オフセットパラメータのセットのうちの1つを復号することをさらに備え、
前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、〔1〕に記載の方法。
〔9〕
CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数は、前記第1のピクチャに関連する補足エンハンスメント情報(SEI)メッセージ、ピクチャバッファリング期間SEIメッセージ、およびスライスヘッダのうちの1つに含まれる、〔8〕に記載の方法。
〔10〕
前記復号順序で前記第1のピクチャの後に来る各ピクチャのCPB除去時間は、CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数によって示されるように早めにシフトされる、〔8〕に記載の方法。
〔11〕
ビデオデータを符号化する方法であって、
コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを備えるビットストリームを生成することを含み、前記CVSに関連する復号順序による前記1つまたは複数のピクチャの第1のピクチャは、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャであり、
前記ビットストリームを生成することは、前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを含めるのを回避することを備え、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備え、
前記第1のピクチャは復号可能であり、前記復号順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つは、前記第1のピクチャに基づいて復号可能である、方法。
〔12〕
ビデオデータを復号するように構成された装置であって、ビデオデコーダを備え、前記ビデオデコーダは、
コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを備えるビットストリームを受信することと、
前記CVSに関連する復号順序による前記1つまたは複数のピクチャの、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャである第1のピクチャを復号することと、
前記復号順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを、前記復号された第1のピクチャに基づいて復号することと
を行うように構成される、装置。
〔13〕
前記ビデオデコーダは、
前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
前記1つまたは複数のピクチャのうちの前記少なくとも1つを復号することと
を行うようにさらに構成され、前記1つまたは複数のピクチャのうちの前記少なくとも1つの各々を復号するにあたり、前記ビデオデコーダは、
前記それぞれのピクチャを符号化するために使用された1つまたは複数の参照ピクチャを識別することと、
前記識別された1つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、
復号に利用不可能であると判断された前記識別された1つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、
前記それぞれのピクチャを、前記対応する1つまたは複数の生成された仮想参照ピクチャに基づいて復号することと
を行うように構成される、〔12〕に記載の装置。
〔14〕
前記仮想参照ピクチャを生成するにあたり、前記ビデオデコーダは、前記CVSに関連するピクセル値の範囲の中間に各々対応する1つまたは複数のピクセル値を含むピクチャを生成するように構成される、〔13〕に記載の装置。
〔15〕
前記ビデオデコーダは、
前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避することと
を行うようにさらに構成される、〔12〕に記載の装置。
〔16〕
前記ビデオデコーダは、
前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記復号順序により、また前記CVSに関連する表示順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを復号するために参照ピクチャとして使用するのを回避することと
を行うようにさらに構成される、〔12〕に記載の装置。
〔17〕
前記第1のピクチャは、クリーンランダムアクセス(CRA)ピクチャを備え、前記CRAピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記CRAピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記CRAピクチャの後に来る1つまたは複数のピクチャは、前記復号順序により前記CRAピクチャの前に来る1つまたは複数のピクチャを参照して復号され得る、〔12〕に記載の装置。
〔18〕
前記IDRピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記IDRピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記IDRピクチャの後に来るすべての他のピクチャは、前記復号順序により前記IDRピクチャの前に来るいずれのピクチャも参照せずに復号される、〔12〕に記載の装置。
〔19〕
前記ビデオデコーダは、
コード化ピクチャバッファ(CPB)初期遅延パラメータの第1のセットを復号し、前記1つまたは複数のピクチャが、前記第1のピクチャに関連する少なくとも1つの先行ピクチャを含んでいないときに、CPB初期遅延パラメータの前記第1のセットとは異なる第2のセット、およびCPB遅延オフセットパラメータのセットのうちの1つを復号するようにさらに構成され、
前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、〔12〕に記載の装置。
〔20〕
CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数は、前記第1のピクチャに関連する補足エンハンスメント情報(SEI)メッセージ、ピクチャバッファリング期間SEIメッセージ、およびスライスヘッダのうちの1つに含まれる、〔19〕に記載の装置。
〔21〕
前記復号順序で前記第1のピクチャの後に来る各ピクチャのCPB除去時間は、CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数によって示されるように早めにシフトされる、〔19〕に記載の装置。
〔22〕
集積回路、
マイクロプロセッサ、および
前記ビデオデコーダを含むワイヤレス通信デバイス
のうちの少なくとも1つを備える、〔12〕に記載の装置。
〔23〕
ビデオデータを符号化するように構成された装置であって、ビデオエンコーダを備え、前記ビデオエンコーダは、
コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを備えるビットストリームを生成するように構成され、前記CVSに関連する復号順序による前記1つまたは複数のピクチャの第1のピクチャは、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャであり、
前記ビットストリームを生成するにあたり、前記ビデオエンコーダは、前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを含めるのを回避するように構成され、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備え、
前記第1のピクチャは復号可能であり、前記復号順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つは、前記第1のピクチャに基づいて復号可能である、装置。
〔24〕
集積回路、
マイクロプロセッサ、および
前記ビデオエンコーダを含むワイヤレス通信デバイス
のうちの少なくとも1つを備える、〔23〕に記載の装置。
〔25〕
ビデオデータを復号するためのデバイスであって、
コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを備えるビットストリームを受信するための手段と、
前記CVSに関連する復号順序による前記1つまたは複数のピクチャの、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャである第1のピクチャを復号するための手段と、
前記復号順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを、前記復号された第1のピクチャに基づいて復号するための手段と
を備えるデバイス。
〔26〕
前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別するための手段であって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、手段と、
前記1つまたは複数のピクチャのうちの前記少なくとも1つを復号するための手段と
をさらに備え、前記1つまたは複数のピクチャのうちの前記少なくとも1つの各々を復号するための前記手段は、
前記それぞれのピクチャを符号化するために使用された1つまたは複数の参照ピクチャを識別するための手段と、
前記識別された1つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断するための手段と、
復号に利用不可能であると判断された前記識別された1つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成するための手段と、
前記それぞれのピクチャを、前記対応する1つまたは複数の生成された仮想参照ピクチャに基づいて復号するための手段と
を含む、〔25〕に記載のデバイス。
〔27〕
前記仮想参照ピクチャを生成するための前記手段は、前記CVSに関連するピクセル値の範囲の中間に各々対応する1つまたは複数のピクセル値を含むピクチャを生成するための手段を備える、〔26〕に記載のデバイス。
〔28〕
前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別するための手段であって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、手段と、
前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避するための手段と
をさらに備える、〔25〕に記載のデバイス。
〔29〕
前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別するための手段であって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、手段と、
前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記復号順序により、また前記CVSに関連する表示順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを復号するために参照ピクチャとして使用するのを回避するための手段と
をさらに備える、〔25〕に記載のデバイス。
〔30〕
前記第1のピクチャは、クリーンランダムアクセス(CRA)ピクチャを備え、前記CRAピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記CRAピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記CRAピクチャの後に来る1つまたは複数のピクチャは、前記復号順序により前記CRAピクチャの前に来る1つまたは複数のピクチャを参照して復号され得る、〔25〕に記載のデバイス。
〔31〕
前記IDRピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記IDRピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記IDRピクチャの後に来るすべての他のピクチャは、前記復号順序により前記IDRピクチャの前に来るいずれのピクチャも参照せずに復号される、〔25〕に記載のデバイス。
〔32〕
コード化ピクチャバッファ(CPB)初期遅延パラメータの第1のセットを復号し、前記1つまたは複数のピクチャが、前記第1のピクチャに関連する少なくとも1つの先行ピクチャを含んでいないときに、CPB初期遅延パラメータの前記第1のセットとは異なる第2のセット、およびCPB遅延オフセットパラメータのセットのうちの1つを復号するための手段をさらに備え、
前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、〔25〕に記載のデバイス。
〔33〕
CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数は、前記第1のピクチャに関連する補足エンハンスメント情報(SEI)メッセージ、ピクチャバッファリング期間SEIメッセージ、およびスライスヘッダのうちの1つに含まれる、〔32〕に記載のデバイス。
〔34〕
前記復号順序で前記第1のピクチャの後に来る各ピクチャのCPB除去時間は、CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数によって示されるように早めにシフトされる、〔32〕に記載のデバイス。
〔35〕
実行されたとき、1つまたは複数のプロセッサにビデオデータを復号することを行わせる命令を記憶しているコンピュータ可読記憶媒体であって、前記命令は、前記1つまたは複数のプロセッサに、
コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを備えるビットストリームを受信することと、
前記CVSに関連する復号順序による前記1つまたは複数のピクチャの、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャである第1のピクチャを復号することと、
前記復号順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを、前記復号された第1のピクチャに基づいて復号することと
を行わせる、コンピュータ可読記憶媒体。
〔36〕
前記1つまたは複数のプロセッサに、
前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
前記1つまたは複数のピクチャのうちの前記少なくとも1つを復号することと
を行わせる命令をさらに備え、前記1つまたは複数のプロセッサに、前記1つまたは複数のピクチャのうちの前記少なくとも1つの各々を復号することを行わせる前記命令は、前記1つまたは複数のプロセッサに、
前記それぞれのピクチャを符号化するために使用された1つまたは複数の参照ピクチャを識別することと、
前記識別された1つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、
復号に利用不可能であると判断された前記識別された1つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、
前記それぞれのピクチャを、前記対応する1つまたは複数の生成された仮想参照ピクチャに基づいて復号することと
を行わせる命令を含む、〔35〕に記載のコンピュータ可読記憶媒体。
〔37〕
前記1つまたは複数のプロセッサに、前記仮想参照ピクチャを生成することを行わせる前記命令は、前記1つまたは複数のプロセッサに、前記CVSに関連するピクセル値の範囲の中間に各々対応する1つまたは複数のピクセル値を含むピクチャを生成することを行わせる命令を備える、〔36〕に記載のコンピュータ可読記憶媒体。
〔38〕
前記1つまたは複数のプロセッサに、
前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避することと
を行わせる命令をさらに備える、〔35〕に記載のコンピュータ可読記憶媒体。
〔39〕
前記1つまたは複数のプロセッサに、
前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記復号順序により、また前記CVSに関連する表示順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを復号するために参照ピクチャとして使用するのを回避することと
を行わせる命令をさらに備える、〔35〕に記載のコンピュータ可読記憶媒体。
〔40〕
前記第1のピクチャは、クリーンランダムアクセス(CRA)ピクチャを備え、前記CRAピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記CRAピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記CRAピクチャの後に来る1つまたは複数のピクチャは、前記復号順序により前記CRAピクチャの前に来る1つまたは複数のピクチャを参照して復号され得る、〔35〕に記載のコンピュータ可読記憶媒体。
〔41〕
前記IDRピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記IDRピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記IDRピクチャの後に来るすべての他のピクチャは、前記復号順序により前記IDRピクチャの前に来るいずれのピクチャも参照せずに復号される、〔35〕に記載のコンピュータ可読記憶媒体。
〔42〕
前記1つまたは複数のプロセッサに、
コード化ピクチャバッファ(CPB)初期遅延パラメータの第1のセットを復号し、前記1つまたは複数のピクチャが、前記第1のピクチャに関連する少なくとも1つの先行ピクチャを含んでいないときに、CPB初期遅延パラメータの前記第1のセットとは異なる第2のセット、およびCPB遅延オフセットパラメータのセットのうちの1つを復号することを行わせる命令をさらに備え、
前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、〔35〕に記載のコンピュータ可読記憶媒体。
〔43〕
CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数は、前記第1のピクチャに関連する補足エンハンスメント情報(SEI)メッセージ、ピクチャバッファリング期間SEIメッセージ、およびスライスヘッダのうちの1つに含まれる、〔42〕に記載のコンピュータ可読記憶媒体。
〔44〕
前記復号順序で前記第1のピクチャの後に来る各ピクチャのCPB除去時間は、CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数によって示されるように早めにシフトされる、〔42〕に記載のコンピュータ可読記憶媒体。

Claims (44)

  1. ビデオデータを復号する方法であって、
    コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを備えるビットストリームを受信することと、
    前記CVSに関連する復号順序による前記1つまたは複数のピクチャの、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャである第1のピクチャを復号することと、
    前記復号順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを、前記復号された第1のピクチャに基づいて復号することと
    を備える方法。
  2. 前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
    前記1つまたは複数のピクチャのうちの前記少なくとも1つを復号することと
    をさらに備え、前記1つまたは複数のピクチャのうちの前記少なくとも1つの各々を復号することは、
    前記それぞれのピクチャを符号化するために使用された1つまたは複数の参照ピクチャを識別することと、
    前記識別された1つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、
    復号に利用不可能であると判断された前記識別された1つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、
    前記それぞれのピクチャを、前記対応する1つまたは複数の生成された仮想参照ピクチャに基づいて復号することと
    を含む、請求項1に記載の方法。
  3. 前記仮想参照ピクチャを生成することは、前記CVSに関連するピクセル値の範囲の中間に各々対応する1つまたは複数のピクセル値を含むピクチャを生成することを備える、請求項2に記載の方法。
  4. 前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
    前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避することと
    をさらに備える、請求項1に記載の方法。
  5. 前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
    前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記復号順序により、また前記CVSに関連する表示順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを復号するために参照ピクチャとして使用するのを回避することと
    をさらに備える、請求項1に記載の方法。
  6. 前記第1のピクチャは、クリーンランダムアクセス(CRA)ピクチャを備え、前記CRAピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記CRAピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記CRAピクチャの後に来る1つまたは複数のピクチャは、前記復号順序により前記CRAピクチャの前に来る1つまたは複数のピクチャを参照して復号され得る、請求項1に記載の方法。
  7. 前記IDRピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記IDRピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記IDRピクチャの後に来るすべての他のピクチャは、前記復号順序により前記IDRピクチャの前に来るいずれのピクチャも参照せずに復号される、請求項1に記載の方法。
  8. コード化ピクチャバッファ(CPB)初期遅延パラメータの第1のセットを復号し、前記1つまたは複数のピクチャが、前記第1のピクチャに関連する少なくとも1つの先行ピクチャを含んでいないときに、CPB初期遅延パラメータの前記第1のセットとは異なる第2のセット、およびCPB遅延オフセットパラメータのセットのうちの1つを復号することをさらに備え、
    前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、請求項1に記載の方法。
  9. CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数は、前記第1のピクチャに関連する補足エンハンスメント情報(SEI)メッセージ、ピクチャバッファリング期間SEIメッセージ、およびスライスヘッダのうちの1つに含まれる、請求項8に記載の方法。
  10. 前記復号順序で前記第1のピクチャの後に来る各ピクチャのCPB除去時間は、CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数によって示されるように早めにシフトされる、請求項8に記載の方法。
  11. ビデオデータを符号化する方法であって、
    コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを備えるビットストリームを生成することを含み、前記CVSに関連する復号順序による前記1つまたは複数のピクチャの第1のピクチャは、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャであり、
    前記ビットストリームを生成することは、前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを含めるのを回避することを備え、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備え、
    前記第1のピクチャは復号可能であり、前記復号順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つは、前記第1のピクチャに基づいて復号可能である、方法。
  12. ビデオデータを復号するように構成された装置であって、ビデオデコーダを備え、前記ビデオデコーダは、
    コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを備えるビットストリームを受信することと、
    前記CVSに関連する復号順序による前記1つまたは複数のピクチャの、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャである第1のピクチャを復号することと、
    前記復号順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを、前記復号された第1のピクチャに基づいて復号することと
    を行うように構成される、装置。
  13. 前記ビデオデコーダは、
    前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
    前記1つまたは複数のピクチャのうちの前記少なくとも1つを復号することと
    を行うようにさらに構成され、前記1つまたは複数のピクチャのうちの前記少なくとも1つの各々を復号するにあたり、前記ビデオデコーダは、
    前記それぞれのピクチャを符号化するために使用された1つまたは複数の参照ピクチャを識別することと、
    前記識別された1つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、
    復号に利用不可能であると判断された前記識別された1つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、
    前記それぞれのピクチャを、前記対応する1つまたは複数の生成された仮想参照ピクチャに基づいて復号することと
    を行うように構成される、請求項12に記載の装置。
  14. 前記仮想参照ピクチャを生成するにあたり、前記ビデオデコーダは、前記CVSに関連するピクセル値の範囲の中間に各々対応する1つまたは複数のピクセル値を含むピクチャを生成するように構成される、請求項13に記載の装置。
  15. 前記ビデオデコーダは、
    前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
    前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避することと
    を行うようにさらに構成される、請求項12に記載の装置。
  16. 前記ビデオデコーダは、
    前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
    前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記復号順序により、また前記CVSに関連する表示順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを復号するために参照ピクチャとして使用するのを回避することと
    を行うようにさらに構成される、請求項12に記載の装置。
  17. 前記第1のピクチャは、クリーンランダムアクセス(CRA)ピクチャを備え、前記CRAピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記CRAピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記CRAピクチャの後に来る1つまたは複数のピクチャは、前記復号順序により前記CRAピクチャの前に来る1つまたは複数のピクチャを参照して復号され得る、請求項12に記載の装置。
  18. 前記IDRピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記IDRピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記IDRピクチャの後に来るすべての他のピクチャは、前記復号順序により前記IDRピクチャの前に来るいずれのピクチャも参照せずに復号される、請求項12に記載の装置。
  19. 前記ビデオデコーダは、
    コード化ピクチャバッファ(CPB)初期遅延パラメータの第1のセットを復号し、前記1つまたは複数のピクチャが、前記第1のピクチャに関連する少なくとも1つの先行ピクチャを含んでいないときに、CPB初期遅延パラメータの前記第1のセットとは異なる第2のセット、およびCPB遅延オフセットパラメータのセットのうちの1つを復号するようにさらに構成され、
    前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、請求項12に記載の装置。
  20. CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数は、前記第1のピクチャに関連する補足エンハンスメント情報(SEI)メッセージ、ピクチャバッファリング期間SEIメッセージ、およびスライスヘッダのうちの1つに含まれる、請求項19に記載の装置。
  21. 前記復号順序で前記第1のピクチャの後に来る各ピクチャのCPB除去時間は、CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数によって示されるように早めにシフトされる、請求項19に記載の装置。
  22. 集積回路、
    マイクロプロセッサ、および
    前記ビデオデコーダを含むワイヤレス通信デバイス
    のうちの少なくとも1つを備える、請求項12に記載の装置。
  23. ビデオデータを符号化するように構成された装置であって、ビデオエンコーダを備え、前記ビデオエンコーダは、
    コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを備えるビットストリームを生成するように構成され、前記CVSに関連する復号順序による前記1つまたは複数のピクチャの第1のピクチャは、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャであり、
    前記ビットストリームを生成するにあたり、前記ビデオエンコーダは、前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを含めるのを回避するように構成され、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備え、
    前記第1のピクチャは復号可能であり、前記復号順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つは、前記第1のピクチャに基づいて復号可能である、装置。
  24. 集積回路、
    マイクロプロセッサ、および
    前記ビデオエンコーダを含むワイヤレス通信デバイス
    のうちの少なくとも1つを備える、請求項23に記載の装置。
  25. ビデオデータを復号するためのデバイスであって、
    コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを備えるビットストリームを受信するための手段と、
    前記CVSに関連する復号順序による前記1つまたは複数のピクチャの、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャである第1のピクチャを復号するための手段と、
    前記復号順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを、前記復号された第1のピクチャに基づいて復号するための手段と
    を備えるデバイス。
  26. 前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別するための手段であって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、手段と、
    前記1つまたは複数のピクチャのうちの前記少なくとも1つを復号するための手段と
    をさらに備え、前記1つまたは複数のピクチャのうちの前記少なくとも1つの各々を復号するための前記手段は、
    前記それぞれのピクチャを符号化するために使用された1つまたは複数の参照ピクチャを識別するための手段と、
    前記識別された1つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断するための手段と、
    復号に利用不可能であると判断された前記識別された1つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成するための手段と、
    前記それぞれのピクチャを、前記対応する1つまたは複数の生成された仮想参照ピクチャに基づいて復号するための手段と
    を含む、請求項25に記載のデバイス。
  27. 前記仮想参照ピクチャを生成するための前記手段は、前記CVSに関連するピクセル値の範囲の中間に各々対応する1つまたは複数のピクセル値を含むピクチャを生成するための手段を備える、請求項26に記載のデバイス。
  28. 前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別するための手段であって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、手段と、
    前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避するための手段と
    をさらに備える、請求項25に記載のデバイス。
  29. 前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別するための手段であって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、手段と、
    前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記復号順序により、また前記CVSに関連する表示順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを復号するために参照ピクチャとして使用するのを回避するための手段と
    をさらに備える、請求項25に記載のデバイス。
  30. 前記第1のピクチャは、クリーンランダムアクセス(CRA)ピクチャを備え、前記CRAピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記CRAピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記CRAピクチャの後に来る1つまたは複数のピクチャは、前記復号順序により前記CRAピクチャの前に来る1つまたは複数のピクチャを参照して復号され得る、請求項25に記載のデバイス。
  31. 前記IDRピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記IDRピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記IDRピクチャの後に来るすべての他のピクチャは、前記復号順序により前記IDRピクチャの前に来るいずれのピクチャも参照せずに復号される、請求項25に記載のデバイス。
  32. コード化ピクチャバッファ(CPB)初期遅延パラメータの第1のセットを復号し、前記1つまたは複数のピクチャが、前記第1のピクチャに関連する少なくとも1つの先行ピクチャを含んでいないときに、CPB初期遅延パラメータの前記第1のセットとは異なる第2のセット、およびCPB遅延オフセットパラメータのセットのうちの1つを復号するための手段をさらに備え、
    前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、請求項25に記載のデバイス。
  33. CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数は、前記第1のピクチャに関連する補足エンハンスメント情報(SEI)メッセージ、ピクチャバッファリング期間SEIメッセージ、およびスライスヘッダのうちの1つに含まれる、請求項32に記載のデバイス。
  34. 前記復号順序で前記第1のピクチャの後に来る各ピクチャのCPB除去時間は、CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数によって示されるように早めにシフトされる、請求項32に記載のデバイス。
  35. 実行されたとき、1つまたは複数のプロセッサにビデオデータを復号することを行わせる命令を記憶しているコンピュータ可読記憶媒体であって、前記命令は、前記1つまたは複数のプロセッサに、
    コード化ビデオシーケンス(CVS)の1つまたは複数のピクチャを備えるビットストリームを受信することと、
    前記CVSに関連する復号順序による前記1つまたは複数のピクチャの、瞬時復号リフレッシュ(IDR)ピクチャではないランダムアクセスポイント(RAP)ピクチャである第1のピクチャを復号することと、
    前記復号順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを、前記復号された第1のピクチャに基づいて復号することと
    を行わせる、コンピュータ可読記憶媒体。
  36. 前記1つまたは複数のプロセッサに、
    前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
    前記1つまたは複数のピクチャのうちの前記少なくとも1つを復号することと
    を行わせる命令をさらに備え、前記1つまたは複数のプロセッサに、前記1つまたは複数のピクチャのうちの前記少なくとも1つの各々を復号することを行わせる前記命令は、前記1つまたは複数のプロセッサに、
    前記それぞれのピクチャを符号化するために使用された1つまたは複数の参照ピクチャを識別することと、
    前記識別された1つまたは複数の参照ピクチャのいずれかが復号に利用不可能であるかどうかを判断することと、
    復号に利用不可能であると判断された前記識別された1つまたは複数の参照ピクチャの各々について、仮想参照ピクチャを生成することと、
    前記それぞれのピクチャを、前記対応する1つまたは複数の生成された仮想参照ピクチャに基づいて復号することと
    を行わせる命令を含む、請求項35に記載のコンピュータ可読記憶媒体。
  37. 前記1つまたは複数のプロセッサに、前記仮想参照ピクチャを生成することを行わせる前記命令は、前記1つまたは複数のプロセッサに、前記CVSに関連するピクセル値の範囲の中間に各々対応する1つまたは複数のピクセル値を含むピクチャを生成することを行わせる命令を備える、請求項36に記載のコンピュータ可読記憶媒体。
  38. 前記1つまたは複数のプロセッサに、
    前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
    前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記それぞれのピクチャが出力されることになることを出力フラグが示す場合に出力するのを回避することと
    を行わせる命令をさらに備える、請求項35に記載のコンピュータ可読記憶媒体。
  39. 前記1つまたは複数のプロセッサに、
    前記第1のピクチャに関連する先行ピクチャに対応する、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを識別することであって、前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、ことと、
    前記1つまたは複数のピクチャのうちの前記少なくとも1つのうちの1つまたは複数を、前記復号順序により、また前記CVSに関連する表示順序により前記第1のピクチャの後に来る、前記第1のピクチャ以外の前記1つまたは複数のピクチャのうちの少なくとも1つを復号するために参照ピクチャとして使用するのを回避することと
    を行わせる命令をさらに備える、請求項35に記載のコンピュータ可読記憶媒体。
  40. 前記第1のピクチャは、クリーンランダムアクセス(CRA)ピクチャを備え、前記CRAピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記CRAピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記CRAピクチャの後に来る1つまたは複数のピクチャは、前記復号順序により前記CRAピクチャの前に来る1つまたは複数のピクチャを参照して復号され得る、請求項35に記載のコンピュータ可読記憶媒体。
  41. 前記IDRピクチャは、イントラ予測コーディングを使用してコーディングされ、任意の他のピクチャを参照せずに復号可能なピクチャを備え、前記IDRピクチャとともにCVS内に含まれる、前記CVSに関連する復号順序により前記IDRピクチャの後に来るすべての他のピクチャは、前記復号順序により前記IDRピクチャの前に来るいずれのピクチャも参照せずに復号される、請求項35に記載のコンピュータ可読記憶媒体。
  42. 前記1つまたは複数のプロセッサに、
    コード化ピクチャバッファ(CPB)初期遅延パラメータの第1のセットを復号し、前記1つまたは複数のピクチャが、前記第1のピクチャに関連する少なくとも1つの先行ピクチャを含んでいないときに、CPB初期遅延パラメータの前記第1のセットとは異なる第2のセット、およびCPB遅延オフセットパラメータのセットのうちの1つを復号することを行わせる命令をさらに備え、
    前記先行ピクチャは、前記復号順序により前記第1のピクチャの後に来て、前記CVSに関連する表示順序により前記第1のピクチャの前に来るピクチャを備える、請求項35に記載のコンピュータ可読記憶媒体。
  43. CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数は、前記第1のピクチャに関連する補足エンハンスメント情報(SEI)メッセージ、ピクチャバッファリング期間SEIメッセージ、およびスライスヘッダのうちの1つに含まれる、請求項42に記載のコンピュータ可読記憶媒体。
  44. 前記復号順序で前記第1のピクチャの後に来る各ピクチャのCPB除去時間は、CPB初期遅延パラメータの前記第1および第2のセットならびにCPB遅延オフセットパラメータの前記セットのうちの1つまたは複数によって示されるように早めにシフトされる、請求項42に記載のコンピュータ可読記憶媒体。
JP2014540043A 2011-10-31 2012-10-31 ビデオコーディングにおける高度な復号ピクチャバッファ(dpb)管理によるランダムアクセス Active JP5837216B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161553802P 2011-10-31 2011-10-31
US61/553,802 2011-10-31
US201261595605P 2012-02-06 2012-02-06
US61/595,605 2012-02-06
US13/664,279 US9264717B2 (en) 2011-10-31 2012-10-30 Random access with advanced decoded picture buffer (DPB) management in video coding
US13/664,279 2012-10-30
PCT/US2012/062830 WO2013067033A1 (en) 2011-10-31 2012-10-31 Random access with advanced decoded picture buffer (dpb) management in video coding

Publications (2)

Publication Number Publication Date
JP2014535219A true JP2014535219A (ja) 2014-12-25
JP5837216B2 JP5837216B2 (ja) 2015-12-24

Family

ID=48172426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014540043A Active JP5837216B2 (ja) 2011-10-31 2012-10-31 ビデオコーディングにおける高度な復号ピクチャバッファ(dpb)管理によるランダムアクセス

Country Status (21)

Country Link
US (2) US9264717B2 (ja)
EP (1) EP2774365B1 (ja)
JP (1) JP5837216B2 (ja)
KR (1) KR101597927B1 (ja)
CN (1) CN103947210B (ja)
AU (2) AU2012332567A1 (ja)
BR (1) BR112014010418B1 (ja)
CA (1) CA2852959C (ja)
DK (1) DK2774365T3 (ja)
ES (1) ES2698554T3 (ja)
HU (1) HUE039675T2 (ja)
IL (1) IL232069A (ja)
IN (1) IN2014CN03181A (ja)
MY (1) MY167629A (ja)
PL (1) PL2774365T3 (ja)
PT (1) PT2774365T (ja)
RU (1) RU2584491C2 (ja)
SG (1) SG11201401440XA (ja)
SI (1) SI2774365T1 (ja)
WO (1) WO2013067033A1 (ja)
ZA (1) ZA201403984B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017519406A (ja) * 2014-05-05 2017-07-13 華為技術有限公司Huawei Technologies Co.,Ltd. ネットワークビデオ再生方法及び装置
JP2023504418A (ja) * 2020-09-24 2023-02-03 テンセント・アメリカ・エルエルシー ビデオコーディングに関して仮想参照ピクチャを用いたインターピクチャ予測のための方法及び機器

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106927B2 (en) 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
JP2013187905A (ja) * 2012-03-08 2013-09-19 Panasonic Corp 映像を符号化および復号する方法および装置
US9351016B2 (en) 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
EP2843945B1 (en) 2012-04-23 2020-03-11 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
KR102309609B1 (ko) * 2012-04-23 2021-10-06 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
CN107566838B (zh) 2012-06-25 2020-03-31 华为技术有限公司 用于发信号通知渐进式时间层访问图片的方法
JP5891975B2 (ja) * 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
US20140003520A1 (en) * 2012-07-02 2014-01-02 Cisco Technology, Inc. Differentiating Decodable and Non-Decodable Pictures After RAP Pictures
SG10201703069TA (en) 2012-07-03 2017-05-30 Samsung Electronics Co Ltd Method and apparatus for coding video having temporal scalability, and method and apparatus for decoding video having temporal scalability
US9584804B2 (en) 2012-07-10 2017-02-28 Qualcomm Incorporated Coding SEI NAL units for video coding
KR102167096B1 (ko) * 2012-09-13 2020-10-16 엘지전자 주식회사 영상 부호화/복호화 방법 및 장치
US9402076B2 (en) 2013-01-07 2016-07-26 Qualcomm Incorporated Video buffering operations for random access in video coding
JP6361866B2 (ja) * 2013-05-09 2018-07-25 サン パテント トラスト 画像処理方法および画像処理装置
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
EP3057330B1 (en) 2013-10-11 2020-04-01 Sony Corporation Transmission device, transmission method, and reception device
CN104754358B (zh) * 2013-12-27 2019-02-19 中兴通讯股份有限公司 码流的生成和处理方法、装置及系统
US9886665B2 (en) * 2014-12-08 2018-02-06 International Business Machines Corporation Event detection using roles and relationships of entities
US10554968B2 (en) 2015-06-10 2020-02-04 Lg Electronics Inc. Method and apparatus for inter prediction on basis of virtual reference picture in video coding system
US10116576B2 (en) 2015-10-19 2018-10-30 Samsung Electronics Co., Ltd. Methods and apparatus for random access of HEVC bitstream for MMT
WO2017075804A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
JP6119891B2 (ja) * 2016-02-25 2017-04-26 富士通株式会社 動画像符号化方法
JP6237829B2 (ja) * 2016-06-23 2017-11-29 富士通株式会社 動画像符号化用コンピュータプログラム
JP6237830B2 (ja) * 2016-06-23 2017-11-29 富士通株式会社 動画像復号方法
JP6237831B2 (ja) * 2016-06-23 2017-11-29 富士通株式会社 動画像復号用コンピュータプログラム
US11070845B2 (en) * 2017-01-05 2021-07-20 Sharp Kabushiki Kaisha Systems and methods for signaling of motion-constrained tile sets for virtual reality applications
EP4002248A1 (en) 2017-06-16 2022-05-25 Nokia Technologies Oy Autonomous refuelling system based on blockchain
CN107295334B (zh) * 2017-08-15 2019-12-03 电子科技大学 自适应的参考图像抉择方法
CN114697663B (zh) * 2018-08-17 2024-01-30 华为技术有限公司 对编码视频位流进行解码的方法,解码设备以及译码系统
US11196988B2 (en) * 2018-12-17 2021-12-07 Apple Inc. Reference picture management and list construction
MX2021011013A (es) 2019-03-11 2021-11-12 Huawei Tech Co Ltd Un codificador, un decodificador y métodos correspondientes.
US20220150546A1 (en) * 2019-03-11 2022-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Methods for recovery point process for video coding and related apparatus
KR20200110213A (ko) * 2019-03-12 2020-09-23 현대자동차주식회사 영상 부호화 및 복호화 방법 및 장치
WO2020256522A1 (ko) * 2019-06-20 2020-12-24 한국전자통신연구원 영역 분할을 사용하는 영상 부호화 및 영상 복호화를 위한 방법 및 장치
US11190781B2 (en) 2019-06-24 2021-11-30 Alibaba Group Holding Limited Adaptive resolution change in video processing
WO2021133721A1 (en) 2019-12-26 2021-07-01 Bytedance Inc. Techniques for implementing a decoding order within a coded picture
EP4154523A4 (en) * 2020-06-08 2023-11-22 ByteDance Inc. NUMBER OF SLICES CONSTRAINTS IN A CODED VIDEO IMAGE
US20220103847A1 (en) 2020-09-29 2022-03-31 Lemon Inc. Dependent random access point indication in video bitstreams
WO2022104609A1 (en) * 2020-11-18 2022-05-27 Alibaba Group Holding Limited Methods and systems of generating virtual reference picture for video processing
US11695965B1 (en) 2022-10-13 2023-07-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video coding using a coded picture buffer

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005516496A (ja) * 2002-01-22 2005-06-02 マイクロソフト コーポレーション ランダムアクセスおよびスプライシングを可能にするようにビデオデータを符号化および復号するための方法およびシステム
WO2006075635A1 (ja) * 2005-01-17 2006-07-20 Matsushita Electric Industrial Co., Ltd. 画像復号化方法
JP2006519517A (ja) * 2003-03-31 2006-08-24 シャープ株式会社 ビデオエンコーダ及びビデオをエンコードする方法
JP2007184791A (ja) * 2006-01-06 2007-07-19 Victor Co Of Japan Ltd 動画像符号化データ再生装置
JP2010516103A (ja) * 2007-01-08 2010-05-13 トムソン ライセンシング ビデオストリームのスプライシングのための方法及び装置
US20110013889A1 (en) * 2009-07-17 2011-01-20 Microsoft Corporation Implementing channel start and file seek for decoder

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1014709A3 (en) * 1998-12-24 2000-12-13 Fuji Photo Film Co., Ltd. Radiation image read-out method and apparatus
US7253831B2 (en) 2000-05-10 2007-08-07 Polycom, Inc. Video coding using multiple buffers
KR100334159B1 (ko) * 2000-05-29 2002-04-25 유현식 난연성 폴리프로필렌 수지조성물
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US20040148503A1 (en) * 2002-01-25 2004-07-29 David Sidman Apparatus, method, and system for accessing digital rights management information
US20080006201A1 (en) * 2001-09-19 2008-01-10 Sumitomo Electric Industries, Ltd. Method of growing gallium nitride crystal
US7149247B2 (en) 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
WO2003063505A1 (en) * 2002-01-23 2003-07-31 Nokia Corporation Grouping of image frames in video coding
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
PT2278816E (pt) 2002-07-11 2013-05-10 Panasonic Corp Gestão de memória tampão pós-descodificador para um fluxo de bits de mpeg de h.264-svc
CN101043626B (zh) 2002-07-15 2010-06-09 株式会社日立制作所 动态图像编码方法
US7492387B2 (en) 2002-08-05 2009-02-17 Chih-Lung Yang Implementation of MPCP MCU technology for the H.264 video standard
FR2849332A1 (fr) 2002-12-20 2004-06-25 St Microelectronics Sa Procede et dispositif et decodage et d'affichage en marche arriere d'images mpeg, circuit pilote video et boitier decodeur incorporant un tel dispositif
JP4405272B2 (ja) 2003-02-19 2010-01-27 パナソニック株式会社 動画像復号化方法、動画像復号化装置及びプログラム
US8194751B2 (en) 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
US7724818B2 (en) 2003-04-30 2010-05-25 Nokia Corporation Method for coding sequences of pictures
US8175154B2 (en) 2003-06-03 2012-05-08 General Instrument Corporation Method for restructuring a group of pictures to provide for random access into the group of pictures
FI115589B (fi) 2003-10-14 2005-05-31 Nokia Corp Redundanttien kuvien koodaaminen ja dekoodaaminen
US7434690B2 (en) * 2004-04-30 2008-10-14 Cutispharma, Inc. Container and method for the preparation, storage and dispensing of compounded suppositories
TWI268715B (en) 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
US20060083298A1 (en) 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
KR100786132B1 (ko) 2004-11-01 2007-12-21 한국전자통신연구원 적응적으로 세분화된 gop 구조를 이용한 계층적b픽쳐-기반 동영상 부호화 및 복호화 방법
ES2410562T3 (es) * 2005-01-10 2013-07-02 Panasonic Corporation Aparato de codificación de imágenes y aparato de decodificación de imágenes
KR100775143B1 (ko) 2005-01-11 2007-11-12 엘지전자 주식회사 영상정보 디코딩 방법
US8208564B2 (en) 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
US8599925B2 (en) * 2005-08-12 2013-12-03 Microsoft Corporation Efficient coding and decoding of transform blocks
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US20070086521A1 (en) 2005-10-11 2007-04-19 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
CN101371312B (zh) 2005-12-08 2015-12-02 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
EP1806930A1 (en) 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
US7673116B2 (en) 2006-01-17 2010-03-02 Advanced Micro Devices, Inc. Input/output memory management unit that implements memory attributes based on translation data
EP1979536B1 (de) * 2006-01-25 2017-05-03 Georgia-Pacific Consumer Products LP Maschine zur herstellung einer faserstoffbahn
KR100966567B1 (ko) 2006-03-30 2010-06-29 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
KR100877680B1 (ko) 2006-04-04 2009-01-09 삼성전자주식회사 반도체 장치 사이의 단일형 병렬데이터 인터페이스 방법,기록매체 및 반도체 장치
JP5155157B2 (ja) 2006-05-12 2013-02-27 パナソニック株式会社 動画像復号化装置
MX339121B (es) 2006-07-06 2016-05-12 Thomson Licensing Metodo y aparato para desacoplar el numero de cuadro y/o la cuenta del orden de imagen (poc) para la codificación y decodificación de video de múltiples vistas.
EP2041982A2 (en) * 2006-07-11 2009-04-01 Thomson Licensing Methods and apparatus using virtual reference pictures
KR101370919B1 (ko) 2006-07-12 2014-03-11 엘지전자 주식회사 신호처리방법 및 장치
US7801223B2 (en) 2006-07-27 2010-09-21 Lsi Corporation Method for video decoder memory reduction
TWI375469B (en) 2006-08-25 2012-10-21 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
US20080165860A1 (en) 2006-08-31 2008-07-10 Zohair Sahraoui H.264 Data processing
EP2060122A4 (en) 2006-09-07 2016-04-27 Lg Electronics Inc METHOD AND DEVICE FOR CODING AND DECODING A VIDEO SIGNAL
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
BRPI0716957A2 (pt) 2006-10-13 2013-10-29 Thomson Licensing Sintaxe de gerenciamento de lista de imagens de referência para codificação de vídeo de múltiplas vistas
ES2492923T3 (es) 2006-10-16 2014-09-10 Nokia Corporation Sistema y procedimiento para implementar una administración eficiente de memoria intermedia decodificada en codificación de video de vistas múltiples
EP2080378B1 (en) 2006-10-20 2012-08-15 Nokia Corporation Virtual decoded reference picture marking and reference picture list
CN103024444B (zh) * 2006-11-14 2015-11-18 高通股份有限公司 用于信道切换的系统及方法
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
CN101669367A (zh) 2007-03-02 2010-03-10 Lg电子株式会社 用于解码/编码视频信号的方法及设备
KR101418627B1 (ko) 2007-04-04 2014-07-15 톰슨 라이센싱 참조 화상 리스트 관리
US20080301742A1 (en) 2007-06-04 2008-12-04 Nokia Corporation Time-interleaved simulcast for tune-in reduction
US8477852B2 (en) 2007-06-20 2013-07-02 Nvidia Corporation Uniform video decoding and display
US8265144B2 (en) 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US8121189B2 (en) 2007-09-20 2012-02-21 Microsoft Corporation Video decoding using created reference pictures
US8194741B2 (en) 2007-10-12 2012-06-05 Broadcom Corporation Method and system for processing B pictures with missing or invalid forward reference pictures
US7865675B2 (en) 2007-12-06 2011-01-04 Arm Limited Controlling cleaning of data values within a hardware accelerator
US8107742B2 (en) * 2008-01-30 2012-01-31 Himax Technologies Limited Encoder and decoder for encoding and decoding pixel data with low amount of transmitting data, encoding method, and decoding method thereof
KR20090099720A (ko) * 2008-03-18 2009-09-23 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP2009260736A (ja) 2008-03-24 2009-11-05 Fujitsu Ltd エンコーディング装置、デコーディング装置、動画像処理方法、動画像処理システム、エンコーディングプログラムおよびデコーディングプログラム
WO2009130561A1 (en) 2008-04-21 2009-10-29 Nokia Corporation Method and device for video coding and decoding
US7782903B2 (en) 2008-05-14 2010-08-24 Newport Media, Inc. Hardware accelerated protocol stack
JP2009290389A (ja) 2008-05-28 2009-12-10 Hitachi Ltd 画像処理装置
KR101377527B1 (ko) 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
US8462849B2 (en) 2008-12-23 2013-06-11 General Instrument Corporation Reference picture selection for sub-pixel motion estimation
WO2010086500A1 (en) 2009-01-28 2010-08-05 Nokia Corporation Method and apparatus for video coding and decoding
EP2392138A4 (en) 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
JP5332773B2 (ja) 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
CN102047670B (zh) 2009-03-26 2014-03-12 松下电器产业株式会社 编码装置及方法、错误检测装置及方法、解码装置及方法
CN102449975A (zh) 2009-04-09 2012-05-09 诺基亚公司 用于媒体文件流式传输的系统、方法和装置
KR20110139304A (ko) 2009-04-22 2011-12-28 엘지전자 주식회사 다시점 영상의 참조 픽쳐 리스트 변경 방법
US8948241B2 (en) 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
CN102577309A (zh) 2009-09-29 2012-07-11 诺基亚公司 用于动态媒体文件流送的系统、方法和装置
JP2011082683A (ja) 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
CN102045557B (zh) 2009-10-20 2012-09-19 鸿富锦精密工业(深圳)有限公司 视频编解码方法及使用其的视频编码、解码装置
TW201121331A (en) 2009-12-10 2011-06-16 Novatek Microelectronics Corp Picture decoder
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
US9992456B2 (en) * 2010-02-24 2018-06-05 Thomson Licensing Dtv Method and apparatus for hypothetical reference decoder conformance error detection
US8785634B2 (en) * 2010-04-26 2014-07-22 Merck Sharp & Dohme Corp Spiropiperidine prolylcarboxypeptidase inhibitors
TW201210325A (en) 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
WO2012052968A1 (en) * 2010-10-20 2012-04-26 Nokia Corporation Method and device for video coding and decoding
US20120230409A1 (en) 2011-03-07 2012-09-13 Qualcomm Incorporated Decoded picture buffer management
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
US9706227B2 (en) 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US9866859B2 (en) 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
CN103797797B (zh) 2011-06-30 2016-07-13 瑞典爱立信有限公司 参考画面信号通知
EP2728861B1 (en) * 2011-07-02 2017-10-04 Samsung Electronics Co., Ltd. Method and apparatus for multiplexing and demultiplexing video data to identify reproducing state of video data.
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding
IN2014CN01752A (ja) * 2011-08-31 2015-09-04 Nokia Corp
KR20130045785A (ko) * 2011-10-26 2013-05-06 경희대학교 산학협력단 메모리 관리 방법 및 그를 이용한 복호화 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005516496A (ja) * 2002-01-22 2005-06-02 マイクロソフト コーポレーション ランダムアクセスおよびスプライシングを可能にするようにビデオデータを符号化および復号するための方法およびシステム
JP2006519517A (ja) * 2003-03-31 2006-08-24 シャープ株式会社 ビデオエンコーダ及びビデオをエンコードする方法
WO2006075635A1 (ja) * 2005-01-17 2006-07-20 Matsushita Electric Industrial Co., Ltd. 画像復号化方法
JP2007184791A (ja) * 2006-01-06 2007-07-19 Victor Co Of Japan Ltd 動画像符号化データ再生装置
JP2010516103A (ja) * 2007-01-08 2010-05-13 トムソン ライセンシング ビデオストリームのスプライシングのための方法及び装置
US20110013889A1 (en) * 2009-07-17 2011-01-20 Microsoft Corporation Implementing channel start and file seek for decoder

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN6015021224; TK Tan and A. Fujibayashi: 'Clean decoding refresh definition and decoding process' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-F381, 201107, pp.1-3, 6th Meeting: Torino *
JPN6015021225; Ye-Kui Wang et al.: 'On CDR picture' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-F464, 201107, pp.1-3, 6th Meeting: Torino, IT *
JPN6015021226; Ying Chen et al.: 'Conforming bitstreams startings with CRA pictures' Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-G319, 201111, pp.1-6, 7th Meeting: Geneva, CH *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017519406A (ja) * 2014-05-05 2017-07-13 華為技術有限公司Huawei Technologies Co.,Ltd. ネットワークビデオ再生方法及び装置
US10476928B2 (en) 2014-05-05 2019-11-12 Huawei Technologies Co., Ltd. Network video playback method and apparatus
JP2023504418A (ja) * 2020-09-24 2023-02-03 テンセント・アメリカ・エルエルシー ビデオコーディングに関して仮想参照ピクチャを用いたインターピクチャ予測のための方法及び機器

Also Published As

Publication number Publication date
BR112014010418A2 (pt) 2017-04-25
EP2774365B1 (en) 2018-08-22
CN103947210A (zh) 2014-07-23
IL232069A0 (en) 2014-05-28
CA2852959A1 (en) 2013-05-10
AU2016201877B2 (en) 2018-05-17
EP2774365A1 (en) 2014-09-10
SI2774365T1 (sl) 2018-11-30
JP5837216B2 (ja) 2015-12-24
RU2014122182A (ru) 2015-12-10
DK2774365T3 (en) 2018-12-10
MY167629A (en) 2018-09-21
IN2014CN03181A (ja) 2015-07-03
KR101597927B1 (ko) 2016-02-25
SG11201401440XA (en) 2014-06-27
CA2852959C (en) 2017-12-05
US9264717B2 (en) 2016-02-16
US20130107953A1 (en) 2013-05-02
PL2774365T3 (pl) 2019-02-28
AU2016201877A1 (en) 2016-04-21
ES2698554T3 (es) 2019-02-05
US20160165237A1 (en) 2016-06-09
BR112014010418B1 (pt) 2022-05-24
ZA201403984B (en) 2017-06-28
CN103947210B (zh) 2017-10-31
PT2774365T (pt) 2018-11-28
IL232069A (en) 2015-07-30
WO2013067033A1 (en) 2013-05-10
AU2012332567A1 (en) 2014-05-22
HUE039675T2 (hu) 2019-01-28
RU2584491C2 (ru) 2016-05-20
KR20140088592A (ko) 2014-07-10

Similar Documents

Publication Publication Date Title
JP5837216B2 (ja) ビデオコーディングにおける高度な復号ピクチャバッファ(dpb)管理によるランダムアクセス
KR102149072B1 (ko) 서브-픽처 레벨 코딩된 픽처 버퍼 파라미터들에 대한 시퀀스 레벨 플래그
US9736476B2 (en) Full random access from clean random access pictures in video coding
US9998757B2 (en) Reference picture signaling and decoded picture buffer management
US9571847B2 (en) Gradual decoding refresh with temporal scalability support in video coding
CA2894900C (en) Signaling of picture order count to timing information relations for video timing in video coding
US9374585B2 (en) Low-delay buffering model in video coding
US9402076B2 (en) Video buffering operations for random access in video coding
US10123030B2 (en) Streaming adaption based on clean random access (CRA) pictures
US9479776B2 (en) Signaling of long-term reference pictures for video coding
US20130294499A1 (en) Parameter set updates in video coding

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151104

R150 Certificate of patent or registration of utility model

Ref document number: 5837216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250