JP2020043576A - 参照ピクチャ選択 - Google Patents

参照ピクチャ選択 Download PDF

Info

Publication number
JP2020043576A
JP2020043576A JP2019199851A JP2019199851A JP2020043576A JP 2020043576 A JP2020043576 A JP 2020043576A JP 2019199851 A JP2019199851 A JP 2019199851A JP 2019199851 A JP2019199851 A JP 2019199851A JP 2020043576 A JP2020043576 A JP 2020043576A
Authority
JP
Japan
Prior art keywords
picture
pictures
video
identified
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019199851A
Other languages
English (en)
Inventor
シピン・タオ
Siping Tao
ムハンメド・ゼイド・コバン
Zeyd Coban Muhammed
マルタ・カークゼウィックズ
Karczewicz Marta
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2020043576A publication Critical patent/JP2020043576A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ビデオデコーダからの情報に基づいてインター予測に用いる参照ピクチャを選択するビデオエンコーダを提供する。【解決手段】ビデオエンコーダは、ビデオデコーダから復号ピクチャバッファ（ＤＰＢ）中に記憶されている、前に復号されたピクチャを識別する情報を受信することと、識別されたピクチャに基づいて、現在のピクチャを符号化するために利用可能である１つまたは複数の候補参照ピクチャを決定することと、決定された１つまたは複数の候補参照ピクチャおよび前記識別されたピクチャから現在のピクチャ用の１つまたは複数の参照ピクチャを選択することと、選択された１つまたは複数の参照ピクチャに基づいて現在のピクチャをインター予測符号化すること、とを備える。【選択図】図４

Description

[0001]本出願は、その内容全体が参照により本明細書に組み込まれる、２０１３年１２月２日に出願された米国仮特許出願第６１／９１０，７６６号の利益を主張する。
[0002]本開示は、ビデオコーディング（すなわち、ビデオ符号化またはビデオ復号）に関する。
[0003]デジタルビデオ能力は、デジタルテレビジョン、デジタル直接ブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップコンピュータもしくはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームデバイス、ビデオゲームコンソール、セルラー電話機もしくは衛星無線電話機、いわゆる「スマートフォン」、ビデオ会議デバイス、ビデオストリーミングデバイス、および類似物を含む広範囲のデバイスに組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６３、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ：Advanced Video Coding）、現在開発中の高効率ビデオコーディング（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、およびそのような規格の拡張、に記載されているもののような、ビデオ圧縮技法を実装する。これらのビデオデバイスは、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信し、受信し、符号化し、復号し、および／または記憶することができる。
[0004]ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間的（ピクチャ内（intra-picture））予測および／または時間的（ピクチャ間（inter-picture））予測を実施する。ブロックベースのビデオコーディングでは、ビデオスライス（すなわち、ビデオフレームまたはビデオフレームの一部分）が、ツリーブロック、コーディングユニット（ＣＵ）および／またはコーディングノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（intra-coded）（Ｉ）スライスにおけるビデオブロックは、同じピクチャ中の隣接ブロックにおける参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（inter-coded）（ＰまたはＢ）スライスにおけるビデオブロックは、同じピクチャ中の隣接ブロックにおける参照サンプルに対する空間的予測、または他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
[0005]空間的予測または時間的予測は、コーディングされるべきブロックのための予測ブロックを生じる。残差データは、コーディングされるべき元のブロックと予測ブロックとの間のピクセル差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックをポイントする動きベクトル、およびコード化ブロックと予測ブロックとの間の差分を示す残差データに従って符号化される。イントラコード化ブロックは、イントラコーディングモードおよび残差データに応じて符号化される。さらなる圧縮を行うために、残差データがピクセル領域から変換領域に変換されて残差変換係数が得られてよく、次いでこれらの係数が量子化されてよい。最初に２次元アレイで構成される量子化された変換係数は、変換係数の１次元ベクトルを生成するために走査されてもよく、なお一層の圧縮を達成するためにエントロピーコーディングが適用されてもよい。
[0006]本開示は、ビデオデコーダによって出力された情報に基づいて、現在のピクチャを符号化し、復号するための１つまたは複数の参照ピクチャが複数のピクチャから選択されるその複数のピクチャを決定するための例示的技法について記載する。たとえば、ビデオデコーダは、ビデオデコーダのバッファ中に記憶された、前に復号されたピクチャを識別する情報を、ビデオエンコーダに出力することができる。ビデオエンコーダは、ビデオデコーダから出力情報を受信し、識別されたピクチャ、識別されたピクチャ用の参照ピクチャだった可能性があるピクチャであると決定されたピクチャ、および／または識別されたピクチャにコーディング順序で続くピクチャ、に基づいて、コーディングに利用可能なピクチャを決定することができる。ビデオエンコーダは次いで、現在のピクチャをインター予測する（inter-predict）ために、コーディングに利用可能であると決定されたピクチャのうちの１つまたは複数を使用すればよい。
[0007]たとえば、識別されたピクチャ用の参照ピクチャだった可能性があるピクチャであると決定されたピクチャ、および識別されたピクチャにコーディング順序で続くピクチャがすべて、コーディングに利用可能であり得るわけではない。ただし、識別されたピクチャ用の参照ピクチャだった可能性があるピクチャであると決定されたピクチャ、および識別されたピクチャにコーディング順序で続くピクチャが、ビデオエンコーダによって現在のピクチャを符号化するために依然として利用可能である場合、それらのピクチャが、ビデオデコーダによって現在のピクチャを復号するためにも利用可能となる確実性は比較的高い。このようにして、ビデオエンコーダは、選択されたピクチャが、現在のピクチャを復号するためにビデオデコーダにおいて利用可能になるという比較的高い確実性で、現在のピクチャを符号化するために、識別されたピクチャのみではなく、複数のピクチャから選択することが可能であり得る。
[0008]一例では、本開示は、ビデオデータを符号化する方法について記載し、この方法は、ビデオデコーダを備えるデバイスから、ビデオデコーダが情報を送信したときにビデオデコーダの復号ピクチャバッファ（ＤＰＢ：a decoded picture buffer）中に記憶されている、前に復号されたピクチャを識別する情報を受信することと、識別されたピクチャに基づいて、現在のピクチャを符号化するために利用可能である１つまたは複数の候補参照ピクチャ（candidate reference pictures）を決定することと、ここにおいて、１つまたは複数の候補参照ピクチャは、識別されたピクチャまたは識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化する（inter-prediction encoding）ために使用可能であると前に決定された１つまたは複数のピクチャであって、ビデオエンコーダのＤＰＢ中に依然として記憶されている１つまたは複数のピクチャを含む、決定された１つまたは複数の候補参照ピクチャおよび識別されたピクチャから、現在のピクチャ用の１つまたは複数の参照ピクチャを選択することと、選択された１つまたは複数の参照ピクチャに基づいて、現在のピクチャをインター予測符号化することと、を備える。
[0009]一例では、本開示は、ビデオデータを復号する方法について記載し、この方法は、ビデオエンコーダを備えるデバイスに、情報を出力するときにビデオデコーダの復号ピクチャバッファ（ＤＰＢ）中に記憶されている、前に復号されたピクチャを識別する情報を出力することと、１つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号すること（inter-prediction decoding）と、ここにおいて、１つまたは複数の候補参照ピクチャは、ビデオエンコーダによって、識別されたピクチャをインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャを含む、を備える。
[0010]一例では、本開示は、ビデオデータを符号化するためのデバイスについて記載し、このデバイスは、１つまたは複数のピクチャを記憶するように構成されたメモリを備える第１の復号ピクチャバッファ（ＤＰＢ）と、１つまたは複数のプロセッサを備えるビデオエンコーダとを備える。ビデオエンコーダは、ビデオデコーダを備えるデバイスから、ビデオデコーダが情報を送信したときにビデオデコーダの第２のＤＰＢ中に記憶されている、前に復号されたピクチャを識別する情報を受信し、識別されたピクチャに基づいて、現在のピクチャを符号化するために利用可能である１つまたは複数の候補参照ピクチャを決定し、ここにおいて、１つまたは複数の候補参照ピクチャは、識別されたピクチャまたは識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャであって、第１のＤＰＢ中に依然として記憶されている１つまたは複数のピクチャを含む、決定された１つまたは複数の候補参照ピクチャおよび識別されたピクチャから、現在のピクチャ用の１つまたは複数の参照ピクチャを選択し、選択された１つまたは複数の参照ピクチャに基づいて、現在のピクチャをインター予測符号化する、ように構成される。
[0011]一例では、本開示は、ビデオデータを復号するためのデバイスについて記載し、このデバイスは、１つまたは複数のピクチャを記憶するように構成されたメモリを備える復号ピクチャバッファ（ＤＰＢ）と、１つまたは複数のプロセッサを備えるビデオデコーダとを備える。ビデオデコーダは、ビデオエンコーダを備えるデバイスに、情報を出力するときにビデオデコーダのＤＰＢ中に記憶されている、前に復号されたピクチャを識別する情報を出力し、１つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号し、ここにおいて、１つまたは複数の候補参照ピクチャは、ビデオエンコーダによって、識別されたピクチャをインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャを含む、ように構成される。
[0012]本開示の１つまたは複数の例の詳細は、添付図面および下記の説明の中に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
[0013]本開示で説明される技法を利用し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0014]本開示で説明される技法を実装し得る例示的なビデオエンコーダを示すブロック図。 [0015]本開示で説明される技法を実施し得る例示的なビデオデコーダを示すブロック図。 [0016]ビデオデータを符号化する例示的な方法を示すフローチャート。 [0017]ビデオデータを復号する例示的な方法を示すフローチャート。 [0018]ビデオデータを符号化する別の例示的な方法を示すフローチャート。 [0019]ビデオデータを復号する別の例示的な方法を示すフローチャート。
詳細な説明
[0020]本開示に記載される技法は概して、リアルタイムのビデオアプリケーションの例を含むビデオコーディングに関する。たとえば、本開示に記載される技法は、ビデオテレフォニーまたはビデオ会議に適用可能であってよく、ここでビデオは、ビデオテレフォニーまたは会議の各側面において、リアルタイムで符号化され、復号されている。別の例として、本開示に記載される技法はライブストリーミングに適用可能であってよく、ここでライブイベントのビデオは、ブロードキャスト用にリアルタイムで符号化されている。ただし、本開示に記載される技法は、ビデオテレフォニー、ビデオ会議、またはライブイベントのリアルタイムのビデオ符号化に限定されると見なされるべきでない。本開示に記載される技法は、ビデオデコーダが、ビデオデコーダに送信されるビデオデータを符号化しているビデオエンコーダに情報を送信することが可能であるビデオコーディングに適用可能であり得る。
[0021]リアルタイムのビデオコーディングにおいて、ビデオデコーダは、ビデオエンコーダに、現在のピクチャをインター予測符号化するための１つまたは複数の参照ピクチャをビデオエンコーダが複数のピクチャから選択する、コーディングに利用可能であるその複数のピクチャを決定させるために、ビデオエンコーダと（たとえば、リアルタイムトランスポートプロトコル（ＲＴＰ）を使って）通信するように構成され得る。コーディングに利用可能であるそのようなピクチャを決定するために、ビデオデコーダがビデオエンコーダと通信し得る様々な理由があってよく、本開示に記載される技法は、コーディングに利用可能であるそのようなピクチャを決定するために、ビデオデコーダがビデオエンコーダと通信し得るどの特定の理由にも限定されない。
[0022]いくつかの例において、ビデオエンコーダが、これらの参照ピクチャがビデオデコーダのバッファ（たとえば、復号ピクチャバッファ（ＤＰＢ））中で利用可能になる確実性レベルが比較的高い現在のピクチャをインター予測符号化するための参照ピクチャを選択するように、ビデオデコーダは、ビデオエンコーダに、候補参照ピクチャ（すなわち、コーディングに利用可能なピクチャ）を決定させるために、ビデオエンコーダと通信し得る。例示目的のみでの例として、ビデオデコーダは、エラー伝播を制限する目的で、ビデオエンコーダに、候補参照ピクチャを決定させるためにビデオエンコーダと通信し得る。
[0023]場合によっては、ビデオデコーダは、ピクチャを再構築するのに必要とされるビデオデータの一部または全部を受信しない場合がある。ビデオデコーダが再構築することができないピクチャは、欠落されたピクチャ（a missed picture）と呼ばれる。ビデオデコーダが、欠落されたピクチャを出力することができないことに加え、欠落されたピクチャが、後続ピクチャ用の参照ピクチャとして使われる場合、ビデオデコーダは、この後続ピクチャを再構築することができない可能性があるので、復号エラーが伝播する。
[0024]伝播エラーを制限するために、ビデオデコーダは、参照ピクチャがビデオデコーダのＤＰＢ中に記憶されている確率が比較的高い、現在のピクチャをインター予測するための参照ピクチャを選択するのにビデオエンコーダが使う情報を、ビデオエンコーダに出力すればよい。場合によっては、選択されたピクチャがビデオデコーダのＤＰＢ中にあることがほぼ保証され得る。このようにして、ビデオデコーダのＤＰＢ中に存在する確率が比較的高いピクチャを使うことによって、ビデオエンコーダは、欠落されたピクチャを参照ピクチャとして使わない場合があり、ビデオデコーダは、現在のピクチャをエラーなしで再構築することができるようになる。
[0025]エラー伝播を制限することは、説明のために記載され、ビデオデコーダからビデオエンコーダへの情報の通信は、他の理由でも実施され得ることが理解されるべきである。ビデオデコーダは、エラー伝播を制限するのに加え、またはそれとは別個の理由で、ビデオエンコーダが、参照ピクチャを選択するのに使う情報を出力することができる。たとえば、ビデオデコーダは、欠落されたピクチャがなかった例において、ビデオエンコーダが参照ピクチャを選択するのに使う情報を出力することができる。
[0026]本開示に記載される技法において、ビデオデコーダはビデオエンコーダに情報を送信することができ、この情報は、ビデオデコーダがビデオエンコーダに情報を送信するインスタンスにおいて（たとえば、ときに）ビデオデコーダのＤＰＢ中に現時点で記憶されている、前に復号されたピクチャを識別する。識別されたピクチャは、１つの可能な候補参照ピクチャに対応し得る（すなわち、識別されたピクチャは、コーディングに利用可能なピクチャのうちの１つであり得る）。ただし、本開示に記載される技法によると、識別されたピクチャに加え、ビデオエンコーダが、識別されたピクチャ用の可能な参照ピクチャとして決定した１つまたは複数のピクチャも、追加候補参照ピクチャである（すなわち、ビデオエンコーダが、識別されたピクチャ用の可能な参照ピクチャとして決定した１つまたは複数のピクチャは、コーディングに利用可能なピクチャであり、いくつかの例において、識別されたピクチャの参照ピクチャの可能な参照ピクチャも含む）。識別されたピクチャ用の可能な参照ピクチャのうちの１つまたは複数は、識別されたピクチャ用の実際の参照ピクチャだった可能性があることに留意されたい。言い換えると、「識別されたピクチャ用の可能な参照ピクチャ」は、識別されたピクチャをインター予測するのに実際に使われた参照ピクチャを除外すると解釈されるべきでない。
[0027]いくつかの例において、ピクチャを符号化する際、ビデオエンコーダは、ピクチャをインター予測符号化するのに使われた可能性があるピクチャ（ピクチャをインター予測符号化するのに実際に使われるピクチャを含む）を決定すればよい。ビデオエンコーダは、それぞれのピクチャと、次に続くピクチャとをインター予測符号化するのに使われた可能性があるピクチャを示す情報を記憶することができる。特定のピクチャを識別する情報をビデオデコーダから受信したことに応答して、ビデオエンコーダは、識別されたピクチャと、次に続くピクチャとをインター予測符号化するのに使われた可能性があるピクチャを示す、記憶された情報を取り出せばよい。ビデオエンコーダは、取り出された情報中で示されるどのピクチャが、ビデオエンコーダのバッファ中に依然として記憶されているか決定することができ、次いで、決定されたピクチャから、現在のピクチャをインター予測符号化するための１つまたは複数の参照ピクチャを選択することができる。
[0028]たとえば、高効率ビデオコーディング（ＨＥＶＣ）規格は、ビデオエンコーダおよびビデオデコーダが各ピクチャ用に構築する複数の参照ピクチャサブセットを定義する。特定のピクチャに対して、参照ピクチャサブセットのうちの３つは、特定のピクチャと、特定のピクチャに復号順序で続くピクチャとをインター予測するのに使われる可能性があり得る参照ピクチャを示す。参照ピクチャサブセットのうちの２つは、特定のピクチャをインター予測するのに使われない場合があるが、特定のピクチャに復号順序で続くピクチャをインター予測するのには使われる可能性があり得る、参照ピクチャを示す。「参照ピクチャセット（reference picture set）」という用語は、複数の参照ピクチャサブセットの組合せを指す。
[0029]ＨＥＶＣ規格に従って構成されたビデオエンコーダおよびビデオデコーダは、本開示に記載される例示的技法を実装するのに、ＨＥＶＣ規格において定義された参照ピクチャサブセットを活用することができる。ただし、Ｈ．２６４／ＡＶＣ規格に従って、またはそれ以外のやり方で構成されたビデオエンコーダおよびビデオデコーダは、前に規定された参照ピクチャサブセットをもたない場合がある。そのようなビデオエンコーダおよびビデオデコーダの場合、ビデオエンコーダは、ビデオエンコーダがピクチャをインター予測するために使った、可能性がある可能参照ピクチャのリストを維持するように構成され得る。
[0030]理解しやすさのために、本開示において使われる、特定のピクチャの「ピクチャセット（picture set）」という用語は、特定のピクチャと、識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使われた可能性があるピクチャを指す。一例として、ＨＥＶＣのコンテキストにおいて、特定のピクチャの「ピクチャセット」という用語は、特定のピクチャの参照ピクチャセット中のピクチャを指すが、必ずしもすべてのピクチャというわけではない。別の例として、Ｈ．２６４／ＡＶＣのコンテキストにおいて、またはそれ以外の場合、特定のピクチャの「ピクチャセット」という用語は、ビデオエンコーダが特定のピクチャをインター予測するために使った可能性があるピクチャの維持されるリスト中で示されるピクチャを指す。
[0031]本開示に記載される技法において、ビデオデコーダのＤＰＢ中に記憶されたピクチャを識別する情報を受信したことに応答して、ビデオエンコーダは、識別されたピクチャのピクチャセット中のどのピクチャが、ビデオエンコーダのＤＰＢ中で依然として利用可能である（すなわち、ビデオエンコーダのＤＰＢ中に現時点で記憶されている）か決定することができ、いくつかの例において、ビデオエンコーダは、識別されたピクチャのピクチャセット中のピクチャのピクチャセット中のどのピクチャが、ビデオエンコーダのＤＰＢ中で依然として利用可能であるかも決定することもできる。現在のピクチャをコーディングするために利用可能なピクチャ（すなわち、現在のピクチャ用の候補参照ピクチャ）であると見なされるピクチャは、識別されたピクチャのピクチャセットの中にあると決定されるピクチャと、ビデオエンコーダのＤＰＢ中で依然として利用可能な、識別されたピクチャのピクチャセットの中のピクチャのピクチャセットの中のピクチャと、識別されたピクチャ自体と、を含み得る。ビデオエンコーダは、現在のピクチャをコーディングするために利用可能なピクチャから１つまたは複数の参照ピクチャを選択し、選択された参照ピクチャから、現在のピクチャをインター予測することができる。
[0032]概して、ビデオエンコーダが現在のピクチャを符号化するとき、識別されたピクチャおよび識別されたピクチャにコーディング順序で続くピクチャ、のための参照ピクチャだった可能性がある、ビデオエンコーダのＤＰＢ中に記憶されているピクチャが、ビデオデコーダが現在のピクチャを復号するとき、ビデオデコーダのＤＰＢ中にも記憶されているという、非常に高い確実性があり得る（たとえば、ほぼ保証される）。この非常に高い確実性は、ビデオエンコーダがそれのＤＰＢからピクチャを削除した後、ビデオデコーダが、それのＤＰＢからそのピクチャを削除してよいという事実により得る。言い換えると、識別されたピクチャと、識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使われた可能性があるピクチャがＤＰＢ中にあり、ビデオエンコーダが、それのＤＰＢからそのピクチャをまだ削除していない場合、ビデオデコーダがそれのＤＰＢからそのピクチャを削除していない見込みが非常に高い。したがって、ビデオエンコーダのＤＰＢ中のピクチャがすべて、ビデオデコーダのＤＰＢ中にある、およびその反対である、必要があるわけではないが、識別されたピクチャと、識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使われた可能性があるピクチャであって、ビデオデコーダが、それのＤＰＢ中に記憶されたピクチャとして識別したピクチャ、がビデオエンコーダのＤＰＢ中にある場合、そのピクチャは、ビデオデコーダのＤＰＢ中にあることがほぼ保証される。
[0033]本開示に記載される技法において、ビデオエンコーダは、現在のピクチャをインター予測するために使われ得る、ビデオデコーダによる復号に利用可能であることがわかっている、複数のピクチャを決定することが可能であり得る。たとえば、ビデオデコーダが、それのＤＰＢ中の複数のピクチャを識別する情報を送信することが可能な場合があり、次いで、ビデオエンコーダに、これらの識別されたピクチャのうちの１つまたは複数を、現在のピクチャ用の参照ピクチャとして選択させる。ただし、ビデオデコーダに、それのＤＰＢ中の複数のピクチャを識別する情報を送信させることは、帯域幅集約的（bandwidth intensive）であり得る。ただし、ビデオデコーダに、ただ１つのピクチャを識別させ、ビデオエンコーダに、その１つのピクチャを、現在のピクチャをインター予測するために使わせると、コーディング効率が不十分になる可能性があり、帯域幅使用量がより高くなる。
[0034]本開示に記載される技法は、ビデオデコーダが、それのＤＰＢ中のわずかなピクチャ（たとえば、１つまたは複数のピクチャ）のみを識別できるようにし、ビデオエンコーダが、識別されたピクチャ（たとえば、ビデオエンコーダのＤＰＢ中で依然として利用可能である、識別されたピクチャの参照ピクチャセット中のピクチャ）に基づいて、現在のピクチャをインター予測するのにすべてが使われ得る追加ピクチャ（たとえば、複数のピクチャ）を決定することを可能にし得る。このようにして、本開示に記載される技法は、より低い帯域幅使用量を求める（たとえば、ビデオデコーダは、１つのピクチャを識別する情報を出力すればよい）が、ビデオエンコーダは、現在のピクチャをインター予測するための最良のコーディング効率をもたらすピクチャを、複数のピクチャから選択すればよいので、より高いコーディング効率をもたらす。
[0035]たとえば、ビデオエンコーダは、ビデオデコーダを含むデバイスから、ビデオデコーダが情報を送信したときにビデオデコーダのＤＰＢ中に記憶されている、前に復号されたピクチャを識別する情報を受信し得る（たとえば、ビデオデコーダが、ピクチャを識別する情報を送信するとき、そのピクチャはビデオデコーダのＤＰＢ中に記憶されている）。ビデオエンコーダは、識別されたピクチャに基づいて、現在のピクチャを符号化するために利用可能である１つまたは複数の候補参照ピクチャを決定することができる。１つまたは複数の候補参照ピクチャは、識別されたピクチャ、または識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャであって、ビデオエンコーダのＤＰＢ中に依然として記憶されている１つまたは複数のピクチャを含む。ビデオエンコーダは、決定された１つまたは複数の候補参照ピクチャおよび識別されたピクチャから、現在のピクチャ用の１つまたは複数の参照ピクチャを選択してよい。ビデオエンコーダは次いで、選択された１つまたは複数の参照ピクチャに基づいて、現在のピクチャをインター予測符号化することができる。
[0036]本開示に記載される例示的技法におけるビデオデコーダは、ビデオエンコーダを含むデバイスに、情報を出力するときにそれのＤＰＢ中に記憶されている、前に復号されたピクチャを識別する情報を出力することができる。ビデオデコーダは、１つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号することができる。１つまたは複数の候補参照ピクチャは、ビデオエンコーダによって、識別されたピクチャをインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャを含む。
[0037]図１は、本開示に記載される技法を利用することができる例示的なビデオ符号化および復号システム１０を示すブロック図である。図１に示すように、システム１０はデバイス１２とデバイス１４とを含む。いくつかの例において、デバイス１２およびデバイス１４は、ビデオが「リアルタイム」で（たとえば、キャプチャされ、符号化され、送信および受信され、復号され、遅延がほとんどなく表示されるように）符号化され、復号されるビデオテレフォニーまたはビデオ会議に使われるデバイスであり得る。説明しやすいように、本技法は、ビデオテレフォニーまたはビデオ協議に関して記載されるが、本技法は、そのように限定されない。いくつかの例において、本技法はライブストリーミングに使用可能であり得る。本開示に記載される技法は、リアルタイムのアプリケーションに限定される必要はない。
[0038]デバイス１２およびデバイス１４は、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、いわゆる「スマート」パッド、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーム機、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備え得る。場合によっては、デバイス１２およびデバイス１４はワイヤレス通信のために装備され得る。
[0039]リアルタイムビデオの場合、デバイス１２は、デバイス１４が復号するビデオを送信することができ、デバイス１４は、デバイス１２が復号するビデオを送信することができる。この意味において、場合によっては、デバイス１２は、ソースデバイスおよび宛先デバイスとしての両方として機能することができ、デバイス１４は、宛先デバイスとソースデバイスの両方として機能することができる。
[0040]たとえば、デバイス１２は、ビデオを送信するためのビデオエンコーダ２０Ａなどの構成要素を含むものとして示され、デバイス１４は、ビデオデータを受信するためのビデオデコーダ３０Ｂなどの構成要素を含むものとして示される。ただし、デバイス１２は、ビデオを受信する必要がある場合もあるので、デバイス１２はビデオデコーダ３０Ａを含んでもよい。また、デバイス１４は、ビデオを送信する必要がある場合もあるので、デバイス１４はビデオエンコーダ２０Ｂを含んでもよい。
[0041]説明しやすいように、本技法は、デバイス１４が受信するビデオを送信するデバイス１２に関して記載される。ただし、デバイス１４は、いくつかの例ではビデオを送信もし、概して、デバイス１２にデータを送信するように構成され得ることが理解されるべきである。
[0042]たとえば、いくつかの例において、デバイス１２およびデバイス１４は互いと通信していてよく、ここで両方のデバイスは、互いの間でデータを送信し、データを受信するように構成される。リアルタイムビデオアプリケーションにおいて、デバイス１４は、データ（たとえば、それ自体の符号化ビデオ、またはデバイス１４が受信するビデオを符号化するためにデバイス１２が使う情報など何らかの他のデータ）を送信する必要がある場合がある。したがって、図１に示されるように、デバイス１４は、デバイス１２にデータを送信するための構成要素（たとえば、ビデオエンコーダ２０Ｂからデバイス１２に符号化ビデオを送信する、ビデオソース１８Ｂ、ビデオエンコーダ２０Ｂ、および入出力インターフェース２２Ｂ）を含み得る。同様に、図１に示されるように、デバイス１２は、デバイス１４からデータを受信するための構成要素（たとえば、入出力インターフェース２２Ａ、ビデオデコーダ３０Ａ、ディスプレイデバイス３１Ａ）を含み得る。
[0043]言い換えると、デバイス１２およびデバイス１４は、双方向通信を可能にするための、実質的に同様の構成要素を含み得る。たとえば、ビデオソース１８Ａおよびビデオソース１８Ｂは、それぞれのビデオをキャプチャすることができる。ビデオエンコーダ２０Ａは、ビデオソース１８Ａからのビデオを符号化し、ビデオエンコーダ２０Ｂは、ビデオソース１８Ｂからのビデオを符号化する。入出力インターフェース２２Ａは、ビデオデータを、ビデオエンコーダ２０Ａからリンク１６を介して入出力インターフェース２２Ｂに送信し、入出力インターフェース２２Ｂは、ビデオデータを、ビデオエンコーダ２０Ｂからリンク１６を介して入出力インターフェース２２Ａに送信する。入出力インターフェース２２Ｂは、ビデオを、ビデオ復号のためにビデオデコーダ３０Ｂに、次いで、表示のために、ビデオデコーダ３０Ｂからディスプレイデバイス３１Ｂに送信すればよい。入出力インターフェース２２Ａは、ビデオを、ビデオ復号のためにビデオデコーダ３０Ａに、次いで、表示のために、ビデオデコーダ３０Ａからディスプレイデバイス３１Ａに送信すればよい。
[0044]リアルタイムのビデオアプリケーションの上記例は、デバイス１２およびデバイス１４がビデオを送信し、受信するビデオテレフォニーまたはビデオ会議のコンテキストにおいて記載されているが、本開示に記載される技法は、そのように限定されない。いくつかの例では、デバイス１２が、ライブイベントのビデオデータをデバイス１４に送信する場合がある。この例では、デバイス１２は、デバイス１４からビデオを受信する必要がない（および、ビデオデコーダ３０Ａもディスプレイデバイス３１Ａも含む必要がない）場合があるが、本開示に記載される技法は、リアルタイムのビデオアプリケーションのそのような例に適用可能である。
[0045]デバイス１２およびデバイス１４は、リンク１６を介して、復号されるべき符号化ビデオデータを送信および受信し得る。リンク１６は、デバイス１２とデバイス１４との間で符号化ビデオデータを移動することが可能な任意のタイプの媒体またはデバイスを備えることができる。一例では、リンク１６は、デバイス１２およびデバイス１４が、符号化ビデオデータをリアルタイムで互いに直接送信することを可能にするために通信媒体を備える場合がある。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、送信され得る。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つもしくは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワーク、などのパケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはデバイス１２からデバイス１４への通信を容易にするために有用であり得る任意の他の機器を含み得る。このように、リンク１６は、デバイス１２およびデバイス１４が双方向通信を実施するための媒体として機能する。
[0046]本明細書に記載されるいくつかの例において、ビデオビットストリームが、二方向プロトコルにより伝達され得る。たとえば、例示的プロトコルは、リアルタイムトランスポートプロトコル（ＲＴＰ）など、インターネットプロトコル（ＩＰ）ベースであってよい。具体的には、いくつかの例は、本明細書に論じられるようにストリーミング通信を改善するために、ＲＴＰおよび同様のプロトコル用の追加プロトコルメッセージを含む。ＲＴＰは概して、ビデオテレフォニーおよびビデオ会議に、ならびにストリーミングライブコンテンツに使われる。
[0047]たとえば、図１において、ビデオデコーダ３０Ａ、ビデオエンコーダ２０Ａ、ビデオデコーダ３０Ｂ、およびビデオエンコーダ２０Ｂは、それぞれの入出力インターフェース２２Ａおよび２２Ｂへの二重矢印を有して示されている。いくつかの例では、ビデオデータを受信するのに加え、ビデオデコーダ３０Ａは、ビデオエンコーダ２０Ｂによってビデオ符号化に使われる情報を送信することができ、ビデオデータを受信するのに加え、ビデオデコーダ３０Ｂは、ビデオエンコーダ２０Ａによってビデオ符号化に使われる情報を送信することができる。そのような、ビデオデコーダ３０Ａからビデオエンコーダ２０Ｂへの、およびビデオデコーダ３０Ｂからビデオエンコーダ２０Ａへの情報の送信は、ＲＴＰ（たとえば、ＲＴＰ用の追加プロトコルメッセージ）、またはビデオデコーダからビデオエンコーダへの、情報のリアルタイム送信を可能にするための同様のプロトコルに従い得る。
[0048]代替として、符号化データが、入出力インターフェース２２Ｂによるアクセスのために、入出力インターフェース２２Ａから記憶デバイス３２に出力され得る。同様に、符号化データが、入出力インターフェース２２Ａによるアクセスのために、入出力インターフェース２２Ｂから記憶デバイス３２に出力され得る。記憶デバイス３２は、ハードドライブ、Ｂｌｕ−ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体のような、種々の分散されたデータ記憶媒体もしくはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。さらなる一例では、記憶デバイス３２は、デバイス１２またはデバイス１４によって生成された符号化ビデオを、他方による以降のアクセスのために保持し得るファイルサーバまたは別の中間記憶デバイスに対応し得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバには、ウェブサーバ（たとえば、ウェブサイト用の）、ＦＴＰサーバ、ネットワークアタッチドストレージ（ＮＡＳ）デバイス、またはローカルディスクドライブがある。デバイス１２およびデバイス１４は、インターネット接続を含む、任意の標準データ接続を介して、符号化ビデオデータにアクセスすることができる。これは、ファイルサーバ上に記憶された符号化ビデオデータにアクセスするのに適した、ワイヤレスチャネル（たとえば、Ｗｉ−Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、またはその両方の組合せを含み得る。記憶デバイス３２からの符号化ビデオデータの送信は、ストリーミング送信であっても、またはダウンロード送信であっても、またはそれらの組合せであってもよい。
[0049]本開示の技法は、必ずしもワイヤレスの適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、たとえばインターネットを介したストリーミングビデオ送信、データ記憶媒体上に記憶するためのデジタルビデオの符号化、データ記憶媒体上に記憶されたデジタルビデオの復号、または他のアプリケーションなどの様々なマルチメディアアプリケーションのうちの任意のマルチメディアアプリケーションのサポートとしてビデオコーディングに適用されてよい。いくつかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどのアプリケーションをサポートするために、一方向または二方向のビデオ送信をサポートするように構成される場合がある。
[0050]場合によっては、入力／出力インターフェース２２Ａおよび２２Ｂは、各々、変調器／復調器（モデム）および／または送信機を含んでよい。デバイス１２およびデバイス１４において、ビデオソース１８Ａおよび１８Ｂは、それぞれ、ビデオキャプチャデバイス（たとえばビデオカメラ）、以前にキャプチャされたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／もしくはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース、またはそのようなソースの組合せを含み得る。一例として、ビデオソース１８Ａおよび１８Ｂがビデオカメラである場合、デバイス１２およびデバイス１４はいわゆるカメラ付き携帯電話またはビデオ付き携帯電話を形成し得る。しかしながら、本開示で説明する技法は、ビデオコーディング全般に適用可能であり得、ワイヤレスおよび／またはワイヤード適用例に適用され得る。
[0051]キャプチャされたビデオ、プリキャプチャされたビデオ、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０Ａおよび２０Ｂのそれぞれによって符号化される場合がある。符号化ビデオデータは、デバイス１２からデバイス１４に、およびその反対に、それぞれの入出力インターフェース２２Ａおよび２２Ｂを介して直接送信され得る。符号化ビデオデータは、さらに（または代替的に）、復号および／または再生のための後のアクセスのために、記憶デバイス３２上に記憶され得る。
[0052]リンク１６を介して通信され、または記憶デバイス３２上で与えられる符号化ビデオデータは、ビデオデータを復号する際にビデオデコーダ３０Ｂによって使うためにビデオエンコーダ２０Ａによって生成された様々なシンタックス要素を含むことができ、ビデオデータを復号する際にビデオデコーダ３０Ａによって使うためにビデオエンコーダ２０Ｂによって生成された様々なシンタックス要素を含むことができる。そのようなシンタックス要素は、通信媒体上で送信されて、記憶媒体上に記憶され、またはファイルサーバに記憶される、符号化ビデオデータとともに含まれ得る。
[0053]ディスプレイデバイス３１Ａおよび３１Ｂは、デバイス１２またはデバイス１４の構成要素とともにあってもよく、デバイス１２もしくはデバイス１４の外部にある別個の構成要素であってもよい。いくつかの例では、デバイス１２およびデバイス１４は、ディスプレイデバイス構成要素を含むことができ、また、別の外部ディスプレイデバイスとインターフェースするように構成され得る。他の例では、デバイス１２およびデバイス１４自体がディスプレイデバイスであり得る。概して、ディスプレイデバイス３１Ａおよび３１Ｂは、復号されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのいずれかを備え得る。
[0054]ビデオエンコーダ２０Ａおよび２０Ｂ（まとめて、「ビデオエンコーダ２０」）およびビデオデコーダ３０Ａおよび３０Ｂ（まとめて、「ビデオデコーダ３０」）は、高効率ビデオコーディング（ＨＥＶＣ）規格などのビデオ圧縮規格に従って動作すればよく、ＨＥＶＣテストモデル（ＨＭ）に準拠し得る。さらに、ビデオエンコーダ２０およびビデオデコーダ３０は、現在開発中のＨＥＶＣ規格（ＨＥＶＣ範囲拡張規格（HEVC Range Extension standard）と呼ばれる）の拡張に従って動作し得る。ビデオエンコーダ２０およびビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ １０、アドバンストビデオコーディング（ＡＶＣ）（すなわち、Ｈ．２６４／ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格など、他のプロプライエタリ規格もしくは業界規格、またはそのような規格の拡張に従って動作することもできる。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。ビデオ圧縮規格の他の例としては、ＭＰＥＧ−２およびＩＴＵ−Ｔ Ｈ．２６３がある。
[0055]図１には示されていないが、いくつかの態様では、ビデオエンコーダ２０およびビデオデコーダ３０は、それぞれ、オーディオエンコーダおよびデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含み得る。ＭＵＸ−ＤＥＭＵＸユニットは、適用可能な場合、いくつかの例において、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ：user datagram protocol）などの他のプロトコルに適合してよい。
[0056]ビデオエンコーダ２０およびビデオデコーダ３０は各々、１つもしくは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せなどの、様々な適切なエンコーダ回路のいずれかとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、ソフトウェアのための命令を好適な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実施するために１つまたは複数のプロセッサを使用してハードウェアでその命令を実行し得る。
[0057]ビデオエンコーダ２０およびビデオデコーダ３０の各々は、そのいずれかが、複合エンコーダ／デコーダ（コーデック）の一部として、それぞれのデバイス内に統合され得る、１つまたは複数のエンコーダまたはデコーダに含まれてもよい。いくつかの例において、本開示が、デバイスの一部であるビデオエンコーダ２０およびビデオデコーダ３０について記載するとき、デバイスは、集積回路（ＩＣ）またはマイクロプロセッサであり得る（たとえば、ビデオエンコーダ２０Ａおよびビデオデコーダ３０Ａは、互いと、および場合によっては集積回路またはマイクロプロセッサ中の他の構成要素と統合されてよく、ビデオエンコーダ２０Ｂおよびビデオデコーダ３０Ｂは、互いと、および場合によっては集積回路またはマイクロプロセッサ中の他の構成要素と統合されてよい）。いくつかの例において、デバイスは、デバイス１２またはデバイス１４のようなワイヤレス通信デバイスなどのワイヤレスデバイスであり得る。
[0058]以下は、理解を助けるための、ＨＥＶＣ規格についての手短な説明である。ただし、本開示に記載される技法は、ＨＥＶＣ規格に限定されるのではなく、Ｈ．２６４／ＡＶＣなど、他の規格に適用可能であるか、または規格外ベースのビデオコーディングに適用可能である。説明しやすいように、以下は、ビデオエンコーダ２０Ａおよびビデオデコーダ３０Ｂに関して説明される。ただし、ビデオエンコーダ２０Ｂおよびビデオデコーダ３０Ａは、それぞれ、ビデオエンコーダ２０Ａおよびビデオデコーダ３０Ｂと同様に構成されてよい。いくつかの例において、ビデオエンコーダ２０Ａおよびビデオエンコーダ２０Ｂが異なるように構成されることが可能であり得る。たとえば、ビデオデコーダ３０Ａおよびビデオデコーダ３０Ｂは異なるように構成され得るが、ビデオエンコーダ２０Ａは、ビデオデコーダ３０Ｂによって復号可能なビデオデータを生成することができ、ビデオエンコーダ２０Ｂは、ビデオデコーダ３０Ａによって復号可能なビデオデータを生成することができる。言い換えると、ビデオエンコーダ２０Ａおよびビデオエンコーダ２０Ｂは同様に構成されてよく、ビデオデコーダ３０Ａおよびビデオデコーダ３０Ｂは同様に構成されてよい。ただし、これは必須ではなく、ビデオエンコーダ２０Ａおよびビデオエンコーダ２０Ｂは異なるように構成されてよく、ビデオデコーダ３０Ａおよびビデオデコーダ３０Ｂは異なるように構成されてよい。
[0059]ＪＣＴ−ＶＣが、ＨＥＶＣ規格を開発した。ＨＥＶＣの規格化の取組みは、ＨＥＶＣテストモデル（ＨＭ）と呼ばれるビデオコーディングデバイスの発展型モデルに基づく。ＨＭは、たとえばＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣに従う既存のデバイスに対する、ビデオコーディングデバイスの複数の追加能力を仮定する。たとえば、Ｈ．２６４は、９つのイントラ予測符号化モード（intra-prediction encoding modes）を提供するが、ＨＭは、３３個ものイントラ予測符号化モードを提供し得る。
[0060]「ＨＥＶＣ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ １０」または「ＷＤ１０」と呼ばれるＨＥＶＣ規格の最近のドラフトは、文書ＪＣＴＶＣ−Ｌ１００３ｖ３４、Ｂｒｏｓｓら、「Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）ｔｅｘｔ ｓｐｅｃｉｆｉｃａｔｉｏｎ ｄｒａｆｔ １０（ｆｏｒ ＦＤＩＳ ＆ Ｌａｓｔ Ｃａｌｌ）」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のビデオコーディング共同研究部会（ＪＣＴ−ＶＣ）、第１２回会合：スイス、ジュネーブ、２０１３年１月１４〜２３日に記載されおり、この文書は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ−Ｌ１００３−ｖ３４．ｚｉｐからダウンロード可能である。
[0061]ＨＥＶＣ規格のさらに別のドラフトは、本明細書で「ＷＤ１０改訂」と呼ばれ、Ｂｒｏｓｓら、「Ｅｄｉｔｏｒｓ’ ｐｒｏｐｏｓｅｄ ｃｏｒｒｅｃｔｉｏｎｓ ｔｏ ＨＥＶＣ ｖｅｒｓｉｏｎ １」、ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３およびＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１のビデオコーディング共同研究部会（ＪＣＴ−ＶＣ）、第１３回会合、仁川、韓国、２０１３年４月に記載されており、この文書は、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１３＿Ｉｎｃｈｅｏｎ／ｗｇ１１／ＪＣＴＶＣ−Ｍ０４３２−ｖ３．ｚｉｐから入手可能である。
[0062]概して、ＨＭの作業モデルは、ビデオフレームまたはピクチャが、ルーマサンプルとクロマサンプルの両方を含むツリーブロックまたは最大コーディングユニット（ＬＣＵ：largest coding units）のシーケンスに分割され得ることを記載している。ツリーブロックは、Ｈ．２６４規格のマクロブロックと同様の目的を有する。スライスは、コーディング順序でいくつかの連続するツリーブロックを含む。ビデオフレームまたはピクチャは、１つまたは複数のスライスに区分化される場合がある。各ツリーブロックは、４分木に従ってコーディングユニット（ＣＵ）にスプリットされ得る。たとえば、４分木のルートノードとしてのツリーブロックは、４つの子ノードにスプリットされてよく、各子ノードは、次に、親ノードとなり、別の４つの子ノードにスプリットされ得る。４分木のリーフノードとしての、最終的なスプリットされていない子ノードは、コードディングノード、すなわち、コード化ビデオブロックを備える。コード化ビットストリームに関連付けられたシンタックスデータは、ツリーブロックがスプリットされ得る最大回数を定義することができ、コーディングノードの最小サイズも定義することができる。
[0063]ＣＵは、コーディングノードと、コーディングノードに関連付けられた予測ユニット（ＰＵ）および変換ユニット（ＴＵ）とを含む。ＣＵのサイズは、コーディングノードのサイズに対応し、形状において正方形でなければならない。ＣＵのサイズは、８×８ピクセルから、最大６４×６４ピクセル以上を有するツリーブロックのサイズまでに及び得る。各ＣＵは、１つまたは複数のＰＵと１つまたは複数のＴＵとを包含し得る。ＣＵに関連付けられたシンタックスデータは、たとえば、１つまたは複数のＰＵへのＣＵの区分を記述することができる。区分モードは、ＣＵがスキップモード符号化もしくは直接モード符号化されるのか、イントラ予測モード符号化されるのか、またはインター予測モード符号化されるのかの間で異なる可能性がある。ＰＵは、形状において非正方形に区分され得る。ＣＵに関連付けられたシンタックスデータは、たとえば、４分木に従う１つまたは複数のＴＵへのＣＵの区分を記述することもできる。ＴＵは、形状が正方形または非正方形であり得る。
[0064]ＨＥＶＣ規格は、ＣＵによって異なり得る、ＴＵに従う変換を可能にする。ＴＵは、通常、区分されたＬＣＵのために定義された、所与のＣＵ内のＰＵのサイズに基づいてサイズ変更されるが、これは常にそうであるとは限らない。ＴＵは、通常、ＰＵと同じサイズであるか、またはＰＵよりも小さい。いくつかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ：residual quad tree）と呼ばれる４分木構造を使用して、より小さいユニットに再分割され（subdivided）得る。ＲＱＴのリーフノードはＴＵと呼ばれ得る。ＴＵに関連付けられたピクセル差分値は、量子化され得る変換係数を生成するために変換され得る。
[0065]概して、ＰＵは、予測プロセスに関係するデータを含む。たとえば、ＰＵがイントラモード符号化されるとき、ＰＵは、ＰＵについてのイントラ予測モードを記述するデータを含み得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵについての動きベクトルを定義するデータを含み得る。ＰＵのための動きベクトルを定義するデータは、たとえば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルについての解像度（たとえば、１／４ピクセル精度もしくは１／８ピクセル精度）、動きベクトルが指す参照ピクチャ、および／または動きベクトルの参照ピクチャリスト（たとえば、リスト０（ＲｅｆＰｉｃＬｉｓｔ０）、リスト１（ＲｅｆＰｉｃＬｉｓｔ１）、もしくはリストＣ）を記述し得る。
[0066]一般に、ＴＵは、変換処理および量子化処理のために使用される。１つまたは複数のＰＵを有する所与のＣＵは、１つまたは複数のＴＵも含み得る。予測に続いて、ビデオエンコーダ２０Ａは、ＰＵに対応する残差値を計算することができる。残差値は、エントロピーコーディングのためのシリアル化された変換係数（serialized transform coefficients）を生成するために、ＴＵを使用して変換係数に変換され、量子化され、走査され得るピクセル差分値を備える。本開示では、一般に、ＣＵのコーディングノードを指すために「ビデオブロック」という用語を使用する。いくつかの特定の場合には、本開示ではまた、コーディングノードならびにＰＵおよびＴＵを含む、ツリーブロック、すなわち、ＬＣＵまたはＣＵを指すために「ビデオブロック」という用語を使用し得る。
[0067]ビデオシーケンスは、一般に、一連のビデオフレームまたはピクチャを含む。ピクチャグループ（ＧＯＰ：a group of pictures）は、一般に、ビデオピクチャのうちの一連の１つまたは複数を備える。ＧＯＰは、ＧＯＰ中に含まれるいくつかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャの１つもしくは複数のヘッダ中、または他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスに関する符号化モードを記述するスライスシンタックスデータを含む場合がある。ビデオエンコーダ２０Ａは、一般に、ビデオデータを符号化するために、個々のビデオスライス内のビデオブロックに作用する。ビデオブロックはＣＵ内のコーディングノードに対応する場合がある。ビデオブロックは、固定サイズまたは可変サイズを有することができ、指定されたコーディング規格に従ってサイズが異なり得る。
[0068]例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２ＮまたはＮ×ＮのＰＵサイズでのイントラ予測と、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、またはＮ×Ｎの対称ＰＵサイズ（symmetric PU sizes）でのインター予測とをサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分（asymmetric partitioning）をサポートする。非対称区分では、ＣＵの一方の方向は区分されず、他方の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、または「Ｒｉｇｈｔ」という表示によって示される。したがって、たとえば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ ＰＵと下部の２Ｎ×１．５Ｎ ＰＵとで水平に区分された２Ｎ×２Ｎ ＣＵを指す。
[0069]本開示では、たとえば１６×１６ピクセルまたは１６かける１６ピクセルなど、「Ｎ×Ｎ」および「ＮかけるＮ（Ｎ ｂｙ Ｎ）」は、垂直および水平のディメンションに関して、ビデオブロックのピクセルディメンションを示すために区別なく使用され得る。概して、１６×１６ブロックは、垂直方向に１６ピクセルを有し（ｙ＝１６）、水平方向に１６ピクセルを有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、概して、垂直方向にＮピクセルを有し、水平方向にＮピクセルを有し、ただし、Ｎは非負整数値を表す。ブロック中のピクセルは行および列に配列され得る。さらに、ブロックは、必ずしも、水平方向において垂直方向と同じ数のピクセルを有するとは限らない。たとえば、ブロックはＮ×Ｍピクセルを備えることがあり、ここで、Ｍは必ずしもＮに等しいとは限らない。
[0070]ＣＵのＰＵを使用したイントラ予測コーディングまたはインター予測コーディングに続いて、ビデオエンコーダ２０Ａは、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（ピクセル領域とも呼ばれる）空間領域においてピクセルデータを備える場合があり、ＴＵは、変換、たとえば、残差ビデオデータに対する離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換の適用を受けて、変換領域において係数を備える場合がある。残差データは、符号化されていないピクチャのピクセルと、ＰＵに対応する予測値との間のピクセル差分に対応し得る。ビデオエンコーダ２０Ａは、ＣＵに関する残差データを含むＴＵを形成し、次いで、ＣＵに関する変換係数を生成するためにＴＵを変換することができる。
[0071]変換係数を生成するためのすべての変換に続いて、ビデオエンコーダ２０Ａは、変換係数の量子化を実施することができる。量子化は一般に、係数を表すために使用されるデータの量をできるだけ低減するために、変換係数が量子化され、さらなる圧縮を実現する処理を指す。量子化処理は、係数の一部またはすべてと関連付けられるビット深度を低減させることができる。たとえば、ｎビット値が、量子化中にｍビット値へと切り捨てられてよく、ｎは、ｍより大きい。
[0072]いくつかの例では、ビデオエンコーダ２０Ａは、量子化変換係数を走査して、エントロピー符号化され得るシリアル化ベクトルを生成するために、あらかじめ定義された走査順序を利用し得る。他の例では、ビデオエンコーダ２０Ａは適応型走査を実施し得る。量子化された変換係数を走査して１次元ベクトルを形成した後、ビデオエンコーダ２０Ａは、たとえば、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ：context adaptive variable length coding）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ：context adaptive binary arithmetic coding）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ：syntax-based context-adaptive binary arithmetic coding）、確率間隔区分エントロピー（ＰＩＰＥ：Probability Interval Partitioning Entropy）コーディング、または別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化することができる。ビデオエンコーダ２０Ａはまた、ビデオデータを復号する際のビデオデコーダ３０Ｂによる使用のために、符号化ビデオデータに関連付けられたシンタックス要素をエントロピー符号化し得る。
[0073]ＣＡＢＡＣを実施するために、ビデオエンコーダ２０Ａは、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が非０であるか否かに関し得る。ＣＡＶＬＣを実施するために、ビデオエンコーダ２０Ａは、送信されるべきシンボルのための可変長コードを選択し得る。ＶＬＣ中のコードワードは、比較的短いコードがより起こりそうなシンボル（more probable symbols）に対応し、より長いコードがあまり起こりそうにないシンボル（less probable symbols）に対応するように、構成され得る。このようにして、ＶＬＣの使用は、たとえば、送信されるべき各シンボルのための等長コードワードを使用することに勝るビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
[0074]図２は、本開示に記載された技法を実施することができる、例示的なビデオエンコーダ２０Ａを示すブロック図である。上述したように、ビデオエンコーダ２０Ｂはビデオエンコーダ２０Ａと同様であり得るが、本開示に記載される技法は、そのように限定されない。ビデオエンコーダ２０Ａは、ビデオスライス内のビデオブロックのイントラコーディングとインターコーディングとを実施し得る。イントラコーディングは、所与のビデオフレームまたはピクチャ内のビデオの空間冗長性を低減または除去するために空間的予測に依拠する。インターコーディングは、ビデオシーケンスの隣接フレームまたはピクチャ内のビデオの時間的冗長性を低減または除去するために、時間的予測に依拠する。イントラモード（Ｉモード）は、いくつかの空間ベースの圧縮モードのいずれかを指し得る。単方向予測（Ｐモード）または双予測（bi-prediction）（Ｂモード）のようなインターモードは、いくつかの時間ベースの圧縮モードのいずれかを指し得る。
[0075]図２の例では、ビデオエンコーダ２０Ａは、ビデオデータメモリ３９と、区分化ユニット３５と、予測処理ユニット４１と、復号ピクチャバッファ（ＤＰＢ）６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１は、動き推定ユニット４２と、動き補償ユニット４４と、イントラ予測処理ユニット４６とを含む。ビデオブロックの再構築のために、ビデオエンコーダ２０Ａはまた、逆量子化ユニット５８と、逆変換処理ユニット６０と、加算器６２とを含む。再構築されたビデオからブロッキネスアーティファクトを除去するためにブロック境界をフィルタリングするためのデブロッキングフィルタ（図２に図示せず）も含まれ得る。必要な場合、デブロッキングフィルタは、通常、加算器６２の出力をフィルタリングすることになる。デブロッキングフィルタに加えて追加的なループフィルタ（インループまたはポストループ）が使用されてもよい。
[0076]図２に示すように、ビデオデータメモリ３９は、ビデオピクチャ内の現在のビデオブロックを符号化するために使用されるビデオデータを受信する。ビデオデータメモリ３９は、（たとえば、ビデオデータを記憶するように構成された）ビデオエンコーダ２０Ａの構成要素によって符号化されるべきビデオデータを記憶するか、またはビデオピクチャを符号化するために使用されるべきビデオデータを記憶することができる。たとえば、ビデオデータメモリ３９は、ビデオエンコーダ２０Ａが符号化する各ピクチャについてのパラメータセットを記憶する（たとえば、それぞれのピクチャをインター予測するのに使われた可能性があるピクチャを示す情報を記憶する）ことができる。本開示に記載される技法によると、ビデオデータメモリ３９は、ビデオデコーダ３０Ｂによって前に復号されたピクチャを識別する、ビデオデコーダ３０Ｂから受信された情報を記憶することもできる。たとえば、ビデオエンコーダ２０Ａは、ビデオデコーダ３０Ｂによって識別されたピクチャ、ビデオデコーダ３０Ｂによって識別されたピクチャをインター予測するのに使われた可能性があるピクチャ、またはビデオデコーダ３０Ｂによって識別されたピクチャをインター予測するのに使われた可能性があるピクチャをインター予測するのに使われ得るであろうピクチャ、のうちの１つまたは複数に基づいて、現在のピクチャをインター予測するように構成され得る。概して、ビデオエンコーダ２０Ａが、決定されたピクチャのそのようなグループからピクチャを選択した場合、選択されたピクチャが、ビデオデコーダ３０Ｂによる復号に利用可能である可能性が高い。
[0077]いくつかの例では、ビデオデータメモリ３９に記憶されるビデオデータは、たとえば、ビデオソース１８Ａから取得される場合がある。ＤＰＢ６４は、（たとえば、イントラ予測コーディングモードまたはインター予測コーディングモードで）ビデオエンコーダ２０Ａによってビデオデータを符号化する際に使用する参照ビデオデータを記憶する。ビデオデータメモリ３９およびＤＰＢ６４は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのうちのいずれかによって形成され得る。ビデオデータメモリ３９およびＤＰＢ６４は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ３９は、ビデオエンコーダ２０Ａの他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0078]図２に示されるように、ビデオエンコーダ２０Ａはビデオデータを受信し、区分化ユニット３５はそのデータをビデオブロックに区分する。この区分はまた、たとえば、ＬＣＵおよびＣＵの４分木構造に従って、スライス、タイル、または他のより大きいユニットへの区分、およびビデオブロック区分、をも含み得る。ビデオエンコーダ２０Ａは概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示す。スライスは、複数のビデオブロックに（および場合によっては、タイルと呼ばれるビデオブロックのセットに）分割され得る。予測処理ユニット４１は、エラー結果（たとえば、コーディングレートおよびひずみレベル）に基づいて、現在のビデオブロックのために、複数のイントラコーディングモードのうちの１つ、または複数のインターコーディングモードのうちの１つなど、複数の可能なコーディングモードのうちの１つを選択し得る。
[0079]予測処理ユニット４１は、ビデオデコーダ３０Ｂによって識別された参照ピクチャに基づいて、インター予測を実施するための本開示の技法を実施するように構成され得る。予測処理ユニット４１は、得られたイントラコード化ブロックまたはインターコード化ブロックを、残差ブロックデータを生成するために加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを再構築するために加算器６２に与え得る。
[0080]予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間圧縮を行うために、コーディングされるべき現在のブロックと同じフレームまたはスライス中の１つまたは複数の隣接ブロックに対して現在のビデオブロックのイントラ予測コーディングを実施し得る。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、時間的圧縮を行うために、１つまたは複数の参照ピクチャ中の１つまたは複数の予測ブロックに対して現在のビデオブロックのインター予測コーディングを実施する。
[0081]動き推定ユニット４２は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスを、Ｐスライス、Ｂスライス、またはＧＰＢスライスとして指定し得る。動き推定ユニット４２および動き補償ユニット４４は、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット４２によって実施される動き推定は、ビデオブロックについての動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、参照ピクチャ内の予測ブロックに対する、現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位（displacement）を示し得る。
[0082]予測ブロックは、絶対値差分和（ＳＡＤ：sum of absolute difference）、差分２乗和（ＳＳＤ：sum of square difference）、または他の差分メトリックによって決定され得るピクセル差分に関して、コーディングされるべきビデオブロックのＰＵに厳密に一致することがわかるブロックである。いくつかの例では、ビデオエンコーダ２０Ａは、ＤＰＢ６４に記憶された参照ピクチャのサブ整数ピクセル位置（sub-integer pixel positions）の値を計算することができる。たとえば、ビデオエンコーダ２０Ａは、参照ピクチャの１／４ピクセル位置、１／８ピクセル位置、または他の分数ピクセル位置（fractional pixel positions）の値を補間することができる。したがって、動き推定ユニット４２は、フルピクセル位置（full pixel positions）と分数ピクセル位置とに対して動き探索を実施し、分数ピクセル精度をもつ動きベクトルを出力し得る。
[0083]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵに関する動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ０）または第２の参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ１）から選択されてよく、それらの各々は、ＤＰＢ６４に記憶された１つまたは複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６および動き補償ユニット４４に送る。
[0084]動き補償ユニット４４によって実施される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックを取り込むことまたは生成すること、場合によってはサブピクセル精度への補間を実施することを伴い得る。現在のビデオブロックのＰＵについての動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照ピクチャリストのうち１つにおいて指す予測ブロックの位置を特定し（locate）得る。ビデオエンコーダ２０Ａは、コーディングされている現在のビデオブロックのピクセル値から予測ブロックのピクセル値を減算し、ピクセル差分値を形成することによって残差ビデオブロックを形成する。ピクセル差分値は、ブロックについての残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器５０は、この減算演算を実施する１つまたは複数の構成要素を表す。動き補償ユニット４４はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０Ｂによって使用するための、ビデオブロックとビデオスライスとに関連付けられたシンタックス要素を生成し得る。
[0085]イントラ予測処理ユニット４６は、上に記述したように、動き推定ユニット４２および動き補償ユニット４４によって実施されるインター予測の代替として、現在のブロックをイントラ予測する（intra-predict）ことができる。特に、イントラ予測処理ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。いくつかの例では、イントラ予測処理ユニット４６は、たとえば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化することができ、イントラ予測処理ユニット４６（または、いくつかの例では、予測処理ユニット４１）は、テストされたモードから使用するのに適切なイントラ予測モードを選択することができる。たとえば、イントラ予測処理ユニット４６は、様々なテストされたイントラ予測モードについてレートひずみ分析を使用してレートひずみ値を計算し、テストされたモードの中で最良のレートひずみ特性を有するイントラ予測モードを選択し得る。レートひずみ分析は、一般に、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間のひずみ（または誤差）の量、ならびに符号化ブロックを生成するために使用されるビットレート（すなわち、ビットの数）を決定する。イントラ予測処理ユニット４６は、様々な符号化されたブロックについてのひずみおよびレートから比率を計算し、どのイントラ予測モードがブロックの最良のレートひずみ値を示すかを決定し得る。
[0086]いずれの場合も、ブロックのためのイントラ予測モードを選択した後に、イントラ予測処理ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に与え得る。エントロピー符号化ユニット５６は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ２０Ａは、複数のイントラ予測モードインデックステーブルと複数の修正されたイントラ予測モードインデックステーブル（コードワードマッピングテーブルとも呼ばれる）とを含み得る送信されるビットストリーム構成データ中に、様々なブロックの符号化コンテキストの定義と、コンテキストの各々に使用すべき最も確からしいイントラ予測モード（a most probable intra-prediction mod）、イントラ予測モードインデックステーブル、および修正されたイントラ予測モードインデックステーブルの指示とを含み得る。
[0087]予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して、現在のビデオブロックのための予測ブロックを生成した後に、ビデオエンコーダ２０Ａは、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、１つまたは複数のＴＵ中に含まれ、変換処理ユニット５２に適用され得る。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット５２は、残差ビデオデータをピクセル領域から周波数領域などの変換領域に変換してよい。
[0088]変換処理ユニット５２は、結果として生成された変換係数を量子化ユニット５４に送ることができる。量子化ユニット５４は、ビットレートをさらに低減させるために変換係数を量子化する。量子化プロセスは、係数の一部またはすべてに関連付けられたビット深度を低減させることができる。量子化の程度は、量子化パラメータを調整することによって修正され得る。いくつかの例では、量子化ユニット５４は、次いで、量子化された変換係数を含む行列の走査を実施し得る。代替的に、エントロピー符号化ユニット５６が走査を実施し得る。
[0089]量子化の後、エントロピー符号化ユニット５６は、量子化された変換係数をエントロピー符号化する。たとえば、エントロピー符号化ユニット５６は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コーディングまたは別のエントロピー符号化方法または技法を実施し得る。エントロピー符号化ユニット５６によるエントロピー符号化に続いて、符号化ビットストリームは、ビデオデコーダ３０Ｂに送信され得るか、またはビデオデコーダ３０Ｂが後で送信するかもしくは取り出すためにアーカイブされ得る。エントロピー符号化ユニット５６はまた、コーディングされている現在のビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化することができる。
[0090]逆量子化ユニット５８および逆変換処理ユニット６０は、参照ピクチャの参照ブロックとして後で使用するために、ピクセル領域において残差ブロックを再構築するために、それぞれ逆量子化および逆変換を適用する。動き補償ユニット４４は、残差ブロックを複数の参照ピクチャリストのうち１つの参照ピクチャリスト内の複数の参照ピクチャのうちの１つの参照ピクチャの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、動き推定において使用するためのサブ整数ピクセル値を計算するために、再構築された残差ブロックに１つまたは複数の補間フィルタを適用し得る。加算器６２は、ＤＰＢ６４に記憶するための参照ブロックを生成するために、再構築された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算する。参照ブロックは、後続のビデオフレームまたはピクチャ中のブロックをインター予測するために、動き推定ユニット４２および動き補償ユニット４４によって参照ブロックとして使用され得る。
[0091]後でより詳しく説明されるように、ビデオエンコーダ２０Ａは、ビデオデコーダ３０Ｂから、ビデオデコーダ３０Ｂにおける復号に利用可能な参照ピクチャを示す情報を受信するように構成され得る。ビデオエンコーダ２０Ａは、ビデオデコーダ３０Ｂにおける復号に利用可能な参照ピクチャのうちの１つまたは複数に基づいて、現在のピクチャをインター予測符号化することができる。いくつかの例において、ビデオエンコーダ２０Ａは、ビデオデコーダ３０Ｂによる参照ピクチャの再構築中にエラーが起きた場合、ビデオデコーダ３０Ｂにおける復号に利用可能な参照ピクチャを示す情報を受信し得る。いくつかの例において、ビデオデコーダ３０Ｂにおける復号に利用可能な参照ピクチャを示す情報を受信するために、ビデオエンコーダ２０Ａは、参照ピクチャセット中で識別されるピクチャを識別する情報を受信し得る。ビデオエンコーダ２０Ａは、参照ピクチャセット中に含まれる参照ピクチャを、ビデオデコーダ３０Ｂにおける復号に利用可能な参照ピクチャとして決定するように構成され得る。
[0092]このようにして、ビデオエンコーダ２０Ａは、ビデオデコーダ３０Ｂを含むデバイス１４から、ビデオデコーダ３０Ｂが情報を送信したときにビデオデコーダ３０ＢのＤＰＢ９２（図３）中に記憶されている、前に復号されたピクチャを識別する情報を受信するように構成され得る。ビデオエンコーダ２０Ａは、識別されたピクチャに基づいて、現在のピクチャを符号化するために利用可能である１つまたは複数の候補参照ピクチャを決定することができる。１つまたは複数の候補参照ピクチャは、識別されたピクチャまたは識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると（たとえば、参照ピクチャセットを形成する参照ピクチャサブセットのうちの１つまたは複数を含む、識別されたピクチャについてのパラメータセットに基づいて）前に決定された１つまたは複数のピクチャであって、ビデオエンコーダ２０ＡのＤＰＢ６４中に依然として記憶されている１つまたは複数のピクチャを含む。ビデオエンコーダ２０Ａは（たとえば、予測処理ユニット４１により）、決定された１つまたは複数の候補参照ピクチャおよび識別されたピクチャから、現在のピクチャ用の１つまたは複数の参照ピクチャを選択することができる。
[0093]ビデオエンコーダ２０Ａは、選択された１つまたは複数の参照ピクチャに基づいて、現在のピクチャをインター予測符号化すればよい。たとえば、ビデオエンコーダ２０Ａは、決定された候補参照ピクチャおよび識別されたピクチャから１つのピクチャを選択し、現在のピクチャをインター予測するために単方向予測する（uni-directional predict）ことができる。いくつかの例において、ビデオエンコーダ２０Ａは、決定された候補参照ピクチャおよび識別されたピクチャから、現在のピクチャ用に２つのピクチャを選択し、現在のピクチャを双予測符号化する（bi-prediction encode）（たとえば、現在のピクチャをインター予測符号化するために、２つの参照ピクチャ、すなわち各参照ピクチャリストからの１つ、を使う）ことができる。
[0094]場合によっては、ビデオエンコーダ２０Ａは、識別されたピクチャが現在のピクチャを符号化するために利用可能である（たとえば、ＤＰＢ６４中に記憶されている）かどうか決定することができる。ビデオエンコーダ２０Ａは、識別されたピクチャが現在のピクチャを符号化するために利用可能でないという決定に基づいて、現在のピクチャを、インター予測符号化するよりもむしろ、イントラ予測符号化することができる。
[0095]ビデオエンコーダ２０Ａは、さらに、欠落されたピクチャを識別する情報を受信することもできる。ビデオエンコーダ２０Ａは、欠落されたピクチャを、決定された１つまたは複数の候補参照ピクチャから除外してよい。
[0096]図３は、本開示で説明する技法を実施し得る例示的なビデオデコーダ３０Ｂを示すブロック図である。上述したように、ビデオデコーダ３０Ａはビデオデコーダ３０Ｂと同様であり得るが、本開示に記載される技法は、そのように限定されない。図３の例では、ビデオデコーダ３０Ｂは、エントロピー復号ユニット８０と、予測処理ユニット８１と、逆量子化ユニット８６と、逆変換ユニット８８と、加算器９０と、復号ピクチャバッファ（ＤＰＢ）９２とを含む。予測処理ユニット８１は、動き補償ユニット８２とイントラ予測処理ユニット８４とを含む。ビデオデコーダ３０Ｂは、いくつかの例では、図２からのビデオエンコーダ２０Ａに関して説明した符号化パスとは概して逆の復号パスを実施し得る。
[0097]図３の例では、ビデオデータメモリ７９は、符号化ビデオを受信する。ビデオデータメモリ７９は、ビデオデコーダ３０Ｂの構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し（たとえば、ビデオデータを記憶するように構成され）得る。ビデオデータメモリ７９はまた、ビデオデータを復号し、ピクチャを再構築するためにビデオデコーダ３０Ｂの構成要素によって使用されるビデオデータを記憶することができる。
[0098]ビデオデータメモリ７９に記憶されたビデオデータは、カメラなどのローカルビデオソースから、ビデオデータのワイヤードもしくはワイヤレスのネットワーク通信を介して、または物理データ記憶媒体にアクセスすることによって取得され得る。ビデオデータメモリ７９は、符号化ビデオビットストリームからの符号化ビデオデータを記憶するコード化ピクチャバッファ（ＣＰＢ：a coded picture buffer）を形成し得る。
[0099]ＤＰＢ９２は、（たとえば、イントラコーディングモードまたはインターコーディングモードで）ビデオデコーダ３０Ｂによってビデオデータを復号する際に使用するための参照ビデオデータを記憶するメモリの一例である。ビデオデータメモリ７９およびＤＰＢ９２は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなど、様々なメモリデバイスのうちのいずれかによって形成され得る。ビデオデータメモリ７９およびＤＰＢ９２は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ７９は、ビデオデコーダ３０Ｂの他の構成要素とともにオンチップであってよく、またはそれらの構成要素に対してオフチップであってもよい。
[0100]復号プロセスの間、ビデオデコーダ３０Ｂは、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームをビデオエンコーダ２０Ａから受信する。ビデオデコーダ３０Ｂのエントロピー復号ユニット８０は、量子化された係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビットストリームをエントロピー復号する。エントロピー復号ユニット８０は、動きベクトルと他のシンタックス要素とを予測処理ユニット８１にフォワードする。ビデオデコーダ３０Ｂは、ビデオスライスレベルおよび／またはビデオブロックレベルにおいてシンタックス要素を受信することができる。
[0101]ビデオスライスがイントラコード化（Ｉ）スライスとしてコーディングされるとき、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在のフレームまたはピクチャの、以前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。予測処理ユニット８１は、参照ピクチャが受信されないときなどに、インター予測にどの参照ピクチャが使われるべきかを示すために、本開示の技法を実装するように構成され得る。ビデオフレームがインターコード化（すなわち、ＢまたはＰ）スライスとしてコーディングされるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックについての予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つから生成され得る。ビデオデコーダ３０Ｂは、ＤＰＢ９２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、すなわち、ＲｅｆＰｉｃＬｉｓｔ０とＲｅｆＰｉｃＬｉｓｔ１とを構築し得る。
[0102]動き補償ユニット８２は、動きベクトルと他のシンタックス要素とをパーズすること（parsing）によって現在のビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在のビデオブロックのための予測ブロックを生成するために予測情報を使用する。たとえば、動き補償ユニット８２は、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（たとえば、イントラ予測またはインター予測）と、インター予測スライスタイプ（たとえば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）と、スライスの参照ピクチャリストのうちの１つまたは複数のための構築情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在のビデオスライス中のビデオブロックを復号するための他の情報と、を決定するために、受信されたシンタックス要素のいくつかを使用する。
[0103]動き補償ユニット８２はまた、補間フィルタに基づいて補間を実施し得る。動き補償ユニット８２は、参照ブロックのサブ整数ピクセルに関して補間された値を計算するために、ビデオブロックの符号化の間にビデオエンコーダ２０Ａによって使用された補間フィルタを使用することができる。このケースでは、動き補償ユニット８２は、受信されたシンタックス要素から、ビデオエンコーダ２０Ａで使用された補間フィルタを決定し、予測ブロックを生成するためにその補間フィルタを使用し得る。
[0104]逆量子化ユニット８６は、ビットストリーム中で与えられエントロピー復号ユニット８０によって復号された量子化された変換係数を逆量子化（inverse quantize）、すなわち、量子化解除（de-quantize）する。逆量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆量子化の程度を決定するために、ビデオスライス内のビデオブロックごとに、ビデオエンコーダ２０Ａによって計算された量子化パラメータを使用することを含む場合がある。逆変換処理ユニット８８は、ピクセル領域において残差ブロックを生成するために、逆変換、たとえば、逆ＤＣＴ、逆整数変換、または概念的に同様の逆変換処理を変換係数に適用する。
[0105]動き補償ユニット８２が、動きベクトルと他のシンタックス要素とに基づいて現在のビデオブロックに関する予測ブロックを生成した後、ビデオデコーダ３０Ｂは、逆変換処理ユニット８８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号されたビデオブロックを形成する。加算器９０は、この加算演算を実施する１つまたは複数の構成要素を表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号されたブロックをフィルタ処理するためにデブロッキングフィルタも適用され得る。ピクセル推移を平滑化し、または他の形でビデオ品質を改善するために、他のループフィルタ（コーディングループ内またはコーディングループの後のいずれであれ）も使用され得る。所与のフレームまたはピクチャ中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶するＤＰＢ９２に記憶される。ＤＰＢ９２はまた、図１のディスプレイデバイス３１Ｂなどのディスプレイデバイス上での後の表示のために、復号されたビデオを記憶する。
[0106]ビデオエンコーダ２０Ａ、ビデオデコーダ３０Ｂ、ビデオエンコーダ２０Ｂ、およびビデオデコーダ３０Ａは、本開示で説明する技法を実装するように構成され得る。やはり、説明しやすいように、本技法は、ビデオエンコーダ２０Ａおよびビデオデコーダ３０Ｂに関して記載され、ビデオエンコーダ２０Ｂおよびビデオデコーダ３０Ａは、同様の技法を実装するように構成され得る。ただし、本技法は、ビデオエンコーダ２０Ｂおよびビデオデコーダ３０Ａが、ビデオエンコーダ２０Ａおよびビデオデコーダ３０Ｂのものと同じ技法を実施することを求めることに限定されると見なされるべきでない。
[0107]たとえば、上述した技法は、送付機側（a sender side）におけるエンコーダ、および受信機側におけるデコーダに関して記載される。ビデオエンコーダ２０Ａは、送付機側におけるそのようなエンコーダの例であってよく、ビデオデコーダ３０Ｂは、受信機側におけるそのようなデコーダの例であってよい。いくつかの例において、ビデオデコーダ３０Ｂは、参照ピクチャセット選択指示（ＲＰＳＳＩ：reference picture set selection indication）フィードバックメッセージを（たとえば、ＲＴＰメッセージの一部として）出力するように構成され得る。ＲＰＳＳＩフィードバックメッセージから、ビデオエンコーダ２０Ａは、ビデオデコーダ３０ＢのＤＰＢ９２中でどの参照ピクチャが利用可能であるか決定するように構成されてよく、ビデオデコーダ３０ＢのＤＰＢ９２にあることがわかっているピクチャのうちの１つに基づいてピクチャを符号化することができる。
[0108]上述したように、本開示に記載される技法は、リアルタイムのビデオアプリケーションに関し得る。ベストエフォート型ネットワーク条件下でのリアルタイムのビデオアプリケーションのために、フィードバックメッセージは、送付機（たとえば、ビデオエンコーダ２０Ａまたはビデオエンコーダ２０Ａを含むデバイス１２）に、受信機（たとえば、ビデオデコーダ３０Ｂまたはビデオデコーダ３０Ｂを含むデバイス１４）において何が起きたかについて知らせるために重要である。ビデオテレフォニーまたはビデオ会議において、送付機はデバイス１２またはデバイス１４であってよく、受信機はデバイス１２またはデバイス１４であってよいことが理解されるべきである。説明しやすいように、本開示は、デバイス１４が送付機としても機能することができ、デバイス１２が受信機として機能することができることを理解した上で、デバイス１２を送付機であるものとして、およびデバイス１４を受信機であるものとして記載する。
[0109]たとえば、ビデオデコーダ３０Ｂが、ビデオエンコーダ２０Ａによってシグナリングされたビットストリームからのピクチャを受信しなかった事例では、ビデオデコーダ３０Ｂが、欠落されたピクチャがあることをビデオエンコーダ２０Ａに知らせるためのフィードバックメッセージを送信することが有益な場合がある。既存のＨＥＶＣコーデックに対して、参照ピクチャのうちの１つがビデオデコーダ３０Ｂによって欠落されたとき、ビデオデコーダ３０Ｂは、２０１３年９月６日付の、ネットワーク作業部会からの、Ｗａｎｇらによる「ＲＴＰ Ｐａｙｌｏａｄ Ｆｏｒｍａｔ ｆｏｒ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」において定義される参照ピクチャ選択指示（ＲＰＳＩ：Reference Picture Selection Indication）および特定ピクチャ損失指示（ＳＰＬＩ：Specific Picture Loss Indication）メッセージを、ピクチャが欠落されていることをビデオエンコーダ２０Ａに知らせるのに使えばよい。
[0110]高効率ビデオコーディングのためのＲＴＰペイロードフォーマットに関する情報は、２０１３年１２月２日時点で、ｈｔｔｐ：／／ｔｏｏｌｓ．ｉｅｔｆ．ｏｒｇ／ｈｔｍｌ／ｄｒａｆｔ−ｉｅｔｆ−ｐａｙｌｏａｄ−ｒｔｐ−ｈ２６５−０１から見つけることができる。たとえば、ＲＴＰペイロードフォーマットに関する情報は、ＲＴＰペイロードフォーマットが、各ＲＴＰパケットペイロード中の１つまたは複数のネットワークアブストラクションレイヤ（ＮＡＬ：Network Abstraction Layer）ユニットのパケット化、ならびに複数のＲＴＰパケットへのＮＡＬユニットのフラグメント化を可能にすることを記述する。さらに、ＲＴＰペイロードフォーマットは、単一ならびに複数のＲＴＰフローによるＨＥＶＣストリームの送信をサポートする。ペイロードフォーマットは、特に、ビデオ会議、インターネットビデオストリーミング、および高ビットレートのエンターテイメント品質ビデオにおける広い適用性を有する。
[0111]欠落されたピクチャがあったとビデオデコーダ３０Ｂが決定することができる様々なやり方があり得る。一例として、ビデオデコーダ３０Ｂは、欠落されたピクチャを復号のための参照ピクチャとして使用するよう、ビデオデコーダ３０Ｂに命令する、符号化ビットストリーム中のシンタックス要素を受信し得る。この場合、ビデオデコーダ３０Ｂは、参照ピクチャとして使われるべきピクチャが欠落されたので、そのピクチャはビデオデコーダ３０ＢのＤＰＢ９２中に記憶されていないと決定し、ビデオデコーダ３０Ｂは、ビットストリーム中でピクチャが欠落されたと決定する。ピクチャが欠落されたとビデオデコーダ３０Ｂが決定する他の原因、およびピクチャが欠落されたとビデオデコーダ３０Ｂが決定する他のやり方があり得る。本開示に記載される技法は、ピクチャが欠落されたとビデオデコーダ３０Ｂが決定するどの特定のやり方にも限定されない。
[0112]以下の記述は、本開示に記載される技法を理解するという状況のために、ＲＰＳＩメッセージの機能性について説明する。ＳＰＬＩメッセージについては、さらに後で記載される。
[0113]ＲＰＳＩの場合、エラーが起きると、ビデオデコーダ３０Ｂは、１つの早期の正しく復号された参照ピクチャをＤＰＢ９２から選び、ビデオエンコーダ２０Ａが、次のピクチャ（すなわち、符号化中の現在のピクチャ）を符号化するとき、そのピクチャ、通常は長期参照ピクチャを、参照に使うことを要求する。この指定された参照ピクチャがビデオエンコーダ２０ＡのＤＰＢ６４中に依然として存在する場合、ビデオエンコーダ２０Ａは、さらなるエラー伝播を止めるために、この参照を用いて次のピクチャを符号化すればよい。
[0114]ＲＰＳＩにおいて、ビデオデコーダ３０Ｂは、符号化に使われる参照ピクチャを指定することができる。ただし、ビデオエンコーダ２０ＡのＤＰＢ９２中に記憶されている全てのピクチャを正確に示す情報が、ビデオデコーダ３０Ｂにとって利用可能であるわけではない場合がある。そうではなく、ビデオデコーダ３０Ｂが参照ピクチャを指定する情報を送信したときに、ビデオエンコーダ２０ＡのＤＰＢ６４に記憶されているピクチャを決定するために、ビデオデコーダ３０Ｂが使うことができる情報は、不正確であり古い可能性がある。
[0115]したがって、いくつかの例において、ビデオデコーダ３０Ｂは、結果として、ビデオエンコーダ２０ＡがＤＰＢ６４からすでに削除した、ビデオエンコーダ２０Ａがインター予測に使うべき、参照ピクチャを指定する場合がある。この場合、識別されたピクチャがＤＰＢ６４から削除されたので、ビデオエンコーダ２０Ａは、符号化用の参照ピクチャとしてビデオデコーダ３０Ｂが識別した、識別されたピクチャを使うことができない場合がある。いくつかの例において、識別されたピクチャがビデオエンコーダ２０ＡのＤＰＢ６４中にない場合、ビデオエンコーダ２０Ａは、エラーを止めるために、現在のピクチャをイントラランダムアクセスポイント（ＩＲＡＰ：Intra Random Access Point）として符号化する。ただし、現在のピクチャをＩＲＡＰとして符号化するのは、コーディング効率の点でコストがかかり得る。
[0116]ビデオデコーダ３０Ｂが、ビデオエンコーダ２０ＡのＤＰＢ６４中に記憶されていない、参照ピクチャとして使われるべきピクチャを識別するという問題を緩和するために、いくつかの例において、ビデオエンコーダ２０Ａおよびビデオデコーダ３０Ｂは、ビデオエンコーダ２０ＡのＤＰＢ６４とビデオデコーダ３０ＢのＤＰＢ９２の両方においてより長く保たれることになる長期参照（ＬＴＲ：long-term reference）ピクチャを使うために（たとえば、ビデオエンコーダ２０Ａとビデオデコーダ３０Ｂとの間の何らかのタイプの通信によって）交渉してよい。いくつかの例において、ＬＴＲピクチャの使用を交渉するのではなく、ビデオデコーダ３０Ｂは、ＬＴＲピクチャを、ビデオエンコーダ２０Ａが使うべき参照ピクチャとして識別するように事前構成され得る。いずれの例においても、ビデオデコーダ３０Ｂは、ビデオデコーダ３０ＢのＤＰＢ９２中に現時点で記憶されているＬＴＲピクチャを、ビデオエンコーダ２０Ａによって符号化されようとしている現在のピクチャを符号化するために使われるべきピクチャとして指定することができる。ただし、ＬＴＲピクチャは、他のピクチャ（たとえば、短期参照ピクチャ（short-term reference pictures））と比較して、符号化中の現在のピクチャへの時間的距離がより遠いせいで、時間的相関がより低い場合があるので、ＬＴＲピクチャに依拠することは、コーディング効率に悪影響を与える場合がある。言い換えると、場合によっては（必須ではないが）、長期参照ピクチャは、短期参照ピクチャと比較して、より長い時間量の間ＤＰＢ６４およびＤＰＢ９２中に記憶される傾向があり、したがって、短期参照ピクチャと比較して、現在のピクチャへの時間的距離がより遠くなり得る。
[0117]ＲＰＳＩの既存の技法に関する他の問題が存在し得る。たとえば、ビデオデコーダ３０ＢがＬＴＲピクチャを識別せず、ビデオエンコーダ２０ＡのＤＰＢ６４中にあるピクチャを識別する場合であっても、いくつかの他の技法では、ビデオエンコーダ２０Ａは、ビデオデコーダ３０Ｂによって識別されたピクチャを、現在のピクチャ（すなわち、符号化されようとしているピクチャ）をインター予測するために使うことを求められる。ビデオデコーダ３０ＢがＤＰＢ９２からピクチャを選択したので、識別されたピクチャはビデオデコーダ３０ＢのＤＰＢ９２中に存在することが保証されるので、ビデオエンコーダ２０Ａは、識別されたピクチャがビデオエンコーダ２０ＡのＤＰＢ６４中にあると仮定してその識別されたピクチャを使う。ただし、現在のピクチャをインター予測するためにより適している、ビデオデコーダ３０Ｂが識別したピクチャ以外のピクチャが存在し得る。さらに、双予測は２つのピクチャを使うので、ビデオデコーダ３０Ｂによって識別されたピクチャのみを使うことに制限されることにより、ビデオエンコーダ２０Ａは、単予測を単に使用する。これは、インター予測コーディング効率にさらに悪影響を与える。
[0118]本開示に記載される技法は、ＲＰＳＩに関する、上に記載した問題のうちの１つまたは複数に対処し得る。たとえば、本開示に記載される技法において、ビデオデコーダ３０Ｂは、ＤＰＢ９２中の、前に復号されたピクチャを識別する情報を出力し得るが、ビデオエンコーダ２０Ａは、現在のピクチャをインター予測するために、識別されたピクチャのみを使うことに制限されなくてよい。
[0119]そうではなく、ビデオエンコーダ２０Ａは、識別されたピクチャから、ビデオエンコーダ２０ＡのＤＰＢ６４とビデオデコーダ３０ＢのＤＰＢ９２の両方において利用可能な１つまたは複数のピクチャを決定することができる。ビデオエンコーダ２０Ａは、決定されたピクチャ、および潜在的には識別されたピクチャ、のうちの１つまたは複数も、現在のピクチャをインター予測するために選択してよい。このようにして、ビデオエンコーダ２０Ａは、ただ１つのピクチャ以外を、より大きいピクチャセットから選択し、どのピクチャがより良好なコーディング効率をもたらすか決定するとともに、それらのピクチャを、現在のピクチャをインター予測するために選択するように構成され得る。
[0120]さらに、ビデオエンコーダ２０Ａは、ビデオエンコーダ２０Ａとビデオデコーダ３０Ｂの両方のそれぞれのＤＰＢ（たとえば、ＤＰＢ６４およびＤＰＢ９２）中で利用可能なピクチャを、ビデオデコーダ３０Ｂからの最小シグナリングで決定するように構成され得る。たとえば、わずかなピクチャ（たとえば、１つまたは選ばれたいくつかのピクチャ）のみをシグナリングすることで、ビデオエンコーダ２０Ａは、ビデオエンコーダ２０ＡのＤＰＢ６４とビデオデコーダ３０ＢのＤＰＢ９２の両方において利用可能な、より多くのピクチャ（たとえば、複数のピクチャ）を決定するように構成され得る。説明のために、本開示は、ビデオデコーダ３０Ｂが１つのピクチャを識別することについて記載するが、本開示は、そのように限定的であると見なされるべきでない。
[0121]本開示に記載される技法において、ビデオエンコーダ２０Ａが、ビデオデコーダ３０ＢのＤＰＢ９２中の参照ピクチャを決定すると、ビデオエンコーダ２０Ａは、（たとえば、欠落されたピクチャがある例示的ケースの場合）エラー回復のためのより最適な決定を行うことができる。たとえば、ビデオデコーダ３０Ｂは、ビデオデコーダ３０ＢのＤＰＢ９２中の参照ピクチャすべてを、ビデオエンコーダ２０Ａに知らせるべきである。いくつかの例において、ビデオエンコーダ２０Ａは、ビデオデコーダ３０ＢのＤＰＢ９２中の正確な参照ピクチャを決定することができ、ビデオデコーダ３０ＢのＤＰＢ９２中の決定された参照ピクチャに基づいて、エラー回復モード（たとえば、現在のピクチャをインター予測するためにどのピクチャを使うか）を決定することができる。
[0122]ビデオエンコーダ２０Ａが、ビデオデコーダ３０ＢのＤＰＢ９２中の正確な参照ピクチャを決定するために、ビデオデコーダ３０Ｂは、ビデオデコーダ３０ＢのＤＰＢ９２中のすべての参照ピクチャをビデオエンコーダ２０Ａにシグナリングすればよい。ただし、そのようなシグナリングは帯域幅非効率である場合があり、本開示に記載される技法において、ビデオデコーダ３０Ｂは、現在のピクチャを符号化または復号するために利用可能な複数のピクチャをビデオエンコーダ２０Ａが１つのピクチャから決定し得るその１つのピクチャをシグナリングする場合がある。
[0123]ＤＰＢ６４中に記憶されたどのピクチャが、ビデオデコーダ３０ＢのＤＰＢ９２中にも記憶されているかをビデオエンコーダ２０Ａが決定し得る１つの例示的な方式は、ＨＥＶＣ規格において定義される参照ピクチャサブセットを使っている。ビデオデコーダ３０ＢのＤＰＢ９２中に記憶されているとも決定される、ビデオエンコーダ２０ＡのＤＰＢ６４中に記憶されたピクチャは、ビデオ符号化またはビデオ復号に利用可能なピクチャと呼ばれる。やはり、ビデオ符号化または復号に利用可能であると決定されたピクチャは、それぞれのＤＰＢ中のピクチャのすべて含む必要はないことが理解されるべきである。そうではなく、ビデオエンコーダ２０Ａは、どのピクチャがビデオエンコーダ２０Ａとビデオデコーダ３０Ｂの両方のＤＰＢ（たとえば、ＤＰＢ６４とＤＰＢ９２の両方）中に記憶されているか決定するためのいくつかの手順を実装することができる。
[0124]ＨＥＶＣ規格は、参照ピクチャセットを一緒に形成する５つの参照ピクチャサブセットを定義する。ＨＥＶＣ規格において、ビデオエンコーダ２０Ａおよびビデオデコーダ３０Ｂは各々、各ピクチャ用に参照ピクチャサブセットを構築し得る。たとえば、ピクチャを符号化または復号するために、ビデオエンコーダ２０Ａの予測処理ユニット４１およびビデオデコーダ３０Ｂの予測処理ユニット８１は、そのピクチャ用の構築された参照ピクチャサブセットに基づいて、参照ピクチャリスト（たとえば、ＲｅｆＰｉｃＬｉｓｔ０およびＲｅｆＰｉｃＬｉｓｔ１）を構築し、構築された参照ピクチャリストに基づいて、そのピクチャをインター予測符号化または復号することができる。
[0125]ＨＥＶＣ規格のための参照ピクチャサブセットおよびセットについては、２０１３年４月４日付の、本明細書では「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，Ｒｅｃ．ＩＴＵ−Ｔ Ｈ．２６５ ａｎｄ ＩＳＯ／ＩＥＣ ２３００８−２」と呼ばれるＳＥＲＩＥＳ Ｈ：ＡＵＤＩＯＶＩＳＵＡＬ ＡＮＤ ＭＵＬＴＩＭＥＤＩＡ ＳＹＳＴＥＭＳ，Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ−Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ，Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６５により詳しく記載されており、ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ−ＲＥＣ−Ｈ．２６５−２０１３０４−Ｉから見ることができる。
[0126]たとえば、特定のピクチャを符号化または復号するために、ビデオエンコーダ２０Ａおよびビデオデコーダ３０Ｂは、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅと、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒと、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌと、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒと、ＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌとを含む５つの参照ピクチャサブセットを構築することができる。ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒおよびＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒは、特定のピクチャを復号するために使われ得るピクチャをすべて含む。いくつかの例において、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅは、特定のピクチャの前に表示される短期参照ピクチャであると決定されたどの参照ピクチャも含むことができ、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒは、特定のピクチャの後に表示される短期参照ピクチャであると決定されたどの参照ピクチャも含むことができる。ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒは、どの長期参照ピクチャも含み得る。ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌおよびＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌは、特定のピクチャを符号化または復号するためには使われないが、特定のピクチャに復号順序で続くピクチャ用には使われ得る、どの参照ピクチャも含む。ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌは、短期参照ピクチャであると決定されたどの参照ピクチャも含むことができ、ＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌは、長期参照ピクチャであると決定されたどの参照ピクチャも含むことができる。いくつかの例において、セット中のピクチャは排他的であり得る（たとえば、セットのうちの１つの中のピクチャは、他のどのセットの中にもない場合がある）。
[0127]いくつかの例において、５つのセットの構築は明示的であり得る。たとえば、ＤＰＢ中でのピクチャの単なる存在が、これらの５つのセットのうちの１つに属す参照ピクチャと見なされるべきではない。そうではなく、これらのセットのうちの１つの中で識別されるピクチャは、特定のピクチャと特定のピクチャに復号順序で続くピクチャとを、または特定のピクチャに復号順序で続くピクチャのみを、符号化または復号するために使われ得るピクチャとして特に決定されたピクチャである。
[0128]いくつかの例において、ビデオエンコーダ２０Ａおよびビデオデコーダ３０Ｂは、参照ピクチャセットに基づいて参照ピクチャリストを構築することができる。参照ピクチャリスト中へのインデックスは、ビデオエンコーダ２０Ａおよびビデオデコーダ３０Ｂが参照ピクチャセットを構築した特定のピクチャをインター予測符号化またはインター予測復号するのに使われる参照ピクチャを識別することができる。したがって、５つの例示的サブセット中の参照ピクチャは、参照ピクチャリストが形成されるのはこれらのピクチャからであるので、これらのサブセットに属すピクチャであると特に決定される。
[0129]短期参照ピクチャまたは長期参照ピクチャであると決定されたピクチャは、そのようなピクチャが、例示的参照ピクチャサブセットのうちの１つに属すことを意味しない。やはり、参照ピクチャサブセットは、それらの参照ピクチャサブセットに属すと特に決定されたピクチャを含み、このことは、特定のピクチャおよび／または特定のピクチャに復号順序で続くピクチャをインター予測符号化または復号するためのそれらの有用性（usability）に関しての特性を指定する。
[0130]いくつかの例において、本開示に記載される技法は、ビデオエンコーダ２０ＡのＤＰＢ６４中に記憶されているもののどれが、ビデオデコーダ３０ＢのＤＰＢ９２中にも記憶されているか決定するために、参照ピクチャサブセットを使用する。上述したように、ＲＰＳＩメッセージ中で、ビデオデコーダ３０Ｂは、ピクチャを識別する情報を送信し、ビデオエンコーダ２０Ａが現在のピクチャをインター予測しているときに、識別されたピクチャがビデオエンコーダ２０ＡのＤＰＢ６４中に記憶されていると仮定すると、ビデオエンコーダ２０Ａは、識別されたピクチャを、現在のピクチャをインター予測するために使うよう求められる。混乱を避けるために、本開示は、ビデオエンコーダ２０Ａが本開示に記載される技法を使用していることを示すのに、参照ピクチャセット選択指示（ＲＰＳＳＩ）フィードバックメッセージという用語を使うが、これはＲＰＳＩとは別個である。ただし、「ＲＰＳＳＩ」という用語の使用は単に、混乱を避けるためである。「ＲＰＳＩ」という用語を、本開示に記載される技法を含むように定義し直すことも可能であり得る。
[0131]いくつかの例において、ビデオエンコーダ２０Ａは、ピクチャを識別する情報をビデオデコーダ３０Ｂから受信し得る。ビデオエンコーダ２０Ａは、識別されたピクチャの１つまたは複数の参照ピクチャサブセット中のどのピクチャが、ＤＰＢ６４中に依然として記憶されているか決定することができる。たとえば、ビデオエンコーダ２０Ａは、ビデオエンコーダ２０Ａが符号化する各ピクチャ用の、構築された参照ピクチャサブセットを示す情報を記憶することができる。ビデオエンコーダ２０Ａは、記憶された情報から、識別されたピクチャをインター予測するのに使われた可能性があるピクチャを示す情報を取り出し、識別されたピクチャをインター予測するのに使われた可能性があるどのピクチャが、ＤＰＢ６４中に依然として記憶されているか決定することができる。
[0132]概して、識別されたピクチャと、識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使われた可能性があるピクチャが、ビデオエンコーダ２０ＡのＤＰＢ６４中に依然として記憶されている場合、そのピクチャもビデオデコーダ３０ＢのＤＰＢ９２中に記憶される見込みが非常に高い（ほぼ保証される）。本開示において使われるように、識別されたピクチャと、識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使われた可能性があるピクチャは、識別されたピクチャ、および識別されたピクチャにコーディング順序で続くピクチャに対する参照ピクチャであった可能性があるピクチャを意味する。また、識別されたピクチャと、識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使われた可能性があるピクチャは、識別されたピクチャをインター予測するのに実際に使われたどのピクチャも含む。
[0133]いくつかの例において、ビデオエンコーダ２０ＡがＤＰＢ６４からピクチャを消去（clear）した後でのみ、ビデオデコーダ３０Ｂは、ＤＰＢ９２からそのピクチャを消去してよい。したがって、ビデオエンコーダ２０Ａが、識別されたピクチャ用の参照ピクチャだった（たとえば、識別されたピクチャをインター予測するのに使われた）可能性があるピクチャを消去しなかった場合、ビデオデコーダ３０Ｂが、そのピクチャをＤＰＢ９２から消去しなかった確率が非常に高い。
[0134]ビデオエンコーダ２０Ａおよびビデオデコーダ３０ＢのＤＰＢがまったく同じである（たとえば、ＤＰＢ６４およびＤＰＢ９２中に記憶されたピクチャは、まったく同じピクチャセットである必要がある）という保証はないことが理解されるべきである。ただし、識別されたピクチャをインター予測するのに使われた可能性があるピクチャが、ビデオエンコーダ２０ＡのＤＰＢ６４中に記憶されている場合、そのピクチャは、ビデオデコーダ３０ＢのＤＰＢ９２中にないピクチャがビデオエンコーダ２０ＡのＤＰＢ６４中にあるとしても、およびビデオエンコーダ２０ＡのＤＰＢ６４中にないピクチャが、ビデオデコーダ３０ＢのＤＰＢ９２中にあるとしても、ビデオデコーダ３０ＢのＤＰＢ９２中に存在する。
[0135]どのピクチャが、識別されたピクチャをインター予測するのに使われた可能性があるかをビデオエンコーダ２０Ａが決定する１つのやり方は、識別されたピクチャの参照ピクチャサブセットによるものである。たとえば、ビデオエンコーダ２０Ａは、識別されたピクチャのＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、ＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌ、およびＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌ参照ピクチャサブセット中のピクチャが、ビデオエンコーダ２０ＡのＤＰＢ６４中で依然として利用可能であるかどうかを（たとえば、ビデオエンコーダ２０Ａが、識別されたピクチャを符号化したときの間、識別されたピクチャの記憶された情報に基づいて）決定することができる。上述したように、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、およびＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒサブセットは、識別されたピクチャと、識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使われた可能性があるピクチャを含む。ＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌおよびＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌサブセットは、識別されたピクチャではなく、識別されたピクチャにコーディング順序で続くピクチャをインター予測するのに使われた可能性があるピクチャを含む。
[0136]ビデオエンコーダ２０ＡのＤＰＢ６４中に記憶されている、識別されたピクチャの参照ピクチャサブセットのうちの１つまたは複数の中のピクチャは、コーディングに利用可能なピクチャ（または候補参照ピクチャ）と呼ばれる。いくつかの例において、ビデオエンコーダ２０Ａは、識別されたピクチャの参照ピクチャサブセットのいずれかにあるピクチャを、現在のピクチャをインター予測するのに使われ得る（すなわち、現在のピクチャをインター予測するのに利用可能であるか、または現在のピクチャ用の参照ピクチャとして利用可能である）候補参照ピクチャとして決定することができる。いくつかの例において、ビデオエンコーダ２０Ａは、ビデオエンコーダ２０ＡのＤＰＢ６４中に記憶されている、識別されたピクチャの参照ピクチャサブセット中のピクチャの参照ピクチャサブセットのいずれかにあるピクチャをさらに決定することができる。
[0137]いくつかの例において、ビデオエンコーダ２０Ａは、識別されたピクチャのＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、およびＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒサブセットのうちの１つの中にだけあるピクチャを、現在のピクチャをインター予測するために利用可能である（すなわち、現在のピクチャ用の参照ピクチャとして利用可能である）候補参照ピクチャとして決定することができる。たとえば、いくつかの例において、ビデオデコーダ３０Ｂがビットストリームを受信するのに先立って起こり得るサブビットストリーム抽出により、ＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌおよびＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌサブセット中のピクチャ（すなわち、識別されたピクチャをインター予測するのに使われなかった可能性があるピクチャ、および識別されたピクチャに続くピクチャのみ）が、ビットストリームから削除され得る。
[0138]この特殊ケースにおいて、ビデオエンコーダ２０ＡのＤＰＢ６４は、ビデオデコーダ３０ＢのＤＰＢ９２中で利用可能でない、識別されたピクチャの参照ピクチャセットのピクチャを含み得る。ビデオエンコーダ２０Ａは、参照ピクチャが利用可能でないという問題を避けるために、サブビットストリーム抽出が有効にされているかどうか決定することができない場合があるので、ビデオエンコーダ２０Ａは、識別されたピクチャに続くピクチャだけではなく、識別されたピクチャをインター予測するのに使われ得るピクチャを、現在のピクチャをインター予測するのに使われ得る候補参照ピクチャとして決定すればよい。やはり、識別されたピクチャのＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、およびＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒサブセットは、識別されたピクチャをインター予測するのに使われた可能性があるピクチャを含み、したがって、ビデオエンコーダ２０Ａは、ビデオエンコーダ２０ＡのＤＰＢ６４中で依然として利用可能である、識別されたピクチャのＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、およびＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒサブセット中のピクチャのみから、現在のピクチャをインター予測するために利用可能なピクチャを決定することができる。
[0139]いくつかの例において、ビデオエンコーダ２０Ａは、識別されたピクチャをインター予測するのに使われた可能性がある短期参照ピクチャサブセット（すなわち、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅおよびＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ）中にあるピクチャを決定することができる。これは、長期参照ピクチャの時間的相関が比較的乏しく、処理時間を削減するために、ビデオエンコーダ２０Ａに、インター予測目的で長期参照ピクチャを評価させることに利益がほとんどまたはまったくない場合があるからであり得る。
[0140]処理時間をさらに削減するために、いくつかの例において、ビデオエンコーダ２０Ａは、識別されたピクチャよりも早く表示される、識別されたピクチャをインター予測するのに使われた可能性がある短期参照ピクチャであるピクチャ（すなわち、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅサブセット中のピクチャ）を、現在のピクチャをインター予測するのに使われ得る候補参照ピクチャとして決定することができる。別の例として、ビデオエンコーダ２０Ａは、識別されたピクチャの後に表示される、識別されたピクチャをインター予測するのに使われた可能性がある短期参照ピクチャであるピクチャ（すなわち、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＦｏｌｌサブセット中のピクチャ）を、現在のピクチャをインター予測するのに使われ得る候補参照ピクチャとして決定することができる。
[0141]ビデオエンコーダ２０Ａが、識別されたピクチャと、識別されたピクチャに続くピクチャとをインター予測するのに使われた可能性がある候補参照ピクチャに基づいて、現在のピクチャをインター予測するためにどのピクチャが利用可能であるか決定した後、ビデオエンコーダ２０Ａは、現在のピクチャをインター予測するために、決定されたピクチャのうちの１つまたは複数を選択すればよい。識別されたピクチャをインター予測するのに使われた可能性があるピクチャに加え、ビデオデコーダ３０Ｂによって識別されたピクチャも、現在のピクチャをインター予測するのに使われ得る候補参照ピクチャである。ビデオエンコーダ２０Ａは、現在のピクチャをインター予測するのに使われるピクチャを、現在のピクチャの参照ピクチャセット（ＲＰＳ）中に含め、選択されたピクチャを含む参照ピクチャリストを構築し、構築された参照ピクチャリストに基づいて、現在のピクチャをインター予測符号化することができる。
[0142]選択されたピクチャは、現在のピクチャのＲＰＳ中にあるので、ビデオデコーダ３０Ｂは、ビデオエンコーダ２０Ａによって構築されたものと同一である参照ピクチャリストを同様に構築し、したがって、選択されたピクチャを参照ピクチャリスト中に含めることができる。ビデオデコーダ３０Ｂは次いで、参照ピクチャリストに基づいて、現在のピクチャをインター予測復号すればよい。
[0143]いくつかの例において、ビデオデコーダ３０Ｂは、ビデオエンコーダ２０ＡのＤＰＢ６４中に記憶されていないピクチャを識別することができる。たとえば、ビデオエンコーダ２０Ａは、ビデオデコーダ３０Ｂが識別されたピクチャをフラッシュする前に、識別されたピクチャをすでにフラッシュしている場合がある。ビデオエンコーダ２０ＡのＤＰＢ６４が、識別されたピクチャを記憶していない例において、ビデオエンコーダ２０Ａは、現在のピクチャを（イントラリフレッシュ・ランダムアクセスポイントピクチャ（intra-refresh random access point picture））ＩＲＡＰとしてイントラ予測すればよい。
[0144]いくつかの例において、ビデオデコーダ３０Ｂが識別したピクチャがビデオエンコーダ２０ＡのＤＰＢ６４中で利用可能である場合であっても、ビデオエンコーダ２０Ａは、依然として現在のピクチャをイントラ予測することができる。たとえば、現在のピクチャをインター予測するのに候補参照ピクチャのうちの１つまたは複数を使ってのコーディング効率が、現在のピクチャをイントラ予測するのよりも乏しい（または同程度である）場合、ビデオエンコーダ２０Ａは、現在のピクチャを、場合によってはＩＲＡＰとしてイントラ予測することができる。
[0145]したがって、本開示に記載される技法において、ビデオデコーダ３０Ｂは、ビデオエンコーダ２０Ａとビデオデコーダ３０Ｂの両方における利用可能参照ピクチャを決定する（たとえば、ＤＰＢ６４およびＤＰＢ９２中に記憶された利用可能参照ピクチャを決定する）ためにビデオエンコーダ２０Ａによって使われ得る、ビデオデコーダ３０ＢのＤＰＢ９２中の利用可能参照ピクチャの好ましいセットを記述するために、ピクチャに対する一意の識別子により、ビデオエンコーダ２０Ａに知らせればよい。一意の識別子（たとえば、ピクチャを識別する情報）は、ピクチャのピクチャオーダーカウント（ＰＯＣ：a picture order count）値を備え得る。たとえば、各ピクチャは、ピクチャが表示または出力される順序を識別する一意のＰＯＣ値に関連付けられ得る。より小さいＰＯＣ値を有するピクチャは、より大きいＰＯＣ値を有するピクチャよりも早く表示または出力される。ＰＯＣ値は、ビデオデコーダ３０Ｂによって、ピクチャを識別するのに使われる一意の識別子の単なる一例であり、ピクチャを識別するための他のやり方も可能であり得る。
[0146]このようにして、ビデオエンコーダ２０Ａとビデオデコーダ３０Ｂの両方において利用可能な共通参照ピクチャは、ビデオエンコーダ２０Ａとビデオデコーダ３０Ｂとの間の共通参照を確立するために使われ得る（すなわち、ビデオエンコーダ２０Ａが、ビデオエンコーダ２０ＡのＤＰＢ６４中およびビデオデコーダ３０ＢのＤＰＢ９２中で利用可能なピクチャを決定すると、ビデオエンコーダ２０Ａは、現在のピクチャをインター予測するためにどのピクチャを使うか決定することができる）。いくつかの例において、ピクチャ識別子に関連付けられた参照ピクチャ（すなわち、識別されたピクチャ）は、識別子が送られるピクチャを復号した後、利用可能参照ピクチャすべて（すなわち、識別されたピクチャと、識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使われた可能性があるすべてのピクチャ）として記述される。
[0147]いくつかの例において、インジケータは、指示されたピクチャを復号する前の利用可能な参照ピクチャ（すなわち、識別されたピクチャのＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅサブセット中のピクチャ）、または指示されたピクチャを復号した後のピクチャ（すなわち、識別されたピクチャのＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒサブセット中のピクチャ）をすべて示し得る。ビデオエンコーダ２０Ａが、ビデオデコーダ３０Ｂ（受信機）側における関連付けられた参照ピクチャでビデオデコーダ３０ＢのＤＰＢ９２のＤＰＢ状態を確立すると、ビデオエンコーダ２０Ａは、共通参照セットの確立のために参照の選択を行ってよい。代替として、ビデオエンコーダ２０Ａは、ＩＲＡＰピクチャ（たとえば、イントラリフレッシュ・ランダムアクセスポイントピクチャなどのイントラ予測されたピクチャ（an intra-predicted picture））を送ることができる。
[0148]上述したように、ビデオエンコーダ２０Ａは、シグナリングされた参照ピクチャ中のＲｅｆＰｉｃＳｅｔＳｔＦｏｌｌおよびＲｅｆＰｉｃＳｅｔＬｔＦｏｌｌピクチャを参照するのを避けてもよく、というのは、これらのピクチャは、元のビットストリームに対して実施される起こり得るサブビットストリーム抽出のせいで、受信機側（たとえば、ビデオデコーダ３０Ｂ）において利用可能でない場合があるからである。いくつかの例では、メディアアクセスネットワーク要素（ＭＡＮＥ）デバイスなどの中間デバイスが、現在のピクチャに復号順序で続くピクチャをインター予測するのに使われるだけであり得るピクチャが抽出されるサブビットストリーム抽出を実施することができる。
[0149]やはり上述したように、インジケータ（すなわち、ピクチャを識別する情報）は、ＨＥＶＣ仕様（「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，Ｒｅｃ．ＩＴＵ−Ｔ Ｈ．２６５ ａｎｄ ＩＳＯ／ＩＥＣ ２３００８−２」）において指定されるＰｉｃＯｒｄｅｒＣｎｔＶａｌ（ＰＯＣ値）（３２ビット符号付き値）か、またはピクチャのＰＯＣ値を一意に識別するのに等価なものであり得る。ＰｉｃＯｒｄｅｒＣｎｔＶａｌに加え、ＨＥＶＣ仕様において指定されるｎｕｈ＿ｌａｙｅｒ＿ｉｄは、ドラフトＨＥＶＣ ＲＴＰペイロード仕様（すなわち、「ＲＴＰ Ｐａｙｌｏａｄ Ｆｏｒｍａｔ ｆｏｒ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」）における現在のＲＰＳＩ、ＳＰＬＩシンタックスにおけるものと同様のマルチレイヤビットストリームについてシグナリングされ得る。
[0150]したがって、１つまたは複数の例において、ビデオエンコーダ２０Ａは、ビデオデコーダ３０Ｂを含むデバイス１４から、ビデオデコーダ３０Ｂが情報を送信したときにビデオデコーダ３０ＢのＤＰＢ６４中に記憶されている、前に復号されたピクチャを識別する情報を受信し得る。ビデオエンコーダ２０Ａは、識別されたピクチャに基づいて、現在のピクチャを符号化するために利用可能である１つまたは複数の候補参照ピクチャを決定することができる。１つまたは複数の候補参照ピクチャは、識別されたピクチャまたは識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャであって、現在のピクチャを符号化するときにビデオエンコーダ２０ＡのＤＰＢ６４中に依然として記憶されている１つまたは複数のピクチャを含む。ビデオエンコーダ２０Ａは、決定された１つまたは複数の候補参照ピクチャおよび識別されたピクチャから、現在のピクチャ用の１つまたは複数の参照ピクチャを選択してよい。ビデオエンコーダ２０Ａは、選択された１つまたは複数の参照ピクチャに基づいて、現在のピクチャをインター予測符号化すればよい。
[0151]識別されたピクチャまたは識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャは、ビデオエンコーダ２０Ａが、識別されたピクチャの符号化中に構築した１つまたは複数の参照ピクチャサブセットからのピクチャを含む。やはり、識別されたピクチャは、ビデオデコーダ３０Ｂによる、前に復号されたピクチャであり、このことは、ビデオエンコーダ２０Ａが、現在のピクチャを符号化する前に、識別されたピクチャを符号化したことを意味する。
[0152]本開示に記載される技法により、ビデオエンコーダ２０Ａは複数の候補参照ピクチャを決定することが可能になるので、ビデオエンコーダ２０Ａは、選択された参照ピクチャからの２つのピクチャに基づいて、現在のピクチャを双予測符号化することができる。そのような双予測符号化は、ビデオエンコーダ２０Ａが、識別されたピクチャをインター予測のために使うことにのみ制限された場合、そうしないと利用不可能である追加のインター予測オプションを認める。
[0153]復号のために、ビデオデコーダ３０Ｂは、ビデオエンコーダ２０Ａを含むデバイス１２に、情報を出力するときにビデオデコーダ３０ＢのＤＰＢ９２中に記憶されている、前に復号されたピクチャを識別する情報を出力してよい。ビデオデコーダ３０Ｂは、１つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号することができる。１つまたは複数の候補参照ピクチャは、ビデオエンコーダ２０Ａによって、識別されたピクチャをインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャを含む。いくつかの例において、ビデオデコーダ３０Ｂは、ピクチャが欠落された（たとえば、ビデオデコーダ３０Ｂが、欠落されたピクチャを適正または十分に再構築するための情報を受信しなかった）と決定してよい。ビデオデコーダ３０Ｂは、ピクチャが欠落されたという決定に基づいて情報を出力するように構成され得る。また、ビデオエンコーダ２０Ａは、２つのピクチャから現在のピクチャを双予測符号化することが可能であり得るので、ビデオデコーダ３０Ｂは、候補参照ピクチャからの２つのピクチャに基づいて、現在のピクチャを双予測復号する（bi-prediction decode）ように構成されてよい。
[0154]ビデオデコーダ３０Ｂは、情報を出力するときにビデオデコーダ３０ＢのＤＰＢ９２中に記憶されている、前に復号されたピクチャを識別する情報を、リンク１６を介して通信することができる。いくつかの例において、ビデオデコーダ３０Ｂは、通信リンクまたはビデオビットストリームをビデオエンコーダ２０Ａからビデオデコーダ３０Ｂに通信するのに使われるプロトコル（たとえば、ＲＴＰを含む二方向シグナリングプロトコル）により、情報を通信することができる。たとえば、情報は、新規または既存のシグナリング機構またはメッセージにより、ビデオデコーダ３０Ｂからビデオエンコーダ２０Ａに伝達され得る。
[0155]いくつかの例において、これらの技法は、参照ピクチャセット選択指示（ＲＰＳＳＩ）フィードバックメッセージを採り入れ、このメッセージは、いくつかの例では、ビデオデコーダ３０ＢのＤＰＢ９２中に記憶された、前に復号されたピクチャを識別する情報をビデオエンコーダ２０Ａに通信する。下記でより詳しく説明する一例では、ＲＰＳＳＩメッセージは、符号化ビデオビットストリームを通信するＲＴＰプロトコルセッションの一部としてシグナリングされる。たとえば、ＲＰＳＳＩフィードバックメッセージが、ＲＰＳＩメッセージと置き換わってよく、既存の技法と、本開示に記載される技法とをいつ使うかを区別するために、ＲＰＳＩメッセージに加えて使われてよく、またはＲＰＳＩメッセージが、本開示に記載される技法が実装されるべきであることを示すように修正されてよい。説明しやすいように、以下では、メッセージをＲＰＳＳＩフィードバックメッセージとして記載するが、それは、理解するのを容易にするためにすぎず、限定的と見なされるべきでも、以下で説明する具体例に限定されるべきでもない。
[0156]ＲＰＳＳＩフィードバックメッセージは、ＰＴ＝ＰＳＦＢおよびＦＭＴ＝９によって識別され得る。ＦＣＩフィールド中に含まれる１つのＲＰＳＳＩが存在してよい（および、いくつかの例では、ＦＣＩフィールド中に含まれる正確に１つのＲＰＳＳＩでなければならない）。以下のテーブル１は、ＲＰＳＳＩのフォーマットの例を示す。
Figure 2020043576
[0157]テーブル１の例において、ＰＢは８ビットである。ＰＢは、ＲＰＳＳＩメッセージの長さを、３２ビットの倍数までパディングする（pad）のに求められる未使用ビットの数を定義し得る。テーブル１において、０は１ビットである。このビットは、送信されると、ゼロにセットされてよく（たとえば、ゼロにセットされなければならない）、受信されると無視されてよい。テーブル１において、ペイロードタイプは７ビットである。ペイロードタイプは、ネイティブＲＰＳＳＩビットストリングが解釈され得る（たとえば、解釈されなければならない）コンテキストにおけるＲＴＰペイロードタイプを示し得る。テーブル１において、ネイティブＲＰＳＳＩビットストリングは可変長である。ネイティブＲＰＳＳＩは、ビデオコーデックによってネイティブに定義されたＳＰＬＩ情報を示し得る。テーブル１において、パディングは、＃ＰＢビット（#PB bits）であり得る。ＲＰＳＳＩメッセージの内容を、次の３２ビット境界まで満たすために、いくつかのビットがゼロにセットされる。パディングビットの数は、ＰＢフィールドによって示され得る（たとえば、示されなければならない）。
[0158]いくつかの例では、［ＲＦＣ４５８５］において定義される、ＲＰＳＩメッセージ用と同じタイミング規則が、ＲＰＳＳＩメッセージに当てはまる。「コーデックごとに定義されるネイティブＲＰＳＳＩビットストリング」というフィールドは、受信機側における利用可能な参照ピクチャの存在をシグナリングするために示される、ピクチャについての、ＨＥＶＣにおいて定義される、０に等しい２つの最上位ビットおよび６ビットのｎｕｈ＿ｌａｙｅｒ＿ｉｄからなる８ビット、その後に続く、ＨＥＶＣにおいて定義される、ＰｉｃＯｒｄｅｒＣｎｔＶａｌの値を表す３２ビットのベース１６［ＲＦＣ４６４８］表現であり得る。
[0159]上記の例示的な技法は、ＨＥＶＣ規格に関して説明されているが、本開示で説明される技法は、必ずしもそのように限定されない。たとえば、これらの技法は、Ｈ．２６４／ＡＶＣ、および他のビデオ圧縮規格またはさらには独自のビデオ圧縮技法に準拠するコーデックなど、他のコーデックとともに使われ得る。以下は、本技法がＨ．２６４／ＡＶＣコーデックとともに使われ得る１つの例示的なやり方について記載する。
[0160]例示的技法のいずれにおいても、１つの利点は、単一のピクチャ識別子をシグナリングすることによって、複数のフレーム／ピクチャからなる完全な参照ピクチャセットがシグナリングされ得ることであり得る。言い換えると、ビデオデコーダ３０Ｂは、わずかなピクチャ（たとえば、１つのピクチャ）を識別する情報をシグナリングし、その情報から、ビデオエンコーダ２０Ａは、現在のピクチャをインター予測するのに使われ得るより多くのピクチャ（たとえば、複数のピクチャ）を決定することができる。これにより、ビデオデコーダ３０Ｂによる効率的な帯域幅使用が可能になり、ビデオエンコーダ２０Ａによるビデオコーディング効率が上昇する。
[0161]ＨＥＶＣによるビデオ技法以外のいくつかのビデオ技法では、ビデオエンコーダ２０Ａは、あるピクチャと、このピクチャにコーディング順序で続くピクチャとをインター予測するのに使われる可能性があるピクチャのリストを決定し、維持するように事前構成されなくてよい。たとえば、ビデオエンコーダ２０Ａが、Ｈ．２６４／ＡＶＣ規格に基づいて構成された場合、ビデオエンコーダ２０Ａは、（たとえば、識別されたピクチャを前に符号化するときにビデオエンコーダ２０Ａが実装したプロセスの一部として）識別されたピクチャをインター予測するのに使われた可能性があるピクチャを決定するように構成されてよいが、ビデオデコーダ３０Ｂによって識別されたピクチャをインター予測するのに使われた可能性があるピクチャのリストを維持するように構成されなくてよい。たとえば、識別されたピクチャを符号化した後、ビデオエンコーダ２０Ａは、どのピクチャが、識別されたピクチャをインター予測するのに使われた可能性があるかを示す情報を破棄してよい。言い換えると、Ｈ．２６４／ＡＶＣに従って構成されたビデオエンコーダ２０Ａは、ＨＥＶＣに従って構成された場合にビデオエンコーダ２０Ａが構築する方法で参照ピクチャサブセットを構築しなくてよい。
[0162]ビデオエンコーダ２０ＡがＨＥＶＣに従って構成されない例の場合、ビデオエンコーダ２０Ａは、ピクチャをインター予測するのに使った可能性がある各ピクチャ用に、ピクチャのリストを、識別されたピクチャ用に情報が利用可能であるように、ビデオエンコーダ２０Ａのメモリ中などに維持するように構成（たとえば、この場合、設計）されてよい。このようにして、Ｈ．２６４／ＡＶＣに従って構成されたビデオエンコーダ２０Ａの場合でも、ビデオエンコーダ２０Ａが、本開示に記載される例示的技法を実装することが可能であり得る。
[0163]同様に、Ｈ．２６４／ＡＶＣに従って構成されているビデオデコーダのいくつかの例は、前に復号されたピクチャを識別する情報の出力をサポートしない場合がある。そのような例の場合、ビデオデコーダ３０Ｂは、本開示に記載される例示的技法を実装するために、前に復号されたピクチャを識別する情報を出力することをサポートするように特に構成されてよい。
[0164]上記説明は、ビデオデコーダ３０Ｂによって出力される情報に基づいて現在のピクチャをインター予測符号化するために、ビデオデコーダ３０Ｂによる復号に利用可能になる複数の候補参照ピクチャをビデオエンコーダ２０Ａが決定することができる例示的技法について記載した。ただし、本開示は上記の例示的技法に限定されない。以下は、上記の例示的技法とともに使われ得るか、または上記の例示的技法とは別個である、いくつかの追加の例示的技法について記載する。
[0165]いくつかの例において、デコーダ側における各欠落された参照ピクチャについて（たとえば、ビデオデコーダ３０Ｂが欠落させる各ピクチャについて）、ビデオデコーダ３０Ｂは、このピクチャ（たとえば、欠落されたピクチャ）の一意の識別子、たとえばそれのＰＯＣ値を、ＳＰＬＩメッセージのようにビデオエンコーダ２０Ａに送る（ＳＰＬＩメッセージについては、下記でより詳しく説明する）。その上（たとえば、追加として）、ビデオデコーダ３０Ｂは、ビデオデコーダ３０Ｂが現在復号しているピクチャの一意の識別子をビデオエンコーダ２０Ａに送ることができる。ビデオデコーダ３０Ｂが現在復号しているピクチャは、ビデオエンコーダ２０Ａが前に符号化したピクチャである。ピクチャを識別する情報をビデオデコーダ３０Ｂが出力したときにビデオデコーダ３０Ｂが復号していたピクチャの識別子を用いて、ビデオエンコーダ２０Ａは、どの参照ピクチャがビデオデコーダ３０ＢのＤＰＢ９２中に記憶されると想定されるか決定すればよい。
[0166]たとえば、上述したように、ピクチャを復号することの一部として、ビデオデコーダ３０Ｂは、そのピクチャ用の参照ピクチャサブセットを構築し、参照ピクチャサブセットから、そのピクチャ用の参照ピクチャリストを構築する。この例では、ビデオエンコーダ２０Ａは、ビデオデコーダ３０Ｂが情報を送信したときにビデオデコーダ３０Ｂが復号していたピクチャの情報を受信し、どのピクチャがビデオデコーダ３０ＢのＤＰＢ９２中で利用可能であるか決定するために、参照ピクチャサブセット（または、より全般的には、Ｈ．２６４／ＡＶＣをカバーするためのパラメータセット）を決定する。また、ビデオエンコーダ２０Ａは、欠落されていることをビデオデコーダ３０Ｂが示したピクチャがビデオデコーダ３０ＢのＤＰＢ９２中にないと決定してよい。したがって、ビデオデコーダ３０Ｂから報告された欠落された参照ピクチャを除き、残りの参照ピクチャは、ビデオデコーダ３０ＢのＤＰＢ９２中にすべて存在するはずである。概して、わずかな参照ピクチャのみが失われるので、ビデオデコーダ３０Ｂは、欠落されたピクチャを識別する情報を数回だけ出力することができる（たとえば、わずかな参照ピクチャが失われ、わずかなメッセージのみが送られるよう求められる）。したがって、この例示的技法は、比較的に帯域幅効率的であり得る。
[0167]上記例と同様の別の例として、ビデオデコーダ３０Ｂは、欠落されたピクチャを識別する情報を出力することができ、ビデオエンコーダ２０Ａは、欠落されたピクチャを識別するそのような情報を受信することができる。ビデオエンコーダ２０Ａは、欠落されたピクチャを、決定された１つまたは複数の候補参照ピクチャから除外してよい。このようにして、ビデオデコーダ３０Ｂは、欠落されたピクチャを除く１つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号することができる。
[0168]上記技法とともに、または上記技法とは別々に使われ得るさらに別の例示的技法として、ビデオデコーダ３０ＢのＤＰＢ９２中の各正しく復号された参照ピクチャについて、ビデオデコーダ３０Ｂは、このピクチャの一意の識別子、たとえばそれのＰＯＣ値を、１つのフィードバックメッセージによってビデオエンコーダ２０Ａに出力する。この例示的技法は、いくつかのＲＰＳＩメッセージを一緒に送るのと同様であり得る。ただし、違いは、ビデオデコーダ３０Ｂが、現在のピクチャをインター予測符号化するために使われるべき、ピクチャ用の１つの参照ピクチャを指定するのではなく、ビデオエンコーダ２０Ａが、どの参照ピクチャを使うか決定してよいことである。
[0169]この例では、ビデオデコーダ３０Ｂは、ビデオデコーダ３０ＢのＤＰＢ９２中に記憶されている、ビデオデコーダ３０Ｂが正しく再構築することができた各ピクチャを識別する情報を出力することができる。ビデオエンコーダ２０Ａは、ビデオエンコーダ２０Ａがそのような情報を複数のピクチャについて受信したその複数のピクチャのうちのどれが、ビデオエンコーダ２０ＡのＤＰＢ６４中で依然として利用可能であるか決定することができる。ビデオエンコーダ２０Ａは次いで、これらのピクチャのうちの１つまたは複数を、現在のピクチャをインター予測符号化するために使うことができる。ビデオデコーダ３０ＢのＤＰＢ９２中にたくさんの参照ピクチャがあるとき、ビデオデコーダ３０Ｂは、多くのフィードバックメッセージを一緒にビデオエンコーダ２０Ａに出力してよい。したがって、この例示的技法は、比較的に帯域幅非効率であり得るが、ビデオエンコーダ２０Ａが、ビデオデコーダ３０ＢのＤＰＢ９２中で利用可能な参照ピクチャを用いて現在のピクチャをインター予測符号化したという、より良好な保証を伴い得る。
[0170]本開示の１つまたは複数の技法によると、ビデオデコーダ３０Ｂは、ビデオエンコーダ２０Ａに、復号に利用可能な参照ピクチャを示す情報を送信することができる。ビデオデコーダ３０Ｂは次いで、参照ピクチャのうちの１つまたは複数を用いてインター予測符号化されるピクチャについてのビデオデータを受信し得る。ビデオデコーダ３０Ｂは、ビデオデータに基づいてピクチャをインター予測復号すればよい。
[0171]いくつかの例において、復号中に参照ピクチャの再構築においてエラーが起きた場合、ビデオデコーダ３０Ｂは、復号に利用可能な参照ピクチャを示す情報を、ビデオエンコーダ２０Ａに送信すればよい。いくつかの例では、復号に利用可能な参照ピクチャを示す情報をビデオエンコーダ２０Ａに送信するために、ビデオデコーダ３０Ｂは、参照セット中に含まれる参照ピクチャが、ビデオデコーダ３０Ｂにおける復号に利用可能な参照ピクチャとしてそこから決定され得る参照ピクチャセット中で識別されたピクチャを識別する情報を送信すればよい。
[0172]１つまたは複数の例によると、ビデオデコーダ３０Ｂは、ビデオエンコーダ２０Ａを含むデバイス１２に、情報を出力するときにビデオデコーダ３０ＢのＤＰＢ９２中に記憶されている、前に復号されたピクチャを識別する情報を出力してよい。ビデオデコーダ３０Ｂは、１つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号することができる。１つまたは複数の候補参照ピクチャは、ビデオエンコーダ２０Ａによって、識別されたピクチャをインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャを含む。いくつかの例において、ビデオデコーダ３０Ｂは、ピクチャが欠落されたと決定し得る。ビデオデコーダ３０Ｂは、ピクチャが欠落されたという決定に基づいて、前に復号されたピクチャを識別する情報を出力することができる。
[0173]ビデオエンコーダ２０Ａは、現在のピクチャを双予測符号化するために、選択された候補参照ピクチャから２つのピクチャを選択してよい。したがって、ビデオデコーダ３０Ｂは、候補参照ピクチャからの２つのピクチャに基づいて、現在のピクチャを双予測復号することができる。
[0174]さらに、前に復号されたピクチャを識別する情報を出力するのに加え、ビデオデコーダ３０Ｂは、欠落されたピクチャを識別する情報を出力することができる。そのような例において、ビデオデコーダ３０Ｂは、欠落されたピクチャを除く１つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号することができる。
[0175]図４は、ビデオデータを符号化する例示的な方法を示すフローチャートである。例示のために、本例は、ビデオエンコーダ２０Ａに関して説明される。ビデオエンコーダ２０Ａは、各ピクチャと、コーディング順序で次に続くピクチャとをインター予測符号化するために使われ得るピクチャを決定することができる（１００）。たとえば、各ピクチャを符号化することの一部として、ビデオエンコーダ２０Ａは、ピクチャ用のパラメータセット（たとえば、ＨＥＶＣにおいて定義され、または必ずしもＨＥＶＣによらないビデオコーディング技法におけるパラメータセットを維持する１つまたは複数の参照ピクチャサブセット）を決定するように構成されてよい。ビデオエンコーダ２０Ａは、各ピクチャについての、決定されたピクチャ（たとえば、パラメータセットのピクチャ）を示す情報を記憶すればよい（１０２）。
[0176]ビデオエンコーダ２０Ａは、特定のピクチャを（たとえば、そのＰＯＣ値によって）識別する情報を受信し得る（１０４）。ビデオエンコーダ２０Ａは、記憶された情報から、識別されたピクチャをインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャを決定することができる（１０６）。いくつかの例において、ビデオエンコーダ２０Ａは、識別されたピクチャをインター予測符号化するために使用可能であると前に決定されたピクチャをインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャも決定することができる。
[0177]ビデオエンコーダ２０Ａが、識別されたピクチャをインター予測符号化するために使用可能であると決定した（および場合によっては、識別されたピクチャをインター予測符号化するために使用可能であると決定されたピクチャをインター予測符号化するために使用可能であると決定された）ピクチャから、ビデオエンコーダ２０Ａは、これらのピクチャのうちのどれが、ビデオエンコーダ２０ＡのＤＰＢ６４中に依然として記憶されているか決定することができる（１０８）。ビデオエンコーダ２０Ａは、決定された候補参照ピクチャから、１つまたは複数の参照ピクチャ（たとえば、１つの参照ピクチャリストから、単方向予測用の１つの参照ピクチャ、または２つの参照ピクチャリストの各々内の複数の参照ピクチャから、双方向予測用の２つの参照ピクチャ）を選択してよい（１１０）。ビデオエンコーダ２０Ａは、選択された参照ピクチャに基づいて現在のピクチャをインター予測符号化することができる（１１２）。
[0178]図５は、ビデオデータを復号する例示的な方法を示すフローチャートである。説明しやすいように、本例は、ビデオデコーダ３０Ｂに関して説明される。ビデオデコーダ３０Ｂは、ビデオエンコーダ２０Ａを含むデバイス１２に、情報を出力するときにビデオデコーダ３０ＢのＤＰＢ９２中に記憶されている、前に復号されたピクチャを識別する情報を出力してよい（２００）。いくつかの例において、ビデオデコーダ３０Ｂは、ピクチャが欠落されたと決定し得る。ビデオデコーダ３０Ｂは、ピクチャが欠落されたという決定に基づいて、前に復号されたピクチャを識別する情報を出力するように構成され得る。
[0179]ビデオデコーダ３０Ｂは、１つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号することができる（２０２）。１つまたは複数の候補参照ピクチャは、ビデオエンコーダ２０Ａによって、識別されたピクチャをインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャ、および／または識別されたピクチャをインター予測符号化するために使用可能であると識別されたピクチャをインター予測符号化するために使用可能であると識別されたピクチャを含む。識別されたピクチャは、１つまたは複数の候補参照ピクチャの一部であってもよい。
[0180]たとえば、ビデオエンコーダ２０Ａが現在のピクチャを双予測符号化した場合、ビデオデコーダ３０Ｂは、実質的に同様のやり方で、現在のピクチャを双予測復号することができる。また、いくつかの例において、ビデオデコーダ３０Ｂは、欠落されたピクチャを識別する情報をさらに出力することができる。そのような例において、ビデオデコーダ３０Ｂは、欠落されたピクチャを除く１つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号することができる。
[0181]上述した技法は、ＲＰＳＩおよびＲＰＳＳＩに関連した（繰返しになるが、ＲＰＳＩの定義は、ＲＰＳＳＩの定義を含むように変更されてよい）。いくつかの例において、ビデオエンコーダ２０Ａおよびビデオデコーダ３０Ｂは、特定ピクチャ損失指示（ＳＰＬＩ：specific picture loss indication）メッセージを使用してよい。ＳＰＬＩの場合、エラーが起きると、ビデオデコーダ３０Ｂは、失われた、または部分的に失われた参照ピクチャを報告するだけである。ビデオエンコーダ２０Ａは、ＳＰＬＩメッセージに従ってエラーを追跡し、ビデオエンコーダ２０Ａが、正しく復号されるとともにビデオデコーダ３０ＢのＤＰＢ９２中に依然として存在する参照ピクチャを推論することができると、ビデオエンコーダ２０Ａは、この参照ピクチャを、エラー伝播を止めるために現在のピクチャを符号化するのに使うことができる。
[0182]ＳＰＬＩメッセージの場合、ビデオデコーダ３０Ｂはどのピクチャが失われるかを報告するだけでよいので、ビデオエンコーダ２０Ａは、受信されたメッセージに基づいて、どの参照ピクチャがビデオデコーダ３０ＢのＤＰＢ９２中で利用可能であるか推論するだけでよい。ただし、ビデオエンコーダ２０Ａは、ビデオデコーダ３０Ｂ側において、いつエラーが起きたか決定することができない場合がある（すなわち、ビデオエンコーダ２０Ａは、エラーが報告されたときにビデオデコーダ３０ＢのＤＰＢ９２の正確な状態を決定し得ない）。場合によっては、テーブル２の例に示されるように、ビデオエンコーダ２０Ａが、ビデオデコーダ３０ＢのＤＰＢ９２中に記憶されたピクチャを正確に推論するのは面倒な場合がある。
Figure 2020043576
[0183]テーブル２は、参照構造を示す。テーブル２において、＊は、このピクチャがＤＰＢ中で保たれるが、現在のピクチャ復号には使われないことを意味し、ＰＯＣは、ピクチャがいつ表示されるべきかを示すピクチャオーダーカウントを表す。たとえば、より小さいＰＯＣ値を有するピクチャは、より大きいＰＯＣ値を有するピクチャよりも早く表示される。ピクチャの表示順序は、ピクチャの符号化または復号順序とは異なり得る。
[0184]テーブル２において、ビデオエンコーダ２０Ａは、示される参照構造を使う。２つのケースがあり、ケース１では、ピクチャｔ＋１のみが失われ、デコーダは、ピクチャｔ＋２を復号するときにこの損失に気付き、次いで、ピクチャｔ＋１が失われていることをエンコーダに知らせるためのＳＰＬＩメッセージを送り、ケース２では、ピクチャｔ＋１とピクチャｔ＋２の両方が失われ、デコーダは、ピクチャｔ＋４を復号するときにこの意図されない損失に気付き、次いで、デコーダは、ピクチャｔ＋１が失われていることをエンコーダに知らせるためのＳＰＬＩメッセージを送る。
[0185]いくつかの例において、欠落された参照ピクチャが現在のピクチャ復号に使われないとき、ビデオデコーダ３０Ｂは、参照ピクチャ損失を報告しなくてよく、というのは、この参照ピクチャは、意図的に破棄され得るからである。これらの２つのケースを比較しても、ビデオエンコーダ２０Ａは、受信されたＳＰＬＩメッセージによってだけでは、これらを見分けることができない場合がある。つまり、ビデオエンコーダ２０Ａは、ピクチャｔ＋３がビデオデコーダ３０ＢのＤＰＢ中で利用可能であるかどうか推論することができない。
[0186]上記の例示的技法において、ビデオデコーダ３０Ｂは、現在のピクチャをインター予測符号化するのに使われ得るより多くのピクチャ（たとえば、複数のピクチャ）をビデオエンコーダ２０Ａがわずかなピクチャから決定するそのわずかなピクチャ（たとえば、１つのピクチャ、または選ばれたわずかなピクチャ）を識別する情報を出力する。ただし、いくつかの例において、わずかなピクチャを識別する情報を出力するビデオデコーダ３０Ｂは、ビデオエンコーダ２０Ａが現在のピクチャをインター予測符号化するのに使うことができるピクチャをビデオエンコーダ２０Ａが決定するのをトリガするのに十分でない場合がある。そのような例では、ビデオデコーダ３０ＢのＤＰＢ９２中の１つまたは複数のピクチャを識別する情報を出力することに加え、ビデオデコーダ３０Ｂは、ピクチャが欠落されていることを示す情報と、欠落されたピクチャを識別する情報とを出力することもできる。それに応じて、ビデオエンコーダ２０Ａは、ビデオデコーダ３０ＢのＤＰＢ９２中にあると識別されるピクチャ、または識別されたピクチャもしくは識別されたピクチャにコーディング順序で続くピクチャをインター予測するのに使用可能と前に決定されたピクチャ、に基づいて、現在のピクチャをインター予測符号化すればよい。
[0187]図６は、ビデオデータを符号化する別の例示的な方法を示すフローチャートである。上記のように、本例は、ビデオエンコーダ２０Ａに関して説明される。図６に示されるように、ビデオエンコーダ２０Ａは、欠落されたピクチャを識別する情報をビデオデコーダ３０Ｂから受信し得る（３００）。ビデオエンコーダ２０Ａは、ビデオデコーダ３０ＢのＤＰＢ９２中に現時点で記憶されている１つまたは複数のピクチャを識別する情報を受信する場合もある（３０２）。いくつかの例において、ビデオエンコーダ２０Ａは、ピクチャが欠落されたとビデオデコーダ３０Ｂが決定する事例においてのみ、ビデオデコーダ３０ＢのＤＰＢ９２中に現時点で記憶されている１つまたは複数のピクチャを識別する情報を受信し得る。
[0188]たとえば、いくつかの例において、ビデオデコーダ３０Ｂは、正しく復号されたピクチャを識別する情報を、ピクチャを正しく復号した各インスタンスの後にビデオエンコーダ２０Ａに出力してよく、ビデオエンコーダ２０Ａは次いで、これらの識別されたピクチャのうちの１つまたは複数を、現在のピクチャをインター予測符号化するのに使用してよい。いくつかの例において、ビデオデコーダ３０Ｂは、ピクチャが欠落された（たとえば、ピクチャが、復号されなかった、正確に再構築されなかった、または十分に再構築されなかった）とビデオデコーダ３０Ｂが決定したときのみ、ＤＰＢ６４中に記憶された１つまたは複数のピクチャ（たとえば、１つまたは複数の正しく復号されたピクチャ）を識別する情報を出力してよい。これらの例では、ビデオデコーダ３０Ｂは、欠落されたピクチャを識別する情報（たとえば、欠落されたピクチャのＰＯＣ値）を出力することもできる。
[0189]図６に示されるように、欠落されたピクチャを識別する情報を受信すること、およびビデオデコーダ３０ＢのＤＰＢ９２中の１つまたは複数のピクチャを識別する情報を受信することは、別々に示されている。ただし、本開示で説明する技法は、そのように限定されない。いくつかの例において、ビデオエンコーダ２０Ａは、欠落されたピクチャを識別する情報と、ビデオデコーダ３０ＢのＤＰＢ９２中の１つまたは複数のピクチャを識別する情報とを、バンドルされたフィードバックメッセージ中で受信することができる。一例として、単一のフィードバックメッセージが、欠落されたピクチャを識別する情報と、ビデオデコーダ３０ＢのＤＰＢ９２中に現時点で記憶されている１つまたは複数のピクチャを識別する情報とを含み得る。
[0190]ビデオエンコーダ２０Ａは、候補参照ピクチャを決定することができる（３０４）。候補ピクチャは、ビデオデコーダ３０Ｂがフィードバックメッセージ中で識別した、ビデオデコーダ３０ＢのＤＰＢ９２中の１つまたは複数のピクチャのみに制限され得る。いくつかの例において、候補ピクチャは、ビデオデコーダ３０Ｂが識別した１つまたは複数のピクチャをインター予測符号化するのに使われた可能性がある、ビデオエンコーダ２０ＡのＤＰＢ６４中に依然として記憶されているピクチャであってよい。
[0191]ビデオエンコーダ２０Ａは、現在のピクチャをインター予測符号化するために、候補参照ピクチャから参照ピクチャを選択してよい（３０６）。ビデオエンコーダ２０Ａは、選択された参照ピクチャに基づいて現在のピクチャをインター予測符号化することができる（３０８）。
[0192]図７は、ビデオデータを復号する別の例示的な方法を示すフローチャートである。上記のように、簡単のために、説明は、ビデオデコーダ３０Ｂに関する。図示されるように、ビデオデコーダ３０Ｂは、ピクチャが欠落されたと決定してよい（４００）。たとえば、ビデオデコーダ３０Ｂは、ピクチャが、別のピクチャをインター予測するのに使われるべきであるとき、そのピクチャが欠落されたと決定してよく、ビデオデコーダ３０Ｂは、ピクチャがビデオデコーダ３０ＢのＤＰＢ９２中で利用可能でないと決定する。別の例として、ビデオデコーダ３０Ｂは、ビデオデコーダ３０Ｂがピクチャを出力するべきであるとともに、そのピクチャがビデオデコーダ３０ＢのＤＰＢ９２中で利用可能でないとき、そのピクチャが欠落されたと決定してよい。
[0193]ビデオデコーダ３０Ｂは、欠落されたピクチャを識別する情報をビデオエンコーダ２０Ａに出力してよい（４０２）。ビデオデコーダ３０Ｂは、ビデオデコーダ３０ＢのＤＰＢ９２中に現時点で記憶されている１つまたは複数のピクチャを識別する情報を出力してもよい（４０４）。たとえば、ビデオデコーダ３０Ｂは、欠落されたピクチャと、ビデオデコーダ３０ＢのＤＰＢ９２中に現時点で記憶されている１つまたは複数のピクチャとを識別するピクチャオーダーカウント（ＰＯＣ）値を出力してよい。いくつかの例において、ビデオデコーダ３０Ｂは、欠落されたピクチャを識別する情報と、ＤＰＢ９２中に現時点で記憶されている１つまたは複数のピクチャを識別する情報とを、バンドルされたフィードバックメッセージ中で出力してよい。一例として、欠落されたピクチャと、ＤＰＢ９２中に現時点で記憶されている１つまたは複数のピクチャとを識別するために、ビデオデコーダ３０Ｂが送る必要があるただ１つのメッセージがあり得る。このようにして、ビデオデコーダ３０Ｂは、欠落しているピクチャを識別するＳＰＬＩタイプメッセージと、ビデオデコーダ３０ＢのＤＰＢ９２中に現時点で記憶されている１つまたは複数のピクチャを識別するＲＰＳＩタイプメッセージとを送信することができる。
[0194]いくつかの例において、ビデオデコーダ３０Ｂは、欠落されたピクチャと、ＤＰＢ９２中に現時点で記憶されている１つまたは複数のピクチャとを識別する情報を、２つ以上のメッセージ中で出力することができる。いくつかの例において、ビデオデコーダ３０Ｂは、正しく復号した各ピクチャを識別する情報を、そのピクチャを復号した後でビデオエンコーダ２０Ａに出力すればよい。いくつかの例において、ビデオデコーダ３０Ｂは、ピクチャが欠落されたとビデオデコーダ３０Ｂが決定したときのみ、ＤＰＢ９２中に現時点で記憶されている１つまたは複数のピクチャを識別する情報を出力してよい。
[0195]ビデオデコーダ３０Ｂは、１つまたは複数の参照ピクチャから、現在のピクチャをインター予測復号することができる（４０６）。参照ピクチャは、識別されたピクチャのみを含み得る。いくつかの例では、参照ピクチャは、識別されたピクチャと、識別されたピクチャをインター予測するのに使われた可能性があるピクチャとを含み得る。いくつかの例では、参照ピクチャは、識別されたピクチャをインター予測するのに使われた可能性があるピクチャを含むだけでよい。
[0196]１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてもよい。ソフトウェアで実装される場合、機能は１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、非一時的である有形コンピュータ可読記憶媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実施のための命令、コードおよび／またはデータ構造を取り出すために１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0197]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的な媒体を含まないが、代わりに非一時的な有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙディスク（disc）を含み、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）はデータをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
[0198]命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積論理回路もしくはディスクリート論理回路など、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造または本明細書で説明する技法の実装に好適な任意の他の構造のいずれかを指すことができる。加えて、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成されるか、または複合コーデックに組み込まれる、専用のハードウェアモジュールおよび／またはソフトウェアモジュール内で提供され得る。また、本技法は、１つまたは複数の回路または論理素子において完全に実装され得る。
[0199]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置で実装され得る。本開示では、開示する技法を実施するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。そうではなく、上記で説明したように、様々なユニットは、コーデックハードウェアユニット中で組み合わせられるか、または上記で説明した１つまたは複数のプロセッサを含む、適切なソフトウェアおよび／またはファームウェアとともに相互動作可能なハードウェアユニットの集合によって提供され得る。
[0200]様々な例が、説明された。これらおよび他の例は、以下の特許請求の範囲の範囲内にある。
[0200]様々な例が、説明された。これらおよび他の例は、以下の特許請求の範囲の範囲内にある。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを符号化する方法であって、
ビデオデコーダを備えるデバイスから、前記ビデオデコーダが情報を送信したときに前記ビデオデコーダの復号ピクチャバッファ（ＤＰＢ）中に記憶されている、前に復号されたピクチャを識別する前記情報を受信することと、
前記識別されたピクチャに基づいて、現在のピクチャを符号化するために利用可能である１つまたは複数の候補参照ピクチャを決定することと、ここにおいて、前記１つまたは複数の候補参照ピクチャは、前記識別されたピクチャまたは前記識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると前に決定された、ビデオエンコーダのＤＰＢ中に依然として記憶されている１つまたは複数のピクチャを含む、
前記決定された１つまたは複数の候補参照ピクチャおよび前記識別されたピクチャから、前記現在のピクチャ用の１つまたは複数の参照ピクチャを選択することと、
前記選択された１つまたは複数の参照ピクチャに基づいて、前記現在のピクチャをインター予測符号化することと
を備える方法。
［Ｃ２］
前記識別されたピクチャの前記符号化中に、および前記現在のピクチャの前記符号化に先立って、
前記識別されたピクチャに表示順序で先行し、前記識別されたピクチャと、前記識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使用可能であると決定された、どの短期参照ピクチャも含む第１の参照ピクチャサブセット、
前記識別されたピクチャに表示順序で続き、前記識別されたピクチャと、前記識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使用可能であると決定された、どの短期参照ピクチャも含む第２の参照ピクチャサブセット、
前記識別されたピクチャと、前記識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使用可能であると決定された、どの長期参照ピクチャも含む第３の参照ピクチャサブセット、
前記識別されたピクチャではなく、前記識別されたピクチャにコーディング順序で続くピクチャをインター予測するのに使用可能であると決定された、どの短期参照ピクチャも含む第４の参照ピクチャサブセット、および
前記識別されたピクチャではなく、前記識別されたピクチャにコーディング順序で続くピクチャをインター予測するのに使用可能であると決定された、どの長期参照ピクチャも含む第５の参照ピクチャサブセット、のうちの１つまたは複数を構築することをさらに備え、
前記第１、第２、第３、第４、および第５の参照ピクチャサブセットのうちの１つまたは複数の中のピクチャは、前記識別されたピクチャまたは前記識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると前に決定されたピクチャを備え、
１つまたは複数の候補参照ピクチャを決定することは、前記第１の参照ピクチャサブセット、前記第２の参照ピクチャサブセット、前記第３の参照ピクチャサブセット、前記第４の参照ピクチャサブセット、および前記第５の参照ピクチャサブセットのうちの１つまたは複数から、１つまたは複数の候補参照ピクチャを決定することを備える、［Ｃ１］に記載の方法。
［Ｃ３］
１つまたは複数の候補参照ピクチャを決定することは、前記第４および第５の参照ピクチャサブセットからではなく、前記第１、第２、および第３の参照ピクチャサブセットから、１つまたは複数の候補参照ピクチャを決定することを備える、［Ｃ２］に記載の方法。
［Ｃ４］
１つまたは複数の候補参照ピクチャを決定することは、前記第３、第４、および第５の参照ピクチャサブセットからではなく、前記第１および第２の参照ピクチャサブセットから、１つまたは複数の候補参照ピクチャを決定することを備える、［Ｃ２］に記載の方法。
［Ｃ５］
前記識別されたピクチャが、前記現在のピクチャを符号化するために利用可能かどうか決定することと、
前記識別されたピクチャが、前記現在のピクチャを符号化するために利用可能でないという決定に基づいて、前記現在のピクチャをイントラ予測符号化することとをさらに備える、［Ｃ１］に記載の方法。
［Ｃ６］
欠落されたピクチャを識別する情報を受信することと、
前記欠落されたピクチャを、前記決定された１つまたは複数の候補参照ピクチャから除外することと
をさらに備える、［Ｃ１］に記載の方法。
［Ｃ７］
前記選択された１つまたは複数の参照ピクチャに基づいて、前記現在のピクチャをインター予測符号化することは、前記選択された参照ピクチャからの２つのピクチャに基づいて、前記現在のピクチャを双予測符号化することを備える、［Ｃ１］に記載の方法。
［Ｃ８］
ビデオデータを復号する方法であって、
ビデオエンコーダを備えるデバイスに、情報を出力するときにビデオデコーダの復号ピクチャバッファ（ＤＰＢ）中に記憶されていた、前に復号されたピクチャを識別する前記情報を出力することと、
１つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号することと、ここにおいて、前記１つまたは複数の候補参照ピクチャは、前記ビデオエンコーダによって、前記識別されたピクチャをインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャを含む、
を備える方法。
［Ｃ９］
ピクチャが欠落されたと決定することをさらに備え、
情報を出力することは、前記ピクチャが欠落されたという決定に基づいて情報を出力することを備える、［Ｃ８］に記載の方法。
［Ｃ１０］
前記現在のピクチャをインター予測復号することは、前記候補参照ピクチャからの２つのピクチャに基づいて、前記現在のピクチャを双予測復号することを備える、［Ｃ８］に記載の方法。
［Ｃ１１］
欠落されたピクチャを識別する情報を出力することをさらに備え、
１つまたは複数の候補参照ピクチャを用いて前記現在のピクチャをインター予測復号することは、前記欠落されたピクチャを除く前記１つまたは複数の候補参照ピクチャを用いて前記現在のピクチャをインター予測復号することを備える、［Ｃ８］に記載の方法。
［Ｃ１２］
ビデオデータを符号化するためのデバイスであって、
１つまたは複数のピクチャを記憶するように構成されたメモリを備える第１の復号ピクチャバッファ（ＤＰＢ）と、
１つまたは複数のプロセッサを備えるビデオエンコーダと、ここにおいて、前記ビデオエンコーダは、
ビデオデコーダを備えるデバイスから、前記ビデオデコーダが情報を送信したときに前記ビデオデコーダの第２のＤＰＢに記憶されている、前に復号されたピクチャを識別する前記情報を受信し、
前記識別されたピクチャに基づいて、現在のピクチャを符号化するために利用可能である１つまたは複数の候補参照ピクチャを決定し、ここにおいて、前記１つまたは複数の候補参照ピクチャは、前記識別されたピクチャまたは前記識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると前に決定された、前記第１のＤＰＢ中に依然として記憶されている１つまたは複数のピクチャを含む、
前記決定された１つまたは複数の候補参照ピクチャおよび前記識別されたピクチャから、前記現在のピクチャ用の１つまたは複数の参照ピクチャを選択し、
前記選択された１つまたは複数の参照ピクチャに基づいて、前記現在のピクチャをインター予測符号化する、ように構成される、
を備えるデバイス。
［Ｃ１３］
前記ビデオエンコーダは、
前記識別されたピクチャの前記符号化中に、および前記現在のピクチャの前記符号化に先立って、
前記識別されたピクチャに表示順序で先行し、前記識別されたピクチャと、前記識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使用可能であると決定された、どの短期参照ピクチャも含む第１の参照ピクチャサブセット、
前記識別されたピクチャに表示順序で続き、前記識別されたピクチャと、前記識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使用可能であると決定された、どの短期参照ピクチャも含む第２の参照ピクチャサブセット、
前記識別されたピクチャと、前記識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使用可能であると決定された、どの長期参照ピクチャも含む第３の参照ピクチャサブセット、
前記識別されたピクチャではなく、前記識別されたピクチャにコーディング順序で続くピクチャをインター予測するのに使用可能であると決定された、どの短期参照ピクチャも含む第４の参照ピクチャサブセット、および
前記識別されたピクチャではなく、前記識別されたピクチャにコーディング順序で続くピクチャをインター予測するのに使用可能であると決定された、どの長期参照ピクチャも含む第５の参照ピクチャサブセット、のうちの１つまたは複数を構築するように構成され、
前記第１、第２、第３、第４、および第５の参照ピクチャサブセットのうちの１つまたは複数の中のピクチャは、前記識別されたピクチャまたは前記識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると前に決定されたピクチャを備え、
１つまたは複数の候補参照ピクチャを決定するために、前記ビデオエンコーダは、前記第１の参照ピクチャサブセット、前記第２の参照ピクチャサブセット、前記第３の参照ピクチャサブセット、前記第４の参照ピクチャサブセット、および前記第５の参照ピクチャサブセットのうちの１つまたは複数から、１つまたは複数の候補参照ピクチャを決定するように構成される、［Ｃ１２］に記載のデバイス。
［Ｃ１４］
１つまたは複数の候補参照ピクチャを決定するために、前記ビデオエンコーダは、前記第４および第５の参照ピクチャサブセットからではなく、前記第１、第２、および第３の参照ピクチャサブセットから、１つまたは複数の候補参照ピクチャを決定するように構成される、［Ｃ１３］に記載のデバイス。
［Ｃ１５］
１つまたは複数の候補参照ピクチャを決定するために、前記ビデオエンコーダは、前記第３、第４および第５の参照ピクチャサブセットからではなく、前記第１および第２の参照ピクチャサブセットから、１つまたは複数の候補参照ピクチャを決定するように構成される、［Ｃ１３］に記載のデバイス。
［Ｃ１６］
前記ビデオエンコーダは、
前記識別されたピクチャが、前記現在のピクチャを符号化するために利用可能かどうか決定し、
前記識別されたピクチャが、前記現在のピクチャを符号化するために利用可能でないという決定に基づいて、前記現在のピクチャをイントラ予測符号化する、ように構成される、［Ｃ１２］に記載のデバイス。
［Ｃ１７］
前記ビデオエンコーダは、
欠落されたピクチャを識別する情報を受信し、
前記欠落されたピクチャを、前記決定された１つまたは複数の候補参照ピクチャから除外する、ように構成される、［Ｃ１２］に記載のデバイス。
［Ｃ１８］
前記選択された１つまたは複数の参照ピクチャに基づいて、前記現在のピクチャをインター予測符号化するために、前記ビデオエンコーダは、前記選択された参照ピクチャからの２つのピクチャに基づいて、前記現在のピクチャを双予測符号化するように構成される、［Ｃ１２］に記載のデバイス。
［Ｃ１９］
ビデオデータを復号するためのデバイスであって、
１つまたは複数のピクチャを記憶するように構成されたメモリを備える復号ピクチャバッファ（ＤＰＢ）と、
１つまたは複数のプロセッサを備えるビデオデコーダと、ここにおいて、前記ビデオデコーダは、
ビデオエンコーダを備えるデバイスに、情報を出力するときに前記ビデオデコーダの前記ＤＰＢ中に記憶されている、前に復号されたピクチャを識別する前記情報を出力し、 １つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号する、ここにおいて、前記１つまたは複数の候補参照ピクチャは、前記ビデオエンコーダによって、前記識別されたピクチャをインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャを含む、ように構成される、
を備えるデバイス。
［Ｃ２０］
前記ビデオデコーダは、
ピクチャが欠落されたと決定するように構成され、
情報を出力するために、前記ビデオデコーダは、前記ピクチャが欠落されたという決定に基づいて、情報を出力するように構成される、［Ｃ１９］に記載のデバイス。
［Ｃ２１］
前記現在のピクチャをインター予測復号するために、前記ビデオデコーダは、前記候補参照ピクチャからの２つのピクチャに基づいて、前記現在のピクチャを双予測復号するように構成される、［Ｃ１９］に記載のデバイス。
［Ｃ２２］
前記ビデオデコーダは、
欠落されたピクチャを識別する情報を出力するように構成され、
１つまたは複数の候補参照ピクチャを用いて前記現在のピクチャをインター予測復号するために、前記ビデオデコーダは、前記欠落されたピクチャを除く前記１つまたは複数の候補参照ピクチャを用いて前記現在のピクチャをインター予測復号するように構成される、［Ｃ１９］に記載のデバイス。
［Ｃ２３］
前記現在のピクチャを表示するように構成されたディスプレイをさらに備える、［Ｃ１９］に記載のデバイス。
［Ｃ２４］
前記前に復号されたピクチャを識別する前記情報を通信するように構成されたネットワークインターフェースをさらに備える、［Ｃ１９］に記載のデバイス。

Claims (24)

  1. ビデオデータを符号化する方法であって、
    ビデオデコーダを備えるデバイスから、前記ビデオデコーダが情報を送信したときに前記ビデオデコーダの復号ピクチャバッファ（ＤＰＢ）中に記憶されている、前に復号されたピクチャを識別する前記情報を受信することと、
    前記識別されたピクチャに基づいて、現在のピクチャを符号化するために利用可能である１つまたは複数の候補参照ピクチャを決定することと、ここにおいて、前記１つまたは複数の候補参照ピクチャは、前記識別されたピクチャまたは前記識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると前に決定された、ビデオエンコーダのＤＰＢ中に依然として記憶されている１つまたは複数のピクチャを含む、
    前記決定された１つまたは複数の候補参照ピクチャおよび前記識別されたピクチャから、前記現在のピクチャ用の１つまたは複数の参照ピクチャを選択することと、
    前記選択された１つまたは複数の参照ピクチャに基づいて、前記現在のピクチャをインター予測符号化することと
    を備える方法。
  2. 前記識別されたピクチャの前記符号化中に、および前記現在のピクチャの前記符号化に先立って、
    前記識別されたピクチャに表示順序で先行し、前記識別されたピクチャと、前記識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使用可能であると決定された、どの短期参照ピクチャも含む第１の参照ピクチャサブセット、
    前記識別されたピクチャに表示順序で続き、前記識別されたピクチャと、前記識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使用可能であると決定された、どの短期参照ピクチャも含む第２の参照ピクチャサブセット、
    前記識別されたピクチャと、前記識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使用可能であると決定された、どの長期参照ピクチャも含む第３の参照ピクチャサブセット、
    前記識別されたピクチャではなく、前記識別されたピクチャにコーディング順序で続くピクチャをインター予測するのに使用可能であると決定された、どの短期参照ピクチャも含む第４の参照ピクチャサブセット、および
    前記識別されたピクチャではなく、前記識別されたピクチャにコーディング順序で続くピクチャをインター予測するのに使用可能であると決定された、どの長期参照ピクチャも含む第５の参照ピクチャサブセット、のうちの１つまたは複数を構築することをさらに備え、
    前記第１、第２、第３、第４、および第５の参照ピクチャサブセットのうちの１つまたは複数の中のピクチャは、前記識別されたピクチャまたは前記識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると前に決定されたピクチャを備え、
    １つまたは複数の候補参照ピクチャを決定することは、前記第１の参照ピクチャサブセット、前記第２の参照ピクチャサブセット、前記第３の参照ピクチャサブセット、前記第４の参照ピクチャサブセット、および前記第５の参照ピクチャサブセットのうちの１つまたは複数から、１つまたは複数の候補参照ピクチャを決定することを備える、請求項１に記載の方法。
  3. １つまたは複数の候補参照ピクチャを決定することは、前記第４および第５の参照ピクチャサブセットからではなく、前記第１、第２、および第３の参照ピクチャサブセットから、１つまたは複数の候補参照ピクチャを決定することを備える、請求項２に記載の方法。
  4. １つまたは複数の候補参照ピクチャを決定することは、前記第３、第４、および第５の参照ピクチャサブセットからではなく、前記第１および第２の参照ピクチャサブセットから、１つまたは複数の候補参照ピクチャを決定することを備える、請求項２に記載の方法。
  5. 前記識別されたピクチャが、前記現在のピクチャを符号化するために利用可能かどうか決定することと、
    前記識別されたピクチャが、前記現在のピクチャを符号化するために利用可能でないという決定に基づいて、前記現在のピクチャをイントラ予測符号化することとをさらに備える、請求項１に記載の方法。
  6. 欠落されたピクチャを識別する情報を受信することと、
    前記欠落されたピクチャを、前記決定された１つまたは複数の候補参照ピクチャから除外することと
    をさらに備える、請求項１に記載の方法。
  7. 前記選択された１つまたは複数の参照ピクチャに基づいて、前記現在のピクチャをインター予測符号化することは、前記選択された参照ピクチャからの２つのピクチャに基づいて、前記現在のピクチャを双予測符号化することを備える、請求項１に記載の方法。
  8. ビデオデータを復号する方法であって、
    ビデオエンコーダを備えるデバイスに、情報を出力するときにビデオデコーダの復号ピクチャバッファ（ＤＰＢ）中に記憶されていた、前に復号されたピクチャを識別する前記情報を出力することと、
    １つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号することと、ここにおいて、前記１つまたは複数の候補参照ピクチャは、前記ビデオエンコーダによって、前記識別されたピクチャをインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャを含む、
    を備える方法。
  9. ピクチャが欠落されたと決定することをさらに備え、
    情報を出力することは、前記ピクチャが欠落されたという決定に基づいて情報を出力することを備える、請求項８に記載の方法。
  10. 前記現在のピクチャをインター予測復号することは、前記候補参照ピクチャからの２つのピクチャに基づいて、前記現在のピクチャを双予測復号することを備える、請求項８に記載の方法。
  11. 欠落されたピクチャを識別する情報を出力することをさらに備え、
    １つまたは複数の候補参照ピクチャを用いて前記現在のピクチャをインター予測復号することは、前記欠落されたピクチャを除く前記１つまたは複数の候補参照ピクチャを用いて前記現在のピクチャをインター予測復号することを備える、請求項８に記載の方法。
  12. ビデオデータを符号化するためのデバイスであって、
    １つまたは複数のピクチャを記憶するように構成されたメモリを備える第１の復号ピクチャバッファ（ＤＰＢ）と、
    １つまたは複数のプロセッサを備えるビデオエンコーダと、ここにおいて、前記ビデオエンコーダは、
    ビデオデコーダを備えるデバイスから、前記ビデオデコーダが情報を送信したときに前記ビデオデコーダの第２のＤＰＢに記憶されている、前に復号されたピクチャを識別する前記情報を受信し、
    前記識別されたピクチャに基づいて、現在のピクチャを符号化するために利用可能である１つまたは複数の候補参照ピクチャを決定し、ここにおいて、前記１つまたは複数の候補参照ピクチャは、前記識別されたピクチャまたは前記識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると前に決定された、前記第１のＤＰＢ中に依然として記憶されている１つまたは複数のピクチャを含む、
    前記決定された１つまたは複数の候補参照ピクチャおよび前記識別されたピクチャから、前記現在のピクチャ用の１つまたは複数の参照ピクチャを選択し、
    前記選択された１つまたは複数の参照ピクチャに基づいて、前記現在のピクチャをインター予測符号化する、ように構成される、
    を備えるデバイス。
  13. 前記ビデオエンコーダは、
    前記識別されたピクチャの前記符号化中に、および前記現在のピクチャの前記符号化に先立って、
    前記識別されたピクチャに表示順序で先行し、前記識別されたピクチャと、前記識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使用可能であると決定された、どの短期参照ピクチャも含む第１の参照ピクチャサブセット、
    前記識別されたピクチャに表示順序で続き、前記識別されたピクチャと、前記識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使用可能であると決定された、どの短期参照ピクチャも含む第２の参照ピクチャサブセット、
    前記識別されたピクチャと、前記識別されたピクチャにコーディング順序で続くピクチャとをインター予測するのに使用可能であると決定された、どの長期参照ピクチャも含む第３の参照ピクチャサブセット、
    前記識別されたピクチャではなく、前記識別されたピクチャにコーディング順序で続くピクチャをインター予測するのに使用可能であると決定された、どの短期参照ピクチャも含む第４の参照ピクチャサブセット、および
    前記識別されたピクチャではなく、前記識別されたピクチャにコーディング順序で続くピクチャをインター予測するのに使用可能であると決定された、どの長期参照ピクチャも含む第５の参照ピクチャサブセット、のうちの１つまたは複数を構築するように構成され、
    前記第１、第２、第３、第４、および第５の参照ピクチャサブセットのうちの１つまたは複数の中のピクチャは、前記識別されたピクチャまたは前記識別されたピクチャにコーディング順序で続く複数のピクチャのうちの１つまたは複数をインター予測符号化するために使用可能であると前に決定されたピクチャを備え、
    １つまたは複数の候補参照ピクチャを決定するために、前記ビデオエンコーダは、前記第１の参照ピクチャサブセット、前記第２の参照ピクチャサブセット、前記第３の参照ピクチャサブセット、前記第４の参照ピクチャサブセット、および前記第５の参照ピクチャサブセットのうちの１つまたは複数から、１つまたは複数の候補参照ピクチャを決定するように構成される、請求項１２に記載のデバイス。
  14. １つまたは複数の候補参照ピクチャを決定するために、前記ビデオエンコーダは、前記第４および第５の参照ピクチャサブセットからではなく、前記第１、第２、および第３の参照ピクチャサブセットから、１つまたは複数の候補参照ピクチャを決定するように構成される、請求項１３に記載のデバイス。
  15. １つまたは複数の候補参照ピクチャを決定するために、前記ビデオエンコーダは、前記第３、第４および第５の参照ピクチャサブセットからではなく、前記第１および第２の参照ピクチャサブセットから、１つまたは複数の候補参照ピクチャを決定するように構成される、請求項１３に記載のデバイス。
  16. 前記ビデオエンコーダは、
    前記識別されたピクチャが、前記現在のピクチャを符号化するために利用可能かどうか決定し、
    前記識別されたピクチャが、前記現在のピクチャを符号化するために利用可能でないという決定に基づいて、前記現在のピクチャをイントラ予測符号化する、ように構成される、請求項１２に記載のデバイス。
  17. 前記ビデオエンコーダは、
    欠落されたピクチャを識別する情報を受信し、
    前記欠落されたピクチャを、前記決定された１つまたは複数の候補参照ピクチャから除外する、ように構成される、請求項１２に記載のデバイス。
  18. 前記選択された１つまたは複数の参照ピクチャに基づいて、前記現在のピクチャをインター予測符号化するために、前記ビデオエンコーダは、前記選択された参照ピクチャからの２つのピクチャに基づいて、前記現在のピクチャを双予測符号化するように構成される、請求項１２に記載のデバイス。
  19. ビデオデータを復号するためのデバイスであって、
    １つまたは複数のピクチャを記憶するように構成されたメモリを備える復号ピクチャバッファ（ＤＰＢ）と、
    １つまたは複数のプロセッサを備えるビデオデコーダと、ここにおいて、前記ビデオデコーダは、
    ビデオエンコーダを備えるデバイスに、情報を出力するときに前記ビデオデコーダの前記ＤＰＢ中に記憶されている、前に復号されたピクチャを識別する前記情報を出力し、 １つまたは複数の候補参照ピクチャを用いて、現在のピクチャをインター予測復号する、ここにおいて、前記１つまたは複数の候補参照ピクチャは、前記ビデオエンコーダによって、前記識別されたピクチャをインター予測符号化するために使用可能であると前に決定された１つまたは複数のピクチャを含む、ように構成される、
    を備えるデバイス。
  20. 前記ビデオデコーダは、
    ピクチャが欠落されたと決定するように構成され、
    情報を出力するために、前記ビデオデコーダは、前記ピクチャが欠落されたという決定に基づいて、情報を出力するように構成される、請求項１９に記載のデバイス。
  21. 前記現在のピクチャをインター予測復号するために、前記ビデオデコーダは、前記候補参照ピクチャからの２つのピクチャに基づいて、前記現在のピクチャを双予測復号するように構成される、請求項１９に記載のデバイス。
  22. 前記ビデオデコーダは、
    欠落されたピクチャを識別する情報を出力するように構成され、
    １つまたは複数の候補参照ピクチャを用いて前記現在のピクチャをインター予測復号するために、前記ビデオデコーダは、前記欠落されたピクチャを除く前記１つまたは複数の候補参照ピクチャを用いて前記現在のピクチャをインター予測復号するように構成される、請求項１９に記載のデバイス。
  23. 前記現在のピクチャを表示するように構成されたディスプレイをさらに備える、請求項１９に記載のデバイス。
  24. 前記前に復号されたピクチャを識別する前記情報を通信するように構成されたネットワークインターフェースをさらに備える、請求項１９に記載のデバイス
JP2019199851A 2013-12-02 2019-11-01 参照ピクチャ選択 Pending JP2020043576A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361910766P 2013-12-02 2013-12-02
US61/910,766 2013-12-02
US14/557,049 US9807407B2 (en) 2013-12-02 2014-12-01 Reference picture selection
US14/557,049 2014-12-01

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016556690A Division JP6672159B2 (ja) 2013-12-02 2014-12-02 参照ピクチャ選択

Publications (1)

Publication Number Publication Date
JP2020043576A true JP2020043576A (ja) 2020-03-19

Family

ID=53266412

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016556690A Active JP6672159B2 (ja) 2013-12-02 2014-12-02 参照ピクチャ選択
JP2019199851A Pending JP2020043576A (ja) 2013-12-02 2019-11-01 参照ピクチャ選択

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016556690A Active JP6672159B2 (ja) 2013-12-02 2014-12-02 参照ピクチャ選択

Country Status (10)

Country Link
US (1) US9807407B2 (ja)
EP (1) EP3078193B1 (ja)
JP (2) JP6672159B2 (ja)
KR (1) KR102346490B1 (ja)
CN (1) CN105794207B (ja)
BR (1) BR112016012510B1 (ja)
ES (1) ES2703342T3 (ja)
HU (1) HUE041664T2 (ja)
MX (1) MX353161B (ja)
WO (1) WO2015084777A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201405649D0 (en) * 2014-03-28 2014-05-14 Sony Corp Data encoding and decoding
CN104768011B (zh) * 2015-03-31 2018-03-06 浙江大学 图像编解码方法和相关装置
US10313685B2 (en) 2015-09-08 2019-06-04 Microsoft Technology Licensing, Llc Video coding
US10595025B2 (en) 2015-09-08 2020-03-17 Microsoft Technology Licensing, Llc Video coding
US20170085871A1 (en) * 2015-09-22 2017-03-23 Ati Technologies Ulc Real time video coding system with error recovery using earlier reference picture
CN107113441B (zh) 2016-12-30 2019-07-26 深圳市大疆创新科技有限公司 图像处理方法、装置、无人飞行器和接收端
WO2018121775A1 (en) 2016-12-30 2018-07-05 SZ DJI Technology Co., Ltd. System and methods for feedback-based data transmission
EP3850846A4 (en) * 2018-10-08 2021-12-15 Huawei Technologies Co., Ltd. DEVICES AND METHODS FOR PREDICTING A TRIANGULAR PARTITION OF AN ENCODING BLOCK
JP2022530054A (ja) * 2019-04-25 2022-06-27 オーピー ソリューションズ， エルエルシー ピクチャヘッダ内の大域的運動ベクトルの信号伝達
CN112532908B (zh) * 2019-09-19 2022-07-19 华为技术有限公司 视频图像的传输方法、发送设备、视频通话方法和设备
CN116941246A (zh) * 2020-12-23 2023-10-24 Lg电子株式会社 用信号通知子画面id信息的媒体文件生成/接收方法和装置以及存储媒体文件的计算机可读记录介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093979A (ja) * 1996-07-05 1998-04-10 Nippon Telegr & Teleph Corp <Ntt> 画像通信システム及び方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060083298A1 (en) * 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
BRPI0809210A2 (pt) * 2007-04-04 2014-09-02 Thomson Licensing Gerenciamento de lista de imagens de referência
CN102883160B (zh) * 2009-06-26 2016-06-29 华为技术有限公司 视频图像运动信息获取方法、装置及设备、模板构造方法
KR101750495B1 (ko) * 2010-04-16 2017-06-27 에스케이텔레콤 주식회사 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
US20120230409A1 (en) * 2011-03-07 2012-09-13 Qualcomm Incorporated Decoded picture buffer management
JPWO2012121052A1 (ja) * 2011-03-08 2014-07-17 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
CN103621091A (zh) * 2011-04-26 2014-03-05 Lg电子株式会社 管理参考图片列表的方法及使用该方法的装置
US10034018B2 (en) * 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
CN104137554A (zh) * 2012-02-24 2014-11-05 Vid拓展公司 使用分组损耗检测的视频编码

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093979A (ja) * 1996-07-05 1998-04-10 Nippon Telegr & Teleph Corp <Ntt> 画像通信システム及び方法

Also Published As

Publication number Publication date
US20150156487A1 (en) 2015-06-04
CN105794207A (zh) 2016-07-20
HUE041664T2 (hu) 2019-05-28
JP2017503448A (ja) 2017-01-26
CN105794207B (zh) 2019-02-22
WO2015084777A1 (en) 2015-06-11
KR102346490B1 (ko) 2021-12-31
JP6672159B2 (ja) 2020-03-25
BR112016012510B1 (pt) 2023-04-11
MX2016007110A (es) 2016-09-08
EP3078193B1 (en) 2018-10-03
EP3078193A1 (en) 2016-10-12
US9807407B2 (en) 2017-10-31
KR20160091927A (ko) 2016-08-03
BR112016012510A2 (pt) 2017-08-08
ES2703342T3 (es) 2019-03-08
MX353161B (es) 2017-12-20

Similar Documents

Publication Publication Date Title
JP6672159B2 (ja) 参照ピクチャ選択
TWI766844B (zh) 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測
AU2013324245B2 (en) Error resilient decoding unit association
KR102115051B1 (ko) 브로큰 링크 픽처들을 갖는 비디오 시퀀스들에서 참조 픽처들의 마킹
JP6822847B2 (ja) ビットストリームパーティションのためのｈｒｄパラメータを信号伝達すること
DK2939427T3 (en) PROGRESSIVE IMPROVEMENT WITH TEMPORARY SCALABILITY SUPPORT IN VIDEO CODING
DK2941869T3 (en) VIDEO BUFFERING OPERATIONS FOR DIRECT ACCESS IN VIDEO CODING
EP2834977B1 (en) Weighted prediction parameter coding
JP6779782B2 (ja) Ｍｖ−ｈｅｖｃにおけるビュー間依存タイプ
EP2987324B1 (en) Indication of cross-layer picture type alignment in multi-layer video coding
JP2015532554A (ja) ビデオプロパティの指示
KR20160034321A (ko) 인트라 랜덤 액세스 포인트 픽처들의 개선된 교차-계층 정렬

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210511