JP2023162214A - コーディングブロックの三角形パーティションのインター予測のための装置および方法 - Google Patents

コーディングブロックの三角形パーティションのインター予測のための装置および方法 Download PDF

Info

Publication number
JP2023162214A
JP2023162214A JP2023127359A JP2023127359A JP2023162214A JP 2023162214 A JP2023162214 A JP 2023162214A JP 2023127359 A JP2023127359 A JP 2023127359A JP 2023127359 A JP2023127359 A JP 2023127359A JP 2023162214 A JP2023162214 A JP 2023162214A
Authority
JP
Japan
Prior art keywords
predicted
prediction
candidate list
pic
ref
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023127359A
Other languages
English (en)
Other versions
JP7548679B2 (ja
Inventor
ブレイザー、マックス
Blaeser Max
ツァオ、ツィジェ
Zhijie Zhao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023162214A publication Critical patent/JP2023162214A/ja
Application granted granted Critical
Publication of JP7548679B2 publication Critical patent/JP7548679B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】コーディングブロックについて動きベクトル（ＭＶ）を導出するビデオ符号化及び復号する装置並びに方法を提供する。【解決手段】方法は、コーディングブロックが、幾何パーティションマージモードについて有効である場合、近傍のコーディング単位から１または複数の空間的マージ候補を導出することを含むマージ候補リストを２つの幾何パーティションにパーティション化し、空間的マージ候補を導出した後に、１又は複数の時間的動きベクトル予測（ＭＶＰ）を直接的に又は直ちに導出し、１又は複数の片予測ＭＶ及び／又は１又は複数双予測ＭＶを含むマージ候補リストに基づいて、マージ候補リスト又は片方向ＭＶ選択規則に基づく片予測ＭＶを、それぞれの幾何パーティションの動きベクトルとして導出し、コーディングブロックの幾何パーティションを、幾何パーティションの予測値を取得するために、少なくとも片予測ＭＶに基づいて予測する。【選択図】図１１

Description

［関連出願の相互参照］
本特許出願は、２０１８年１０月８日に出願された米国仮特許出願第６２／７４２，９２１号に対する優先権の利益を主張するものである。上述の特許出願は参照によって全体が本明細書に組み込まれる。
一般に、本発明は、ビデオコーディングの分野に関する。より具体的には、本発明は、三角形予測単位など、三角形マージモードなど、三角形／幾何予測単位のための動きベクトル予測および記憶など、ビデオコーディングブロックのインター予測のために三角形パーティション化を使用して、ビデオ信号のビデオコーディングブロックを符号化および復号する装置および方法に関する。
Ｈ．２６４／ＡＶＣ（「Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」）またはＨＥＶＣ（「Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」）などの現在のビデオコーディング方式において、インター予測画像（フレームとも称される）における動き情報は、構成可能なサイズの長方形ビデオコーディングブロックにパーティション化される。Ｈ．２６４／ＡＶＣでは、動きは最大サイズが１６×１６画素である対称的なビデオコーディングブロック（いわゆるマクロブロック）にパーティション化され、これは更に最小４×４画素まで細分化され得るが、ＨＥＶＣは、マクロブロックを最大サイズ６４×６４画素のコーディングツリー単位（ＣＴＵ）で置き換える。ＣＴＵは、より大きいマクロブロックであるだけでなく、クアッドツリー（ＱＴ）分解方式で、より小さいコーディング単位（ＣＵ）にパーティション化されることができ、それは更に最小サイズ８×８画素まで細分化されることができる。更に、Ｈ．２６４／ＡＶＣと比較して、ＨＥＶＣは追加的にコーディング単位（ＣＵ）を予測単位（ＰＵ）へ非対称的ブロックパーティション化（ＡＭＰ）することをサポートする。
各ＣＴＵの分解およびパーティション化の決定は、符号化プロセス中に実行され、レート歪み最適化基準に基づく。ＡＭＰは既に、改善されたコーディング効率を提供しているが、ビデオシーケンスにおける動くオブジェクトの境界に沿ってコーディング効率における問題が生じ得る。
特に、オブジェクトの境界が厳密に縦方向または横方向でない場合、オブジェクト境界に沿った細かいクアッドツリー分解およびブロックパーティション化が生じ得る。境界に沿った複数のブロックは、同様の動き情報を含むことが予想されるので、冗長性がもたらされ、コーディング効率が減少する。
メモリ帯域幅要件を低減しながらコーディング効率を改善する、ビデオコーディングブロックのインター予測のための三角形パーティション化または対角ベースパーティション化に基づくビデオコーディング（すなわち、符号化および／または復号）のデバイスおよび方法の必要性が存在する。
本発明の目的は、コーディング効率を改善するように、ビデオコーディングブロックのインター予測のための三角形パーティション化または対角ベースパーティション化に基づくビデオコーディングデバイスおよび方法を提供することである。保護の範囲は、特許請求の範囲で定められる。
上述の目的および他の目的が独立請求項の主題により達成される。従属請求項、明細書および図から、更なる実装形式が明らかになる。
本発明の実施形態は、独立請求項の特徴および従属請求項の特徴による実施形態の更に有利な実装によって定義される。
本明細書において用いられる場合、ビデオ信号またはビデオシーケンスは、動画を示す後続のフレームのセットである。言い換えれば、ビデオ信号またはビデオシーケンスは、複数のフレーム（画像またはイメージとも称される）から成る。
本明細書において使用される場合、セグメンテーションとは、画像または画像領域、特にビデオコーディングブロックを、２以上のセグメントまたはパーティションにパーティション化するプロセスである。ここでは三角形パーティションを紹介する。これは、対角または反対角方向のいずれかで、ＣＵを２つの三角形予測単位に分割する。２つの三角形予測単位を使用して、ＣＵを対角または反対角方向のいずれかで分割できる。
本明細書において用いられる場合、コーディングツリー単位（ＣＴＵ）は、フレームの一部（例えば、６４×６４個の画素）を含む、予め定義されたサイズのビデオシーケンスのコーディング構造のルートを示す。ＣＴＵは、複数のＣＵにパーティション化できる。
本明細書において使用される場合、コーディング単位（ＣＵ）は、ＣＴＵに属するフレームの一部を含む、予め定義されたサイズのビデオシーケンスの基本的なコーディング構造を示す。ＣＵは、更なるＣＵへパーティション化され得る。
本明細書において用いられる場合、予測単位（ＰＵ）は、ＣＵをパーティション化した結果であるコーディング構造を示す。
本明細書に記載されるデバイスおよび方法は、ビデオコーディング用途におけるインター予測に有用である、長方形ブロックパーティション化と併せて使用される、セグメンテーションベースのブロックパーティション化のための動き情報を表すために使用され得る。
本明細書において記載されるデバイスおよび方法は、自然のビデオシーケンスの時間的冗長性を利用するべく、画像間のインター予測に使用され得る。
このシナリオにおいて、２つの三角形予測単位を使用して、ＣＵを対角または反対角方向のいずれかに分割できる。ＣＵにおける各三角形予測単位は、動き候補リストから導出され得る自身の動きベクトルおよび１または複数の参照フレームインデックス（第１参照インデックスおよび／または第２参照インデックスなど）を有する。
本開示の全体的なアイデアは、以下のように要約できる。双予測動きベクトルは、三角形／幾何パーティションの少なくとも１つの４×４サブブロックについて、動きベクトル記憶が可能となるが、片方向動き補償のみが実行される。
前述の目的および他の目的は、独立請求項の主題により実現される。更なる実装形態が、従属請求項、明細書および図から明らかである。
本開示の態様によれば、コーディングブロック（またはイメージブロック）について動きベクトル（ＭＶ）を導出するための方法が提供され、方法は、
コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化されたコーディングブロックについてのマージ候補リストを生成する段階を備え、マージ候補リストを生成する段階は少なくとも、
近傍のコーディング単位から１または複数の空間的マージ候補を導出する段階と、
空間的マージ候補を導出した後に、１または複数の時間的動きベクトル予測（ＭＶＰ）を直接的に、または直ちに導出する段階と、
少なくともマージ候補リストに基づいて、それぞれの三角形パーティションの動きベクトルとして片予測ＭＶを導出する段階と
を含む。
「コーディングブロック」および「イメージブロック」という表現は、本出願全体を通して交換できることが理解できる。
例において、空間的マージ候補は、図８に図示されるように、ＨＥＶＣと同様の方式で導出される。空間的マージ候補は、Ａ０、Ａ１、Ｂ０、Ｂ１、およびＢ２と称される。最大で４つのマージ候補が、図８に示される位置に配置される候補から選択される。導出の順序は、Ａ１、Ｂ１、Ｂ０、Ａ０およびＢ２である。位置Ａ０、Ｂ０、Ｂ１、Ａ１のいずれかのＣＵが利用可能でない（例えば、別のスライスまたはタイルに属することに起因して）、または、イントラコーディングされるときのみ、位置Ｂ２が考慮される。位置Ａ０の候補がマージ候補リストＭＣＬに追加された後、残りの候補の追加が、同一の動き情報を有する候補がＭＣＬリストから除外されることを確実にする冗長チェックを受け、その結果、コーディング効率が改善される。
時間的動きベクトル予測（ＭＶＰ）は、図９において「６」または「７」で示されるような、コロケート参照画像に属する同一位置のＣＵに基づいて導出され、導出されたＭＶＰとなる。
２つの三角形パーティション、例えば、ＰＵ０およびＰＵ１は、図６に示されるように、対角または反対角に沿ったビデオコーディングブロックのパーティション化の結果であり得る。ブロックＰＵ０およびＰＵ１は次に、左下および右上の三角形部分、および、ビデオブロックの左上および右下の三角形部分をそれぞれ指し得る。ビデオブロックおよびビデオコーディングブロックという用語は同義語として使用される。「三角形パーティション（ｔｒｉａｎｇｌｅ ｐａｒｔｉｔｉｏｎ）」、「三角形ブロック（ｔｒｉａｎｇｌｅ ｂｌｏｃｋ）」、「三角形ブロック（ｔｒｉａｎｇｕｌａｒ ｂｌｏｃｋ）」、および「三角形パーティション（ｔｒｉａｎｇｕｌａｒ ｐａｒｔｉｔｉｏ）」という用語は、同義語として使用される。
ビデオコーディングブロックは、４×４の画素ブロックを含む、より小さいブロック単位に分割され得る。画素という用語はまた、サンプルを指し得る。従って、ビデオブロックの２つの三角形ブロックＰＵ０およびＰＵ１の各々は、図７に示されるような複数の４×４ブロック単位を含み得る。
ビデオブロックの対角または反対角上の４×４ブロック単位のサンプルは、三角形パーティションの１つに属する。三角形パーティション（すなわち、三角形ブロック）の各々を予測した後に、適応型の重みを用いたブレンド処理を使用して、対角または反対角の端に沿ったサンプル値が調節される。代替的に、ブレンド処理は、（反）対角の周囲の拡張された範囲にわたって実行され得る。
本開示の態様によれば、片予測ＭＶは、三角形マージモードについての片予測ＭＶ選択規則およびマージ候補リストに基づいて導出される。
本開示の態様によれば、マージ候補リストは、１または複数の片予測ＭＶおよび／または１または複数の双予測ＭＶを含む。
本開示の態様によれば、三角形マージモードについての片予測ＭＶ選択規則は、マージ候補リストの双予測ＭＶの第１ＭＶまたは第２ＭＶが片予測ＭＶとして選択されることを示す。
本開示の態様によれば、第１ＭＶは第１の参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）に対応し、第２ＭＶは第２参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）に対応する。
本開示の態様によれば、コーディングブロックについてのマージ候補リストを生成する方法が提供され、方法は、
コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化されたコーディングブロックについてのマージ候補リストを生成する段階を備え、マージ候補リストを生成する段階は少なくとも、
近傍のコーディング単位から１または複数の空間的マージ候補を導出する段階と、
空間的マージ候補を導出した後に、１または複数の時間的動きベクトル予測（ＭＶＰ）を直接的に、または直ちに導出する段階と、
１または複数の空間的マージ候補および導出された１または複数の時間的ＭＶＰをマージ候補リストに追加する段階と
を含み、１または複数の空間的マージ候補および／または１または複数の時間的ＭＶＰは、片予測ＭＶまたは双予測ＭＶを含む。
代替的に、空間的マージ候補を導出した後に、最大で１つの時間的動きベクトル予測（ＭＶＰ）が直接的に、および直ちに導出され得、導出された時間的ＭＶＰのうち最大で１つが、マージ候補リストに追加され得る。これは、候補６および７のそれぞれを通じて図９において例示される。
図９に示されるように、時間的候補の位置は、候補６および７の間で選択される。位置６のＣＵが利用可能でない場合、イントラコーディングされ、または、ＣＴＵの現在の行の外にあり、位置７が使用される。そうでなければ、位置６が時間的ＭＶＰ（すなわち、時間的マージ候補）の導出において使用される。
本開示の態様によれば、コーディングブロックの現在の三角形パーティションのインター予測の方法が提供され、方法は、
コーディングブロックが三角形マージモードについて有効である場合、コーディングブロックについてのマージ候補リストを生成する段階であって、マージ候補リストを生成する段階は少なくとも、近傍のコーディング単位から１または複数の空間的マージ候補を導出する段階と、空間的マージ候補を導出した後に、１または複数の時間的動きベクトル予測（ＭＶＰ）を直接的に、または直ちに導出する段階とを含む、段階と、
少なくともマージ候補リストに基づいて、現在の三角形パーティションの動きベクトルとして片予測ＭＶを導出する段階と、
少なくとも片予測ＭＶに基づいて、現在の三角形パーティションの予測を実行して、現在の三角形パーティションの予測値を取得する段階と
を備える。
本開示の態様によれば、サブブロックベースの時間的マージ候補の導出は、マージ候補リストの生成から除外される。
本開示の態様によれば、片予測ＭＶ選択規則は、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶおよびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶの両方が同一の参照画像に関する場合、第１ＭＶおよび第２ＭＶに基づく平均動きベクトルが、片予測ＭＶとして使用されること、または、
第１ＭＶの参照画像インデックスが、現在の画像への第２ＭＶの時間的距離（ＴＤ１）より小さい現在の画像への時間的距離（ＴＤ０）を有する参照画像に関する場合、第１ＭＶは片予測ＭＶとして使用されること、または、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが、第１ＭＶへの時間的距離より小さい現在の画像への時間的距離を有する参照画像に関する場合、第２ＭＶは片予測ＭＶとして使用されること、または、
現在の画像への時間的距離が第１ＭＶおよび第２ＭＶの両方について等しい場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶ、または、より小さい大きさを有するＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが片予測ＭＶとして使用されること
のいずれか１つである。
本開示の態様によれば、コーディングブロックについて動きベクトル（ＭＶ）を導出するための装置が提供され、装置は、
コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化されたコーディングブロックについてのマージ候補リストを生成するよう構成される候補リスト生成ユニットであって、マージ候補リストを生成する間に、１または複数の空間的マージ候補が近傍のコーディング単位から導出され、空間的マージ候補が導出された後に１または複数の時間的動きベクトル予測（ＭＶＰ）が直接的に、または直ちに導出される、候補リスト生成ユニットと、
少なくともマージ候補リストに基づいて、それぞれの三角形パーティションの動きベクトルとして片予測ＭＶを導出するよう構成されるインター予測処理ユニットと
を備える。
本開示の態様によれば、コーディングブロックについてのマージ候補リストを生成するための装置が提供され、装置は、
コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化されたコーディングブロックについてのマージ候補リストを生成するよう構成される候補リスト生成ユニットであって、マージ候補リストの生成の間に、１または複数の空間的マージ候補が近傍のコーディング単位から導出され、空間的マージ候補が導出された後に１または複数の時間的動きベクトル予測（ＭＶＰ）が直接的に、または、直ちに導出され、１または複数の空間的マージ候補および導出された１または複数の時間的ＭＶＰはマージ候補リストに追加される、候補リスト生成ユニットを備え、
１または複数の空間的マージ候補および／または１または複数の時間的ＭＶＰは、片予測ＭＶまたは双予測ＭＶを含む。
本開示の態様によれば、コーディングブロックの現在の三角形パーティションのインター予測のための装置が提供され、装置は、
コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化されたコーディングブロックについてのマージ候補リストを生成するよう構成される候補リスト生成ユニットであって、マージ候補リストの生成の間に、１または複数の空間的マージ候補が近傍のコーディング単位から導出され、空間的マージ候補が導出された後に１または複数の時間的動きベクトル予測（ＭＶＰ）が直接的に、または直ちに導出される、候補リスト生成ユニットと、
少なくともマージ候補リストに基づいてそれぞれの三角形パーティションの動きベクトルとして片予測ＭＶを導出し、少なくとも片予測ＭＶに基づいて現在の三角形パーティションの予測を実行して、現在の三角形パーティションの予測値を取得するよう構成されるインター予測処理ユニットと
を備える。
本開示の態様によれば、片予測ＭＶ選択規則は、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶおよびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶの両方が同一の参照画像に関する場合、第１ＭＶおよび第２ＭＶに基づく平均動きベクトルが、片予測ＭＶとして使用されること、または、
第１ＭＶの参照画像インデックスが、現在の画像への第２ＭＶの時間的距離（ＴＤ１）より小さい現在の画像への時間的距離（ＴＤ０）を有する参照画像に関する場合、第１ＭＶは片予測ＭＶとして使用されること、または、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが、第１ＭＶへの時間的距離より小さい現在の画像への時間的距離を有する参照画像に関する場合、第２ＭＶは片予測ＭＶとして使用されること、または、
現在の画像への時間的距離が第１ＭＶおよび第２ＭＶの両方について等しい場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶ、または、より小さい大きさを有するＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが片予測ＭＶとして使用されること
のいずれか１つである。
本開示の態様によれば、符号化ビデオ信号の現在のフレームのビデオコーディングブロックを復号するための復号装置（２００）が提供され、復号装置（２００）は、
残差ビデオコーディングブロックを提供するために、ビデオコーディングブロックを復号するよう構成される復号ユニット（２０５、２０７）と、
三角形マージモードについてのビデオコーディングブロックの三角形パーティションについて導出される片予測動きベクトル（ＭＶ）に基づいて予測ビデオコーディングブロックを生成することであって、双予測動きベクトル（ＭＶ）が三角形マージモードについて少なくとも１つの４×４サブブロックの動きベクトル記憶について可能である、こと、および、
片方向動き補償を実行すること
を行うよう構成されるインター予測ユニット（２１５）と、
フィルタリングされた予測ビデオコーディングブロックおよび残差ビデオコーディングブロックに基づいてビデオコーディングブロックを再構築するよう構成される再構築ユニット（２０９）と
を備える。
少なくとも１つの４×４サブブロックは、２つの三角形パーティションにパーティション化された現在のコーディングブロックの（反）対角線に沿って配置される４×４サブブロックの１つであり得る。
本開示の態様によれば、ビデオ信号の現在のフレームの、２つの三角形パーティションにパーティション化されるコーディングブロックの三角形マージモードについての片方向動き補償を実行するための装置が提供され、
装置は、
２つの三角形パーティションの各々について、三角形マージモードについての片予測ＭＶ選択規則およびマージ候補リストに基づいて、片予測動きベクトル（ＭＶ）を導出すること、
対応する片予測ＭＶを使用して、２つの三角形パーティションの各々の動き補償を実行すること、および、
２つの動き補償三角形パーティションに基づいて予測コーディングブロックを取得すること
を行うよう構成される処理回路を備える。
動き補償についての三角形ブロックの各々について片方向ＭＶのみを使用することは、三角形パーティション化されたビデオコーディングブロックについて、低い計算コストで効率的に動き補償を実行するという利点を提供し得る。言い換えれば、コーディング効率が改善される。同時に、動き補償についてのメモリ帯域幅は低いままである。これは、三角形モードにおいて、ビデオコーディングブロックがパーティション化される２つの三角形ブロックの各々が、片方向ＭＶによって動き補償されることに起因する。言い換えれば、ビデオコーディングブロックは、あたかもビデオコーディングブロックについての双予測ＭＶが使用されたかのように、動き補償される。
本開示の態様によれば、マージ候補リストは、片予測動きベクトル（ＭＶ）候補および／または双予測動きベクトル（ＭＶ）候補を含み、双予測ＭＶ候補は第１ＭＶおよび第２ＭＶを含む。
本開示の態様によれば、三角形マージモードについての片予測ＭＶ選択規則、および、マージ候補リストに基づく、片予測ＭＶの導出は、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶ、および、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶの両方が同一の参照画像に関する場合、第１ＭＶおよび第２ＭＶに基づく平均動きベクトルが片予測ＭＶとして導出されることを含む。
両方のＭＶが同一の参照画像を指すときに第１および第２ＭＶを平均化することによって双予測ＭＶから片方向ＭＶを導出することは、三角形ブロックについての動き補償をより正確に実行するという利点を提供し得る。
本開示の態様によれば、三角形マージモードについての片予測ＭＶ選択規則、および、マージ候補リストに基づく、片予測ＭＶの導出は、
第１ＭＶの参照画像インデックスが、現在の画像への第２ＭＶの時間的距離（ＴＤ１）より小さい現在の画像への時間的距離（ＴＤ０）を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶが、片予測ＭＶとして導出されること、または、
第２ＭＶが、第１ＭＶの時間的距離より小さい現在の画像への時間的距離（ＴＤ１）を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが片予測ＭＶとして導出されること
を含む。
実装例において、片予測ＭＶが導出され得るマージ候補リストからの双予測ＭＶも格納され得る。これは、更なる後処理に必要であり得る、特定の三角形ブロックについて格納される双予測ＭＶの高速アクセスの利点を提供し得る。従って、三角形ブロックについてのコーディング効率は、それぞれの双予測ＭＶの高速アクセスを介して更に改善され得る。
最小の時間的距離を有する１つのＭＶを使用することによって双予測ＭＶから片予測ＭＶを導出することは、動き補償をより正確に実行するという利点を提供し得る。これは、最小の時間的距離を有する双予測ＭＶのＭＶが、参照画像とのより強い時間的相関性を有することに起因する。従って、動き補償における誤差は更に最小化され得る。
本開示の態様によれば、三角形マージモードについての片予測ＭＶ選択規則、および、マージ候補リストに基づく、片予測ＭＶの導出は、
現在の画像への第１ＭＶおよび第２ＭＶの時間的距離が等しい場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶ、または、より小さい大きさを有するＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶは、片予測ＭＶとして導出されること
を含む。
例示的な一実施形態において、ＭＶの大きさ「ｍａｇ」は、２成分動きベクトルの成分ｍｖｘおよびｍｖｙの二乗の和から計算され得る。
ｍａｇ（ＭＶ）＝ｍｖｘ ２＋ｍｖｙ ２
ここで、ＭＶ＝（ｍｖｘ，ｍｖｙ）である。
代替的に、大きさは、ｐ‐ノルム（ｐ＞０）などの基準に従って決定され得る。ｐ＝２であるとき、ｐ‐ノルムは共通のユークリッドノルムになる。本開示の動きベクトルを含む、１成分または多成分ベクトルの大きさを決定するのに好適な他のノルムが使用され得る。
最小の大きさを有するＭＶを使用することによって双予測ＭＶから片予測ＭＶを導出することは、第１および第２ＭＶの時間的距離が同一である場合において、動き補償をより正確に実行するという利点を提供し得る。これは、参照画像へのＭＶの時間的距離に加えて、ＭＶの大きさも、現在のビデオブロックについての動き情報の導出の指標であることに起因する。このことは、より小さい大きさを有するＭＶの動き情報が、三角形ブロックの動き補償より好適であり得ることを意味する。動き情報の差が、より大きい大きさを有するＭＶより小さいからである。従って、動き補償は非常に正確であり得る。
本開示の前述の態様において、双予測ＭＶの第１および第２ＭＶが、（ｉ）同一の参照画像を指し、（ｉｉ）異なる時間的距離を有し、（ｉｉｉ）異なる大きさを有するかどうかに応じて、片予測ＭＶは、指定された規則のいずれかによって別個に導出され得る。
（ｉ）第１および第２ＭＶが同一の参照画像を指すかどうかをチェックし、（ｉｉ）どの時間的距離が最小であるかをチェックし、続いて最後に、（ｉｉｉ）どの大きさが最小であるかをチェックするという順序に従って、双予測ＭＶから片予測ＭＶを導出することは、階層に従って双予測ＭＶから段階的方式で片予測ＭＶを導出するという利点を提供し得る。
この階層は、規則のいずれか（各々、「例えばｉｆ条件」の観点で指定される）がテストされ得る順序で決定され得る。ここで、上記階層は、（１）参照画像、（２）時間的距離および（３）大きさに基づき得る。従って、（１）から（３）の特定の順序は、双予測ＭＶから高品質の片方向ＭＶを導出するという利点を提供し得る。このことは、三角形ブロックについての動き補償が、そのような階層的に導出されたＭＶの使用しよって、より正確に実行され得ることを意味する。
本開示の態様によれば、三角形マージモードについての片予測ＭＶ選択規則、および、マージ候補リストに基づく、片予測ＭＶの導出は、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶ、および、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶの両方が同一の参照画像に関する場合、第１ＭＶおよび第２ＭＶに基づく平均動きベクトルが、片予測ＭＶとして導出されること、または、
第１ＭＶの参照画像インデックスが、現在の画像の第２ＭＶの時間的距離（ＴＤ１）より小さい現在の画像の時間的距離（ＴＤ０）を有する参照画像に関する場合、第１ＭＶは片予測ＭＶとして導出されること、または、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが、第１ＭＶへの時間的距離より小さい現在の画像への時間的距離を有する参照画像に関する場合、第２ＭＶは片予測ＭＶとして導出されること、または、
現在の画像への時間的距離が、第１ＭＶおよび第２ＭＶの両方について等しい場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶ、または、より小さい大きさを有するＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが、片予測ＭＶ候補として導出されること
を含む。
本開示の態様によれば、ビデオ信号の現在のフレームのコーディングブロックを符号化するための符号化装置（２０）が提供され、符号化装置（２０）は、
残差コーディングブロックを提供するための、コーディングブロックを符号化するよう構成される符号化ユニット（２０４、２７０）と、
前述の態様に記載の予測コーディングブロックを生成するよう構成されるインター予測ユニット（２４４）と、
予測コーディングブロック、および、残差コーディングブロックに基づいて、コーディングブロックを再構築するよう構成される再構築ユニット（２１４）と
を備える。
本開示の態様によれば、ビデオ信号の現在のフレームのコーディングブロックを復号するための復号装置（３０）が提供され、復号装置（３０）は、
残差コーディングブロックを提供するために、コーディングブロックを復号するよう構成される復号ユニット（３０４）と、
前述の態様のいずれか一 項に記載の、予測コーディングブロックを生成するよう構成されるインター予測ユニット（３４４）と、
予測コーディングブロック、および、残差コーディングブロックに基づいて、コーディングブロックを再構築するよう構成される再構築ユニット（３１４）と
を備える。
本開示の態様によれば、本開示の前述の態様のいずれか一項に記載の方法を実行するための処理回路を備えるエンコーダが提供される。
本開示の態様によれば、本開示の前述の態様のいずれか一項に記載の方法を実行するための処理回路を備えるデコーダが提供される。
本開示の態様によれば、本開示の前述の態様のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品が提供される。
本開示の態様によれば、デコーダが提供され、デコーダは、
１または複数のプロセッサと、
プロセッサに連結され、プロセッサによる実行のためのプログラムを格納する非一時的コンピュータ可読記憶媒体であって、プログラムは、プロセッサによって実行されるとき、本開示の前述の態様のいずれか一項に記載の方法を実行するようデコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備える。
本開示の態様によれば、エンコーダが提供され、エンコーダは、
１または複数のプロセッサと、
プロセッサに連結され、プロセッサによる実行のためのプログラムを格納する非一時的コンピュータ可読記憶媒体であって、プログラムは、プロセッサによって実行されるとき、本開示の前述の態様のいずれか一項に記載の方法を実行するようエンコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備える。
本開示の前述の態様のいずれかによるデコーダおよびエンコーダは、計算の複雑性および記憶要件を増加させることなく、より正確にビデオ符号化および復号を行うという利点を提供し得る。これは特に、本開示の前述の態様のいずれかによる片予測ＭＶの導出を利用するインター予測に当てはまる。
方法の段階の関連する本開示の前述の態様のいずれかによる、双予測ＭＶから導出される片方向ＭＶを使用して動き補償を実行する方法は、装置に関連する対応する態様と同一の利点を提供し得る。
ある態様によれば、本発明は、プロセッサおよびメモリを含む、ビデオストリームを復号するための装置に関する。メモリは、前述の方法の態様のいずれか１つによる方法をプロセッサに実行させる命令を格納する。
ある態様によれば、本発明は、プロセッサおよびメモリを含む、ビデオストリームを符号化するための装置に関する。メモリは、前述の方法の態様のいずれか１つによる方法をプロセッサに実行させる命令を格納する。
ある態様によれば、実行されるときに、１または複数のプロセッサにビデオデータをコーディングさせる命令を格納するコンピュータ可読記憶媒体が提案される。命令は１または複数のプロセッサに、前述の態様のいずれか１つ、または、前述の態様のいずれか１つの任意の可能な実施形態による方法を実行させる。
ある態様によれば、本発明は、コンピュータ上で実行されるとき、前述の態様のいずれか１つ、または、前述の態様のいずれか１つの任意の可能な実施形態による方法を実行するためのプログラムコードを含むコンピュータプログラムに関する。
１または複数の実施形態の詳細は、添付図面および以下の説明に記載されている。他の特徴、目的、および利点が、本明細書、図面、および特許請求の範囲から明らかになるであろう。本発明は、ハードウェアおよび／またはソフトウェアで実装されてよい。
明確にすることを目的に、前述の実施形態のうちのいずれか１つは、本開示の範囲内の新たな実施形態を作成するために、その他の前述の実施形態のうちの任意の１または複数と組み合わされてよい。
これらの特徴および他の特徴は、添付図面および特許請求の範囲と併せて用いられる以下の詳細な説明によって明確に理解されるであろう。
本発明の更なる実施形態は、以下の図を参照して説明される。以下において、本発明の実施形態は、添付の図および図面を参照してより詳細に説明される。
本発明の実施形態を実装するように構成されるビデオコーディングシステムの例を示すブロック図である。 本発明の実施形態を実装するように構成されるビデオコーディングシステムの別の例を示すブロック図である。 本発明の実施形態を実装するように構成されるビデオエンコーダの例を示すブロック図である。 本発明の実施形態を実装するように構成されるビデオデコーダの例示的な構造を示すブロック図である。 符号化装置または復号装置の例を図示するブロック図である。 符号化装置または復号装置の別の例を図示するブロック図である。 インター画像予測のための三角形ブロックパーティション化を図示する概略図を示す。 三角形パーティションのための動きベクトル記憶の曖昧性を図示する概略図を示す。 マージリスト導出についてチェックされた空間的位置を図示する概略図を示す。 三角形パーティションについてのＪＶＥＴ－Ｌ０１２４をにおいて指定される空間的および時間的ＭＶ位置を図示する概略図を示す。 三角形パーティションについてのＪＶＥＴ－Ｌ０１２４において提案される動きベクトル記憶を図示する概略図を示す。 動きベクトル導出のための方法のフローチャートを示す。 マージ候補リスト生成のための方法のフローチャートを示す。 インター予測についての方法のフローチャートを示す。 マージリスト生成、マージ候補選択、および、片予測ＭＶ導出を組み合わせた段階のフローチャートを示す。 一定の規則による三角形パーティション（ＰＵ０）についての動きベクトル記憶を図示する概略図を示す。 一定の規則による三角形パーティション（ＰＵ１）についての動きベクトル記憶を図示する概略図を示す。 実際の予測に使用される双予測動きベクトル（赤）と、記憶のみに使用される双予測動きベクトル（黒）との間の差異の視覚化を図示する概略図を示す。 ＭＶ導出装置の概略図を示す。 ＭＣＬ生成装置の概略図を示す。 インター予測装置の概略図を示す。 復号装置の概略図を示す。 インター予測装置についての概略図を示す。 コンテンツ配信サービスを提供するコンテンツ供給システムの構造の例を示すブロック図である。 端末デバイスの例の構造を示すブロック図である。 様々な図において、同一の参照符号は、同一であるか、または少なくとも機能的に同等の特徴について用いられる。
本発明を詳細に説明するべく、以下の用語、略語、および表記が使用される。
ＨＥＶＣ 高効率ビデオコーディング
ＣＵ コーディング単位
ＣＴＵ コーディングツリー単位
ＰＵ 予測単位
ＰＢ 予測ブロック
ＭＶ 動きベクトル
ＰＯＣ 画像順序カウント
以下の説明では、本開示の一部を形成する添付図面が参照される。添付図面には、例として、本発明が提起され得る特定の態様が示される。他の態様が利用され得ること、および本発明の範囲から逸脱することなく構造的または論理的な変更が行われ得ることが理解される。従って、以下の詳細な説明は、制限的な意味で解釈されるべきではなく、本発明の範囲は、添付の特許請求の範囲によって定義される。
例えば、説明される方法に関連する開示も、当該方法を実行するように構成される対応するデバイスまたはシステムについて当てはまり得ること、そしてその逆も同様であることが理解される。例えば、特定の方法の段階が説明される場合、対応するデバイスは、説明される方法の段階を実行するためのユニットを、そのようなユニットが明確に説明されないか、または図示されない場合でも、含み得る。更に、本明細書において説明される様々な例示的な態様の特徴は、特に別段の記載がない限り、互いに組み合わされ得ることが理解される。
例えば、１または複数の特定の方法の段階が説明されている場合、対応するデバイスは、記載された１または複数の方法の段階を実行するために１または複数のユニット、例えば機能ユニットを含むことができ（例えば、１または複数の段階を実行する１つのユニット、またはそれぞれが複数の段階の１または複数を実行する複数のユニット）、そのような１または複数のユニットが図に明示的に説明または図示されていない場合であっても同様である。他方、例えば、特定の装置が１または複数のユニット、例えば機能ユニットに基づいて説明される場合、対応する方法は、１または複数のユニットの機能を実行するための１つの段階を含み得（例えば、１または複数のユニットの機能を実行する１つの段階、または複数のユニットの１または複数の機能をそれぞれ実行する複数の段階）、そのような１または複数の段階が図に明示的に説明または図示されていない場合であっても同様である。更に、特に断りのない限り、本明細書で説明する様々な例示的な実施形態および／または態様の特徴を互いに組み合わせることができることが理解される。
ビデオコーディングは典型的には、ビデオまたはビデオシーケンスを形成する一連の画像の処理を意味する。画像という用語の代わりに、「フレーム」または「イメージ」という用語が、ビデオコーディングの分野での同義語として使用されてもよい。ビデオコーディング（または一般的にコーディング）は、２つの部分、すなわちビデオ符号化とビデオ復号で構成される。ビデオ符号化は送信元側で実行され、典型的には、元のビデオ画像の処理（例えば、圧縮によって）を含み、ビデオ画像を表すために必要なデータ量を削減する（より効率的な記憶および／または送信のため）。ビデオ復号は送信先側で実行され、典型的には、ビデオ画像を再構築するためにエンコーダと比較して逆の処理を含む。ビデオ画像（または一般的に画像）の「コーディング」に言及する実施形態は、ビデオ画像またはそれぞれのビデオシーケンスの「符号化」または「復号」に関するものと理解されるべきである。符号化部分と復号部分の組み合わせは、コーデック（コーディングおよび復号）とも称される。
無損失ビデオコーディングの場合、元のビデオ画像を再構築でき、すなわち、再構築されたビデオ画像は元のビデオ画像と同じ品質である（保存中または伝送中に伝送損失またはその他のデータ損失がないと仮定して）。不可逆ビデオコーディングの場合、例えば量子化などの更なる圧縮が実行され、デコーダで完全に再構築できないビデオ画像を表すデータ量が削減され、すなわち、再構築されたビデオ画像の品質は、元のビデオ画像の品質と比較して低くなったり悪くなったりする。
複数のビデオコーディング標準は、「不可逆ハイブリッドビデオコーデック」のグループに属している（すなわち、サンプル領域での空間的および時間的予測と、変換領域で量子化を適用するための２Ｄ変換コーディングを組み合わせる）。ビデオシーケンスの各画像は、典型的には、非重複ブロックのセットへとパーティション化され、典型的には、コーディングはブロックレベルで実行される。換言すれば、エンコーダでは、ビデオは典型的には、ブロック（ビデオブロック）レベルで処理、すなわち、符号化され、例えば、空間的（イントラ画像）予測および／または時間的（インター画像）予測を使用して予測ブロックを生成し、現在ブロック（現在処理中／処理予定のブロック）から予測ブロックを減算して残差ブロックを取得し、残差ブロックを変換し、変換領域残差ブロックを量子化して、送信するデータ量を削減（圧縮）し、デコーダは、エンコーダと比較して逆の処理を符号化または圧縮されたブロックに適用して、現在ブロックを再構築して表示する。更に、エンコーダがデコーダの処理ループを繰り返すことにより、両方が同一の予測（例えば、イントラ予測およびインター予測）および／または再構築物を、次のブロックを処理するために、すなわちコーディングするために生成することになる。
ビデオコーディングシステム１０の以下の実施形態において、ビデオエンコーダ２０およびビデオデコーダ３０は図１Ａから図３に基づいて説明される。
図１Ａは、本願の技法を利用し得るコーディングシステム１０、例えばビデオコーディングシステム１０（または略してコーディングシステム１０）の例を図示する概略ブロック図である。ビデオコーディングシステム１０のビデオエンコーダ２０（または略してエンコーダ２０）およびビデオデコーダ３０（または略してデコーダ３０）は、本願において説明される様々な例による技法を実行するよう構成され得るデバイスの例を表す。
図１Ａに示されるように、コーディングシステム１０は、例えば、符号化された画像データ２１を復号するために送信先デバイス１４へ、符号化された画像データ２１を提供するよう構成される送信元デバイス１２を含む。
送信元デバイス１２はエンコーダ２０を含み、追加的に、すなわち、任意で、画像ソース１６、プリプロセッサ（または前処理ユニット）１８、例えば、画像プリプロセッサ１８、および、通信インタフェースまたは通信ユニット２２を含み得る。
画像ソース１６は、任意の種類の画像キャプチャデバイス、例えば、現実世界の画像を取り込むためのカメラ、および／または、任意の種類の画像生成デバイス、例えば、コンピュータアニメーション画像を生成するためのコンピュータグラフィックスプロセッサ、または、現実世界の画像、コンピュータ生成画像（例えば画面コンテンツ、仮想現実（ＶＲ）画像）、および／または、それらの任意の組み合わせ（例えば、拡張現実（ＡＲ）画像）を取得および／または提供するための任意の種類の他のデバイスを含み得る、またはそれらであり得る。画像ソースは、上述の画像のいずれかを格納する任意の種類のメモリまたはストレージであり得る。
プリプロセッサ１８および前処理ユニット１８によって実行される処理とは異なり、画像または画像データ１７は、未処理画像または未処理画像データ１７とも称され得る。
プリプロセッサ１８は、（未処理）画像データ１７を受信し、画像データ１７に対して前処理を実行して、前処理された画像１９または前処理された画像データ１９を取得するよう構成される。プリプロセッサ１８によって実行される前処理は、例えば、トリミング、色フォーマット変換（例えば、ＲＧＢからＹＣｂＣｒ）、色補正、またはノイズ除去を含み得る。前処理ユニット１８は任意のコンポーネントであり得ると理解できる。
ビデオエンコーダ２０は、前処理された画像データ１９を受信して、符号化された画像データ２１を提供するよう構成される（更なる詳細は、例えば図２に基づいて下で説明される）。
送信元デバイス１２の通信インタフェース２２は、符号化された画像データ２１を受信し、符号化された画像データ２１（または、任意の更に処理されたそのバージョン）を、記憶または直接再構築のために、通信チャネル１３を介して別のデバイス、例えば、送信先デバイス１４または任意の他のデバイスへ送信するよう構成され得る。
送信先デバイス１４は、デコーダ３０（例えばビデオデコーダ３０）を含み、追加的に、すなわち任意選択的に、通信インタフェースまたは通信ユニット２８、ポストプロセッサ３２（または後処理ユニット３２）およびディスプレイデバイス３４を含み得る。
送信先デバイス１４の通信インタフェース２８は、例えば、直接的に送信元デバイス１２から、または、任意の他のソース、例えば、ストレージデバイス、例えば、符号化された画像データのストレージデバイスから、符号化された画像データ２１（または、その任意の更に処理されたバージョン）を受信し、符号化された画像データ２１をデコーダ３０へ提供するよう構成される。
通信インタフェース２２および通信インタフェース２８は、送信元デバイス１２と送信先デバイス１４との間の直接通信リンク、例えば、直接的な有線または無線接続を介して、または、任意の種類のネットワーク、例えば、有線もしくは無線ネットワーク、または、それらの任意の組み合わせ、または、任意の種類のプライベートおよびパブリックネットワーク、または、任意の種類のそれらの組み合わせを介して、符号化された画像データ２１または符号化されたデータ１３を送信または受信するよう構成され得る。
通信インタフェース２２は例えば、符号化された画像データ２１を適切なフォーマット、例えばパケットにパッケージ化し、および／または、通信リンクまたは通信ネットワークを介した伝送のために任意の種類の伝送符号化または処理を使用して、符号化された画像データを処理するよう構成され得る。
通信インタフェース２２に相当するものを形成する通信インタフェース２８は、例えば、送信されたデータを受信し、任意の種類の対応する送信復号または処理、および／または、パッケージ解除を使用することにより、送信データを処理して、符号化された画像データ２１を取得するよう構成され得る。
通信インタフェース２２および通信インタフェース２８は両方とも、送信元デバイス１２から送信先デバイス１４を指している、図１Ａにおける通信チャネル１３についての矢印によって示されるような単方向通信インタフェース、または、双方向通信インタフェースとして構成され得、例えば、メッセージを送信および受信し、例えば、接続を設定し、通信リンクおよび／またはデータ送信、例えば、符号化された画像データ送信に関連する任意の他の情報を確認および交換するよう構成され得る。
デコーダ３０は、符号化された画像データ２１を受信し、復号された画像データ３１または復号された画像３１を提供するよう構成される（更なる詳細は、例えば図３または図５に基づいて以下で説明される）。
送信先デバイス１４のポストプロセッサ３２は、復号された画像データ３１（再構築された画像データとも称される）、例えば、復号された画像３１を後処理して、後処理された画像データ３３、例えば、後処理された画像３３を取得するよう構成される。後処理ユニット３２により行われる後処理は、例えば、復号された画像データ３１を、例えば、ディスプレイデバイス３４による表示のために準備する目的で、例えば、色フォーマット変換（例えば、ＹＣｂＣｒからＲＧＢへの変換）、色補正、トリミング、もしくは再サンプリング、または任意の他の処理を含んでよい。
送信先デバイス１４のディスプレイデバイス３４は、画像を例えばユーザまたは視聴者に表示するための後処理された画像データ３３を受信するよう構成される。ディスプレイデバイス３４は、再構築された画像を表示するための任意の種類のディスプレイ、例えば、一体型または外部ディスプレイまたはモニタであってもよく、またはこれを含んでもよい。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、液晶オンシリコン（ＬＣｏＳ）、デジタル光プロセッサ（ＤＬＰ）、または任意の種類の他のディスプレイを含んでよい。
図１Ａは送信元デバイス１２および送信先デバイス１４を別個のデバイスとして示しているが、デバイスの実施形態はまた、両方または両方の機能、送信元デバイス１２または対応する機能、および、送信先デバイス１４または対応する機能を含み得る。そのような実施形態では、送信元デバイス１２または対応する機能および送信先デバイス１４または対応する機能は、同じハードウェアおよび／またはソフトウェアを用いて、または別個のハードウェアおよび／またはソフトウェアまたはこれらの任意の組み合わせで実装されてよい。
説明に基づいて当業者には明らかとなるように、図１Ａに示されるような、異なるユニットの機能、または、送信元デバイス１２および／または送信先デバイス１４内の機能の存在および（厳密な）分割は、実際のデバイスと用途に応じて変動し得る。
エンコーダ２０（例えばビデオエンコーダ２０）およびデコーダ３０（例えばビデオデコーダ３０）の各々は、１または複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジックハードウェア、または、それらの任意の組み合わせなど、図１Ｂに示されるような任意の様々な好適な回路として実装され得る。これらの技法がソフトウェアで部分的に実装される場合、デバイスがそのソフトウェア用の命令を好適な非一時的コンピュータ可読記憶媒体に格納してよく、１または複数のプロセッサを用いるハードウェアで命令を実行して、本開示の技法を実行してよい。前述のいずれか（ハードウェア、ソフトウェア、ハードウェアおよびソフトウェアの組み合わせなどを含む）は、１または複数のプロセッサであるとみなされ得る。ビデオエンコーダ２０およびビデオデコーダ３０のそれぞれは、１または複数のエンコーダまたはデコーダに含まれてよく、そのうちのいずれかはそれぞれのデバイスに一体型エンコーダ／デコーダ（コーデック）の一部として組み込まれてもよい。
送信元デバイス１２および送信先デバイス１４は、任意の種類のハンドヘルドまたは固定デバイス、例えばノートブックまたはラップトップコンピュータ、携帯電話、スマートフォン、タブレットまたはタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス（コンテンツサービスサーバ、または、コンテンツ配信サーバなど）、放送受信デバイス、放送送信デバイス、または同様のものなどを含む幅広い範囲のデバイスのいずれかを含み得、任意の種類のオペレーティングシステムを使用しても、または使用しなくてもよい。いくつかの場合、送信元デバイス１２および送信先デバイス１４は無線通信のための装備を有し得る。従って、送信元デバイス１２および送信先デバイス１４は無線通信デバイスであり得る。
いくつかの場合において、図１Ａにおいて図示されるビデオコーディングシステム１０は単に例であり、本願の技法は、符号化デバイスと復号デバイスとの間の任意のデータ通信を必ずしも含まないビデオコーディング設定（例えば、ビデオ符号化またはビデオ復号）に適用され得る。他の例において、データがローカルメモリから取得され、ネットワークなどを介してストリーミングされる。ビデオ符号化デバイスは、データを符号化してメモリに格納し得、および／または、ビデオ復号デバイスは、データをメモリから取得して復号し得る。いくつかの例において、符号化および復号は、互いに通信することなく単純にデータをメモリに符号化し、および／または、メモリからデータを取得および復号するデバイスによって実行される。
図１Ｂは、例示的な実施形態による、図２のエンコーダ２０および／または図３のデコーダ３０を含む別の例示的なビデオコーディングシステム４０の説明図である。システム４０は、本願において説明される様々な例による技法を実装できる。図示された実装において、ビデオコーディングシステム４０は、イメージングデバイス４１、ビデオエンコーダ１００、ビデオデコーダ３０（および／または処理ユニット４６の論理回路４７を介して実装されるビデオコーダ）、アンテナ４２、１または複数のプロセッサ４３、１または複数メモリストア４４、および／または、ディスプレイデバイス４５を含み得る。
図示されるように、イメージングデバイス４１、アンテナ４２、処理ユニット４６、論理回路４７、ビデオエンコーダ２０、ビデオデコーダ３０、プロセッサ４３、メモリストア４４、および／または、ディスプレイデバイス４５は、互いに通信可能であり得る。説明されるように、ビデオエンコーダ２０およびビデオデコーダ３０の両方を用いて図示されるが、ビデオコーディングシステム４０は、様々な例において、ビデオエンコーダ２０のみ、または、ビデオデコーダ３０のみを含み得る。
示されるように、いくつかの例において、ビデオコーディングシステム４０はアンテナ４２を含み得る。アンテナ４２は、例えば、ビデオデータの符号化されたビットストリームを送信または受信するよう構成され得る。更に、いくつかの例において、ビデオコーディングシステム４０はディスプレイデバイス４５を含み得る。ディスプレイデバイス４５は、ビデオデータを提示するよう構成され得る。示されるように、いくつかの例において、論理回路４７は処理ユニット４６を介して実装され得る。処理ユニット４６は、特定用途向け集積回路（ＡＳＩＣ）ロジック、グラフィックスプロセッサ、汎用プロセッサ等を含み得る。また、ビデオコーディングシステム４０は、任意選択のプロセッサ４３も含み得、任意選択のプロセッサ４３は、同様に、特定用途向け集積回路（ＡＳＩＣ）ロジック、グラフィックスプロセッサ、汎用プロセッサ等を含み得る。いくつかの例において、論理回路４７は、ハードウェア、またはビデオコーディング専用ハードウェア等で実装されてよく、プロセッサ４３は、汎用ソフトウェア、またはオペレーティングシステム等で実装されてよい。加えて、メモリストア４４は、揮発性メモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）など）、または不揮発性メモリ（例えば、フラッシュメモリなど）等、任意のタイプのメモリであってもよい。非限定的な例において、メモリストア４４は、キャッシュメモリにより実装され得る。いくつかの例において、論理回路４７は、メモリストア４４（例えば、イメージバッファの実装用）にアクセスし得る。他の例において、論理回路４７および／または処理ユニット４６は、イメージバッファ等を実装するメモリストア（例えば、キャッシュ等）を含み得る。
いくつかの例において、論理回路を介して実装されるビデオエンコーダ２０は、（例えば、処理ユニット４６またはメモリストア４４のいずれかを介する）イメージバッファおよびグラフィックス処理ユニット（例えば、処理ユニット４６を介する）を含み得る。グラフィックス処理ユニットはイメージバッファに通信可能に連結され得る。図２に関して記載された様々なモジュールおよび／または本明細書に記載された他の任意のエンコーダシステムまたはサブシステムを具現化すべく、グラフィックス処理ユニットは、論理回路４７を介して実装されるビデオエンコーダ２０を含み得る。論理回路は、本明細書において説明されるような様々な動作を実行するよう構成され得る。
ビデオデコーダ３０は、図３のデコーダ３０に関して説明されるような様々なモジュール、および／または、本明細書において説明される任意の他のデコーダシステムまたはサブシステムを具現化するために、論理回路４７を介して実装されるのと同様の方式で実装され得る。いくつかの例において、論理回路を介して実装されるビデオデコーダ３０は、イメージバッファ（例えば、処理ユニット４６またはメモリストア４４のいずれかを介する）およびグラフィックス処理ユニット（例えば処理ユニット４６を介する）を含み得る。グラフィックス処理ユニットはイメージバッファに通信可能に連結され得る。図３に関し記載された様々なモジュールおよび／または本明細書に記載された他の任意のデコーダシステムまたはサブシステムを具現化すべく、グラフィックス処理ユニットは、論理回路４７を介して実装されるビデオデコーダ３０を含み得る。
いくつかの例において、ビデオコーディングシステム４０のアンテナ４２は、ビデオデータの符号化されたビットストリームを受信するように構成されてよい。説明されるように、符号化されたビットストリームは、コーディングパーティションに関連するデータ（例えば、変換係数または量子化変換係数、（説明されるような）任意選択のインジケータ、および／または、コーディングパーティションを定義するデータ）など、本明細書において説明されるようなビデオフレームの符号化に関連するデータ、インジケータ、インデックス値、またはモード選択データなどを含み得る。ビデオコーディングシステム４０は、アンテナ４２に連結され、かつ、符号化されたビットストリームを復号するよう構成されたビデオデコーダ３０も含んでよい。ディスプレイデバイス４５は、ビデオフレームを提示するように構成される。
説明の便宜上、本発明の実施形態は、本明細書において、例えば、高効率ビデオコーディング（ＨＥＶＣ）またはバーサタイルビデオコーディング（ＶＶＣ）の参照ソフトウェア、ＩＴＵ－Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）およびＩＳＯ／ＩＥＣ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）のＪｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｏｎ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ－ＶＣ）によって開発された次世代ビデオコーディング規格を参照して説明される。当業者であれば、本発明の実施形態がＨＥＶＣまたはＶＶＣに限定されないことを理解するであろう。
エンコーダおよび符号化方法
図２は、本願の技法を実装するよう構成される例示的なビデオエンコーダ２０の概略ブロック図を示す。図２の例において、ビデオエンコーダ２０は、入力部２０１（または入力インタフェース２０１）、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０、および逆変換処理ユニット２１２、再構築ユニット２１４、ループフィルタユニット２２０、復号画像バッファ（ＤＰＢ）２３０、モード選択ユニット２６０、エントロピー符号化ユニット２７０、および、出力部２７２（または出力インタフェース２７２）を含む。モード選択ユニット２６０は、インター予測ユニット２４４、イントラ予測ユニット２５４、およびパーティション化ユニット２６２を含み得る。インター予測ユニット２４４は、動き推定ユニットおよび動き補償ユニットを含んでよい（図示せず）。図２に示すビデオエンコーダ２０は、ハイブリッドビデオエンコーダまたはハイブリッドビデオコーデックによるビデオエンコーダとも称されることがある。
残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、モード選択ユニット２６０は、エンコーダ２０の順方向信号経路を形成していると表現され得、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構築ユニット２１４、バッファ２１６、ループフィルタ２２０、復号画像バッファ（ＤＰＢ）２３０、インター予測ユニット２４４、およびイントラ予測ユニット２５４は、ビデオエンコーダ２０の逆方向信号経路を形成していると表現され得、ここで、ビデオエンコーダ２０の逆方向信号経路は、デコーダの信号経路に対応する（図３のビデオデコーダ３０を参照）。逆量子化ユニット２１０、逆変換処理ユニット２１２、再構築ユニット２１４、ループフィルタ２２０、復号画像バッファ（ＤＰＢ）２３０、インター予測ユニット２４４、およびイントラ予測ユニット２５４はまた、ビデオエンコーダ２０の「内蔵デコーダ」を形成していると表現される。
画像および画像パーティション化（画像およびブロック）
エンコーダ２０は、例えば、入力部２０１を介して、画像１７（または画像データ１７）、例えば、ビデオまたはビデオシーケンスを形成する一連の画像のうちの画像を受信するよう構成され得る。受信された画像または画像データはまた、前処理された画像１９（または前処理された画像データ１９）であり得る。簡潔にするために、以下の説明は画像１７に関する。画像１７はまた、（特に、ビデオコーディングにおいて、同一のビデオシーケンス、すなわち、現在の画像も含むビデオシーケンスのうちの現在の画像を他の画像、例えば、以前に符号化された、および／または、復号された画像から区別するために）現在の画像、または、コーディングされる画像とも称され得る。
（デジタル）画像は、強度値を持つサンプルの２次元アレイまたはマトリクスであるか、またはそれとみなされ得る。アレイ内のサンプルは、画素（画像要素の短縮形）またはペルとも称され得る。アレイまたは画像の横方向および縦方向（または軸）のサンプル数は、画像のサイズおよび／または解像度を定義する。色を表現するために、典型的には３つの色成分が使用され、すなわち、画像が表され得るか、または３つのサンプルアレイを含み得る。ＲＢＧ形式または色空間では、画像は対応する赤、緑、および青のサンプルアレイを含む。しかしながら、ビデオコーディングでは、各画素は典型的には、ルミナンス／クロミナンス形式または色空間で表され、例えば、Ｙ（代わりにＬが使用されることもある）で示されるルミナンス成分と、ＣｂおよびＣｒで示される２つのクロミナンス成分で構成されるＹＣｂＣｒなどで表される。ルミナンス（または短縮してルマ（ｌｕｍａ））成分Ｙは、輝度または（例えば、グレースケール画像でのような）グレーレベルの強度を表し、２つのクロミナンス（または短縮してクロマ（ｃｈｒｏｍａ））成分であるＣｂおよびＣｒは、色度または色情報成分を表す。従って、ＹＣｂＣｒ形式の画像は、ルミナンスサンプル値（Ｙ）のルミナンスサンプルアレイ、およびクロミナンス値（ＣｂおよびＣｒ）の２つのクロミナンスサンプルアレイを含む。ＲＧＢ形式の画像は、ＹＣｂＣｒ形式に転換または変換することができ、その逆も同様であり、このプロセスは、色変換または転換とも称される。画像が単色の場合、画像はルミナンスサンプルアレイのみで構成され得る。従って、画像は例えば、単色フォーマットのルマサンプルのアレイ、または、４：２：０、４：２：２、および、４：４：４の色フォーマットであるルマサンプルのアレイ、および、クロマサンプルの２つの対応するアレイであり得る。
ビデオエンコーダ２０の実施形態は、画像１７を複数の（典型的には非重複の）画像ブロック２０３にパーティション化するよう構成される画像パーティション化ユニット（図２において図示されない）を含み得る。これらのブロックは、ルートブロック、マクロブロック（Ｈ．２６４／ＡＶＣ）またはコーディングツリーブロック（ＣＴＢ）またはコーディングツリー単位（ＣＴＵ）（Ｈ．２６５／ＨＥＶＣおよびＶＶＣ）とも称され得る。画像パーティション化ユニットは、ブロックサイズを定義するビデオシーケンスおよび対応するグリッドのすべての画像に同じブロックサイズを使用するか、または、画像間もしくはサブセット間もしくは画像グループ間でブロックサイズを変更し、各画像を対応するブロックにパーティション化するように構成され得る。
更なる実施形態において、ビデオエンコーダは、画像１７のブロック２０３（例えば、画像１７を形成する１つ、複数、またはすべてのブロック）を直接的に受信するよう構成され得る。画像ブロック２０３はまた、現在の画像ブロック、または、コーディングされる画像ブロックとも称され得る。
画像１７と同様に、画像ブロック２０３もまた、画像１７よりも小さい寸法であるが、強度値（サンプル値）を有するサンプルの２次元アレイまたはマトリクスであるか、またはそれとみなすことができる。換言すれば、ブロック２０３は、例えば、１つのサンプルアレイ（例えば、単色画像１７の場合はルマアレイ、または、カラー画像の場合はルマもしくはクロマアレイ）、または、３つのサンプルアレイ（例えば、カラー画像１７の場合はルマおよび２つのクロマアレイ）、または、適用される色フォーマットに応じて、任意の他の数および／または種類のアレイを含み得る。ブロック２０３の横方向および縦方向（または軸）のサンプルの数は、ブロック２０３のサイズを定義する。従って、ブロックは例えば、Ｍ×Ｎ（Ｍ列×Ｎ行）のアレイのサンプル、または、Ｍ×Ｎのアレイの変換係数であり得る。
図２に示されるようなビデオエンコーダ２０の実施形態は、ブロックごとに画像１７を符号化するよう構成され得る。例えば、符号化および予測はブロック２０３ごとに実行される。
残差計算
残差計算ユニット２０４は、例えば、予測ブロック２６５のサンプル値を画像ブロック２０３のサンプル値から減算して、サンプルごとに（画素ごとに）サンプル領域における残差ブロック２０５を取得することによって、画像ブロック２０３および予測ブロック２６５（予測ブロック２６５についての更なる詳細は後述される）に基づいて残差ブロック２０５（残差２０５とも称される）を計算するよう構成され得る。
変換
変換処理ユニット２０６は、残差ブロック２０５のサンプル値に対して、変換、例えば離散余弦変換（ＤＣＴ）または離散正弦変換（ＤＳＴ）を適用して、変換領域における変換係数２０７を取得するよう構成され得る。変換係数２０７はまた、変換残差係数とも称され、変換領域における残差ブロック２０５を表し得る。
変換処理ユニット２０６は、Ｈ．２６５／ＨＥＶＣについて指定された変換など、ＤＣＴ／ＤＳＴの整数近似を適用するよう構成され得る。正規直交ＤＣＴ変換と比較すると、そのような整数近似は典型的には、特定の係数によってスケーリングされる。順変換と逆変換によって処理される残差ブロックのノルムを保存するべく、変換プロセスの一部として追加のスケーリング係数が適用される。スケーリング係数は、典型的には、シフト演算の２のべき乗であるスケーリング係数、変換係数のビット深度、精度と実装コストのトレードオフ等などの特定の制約に基づいて選択される。例えば特定のスケーリング係数は、例えば逆変換処理ユニット２１２（および、例えば、ビデオデコーダ３０における逆変換処理ユニット３１２による対応する逆変換）による逆変換について指定され、例えばエンコーダ２０において変換処理ユニット２０６による順方向変換についての対応するスケーリング係数は、それに応じて指定され得る。
ビデオエンコーダ２０（それぞれ変換処理ユニット２０６）の実施形態は、変換パラメータ、例えば、変換または複数の変換のタイプを、例えば直接的に、または、エントロピー符号化ユニット２７０を介して符号化もしくは圧縮して出力するよう構成され得る。その結果、例えば、ビデオデコーダ３０は、復号のための変換パラメータを受信および使用し得る。
量子化
量子化ユニット２０８は、例えばスカラ量子化またはベクトル量子化を適用することによって、変換係数２０７を量子化して、量子化された係数２０９を取得するよう構成され得る。量子化された係数２０９はまた、量子化された変換係数２０９、または量子化された残差係数２０９とも称され得る。
量子化プロセスは、変換係数２０７のいくつかまたはすべてに関連するビット深度を低減し得る。例えば、ｎビット変換係数は、量子化中にｍビット変換係数に切り捨てられ得る（ｎはｍより大きい）。量子化の程度は、量子化パラメータ（ＱＰ）を調節することによって修正され得る。例えば、スカラ量子化の場合、より細かいまたはより粗い量子化を達成するために、異なるスケーリングが適用されてもよい。より小さい量子化ステップサイズは、より細かい量子化に対応し、より大きい量子化ステップサイズは、より粗い量子化に対応する。適用可能な量子化ステップサイズは、量子化パラメータ（ＱＰ）によって示され得る。量子化パラメータは、例えば、適用可能な量子化ステップサイズの予め定義されたセットへのインデックスであり得る。例えば、小さな量子化パラメータは細かい量子化（小さな量子化ステップサイズ）に対応し得、大きな量子化パラメータは粗い量子化（大きな量子化ステップサイズ）に対応し得るか、または逆も同様である。量子化は、量子化ステップサイズによる除算を含み得、例えば、逆量子化ユニット２１０による対応するおよび／または逆の逆量子化は、量子化ステップサイズによる乗算を含み得る。いくつかの規格、例えばＨＥＶＣによる実施形態は、量子化パラメータを使用して量子化ステップサイズを決定するよう構成され得る。概して、量子化ステップサイズは、除算を含む数式の固定小数点近似を使用する量子化パラメータに基づいて算出できる。残差ブロックのノルムを復元するために、量子化と逆量子化に追加のスケーリング係数を導入でき、これは、量子化ステップサイズと量子化パラメータの数式の固定小数点近似で使用されるスケーリングに起因して変更され得る。一実装例では、逆変換のスケーリングと逆量子化を組み合わせることができる。代替的に、カスタマイズされた量子化テーブルが使用され得、例えば、ビットストリームで、エンコーダからデコーダへシグナリングされ得る。量子化は不可逆演算であり、損失は量子化ステップサイズの増加に伴って増加する。
ビデオエンコーダ２０（それぞれ量子化ユニット２０８）の実施形態は、量子化パラメータ（ＱＰ）を、例えば、直接的に、もしくは、エントロピー符号化ユニット２７０を介して符号化して出力するよう構成され得る。その結果、例えばビデオデコーダ３０は、復号のための量子化パラメータを受信および適用し得る。
逆量子化
逆量子化ユニット２１０は、量子化ユニット２０８の逆量子化を量子化係数に適用して、例えば、量子化ユニット２０８と同じ量子化ステップサイズに基づいて、またはそれを使用して、量子化ユニット２０８によって適用された量子化スキームの逆を適用することによって、逆量子化係数２１１を取得するように構成される。逆量子化係数２１１は、逆量子化残差係数２１１とも称され得、典型的には、量子化による損失に起因して変換係数と同一ではないが、変換係数２０７に対応する。
逆変換
逆変換処理ユニット２１２は、変換処理ユニット２０６によって適用される変換の逆変換、例えば、逆離散余弦変換（ＤＣＴ）または逆離散正弦変換（ＤＳＴ）または他の逆変換を適用して、サンプル領域において再構築残差ブロック２１３（または対応する逆量子化係数２１３）を取得するよう構成される。再構築残差ブロック２１３は、変換ブロック２１３とも称され得る。
再構築
再構築ユニット２１４（例えば加算器または加算器２１４）は、変換ブロック２１３（すなわち、再構築残差ブロック２１３）を予測ブロック２６５に追加して、例えば、サンプルごとに、再構築残差ブロック２１３のサンプル値および予測ブロック２６５のサンプル値を加算することによって、サンプル領域において再構築ブロック２１５を取得するよう構成される。
フィルタリング
ループフィルタユニット２２０（または略して「ループフィルタ」２２０）は、再構築ブロック２１５をフィルタリングして、フィルタリングされたブロック２２１を取得するように、または、一般的に、再構築サンプルをフィルタリングして、フィルタリングされたサンプルを取得するよう構成される。ループフィルタユニットは例えば、画素遷移を平滑化するように、またはそうでなければ、ビデオ品質を改善するように構成される。ループフィルタユニット２２０は、デブロッキングフィルタ、サンプル適応型オフセット（ＳＡＯ）フィルタ、または、１または複数の他のフィルタ、例えば、バイラテラルフィルタ、適応型ループフィルタ（ＡＬＦ）、シャープ処理、平滑化フィルタもしくは協調フィルタ、または、それらの任意の組み合わせなどの１または複数のループフィルタを含み得る。ループフィルタユニット２２０が、ループフィルタ内にあるものとして図２に示されているが、他の構成では、ループフィルタユニット２２０はポストループフィルタとして実装されてもよい。フィルタリングされたブロック２２１は、フィルタリングされた再構築ブロック２２１とも称され得る。ループフィルタユニット２２０が、再構築されたコーディングブロックに対してフィルタリング操作を実行した後に、復号画像バッファ２３０は、再構築されたコーディングブロックを格納し得る。
ビデオエンコーダ２０（それぞれループフィルタユニット２２０）の実施形態は、ループフィルタパラメータ（サンプル適応型オフセット情報など）を、例えば、直接的に、または、エントロピー符号化ユニット２７０を介して符号化して出力するよう構成され得る。その結果、例えばデコーダ３０は、同一のループフィルタパラメータまたはそれぞれのループフィルタを復号のために受信および適用し得る。
復号画像バッファ
復号画像バッファ（ＤＰＢ）２３０は、ビデオエンコーダ２０によってビデオデータを符号化するために、参照画像、または一般的に参照画像データを格納するメモリであり得る。ＤＰＢ２３０は、同期ＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または、他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの様々なメモリデバイスのいずれかによって形成され得る。復号画像バッファ（ＤＰＢ）２３０は、１または複数のフィルタリングされたブロック２２１を格納するよう構成され得る。復号画像バッファ２３０は、同じ現在の画像または異なる画像の、例えば、以前に再構築された画像の、他の以前にフィルタリングされたブロック、例えば、以前に再構築およびフィルタリングされたブロック２２１を記憶するように更に構成され得、例えば、インター予測のために、完全に以前に再構築された、すなわち、復号画像（および対応する参照ブロックおよびサンプル）および／または部分的に再構築された現在の画像（および対応する参照ブロックおよびサンプル）を提供し得る。復号画像バッファ（ＤＰＢ）２３０はまた、例えば、再構築ブロック２１５がループフィルタユニット２２０によってフィルタリングされていない場合、１または複数のフィルタリングされていない再構築ブロック２１５、または一般的に、フィルタリングされていない再構築サンプル、または、再構築ブロックもしくはサンプルの任意の他の更に処理されたバージョンを格納するよう構成され得る。
モード選択（パーティション化および予測）
モード選択ユニット２６０は、パーティション化ユニット２６２、インター予測ユニット２４４およびイントラ予測ユニット２５４を含み、元の画像データ、例えば、元のブロック２０３（現在の画像１７の現在ブロック２０３）、および、再構築された画像データ、例えば、同一（現在）の画像および／または１または複数の以前に復号された画像のフィルタリングされた、および／またはフィルタリングされていない再構築サンプルまたはブロックを、例えば、復号画像バッファ２３０または他のバッファ（例えば、ラインバッファ、図示せず）から受信または取得するよう構成される。再構築された画像データは、予測ブロック２６５または予測子２６５を取得するために、予測、例えば、インター予測またはイントラ予測のための参照画像データとして使用される。
モード選択ユニット２６０は、現在ブロック予測モード（パーティション化を含まない）および予測モード（例えばイントラまたはインター予測モード）についてパーティション化を決定または選択し、残差ブロック２０５の計算および再構築ブロック２１５の再構築のために使用される対応する予測ブロック２６５を生成するよう構成され得る。
モード選択ユニット２６０の実施形態は、最良の一致、換言すれば、最小残差（最小残差とは、伝送または記憶のための圧縮率が高いことを意味する）、または、最小シグナリングオーバーヘッド（最小シグナリングオーバーヘッドとは、伝送または記憶のための圧縮率が高いことを意味する）を提供する、または、両方を考慮もしくはバランスするパーティション化および予測モードを（例えば、モード選択ユニット２６０によってサポートされる、または、それについて利用可能であるものから）選択するよう構成され得る。モード選択ユニット２６０は、レート歪み最適化（ＲＤＯ）に基づいて、パーティション化および予測モードを決定する、すなわち、最小のレート歪みを提供する予測モードを選択するよう構成され得る。この文脈における、「最良」、「最小」、「最適」などの用語は必ずしも、全体的な「最良」、「最小」、「最適」などを指すものではなく、閾値を上回る、もしくは下回る値、または、「準最適な選択」につながる可能性があるが、複雑性および処理時間を低減する他の制約のような、終了または選択基準の達成も指し得る。
換言すれば、パーティション化ユニット２６２は、例えば、クアッドツリーパーティション化（ＱＴ）、バイナリパーティション化（ＢＴ）、または、トリプルツリーパーティション化（ＴＴ）、または、それらの任意の組み合わせを反復的に使用して、ブロック２０３を（再度ブロックを形式する）より小さいブロックパーティションまたはサブブロックにパーティション化し、例えばブロックパーティションまたはサブブロックの各々について予測を実行するよう構成され得る。ここで、モード選択は、パーティション化ブロック２０３のツリー構造の選択を含み、予測モードはブロックパーティションまたはサブブロックの各々に適用される。
以下では、ビデオエンコーダ２０の例によって実行される（例えば、パーティション化ユニット２６０による）パーティション化および（インター予測ユニット２４４およびイントラ予測ユニット２５４による）予測処理がより詳細に説明される。
パーティション化
パーティション化ユニット２６２は、現在ブロック２０３をより小さいパーティション、例えば、正方形または長方形サイズのより小さいブロックにパーティション化（または分割）し得る。これらのより小さいブロック（サブブロックとも称され得る）は更に、一層小さいパーティションにパーティション化され得る。これはまた、ツリーパーティション化、または、階層的ツリーパーティション化とも称される。ここで、ルートブロックは、例えばルートツリーレベル０（階層レベル０、深度０）において、再帰的にパーティション化、例えば、次に低いツリーレベルの２以上のブロック、例えば、ツリーレベル１（階層レベル１、深度１）におけるノードにパーティション化され得、ここで、これらのブロックは、例えば終了基準が達成されたこと、例えば最大ツリー深度または最小ブロックサイズに到達したという理由でパーティション化が終了するまで、次に低いレベル、例えば、ツリーレベル２（階層レベル２、深度２）などの２以上のブロックに再度パーティション化され得る。更にパーティション化されないブロックは、ツリーのリーフブロックまたはリーフノードとも称される。２つのパーティションへのパーティション化を使用するツリーは、バイナリツリー（ＢＴ）と称され、３つのパーティションへのパーティション化を使用するツリーは、ターナリツリー（ＴＴ）と称され、４つのパーティションへのパーティション化を使用するツリーは、クアッドツリー（ＱＴ）と称される。
上述のように、本明細書において使用される「ブロック」という用語は、画像の部分、特に、正方形または長方形の部分であり得る。例えば、ＨＥＶＣおよびＶＶＣを参照すると、ブロックは、コーディングツリー単位（ＣＴＵ）、コーディング単位（ＣＵ）、予測単位（ＰＵ）、および変換単位（ＴＵ）であり得る、または、それに対応し得る、および／または、対応するブロック、例えば、コーディングツリーブロック（ＣＴＢ）、コーディングブロック（ＣＢ）、変換ブロック（ＴＢ）、または、予測ブロック（ＰＢ）に対応し得る。
例えば、コーディングツリー単位（ＣＴＵ）は、ルマサンプルのＣＴＢ、３つのサンプルアレイを有する画像のクロマサンプルの２つの対応するＣＴＢ、または、単色画像、もしくは、サンプルをコーディングするために使用された３つの別個の色平面およびシンタックス構造を使用してコーディングされた画像のサンプルのＣＴＢであり得る、または、それを含み得る。それに対応して、コーディングツリーブロック（ＣＴＢ）は、コンポーネントのＣＴＢへの分割がパーティション化であるような、ある値ＮについてのＮ×Ｎブロックのサンプルであり得る。コーディング単位（ＣＵ）は、ルマサンプルのコーディングブロック、３つのサンプルアレイを有する画像のクロマサンプルの２つの対応するコーディングブロック、または、単色画像、もしくは、サンプルをコーディングするために使用された３つの別個の色平面およびシンタックス構造を使用してコーディングされた画像のサンプルのコーディングブロックであり得る、または、それを含み得る。それに対応して、コーディングブロック（ＣＢ）は、コーディングブロックへのＣＴＢの分割がパーティション化であるような、ある値ＭおよびＮについてのＭ×Ｎブロックのサンプルであり得る。
例えばＨＥＶＣによる実施形態において、コーディングツリーとして示されるクアッドツリー構造を使用することによって、コーディングツリー単位（ＣＴＵ）は、ＣＵに分割され得る。インター画像（時間的）予測またはイントラ画像（空間的）予測を用いて画像領域をコーディングするかどうかという決定は、ＣＵレベルで行われる。各ＣＵは更に、ＰＵ分割タイプに従って、１つ、２つ、または４つのＰＵに分割することができる。１つのＰＵの内部では、同じ予測処理が適用され、関連情報はＰＵベースでデコーダに送信される。ＰＵ分割タイプに基づいて予測処理を適用することによって残差ブロックを取得した後に、ＣＵは、ＣＵについてのコーディングツリーと同様の別のクアッドツリー構造に従って、変換単位（ＴＵ）にパーティション化できる。
例えば、バーサタイルビデオコーディング（ＶＶＣ）と称される、現在開発されている最新のビデオコーディング規格による実施形態において、クアッドツリーおよびバイナリツリー（ＱＴＢＴ）パーティション化が、コーディングブロックをパーティション化するために使用される。ＱＴＢＴブロック構造において、ＣＵは、正方形または長方形の形状のいずれかを有し得る。例えば、コーディングツリー単位（ＣＴＵ）はまず、クアッドツリー構造によってパーティション化される。クアッドツリーリーフノードは更に、バイナリツリーまたはターナリ（またはトリプル）ツリー構造によってパーティション化される。パーティション化ツリーリーフノードは、コーディング単位（ＣＵ）と称され、そのセグメンテーションは、任意の更なるパーティション化を伴うことなく、予測および変換処理に使用される。このことは、ＱＴＢＴコーディングブロック構造において、ＣＵ、ＰＵ、およびＴＵが、同一のブロックサイズを有することを意味する。並行して、複数のパーティション化、例えば、ＱＴＢＴブロック構造と共にトリプルツリーパーティション化を使用することも提案された。
一例において、ビデオエンコーダ２０のモード選択ユニット２６０は、本明細書に説明されるパーティション化技法の任意の組み合わせを実行するよう構成され得る。
上記のように、ビデオエンコーダ２０は、（予め定められた）予測モードのセットから最良または最適な予測モードを決定または選択するように構成される。予測モードのセットは、例えば、イントラ予測モードおよび／またはインター予測モードを含み得る。
イントラ予測
イントラ予測モードのセットは、３５個の異なるイントラ予測モード、例えば、ＤＣ（または平均）モードおよび平面モードのような無指向性モード、または、例えば、ＨＥＶＣにおいて規定されるような指向性モードを含み得る、または、６７個の異なるイントラ予測モード、例えば、ＤＣ（または平均）モードおよび平面モードのような無指向性モード、または、例えば、ＶＶＣについて規定されるような指向性モードを含み得る。
イントラ予測ユニット２５４は、同一の現在の画像の近傍ブロックの再構築サンプルを使用して、イントラ予測モードのセットのイントラ予測モードに従ってイントラ予測ブロック２６５を生成するよう構成される。
イントラ予測ユニット２５４（または一般的にはモード選択ユニット２６０）は更に、イントラ予測パラメータ（または、一般的に、ブロックについての選択されたイントラ予測モードを示す情報）を、符号化された画像データ２１に含めるために、シンタックス要素２６６の形式でエントロピー符号化ユニット２７０に出力するよう構成される。その結果、例えば、ビデオデコーダ３０は、復号のために予測パラメータを受信および使用し得る。
インター予測
インター予測モードのセット（または可能性のある）、例えば、参照画像全体か一部のみであるか、例えば、参照画像の現在ブロックの領域の周囲の検索ウィンドウ領域は、最も一致する参照ブロックを検索するために使用されるかどうか、および／または、例えば画素補間が適用されるかどうか、例えば、１／２／半ペルおよび／または１／４ペル補間かは、利用可能な参照画像（すなわち、以前に少なくとも部分的に復号された、例えば、ＤＢＰ２３０に記憶された画像）および他のインター予測パラメータに依存する。上記の予測モードに加えて、スキップモードおよび／または直接モードが適用されてもよい。
インター予測ユニット２４４は、動き推定（ＭＥ）ユニットおよび動き補償（ＭＣ）ユニット（両方とも図２において図示せず）を含み得る。動き推定ユニットは、画像ブロック２０３（現在の画像１７の現在の画像ブロック２０３）および復号された画像２３１、または、少なくとも１つ、もしくは複数の以前に再構築されたブロック、例えば、１または複数の他の／異なる以前に復号された画像２３１の再構築されたブロックを動き推定のために受信または取得するよう構成され得る。例えば、ビデオシーケンスは、現在の画像、および、以前に復号された画像２３１を含み得る、または、換言すれば、現在の画像および以前に復号された画像２３１は、ビデオシーケンスを形成する一連の画像の一部であり得る、または、それを形成し得る。
エンコーダ２０は例えば、複数の他の画像のうち同一または異なる画像の複数の参照ブロックから参照ブロックを選択し、参照画像（または参照画像インデックス）および／または参照ブロックの位置（ｘ、ｙ座標）と現在ブロックの位置との間のオフセット（空間的オフセット）をインター予測パラメータとして動き推定ユニットに提供するよう構成され得る。このオフセットは、動きベクトル（ＭＶ）とも称される。
動き補償ユニットは、インター予測パラメータを取得、例えば受信し、インター予測パラメータに基づいて、または、それを使用して、インター予測を実行して、インター予測ブロック２６５を取得するよう構成される。動き補償ユニットによって実行される動き補償は、動き推定によって決定される動き／ブロックベクトルに基づいて予測ブロックをフェッチまたは生成することを含み得、副画素の精度で補間を実行する可能性がある。補間フィルタリングは、追加の画素サンプルを既知の画素サンプルから生成し得、従って、画像ブロックをコーディングするために使用され得る候補予測ブロックの数を増加させる可能性がある。動き補償ユニットは、現在の画像ブロックのＰＵについての動きベクトルを受信すると、参照画像リストの１つおいて動きベクトルが指す予測ブロックを見つけ得る。
動き補償ユニットはまた、ビデオスライスの画像ブロックの復号において、ビデオデコーダ３０による使用のために、ブロックおよびビデオスライスに関連するシンタックス要素を生成し得る。
エントロピーコーディング
エントロピー符号化ユニット２７０は、例えば、エントロピー符号化アルゴリズムまたは方式（例えば、可変長コーディング（ＶＬＣ）方式、コンテキスト適応型ＶＬＣ方式（ＣＡＶＬＣ）、算術コーディング方式、二値化、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率区間パーティション化エントロピー（ＰＩＰＥ）コーディング、または、別のエントロピー符号化方法もしくは技法）またはバイパス（圧縮なし）を量子化された係数２０９、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および／または、他のシンタックス要素に対して適用し、例えば符号化されたビットストリーム２１の形式で、出力部２７２を介して出力できる符号化された画像データ２１を取得するよう構成され、その結果、例えば、ビデオデコーダ３０は、復号のためにパラメータを受信および使用し得る。符号化されたビットストリーム２１は、ビデオデコーダ３０へ送信され得る、または、ビデオデコーダ３０による後の送信もしくは取得のためにメモリに格納され得る。
ビデオエンコーダ２０の他の構造のバリエーションが、ビデオストリームを符号化するために使用できる。例えば、非変換ベースのエンコーダ２０は、特定のブロックまたはフレームのための変換処理ユニット２０６を伴うことなく、残差信号を直接的に量子化できる。別の実装において、エンコーダ２０は、単一ユニットに組み合わされた量子化ユニット２０８および逆量子化ユニット２１０を有し得る。
デコーダおよび復号方法
図３は、本願の技法を実装するよう構成されるビデオデコーダ３０の例を示す。ビデオデコーダ３０は、例えばエンコーダ２０によって符号化された、符号化された画像データ２１（例えば、符号化されたビットストリーム２１）を受信して、復号された画像３３１を取得するよう構成される。符号化された画像データまたはビットストリームは、符号化された画像データを復号するための情報、例えば、符号化されたビデオスライスおよび関連するシンタックス要素の画像ブロックを表すデータを含む。
図３の例において、デコーダ３０は、エントロピー復号ユニット３０４、逆量子化ユニット３１０、逆変換処理ユニット３１２、再構築ユニット３１４（例えば加算器３１４）、ループフィルタ３２０、復号画像バッファ（ＤＢＰ）３３０、インター予測ユニット３４４およびイントラ予測ユニット３５４を含む。インター予測ユニット３４４は、動き補償ユニットであり得る、またはそれを含み得る。ビデオデコーダ３０は、いくつかの例では、図２のビデオエンコーダ１００に関して説明された符号化経路に対して一般に逆の復号経路を実行してよい。
エンコーダ２０に関して説明されるように、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構築ユニット２１４、ループフィルタ２２０、復号画像バッファ（ＤＰＢ）２３０、インター予測ユニット３４４、およびイントラ予測ユニット３５４はまた、ビデオエンコーダ２０の「内蔵デコーダ」を形成するとも表現される。従って、逆量子化ユニット３１０は、逆量子化ユニット１１０と機能が同一であり得、逆変換処理ユニット３１２は、逆変換処理ユニット２１２と機能が同一であり得、再構築ユニット３１４は、再構築ユニット２１４と機能が同一であり得、ループフィルタ３２０は、ループフィルタ２２０と機能が同一であり得、復号画像バッファ３３０は、復号画像バッファ２３０と機能が同一であり得る。従って、ビデオ２０エンコーダのそれぞれのユニットおよび機能について提供される説明は、ビデオデコーダ３０のそれぞれのユニットおよび機能に対応して適用される。
エントロピー復号
エントロピー復号ユニット３０４は、ビットストリーム２１（または一般的に符号化された画像データ２１）を解析し、符号化された画像データ２１に例えばエントロピー復号を実行して、例えば量子化された係数３０９および／または復号されたコーディングパラメータ（図３において図示せず）、例えば、任意またはすべてのインター予測パラメータ（例えば参照画像インデックスおよび動きベクトル）、イントラ予測パラメータ（例えばイントラ予測モードまたはインデックス）、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、および／または他のシンタックス要素を取得するよう構成される。エントロピー復号ユニット３０４は、エンコーダ２０のエントロピー符号化ユニット２７０に関連して説明される符号化方式に対応する復号アルゴリズムまたは方式を適用するよう構成され得る。エントロピー復号ユニット３０４は更に、インター予測パラメータ、イントラ予測パラメータ、および／または、他のシンタックス要素をモード選択ユニット３６０に、他のパラメータをデコーダ３０の他のユニットに提供するよう構成され得る。ビデオデコーダ３０は、ビデオスライスレベルで、および／または、ビデオブロックレベルでシンタックス要素を受信し得る。
逆量子化
逆量子化ユニット３１０は、量子化パラメータ（ＱＰ）（または一般的に、逆量子化に関連する情報）および量子化された係数を、符号化された画像データ２１から（例えば、エントロピー復号ユニット３０４により、例えば解析および／または復号することによって）受信し、量子化パラメータに基づいて、復号された量子化された係数３０９に対して逆量子化を適用し、変換係数３１１とも称され得る逆量子化係数３１１を取得するよう構成され得る。逆量子化プロセスは、量子化の程度、および、同様に、適用されるべき逆量子化の程度を決定するために、ビデオスライスにおける各ビデオブロックについてビデオエンコーダ２０によって決定される量子化パラメータの使用を含み得る。
逆変換
逆変換処理ユニット３１２は、変換係数３１１とも称される逆量子化係数３１１を受信し、サンプル領域における再構築残差ブロック２１３を取得するべく、変換を逆量子化係数３１１に適用するよう構成され得る。再構築残差ブロック２１３は、変換ブロック３１３とも称され得る。変換は、逆変換、例えば、逆ＤＣＴ、逆ＤＳＴ、逆整数変換、または、概念的に同様の逆変換プロセスであり得る。逆変換処理ユニット３１２は更に、変換パラメータまたは対応する情報を、符号化された画像データ２１から（例えばエントロピー復号ユニット３０４による、例えば解析および／または復号によって）受信し、逆量子化係数３１１に適用される変換を決定するよう構成され得る。
再構築
再構築ユニット３１４（例えば、加算器または加算器３１４）は、再構築残差ブロック３１３を予測ブロック３６５に追加して、例えば、再構築残差ブロック３１３のサンプル値および予測ブロック３６５のサンプル値を加算することによって、サンプル領域における再構築ブロック３１５を取得するよう構成され得る。
フィルタリング
（コーディングループ中、または、コーディングループ後のいずれかの）ループフィルタユニット３２０は、再構築ブロック３１５をフィルタリングして、フィルタリングされたブロック３２１を取得し、例えば、画素遷移を平滑化する、またはそうでなければ、ビデオ品質を改善するよう構成される。ループフィルタユニット３２０は、デブロッキングフィルタ、サンプル適応型オフセット（ＳＡＯ）フィルタ、または、１または複数の他のフィルタ、例えば、バイラテラルフィルタ、適応型ループフィルタ（ＡＬＦ）、シャープ処理、平滑化フィルタ、または協調フィルタ、またはそれらの任意の組み合わせなど、１または複数のループフィルタを含み得る。ループフィルタユニット３２０が、ループフィルタ内にあるものとして図３に示されているが、他の構成では、ループフィルタユニット３２０はポストループフィルタとして実装されてもよい。
復号画像バッファ
画像の復号されたビデオブロック３２１は次に、他の画像のための後の動き補償、および／または、それぞれの表示の出力のために、参照画像として、復号された画像３３１を格納する復号画像バッファ３３０に格納される。
デコーダ３０は、ユーザへの提示または視聴のために、例えば出力部３１２を介して、復号された画像３１１を出力するよう構成される。
予測
インター予測ユニット３４４は、インター予測ユニット２４４（特に動き補償ユニット）と同一であり得、イントラ予測ユニット３５４は、インター予測ユニット２５４と機能が同一であり得、パーティション化および／または予測パラメータ、または、符号化された画像データ２１から受信したそれぞれの情報に基づいて（例えば、エントロピー復号ユニット３０４による、例えば、解析および／または復号によって）、分割またはパーティション化の決定、ならびに、予測を実行する。モード選択ユニット３６０は、再構築された画像、ブロック、またはそれぞれのサンプル（フィルタリングされた、またはフィルタリングされていない）に基づいて、ブロックごとに予測（イントラまたはインター予測）を実行し、予測ブロック３６５を取得するよう構成され得る。
ビデオスライスがイントラコーディング（Ｉ）スライスとしてコーディングされているとき、モード選択ユニット３６０のイントラ予測ユニット３５４は、シグナリングされたイントラ予測モード、および、現在の画像の以前に復号されたブロックからのデータに基づいて、現在のビデオスライスの画像ブロックについての予測ブロック３６５を生成するよう構成される。ビデオ画像がインターコーディング（すなわち、ＢまたはＰ）スライスとしてコーディングされるとき、モード選択ユニット３６０のインター予測ユニット３４４（例えば動き補償ユニット）は、エントロピー復号ユニット３０４から受信された動きベクトルおよび他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックについての予測ブロック３６５を生成するよう構成される。インター予測では、予測ブロックは、参照画像リストのうちの１つに含まれる参照画像のうちの１つから生成されてよい。ビデオデコーダ３０は、リスト０およびリスト１という参照フレームリストを、デフォルトの構築技法を用いて、ＤＰＢ３３０に格納された参照画像に基づいて構築してよい。
モード選択ユニット３６０は、動きベクトルおよび他のシンタックス要素を解析することによって、現在のビデオスライスのビデオブロックについての予測情報を決定するよう構成され、予測情報を使用して、復号される現在のビデオブロックについての予測ブロックを生成する。例えば、モード選択ユニット３６０は、受信されたシンタックス要素の一部を使用して、ビデオスライスのビデオブロックをコーディングするために使用される予測モード（例えば、イントラまたはインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、またはＧＰＢスライス）、スライスについての参照画像リストのうち１または複数の構築情報、スライスのインター符号化されたビデオブロックの各々についての動きベクトル、スライスのインターコーディングされたビデオブロックの各々についてのインター予測ステータス、および、現在のビデオスライスにおけるビデオブロックを復号するための他の情報を決定する。
ビデオデコーダ３０の他のバリエーションが、符号化された画像データ２１を復号するために使用できる。例えば、デコーダ３０は、ループフィルタリングユニット３２０を用いずに、出力ビデオストリームを生成することができる。例えば、非変換ベースのデコーダ３０が、特定のブロックまたはフレーム用の逆変換処理ユニット３１２を用いずに、残差信号を直接的に逆量子化することができる。別の実装例では、ビデオデコーダ３０は、逆量子化ユニット３１０および逆変換処理ユニット３１２を単一ユニットに組み合わせることができる。
図４は、本開示の実施形態によるビデオコーディングデバイス４００の概略図である。ビデオコーディングデバイス４００は、本明細書に説明されるように、開示された実施形態を実装するのに好適である。実施形態において、ビデオコーディングデバイス４００は、図１Ａのビデオデコーダ３０などのデコーダ、または、図１Ａのビデオエンコーダ２０などのエンコーダであり得る。
ビデオコーディングデバイス４００は、データを受信するための入口ポート４１０（または入力ポート４１０）および受信機ユニット（Ｒｘ）４２０、データを処理するためのプロセッサ、論理ユニット、または中央演算処理装置（ＣＰＵ）４３０、データを送信するための送信機ユニット（Ｔｘ）４４０および出口ポート４５０（または出力ポート４５０）、および、データを格納するためのメモリ４６０を含む。ビデオコーディングデバイス４００は、入口ポート４１０、受信機ユニット４２０、送信機ユニット４４０、および出口ポート４５０に連結された、光信号または電気信号の出口または入口用の、光／電気（ＯＥ）変換コンポーネントおよび電気／光（ＥＯ）変換コンポーネントも含んでよい。
プロセッサ４３０はハードウェアおよびソフトウェアによって実装される。プロセッサ４３０は、１または複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサ）、ＦＰＧＡ、ＡＳＩＣ、およびＤＳＰとして実装され得る。プロセッサ４３０は、入口ポート４１０、受信機ユニット４２０、送信機ユニット４４０、出口ポート４５０、およびメモリ４６０と通信する。プロセッサ４３０はコーディングモジュール４７０を含む。コーディングモジュール４７０は、上記の開示された実施形態を実装する。例えば、コーディングモジュール４７０は、様々なコーディング操作を実装、処理、準備または提供する。従って、コーディングモジュール４７０を含めることにより、ビデオコーディングデバイス４００の機能の大幅な改善が提供され、ビデオコーディングデバイス４００の異なる状態への変換をもたらす。代替的に、コーディングモジュール４７０は、メモリ４６０に格納されプロセッサ４３０によって実行される命令として実装される。
メモリ４６０は、１または複数のディスク、テープドライブ、および、ソリッドステートドライブを含み得、実行のためにプログラムが選択されたときに当該プログラムを格納するために、および、プログラム実行中に読み込まれる命令およびデータを格納するために、オーバーフローデータストレージデバイスとして使用され得る。メモリ４６０は例えば、揮発性および／または非揮発性であり得、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）、および／または、スタティックランダムアクセスメモリ（ＳＲＡＭ）であり得る。
図５は、例示的な実施形態による、図１Ａの送信元デバイス１２および送信先デバイス１４のいずれかまたは両方として使用され得る装置５００の簡略化されたブロック図である。装置５００は、上記の本願の技法を実装できる。装置５００は、複数のコンピューティングデバイスを含むコンピューティングシステムの形態、または、単一のコンピューティングデバイスの形態、例えば、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、およびデスクトップコンピュータなどであり得る。
装置５００におけるプロセッサ５０２は中央演算処理装置であり得る。代替的に、プロセッサ５０２は、既存の、または、今後開発される、情報を操作または処理することが可能な任意の他のタイプのデバイス、または、複数のデバイスであり得る。開示される実装は、示されるような単一のプロセッサ、例えばプロセッサ５０２を用いて実施できるが、１つより多くのプロセッサを使用して、速度および効率における利点を達成できる。
装置５００におけるメモリ５０４は、実装においてリードオンリーメモリ（ＲＯＭ）デバイス、またはランダムアクセスメモリ（ＲＡＭ）デバイスであり得る。任意の他の好適なタイプのストレージデバイスをメモリ５０４として使用できる。メモリ５０４は、バス５１２を使用してプロセッサ５０２によってアクセスされるコードおよびデータ５０６を含み得る。メモリ５０４は更に、オペレーティングシステム５０８およびアプリケーションプログラム５１０を含み得、アプリケーションプログラム５１０は、本明細書に説明される方法をプロセッサ５０２に実行させる少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム５１０は、本明細書に説明される方法を実行するビデオコーディングアプリケーションを更に含むアプリケーション１～Ｎを含み得る。装置５００はまた、例えばモバイルコンピューティングデバイスと共に使用されるメモリカードであり得る二次ストレージ５１４の形態で、追加のメモリを含み得る。ビデオ通信セッションは、多くの量の情報を含み得るので、その全体または一部は二次ストレージ５１４に格納され、必要に応じて処理のためにメモリ５０４にロードされ得る。
装置５００はまた、ディスプレイ５１８など、１または複数の出力デバイスを含み得る。一例において、ディスプレイ５１８は、タッチ入力を検知するよう動作可能なタッチ感応要素とディスプレイを組み合わせたタッチ感応ディスプレイであり得る。ディスプレイ５１８は、バス５１２を介してプロセッサ５０２に連結され得る。ディスプレイ５１８に加えて、または、代替的に、ユーザが装置５００をプログラムする、または、そうでなければ使用することを可能にする他の出力デバイスが提供され得る。出力デバイスがディスプレイである、または、それを含むとき、ディスプレイは、液晶ディスプレイ（ＬＣＤ）、陰極線管（ＣＲＴ）ディスプレイ、プラズマディスプレイ、または、有機ＬＥＤ（ＯＬＥＤ）ディスプレイなどの発光ダイオード（ＬＥＤ）ディスプレイを含む様々な方式で実装できる。
装置５００はまた、イメージ検知デバイス５２０、例えばカメラ、または、装置５００を操作するユーザのイメージなどのイメージを検知できる既存または今後開発される任意の他のイメージ検知デバイス５２０を含み得る、または、それと通信し得る。イメージ検知デバイス５２０は、装置５００を操作するユーザの方を向くように配置され得る。例において、イメージ検知デバイス５２０の位置および光軸は、ディスプレイ５１８に直接的に隣接し、ディスプレイ５１８を見ることができるエリアを視野が含むように構成できる。
装置５００はまた、音検知デバイス５２２、例えばマイク、または、装置５００の近くの音を検知できる、既存または今後開発される任意の他の音検知デバイスを含み得る、またはそれと通信し得る。音検知デバイス５２２は、装置５００を操作するユーザの方を向くように配置され得、ユーザが装置５００を操作している間に、音、例えば、ユーザによる発話または他の発声を受信するように構成され得る。
図５は、装置５００のプロセッサ５０２およびメモリ５０４が単一ユニットに統合されているものとして示しているが、他の構成を利用できる。プロセッサ５０２の動作は、直接的に連結され得る、または、ローカルエリアもしくは他のネットワークにわたる複数のマシン（各マシンは、１または複数のプロセッサを有する）に分散できる。メモリ５０４は、ネットワークベースのメモリ、または、装置５００の動作を実行する複数のマシンにおけるメモリなど、複数のマシンに分散され得る。ここでは単一バスとして示されているが、装置５００のバス５１２は、複数のバスから構成され得る。更に、二次ストレージ５１４は、装置５００の他のコンポーネントに直接的に連結され得る、または、ネットワークを介してアクセスされ得、メモリカードなどの単一の統合ユニット、または、複数のメモリカードなどの複数のユニットを含み得る。従って、装置５００は、広範な構成で実装され得る。
図２に示される実施形態において、符号化装置２０（またはエンコーダ２０）は、第１三角形セグメントおよび第２三角形セグメントを含む２以上の三角形セグメントにビデオコーディングブロックをパーティション化するよう構成されるパーティション化ユニット２６２を含む。
更に、符号化装置２０はインター予測ユニット２４４を含む。復号装置３０はインター予測ユニット３４４を含む。一般に、インター予測ユニット２４４は、選択された参照画像、動きベクトル、モード決定および他の情報を含む動きデータを選択するために、動き推定、動き補償を実行するよう構成され得る。一般に、インター予測ユニット３４４は、動き補償を実行するよう構成され得る。一例において、ＣＵにおける各三角形予測単位は、自身の片予測または双予測動きベクトル、および、動き候補リストから導出される１または複数の参照フレームインデックスを有する。一例において、三角形パーティション化は、動き補償予測のみに適用される。このことは、変換および量子化プロセスが、２つの三角形を共に組み合わせることによって形成されるＣＵ全体に適用されることを意味する。詳細は後述する。
以下では、三角形パーティション化、および、双予測動きベクトルからの片予測動きベクトルの導出の詳細を説明する。結果は、イメージブロックの２つの三角形ブロックから、予測コーディングブロック（動き補償を含む）を取得することである。
三角形／幾何ブロックパーティション化は、動き補償を実行するとき、メモリ帯域幅要件に対してより大きい影響を有し得ることが知られている。典型的には、三角形／幾何パーティション（ＰＵ０またはＰＵ１と称される、図６を参照）に関連する動きベクトルは、従来のビデオコーディングにおける通常のインター予測ブロックについて実行されるのと同一の方式で、参照画像からサンプルの長方形ブロックをフェッチするために使用される。次に、典型的には、長方形ブロックに関連するサンプルごとのマスクによって、現在の三角形／幾何パーティションに関するサンプルのみが維持され、現在の三角形／幾何パーティションの外側にあるものは破棄される。その結果、三角形／幾何パーティションの両方が双予測を使用している場合、４つの動き補償段階が実行される必要がある。
従って、三角形／幾何パーティションは、片予測のみを実行することに制限されると主張される。このことは、あたかもブロック全体が双予測方式で予測されるかのようにビデオコーディングブロックが扱われることを意味する。この制限は、三角形／幾何インター予測モードのコーディング効率を減少させるだけでなく、予測のために三角形パーティションの動き情報を使用する空間的または時間的近傍ブロックについての悪影響も有し得る。
以下の実施形態は、動きベクトルを導出する、および／または、マージ候補リストを生成する、および／または、三角形マージモードのために片予測動きベクトルを使用する三角形ブロックについてのインター予測および／または動き補償を実行するための方法および装置を提供し、ここで、ビデオコーディングブロックは、２つの三角形ブロックパーティションにパーティション化される。
図６は、インター予測のために意図された正方形ビデオコーディングブロックの例を示す。代替的に、ビデオブロックは長方形であり得る。図６に示されるように、対角または反対角に沿って、ビデオコーディングブロックをパーティション化する結果として、ビデオブロックは、例えば、ＰＵ０およびＰＵ１など、２つの三角形ブロックに分割される。ブロックＰＵ０およびＰＵ１は次に、左下および右上の三角形部分、および、ビデオブロックの左上および右下の三角形部分をそれぞれ指し得る。ビデオブロックおよびビデオコーディングブロックという用語は、同義語として使用される。
候補リストの生成は、従来技術における周知の技法、または新しい方式に従って実行され、以下で更に説明され得る。
三角形パーティションに関連する動きベクトルは、将来参照するために４×４のルマサンプルベースのグリッドに格納され得る。ここで、図７に示される曖昧性の問題が生じる。すなわち、対角によってスライシングされた４×４ブロック（すなわち、４×４の画素／サンプルブロック）は、ＰＵ０またはＰＵ１のいずれに関連し得る。しかしながら、動きベクトルを格納するべく、デコーダは、どの動きベクトルが、４×４のグリッド上のどの位置に格納されるかを一意に決定できる必要がある。
現在のＶＴＭ／ＢＭＳソフトウェアにおいて、マージモードのための片予測制限は、以下の方式で達成される（以下ＪＶＥＴ－Ｋ１００１。ＪＶＥＴ－Ｋ１００１：第１に、候補リスト生成プロセスが、ＪＶＥＴ－Ｋ１００１のセクション８．３．２．２において指定されるように呼び出される。
１．空間的ＭＶ候補が導出される
２．サブブロックベースの時間的ＭＶ候補が導出される
３．時間的ＭＶ候補が導出される
結果として生じる候補の中間順序は、Ａ１、Ｂ１、Ｂ０、Ａ０、ＳｂＣｏｌ、Ｂ２であり、Ｃｏｌは図８に示される。
マージ候補リスト生成を完了させるために、更に２つの段階が実行される。
４．組み合わされた双予測候補が導出される。
５．リストを充填するためにゼロ動きベクトルが追加される
マージリスト生成の後、片予測制限が現在ブロックに適用されるかどうかがチェックされる。これは、三角形／幾何インター予測の場合、常に当てはまる。次に、全体のマージリストをスキャンして、以下の方式でＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルを無効にすることによって、片予測制限が適用される。
ＪＶＥＴ－Ｌ０１２４は、マージリスト候補の異なる生成方式を使用することに留意されたい。ここで、片予測マージリストは、図９に示される候補を使用して生成される。
次に、動きベクトル記憶のために、現在ブロック中の各４×４ブロックの位置に応じて、片予測ＭＶまたは双予測ＭＶのいずれが図１０に示されるように格納される。
双予測候補はこのように対角上で格納されるが、非常に少ない近傍の位置についてのみ利用可能になる。更に、「双」として示される動きベクトルは、Ｍｖ１およびＭｖ２の何らかの種類の組み合わせであることに留意されたい。
典型的には、片予測制限が、小さい長方形ブロック（≦８×８のルマサンプル）について課される。しかしながら、三角形パーティション化されたブロックなど、より大きいブロックについて片予測制限が課される場合、これは、片予測動きベクトルを参照する近傍ブロックのコーディング効率を減少させ得ると考えられる。それらの近傍ブロックが双予測動きベクトルも参照し得る場合、有益である。
双予測動きベクトルが、三角形／幾何パーティションの少なくとも１つの４×４サブブロック（三角形パーティションの方向（対角または反対角）に沿って配置される４×４サブブロック、または、すべての４×４サブブロックなど）についての動きベクトル記憶について可能であるが、片方向動き補償のみが実行される。
三角形パーティションについて上記されたような双予測マージ候補を制限するプロセスを適用しないことが提案される。むしろ、サブブロックベースのＭＶ候補を生成しないことを除いては、ＪＶＥＴ－Ｋ１００１（従来技術、ＶＶＣの開発において変化する可能性がある）において指定されるのと同一の方式でマージ候補リスト（ＭＣＬ）生成を実行することが示唆される。
第１実施形態によれば、コーディングブロックについて動きベクトル（ＭＶ）を導出するための方法が提供され、方法は、
コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化されたコーディングブロックについてのマージ候補リストを生成する段階を備え、
マージ候補リストを生成する段階は少なくとも、
近傍のコーディング単位から１または複数の空間的マージ候補を導出する段階と、
空間的マージ候補を導出した後に、１または複数の時間的動きベクトル予測（ＭＶＰ）を直接的に、または直ちに導出する段階と、
少なくともマージ候補リストに基づいて、それぞれの三角形パーティションの動きベクトルとして片予測ＭＶを導出する段階と
を含む。
実施形態によれば、片予測ＭＶは、三角形マージモードについての片予測ＭＶ選択規則およびマージ候補リストに基づいて導出される。
実施形態によれば、マージ候補リストは、１または複数の片予測ＭＶおよび／または１または複数の双予測ＭＶを含む。
実施形態によれば、三角形マージモードについての片予測ＭＶ選択規則は、マージ候補リストの双予測ＭＶの第１ＭＶまたは第２ＭＶが片予測ＭＶとして選択されることを示す。
実施形態によれば、第１ＭＶは、第１の参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）に対応し、第２ＭＶは第２参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）に対応する。
図１１はＭＶ導出のフローチャートを示す。段階１１０１において、三角形マージモードについて有効であるコーディングブロックについて、１または複数の空間的マージ候補が近傍のコーディング単位から導出される。段階１１０２において、１または複数の時間的動きベクトル予測は直接的に、または直ちに導出される。段階１１０３において、それぞれの三角形パーティションの動きベクトルである片予測ＭＶが、少なくともマージ候補リストに基づいて導出される。
第２の実施形態によれば、コーディングブロックについてのマージ候補リストを生成する方法が提供され、方法は、
コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化されたコーディングブロックについてのマージ候補リストを生成する段階を備え、
マージ候補リストを生成する段階は少なくとも、
近傍のコーディング単位から１または複数の空間的マージ候補を導出する段階と、
空間的マージ候補を導出した後に、１または複数の時間的動きベクトル予測（ＭＶＰ）を直接的に、または直ちに導出する段階と、
１または複数の空間的マージ候補および導出された１または複数の時間的ＭＶＰをマージ候補リストに追加する段階と
を含み、１または複数の空間的マージ候補および／または１または複数の時間的ＭＶＰは、片予測ＭＶまたは双予測ＭＶを含む。
図１２は、マージ候補リスト生成のフローチャートを示す。段階１２０１において、三角形マージモードについて有効であるコーディングブロックについて、１または複数の空間的マージ候補が近傍のコーディング単位から導出される。段階１２０２において、１または複数の時間的動きベクトル予測が、直接的または直ちに導出される。段階１２０３において、１または複数の空間的マージ候補および導出された１または複数の時間的ＭＶＰがマージ候補リストに追加される。
第３実施形態によれば、コーディングブロックの現在の三角形パーティションのインター予測のための方法が提供され、方法は、
コーディングブロックが三角形マージモードについて有効である場合、コーディングブロックについてのマージ候補リストを生成する段階であって、マージ候補リストを生成する段階は少なくとも、近傍のコーディング単位から１または複数の空間的マージ候補を導出する段階と、空間的マージ候補を導出した後に、１または複数の時間的動きベクトル予測（ＭＶＰ）を直接的に、または直ちに導出する段階とを含む、段階と、
少なくともマージ候補リストに基づいて、現在の三角形パーティションの動きベクトルとして片予測ＭＶを導出する段階と、
少なくとも片予測ＭＶに基づいて、現在の三角形パーティションの予測を実行して、現在の三角形パーティションの予測値を取得する段階と
を備える。
図１３は、マージ候補リスト生成のフローチャートを示す。段階１３０１において、２つの三角形パーティションにパーティション化され、かつ、三角形マージモードについて有効であるコーディングブロックについて、１または複数の空間的マージ候補が近傍のコーディング単位から導出される。段階１３０２において、１または複数の時間的動きベクトル予測が直接的に、または直ちに導出される。段階１３０３において、片予測ＭＶは、少なくともマージ候補リストに基づいて、現在の三角形パーティションの動きベクトルとして導出される。段階１３０４において、現在の三角形パーティションの予測値を取得するために、現在の三角形パーティションの予測は、少なくとも片予測ＭＶに基づいて実行される。
実施形態によれば、サブブロックベースの時間的マージ候補の導出は、マージ候補リストの生成から除外される。
実施形態によれば、片予測ＭＶ選択規則は、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶおよびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶの両方が同一の参照画像に関する場合、第１ＭＶおよび第２ＭＶに基づく平均動きベクトルが、片予測ＭＶとして使用されること、または、
第１ＭＶの参照画像インデックスが、現在の画像への第２ＭＶの時間的距離（ＴＤ１）より小さい現在の画像への時間的距離（ＴＤ０）を有する参照画像に関する場合、第１ＭＶは片予測ＭＶとして使用されること、または、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが、第１ＭＶへの時間的距離より小さい、現在の画像への時間的距離を有する参照画像に関する場合、第２ＭＶは片予測ＭＶとして使用されること、または、
現在の画像への時間的距離が第１ＭＶおよび第２ＭＶの両方について等しい場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶ、または、より小さい大きさを有するＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが片予測ＭＶとして使用されること
のいずれか１つである。完全性のために、導出の順序は以下の通りである。
１．空間的ＭＶ候補が導出される
２．時間的ＭＶ候補が導出される
３．組み合わされた双予測候補が導出される
４．リストを充填するためにゼロ動きベクトルが追加される
従って、結果として生じるマージ候補リストは、片予測または双予測候補から構成され得る。マージリスト生成のプロセスはまた、上で指定されたプロセスと異なり得ることに留意されたい。
図１４は、前述の実施形態の方法を含む全体的なフローチャートを示す。段階１４０１において、前述の実施形態に従ってマージ候補リストが生成される。段階１４０２において、マージ候補がマージ候補リストから選択される。選択された候補は双予測候補であり得る。段階１４０３において双予測候補から片予測候補が導出される。 これらの段階は、ビデオコーデックのエンコーダおよびデコーダに関することに留意されたい。
片予測候補導出
ここで、双予測候補が、マージインデックスによって、以前に生成されたマージリストから現在の三角形または幾何パーティションについてシグナリングされる場合、片予測候補導出プロセスが呼び出される。
プロセスへの入力は、双予測動きベクトルであり、このことは実際に、２つの異なる参照画像に関し得る、２つの動きベクトルが存在することを意味する。以下では、ＨＥＶＣ／ＪＥＭ／ＶＶＣからの用語が使用される。第１動きベクトルは、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０と名付けられる第１の参照画像リストからの参照画像に関し得、第２動きベクトルは、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１と名付けられる第２参照画像リストからの第２の参照画像に関し得る。
両方の参照画像リストが複数の参照画像を含み得るので、参照画像を選択するために参照画像インデックス（ｒｅｆＰｉｃＩｄｘ０およびｒｅｆＰｉｃＩｄｘ１）が使用される。現在の三角形予測単位について片方向動き補償を実行できるように、プロセスの出力は、単一動きベクトルおよび参照画像インデックスである。
選択された双予測ＭＶから片方向ＭＶが導出され得る様々な方式は以下のように要約される。
１．片方向動きベクトルが、以下の基準に従って第１（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）および第２（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）動きベクトルから導出される。
ａ．ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０およびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルの両方が同一の参照画像に関する場合、平均動きベクトルを計算する。
ｂ．そうでなければ、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルの参照画像インデックスが、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルより小さい、現在の画像への時間的距離（ＨＥＶＣにおけるＰＯＣ距離）を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルを使用する。そうでなければ、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルが、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルへの時間的距離より小さい、現在の画像への時間的距離を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルを使用する。
ｃ．そうでなければ、現在の画像への時間的距離が、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０およびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルの両方について等しい場合、より小さい大きさを有する動きベクトルを使用する。大きさは、数式（１）に従って、各動きベクトルのｘ成分およびｙ成分から推定できる。
ｍａｇ（ＭＶ）＝ｍｖｘ ２＋ｍｖｙ ２ （１）
２．双予測候補のどの動きベクトル（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０またはＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）が、ｒｅｆｐｉｃｌｉｓｔ＿ｉｎｄｉｃａｔｏｒ＿ｆｌａｇと称される追加フラグによって使用されるかがシグナリングされる。フラグがゼロである場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０ベクトルが使用される。そうでなければ、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１ベクトルが使用される。
マージ候補が双予測候補である（ｍｅｒｇｅＣａｎｄｉｄａｔｅＩｓＢｉによって決定される）場合、およびその場合のみ、ならびに、ブロック幅＋ブロック高さが予め定められた閾値ｃｂＢｉＳｉｚｅＬｉｍｉｔより大きい場合、マージインデックス（ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ）がコーディングされた後に追加フラグがコーディングされる。このシグナリングは、以下の例示される方式（ＪＶＥＴ－Ｌ０１２４による従来技術、新しい追加は黄色で示される）で実行できる。
上の例において、ＭＶの大きさ「ｍａｇ」は、数式（１）に示されるように、２成分動きベクトルの成分ｍｖｘおよびｍｖｙの二乗の和から計算され、ＭＶ＝（ｍｖｘ，ｍｖｙ）である。
代替的に、大きさは、ｐ‐ノルム（ｐ＞０）などの基準に従って決定され得る。ｐ＝２であるとき、ｐ‐ノルムは、共通のユークリッドノルムになる。本開示の動きベクトルを含む、１成分または多成分ベクトルの大きさを決定するのに好適な他のノルムが使用され得る。コーディング単位シンタックスの例が以下のコードの抜粋によって提供される。
方法１または方法２のどちらが使用されるかは以下の方式で決定され得る。
シーケンスパラメータセットにおいて、すべての三角形予測モードブロックが方法１または方法２を使用することが構成される。
ブロックサイズから、方法１または方法２のどちらが使用されるかが決定される。方法１は、例えば、１６×１６のルマサンプルに等しいか、またはより小さいブロックに使用され得る。そうでなければ、方法２が使用され得る。
動きベクトル記憶
マージインデックスによって示された、元の修正されていない双予測候補は、動きベクトル記憶において使用される。
これは図１５において図示される。導出された片予測動きベクトルは、動き補償のみに使用される。記憶のために、修正されていない双予測ＭＶ候補（すなわち、ＭＣＬから選択される）が維持され、将来の参照のために動きフィールドに入れられる。
実際の記憶のために、従来技術などのように、対角を横断する４×４のサブブロックについて平均を算出することなく、むしろ、対角を横断する４×４ブロックを第１または第２パーティション（すなわち、２つの三角形ブロックＰＵ０およびＰＵ１）のいずれかに割り当て、この明確な割り当てに従って動き情報を格納することが更に提案される。これは図１６に例示される。ＭＶ０およびＭＶ１は、片または双予測動きベクトルに関し得ること留意されたい。
図８に示される１つの可能な一定の規則は、対角によってスライシングされた４×４ブロックをパーティションＰＵ０に常に割り当てる。
図１６に示される別の可能な一定の規則は、対角によってスライシングされる４×４ブロックをパーティションＰＵ１に常に割り当てる。
更に、別の可能な解決手段において、追加の条件から、対角４×４ブロックがＰＵ０またはＰＵ１に割り当てられるかどうかを推定できる。この決定は例えば、以下に基づいて行われ得る。
ＭＶ０およびＭＶ１の特性（大きさ、参照画像インデックス）
現在の三角形パーティション化されたブロックのブロックサイズ
図１７は、片予測候補導出および動きベクトル記憶の結果を例示する。動きベクトル（点線）が実際の動き補償に使用され、動きベクトル（実線）が記憶のみに使用される。
ＰＵ０（ダークグレー）については、第２参照画像の時間的距離より小さい、現在の画像への時間的距離を有する参照画像に関する動きベクトルが選択されたことに留意されたい。ＰＵ１については、両方の参照画像の絶対的な時間的距離は等しい、すなわち、ＴＤ０＝ＴＤ１である。従って、上で説明されたオプション１．ｃに従って、より小さい大きさを有する動きベクトルが動き補償のために選択された。ＭＶが参照する、現在の画像と参照画像との間の時間的距離はまた、ＰＯＣ距離と称される。
第４実施形態によれば、コーディングブロックについて動きベクトル（ＭＶ）を導出するための装置が提供され、上記装置は、
コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化されたコーディングブロックについてのマージ候補リストを生成するよう構成される候補リスト生成ユニットであって、マージ候補リストを生成する間に、１または複数の空間的マージ候補が近傍のコーディング単位から導出され、空間的マージ候補が導出された後に１または複数の時間的動きベクトル予測（ＭＶＰ）が直接的に、または直ちに導出される、候補リスト生成ユニットと、
少なくともマージ候補リストに基づいて、それぞれの三角形パーティションの動きベクトルとして片予測ＭＶを導出するよう構成されるインター予測処理ユニットと
を備える。
図１８は、候補リスト生成ユニット１８１０およびインター予測処理ユニット１８２０を含むＭＶ導出装置１８００を示す。例において、装置１８００は、図２におけるインター予測ユニット２４４に対応し得る。別の例において、装置１８００は図３におけるインター予測ユニット３４４に対応し得る。
第５実施形態によれば、コーディングブロックについてのマージ候補リストを生成するための装置が提供され、装置は、
コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化されたコーディングブロックについてのマージ候補リストを生成するよう構成される候補リスト生成ユニットであって、マージ候補リストを生成する間に、１または複数の空間的マージ候補が近傍のコーディング単位から導出され、空間的マージ候補が導出された後に１または複数の時間的動きベクトル予測（ＭＶＰ）が直接的に、または、直ちに導出され、１または複数の空間的マージ候補および導出された１または複数の時間的ＭＶＰはマージ候補リストに追加される、候補リスト生成ユニットを備え、
１または複数の空間的マージ候補および／または１または複数の時間的ＭＶＰは、片予測ＭＶまたは双予測ＭＶを含む装置。
図１９は、候補リスト生成ユニット１９１０を含むマージ候補リスト（ＭＣＬ）生成装置１９００を示す。ＭＣＬ生成装置１９００は、コーディングブロックを入力として使用し、コーディングブロックの１および／または２つの三角形パーティションについてのマージ候補リストＭＣＬを出力として提供する。例において、装置１９００は、図２におけるインター予測ユニット２４４に対応し得る。別の例において、装置１９００は、図３におけるインター予測ユニット３４４に対応し得る。
第６実施形態によれば、コーディングブロックの現在の三角形パーティションのインター予測のための装置が提供され、装置は、
コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化されたコーディングブロックについてのマージ候補リストを生成するよう構成される候補リスト生成ユニットであって、マージ候補リストの生成の間に、１または複数の空間的マージ候補が近傍のコーディング単位から導出され、空間的マージ候補が導出された後に１または複数の時間的動きベクトル予測（ＭＶＰ）が直接的に、または直ちに導出される、候補リスト生成ユニットと、
少なくともマージ候補リストに基づいてそれぞれの三角形パーティションの動きベクトルとして片予測ＭＶを導出し、少なくとも片予測ＭＶに基づいて現在の三角形パーティションの予測を実行して、現在の三角形パーティションの予測値を取得するよう構成されるインター予測処理ユニットと
を備える。
図２０は、候補リスト生成ユニット２０１０およびインター予測処理ユニット２０２０を含むインター予測装置２０００を示す。例において、装置２０００は、図２におけるインター予測ユニット２４４に対応し得る。別の例において、装置２０００は、図３におけるインター予測ユニット３４４に対応し得る。
実施形態によれば、片予測ＭＶ選択規則は、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶおよびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶの両方が同一の参照画像に関する場合、第１ＭＶおよび第２ＭＶに基づく平均動きベクトルが、片予測ＭＶとして使用されること、または、
第１ＭＶの参照画像インデックスが、現在の画像への第２ＭＶの時間的距離（ＴＤ１）より小さい現在の画像への時間的距離（ＴＤ０）を有する参照画像に関する場合、第１ＭＶは片予測ＭＶとして使用されること、または、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが、第１ＭＶへの時間的距離より小さい、現在の画像への時間的距離を有する参照画像に関する場合、第２ＭＶは片予測ＭＶとして使用されること、または、
現在の画像への時間的距離が第１ＭＶおよび第２ＭＶの両方について等しい場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶ、または、より小さい大きさを有するＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが片予測ＭＶとして使用されること
のいずれか１つである。片予測ＭＶ選択規則は、上の代替的な設計に限定されるものではなく、他の実装設計も考慮され得ることが理解できる。三角形マージモードについての片予測ＭＶ選択規則は、マージ候補リストの第１ＭＶまたは第２ＭＶ双予測ＭＶがどのように片予測ＭＶとして選択されるかを示す。
実施形態によれば、符号化ビデオ信号の現在のフレームのビデオコーディングブロックを復号するための復号装置（２００）が提供され、復号装置（２００）は、
残差ビデオコーディングブロックを提供するために、ビデオコーディングブロックを復号するよう構成される復号ユニット（２０５、２０７）と、
三角形マージモードについてのビデオコーディングブロックの三角形パーティションについて導出される片予測動きベクトル（ＭＶ）に基づいて予測ビデオコーディングブロックを生成することであって、双予測動きベクトル（ＭＶ）が三角形マージモードについて少なくとも１つの４×４サブブロックの動きベクトル記憶について可能である、こと、および、
片方向動き補償を実行すること
を行うよう構成されるインター予測ユニット（２１５）と、
フィルタリングされた予測ビデオコーディングブロックおよび残差ビデオコーディングブロックに基づいてビデオコーディングブロックを再構築するよう構成される再構築ユニット（２０９）と
を備える。
図２１は、復号ユニット２０５、インター予測ユニット２１５および再構築ユニット２０９を含む復号装置２００を示す。例において、復号装置２００は図３におけるデコーダに対応し得る。
本開示の態様によれば、ビデオ信号の現在のフレームの、２つの三角形パーティションにパーティション化されるコーディングブロックの三角形マージモードについての片方向（または片予測）動き補償を実行するための装置が提供され、
装置は、
２つの三角形パーティションの各々について、三角形マージモードについての片予測ＭＶ選択規則およびマージ候補リストに基づいて、片予測動きベクトル（ＭＶ）を導出すること、
対応する片予測ＭＶを使用して、２つの三角形パーティションの各々の動き補償を実行すること、および、
２つの動き補償三角形パーティションに基づいて予測コーディングブロックを取得すること
を行うよう構成される処理回路を備える。
図２２は、動き補償装置２２００を示す。例において、装置２２００は、図２におけるインター予測ユニット２４４に対応し得る。別の例において、装置２２００は、図３におけるインター予測ユニット３４４に対応し得る。
実施形態によれば、マージ候補リストは、片予測動きベクトル（ＭＶ）候補および／または双予測動きベクトル（ＭＶ）候補を含み、双予測ＭＶ候補は第１ＭＶおよび第２ＭＶを含む。
実施形態によれば、三角形マージモードについての片予測ＭＶ選択規則、および、マージ候補リストに基づく、片予測ＭＶの導出は、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶ、および、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶの両方が同一の参照画像に関する場合、第１ＭＶおよび第２ＭＶに基づく平均動きベクトルが片予測ＭＶとして導出されることを含む。
実施形態によれば、三角形マージモードについての片予測ＭＶ選択規則、および、マージ候補リストに基づく、片予測ＭＶの導出は、
第１ＭＶの参照画像インデックスが、現在の画像への第２ＭＶの時間的距離（ＴＤ１）より小さい現在の画像への時間的距離（ＴＤ０）を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶが、片予測ＭＶとして導出されること、または、
第２ＭＶが、第１ＭＶの時間的距離より小さい現在の画像への時間的距離（ＴＤ１）を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが片予測ＭＶとして導出されること
を含む。
実施形態によれば、三角形マージモードについての片予測ＭＶ選択規則、および、マージ候補リストに基づく、片予測ＭＶの導出は、
現在の画像への第１ＭＶおよび第２ＭＶの時間的距離が等しい場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶ、または、より小さい大きさを有するＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶは、片予測ＭＶとして導出されること
を含む。
実施形態によれば、三角形マージモードについての片予測ＭＶ選択規則、および、マージ候補リストに基づく、片予測ＭＶの導出は、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶ、および、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶの両方が同一の参照画像に関する場合、第１ＭＶおよび第２ＭＶに基づく平均動きベクトルが、片予測ＭＶとして導出されること、または、
第１ＭＶの参照画像インデックスが、現在の画像の第２ＭＶの時間的距離（ＴＤ１）より小さい現在の画像の時間的距離（ＴＤ０）を有する参照画像に関する場合、第１ＭＶは片予測ＭＶとして導出されること、または、
ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが、第１ＭＶへの時間的距離より小さい現在の画像への時間的距離を有する参照画像に関する場合、第２ＭＶは片予測ＭＶとして導出されること、または、
現在の画像への時間的距離が、第１ＭＶおよび第２ＭＶの両方について等しい場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの第１ＭＶ、または、より小さい大きさを有するＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの第２ＭＶが、片予測ＭＶ候補として導出されること
を含む。
実施形態によれば、ビデオ信号の現在のフレームのコーディングブロックを符号化するための符号化装置（２０）が提供され、符号化装置（２０）は、
残差コーディングブロックを提供するための、コーディングブロックを符号化するよう構成される符号化ユニット（２０４、２７０）と、
前述の実施形態のいずれかに記載の予測コーディングブロックを生成するよう構成されるインター予測ユニット（２４４）と、
予測コーディングブロック、および、残差コーディングブロックに基づいて、コーディングブロックを再構築するよう構成される再構築ユニット（２１４）と
を備える。それぞれの符号化装置が図２に示される。
実施形態によれば、ビデオ信号の現在のフレームのコーディングブロックを復号するための復号装置（３０）が提供され、復号装置（３０）は、
残差コーディングブロックを提供するために、コーディングブロックを復号するよう構成される復号ユニット（３０４）と、
前述の実施形態のいずれかに記載の予測コーディングブロックを生成するよう構成されるインター予測ユニット（３４４）と、
予測コーディングブロック、および、残差コーディングブロックに基づいて、コーディングブロックを再構築するよう構成される再構築ユニット（３１４）と
を備える。それぞれの復号装置が図３に示される。
実施形態によれば、前述の実施形態のいずれか１つによる方法を実行するための処理回路を備えるエンコーダが提供される。
実施形態によれば、前述の実施形態のいずれか１つによる方法を実行するための処理回路を備えるデコーダが提供される。
実施形態によれば、前述の実施形態のいずれか１つによる方法を実行するためのプログラムコードを含むコンピュータプログラム製品が提供される。
実施形態によれば、デコーダが提供され、デコーダは、
１または複数のプロセッサと、
プロセッサに連結され、プロセッサによる実行のためのプログラムを格納する非一時的コンピュータ可読記憶媒体であって、プログラムは、プロセッサによって実行されるとき、前述の実施形態のいずれか一項に記載の方法を実行するようデコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備える。
実施形態によれば、エンコーダが提供され、エンコーダは、１または複数のプロセッサと、
プロセッサに連結され、プロセッサによる実行のためのプログラムを格納する非一時的コンピュータ可読記憶媒体であって、プログラムは、プロセッサによって実行されるとき、前述の実施形態のいずれか一項に記載の方法を実行するようエンコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備える。
以下では、上述した実施形態に示されるような符号化方法および復号方法の適用、ならびに、それらを使用するシステムの説明を提供する。
図２３は、コンテンツ配信サービスを実現するためのコンテンツ供給システム３１００を示すブロック図である。このコンテンツ供給システム３１００は、キャプチャデバイス３１０２、端末デバイス３１０６を含み、任意で、ディスプレイ３１２６を含む。キャプチャデバイス３１０２は、通信リンク３１０４を介して端末デバイス３１０６と通信する。通信リンクは、上述した通信チャネル１３を含んでよい。通信リンク３１０４は、限定されるものではないが、ＷＩＦＩ（登録商標）、イーサネット（登録商標）、ケーブル、無線（３Ｇ／４Ｇ／５Ｇ）、ＵＳＢまたはこれらの任意の種類の組み合わせなどを含む。
キャプチャデバイス３１０２は、データを生成し、上記の実施形態に示されるような符号化方法により、データを符号化してよい。代わりに、キャプチャデバイス３１０２は、データをストリーミングサーバ（図には示されていない）に配信してよく、サーバは、データを符号化して、符号化されたデータを端末デバイス３１０６に送信する。キャプチャデバイス３１０２は、限定されるものではないが、カメラ、スマートフォンまたはパッド、コンピュータまたはラップトップ、ビデオ会議システム、ＰＤＡ（登録商標）、車載デバイスまたはこれらのいずれかの組み合わせなどを含む。例えば、上述したように、キャプチャデバイス３１０２は送信元デバイス１２を含んでよい。データがビデオを含む場合、キャプチャデバイス３１０２に含まれるビデオエンコーダ２０は、ビデオ符号化処理を実際に実行してよい。データがオーディオ（すなわち、音声）を含む場合、キャプチャデバイス３１０２に含まれるオーディオエンコーダは、オーディオ符号化処理を実際に実行してよい。いくつかの実際のシナリオについて、キャプチャデバイス３１０２は、これらを一緒に多重化することにより、符号化されたビデオおよびオーディオデータを配信する。他の実際のシナリオについて、例えば、ビデオ会議システムにおいて、符号化されたオーディオデータおよび符号化されたビデオデータは多重化されない。キャプチャデバイス３１０２は、符号化されたオーディオデータおよび符号化されたビデオデータを別個に端末デバイス３１０６に配信する。
コンテンツ供給システム３１００において、端末デバイス３１０は、符号化されたデータを受信および再生する。端末デバイス３１０６は、データ受信および復元機能を有するデバイス、例えば、上述した符号化されたデータを復号することが可能なスマートフォンまたはパッド３１０８、コンピュータまたはラップトップ３１１０、ネットワークビデオレコーダ（ＮＶＲ）／デジタルビデオレコーダ（ＤＶＲ）３１１２、ＴＶ３１１４、セットトップボックス（ＳＴＢ）３１１６、ビデオ会議システム３１１８、ビデオ監視システム３１２０、パーソナルデジタルアシスタント（ＰＤＡ）３１２２、車載デバイス３１２４またはこれらのいずれかの組み合わせなどであってよい。例えば、上述したように、端末デバイス３１０６は送信先デバイス１４を含んでよい。符号化されたデータがビデオを含む場合、端末デバイスに含まれるビデオデコーダ３０は、ビデオ復号を実行することを優先させる。符号化されたデータがオーディオを含む場合、端末デバイスに含まれるオーディオデコーダは、オーディオ復号処理を実行することを優先させる。
ディスプレイを有する端末デバイス、例えば、スマートフォンまたはパッド３１０８、コンピュータまたはラップトップ３１１０、ネットワークビデオレコーダ（ＮＶＲ）／デジタルビデオレコーダ（ＤＶＲ）３１１２、ＴＶ３１１４、パーソナルデジタルアシスタント（ＰＤＡ）３１２２または車載デバイス３１２４について、端末デバイスは、復号されたデータをそのディスプレイに入力できる。ディスプレイを搭載していない端末デバイス、例えば、ＳＴＢ３１１６、ビデオ会議システム３１１８またはビデオ監視システム３１２０について、外部ディスプレイ３１２６は、復号されたデータを受信および示すために、内部でコンタクトされる。
このシステム内の各デバイスが符号化または復号を実行する場合、上述した実施形態に示されるように、画像符号化デバイスまたは画像復号デバイスが用いられ得る。
図２４は、端末デバイス３１０６の例の構造を示す略図である。端末デバイス３１０６がキャプチャデバイス３１０２からストリームを受信した後に、プロトコル処理ユニット３２０２は、ストリームの伝送プロトコルを解析する。プロトコルは、限定されるものではないが、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）、ＨＴＴＰライブストリーミングプロトコル（ＨＬＳ）、ＭＰＥＧ－ＤＡＳＨ、リアルタイムトランスポートプロトコル（ＲＴＰ）、リアルタイムメッセージングプロトコル（ＲＴＭＰ）、または、これらの任意の種類の組み合わせなどを含む。
プロトコル処理ユニット３２０２がストリームを処理した後に、ストリームファイルが生成される。当該ファイルは、逆多重化ユニット３２０４に出力される。逆多重化ユニット３２０４は、多重化されたデータを符号化されたオーディオデータおよび符号化されたビデオデータに分離できる。上述したように、いくつかの実際のシナリオにつて、例えば、ビデオ会議システムでは、符号化されたオーディオデータおよび符号化されたビデオデータは多重化されていない。この状況において、符号化されたデータは、逆多重化ユニット３２０４を介することなく、ビデオデコーダ３２０６およびオーディオデコーダ３２０８へ送信される。
逆多重化処理を介して、ビデオエレメンタリストリーム（ＥＳ）、オーディオＥＳおよび任意で字幕が生成される。上述した実施形態において説明したように、ビデオデコーダ３０を含むビデオデコーダ３２０６は、上述した実施形態に示されるような復号方法により、ビデオＥＳを復号してビデオフレームを生成し、このデータを同期ユニット３２１２に入力する。オーディオデコーダ３２０８は、オーディオＥＳを復号してオーディオフレームを生成し、このデータを同期ユニット３２１２に入力する。代替的に、ビデオフレームは、同期ユニット３２１２にフィードする前に、バッファ（図２４において図示せず）に格納され得る。同様に、オーディオフレームは、同期ユニット３２１２にフィードされる前に、バッファ（図２４において図示せず）に格納され得る。
同期ユニット３２１２は、ビデオフレームおよびオーディオフレームを同期させて、ビデオ／オーディオをビデオ／オーディオディスプレイ３２１４に供給する。例えば、同期ユニット３２１２は、ビデオおよびオーディオ情報の提示を同期させる。情報は、コーディングされたオーディオおよびビジュアルデータの提示に関するタイムスタンプ、および、データストリームそのものの配信に関するタイムスタンプを用いてシンタックスでコーディングしてよい。
ストリームに字幕が含まれている場合、字幕デコーダ３２１０は、字幕を復号し、それをビデオフレームおよびオーディオフレームと同期させ、ビデオ／オーディオ／字幕をビデオ／オーディオ／字幕ディスプレイ３２１６に供給する。
本発明は、上述したシステムに限定されるものではなく、上述した実施形態における画像符号化デバイスまたは画像復号デバイスのいずれが、他のシステム、例えば、自動車システムに組み込まれ得る。
本発明の実施形態は主にビデオコーディングに基づいて説明されたが、コーディングシステム１０、エンコーダ２０およびデコーダ３０（および対応するシステム１０）の実施形態、および、本明細書に記載される他の実施形態はまた、静止画像処理またはコーディング、すなわち、ビデオコーディングのように、任意の先行する画像または連続する画像から独立した個々の画像の処理またはコーディングのために構成され得ることに留意されたい。一般的に、画像処理コーディングが単一画像１７に限定される場合、インター予測ユニット２４４（エンコーダ）および３４４（デコーダ）のみが利用可能でないことがあり得る。ビデオエンコーダ２０およびビデオデコーダ３０のすべての他の機能（ツールまたは技術とも称される）は、更なる画像処理、例えば、残差計算２０４／３０４、変換２０６、量子化２０８、逆量子化２１０／３１０、（逆）変換２１２／３１２、パーティション化２６２／３６２、イントラ予測２５４／３５４．および／または、ループフィルタリング２２０、３２０、ならびに、エントロピーコーディング２７０およびエントロピー復号３０４のために等しく使用され得る。
例えば、エンコーダ２０およびデコーダ３０の実施形態、ならびに、例えば、エンコーダ２０およびデコーダ３０に関連して本明細書において説明される機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実装され得る。ソフトウェアにおいて実装される場合、機能は、コンピュータ可読媒体に格納され得る、または、通信媒体を介して、１または複数の命令またはコードとして送信され、ハードウェアベースの処理ユニットによって実行される。コンピュータ可読媒体は、データ記憶媒体など有形の媒体に対応するコンピュータ可読記憶媒体、または、例えば通信プロトコルに従ってコンピュータプログラムをある場所から別の場所へ転送することを容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は一般に、（１）非一時的である有形コンピュータ可読記憶媒体、または、（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示において説明される技法の実装のための命令、コードおよび／またはデータ構造体を取得するべく１または複数のコンピュータ、または、１または複数のプロセッサがアクセスできる任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ‐ＲＯＭ、または、他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、または、命令もしくはデータ構造体の形式で所望のプログラムコードを格納するために使用でき、コンピュータによってアクセスできる任意の他の媒体を含み得る。また、任意の接続は、適切にコンピュータ可読媒体と称される。例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）または、赤外線、無線、およびマイクロ波などの無線技術を使用して、命令がウェブサイト、サーバ、または、他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または、赤外線、無線、およびマイクロ波などの無線技術は、媒体の定義に含まれる。しかしながら、そのコンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または、他の一時的媒体を含まず、代わりに、非一時的、有形の記憶媒体を指すことを理解すべきである。本明細書において使用されるディスク（ｄｉｓｋ）およびディスク（ｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタルバーサタイルディスク（ＤＶＤ）、フロッピーディスク、およびブルーレイ（登録商標）ディスクを含み、ディスク（ｄｉｓｋ）は通常、磁気的にデータを再生し、ディスク（ｄｉｓｃ）はレーザを用いて光学的にデータを再生する。上の組み合わせも、コンピュータ可読媒体の範囲に含まれるべきである。
命令は、１または複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または、他の同等な統合もしくはディスクリート論理回路などの１または複数のプロセッサによって実行され得る。従って、「プロセッサ」という用語は、本明細書において使用される場合、前述の構造、または、本明細書において説明される技法の実装に好適な任意の他の構造のいずれかを指し得る。加えて、いくつかの態様において、本明細書において説明される機能は、符号化および復号について構成される専用ハードウェアおよび／またはソフトウェアモジュール内で提供され得る、または、組み合わされたコーデックに組み込まれ得る。また、当該技法は、１または複数の回路、または論理要素において完全に実装され得る。
本開示の技法は、無線ハンドセット、集積回路（ＩＣ）またはＩＣのセット（例えばチップセット）を含む広範のデバイスまたは装置において実装され得る。様々なコンポーネントモジュール、またはユニットは、本開示において、開示の技法を実行するよう構成されるデバイスの機能的側面を強調するように説明されているが、異なるハードウェアユニットによる実現を必ずしも要求するものではない。むしろ、上記のように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わされ得る、または、好適なソフトウェアおよび／またはファームウェアと連携して、上記のような１または複数のプロセッサを含む相互運用ハードウェアユニットの集合によって提供され得る。
本開示の特定の特徴または態様が、いくつかの実装形態または実施形態のうちの１つのみに関連して開示された可能性もあり得るが、そのような特徴または態様は、任意の所与の用途または特定の用途にとって望ましく有利になり得るように、他の実装または実施形態の１または複数の他の特徴または態様と組み合わされてよい。更に、「含む」、「有する」、「備える」という用語、または、それらの他の変形が、詳細な説明または請求項のいずれかにおいて使用される限りにおいて、そのような用語は、「含む（ｃｏｍｐｒｉｓｅ）」という用語と同様の方式で、包括的（ｉｎｃｌｕｓｉｖｅ）であることが意図されている。また、「例示的」、「例えば」および「例」という用語は、最良または最適な意味ではなく、単に例であることが意図されている。「連結」および「接続」という用語は、派生語と共に使用され得る。これらの用語は、２つの要素が、物理的または電気的に直接接触しているか、または互いに直接接触していないかにかかわらず、互いに協働または相互作用することを示すために用いられている可能性があり得ることが理解されるべきである。
特定の態様が本明細書において図示および説明されてきたが、当業者であれば、様々な代替的な実装および／または同等の実装が、本開示の範囲から逸脱することなく、図示および説明された特定の態様の代わりになり得ることを理解されよう。本願は、本明細書において述べられた特定の態様のあらゆる適応形態または変形形態を包含することを意図している。
以下の特許請求の範囲における要素は、対応する符号と共に特定の順序で記載されているが、特許請求の範囲の記載にそれらの要素のいくつかまたはすべてを特定の順序で実装することについての別段の示唆がない限り、それらの要素がその特定の順序で実装されるよう限定されることが必ずしも意図されているわけではない。
上記の教示に照らして、多くの代替形態、修正形態および変形形態が当業者には明らかになろう。当業者であれば、本明細書において説明されたものの外にも本発明の多数の用途が存在することを容易に認識するのは当然である。本発明は、１または複数の特定の実施形態を参照して説明されてきたが、当業者であれば、多くの変更が、本発明の範囲から逸脱することなく行われ得ることを認識する。従って、本発明は、添付の特許請求の範囲およびそれらの均等物の範囲内で、本明細書において具体的に説明された以外の態様で実施され得ることが理解されるべきである。
要約すると、本開示はビデオ符号化および復号に関する。その目的で、装置および方法は、コーディングブロックについての動きベクトル（ＭＶ）を導出する。特に、コーディングブロックが三角形マージモードマージについて有効であるとき、コーディングブロックについての候補リストは２つの三角形パーティションにパーティション化される。マージ候補リスト生成は、近傍のコーディング単位から１または複数の空間的マージ候補を導出することを含む。空間的マージ候補が導出された後に、直接的に、または直ちに、１または複数の時間的動きベクトル予測（ＭＶＰ）が導出される。次に、１または複数の片予測ＭＶおよび／または１または複数の双予測ＭＶを含むマージ候補リストに基づいて、片予測ＭＶがそれぞれの三角形パーティションの動きベクトルとして導出される。片方向ＭＶの導出は、マージ候補または片方向ＭＶ選択規則に基づいている。コーディングブロックの三角形パーティションは次に、三角形パーティションの予測値を取得するために、少なくとも片予測ＭＶに基づいて予測される。
本発明の更なる実施形態は、以下において提供される。次の項で用いる番号付けは、必ずしも前の項で用いた番号付けに従う必要はないことに留意されたい。
実施形態１
符号化ビデオ信号の現在のフレームのビデオコーディングブロックを復号するための復号装置（２００）であって、
残差ビデオコーディングブロックを提供するためのビデオコーディングブロックを復号するよう構成される復号ユニット（２０５）と、
予測ビデオコーディングブロックを生成するよう構成されるインター予測ユニット（２１５）であって、双予測動きベクトルは、三角形パーティションのすべての４×４サブブロックについて、動きベクトル記憶が可能であり、片方向動き補償が実行される、インター予測ユニット（２１５）と、
フィルタリングされた予測ビデオコーディングブロックおよび残差ビデオコーディングブロックに基づいてビデオコーディングブロックを再構築するよう構成される再構築ユニット（２０９）と
を備える復号装置（２００）。
実施形態２
符号化されたビデオ信号の現在のフレームのビデオコーディングブロックを復号するための復号装置（２００）であって、
残差ビデオコーディングブロックを提供するためにビデオコーディングブロックを復号するよう構成される復号ユニット（２０５）と、
三角形ブロック（三角形予測単位など）について導出される片方向動きベクトルに基づいて、予測ビデオコーディングブロックを生成するよう構成され、片方向動き補償が実行される、インター予測ユニット（２１５）と、
フィルタリングされた予測ビデオコーディングブロックおよび残差ビデオコーディングブロックに基づいて、ビデオコーディングブロックを再構築するよう構成される再構築ユニット（２０９）と
を備える復号装置（２００）。
実施形態３
三角形ブロック（三角形予測単位など）について、以下の基準に従って、片方向動きベクトルが第１（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）および第２（（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）動きベクトル）から導出される、実施形態２の復号装置（２００）。
ａ．ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０およびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルの両方が、同一の参照画像に関する場合、平均動きベクトルを計算する。
実施形態４
三角形ブロック（三角形予測単位など）について、以下の基準に従って、片方向動きベクトルが第１（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）および第２（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）動きベクトルから導出される、実施形態２の復号装置（２００）。
ａ．そうでなければ、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルの参照画像インデックスが、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルより小さい、現在の画像への時間的距離を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルを使用する。そうでなければ、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルが、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルへの時間的距離より小さい、現在の画像への時間的距離を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルを使用する。
実施形態５
三角形ブロック（三角形予測単位など）について、以下の基準に従って、片方向動きベクトルが第１（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）および第２（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）動きベクトルから導出される、実施形態２の復号装置（２００）。
ａ．そうでなければ、現在の画像への時間的距離が、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０およびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルの両方について等しい場合、より小さい大きさを有する動きベクトルを使用する。
実施形態６
三角形ブロック（三角形予測単位など）について、以下の基準のいずれか１つに従って、片方向動きベクトルが第１（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）および第２（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）動きベクトルから導出される、実施形態２の復号装置（２００）。
ａ．ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０およびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルの両方が、同一の参照画像に関する場合、平均動きベクトルを計算する。または、
ｂ．そうでなければ、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルの参照画像インデックスが、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルより小さい、現在の画像への時間的距離を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルを使用する。そうでなければ、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルが、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルへの時間的距離より小さい、現在の画像への時間的距離を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルを使用する。 または、
ｃ．そうでなければ、現在の画像への時間的距離がＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０およびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルの両方について等しい場合、より小さい大きさを有する動きベクトルを使用する。
実施形態７
以下を含む、三角形ブロック（三角形予測単位など）について片方向動きベクトルを導出する方法。
片方向動きベクトルが、以下の基準に従って、第１（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）および第２（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）動きベクトルから導出される。
ａ．ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０およびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルの両方が、同一の参照画像に関する場合、平均動きベクトルを計算する。
実施形態８
以下を含む、三角形ブロック（三角形予測単位など）について片方向動きベクトルを導出する方法。
片方向動きベクトルが、以下の基準に従って、第１（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）および第２（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）動きベクトルから導出される。
ａ．そうでなければ、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルの参照画像インデックスが、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルより小さい、現在の画像への時間的距離を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルを使用する。そうでなければ、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルが、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルへの時間的距離より小さい、現在の画像への時間的距離を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルを使用する。
実施形態９
以下を含む、三角形ブロック（三角形予測単位など）について片方向動きベクトルを導出する方法。
片方向動きベクトルが、以下の基準に従って、第１（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）および第２（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）動きベクトルから導出される。
ａ．そうでなければ、現在の画像への時間的距離がＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０およびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルの両方について等しい場合、より小さい大きさを有する動きベクトルを使用する。
実施形態１０
以下を含む、三角形ブロック（三角形予測単位など）について片方向動きベクトルを導出する方法。
片方向動きベクトルが、以下の基準のいずれか１つに従って、第１（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）および第２（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）動きベクトルから導出される。
ａ．ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０およびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルの両方が、同一の参照画像に関する場合、平均動きベクトルを計算する。または、
ｂ．そうでなければ、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルの参照画像インデックスが、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルより小さい、現在の画像への時間的距離を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルを使用する。そうでなければ、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルが、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０動きベクトルへの時間的距離より小さい、現在の画像への時間的距離を有する参照画像に関する場合、ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルを使用する。または、
ｃ．そうでなければ、現在の画像への時間的距離がＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０およびＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１動きベクトルの両方について等しい場合、より小さい大きさを有する動きベクトルを使用する。
実施形態１１
実施形態７から１０のいずれか１つによる方法を実行するための処理回路を備えるエンコーダ。
実施形態１２
実施形態７から１０のいずれか１つによる方法を実行するための処理回路を備えるデコーダ。
実施形態１３
実施形態７から１０のいずれか１つによる方法を実行するためのプログラムコードを備えるコンピュータプログラム製品。
実施形態１４
デコーダであって、
１または複数のプロセッサと、
プロセッサに連結され、プロセッサによって実行されるプログラムを格納する非一時的コンピュータ可読記憶媒体と
そ備え、プログラムは、プロセッサによって実行されるとき、実施形態７から１０のいずれか１つによる方法を実行するようデコーダを構成する、
デコーダ。
実施形態１５
エンコーダであって、
１または複数のプロセッサと、
プロセッサに連結され、プロセッサによって実行されるプログラムを格納する非一時的コンピュータ可読記憶媒体と
そ備え、プログラムは、プロセッサによって実行されるとき、実施形態７から１０のいずれか１つによる方法を実行するようエンコーダを構成する、
エンコーダ。
参照符号リスト
図１Ａ
１０ ビデオコーディングシステム
１２ 送信元デバイス
１３ 通信チャネル
１４ 送信先デバイス
１６ 画像ソース
１７ 画像データ
１８ プリプロセッサ
１９ 前処理された画像データ
２０ ビデオエンコーダ
２１ 符号化された画像データ
２２ 通信インタフェース
２８ 通信インタフェース
３０ ビデオデコーダ
３１ 復号画像データ
３２ ポストプロセッサ
３３ 後処理された画像データ
３４ ディスプレイデバイス
図１Ｂ
４０ ビデオコーディングシステム
４１ イメージングデバイス
４２ アンテナ
４３ プロセッサ
４４ メモリストア
４５ ディスプレイデバイス
４６ 処理回路
２０ ビデオエンコーダ
３０ ビデオデコーダ
図２
１７ 画像（データ）
１９ 前処理された画像（データ）
２０ エンコーダ
２１ 符号化された画像データ
２０１ 入力部（インタフェース）
２０４ 残差計算（ユニットまたは段階）
２０６ 変換処理ユニット
２０８ 量子化ユニット
２１０ 逆量子化ユニット
２１２ 逆変換処理ユニット
２１４ 再構築ユニット
２２０ ループフィルタユニット
２３０ 復号画像バッファ（ＤＰＢ）
２６０ モード選択ユニット
２７０ エントロピー符号化ユニット
２７２ 出力部（インタフェース）
２４４ インター予測ユニット
２５４ イントラ予測ユニット
２６２ パーティション化ユニット
２０３ 画像ブロック
２０５ 残差ブロック
２１３ 再構築残差ブロック
２１５ 再構築ブロック
２２１ フィルタリングブロック
２３１ 復号画像
２６５ 予測ブロック
２６６ シンタックス要素
２０７ 変換係数
２０９ 量子化係数
２１１ 逆量子化係数
図３
２１ 符号化された画像データ
３０ ビデオデコーダ
３０４ エントロピー復号ユニット
３０９ 量子化係数
３１０ 逆量子化ユニット
３１１ 逆量子化係数
３１２ 逆変換処理ユニット
３１３ 再構築残差ブロック
３１４ 再構築ユニット
３１５ 再構築ブロック
３２０ ループフィルタ
３２１ フィルタリングブロック
３３０ 復号画像バッファＤＢＰ
３３１ 復号された画像
３６０ モード適用ユニット
３６５ 予測ブロック
３６６ シンタックス要素
３４４ インター予測ユニット
３５４ イントラ予測ユニット
図４
４００ ビデオコーディングデバイス
４１０ 入口ポート／入力ポート
４２０ 受信機ユニットＲｘ
４３０ プロセッサ
４４０ 送信機ユニットＴｘ
４５０ 出口ポート／出力ポート
４６０ メモリ
４７０ コーディングモジュール
図５
５００ 送信元デバイスまたは送信先デバイス
５０２ プロセッサ
５０４ メモリ
５０６ コードおよびデータ
５０８ オペレーティングシステム
５１０ アプリケーションプログラム
５１２ バス
５１８ ディスプレイ
［他の可能な請求項］
（項目１）
コーディングブロックについて動きベクトル（ＭＶ）を導出するための方法であって、
上記コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化された上記コーディングブロックについてのマージ候補リストを生成する段階を備え、上記マージ候補リストを生成する上記段階は少なくとも、
近傍のコーディング単位から１または複数の空間的マージ候補を導出する段階と、
上記空間的マージ候補を導出した後に、１または複数の時間的動きベクトル予測（ＭＶＰ）を直接的に、または直ちに導出する段階と、
少なくとも上記マージ候補リストに基づいて、それぞれの上記三角形パーティションの動きベクトルとして片予測ＭＶを導出する段階と
を含む、方法。
（項目２）
上記片予測ＭＶは、上記三角形マージモードについての片予測ＭＶ選択規則、および、上記マージ候補リストに基づいて導出される、項目１に記載の方法。
（項目３）
上記マージ候補リストは、１または複数の片予測ＭＶおよび／または１または複数の双予測ＭＶを含む、項目２に記載の方法。
（項目４）
上記三角形マージモードについての上記片予測ＭＶ選択規則は、上記マージ候補リストの双予測ＭＶの第１ＭＶまたは第２ＭＶが片予測ＭＶとして選択されることを示す、項目２または３に記載の方法。
（項目５）
上記第１ＭＶは、第１の参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）に対応し、上記第２ＭＶは第２参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）に対応する、項目４に記載の方法。
（項目６）
コーディングブロックについてのマージ候補リストを生成する方法であって、
上記コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化された上記コーディングブロックについて上記マージ候補リストを生成する段階を備え、上記マージ候補リストを生成する上記段階は少なくとも、
近傍のコーディング単位から１または複数の空間的マージ候補を導出する段階と、
上記空間的マージ候補を導出した後に、１または複数の時間的動きベクトル予測（ＭＶＰ）を直接的に、または直ちに導出する段階と、
上記１または複数の空間的マージ候補および導出された上記１または複数の時間的ＭＶＰを上記マージ候補リストに追加する段階と
を含み、上記１または複数の空間的マージ候補および／または上記１または複数の時間的ＭＶＰは、片予測ＭＶまたは双予測ＭＶを含む、
方法。
（項目７）
コーディングブロックの現在の三角形パーティションのインター予測の方法であって、
上記コーディングブロックが三角形マージモードについて有効である場合、上記コーディングブロックについてのマージ候補リストを生成する段階であって、上記マージ候補リストを生成する上記段階は少なくとも、近傍のコーディング単位から１または複数の空間的マージ候補を導出する段階と、上記空間的マージ候補を導出した後に、１または複数の時間的動きベクトル予測（ＭＶＰ）を直接的に、または直ちに導出する段階とを含む、段階と、
少なくとも上記マージ候補リストに基づいて、上記現在の三角形パーティションの動きベクトルとして片予測ＭＶを導出する段階と、
少なくとも上記片予測ＭＶに基づいて、上記現在の三角形パーティションの予測を実行して、上記現在の三角形パーティションの予測値を取得する段階と
を備える、
方法。
（項目８）
サブブロックベースの時間的マージ候補の導出は、上記マージ候補リストを生成する上記段階から除外される、項目７に記載の方法。
（項目９）
上記マージ候補リストは、１または複数の片予測ＭＶおよび／または１または複数の双予測ＭＶを含む、項目７または８に記載の方法。
（項目１０）
上記片予測ＭＶを導出する上記段階は、上記三角形マージモードについての片予測ＭＶ選択規則、および、上記マージ候補リストに基づく、項目７から９のいずれか一項に記載の方法。
（項目１１）
上記三角形パーティションモードについての上記片予測ＭＶ選択規則は、生成された上記候補リストの双予測ＭＶの第１ＭＶまたは第２ＭＶが片予測ＭＶとして選択されることを示す、項目１０に記載の方法。
（項目１２）
上記第１ＭＶは、第１の参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）に対応し、上記第２ＭＶは第２参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）に対応する、項目１１に記載の方法。
（項目１３）
上記片予測ＭＶ選択規則は、
上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの上記第１ＭＶおよび上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの上記第２ＭＶの両方が同一の参照画像に関する場合、上記第１ＭＶおよび上記第２ＭＶに基づく平均動きベクトルが、上記片予測ＭＶとして使用されること、または、
上記第１ＭＶの参照画像インデックスが、現在の画像への上記第２ＭＶの時間的距離（ＴＤ１）より小さい現在の画像への時間的距離（ＴＤ０）を有する参照画像に関する場合、上記第１ＭＶは上記片予測ＭＶとして使用されること、または、
上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの上記第２ＭＶが、上記第１ＭＶへの時間的距離より小さい、上記現在の画像への上記時間的距離を有する参照画像に関する場合、上記第２ＭＶは上記片予測ＭＶとして使用されること、または、
上記現在の画像への上記時間的距離が上記第１ＭＶおよび上記第２ＭＶの両方について等しい場合、上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの上記第１ＭＶ、または、より小さい大きさを有するＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの上記第２ＭＶが上記片予測ＭＶとして使用されること
のいずれか１つである、項目１０から１２のいずれか一項に記載の方法。
（項目１４）
コーディングブロックについて動きベクトル（ＭＶ）を導出するための装置であって、
上記コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化された上記コーディングブロックについてのマージ候補リストを生成するよう構成される候補リスト生成ユニットであって、上記マージ候補リストを生成する間に、１または複数の空間的マージ候補が近傍のコーディング単位から導出され、上記空間的マージ候補が導出された後に１または複数の時間的動きベクトル予測（ＭＶＰ）が直接的に、または直ちに導出される、候補リスト生成ユニットと、
少なくとも上記マージ候補リストに基づいて、それぞれの上記三角形パーティションの動きベクトルとして片予測ＭＶを導出するよう構成されるインター予測処理ユニットと
を備える装置。
（項目１５）
上記片予測ＭＶは、上記三角形マージモードについての片予測ＭＶ選択規則、および、上記マージ候補リストに基づいて導出される、項目１４に記載の装置。
（項目１６）
上記マージ候補リストは、１または複数の片予測ＭＶ、および／または、１または複数の双予測ＭＶを含む、項目１５に記載の装置。
（項目１７）
上記三角形マージモードについての上記片予測ＭＶ選択規則は、上記マージ候補リストの双予測ＭＶの第１ＭＶまたは第２ＭＶが片予測ＭＶとして選択されることを示す、項目１５または１６に記載の装置。
（項目１８）
上記第１ＭＶは第１の参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）に対応し、上記第２ＭＶは第２参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）に対応する、項目１７に記載の装置。
（項目１９）
コーディングブロックについてのマージ候補リストを生成するための装置であって、
上記コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化された上記コーディングブロックについてのマージ候補リストを生成するよう構成される候補リスト生成ユニットであって、上記マージ候補リストの上記生成の間に、１または複数の空間的マージ候補が近傍のコーディング単位から導出され、上記空間的マージ候補が導出された後に１または複数の時間的動きベクトル予測（ＭＶＰ）が直接的に、または、直ちに導出され、上記１または複数の空間的マージ候補および導出された上記１または複数の時間的ＭＶＰは上記マージ候補リストに追加される、候補リスト生成ユニットを備え、
上記１または複数の空間的マージ候補および／または上記１または複数の時間的ＭＶＰは、片予測ＭＶまたは双予測ＭＶを含む、
装置。
（項目２０）
コーディングブロックの現在の三角形パーティションのインター予測のための装置であって、
上記コーディングブロックが三角形マージモードについて有効である場合、２つの三角形パーティションにパーティション化された上記コーディングブロックについてのマージ候補リストを生成するよう構成される候補リスト生成ユニットであって、上記マージ候補リストの上記生成の間に、１または複数の空間的マージ候補が近傍のコーディング単位から導出され、上記空間的マージ候補が導出された後に１または複数の時間的動きベクトル予測（ＭＶＰ）が直接的に、または直ちに導出される、候補リスト生成ユニットと、
少なくとも上記マージ候補リストに基づいてそれぞれの上記三角形パーティションの動きベクトルとして片予測ＭＶを導出し、少なくとも上記片予測ＭＶに基づいて上記現在の三角形パーティションの予測を実行して、上記現在の三角形パーティションの予測値を取得するよう構成されるインター予測処理ユニットと
を備える装置。
（項目２１）
サブブロックベースの時間的マージ候補の導出は、上記マージ候補リストの上記生成から除外される、項目２０に記載の装置。
（項目２２）
上記マージ候補リストは、１または複数の片予測ＭＶおよび／または１または複数の双予測ＭＶを含む、項目２０または２１に記載の装置。
（項目２３）
上記片予測ＭＶの上記導出は、上記三角形マージモードについての片予測ＭＶ選択規則および上記マージ候補リストに基づく、項目２０から２２のいずれか一項に記載の装置。
（項目２４）
上記三角形パーティションモードについての上記片予測ＭＶ選択規則は、生成された上記候補リストの双予測ＭＶの第１ＭＶまたは第２ＭＶが片予測ＭＶとして選択されることを示す、項目２３に記載の装置。
（項目２５）
上記第１ＭＶは、第１の参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）に対応し、上記第２ＭＶは第２参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）に対応する、項目２４に記載の装置。
（項目２６）
上記片予測ＭＶ選択規則は、
上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの上記第１ＭＶおよび上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの上記第２ＭＶの両方が同一の参照画像に関する場合、上記第１ＭＶおよび上記第２ＭＶに基づく平均動きベクトルが、上記片予測ＭＶとして使用されること、または、
上記第１ＭＶの参照画像インデックスが、現在の画像への上記第２ＭＶの時間的距離（ＴＤ１）より小さい現在の画像への上記時間的距離（ＴＤ０）を有する参照画像に関する場合、上記第１ＭＶは上記片予測ＭＶとして使用されること、または、
上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの上記第２ＭＶが、上記第１ＭＶへの時間的距離より小さい、上記現在の画像への上記時間的距離を有する参照画像に関する場合、上記第２ＭＶは上記片予測ＭＶとして使用されること、または、
上記現在の画像への上記時間的距離が上記第１ＭＶおよび上記第２ＭＶの両方について等しい場合、上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの上記第１ＭＶ、または、より小さい大きさを有する上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの上記第２ＭＶが上記片予測ＭＶとして使用されること
のいずれか１つである、項目２３から２５のいずれか一項に記載の装置。
（項目２７）
符号化ビデオ信号の現在のフレームのビデオコーディングブロックを復号するための復号装置（２００）であって、上記復号装置（２００）は、
残差ビデオコーディングブロックを提供するために、上記ビデオコーディングブロックを復号するよう構成される復号ユニット（２０５）と、
三角形マージモードについての上記ビデオコーディングブロックの三角形パーティションについて導出される片予測動きベクトル（ＭＶ）に基づいて予測ビデオコーディングブロックを生成することであって、双予測動きベクトル（ＭＶ）が上記三角形マージモードについて少なくとも１つの４×４サブブロックの動きベクトル記憶について可能である、こと、および、
片方向動き補償を実行すること
を行うよう構成されるインター予測ユニット（２１５）と、
フィルタリングされた上記予測ビデオコーディングブロックおよび上記残差ビデオコーディングブロックに基づいて上記ビデオコーディングブロックを再構築するよう構成される再構築ユニット（２０９）と
を備える復号装置。
（項目２８）
ビデオ信号の現在のフレームの、２つの三角形パーティションにパーティション化されるコーディングブロックの三角形マージモードについての片方向動き補償を実行するための装置であって、
上記装置は、
上記２つの三角形パーティションの各々について、上記三角形マージモードについての片予測ＭＶ選択規則およびマージ候補リストに基づいて、片予測動きベクトル（ＭＶ）を導出すること、
対応する上記片予測ＭＶを使用して、上記２つの三角形パーティションの各々の動き補償を実行すること、および、
動き補償された上記２つの三角形パーティションに基づいて予測コーディングブロックを取得すること
を行うよう構成される処理回路を備える、装置。
（項目２９）
上記マージ候補リストは、片予測動きベクトル（ＭＶ）候補および／または双予測動きベクトル（ＭＶ）候補を含み、双予測ＭＶ候補は第１ＭＶおよび第２ＭＶを含む、項目２８に記載の装置。
（項目３０）
上記第１ＭＶは、第１の参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）に対応し、上記第２ＭＶは、第２参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）に対応する、項目２９に記載の装置。
（項目３１）
上記三角形マージモードについての片予測ＭＶ選択規則、および、マージ候補リストに基づく、上記片予測ＭＶの上記導出は、
上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの上記第１ＭＶ、および、上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの上記第２ＭＶの両方が同一の参照画像に関する場合、上記第１ＭＶおよび上記第２ＭＶに基づく平均動きベクトルが上記片予測ＭＶとして導出されることを含む、項目２８から３０に記載の装置。
（項目３２）
上記三角形マージモードについての片予測ＭＶ選択規則、および、マージ候補リストに基づく、上記片予測ＭＶの上記導出は、
上記第１ＭＶの参照画像インデックスが、上記現在の画像への上記第２ＭＶの時間的距離（ＴＤ１）より小さい上記現在の画像への時間的距離（ＴＤ０）を有する参照画像に関する場合、上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの上記第１ＭＶが、上記片予測ＭＶとして導出されること、または、
上記第２ＭＶが、上記第１ＭＶの時間的距離より小さい上記現在の画像への上記時間的距離（ＴＤ１）を有する参照画像に関する場合、上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの上記第２ＭＶが上記片予測ＭＶとして導出されること
を含む、項目２８から３０に記載の装置。
（項目３３）
上記三角形マージモードについての片予測ＭＶ選択規則、および、マージ候補リストに基づく、上記片予測ＭＶの上記導出は、
上記現在の画像への上記第１ＭＶおよび上記第２ＭＶの時間的距離が等しい場合、上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの上記第１ＭＶ、または、より小さい大きさを有する上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの上記第２ＭＶが、上記片予測ＭＶとして導出されること
を含む、項目２８から３０に記載の装置。
（項目３４）
上記三角形マージモードについての片予測ＭＶ選択規則、および、マージ候補リストに基づく、上記片予測ＭＶの上記導出は、
上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの上記第１ＭＶ、および、上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの上記第２ＭＶの両方が同一の参照画像に関する場合、上記第１ＭＶおよび上記第２ＭＶに基づく平均動きベクトルが、上記片予測ＭＶとして導出されること、または、
上記第１ＭＶの参照画像インデックスが、現在の画像の上記第２ＭＶの時間的距離（ＴＤ１）より小さい上記現在の画像の上記時間的距離（ＴＤ０）を有する参照画像に関する場合、上記第１ＭＶは上記片予測ＭＶとして導出されること、または、
上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの上記第２ＭＶが、上記第１ＭＶへの時間的距離より小さい上記現在の画像への上記時間的距離を有する参照画像に関する場合、上記第２ＭＶは上記片予測ＭＶとして導出されること、または、
上記現在の画像への上記時間的距離が、上記第１ＭＶおよび上記第２ＭＶの両方について等しい場合、上記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からの上記第１ＭＶ、または、より小さい大きさを有するＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの上記第２ＭＶが、上記片予測ＭＶ候補として導出されること
を含む、項目２８から３０に記載の装置。
（項目３５）
ビデオ信号の現在のフレームのコーディングブロックを符号化するための符号化装置（２０）であって、
残差コーディングブロックを提供するために、上記コーディングブロックを符号化するよう構成される符号化ユニット（２０４、２７０）と、
項目１４から２６のいずれか一項に記載の予測コーディングブロックを生成するよう構成されるインター予測ユニット（２４４）と、
上記予測コーディングブロック、および、上記残差コーディングブロックに基づいて、上記コーディングブロックを再構築するよう構成される再構築ユニット（２１４）と
を備える符号化装置（２０）。
（項目３６）
ビデオ信号の現在のフレームのコーディングブロックを復号するための復号装置（３０）であって、
残差コーディングブロックを提供するために、上記コーディングブロックを復号するよう構成される復号ユニット（３０４）と、
項目１４から２６のいずれか一項に記載の予測コーディングブロックを生成するよう構成されるインター予測ユニット（３４４）と、
上記予測コーディングブロック、および、上記残差コーディングブロックに基づいて、上記コーディングブロックを再構築するよう構成される再構築ユニット（３１４）と
を備える復号装置（３０）。
（項目３７）
項目１から１３のいずれか一項に記載の方法を実行するための処理回路を備えるエンコーダ。
（項目３８）
項目１から１３のいずれか一項に記載の方法を実行するための処理回路を備えるデコーダ。
（項目３９）
項目１から１３のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラム製品。
（項目４０）
デコーダであって、
１または複数のプロセッサと、
上記プロセッサに連結され、上記プロセッサによる実行のためのプログラムを格納する非一時的コンピュータ可読記憶媒体であって、上記プログラムは、上記プロセッサによって実行されるとき、項目１から１３のいずれか一項に記載の方法を実行するよう上記デコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備えるデコーダ。
（項目４１）
エンコーダであって、
１または複数のプロセッサと、
上記プロセッサに連結され、上記プロセッサによる実行のためのプログラムを格納する非一時的コンピュータ可読記憶媒体であって、上記プログラムは、上記プロセッサによって実行されるとき、項目１から１３のいずれか一項に記載の方法を実行するよう上記エンコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備えるエンコーダ。

Claims (11)

  1. ２つの幾何パーティションにパーティション化されたコーディングブロックの現在の幾何パーティションのインター予測のための方法であって、前記方法は、デコーディングデバイスにおいて使用されるためのものであり、
    幾何パーティションマージモードについて有効にされた前記コーディングブロックのために、前記コーディングブロックについての単一のマージ候補リストを生成する段階であって、ここで、前記単一のマージ候補リストを生成する前記段階は、
    近傍のコーディングユニットから１または複数の空間的マージ候補を導出する段階と、
    前記空間的マージ候補を導出する段階の後に、直接的または直ちに１または複数の時間的動きベクトル予測（ＭＶＰ）を導出する段階と、
    前記１または複数の空間的マージ候補および１または複数の時間的ＭＶＰを前記単一のマージ候補リストに加える段階であって、ここで、前記１または複数の空間的マージ候補および／または前記１または複数の時間的ＭＶＰは、双予測動きベクトル（ＭＶ）を含む、
    前記現在の幾何パーティションについて、マージインデックス（ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ）にしたがって、前記単一のマージ候補リストから単一のマージ候補を選択する段階であって、ここで、前記単一のマージ候補は、第１参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）に対応する第１ＭＶと、第２参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）に対応する第２ＭＶとを有する選択された双予測ＭＶである、
    片予測ＭＶ選択規則に基づいて、前記選択された双予測ＭＶから前記現在の幾何パーティションの動きベクトルとして片予測動きベクトル（ＭＶ）を導出する段階、および
    前記片予測ＭＶに基づいて、前記現在の幾何パーティションの予測を実行して、前記現在の幾何パーティションにおける予測値を取得する段階を備え、
    前記幾何パーティションマージモードについての前記片予測ＭＶ選択規則は、前記単一のマージ候補リストの前記選択された双予測ＭＶのうち前記第１ＭＶまたは前記第２ＭＶが前記片予測ＭＶとして選択されることを示し、
    前記マージ候補リストは、１または複数の片予測ＭＶおよび１または複数の双予測ＭＶを含み、前記１または複数の双予測ＭＶは、前記選択された双予測ＭＶを含む、
    方法。
  2. サブブロックベースの時間的マージ候補の導出は、前記マージ候補リストの前記生成から除外される、請求項１に記載の方法。
  3. 前記片予測ＭＶ選択規則は、以下のいずれか１つである：
    前記第１ＭＶの参照画像インデックスが、現在の画像ＴＤ０への時間的距離が前記現在の画像ＴＤ１への前記第２ＭＶの前記時間的距離より小さい参照画像に関する場合、前記第１ＭＶは、前記片予測ＭＶとして使用される、
    前記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの前記第２ＭＶが、前記現在の画像への時間的距離が前記第１ＭＶへの前記時間的距離より小さい参照画像に関する場合、前記第２ＭＶは、前記片予測ＭＶとして使用される、
    前記現在の画像への前記時間的距離が前記第１ＭＶおよび前記第２ＭＶの両方について等しい場合、前記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からのより小さい大きさを有する前記第１ＭＶは、前記片予測ＭＶとして使用される、または
    前記現在の画像への前記時間的距離が前記第１ＭＶおよび前記第２ＭＶの両方について等しい場合、前記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からのより小さい大きさを有する前記第２ＭＶは、前記片予測ＭＶとして使用される、
    請求項１または２に記載の方法。
  4. ２つの幾何パーティションにパーティション化されたコーディングブロックの現在の幾何パーティションのインター予測のためのデコーディング装置であって、前記デコーディング装置は、
    命令を含むメモリと、
    前記メモリと通信し、前記命令の実行に際して、
    幾何パーティションマージモードについて有効化された前記コーディングブロックについての単一のマージ候補リストを生成し、前記マージ候補リストの前記生成は、
    近傍のコーディングユニットから１または複数の空間的マージ候補を導出すること、
    前記空間的マージ候補の導出の後に、直接的または直ちに、１または複数の時間的動きベクトル予測（ＭＶＰ）を導出すること、および
    前記１または複数の空間的マージ候補と、前記１または複数の時間的ＭＶＰとを前記マージ候補リストに追加すること、ここで前記１または複数の空間的マージ候補および／または前記１または複数の時間的ＭＶＰは、双予測動きベクトル（ＭＶ）を含む、
    を含む、
    前記現在の幾何パーティションについて、マージインデックス（ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ）にしたがって、前記単一のマージ候補リストから単一のマージ候補を選択し、ここで、前記単一のマージ候補は、第１参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）に対応する第１ＭＶおよび第２参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）に対応する第２ＭＶを有する選択された双予測ＭＶである、
    前記幾何パーティションマージモードについての片予測ＭＶ選択規則に基づいて、双予測動きベクトル（ＭＶ）を、前記選択された双予測ＭＶから前記現在の幾何パーティションの動きベクトルとして導出し、
    前記片予測ＭＶに基づいて、前記現在の幾何パーティションの予測を実行して、前記現在の幾何パーティションの予測値を取得する、プロセッサと、
    を備え、
    前記幾何パーティションマージモードについての前記片予測ＭＶ選択規則は、前記単一のマージ候補リストの前記選択された双予測ＭＶのうち前記第１ＭＶまたは前記第２ＭＶが、前記片予測ＭＶとして選択されることを示し、
    前記マージ候補リストは、１または複数の片予測ＭＶと、１または複数の双予測ＭＶとを含み、前記１または複数の双予測ＭＶは、前記選択された双予測ＭＶを含む、
    デコーディング装置。
  5. サブブロックベースの時間的マージ候補の導出は、前記マージ候補リストの前記生成から除外される、請求項４に記載のデコーディング装置。
  6. 前記片予測ＭＶ選択規則は、以下のいずれか１つである：
    前記第１ＭＶの参照画像インデックスが、現在の画像ＴＤ０への時間的距離が前記現在の画像ＴＤ１への前記第２ＭＶの前記時間的距離より小さい参照画像に関する場合、前記第１ＭＶは、前記片予測ＭＶとして使用される、
    前記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの前記第２ＭＶが、前記現在の画像への時間的距離が前記第１ＭＶへの前記時間的距離より小さい参照画像に関する場合、前記第２ＭＶは、前記片予測ＭＶとして使用される、
    前記現在の画像への前記時間的距離が前記第１ＭＶおよび前記第２ＭＶの両方について等しい場合、前記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からのより小さい大きさを有する前記第１ＭＶは、前記片予測ＭＶとして使用される、または
    前記現在の画像への前記時間的距離が前記第１ＭＶおよび前記第２ＭＶの両方について等しい場合、前記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からのより小さい大きさを有する前記第２ＭＶは、前記片予測ＭＶとして使用される、
    請求項４または５に記載のデコーディング装置。
  7. ２つの幾何パーティションにパーティション化されたコーディングブロックの現在の幾何パーティションのインター予測のための命令を格納する非一時的コンピュータ可読媒体であって、前記命令が１または複数のプロセッサにより実行された場合、前記１または複数のプロセッサに、
    幾何パーティションマージモードについて有効化された前記コーディングブロックについて、単一のマージ候補リストを生成する動作であって、前記マージ候補リストの前記生成は、
    近傍のコーディングユニットから１または複数の空間的マージ候補を導出すること、
    前記空間的マージ候補の導出の後に、直接的または直ちに、１または複数の時間的動きベクトル予測（ＭＶＰ）を導出すること、および
    前記１または複数の空間的マージ候補と、前記１または複数の時間的ＭＶＰとを前記マージ候補リストに追加すること、ここで前記１または複数の空間的マージ候補および／または前記１または複数の時間的ＭＶＰは、双予測動きベクトル（ＭＶ）を含む、
    を含む、
    前記現在の幾何パーティションについて、マージインデックス（ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘ）にしたがって、前記単一のマージ候補リストから単一のマージ候補を選択する動作、ここで、前記単一のマージ候補は、第１参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０）に対応する第１ＭＶおよび第２参照画像リスト（ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１）に対応する第２ＭＶを有する選択された双予測ＭＶであり、
    前記幾何パーティションマージモードについての片予測ＭＶ選択規則に基づいて、双予測動きベクトル（ＭＶ）を、前記選択された双予測ＭＶから前記現在の幾何パーティションの動きベクトルとして導出する動作、および
    前記片予測ＭＶに基づいて、前記現在の幾何パーティションの予測を実行して、前記現在の幾何パーティションの予測値を取得する動作
    を実行させ、
    前記幾何パーティションマージモードについての前記片予測ＭＶ選択規則は、前記単一のマージ候補リストの前記選択された双予測ＭＶのうちＭＶ前記第１ＭＶまたは前記第２ＭＶが、前記片予測ＭＶとして選択されることを示し、
    前記マージ候補リストは、１または複数の片予測ＭＶと、１または複数の双予測ＭＶとを含み、前記１または複数の双予測ＭＶは、前記選択された双予測ＭＶを含む、
    非一時的コンピュータ可読媒体。
  8. サブブロックベースの時間的マージ候補の導出は、前記マージ候補リストの前記生成から除外される、請求項７に記載の非一時的コンピュータ可読媒体。
  9. 前記片予測ＭＶ選択規則は、以下のいずれか１つである：
    前記第１ＭＶの参照画像インデックスが、現在の画像ＴＤ０への時間的距離が前記現在の画像ＴＤ１への前記第２ＭＶの前記時間的距離より小さい参照画像に関する場合、前記第１ＭＶは、前記片予測ＭＶとして使用される、
    前記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からの前記第２ＭＶが、前記現在の画像への時間的距離が前記第１ＭＶへの前記時間的距離より小さい参照画像に関する場合、前記第２ＭＶは、前記片予測ＭＶとして使用される、
    前記現在の画像への前記時間的距離が前記第１ＭＶおよび前記第２ＭＶの両方について等しい場合、前記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ０からのより小さい大きさを有する前記第１ＭＶは、前記片予測ＭＶとして使用される、または
    前記現在の画像への前記時間的距離が前記第１ＭＶおよび前記第２ＭＶの両方について等しい場合、前記ＲＥＦ＿ＰＩＣ＿ＬＩＳＴ１からのより小さい大きさを有する前記第２ＭＶは、前記片予測ＭＶとして使用される、
    請求項７または８に記載の非一時的コンピュータ可読媒体。
  10. 請求項１から３のいずれか一項に記載の方法を実行するための処理回路を備えるデコーダ。
  11. コンピュータに、請求項１から３のいずれか一項に記載の方法を実行させる、プログラム。
JP2023127359A 2018-10-08 2023-08-03 コーディングブロックの三角形パーティションのインター予測のための装置および方法 Active JP7548679B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862742921P 2018-10-08 2018-10-08
US62/742,921 2018-10-08
PCT/CN2019/109991 WO2020073896A1 (en) 2018-10-08 2019-10-08 Apparatuses and methods for inter prediction of a triangle partition of a coding block
JP2021518928A JP7328328B2 (ja) 2018-10-08 2019-10-08 コーディングブロックの三角形パーティションのインター予測のための装置および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021518928A Division JP7328328B2 (ja) 2018-10-08 2019-10-08 コーディングブロックの三角形パーティションのインター予測のための装置および方法

Publications (2)

Publication Number Publication Date
JP2023162214A true JP2023162214A (ja) 2023-11-08
JP7548679B2 JP7548679B2 (ja) 2024-09-10

Family

ID=70164775

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021518928A Active JP7328328B2 (ja) 2018-10-08 2019-10-08 コーディングブロックの三角形パーティションのインター予測のための装置および方法
JP2023127359A Active JP7548679B2 (ja) 2018-10-08 2023-08-03 コーディングブロックの三角形パーティションのインター予測のための装置および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021518928A Active JP7328328B2 (ja) 2018-10-08 2019-10-08 コーディングブロックの三角形パーティションのインター予測のための装置および方法

Country Status (7)

Country Link
US (1) US20210227247A1 (ja)
EP (1) EP3850846A4 (ja)
JP (2) JP7328328B2 (ja)
KR (1) KR20210068537A (ja)
CN (4) CN117615125A (ja)
MX (1) MX2021004020A (ja)
WO (1) WO2020073896A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111418207B (zh) 2018-11-06 2024-04-19 北京字节跳动网络技术有限公司 依赖块尺寸的对运动信息的存储
CN113852815B (zh) * 2018-12-25 2022-12-27 北京达佳互联信息技术有限公司 利用三角形形状预测单元的视频编码方法、设备及介质
WO2020184459A1 (ja) * 2019-03-08 2020-09-17 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
RU2767973C1 (ru) * 2019-03-08 2022-03-22 ДжейВиСиКЕНВУД Корпорейшн Устройство для кодирования видео, способ кодирования видео, устройство для декодирования видео и способ декодирования видео
AR118250A1 (es) 2019-03-08 2021-09-22 Jvckenwood Corp Dispositivos, métodos y programas de codificación y decodificación de imágenes en movimiento
WO2020231953A1 (en) * 2019-05-10 2020-11-19 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatuses for video coding with triangle prediction
CN113055689B (zh) 2019-06-24 2022-11-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
KR20220024773A (ko) 2019-06-24 2022-03-03 알리바바 그룹 홀딩 리미티드 동영상 코딩시 모션 필드 저장 방법 및 장치
CN114303382A (zh) 2019-09-01 2022-04-08 北京字节跳动网络技术有限公司 视频编解码中预测权重的对准
WO2021068923A1 (en) * 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Deblocking filtering improvements
KR20220070530A (ko) * 2019-10-10 2022-05-31 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 삼각형 분할을 이용한 비디오 코딩을 위한 방법 및 장치
US11496755B2 (en) * 2019-12-28 2022-11-08 Tencent America LLC Method and apparatus for video coding
US11375221B2 (en) * 2020-02-12 2022-06-28 Tencent America LLC Method and apparatus for cross-component filtering
US12058315B2 (en) * 2020-03-04 2024-08-06 Intellectual Discovery Co., Ltd. Video coding method and device, and recording medium storing bitstream
CN111741297B (zh) * 2020-06-12 2024-02-20 浙江大华技术股份有限公司 帧间预测方法、视频编码方法及其相关装置
WO2022177380A1 (ko) * 2021-02-18 2022-08-25 현대자동차주식회사 인터 예측 기반의 비디오 부호화 및 복호화
CN113422966B (zh) * 2021-05-27 2024-05-24 绍兴市北大信息技术科创中心 一种多模型cnn环路滤波方法
WO2023224279A1 (ko) * 2022-05-16 2023-11-23 현대자동차주식회사 기하학적 움직임 예측을 사용하는 비디오 코딩을 위한 방법 및 장치
WO2024133579A1 (en) * 2022-12-23 2024-06-27 Interdigital Ce Patent Holdings, Sas Gpm combination with inter tools

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1122421C (zh) * 1995-08-04 2003-09-24 株式会社大宇电子 用于图象信号编码系统的运动矢量估算方法和设备
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
EP2266318B1 (en) * 2008-03-19 2020-04-22 Nokia Technologies Oy Combined motion vector and reference index prediction for video coding
JP2012109720A (ja) * 2010-11-16 2012-06-07 Panasonic Corp 画像変換装置、画像再生装置及び画像変換方法
US9066102B2 (en) * 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
US8711940B2 (en) * 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
WO2012097377A1 (en) * 2011-01-14 2012-07-19 General Instrument Corporation Joint spatial and temporal block merge mode for hevc
US10841573B2 (en) * 2011-02-08 2020-11-17 Sun Patent Trust Methods and apparatuses for encoding and decoding video using multiple reference pictures
US9066110B2 (en) * 2011-03-08 2015-06-23 Texas Instruments Incorporated Parsing friendly and error resilient merge flag coding in video coding
US8934552B2 (en) * 2011-03-31 2015-01-13 Qualcomm Incorporated Combined reference picture list construction and mapping
US9866859B2 (en) * 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
JP5937594B2 (ja) * 2011-06-30 2016-06-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法及び画像復号装置
MX337446B (es) 2011-09-29 2016-03-07 Sharp Kk Dispositivo de decodificacion de imagenes, metodo de decodificacion de imagenes y dispositivo de codificacion de imagenes.
WO2013051209A1 (ja) * 2011-10-05 2013-04-11 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
US9467694B2 (en) * 2011-11-21 2016-10-11 Google Technology Holdings LLC Implicit determination and combined implicit and explicit determination of collocated picture for temporal prediction
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9426463B2 (en) * 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
JP2013251752A (ja) * 2012-05-31 2013-12-12 Toshiba Corp 電子機器及び復号方法
US9807407B2 (en) * 2013-12-02 2017-10-31 Qualcomm Incorporated Reference picture selection
US9838710B2 (en) * 2014-12-23 2017-12-05 Intel Corporation Motion estimation for arbitrary shapes
US10516882B2 (en) * 2015-01-29 2019-12-24 Vid Scale, Inc. Intra-block copy searching
CN115002455A (zh) * 2015-06-05 2022-09-02 杜比实验室特许公司 图像编码和解码方法和图像解码设备
EP3357245A4 (en) * 2015-11-05 2019-03-13 MediaTek Inc. METHOD AND DEVICE OF INTERPRESSATION USING AN AVERAGE MOTION VECTOR FOR VIDEO CODING
US11412209B2 (en) * 2015-11-20 2022-08-09 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image using geometrically modified picture
US10721489B2 (en) * 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
EP3301914A1 (en) * 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for encoding and decoding a large field of view video
WO2018071666A1 (en) * 2016-10-12 2018-04-19 Arris Enterprises Llc Coding schemes for virtual reality (vr) sequences
WO2018141416A1 (en) * 2017-02-06 2018-08-09 Huawei Technologies Co., Ltd. Video encoder and decoder for predictive partitioning
US20180376148A1 (en) * 2017-06-23 2018-12-27 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
US10687077B2 (en) * 2017-06-26 2020-06-16 Qualcomm Incorporated Motion information propagation in video coding
US10785494B2 (en) * 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
US10652571B2 (en) * 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
US10863175B2 (en) * 2018-03-01 2020-12-08 Panasonic Intellectual Property Corporation Of America Encoder, and decoder, encoding method, decoding method
US11128871B2 (en) * 2018-04-25 2021-09-21 Panasonic Intellectual Property Corporation Of America Encoder for adaptively determining information related to splitting based on characteristics of neighboring samples
US11477474B2 (en) * 2018-06-08 2022-10-18 Mediatek Inc. Methods and apparatus for multi-hypothesis mode reference and constraints
CN112369030B (zh) * 2018-07-06 2023-11-10 寰发股份有限公司 解码器的视频解码方法及装置
US11051036B2 (en) * 2018-07-14 2021-06-29 Mediatek Inc. Method and apparatus of constrained overlapped block motion compensation in video coding
JP2022503464A (ja) * 2018-07-17 2022-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ ビデオコーディング用動きベクトル予測
US11057617B2 (en) * 2018-08-03 2021-07-06 Tencent America LLC Method and apparatus for video coding
KR20210049822A (ko) * 2018-09-07 2021-05-06 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 비디오 코딩 시스템 및 방법
US11012687B2 (en) * 2018-10-01 2021-05-18 Tencent America LLC Method and apparatus for video coding
CN115514958A (zh) * 2018-11-02 2022-12-23 抖音视界有限公司 用于基于历史的运动矢量预测的表维护
US10893298B2 (en) * 2018-12-12 2021-01-12 Tencent America LLC Method and apparatus for video coding
US11122272B2 (en) * 2018-12-26 2021-09-14 Mediatek Inc. Triangle prediction with applied-block settings and motion storage settings

Also Published As

Publication number Publication date
US20210227247A1 (en) 2021-07-22
KR20210068537A (ko) 2021-06-09
CN117596398A (zh) 2024-02-23
MX2021004020A (es) 2021-06-30
EP3850846A1 (en) 2021-07-21
JP2022514161A (ja) 2022-02-10
WO2020073896A1 (en) 2020-04-16
CN117692651A (zh) 2024-03-12
CN117615125A (zh) 2024-02-27
JP7548679B2 (ja) 2024-09-10
CN112823518A (zh) 2021-05-18
CN112823518B (zh) 2023-10-20
EP3850846A4 (en) 2021-12-15
JP7328328B2 (ja) 2023-08-16

Similar Documents

Publication Publication Date Title
JP7548679B2 (ja) コーディングブロックの三角形パーティションのインター予測のための装置および方法
JP7106744B2 (ja) ルーマおよびクロマ成分についてｉｂｃ専用バッファおよびデフォルト値リフレッシュを使用するエンコーダ、デコーダおよび対応する方法
KR102704764B1 (ko) 이미지 예측 방법 및 디바이스
EP3852370B1 (en) Video image prediction method and apparatus
US11895292B2 (en) Encoder, decoder and corresponding methods of boundary strength derivation of deblocking filter
KR20210072064A (ko) 인터 예측 방법 및 장치
US11909959B2 (en) Encoder, a decoder and corresponding methods for merge mode
KR20210141712A (ko) Ibc 병합 리스트를 사용하는 인코더, 디코더 및 대응 방법들
JP7564132B2 (ja) 幾何学的分割モードのためのクロマサンプル重みの導出
WO2021134393A1 (en) Method and apparatus of deblocking filtering between boundaries of blocks predicted using weighted prediction and non-rectangular merge modes
KR20240144496A (ko) 디블로킹 필터의 경계 강도를 도출하는 인코더, 디코더 및 대응 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240827

R150 Certificate of patent or registration of utility model

Ref document number: 7548679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150