JP2022541723A - アフィン及びｓｂｔｍｖｐ動きベクトル予測モードのためのｈｍｖｃ - Google Patents
アフィン及びｓｂｔｍｖｐ動きベクトル予測モードのためのｈｍｖｃ Download PDFInfo
- Publication number
- JP2022541723A JP2022541723A JP2021573789A JP2021573789A JP2022541723A JP 2022541723 A JP2022541723 A JP 2022541723A JP 2021573789 A JP2021573789 A JP 2021573789A JP 2021573789 A JP2021573789 A JP 2021573789A JP 2022541723 A JP2022541723 A JP 2022541723A
- Authority
- JP
- Japan
- Prior art keywords
- block
- information data
- motion information
- sub
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 title claims abstract description 77
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 title description 41
- 238000000034 method Methods 0.000 claims description 54
- 238000004590 computer program Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 30
- 230000015654 memory Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 238000013139 quantization Methods 0.000 description 6
- 230000011664 signaling Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 241000723655 Cowpea mosaic virus Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
現在の画像のブロックを符号化又は復号するための装置は、現在の画像の第１のブロックのサブブロックを符号化する。第１のブロックに関連付けられた動き情報データに従って決定された動きベクトルに基づいて符号化又は復号されるサブブロック。第２のステップにおいて、第２の動き情報データの集合は、第１の動き情報データの関数として決定される。これらの第２の動き情報データは、符号化又は復号する現在の画像の更なるブロックの動き情報データを決定するために使用される動き情報データのリストに追加される。
Description
技術分野
本実施形態の少なくとも１つは、概して、ビデオ符号化又は復号のための方法又は装置に関し、より具体的には、事前に符号化又は復号されたブロックから決定された動きベクトルに基づいてビデオ画像のブロックを符号化及び復号するための方法又は装置に関する。
本実施形態の少なくとも１つは、概して、ビデオ符号化又は復号のための方法又は装置に関し、より具体的には、事前に符号化又は復号されたブロックから決定された動きベクトルに基づいてビデオ画像のブロックを符号化及び復号するための方法又は装置に関する。
背景
高い圧縮効率を実現するために、画像及びビデオ符号化スキームは、通常、動きベクトル予測を含む予測及び変換を用いて、ビデオコンテンツの空間及び時間的冗長性を利用する。一般に、イントラ又はインター予測を使用してフレーム内又はフレーム間相関を利用し、次いで、多くの場合に予測誤差又は予測残差と称される、原画像と予測画像との間の差異を変換、量子化及びエントロピー符号化する。ビデオを再構築するために、エントロピー符号化、量子化、変換及び予測に対応する逆方向処理によって圧縮データを復号する。
高い圧縮効率を実現するために、画像及びビデオ符号化スキームは、通常、動きベクトル予測を含む予測及び変換を用いて、ビデオコンテンツの空間及び時間的冗長性を利用する。一般に、イントラ又はインター予測を使用してフレーム内又はフレーム間相関を利用し、次いで、多くの場合に予測誤差又は予測残差と称される、原画像と予測画像との間の差異を変換、量子化及びエントロピー符号化する。ビデオを再構築するために、エントロピー符号化、量子化、変換及び予測に対応する逆方向処理によって圧縮データを復号する。
高圧縮技術の最近の拡張は、アフィンモデリング及び／又はサブブロックに基づく時間的動きベクトル予測器（ＳｂＴＭＶＰ）に基づく動きモデルの使用を含む。特に、これらのモデルは、ビデオ画像の符号化及び復号の動き補償に使用される。一般に、アフィンモデリングは、少なくとも２つのパラメータ、例えば画像のブロックのそれぞれの角での動きを表す２つの制御点動きベクトル（ＣＰＭＶ）を使用するモデルであり、画像の全ブロックの動き場を導出して、例えば回転及び相似変換（ズーム）をシミュレートできるようにする。動き場は、一般に、ブロックのサブブロックに関連付けられた動きベクトルの集合内で離散化される。
この領域における最近の発展は、履歴に基づく動きベクトル予測（ＨＭＶＰ）方法の使用も含み、そこでは、事前に符号化されたブロックの動き情報としてＨＭＶＰ候補が定義される。符号化／復号処理中、複数のＨＭＶＰ候補を有するテーブルが維持される。サブブロックに基づかないインター符号化ブロックが存在する場合には常に、関連付けられた動き情報は、新たなＨＭＶＰ候補としてテーブルの最後のエントリに追加される。これらの候補を使用して、更なるブロック、特に隣接ブロックを符号化／復号することができる。
しかし、サブブロックに基づかないインター符号化ブロックのみがＨＭＶＰリストに寄与するため、符号化又は復号するブロックが、サブブロックに基づくインター符号化ブロックによって囲まれる場合、このブロックは、事前に符号化／復号されたブロックの動きベクトルから利点を享受することができない。このような課題に対する解決策が欠如している。
概要
従来技術の欠点及び短所は、更なるブロックを符号化及び復号するために、サブブロックに基づくインター符号化ブロックに関する動き情報を保存することを対象とする、本明細書に記述される一般的な態様によって対処される。第１の態様に従って方法が提供される。本方法は、現在の画像の第１のブロックのサブブロックを復号するステップを含む。サブブロックは、第１のブロックに関連付けられた第１の動き情報データに従って決定された動きベクトルに基づいて復号される。本方法は、第２の動き情報データの集合を前記第１の動き情報データの関数として決定することと、その第２の動き情報データの集合を動き情報データのリストに追加することとを更に含む。前記リストの項目は、現在の画像の第２のブロックの動き情報データを決定するために使用され得る。
従来技術の欠点及び短所は、更なるブロックを符号化及び復号するために、サブブロックに基づくインター符号化ブロックに関する動き情報を保存することを対象とする、本明細書に記述される一般的な態様によって対処される。第１の態様に従って方法が提供される。本方法は、現在の画像の第１のブロックのサブブロックを復号するステップを含む。サブブロックは、第１のブロックに関連付けられた第１の動き情報データに従って決定された動きベクトルに基づいて復号される。本方法は、第２の動き情報データの集合を前記第１の動き情報データの関数として決定することと、その第２の動き情報データの集合を動き情報データのリストに追加することとを更に含む。前記リストの項目は、現在の画像の第２のブロックの動き情報データを決定するために使用され得る。
別の態様に従って第２の方法が提供される。本方法は、現在の画像の第１のブロックのサブブロックを符号化するステップを含む。サブブロックは、第１のブロックに関連付けられた第１の動き情報データに従って決定された動きベクトルに基づいて符号化される。本方法は、第２の動き情報データの集合を前記第１の動き情報データの関数として決定することと、その第２の動き情報データの集合を動き情報データのリストに追加することとを更に含む。前記リストの項目は、現在の画像の第２のブロックの動き情報データを決定するために使用され得る。
別の態様に従って装置が提供される。本装置は、プロセッサを含む。プロセッサは、上述の方法のいずれかを実行することにより、ビデオの現在の画像のブロックを符号化するか又はビットストリームを復号するように構成され得る。
少なくとも１つの実施形態の別の一般的な態様に従い、復号実施形態のいずれかによる装置と、（ｉ）画像の復号されたブロックを含む信号を受信するように構成されたアンテナ、（ｉｉ）受信された信号を、画像の復号されたブロックを含む周波数の帯域に限定するように構成された帯域リミッタ、及び（ｉｉｉ）画像の復号されたブロックを表す出力を表示するように構成されたディスプレイの少なくとも１つとを含む機器が提供される。
少なくとも１つの実施形態の別の一般的な態様に従い、上述の符号化実施形態又は変型形態のいずれかに従って生成されたデータコンテンツを含む非一時的コンピュータ可読媒体が提供される。
少なくとも１つの実施形態の別の一般的な態様に従い、上述の符号化実施形態又は変型形態のいずれかに従って生成されたビデオデータを含む信号が提供される。
少なくとも１つの実施形態の別の一般的な態様に従い、ビットストリームは、上述の符号化実施形態又は変型形態のいずれかに従って生成されたデータコンテンツを含むようにフォーマットされる。
少なくとも１つの実施形態の別の一般的な態様に従い、コンピュータプログラム製品であって、プログラムがコンピュータによって実行されると、上述の復号実施形態又は変型形態のいずれかをコンピュータに実行させる命令を含むコンピュータプログラム製品が提供される。
これら及び他の態様、一般的な態様の特徴及び利点は、添付の図面に関連して読まれる例示的な実施形態の以下の詳細な記述から明らかになるであろう。
図面の簡単な説明
エンコーダを示す。
ビデオデコーダのブロック図を示す。
各種の態様及び実施形態が実装されるシステムの一例のブロック図を示す。
例えばＨＥＶＣビデオ圧縮標準に従い、圧縮された画像を表現するために使用される符号化木及び符号化木単位（ＣＴＵ）構造を示す。
２つの制御点の４×４サブブロックに基づくアフィン動きベクトル場を示す。
３つの制御点の４×４サブブロックに基づくアフィン動きベクトル場を示す。
現在の画像のブロックを符号化／復号する方法７０を概略的に示す。
詳細な説明
ここで述べる一般的な態様は、ビデオ圧縮の分野に属する。これらの態様は、既存のビデオ圧縮システムと比較して圧縮効率を向上させることを目的とする。
ここで述べる一般的な態様は、ビデオ圧縮の分野に属する。これらの態様は、既存のビデオ圧縮システムと比較して圧縮効率を向上させることを目的とする。
本出願は、ツール、特徴、実施形態、モデル、アプローチ等を含む各種の態様を記述する。これらの態様の多くは、具体的に記述され、少なくとも個々の特徴を示すために、多くの場合、限定的に思われるように記述される。しかし、これは、説明を分かり易くするためのものであり、これらの態様の用途又は範囲を限定するものではない。実際には、異なる態様の全てを組み合わせ且つ交換して更なる態様を提供することができる。更に、これらの態様は、以前の出願に記述された態様と組み合わせ且つ交換することができる。
本出願で記述及び考察する態様は、多くの異なる形式で実装することができる。以下の図１、２及び３は、いくつかの実施形態を示すが、他の実施形態も考えられ、図１、２及び３に関する議論は、実装形態の広さを限定しない。少なくとも１つの態様は、一般に、ビデオ符号化及び復号に関し、他の少なくとも１つの態様は、一般に、生成又は符号化されたビットストリームの送信に関する。これら及び他の態様は、方法、装置、上述の方法のいずれかに従ってビデオデータを符号化又は復号する命令が保存されたコンピュータ可読記憶媒体及び／又は上述の方法のいずれかに従って生成されたビットストリームが保存されたコンピュータ可読記憶媒体として実装され得る。
本出願において、用語「再構築された」及び「復号された」は、交換可能に用いられ得、用語「ピクセル」及び「サンプル」は、交換可能に用いられ得、用語「画像」、「ピクチャ」及び「フレーム」は、交換可能に用いられ得る。通常、必ずではないが、用語「再構築された」は、エンコーダ側で用いられるのに対して、「復号された」は、デコーダ側で用いられる。
各種の方法について本明細書に記述し、各方法は、上述の方法を実現するための１つ以上のステップ又は動作を含む。本方法を正しく動作させるために特定の順序のステップ又は動作が必要とされない限り、特定のステップ及び／又は動作の順序及び／又は使用は、変更又は組み合わされ得る。
本出願に記述する各種の方法及び他の態様を用いて、図１及び２に示すようなビデオエンコーダ１００及びデコーダ２００のモジュール、例えば動き補償モジュール１７０及び２７５を変更することができる。更に、本態様は、ＶＶＣ又はＨＥＶＣに限定されず、例えば既存であるか又は将来開発されるかに関わらず、他の標準及び勧告、そのような標準及び勧告（ＶＶＣ及びＨＥＶＣを含む）のあらゆる拡張に適用することができる。別途指示又は技術的に除外されない限り、本出願に記述する態様は、個別に又は組み合わせて用いることができる。
図１は、エンコーダ１００を示す。このエンコーダ１００の変型形態が考えられるが、簡潔さのため、想定される全ての変型形態を記述せずにエンコーダ１００について以下に述べる。
符号化前に、ビデオシーケンスは、符号化前処理１０１を受け、例えば入力カラー画像に色変換（例えば、ＲＧＢ４：４：４からＹＣｂＣｒ４：２：０への変換）を適用するか、又は（例えば、色成分の１つのヒストグラム均等化を用いて）信号分布を圧縮に対してより弾力的にするために、入力画像成分の再マッピングを実行することができる。メタデータを前処理に関連付け、ビットストリームに付与することができる。
エンコーダ１００において、後述するようにエンコーダ要素によって画像が符号化される。符号化される画像は、分割（１０２）され、例えばＣＵ単位に処理される。各単位は、例えば、イントラ又はインターモードのいずれかを用いて符号化される。ある単位がイントラモードで符号化された場合、イントラ予測（１６０）を実行する。インターモードでは、動き推定（１７５）及び補正（１７０）を実行する。エンコーダは、単位を符号化するためにイントラモード又はインターモードのいずれを用いるかを決定（１０５）して、例えば予測モードフラグによってイントラ／インター決定を示す。例えば、予測ブロックを原画像ブロックから減算（１１０）することによって予測残差を計算する。
予測残差は、次いで、変換（１２５）及び量子化（１３０）される。量子化された変換係数は、動きベクトル及び他の構文要素と共にエントロピー符号化（１４５）されて、ビットストリームを出力する。エンコーダは、変換を飛ばして、非変換残差信号に直接量子化を適用することができる。エンコーダは、変換及び量子化を迂回でき、すなわち、残差は、変換又は量子化プロセスを適用されずに直接符号化される。
エンコーダは、更なる予測のための基準を提供するために、符号化されたブロックを復号する。量子化変換係数は、予測残差を復号するために脱量子化（１４０）及び逆変換（１５０）される。復号された予測残差と予測ブロックとを組み合わせて（１５５）、画像ブロックを再構築する。ループ内フィルタ（１６５）は、再構築された画像に適用されて、例えばデブロッキング／ＳＡＯ（サンプル適応オフセット）フィルタリングを実行して符号化アーチファクトを減らす。フィルタリングされた画像は、基準画像バッファ（１８０）に保存される。
図２は、ビデオデコーダ２００のブロック図を示す。デコーダ２００において、後述するようにビットストリームをデコーダ要素によって復号する。ビデオデコーダ２００は、一般に、図１に記述するように、復号パスと符号化パスとを交互に実行する。エンコーダ１００も、一般に、ビデオデータの符号化の一部としてビデオ復号を実行する。
特に、デコーダの入力は、ビデオエンコーダ１００によって生成可能なビデオビットストリームを含む。ビットストリームは、最初にエントロピー復号されて（２３０）、変換係数、動きベクトル及び他の符号化情報が得られる。画像分割情報は、画像がどのように分割されるかを示す。デコーダは、従って、復号された画像分割情報に従って画像を分割（２３５）することができる。変換係数は、予測残差を復号するために脱量子化（２４０）及び逆変換（２５０）される。復号された予測残差と予測ブロックとを組み合わせて（２５５）、画像ブロックが再構築される。予測ブロックは、イントラ予測（２６０）又は動き補償予測（すなわちインター予測）（２７５）から取得する（２７０）ことができる。再構築された画像にループ内フィルタ（２６５）が適用される。フィルタリングされた画像は、基準画像バッファ（２８０）に保存される。
復号された画像は、復号後処理（２８５）、例えば逆色変換（例えば、ＹＣｂＣｒ４：２：０からＲＧＢ４：４：４への変換）又は符号化前処理（１０１）で実行される再マッピング処理の逆変換を実行する逆再マッピングを更に施され得る。復号後処理は、符号化前処理で導出され、ビットストリームにシグナリングされたメタデータを用いることができる。
図３は、各種の態様及び実施形態が実装されるシステムの一例のブロック図を示す。システム１０００は、後述する各種の要素を含む装置として実装され得、本明細書に記述する態様の１つ以上を実行するように構成される。そのような装置の複数の例は、各種の電子機器、例えばパーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、個人ビデオ録画システム、接続された家電製品及びサーバを含むが、これらに限定されない。システム１０００の要素は、単独で又は組み合わせて単一の集積回路（ＩＣ）、複数のＩＣ及び／又は離散的コンポーネントにおいて実装され得る。例えば、少なくとも１つの実施形態において、システム１０００の処理及びエンコーダ／デコーダ要素は、複数のＩＣ及び／又は離散的な要素にわたって分散される。各種の実施形態において、システム１０００は、例えば、通信バスを介して又は専用の入力及び／又は出力ポートを通して１つ以上の他のシステム又は他の電子機器と通信可能に結合される。各種の実施形態において、システム１０００は、本明細書に記述する１つ以上の態様を実装するように構成される。
システム１０００は、例えば、本明細書に記述する各種の態様を実行するために、それにロードされた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、当技術分野で公知の埋め込みメモリ、入出力インターフェース及び他の各種の回路を含み得る。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリ装置及び／又は不揮発性メモリ装置）を含む。システム１０００は、電気的消去可能プログラム可能読出専用メモリ（ＥＥＰＲＯＭ）、読出専用メモリ（ＲＯＭ）、プログラム可能読出専用メモリ（ＰＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、動的ランダムアクセスメモリ（ＤＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、フラッシュ、磁気ディスクドライブ及び／又は光ディスクドライブを含むが、これらに限定されない不揮発メモリ及び／又は揮発性メモリを含み得る記憶装置１０４０を含む。記憶装置１０４０は、非限定な例として、内蔵記憶装置、取り付けられた記憶装置（着脱可能及び非着脱可能な記憶装置を含む）及び／又はネットワークアクセス可能な記憶装置を含み得る。
システム１０００は、例えば、データを処理して、符号化されたビデオ又は復号されたビデオを提供するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は、そのプロセッサ及びメモリを含み得る。エンコーダ／デコーダモジュール１０３０は、符号化及び／又は復号機能を実行するために装置に含まれ得るモジュールを表す。公知のように、装置は、符号化及び復号モジュールの一方又は両方を含み得る。また、エンコーダ／デコーダモジュール１０３０は、システム１０００の別々の要素として実装されるか、又は当業者に公知のようにハードウェアとソフトウェアとの組み合わせとしてプロセッサ１０１０内に組み込まれ得る。
本明細書に記述する各種の態様を実行するために、プロセッサ１０１０又はエンコーダ／デコーダ１０３０にロードするプログラムコードは、記憶装置１０４０に保存され、次いでプロセッサ１０１０によって実行するためにメモリ１０２０にロードすることができる。各種の実施形態によれば、１つ以上のプロセッサ１０１０、メモリ１０２０、記憶装置１０４０及びエンコーダ／デコーダモジュール１０３０は、本明細書に記述する処理を実行する間、１つ以上の各種の項目を保存することができる。このような保存された項目は、入力ビデオ、復号ビデオ又は復号ビデオの部分、ビットストリーム、マトリクス、変数及び方程式、公式、動作及び動作論理の処理からの中間又は最終結果を含み得るが、これらに限定されない。
いくつかの実施形態では、プロセッサ１０１０及び／又はエンコーダ／デコーダモジュール１０３０内のメモリを用いて命令を保存し、符号化又は復号の実行中に必要とされる処理のための作業メモリを提供する。しかし、他の実施形態では、処理装置（例えば、処理装置は、プロセッサ１０１０又はエンコーダ／デコーダモジュール１０３０のいずれかであり得る）の外部メモリをこれらの機能の１つ以上に用いる。外部メモリは、メモリ１０２０及び／又は記憶装置１０４０、例えば動的揮発性メモリ及び／又は不揮発性フラッシュメモリであり得る。いくつかの実施形態において、外部不揮発性フラッシュメモリを用いて、例えばテレビジョンのオペレーティングシステムを保存する。少なくとも１つの実施形態において、ＲＡＭ等の高速外部動的揮発性メモリは、ＭＰＥＧ－２（ＭＰＥＧは、動画専門家グループを指し、ＭＰＥＧ－２は、ＩＳＯ／ＩＥＣ１３８１８とも称され、１３８１８－１は、Ｈ．２２２としても知られ、１３８１８－２は、Ｈ．２６２としても知られる）、ＨＥＶＣ（ＨＥＶＣは、Ｈ．２６５及びＭＰＥＧ－Ｈパート２としても知られる高効率ビデオ符号化を指す）又はＶＶＣ（ＪＶＥＴ、すなわち共同ビデオ専門家チームが開発中の新たな標準である多用途ビデオ符号化）におけるビデオ符号化及び復号動作のための作業メモリとして用いられる。
システム１０００の要素への入力は、ブロック１１３０に示すような各種の入力装置を介して提供することができる。このような入力装置は、（ｉ）例えば、ブロードキャスタによる無線送信されたＲＦ信号を受信する無線周波数（ＲＦ）部分、（ｉｉ）コンポーネント（ＣＯＭＰ）入力端末（又はＣＯＭＰ入力端末の組）、（ｉｉｉ）ユニバーサルシリアルバス（ＵＳＢ）入力端末、及び／又は（ｉｖ）高解像度マルチメディアインターフェース（ＨＤＭＩ）入力端末を含むが、これらに限定されない。図１０に示していない他の例は、コンポジットビデオを含む。
各種の実施形態において、ブロック１１３０の入力装置は、当技術分野で公知の関連付けられたそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択し（信号を選択するか又は信号を周波数の帯域に帯域制限するとも称される）、（ｉｉ）選択された信号を下方変換し、（ｉｉｉ）より狭い周波数帯域に再び帯域制限して、（例えば）特定の実施形態でチャネルと称する場合がある信号周波数帯域を選択し、（ｉｖ）下方変換された帯域制限信号を復調し、（ｖ）誤り訂正を実行し、及び（ｖｉ）所望のデータパケットのストリームを選択するために非多重化することに適した要素に関連付けられ得る。各種の実施形態のＲＦ部分は、これらの機能を実行する１つ以上の要素、例えば周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤差訂正器及びデマルチプレクサを含む。ＲＦ部は、例えば、受信された信号をより低い周波数（例えば、中間周波数又はベースバンドに近い周波数）又はベースバンドに下方変換することを含む、これらの各種の機能を実行するチューナを含み得る。セットトップボックスの一実施形態において、ＲＦ部及び関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体を介して送信されたＲＦ信号を受信し、フィルタリングによって周波数選択を実行し、下方変換して、所望の周波数帯域まで再びフィルタリングする。各種の実施形態は、上述の（及び他の）要素の順序を並べ替えて、これらの要素のいくつかを除去し、及び／又は同様の若しくは異なる機能を実行する他の要素を追加する。要素の追加は、例えば、増幅器及びアナログ／デジタル変換器の挿入等、既存の要素間への要素の挿入を含み得る。各種の実施形態において、ＲＦ部は、アンテナを含む。
また、ＵＳＢ及び／又はＨＤＭＩ端末は、ＵＳＢ及び／又はＨＤＭＩ接続を介してシステム１０００を他の電子装置に接続する各インターフェースプロセッサを含み得る。入力処理の各種の態様、例えばリードソロモン誤り訂正を必要に応じて、例えば別々の入力処理ＩＣ内又はプロセッサ１０１０内で実装できることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の態様は、必要に応じて、別々のインターフェースＩＣ又はプロセッサ１０１０内で実装することができる。復調、誤り訂正及び非多重化されたストリームは、出力装置への表示のため、必要に応じてデータストリームを処理するようにメモリ及び記憶要素と組み合わされて動作する、例えばプロセッサ１０１０及びエンコーダ／デコーダ１０３０を含む各種の処理要素に提供される。
システム１０００の各種の要素は、一体化された筐体内に設けられ得、一体化された筐体内において、各種の要素は、相互接続され、適当な接続構成、例えばＩＣ間（Ｉ２Ｃ）バス、配線及び印刷回路基板を含む、当技術分野で公知の内部バスを用いて要素間でデータを送信することができる。
システム１０００は、通信チャネル１０６０を介して他の装置との通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、通信チャネル１０６０を介してデータを送受信するように構成されたトランシーバを含み得るが、これに限定されない。通信インターフェース１０５０は、モデム又はネットワークカードを含み得るが、これらに限定されず、通信チャネル１０６０は、例えば、有線及び／又は無線媒体内に実装され得る。
データは、各種の実施形態において、Wi-Fiネットワーク、例えばＩＥＥＥ８０２．１１（ＩＥＥＥは、米国電気電子学会を指す）等の無線ネットワークを用いてシステム１０００にストリーミング又は別途提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適合された通信チャネル１０６０及び通信インターフェース１０５０を介して受信される。これらの実施形態の通信チャネル１０６０は、典型的には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態は、入力ブロック１１３０のＨＤＭＩ接続を介してデータを配信するセットトップボックスを用いて、システム１０００にストリーミングデータを提供する。更に他の実施形態も、入力ブロック１１３０のＲＦ接続を用いてシステム１０００にストリーミングデータを提供する。上述のように、各種の実施形態は、データを非ストリーミング的に提供する。また、各種の実施形態は、Wi-Fi以外の無線ネットワーク、例えばセルラネットワーク又はBluetoothネットワークを用いる。
システム１０００は、ディスプレイ１１００、スピーカー１１１０及び他の周辺装置１１２０を含む各種の出力装置に出力信号を提供することができる。各種の実施形態のディスプレイ１１００は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、湾曲ディスプレイ及び／又は折り畳み可能ディスプレイの１つ以上を含む。ディスプレイ１１００は、テレビジョン、タブレット、ラップトップ、携帯電話（移動電話）又は他の装置向けであり得る。ディスプレイ１１００はまた、（例えば、移動電話のように）他の要素と一体化されるか、又は別個（例えば、ラップトップのための外部モニタ）であり得る。他の周辺装置１１２０は、複数の実施形態の各種の例において、スタンドアローン型のデジタルビデオディスク（又はデジタル多用途ディスク）（共にＤＶＲと略される）、ディスクプレーヤー、ステレオシステム及び／又は照明システムの１つ以上を含む。各種の実施形態は、システム１０００の出力に基づいて機能を提供する１つ以上の周辺装置１１２０を用いる。例えば、ディスクプレーヤーは、システム１０００の出力を再生する機能を実行する。
各種の実施形態において、システム１０００とディスプレイ１１００、スピーカー１１１０又は他の周辺装置１１２０との間において、シグナリング、例えばAV.Link、家電制御（ＣＥＣ）又はユーザー介入の有無に関わらず、装置間制御を可能にする他の通信プロトコルを用いて制御信号が伝送される。出力装置は、各々のインターフェース１０７０、１０８０及び１０９０を通して、専用の接続部を介してシステム１０００と通信可能に結合され得る。代わりに、出力装置は、通信チャネル１０６０を用いて通信インターフェース１０５０を介してシステム１０００に接続され得る。ディスプレイ１１００及びスピーカー１１１０は、テレビジョン等の電子装置内のシステム１０００の他の要素と単一のユニットに一体化され得る。各種の実施形態において、ディスプレイインターフェース１０７０は、タイミングコントローラ（ＴＣｏｎ）チップ等のディスプレイドライバを含む。
例えば、入力１１３０のＲＦ部分が別々のセットトップボックスの一部である場合、ディスプレイ１１００及びスピーカー１１１０は、代わりに、他の要素の１つ以上と別個であり得る。ディスプレイ１１００及びスピーカー１１１０が外部要素である各種の実施形態において、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート又はＣＯＭＰポートを含む専用の出力接続部を介して提供することができる。
実施形態は、プロセッサ１０１０若しくはハードウェアによって実装されたコンピュータソフトウェア又はハードウェアとソフトウェアとの組み合わせによって実行することができる。非限定的な例として、上述の実施形態は、１つ以上の集積回路によって実装され得る。メモリ１０２０は、技術的環境に適した任意の種類であり得、非限定的な例として、光メモリ装置、磁気記憶装置、半導体メモリ装置、固定メモリ及び着脱可能メモリ等、任意の適当なデータ記憶技術を用いて実装され得る。プロセッサ１０１０は、技術的環境に適した任意の種類であり得、非限定的な例として、マイクロプロセッサ、多目的コンピュータ、特殊用途コンピュータ及びマルチコアアーキテクチャに基づくプロセッサの１つ以上を含み得る。
図４は、例えば、ＨＥＶＣビデオ圧縮標準による圧縮画像を表現するために使用される符号化木及び符号化木単位（ＣＴＵ）構造を示す。ＨＥＶＣにおけるもの等のビデオ圧縮標準において、動き補償された時間的予測を用いて、ビデオの一連の画像間に存在する冗長性を利用する。動きベクトルは、ＣＴＵに含まれる各予測単位（ＰＵ）に関連付けられる。画像のＣＴＵの組は、圧縮領域の符号化木として表される。これは、ＣＴＵの四分木分割であり、各々の葉は、符号化単位（ＣＵ）と呼ばれる。各ＣＵは、複数のイントラ又はインター予測パラメータ（予測情報）を与えられる。これを行うために、ＣＵは、１つ以上の予測単位（ＰＵ）に空間的に分割され、各ＰＵに何らかの予測情報が割り当てられる。ＣＵレベルにイントラ又はインター符号化モードが割り当てられる。ＨＥＶＣの各ＰＵに１つの動きベクトルが割り当てられる。その動きベクトルは、考慮するＰＵの動き補償された時間的予測に用いられる。従って、ＨＥＶＣ等のビデオ圧縮標準において、予測ブロックとその基準ブロックとを紐付ける動きモデルは、並進を含む。
図５Ａ及び５Ｂは、それぞれ２つ及び３つの制御点のための４×４サブブロックに基づくアフィン動きベクトル場を示す。共同探索モデル（ＪＥＭ）及び後にＪＶＥＴ（共同ビデオ探索チーム）グループによって開発されたＶＶＣ（多用途ビデオ符号化）試験モデル等、最近増訂されたビデオ圧縮標準は、時間的予測を向上させるために改良されたいくつかの動きモデルに対応する。その目的のため、ＰＵをサブＰＵに空間的に分割し、より充実したモデルを用いて、各サブＰＵに専用の動きベクトルを割り当てることができる。１つのＣＵを更にＰＵ又はＴＵに分割することはできず、何らかの動きデータが各ＣＵに直接割り当てられる。この新たなコーデック設計において、ＣＵをサブＣＵに分割することができ、各サブＣＵに対して１つの動きベクトルを計算することができる。ＪＥＭに導入された新たな動きモデルの１つがアフィンモデルであり、アフィンモデルを用いてＣＵ内の動きベクトルを表現するものである。
図５Ａの２つの制御点のためのアフィン動き場は、４パラメータアフィンモデルとも呼ばれ、式［１］に従い、考慮するブロックフレーム内の各位置（ｘ，ｙ）に対する動きベクトルの成分値を含む。
ここで、（ｖ０ｘ，ｖ０ｙ）及び（ｖ１ｘ，ｖ１ｙ）は、アフィン動き場の生成に用いられる、いわゆる制御点動きベクトル５１Ａ及び５２Ａである。（ｖ０ｘ，ｖ０ｙ）は、動きベクトルの左上角制御点である。（ｖ１ｘ，ｖ１ｙ）は、動きベクトルの右上角制御点である。
６パラメータアフィン動きモデルと呼ばれる、図５Ｂに示すように３つの制御点を有するモデルも、所与の符号化単位のサブブロックに基づく動き場を表すために用いることができる。６パラメータアフィンモデルの場合の動き場は、式［２］のように計算され、ここで、（ｖ０ｘ，ｖ０ｙ）は、ベクトル５１Ｂであり、（ｖ１ｘ，ｖ１ｙ）は、ベクトル５２Ｂであり、及び（ｖ２ｘ，ｖ２ｙ）は、ベクトル５３Ｂである。
実際には、複雑さを妥当な程度に保つために、図５Ａ及び５Ｂに示すように、考慮するＣＵの４×４サブブロック（サブＣＵ）のピクセルに対して同一の動きベクトルを計算する。各サブブロックの中心位置で制御点動きベクトルからアフィン動きベクトルが計算される。従って、得られた動きベクトルは、１／１６ピクセルの精度で表される。その結果、アフィンモードでの符号化単位の予測単位（ＰＵ）は、各サブブロックの動きベクトルによる動き補償された予測を通して構築される。アフィン動き補償を用いて、ＶＶＣ試験モデル（ＶＴＭ）において二通りの方法、すなわちアフィンＡＭＶＰ及びアフィンマージで用いることができる。これらを以下で紹介する。
ＶＴＭにおいて、サイズが８×８よりも大きいＣＵをアフィンＡＭＶＰモードで予測することができる。これは、ＣＵレベルで符号化されたビットストリーム内のフラグを介してシグナリングされる。そのＣＵ間のアフィン動き場の生成は、デコーダによって動きベクトル差に制御点動きベクトル予測（ＣＰＭＶＰ）を加算して得られる制御点動きベクトル（ＣＰＭＶ）を決定することを含む。ＣＰＭＶＰは、現在のＣＵのＣＰＭＶの予測器として用いられる動きベクトルのペア（２つの制御点動きベクトルによって指定される４パラメータアフィンモデルの場合）又は三つ組（３つの制御点動きベクトルによって指定される６パラメータアフィンモデルの場合）である。現在のＣＵのＣＰＭＶＰは、（アフィンマージモードと同様に）アフィン隣接ＣＵから継承することができる。継承されたＣＰＭＶＰの取得元である空間位置は、所与の候補位置の順序付きリストから選択される。継承されたＣＰＭＶＰは、その基準画像が現在のＣＵの基準画像に等しい場合、有効であると考えられる。
アフィンマージモードにおいて、ＣＵレベルフラグは、マージモードのＣＵがアフィン動き補償を使用するか否かを示す。そうである場合、ＪＥＭにおいて、アフィンモードで符号化された最初の利用可能な隣接ＣＵは、所与の候補位置の順序付きリストの中から選択される。アフィンモードの最初の隣接ＣＵが得られた場合、そのアフィン隣接ＣＵから現在のＣＵのＣＰＭＶＰを継承することができる。隣接するアフィンＣＵの左上、右上及び左下角からの３つの動きベクトル
が取得される（エラー！参照元が見つかりませんを参照されたい）。これらの３つの動きベクトルに基づいて、現在のＣＵ
の左上、右上及び／又は左下角の２又は３つのＣＰＭＶが以下のように導出される。
４パラメータアフィンモードのＣＵに対して、現在のＣＵの２つのＣＰＭＶが以下のように導出される。
６パラメータアフィンモードのＣＵに対して、現在のＣＵの３つの制御点動きベクトルが以下のように導出される。
現在のＣＵの制御点動きベクトル
及び／又は
が得られた場合、４×４サブブロックに基づいて、現在のＣＵフレーム内の動き場が式［式１］又は［式２］のモデルを介して計算される。従って、アフィンモデルは、サブブロックに基づくモデルと考えられ得る。
ＶＴＭ－３．０以降、ＳｂＴＭＶＰ（ＡＴＭＶＰとも呼ばれる、サブブロックに基づく時間動きベクトル予測器）候補は、アフィンマージリストモードのレート歪み最適化処理で評価される最初のサブブロック候補としてのアフィンマージの一部である。ＳｂＴＭＶＰは、連続する画像の対応するサブブロックの動き情報を収集することにより、現在のＣＵ内の８×８サブブロックの動きベクトルを正規のＴＭＶＰ予測器として予測する。
図６は、ＨＭＶＰ法によるリスト更新の一例を示す。ＶＴＭ－３．０以降の履歴に基づく動きベクトル予測（ＨＭＶＰ）のツールも導かれる。履歴に基づくとは、現在のＣＵに先行するＣＵの符号化／復号に用いられた複数の動き情報（動きベクトル、関連付けられた基準フレーム、ＢＣＷ添え字、．．．）から作られたリストを保持することである。サブブロックに基づかないブロックである非アフィン及び非三角形インターＣＵが符号化／復号されるたびに、関連付けられた動き情報が新たなＨＭＶＰ候補としてリストの末尾に挿入される。図６に示すように、テーブルに新たな動き候補を挿入する際、制約されたＦＩＦＯルールが用いられ、最初に冗長性検査が適用されて、テーブル内に同一のＨＭＶＰが存在するか否かを調べる。見つかった場合、同一のＨＭＶＰがテーブルから除去され、その後の全てのＨＭＶＰ候補が前方に移動され、すなわち添え字が１だけ減らされる。
ＨＭＶＰ候補をマージ候補リスト構築処理に用いることができる。テーブル内で最新のＨＭＶＰ候補のいくつかを順次調べて、候補リストのＴＭＶＰ候補の後に挿入する。ＨＭＶＰ候補に剪定処理が施されて、サブブロック動き候補を除く空間又は時間マージ候補（すなわちＡＴＭＶＰ）が得られる。
現在の原理によれば、サブブロックモードで符号化されたインターＣＵ、すなわちそのブロックに関連付けられた動き情報データに従って決定された動きベクトルに基づいてサブブロックが復号されるブロックに関する動き情報は、ＨＭＶＰリストのような動き情報データのリストに追加される。前記リストの項目を用いて、同一の現在の画像の更なるブロックの動き情報データを決定する。アフィン及びＳｂＴＭＶＰモードは、サブブロックに基づく動き補償を用いるため、サブブロックモードで符号化されたＣＵ毎に複数の動きベクトルが保存される。ＣＵ内の位置、すなわちリストに保存される動きベクトルが選択されるサブブロックは、ＢＤレートの性能に影響し得る。
現在、サブブロック又は三角形モードで符号化されたＣＵ由来の動き情報は、ＨＭＶＰリストの作成及び更新において考慮されない。現在の原理によれば、サブブロックモードで符号化されたインターＣＵに従って決定されたゼロ、１つ又は複数の動き情報データは、定常インター動き情報としてＨＭＶＰリストに挿入される。
現在の原理は、全てのサブブロック符号化モードに適用することができる。サブブロック符号化モードは、ＶＴＭ－５．０の３つのモード、すなわち（ｉ）アフィンＡＭＶＰ、（ｉｉ）アフィンマージ、及び（ｉｉｉ）ＳｂＴＭＶＰに限定されない。しかし、平面動きベクトル、回帰、三角形、ＦＲＵＣ、インターウィーブされたアフィン等としての既に公知の全てのサブブロックモード及び将来的に提唱され得る全ての新たなサブブロックモードに拡張される。ＨＭＶＰリスト保存において、これらのサブブロックモードの１つのみ若しくはモードの組み合わせ（例えば、両方のアフィンモードとして）又は全てのサブブロックモードの組み合わせを考えることが可能である。
図７は、現在の画像のブロックを符号化／復号する方法７０を概略的に示す。ステップ７１において、サブブロックモードに従って符号化／復号される第１のブロックが符号化／復号される。第１のブロックのサブブロックの符号化／復号に用いる動きベクトルは、例えば、図５Ａ及び５Ｂに示すように、第１のブロックのＣＵに含まれる動き情報に従って決定される。動き情報データは、動き予測に用いる異なるデータ、例えば動きベクトル、関連付けられた基準フレーム、ＢＣＷ添え字等を含む。
現在の原理に従い、ステップ７２において、第２の動き情報データの集合を前記第１の動き情報データの関数として決定する。その組における決定された動き情報データの数は、ゼロ、１つ又は複数であり得る。その組のサイズの選択は、符号化／復号処理のためのその選択の効率によって導かれる。そのサイズは、エンコーダ及びデコーダによってパラメータ化されて共有される。関連パラメータがビデオストリームのヘッダ内で符号化され得る。
一実施形態において、第２の動き情報を第１の動き情報、すなわち第１のブロックに関連付けられた動き情報のデータによって生成する。第２の動き情報の動きベクトルは、第１のブロックのサブブロックに対して決定された動きベクトルの部分集合の関数として決定される。その組み合わせに対してその動きベクトル（すなわち動きベクトルの関数）を提供するサブブロックを第１のブロック内でのそのサブブロックの位置に従って選択する。例えば、一意のサブブロック、例えば第１のブロックに中心を有するサブブロック（例えば、４×４サブブロック分割の場合、サブブロック［１，１］又は［１，２］）を選択し、その関数は、恒等関数である。従って、決定された第２の動き情報データの動きベクトルは、選択されたサブブロックの動きベクトルである。別の例において、第２の動き情報データの動きベクトルは、第１のブロック内でのそれらの位置を分散させるように選択されたサブブロック、例えば２つの中心が合わされたサブブロック又は３つのサブブロック、すなわち第１のブロックの上部角に２つ及び下部中央に１つ又は各角に４つのサブブロックの２つ、又は３つ、又は４つの動きベクトルの平均である。関数は、平均化関数でなくてもよい。選択されたサブブロックの関数及び位置の選択は、符号化／復号処理にとっての選択の効率によって導かれる。その選択は、エンコーダ及びデコーダによってパラメータ化されて共有される。関連パラメータは、ビデオストリームのヘッダ内で符号化され得る。
別の実施形態において、第２の動き情報データは、第１の動き情報データの動きベクトルの関数として決定された動きベクトルを含む。例えば、４パラメータアフィンモデルに従って符号化／復号された第１のブロックに対して、第２の動き情報データの動きベクトルは、２つの制御点ベクトルの加重平均であり得る。ゼロ、１つ又は複数の動き情報データは、その実施形態に従い、異なる関数及び／又は異なるパラメータによって決定することができる。
上述の二つの実施形態に適用可能な一変型形態によれば、選択されたサブブロックの動きベクトル及び／又は位置の選択された関数は、第１のブロックのサイズ及び／又はサブブロックのサイズに依存する。例えば、第１のブロックのサイズが所与のサイズよりも小さい場合（例えば、１２８×１２８、６４×６４、３２×３２又は１６×１６）、関数は、識別であり、選択されたサブブロックは、第１のブロックの中心で選択されるが、第１のブロックが所与のサイズよりも大きい場合、関数は、第１のブロックの角のサブブロックの２つのベクトルの加重平均（第１のブロックのサイズに依存する重み）である。
一変型形態によれば、決定された第２の動き情報データの数は、第１のブロックのサイズ及び／又はサブブロックのサイズに依存する。例えば、第１のブロックのサイズが所与のサイズよりも小さい場合、第２の動きデータは、決定されない。別の例において、第１のブロックのサブブロックを、固定されたサイズの領域（例えば、６４×６４、３２×３２又は１６×１６）又は適合されたサイズの領域、例えばサブブロックＣＵを２、４又は８分割した領域に分割することができる。これらの領域に対して、１つの第２の動き情報データは、上述の実施形態及び変型形態の１つに従って決定される。例えば、領域が固定サイズ３２×３２であれば、１６×３２サブブロックＣＵに対して、１つの第２の動き情報データのみが決定され、６４×６４サブブロックＣＵに対して、４つの第２の動き情報データが決定される。別の例において、領域のサイズが適応的であり、サブブロックＣＵを４つの領域に分割する場合、保存される４つの動き情報データが常に存在し、１６×３２サブブロックＣＵの場合には各８×１６サブブロックに１つ、６４×６４サブブロックＣＵの場合には３２×３２サブブロックに１つである。
決定された第２の動き情報データの数及びそれらを決定するための異なる関数の選択は、符号化／復号処理のためのその選択の効率によって導かれる。その選択は、エンコーダ及びデコーダによってパラメータ化されて共有される。関連パラメータは、ビデオストリームのヘッダ内で符号化され得る。例えば、効果的な選択は、面積が２５６平方ピクセル以上であるサブブロックのみに対して、中心に置かれたサブブロックの動きベクトルと共に１つの動き情報データを決定することであり得る。
図７の方法７０のステップ７３において、動き情報データの決定された集合は、動き情報データのリスト、例えばＶＣＣ試験モデルのＨＭＶＰリストに追加される。このリストは、その項目を用いて符号化／復号される前記現在の画像の更なるブロックに対して動き情報データを決定するものと定義される。
各種の実装形態は、復号を含む。本出願で用いる「復号」は、例えば、表示に適した最終出力を生成するために、受信された符号化されたシーケンスに対して実行される処理の全部又は一部を含み得る。各種の実施形態において、このような処理は、デコーダによって典型的に実行される１つ以上の処理、例えばエントロピー復号、逆量子化、逆変換及び差分復号を含む。各種の実施形態において、このような処理は、同様に又は代わりに、本出願に記述する各種の実装形態のデコーダによって実行される処理、例えば図１及び図２のフィード動き補償予測モジュール１７０及び２７５に送る動き情報データリストの管理を含む。
更なる例として、一実施形態では、「復号」は、エントロピー復号のみを指し、別の実施形態では、「復号」は、差分復号のみを指し、別の実施形態では、「復号」は、エントロピー復号と差分復号との組み合わせを指す。語句「復号処理」が特に動作の部分集合又は一般により広範な復号処理のいずれを指すかは、具体的な記述の文脈に基づいて明らかになり、当業者によく理解されるものと考えられる。
各種の実装形態は、符号化を含む。「復号」に関する上の議論と同様に、本出願で用いる「符号化」は、例えば、符号化されたビットストリームを生成するために、入力ビデオシーケンスに対して実行される処理の全部又は一部を含み得る。各種の実施形態において、このような処理は、エンコーダによって典型的に実行される１つ以上の処理、例えば分割、差分符号化、変換、量子化及びエントロピー符号化を含む。各種の実施形態において、このような処理は、同様に又は代わりに、本出願に記述する各種の実装形態のエンコーダによって実行される処理、例えば図１及び２の動き補償予測モジュール１７０及び２７５に送る動き情報データリストの管理を含む。
更なる例として、一実施形態では、「符号化」は、エントロピー符号化のみを指し、別の実施形態では、「符号化」は、差分符号化のみを指し、別の実施形態では、「符号化」は、差分符号化とエントロピー符号化との組み合わせを指す。語句「符号化処理」が特に動作の部分集合又は一般により広範な符号化処理方法のいずれを指すかは、具体的な記述の文脈に基づいて明らかになり、当業者によく理解されるものと考えられる。
本明細書で用いる構文要素が記述用語であることに留意されたい。従って、その用語は、他の構文要素名の使用を排除しない。
図面がフロー図として提示される場合、それは、対応する装置のブロック図も示すものと理解されたい。同様に、図面がブロック図として提示される場合、それは、対応する方法／処理のフロー図も示すものと理解されたい。
本明細書に記述する実装形態及び態様は、方法又は処理、装置、ソフトウエアプログラム、データストリーム又は信号において実装され得る。単一の実装形式として議論されるのみ（例えば、方法のみとして議論）の場合でも、議論される特徴の実装形態は、他の形式（例えば、装置又はプログラム）で実装され得る。装置は、例えば、適当なハードウェア、ソフトウェア及びファームウェアにおいて実装され得る。本方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラム可能な論理装置を含む、一般に処理装置を指すプロセッサにおいて実装され得る。プロセッサも、通信装置、例えばコンピュータ、携帯電話、携帯情報端末（「ＰＤＡ」）及びエンドユーザー間の情報通信を可能にする他の装置を含む。
「１つの実施形態」若しくは「一実施形態」又は「１つの実装形態」若しくは「一実装形態」への言及は、他の変化形と同様に、その実施形態との関連で記述された特定の特徴、構造、特性等が少なくとも１つの実施形態に含まれることを意味する。従って、語句「１つの実施形態において」若しくは「一実施形態において」又は「１つの実装形態において」若しくは「一実装形態において」の出現は、本出願全体を通して様々な箇所で出現する他の変化形と合わせて、必ずしも全て同一の実施形態を指すわけではない。
また、本出願は、各種の情報項目の「判定」に言及する場合がある。情報の判定は、例えば、情報の推定、情報の計算、情報の予測又はメモリからの情報の取得の１つ以上を含み得る。
更に、本出願は、各種の情報項目への「アクセス」に言及する場合がある。情報へのアクセスは、例えば、情報の受信、（例えば、メモリからの）情報の取得、情報の保存、情報の移動、情報の複製、情報の計算、情報の判定、情報の予測又は情報の推定の１つ以上を含み得る。
また、本出願は、各種の情報項目の「受信」に言及する場合がある。受信は、「アクセス」と同様に広義であることを意図される。情報の受信は、例えば、情報へのアクセス又は（例えば、メモリからの）情報の検索の１つ以上を含み得る。更に、「受信」は、典型的には、情報の保存、情報の処理、情報の送信、情報の移動、情報の複製、情報の消去、情報の計算、情報の判定、情報の予測又は情報の推定等の動作中に何らかの方法で行われる。
以下の「／」、「及び／又は」、「少なくとも１つ」のいずれかを例えば「Ａ／Ｂ」、「Ａ及び／又はＢ」、「Ａ及びＢの少なくとも１つ」の場合に使用することは、第１の列挙された選択肢（Ａ）のみの選択若しくは第２の列挙された選択肢（Ｂ）のみの選択又は両方の選択肢（Ａ及びＢ）の選択を含むことを意図することを認識されたい。更なる例として、「Ａ、Ｂ及び／又はＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」の場合、このような語句は、第１の列挙された選択肢（Ａ）のみの選択、若しくは第２の列挙された選択肢（Ｂ）のみの選択、若しくは第３の列挙された選択肢（Ｃ）のみの選択、又は第１及び第２の列挙された選択肢（Ａ及びＢ）のみの選択、若しくは第１及び第３の列挙された選択肢（Ａ及びＣ）のみの選択、若しくは第２及び第３の列挙された選択肢（Ｂ及びＣ）のみの選択、或いは３つの選択肢の全て（Ａ、及びＢ、及びＣ）の選択を包含することを意図される。これは、当技術分野及び関連する技術分野の当業者に明らかであるように、列挙された全項目に拡張することができる。
また、本明細書で用いる用語「シグナリングする」は、とりわけ、対応するデコーダに何らかを指示することを指す。例えば、特定の実施形態において、エンコーダは、サブブロックモードで符号化されたブロックから第２の情報データを判定するための複数のパラメータの特定の１つをシグナリングする。このように、一実施形態において、同一のパラメータがエンコーダ側とデコーダ側との両方で用いられる。従って、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信（明示的シグナリング）することができる。逆に、デコーダが既にその特定のパラメータを他のものと共に有する場合、送信することなく、シグナリングを用いて（暗黙的シグナリング）、単にデコーダが特定のパラメータを認識して選択できるようにすることができる。実際の関数の送信を避けることにより、各種の実施形態においてビット節約が実現される。シグナリングは、様々な方法で実現され得ることを認識されたい。例えば、各種の実施形態において、１つ以上の構文要素、フラグ等を用いて対応するデコーダに情報をシグナリングする。上記は、用語「シグナリングする」の動詞形に関するものであるが、本明細書において用語「信号」を名詞としても用いることができる。
当業者に明らかになるように、複数の実装形態は、例えば、保存又は送信可能な情報を保持するようにフォーマットされた様々な信号を生成することができる。情報は、例えば、方法を実行する命令又は上述の実装形態の１つによって生成されたデータを含み得る。例えば、上述の実施形態のビットストリームを保持するように信号をフォーマットすることができる。このような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を用いて）として又はベースバンド信号としてフォーマットすることができる。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームによってキャリアを変調するステップを含み得る。信号が保持する情報は、例えば、アナログ又はデジタル情報であり得る。信号は、公知の様々な異なる有線又は無線リンクを介して送信することができる。信号は、プロセッサ可読な媒体に保存することができる。
Claims (12)
- － 現在の画像の第１のブロックのサブブロックを復号することであって、前記サブブロックは、前記第１のブロックに関連付けられた第１の動き情報データに従って決定された動きベクトルに基づいて復号される、復号することと、
－ 第２の動き情報データの集合を前記第１の動き情報データの関数として決定することと、
－ 前記第２の動き情報データの集合を動き情報データのリストに追加することであって、前記リストの項目は、前記現在の画像の第２のブロックの動き情報データを決定するために使用される、追加することと
を含む方法。 - 現在の画像のブロックを復号するための装置であって、
－ 現在の画像の第１のブロックのサブブロックを復号することであって、前記サブブロックは、前記第１のブロックに関連付けられた第１の動き情報データに従って決定された動きベクトルに基づいて復号される、復号することと、
－ 第２の動き情報データの集合を前記第１の動き情報データの関数として決定することと、
－ 前記第２の動き情報データの集合を動き情報データのリストに追加することであって、前記リストの項目は、前記現在の画像の第２のブロックの動き情報データを決定するために使用される、追加することと
を行うように構成されたプロセッサを含む装置。 - － 現在の画像の第１のブロックのサブブロックを符号化することであって、前記サブブロックは、前記第１のブロックに関連付けられた第１の動き情報データに従って決定された動きベクトルに基づいて符号化される、符号化することと、
－ 第２の動き情報データの集合を前記第１の動き情報データの関数として決定することと、
－ 前記第２の動き情報データの集合を動き情報データのリストに追加することであって、前記リストの項目は、前記現在の画像の第２のブロックの動き情報データを決定するために使用される、追加することと
を含む方法。 - 現在の画像のブロックを符号化するための装置であって、
－ 現在の画像の第１のブロックのサブブロックを符号化することであって、前記サブブロックは、前記第１のブロックに関連付けられた動き情報データに従って決定された動きベクトルに基づいて符号化される、符号化することと、
－ 第２の動き情報データの集合を前記第１の動き情報データの関数として決定することと、
－ 前記第２の動き情報データの集合を動き情報データのリストに追加することであって、前記リストの項目は、前記現在の画像の第２のブロックの動き情報データを決定するために使用される、追加することと
を行うように構成されたプロセッサを含む装置。 - 第２の動き情報データは、前記第１のブロックの選択されたサブブロックの動きベクトルの関数として決定された動きベクトルを含み、前記選択されたサブブロックは、前記第１のブロック内の所与の位置にある、請求項１若しくは３に記載の方法又は請求項２若しくは４に記載の装置。
- 第２の動き情報データは、前記第１の動き情報データに含まれる動きベクトルの関数として決定された動きベクトルを含む、請求項１若しくは３に記載の方法又は請求項２若しくは４に記載の装置。
- 前記動きベクトルの関数は、前記第１のブロックのサイズ又は前記サブブロックのサイズに依存する、請求項５又は６に記載の方法又は装置。
- 前記第２の動き情報データの集合は、ある数の項目を含み、前記項目の数は、前記第１のブロックのサイズ又は前記サブブロックのサイズに依存する、請求項１、３若しくは５～７のいずれか一項に記載の方法又は請求項２若しくは４～７のいずれか一項に記載の装置。
- － 請求項１又は５～８のいずれか一項に記載の装置と、
－ （ｉ）前記画像の前記復号されたブロックを含む信号を受信するように構成されたアンテナ、（ｉｉ）前記受信された信号を、前記画像の前記復号されたブロックを含む周波数の帯域に限定するように構成された帯域リミッタ、及び（ｉｉｉ）前記画像の前記復号されたブロックを表す出力を表示するように構成されたディスプレイの少なくとも１つと
を含む機器。 - プロセッサを使用して再生するための、請求項３若しくは５～８のいずれか一項に記載の方法に従って又は請求項４～８のいずれか一項に記載の装置によって生成されたデータコンテンツを含む非一時的コンピュータ可読媒体。
- コンピュータプログラム製品であって、プログラムがコンピュータによって実行されると、請求項３又は５～８のいずれか一項に記載の方法を前記コンピュータに実行させる命令を含むコンピュータプログラム製品。
- プロセッサを使用して再生するための、請求項３若しくは５～８のいずれか一項に記載の方法に従って又は請求項４～８のいずれか一項に記載の装置によって生成されたビデオデータを含む信号。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19305843.5 | 2019-06-25 | ||
| EP19305843 | 2019-06-25 | ||
| PCT/EP2020/066850 WO2020260110A1 (en) | 2019-06-25 | 2020-06-18 | Hmvc for affine and sbtmvp motion vector prediciton modes |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022541723A true JP2022541723A (ja) | 2022-09-27 |
| JPWO2020260110A5 JPWO2020260110A5 (ja) | 2023-06-23 |
Family
ID=67297079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021573789A Pending JP2022541723A (ja) | 2019-06-25 | 2020-06-18 | アフィン及びｓｂｔｍｖｐ動きベクトル予測モードのためのｈｍｖｃ |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220264147A1 (ja) |
| EP (1) | EP3991428A1 (ja) |
| JP (1) | JP2022541723A (ja) |
| CN (1) | CN114097235A (ja) |
| WO (1) | WO2020260110A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12063355B2 (en) * | 2022-05-26 | 2024-08-13 | Tencent America LLC | Subblock based motion vector predictor displacement vector reordering using template matching |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100809354B1 (ko) * | 2007-02-02 | 2008-03-05 | 삼성전자주식회사 | 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법 |
| CN108432250A (zh) * | 2016-01-07 | 2018-08-21 | 联发科技股份有限公司 | 用于视频编解码的仿射帧间预测的方法及装置 |
| US11212550B2 (en) * | 2018-09-21 | 2021-12-28 | Qualcomm Incorporated | History-based motion vector prediction for affine mode |
| US11166015B2 (en) * | 2019-03-06 | 2021-11-02 | Tencent America LLC | Method and apparatus for video coding |
-
2020
- 2020-06-18 JP JP2021573789A patent/JP2022541723A/ja active Pending
- 2020-06-18 WO PCT/EP2020/066850 patent/WO2020260110A1/en active Application Filing
- 2020-06-18 EP EP20732929.3A patent/EP3991428A1/en active Pending
- 2020-06-18 US US17/621,116 patent/US20220264147A1/en active Pending
- 2020-06-18 CN CN202080046519.7A patent/CN114097235A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020260110A1 (en) | 2020-12-30 |
| US20220264147A1 (en) | 2022-08-18 |
| EP3991428A1 (en) | 2022-05-04 |
| CN114097235A (zh) | 2022-02-25 |
| WO2020260110A8 (en) | 2022-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220159277A1 (en) | Method and apparatus for video encoding and decoding with subblock based local illumination compensation | |
| JP7420807B2 (ja) | マージリストにおける動きベクトル予測子候補の順序付け | |
| US11729417B2 (en) | Generalized bi-prediction and weighted prediction | |
| JP7509763B2 (ja) | ビデオエンコーディングおよびデコーディングにおけるアフィンモードシグナリング | |
| JP7502278B2 (ja) | 双予測を使用するビデオエンコーディングおよびデコーディングのための方法および装置 | |
| US20230232037A1 (en) | Unified process and syntax for generalized prediction in video coding/decoding | |
| US20220038681A1 (en) | Video encoding or decoding using block extension for overlapped block motion compensation | |
| EP3706421A1 (en) | Method and apparatus for video encoding and decoding based on affine motion compensation | |
| JP2024059909A (ja) | 画像エンコーディングおよびデコーディングのための方法およびデバイス | |
| JP7520853B2 (ja) | ビデオコード化のための残差コード化における通常のビンの柔軟な割り当て | |
| KR20210093918A (ko) | 비디오 코딩 및 디코딩을 위한 삼각형 및 다중-가설 조합 | |
| KR20210058938A (ko) | 픽처 인코딩 및 디코딩을 위한 방법 및 디바이스 | |
| KR20210096244A (ko) | 픽쳐 인코딩 및 디코딩을 위한 방법 및 디바이스 | |
| JP2024023456A (ja) | コード化／復号化におけるデータ依存関係 | |
| US11463712B2 (en) | Residual coding with reduced usage of local neighborhood | |
| WO2020072401A1 (en) | Method and apparatus for video encoding and decoding using list of predictor candidates | |
| JP2022541723A (ja) | アフィン及びｓｂｔｍｖｐ動きベクトル予測モードのためのｈｍｖｃ | |
| KR20220123643A (ko) | 삼각형 병합 모드에서의 서브-블록 병합 후보들 | |
| KR20220088939A (ko) | 이미지 블록의 심층 인트라 예측 | |
| RU2820339C2 (ru) | Hmvc для аффинного режима и режима предсказания вектора движения sbtmvp | |
| US20240171756A1 (en) | Template matching prediction for video encoding and decoding | |
| KR20240056576A (ko) | 템플릿 매칭에 기초한 비디오 인코딩 및 디코딩을 위한 크로마 예측 | |
| CN117501692A (zh) | 用于视频编码和解码的模板匹配预测 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230614 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230614 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20231110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240618 |