JP2022503707A - ビデオ符号化及び復号 - Google Patents

ビデオ符号化及び復号 Download PDF

Info

Publication number
JP2022503707A
JP2022503707A JP2021514321A JP2021514321A JP2022503707A JP 2022503707 A JP2022503707 A JP 2022503707A JP 2021514321 A JP2021514321 A JP 2021514321A JP 2021514321 A JP2021514321 A JP 2021514321A JP 2022503707 A JP2022503707 A JP 2022503707A
Authority
JP
Japan
Prior art keywords
index
motion information
merge
candidates
merge mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021514321A
Other languages
English (en)
Other versions
JP7216811B2 (ja
Inventor
ギローム ラロシュ，
クリストフ ジスケ，
パトリス オンノ，
ジョナサン タケ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2022503707A publication Critical patent/JP2022503707A/ja
Priority to JP2023007418A priority Critical patent/JP7413576B2/ja
Application granted granted Critical
Publication of JP7216811B2 publication Critical patent/JP7216811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

Figure 2022503707000001
動き情報予測子インデックスを符号化する方法であって、動き情報予測子候補のリストを生成し、アフィンマージモードが使用されるとき、アフィンマージモード予測子としてリスト内の動き情報予測子候補のうちの１つを選択し、非アフィンマージモードが使用されるとき、非アフィンマージモード予測子としてリスト内の動き情報予測子候補のうちの１つを選択し、ＣＡＢＡＣ符号化を使用して、選択された動き情報予測子候補のための動き情報予測子インデックスを生成し、動き情報予測子インデックスの１つまたは複数のビットがＣＡＢＡＣ符号化をバイパスされる。

Description

本発明は、ビデオ符号化及び復号に関する。
最近、ＭＰＥＧとＩＴＵ－T Study Group １６のＶＣＥＧによって形成された共同チームであるJVET(Joint Video Experts Team)は、VVC(Versatile Video Coding)と呼ばれる新しいビデオ符号化規格の研究を開始した。ＶＶＣの目標は、既存のＨＥＶＣ規格（すなわち、典型的には以前の２倍）を超える圧縮性能の著しい改善を提供し、２０２０年に完了することである。主なターゲットアプリケーションおよびサービスは、３６０度および高ダイナミックレンジ（ＨＤＲ）ビデオを含むが、限定されない。総じて、ＪＶＥＴは、独立した試験所が実施した正式な主観的試験を用いて、３２団体からのレスポンスを評価した。いくつかの提案は、ＨＥＶＣを使用する場合と比較して、典型的には４０％以上の圧縮効率ゲインを実証した。超高精細（ＵＨＤ）ビデオ試験材料について特に有効性を示した。したがって、圧縮効率の向上は、最終標準の目標とする５０％をはるかに超えることが予想される。
ＪＶＥＴ探索モデル（ＪＥＭ）は、すべてのＨＥＶＣツールを使用する。ＨＥＶＣには存在しないさらなるツールは、動き補償を適用する場合に「アフィン動きモード」を使用することである。ＨＥＶＣにおける動き補償は並進に限定されるが、実際には例えばズームイン／アウト、回転、透視動作、及び他の不規則な動作のような多くの種類の動きがある。アフィン動きモードを利用する場合、より複雑な変換がブロックに適用され、そのような動きの形成をより正確に予測しようと試みる。したがって、良好な符号化効率を達成しながら、複雑さを減らしながら、アフィン動きモードを使用することができることが望ましい。
ＨＥＶＣに存在しない別のツールは、代替時間的動きベクトル予測（ＡＴＭＶＰ）を使用することである。代替時間的動きベクトル予測（ＡＴＭＶＰ）は、特定の動き補償である。時間的参照フレームからの現在のブロックについて１つの動き情報のみを考慮する代わりに、各コロケートされたブロックの各動き情報が考慮される。したがって、この時間的動きベクトル予測は、各サブブロックの関連する動き情報を用いた現在のブロックのセグメンテーションを与える。現在のＶＴＭ（ＶＶＣテストモデル）参照ソフトウェアでは、ＡＴＭＶＰがマージ候補のリストに挿入されたマージ候補としてシグナリングされる。ＳＰＳレベルでＡＴＭＶＰがイネーブルされると、マージ候補の最大数は１だけ増加される。従って、このモードがディスエーブルされている場合には、５個の代わりに６個の候補が考慮される。
これらの、および後述する他のツールは候補のリストの中から（例えば、マージモード符号化と共に使用するためのマージ候補のリストから）どの候補が選択されたかを知らせるために使用されるインデックス（例えば、マージインデックス）の符号化の符号化効率および複雑さに関する問題を引き起こしている。
したがって、前述の問題の少なくとも１つに対する解決策が望ましい。
本発明の第１の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、
ＡＴＭＶＰ候補を含む動きベクトル予測子候補のリストを生成し、
前記リスト内の動きベクトル予測子候補のうちの１つを選択し、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックス（マージインデックス）を生成し、動きベクトル予測子インデックスの１つまたは複数のビットは、バイパスＣＡＢＡＣ符号化される
ことを特徴とする方法が提供される。
一実施形態では、動きベクトル予測子インデックスの最初のビットを除くすべてのビットがバイパスＣＡＢＡＣ符号化される。
本発明の第２の態様によれば、動きベクトル予測子インデックスを復号する方法であって、
ＡＴＭＶＰ候補を含む動きベクトル予測子候補のリストを生成し、
ＣＡＢＡＣ復号を使用して動きベクトル予測子インデックスを復号し、動きベクトル予測子インデックスの１つまたは複数のビットは、バイパスＣＡＢＡＣ復号され、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する
ことを特徴とする方法が提供される。
一実施形態では、動きベクトル予測子インデックスの最初のビットを除くすべてのビットがバイパスＣＡＢＡＣ復号される。
本発明の第３の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、
ＡＴＭＶＰ候補を含む動きベクトル予測子候補のリストを生成する手段と、
前記リスト内の動きベクトル予測子候補のうちの１つを選択する手段と、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックス（マージインデックス）を生成する手段であって、動きベクトル予測子インデックスの１つまたは複数のビットがバイパスＣＡＢＡＣ符号化される手段と
を備えることを特徴とする装置が提供される。
本発明の第４の態様によれば、動きベクトル予測子インデックスを復号する装置であって、
ＡＴＭＶＰ候補を含む動きベクトル予測子候補のリストを生成する手段と、
ＣＡＢＡＣ復号を使用して動きベクトル予測子インデックスを復号する手段であって、動きベクトル予測子インデックスの１つまたは複数のビットがバイパスＣＡＢＡＣ復号される手段と、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する手段と
を備えることを特徴とする装置が提供される。
本発明の第５の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、
動きベクトル予測子候補のリストを生成し、
前記リスト内の動きベクトル予測子候補のうちの１つを選択し、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成し、動きベクトル予測子インデックスの２つ以上のビットが同じコンテキストを共有する
ことを特徴とする方法が提供される。
一実施形態では、動きベクトル予測子インデックスのすべてのビットが同じコンテキストを共有する。
本発明の第６の態様によれば、動きベクトル予測子インデックスを復号する方法であって、
動きベクトル予測子候補のリストを生成し、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号し、動きベクトル予測子インデックスの２つ以上のビットが同じコンテキストを共有し、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する
ことを特徴とする方法が提供される。
一実施形態では、動きベクトル予測子インデックスのすべてのビットが同じコンテキストを共有する。
本発明の第７の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
前記リスト内の動きベクトル予測子候補のうちの１つを選択する手段と、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段であって、動きベクトル予測子インデックスの２つ以上のビットが同じコンテキストを共有する手段と
を備えることを特徴とする装置が提供される。
本発明の第８の態様によれば、動きベクトル予測子インデックスを復号する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号する手段であって、動きベクトル予測子インデックスの２つ以上のビットが同じコンテキストを共有する手段と、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する手段と
を備えることを特徴とする装置が提供される。
本発明の第９の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、
動きベクトル予測子候補のリストを生成し、
前記リスト内の動きベクトル予測子候補のうちの１つを選択し、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成し、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、現在のブロックに隣接する少なくとも１つのブロックの動きベクトル予測子インデックスに依存する
ことを特徴とする方法が提供される。
一実施形態では、動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数が少なくとも２つの隣接ブロックのそれぞれの動きベクトル予測子インデックスに依存する。
別の実施形態では、動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、現在のブロックの左側の左隣接ブロックの動きベクトル予測子インデックスと、現在のブロックの上側の上隣接ブロックの動きベクトル予測子インデックスと、に依存する。
別の実施形態では、左隣接ブロックはＡ２であり、上隣接ブロックはＢ３である。
別の実施形態では、左隣接ブロックはＡ１であり、上隣接ブロックはＢ１である。
別の実施形態では、コンテキスト変数が３つの異なる可能な値を有する。
別の実施形態は、少なくとも１つの隣接ブロックの動きベクトル予測子インデックスを、現在のブロックの動きベクトル予測子インデックスのインデックス値と比較し、比較結果に応じて前記コンテキスト変数を設定することを含む。
別の実施形態は、少なくとも１つの隣接ブロックの動きベクトル予測子インデックスを、現在のブロックの動きベクトル予測子インデックス内の前記または１つの前記ビットのビット位置を表すパラメータと比較し、比較結果に応じて前記コンテキスト変数を設定することを含む。
さらに別の実施形態は、第１比較を行い、第１隣接ブロックの動きベクトル予測子インデックスを、現在のブロックの動きベクトル予測子インデックス内の前記または１つの前記ビットのビット位置を表すパラメータと比較し、第２比較を行い、第２隣接ブロックの動きベクトル予測子インデックスを、前記パラメータと比較し、第１および第２比較の結果に応じて前記コンテキスト変数を設定する、ことを含む。
本発明の第１０の態様によれば、動きベクトル予測子インデックスを復号する方法であって、
動きベクトル予測子候補のリストを生成し、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、現在のブロックに隣接する少なくとも１つのブロックの動きベクトル予測子インデックスに依存し、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する
ことを特徴とする方法が提供される。
一実施形態では、動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数が、少なくとも２つの隣接ブロックのそれぞれの動きベクトル予測子インデックスに依存する。
別の実施形態では、動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、現在のブロックの左側の左隣接ブロックの動きベクトル予測子インデックスと、現在のブロックの上側の上隣接ブロックの動きベクトル予測子インデックスとに依存する。
別の実施形態では、左隣接ブロックはＡ２であり、上隣接ブロックはＢ３である。
別の実施形態では、左隣接ブロックはＡ１であり、上隣接ブロックはＢ１である。
別の実施形態では、コンテキスト変数が３つの異なる可能な値を有する。
別の実施形態は、少なくとも１つの隣接ブロックの動きベクトル予測子インデックスを、現在のブロックの動きベクトル予測子インデックスのインデックス値と比較し、比較結果に応じて前記コンテキスト変数を設定することを含む。
別の実施形態は、少なくとも１つの隣接ブロックの動きベクトル予測子インデックスを、現在のブロックの動きベクトル予測子インデックス内の前記または１つの前記ビットのビット位置を表すパラメータと比較し、比較結果に応じて前記コンテキスト変数を設定することを含む。
さらに別の実施形態は、第１比較を行い、第１隣接ブロックの動きベクトル予測子インデックスを、現在のブロックの動きベクトル予測子インデックス内の前記または１つの前記ビットのビット位置を表すパラメータと比較し、第２比較を行い、第２隣接ブロックの動きベクトル予測子インデックスを、前記パラメータと比較し、第１および第２比較の結果に応じて前記コンテキスト変数を設定することを含む。
本発明の第１１の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
前記リスト内の動きベクトル予測子候補のうちの１つを選択する手段と、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、現在のブロックに隣接する少なくとも１つのブロックの動きベクトル予測子インデックスに依存する手段と
を備えることを特徴とする装置が提供される。
本発明の第１２の態様によれば、動きベクトル予測子インデックスを復号する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数は、現在のブロックに隣接する少なくとも１つのブロックの動きベクトル予測子インデックスに依存する手段と、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する手段と
を備えることを特徴とする装置が提供される。
本発明の第１３の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、
動きベクトル予測子候補のリストを生成し、
前記リスト内の動きベクトル予測子候補のうちの１つを選択し、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、前記現在のブロックのスキップフラグに依存する
ことを特徴とする方法が提供される。
本発明の第１４の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、
動きベクトル予測子候補のリストを生成し、
前記リスト内の動きベクトル予測子候補のうちの１つを選択し、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、動きベクトル予測子インデックスの復号前に利用可能な前記現在のブロックの別のパラメータまたはシンタックス要素に依存する
ことを特徴とする方法が提供される。
本発明の第１５の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、
動きベクトル予測子候補のリストを生成し、
前記リスト内の動きベクトル予測子候補のうちの１つを選択し、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、現在のブロック内の動きの複雑さのインジケータである前記現在のブロックの別のパラメータまたはシンタックス要素に依存する
ことを特徴とする方法が提供される。
本発明の第１６の態様によれば、動きベクトル予測子インデックスを復号する方法であって、
動きベクトル予測子候補のリストを生成し、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数は、前記現在のブロックのスキップフラグに依存し、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する
ことを特徴とする方法が提供される。
本発明の第１７の態様によれば、動きベクトル予測子インデックスを復号する方法であって、
動きベクトル予測子候補のリストを生成し、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、動きベクトル予測子インデックスの復号前に利用可能である前記現在のブロックの別のパラメータまたはシンタックス要素に依存し、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する
ことを特徴とする方法が提供される。
本発明の第１８の態様によれば、動きベクトル予測子インデックスを復号する方法であって、
動きベクトル予測子候補のリストを生成し、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、現在のブロックにおける動きの複雑さのインジケータである前記現在のブロックの別のパラメータまたはシンタックス要素に依存し、
復号された動きベクトル予測子インデックスを使用して、前記リスト中の動きベクトル予測子候補のうちの１つを識別する
ことを特徴とする方法が提供される。
本発明の第１９の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
前記リスト内の動きベクトル予測子候補のうちの１つを選択する手段と、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数が、前記現在のブロックのスキップフラグに依存する手段と
を備えることを特徴とする装置が提供される。
本発明の第２０の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
前記リスト内の動きベクトル予測子候補のうちの１つを選択する手段と、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、動きベクトル予測子インデックスの復号前に利用可能である前記現在のブロックの別のパラメータまたはシンタックス要素に依存する手段と
を備えることを特徴とする装置が提供される。
本発明の第２１の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
前記リスト内の動きベクトル予測子候補のうちの１つを選択する手段と、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、現在のブロック内の動きの複雑さのインジケータである前記現在のブロックの別のパラメータまたはシンタックス要素に依存する手段と
を備えることを特徴とする装置が提供される。
本発明の第２２の態様によれば、動きベクトル予測子インデックスを復号する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数は、前記現在のブロックのスキップフラグに依存する手段と、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する手段と
を備えることを特徴とする装置が提供される。
本発明の第２３の態様によれば、動きベクトル予測子インデックスを復号する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数は、動きベクトル予測子インデックスの復号前に利用可能である前記現在のブロックの別のパラメータまたはシンタックス要素に依存する手段と、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する手段と
を備えることを特徴とする装置が提供される。
本発明の第２４の態様によれば、動きベクトル予測子インデックスを復号する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数は、現在のブロックにおける動きの複雑さのインジケータである前記現在のブロックの別のパラメータまたはシンタックス要素に依存する手段と、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する手段と
を備えることを特徴とする装置が提供される。
本発明の第２５の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、
動きベクトル予測子候補のリストを生成し、
前記リスト内の動きベクトル予測子候補のうちの１つを選択し、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、前記リスト内にアフィン動きベクトル予測子候補がある場合にはそれに依存する
ことを特徴とする方法が提供される。
一実施形態では、コンテキスト変数は、第１アフィン動きベクトル予測子候補の前記リスト内の位置に依存する。
本発明の第２６の態様によれば、動きベクトル予測子インデックスを復号する方法であって、
動きベクトル予測子候補のリストを生成し、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数は、前記リスト内にアフィン動きベクトル予測子候補がある場合にはそれに依存し、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する
ことを特徴とする方法が提供される。
一実施形態では、コンテキスト変数は、第１アフィン動きベクトル予測子候補の前記リスト内の位置に依存する。
本発明の第２７の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
前記リスト内の動きベクトル予測子候補のうちの１つを選択する手段と、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数は、前記リスト内にアフィン動きベクトル予測子候補がある場合にはそれに依存する手段と
を備えることを特徴とする装置が提供される。
本発明の第２８の態様によれば、動きベクトル予測子インデックスを復号する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数は、前記リスト内にアフィン動きベクトル予測子候補がある場合にはそれに依存する手段と、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する手段と
を備えることを特徴とする装置が提供される。
本発明の第２９の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、
アフィン動きベクトル予測子候補を含む動きベクトル予測子候補のリストを生成し、
前記リスト内の動きベクトル予測子候補のうちの１つを選択し、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、現在のブロックおよび／または現在のブロックに隣接する少なくとも１つのブロックのアフィンフラグに依存する
ことを特徴とする方法が提供される。
本発明の第３０の態様によれば、動きベクトル予測子インデックスを復号する方法であって、
アフィン動きベクトル予測子候補を含む動きベクトル予測子候補のリストを生成し、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、現在のブロックおよび／または現在のブロックに隣接する少なくとも１つのブロックのアフィンフラグに依存し、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する
ことを特徴とする方法が提供される。
本発明の第３１の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、
アフィン動きベクトル予測子候補を含む動きベクトル予測子候補のリストを生成する手段と、
前記リスト内の動きベクトル予測子候補のうちの１つを選択する手段と、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、現在のブロックおよび／または現在のブロックに隣接する少なくとも１つのブロックのアフィンフラグに依存する手段と
を備えることを特徴とする装置が提供される。
本発明の第３２の態様によれば、動きベクトル予測子インデックスを復号する装置であって、
アフィン動きベクトル予測子候補を含む動きベクトル予測子候補のリストを生成する手段と、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数は、現在のブロックおよび／または現在のブロックに隣接する少なくとも１つのブロックのアフィンフラグに依存する手段と、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する手段と
を備えることを特徴とする装置が提供される。
本発明の第３３の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、
動きベクトル予測子候補のリストを生成し、
前記リスト内の動きベクトル予測子候補のうちの１つを選択し、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、現在のブロックのスキップフラグおよびアフィンフラグのうちの少なくとも１つのコンテキスト変数から導出される
ことを特徴とする方法が提供される。
本発明の第３４の態様によれば、動きベクトル予測子インデックスを復号する方法であって、
動きベクトル予測子候補のリストを生成し、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、現在のブロックのスキップフラグおよびアフィンフラグのうちの少なくとも１つのコンテキスト変数から導出され、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する
ことを特徴とする方法が提供される。
本発明の第３５の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
前記リスト内の動きベクトル予測子候補のうちの１つを選択する手段と、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数が、現在のブロックのスキップフラグおよびアフィンフラグのうちの少なくとも１つのコンテキスト変数から導出される手段と
を備えることを特徴とする装置が提供される。
本発明の第３６の態様によれば、動きベクトル予測子インデックスを復号する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数が、現在のブロックのスキップフラグおよびアフィンフラグのうちの少なくとも１つのコンテキスト変数から導出される手段と、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する手段と
を備えることを特徴とする装置が提供される。
本発明の第３７の態様によれば、動きベクトル予測子インデックスを符号化する方法であって、
動きベクトル予測子候補のリストを生成し、
前記リスト内の動きベクトル予測子候補のうちの１つを選択し、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、２つの異なる可能な値のみを有する
ことを特徴とする方法が提供される。
本発明の第３８の態様によれば、動きベクトル予測子インデックスを復号する方法であって、
動きベクトル予測子候補のリストを生成し、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号し、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数は２つの異なる可能な値のみを有し、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する
ことを特徴とする方法が提供される。
本発明の第３９の態様によれば、動きベクトル予測子インデックスを符号化する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
前記リスト内の動きベクトル予測子候補のうちの１つを選択する手段と、
ＣＡＢＡＣ符号化を使用して、選択された動きベクトル予測子候補の動きベクトル予測子インデックスを生成する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットのコンテキスト変数は、２つの異なる可能な値のみを有する手段と
を備えることを特徴とする装置が提供される。
本発明の第４０の態様によれば、動きベクトル予測子インデックスを復号する装置であって、
動きベクトル予測子候補のリストを生成する手段と、
ＣＡＢＡＣ復号を使用して、動きベクトル予測子インデックスを復号する手段であって、ここで、現在のブロックの動きベクトル予測子インデックスの少なくとも１つのビットに対するコンテキスト変数が、２つの異なる可能な値のみを有する手段と、
復号された動きベクトル予測子インデックスを使用して、前記リスト内の動きベクトル予測子候補のうちの１つを識別する手段と
を備えることを特徴とする装置が提供される。
本発明のさらに別の態様は、コンピュータまたはプロセッサによって実行されると、コンピュータまたはプロセッサに前述の態様の方法のいずれかを実行させるプログラムに関する。プログラムは、それ自体で提供されてもよく、またはキャリア媒体上で、キャリア媒体によって、またはキャリア媒体内で搬送されてもよい。キャリア媒体は非一時的であってもよく、例えば、記憶媒体、特にコンピュータ可読記憶媒体であってもよい。搬送媒体はまた、一時的なもの、例えば、信号または他の伝送媒体であってもよい。信号は、インターネットを含む任意の適切なネットワークを介して送信されてもよい。
本発明のさらに別の態様は、前述の装置態様のいずれかによる装置を備えるカメラに関する。一実施形態では、カメラがズーム手段をさらに備える。
本発明の第４１の態様によれば、動き情報予測子インデックスを符号化する方法であって、動き情報予測子候補のリストを生成し、アフィンマージモードが使用される場合、前記リスト中の動き情報予測子候補のうちの１つをアフィンマージモード予測子として選択し、非アフィンマージモードが使用される場合、前記リスト中の動き情報予測子候補のうちの１つを非アフィンマージモード予測子として選択し、ＣＡＢＡＣ符号化を使用して、選択された動き情報予測子候補の動き情報予測子インデックスを生成し、動き情報予測子インデックスの１つまたは複数のビットがバイパスＣＡＢＡＣ符号化されることを特徴とする方法が提供される。
適切には、ＣＡＢＡＣ符号化が、アフィンマージモードが使用される場合および非アフィンマージモードが使用される場合、現在のブロックの動き情報予測子インデックスの少なくとも１つのビットに対して同じコンテキスト変数を使用することを備える。あるいはＣＡＢＡＣ符号化が、現在のブロックの動き情報予測子インデックスの少なくとも１つのビットについて、アフィンマージモードが使用される場合は第１コンテキスト変数を使用すること、または非アフィンマージモードが使用される場合は第２コンテキスト変数を使用することを備え、方法はアフィンマージモードが使用される場合、ビットストリーム中でアフィンマージモードの使用を示すデータを含むことをさらに備える。
好適には、方法が、ビットストリーム内の動き情報予測子候補の生成されたリストに含まれうる動き情報予測子候補の最大数を決定するためのデータをさらに含む。好適には、動き情報予測子インデックスの最初のビットを除く全てのビットがバイパスＣＡＢＡＣ符号化される。適切には、最初のビットはＣＡＢＡＣ符号化される。適切には、選択された動き情報予測子候補の動き情報予測子インデックスが、アフィンマージモードが使用される場合および非アフィンマージモードが使用される場合、同じシンタックス要素を使用して符号化される。
本発明の第４２の態様によれば、動き情報予測子インデックスを復号する方法であって、動き情報予測子候補のリストを生成し、ＣＡＢＡＣ復号を使用して、動き情報予測子インデックスを復号し、動き情報予測子インデックスの１つまたは複数のビットはバイパスＣＡＢＡＣ復号され、アフィンマージモードが使用される場合、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として識別し、非アフィンマージモードが使用される場合、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つを非アフィンマージモード予測子として識別することを特徴とする方法が提供される。
適切には、ＣＡＢＡＣ復号が、アフィンマージモードが使用される場合および非アフィンマージモードが使用される場合、現在のブロックの動き情報予測子インデックスの少なくとも１つのビットに対して同じコンテキスト変数を使用することを含む。あるいは、方法が、ビットストリームから、アフィンマージモードの使用を示すデータを取得することをさらに含み、ＣＡＢＡＣ復号は、現在のブロックの動き情報予測子インデックスの少なくとも１つのビットについて、取得されたデータがアフィンマージモードの使用を示す場合、第１コンテキスト変数を使用し、取得されたデータが非アフィンマージモードの使用を示す場合、第２コンテキスト変数を使用する、ことを含む。
適切には、方法が、ビットストリームから、アフィンマージモードの使用を示すデータを取得することをさらに含み、動き情報予測子候補の生成されたリストは、取得されたデータがアフィンマージモードの使用を示す場合、アフィンマージモード予測子候補、取得されたデータが非アフィンマージモードの使用を示す場合、非アフィンマージモード予測子候補を含む。
適切には、方法が、ビットストリームから、動き情報予測子候補の生成されたリストに含まれうる動き情報予測子候補の最大数を決定するためのデータを取得することをさらに含む。好適には、動き情報予測子インデックスの最初のビットを除く全てのビットが、バイパスＣＡＢＡＣ復号される。適切には、最初のビットはＣＡＢＡＣ復号される。適当には、動き情報予測子インデックスを復号することは、アフィンマージモードが使用される場合および非アフィンマージモードが使用される場合、ビットストリームから同じシンタックス要素を構文解析することを含む。好適には、動き情報予測子候補が動きベクトルを取得するための情報を含む。適切には、動き情報予測子候補の生成されたリストが、ＡＴＭＶＰ候補を含む。適切には、動き情報予測子候補の生成されたリストが、アフィンマージモードが使用される場合および非アフィンマージモードが使用される場合、その中に含まれることができる同じ最大数の動き情報予測子候補を有する。
本発明の第４３の態様によれば、動き情報予測子インデックスを符号化する装置であって、動き情報予測子候補のリストを生成する手段と、アフィンマージモードが使用される場合、リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として選択する手段と、非アフィンマージモードが使用される場合、リスト内の動き情報予測子候補のうちの１つを非アフィンマージモード予測子として選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された動き情報予測子候補の動き情報予測子インデックスを生成する手段であって、動き情報予測子インデックスの１つまたは複数のビットがバイパスＣＡＢＡＣ符号化される手段と、を備えることを特徴とする装置が提供される。好適には、装置が、第４１の態様による動き情報予測子インデックスを符号化する方法を実行する手段を備える。
本発明の第４４の態様によれば、動き情報予測子インデックスを復号する装置であって、動き情報予測子候補のリストを生成する手段と、ＣＡＢＡＣ復号を使用して、動き情報予測子インデックスを復号する手段であって、動き情報予測子インデックスの１つまたは複数のビットがバイパスＣＡＢＡＣ復号される手段と、アフィンマージモードが使用される場合、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として識別する手段と、非アフィンマージモードが使用される場合、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つを非アフィンマージモード予測子として識別する手段とを備えることを特徴とする装置が提供される。好適には、装置が第４２の態様による動き情報予測子インデックスを復号する方法を実行する手段を備える。
本発明の第４５の態様によれば、アフィンマージモードの動き情報予測子インデックスを符号化する方法であって、動き情報予測子候補のリストを生成し、リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として選択し、ＣＡＢＡＣ符号化を使用して、選択された動き情報予測子候補の動き情報予測子インデックスを生成し、動き情報予測子インデックスの１つまたは複数のビットがバイパスＣＡＢＡＣ符号化されることを特徴とする方法が提供される。
適切には、非アフィンマージモードが使用される場合、方法は、リスト内の動き情報予測子候補のうちの１つを非アフィンマージモード予測子として選択することをさらに含む。適切には、ＣＡＢＡＣ符号化が、現在のブロックの動き情報予測子インデックスの少なくとも１つのビットについて、アフィンマージモードが使用される場合は第１コンテキスト変数を使用し、または非アフィンマージモードが使用される場合は第２コンテキスト変数を使用することを備え、方法は、アフィンマージモードが使用される場合、ビットストリームにアフィンマージモードの使用を示すデータを含むことをさらに備える。あるいは、ＣＡＢＡＣ符号化が、アフィンマージモードが使用される場合および非アフィンマージモードが使用される場合、現在のブロックの動き情報予測子インデックスの少なくとも１つのビットに対して同じコンテキスト変数を使用することを含む。
好適には、方法が、ビットストリーム内の動き情報予測子候補の生成されたリストに含まれうる動き情報予測子候補の最大数を決定するためのデータをさらに含む。
好適には、動き情報予測子インデックスの最初のビットを除く全てのビットが、バイパスＣＡＢＡＣ符号化される。適切には、最初のビットはＣＡＢＡＣ符号化される。適切には、選択された動き情報予測子候補の動き情報予測子インデックスが、アフィンマージモードが使用される場合および非アフィンマージモードが使用される場合、同じシンタックス要素を使用して符号化される。
本発明の第４６の態様によれば、アフィンマージモードの動き情報予測子インデックスを復号する方法であって、動き情報予測子候補のリストを生成し、ＣＡＢＡＣ復号を使用して、動き情報予測子インデックスを復号し、動き情報予測子インデックスの１つまたは複数のビットがバイパスＣＡＢＡＣ復号され、アフィンマージモードが使用される場合、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として識別することを特徴とする方法が提供される。
適切には、非アフィンマージモードが使用される場合、方法は、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つを非アフィンマージモード予測子として識別することをさらに含む。適切には、方法が、ビットストリームから、アフィンマージモードの使用を示すデータを取得することをさらに含み、ＣＡＢＡＣ復号は、現在のブロックの動き情報予測子インデックスの少なくとも１つのビットについて、取得されたデータがアフィンマージモードの使用を示す場合、第１コンテキスト変数を使用し、取得されたデータが非アフィンマージモードの使用を示す場合、第２コンテキスト変数を使用する、ことを含む。あるいは、ＣＡＢＡＣ復号が、アフィンマージモードが使用される場合および非アフィンマージモードが使用される場合、現在のブロックの動き情報予測子インデックスの少なくとも１つのビットに対して同じコンテキスト変数を使用することを含む。
適切には、方法が、ビットストリームから、アフィンマージモードの使用を示すデータを取得することをさらに含み、動き情報予測子候補の生成されたリストは、取得されたデータがアフィンマージモードの使用を示す場合、アフィンマージモード予測子候補、および取得されたデータが非アフィンマージモードの使用を示す場合、非アフィンマージモード予測子候補を含む。
適当には、動き情報予測子インデックスを復号することは、アフィンマージモードが使用される場合および非アフィンマージモードが使用される場合、ビットストリームから、同じシンタックス要素を構文解析することを含む。適切には、方法がビットストリームから、動き情報予測子候補の生成されたリストに含まれうる動き情報予測子候補の最大数を決定するためのデータを取得することをさらに含む。好適には、動き情報予測子インデックスの最初のビットを除く全てのビットがバイパスＣＡＢＡＣ復号される。適切には、最初のビットはＣＡＢＡＣ復号される。好適には、動き情報予測子候補が動きベクトルを取得するための情報を含む。適切には、動き情報予測子候補の生成されたリストがＡＴＭＶＰ候補を含む。適切には、動き情報予測子候補の生成されたリストがアフィンマージモードが使用される場合および非アフィンマージモードが使用される場合、その中に含まれることができる同じ最大数の動き情報予測子候補を有する。
本発明の第４７の態様によれば、アフィンマージモードの動き情報予測子インデックスを符号化する装置であって、動き情報予測子候補のリストを生成する手段と、リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として選択する手段と、ＣＡＢＡＣ符号化を使用して、選択された動き情報予測子候補の動き情報予測子インデックスを生成する手段であって、動き情報予測子インデックスの１つまたは複数のビットがバイパスＣＡＢＡＣ符号化される手段とを備えることを特徴とする装置が提供される。好適には、装置が第４５の態様による動き情報予測子インデックスを符号化する方法を実行する手段を備える。
本発明の第４８の態様によれば、アフィンマージモードの動き情報予測子インデックスを復号する装置であって、動き情報予測子候補のリストを生成する手段と、ＣＡＢＡＣ復号を使用して、動き情報予測子インデックスを復号する手段であって、動き情報予測子インデックスの１つまたは複数のビットがバイパスＣＡＢＡＣ復号される手段と、アフィンマージモードが使用される場合、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として識別する手段と、を備えることを特徴とする装置が提供される。好適には、装置が第４６の態様による動き情報予測子インデックスを復号する方法を実行する手段を備える。
一実施形態では、カメラが前記ズーム手段が動作可能であるときを示し、前記ズーム手段が動作可能であるという前記指摘に応じてアフィンモードを送る。
別の実施形態では、カメラがパンニング手段をさらに備える。
別の実施形態では、カメラが前記パンニング手段が動作可能であることを示し、前記パンニング手段が動作可能であるという前記指摘に応じてアフィンモードを送る。
本発明のさらに別の態様によれば、上記のカメラ態様のいずれかを具現化するカメラを備えるモバイルデバイスが提供される。
一実施形態では、モバイルデバイスがモバイルデバイスの姿勢の変化を感知する少なくとも１つの位置センサをさらに備える。
一実施形態では、モバイルデバイスがモバイルデバイスの姿勢の変化の前記検知に依存してアフィンモードを送る。
本発明のさらなる特徴は、他の独立請求項および従属請求項によって特徴付けられる。
本発明の一態様における任意の特徴は、任意の適切な組み合わせで、本発明の他の態様に適用されてもよい。特に、方法の態様は、装置の態様に適用されてもよく、逆もまた同様である。
さらに、ハードウェアで実施される特徴は、ソフトウェアで実施されてもよく、その逆も可能である。ここに記載されたソフトウェアおよびハードウェアの特徴への言及は、それに応じて解釈されるべきである。
本明細書に記載されるような任意の装置特徴は、方法特徴として提供されてもよく、逆もまた同様である。本明細書で使用されるように、means plus function特徴は、適切にプログラムされたプロセッサおよび関連するメモリのような、それらの対応する構造に関して代替的に表現されてもよい。
また、本発明の任意の態様において説明され、定義された様々な特徴の特定の組合せは、独立して実装および／または供給および／または使用されることができることを理解されたい。
ここで、例として、添付の図面を参照する。
図１は、ＨＥＶＣで使用される符号化構造の説明に用いる図である。 図２は、本発明の１つまたは複数の実施形態を実施することができるデータ通信システムを概略的に示すブロック図である。 図３は、本発明の１つまたは複数の実施形態を実施することができる処理装置の構成要素を示すブロック図である。 図４は、本発明の実施形態による符号化方法のステップを示すフローチャートである。 図５は、本発明の実施形態による復号方法のステップを示すフローチャートである。 図６（ａ）は、動きベクトル予測子を生成するために使用することができる空間的ブロックおよび時間的ブロックを示す。 図６（ｂ）は、動きベクトル予測子を生成するために使用することができる空間的ブロックおよび時間的ブロックを示す。 図７は、ＡＭＶＰ予測子セット導出の処理の簡略化されたステップを示す。 図８は、マージモードの動きベクトル導出処理の概略図である。 図９は、現在のブロックのセグメンテーションおよび時間的動きベクトル予測を示す。 図１０（ａ）は、ＨＥＶＣに対する、またはＡＴＭＶＰがＳＰＳレベルでイネーブルされていない場合のマージインデックスの符号化を示す。図１０（ｂ）は、ＡＴＭＶＰがＳＰＳレベルでイネーブルされる場合のマージインデックスの符号化を示す。 図１１（ａ）は、単純なアフィン動きフィールドを示す。図１１（ｂ）は、より複雑なアフィン動きフィールドを示す。 図１２は、符号化モードに関連するいくつかのシンタックス要素の部分復号処理のフローチャートである。 図１３は、マージ候補導出を示すフローチャートである。 図１４は、本発明の第１の実施形態を示すフローチャートである。 図１５は、本発明の第１２の実施形態における符号化モードに関連するいくつかのシンタックス要素の部分復号処理のフローチャートである。 図１６は、本発明の第１２の実施形態におけるマージ候補のリストの生成を示すフローチャートである。 図１７は、本発明の実施形態で使用するのに適したＣＡＢＡＣエンコーダを説明する際に使用するためのブロック図である。 図１８は、本発明の１つまたは複数の実施形態の実施のための通信システムの概略ブロック図である。 図１９は、コンピューティング装置の概略ブロック図である。 図２０は、ネットワークカメラシステムを示す図である。 図２１は、スマートフォンを示す図である。 図２２は、第１６の実施形態による、符号化モードに関連するいくつかのシンタックス要素の部分復号処理のフローチャートである。 図２３は、マージモードおよびアフィンマージモードの両方のための単一インデックスシグナリング方式の使用を示すフローチャートである。 図２４は、アフィンマージモードのアフィンマージ候補導出処理を示すフローチャートである。
以下で説明する本発明の実施形態は、ＣＡＢＡＣを使用してインデックスの符号化および復号を改善することに関する。本発明の代替実施形態によれば、ＣＡＢＡＣと機能的に同様の他のコンテキストベースの算術符号化方式を改善するための実装も可能であることを理解されたい。実施形態を説明する前に、ビデオ符号化および復号技術、ならびに関連するエンコーダおよびデコーダについて説明する。
図１は、高効率ビデオ符号化（ＨＥＶＣ）ビデオ規格で使用される符号化構造に関する。ビデオシーケンス１は、一連のデジタル画像ｉから構成される。このような各デジタル画像は、１つ以上のマトリックスによって表される。行列係数はピクセルを表す。
このシーケンスの画像２は、スライス３に分割される。スライスは、場合によっては画像全体を構成する。これらのスライスは、オーバーラップしない符号化ツリーユニット（ＣＴＵ）に分割される。符号化ツリーユニット（ＣＴＵ）は、高効率ビデオ符号化（ＨＥＶＣ）ビデオ規格の基本的な処理ユニットであり、概念的には、構造が、いくつかの以前のビデオ規格で使用されたマクロブロックユニットに対応する。ＣＴＵは、時には最大符号化ユニット（ＬＣＵ）とも呼ばれる。ＣＴＵは輝度及び彩度構成要素部分を有し、その構成要素部分の各々は、符号化ツリーブロック（ＣＴＢ）と呼ばれる。これらの異なる色成分は、図１には示されていない。
ＣＴＵは一般的に、ＨＥＶＣ用のサイズ６４ピクセルｘ６４ピクセルであるが、ＶＶＣ用にはこのサイズが１２８ピクセルｘ１２８ピクセルであり得る。各ＣＴＵは順番に、四分木分解を使用して、より小さい可変サイズ符号化ユニット（ＣＵ）５に反復的に分割されてもよい。
符号化ユニットは基本符号化要素であり、予測ユニット（PU）と変換ユニット（TU）と呼ばれる２種類のサブユニットから構成される。ＰＵまたはＴＵの最大サイズは、ＣＵサイズに等しい。予測ユニットは、ピクセル値の予測のためのＣＵの区分に対応する。６に示すように、４つの正方形ＰＵへのパーティションと２つの長方形ＰＵへの２つの異なるパーティションとを含む、ＰＵへのＣＵの様々な異なるパーティションが可能である。変換ユニットは、ＤＣＴを使用して空間変換を行う基本ユニットである。ＣＵは、四分木表現７に基づいてＴＵにパーティション化できる。
各スライスは、１つのネットワーク抽象化層（ＮＡＬ）ユニットに埋め込まれる。さらに、ビデオシーケンスの符号化パラメータは、パラメータセットと呼ばれる専用ＮＡＬユニットに記憶される。ＨＥＶＣおよびＨ．２６４／ＡＶＣでは、２種類のパラメータセットＮＡＬユニットが使用される：第１に、ビデオシーケンス全体の間に変更されないすべてのパラメータを収集するシーケンスパラメータセット（ＳＰＳ）ＮＡＬユニット。典型的には、それは符号化プロファイル、ビデオフレームのサイズ、及び他のパラメータを処理する。第２に、ピクチャパラメータセット（ＰＰＳ）ＮＡＬユニットは、シーケンスの１つの画像（またはフレーム）から別の画像（またはフレーム）に変更することができるパラメータを含む。ＨＥＶＣには、ビットストリームの全体的な構造を記述するパラメータを含むビデオパラメータセット（ＶＰＳ）ＮＡＬユニットも含まれている。ＶＰＳは、ＨＥＶＣで定義された新しいタイプのパラメータセットで、ビットストリームのすべてのレイヤに適用される。レイヤには、複数の時間的サブレイヤを含めることができ、すべてのバージョン１のビットストリームは、１つのレイヤに制限される。ＨＥＶＣには、拡張性とマルチビューのための特定の層拡張があり、これらは後方互換性のあるバージョン１基本層を備えた複数の層を可能にする。
図２および図１８は、本発明の１つまたは複数の実施形態を実施することができる（データ）通信システムを示す。データ通信システムは、データ通信ネットワーク２００を介して、データストリーム（例えば、ビットストリーム１０１）のデータパケットを受信装置１９５、例えば、クライアント端末２０２に送信するように動作可能な、送信装置１９１、例えば、サーバ２０１を含む。データ通信ネットワーク２００は、ワイドエリアネットワーク（ＷＡＮ）またはローカルエリアネットワーク（ＬＡＮ）であってもよい。このようなネットワークは例えば、無線ネットワーク（Ｗｉｆｉ／８０２．１１ａまたはｂまたはｇ）、イーサネットネットワーク、インターネットネットワーク、またはいくつかの異なるネットワークから構成される混合ネットワークであってもよい。本発明の特定の実施形態では、データ通信システムは、サーバ２０１が同じデータコンテンツを複数のクライアントに送信するデジタルテレビ放送システムであってもよい。
サーバ２０１によって提供されるデータストリーム２０４（またはビットストリーム１０１）は、ビデオを表すマルチメディアデータ（例えば、画像１５１のシーケンス）およびオーディオデータから構成されてもよい。オーディオおよびビデオデータストリームは、本発明のいくつかの実施形態では、それぞれマイクロフォンおよびカメラを使用してサーバ２０１によってキャプチャされ得る。いくつかの実施形態において、データストリームは、サーバ２０１上に記憶されてもよく、あるいは別のデータプロバイダからサーバ２０１によって受信されてもよく、あるいはサーバ２０１で生成されてもよい。サーバ２０１は特に、エンコーダへの入力として提示されるデータのよりコンパクトな表現である送信のための圧縮ビットストリーム１０１を提供するために、ビデオストリームおよびオーディオストリームを符号化するためのエンコーダ１５０を備える。
送信データの品質対送信データの量のより良好な比率を得るために、ビデオデータの圧縮は例えば、ＨＥＶＣフォーマット、またはＨ．２６４／ＡＶＣフォーマット、またはＶＶＣフォーマットに従ってもよい。
クライアント２０２は、送信されたビットストリーム１０１を受信し、そのデコーダ１００は再構成されたビットストリームを復号して、表示装置上でビデオ画像（例えば、ビデオ信号１０９）を再生し、スピーカによってオーディオデータを再生する。
図２および図１８の例では、ストリーミングシナリオが考慮されているが、本発明のいくつかの実施形態では、エンコーダとデコーダとの間のデータ通信が例えば、光ディスクなどの媒体記憶デバイスを使用して実行され得ることが理解されよう。
本発明の１つまたは複数の実施形態では、ビデオ画像は、画像の再構成されたピクセルに適用して最終画像内のフィルタリングされたピクセルを提供するために、補償オフセットを表すデータと共に送信される。
図３は、本発明の少なくとも１つの実施形態を実施するように構成された処理装置３００を概略的に示す。処理装置３００は、マイクロコンピュータ、ワークステーション、またはライトポータブル装置などの装置とすることができる。装置３００は、
－ＣＰＵで示されるマイクロプロセッサなどの中央処理部３１１
－本発明を実施するためのコンピュータプログラムを記憶するためのＲＯＭと表記される読み出し専用メモリ３０７
－本発明の実施形態の方法の実行可能コード、ならびに本発明の実施形態に係るデジタル画像のシーケンスを符号化する方法および／またはビットストリームを復号する方法を実現するために必要な変数およびパラメータを記録するように構成されたレジスタを記憶するＲＡＭで示されたランダムアクセスメモリ３１２
－処理されるデジタルデータが送受信される通信ネットワーク３０３に接続された通信インターフェース３０２
と接続された通信バス３１３を備える。
オプションで、装置３００は、以下の構成要素を含むこともできる。
－本発明の１つまたは複数の実施形態の方法を実施するためのコンピュータプログラム、および本発明の１つまたは複数の実施形態の実施中に使用または生成されるデータを記憶するための、ハードディスクなどのデータ記憶手段３０４
－ディスク３０６用のディスクドライブ３０５であって、ディスクドライブはディスク３０６からデータを読み取るか、またはディスクにデータを書き込むように構成されている
－キーボード３１０または他の任意のポインティング手段を用いて、データを表示し、および／またはユーザとのグラフィカルインターフェースとして機能する画面３０９
装置３００は例えば、デジタルカメラ３２０またはマイクロフォン３０８のような種々の周辺機器に接続されることが可能であり、各周辺機器はマルチメディアデータを装置３００に供給するために、入力／出力カード（図示せず）に接続される。
通信バス３１３は、装置３００に含まれる、またはそれに接続される種々の要素間の通信および相互運用性を提供する。バスの表現は限定されず、特に、中央処理ユニットは直接的に、または装置３００の別の要素を用いて、装置３００の任意の要素に命令を通信するように動作可能である。
ディスク３０６は、例えばコンパクトディスク（ＣＤ－ＲＯＭ）、書き換え可能またはそわない、ＺＩＰディスクまたはメモリカードなどの任意の情報媒体に置き換えることができ、一般的に言えば、マイクロコンピュータまたはマイクロプロセッサによって読み取ることができる情報記憶手段によって置き換えることができ、装置に統合または非統合され、可能であれば、リムーバブルであり、実行がデジタル画像のシーケンスを符号化する方法および／または本発明によるビットストリームを復号する方法を実行可能にする１つ以上のプログラムを記憶するように構成することができる。
実行可能コードは、読み出し専用メモリ３０７、ハードディスク３０４、または先に説明したような例えばディスク３０６のようなリムーバブルデジタル媒体のいずれかに格納することができる。変形例によれば、プログラムの実行可能コードは、ハードディスク３０４のような実行される前に装置３００の記憶手段の１つに記憶されるために、インターフェース３０２を介して、通信ネットワーク３０３によって受信することができる。
中央処理ユニット３１１は、前述の記憶手段のうちの１つに記憶されている命令で、本発明によるプログラムまたはプログラムのソフトウェアコードの命令または部分の実行を制御し、指示するように構成されている。電源投入時に、例えばハードディスク３０４上または読み出し専用メモリ３０７中の不揮発性メモリに記憶されたプログラムまたはプログラムはランダムアクセスメモリ３１２に転送され、ランダムアクセスメモリ２１３はプログラムまたはプログラムの実行可能コード、ならびに本発明を実施するために必要な変数およびパラメータを記憶するためのレジスタを含む。
この実施形態では、装置は、本発明を実施するためにソフトウェアを使用するプログラマブル装置である。しかしながら、代替的に、本発明はハードウェア（例えば、特定用途向け集積回路またはＡＳＩＣの形態）で実施されてもよい。
図４は、本発明の少なくとも１つの実施形態によるエンコーダのブロック図を示す。エンコーダは、接続されたモジュールによって表され、各モジュールは例えば、デバイス３００のＣＰＵ３１１によって実行されるべきプログラム命令の形態で、本発明の１つまたは複数の実施形態による画像のシーケンスの画像を符号化する少なくとも１つの実施形態を実施する方法の少なくとも１つの対応するステップを実施するように適合される。
ディジタル画像ｉ０～ｉｎ４０１のオリジナルシーケンスは、エンコーダ４００によって入力として受信される。各デジタル画像は、時には画素（以下、画素と呼ぶ）とも呼ばれる１組のサンプルによって表される。
ビットストリーム４１０は、符号化処理の実施後にエンコーダ４００によって出力される。ビットストリーム４１０は、複数の符号化ユニットまたはスライスを備え、各スライスはスライスを符号化するために使用される符号化パラメータの符号化値を送信するためのスライスヘッダと、符号化されたビデオデータを備えるスライス本体とを備える。
入力デジタル画像ｉ０～ｉｎ４０１は、モジュール４０２によってピクセルのブロックに分割される。ブロックは、画像部分に対応し、可変サイズであってもよい（例えば、４×４、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８ピクセル、およびいくつかの矩形ブロックサイズも考慮することができる）。符号化モードは、各入力ブロックに対して選択される。空間的予測符号化（イントラ予測）に基づく符号化モードと、時間的予測に基づく符号化モード（インター符号化、マージ、ＳＫＩＰ）の２つのファミリの符号化モードが提供される。可能な符号化モードがテストされる。
モジュール４０３は、符号化されるべき所与のブロックが符号化されるべき前記ブロックの近隣の画素から計算された予測子によって予測されるイントラ予測処理を実施する。選択されたイントラ予測子の指示、および所与のブロックとその予測子との間の差は、イントラ符号化が選択された場合に残差を提供するために符号化される。
時間的予測は、動き推定モジュール４０４および動き補償モジュール４０５によって実施される。最初に、参照画像４１６のセットの中から参照画像が選択され、符号化されるべき所与のブロックに最も近い領域（画素値類似性に関して最も近い）である参照領域または画像部分とも呼ばれる参照画像の部分が、動き推定モジュール４０４によって選択される。次いで、動き補償モジュール４０５は、選択された領域を使用して、符号化されるべきブロックを予測する。選択された参照領域と、残差ブロックとも呼ばれる所与のブロックとの間の差は、動き補償モジュール４０５によって計算される。選択された参照領域は、動きベクトルを用いて示される。
したがって、両方の場合（空間的予測および時間的予測）において、残差は、元のブロックから予測子を減算することによって計算される。
モジュール４０３によって実施されるＩＮＴＲＡ予測では、予測方向が符号化される。モジュール４０４、４０５、４１６、４１８、４１７によって実施されるインター予測では、そのような動きベクトルを識別するための少なくとも１つの動きベクトルまたはデータが時間的予測のために符号化される。
インター予測が選択された場合、動きベクトルおよび残差ブロックに関連する情報が符号化される。ビットレートをさらに低減するために、動きが均一であると仮定すると、動きベクトルは、動きベクトル予測子に対する差によって符号化される。１組の動き情報予測子候補からの動きベクトル予測子は、動きベクトル予測符号化モジュール４１７によって動きベクトルフィールド４１８から得られる。
エンコーダ４００はさらに、レート歪み基準などの符号化コスト基準を適用することによって、符号化モードを選択するための選択モジュール４０６を備える。冗長性をさらに低減するために、変換モジュール４０７によって変換（ＤＣＴなど）を残差ブロックに適用し、得られた変換データを量子化モジュール４０８によって量子化し、エントロピー符号化モジュール４０９によってエントロピー符号化する。最後に、符号化されている現在のブロックの符号化された残差ブロックがビットストリーム４１０に挿入される。
また、エンコーダ４００は、後続の画像の動き推定のための参照画像（例えば、参照画像／ピクチャ４１６内のそれら）を生成するために、符号化された画像の復号を実行する。これは、ビットストリームを受信するエンコーダ及びデコーダが同じ参照フレームを有する（再構成された画像又は画像部分が使用される）ことを可能にする。逆量子化（「デクオンタイゼイション」）モジュール４１１は、量子化データの逆量子化（「デクオンタイゼイション」）を行い、続いて逆変換モジュール４１２による逆変換を行う。イントラ予測モジュール４１３は、予測情報を使用して、所与のブロックにどの予測子を使用するを決定し、動き補償モジュール４１４は、モジュール４１２によって得られた残差を、参照画像４１６のセットから得られた参照領域に実際に加算する。
その後、モジュール４１５によってポストフィルタリングが適用され、画素の再構成されたフレーム（画像または画像部分）がフィルタリングされる。本発明の実施形態では、補償オフセットが再構成画像の再構成画素の画素値に付加されるＳＡＯループフィルタが使用される。ポストフィルタリングは、必ずしも実行される必要はないことが理解される。また、ＳＡＯループフィルタリングに加えて、またはＳＡＯループフィルタリングの代わりに、任意の他のタイプのポストフィルタリングを実行することもできる。
図５は、本発明の一実施形態による、エンコーダからデータを受信するために使用され得るデコーダ６０のブロック図を示す。デコーダは、接続されたモジュールによって表され、各モジュールは例えば、デバイス３００のＣＰＵ３１１によって実行されるプログラム命令の形成で、デコーダ６０によって実現される方法の対応するステップを実現するように構成される。
デコーダ６０は、符号化ユニット（例えば、ブロックまたは符号化ユニットに対応するデータ）を含むビットストリーム６１を受信し、各符号化ユニットは、符号化パラメータに関する情報を含むヘッダと、符号化されたビデオデータを含む本体とから構成される。図４に関して説明したように、符号化されたビデオデータは、エントロピー符号化され、動きベクトル予測子のインデックスは、所与のブロックに対して、所定のビット数で符号化される。受信された符号化ビデオデータは、モジュール６２によってエントロピー復号される。次いで、残差データはモジュール６３によって逆量子化され、次いで、画素値を得るためにモジュール６４によって逆変換が適用される。
符号化モードを示すモードデータもエントロピー復号され、このモードに基づいて、画像データの符号化ブロック（ユニット／セット／グループ）に対してＩＮＴＲＡタイプ復号またはＩＮＴＥＲタイプ復号が行われる。
ＩＮＴＲＡモードの場合、ＩＮＴＲＡ予測子は、ビットストリームで指定されたイントラ予測モードに基づいてイントラ予測モジュール６５によって決定される。
モードがＩＮＴＥＲである場合、エンコーダによって使用される参照領域を見つける（識別する）ために、動き予測情報がビットストリームから抽出される。動き予測情報は、参照フレームインデックスと動きベクトル残差とを含む。動きベクトル予測子は動きベクトルを得るために、動きベクトル復号モジュール７０によって動きベクトル残差に加算される。
動きベクトル復号モジュール７０は、動き予測によって符号化された現在のブロックごとに、動きベクトル復号を適用する。現在のブロックに対する動きベクトル予測子のインデックスが得られると、現在のブロックに関連する動きベクトルの実際の値が復号され、モジュール６６によって動き補償を適用するために使用され得る。復号された動きベクトルによって示される参照画像部分は、参照画像６８から抽出され、動き補償６６が適用される。動きベクトルフィールドデータ７１は、後続の復号された動きベクトルの予測に使用されるために、復号された動きベクトルで更新される。
最後に、復号されたブロックが得られる。適切な場合には、ポストフィルタリングモジュール６７によってポストフィルタリングが適用される。復号されたビデオ信号６９が最終的に得られ、デコーダ６０によって与えられる。
ＣＡＢＡＣ
ＨＥＶＣは、CABAC(Context based Adaptive Binary Arithmetic Coding)、ゴロムライス符号化(Golomb－rice Code)、または固定長符号化(Fixed Length Coding)と呼ばれる単純なバイナリ表現など、いくつかのタイプのエントロピー符号化を使用する。ほとんどの場合、異なるシンタックス要素を表現するためにバイナリ符号化処理が実行される。このバイナリ符号化処理も非常に具体的であり、異なるシンタックス要素に依存する。算術符号化は、それらの現在の確率に従ってシンタックス要素を表す。ＣＡＢＡＣは、コンテキスト変数によって定義される「コンテキスト」に応じてシンタックス要素の確率を分離する算術符号化の拡張である。これは条件付き確率に相当する。コンテキスト変数は、すでに復号されている、左上のブロック（以下で詳細に説明する図６ｂのＡ２）および左上のブロック（図６ｂのＢ３）の現在のシンタックスの値から導き出すことができる。
ＣＡＢＡＣは、Ｈ．２６４／ＡＶＣおよびＨ．２６５／ＨＥＶＣ規格の基準部分として採用されている。Ｈ．２６４／ＡＶＣでは、エントロピー符号化の２つの代替方法のうちの１つである。Ｈ．２６４／ＡＶＣに規定された他の方法は、可変長符号の文脈適応的に切り替えられるセット、いわゆる文脈適応型可変長符号化（ＣＡＶＬＣ）の使用に基づく低複雑性エントロピー符号化技術である。ＣＡＢＡＣと比較して、ＣＡＶＬＣは、より低い圧縮効率を犠牲にして、低減された実装コストを提供する。標準解像度または高精細度解像度のＴＶ信号の場合、ＣＡＢＡＣは通常、同じ客観的なビデオ品質でＣＡＶＬＣに対して１０～２０％のビットレートの節約を提供する。ＨＥＶＣにおいて、ＣＡＢＡＣは使用されるエントロピー符号化方法の一つである。多くのビットはまた、バイパスＣＡＢＡＣ符号化される。さらに、いくつかのシンタックス要素は単項コードまたはＧｏｌｏｍｂコードで符号化され、これは他のタイプのエントロピーコードである。
図１７は、ＣＡＢＡＣエンコーダのメインブロックを示す。
非バイナリ値である入力シンタックス要素は、バイナライザ１７０１によって２値化される。ＣＡＢＡＣの符号化戦略は、動きベクトル差または変換係数レベル値の成分のような、ハイブリッドブロックベースのビデオ符号化器におけるシンタックス要素値の非常に効率的な符号化が、コンテキストモデリングおよび２進算術符号化の後続ステージのための一種の前処理ユニットとして２値化方式を使用することによって達成され得るという発見に基づく。一般に、２値化方式は、シンタックス要素値の二値決定のシーケンス、いわゆるビンへのユニークなマッピングを定義し、これは２値コードツリーの観点から解釈することもできる。ＣＡＢＡＣにおける２値化方式の設計は、その構造が簡単なオンライン計算を可能にし、幾つかの適当なモデル－確率分布に適用される少数の基本的なプロトタイプに基づいている。
各ビンは、スイッチ１７０２の設定に従って、２つの基本的な方法のうちの１つで処理することができる。スイッチが「正規（regular）」設定にある場合、ビンはコンテキストモデラ１７０３および正規符号化エンジン１７０４に供給される。スイッチが「バイパス」設定にある場合、コンテキストモデラはバイパスされ、ビンはバイパス符号化エンジン１７０５に供給される。別のスイッチ１７０６はスイッチ１７０２と同様の「正規」および「バイパス」設定を有し、その結果、符号化エンジン１７０４および１７０５のうちの適用可能な１つによって符号化されたビンは、ＣＡＢＡＣエンコーダの出力としてビットストリームを形成することができる。
他のスイッチ１７０６は、ビットストリーム中のバイパス符号化データのブロックを提供するために符号化エンジン１７０５によって符号化されたビンのいくつか（例えば、ブロックまたは符号化ユニットを符号化するためのビン）をグループ化するために、およびビットストリーム中の「正規の」（または算術的に）符号化されたデータの別のブロックを提供するために符号化エンジン１７０４によって符号化されたビンのいくつか（例えば、ブロックまたは符号化ユニットを符号化するためのビン）をグループ化するために、ストレージとともに使用され得ることが理解される。バイパス符号化データと正規符号化データとのこの別個のグループ分けは、復号処理中のスループットの改善をもたらすことができる。
各シンタックス要素値をビンのシーケンスに分解することによって、ＣＡＢＡＣにおける各ビン値のさらなる処理は、関連する符号化モード決定に依存し、これは、正規モードまたはバイパスモードのいずれかとして選択することができる。後者は符号情報に関連するビン、または一様に分布していると仮定され、その結果、正規の２進算術符号化処理全体が単にバイパスされる、下位の有意なビンのために選択される。正規の符号化モードでは、各ビン値が正規の２進算術符号化エンジンを使用することによって符号化され、関連する確率モデルはコンテキストモデリングなしに固定選択によって決定されるか、または関連するコンテキストモデルに応じて適応的に選択される。重要な設計決定として、後者の場合は一般に、最も頻繁に観測されるビンのみに適用され、他の、通常は頻繁に観測されないビンは、ジョイント、典型的にはゼロ次確率モデルを使用して処理される。このようにして、ＣＡＢＡＣはサブシンボルレベルでの選択的なコンテキストモデリングを可能にし、したがって、全体的なモデリングまたは学習コストを大幅に低減してシンボル間冗長性を利用するための効率的な手段を提供する。コンテキストモデルの特定の選択に対して、４つの基本設計タイプをＣＡＢＡＣで採用し、その中の２つを変換係数レベルのみの符号化に適用した。これらの４つのプロトタイプの設計は、モデル化されるソースデータの典型的な特性に関する先験的な知識に基づいており、不必要なモデル化コストのオーバヘッドを回避し、統計的依存性を大幅に活用するという相反する目的の間の良好な妥協点を見つける目的を反映している。
ＣＡＢＡＣにおける最低レベルの処理では、各ビン値が正規またはバイパス符号化モードのいずれかで、バイナリ算術符号器に入る。後者の場合、かなり低減された複雑さを有する符号化エンジンのファーストブランチ（fast branch）が使用され、一方、前者の符号化モードの場合、所与のビン値の符号化は、ビン値と共にＭコーダに渡される関連する適応確率モデルの実際の状態に依存し、この用語は、ＣＡＢＡＣにおけるテーブルベースの適応２進算術符号化エンジンのために選択された用語である。
インター符号化
ＨＥＶＣは、インターモード（高度動きベクトル予測（ＡＭＶＰ））、「古典的」マージモード（すなわち、「非アフィンマージモード」または「正規」マージモードとしても知られる）、および「古典的」マージスキップモード（すなわち、「非アフィンマージスキップ」モードまたは「正規」マージスキップモードとしても知られる）の３つの異なるＩＮＴＥＲモードを使用する。これらのモード間の主な違いは、ビットストリームにおけるデータシグナリングである。動きベクトル符号化の場合、現在のＨＥＶＣ規格は、規格の以前のバージョンには存在しなかった動きベクトル予測のための競合ベースのスキームを含む。インターモードまたはマージモード（すなわち、「古典的／正規」マージモードまたは「古典的／正規」マージスキップモード）のそれぞれについて、最良の動きベクトル予測子または最良の動き情報を見つけるために、いくつかの候補が符号器側でレート歪み基準と競合することを意味する。次に、最良の予測子または動き情報の最良の候補に対応するインデックスがビットストリームに挿入される。デコーダは、予測子または候補の同じセットを導出することができ、復号されたインデックスに従って最良のものを使用する。ＨＥＶＣのスクリーンコンテンツ拡張では、イントラブロックコピー（ＩＢＣ）と呼ばれる新しいコーディングツールが、これら３つのインターモードのいずれかとしてシグナリングされ、ＩＢＣと同等のインターモードとの間の差は、参照フレームが現在のものであるかどうかをチェックすることによって行われる。これは、例えば、リストＬ０の参照インデックスをチェックし、これがリスト内の最後のフレームである場合、これがイントラブロックコピーであると推定することによって実施することができる。別の方法は、現在のフレームと参照フレームとのピクチャオーダーカウントを比較することで、等しい場合、これはイントラブロックコピーである。
予測子および候補の導出の設計は、複雑さに不均衡な影響を与えることなく、最良の符号化効率を達成する上で重要である。ＨＥＶＣでは、２つの動きベクトル導出が使用される：１つはインターモード(Advanced Motion Vector Prediction(AMVP))のためのものであり、１つはマージモード(Merge derivation process － for the classical Merge mode and the classical Merge Skip mode）のためのものである。以下、これらの処理について説明する。
図６ａおよび図６ｂは、ＨＥＶＣ符号化および復号システムの高度動きベクトル予測（ＡＭＶＰ）およびマージモードにおける動きベクトル予測子を生成するために使用することができる空間的ブロックおよび時間的ブロックを示し、図７は、ＡＭＶＰ予測子セット導出の処理の簡略化されたステップを示す。
２つの空間的予測子、すなわちＡＭＶＰモードのための２つの空間的動きベクトルが、上隅ブロック（ブロックＢ２）および左隅ブロック（ブロックＡ０）を含む上ブロック（文字「Ｂ」によって示される）および左ブロック（文字「Ａ」によって示される）の動きベクトルの中から選択され、１つの時間的予測子が図６ａに表されるように、コロケートされたブロックの右下ブロック（Ｈ）および中央ブロック（Ｃｅｎｔｅｒ）の動きベクトルの中から選択される。
以下の表１は、図６ａおよび６ｂに示されるように、現在のブロックを基準にしてブロックを参照するときに使用される命名法の概要を示す。この命名法は、簡潔に使用されるが、特に将来の規格のバージョンでは他のラベル付けシステムが使用されてもよいことを理解されたい。
Figure 2022503707000002
「現在のブロック」は、サイズが、４ｘ４、１６ｘ１６、３２ｘ３２、６４ｘ６４、１２８ｘ１２８、またはその間の任意のサイズなど、可変であることに注意する必要がある。ブロックの寸法は、好ましくは２の倍数（すなわち、２＾ｎ×２＾ｍ ここで、ｎおよびｍは正の整数である）であり、これは、バイナリ符号化を使用する場合、ビットのより効率的な使用をもたらす。現在のブロックは、正方形である必要はないが、これはしばしば、符号化の複雑さのための好ましい実施形態である。
図７を参照すると、第１ステップは、左下のブロックＡ０およびＡ１の中から第１空間的予測子（Ｃａｎｄ１、７０６）を選択することを目的とし、その空間的位置が図６ａに示される。そのために、これらのブロックは、所与の順序で次々に選択され（７００、７０２）、選択されたブロックごとに、所与の順序で以下の条件が評価され（７０４）、条件が満たされる第１ブロック（first block）は、予測子として設定される。
－同じ参照画像と同じ参照リストからの動きベクトル
－同じ参照画像と他の参照リストからの動きベクトル
－異なる参照画像と同じ参照リストからのスケーリングされた動きベクトル
－異なる参照画像と他の参照リストからのスケーリングされた動きベクトル
値が見つからない場合、左予測子は使用不可と見なされる。この場合、関連ブロックがイントラ符号化されているか、またはそれらのブロックが存在しないことを示す。
後のステップは、上の右ブロックＢ０、上のブロックＢ１、および上の左ブロックＢ２の中から第２空間的予測子（Ｃａｎｄ２、７１６）を選択することを目的とし、その空間的位置が図６ａに示されている。そのために、これらのブロックは、所与の順序で次々に選択され（７０８、７１０、７１２）、選択されたブロックごとに、所与の順序で上述の条件が評価され（７１４）、上述の条件が満たされる第１ブロックが予測子として設定される。
再び、値が見つからない場合、上の予測子は利用不可能であると見なされる。この場合、関連ブロックがイントラ符号化されているか、またはそれらのブロックが存在しないことを示す。
次のステップ（７１８）において、２つの予測子は、両方が利用可能である場合、それらが等しい場合（すなわち、同じ動きベクトル値、同じ参照リスト、同じ参照インデックス、および同じ方向タイプ）、それらのうちの１つを除去するために、互いに比較される。１つの空間的予測子のみが利用可能である場合、アルゴリズムは、後のステップにおいて時間的予測子を探している。
時間的動き予測子（Ｃａｎｄ３，７２６）は、次のように導出される。前の／参照フレームにおけるコロケートされたブロックの右下（Ｈ，７２０）位置がまず、利用可能性チェックモジュール７２２において考慮される。それが存在しない場合、または動きベクトル予測子が利用可能でない場合、コロケートされたブロックの中央（中央、７２４）がチェックされるように選択される。これらの時間的位置（中央およびＨ）を図６ａに示す。いずれにせよ、スケーリング７２３は、現在のフレームと参照リスト内の第１フレーム（first frame）との間の時間的距離を一致させるために、これらの候補に適用される。
次に、動き予測子値が予測子のセットに追加される。次に、予測子の数（Ｎｂ＿Ｃａｎｄ）が、予測子の最大数（Ｍａｘ＿Ｃａｎｄ）と比較される（７２８）。上述のように、ＡＭＶＰの導出処理が生成する必要がある動きベクトル予測子の予測子の最大数（Ｍａｘ＿Ｃａｎｄ）は、ＨＥＶＣ規格の現在のバージョンでは２である。
この最大数に達した場合、ＡＭＶＰ予測子の最終リストまたはセット（７３２）が構築される。そわなければ、ゼロ予測子がリストに追加される（７３０）。ゼロ予測子は、（０，０）に等しい動きベクトルである。
図７に示すように、ＡＭＶＰ予測子の最終リストまたはセット（７３２）は、空間的動き予測子候補のサブセット（７００～７１２）および時間的動き予測子候補のサブセット（７２０、７２４）から構築される。
上述のように、古典的マージモードまたは古典的マージスキップモードの動き予測子候補は、方向、リスト、参照フレームインデックス、および動きベクトルというすべての必要な動き情報を表す。いくつかの候補のインデックス付きリストが、マージ導出処理によって生成される。現在のＨＥＶＣ設計では、両方のマージモード（すなわち、古典的マージモードおよび古典的マージスキップモード）の候補の最大数は５（４つの空間的候補および１つの時間的候補）に等しい。
図８は、マージモード（古典的マージモードおよび古典的マージスキップモード）の動きベクトル導出処理の概略図である。導出処理の第１ステップでは、５つのブロック位置が考慮される（８００～８０８）。これらの位置は、参照番号Ａ１、Ｂ１、Ｂ０、Ａ０、およびＢ２で図６ａに示される空間的位置である。後のステップにおいて、空間的動きベクトルの利用可能性がチェックされ、考慮のために多くとも５つの動きベクトルが選択／取得される（８１０）。予測子が存在し、ブロックがイントラ符号化されていない場合、予測子は利用可能であると見なされる。したがって、５つのブロックに対応する動きベクトルを候補として選択することは、以下の条件に従って行われる。
「左」Ａ１動きベクトル（８００）が利用可能である場合（８１０）、すなわち、それが存在し、このブロックがイントラ符号化されていない場合、「左」ブロックの動きベクトルが選択され、候補リスト内の第１候補として使用される（８１４）。
「上」Ｂ１動きベクトル（８０２）が利用可能である場合（８１０）、候補「上」ブロック動きベクトルは、存在する場合、「左」Ａ１動きベクトルと比較される（８１２）。Ｂ１動きベクトルがＡ１動きベクトルに等しい場合、Ｂ１は空間的候補のリストに追加されない（８１４）。逆に、Ｂ１動きベクトルがＡ１動きベクトルに等しくない場合、Ｂ１が空間的候補のリストに追加される（８１４）。
「右上」Ｂ０動きベクトル（８０４）が利用可能である場合（８１０）、「右上」の動きベクトルがＢ１動きベクトルと比較される（８１２）。Ｂ０動きベクトルがＢ１動きベクトルに等しい場合、Ｂ０動きベクトルは空間的候補のリストに追加されない（８１４）。逆に、Ｂ０動きベクトルがＢ１動きベクトルに等しくない場合、Ｂ０動きベクトルが空間的候補のリストに追加される（８１４）。
「左下」Ａ０動きベクトル（８０６）が利用可能である場合（８１０）、「左下」の動きベクトルがＡ１動きベクトルと比較される（８１２）。Ａ０動きベクトルがＡ１動きベクトルに等しい場合、Ａ０動きベクトルは空間的候補のリストに追加されない（８１４）。逆に、Ａ０動きベクトルがＡ１動きベクトルと等しくない場合、Ａ０動きベクトルが空間的候補のリストに追加される（８１４）。
空間的候補のリストが４つの候補を含まない場合、「左上」Ｂ２動きベクトル（８０８）の利用可能性がチェックされる（８１０）。利用可能であれば、Ａ１動きベクトルおよびＢ１動きベクトルと比較される。Ｂ２動きベクトルがＡ１動きベクトルまたはＢ１動きベクトルに等しい場合、Ｂ２動きベクトルは空間的候補のリストに追加されない（８１４）。逆に、Ｂ２動きベクトルがＡ１動きベクトルまたはＢ１動きベクトルに等しくない場合、Ｂ２動きベクトルが空間的候補のリストに追加される（８１４）。
この段階の最後に、空間的候補のリストは、４つまでの候補を含む。
時間的候補については、２つの位置、コロケートされたブロックの右下の位置（８１６、図６ａにおいて示されるＨ）およびコロケートされたブロックの中央（８１８）を使用することができる。これらの位置を図６ａに示す。
ＡＭＶＰ動きベクトル導出処理の時間的動き予測子について図７に関連して説明したように、第１ステップは、Ｈ位置におけるブロックの利用可能性をチェックすること（８２０）を目的とする。次に、それが利用可能でない場合、中央位置におけるブロックの利用可能性がチェックされる（８２０）。これらの位置の少なくとも１つの動きベクトルが利用可能である場合、時間的動きベクトルは、マージ動きベクトル予測子候補のリストに追加される時間的候補（８２４）を作成するために、必要であれば、リストＬ０およびＬ１の両方について、インデックス０を有する参照フレームにスケーリングされ得る（８２２）。これは、リスト内の空間的候補の後に配置される。リストＬ０およびＬ１は、ゼロ、１つまたは複数の参照フレームを含む２つの参照フレームリストである。
候補の数（Ｎｂ＿Ｃａｎｄ）が、候補の最大数より厳密に少ない場合（８２６）（Ｍａｘ＿Ｃａｎｄ その値は、ビットストリームスライスヘッダにおいてシグナリングされ、現在のＨＥＶＣ設計において５に等しい）、および現在のフレームがＢタイプである場合、結合された候補が生成される（８２８）。結合された候補は、マージ動きベクトル予測子候補のリストの利用可能な候補に基づいて生成される。これは、主に、リストＬ０の１つの候補の動き情報を、リストＬ１の１つの候補の動き情報と組み合わせる（ペアリングする）ことからなる。
候補の数（Ｎｂ＿Ｃａｎｄ）が候補の最大数（Ｍａｘ＿Ｃａｎｄ）よりも厳密に少ない（８３０）場合、マージ動きベクトル予測子候補のリストの候補の数が候補の最大数に達するまで、ゼロ動き候補が生成される（８３２）。
この処理の終わりに、マージ動きベクトル予測子候補のリストまたはセット（すなわち、古典的マージモードおよび古典的マージスキップモードであるマージモードの候補のリストまたはセット）が構築される（８３４）。図８に示すように、マージ動きベクトル予測子候補のリストまたはセットは、空間的候補のサブセット（８００～８０８）および時間的候補のサブセット（８１６、８１８）から構築される（８３４）。
代替時間的動きベクトル予測（ＡＴＭＶＰ）
代替時間的動きベクトル予測（ＡＴＭＶＰ）は、特別なタイプの動き補償である。時間的参照フレームからの現在のブロックについて１つの動き情報のみを考慮する代わりに、各コロケートされたブロックの各動き情報が考慮される。したがって、この時間的動きベクトル予測は、図９に示すように、各サブブロックの関連する動き情報を用いて、現在のブロックのセグメンテーションを与える。
現在のＶＴＭリファレンスソフトウェアでは、ＡＴＭＶＰがマージ候補のリスト（すなわち、古典的なマージモードおよび古典的なマージスキップモードであるマージモードの候補のリストまたはセット）に挿入されたマージ候補としてシグナリングされる。ＳＰＳレベルでＡＴＭＶＰがイネーブルされると、マージ候補の最大数は１だけ増加される。従って、５の代わりに６つの候補が考慮され、これは、このＡＴＭＶＰモードがディスエーブルされた場合であった。
さらに、この予測がＳＰＳレベルでイネーブルされるとき、マージインデックスのすべてのビン（すなわち、マージ候補のリストから候補を識別するための識別子またはインデックス）は、ＣＡＢＡＣによってコンテキスト符号化される。ＨＥＶＣ内にある間、またはＡＴＭＶＰがＪＥＭ内のＳＰＳレベルでイネーブルされていないとき、第１ビン（first bin）のみがコンテキスト符号化され、残りのビンはコンテキストバイパス符号化される（すなわち、バイパスＣＡＢＡＣ符号化される）。図１０（ａ）は、ＨＥＶＣ、またはＪＥＭのＳＰＳレベルでＡＴＭＶＰがイネーブルされていないときのマージインデックスの符号化を示す。これは、単項最大コードに対応する。さらに、第１番目のビット（first bit）はＣＡＢＡＣ符号化され、他のビットはバイパスＣＡＢＡＣ符号化される。
図１０（ｂ）は、ＡＴＭＶＰがＳＰＳレベルでイネーブルされるときのマージインデックスの符号化を示す。さらに、すべてのビットがＣＡＢＡＣ符号化される（１番目から５番目のビットまで）。インデックスを符号化するための各ビットは、それ自体のコンテキストを有し、言い換えれば、それらの確率は分離されることに留意されたい。
アフィンモード
ＨＥＶＣでは、動き補償予測（ＭＣＰ）のために並進運動モデルのみを適用した。一方、現実世界では、ズームイン／ズームアウト、回転、パースペクティブモーション、および他の不規則なモーションなど、多くの種類のモーションがある。
ＪＥＭでは、簡易アフィン変換動き補償予測を適用し、２０１７年７月１３日～２１日のＴｏｒｉｎｏにおけるＪＶＥＴ会議で発表されたＪＶＥＴ－Ｇ１００１文書の抜粋に基づき、アフィンモードの一般原理を以下に説明する。この文書全体は、ＪＥＭで使用される他のアルゴリズムを説明する限り、参照により本明細書に組み込まれる。
図１１（ａ）に示すように、ブロックのアフィン動きフィールドは、２つの制御点動きベクトルによって記述される。
ブロックの動きベクトルフィールド（ＭＶＦ）は、以下の式によって記述される。
Figure 2022503707000003
ここで、（ｖ０ｘ、ｖ０ｙ）は、左上隅の制御点の動きベクトルであり、（ｖ１ｘ、ｖ１ｙ）は、右上隅の制御点の動きベクトルである。また、ｗはブロックＣｕｒ（現在のブロック）の幅である。
動き補償予測をさらに単純化するために、サブブロックベースのアフィン変換予測を適用した。サブブロックサイズＭｘＮは、式２のように導出され、ここで、ＭｖＰｒｅは、動きベクトル分数精度（ＪＥＭでは１／１６）であり、（ｖ２ｘ，ｖ２ｙ）は式１に従って計算された左上制御点の動きベクトルである。
Figure 2022503707000004
式２によって導出された後、ＭおよびＮは必要であれば、それぞれｗおよびｈの除数になるように下方に調整されてもよい。ｈは、現在のブロックＣｕｒ（現在のブロック）の高さである。
各Ｍ×Ｎサブブロックの動きベクトルを導出するために、図６ａに示されるように、各サブブロックの中央サンプルの動きベクトルは、式１に従って計算され、１／１６分数精度に丸められる。次に、動き補償補間フィルタを適用して、導出した動きベクトルを持つ各サブブロックの予測を生成した。
アフィンモードは、インターモード（ＡＭＶＰ、「古典的」マージ、または「古典的」マージスキップ）のような動き補償モードである。その原理は、２つ又は３つの隣接する動き情報に従って画素毎に１つの動き情報を生成することである。ＪＥＭでは、アフィンモードが図１１（ａ）／（ｂ）に示すように、各４×４ブロックについて１つの動き情報を導出する（各正方形は４×４ブロックであり、図１１（ａ）／（ｂ）のブロック全体は４×４サイズのこのような正方形の１６ブロックに分割された１６×１６ブロックであり、各４×４正方形ブロックはそれに関連する動きベクトルを有する）。本発明の実施形態では、アフィンモードが、１つの動き情報を導出することができる限り、異なるサイズまたは形状のブロックについて１つの動き情報を駆動することができることを理解されたい。このモードは、フラグでアフィンモードをイネーブルすることによって、ＡＭＶＰモードおよびマージモード（すなわち、「非アフィンマージモード」とも呼ばれる古典的マージモード、および「非アフィンマージスキップモード」とも呼ばれる古典的マージスキップモード）に利用可能である。このフラグはＣＡＢＡＣ符号化される。一実施形態では、コンテキストが左ブロック（図６ｂの位置Ａ２）および左上ブロック（図６ｂの位置Ｂ３）のアフィンフラグの合計に依存する。
したがって、ＪＥＭでは、後の式で与えられるアフィンフラグに対して３つのコンテキスト変数（０、１、または２）が可能である。
Ｃｔｘ＝ＩｓＡｆｆｉｎｅ（Ａ２）＋ＩｓＡｆｆｉｎｅ（Ｂ３）
ここで、ＩｓＡｆｆｉｎｅ（ｂｌｏｃｋ）は、ブロックがアフィンブロックでない場合に０を返し、ブロックがアフィンである場合に１を返す関数である。
アフィンマージ候補導出
ＪＥＭでは、アフィンマージモード（またはアフィンマージスキップモード）が位置Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２のブロックの中でアフィンである第１隣接ブロック（first neighbouring block）（すなわち、アフィンモードを使用して符号化される第１隣接ブロック）から現在のブロックの動き情報を導出する。これらの位置を図６ａおよび６ｂに示す。しかしながら、アフィンパラメータがどのように導出されるかは完全には定義されておらず、本発明は例えば、アフィンマージモードのアフィンパラメータを定義することによって、少なくともこの態様を改善することを目的とし、その結果、アフィンマージ候補のためのより広い選択の選択を可能にする（すなわち、アフィンである第１隣接ブロックだけでなく、インデックスなどの識別子を用いた選択のために少なくとも１つの他の候補が利用可能である）。
例えば、本発明のいくつかの実施形態によれば、アフィンマージ候補（アフィンモードのための動き情報を導出／取得するための候補）のそれ自体のリストを有するアフィンマージモードと、（アフィンマージ候補のリストから１つのアフィンマージ候補を識別するための）アフィンマージインデックスとが、ブロックを符号化または復号するために使用される。
アフィンマージシグナリング
図１２は、アフィンマージモードの使用をシグナリングするための符号化モードに関連するいくつかのシンタックス要素の部分復号処理のフローチャートである。この図では、スキップフラグ（１２０１）、予測モード（１２１１）、マージフラグ（１２０３）、マージインデックス（１２０８）、およびアフィンフラグ（１２０６）を復号することができる。
インタースライス内のすべてのＣＵについて、スキップフラグが復号される（１２０１）。ＣＵがスキップでない場合（１２０２）、予測モード（予測モード）が復号される（１２１１）。このシンタックス要素は、現在のＣＵがインターモードまたはイントラモードで符号化されている（復号される）かどうかを示す。ＣＵがスキップである場合（１２０２）、その現在のモードはインターモードであることに留意されたい。ＣＵがスキップでない場合（１２０２：Ｎｏ）、ＣＵはＡＭＶＰまたはマージモードで符号化される。ＣＵがインターの場合（１２１２）、マージフラグが復号される（１２０３）。ＣＵがマージである場合（１２０４）、またはＣＵがスキップである場合（１２０２：Ｙｅｓ）、アフィンフラグ（１２０６）を復号する必要があるかどうか、すなわち（１２０５）で、現在のＣＵがアフィンモードで符号化されていた可能性があるかどうかの判定が行われるかどうかが検証／チェックされる（１２０５）。このフラグは現在のＣＵが２Ｎ×２Ｎ ＣＵである場合に復号され、これは、現在のＶＶＣにおいて、ＣＵの高さ及び幅が等しいことを意味する。さらに、少なくとも１つの隣接するＣＵ Ａ１またはＢ１またはＢ０またはＡ０またはＢ２は、アフィンモード（アフィンマージモードまたはアフィンモードがイネーブルされたＡＭＶＰモードのいずれか）で符号化されなければならない。最終的に、現在のＣＵは４ｘ４ ＣＵではなく、デフォルトではＣＵ ４ｘ４はＶＴＭリファレンスソフトウェアで無効になる。この条件（１２０５）が偽である場合、現在のＣＵがＨＥＶＣで指定されているような古典的マージモード（または古典的マージスキップモード）で符号化されていることが確実であり、マージインデックスが復号される（１２０８）。アフィンフラグ（１２０６）が１に等しく設定される場合（１２０７）、ＣＵはマージアフィンＣＵ（すなわち、アフィンマージモードで符号化されたＣＵ）またはマージスキップアフィンＣＵ（すなわち、アフィンマージスキップモードで符号化されたＣＵ）であり、マージインデックス（１２０８）は復号される必要がない（アフィンマージモードが使用される、すなわち、ＣＵは、アフィンである第１隣接ブロックを有するアフィンモードを使用して復号されるため）。そわない場合、現在のＣＵは古典的な（基本的である）マージまたはマージスキップＣＵ（すなわち、古典的なマージまたはマージスキップモードで符号化されたＣＵ）であり、マージインデックス候補（１２０８）が復号される。
この仕様では、「シグナリング」とは、その他の情報またはモードの有効化または無効化を表す１つ以上のシンタックス要素をビットストリームに挿入（提供／組み込み）、またはビットストリームから抽出／取得することを指す場合がある。
マージ候補導出
図１３は、マージ候補（すなわち、古典的マージモードまたは古典的マージスキップモードの候補）導出を示すフローチャートである。この導出は、図８に示すマージモードの動きベクトル導出処理（すなわち、ＨＥＶＣのマージ候補リスト導出）の上に構築されたものである。ＨＥＶＣと比較した主な変更は、ＡＴＭＶＰ候補（１３１９、１３２１、１３２３）の追加、候補の全重複チェック（１３２５）、および候補の新しい順序である。ＡＴＭＶＰ予測は、現在のＣＵのいくつかの動き情報を表すので、専用の候補として設定される。第１サブブロック（first sub-block）（左上）の値は、時間的候補と比較され、時間的候補はそれらが等しい場合、マージのリストに追加されない（１３２０）。ＡＴＭＶＰ候補は、他の空間的候補と比較されない。リスト内に既にある各空間的候補と比較され（１３２５）、重複候補であればマージ候補リストに追加されない時間的候補とは対照的である。
空間的候補がリスト内に追加されると、それはリスト内の他の空間的候補と比較され（１３１２）、これはＨＥＶＣの最終バージョンの場合ではない。
現在のＶＴＭバージョンでは、マージ候補のリストが、符号化テスト条件に対して最良の結果を提供すると判定されたときに、以下の順序で設定される。
・ Ａ１
・ Ｂ１
・ Ｂ０
・ Ａ０
・ ＡＴＭＶＰ
・ Ｂ２
・ 時間的
・ 組み合わせ
・ Ｚｅｒｏ＿ＭＶ
空間的候補Ｂ２は、ＡＴＭＶＰ候補の後に設定されることに留意することが重要である。
さらに、ＡＴＭＶＰがスライスレベルでイネーブルされるとき、候補のリスト内の最大数は、ＨＥＶＣの５ではなく６である。
次に、本発明の例示的な実施形態を、図１２～１６および２２～２４を参照して説明する。実施形態は特に明記しない限り組み合わされてもよく、例えば、実施形態の特定の組合せは複雑さを増しながら符号化効率を改善してもよいが、これは特定の使用事例では許容可能であり得ることに留意されたい。
第１の実施形態
上述のように、現在のＶＴＭリファレンスソフトウェアでは、ＡＴＭＶＰがマージ候補のリストに挿入されたマージ候補としてシグナリングされる。ＡＴＭＶＰは、（ＳＰＳレベルで）シーケンス全体に対してイネーブルまたはディスエーブルされることができる。ＡＴＭＶＰがディスエーブルされると、マージ候補の最大数は５である。ＡＴＭＶＰがイネーブルされると、マージ候補の最大数は、５から６に１だけ増加される。
エンコーダでは、図１３の方法を使用してマージ候補のリストが生成される。１つのマージ候補が例えばレート歪み基準に基づいてマージ候補のリストから選択される。選択されたマージ候補は、マージインデックスと呼ばれるシンタックス要素を使用して、ビットストリーム内のデコーダにシグナリングされる。
現在のＶＴＭリファレンスソフトウェアでは、ＡＴＭＶＰがイネーブルされているかディスエーブルされているかによって、マージインデックスを符号化する方法が異なる。
図１０（ａ）は、ＡＴＭＶＰがＳＰＳレベルでイネーブルされないときのマージインデックスの符号化を示す。５つのマージ候補Ｃａｎｄ０、Ｃａｎｄ１、Ｃａｎｄ２、Ｃａｎｄ３、およびＣａｎｄ４は、それぞれ、０、１０、１１０、１１１０、および１１１１に符号化される。これは、単項最大符号化に対応する。さらに、第１番目のビットは、単一のコンテキストを使用してＣＡＢＡＣによって符号化され、他のビットはバイパス符号化される。
図１０（ｂ）は、ＡＴＭＶＰがイネーブルされたときのマージインデックスの符号化を示す。６つのマージ候補Ｃａｎｄ０、Ｃａｎｄ１、Ｃａｎｄ２、Ｃａｎｄ３、Ｃａｎｄ４、およびＣａｎｄ５は、それぞれ、０、１０、１１０、１１１０、１１１１０、および１１１１１に符号化される。この場合、マージインデックスのすべてのビット（１番目から５番目のビットまで）がＣＡＢＡＣによってコンテキスト符号化される。各ビットはそれ自体のコンテキストを有し、異なるビットに対して別々の確率モデルが存在する。
本発明の第１の実施形態では図１４に示すように、マージ候補のリストにマージ候補としてＡＴＭＶＰが含まれている場合（例えば、ＳＰＳレベルでＡＴＭＶＰがイネーブルされている場合）、マージインデックスの符号化は、マージインデックスの第１番目のビットのみが単一のコンテキストを使用してＣＡＢＡＣによって符号化されるように修正される。コンテキストは、ＡＴＭＶＰがＳＰＳレベルでイネーブルされていない場合、現在のＶＴＭリファレンスソフトウェアと同じ方法で設定される。他のビット（２番目から５番目まで）は、バイパス符号化される。マージ候補のリストにマージ候補としてＡＴＭＶＰが含まれていない場合（例えば、ＳＰＳレベルでＡＴＭＶＰがディスエーブルされている場合）、５つのマージ候補が存在する。マージインデックスの第１番目のビットのみが、単一のコンテキストを使用してＣＡＢＡＣによって符号化される。コンテキストは、ＡＴＭＶＰがＳＰＳレベルでイネーブルされていない場合、現在のＶＴＭリファレンスソフトウェアと同じ方法で設定される。他のビット（２番目から４番目のビットまで）は、バイパス復号される。
デコーダは、エンコーダと同じマージ候補のリストを生成する。これは、図１３の方法を使用することによって達成することができる。ＡＴＭＶＰがマージ候補のリストにマージ候補として含まれていない場合（例えば、ＡＴＭＶＰがＳＰＳレベルでディスエーブルされている場合）、５つのマージ候補がある。マージインデックスの第１番目のビットのみが、単一のコンテキストを使用してＣＡＢＡＣによって復号される。他のビット（２番目から４番目のビットまで）は、バイパス復号される。現在のリファレンスソフトウェアとは対照的に、ＡＴＭＶＰがマージ候補のリストにマージ候補として含まれる場合（例えば、ＡＴＭＶＰがＳＰＳレベルでイネーブルされる場合）、マージインデックスの復号において単一のコンテキストを使用して、マージインデックスの第１番目のビットのみがＣＡＢＡＣによって復号される。他のビット（２番目から５番目のビットまで）は、バイパス復号される。復号されたマージインデックスは、マージ候補のリストの中からエンコーダによって選択されたマージ候補を識別するために使用される。
ＶＴＭ２．０リファレンスソフトウェアと比較したこの実施形態の利点は、符号化効率に影響を与えることなく、マージインデックス復号およびデコーダ設計（およびエンコーダ設計）の複雑さが低減されることである。実際、この実施形態では、現在のＶＴＭマージインデックス符号化／復号のために５ではなく、１つのＣＡＢＡＣ状態のみがマージインデックスのために必要とされる。さらに、他のビットはＣＡＢＡＣバイパス符号化され、ＣＡＢＡＣで全てのビットを符号化するのと比較して演算の数を減らすので、最悪の場合の複雑さを減らす。
第２の実施形態
第２の実施形態では、マージインデックスのすべてのビットはＣＡＢＡＣ符号化されるが、それらはすべて同じコンテキストを共有する。この場合、ビット間で共有される、第１の実施形態のような単一のコンテキストが存在し得る。その結果、マージ候補のリストにマージ候補としてＡＴＭＶＰが含まれている場合（例えば、ＳＰＳレベルでＡＴＭＶＰがイネーブルされている場合）、ＶＴＭ２．０リファレンスソフトウェアでは５であるのに対して、１つのコンテキストのみが使用される。ＶＴＭ２．０リファレンスソフトウェアと比較したこの実施形態の利点は、符号化効率に影響を与えることなく、マージインデックス復号およびデコーダ設計（およびエンコーダ設計）の複雑さが低減されることである。
あるいは以下に第３から第１５の実施形態に関連して説明するように、コンテキスト変数は、２つ以上のコンテキストが利用可能であるが、現在のコンテキストがビットによって共有されるように、ビット間で共有されてもよい。
ＡＴＭＶＰがディスエーブルされるとき、同じコンテキストが全てのビットに対して依然として使用される。
ＡＴＭＶＰが利用可能なモードでないか、またはディスエーブルされている場合であっても、この実施形態および以降のすべての実施形態を適用することができる。
第２の実施形態の変形では、マージインデックスの任意の２つ以上のビットがＣＡＢＡＣ符号化され、同じコンテキストを共有する。マージインデックスの他のビットは、バイパス符号化される。例えば、マージインデックスの最初のＮビットは、ＣＡＢＡＣ符号化されてもよく、ここで、Ｎは２以上である。
第３の実施形態
第１の実施形態では、マージインデックスの第１番目のビットが単一のコンテキストを使用してＣＡＢＡＣ符号化された。
第３の実施形態では、マージインデックスのビットのコンテキスト変数が隣接ブロックのマージインデックスの値に依存する。これにより、各コンテキストがコンテキスト変数の異なる値に対応する、ターゲットビットに複数のコンテキストが可能になる。
隣接ブロックは、すでに復号されている任意のブロックであってもよく、その結果、そのマージインデックスは、現在のブロックが復号されている時間までにデコーダに利用可能である。例えば、隣接ブロックは、図６ｂに示されるブロックＡ０、Ａ１、Ａ２、Ｂ０、Ｂ１、Ｂ２、およびＢ３のいずれかであってもよい。
第１の変形例では、第１番目のビットだけがこのコンテキスト変数を使用してＣＡＢＡＣ符号化される。
第２の変形例では、マージインデックスの最初のＮビット、ここでＮは２以上である、はＣＡＢＡＣ符号化され、コンテキスト変数は、これらのＮビット間で共有される。
第３の変形例では、マージインデックスの任意のＮビット、ここでＮは２以上である、がＣＡＢＡＣ符号化され、コンテキスト変数が、これらのＮビット間で共有される。
第４の変形例では、マージインデックスの最初のＮビット、ここでＮは２以上である、はＣＡＢＡＣ符号化され、Ｎ個のコンテキスト変数がこれらのＮビットに使用される。コンテキスト変数がＫ個の値を有すると仮定すると、ＫｘＮ個のＣＡＢＡＣ状態が使用される。例えば、本実施形態では、１つの隣接ブロックを用いて、コンテキスト変数は２つの値、例えば、０及び１を都合よく有することができる。換言すれば、２Ｎ個のＣＡＢＡＣ状態が使用される。
第５の変形例では、マージインデックスの任意のＮビット、ここで、Ｎは２以上である、は適応ＰＭ符号化され、Ｎ個のコンテキスト変数がこれらのＮビットのために使用される。
同様の変形例は、以下に説明する第４～第１６の実施形態に適用可能である。
第４の実施形態
第４の実施形態では、マージインデックスのビットのコンテキスト変数が、２つ以上の隣接ブロックのマージインデックスのそれぞれの値に依存する。例えば、第１隣接ブロックは左ブロックＡ０、Ａ１またはＡ２であり、第２隣接ブロック（second neighbouring block）は上ブロックＢ０、Ｂ１、Ｂ２またはＢ３である。２つ以上のマージインデックス値を組み合わせる方法は、特に限定されない。例を以下に示す。
コンテキスト変数は便宜上、２つの隣接ブロックが存在するので、この場合、３つの異なる値、例えば、０、１、および２を有することができる。したがって、第３の実施形態に関連して説明した第４の変形例が、３つの異なる値を有するこの実施形態に適用される場合、Ｋは２ではなく３である。換言すれば、３Ｎ個のＣＡＢＡＣ状態が使用される。
第５の実施形態
第５の実施形態では、マージインデックスのビットのコンテキスト変数が、隣接ブロックＡ２およびＢ３のマージインデックスのそれぞれの値に依存する。
第６の実施形態
第６の実施形態では、マージインデックスのビットのコンテキスト変数が、隣接ブロックＡ１およびＢ１のマージインデックスのそれぞれの値に依存する。この変形例の利点は、マージ候補導出とのアラインメントである。その結果、いくつかのデコーダおよびエンコーダの実装では、メモリアクセスの削減を達成することができる。
第７の実施形態
第７の実施形態では、現在のブロックのマージインデックスにおけるビット位置ｉｄｘ＿ｎｕｍを有するビットのコンテキスト変数が、以下の式に従って得られる。
ｃｔｘＩｄｘ＝（Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｌｅｆｔ＝＝ｉｄｘ＿ｎｕｍ）＋（Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｕｐ＝＝ｉｄｘ＿ｎｕｍ）
ここで、Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｌｅｆｔは左ブロックのマージインデックス、Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｕｐは上ブロックのマージインデックス、シンボル＝＝は等価シンボルである。
例えば、６つのマージ候補がある場合、０＜＝ｉｄｘ＿ｎｕｍ＜＝５である。
左ブロックはブロックＡ１であり、上ブロックはブロックＢ１である（第６の実施形態と同様）。あるいは、左ブロックがブロックＡ２であり、上ブロックがブロックＢ３であってもよい（第５の実施形態と同様）。
左ブロックのマージインデックスがｉｄｘ＿ｎｕｍと等しい場合、式（Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｌｅｆｔ＝＝ｉｄｘ＿ｎｕｍ）は１に等しい。次の表は、この式（Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｌｅｆｔ＝＝ｉｄｘ＿ｎｕｍ）の結果を示す。
Figure 2022503707000005
もちろん、式のテーブル（Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｕｐ＝＝ｉｄｘ＿ｎｕｍ）は同じである。
次の表は、各マージインデックス値の単項最大コードと、各ビットの相対ビット位置と、を示す。この表は、図１０（ｂ）に対応する。
Figure 2022503707000006
左ブロックがマージブロックまたはアフィンマージブロックでない（すなわち、アフィンマージモードを使用して符号化されている）場合、左ブロックは利用可能ではないと考えられる。上ブロックについても同様の条件が適用される。
例えば、第１番目のビットのみがＣＡＢＡＣ符号化される場合、コンテキスト変数ｃｔｘＩｄｘは、
左上のブロックがマージインデックスを有さない場合、または左ブロックマージインデックスが第１インデックス（first index）ではない（すなわち０ではない）場合、および上ブロックマージインデックスが第１インデックスではない（すなわち０ではない）場合は０
左ブロックおよび上ブロックのうちの一方であって他方ではないブロックが第１インデックスに等しいマージインデックスを有する場合は１
左ブロックおよび上ブロックのそれぞれについてマージインデックスが第１インデックスに等しい場合は２
に等しく設定される。
より一般的には、ＣＡＢＡＣ符号化された位置ｉｄｘ＿ｎｕｍのターゲットビットの場合、コンテキスト変数ｃｔｘＩｄｘは、
左上のブロックがマージインデックスを有さない場合、または左ブロックマージインデックスがｉ番目のインデックスでない場合（ｉ＝ｉｄｘ＿ｎｕｍの場合）、および上ブロックマージインデックスがｉ番目のインデックスでない場合は０
左ブロックと上ブロックの一方であって他方ではないブロックがｉ番目のインデックスと等しいマージインデックスを有する場合は１
左ブロックと上ブロックのそれぞれについてマージインデックスがｉ番目のインデックスと等しい場合は２
に等しく設定される。ここで、ｉ番目のインデックスは、i＝０の場合は第１インデックス（first index）を意味し、ｉ＝１の場合は第２インデックス（second index）を、というように意味する。
第８の実施形態
第８の実施形態では、現在のブロックのマージインデックスにおけるビット位置ｉｄｘ＿ｎｕｍを有するビットのコンテキスト変数が、以下の式に従って得られる。
Ｃｔｘ＝（Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｌｅｆｔ＞ｉｄｘ＿ｎｕｍ）＋（Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｕｐ＞ｉｄｘ＿ｎｕｍ） ここで、Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｌｅｆｔは左ブロックのマージインデックス、Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｕｐは上ブロックのマージインデックス、シンボル＞は「より大きい」を意味する。
例えば、６つのマージ候補がある場合、０＜＝ｉｄｘ＿ｎｕｍ＜＝５である。
左ブロックはブロックＡ１であり、上ブロックはブロックＢ１である（第５の実施形態と同様）。あるいは、左ブロックがブロックＡ２であり、上ブロックがブロックＢ３であってもよい（第６の実施形態と同様）。
左ブロックのマージインデックスがｉｄｘ＿ｎｕｍより大きい場合、式（Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｌｅｆｔ＞ｉｄｘ＿ｎｕｍ）は１に等しい。左ブロックがマージブロックまたはアフィンマージブロックでない（すなわち、アフィンマージモードを使用して符号化されている）場合、左ブロックは利用可能ではないと考えられる。上ブロックについても同様の条件が適用される。
次の表は、この式（Ｍｅｒｇｅ＿ｉｎｄｅｘ＿ｌｅｆｔ＞ｉｄｘ＿ｎｕｍ）の結果を示す。
Figure 2022503707000007
例えば、第１番目のビットのみがＣＡＢＡＣ符号化される場合、コンテキスト変数ｃｔｘＩｄｘは、
左上のブロックがマージインデックスを有さない場合、または左ブロックマージインデックスが第１インデックス以下（すなわち０でない）である場合、および上ブロックマージインデックスが第１インデックス以下（すなわち０でない）である場合は０
左ブロックと上ブロックの一方であって他方ではないブロックが第１インデックスより大きいマージインデックスを有する場合は１
左ブロックと上ブロックの各々についてマージインデックスが第１インデックスより大きい場合は２
に等しく設定される。
より一般的には、ＣＡＢＡＣ符号化された位置ｉｄｘ＿ｎｕｍのターゲットビットの場合、コンテキスト変数ｃｔｘＩｄｘは、
左上のブロックがマージインデックスを有さない場合、または左ブロックマージインデックスがｉ番目のインデックスより小さい場合（ｉ＝ｉｄｘ＿ｎｕｍの場合）、および上ブロックマージインデックスがｉ番目のインデックスより小さいか等しい場合は０
左ブロックと上ブロックの一方であって他方ではないブロックがｉ番目のインデックスより大きいマージインデックスを有する場合は１
左ブロックと上ブロックの各々についてマージインデックスがｉ番目のインデックスより大きい場合は２
に等しく設定される。
第８の実施形態は、第７の実施形態に対してさらに符号化効率を向上させる。
第９の実施形態
第４～第８の実施形態では、現ブロックのマージインデックスのビットのコンテキスト変数が２つ以上の隣接ブロックのマージインデックスのそれぞれの値に依存した。
第９の実施形態では、現在のブロックのマージインデックスのビットのコンテキスト変数が、２つ以上の隣接ブロックのそれぞれのマージフラグに依存する。例えば、第１隣接ブロックは左ブロックＡ０、Ａ１またはＡ２であり、第２隣接ブロックは上ブロックＢ０、Ｂ１、Ｂ２またはＢ３である。
マージフラグは、ブロックがマージモードを使用して符号化されている場合は１にセットされ、スキップモードやアフィンマージモードなどの他のモードが使用されている場合は０にセットされる。ＶＭＴ２．０では、アフィンマージが基本モードまたは「古典的」マージモードとは別個のモードであることに留意されたい。アフィンマージモードは、専用のアフィンフラグを使用してシグナリングすることができる。あるいは、マージ候補のリストがアフィンマージ候補を含んでもよく、その場合、アフィンマージモードが選択され、マージインデックスを使用してシグナリングされてもよい。
その後、コンテキスト変数は、
左隣接ブロックも上隣接ブロックも、１にセットされたそのマージフラグを有さない場合には０
左および上の隣接ブロックの一方であって他方ではない隣接ブロックが１に設定されたそのマージフラグを有する場合は１
左および上の隣接ブロックの各々が１に設定されたそのマージフラグを有する場合は２
に設定される。
この単純な評価は、ＶＴＭ２．０に対して符号化効率の改善を達成する。他の利点は、第７および第８の実施形態と比較して、隣接ブロックのマージインデックスではなくマージフラグのみがチェックされる必要があるので、より低い複雑さである。
変形例では、現在のブロックのマージインデックスのビットのコンテキスト変数が単一の隣接ブロックのマージフラグに依存する。
第１０の実施形態
第３から第９の実施形態では、現在のブロックのマージインデックスのビットのコンテキスト変数が、１つまたは複数の隣接ブロックのマージインデックス値またはマージフラグに依存した。
第１０の実施形態では、現在のブロックのマージインデックスのビットのコンテキスト変数が、現在のブロック（現在の符号化ユニット、つまりＣＵ）のためのスキップフラグの値に依存する。スキップフラグは、現在のブロックがマージスキップモードを使用する場合は１に等しく、それ以外の場合は０に等しくなる。
スキップフラグは、現在のブロックに対してすでに復号または解析されている別の変数またはシンタックス要素の第１の例である。この他の変数またはシンタックス要素は、好ましくは現在のブロックにおける動き情報の複雑さのインジケータである。マージインデックス値の出現は動き情報の複雑さに依存するので、スキップフラグのような変数またはシンタックス要素は一般にマージインデックス値と相関する。
より具体的には、マージスキップモードが一般に、静止シーンまたは一定の動きを伴うシーンに対して選択される。その結果、マージインデックス値は一般に、ブロック残差を含むインター予測を符号化するために使用される古典的なマージモードよりもマージスキップモードの方が低い。これは、一般に、より複雑な動きに対して生じる。しかしながら、これらのモード間の選択は、量子化及び／又はＲＤ基準にも関連することが多い。
この単純な評価は、ＶＴＭ２．０に対して符号化効率を向上させる。また、それは、隣接ブロック又はマージインデックス値をチェックすることを伴わないので、実施するのが非常に簡単である。
第１の変形例では、現在のブロックのマージインデックスのビットのコンテキスト変数が、単に現在のブロックのスキップフラグに等しく設定される。ビットは、第１番目のビットのみにすることができる。他のビットは、第１の実施形態のようにバイパス符号化される。
第２の変形例では、マージインデックスのすべてのビットがＣＡＢＡＣ符号化され、それらの各々はマージフラグに応じてそれ自体のコンテキスト変数を有する。これは、（６つのマージ候補に対応する）マージインデックス内に５つのＣＡＢＡＣ符号化ビットがあるときに１０の確率状態を必要とする。
第３の変形例では、状態の数を制限するために、マージインデックスのＮビットのみがＣＡＢＡＣ符号化され、ここで、Ｎは２以上、例えば最初のＮビットである。これは、２Ｎの状態を必要とする。例えば、最初の２ビットがＣＡＢＡＣ符号化される場合、４つの状態が必要とされる。
一般に、スキップフラグの代わりに、現在のブロックに対して既に復号または解析されていて、現在のブロックにおけるモーション情報の複雑さのインジケータである任意の他の変数またはシンタックス要素を使用することが可能である。
第１１の実施形態
第１１の実施形態は、図１１（ａ）、図１１（ｂ）および図１２を参照して前述したアフィンマージシグナリングに関する。
第１１の実施形態では、現在のブロック（現在のＣＵ）のマージインデックスのＣＡＢＡＣ符号化ビットのコンテキスト変数が、もしあれば、マージ候補のリスト内のアフィンマージ候補に依存する。このビットは、マージインデックスの第１番目のビットのみ、あるいは最初のＮビット、ここでＮは２以上、あるいは任意のＮビット、であることがある。他のビットはバイパス符号化される。
アフィン予測は、複雑な動きを補償するために設計されている。したがって、複雑な動きの場合、マージインデックスは一般に、それほど複雑でない動きの場合よりも高い値を有する。その結果、第１アフィンマージ候補（first Affine Merge candidate）がリストのかなり下にある場合、またはアフィンマージ候補が全くない場合、現在のＣＵのマージインデックスは、小さい値を有する可能性がある。
したがって、コンテキスト変数は、リスト内の少なくとも１つのアフィンマージ候補の存在および／または位置に依存することが有効である。
例えば、コンテキスト変数は、
Ａ１がアフィンの場合は１
Ｂ１がアフィンの場合は２
Ｂ０がアフィンの場合は３
Ａ０がアフィンの場合は４
Ｂ２がアフィンの場合は５
隣接ブロックがアフィンでない場合は０
に等しく設定される。
現在のブロックのマージインデックスが復号または解析されるとき、これらの位置のマージ候補のアフィンフラグはすでにチェックされている。したがって、現在のブロックのマージインデックスのコンテキストを導出するために、それ以上のメモリアクセスは必要ない。
この実施形態は、ＶＴＭ２．０に対して符号化効率を向上させる。ステップ１２０５は、すでに隣接ＣＵアフィンモードをチェックすることを含むので、追加のメモリアクセスは必要とされない。
第１の変形例では、状態の数を制限するために、コンテキスト変数は、
隣接ブロックがアフィンでない場合、またはＡ１またはＢ１がアフィンである場合は０
Ｂ０、Ａ０、またはＢ２がアフィンの場合は１
に等しく設定される。
第２の変形例では、状態の数を制限するために、コンテキスト変数は、
隣接ブロックがアフィンでない場合は０
Ａ１またはＢ１がアフィンの場合は１
Ｂ０、Ａ０、またはＢ２がアフィンの場合は２
に等しく設定される。
第３の変形例では、コンテキスト変数は、
Ａ１がアフィンの場合は１
Ｂ１がアフィンの場合は２
Ｂ０がアフィンの場合は３
Ａ０またはＢ２がアフィンの場合は４
隣接ブロックがアフィンでない場合は０
に等しく設定される。
これらの位置は、アフィンフラグ復号がこれらの位置に依存するので、マージインデックスが復号または構文解析されるときに既にチェックされていることに留意されたい。従って、アフィンフラグの後に符号化されるマージインデックスコンテキストを導出するために、追加のメモリアクセスは必要ない。
第１２の実施形態
第１２の実施形態では、アフィンモードをシグナリングすることは、候補動き予測子としてアフィンモードを挿入することを含む。
第１２の実施形態の一例では、アフィンマージ（およびアフィンマージスキップ）がマージ候補として（すなわち、古典的マージモードまたは古典的マージスキップモードと共に使用するためのマージ候補のうちの１つとして）シグナリングされる。この場合、図１２のモジュール１２０５、１２０６、および１２０７は除去される。さらに、マージモードの符号化効率に影響を与えないように、マージ候補の最大可能数がインクリメントされる。例えば、現在のＶＴＭバージョンでは、この値は６に等しく設定され、したがって、この実施形態をＶＴＭの現在のバージョンに適用する場合、値は７になる。
利点は、復号する必要があるシンタックス要素が少ないため、マージモードのシンタックス要素の設計簡素化である。状況によっては、符号化効率の改善／変化が観察され得る。
この例を実施するための２つの可能性を以下に説明する。
アフィンマージ候補のマージインデックスは、他のマージＭＶの値が何であれ、リスト内で常に同じ位置を有する。候補動き予測子の位置は、選択される可能性を示し、したがって、それがリストの上に配置される場合（より低いインデックス値）、その動きベクトル予測子が選択される可能性がより高い。
第１の例では、アフィンマージ候補のマージインデックスが、マージ候補のリスト内で常に同じ位置を有する。これは、固定された「マージｉｄｘ」値を有することを意味する。例えば、アフィンマージモードは、最も確率の高いコンテンツではない複雑な動きを表すべきであるので、この値は５に等しく設定することができる。この実施形態の追加の利点は、現在のブロックが構文解析される（シンタックス要素の復号／読み出しだけでなく、データ自体を復号する）とき、現在のブロックをアフィンブロックとして設定できることである。その結果、この値を使用して、ＡＭＶＰに使用されるアフィンフラグのＣＡＢＡＣコンテキストを決定することができる。したがって、条件付き確率は、このアフィンフラグについて改善されるべきであり、符号化効率は、より良好であるべきである。
第２の例では、アフィンマージ候補が他のマージ候補と共に導出される。この例では、新しいアフィンマージ候補がマージ候補のリストに追加される（古典的マージモードまたは古典的マージスキップモードの場合）。図１６は、この例を示す。図１３と比較すると、アフィンマージ候補は、Ａ１、Ｂ１、Ｂ０、Ａ０、およびＢ２（１９１７）からの第１アフィン隣接ブロック（first affine neighbouring block）である。図１２の１２０５と同じ条件が有効である場合（１９２７）、アフィンパラメータを用いて生成された動きベクトルフィールドが生成され、アフィンマージ候補が得られる（１９２９）。最初のマージ候補のリストは、ＡＴＭＶＰ、時間的およびアフィンマージ候補の使用に従って、４、５、６、または７の候補を有することができる。
すべてのこれらの候補の間の順序は、より可能性の高い候補が、動きベクトル候補のカットを行う可能性がより高いことを保証するために、最初に処理されるべきであるため、重要であり、好ましい順序は、以下の通りである。
Ａ１
Ｂ１
Ｂ０
Ａ０
アフィンマージ
ＡＴＭＶＰ
Ｂ２
時間的
組み合わせ
Ｚｅｒｏ＿ＭＶ
アフィンマージ候補は、ＡＴＭＶＰ候補の前であるが、４つの主要な隣接ブロックの後に配置されることに留意することが重要である。ＡＴＭＶＰ候補の前にアフィンマージ候補を設定することの利点は、ＡＴＭＶＰおよび時間的予測子候補の後にそれを設定することと比較して、符号化効率が増加することである。この符号化効率の向上は、GOP(group of pictures)構造と、ＧＯＰ内の各ピクチャのQP(Quantization Parameter)設定と、に依存する。しかし、最も使用されるＧＯＰおよびＱＰ設定では、この順序は符号化効率の増加をもたらす。
この解決策のさらなる利点は、シンタックスおよび導出処理の両方のための、古典的なマージおよび古典的なマージスキップモード（すなわち、ＡＴＭＶＰまたはアフィンマージ候補などの追加の候補を有するマージモード）のクリーンな設計である。さらに、アフィンマージ候補のマージインデックスは、マージ候補のリスト内の以前の候補の利用可能性または値（重複チェック）に従って変更することができる。その結果、効率的な信号化を得ることができる。
さらなる例では、アフィンマージ候補のためのマージインデックスが、１つまたはいくつかの条件に従って可変である。
例えば、アフィンマージ候補に関連付けられたリスト内のマージインデックスまたは位置は、基準に従って変化する。原理は、アフィンマージ候補が選択される確率が高い場合には、アフィンマージ候補に対応するマージインデックスに対して低い値を設定することである（選択される確率が低い場合には、より高い値を設定する）。
第１２の実施形態では、アフィンマージ候補がマージインデックス値を有する。マージインデックスの符号化効率を改善するために、マージインデックスのビットのコンテキスト変数を、隣接ブロックおよび／または現在のブロックのアフィンフラグに依存させることが有効である。
例えば、コンテキスト変数は、以下の式を使用して決定することができる。
ｃｔｘＩｄｘ＝ＩｓＡｆｆｉｎｅ（Ａ１）＋ＩｓＡｆｆｉｎｅ（Ｂ１）＋ＩｓＡｆｆｉｎｅ（Ｂ０）＋ＩｓＡｆｆｉｎｅ（Ａ０）＋ＩｓＡｆｆｉｎｅ（Ｂ２）
結果として得られるコンテキスト値は、値０、１、２、３、４、または５を有することができる。
アフィンフラグは、符号化効率を高める。
第１の変形例では、より少ない隣接ブロックを含むために、ｃｔｘＩｄｘ＝ＩｓＡｆｆｉｎｅ（Ａ１）＋ＩｓＡｆｆｉｎｅ（Ｂ１）である。結果として得られるコンテキスト値は、値０、１、または２を有することができる。
また、第２の変形例では、より少ない隣接ブロックを含むために、ｃｔｘＩｄｘ＝ＩｓＡｆｆｉｎｅ（Ａ２）＋ＩｓＡｆｆｉｎｅ（Ｂ３）である。この場合も、結果として得られるコンテキスト値は、値０、１、または２を有することができる。
第３の変形例では、隣接ブロックを含まないようにするため、ｃｔｘＩｄｘ＝ＩｓＡｆｆｉｎｅ（現在のブロック）である。結果として得られるコンテキスト値は、値０または１を有することができる。
図１５は、第３の変形例による符号化モードに関連するいくつかのシンタックス要素の部分復号処理のフローチャートである。この図では、スキップフラグ（１６０１）、予測モード（１６１１）、マージフラグ（１６０３）、マージインデックス（１６０８）、およびアフィンフラグ（１６０６）を復号することができる。このフローチャートは、先に説明した図１２のフローチャートと同様であるため、詳細な説明は省略する。差は、マージインデックスのコンテキスト変数を取得するときに、マージインデックスの前に復号されるアフィンフラグを使用できるように、マージインデックス復号処理がアフィンフラグを考慮することである。これは、ＶＴＭ２．０ではそうではない。ＶＴＭ２．０では、現在のブロックのアフィンフラグが常に同じ値「０」を有するので、マージインデックスのためのコンテキスト変数を取得するために使用することができない。
第１３の実施形態
第１０の実施形態では、現在のブロックのマージインデックスのビットのためのコンテキスト変数が、現在のブロック（現在の符号化ユニット、つまりＣＵ）のためのスキップフラグの値に依存する。
第１３の実施形態では、スキップフラグ値を直接使用してマージインデックスのターゲットビットのコンテキスト変数を導出する代わりに、ターゲットビットのコンテキスト値が、現在のＣＵのスキップフラグを符号化するために使用されるコンテキスト変数から導出される。これは、スキップフラグ自体がＣＡＢＡＣ符号化され、したがってコンテキスト変数を有するために可能である。
好ましくは、現在のＣＵのマージインデックスのターゲットビットに対するコンテキスト変数が、現在のＣＵのスキップフラグを符号化するために使用されるコンテキスト変数に等しく設定される（からコピーされる）。
ターゲットビットは、第１番目のビットのみにすることができる。他のビットは、第１の実施形態のようにバイパス符号化されてもよい。
現在のＣＵのスキップフラグのコンテキスト変数は、ＶＴＭ２．０に規定された方法で導出される。ＶＴＭ２．０リファレンスソフトウェアと比較したこの実施形態の利点は、符号化効率に影響を与えることなく、マージインデックス復号およびデコーダ設計（およびエンコーダ設計）の複雑さが低減されることである。実際に、この実施形態では、現在のＶＴＭマージインデックス符号化（符号化／復号）のための５の代わりに、マージインデックスを符号化するために、最低でも１つのＣＡＢＡＣ状態のみが必要とされる。さらに、他のビットはＣＡＢＡＣバイパス符号化され、ＣＡＢＡＣで全てのビットを符号化するのと比較して演算の数を減らすので、最悪の場合の複雑さを減らす。
第１４の実施形態
第１３の実施形態では、ターゲットビットのコンテキスト値が、現在のＣＵのスキップフラグのコンテキスト変数から導出された。
第１４の実施形態では、ターゲットビットのコンテキスト値が、現在のＣＵのアフィンフラグのコンテキスト変数から導出される。
これは、アフィンフラグ自体がＣＡＢＡＣ符号化され、したがってコンテキスト変数を有するために可能である。
好ましくは、現在のＣＵのマージインデックスのターゲットビットに対するコンテキスト変数が、現在のＣＵのアフィンフラグに対するコンテキスト変数に等しく設定される（からコピーされる）。
ターゲットビットは、第１番目のビットのみにすることができる。他のビットは、第１の実施形態のようにバイパス符号化される。
現在のＣＵのアフィンフラグのコンテキスト変数は、ＶＴＭ２．０に規定された方法で導出される。
ＶＴＭ２．０リファレンスソフトウェアと比較したこの実施形態の利点は、符号化効率に影響を与えることなく、マージインデックス復号およびデコーダ設計（およびエンコーダ設計）の複雑さが低減されることである。実際に、この実施形態では、現在のＶＴＭマージインデックス符号化（符号化／復号）のために５ではなく、最小で１つのＣＡＢＡＣ状態のみがマージインデックスのために必要とされる。さらに、他のビットはＣＡＢＡＣバイパス符号化され、ＣＡＢＡＣで全てのビットを符号化するのと比較して演算の数を減らすので、最悪の場合の複雑さを減らす。
第１５の実施形態
前述の実施形態のいくつかでは、コンテキスト変数が２を超える値、例えば、３つの値０、１、および２を有していた。しかしながら、複雑さを低減し、処理される状態の数を低減するために、許可されるコンテキスト変数値の数を２、例えば、０および１に制限することが可能である。これは、例えば、値２を有する任意の初期コンテキスト変数を１に変更することによって達成することができる。実際には、この単純化が符号化効率に影響を及ぼさないか、または限定された影響しか及ぼさない。
実施形態および他の実施形態の組合せ
前述の実施形態のうちの任意の２つ以上が組み合わされてもよい。
前述の説明は、マージインデックスの符号化および復号に焦点を当ててきた。例えば、第１の実施形態は、ＡＴＭＶＰ候補（古典的マージモードまたは古典的マージスキップモード、すなわち非アフィンマージモードまたは非アフィンマージスキップモードの場合）を含むマージ候補のリストを生成することと、リスト内のマージ候補のうちの１つを選択することと、ＣＡＢＡＣ符号化を使用して、選択されたマージ候補のマージインデックスを生成することと、を含み、マージインデックスの１つまたは複数のビットは、バイパスＣＡＢＡＣ符号化される。原則として、本発明は、動き情報予測子候補のリスト（例えば、アフィンマージ候補または動きベクトル予測子（ＭＶＰ）候補のリスト）を生成することと、リスト内の動き情報予測子候補（例えば、ＭＶＰ候補）のうちの１つを選択することと、リスト内の選択された動き情報予測子候補（例えば、選択されたアフィンマージ候補または現在のブロックの動きベクトルを予測するための選択されたＭＶＰ候補）の識別子またはインデックスを生成することとを含むマージモード（例えば、アフィンマージモード）以外のモードに適用することができる。したがって、本発明はマージモード（すなわち、古典的マージモードおよび古典的マージスキップモード）に限定されず、符号化または復号されるインデックスは、マージインデックスに限定されない。例えば、ＶＶＣの開発において、前述の実施形態の技術は、ＨＥＶＣのＡＭＶＰモード、またはＶＶＣにおけるその同等のモード、またはアフィンマージモードなど、マージモード以外のモードに適用され得る（または拡張され得る）ことが考えられる。添付の特許請求の範囲は、相応に解釈されるべきである。
前述したように、前述の実施形態では、アフィンマージモード（アフィンマージまたはアフィンマージスキップモード）および／または１つまたは複数のアフィンパラメータの１つまたは複数の動き情報候補（たとえば、動きベクトル）は、空間的に隣接するブロック（たとえば、位置Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２）または時間的に関連するブロック（たとえば、コロケートされたブロックを有する「中央」ブロック、または「Ｈ」などのその空間的隣接）の間でアフィン符号化される第１隣接ブロックから取得される。これらの位置は、図６ａおよび図６ｂに示されている。１つまたは複数の動き情報および／または現在のブロック（または現在のＣＵなどの、現在符号化／復号されているサンプル／ピクセル値のグループ）と隣接ブロック（現在のブロックに空間的に隣接するかまたは時間的に関連する）との間のアフィンパラメータのこの取得（例えば、導出するまたは共有するまたは「マージする」）を可能にするために、マージ候補（すなわち、古典的マージモード候補）のリストに、１つまたは複数のアフィンマージ候補が追加され、その結果、選択されたマージ候補（たとえば、ＨＥＶＣ内の「ｍｅｒｇｅ＿ｉｄｘ」などのシンタックス要素またはその機能的に同等のシンタックス要素を使用して、マージインデックスを使用してシグナリングされる）がアフィンマージ候補である場合、現在のＣＵ／ブロックは、アフィンマージ候補とともにアフィンマージモードを使用して符号化／復号される。
上述のように、アフィンマージモードの１つまたは複数の動き情報および／またはアフィンパラメータを取得する（例えば、導出するまたは共有する）ためのそのような１つまたは複数のアフィンマージ候補は、アフィンマージ候補の別個のリスト（またはセット）（古典的マージモードに使用されるマージ候補のリストと同じであっても異なっていてもよい）を使用してシグナリングすることもできる。
本発明の一実施形態によれば、前述の実施形態の技術がアフィンマージモードに適用される場合、アフィンマージ候補のリストは図８に示され、それに関連して説明された古典的マージモードのための動きベクトル導出処理と同じ技術を使用して、または図１３に示され、それに関連して説明されたマージ候補導出処理と同じ技術を使用して生成することができる。（アフィンマージモードまたはアフィンマージスキップモードのための）アフィンマージ候補のこのリストおよび（古典的マージモードまたは古典的マージスキップモードのための）マージ候補のリストを生成／コンパイルするために同じ技術を共有することの利点は、別個の技術を有する場合と比較して、符号化／復号処理の複雑さが低減されることである。
別の実施形態によれば、図２４に関連して以下に示す別個の技術を使用して、アフィンマージ候補のリストを生成／コンパイルすることができる。
図２４は、アフィンマージモード（アフィンマージモードおよびアフィンマージスキップモード）のためのアフィンマージ候補導出処理を示すフローチャートである。導出処理の第１ステップでは、空間的アフィンマージ候補２４１３を取得／導出するために、５つのブロック位置が考慮される（２４０１～２４０５）。これらの位置は、参照番号Ａ１、Ｂ１、Ｂ０、Ａ０、およびＢ２で図６ａ（および図６ｂ）に示される空間的位置である。次のステップでは、空間的動きベクトルの利用可能性がチェックされ、各位置Ａ１、Ｂ１、Ｂ０、Ａ０、およびＢ２に関連付けられたインターモード符号化ブロックの各々が（例えば、アフィンマージ、アフィンマージスキップ、またはアフィンＡＭＶＰモードのいずれか１つを使用して）アフィンモードで符号化されるかどうかが判定される（２４１０）。せいぜい５つの動きベクトル（すなわち、空間的アフィンマージ候補）が選択／取得／導出される。予測子が存在する（例えば、その位置に関連付けられた動きベクトルを取得／導出するための情報がある）場合、およびブロックがイントラ符号化されていない場合、およびブロックがアフィンである場合（すなわち、アフィンモードを使用して符号化されている）には、予測子が利用可能であるとみなされる。
次に、各利用可能なブロック位置について、アフィン動き情報が導出／取得される（２４１１）（２４１０）。この導出は、ブロック位置のアフィンモデル（および、例えば、図１１（ａ）および図１１（ｂ）に関連して説明したそのアフィンモデルパラメータ）に基づいて、現在のブロックに対して実行される。次に、プルーニング処理（２４１２）を適用して、リストに以前に追加された互いに同じアフィン動き補償を与える（または同じアフィンモデルパラメータを有する）候補を除去する。
この段階の最後に、空間的アフィンマージ候補のリストは、５つまでの候補を含む。
候補の数（Ｎｂ＿Ｃａｎｄ）が候補の最大数よりも厳密に少ない場合（２４２６）（ここではＭａｘ＿Ｃａｎｄはビットストリームスライスヘッダでシグナリングされる値で、アフィンマージモードの場合は５に等しくなるが、インプリメンテーションによって異なる／可変になることがある）。
次に、構築されたアフィンマージ候補（すなわち、例えば、ＨＥＶＣにおける結合された双予測マージ候補と同様の役割を果たす、ターゲット番号に近づくだけでなく、何らかのダイバーシティを提供するために生成される追加のアフィンマージ候補）が生成される（２４２８）。これらの構築されたアフィンマージ候補は、現在のブロックの隣接する空間的および時間的位置に関連する動きベクトルに基づいている。まず、アフィンモデルを生成するための動き情報を生成するために、制御点が定義される（２４１８、２４１９、２４２０、２４２１）。これらの制御点のうち２つは、例えば図１１（ａ）と図１１（ｂ）のｖ０とｖ１に対応する。これらの４つの制御点は、現在のブロックの四隅に対応している。
制御点の左上（２４１８）の動き情報は、それが存在し、このブロックがインターモード（２４１４）で符号化されている場合には、位置Ｂ２（２４０５）におけるブロック位置の動き情報から（例えば、それと等しくすることによって）得られる。そわない場合、制御点左上（２４１８）の動き情報は、それが存在し、このブロックがインターモード（２４１４）で符号化されており、そのようなケースではない場合には、（図６ｂに示されるように）位置Ｂ３（２４０６）におけるブロック位置の動き情報から（例えば、それと等しくすることによって）取得され、制御点左上（２４１８）の動き情報は、それが存在し、このブロックがインターモード（２４１４）で符号化されている場合には、（図６ｂに示されるように）位置Ａ２（２４０７）におけるブロック位置の動き情報から（例えば、等しい）取得される。この制御点に利用可能なブロックがない場合、それは利用不可能（利用不可能）であると考えられる。
制御点右上（２４１９）の動き情報は、それが存在し、このブロックがインターモード（２４１５）で符号化されている場合には、位置Ｂ１（２４０２）にあるブロック位置の動き情報から得られる（例えば、それに等しい）。そわない場合、制御点右上（２４１９）の動き情報は、それが存在し、このブロックがインターモード（２４１５）で符号化されている場合には、位置Ｂ０（２４０３）におけるブロック位置の動き情報から（例えば等しい）取得される。この制御点に利用可能なブロックがない場合、それは利用不可能（利用不可能）であると考えられる。
制御点左下（２４２０）の動き情報は、それが存在し、このブロックがインターモード（２４１６）で符号化されている場合には、位置Ａ１（２４０１）にあるブロック位置の動き情報から得られる（例えば、等しい）。そわなければ、制御点左下（２４２０）の動き情報は、それが存在し、このブロックがインターモード（２４１６）で符号化されている場合には、位置Ａ０（２４０４）にあるブロック位置の動き情報から得られる（例えば、等しい）。この制御点に利用可能なブロックがない場合、それは利用不可能（利用不可能）であると考えられる。
制御点右下（２４２１）の動き情報は、それが存在し、このブロックがインターモード（２４１７）で符号化されている場合には、時間的候補の動き情報、例えば、位置Ｈ（２４０８）におけるコロケートされたブロック位置（図６ａに示すように）、から得られる（例えば、等しい）。この制御点に利用可能なブロックがない場合、それは利用不可能（利用不可能）であると考えられる。
これらの制御点に基づいて、最大１０個の構築されたアフィンマージ候補を生成することができる（２４２８）。これらの候補は、４つ、３つ、または２つの制御点を有するアフィンモデルに基づいて生成される。例えば、第１の構築されたアフィンマージ候補は、４つの制御点を使用して生成されてもよい。次に、以下の４つの構築されたアフィンマージ候補は、３つの制御点の４つの異なるセット（すなわち、４つの利用可能な制御点のうちの３つを含むセットの４つの異なる可能な組み合わせ）を使用して生成することができる４つの可能性である。次いで、他の構築されたアフィンマージ候補は、２つの制御点の異なるセット（すなわち、４つの制御点のうちの２つを含むセットの異なる可能な組み合わせ）を使用して生成されたものである。
候補の数（Ｎｂ＿Ｃａｎｄ）が、これらの追加の（構築された）アフィンマージ候補を追加した後に、候補の最大数（Ｍａｘ＿Ｃａｎｄ）よりも厳密に少ないままである場合（２４３０）、アフィンマージ候補のリスト内の候補の数が目標数（例えば、候補の最大数）に達するまで、ゼロ動きベクトル候補（または、適用可能な場合には結合された双予測マージ候補）などの他の追加の仮想動き情報候補が追加／生成される（２４３２）。
この処理の最後に、アフィンマージモード候補のリストまたはセット（すなわち、アフィンマージモードおよびアフィンマージスキップモードであるアフィンマージモードの候補のリストまたはセット）が生成／構築される（２４３４）。図２４に示すように、アフィンマージ（動きベクトル予測子）候補のリストまたはセットは、空間的候補のサブセット（２４０１～２４０７）および時間的候補（２４０８）から構築／生成される（２４３４）。本発明の実施形態によれば、アフィンマージ候補のリスト／セットを生成するために、利用可能性、プルーニング処理、または潜在的候補の数／タイプをチェックするための異なる順序を有する他のアフィンマージ候補導出処理（例えば、ＡＴＭＶＰ候補も、図１３または図１６のマージ候補リスト導出処理と同様の方法で追加することができる）を使用することもできることを理解されたい。
以下の実施形態は、アフィンマージ候補のリスト（またはセット）をどのように使用して、選択されたアフィンマージ候補（マージモードに使用されるマージインデックス、または特にアフィンマージモードで使用される別個のアフィンマージインデックスを使用してシグナリングすることができる）をシグナリングする（例えば、符号化または復号する）ことができるかを示す。
以下の実施形態では、マージモード（すなわち、後に定義されるアフィンマージモード以外のマージモード、言い換えれば、古典的非アフィンマージモードまたは古典的非アフィンマージスキップモード）は、空間的に隣接するブロックまたは時間的に関連するブロックのいずれかの動き情報が現在のブロックについて取得される（または現在のブロックについて導出される、または現在のブロックと共有される）場合のマージモードのタイプであり、マージモード予測子候補（すなわち、マージ候補）は、マージモードで現在のブロックが動き情報を取得／導出することができる、１つまたは複数の空間的に隣接するブロックまたは時間的に関連するブロックに関する情報であり、マージモード予測子は、選択されたマージモード予測子候補であり、その情報は、現在のブロックの動き情報を予測するとき、およびマージモード（例えば符号化または復号）処理にてシグナリングする間に使用され、マージモード予測子候補のリスト（またはセット）からマージモード予測子を識別するインデックス（例えばマージインデックス）がシグナリングされ、アフィンマージモードは、現在のブロックの動き情報および／またはアフィンモード処理（またはアフィン動きモデル処理）のためのアフィンパラメータが、この取得された／導出された／共有された動き情報が使用できるように、空間的に隣接しているブロックまたは時間的に関連するブロックのいずれかの動き情報が現在のブロックについて取得される（現在のブロックについて導出される、または現在のブロックと共有される）場合におけるマージモードのタイプであり、アフィンマージモード予測子候補（すなわちアフィンマージ候補）は、アフィンマージモードにおいて現在のブロックが動き情報を取得／導出できる、１つまたは複数の空間的に隣接しているブロックまたは時間的に関連するブロックに関する情報であり、アフィンマージモード予測子は、選択されたアフィンマージモード予測子候補であり、その情報は、現在のブロックの動き情報を予測するとき、およびアフィンマージモード（例えば符号化または復号）処理にてシグナリングする間に、アフィン動きモデルにおいて使用可能であり、アフィンマージモード予測子候補のリスト（またはセット）からアフィンマージモード予測子を識別するインデックス（例えばアフィンマージインデックス）がシグナリングされる。以下の実施形態では、アフィンマージモードが候補のリスト／セット（「アフィンマージリスト」または「サブブロックマージリスト」としても知られる）から１つのアフィンマージモード予測子候補を識別するためのそれ自体のアフィンマージインデックス（変数である識別子）を有するマージモードであり、それに関連する単一のインデックス値を有するのとは対照的に、アフィンマージインデックスは、その特定のアフィンマージモード予測子候補を識別するためにシグナリングされることが理解される。
以下の実施形態では、「マージモード」は、ＨＥＶＣ／ＪＥＭ／ＶＴＭにおける古典的なマージスキップモードまたは古典的なマージモードまたは任意の機能的に同等のモードのいずれか１つを指し、上記のような動き情報の取得（例えば、導出または共有）およびマージインデックスのシグナリングが上記モードで使用されることを条件とする。「アフィンマージモード」は、アフィンマージモードまたはアフィンマージスキップモード（存在する場合、そのような取得／導出を使用する）のいずれか一方、あるいは同一の特徴が上記モードで使用されることを条件とする、任意の他の機能的に同等のモードも指すことを理解されたい。
第１６の実施形態
第１６の実施形態では、アフィンマージ候補のリストからアフィンマージモード予測子（候補）を識別するための動き情報予測子インデックスが、ＣＡＢＡＣ符号化を使用してシグナリングされ、動き情報予測子インデックスの１つまたは複数のビットは、バイパスＣＡＢＡＣ符号化される。
実施形態の第１の変形例によれば、エンコーダにおいて、アフィンマージモードのための動き情報予測子インデックスは、動き情報予測子候補のリストを生成し、リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として選択し、ＣＡＢＡＣ符号化を使用して、選択された動き情報予測子候補のための動き情報予測子インデックスを生成する、ことによって符号化され、動き情報予測子インデックスの１つまたは複数のビットは、バイパスＣＡＢＡＣ符号化される。次に、この選択された動き情報予測子候補に対するインデックスを示すデータが、ビットストリームに含まれる。次に、デコーダは、このデータを含むビットストリームから、動き情報予測子候補のリストを生成し、ＣＡＢＡＣ復号を使用して動き情報予測子インデックスを復号し、動き情報予測子インデックスの１つまたは複数のビットはバイパスＣＡＢＡＣ復号され、アフィンマージモードが使用されるときに、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として識別する、ことによって、アフィンマージモードのための動き情報予測子インデックスを復号する。
第１の変形例のさらなる変形例によれば、マージモードが使用されるときに、デコーダが復号された動き情報予測子インデックス（例えば、マージインデックス）を使用して、リスト内の動き情報予測子候補のうちの１つをマージモード予測子として識別することができるように、リスト内の動き情報予測子候補のうちの１つも、マージモードが使用されるときに、マージモード予測子として選択可能である。このさらなる変形例では、アフィンマージインデックスが、アフィンマージモード予測子（候補）をシグナリングするために使用され、アフィンマージインデックスをシグナリングすることは、第１～第１５の実施形態のいずれか１つによるマージインデックスシグナリング、または現在のＶＴＭまたはＨＥＶＣで使用されるマージインデックスシグナリングに類似するインデックスシグナリングを使用して実装される。
この変形例では、マージモードが使用される場合、マージインデックスをシグナリングすることは、は第１～第１５の実施形態のいずれか１つによるマージインデックスシグナリング、または現在のＶＴＭまたはＨＥＶＣで使用されるマージインデックスシグナリングを使用して実施することができる。この変形例では、アフィンマージインデックスをシグナリングすることと、マージインデックスをシグナリングすることと、は異なるインデックスシグナリングスキームを使用することができる。この変形例の利点は、アフィンマージモードとマージモードの両方に対して効率的なインデックス符号化／シグナリングを使用することによって、より良好な符号化効率を達成することである。さらに、この変形例では、マージインデックス（ＨＥＶＣの”Ｍｅｒｇｅ＿ｉｄｘ［］［］”またはその機能的に同等なものなど）と、アフィンマージインデックス（”Ａ＿Ｍｅｒｇｅ＿ｉｄｘ［］［］”など）に別個のシンタックス要素を使用できる。これにより、マージインデックスとアフィンマージインデックスを個別にシグナリング（符号化／復号）できるようになる。
さらに別のさらなる変形例によれば、マージモードが使用され、リスト内の動き情報予測子候補のうちの１つもマージモード予測子として選択可能である場合、ＣＡＢＡＣ符号化は、両方のモードについて、すなわちアフィンマージモードが使用される場合、およびマージモードが使用される場合に、現在のブロックの動き情報予測子インデックス（たとえば、マージインデックスまたはアフィンマージインデックス）の少なくとも１つのビットについて同じコンテキスト変数を使用し、その結果、アフィンマージインデックスおよびマージインデックスの少なくとも１つのビットは、同じコンテキスト変数を共有する。次に、デコーダは、マージモードが使用されるとき、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つをマージモード予測子として識別し、ＣＡＢＡＣ復号は、両方のモードについて、すなわち、アフィンマージモードが使用されるとき、およびマージモードが使用されるときに、現在のブロックの動き情報予測子インデックスの少なくとも１つのビットについて同じコンテキスト変数を使用する。
実施形態の第２の変形例によれば、エンコーダにおいて、動き情報予測子インデックスは、動き情報予測子候補のリストを生成し、アフィンマージモードが使用されるとき、リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として選択し、マージモードが使用されるとき、リスト内の動き情報予測子候補のうちの１つをマージモード予測子として選択し、ＣＡＢＡＣ符号化を使用して、選択された動き情報予測子候補のための動き情報予測子インデックスを生成する、ことによって符号化され、動き情報予測子インデックスの１つまたは複数のビットは、バイパスＣＡＢＡＣ符号化される。次に、この選択された動き情報予測子候補に対するインデックスを示すデータが、ビットストリームに含まれる。次に、デコーダは、ビットストリームから、動き情報予測子インデックスを、動き情報予測子候補のリストを生成し、ＣＡＢＡＣ復号を使用して動き情報予測子インデックスを復号し、動き情報予測子インデックスの１つまたは複数のビットはバイパスＣＡＢＡＣ復号され、アフィンマージモードが使用される場合、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として識別し、マージモードが使用される場合、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つをマージモード予測子として識別する、ことによって復号する。
第２の変形例のさらなる変形例によれば、アフィンマージインデックスシグナリングおよびマージインデックスシグナリングは、第１～第１５の実施形態のいずれか１つによる同じインデックスシグナリング方式、または現在のＶＴＭまたはＨＥＶＣで使用されるマージインデックスシグナリングを使用する。このさらなる変形例の利点は、実施中の単純な設計であり、これはまた、より少ない複雑さにつながり得る。この変形例では、アフィンマージモードが使用されるとき、エンコーダのＣＡＢＡＣ符号化は、現在のブロックの動き情報予測子インデックス（アフィンマージインデックス）の少なくとも１つのビットのためのコンテキスト変数を使用することを含み、コンテキスト変数は、マージモードが使用されるときには、動き情報予測子インデックス（マージインデックス）の少なくとも１つのビットのための別のコンテキスト変数から分離可能であり、アフィンマージモードの使用を示すデータは、アフィンマージモードおよびマージモードのためのコンテキスト変数が、ＣＡＢＡＣ復号処理のために区別される（明確に識別される）ことができるように、ビットストリームに含まれる。次に、デコーダは、ビットストリームから、ビットストリームにおけるアフィンマージモードの使用を示すためのデータを取得し、アフィンマージモードが使用されるとき、ＣＡＢＡＣ復号は、このデータを使用して、アフィンマージインデックスおよびマージインデックスのためのコンテキスト変数間で区別する。さらに、デコーダでは、アフィンマージモードの使用を示すためのデータが、取得されたデータがアフィンマージモードの使用を示すときに、アフィンマージモード予測子候補のリスト（またはセット）を生成したり、取得されたデータがマージモードの使用を示すときには、マージモード予測子候補のリスト（またはセット）を生成したりするためにも使用できる。
この変形例は、マージインデックスおよびアフィンマージインデックスの両方が同じインデックスシグナリングスキームを使用してシグナリングされることを可能にし、一方、マージインデックスおよびアフィンマージインデックスは依然として、（例えば、別個のコンテキスト変数を使用することによって）互いに独立して符号化／復号される。
同じインデックスシグナリングスキームを使用する１つの方法は、アフィンマージインデックスとマージインデックスの両方に同じシンタックス要素を使用することであり、つまり、アフィンマージモードが使用されている場合とマージモードが使用されている場合、選択された動き情報予測子候補の動き情報予測子インデックスは、どちらの場合も同じシンタックス要素を使用して符号化される。次に、デコーダでは、アフィンマージモードまたはマージモードを使用して現在のブロックが符号化された（かつ復号されている）かどうかにかかわらず、ビットストリームから同じシンタックス要素を解析することによって、動き情報予測子インデックスが復号される。
図２２は、第１６の実施形態のこの変形例による、符号化モード（すなわち、同じインデックスシグナリングスキーム）に関連するいくつかのシンタックス要素の部分復号処理を示す。この図は、アフィンマージモード（２２５７：Ｙｅｓ）のためのアフィンマージインデックス（２２５５－「マージｉｄｘアフィン」）と、同じインデックスシグナリングスキームを有するマージモード（２２５７：Ｎｏ）のためのマージインデックス（２２５８－「マージｉｄｘ」）と、のシグナリングを示す。いくつかの変形例では、アフィンマージ候補リストが、現在のＶＴＭのマージ候補リストのようにＡＴＭＶＰ候補を含むことができることを理解されたい。アフィンマージインデックスの符号化は、図１０（ａ）および図１０（ｂ）に示すように、マージモードのマージインデックスの符号化と同様である。いくつかの変形例では、アフィンマージ候補導出でＡＴＭＶＰマージ候補が定義されていなくても、アフィンマージ候補リスト内の候補の最大数がマージ候補リスト内の候補の最大数と一致するように、ＡＴＭＶＰが最大５つの他の候補（つまり、合計６つの候補）でマージモードに対してイネーブルになっている場合、アフィンマージインデックスは図１０（ｂ）で説明されているように符号化される。したがって、アフィンマージインデックスの各ビットは、それ自体のコンテキストを有する。マージインデックスシグナリングのビットに使用されるすべてのコンテキスト変数は、アフィンマージインデックスシグナリングのビットに使用されるコンテキスト変数とは無関係である。
さらなる変形例によれば、マージインデックスおよびアフィンマージインデックスシグナリングによって共有されるこの同じインデックスシグナリングスキームは、第１の実施形態と同様に、第１ビンのみについてＣＡＢＡＣ符号化を使用する。すなわち、動き情報予測子インデックスの第１番目のビットを除く全てのビットは、バイパスＣＡＢＡＣ符号化される。第１６の実施形態のこのさらなる変形例では、ＡＴＭＶＰがマージ候補のリストまたはアフィンマージ候補のリストのうちの１つに候補として含まれる場合（たとえば、ＡＴＭＶＰがＳＰＳレベルでイネーブルされる場合）、各インデックス（すなわち、マージインデックスまたはアフィンマージインデックス）の符号化は、インデックスの第１番目のビットのみが、図１４に示されるように単一のコンテキスト変数を使用してＣＡＢＡＣによって符号化されるように修正される。この単一のコンテキストは、ＡＴＭＶＰがＳＰＳレベルでイネーブルされない場合に、現在のＶＴＭリファレンスソフトウェアと同じ方法で設定される。他のビット（リストに５つの候補のみ存在する場合は、２番目のビットから５番目のビットまたは４番目のビット）は、バイパス符号化される。マージ候補リストにＡＴＭＶＰが候補として含まれていない場合（例えば、ＳＰＳレベルでＡＴＭＶＰがディスエーブルされている場合）、利用可能な５つのマージ候補と５つのアフィンマージ候補がある。マージモードのためのマージインデックスの第１番目のビットのみが、第１の単一のコンテキスト変数を使用してＣＡＢＡＣによって符号化される。そして、アフィンマージモードのためのアフィンマージインデックスの第１番目のビットのみが、第２の単一のコンテキスト変数を使用してＣＡＢＡＣによって符号化される。これらの第１と第２のコンテキスト変数は、マージインデックスとアフィンマージインデックスの両方でＡＴＭＶＰがＳＰＳレベルでイネーブルされていない場合、現在のＶＴＭリファレンスソフトウェアと同じ方法で設定される。他のビット（２番目から４番目のビットまで）は、バイパス復号される。
デコーダは、エンコーダと同じマージ候補のリストおよび同じアフィンマージ候補のリストを生成する。これは図２２の方法を使用することによって達成される。マージモードおよびアフィンマージモードの両方に同じインデックスシグナリングスキームが使用されるが、アフィンフラグ（２２５６）を使用して、現在復号されているデータがマージインデックスまたはアフィンマージインデックスに対するものであるかどうかを判定し、その結果、第１および第２コンテキスト変数がＣＡＢＡＣ復号処理のために互いに分離可能（または区別可能）である。すなわち、アフィンフラグ（２２５６）は、インデックス復号処理中に使用され（すなわち、ステップ２２５７で使用され）、「マージｉｄｘ２２５８」または「マージｉｄｘアフィン２２５５」を復号するかどうかを決定する。ＡＴＭＶＰがマージ候補のリストに候補として含まれていない場合（たとえば、ＡＴＭＶＰがＳＰＳレベルでディスエーブルされている場合）、候補のリストの両方に５つのマージ候補がある（マージモードとアフィンマージモードについて）。マージインデックスの第１番目のビットのみが、第１の単一コンテキスト変数を使用してＣＡＢＡＣによって復号される。そして、アフィンマージインデックスの第１番目のビットのみが、第２の単一コンテキスト変数を使用してＣＡＢＡＣによって復号される。他のすべてのビット（２番目から４番目のビットまで）は、バイパス復号される。現在のリファレンスソフトウェアとは対照的に、ＡＴＭＶＰがマージ候補のリストに候補として含まれる場合（例えば、ＡＴＭＶＰがＳＰＳレベルでイネーブルされる場合）、マージインデックスの復号において第１の単一コンテキスト変数を使用し、およびアフィンマージインデックスの復号において第２の単一コンテキスト変数を使用して、マージインデックスの第１番目のビットのみがＣＡＢＡＣによって復号される。他のビット（２番目から５番目のビットまたは４番目のビット）は、バイパス復号される。復号されたインデックスは次に、対応する候補のリスト（すなわち、マージ候補またはアフィンマージ候補）からエンコーダによって選択された候補を識別するために使用される。
この変形例の利点は、マージインデックスおよびアフィンマージインデックスの両方に対して同じインデックスシグナリングスキームを使用することにより、符号化効率に著しい影響を与えることなく、これら２つの異なるモードを実施するためのインデックス復号およびデコーダ設計（およびエンコーダ設計）の複雑さが低減されることである。実際、この変数では、マージインデックスのすべてのビットおよびアフィンマージインデックスのすべてのビットがＣＡＢＡＣ符号化／復号される場合の９または１０の代わりに、２つのＣＡＢＡＣ状態（第１および第２の単一コンテキスト変数のそれぞれに１つ）のみがインデックスシグナリングに必要とされる。さらに、他のすべてのビット（第１番目のビットは別として）がＣＡＢＡＣバイパス符号化されるため、最悪の場合の複雑さが低減され、ＣＡＢＡＣによるすべてのビットの符号化と比較して、ＣＡＢＡＣ符号化／復号処理中に必要とされる動作の数が低減される。
さらに別のさらなる変形例によれば、ＣＡＢＡＣ符号化または復号は、アフィンマージモードが使用されるときとマージモードが使用されるときの両方のために、現在のブロックの動き情報予測子インデックスの少なくとも１つのビットに対して同じコンテキスト変数を使用する。このさらなる変形例では、マージインデックスの第１番目のビットとアフィンマージインデックスの第１番目のビットに使用されるコンテキスト変数が、どのインデックスが符号化または復号されているかに依存せず、つまり、（前の変形例からの）第１および第２の単一コンテキスト変数は区別／分離されず、１つと同じ単一コンテキスト変数である。したがって、前の変形例とは対照的に、マージインデックスおよびアフィンマージインデックスは、ＣＡＢＡＣ処理中に１つのコンテキスト変数を共有する。図２３に示されるように、インデックスシグナリングスキームは、マージインデックスとアフィンマージインデックスの両方について同じであり、すなわち、１つのタイプのインデックス「マージｉｄｘ（２３０８）」のみが、両方のモードについて符号化または復号される。ＣＡＢＡＣデコーダに関する限り、マージインデックスおよびアフィンマージインデックスの両方に同じシンタックス要素が使用され、コンテキスト変数を考慮する際にそれらを区別する必要はない。したがって、図２２のステップ（２２５７）のように、現在のブロックがアフィンマージモードで符号化される（復号される）かどうかを判定するためにアフィンフラグ（２３０６）を使用する必要はなく、１つのインデックス（「マージｉｄｘ」）だけが復号を必要とするので、図２３のステップ２３０６の後に分岐はない。アフィンフラグは、アフィンマージモードで、すなわちＣＡＢＡＣデコーダがインデックスを復号した後の予測処理中に（「マージｉｄｘ」）、動き情報予測を実行するために使用される。さらに、このインデックスの第１番目のビット（すなわち、マージインデックスおよびアフィンマージインデックス）のみが、１つの単一コンテキストを使用してＣＡＢＡＣによって符号化され、他のビットは、第１の実施形態について説明したようにバイパス符号化される。したがって、このさらなる変形例では、マージインデックスとアフィンマージインデックスの第１番目のビットの１つのコンテキスト変数が、マージインデックスとアフィンマージインデックスシグナリングの両方によって共有される。候補のリストのサイズがマージインデックスとアフィンマージインデックスとで異なる場合、各ケースの関連するインデックスをシグナリングするための最大ビット数も異なる可能性があり、つまり、それらは互いに独立している。したがって、バイパス符号化ビットの数は、必要に応じて、アフィンフラグ（２３０６）の値に従って、例えば、ビットストリームからの関連するインデックスのためのデータの構文解析を可能にするように、適宜調整することができる。
この変形例の利点は、符号化効率に著しい影響を及ぼすことなく、マージインデックスおよびアフィンマージインデックス復号処理およびデコーダ設計（およびエンコーダ設計）の複雑さが低減されることである。実際、このさらなる変形例では、マージインデックスおよびアフィンマージインデックスの両方をシグナリングするときに、前の変形例または９または１０のＣＡＢＡＣ状態の代わりに、１つのＣＡＢＡＣ状態のみが必要とされる。さらに、他のすべてのビット（第１番目のビットは別として）がＣＡＢＡＣバイパス符号化されるため、最悪の場合の複雑さが低減され、ＣＡＢＡＣによるすべてのビットの符号化と比較して、ＣＡＢＡＣ符号化／復号処理中に必要とされる動作の数が低減される。
この実施形態の前述の変形例では、アフィンマージインデックスシグナリングおよびマージインデックスシグナリングが、第１～第１５の実施形態のいずれかで説明したように、１つまたは複数のコンテキストを共有することができる。この利点は、これらのインデックスを符号化または復号するのに必要なコンテキストの数が減少することによる複雑さの減少である。
この実施形態の前述の変形例では、動き情報予測子候補が、方向、リストのＩＤ、参照フレームインデックス、および動きベクトルのうちの１つまたは複数を取得する（または導出する）ための情報を備える。好ましくは、動き情報予測子候補が、動きベクトル予測子候補を得るための情報を含む。好ましい変形例では、動き情報予測子インデックス（例えば、アフィンマージインデックス）は、アフィンマージモード予測子候補をシグナリングするために使用され、アフィンマージインデックスシグナリングは、第１～第１５の実施形態のいずれか１つによるマージインデックスシグナリング、または現在のＶＴＭまたはＨＥＶＣで使用されるマージインデックスシグナリング（マージ候補としてアフィンマージモードの動き情報予測子候補を伴う）に類似するインデックスシグナリングを使用して実装される。
本実施形態の前述の変形例では、動き情報予測子候補の生成されたリストが、第１の実施形態のように、または他の前述の第２から第１５の実施形態のいくつかの変形例のように、ＡＴＭＶＰ候補を含む。あるいは、動き情報予測子候補の生成されたリストが、ＡＴＭＶＰ候補を含まない。
本実施形態の前述の変形例では、マージインデックスおよびアフィンマージインデックスの候補のリストに含めることができる候補の最大数は固定である。マージインデックスとアフィンマージインデックスの候補のリストに含めることができる候補の最大数は同じであってもよい。そして、動き情報予測子候補の生成されたリストに含まれ得る動き情報予測子候補の最大数（またはターゲット数）を決定する（または示す）ためのデータが、エンコーダによってビットストリームに含まれ、デコーダはビットストリームから、動き情報予測子候補の生成されたリストに含まれ得る動き情報予測子候補の最大数（またはターゲット数）を決定するためのデータを取得する。これにより、マージインデックスまたはアフィンマージインデックスを復号するためのデータをビットストリームから解析できる。最大数（またはターゲット数）を決定する（または示す）ためのこのデータは、復号されたときの最大数（またはターゲット数）そのものであってもよく、またはデコーダが他のパラメータ／シンタックス要素、例えば、ＨＥＶＣで使用される「ｆｉｖｅ＿ｍｉｎｕｓ＿ｍａｘ＿ｎｕｍ＿ｍｅｒｇｅ＿ｃａｎｄ」または「ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ－１」またはその機能的に同等のパラメータと関連して、この最大／ターゲット数を決定することを可能にしてもよい。
あるいは、マージインデックスおよびアフィンマージインデックスの候補のリスト内の候補の最大数（またはターゲット数）が変化しうる若しくは異なりうる場合（ＡＴＭＶＰ候補または他の任意の候補の使用が一方のリストに対してイネーブルまたはディスエーブルされているが、他方のリストに対してはされていないから、または、リストが異なる候補リスト生成／導出処理を使用しているから、など）、アフィンマージモードが使用される場合、およびマージモードが使用されている場合に、動き情報予測子候補の生成されたリストに含まれ得る動き情報予測子候補の最大数（またはターゲット数）が、別々に決定可能であり、エンコーダがビットストリームに最大数／ターゲット数を決定するためのデータを含める。次に、デコーダはビットストリームから、最大／ターゲット数を決定するためのデータを取得し、取得したデータを使用して、動き情報予測子インデックスを解析または復号する。次に、アフィンフラグを使用して、例えば、マージインデックスの解析または復号と、アフィンマージインデックスと、を切り替えることができる。
本発明の実施形態の実施
前述の実施形態のうちの１つまたは複数は、図３の処理デバイス３００のプロセッサ３１１、または図５のデコーダ６０の、図１７のＣＡＢＡＣコーダの、図４のエンコーダ４００の対応する機能モジュール／ユニット、またはその対応するＣＡＢＡＣデコーダによって実装され、１つまたは複数の前述の実施形態の方法ステップを実行する。
図１９は、本発明の１つまたは複数の実施形態の実施のためのコンピューティングデバイス１３００の概略ブロック図である。コンピューティングデバイス１３００は、マイクロコンピュータ、ワークステーション、またはライトポータブルデバイスなどのデバイスであってもよい。コンピューティングデバイス１３００は、－マイクロプロセッサなどの中央処理装置（ＣＰＵ）２００１；－本発明の実施形態の方法の実行可能コードを記憶するためのランダムアクセスメモリ（ＲＡＭ）２００２ならびに本発明の実施形態に係る画像の少なくとも一部を符号化または復号するための方法を実現するために必要な変数およびパラメータを記録するためのレジスタ、これらのメモリ容量が例えば、拡張ポートに接続されたオプションのＲＡＭによって拡張することができる；－本発明の実施形態を実現するためのコンピュータプログラムを記憶するリードオンリーメモリ（ＲＯＭ）２００３；－処理されるデジタルデータが送信または受信される通信ネットワークに典型的に接続されるネットワークインターフェース（ＮＥＴ）２００４、に接続された通信バスを備える。ネットワークインターフェース（ＮＥＴ）２００４は、単一のネットワークインターフェースであってもよいし、異なるネットワークインターフェース（例えば、有線および無線インターフェース、または異なる種類の有線または無線インターフェース）のセットで構成されてもよい。データパケットは、ＣＰＵ２００１で実行されるソフトウェアアプリケーションの制御の下で、送信のためにネットワークインターフェースに書き込まれるか、または受信のためにネットワークインターフェースから読み出される。－ユーザからの入力を受信したり、ユーザに情報を表示するためにユーザインターフェース（ＵＩ）２００５が使用されてもよい。－大容量記憶装置としてハードディスク（ＨＤ）２００６が提供されてもよい。－入力／出力モジュール（ＩＯ）２００７が、ビデオソースやディスプレイなどの外部装置との間でデータを送受信するために使用されてもよい。実行可能コードは、ＲＯＭ２００３、ＨＤ２００６、または例えばディスクのようなリムーバブルデジタル媒体のいずれかに格納することができる。変形例によれば、プログラムの実行可能コードは、実行される前に、ＨＤ２００６などの通信装置１３００の記憶手段の１つに記憶されるために、ＮＥＴ２００４を介して、通信ネットワークによって受信することができる。ＣＰＵ２００１は、前述の記憶手段の１つに命令が格納されている、本発明の実施形態によるプログラムまたはプログラムのソフトウェアコードの命令または部分の実行を制御および指示するように適合される。電源投入後、ＣＰＵ２００１は、例えば、プログラムＲＯＭ２００３またはＨＤ２００６からこれらの命令がロードされた後に、メインＲＡＭメモリ２００２から、ソフトウェアアプリケーションに関する命令を実行することができる。このようなソフトウェアアプリケーションは、ＣＰＵ２００１によって実行されると、本発明による方法のステップを実行させる。
また、本発明の他の実施形態によれば、コンピュータ、携帯電話（携帯電話）、タブレット、またはユーザにコンテンツを提供／表示することができる他の任意のタイプのデバイス（例えば、ディスプレイ装置）などのユーザ端末に、前述の実施形態によるデコーダが提供されることも理解される。さらに別の実施形態によれば、前述の実施形態によるエンコーダは、エンコーダがエンコードするためのコンテンツをキャプチャおよび提供するカメラ、ビデオカメラ、またはネットワークカメラ（例えば、閉回路テレビまたはビデオ監視カメラ）も備える画像キャプチャ装置において提供される。２つのこのような例を、図２０および２１を参照して以下に提供する。
図２０は、ネットワークカメラ２１０２及びクライアント装置２１０４を含むネットワークカメラシステム２１００を示す図である。
ネットワークカメラ２１０２は、撮像部２１０６と、符号化部２１０８と、通信部２１１０と、制御部２１１２とを有している。
ネットワークカメラ２１０２とクライアント装置２１０４とは、ネットワーク２００を介して互いに通信可能に相互に接続されている。
撮像部２１０６は、レンズおよび撮像素子（例えば、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ））を含み、物体の画像を撮像し、その画像に基づいて画像データを生成する。この画像は静止画像であってもよいし、ビデオ画像であってもよい。また、撮像部は、（光学的またはデジタル的に）ズームまたはパンするように適合されたズーム手段および／またはパン手段を備えてもよい。
符号化部２１０８は、第１～第１６の実施形態で説明した符号化方法を用いて画像データを符号化する。符号化部２１０８は、第１～第１６の実施形態で説明した符号化方法の少なくとも１つを用いる。他の例では、符号化部２１０８は、第１～第１６の実施形態で説明した符号化方法の組合せを用いることができる。
ネットワークカメラ２１０２の通信部２１１０は、符号化部２１０８で符号化された符号化画像データをクライアント装置２１０４に送信する。
また、通信部２１１０は、クライアント装置２１０４からのコマンドを受信する。コマンドは、符号化部２１０８の符号化のためのパラメータを設定するコマンドを含む。
制御部２１１２は、通信部２１１０が受信したコマンドに従って、ネットワークカメラ２１０２内の他のユニットを制御する。
クライアント装置２１０４は、通信部２１１４と、復号部２１１６と、制御部２１１８とを有する。
クライアント装置２１０４の通信部２１１４は、ネットワークカメラ２１０２にコマンドを送信する。
また、クライアント装置２１０４の通信部２１１４は、ネットワークカメラ２１０２から符号化画像データを受信する。
復号部２１１６は、第１～第１６の実施形態のいずれかで説明した復号方法を用いて、符号化画像データを復号する。他の例では、復号部２１１６は、第１～第１６の実施形態で説明した復号方法の組合せを用いることができる。
クライアント装置２１０４の制御部２１１８は、通信部２１１４が受信したユーザ操作やコマンドに従って、クライアント装置２１０４内の他のユニットを制御する。
クライアント装置２１０４の制御部２１１８は、復号部２１１６で復号された画像を表示するように表示装置２１２０を制御する。
また、クライアント装置２１０４の制御部２１１８は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示するように表示装置２１２０を制御し、符号化部２１０８の符号化のためのパラメータを含むネットワークカメラ２１０２のパラメータの値を指定する。
また、クライアント装置２１０４の制御部２１１８は、表示装置２１２０が表示するＧＵＩに対するユーザ操作入力に応じて、クライアント装置２１０４内の他のユニットを制御する。
クライアント装置２１０４の制御部２１１８は、表示装置２１２０が表示するＧＵＩに対するユーザ操作入力に応じて、ネットワークカメラ２１０２のパラメータの値を指定するコマンドをネットワークカメラ２１０２に送信するように、クライアント装置２１０４の通信部２１１４を制御する。
ネットワークカメラシステム２１００は、ビデオの記録中にカメラ２１０２がズームまたはパンを利用するかどうかを判定することができ、このような情報は、ビデオストリームを撮影中のズームまたはパンとして符号化するときに使用することができ、ズーム、回転、および／または伸張（特にレンズが「魚眼」レンズである場合、パンニングの副作用であり得る）などの複雑な動きを符号化するのによく適したアフィンモードの使用から利益を得ることができる。
図２１は、スマートフォン２２００を示す図である。
スマートフォン２２００は、通信部２２０２と、復号／符号化部２２０４と、制御部２２０６と、表示部２２０８とを備える。
通信部２２０２は、ネットワーク２００を介して符号化画像データを受信する。
復号部２２０４は、通信部２２０２が受信した符号化画像データを復号する。
復号部２２０４は、第１～第１６の実施形態で説明した復号方法を用いて、符号化画像データを復号する。復号部２２０４は、第１～第１６の実施形態で説明した復号方法の少なくとも１つを用いることができる。他の例では、復号／符号化部２２０４は、第１～第１６の実施形態で説明した復号方法の組合せを用いることができる。
制御部２２０６は、通信部２２０２が受信したユーザ操作やコマンドに応じて、スマートフォン２２００内の他のユニットを制御する。
例えば、制御部２２０６は、復号部２２０４により復号された画像を表示するように表示装置２２０８を制御する。
スマートフォンは、画像またはビデオを記録するための画像記録デバイス２２１０（例えば、デジタルカメラおよび関連する回路）をさらに備えることができる。このような記録された画像やビデオは、制御部２２０６の指示の下、復号／符号化部２２０４によって符号化されてもよい。
スマートフォンはさらに、モバイルデバイスの向きを感知するように構成されたセンサ２２１２を備えてもよい。このようなセンサは、加速度計、ジャイロスコープ、コンパス、全地球測位（ＧＰＳ）ユニット又は同様の位置センサを含むことができる。そのようなセンサ２２１２は、スマートフォンが向きを変えているかどうかを判定することができ、そのような情報は、撮影中の向きの変化としてビデオストリームを符号化するときに使用され、回転のような複雑な動きを符号化するのによく適したアフィンモードの使用から利益を得ることができる。
代替および変更
本発明の目的は、アフィンモードが最も効率的な方法で利用されることを保証することであり、上述の特定の例は、アフィンモードが有用であると知覚される可能性に応じて、アフィンモードの使用をシグナリングすることに関することが理解されるのであろう。これのさらなる例は、複雑な動き（アフィン変換が特に効率的である場合がある）が符号化されていることが知られている場合に、エンコーダに適用され得る。このような場合の例は、
ａ） カメラズームイン／アウト
ｂ） 撮影（すなわち、回転運動）中に向きを変えるポータブルカメラ（例えば、携帯電話）
ｃ） 「魚眼」レンズカメラのパンニング（例えば、画像の一部の伸張／歪曲
を含む。
したがって、アフィンモードがスライス、フレームシーケンス、または実際にビデオストリーム全体のために使用される可能性が高くなるように、記録処理中に複雑な動きの指示を上げることができる。
さらなる例では、アフィンモードが、ビデオを記録するために使用されるデバイスの特徴または機能性に応じて、使用される可能性がより高い。例えば、モバイルデバイスは、（例えば）固定セキュリティカメラよりも向きを変える可能性が高いので、アフィンモードは、前者からのビデオを符号化するのにより適している可能性がある。特徴または機能の例には、ズーム手段の存在／使用、位置センサの存在／使用、パン手段の存在／使用、デバイスが携帯型であるか否か、またはデバイス上のユーザ選択が含まれる。
本発明を実施形態を参照して説明してきたが、本発明は、開示された実施形態に限定されないことを理解されたい。添付の特許請求の範囲に定義されるように、本発明の範囲から逸脱することなく、様々な変更および修正を行うことができることは、当業者には理解されよう。本明細書（任意の添付の特許請求の範囲、要約書、および図面を含む）に開示された特徴のすべて、および／またはそのように開示された任意の方法または処理のステップのすべては、そのような特徴および／またはステップの少なくともいくつかが相互に排他的である組合せを除いて、任意の組合せで組み合わせることができる。本明細書（任意の添付の特許請求の範囲、要約書、および図面を含む）に開示される各特徴は、特に断らない限り、同じ、同等の、または同様の目的を果たす代替の特徴によって置き換えることができる。したがって、特に断らない限り、開示される各特徴は、同等または同様の特徴の一般的なシリーズの一例にすぎない。
また、上述の比較、判定、評価、選択、実行、実行、または考慮の任意の結果、例えば、符号化またはフィルタリング処理中に行われる選択は、ビットストリーム内のデータ、例えば、結果を示すフラグまたはデータに示されるか、またはそれらから決定可能／推論可能でありえ、その結果、示されるか、または決定された／推論された結果は、例えば、復号処理中に、比較、判定、評価、選択、実行、実行、または考慮を実際に実行する代わりに、処理において使用され得ることが理解される。
特許請求の範囲において、単語「有する」は、他の要素又はステップを排除するものではなく、不定冠詞「ａ」又は「ａｎ」は複数を排除するものではない。異なる特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組合せが有利に使用されることができないことを示すものではない。
特許請求の範囲に記載されている参照符号は、例示のみを目的としたものであり、クレームの範囲に限定的な影響を及ぼさない。
前述の実施形態では、説明された機能がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実施される場合、機能は、１つ以上の命令またはコードとして、コンピュータ可読媒体上に記憶され、またはそれを介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。
コンピュータ可読媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、または例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号または搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示に記載される技術の実施のための命令、コードおよび／またはデータ構造を検索するために、１つ以上のコンピュータまたは１つ以上のプロセッサによってアクセス可能な任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
限定ではなく、一例として、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置、又は他の磁気記憶装置、フラッシュメモリ、又は所望のプログラムコードを命令又はデータ構造の形成で記憶するために使用することができ、コンピュータによってアクセスすることができる他の任意の媒体を含むことができる。また、任意のコネクションは、コンピュータ可読媒体と適切に呼ばれる。例えば、命令が同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などの無線技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などの無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的な媒体を含まず、代わりに非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書で使用されるディスク（Ｄｉｓｋ）およびディスク（ｄｉｓｋ）は、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、およびブルーレイディスクを含み、ここで、ディスクは、通常、磁気的にデータを再生し、ディスクは、レーザで光学的にデータを再生する。上記の組合せは、コンピュータ読み取り可能な媒体の範囲内にも含まれるべきである。
命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート／論理アレイ（ＦＰＧＡ）、または他の同等の集積またはディスクリート論理回路などの１つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用される用語「プロセッサ」は、前述の構造のいずれか、または本明細書で説明される技術の実装に適した他の任意の構造を指すことがある。さらに、いくつかの態様では、本明細書に記載する機能性が、符号化および復号のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内で提供されてもよく、あるいは結合されたコーデックに組み込まれてもよい。また、本技術は、１つまたは複数の回路または論理素子で完全に実装することができる。

Claims (22)

  1. 動き情報予測子インデックスを符号化する方法であって、
    動き情報予測子候補のリストを生成し、
    アフィンマージモードが使用される場合、リスト内の動き情報予測子候補の１つをアフィンマージモード予測子として選択し、
    非アフィンマージモードが使用される場合、リスト内の動き情報予測子候補のうちの１つを非アフィンマージモード予測子として選択し、
    ＣＡＢＡＣ符号化を使用して、選択された動き情報予測子候補の動き情報予測子インデックスを生成し、動き情報予測子インデックスの１つまたは複数のビットはバイパスＣＡＢＡＣ符号化される
    ことを特徴とする方法。
  2. 前記ＣＡＢＡＣ符号化は、前記アフィンマージモードが使用される場合および前記非アフィンマージモードが使用される場合、現在のブロックの前記動き情報予測子インデックスの少なくとも１つのビットについて、同じコンテキスト変数を使用することを含むことを特徴とする請求項１に記載の方法。
  3. ＣＡＢＡＣ符号化は、現在のブロックの動き情報予測子インデックスの少なくとも１つのビットについて、前記アフィンマージモードが使用される場合には第１コンテキスト変数を使用し、または前記非アフィンマージモードが使用される場合には第２コンテキスト変数を使用することを含み、
    前記方法は、前記アフィンマージモードが使用される場合、ビットストリームにおける前記アフィンマージモードの使用を示すためのデータを含むことをさらに含むことを特徴とする請求項１に記載の方法。
  4. ビットストリーム内の動き情報予測子候補の前記生成されたリストに含めることができる動き情報予測子候補の最大数を決定するためのデータを含むことさらに含むことを特徴とする請求項１ないし３のいずれか１項に記載の方法。
  5. 前記動き情報予測子インデックスの第１番目のビットを除く全てのビットは、バイパスＣＡＢＡＣ符号化されることを特徴とする請求項１ないし４のいずれか１項に記載の方法。
  6. 前記選択された動き情報予測子候補についての前記動き情報予測子インデックスは、前記アフィンマージモードが使用される場合および前記非アフィンマージモードが使用される場合、同じシンタックス要素を使用して符号化されることを特徴とする請求項１ないし５のいずれか１項に記載の方法。
  7. 動き情報予測子インデックスを復号する方法であって、
    動き情報予測子候補のリストを生成し、
    ＣＡＢＡＣ復号を使用して、動き情報予測子インデックスを復号し、動き情報予測子インデックスの１つまたは複数のビットがバイパスＣＡＢＡＣ復号され、
    アフィンマージモードが使用される場合、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として識別し、
    非アフィンマージモードが使用される場合、復号された動き情報予測子インデックスを使用して、リスト内の動き情報予測子候補のうちの１つを非アフィンマージモード予測子として識別する
    ことを特徴とする方法。
  8. 前記ＣＡＢＡＣ復号は、前記アフィンマージモードが使用される場合および前記非アフィンマージモードが使用される場合、現在のブロックの前記動き情報予測子インデックスの少なくとも１つのビットに対して同じコンテキスト変数を使用することを含むことを特徴とする請求項７に記載の方法。
  9. 前記アフィンマージモードの使用を示すデータをビットストリームから取得することをさらに含み、前記ＣＡＢＡＣ復号は、現在のブロックの前記動き情報予測子インデックスの少なくとも１つのビットについて、
    前記取得されたデータが前記アフィンマージモードの使用を示す場合、第１コンテキスト変数を使用し、
    前記取得されたデータが前記非アフィンマージモードの使用を示す場合、第２コンテキスト変数を使用する
    ことを含むことを特徴とする請求項７に記載の方法。
  10. 前記アフィンマージモードの使用を示すデータをビットストリームから取得することをさらに含み、前記生成された動き情報予測子候補のリストは、
    前記取得されたデータが前記アフィンマージモードの使用を示す場合、アフィンマージモード予測子候補を含み、
    前記取得されたデータが前記非アフィンマージモードの使用を示す場合、非アフィンマージモード予測子候補を含む、
    ことを特徴とする請求項７ないし９のいずれか１項に記載の方法。
  11. 動き情報予測子候補の生成されたリストに含まれうる動き情報予測子候補の最大数を決定するためのデータをビットストリームから取得することをさらに含むことを特徴とする請求項７ないし１０のいずれか１項に記載の方法。
  12. 前記動き情報予測子インデックスの第１番目のビットを除く全てのビットが、バイパスＣＡＢＡＣ復号されることを特徴とする請求項７ないし１１のいずれか１項に記載の方法。
  13. 前記動き情報予測子インデックスを復号することは、前記アフィンマージモードが使用される場合および前記非アフィンマージモードが使用される場合、ビットストリームから同じシンタックス要素を構文解析することを含むことを特徴とする請求項７ないし１２のいずれか１項に記載の方法。
  14. 動き情報予測子候補は、動きベクトルを得るための情報を含むことを特徴とする請求項１ないし１３のいずれか１項に記載の方法。
  15. 動き情報予測子候補の前記生成されたリストは、ＡＴＭＶＰ候補を含むことを特徴とする請求項１ないし１４のいずれか１項に記載の方法。
  16. 動き情報予測子候補の前記生成されたリストは、前記アフィンマージモードが使用される場合および前記非アフィンマージモードが使用される場合、その中に含めることができる同じ最大数の動き情報予測子候補を有することを特徴とする請求項１ないし１５のいずれか１項に記載の方法。
  17. 動き情報予測子インデックスを符号化する装置であって、
    動き情報予測子候補のリストを生成する手段と、
    アフィンマージモードが使用される場合、前記リスト内の動き情報予測子候補の１つをアフィンマージモード予測子として選択する手段と、
    非アフィンマージモードが使用される場合、前記リスト内の動き情報予測子候補のうちの１つを非アフィンマージモード予測子として選択する手段と、
    ＣＡＢＡＣ符号化を使用して、選択された動き情報予測子候補の動き情報予測子インデックスを生成する手段であって、動き情報予測子インデックスの１つまたは複数のビットがバイパスＣＡＢＡＣ符号化される手段と
    を備えることを特徴とする装置。
  18. 請求項１ないし６のいずれか１項に従属する場合、請求項１ないし６、または１４ないし１６のいずれか１項に記載の動き情報予測子インデックスを符号化する方法を実行する手段を備えることを特徴とする請求項１７に記載の装置。
  19. 動き情報予測子インデックスを復号する装置であって、
    動き情報予測子候補のリストを生成する手段と、
    ＣＡＢＡＣ復号を使用して、動き情報予測子インデックスを復号する手段であって、動き情報予測子インデックスの１つ以上のビットはバイパスＣＡＢＡＣ復号される手段と、
    アフィンマージモードが使用される場合、復号された動き情報予測子インデックスを使用して、前記リスト内の動き情報予測子候補のうちの１つをアフィンマージモード予測子として識別する手段と、
    非アフィンマージモードが使用される場合、復号された動き情報予測子インデックスを使用して、前記リスト内の動き情報予測子候補のうちの１つを非アフィンマージモード予測子として識別する手段と
    を備えることを特徴とする装置。
  20. 請求項７ないし１３のいずれか１項に従属する場合、請求項７ないし１３、または１４ないし１６のいずれか１項に記載の動き情報予測子インデックスを復号する方法を実行する手段を含むことを特徴とする請求項１９に記載の装置。
  21. コンピュータまたはプロセッサ上で実行される場合に、前記コンピュータまたはプロセッサに請求項１ないし１６のいずれか１項に記載の方法を実行させるプログラム。
  22. 請求項２１に記載のプログラムを担持するキャリア媒体。
JP2021514321A 2018-10-18 2019-10-18 ビデオ符号化及び復号 Active JP7216811B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023007418A JP7413576B2 (ja) 2018-10-18 2023-01-20 ビデオ符号化及び復号

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1817019.1A GB2578150C (en) 2018-10-18 2018-10-18 Video coding and decoding
GB1817019.1 2018-10-18
PCT/EP2019/078432 WO2020079254A1 (en) 2018-10-18 2019-10-18 Video coding and decoding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023007418A Division JP7413576B2 (ja) 2018-10-18 2023-01-20 ビデオ符号化及び復号

Publications (2)

Publication Number Publication Date
JP2022503707A true JP2022503707A (ja) 2022-01-12
JP7216811B2 JP7216811B2 (ja) 2023-02-01

Family

ID=64453671

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021514321A Active JP7216811B2 (ja) 2018-10-18 2019-10-18 ビデオ符号化及び復号
JP2023007418A Active JP7413576B2 (ja) 2018-10-18 2023-01-20 ビデオ符号化及び復号

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023007418A Active JP7413576B2 (ja) 2018-10-18 2023-01-20 ビデオ符号化及び復号

Country Status (8)

Country Link
US (6) US11516466B2 (ja)
EP (1) EP3868104A1 (ja)
JP (2) JP7216811B2 (ja)
KR (1) KR20210072072A (ja)
CN (6) CN117221568A (ja)
GB (2) GB2595053B (ja)
TW (1) TWI777095B (ja)
WO (1) WO2020079254A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015272007B2 (en) 2011-04-20 2018-02-01 Qualcomm Incorporated Motion vector prediction in video coding
US10523967B2 (en) 2011-09-09 2019-12-31 Kt Corporation Method for deriving a temporal predictive motion vector, and apparatus using the method
US9083983B2 (en) 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
KR20130050405A (ko) 2011-11-07 2013-05-16 오수미 인터 모드에서의 시간 후보자 결정방법
CN107465922B (zh) 2011-11-08 2020-10-09 株式会社Kt 利用解码装置对视频信号进行解码的方法
KR101789954B1 (ko) * 2013-12-27 2017-10-25 인텔 코포레이션 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
GB2524476B (en) * 2014-03-14 2016-04-27 Canon Kk Method, device and computer program for optimizing transmission of motion vector related information when transmitting a video stream
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN107113446A (zh) 2014-12-09 2017-08-29 联发科技股份有限公司 视频编码中的运动矢量预测子或合并候选的推导方法
US11477477B2 (en) 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
JP6404487B2 (ja) * 2015-03-10 2018-10-10 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像予測方法および関連装置
CN109274974B (zh) 2015-09-29 2022-02-11 华为技术有限公司 图像预测的方法及装置
WO2017087751A1 (en) * 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus for global motion compensation in video coding system
WO2017118409A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
JP6938612B2 (ja) 2016-07-12 2021-09-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像復号方法、画像符号化方法、及び非一時的なコンピュータ可読の記録媒体
KR102201604B1 (ko) 2016-08-04 2021-01-12 후아웨이 테크놀러지 컴퍼니 리미티드 예측 파라미터들에서의 데이터 숨김을 위한 방법 및 장치
US10721489B2 (en) 2016-09-06 2020-07-21 Qualcomm Incorporated Geometry-based priority for the construction of candidate lists
WO2018049594A1 (en) 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
US10812791B2 (en) 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
US10778999B2 (en) * 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
CN109804626B (zh) 2016-10-04 2023-10-10 英迪股份有限公司 用于对图像进行编码和解码的方法和设备以及用于存储比特流的记录介质
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
EP4090025A1 (en) 2016-12-05 2022-11-16 LG Electronics Inc. Video decoding method, video encoding method, storage medium and transmission method
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10701391B2 (en) * 2017-03-23 2020-06-30 Qualcomm Incorporated Motion vector difference (MVD) prediction
EP3468195A1 (en) 2017-10-05 2019-04-10 Thomson Licensing Improved predictor candidates for motion compensation
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
JP2021016016A (ja) 2017-10-20 2021-02-12 シャープ株式会社 動画像符号化装置及び動画像復号装置
US20190208211A1 (en) 2018-01-04 2019-07-04 Qualcomm Incorporated Generated affine motion vectors
US20190222834A1 (en) 2018-01-18 2019-07-18 Mediatek Inc. Variable affine merge candidates for video coding
CN110677675B (zh) 2018-07-01 2022-02-08 北京字节跳动网络技术有限公司 高效的仿射Merge运动矢量推导的方法、装置及存储介质
TW202017377A (zh) 2018-09-08 2020-05-01 大陸商北京字節跳動網絡技術有限公司 視頻編碼和解碼中的仿射模式
GB2577318B (en) 2018-09-21 2021-03-10 Canon Kk Video coding and decoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GUILLAUME LAROCHE, ET AL.: "CE2: On Subblock Merge index coding (Test CE2.2.2)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-M0381, JPN6022054423, 3 January 2019 (2019-01-03), ISSN: 0004951031 *
GUILLAUME LAROCHE, ET AL.: "CE4-related: On Merge Index coding", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-L0194, JPN6022054424, 25 September 2018 (2018-09-25), ISSN: 0004951030 *
HAITAO YANG ET AL.: "CE4 summary report: Inter prediction and motion vector coding", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-K0024_r3, JPN6022027535, 12 July 2018 (2018-07-12), pages 23 - 24, ISSN: 0004816352 *
JIANLE CHEN, ET AL.: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-G1001-v1, JPN6022027534, 19 August 2017 (2017-08-19), pages 15, ISSN: 0004816351 *

Also Published As

Publication number Publication date
KR20210072072A (ko) 2021-06-16
GB2595053B (en) 2022-07-06
US20240073408A1 (en) 2024-02-29
TWI777095B (zh) 2022-09-11
US11849108B2 (en) 2023-12-19
US20230109005A1 (en) 2023-04-06
CN117221566A (zh) 2023-12-12
JP7413576B2 (ja) 2024-01-15
CN112868231A (zh) 2021-05-28
US20240073409A1 (en) 2024-02-29
GB2595053A (en) 2021-11-17
EP3868104A1 (en) 2021-08-25
CN117221568A (zh) 2023-12-12
CN117221569A (zh) 2023-12-12
GB2578150A (en) 2020-04-22
GB2578150B (en) 2021-06-09
US20210352275A1 (en) 2021-11-11
US11516466B2 (en) 2022-11-29
TW202308392A (zh) 2023-02-16
JP7216811B2 (ja) 2023-02-01
CN112868231B (zh) 2023-09-12
CN117221570A (zh) 2023-12-12
JP2023052553A (ja) 2023-04-11
WO2020079254A1 (en) 2020-04-23
GB2578150C (en) 2022-05-18
CN117221567A (zh) 2023-12-12
US20240073410A1 (en) 2024-02-29
US20240073407A1 (en) 2024-02-29
GB202105853D0 (en) 2021-06-09
TW202017386A (zh) 2020-05-01
GB201817019D0 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
JP2022511744A (ja) ビデオ符号化及び復号
JP2022501868A (ja) ビデオ符号化の動きベクトル予測子インデックス符号化
JP2022501870A (ja) ビデオ符号化及び復号化
US20240098297A1 (en) Video coding and decoding
JP7413576B2 (ja) ビデオ符号化及び復号

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221223

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230120

R151 Written notification of patent or utility model registration

Ref document number: 7216811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151