JP2023162243A - Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法 - Google Patents

Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法 Download PDF

Info

Publication number
JP2023162243A
JP2023162243A JP2023130188A JP2023130188A JP2023162243A JP 2023162243 A JP2023162243 A JP 2023162243A JP 2023130188 A JP2023130188 A JP 2023130188A JP 2023130188 A JP2023130188 A JP 2023130188A JP 2023162243 A JP2023162243 A JP 2023162243A
Authority
JP
Japan
Prior art keywords
transform
flag
dct2
sps
mts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023130188A
Other languages
English (en)
Inventor
ガオ、ハン
Han Gao
チェン、ジアンレ
Jianle Chen
エセンリク、セミ
Esenlik Semih
メハー コトラ、アナンド
Meher Kotra Anand
ワン、ビャオ
Biao Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023162243A publication Critical patent/JP2023162243A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】純粋な離散コサイン変換タイプ２（ＤＣＴ２）変換コアに切り替えるビデオコーディング方法を提供する。【解決手段】画像のブロックをビデオコーディングする方法は、インター又はイントラ画像予測から結果として得られる残差信号を取得する段階と、残差信号のシーケンスに対するＤＣＴ２変換コアの使用を推論する段階と、推論された変換コアを使用して、ブロックの変換を処理する段階と、を含む。【選択図】図８

Description

［関連出願の相互参照］
本特許出願は、２０１９年１月１１日に出願された米国仮特許出願第６２／７９１，６７４号の優先権を主張しており、前述した特許出願の開示はその全体が参照によってここに組み込まれる。
本願（開示）の実施形態は概して、画像処理分野、より具体的には、ブロック形状により適応された変換タイプ選択の高レベル制御に関する。
ビデオコーディング（ビデオエンコーディング及びデコーディング）は、例えば、放送デジタルＴＶ、インターネット及びモバイルネットワークを介したビデオ送信、又はビデオチャット、ビデオ会議、ＤＶＤ及びブルーレイディスク、ビデオコンテンツの取得及び編集システム、セキュリティアプリケーションのカムコーダーなどのリアルタイムの会話型アプリケーションなど、幅広いデジタルビデオアプリケーションで使用される。
比較的短いビデオを示すためであっても、必要とされるビデオデータの量は、かなりのものであり得、その結果、限定的な帯域幅容量を有する通信ネットワークを介してデータがストリームされる又は別の方法で通信されることになる場合、困難が生じる場合がある。したがって、ビデオデータは一般に、現代の遠隔通信ネットワークを介して通信される前に圧縮される。ビデオのサイズは、メモリリソースが限定的である場合があるので、ビデオがストレージデバイス上に保存される場合にも問題となり得る。ビデオ圧縮デバイスは、多くの場合、ソースにおけるソフトウェア及び／又はハードウェアを使用して、送信又は保存の前にビデオデータをコードし、それによりデジタルビデオイメージを表現するのに必要なデータの量を低減させる。その後、圧縮データは、デスティネーションにおいて、ビデオデータをデコードするビデオ圧縮解除デバイスによって受信される。限定的なネットワークリソース及び増大し続けるより高いビデオ品質の需要に鑑みて、画像品質をほとんどから全く犠牲にせずに圧縮比を改善する、改善された圧縮及び圧縮解除技術が望まれている。
ＪＶＥＴ－Ｌ１００１において、ＶＶＣ Ｄｒａｆｔ３．０のドラフトテキストであるＭＴＳは、インタースライス及びイントラスライスのシーケンスレベルで、個々で有効にされ得る。ＭＴＳがオフである場合、ＤＣＴ２は、変換コアとして使用されることが想定される。しかしながら、ＪＶＥＴ－Ｍ０３０３、ＪＶＥＴ－Ｍ０１４０又はＪＶＥＴ－Ｍ０１０２などの従来技術においては、推論されたＤＳＴ７／ＤＣＴ８変換が導入されている。全てのケースにおいて、純粋なＤＣＴ２変換に切り替える可能性は存在しない。本開示は、上記の課題に対処する。
上述の課題を考慮して、本開示は、上記の課題を緩和又はさらには除去する解決手段を提供する。
本開示の実施形態は、独立請求項の特徴と、従属請求項の特徴による実施形態のさらに有利な実装とによって定義される。
本開示は、以下を提供する。
画像のブロックをビデオコーディングする方法であって、当該ブロックの複数のサンプルからのあるサンプルに対して、
インター又はイントラ画像予測から結果として得られる残差信号を取得する段階と、
残差信号のシーケンスに対する離散コサイン変換タイプ２、ＤＣＴ２、変換コアの使用を推論する段階と、
推論された変換コアを使用して、ブロックの変換を処理する段階と
を備える、方法。
すなわち、本開示は、ＤＣＴ２有効フラグが偽である場合に、シーケンスにおける全てのケースに対してＤＣＴ２変換コアのみが使用されているかどうかを推論するのに使用される追加のＤＣＴ２有効フラグを導入し、その後、シーケンスレベルＭＴＳ有効フラグがさらにシグナリングされる。ＤＣＴ２有効フラグが真である場合、ＤＣＴ２変換コアのみが使用されると想定される。追加のＤＣＴ２有効フラグをＳＰＳにおいて導入することは、推論されたＭＳＴツールがオンである場合に、ＤＣＴ２への切り替えを可能にする。
そのようなものとしての前述の態様による方法の可能な実装形態において、ＤＣＴ２の使用は、シーケンスパラメータセット、ＳＰＳにおけるシーケンスレベルＤＣＴ２有効フラグから推論される。
したがって、本開示の実施形態は、全体のシーケンス又はスライスに対して、推論された変換ツールを用いて、純粋なＤＣＴ２変換コアに切り替える可能性を提供する切り替え可能なＤＣＴ２有効シーケンスレベル指標を導入する。ＤＣＴ２は、計算が比較的に単純であり、他の変換コアと比較して、メモリ帯域幅が低いケースである。従来技術において、単純なＤＣＴ２変換を使用する可能性は、推論された変換コアによって遮断され、現在の指標によって、低いコスト／複雑性と高性能との間の切り替えの柔軟性が、エンコーダとデコーダとの両方に対して提供される。実施形態において、低レベルの変更及び高レベルの変更の可能性の両方が提供され、これは、複数の変形例を有するコードの一貫性及びコーディング性能を保証する。
そのようなものとしての前述の態様による方法の可能な実装形態において、シーケンスレベルＤＣＴ２有効フラグは、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇとして表される。
前述の２つの態様の任意の前述の実装又はそのようなものとしての前述の態様による方法の可能な実装形態において、シーケンスレベルＤＣＴ２有効フラグは、以下のようにＳＰＳレベルシンタックスに含まれる。
ここで、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇはシーケンスレベルＤＣＴ２有効フラグを表す。
そのようなものとしての前述の態様の任意の前述の実装による方法の可能な実装形態において、１に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在し得ることを指定し、０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在しないことを指定し、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
前述の２つの態様の任意の前述の実装又はそのようなものとしての前述の態様による方法の可能な実装形態において、ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの残差コーディングシンタックスに存在し得ることを指定し、０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの残差コーディングシンタックスに存在しないことを指定し、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
前述の５個の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法の可能な実装形態において、
１に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２変換コアが変換に使用されることを指定する。
前述の６個の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法の可能な実装形態において、
１に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２変換コアが変換にのみ使用されることを指定する。
前述の７個の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法の可能な実装形態において、１に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２が水平並びに垂直方向変換の両方に使用されることを指定する。
前述の８個の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法の可能な実装形態において、１に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２がサブブロック変換に使用されることを指定する。
そのようなものとしての前述の態様による方法の可能な実装形態において、残差変換ユニット、ｔｕの１つの側が３２より大きい場合、対応する変換はＤＣＴ２として設定される。
前述の１０個の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法の可能な実装形態において、１に等しいシーケンスレベルＤＣＴ２有効フラグが、ＤＣＴ２変換コアが変換にのみ使用されることを指定する場合、サブブロック変換並びに複数変換選択、ＭＴＳ、変換の両方がオフであると推論される。
前述の１１個の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法の可能な実装形態において、
０に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２以外の他の変換コアが変換に使用されることを指定する。
そのようなものとしての前述の態様による方法の可能な実装形態において、
それは、離散サイン変換タイプ７、ＤＳＴ７及び／又は離散コサイン変換タイプ８、ＤＣＴ８、を変換に使用して推論される。
２つの前述の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法の可能な実装形態において、０に等しいシーケンスレベルＤＣＴ２有効フラグは、
それがＤＳＴ７／ＤＣＴ８を変換にのみ使用して推論されることを指定する。
ＤＣＴ２は、エンコーダ及びデコーダの両方の設計に対して十分に望ましい場合がある。換言すると、ＤＣＴ２、推論されたＤＳＴ７又はＤＣＴ８、及びＭＴＳ（ＲＤＯ選択変換コア）の間の切り替え可能性は、本開示の目標のうちの１つである。
３つの前述の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法の可能な実装形態において、
シーケンスレベルＤＣＴ２有効フラグが０に等しい場合、シーケンスパラメータセットに対する複数変換選択がフラグを介して有効にされたかどうかが決定される。
そのようなものとしての前述の態様による方法の可能な実装形態において、
ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在する場合、
ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、ｔｕ＿ｍｔｓ＿ｆｌａｇとして表される変換ユニット、ＴＵ、複数変換選択、ＭＴＳフラグが、イントラコーディングユニットの残差コーディングシンタックスに存在することが指定され、
ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在しないことが指定され、
ここで、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
本開示はさらに、前述の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法を実行するための処理回路を備えるエンコーダを提供する。
本開示はさらに、前述の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法を実行するための処理回路を備えるデコーダを提供する。
本開示はさらに、
インター又はイントラ画像予測から結果として得られる残差信号を取得するように構成された取得ユニットと、
残差信号のシーケンスに対する離散コサイン変換タイプ２、ＤＣＴ２、変換コアの使用を推論するように構成された推論ユニットと、
推論された変換コアを使用して、ブロックの変換を処理するように構成された処理ユニットと
を備えるデコーダを提供する。
そのようなものとしての前述の態様によるデコーダの可能な実装形態において、推論ユニットは、シーケンスパラメータセット、ＳＰＳにおけるシーケンスレベルＤＣＴ２有効フラグからＤＣＴ２の使用を推論するように構成される。
そのようなものとしての前述の態様によるデコーダの可能な実装形態において、シーケンスレベルＤＣＴ２有効フラグは、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇとして表される。
前述の２つの態様の任意の前述の実装又はそのようなものとしての前述の態様によるデコーダの可能な実装形態において、シーケンスレベルＤＣＴ２有効フラグは、以下のようにＳＰＳレベルシンタックスに含まれる。
ここで、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇはシーケンスレベルＤＣＴ２有効フラグを表す。
そのようなものとしての前述の態様によるデコーダの可能な実装形態において、１に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在し得ることを指定し、０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在しないことを指定し、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
前述の２つの態様の任意の前述の実装又はそのようなものとしての前述の態様によるデコーダの可能な実装形態において、ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの残差コーディングシンタックスに存在し得ることを指定し、
０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの残差コーディングシンタックスに存在しないことを指定し、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
前述の５個の態様の任意の前述の実装又はそのようなものとしての前述の態様によるデコーダの可能な実装形態において、
１に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２変換コアが変換に使用されることを指定する。
前述の６個の態様の任意の前述の実装又はそのようなものとしての前述の態様によるデコーダの可能な実装形態において、
１に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２変換コアが変換にのみ使用されることを指定する。
前述の７個の態様の任意の前述の実装又はそのようなものとしての前述の態様によるデコーダの可能な実装形態において、１に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２が水平並びに垂直方向変換の両方に使用されることを指定する。
前述の８個の態様の任意の前述の実装又はそのようなものとしての前述の態様によるデコーダの可能な実装形態において、１に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２がサブブロック変換に使用されることを指定する。
そのようなものとしての前述の態様によるデコーダの可能な実装形態において、残差変換ユニット、ｔｕの１つの側が３２より大きい場合、対応する変換はＤＣＴ２として設定される。
前述の１０個の態様の任意の前述の実装又はそのようなものとしての前述の態様によるデコーダの可能な実装形態において、１に等しいシーケンスレベルＤＣＴ２有効フラグが、ＤＣＴ２変換コアが変換にのみ使用されることを指定する場合、サブブロック変換並びに複数変換選択、ＭＴＳ、変換の両方がオフであると推論される。
前述の１１個の態様の任意の前述の実装又はそのようなものとしての前述の態様によるデコーダの可能な実装形態において、
０に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２以外の他の変換コアが変換に使用されることを指定する。
そのようなものとしての前述の態様によるデコーダの可能な実装形態において、
推論ユニットは、離散サイン変換タイプ７、ＤＳＴ７及び／又は離散コサイン変換タイプ８、ＤＣＴ８、を変換に使用して推論するように構成される。
前述の２つの態様の任意の前述の実装又はそのようなものとしての前述の態様によるデコーダの可能な実装形態において、０に等しいシーケンスレベルＤＣＴ２有効フラグは、
それがＤＳＴ７／ＤＣＴ８を変換にのみ使用して推論されることを指定する。
前述の３つの態様の任意の前述の実装又はそのようなものとしての前述の態様によるデコーダの可能な実装形態において、
シーケンスレベルＤＣＴ２有効フラグが０に等しい場合、シーケンスパラメータセットに対する複数変換選択がフラグを介して有効にされたかどうかが決定される。
そのようなものとしての前述の態様の任意の前述の実装によるデコーダの可能な実装形態において、
ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在する場合、
ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、ｔｕ＿ｍｔｓ＿ｆｌａｇとして表される変換ユニット、ＴＵ、複数変換選択、ＭＴＳフラグが、イントラコーディングユニットの残差コーディングシンタックスに存在することが指定され、
ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在しないことが指定され、
ここで、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
本開示はさらに、
インター又はイントラ画像予測から結果として得られる残差信号を取得するように構成された取得ユニットと、
残差信号のシーケンスに対する離散コサイン変換タイプ２、ＤＣＴ２、変換コアの使用を推論するように構成された推論ユニットと、
推論された変換コアを使用して、ブロックの変換を処理するように構成された処理ユニットと
を備えるエンコーダを提供する。
そのようなものとしての前述の態様の任意の前述の実装によるエンコーダの可能な実装形態において、推論ユニットは、シーケンスパラメータセット、ＳＰＳにおけるシーケンスレベルＤＣＴ２有効フラグからＤＣＴ２の使用を推論するように構成される。
そのようなものとしての前述の態様の任意の前述の実装によるエンコーダの可能な実装形態において、シーケンスレベルＤＣＴ２有効フラグは、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇとして表される。
前述の２つの態様の任意の前述の実装又はそのようなものとしての前述の態様によるエンコーダの可能な実装形態において、シーケンスレベルＤＣＴ２有効フラグは、以下のようにＳＰＳレベルシンタックスに含まれる。
ここで、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇはシーケンスレベルＤＣＴ２有効フラグを表す。
そのようなものとしての前述の態様によるエンコーダの可能な実装形態において、１に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在し得ることを指定し、０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在しないことを指定し、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
前述の２つの態様の任意の前述の実装又はそのようなものとしての前述の態様によるエンコーダの可能な実装形態において、ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの残差コーディングシンタックスに存在し得ることを指定し、０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの残差コーディングシンタックスに存在しないことを指定し、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
前述の５個の態様の任意の前述の実装又はそのようなものとしての前述の態様によるエンコーダの可能な実装形態において、
１に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２変換コアが変換に使用されることを指定する。
前述の６個の態様の任意の前述の実装又はそのようなものとしての前述の態様によるエンコーダの可能な実装形態において、
１に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２変換コアが変換にのみ使用されることを指定する。
前述の７個の態様の任意の前述の実装又はそのようなものとしての前述の態様によるエンコーダの可能な実装形態において、１に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２が水平並びに垂直方向変換の両方に使用されることを指定する。
前述の８個の態様の任意の前述の実装又はそのようなものとしての前述の態様によるエンコーダの可能な実装形態において、１に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２がサブブロック変換に使用されることを指定する。
そのようなものとしての前述の態様によるエンコーダの可能な実装形態において、残差変換ユニット、ｔｕの１つの側が３２より大きい場合、対応する変換はＤＣＴ２として設定される。
前述の１０個の態様の任意の前述の実装又はそのようなものとしての前述の態様によるエンコーダの可能な実装形態において、１に等しいシーケンスレベルＤＣＴ２有効フラグが、ＤＣＴ２変換コアが変換にのみ使用されることを指定する場合、サブブロック変換並びに複数変換選択、ＭＴＳ、変換の両方がオフであると推論される。
前述の１１個の態様の任意の前述の実装又はそのようなものとしての前述の態様によるエンコーダの可能な実装形態において、
０に等しいシーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２以外の他の変換コアが変換に使用されることを指定する。
そのようなものとしての前述の態様の任意の前述の実装によるエンコーダの可能な実装形態において、
推論ユニットは、離散サイン変換タイプ７、ＤＳＴ７及び／又は離散コサイン変換タイプ８、ＤＣＴ８、を変換に使用して推論するように構成される。
前述の２つの態様の任意の前述の実装又はそのようなものとしての前述の態様によるエンコーダの可能な実装形態において、０に等しいシーケンスレベルＤＣＴ２有効フラグは、
それがＤＳＴ７／ＤＣＴ８を変換にのみ使用して推論されることを指定する。
前述の３つの態様の任意の前述の実装又はそのようなものとしての前述の態様によるエンコーダの可能な実装形態において、
シーケンスレベルＤＣＴ２有効フラグが０に等しい場合、シーケンスパラメータセットに対する複数変換選択がフラグを介して有効にされたかどうかが決定される。
そのようなものとしての前述の態様の任意の前述の実装によるエンコーダの可能な実装形態において、
ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在する場合、
ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、ｔｕ＿ｍｔｓ＿ｆｌａｇとして表される変換ユニット、ＴＵ、複数変換選択、ＭＴＳフラグが、イントラコーディングユニットの残差コーディングシンタックスに存在することが指定され、
ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在しないことが指定され、
ここで、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
本開示はさらに、前述の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法を実行するためのプログラムコードを備えるコンピュータプログラム製品を提供する。
本開示はさらに、
１又は複数のプロセッサと、
プロセッサに連結され、プロセッサによる実行のためのプログラミングを保存する非一時的コンピュータ可読記憶媒体であって、ここで、プログラミングは、プロセッサによって実行される場合、前述の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法を実行するようにデコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備えるデコーダを提供する。
本開示はさらに、
１又は複数のプロセッサと、
プロセッサに連結され、プロセッサによる実行のためのプログラミングを保存する非一時的コンピュータ可読記憶媒体であって、ここで、プログラミングは、プロセッサによって実行される場合、前述の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法を実行するようにエンコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備えるエンコーダを提供する。
本開示はさらに、プロセッサ上で実行される場合、当該プロセッサに、前述の態様の任意の前述の実装又はそのようなものとしての前述の態様による方法を実行させる命令を含むプログラムを保存する、コンピュータ可読非一時的媒体を提供する。
以下、添付図面を参照しながら、本開示の実施形態がより詳細に説明される。
本開示の実施形態を実装するように構成されたビデオコーディングシステムの例を示すブロック図である。 本開示の実施形態を実装するように構成されたビデオコーディングシステムの別の例を示すブロック図である。 本開示の実施形態を実装するように構成されたビデオエンコーダの例を示すブロック図である。 本開示の実施形態を実装するように構成されたビデオデコーダの例示的な構造を示すブロック図である。 エンコーディング装置又はデコーディング装置の例を示すブロック図である。 エンコーディング装置又はデコーディング装置の別の例を示すブロック図である。 各ＳＢＴ位置に対する水平及び垂直変換の例を示すブロック図である。 各ＳＢＴ位置に対する水平及び垂直変換の別の例を示すブロック図である。 本開示に係る画像のブロックのビデオコーディングの方法を示す。 エンコーダを示す。 デコーダを示す。 以下では、別途明示的に指定されていない限り、同一の参照符号は、同一又は少なくとも機能的に等価な機能を指す。
以下の説明では、本開示の一部をなし、本開示の実施形態の具体的態様又は本開示の実施形態が使用され得る具体的態様を例示として示す、添付図面が参照される。本開示の実施形態が、他の態様において使用されてよく、図に示されていない構造的又は論理的な変更を含んでよいことが理解される。したがって、以下の詳細な説明は、限定的な意味で解釈されるものではなく、本開示の範囲は、添付の特許請求の範囲によって定義される。
例えば、説明された方法に関連する開示は、方法を実行するように構成された対応するデバイス又はシステムにも当てはまり得、逆もまた同様であることが理解される。例えば、特定の方法の１又は複数の段階が説明される場合、そのような１又は複数のユニットが図において明示的に説明又は図示されていない場合であっても、対応するデバイスは、１又は複数のユニット、例えば、説明された１又は複数の方法の段階を実行する機能ユニット（例えば、１又は複数の段階を実行する１つのユニット、又は、各々が複数の段階のうち１又は複数を実行する複数のユニット）を含み得る。一方、例えば、特定の装置が１又は複数のユニット、例えば、機能ユニットに基づいて説明される場合、そのような１又は複数の段階が図において明示的に説明又は図示されていない場合であっても、対応する方法は、１又は複数ユニットの機能を実行する１つの段階（例えば、１又は複数のユニットの機能を実行する１つの段階、又は、各々が複数のユニットのうち１又は複数の機能を実行する複数の段階）を含み得る。さらに、別途特に注記されない限り、本明細書に説明されている様々な例示的な実施形態及び／又は態様の特徴を互いに組み合わせ得ることが理解される。
ビデオコーディングは典型的には、ビデオ又はビデオシーケンスを形成する一連の画像の処理を指す。「画像」という用語の代わりに、「フレーム」又は「イメージ」という用語が、ビデオコーディング分野での同義語として使用され得る。ビデオコーディング（又は一般にコーディング）は、ビデオエンコーディング及びビデオデコーディングの２つの部分を含む。ビデオエンコーディングはソース側で実行され、典型的には、（より効率的な保存及び／又は送信のために）ビデオ画像を表現するのに必要なデータの量を低減させるように、元のビデオ画像を処理（例えば、圧縮による）することを含む。ビデオデコーディングは、デスティネーション側で実行され、典型的には、ビデオ画像を再構築するように、エンコーダと比較して逆の処理を含む。ビデオ画像（又は一般に画像）の「コーディング」に言及する実施形態は、ビデオ画像又はそれぞれのビデオシーケンスの「エンコーディング」又は「デコーディング」に関すると理解されるものとする。エンコーディング部分とデコーディング部分との組み合わせは、コーデック（コーディング及びデコーディング、Ｃｏｄｉｎｇ ａｎｄ Ｄｅｃｏｄｉｎｇ）とも称される。
無損失ビデオコーディングの場合、元のビデオ画像は再構築でき、すなわち、再構築されたビデオ画像は元のビデオ画像と同じ品質である（保存中又は送信中に送信損失又は他のデータ損失がないと仮定して）。不可逆ビデオコーディングの場合、ビデオ画像を表現するデータの量を低減するために、例えば量子化によるさらなる圧縮が実行されるが、これはデコーダにおいて完全に再構築できない、すなわち、再構築されたビデオ画像の品質は、元のビデオ画像の品質に比較して低下又は劣化する。
いくつかのビデオコーディング規格は、「不可逆ハイブリッドビデオコーデック」のグループに属する（すなわち、サンプル領域における空間的及び時間的予測と、変換領域における量子化を適用するための２Ｄ変換コーディングとを組み合わせる）。ビデオシーケンスの各画像は、典型的には、非重複ブロックのセットに区分化され、コーディングは、典型的には、ブロックレベルで実行される。換言すると、エンコーダにおいて、ビデオは、例えば、空間的（イントラ画像）予測及び／又は時間的（インター画像）予測を使用して予測ブロックを生成し、現在のブロック（現在処理されている／処理されることになるブロック）から予測ブロックを減算して残差ブロックを取得し、残差ブロックを変換するとともに変換領域における残差ブロックを量子化して、送信されるデータの量を低減（圧縮）することによって、典型的にはブロック（ビデオブロック）レベルで処理、すなわち、エンコードされ、一方で、デコーダにおいては、エンコーダと比較して逆の処理がエンコード又は圧縮されたブロックに適用され、現在のブロックを表現のために再構築する。さらに、エンコーダがデコーダの処理ループを繰り返すことにより、後続のブロックの処理のために、すなわち、コーディングのために、両方が同一の予測（例えば、イントラ及びインター予測）及び／又は再構築物を生成することになる。
以下、ビデオコーディングシステム１０、ビデオエンコーダ２０、及びビデオデコーダ３０の実施形態が、図１から図３に基づいて説明される。
図１Ａは、本願の技術を利用し得る例示的なコーディングシステム１０、例えばビデオコーディングシステム１０（又は略してコーディングシステム１０）を示す概略ブロック図である。ビデオコーディングシステム１０のビデオエンコーダ２０（又は略してエンコーダ２０）及びビデオデコーダ３０（又は略してデコーダ３０）は、本願において説明される様々な例に従って技術を実行するように構成され得るデバイスの例を表す。
図１Ａに示すように、コーディングシステム１０は、エンコードされた画像データ２１を、例えば、このエンコードされた画像データをデコーディングするためにデスティネーションデバイス１４に提供する（１３）ように構成されているソースデバイス１２を備える。
ソースデバイス１２は、エンコーダ２０を備え、加えて、すなわち任意選択的に、画像ソース１６と、プリプロセッサ（又は前処理ユニット）１８、例えば画像プリプロセッサ１８と、通信インタフェース又は通信ユニット２２とを備えてよい。
画像ソース１６は、任意の種類の画像捕捉デバイス、例えば、現実世界の画像を捕捉するカメラ、及び／又は、任意の種類の画像生成デバイス、例えば、コンピュータアニメーション化画像を生成するコンピュータグラフィックプロセッサ、又は、現実世界の画像、コンピュータ生成画像（例えば、スクリーンコンテンツ、仮想現実（ＶＲ）画像）、及び／又はそれらの任意の組み合わせ（例えば、拡張現実（ＡＲ）画像）を取得及び／又は提供する任意の種類の他のデバイスを含んでもよく、又はそれらのデバイスであってもよい。画像ソースは、前述の画像の任意のものを保存する任意の種類のメモリ又はストレージであってよい。
プリプロセッサ１８及び前処理ユニット１８によって実行される処理と区別するように、画像又は画像データ１７は、生画像又は生画像データ１７とも称され得る。
プリプロセッサ１８は、（生）画像データ１７を受信するとともに、画像データ１７に対して前処理を実行して、前処理された画像１９又は前処理された画像データ１９を取得するように構成されている。プリプロセッサ１８により実行される前処理は、例えば、トリミング、カラーフォーマット変換（例えば、ＲＧＢからＹＣｂＣｒ）、色補正、又はノイズ除去を含んでよい。前処理ユニット１８は任意選択のコンポーネントでもよいことが理解できる。
ビデオエンコーダ２０は、前処理された画像データ１９を受信するとともに、エンコードされた画像データ２１を提供するように構成されている（さらなる詳細は、例えば図２に基づいて下記で説明される）。
ソースデバイス１２の通信インタフェース２２は、エンコードされた画像データ２１を受信するとともに、エンコードされた画像データ２１（又はそれの任意のさらに処理されたバージョン）を、保存又は直接再構築のために、通信チャネル１３を介して別のデバイス、例えば、デスティネーションデバイス１４又は任意の他のデバイスに送信するように構成され得る。
デスティネーションデバイス１４は、デコーダ３０（例えばビデオデコーダ３０）を備え、加えて、すなわち任意選択的に、通信インタフェース又は通信ユニット２８と、ポストプロセッサ３２（又は後処理ユニット３２）と、ディスプレイデバイス３４とを備え得る。
デスティネーションデバイス１４の通信インタフェース２８は、エンコードされた画像データ２１（又はそれの任意のさらに処理されたバージョン）を、例えばソースデバイス１２から直接又は任意の他のソース、例えばストレージデバイス、例えばエンコードされた画像データストレージデバイスから受信するとともに、エンコードされた画像データ２１をデコーダ３０に提供するように構成されている。
通信インタフェース２２及び通信インタフェース２８は、ソースデバイス１２とデスティネーションデバイス１４との間における直接的な通信リンク、例えば直接的な有線又は無線接続を介して、又は、任意の種類のネットワーク、例えば、有線又は無線ネットワーク若しくはそれらの任意の組み合わせ、又は、任意の種類のプライベート及びパブリックネットワーク、又は、それらの任意の種類の組み合わせを介して、エンコードされた画像データ２１又はエンコードされたデータを送信又は受信する（１３）ように構成されてよい。
通信インタフェース２２は、例えば、エンコードされた画像データ２１を適切な形式に、例えばパケットにパッケージ化する、及び／又は、通信リンク又は通信ネットワークを介した送信のための任意の種類の送信エンコーディング又は処理を使用して、エンコードされた画像データを処理するように構成されてよい。
通信インタフェース２２のカウンターパートを形成する通信インタフェース２８は、例えば、送信されたデータを受信するとともに、任意の種類の対応する送信デコーディング又は処理及び／又はデパッケージングを使用して送信データを処理して、エンコードされた画像データ２１を取得するように構成されてよい。
通信インタフェース２２及び通信インタフェース２８は両方とも、図１Ａにおいてソースデバイス１２からデスティネーションデバイス１４に向く通信チャネル１３の矢印で示すように単方向通信インタフェースとして、又は、双方向通信インタフェースとして構成されてよく、例えば、メッセージを送受信する、例えば、接続を設定し、通信リンク及び／又はデータ送信、例えばエンコードされた画像データの送信に関連する任意の他の情報を確認及びやりとりするように構成されてよい。
デコーダ３０は、エンコードされた画像データ２１を受信するとともに、デコードされた画像データ３１又はデコードされた画像３１を提供するように構成されている（さらなる詳細は、例えば図３又は図５に基づいて下記で説明される）。デスティネーションデバイス１４のポストプロセッサ３２は、デコードされた画像データ３１（再構築された画像データとも呼ばれる）、例えばデコードされた画像３１を後処理して、後処理された画像データ３３、例えば後処理された画像３３を取得するように構成される。後処理ユニット３２により実行される後処理は、例えば、デコードされた画像データ３１を、例えばディスプレイデバイス３４による表示のために準備する目的で、例えば、カラーフォーマット変換（例えば、ＹＣｂＣｒからＲＧＢ）、色補正、トリミング、若しくは再サンプリング、又は任意の他の処理を含んでよい。
デスティネーションデバイス１４のディスプレイデバイス３４は、画像を例えばユーザ又は視聴者に表示するために、後処理された画像データ３３を受信するように構成されている。ディスプレイデバイス３４は、再構築された画像を表示するための任意の種類のディスプレイ、例えば、一体型又は外付けのディスプレイ又はモニタであってもよく、又は、これを含んでもよい。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、液晶オンシリコン（ＬＣｏＳ）、デジタル光プロセッサ（ＤＬＰ）、又は任意の種類の他のディスプレイを含んでよい。
図１Ａはソースデバイス１２とデスティネーションデバイス１４とを別個のデバイスとして示しているが、デバイスの実施形態は、それらの両方又は両方の機能、すなわち、ソースデバイス１２又は対応する機能と、デスティネーションデバイス１４又は対応する機能とを備えてもよい。そのような実施形態において、ソースデバイス１２又は対応する機能及びデスティネーションデバイス１４又は対応する機能は、同じハードウェア及び／又はソフトウェアを使用して、又は、別個のハードウェア及び／又はソフトウェア又はそれらの任意の組み合わせにより実装されてもよい。
本説明に基づいて当業者には明らかであるように、図１Ａに示されるような、異なるユニットの機能又はソースデバイス１２及び／又はデスティネーションデバイス１４内の機能の存在及び（正確な）分割は、実際のデバイス及びアプリケーションに応じて変わり得る。
エンコーダ２０（例えば、ビデオエンコーダ２０）又はデコーダ３０（例えば、ビデオデコーダ３０）又はエンコーダ２０及びデコーダ３０の両方は、１又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ハードウェア、ビデオコーディング専用又はそれらの任意の組み合わせなどの、図１Ｂに示されるような処理回路を介して実装され得る。エンコーダ２０は、図２のエンコーダ２０及び／又は本明細書に記載の任意の他のエンコーダシステム又はサブシステムに関連して説明される様々なモジュールを具現するために処理回路４６を介して実装され得る。デコーダ３０は、図３のデコーダ３０及び／又は本明細書に記載の任意の他のデコーダシステム又はサブシステムに関連して説明される様々なモジュールを具現するために処理回路４６を介して実装され得る。処理回路は、後で説明されるように様々な演算を実行するように構成され得る。図５に示されるように、技術がソフトウェアにおいて部分的に実装される場合、デバイスは、好適な非一時的コンピュータ可読記憶媒体におけるソフトウェアに対する命令を保存してよく、ハードウェア内で１又は複数のプロセッサを使用して命令を実行して、本開示の技術を実行してよい。ビデオエンコーダ２０及びビデオデコーダ３０のいずれかは、図１Ｂに示されるように、例えば、単一のデバイス内の組み合わされたエンコーダ／デコーダ（コーデック）の一部として統合されてよい。
ソースデバイス１２及びデスティネーションデバイス１４は、任意の種類のハンドヘルド又はステーショナリデバイス、例えば、ノートブック又はラップトップコンピュータ、携帯電話、スマートフォン、タブレット又はタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、ディスプレイデバイス、デジタルメディアプレイヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス（コンテンツサービスサーバ又はコンテンツ配信サーバなど）、ブロードキャスト受信機デバイス、ブロードキャスト送信機デバイス等を含む、幅広いデバイスのいずれかを備えてよく、オペレーティングシステムを使用しなくてもよく、又は任意の種類のオペレーティングシステムを使用してもよい。いくつかの場合、ソースデバイス１２及びデスティネーションデバイス１４は、無線通信に対応してよい。したがって、ソースデバイス１２及びデスティネーションデバイス１４は、無線通信デバイスであってよい。
いくつかの場合、図１Ａに示されるビデオコーディングシステム１０は、単に例であり、本願の技術は、エンコーディングデバイスとデコーディングデバイスとの間の任意のデータ通信を必ずしも含まないビデオコーディング設定（例えば、ビデオエンコーディング又はビデオデコーディング）に適用されてよい。他の例において、データは、ローカルメモリから取得され、ネットワークを介してストリーム等される。ビデオエンコーディングデバイスは、データをメモリにエンコードして保存してよく、及び／又は、ビデオデコーディングデバイスは、データをメモリから取得してデコードしてよい。いくつかの例において、エンコーディング及びデコーディングは、互いに通信しないが単純にデータをメモリにエンコードする及び／又はメモリからデータを取得してデコードするデバイスにより実行される。
説明の便宜上、例えば、ＩＴＵ－Ｔビデオコーディング専門家グループ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣ動画像専門家グループ（ＭＰＥＧ）のビデオコーディングに関する共同作業チーム（ＪＣＴ－ＶＣ）によって開発された次世代ビデオコーディング規格である、高効率ビデオコーディング（ＨＥＶＣ）又は多用途ビデオコーディング（ＶＶＣ）のリファレンスソフトウェアを参照して、本開示の実施形態が本明細書で説明される。当業者であれば、本開示の実施形態はＨＥＶＣ又はＶＶＣに限定されないことを理解するだろう。
［エンコーダ及びエンコーディング方法］
図２は、本願の技術を実装するように構成されている例示的なビデオエンコーダ２０の概略ブロック図を示す。図２の例において、ビデオエンコーダ２０は、入力２０１（又は入力インタフェース２０１）と、残差計算ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、ループフィルタユニット２２０と、デコードされた画像バッファ（ＤＰＢ）２３０と、モード選択ユニット２６０と、エントロピーエンコーディングユニット２７０と、出力２７２（又は出力インタフェース２７２）とを備える。モード選択ユニット２６０は、インター予測ユニット２４４と、イントラ予測ユニット２５４と、区分化ユニット２６２とを含み得る。インター予測ユニット２４４は、動き推定ユニットと動き補償ユニット（図示せず）とを含み得る。図２に示されるビデオエンコーダ２０は、ハイブリッドビデオエンコーダ、又は、ハイブリッドビデオコーデックによるビデオエンコーダとも称され得る。
残差計算ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、モード選択ユニット２６０とは、エンコーダ２０の順方向信号経路を形成するものとして言及されてよく、一方、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、バッファ２１６と、ループフィルタ２２０と、デコードされた画像バッファ（ＤＰＢ）２３０と、インター予測ユニット２４４と、イントラ予測ユニット２５４とは、ビデオエンコーダ２０の逆方向信号経路を形成するものとして言及されてよい。ビデオエンコーダ２０の逆方向信号経路は、デコーダの信号経路に対応する（図３のビデオデコーダ３０を参照）。逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、ループフィルタ２２０と、デコードされた画像バッファ（ＤＰＢ）２３０と、インター予測ユニット２４４と、イントラ予測ユニット２５４とはまた、ビデオエンコーダ２０の「内蔵デコーダ」を形成していると言及される。
［画像及び画像区分化（画像及びブロック）］
エンコーダ２０は、例えば、入力２０１を介して、画像１７（又は画像データ１７）、例えば、ビデオ又はビデオシーケンスを形成する一連の画像のうちの画像を受信するように構成されてよい。受信された画像又は画像データは、前処理された画像１９（又は前処理された画像データ１９）であってもよい。簡潔さのために、以下の説明では画像１７を参照する。画像１７は、現在の画像又はコードされる画像とも称され得る（特に、ビデオコーディングにおいて、現在の画像を他の画像、例えば、同じビデオシーケンス、すなわち、現在の画像も含むビデオシーケンスの、以前にエンコードされた及び／又はデコードされた画像から区別するために）。
（デジタル）画像は、強度値を持つサンプルの二次元アレイ又はマトリックスであるか、又はそれとみなされ得る。アレイ内のサンプルは、画素（画像要素の短縮形）又はペルとも称され得る。アレイ又は画像の水平及び垂直方向（又は軸）におけるサンプルの数は、画像のサイズ及び／又は解像度を定義する。色を表現するために、典型的には３つの色成分が使用され、すなわち、画像は、３つのサンプルアレイで表されてもよく、又は、これを含んでもよい。ＲＢＧ形式又は色空間では、画像は対応する赤、緑、及び青のサンプルアレイを含む。しかしながら、ビデオコーディングでは、各画素は、典型的には、輝度及びクロミナンス形式又は色空間、例えば、ＹＣｂＣｒで表され、これには、Ｙ（代わりにＬが使用される場合もある）で示される輝度成分と、Ｃｂ及びＣｒで示される２つのクロミナンス成分とが含まれる。輝度（又は略してルマ（ｌｕｍａ））成分Ｙは、明るさ又は（例えば、グレースケール画像でのような）グレーレベルの強度を表し、一方、２つのクロミナンス（又は略してクロマ（ｃｈｒｏｍａ））成分Ｃｂ及びＣｒは、色度又は色情報成分を表す。したがって、ＹＣｂＣｒ形式の画像は、輝度サンプル値（Ｙ）の輝度サンプルアレイ、及びクロミナンス値（Ｃｂ及びＣｒ）の２つのクロミナンスサンプルアレイを含む。ＲＧＢ形式の画像は、ＹＣｂＣｒ形式に転換又は変換され得、その逆もまた同様であり、このプロセスは、色変換又は転換としても知られている。画像がモノクロの場合、画像は、輝度サンプルアレイのみを含んでよい。したがって、画像は、例えば、モノクロ形式のルマサンプルのアレイ、又は、４：２：０、４：２：２、及び４：４：４のカラーフォーマットのルマサンプルのアレイ及びクロマサンプルの２つの対応するアレイであってよい。
ビデオエンコーダ２０の実施形態は、画像１７を複数の（典型的には非重複）画像ブロック２０３に区分化するように構成されている画像区分化ユニット（図２には示されない）を備えてよい。これらのブロックは、根ブロック、マクロブロック（Ｈ．２６４／ＡＶＣ）又はコーディングツリーブロック（ＣＴＢ）又はコーディングツリーユニット（ＣＴＵ）（Ｈ．２６５／ＨＥＶＣ及びＶＶＣ）とも称され得る。画像区分化ユニットは、ビデオシーケンスの全ての画像と、ブロックサイズを規定する対応するグリッドとに対して同じブロックサイズを使用するか、又は、画像又は画像のサブセット若しくはグループ間でブロックサイズを変更して、各画像を対応するブロックに区分化するように構成されてよい。
さらなる実施形態において、ビデオエンコーダは、画像１７のブロック２０３、例えば、画像１７を形成する１つ、いくつか、又は全てのブロックを直接受信するように構成されてよい。画像ブロック２０３は、現在の画像ブロック又はコードされる画像ブロックとも称され得る。
画像１７と同様にここでも、画像ブロック２０３は、画像１７よりも寸法が小さいが、強度値（サンプル値）を持つサンプルの二次元アレイ又はマトリックスであるか、又は、それとみなされ得る。換言すると、ブロック２０３は、例えば、１つのサンプルアレイ（例えば、モノクロ画像１７の場合はルマアレイ、又は、カラー画像の場合はルマ若しくはクロマアレイ）、又は、３つのサンプルアレイ（例えば、カラー画像１７の場合はルマ及び２つのクロマアレイ）、又は、適用されるカラーフォーマットに応じた任意の他の数及び／又は種類のアレイを備えてよい。ブロック２０３の水平及び垂直方向（又は軸）のサンプルの数は、ブロック２０３のサイズを定義する。したがって、ブロックは、例えば、サンプルのＭ×Ｎ（Ｍ列×Ｎ行）アレイ、又は変換係数のＭ×Ｎアレイであってよい。
図２に示されるビデオエンコーダ２０の実施形態は、画像１７をブロック毎にエンコードするように構成されてよく、例えば、エンコーディング及び予測がブロック２０３毎に実行される。
図２に示されるビデオエンコーダ２０の実施形態はさらに、スライス（ビデオスライスとも称される）を使用して、画像を区分化及び／又はエンコードするように構成されてよく、画像は、１又は複数のスライス（典型的には非重複）を使用して区分化又はエンコードされてよく、各スライスは、１又は複数のブロック（例えば、ＣＴＵ）を含んでよい。
図２に示されるビデオエンコーダ２０の実施形態はさらに、タイルグループ（ビデオタイルグループとも称される）及び／又はタイル（ビデオタイルとも称される）を使用して、画像を区分化及び／又はエンコードするように構成されてよく、画像は、１又は複数のタイルグループ（典型的には非重複）を使用して区分化又はエンコードされてよく、各タイルグループは、例えば、１又は複数のブロック（例えば、ＣＴＵ）若しくは１又は複数のタイルを含んでよく、各タイルは、例えば、矩形形状であってよく、１又は複数のブロック（例えば、ＣＴＵ）、例えば、完全な又は分数ブロックを含んでよい。
［残差計算］
残差計算ユニット２０４は、例えば、サンプル毎（画素毎）に画像ブロック２０３のサンプル値から予測ブロック２６５のサンプル値を減算し、サンプル領域における残差ブロック２０５を取得することによって、画像ブロック２０３及び予測ブロック２６５に基づいて（予測ブロック２６５に関するさらなる詳細は後で提供される）、残差ブロック２０５（残差２０５とも称される）を計算するように構成されてよい。
［変換］
変換処理ユニット２０６は、残差ブロック２０５のサンプル値に対して変換、例えば、離散コサイン変換（ＤＣＴ）又は離散サイン変換（ＤＳＴ）を適用し、変換領域における変換係数２０７を取得するように構成されてよい。変換係数２０７は、変換残差係数とも称され得、変換領域における残差ブロック２０５を表す。
変換処理ユニット２０６は、Ｈ．２６５／ＨＥＶＣに指定された変換などのＤＣＴ/ＤＳＴの整数近似を適用するように構成されてよい。直交ＤＣＴ変換と比較して、そのような整数近似は、典型的には特定の係数によってスケーリングされる。順変換及び逆変換によって処理される残差ブロックのノルムを保存するべく、変換プロセスの一部として追加のスケーリング係数が適用される。スケーリング係数は、典型的には、シフト演算の２のべき乗であるスケーリング係数、変換係数のビット深度、精度と実装コストとの間のトレードオフ等のような特定の制約に基づいて選択される。例えば、特定のスケーリング係数が、例えば、逆変換処理ユニット２１２による逆変換（及び、例えばビデオデコーダ３０における逆変換処理ユニット３１２による対応する逆変換）に指定され、例えば、エンコーダ２０における変換処理ユニット２０６による順方向変換のための対応するスケーリング係数が、相応に指定されてよい。
ビデオエンコーダ２０の実施形態は（それぞれ変換処理ユニット２０６）は、変換パラメータ、例えば単数又は複数の変換のタイプを、例えば、直接又はエントロピーエンコーディングユニット２７０を介してエンコード若しくは圧縮してから出力するように構成されてよく、その結果、例えば、ビデオデコーダ３０は、デコーディングのために変換パラメータを受信して使用してよい。
［量子化］
量子化ユニット２０８は、例えば、スカラ量子化又はベクトル量子化を適用することによって、変換係数２０７を量子化して、量子化係数２０９を取得するように構成されてよい。量子化係数２０９は、量子化変換係数２０９又は量子化残差係数２０９とも称され得る。
量子化プロセスは、変換係数２０７のいくつか又は全てに関連付けられたビット深度を低減し得る。例えば、ｎビット変換係数は、量子化中にｍビット変換係数に丸められてよく、ここでｎはｍより大きい。量子化の程度は、量子化パラメータ（ＱＰ）を調整することによって変更されてよい。例えば、スカラ量子化の場合、より細かい又はより粗い量子化を達成するために、異なるスケーリングが適用されてよい。量子化段階サイズが小さいほど細かい量子化に対応し、一方で、量子化段階サイズが大きいほど粗い量子化に対応する。適用可能な量子化段階サイズは、量子化パラメータ（ＱＰ）によって示され得る。量子化パラメータは、例えば、適用可能な量子化段階サイズの予め定義されたセットに対するインデックスであってよい。例えば、小さな量子化パラメータは細かい量子化（小さな量子化段階サイズ）に対応し得、大きな量子化パラメータは粗い量子化（大きな量子化段階サイズ）に対応し得るか、又は逆もまた同様である。量子化は、量子化段階サイズによる除算を含んでよく、例えば逆量子化ユニット２１０による対応する及び／又は逆の量子化解除は、量子化段階サイズによる乗算を含んでよい。いくつかの規格、例えばＨＥＶＣに従った実施形態は、量子化段階サイズを決定するのに量子化パラメータを使用するように構成されてよい。概して、量子化段階サイズは、除算を含む方程式の固定小数点近似を使用する量子化パラメータに基づいて計算され得る。残差ブロックのノルムを復元するために、量子化及び量子化解除に追加のスケーリング係数が導入され得、これは、量子化段階サイズ及び量子化パラメータの方程式の固定小数点近似で使用されるスケーリングに起因して変更され得る。１つの実装例では、逆変換及び量子化解除のスケーリングは組み合わされ得る。代替的に、カスタマイズされた量子化テーブルが使用され、例えばビットストリームにおいてエンコーダからデコーダにシグナリングされてよい。量子化は不可逆演算であり、損失は量子化段階サイズの増加に伴って増加する。
ビデオエンコーダ２０の実施形態（それぞれ量子化ユニット２０８）は、量子化パラメータ（ＱＰ）を、例えば、直接又はエントロピーエンコーディングユニット２７０を介してエンコードしてから出力するように構成されてよく、その結果、例えば、ビデオデコーダ３０は、デコーディングのために量子化パラメータを受信して適用してよい。
［逆量子化］
逆量子化ユニット２１０は、例えば、量子化ユニット２０８と同じ量子化段階サイズに基づいて又はそれを使用して量子化ユニット２０８により適用される量子化スキームの逆を適用することにより、量子化ユニット２０８の逆量子化を量子化係数に適用して、量子化解除係数２１１を取得するように構成される。量子化解除係数２１１は、量子化解除残差係数２１１とも称され得、典型的には量子化による損失に起因して変換係数とは同一でないが、変換係数２０７に対応する。
［逆変換］
逆変換処理ユニット２１２は、変換処理ユニット２０６によって適用される変換の逆変換、例えば、逆離散コサイン変換（ＤＣＴ）又は逆離散サイン変換（ＤＳＴ）又は他の逆変換を適用して、サンプル領域において、再構築された残差ブロック２１３（又は対応する量子化解除係数２１３）を取得するように構成される。再構築された残差ブロック２１３は、変換ブロック２１３とも称され得る。
［再構築］
再構築ユニット２１４（例えば加算器又は合算器２１４）は、例えば、サンプル毎に、再構築された残差ブロック２１３のサンプル値と予測ブロック２６５のサンプル値とを加算することによって、変換ブロック２１３（すなわち、再構築された残差ブロック２１３）を予測ブロック２６５に加算し、サンプル領域において、再構築されたブロック２１５を取得するように構成される。
［フィルタリング］
ループフィルタユニット２２０（又は略して「ループフィルタ」２２０）は、再構築されたブロック２１５をフィルタリングして、フィルタリング済みのブロック２２１を取得するように、又は一般に、再構築されたサンプルをフィルタリングして、フィルタリング済みのサンプルを取得するように構成される。ループフィルタユニットは、例えば、画素遷移を平滑化するように、又は、別様にビデオ品質を改善するように構成されている。ループフィルタユニット２２０は、デブロッキングフィルタ、サンプル適応型オフセット（ＳＡＯ）フィルタ、又は、１又は複数の他のフィルタ、例えば、バイラテラルフィルタ、適応型ループフィルタ（ＡＬＦ）、鮮明化、平滑化フィルタ若しくは協調フィルタ、又は、それらの任意の組み合わせなどの、１又は複数のループフィルタを備えてよい。ループフィルタユニット２２０が、ループフィルタ内にあるものとして図２に示されているが、他の構成では、ループフィルタユニット２２０は、ポストループフィルタとして実装されてもよい。フィルタリング済みのブロック２２１は、フィルタリング済みの再構築されたブロック２２１とも称され得る。
ビデオエンコーダ２０（それぞれループフィルタユニット２２０）の実施形態は、ループフィルタパラメータ（サンプル適応型オフセット情報など）を、例えば、直接又はエントロピーエンコーディングユニット２７０を介してエンコードしてから出力するように構成されてよく、その結果、例えばデコーダ３０は、同じループフィルタパラメータ又はそれぞれのループフィルタをデコーディングのために受信及び適用してよい。
［デコードされた画像バッファ］
デコードされた画像バッファ（ＤＰＢ）２３０は、ビデオエンコーダ２０によってビデオデータをエンコーディングするための参照画像、又は一般に、参照画像データを保存するメモリであってよい。ＤＰＢ２３０は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、又は他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの様々なメモリデバイスのうち任意のものによって形成されてよい。デコードされた画像バッファ（ＤＰＢ）２３０は、１又は複数のフィルタリング済みのブロック２２１を保存するように構成されてよい。デコードされた画像バッファ２３０はさらに、同じ現在の画像又は異なる画像、例えば、以前に再構築された画像の、他に以前にフィルタリング済みのブロック、例えば、以前に再構築された且つフィルタリング済みのブロック２２１を保存するように構成されてよく、例えば、インター予測のために、以前に再構築された、すなわち、デコードされた、完全な画像（並びに、対応する参照ブロック及びサンプル）、及び／又は、部分的に再構築された現在の画像（並びに、対応する参照ブロック及びサンプル）を提供してよい。デコードされた画像バッファ（ＤＰＢ）２３０は、例えば、再構築されたブロック２１５がループフィルタユニット２２０によってフィルタリングされていない場合、１又は複数のフィルタリングされていない再構築されたブロック２１５、又は一般に、フィルタリングされていない再構築されたサンプル、又は、再構築されたブロック若しくはサンプルの任意の他のさらに処理されたバージョンを保存するように構成されてもよい。
［モード選択（区分化及び予測）］
モード選択ユニット２６０は、区分化ユニット２６２と、インター予測ユニット２４４と、イントラ予測ユニット２５４とを備え、元の画像データ、例えば元のブロック２０３（現在の画像１７の現在のブロック２０３）、及び再構築された画像データ、例えば、同じ（現在の）画像の及び／又は１又は複数の以前にデコードされた画像からの、例えばデコードされた画像バッファ２３０又は他のバッファ（例えば図示しないラインバッファ）からの、フィルタリング済みの及び／又はフィルタリングされていない再構築されたサンプル又はブロックを受信又は取得するように構成される。再構築された画像データは、予測ブロック２６５又は予測因子２６５を取得するために、予測、例えば、インター予測又はイントラ予測のための参照画像データとして使用される。
モード選択ユニット２６０は、現在のブロック予測モード（区分化を含まない）と予測モード（例えば、イントラ又はインター予測モード）とに対する区分化を決定又は選択することと、対応する予測ブロック２６５を生成することであって、対応する予測ブロック２６５は、残差ブロック２０５の計算と、再構築されたブロック２１５の再構築とに使用される、生成することとを行うように構成されてよい。
モード選択ユニット２６０の実施形態は、区分化及び予測モードを（例えば、モード選択ユニット２６０によりサポートされるもの又はモード選択ユニット２６０に利用可能なものから）選択するように構成されてよく、これにより、最良のマッチング、又は換言すると、最小残差（最小残差は、送信又は保存のための圧縮率がより良好であることを意味する）、又は、最小シグナリングオーバヘッド（最小シグナリングオーバヘッドは、送信又は保存のための圧縮率がより良好であることを意味する）、又は、これら両方を考慮した又は両方のバランスをとったものを提供する。モード選択ユニット２６０は、レート歪み最適化（ＲＤＯ）に基づいて区分化及び予測モードを決定する、すなわち、最小レート歪みを提供する予測モードを選択するように構成されてよい。この文脈において「最良」、「最小」、「最適」等のような用語は、全般的な「最良」、「最小」、「最適」等を必ずしも指さず、値が閾値又は他の制約を超過又は下回り、潜在的に「準最適選択」に繋がるが複雑性及び処理時間は低減するような、終了又は選択基準の達成を指してもよい。
換言すると、区分化ユニット２６２は、例えば、四分木区分化（ＱＴ）、二分木区分化（ＢＴ）、若しくは三分木区分化（ＴＴ）又はそれらの任意の組み合わせを繰り返し使用して、ブロック２０３をより小さなブロック区分又はサブブロック（ここでもブロックを形成する）に区分化することと、例えば、ブロック区分化又はサブブロックの各々に対する予測を実行することとを行うように構成されてよく、モード選択は、区分化されたブロック２０３の木構造の選択を含み、予測モードは、ブロック区分又はサブブロックの各々に適用される。
以下では、例示的なビデオエンコーダ２０によって実行される、区分化（例えば、区分化ユニット２６０による）及び予測処理（インター予測ユニット２４４及びイントラ予測ユニット２５４による）をより詳細に説明する。
［区分化］
区分化ユニット２６２は、現在のブロック２０３をより小さい区分、例えば、正方形又は矩形のサイズのより小さいブロックに区分化（又は分割）し得る。これらのより小さいブロック（サブブロックとも称され得る）は、さらにより小さい区分にさらに区分化されてよい。これは、ツリー区分化若しくは階層的ツリー区分化とも称され、ここで、例えば根ツリーレベル０（階層レベル０、深度０）にある根ブロックは、再帰的に区分化、例えば、次に低いツリーレベル、例えばツリーレベル１（階層レベル１、深度１）にある節点の２又はそれより多くのブロックに区分化されてよく、これらのブロックは、例えば終了基準が達成されたことで、例えば最大ツリー深度又は最小ブロックサイズに達したことで、区分化が終了するまで、次に低いレベル、例えばツリーレベル２（階層レベル２、深度２）の２又はそれより多くのブロックに再区分化される等してよい。さらに区分化されないブロックは、ツリーの葉ブロック又は葉節点とも称される。２つの区分への区分化を用いるツリーは、二分木（ＢＴ）と称され、３つの区分への区分化を用いるツリーは、三分木（ＴＴ）と称され、４つの区分への区分化を用いるツリーは、四分木（ＱＴ）と称される。
上述のように、本明細書で使用される「ブロック」という用語は、画像の部分、特に、正方形又は矩形部分であってよい。例えば、ＨＥＶＣ及びＶＶＣを参照すると、ブロックは、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）、及び／又は、対応するブロック、例えば、コーディングツリーブロック（ＣＴＢ）、コーディングブロック（ＣＢ）、変換ブロック（ＴＢ）、若しくは予測ブロック（ＰＢ）であるか、又はそれらに対応してよい。
例えば、コーディングツリーユニット（ＣＴＵ）は、ルマサンプルのＣＴＢ、３つのサンプルアレイを有する画像のクロマサンプルの２つの対応するＣＴＢ、又は、モノクロ画像の若しくはサンプルをコードするために使用された３つの別個の色平面及びシンタックス構造を使用してコードされた画像のサンプルのＣＴＢであるか、又はそれらを含んでよい。これに対応して、コーディングツリーブロック（ＣＴＢ）は、ＣＴＢへのコンポーネントの分割が区分化であるように、ある値ＮのサンプルのＮ×Ｎブロックであってよい。コーディングユニット（ＣＵ）は、ルマサンプルのコーディングブロック、３つのサンプルアレイを有する画像のクロマサンプルの２つの対応するコーディングブロック、又は、モノクロ画像の若しくはサンプルをコードするために使用された３つの別個の色平面及びシンタックス構造を使用してコードされた画像のサンプルのコーディングブロックであるか、又はそれらを含んでよい。これに対応して、コーディングブロック（ＣＢ）は、コーディングブロックへのＣＴＢの分割が区分化であるように、ある値Ｍ及びＮのサンプルのＭ×Ｎブロックであってよい。
例えばＨＥＶＣに従う実施形態において、コーディングツリーユニット（ＣＴＵ）は、コーディングツリーとして表される四分木構造を使用することによってＣＵに分割されてよい。画像エリアを、インター画像（時間的）予測を使用してコードするか、又は、イントラ画像（空間的）予測を使用してコードするかの決定は、ＣＵレベルで行われる。各ＣＵはさらに、ＰＵの分割タイプに従って、１つ、２つ、又は４つのＰＵに分割することができる。１つのＰＵの内部では、同じ予測処理が適用され、関連情報はＰＵベースでデコーダに送信される。ＰＵの分割タイプに基づいて予測処理を適用することによって残差ブロックを取得した後、ＣＵは、ＣＵのコーディングツリーと同様の別の四分木構造に従って変換ユニット（ＴＵ）に区分化されることができる。
例えば、多用途ビデオコーディング（ＶＶＣ）と称される、現在開発中の最新のビデオコーディング規格に従う実施形態において、例えば、組み合わされた四分木及び二分木（ＱＴＢＴ）区分化がコーディングブロックを区分化するのに使用される。ＱＴＢＴブロック構造では、ＣＵは、正方形又は矩形形状のいずれかとすることができる。例えば、コーディングツリーユニット（ＣＴＵ）は、まず四分木構造により区分化される。四分木の葉節点は、二分木又は三分（ｔｅｒｎａｒｙ（ｏｒ ｔｒｉｐｌｅ））木構造によってさらに区分化される。区分化ツリーの葉節点は、コーディングユニット（ＣＵ）と呼ばれ、そのセグメンテーションは、いかなるさらなる区分化も行わずに予測及び変換の処理に使用される。つまり、ＣＵ、ＰＵ、及びＴＵは、ＱＴＢＴコーディングブロック構造において同じブロックサイズを有する。並行して、複数の区分化、例えば、三分木区分化が、ＱＴＢＴブロック構造と一緒に使用され得る。
１つの例において、ビデオエンコーダ２０のモード選択ユニット２６０は、本明細書に記載の区分化技術の任意の組み合わせを実行するように構成されてよい。
上述したように、ビデオエンコーダ２０は、（例えば、予め決定された）予測モードのセットから最良又は最適な予測モードを決定又は選択するように構成される。予測モードのセットは、例えば、イントラ予測モード及び／又はインター予測モードを含み得る。
［イントラ予測］
イントラ予測モードのセットは、３５個の異なるイントラ予測モード、例えば、ＤＣ（又は平均）モード及び平面モードのような無方向性モード、又は、例えば、ＨＥＶＣにおいて定義されるような方向性モードを含み得る、又は、６７個の異なるイントラ予測モード、例えば、ＤＣ（又は平均）モード及び平面モードのような無方向性モード、又は、例えば、ＶＶＣについて定義されるような方向性モードを含み得る。
イントラ予測ユニット２５４は、同じ現在の画像の隣接ブロックの再構築されたサンプルを使用して、イントラ予測モードのセットのうちのイントラ予測モードに従って、イントラ予測ブロック２６５を生成するように構成されている。
イントラ予測ユニット２５４（又は一般にモード選択ユニット２６０）はさらに、イントラ予測パラメータ（又は一般に、ブロックのために選択されたイントラ予測モードを示す情報）を、エンコードされた画像データ２１に含まれるようにシンタックス要素２６６の形でエントロピーエンコーディングユニット２７０に出力するように構成され、その結果、例えば、ビデオデコーダ３０は、デコーディングのために予測パラメータを受信及び使用してよい。
［インター予測］
一組の（又は可能な）インター予測モードは、利用可能な参照画像（すなわち、例えば、ＤＢＰ２３０に保存された、以前に少なくとも部分的にデコードされた画像）と、例えば、参照画像の現在のブロックのエリアの周囲の検索ウィンドウエリアのような、例えば、参照画像の全体又は一部のみが、最も良くマッチングする参照ブロックを検索するのに使用されているかどうか、及び／又は、例えば、画素補間、例えば２分の１／半ペル及び／又は４分の１ペル補間が適用されたか否かといった、他インター予測パラメータとに依存する。
上記の予測モードに加えて、スキップモード及び／又は直接モードが適用されてよい。
インター予測ユニット２４４は、動き推定（ＭＥ）ユニットと動き補償（ＭＣ）ユニット（両方とも図２には図示せず）とを含み得る。動き推定ユニットは、動き推定のために、画像ブロック２０３（現在の画像１７の現在の画像ブロック２０３）及びデコードされた画像２３１、又は少なくとも１又は複数の以前に再構築されたブロック、例えば、１又は複数の他の／異なる以前にデコードされた画像２３１の再構築されたブロックを受信又は取得するように構成されてよい。例えば、ビデオシーケンスは、現在の画像及び以前にデコードされた画像２３１を含んでよく、又は換言すると、現在の画像及び以前にデコードされた画像２３１は、ビデオシーケンスを形成する一連の画像の一部であるか又はそれを形成してよい。
エンコーダ２０は、例えば、複数の他の画像のうちの同じ又は異なる画像の複数の参照ブロックから参照ブロックを選択し、参照画像（又は参照画像インデックス）及び／又は参照ブロックの位置（ｘ、ｙ座標）と現在のブロックの位置との間のオフセット（空間オフセット）を、インター予測パラメータとして動き推定ユニットに提供するように構成され得る。このオフセットは、動きベクトル（ＭＶ）とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得、例えば受信するとともに、そのインター予測パラメータに基づいて又はそれを使用してインター予測を実行して、インター予測ブロック２６５を取得するように構成されている。動き補償ユニットにより実行される動き補償は、動き推定によって決定される動き／ブロックベクトルに基づいて予測ブロックをフェッチ又は生成し、場合によって副画素精度までの補間を実行することを伴ってよい。補間フィルタリングは、既知の画素サンプルから追加の画素サンプルを生成してよく、したがって、画像ブロックをコードするのに使用され得る候補予測ブロックの数を潜在的に増加させる。現在の画像ブロックのＰＵのための動きベクトルを受信すると、動き補償ユニットは、参照画像リストのうちの１つにおいて動きベクトルが指し示す予測ブロックを位置特定してよい。
動き補償ユニットは、ビデオスライスの画像ブロックをデコーディングする際にビデオデコーダ３０によって使用される、ブロック及びビデオスライスに関連付けられるシンタックス要素を生成してもよい。スライス及びそれぞれのシンタックス要素に追加的に又は代替的に、タイルグループ及び／又はタイル、並びに、それぞれのシンタックス要素が生成又は使用され得る。
［エントロピーコーディング］
エントロピーエンコーディングユニット２７０は、例えば、エントロピーエンコーディングアルゴリズム又は方式（例えば、可変長コーディング（ＶＬＣ）方式、コンテキスト適応型ＶＬＣ方式（ＣＡＶＬＣ）、算術コーディング方式、二値化、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）、確率区間区分化エントロピー（ＰＩＰＥ）コーディング、又は、別のエントロピーエンコーディング方法若しくは技術）又はバイパス（圧縮なし）を量子化係数２０９、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、及び／又は、他のシンタックス要素に対して適用し、例えばエンコードされたビットストリーム２１の形で、出力部２７２を介して出力できるエンコードされた画像データ２１を取得するように構成され、その結果、例えば、ビデオデコーダ３０は、デコーディングのためにパラメータを受信及び使用し得る。エンコードされたビットストリーム２１は、ビデオデコーダ３０に送信されてもよく、又は、後でビデオデコーダ３０によって送信又は取得するためにメモリに保存されてもよい。
ビデオエンコーダ２０の他の構造上の変形は、ビデオストリームをエンコードするのに使用され得る。例えば、非変換ベースのエンコーダ２０は、特定のブロック又はフレームのための変換処理ユニット２０６を用いずに、直接的に残差信号を量子化することができる。別の実装において、エンコーダ２０は、単一のユニットに組み合わされた量子化ユニット２０８及び逆量子化ユニット２１０を有することができる。
［デコーダ及びデコーディング方法］
図３は、本願の技術を実装するように構成されたビデオデコーダ３０の例を示す。ビデオデコーダ３０は、例えば、エンコーダ２０によりエンコードされた、エンコードされた画像データ２１（例えば、エンコードされたビットストリーム２１）を受信して、デコードされた画像３３１を取得するように構成されている。エンコードされた画像データ又はビットストリームは、エンコードされた画像データをデコーディングするための情報、例えば、エンコードされたビデオスライスの画像ブロック（及び／又はタイルグループ若しくはタイル）及び関連付けられたシンタックス要素を表すデータを含む。
図３の例において、デコーダ３０は、エントロピーデコ―ディングユニット３０４、逆量子化ユニット３１０、逆変換処理ユニット３１２、再構築ユニット３１４（例えば、合算器３１４）、ループフィルタ３２０、デコードされた画像バッファ（ＤＢＰ）３３０、モード適用ユニット３６０、インター予測ユニット３４４、及びイントラ予測ユニット３５４を備える。インター予測ユニット３４４は、動き補償ユニットであってもよく、又はそれを含んでもよい。ビデオデコーダ３０は、いくつかの例では、図２のビデオエンコーダ１００に関連して説明されたエンコーディングパスに対して概ね逆のデコーディングパスを実行してよい。
エンコーダ２０に関して説明されたように、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、ループフィルタ２２０と、デコードされた画像バッファ（ＤＰＢ）２３０と、インター予測ユニット３４４と、イントラ予測ユニット３５４とは、ビデオエンコーダ２０の「内蔵デコーダ」を形成するものとしても言及される。したがって、逆量子化ユニット３１０は、逆量子化ユニット１１０と機能的に同一であってよく、逆変換処理ユニット３１２は、逆変換処理ユニット２１２と機能的に同一であってよく、再構築ユニット３１４は、再構築ユニット２１４と機能的に同一であってよく、ループフィルタ３２０は、ループフィルタ２２０と機能的に同一であってよく、デコードされた画像バッファ３３０は、デコードされた画像バッファ２３０と機能的に同一であってよい。したがって、ビデオエンコーダ２０のそれぞれのユニット及び機能について提供される説明は、ビデオデコーダ３０のそれぞれのユニット及び機能に対応して適用される。
［エントロピーデコーディング］
エントロピーデコーディングユニット３０４は、ビットストリーム２１（又は一般にエンコードされた画像データ２１）を解析し、例えば、エンコードされた画像データ２１にエントロピーデコーディングを実行して、例えば量子化係数３０９及び／又はデコードされたコーディングパラメータ（図３には図示せず）、例えば、インター予測パラメータ（例えば、参照画像インデックス及び動きベクトル）、イントラ予測パラメータ（例えば、イントラ予測モード又はインデックス）、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、及び／又は他のシンタックス要素のいずれか又は全てを取得ように構成される。エントロピーデコーディングユニット３０４は、エンコーダ２０のエントロピーエンコーディングユニット２７０に関して説明されたエンコーディングスキームに対応するデコーディングアルゴリズム又はスキームを適用するように構成されてよい。エントロピーデコ―ディングユニット３０４はさらに、インター予測パラメータ、イントラ予測パラメータ、及び／又は他のシンタックス要素をモード適用ユニット３６０に、また他のパラメータをデコーダ３０の他のユニットに提供するように構成されてよい。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルで、シンタックス要素を受信してよい。スライス及びそれぞれのシンタックス要素に追加的に又は代替的に、タイルグループ及び／又はタイル、並びに、それぞれのシンタックス要素が受信及び／又は使用され得る。
［逆量子化］
逆量子化ユニット３１０は、量子化パラメータ（ＱＰ）（又は一般に、逆量子化に関連する情報）及び量子化係数を、エンコードされた画像データ２１から（例えば、エントロピーデコーディングユニット３０４によって、例えば、解析及び／又はデコーディングによって）受信し、量子化パラメータに基づいて、デコードされた量子化係数３０９に対して逆量子化を適用し、変換係数３１１とも称され得る量子化解除係数３１１を取得するように構成され得る。逆量子化プロセスは、量子化の程度、また同様に適用されるべき逆量子化の程度を決定するために、ビデオスライス（又はタイル若しくはタイルグループ）内のビデオブロック毎にビデオエンコーダ２０によって決定される量子化パラメータの使用を含んでよい。
［逆変換］
逆変換処理ユニット３１２は、変換係数３１１とも称される量子化解除係数３１１を受信するとともに、サンプル領域における再構築された残差ブロック２１３を取得するべく、量子化解除係数３１１に変換を適用するように構成され得る。再構築された残差ブロック２１３は、変換ブロック３１３とも称されてよい。変換は、逆変換、例えば、逆ＤＣＴ、逆ＤＳＴ、逆整数変換、又は概念的に同様の逆変換プロセスであってよい。逆変換処理ユニット３１２はさらに、エンコードされた画像データ２１から変換パラメータ又は対応する情報を受信し（例えば、エントロピーデコ―ディングユニット３０４によって、例えば解析及び／又はデコーディングすることによって）、量子化解除係数３１１に適用されるべき変換を決定するように構成されてよい。
［再構築］
再構築ユニット３１４（例えば加算器又は合算器３１４）は、例えば、再構築された残差ブロック３１３のサンプル値と予測ブロック３６５のサンプル値とを加算することによって、再構築された残差ブロック３１３を予測ブロック３６５に加算し、サンプル領域において、再構築されたブロック３１５を取得するように構成される。
［フィルタリング］
（コーディングループ内又はコーディングループ後のいずれかにある）ループフィルタユニット３２０は、例えば、画素遷移を平滑化するように又はそうでなければビデオ品質を改善するように、再構築されたブロック３１５をフィルタリングして、フィルタリング済みのブロック３２１を取得するように構成される。ループフィルタユニット３２０は、デブロッキングフィルタ、サンプル適応型オフセット（ＳＡＯ）フィルタ、又は、１又は複数の他のフィルタ、例えば、バイラテラルフィルタ、適応型ループフィルタ（ＡＬＦ）、鮮明化、平滑化フィルタ若しくは協調フィルタ、又は、それらの任意の組み合わせなどの、１又は複数のループフィルタを備えてよい。ループフィルタユニット３２０が、ループフィルタ内にあるものとして図３に示されているが、他の構成では、ループフィルタユニット３２０は、ポストループフィルタとして実装されてもよい。
［デコードされた画像バッファ］
画像のデコードされたビデオブロック３２１はその後、デコードされた画像バッファ３３０に保存され、デコードされた画像バッファ３３０は、他の画像の後続の動き補償及び／又はそれぞれの表示の出力のための参照画像としてデコードされた画像３３１を保存する。
デコーダ３０は、例えば、出力３１２を介して、ユーザに提示又は表示するために、デコードされた画像３１１を出力するように構成される。
［予測］
インター予測ユニット３４４は、インター予測ユニット２４４（特に、動き補償ユニット）と同一であってよく、イントラ予測ユニット３５４は、インター予測ユニット２５４と機能的に同一であってよく、エンコードされた画像データ２１から受信（例えば、エントロピーデコーディングユニット３０４によって、例えば、解析及び／又はデコーディングによって）された区分化及び／又は予測パラメータ又はそれぞれの情報に基づいて分割又は区分化の決定及び予測を実行する。モード適用ユニット３６０は、再構築された画像、ブロック、又はそれぞれのサンプル（フィルタリングされた又はフィルタリングされていない）に基づいて、ブロック毎に予測（イントラ予測又はインター予測）を実行して、予測ブロック３６５を取得するように構成されてよい。
ビデオスライスがイントラコーディング済み（Ｉ）スライスとしてコードされている場合、モード適用ユニット３６０のイントラ予測ユニット３５４は、シグナリングされたイントラ予測モード及び現在の画像の以前にデコードされたブロックからのデータに基づいて、現在のビデオスライスの画像ブロックのための予測ブロック３６５を生成するように構成されている。ビデオ画像がインターコーディング済みの（すなわち、Ｂ又はＰ）スライスとしてコードされている場合、モード適用ユニット３６０のインター予測ユニット３４４（例えば、動き補償ユニット）は、動きベクトル及びエントロピーデコ―ディングユニット３０４から受信された他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックのための予測ブロック３６５を生成するように構成されている。インター予測の場合、予測ブロックは、複数の参照画像リストのうちの１つに含まれる複数の参照画像のうちの１つから生成されてよい。ビデオデコーダ３０は、リスト０及びリスト１という参照フレームリストを、デフォルト構築技術を使用して、ＤＰＢ３３０に保存された参照画像に基づいて構築してよい。同じ又は同様の技術が、スライス（例えば、ビデオスライス）に追加的又は代替的に、タイルグループ（例えばビデオタイルグループ）及び／又はタイル（例えば、ビデオタイル）を使用する実施形態に適用されてもよく、又は当該実施形態より適用されてもよい。例えば、ビデオは、Ｉ、Ｐ、又はＢタイルグループ及び／又はタイルを使用してコードされてよい。
モード適用ユニット３６０は、動きベクトル又は関連する情報及び他のシンタックス要素を解析することによって、現在のビデオスライスのビデオブロックのための予測情報を決定するように構成され、デコードされている現在のビデオブロックのための予測ブロックを生成するために上記予測情報を使用する。例えば、モード適用ユニット３６０は、受信されたシンタックス要素のいくつかを使用して、ビデオスライスのビデオブロックをコードするのに使用された予測モード（例えば、イントラ予測又はインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスのための参照画像リストのうちの１又は複数に関する構築情報、スライスの各インターエンコードされたビデオブロックごとの動きベクトル、スライスの各インターコーディング済みのビデオブロックごとのインター予測ステータス、及び現在のビデオスライス内のビデオブロックをデコードするための他の情報を決定する。同じ又は同様の技術が、スライス（例えば、ビデオスライス）に追加的又は代替的に、タイルグループ（例えばビデオタイルグループ）及び／又はタイル（例えば、ビデオタイル）を使用する実施形態に適用されてもよく、又は当該実施形態より適用されてもよい。例えば、ビデオは、Ｉ、Ｐ、又はＢタイルグループ及び／又はタイルを使用してコードされてよい。
図３に示されるビデオデコーダ３０の実施形態は、スライス（ビデオスライスとも称される）を使用して、画像を区分化及び／又はデコードするように構成されてよく、画像は、１又は複数のスライス（典型的には非重複）を使用して区分化又はデコードされてよく、各スライスは、１又は複数のブロック（例えば、ＣＴＵ）を含んでよい。
図３に示されるビデオデコーダ３０の実施形態は、タイルグループ（ビデオタイルグループとも称される）及び／又はタイル（ビデオタイルとも称される）を使用して、画像を区分化及び／又はデコードするように構成されてよく、画像は、１又は複数のタイルグループ（典型的には非重複）を使用して区分化又はデコードされてよく、各タイルグループは、例えば、１又は複数のブロック（例えば、ＣＴＵ）若しくは１又は複数のタイルを含んでよく、各タイルは、例えば、矩形形状であってよく、１又は複数のブロック（例えば、ＣＴＵ）、例えば、完全な又は分数ブロックを含んでよい。
ビデオデコーダ３０の他の変形は、エンコードされた画像データ２１をデコードするのに使用され得る。例えば、デコーダ３０は、ループフィルタリングユニット３２０を用いずに、出力ビデオストリームを生成することができる。例えば、非変換ベースのデコーダ３０は、特定のブロック又はフレームのための逆変換処理ユニット３１２を用いずに、直接的に残差信号を逆量子化することができる。別の実装において、ビデオデコーダ３０は、単一のユニットに組み合わされた逆量子化ユニット３１０及び逆変換処理ユニット３１２を有し得る。
エンコーダ２０及びデコーダ３０において、現在の段階の処理結果は、さらに処理されて、その後、次の段階に出力されてよいことが理解されるべきである。例えば、補間フィルタリング、動きベクトルの導出又はループフィルタリングの後に、クリップ又はシフトなどのさらなる演算が、補間フィルタリング、動きベクトルの導出又はループフィルタリングの処理結果に対して実行されてよい。
さらなる演算が、現在のブロックの導出された動きベクトル（限定しないが、アフィンモードの制御点動きベクトル、アフィン、平面、ＡＴＭＶＰモードにおけるサブブロック動きベクトル、時間的な動きベクトルなどを含む）に適用されてよいことに留意すべきである。例えば、動きベクトルの値は、その表現ビットに従って予め定義された範囲に制限される。動きベクトルの表示ビットがｂｉｔＤｅｐｔｈである場合、その範囲は、－２＾（ｂｉｔＤｅｐｔｈ－１）～２＾（ｂｉｔＤｅｐｔｈ－１）－１であり、ここで「＾」はべき乗を意味する。例えば、ｂｉｔＤｅｐｔｈが１６に等しく設定されている場合、その範囲は－３２７６８～３２７６７であり、ｂｉｔＤｅｐｔｈが１８に等しく設定されている場合、その範囲は－１３１０７２～１３１０７１である。例えば、導出された動きベクトル（例えば、１つの８×８ブロック内の４つの４×４サブブロックのＭＶ）の値は制限され、その結果、４つの４×４サブブロックＭＶの整数部分間の最大差は、例えば１画素以下など、Ｎ画素以下である。ここでは、ｂｉｔＤｅｐｔｈに従って動きベクトルを制限する２つの方法を提供する。
方法１：以下の演算により、オーバフローＭＳＢ（最上位ビット）を除去する。
ここで、ｍｖｘは、イメージブロック又はサブブロックの動きベクトルの水平成分であり、ｍｖｙは、イメージブロック又はサブブロックの動きベクトルの垂直成分であり、ｕｘ及びｕｙは中間値を示す。例えば、式（１）及び（２）の適用後、ｍｖｘの値が－３２７６９である場合、結果として得られる値は３２７６７である。コンピュータシステムにおいて、十進数は、２の補数として保存される。－３２７６９の２の補数は、１，０１１１，１１１１，１１１１，１１１１（１７ビット）であり、その後、ＭＳＢは破棄されるので、結果として得られる２の補数は、０１１１，１１１１，１１１１，１１１１（十進数は３２７６７）である。これは、式（１）及び（２）を適用することによる出力と同じである。
当該演算は、式（５）～（８）に示されるように、ｍｖｐ及びｍｖｄの合計中に適用されてよい。
方法２：値をクリッピングすることによってオーバフローＭＳＢを除去する。
ここで、ｖｘは、イメージブロック又はサブブロックの動きベクトルの水平成分であり、ｖｙは、イメージブロック又はサブブロックの動きベクトルの垂直成分であり、ｘ、ｙ及びｚはそれぞれ、ＭＶクリッピングプロセスの３つの入力値に対応し、関数Ｃｌｉｐ３の定義は、以下の通りである。
図４は、本開示の実施形態に係るビデオコーディングデバイス４００の概略図である。ビデオコーディングデバイス４００は、本明細書に記載の開示される実施形態を実装するのに好適なものである。実施形態において、ビデオコーディングデバイス４００は、図１Ａのビデオデコーダ３０などのデコーダ、又は図１Ａのビデオエンコーダ２０などのエンコーダであり得る。
ビデオコーディングデバイス４００は、データを受信するための入口ポート４１０（又は入力ポート４１０）及び受信器ユニット（Ｒｘ）４２０と、データを処理するためのプロセッサ、論理ユニット、又は中央演算処理装置（ＣＰＵ）４３０と、データを送信するための送信器ユニット（Ｔｘ）４４０及び出口ポート４５０（又は出力ポート４５０）と、データを保存するためのメモリ４６０とを備える。ビデオコーディングデバイス４００は、光又は電気信号の出口又は入口用の、入口ポート４１０、受信器ユニット４２０、送信器ユニット４４０、及び出口ポート４５０に連結されている光／電気（ＯＥ）コンポーネント及び電気／光（ＥＯ）コンポーネントを備えてもよい。
プロセッサ４３０は、ハードウェア及びソフトウェアによって実装される。プロセッサ４３０は、１又は複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとしての）、ＦＰＧＡ、ＡＳＩＣ、及びＤＳＰとして実装され得る。プロセッサ４３０は、入口ポート４１０、受信器ユニット４２０、送信器ユニット４４０、出口ポート４５０、及びメモリ４６０と通信する。プロセッサ４３０は、コーディングモジュール４７０を備える。コーディングモジュール４７０は、上述した開示される実施形態を実装する。例えば、コーディングモジュール４７０は、様々なコーディング演算を実装、処理、準備、又は提供する。したがって、コーディングモジュール４７０を含むことにより、ビデオコーディングデバイス４００の機能のかなりの改善が提供され、ビデオコーディングデバイス４００の異なる状態への変換がもたらされる。代替的に、コーディングモジュール４７０は、メモリ４６０に保存された命令として実装され、プロセッサ４３０により実行される。
メモリ４６０は、１又は複数のディスク、テープドライブ、及びソリッドステートドライブを備え得、オーバーフローデータストレージデバイスとして使用され、そのようなプログラムが実行のために選択された場合にプログラムを保存して、プログラムを実行中に読み取られる命令及びデータを保存し得る。メモリ４６０は例えば、揮発性及び／又は不揮発性であり得、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）、及び／又は、スタティックランダムアクセスメモリ（ＳＲＡＭ）であり得る。
図５は、例示的な実施形態に係る図１Ａによるソースデバイス１２及びデスティネーションデバイス１４のいずれか又は両方として使用されてよい装置５００の簡略化されたブロック図である。
装置５００におけるプロセッサ５０２は、中央演算処理装置とすることができる。代替的に、プロセッサ５０２は、現在既存の又は今後開発される情報の操作又は処理が可能な任意の他のタイプのデバイス又は複数のデバイスとすることができる。開示の実装は、示されるような単一のプロセッサ、例えば、プロセッサ５０２で実施できるが、１つより多くのプロセッサを使用して、速度及び効率の利点が実現できる。
装置５００におけるメモリ５０４は、一実装において、リードオンリーメモリ（ＲＯＭ）デバイス又はランダムアクセスメモリ（ＲＡＭ）デバイスとすることができる。任意の他の好適なタイプのストレージデバイスがメモリ５０４として使用され得る。メモリ５０４は、バス５１２を使用してプロセッサ５０２によってアクセスされるコード及びデータ５０６を含み得る。メモリ５０４はさらに、オペレーティングシステム５０８及びアプリケーションプログラム５１０を含み得、アプリケーションプログラム５１０は、プロセッサ５０２が本明細書に記載の方法を実行することを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム５１０は、アプリケーション１～Ｎを含み得、アプリケーション１～Ｎはさらに、本明細書に記載の方法を実行するビデオコーディングアプリケーションを含む。
装置５００はまた、ディスプレイ５１８などの１又は複数の出力デバイスを含み得る。ディスプレイ５１８は、一例において、ディスプレイと、タッチ入力を感知するように動作可能なタッチセンサー素子とを組み合わせたタッチセンサー式ディスプレイであってよい。ディスプレイ５１８は、バス５１２を介してプロセッサ５０２に連結され得る。
ここでは単一のバスとして示されるが、装置５００のバス５１２は、複数のバスで構成され得る。さらに、セカンダリストレージ５１４は、装置５００の他のコンポーネントに直接連結でき、又は、ネットワークを介してアクセスでき、メモリカードなどの単一の統合ユニット又は複数のメモリカードなどの複数のユニットを含むことができる。したがって、装置５００は、多種多様な構成で実装されることができる。
ＪＶＥＴ－Ｌ１００１において、ＶＶＣ Ｄｒａｆｔ３．０のドラフトテキストであるＭＴＳは、インタースライス及びイントラスライスのシーケンスレベルで、個々で有効にされ得る。ＭＴＳがオフである場合、ＤＣＴ２は、変換コアとして使用されることが想定される。しかしながら、ＪＶＥＴ－Ｍ０３０３、ＪＶＥＴ－Ｍ０１４０又はＪＶＥＴ－Ｍ０１０２などの従来技術においては、推論されたＤＳＴ７／ＤＣＴ８変換が導入されている。全てのケースにおいて、純粋なＤＣＴ２変換に切り替える可能性は存在しない。本開示は、上記の課題に対処する。
本開示は、ＤＣＴ２有効フラグが偽である場合に、シーケンスにおける全てのケースに対してＤＣＴ２変換コアのみが使用されているかどうかを推論するのに使用される追加のＤＣＴ２有効フラグを導入し、その後、シーケンスレベルＭＴＳ有効フラグがさらにシグナリングされる。ＤＣＴ２有効フラグが真である場合、ＤＣＴ２変換コアのみが使用されると想定される。
追加のＤＣＴ２有効フラグをＳＰＳにおいて導入することは、推論されたＭＳＴツールがオンである場合に、ＤＣＴ２への切り替えを可能にする。
［７．３．２．１ シーケンスパラメータセットＲＢＳＰシンタックス］
ＪＶＥＴ－Ｌ１００１において、ＶＶＣ Ｄｒａｆｔ３．０のドラフトテキストである複数変換選択（ＭＴＳ）は、インタースライス及びイントラスライスのシーケンスレベルで、個々で有効にされ得る。ＭＴＳがオフである場合、ＤＣＴ２は、変換コアとして使用されることが想定される。しかしながら、ＪＶＥＴ－Ｍ０３０３、ＪＶＥＴ－Ｍ０１４０又はＪＶＥＴ－Ｍ０１０２などの従来技術においては、推論されたＤＳＴ７／ＤＣＴ８変換が導入されている。ＭＴＳシーケンスレベルオフのケースにおいて、従来技術はＤＳＴ７／ＤＣＴ８を使用し、ＤＣＴ２は、ブロック形状、位置、又は他の特徴に応じて適応的に適用される。しかしながら、ＤＣＴ２は、エンコーダ及びデコーダの両方の設計に対して望ましい。換言すると、ＤＣＴ２、推論されたＤＳＴ７又はＤＣＴ８、及びＭＴＳ（ＲＤＯ選択変換コア）の間の切り替え可能性は、本開示において設計される。
本開示において、ＤＣＴ２有効フラグは高レベルのシンタックスに導入される。それは、セクション１．１において言及される課題に対処するためである。高レベルのシンタックスにおける追加のＤＣＴ２有効フラグは、ＤＣＴ２有効フラグが偽である場合に、シーケンスにおける全てのケースに対してＤＣＴ２変換コアのみが使用されているかどうかを推論するのに使用され、その後、シーケンスレベルＭＴＳ有効フラグがさらにシグナリングされ、ＭＴＳがシーケンスに対して有効にされたかどうかが推論される。ＤＣＴ２有効フラグが真である場合、ＤＣＴ２変換コアのみが使用されると想定される。
シーケンスレベルＤＣＴ２有効フラグが無効であるケースにおいて、シーケンスレベルＭＴＳフラグはさらに、ＶＶＣ Ｄｒａｆｔ３．０（ＪＶＥＴ－Ｌ１００１）の従来技術におけるようにシグナリングされる。したがって、推論されたＤＳＴ７ＤＣＴ８、又は、（ＪＶＥＴ－Ｍ０３０３、ＪＶＥＴ－Ｍ０１４０、又はＪＶＥＴ－Ｍ０１０２）などの適応型変換コアコーディングツールは、従来技術と同じく使用される。
シーケンスレベルＤＣＴ有効フラグが有効であるケースにおいては、ＤＣＴ２のみが使用されると想定される。したがって、推論されたＤＳＴ７ＤＣＴ８、又は、（ＪＶＥＴ－Ｍ０３０３、ＪＶＥＴ－Ｍ０１４０、又はＪＶＥＴ－Ｍ０１０２）などの適応型変換コアコーディングツールは、ＤＳＴ７／ＤＣＴ８の代わりにＤＣＴ２を使用して推論されるか又は無効となるかのいずれかである。
［本開示の第１実施形態］
第１実施形態において、シーケンスレベルＤＣＴ２有効フラグは、以下のようにｓｐｓにおいて示されており、強調された部分は本開示によって設計されている。エンコーダは、ＤＣＴ２有効フラグのインジケータをビットストリームに含み、デコーダは、ＤＣＴ有効フラグのインジケータをビットストリームから解析した。
［７．３．２．１ シーケンスパラメータセットＲＢＳＰシンタックス］
１に等しいｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇは、変換ユニットにＤＣＴ２変換コアのみが使用されることを指定する。０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ＤＣＴ２以外の他の変換コアが変換ユニットに使用可能であることを指定する。
１に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在し得ることを指定する。０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在しないことを指定する。ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの残差コーディングシンタックスに存在し得ることを指定する。０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの残差コーディングシンタックスに存在しないことを指定する。ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
ＤＣＴ２有効フラグはさらに、例えば、形状適応型変換選択のケース（ＪＶＥＴ－Ｍ０３０３）における低レベルのシンタックスにおいて使用され、ＭＴＳフラグがシーケンスレベルにおいて無効と示される場合、推論されたＤＳＴ７／ＤＣＴ８は矩形ブロックの短い縁部に使用され、ＤＳＴ７は正方形ブロックに使用される。シーケンスレベルＭＴＳがシーケンスに対して有効にされている場合、ＭＴＳフラグがゼロでありＶＴＭが水平方向及び垂直方向の両方にＤＣＴ２を使用する場合に、形状適応性が適用される。ＭＴＳフラグが１であるケースでは、この後ＶＴＭ変換選択処理が続く。使用される３つの変換（ＤＣＴ２、ＤＳＴ７、及びＤＣＴ８）は全て、現在のＶＴＭにおいて定義されるものと同一である。
提案される方法において、ＤＣＴ２有効フラグが無効と示される場合、適応型コア選択は、従来技術と同じく維持される。ＤＣＴ２有効フラグが有効と示される場合、ＤＣＴ２のみが使用され得る。ＭＴＳ機能はオフになっていると推論される。形状適応型変換選択はＤＣＴ２を使用してのみ推論され得、この実施形態において、それは形状適応型変換選択を無効にするのと同じである。対応する低レベルシンタックスは以下の通りである。
［８．４．４ スケーリングされた変換係数の変換プロセス］
［８．４．４．１ 一般］
この処理への入力は、
現在の画像の左上ルマサンプルに対する現在のルマ変換ブロックの左上サンプルを指定するルマ位置（ｘＴｂＹ、ｙＴｂＹ）と、
現在の変換ブロックの幅を指定する変数ｎＴｂＷと、
現在の変換ブロックの高さを指定する変数ｎＴｂＨと、
現在のブロックの色成分を指定する変数ｃＩｄｘと、
ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１である、スケーリングされた変換係数の（ｎＴｂＷ）×（ｎＴｂＨ）アレイｄ［ｘ］［ｙ］とである。
この処理の出力は、ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１である、残差サンプルの（ｎＴｂＷ）×（ｎＴｂＨ）アレイｒ［ｘ］［ｙ］である。
水平変換カーネルを指定する変数ｔｒＴｙｐｅＨｏｒと、垂直変換カーネルを指定する変数ｔｒＴｙｐｅＶｅｒとは、ｍｔｓ＿ｉｄｘ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］に応じて、表８‐１１において導出される。
変数ｔｒＡｄａｐｔＨｏｒＥｎａｂｌｅｄとｔｒＡｄａｐｔＶｅｒＥｎａｂｌｅｄとは、以下のように導出される。
‐ｉｆ ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇ ＆＆ ＣｕＰｒｅｄＭｏｄｅ［ｘＴｂＹ］［ｙＴｂＹ］ ＝＝ ＭＯＤＥ＿ＩＮＴＲＡ ＆＆ ！（ｃＩｄｘ＞０ ＆＆ ＩｎｔｒａＰｒｅｄＭｏｄｅＣ［ｘＴｂＹ］［ｙＴｂＹ］＞６６）：
ｔｒＡｄａｐｔＳｉｚｅＭｉｎ＝４
ｔｒＡｄａｐｔＳｉｚｅＭａｘ＝ｃＩｄｘ ＝＝ ０？１６：８
ｔｒＡｄａｐｔＨｏｒＥｎａｂｌｅｄ＝ｎＴｂＷ＞＝ｔｒＡｄａｐｔＳｉｚｅＭｉｎ ＆＆ ｎＴｂＷ＜＝ｔｒＡｄａｐｔＳｉｚｅＭａｘ？１：０
ｔｒＡｄａｐｔＶｅｒＥｎａｂｌｅｄ＝ｎＴｂＨ＞＝ｔｒＡｄａｐｔＳｉｚｅＭｉｎ ＆＆ ｎＴｂＨ＜＝ｔｒＡｄａｐｔＳｉｚｅＭａｘ？１：０
‐そうでない場合：
ｔｒＡｄａｐｔＨｏｒＥｎａｂｌｅｄ＝０
ｔｒＡｄａｐｔＶｅｒＥｎａｂｌｅｄ＝０
変数ｔｒＡｄａｐｔＨｏｒとｔｒＡｄａｐｔＶｅｒとは、以下のように導出される。
‐ｉｆ ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ：
ｔｒＡｄａｐｔＨｏｒ＝ｔｒＡｄａｐｔＨｏｒＥｎａｂｌｅｄ ＆＆ ｎＴｂＷ＜ｎＴｂＨ？１：０
ｔｒＡｄａｐｔＶｅｒ＝ｔｒＡｄａｐｔＶｅｒＥｎａｂｌｅｄ ＆＆ ｎＴｂＨ＜ｎＴｂＷ？１：０
‐そうでない場合：
ｔｒＡｄａｐｔＨｏｒ＝ｔｒＡｄａｐｔＨｏｒＥｎａｂｌｅｄ ＆＆ ｎＴｂＷ＜＝ｎＴｂＨ？１：０
ｔｒＡｄａｐｔＶｅｒ＝ｔｒＡｄａｐｔＶｅｒＥｎａｂｌｅｄ ＆＆ ｎＴｂＨ＜＝ｎＴｂＷ？１：０
［表８‐１１‐ｍｔｓ＿ｉｄｘ［ｘ］［ｙ］［ｃＩｄｘ］に応じたｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの仕様］
［本開示の第２実施形態］
第２実施形態において、シーケンスレベルＤＣＴ２有効フラグは、以下のようにｓｐｓにおいて示されており、強調された部分は本開示によって設計されている。エンコーダは、ＤＣＴ２有効フラグのインジケータをビットストリームに含み、デコーダは、ＤＣＴ有効フラグのインジケータをビットストリームから解析した。
［７．３．２．１ シーケンスパラメータセットＲＢＳＰシンタックス］
１に等しいｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇは、変換ユニットにＤＣＴ２変換コアのみが使用されることを指定する。０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ＤＣＴ２外の他の変換コアが変換ユニットに使用可能であることを指定する。
１に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在し得ることを指定する。０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在しないことを指定する。ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの残差コーディングシンタックスに存在し得ることを指定する。０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの残差コーディングシンタックスに存在しないことを指定する。ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
ＤＣＴ２有効フラグはさらに、例えばサブブロック変換のケース（ＪＶＥＴ－Ｍ０１４０）における低レベルのシンタックスに使用され、推論されたＤＳＴ７／ＤＣＴ８は、サブ変換ブロックの位置に応じて使用される。より具体的には、各ＳＢＴ位置に対する水平及び垂直変換は、図６及び図７において指定されている。例えば、ＳＢＴ－Ｖ位置０に対する水平及び垂直変換はそれぞれ、ＤＣＴ‐８及びＤＳＴ－７である。残差ＴＵの１つの側が３２より大きい場合、対応する変換はＤＣＴ‐２に設定される。したがって、サブブロック変換は、残差ブロックのＴＵタイリング、ｃｂｆ、並びに水平及び垂直変換を共同で指定し、これは、ブロックの主要残差がブロックの１つの側にあるケースのシンタックスショートカットとみなされ得る。
提案される方法において、ＤＣＴ２有効フラグが無効と示される場合、サブブロック変換選択は、従来技術と同じく維持される。
ＤＣＴ２有効フラグが有効と示される場合、ＤＣＴ２のみが使用され得る。ＭＴＳ機能はオフになっていると推論される。サブブロック変換コアは、ＤＣＴ２を使用してのみ推論され得る。対応する低レベルのシンタックスが添付されている。
［８．４．４ スケーリングされた変換係数の変換プロセス］
［８．４．４．１ 一般］
この処理への入力は、
現在の画像の左上ルマサンプルに対する現在のルマ変換ブロックの左上サンプルを指定するルマ位置（ｘＴｂＹ、ｙＴｂＹ）と、
現在の変換ブロックの幅を指定する変数ｎＴｂＷと、
現在の変換ブロックの高さを指定する変数ｎＴｂＨと、
現在のブロックの色成分を指定する変数ｃＩｄｘと、
ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１である、スケーリングされた変換係数の（ｎＴｂＷ）×（ｎＴｂＨ）アレイｄ［ｘ］［ｙ］とである。
この処理の出力は、ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１である、残差サンプルの（ｎＴｂＷ）×（ｎＴｂＨ）アレイｒ［ｘ］［ｙ］である。
ｃｕ＿ｓｂｔ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］が１に等しい場合、水平変換カーネルを指定する変数ｔｒＴｙｐｅＨｏｒと垂直変換カーネルを指定する変数ｔｒＴｙｐｅＶｅｒとは、ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］とｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］とに応じて表において導出される。
そうでなければ（ｃｕ＿ｓｂｔ＿ｆｌａｇ［ｘＴｂＹ］［ｙＴｂＹ］が０に等しい）、水平変換カーネルを指定する変数ｔｒＴｙｐｅＨｏｒと、垂直変換カーネルを指定する変数ｔｒＴｙｐｅＶｅｒとは、ｍｔｓ＿ｉｄｘ［ｘＴｂＹ］［ｙＴｂＹ］［ｃＩｄｘ］に応じて、表８‐１６において導出される。
変数ｎｏｎＺｅｒｏＷとｎｏｎＺｅｒｏＨとは、以下のように導出される。
ｎｏｎＺｅｒｏＷ＝Ｍｉｎ（ｎＴｂＷ，３２） （８‐８１０）
ｎｏｎＺｅｒｏＨ＝Ｍｉｎ（ｎＴｂＨ，３２） （８‐８１１）
残差サンプルの（ｎＴｂＷ）×（ｎＴｂＨ）配列ｒは、以下のように導出される。
１．ｘ＝０．．ｎｏｎＺｅｒｏＷ－１、ｙ＝０．．ｎｏｎＺｅｒｏＨ－１である、スケーリングされた変換係数ｄ［ｘ］［ｙ］の各（垂直の）列は、変換ブロックの高さｎＴｂＨと、スケーリングされた変換係数のゼロでない高さｎｏｎＺｅｒｏＨと、ｙ＝０．．ｎｏｎＺｅｒｏＨ－１であるリストｄ［ｘ］［ｙ］と、入力としてｔｒＴｙｐｅＶｅｒに等しく設定された変換型変数ｔｒＴｙｐｅと、を有する各列ｘ＝０．．ｎｏｎＺｅｒｏＷ－１に対して項８．４．４．２において指定される１次元変換プロセスを呼び出すことによって、ｘ＝０．．ｎｏｎＺｅｒｏＷ－１、ｙ＝０．．ｎＴｂＨ－１であるｅ［ｘ］［ｙ］に変換され、出力は、ｙ＝０．．ｎＴｂＨ－１であるリストｅ［ｘ］［ｙ］である。
２．ｘ＝０．．ｎｏｎＺｅｒｏＷ－１、ｙ＝０．．ｎＴｂＨ－１である、中間サンプル値ｇ［ｘ］［ｙ］は、以下のように導出される。
ｇ［ｘ］［ｙ］＝Ｃｌｉｐ３（ＣｏｅｆｆＭｉｎ，ＣｏｅｆｆＭａｘ，（ｅ［ｘ］［ｙ］＋６４）＞＞７） （８‐８１２）
３．ｘ＝０．．ｎｏｎＺｅｒｏＷ－１、ｙ＝０．．ｎＴｂＨ－１である、結果として得られるアレイｇ［ｘ］［ｙ］の各（水平）行は、変換ブロックの幅ｎＴｂＷと、結果として得られるアレイｇ［ｘ］［ｙ］のゼロでない幅ｎｏｎＺｅｒｏＷと、ｘ＝０．．ｎｏｎＺｅｒｏＷ－１であるリストｇ［ｘ］［ｙ］と、入力としてｔｒＴｙｐｅＨｏｒに等しく設定された変換型変数ｔｒＴｙｐｅと、を有する各行ｙ＝０．．ｎＴｂＨ－１に対して項８．４．４．２において指定される１次元変換プロセスを呼び出すことによって、ｘ＝０．．ｎＴｂＷ－１、ｙ＝０．．ｎＴｂＨ－１であるｒ［ｘ］［ｙ］に変換され、出力は、ｘ＝０．．ｎＴｂＷ－１であるリストｒ［ｘ］［ｙ］である。
［表８‐１５‐ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ［ｘ］［ｙ］及びｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇ［ｘ］［ｙ］に応じたｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの仕様］
［表８‐１６‐ｍｔｓ＿ｉｄｘ［ｘ］［ｙ］［ｃＩｄｘ］に応じたｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒの仕様］
［本開示の第３実施形態］
第３実施形態において、シーケンスレベルＤＣＴ２有効フラグは、以下のようにｓｐｓにおいて示されており、強調された部分は本開示によって設計されている。エンコーダは、ＤＣＴ２有効フラグのインジケータをビットストリームに含み、デコーダは、ＤＣＴ有効フラグのインジケータをビットストリームから解析した。
［７．３．２．１ シーケンスパラメータセットＲＢＳＰシンタックス］
１に等しいｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇは、変換ユニットにＤＣＴ２変換コアのみが使用されることを指定する。０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ＤＣＴ２外の他の変換コアが変換ユニットに使用可能であることを指定する。
１に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在し得ることを指定する。０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの残差コーディングシンタックスに存在しないことを指定する。ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの残差コーディングシンタックスに存在し得ることを指定する。０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの残差コーディングシンタックスに存在しないことを指定する。ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される。
ＤＣＴ２有効フラグはさらに、例えばサブブロック変換のケース（ＪＶＥＴ－Ｍ０１４０）における低レベルのシンタックスに使用され、推論されたＤＳＴ７／ＤＣＴ８は、サブ変換ブロックの位置に応じて使用される。より具体的には、各ＳＢＴ位置に対する水平及び垂直変換は、図６において指定されている。例えば、ＳＢＴ－Ｖ位置０に対する水平及び垂直変換はそれぞれ、ＤＣＴ‐８及びＤＳＴ－７である。残差ＴＵの１つの側が３２より大きい場合、対応する変換はＤＣＴ‐２に設定される。したがって、サブブロック変換は、残差ブロックのＴＵタイリング、ｃｂｆ、並びに水平及び垂直変換を共同で指定し、これは、ブロックの主要残差がブロックの１つの側にあるケースのシンタックスショートカットとみなされ得る。
提案される方法において、ＤＣＴ２有効フラグが無効と示される場合、サブブロック変換選択は、従来技術と同じく維持される。ＤＣＴ２有効フラグが有効と示される場合、ＤＣＴ２のみが使用され得る。ＭＴＳ機能はオフになっていると推論される。サブブロック変換は、可能な推論されたＭＴＳ変換コアが利用可能でないので、オフであると推論される。
ＪＶＥＴ－Ｍ０１４０の上部における対応するシンタックス変更は、以下の通りである。
［７．３．２．１ シーケンスパラメータセットＲＢＳＰシンタックス］
本開示の実施形態は、全体のシーケンス又はスライスに対して、推論された変換ツールを用いて、純粋なＤＣＴ２変換コアに切り替える可能性を提供する切り替え可能なＤＣＴ２有効シーケンスレベル指標を導入する。ＤＣＴ２は、計算が比較的に単純であり、他の変換コアと比較して、メモリ帯域幅が低いケースである。従来技術において、単純なＤＣＴ２変換を使用する可能性は、推論された変換コアによって遮断され、現在の指標によって、低いコスト／複雑性と高性能との間の切り替えの柔軟性が、エンコーダとデコーダとの両方に対して提供される。実施形態において、低レベルの変更及び高レベルの変更の可能性の両方が提供され、これは、複数の変形例を有するコードの一貫性及びコーディング性能を保証する。
換言すると、本開示は、以下を提供する：画像のブロックをビデオコーディングする方法であって、当該ブロックの複数のサンプルからのあるサンプルに対して、インター又はイントラ画像予測から結果として得られる残差信号を取得する段階と、残差信号のシーケンスに対する離散コサイン変換タイプ２、ＤＣＴ２、変換コアの使用を推論する段階と、推論された変換コアを使用して、ブロックの変換を処理する段階とを備える、方法。
すなわち、本開示は、ＤＣＴ２有効フラグが偽である場合に、シーケンスにおける全てのケースに対してＤＣＴ２変換コアのみが使用されているかどうかを推論するのに使用される追加のＤＣＴ２有効フラグを導入し、その後、シーケンスレベルＭＴＳ有効フラグがさらにシグナリングされる。ＤＣＴ２有効フラグが真である場合、ＤＣＴ２変換コアのみが使用されると想定される。追加のＤＣＴ２有効フラグをＳＰＳにおいて導入することは、推論されたＭＳＴツールがオンである場合に、ＤＣＴ２への切り替えを可能にする。
これは、図８にさらに示される。図８において、段階１６０１では、ブロックを有する画像が提供されている。段階１６０２では、画像のブロックの複数のサンプルからのあるサンプルに対して、インター又はイントラ画像予測から結果として得られる残差信号が取得される。段階１６０３では、残差信号のシーケンスに対する離散コサイン変換タイプ２、ＤＣＴ２、変換コアの使用が推論され、上記残差信号は段階１６０２において取得されたものである。段階１６０４では、推論された変換コアを使用してブロックの変換を処理する。
本開示に係る方法において、そして図８に従って示されるように、ＤＣＴ２の使用は、シーケンスパラメータセット、ＳＰＳにおけるシーケンスレベルＤＣＴ２有効フラグから推論され得る。
本開示に係る方法において、そして図８に従って示されるように、シーケンスレベルＤＣＴ２有効フラグは、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇとして表される。
本開示はさらに、図９に示されるエンコーダ２０を提供する。図９に示されるエンコーダ２０は、取得ユニット２２を備える。取得ユニット２２は、インター又はイントラ画像予測から結果として得られる残差信号を取得するように構成され得る。図９はさらに、エンコーダ２０が推論ユニット２４も備えることを示す。推論ユニット２４は、残差信号のシーケンスに対する離散コサイン変換タイプ２、ＤＣＴ２、変換コアの使用を推論するように構成され得る。ここで、残差信号は、取得ユニット２２によって取得され得る。図９に示されるエンコーダ２０はさらに、処理ユニット２６を備える。上記処理ユニット２６は、推論された変換コアを使用してブロックの変換を処理するように構成され得る。変換コアは、推論ユニット２４によって推論され得る。
図９に示されるように、本開示に係るエンコーダ２０において、推論ユニット２４は、シーケンスパラメータセット、ＳＰＳにおけるシーケンスレベルＤＣＴ２有効フラグからＤＣＴ２の使用を推論するように構成され得る。
図９に従って示されるように、本開示に係るエンコーダ２０において、シーケンスレベルＤＣＴ２有効フラグは、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇとして表され得る。
本開示はさらに、図１０に示されるデコーダ３０を提供する。図１０に示されるデコーダ３０は、取得ユニット３２を備える。取得ユニット３２は、インター又はイントラ画像予測から結果として得られる残差信号を取得するように構成され得る。図１０はさらに、デコーダ３０が推論ユニット３４も備えることを示す。推論ユニット３４は、残差信号のシーケンスに対する離散コサイン変換タイプ２、ＤＣＴ２、変換コアの使用を推論するように構成され得る。ここで、残差信号は、取得ユニット３２によって取得され得る。図１０に示されるデコーダ３０はさらに、処理ユニット３６を備える。上記処理ユニット３６は、推論された変換コアを使用してブロックの変換を処理するように構成され得る。変換コアは、推論ユニット３４によって推論され得る。
図１０に示されるように、本開示に係るデコーダ３０において、推論ユニット３４は、シーケンスパラメータセット、ＳＰＳにおけるシーケンスレベルＤＣＴ２有効フラグからＤＣＴ２の使用を推論するように構成され得る。
図１０に従って示されるように、本開示に係るデコーダ３０において、シーケンスレベルＤＣＴ２有効フラグは、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇとして表され得る。
［数学演算子］
本願において使用される数学演算子は、Ｃプログラミング言語において使用されるものと同様である。しかしながら、整数除算及び算術シフト演算の結果はより正確に定義され、べき乗及び実数値除算などの追加の演算が定義される。番号付け及びカウントの規定は一般に、例えば、「第１」は０番目に相当し、「第２」は１番目に相当する等、０から始まる。
［算術演算子］
以下の算術演算子は、以下のように定義される。
［論理演算子］
以下の論理演算子が以下のように定義される。
ｘ＆＆ｙ ｘ及びｙのブール論理「ａｎｄ」
ｘ｜｜ｙ ｘ及びｙのブール論理「ｏｒ」
！ ブール論理「ｎｏｔ」
ｘ？ｙ：ｚ ｘが真であるか又は０に等しくない場合、ｙの値を評価し、そうでない場合、ｚの値を評価する。
［関係演算子］
以下の関係演算子が以下のように定義される。
＞ より大きい
＞＝ 以上
＜ より小さい
＜＝ 以下
＝ ＝ に等しい
！＝ に等しくない
関係演算子が、値「ｎａ」（非該当）を割り当てられているシンタックス要素又は変数に適用される場合、値「ｎａ」は、そのシンタックス要素又は変数の区別的な値として扱われる。値「ｎａ」は、任意の他の値に等しくないとみなされる。
［ビット単位演算子］
以下のビット単位演算子が以下のように定義される。
＆ ビット単位の「ａｎｄ」。整数項に対して演算を行う場合、整数値の２の補数表現に対して演算を行う。別の項より少ないビットを含む二進項に対して演算を行う場合、そのより短い項は、０に等しいより上位のビットを追加することによって拡張される。
｜ ビット単位の「ｏｒ」。整数項に対して演算を行う場合、整数値の２の補数表現に対して演算を行う。別の項より少ないビットを含む二進項に対して演算を行う場合、そのより短い項は、０に等しいより上位のビットを追加することによって拡張される。
＾ ビット単位の「排他的ｏｒ」。整数項に対して演算を行う場合、整数値の２の補数表現に対して演算を行う。別の項より少ないビットを含む二進項に対して演算を行う場合、そのより短い項は、０に等しいより上位のビットを追加することによって拡張される。
ｘ＞＞ｙ ｙの二進数だけの、ｘの２の補数整数表現の算術右シフト。この関数は、ｙの非負整数値に関してのみ定義される。右シフトの結果として最上位ビット（ＭＳＢ）にシフトされたビットは、シフト演算前のｘのＭＳＢに等しい値を有する。
ｘ＜＜ｙ ｙの二進数だけの、ｘの２の補数整数表現の算術左シフト。この関数は、ｙの非負整数値に関してのみ定義される。左シフトの結果として最下位ビット（ＬＳＢ）にシフトされたビットは、０に等しい値を有する。
［代入演算子］
以下の算術演算子が以下のように定義される。
＝ 代入演算子
＋＋ インクリメント、すなわち、ｘ＋＋は、ｘ＝ｘ＋１と同等であり、配列インデックスにおいて使用される場合、インクリメント演算の前の変数の値を評価する。
－－デクリメント、すなわち、ｘ－－は、ｘ＝ｘ－１と同等であり、配列インデックスにおいて使用される場合、デクリメント演算の前の変数の値を評価する。
＋＝ 指定された量のインクリメント、すなわち、ｘ＋＝３は、ｘ＝ｘ＋３と同等である。
ｘ＋＝（－３）は、ｘ＝ｘ＋（－３）と同等である。
－＝ 指定された量だけデクリメント、すなわち、ｘ－＝３は、ｘ＝ｘ－３と同等である。
ｘ－＝（－３）は、ｘ＝ｘ－（－３）と同等である。
［範囲表記］
値の範囲を指定するために以下の表記が使用される。
ｘ＝ｙ．．ｚ ｘはｙから始まるｚまで（両端を含む）の整数値を取り、ｘ、ｙ、及びｚは整数であり、ｚはｙより大きい。
［数学的関数］
以下の数学的関数が定義される。
Ａｓｉｎ（ｘ） 逆三角サイン関数であり、－１．０から１．０まで（両端を含む）の範囲内にある独立変数ｘに対して演算を行い、出力値は、ラジアンの単位で、－π÷２からπ÷２まで（両端を含む）の範囲内にある。
Ａｔａｎ（ｘ） 逆三角タンジェント関数であり、
独立変数ｘに対して演算を行い、出力値は、ラジアンの単位で、－π÷２からπ÷２まで（両端を含む）の範囲内にある。
Ｃｅｉｌ（ｘ） ｘより大きい又はそれに等しい最も小さい整数。
Ｃｌｉｐ１Ｙ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈＹ）－１，ｘ）
Ｃｌｉｐ１Ｃ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈＣ）－１，ｘ）
Ｃｏｓ（ｘ） ラジアンの単位で独立変数ｘに対する演算を行う三角コサイン関数。
Ｆｌｏｏｒ（ｘ） ｘ以下の最も大きい整数。
Ｌｎ（ｘ） ｘの自然対数（底ｅ対数であり、ｅは自然対数の底２．７１８２８１８２８...である）
Ｌｏｇ２（ｘ） ２を底とするｘの対数
Ｌｏｇ１０（ｘ） １０を底とするｘの対数
Ｒｏｕｎｄ（ｘ）＝Ｓｉｇｎ（ｘ）＊Ｆｌｏｏｒ（Ａｂｓ（ｘ）＋０．５）
Ｓｉｎ（ｘ） ラジアンの単位で独立変数ｘに対する演算を行う三角サイン関数
Ｓｗａｐ（ｘ，ｙ）＝（ｙ，ｘ）
Ｔａｎ（ｘ） ラジアンの単位で独立変数ｘに対する演算を行う三角タンジェント関数。
［演算の優先度の順序］
式における優先度の順位が、括弧の使用によって明示的に示されない場合、以下のルールが適用される。
－より高い優先度の演算は、より低い優先度の任意の演算の前に評価される。
－同じ優先度の演算は、左から右に順次評価される。
以下の表は、演算の優先度を最高から最低まで指定している。表においてより高い位置は、より高い優先度を示す。
Ｃプログラミング言語においても使用される演算子の場合、本明細書において使用される優先度の順序は、Ｃプログラミング言語において使用されるものと同じである。
表：最高（表の一番上）から最低（表の一番下）までの演算優先度
［論理演算のテキストの説明］
テキストにおいて、論理演算のステートメントが以下の形式で数学的に説明される。
は、以下の方式で説明され得る。
...以下の通りである／...以下が適用される：（...ａｓ ｆｏｌｌｏｗｓ／...ｔｈｅ ｆｏｌｌｏｗｉｎｇ ａｐｐｌｉｅｓ：）
－条件０の場合、ステートメント０（Ｉｆ ｃｏｎｄｉｔｉｏｎ０，ｓｔａｔｅｍｅｎｔ０）
－そうでなければ、条件１の場合、ステートメント１（Ｏｔｈｅｒｗｉｓｅ，ｉｆ ｃｏｎｄｉｔｉｏｎ１，ｓｔａｔｅｍｅｎｔ１）
...
そうでなければ（残りの条件に対する有益な備考）、ステートメントｎ（Ｏｔｈｅｒｗｉｓｅ（ｉｎｆｏｒｍａｔｉｖｅ ｒｅｍａｒｋ ｏｎ ｒｅｍａｉｎｉｎｇ ｃｏｎｄｉｔｉｏｎ），ｓｔａｔｅｍｅｎｔ ｎ）
テキスト中のそれぞれの「Ｉｆ...Ｏｔｈｅｒｗｉｓｅ，ｉｆ...Ｏｔｈｅｒｗｉｓｅ，...」ステートメントは、「...ａｓ ｆｏｌｌｏｗｓ」又は「...ｔｈｅ ｆｏｌｌｏｗｉｎｇ ａｐｐｌｉｅｓ」の直後に「Ｉｆ...」が続く形で導入される。「Ｉｆ...Ｏｔｈｅｒｗｉｓｅ，ｉｆ...Ｏｔｈｅｒｗｉｓｅ，...」の最後の条件は、常に「Ｏｔｈｅｒｗｉｓｅ，...」である。インターリーブされた「Ｉｆ...Ｏｔｈｅｒｗｉｓｅ，ｉｆ...Ｏｔｈｅｒｗｉｓｅ，...」ステートメントは、「Ｏｔｈｅｒｗｉｓｅ，...」で終わる「...ａｓ ｆｏｌｌｏｗｓ」又は「...ｔｈｅ ｆｏｌｌｏｗｉｎｇ ａｐｐｌｉｅｓ」をマッチングすることによって識別され得る。
テキストにおいて、論理演算のステートメントが以下の形式で数学的に説明される。
は、以下の方式で説明され得る。
...以下の通りである／...以下が適用される：（...ａｓ ｆｏｌｌｏｗｓ／...ｔｈｅ ｆｏｌｌｏｗｉｎｇ ａｐｐｌｉｅｓ：）
－以下の条件のすべてが真である場合、ステートメント０：（Ｉｆ ａｌｌ ｏｆ ｔｈｅ ｆｏｌｌｏｗｉｎｇ ｃｏｎｄｉｔｉｏｎｓ ａｒｅ ｔｒｕｅ，ｓｔａｔｅｍｅｎｔ０：）
－条件０ａ（ｃｏｎｄｉｔｉｏｎ ０ａ）
－条件０ｂ（ｃｏｎｄｉｔｉｏｎ ０ｂ）
－そうでなければ、以下の条件の１又は複数が真である場合、ステートメント１：（Ｏｔｈｅｒｗｉｓｅ，ｉｆ ｏｎｅ ｏｒ ｍｏｒｅ ｏｆ ｔｈｅ ｆｏｌｌｏｗｉｎｇ ｃｏｎｄｉｔｉｏｎｓ ａｒｅ ｔｒｕｅ，ｓｔａｔｅｍｅｎｔ１：）
－条件１ａ（ｃｏｎｄｉｔｉｏｎ １ａ）
－条件１ｂ（ｃｏｎｄｉｔｉｏｎ １ｂ）
...
そうでなければ、ステートメントｎ（Ｏｔｈｅｒｗｉｓｅ，ｓｔａｔｅｍｅｎｔ ｎ）
テキストにおいて、論理演算のステートメントが以下の形式で数学的に説明される。
は、以下の方式で説明され得る。
条件０の場合、ステートメント０（Ｗｈｅｎ ｃｏｎｄｉｔｉｏｎ０，ｓｔａｔｅｍｅｎｔ０）
条件１の場合、ステートメント１（Ｗｈｅｎ ｃｏｎｄｉｔｉｏｎ１，ｓｔａｔｅｍｅｎｔ１）
本開示の実施形態を主にビデオコーディングに基づいて説明したが、本明細書において説明されたコーディングシステム１０、エンコーダ２０、及びデコーダ３０（及び、これに対応して、システム１０）の実施形態、並びに他の実施形態は、静止画像処理又はコーディング、すなわち、ビデオコーディングにおけるような任意の前の又は連続する画像から独立した個々の画像の処理又はコーディングのためにも構成され得ることに留意すべきである。一般に、画像処理コーディングが単一の画像１７に限定される場合、インター予測ユニット２４４（エンコーダ）及び３４４（デコーダ）のみが利用可能ではない場合がある。ビデオエンコーダ２０及びビデオデコーダ３０の全ての他の機能（ツール又は技術とも称される）は、静止画像処理、例えば、残差計算２０４／３０４、変換２０６、量子化２０８、逆量子化２１０／３１０、（逆）変換２１２／３１２、区分化２６２／３６２、イントラ予測２５４／３５４、及び／又はループフィルタリング２２０、３２０、並びにエントロピーコーディング２７０及びエントロピーデコーディング３０４に等しく使用され得る。
例えばエンコーダ２０及びデコーダ３０の実施形態、並びに、例えばエンコーダ２０及びデコーダ３０を参照して本明細書に記載された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装されてよい。ソフトウェアにおいて実装される場合、機能は、コンピュータ可読媒体上に保存されるか、又は、通信媒体を介して１又は複数の命令若しくはコードとして送信され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、データ記憶媒体などの有形の媒体に対応するコンピュータ可読記憶媒体、又は、例えば通信プロトコルに従った、コンピュータプログラムの１つの場所から別の場所への転送を容易にする任意の媒体を含む通信媒体を含んでよい。このように、コンピュータ可読媒体は、一般に、（１）非一時的な有形コンピュータ可読記憶媒体、又は、（２）信号若しくは搬送波などの通信媒体に対応してよい。データ記憶媒体は、本開示に記載された技術の実装のための命令、コード、及び／又はデータ構造を取得するために、１若しくは複数のコンピュータ又は１若しくは複数のプロセッサによってアクセスできる任意の利用可能な媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでよい。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、フラッシュメモリ、又は、命令若しくはデータ構造の形の所望のプログラムコードを保存するのに使用でき、コンピュータによってアクセスできる、任意の他の媒体を含むことができる。また、任意の接続が、適宜コンピュータ可読媒体と称される。例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、又は、赤外線、無線、及びマイクロ波などの無線技術を使用して、ウェブサイト、サーバ、又は他のリモートソースから命令が送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、又は、赤外線、無線、及びマイクロ波などの無線技術が媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まず、その代わりに、非一時的な有形の記憶媒体を対象とすることが理解されるべきである。本明細書で使用されるディスク（Ｄｉｓｋ ａｎｄ ｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、及びブルーレイディスクを含み、ここで、通常、ディスク（ｄｉｓｋ）はデータを磁気的に再現するものであり、ディスク（ｄｉｓｃ）はデータをレーザによって光学的に再現するものである。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
命令は、１又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は他の等価な集積回路若しくはディスクリートロジック回路などの１又は複数のプロセッサによって実行されてよい。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれか、又は、本明細書に記載の技術の実装に好適な任意の他の構造を指してよい。加えて、いくつかの態様では、本明細書に記載の機能は、エンコーディング及びデコーディングのために構成されている専用ハードウェア及び／又はソフトウェアモジュール内に提供されるか、又は、組み合わされたコーデックに組み込まれてよい。また、本技術は、１若しくは複数の回路又はロジック要素において完全に実装され得る。
本開示の技術は、無線ハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、多種多様なデバイス又は装置において実装されてよい。様々なコンポーネント、モジュール、又はユニットが、開示された技術を実行するように構成されているデバイスの機能的態様を強調するように本開示において記載されているが、異なるハードウェアユニットによる実現は必ずしも要求されない。むしろ、上述したように、様々なユニットは、コーデックハードウェアユニットにして組み合わされてもよく、又は、上述したように、１又は複数のプロセッサを含む相互運用ハードウェアユニットの集合によって、好適なソフトウェア及び／又はファームウェアと連動して提供されてもよい。
［他の考えられる項目］
［項目１］
画像のブロックをビデオコーディングする方法であって、
インター又はイントラ画像予測から結果として得られる残差信号を取得する段階と、
上記残差信号のシーケンスに対する離散コサイン変換タイプ２、ＤＣＴ２、変換コアの使用を推論する段階と、
推論された上記変換コアを使用して、上記ブロックの上記変換を処理する段階と
を備える、方法。
［項目２］
ＤＣＴ２の使用は、上記シーケンスパラメータセット、ＳＰＳにおけるシーケンスレベルＤＣＴ２有効フラグから推論される、項目１に記載の方法。
［項目３］
上記シーケンスレベルＤＣＴ２有効フラグは、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇとして表される、項目２に記載の方法。
［項目４］
上記シーケンスレベルＤＣＴ２有効フラグは、以下のようにＳＰＳレベルシンタックスに含まれ、
ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇは上記シーケンスレベルＤＣＴ２有効フラグを表す、項目２又は３に記載の方法。
［項目５］
１に等しい上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの上記残差コーディングシンタックスに存在し得ることを指定し、
０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの上記残差コーディングシンタックスに存在しないことを指定し、
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される、項目４に記載の方法。
［項目６］
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの上記残差コーディングシンタックスに存在し得ることを指定し、０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの上記残差コーディングシンタックスに存在しないことを指定し、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される、項目４又は５に記載の方法。
［項目７］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２変換コアが変換に使用されることを指定する、項目２から６のいずれか一項に記載の方法。
［項目８］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２変換コアが変換にのみ使用されることを指定する、項目２から７のいずれか一項に記載の方法。
［項目９］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２が水平方向変換並びに垂直方向変換の両方に使用されることを指定する、項目２から８のいずれか一項に記載の方法。
［項目１０］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２がサブブロック変換に使用されることを指定する、項目２から９のいずれか一項に記載の方法。
［項目１１］
残差変換ユニット、ｔｕの１つの側が３２より大きい場合、対応する変換コアはＤＣＴ２に設定される、項目１０に記載の方法。
［項目１２］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグが、上記ＤＣＴ２変換コアが変換にのみ使用されることを指定する場合、上記サブブロック変換並びに複数変換選択、ＭＴＳ、変換の両方がオフであると推論される、項目２から１１のいずれか一項に記載の方法。
［項目１３］
０に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２以外の他の変換コアが上記変換に使用されることを指定する、項目２から１０のいずれか一項に記載の方法。
［項目１４］
上記他の変換コアは、離散サイン変換タイプ７、ＤＳＴ７及び／又は離散コサイン変換タイプ８、ＤＣＴ８を備える、項目１３に記載の方法。
［項目１５］
０に等しい上記シーケンスレベルＤＣＴ２有効フラグは、
それが変換にＤＳＴ７又はＤＣＴ８のうちの少なくとも１つを使用して推論されることを指定する、項目１３又は１４に記載の方法。
［項目１６］
上記シーケンスレベルＤＣＴ２有効フラグが０に等しい場合、シーケンスパラメータセットに対する複数変換選択がフラグを介して有効にされたかどうかが決定される、項目１３から１５のいずれか一項に記載の方法。
［項目１７］
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在する場合、
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、ｔｕ＿ｍｔｓ＿ｆｌａｇとして表される変換ユニット、ＴＵ、複数変換選択、ＭＴＳフラグが、イントラコーディングユニットの上記残差コーディングシンタックスに存在することが指定され、
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの上記残差コーディングシンタックスに存在しないことが指定され、
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される、項目１６に記載の方法。
［項目１８］
項目１から１７のいずれか一項に記載の方法を実行するための処理回路を備える、エンコーダ（２０）。
［項目１９］
項目１から１７のいずれか一項に記載の方法を実行するための処理回路を備える、デコーダ（３０）。
［項目２０］
インター又はイントラ画像予測から結果として得られる残差信号を取得するように構成された取得ユニットと、
上記残差信号のシーケンスに対する離散コサイン変換タイプ２、ＤＣＴ２、変換コアの使用を推論するように構成された推論ユニットと、
推論された上記変換コアを使用して、上記ブロックの上記変換を処理するように構成された処理ユニットと
を備えるデコーダ（２０）。
［項目２１］
上記推論ユニットは、上記シーケンスパラメータセット、ＳＰＳにおけるシーケンスレベルＤＣＴ２有効フラグからＤＣＴ２の使用を推論するように構成される、項目２０に記載のデコーダ。
［項目２２］
上記シーケンスレベルＤＣＴ２有効フラグは、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇとして表される、項目２１に記載のデコーダ。
［項目２３］
上記シーケンスレベルＤＣＴ２有効フラグは、以下のようにＳＰＳレベルシンタックスに含まれ、
ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇは上記シーケンスレベルＤＣＴ２有効フラグを表す、項目２１又は２２に記載のデコーダ。
［項目２４］
１に等しい上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの上記残差コーディングシンタックスに存在し得ることを指定し、０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの上記残差コーディングシンタックスに存在しないことを指定し、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される、項目２１に記載のデコーダ。
［項目２５］
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの上記残差コーディングシンタックスに存在し得ることを指定し、
０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの上記残差コーディングシンタックスに存在しないことを指定し、
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される、項目２１又は２２に記載のデコーダ。
［項目２６］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２変換コアが変換に使用されることを指定する、項目２１から２５のいずれか一項に記載のデコーダ。
［項目２７］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２変換コアが変換にのみ使用されることを指定する、項目２１から２６のいずれか一項に記載のデコーダ。
［項目２８］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２が水平並びに垂直方向変換の両方に使用されることを指定する、項目２１から２７のいずれか一項に記載のデコーダ。
［項目２９］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２がサブブロック変換に使用されることを指定する、項目２１から２８のいずれか一項に記載のデコーダ。
［項目３０］
残差変換ユニット、ｔｕの１つの側が３２より大きい場合、対応する変換はＤＣＴ２に設定される、項目２９に記載のデコーダ。
［項目３１］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグが、上記ＤＣＴ２変換コアが変換にのみ使用されることを指定する場合、上記サブブロック変換並びに複数変換選択、ＭＴＳ、変換の両方がオフであると推論される、項目２１から３０のいずれか一項に記載のデコーダ。
［項目３２］
０に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２以外の他の変換コアが上記変換に使用されることを指定する、項目２１から２９のいずれか一項に記載のデコーダ。
［項目３３］
上記推論ユニットは、離散サイン変換タイプ７、ＤＳＴ７及び／又は離散コサイン変換タイプ８、ＤＣＴ８、を変換に使用して推論するように構成される、項目３２に記載のデコーダ。
［項目３４］
０に等しい上記シーケンスレベルＤＣＴ２有効フラグは、
それがＤＳＴ７／ＤＣＴ８を変換にのみ使用して推論されることを指定する、項目３２又は３３に記載のデコーダ。
［項目３５］
上記シーケンスレベルＤＣＴ２有効フラグが０に等しい場合、シーケンスパラメータセットに対する複数変換選択がフラグを介して有効にされたかどうかが決定される、項目３２から３４のいずれか一項に記載のデコーダ。
［項目３６］
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在する場合、
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、ｔｕ＿ｍｔｓ＿ｆｌａｇとして表される変換ユニット、ＴＵ、複数変換選択、ＭＴＳフラグが、イントラコーディングユニットの上記残差コーディングシンタックスに存在することが指定され、
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの上記残差コーディングシンタックスに存在しないことが指定され、
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される、項目３５に記載のデコーダ。
［項目３７］
インター又はイントラ画像予測から結果として得られる残差信号を取得するように構成された取得ユニットと、
上記残差信号のシーケンスに対する離散コサイン変換タイプ２、ＤＣＴ２、変換コアの使用を推論するように構成された推論ユニットと、
推論された上記変換コアを使用して、上記ブロックの上記変換を処理するように構成された処理ユニットと
を備えるエンコーダ（２０）。
［項目３８］
上記推論ユニットは、上記シーケンスパラメータセット、ＳＰＳにおけるシーケンスレベルＤＣＴ２有効フラグからＤＣＴ２の使用を推論するように構成される、項目３７に記載のエンコーダ。
［項目３９］
上記シーケンスレベルＤＣＴ２有効フラグは、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇとして表される、項目３８に記載のエンコーダ。
［項目４０］
上記シーケンスレベルＤＣＴ２有効フラグは、以下のようにＳＰＳレベルシンタックスに含まれ、
ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇは上記シーケンスレベルＤＣＴ２有効フラグを表す、項目３８又は３９に記載のエンコーダ。
［項目４１］
１に等しい上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの上記残差コーディングシンタックスに存在し得ることを指定し、０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの上記残差コーディングシンタックスに存在しないことを指定し、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される、項目３８に記載のエンコーダ。
［項目４２］
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの上記残差コーディングシンタックスに存在し得ることを指定し、０に等しいｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ｔｕ＿ｍｔｓ＿ｆｌａｇがインターコーディングユニットの上記残差コーディングシンタックスに存在しないことを指定し、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される、項目３８又は３９に記載のエンコーダ。
［項目４３］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２変換コアが変換に使用されることを指定する、項目３８から４２のいずれか一項に記載のエンコーダ。
［項目４４］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２変換コアが変換にのみ使用されることを指定する、項目３８から４３のいずれか一項に記載のエンコーダ。
［項目４５］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２が形状適応型変換選択において水平並びに垂直方向の両方に使用されることを指定する、項目３８から４４のいずれか一項に記載のエンコーダ。
［項目４６］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２がサブブロック変換に使用されることを指定する、項目３８から４５のいずれか一項に記載のエンコーダ。
［項目４７］
残差変換ユニット、ｔｕの１つの側が３２より大きい場合、対応する変換はＤＣＴ２に設定される、項目４６に記載のエンコーダ。
［項目４８］
１に等しい上記シーケンスレベルＤＣＴ２有効フラグが、上記ＤＣＴ２変換コアが変換にのみ使用されることを指定する場合、上記サブブロック変換並びに複数変換選択、ＭＴＳ、変換の両方がオフであると推論される、項目３８から４７のいずれか一項に記載のエンコーダ。
［項目４９］
０に等しい上記シーケンスレベルＤＣＴ２有効フラグは、ＤＣＴ２以外の他の変換コアが上記変換に使用されることを指定する、項目３８から４６のいずれか一項に記載のエンコーダ。
［項目５０］
上記推論ユニットは、離散サイン変換タイプ７、ＤＳＴ７及び／又は離散コサイン変換タイプ８、ＤＣＴ８、を変換に使用して推論するように構成される、項目４９に記載のエンコーダ。
［項目５１］
０に等しい上記シーケンスレベルＤＣＴ２有効フラグは、
それがＤＳＴ７／ＤＣＴ８を変換にのみ使用して推論されることを指定する、項目４９又は５０に記載のエンコーダ。
［項目５２］
上記シーケンスレベルＤＣＴ２有効フラグが０に等しい場合、シーケンスパラメータセットに対する複数変換選択がフラグを介して有効にされたかどうかが決定される、項目４９から５１のいずれか一項に記載のエンコーダ。
［項目５３］
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在する場合、
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、ｔｕ＿ｍｔｓ＿ｆｌａｇとして表される変換ユニット、ＴＵ、複数変換選択、ＭＴＳフラグが、イントラコーディングユニットの上記残差コーディングシンタックスに存在することが指定され、
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、ｔｕ＿ｍｔｓ＿ｆｌａｇがイントラコーディングユニットの上記残差コーディングシンタックスに存在しないことが指定され、
上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、上記ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推論される、項目５２に記載のエンコーダ。
［項目５４］
項目１から１７のいずれか一項に記載の方法を実行するためのプログラムコードを備える、コンピュータプログラム製品。
［項目５５］
デコーダであって、
１又は複数のプロセッサと、
上記１又は複数のプロセッサに連結され、上記１又は複数のプロセッサによる実行のためのプログラミングを保存する非一時的コンピュータ可読記憶媒体であって、上記プログラミングは、上記１又は複数のプロセッサにより実行される場合、項目１から１７のいずれか一項に記載の方法を実行するように上記デコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備えるデコーダ。
［項目５６］
エンコーダであって、
１又は複数のプロセッサと、
上記１又は複数のプロセッサに連結され、上記１又は複数のプロセッサによる実行のためのプログラミングを保存する非一時的コンピュータ可読記憶媒体であって、上記プログラミングは、上記１又は複数のプロセッサにより実行される場合、項目１から１７のいずれか一項に記載の方法を実行するように上記エンコーダを構成する、非一時的コンピュータ可読記憶媒体と
を備えるエンコーダ。
［項目５７］
プロセッサ上で実行される場合、上記プロセッサに、項目１から１７のいずれか一項に記載の方法を実行させる命令を含むプログラムを保存するコンピュータ可読非一時的媒体。

Claims (22)

  1. ビットストリームを受信する段階であって、前記ビットストリームがシーケンスパラメータセット（ＳＰＳ）を有し、前記ＳＰＳが、離散コサイン変換タイプ２（ＤＣＴ２）変換コアが現在のブロックに対して使用されるか否かを示すフラグを含む、受信する段階と、
    前記現在のブロックの残差信号を取得する段階と、
    前記フラグに基づいて前記ＤＣＴ２変換コアが前記現在のブロックに対して使用されるか否かを決定する段階と、
    前記ＤＣＴ２変換コアが前記現在のブロックに対して使用されると決定することに応じて、前記ＤＣＴ２変換コアを使用して前記現在のブロックの前記残差信号に逆変換を行い、再構築された残差ブロックを取得する段階と、
    前記再構築された残差ブロックに基づいて、再構築されたブロックを取得する段階と
    を備える、方法。
  2. 前記フラグが、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇとして表される、請求項１に記載の方法。
  3. 前記ＳＰＳが、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇを更に有する、請求項２に記載の方法。
  4. 前記ＳＰＳが、以下の構造を有する、
    請求項３に記載の方法。
  5. 第１の値に等しい前記フラグが、ＤＣＴ２変換コアが変換に使用されることを指定する、請求項１に記載の方法。
  6. 第２の値に等しい前記フラグが、ＤＣＴ２以外の他の変換コアが前記変換に使用されることを指定する、請求項１に記載の方法。
  7. 前記他の変換コアが、離散サイン変換タイプ７（ＤＳＴ７）又は離散コサイン変換タイプ８（ＤＣＴ８）を備える、請求項６に記載の方法。
  8. 現在のブロックを取得する段階と、
    前記現在のブロックに対応する残差ブロックを取得する段階と、
    前記残差ブロックに対する変換コアを決定する段階であって、前記変換コアが、離散コサイン変換タイプ２（ＤＣＴ２）変換コアであるか、または、ＤＣＴ２以外の他の変換コアである、決定する段階と、
    前記決定された変換コアを使用することにより前記残差ブロックに変換を行い、前記現在のブロックの変換係数を取得する段階と、
    シーケンスパラメータセット（ＳＰＳ）と、前記変換係数に基づいて得られるエンコードされた画像データとを有するビットストリームを生成する段階であって、前記ＳＰＳが、前記ＤＣＴ２変換コア又は前記他の変換コアが前記現在のブロックに対して使用されるか否かを示すフラグを含む、生成する段階と、
    を備える、
    ビデオエンコード方法。
  9. 前記フラグが、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇとして表される、請求項８に記載の方法。
  10. 前記ＳＰＳが、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇを更に有する、請求項９に記載の方法。
  11. 前記ＳＰＳが、以下の構造を有する、
    請求項１０に記載の方法。
  12. 第１の値に等しい前記フラグが、ＤＣＴ２変換コアが変換に使用されることを指定する、請求項８に記載の方法。
  13. 第２の値に等しい前記フラグが、ＤＣＴ２以外の他の変換コアが前記変換に使用されることを指定する、請求項８に記載の方法。
  14. 前記他の変換コアが、離散サイン変換タイプ７（ＤＳＴ７）又は離散コサイン変換タイプ８（ＤＣＴ８）を備える、請求項１３に記載の方法。
  15. ビデオ信号のためのビットストリームを保存する非一時的記憶媒体であって、前記ビットストリームがシーケンスパラメータセット（ＳＰＳ）及びエンコードされた画像データを有し、
    前記エンコードされた画像データが、現在のブロックの変換係数に基づいてデコーダのプロセッサによって取得され、前記変換係数が、変換コアを使用することにより前記現在のブロックの残差信号に変換を行うことで取得され、前記変換コアが、離散コサイン変換タイプ２（ＤＣＴ２）変換コアであるか、または、ＤＣＴ２以外の他の変換コアであり、
    前記ＳＰＳが、前記ＤＣＴ２変換コア又は前記他の変換コアが前記現在のブロックに対して使用されるか否かを示すフラグを含み、前記ＤＣＴ２変換コアが前記現在のブロックに対して使用される場合に、前記フラグは、前記ＤＣＴ２変換コアが前記フラグに基づいて前記現在のブロックに対して使用されるか否かを決定するために使用され、前記ＤＣＴ２変換コアを使用して前記現在のブロックの前記残差信号に逆変換が行われて再構築された残差ブロックを前記デコーダの前記プロセッサによって取得し、
    前記再構築された残差ブロックに基づいて、再構築されたブロックが前記デコーダの前記プロセッサによって取得される、
    非一時的記憶媒体。
  16. 前記フラグが、ｓｐｓ＿ｄｃｔ２＿ｅｎａｂｌｅｄ＿ｆｌａｇとして表される、請求項１５に記載の非一時的記憶媒体。
  17. 前記ＳＰＳが、ｓｐｓ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及びｓｐｓ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇを更に有する、請求項１６に記載の非一時的記憶媒体。
  18. 前記ＳＰＳが、以下の構造を有する、
    請求項１７に記載の非一時的記憶媒体。
  19. 第１の値に等しい前記フラグが、ＤＣＴ２変換コアが変換に使用されることを指定する、請求項１５に記載の非一時的記憶媒体。
  20. 第２の値に等しい前記フラグが、ＤＣＴ２以外の他の変換コアが前記変換に使用されることを指定する、請求項１５に記載の非一時的記憶媒体。
  21. デコーダであって、
    １又は複数のプロセッサと、
    前記１又は複数のプロセッサに連結され、前記１又は複数のプロセッサによる実行のためのプログラミングを保存する非一時的コンピュータ可読記憶媒体であって、前記プログラミングは、前記１又は複数のプロセッサにより実行される場合、請求項１から７のいずれか一項に記載の方法を実行するように前記デコーダを構成する、非一時的コンピュータ可読記憶媒体と
    を備えるデコーダ。
  22. エンコーダであって、
    １又は複数のプロセッサと、
    前記１又は複数のプロセッサに連結され、前記１又は複数のプロセッサによる実行のためのプログラミングを保存する非一時的コンピュータ可読記憶媒体であって、前記プログラミングは、前記１又は複数のプロセッサにより実行される場合、請求項８から１４のいずれか一項に記載の方法を実行するように前記エンコーダを構成する、非一時的コンピュータ可読記憶媒体と
    を備えるエンコーダ。
JP2023130188A 2019-01-11 2023-08-09 Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法 Pending JP2023162243A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962791674P 2019-01-11 2019-01-11
US62/791,674 2019-01-11
PCT/CN2020/071591 WO2020143811A1 (en) 2019-01-11 2020-01-11 Encoder, decoder and corresponding methods using dct2 enabled high level flag
JP2021540038A JP7359343B2 (ja) 2019-01-11 2020-01-11 Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021540038A Division JP7359343B2 (ja) 2019-01-11 2020-01-11 Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法

Publications (1)

Publication Number Publication Date
JP2023162243A true JP2023162243A (ja) 2023-11-08

Family

ID=71521005

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021540038A Active JP7359343B2 (ja) 2019-01-11 2020-01-11 Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法
JP2023130188A Pending JP2023162243A (ja) 2019-01-11 2023-08-09 Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021540038A Active JP7359343B2 (ja) 2019-01-11 2020-01-11 Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法

Country Status (12)

Country Link
US (2) US11758137B2 (ja)
EP (1) EP3906680A4 (ja)
JP (2) JP7359343B2 (ja)
KR (1) KR20210107130A (ja)
CN (3) CN113411612B (ja)
AU (2) AU2020206492B2 (ja)
BR (1) BR112021013565A2 (ja)
CA (1) CA3126304A1 (ja)
MX (1) MX2021008408A (ja)
SG (1) SG11202107547YA (ja)
WO (1) WO2020143811A1 (ja)
ZA (1) ZA202104869B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7359343B2 (ja) * 2019-01-11 2023-10-11 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法
WO2020145805A1 (ko) 2019-01-12 2020-07-16 주식회사 윌러스표준기술연구소 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
CN113365053B (zh) * 2019-03-09 2023-02-28 杭州海康威视数字技术股份有限公司 进行编码和解码的方法、解码端、编码端和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY184416A (en) 2012-07-16 2021-04-01 Samsung Electronics Co Ltd Video encoding method and video encoding for signaling sao parameters
US10623774B2 (en) * 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
WO2017173593A1 (en) * 2016-04-06 2017-10-12 Mediatek Singapore Pte. Ltd. Separate coding secondary transform syntax elements for different color components
EP3453181A4 (en) * 2016-05-04 2019-05-01 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR ENCODING TRANSFORMED DATA
US10887626B2 (en) * 2016-05-13 2021-01-05 Sharp Kabushiki Kaisha Image decoding device and image encoding device
WO2018021374A1 (ja) 2016-07-29 2018-02-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10750181B2 (en) * 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
MX2020001377A (es) * 2017-08-04 2020-03-09 Lg Electronics Inc Metodo y aparato para configurar una transformacion para compresion de video.
US10986340B2 (en) * 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding
JP2020053924A (ja) 2018-09-28 2020-04-02 シャープ株式会社 動画像符号化装置、動画像復号装置
KR20220027281A (ko) * 2018-12-21 2022-03-07 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
JP7359343B2 (ja) * 2019-01-11 2023-10-11 ホアウェイ・テクノロジーズ・カンパニー・リミテッド Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法

Also Published As

Publication number Publication date
CN112956196A (zh) 2021-06-11
JP2022516775A (ja) 2022-03-02
KR20210107130A (ko) 2021-08-31
CN113411612B (zh) 2022-06-24
MX2021008408A (es) 2021-10-13
US20230396765A1 (en) 2023-12-07
US11758137B2 (en) 2023-09-12
WO2020143811A1 (en) 2020-07-16
CA3126304A1 (en) 2020-07-16
US20210344920A1 (en) 2021-11-04
CN113411612A (zh) 2021-09-17
SG11202107547YA (en) 2021-08-30
JP7359343B2 (ja) 2023-10-11
EP3906680A1 (en) 2021-11-10
BR112021013565A2 (pt) 2021-09-21
AU2020206492B2 (en) 2023-11-23
AU2020206492A1 (en) 2021-08-12
EP3906680A4 (en) 2022-03-09
CN113411613A (zh) 2021-09-17
ZA202104869B (en) 2022-07-27
CN113411613B (zh) 2022-06-28
AU2024201127A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
JP7375125B2 (ja) ルーマおよびクロマ成分についてｉｂｃ専用バッファおよびデフォルト値リフレッシュを使用するエンコーダ、デコーダおよび対応する方法
JP7271683B2 (ja) エンコーダ、デコーダ、および対応するイントラ予測方法
JP7401556B2 (ja) イントラ予測のためのエンコーダ、デコーダおよび対応する方法
JP7366149B2 (ja) 行列ベースのイントラ予測と二次変換コア選択を調和させるエンコーダ、デコーダ、および対応する方法
JP7205038B2 (ja) 任意のｃｔｕサイズのためのｉｂｃ検索範囲最適化を用いるエンコーダ、デコーダおよび対応する方法
JP2024026231A (ja) イントラ予測モードに関連するエンコーダ、デコーダ、および対応する方法
CA3114341C (en) An encoder, a decoder and corresponding methods using compact mv storage
JP2023162243A (ja) Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法
JP7448602B2 (ja) ビデオコーディングのための、サブブロックマージ候補のための個別マージリストと、イントラ－インター技術との調和
JP2024001097A (ja) イントラ平滑化のための方法および装置
JP2023126795A (ja) ビデオコーディングにおけるクロマイントラ予測のための方法及び装置
WO2021037053A1 (en) An encoder, a decoder and corresponding methods of cabac coding for the indices of geometric partition flag
JP2023085351A (ja) Ｃｂｆフラグの効率的なシグナリング方法
CN113330748B (zh) 帧内预测模式信令的方法和装置
JP7267444B2 (ja) イントラ予測のためのイントラモードコーディングを使用するエンコーダ、デコーダ、および対応する方法
KR20210008080A (ko) 변환 프로세스를 위해 사용되는 인코더, 디코더 및 대응하는 방법
RU2801589C2 (ru) Кодер, декодер и соответствующие способы, использующие высокоуровневый флаг разрешения dct2
CN113330741B (zh) 从帧内子划分译码模式工具限制子分区的尺寸的编码器、解码器、及对应方法
RU2803063C2 (ru) Кодер, декодер и соответствующие способы, которые используются для процесса преобразования

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230907