JP2016509764A - 次世代ビデオのためのビデオコーデックアーキテクチャ - Google Patents

次世代ビデオのためのビデオコーデックアーキテクチャ Download PDF

Info

Publication number
JP2016509764A
JP2016509764A JP2015542040A JP2015542040A JP2016509764A JP 2016509764 A JP2016509764 A JP 2016509764A JP 2015542040 A JP2015542040 A JP 2015542040A JP 2015542040 A JP2015542040 A JP 2015542040A JP 2016509764 A JP2016509764 A JP 2016509764A
Authority
JP
Japan
Prior art keywords
prediction
partitioning
filtering
partition
partitions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015542040A
Other languages
English (en)
Other versions
JP6055555B2 (ja
Inventor
プリ，アトゥール
エヌ． ゴーカレー，ニーレッシュ
エヌ． ゴーカレー，ニーレッシュ
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2016509764A publication Critical patent/JP2016509764A/ja
Application granted granted Critical
Publication of JP6055555B2 publication Critical patent/JP6055555B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1887—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a variable length codeword
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

次世代ビデオのためのビデオコーデックアーキテクチャに関連する技術が記載される。

Description

次世代ビデオのためのビデオコーデックアーキテクチャに関連する。
ビデオエンコーダは、ビデオ情報を圧縮して、より多くの情報が所与の帯域幅で送信できるようにする。次に、圧縮済み信号は、表示する前に信号を復号化し又は伸張するデコーダを有する受信機へ送信されても良い。
ＨＥＶＣ（High Efficient Video Coding）は、最新のビデオ圧縮標準であり、ＩＳＯ／ＩＥＣのＭＰＥＧ（Moving Picture Experts Group）及びＩＴＵ−ＴのＶＣＥＧ（Video Coding Experts Group）により形成されたＪＣＴ−ＶＣ（Joint Collaborative Team on Video Coding）により策定されている。ＨＥＶＣは、高解像度ビデオアプリケーションを展開するために十分な圧縮を提供しない従前のＨ．２６４／ＡＶＣ（Advanced Video Coding）標準を受けて策定されている。従前のビデオ符号化標準と同様に、ＨＥＶＣは、イントラ／インター予測、変換、量子化、インループフィルタリング、及びエントロピー符号化のような基本機能モジュールを有する。
策定中のＨＥＶＣ標準は、可能な予測部分及び符号化部分の選択の制限、可能な複数の参照及び予測生成の制限、変換ブロックサイズ及び実際の変換の制限、符号化アーティファクトを低減するメカニズムの制限、及び非効率なエントロピー符号化技術のような、Ｈ．２６４／ＡＶＣ標準の制限を改良しようと試みている。しかしながら、策定中のＨＥＶＣ標準は、このような問題を解決するために反復的アプローチを用い得る。
例えば、圧縮されるべきビデオの解像度及び高ビデオ品質への期待が増大するのに伴い、Ｈ．２６４のような既存のビデオ符号化標準を用いる又はＨ２６５／ＨＥＶＣのような進化しつつある標準でさえ、符号化のために必要な対応するビットレート／帯域幅、は比較的高い。前述の標準は、不十分な圧縮／品質の問題を自動的に解決するために広範な形式の従来のアプローチを用いるが、その結果は限定的である場合が多い。
本開示は、ＮＧＶ（Next Generation Video）コーデックプロジェクトの文脈で展開され、装置に実装するのに十分に実用的でありながら、達成可能な圧縮効率を最大化する高機能ビデオコーデックを設計する一般的問題を解決する。例えば、良好なディスプレイが利用可能になったことにより増え続けるビデオの解像度及び高ビデオ品質の期待に伴い、早期のＭＰＥＧ標準及びより最近のＨ．２６４／ＡＶＣ標準のような既存のビデオ符号化標準を用いる対応する必要ビットレート／帯域幅は、比較的高くなっている。Ｈ．２６４／ＡＶＣは、より高解像度ビデオアプリケーションを展開するために十分高い圧縮を提供するとされていなかった。
次世代ビデオのためのビデオコーデックアーキテクチャを提供する。
本願明細書に記載された素材は例を用いて説明されるが、添付の図面に限定されない。説明を簡単且つ明確にするため、図中に示された要素は、必ずしも縮尺通りに描かれていないことが理解される。例えば、幾つかの要素の寸法は、明確さのため、他の要素に比して誇張されている。さらに、適切に検討されるとき、対応する又は類似の要素を示すために、参照符号は図の間で繰り返されている。以下の図面がある。
例示的な次世代ビデオエンコーダの説明図である。 例示的な次世代ビデオエンコーダの説明図である。 例示的な次世代ビデオデコーダの説明図である。 例示的な次世代ビデオエンコーダ及び関連する制御信号の説明図である。 例示的な次世代ビデオデコーダ及び関連する制御信号の説明図である。 例示的な次世代ビデオエンコーダ及びサブシステムの説明図である。 例示的な次世代ビデオデコーダ及びサブシステムの説明図である。 例示的な次世代ビデオ符号器及びサブシステムの説明図である。 例示的な次世代ビデオ符号器及びサブシステムの説明図である。 予測パーティショニングのための例示的なタイル及びスーパーフラグメント（super-fragment）を有する例示的なビデオフレームを示す。 例示的なビデオフレームのタイル行の例示的なスーパーフラグメントを示す。 ビデオフレームの例示的な領域レイヤセグメント化を示す。 領域レイヤにセグメント化され及びタイルに従ってスーパーフラグメントにパーティショニングされた例示的なビデオフレームを示す。 領域レイヤにセグメント化され及びタイルに従ってスーパーフラグメントにパーティショニングされた例示的なビデオフレームを示す。 例示的なエンコーダシステムの説明図である。 例示的なエンコーダシステムの説明図である。 例示的なデコーダサブシステムの説明図である。 変更された予測参照ピクチャの説明図である。 例示的なエンコーダサブシステムの説明図である。 例示的なデコーダサブシステムの説明図である。 例示的なエンコーダフィルタサブシステムの説明図である。 例示的なエンコーダフィルタサブシステムの説明図である。 二分木（ｂｉ木）パーティショニング技術を用いる例示的なパーティショニングを示す。 ｋｄ木パーティショニング技術を用いる例示的なパーティショニングを示す。 例示的なエンコーダフィルタサブシステムの説明図である。 例示的なデコーダフィルタサブシステムの説明図である。 例示的なエンコーダフィルタサブシステムの説明図である。 例示的なデコーダフィルタサブシステムの説明図である。 例示的なエントロピーエンコーダモジュールの説明図である。 例示的なエントロピーデコーダモジュールの説明図である。 例示的なエンコード処理を示すフロー図である。 例示的なビットストリームを示す。 例示的なデコード処理を示すフロー図である。 動作中の例示的なビデオ符号化システム及びビデオ符号化処理の説明図である。 動作中の例示的なビデオ符号化システム及びビデオ符号化処理の説明図である。 動作中の例示的なビデオ符号化システム及びビデオ符号化処理の説明図である。 例示的なビデオデ符号化システムの説明図である。 例示的なシステムの説明図である。 本開示の少なくとも幾つかの実装により全て配置される例示的な装置を示す。
１又は複数の実施形態又は実装は、添付の図面を参照して説明される。特定の構成及び配置が議論されるが、これは単に説明目的で行われることが理解されるべきである。関連分野の当業者は、本説明の精神及び範囲から逸脱することなく、他の構成及び配置が用いられても良いことを認識する。関連分野の当業者には、本願明細書に記載される技術及び／又は配置が本願明細書に記載される以外の種々の他のシステム及びアプリケーション内で用いられても良いことが明らかである。
以下の説明は例えばシステムオンチップ（ＳｏＣ）アーキテクチャのようなアーキテクチャで明示され得る種々の実装を説明するが、本願明細書に記載の技術及び／又は配置の実装は、特定のアーキテクチャ及び／又はコンピューティングシステムに限定されず、同様の目的で任意のアーキテクチャ及び／又はコンピューティングシステムにより実装されても良い。例えば、例えば複数の集積回路（ＩＣ）チップ及び／又はパッケージを用いる種々のアーキテクチャ、及び／又はセットトップボックス、スマートフォン等のような種々のコンピューティング装置及び／又は消費者電子機器（ＣＥ）装置は、本願明細書に記載の技術及び／又は配置を実装しても良い。さらに、以下の説明は、システムコンポーネントの論理実装、種類、及び相互関係、論理区分／統合の選択、等のような多くの特定の詳細事項を説明するが、請求される主題は、このような特定の詳細事項を有しないで実施できる。他の例では、例えば制御構造及び完全なソフトウェア命令シーケンスのような特定の素材は、本願明細書に開示の素材を不明確にすることを回避するために詳細に示されない。
本願明細書に開示の素材は、ハードウェア、ファームウェア、ソフトウェア又はそれらの如何なる組み合わせで実装されてもよい。本願明細書に開示の素材は、１又は複数のプロセッサにより読み取られ実行されてもよい機械可読媒体に格納された命令として実施されてもよい。機械可読媒体は、機械（例えば、コンピューティング装置）により読み取り可能な形式で情報を格納又は送信する任意の媒体及び／又はメカニズムも包含しうる。例えば、機械可読媒体は、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリ装置、電気的、光学的、音響的又は他の形式の伝搬される信号（例えば、搬送波、赤外線信号、デジタル信号、等）、等を包含しうる。
本願明細書において「一実装」、「実装」、「例示的な実装」等への参照は、記載された実装が特定の機能、構造又は特徴を含むこと、しかし各実施形態が特定の機能、構造又は特徴を必ずしも含まなくてもよいことを意味する。さらに、このような記載は、必ずしも同一の実装を参照しない。さらに、特定の機能、構造又は特徴がある実施形態に関連して記載されるとき、本願明細書に明示的に記載されているか否かに拘わらず、このような機能、構造又は特徴を他の実装と組み合わせて実施することは、当業者の知識の範囲内である。
システム、装置、品物、及び方法は、次世代ビデオ符号化の予測及び符号化のためのコンテンツ適応型パーティショニングに関連して以下に記載される。
上述のように、良好なディスプレイが利用可能になったことにより増え続けるビデオの解像度及び高ビデオ品質の期待に伴い、早期のＭＰＥＧ標準及びより最近のＨ．２６４／ＡＶＣ標準のような既存のビデオ符号化標準を用いる対応する必要ビットレート／帯域幅は、比較的高くなっている。実際に、Ｈ．２６４／ＡＶＣはより高い解像度のビデオアプリケーションを展開するために十分高い圧縮を提供しないとされていたので、新標準（ＨＥＶＣ）の開発が必須であると思われた。
Ｈ．２６４／ＡＶＣ符号化標準は、過去のＭＰＥＧ標準に渡り改良を示しながらも、依然として限定的である。例えば、現行のＨＥＶＣ標準は以下の制限を有する。１).（１）可能な予測パーティション及び符号化パーティションについての選択が非常に限られている。（２）可能な複数参照、及び予測生成が非常に限られている。（３）変換ブロックサイズ、及び利用可能な実際の変換が非常に限られている。（４）符号化アーティファクトを低減するメカニズム（デブロッキングのみ）が非常に限られている。（５）オーバヘッドデータ（モード、動きベクトル等）のためのエントロピー符号化技術が効率的ではない。Ｈ．２６４のような従来の標準の前述の制限は、これらの制限を解決するために反復的アプローチを用いるＨＥＶＣでの現行の作業により認識されている。
以下に詳細に議論するように、本開示は、ＮＧＶ（Next Generation Video）コーデックプロジェクトの文脈で展開され、装置に実装するのに十分に実用的でありながら、達成可能な圧縮効率を最大化する高機能ビデオコーデックを設計する一般的問題を解決する。Ｈ．２６４のような従来の標準の前述の制限は、本開示により説明されるＮＧＶビデオ符号化システムにより用いられるアプローチとは対照的に、これらの制限を解決するために反復的アプローチを用いるＨＥＶＣでの現行の作業により認識されている。
ＮＧＶビデオ符号化は、より高い圧縮を達成するためにビデオ符号化処理に重要コンテンツに基づく適応を組み込むので、標準に基づくアプローチと異なる。比較すると、標準に基づくビデオ符号化アプローチは、通常、レガシアプローチの適応及び微調整により、より高い利益を捻出する傾向がある。例えば、全ての標準に基づくアプローチは、利益を達成するために、予測差を低減する主要手段として動き補償されたインターフレーム符号化の適応及び更なる調整に大きく依存する。他方で、ＮＧＶは、動きに起因するフレーム間差分を活用することに加えて、標準的なビデオシーンの中に自然に存在する他の種類のフレーム間差分（利得、ブラー、整合性（registration））も活用する。
本願明細書で用いられるとき、用語「符号器」は、エンコーダ及び／又はデコーダを表し得る。同様に、本願明細書で用いられるとき、用語「符号化」は、エンコーダによるビデオエンコードの実行、及び／又はデコーダによるビデオデコードの実行を表し得る。例えば、ビデオエンコーダ及びビデオデコーダは、両方とも、ビデオデータを符号化できる符号器の例である。さらに、本願明細書で用いられるとき、用語「コーデック」は、例えばエンコーダ及び／又はデコーダを実装し得るソフトウェア、ファームウェア、及び／又はハードウェアの任意の組合せのような、任意のプロセス、プログラム又は動作セットを表し得る。さらに、本願明細書で用いられるとき、表現「ビデオデータ」は、ビデオ符号化に関連する任意の種類のデータ、例えばビデオフレーム、画像データ、エンコードされたビットストリームデータ、等を表し得る。
図１Ａは、本開示の少なくとも幾つかの実装により配置される例示的な次世代ビデオエンコーダ１００の説明図である。図示のように、エンコーダ１００は、入力ビデオ１０１を受信しても良い。入力ビデオ１０１は、例えばビデオシーケンスの入力フレームのような、エンコードのための任意の適切な入力ビデオを有しても良い。図示のように、入力ビデオ１０１は、コンテンツ事前分析モジュール１０２により受信されても良い。コンテンツ事前分析モジュール１０２は、ビデオ符号化効率及び速度性能を向上するための様々な種類のパラメータを決定するために、入力ビデオ１０１のビデオフレームの内容の分析を実行するよう構成されても良い。例えば、コンテンツ事前分析モジュール１０２は、水平及び垂直勾配情報（例えば、Ｒｓ、Ｃｓ）、変化、ピクチャ当たりの空間複雑度、ピクチャ当たりの時間複雑度、シーン変化検出、動き範囲推定、利得検出、予測距離推定、オブジェクト数推定、領域境界検出、空間複雑度マップ計算、焦点推定、フィルム粒状推定、等を決定しても良い。コンテンツ事前分析モジュール１０２により生成されたパラメータは、エンコーダ１００により（例えば、エンコード制御部１０３により）用いられ、及び／又は量子化されてデコーダへ伝達されても良い。図示のように、ビデオフレーム及び／又は他のデータは、コンテンツ事前分析モジュール１０２から適応型ピクチャ編成モジュール１０４へ送信されても良い。適応型ピクチャ編成モジュール１０４は、各ビデオフレームのピクチャ種類（例えば、Ｉ−、Ｐ−、又はＦ／Ｂ−ピクチャ）を決定し、必要に応じてビデオフレームを並べ替えても良い。幾つかの例では、適応型ピクチャ編成モジュール１０４は、フレーム部分を生成するよう構成されるフレーム部分生成器を有しても良い。幾つかの例では、コンテンツ事前分析モジュール１０２及び適応型ピクチャ編成モジュール１０４は、一緒に、エンコーダ１００の事前分析サブシステムと考えられても良い。
図示のように、ビデオフレーム及び／又は他のデータは、適応型ピクチャ編成モジュール１０４から予測パーティション生成モジュール１０５へ送信されても良い。幾つかの例では、予測パーティション生成モジュール１０５は、フレーム又はピクチャをタイル又はスーパーフラグメント又は類似のものに分割しても良い。幾つかの例では、（例えば、モジュール１０４と１０５の間の）追加モジュールは、フレーム又はピクチャのタイル又はスーパーフラグメントへの分割を提供されても良い。予測パーティション生成モジュール１０５は、各タイル又はスーパーフラグメントを可能な予測パーティショニング又はパーティションに分割しても良い。幾つかの例では、可能な予測パーティショニングは、例えばｋｄ木パーティショニング技術、ｂｉ木パーティショニング技術、又は類似のもののようなパーティショニング技術を用いて決定されても良く、一方で、個々のビデオフレームのピクチャ種類（例えば、Ｉ−、Ｐ−、又はＦ／Ｂ−ピクチャ）、パーティショニングされるフレーム部分の特性、又は類似のものに基づき決定されても良い。幾つかの例では、決定された可能な予測パーティショニングは、予測（例えば、インター又はイントラ予測）のためのパーティションであっても良く、予測パーティション又は予測ブロック等として記載され得る。
幾つかの例では、選択される予測パーティショニング（例えば、予測パーティション）は、可能な予測パーティショニングから決定されても良い。例えば、選択される予測パーティショニングは、可能な予測パーティショニング毎に、多参照予測又はイントラ予測に基づく特性及び動きを用いた予測を決定すること、及び予測パラメータを決定することに基づいても良い。可能な予測パーティショニング毎に、可能な予測誤差は、元のピクセルと予測ピクセルとの差分を取ることにより決定されても良く、選択された予測パーティショニングは、最小予測誤差を有する可能な予測パーティショニングであっても良い。他の例では、選択される予測パーティショニングは、パーティショニングを符号化するビット数に基づく重みスコア及び予測パーティショニングに関連する予測誤差を含むレート歪み最適化に基づき決定されても良い。
図示のように、選択される予測パーティショニングの元のピクセル（例えば、現在フレームの予測パーティション）は、差分器１０６において、予測パーティション（例えば、１又は複数の参照フレーム及びインター又はイントラ予測データのような他の予測データに基づく現在フレームの予測パーティションの予測）との差分を取られても良い。予測パーティションの決定は、以下に詳述され、図１Ａに示すようにデコードループを含んでも良い。差分操作からの残差又は残差データ（例えば、パーティション予測誤差データ）は、符号化パーティション生成モジュール１０７へ送信されても良い。幾つかの例では、任意のピクチャ種類（Ｉ−、Ｆ／Ｂ−、又はＰ−ピクチャ）における予測パーティションのイントラ予測の場合のように、符号化パーティション生成モジュール１０７は、スイッチ１０７ａ及び１０７ｂを介して迂回されても良い。このような例では、単一レベルのパーティショニングのみが実行されても良い。このようなパーティショニングは、予測パーティショニング（上述した）又は符号化パーティショニング又はそれらの両者として記載されても良い。種々の例では、このようなパーティショニングは、予測パーティション生成モジュール１０５（上述した）により実行されても良い。或いは、本願明細書で更に議論されるように、このようなパーティショニングは、符号化パーティション生成モジュール１０７により実装されるｋｄ木イントラ予測／符号化パーティショナモジュール又はｂｉ木イントラ予測／符号化パーティショナモジュールにより実行されても良い。
幾つかの例では、パーティション予測誤差データは、場合によっては、エンコードを保証するために十分でなくても良い。パーティション予測誤差データを符号化することが望ましく及びパーティション予測誤差データがインター予測等に関連する他の例では、符号化パーティション生成モジュール１０７は、予測パーティションの符号化パーティションを決定しても良い。幾つかの例では、パーティションは符号化パーティショニングを有しないで（例えば、スイッチ１０７ａ及び１０７ｂを介して利用可能な迂回経路により示されるように）エンコードされ得るので、符号化パーティション生成モジュール１０７は、必要なくても良い。符号化パーティショニングを有し又は有しないで、パーティション予測誤差データ（後に、どちらの場合にも符号化パーティションとして記載され得る）は、残差又は残差データがエンコードを必要とする場合に、適応変換モジュール１０８へ送信されても良い。幾つかの例では、予測パーティション生成モジュール１０５及び符号化パーティション生成モジュール１０７は、一緒に、エンコーダ１００のパーティショナサブシステムと考えられる。種々の例では、符号化パーティション生成モジュール１０７は、パーティション予測誤差データ、元のピクセルデータ、残差データ、又はウェーブレットデータに作用しても良い。
符号化パーティション生成モジュール１０７は、例えば、ｂｉ木及び／又はｋｄ木パーティショニング技術等を用いてパーティション予測誤差データの可能な符号化パーティショニング（例えば、符号化パーティション）を生成しても良い。幾つかの例では、可能な符号化パーティションは、適応型変換モジュール１０８により種々のブロックサイズで適応型又は固定変換を用いて変換されても良い。或いは、選択された符号化パーティショニング及び選択された変換（例えば、適応型又は固定）は、レート歪み最適化又は他の基準に基づき決定されても良い。幾つかの例では、選択された符号化パーティショニング及び／又は選択された変換は、符号化パーティションサイズ等に基づき、所定の選択方法に基づき決定されても良い。
例えば、適応型変換モジュール１０８は、小サイズブロックから中サイズブロックの局所的最適変換符号化を可能にするためにパラメータ変換を実行するための第１の部分又はコンポーネントと、パラメータ変換又は本願明細書で更に議論されるような他の構成を含む種々の変換から離散コサイン変換（discrete cosine transform：ＤＣＴ）又はピクチャに基づく変換のような固定変換を用いて全体的な安定した小オーバーヘッド変換符号化を実行するための第２の部分又はコンポーネントと、を有しても良い。幾つかの例では、本願明細書に更に議論されるように、局所的最適変換符号化では、パラメータＨａａｒ変換（Parametric Haar Transform：ＰＨＴ）が実行されても良い。幾つかの例では、変換は、約４ｘ４ピクセル及び６４ｘ６４ピクセルの間の方形サイズの２Ｄブロックに対して実行されても良い。実際のサイズは、変換データがルマ又はクロマ、インター又はイントラであるか、使用される決定された変換がＰＨＴ又はＤＣＴ等であるか、のような多数の要因に依存する。
図示のように、結果として生じる変換係数は、適応型量子化モジュール１０９へ送信されても良い。適応型量子化モジュール１０９は、結果として生じる変換係数を量子化しても良い。さらに、パラメータ変換に関連する任意のデータは、必要に応じて、適応型量子化モジュール１０９（量子化が望ましい場合）又は適応型エントロピーエンコーダモジュール１１０へ送信されても良い。図１Ａに示すように、量子化された係数は、スキャンされ、適応型エントロピーエンコーダモジュール１１０へ送信されても良い。適応型エントロピーエンコーダモジュール１１０は、量子化された係数をエントロピーエンコードし、それらを出力ビットストリーム１１１に含めても良い。幾つかの例では、適応型変換モジュール１０８及び適応型量子化モジュール１０９は、一緒に、エンコーダ１００の変換エンコーダサブシステムとして考えられる。
図１Ａに示すように、エンコーダ１００は、ローカルデコードループを有する。ローカルデコードループは、適応型逆量子化モジュール１１２において開始しても良い。適応型逆量子化モジュール１１２は、適応型量子化モジュール１０９の反対の動作を実行するよう構成されても良い。したがって、逆スキャンが実行され、変換係数を決定するために量子化された係数は逆スケーリングされる。例えば、このような適応型量子化動作は、不可逆であっても良い。図示のように、変換係数は、適応型逆変換モジュール１１３へ送信されても良い。適応型逆変換モジュール１１３は、適応型変換モジュール１０８により実行されたような逆変換を実行して、例えば、符号化パーティションに関連する残差又は残差値又はパーティション予測誤差データ（又は議論したような元のデータ又はウェーブレットデータ）を生成しても良い。幾つかの例では、適応型逆量子化モジュール１１２及び適応型逆変換モジュール１１３は、一緒に、エンコーダ１００の変換デコーダサブシステムとして考えられる。
図示のように、パーティション予測誤差データ（等）は、任意の符号化パーティションアセンブラ１１４へ送信されても良い。符号化パーティションアセンブラ１１４は、必要に応じて、符号化パーティションをデコードされた予測パーティションに組み立て（図示のように、幾つかの例では、符号化パーティションアセンブラ１１４は、スイッチ１１４ａ及び１１４ｂを介してスキップされ、デコードされた予測パーティションが適合型逆変換モジュール１１３において生成されるようにしても良い）、予測誤差データの予測パーティション又はデコードされた残差予測パーティション等を生成しても良い。
図示のように、デコードされた残差予測パーティションは、加算器１１５において予測されたパーティション（例えば、予測ピクセルデータ）に加算されて、再構成済み予測パーティションを生成しても良い。再構成済み予測パーティションは、予測パーティションアセンブラ１１６へ送信されても良い。予測パーティションアセンブラ１１６は、再構成済み予測パーティションを組み立てて、再構成済みタイル又はスーパーフラグメントを生成しても良い。幾つかの例では、符号化パーティションアセンブラモジュール１１４及び予測パーティションアセンブラモジュール１１６は、一緒に、エンコーダ１００のアップパーティショナサブシステムと考えられる。
再構成済みタイル又はスーパーフラグメントは、ブロッキネス（blockiness）分析及びデブロックフィルタリングモジュール１１７へ送信されても良い。ブロッキネス分析及びデブロックフィルタリングモジュール１１７は、再構成済みタイル又はスーパーフラグメント（又はタイル若しくはスーパーフラグメントの予測パーティション）をデブロッキング及びディザリングしても良い。生成されたデブロック及びディザフィルタパラメータは、例えば、現在フィルタ動作のために用いられても良く、及び／又はデコーダによる使用のために出力ビットストリーム１１１の中に符号化されても良い。ブロッキネス分析及びデブロックフィルタリングモジュール１１７の出力は、品質分析及び品質復元フィルタリングモジュール１１８へ送信されても良い。品質分析及び品質復元フィルタリングモジュール１１８は、（例えば、ＱＲ分解のための）ＱＲフィルタリングパラメータを決定し、決定したパラメータをフィルタリングのために使用しても良い。ＱＲフィルタリングパラメータは、デコーダによる使用のために出力ビットストリーム１１１の中に符号化されても良い。図示のように、品質分析及び品質復元フィルタリングモジュール１１８の出力は、デコード済みピクチャバッファ１１９へ送信されても良い。幾つかの例では、品質分析及び品質復元フィルタリングモジュール１１８の出力は、他のフレームを符号化するための予測に用いられ得る最終再構成済みフレームであっても良い（例えば、最終再構成済みフレームは、参照フレーム等であっても良い）。幾つかの例では、ブロッキネス分析及びデブロックフィルタリングモジュール１１７及び品質分析及び品質復元フィルタリングモジュール１１８は、一緒に、エンコーダ１００のフィルタリングサブシステムと考えられる。
エンコーダ１００では、予測動作は、インター及び／又はイントラ予測を含み得る。図１Ａに示すように、インター予測は、モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０、合成分析及び生成モジュール１２１、及び特性及び動きフィルタリング予測モジュール１２３を有する１又は複数のモジュールにより実行されても良い。モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０は、現在ピクチャを分析して、符号化され得る１又は複数の参照フレームに対する、利得の変化、支配的な動きの変化、整合性の変化、及びブラーの変化についてのパラメータを決定しても良い。決定されたモーフィングパラメータは、量子化／逆量子化され、現在フレームの効率的動き（及び特性）補償予測のために動きベクトルを計算する動き推定モジュール１２２により使用され得るモーフィング参照フレームを生成するために（例えば、モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０により）使用されても良い。合成分析及び生成モジュール１２１は、超解像度（super resolution：ＳＲ）ピクチャ及び投影補間（projected interpolation：ＰＩ）ピクチャ等における効率的動き補償予測のための動きベクトルを決定する動きについて、これらのピクチャを生成しても良い。
動き推定モジュール１２２は、現在フレームと一緒に、モーフィング参照フレーム及び／又は超解像度（ＳＲ）ピクチャ及び投影補間（ＰＩ）ピクチャに基づき、動きベクトルデータを生成しても良い。幾つかの例では、動き推定モジュール１２２は、インター予測モジュールと考えられても良い。例えば、動きベクトルデータは、インター予測に用いられても良い。インター予測が適用される場合、特性及び動き補償フィルタリング予測モジュール１２３は、議論されるようにローカルデコードの部分として動き補償を適用しても良い。
イントラ予測は、イントラ方向予測分析及び予測生成モジュール１２４により実行されても良い。イントラ方向予測分析及び予測生成モジュール１２４は、空間方向予測を実行するよう構成されても良く、デコードされた近隣パーティションを用いても良い。幾つかの例では、方向の決定及び予測の生成の両方は、イントラ方向予測分析及び予測生成モジュール１２４により実行されても良い。幾つかの例では、イントラ方向予測分析及び予測生成モジュール１２４は、イントラ予測モジュールと考えられる。
図１Ａに示すように、予測モード及び参照種類分析モジュール１２５は、タイル（又はスーパーフラグメント）の予測パーティション毎に、「スキップ」、「自動」、「インター」、「スプリット」、「マルチ」、「イントラ」の中から予測モードの選択を可能にしても良い。これらの全ては、Ｐ−及びＦ／Ｂピクチャに適用できる。予測モードに加えて、「インター」又は「マルチ」モード、並びにＰ−及びＦ／Ｂ−ピクチャかに依存して異なり得る参照種類の選択も可能にする。予測モード及び参照種類分析モジュール１２５の出力における予測信号は、予測分析及び予測統合フィルタリングモジュール１２６によりフィルタリングされても良い。予測分析及び予測統合フィルタリングモジュール１２６は、フィルタリングに使用するパラメータ（例えば、フィルタリング係数、周波数、オーバーヘッド）を決定しても良く、フィルタリングを実行しても良い。幾つかの例では、予測信号のフィルタリングは、異なるモード（例えば、イントラ、インター、マルチ、スプリット、スキップ、及び自動）を表す異なる種類の信号を統合しても良い。幾つかの例では、イントラ予測信号は、全ての他の種類のインター予測信号と異なっても良い。したがって、正しいフィルタリングは、通常、符号化効率を向上できる。幾つかの例では、フィルタリングパラメータは、デコーダによる使用のために出力ビットストリーム１１１の中に符号化されても良い。フィルタ済み予測信号は、先に議論した符号化のための予測差分信号（例えば、パーティション予測誤差）を決定し得る、上述の差分器１０６に第２の入力（例えば、予測パーティション）を供給しても良い。さらに、同じフィルタ済み予測信号は、上述の加算器１１５に第２の入力を供給しても良い。上述のように、出力ビットストリーム１１１は、ビデオの提示のためのデコーダによる使用のために効率的にエンコードされたビットストリームを提供しても良い。
図１Ｂは、本開示の少なくとも幾つかの実装により配置される例示的な次世代ビデオエンコーダ１００ｂの説明図である。図１Ｂは、図１Ａに示したものと類似のエンコーダを示し、簡単のために同様の要素は繰り返されない。図１Ｂに示すように、エンコーダ１００ｂは、モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０ｂと、合成分析及び生成モジュール１２１ｂと、を有しても良い。この例示的な構成では、モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０ｂ及び合成分析及び生成モジュール１２１ｂは、適応型ピクチャ編成器１０４からの出力を受信しても良い。モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０ｂ及び合成分析及び生成モジュール１２１ｂの動作は、ローカルデコードループの中で生じないという点において、モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０ｂ及び合成分析及び生成モジュール１２１ｂは、「ループの外」と考えられる。逆に、モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０及び合成分析及び生成モジュール１２１の動作は、ローカルデコードループの中で生じるという点において、モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０及び合成分析及び生成モジュール１２１は、「ループの中」と考えられる。
図１Ａに戻ると、エンコーダ１００は、図１Ｂのエンコーダ１００ｂと僅かに異なる。図示の例の１つの特徴は、モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０の特定の位置、及び合成分析及び合成ピクチャ生成モジュール１２１の位置である。図１Ａでは、これらの動作は、予測ループの中に示され、モーフィングパラメータ生成又は合成パラメータ生成のために必要な分析は、図１Ｂに示すような元のフレームにではなく、デコードされたピクチャに対して実行されても良い。したがってモーフィング及び合成パラメータ生成構造は良好な結果を提供するが、分析はデコードされたピクチャに基づき、元のフレームに対して行うことができないので、幾らかの遅延を犠牲にする。
図２は、本開示の少なくとも幾つかの実装により配置される例示的な次世代ビデオデコーダ２００の説明図である。図示のように、デコーダ２００は、入力ビットストリーム２０１を受信しても良い。幾つかの例では、入力ビットストリーム２０１は、エンコーダ１００により及び／又は本願明細書で議論するエンコード技術によりエンコードされても良い。図示のように、入力ビットストリーム２０１は、適応型エントロピーデコーダモジュール２０２により受信されても良い。適応型エントロピーデコーダモジュール２０２は、様々な種類のエンコード済みデータ（例えば、オーバーヘッド、動きベクトル、変換係数、等）をデコードしても良い。幾つかの例では、適応型エントロピーデコーダ２０２は、可変長デコード技術を用いても良い。幾つかの例では、適応型エントロピーデコーダ２０２は、上述の適応型エントロピーエンコーダ１１０の逆の動作を実行しても良い。
デコード済みデータは、適応型逆量子化モジュール２０３へ送信されても良い。適応型逆量子化モジュール２０３は、量子化係数を逆スキャンし逆スケーリングして、変換係数を決定するよう構成されても良い。例えば、このような適応型量子化動作は、不可逆であっても良い。幾つかの例では、適応型逆量子化モジュール２０３は、適応型量子化モジュール１０９の反対の動作（例えば、適応型逆量子化モジュール１１２と実質的に同じ動作）を実行するよう構成されても良い。図示のように、変換係数（及び、幾つかの例では、パラメータ変換で使用する変換データ）は、適応型逆変換モジュール２０４へ送信されても良い。適応型逆変換モジュール２０４は、変換係数に対して逆変換を実行して、符号化パーティションに関連する残差又は残差値又はパーティション予測誤差データ（又は元のデータ又はウェーブレットデータ）を生成しても良い。幾つかの例では、適応型逆変換モジュール２０４は、適応型変換モジュール１０８の反対の動作（例えば、適応型逆変換モジュール１１３と実質的に同じ動作）を実行するよう構成されても良い。幾つかの例では、適応型逆変換モジュール２０４は、例えばデコード済み近隣パーティションのような他の前のデコード済みデータに基づき、逆変換を実行しても良い。幾つかの例では、適応型逆量子化モジュール２０３及び適応型逆変換モジュール２０４は、一緒に、デコーダ２００の変換デコーダサブシステムとして考えられる。
図示のように、残差又は残差値又はパーティション予測誤差データは、符号化パーティションアセンブラ２０５へ送信されても良い。符号化パーティションアセンブラ２０５は、必要に応じて、符号化パーティションをデコード済み予測パーティションにアセンブルしても良い（図示のように、幾つかの例では、符号化パーティションアセンブラ２０５は、スイッチ２０５ａ及び２０５ｂを介してスキップされ、符号化予測パーティションが適応型逆変換モジュール２０４において生成されるようにしても良い）。予測誤差データのデコード済み予測パーティション（例えば、予測パーティション残差）は、再構成済み予測パーティションを生成するために、加算器２０６において予測パーティション（例えば、予測ピクセルデータ）に加算されても良い。再構成済み予測パーティションは、予測パーティションアセンブラ２０７へ送信されても良い。予測パーティションアセンブラ２０７は、再構成済み予測パーティションをアセンブルして、再構成済みタイル又はスーパーフラグメントを生成しても良い。幾つかの例では、符号化パーティションアセンブラモジュール２０５及び予測パーティションアセンブラモジュール２０７は、一緒に、デコーダ２００のアップパーティショナサブシステムと考えられる。
再構成済みタイル又はスーパーフラグメントは、デブロックフィルタリングモジュール２０８へ送信されても良い。デブロックフィルタリングモジュール２０８は、再構成済みタイル又はスーパーフラグメント（又はタイル若しくはスーパーフラグメントの予測パーティション）をデブロッキング及びディザリングしても良い。生成されるデブロック及びディザリングフィルタパラメータは、例えば、入力ビットストリーム２０１から決定されても良い。デブロックフィルタリングモジュール２０８の出力は、品質復元フィルタリングモジュール２０９へ送信されても良い。品質復元フィルタリングモジュール２０９は、例えば入力ビットストリーム２０１から決定され得るＱＲパラメータに基づき品質フィルタリングを適用しても良い。図２に示すように、品質分析及び品質復元フィルタリングモジュール２０９の出力は、デコード済みピクチャバッファ２１０へ送信されても良い。幾つかの例では、品質復元フィルタリングモジュール２０９の出力は、他のフレームを符号化するための予測に用いられ得る最終再構成済みフレームであっても良い（例えば、最終再構成済みフレームは、参照フレーム等であっても良い）。幾つかの例では、デブロックフィルタリングモジュール２０８及び品質復元フィルタリングモジュール２０９は、一緒に、デコーダ２００のフィルタリングサブシステムと考えられる。
議論したように、予測動作による補償は、インター及び／又はイントラ予測補償を含んでも良い。図示のように、インター予測補償は、モーフィング済みピクチャ生成モジュール２１１、合成ピクチャ生成モジュール２１２、及び特性及び動き補償済みフィルタリング予測モジュール２１３を含む１又は複数のモジュールにより実行されても良い。モーフィング済みピクチャ生成モジュール２１１は、（例えば、入力ビットストリーム２０１から決定される）逆量子化済みモーフィングパラメータを用いて、モーフィング済み参照フレームを生成しても良い。合成ピクチャ生成モジュール２１２は、入力ビットストリーム２０１から決定されたパラメータに基づき、超解像度（ＳＲ）ピクチャ及び投影補間（ＰＩ）ピクチャ等を生成しても良い。インター予測が適用される場合、特性及び動き補償済みフィルタリング予測モジュール２１３は、入力ビットストリーム２０１の中で受信したフレーム及び動きベクトルデータ等に基づき動き補償を適用しても良い。
イントラ予測補償は、イントラ方向予測生成モジュール２１４により実行されても良い。イントラ方向予測生成モジュール２１４は、空間方向予測を実行するよう構成されても良く、入力ビットストリーム２０１の中のイントラ予測データに従ってデコードされた近隣パーティションを用いても良い。
図２に示すように、予測モード選択モジュール２１５は、入力ビットストリーム２０１の中のモード選択データに基づき、全ての予測方向がＰ−及びＦ／Ｂ−ピクチャに適用し得る１つのタイルの各予測方向について、「スキップ」、「自動」、「インター」、「マルチ」、及び「イントラ」の中から予測モード選択を決定しても良い。予測モードに加えて、「インター」又は「マルチ」モード、並びにＰ−及びＦ／Ｂ−ピクチャかに依存して異なり得る参照種類の選択も可能にする。予測モード選択モジュール２１５の出力における予測信号は、予測統合フィルタリングモジュール２１６によりフィルタリングされても良い。予測統合フィルタリングモジュール２１６は、入力ビットストリーム２０１により決定されたパラメータ（例えば、フィルタリング係数、周波数、オーバーヘッド）に基づきフィルタリングを実行しても良い。幾つかの例では、予測信号のフィルタリングは、異なるモード（例えば、イントラ、インター、マルチ、スキップ、及び自動）を表す異なる種類の信号を統合しても良い。幾つかの例では、イントラ予測信号は、全ての他の種類のインター予測信号と異なっても良い。したがって、正しいフィルタリングは、通常、符号化効率を向上できる。フィルタ済み予測信号は、上述のように、第２の入力（例えば、予測パーティション）を差分器２０６に供給しても良い。
上述のように、品質復元フィルタリングモジュール２０９の出力は、最終再構成済みフレームであっても良い。最終再構成済みフレームは、適応型ピクチャ再編成器２１７へ送信されても良い。適応型ピクチャ再編成器２１７は、必要に応じて、入力ビットストリーム２０１の中の並べ替えパラメータに基づきフレームを並べ替え又は再編成しても良い。並べ替えられたフレームは、コンテンツ事後復元モジュール２１８へ送信されても良い。コンテンツ事後復元モジュール２１８は、デコード済みビデオの知覚的品質の更なる改善を実行するよう構成される任意的モジュールであっても良い。改善処理は、入力ビットストリーム２０１の中の品質改善パラメータに応答して実行されても良く、或いは、独立型動作として実行されても良い。幾つかの例では、コンテンツ事後復元モジュール２１８は、（例えば、デブロックフィルタリングモジュール２０８に関して議論したデブロッキング動作の後でも）例えばフィルム粒状ノイズの推定、残差ブロッキネス低減のような品質を向上するためにパラメータを適用しても良い。図示のように、デコーダ２００は、ディスプレイ装置（図示しない）による表示のために構成されても良い表示ビデオ２１９を供給しても良い。
上述のように、幾つかの例では、エンコーダ１００及び／又はデコーダ２００は、次世代ビデオ符号化の予測及び符号化のためのコンテンツ適応型パーティショニングに関連する技術を実施しても良い。幾つかの例では、予測のためのコンテンツ適応型パーティショニングは、エンコーダ１００の予測パーティション生成モジュール１０５により実行されても良い。幾つかの例では、符号化のためのコンテンツ適応型パーティショニングは、エンコーダ１００の符号化パーティション生成モジュール１０７により実行されても良い。幾つかの例では、インター予測等の予測のためのコンテンツ適応型パーティショニングは、予測パーティション生成モジュール１０５により実行されても良い。並びに、インター予測等の符号化のためのコンテンツ適応型パーティショニングは、エンコーダ１００の符号化パーティション生成モジュール１０７により実行されても良い。幾つかの例では、予測／符号化のためのコンテンツ適応型パーティショニング（例えば、１レイヤのみのパーティショニング）は、エンコーダ１００の予測パーティション生成モジュール１０５又は符号化パーティション生成モジュール１０７により実行されても良い。さらに、幾つかの例では、エンコードされた予測パーティショニング及び／又は符号化パーティショニングに基づき、エンコーダ１００の符号化パーティションアセンブラモジュール１１４及び／又はデコーダ２００の符号化パーティションアセンブラモジュール２０５は、符号化パーティションをアセンブルして予測パーティションを形成しても良い。また、幾つかの例では、エンコーダ１００の予測パーティションアセンブラ１１６及び／又はデコーダ２００の予測パーティションアセンブラ２０７は、再編成済み予測パーティションをアセンブルして、タイル、スーパーフラグメントを形成しても良い。タイル、スーパーフラグメントは、フレーム若しくはピクチャを生成するためにアセンブルされても良い。上述のように、種々の予測パーティション、符号化パーティション、又はタイル若しくはスーパーフラグメントは、本願明細書で議論されるように、インター予測、イントラ予測、他の符号化効率向上、又は画像若しくはビデオ向上のために用いられても良い。
図１及び２は特定のエンコード及びデコードモジュールを示すが、図示しない種々の他の符号化モジュール又はコンポーネントも本開示に従って利用できる。さらに、本開示は、図１及び２に示した特定のコンポーネントに及び／又は種々のコンポーネントが配置される方法に限定されない。本願明細書に記載のシステムの種々のコンポーネントは、ソフトウェア、ファームウェア及び／又はハードウェア、及び／又はそれらの任意の組合せで実装されても良い。例えば、エンコーダ１００及び／又はデコーダ２００の種々のコンポーネントは、少なくとも部分的に、例えば携帯電話機のようなコンピューティングシステムに見られるコンピューティングＳｏＣ（System-on-a-Chip）のハードウェアにより設けられても良い。
さらに、エンコーダ１００は例えばビデオコンテンツサーバシステムを含むコンテンツプロバイダシステムに関連付けられ及び／又はそれにより設けられること、出力ビットストリーム１１１は例えば図１及び２に示されない通信機、アンテナ、ネットワークシステム、等のような種々の通信コンポーネント及び／又はシステムによりデコーダ２００のようなデコーダへ送信され又は伝達されても良いことが分かる。また、デコーダ２００は、エンコーダ１００から離れており且つ図１及び２に示されない通信機、アンテナ、ネットワークシステム等のような種々の通信コンポーネント及び／又はシステムを介して入力ビットストリームを受信するコンピューティング装置（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、コンバーチブルラップトップ、携帯電話機、等）のようなクライアントシステムに関連付けられても良いことが分かる。したがって、種々の実装において、エンコーダ１００及びデコーダサブシステム２００は、一緒に又は互いに独立して実装されても良い。
図３は、本開示の少なくとも幾つかの実装により配置される例示的な次世代ビデオエンコーダ３００の説明図である。ビデオエンコーダ３００が図１Ａのビデオエンコーダ１００と類似している限り、簡単のために同様の要素の議論は繰り返されない。図３は、ビデオエンコーダ３００の動作に関連する例示的な制御信号を示す。ここで、以下の略語は、関連情報を表し得る。
scnchg：シーン変化情報
Spcpx：空間複雑性情報
tpcpx：時間複雑性情報
pdist：時間予測距離情報
pap：事前分析パラメータ（scnchg、spcpx、tpcpx、pdistを除く全ての他の事前分析パラメータの代替物）
ptyp：ピクチャ種類情報
pgst：ピクチャグループ構造情報
pptncand.：予測パーティショニング候補
cptncand.：符号化パーティショニング候補
prp：前処理
xmtyp：変換種類情報
xmdir：変換方向情報
xmmod：変換モード
ethp：８分の１（１／８）pel動き予測
pptn：予測パーティショニング
cptn：符号化パーティショニング
mot&cod cost：動き及び符号化コスト
qs：量子化情報セット（量子化パラメータ（Qp）、量子行列（QM）選択を含む）
mv：動きベクトル
mop：モーフィングパラメータ
syp：合成パラメータ
ddi：デブロック及びディザ情報
qri：品質復元フィルタリングインデックス／情報
api：適応型精密フィルタリングインデックス／情報
fii：統合フィルタリングインデックス／情報
mod：モード情報
reftyp：参照種類情報
idir：イントラ予測方向
これらの制御信号は図３のエンコーダの特定の例示的な機能モジュールに関連して示されるが、他の実装は、エンコーダ３００の機能モジュール間の制御信号の異なる配信を有しても良い。本開示はこれに関して限定されず、種々の例において、本願明細書における制御信号の実装は、図示の特定の例示的な制御信号の一部のみ、追加制御信号、及び／又は図示と異なる配置の取り組みを有しても良い。
図４は、本開示の少なくとも幾つかの実装により配置される例示的な次世代ビデオデコーダ４００の説明図である。ビデオデコーダ４００が図２のビデオデコーダ２００と類似している限り、簡単のために同様の要素の議論は繰り返されない。図４は、ビデオデコーダ４００の動作に関連する例示的な制御信号を示す。ここで、示される略語は、図３に関して上述したのと同様の情報を表し得る。
これらの制御信号は図４のデコーダ４００の特定の例示的な機能モジュールに関連して示されるが、他の実装は、デコーダ４００の機能モジュール間の制御信号の異なる配信を有しても良い。本開示はこれに関して限定されず、種々の例において、本願明細書における制御信号の実装は、図示の特定の例示的な制御信号の一部のみ、追加制御信号、及び／又は図示と異なる配置の取り組みを有しても良い。
図５Ａは、本開示の少なくとも幾つかの実装により配置される例示的な次世代ビデオエンコーダ５００ａの説明図である。図５Ａは、図１Ａ及び１Ｂに示したものと類似のエンコーダを示し、簡単のために同様の要素は繰り返されない。図５Ａに示すように、エンコーダ５００ａは、事前分析サブシステム５１０ａ、パーティショナサブシステム５２０ａ、予測エンコードサブシステム５３０ａ、変換エンコーダサブシステム５４０ａ、フィルタリングエンコードサブシステム５５０ａ、エントロピーエンコーダシステム５６０ａ、変換デコーダサブシステム５７０ａ、及び／又は逆パーティショナサブシステム５８０ａ、を有しても良い。事前分析サブシステム５１０ａは、コンテンツ事前分析モジュール１０２及び／又は適応型ピクチャ編成モジュール１０４を有しても良い。パーティショナサブシステム５２０ａは、予測パーティション生成モジュール１０５、及び／又は符号化パーティション生成器１０７を有しても良い。予測エンコードサブシステム５３０ａは、動き推定モジュール１２２、特性及び動き補償済みフィルタリング予測モジュール１２３、及び／又はイントラ方向予測分析及び予測生成モジュール１２４を有しても良い。変換エンコーダサブシステム５４０ａは、適応型変換モジュール１０８、及び／又は適応型量子化モジュール１０９を有しても良い。フィルタリングエンコードサブシステム５５０ａは、ブロッキネス分析及びデブロックフィルタリングモジュール１２２、品質分析及び品質復元フィルタリングモジュール１１８、動き推定モジュール１２２、特性及び動き補償済みフィルタリング予測モジュール１２３、及び／又は予測分析及び予測統合フィルタリングモジュール１２６を有しても良い。エントロピー符号化サブシステム５６０ａは、適応型エントロピーエンコーダモジュール１１０を有しても良い。変換デコーダサブシステム５７０ａは、適応型逆量子化モジュール１１２、及び／又は適応型逆変換モジュール１１３を有しても良い。逆パーティショナサブシステム５８０ａは、符号化パーティションアセンブラ１１４、及び／又は予測パーティションアセンブラ１１６を有しても良い。
エンコーダ５００ａのパーティショナサブシステム５２０ａは、２つのパーティショニングサブシステムを有しても良い。つまり、予測のために分析及びパーティショニングを実行し得る予測パーティション生成モジュール１０５、及び符号化のために分析及びパーティショニングを実行し得る符号化パーティション生成モジュール１０７である。別のパーティショニング方法は、ピクチャを領域又はスライスにセグメント化し得る適応型ピクチャ編成器１０４を有しても良い。これも、任意で、このパーティショナの部分であると考えられる。
エンコーダ５００ａの予測エンコーダサブシステム５３０ａは、動き推定器１２２、及び「インター」信号の分析及び予測を実行し得る特性及び動き補償済みフィルタリング予測器１２３、「イントラ」信号の分析及び予測を実行し得るイントラ方向予測分析及び予測生成モジュール１２４、を有しても良い。動き推定器１２２及び特徴及び動き補償済みフィルタリング予測器１２３は、先ず（利得、大局的動き、整合性のような）他の差異源を補償し、次に実際の動き補償をすることにより、予測可能性を増大させ得る。それらは、良好な予測を可能にし得る合成フレーム（超解像度、及び投影）を生成するためにデータモデル化の使用、次に該フレームにおける実際の動き補償の使用を可能にする。
エンコーダ５００ａの変換エンコーダサブシステム５４０ａは、変換の種類及びサイズを選択するために分析を実行しても良く、主な２種類のコンポーネントを有しても良い。第１の種類のコンポーネントは、符号化のような小乃至中サイズブロックの局所最適変換符号化を可能にするためにパラメータ変換の使用を可能にするが、これは幾らかのオーバーヘッドを必要とし得る。第２の種類のコンポーネントは、ＤＣＴのような汎用／固定変換、又はパラメータ変換を含む少数の変換の選択からピクチャに基づく変換を用いて全体的に安定した低オーバーヘッド符号化を可能にする。局所的適応型変換符号化では、ＰＨＴ（Parametric Haar Transform）が用いられても良い。変換は、４ｘ４及び６４ｘ６４の間の方形サイズの２Ｄブロックに対して実行されても良い。ここで、実際のサイズは、変換されるデータがルマかクロマか、インターかイントラか、及び使用される変換がＰＨＴかＤＣＴか、のような多数の要因に依存し得る。結果として生じる変換係数は、量子化され、スキャンされ、及びエントロピー符号化されても良い。
エンコーダ５００ａのエントロピーエンコーダサブシステム５６０ａは、それぞれ特定種類のデータ（様々な種類のオーバーヘッド、動きベクトル、又は変換係数）を効率的に符号化することを目標として、多数の効率が良く複雑性の少ないコンポーネントを有しても良い。このサブシステムのコンポーネントは、汎用クラスの複雑性の少ない可変長符号化技術に属するが、効率的な符号化のために、各コンポーネントは最高効率のために特注に従って（custom）最適化されても良い。例えば、特注に従うソリューションは、「符号化済み／非符号化済み」データの符号化のために、別のソリューションは「モード及び参照種類」データのために、更に別のソリューションは「動きベクトル」データのために、更に別のソリューションは「予測及び符号化パーティション」データのために設計されても良い。最後に、エントロピー符号化されるべきデータの大部分は「変換係数」データなので、特定ブロックサイズの効率的な処理のための複数のアプローチは、複数の表の間で適用され得るアルゴリズムと共に、用いられても良い。
エンコーダ５００ａのフィルタリングエンコーダサブシステム５５０ａは、パラメータの分析と、該パラメータに基づく再構成済みピクチャの複数のフィルタリングとを実行しても良く、複数のサブシステムを有しても良い。例えば、第１のサブシステムであるブロッキネス分析及びデブロックフィルタリングモジュール１１７は、潜在的なブロック符号化アーティファクトを低減又はマスクするために、デブロック及びディザしても良い。第２の例示的なサブシステムである品質分析及び品質復元フィルタリングモジュール１１８は、任意のビデオ符号化における量子化動作に起因するアーティファクトを低減するために、汎用品質復元を実行しても良い。第３の例示的なサブシステムは、動き推定器１２２及び特性及び動き補償済みフィルタリング予測モジュール１２３を含み、コンテンツの動き特性（動き速度／ブラーの程度）に適応するフィルタを用いることにより動き補償から生じる結果を向上し得る。第４の例示的なサブシステムである予測統合分析及びフィルタ生成モジュール１２６は、予測信号の適応型フィルタリングを可能にし（これは、多くの場合イントラ予測からの、予測における不要なアーティファクトを低減し得る）、それにより符号化される必要のある予測誤差を低減する。
エンコーダ５００ａのエンコード制御モジュール１０３は、所与のリソース及び所望のエンコード速度の制約下で、全体的なビデオ品質に関与する。例えば、いかなるショートカットも用いない完全なＲＤＯ（Rate Distortion Optimization）に基づく符号化では、ソフトウェアエンコードのエンコード速度は、単純に利用可能な計算リソース（プロセッサの速度、プロセッサの数、ハイパースレッド、ＤＤＲ３メモリ、等）の結果であり得る。このような場合には、エンコード制御モジュール１０３は、実際のエンコードにより、予測パーティション及び符号化パーティションの１つ１つの組合せを入力されても良く、ビットレートは、各々の場合について再構成済み誤差と共に計算されても良く、ラグランジュ最適化式に基づき、予測及び符号化パーティションの最適セットが符号化されている各フレームの各タイル毎に送信されても良い。完全なＲＤＯに基づくモードは、結果として最適な圧縮効率をもたらし、最も遅いエンコードモードであっても良い。コンテンツ事前分析モジュール１０２からのコンテンツ分析パラメータを用いることにより、及びそれらを用いてＲＤＯを単純化する（全ての可能な場合を試さない）或いは完全なＲＤＯを通じて特定の割合のブロックのみを渡すことにより、品質対速度のトレードオフは、より高速なエンコードを可能にし得る。ここまでに、可変ビットレート（variable bitrate：ＶＢＲ）に基づくエンコーダ動作を説明した。エンコード制御モジュール１０３は、固定ビットレート（constant bitrate：ＣＢＲ）制御された符号化の場合に呼び出すことができるレート制御部を有しても良い。
最後に、エンコーダ５００ａの事前分析サブシステム５１０ａは、ビデオ符号化効率及び速度性能を向上するために有用な様々な種類のパラメータを計算するためにコンテンツの分析を実行しても良い。例えば、事前分析サブシステム５１０ａは、水平及び垂直勾配情報（Ｒｓ、Ｃｓ）、変化、ピクチャ当たりの空間複雑度、ピクチャ当たりの時間複雑度、シーン変化検出、動き範囲推定、利得検出、予測距離推定、オブジェクト数推定、領域境界検出、空間複雑度マップ計算、焦点推定、フィルム粒状推定、等を計算しても良い。事前分析サブシステム５１０ａにより生成されたパラメータは、エンコーダにより消費されるか、又は量子化されデコーダ２００へ伝達されても良い。
サブシステム５１０ａ乃至５８０ａは図５Ａのエンコーダ５００ａの特定の例示的な機能モジュールに関連して示されるが、本願明細書におけるエンコーダ５００ａの他の実装は、サブシステム５１０ａ乃至５８０ａの間のエンコーダ５００ａの機能モジュールの異なる分配を有しても良い。本開示はこれに関して限定されず、種々の例において、本願明細書における例示的なサブシステム５１０ａ乃至５８０ａの実装は、図示の特定の例示的なエンコーダ５００ａの機能モジュールの一部のみ、追加機能モジュール、及び／又は図示と異なる配置の取り組みを有しても良い。
図５Ｂは、本開示の少なくとも幾つかの実装により配置される例示的な次世代ビデオデコーダ５００ｂの説明図である。図５Ｂは、図２に示したものと類似のデコーダを示し、簡単のために同様の要素は繰り返されない。図５Ｂに示すように、デコーダ５００ｂは、予測デコーダサブシステム５３０ｂ、フィルタリングデコーダサブシステム５５０ｂ、エントロピーデコーダサブシステム５６０ｂ、変換デコーダサブシステム５７０ｂ、逆パーティショナ２サブシステム５８０ｂ、逆パーティショナ１サブシステム５５１ｂ、フィルタリングデコーダサブシステム５５０ｂ、及び／又は事後復元サブシステム５９０ｂを有しても良い。予測デコーダサブシステム５３０ｂは、特性及び動き補償済みフィルタリング予測モジュール２１３及び／又はイントラ方向予測生成モジュール２１４を有しても良い。フィルタリングデコーダサブシステム５５０ｂは、デブロックフィルタリングモジュール２０８、品質復元フィルタリングモジュール２０９、特性及び動き補償済みフィルタリング予測モジュール２１３、及び／又は予測統合フィルタリングモジュール２１６を有しても良い。エントロピーデコーダサブシステム５６０ｂは、適応型エントロピーデコーダモジュール２０２を有しても良い。変換デコーダサブシステム５７０ｂは、適応型逆量子化モジュール２０３、及び／又は適応型逆変換モジュール２０４を有しても良い。逆パーティショナ２サブシステム５８０ｂは、符号化パーティションアセンブラ２０５を有しても良い。逆パーティショナ１サブシステム５５１ｂは、予測パーティションアセンブラ２０７を有しても良い。事後復元サブシステム７９０は、コンテンツ事後復元モジュール２１８、及び／又は適応型ピクチャ再編成器２１７を有しても良い。
デコーダ５００ｂのエントロピーデコードサブシステム５６０ｂは、エンコーダ５００ａのエントロピーエンコーダサブシステム５６０ａの逆の動作を実行しても良い。つまり、エントロピーデコードサブシステム５６０ｂは、可変長デコードとして漠然と参照されるクラスの技術を用いて、エントロピーエンコーダサブシステム５６０ａによりエンコードされた種々のデータ（オーバーヘッドの種類、動きベクトル、変換係数）をデコードしても良い。具体的には、デコードされるべき様々な種類のデータは、「符号化済み／非符号化済み」データ、「モード及び参照種類」データ、「動きベクトル」データ、「予測及び符号化パーティション」データ、及び「変換係数」データを有しても良い。
デコーダ５００ｂの変換デコーダサブシステム５７０ｂは、エンコーダ５００ａの変換エンコーダサブシステム５４０ａの動作の逆の動作を実行しても良い。変換デコーダサブシステム５７０ｂは、２種類のコンポーネントを有しても良い。第１の種類の例示的なコンポーネントは、小乃至中ブロックサイズについてパラメータ逆ＰＨＴ変換の使用をサポートしても良い。一方で、他の種類の例示的なコンポーネントは、全てのブロックサイズについて逆ＤＣＴ変換をサポートしても良い。あるブロックに用いられるＰＨＴ変換は、近隣ブロックのデコード済みデータの分析に依存しても良い。出力ビットストリーム１１１及び／又は入力ビットストリーム２０１は、ＰＨＴ変換のためのパーティション／ブロックサイズ、並びにどの方向の逆変換されるべき２ＤブロックにＰＨＴが用いられるか（他の方向はＤＣＴを用いる）に関する情報を伝達しても良い。純粋にＤＣＴにより符号化されたブロックでは、パーティション／ブロックサイズ情報は、出力ビットストリーム１１１及び／又は入力ビットストリーム２０１から読み出され、適切なサイズの逆ＤＣＴを適用するために用いられても良い。
デコーダ５００ｂの逆パーティショナサブシステム５８０ｂは、エンコーダ５００ａのパーティショナサブシステム５２０ａの動作の逆の動作を実行しても良く、２つの逆パーティショニングサブシステム、つまり符号化済みデータの逆パーティショニングを実行し得る符号化パーティションアセンブラモジュール２０５、及び予測のための逆パーティショニングを実行し得る予測パーティションアセンブラモジュール２０７を有しても良い。さらに、任意的な適応型ピクチャ編成モジュール１０４がエンコーダ５００ａにおいて領域セグメント化又はスライスについて用いられる場合、適応型ピクチャ再編成モジュール２１７は、デコーダにおいて必要であっても良い。
デコーダ５００ｂの予測デコーダサブシステム５３０ｂは、「インター」信号の予測を実行し得る特性及び動き補償済みフィルタリング予測モジュール２１３と、「イントラ」信号の予測を実行し得るイントラ方向予測生成モジュール２１４と、を有しても良い。特性及び動き補償済みフィルタリング予測モジュール２１３は、先ず（利得、大局的動き、整合性のような）他の差異源又は合成フレームの生成（超解像度、及び投影）を補償し、次に実際の動き補償をすることにより、予測可能性を増大させ得る。
デコーダ５００ｂのフィルタリングデコーダサブシステム５５０ｂは、エンコーダ５００ａにより送信されたパラメータに基づき再構成済みピクチャの複数のフィルタリングを実行しても良く、及び幾つかのサブシステムを有しても良い。第１の例示的なサブシステムであるデブロックフィルタリングモジュール２０８は、潜在的な符号化アーティファクトを低減又はマスクするために、デブロック及びディザしても良い。第２の例示的なサブシステムである品質分析及び品質復元フィルタリングモジュール２０９は、任意のビデオ符号化における量子化動作に起因するアーティファクトを低減するために、汎用品質復元を実行しても良い。第３の例示的なサブシステムである特性及び動き補償済みフィルタリング予測モジュール２１３は、コンテンツの動き特性（動き速度／ブラーの程度）に適応し得るフィルタを用いることにより動き補償から生じる結果を向上し得る。第４の例示的なサブシステムである予測統合フィルタリングモジュール２１６は、予測信号の適応型フィルタリングを可能にし（これは、多くの場合イントラ予測からの、予測における不要なアーティファクトを低減し得る）、それにより符号化される必要のある予測誤差を低減する。
デコーダ５００ｂの事後復元サブシステム５９０ｂは、デコード済みビデオの知覚品質の更なる向上を実行し得る任意的なブロックである。この処理は、エンコーダ１００により送信された品質向上パラメータに応答して行われるか、或いは、事後復元サブシステム５９０ｂにおいて単独で決定され得る。事後復元サブシステム５９０ｂにおいて品質を向上するために用いられ得るエンコーダ１００において計算された特定のパラメータに関して、（デブロッキング後であっても）エンコーダ１００におけるフィルム粒状ノイズ及び残差ブロッキネスの推定であっても良い。フィルム粒状ノイズに関して、パラメータが計算され出力ビットストリーム１１１及び／又は入力ビットストリーム２１０によりデコーダ２００へ送信できる場合、これらのパラメータは、フィルム粒状ノイズを合成するために用いられても良い。同様に、エンコーダ１００における任意の残差ブロッキングアーティファクトについて、それらが測定でき、出力ビットストリーム１１１及び／又はビットストリーム２０１により送信される場合、事後復元サブシステム５９０ｂは、これらのパラメータをデコードしても良く、それらを用いて表示する前に任意的に追加デブロッキングを実行しても良い。さらに、エンコーダ１００は、事後復元サブシステム５９０ｂにおける品質復元で有用であるシーン変化、空間複雑性、時間複雑性、動き範囲、及び予測距離情報へのアクセスを有しても良い。
サブシステム５３０ｂ乃至５９０ｂは図５Ｂのデコーダ５００ｂの特定の例示的な機能モジュールに関連して示されるが、本願明細書におけるデコーダ５００ｂの他の実装は、サブシステム５３０ｂ乃至５９０ｂの間のデコーダ５００ｂの機能モジュールの異なる分配を有しても良い。本開示はこれに関して限定されず、種々の例において、本願明細書における例示的なサブシステム５３０ｂ乃至５９０ｂの実装は、図示の特定の例示的なデコーダ５００ｂの機能モジュールの一部のみ、追加機能モジュール、及び／又は図示と異なる配置の取り組みを有しても良い。
図６は、本開示の少なくとも幾つかの実装により配置される例示的な次世代ビデオエンコーダ６００の説明図である。図６は、図１Ａ、１Ｂ及び５に示したものと類似のエンコーダを示し、簡単のために同様の要素は繰り返されない。図６に示すように、エンコーダ６００は、事前分析サブシステム６１０、パーティショナ１サブシステム６１９、パーティショナ２サブシステム６２１、変換エンコーダサブシステム６４０、逆パーティショナ１サブシステム６５１、フィルタリング１エンコーダサブシステム６５２、フィルタリング２エンコーダサブシステム６５３、予測１及びフィルタリング３エンコーダサブシステム６５４、予測２エンコーダサブシステム６５５、フィルタリング４エンコーダサブシステム６５６、エントロピーエンコーダサブシステム６６０、変換デコーダサブシステム６７０、及び／又は逆パーティショナ２サブシステム６８０、を有しても良い。
事前分析サブシステム６１０は、コンテンツ事前分析モジュール１０２及び／又は適応型ピクチャ編成モジュール１０４を有しても良い。パーティショナ１サブシステム６１９は、予測パーティション生成モジュール１０５を有しても良い。パーティショナ２サブシステム６２１は、符号化パーティション生成器１０７を有しても良い。変換エンコーダサブシステム６４０は、適応型変換モジュール１０８、及び／又は適応型量子化モジュール１０９を有しても良い。逆パーティショナ１サブシステム６５１は、予測パーティションアセンブラモジュール１１６を有しても良い。フィルタリング１エンコーダサブシステム６５２は、ブロッキネス分析及びデブロックフィルタリングモジュール１１７を有しても良い。フィルタリング２エンコーダサブシステム６５３は、品質分析及び品質復元フィルタリングモジュール１１８を有しても良い。予測１及びフィルタリング３エンコーダサブシステム６５４は、動き推定モジュール１２２、及び／又は特性及び動き補償済みフィルタリング予測モジュール１２３を有しても良い。予測２エンコーダサブシステム６５５は、イントラ方向予測分析及び予測生成モジュール１２４を有しても良い。フィルタリング４エンコーダサブシステム６５６は、予測分析及び予測統合フィルタリングモジュール１２６を有しても良い。エントロピーエンコーダサブシステム６６０は、適応型エントロピーエンコーダモジュール１１０を有しても良い。変換デコーダサブシステム６７０は、適応型逆量子化モジュール１１２、及び／又は適応型逆変換モジュール１１３を有しても良い。逆パーティショナ２サブシステム６８０は、符号化パーティションアセンブラモジュール１１４を有しても良い。
エンコーダ６００により示すように、圧縮されるべきビデオは、コンテンツ事前分析モジュール１０２に及び次に適応型ピクチャ編成器１０４に（一緒に事前分析サブシステム６１０として参照される）入力されても良い。コンテンツ事前分析モジュール１０２は、符号化されているシーンの分析を実行し、自身の出力で、シーン変化（scnchg）、時間複雑性（tpcpx）、空間複雑性（spcpx）、時間予測距離（pdist）、及びその他に関する情報を提供しても良い。さらに、コンテンツ事前分析モジュール１０２の出力における元のビデオフレームは、適応型ピクチャ編成器１０４に入力されても良い。適応型ピクチャ編成器１０４は、ピクチャグループ構造（pgst）、したがってグループ内の各ピクチャのピクチャ種類（ptyp）、並びに必要に応じてエンコード順に並び替えられたピクチャを示す制御信号を出力しても良い。参考までに、本開示のエンコードは、３つのピクチャ種類、つまりＩ−（イントラ）、Ｐ−（予測）、及びＦ−（functional、機能）ピクチャを用いても良い。Ｆピクチャは、因果関係を示さず（noncausal）、エンコーダにおけるエンコード（及びデコーダにおける表示）のためにフレームの並べ替えを必要とする。
エンコーダ６００内の次の２つのブロックは、予測及び符号化パーティショニング（一緒に、図５Ａのパーティショナサブシステム５２０ａとして参照される）を実行しても良い。本開示の符号化では、符号化されるべきフレームは、タイルと呼ばれる処理ユニットに分割されても良い。本開示における符号化は、２つのタイルサイズ、つまり３２ｘ３２及び６４ｘ６４をサポートできる。６４ｘ６４サイズのタイルは、標準定義、並びにＩ−、Ｐ−及びＦ−ピクチャ種類の符号化、全てのサイズのＩ−及びＦ−ピクチャの符号化のためのさらに大きなサイズのビデオで用いられても良い。一方、３２ｘ３２サイズのタイルは、低解像度シーケンスのＰピクチャのために用いられても良い。
符号化されているピクチャがＩ−ピクチャである場合、どのタイルも、予測パーティション生成モジュール１０５で、（最小サイズに達するまで）一度に１次元の空間を分割できるｋｄ木に基づくパーティションに更に分割され、更なる分割を有しない、二等分に分割、空間の１／４と３／４の２つの部分に分割、又は空間の３／４と１／４の２つの部分に分割されても良い。したがって、最大サイズとして６４ｘ６４を用いる（及び４ｘ４の最小サイズを許容する）Ｉ−ピクチャでは、他の制約が課されない場合、タイルの非常に多数のパーティショニングが生成され得る。例えば、６４ｘ６４タイルに課され得る制約は、各次元で空間を二分するために、カットの第１の対が既に予め決定されることである。これは、６４ｘ６４で開始し、３２ｘ３２サイズのサブタイルに分割し、次に各３２ｘ３２をｋｄ木パーティショニングにより更にパーティショニングすることを意味する。他の制約も、組合せ数を低減するために可能である。Ｉ−ピクチャタイルのこれらのパーティションは、各タイルパーティショニングが空間予測（方位角予測又は他の種類の予測）及び予測差分の符号化のために用いられ得るので、予測パーティションとして参照されても良い。同様に、Ｐ−ピクチャタイルも、この予測方法でパーティションされても良い。Ｐピクチャの場合の警告（caveat）は、低解像度では、Ｐ−ピクチャパーティションは３２ｘ３２タイルで開始し、ｋｄ木に基づくパーティションは用いられず、むしろもっと単純なｂｉ木パーティショニングが用いられても良いことである。ｂｉ木パーティショニングは、一度に１次元において空間の２個のみの等しい部分に分割し、２つの次元の間で交互にする。さらに、Ｐ−ピクチャパーティションは、空間予測ではなく、主に動き（１又は複数の参照を有する）を用いて予測されても良いが、幾つかのサブパーティションは、例えば覆われていない背景を取り扱うためにイントラ空間予測を用いても良い。標準定義からより大きなピクチャサイズまで、Ｐ−ピクチャは６４ｘ６４タイルサイズのみから開始しても良い。最後に、Ｆピクチャも、主に動き（１又は複数のパーティションを有する）を用いる予測パーティションを生成するために６４ｘ６４タイルサイズのｂｉ木パーティショニングを用いても良いが、幾つかのサブパーティションは（イントラ符号化のために）空間予測を用いても良い。本開示の符号化では、予測を生成するために単に動きベクトルを用いるより、インター予測の生成のために遙かに多くが存在し得る。Ｐ−及びＦ−ピクチャ符号化では、各サブパーティションの予測は、予測モード（スキップ、自動、インター、及びイントラ）を含むことにより識別されても良い。予測パーティション生成器１０５の出力は、文字どおり１つのタイルの数百の可能なパーティショニング（事実上課される制限に依存する）であっても良い。これらのパーティショニングは、１，．．．，ｍとインデックス付けされても良く、最適な可能な予測パーティショニングを選択するためにエンコード制御部１０３に提供されても良い。
パーティションされた元のブロックは、エンコードする価値のある残差信号が存在するかどうかを決定するために、予測ブロックとの差分を取られる（予測ブロックの生成の詳細は後述する）。したがって、予測は特定のサブパーティションについて十分なので、必ずしも１つのタイルの全てのサブパーティションが（変換符号化を用いて）符号化される必要はない。
予測のみにより補償できないパーティションは、変換符号化のために更に小さなパーティションへのサブパーティショニングを必要とし得る。Ｐ−及びＦ−ピクチャでは、符号化のためのこのサブパーティショニングは、更なる分割を必要とする予測差分パーティションの符号化のためにｂｉ木パーティショニングを用い得る符号化パーティション生成器１０７を用いて達成されても良い。他のものは、動き補償により単純に符号化されても良い。Ｐ−又はＦ−ピクチャでは、幾つかの例（非常に単純なコンテンツ及び／又は大きな量子化ステップサイズ）でのみ、符号化パーティションは、タイル全体のサイズに等しくても良い。このサイズは、これらの場合に予測パーティションにより用いられるのと同じサイズであっても良い。したがって、幾つかのＰ−及びＦ−ピクチャタイルは、符号化パーティショニングを含まず、１つの符号化パーティショニング又は複数の符号化パーティショニングを含んでも良い。これらのパーティショニングは、１，．．．，ｎとインデックス付けされても良く、所与の選択肢から予測及び符号化パーティショニングの最適な可能な組合せを選択するためにエンコード制御部１０３に提供されても良い。Ｉ−ピクチャタイルに関して、予測符号化、及びそれに続くそれ自体更なる符号化パーティショニングを有しない実際の変換符号化のみがあっても良い。言い換えると、符号化パーティショニングは、スキップされても良い。
次の２つのブロック（適応型変換モジュール１０８、及び適応型量子化モジュール１０８）、及び量子化適応を実行し得るエンコード制御部１０３の部分は、図５Ａで集合的にエンコーダサブシステム５４０として参照され、以下に記載される。
（Ｉ−ピクチャのための予測パーティション、及びＰ−及びＦ−ピクチャのための符号化パーティションの後に）パーティションは、長方形ブロックに対して順方向ハイブリッドＰＨＴ変換又は順方向ＤＣＴ変換を実行し得る適応型変換モジュール１０８で変換符号化を経験する。ＨＰＨＴ変換では、小乃至中ブロックサイズがサポートされ、一方、ＤＣＴ変換では多数のブロックサイズがサポートされ得る。パーティション／ブロックサイズの選択、並びに利用される変換（ＨＰＨＴ対ＤＣＴ）は、ＲＤＯ分析の結果に依存しても良い。ＨＰＨＴ変換では、特定のオーバーヘッドが、ＤＣＴが適用される方向、つまり水平又は垂直を識別するために必要である。一方で、ＰＨＴは、直交方向に、モードと共に適用されても良い（少なくともイントラ符号化では、モードはデコード済みピクセル又は予測差分ピクセルに基づいても良い）。特定のブロックを変換するために用いられる実際のＰＨＴ変換基準は、デコード済み近隣ピクセルに依存し得るので、コンテンツ適応型であって良い。エンコーダ１００及びデコーダ２００の両方が同じ基底行列の計算を必要とし得るので、選択すべき限られた数の（エンコーダ１００及びデコーダ２００の両方に）知られている良好な変換を可能にすることにより、計算の複雑性は低く保たれる。適応型量子化モジュール１０９に関し、適応型量子化モジュール１０９は、コンテンツの分析を実行して、局所的適応型量子化パラメータを見出しても良い。局所的適応型量子化パラメータは、次に、効率的に符号化されビットストリームに含まれても良いマルチレベルマップにより表されても良い。計算された量子化セット（qs、及び係数ブロックに適用される行列）は、係数のスケーリングを実行するために、適応型量子化モジュール１０９により用いられても良い。
デコーダへ送信される必要のある種々の信号及びデータアイテム、つまり、pgst、ptyp、prp、pptn、cptn、modes、reftype、ethp、xmtyp、xmdir、xmmod、idir、mv、qs、mop、syp、ddi、qri、api、fii、量子（quant）係数、及びその他は、次に、集合的にエントロピーエンコーダサブシステム６６０として参照される異なるエントロピー符号器を含み得る適応型エントロピーエンコーダ１１０によりエントロピーエンコードされても良い。
エンコーダ６００は、ローカルデコードループを有しても良い。ＲＤＯがどのように動作するかに依存して、１つのタイルの数百以上のパーティショニングの必ずしも全部が、完全に符号化される必要はない（ビット数を調べることで十分である場合が多い）。しかしながら、タイルの最適なパーティショニングが決定された後に、この場合に確実に、完全符号化が必要であっても良い。デコードループの中の最初の２つのユニットは、適応型逆量子化モジュール１２２、及び適応型逆変換モジュール１１３（集合的に、変換デコーダサブシステム６７０として参照される）であり得る。適応型逆量子化モジュール１１２の動作は、適応型量子化モジュール１０９の反対であり、基本的にスケーリングされた変換係数を逆スケーリングし得る（不可逆処理）。さらに、適応型逆変換モジュール１１３は、逆量子化済み変換係数ブロックを逆変換して、再構成済み予測差分ピクセルのブロックを生成しても良い。Ｐ−及びＦ−ピクチャでは、デコード済み差分ブロックは、正しい順序で符号化パーティションアセンブラ１１４により再アセンブルされても良い。Ｉ−ピクチャタイルパーティショニングでは、符号化パーティション再アセンブル処理は、スキップされても良い。次に、ローカルデコードループにおいて、予測信号（インター又はイントラ）は、加算器１１５を用いてデコード済みパーティションに追加されても良く、加算器１１５の出力における再構成済みパーティションは、予測パーティションアセンブラ１１６によりアセンブされても良い。
次のステップセットは、フィルタリング、並びにフィルタリングと予測生成の混合を有しても良い。具体的には、再構成済みパーティションは、ブロッキネス分析及びデブロックフィルタリングモジュール１１７によりデブロック及びディザされても良く、分析のためのパラメータddiは、フィルタリング動作のために用いられても良く、符号化されてビットストリームによりデコーダへ送信されても良い。デブロックされた再構成（recon）出力は、次に、ＱＲフィルタリングパラメータを計算しそれらをフィルタリングのために使用し得る品質分析及び品質復元フィルタリングモジュール１１８に渡されても良い。これらのパラメータも、符号化され、ビットストリームによりデコーダへ送信されても良い。ＱＲフィルタされた出力は、将来のフレームを符号化するための予測として用いることができる最終再構成済みフレームであっても良い。
図５Ａの予測エンコーダサブシステム５３０ｂとして示す予測処理は、インター予測及びイントラ予測のための２つの主要なサブシステムを有し得る。本開示は、ローカルバッファ／予測ピクチャを生成するために、幾つかの種類のモーフィングを用いることができる。これは、動き補償された予測の前に、利得、支配的な動き、整合性、及び／又はブラーの補償を可能にし、並びに、動き補償された予測が高利得をもたらすことができる幾つかの種類の合成フレーム（特に、超解像度（Super Resolution：ＳＲ）ピクチャ、ＰＩ（Projected Interpolation）ピクチャ）を可能にする。モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０は、符号化されるべき参照フレームに対する、利得の変化、支配的な動きの変化、整合性の変化、及びブラーの変化についてのパラメータを計算することにより、現在ピクチャの分析のタスクを実行しても良い。計算されたmopパラメータは、量子化され／逆量子化されて、現在フレームの効率的な動き（及び特性）補償された予測の動きベクトルを計算する動き推定器により用いられ得るモーフィング済み参照フレームを生成するために用いられても良い。同様に、合成分析及び合成ピクチャ生成１２１は、これらのフレームにおける効率的な動き補償された予測の動きベクトルを計算する動き推定器により使用される動きのＳＲピクチャ及びＰＩピクチャを生成する分析のタスクを実行しても良い。
留意すべき１つの興味深い点は、予測１及びフィルタリング３エンコーダサブシステム６５４がフィルタリングと予測を結びつけることができる点である。このフィルタリングパラメータapiは、符号化され、ビットストリームによりデコーダへ送信されても良い。留意すべきもう１つの点は、予測２エンコーダサブシステム６５５が、空間方向予測を参照し、デコード済みの近隣パーティションを用いること、並びに、ここで方向の分析と方向の実際の生成の両方が行われるので、ここではイントラ方向予測分析及び予測生成モジュール１２４として表されることである。
予測モード及び参照種類分析器１２５は、タイルの各パーティション毎に、「スキップ（skip）」、「自動（auto）」、「インター（inter）」、「マルチ（multi）」、「イントラ（intra）」の中からの予測モードの選択を可能にし、それらの全てはＰ−及びＦ−ピクチャに適用する。これを以下の表１に示す。予測モードに加えて、「インター」又は「マルチ」モード並びにＰ−及びＦ−ピクチャに依存して異なり得る参照種類の選択も可能にする。参照種類の詳細なリストをＰ−ピクチャについて表２（ａ）及び２（ｂ）に、Ｆ−ピクチャについて表３（ａ）、３（ｂ）、３（ｃ）及び３（ｄ）に示す。
以下に示す表１乃至３（ｄ）は、コードブックエントリの一例を示す。エントリの完全なコードブックは、全ての可能なエントリ及びその符号化の完全な又は実質的に完全なリストを提供し得る。幾つかの例では、コードブックは、上述の制約を考慮に入れても良い。幾つかの例では、予測モード及び／又は参照種類のコードブックエントリに関連するデータは、本願明細書で議論するようにデコーダでの使用のためにビットストリーム内にエンコードされても良い。
［表１］Ｐ−及びＦ−ピクチャのパーティションの予測モード
Figure 2016509764
［表２（ａ）］Ｐ−ピクチャにおける「インター」モードを有するタイルのパーティションの参照種類
Figure 2016509764
［表２（ｂ）］Ｐ−ピクチャにおける「インター」モードを有するタイルのパーティションの参照種類
Figure 2016509764
［表３（ａ）］Ｆ−ピクチャにおける「インター」モードを有するタイルのパーティションの参照種類
Figure 2016509764
［表３（ｂ）］Ｆ−ピクチャにおける「マルチ」モード及びDir０を有するタイルのパーティションの参照種類
Figure 2016509764
［表３（ｃ）］Ｆ−ピクチャにおける「マルチ」モード及びDir１を有するタイルのパーティションの参照種類
Figure 2016509764
［表３（ｄ）］Ｆ−ピクチャにおける「マルチ」モード及びDir２を有するタイルのパーティションの参照種類
Figure 2016509764
予測モード及び参照種類分析器１２５の出力における予測信号は、予測統合分析及びフィルタ生成モジュール１２６（フィルタリング４エンコーダサブシステム６５６）によりフィルタリングされても良い。予測統合分析及びフィルタ生成モジュール１２６は、先ずこのフィルタリングに使用するパラメータ（フィルタリング係数、周波数、オーバーヘッド）を決定し、次にこのフィルタリングを実際に実行し得る。予測信号のフィルタリングの目的は、異なるモード、つまり、イントラ、インター、マルチ、スキップ、及び自動を表す異なる種類の信号を統合することである。標準的に、イントラ予測信号は、全ての他の種類のインター信号とは非常に異なって見えるので、適正なフィルタリングは、符号化効率に大きな貢献をもたらし得る。フィルタリングパラメータｆｉｉは、デコーダによる使用のためにビットストリーム内にエンコードされても良い。フィルタリング済み予測は、前述の符号化のための予測差分信号を計算する差分器への第２の入力を形成する。また、同じフィルタリング済み予測信号は、加算器１１５への第２の入力を形成する。加算器１１５の第１の入力は、量子化済み／逆量子化済みデコード済み差分信号であっても良い。
最後に、適応型エントロピーエンコーダ６６０は、様々な種類の制御データ／信号、パラメータ、モード及び参照種類、動きベクトル、並びに変換係数をエンコードするために用いられても良い。これは、一般的なクラスの、適応型可変長符号器（variable length coder：ｖｌｃ）と呼ばれる複雑さの少ないエントロピー符号器に基づく。エントロピー符号化されるべきデータは、幾つか（本開示の幾つかの態様では７個）のカテゴリに分けられても良く、各カテゴリ毎に、一般的なｖｌｃ符号器から開始して、専用符号器が開発されても良い。
サブシステム６１０乃至６８０は図６のエンコーダ６００の特定の例示的な機能モジュールに関連して示されるが、本願明細書におけるエンコーダ６００の他の実装は、サブシステム６１０乃至６８０の間のエンコーダ６００の機能モジュールの異なる分配を有しても良い。本開示はこれに関して限定されず、種々の例において、本願明細書における例示的なサブシステム６１０乃至６８０の実装は、図示の特定の例示的なエンコーダ６００の機能モジュールの一部のみ、追加機能モジュール、及び／又は図示と異なる配置の取り組みを有しても良い。
図７は、本開示の少なくとも幾つかの実装により配置される例示的な次世代ビデオデコーダ７００の説明図である。図７は、図２に示したものと類似のデコーダを示し、簡単のために同様の要素は繰り返されない。図７に示すように、デコーダ７００は、エントロピーデコーダサブシステム７６０、変換デコーダサブシステム７７０、逆パーティショナ２サブシステム７８０、逆パーティショナ１サブシステム７５１、フィルタリング１デコーダサブシステム７５２、フィルタリング２デコーダサブシステム７５３、予測１及びフィルタリング３デコーダサブシステム７５４、予測２デコーダサブシステム７５５、フィルタリング４デコーダサブシステム７５６、及び／又は事後復元サブシステム７９０を有しても良い。エントロピーデコーダサブシステム７６０は、適応型エントロピーデコーダモジュール２０２を有しても良い。変換デコーダサブシステム７７０は、適応型逆量子化モジュール２０３、及び／又は適応型逆変換モジュール２０４を有しても良い。逆パーティショナ２サブシステム７８０は、符号化パーティションアセンブラ２０５を有しても良い。逆パーティショナ１サブシステム７５１は、予測パーティションアセンブラ２０７を有しても良い。フィルタリング１デコーダサブシステム７５２は、デブロックフィルタリングモジュール２０８を有しても良い。フィルタリング２デコーダサブシステム７５３は、品質復元フィルタリングモジュール２０９を有しても良い。予測１及びフィルタリング３デコーダサブシステム７５４は、特性及び動き補償されたフィルタリング予測モジュール２１３を有しても良い。予測２デコーダサブシステム７５５は、イントラ方向予測生成モジュール２１４を有しても良い。フィルタリング４デコーダサブシステム７５６は、予測統合フィルタリングモジュール２１６を有しても良い。事後復元サブシステム７９０は、コンテンツ事後復元モジュール２１８、及び／又は適応型ピクチャ再編成器２１７を有しても良い。
このデコーダ７００の全体的な動作は、前述のエンコーダ６００におけるローカルデコードループと同様であっても良いが、留意すべきことに、デコーダにおける動き補償デコードループは、パラメータがビットストリーム２０１によりデコーダ７００へ実際に送信できるので、パラメータを決定するために分析を要するコンポーネントを必要としない。デコードされるべきビットストリームは、ヘッダ、制御信号及びエンコード済みデータをデコードする適応型エントロピーデコーダモジュール２０２に入力されても良い。例えば、適応型エントロピーデコーダモジュール２０２は、ptyp、pgst、prp、pptn、cptn、ethp、mop、syp、mod、reftyp、idir、qs、xmtyp、xmdir、xmmod、ddi、qri、api、fii、mv、及びオーバーヘッドに貢献する量子化済み変換係数、並びにデコーダ全体を通じて使用のために分配され得る制御信号及びデータをデコードする。量子化済み変換係数は、次に、デコード済みピクセル差分の方形パーティションを生成するために、適応型逆量子化モジュール２０３により逆量子化されても良い。デコード済みピクセル差分の方形パーティションは、使用される符号化パーティショニング毎にアセンブルされ、予測を加算されて再構成済み（recon）符号化済みパーティションの生成をもたらし得る。再構成済み（recon）符号化済みパーティションは、動きパーティショニングにより更に解体されて、再構成済みタイル及びフレームを生成する。再構成済みタイル及びフレームは、デブロックフィルタリングモジュール２０８において、デコード済みddiパラメータを用いてデブロッキング及びディサリングされ、その後に品質復元フィルタリングモジュール２０９において、デコード済みqriパラメータを用いて品質復元フィルタリングされる。これは、最終再構成済み（recon）フレームを生成する処理である。最終再構成済み（recon）フレームは、デコード済みmopパラメータを適用することにより生成されたモーフィング済みピクチャ／ローカルバッファを用いて、デコード済みピクチャバッファ２１０に保存されても良い。同様に合成済みピクチャバッファは、デコード済みピクチャバッファ２１０にデコード済みsypパラメータを適用することにより生成され得る。モーフィング済みローカルバッファ、及び合成済みフレームは、apiパラメータに基づく適応型精密（adaptive precision：ＡＰ）フィルタリングを用い及びデコード済みethp信号に依存して１／４又は１／８ｐｅｌ予測を続ける動き補償された予測のために用いられても良い。実際に、modに依存する特性及び動きＡＰフィルタ１／４及び１／８ｐｅｌ補償済み予測子（Char & Motion AP Filt １／４&１／８pel Compensated Predictor）は、「インター」、「マルチ」、「スキップ」又は「自動」パーティションを生成する。一方で、イントラ方向予測生成モジュール２１４は、「イントラ」パーティションを生成し、予測モード選択モジュール２１５は、通過すべき正しいモードのパーティションを可能にし得る。次のステップは、加算器２０６への第２の入力において必要に応じて予測をフィルタ及び出力するために、予測統合フィルタリングモジュール２１６の選択的な使用を含む。
品質復元フィルタリングモジュール２０９の出力における再構成（recon）フレームは、ptyp及びpgstの制御パラメータに応答して、適応型ピクチャ再編成器２１７により（Ｆフレームは順序が狂っているので）並べ替えられても良い。さらに、適応型ピクチャ再編成器２１７の出力は、エンコーダにより送信されたprpパラメータにより制御され得るコンテンツ事後復元器２１８において任意の処理を行われても良い。特にこの処理は、デブロッキング及びフィルム粒状性追加を含む。
サブシステム７５１乃至７９０は図７のデコーダ７００の特定の例示的な機能モジュールに関連して示されるが、本願明細書におけるデコーダ７００の他の実装は、サブシステム７５１乃至７９０の間のデコーダ７００の機能モジュールの異なる分配を有しても良い。本開示はこれに関して限定されず、種々の例において、本願明細書における例示的なサブシステム７５１乃至７９０の実装は、図示の特定の例示的なデコーダ７００の機能モジュールの一部のみ、追加機能モジュール、及び／又は図示と異なる配置の取り組みを有しても良い。
図８は、本開示の少なくとも幾つかの実装に従って配置された予測パーティショニングのための例示的なタイル又はスーパーフラグメントを有する例示的なビデオフレーム８１０を示す。ビデオフレーム８１０は、任意の適切なビデオ画像、フレーム、ピクチャ、又は符号化のためのデータ等を有しても良い。図示の例では、ビデオフレーム８１０は、説明を目的として、「Ｆｌｏｗｅｒ」テストシーケンスからのビデオフレームを有する。上述のように、ビデオフレーム８１０は、フレーム部分（例えば、タイル又はスーパーフラグメント）にセグメント化されても良い。フレーム部分は、次に、以下に詳述するように、パーティショニングされても良い。ビデオフレーム８１０は、任意の適切な技術又は複数の技術を用いてフレーム部分に分割されても良い。幾つかの例では、ビデオフレーム８１０は、タイル８２０−１乃至８２０−３０がパーティショニングのためのビデオフレーム部分になるように、タイル境界３３０によりタイル８２０−１乃至８２０−３０に分割されても良い（図８では、提示の明確性のために必ずしも全てのタイルがラベル付けされない）。ビデオフレーム８１０は、任意の数のタイル８２０を含んでも良く、タイル８２０は任意のサイズであっても良い。幾つかの例では、タイル８２０は６４ｘ６４ピクセルであっても良い。さらに、タイル８２０は任意の形を有しても良い。様々な例において、タイル８２０は正方形又は長方形であっても良い。また、図示のように、タイル８２０はフレーム８１０内の異なる形及びサイズであっても良い。例えば、タイル８２０−３は正方形で６４ｘ６４ピクセルであっても良く、タイル８２０−１２は長方形で３２ｘ６４ピクセルであっても良く、タイル８２０−３０は正方形で３２ｘ３２ピクセルであっても良い、等である。
他の例では、パーティショニングのためのビデオフレーム部分は、スーパーフラグメントであっても良い。例えば、スーパーフラグメントを決定するために、ビデオフレーム８１０は、１又は複数の領域レイヤにセグメント化されても良い。セグメント化は、任意の精度（例えば、ピクセル解像度）で実行され、ビットコストの観点で効率制約に基づき任意の解像度に量子化されても良い。例えば、セグメント化は、４ｐｅｌ、８ｐｅｌ、又は１６ｐｅｌ精度（例えば、４ピクセル、８ピクセル、又は１６ピクセルの精度）等で実行されても良い。図１０を参照すると、ビデオフレームの領域レイヤへのセグメント化が示される。
図１０は、本開示の少なくとも幾つかの実装により配置される例示的な領域レイヤセグメント化を示す。図１０に示すように、ビデオフレーム８１０は、１又は複数の領域レイヤにセグメント化されても良い。図１０の図示の例では、ビデオフレーム８１０は、２つの領域レイヤ、つまり領域レイヤ１０１０及び領域レイヤ１０２０にセグメント化されても良い。図１０では、領域レイヤ１０１０は、マークされていないビデオフレームセグメントを有し、領域レイヤ１０２０は点がマークされたビデオフレームセグメントを有する。例えば、領域レイヤ１０１０は、ビデオフレーム８１０の背景部分を表しても良く、領域レイヤ１０２０は、ビデオフレーム８１０の前景部分を表しても良い。幾つかの例では、領域レイヤは、シーンの前景、背景、及び中景（又は複数の中景）等を表しても良い。幾つかの例では、ビデオフレーム８１０は、単一の領域レイヤを有しても良い。幾つかの例では、ビデオフレーム８１０は、３、４、５又はそれより多くの領域レイヤを有しても良い。幾つかの例では、ビデオフレーム８１０のセグメント化は、予測パーティション生成モジュール１０５により実行されても良い（図１を参照）。幾つかの例では、ビデオフレーム８１０のセグメント化は、適応型ピクチャ編成器１０４と予測パーティション生成器１０５との間に挿入される別のモジュール（例えば、タイル又はスーパーフラグメント生成モジュール）により実行されても良い。幾つかの例では、ビデオフレーム８１０のセグメント化は、適応型ピクチャ編成モジュール１０４（又は、例えば、適応型ピクチャ編成モジュール１０４のタイル又はスーパーフラグメント生成モジュール）により実行されても良い。セグメント化は、任意の適切な技術又は複数の技術を用いて実行されても良い。幾つかの例では、セグメント化は、シンボル−ラン（symbol-run）符号化技術を有しても良い。
さらに、領域境界（例えば、領域レイヤ１０１０と領域レイヤ１０２０の間の境界、等）は、エンコーダ１００及び／又はデコーダ２００において使用するために符号化されても良い。領域境界符号化は、任意の適切な技術又は複数の技術を用いて実行されても良い。幾つかの例では、領域境界符号化は、シンボル−ラン（symbol-run）符号化技術を有しても良い。幾つかの例では、領域境界符号化は、タイルグリッド上で領域境界を近似するコードブックを生成することを有しても良い。例えば、タイルグリッド（図８のタイル８２０に対応しても良く、対応しなくても良い）は、３２ｘ３２又は６４ｘ６４ピクセル等のサイズを有する等間隔のタイルグリッドであっても良い。
図８に戻ると、領域レイヤ１０１０及び領域レイヤ１０２０は、ビデオフレーム８１０の像をぼかすことにより領域レイヤ１０２０が示されるように、及びビデオフレーム８１０の像をぼかさないことにより領域レイヤ１０１０が示されるように、示される。さらに、上述のように、ビデオフレームは、タイル８２０−１乃至８２０−３０に分割されても良い。幾つかの例では、パーティショニングのためのフレーム部分は、図９に示すように、タイルの個々の領域レイヤ部分を含むスーパーフラグメントを有しても良い。
図９は、本開示の少なくとも幾つかの実装に従って配置された、例示的なビデオフレーム８１０の１行のタイル８２０−１３乃至８２０−１８の例示的なスーパーフラグメント９０１乃至９１１を示す。図示のように、スーパーフラグメント９０１乃至９１１は、領域レイヤ内のタイルの部分を有しても良い。例えば、スーパーフラグメント９０１は、領域レイヤ１０１０の中のタイル８２０−１３の部分を有しても良く、スーパーフラグメント９０２は、領域レイヤ１０２０の中のタイル８２０−１３の部分を有しても良く、スーパーフラグメント９０３は、領域レイヤ１０１０の中のタイル８２０−１４の部分を有しても良い、等である。図示のように、スーパーフラグメントは、（記載のセグメント化動作の精度によってのみ制限される）実質的に任意の形及びサイズを有しても良い。例えば、スーパーフラグメント９０３、９１０及び９１１は、それぞれタイル８２０−１４、８２０−１７及び８２０−１８の全体であっても良く、これらのスーパーフラグメントはそれら個々のタイルと同じ形であっても良い。さらに、スーパーフラグメント９０１及び９０４乃至９０９は、種々の可能な形を示すが、多くの他の形も可能である。さらに、スーパーフラグメント９０４は、スーパーフラグメントが連続的である必要がないことを示す。
図１１Ａ及び１１Ｂは、本開示の少なくとも幾つかの実装に従って配置された、領域レイヤ１１２０、１１３０、１１４０にセグメント化された、及びタイル１１５０ａ乃至１１５０ｄに従ってスーパーフラグメント１１６１乃至１１６９にパーティショニングされた、例示的なビデオフレーム１１１０を示す。図１１Ａに示すように、及び以上に議論したように、ビデオフレーム１１１０（提示の明確性のためにビデオフレームの一部が示される）は、以上に議論したように、例えばパーティション生成モジュール１０５又は適応型ピクチャ編成モジュール１０４によるシンボル−ラン符号化のような任意の適切な技術を用いて領域レイヤ１１２０、１１３０、１１４０にセグメント化されても良い。幾つかの例では、領域レイヤ１１２０、１１３０、１１４０は、シーンの前景、背景、及び中景等を表しても良い。図１１Ｂに示すように、領域レイヤ１１２、１１３０、１１４０は、上述のようにビデオフレーム１１１０に対して定められ得るタイル１１５０ａ乃至１１５０ｄ（例えば、ビデオフレーム１１１０は、タイル１１５０ａ乃至１１５０ｄに分割されても良い）にオーバレイされ又はそれと結合されて、スーパーフラグメント１１６１乃至１１６９を定め、スーパーフラグメント１１６１乃至１１６９の各々が領域レイヤの中の又はその範囲内の部分を有するようにしても良い。
例えば、スーパーフラグメント１１６１は領域レイヤ１１２０の中の又はその範囲内のタイル１１５０ａの部分を有しても良く、スーパーフラグメント１１６２は領域レイヤ１１３０の中の又はその範囲内のタイル１１５０ａの部分を有しても良く、スーパーフラグメント１１６３は領域レイヤ１１２０の中の又はその範囲内のタイル１１５０ｂの部分を有しても良く（例えば、タイル１１５０ｂの全部）、スーパーフラグメント１１６４は領域レイヤ１１３０の中の又はその範囲内のタイル１１５０ｃの部分を有しても良く、スーパーフラグメント１１６５は領域レイヤ１１２０の中の又はその範囲内のタイル１１５０ｃの部分を有しても良く、スーパーフラグメント１１６６は領域レイヤ１１４０の中の又はその範囲内のタイル１１５０ｃの部分を有しても良く、スーパーフラグメント１１６７は領域レイヤ１１３０の中の又はその範囲内のタイル１１５０ｄの部分を有しても良く、スーパーフラグメント１１６８は領域レイヤ１１２０の中の又はその範囲内のタイル１１５０ｄの部分を有しても良く、スーパーフラグメント１１６９は領域レイヤ１１４０の中の又はその範囲内のタイル１１５０ｄの部分を有しても良い。留意すべきことに、図１１Ｂでは、スーパーフラグメント境界は、領域レイヤ境界を表す実線とタイル境界を表す破線との両方により定められる。
上述のように、フレーム部分は、ビデオフレームをタイルに分割することにより又はスーパーフラグメントを定めることにより、定められても良い。幾つかの例では、タイルの使用は単純さの利点を提供でき、一方で、スーパーフラグメントは、より複雑であり得るが、拡張インター若しくはイントラ予測又は画像拡張の利点を提供できる。いずれの場合にも、フレーム部分は、本願明細書で議論するようにパーティショニングされても良い。
以下に詳述するように、ビデオフレーム８１０のタイル又はスーパーフラグメントへのセグメント化は、予測パーティション生成モジュール１０５（又は、例えば、予測パーティション生成モジュールのタイル又はスーパーフラグメント生成モジュール）、適応型ピクチャ編成器１０４と精密パーティション生成器１０５との間に挿入された別のモジュール（例えば、タイル又はスーパーフラグメント生成モジュール）により、又は適応型ピクチャ編成モジュール１０４（又は、例えば、適応型ピクチャ編成モジュール１０４のタイル又はスーパーフラグメント生成モジュール）により、実行されても良い。
図１２Ａ及び１２Ｂは、本開示の少なくとも幾つかの実装に従って配置された、例示的なエンコーダサブシステム１２００及び１２１０の説明図である。幾つかの例では、エンコーダサブシステム１２００又は１２１０は、図１に示すようにエンコーダ１００により実装されても良い。図１２Ａに示すように、エンコーダサブシステム１２００は、上述のように、精密パーティション生成モジュール１０５を有しても良い。図示のように、幾つかの例では、精密パーティション生成モジュール１０５は、本願明細書で議論するようなタイル又はスーパーフラグメントを生成し得るタイル又はスーパーフラグメント生成モジュール１２０１を有しても良い。
図１２Ｂに示すように、エンコーダサブシステム１２１０は、適応型ピクチャ編成器１０４（幾つかの実装では、エンコーダサブシステム１２１０の一部と考えられなくても良い）と精密パーティション生成器１０５との間に実装される別個のタイル又はスーパーフラグメント生成モジュール１２０１を有しても良い。他の例では、別個のタイル又はスーパーフラグメント生成モジュール１２０１は、適応型ピクチャ編成器１０４により実装されても良く、適応型ピクチャ編成器１０４はエンコーダサブシステムの一部と考えられても良い。
上述のように、幾つかの例では、スーパーフラグメントは符号化されても良い。幾つかの例では、スーパーフラグメントは、近隣ブロックが同じ領域に属する可能性が高いとき、１次元（１Ｄ）スキャンに沿って近隣ブロック間の相関を利用し得るシンボル−ラン符号化により符号化されても良い。他の例では、フレーム部分境界を、３２ｘ３２ピクセル又は６４ｘ６４ピクセル等の等間隔の又は実質的に等間隔のタイルグリッド上で近似するために、コードブックが用いられても良い。このような例では、各タイルを通る主要な境界は、コードブックから利用可能な最も近いパターンで近似されても良く、該パターンに対応するコードは、デコーダによる使用のためにビットストリームに含まれても良い。幾つかの例では、このような境界の提示は、ビットコストを最小化するために、不可逆であっても良い。
種々の実装において、フレーム部分（例えば、タイル又はスーパーフラグメント）は、予測パーティション生成モジュール１０５により生成され、又はそれへ送信されても良い。予測パーティション生成モジュール１０５は、ｂｉ木パーティション生成モジュール１２０２及びｋｄ木パーティション生成モジュール１２０３を有しても良い。図示のように、フレーム部分は、スイッチ１２０４、１２０５の動作に依存して、ｂｉ木パーティション生成モジュール１２０２又はｋｄ木パーティション生成モジュール１２０３に入力されても良い。幾つかの例では、スイッチ１２０４、１２０５は、フレーム部分のフレームのピクチャ種類に基づき動作しても良い。例えば、フレームがＩ−ピクチャである場合、受信したフレーム部分は、スイッチ１２０４、１２０５によりｋｄ木パーティション生成モジュール１２０３に入力されても良い。例えば、フレームがＰ−又はＦ／Ｂ−ピクチャである場合、受信したフレーム部分は、スイッチ１２０４、１２０５によりｂｉ木パーティション生成モジュール１２０２に入力されても良い。他の例では、スイッチ１２０４、１２０５は、受信したフレーム部分の特性に基づき動作しても良い。例えば、期待される量のフレーム部分のイントラブロックが閾より大きい場合、フレーム部分はｋｄ木パーティション生成モジュール１２０３に入力されても良く、期待される量のフレーム部分のイントラブロックが閾より小さい場合、フレーム部分はｂｉ木パーティション生成モジュール１２０２に入力されても良い。種類の例において、閾は、予め定められても良く、又は発見的に決定される等しても良い。
図示のように、（スイッチ１２０５により制御される）予測パーティション生成モジュール１０５の出力は、差分器１０６に入力されても良い。差分器１０６では、図１に関して上述したように処理が続いて、差分器１０６への第２の入力は、予測統合分析及び予測統合フィルタリングモジュール１２６の出力であり、差分器１０６の出力（例えば、予測誤差データパーティション又は残差等）は、本願明細書に議論されるように、スイッチ１０７ａ、１０７ｂにより制御されるように、符号化パーティション生成器１０７に任意で入力されるようにしても良い。幾つかの例では、Ｆ／Ｂ−ピクチャ又はＰ−ピクチャにおけるインター予測で、予測誤差データパーティションは、（例えば、ｂｉ木パーティショニング技術による）符号化パーティションへの更なるパーティショニングのために、符号化パーティション生成モジュール１０７へ送信されても良い。幾つかの例では、Ｉ−ピクチャにおけるイントラ予測で、予測誤差データパーティション（又は元のピクセルデータ）は、符号化パーティション生成モジュール１０７をバイパスして、（例えば、適応型変換モジュール１０８による）変換符号化の前に更なるパーティショニングが実行されないようにしても良い。このような例では、フレーム部分（例えば、タイル又はスーパーフラグメント）は、１回のみパーティショニングされても良く、このようなパーティションは、文脈に依存して、予測パーティション又は符号化パーティション又はそれらの両者として記載されても良い。例えば、予測パーティション生成器から出力されるとき、このようなパーティションは、（それらは予測のために使用されるので）予測パーティションと考えられる。一方で、適応型変換モジュール１０８では、このようなパ―ティションは、（このようなパ―ティションは変換符号化されているので）符号化パーティションと考えられる。
図１３は、本開示の少なくとも幾つかの実装により配置される例示的なデコーダサブシステム１３００の説明図である。幾つかの例では、デコーダサブシステム１３００は、図２に示すようにデコーダ２００により実装されても良い。図１３に示すように、デコーダサブシステム１３００は、符号化パーティションアセンブラモジュール２０５を有しても良い。符号化パーティションアセンブラモジュール２０５は、スイッチ２０５ａ、２０５ｂにより制御されるように、適応型逆変換モジュール２０４（図示しない、図２を参照）からの入力を任意で受信しても良い。符号化パーティションアセンブラモジュール２０５の出力又はバイパスされたデータ（例えば、予測誤差データパーティション）は、加算器２０６への入力として供給されても良い。上述のように、幾つかの例では、予測誤差データパーティションは、（例えば、Ｉ−ピクチャのイントラ予測において）更なるパーティショニングを有しないで変換エンコードされても良く、符号化パーティションアセンブラモジュール２０５はバイパスされても良い。幾つかの例では、予測誤差データパーティションは、変換符号化のために符号化パーティションに更にパーティショニングされても良く、符号化パーティションアセンブラモジュール２０５は、このような符号化パーティションを予測誤差データパーティションにアセンブルしても良い。
加算器２０６への第２の入力（例えば、デコード済み予測パーティション）は、図２に関して上述したように、予測統合フィルタリングモジュール２１６の出力から供給されても良い。図示のように、デコーダサブシステム１３００は、予測パーティションアセンブラモジュール２０７を更に有しても良い。予測パーティションアセンブラモジュール２０７は、ｂｉ木パーティションアセンブラモジュール１３０１と、ｋｄ木パーティションアセンブラモジュール１３０２と、を有しても良い。加算器２０６の出力（例えば、再構成済み予測パーティション）は、スイッチ１３０４、１３０５の制御に基づき、ｂｉ木パーティションアセンブラモジュール１３０１又はｋｄ木パーティションアセンブラモジュール１３０２に入力されても良い。例えば、（例えば、エンコーダにおいて実行されるパーティショニングの種類に応じて、）ｂｉ木パーティションは、フレーム部分へのアセンブルのために、ｂｉ木パーティションアセンブラモジュール１３０１に入力されても良く、ｋｄ木パーティションは、フレーム部分へのアセンブルのためにｋｄ木パーティションアセンブラモジュール１３０２に入力されても良い。
図示のように、幾つかの例では、予測パーティションアセンブラモジュール２０７は、タイル又はスーパーフラグメントアセンブラモジュール１３０３を有しても良い。タイル又はスーパーフラグメントアセンブラモジュール１３０３は、アセンブル済みフレーム部分（例えば、タイル又はスーパーフラグメント）をビデオフレームにアセンブルするよう構成されても良い。パーティションアセンブラモジュール２０７の出力ビデオフレームは、本願明細書で議論する更なる処理のために、デブロックフィルタリングモジュール２０８（図示しない、図２を参照）に入力されても良い。他の例では、タイル又はスーパーフラグメントアセンブラモジュール１３０３は、予測パーティションアセンブラモジュール２０７とデブロックフィルタリングモジュール２０８（図２を参照）との間に別個に実装されても良い。
図１４は、本開示の少なくとも幾つかの実装により配置される変更された予測参照ピクチャ１４００の説明図である。図示のように、品質分析及び品質復元フィルタリングの出力は、他のフレームを符号化するための予測に用いられ得る最終再構成済みフレームであっても良い（例えば、最終再構成済みフレームは、参照フレーム等であっても良い）。
ＮＧＶ符号器（例えば、エンコーダ１００及び／又はデコーダ２００）の提案の実装は、モーフィング済み予測参照１４２８乃至１４３８（ＭＲ０乃至３）及び／又は合成済み予測参照１４１２及び１４４０乃至１４４６（Ｓ０乃至Ｓ３、ＭＲ４乃至７）の組合せを用いたＰ−ピクチャ符号化を実施しても良い。ＮＧＶ符号化は、Ｉ−ピクチャ、Ｐ−ピクチャ、及びＦ／Ｂ−ピクチャとして参照される３つのピクチャ種類の使用を有する。図示の例では、符号化されるべき現在ピクチャ（Ｐ−ピクチャ）は、時間ｔ＝４において示される。符号化中、ＮＧＶ符号器（例えば、エンコーダ１００及び／又はデコーダ２００）の提案の実装は、４個の前のデコード済み参照Ｒ０ １４１２、Ｒ１ １４１４、Ｒ２ １４１６、及びＲ３ １４１８を用いても良い。単にこれらの参照を予測のために直接使用し得る他のソリューションと異なり、ＮＧＶ符号器（例えば、エンコーダ１００及び／又はデコーダ２００）の提案の実装は、このような前のデコード済み参照から変更された（モーフィング済み又は合成済み）参照を生成し、次に、このように生成した変更済み（モーフィング済み又は合成済み）参照に基づき、動き補償された符号化を用いても良い。
以下に詳述するように、幾つかの例では、ＮＧＶ符号器（例えば、エンコーダ１００及び／又はデコーダ２００）の提案の実装は、多数のコンポーネント、及び効率的なビデオ符号化アルゴリズムでこれらのコンポーネントにより生成される結合予測を組み込んでも良い。例えば、ＮＧＶ符号器の提案の実装は、以下の特徴の１又は複数を有しても良い。１.１）利得補償（例えば、シーンにおける利得／輝度の変化の明示的補償）、２）ブラー補償、例えば、シーンにおけるブラー／鮮明さの変化の明示的補償、３）支配的／グローバル動き補償（例えば、シーンにおける支配的動きの明示的補償）、４）整合性補償（例えば、シーンにおける整合性不一致の明示的補償）、５）超解像度（例えば、シーンにおける解像度精度の変化の明示的モデル）、６）投影（例えば、シーンにおける動き軌跡の変化の明示的モデル）、等、及び／又はこれらの組合せ。
図示の例では、インター予測が適用される場合、特性及び動きフィルタリング予測モジュールは、ローカルデコードループの部分として、現在ピクチャ１４１０（例えば、図中でＰ−ｐｉｃ（ｃｕｒｒ）とラベル付けされる）に動き補償を適用しても良い。幾つかの例では、このような動き補償は、少なくとも部分的に将来フレーム（図示しない）及び／又は過去フレームＲ０ １４１２（例えば、図中でＲ０としてラベル付けされる）、過去フレームＲ１ １４１４（例えば、図中でＲ１としてラベル付けされる）、過去フレームＲ２ １４１６（例えば、図中でＲ２としてラベル付けされる）、及び／又は過去フレームＲ３ １４１８（例えば、図中でＲ３としてラベル付けされる）に基づいても良い。
例えば、幾つかの実装では、予測動作は、インター及び／又はイントラ予測を含み得る。インター予測は、モーフィング分析及び生成モジュール及び／又は合成分析及び生成モジュールを含む１又は複数のモジュールにより実行されても良い。このようなモーフィング分析及び生成モジュールは、１又は複数の参照フレームで符号化されるべき該１又は複数の参照フレームに対するブラー変化１４２０（例えば、図中、Ｂｌｕｒ ｐａｒとしてラベル付けされる）、利得変化１４２２（例えば、図中、Ｇａｉｎ ｐａｒとしてラベル付けされる）、整合性変化１４２４（例えば、図中、Ｒｅｇ ｐａｒとしてラベル付けされる）、及び支配的動き変化１４２６（例えば、図中、Ｄｏｍ ｐａｒとしてラベル付けされる）等に関するパラメータを決定するために現在ピクチャを分析しても良い。
決定されたモーフィングパラメータ１４２０、１４２２、１４２４、及び／又は１４２６は、モーフィング済み参照フレームを生成するために用いられても良い。このような生成されたモーフィング済み参照フレームは、格納されても良く、現在フレームの効率的な動き（及び特性）補償された予測の動きベクトルを計算するために用いられても良い。図示の例では、決定されたモーフィングパラメータ１４２０、１４２２、１４２４、及び／又は１４２６は、ブラー補償済みモーフィング済み参照フレーム１４２８（例えば、図中、ＭＲ３ｂと付される）、利得補償済みモーフィング済み参照フレーム１４３０（例えば、図中、ＭＲ２ｇと付される）、利得補償済みモーフィング済み参照フレーム１４３２（例えば、図中、ＭＲ１ｇと付される）、整合性補償済みモーフィング済み参照フレーム１４３４（例えば、図中、ＭＲ１ｒと付される）、支配的動き補償済みモーフィング済み参照フレーム１４３６（例えば、図中、ＭＲ０ｄと付される）、及び／又は整合性補償済みモーフィング済み参照フレーム１４３８（例えば、図中、ＭＲ０ｒと付される）等、又はこれらの組合せのような、モーフィング済み参照フレームを生成するために用いられても良い。
同様に、合成分析及び生成モジュールは、超解像度（ＳＲ）ピクチャ１４４０（例えば、図中、Ｓ０（過去フレームＲ０ １４１２と等しい）、Ｓ１、Ｓ２、Ｓ３と付される）、及び投影補間（ＰＩ）ピクチャ１４４２（例えば、図中、ＰＥと付される）等を、これらのフレームにおける効率的な動き補償された予測の動きベクトルを決定するために、生成しても良い。このような生成された合成済み参照フレームは、格納されても良く、現在フレームの効率的な動き（及び特性）補償された予測の動きベクトルを計算するために用いられても良い。
追加又は代替で、決定されたモーフィングパラメータ１４２０、１４２２、１４２４、及び／又は１４２６は、生成された合成参照フレーム超解像度（ＳＲ）ピクチャ１４４０及び／又は投影補間（ＰＩ）ピクチャ１４４２をモーフィングするために用いられても良い。例えば、合成分析及び生成モジュールは、モーフィング済み整合性補償済み超解像度（ＳＲ）ピクチャ１４４４（例えば、図中、ＭＲ４ｒ、ＭＲ５ｒ、及びＭＲ６ｒと付される）、及び／又はモーフィング済み整合性補償済み投影補間（ＰＩ）ピクチャ１４４６（例えば、図中、ＭＲ７ｒと付される）等を、決定された整合性モーフィングパラメータ１４２４から生成しても良い。このような生成されたモーフィング及び合成済み参照フレームは、格納されても良く、現在フレームの効率的な動き（及び特性）補償された予測の動きベクトルを計算するために用いられても良い。
幾つかの実装では、（例えば、利得、ブラー、支配的動き、整合性、解像度精度、動き軌跡、等、又はこれらの組合せのような）特性セットの変化は、明示的に計算されても良い。このような特性セットは、局所的動きに加えて計算されても良い。幾つかの例では、前の及び次のピクチャ／スライスは、適切ならば利用されても良い。しかしながら、他の例では、このような特性セットは、前のピクチャ／スライスからのより良い予測を行っても良い。さらに、（例えば、複数の過去の又は複数の過去及び将来のピクチャ／スライスからの）任意の推定手順において誤差が存在するので、（例えば、利得、ブラー、支配的動き、整合性、解像度精度、動き軌跡、等、又はこれらの組合せのような）特性セットに関連する変更された参照フレームが最適な推定を生じるよう選択されても良い。したがって、（例えば、利得、ブラー、支配的動き、整合性、解像度精度、動き軌跡、等、又はこれらの組合せのような）特性セットに関連する変更された参照フレームを利用する提案のアプローチは、これらの特性の差分を明示的に補償しても良い。提案の実装は、予測信号をどのように向上するかという問題を解決できる。これは、また、ビデオ符号化における高度な圧縮効率を達成できる。
例えば、圧縮されるべきビデオの解像度及び高ビデオ品質への期待が増大するのに伴い、Ｈ．２６４のような既存のビデオ符号化標準を用いる又はＨ２６５／ＨＥＶＣのような進化しつつある標準でさえ、符号化のために必要な対応するビットレート／帯域幅、は比較的高い。前述の標準は、不十分な圧縮／品質の問題を自動的に解決するために広範な形式の従来のアプローチを用いるが、その結果は限定的である場合が多い。
提案の実装は、フレーム間予測を向上することにより、ビデオ圧縮効率を向上し、また、符号化される必要のあるフレーム間予測差分（誤差信号）を低減する。符号化されるべきフレーム間予測差分の量が少ないほど、符号化に必要なビットの量も少なく、符号化済み予測差分信号を格納し又は送信するために要するビットが少なくなるので、圧縮効率を効果的に向上する。動き予測のみに限定する代わりに、提案のＮＧＶコーデックは、動き補償に加えて又は代えて、コンテンツの特性の変化を明示的に補償するアプローチを利用することにより、（例えば、利得、ブラー、支配的動き、整合性、解像度精度、動き軌跡、等、又はこれらの組合せのような）コンテンツの変化する特性に非常に適応できる。したがって、問題の根本原因を明確に解決することにより、ＮＧＶコーデックは、標準に基づくコーデックの制限の主要な原因を解決でき、それにより、より高い圧縮効率を達成する。
このフレーム間予測出力の変化は、ビデオコンテンツの変化の広範囲の理由を補償するために、提案のＮＧＶコーデックの能力により達成され得る。標準的なビデオシーンは、多くの局所的及び全体的変化（本願明細書では特性と称される）によりフレーム毎に変化する。局所的な動きに加えて、提案の実装により解決され得る、現在のソリューションにより十分に解決されない多くの他の特性が存在する。
提案の実装は、局所的動きに加えて、（例えば、利得、ブラー、支配的動き、整合性、解像度精度、動き軌跡、等、又はこれらの組合せのような）特性セットの変化を明示的に計算しても良く、したがって、局所的動き予測のみを用いて前の及び次のピクチャ／スライスからより、前のピクチャ／スライスからより良い予測を行い得る。さらに、任意の推定手順において誤差が存在し得るので、複数の過去の又は複数の過去及び将来のピクチャ／スライスから、ＮＧＶ符号器は、種々の特性の差分を明示的に補償することにより、最善をもたらすフレームを選択しても良い。
特に、ＮＧＶ符号器の提案の実装は、次の特徴を有しても良い。ｉ）シーンにおける利得／輝度変化の明示的補償、ｉｉ）シーンにおけるブラー／鮮明さ変化の明示的補償、ｉｉｉ）シーンにおける支配的動きの明示的補償、ｉｖ）シーンにおける整合性不一致の明示的補償、ｖ）シーンにおける解像度精度変化の明示的モデル、及び／又は、ｖｉ）シーンにおける動き軌跡変化の明示的モデル、である。
以下に示す表４、５は、コードブックエントリの一例を示す。エントリの完全なコードブックは、全ての可能なエントリ及びその符号化の完全な又は実質的に完全なリストを提供し得る。幾つかの例では、コードブックは、上述の制約を考慮に入れても良い。幾つかの例では、予測モード及び／又は参照種類のコードブックエントリに関連するデータは、本願明細書で議論するようにデコーダでの使用のためにビットストリーム内にエンコードされても良い。
［表４］Ｐ−ピクチャにおける例示的予測参照
Figure 2016509764
［表５］Ｆ−ピクチャにおける例示的予測参照
Figure 2016509764
動作中、ＮＧＶ符号器（例えば、エンコーダ１００及び／又はデコーダ２００）の提案の実装は、予測モード及び／又は参照種類データがシンボルーラン符号化又はコードブック等を用いて定められるように、動作しても良い。予測モード及び／又は参照種類データは、種々の例において、変換係数を生成するために、コンテンツ適応型又は離散変換を用いて変換エンコードされても良い。また、上述のように、パーティションに関連するデータ（例えば、変換係数、又は量子化済み変換係数）、オーバヘッドデータ（例えば、変換種類、適応変換方向、及び／又は変換モードの本願明細書で議論するような指示子）、及び／又はパーティションを定めるデータ、等は、（例えば、エントロピーエンコーダにより）ビットストリームにエンコードされても良い。ビットストリームは、デコーダに伝達されても良い。デコーダは、表示用にビデオフレームをデコードするために、エンコード済みビットストリームを用いても良い。（マクロブロック若しくはタイルの範囲内のブロック毎に、又はタイル若しくは予測単位の範囲内のパーティション毎に、又はスーパーフラグメント若しくは領域の範囲内のフラグメント、のような）局所的な単位で、最適モードは、例えばレート歪み最適化（Rate Distortion Optimization：ＲＤＯ）に基づき、又はビデオの事前分析に基づき、選択されても良く、モード及び必要な参照の識別子は、デコーダによる使用のためにビットストリームの中にエンコードされても良い。
動作中、ＮＧＶ符号器（例えば、エンコーダ１００及び／又はデコーダ２００）の提案の実装は、デコード済み過去及び／又は将来ピクチャ／スライスに対する通常の局所的動き補償に加えて、上述のコンポーネントのうちの１又は複数を用いても良い。したがって、実装は、例えば利得補償のための、又は他の特性補償された参照フレーム生成のための、専用ソリューションを要求するものではない。
図１５は、本開示の少なくとも幾つかの実装に従って配置される、特性及び動き補償された予測を実行する別の例示的なエンコーダサブシステム５３０の説明図である。図示のように、エンコーダ１５００のエンコーダ予測サブシステム５３０は、デコード済みピクチャバッファ１１９、モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０、合成分析及び生成モジュール１２１、動き推定モジュール１２２、及び／又は特性及び動き補償済みフィルタリング予測モジュール１２３、を有しても良い。
図示のように、品質分析及び品質復元フィルタリングの出力は、デコード済みピクチャバッファ１１９へ送信されても良い。幾つかの例では、品質分析及び品質復元フィルタリングモジュールの出力は、他のフレームを符号化するための予測に用いられ得る最終再構成済みフレームであっても良い（例えば、最終再構成済みフレームは、参照フレーム等であっても良い）。エンコーダ１５００では、予測動作は、インター及び／又はイントラ予測を含み得る。図１５に示すように、インター予測は、モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０、合成分析及び生成モジュール１２１、及び／又は特性及び動き補償済みフィルタリング予測モジュール１２３を有する１又は複数のモジュールにより実行されても良い。
モーフィング分析及びモーフィング済みピクチャ生成モジュール１２０は、モーフィング種類分析器（morphing types analyzer：ＭＴＡ）及びモーフィング済みピクチャ分析器（morphed pictures generator：ＭＰＧ）１５９９、並びにモーフィング済み予測参照（morphed prediction reference：ＭＰＲ）ピクチャバッファ５２０を有しても良い。モーフィング種類分析器（ＭＴＡ）及びモーフィング済みピクチャ分析器（ＭＰＧ）１５９９は、１又は複数の種類の変更済み予測参照ピクチャを分析し及び／又は生成するよう構成されても良い。
例えば、モーフィング種類分析（ＭＴＡ）及びモーフィング済みピクチャ分析器（ＭＰＧ）１５９９は、利得推定及び補償済み予測生成器１５０５、ブラー推定及び補償済み予測生成器１５１０、支配的動き推定及び補償済み予測生成器１５１５、整合性推定及び補償済み予測生成器１５２０、等、及び／又はこれらの組合せを有しても良い。利得推定器及び補償済み予測生成器１５０５は、利得変化を解決するために適応されるモーフィング済み予測参照ピクチャを分析し及び／又は生成するよう構成されても良い。ブラー推定器及び補償済み予測生成器１５１０は、ブラー変化を解決するために適応されるモーフィング済み予測参照ピクチャを分析し及び／又は生成するよう構成されても良い。支配的動き推定器及び補償済み予測生成器１５１５は、支配的動き変化を解決するために適応されるモーフィング済み予測参照ピクチャを分析し及び／又は生成するよう構成されても良い。整合性推定及び補償済み予測生成器１５２０は、整合性変化を解決するために適応されるモーフィング済み予測参照ピクチャを分析し及び／又は生成するよう構成されても良い。
モーフィング種類分析器（ＭＴＡ）及びモーフィング済みピクチャ分析器（ＭＰＧ）１５９９は、このように生成されたモーフィング済み参照フレームを、モーフィング済み予測参照（ＭＰＲ）ピクチャバッファ５２０に格納しても良い。例えば、モーフィング済み予測参照（ＭＰＲ）ピクチャバッファ１５９８は、利得補償済み（Gain Compensated：ＧＣ）ピクチャバッファ１５２５、ブラー補償済み（：Blur CompensatedＢＣ）ピクチャバッファ１５３０、支配的動き補償済み（Dominant Motion Compensated：ＤＣ）ピクチャバッファ１５３５、整合性補償済み（Registration Compensated：ＲＣ）ピクチャバッファ１５４０、等、及び／又はこれらの組合せを有しても良い。利得補償済み（ＧＣ）ピクチャバッファ１５２５は、利得変化を解決するために適応されるモーフィング済み参照フレームを格納するよう構成されても良い。ブラー補償済み（ＢＣ）ピクチャバッファ１５３０は、ブラー変化を解決するために適応されるモーフィング済み参照フレームを格納するよう構成されても良い。支配的動き補償済み（ＤＣ）ピクチャバッファ１５３５は、支配的動き変化を解決するために適応されるモーフィング済み参照フレームを格納するよう構成されても良い。整合性補償済み（ＲＣ）ピクチャバッファ１５４０は、整合性変化を解決するために適応されるモーフィング済み参照フレームを格納するよう構成されても良い。
合成分析及び生成モジュール１２１は、合成種類分析器（synthesis types analyzer：ＳＴＡ）及び合成済みピクチャ生成器（synthesized pictures generator：ＳＰＧ）１５９７、並びに合成済み予測参照（synthesized prediction reference：ＳＰＲ）ピクチャバッファ５４０を有しても良い。合成種類分析器（ＳＴＡ）及び合成済みピクチャ分析器（ＳＰＧ）１５９７は、１又は複数の種類の合成済み予測参照ピクチャを分析し及び／又は生成するよう構成されても良い。例えば、合成種類分析器（ＳＴＡ）及び合成済みピクチャ生成器（ＳＰＧ）１５９７は、超解像度フィルタセレクタ及び予測生成器１５４５、投影軌跡分析器及び予測生成器１５５０、等、及び／又はこれらの組合せを有しても良い。超解像度フィルタセレクタ及び予測生成器１５４５は、合成済み予測参照ピクチャの超解像度（ＳＲ）種類を分析し及び／又は生成するよう構成されても良い。投影軌跡分析器及び予測生成器１５５０は、合成済み予測参照ピクチャの投影補間（ＰＩ）を分析し及び／又は生成するよう構成されても良い。
合成種類分析器（ＳＴＡ）及び合成済みピクチャ生成器（ＳＰＧ）１５９７は、超解像度（ＳＲ）ピクチャ及び投影補間（ＰＩ）ピクチャ等を、これらのフレームにおける効率的な動き補償された予測のために生成しても良い。このように生成された合成済み参照フレームは、合成済み予測参照（ＳＰＲ）ピクチャバッファ１５９６に格納されても良く、現在フレームの効率的な動き（及び特性）補償された予測の動きベクトルを計算するために、動き推定モジュール１２２により用いられても良い。
例えば、合成済み予測参照（ＳＰＲ）ピクチャバッファ１５９６は、超解像度（ＳＲ）ピクチャバッファ１５５５、投影補間（ＰＩ）ピクチャバッファ１５６０、等、及び／又はこれらの組合せを有しても良い。超解像度（ＳＲ）ピクチャバッファ１５５５は、超解像度（ＳＲ）ピクチャのために生成される合成済み参照フレームを格納するよう構成されても良い。投影補間（ＰＩ）ピクチャバッファ１５６０は、投影補間（ＰＩ）ピクチャのために生成される合成済み参照フレームを格納するよう構成されても良い。
動き推定モジュール１２２は、現在フレームと一緒に、モーフィング参照フレーム及び／又は超解像度（ＳＲ）ピクチャ及び投影補間（ＰＩ）ピクチャに基づき、動きベクトルデータを生成しても良い。幾つかの例では、動き推定モジュール１２２は、インター予測モジュールと考えられても良い。例えば、動きベクトルデータは、インター予測に用いられても良い。インター予測が適用される場合、特性及び動き補償フィルタリング予測モジュール１２３は、議論されるように局所デコードの部分として動き補償を適用しても良い。
図１６は、本開示の少なくとも幾つかの実装に従って配置される、特性及び動き補償された予測を実行する別の例示的なデコーダサブシステム１６０１の説明図である。図示のように、デコーダ予測サブシステム１６０１は、デコード済みピクチャバッファ２１０、モーフィング済みピクチャ生成モジュール２１１、合成済みピクチャ生成モジュール２１２、及び／又は特性及び動き補償済みフィルタリング予測モジュール２１３を有しても良い。
図示のように、品質復元フィルタリングモジュールの出力は、デコード済みピクチャバッファ２１０へ送信されても良い。幾つかの例では、品質復元フィルタリングモジュールの出力は、他のフレームを符号化するための予測に用いられ得る最終再構成済みフレームであっても良い（例えば、最終再構成済みフレームは、参照フレーム等であっても良い）。議論したように、予測動作による補償は、インター及び／又はイントラ予測補償を含んでも良い。図示のように、インター予測補償は、モーフィング済みピクチャ生成モジュール２１１、合成済みピクチャ生成モジュール２１２、及び／又は特性及び動き補償済みフィルタリング予測モジュール２１３を含む１又は複数のモジュールにより実行されても良い。
モーフィング済みピクチャ生成モジュ―ル２１１は、モーフィング済みピクチャ生成器（ＭＰＧ）１６９９、並びにモーフィング済み予測参照（ＭＰＲ）ピクチャバッファ１６９８を有しても良い。モーフィング済みピクチャ生成器（ＭＰＧ）１６９９は、（例えば、入力ビットストリームから決定される）逆量子化済みモーフィングパラメータを用いて、モーフィング済み参照フレームを生成しても良い。例えば、モーフィング済みピクチャ生成器（ＭＰＧ）１６９９は、利得補償済み予測生成器１６０５、ブラー補償済み予測生成器１６１０、支配的動き補償済み予測生成器１６１５、整合性補償済み予測生成器１６２０、等、及び／又はこれらの組合せを有しても良い。利得補償済み予測生成器１６０５は、利得変化を解決するために適応されるモーフィング済み予測参照ピクチャを生成するよう構成されても良い。ブラー補償済み予測生成器１６１０は、ブラー変化を解決するために適応されるモーフィング済み予測参照ピクチャを生成するよう構成されても良い。支配的動き補償済み予測生成器１６１５は、支配的動き変化を解決するために適応されるモーフィング済み予測参照ピクチャを生成するよう構成されても良い。整合性補償済み予測生成器１６２０は、整合性変化を解決するために適応されるモーフィング済み予測参照ピクチャを生成するよう構成されても良い。
モーフィング済みピクチャ生成器（ＭＰＧ）１６９９は、このように生成されたモーフィング済み参照フレームを、モーフィング済み予測参照（ＭＰＲ）ピクチャバッファ１６９８に格納しても良い。例えば、モーフィング済み予測参照（ＭＰＲ）ピクチャバッファ１６９８は、利得補償済み（Gain Compensated：ＧＣ）ピクチャバッファ１６２５、ブラー補償済み（：Blur CompensatedＢＣ）ピクチャバッファ１６３０、支配的動き補償済み（Dominant Motion Compensated：ＤＣ）ピクチャバッファ１６３５、整合性補償済み（Registration Compensated：ＲＣ）ピクチャバッファ１６４０、等、及び／又はこれらの組合せを有しても良い。利得補償済み（ＧＣ）ピクチャバッファ１６２５は、利得変化を解決するために適応されるモーフィング済み参照フレームを格納するよう構成される。ブラー補償済み（ＢＣ）ピクチャバッファ１６３０は、ブラー変化を解決するために適応されるモーフィング済み参照フレームを格納するよう構成されても良い。支配的動き補償済み（ＤＣ）ピクチャバッファ１６３５は、支配的動き変化を解決するために適応されるモーフィング済み参照フレームを格納するよう構成されても良い。整合性補償済み（ＲＣ）ピクチャバッファ１６４０は、整合性変化を解決するために適応されるモーフィング済み参照フレームを格納するよう構成されても良い。
合成済みピクチャ生成モジュール２１２は、合成済みピクチャ生成器（ＳＰＧ）１６９７、並びに合成済み予測参照（ＳＰＲ）ピクチャバッファ１６９６を有しても良い。合成済みピクチャ生成器（ＳＰＧ）１６９７は、超解像度（ＳＲ）ピクチャ及び投影補間（ＰＩ）ピクチャなどのような１又は複数の種類の合成済み予測参照ピクチャを、入力ビットストリーム２０１から決定されるパラメータに基づき生成するよう構成されても良い。このように生成された合成済み参照フレームは、合成済み予測参照（ＳＰＲ）ピクチャバッファ１６９６に格納されても良く、特性及び動き補償済みフィルタリング予測モジュール２１３により用いられても良い。例えば、合成済みピクチャ生成器（ＳＰＧ）１６９７は、超解像度ピクチャ生成器１６４５、投影軌跡ピクチャ生成器１６５０、等、及び／又はこれらの組合せを有しても良い。超解像度ピクチャ生成器１６４５は、合成済み予測参照ピクチャの超解像度（ＳＲ）種類を生成するよう構成されても良い。投影軌跡ピクチャ生成器１６５０は、合成済み予測参照ピクチャの投影補間（ＰＩ）種類を生成するよう構成されても良い。
合成済みピクチャ生成器（ＳＰＧ）１６９７は、超解像度（ＳＲ）ピクチャ及び投影補間（ＰＩ）ピクチャ等を、これらのフレームにおける効率的な動き補償された予測のために生成しても良い。このように生成された合成済み参照フレームは、合成済み予測参照（ＳＰＲ）ピクチャバッファ１６９６に格納されても良く、現在フレームの効率的な動き（及び特性）補償された予測のために、特性及び動き補償済みフィルタリング予測モジュール２１３により用いられても良い。
例えば、合成済み予測参照（ＳＰＲ）ピクチャバッファ１６９６は、超解像度（ＳＲ）ピクチャバッファ１６５５、投影補間（ＰＩ）ピクチャバッファ１６６０、等、及び／又はこれらの組合せを有しても良い。超解像度（ＳＲ）ピクチャバッファ１６５５は、超解像度（ＳＲ）ピクチャのために生成される合成済み参照フレームを格納するよう構成されても良い。投影補間（ＰＩ）ピクチャバッファ１６６０は、投影補間（ＰＩ）ピクチャのために生成される合成済み参照フレームを格納するよう構成されても良い。
インター予測が適用される場合、特性及び動き補償済みフィルタリング予測モジュール２１３は、現在フレームと一緒に、モーフィング済み参照フレーム及び／又は超解像度（ＳＲ）ピクチャ及び投影補間（ＰＩ）ピクチャに基づき、動き補償を適用しても良い。
図１７は、本開示の少なくとも幾つかの実装に従って配置される例示的なエンコーダサブシステム１７００の説明図である。図示のように、エンコーダサブシステム１７００は、符号化パーティション生成モジュール１０７、エンコード制御モジュール１０３、適応型変換モジュール１０８、適応型量子化モジュール１０９、及び／又は適応型エントロピーエンコーダモジュール１１０を有しても良い。提示の明確さのために図１７に示さないが、ビデオデータは、差分器１０６、予測パーティション生成モジュール１０５、等から符号化パーティション生成モジュール１０７に入力されても良い。符号化パーティション生成モジュール１０７により受信されたビデオデータは、例えば、予測誤差データパーティション、予測パーティション、タイル若しくはスーパーフラグメント、元のピクセルデータ、ウェーブレットデータ、残差データ、又は本願明細書で議論される任意の他のビデオデータのような任意の適切なビデオデータであっても良い。ビデオデータは、例えば、ルマデータ又はクロマデータを提供し又は表しても良い。図示のように、例示的なエンコーダサブシステム１７００では、ビデオデータは、符号化パーティション生成モジュール１０７により受信されても良い。
図示のように、符号化パーティション生成モジュール１０７は、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１と、ｂｉ木符号化パーティショナモジュール１７０２と、を有しても良い。スイッチ１７０３の制御下で、受信されたビデオデータは、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１又はｂｉ木符号化パーティショナモジュール１７０２へ送信されても良い。例えば、スイッチ１７０３は、ビデオデータのピクチャ種類及び／又はビデオデータに関連する予測種類に基づき、ビデオデータをルーティングしても良い。例えば、ピクチャ種類がＦ／Ｂ−ピクチャ又はＰ−ピクチャであり、及び予測種類がインター予測等であるとき、ビデオデータは、予測誤差データパーティション（例えば、予測パーティションの誤差データ又は残差）を有しても良く、スイッチ１７０３は、符号化パーティションへのパーティショニングのために、ビデオデータをｂｉ木符号化パーティショナモジュール１７０２にルーティングしても良い。例えば、ピクチャ種類がＦ／Ｂ−ピクチャ又はＰ−ピクチャであり、及び予測種類がイントラ予測であるとき、ビデオデータは、タイル又はスーパーフラグメントビデオを有しても良く、スイッチ１７０３は、（１レベルのみのパーティショニングが実行できるので）予測パーティション又は符号化パーティションとしてラベル付けされ得るパーティションへのパーティショニングのために、ビデオデータをｂｉ木符号化パーティショナモジュール１７０２へルーティングしても良い。上述のように、このような例では、パーティショニングは、ｂｉ木符号化パーティショナモジュール１７０２又は予測パーティション生成モジュール１０５により実行されても良い。例えば、ピクチャ種類がＩ−ピクチャであるとき（例えば、イントラ予測を用いて全体が符号化され得る）、ビデオデータは、タイル又はスーパーフラグメントを有しても良く、スイッチ１７０３は、（１レベルのみのパーティショニングが実行できるので）予測パーティション又は符号化パーティションとしてラベル付けされ得るパーティションへのパーティショニングのために、ビデオデータをｋｄ木符号化パーティショナモジュール１７０１へルーティングしても良い。上述のように、このような例では、パーティショニングは、ｋｄ木符号化パーティショナモジュール１７０１又は予測パーティション生成モジュール１０５により実行されても良い。
ｂｉ木符号化パーティショナモジュール１７０２と共に図示されるが、幾つかの例では、符号化パーティション生成モジュール１０７は、ｋｄ木パーティショニング技術を用いて予測パーティションをパーティショニングし得るモジュール１７０１の代わりに、ｋｄ木符号化パーティショナモジュールを実装しても良い。同様に、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１と共に図示されるが、幾つかの例では、符号化パーティション生成モジュール１０７は、ｂｉ木パーティショニング技術を用いて予測パーティションをパーティショニングし得るモジュール１７０２の代わりに、ｂｉ木符号化パーティショナモジュールを実装しても良い。
上述のように、幾つかの例では、Ｉ−ピクチャイントラ符号化におけるように、１レイヤのみのパーティショニングが適用されても良く、予測パーティショニング又は符号化パーティショニングとしてラベル付けされても良い。したがって、幾つかの例では、符号化パーティション生成器１０７は、Ｉ−ピクチャタイル又はスーパーフラグメント又はフレームを、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１によるｋｄ木パーティショニング技術を用いたパーティショニングのために受信しても良い。他の例では、Ｉ−ピクチャは、予測パーティション生成器１０５により予めパーティショニングされていても良く、更なるパーティショニングが必要なくても良い。このような例では、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１は、バイパスされても良い。いずれの例でも、Ｉ−ピクチャパーティション（予測パーティション又は符号化パーティションとしてラベル付けされる）は、適応型変換モジュール１０８へ送信されても良い。
上述のように、幾つかの例では、Ｐ−又はＦ／Ｂ−ピクチャイントラ符号化で、１レイヤのみのパーティショニングが適用されても良く、予測パーティショニング又は符号化パーティショニングとしてラベル付けされても良い。したがって、幾つかの例では、符号化パーティション生成器１０７は、Ｐ−又はＦ／Ｂ−ピクチャタイル又はスーパーフラグメント又はフレームを、ｂｉ木符号化パーティショナモジュール１７０２によるｂｉ木パーティショニング技術を用いるパーティショニングのために受信しても良い（このような例では、ｂｉ木符号化パーティショナモジュール１７０１は、ｂｉ木予測／符号化パーティショナモジュールと考えられる）。他の例では、Ｐ−又はＦ／Ｂ−ピクチャは、予測パーティション生成器１０５により予めパーティショニングされていても良く、更なるパーティショニングが必要なくても良い。このような例では、ｂｉ木符号化パーティショナモジュール１７０２は、バイパスされても良い。いずれの例でも、Ｐ−又はＦ／Ｂ−ピクチャパーティション（予測パーティション又は符号化パーティションとしてラベル付けされる）は、適応型変換モジュール１０８へ送信されても良い。
幾つかの例では、各イントラ予測パーティション毎に、予測方向（例えば、９又は３１個の予測方向のうちの１つ）は、イントラ予測パーティションに関連付けられて、過去のデコード済みの因果関係を示す領域、前の近隣タイル及び／又は現在フレームの同じタイル内の近隣パーティションを用いて、イントラ予測が各予測パーティション毎に行えるようにしても良い。
ｂｉ木符号化パーティショナモジュール１７０２は、図１９に関して本願明細書で更に議論するように、ｂｉ木パーティショニング技術を用いて、ビデオデータを複数のパーティションにパーティショニングしても良い。ｂｉ木符号化パーティショナモジュール１７０２は、水平方向及び垂直方向のパーティションへの交互の分割を可能にする柔軟なパーティショニングを提供できる。このような技術は、水平又は垂直方向又は両方向の切断を可能にし、それにより、複数の柔軟なパーティションを可能にする。ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１は、図２０に関して本願明細書で更に議論するように、ｋｄ木パーティショニング技術を用いて、ビデオデータを複数のパーティションにパーティショニングしても良い。例えば、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１は、パーティションの中間点で及びパーティションに沿って１／４及び３／４の地点での両方で、水平方向及び垂直方向のパーティションへの交互の分割を可能にする、パーティショニングの更に大きな柔軟性を提供できる。このような増大は、オーバーヘッド及び計算の増大を引き起こし、例えばＩ−ピクチャについて正しいとされる。図示のように、パーティション又はサブパーティション（例えば、予測のために予め定められたパーティションの符号化パーティション）は、符号化パーティション生成モジュール１０７から適応型変換モジュール１０８へ送信されても良い。
先ず、（例えば、Ｉ−ピクチャについて）ｋｄ木パーティションを例に取ると、パーティション（例えば、予測又は符号化）は、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１又は予測パーティション生成モジュール１０５から、適応型変換モジュール１０８へ送信されても良い。例えば、タイル又はスーパーフラグメントは、パーティショニング（例えば、予測のためのパーティション）を生成するために、ｋｄ木パーティショニング技術を用いてパーティショニングされても良い。イントラ予測は、予測誤差データパーティションを生成するために元のピクセルデータとの差分を取られ得る予測パーティションを生成するために、予測のためのパーティションについて実行されても良い。上述のように、選択されたパーティショニングは、レート歪み最適化等に基づき決定されても良い。選択されたパーティショニングに関連付けられた予測誤差データパーティション（及び／又は予測パーティション）は、適応型変換モジュール１０８へ送信されても良い。上述のように、このような予測パーティションは、代替で、単一レベルのみのパーティショニングが実行できるので、符号化パーティションとしてラベル付けされても良い。
図示のように、適応型変換モジュール１０８は、コンテンツ適応型変換モジュール１７０４と、固定変換モジュール１７０５と、を有しても良く、これらはスイッチ１７０６、１７０７の動作に基づき選択的に動作しても良い。例えば、コンテンツ適応型変換は、近隣ビデオデータ（例えば、近隣ブロック、パーティション、等）のデコードから決定され得るコンテンツ依存基底関数による変換、又は、上述のように、エンコーダから（例えば、ビットストリームにより）デコーダへデコードのために送信されなければならない関連変換データによる変換を有しても良く、固定変換は、固定基底関数を有し及び変換係数のみがデコードのために送信されなければならない固定変換を有しても良い。
幾つかの例では、コンテンツ適応型変換モジュール１７０４は、例えば、パラメータ変換、パラメータＨａａｒ変換、ハイブリッドパラメータＨａａｒ変換（例えば、一方向のパラメータＨａａｒ変換及び直交方向の離散変換）、パラメータスラント変換、ハイブリッドパラメータスラント変換、等のような適応型変換を適用しても良い。幾つかの例では、適応型変換モジュール１７０４は、閉形式ハイブリッドパラメータ変換又は閉形式ハイブリッドパラメータＨａａｒ変換を適用しても良い。図示のように、幾つかの例では、コンテンツ適応型変換モジュール１７０４は、小乃至中の大きさのパーティションに適用されても良い。例えば、小乃至中の大きさのパーティションは、１６ピクセル以下の高さを有し１６ピクセル以下の幅を有するパーティション又はブロックを有しても良い。例えば、小乃至中の大きさのパーティション又はブロックは、４ｘ４ピクセル、４ｘ８ピクセル、８ｘ４ピクセル、８ｘ８ピクセル、４ｘ１６ピクセル、１６ｘ４ピクセル、８ｘ１６ピクセル、１６ｘ８ピクセル、１６ｘ１６ピクセル、等の大きさを有するパーティションを有しても良い。
幾つかの例では、固定変換モジュール１７０５は、例えば、離散コサイン変換、離散コサイン変換近似、等のような離散変換を適用しても良い。図示のように、幾つかの例では、固定変換モジュール１７０５は、中乃至大の大きさのパーティションに適用されても良い。例えば、中乃至大の大きさのパーティション又はブロックは、１６ピクセル以上の高さを有し１６ピクセル以上の幅を有するパーティションを有しても良い。例えば、中乃至大の大きさのパーティション又はブロックは、１６ｘ１６ピクセル、１６ｘ３２ピクセル、３２ｘ１６ピクセル、３２ｘ３２ピクセル、３２ｘ６４ピクセル、６４ｘ３２ピクセル、６４ｘ６４ピクセル、等を含む（正方形及び長方形パーティションを含む）少なくとも１６ピクセルの各辺を有する多様なパーティションを有しても良い。幾つかの例では、固定変換モジュール１７０５は、高精度整数近似を用いて離散コサイン変換を適用しても良い。上述のように、幾つかの例では、コンテンツ適応型変換モジュール１７０４に供給されるパーティションと、固定変換モジュール１７０５に供給されるパーティションとの間で重複が存在しても良い。このような例では、コンテンツ適応型変換モジュール１７０４及び固定変換モジュール１７０５の両方に供給されるパーティションは、どの変換を使用するかを決定するために評価されても良い。他の例では、重複が存在しなくても良い。例えば、小乃至中の大きさのパーティション又はブロックは、１６ピクセル未満の幅及び１６ピクセル未満の高さ等を有するパーティション又はブロックを有しても良く、中乃至大の大きさのピクセルは、１６ピクセルより大きい幅及び１６ピクセルより大きい高さ等を有するパーティションを有しても良い。他の例では、モジュールである中の大きさのブロックが変換処理のためにいつ送信されるかを決定するために、発見的方法が用いられても良い。
上述のように、スイッチ１７０６、１７０７は、ｋｄ木パーティション（例えば、Ｉ−ピクチャのパーティション）の変換モジュールを選択するよう動作し得る。幾つかの例では、スイッチ１７０６、１７０７及び／又は符号化パーティション生成器１０７は、エンコード制御部１０３のレート歪み最適化セレクタモジュール１７９６の制御下で動作しても良い。レート歪み最適化セレクタモジュール１７９６は、例えば、適応型変換モジュール１０８のコンテンツ適応型変換（小乃至中の大きさのブロック）１７０４、１７０８に小乃至中のパーティションを、及び適応型変換モジュール１０８の固定変換（中乃至大のブロック）１７０５、１７０９に中乃至大のパーティションを供給することに基づき、所与のパーティションについて、更に何個のパーティション（例えば、分割）及び関連変換サイズが最適エンコードを生じるかのような最適な選択を決定しても良い。例えば、幾らかのオーバーヘッド（例えば、追加のエンコード済みビット）は、適応型基底関数を構築する等のためにデコーダにより必要とされ得る変換データのように適応型変換に関連付けられても良い。しかしながら、このようなオーバーヘッドは、例えば、変換種類（例えば、xmtyp；例えばパーティションの変換が適応型か離散型か）、変換方向（例えば、xmdir；ハイブリッド変換においてパラメータ変換が水平か垂直かを記述する）、及び／又は変換モード（例えば、xmmode；予測差分信号又は元の信号の使用のモード選択の間でイントラ符号化信号のためにのみ用いられる）指示子のセットのような基本情報を適応型変換モジュール１０８へ送信することにより低減できる。量子化／レート制御部１７９７は、変化する帯域幅制限に応答して、エンコード処理の不可逆性を変化させる量子化パラメータを調整するよう構成されても良い。
次にｂｉ木パーティションの例を考えると、符号化パーティション（例えば、Ｆ／Ｂ−及び−ピクチャの符号化パーティション）は、適応型変換モジュール１０８へ送信されても良い。適応型変換モジュール１０８は、図示のように、スイッチ１７１０、１７１１の動作に基づき選択的に作動され得るコンテンツ適応型変換モジュール１７０８及び固定変換モジュール１７０９を有しても良い。コンテンツ適応型変換モジュール１７０８、固定変換モジュール１７０９、及びスイッチ１７１０、１７１１は、コンテンツ適応型変換モジュール１７０４、固定変換モジュール１７０５、及びスイッチ１７０６、１７０７と同様に動作しても良く、これらの動作は簡潔さのために繰り返されない。図示のように、コンテンツ適応型変換モジュール１０８は、スイッチ１７１２も有しても良い。スイッチ１７１２は、上述のように、種々のビデオデータ（例えば、Ｉ−ピクチャ又はＦ／Ｂ−及びＰ−ピクチャに関連するビデオデータパーティション）のための適正経路を選択するために、スイッチ１７０３と連動して作動されても良い。
図１７のエンコーダサブシステム１７００では、幾つかの例では、ハイブリッドパラメータＨａａｒ変換のように、コンテンツ適応型変換は、２の冪乗を有するパーティションについてのみ実行されても良い。このような例では、利用可能な変換に適応するために、パーティションが２の冪乗だけであるよう、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１により制約が課されても良い。幾つかの例では、小乃至中のパーティションが２の冪乗の大きさに保たれない場合、固定変換（例えば、離散コサイン変換等）は、追加シグナリングオーバヘッドを必要とせずに、このようなパーティションのために使用できる。
図１８は、本開示の少なくとも幾つかの実装に従って配置される例示的なエンコーダサブシステム１８００の説明図である。図示のように、エンコーダサブシステム１８００は、符号化パーティション生成モジュール１０７、エンコード制御モジュール１０３、適応型変換モジュール１０８、適応型量子化モジュール１０９、及び／又は適応型エントロピーエンコーダモジュール１１０を有しても良い。提示の明確さのために図１８に示さないが、ビデオデータは、差分器１０６、予測パーティション生成モジュール１０５、等から符号化パーティション生成モジュール１０７に入力されても良い。符号化パーティション生成モジュール１０７により受信されたビデオデータは、例えば、予測誤差データパーティション、予測パーティション、タイル若しくはスーパーフラグメント、元のピクセルデータ、ウェーブレットデータ、残差データ、又は本願明細書で議論される任意の他のビデオデータのような任意の適切なビデオデータであっても良い。ビデオデータは、例えば、ルマデータ又はクロマデータを提供し又は表しても良い。図示のように、例示的なエンコーダサブシステム１７００では、ビデオデータは、符号化パーティション生成モジュール１０７により受信されても良い。
図示のように、符号化パーティション生成モジュール１０７は、スイッチ１８０１の制御下で作動される、図１７に関して上述したようなｋｄ木イントラ予測／符号化パーティショナモジュール１７０１及びｂｉ木符号化パーティショナモジュール１７０２を有しても良い。スイッチ１８０１の制御下で、受信されたビデオデータは、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１又はｂｉ木符号化パーティショナモジュール１７０２へ送信されても良い。例えば、スイッチ１８０１は、ビデオデータのピクチャ種類及び／又はビデオデータに関連する予測種類に基づき、ビデオデータをルーティングしても良い。例えば、ピクチャ種類がＦ／Ｂ−ピクチャ又はＰ−ピクチャであり、及び予測種類がインター予測等であるとき、ビデオデータは、予測誤差データパーティション（例えば、予測パーティションの誤差データ又は残差）を有しても良く、スイッチ１８０１は、符号化パーティションへのパーティショニングのために、ビデオデータをｂｉ木符号化パーティショナモジュール１７０２にルーティングしても良い。例えば、ピクチャ種類がＦ／Ｂ−ピクチャ又はＰ−ピクチャであり、及び予測種類がイントラ予測であるとき、ビデオデータは、タイル又はスーパーフラグメントビデオを有しても良く、スイッチ１８０１は、（１レベルのみのパーティショニングが実行できるので）予測パーティション又は符号化パーティションとしてラベル付けされ得るパーティションへのパーティショニングのために、ビデオデータをｂｉ木符号化パーティショナモジュール１７０２へルーティングしても良い。上述のように、このような例では、パーティショニングは、ｂｉ木符号化パーティショナモジュール１７０２又は予測パーティション生成モジュール１０５により実行されても良い。例えば、ピクチャ種類がＩ−ピクチャであるとき（例えば、イントラ予測を用いて全体が符号化され得る）、ビデオデータは、タイル又はスーパーフラグメントを有しても良く、スイッチ１７０３は、（１レベルのみのパーティショニングが実行できるので）予測パーティション又は符号化パーティションとしてラベル付けされ得るパーティションへのパーティショニングのために、ビデオデータをｋｄ木符号化パーティショナモジュール１７０１へルーティングしても良い。上述のように、このような例では、パーティショニングは、ｋｄ木符号化パーティショナモジュール１７０１又は予測パーティション生成モジュール１０５により実行されても良い。
上述のように、ｂｉ木符号化パーティショナモジュール１７０２と共に図示されるが、幾つかの例では、符号化パーティション生成モジュール１０７は、ｋｄ木パーティショニング技術を用いて予測パーティションをパーティショニングし得るモジュール１７０１の代わりに、ｋｄ木符号化パーティショナモジュールを実装しても良い。同様に、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１と共に図示されるが、幾つかの例では、符号化パーティション生成モジュール１０７は、ｂｉ木パーティショニング技術を用いて予測パーティションをパーティショニングし得るモジュール１７０２の代わりに、ｂｉ木符号化パーティショナモジュールを実装しても良い。
上述のように、幾つかの例では、Ｉ−ピクチャイントラ符号化におけるように、１レイヤのみのパーティショニングが適用されても良く、予測パーティショニング又は符号化パーティショニングとしてラベル付けされても良い。したがって、幾つかの例では、符号化パーティション生成器１０７は、Ｉ−ピクチャタイル又はスーパーフラグメント又はフレームを、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１によるｋｄ木パーティショニング技術を用いたパーティショニングのために受信しても良い。他の例では、Ｉ−ピクチャは、予測パーティション生成器１０５により予めパーティショニングされていても良く、更なるパーティショニングが必要なくても良い。このような例では、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１は、バイパスされても良い。いずれの例でも、Ｉ−ピクチャパーティション（予測パーティション又は符号化パーティションとしてラベル付けされる）は、適応型変換モジュール１０８へ送信されても良い。
上述のように、幾つかの例では、Ｐ−又はＦ／Ｂ−ピクチャイントラ符号化で、１レイヤのみのパーティショニングが適用されても良く、予測パーティショニング又は符号化パーティショニングとしてラベル付けされても良い。したがって、幾つかの例では、符号化パーティション生成器１０７は、Ｐ−又はＦ／Ｂ−ピクチャタイル又はスーパーフラグメント又はフレームを、ｂｉ木符号化パーティショナモジュール１７０２によるｂｉ木パーティショニング技術を用いるパーティショニングのために受信しても良い（このような例では、ｂｉ木符号化パーティショナモジュール１７０１は、ｂｉ木予測／符号化パーティショナモジュールと考えられる）。他の例では、Ｐ−又はＦ／Ｂ−ピクチャは、予測パーティション生成器１０５により予めパーティショニングされていても良く、更なるパーティショニングが必要なくても良い。このような例では、ｂｉ木符号化パーティショナモジュール１７０２は、バイパスされても良い。いずれの例でも、Ｐ−又はＦ／Ｂ−ピクチャパーティション（予測パーティション又は符号化パーティションとしてラベル付けされる）は、適応型変換モジュール１０８へ送信されても良い。
ｂｉ木符号化パーティショナモジュール１７０２は、図１９に関して本願明細書で更に議論するように、ｂｉ木パーティショニング技術を用いて、ビデオデータを複数のパーティションにパーティショニングしても良い。ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１は、図２０に関して本願明細書で更に議論するように、ｋｄ木パーティショニング技術を用いて、ビデオデータを複数のパーティションにパーティショニングしても良い。本願明細書に上述のように、ｂｉ木符号化パーティショナモジュール１７０２は、ｂｉ木パーティショニング技術を用いて（例えば）予測誤差データパーティションを複数の符号化パーティションにパーティショニングしても良く、ｋｄ木イントラ予測／符号化パーティショナモジュール１７０１は、ｋｄ木パーティショニング技術を用いてビデオデータ（例えば、Ｉ−ピクチャタイル又はスーパーフラグメント）を複数のパーティションにパーティショニングしても良い。図１８に示すように、符号化パーティション、又はＩ−ピクチャの例では（ラベル付けされたように）符号化パーティション若しくは予測パーティションは、符号化パーティション生成モジュール１０７から適応型変換モジュール１０８へ送信されても良い。
先ずｋｄ木パーティションを例にとると、（例えば、Ｉ−ピクチャの）パーティションは、適応型変換モジュール１０８のコンテンツ適応型変換モジュール１８０２及び固定変換モジュール１８０３へ送信されても良い。例えば、タイル又はスーパーフラグメントは、パーティショニング（例えば、予測のためのパーティション）を生成するために、ｋｄ木パーティショニング技術を用いてパーティショニングされても良い。イントラ予測は、予測誤差データパーティションを生成するために元のピクセルデータとの差分を取られ得る予測パーティションを生成するために、予測のためのパーティションについて実行されても良い。上述のように、選択されたパーティショニングは、レート歪み最適化等に基づき決定されても良い。選択されたパーティショニングに関連付けられた予測誤差データパーティション（及び／又は予測パーティション）は、適応型変換モジュール１０８へ送信されても良い。上述のように、このような予測パーティションは、代替で、単一レベルのみのパーティショニングが実行できるので、符号化パーティションとしてラベル付けされても良い。
図示のように、適応型変換モジュール１０８は、コンテンツ適応型変換モジュール１８０２及び固定変換モジュール１８０３を有しても良い。例えば、コンテンツ適応型変換は、近隣ビデオデータ（例えば、近隣ブロック、パーティション、等）のデコードから決定され得るコンテンツ依存基底関数による変換、又は、上述のように、エンコーダから（例えば、ビットストリームにより）デコーダへデコードのために送信されなければならない関連変換データによる変換を有しても良く、固定変換は、固定基底関数を有し及び変換係数のみがデコードのために送信されなければならない変換を有しても良い。
幾つかの例では、コンテンツ適応型変換モジュール１８０２は、例えば、パラメータ変換、パラメータＨａａｒ変換、ハイブリッドパラメータＨａａｒ変換（例えば、一方向のパラメータＨａａｒ変換及び直交方向の離散変換）、パラメータスラント変換、ハイブリッドパラメータスラント変換、等のような適応型変換を適用しても良い。幾つかの例では、適応型変換モジュール１８０２は、閉形式ハイブリッドパラメータ変換又は閉形式ハイブリッドパラメータＨａａｒ変換を適用しても良い。図示のように、幾つかの例では、コンテンツ適応型変換モジュール１８０２は、小乃至中の大きさのパーティション又はブロックに適用されても良い。例えば、小乃至中の大きさのパーティション又はブロックは、１６ピクセル以下の高さを有し１６ピクセル以下の幅を有するパーティション又はブロックを有しても良い。例えば、小乃至中の大きさのパーティション又はブロックは、４ｘ４ピクセル、４ｘ８ピクセル、８ｘ４ピクセル、８ｘ８ピクセル、４ｘ１６ピクセル、１６ｘ４ピクセル、８ｘ１６ピクセル、１６ｘ８ピクセル、１６ｘ１６ピクセル、等の大きさを有するパーティション又はブロックを有しても良い。
幾つかの例では、固定変換モジュール１８０３は、例えば、離散コサイン変換、離散コサイン変換近似、等のような離散変換を適用しても良い。図示のように、幾つかの例では、固定変換モジュール１８０３は、中乃至大の大きさのパーティションに適用されても良い。例えば、中乃至大の大きさのパーティション又はブロックは、１６ピクセル以上の高さを有し１６ピクセル以上の幅を有するパーティション又はブロックを有しても良い。例えば、中乃至大の大きさのパーティション又はブロックは、１６ｘ１６ピクセル、１６ｘ３２ピクセル、３２ｘ１６ピクセル、３２ｘ３２ピクセル、３２ｘ６４ピクセル、６４ｘ３２ピクセル、６４ｘ６４ピクセル、等を含む（正方形及び長方形パーティションを含む）少なくとも１６ピクセルの各辺を有する多様なパーティション又はブロックを有しても良い。幾つかの例では、固定変換モジュール１８０３は、高精度整数近似を用いて離散コサイン変換を適用しても良い。
次にｂｉ木パーティションの例を考えると、符号化パーティション（例えば、Ｆ／Ｂ−及びＰ−ピクチャの符号化パーティション）は、適応型変換モジュール１０８の適応型変換モジュール１８０４及び離散変換モジュール１８０５へ送信されても良い。適応型変換モジュール１８０４及び離散変換モジュール１８０５は、適応型変換モジュール１８０２及び離散変換モジュール１８０４と同様に動作しても良く、これらの動作は簡潔さのために繰り返されない。図示のように、適応型変換モジュール１０８は、種々のビデオデータのために適正経路を選択するために、スイッチ１８０１と連動して作動し得るスイッチ１８０６も有しても良い。
コンテンツ適応型変換モジュール１８０２及び固定変換モジュール１８０３の両方に、又はコンテンツ適応型変換モジュール１８０４及び離散変換モジュール１８０５の両方に供給されるパーティション（例えば、小乃至中の大きさのパーティション）では、レート歪み最適化セレクタモジュール１７９６によるトレードオフ分析に基づき、どの変換モジュールの結果を使用するかについて決定されても良い。中乃至大の大きさのパーティションでは、依然として固定変換がこのようなパーティションに適用され得るので、エンコーダサブシステム１７００に関する性能変化は実質的に存在しない。エンコーダサブシステム１８００は、小乃至中の大きさのパーティションに関して、追加計算及び決定オーバーヘッドの犠牲を払って、符号化効率／ビット節約の観点から、最適決定を行う能力を提供できる。このようなオーバーヘッドは、変換種類（例えば、xmtyp；例えばパーティションの変換が適応型か離散型か）、変換方向（例えば、xmdir；ハイブリッド変換においてパラメータ変換が水平か垂直かを記述する）、及び／又は変換モード（例えば、xmmode；予測差分信号又は元の信号の使用のモード選択の間でイントラ符号化信号のためにのみ用いられる）指示子のセットとしてエンコードされても良い。図１８に示すように、このような指示子又はフラグ又はデータ等は、出力ビットストリーム１１１のようなビットストリーム内にエンコードするために適応型エントロピーエンコーダモジュール１１０に供給されても良い。
図１７〜１８に関して上述したように、種々のパーティション（例えば、インター予測のためのＦ／Ｂ−又はＰ−ピクチャの符号化パーティション、又はイントラ予測のためのＩ−、Ｆ／Ｂ−若しくはＰ−ピクチャの予測／符号化パーティション）は、変換符号化されても良い。このような例では、パーティションに関連付けられたデータ（例えば、パーティションの大きさ又は位置を記述するデータ）も、出力ビットストリーム１１１等のようなビットストリームにより供給されても良い。
さらに、上述のように、小、中、及び大のパーティションの概念は、種々の状況（例えば、ピクチャ種類、及び／又はルマ若しくはクロマ）で議論されている。次の表は、幾つかの実装における例示的なブロックサイズ及び関連する変換種類を示す。
例えば、表６は、ルマの（例えばｋｄ木パーティションの）イントラ符号化のための（例えばＩ−ピクチャの）ハイブリッドパラメータＨａａｒ変換のようなコンテンツ適応型変換のための例示的なパーティション又はブロック（例えば、小乃至中の大きさの予測／符号化パーティション）サイズを示す。
［表６］ルマのイントラ予測のコンテンツ適応型変換のための例示的なパーティション
Figure 2016509764
例えば、表７は、クロマの（例えばｋｄ木パーティションの）イントラ符号化のための（例えばＩ−ピクチャの）ハイブリッドパラメータＨａａｒ変換のようなコンテンツ適応型変換のための例示的なパーティション（例えば、小乃至中の大きさの予測／符号化パーティション）を示す。
［表７］クロマのイントラ予測のコンテンツ適応型変換のための例示的なパーティション
Figure 2016509764
例えば、表８は、ルマの（例えばｂｉ木パーティションの）インター符号化のための（例えばＦ／Ｂ及びＰ−ピクチャの）ハイブリッドパラメータＨａａｒ変換のようなコンテンツ適応型変換のための例示的なパーティション（例えば、小乃至中の大きさの予測／符号化パーティション）を示す。
［表８］ルマのインター予測のコンテンツ適応型変換のための例示的なパーティション
Figure 2016509764
例えば、表９は、クロマの（例えばｂｉ木パーティションの）インター符号化のための（例えばＦ／Ｂ及びＰ−ピクチャの）ハイブリッドパラメータＨａａｒ変換のようなコンテンツ適応型変換のための例示的なパーティション（例えば、小乃至中の大きさの予測／符号化パーティション）を示す。
［表９］クロマのインター予測のコンテンツ適応型変換のための例示的なパーティション
Figure 2016509764
例えば、イントラ符号化のための（例えば、ｋｄ木パーティションを用いるＩ−ピクチャの）及びインター符号化のための（例えば、ｂｉ木パーティションを用いるＦ／Ｂ及びＰ−ピクチャの）離散コサイン変換のような固定変換では（例えば、全ての符号化パーティション）、４ｘ４から６４ｘ６４までの４を因数に持つ大きさの全ての組合せは、適切な変換を有し得る。同様に、固定変換又はルマでは、２ｘ２から３２ｘ３２までの２を因数に持つ大きさの全ての組合せは、適切な変換を有し得る。
図１９は、本開示の少なくとも幾つかの実装に従って配置されたｂｉ木パーティショニング技術を用いるフレーム部分１９００の例示的なパーティショニングを示す。図示のように、幾つかの例では、フレーム部分１９００は、正方形を有しても良い。上述のように、種々の例において、フレーム部分１９００は、任意の適切な形を有しても良い。さらに、フレーム部分１９００は、本願明細書で議論したようなタイル又はスーパーフラグメント等を有しても良い。さらに、幾つかの例では、フレーム部分１９００はそれ自体が１つのパーティションであっても良く、したがって、図示のパーティションがサブパーティションと考えられる。このような例は、本願明細書で以下に更に議論するように、符号化（例えば、変換符号化）のためにサブパーティション生成モジュール１０７によりパーティションが更にパーティショニングされるとき、起こり得る。
図１９に示すように、ｂｉ木パーティショニングは、パーティショニングの行程を有しても良い。フレーム部分１９００から開始すると、パーティション１はフレーム部分１９００自体として定められる。パーティション１は、２個のパーティション２、３に垂直方向にパーティショニングされても良い。各パーティション２、３は、今度は垂直方向に、パーティション４、５（例えば、パーティション３のパーティション）及びパーティション６、７（例えば、パーティション２のパーティション）に更にパーティショニングされても良い。図１９の（上から）２番目の行は、パーティション３のパーティション８、９への更なる垂直方向のパーティショニングを、パーティション２のパーティション１０、１１への更なる垂直方向のパーティショニングを示す。図１９の（上から）３番目の行は、パーティション１からパーティション１２、１３を生成するための、（例えば、（上から）１番目の行の垂直方向のパーティショニングの代わりに）水平方向のパーティショニングを示す。図１９の（上から）３番目の行は、パーティション１４、１５（例えば、パーティション１３のパーティション）及びパーティション１６、１７（例えば、パーティション１２からのパーティション）を生成するための、パーティション１２、１３の更なる垂直方向のパーティショニングも示す。４番目又は一番下の行は、パーティション１８、１９を生成するためのパーティション１２の、及びパーティション２０、２１を生成するためのパーティション１３の、更なる垂直方向のパーティショニングを示す。図示のように、ｂｉ木パーティショニングは、最小パーティションサイズが達成されるまで、各パーティションを２個の等しいパーティションに再分割又はパーティショニングするために、１回に１次元で（例えば、水平方向又は垂直方向に）、再帰的に用いられても良い。ｂｉ木パーティショニングは、フレーム部分を種々の数の組合せにパーティショニングしても良く、パーティションの円滑な行程を提供し得る。
図２０は、本開示の少なくとも幾つかの実装に従って配置されたｋｄ木パーティショニング技術を用いるフレーム部分２０００の例示的なパーティショニングを示す。図示のように、幾つかの例では、フレーム部分２０００は、正方形を有しても良い。上述のように、種々の例において、フレーム部分２０００は、任意の適切な形を有しても良い。さらに、フレーム部分２０００は、本願明細書で議論したようなタイル又はスーパーフラグメント等を有しても良い。
図２０に示すように、ｋｄ木パーティショニングは、パーティショニングの行程を有しても良い。さらに、図示のように、ｋｄ木パーティショニングは、ｂｉ木パーティショニングのスーパーセットであっても良く、（図２０の上から開始して）図２０の行１−４が図１９の行１−４と一致し得る。幾つかの例では、図２０に示したｋｄ木パーティショニングの行程は、フレーム部分２０００を４個の長方形パーティションに特定の次元で（例えば、垂直又は水平に）繰り返し分割しても良い。フレーム部分２０００から開始すると、パーティション１はフレーム部分２０００自体として定められる。パーティション１は、２個のパーティション２、３に垂直方向にパーティショニングされても良い。各パーティション２、３は、今度は垂直方向に、パーティション４、５（例えば、パーティション３のパーティション）及びパーティション６、７（例えば、パーティション２のパーティション）に更にパーティショニングされても良い。図２０の（上から）２番目の行は、パーティション３のパーティション８、９への更なる垂直方向のパーティショニングを、パーティション２のパーティション１０、１１への更なる垂直方向のパーティショニングを示す。図２０の（上から）３番目の行は、パーティション１からパーティション１２、１３を生成するための、（例えば、（上から）１番目の行の垂直方向のパーティショニングの代わりに）水平方向のパーティショニングを示す。図２０の（上から）３番目の行は、パーティション１４、１５（例えば、パーティション１３のパーティション）及びパーティション１６、１７（例えば、パーティション１２のパーティション）を生成するための、パーティション１２、１３の更なる垂直方向のパーティショニングも示す。（上から）４番目の行は、パーティション１８、１９を生成するためのパーティション１２の、及びパーティション２０、２１を生成するためのパーティション１３の、更なる水平方向のパーティショニングを示す。
上述のように、４番目の行を通じて、ｋｄ木パーティショニングはｂｉ木パーティショニングと実質的に一致する。図２０の（上から）５番目の行に示すように、フレーム部分２０００は、パーティション２２、２３を生成するために、１／４及び３／４の大きさのパーティションにパーティショニングされても良い。さらに、パーティション２３は、パーティション２４、２５を生成するために垂直方向に半分にパーティショニングされても良く、パーティション２２は、パーティション２６、２７を形成するために垂直方向に半分にパーティショニングされても良い。図２０の６番目又は一番下の行に示すように、フレーム部分２０００は、パーティション２８、２９を生成するために、１／４及び３／４の大きさのパーティションにパーティショニングされても良い。さらに、パーティション２８は、パーティション３０、３１を生成するために水平方向に半分にパーティショニングされても良く、パーティション２９は、パーティション３２、３３を形成するために水平方向に半分にパーティショニングされても良い。このようなパーティショニング行程は、最小パーティションが達成されるまで、各パーティションを２個の等しい部分に（二分する）及び２個の等しくない部分に（例えば、１：３の比で）再分割するために、次元を変更しながら（例えば、水平及び垂直に）再帰的に繰り返されても良い。ｋｄ木パーティショニングは、パーティション及びサブパーティション（等）の中点においてだけでなく、各軸（access）上で更に正確に、フレーム部分を種々の数の組合せにパーティショニングしても良い。図示の例では、４分の１の精度（accuracy）が用いられる。他の例では、３分の１、５分の１、等の任意の精度が用いられても良い。
図１９及び２０に関して上述したように、フレーム部分は、様々なパーティションにパーティショニングされても良い。パーティションは、それぞれ、インデックス値によりインデックス付けされ、エンコード制御部１０３（図１を参照）へ送信されても良い。インデックス付けされ送信されたパーティションは、例えば何百個ものパーティションを有しても良い。１又は複数のパーティションは、図１に関して上述したように、予測及び／又は符号化（例えば、変換符号化；幾つかの例では、符号化のためのパーティションは、サブパーティションに更にパーティショニングされても良い）のために用いられても良い。例えば、Ｉ−ピクチャは、イントラ予測を用いて全体が予測されても良く、Ｐ−ピクチャは、インター及びイントラ予測を用いても良いが、インター予測は、Ｐ−ピクチャの予測の主要な供給源であっても良く、Ｆ／Ｂ−ピクチャは、インター及びイントラ予測の両方を用いても良い。例えば、エンコード制御部１０３は、インター予測及びイントラ予測動作で使用するためのパーティションを選択しても良い。インター及び／又はイントラ予測に関連するデータ及び利用されたパーティションを定めるデータは、例えば、以下に詳述するように、ビットストリーム内にエンコードされても良い。
幾つかの例では、広範なパーティショニングオプションは、制限又は制約されても良い。このような制約は、ｂｉ木又はｋｄ木パーティショニングの例に適用されても良い。例えば、フレーム部分（例えば、タイル又はスーパーフラグメント）のパーティショニングは、第１の次元（例えば、水平又は垂直）のフレーム部分を二分するとき第１のパーティションを予め定めること、及び第２の次元（例えば、第１の二分と反対）の少なくとも１つのフレーム部分を二分するとき第２の部分を予め定めることを有しても良い。更なるパーティションは、このような初期の制限されたパーティショニングの後にのみ行うことができ、例えば、初期フレーム部分に基づく他の任意のパーティションはもはや利用可能ではない。このような制約は、６４ｘ６４ピクセルフレーム部分から開始し、３２ｘ３２の大きさのサブ部分にフレーム部分を分割し、次に、各サブ部分をｋｄ木又はｂｉ木パーティショニングによりパーティショニングしても良く、これはパーティションの数を制限しても良い。
予測パーティション及び／又は符号化パーティションは、エンコーダ及び／又はデコーダによる使用のために定められても良い（例えば、それらの形及び／又は位置が定められても良い）。幾つかの例では、フレーム部分の個々の予測パーティション又は予測パーティションの符号化パーティションは、ピクセルブロックに基づくシンボル−ラン符号化を用いて定められても良い。他の例では、フレーム部分の個々の予測パーティション又は予測パーティションの符号化パーティションは、コードブックを用いて定められても良い。表１０は、タイル又はスーパーフラグメントのパ―ティションを定める際に使用するための３２ｘ３２ピクセルのフラグメントサイズを有する例示的なエントリのｂｉ木パーティショニングコードブックを示す。表１０で、大きなＸは非終端パーティションを表す。
［表１０］ｂｉ木パーティショニングコードブックエントリの例
Figure 2016509764
表１１は、タイル又はスーパーフラグメントのパーティションを定める際に使用するための３２ｘ３２ピクセルのフラグメントサイズを有する例示的なエントリのｋｄ木パーティショニングコードブックを示す。
［表１１］ｋｄ木パーティショニングコードブックエントリの例
Figure 2016509764
表１０及び１１は、例示的なコードブックエントリのみを示す。エントリの完全なコードブックは、全ての可能なエントリ及びその符号化の完全な又は実質的に完全なリストを提供し得る。幾つかの例では、コードブックは、上述の制約を考慮に入れても良い。幾つかの例では、パーティション（又はサブパーティション）のコードブックエントリに関連するデータは、本願明細書で議論するようにデコーダでの使用のためにビットストリーム内にエンコードされても良い。
上述のように、フレーム部分（例えば、タイル又はスーパーフラグメント）は、予測パーティションを生成するために、選択されたパーティショニング技術（例えば、ｂｉ木パーティショニング又はｋｄ木パーティショニング）に基づき、パーティショニングされても良い。予測パーティションは、インター予測技術及び／又はイントラ予測技術に基づくエンコードのために用いられても良い。エンコーダにより実装されるローカルデコードループは、予測パーティションを生成しても良い。予測パーティションは、予測誤差データパーティション又は残差（例えば、予測パーティションと元のピクセルデータとの間の差分）を生成するために用いられても良い。幾つかの例では、予測パーティションは符号化され、したがって、それらは実質的に同義で予測パーティション又は符号化パーティションとして記載され得る。このような例は、例えば、Ｉ−ピクチャにおけるイントラ予測の文脈で（又はＰ−及びＦ／Ｂ−ピクチャの文脈の幾つかの実装で）生じ得る。他の例では（例えば、Ｐ−及びＦ／Ｂピクチャでは）、予測誤差データパーティションは、それらがエンコードされる必要があるか否かを決定するために評価されても良く、エンコードされる必要がある場合、関連するパーティションは、符号化のために符号化パーティションに更にパーティショニングされても良い。さらに、予測パーティション及び／又は符号化パーティションは、シンボル−ラン符号化又はコードブック等を用いて特徴付けられ又は定められても良い。上述のように、記載した予測パーティション及び／又は符号化パーティション等に関連付けられたデータは、（例えば、エントロピーエンコーダにより）ビットストリーム内にエンコードされても良い。ビットストリームは、デコーダに伝達されても良い。デコーダは、表示用にビデオフレームをデコードするために、エンコード済みビットストリームを用いても良い。
図２１は、本開示の少なくとも幾つかの実装に従って配置される例示的なエンコーダフィルタリングサブシステム２１００の説明図である。図示のように、フィルタリングサブシステム２１００は、再構成ブロッキネス分析及びデブロッキングフィルタ生成器２１１７、再構成品質分析及びＬＦフィルタリング生成器２１１８、動き推定、動き補償分析及び動き補償済みＡＭフィルタ予測及び参照ピクチャ格納２１２３、イントラ予測器２１２４、予測モード分析及びモードセレクタ２１２５、及び／又は予測効率分析及び拡張予測フィルタリング生成器２１３０、を有しても良い。
図示の実装では、再構成ブロッキネス分析及びデブロッキングフィルタ生成器２１１７は、符号化中に生成されたブロッキングの分析、どのようにデブロッキングが適用されるかを制御するためのdbiパラメータの決定が可能であっても良い。
図示の実装では、再構成品質分析及びＬＦフィルタリング生成器２１１８は、ループフィルタリングの分析及び実行、lfiパラメータ（例えば、フィルタ係数、フィルタインデックス、フィルタブロックマップ、等）の決定が可能であっても良い。
図示の実装では、動き推定、動き補償分析及び動き補償済みＡＭフィルタ予測及び参照ピクチャ格納２１２３は、動き補償済み予測の向上、amiパラメータの決定が可能であっても良い。
図示の実装では、イントラ予測器２１２４は、イントラ予測の実行が可能であっても良い。
図示の実装では、予測モード分析及びモードセレクタ２１２５は、ブロック毎に種々の動き予測モードと利用可能なイントラ予測モードとの間の選択、及び予測参照の選択が可能であっても良い。
図示の実装では、予測効率分析及び拡張予測フィルタリング生成器２１３０は、フィルタリング済みバージョン及び非フィルタリング済みバージョンの両方が予測モード分析及びモードセレクタ２１２５に供給され得るように、予測信号の任意的なフィルタリングが可能であっても良い、及びepiパラメータの決定が可能であっても良い。
図２２は、本開示の少なくとも幾つかの実装により配置される例示的なデコーダサブシステム２２００の説明図である。図示のように、デコーダサブシステム２２００は、再構成デブロッキングフィルタリング生成器２２１７、再構成ＬＦフィルタリング生成器２２１８、動き補償済みＡＭフィルタリング予測及び参照ピクチャ格納２２２３、イントラ予測器２２２４、予測モードセレクタ２２２５、及び／又は予測ＥＰフィルタ生成器２２３０を有しても良い。
図示の実装では、再構成デブロッキングフィルタ生成器２２１７は、デブロッキングが可能であっても良い。再構成デブロッキングフィルタ生成器２２１７の動作は、例えば図１のエンコーダ１００から受信されるdbiパラメータにより制御されても良い。
図示の実装では、再構成ＬＦフィルタリング生成器２２１８は、ループフィルタリングの実行が可能であっても良い。再構成ＬＦフィルタリング生成器２２１８の動作は、例えば図１のエンコーダ１００から受信されるｌｆｉパラメータにより制御されても良い。
図示の実装では、動き補償済みＡＭフィルタリング予測及び参照ピクチャ格納２２２３は、ＡＭフィルタリングが可能であっても良い。動き補償済みＡＭフィルタリング予測及び参照ピクチャ格納２２２３の動作は、例えば図１のエンコーダ１００から受信されるamiパラメータにより制御されても良い。
図示の実装では、イントラ予測器２２２４は、イントラ予測の実行が可能であっても良い。
図示の実装では、予測モードセレクタ２２２５は、例えば入力ビットストリーム２０１の中のモード選択データに基づき、全ての予測方向がＰ−及びＦ／Ｂ−ピクチャに適用し得る１つのタイルの各予測方向について、「スキップ」、「自動」、「インター」、「マルチ」、及び「イントラ」の中からの予測モード選択の決定が可能であっても良い。予測モードに加えて、予測モードセレクタ２２２５は、「インター」又は「マルチ」モード、並びにＰ−及びＦ／Ｂ−ピクチャかに依存して異なり得る参照種類の選択も可能にする。
図２３は、本開示の少なくとも幾つかの実装に従って配置された例示的なエンコーダフィルタサブシステム２３００の説明図である。図示のように、エンコーダサブシステム２３００は、再構成ブロッキネス分析及びDDフィルタ生成器２３１７、再構成品質分析及びＱＲフィルタ生成器２３１８、動き推定、動き補償分析及び特性及び動き補償済みＡＰフィルタ予測及びモーフィング済み／合成済み参照ピクチャ格納２３２３、イントラ予測器２３２４、予測モード分析及びモードセレクタ２３２５、予測効率分析及びＥＩフィルタリング生成器２３３０、及び／又は予測統合分析及びＦＩフィルタ生成器２３３５を有しても良い。
図示の実装では、再構成ブロッキネス分析及びＤＤフィルタ生成器２３１７は、符号化中に生成されたブロッキングの分析、どのようにデブロッキングが適用されるかを制御するためのddiパラメータの決定が可能である。再構成ブロッキネス分析及びＤＤフィルタ生成器２３１７は、動き補償及び変換符号化のために種々のブロックサイズを用い得るエンコード済みビデオからブロッキネスを除去するために、一度に４個のピクセルに作用しても良い。再構成ブロッキネス分析及びＤＤフィルタ生成器２３１７は、統計（ＰＳＮＲ）メトリックを低減することなく、ブロッキネスの出現を更に低減できるディザリング動作も用いても良い。
図示の実装では、再構成品質分析及びＱＲフィルタ生成器２３１８は、品質復元フィルタリングの実行、ビットストリームを介してデコーダへ送信され得るqriパラメータの出力、が可能であっても良い。再構成品質分析及びＱＲフィルタ生成器２３１８は、非対称、点対称、又は９ｘ９正方形又は９ｘ９若しくは１１ｘ９係数のサブセットである形状のハイブリッド（部分的に対象であり部分的に非対称である）であっても良いウィーナーフィルタを用いても良い。再構成品質分析及びＱＲフィルタ生成器２３１８は、コードブック検索の使用により、フィルタリングオーバヘッドを最小化できる。したがって、（予測後の）計算した係数は、エンコードされ、デコーダへ送信でき、或いは、履歴フィルタ又はコードブックフィルタへのインデックスがデコーダへ送信されても良い。再構成品質分析及びＱＲフィルタ生成器２３１８は、補正項を送信することにより、コードブックからのフィルタ係数を補正しても良く、コードブックはエンコード行程の間に更新されても良い。ルマ及びクロマ信号の両方は、フィルタリングされても良く、異なる形状及びフィルタサイズを用いても良い。
図示の実装では、動き推定、動き補償分析及び特性及び動き補償済みＡＰフィルタ予測及びモーフィング／合成済み参照ピクチャ格納２３２３は、適応型精密フィルタリングの実行、及びビットストリームによりデコーダへ送信され得るapiパラメータの出力が可能であっても良い。動き推定、動き補償分析及び特性及び動き補償済みＡＰフィルタ予測及びモーフィング／合成済み参照ピクチャ格納２３２３は、１６、１／４ｐｅｌ位置の各々について明示的に計算されたフィルタを用い得るウィーナーフィルタを用いても良い。動き推定、動き補償分析及び特性及び動き補償済みＡＰフィルタ予測及びモーフィング／合成済み参照ピクチャ格納２３２３は、組み合わせ（mix and match）アプローチを用い、コードブックの中の一連の利用可能なフィルタを用いてフィルタリングの組合せを生成して、対応するフィルタにより低速な動きから高速な動き（ぼやけたコンテンツ）までのように異なる種類のコンテンツを可能にしても良い。動き推定、動き補償分析及び特性及び動き補償済みＡＰフィルタ予測及びモーフィング／合成済み参照ピクチャ格納２３２３は、複数のフィルタから、特定の１／４ｐｅｌ位置を組み合わせることから新しいフィルタの組合せを生成しても良い。
図示の実装では、イントラ予測器２３２４は、イントラ予測の実行が可能であっても良い。
図示の実装では、予測モード分析及びモードセレクタ２３２５は、ブロック毎に種々の動き予測モードと利用可能なイントラ予測モードとの間の選択、及び予測参照の選択が可能であっても良い。
図示の実装では、予測効率分析及びＥＩフィルタリング生成器２３３０は、フィルタリング済み予測信号、及びビットストリームによりデコーダへ送信され得るeiiフィルタパラメータの出力が可能であっても良い。
図示の実装では、予測統合分析及びＦＩフィルタ生成器２３３５は、予測モード分析及びモードセレクタ２３２５からの出力の受信、及びフィルタリングが予測信号をどれ位向上し、それにより符号化される実際の信号中の予測誤差を低減するかを決定するために、予測済みピクチャ（領域、又は１又は複数のスライス）の分析の実行が可能であっても良い。１つのフィルタ又は複数のフィルタが（１又は複数のブロック種類について）用いられるかを含む、フィルタリング情報は、実際のフィルタ係数、履歴へのインデックス又はコードブックに基づく予測、並びに関連する係数予測差分と一緒に、fii情報として送信されても良い。予測統合分析及びＦＩフィルタ生成器２３３５は、非対称、点対称、又は９ｘ９正方形又は９ｘ９若しくは１１ｘ９係数のサブセットである形状のハイブリッド（部分的に対象であり部分的に非対称である）であっても良いウィーナーフィルタを用いても良い。予測統合分析及びＦＩフィルタ生成器２３３５は、コードブック検索の使用により、フィルタリングオーバヘッドを最小化できる。したがって、（予測後の）計算した係数は、エンコードされ、デコーダへ送信でき、或いは、履歴フィルタ又はコードブックフィルタへのインデックスがデコーダへ送信されても良い。予測統合分析及びＦＩフィルタ生成器２３３５は、補正項を送信することにより、コードブックからのフィルタ係数を補正しても良く、コードブックはエンコード行程の間に更新されても良い。ルマ及びクロマ信号の両方は、フィルタリングされても良く、異なる形状及びフィルタサイズを用いても良い。
図２４は、本開示の少なくとも幾つかの実装により配置される例示的なデコーダサブシステム２４００の説明図である。図示のように、デコーダサブシステム２４００は、再構成ＤＤフィルタ生成器２４１７、再構成ＱＲフィルタ生成器２４１８、特性及び動き補償済みＡＰフィルタ予測及びモーフィング済み／参照ピクチャ格納２４２３、イントラ予測器２４２４、予測モードセレクタ２４２５、予測ＥＩフィルタリング生成器２４３０、及び／又は予測ＦＩフィルタ生成器２４３５を有しても良い。
図示の実装では、再構成ＤＤフィルタ生成器２４１７は、ビットストリームからデコーダにおいてデコードされるddiパラメータにより導かれる、再構成済み信号のデブロッキング及びデディザリングが可能であっても良い。
図示の実装では、再構成ＱＲフィルタ生成器２４１８は、ビットストリームからデコードされるqriフィルタリングパラメータにより導かれる、ＱＲフィルタリングの実行が可能であっても良い。
図示の実装では、特性及び動き補償済みＡＰフィルタ予測及びモーフィング済み／合成済み参照ピクチャ格納２４２３は、ビットストリームからデコードされるapiフィルタリングパラメータにより導かれる、適応型精密フィルタリングの実行が可能であっても良い。
図示の実装では、イントラ予測器２４２４は、イントラ予測の実行が可能であっても良い。
図示の実装では、予測モードセレクタ２４２５は、ブロック毎に種々の動き予測モードと利用可能なイントラ予測モードとの間の選択、及び予測参照の選択が可能であっても良い。
図示の実装では、予測ＥＩフィルタリング生成器２４３０は、エンコーダによりビットストリーム内で送信された予測モード情報に基づき、予測モード分析及びモードセレクタ２４２５による選択についてフィルタリング済み予測の生成が可能であっても良い。予測効率分析及びＥＩフィルタリング生成器２４３０は、局所的にブロック適応型であり及びビットストリームによりデコーダへ伝達されたモード情報に応答し得るフィルタリングを実行しても良い。
図示の実装では、予測ＦＩフィルタ生成器２４３５は、予測モードセレクタ２４２５から出力を受信することにより統合向上フィルタリングの実行が、及びfii情報からの誘導で、実際のフィルタリングの実行が可能であっても良い。
図２５は、本開示の少なくとも幾つかの実装に従って配置される例示的なエントロピーエンコーダモジュール１１０の説明図である。図示のように、エントロピーエンコーダモジュール１１０は、ヘッダ、パラメータ及びマップデータエンコーダモジュール２５０１、ピクチャパーティション、予測パーティション及び符号化パーティションエンコーダモジュール２５０２、符号化モード及び参照種類エンコーダモジュール２５０３、符号化済み／非符号化済みデータエンコーダモジュール２５０４、変換係数エンコーダモジュール２５０５、動きベクトル及び差動きベクトルエンコーダモジュール２５０６、イントラ予測及び方向データエンコーダモジュール２５０７、及び／又はビットストリームアセンブラモジュール２５０８、を有しても良い。本願明細書における議論では、モジュール２５０１乃至２５０７の各々は、簡潔さのために、エンコーダモジュール２５０１、エンコーダモジュール２５０４、等に短縮され得る。
図示のように、エンコーダモジュール２５０１乃至２５０７は、ビデオデータ２５１１乃至２５１７（例えば、オーバヘッドデータ２５１１、パーティショニングデータ２５１２、モード及び参照種類データ２５１３、符号化済み／非符号化済みデータ２５１４、変換データ２５１５、動きデータ２５１６、及び／又はイントラ予測データ２５１７）をそれぞれ適応型エントロピーモジュール１１０を介して受信しても良い。幾つかの例では、受信したビデオデータ２５１１乃至２５１７は、本願明細書で議論するように、エンコーダ１００の種々のモジュールから受信され得る。図示のように、エンコーダモジュール２５０１乃至２５０７は、受信したビデオデータ２５１１乃至２５１７を圧縮して、圧縮済みビデオデータ２５２１乃至２５２７を生成しても良い。圧縮済みビデオデータ２５２１乃至２５２７は、ビットストリームアセンブラ２５０８に供給されても良い。ビットストリームアセンブラ２５０８は、圧縮済みビデオデータ２５２１乃至２５２７を組み立てて、出力ビットストリーム１１１を生成しても良い。
幾つかの例では、エンコーダモジュール２５０１乃至２５０７は、それぞれ、受信したビデオデータ２５１１乃至２５１７に関連するデータ種類を効率的にエンコードする１又は複数の専門コンポーネントを有しても良い。幾つかの例では、１又は複数のエンコーダモジュール２５０１乃至２５０７は、受信したビデオデータ２５１１乃至２５１７のパラメータ、複数のパラメータ若しくは特性、又は他のシステム情報に基づき、受信したビデオデータ２５１１乃至２５１７を前処理し及び／又はエントロピー符号化技術を選択しても良い。
例えば、エンコーダモジュール２５０１は、ヘッダデータ（例えば、シーケンス及び／又はピクチャレベルビットストリームヘッダ）、モーフィングパラメータ、合成パラメータ、又はグローバルマップデータ（例えば、パーティション毎に用いられるべき量子化器を示すピクチャの量子化器マップ）を含むビデオデータ２５１１を受信しても良い。幾つかの例では、エンコーダモジュール２５０１は、適応型シンボル−ラン可変長符号化技術、適応型プロキシ可変長符号化技術、又はビデオデータ２５１１の可変長符号化テーブル若しくは複数のテーブル圧縮を実施しても良い。幾つかの例では、エンコーダモジュール２５０１は、どの技術が最大圧縮効率（例えば、圧縮済みビデオデータ２５２１のための最も少ないビット）を提供するかを決定しても良い。したがって、パーティショニングデータ２５１１に関連するパラメータは、各符号化技術などに必要なビット数であっても良い。エンコーダモジュール２５１１は、パーティショニングデータ２５１１をエントロピーエンコードして圧縮済みビデオデータ２５２１を生成しても良く、圧縮済みビデオデータ２５２１は、図示のように、ビットストリームアセンブラ２５０８へ送信されても良い。
上述のように、幾つかの例では、ビデオデータ（例えば、ビデオデータ２５１１乃至２５１７のうちの任意のもの）に関連付けられたパラメータは、最小達成可能ビット数、最大効率エンコード技術、等であっても良い。他の例では、ビデオデータに関連付けられたパラメータは、予め定められた又は予め決定されたパラメータであっても良い。したがって、エンコード技術は予め決定される。幾つかの例では、ビデオデータに関連付けられたパラメータは、ビデオデータの特性に基づいても良い。したがって、決定されたエンコード技術は、本願明細書で更に議論するように、受信したビデオデータに適応できる。
図示のように、幾つかの例では、エンコーダモジュール２５０２は、ビデオデータ２５１２を受信しても良い。ビデオデータ２５１２は、ピクチャスライス又は領域データ、イントラ予測パーティションデータ、及び／又はインター予測パーティション及び符号化パーティションデータを有しても良い。幾つかの例では、エンコーダモジュール２５０２は、イントラ予測パーティションデータ及び／又はインター予測パーティションデータに関連付けられたパラメータ（例えば、最小達成可能ビット数、最大効率符号化技術、所定のパラメータ、ビデオデータ２５１２の特性、等）に基づくビデオデータ２５１２のイントラ予測パーティションデータ及び／又はインター予測パーティションデータ部分の圧縮のために、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術を実装しても良く、エンコーダモジュール２５１２は、適応型コードブック可変長符号化を実施して、圧縮済みビデオデータ２５２２を生成しても良い。圧縮済みビデオデータ２５２２は、図示のように、ビットストリームアセンブラ２５０８へ送信されても良い。幾つかの例では、イントラ予測パーティションデータ及び／又はインター予測パーティションデータは、タイルのパーティションへのパーティショニング、パーティションのサブパーティションへのパーティショニング、等を示すデータを有しても良い。幾つかの例では、パーティション及び／又はサブパーティションは、予測パーティション及び／又はサブパーティションを有しても良い。幾つかの例では、パーティション及び／又はサブパーティションは、符号化パーティション及び／又はサブパーティションを有しても良い。
更に図示のように、幾つかの例では、エンコーダモジュール２５０３は、各予測パーティション毎にモード（例えば、イントラ、分割、スキップ、自動、インター、又はマルチ）データ及び／又は参照データを有し得るビデオデータ２５１３を受信しても良い。例えば、モード分割情報は、パーティションが更に分割されるか否かを示し得る。パーティションが更に分割される場合、モードデータは、分割が水平分割（例えば、hor）又は垂直分割（例えば、vert）かを示す方向情報を更に有しても良い。幾つかの例では、エンコーダモジュール２５０３は、データに関連付けられたパラメータ（例えば、最小達成可能ビット数、最大効率エンコード技術、所定のパラメータ、ビデオデータ２５１３の付属部分の特性、等）に基づく、分割／非分割パーティション情報データの個別符号化、分割／非分割分離情報データの個別符号化、又は予測参照情報データのための、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術を実装しても良く、エンコーダモジュール２５０３は、モード及び分離情報の共同符号化のために適応型可変長符号化を実施して、圧縮済みビデオデータ２５２３を生成しても良い。圧縮済みビデオデータ２５２３は、図示のように、ビットストリームアセンブラ２５０８へ送信されても良い。
さらに、幾つかの例では、エンコーダモジュール２５０４は、符号化済み／非符号化済みデータを有し得るビデオデータ２５１４を受信しても良い。例えば、パーティション（又はサブパーティション）は、非ゼロ変換係数を有する場合に符号化されても良く、パーティション（又はサブパーティション）は、全部ゼロの変換係数を有する場合に符号化されても良い。幾つかの例では、符号化済み／非符号化済みデータは、イントラ又はスキップモードを有するパーティションでは必要なくても良い。幾つかの例では、符号化済み／非符号化済みデータは、自動、インター又はマルチモードを有するパーティションでは必要なくても良い。幾つかの例では、エンコーダモジュール２５０４は、符号化済み／非符号化済みデータに関連するパラメータ（例えば、最小達成可能ビット数、最大効率エンコード技術、所定のパラメータ、ビデオデータ２５１４の特性、等）に基づく、符号化済み／非符号化済みデータのための、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術を実施し、圧縮済みビデオデータ２５２４を生成しても良い。圧縮済みビデオデータ２５２４は、図示のように、ビットストリームアセンブラ２５０８へ送信されても良い。
幾つかの例では、エンコーダモジュール２５０５は、変換係数データを有し得るビデオデータ２５１５を受信しても良い。例えば、符号化される（例えば、１又は複数の非ゼロ変換係数を有する）ブロック又はパーティション又はサブパーティションでは、変換係数データは、エントロピーエンコ―ディングのために受信されても良い。エンコーダモジュール２５０５は、１つの次元において２の大きさのブロック又はパーティション又はサブパーティションを有するブロック又はパーティション又はサブパーティション（例えば、２ｘＫ個のパーティション又は２ｘＫの大きさのパーティション）のための適応型ベクトル可変長符号化を実施しても良い。さらに、エンコーダモジュール２５０５は、大きさ４ｘ４のブロック又はパーティション又はサブパーティションのための適応型１次元可変長符号化、及び全ての他の大きさ（例えば、４ｘ８、８ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４、等）のブロック又はパーティション又はサブパーティションのための適応型２次元可変長符号化を実施しても良い。生成された圧縮済みビデオデータ２５２５は、図示のように、ビットストリームアセンブラ２５０８へ送信されても良い。
例えば、変換係数データは、適応型変換モジュール１０８により実施されるピクセルデータの長方形（又は正方形、等）パーティションの又はピクセル差分値の長方形（又は正方形、等）の順方向変換に由来しても良い。その後、適応型量子化モジュール１０９により、結果として生じた係数の量子化が続く。幾つかの例では、変換係数データは、エンコーダモジュール２５０５により該変換係数データを１次元周波数順序付けパーティションに変換するためにスキャンされても良い。このような変換は、任意のパーティションサイズ（例えば、２４以上又は３２以上のパーティションサイズ）、異なるデータ種類（例えば、イントラ又はインターパーティションの離散コサイン変換係数、又はハイブリッドパラメータＨａａｒ変換係数、等）、及び／又は異なる量子化器セット特性（例えば、量子化器パラメータ及び／又はマトリックスの種々の組合せ）に非常に適応できる。さらに、ブロック又はパーティション又はサブパーティションは、異なるピクチャ種類、つまりＩ−ピクチャ（例えば、イントラ補償のみ）、Ｐ−ピクチャ（例えば、予測）又はＦ−ピクチャ（例えば、機能的）に属しても良く、及び／又は異なる種類の信号又はデータ（例えば、ルマ又はクロマ等）を表しても良く、異なる量子化器設定により量子化されても良い。
さらに、幾つかの例では、エンコーダモジュール２５０６は、動きベクトルデータを有し得るビデオデータ２５１６を受信しても良い。動きベクトル予測は、ビデオデータ２５１６に基づき実行されて、１又は複数の予測済み動きベクトルを生成しても良い。予測済み動きベクトルは、異なる動きベクトルを生成するために、ビデオデータ２５１６の元の動きデータと差分を取られても良い。幾つかの例では、エンコーダモジュール２５１６は、異なる動きベクトルの適応型分類可変長符号化を実施して、圧縮済みビデオデータ２５２６を生成しても良い。圧縮済みビデオデータ２５２６は、図示のように、ビットストリームアセンブラ２５０８へ送信されても良い。
さらに、幾つかの例では、エンコーダモジュール２５０７は、イントラ予測種類又はイントラ予測方向データを有し得るビデオデータ２５１７を受信しても良い。例えば、上述のように、イントラ符号化は、空間予測を生成するために同じフレーム内の近隣の過去のデコード済みパーティションを用い得る予測を用いても良い。このような例では、過去のデコード済みパーティション又は複数のパーティションを示す予測子が存在しても良い。例えば、予測子は、dc、勾配（slope）、方向（directional）、BTPC、特徴一致、等を有しても良い。さらに、幾つかの例では、方向予測子は、異なるパーティションサイズに適応できる。例えば、方向予測子の指定は、因果関係を示す近隣のデコード済みパーティションを用いた符号化のための角度予測ピクセルパーティションを決定する技術、及び／又は空間予測方向をエントロピー符号化する技術の提供を含み得る。幾つかの例では、これらの技術は、エンコーダモジュール２５０７により実行されても良い。幾つかの例では、エンコーダモジュール２５０７は、イントラ予測種類又はイントラ予測方向データに関連するパラメータ（例えば、最小達成可能ビット数、最大効率エンコード技術、所定のパラメータ、ビデオデータ２５１７の特性、等）に基づく、イントラ予測種類又はイントラ予測方向データのための、適応型可変長符号化技術又は算術符号化技術を実施し、圧縮済みビデオデータ２５２７を生成しても良い。圧縮済みビデオデータ２５２７は、図示のように、ビットストリームアセンブラ２５０８へ送信されても良い。
図２５に示すように、適応型エントロピーエンコーダ１１０は、ビットストリームアセンブラ２５０８を有しても良い。幾つかの例では、エンコーダモジュール２５０１乃至２５０７の一部又は全部は、異なる時点において、エントロピー符号化された圧縮済みビデオデータ２５２１乃至２５２７を提供しても良い。さらに、幾つかの例では、圧縮済みビデオデータ２５２１乃至２５２７のうちの１又は複数は、ピクチャに基づくもの、領域若しくはスライスに基づくもの、タイルに基づくもの、予測パーティションに基づくもの、符号化パーティションに基づくもの、又はこれらの任意の組合せであっても良い。幾つかの例では、ビットストリームアセンブラは、圧縮済みビデオデータ２５２１乃至２５２７を（場合によっては異なる方法で）多重化して、例えば、出力ビットストリーム１１１のような有効ビットストリームを生成しても良い。例えば、有効ビットストリームは、ＮＧＶビットストリームシンタックス仕様に従い得る有効次世代ビデオ（ＮＧＶ）符号化済みビットストリームであっても良い。幾つかの例では、出力ビットストリーム１１１は、ビデオのみのビットストリームであっても良い。幾つかの例では、出力ビットストリーム１１１は、非符号化済み又は符号化済みオーディオと多重化されて（例えば、トランスポート又はメディアファイルフォーマット）、多重化済みオーディオビジュアルストリームを生成しても良い。いずれにしても、ビットストリームは、本願明細書で議論するように、ローカルデコード、記憶、又は送信に用いられ得る。
図２６は、本開示の少なくとも幾つかの実装に従って配置される例示的なエントロピーデコーダモジュール２０２の説明図である。図示のように、エントロピーデコーダモジュール２０２は、ヘッダ、パラメータ及びマップデータデコーダモジュール２６０１、ピクチャパーティション、予測パーティション及び符号化パーティションデコーダモジュール２６０２、符号化モード及び参照種類デコーダモジュール２６０３、符号化済み／非符号化済みデータデコーダモジュール２６０４、変換係数デコーダモジュール２６０５、動きベクトル及び差動きベクトルデコーダモジュール２６０６、イントラ予測及び方向データデコーダモジュール２６０７、及び／又はビットストリーム逆アセンブラモジュール２６０８、を有しても良い。本願明細書における議論では、モジュール２６０１乃至２６０７の各々は、簡潔さのために、デコーダモジュール２６０１、デコーダモジュール２６０５、等に短縮され得る。
図示のように、ビットストリーム逆アセンブラ２６０８は、入力ビットストリーム２０１を受信しても良い。幾つかの例では、入力ビットストリーム２０１は、ＮＧＶビットストリームシンタックス仕様に従い得る例えば有効次世代ビデオ（ＮＧＶ）符号化済みビットストリームのような有効ビットストリームであっても良い。幾つかの例では、入力ビットストリーム２０１は、ビデオのみのビットストリームであっても良い。幾つかの例では、入力ビットストリーム２０１は、本願明細書で議論するような多重化済みオーディオビジュアルストリームであっても良い。ビットストリーム逆アセンブラモジュール２６０８は、図示のように、圧縮済みビデオデータ２６１１乃至２６１７を決定するために、入力ビットストリーム２０１を逆アセンブルしても良い。例えば、ビットストリーム逆アセンブラモジュール２６０８は、所定のシンタックス又は仕様を用いて、デコーダモジュール２６０１による解凍のために、データ種類により入力ビットストリーム２０１を構成要素である圧縮済みビデオデータ２６１１乃至２６１７に分割しても良い。幾つかの例では、ビットストリーム逆アセンブラモジュール２６０８は、ビットストリームアセンブラモジュール２５０８に対する逆の動作を実行しても良い。
図２６に示すように、デコーダモジュール２６０１乃至２６０７は、それぞれ圧縮済みビデオデータ２６１１乃至２６１７を受信し、ビデオデータ２６２１乃至２６２７を生成しても良い。ビデオデータ２６２１乃至２６２７は、本願明細書で議論する更なるデコードのために、デコーダ２００の種々のコンポーネントへ送信されても良い。デコーダ２００は、それにより、ディスプレイ装置（図示しない）によりユーザに提示するために、ビデオフレームを生成しても良い。幾つかの例では、デコーダモジュール２６０１乃至２６０７は、それぞれ、エンコーダモジュール２５０１乃至２５０７に対して逆の動作を実行しても良い。幾つかの例では、エンコーダモジュール２６０１乃至２６０７は、それぞれ、圧縮済みビデオデータ２６１１乃至２６１７に関連するデータ種類を効率的にエントロピーエンコードする１又は複数の専門コンポーネントを有しても良い。
例えば、デコーダモジュール２６０１は、圧縮済みヘッダデータ（例えば、シーケンス及び／又はピクチャレベルビットストリームヘッダ）、モーフィングパラメータ、合成パラメータ、又はグローバルマップデータ（例えば、パーティション毎に用いられるべき量子化器を示すピクチャの量子化器マップ）を含み得る圧縮済みビデオデータ２６１１を受信しても良い。幾つかの例では、デコーダモジュール２６１１は、適応型シンボル−ラン可変長符号化技術、適応型プロキシ可変長符号化技術、又は圧縮済みビデオデータ２６１１の可変長符号化テーブル若しくは複数のテーブル解凍を実施しても良い。幾つかの例では、デコーダモジュール２６０１は、ビットストリーム２０１により提供されるパラメータ又は指示子に基づき、実施すべき符号化技術を決定しても良い。
図示のように、幾つかの例では、デコーダモジュール２６０２は、圧縮済みビデオデータ２６１２を受信しても良い。圧縮済みビデオデータ２６１２は、圧縮済みピクチャスライス又は領域データ、イントラ予測パーティションデータ、及び／又はインター予測パーティション及び符号化パーティションデータを有しても良い。幾つかの例では、デコーダモジュール２６０２は、圧縮済みビデオデータ２６１２のイントラ予測パーティションデータ及び／又はインター予測パーティションデータ部分の解凍のために、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術を実施しても良く、デコーダモジュール２６０２は、圧縮済みビデオデータ２６１２のスライス又は領域データ部分の解凍のために、適応型コードブック可変長符号化を実施して、ビデオデータ２６２２を生成しても良い。幾つかの例では、イントラ予測パーティションデータ及び／又はインター予測パーティションデータは、タイルのパーティションへのパーティショニング、パーティションのサブパーティションへのパーティショニング、等を示すデータを有しても良い。幾つかの例では、パーティション及び／又はサブパーティションは、予測パーティション及び／又はサブパーティションを有しても良い。幾つかの例では、パーティション及び／又はサブパーティションは、符号化パーティション及び／又はサブパーティションを有しても良い。幾つかの例では、デコーダモジュール２６０２は、ビットストリーム２０１により供給されるパラメータ又は指示子に基づく圧縮済みビデオデータ２６１２のイントラ予測パーティションデータ及び／又はインター予測パーティションデータ部分の解凍のために実施すべき符号化技術を決定しても良い。
さらに、幾つかの例では、デコーダモジュール２６０３は、各予測パーティション毎に圧縮済みモード（例えば、イントラ、分割、スキップ、自動、インター、又はマルチ）データ及び／又は参照データを有し得る圧縮済みビデオデータ２６１３を受信しても良い。例えば、モード分割情報は、パーティションが更に分割されるか否かを示し得る。パーティションが更に分割される場合、モードデータは、分割が水平分割（例えば、hor）又は垂直分割（例えば、vert）かを示す方向情報を更に有しても良い。幾つかの例では、デコーダモジュール２６０３は、分離／非分離パーティション情報データの個別符号化、分離／非分離分離情報データの個別符号化、又は予測参照情報データの解凍のために、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術を実施しても良く、デコーダモジュール２６０３は、モード及び分離情報の共同符号化の解凍のために適応型可変長符号化を実施して、ビデオデータ２６２３を生成しても良い。幾つかの例では、デコーダモジュール２６０３は、ビットストリーム２０１により供給されるパラメータ又は指示子に基づき、分離／非分離パーティション情報データの個別符号化、分離／非分離分離情報データの個別符号化、又は予測参照情報データの解凍のために実施すべき符号化技術を決定しても良い。
さらに、幾つかの例では、デコーダモジュール２６０４は、符号化済み／非符号化済みデータを有し得る圧縮済みビデオデータ２６１４を受信しても良い。例えば、パーティション（又はサブパーティション）は、非ゼロ変換係数を有する場合に符号化されても良く、パーティション（又はサブパーティション）は、全部ゼロの変換係数を有する場合に符号化されても良い。幾つかの例では、符号化済み／非符号化済みデータは、イントラ又はスキップモードを有するパーティションでは必要なくても良い。幾つかの例では、符号化済み／非符号化済みデータは、自動、インター又はマルチモードを有するパーティションでは必要なくても良い。幾つかの例では、デコーダモジュール２６０４は、符号化済み／非符号化済みデータの解凍のために、適応型シンボル−ラン可変長符号化技術、又は適応型プロキシ可変長符号化技術を実施して、ビデオデータ２６２４を生成しても良い。幾つかの例では、デコーダモジュール２６０４は、ビットストリーム２０１により供給されるパラメータに基づき、解凍のために実施すべき符号化技術を決定しても良い。
図示のように、幾つかの例では、デコーダモジュール２６０５は、変換係数データを有し得る圧縮済みビデオデータ２６１５を受信しても良い。例えば、符号化される（例えば、１又は複数の非ゼロ変換係数を有する）ブロック又はパーティション又はサブパーティションでは、圧縮済みビデオデータ２６１５は、変換係数データを有しても良い。幾つかの例では、デコーダモジュール２６０５は、１つの次元において２の大きさのブロック又はパーティション又はサブパーティションを有するブロック又はパーティション又はサブパーティション（例えば、２ｘＫ個のパーティション又は２ｘＫの大きさのパーティション）の解凍のための適応型ベクトル可変長符号化を実施しても良い。さらに、デコーダモジュール２６０５は、大きさ４ｘ４のブロック又はパーティション又はサブパーティションの解凍のための適応型１次元可変長符号化、及び全ての他の大きさ（例えば、４ｘ８、８ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４、等）のブロック又はパーティション又はサブパーティションの解凍のための適応型２次元可変長符号化を実施しても良い。生成されたビデオデータ２６２５は、図示のように、デコーダ２００の他のモジュールへ送信されても良い。
さらに、幾つかの例では、デコーダモジュール２６０６は、動きベクトルデータを有し得る圧縮済みビデオデータ２６１６を受信しても良い。幾つかの例では、圧縮済みビデオデータ２６１６は、予測済み差動きベクトルを生成するために、適応型分類可変長符号化美術を用いて解凍されても良い。予測済み差動きベクトルは、再構成済み動きベクトルを生成するために、動きベクトル予測に加算されても良い。動きベクトル予測は、例えばエンコーダモジュール２５０６により実施される技術の逆、及び／又は動きベクトルを用いて、近隣ブロック又はパーティションの前にデコードされた動きベクトルに基づき生成されても良い。再構成済み動きベクトルは、図示のように、ビデオデータ２６２６によりデコーダ２００の他のモジュールへ送信されても良い。
さらに、幾つかの例では、デコーダモジュール２６０７は、イントラ予測種類又はイントラ予測方向データを有し得る圧縮済みビデオデータ２６１７を受信しても良い。例えば、上述のように、イントラ符号化は、空間予測を生成するために同じフレーム内の近隣の過去のデコード済みパーティションを用い得る予測を用いても良い。このような例では、過去のデコード済みパーティション又は複数のパーティションを示す予測子が存在しても良い。例えば、予測子は、dc、slope、directional、BTPC、特徴一致、等を有しても良い。さらに、幾つかの例では、方向予測子は、異なるパーティションサイズに適応できる。例えば、方向予測子の指定は、因果関係を示す近隣のデコード済みパーティションを用いた符号化のための角度予測ピクセルパーティションを決定する技術、及び／又は空間予測方向をエントロピー符号化する技術の提供を含み得る。幾つかの例では、デコーダモジュール２６１７は、イントラ予測種類又はイントラ予測方向データの解凍のために適応型可変長符号化技術又は算術符号化技術を実施して、ビデオデータ２６２７を生成しても良い。幾つかの例では、デコーダモジュール２６０７は、ビットストリーム２０１により供給されるパラメータに基づき、解凍のために実施すべき符号化技術を決定しても良い。
上述のように、種々のエントロピー符号化技術は、様々なデータ種類に対して実施されて、ビデオデータの可逆圧縮のためにエントロピーエンコーダにおいて圧縮済みビデオデータを生成し、圧縮済みビデオデータの解凍のためにエントロピーデコーダにおいて複製ビデオデータを生成しても良い。
幾つかの例では、適応型シンボル−ラン可変長符号化技術が実施されても良い。例えば、エンコーダ及びデコーダモジュール２５０１、２６０１、２５０２、２６０２、２５０３、２６０３、及び／又は２５０４、２６０４は、ビデオデータの一部若しくは全部又は受信した圧縮済みビデオデータに対して適応型シンボル−ラン可変長符号化技術を実装しても良い。
幾つかの例では、適応型シンボル−ラン可変長符号化技術は、連続するスキップされるブロックの数を決定できるようにする、ビデオ符号化におけるフレーム内の非スキップブロック間のアドレスの相対的差分の符号化を含んでも良い。例えば、符号化済み／非符号化済みデータの文脈では、エンコーダ及びデコーダモジュール２５０４、４０４によりエンコード及びデコードされるとき、符号化済み／非符号化済み（例えば、スキップされる）ブロックを伝達するために各ブロックについて１ビット（例えば、ビットマップ）を送信する代わりに、エンコーダモジュール２５０４は、例えば、一連のスキップされるブロックをエンコードしても良い。このような実装では、一連のスキップされるブロックが長いほど、より効率的にデータが圧縮できる。
さらに、幾つかの種類の適応は、本願明細書に記載のように、適応型シンボル−ラン可変長符号化技術に追加されても良い。複数のテーブルの使用を可能にする適応、元のビットマップデータ、反転ビットマップ、差分ビットマップ、又は勾配予測ビットマップにこの種の符号化の実行の使用を可能にする適応、等である。例えば、適応型シンボル−ラン可変長符号化技術が用いられ、実質的に任意の種類のイベント（例えば、シンボル／ランの組合せ）をエントロピーエンコードしても良い。さらに、シンボル／ランイベントは、複数レベル（例えば、０、１、２、３、等）又はバイナリ（例えば、０、１）イベントを符号化するために用いられても良い。複数レベルイベントがエンコードされる例では、適応型シンボル−ラン可変長符号化技術は、連続して何回も適用されて、複数レベルマップを多数のバイナリサブマップに分解しても良い。ここで、各前のサブマップは、次のレベルのサブマップから除外される、等である。
幾つかの例では、適応型プロキシ可変長符号化技術が実施されても良い。例えば、エンコーダ及びデコーダモジュール２５０１、４０１、２５０２、４０２、２５０３、４０３、及び／又は２５０４、４０４は、ビデオデータの一部若しくは全部又は受信した圧縮済みビデオデータに対して適応型プロキシ可変長符号化技術を実装しても良い。
幾つかの例では、適応型プロキシ可変長符号化技術は、可変長符号（例えば、ビットシーケンスのパターン）を有するビットの元の固定長１Ｄブロック（例えば、グループ）の置き換えを有しても良い。したがって、置換後、結果として生じるビットストリームはサイズが小さくなる。幾つかの例では、デコーダにおいて処理は繰り返されて（又は逆処理されて）、元の所望のビットストリームを生じる。幾つかの例では、置き換えられた元のビットブロックは、固定の小さなサイズ（例えば、２ビットのグループ、３ビットのグループ、又は４ビットのグループ、等）であっても良い。幾つかの例では、置換符号は、実際は小さなサイズであり可変長であっても良い。幾つかの例では、本願明細書で議論される適応型プロキシ可変長符号化は、短いＶＬＣ（例えば、可変長符号）として特徴付けられても良い。さらに、本願明細書に記載の適応型プロキシ可変長符号化技術は、複数の置換オプションを提供することにより、コンテンツ適応型であり得る。幾つかの例では、２ビットの１次元ブロック／グループは、１〜３ビット長符号で置き換えられても良い。幾つかの例では、符号を有する３ビットの１次元ブロック／グループ（又はブロック／グループの集合）は、１〜５ビット長符号で置き換えられても良い。幾つかの例では、適応型プロキシ可変長符号化技術は、ビットストリーム内の統計的冗長性を活かしても良い。幾つかの例では、適応型プロキシ可変長符号化技術は、約１〜１．３の圧縮利得を提供しても良い。幾つかの例では、適応型プロキシ可変長符号化技術は、短いビットシーケンスへの適用に適するという利点を提供しても良い。
幾つかの例では、適応型シンボルブロック（block-of-symbols）可変長符号化技術が実施されても良い。例えば、エンコーダ及びデコーダモジュール３０５、４０５は、ビデオデータの一部若しくは全部又は受信した圧縮ビデオデータに対して適応型シンボルブロック可変長符号化技術を実施しても良い。
幾つかの例では、適応型シンボルブロック可変長符号化技術は２つのサブ符号化技術を有しても良い。例えば、適応型シンボルブロック可変長符号化技術は、適応型ベクトル可変長符号化技術及び適応型１Ｄ／２Ｄ（１次元／２次元）可変長符号化技術を有しても良い。幾つかの例では、適応型シンボルブロック可変長符号化技術は、本願明細書で議論するように変換係数のブロックのような、密接に関連するシンボルのブロックをエンコードするために用いられても良い。
幾つかの例では、適応型シンボルブロック可変長符号化技術の適応型ベクトル可変長符号化技術は、共同の単一コードワードを用いてシンボルの比較的小さい２Ｄブロック又はパーティションをエンコードし、シンボルのブロックの符号化がＶＬＣ（可変長符号化）コ―ドブックを生じるようにしても良い。幾つかの例では、ブロック又はパーティションのサイズが大きいほど、コードブックのサイズが大きい。幾つかの例では、適応型ベクトル可変長符号化技術は、１次元において２のサイズを有するブロック又はパーティション（例えば、２ｘＫ又はＫｘ２ブロック又はパーティション）に適用されても良い。適応型ベクトル可変長符号化技術をこのようなサイズのブロック又はパーティションに適用することにより、有利なことにＶＬＣコードブックのサイズが制限できる。
幾つかの例では、適応型シンボルブロック可変長符号化技術の適応型１Ｄ可変長符号化技術は、４ｘ４変換係数ブロック又はパーティションサイズの符号化のために使用され、基本的にはＣＡＶＬＣ符号器と同じである。この符号器は、４ｘ４の符号化のために主に用いられる。幾つかの例では、適応型１Ｄ可変長符号化技術は、符号化されている係数のコンテキストに基づき用いられる多数の異なるＶＬＣテーブルを有するコンテンツ適応型可変長符号化技術により実施されても良い。例えば、符号化されている係数のコンテキストに基づき、エンコード及び／又はデコーダモジュール３０５、４０５は、ＶＬＣテーブルを切り替えても良い。
幾つかの例では、適応型シンボルブロック可変長符号化技術の適応型２Ｄ可変長符号化技術は、多数の異なるＶＬＣテーブルの間でコンテキストに基づき切り替えるために、シンボルのブロックの２次元特性を利用しても良い。幾つかの例では、適応型２Ｄ可変長符号化技術は、ＣＡ２ＤＶＬＣ（コンテンツ適応型２Ｄ可変長）符号器として特徴付けられても良い。幾つかの例では、適応型２Ｄ可変長符号化技術は、２ｘＫ、Ｋｘ２ブロック及び４ｘ４ブロックに加えて全ての残りの変換係数ブロック又はパーティションサイズ（例えば、４ｘ８、８ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４、等）をエンコードするために用いられても良い。
図２７は、本開示の少なくとも幾つかの実装に従って配置される例示的な処理２７００のフロー図である。処理２７００は、１又は複数の動作２７０２、２７０４、２７０６、２７０８、２７１０、２７１２、２７１４、２７１６、２７１８、２７２０及び／又は２７２２により示されるような１又は複数の動作、関数又は作用を有し得る。処理２７００は、次世代ビデオ符号化処理の少なくとも一部を形成し得る。非限定的例によると、処理２７００は、図１のエンコーダシステム及び／又は本願明細書に記載の任意の他のエンコーダサブシステムにより行われるとき、次世代ビデオエンコード処理の少なくとも一部を形成し得る。
処理２７００は、動作２７０２で開始し、「ビデオシーケンスの入力ビデオフレームを受信する」。ここで、ビデオシーケンスの入力ビデオフレームは、例えばエンコーダ１００により受信されても良い。
処理２７００は、続いて、動作２７０４で「ピクチャ種類を各ビデオフレームに関連付ける」。ここで、ピクチャ種類は、例えばコンテンツ事前分析モジュール１０２により、ピクチャグループの中の各ビデオフレームに関連付けられても良い。例えば、ピクチャ種類は、Ｆ／Ｂ−ピクチャ、Ｐ−ピクチャ、又はＩ−ピクチャ、等であっても良い。幾つかの例では、ビデオシーケンスはピクチャグループを有しても良く、本願明細書に記載の処理（例えば、動作２７０３乃至２７１１）は、ピクチャグループの１つのフレーム又はピクチャに対して実行されても良く、ピクチャグループの全てのフレーム又はピクチャに対して繰り返されても良く、次にビデオシーケンスの中の全てのピクチャグループに対して繰り返されても良い。
処理２７００は、続いて、動作２７０６で「ピクチャをタイル及び／又はスーパーフラグメント及び可能な予測パーティショニングに分割する」。ここで、ピクチャは、例えば予測パーティション生成器１０５により、タイル又はスーパーフラグメント又は可能な予測パーティションに分割されても良い。
処理２７００は、続いて、動作２７０８で「モーフィング済み又は合成済み予測参照を生成するための変更（例えば、モーフィング又は合成）特性パラメータを決定し、予測を実行する」。ここで、変更（例えば、モーフィング又は合成）特性パラメータ及び予測が実行されても良い。例えば、モーフィング済み又は合成済み予測参照を生成するための変更（例えば、モーフィング又は合成）特性パラメータが生成され、予測が実行されても良い。
上述のように、幾つかの例では、インター予測が実行されても良い。幾つかの例では、最大４個のデコード済み過去及び／又は将来ピクチャ及び幾つかのモーフィング／合成予測は、膨大な数の参照種類（例えば、参照ピクチャ）を生成するために用いられても良い。「インター」モードの例では、最大９個の参照種類がＰ−ピクチャでサポートされ、最大１０個の参照種類がＦ／Ｂピクチャのためにサポートされ得る。さらに、「マルチ」モードは、１個の参照ピクチャの代わりに２個の参照ピクチャが用いられる一種のインター予測モードを提供でき、Ｐ−及びＦ／Ｂ−ピクチャは、それぞれ３個及び最大８個の参照種類を可能にする参照種類を可能にし得る。例えば、予測は、モーフィング技術又は合成技術のうちの少なくとも１つを用いて生成される前のデコード済みフレームに基づいても良い。このような例では、ビットストリーム（動作２７１２に関して後述する）は、予測パーティションに関連するフレーム参照、モーフィングパラメータ、又は合成パラメータを含み得る。
処理２７００は、続いて、動作２７１０で「可能な予測パーティショニングについて、可能な予測誤差を決定する」。ここで、可能な予測パーティショニング毎に、可能な予測誤差が決定されても良い。例えば、予測パーティショニング（及び関連する予測パーティション、予測、及び予測パラメータ）毎に、予測誤差が決定されても良い。例えば、可能な予測誤差の決定は、元のピクセル（例えば、予測パーティションの元のピクセルデータ）と予測ピクセルとの差分を取ることを有しても良い。幾つかの例では、関連する予測パラメータは、ソートされても良い。上述のように、幾つかの例では、予測誤差データパーティションは、モーフィング技術又は合成技術のうちの少なくとも１つを用いて生成された前のデコード済みフレームに少なくとも部分的に基づき生成された予測誤差データを有しても良い。
処理２７００は、続いて、動作２７１２で「予測パーティショニング及び予測種類を選択し、パラメータを保存する」。ここで、予測パーティショニング及び予測種類が選択され、関連するパラメータが保存されても良い。幾つかの例では、最小予測誤差を有する可能な予測パーティショニングが選択されても良い。幾つかの例では、可能な予測パーティショニングは、レート歪み最適化（ＲＤＯ）に基づき選択されても良い。
処理２７００は、続いて、動作２７１４で「可能な符号化パーティショニングに対して変換を実行する」。ここで、種々のブロックサイズによる固定又はコンテンツ適応型変換が、パーティション予測誤差データの種々の可能な符号化パーティショニングに対して実行されても良い。例えば、パーティション予測誤差データは、複数の符号化パーティションを生成するためにパーティショニングされても良い。例えば、パーティション予測誤差データは、本願明細書で議論のような符号化パーティション生成モジュール１０７のｂｉ木符号化パーティショナモジュール又はｄｋ木符号化パーティショナモジュールによりパーティショニングされても良い。幾つかの例では、Ｆ／Ｂ−又はＰ−ピクチャに関連するパーティション予測誤差データは、ｂｉ木符号化パーティショナモジュールによりパーティショニングされても良い。幾つかの例では、Ｉ−ピクチャに関連するビデオデータ（例えば、幾つかの例ではタイル又はスーパーフラグメント）は、ｋｄ木符号化パーティショナモジュールによりパーティショニングされても良い。幾つかの例では、符号化パーティショナモジュールは、スイッチ又は複数のスイッチにより選ばれ又は選択されても良い。例えば、パーティションは、符号化パーティション生成モジュール１０７により生成されても良い。
処理２７００は、続いて、動作２７１６で「最適符号化パーティショニング、変換ブロックサイズ、及び実際の変換を決定する」。ここで、最適符号化パーティショニング、変換ブロックサイズ、及び実際の変換が決定されても良い。例えば、（例えば、種々の符号化パーティションを有する）種々の符号化パーティショニングは、（上述のように、符号化パーティションが変換ブロックサイズと一致しないとき、符号化パーティションの変換ブロックへの更なる分割を含み得る）選択される符号化パーティショニングを決定するために、ＲＤＯ又は別の基礎に基づき評価されても良い。例えば、実際の変換（又は選択された変換）は、本願明細書に記載のように符号化パーティション又はブロックサイズに対して実行される任意のコンテンツ適応型変換又は固定変換を有しても良い。
処理２７００は、続いて、動作２７１８で「変換係数を量子化しスキャンする」。ここで、符号化パーティション（及び／又は変換ブロック）に関連する変換係数は、エントロピー符号化に備えて量子化されスキャンされても良い。
処理２７００は、続いて、動作２７２０で「ピクセルデータを再構成し、ピクチャにアセンブルし、参照ピクチャバッファに保存する」。ここで、ピクセルデータは、再構成され、ピクチャにアセンブルされ、参照ピクチャバッファに保存されても良い。例えば、ローカルデコードループ（符号化パーティションの逆スキャン、逆変換及びアセンブルを含む）の後に、予測誤差データパーティションが生成されても良い。予測誤差データパーティションは、再構成済み予測パーティションを生成するために、予測パーティションに追加されても良い。再構成済み予測パーティションは、タイル又はスーパーフラグメントにアセンブルされても良い。アセンブル済みタイル又はスーパーフラグメントは、任意的にデブロックフィルタリング及び／又は品質復元フィルタリングにより処理され、ピクチャを生成するためにアセンブルされても良い。ピクチャは、他の（例えば、後続の）ピクチャの予測のために参照ピクチャとして、デコード済みピクチャバッファ１１９に保存されても良い。
処理２７００は、続いて、動作２７２２で「符号化パーティション指示子、ブロックサイズデータ、変換種類データ、量子化（Qp）、及び量子化済み変換係数、動きベクトル及び参照種類データ、特性パラメータ（例えばmop、syp）を決定するために、エントロピーエンコード済みビットストリームをデコードする」。ここで、データは、エントロピーエンコードされても良い。例えば、エントロピーエンコード済みデータは、符号化パーティション指示子、ブロックサイズデータ、変換種類データ、量子化（Ｑｐ）、量子化済み変換係数、動きベクトル、及び参照種類データ、特性パラメータ（例えば、mop、syp）、等、及び／又はこれらの組合せを有しても良い。追加又は代替で、エントロピーエンコード済みデータは、予測パーティショニング、予測パラメータ、選択された符号化パーティショニング、選択された特性データ、動きベクトルデータ、量子化済み変換係数、フィルタパラメータ、（モード選択データのような）選択データ、及び指示子を有しても良い。
動作２７０２乃至２７２２は、本願明細書で議論するエンコーダシステムにより用いることができるビデオエンコード及びビットストリーム送信技術を提供できる。
図２８は、本開示の少なくとも幾つかの実装により配置される例示的なビットストリーム２８００を示す。幾つかの例では、ビットストリーム２８００は、図１に示したような出力ビットストリーム１１１及び／又は図２に示したような入力ビットストリーム２０１に対応しても良い。提示の明確さのために図２８に図示しないが、幾つかの例では、ビットストリーム２８００は、ヘッダ部分及びデータ部分を有しても良い。種々の例において、ビットストリーム２８００は、本願明細書で議論するようなビデオフレームのエンコードに関連するデータ、指示子、インデックス値、モード選択データ等を有しても良い。
上述のように、ビットストリーム２８００は、例えばエンコーダ１００のようなエンコーダにより生成され及び／又はデコード済みビデオフレームがディスプレイ装置により提示できるようにデコードのためのデコーダ２００により受信されても良い。
図２９は、本開示の少なくとも幾つかの実装に従って配置される例示的な処理２９００のフロー図である。処理２９００は、１又は複数の動作２９０２、２９０４、２９０６、２９０８、２２０９、２９１０、２９１２、及び／又は２９１４により示されるような１又は複数の動作、関数又は作用を有し得る。処理２９００は、次世代ビデオ符号化処理の少なくとも一部を形成し得る。非限定的例によると、処理２９００は、図２のデコーダシステム２００及び／又は本願明細書に記載の任意の他のエンコーダサブシステムにより行われるとき、次世代ビデオデコード処理の少なくとも一部を形成し得る。
処理２９００は、動作２９０２で開始し、「エンコード済みビットストリームを受信する」。ここで、ビットストリームは、受信されても良い。例えば、本願明細書で議論したようにエンコードされたビットストリームは、ビデオデコーダにおいて受信されても良い。幾つかの例では、ビットストリーム２８００は、デコーダ２００により受信されても良い。
処理２９００は、続いて、動作２９０４で「符号化パーティション指示子、ブロックサイズデータ、変換種類データ、量子化（Qp）、及び量子化済み変換係数、動きベクトル及び参照種類データ、特性パラメータ（例えばmop、syp）を決定するために、エントロピーエンコード済みビットストリームをデコードする」。ここで、ビットストリームは、符号化パーティション指示子、ブロックサイズデータ、変換種類データ、量子化（Qp）、量子化済み変換計数、動きベクトル及び参照種類データ、特性パラメータ（例えばmop、syp）等、及び／又はこれらの組合せを決定するためにデコードされても良い。追加又は代替で、エントロピーエンコード済みデータは、予測パーティショニング、予測パラメータ、選択された符号化パーティショニング、選択された特性データ、動きベクトルデータ、量子化済み変換係数、フィルタパラメータ、（モード選択データのような）選択データ、及び指示子を有しても良い。
処理２９００は、続いて、動作２９０６で「量子化済み係数に量子化（Qp）を適用して、逆量子化済み変換係数を生成する」。ここで、量子化（Qp）は、逆量子化済み変換係数を生成するために、量子化済み変換係数に適用されても良い。例えば、動作２９０６は、適応型逆量子化モジュール２０３により適用されても良い。
処理２９００は、続いて、動作２９０８で「符号化（又はイントラ予測済み）パーティションにおいて係数のデコード済みブロックの各々について、変換種類及びブロックサイズデータに基づき逆変換を実行して、デコード済み予測誤差パーティションを生成する」。ここで、デコード済み予測誤差パーティションを生成するために、符号化（又はイントラ予測）パーティションにおいて変換係数の各デコードブロック毎に、変換種類及びブロックサイズデータに基づく逆変換が実行されても良い。幾つかの例では、逆変換は、逆固定変換を有しても良い。幾つかの例では、逆変換は、逆コンテンツ適応型変換を有しても良い。このような例では、逆コンテンツ適応型変換の実行は、本願明細書で議論するように、デコード済みビデオデータの近隣ブロックに基づき逆コンテンツ適応型変換に関連する基底関数を決定することを有しても良い。本願明細書で議論するようなエンコードに用いられる任意の順方向変換は、関連する逆変換を用いるデコードのために使用されても良い。幾つかの例では、逆変換は、適応型逆変換モジュール２０４により実行されても良い。幾つかの例では、デコード済み予測誤差パーティションの生成は、符号化パーティションアセンブラ２０５により符号化パーティションをアセンブルすることを有しても良い。
処理２９００は、続いて、動作２０９０で「デコード済み変更特性（例えば、mop、syp）を用いて、予測のための変更済み参照を生成し、動きベクトル及び参照情報、予測済みパーティション情報、及び変更済み参照を用いて、予測済みパーティションを生成する」。ここで、予測のための変更済み参照が生成されても良く、予測済みパーティションも生成されても良い。例えば、予測のための変更済み参照はデコード済みモーフィング特性（例えば、mop、syp）に少なくとも部分的に基づき生成されても良く、予測済みパーティションは動きベクトル及び参照情報、予測済みパーティション情報、及び変更済み参照に少なくとも部分的に基づき生成されても良い。
処理２９００は、続いて、動作２９１０で「予測パーティションをデコード済み予測誤差データパーティションに追加して、再構成済みパーティションを生成する」。ここで、予測パーティションは、再構成済み予測パーティションを生成するために、デコード済み予測誤差データパーティションに加算されても良い。例えば、デコード済み予測誤差データパーティションは、加算器２０６により関連する予測パーティションに加算されても良い。
処理２９００は、続いて、動作２９１２で「再構成済みパーティションをアセンブルして、タイル又はスーパーフラグメントを生成する」。ここで、再構成済み予測パーティションは、タイル又はスーパーフラグメントを生成するためにアセンブルされても良い。例えば、再構成済み予測パーティションは、予測パーティションアセンブラモジュール２０７によりタイル又はスーパーフラグメントを生成するためにアセンブルされても良い。
処理２９００は、続いて、動作２９１４で「ピクチャのタイル又はスーパーフラグメントをアセンブルして、完全なデコード済みピクチャを生成する」。ここで、ピクチャのタイル又はスーパーフラグメントは、完全なデコード済みピクチャを生成するためにアセンブルされても良い。例えば、任意的なデブロックフィルタリング及び／又は品質復元フィルタリングの後に、タイル又はスーパーフラグメントは、完全なデコード済みピクチャを生成するためにアセンブルされても良い。完全なデコード済みピクチャは、デコード済みピクチャバッファ２１０により格納され、及び／又は適応型ピクチャ再編成モジュール２１７及びコンテンツ事後復元モジュール２１８による処理の後にディスプレイ装置により提示するために送信されても良い。
本願明細書に記載のシステムの種々のコンポーネントは、ソフトウェア、ファームウェア及び／又はハードウェア、及び／又はそれらの任意の組合せで実装されても良い。例えば、種々のコンポーネントは、少なくとも部分的に、例えばスマートフォンのようなコンピューティングシステムに見られるコンピューティングＳｏＣ（System-on-a-Chip）のハードウェアにより設けられても良い。当業者は、本願明細書に記載のシステムが対応する図に示されない追加コンポーネントを有しても良いことを理解できる。例えば、本願明細書で議論したシステムは、ビットストリームマルチプレクサ又はデマルチプレクサモジュールのような及び明確さの目的で図示されない追加コンポーネントを有しても良い。
本願明細書の例示的な処理の実施は説明した順序で示された全ての動作の実行を有しても良いが、本開示はこれに関して限定されず、様々な例において、本願明細書における例示的な処理の実施は、示した動作の一部のみの及び／又は図示と異なる順序での実行を有しても良い。
処理２７００、２９００及び本願明細書で議論した他の処理に関連する幾らかの追加及び／又は代替の詳細事項は、本願明細書で議論した実装の１又は複数の例において、特に以下の図２３に関して図示され得る。
図３０Ａ、３０Ｂ、３０Ｃは、本開示の少なくとも幾つかの実装に従って配置された、例示的なビデオ符号化システム１３０００及び動作中のビデオ符号化処理３０００の説明図を提供する。図示の実装では、処理３０００は、作用３００１乃至３０７６のうちの１又は複数により図示されるような１又は複数の動作、関数又は作用を有しても良い。非限定的な例によると、処理３０００は、図３１に関して以下に詳述されるように、図１のエンコーダ１００及び図２のデコーダ２００を含む例示的なビデオ符号化システム１３００、及び／又は本願明細書に記載の他のエンコーダ及びデコーダシステム及びサブシステムに関して本願明細書に記載される。様々な例において、処理３０００は、エンコーダ及びデコーダの両方を含むシステムにより、又はエンコーダ（及び任意的にデコーダ）を用いる１つのシステムとデコーダ（及び任意的にエンコーダ）を用いるもう１つのシステムとを有する別個のシステムにより、行われても良い。留意すべきことに、上述のように、エンコーダは、エンコーダシステムの一部としてローカルデコーダを用いるローカルデコードループを有しても良い。
図示の実装では、ビデオ符号化システム１３０００は、論理回路３０５０等、及び／又はそれらの組合せを有しても良い。例えば、論理回路３０５０は、図１のエンコーダシステム１００及び／又は図２のデコーダシステム２００を有しても良く、本願明細書に記載の任意のエンコーダシステム及びサブシステム及び／又はデコーダシステム及びサブシステムに関して議論したような任意のモジュールを有しても良い。ビデオ符号化システム１３０００は、図３０Ａ〜Ｃに示すように、特定のモジュールに関連する１つの特定のブロック又は作用セットを有し得るが、これらのブロック又は作用は、ここで図示する特定のモジュールとは異なるモジュールに関連付けられても良い。処理３０００は図示のようにエンコード及びデコードを対象としているが、記載の概念及び／又は動作は、エンコード及び／又はデコードに別個に、及びより一般的にはビデオ符号化に、適用されても良い。
処理３０００は、動作３００１で開始し、「ビデオシーケンスの入力ビデオフレームを受信する」。ここで、ビデオシーケンスの入力ビデオフレームは、例えばエンコーダ１００により受信されても良い。
処理３０００は、続いて、動作３００２で「ピクチャ種類をピクチャグループの中の各ビデオフレームに関連付ける」。ここで、ピクチャ種類は、例えばコンテンツ事前分析モジュール１０２により、ピクチャグループの中の各ビデオフレームに関連付けられても良い。例えば、ピクチャ種類は、Ｆ／Ｂ−ピクチャ、Ｐ−ピクチャ、又はＩ−ピクチャ、等であっても良い。幾つかの例では、ビデオシーケンスはピクチャグループを有しても良く、本願明細書に記載の処理（例えば、動作３００３乃至３０１１）は、ピクチャグループの１つのフレーム又はピクチャに対して実行されても良く、ピクチャグループの全てのフレーム又はピクチャに対して繰り返されても良く、次にビデオシーケンスの中の全てのピクチャグループに対して繰り返されても良い。
処理３０００は、続いて、動作３００３で「ピクチャをタイル及び／又はスーパーフラグメント及び可能な予測パーティショニングに分割する」。ここで、ピクチャは、例えば予測パーティション生成器１０５により、タイル又はスーパーフラグメント又は可能な予測パーティションに分割されても良い。
処理３０００は、続いて、動作３００４で「各可能な予測パーティショニングについて、予測を実行し、予測パラメータを決定する」。ここで、各可能な予測パーティショニング毎に、予測が実行されても良く、予測パラメータが決定されても良い。例えば、一連の可能な予測パーティショニング（それぞれ、種々の予測パーティションを有する）が生成されても良く、関連する予測及び予測パラメータが決定されても良い。例えば、予測は、特性及び動きに基づく複数参照予測又はイントラ予測を用いる予測を有しても良い。
上述のように、幾つかの例では、インター予測が実行されても良い。幾つかの例では、最大４個のデコード済み過去及び／又は将来ピクチャ及び幾つかのモーフィング／合成予測は、膨大な数の参照種類（例えば、参照ピクチャ）を生成するために用いられても良い。「インター」モードの例では、最大９個の参照種類がＰ−ピクチャでサポートされ、最大１０個の参照種類がＦ／Ｂピクチャのためにサポートされ得る。さらに、「マルチ」モードは、１個の参照ピクチャの代わりに２個の参照ピクチャが用いられる一種のインター予測モードを提供でき、Ｐ−及びＦ／Ｂ−ピクチャは、それぞれ３個及び最大８個の参照種類を可能にする参照種類を可能にし得る。例えば、予測は、モーフィング技術又は合成技術のうちの少なくとも１つを用いて生成される前のデコード済みフレームに基づいても良い。このような例では、ビットストリーム（動作３０１２に関して後述する）は、予測パーティションに関連するフレーム参照、モーフィングパラメータ、又は合成パラメータを含み得る。
処理３０００は、続いて、動作３００５で「各可能な予測パーティショニングについて、可能な予測誤差を決定する」。ここで、可能な予測パーティショニング毎に、可能な予測誤差が決定されても良い。例えば、予測パーティショニング（及び関連する予測パーティション、予測、及び予測パラメータ）毎に、予測誤差が決定されても良い。例えば、可能な予測誤差の決定は、元のピクセル（例えば、予測パーティションの元のピクセルデータ）と予測ピクセルとの差分を取ることを有しても良い。幾つかの例では、関連する予測パラメータは、ソートされても良い。上述のように、幾つかの例では、予測誤差データパーティションは、モーフィング技術又は合成技術のうちの少なくとも１つを用いて生成された前のデコード済みフレームに少なくとも部分的に基づき生成された予測誤差データを有しても良い。
処理３０００は、続いて、動作３００６で「予測パーティショニング及び予測種類を選択し、パラメータを保存する」。ここで、予測パーティショニング及び予測種類が選択され、関連するパラメータが保存されても良い。幾つかの例では、最小予測誤差を有する可能な予測パーティショニングが選択されても良い。幾つかの例では、可能な予測パーティショニングは、レート歪み最適化（ＲＤＯ）に基づき選択されても良い。
処理３０００は、続いて、動作３００７で「パーティション予測誤差データの種々の可能な符号化パーティショニングに対して、種々のブロックサイズにより固定又はコンテンツ適応型変換を実行する」。ここで、種々のブロックサイズによる固定又はコンテンツ適応型変換が、パーティション予測誤差データの種々の可能な符号化パーティショニングに対して実行されても良い。例えば、パーティション予測誤差データは、複数の符号化パーティションを生成するためにパーティショニングされても良い。例えば、パーティション予測誤差データは、本願明細書で議論のような符号化パーティション生成モジュール１０７のｂｉ木符号化パーティショナモジュール又はｄｋ木符号化パーティショナモジュールによりパーティショニングされても良い。幾つかの例では、Ｆ／Ｂ−又はＰ−ピクチャに関連するパーティション予測誤差データは、ｂｉ木符号化パーティショナモジュールによりパーティショニングされても良い。幾つかの例では、Ｉ−ピクチャに関連するビデオデータ（例えば、幾つかの例ではタイル又はスーパーフラグメント）は、ｋｄ木符号化パーティショナモジュールによりパーティショニングされても良い。幾つかの例では、符号化パーティショナモジュールは、スイッチ又は複数のスイッチにより選ばれ又は選択されても良い。例えば、パーティションは、符号化パーティション生成モジュール１０７により生成されても良い。
処理３０００は、続いて、動作３００８で「最適符号化パーティショニング、変換ブロックサイズ、及び実際の変換を決定する」。ここで、最適符号化パーティショニング、変換ブロックサイズ、及び実際の変換が決定されても良い。例えば、（例えば、種々の符号化パーティションを有する）種々の符号化パーティショニングは、（上述のように、符号化パーティションが変換ブロックサイズと一致しないとき、符号化パーティションの変換ブロックへの更なる分割を含み得る）選択される符号化パーティショニングを決定するために、ＲＤＯ又は別の基礎に基づき評価されても良い。例えば、実際の変換（又は選択された変換）は、本願明細書に記載のように符号化パーティション又はブロックサイズに対して実行される任意のコンテンツ適応型変換又は固定変換を有しても良い。
処理３０００は、続いて、動作３００９で「変換係数を量子化しスキャンする」。ここで、符号化パーティション（及び／又は変換ブロック）に関連する変換係数は、エントロピー符号化に備えて量子化されスキャンされても良い。
処理３０００は、続いて、動作３０１１で「各タイル又はスーパーフラグメントに関連するデータをエントロピーエンコードする」。ここで、各タイル又はスーパーフラグメントに関連するデータは、エントロピーエンコードされても良い。例えば、各ビデオシーケンスの各ピクチャグループの各ピクチャの各タイル又はスーパーフラグメントに関連するデータは、エントロピーエンコードされても良い。エントロピーエンコード済みデータは、予測パーティショニング、予測パラメータ、選択された符号化パーティショニング、選択された特性データ、動きベクトルデータ、量子化済み変換係数、フィルタパラメータ、（モード選択データのような）選択データ、及び指示子を有しても良い。
処理３０００は、続いて、動作３０１２で「ビットストリームを生成する」。ここで、ビットストリームは、エントロピーエンコード済みデータに基づき生成されても良い。上述のように、幾つかの例では、ビットストリームは、予測パーティションに関連するフレーム又はピクチャ参照、モーフィングパラメータ、又は合成パラメータを有しても良い。
処理３０００は、続いて、動作３０１３で「ビットストリームを送信する」。ここで、ビットストリームは、送信されても良い。例えば、ビデオ符号化システム１３０００は、出力ビットストリーム１１１、ビットストリーム２１００、等をアンテナ３１０２（図３１を参照のこと）により送信しても良い。
処理３０００は、続いて、動作３０２０で「ピクセルデータを再構成し、ピクチャにアセンブルし、参照ピクチャバッファに保存する」。ここで、ピクセルデータは、再構成され、ピクチャにアセンブルされ、参照ピクチャバッファに保存されても良い。例えば、ローカルデコードループ（符号化パーティションの逆スキャン、逆変換及びアセンブルを含む）の後に、予測誤差データパーティションが生成されても良い。予測誤差データパーティションは、再構成済み予測パーティションを生成するために、予測パーティションに追加されても良い。再構成済み予測パーティションは、タイル又はスーパーフラグメントにアセンブルされても良い。アセンブル済みタイル又はスーパーフラグメントは、任意的にデブロックフィルタリング及び／又は品質復元フィルタリングにより処理され、ピクチャを生成するためにアセンブルされても良い。ピクチャは、他の（例えば、後続の）ピクチャの予測のために参照ピクチャとして、デコード済みピクチャバッファ１１９に保存されても良い。
処理３０００は、続いて、動作３０２２で「デコード済み予測参照ピクチャを生成する」。ここで、デコード済み予測参照ピクチャは、デコードされても良い。例えば、デコード済み（又は最終デコード済み）タイル又はスーパーフラグメントは、デコード済みビデオピクチャを生成するためにアセンブルされても良く、デコード済みビデオピクチャは、将来の予測で使用するために参照ピクチャバッファ（例えば、デコード済みピクチャバッファ１１９）に保存されても良い。
処理３０００は、続いて、動作３０２３で「変更特性パラメータを生成する」。ここで、変更済み特性パラメータが生成されても良い。例えば、第２の変更済み予測参照ピクチャ及び該第２の変更済み予測参照ピクチャに関連する第２の変更特性パラメータは、第２のデコード済み予測参照ピクチャに少なくとも部分的に基づき生成されても良い。ここで、第２の変更済み参照ピクチャは、第１の変更済み参照ピクチャと異なる種類であっても良い。
処理３０００は、続いて、動作３０２４で「変更済み予測参照ピクチャを生成する」。ここで、変更済み予測参照ピクチャは、例えば、生成された第１の変更済み予測参照ピクチャ及び該第１の変更済み予測参照ピクチャに関連する第１の変更特性パラメータであっても良く、第１のデコード済み予測参照ピクチャに少なくとも部分的に基づき生成されても良い。
処理３０００は、続いて、動作３０２５で「動きデータを生成する」。ここで、動き推定データが生成されても良い。例えば、現在ピクチャの予測パーティションに関連する動きデータは、第１の変更済み予測参照ピクチャ又は第２の変更済み予測参照ピクチャのうちの１つに少なくとも部分的に基づき生成されても良い。
処理３０００は、続いて、動作３０２６で「動き補償を実行する」。ここで、動き補償が実行されても良い。例えば、動き補償は、予測パーティションの予測パーティションデータを生成するために、第１の変更済み予測参照ピクチャ又は第２の変更済み予測参照ピクチャのうちの１つに少なくとも部分的に基づき実行されても良い。処理３０００は、この情報を動作３０５９にフィードバックしても良い。動作３０５９では、各デコード済み予測誤差パーティション（例えば、ゼロ予測誤差パーティションを含む）は、再構成済み予測パーティションを生成するために、対応する予測パーティションに加算されても良い。
動作３００１乃至３０２６は、本願明細書で議論するエンコーダシステムにより用いることができるビデオエンコード及びビットストリーム送信技術を提供できる。以下の動作、動作３０５４乃至３０７６は、本願明細書で議論するようなデコーダにより用いられ得るビデオデコード及びビデオディスプレイ技術を提供できる。
処理３０００は、続いて、動作３０５４で「ビットストリームを受信する」。ここで、ビットストリームは、受信されても良い。例えば、入力ビットストリーム、ビットストリーム２１００、等は、デコーダ２００により受信されても良い。幾つかの例では、ビットストリームは、上述のような符号化パーティション、１又は複数の指示子、及び／又は符号化パーティションを定めるデータに関連するデータを有しても良い。幾つかの例では、ビットストリームは、予測パーティショニング、予測パラメータ、選択された符号化パーティショニング、選択された特性データ、動きベクトルデータ、量子化済み変換係数、フィルタパラメータ、（モード選択データのような）選択データ、及び指示子を有しても良い。
処理３０００は、続いて、動作３０５５で「ビットストリームをデコードする」。ここで、受信したビットストリームは、例えば、適応型エントロピーデコーダモジュール２０２によりデコードされても良い。例えば、受信したビットストリームは、予測パーティショニング、予測パラメータ、選択された符号化パーティショニング、選択された特性データ、動きベクトルデータ、量子化済み変換係数、フィルタパラメータ、（モード選択データのような）選択データ、及び指示子を決定するために、エントロピーデコードされても良い。
処理３０００は、続いて、動作３０５６で「各符号化パーティションの各ブロックに対して逆スキャン及び逆量子化を実行する」。ここで、逆スキャン及び逆量子化は、処理中の予測パーティションの各符号化パーティションの各ブロックに対して実行されても良い。例えば、逆スキャン及び逆量子化は、適応型逆量子化モジュール２０３により実行されても良い。
処理３０００は、続いて、動作３０５７で「変換係数をデコードしてデコード済み予測誤差データパーティションを決定するために、固定又はコンテンツ適応型逆変換を実行する」。ここで、固定又はコンテンツ適応型逆変換は、変換係数をデコードしてデコード済み予測誤差データパーティションを決定するために実行されても良い。例えば、逆変換は、ハイブリッドパラメータＨａａｒ逆変換のような逆コンテンツ適応型変換を有し、ハイブリッドパラメータＨａａｒ逆変換がパラメータ変換方向の方向のパラメータＨａａｒ逆変換及びパラメータ変換方向と直交する方向の離散コサイン逆変換を有するようにしても良い。幾つかの例では、固定逆変換は、離散コサイン逆変換又は離散コサイン逆変換近似を有しても良い。例えば、固定又はコンテンツ適応型変換は、適応型逆変換モジュール２０４により実行されても良い。上述のように、コンテンツ適応型逆変換は、例えばデコード済み近隣パーティション又はブロックのような他の前のデコード済みデータに基づいても良い。幾つかの例では、デコード済み予測誤差データパーティションの生成は、符号化パーティションアセンブラモジュール２０５によりデコード済み符号化パーティションをアセンブルすることを有しても良い。
処理３０００は、続いて、動作３０５８で「各予測パーティション毎に予測ピクセルデータを生成する」。ここで、予測ピクセルデータは、各予測パーティション毎に生成されても良い。例えば、予測ピクセルデータは、（例えば、特性及び動きに基づき）選択された（又はイントラ、又は他の種類）予測種類及び関連する予測パラメータを用いて生成されても良い。
処理３０００は、続いて、動作３０５９で「各デコード済み予測誤差パーティションに対応する予測パーティションを追加して、再構成済み予測パーティションを生成する」。ここで、各デコード済み予測誤差パーティション（例えば、ゼロ予測誤差パーティションを含む）は、再構成済み予測パーティションを生成するために、対応する予測パーティションに加算されても良い。例えば、予測パーティションは、図２に示すデコードループにより生成され、加算器２０６によりデコード済み予測誤差パーティションに加算されても良い。
処理３０００は、続いて、動作３０６０で「再構成済み予測パーティションをアセンブルして、デコード済みタイル又はスーパーフラグメントを生成する」。ここで、再構成済み予測パーティションは、デコード済みタイル又はスーパーフラグメントを生成するためにアセンブルされても良い。例えば、予測パーティションは、予測パーティションアセンブラモジュール２０７によりデコード済みタイル又はスーパーフラグメントを生成するためにアセンブルされても良い。
処理３０００は、続いて、動作３０６１で「デブロックフィルタリング及び／又はＱＲフィルタリングを適用して、最終デコード済みタイル又はスーパーフラグメントを生成する」。ここで、任意的なデブロックフィルタリング及び／又は品質復元フィルタリングは、最終デコード済みタイル又はスーパーフラグメントを生成するために、デコード済みタイル又はスーパーフラグメントに適用されても良い。例えば、任意的なデブロックフィルタリングは、デブロックフィルタリングモジュール２０８により適用されても良く、及び／又は任意的な品質復元フィルタリングは、品質復元フィルタリングモジュール２０９により適用されても良い。
処理３０００は、続いて、動作３０６２で「デコード済みタイル又はスーパーフラグメントをアセンブルして、デコード済みビデオピクチャを生成し、参照ピクチャバッファに保存する」。ここで、デコード済み（又は最終デコード済み）タイル又はスーパーフラグメントは、デコード済みビデオピクチャを生成するためにアセンブルされても良く、デコード済みビデオピクチャは、将来の予測で使用するために参照ピクチャバッファ（例えば、デコード済みピクチャバッファ２１０）に保存されても良い。
処理３０００は、続いて、動作３０６３で「ディスプレイ装置による提示のために、デコード済みビデオフレームを送信する」。ここで、デコード済みビデオフレームは、ディスプレイ装置による提示のために送信されても良い。例えば、デコード済みビデオピクチャは、適応型ピクチャ再編成器２１７及びコンテンツ事後復元モジュール２１８により更に処理され、ユーザへの提示のために、ディスプレイビデオ２１９のビデオフレームとしてディスプレイ装置へ送信されても良い。例えば、ビデオフレームは、提示のために（図２４に示すように）ディスプレイ装置２４０５へ送信されても良い。
処理３０００は、続いて、動作３０７２で「デコード済み予測参照ピクチャを生成する」。ここで、デコード済み予測参照ピクチャは、デコードされても良い。例えば、デコード済み符号化パーティションは、デコード済み予測誤差データパーティションを生成するためにアセンブルされても良く、デコード済みビデオピクチャ（例えば、第３のデコード済み予測参照ピクチャ及び第４のデコード済み予測参照ピクチャが生成されても良い）は、将来の予測で使用するために参照ピクチャバッファに保存されても良い。
処理３０００は、続いて、動作３０７４で「変更済み予測参照ピクチャを生成する」。ここで、変更済み予測参照ピクチャが生成されても良く、例えば、第３の変更済み予測参照ピクチャの少なくとも一部は、第３の変更特性パラメータに少なくとも部分的に基づき生成されても良い。同様に、第４の変更済み予測参照ピクチャの少なくとも一部は、関連する第２の変更特性パラメータの少なくとも部分的に基づき生成されても良い。
処理３０００は、続いて、動作３０７５で「動きデータを生成する」。ここで、動き推定データが生成されても良い。例えば、現在ピクチャの予測パーティションに関連する動きデータは、第３の変更済み予測参照ピクチャ又は第３の変更済み予測参照ピクチャのうちの１つに少なくとも部分的に基づき生成されても良い。
処理３０００は、続いて、動作３０７６で「動き補償を実行する」。ここで、動き補償が実行されても良い。例えば、動き補償は、予測パーティションの予測パーティションデータを生成するために、第３の変更済み予測参照ピクチャ又は第４の変更済み予測参照ピクチャのうちの１つに少なくとも部分的に基づき実行されても良い。処理３０００は、この情報を動作３０５９にフィードバックしても良い。動作３０５９では、各デコード済み予測誤差パーティション（例えば、ゼロ予測誤差パーティションを含む）は、再構成済み予測パーティションを生成するために、対応する予測パーティションに加算されても良い。
処理３０００は、本願明細書で議論するような符号器システムのうちの任意のものにより実施されても良い。さらに、処理３０００は、予測誤差データパーティション、元のデータパーティション、又はウェーブレットデータ等のようなビデオデータの任意の数のインスタンスに対して直列に又は並列に繰り返されても良い（例えば、動作３００１で、処理３０００は、記載の予測誤差データパーティションと同様に処理するために元のデータ又はウェーブレットデータを受信しても良い）。
動作中、処理３０００は、コンピュータにより実施されるビデオ符号化方法として動作しても良く、第１の種類の第１のビデオフレーム及び第２の種類の第２のビデオフレームを第１の複数のタイル又はスーパーフラグメント及び第２の複数のタイル又はスーパーフラグメントにセグメント化するステップを有する。第１の複数のタイル又はスーパーフラグメントは、第１のパーティショニング技術を用いてパーティショニングされても良く、第２の複数のタイル又はスーパーフラグメントは、第２のパーティショニング技術を用いてパーティショニングされても良い。ここで、第１及び第２のパーティショニング技術は異なる。選択された予測パーティショニング及び関連する複数の予測パーティションは、第２のビデオフレームについて決定されても良い。第１の再構成済みタイル又はスーパーフラグメントが生成されても良い。デブロックフィルタリングパラメータ及び第１の最終再構成済みタイル又はスーパーフラグメントは、第１の再構成済みタイル又はスーパーフラグメント及びデブロックフィルタリングパラメータに少なくとも部分的に基づき生成されても良い。第１の最終再構成済みタイル又はスーパーフラグメント及び第２の最終再構成済みタイル又はスーパーフラグメントは、第１のデコード済み予測参照ピクチャを生成するためにアセンブルされても良い。モーフィング特性パラメータ及びモーフィング済み予測参照ピクチャは、モーフィング特性パラメータ及び第１のデコード済み参照ピクチャに少なくとも部分的に基づき生成されても良い。合成特性パラメータ及び合成済み予測参照ピクチャは、合成特性パラメータ及び第１のデコード済み参照ピクチャ又は第２のデコード済み参照ピクチャに少なくとも部分的に基づき生成されても良い。モード及び参照種類は、複数の予測パーティションの各々について決定されても良い。複数の予測パーティションに関連する動きデータは、モーフィング済み予測参照ピクチャ又は合成済み予測参照ピクチャのうちの１つに少なくとも部分的に基づき生成されても良い。動き補償は、複数の予測パーティションについて複数の予測済みパーティションを生成するために、動きデータと、モーフィング済み予測参照ピクチャ又は合成済み予測参照ピクチャのうちの少なくとも１つとに基づき、実行されても良い。複数の予測済みパーティションは、対応する複数の予測誤差データパーティションを生成するために、対応する元のピクセルデータとの差分を取られても良い。複数の予測誤差データパーティションの予測誤差データパーティションの部分集合は、エンコードされる必要があると決定される。予測誤差データパーティションの部分集合の個々の予測誤差データパーティションは、選択された符号化パーティショニング及び関連する複数の符号化パーティションにパーティショニングされても良い。変換係数を生成するために、コンテンツ適応型変換は１又は複数の第１の符号化パーティションに対して実行されても良く、固定変換は複数の符号化パーティショニングのうちの１又は複数の第２の符号化パーティションに対して実行されても良い。変換係数は、量子化済み変換係数を生成するために量子化されても良い。第１及び第２の種類に関連付けられたフレームデータ、モード及び参照種類に関連付けられたモードデータ、選択された予測パーティショニングに関連付けられた予測パーティショニング指示子又は予測パーティショニングコードワード、選択された符号化パ―ティショニングに関連付けられた符号化パーティショニング指示子又は符号化パーティショニングコードワード、動きデータ、量子化済み変換係数、モーフィング特性パラメータ、合成特性パラメータ、及びデブロックフィルタリングパラメータは、ビットストリームにエントロピーエンコードされても良い。
別の例では、コンピュータにより実施されるビデオ符号化方法は、デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及びインループフィルタリング又は品質復元フィルタリングパラメータを生成するステップと、デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータと、インループフィルタリング又は品質復元フィルタリングパラメータと、第２の再構成済みタイル又はスーパーフラグメントとに少なくとも部分的に基づき、第２の最終再構成済みタイル又はスーパーフラグメントを生成するステップと、を更に有しても良い。第１のデコード済み予測参照ピクチャは、ピクチャバッファに格納されても良い。ここで、動き補償を実行するステップは、適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを生成するステップと、適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを用いて適応型動き又は適応型精密フィルタリングに少なくとも部分的に基づき動き補償を実行するステップと、を有しても良い。拡張予測パラメータ及び拡張予測パーティションは、予測済みパーティション及び拡張予測パラメータに基づき生成されても良い。拡張予測済みパーティション又は予測済みパーティションを予測パーティションのための選択された予測済みパーティションとして用いるか否かが決定されても良い。選択された予測済みパーティションが拡張予測パラメータをビットストリームにエントロピーエンコードする拡張予測済みパーティションを有するとき、統合フィルタリング又は統合向上フィルタリングを選択された予測済みパーティションに適用するか否かが決定されても良い。統合フィルタリング又は統合向上フィルタリングが選択された予測済みパーティションに適用されるとき、選択された予測済みパーティション及び第２の選択された予測済みパーティションは、アセンブル済みピクチャの少なくとも一部を生成するためにアセンブルされても良い。統合フィルタリング又は統合向上フィルタリングが選択された予測済みパーティションに適用されるとき、統合フィルタリング又は統合向上フィルタリングパラメータが生成されても良く、アセンブル済みピクチャの一部は、統合フィルタリングパラメータ又は統合向上フィルタリングパラメータに少なくとも部分的に基づき、統合フィルタリング又は統合向上フィルタリングされても良い。統合フィルタリング又は統合向上フィルタリングが選択された予測済みパーティションに適用されるとき、統合フィルタリングパラメータ又は統合向上フィルタリングパラメータは、ビットストリームにエントロピーエンコードされても良い。選択されたコンテンツ適応型及び固定変換に関連するデータ、デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及びインループフィルタリング又は品質復元フィルタリングパラメータは、ビットストリームにエントロピーエンコードされても良い。ここで、エントロピーエンコードは、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術のうちの少なくとも１つを有しても良く、予測パーティショニング指示子又は予測パーティショニングコードワードをエントロピーエンコードするステップは、モーフィング特性パラメータ又は合成特性パラメータをエントロピーエンコードするステップと異なるエントロピーエンコード技術を有しても良い。ビットストリームは送信されても良い。
同様に、ビットストリームは受信されても良い。ビットストリームは、第１の種類及び第２の種類に関連付けられたフレームデータ、モード及び参照種類に関連付けられたモードデータ、選択された予測パーティショニングに関連付けられた予測パーティショニング指示子又は予測パーティショニングコードワード、選択された符号化パーティショニングに関連付けられた符号化パーティショニング指示子又は符号化パーティショニングコードワード、動きデータ、量子化済み変換係数、モーフィング特性パラメータ、合成特性パラメータ、デブロックフィルタリングパラメータ、合成特性パラメータ、デブロックフィルタリングパラメータ、拡張予測パラメータ、統合フィルタリングパラメータ又は統合向上フィルタリングパラメータ、選択されたコンテンツ適応型及び固定変換に関連するデータ、インループフィルタリング又は品質復元フィルタリングパラメータを決定するためにエントロピーデコードされても良い。ここで、エントロピーデコードするステップは、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術のうちの少なくとも１つを有しても良く、予測パーティショニング指示子又は予測パーティショニングコードワードをエントロピーデコードするステップは、量子化済み変換係数をエントロピーデコードするステップと異なるエントロピーデコード技術を有しても良い。
幾つかの実装では、逆量子化は、デコード済み変換係数を生成するために、量子化済み変換係数に少なくとも部分的に基づき実行されても良い。逆変換は、複数のデコード済み符号化パーティションを生成するために、デコード済み変換係数及び変換指示子に少なくとも部分的に基づき実行されても良い。ここで、逆変換は、逆固定変換、逆離散コサイン変換、逆離散コサイン変換近似、逆適応型変換、又は逆ハイブリッドパラメータＨａａｒ変換の内の少なくとも１つを有しても良い。複数のデコード済み符号化パーティションは、デコード済み予測誤差データパーティションを生成するためにアセンブルされても良い。第１のデコード済みタイル又はスーパーフラグメントのうちの少なくとも１つは生成されても良い。デコーダデブロックフィルタリング、又はデコーダデブロック及びディザフィルタリング、及びデコーダインループ又はデコーダ品質復元フィルタリングは、第１の最終デコード済み再構成済みタイル又はスーパーフラグメントを生成するために、デブロックフィルタリングパラメータ、又はデブロック及びディザフィルタリングパラメータ、及びインループフィルタリングパラメータ又は品質復元フィルタリングパラメータに少なくとも部分的に基づき、第１のデコード済みタイル又はスーパーフラグメントに適用されても良い。第１の最終デコード済み再構成済みタイル又はスーパーフラグメント及び第２の最終デコード済み再構成済みタイル又はスーパーフラグメントは、デコード済み再構成済みビデオフレームを生成するためにアセンブルされても良い。デコード済み再構成済みビデオフレームは、デコーダピクチャバッファに格納されても良い。デコーダモーフィング済み予測参照ピクチャは、モーフィング特性パラメータに少なくとも部分的に基づき生成されても良い。デコーダ合成済み予測参照ピクチャは、合成特性パラメータに少なくとも部分的に基づき生成されても良い。
幾つかの実装では、デコーダ動き補償は、デコード済み予測済みパーティションを生成するために、デコーダモーフィング済み予測参照ピクチャ又はデコーダ合成済み予測参照ピクチャに少なくとも部分的に基づき実行されても良い。ここで、デコーダ動き補償は、適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータに少なくとも部分的に基づくデコーダ適応型動きフィルタリング又はデコーダ適応型精密フィルタリングを有しても良い。拡張デコード済み予測済みパーティションは、拡張予測パラメータ及びデコード済み予測済みパーティションに少なくとも部分的に基づき生成されても良い。デコード済み拡張予測済みパーティション又はデコード済み予測済みパーティションを選択されたデコード済み予測済みパーティションとして用いるかが決定されても良い。デコーダ統合フィルタリング又はデコーダ統合向上フィルタリングを選択されたデコード済み予測済みパーティションに適用するかが決定されても良い。デコーダ統合フィルタリング又はデコーダ統合向上フィルタリングが選択されたデコード済み予測済みパーティションに適用されるとき、選択されたデコード済み予測済みパーティション及び第２の選択されたデコード済み予測済みパーティションは、デコード済みアセンブル済みピクチャの少なくとも一部を生成するためにアセンブルされても良い。デコーダ統合フィルタリング又はデコーダ統合向上フィルタリングが選択されたデコード済み予測済みパーティションに適用されるとき、デコード済みアセンブル済みピクチャの一部は、統合フィルタリングパラメータ又は統合向上フィルタリングパラメータに少なくとも部分的に基づき、デコーダ統合フィルタリング又はデコーダ統合向上フィルタリングされても良い。選択されたデコード済み予測済みパーティションは、第１のデコード済み再構成済みパーティションを生成するために、デコード済み予測誤差データパーティションに加算されても良い。第１のデコード済み再構成済みパーティション及び第２のデコード済み再構成済みパーティションは、第３の最終デコード済み再構成済みタイル又はスーパーフラグメントを生成するために、結合されても良い。第３の最終デコード済み再構成済みタイル又はスーパーフラグメント及び第４の最終デコード済み再構成済みタイル又はスーパーフラグメントは、第２のデコード済み再構成済みビデオフレームを生成するためにアセンブルされても良い。第２のデコード済み再構成済みビデオフレームは、ディスプレイ装置による提示のために、送信されても良い。第１のビデオフレームを第１の複数のスーパーフラグメントにセグメント化するステップは、第１のビデオフレームを第３の複数のタイルに分割するステップと、第１のビデオフレームを２以上の領域レイヤにセグメント化するステップと、を有しても良い。ここで、第１の複数のスーパーフラグメントのうちの少なくとも１つのスーパーフラグメントは、第２の複数のタイルのうちの個々のタイル内の２以上の領域レイヤのうちの個々の領域レイヤを有する。
幾つかの実装では、第１のパーティショニング技術は、ｋｄ木パーティショニング技術を有しても良く、第２のパーティショニング技術は、ｂｉ木パーティショニング技術を有しても良い。第２のビデオフレームについての選択された予測パーティショニング及び関連する複数の予測パーティションの決定は、第２のパーティショニング技術に基づき、第２のビデオを複数の可能な予測パーティショニングにパーティショニングするステップと、複数の可能な予測パーティショニングの各々について予測を実行し、複数の可能な予測パーティショニングの各々について可能な予測誤差を決定するステップと、予測及び可能な予測誤差に基づきレート歪み最適化を実行するステップであって、選択された予測パーティショニング及び関連する複数の予測パーティションを決定する、ステップと、選択された予測パーティショニング及び複数の予測パーティションに関連付けられた予測パーティショニング指示子又は予測パーティショニングコードワードを生成するステップと、を有しても良い。予測誤差データパーティションの部分集合のうちの個々の予測誤差データパーティションをパーティショニングするステップは、ｂｉ木パーティショニングするステップを有しても良い。予測誤差データパーティションの部分集合の個々の予測誤差データパーティションを選択された符号化パーティショニング及び関連する複数の符号化パーティションにパーティショニングするステップは、予測誤差データパーティションの部分集合の個々の予測誤差データパーティションを複数の可能な符号化パーティショニングにパーティショニングするステップと、複数の可能な符号化パーティショニングの各々の１又は複数の第１の符号化パーティションに対してコンテンツ適応型変換を、及び複数の可能な符号化パーティショニングの各々の１又は複数の第２の符号化パーティションに対して固定変換を実行するステップであって、第１の符号化パーティションは小乃至中の大きさのパーティションを有し、第２の符号化パーティションは中乃至大の大きさのパーティションを有し、固定変換は、離散コサイン変換又は離散コサイン変換近似のうちの少なくとも１つを有し、コンテンツ適応型変換は、ハイブリッドパラメータＨａａｒ変換を有し、ハイブリッドパラメータＨａａｒ変換は、第１の方向のパラメータＨａａｒ変換及び第２の方向の離散コサイン変換を有する、ステップと、及び／又は選択された符号化パ―ティショニング及び関連する複数の符号化パーティション及び関連する選択されたコンテンツ適応型及び固定変換を決定するために、複数の可能な符号化パーティショニングのコンテンツ適応型変換及び固定変換に基づき、第２のレート歪み最適化を実行するステップであって、符号化パーティションは関連する変換係数を有する、ステップと、を有しても良い。
幾つかの実装では、第１のビデオフレームはＩ−ピクチャであり、第２のビデオフレームはＢ／Ｆ−ピクチャ又はＰ−ピクチャのうちの少なくとも１つである。第１のビデオフレームが第１の種類であるか、第２のビデオフレームが第２の種類であるかの決定は、第３のレート歪み最適化を有しても良い。モードは、イントラモード、インターモード、マルチモード、スキップモード、又は自動モードのうちの少なくとも１つを有しても良い。参照種類は、モーフ―ング済み予測参照ピクチャ、合成済み予測参照ピクチャ、第１のデコード済み予測参照ピクチャ、又は第２のデコード済み予測参照ピクチャのうちの少なくとも１つを有しても良く、第１のデコード済み予測参照ピクチャは、過去のデコード済み予測参照ピクチャ又は将来のデコード済み予測参照ピクチャを有する。モード及び参照種類の決定は、第４のレート歪み最適化を有しても良い。
幾つかの実装では、モーフィング済み予測参照ピクチャは、利得変更済み予測参照ピクチャ、ブラー変更済み予測参照ピクチャ、支配的動き変更済み予測参照ピクチャ、又は整合性変更済み予測参照ピクチャのうちの少なくとも１つを有しても良い。ここで、合成済み予測参照ピクチャは、超解像度予測参照ピクチャ又は投影軌跡予測参照ピクチャのうちの少なくとも１つを有する。モーフィング特性パラメータの生成は、第２のビデオフレーム及び前のデコード済み予測参照ピクチャに少なくとも部分的に基づきモーフィング特性パラメータを生成するステップ、又は第２のビデオフレーム及び第３の元のビデオフレームに少なくとも部分的に基づきモーフィング特性パラメータを生成するステップのうちの少なくとも１つを有しても良く、動きデータは動きベクトルを有しても良い。
本願明細書の例示的な処理の実施は説明した順序で示された全ての動作の実行を有しても良いが、本開示はこれに関して限定されず、様々な例において、本願明細書における例示的な処理の実施は、示した動作の一部のみの及び／又は図示と異なる順序での実行を有しても良い。
本願明細書に記載のシステムの種々のコンポーネントは、ソフトウェア、ファームウェア及び／又はハードウェア、及び／又はそれらの任意の組合せで実装されても良い。例えば、システム１４００の種々のコンポーネントは、少なくとも部分的に、例えばスマートフォンのようなコンピューティングシステムに見られるコンピューティングＳｏＣ（System-on-a-Chip）のハードウェアにより設けられても良い。当業者は、本願明細書に記載のシステムが対応する図に示されない追加コンポーネントを有しても良いことを理解できる。例えば、本願明細書で議論したシステムは、ビットストリームマルチプレクサ又はデマルチプレクサモジュールのような及び明確さの目的で図示されない追加コンポーネントを有しても良い。
さらに、本願明細書で議論した動作のうちの任意の１又は複数のものは、１又は複数のコンピュータプログラムにより提供される命令に応答して行われても良い。このようなプログラムは、例えばプロセッサにより実行されると本願明細書に記載の機能を提供する命令を提供する信号を運ぶ媒体を含み得る。コンピュータプログラムは、任意の形式の１又は複数の機械可読媒体で提供されても良い。したがって、例えば、１又は複数のプロセッサコアを有するプロセッサは、１又は複数の機械可読媒体によりプロセッサに伝達されるプログラムコード及び／又は命令又は命令セットに応答して、本願明細書の例示的な処理の動作のうちの１又は複数を実行しても良い。通常、機械可読媒体は、本願明細書に記載の装置及び／又はシステムのうちの任意のものに本願明細書で議論したようなビデオシステムの少なくとも部分を実装させるプログラムコード及び／又は命令又は命令セットの形式でソフトウェアを伝達し得る。
本願明細書に記載の任意の実装で用いられるとき、用語「モジュール」は、本願明細書に記載の機能を提供するよう構成されるソフトウェアロジック、ファームウェアロジック、及び／又はハードウェアロジックの任意の組合せを表す。ソフトウェアは、ソフトウェアパッケージ、コード、及び／又は命令セット若しくは命令として具現化されても良い。「ハードウェア」は、本願明細書に記載の任意の実装で用いられるとき、例えば、単独で又は任意の組合せで、ハードウェア回路、プログラマブル回路、状態機械回路、及び／又はプログラマブル回路により実行される命令を格納するファームウェアを有し得る。モジュールは、集合的又は個々に、大規模システム、例えば集積回路（ＩＣ）、システムオンチップ（ＳｏＣ）、等の部分を形成する回路として具現化されても良い。例えば、モジュールは、本願明細書で議論した符号化システムのソフトウェア、ファームウェア、又はハードウェアによる実装のために論理回路に組み込まれても良い。
図３１は、本開示の少なくとも幾つかの実装に従って配置される例示的なビデオ符号化システム３１００の説明図である。図示の実装では、ビデオ符号化システム３１００は、撮像装置３１０１、ビデオエンコーダ１００及び／又は処理ユニット３１２０の論理回路３１５０により実装されるビデオエンコーダ、アンテナ３１２０、１又は複数のプロセッサ３１０３、１又は複数のメモリ記憶３１０４、及び／又はディスプレイ装置３１０５を有しても良い。
図示のように、撮像装置３１０１、アンテナ３１２０、処理ユニット３１２０、論理回路３１５０、ビデオエンコーダ１００、ビデオデコーダ２００、プロセッサ３１０３、メモリ記憶３１０４、及び／又はディスプレイ装置３１０５は、互いに通信可能であっても良い。上述のように、ビデオエンコーダ１００及びビデオデコーダ２００の両方を備えて図示されるが、ビデオ符号化システム３１００は、様々な例においてビデオエンコーダ１００のみ又はビデオデコーダ２００のみを有しても良い。
図示のように、幾つかの例では、ビデオ符号化システム３１００は、アンテナ３１２０を有しても良い。アンテナ３１２０は、例えば、ビデオデータのエンコード済みビットストリームを送信又は受信するよう構成されても良い。さらに、幾つかの例では、ビデオ符号化システム３１００は、ディスプレイ装置３１０５を有しても良い。ディスプレイ装置３１０５は、ビデオデータを提示するよう構成されても良い。図示のように、幾つかの例では、論理回路３１５０は、処理ユニット３１２０により実装されても良い。処理ユニット３１２０は、特定用途向け集積回路（ＡＳＩＣ）論理、グラフィックプロセッサ、汎用プロセッサ、等を有しても良い。ビデオ符号化システム３１００は任意的なプロセッサ３１０３を有しても良く、プロセッサ３１０３も、同様に、特定用途向け集積回路（ＡＳＩＣ）論理、グラフィックプロセッサ、汎用プロセッサ、等を有しても良い。幾つかの例では、論理回路３１５０は、ハードウェア又はビデオ符号化専用ハードウェア等により実装されても良く、プロセッサ３１０３は、汎用ソフトウェア又はオペレーティングシステムなどにより実装されても良い。さらに、メモリ記憶３１０４は、揮発性メモリ（例えば、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、等）又は不揮発性メモリ（例えば、フラッシュメモリ等）、等のような任意の種類のメモリであっても良い。非限定的な例では、メモリ記憶３１０４は、キャッシュメモリにより実装されても良い。幾つかの例では、論理回路３１５０は、（例えば、画像バッファの実装のために）メモリ記憶３１０４にアクセスしても良い。他の例では、論理回路３１５０及び／又は処理ユニット３１２０は、画像バッファ等の実装のためにメモリ記憶（例えば、キャッシュ等）を有しても良い。
幾つかの例では、論理回路により実装されるビデオエンコーダ１００は、（例えば、処理ユニット３１２０又はメモリ記憶３１０４により）画像バッファ及び（例えば、処理ユニット３１２０により）グラフィック処理ユニットを有しても良い。グラフィック処理ユニットは、画像バッファに通信可能に結合されても良い。グラフィック処理ユニットは、図１に関して議論したような種々のモジュール及び／又は本願明細書に記載の任意の他のエンコーダシステム又はサブシステムを具現化するために論理回路３１５０により実装されるようなビデオエンコーダ１００を有しても良い。例えば、グラフィック処理ユニットは、予測パーティション生成論理回路、適応型ピクチャ編成論理回路、インター予測論理回路、動き補償生成論理回路、差分論理回路、サブパーティション生成論理回路、適応型変換論理回路、適応型エントロピーエンコーダ論理回路、等を有しても良い。論理回路は、本願明細書で議論したような種々の動作を実行するよう構成されても良い。
別の例では、ビデオエンコーダ１００は、画像バッファと、画像バッファに通信可能に結合されるグラフィック処理ユニットと、を有しても良い。グラフィック処理ユニットは、第１の種類の第１のビデオフレーム及び第２の種類の第２のビデオフレームを第１の複数のタイル又はスーパーフラグメント及び第２の複数のタイル又はスーパーフラグメントにセグメント化するよう構成されても良い。グラフィック処理ユニットは、第１の複数のタイル又はスーパーフラグメントを第１のパーティショニング技術を用いて、第２の複数のタイル又はスーパーフラグメントを第２のパーティショニング技術を用いて、パーティショニングするよう構成されても良い。ここで、第１及び第２のパーティショニング技術は異なる。第２のビデオフレームの選択された予測パーティショニング及び関連する複数の予測パーティションが決定されても良い。第１の再構成済みタイル又はスーパーフラグメントが生成されても良い。デブロックフィルタリングパラメータ及び第１の最終再構成済みタイル又はスーパーフラグメントは、第１の再構成済みタイル又はスーパーフラグメント及びデブロックフィルタリングパラメータに少なくとも部分的に基づき生成されても良い。第１の最終再構成済みタイル又はスーパーフラグメント及び第２の最終再構成済みタイル又はスーパーフラグメントは、第１のデコード済み予測参照ピクチャを生成するためにアセンブルされても良い。モーフィング特性パラメータ及びモーフィング済み予測参照ピクチャは、モーフィング特性パラメータ及び第１のデコード済み参照ピクチャに少なくとも部分的に基づき生成されても良い。合成特性パラメータ及び合成済み予測参照ピクチャは、合成特性パラメータ及び第１のデコード済み参照ピクチャ又は第２のデコード済み参照ピクチャに少なくとも部分的に基づき生成されても良い。モード及び参照種類は、複数の予測パーティションの各々について決定されても良い。複数の予測パーティションに関連する動きデータは、モーフィング済み予測参照ピクチャ又は合成済み予測参照ピクチャのうちの１つに少なくとも部分的に基づき生成されても良い。動き補償は、複数の予測パーティションについて複数の予測済みパーティションを生成するために、動きデータと、モーフィング済み予測参照ピクチャ又は合成済み予測参照ピクチャのうちの少なくとも１つとに基づき、実行されても良い。対応する複数の予測誤差データパーティションを生成するために、複数の予測済みパーティションと対応する元のピクセルデータとの差分が取られても良い。複数の予測誤差データパーティションの予測誤差データパーティションの部分集合はエンコードされる必要があるか、決定されても良い。エンコードされる必要のある予測誤差データパーティションの部分集合について、予測誤差データパーティションの部分集合の個々の予測誤差データパーティションは、選択された符号化パーティショニング及び関連する複数の符号化パーティションにパーティショニングされても良く、変換係数を生成するために、コンテンツ適応型変換は１又は複数の第１の符号化パーティションに対して、及び固定変換は複数の符号化パーティションのうちの１又は複数の第２の符号化パーティションに対して実行されても良く、変換係数は、量子化済み変換係数を生成するために量子化されても良い。第１及び第２の種類に関連付けられたフレームデータ、モード及び参照種類に関連付けられたモードデータ、選択された予測パーティショニングに関連付けられた予測パーティショニング指示子又は予測パーティショニングコードワード、選択された符号化パ―ティショニングに関連付けられた符号化パーティショニング指示子又は符号化パーティショニングコードワード、動きデータ、量子化済み変換係数、モーフィング特性パラメータ、合成特性パラメータ、及びデブロックフィルタリングパラメータは、全て、ビットストリームにエントロピーエンコードされても良い。
幾つかの例では、ビデオ符号化システム３１００のアンテナ３１２０は、ビデオデータのエンコード済みビットストリームを受信するよう構成されても良い。ビデオ符号化システム３１００は、アンテナ３１２０に結合されエンコード済みビットストリームをデコードするよう構成されるビデオデコーダ２００も有しても良い。
更なる例では、デコーダシステム２００は、エンコード済みビットストリームをデコードするよう構成されるビデオデコーダを有しても良い。ビデオデコーダは、量子化済み変換係数、選択されたコンテンツ適応型及び固定変換に関連するデータ、符号化パーティショニング指示子又は符号化パーティショニングコードワード、デブロックフィルタリングパラメータ、モーフィング特性パラメータ、合成特性パラメータ、動きデータ、予測パーティショニング指示子又は予測パーティショニングコードワードを決定するために、エンコード済みビットストリームをエントロピーデコードするよう構成されても良い。逆量子化は、デコード済み変換係数を生成するために、量子化済み変換係数に少なくとも部分的に基づき実行されても良い。逆変換は、複数のデコード済み符号化パーティションを生成するために、デコード済み変換係数と、選択されたコンテンツ適応型及び固定変換に関連するデータと、に少なくとも部分的に基づいても良い。複数のデコード済み符号化パーティションは、デコード済み予測誤差データパーティションを生成するために、符号化パーティショニング指示子又は符号化パーティショニングコードワードに少なくとも部分的に基づきアセンブルされても良い。第１のデコード済みタイル又はスーパーフラグメントのうちの少なくとも１つは生成されても良い。デブロックフィルタリングは、第１の最終デコード済み再構成済みタイル又はスーパーフラグメントを生成するために、デブロックフィルタリングパラメータに少なくとも部分的に基づき、第１のデコード済みタイル又はスーパーフラグメントに適用されても良い。第１の最終デコード済み再構成済みタイル又はスーパーフラグメント及び第２の最終デコード済み再構成済みタイル又はスーパーフラグメントは、デコード済み再構成済みビデオフレームを生成するためにアセンブルされても良い。モーフィング済み予測参照ピクチャは、モーフィング特性パラメータ及びデコード済み再構成済みビデオフレームに少なくとも部分的に基づき生成されても良い。合成済み予測参照ピクチャは、合成特性パラメータと、再構成済みビデオフレーム又は第１の再構成済みビデオフレームのうちの少なくとも１つと、に少なくとも部分的に基づき生成されても良い。動き補償は、デコード済み予測済みパーティションを生成するために、デコーダモーフィング済み予測参照ピクチャ又はデコーダ合成済み予測参照ピクチャ及び動きデータに少なくとも部分的に基づき実行されても良い。デコード済み予測済みパーティションは、第１のデコード済み再構成済みパーティションを生成するために、デコード済み予測誤差データパーティションに加算されても良い。第１のデコード済み再構成済みパーティション及び第２のデコード済み再構成済みパーティションは、第３の最終デコード済み再構成済みタイル又はスーパーフラグメントを生成するために、予測パーティショニング指示子又は予測パーティショニングコードワードに少なくとも部分的に基づき結合されても良い。第３の最終デコード済み再構成済みタイル又はスーパーフラグメント及び第４の最終デコード済み再構成済みタイル又はスーパーフラグメントは、第２のデコード済み再構成済みビデオフレームを生成するためにアセンブルされても良い。第２のデコード済み再構成済みビデオフレームは、ディスプレイ装置による提示のために、送信されても良い。
実施形態において、本願明細書に記載の特徴は、１又は複数のコンピュータプログラムにより提供される命令に応答して実行されても良い。このようなプログラムは、例えばプロセッサにより実行されると本願明細書に記載の機能を提供し得る命令を提供する信号を運ぶ媒体を含み得る。コンピュータプログラムは、任意の形式の１又は複数の機械可読媒体で提供されても良い。したがって、例えば、１又は複数のプロセッサコアを有するプロセッサは、１又は複数の機械可読媒体によりプロセッサに伝達されるプログラムコード及び／又は命令又は命令セットに応答して、本願明細書に記載の１又は複数の特徴を実行しても良い。通常、機械可読媒体は、本願明細書に記載の装置及び／又はシステムのうちの任意のものに本願明細書に記載の特徴の少なくとも部分を実装させるプログラムコード及び／又は命令又は命令セットの形式でソフトウェアを伝達し得る。
図３２は、本開示の少なくとも幾つかの実装に従って配置される例示的なシステム３２００の説明図である。様々な実施形態において、システム３２００はメディアシステムであっても良いが、システム３２００はこの環境に限定されない。例えば、システム３２００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、ＰＤＡ（personal digital assistant）、携帯電話機、携帯電話機／ＰＤＡの組合せ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、又はスマートテレビ）、ＭＩＤ（mobile internet device）、メッセージング装置、データ通信装置、カメラ（例えば、ポイントアンドシュートカメラ、スーパーズームカメラ、デジタル一眼レフ（digital single-lens reflex：ＤＳＬＲ）カメラ）等に組み込まれても良い。
種々の実装において、システム３２００は、ディスプレイ３２２０に結合されるプラットフォーム３２０２を有する。プラットフォーム３２０２は、コンテンツサービス装置３２３０若しくはコンテンツ配信装置３２４０のようなコンテンツ装置、又は他の類似のコンテンツソースからコンテンツを受信しても良い。１又は複数のナビゲーション機能を有するナビゲーション制御部３２５０は、例えばプラットフォーム３２０２及び／又はディスプレイ３２２０と相互作用するために用いられても良い。これらのコンポーネントの各々は、以下に詳細に説明される。
種々の実装では、プラットフォーム３２０２は、チップセット３２０５、プロセッサ３２１０、メモリ３２１２、アンテナ３２１３、記憶装置３２１４、グラフィックサブシステム３２１５、アプリケーション３２１６及び／又は無線機３２１８の任意の組合せを有しても良い。チップセット３２０５は、プロセッサ３２１０、メモリ３２１２、記憶装置３２１４、グラフィックサブシステム３２１５、アプリケーション３２１６及び／又は無線機３２１８の間の相互通信を提供しても良い。例えば、チップセット３２０５は、記憶装置３２１４との相互通信を提供可能な記憶装置アダプタ（図示しない）を有しても良い。
プロセッサ３２１０は、ＣＩＳＣ（Complex Instruction Set Computer）又はＲＩＳＣ（Reduced Instruction Set Computer）プロセッサ、ｘ８６命令セット互換プロセッサ、マルチコア、又は任意の他のマイクロプロセッサ又はＣＰＵ（central processing unit）として実施されても良い。種々の実施形態において、プロセッサ３２１０は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサ、等であっても良い。
メモリ３２１２は、ＲＡＭ（Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、又はＳＲＡＭ（Static RAM）のような揮発性メモリ装置として実施されても良いが、これらに限定されない。
記憶装置３２１４は、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内蔵記憶装置、外付け記憶装置、フラッシュメモリ、バッテリバックアップＳＤＲＡＭ（synchronous DRAM）、及び／又はネットワークアクセス可能な記憶装置のような不揮発性メモリ装置として実施されても良いが、これらに限定されない。種々の実施形態では、記憶装置３２１４は、例えば複数のハードドライブが含まれるとき重要なデジタルメディアのために記憶性能拡張保護を増大させる技術を有しても良い。
グラフィックサブシステム３２１５は、表示のために静止画像又はビデオのような画像の処理を実行しても良い。グラフィックサブシステム３２１５は、例えばＧＰＵ（graphics processing unit）又はＶＰＵ（visual processing unit）であっても良い。アナログ又はデジタルインタフェースは、グラフィックサブシステム３２１５及びディスプレイ３２２０に通信可能に結合するために用いられても良い。例えば、インタフェースは、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、ＤｉｓｐｌａｙＰｏｒｔ、無線ＨＤＭＩ、及び／又は無線ＨＤ準拠技術のうちの任意のものであっても良い。グラフィックサブシステム３２１５は、プロセッサ３２１０又はチップセット３２０５に統合されても良い。幾つかの実装では、グラフィックサブシステム３２１５は、チップセット３２０５に通信可能に結合されるスタンドアロン型装置であっても良い。
本願明細書に記載されるグラフィック及び／又はビデオ処理技術は、種々のハードウェアアーキテクチャで実施されても良い。例えば、グラフィック及び／又はビデオ機能は、チップセットに統合されても良い。代替で、別個のグラフィック及び／又はビデオプロセッサが用いられても良い。更に別の実装として、グラフィック及び／又はビデオ機能は、マルチコアプロセッサを含む汎用プロセッサにより提供されても良い。更なる実施形態では、機能は、消費者電子機器内に実装されても良い。
無線機３２１８は、種々の適切な無線通信技術を用いて信号を送信及び受信可能な１又は複数の無線機を有しても良い。このような技術は、１又は複数の無線ネットワークに渡る通信に関与し得る。例示的な無線ネットワークは、ＷＬＡＮ（wireless local area network）、ＷＰＡＮ（wireless personal area network）、ＷＭＡＮ（wireless metropolitan area network）、セルラネットワーク、及び衛星ネットワークを含む（が、これらに限定されない）。このようなネットワークに渡る通信では、無線機３２１８は、任意のバージョンの１又は複数の適用規格に従って動作しても良い。
種々の実装では、ディスプレイ３２２０は、任意のテレビジョン型モニタ又はディスプレイを有しても良い。ディスプレイ３２２０は、例えば、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビ型装置、及び／又はテレビを有しても良い。ディスプレイ３２２０は、デジタル及び／又はアナログであっても良い。種々の実装において、ディスプレイ３２２０は、ホログラフィックディスプレイであっても良い。また、ディスプレイ３２２０は、視覚投影を受け得る透過面であっても良い。このような投影は、種々の形式の情報、画像及び／又はオブジェクトを伝達し得る。例えば、このような投影は、ＭＡＲ（mobile augmented reality）アプリケーションのための視覚的オーバレイであっても良い。１又は複数のソフトウェアアプリケーション３２１６の制御下で、プラットフォーム３２０２は、ユーザーインターフェース３２２２をディスプレイ３２２０に表示しても良い。
種々の実装において、コンテンツサービス装置３２３０は、任意の全国的、国際的、及び／又は独立型サービスによりホストされても良く、したがって例えばインターネットを介してプラットフォーム３２０２にアクセス可能であっても良い。コンテンツサービス装置３２３０は、プラットフォーム３２０２に及び／又はディスプレイ３２２０に結合されても良い。プラットフォーム３２０２に及び／又はコンテンツサービス装置３２３０は、ネットワーク３２６０へ及びそれからメディア情報を通信（例えば、送信及び／又は受信）するために、ネットワーク３２６０に結合されても良い。コンテンツ配信装置３２４０も、プラットフォーム３２０２に及び／又はディスプレイ３２２０に結合されても良い。
種々の実装において、コンテンツサービス装置３２３０は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話機、インターネット可能装置、又はデジタル情報及び／又はコンテンツを配信可能な機器、及びネットワーク３２６０を介して又は直接にコンテンツプロバイダとプラットフォーム３２０２及び／又はディスプレイ３２２０との間でコンテンツを単方向若しくは双方向通信可能な任意の他の類似の装置を有しても良い。コンテンツは、単方向若しくは双方向に、システム３２００内のコンポーネントのうちの任意の１つ及びネットワーク３２６０を介してコンテンツプロバイダへ及びそれから通信されても良い。コンテンツの例は、例えば、ビデオ、音楽、医用及びゲーム情報、等を含む任意のメディア情報を有しても良い。
コンテンツサービス装置３２３０は、メディア情報、デジタル情報、及び／又は他のコンテンツを含むケーブルテレビ番組のようなコンテンツを受信しても良い。コンテンツプロバイダの例は、任意のケーブル又は衛星テレビ又は無線機又はインターネットコンテンツプロバイダを含み得る。提供される例は、本開示に従う実装のいかなる限定も意味しない。
種々の実装では、プラットフォーム３２０２は、１又は複数のナビゲーション機能を有するナビゲーション制御部３２５０から制御信号を受信しても良い。制御部３２５０のナビゲーション機能は、例えばユーザーインターフェース３２２２と相互作用するために用いられても良い。種々の実施形態において、ナビゲーション制御部３２５０は、ユーザに空間的（例えば、連続する多次元）データをコンピュータに入力させるコンピュータハードウェアコンポーネント（特に、ヒューマンインタフェース装置）であっても良いポインティングデバイスであっても良い。ＧＵＩ（graphical user interface）、テレビ、及びモニタのような多くのシステムは、ユーザに、身体的ジェスチャを用いてコンピュータ又はテレビを制御させ及びそれらにデータを提供させる。
制御部３２５０のナビゲーション機能の動きは、ディスプレイ（例えば、ディスプレイ３２２０）上で、ディスプレイに表示されるポインタ、カーソル、フォーカス、リング又は他の視覚的指示子の動きにより複製されても良い。例えば、ソフトウェアアプリケーション３２１６の制御下で、ナビゲーション制御部３２５０に配置されたナビゲーション機能は、例えばユーザーインターフェース３２２２上に表示される仮想ナビゲーション機能にマッピングされても良い。種々の実施形態において、制御部３２５０は、別個のコンポーネントではなく、プラットフォーム３２０２及び／又はディスプレイ３２２０に統合されても良い。しかしながら、本開示は、本願明細書に示された又は記載された要素又は環境に限定されない。
種々の実装では、ドライバ（図示しない）は、例えば、有効にされると、初期ブートアップ後のボタンのタッチで、テレビのように即座に、ユーザがプラットフォーム３２０２をオン及びオフにできるようにする技術を有しても良い。プログラムロジックは、プラットフォーム３２０２に、プラットフォームが「オフ」にされるときでも、コンテンツをメディアアダプタ又は他のコンテンツサービス装置３２３０又はコンテンツ配信装置３２４０へストリーミングさせても良い。さらに、チップセット３２０５は、例えば５．１サラウンドサウンド音声及び／又は高品位７．１サラウンドサウンド音声をサポートするハードウェア及び／又はソフトウェアを有しても良い。ドライバは、統合グラフィックプラットフォームのグラフィックドライバを有しても良い。種々の実施形態において、グラフィックドライバは、ＰＣＩ（peripheral component interconnect）Ｅｘｐｒｅｓｓグラフィックカードを有しても良い。
種々の実装では、システム３２００内に示したコンポーネントのうちの任意の１又は複数は統合されても良い。例えば、プラットフォーム３２０２及びコンテンツサービス装置３２３０が統合されても良く、プラットフォーム３２０２及びコンテンツ配信装置３２４０が統合されても良く、又はプラットフォーム３２０２、コンテンツサービス装置３２３０及びコンテンツ配信装置３２４０が統合されても良い。種々の実施形態において、プラットフォーム３２０２及びディスプレイ３２２０は、統合ユニットであっても良い。例えば、ディスプレイ３２２０及びコンテンツサービス装置３２３０が統合されても良く、又はディスプレイ３２２０及びコンテンツ配信装置３２４０が統合されても良い。これらの例は、本開示を限定するものではない。
種々の実施形態において、システム３２００は、無線システム、有線システム又は両者の組合せとして実装されても良い。無線システムとして実施されるとき、システム３２００は、１又は複数のアンテナ、送信機、受信機、通信機、増幅器、フィルタ、制御ロジック、等のような無線共有媒体を介して通信するのに適するコンポーネント及びインタフェースを有しても良い。無線共有媒体の例は、ＲＦスペクトル等のような無線スペクトルの部分を含んでも良い。有線システムとして実施されるとき、システム３２００は、入力／出力（Ｉ／Ｏ）アダプタ、対応する有線通信媒体でＩ／Ｏアダプタに接続するための物理コネクタ、ＮＩＣ（network interface card）、ディスク制御部、ビデオ制御部、音声制御部、等のような、有線通信媒体を介して通信するのに適するコンポーネント及びインタフェースを有しても良い。有線通信媒体の例は、ワイヤ、ケーブル、金属線、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチ構造、半導体物質、ツイストペアワイヤ、同軸ケーブル、光ファイバ等を含んでも良い。
プラットフォーム３２０２は、情報を通信するために１又は複数の論理又は物理チャネルを確立しても良い。情報は、媒体情報及び制御情報を有しても良い。媒体情報は、ユーザに意味のあるデータ提示コンテンツを表し得る。コンテンツの例は、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール（ｅｍａｉｌ）メッセージ、音声メールメッセージ、英数字シンボル、グラフィック、画像、ビデオ、テキスト等からのデータを含み得る。ビデオ会議からのデータは、例えば、会話情報、無音期間、背景雑音、快適雑音、トーン等であっても良い。制御情報は、自動システム向けのコマンド、命令又は制御ワードを表す任意のデータを表しても良い。例えば、制御情報は、システムを通じて媒体情報を転送し、又は所定の方法で媒体情報を処理するようノードに指示するために用いられても良い。しかしながら、実施形態は、図３２に示された又は記載された要素又は環境に限定されない。
上述のように、システム３２００は、変化する物理的様式又は形状因子で実施されても良い。図３３は、システム３３００が実施され得る小型装置３３００の実装を示す。種々の実施形態において、例えば、装置３３００は、無線機能を有するモバイルコンピューティング装置として実施されても良い。モバイルコンピューティング装置は、例えば、処理システム及び１又は複数のバッテリのようなモバイル電源若しくは供給を有する任意の装置を表しても良い。
上述のように、例えば、モバイルコンピューティング装置の例は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、ＰＤＡ（personal digital assistant）、携帯電話機、携帯電話機／ＰＤＡの組合せ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、又はスマートテレビ）、ＭＩＤ（mobile internet device）、メッセージング装置、データ通信装置、カメラ（例えば、ポイントアンドシュートカメラ、スーパーズームカメラ、デジタル一眼レフ（digital single-lens reflex：ＤＳＬＲ）カメラ）等を有しても良い。
モバイルコンピューティング装置の例は、腕時計型コンピュータ、指輪型コンピュータ、リングコンピュータ、眼鏡型コンピュータ、ベルトクリップ型コンピュータ、腕章型コンピュータ、靴型コンピュータ、衣類型コンピュータ、及び他の装着可能コンピュータのような、人により装着されるよう配置されるコンピュータも含み得る。種々の実施形態では、例えば、モバイルコンピューティング装置は、コンピュータアプリケーション及び音声通信及び／又はデータ通信を実行可能なスマートフォンとして実施されても良い。幾つかの実施形態は、例としてスマートフォンとして実施されるモバイルコンピューティング装置と共に記載され得るが、他の実施形態も他の無線モバイルコンピューティング装置を持ち手実施できることが理解される。実施形態は、この文脈に限定されない。
図３３に示すように、装置３３００は、筐体３３０２、ディスプレイ３３０４、ユーザーインターフェース３３１０を含み得る入力／出力（Ｉ／Ｏ）装置３３０６、アンテナ３３０８を有しても良い。装置３３００は、ナビゲーション機能３３１２を有しても良い。ディスプレイ３３０４は、モバイルコンピューティング装置に適切な情報を表示する任意の適切なディスプレイを有しても良い。Ｉ／Ｏ装置３３０６は、モバイルコンピューティング装置に情報を入力する任意の適切なＩ／Ｏ装置を有しても良い。Ｉ／Ｏ装置３３０６の例は、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカースイッチ、マイクロフォン、スピーカ、音声認識装置及びソフトウェア、等を有しても良い。情報は、マイクロフォン（図示しない）により装置３３００に入力されても良い。このような情報は、音声認識装置（図示しない）によりデジタル化されても良い。実施形態は、この文脈に限定されない。
種々の実施形態は、ハードウェア要素、ソフトウェア要素、又は両者の組み合わせを用いて実施されても良い。ハードウェア要素の例は、プロセッサ、マイクロプロセッサ、回路、回路要素（例えば、トランジスタ、抵抗器、キャパシタ、インダクタ等）、集積回路、ＡＳＩＣ（application specific integrated circuit）、ＰＬＤ（programmable logic device）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）、メモリユニット、論理ゲート、レジスタ、半導体装置、チップ、マイクロチップ、チップセット等を有しても良い。ソフトウェアの例は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、メソッド、プロシジャ、ソフトウェアインタフェース、ＡＰＩ（application program interface）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、又はそれらの任意の組合せを含んでも良い。実施形態がハードウェア要素及び／又はソフトウェア要素を用いて実装されるかの決定は、所望の計算レート、パワーレベル、熱耐性、処理周期バジェット、入力データレート、出力データレート、メモリ資源、データバス速度、及び他の設計若しくは性能制約のような任意の数の要因に従って変化し得る。
少なくとも１つの実施形態の１又は複数の態様は、プロセッサ内の種々のロジックを表し、機械により読み込まれると本願明細書に記載の技術を実行するために該機械にロジックを組み立てさせる、機械可読媒体に格納された典型的な命令により実施されても良い。「ＩＰコア」として知られるこのような表現は、有形の、機械可読媒体に格納され、実際にロジック又はプロセッサを作成する製造機械にロードするために種々の顧客若しくは製造設備に供給されても良い。
本願明細書に説明された特定の特徴は種々の実装を参照して記載されたが、この記載は、限定的意味として考えられることを意図しない。ここで、本開示の関連分野の当業者に明らかな本願明細書に記載の実装の種々の変更は、他の実装と同様に、本開示の精神及び範囲の範囲内にあると考えられる。
以下の例は、更なる実施形態に関連する。
一例では、コンピュータにより実施されるビデオ符号化方法は、第１の種類の第１のビデオフレーム及び第２の種類の第２のビデオフレームを第１の複数のタイル又はスーパーフラグメント及び第２の複数のタイル又はスーパーフラグメントにセグメント化することを含む。第１の複数のタイル又はスーパーフラグメントは、第１のパーティショニング技術を用いてパーティショニングされても良く、第２の複数のタイル又はスーパーフラグメントは、第２のパーティショニング技術を用いてパーティショニングされても良い。ここで、第１及び第２のパーティショニング技術は異なる。選択された予測パーティショニング及び関連する複数の予測パーティションは、第２のビデオフレームについて決定されても良い。第１の再構成済みタイル又はスーパーフラグメントが生成されても良い。デブロックフィルタリングパラメータ及び第１の最終再構成済みタイル又はスーパーフラグメントは、第１の再構成済みタイル又はスーパーフラグメント及びデブロックフィルタリングパラメータに少なくとも部分的に基づき生成されても良い。第１の最終再構成済みタイル又はスーパーフラグメント及び第２の最終再構成済みタイル又はスーパーフラグメントは、第１のデコード済み予測参照ピクチャを生成するためにアセンブルされても良い。モーフィング特性パラメータ及びモーフィング済み予測参照ピクチャは、モーフィング特性パラメータ及び第１のデコード済み参照ピクチャに少なくとも部分的に基づき生成されても良い。合成特性パラメータ及び合成済み予測参照ピクチャは、合成特性パラメータ及び第１のデコード済み参照ピクチャ又は第２のデコード済み参照ピクチャに少なくとも部分的に基づき生成されても良い。モード及び参照種類は、複数の予測パーティションの各々について決定されても良い。複数の予測パーティションに関連する動きデータは、モーフィング済み予測参照ピクチャ又は合成済み予測参照ピクチャのうちの１つに少なくとも部分的に基づき生成されても良い。動き補償は、複数の予測パーティションについて複数の予測済みパーティションを生成するために、動きデータと、モーフィング済み予測参照ピクチャ又は合成済み予測参照ピクチャのうちの少なくとも１つとに基づき、実行されても良い。複数の予測済みパーティションは、対応する複数の予測誤差データパーティションを生成するために、対応する元のピクセルデータとの差分を取られても良い。複数の予測誤差データパーティションの予測誤差データパーティションの一部は、エンコードされる必要があると決定される。測誤差データパーティションの部分集合の個々の予測誤差データパーティションは、選択された符号化パーティショニング及び関連する複数の符号化パーティションにパーティショニングされても良い。コンテンツ適応型変換は、１又は複数の第１の符号化パーティションに対して実行されても良く、固定変換は、変換係数を生成するために、複数の符号化パーティショニングのうちの１又は複数の第２の符号化パーティションに対して実行されても良い。変換係数は、量子化済み変換係数を生成するために量子化されても良い。第１及び第２の種類に関連付けられたフレームデータ、モード及び参照種類に関連付けられたモードデータ、選択された予測パーティショニングに関連付けられた予測パーティショニング指示子又は予測パーティショニングコードワード、選択された符号化パ―ティショニングに関連付けられた符号化パーティショニング指示子又は符号化パーティショニングコードワード、動きデータ、量子化済み変換係数、モーフィング特性パラメータ、合成特性パラメータ、及びデブロックフィルタリングパラメータは、ビットストリームにエントロピーエンコードされても良い。
別の例では、コンピュータにより実施されるビデオ符号化方法は、デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及びインループフィルタリング又は品質復元フィルタリングパラメータを生成するステップと、デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータと、インループフィルタリング又は品質復元フィルタリングパラメータと、第２の再構成済みタイル又はスーパーフラグメントとに少なくとも部分的に基づき、第２の最終再構成済みタイル又はスーパーフラグメントを生成するステップと、を更に有しても良い。第１のデコード済み予測参照ピクチャは、ピクチャバッファに格納されても良い。ここで、動き補償を実行するステップは、適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを生成するステップと、適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを用いて適応型動き又は適応型精密フィルタリングに少なくとも部分的に基づき動き補償を実行するステップと、を有しても良い。拡張予測パラメータ及び拡張予測パーティションは、予測パーティション及び拡張予測パラメータに基づき生成されても良い。拡張予測済みパーティション又は予測済みパーティションを予測パーティションのための選択された予測済みパーティションとして用いるか否かが決定されても良い。選択された予測済みパーティションが拡張予測パラメータをビットストリームにエントロピーエンコードする拡張予測済みパーティションを有するとき、統合フィルタリング又は統合向上フィルタリングを選択された予測済みパーティションに適用するか否かが決定されても良い。統合フィルタリング又は統合向上フィルタリングが選択された予測済みパーティションに適用されるとき、選択された予測済みパーティション及び第２の選択された予測済みパーティションは、アセンブル済みピクチャの少なくとも一部を生成するためにアセンブルされても良い。統合フィルタリング又は統合向上フィルタリングが選択された予測済みパーティションに適用されるとき、統合フィルタリング又は統合向上フィルタリングパラメータが生成されても良く、アセンブル済みピクチャの一部は、統合フィルタリングパラメータ又は統合向上フィルタリングパラメータに少なくとも部分的に基づき、統合フィルタリング又は統合向上フィルタリングされても良い。統合フィルタリング又は統合向上フィルタリングが選択された予測済みパーティションに適用されるとき、統合フィルタリングパラメータ又は統合向上フィルタリングパラメータは、ビットストリームにエントロピーエンコードされても良い。選択されたコンテンツ適応型及び固定変換に関連するデータ、デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及びインループフィルタリング又は品質復元フィルタリングパラメータは、ビットストリームにエントロピーエンコードされても良い。ここで、エントロピーエンコードは、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術のうちの少なくとも１つを有しても良く、予測パーティショニング指示子又は予測パーティショニングコードワードをエントロピーエンコードするステップは、モーフィング特性パラメータ又は合成特性パラメータをエントロピーエンコードするステップと異なるエントロピーエンコード技術を有しても良い。ビットストリームは送信されても良い。
同様に、ビットストリームは受信されても良い。ビットストリームは、第１の種類及び第２の種類に関連付けられたフレームデータ、モード及び参照種類に関連付けられたモードデータ、選択された予測パーティショニングに関連付けられた予測パーティショニング指示子又は予測パーティショニングコードワード、選択された符号化パーティショニングに関連付けられた符号化パーティショニング指示子又は符号化パーティショニングコードワード、動きデータ、量子化済み変換係数、モーフィング特性パラメータ、合成特性パラメータ、デブロックフィルタリングパラメータ、合成特性パラメータ、デブロックフィルタリングパラメータ、拡張予測パラメータ、統合フィルタリングパラメータ又は統合向上フィルタリングパラメータ、選択されたコンテンツ適応型及び固定変換に関連するデータ、インループフィルタリング又は品質復元フィルタリングパラメータを決定するためにエントロピーデコードされても良い。ここで、エントロピーデコードするステップは、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術のうちの少なくとも１つを有しても良く、予測パーティショニング指示子又は予測パーティショニングコードワードをエントロピーデコードするステップは、量子化済み変換係数をエントロピーデコードするステップと異なるエントロピーデコード技術を有しても良い。
幾つかの実装では、逆量子化は、デコード済み変換係数を生成するために、量子化済み変換係数に少なくとも部分的に基づき実行されても良い。逆変換は、複数のデコード済み符号化パーティションを生成するために、デコード済み変換係数及び変換指示子に少なくとも部分的に基づき実行されても良い。ここで、逆変換は、逆固定変換、逆離散コサイン変換、逆離散コサイン変換近似、逆適応型変換、又は逆ハイブリッドパラメータＨａａｒ変換の内の少なくとも１つを有しても良い。複数のデコード済み符号化パーティションは、デコード済み予測誤差データパーティションを生成するためにアセンブルされても良い。第１のデコード済みタイル又はスーパーフラグメントのうちの少なくとも１つは生成されても良い。デコーダデブロックフィルタリング、又はデコーダデブロック及びディザフィルタリング、及びデコーダインループ又はデコーダ品質復元フィルタリングは、第１の最終デコード済み再構成済みタイル又はスーパーフラグメントを生成するために、デブロックフィルタリングパラメータ、又はデブロック及びディザフィルタリングパラメータ、及びインループフィルタリングパラメータ又は品質復元フィルタリングパラメータに少なくとも部分的に基づき、第１のデコード済みタイル又はスーパーフラグメントに適用されても良い。第１の最終デコード済み再構成済みタイル又はスーパーフラグメント及び第２の最終デコード済み再構成済みタイル又はスーパーフラグメントは、デコード済み再構成済みビデオフレームを生成するためにアセンブルされても良い。デコード済み再構成済みビデオフレームは、デコーダピクチャバッファに格納されても良い。デコーダモーフィング済み予測参照ピクチャは、モーフィング特性パラメータに少なくとも部分的に基づき生成されても良い。デコーダ合成済み予測参照ピクチャは、合成特性パラメータに少なくとも部分的に基づき生成されても良い。
幾つかの実装では、デコーダ動き補償は、デコード済み予測済みパーティションを生成するために、デコーダモーフィング済み予測参照ピクチャ又はデコーダ合成済み予測参照ピクチャに少なくとも部分的に基づき実行されても良い。ここで、デコーダ動き補償は、適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータに少なくとも部分的に基づくデコーダ適応型動きフィルタリング又はデコーダ適応型精密フィルタリングを有しても良い。拡張デコード済み予測済みパーティションは、拡張予測パラメータ及びデコード済み予測済みパーティションに少なくとも部分的に基づき生成されても良い。デコード済み拡張予測済みパーティション又はデコード済み予測済みパーティションを選択されたデコード済み予測済みパーティションとして用いるかが決定されても良い。デコーダ統合フィルタリング又はデコーダ統合向上フィルタリングを選択されたデコード済み予測済みパーティションに適用するかが決定されても良い。デコーダ統合フィルタリング又はデコーダ統合向上フィルタリングが選択されたデコード済み予測済みパーティションに適用されるとき、選択されたデコード済み予測済みパーティション及び第２の選択されたデコード済み予測済みパーティションは、デコード済みアセンブル済みピクチャの少なくとも一部を生成するためにアセンブルされても良い。デコーダ統合フィルタリング又はデコーダ統合向上フィルタリングが選択されたデコード済み予測済みパーティションに適用されるとき、デコード済みアセンブル済みピクチャの一部は、統合フィルタリングパラメータ又は統合向上フィルタリングパラメータに少なくとも部分的に基づき、デコーダ統合フィルタリング又はデコーダ統合向上フィルタリングされても良い。選択されたデコード済み予測済みパーティションは、第１のデコード済み再構成済みパーティションを生成するために、デコード済み予測誤差データパーティションに加算されても良い。第１のデコード済み再構成済みパーティション及び第２のデコード済み再構成済みパーティションは、第３の最終デコード済み再構成済みタイル又はスーパーフラグメントを生成するために、結合されても良い。第３の最終デコード済み再構成済みタイル又はスーパーフラグメント及び第４の最終デコード済み再構成済みタイル又はスーパーフラグメントは、第２のデコード済み再構成済みビデオフレームを生成するためにアセンブルされても良い。第２のデコード済み再構成済みビデオフレームは、ディスプレイ装置による提示のために、送信されても良い。第１のビデオフレームを第１の複数のスーパーフラグメントにセグメント化するステップは、第１のビデオフレームを第３の複数のタイルに分割するステップと、第１のビデオフレームを２以上の領域レイヤにセグメント化するステップと、を有しても良い。ここで、第１の複数のスーパーフラグメントのうちの少なくとも１つのスーパーフラグメントは、第２の複数のタイルのうちの個々のタイル内の２以上の領域レイヤのうちの個々の領域レイヤを有する。
幾つかの実装では、第１のパーティショニング技術は、ｋｄ木パーティショニング技術を有しても良く、第２のパーティショニング技術は、ｂｉ木パーティショニング技術を有しても良い。第２のビデオフレームについての選択された予測パーティショニング及び関連する複数の予測パーティションの決定は、第２のパーティショニング技術に基づき、第２のビデオを複数の可能な予測パーティショニングにパーティショニングするステップと、複数の可能な予測パーティショニングの各々について予測を実行し、複数の可能な予測パーティショニングの各々について可能な予測誤差を決定するステップと、予測及び可能な予測誤差に基づきレート歪み最適化を実行するステップであって、選択された予測パーティショニング及び関連する複数の予測パーティションを決定する、ステップと、選択された予測パーティショニング及び複数の予測パーティションに関連付けられた予測パーティショニング指示子又は予測パーティショニングコードワードを生成するステップと、を有しても良い。予測誤差データパーティションの部分集合のうちの個々の予測誤差データパーティションをパーティショニングするステップは、ｂｉ木パーティショニングするステップを有しても良い。予測誤差データパーティションの部分集合の個々の予測誤差データパーティションを選択された符号化パーティショニング及び関連する複数の符号化パーティションにパーティショニングするステップは、予測誤差データパーティションの部分集合の個々の予測誤差データパーティションを複数の可能な符号化パーティショニングにパーティショニングするステップと、複数の可能な符号化パーティショニングの各々の１又は複数の第１の符号化パーティションに対してコンテンツ適応型変換を、及び複数の可能な符号化パーティショニングの各々の１又は複数の第２の符号化パーティションに対して固定変換を実行するステップであって、第１の符号化パーティションは小乃至中の大きさのパーティションを有し、第２の符号化パーティションは中乃至大の大きさのパーティションを有し、固定変換は、離散コサイン変換又は離散コサイン変換近似のうちの少なくとも１つを有し、コンテンツ適応型変換は、ハイブリッドパラメータＨａａｒ変換を有し、ハイブリッドパラメータＨａａｒ変換は、第１の方向のパラメータＨａａｒ変換及び第２の方向の離散コサイン変換を有する、ステップと、及び／又は選択された符号化パ―ティショニング及び関連する複数の符号化パーティション及び関連する選択されたコンテンツ適応型及び固定変換を決定するために、複数の可能な符号化パーティショニングのコンテンツ適応型変換及び固定変換に基づき、第２のレート歪み最適化を実行するステップであって、符号化パーティションは関連する変換係数を有する、ステップと、を有しても良い。
幾つかの実装では、第１のビデオフレームはＩ−ピクチャであり、第２のビデオフレームはＢ／Ｆ−ピクチャ又はＰ−ピクチャのうちの少なくとも１つである。第１のビデオフレームが第１の種類であるか、第２のビデオフレームが第２の種類であるかの決定は、第３のレート歪み最適化を有しても良い。モードは、イントラモード、インターモード、マルチモード、スキップモード、又は自動モードのうちの少なくとも１つを有しても良い。参照種類は、モーフ―ング済み予測参照ピクチャ、合成済み予測参照ピクチャ、第１のデコード済み予測参照ピクチャ、又は第２のデコード済み予測参照ピクチャのうちの少なくとも１つを有しても良く、第１のデコード済み予測参照ピクチャは、過去のデコード済み予測参照ピクチャ又は将来のデコード済み予測参照ピクチャを有する。モード及び参照種類の決定は、第４のレート歪み最適化を有しても良い。
幾つかの実装では、モーフィング済み予測参照ピクチャは、利得変更済み予測参照ピクチャ、ブラー変更済み予測参照ピクチャ、支配的動き変更済み予測参照ピクチャ、又は整合性変更済み予測参照ピクチャのうちの少なくとも１つを有しても良い。ここで、合成済み予測参照ピクチャは、超解像度予測参照ピクチャ又は投影軌跡予測参照ピクチャのうちの少なくとも１つを有する。モーフィング特性パラメータの生成は、第２のビデオフレーム及び前のデコード済み予測参照ピクチャに少なくとも部分的に基づきモーフィング特性パラメータを生成するステップ、又は第２のビデオフレーム及び第３の元のビデオフレームに少なくとも部分的に基づきモーフィング特性パラメータを生成するステップのうちの少なくとも１つを有しても良く、動きデータは動きベクトルを有しても良い。
別の例では、ビデオエンコーダは、画像バッファと、画像バッファに通信可能に結合されるグラフィック処理ユニットと、を有しても良い。グラフィック処理ユニットは、第１の種類の第１のビデオフレーム及び第２の種類の第２のビデオフレームを第１の複数のタイル又はスーパーフラグメント及び第２の複数のタイル又はスーパーフラグメントにセグメント化するよう構成されても良い。グラフィック処理ユニットは、第１の複数のタイル又はスーパーフラグメントを第１のパーティショニング技術を用いて、第２の複数のタイル又はスーパーフラグメントを第２のパーティショニング技術を用いて、パーティショニングするよう構成されても良い。ここで、第１及び第２のパーティショニング技術は異なる。第２のビデオフレームの選択された予測パーティショニング及び関連する複数の予測パーティションが決定されても良い。第１の再構成済みタイル又はスーパーフラグメントが生成されても良い。デブロックフィルタリングパラメータ及び第１の最終再構成済みタイル又はスーパーフラグメントは、第１の再構成済みタイル又はスーパーフラグメント及びデブロックフィルタリングパラメータに少なくとも部分的に基づき生成されても良い。第１の最終再構成済みタイル又はスーパーフラグメント及び第２の最終再構成済みタイル又はスーパーフラグメントは、第１のデコード済み予測参照ピクチャを生成するためにアセンブルされても良い。モーフィング特性パラメータ及びモーフィング済み予測参照ピクチャは、モーフィング特性パラメータ及び第１のデコード済み参照ピクチャに少なくとも部分的に基づき生成されても良い。合成特性パラメータ及び合成済み予測参照ピクチャは、合成特性パラメータ及び第１のデコード済み参照ピクチャ又は第２のデコード済み参照ピクチャに少なくとも部分的に基づき生成されても良い。モード及び参照種類は、複数の予測パーティションの各々について決定されても良い。複数の予測パーティションに関連する動きデータは、モーフィング済み予測参照ピクチャ又は合成済み予測参照ピクチャのうちの１つに少なくとも部分的に基づき生成されても良い。動き補償は、複数の予測パーティションについて複数の予測済みパーティションを生成するために、動きデータと、モーフィング済み予測参照ピクチャ又は合成済み予測参照ピクチャのうちの少なくとも１つとに基づき、実行されても良い。対応する複数の予測誤差データパーティションを生成するために、複数の予測済みパーティションと対応する元のピクセルデータとの差分が取られても良い。複数の予測誤差データパーティションの予測誤差データパーティションの部分集合はエンコードされる必要があるか、決定されても良い。エンコードされる必要のある予測誤差データパーティションの部分集合について、予測誤差データパーティションの部分集合の個々の予測誤差データパーティションは、選択された符号化パーティショニング及び関連する複数の符号化パーティションにパーティショニングされても良く、変換係数を生成するために、コンテンツ適応型変換は１又は複数の第１の符号化パーティションに対して、及び固定変換は複数の符号化パーティションのうちの１又は複数の第２の符号化パーティションに対して実行されても良く、変換係数は、量子化済み変換係数を生成するために量子化されても良い。第１及び第２の種類に関連付けられたフレームデータ、モード及び参照種類に関連付けられたモードデータ、選択された予測パーティショニングに関連付けられた予測パーティショニング指示子又は予測パーティショニングコードワード、選択された符号化パ―ティショニングに関連付けられた符号化パーティショニング指示子又は符号化パーティショニングコードワード、動きデータ、量子化済み変換係数、モーフィング特性パラメータ、合成特性パラメータ、及びデブロックフィルタリングパラメータは、全て、ビットストリームにエントロピーエンコードされても良い。
更なる例では、デコーダシステムは、エンコード済みビットストリームをデコードするよう構成されるビデオデコーダを有しても良い。ビデオデコーダは、量子化済み変換係数、選択されたコンテンツ適応型及び固定変換に関連するデータ、符号化パーティショニング指示子又は符号化パーティショニングコードワード、デブロックフィルタリングパラメータ、モーフィング特性パラメータ、合成特性パラメータ、動きデータ、予測パーティショニング指示子又は予測パーティショニングコードワードを決定するために、エンコード済みビットストリームをエントロピーデコードするよう構成されても良い。逆量子化は、デコード済み変換係数を生成するために、量子化済み変換係数に少なくとも部分的に基づき実行されても良い。逆変換は、複数のデコード済み符号化パーティションを生成するために、デコード済み変換係数と、選択されたコンテンツ適応型及び固定変換に関連するデータと、に少なくとも部分的に基づいても良い。複数のデコード済み符号化パーティションは、デコード済み予測誤差データパーティションを生成するために、符号化パーティショニング指示子又は符号化パーティショニングコードワードに少なくとも部分的に基づきアセンブルされても良い。第１のデコード済みタイル又はスーパーフラグメントのうちの少なくとも１つは生成されても良い。デブロックフィルタリングは、第１の最終デコード済み再構成済みタイル又はスーパーフラグメントを生成するために、デブロックフィルタリングパラメータに少なくとも部分的に基づき、第１のデコード済みタイル又はスーパーフラグメントに適用されても良い。第１の最終デコード済み再構成済みタイル又はスーパーフラグメント及び第２の最終デコード済み再構成済みタイル又はスーパーフラグメントは、デコード済み再構成済みビデオフレームを生成するためにアセンブルされても良い。モーフィング済み予測参照ピクチャは、モーフィング特性パラメータ及びデコード済み再構成済みビデオフレームに少なくとも部分的に基づき生成されても良い。合成済み予測参照ピクチャは、合成特性パラメータと、再構成済みビデオフレーム又は第１の再構成済みビデオフレームのうちの少なくとも１つと、に少なくとも部分的に基づき生成されても良い。動き補償は、デコード済み予測済みパーティションを生成するために、デコーダモーフィング済み予測参照ピクチャ又はデコーダ合成済み予測参照ピクチャ及び動きデータに少なくとも部分的に基づき実行されても良い。デコード済み予測済みパーティションは、第１のデコード済み再構成済みパーティションを生成するために、デコード済み予測誤差データパーティションに加算されても良い。第１のデコード済み再構成済みパーティション及び第２のデコード済み再構成済みパーティションは、第３の最終デコード済み再構成済みタイル又はスーパーフラグメントを生成するために、予測パーティショニング指示子又は予測パーティショニングコードワードに少なくとも部分的に基づき結合されても良い。第３の最終デコード済み再構成済みタイル又はスーパーフラグメント及び第４の最終デコード済み再構成済みタイル又はスーパーフラグメントは、第２のデコード済み再構成済みビデオフレームを生成するためにアセンブルされても良い。第２のデコード済み再構成済みビデオフレームは、ディスプレイ装置による提示のために、送信されても良い。
更なる例では、少なくとも１つの機械可読媒体は、コンピューティング装置で実行されるのに応答して、コンピューティング装置に上述の例のうちの任意の１つに従う方法を実行させる複数の命令を有しても良い。
更に別の例では、装置は、上述の例のうちの任意の１つに従う方法を実行する手段を有しても良い。
上述の例は、機能の特定の組合せを有しても良い。しかしながら、このような上述の例は、これに関して限定されず、種々の実装において、上述の例は、このような特徴の一部のみを取り入れ、このような特徴の異なる順序を取り入れ、このような特徴の異なる組合せを取り入れ、及び／又は明示的に列挙された特徴以外の追加特徴を取り入れても良い。例えば、例示的な方法に関して記載された全ての特徴は、例示的な装置、例示的なシステム、及び／又は例示的な物品に対して実施されても良く、逆も同様である。
［関連出願］
本願は、米国仮出願番号第６１／７２５，５７６号、２０１２年１１月１３日出願、名称「CONTENT ADAPTIVE VIDEO CODER」、並びに米国仮出願番号第６１／７５８，３１４号、２０１３年１月３０日出願、名称「NEXT GENERATION VIDEO CODING」の優先権を主張する。

Claims (33)

  1. コンピュータにより実施されるビデオ符号化方法であって、
    第１の種類の第１のビデオフレーム及び第２の種類の第２のビデオフレームを第１の複数のタイル又はスーパーフラグメント及び第２の複数のタイル又はスーパーフラグメントにセグメント化するステップと、
    前記第１の複数のタイル又はスーパーフラグメントを第１のパーティショニング技術を用いて、及び前記第２の複数のタイル又はスーパーフラグメントを第２のパーティショニング技術を用いて、パーティショニングするステップであって、前記第１及び第２のパーティショニング技術は異なる、ステップと、
    前記第２のビデオフレームについて選択された予測パーティショニング及び関連する複数の予測パーティションを決定するステップと、
    第１の再構成済みタイル又はスーパーフラグメントを生成するステップと、
    デブロックフィルタリングパラメータと、前記第１の再構成済みタイル又はスーパーフラグメント及び前記デブロックフィルタリングパラメータに少なくとも部分的に基づき第１の最終再構成済みタイル又はスーパーフラグメントと、を生成するステップと、
    第１のデコード済み予測参照ピクチャを生成するために、前記第１の最終再構成済みタイル又はスーパーフラグメント及び第２の最終再構成済みタイル又はスーパーフラグメントをアセンブルするステップと、
    モーフィング特性パラメータと、前記モーフィング特性パラメータ及び前記第１のデコード済み参照ピクチャに少なくとも部分的に基づきモーフィング済み予測参照ピクチャと、を生成するステップと、
    合成特性パラメータと、前記合成特性パラメータ及び前記第１のデコード済み参照ピクチャ又は第２のデコード済み参照ピクチャに少なくとも部分的に基づき合成済み予測参照ピクチャと、を生成するステップと、
    前記複数の予測パーティションの各々について、モード及び参照種類を決定するステップと、
    前記モーフィング済み予測参照ピクチャ又は前記合成済み予測参照ピクチャのうちの少なくとも１つに基づき、前記複数の予測パーティションに関連する動きデータを生成するステップと、
    前記複数の予測パーティションについて複数の予測済みパーティションを生成するために、前記動きデータと、前記モーフィング済み予測参照ピクチャ又は前記合成済み予測参照ピクチャのうちの少なくとも１つと、に基づき、動き補償を実行するステップと、
    対応する複数の予測誤差データパーティションを生成するために、前記複数の予測済みパーティションと対応する元のピクセルデータとの差分を取るステップと、
    前記複数の予測誤差データパーティションのうち、エンコードされる必要のある予測誤差データパーティションの部分集合を決定するステップと、
    前記エンコードされる必要のある予測誤差データパーティションの部分集合について、
    予測誤差データパーティションの前記部分集合のうちの個々の予測誤差データパーティションを選択された符号化パーティショニング及び関連する複数の符号化パーティションにパーティショニングするステップと、
    変換係数を生成するために、前記複数の符号化パーティショニングのうち、コンテンツ適応型変換を１又は複数の第１の符号化パーティションに対して、及び固定変換を１又は複数の第２の符号化パーティションに対して、実行するステップと、
    量子化済み変換係数を生成するために、前記変換係数を量子化するステップと、
    前記第１の種類及び前記第２の種類に関連付けられたフレームデータ、前記モード及び前記参照種類に関連付けられたモードデータ、前記選択された予測パーティショニングに関連付けられた予測パーティショニング指示子又は予測パーティショニングコードワード、前記選択された符号化パーティショニングに関連付けられた符号化パーティショニング指示子又は符号化パーティショニングコードワード、前記動きデータ、前記量子化済み変換係数、前記モーフィング特性パラメータ、前記合成特性パラメータ、及び前記デブロックフィルタリングパラメータをビットストリームにエントロピーエンコードするステップと、
    を有する方法。
  2. 前記第１のパーティショニング技術は、ｋｄ木パーティショニング技術を有し、前記第２のパーティショニング技術は、ｂｉ木パーティショニング技術を有する、請求項１に記載の方法。
  3. 前記第２のビデオフレームについての前記選択された予測パーティショニング及び前記関連する複数の予測パーティションを決定するステップは、
    前記第２のパーティショニング技術に基づき、前記第２のビデオを複数の可能な予測パーティショニングにパーティショニングするステップと、
    前記複数の可能な予測パーティショニングの各々について予測を実行し、前記複数の可能な予測パーティショニングの各々について可能な予測誤差を決定するステップと、
    前記選択された予測パーティショニング及び前記関連する複数の予測パーティションを決定するために、前記予測及び前記可能な予測誤差に基づきレート歪み最適化を実行するステップと、
    前記選択された予測パーティショニング及び前記複数の予測パーティションに関連付けられた前記予測パーティショニング指示子又は予測パーティショニングコードワードを生成するステップと、
    を有する、請求項１に記載の方法。
  4. 予測誤差データパーティションの前記部分集合のうちの前記個々の予測誤差データパーティションをパーティショニングするステップは、ｂｉ木パーティショニングを有する、請求項１に記載の方法。
  5. 予測誤差データパーティションの前記部分集合のうちの前記個々の予測誤差データパーティションを前記選択された符号化パーティショニング及び前記関連する複数の符号化パーティションにパーティショニングするステップは、
    予測誤差データパーティションの前記部分集合のうちの個々の予測誤差データパーティションを複数の可能な符号化パーティショニングにパーティショニングするステップと、
    前記複数の可能な符号化パーティショニングの各々のうちの１又は複数の第１の符号化パーティションに対してコンテンツ適応型変換を、及び前記複数の可能な符号化パーティショニングの各々のうちの１又は複数の第２の符号化パーティションに対して固定変換を、実行するステップと、
    前記選択された符号化パーティショニング及び前記関連する複数の符号化パーティション及び関連する選択されたコンテンツ適応型変換及び固定変換を決定するために、前記複数の可能な符号化パーティショニングの前記コンテンツ適応型変換及び固定変換に基づき、レート歪み最適化を実行するステップと、
    を有する、請求項１に記載の方法。
  6. 前記固定変換は、離散コサイン変換又は離散コサイン変換近似のうちの少なくとも１つを有し、前記コンテンツ適応型変換は、ハイブリッドパラメータＨａａｒ変換を有する、請求項１に記載の方法。
  7. 前記エントロピーエンコードするステップは、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術のうちの少なくとも１つを有し、前記予測パーティショニング指示子又は前記予測パーティショニングコードワードをエントロピーエンコードするステップは、前記モーフィング特性パラメータ又は前記合成特性パラメータをエントロピーエンコードするのと異なるエントロピーエンコード技術を有する、請求項１に記載の方法。
  8. 前記モーフィング済み予測参照ピクチャは、利得変更済み予測参照ピクチャ、ブラー変更済み予測参照ピクチャ、支配的動き変更済み予測参照ピクチャ、又は整合性変更済み予測参照ピクチャのうちの少なくとも１つを有し、前記合成済み予測参照ピクチャは、超解像度予測参照ピクチャ又は投影軌跡予測参照ピクチャのうちの少なくとも１つを有する、請求項１に記載の方法。
  9. デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及びインループフィルタリング又は品質復元フィルタリングパラメータを生成し、前記デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及び前記インループフィルタリング又は品質復元フィルタリングパラメータ、及び第２の再構成済みタイル又はスーパーフラグメントに少なくとも部分的に基づき、前記第２の最終再構成済みタイル又はスーパーフラグメントを生成するステップと、
    ピクチャバッファの中の前記第１のデコード済み予測参照ピクチャをソートするステップであって、前記動き補償を実行するステップは、適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを生成するステップを有し、前記適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを用いて適応型動き又は適応型精密フィルタリングに少なくとも部分的に基づき前記動き補償を実行する、ステップと、
    拡張予測パラメータと、予測済みパーティション及び前記拡張予測パラメータに基づき拡張予測済みパーティションと、を生成するステップと、
    前記予測パーティショニングの選択された予測済みパーティションとして、前記拡張予測済みパーティション又は前記予測済みパーティションを使用するかを決定するステップと、
    前記選択された予測済みパーティションが前記拡張予測済みパーティションを有するとき、前記拡張予測パラメータを前記ビットストリームにエントロピーエンコードするステップと、
    前記選択された予測済みパーティションに統合フィルタリング又は統合向上フィルタリングを適用するかを決定するステップと、
    前記選択された予測済みパーティションに統合フィルタリング又は統合向上フィルタリングが適用されるとき、
    アセンブル済みピクチャの少なくとも一部を生成するために、前記選択された予測済みパーティション及び第２の選択された予測済みパーティションをアセンブルするステップと、
    統合フィルタリングパラメータ又は統合向上フィルタリングパラメータを生成し、前記統合フィルタリングパラメータ又は統合向上フィルタリングパラメータに少なくとも部分的に基づき、前記アセンブル済みピクチャを統合フィルタリング又は統合向上フィルタリングするステップと、
    前記統合フィルタリングパラメータ又は前記統合向上フィルタリングパラメータを前記ビットストリームにエントロピーエンコードするステップと、
    を更に有する請求項１に記載の方法。
  10. 前記モーフィング特性パラメータを生成するステップは、前記第２のビデオフレーム及び前のデコード済み予測参照ピクチャに少なくとも部分的に基づき前記モーフィング特性パラメータを生成するステップ、又は前記第２のビデオフレーム及び第３の元のビデオフレームに少なくとも部分的に基づき前記モーフィング特性パラメータを生成するステップのうちの少なくとも１つを有する、請求項１に記載の方法。
  11. デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及びインループフィルタリング又は品質復元フィルタリングパラメータを生成し、前記デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及び前記インループフィルタリング又は品質復元フィルタリングパラメータ、及び第２の再構成済みタイル又はスーパーフラグメントに基づき、前記第２の最終再構成済みタイル又はスーパーフラグメントを生成するステップと、
    ピクチャバッファの中の前記第１のデコード済み予測参照ピクチャをソートするステップであって、前記動き補償を実行するステップは、適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを生成するステップと、前記適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを用いる適応型動き又は適応型精密フィルタリングに少なくとも部分的に基づき、前記動き補償を実行するステップと、を有する、ステップと、
    拡張予測パラメータと、予測済みパーティション及び前記拡張予測パラメータに基づき拡張予測済みパーティションと、を生成するステップと、
    前記予測パーティションの選択された予測済みパーティションとして前記拡張予測済みパーティション又は前記予測済みパーティションを用いるかを決定するステップと、
    前記選択された予測済みパーティションが前記拡張予測済みパーティションを有するとき、前記拡張予測パラメータを前記ビットストリームにエントロピーエンコードするステップと、
    前記選択された予測済みパーティションに統合フィルタリング又は統合向上フィルタリングを適用するかを決定するステップと、
    前記選択された予測済みパーティションに統合フィルタリング又は統合向上フィルタリングが適用されるとき、
    アセンブル済みピクチャの少なくとも一部を生成するために、前記選択された予測済みパーティション及び第２の選択された予測済みパーティションをアセンブルするステップと、
    統合フィルタリングパラメータ又は統合向上フィルタリングパラメータを生成し、前記統合フィルタリングパラメータ又は統合向上フィルタリングパラメータに少なくとも部分的に基づき、前記アセンブル済みピクチャの前記一部を統合フィルタリング又は統合向上フィルタリングするステップと、
    前記統合フィルタリングパラメータ又は前記統合向上フィルタリングパラメータを前記ビットストリームにエントロピーエンコードするステップと、
    前記選択されたコンテンツ適応型及び固定変換に関連するデータ、前記デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及び前記インループフィルタリング又は品質復元フィルタリングパラメータを前記ビットストリームにエントロピーエンコードするステップであって、前記エントロピーエンコードするステップは、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術のうちの少なくとも１つを有し、前記予測パーティショニング指示子又は前記予測パーティショニングコードワードをエントロピーエンコードするステップは、前記モーフィング特性パラメータ又は前記合成特性パラメータをエントロピーエンコードするのと異なるエントロピーエンコード技術を有する、ステップと、
    前記ビットストリームを送信するステップと、
    前記ビットストリームを受信するステップと、
    前記第１の種類及び前記第２の種類に関連付けられた前記フレームデータ、前記モード及び前記参照種類に関連付けられたモードデータ、前記選択された予測パーティショニングに関連付けられた予測パーティショニング指示子又は予測パーティショニングコードワード、前記選択された符号化パーティショニングに関連付けられた符号化パーティショニング指示子又は符号化パーティショニングコードワード、前記動きデータ、前記量子化済み変換係数、前記モーフィング特性パラメータ、前記合成特性パラメータ、前記デブロックフィルタリングパラメータ、前記拡張予測パラメータ、前記統合フィルタリングパラメータ又は前記統合向上フィルタリングパラメータ、前記選択されたコンテンツ適応型及び固定変換に関連付けられたデータ、前記デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及び前記インループフィルタリング又は品質復元フィルタリングパラメータを決定するために、前記ビットストリームをエントロピーデコードするステップであって、前記エントロピーデコードするステップは、前記適応型シンボル−ラン可変長符号化技術又は前記適応型プロキシ可変長符号化技術のうちの少なくとも１つを有し、前記予測パーティショニング指示子又は前記予測パーティショニングコードワードをエントロピーデコードするステップは、前記量子化済み変換係数をエンコードデコードするのと異なるエントロピーデコード技術を有する、ステップと、
    デコード済み変換係数を生成するために、前記量子化済み変換係数に少なくとも部分的に基づき、逆量子化を実行するステップと、
    複数のデコード済み符号化パーティションを生成するために、前記デコード済み変換係数及び前記変換指示子に少なくとも部分的に基づき、逆変換を実行するステップであって、前記逆変換は、逆固定変換、逆離散コサイン変換、逆離散コサイン変換近似、逆適応型変換、又は逆ハイブリッドパラメータＨａａｒ変換のうちの少なくとも１つを有する、ステップと、
    デコード済み予測誤差データパーティションを生成するために、前記複数のデコード済み符号化パーティションをアセンブルするステップと、
    第１のデコード済みタイル又はスーパーフラグメントのうちの少なくとも１つを生成するステップと、
    第１の最終デコード済み再構成済みタイル又はスーパーフラグメントを生成するために、前記デブロックフィルタリングパラメータ又はデブロック及びディザフィルタリングパラメータ及び前記インループフィルタリングパラメータ又は品質復元フィルタリングパラメータに少なくとも部分的に基づき、前記第１のデコード済みタイル又はスーパーフラグメントに、デコーダデブロックフィルタリング又はデコーダデブロック及びディザフィルタリング及びデコーダインループ又はデコーダ品質復元フィルタリングを適用するステップと、
    デコード済み再構成済みビデオフレームを生成するために、前記第１の最終デコード済み再構成済みタイル又はスーパーフラグメント及び第２の最終デコード済み再構成済みタイル又はスーパーフラグメントをアセンブルするステップと、
    デコーダピクチャバッファに前記デコード済み再構成済みビデオフレームを格納するステップと、
    前記モーフィング特性パラメータに少なくとも部分的に基づき、デコーダモーフィング済み予測参照ピクチャを生成するステップと、
    前記合成特性パラメータに少なくとも部分的に基づき、デコーダ合成済み予測参照ピクチャを生成するステップと、
    デコード済み予測済みパーティションを生成するために、前記デコーダモーフィング済み予測参照ピクチャ又は前記デコーダ合成済み予測参照ピクチャに少なくとも部分的に基づき、デコーダ動き補償を実行するステップであって、前記デコーダ動き補償は、前記適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータに少なくとも部分的に基づく、デコーダ適応型動きフィルタリング又はデコーダ適応型精密フィルタリングを有する、ステップと、
    前記拡張予測パラメータ及び前記デコード済み予測済みパーティションに少なくとも部分的に基づき、拡張デコード済み予測済みパーティションを生成するステップと、
    選択されたデコード済み予測済みパーティションとして前記デコード済み拡張予測済みパーティション又は前記デコード済み予測済みパーティションを用いるかを決定するステップと、
    前記選択されたデコード済み予測済みパーティションにデコーダ統合フィルタリング又はデコーダ統合向上フィルタリングを適用するかを決定するステップと、
    前記選択されたデコード済み予測済みパーティションにデコーダ統合フィルタリング又はデコーダ統合向上フィルタリングが適用されるとき、
    デコード済みアセンブル済みピクチャの少なくとも一部を生成するために、前記選択されたデコード済み予測済みパーティション及び第２の選択されたデコード済み予測済みパーティションをアセンブルするステップと、
    前記統合フィルタリングパラメータ又は前記統合向上フィルタリングパラメータに少なくとも部分的に基づき、前記デコード済みアセンブル済みピクチャの前記一部をデコーダ統合フィルタリング又はデコーダ統合向上フィルタリングするステップと、
    第１のデコード済み再構成済みパーティションを生成するために、前記デコード済み予測誤差データパーティションに前記選択されたデコード済み予測済みパーティションを加算するステップと、
    第３の最終デコード済み再構成済みタイル又はスーパーフラグメントを生成するために、前記第１のデコード済み再構成済みパーティション及び第２のデコード済み再構成済みパーティションを結合するステップと、
    第２のデコード済み再構成済みビデオフレームを生成するために、前記第３の最終デコード済み再構成済みタイル又はスーパーフラグメント及び第４の最終デコード済み再構成済みタイル又はスーパーフラグメントをアセンブルするステップと、
    ディスプレイ装置による提示のために、前記第２のデコード済み再構成済みビデオフレームを送信するステップと、
    を更に有し、
    前記第１のビデオフレームを前記第１の複数のスーパーフラグメントにセグメント化するステップは、前記第１のビデオフレームを第３の複数のタイルに分割するステップと、前記第１のビデオフレームを２以上の領域レイヤにセグメント化するステップと、を有し、前記第１の複数のスーパーフラグメントのうちの少なくとも１つのスーパーフラグメントは、前記第２の複数のタイルのうちの個々のタイルの範囲内の前記２以上の領域レイヤのうちの個々の領域レイヤを有し、
    前記第１のパーティショニング技術はｋｄ木パーティショニング技術を有し、前記第２のパーティショニング技術はｂｉ木パーティショニング技術を有し、
    前記第２のビデオフレームについて前記選択された予測パーティショニング及び前記関連する複数の予測パーティションを決定するステップは、
    前記第２のパーティショニング技術に基づき、前記第２のビデオを複数の可能な予測パーティショニングにパーティショニングするステップと、
    前記複数の可能な予測パーティショニングの各々について予測を実行し、前記複数の可能な予測パーティショニングの各々について可能な予測誤差を決定するステップと、
    前記選択された予測パーティショニング及び前記関連する複数の予測パーティションを決定するために、前記予測及び前記可能な予測誤差に基づき、レート歪み最適化を実行するステップと、
    前記選択された予測パーティショニング及び前記複数の予測パーティションｎ関連付けられた前記予測パーティショニング指示子又は予測パーティショニングコードワードを生成するステップと、
    を有し、
    予測誤差データパーティションの前記部分集合のうちの前記個々の予測誤差データパーティションをパーティショニングするステップは、ｂｉ木パーティショニングを有し、
    予測誤差データパーティションの前記部分集合のうちの前記個々の予測誤差データパーティションを前記選択された符号化パーティショニング及び前記関連する複数の符号化パーティションにパーティショニングするステップは、
    予測誤差データパーティションの前記部分集合のうちの個々の予測誤差データパーティションを複数の可能な符号化パーティショニングにパーティショニングするステップと、
    コンテンツ適応型変換を前記複数の可能な符号化パーティショニングの各々のうちの１又は複数の第１の符号化パーティションに、及び固定変換を前記複数の可能な符号化パーティショニングの各々のうちの１又は複数の第２の符号化パーティションに、実行するステップであって、前記第１の符号化パーティションは小乃至中の大きさのパーティションを有し、前記第２の符号化パーティションは中乃至大の大きさのパーティションを有し、前記固定変換は離散コサイン変換又は離散コサイン変換近似のうちの少なくとも１つを有し、前記コンテンツ適応型変換はハイブリッドパラメータＨａａｒ変換を有し、前記ハイブリッドパラメータＨａａｒ変換は第１の方向のパラメータＨａａｒ変換及び第２の方向の離散コサイン変換を有する、ステップと、
    前記選択された符号化パーティショニング、及び前記関連する複数の符号化パーティション、及び関連する選択されたコンテンツ適応型及び固定変換を決定するために、前記複数の可能な符号化パーティションの前記コンテンツ適応型変換及び固定変換に基づき、第２のレート歪み最適化を実行するステップと、
    を有し、
    前記第１のビデオフレームはＩ−ピクチャであり、前記第２のビデオフレームはＢ／Ｆ−ピクチャ又はＰ−ピクチャのうちの少なくとも１つであり、
    前記第１のビデオフレームが第１の種類であり前記第２のビデオフレームが第２の種類であると決定するステップは、第３のレート歪み最適化を有し、
    前記モードは、イントラモード、インターモード、マルチモード、スキップモード、又は自動モードのうちの少なくとも１つを有し、
    前記参照種類は、前記モーフィング済み予測参照ピクチャ、前記合成済み予測参照ピクチャ、前記第１のデコード済み予測参照ピクチャ、又は前記第２のデコード済み予測参照ピクチャ、のうちの少なくとも１つを有し、前記第１のデコード済み予測参照ピクチャは、過去のデコード済み予測参照ピクチャ又は将来のデコード済み予測参照ピクチャを有し、
    モード及び参照種類を決定するステップは、第４のレート歪み最適化を有し、
    前記モーフィング済み予測参照ピクチャは、利得変更済み予測参照ピクチャ、ブラー変更済み予測参照ピクチャ、支配的動き変更済み予測参照ピクチャ、又は整合性変更済み予測参照ピクチャのうちの少なくとも１つを有し、前記合成済み予測参照ピクチャは、超解像度予測参照ピクチャ又は投影軌跡予測参照ピクチャのうちの少なくとも１つを有し、
    前記モーフィング特性パラメータを生成するステップは、前記第２のビデオフレーム及び前のデコード済み予測参照ピクチャに少なくとも部分的に基づき前記モーフィング特性パラメータを生成するステップ、又は前記第２のビデオフレーム及び第３の元のビデオフレームに少なくとも部分的に基づき前記モーフィング特性パラメータを生成するステップ、のうちの少なくとも１つを有し、
    前記動きデータは、動きベクトルを有する、
    請求項１に記載の方法。
  12. 画像バッファと、
    前記画像バッファに通信可能に結合されるグラフィック処理ユニットと、
    を有し、前記グラフィック処理ユニットは、
    第１の種類の第１のビデオフレーム及び第２の種類の第２のビデオフレームを第１の複数のタイル又はスーパーフラグメント及び第２の複数のタイル又はスーパーフラグメントにセグメント化し、
    前記第１の複数のタイル又はスーパーフラグメントを第１のパーティショニング技術を用いて、及び前記第２の複数のタイル又はスーパーフラグメントを第２のパーティショニング技術を用いて、パーティショニングし、前記第１及び第２のパーティショニング技術は異なり、
    前記第２のビデオフレームについて選択された予測パーティショニング及び関連する複数の予測パーティションを決定し、
    第１の再構成済みタイル又はスーパーフラグメントを生成し、
    デブロックフィルタリングパラメータと、前記第１の再構成済みタイル又はスーパーフラグメント及び前記デブロックフィルタリングパラメータに少なくとも部分的に基づき第１の最終再構成済みタイル又はスーパーフラグメントと、を生成し、
    第１のデコード済み予測参照ピクチャを生成するために、前記第１の最終再構成済みタイル又はスーパーフラグメント及び第２の最終再構成済みタイル又はスーパーフラグメントをアセンブルし、
    モーフィング特性パラメータと、前記モーフィング特性パラメータ及び前記第１のデコード済み参照ピクチャに少なくとも部分的に基づきモーフィング済み予測参照ピクチャと、を生成し、
    合成特性パラメータと、前記合成特性パラメータ及び前記第１のデコード済み参照ピクチャ又は第２のデコード済み参照ピクチャに少なくとも部分的に基づき合成済み予測参照ピクチャと、を生成し、
    前記複数の予測パーティションの各々について、モード及び参照種類を決定し、
    前記モーフィング済み予測参照ピクチャ又は前記合成済み予測参照ピクチャのうちの少なくとも１つに基づき、前記複数の予測パーティションに関連する動きデータを生成し、
    前記複数の予測パーティションについて複数の予測済みパーティションを生成するために、前記動きデータと、前記モーフィング済み予測参照ピクチャ又は前記合成済み予測参照ピクチャのうちの少なくとも１つと、に基づき、動き補償を実行し、
    対応する複数の予測誤差データパーティションを生成するために、前記複数の予測済みパーティションと対応する元のピクセルデータとの差分を取り、
    前記複数の予測誤差データパーティションのうち、エンコードされる必要のある予測誤差データパーティションの部分集合を決定し、
    前記エンコードされる必要のある予測誤差データパーティションの部分集合について、
    予測誤差データパーティションの前記部分集合のうちの個々の予測誤差データパーティションを選択された符号化パーティショニング及び関連する複数の符号化パーティションにパーティショニングし、
    変換係数を生成するために、前記複数の符号化パーティショニングのうち、コンテンツ適応型変換を１又は複数の第１の符号化パーティションに対して、及び固定変換を１又は複数の第２の符号化パーティションに対して、実行し、
    量子化済み変換係数を生成するために、前記変換係数を量子化し、
    前記第１の種類及び前記第２の種類に関連付けられたフレームデータ、前記モード及び前記参照種類に関連付けられたモードデータ、前記選択された予測パーティショニングに関連付けられた予測パーティショニング指示子又は予測パーティショニングコードワード、前記選択された符号化パーティショニングに関連付けられた符号化パーティショニング指示子又は符号化パーティショニングコードワード、前記動きデータ、前記量子化済み変換係数、前記モーフィング特性パラメータ、前記合成特性パラメータ、及び前記デブロックフィルタリングパラメータをビットストリームにエントロピーエンコードする、
    よう構成される、ビデオエンコーダ。
  13. 前記第１のパーティショニング技術は、ｋｄ木パーティショニング技術を有し、前記第２のパーティショニング技術は、ｂｉ木パーティショニング技術を有する、請求項１２に記載のビデオエンコーダ。
  14. 前記第２のビデオフレームについての前記選択された予測パーティショニング及び前記関連する複数の予測パーティションを決定することは、
    前記第２のパーティショニング技術に基づき、前記第２のビデオを複数の可能な予測パーティショニングにパーティショニングし、
    前記複数の可能な予測パーティショニングの各々について予測を実行し、前記複数の可能な予測パーティショニングの各々について可能な予測誤差を決定し、
    前記選択された予測パーティショニング及び前記関連する複数の予測パーティションを決定するために、前記予測及び前記可能な予測誤差に基づきレート歪み最適化を実行し、
    前記選択された予測パーティショニング及び前記複数の予測パーティションに関連付けられた前記予測パーティショニング指示子又は予測パーティショニングコードワードを生成する、
    ことを有する、請求項１２に記載のビデオエンコーダ。
  15. 予測誤差データパーティションの前記部分集合のうちの前記個々の予測誤差データパーティションをパーティショニングすることは、前記グラフィック処理ユニットがｂｉ木パーティショニングを実行するよう構成されることを有する、請求項１２に記載のビデオエンコーダ。
  16. 予測誤差データパーティションの前記部分集合のうちの前記個々の予測誤差データパーティションを前記選択された符号化パーティショニング及び前記関連する複数の符号化パーティションにパーティショニングすることは、前記グラフィック処理ユニットが、
    予測誤差データパーティションの前記部分集合のうちの個々の予測誤差データパーティションを複数の可能な符号化パーティショニングにパーティショニングし、
    前記複数の可能な符号化パーティショニングの各々のうちの１又は複数の第１の符号化パーティションに対してコンテンツ適応型変換を、及び前記複数の可能な符号化パーティショニングの各々のうちの１又は複数の第２の符号化パーティションに対して固定変換を、実行し、
    前記選択された符号化パーティショニング及び前記関連する複数の符号化パーティション及び関連する選択されたコンテンツ適応型変換及び固定変換を決定するために、前記複数の可能な符号化パーティショニングの前記コンテンツ適応型変換及び固定変換に基づき、レート歪み最適化を実行する、
    よう構成されることを有する、請求項１２に記載のビデオエンコーダ。
  17. 前記固定変換は、離散コサイン変換又は離散コサイン変換近似のうちの少なくとも１つを有し、前記コンテンツ適応型変換は、ハイブリッドパラメータＨａａｒ変換を有する、請求項１２に記載のビデオエンコーダ。
  18. エントロピーエンコードすることは、前記グラフィック処理ユニットが適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術のうちの少なくとも１つを実施するよう構成されることを有し、前記グラフィック処理ユニットは、前記モーフィング特性パラメータ又は前記合成特性パラメータをエントロピーエンコードするのと異なるエントロピーエンコード技術を用いて、前記予測パーティショニング指示子又は前記予測パーティショニングコードワードをエントロピーエンコードするよう構成される、請求項１２に記載のビデオエンコーダ。
  19. 前記モーフィング済み予測参照ピクチャは、利得変更済み予測参照ピクチャ、ブラー変更済み予測参照ピクチャ、支配的動き変更済み予測参照ピクチャ、又は整合性変更済み予測参照ピクチャのうちの少なくとも１つを有し、前記合成済み予測参照ピクチャは、超解像度予測参照ピクチャ又は投影軌跡予測参照ピクチャのうちの少なくとも１つを有する、請求項１２に記載のビデオエンコーダ。
  20. 前記グラフィック処理ユニットは、
    デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及びインループフィルタリング又は品質復元フィルタリングパラメータを生成し、前記デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及び前記インループフィルタリング又は品質復元フィルタリングパラメータ、及び第２の再構成済みタイル又はスーパーフラグメントに少なくとも部分的に基づき、前記第２の最終再構成済みタイル又はスーパーフラグメントを生成し、
    ピクチャバッファの中の前記第１のデコード済み予測参照ピクチャをソートし、前記動き補償を実行することは、前記グラフィック処理ユニットが適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを生成し、前記適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを用いて適応型動き又は適応型精密フィルタリングに少なくとも部分的に基づき前記動き補償を実行するよう構成されることを有し、
    拡張予測パラメータと、予測済みパーティション及び前記拡張予測パラメータに基づき拡張予測済みパーティションと、を生成し、
    前記予測パーティショニングの選択された予測済みパーティションとして、前記拡張予測済みパーティション又は前記予測済みパーティションを使用するかを決定し、
    前記選択された予測済みパーティションが前記拡張予測済みパーティションを有するとき、前記拡張予測パラメータを前記ビットストリームにエントロピーエンコードし、
    前記選択された予測済みパーティションに統合フィルタリング又は統合向上フィルタリングを適用するかを決定し、
    前記選択された予測済みパーティションに統合フィルタリング又は統合向上フィルタリングが適用されるとき、
    アセンブル済みピクチャの少なくとも一部を生成するために、前記選択された予測済みパーティション及び第２の選択された予測済みパーティションをアセンブルするステップと、
    統合フィルタリングパラメータ又は統合向上フィルタリングパラメータを生成し、前記統合フィルタリングパラメータ又は統合向上フィルタリングパラメータに少なくとも部分的に基づき、前記アセンブル済みピクチャを統合フィルタリング又は統合向上フィルタリングし、
    前記統合フィルタリングパラメータ又は前記統合向上フィルタリングパラメータを前記ビットストリームにエントロピーエンコードする、
    よう更に構成される、請求項１２に記載のビデオエンコーダ。
  21. 前記モーフィング特性パラメータを生成することは、前記グラフィック処理ユニットが、前記第２のビデオフレーム及び前のデコード済み予測参照ピクチャに少なくとも部分的に基づき前記モーフィング特性パラメータを生成する、又は前記第２のビデオフレーム及び第３の元のビデオフレームに少なくとも部分的に基づき前記モーフィング特性パラメータを生成する、よう構成されることを有する、請求項１２に記載のビデオエンコーダ。
  22. 前記グラフィック処理ユニットは、
    デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及びインループフィルタリング又は品質復元フィルタリングパラメータを生成し、前記デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及び前記インループフィルタリング又は品質復元フィルタリングパラメータ、及び第２の再構成済みタイル又はスーパーフラグメントに少なくとも部分的に基づき、前記第２の最終再構成済みタイル又はスーパーフラグメントを生成し、
    前記第１のデコード済み予測参照ピクチャをピクチャバッファに格納し、前記動き補償を実行することは、前記グラフィック処理ユニットが、適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを生成し、前記適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを用いて適応型動き又は適応型精密フィルタリングに少なくとも部分的に基づき、動き補償を実行する、よう構成されることを有し、
    拡張予測パラメータと、予測済みパーティション及び前記拡張予測パラメータに基づき拡張予測済みパーティションとを生成し、
    前記予測パーティションの選択された予測済みパーティションとして、前記拡張予測済みパーティション又は前記予測済みパーティションを用いるかを決定し、
    前記選択された予測済みパーティションが前記拡張予測済みパーティションを有するとき、前記拡張予測パラメータを前記ビットストリームにエントロピーエンコードし、
    前記選択された予測済みパーティションに統合フィルタリング又は統合向上フィルタリングを適用するかを決定し、
    前記選択された予測済みパーティションに統合フィルタリング又は統合向上フィルタリングが適用されるとき、
    アセンブル済みピクチャの少なくとも一部を生成するために、前記選択された予測済みパーティション及び第２の予測済みパーティションをアセンブルし、
    統合フィルタリングパラメータ又は統合向上フィルタリングパラメータを生成し、前記統合フィルタリングパラメータ又は統合向上フィルタリングパラメータに少なくとも部分的に基づき、前記アセンブル済みピクチャの前記一部を統合フィルタリング又は統合向上フィルタリングし、
    前記統合フィルタリングパラメータ又は前記統合向上フィルタリングパラメータを前記ビットストリームにエントロピーエンコードし、
    前記選択されたコンテンツ適応型及び固定変換に関連付けられたデータ、前記デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及び前記インループフィルタリング又は品質復元フィルタリングパラメータを前記ビットストリームにエントロピーエンコードし、エントロピーエンコードすることは、前記グラフィック処理ユニットが、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術を実行するよう構成されることを有し、前記予測パーティショニング指示子又は前記予測パーティショニングコードワードをエントロピーエンコードすることは、前記グラフィック処理ユニットが、前記モーフィング特性パラメータ又は前記合成特性パラメータをエントロピーエンコードするために使用されたのと異なるエントロピーエンコード技術を実行するよう構成されることを有し、
    前記ビットストリームを送信し、
    前記第１のビデオフレームを前記第１の複数のスーパーフラグメントにセグメント化することは、前記グラフィック処理ユニットが、前記第１のビデオフレームを第３の複数のタイルに分割し、前記第１のビデオフレームを２以上の領域レイヤにセグメント化するよう構成されることを有し、前記第１の複数のスーパーフラグメントのうちの少なくとも１つのスーパーフラグメントは、前記第２の複数のタイルのうちの個々のタイルの範囲内の前記２以上の領域レイヤのうちの個々の領域レイヤを有し、
    前記第１のパーティショニング技術はｋｄ木パーティショニング技術を有し、前記第２のパーティショニング技術はｂｉ木パーティショニング技術を有し、
    前記第２のビデオフレームについて前記選択された予測パーティショニング及び前記関連する複数の予測パーティションを決定することは、前記グラフィック処理ユニットが、
    前記第２のパーティショニング技術に基づき、前記第２のビデオを複数の可能な予測パーティショニングにパーティショニングし、
    前記複数の可能な予測パーティショニングの各々について予測を実行し、前記複数の可能な予測パーティショニングの各々について可能な予測誤差を決定し、
    前記選択された予測パーティショニング及び前記関連する複数の予測パーティションを決定するために、前記予測及び前記可能な予測誤差に基づき、レート歪み最適化を実行し、
    前記選択された予測パーティショニング及び前記複数の予測パーティションに関連する前記予測パーティショニング指示子又は予測パーティショニングコードワードを生成し、
    予測誤差データパーティションの前記部分集合の前記個々の予測誤差データパーティションをパーティショニングすることは、前記グラフィック処理ユニットがｂｉ木パーティショニングを実行するよう構成されることを有し、
    予測誤差データパーティションの前記部分集合の前記個々の予測誤差データパーティションを前記選択された符号化パーティショニング及び前記関連する複数の符号化パーティションにパーティショニングすることは、前記グラフィック処理ユニットが、
    予測誤差データパーティションの前記部分集合の前記個々の予測誤差データパーティションを複数の可能な符号化パーティショニングにパーティショニングし、
    コンテンツ適応型変換を前記複数の可能な符号化パーティショニングの各々のうちの１又は複数の第１の符号化パーティションに、及び固定変換を前記複数の可能な符号化パーティショニングの各々のうちの１又は複数の第２の符号化パーティションに実行し、前記第１の符号化パーティションは小乃至中の大きさのパーティションであり、前記第２の符号化パーティションは中乃至大の大きさのパーティションであり、前記固定変換は離散コサイン変換又は離散コサイン変換近似のうちの少なくとも１つを有し、前記コンテンツ適応型変換はハイブリッドパラメータＨａａｒ変換を有し、前記ハイブリッドパラメータＨａａｒ変換は、第１の方向のパラメータＨａａｒ変換及び第２の方向の離散コサイン変換を有し、
    前記選択された符号化パーティショニング及び前記関連する複数の符号化パーティション及び関連する選択されたコンテンツ適応型及び固定変換を決定するために、前記複数の可能な符号化パーティショニングの前記コンテンツ適応型変換及び固定変換に基づき、第２のレート歪み最適化を実行する、
    するよう構成されることを有し、
    前記第１のビデオフレームはＩ−ピクチャであり、前記第２のビデオフレームはＢ／Ｆ−ピクチャ又はＰ−ピクチャのうちの少なくとも１つであり、
    前記第１のビデオフレームが第１の種類であり前記第２のビデオフレームが第２の種類であると決定することは、前記グラフィック処理ユニットが第３のレート歪み最適化を実施するよう構成されることを有し、
    前記モードは、イントラモード、インターモード、マルチモード、スキップモード、又は自動モードのうちの少なくとも１つを有し、
    前記参照種類は、前記モーフィング済み予測参照ピクチャ、前記合成済み予測参照ピクチャ、前記第１のデコード済み予測参照ピクチャ、又は前記第２のデコード済み予測参照ピクチャ、のうちの少なくとも１つを有し、前記第１のデコード済み予測参照ピクチャは、過去のデコード済み予測参照ピクチャ又は将来のデコード済み予測参照ピクチャを有し、
    モード及び参照種類を決定することは、前記グラフィック処理ユニットが第４のレート歪み最適化を実施するよう構成されることを有し、
    前記モーフィング済み予測参照ピクチャは、利得変更済み予測参照ピクチャ、ブラー変更済み予測参照ピクチャ、支配的動き変更済み予測参照ピクチャ、又は整合性変更済み予測参照ピクチャ、のうちの少なくとも１つを有し、前記合成済み予測参照ピクチャは、超解像度予測参照ピクチャ又は投影軌跡予測参照ピクチャのうちの少なくとも１つを有し、
    前記モーフィング特性パラメータを生成することは、前記グラフィック処理ユニットが、前記第２のビデオフレーム及び前のデコード済み予測参照ピクチャに少なくとも部分的に基づき前記モーフィング特性パラメータを生成する、又は前記第２のビデオフレーム及び第３の元のビデオフレームに少なくとも部分的に基づき、前記モーフィング特性パラメータを生成する、よう構成されることを有し、
    前記動きデータは、動きベクトルを有する、
    よう更に構成される、請求項１２に記載のビデオエンコーダ。
  23. エンコード済みビットストリームをデコードするよう構成されるビデオデコーダ、
    を有し、前記ビデオデコーダは、
    量子化済み変換係数、選択されたコンテンツ適応型及び固定変換に関連付けられたデータ、符号化パーティショニング指示子又は符号化パーティショニングコードワード、デブロックフィルタリングパラメータ、モーフィング特性パラメータ、合成特性パラメータ、動きデータ、予測パーティショニング指示子又は予測パーティショニングコードワード、を決定するために、前記エンコード済みビットストリームをエントロピーデコードし、
    デコード済み変換係数を生成するために、前記量子化済み変換係数に少なくとも部分的に基づき、逆量子化を実行し、
    複数のデコード済み符号化パーティションを生成するために、前記デコード済み変換係数及び前記選択されたコンテンツ適応型及び固定変換に関連付けられた前記データに少なくとも部分的に基づき、逆変換を実行し、
    デコード済み予測誤差データパーティションを生成するために、前記符号化パーティショニング指示子又は符号化パーティショニングコードワードに少なくとも部分的に基づき、前記複数のデコード済み符号化パーティションをアセンブルし、
    第１のデコード済みタイル又はスーパーフラグメントのうちの少なくとも１つを生成し、
    第１の最終デコード済み再構成済みタイル又はスーパーフラグメントを生成するために、前記デブロックフィルタリングパラメータに少なくとも部分的に基づき、前記第１のデコード済みタイル又はスーパーフラグメントにデブロックフィルタリングを適用し、
    デコード済み再構成済みビデオフレームを生成するために、前記第１の最終デコード済み再構成済みタイル又はスーパーフラグメント及び第２の最終デコード済み再構成済みタイル又はスーパーフラグメントをアセンブルし、
    前記モーフィング特性パラメータ及び前記デコード済み再構成済みビデオフレームに少なくとも部分的に基づき、モーフィング済み予測参照ピクチャを生成し、
    前記合成特性パラメータと、前記再構成済みビデオフレーム又は第２の再構成済みビデオフレームのうちの少なくとも１つと、に少なくとも部分的に基づき、合成済み予測参照ピクチャを生成し、
    デコード済み予測済みパーティションを生成するために、前記デコーダモーフィング済み予測参照ピクチャ又は前記デコーダ合成済み予測参照ピクチャ及び前記動きデータに少なくとも部分的に基づき、動き補償を実行し、
    第１のデコード済み再構成済みパーティションを生成するために、前記デコード済み予測済みパーティションを前記デコード済み予測誤差データパーティションに加算し、
    第３の最終デコード済み再構成済みタイル又はスーパーフラグメントを生成するために、前記予測パーティショニング指示子又は予測パーティショニングコードワードに少なくとも部分的に基づき、前記第１のデコード済み再構成済みパーティション及び第２のデコード済み再構成済みパーティションを結合し、
    第２のデコード済み再構成済みビデオフレームを生成するために、前記第３の最終デコード済み再構成済みタイル又はスーパーフラグメント及び第４のデコード済み再構成済みタイル又はスーパーフラグメントをアセンブルし、
    ディスプレイ装置による提示のために、前記第２のデコード済み再構成済みビデオフレームを送信する、
    よう構成される、デコーダシステム。
  24. 前記アンテナに通信可能に結合され、ビデオデータの前記エンコード済みビットストリームを受信するよう構成されるアンテナと、
    ビデオフレームを提示するよう構成されるディスプレイ装置と、
    を更に有する請求項２３に記載のデコーダシステム。
  25. エントロピーデコードすることは、前記ビデオデコーダが、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術のうちの少なくとも１つを実施するよう構成されることを有し、前記予測パーティショニング指示子又は前記予測パーティショニングコードワードをエントロピーデコードするために、前記ビデオデコーダは、前記量子化済み変換係数をエントロピーデコードするために使用されたのと異なるエントロピーデコード技術を実施するよう構成される、請求項２３に記載のデコーダシステム。
  26. 前記逆変換は、逆固定変換、逆離散コサイン変換、逆離散コサイン変換近似、逆適応型変換、又は逆ハイブリッドパラメータＨａａｒ変換のうちの少なくとも１つを有する、請求項２３に記載のデコーダシステム。
  27. 前記符号化パーティショニング指示子又は符号化パーティショニングコードワードは、ｂｉ木パーティショニング符号化パーティショニング指示子又は符号化パーティショニングコードワードを有する、請求項２３に記載のデコーダシステム。
  28. 前記予測パーティショニング指示子又は予測パーティショニングコードワードは、ｋｄ木パーティショニング又はｂｉ木パーティショニング予測パーティショニング指示子又は予測パーティショニングコードワードのうちの少なくとも１つを有する、請求項２３に記載のデコーダシステム。
  29. 前記ビデオデコーダは、
    拡張予測パラメータ、統合フィルタリングパラメータ又は統合向上フィルタリングパラメータ、及び適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータを決定するために、前記ビットストリームをエントロピーデコードし、
    前記拡張予測パラメータ及び前記デコード済み予測済みパーティションに少なくとも部分的に基づき、拡張デコード済み予測済みパーティションを生成し、
    選択されたデコード済み予測済みパーティションとして、前記デコード済み拡張予測済みパーティション又は前記デコード済み予測済みパーティションを用いるかを決定し、
    前記選択されたデコード済み予測済みパーティションに、デコーダ統合フィルタリング又はデコーダ統合向上フィルタリングを適用するかを決定し、
    前記選択されたデコード済み予測済みパーティションに、デコーダ統合フィルタリング又はデコーダ統合向上フィルタリングが適用されるとき、
    デコード済みアセンブル済みピクチャの少なくとも一部を生成するために、前記選択されたデコード済み予測済みパーティション及び第２の選択されたデコード済み予測済みパーティションをアセンブルし、
    前記統合フィルタリングパラメータ又は前記統合向上フィルタリングパラメータに少なくとも部分的に基づき、前記デコード済みアセンブル済みピクチャの前記一部を統合フィルタリング又は統合向上フィルタリングする、
    よう更に構成される、請求項２３に記載のデコーダシステム。
  30. 前記モーフィング済み予測参照ピクチャは、利得変更済み予測参照ピクチャ、ブラー変更済み予測参照ピクチャ、支配的動き変更済み予測参照ピクチャ、又は整合性変更済み予測参照ピクチャのうちの少なくとも１つを有し、前記合成済み予測参照ピクチャは、超解像度予測参照ピクチャ又は投影軌跡予測参照ピクチャのうちの少なくとも１つを有する、請求項２３に記載のデコーダシステム。
  31. 前記アンテナに通信可能に結合され、ビデオデータの前記エンコード済みビットストリームを受信するよう構成されるアンテナと、
    ビデオフレームを提示するよう構成されるディスプレイ装置と、
    を更に有し、
    前記ビデオデコーダは、
    前記ビットストリームを受信し、
    第１の種類の前記第１のデコード済み再構成済みビデオフレーム及び第２の種類の前記第２のデコード済み再構成済みビデオフレームに関連付けられたフレームデータ、前記予測パーティションのモード及び参照種類に関連付けられたモードデータ、拡張予測パラメータ、統合フィルタリングパラメータ又は統合向上フィルタリングパラメータ、デブロックフィルタリング又はデブロック及びディザフィルタリングパラメータ、及びインループフィルタリング又は品質復元フィルタリングパラメータ、を決定するために前記ビットストリームをエントロピーデコードし、エントロピーデコードすることは、前記ビデオデコーダが、適応型シンボル−ラン可変長符号化技術又は適応型プロキシ可変長符号化技術のうちの少なくとも１つを実施するよう構成されることを有し、前記予測パーティショニング指示子又は前記予測パーティショニングコードワードをエントロピーデコードするために、前記ビデオデコーダは、前記量子化済み変換係数をエントロピーデコードするために用いられたのと異なるエントロピーデコード技術を実施するよう構成され、動き補償を実行することは、前記ビデオデコーダが、前記適応型動きフィルタリングパラメータ又は適応型精密フィルタリングパラメータに少なくとも部分的に基づき、適応型動きフィルタリング又は適応型精密フィルタリングを実施するよう構成されることを有し、
    前記拡張予測パラメータ及び前記デコード済み予測済みパーティションに少なくとも部分的に基づき、拡張デコード済み予測済みパーティションを生成し、
    選択されたデコード済み予測済みパーティションとして、前記デコード済み拡張予測済みパーティション又は前記デコード済み予測済みパーティションを用いるかを決定し、
    前記選択されたデコード済み予測済みパーティションに、デコーダ統合フィルタリング又はデコーダ統合向上フィルタリングを適用するかを決定し、
    前記選択されたデコード済み予測済みパーティションに、デコーダ統合フィルタリング又はデコーダ統合向上フィルタリングが適用されるとき、
    デコード済みアセンブル済みピクチャの少なくとも一部を生成するために、前記選択されたデコード済み予測済みパーティション及び第２の選択されたデコード済み予測済みパーティションをアセンブルし、
    前記統合フィルタリングパラメータ又は前記統合向上フィルタリングパラメータに少なくとも部分的に基づき、前記デコード済みアセンブル済みピクチャの前記一部を統合フィルタリング又は統合向上フィルタリングし、
    前記符号化パーティショニング指示子又は符号化パーティショニングコードワードは、ｂｉ木パーティショニング符号化パーティショニング又は符号化パーティショニングコードワードを有し、
    前記予測パーティショニング指示子又は予測パーティショニングコードワードは、ｋｄ木パーティショニング又はｂｉ木パーティショニング予測パーティショニング指示子又は予測パーティショニングコードワードのうちの少なくとも１つを有し、
    前記逆変換は、逆固定変換、逆離散コサイン変換、逆離散コサイン変換近似、逆適応型変換、又は逆ハイブリッドパラメータＨａａｒ変換、のうちの少なくとも１つを有し、
    前記モーフィング済み予測参照ピクチャは、利得変更済み予測参照ピクチャ、ブラー変更済み予測参照ピクチャ、支配的動き変更済み予測参照ピクチャ、又は整合性変更済み予測参照ピクチャ、のうちの少なくとも１つを有し、前記合成済み予測参照ピクチャは、超解像度予測参照ピクチャ又は投影軌跡予測参照ピクチャのうちの少なくとも１つを有し、
    前記モーフィング特性パラメータを生成することは、前記第２のビデオフレーム及び前のデコード済み予測参照ピクチャに少なくとも部分的に基づき前記モーフィング特性パラメータを生成すること、又は前記第２のビデオフレーム及び第３の元のビデオフレームに少なくとも部分的に基づき前記モーフィング特性パラメータを生成すること、のうちの少なくとも１つを有し、
    前記動きデータは、動きベクトルを有する、
    よう更に構成される、請求項２３に記載のデコーダシステム。
  32. 少なくとも１つの機械可読媒体であって、
    コンピューティング装置で実行されるのに応答して前記コンピューティング装置に請求項１乃至１１のいずれか一項に記載の方法を実行させる複数の命令、
    を有する媒体。
  33. 請求項１乃至１１のいずれか一項に記載の方法を実行する手段、
    を有する装置。
JP2015542040A 2012-11-13 2013-11-13 次世代ビデオのためのビデオコーデックアーキテクチャ Expired - Fee Related JP6055555B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261725576P 2012-11-13 2012-11-13
US61/725,576 2012-11-13
PCT/US2013/069960 WO2014109826A1 (en) 2012-11-13 2013-11-13 Video codec architecture for next generation video

Publications (2)

Publication Number Publication Date
JP2016509764A true JP2016509764A (ja) 2016-03-31
JP6055555B2 JP6055555B2 (ja) 2016-12-27

Family

ID=50883865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015542040A Expired - Fee Related JP6055555B2 (ja) 2012-11-13 2013-11-13 次世代ビデオのためのビデオコーデックアーキテクチャ

Country Status (6)

Country Link
US (1) US9883198B2 (ja)
EP (1) EP2920969A4 (ja)
JP (1) JP6055555B2 (ja)
KR (1) KR101677406B1 (ja)
CN (1) CN104737540B (ja)
WO (2) WO2014109826A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6055555B2 (ja) 2012-11-13 2016-12-27 インテル コーポレイション 次世代ビデオのためのビデオコーデックアーキテクチャ
US9819965B2 (en) 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
CN104737542B (zh) 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码
US10057599B2 (en) 2014-02-19 2018-08-21 Mediatek Inc. Method for performing image processing control with aid of predetermined tile packing, associated apparatus and associated non-transitory computer readable medium
BR112016027656B1 (pt) * 2014-06-30 2023-11-14 DISH Technologies L.L.C. Método executável por dispositivo cliente para processar programa de mídia recebido e dispositivo reprodutor de mídia
US10051268B2 (en) 2014-10-29 2018-08-14 Lg Electronics Inc. Method for encoding, decoding video signal and device therefor
KR102093802B1 (ko) 2014-11-14 2020-05-27 후아웨이 테크놀러지 컴퍼니 리미티드 디지털 이미지의 블록의 마스크 기반 처리를 위한 시스템 및 방법
WO2016074745A1 (en) * 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Systems and methods for processing a block of a digital image
KR101978194B1 (ko) 2014-11-14 2019-05-14 후아웨이 테크놀러지 컴퍼니 리미티드 디지털 이미지를 처리하는 방법 및 시스템
JP6715467B2 (ja) * 2015-07-01 2020-07-01 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置
EP3345396A4 (en) * 2015-09-01 2019-03-27 Telefonaktiebolaget LM Ericsson (publ) SPATIAL IMPROVEMENT OF TRANSFORMER BLOCKS
US10602187B2 (en) 2015-11-30 2020-03-24 Intel Corporation Efficient, compatible, and scalable intra video/image coding using wavelets and HEVC coding
US20170155905A1 (en) * 2015-11-30 2017-06-01 Intel Corporation Efficient intra video/image coding using wavelets and variable size transform coding
US10542267B2 (en) 2016-01-21 2020-01-21 Samsung Display Co., Ltd. Classification preserving image transform compression
CN114598865A (zh) * 2016-03-28 2022-06-07 株式会社Kt 对视频进行解码和编码的方法以及解码的装置
WO2017171438A1 (ko) * 2016-03-30 2017-10-05 한국전자통신연구원 픽쳐 분할 정보를 사용하는 비디오의 부호화 및 복호화를 위한 방법 및 장치
KR20180136967A (ko) 2016-04-22 2018-12-26 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20180040319A (ko) * 2016-10-12 2018-04-20 가온미디어 주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
WO2017204427A1 (ko) * 2016-05-23 2017-11-30 가온미디어 주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
CN116506596A (zh) 2016-08-03 2023-07-28 株式会社Kt 视频解码方法、视频编码方法和视频数据的传送方法
US10880564B2 (en) * 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
US10187178B2 (en) * 2016-10-11 2019-01-22 Microsoft Technology Licensing, Llc Dynamically partitioning media streams
KR20180043151A (ko) 2016-10-19 2018-04-27 에스케이텔레콤 주식회사 영상 부호화 또는 복호화를 위한 장치 및 방법
KR20180045530A (ko) * 2016-10-26 2018-05-04 디지털인사이트 주식회사 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치
IT201600122898A1 (it) * 2016-12-02 2018-06-02 Ecole Polytechnique Fed Lausanne Epfl Metodi e apparati per codificare e decodificare immagini o flussi video digitali
WO2018135885A1 (ko) * 2017-01-19 2018-07-26 가온미디어 주식회사 변환 처리를 제공하는 영상 복호화 및 부호화 방법
CN110249628B (zh) * 2017-02-06 2021-08-20 华为技术有限公司 用于预测分区的视频编码器和解码器
US10362332B2 (en) * 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction
CN106993189B (zh) * 2017-04-06 2019-10-15 北京工业大学 一种基于优化排序的屏幕内容视频编码方法
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
US20190116359A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Guided filter for video coding and processing
US20190045195A1 (en) * 2018-03-30 2019-02-07 Intel Corporation Reduced Partitioning and Mode Decisions Based on Content Analysis and Learning
CN112166607A (zh) * 2018-05-29 2021-01-01 交互数字Vc控股公司 利用部分共用亮度和色度编码树的视频编码和解码的方法和装置
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10567780B2 (en) 2018-06-14 2020-02-18 Telefonaktiebolaget Lm Ericsson (Publ) System and method for encoding 360° immersive video
US10623736B2 (en) * 2018-06-14 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Tile selection and bandwidth optimization for providing 360° immersive video
CN108848380B (zh) * 2018-06-20 2021-11-30 腾讯科技（深圳）有限公司 视频编码和解码方法、装置、计算机设备及存储介质
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
US10740901B2 (en) * 2018-12-17 2020-08-11 Nvidia Corporation Encoder regularization of a segmentation model
CN113597757A (zh) * 2019-01-28 2021-11-02 Op方案有限责任公司 具有区域数自适应的几何划分的形状自适应离散余弦变换
WO2020182213A1 (en) * 2019-03-13 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Sub-block transform in transform skip mode
CN113727103B (zh) * 2020-05-25 2022-08-12 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、电子设备及存储介质
US11616955B2 (en) * 2020-07-14 2023-03-28 Avago Technologies International Sales Pte. Limited Signaling of rectangular slices in the VVC video compression standard
CN113242188B (zh) * 2021-04-22 2022-06-21 中国电子科技集团公司第二十九研究所 微波信道全交换网络构建方法、控制方法、编译码方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0217777A (ja) * 1988-07-06 1990-01-22 Toshiba Corp 画像伝送方式
US20030206583A1 (en) * 2002-05-03 2003-11-06 Microsoft Corporation Signaling for fading compensation
US20060171569A1 (en) * 2005-01-10 2006-08-03 Madhukar Budagavi Video compression with blur compensation
JP2008182562A (ja) * 2007-01-25 2008-08-07 Matsushita Electric Ind Co Ltd 量子化マトリクスを用いた適応的デブロッキングフィルタリングの方法と装置
JP2011217105A (ja) * 2010-03-31 2011-10-27 Jvc Kenwood Corp 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2011223319A (ja) * 2010-04-09 2011-11-04 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6895051B2 (en) * 1998-10-15 2005-05-17 Nokia Mobile Phones Limited Video data encoder and decoder
JP3574043B2 (ja) 2000-05-15 2004-10-06 三井住友建設株式会社 出窓付壁面パネル体
US7729563B2 (en) * 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US20050094729A1 (en) * 2003-08-08 2005-05-05 Visionflow, Inc. Software and hardware partitioning for multi-standard video compression and decompression
JP2006171569A (ja) 2004-12-17 2006-06-29 Pentax Corp 光学窓及び光学窓を有する光学機器
AU2006320064B2 (en) * 2005-11-30 2010-09-09 Kabushiki Kaisha Toshiba Image encoding/image decoding method and image encoding/image decoding apparatus
US20100040146A1 (en) * 2006-09-22 2010-02-18 Beibei Wang Method and apparatus for multiple pass video coding and decoding
CN102833544A (zh) 2006-09-22 2012-12-19 汤姆森许可贸易公司 多通道视频编码和解码的方法及装置
US9277243B2 (en) * 2006-11-08 2016-03-01 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
EP1926321A1 (en) * 2006-11-27 2008-05-28 Matsushita Electric Industrial Co., Ltd. Hybrid texture representation
US8437564B2 (en) 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP4427600B1 (ja) * 2008-11-28 2010-03-10 株式会社東芝 映像解析装置およびプログラム
CN106358045B (zh) 2010-04-13 2019-07-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
CN102595127B (zh) 2011-01-14 2015-11-25 索尼公司 用于hevc的帧内色度模式信令的码字空间缩减
US9232227B2 (en) * 2011-01-14 2016-01-05 Sony Corporation Codeword space reduction for intra chroma mode signaling for HEVC
US9154799B2 (en) * 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
WO2012144876A2 (ko) * 2011-04-21 2012-10-26 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
US8494290B2 (en) 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
JP6055555B2 (ja) 2012-11-13 2016-12-27 インテル コーポレイション 次世代ビデオのためのビデオコーデックアーキテクチャ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0217777A (ja) * 1988-07-06 1990-01-22 Toshiba Corp 画像伝送方式
US20030206583A1 (en) * 2002-05-03 2003-11-06 Microsoft Corporation Signaling for fading compensation
JP2004007650A (ja) * 2002-05-03 2004-01-08 Microsoft Corp ビデオ画像を処理するコンピュータ実行方法及び記録媒体
US20060171569A1 (en) * 2005-01-10 2006-08-03 Madhukar Budagavi Video compression with blur compensation
JP2008182562A (ja) * 2007-01-25 2008-08-07 Matsushita Electric Ind Co Ltd 量子化マトリクスを用いた適応的デブロッキングフィルタリングの方法と装置
JP2011217105A (ja) * 2010-03-31 2011-10-27 Jvc Kenwood Corp 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2011223319A (ja) * 2010-04-09 2011-11-04 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016028644; Ｆｒａｎｋ　Ｂｏｓｓｅｎ，ｅｔ．ａｌ．: 'Ｖｉｄｅｏ　ｃｏｄｉｎｇ　Ｕｓｉｎｇ　ａ　Ｓｉｍｐｌｉｆｉｅｄ　Ｂｌｏｃｋ　Ｓｔｒｕｃｔｕｒｅ　ａｎｄ　Ａｄｖａｎｃｅｄ　Ｃｏｄｉｎｇ　Ｔｅｃｈｎｉｑｕｅｓ' ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｃｉｒｃｕｉｔｓ　ａｎｄ　Ｓｙｓｔｅｍｓ　ｆｏｒ　Ｖｉｄｅｏ　Ｔｅｃｈｎｏｌｏｇｙ　Ｙｅａｒ：　２０１０ Ｖｏｌｕｍｅ：２０，Ｉｓｓｕｅ：１２, 20101115, Ｐ．１６６７-Ｐ．１６７５, ＩＥＥＥ　Ｃｉｒｃｕｉｔｓ　ａｎｄ　Ｓｙｓｔｅｍｓ　Ｓｏｃｉｅｔｙ *

Also Published As

Publication number Publication date
CN104737540B (zh) 2018-05-22
WO2014109826A1 (en) 2014-07-17
KR20150056610A (ko) 2015-05-26
US20150229948A1 (en) 2015-08-13
WO2014088772A1 (en) 2014-06-12
EP2920969A1 (en) 2015-09-23
US9883198B2 (en) 2018-01-30
JP6055555B2 (ja) 2016-12-27
CN104737540A (zh) 2015-06-24
EP2920969A4 (en) 2016-07-13
KR101677406B1 (ko) 2016-11-29

Similar Documents

Publication Publication Date Title
JP6055555B2 (ja) 次世代ビデオのためのビデオコーデックアーキテクチャ
US10009610B2 (en) Content adaptive prediction and entropy coding of motion vectors for next generation video
US9819965B2 (en) Content adaptive transform coding for next generation video
KR101789954B1 (ko) 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
US20170155905A1 (en) Efficient intra video/image coding using wavelets and variable size transform coding

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161202

R150 Certificate of patent or registration of utility model

Ref document number: 6055555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees