JP2023134576A - コンパクトなｍｖストレージを用いるエンコーダ、デコーダ、及び対応する方法 - Google Patents

コンパクトなｍｖストレージを用いるエンコーダ、デコーダ、及び対応する方法 Download PDF

Info

Publication number
JP2023134576A
JP2023134576A JP2023111308A JP2023111308A JP2023134576A JP 2023134576 A JP2023134576 A JP 2023134576A JP 2023111308 A JP2023111308 A JP 2023111308A JP 2023111308 A JP2023111308 A JP 2023111308A JP 2023134576 A JP2023134576 A JP 2023134576A
Authority
JP
Japan
Prior art keywords
motion vector
image
unit
video
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023111308A
Other languages
English (en)
Inventor
ボリソヴィチ シチェフ、マキシム
Borisovitch Sychev Maxim
ミハイロヴィッチ ソロヴィエフ、ティモフェイ
Mikhailovich Solovyev Timofey
アレクサンドロヴィッチ カラブトフ、アレキサンダー
Alexandrovich Karabutov Alexander
ユリエビッチ イコニン、セルゲイ
Yurievich Ikonin Sergey
チェン、ジアンレ
Jianle Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023134576A publication Critical patent/JP2023134576A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】時間的な動きベクトル予測を導出するための情報を保存する際に、動きベクトル表現及び精度を妥当な範囲に維持しながらメモリ容量を低減させる方法を提供する。【解決手段】動きベクトル圧縮方法は、時間的な動きベクトルを取得し、指数部及び／又は仮数部を含む時間的な動きベクトルの二進表現を用いて圧縮された動きベクトルを決定する。指数部はＮビットを含み、仮数部はＭビットを含み、Ｎは非負の整数であり、Ｍは正の整数である。圧縮された動きベクトルを用いて、時間的な動きベクトル予測（ＴＭＶＰ）を実行する。【選択図】図１０

Description

本願の実施形態は、概して、画像処理の分野に関し、より具体的には、動きベクトル情報を保存するメモリ容量を低減する技術に関する。
ビデオコーディング（ビデオエンコーディング及びデコーディング）は、例えば、放送デジタルＴＶ、インターネット及びモバイルネットワークを介したビデオ送信、又はビデオチャット、ビデオ会議、ＤＶＤ及びブルーレイディスク、ビデオコンテンツの取得及び編集システム、セキュリティアプリケーションのカムコーダー等のリアルタイムの会話型アプリケーションといった、広範なデジタルビデオアプリケーションで使用される。
比較的短いビデオを描画するのであっても、必要とされるビデオデータの量は、かなりのものであり得、その結果、限定的な帯域幅容量を有する通信ネットワークを介してデータがストリームされるか又は別の形で通信されることになる場合に困難が生じる場合がある。したがって、ビデオデータは一般に、現代の遠隔通信ネットワークを介して通信される前に圧縮される。ビデオのサイズは、メモリリソースが限定的である場合があるので、ビデオがストレージデバイス上に保存される場合にも問題となり得る。ビデオ圧縮デバイスは、しばしば、ソースにおけるソフトウェア及び／又はハードウェアを用いて、送信又は保存の前にビデオデータをコードし、それによりデジタルビデオイメージを表現するのに必要なデータの量を低減させる。その後、圧縮データは、デスティネーションにおいて、ビデオデータをデコードするビデオ解凍デバイスによって受信される。限定的なネットワークリソース及び増大し続ける高ビデオ品質の需要に鑑みて、画像品質をほとんどから全く犠牲にせずに圧縮比を改善する、改善された圧縮及び解凍技術が望まれている。
本発明の目的は、時間的な動きベクトル予測を導出するための情報を保存する際に、動きベクトル表現及び精度を妥当な範囲に維持しながらメモリ容量を低減させるという課題に対する解決手段を提供することである。
この課題は、時間的な動きベクトルを取得する段階と、指数部及び／又は仮数部を含む時間的な動きベクトルの二進表現を用いて圧縮された動きベクトルを決定する段階であって、指数部はＮビットを含み、仮数部はＭビットを含み、Ｎは非負の整数であり、Ｍは正の整数である、段階と、圧縮された動きベクトルを用いて、時間的な動きベクトル予測（ＴＭＶＰ）を実行する段階と、を含む、動きベクトル圧縮方法を提供することにより、本発明によって解決される。
一実施形態において、時間的な動きベクトルの指数部又は仮数部に基づく少なくとも１回のビットシフト操作を実行して、圧縮された動きベクトルを取得する段階が適用されてよい。
別の実施形態において、指数部は、二進表現の最上位ビット（ＭＳＢ）に対応してよく、仮数部は、二進表現の最下位ビット（ＬＳＢ）に対応してよい、又は、指数部は、二進表現のＬＳＢに対応してよく、仮数部は、二進表現のＭＳＢに対応してよい。
加えて、指数部が二進表現のＭＳＢに対応し、仮数部が二進表現のＬＳＢに対応する場合、圧縮された動きベクトルの値は、以下の段階：二進表現にＭビットの右シフトを適用することによって、第１のシフト値を導出する段階と、二進表現の最後のＭビットを第１のベーシック二進表現として導出する段階と、第１のベーシック二進表現に第１のシフト値のビットの左シフトを適用することによって、圧縮された動きベクトルの値を導出する段階と、によって導出されてよい。
代替的に、指数部が二進表現のＬＳＢに対応し、仮数部が二進表現のＭＳＢに対応する場合、動きベクトル成分の値は、以下の段階：二進表現の最後のＮビットを第２のシフト値として導出する段階と、二進表現にＮビットの右シフトを適用することによって、第２のベーシック二進表現を導出する段階と、第２のベーシック二進表現に第２のシフト値のビットの左シフトを適用することによって、圧縮された動きベクトルの値を導出する段階と、によって導出されてよい。
一実施形態によれば、時間的な動きベクトルは、動きベクトル水平成分及び動きベクトル垂直成分を含んでよい。
別の実施形態によれば、動きベクトル圧縮方法は、第１のインジケータをコードする段階であって、第１のインジケータは、時間的な動きベクトルが本発明に係る動きベクトル圧縮方法によって圧縮されているか否かを示すのに使用される、段階を含んでよい。
動きベクトル圧縮方法は、Ｎの値を決定する段階を含んでよい。さらに、Ｎの値を決定する段階は、Ｎの値をコードする段階、又は、所定値をＮの値として設定する段階、又は、Ｎの値を画像ユニットの解像度に基づいて導出する段階であって、画像ユニットは、画像又はタイルセットを含む段階、又は、Ｎの値をコーディングツリーユニット（ＣＴＵ）又はコーディングユニット（ＣＵ）のサイズに基づいて導出する段階、を含んでよい。
より具体的には、Ｎの値を画像ユニットの解像度に基づいて導出する段階は、画像ユニットの幅は、第１の閾値よりも小さく、画像ユニットの高さは、第１の閾値よりも小さい場合、Ｎの値を０として設定する段階、又は、画像ユニットの幅が第２の閾値よりも小さく、画像ユニットの高さが第２の閾値よりも小さい場合、Ｎの値を表現するように第２のインジケータをコードする段階、又は、Ｎの値を表現するように第３のインジケータをコードする段階、を含んでよい。
第２のインジケータは、１ビットで二値化されてよく、第３のインジケータは、２ビットで二値化されてよい。
一実施形態において、第１のインジケータ、第２のインジケータ、及び／又は第３のインジケータは、ビットストリームにおけるシーケンスパラメータセット（ＳＰＳ）、画像パラメータセット（ＰＰＳ）、スライスヘッダ、又はタイルグループヘッダに含まれてよい。
また、上記の課題は、時間的な動きベクトルを取得する段階と、時間的な動きベクトルの指数部又は仮数部を決定する段階と、時間的な動きベクトルの指数部又は仮数部に基づいて少なくとも１回のビットシフト操作を実行して、圧縮された動きベクトルを取得する段階であって、指数部は、圧縮された動きベクトルの最下位ビット（ＬＳＢ）に対応し、仮数部は、圧縮された動きベクトルの最上位ビット（ＭＳＢ）に対応する、段階と、圧縮された動きベクトルを用いて、時間的な動きベクトル予測（ＴＭＶＰ）を実行する段階と、を含む、動きベクトル圧縮方法をさらに提供することで、本発明によって解決される。
上記の課題は、第１のフラグをコードする段階と、第１のフラグが第１の値である場合、第１の方法を実行する段階と、第１のフラグが第２の値である場合、第２の方法を実行する段階であって、第１の値は第２の値とは異なり、現在のイメージブロックの第１の動きベクトル成分の元の値は、Ｍビットで二値化される、段階と、を含み、第１の方法は、元の値にＮビットの右シフトを適用する段階であって、（Ｍ－Ｎ）は所定値に等しく、Ｎ及びＭは正の整数である段階と、右シフトされた元の値を第１の動きベクトル成分の保存値として設定する段階と、保存値に基づいて後続のイメージブロックをコードする段階と、を含み、第２の方法は、元の値にクリッピング操作を適用する段階であって、クリップされた元の値によって表されるクリップされた動きベクトル成分は、‐２Ｍ－Ｎ－１～２Ｍ－Ｎ－１‐１の間に限定される、段階と、クリップされた元の値を第１の動きベクトル成分の保存値として設定する段階と、後続のイメージブロックを保存値に基づいてコードする段階と、を含む、動きベクトルに基づくコーディング方法を提供することで、本発明によってさらに解決される。
一実施形態において、第１の方法に従って、右シフトされた元の値を動きベクトルの保存値として設定した後、方法は、保存値にＮビットの左シフトを適用する段階をさらに含んでよく、保存値に基づいて後続のイメージブロックをコードする段階は、左シフトされた保存値に基づいて後続のイメージブロックをコードする段階を含む。
代替的には、第２の方法に従って、クリップされた元の値を動きベクトルの保存値として設定した後、方法は、保存値に基づいて第１の動きベクトル成分の復元値を決定する段階であって、復元値はＭビットで二値化され、復元値の最後の（Ｍ－Ｎ）ビットは保存値と同じであり、保存値が正である場合、復元値の最初のＮビットのそれぞれは０に等しく、保存値が負である場合、復元値の最初のＮビットのそれぞれは１に等しい、段階をさらに含んでよく、保存値に基づいて後続のイメージブロックをコードする段階は、復元値に基づいて後続のイメージブロックをコードする段階を含む。
一実施形態において、後続のイメージブロック及び現在のブロックは異なる画像内のものであってよく、後続のイメージブロックの予測モードは、時間的な動きベクトル予測（ＴＭＶＰ）及び／又は代替の時間的な動きベクトル予測（ＡＴＭＶＰ）を含んでよい。
別の実施形態において、第１のフラグは画像毎にコードされてよく、又は、第１のフラグはタイル毎にコードされてよく、又は、第１のフラグはタイルセット毎にコードされてよく、又は、第１のフラグはスライス毎にコードされてよい。
また別の実施形態において、第１のフラグは、ビットストリームにおけるシーケンスパラメータセット（ＳＰＳ）、画像パラメータセット（ＰＰＳ）、スライスヘッダ、又はタイルグループヘッダに含まれてよい。
一実施形態によれば、現在のイメージブロックは、第２の動きベクトル成分をさらに有してよく、コーディング方法は、第２のフラグをコードする段階をさらに含んでよく、第２のフラグが第１の値である場合、第１の方法が第２の動きベクトル成分について実行されてよく、第２のフラグが第２の値である場合、第２の方法が第２の動きベクトル成分について実行されてよい。
別の実施形態によれば、第１のフラグをコードする前に、コーディング方法は、現在の画像の解像度が第１の事前設定値以上であるかどうかを決定する段階をさらに含んでよく、現在のイメージブロックは現在の画像内のものであってよい。
さらに、現在の画像の解像度が第１の事前設定値よりも小さい場合、第２の方法が実行されてよい。
また、現在の画像が複数のタイルセットに分割される場合、第２の方法が実行されてよく、又は、タイルセットの解像度が第２の事前設定値よりも小さい場合、第２の方法が実行されてよい。
一実施形態によれば、第１のフラグをコードする前に、コーディング方法は、現在のイメージブロックのコーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、イメージブロック、又はユニットのサイズが第１のサイズ条件を満たしているかどうかを決定する段階をさらに含んでよい。
さらに、現在のイメージブロックのＣＴＵ、ＣＵ、イメージブロック、又はユニットのサイズが第２のサイズ条件を満たしている場合、第１の方法が実行されてよく、又は、現在のイメージブロックのＣＴＵ、ＣＵ、イメージブロック、又はユニットのサイズが第３のサイズ条件を満たしている場合、第２の方法が実行されてよい。
また、本発明は、現在のイメージブロックのＣＴＵ、ＣＵ、イメージブロック、又はユニットのサイズを決定する段階と、サイズに基づいて第１の方法及び第２の方法の少なくとも一方を実行する段階、又は、現在の画像の解像度を決定する段階と、解像度に基づいて第１の方法及び第２の方法の少なくとも一方を実行する段階と、を含み、現在のイメージブロックの第１の動きベクトル成分の元の値はＭビットで二値化され、第１の方法は、元の値にＮビットの右シフトを適用する段階であって、（Ｍ－Ｎ）は所定値に等しく、Ｎ及びＭは正の整数である、段階と、右シフトされた元の値を第１の動きベクトル成分の保存値として設定する段階と、保存値に基づいて後続のイメージブロックをコードする段階と、含み、第２の方法は、元の値にクリッピング操作を適用する段階であって、クリップされた元の値によって表されるクリップされた動きベクトル成分は、‐２Ｍ－Ｎ－１～２Ｍ－Ｎ－１‐１に限定される、段階と、クリップされた元の値を第１の動きベクトル成分の保存値として設定する段階と、保存値に基づいて後続のイメージブロックをコードする段階と、を含む、動きベクトルに基づくコーディング方法も提供する。
また、上記の課題は、コンピュータに上述の方法のいずれか１つを実行させる、プログラムによっても解決される。
また、上記の課題は、上述の方法のいずれか１つを実行するように構成されている回路を備える、デコーダによっても解決される。
また、上記の課題は、上述の方法のいずれか１つを実行するように構成されている回路を備える、エンコーダによっても解決される。
上述のコーディングは、エンコーディング又はデコーディングとすることができる。
本発明の更なる機能及び利点は、図面を参照しながら説明される。説明中、本発明の好ましい実施形態を例示することを意図した添付図面が参照される。そのような実施形態は、本発明の全範囲を表すわけではないことが理解される。
以下、添付図面を参照しながら、本願の実施形態がより詳細に説明される。
本願の実施形態を実装するように構成されているビデオコーディングシステムの例を示すブロック図である。
本願の実施形態を実装するように構成されているビデオコーディングシステムの別の例を示すブロック図である。
本願の実施形態を実装するように構成されているビデオエンコーダの例を示すブロック図である。
本願の実施形態を実装するように構成されているビデオデコーダの例示的な構造を示すブロック図である。
エンコーディング装置又はデコーディング装置の例を示すブロック図である。
エンコーディング装置又はデコーディング装置の別の例を示すブロック図である。
本願の実装形態の例を示す図である。
本願の別の実装形態の例を示す図である。
本願の別の実装形態の例を示す図である。
本願の別の実装形態の例を示す図である。
本発明に係る動きベクトル圧縮方法を示すフロー図である。
以下、別途明示的に指定されていない限り、同一の参照符号は、同一又は少なくとも機能的に等価な機能を指す。
以下の説明では、本開示の一部をなし、本願の実施形態の具体的態様又は本願の実施形態が使用され得る具体的態様を例示として示す、添付図面が参照される。本願の実施形態は、他の態様において用いられ、図面に示されない構造的又は論理的変化を含んでよいことが理解される。したがって、以下の詳細な説明は、限定する意味で解釈されず、本願の範囲は、添付の特許請求の範囲によって規定される。
例えば、説明された方法に関連する開示は、方法を実行するように構成されている対応するデバイス又はシステムにも当てはまり得、逆もまた同様であることが理解される。例えば、特定の方法の段階のうちの１つ又は複数が説明される場合、対応するデバイスは、説明された１つ又は複数の方法の段階（例えば、上記１つ又は複数の段階を実行する１つのユニット、又は、それぞれ複数の段階のうちの１つ又は複数を実行する複数のユニット）を実行するために、１つ又は複数のユニットが明示的に説明も又は図面に示しもされていない場合であっても、そのような１つ又は複数のユニット、例えば、機能ユニットを含んでよい。他方で、例えば、特定の装置が１つ又は複数のユニット、例えば機能ユニットに基づいて説明される場合、対応する方法は、上記１つ又は複数のユニットの機能を実行するために、１つ又は複数の段階が明示的に説明も又は図面に示しもされていない場合であっても、そのような１つの段階（例えば、１つ又は複数のユニットの機能を実行する１つの段階、又はそれぞれ複数のユニットのうちの１つ又は複数の機能を実行する複数の段階）を含んでよい。さらに、別途特に注記されない限り、本明細書で説明する様々な例示的な実施形態及び／又は態様の特徴が互いに組み合わされ得ることが理解される。
ビデオコーディングは典型的には、ビデオ又はビデオシーケンスを形成する一連の画像の処理を指す。「画像」という用語の代わりに、「フレーム」又は「イメージ」という用語がビデオコーディングの分野での同義語として用いられる場合がある。ビデオコーディング（又は一般にコーディング）は、ビデオエンコーディング及びビデオデコーディングの２つの部分を含む。ビデオエンコーディングは、ソース側で実行され、典型的には、（より効率的な保存及び／又は送信のために）ビデオ画像を表現するために要求されるデータ量を低減させるように、元のビデオ画像を処理（例えば、圧縮による）することを含む。ビデオデコーディングは、デスティネーション側で実行され、典型的には、ビデオ画像を再構成するように、エンコーダと比較して逆の処理を含む。ビデオ画像（又は一般に画像）の「コーディング」に言及する実施形態は、ビデオ画像又はそれぞれのビデオシーケンスの「エンコーディング」又は「デコーディング」に関すると理解されるものとする。エンコーディング部分とデコーディング部分との組み合わせは、コーデック（コーディング及びデコーディング）とも称される。
無損失ビデオコーディングの場合、元のビデオ画像を再構成でき、すなわち、再構成されたビデオ画像は元のビデオ画像と同じ品質である（保存中又は送信中に伝送損失又はその他のデータ損失がないと仮定）。不可逆ビデオコーディングの場合、ビデオ画像を表現するデータ量を低減するために、例えば量子化による更なる圧縮が実行されるが、これはデコーダにおいて完全には再構成できない、すなわち、再構成されたビデオ画像の品質は、元のビデオ画像の品質に比較して低下又は劣化する。
いくつかのビデオコーディング規格は、「不可逆ハイブリッドビデオコーデック」のグループに属する（すなわち、サンプル領域における空間的及び時間的予測と、変換領域における量子化を適用するための２Ｄ変換コーディングとを組み合わせる）。ビデオシーケンスの各画像は、典型的には、非重複ブロックのセットへと区分化され、コーディングは、典型的には、ブロックレベルで実行される。換言すれば、エンコーダにおいて、ビデオは、例えば、空間的（画像内）予測及び／又は時間的（画像間）予測を使用して予測ブロックを生成し、現在のブロック（現在処理されている／処理されることになるブロック）から予測ブロックを減算して残差ブロックを取得し、残差ブロックを変換するとともに変換領域における残差ブロックを量子化して、送信されることになるデータ量を低減（圧縮）することによって、典型的にはブロック（ビデオブロック）レベルで処理される、すなわちエンコードされ、一方で、デコーダにおいて、現在のブロックを表現のために再構成するために、エンコーダと比較して逆の処理がエンコード又は圧縮されたブロックに適用される。さらに、エンコーダがデコーダの処理ループを繰り返すことにより、後続のブロックの処理のために、すなわちコーディングのために、両方が同一の予測（例えば、イントラ及びインター予測）及び／又は再構成物を生成することになる。
以下、ビデオコーディングシステム１０、ビデオエンコーダ２０、及びビデオデコーダ３０の実施形態が、図１Ａ～図３に基づいて説明される。
図１Ａは、本願の技術を使用し得る例示的なコーディングシステム１０、例えばビデオコーディングシステム１０（又は略してコーディングシステム１０）を示す概略ブロック図である。ビデオコーディングシステム１０のビデオエンコーダ２０（又は略してエンコーダ２０）及びビデオデコーダ３０（又は略してデコーダ３０）は、本願において説明される様々な例に従って技術を実行するように構成され得るデバイスの例を表す。
図１Ａに示すように、コーディングシステム１０は、エンコード済みの画像データ２１を、例えば、このエンコード済みの画像データをデコードするためにデスティネーションデバイス１４に提供する（１３）ように構成されているソースデバイス１２を備える。
ソースデバイス１２は、エンコーダ２０を備え、加えて、すなわち任意選択で、画像ソース１６と、プリプロセッサ（又は前処理ユニット）１８、例えば画像プリプロセッサ１８と、通信インタフェース又は通信ユニット２２とを備えてよい。
画像ソース１６は、任意の種類の画像捕捉デバイス、例えば、現実世界の画像を捕捉するカメラ、及び／又は、任意の種類の画像生成デバイス、例えば、コンピュータアニメーション化画像を生成するコンピュータグラフィックプロセッサ、又は、現実世界の画像、コンピュータ生成画像（例えば、スクリーンコンテンツ、仮想現実（ＶＲ）画像）、及び／又はそれらの任意の組み合わせ（例えば、拡張現実（ＡＲ）画像）を取得及び／又は提供する任意の種類の他のデバイスを含むか又はそれらのデバイスであってよい。画像ソースは、上述の画像の任意のものを保存する任意の種類のメモリ又はストレージであってよい。
プリプロセッサ１８及び前処理ユニット１８によって実行される処理と区別するように、画像又は画像データ１７は、生画像又は生画像データ１７とも称され得る。
プリプロセッサ１８は、（生）の画像データ１７を受信するとともに、画像データ１７に対して前処理を実行して、前処理済みの画像１９又は前処理済みの画像データ１９を取得するように構成されている。プリプロセッサ１８によって実行される前処理は、例えば、トリミング、カラーフォーマット変換（例えば、ＲＧＢからＹＣｂＣｒ）、色補正、又はノイズ除去を含んでよい。前処理ユニット１８は任意選択のコンポーネントでもよいことが理解できる。
ビデオエンコーダ２０は、前処理済みの画像データ１９を受信するとともに、エンコード済みの画像データ２１を提供するように構成されている（更なる詳細は、例えば図２に基づいて下記で説明される）。
ソースデバイス１２の通信インタフェース２２は、通信チャネル１３を介して、エンコード済みの画像データ２１を受信するとともに、エンコード済みの画像データ２１（又はその任意の更なる処理バージョン）を、保存又は直接の再構成のために、別のデバイス、例えばデスティネーションデバイス１４又は任意の他のデバイスに送信するよう構成されてよい。
デスティネーションデバイス１４は、デコーダ３０（例えばビデオデコーダ３０）を備え、加えて、すなわち任意選択で、通信インタフェース又は通信ユニット２８と、ポストプロセッサ３２（又は後処理ユニット３２）と、ディスプレイデバイス３４とを備えてよい。
デスティネーションデバイス１４の通信インタフェース２８は、エンコード済みの画像データ２１（又はその任意の更なる処理バージョン）を、例えばソースデバイス１２から直接又は任意の他のソース、例えばストレージデバイス、例えばエンコード済みの画像データストレージデバイスから受信するとともに、エンコード済みの画像データ２１をデコーダ３０に提供するように構成されている。
通信インタフェース２２及び通信インタフェース２８は、ソースデバイス１２とデスティネーションデバイス１４との間で、直接的な通信リンク、例えば、直接的な有線若しくは無線接続を介して、又は、任意の種類のネットワーク、例えば、有線若しくは無線ネットワーク若しくはそれらの任意の組み合わせ、若しくは、任意の種類のプライベート及びパブリックネットワーク若しくはそれらの任意の種類の組み合わせを介して、エンコード済みの画像データ２１又はエンコード済みのデータを送信又は受信する（１３）ように構成されてよい。
通信インタフェース２２は、例えば、エンコード済みの画像データ２１を適切なフォーマットに、例えばパケットにパッケージ化する、及び／又は、通信リンク又は通信ネットワークを介した送信のための任意の種類の送信エンコーディング又は処理を用いて、エンコード済みの画像データを処理するように構成されてよい。
通信インタフェース２２のカウンターパートをなす通信インタフェース２８は、例えば、送信されたデータを受信するとともに、任意の種類の対応する送信デコーディング又は処理及び／又はデパッケージングを用いて送信データを処理して、エンコード済みの画像データ２１を取得するように構成されてよい。
通信インタフェース２２及び通信インタフェース２８は両方とも、図１Ａにおいてソースデバイス１２からデスティネーションデバイス１４に向く通信チャネル１３の矢印で示すように単方向通信インタフェースとして、又は、双方向通信インタフェースとして構成されてよく、例えば、メッセージを送信及び受信する、例えば、接続を設定し、通信リンク及び／又はデータ送信、例えばエンコード済みの画像データ送信に関連する任意の他の情報を確認及びやりとりするように構成されてよい。
デコーダ３０は、エンコード済みの画像データ２１を受信するとともに、デコード済みの画像データ３１又はデコード済みの画像３１を提供するように構成されている（更なる詳細は、例えば図３又は図５に基づいて下記で説明される）。
デスティネーションデバイス１４のポストプロセッサ３２は、デコード済みの画像データ３１（再構成画像データとも呼ばれる）、例えばデコード済みの画像３１を後処理して、後処理済みの画像データ３３、例えば後処理済みの画像３３を取得するように構成されている。後処理ユニット３２により行われる後処理は、例えば、デコード済みの画像データ３１を、例えば、ディスプレイデバイス３４による表示のために準備する目的で、例えば、カラーフォーマット変換（例えば、ＹＣｂＣｒからＲＧＢへ）、色補正、トリミング、若しくは再サンプリング、又は任意の他の処理を含んでよい。
デスティネーションデバイス１４のディスプレイデバイス３４は、画像を例えばユーザ又は視聴者に表示するために、後処理済みの画像データ３３を受信するように構成されている。ディスプレイデバイス３４は、再構成画像を表現するための任意の種類のディスプレイ、例えば、一体型又は外付けのディスプレイ又はモニタであってもよく、これを含んでもよい。ディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、液晶オンシリコン（ＬＣｏＳ）、デジタル光プロセッサ（ＤＬＰ）、又は任意の種類の他のディスプレイを含んでよい。
図１Ａはソースデバイス１２とデスティネーションデバイス１４とを別個のデバイスとして示しているが、デバイスの実施形態は、それらの両方又は両方の機能、すなわち、ソースデバイス１２又は対応する機能と、デスティネーションデバイス１４又は対応する機能とを備えてもよい。そのような実施形態では、ソースデバイス１２又は対応する機能及びデスティネーションデバイス１４又は対応する機能は、同じハードウェア及び／又はソフトウェアを使用して、又は別個のハードウェア及び／又はソフトウェア又はそれらの任意の組み合わせによって実装され得る。
本説明に基づいて当業者には明らかであるように、図１Ａに示すような、異なるユニットの機能又はソースデバイス１２及び／又はデスティネーションデバイス１４内の機能の存在及び（正確な）分割は、実際のデバイス及びアプリケーションに応じて変わり得る。
エンコーダ２０（例えば、ビデオエンコーダ２０）又はデコーダ３０（例えば、ビデオデコーダ３０）又はエンコーダ２０及びデコーダ３０の両方は、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ハードウェア、ビデオコーディング専用又はそれらの任意の組み合わせ等の、図１Ｂに示すような処理回路を介して実装されてよい。エンコーダ２０は、図２のエンコーダ２０及び／又は本明細書に記載の任意の他のエンコーダシステム又はサブシステムに関連して説明される様々なモジュールを具現するために処理回路４６を介して実装されてよい。デコーダ３０は、図３のデコーダ３０及び／又は本明細書に記載の任意の他のデコーダシステム又はサブシステムに関連して説明される様々なモジュールを具現するために処理回路４６を介して実施されてよい。処理回路は、後で説明されるように様々な操作を実行するように構成されてよい。図５に示すように、本技術がソフトウェアにおいて部分的に実施される場合、デバイスは、好適な非一時的コンピュータ可読記憶媒体にソフトウェアのための命令を保存してよく、ハードウェア内で１つ又は複数のプロセッサを用いて命令を実行して、本開示の技術を実現してよい。ビデオエンコーダ２０及びビデオデコーダ３０のいずれかは、図１Ｂに示すように、例えば、単一のデバイス内の組み合わされたエンコーダ／デコーダ（コーデック）の一部として統合されてよい。
ソースデバイス１２及びデスティネーションデバイス１４は、任意の種類のハンドヘルド又はステーショナリデバイス、例えば、ノートブック又はラップトップコンピュータ、携帯電話、スマートフォン、タブレット又はタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、ディスプレイデバイス、デジタルメディアプレイヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイス（コンテンツサービスサーバ又はコンテンツ配信サーバ等）、ブロードキャスト受信機デバイス、ブロードキャスト送信機デバイス等を含む、広範なデバイスのいずれかを備えてよく、オペレーティングシステムを用いない又は任意の種類のオペレーティングシステムを用いてよい。いくつかの場合、ソースデバイス１２及びデスティネーションデバイス１４は、無線通信に対応してよい。したがって、ソースデバイス１２及びデスティネーションデバイス１４は、無線通信デバイスとしてよい。
いくつかの場合、図１Ａに示すビデオコーディングシステム１０は、単に例であり、本願の技術は、エンコーディングデバイスとデコーディングデバイスとの間の任意のデータ通信を必ずしも含まないビデオコーディング設定（例えば、ビデオエンコーディング又はビデオデコーディング）に適用されてよい。他の例において、データは、ローカルメモリから取得され、ネットワークを介してストリーム等される。ビデオエンコーディングデバイスは、データをメモリにエンコードして格納してよく、及び／又は、ビデオデコーディングデバイスは、データをメモリからデコードして取得してよい。いくつかの例において、エンコーディング及びデコーディングは、互いに通信しないが単にデータをメモリにエンコードする及び／又はデータをメモリから取得するとともにデコードするデバイスによって実行される。
説明の便宜上、例えば、ＩＴＵ－Ｔビデオコーディング専門家グループ（ＶＣＥＧ）及びＩＳＯ／ＩＥＣ動画像専門家グループ（ＭＰＥＧ）のビデオコーディングに関する共同作業チーム（ＪＣＴ－ＶＣ）によって開発された次世代ビデオコーディング規格である、高効率ビデオコーディング（ＨＥＶＣ）又は多目的ビデオコーディング（ＶＶＣ）のリファレンスソフトウェアを参照して、本願の実施形態が本明細書で説明される。当業者であれば、本願の実施形態はＨＥＶＣ又はＶＶＣに限定されないことを理解する。
［エンコーダ及びエンコーディング方法］
図２は、本願の技術を実施するように構成されている例示のビデオエンコーダ２０の概略ブロック図を示している。図２の例において、ビデオエンコーダ２０は、入力２０１（又は入力インタフェース２０１）と、残差計算ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構成ユニット２１４と、ループフィルタユニット２２０と、デコード済みの画像バッファ（ＤＰＢ）２３０と、モード選択ユニット２６０と、エントロピーエンコーディングユニット２７０と、出力２７２（又は出力インタフェース２７２）とを備える。モード選択ユニット２６０は、インター予測ユニット２４４と、イントラ予測ユニット２５４と、区分化ユニット２６２とを備えてよい。インター予測ユニット２４４は、動き推定ユニット及び動き補償ユニット（図示せず）を備えてよい。図２に示されるビデオエンコーダ２０は、ハイブリッドビデオエンコーダ、又はハイブリッドビデオコーデックによるビデオエンコーダとも称され得る。
残差計算ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、モード選択ユニット２６０とは、エンコーダ２０の順方向信号経路を形成するものとして言及されてよく、一方、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構成ユニット２１４と、バッファ２１６と、ループフィルタ２２０と、デコード済みの画像バッファ（ＤＰＢ）２３０と、インター予測ユニット２４４と、イントラ予測ユニット２５４とは、ビデオエンコーダ２０の逆方向信号経路を形成するものとして言及されてよい。ビデオエンコーダ２０の逆方向信号経路は、デコーダの信号経路に対応する（図３のビデオデコーダ３０を参照）。逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構成ユニット２１４と、ループフィルタ２２０と、デコード済みの画像バッファ（ＤＰＢ）２３０と、インター予測ユニット２４４と、イントラ予測ユニット２５４とは、ビデオエンコーダ２０の「内蔵デコーダ」を形成するものとも言及される。
［画像及び画像区分化（画像及びブロック）］
エンコーダ２０は、例えば、入力２０１を介して、画像１７（又は画像データ１７）、例えば、ビデオ又はビデオシーケンスを形成する一連の画像のうちの画像を受信するように構成されてよい。受信された画像又は画像データは、前処理済みの画像１９（又は前処理済みの画像データ１９）であってもよい。簡潔さのために、以下の説明では画像１７が参照される。画像１７は、現在の画像又はコードされる画像とも称され得る（特に、ビデオコーディングにおいて、現在の画像を他の画像、例えば、同じビデオシーケンス、すなわち現在の画像も含むビデオシーケンスの、以前にエンコード済み及び／又はデコード済みの画像から区別するために）。
（デジタル）画像は、強度値を持つサンプルの二次元アレイ又はマトリックスであるか、それとみなされ得る。アレイ内のサンプルは、画素（画像要素の略称）又はペルとも称され得る。アレイ又は画像の水平及び垂直方向（又は軸）のサンプル数は、画像のサイズ及び／又は解像度を定義する。色を表現するために、典型的には３つの色成分が使用され、すなわち、画像は、３つのサンプルアレイで表されても又はこれを含んでもよい。ＲＢＧ形式又は色空間では、画像は対応する赤、緑、及び青のサンプルアレイを含む。しかしながら、ビデオコーディングでは、各画素は、典型的には輝度及びクロミナンス形式又は色空間、例えばＹＣｂＣｒで表され、これには、Ｙ（代わりにＬが用いられる場合もある）で示される輝度成分と、Ｃｂ及びＣｒで示される２つのクロミナンス成分とが含まれる。輝度（又は略してルマ（ｌｕｍａ））成分Ｙは、明るさ又は（例えば、グレースケール画像でのような）グレーレベルの強度を表し、２つのクロミナンス（又は略してクロマ（ｃｈｒｏｍａ））成分であるＣｂ及びＣｒは、色度又は色情報成分を表す。したがって、ＹＣｂＣｒ形式の画像は、輝度サンプル値（Ｙ）の輝度サンプルアレイと、クロミナンス値（Ｃｂ及びＣｒ）の２つのクロミナンスサンプルアレイとを含む。ＲＧＢ形式の画像は、ＹＣｂＣｒ形式に転換又は変換され得、その逆もまた同様であり、このプロセスは、色変換又は転換としても知られている。画像がモノクロの場合、画像は輝度サンプルアレイのみを含んでよい。したがって、画像は、例えば、モノクロ形式におけるルマサンプルのアレイ、又は、４：２：０、４：２：２、及び４：４：４のカラー形式におけるルマサンプルのアレイ及びクロマサンプルの２つの対応するアレイであってよい。
ビデオエンコーダ２０の実施形態は、画像１７を複数の（典型的には非重複）画像ブロック２０３に区分化するように構成されている画像区分化ユニット（図２には示されない）を備えてよい。これらのブロックは、根ブロック、マクロブロック（Ｈ．２６４／ＡＶＣ）又はコーディングツリーブロック（ＣＴＢ）又はコーディングツリーユニット（ＣＴＵ）（Ｈ．２６５／ＨＥＶＣ及びＶＶＣ）とも称され得る。画像区分化ユニットは、ビデオシーケンスの全ての画像及びブロックサイズを画定する対応するグリッドに同じブロックサイズを使用するか、又は、画像又は画像のサブセット若しくはグループ間でブロックサイズを変化させて、各画像を対応するブロックに区分化するように構成されてよい。
更なる実施形態において、ビデオエンコーダは、画像１７のブロック２０３、例えば、画像１７を形成する１つ、いくつか、又は全てのブロックを直接受信するように構成されてよい。画像ブロック２０３は、現在の画像ブロック又はコードされる画像ブロックとも称され得る。
画像１７と同様にここでも、画像ブロック２０３は、画像１７よりも寸法が小さいが、強度値（サンプル値）を持つサンプルの二次元アレイ又はマトリックスであるか、又は、それとみなすことができる。換言すれば、ブロック２０３は、例えば、１つのサンプルアレイ（例えば、モノクロ画像１７の場合はルマアレイ、又は、カラー画像の場合はルマ若しくはクロマアレイ）、又は３つのサンプルアレイ（例えば、カラー画像１７の場合はルマ及び２つのクロマアレイ）、又は、適用されるカラーフォーマットに応じた任意の他の数及び／又は種類のアレイを備えてよい。ブロック２０３の水平及び垂直方向（又は軸）のサンプル数は、ブロック２０３のサイズを定義する。したがって、ブロックは、例えば、サンプルのＭ×Ｎ（Ｍ列×Ｎ行）アレイ、又は変換係数のＭ×Ｎアレイであってよい。
図２に示すビデオエンコーダ２０の実施形態は、画像１７をブロック毎にエンコードするように構成されてよく、例えば、エンコーディング及び予測がブロック２０３毎に実行される。
［残差計算］
残差計算ユニット２０４は、例えば、サンプル毎（画素毎）に画像ブロック２０３のサンプル値から予測ブロック２６５のサンプル値を減算し、サンプル領域における残差ブロック２０５を取得することによって、画像ブロック２０３及び予測ブロック２６５に基づいて（予測ブロック２６５に関する更なる詳細は後で提供される）、残差ブロック２０５（残差２０５とも称される）を計算するように構成されてよい。
［変換］
変換処理ユニット２０６は、残差ブロック２０５のサンプル値に対して変換、例えば、離散コサイン変換（ＤＣＴ）又は離散サイン変換（ＤＳＴ）を適用し、変換領域における変換係数２０７を取得するように構成されてよい。変換係数２０７は、変換残差係数とも称され得、変換領域における残差ブロック２０５を表す。
変換処理ユニット２０６は、Ｈ．２６５／ＨＥＶＣに指定された変換等のＤＣＴ/ＤＳＴの整数近似を適用するように構成されてよい。直交ＤＣＴ変換に比較して、そのような整数近似は、典型的には特定の係数によってスケーリングされる。順変換及び逆変換によって処理される残差ブロックのノルムを保存するべく、変換プロセスの一部として追加のスケーリング係数が適用される。スケーリング係数は、典型的には、シフト操作に関して２のべき乗であるスケーリング係数、変換係数のビット深度、確度と実装コストとの間のトレードオフ等のような特定の制約に基づいて選択される。例えば、特定のスケーリング係数が、例えば、逆変換処理ユニット２１２による逆変換（及び、例えばビデオデコーダ３０における逆変換処理ユニット３１２による対応する逆変換）に指定され、例えば、エンコーダ２０における変換処理ユニット２０６による順方向変換のための対応するスケーリング係数が、相応に指定されてよい。
ビデオエンコーダ２０の実施形態は（それぞれ変換処理ユニット２０６）は、変換パラメータ、例えば単数又は複数の変換のタイプを、例えば、直接又はエントロピーエンコーディングユニット２７０を介してエンコード若しくは圧縮してから出力するように構成されてよく、それにより、例えば、ビデオデコーダ３０は、デコーディングのための変換パラメータを受信して使用してよい。
［量子化］
量子化ユニット２０８は、例えば、スカラ量子化又はベクトル量子化を適用することによって、変換係数２０７を量子化して、量子化係数２０９を取得するように構成されてよい。量子化係数２０９は、量子化変換係数２０９又は量子化残差係数２０９とも称され得る。
量子化プロセスは、変換係数２０７のいくつか又は全てに関連付けられたビット深度を減少させ得る。例えば、ｎビット変換係数は、量子化中にｍビット変換係数に丸められてよく、ここでｎはｍよりも大きい。量子化の程度は、量子化パラメータ（ＱＰ）を調整することによって変更されてよい。例えば、スカラ量子化の場合、より細かい又はより粗い量子化を達成するために、異なるスケーリングが適用されてよい。量子化段階サイズが小さいほど細かい量子化に対応し、一方で、量子化段階サイズが大きいほど粗い量子化に対応する。適用可能な量子化段階サイズは、量子化パラメータ（ＱＰ）によって示され得る。量子化パラメータは、例えば、適用可能な量子化段階サイズの予め定義されたセットへのインデックスであり得る。例えば、小さな量子化パラメータは細かい量子化（小さな量子化段階サイズ）に対応し得、大きな量子化パラメータは粗い量子化（大きな量子化段階サイズ）に対応し得るか、又は逆もまた同様である。量子化は、量子化段階サイズによる除算を含んでよく、例えば逆量子化ユニット２１０による対応する及び／又は逆の量子化解除は、量子化段階サイズによる乗算を含んでよい。いくつかの規格、例えばＨＥＶＣに従った実施形態は、量子化段階サイズを決定するのに量子化パラメータを使用するように構成されてよい。概して、量子化段階サイズは、除算を含む方程式の固定小数点近似を使用する量子化パラメータに基づいて算出され得る。残差ブロックのノルムを復元するために、量子化及び量子化解除に追加のスケーリング係数を導入し得、これは、量子化段階サイズ及び量子化パラメータの方程式の固定小数点近似で使用されるスケーリングに起因して変更され得る。一例の実装では、逆変換及び量子化解除のスケーリングは組み合わされ得る。代替的には、カスタマイズされた量子化テーブルが使用され、例えばビットストリームにおいてエンコーダからデコーダにシグナリングされてよい。量子化は不可逆演算であり、損失は量子化段階サイズの増加に伴って増加する。
ビデオエンコーダ２０の実施形態（それぞれ量子化ユニット２０８）は、量子化パラメータ（ＱＰ）、例えば直接か又はエントロピーエンコーディングユニット２７０を介してエンコードしてから出力するように構成されてよく、それにより、例えば、ビデオデコーダ３０は、デコーディングのための量子化パラメータを受信して適用してよい。
［逆量子化］
逆量子化ユニット２１０は、例えば、量子化ユニット２０８と同じ量子化段階サイズに基づいて又はそれを使用して量子化ユニット２０８によって適用された量子化スキームの逆を適用することによって、量子化係数に対して量子化ユニット２０８の逆量子化を適用し、量子化解除係数２１１を取得するように構成されている。量子化解除係数２１１は、量子化解除残差係数２１１とも称され得、典型的には量子化による損失に起因して変換係数とは同一でないが、変換係数２０７に対応する。
［逆変換］
逆変換処理ユニット２１２は、変換処理ユニット２０６によって適用された変換の逆変換、例えば、逆離散コサイン変換（ＤＣＴ）又は逆離散サイン変換（ＤＳＴ）又は他の逆変換を適用し、サンプル領域における再構成残差ブロック２１３（又は対応する量子化解除係数２１３）を取得するように構成されている。再構成残差ブロック２１３は、変換ブロック２１３とも称され得る。
［再構成］
再構成ユニット２１４（例えば、加算器又は合算器２１４）は、例えば、サンプル毎に、再構成残差ブロック２１３のサンプル値と予測ブロック２６５のサンプル値とを加算することによって、変換ブロック２１３（すなわち、再構成残差ブロック２１３）を予測ブロック２６５に加算し、サンプル領域における再構成ブロック２１５を取得するように構成されている。
［フィルタリング］
ループフィルタユニット２２０（又は、略して「ループフィルタ」２２０）は、再構成ブロック２１５をフィルタして、フィルタリング済みのブロック２２１を取得する、又は、一般に、再構成サンプルをフィルタして、フィルタリング済みのサンプルを取得するように構成されている。ループフィルタユニットは、例えば、画素遷移を滑らかにする、又は、別様にビデオ品質を改善するように構成されている。ループフィルタユニット２２０は、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ、又は、１つ又は複数の他のフィルタ、例えば、バイラテラルフィルタ、適応ループフィルタ（ＡＬＦ）、鮮明化、平滑化フィルタ若しくは協調フィルタ、又は、それらの任意の組み合わせ等の、１つ又は複数のループフィルタを備えてよい。ループフィルタユニット２２０が、ループフィルタ内にあるものとして図２に示されているが、他の構成では、ループフィルタユニット２２０はポストループフィルタとして実装されてもよい。フィルタリング済みのブロック２２１は、フィルタリング済みの再構成ブロック２２１とも称され得る。
ビデオエンコーダ２０の実施形態（それぞれループフィルタユニット２２０）は、ループフィルタパラメータを（サンプル適応オフセット情報等）、例えば、直接又はエントロピーエンコーディングユニット２７０を介してエンコードしてから出力するように構成されてよく、それにより、例えば、デコーダ３０は、デコーディングのために同じループフィルタパラメータ又はそれぞれのループフィルタを受信して適用してよい。
［デコード済みの画像バッファ］
デコード済みの画像バッファ（ＤＰＢ）２３０は、ビデオエンコーダ２０によってビデオデータをエンコードするための参照画像、又は一般に参照画像データを保存するメモリであってよい。ＤＰＢ２３０は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、又は他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）等の様々なメモリデバイスのうちの任意のものによって形成されてよい。デコード済みの画像バッファ（ＤＰＢ）２３０は、１つ又は複数のフィルタリング済みのブロック２２１を保存するように構成されてよい。デコード済みの画像バッファ２３０は、同じ現在の画像又は異なる画像、例えば、以前に再構成された画像の他の以前にフィルタリング済みのブロック、例えば、以前に再構成され且つフィルタリング済みのブロック２２１を保存するようにさらに構成されてよく、例えば、インター予測のために、以前に再構成された、すなわちデコード済みの、完全な画像（並びに、対応する参照ブロック及びサンプル）、及び／又は、部分的に再構成された現在の画像（並びに、対応する参照ブロック及びサンプル）を提供してよい。デコード済みの画像バッファ（ＤＰＢ）２３０は、例えば、再構成ブロック２１５がループフィルタユニット２２０によってフィルタリングされていない場合、１つ又は複数のフィルタリングされていない再構成ブロック２１５、又は一般に、フィルタリングされていない再構成サンプル、又は、再構成ブロック若しくはサンプルの任意の他のさらに処理されたバージョンを保存するように構成されてもよい。
［モード選択（区分化及び予測）］
モード選択ユニット２６０は、区分化ユニット２６２と、インター予測ユニット２４４と、イントラ予測ユニット２５４とを備え、元の画像データ、例えば元のブロック２０３（現在の画像１７の現在のブロック２０３）、及び再構成画像データ、例えば、同じ（現在の）画像の及び／又は１つ又は複数の以前にデコード済みの画像からの、例えばデコード済みの画像バッファ２３０若しくは他のバッファ（例えば、図示しないラインバッファ）からのフィルタリング済み及び／又はフィルタリングされていない再構成サンプル若しくはブロックを受信又は取得するように構成されている。再構成画像データは、予測ブロック２６５又は予測因子２６５を得るために、予測、例えばインター予測又はイントラ予測のための参照画像データとして使用される。
モード選択ユニット２６０は、現在のブロック予測モード（区分化を含まない）のための区分化及び予測モード（例えば、イントラ又はインター予測モード）を決定又は選択し、対応する予測ブロック２６５を生成するように構成されてよく、予測ブロック２６５は、残差ブロック２０５の計算のため及び再構成ブロック２１５の再構成のために使用される
モード選択ユニット２６０の実施形態は、区分化及び予測モード（例えば、モード選択ユニット２６０によってサポートされているもの又はモード選択ユニット２６０に利用可能なものから）選択するように構成されてよく、これにより、最良のマッチ、又は換言すれば、最小残差（最小残差は、送信又は保存のための圧縮率がより良好であることを意味する）、又は、最小シグナリングオーバヘッド（最小シグナリングオーバヘッドは、送信又は保存のための圧縮率がより良好であることを意味する）、又はこれらの両方を考慮した若しくはバランスを取ったものを提供する。モード選択ユニット２６０は、レート歪み最適化（ＲＤＯ）に基づいて区分化及び予測モードを決定する、すなわち、最小レート歪みを提供する予測モードを選択するように構成されてよい。この文脈において「最良」、「最小」、「最適」等のような用語は、全般的な「最良」、「最小」、「最適」等を必ずしも指さず、値が閾値又は他の制約を超過又は下回り、潜在的に「準最適選択」につながるが複雑性及び処理時間を低減するような、終了又は選択基準の達成を指してもよい。
換言すれば、区分化ユニット２６２は、例えば、四分木区分化（ＱＴ）、二分木区分化（ＢＴ）、若しくは三分木区分化（ＴＴ）、又はそれらの任意の組み合わせを繰り返し用いて、ブロック２０３をより小さいブロック区分又はサブブロック（ここでもブロックを形成する）に区分化するように、また、例えば、ブロック区分又はサブブロックのそれぞれのための予測を実行するように構成されてよく、モード選択は、区分化されたブロック２０３の木構造の選択を含み、予測モードは、ブロック区分又はサブブロックのそれぞれに適用される。
以下では、例示のビデオエンコーダ２０によって実行される、区分化（例えば、区分化ユニット２６０による）及び予測処理（インター予測ユニット２４４及びイントラ予測ユニット２５４による）をより詳細に説明する。
［区分化］
区分化ユニット２６２は、現在のブロック２０３をより小さい区分、例えば、正方形又は長方形サイズのより小さいブロックに区分化（又は分割）してよい。これらのより小さいブロック（サブブロックとも称され得る）は、さらにより小さい区分にさらに区分化されてよい。これは、ツリー区分化若しくは階層的ツリー区分化とも称され、ここで、例えば根ツリーレベル０（階層レベル０、深度０）にある根ブロックは、再帰的に区分化、例えば、次に低いツリーレベル、例えばツリーレベル１（階層レベル１、深度１）にある節点の２又は２より多いブロックに区分化されてよく、これらのブロックは、例えば終了基準が達成されたことで、例えば最大ツリー深度又は最小ブロックサイズに達したことで、区分化が終了するまで、次に低いレベル、例えばツリーレベル２（階層レベル２、深度２）の２又は２より多いブロックに再度区分化される等してよい。さらに区分化されないブロックは、ツリーの葉ブロック又は葉節点とも称される。２つの区分への区分化を用いるツリーは、二分木（ＢＴ）と称され、３つの区分への区分化を用いるツリーは、三分木（ＴＴ）と称され、４つの区分への区分化を用いるツリーは、四分木（ＱＴ）と称される。
前で言及したように、本明細書で使用される「ブロック」という用語は、画像の部分、特に正方形又は長方形部分であってよい。例えばＨＥＶＣ及びＶＶＣを参照すると、ブロックは、コーディングツリーユニット（ＣＴＵ）、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）、及び／又は、対応するブロック、例えば、コーディングツリーブロック（ＣＴＢ）、コーディングブロック（ＣＢ）、変換ブロック（ＴＢ）、若しくは予測ブロック（ＰＢ）であるか、又はそれらに対応してよい。
例えば、コーディングツリーユニット（ＣＴＵ）は、３つのサンプルアレイを有する画像のルマサンプルのＣＴＢ、クロマサンプルの２つの対応するＣＴＢ、又は、モノクロ画像の若しくはサンプルをコードするために使用された３つの別個の色平面及びシンタックス構造を用いてコードされた画像のサンプルのＣＴＢであるか、又はそれらを含んでよい。対応して、コーディングツリーブロック（ＣＴＢ）は、ＣＴＢへの構成要素の分割が区分化であるように、或るＮの値に関してサンプルのＮ×Ｎのブロックであってよい。コーディングユニット（ＣＵ）は、ルマサンプルのコーディングブロック、３つのサンプルアレイを有する画像のクロマサンプルの２つの対応するコーディングブロック、又は、モノクロ画像の若しくはサンプルをコードするために使用された３つの別個の色平面及びシンタックス構造を用いてコードされた画像のサンプルのコーディングブロックであるか、又はそれらを含んでよい。対応して、コーディングブロック（ＣＢ）は、コーディングブロックへのＣＴＢの分割が区分化であるように、或るＭ及びＮの値に関してサンプルのＭ×Ｎのブロックであってよい。
例えばＨＥＶＣに従う実施形態において、コーディングツリーユニット（ＣＴＵ）は、コーディングツリーとして表される四分木構造を用いることによってＣＵに分割されてよい。画像エリアを、インター画像（時間）予測を用いてコードするのか又はイントラ画像（空間）予測を用いてコードするのかの決定は、ＣＵレベルで行われる。各ＣＵはさらに、ＰＵの分割タイプに従って、１つ、２つ、又は４つのＰＵに分割することができる。１つのＰＵの内部では、同じ予測処理が適用され、関連情報はＰＵベースでデコーダに送信される。ＰＵの分割タイプに基づいて予測処理を適用することによって残差ブロックを取得した後、ＣＵは、ＣＵのコーディングツリーと同様の別の四分木構造に従って変換ユニット（ＴＵ）に区分化できる。
例えば、多目的ビデオコーディング（ＶＶＣ）と称される、現在開発中の最新のビデオコーディング規格に従う実施形態において、四分木及び二分木（ＱＴＢＴ）区分化がコーディングブロックを区分化するのに使用される。ＱＴＢＴブロック構造では、ＣＵは、正方形又は長方形のいずれかとすることができる。例えば、コーディングツリーユニット（ＣＴＵ）が、まず四分木構造で区分化される。四分木の葉節点は、二分木又は三分（ｔｅｒｎａｒｙ （ｏｒ ｔｒｉｐｌｅ））木構造によってさらに区分化される。区分化ツリーの葉節点は、コーディングユニット（ＣＵ）と呼ばれ、そのセグメンテーションは、いかなる更なる区分化も行わずに予測及び変換処理に使用される。つまり、ＣＵ、ＰＵ、及びＴＵはＱＴＢＴコーディングブロック構造において同じブロックサイズを有する。並行して、複数の区分化、例えば、三分木区分もＱＴＢＴブロック構造と一緒に用いるよう提案された。
一例において、ビデオエンコーダ２０のモード選択ユニット２６０は、本明細書に記載の区分化技術の任意の組み合わせを実行するように構成されてよい。
上述したように、ビデオエンコーダ２０は、（事前決定された）予測モードのセットから最良又は最適な予測モードを決定又は選択するように構成されている。予測モードのセットは、例えば、イントラ予測モード及び／又はインター予測モードを含んでよい。
［イントラ予測］
イントラ予測モードのセットは、３５の異なるイントラ予測モード、例えば、ＤＣ（又はミーン）モード及び平面モードのような無方向性モード、若しくは、例えばＨＥＶＣにおいて定義されているような、方向性モードを含んでよく、又は、６７の異なるイントラ予測モード、例えば、ＤＣ（又はミーン）モード及び平面モードのような無方向性モード、若しくは、例えばＶＶＣに定義されている、方向性モードを含んでよい。
イントラ予測ユニット２５４は、同じ現在の画像の隣接ブロックの再構成サンプルを使用して、イントラ予測モードのセットのうちのイントラ予測モードに従って、イントラ予測ブロック２６５を生成するように構成されている。
イントラ予測ユニット２５４（又は一般にモード選択ユニット２６０）は、イントラ予測パラメータ（又は一般に、ブロックのために選択されたイントラ予測モードを示す情報）を、エンコード済みの画像データ２１に含まれるようにシンタックス要素２６６の形態でエントロピーエンコーディングユニット２７０に出力するようにさらに構成され、それにより、例えば、ビデオデコーダ３０は、デコーディングのための予測パラメータを受信して使用してよい。
［インター予測］
インター予測モードのセット（又は可能なインター予測モード）は、利用可能な参照画像（すなわち、例えばＤＢＰ２３０に保存された、以前の少なくとも部分的にデコード済みの画像）及び他のインター予測パラメータ、例えば、最良にマッチする参照ブロックの検索に使用されたのは、参照画像の全体なのか若しくは参照画像の一部のみ、例えば、現在のブロックのエリアの周りの検索窓エリアなのか、及び／又は、例えば、画素補間、例えばハーフ／セミペル及び／又はクオータペル補間が適用されたか否かに依拠する。
上記の予測モードに加えて、スキップモード及び／又は直接モードが適用されてもよい。
インター予測ユニット２４４は、動き予測（ＭＥ）ユニット及び動き補償（ＭＣ）ユニット（両方とも図２には図示せず）を備えてよい。動き推定ユニットは、動き予測のために、画像ブロック２０３（現在の画像１７の現在の画像ブロック２０３）及びデコード済みの画像２３１、又は、少なくとも１つ又は複数の以前に再構成されたブロック、例えば１つ又は複数の他の／異なる以前にデコード済みの画像２３１の再構成ブロックを受信又は取得するように構成されてよい。例えば、ビデオシーケンスは、現在の画像及び以前にデコード済みの画像２３１を含んでよく、又は換言すれば、現在の画像及び以前にデコード済みの画像２３１は、ビデオシーケンスを形成する一連の画像の一部であるか又はそれを形成してよい。
エンコーダ２０は、例えば、複数の他の画像のうちの同じ又は異なる画像の複数の参照ブロックから参照ブロックを選択し、インター予測パラメータとして参照画像（又は参照画像インデックス）及び／又は参照ブロックの位置（ｘ、ｙ座標）と現在のブロックの位置との間のオフセット（空間的オフセット）を動き推定ユニットに提供するように構成してよい。このオフセットは、動きベクトル（ＭＶ）とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得、例えば受信するとともに、そのインター予測パラメータに基づいて又はそれを使用してインター予測を実行して、インター予測ブロック２６５を取得するように構成されている。動き補償ユニットによって実行される動き補償は、動き予測によって決定された動き/ブロックベクトルに基づいて予測ブロックをフェッチ又は生成し、場合によって副画素精度までの補間を実行することを伴ってよい。補間フィルタリングは、既知の画素サンプルから更なる画素サンプルを生成してよく、したがって、画像ブロックをコードするのに用いられ得る候補予測ブロックの数を潜在的に増加させる。現在の画像ブロックのＰＵのための動きベクトルを受信すると、動き補償ユニットは、参照画像リストのうちの１つにおいて動きベクトルが指し示す予測ブロックを位置特定してよい。
動き補償ユニットは、ビデオスライスの画像ブロックをデコードする際にビデオデコーダ３０によって用いられる、ブロック及びビデオスライスに関連付けられるシンタックス要素を生成してもよい。
［エントロピーコーディング］
エントロピーエンコーディングユニット２７０は、例えば、エントロピーエンコーディングアルゴリズム又はスキーム（例えば、可変長コーディング（ＶＬＣ）スキーム、コンテキスト適応ＶＬＣスキーム（ＣＡＶＬＣ）、算術コーディングスキーム、バイナリゼーション、コンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応バイナリ算術コーディング（ＳＢＡＣ）、確率インターバル区分化エントロピー（ＰＩＰＥ）コーディング、又は、別のエントロピーエンコーディング方法若しくは技術）、又はバイパス（無圧縮）を、量子化係数２０９、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、及び／又は他のシンタックス要素に適用し、例えばエンコード済みのビットストリーム２１の形態で出力２７２を介して出力できるエンコード済みの画像データ２１を取得するように構成され、それにより、例えば、ビデオデコーダ３０は、デコーディングのためのパラメータを受信して使用してよい。エンコード済みのビットストリーム２１は、ビデオデコーダ３０に送信、又は、後でビデオデコーダ３０によって送信又は取得するためにメモリに保存されてよい。
ビデオエンコーダ２０の他の構造上の変形を、ビデオストリームをエンコードするのに用いることができる。例えば、非変換ベースのエンコーダ２０は、特定のブロック又はフレームのための変換処理ユニット２０６を用いずに直接的に残差信号を量子化できる。別の実装において、エンコーダ２０は、単一のユニットに組み合わされた量子化ユニット２０８及び逆量子化ユニット２１０を有することができる。
［デコーダ及びデコーディング方法］
図３は、本願の技術を実施するように構成されているビデオデコーダ３０の例を示している。ビデオデコーダ３０は、例えばエンコーダ２０によってエンコードされた、エンコード済みの画像データ２１（例えば、エンコード済みのビットストリーム２１）を受信して、デコード済みの画像３３１を取得するように構成されている。エンコード済みの画像データ又はビットストリームは、エンコード済みの画像データをデコードするための情報、例えば、エンコード済みのビデオスライスの画像ブロック及び関連するシンタックス要素を表すデータを含む。
図３の例において、デコーダ３０は、エントロピーデコーディングユニット３０４、逆量子化ユニット３１０、逆変換処理ユニット３１２、再構成ユニット３１４（例えば、合算器３１４）、ループフィルタ３２０、デコード済みの画像バッファ（ＤＢＰ）３３０、インター予測ユニット３４４、及びイントラ予測ユニット３５４を備える。インター予測ユニット３４４は、動き補償ユニットであるか又はこれを備えてよい。ビデオデコーダ３０は、いくつかの例では、図２のビデオエンコーダ１００に関して説明されたエンコーディングパスに対して概ね逆のデコーディングパスを実行してよい。
エンコーダ２０に関して説明したように、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、ループフィルタ２２０、デコード済みの画像バッファ（ＤＰＢ）２３０、インター予測ユニット３４４、及びイントラ予測ユニット３５４も、ビデオエンコーダ２０の「内蔵デコーダ」を形成するものとして言及される。したがって、逆量子化ユニット３１０は、逆量子化ユニット１１０と機能的に同一であってよく、逆変換処理ユニット３１２は、逆変換処理ユニット２１２と機能的に同一であってよく、再構成ユニット３１４は、再構成ユニット２１４と機能的に同一であってよく、ループフィルタ３２０は、ループフィルタ２２０と機能的に同一であってよく、デコード済みの画像バッファ３３０は、デコード済みの画像バッファ２３０と機能的に同一であってよい。したがって、ビデオエンコーダ２０のそれぞれのユニット及び機能について提供された説明は、ビデオデコーダ３０のそれぞれのユニット及び機能に対応するように当てはまる。
［エントロピーデコーディング］
エントロピーデコーディングユニット３０４は、ビットストリーム２１（又は一般にエンコード済みの画像データ２１）をパースし、例えば、エンコード済みの画像データ２１にエントロピーデコーディングを実行して、例えば量子化係数３０９及び／又はデコードされたコーディングパラメータ（図３には図示せず）、例えば、インター予測パラメータ（例えば、参照画像インデックス及び動きベクトル）、イントラ予測パラメータ（例えば、イントラ予測モード又はインデックス）、変換パラメータ、量子化パラメータ、ループフィルタパラメータ、及び／又は他のシンタックス要素のいずれか又は全てを取得するように構成されている。エントロピーデコーディングユニット３０４は、エンコーダ２０のエントロピーエンコーディングユニット２７０に関して記載されたエンコーディングスキームに対応するデコーディングアルゴリズム又はスキームを適用するように構成されてよい。エントロピーデコーディングユニット３０４は、インター予測パラメータ、イントラ予測パラメータ、及び／又は他のシンタックス要素をモード選択ユニット３６０に、また他のパラメータをデコーダ３０の他のユニットに提供するようにさらに構成されてよい。ビデオデコーダ３０は、ビデオスライスレベルで及び／又はビデオブロックレベルで、シンタックス要素を受信してよい。
［逆量子化］
逆量子化ユニット３１０は、エンコード済みの画像データ２１から量子化パラメータ（ＱＰ）（又は一般に逆量子化に関連する情報）及び量子化係数を受信する（例えばエントロピーデコーディングユニット３０４によって、例えばパース及び／又はデコードすることによって）とともに、量子化パラメータに基づいて、デコード済みの量子化係数３０９に逆量子化を適用し、変換係数３１１とも称され得る量子化解除係数３１１を取得するように構成されてよい。逆量子化プロセスは、量子化の程度、また同様に適用されるべき逆量子化の程度を決定するために、ビデオスライス内のビデオブロック毎にビデオエンコーダ２０によって決定される量子化パラメータの使用を含んでよい。
［逆変換］
逆変換処理ユニット３１２は、変換係数３１１とも称される量子化解除係数３１１を受信するとともに、サンプル領域における再構成残差ブロック２１３を取得するべく、量子化解除係数３１１に変換を適用するように構成されてよい。再構成残差ブロック２１３は、変換ブロック３１３とも称され得る。変換は、逆変換、例えば、逆ＤＣＴ、逆ＤＳＴ、逆整数変換、又は概念的に同様の逆変換プロセスであってよい。逆変換処理ユニット３１２は、エンコード済みの画像データ２１から変換パラメータ又は対応する情報を受信し（例えばエントロピーデコーディングユニット３０４によって、例えばパース及び／又はデコードすることによって）、量子化解除係数３１１に適用されるべき変換を決定するようにさらに構成されてよい。
［再構成］
再構成ユニット３１４（例えば、加算器又は合算器３１４）は、再構成残差ブロック３１３を予測ブロック３６５に加算し、例えば、再構成残差ブロック３１３のサンプル値と予測ブロック３６５のサンプル値とを加算することによって、サンプル領域における再構成ブロック３１５を取得するように構成されてよい。
［フィルタリング］
ループフィルタユニット３２０（コーディングループ内又はコーディングループの後のいずれかにある）は、例えば、画素遷移を滑らかにするように又はビデオ品質を別様に改善するように、再構成ブロック３１５をフィルタして、フィルタリング済みのブロック３２１を取得するように構成されている。ループフィルタユニット３２０は、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ、又は、１つ又は複数の他のフィルタ、例えば、バイラテラルフィルタ、適応ループフィルタ（ＡＬＦ）、鮮明化、平滑化フィルタ若しくは協調フィルタ、又は、それらの任意の組み合わせ等の、１つ又は複数のループフィルタを備えてよい。ループフィルタユニット３２０が、ループフィルタ内にあるものとして図３に示されているが、他の構成では、ループフィルタユニット３２０はポストループフィルタとして実装されてもよい。
［デコード済みの画像バッファ］
画像のデコード済みのビデオブロック３２１は、その後、デコード済みの画像バッファ３３０に保存され、デコード済みの画像バッファ３３０は、デコード済みの画像３３１を他の画像の後続の動き補償のための及び／又はそれぞれ表示を出力するための参照画像として保存する。
デコーダ３０は、例えば出力３１２を介して、ユーザに提示又は閲覧させるために、デコード済みの画像３１１を出力するように構成されている。
［予測］
インター予測ユニット３４４は、インター予測ユニット２４４（特に、動き補償ユニット）と同一であってよく、イントラ予測ユニット３５４は、インター予測ユニット２５４と機能的に同一であってよく、エンコード済みの画像データ２１から受信（例えば、エントロピーデコーディングユニット３０４によって、例えば、パース及び／又はデコードすることによって）された区分化及び／又は予測パラメータ又はそれぞれの情報に基づいて分割又は区分化の決定及び予測を実行する。モード選択ユニット３６０は、再構成画像、ブロック、又はそれぞれのサンプル（フィルタリング済み又はフィルタリングされていない）に基づいてブロック毎に予測（イントラ又はインター予測）を実行し、予測ブロック３６５を取得するように構成されてよい。
ビデオスライスがイントラコード済み（Ｉ）スライスとしてコードされている場合、モード選択ユニット３６０のイントラ予測ユニット３５４は、シグナリングされたイントラ予測モード及び現在の画像の以前にデコード済みのブロックからのデータに基づいて、現在のビデオスライスの画像ブロックのための予測ブロック３６５を生成するように構成されている。ビデオ画像がインターコード済みの（すなわち、Ｂ又はＰ）スライスとしてコードされている場合、モード選択ユニット３６０のインター予測ユニット３４４（例えば、動き補償ユニット）は、動きベクトル及びエントロピーデコーディングユニット３０４から受信された他のシンタックス要素に基づいて、現在のビデオスライスのビデオブロックのための予測ブロック３６５を生成するように構成されている。インター予測では、予測ブロックは、複数の参照画像リストのうちの１つに含まれる複数の参照画像のうちの１つから生成されてよい。ビデオデコーダ３０は、リスト０及びリスト１という参照フレームリストを、デフォルトの構成技法を用いて、ＤＰＢ３３０に保存された参照画像に基づいて構成してよい。
モード選択ユニット３６０は、動きベクトル及び他のシンタックス要素をパースすることによって、現在のビデオスライスのビデオブロックのための予測情報を決定するように構成され、デコードされている現在のビデオブロックのための予測ブロックを生成するために上記予測情報を用いる。例えば、モード選択ユニット３６０は、受信されたシンタックス要素のいくつかを用いて、ビデオスライスのビデオブロックをコードするのに用いられた予測モード（例えば、イントラ又はインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスのための参照画像リストのうちの１つ若しくは複数に関する構成情報、スライスの各インターエンコード済みのビデオブロック毎の動きベクトル、スライスのインターコード済みのビデオブロック毎のインター予測ステータス、及び現在のビデオスライス内のビデオブロックをデコードするための他の情報を決定する。
ビデオデコーダ３０の他の変形を、エンコード済みの画像データ２１をデコードするのに用いることができる。例えば、デコーダ３０は、ループフィルタリングユニット３２０を用いずに、出力ビデオストリームを生成することができる。例えば、非変換ベースのデコーダ３０は、特定のブロック又はフレームのための逆変換処理ユニット３１２を用いずに、残差信号を直接的に逆量子化することができる。別の実装において、ビデオデコーダ３０は、単一のユニットに組み合わされた逆量子化ユニット３１０及び逆変換処理ユニット３１２を有することができる。
エンコーダ２０及びデコーダ３０において、現在の段階の処理結果は、さらに処理されて、その後、次の段階に出力されてよいことが理解されるべきである。例えば、補間フィルタリング、動きベクトル導出又はループフィルタリングの後に、クリップ又はシフト等の更なる操作を、補間フィルタリング、動きベクトル導出又はループフィルタリングの処理結果に対して実行してよい。
更なる操作を、現在のブロックの導出された動きベクトル（限定しないが、アフィンモードの制御点動きベクトル、アフィン、平面、ＡＴＭＶＰモードにおけるサブブロック動きベクトル、時間的な動きベクトル等を含む）に適用してよいことに留意すべきである。例えば、動きベクトルの値は、その表現ビットに従って予め規定された範囲に制限される。動きベクトルの表現ビットがｂｉｔＤｅｐｔｈである場合、その範囲は、－２＾（ｂｉｔＤｅｐｔｈ－１）～２＾（ｂｉｔＤｅｐｔｈ－１）－１であり、ここで、「＾」はべき乗を意味する。例えば、ｂｉｔＤｅｐｔｈが１６に等しく設定されている場合、その範囲は－３２７６８～３２７６７であり、ｂｉｔＤｅｐｔｈが１８に等しく設定されている場合、その範囲は－１３１０７２～１３１０７１である。以下、動きベクトルを制限する２つの方法を提供する。
方法１：以下の操作により、オーバフローＭＳＢ（最上位ビット）を除去する。
Figure 2023134576000002
例えば、式（１）及び（２）の適用後、ｍｖｘの値が－３２７６９である場合、結果として得られる値は３２７６７である。コンピュータシステムにおいて、十進数は、２の補数として保存される。 －３２７６９の２の補数は、１，０１１１，１１１１，１１１１，１１１１（１７ビット）であり、その後、ＭＳＢは破棄されるので、結果として得られる２の補数は、０１１１，１１１１，１１１１，１１１１（十進数は３２７６７）である。これは、式（１）及び（２）を適用することによる出力と同じである。
Figure 2023134576000003
操作は、式（５）～（８）に示すように、ｍｖｐ及びｍｖｄの合計中に適用されてよい。
方法２：値をクリップすることによって、オーバフローＭＳＢを除去する。
Figure 2023134576000004
 関数Ｃｌｉｐ３の定義は次のとおりである：
Figure 2023134576000005
図４は、本開示の一実施形態に係るビデオコーディングデバイス４００の概略図である。ビデオコーディングデバイス４００は、本明細書に記載の開示される実施形態を実施するのに好適なものである。一実施形態において、ビデオコーディングデバイス４００は、図１Ａのビデオデコーダ３０等のデコーダ、又は、図１Ａのビデオエンコーダ２０等のエンコーダであってよい。
ビデオコーディングデバイス４００は、データを受信するための入口ポート４１０（又は、入力ポート４１０）及び受信器ユニット（Ｒｘ）４２０と、データを処理するためのプロセッサ、ロジックユニット、又は中央演算処理装置（ＣＰＵ）４３０と、データを送信するための送信器ユニット（Ｔｘ）４４０及び出口ポート４５０（又は出力ポート４５０）と、データを保存するためのメモリ４６０とを備える。ビデオコーディングデバイス４００は、入口ポート４１０、受信器ユニット４２０、送信器ユニット４４０、及び、光又は電気信号の出入りのための出口ポート４５０に連結されている、光／電気（ＯＥ）構成要素及び電気／光（ＥＯ）構成要素を備えてもよい。
プロセッサ４３０は、ハードウェア及びソフトウェアによって実施される。プロセッサ４３０は、１つ又は複数のＣＰＵチップ、コア（例えば、マルチコアプロセッサとして）、ＦＰＧＡ、ＡＳＩＣ、及びＤＳＰとして実施されてよい。プロセッサ４３０は、入口ポート４１０、受信器ユニット４２０、送信器ユニット４４０、出口ポート４５０、及びメモリ４６０と通信する。プロセッサ４３０は、コーディングモジュール４７０を備える。コーディングモジュール４７０は、上述した開示される実施形態を実施する。例えば、コーディングモジュール４７０は、様々なコーディング操作を実施、処理、準備、又は提供する。したがって、コーディングモジュール４７０を含むことにより、ビデオコーディングデバイス４００の機能のかなりの改善が提供され、ビデオコーディングデバイス４００の異なる状態への変換がもたらされる。代替的には、コーディングモジュール４７０は、メモリ４６０に保存され、プロセッサ４３０によって実行される命令として実装される。
メモリ４６０は、１つ又は複数のディスク、テープドライブ、及びソリッドステートドライブを備えてよく、プログラムが実行のために選択された場合に係るプログラムを保存するとともに、プログラムの実行中に読み取られる命令及びデータを保存するために、オーバフローデータストレージデバイスとして使用されてよい。メモリ４６０は、例えば、揮発性及び／又は不揮発性であってよく、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、三値連想メモリ（ＴＣＡＭ）、及び／又は、スタティックランダムアクセスメモリ（ＳＲＡＭ）であってよい。
図５は、例示的な実施形態に係る図１Ａによるソースデバイス１２及びデスティネーションデバイス１４のいずれか又は両方として使用されてよい装置５００の概略ブロック図である。
装置５００におけるプロセッサ５０２は、中央演算処理装置とすることができる。代替的には、プロセッサ５０２は、現在既存の又は今後開発される情報の操作又は処理が可能な任意の他のタイプのデバイス、又は複数のデバイスとすることができる。開示の実装は、図示のような単一のプロセッサ、例えばプロセッサ５０２で実施できるが、１つより多いプロセッサを用いれば、速度及び効率の利益を実現できる。
装置５００におけるメモリ５０４は、一実装において、リードオンリメモリ（ＲＯＭ）デバイス又はランダムアクセスメモリ（ＲＡＭ）デバイスとすることができる。任意の他の好適なタイプのストレージデバイスを、メモリ５０４として使用できる。メモリ５０４は、バス５１２を用いてプロセッサ５０２によってアクセスされるコード及びデータ５０６を備えることができる。メモリ５０４は、オペレーティングシステム５０８及びアプリケーションプログラム５１０をさらに備えることができ、アプリケーションプログラム５１０は、プロセッサ５０２が本明細書に記載の方法を実行することを可能にする少なくとも１つのプログラムを含む。例えば、アプリケーションプログラム５１０は、アプリケーション１～Ｎを含むことができ、アプリケーション１～Ｎは、本明細書に記載の方法を実行するビデオコーディングアプリケーションをさらに含む。
装置５００は、ディスプレイ５１８等の、１つ又は複数の出力デバイスも備えることができる。ディスプレイ５１８は、一例において、ディスプレイと、タッチ入力を検知するように動作可能なタッチセンサ素子とを組み合わせたタッチセンサ式ディスプレイであってよい。ディスプレイ５１８は、バス５１２を介してプロセッサ５０２に連結することができる。
単一のバスとして本明細書に示したが、装置５００のバス５１２は、複数のバスから構成することができる。さらに、セカンダリストレージ５１４は、装置５００の他の構成要素に直接連結でき、又は、ネットワークを介してアクセスでき、メモリカード等の単一の一体型ユニット又は複数のメモリカード等の複数のユニットを含むことができる。したがって、装置５００は、多種多様な構成で実施することができる。
アフィン予測における動きベクトルの中間値の計算によって導出されたＭＶの精度は、ピクセル長において１／４から１／１６まで増加した。精度のこのような増加により、動きベクトルフィールドのためのメモリ保存容量が、動きベクトル成分毎に最大１８ビットになる。ビデオコーデックの開発中、各ＭＶは４×４画素の粒度で保存された。動きベクトル情報を保存するためのメモリ容量を低減させるために、その後いくつかの試みが成された。グリッドサイズ８ｘ８への粒度の低減に関する提案の１つが採用された。動きベクトル成分値からのＭＳＢ（最上位ビット）の単純な除去による、ＭＶ精度（時間的なＭＶストレージ若しくはローカルラインバッファ、又はその両方）を低減させる別の試みが、［ＪＶＥＴ－Ｌ０１６８］において成され、これは、大サイズの画像及び３６０°ビデオの予測及び圧縮の効率を低減させる可能性のあるｍｖ表現範囲の低減をもたらした。１／１６の精度の動きベクトルのこのような１６ビット表現は、８Ｋ又はより高解像度のビデオコーディングには十分でない。２つの他の解決手段は、水平及び垂直方向の両方についてのＭＶ成分からのＬＳＢの除去を提案するものであり、シグナリングのための追加の１ビットでＭＳＢ／ＬＳＢを適応的に除去することが試みられた。
本発明の目的は、時間的な動きベクトル予測を導出するための情報を保存する際に、動きベクトル表現及び精度を妥当な範囲に維持しながらメモリ容量を低減させ得る解決手段／方法及びデバイスを提供することである。精度を妥当な範囲に維持することは、表現の或る程度の歪みをもたらす精度の或る程度の減少を意味する。したがって、浮動小数点表現への変換の結果は、ＭＶの歪められた／量子化された／丸められた値である。
現在利用可能な解決手段は、参照フレームで保存される各ＭＶ成分の１８ビット値で操作する（図６、上部）。これは、ＨＷに関しては１２．５％、ＳＷに関しては１００％の、ＭＶの保存のためのメモリ増加をもたらす。本発明は、参照フレーム内で保存されるＭＶ成分値の、１８ビットではなく１６ビットの二進浮動小数点表現を使用することを提案する。しかしながら、１６ビットの浮動小数点表現は一例であり、本発明は、１６より少ないビットでの表現（例えば、１０ビット表現）も含む。また、ＭＳＢが浮動小数の指数部として使用される実施形態１については、画像解像度が小さい場合、現在の解決手段に対してコーデック処理に変化はない。
本発明の基本概念は、参照フレーム内で保存されるＭＶ成分値の、１８ビットではなく１６ビットの二進浮動小数点表現である。
ＭＶ表現及び精度を妥当な範囲に維持しながら、時間的なＭＶを保存するメモリ容量を低減させる。
上記の課題を解決するべく、それぞれ個々に適用もできるし、一部を組み合わせても適用できる、以下の発明の態様が開示される。 １． ＭＶ成分の二進浮動小数点表現を使用する。 方法Ａ．指数部は３ビットであり得、これにより、１／１６（ＭＶ長に関しては最大２５６画素）から８画素（ＭＶ長に関しては最大３２Ｋ）の異なる精度のＭＶ表現を有することが可能になる 方法Ｂ．別の可能な実装は指数部について２ビットを示唆し、これにより、ビット最大ＭＶ長は５１２（１／１６のＭＶ精度に関して）及び８Ｋ画素（１画素に等しいＭＶ精度に関して）まで低下させる。 ２． 二進浮動小数点表現は、２つの可能な実装において表現され得る（例における３ビットが指数部に使用される）： 方法Ａ．ＭＶ成分値 図６のＭＳＢにおける指数ビット。以下のＭＶ復元段階（例えば、Ｘ成分に関する）を伴う：
ｉ． シフト＝ＭＶｘ＞＞１３ ｉｉ． Ｍｖｘ＝ＭＶｘ＆０ｘ０１ＦＦＦ ｉｉｉ． Ｍｖｘ＜＜＝シフト 方法Ｂ．ＭＶ成分値 図７のＬＳＢにおける指数ビット。以下のＭＶ復元段階（例えばＸ成分に関する）を伴う：
ｉ． シフト＝ＭＶｘ＆０ｘ０３ ｉｉ． Ｍｖｘ＝ＭＶｘ＞＞３ ｉｉｉ． Ｍｖｘ＜＜＝シフト ３．提案されたアプローチは、以下によってＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ内でのこのモードの使用を示しながら条件に応じて使用され得る： 方法Ａ．ＭＶの浮動小数点表現又はＨＥＶＣ１６ビット表現の使用を示す特別なフラグ 方法Ｂ．ＭＶ値の指数部のビット数 ４．以下に応じて指数部のサイズを適応的に変化させる： 方法Ａ．画像解像度 ｉ．ｗ＜２Ｋ且つｈ＜２Ｋの場合：ｅｘｐ＿ｓｉｚｅは、０として導出される（シグナリングされない） ｉｉ．ｗ＜４Ｋ且つｈ＜４Ｋの場合：シフト値のための１ビットをシグナリングする ｉｉｉ．そうでない場合、シフト値のための２ビットをシグナリングする 方法Ｂ．ＣＴＵ／ＣＵ／ブロック／ユニットレベルの指数部サイズでシグナリングされる 方法Ｃ．動き制限タイルセット（ＭＣＴＳ）内の使用 ｉ．この場合、タイルセットサイズは、本発明の態様４）．ａのような小タイルセット解像度の浮動小数点ＭＶ表現の使用を強力に制限し得る ５．ＭＶの垂直成分及び水平成分は、独立したサイズの指数部を有し得る。 ６．ベクトル成分（ｍｅａｎＭＶｘ、ｍｅａｎＭＶｙ）の平均値が、同じＣＴＵ／ＣＵ／ブロック／ユニットに属する各ＭＶの同じ成分の値から除去される、可能な解決手段の１つ。 方法Ａ．両方の構成要素の平均値が、各ＣＴＵ／ＣＵ／ブロック／ユニット毎に別個に保存される。ＭＶは、ＭＶｘ＝ｍｅａｎＭＶｘ＋Ｍｖｘ（ｉ，ｊ），ＭＶｙ＝ｍｅａｎＭＶｙ＋Ｍｖｙ（ｉ，ｊ）として導出される 方法Ｂ．両方の成分の平均値が、各ＣＴＵ／ＣＵ／ブロック／ユニットのサブユニットの１つに保存される（左上、例えばｉ＝０，ｊ＝０）。（ｉ！＝０及びｊ！＝０）且つｍｅａｎＭＶｘ＝ＭＶｘ（０，０），ｍｅａｎＭＶｙ＝ＭＶｙ（０，０）の場合、ＭＶは、ＭＶｘ＝ｍｅａｎＭＶｘ＋Ｍｖｘ（ｉ，ｊ），ＭＶｙ＝ｍｅａｎＭＶｙ＋Ｍｖｙ（ｉ，ｊ）として導出される。 方法Ｃ．ここで、２つの上記の解決手段（６）．ａ及び６）．ｂ）は、ｍｅａｎＭＶｘ及びｍｅａｎＭＶｙが以下で表現される： ｉ．二進浮動１６ビット（解決手段１）．ａ） ｉｉ．整数（１６ビット）
さらに、本発明は、参照フレーム内に保存されるＭＶ成分値の、１８ビットではなく１６ビットの二進表現の使用を提案し、ここで、１６ビット値は、１８ビット値から、ビットストリーム内でシグナリングされた値に応じて２のＬＳＢ（最下位ビット）又は２のＭＳＢ（最上位ビット）を除去することによって取得できる。シグナリングは、［ＪＶＥＴ－Ｌ０１６８］に記載のような予め規定されたシグナリングメカニズムによるものとすることができる。
ＭＶ表現及び精度を妥当な範囲に維持しながら時間的なＭＶを保存するためのメモリ容量を低減する。
上記の課題を解決するべく以下の発明の態様が開示され、そのそれぞれは個々に適用できるし、そのいくつかは組み合わせて適用できる。 ７．動きバッファにＭＶをセーブする前に、ＭＶ成分は、ビットストリーム内でシグナリングされた値に応じて以下の方法の１つを用いて、１８ビット二進表現から１６ビット表現に変換される。 方法Ａ．（図８に示すように）２だけの算術右シフトによって、２のＬＳＢを除去する 方法Ｂ．（図９に示すように）（例えば、範囲［－２１５，２１５‐１］にクリップすることによって）２のＭＳＢを除去する。 ＭＶ成分の復元（１６ビットから１８ビット二進表現への変換）は、以下の規則を用いて実行される：
●方法Ａが使用される場合、１８ビット値は、２だけの左算術シフトによって１６ビット値から取得される；
●方法Ｂが使用される場合、１８ビット値は、２のＭＳＢ（１７番目及び１８番目のビット）を、正の値では０に、又は、負の値では１に設定することによって１６ビット値から取得される。 ８．１６ビット二進表現は、現在の画像の動き情報を保存するために使用されない、態様７。この場合、１６ビット二進表現におけるＭＶは、例えば、ＴＭＶＰ（時間的な動きベクトル予測）及び／又はＡＴＭＶＰ（代替の時間的な動きベクトル予測）に使用される。 ９．ＭＶ成分の１８ビットから１６ビット二進表現への変換方法（方法Ａ又は方法Ｂ）は、フレーム毎にビットストリーム内でシグナリングされる、態様８。 １０．ＭＶ成分の１８ビットから１６ビット二進表現への変換方法（方法Ａ又は方法Ｂ）は、タイル毎にビットストリーム内でシグナリングされる、態様８。 １１．ＭＶ成分の１８ビットから１６ビット二進表現への変換方法（方法Ａ又は方法Ｂ）は、タイルのグループ毎にビットストリーム内でシグナリングされる、態様８。 １２．ＭＶ成分の１８ビットから１６ビット二進表現への変換方法（方法Ａ又は方法Ｂ）は、スライス毎にビットストリーム内でシグナリングされる、態様８。 １３．１８ビットから１６ビットへの変換方法（方法Ａ又は方法Ｂ）は、特別なフラグによってＳＰＳ／ＰＰＳ／スライスヘッダ／タイルグループヘッダ内でシグナリングされる、態様７～１２。 １４． ＭＶ成分の１８ビットから１６ビット二進表現への変換方法は、以下に基づいて適応的に選択される、態様７～８： ａ．画像解像度 ｉ．ｗ＜２Ｋ且つｈ＜２Ｋである場合：方法Ｂが用いられる（シグナリング無し）
ｉｉ．そうでない場合、方法Ａ又はＢを用いるかに関わらず、１ビットをシグナリングする ｂ．ＣＴＵ／ＣＵ／ブロック／ユニットレベルでシグナリングされる ｃ．動き制限タイルセット（ＭＣＴＳ）内での使用 ｉ．この場合、タイルセットサイズは、小タイルセット解像度に関して方法Ｂの使用を強力に制限し得る １５． ＭＶの垂直成分及び水平成分は、独立したシグナリングを有し得る。
図１０は、本発明に係る包括的な動きベクトル圧縮方法のフロー図を示している。方法は、時間的な動きベクトルを取得する段階１０１と、時間的な動きベクトルの二進表現を用いて圧縮された動きベクトルを決定する段階１０２であって、二進表現は、指数部及び／又は仮数部を含み、指数部はＮビットを含み、仮数部はＭビットを含み、Ｎは非負の整数であり、Ｍは正の整数である、段階と、圧縮された動きベクトルを用いて、時間的な動きベクトル予測（ＴＭＶＰ）を実行する段階１０３と、を含む。
本願の実施形態は、主にビデオコーディングに基づいて記載されているが、本明細書に記載のコーディングシステム１０、エンコーダ２０、及びデコーダ３０（及び対応してシステム１０）の実施形態、並びに他の実施形態は、静止画像処理又はコーディング、すなわち、ビデオコーディングにおけるような任意の前の又は連続する画像とは独立した個々の画像の処理又はコーディングのために構成されてもよいことに留意すべきである。一般に、画像処理コーディングが単一の画像１７に限定される場合、インター予測ユニット２４４（エンコーダ）及び３４４（デコーダ）だけは利用可能でなくてよい。ビデオエンコーダ２０及びビデオデコーダ３０の全ての他の機能（ツール又は技術とも称される）は、静止画像処理、例えば、残差計算２０４／３０４、変換２０６、量子化２０８、逆量子化２１０／３１０、（逆）変換２１２／３１２、区分化２６２／３６２、イントラ予測２５４／３５４、及び／又はループフィルタリング２２０、３２０、並びにエントロピーコーディング２７０及びエントロピーデコーディング３０４に等しく用いられ得る。
例えばエンコーダ２０及びデコーダ３０の実施形態、並びに、例えばエンコーダ２０及びデコーダ３０を参照して本明細書に記載された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実施されてよい。ソフトウェアにおいて実施される場合、機能は、コンピュータ可読媒体上に保存されるか、又は、通信媒体を介して１つ又は複数の命令若しくはコードとして送信され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、データ記憶媒体等の有形の媒体に対応するコンピュータ可読記憶媒体、又は、例えば通信プロトコルに従った、コンピュータプログラムの１つの場所から別の場所への移動を容易にする任意の媒体を含む通信媒体を含んでよい。このように、コンピュータ可読媒体は、一般に、（１）非一時的な有形コンピュータ可読記憶媒体、又は、（２）信号若しくは搬送波等の通信媒体に対応してよい。データ記憶媒体は、本開示に記載された技術の実装のための命令、コード、及び／又はデータ構造を取得するために、１つ若しくは複数のコンピュータ又は１つ若しくは複数のプロセッサによってアクセスできる任意の利用可能な媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでよい。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、フラッシュメモリ、又は、命令若しくはデータ構造の形の所望のプログラムコードを保存するのに使用でき、コンピュータによってアクセスできる、任意の他の媒体を含むことができる。また、任意の接続が、適宜コンピュータ可読媒体と称される。例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、又は、赤外線、無線、及びマイクロ波等の無線技術を用いて、ウェブサイト、サーバ、又は他のリモートソースから命令が送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、又は、赤外線、無線、及びマイクロ波等の無線技術が媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まず、その代わりに、非一時的な有形の記憶媒体を指すことが理解されるべきである。本明細書で使用されるディスク（Ｄｉｓｋ ａｎｄ ｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザディスク、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピディスク、及びブルーレイディスクを含み、ここで、通例、ディスク（ｄｉｓｋ）はデータを磁気的に再現するものであり、ディスク（ｄｉｓｃ）はデータをレーザによって光学的に再現するものである。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、又は他の等価な一体型若しくはディスクリートロジック回路等の１つ又は複数のプロセッサによって実行されてよい。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれか、又は、本明細書に記載の技術の実装に好適な任意の他の構造を指してよい。加えて、いくつかの態様では、本明細書に記載の機能は、エンコーディング及びデコーディングのために構成されている専用ハードウェア及び／又はソフトウェアモジュール内に提供されるか、又は、組み合わされたコーデックに組み込まれてよい。また、本技術は、１つ若しくは複数の回路又はロジック要素において完全に実施することができる。
本開示の技術は、無線ハンドセット、集積回路（ＩＣ）又はＩＣのセット（例えば、チップセット）を含む、多種多様なデバイス又は装置において実施してよい。様々な構成要素、モジュール、又はユニットが、開示された技術を実行するように構成されているデバイスの機能的態様を強調するように本開示において記載されているが、異なるハードウェアユニットによる実現は必ずしも要求されない。むしろ、上述したように、好適なソフトウェア及び／又はファームウェアと連動して、様々なユニットがコーデックハードウェアユニットにして組み合わされるか、又は、上述したように、１つ又は複数のプロセッサを含む相互運用ハードウェアユニットの集合によって提供されてよい。
参考として、以下の論理的演算子が次のように定義される：
ｘ＆＆ｙ ｘ及びｙのブール論理上の「ａｎｄ」
ｘ｜｜ｙ ｘ及びｙのブール論理上の「ｏｒ」
！ ブール論理上の「ｎｏｔ」
ｘ？ｙ：ｚ ｘが真であるか又は０に等しくない場合、ｙの値になり、そうでない場合、ｚの値になる。
参考のために、以下の関係演算子を次のように定義する：
＞ より大きい
＞＝ 以上
＜ より小さい
＜＝ 以下
＝ ＝ に等しい
！＝ に等しくない
関係演算子が、値「ｎａ」（非該当）をアサインされているシンタックス要素又は変数に適用される場合、値「ｎａ」は、そのシンタックス要素又は変数の区別的な値として扱われる。値「ｎａ」は、任意の他の値に等しくないとみなされる。
参考として、以下のビット単位演算子が次のように定義される。
＆ ビット単位の「ａｎｄ」。整数項に対して演算を行う場合、整数値の２の補数表現に対して演算を行う。別の項より少ないビットを含む二進項に対して演算を行う場合、そのより短い項は、０に等しいより上位のビットを追加することによって拡張される。
｜ ビット単位の「ｏｒ」。整数項に対して演算を行う場合、整数値の２の補数表現に対して演算を行う。別の項より少ないビットを含む二進項に対して演算を行う場合、そのより短い項は、０に等しいより上位のビットを追加することによって拡張される。
＾ ビット単位の「排他的ｏｒ」。整数項に対して演算を行う場合、整数値の２の補数表現に対して演算を行う。別の項より少ないビットを含む二進項に対して演算を行う場合、そのより短い項は、０に等しいより上位のビットを追加することによって拡張される。
ｘ＞＞ｙ ｙの二進数だけの、ｘの２の補数整数表現の算術右シフト。この関数は、ｙの非負の整数値に関してのみ定義される。右シフトの結果として最上位ビット（ＭＳＢ）にシフトされたビットは、シフト操作前のｘのＭＳＢに等しい値を有する。
ｘ＜＜ｙ ｙの二進数だけの、ｘの２の補数整数表現の算術左シフト。この関数は、ｙの非負の整数値に関してのみ定義される。左シフトの結果として最下位ビット（ＬＳＢ）にシフトされたビットは、０に等しい値を有する。要約すると、本開示は、時間的な動きベクトルを取得する段階と、指数部及び／又は仮数部を含む時間的な動きベクトルの二進表現を用いて圧縮された動きベクトルを決定する段階であって、指数部はＮビットを含み、仮数部はＭビットを含み、Ｎは非負の整数であり、Ｍは正の整数である、段階と、圧縮された動きベクトルを用いて、時間的な動きベクトル予測（ＴＭＶＰ）を実行する段階と、を含む、動きベクトル圧縮方法を提供する。

Claims (11)

  1. １８ビットの時間的な動きベクトルを取得する段階と、
    少なくとも一つの前記時間的な動きベクトルの二進表現を用いて圧縮された動きベクトルを決定する段階であって、前記圧縮された時間的な動きベクトルの二進表現は指数部又は仮数部を含み、前記指数部はＮビットを含み、前記仮数部はＭビットを含み、Ｎは非負の整数であり、Ｍは正の整数であり、前記圧縮された時間的な動きベクトルの前記二進表現は１０ビットである、段階と、
    前記圧縮された動きベクトルを用いて、時間的な動きベクトル予測（ＴＭＶＰ）を実行する段階と、
    を含む、動きベクトル圧縮方法。
  2. 前記時間的な動きベクトルは、動きベクトル水平成分と動きベクトル垂直成分とを含む、請求項１に記載の動きベクトル圧縮方法。
  3. Ｎの値を決定する段階を含む、請求項１または２に記載の動きベクトル圧縮方法。
  4. Ｍが６であり、Ｎが４である、請求項１から３のいずれか一項に記載の動きベクトル圧縮方法。
  5. 請求項１～４のいずれか一項に記載の動きベクトル圧縮方法を実行するように構成されている回路を備える、デコーダ。
  6. 請求項１～４のいずれか一項に記載の動きベクトル圧縮方法を実行するように構成されている回路を備える、エンコーダ。
  7. 現在のブロックをエンコードするためのエンコーディング装置であって、前記エンコーディング装置は請求項１から４のいずれか一項に記載の動きベクトル圧縮を含む、エンコーディング装置。
  8. 受信されたビットストリームから現在のブロックをデコードするためのデコーディング装置であって、前記デコーディング装置は請求項１から４のいずれか一項に記載の動きベクトル圧縮を含む、デコーディング装置。
  9. コンピュータ又はプロセッサで実行される場合に、請求項１から４のいずれか一項に記載の動きベクトル圧縮方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
  10. 請求項１から４のいずれか一項に記載の動きベクトル圧縮方法によってエンコード又はデコードされたビットストリームを含む、コンピュータ可読媒体。
  11. デコーダによって使用されるデータ構造であって、前記データ構造は、請求項１から４のいずれか一項に記載の動きベクトル圧縮方法を実行することによってデコードされたビットストリームを含む、データ構造。
JP2023111308A 2018-12-29 2023-07-06 コンパクトなｍｖストレージを用いるエンコーダ、デコーダ、及び対応する方法 Pending JP2023134576A (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862786344P 2018-12-29 2018-12-29
US201862786343P 2018-12-29 2018-12-29
US62/786,343 2018-12-29
US62/786,344 2018-12-29
PCT/RU2019/050260 WO2020139172A1 (en) 2018-12-29 2019-12-27 An encoder, a decoder and corresponding methods using compact mv storage
JP2021517443A JP2022515003A (ja) 2018-12-29 2019-12-27 コンパクトなｍｖストレージを用いるエンコーダ、デコーダ、及び対応する方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021517443A Division JP2022515003A (ja) 2018-12-29 2019-12-27 コンパクトなｍｖストレージを用いるエンコーダ、デコーダ、及び対応する方法

Publications (1)

Publication Number Publication Date
JP2023134576A true JP2023134576A (ja) 2023-09-27

Family

ID=71126464

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021517443A Pending JP2022515003A (ja) 2018-12-29 2019-12-27 コンパクトなｍｖストレージを用いるエンコーダ、デコーダ、及び対応する方法
JP2023111308A Pending JP2023134576A (ja) 2018-12-29 2023-07-06 コンパクトなｍｖストレージを用いるエンコーダ、デコーダ、及び対応する方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021517443A Pending JP2022515003A (ja) 2018-12-29 2019-12-27 コンパクトなｍｖストレージを用いるエンコーダ、デコーダ、及び対応する方法

Country Status (12)

Country Link
US (2) US11818357B2 (ja)
EP (1) EP3844960A4 (ja)
JP (2) JP2022515003A (ja)
KR (1) KR20210064332A (ja)
CN (6) CN115209144B (ja)
AU (2) AU2019415789A1 (ja)
BR (3) BR112021009911A2 (ja)
CA (1) CA3114341C (ja)
CL (1) CL2021001707A1 (ja)
MX (1) MX2021007840A (ja)
WO (1) WO2020139172A1 (ja)
ZA (1) ZA202102379B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118175299A (zh) * 2018-04-02 2024-06-11 Lg电子株式会社 解码设备、编码设备和发送设备
CN112911308B (zh) * 2021-02-01 2022-07-01 重庆邮电大学 一种h.266/vvc的快速运动估计方法及存储介质
CN114040027B (zh) * 2021-10-29 2023-11-24 深圳智慧林网络科技有限公司 一种基于双模式的数据压缩方法、装置和数据解压方法
TWI829589B (zh) * 2023-05-08 2024-01-11 威盛電子股份有限公司 影像處理裝置及其方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088776B2 (en) * 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
GB2401502B (en) * 2003-05-07 2007-02-14 British Broadcasting Corp Data processing
CN101221490B (zh) * 2007-12-20 2010-11-10 清华大学 一种具有数据前送结构的浮点乘加单元
KR101377530B1 (ko) * 2009-08-21 2014-03-27 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
US9148666B2 (en) 2011-02-09 2015-09-29 Lg Electronics Inc. Method for storing motion information and method for inducing temporal motion vector predictor using same
EP2993905B1 (en) * 2011-02-21 2017-05-24 Dolby Laboratories Licensing Corporation Floating point video coding
CN107529708B (zh) * 2011-06-16 2019-05-07 Ge视频压缩有限责任公司 解码器、编码器、解码和编码视频的方法及存储介质
EP2811743B1 (en) * 2012-02-03 2021-03-03 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device
AU2013261845A1 (en) * 2012-05-14 2014-12-11 Guido MEARDI Encoding and reconstruction of residual data based on support information
US20140355665A1 (en) * 2013-05-31 2014-12-04 Altera Corporation Adaptive Video Reference Frame Compression with Control Elements
US9451254B2 (en) 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
WO2015052064A1 (en) * 2013-10-07 2015-04-16 Thomson Licensing Method for coding and decoding floating data of an image block and associated devices
US10305980B1 (en) * 2013-11-27 2019-05-28 Intellectual Property Systems, LLC Arrangements for communicating data in a computing system using multiple processors
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US10297001B2 (en) * 2014-12-26 2019-05-21 Intel Corporation Reduced power implementation of computer instructions
US10114554B1 (en) * 2015-01-20 2018-10-30 Intellectual Property Systems, LLC Arrangements for storing more data in faster memory when using a hierarchical memory structure
US9851945B2 (en) * 2015-02-16 2017-12-26 Advanced Micro Devices, Inc. Bit remapping mechanism to enhance lossy compression in floating-point applications
CN108293131B (zh) * 2015-11-20 2021-08-31 联发科技股份有限公司 基于优先级运动矢量预测子推导的方法及装置
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
EP3466079B1 (en) * 2016-05-24 2023-07-12 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content
CN118175299A (zh) 2018-04-02 2024-06-11 Lg电子株式会社 解码设备、编码设备和发送设备
WO2020060163A1 (ko) * 2018-09-17 2020-03-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP4266687A1 (en) * 2018-11-16 2023-10-25 Sharp Kabushiki Kaisha Methods for deriving a motion vector prediction in video coding

Also Published As

Publication number Publication date
CN115348449B (zh) 2024-05-17
KR20210064332A (ko) 2021-06-02
AU2019415789A1 (en) 2021-05-06
WO2020139172A1 (en) 2020-07-02
CN114979638A (zh) 2022-08-30
CL2021001707A1 (es) 2021-12-17
EP3844960A1 (en) 2021-07-07
CN115209144B (zh) 2024-01-02
US11818357B2 (en) 2023-11-14
MX2021007840A (es) 2021-08-11
CN115426494A (zh) 2022-12-02
CN115348449A (zh) 2022-11-15
CA3114341A1 (en) 2020-07-02
CN112913236B (zh) 2022-05-31
CN114885166A (zh) 2022-08-09
EP3844960A4 (en) 2021-12-15
AU2022271494A1 (en) 2022-12-22
CN115426494B (zh) 2024-05-17
CA3114341C (en) 2023-10-17
CN114885166B (zh) 2024-04-12
CN115209144A (zh) 2022-10-18
US20240040126A1 (en) 2024-02-01
US20210321113A1 (en) 2021-10-14
CN112913236A (zh) 2021-06-04
BR122023021045A2 (pt) 2024-02-27
BR112021009911A2 (pt) 2021-08-17
ZA202102379B (en) 2024-02-28
BR122023021035A2 (pt) 2024-02-27
JP2022515003A (ja) 2022-02-17

Similar Documents

Publication Publication Date Title
JP7239697B2 (ja) エンコーダ、デコーダ、インター予測のための対応する方法
JP7529349B2 (ja) エンコーダ、デコーダ、および対応するイントラ予測方法
JP7205038B2 (ja) 任意のｃｔｕサイズのためのｉｂｃ検索範囲最適化を用いるエンコーダ、デコーダおよび対応する方法
JP2023134576A (ja) コンパクトなｍｖストレージを用いるエンコーダ、デコーダ、及び対応する方法
JP2024026231A (ja) イントラ予測モードに関連するエンコーダ、デコーダ、および対応する方法
JP2023162243A (ja) Ｄｃｔ２が有効である高レベルフラグを使用するエンコーダ、デコーダ及び対応する方法
JP7521050B2 (ja) イントラ予測のためのイントラモードコーディングを使用するエンコーダ、デコーダ、および対応する方法
KR20220024900A (ko) 비선형 적응 루프 필터의 클리핑 레벨
RU2771925C1 (ru) Кодер, декодер и соответствующие способы с использованием компактного mv хранилища
RU2783385C2 (ru) Кодер, декодер и соответствующие способы с использованием компактного mv хранилища
RU2801589C2 (ru) Кодер, декодер и соответствующие способы, использующие высокоуровневый флаг разрешения dct2
KR20210122800A (ko) 인트라 서브 파티션 코딩 모드 도구로부터 서브 파티션의 크기를 제한하는 인코더, 디코더 및 대응하는 방법
CN113994683A (zh) 用于色度量化控制的编码器、解码器和对应方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230803