JP2017537518A - グラフテンプレートから誘導された変換を用いてビデオ信号をデコーディング／エンコーディングする方法及び装置 - Google Patents
グラフテンプレートから誘導された変換を用いてビデオ信号をデコーディング／エンコーディングする方法及び装置 Download PDFInfo
- Publication number
- JP2017537518A JP2017537518A JP2017522371A JP2017522371A JP2017537518A JP 2017537518 A JP2017537518 A JP 2017537518A JP 2017522371 A JP2017522371 A JP 2017522371A JP 2017522371 A JP2017522371 A JP 2017522371A JP 2017537518 A JP2017537518 A JP 2017537518A
- Authority
- JP
- Japan
- Prior art keywords
- template
- graph
- unit
- target unit
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000009466 transformation Effects 0.000 title claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims description 67
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000013139 quantization Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 18
- 239000000523 sample Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000001914 filtration Methods 0.000 description 13
- 238000007906 compression Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 239000013074 reference sample Substances 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本発明は、グラフ基盤変換を用いてビデオ信号をデコーディングする方法であって、前記ビデオ信号からターゲットユニットに対するテンプレートインデックス（template index）を受信するステップであって、前記テンプレートインデックスは前記ターゲットユニットに適用されるグラフ基盤変換テンプレートを指す、ステップと、前記テンプレートインデックスに対応する前記ターゲットユニットのグラフ基盤変換行列を誘導するステップと、前記グラフ基盤変換行列に基づいて前記ターゲットユニットをデコーディングするステップと、を含むことを特徴とする方法を提供する。【選択図】 図１２
Description
本発明はグラフ基盤変換（graph-based transform）を用いてビデオ信号をエンコーディング、デコーディングする方法及び装置に関し、より詳しくは、グラフテンプレートに基づいて適応的な変換を遂行する技術に関する。
次世代のビデオコンテンツは、高解像度（high spatial resolution）、高フレーム率（high frame rate）、及び映像表現の高次元化（high dimensionality of scene representation）という特徴を有するようになる。そのようなコンテンツを処理するためには、メモリ格納（memory storage）、メモリアクセス率（memory access rate）、及び処理電力（processing power）の面でおびただしい増加をもたらす。したがって、次世代のビデオコンテンツをより効率良く処理するためのコーディングツールをデザインする必要がある。
特に、グラフはピクセル間の関係情報を記述することに有用なデータ表現形態であって、このようなピクセル間の関係情報をグラフで表現して処理するグラフ基盤信号処理方式が活用されている。このようなグラフ基盤信号処理は、各信号サンプルが頂点（vertex）を示し、信号の関係が正の重み付け値を有するグラフエッジで示されるグラフを使用してサンプリング、フィルタリング、変換などの概念を一般化することができる。
したがって、より効率の良いグラフ基盤の信号処理方法がビデオ圧縮分野だけでなく、多くの応用分野で求められる。
ビデオコーディング方法は、圧縮向上のためにビデオデータに対する幾つかの形態の線形変換を用いる。従来は計算的な複雑度の制限により、ビデオコーディング方法はＤＣＴ、ＤＷＴ、またはハダマード変換のような唯１つの変換のみを用いた。しかしながら、ビデオシーケンスの他の部分で信号の特定統計的特性に適合するように、より多い一般的な線形変換を用いることによって、より良いビデオ圧縮を遂行することができる。一般に、直交変換を用いるコーディングの場合、それを表現するためのビット費用が高く、変換係数を転送するビットレートオーバーヘッドが遥かに大きいという問題点がある。
したがって、本発明ではグラフ基盤信号処理技術を用いて間接的に直交変換を定義することによって、この問題を解決しようとする。
本発明は、グラフ基盤変換に対するテンプレートを定義し、これをシグナリングする方法を提供しようとする。
そして、本発明は、変換係数を転送する代わりに、各フレームに対してテンプレートグラフセットをエンコーディングすることによって、グラフの特性を用いる効率の良いコーディング方法を提供しようとする。
また、本発明は、各コーディングされたブロックに対して最適の変換を指すテンプレートインデックスを転送することによって、より効率の良いコーディング方法を提供しようとする。
本発明は、グラフテンプレートから誘導された変換を用いてビデオ信号をコーディングする方法を提供する。
本発明は、グラフテンプレートを定義し、これをシグナリングする方法を提供する。
本発明は、各フレームに対してテンプレートグラフセットをエンコーディングすることによって、グラフの特性を用いるコーディング方法を提供する。
本発明は、各コーディングされたブロックに対して最適の変換を指すテンプレートインデックスを転送する、より効率の良いコーディング方法を提供する。
本発明は、グラフ基盤変換テンプレートを用いることによって、インター予測されたレジデュアルブロックの効率の良い圧縮を可能にする。
また、グラフ基盤変換テンプレートは適応的な変換選択を可能にするので、より良いコーディングゲインを獲得することができる。
また、本発明はグラフ基盤変換テンプレートまたはテンプレートインデックスを定義することによって、低複雑度のコーディング遂行が可能であり、デコーダに転送するビット数を格段に減少させることができる。
本発明は、グラフ基盤変換を用いてビデオ信号をデコーディングする方法であって、前記ビデオ信号からターゲットユニットに対するテンプレートインデックス（template index）を受信するステップであって、前記テンプレートインデックスは前記ターゲットユニットに適用されるグラフ基盤変換テンプレートを指す、ステップと、前記テンプレートインデックスに対応する前記ターゲットユニットのグラフ基盤変換行列を誘導するステップと、前記グラフ基盤変換行列に基づいて前記ターゲットユニットをデコーディングするステップと、を含むことを特徴とする方法を提供する。
また、本発明は、前記テンプレートインデックス（template index）は既に設定されたテンプレートグラフセット（template graph set）のうちの１つのテンプレートグラフに対応することを特徴とする。
また、本発明は、前記既に設定されたテンプレートグラフセット（template graph set）は複数個のテンプレートグラフを含み、前記複数個のテンプレートグラフは前記ターゲットユニットのコーナー領域が他の領域より小さなエッジ重み付け値を有するパターンを有することを特徴とする。
また、本発明は、前記既に設定されたテンプレートグラフセット（template graph set）は、前記ターゲットユニットのサンプルパターンに基づいて決定されたことを特徴とする。
また、本発明は、前記テンプレートインデックス（template index）は、複数個のテンプレートグラフの各々に対して設定されることを特徴とする。
また、本発明は、グラフ基盤変換を用いてビデオ信号をエンコーディングする方法であって、頂点パラメータセット及びエッジパラメータセットのうち、少なくとも１つを含むグラフパラメータを抽出するステップと、前記グラフパラメータに基づいて基本テンプレートグラフ（base template graph）を生成するステップと、前記基本テンプレートグラフ（base template graph）のエッジ重み付け値（edge weight）を調整して、テンプレートグラフセット（template graph set）を生成するステップと、前記テンプレートグラフセット（template graph set）からターゲットユニットに対応するテンプレートグラフを決定するステップと、前記テンプレートグラフのスペクトル分解（spectral decomposition）を通じてグラフ基盤変換カーネルを獲得するステップと、を含むことを特徴とする方法を提供する。
また、本発明は、前記テンプレートグラフセットに含まれた複数個のテンプレートグラフの各々に対応するテンプレートインデックスを生成するステップをさらに含むことを特徴とする。
また、本発明は、前記テンプレートグラフセット（template graph set）に対応するテンプレートインデックスを生成するステップをさらに含むことを特徴とする。
また、本発明は、グラフ基盤変換を用いてビデオ信号をデコーディングする装置であって、前記ビデオ信号からターゲットユニットに対するテンプレートインデックス（template index）を受信するエントロピーデコーディング部と、前記テンプレートインデックスに対応する前記ターゲットユニットのグラフ基盤変換行列を誘導し、前記グラフ基盤変換行列に基づいて前記ターゲットユニットに対して逆変換を遂行する逆変換部と、を含み、前記テンプレートインデックスは、前記ターゲットユニットに適用されるグラフ基盤変換テンプレートを指すことを特徴とする装置を提供する。
また、本発明は、グラフ基盤変換を用いてビデオ信号をエンコーディングする装置であって、頂点パラメータセット及びエッジパラメータセットのうちの少なくとも１つを含むグラフパラメータに基づいて基本テンプレートグラフ（base template graph）を生成し、前記基本テンプレートグラフ（base template graph）のエッジ重み付け値（edge weight）を調整してテンプレートグラフセット（template graph set）を生成するグラフ信号生成部と、前記テンプレートグラフセット（template graph set）からターゲットユニットに対応するテンプレートグラフを決定するグラフ基盤変換テンプレート決定部と、前記テンプレートグラフのスペクトル分解（spectral decomposition）を通じてグラフ基盤変換カーネルを獲得するグラフ基盤変換算出部と、を含むことを特徴とする装置を提供する。
また、本発明は、前記テンプレートグラフセットに含まれた複数個のテンプレートグラフの各々に対応するテンプレートインデックスを生成するテンプレートインデックス生成部をさらに含むことを特徴とする。
また、本発明は、前記テンプレートグラフセット（template graph set）に対応するテンプレートインデックスを生成するテンプレートインデックス生成部をさらに含むことを特徴とする。
以下、添付した図面を参照して本発明の実施形態の構成とその作用を説明し、図面により説明される本発明の構成と作用は１つの実施形態として説明されるものであり、これによって本発明の技術的思想とその核心構成及び作用が制限されるものではない。
併せて、本発明で使われる用語はできる限り、現在広く使われる一般的な用語を選択したが、特定の場合は出願人が任意に選定した用語を使用して説明する。そのような場合には該当部分の詳細説明でその意味を明確に記載するので、本発明の説明で使われた用語の名称だけで単純解析されてはならず、その該当用語の意味まで把握して解析されなければならないことを明らかにしようとする。
また、本明細書で提示された実施形態はビデオ信号処理に関するものであるが、本発明はビデオ信号処理のみに基盤したものとして推論されてはならず、一般的なグラフ基盤の信号処理方法にも適用できるものである。
また、本発明で使われる用語は発明を説明するために選択された一般的な用語や、類似の意味を有する他の用語がある場合、より適切な解析のために取替え可能である。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適切に取り替えられて解析できる。また、パーティショニング（partitioning）、分解（decomposition）、スプリッティング（splitting）、及び分割（division）などの場合にも各コーディング過程で適切に代替されて解析できる。
ビデオコーディング方法は、圧縮を向上させるために、そのデータに対する幾つかの形態の線形変換を用いる。過去、計算的な複雑度の制限に順応するために、ビデオコーディング方法は、ＤＣＴ、ＤＷＴ、またはハダマード変換（Hardmard Transform）のような唯１つの変換のみを用いた。しかしながら、ビデオシーケンスの他の部分での信号の特定の統計的特性に適合するように変更する、より多い一般的な線形変換を用いることによって、より良いビデオ圧縮を遂行することができる。これは、直交変換を用いる場合は他の場合に比べてビット消耗が非常に高く、変換係数を転送するビットレートオーバーヘッドが遥かに大きいためである。
したがって、本発明ではグラフ基盤信号処理技術を用いて間接的に直交変換を定義することによって、この問題を解決しようとする。エンコーダは、変換係数を転送する代わりに、各フレームに対し、特にモーション補償されたレジデュアル信号をコーディングするためにデザインされたグラフの特性を用いてテンプレートグラフセットをエンコーディングすることができる。そして、各コーディングされたブロックに対して最適の変換を指すテンプレートインデックスをエントロピーエンコーディングして転送することができる。以下、より具体的な実施形態を説明する。
図１は本発明が適用される実施形態であって、ビデオ信号のエンコーディングが遂行されるエンコーダの概略的なブロック図を示す。
図１を参照すると、エンコーダ１００は、映像分割部１１０、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチャバッファ（ＤＰＢ：Decoded Picture Buffer）１７０、インター予測部１８０、イントラ予測部１８５、及びエントロピーエンコーディング部１９０を含んで構成できる。
映像分割部１１０は、エンコーダ１００に入力された入力映像（Input image）（または、ピクチャ、フレーム）を１つ以上の処理ユニットに分割することができる。例えば、前記処理ユニットは、コーディングツリーユニット（ＣＴＵ：Coding Tree Unit）、コーディングユニット（ＣＵ：Coding Unit）、予測ユニット（ＰＵ：Prediction Unit）、または変換ユニット（ＴＵ：Transform Unit）でありうる。
但し、前記用語は本発明に対する説明の便宜のために使用するだけであり、本発明は該当用語の定義に限定されるものではない。また、本明細書では説明の便宜のために、ビデオ信号をエンコーディングまたはデコーディングする過程で用いられる単位としてコーディングユニットという用語を使用するが、本発明はそれに限定されず、発明内容によって適切に解析可能である。
エンコーダ１００は、入力映像信号でインター予測部１８０またはイントラ予測部１８５から出力された予測信号（prediction signal）を減算して残余信号（residual signal）を生成することができ、生成された残余信号は変換部１２０に転送される。
変換部１２０は、残余信号に変換技法を適用して変換係数（transform coefficient）を生成することができる。変換過程は正四角形の同一なサイズを有するピクセルブロックに適用されることもでき、正四角形でない可変サイズのブロックにも適用できる。前記変換部１２０は、ピクセル間の関係情報をグラフで表現して処理するグラフ基盤信号処理方式を用いることができる。例えば、前記変換部１２０はグラフ基盤変換部を含むことができ、前記グラフ基盤変換部は頂点パラメータセット及びエッジパラメータセットのうちの少なくとも１つを含むグラフパラメータを抽出し、前記グラフパラメータに基づいて基本テンプレートグラフ（base template graph）を生成し、前記基本テンプレートグラフ（base template graph）のエッジ重み付け値（edge weight）を調整してテンプレートグラフセット（template graph set）を生成することができる。そして、前記テンプレートグラフセット（template graph set）からターゲットユニットに対応するテンプレートグラフを決定した後、前記テンプレートグラフのスペクトル分解（spectral decomposition）を通じてグラフ基盤変換カーネルを獲得することができる。
また、本発明の一実施形態で、前記グラフ基盤変換部はテンプレートグラフセットに含まれた複数個のテンプレートグラフの各々に対応するテンプレートインデックスを生成することができる。
他の実施形態では、前記グラフ基盤変換部は前記テンプレートグラフセット（template graph set）に対応するテンプレートインデックスを生成することができる。
本発明が適用されるグラフ基盤変換部は別個の機能ユニットとして存在することができ、この場合、前記グラフ基盤変換部は前記変換部１２０の前に位置することができるが、本発明はこれに限定されるものではない。
量子化部１３０は変換係数を量子化してエントロピーエンコーディング部１９０に転送し、エントロピーエンコーディング部１９０は量子化された信号（quantized signal）をエントロピーコーディングしてビットストリームで出力することができる。
量子化部１３０から出力された量子化された信号（quantized signal）は、予測信号を生成するために利用できる。例えば、量子化された信号（quantized signal）はループ内の逆量子化部１４０及び逆変換部１５０を通じて逆量子化及び逆変換を適用することによって、残余信号を復元することができる。復元された残余信号をインター予測部１８０またはイントラ予測部１８５から出力された予測信号（prediction signal）に加えることによって、復元信号（reconstructed signal）が生成できる。
一方、前記のような圧縮過程で隣接したブロックが互いに異なる量子化パラメータにより量子化されることによって、ブロック境界が見える劣化が発生できる。このような現象をブロッキング劣化（blocking artifacts）といい、これは画質を評価する重要な要素の１つである。このような劣化を減らすために、フィルタリング過程を遂行することができる。このようなフィルタリング過程を通じてブロッキング劣化を除去すると共に、現在ピクチャに対する誤差を減らすことによって、画質を向上させることができるようになる。
フィルタリング部１６０は、復元信号にフィルタリングを適用して、これを再生装置に出力するか、または復号ピクチャバッファ１７０に転送する。復号ピクチャバッファ１７０に転送されたフィルタリングされた信号は、インター予測部１８０で参照ピクチャとして使用できる。このように、フィルタリングされたピクチャを画面間予測モードで参照ピクチャとして用いることによって、画質だけでなく、符号化効率も向上させることができる。
復号ピクチャバッファ１７０は、フィルタリングされたピクチャをインター予測部１８０での参照ピクチャとして使用するために格納することができる。
インター予測部１８０は、復元ピクチャ（reconstructed picture）を参照して時間的重複性及び／又は空間的重複性を除去するために、時間的予測及び／又は空間的予測を遂行する。ここで、予測を遂行するために用いられる参照ピクチャは以前の時間に符号化／復号化時、ブロック単位で量子化と逆量子化を経た変換された信号であるので、ブロッキングアーティファクト（blocking artifact）やリンギングアーティファクト（ringing artifact）が存在できる。
したがって、インター予測部１８０はこのような信号の不連続や量子化による性能の低下を解決するために、ローパスフィルタ（low pass filter）を適用することによって、ピクセル間の信号をサブピクセル単位で補間することができる。ここで、サブピクセルは補間フィルタを適用して生成された仮想の画素を意味し、整数ピクセルは復元されたピクチャに存在する実際の画素を意味する。補間方法には、線形補間、両線形補間（bi-linear interpolation）、ウィナーフィルタ（wiener filter）などが適用できる。
補間フィルタは復元ピクチャ（reconstructed picture）に適用されて予測の精度を向上させることができる。例えば、インター予測部１８０は整数ピクセルに補間フィルタを適用して補間ピクセルを生成し、補間ピクセル（interpolated pixels）で構成された補間ブロック（interpolated block）を予測ブロック（prediction block）に使用して予測を遂行することができる。
イントラ予測部１８５は、現在符号化を進行しようとするブロックの周辺にあるサンプルを参照して現在ブロックを予測することができる。前記イントラ予測部１８５は、イントラ予測を遂行するために、次のような過程を遂行することができる。まず、予測信号を生成するために必要な参照サンプルを準備することができる。そして、準備した参照サンプルを用いて予測信号を生成することができる。以後、予測モードを符号化するようになる。この際、参照サンプルは参照サンプルパッディング及び／又は参照サンプルフィルタリングを通じて準備できる。参照サンプルは、予測及び復元過程を経たため、量子化エラーが存在することがある。したがって、このようなエラーを減らすために、イントラ予測に用いられる各予測モードに対して参照サンプルフィルタリング過程が遂行できる。
前記インター予測部１８０または前記イントラ予測部１８５を通じて生成された予測信号（prediction signal）は、復元信号を生成するために用いられるか、または 残余信号を生成するために用いられることができる。
図２は本発明が適用される実施形態であって、ビデオ信号のデコーディングが遂行されるデコーダの概略的なブロック図を示す。
図２を参照すると、デコーダ２００は、エントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、フィルタリング部２４０、復号ピクチャバッファ（ＤＰＢ：Decoded Picture BufferUnit）２５０、インター予測部２６０、及びイントラ予測部２６５を含んで構成できる。
そして、デコーダ２００を通じて出力された復元映像信号（reconstructed video signal）は再生装置を通じて再生できる。
デコーダ２００は図１のエンコーダ１００から出力された信号を受信することができ、受信された信号はエントロピーデコーディング部２１０を通じてエントロピーデコーディングできる。
本発明の一実施形態で、前記デコーダまたは前記エントロピーデコーディング部２１０はテンプレートインデックスを受信することができる。この際、前記テンプレートインデックスはテンプレートグラフセットに含まれた複数個のテンプレートグラフの各々に対応できる。または、前記テンプレートインデックスは前記テンプレートグラフセット（template graph set）に対応されることもできる。エントロピーデコーディングされたテンプレートインデックスは逆量子化部２２０に転送されて逆量子化され、逆変換部２３０に転送されて利用できる。
逆量子化部２２０では量子化ステップサイズ情報を用いてエントロピーデコーディングされた信号から変換係数（transform coefficient）を獲得する。ここで、獲得された変換係数は、前記図１の変換部１２０で説明した多様な実施形態が適用されたものでありうる。
逆変換部２３０では、変換係数を逆変換して残余信号（residual signal）を獲得するようになる。
本発明の一実施形態で、前記逆変換部２３０はテンプレートインデックスに対応する前記ターゲットユニットのグラフ基盤変換行列を獲得し、それから誘導された逆変換行列を用いてターゲットユニットに対して逆変換を遂行することができる。
獲得された残余信号をインター予測部２６０またはイントラ予測部２６５から出力された予測信号（prediction signal）に加えることによって復元信号（reconstructed signal）が生成される。
フィルタリング部２４０は、復元信号（reconstructed signal）にフィルタリングを適用して、これを再生装置に出力するか、または復号ピクチャバッファ部２５０に転送する。復号ピクチャバッファ部２５０に転送されたフィルタリングされた信号はインター予測部２６０で参照ピクチャとして使用できる。
本明細書で、エンコーダ１００のフィルタリング部１６０、インター予測部１８０、及びイントラ予測部１８５で説明された実施形態は、各々デコーダのフィルタリング部２４０、インター予測部２６０、及びイントラ予測部２６５にも同一に適用できる。
図３は本発明が適用される実施形態であって、コーディングユニットの分割構造を説明するための図である。
エンコーダは、１つの映像（または、ピクチャ）を四角形形態のコーディングツリーユニット（ＣＴＵ：Coding Tree Unit）単位で分割することができる。そして、ラスタースキャン順序（raster scan order）に従って１つのＣＴＵずつ順次にエンコーディングする。
例えば、ＣＴＵのサイズは６４ｘ６４、３２ｘ３２、１６ｘ１６のうち、いずれか１つに定まることができるが、本発明はこれに限定されるものではない。エンコーダは、入力された映像の解像度または入力された映像の特性などによってＣＴＵのサイズを選択して使用することができる。ＣＴＵは、輝度（luma）成分に対するコーディングツリーブロック（ＣＴＢ：Coding Tree Block）とこれに対応する２つの色差（chroma）成分に対するコーディングツリーブロック（ＣＴＢ：Coding Tree Block）を含むことができる。
１つのＣＴＵは四分木（quad tree；以下、‘ＱＴ’という）構造で分解できる。例えば、１つのＣＴＵは正四角形形態を有し、かつ各辺の長さが半分ずつ減少する４個のユニットに分割できる。このようなＱＴ構造の分解は再帰的に遂行できる。
図３を参照すると、ＱＴのルートノード（root node）はＣＴＵと関連できる。ＱＴはリーフノード（leaf node）に到達するまで分割されることができ、この際、前記リーフノードはコーディングユニット（ＣＵ：Coding Unit）と称されることができる。
ＣＵは入力映像の処理過程、例えばイントラ（intra）／インター（inter）予測が遂行されるコーディングの基本単位を意味することができる。ＣＵは、輝度（luma）成分に対するコーディングブロック（ＣＢ：Coding Block）とこれに対応する２つの色差（chroma）成分に対するＣＢを含むことができる。例えば、ＣＵのサイズは６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８のうち、いずれか１つに定まることができるが、本発明はこれに限定されず、高解像度映像の場合、ＣＵのサイズはより大きくなるか、または多様になることができる。
図３を参照すると、ＣＴＵはルートノード（root node）に該当し、最も小さな深さ（depth）（即ち、レベル０）値を有する。入力映像の特性によってＣＴＵが分割されないこともあり、この場合、ＣＴＵはＣＵに該当する。
ＣＴＵはＱＴ形態に分解されることができ、その結果、レベル１の深さを有する下位ノードが生成できる。そして、レベル１の深さを有する下位ノードでこれ以上分割されないノード（即ち、リーフノード）はＣＵに該当する。例えば、図３（ｂ）でノードａ、ｂ、及びｊに対応するＣＵ（ａ）、ＣＵ（ｂ）、ＣＵ（ｊ）は、ＣＴＵで１回分割されたものであり、レベル１の深さを有する。
レベル１の深さを有するノードのうち、少なくともいずれか１つはまたＱＴ形態に分割できる。そして、レベル２の深さを有する下位ノードで、これ以上分割されないノード（即ち、リーフノード）はＣＵに該当する。例えば、図３（ｂ）でノードｃ、ｈ、及びｉに対応するＣＵ（ｃ）、ＣＵ（ｈ）、ＣＵ（ｉ）は、ＣＴＵで２回分割されたものであり、レベル２の深さを有する。
また、レベル２の深さを有するノードのうち、少なくともいずれか１つは、またＱＴ形態に分割できる。そして、レベル３の深さを有する下位ノードでこれ以上分割されないノード（即ち、リーフノード）はＣＵに該当する。例えば、図３（ｂ）で、ノードｄ、ｅ、ｆ、ｇに対応するＣＵ（ｄ）、ＣＵ（ｅ）、ＣＵ（ｆ）、ＣＵ（ｇ）はＣＴＵで３回分割されたものであり、レベル３の深さを有する。
エンコーダではビデオ映像の特性（例えば、解像度）によって、または符号化の効率を考慮してＣＵの最大サイズまたは最小サイズを決定することができる。そして、これに対する情報またはこれを誘導することができる情報がビットストリームに含まれることができる。最大サイズを有するＣＵを最大コーディングユニット（ＬＣＵ：Largest Coding Unit）と称し、最小サイズを有するＣＵを最小コーディングユニット（ＳＣＵ：Smallest Coding Unit）と称することができる。
また、ツリー構造を有するＣＵは予め定まった最大深さ情報（または、最大レベル情報）を有して階層的に分割できる。そして、各々の分割されたＣＵは深さ情報を有することができる。深さ情報は、ＣＵの分割された回数及び／又は程度を示すので、ＣＵのサイズに関する情報を含むこともできる。
ＬＣＵがＱＴ形態に分割されるので、ＬＣＵのサイズ及び最大深さ情報を利用すれば、ＳＣＵのサイズが求められる。または逆に、ＳＣＵのサイズ及びツリーの最大深さ情報を利用すれば、ＬＣＵのサイズが求められる。
１つのＣＵに対し、該当ＣＵが分割されるか否かを示す情報がデコーダに伝達できる。例えば、前記情報は分割フラッグとして定義されることができ、シンタックスエレメント“split_cu_flag”と表現できる。前記分割フラッグはＳＣＵを除外した全てのＣＵに含まれることができる。例えば、前記分割フラッグの値が‘１’であれば、該当ＣＵはまた４個のＣＵに分けられ、前記分割フラッグの値が‘０’であれば該当ＣＵはこれ以上分けられず、該当ＣＵに対するコーディング過程が遂行できる。
前述した図３の実施形態ではＣＵの分割過程に対して例に挙げて説明したが、変換を遂行する基本単位である変換ユニット（ＴＵ：Transform Unit）の分割過程に対しても前述したＱＴ構造を適用することができる。
ＴＵはコーディングしようとするＣＵからＱＴ構造で階層的に分割できる。例えば、ＣＵは変換ユニット（ＴＵ）に対するツリーのルートノート（root node）に該当できる。
ＴＵはＱＴ構造で分割されるので、ＣＵから分割されたＴＵはまた一層小さな下位ＴＵに分割できる。例えば、ＴＵのサイズは３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４のうち、いずれか１つに定まることができるが、本発明はこれに限定されず、高解像度映像の場合、ＴＵのサイズはより大きくなるか、または多様になることができる。
１つのＴＵに対し、該当ＴＵが分割されるか否かを示す情報がデコーダに伝達できる。例えば、前記情報は分割変換フラッグと定義されることができ、シンタックスエレメント“split_transform_flag”と表現できる。
前記分割変換フラッグは最小サイズのＴＵを除外した全てのＴＵに含まれることができる。例えば、前記分割変換フラッグの値が‘１’であれば該当ＴＵはまた４個のＴＵに分けられ、前記分割変換フラッグの値が‘０’であれば該当ＴＵはこれ以上分けられない。
前述したように、ＣＵはイントラ予測またはインター予測が遂行されるコーディングの基本単位である。入力映像をより効果的にコーディングするためにＣＵを予測ユニット（ＰＵ：Prediction Unit）単位で分割することができる。
ＰＵは予測ブロックを生成する基本単位であって、１つのＣＵ内でもＰＵ単位で互いに異なるように予測ブロックを生成することができる。ＰＵはＰＵが属するＣＵのコーディングモードにイントラ予測モードが使われるか、またはインター予測モードが使われるかによって異なるように分割できる。
図４は本発明が適用される一実施形態であって、１次元グラフと２次元グラフに基づいてグラフ基盤変換マトリックスを獲得する過程を説明するための図である。
本発明の一実施形態で、イメージ内のピクセルブロックの処理のために使用できるグラフタイプは、図４を通じて説明できる。例えば、図４（ａ）はピクセルブロックの各ラインに対応する１次元グラフを示し、図４（ｂ）はピクセルブロックに対応する２次元グラフを示すことができる。
グラフ頂点（vertex）はピクセルブロックの各ピクセルに関連し、グラフ頂点の値はピクセル値で表現できる。そして、グラフエッジ（graph edge）はグラフ頂点を連結する線を意味することができる。前記グラフエッジは信号内の如何なる形態の統計的依存性を示すために使われ、その強度を示す値をエッジ重み付け値（edge weight）ということができる。
例えば、図４（ａ）を見ると、１次元グラフを示し、０、１、２、３は各頂点の位置を示し、ｗ０、ｗ１、ｗ２は各頂点間のエッジ重み付け値を示す。図４（ｂ）を見ると、２次元グラフを示し、ａｉｊ（ｉ＝０、１、２、３、ｊ＝０、１、２）、ｂｋｌ（ｋ＝０、１、２、ｌ＝０、１、２、３）は各頂点間のエッジ重み付け値を示す。
各頂点は全ての異なる頂点に連結されることができ、０のエッジ重み付け値は互いに関連しないか、または弱く関連した頂点を連結するエッジに割り当てできる。但し、表現の簡単化のために、０のエッジ重み付け値を有するエッジは完全に除去できる。
本発明が適用される一実施形態で、グラフ信号から獲得される変換をグラフ基盤変換（Graph-Based transform；以下、‘ＧＢＴ’という）と定義することができる。例えば、ＴＵを構成するピクセル間の関係情報をグラフで表現するとする時、このグラフから得られた変換をＧＢＴということができる。
ピクセル間の関係情報は多様な方法により表現できる。例えば、ピクセル値の間の類似性、同一なＰＵに属しているか否か、同一なオブジェクトに属しているか否かなどに基づいてピクセル間の関係情報を表現することができる。前記ピクセル間の関係情報は、各ピクセルをグラフの頂点に対応させた時、ピクセルの間のエッジ有無及びエッジ重み付け値（edge weight）値で表現できる。
この場合、前記ＧＢＴは次のような過程を通じて獲得できる。例えば、エンコーダまたはデコーダはビデオ信号のターゲットブロックからグラフ情報を獲得することができる。前記獲得されたグラフ情報から次の＜数式１＞のようにラプラシアン行列（Laplacian matrix）Ｌを獲得することができる。
＜数式１＞
前記＜数式１＞で、Ｄは対角行列（diagonal matrix）を示し、Ａは隣接行列（adjacency matrix）を示す。
そして、前記ラプラシアン行列（Laplacian matrix）Ｌに対し、以下の＜数式２＞のように固有分解（eigen decomposition）を遂行することによって、ＧＢＴカーネルを獲得することができる。
＜数式２＞
前記＜数式２＞で、Ｌはラプラシアン行列（Laplacian matrix）、Ｕは固有行列（eigen matrix）、ＵＴはＵの転置行列（transpose matrix）を意味する。前記＜数式２＞で、前記固有行列（eigen matrix）Ｕは該当グラフモデルに合う信号に対して特化したグラフ基盤フーリエ（Fourier）変換を提供することができる。例えば、前記＜数式２＞を満たす固有行列（eigen matrix）ＵはＧＢＴカーネルを意味することができる。
図５は本発明が適用される実施形態であって、グラフ基盤信号を処理するエンコーダの概略的ブロック図を例示する。
信号特性によって変わる変換としてよく知られた方法は、ＫＬＴを用いるものである。しかしながら、ＫＬＴ変換を遂行する直交マトリックスは多いビットを必要とし、ＫＬＴ変換は信号特性によく合わされた方式なので、一時的にアップデートされないと、実質的に圧縮効率は減少するという問題点がある。
したがって、本発明ではグラフ信号処理を通じてこれを解決しようとする。ここで、ビデオ信号はサンプル間信号関係を示すグラフで表現できる。
また、前記問題を解決するためにエッジ適応的変換（edge-adaptive transform；以下、‘ＥＡＴ’という）が利用できるが、これもまたデコーダでのエッジ信号に対するシグナリングがあまり複雑であるという問題がある。したがって、本発明はレジデュアル信号の一部の統計的特性を用いるテンプレートグラフセットを定義することによって、この問題を解決しようとする。
前記図１及び図２のようなビデオコーディング構造では、ＤＣＴのような固定された変換が利用できる。これは、暗黙的に全てのレジデュアル信号が同一な等方性の統計特性を有しているという仮定下に遂行されるものである。
しかしながら、現実的にビデオタイプとピクセルブロック予測で、あまり異なる分布を有することを確認することができる。したがって、本発明では、適応性及び複雑度に対する最適化を解決するために、次のような仮定に基づくことができるが、本発明はこれに限定されるものではない。
第１に、本発明は統計的特性にマッチングされる各ビデオブロックに適応的に適用されるように特定線形変換を選択することができる。
第２に、変換マトリックスデータを転送し、変換を選択するためのオーバーヘッドは全てのコーディングゲインに比べて比較的小さい。
このような仮定に基づいて、本発明はグラフ基盤変換テンプレートに基づいて低複雑度の適応的変換を提案することによって、適応性及び複雑度に対する最適化を解決しようとする。例えば、本発明が適用されるグラフ基盤変換テンプレートはインター予測されたレジデュアル信号の統計的特性を考慮することによってデザインできる。
一方、前記図５を説明すると、本発明が適用されるエンコーダ５１０は、グラフ基盤変換部５１０、量子化部５２０、逆量子化部５３０、逆変換部５４０、バッファ５５０、予測部５６０、及びエントロピーエンコーディング部５７０を含む。
エンコーダ５１０はビデオ信号を受信し、前記ビデオ信号から前記予測部５６０で出力された予測された信号を差し引きしてレジデュアル信号を生成する。前記生成されたレジデュアル信号は前記グラフ基盤変換部５１０に転送され、前記グラフ基盤変換部５１０は変換方式を前記レジデュアル信号に適用することによって変換係数を生成する。
ここで、本発明は、レジデュアル信号の統計的特性を活用するために、適応的で、かつ低複雑度のＧＢＴテンプレートセットを用いる方法を提案する。本明細書で使われるＧＢＴテンプレート（GBT template）、グラフテンプレート（graph template）、テンプレートグラフ（template graph）、ＧＢＴテンプレートセット（GBT template set）、グラフテンプレートセット（graph template set）、またはテンプレートグラフセット（template graph set）などの用語は、本発明を説明するために選択された一般的な用語であるので、各コーディング過程で適切に代替解析できる。
前記グラフ基盤変換部５１０は、レジデュアル信号のターゲットユニットに対応するグラフ内のグラフパラメータを抽出することができる。例えば、前記グラフパラメータは、頂点パラメータ及びエッジパラメータのうち、少なくとも１つを含むことができる。前記頂点パラメータは、頂点位置及び頂点個数のうちの少なくとも１つを含み、前記エッジパラメータはエッジ重み付け値及びエッジ重み付け値の個数のうちの少なくとも１つを含むことができる。また、前記グラフパラメータは一定個数のセット（set）に定義できる。例えば、前記エッジパラメータセット（edge parameter set）は重み付け値行列（weight matrix）として定義できる。
前記グラフ基盤変換部５１０は、前記抽出されたグラフパラメータに基づいてグラフ信号を生成することができる。
本発明は、前記生成されたグラフ信号に対して基本テンプレート（base template）に設定することができる。以下、これを基本テンプレートグラフ（base template graph）という。例えば、前記基本テンプレートグラフは均一重み付け値が適用されたグラフ（uniformly weighted graph）であって、この場合、Ｇｕｎｉと表現できる。前記グラフ信号のノードはターゲットユニットのピクセルに対応し、ターゲットユニットの全てのエッジ重み付け値（edge weight）はＷｕｎｉに設定できる。
また、本発明は、前記基本テンプレートグラフのエッジ重み付け値セットを調整することによって、Ｔ個の互いに異なるグラフを生成することができる。以下、これをテンプレートグラフセット（template graph set）といい、次の＜数式３＞のように表現することができる。
＜数式３＞
また、本発明は、変換ブロック内のコーナー周辺のエッジの重み付け値を減少させることによって、ブロック適応的テンプレートグラフ（block-adaptive template graph）を生成することができる。例えば、前記変換ブロック内のコーナー周辺のエッジは前記Ｗｕｎｉより小さなエッジ重み付け値であるＷｗｅａｋに設定できる。ここで、Ｗｗｅａｋは弱いエッジ重み付け値（weak edge weight）という。
また、本発明は、前記変換ブロック内のコーナー周辺のエッジが同一の前記弱いエッジ重み付け値（weak edge weight）Ｗｗｅａｋ値を有するようにすることによって、複雑度を減少させることができる。
また、本発明は、レジデュアルブロックの異なる位置によって適応的に信号特性を反映するために、Ｔ個の異なるグラフをテンプレートグラフセット（template graph set）として選択する方法を提供する。そして、本発明は、前記選択されたテンプレートグラフセット（template graph set）のスペクトル分解（spectral decomposition）を通じてＧＢＴを獲得することができる。
前記量子化部５２０は、前記生成された変換係数を量子化して前記量子化された係数をエントロピーエンコーディング部５７０に転送する。
前記エントロピーエンコーディング部５７０は、前記量子化された信号に対するエントロピーコーディングを遂行し、エントロピーコーディングされた信号を出力する。
前記量子化部５２０により出力された前記量子化された信号は、予測信号を生成するために使用できる。例えば、前記エンコーダ５１０のループ内の前記逆量子化部５３０及び前記逆変換部５４０は、前記量子化された信号がレジデュアル信号に復元されるように前記量子化された信号に対する逆量子化及び逆変換を遂行することができる。復元された信号は、前記復元されたレジデュアル信号を前記予測部５６０により出力された予測信号に加えることによって生成できる。
前記バッファ５５０は、予測部５６０の今後の参照のために復元された信号を格納する。
前記予測部５６０は、以前に復元されて前記バッファ５５０に格納された信号を使用して予測信号を生成することができる。このような場合、本発明はアンカー（anchor）イメージ内の領域を使用して目標イメージ内の領域を効率良く予測することに関連したものである。ここで、前記アンカーイメージは、参照イメージ、参照ピクチャ、または参照フレームを意味することができる。効率は率−歪曲（Rate-Distortion）費用またはレジデュアル信号内の歪曲を定量化する平均二乗エラーを算出することによって決定できる。
本発明はグラフ内の頂点とエッジを識別し、残余値信号をエンコーディングまたはデコーディングする方法を提案する。例えば、本発明の実施形態はグラフ基盤変換部５１０を通じて多様な実施形態を遂行することができる。前記グラフ基盤変換部５１０は、前記エンコーダ５１０または前記デコーダ７００に含まれることができる。
図６は本発明が適用される実施形態であって、グラフ基盤信号を処理するデコーダの概略的ブロック図を例示する。
図６のデコーダ６００は、図５のエンコーダ５１０により出力された信号を受信する。
前記エントロピーデコーディング部６１０は、受信された信号に対するエントロピーデコーディングを遂行する。前記逆量子化部６２０は、量子化ステップサイズに対する情報に基づいて前記エントロピーデコーディングされた信号から変換係数を獲得する。
前記逆変換部６３０は、変換係数に対する逆変換を遂行することによって、レジデュアル信号を取得する。この際、前記逆変換は前記エンコーダ５１０で獲得されたグラフ基盤変換に対する逆変換を意味することができる。
本発明の一実施形態で、前記逆変換部６３０は、グラフ基盤変換テンプレートを示すテンプレートインデックスを受信し、前記テンプレートインデックスに対応するグラフ基盤変換カーネルを獲得することができる。前記獲得されたグラフ基盤カーネルを用いて変換ユニットを復元することができる。
前記レジデュアル信号を前記予測部６５０により出力された予測信号に加えることによって復元信号が生成できる。
前記バッファ６４０は、前記予測部６５０の今後の参照のために前記復元信号を格納する。
前記予測部６５０は、以前に復元されて前記バッファ６４０に格納された信号に基づいて予測信号を生成する。
図７及び図８は本発明が適用される実施形態であって、サンプル分散（sample variances）と関連した２種類のビデオシーケンスの統計的特性を示す。
図７は２種類のビデオシーケンスに対して４ｘ４変換ブロック内の残余信号のサンプル分散（sample variances）を示し、図８は２種類のビデオシーケンスに対して８ｘ８変換ブロック内の残余信号のサンプル分散（sample variances）を示す。
前記図７及び図８を説明すると、４ｘ４変換ブロック及び８ｘ８変換ブロックのコーナー部分が他の部分よりサンプル分散（sample variances）がより大きいことを確認することができる。これは、インター予測時、予測されたブロックと参照ブロックとの間の不一致（mismatch）ためである。例えば、全体ブロック内に不一致（mismatch）があれば、イントラ予測が選択される傾向がある一方、ブロック内のコーナー部分に限定された不一致（mismatch）があれば、インター予測が選択される傾向がある。
したがって、本発明は、変換ブロックのコーナー部分でサンプル分散（sample variances）が大きいという点に基づいて、変換ブロックのコーナー部分をカバーするテンプレートグラフセットを定義しようとする。以下、図９から図１１では、テンプレートグラフセットの具体的な実施形態を説明する。
図９は本発明が適用される実施形態であって、４ｘ４ブロックに対する１５個のテンプレートグラフセット（template graph set）を示す。
前記図９で説明する本発明の一実施形態は４ｘ４ブロックに対する１５個のテンプレートグラフセット（template graph set）を示しているが、本発明はそれに限定されず、より多いテンプレートグラフセット（template graph set）として定義することもでき、より少ないテンプレートグラフセット（template graph set）として定義することもできる。即ち、テンプレートグラフセット（template graph set）を定義する基準を何とするかによってテンプレートグラフセット（template graph set）の個数が変わる。例えば、前記基準はエッジ重み付け値パターン、ピクセル値パターン、ノード連結パターンのうち、少なくとも１つを含むことができる。具体的な例として、エッジ重み付け値パターンの場合、変換ブロック内の弱いエッジ重み付け値を有する部分に対して特定パターンを形成することができる。
前記図９の実施形態は、弱いエッジ重み付け値を有する部分に対する特定パターンを示す。例えば、変換ブロックのコーナーが４箇所に存在すると仮定する時、テンプレートグラフセット（template graph set）は４個のコーナー部分の多様な組み合わせに基づいて定義できる。
具体的な例として、図９（ａ）は１つのコーナー部分が相対的に弱いエッジ重み付け値を有する場合に該当するテンプレートグラフセット（template graph set）を示す。即ち、テンプレート１は左上側コーナー部分の弱いエッジ重み付け値を有する場合であり、テンプレート２は左下側コーナー部分の弱いエッジ重み付け値を有する場合であり、テンプレート３は右下側コーナー部分の弱いエッジ重み付け値を有する場合であり、テンプレート４は右上側コーナー部分の弱いエッジ重み付け値を有する場合に対応する。
図９（ｂ）は、２つのコーナー部分が相対的に弱いエッジ重み付け値を有する場合に該当するテンプレートグラフセット（template graph set）を示す。前記図９（ａ）と同様に、２つのコーナー部分の可能な全ての組み合わせは、図９（ｂ）の６個のテンプレート（テンプレート５〜１０）として定義できる。
図９（ｃ）は、３個のコーナー部分が相対的に弱いエッジ重み付け値を有する場合に該当するテンプレートグラフセット（template graph set）を示す。前記図９（ａ）及び図９（ｂ）と同様に、３個のコーナー部分の可能な全ての組み合わせは図９（ｃ）の４個のテンプレート（テンプレート１１〜１４）として定義できる。
図９（ｄ）は、４個のコーナー部分が相対的に弱いエッジ重み付け値を有する場合に該当するテンプレートグラフセット（template graph set）を示す。４個のコーナー部分の可能な全ての組み合わせは図９（ｄ）の１つのテンプレート（テンプレート１５）として定義できる。
図９（ａ）から図９（ｄ）では、コーナー部分の組み合わせ個数によって区分して説明したが、本発明はこれに限定されず、図９（ａ）から図９（ｄ）の各実施形態を組み合わせることも可能である。
図１０及び図１１は本発明が適用される実施形態であって、８ｘ８ブロックに対する１５個のテンプレートグラフセットを示す。
前記図１０及び図１１で説明する本発明の一実施形態は、８ｘ８ブロックに対する１５個のテンプレートグラフセット（template graph set）を示しているが、本発明はそれに限定されず、前記図９の実施形態のように多様な方法が適用できる。但し、前記図１０及び図１１の場合、８ｘ８ブロックであるので、弱いエッジ重み付け値が適用されるコーナーをどこまで定義するかによって、より多い実施形態が発生することができる。
前記図１０及び図１１では、弱いエッジ重み付け値が適用されるコーナーが図面に描かれた形態のようなパターンに形成される場合を示す。仮に、弱いエッジ重み付け値が適用されるコーナーが異なるパターンに形成される場合であれば、異なる形態のテンプレートが定義されることができ、またより多い数のテンプレートが定義できる。
前記図９と同様に、図１０（ａ）は１つのコーナー部分が相対的に弱いエッジ重み付け値を有する場合に該当するテンプレートグラフセット（template graph set）を示し、図１０（ｂ）は２つのコーナー部分が相対的に弱いエッジ重み付け値を有する場合に該当するテンプレートグラフセット（template graph set）を示す。
そして、図１１（ａ）は３個のコーナー部分が相対的に弱いエッジ重み付け値を有する場合に該当するテンプレートグラフセット（template graph set）を示し、図１１（ｂ）は４個のコーナー部分が相対的に弱いエッジ重み付け値を有する場合に該当するテンプレートグラフセット（template graph set）を示す。
図１０から図１１でも、コーナー部分の組み合わせ個数によって区分して説明したが、本発明はこれに限定されず、図９から図１１の各実施形態を組み合わせることも可能である。
図１２は本発明が適用される一実施形態であって、グラフ基盤変換部の内部ブロック図を示す。
図１２を参照すると、グラフ基盤変換部５１０は、グラフパラメータ抽出部５１１、グラフ信号生成部５１２、グラフ基盤変換算出部５１３、変換遂行部５１４、グラフ基盤変換テンプレート決定部５１５、及びテンプレートインデックス生成部５１６を含むことができる。
グラフパラメータ抽出部５１１は、残余信号のターゲットユニットに対応するグラフ内のグラフパラメータを抽出することができる。例えば、前記グラフパラメータは、頂点パラメータ及びエッジパラメータのうち、少なくとも１つを含むことができる。前記頂点パラメータは、頂点位置及び頂点個数のうちの少なくとも１つを含み、前記エッジパラメータはエッジ重み付け値及びエッジ重み付け値の個数のうち、少なくとも１つを含むことができる。また、前記グラフパラメータは一定個数のセット（set）として定義できる。
グラフ信号生成部５１２は、前記グラフパラメータ抽出部５１１から抽出されたグラフパラメータに基づいてグラフ信号を生成することができる。
前記生成されたグラフ信号は基本テンプレート（base template）に設定されることができ、これを基本テンプレートグラフ（base template graph）という。例えば、前記基本テンプレートグラフは均一重み付け値が適用されたグラフ（uniformly weighted graph）であって、この場合、Ｇｕｎｉと表現できる。前記グラフ信号のノードはターゲットユニットのピクセルに対応し、ターゲットユニットの全てのエッジ重み付け値（edge weight）はＷｕｎｉに設定できる。
前記グラフ信号生成部５１２は、変換ブロック内のコーナー周辺のエッジの重み付け値を減少させることによって、ブロック適応的テンプレートグラフ（block-adaptive template graph）を生成することができる。例えば、前記変換ブロック内のコーナー周辺のエッジは前記Ｗｕｎｉより小さなエッジ重み付け値であるＷｗｅａｋに設定できる。ここで、Ｗｗｅａｋは弱いエッジ重み付け値（weak edge weight）という。この際、前記変換ブロック内のコーナー周辺のエッジは同一な前記弱いエッジ重み付け値（weak edge weight）Ｗｗｅａｋ値を有することができる。
グラフ基盤変換テンプレート決定部５１５は、レジデュアルブロックの異なる位置によって適応的に信号特性を反映するために、Ｔ個の異なるグラフをテンプレートグラフセット（template graph set）に決定することができる。
グラフ基盤変換算出部５１３は、前記決定されたテンプレートグラフセット（template graph set）のスペクトル分解（spectral decomposition）を通じてグラフ基盤変換カーネルを獲得することができる。
変換遂行部５１４は、前記獲得されたグラフ基盤変換カーネルを用いて変換を遂行することができる。
一方、テンプレートインデックス生成部５１６は、前記グラフ基盤変換テンプレート決定部５１５から決定されたテンプレートグラフセット（template graph set）に対してテンプレートインデックスを与えることができる。または、前記テンプレートグラフセット（template graph set）に含まれたＴ個の異なるグラフの各々に対して別個のテンプレートインデックスを設定することもできる。この場合、前記テンプレートグラフセット（template graph set）にはテンプレートグループインデックスを別個に設定することもできる。
前記設定されたテンプレートインデックスは、エントロピーエンコーディング部に転送されてエントロピーエンコーディングされ、以後、デコーダに転送できる。
図１３は本発明が適用される一実施形態であって、テンプレートグラフセットに基づいてグラフ基盤変換カーネルを獲得する過程を説明するためのフローチャートである。
エンコーダは受信されたビデオ信号から予測信号を生成し、ビデオ信号で予測信号を減算して残余信号を生成することができる。前記残余信号に対して変換が遂行されるが、この際、グラフ基盤信号処理技術を適用してグラフ基盤変換を遂行することができる。
エンコーダは、残余信号のターゲットユニット（例えば、変換ユニット）に対応するグラフ内のグラフパラメータを抽出することができる（Ｓ１３１０）。この際、前記グラフパラメータは頂点パラメータセット及びエッジパラメータセットのうち、少なくとも１つを含むことができる。
前記エンコーダは、前記グラフパラメータに基づいて基本テンプレートグラフを生成することができる（Ｓ１３２０）。例えば、前記基本テンプレートグラフは均一重み付け値が適用されたグラフ（uniformly weighted graph）であって、この場合、Ｇｕｎｉと表現できる。前記グラフ信号のノードは、ターゲットユニットのピクセルに対応し、ターゲットユニットの全てのエッジ重み付け値（edge weight）はＷｕｎｉに設定できる。
前記エンコーダは、前記基本テンプレートグラフのエッジ重み付け値セットを調整することによって、テンプレートグラフセット（template graph set）を生成することができる（Ｓ１３３０）。ここで、前記テンプレートグラフセット（template graph set）をブロック適応的テンプレートグラフ（block-adaptive template graph）ということができる。例えば、前記変換ブロック内のコーナー周辺のエッジは、前記Ｗｕｎｉより小さなエッジ重み付け値であるＷｗｅａｋに設定できる。ここで、Ｗｗｅａｋは弱いエッジ重み付け値（weak edge weight）を示す。この際、前記変換ブロック内のコーナー周辺のエッジは同一な前記弱いエッジ重み付け値（weak edge weight）Ｗｗｅａｋ値を有することができる。
前記エンコーダは、前記テンプレートグラフセット（template graph set）からターゲットユニットに対応するテンプレートグラフを決定することができる（Ｓ１３４０）。この場合、前記決定されたテンプレートグラフセット（template graph set）に対してテンプレートインデックスを設定することができる。または、前記テンプレートグラフセット（template graph set）に含まれたＴ個の異なるグラフの各々に対して別個のテンプレートインデックスを設定することもできる。この場合、前記テンプレートグラフセット（template graph set）にはテンプレートグループインデックスを別個に設定することもできる。
前記エンコーダは、前記テンプレートグラフのスペクトル分解を通じてグラフ基盤変換カーネルを獲得することができる。（Ｓ１３５０）。前記獲得されたグラフ基盤変換カーネルに基づいてターゲットユニットに対して変換を遂行することができる。
図１４は本発明が適用される一実施形態であって、テンプレートインデックスを用いてグラフ基盤変換を遂行する過程を説明するためのフローチャートである。
本発明が適用されるデコーダは、ビデオ信号からターゲットユニットに対するテンプレートインデックス（template index）を受信することができる（Ｓ１４１０）。ここで、前記テンプレートインデックスはテンプレートグラフセット（template graph set）に対して設定できる。または、前記テンプレートグラフセット（template graph set）に含まれたＴ個の異なるグラフの各々に対して別個のテンプレートインデックスが設定されることもできる。
前記デコーダは、前記テンプレートインデックスに対応する前記ターゲットユニットの変換行列を誘導することができる（Ｓ１４２０）。例えば、前記変換行列は前記テンプレートインデックスに対応するグラフ基盤変換カーネルを含むことができる。
前記変換行列に基づいて前記ターゲットユニットをデコーディングすることができる（Ｓ１４３０）。
このように、グラフ基盤変換テンプレートを用いることによって、インター予測されたレジデュアルブロックの効率の良い圧縮が可能であり、適応的な変換選択が可能であるので、より良いコーディングゲインを獲得することができる。また、テンプレートインデックスを定義することによって、低複雑度のコーディング遂行が可能であり、デコーダに転送するビット数を格段に減少させることができる。
前記記述されたように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で具現されて遂行できる。例えば、前記図１、図２、 図５、 及び図６で図示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で具現されて遂行できる。
また、本発明が適用されるデコーダ及びエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号及びデータ信号を処理するために使用できる。
また、本発明が適用される処理方法はコンピュータにより実行されるプログラムの形態に生産されることができ、コンピュータにより読み取ることができる記録媒体に格納できる。本発明に従うデータ構造を有するマルチメディアデータもまたコンピュータにより読み取ることができる記録媒体に格納できる。前記コンピュータにより読み取ることができる記録媒体はコンピュータにより読み取ることができるデータが格納される全ての種類の格納装置を含む。前記コンピュータにより読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータにより読み取ることができる記録媒体は、搬送波（例えば、インターネットを通じての転送）の形態に具現されたメディアを含む。また、エンコーディング方法により生成されたビットストリームがコンピュータにより読み取ることができる記録媒体に格納されるか、または有無線通信ネットワークを介して転送できる。
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであって、当業者であれば、以下に添付した特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、多様な他の実施形態を改良、変更、取替、または付加などが可能である。
Claims (20)
- グラフ基盤変換を用いてビデオ信号をデコーディングする方法であって、
前記ビデオ信号から、ターゲットユニットに対するテンプレートインデックスを受信するステップであって、前記テンプレートインデックスは前記ターゲットユニットに適用されるグラフ基盤変換テンプレートを指す、ステップと、
前記テンプレートインデックスに対応する前記ターゲットユニットのグラフ基盤変換行列を誘導するステップと、
前記グラフ基盤変換行列に基づいて前記ターゲットユニットをデコーディングするステップと、を含む、方法。 - 前記テンプレートインデックスは、既に設定されたテンプレートグラフセットのうちの１つのテンプレートグラフに対応する、請求項１に記載の方法。
- 前記既に設定されたテンプレートグラフセットは複数個のテンプレートグラフを含み、前記複数個のテンプレートグラフは前記ターゲットユニットのコーナー領域が他の領域より小さなエッジ重み付け値を有するパターンを有する、請求項２に記載の方法。
- 前記既に設定されたテンプレートグラフセットは、前記ターゲットユニットのサンプルパターンに基づいて決定された、請求項２に記載の方法。
- 前記テンプレートインデックスは、複数個のテンプレートグラフの各々に対して設定される、請求項１に記載の方法。
- グラフ基盤変換を用いてビデオ信号をエンコーディングする方法であって、
頂点パラメータセット及びエッジパラメータセットのうち、少なくとも１つを含むグラフパラメータを抽出するステップと、
前記グラフパラメータに基づいて基本テンプレートグラフを生成するステップと、
前記基本テンプレートグラフのエッジ重み付け値を調整して、テンプレートグラフセットを生成するステップと、
前記テンプレートグラフセットからターゲットユニットに対応するテンプレートグラフを決定するステップと、
前記テンプレートグラフのスペクトル分解を通じてグラフ基盤変換カーネルを獲得するステップと、を含む、方法。 - 前記テンプレートグラフセットに含まれた複数個のテンプレートグラフの各々に対応するテンプレートインデックスを生成するステップをさらに含む、請求項６に記載の方法。
- 前記テンプレートグラフセットは複数個のテンプレートグラフを含み、前記複数個のテンプレートグラフは前記ターゲットユニットのコーナー領域が他の領域より小さなエッジ重み付け値を有するパターンを有する、請求項６に記載の方法。
- 前記テンプレートグラフセットは、前記ターゲットユニットのサンプルパターンに基づいて生成される、請求項６に記載の方法。
- 前記テンプレートグラフセットに対応するテンプレートインデックスを生成するステップをさらに含む、請求項６に記載の方法。
- グラフ基盤変換を用いてビデオ信号をデコーディングする装置であって、
前記ビデオ信号からターゲットユニットに対するテンプレートインデックスを受信するエントロピーデコーディング部と、
前記テンプレートインデックスに対応する前記ターゲットユニットのグラフ基盤変換行列を誘導し、前記グラフ基盤変換行列に基づいて前記ターゲットユニットに対して逆変換を遂行する逆変換部と、を含み、
前記テンプレートインデックスは、前記ターゲットユニットに適用されるグラフ基盤変換テンプレートを指す、装置。 - 前記テンプレートインデックスは、既に設定されたテンプレートグラフセットのうちの１つのテンプレートグラフに対応する、請求項１１に記載の装置。
- 前記既に設定されたテンプレートグラフセットは複数個のテンプレートグラフを含み、前記複数個のテンプレートグラフは前記ターゲットユニットのコーナー領域が他の領域より小さなエッジ重み付け値を有するパターンを有する、請求項１２に記載の装置。
- 前記既に設定されたテンプレートグラフセットは、前記ターゲットユニットのサンプルパターンに基づいて決定された、請求項１２に記載の装置。
- 前記テンプレートインデックスは、複数個のテンプレートグラフの各々に対して設定される、請求項１１に記載の装置。
- グラフ基盤変換を用いてビデオ信号をエンコーディングする装置であって、
頂点パラメータセット及びエッジパラメータセットのうちの少なくとも１つを含むグラフパラメータに基づいて基本テンプレートグラフを生成し、前記基本テンプレートグラフのエッジ重み付け値を調整してテンプレートグラフセットを生成するグラフ信号生成部と、
前記テンプレートグラフセットからターゲットユニットに対応するテンプレートグラフを決定するグラフ基盤変換テンプレート決定部と、
前記テンプレートグラフのスペクトル分解を通じてグラフ基盤変換カーネルを獲得するグラフ基盤変換算出部と、を含む、装置。 - 前記テンプレートグラフセットに含まれた複数個のテンプレートグラフの各々に対応するテンプレートインデックスを生成するテンプレートインデックス生成部をさらに含む、請求項１６に記載の装置。
- 前記テンプレートグラフセットは複数個のテンプレートグラフを含み、前記複数個のテンプレートグラフは前記ターゲットユニットのコーナー領域が他の領域より小さなエッジ重み付け値を有するパターンを有する、請求項１６に記載の装置。
- 前記テンプレートグラフセットは、前記ターゲットユニットのサンプルパターンに基づいて生成される、請求項１６に記載の装置。
- 前記テンプレートグラフセットに対応するテンプレートインデックスを生成するテンプレートインデックス生成部をさらに含む、請求項１６に記載の装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462067990P | 2014-10-24 | 2014-10-24 | |
| US62/067,990 | 2014-10-24 | ||
| PCT/KR2015/011276 WO2016064242A1 (ko) | 2014-10-24 | 2015-10-23 | 그래프 템플릿으로부터 유도된 변환을 이용하여 비디오 신호를 디코딩/인코딩하는 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017537518A true JP2017537518A (ja) | 2017-12-14 |
| JP6356913B2 JP6356913B2 (ja) | 2018-07-11 |
Family
ID=55761188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017522371A Active JP6356913B2 (ja) | 2014-10-24 | 2015-10-23 | グラフテンプレートから誘導された変換を用いてビデオ信号をデコーディング／エンコーディングする方法及び装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10412415B2 (ja) |
| EP (1) | EP3211893B1 (ja) |
| JP (1) | JP6356913B2 (ja) |
| KR (1) | KR101912769B1 (ja) |
| CN (1) | CN107005691B (ja) |
| WO (1) | WO2016064242A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ITUB20153724A1 (it) * | 2015-09-18 | 2017-03-18 | Sisvel Tech S R L | Metodi e apparati per codificare e decodificare immagini o flussi video digitali |
| IT201600122898A1 (it) * | 2016-12-02 | 2018-06-02 | Ecole Polytechnique Fed Lausanne Epfl | Metodi e apparati per codificare e decodificare immagini o flussi video digitali |
| US10869060B2 (en) * | 2018-01-30 | 2020-12-15 | Google Llc | Efficient context model computation design in transform coefficient coding |
| HRP20230521T1 (hr) * | 2018-06-03 | 2023-08-04 | Lg Electronics Inc. | Postupak i uređaj za obradu video signala pomoću smanjene transformacije |
| US11956460B2 (en) * | 2018-08-31 | 2024-04-09 | Hulu, LLC | Selective template matching in video coding |
| CN109413435B (zh) * | 2018-10-26 | 2020-10-16 | 苏州市吴越智博大数据科技有限公司 | 一种基于视频压缩的预测方法 |
| CN116962678A (zh) * | 2019-01-12 | 2023-10-27 | Lg电子株式会社 | 图像解码/编码方法、存储介质和图像数据发送方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009514034A (ja) * | 2005-10-31 | 2009-04-02 | エルジー エレクトロニクス インコーポレイティド | 信号処理方法及びその装置、並びにエンコード、デコード方法及びその装置 |
| US20110206288A1 (en) * | 2010-02-12 | 2011-08-25 | Samsung Electronics Co., Ltd. | Image encoding/decoding system using graph based pixel prediction and encoding system and method |
| JP2013513333A (ja) * | 2009-12-08 | 2013-04-18 | トムソン ライセンシング | ビデオ符号化および復号化のためのテンプレート・マッチング予測の適応型残差更新のための方法および装置 |
| US20130272422A1 (en) * | 2010-06-11 | 2013-10-17 | Joo Hyun Min | System and method for encoding/decoding videos using edge-adaptive transform |
| JP2014007477A (ja) * | 2012-06-21 | 2014-01-16 | Research Organization Of Information & Systems | 濃淡画像符号化装置及び復号装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5122873A (en) * | 1987-10-05 | 1992-06-16 | Intel Corporation | Method and apparatus for selectively encoding and decoding a digital motion video signal at multiple resolution levels |
| KR101000312B1 (ko) | 2008-12-29 | 2010-12-13 | 중앙대학교 산학협력단 | 템플릿을 이용한 영상변환장치 및 방법 |
| US8873626B2 (en) | 2009-07-02 | 2014-10-28 | Qualcomm Incorporated | Template matching for video coding |
| KR101836981B1 (ko) | 2010-07-09 | 2018-03-09 | 한국전자통신연구원 | 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
| US9703822B2 (en) * | 2012-12-10 | 2017-07-11 | Ab Initio Technology Llc | System for transform generation |
| CN103763566B (zh) * | 2014-01-07 | 2016-09-28 | 西安建筑科技大学 | 基于三维矩阵wdct变换的彩色半调图像压缩方法 |
| US10567763B2 (en) * | 2015-05-26 | 2020-02-18 | Lg Electronics Inc. | Method and device for processing a video signal by using an adaptive separable graph-based transform |
| WO2016195455A1 (ko) * | 2015-06-04 | 2016-12-08 | 엘지전자(주) | 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치 |
| WO2017065795A1 (en) * | 2015-10-16 | 2017-04-20 | Hewlett Packard Enterprise Development Lp | Incremental update of a neighbor graph via an orthogonal transform based indexing |
| US10390048B2 (en) * | 2016-02-15 | 2019-08-20 | Qualcomm Incorporated | Efficient transform coding using optimized compact multi-pass transforms |
-
2015
- 2015-10-23 JP JP2017522371A patent/JP6356913B2/ja active Active
- 2015-10-23 EP EP15851689.8A patent/EP3211893B1/en active Active
- 2015-10-23 US US15/521,410 patent/US10412415B2/en active Active
- 2015-10-23 KR KR1020167036947A patent/KR101912769B1/ko active IP Right Grant
- 2015-10-23 WO PCT/KR2015/011276 patent/WO2016064242A1/ko active Application Filing
- 2015-10-23 CN CN201580063729.6A patent/CN107005691B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009514034A (ja) * | 2005-10-31 | 2009-04-02 | エルジー エレクトロニクス インコーポレイティド | 信号処理方法及びその装置、並びにエンコード、デコード方法及びその装置 |
| JP2013513333A (ja) * | 2009-12-08 | 2013-04-18 | トムソン ライセンシング | ビデオ符号化および復号化のためのテンプレート・マッチング予測の適応型残差更新のための方法および装置 |
| US20110206288A1 (en) * | 2010-02-12 | 2011-08-25 | Samsung Electronics Co., Ltd. | Image encoding/decoding system using graph based pixel prediction and encoding system and method |
| US20130272422A1 (en) * | 2010-06-11 | 2013-10-17 | Joo Hyun Min | System and method for encoding/decoding videos using edge-adaptive transform |
| JP2014007477A (ja) * | 2012-06-21 | 2014-01-16 | Research Organization Of Information & Systems | 濃淡画像符号化装置及び復号装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016064242A1 (ko) | 2016-04-28 |
| EP3211893A1 (en) | 2017-08-30 |
| US10412415B2 (en) | 2019-09-10 |
| US20170318311A1 (en) | 2017-11-02 |
| CN107005691B (zh) | 2020-04-14 |
| CN107005691A (zh) | 2017-08-01 |
| EP3211893A4 (en) | 2018-07-25 |
| JP6356913B2 (ja) | 2018-07-11 |
| KR101912769B1 (ko) | 2018-10-29 |
| KR20170016892A (ko) | 2017-02-14 |
| EP3211893B1 (en) | 2019-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200296426A1 (en) | In loop chroma deblocking filter | |
| JP6356913B2 (ja) | グラフテンプレートから誘導された変換を用いてビデオ信号をデコーディング／エンコーディングする方法及び装置 | |
| CN107431813B (zh) | 使用基于图的变换处理视频信号的方法和装置 | |
| US10880546B2 (en) | Method and apparatus for deriving intra prediction mode for chroma component | |
| KR101839663B1 (ko) | 인코딩 방법 및 장치, 디코딩 방법 및 장치, 및 컴퓨터 판독가능 저장 매체 | |
| US10681371B2 (en) | Method and device for performing deblocking filtering | |
| JP2014506444A (ja) | 遷移ゾーン中のサンプルの識別 | |
| JP2019534629A (ja) | 画像処理方法及びこのための装置 | |
| KR20180028468A (ko) | 싱글톤 계수 업데이트를 이용하여 변환을 수행하는 방법 및 장치 | |
| CN112235584B (zh) | 一种用于图像划分的方法及装置、编码、解码视频序列图像的方法及装置 | |
| KR20180021101A (ko) | 분리 가능한 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치 | |
| US20180048890A1 (en) | Method and device for encoding and decoding video signal by using improved prediction filter | |
| US10771815B2 (en) | Method and apparatus for processing video signals using coefficient induced prediction | |
| JP6592086B2 (ja) | 一般化されたグラフパラメータを用いてグラフ基盤変換を行う方法及び装置 | |
| KR20180061235A (ko) | 비디오 신호의 인코딩, 디코딩 방법 및 그 장치 | |
| KR102605285B1 (ko) | 다중 그래프 기반 모델에 따라 최적화된 변환을 이용하여 비디오 신호를 인코딩/디코딩하는 방법 및 장치 | |
| US20180063552A1 (en) | Method and apparatus for encoding and decoding video signal by means of transform-domain prediction | |
| US10785499B2 (en) | Method and apparatus for processing video signal on basis of combination of pixel recursive coding and transform coding | |
| KR20200000543A (ko) | 지도 학습을 이용한 영상 개선 방법 및 장치 | |
| US20230269385A1 (en) | Systems and methods for improving object tracking in compressed feature data in coding of multi-dimensional data | |
| WO2017135661A1 (ko) | 그래프 기반 분리 가능한 변환 (graph-based separable transform)을 이용하여 비디오 신호를 인코딩 / 디코딩하는 방법 및 장치 | |
| JP2024523435A (ja) | クロスコンポーネント適応ループフィルタのための方法及びシステム | |
| KR20180009358A (ko) | 영상의 부호화/복호화 방법 및 이를 위한 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180508 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180614 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6356913 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |