JP2017535159A - 向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 - Google Patents

向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 Download PDF

Info

Publication number
JP2017535159A
JP2017535159A JP2017518097A JP2017518097A JP2017535159A JP 2017535159 A JP2017535159 A JP 2017535159A JP 2017518097 A JP2017518097 A JP 2017518097A JP 2017518097 A JP2017518097 A JP 2017518097A JP 2017535159 A JP2017535159 A JP 2017535159A
Authority
JP
Japan
Prior art keywords
prediction
filter
partition
block
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017518097A
Other languages
English (en)
Other versions
JP6594966B2 (ja
Inventor
ギュレルユズ オヌール
ギュレルユズ オヌール
リ シュンヤオ
リ シュンヤオ
セフン イェ
セフン イェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2017535159A publication Critical patent/JP2017535159A/ja
Application granted granted Critical
Publication of JP6594966B2 publication Critical patent/JP6594966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本発明は、ビデオ信号をエンコーディングする方法において、フィルタバンクからベースフィルタカーネル（base filter kernel）セットを選択するステップ；前記ベースフィルタカーネル（base filter kernel）セットに基づいて予測フィルタパラメータを決定するステップ；前記予測フィルタパラメータに基づいてターゲット領域に対する参照領域のフィルタリングを遂行するステップ；及び前記フィルタリングされた参照領域に基づいてターゲット領域を予測するステップを含み、かつ前記予測フィルタパラメータは変調スカラー及びパーティション情報のうち、少なくとも一つを含むことを特徴とする方法を提供する。

Description

本発明はビデオ信号処理方法及び装置に関し、より詳しくは、ターゲット領域を効率良く予測するための技術に関する。
圧縮コーディングはデジタル化した情報を通信ラインに転送するか、またはデジタル化した情報を格納媒体に適切な形態に格納するための一連の信号処理技術を意味する。ビデオ、イメージ、及び音声のようなメディアが圧縮コーディングの対象になることができる。特に、ビデオに対する圧縮コーディングを遂行する技術をビデオ圧縮という。
次世代のビデオコンテンツは高い空間解像度、高いフレーム速度、及び高い次元のビデオ画面表現を提供することと期待されている。このようなコンテンツの処理のためには相当の量のメモリ格納容量、メモリ接近速度、及び処理能力が必要である。
これによって、予想される問題を解決し、解決策を提示することができるコーディング道具を設計することが好ましい。
既存のインター予測方法でターゲットイメージは、直四角形領域、正四角形領域などの固定された領域で構成され、各々のターゲット領域に対して変位ベクトルが算出される。前記変位ベクトルは、アンカー（anchor）イメージまたは参照イメージ内の該当領域を識別する。このような変位ベクトルはビデオシーケンスのためのモーション推定及びモーション補償のような技術を通じて算出できる。
これによって、予測過程でより効率良い予測方法を提供し、コーディング効率を向上させるための予測フィルタを設計することが必要である。
本発明の一実施形態は、高効率圧縮のためのコーディング道具を設計する方法を提供する。
また、本発明の一実施形態は、予測過程でのより効率良い予測方法を提供する。
また、本発明の一実施形態は、コーディング効率を改善するための予測フィルタの設計方法を提供する。
また、本発明の一実施形態は、コーディング効率を改善するために新規な方式により予測フィルタを媒介変数化する方法を提供する。
また、本発明の一実施形態は、ビデオ信号のエンコーディングまたはデコーディング過程で画面間の予測のためのピクチャに適用される予測フィルタを設計する方法を提供する。
また、本発明の一実施形態は、ターゲット領域をよりよく予測する方法を提供する。
本発明は高効率の圧縮のためのコーディング道具を設計することができる。本発明が適用される圧縮道具はターゲット領域を予測するに当たってノイズを除去することによって、より高いコーディング利得を得ることができる。
また、本発明は予測フィルタを設計することによって、より効率良い予測方法を提供することができ、設計された予測フィルタを今後のフレームのモーション補償された予測に活用することによって、ターゲットイメージのノイズを減少させることができ、これによってコーディング効率を向上させることができる。
本発明が適用される実施形態に従ってビデオ信号を処理するエンコータ及びデコーダの概略的ブロック図を例示する。 本発明が適用される実施形態に従ってビデオ信号を処理するエンコータ及びデコーダの概略的ブロック図を例示する。 本発明が適用される一実施形態に従ってアンカーイメージに基づいてターゲットイメージをどのように予測することかを例示する図面を示す。 本発明が適用される実施形態に従って設計されたフィルタを用いてビデオ信号を処理するエンコータ及びデコーダの概略的ブロック図を例示する。 本発明が適用される実施形態に従って設計されたフィルタを用いてビデオ信号を処理するエンコータ及びデコーダの概略的ブロック図を例示する。 本発明が適用される一実施形態に従うフィルタに基づいて予測ブロックを形成する方法を例示するフローチャートである。 本発明が適用される実施形態に従って予測フィルタを設計するエンコータ及び前記予測フィルタを用いてビデオ信号を処理するデコーダの概略的ブロック図を例示する。 本発明が適用される一実施形態に従って予測フィルタパラメータをエンコーディングする過程を例示するフローチャートである。 本発明が適用される一実施形態に従って予測フィルタパラメータを決定する過程を例示するフローチャートである。 本発明が適用される一実施形態に従って最適フィルタ係数及び最適パーティション情報を獲得する過程を例示するフローチャートである。 本発明が適用される一実施形態に従って全体分解（full decomposition）が適用されるブロックのパーティション情報を獲得する過程を例示するフローチャートである。 本発明が適用される一実施形態に従って最適フィルタ係数を獲得する詳細な過程を例示するフローチャートである。 本発明が適用される一実施形態に従って最適のパーティション情報を獲得する詳細な過程を例示するフローチャートである。 本発明が適用される一実施形態に従ってパーティションブロックの費用（cost）を算出する過程を例示するフローチャートである。 本発明が適用される一実施形態に従って予測ブロックを生成する費用 （cost）を算出する過程を例示するフローチャートである。 本発明が適用される一実施形態に従って予測フィルタパラメータに基づいてターゲット領域を予測する過程を例示するフローチャートである。 本発明が適用される一実施形態に従って予測フィルタパラメータを含むビデオ信号をデコーディングする過程を例示するフローチャートである。 本発明が適用される一実施形態に従って予測フィルタリングを遂行する予測フィルタリングユニット４７０の概略的な内部ブロック図を示す。
本発明は、ビデオ信号をエンコーディングする方法において、フィルタバンクからベースフィルタカーネル（base filter kernel）セットを選択するステップと、前記ベースフィルタカーネル（base filter kernel）セットに基づいて予測フィルタパラメータを決定するステップと、前記予測フィルタパラメータに基づいてターゲット領域に対する参照領域のフィルタリングを遂行するステップと、前記フィルタリングされた参照領域に基づいてターゲット領域を予測するステップを含み、かつ前記予測フィルタパラメータは変調スカラー及びパーティション情報のうち、少なくとも一つを含むことを特徴とする方法を提供する。
また、本発明で、前記決定された予測フィルタパラメータは、変調スカラー、パーティション情報、及びベースフィルタカーネルを含む変数で構成された費用関数を最小化することを特徴とする。
また、本発明は、パーティション関数を初期化するステップと、前記ターゲット領域のサイズが既に決定された最小サイズより大きいか否かを確認するステップと、前記ターゲット領域のサイズが既に決定された最小サイズより大きければ、前記ターゲット領域をサブブロックに分割し、前記パーティション関数に分割ノードシンボルを追加し、前記ターゲット領域のサイズが既に決定された最小サイズより大きくなければ、前記パーティション関数にリーフノードシンボルを追加するステップと、前記パーティション関数に基づいてパーティション情報を獲得するステップをさらに含むことを特徴とする。
また、本発明は、ビデオ信号をデコーディングする方法において、予測フィルタパラメータ、フィルタ選択情報、及びモーション情報を含むビデオ信号を受信するステップであって、前記予測フィルタパラメータは変調スカラー及びパーティション情報を含むステップと、前記モーション情報を用いて参照ブロックを獲得するステップと、前記変調スカラー及びベースフィルタカーネルに基づいて予測フィルタを決定するステップと、前記参照ブロックに対するフィルタリングを遂行するステップを含むことを特徴とする方法を提供する。
また、本発明で、前記フィルタリングはパーティションブロックの各々に対して遂行されることを特徴とする。
また、本発明で、前記フィルタリングされたパーティションブロックに基づいて予測ブロックを獲得するステップと、前記予測ブロックを用いてビデオ信号を復元するステップをさらに含むことを特徴とする。
また、本発明は、ビデオ信号をエンコーディングする装置において、フィルタバンクからベースフィルタカーネル（base filter kernel）セットを選択するフィルタ選択ユニットと、前記ベースフィルタカーネル（base filter kernel）セットに基づいて予測フィルタパラメータを決定するパラメータ決定ユニットと、前記予測フィルタパラメータに基づいてターゲット領域に対する参照領域のフィルタリングを遂行するフィルタリングユニットと、前記フィルタリングされた参照領域に基づいてターゲット領域を予測する予測ユニットを含み、かつ前記予測フィルタパラメータは変調スカラー及びパーティション情報のうち、少なくとも一つを含むことを特徴とする装置を提供する。
また、本発明で、前記決定された予測フィルタパラメータは、変調スカラー、パーティション情報、及びベースフィルタカーネルを含む変数で構成された費用関数を最小化することを特徴とする。
また、本発明で、前記パラメータ決定ユニットは、パーティション関数を初期化し、前記ターゲット領域のサイズが既に決定された最小サイズより大きいか否かを確認し、前記ターゲット領域のサイズが既に決定された最小サイズより大きければ、前記ターゲット領域をサブブロックに分割し、前記パーティション関数に分割ノードシンボルを追加し、前記ターゲット領域のサイズが既に決定された最小サイズより大きくなければ、前記パーティション関数にリーフノードシンボルを追加し、前記パーティション関数に基づいてパーティション情報を獲得することを特徴とする。
また、本発明は、ビデオ信号をデコーディングする装置において、予測フィルタパラメータ、フィルタ選択情報、及びモーション情報を含むビデオ信号を受信するビットストリーム受信ユニットと、前記モーション情報を用いて参照ブロックを獲得し、前記変調スカラー及びベースフィルタカーネルに基づいて予測フィルタを決定し、前記参照ブロックに対するフィルタリングを遂行する予測フィルタリングユニットを含み、かつ前記予測フィルタパラメータは、変調スカラー及びパーティション情報を含むことを特徴とする装置を提供する。
また、本発明で、前記フィルタリングされたパーティションブロックに基づいて予測ブロックを獲得する予測ユニットと、前記予測ブロックを用いてビデオ信号を復元する復元ユニットをさらに含むことを特徴とする。
以下、添付した図面を参照して本発明の実施形態の構成及びその作用を説明し、図面により説明される本発明の構成及び作用は一つの実施形態として説明されるものであり、これによって、本発明の技術的思想とその核心構成及び作用が制限されるものではない。
併せて、本発明で用いられる用語はできる限り、現在広く使われる一般的な用語を選択したが、特定の場合は出願人が任意に選定した用語を用いて説明する。そのような場合には該当部分の詳細説明でその意味を明確に記載するので、本発明の説明で用いられた用語の名称だけで単純解析されてはならず、その該当用語の意味まで把握して解析されなければならないことを明らかにしようとする。
また、本発明で使われる用語は発明を説明するために選択された一般的な用語や、類似の意味を有する他の用語がある場合、より適切な解析のために取替え可能である。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適切に取り替えられて解析できる。
図１及び図２は、本発明が適用される実施形態に従ってビデオ信号を処理するエンコータ及びデコーダの概略的ブロック図を例示する。
図１のエンコータ１００は、変換ユニット１１０、量子化ユニット１２０、逆量子化ユニット１３０、逆変換ユニット１４０、バッファ１５０、予測ユニット１６０、及びエントロピーエンコーディングユニット１７０を含む。
前記エンコータ１００はビデオ信号を受信し、前記ビデオ信号から前記予測ユニット１６０で出力された予測された信号を差し引きして予測エラーを生成する。
前記生成された予測エラーは、前記変換ユニット１１０に転送される。前記変換ユニット１１０は、変換方式を前記予測エラーに適用することによって変換係数を生成する。
前記量子化ユニット１２０は、前記生成された変換係数を量子化して前記量子化された係数をエントロピーエンコーディングユニット１７０に送る。
前記エントロピーエンコーディングユニット１７０は、前記量子化された信号に対するエントロピーコーディングを遂行し、エントロピーコーディングされた信号を出力する。
一方、前記量子化ユニット１２０により出力された前記量子化された信号は、予測信号を生成するために利用できる。例えば、前記エンコータ１００のループ内の前記逆量子化ユニット１３０及び前記逆変換ユニット１４０は、前記量子化された信号が予測エラーに復元されるように前記量子化された信号に対する逆量子化及び逆変換を遂行することができる。復元された信号は前記復元された予測エラーを前記予測ユニット１６０により出力された予測信号に加えることによって生成できる。
前記バッファ１５０は、予測ユニット１６０の今後の参照のために復元された信号を格納する。
前記予測ユニット１６０は以前に復元されて前記バッファ１５０に格納された信号を用いて予測信号を生成することができる。このような場合、本発明はアンカーイメージ内の領域を用いてターゲットイメージ内の領域を効率良く予測することに関連したものである。ここで、効率は率−歪み（Rate Distortion）の観点または予測エラー内の歪みを定量化する平均自乗エラーのような関連尺度に基づいて決定できる。
ターゲット領域をよりよく予測するために、本発明の一実施形態はコーディング効率を向上させるために予測フィルタをどのように設計し、前記予測フィルタに基づいてビデオ信号をどのように処理することかを説明する。
図２のデコーダ２００は、エントロピーデコーディングユニット２１０、逆量子化ユニット２２０、逆変換ユニット２３０、バッファ２４０、及び予測ユニット２５０を含む。
図２のデコーダ２００は、図１のエンコータ１００により出力された信号を受信する。
前記エントロピーデコーディングユニット２１０は、受信された信号に対してエントロピーデコーディングを遂行する。前記逆量子化ユニット２２０は、量子化ステップサイズ（quantization step size）に対する情報に基づいて前記エントロピーデコーディングされた信号から変換係数を獲得する。前記逆変換ユニット２３０は、変換係数に対する逆変換を遂行することによって予測エラーを取得する。復元された信号は前記獲得された予測エラーを前記予測ユニット２５０により出力された予測信号に加えることによって生成される。
前記バッファ２４０は、前記予測ユニット２５０の今後の参照のために前記復元された信号を格納する。
前記予測ユニット２５０は、以前に復元されて前記バッファ２４０に格納された信号に基づいて予測信号を生成する。
本発明が適用される前記予測方法は、前記エンコータ１００及び前記デコーダ２００全てで利用できる。
図３は、本発明が適用される一実施形態に従ってアンカーイメージに基づいてターゲットイメージをどのように予測することかを例示する図面を示す。
ターゲットイメージは、直四角形領域、正四角形領域などの固定された領域で構成されることができ、各々のターゲット領域に対して変位ベクトルが算出できる。前記変位ベクトルはアンカーイメージまたは参照イメージ内の該当領域を識別する。例えば、前記変位ベクトルはビデオシーケンスのためのモーション推定及びモーション補償を通じて算出できる。
本発明の技術はターゲット領域及びそれにマッチングされるアンカー領域に集中する技術であって、アンカー領域に基づいてターゲット領域を予測することによって、より予測をよく遂行できるようになる。これは、圧縮効率、ノイズ除去、空間−時間的超高解像度映像処理側面でより向上した結果をもたらすことができる。
前記アンカー領域ｘは次の＜数式１＞を通じて前記ターゲット領域ｙを予測するために利用できる。
図４及び図５は、本発明が適用される実施形態に従って設計されたフィルタを用いてビデオ信号を処理するエンコータ及びデコーダの概略的ブロック図を例示する。
図４のエンコータ４００は、変換ユニット４１０、量子化ユニット４２０、逆量子化ユニット４３０、逆変換ユニット４４０、バッファ４５０、予測ユニット４６０、予測フィルタリングユニット４７０、及びエントロピーエンコーディングユニット４８０を含む。
前記エンコータ４００を図１のエンコータ１００と比較すると、前記予測フィルタリングユニット４７０がエンコータ１００のブロック図に新しく追加された。したがって、図１の説明が図４にも同様に適用されることができ、及び前記予測フィルタリングユニット４７０と関連した内容は本明細書で以後に説明される。
また、前記予測フィルタリングユニット４７０が図４の予測ユニット４６０の以後に別途の機能的ユニットとして位置することはしたが、これは本発明の一実施形態に過ぎず、本発明はこれに限定されるものではない。例えば、前記予測フィルタリングユニット４７０の機能は、前記予測ユニット４６０またはその他の機能ユニットで遂行できる。
前記予測ユニット４６０は現在ブロックに対する変位ベクトルを用いてモーション補償を遂行することができ、参照ブロック、即ち、モーション補償されたブロックを探索することができる。この場合、前記エンコータ４００はモーションパラメータをデコーダ５００に転送することができる。前記モーションパラメータはモーション補償と関連した情報を示す。
本発明の一実施形態によれば、前記予測フィルタリングユニット４７０は予測ブロックを生成するために用いられる予測フィルタを構成することができる。
また、前記予測フィルタリングユニット４７０は予測フィルタ及び参照ブロックの線形畳み込みを用いて予測ブロックを生成することができる。このような場合、前記参照ブロックはアンカー領域としてモーション補償されたブロックを示すことができる。
本発明の一実施形態によれば、前記予測フィルタはフィルタカーネル及び変調スカラーを用いて構成できる。エンコータ４００及びデコーダ５００は、フィルタパラメータを共有することができ、前記フィルタパラメータは前記予測フィルタと関連したパラメータ情報を示す。例えば、前記フィルタパラメータはフィルタ係数及びパーティション情報のうち、少なくとも一つを含むことができる。
一方、図５のデコーダ５００は、エントロピーデコーディングユニット５１０、逆量子化ユニット５２０、逆変換ユニット５３０、バッファ５４０、予測ユニット５５０、及び予測フィルタリングユニット５６０を含む。
図５に説明したように、本発明の一実施形態によれば、前記予測フィルタリングユニット５６０は予測ブロックを生成するために用いられる予測フィルタを構成することができる。
また、前記予測フィルタリングユニット５６０は前記予測フィルタ及び参照ブロックの線形畳み込みを用いて予測ブロックを生成することができる。
このような場合、フィルタパラメータのうちの少なくとも一つは、前記エンコータ４００から転送できる。例えば、前記フィルタパラメータは全てのインター予測ブロック（inter-predicted block）に対して前記エンコータ４００から転送されるか、または選択的に前記エンコータ４００から転送できる。
前記デコーダ５００を図２のデコーダ２００と比較すると、前記予測フィルタリングユニット５６０がデコーダ２００のブロック図に新しく追加された。したがって、図１、図２、及び図４の説明が図５にも同様に適用できる。
また、前記予測フィルタリングユニット５６０が図５の予測ユニット５５０の以後に別途の機能的ユニットとして位置することはしたが、これは本発明の一側面であり、本発明はこれに限定されるものではない。例えば、前記予測フィルタリングユニット５６０の機能は前記予測ユニット５５０またはその他の機能ユニットで遂行できる。
図６は、本発明が適用される一実施形態に従うフィルタに基づいて予測ブロックを形成する方法を例示するフローチャートである。
この後、前記エンコータは以下の＜数式３＞のように予測フィルタを基盤にした線形畳み込みを用いて予測ブロックを形成することができる。
この＜数式３＞で、ｍ＝１，…，Ｂであり、ｎ＝１，…，Ｂ、であり、ｇ*ｘはアンカー領域に対する予測フィルタの線形畳み込み（linear convolution of the prediction filter with the anchor region）を示す。前記アンカー領域はモーション補償の以後に獲得された参照ブロックを示すことができる。
以下、本発明が適用されるフィルタを効率良く設計するための多様な方法を説明する。
ビデオコーディング過程で、一般的なフィルタを設計することは制限されたデータから探り出さなければならない多いパラメータを必要とするので、難しいことである。少ない数のパラメータを有する簡単なフィルタは知り易いが、結果的に性能が満足できないことがある。したがって、少ない数のパラメータを有する効率良いフィルタを設計することができる技術の必要性が増大する。
本発明が適用される一実施形態において、フィルタカーネルは固定されることができ、変調スカラーは次の＜数式４＞のような制限最小化（constraint minimization）を解決するために算出できる。
前記＜数式５＞は実質的にさらに簡単に解を獲得できるようにする。
本発明の一実施形態において、ベースフィルタカーネルは次の＜数式６＞を満たすように選択できる。
本発明の一実施形態において、前記ベースフィルタカーネルは次の＜数式７＞のように定義できる。
このようなフィルタは空間ドメイン上で細密でない結果をもたらすことがある。
前記値を順にベクトルで整列すれば、＜数式１１＞を得ることができる。
また、予測内の全てのピクセル（ｍ、ｍ）に対して整理すれば、以下のように＜数式１２＞を得ることができる。
前記の順に整列されたターゲットイメージを考慮すれば、訓練集合（training set）上の最適のフィルタが次の＜数式１３＞のように得られる。
本発明の他の実施形態は以下の＜数式１４＞のように訓練集合（training set）上のフィルタカーネルを設計することができる。
このような場合、ブロックの訓練対は（ｙ1，ｘ1）、（ｙ2，ｘ2），…，（ｙs，ｘs）として定義できる。例えば、ｓは１００、１０００、１１９１９１などの整数を示す。
また、前記＜数式１４＞の内部最小化成分（inner minimization component）
は、例えば、図７で説明される＜数式１５＞乃至＜数式１８＞の他の実施形態に代替できる。
本発明の一実施形態において、前記エンコータ及び前記デコーダはビデオシーケンスのフレーム（または、フレームの部分）に対して同一な最適化過程を遂行することができ、結果的に獲得されるフィルタを今後フレーム（または、残余フレームの部分）のモーション補償予測に用いることができる。
本発明の一実施形態において、四分木分解または他の領域分解に対する最適化は、フィルタｆに対する最適化と結合して遂行できる。更に他の実施形態において、モーション補償、光学的手続、ノイズ除去、及び最適化と関連したその他の処理もまたフィルタｆに対する最適化と結合して遂行できる。
本発明の一実施形態において、モーション補償で用いられた内挿（interpolation）フィルタが前記設計されたフィルタと結合して全体的なフィルタリング複雑度を低めることができる。
図７は、本発明が適用される実施形態に従って予測フィルタを設計するエンコータ及び前記予測フィルタを用いてビデオ信号を処理するデコーダの概略的ブロック図を例示する。
本発明は２Ｄフィルタｆの支援がＫ×Ｌであると仮定し、この際、Ｋ及びＬは１より大きいか１と等しい整数である。例えば、前記フィルタは偶数または奇数サイズの正四角形、
と定義できる。
このようなフィルタはＫＬフィルタタブの値を用いて媒介変数化できる。本発明で目標とする圧縮応用分野で、フィルタは各ｘ、ｙ対に対してエンコータで設計されることができ、フィルタパラメータは前記デコーダで送られることができる。
しかしながら、前記フィルタのパラメータの個数が多いほどこのようなパラメータを与えられた目標ビットレート（target bitrate）で転送チャンネルを介して転送することが難しいことがある。
したがって、本発明はパラメータの個数を減らす方法のうちの一つとして、フィルタｆが対称になるように制限する方法を提案する。例えば、このような方法は２次元の場合、フィルタｆのパラメータ個数をほぼ４個のうちの一つを減らすことができる。一方、このような対称フィルタはアンカーイメージ領域内の方向構造に適合しないので、フィルタリング及び予測効率が減少することがある。
周波数ドメインで前記フィルタを制限する更に他の方法は、例えば帯域幅、通過帯域、及び停止帯域パラメータを用いてｆをローパス（low-pass）、ハイパス（high-pass）、帯域パス（band-pass）などに制限するものである。しかしながら、このような接近方式また方向構造や精巧な領域を有するイメージに対しては適切でないことがある。
したがって、多様な種類のビデオシーケンスを圧縮することに有用に利用できるベースフィルタカーネルを設計することが必要である。
この場合、変調スカラーは各ｒに対して変化し、一方、前記フィルタカーネルは固定される。
前記数式で、Ｆは行列を示す。ベクトル表示を用いる時、本発明はターゲットベクトルが＜数式２４＞のように与えられる統計的モデルを考慮することができる。
平均自乗予測エラー（mean-squared prediction error）は＜数式２５＞のように獲得できる。
ここで、ノイズがホワイトノイズの場合、＜数式２８＞が利用できる。
前記＜数式２９＞は全てのｒに対して＜数式３０＞のように書き直すことができる。
＜数式３２＞は＜数式３３＞のように単純化できる。
表示（notation）の便宜上、本発明はｒが均一に分布したことと仮定する。この際、和から２番目の項は＜数式３４＞に比例するようになる。
ベースフィルタカーネルと変調重み付け値の結合最適化（joint optimization）は＜数式３５＞のように提供できる。
本発明の一実施形態は、前記のような過程を通じてベースフィルタカーネルと変調重み付け値を生成することができる。
本発明の一実施形態では、訓練対の集合（a set of training pairs）が相互関係及び交差相互関係統計を生成することに利用でき、これはまた前記のようなエンコータ及びデコーダシステムを獲得することに利用できる。
本発明の他の実施形態では、相互関係及び交差相互関係統計に到達するためによく知られた統計モデル技術が利用できる。
本発明の他の実施形態では、ベースフィルタカーネルの集合を獲得してビデオ圧縮に用いることができる。エンコータ及びデコーダのうちの少なくとも一つはベースフィルタカーネル情報を格納して接近するか、または外部に接続して獲得することができる。そして、変調重み付け値はコーディングを遂行する間決定されることができ、これはエンコータからデコーダに転送できる。
本発明の他の実施形態では、互いに異なる訓練集合（training set）に対して一つ以上のベースフィルタカーネルの集合が生成できる。このようなベース−フィルタカーネルの集合は格納所（dictionary or storage）またはデータベース（database）内に置かれることができる。以後に、圧縮を実行する間、前記エンコータは、先にベースフィルタカーネルの集合を選択し、前記選択されたベースフィルタカーネルをデコーダに転送することができる。
本発明の他の実施形態では、ベースフィルタカーネルと変調スカラーはスケーリングされることができ、前記変調スカラーは変換過程を用いることによって同一な予測フィルタリング結果を得ながら、より効率良い圧縮を遂行できるようになる。例えば、ｙ＝ＦＣを通じて予測フィルタリングを遂行することを仮定する時、ｙ＝ＦＣＴ-1ＴＣのように遂行する場合、変換過程（ＴＣ成分）を経ることによって、より効率良い圧縮が可能になる。
図８は、本発明が適用される一実施形態に従って予測フィルタパラメータをエンコーディングする過程を例示するフローチャートである。
参照フレーム（または、アンカーフレーム）及び圧縮されるブロックがモーションベクトル及びＣＰＦ変調重み付け値を決定するモジュールに提供できる。前記モジュールはターゲットブロックＹの予測フィルタパラメータを決定することができる（Ｓ８２０）。例えば、前記過程は予測フィルタリングユニット４７０、パラメータ決定ユニット４７３及び／又はフィルタパラメータ決定ユニット４７５により遂行できる。
前記予測フィルタパラメータ及び前記選択情報はエンコーディングされて圧縮されたビットストリームでデコーダに転送できる（Ｓ８３０）。デコーダで、この過程は逆に遂行できる。
前記ベース予測フィルタバンクは最適化を用いるビデオシーケンスの訓練集合（training set）を用いて構成できる。
予測フィルタパラメータが一旦決定されれば、これらは本発明の分野でよく知られた方法を用いてデコーダに転送できる。例えば、四分木パーティショニングはビデオコーディングシステムでパーティショニング情報が転送されることと類似の方式により転送できる。前記予測フィルタパラメータはビデオコーディングシステムにおける変換係数が転送されることと類似の方式により転送できる。
図９は、本発明が適用される一実施形態に従って予測フィルタパラメータを決定する過程を例示するフローチャートである。
本発明の一実施形態において、前記エンコータはアンカーブロックに対して四分木分解を遂行し、各リーフノードに対するＣＰＦ変調重み付け値を決定することができる。そして、対応するＣＰＦに基づいて前記リーフノードをフィルタリングし、フィルタリングされた結果を予測ブロックに用いることができる。
本発明の一実施形態に、モーションベクトル測定過程内で本発明を適用することによって予測フィルタパラメータを決定することができる。
各々のモーションベクトルに対し、モーションベクトルを用いてモーション補償されたブロックを獲得することができる（Ｓ９１０）。例えば、候補モーションベクトルを用いてモーション補償された候補参照ブロックを獲得することができる。
前記予測フィルタリングユニット４７０は費用関数ｃｏｓｔ（Ｙ、ｂ、Ｃb、Ｐb、Ｆ）を最小化するフィルタ係数Ｃb及びパーティション情報Ｐbを探索することができる（Ｓ９２０）。
また、前記予測フィルタリングユニット４７０は前記費用関数ｃｏｓｔ（Ｙ、ｂ、Ｃb、Ｐb、Ｆ）が予め定義された最小値（minCost）より小さいか否かを確認することができる（Ｓ９３０）。
前記費用関数ｃｏｓｔ（Ｙ、ｂ、Ｃb、Ｐb、Ｆ）が予め定義された最小値（minCost）より小さな場合、前記フィルタ係数Ｃb*、前記パーティション情報Ｐb*、応対したベクトルｍｖ*及び費用関数の最小値は前記条件を満たす値に設定できる（Ｓ９４０）。
以後、前記予測フィルタリングユニット４７０は追加的に探索しなければならないモーションベクトルが存在するかを確認することができる（Ｓ９５０）。
追加的に探索しなければならないモーションベクトルが存在する場合、前記過程は再帰的に遂行できる。しかしながら、追加的に探索しなければならないモーションベクトルが存在しない場合、前記予測フィルタリングユニット４７０は前記フィルタ係数Ｃb*、前記パーティション情報Ｐb*、モーションベクトルｍｖ*、及び費用関数の最小値を最適の値に出力することができる。
図１０は、本発明が適用される一実施形態に従って最適フィルタ係数及び最適パーティション情報を獲得する過程を例示するフローチャートである。
本発明の一実施形態において、最小ユニットminUnit、ターゲットブロックＹ、参照ブロックｂ、及びベース予測フィルタＦが与えられれば、前記予測フィルタリングユニット４７０は費用関数を共に最小化する予測フィルタパラメータを探すことができる。
まず、前記予測フィルタリングユニット４７０は四分木のような初期パーティション情報Ｐfullを構成することができる（Ｓ１０１０）。前記初期パーティション情報Ｐfullは＜数式３６＞のように定義できる。
例えば、最小ユニットminUnitの値は４の値に設定できる。
以後、前記予測フィルタリングユニット４７０は初期パーティション情報Ｐfullに基づいて最適フィルタ係数Ｃb及び最適パーティション情報Ｐbを獲得することができる（Ｓ１０２０）。
例えば、最適フィルタ係数Ｃb及び最適パーティション情報Ｐbは次の＜数式３７＞により獲得できる。
図１１は、本発明が適用される一実施形態に従って全体分解（full decomposition）が適用されるブロックのパーティション情報を獲得する過程を例示するフローチャートである。
まず、初期パーティション情報Ｐfullは初期化できる（Ｓ１１１０）。
前記予測フィルタリングユニット４７０はターゲットブロックYのサイズが最小ユニットminUnitより大きいか否かを確認することができる（Ｓ１１２０）。
ターゲットブロックYのサイズが最小ユニットminUnitより大きい場合、前記予測フィルタリングユニット４７０は、前記ターゲットブロックYを４個のサブブロックΦi（ｉ＝１、２、３、４）に分割し、パーティション関数Ｐ＝｛Ｐ、Ｄ｝に分割ノードシンボル（divide-node-symbol）を追加することができる（Ｓ１１３０）。
例えば、ｉ＝１、２、３、４に対し、パーティション情報Ｐbは＜数式３８＞のように構成できる。
しかしながら、ターゲットブロックYのサイズがminUnitより大きくない場合、前記予測フィルタリングユニット４７０はリーフノードシンボル（leaf node symbol）をパーティション関数Ｐ＝｛Ｐ、Ｌ｝に追加することができる（Ｓ１１４０）。
図１２は、本発明が適用される一実施形態に従って最適フィルタ係数を獲得する詳細な過程を例示するフローチャートである。
図１２の実施形態において、本発明は最適フィルタ係数を獲得するための方法を提供する。
最適予測フィルタパラメータを探し出すために、前記パーティション情報Ｐbは＜数式３９＞のように定義できる。
Ｐb内の各リーフノードｎLに対し、前記予測フィルタリングユニット４７０はターゲットブロックＹからのｎLに対応するブロックΦを獲得することができ（Ｓ１２１０）、モーション補償されたブロックｂからのｎLに対応するブロックγを獲得することができる（Ｓ１２２０）。このような場合、ブロックΦは前記ターゲットブロックＹ内の各リーフノードに対応するパーティショニングブロックを示し、前記ブロックγは前記モーション補償されたブロックＹ内の各リーフノードに対応するパーティショニングブロックを示す。
前記予測フィルタリングユニット４７０は、＜数式４０＞のように前記ブロックΦ、ブロックγ、及び前記ベース予測フィルタに基づいてフィルタ係数を算出することができる。
以後、前記算出されたフィルタ係数は＜数式４１＞のように量子化できる。
図１３は、本発明が適用される一実施形態に従って最適のパーティション情報を獲得する詳細な過程を例示するフローチャートである。
＜数式３９＞のようにパーティション情報を獲得するためのパーティション関数が与えられた時、前記予測フィルタリングユニット４７０は現在ブロックがリーフノードに対応するか否かを確認することができる（Ｓ１３１０）。
現在ブロックがリーフノードに対応する場合、前記予測フィルタリングユニット４７０はパーティション関数Ｐをパーティション情報Ｐ’として構成することができる。
しかしながら、現在ブロックがリーフノードに対応しない場合、前記予測フィルタリングユニット４７０はフィルタリング無しでブロックγを用いてブロックΦを予測する費用を算出することができる（Ｓ１３２０）。前記算出を通じて、前記予測フィルタリングユニット４７０はＣｏｓｔ１を獲得することができる。
また、現在ブロックがリーフノードに対応しない場合、前記予測フィルタリングユニット４７０はブロックΦとブロックγを４個のサブブロックΦi、γi（ｉ＝１、２、３、４）に分割することができ、関連したノード情報ｎiを獲得することができる（Ｓ１３３０）。
また、前記予測フィルタリングユニット４７０は＜数式４２＞に基づいてノード情報ｎiの費用を算出することができる（Ｓ１３４０）。
＜数式４２＞を通じて、前記予測フィルタリングユニット４７０はＣｏｓｔ２を得ることができる。
以後、前記予測フィルタリングユニット４７０はＣｏｓｔ１がＣｏｓｔ２より小さいか等しいかを確認することができる（Ｓ１３５０）。即ち、現在ブロックがリーフノードでない場合にはフィルタリング無しで予測されたブロックに対する費用とサブブロックに分割されたノードの費用を算出して比較することによって、より効率良い方法を選択できるようになる。
Ｃｏｓｔ１がＣｏｓｔ２より小さいか等しい場合、前記予測フィルタリングユニット４７０はノード情報ｎi及び前記パーティション関数Ｐからの導出された情報を切り出すことができる（Ｓ１３６０）。
一方、Ｃｏｓｔ１がＣｏｓｔ２より大きい場合、前記予測フィルタリングユニット４７０はパーティション関数Ｐをパーティション情報Ｐ’で構成することができる。
図１４は、本発明が適用される一実施形態に従ってパーティションブロックの費用を算出する過程を例示するフローチャートである。
本発明の一実施形態において、＜数式４２＞のようにパーティションブロックの費用を算出する過程が詳細に説明される。
前記予測フィルタリングユニット４７０は＜数式４２＞のようにノード情報の費用ｎiを算出することができる。
まず、前記予測フィルタリングユニット４７０は前記ノード情報ｎiがリーフノードに対応するか否かを確認することができる（Ｓ１４１０）。
前記ノード情報ｎiがリーフノードに対応する場合、前記予測フィルタリングユニット４７０はブロックγを用いてブロックΦを予測する費用を算出することができる（Ｓ１４２０）。ブロックΦを予測する費用を算出するための過程は図１５で詳細に説明される。
しかしながら、現在ブロックがリーフノードに対応しない場合、前記予測フィルタリングユニット４７０はブロックΦとブロックγを４個のサブブロックΦi、γi（ｉ＝１、２、３、４）に分割し、関連したノード情報ｎi（ｉ＝１、２、３、４）を獲得することができる（Ｓ１４３０）。
また、前記予測フィルタリングユニット４７０は前記＜数式４２＞に従ってノード情報ｎiの費用を算出することができる（Ｓ１４４０）。
図１５は、本発明が適用される一実施形態に従って予測ブロックを生成する費用を算出する過程を例示するフローチャートである。
本発明の一実施形態ではブロックΦを予測する費用を算出する方法を提供する。
前記予測フィルタリングユニット４７０はブロックΦ、ブロックγ、及びベース予測フィルタＦに基づいてフィルタ係数を算出することができる（Ｓ１５１０）。例えば、前記＜数式４０＞が前記フィルタ係数を算出するために利用できる。
また、前記算出されたフィルタ係数は量子化できる（Ｓ１５２０）。例えば、フィルタ係数を量子化するために前記＜数式４１＞が利用できる。
前記予測フィルタリングユニット４７０は＜数式４３＞のような予測関数を用いて予測信号を生成することができる（Ｓ１５３０）。
＜数式４３＞で、ρは予測信号を示し、Γはフィルタリングされたブロックを示す。ΓはΓｉ＝y*fiで表現されることができ、この際、ｙはブロックを示し、ｆiはフィルタカーネルを示す。
一方、ベース予測フィルタＦが与えられれば、前記予測フィルタリングユニット４７０は前記予測フィルタＦを用いてブロックγのフィルタリングを遂行することができる（Ｓ１５４０）。
前記フィルタリングされたブロックΓはＳ１５３０で予測信号を形成するために活用できる。
この後、前記予測フィルタリングユニット４７０は＜数式４４＞を用いてブロックΦを予測する費用を算出することができる。
図１６は、本発明が適用される一実施形態に従って予測フィルタパラメータに基づいてターゲット領域を予測する過程を例示するフローチャートである。
本発明は、予測フィルタパラメータに基づいてターゲット領域を予測するエンコーディング過程を提供する。
前記エンコータはターゲット領域の候補モーションベクトルを算出することができ（Ｓ１６１０）、前記候補モーションベクトルを用いて参照領域を決定することができる（Ｓ１６２０）。
前記エンコータはベース予測フィルタに基づいて予測フィルタパラメータを決定することができる（Ｓ１６３０）。このような場合、前記予測フィルタパラメータはフィルタ係数及びパーティション情報のうち、少なくとも一つを含んで費用関数を最小化するために決定される。
前記ベース予測フィルタは予め定義された予測フィルタバンクから選択できる。
予測フィルタパラメータを決定するための多様な実施形態が本実施形態に適用できる。
前記エンコータは前記予測フィルタパラメータに基づいてターゲット領域を予測することができる（Ｓ１６４０）。
図１７は、本発明が適用される一実施形態に従って予測フィルタパラメータを含むビデオ信号をデコーディングする過程を例示するフローチャートである。
本発明は、予測フィルタパラメータを含むビデオ信号をデコーディングする方法を提供する。
デコーダは、予測フィルタパラメータ、フィルタ選択情報、及びモーション情報のうち、少なくとも一つを含むビデオ信号を受信することができる（Ｓ１７１０）。
前記デコーダは前記ビデオ信号から予測フィルタパラメータを獲得してデコーディングすることができる（Ｓ１７２０）。ここで、前記予測フィルタパラメータはフィルタ係数及びパーティション情報のうち、少なくとも一つを含むことができる。他の実施形態に、前記予測フィルタパラメータはデコーダ内の他の情報から誘導されることもできる。
前記デコーダは前記フィルタ係数及び前記フィルタ選択情報のうち、少なくとも一つに基づいて予測フィルタを決定することができる（Ｓ１７３０）。このような場合、前記フィルタ選択情報は前記ビデオ信号から獲得されるか、または他の情報から誘導できる。前記デコーダは、前記フィルタ選択情報に基づいて用いられる予測フィルタをベース予測フィルタバンクから選択することができる（Ｓ１７４０）。
前記デコーダはパーティション情報に基づいてモーション補償されたブロック内のパーティションブロックの各々に対してフィルタリングを遂行することができる（Ｓ１７５０）。
一方、前記デコーダはモーション情報を用いてモーション補償されたブロックを獲得することができる（Ｓ１７６０）。前記モーション補償されたブロックはステップＳ１７５０で利用できる。
図１８は、本発明が適用される一実施形態に従って予測フィルタリングを遂行する予測フィルタリングユニット４７０の概略的な内部ブロック図を示す。
本発明が適用される予測フィルタリングユニット４７０は、フィルタ選択ユニット４７２及びパラメータ決定ユニット４７３を含むことができ、前記パラメータ決定ユニット４７３は費用算出ユニット（４７４）、フィルタパラメータ決定ユニット４７５、及びＭＶ（Motion Vector）決定ユニット（４７６）を含むことができる。前記予測フィルタリングユニット４７０は図４のエンコータ内で別個の機能的ユニットとして位置することと例示したが、これは本発明の一側面であり、本発明はこれに限定されるものではない。例えば、前記予測フィルタリングユニット４７０は予測ユニット４６０内に位置することもでき、または他のユニットの間に位置することもできる。また、フィルタバンク４７１も前記予測フィルタリングユニット４７０と別個に位置できるが、これもまた本発明の一側面であり、本発明はこれに限定されるものではない。例えば、前記フィルタバンク４７１は前記予測フィルタリングユニット４７０または予測ユニット４６０内に含まれて利用されるか、またはエンコータの外部または別個の格納所に含まれて利用できる。これはデコーダの場合にも類似するように適用可能である。
前記予測フィルタリングユニット４７０は、予測フィルタ及び参照ブロックの線形畳み込みを用いて予測ブロックを生成することができる。
まず、前記フィルタ選択ユニット４７２はフィルタバンク４７１（または、予測フィルタバンク、またはベース予測フィルタ格納所Ω）からベース予測フィルタの集合を選択することができる。
前記パラメータ決定ユニット４７３は、参照フレームまたはアンカーフレーム、及びコーディングブロックを参照して予測フィルタパラメータを決定することができ、前記予測フィルタパラメータに基づいてモーションベクトル及びＣＰＦ変調重み付け値を決定することができる。前記予測フィルタパラメータ及び選択情報のうちの少なくとも一つはエンコーディングされて圧縮されたビットストリームでデコーダに転送されることができ、デコーダではこれを逆に遂行することができる。
前記費用算出ユニット４７４は費用関数ｃｏｓｔ（Ｙ、ｂ、Ｃb、Ｐb、Ｆ）を最小化するフィルタ係数Ｃb及びパーティション情報Ｐbを探すために、前記＜数式３６＞及び前記＜数式３７＞を用いることができる。
前記フィルタパラメータ決定ユニット４７５は、前記費用関数ｃｏｓｔ（Ｙ、ｂ、Ｃb、Ｐb、Ｆ）が予め定義された最小値（minCost）より小さいか否かを確認することができる。例えば、前記費用関数ｃｏｓｔ（Ｙ、ｂ、Ｃb、Ｐb、Ｆ）が予め定義された最小値（minCost）より小さな場合、獲得されたフィルタ係数Ｃb*及びパーティション情報Ｐb*が予測フィルタパラメータの値に設定できる。
そして、前記ＭＶ（Motion Vector）決定ユニット４７６は追加的に探索しなければならないモーションベクトルが存在するかを確認することができる。追加的に探索しなければならないモーションベクトルが存在する場合、前記過程が再帰的に遂行できる。
しかしながら、追加的に探索しなければならないモーションベクトルが存在しない場合、前記費用関数ｃｏｓｔ（Ｙ、ｂ、Ｃb、Ｐb、Ｆ）を最小にするフィルタ係数Ｃb*、パーティション情報Ｐb*、及びモーションベクトルを最適の値に決定することができる。
前述したように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラー、またはチップ上で具現されて遂行できる。例えば、前記図１、図２、図４、図５、及び図１８で図示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で具現されて遂行できる。
本発明が適用されるデコーダ及びエンコータは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、格納媒体、キャムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号及びデータ信号を処理するために利用できる。
また、本発明が適用される処理方法はコンピュータにより実行されるプログラムの形態に生産されることができ、コンピュータにより読み取ることができる記録媒体に格納できる。本発明に従うデータ構造を有するマルチメディアデータもまたコンピュータにより読み取ることができる記録媒体に格納できる。前記コンピュータにより読み取ることができる記録媒体はコンピュータにより読み取ることができるデータが格納される全ての種類の格納装置を含む。前記コンピュータにより読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータにより読み取ることができる記録媒体は、搬送波（例えば、インターネットを通じての転送）の形態に具現されたメディアを含む。また、エンコーディング方法により生成されたビットストリームがコンピュータにより読み取ることができる記録媒体に格納されるか、または有無線通信ネットワークを介して転送できる。
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであって、当業者であれば、以下に添付した特許請求範囲に開示された本発明の技術的思想とその技術的範囲内で、多様な他の実施形態を改良、変更、取替、または付加などが可能である。

Claims (12)

  1. ビデオ信号をエンコーディングする方法であって、
    フィルタバンクからベースフィルタカーネル（base filter kernel）セットを選択するステップと、
    前記ベースフィルタカーネル（base filter kernel）セットに基づいて予測フィルタパラメータを決定するステップと、
    前記予測フィルタパラメータに基づいてターゲット領域に対する参照領域のフィルタリングを遂行するステップと、
    前記フィルタリングされた参照領域に基づいてターゲット領域を予測するステップとを含み、
    前記予測フィルタパラメータは変調スカラー及びパーティション情報のうち、少なくとも一つを含む、方法。
  2. 前記決定された予測フィルタパラメータは、変調スカラー、パーティション情報、及びベースフィルタカーネルを含む変数で構成された費用関数を最小化する、請求項１に記載の方法。
  3. パーティション関数を初期化するステップと、
    前記ターゲット領域のサイズが既に決定された最小サイズより大きいか否かを確認するステップと、
    前記ターゲット領域のサイズが既に決定された最小サイズより大きければ、前記ターゲット領域をサブブロックに分割して前記パーティション関数に分割ノードシンボルを追加し、
    前記ターゲット領域のサイズが既に決定された最小サイズより大きくなければ、前記パーティション関数にリーフノードシンボルを追加するステップと、
    前記パーティション関数に基づいてパーティション情報を獲得するステップと、をさらに含む、請求項１に記載の方法。
  4. ビデオ信号をデコーディングする方法であって、
    予測フィルタパラメータ、フィルタ選択情報、及びモーション情報を含むビデオ信号を受信するステップであって、前記予測フィルタパラメータは変調スカラー及びパーティション情報を含む、ステップと、
    前記モーション情報を用いて参照ブロックを獲得するステップと、
    前記変調スカラー及びベースフィルタカーネルに基づいて予測フィルタを決定するステップと、
    前記参照ブロックに対するフィルタリングを遂行するステップと、を含む、方法。
  5. 前記フィルタリングはパーティションブロックの各々に対して遂行される、請求項４に記載の方法。
  6. 前記フィルタリングされたパーティションブロックに基づいて予測ブロックを獲得するステップと、
    前記予測ブロックを用いてビデオ信号を復元するステップと、をさらに含む、請求項４に記載の方法。
  7. ビデオ信号をエンコーディングする装置であって、
    フィルタバンクからベースフィルタカーネル（base filter kernel）セットを選択するフィルタ選択ユニットと、
    前記ベースフィルタカーネル（base filter kernel）セットに基づいて予測フィルタパラメータを決定するパラメータ決定ユニットと、
    前記予測フィルタパラメータに基づいてターゲット領域に対する参照領域のフィルタリングを遂行するフィルタリングユニットと、
    前記フィルタリングされた参照領域に基づいてターゲット領域を予測する予測ユニットと、を含み、
    前記予測フィルタパラメータは変調スカラー及びパーティション情報のうち少なくとも一つを含む、装置。
  8. 前記決定された予測フィルタパラメータは、変調スカラー、パーティション情報、及びベースフィルタカーネルを含む変数で構成された費用関数を最小化する、請求項７に記載の装置。
  9. 前記パラメータ決定ユニットは、
    パーティション関数を初期化し、前記ターゲット領域のサイズが既に決定された最小サイズより大きいか否かを確認し、前記ターゲット領域のサイズが既に決定された最小サイズより大きければ、前記ターゲット領域をサブブロックに分割し、前記パーティション関数に分割ノードシンボルを追加し、前記ターゲット領域のサイズが既に決定された最小サイズより大きくなければ、前記パーティション関数にリーフノードシンボルを追加し、前記パーティション関数に基づいてパーティション情報を獲得する、請求項７に記載の装置。
  10. ビデオ信号をデコーディングする装置であって、
    予測フィルタパラメータ、フィルタ選択情報、及びモーション情報を含むビデオ信号を受信するビットストリーム受信ユニットと、
    前記モーション情報を用いて参照ブロックを獲得し、前記変調スカラー及びベースフィルタカーネルに基づいて予測フィルタを決定し、前記参照ブロックに対するフィルタリングを遂行する予測フィルタリングユニットと、を含み、
    前記予測フィルタパラメータは変調スカラー及びパーティション情報を含む、装置。
  11. 前記フィルタリングはパーティションブロックの各々に対して遂行される、請求項１０に記載の装置。
  12. 前記フィルタリングされたパーティションブロックに基づいて予測ブロックを獲得する予測ユニットと、
    前記予測ブロックを用いてビデオ信号を復元する復元ユニットと、をさらに含む、請求項１０に記載の装置。
JP2017518097A 2014-10-01 2015-06-25 向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 Active JP6594966B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462058628P 2014-10-01 2014-10-01
US62/058,628 2014-10-01
US201462063350P 2014-10-13 2014-10-13
US62/063,350 2014-10-13
PCT/KR2015/006465 WO2016052836A1 (ko) 2014-10-01 2015-06-25 향상된 예측 필터를 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2017535159A true JP2017535159A (ja) 2017-11-24
JP6594966B2 JP6594966B2 (ja) 2019-10-23

Family

ID=55630838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017518097A Active JP6594966B2 (ja) 2014-10-01 2015-06-25 向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置

Country Status (6)

Country Link
US (1) US10390025B2 (ja)
EP (1) EP3203747B1 (ja)
JP (1) JP6594966B2 (ja)
KR (1) KR101982788B1 (ja)
CN (1) CN107079171B (ja)
WO (1) WO2016052836A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009448A1 (ko) 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
WO2020180424A1 (en) 2019-03-04 2020-09-10 Iocurrents, Inc. Data compression and communication using machine learning
WO2023155136A1 (en) * 2022-02-18 2023-08-24 Intel Corporation Dynamic triplet convolution for convolutional neural networks

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295913A (ja) * 2005-04-11 2006-10-26 Sharp Corp 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置
WO2008148272A1 (en) * 2007-06-04 2008-12-11 France Telecom Research & Development Beijing Company Limited Method and apparatus for sub-pixel motion-compensated video coding
WO2010137322A1 (ja) * 2009-05-29 2010-12-02 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2012044239A (ja) * 2010-08-12 2012-03-01 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP2013009241A (ja) * 2011-06-27 2013-01-10 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
WO2013106888A1 (en) * 2012-01-20 2013-07-25 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8208564B2 (en) 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
US8437564B2 (en) * 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
US8576906B2 (en) 2008-01-08 2013-11-05 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filtering
KR101225556B1 (ko) * 2008-08-25 2013-01-23 돌비 레버러토리즈 라이쎈싱 코오포레이션 프리-화이트닝을 사용한 ｌｍｓ 알고리즘에 의해 적응된 적응형 필터의 갱신된 필터 계수를 결정하기 위한 방법
US8577159B2 (en) 2010-09-14 2013-11-05 Blackberry Limited Methods and devices for data compression with adaptive filtering in the transform domain
CN103392338A (zh) 2011-01-03 2013-11-13 联发科技股份有限公司 基于滤波单元的回路滤波方法
EP2595382B1 (en) * 2011-11-21 2019-01-09 BlackBerry Limited Methods and devices for encoding and decoding transform domain filters
US20160345026A1 (en) * 2014-01-01 2016-11-24 Lg Electronics Inc. Method and apparatus for encoding, decoding a video signal using an adaptive prediction filter

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295913A (ja) * 2005-04-11 2006-10-26 Sharp Corp 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置
WO2008148272A1 (en) * 2007-06-04 2008-12-11 France Telecom Research & Development Beijing Company Limited Method and apparatus for sub-pixel motion-compensated video coding
WO2010137322A1 (ja) * 2009-05-29 2010-12-02 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2012044239A (ja) * 2010-08-12 2012-03-01 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
JP2013009241A (ja) * 2011-06-27 2013-01-10 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
WO2013106888A1 (en) * 2012-01-20 2013-07-25 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit

Also Published As

Publication number Publication date
EP3203747A4 (en) 2018-05-23
US20170310974A1 (en) 2017-10-26
EP3203747A1 (en) 2017-08-09
JP6594966B2 (ja) 2019-10-23
US10390025B2 (en) 2019-08-20
CN107079171B (zh) 2021-01-29
EP3203747B1 (en) 2020-12-23
WO2016052836A1 (ko) 2016-04-07
KR101982788B1 (ko) 2019-05-27
KR20170013302A (ko) 2017-02-06
CN107079171A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
JP5957559B2 (ja) 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置
KR101901355B1 (ko) 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치
KR102003051B1 (ko) 복수의 보간 필터링 방법 및 이를 적용한 부호화 장치
JP5590133B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
JP6706357B2 (ja) 少なくとも１つの第２の画像成分の参照ブロックに対して第１の画像成分の現在ブロックを符号化するための方法、符号化装置および対応するコンピュータプログラム
CN108353175B (zh) 使用系数引起的预测处理视频信号的方法和装置
EP3085089B1 (en) Optimised video coding involving transform and spatial domain weighting
TW202019173A (zh) 用於視訊寫碼中之適應性運動向量差解析度及增加的運動向量儲存精確度的運動向量捨位
WO2017057922A1 (ko) 그래프 기반 리프팅 변환을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
JP6594966B2 (ja) 向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置
JP5809574B2 (ja) 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム
KR20160105849A (ko) 적응적 예측 필터를 이용하여 영상 신호를 인코딩, 디코딩하기 위한 방법 및 장치
US11647228B2 (en) Method and apparatus for encoding and decoding video signal using transform domain prediction for prediction unit partition
KR20200004348A (ko) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치
CN110998661A (zh) 视频编码系统和方法中的压缩编码块头

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190925

R150 Certificate of patent or registration of utility model

Ref document number: 6594966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250