JP2005312079A

JP2005312079A - 圧縮画像復元方法

Info

Publication number: JP2005312079A
Application number: JP2005158809A
Authority: JP
Inventors: Hon Min-Cheoru; ミン−チェオル・ホン
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 1998-11-13
Filing date: 2005-05-31
Publication date: 2005-11-04
Also published as: JP2000152229A; USRE41526E1; USRE41400E1; JP3697120B2; USRE41907E1; KR100282147B1; USRE41835E1; USRE41089E1; US6611361B1; JP2009153226A; KR20000032333A

Abstract

【課題】復号化された画像信号で発生するブロック現象及びリング現象を防止できる圧縮画像の復元方法及びその装置を提供する。
【解決手段】画像ブロック単位に、同質の画素別に画像のスムース化の程度及び元の画像に対する信頼度を表すスムース化関数を定義し、そのスムース化関数を元の画像に対し傾きを与えて復元画像を求めるように画像処理システムの圧縮画像復元装置を構成する。
【選択図】図５

Description

本発明は、画像処理技術に係るもので、詳しくは、ハイブリッド動き補償離散コサイン変換法を利用して、圧縮画像を復元する画像処理システムの圧縮画像の復元方法に関するものである。

一般に、ＭＰＥＧ１、ＭＰＥＧ２のような画像を圧縮する方法は、圧縮効率を向上させるためハイブリッド動き補償離散コサイン変換法を利用しているが、このようなハイブリッド動き補償離散コサイン変換法は、符号化過程と復号化過程とを備えている。
符号化過程では、元の画像を所定大きさの複数のブロックに分割した後、各ブロックに対して２次元離散コサイン変換（以下、ＤＣＴと称す）を行って空間領域の情報を圧縮させ、かつ情報間の時間軸上の相関関係を利用して画面間での過剰な情報を減らして時間領域の情報を減少している。
復号化過程では、符号化過程を逆順に行うが、このようなハイブリッド動き補償離散コサイン変換法を行うためには、符号器及び復号器が必要であった。

圧縮画像の復元の間連技術として画像符号器について図６を基に説明する。画像入力信号が、減算器１で画像メモリ９から動き補償された画像信号と減算されて、第１スイッチング部２を経てＤＣＴ変換部３に入力される。ＤＣＴ変換部３は、入力される減算された画像信号を離散コサイン変換して量子化部４へ送る。量子化部４は、離散コサイン変換された画像信号を量子化してＤＣＴ係数ｑを出力する。次いで、そのＤＣＴ係数ｑは、逆量子化部６で逆量子化され、逆ＤＣＴ変換部７で逆離散コサイン変換されて元の画像信号に復号化される。このようにして復元された画像信号は、加算器８に入力されて以前の段階で復号された画像信号と加算された後、画像メモリ９に入力される。制御器５は、第１及び第２スイッチング部２、１０のスイッチング部を制御し、イントラ／インター情報（ｐ＝ｍｔｙｐｅ；flag for INTRA/INTER）、伝送情報（ｔ；flag for transmitted or not ）及び量子化情報（ｑｚ＝Ｑｐ；quantizer indication）を符号器（図示されず）に伝送すると、前記画像メモリ９は、動きベクトル（ｖ＝ＭＶ）を復号器に出力し、ＤＣＴ変換部３は、ＤＣＴ係数ｑを復号器に出力する。

このように画像信号を符号化するとき、特に、量子化過程で元の画像信号の情報が損失されるため、復号器で再構成された画像には、ブロック現象（blocking artifacts）及びリング現象（ring effects）が発生する。
ブロック現象は、低周波領域のＤＣＴ係数が量子化される際の情報の損失により発生するブロック間の不均一現象であり、リング現象は、高周波領域のＤＣＴ係数の量子化の際の誤りにより発生する現象である。

即ち、ＤＣＴ変換を行って停止画像又は動画像を符号化する画像システムの場合、画像全体を複数の小さいブロック（例えば、８×８ブロック）に分けて、それらのブロックに対してＤＣＴ変換を行って圧縮している。ＤＣＴ変換を行うと、低周波成分が多く包含され、高周波成分に行くほど減少する。更に、低周波成分は、隣接ブロックと関連する情報を多く包含しているが、ＤＣＴ変換を行う際、ブロック間の相関関係が考慮されずに、ブロック別に低周波成分が量子化されるため、隣接ブロック間の連続性を消失するブロック現象が発生する。

ＤＣＴ変換を行って得られた画素値を量子化する際、量子化の間隔を増大させるほど、符号化すべき成分が減少して、処理ビット数も減少し、元の画像に包含された高周波成分の情報が減少する。そのため、再構成された画像に歪みが発生するリング現象が発生する。このようなリング現象は、再構成された画像のエッジ部位で著しく表れる。

そこで、このようなブロック現象及びリング現象を除去する方法として、低域通過フィルタリング方式及び正規化画像復元（regularized image restoration）方式が適用される。以下それら方式を比較して説明する。
低域通過フィルタリング方式は、任意の画素の周辺の複数の画素を選択して、それら画素の平均値を求めるために、フィルタタップ（filter tap）又はフィルタ係数を経験的に設定する。例えば、図７に示したように、Ｎ×Ｎのブロックに画素Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇがある場合、画素Ｃ、Ｄは、ブロックの境界に隣接した画素であって、それら画素Ｃ、Ｄ間の不規則的な変化を減らすため、ｋ−タップ（ここでは、７−タップ）フィルタリングを行い、ローカル統計に基づいてＤ画素の値を置き換えるしきい値を求める。

このようにローカル統計と比較したしきい値を利用するため、計算の量は減るが、量子化変数による適応能力が足りないので、画像の種類及び圧縮比により、復元された画像の画質が緩和されすぎる欠点がある。
また、正規化復号化方式では、画像の統計的特性に適応するようにブロック現象を処理する。即ち、各ブロック間の四方の境界部及びブロック内部の不均一な情報を全て計算するが、その計算の結果値はマトリックス状に算出されるため、計算量が極めて多くて実時間内で処理することが難しいという欠点がある。
又、情報の均一の程度に拘らず、不均一の情報の算出結果の平均値を等しく適用するため、不均一の情報の多いブロックでは不均一度が低下するが、逆に、不均一の情報の少ないブロックでは不均一度が増大して、システムの適性が低下するという欠点もある。
更に、時間の領域で情報を処理しないため、画像間の不均一性を適切に処理することができないという欠点がある。

このように、従来の画像処理システムの圧縮画像の復元方法及びその装置においては、復号された画像信号から発生するブロック現象及びリング現象を一挙に除去することができないという不都合な点があった。
且つ、画像情報の均一の程度を考慮せず、不均一の情報の算出結果の平均値を等しく適用するため、不均一の情報が多く含まれるブロックでは不均一度が低下するが、逆に、不均一の情報の少ないブロックでは不均一度が増大して、システムの適応性が低下するという不都合な点があった。
そこで、本発明の目的は、復号された画像信号で発生するブロック現象及びリング現象を一挙に除去し得る画像処理システムの圧縮画像の復元方法及びそのための装置を提供することにある。
又、本発明の他の目的は、復号化過程で画像ブロック単位に同様な性質を有する画素別に画像のスムース化の程度及び元の画像に対する信頼度を向上し得る画像処理システムの圧縮画像の復元方法及びそのための装置を提供することである。

このような目的を達成するため、本発明に係る画像処理システムの圧縮画像の復元方法においては、画像ブロック単位に同様な性質を有する画素別に画像のスムース化の程度及び元の画像に対する信頼度を表すスムース化関数を定義し、そのスムース化関数を元の画像に対し傾きを与えて（gradient）復元画像を求めるようになっている。
本発明に係る画像処理システムの圧縮画像の復元装置は、符号化された画像信号を復号化して、復号化画像、量子化変数、マクロブロックタイプ及びモーションベクトルの復元画像に対する情報を出力する画像復号化部と、前記画像復号化部から入力される復元画像に対する情報を受けて、画像ブロック単位に同様な性質を有する画素別に画像のスムース化の程度及び元の画像に対する信頼度を表すスムース化関数を定義し、そのスムース化関数を元の画像に対し傾きを与えて復元画像を求める後処理部と、を備え、前記スムース化関数には、元の画像に対する信頼度に関する加重値が加えられた正規化媒介変数が含まれていることを特徴とする。

以上説明したように、本発明に係る画像処理システムの圧縮画像の復元方法及びその装置においては、多様な正規化媒介変数を利用して、復元画像の各画素領域を制限することが可能であるため、動画像の圧縮法から発生されるフリッカー現像を除去し得るという効果がある。
且つ、画像ブロック単位に同様な性質を有する画素のブロック化現象及びリング現象を低減することができ、その結果、ハイブリッドＭＣ−ＤＣＴ法を用いる製品に広く用いることができるという効果がある。

以下、本発明の実施の形態に対し図面を用いて説明する。
本発明実施形態に係る画像処理システムの圧縮画像の復元装置は、図１示したように、符号器（図６参照）からイントラ／インター情報（ｐ＝ｍｔｙｐｅ）、伝送情報（ｔ）、量子化情報（ｑｚ＝Ｑｐ）、ＤＣＴ係数ｑ及びモーションベクトル（ｖ＝ＭＶ）を受けてデコードする復号器２１０と、復号器２１０から画像信号（Ｙ、Ｕ、Ｖ）、量子化変数（ｑｚ＝Ｑｐ）、マクロブロックタイプ（ｍｔｙｐｅ）及びモーションベクトル（ｖ＝ＭＶ）を受けて圧縮画像の復号化動作を行い、復元した画像を出力する後処理部２２０とを備えている。復号器２１０と符号器とは、通信チャンネル又はネットワークを介して連結されている。

又、本実施形態に係る画像処理システムの圧縮画像の復元方法は、画像ブロック単位に同様な性質を有する画素に対してスムース化関数（smoothing function）を定義し、そのスムース化関数に基づいて正規化変数を求め、正規化変数に実際に利用可能な値を適用して、復元すべき画像を求め、画像に対して反復法を施して、ＤＣＴ変換を行った後、投影して再び逆ＤＣＴ変換を行って元の画像と類似な画像を復号するようになっている。この圧縮画像の復元過程を以下に詳しく説明する。

＜スムース化関数の定義＞
元の画像ｆが圧縮され、伝送されて、復号器２１０で再構成された画像ｇは次式のように表示される。
ｇ＝ｆ＋ｎ −−−（１）
ここで、ｇ及びｆは、それぞれスタック順（stack-order）、すなわち走査順に再配列されたベクトルであり、ｎは、量子化誤差である。
この場合、画像の大きさがＭ×Ｍであると仮定すると、元の画像ｆ、再構成された画像ｇとｎは、Ｍ×１の大きさを有するカラムベクトルである。
元の画像ｆに対する原画素はｆ（ｉ，ｊ）で表示される。ここで、ｉ及びｊは画像内部の画素の位置を表示する。

図２は、本発明に係る元の画像ｆのブロック内部の原画素ｆ（ｉ、ｊ）の配置を示した説明図で、表示した数字は、夫々各画素の情報を表示し、一つのブロックの内部には８×８個の画素がある。このブロック内部の８×８個の画素を同様な性質を有する画素同士に区分する。即ち、各画素の位置、水平方向性、垂直方向性及び時間領域でのスムース化の変化（smoothing variation ）により画素を区分するが、例えば、垂直方向のブロック境界に位置した画素を包含する集合をＣ_VB、垂直方向のブロックの内部に位置した画素を包含する集合をＣ_VW、水平方向のブロックの境界に位置した画素を包含する集合をＣ_HB、水平方向のブロックの内部に位置した画素を包含する集合をＣ_HW、並びに時間領域上で移動が補償される画素を包含する集合をＣ_Tと定義し、それらの集合Ｃ_VB、Ｃ_VW、Ｃ_HB、Ｃ_HW、Ｃ_Tを夫々数学式で表すと、次式（２）のようになる。

Ｃ_VB＝｛f(i,j)：i mod 8＝0、M-1、and j＝0,1、...,M-1｝
Ｃ_VW＝｛f(i,j)：i mod 8≠0、M-1、and j＝0,1、...,M-1｝
Ｃ_HB＝｛f(i,j)：j mod 8＝0、M-1、and i＝0,1、...,M-1｝
Ｃ_HW＝｛f(i,j)：j mod 8≠0、M-1、and i＝0,1、...,M-1｝
Ｃ_T ＝｛f(i,j)：f(i,j)∈MB_inter or f(i,j)∈MB_{not coded}｝ −−−(２）

上記数学式（２）中、集合ＣT は、時間的過剰情報を除去するように、マクロブロック形態が“inter”又は“not coded”である画素の集合である。
このように定義された各集合Ｃ_VB、Ｃ_VW、Ｃ_HB、Ｃ_HW、Ｃ_Tより、正規化復元方式に利用するためのスムース化関数Ｍ（ｆ）を定義すると、次の通りである。
Ｍ（ｆ）＝Ｍ_VB（ｆ）＋Ｍ_HB（ｆ）＋Ｍ_VW（ｆ）＋Ｍ_HW（ｆ）＋Ｍ_T（ｆ）
−−−（３）
ここで、スムース化関数Ｍ_VB（ｆ）は、集合Ｃ_VBに対するスムース化関数であり、Ｍ_HB（ｆ）は、集合Ｃ_HBに対するスムース化関数であり、スムース化関数Ｍ_VW（ｆ）は、集合Ｃ_VWに対するスムース化関数であり、Ｍ_HW（ｆ）は、集合Ｃ_HWに対するスムース化関数であり、Ｍ_T（ｆ）は、集合Ｃ_Tに対するスムース化関数であって、各スムース化関数は夫々次のように定義される。

Ｍ_VB（ｆ）＝‖Ｑ_VBｆ‖²＋α_VB‖ｇ−ｆ‖² _W1
Ｍ_HB（ｆ）＝‖Ｑ_HBｆ‖²＋α_HB‖ｇ−ｆ‖² _W2
Ｍ_VW（ｆ）＝‖Ｑ_VWｆ‖²＋α_VW‖ｇ−ｆ‖² _W3
Ｍ_HW（ｆ）＝‖Ｑ_HWｆ‖²＋α_HW‖ｇ−ｆ‖² _W4
Ｍ_T （ｆ）＝‖Ｑ_Tｆ‖²＋α_T ‖ｇ−ｆ‖² _W5 −−−（４）

ここで、各方程式の右辺の第１項は、夫々原画素（基準画素）及び隣接画素に対するスムースの程度を表し、右辺の第２項は、原画素と復元された画素相互間の信頼度を表す。記号‖・‖は、ユークリッドノルム（Euclidean norm）を表し、Ｑ_VB、Ｑ_HB、Ｑ_VW、Ｑ_HW及びＱ_Tは、各集合Ｃ_VB、Ｃ_VW、Ｃ_HB、Ｃ_HW及びＣ_Tに属する画素をスムース化させるための高域通過フィルタを表す。
又、前記各スムース化関数の右辺の第１項は次式のように表示される。

式（４）に示したように、各スムース化関数は２次式になっているため、各スムース化関数のローカル最小値は、グローバル最小値になる。

図３は、本発明に係る各画素間の不規則的スムース化の程度の方向を示した図面で、図示したように、中央の一つの画素の周辺に８個の画素が位置し、中央の画素から水平方向及び垂直方向に矢印が表示されているが、それら矢印は、隣接した４個の各画素に対する不規則的スムース化の程度の方向を意味する。即ち、一つの画素に対して四方向に不規則的なスムース化の程度が考慮されることが分かる。

更に、図４は、本発明に係る時間領域に対して動き補償された画像を示した説明図で、図示したように、現在復元されている画像と、時間的に以前に復元された画像と、以後に再構成される画像との関係が表示されている。
式（４）の右辺の第２項に包含されたα_VB、α_HB、α_VW、α_HW及びα_Tは、各集合に対する正規化媒介変数であって、スムース化の程度及び信頼度の比率を表し、誤差成分を意味する。又、同様に第２項に包含されたＷ１、Ｗ２、Ｗ３、Ｗ４及びＷ５は、各集合の要素の有無を決定するためのＭ×Ｍの対角行列を表すが、各画素がその当集合に属しているかの可否により“１”又は“０”の値を有する。
即ち、前記各画素が該当集合に属している場合は、対角要素の値は“１”であり、属していない場合は、対角要素の値は“０”である。
その後、前記各正規化媒介変数α_VB、α_HB、α_VW、α_HW及びα_Tを夫々以下述べるように近似する。

＜正規化媒介変数の近似＞
正規化媒介変数の近似は、スムース化関数の性能を決定するために非常に重要であり、本発明では計算量を減らすため、次のような条件を仮定する。
（Ａ）ＤＣＴ領域の量子化過程で発生する量子化誤差の最大値がＱpであるので、量子化変数Ｑpが各マクロブロックで均一であると仮定し、各マクロブロックのＤＣＴ係数の最大量子化誤差をＱpに一定に設定する。
（Ｂ）ＤＣＴ量子化誤差が空間領域でガウス分布特性を有すると仮定する。
このような仮定下で集合理論(set theoritic）を適用して、各正規化媒介変数を近似すると次のようになる。

ここで、Ｑp²（ｍ，ｎ）は、２次元の画像の（ｍ，ｎ）番目の画素を包含するマクロブロックの量子化変数を表す。
上式（６）の各正規化媒介変数の分母項は、各集合に属する要素の量子化雑音に対するエネルギーの和である。
このように、前記の各仮定下で集合理論を適用して、各正規化媒介変数の値を容易に求めることができる。

＜スムース化関数から復元すべき画素を計算＞
一方、求めるようとするものは、元の画像であるが、スムース化関数は元の画像に対する乗数項を包含しているため、元の画像を求めるために、スムース化関数を元の画像に対し傾きを与える。その結果値は、‘０’になり、計算式は次のように表示される。

▽_fＭ（ｆ）＝２Ｑ_VB ^TＱ_VB＋２Ｑ_HB ^TＱ_HB＋２Ｑ_VW ^TＱ_VW＋２Ｑ_HW ^TＱ_HW＋２Ｑ_T ^TＱ_T
−２α_VBＷ₁ ^TＷ₁（ｇ−ｆ）−２α_HBＷ₂ ^TＷ₂（ｇ−ｆ）
−２α_VWＷ₃ ^TＷ₃（ｇ−ｆ）−２α_HWＷ₄ ^TＷ₄（ｇ−ｆ）
−２α_TＷ₅ ^TＷ₅（ｇ−ｆ） −−−−−−（７）

ここで、上記Ｔは、行列の互換（transposition）を意味する。
式（７）を計算すると、元の画像ｆに近い復元画像が求められるが、そのとき、逆行列を演算しなければならないため、計算量が非常に多い。
従って、本発明では、以下に説明する反復方式で復元画像を求める。

＜反復法＞
上記式（７）をｋ回だけ繰り返して行った反復解ｆ_k＋1は次式のように表すことができる。
ｆ_k＋1＝ｆ_k＋β［Ａｇ−Ｂｆ_k］
Ａ＝α_VBＷ₁＋α_HBＷ₂＋α_VWＷ₃＋α_HWＷ₄＋α_TＷ₅
Ｂ＝（Ｑ_VB ^TＱ_VB＋Ｑ_HB ^TＱ_HB＋Ｑ_VW ^TＱ_VW＋Ｑ_HW ^TＱ_HW＋Ｑ_T ^TＱ_T）＋Ａ
−−−−−（８）
式（８）中、βは収束特性を満足する緩和媒介変数（relaxation parameter）であり、式（８）を整理して表すと、次のようになる。
（ｆ_k＋1−ｆ_k）＝（Ｉ−Ｂ）（ｆ_k−ｆ_k−1） −−−−−−（９）
ここで、Ｉは、恒等行列であり、行列Ｂは、正の定符号特性を有するため、次の条件を満足するとき、反復解は収束する。
‖Ｉ−Ｂ‖＜１ −−−−−−（１０）
式（１０）を整理して表すと、次のようになる。

上記式（１１）中、λ（Ａ）は行列Ａの固有値を表し、このような固有値λ（Ａ）を計算する計算量は多くなるが、画像にかかわらずに、各高域通過フィルタは、各画素の位置に従って所定形態を有するため、式（８）を計算する前に固有値λ（Ａ）を固定値で置き換える。その固定値は、数値解析で広用される累乗法（power method）を用いて求めることができる。

即ち、この場合、例えば、反復解の固有値を求める方法を説明する。
ｘ_k＋1＝Ｋｘ_k
ここで、ｘ_kは、Ｍ×１の任意のベクトルであり、Ｋは、正の定符号対称Ｍ×Ｍ行列であるが、行列Ｋの固有値λ’は次にように近似される。

上記式中、ｋが無限大になるほど、固有値λ’は実際値により近似する。
このように、式（８）の反復解が求められるが、反復回数を決定するための反復法の終了時点を求めるため、次のような条件を設定する。
（Ａ）反復を行う以前に所定しきい値を設定し、反復を行って得られた画像、即ち、部分的復元画像を既設定されたしきい値と比較して、比較結果に従い反復法の継続遂行の可否を決定するか、又は、
（Ｂ）既に設定された所定回数だけ反復法を行った後、反復を終了する。

このとき、前記（Ａ）に記載の方法により反復を行う場合、所定しきい値を設定するため、所望の値が得られるという利点があるが、場合によっては反復回数が多くても、所定しきい値に到達されないという欠点がある。
且つ、（Ｂ）に記載の方法は、計算量を減らし得るという利点があるため、前記（Ａ）及び（Ｂ）記載の方法中、設計仕様に従い一層効率的であると判断される方法を選択して使用すべきである。

以下、本発明に係る画像処理システムの圧縮画像の復元方法に対し、図面を用いて説明する。
先ず、図５に示したように、量子化変数Ｑｐ及び画像信号Ｙ、Ｕ、Ｖを受けて、正規化媒介変数を近似（Ｓ１）した後、スムース化関数を元の画像に対し傾きを与え（Ｓ２）て、反復法を利用して所望の復元画像を求める（Ｓ３）が、この場合、段階（Ｓ３）では、画像信号Ｙ、Ｕ、Ｖ及び動き補償されたモーションベクトル（ＭＶ）が用いられる。
その後、所定回数反復して（Ｓ４）段階Ｓ３から得られた反復解ｆ_k＋1 に対応して復元画像に対するＤＣＴが行われる（Ｓ５）が、復元画像の２次元の（ｕ，ｖ）番目のＤＣＴ係数はＦ_k＋1（ｕ，ｖ）で表示され、量子化過程の特性により次式の範囲内に存在すべきである。
Ｇ（ｕ，ｖ）−Ｑｐ≦Ｆ_k＋1（ｕ，ｖ）≦Ｇ（ｕ，ｖ）＋Ｑｐ−−−（１２）
ここで、Ｑｐは、量子化最大誤差であり、G(u、v)は、再構成された画像gがDCTされた２次元のＤＣＴ係数を意味し、前記ＤＣＴ係数Ｆ_k＋1 （ｕ，ｖ）及びＧ（ｕ、ｖ）は次式のように表示される。次式（１３）中、Ｂは、ブロックＤＣＴを意味する。

Ｆ_k＋1（ｕ，ｖ）＝（Ｂｆ_k＋1）（ｕ，ｖ）、
且つ、Ｇ（ｕ、ｖ）＝（Ｂｇ）（ｕ，ｖ) −−−−−（１３）
又、式（１２）に示したように復元画像のＤＣＴ係数の領域が設定される（Ｓ６）。したがって、復元画像のＤＣＴ係数がＦ_k＋1（ｕ，ｖ）の設定領域を外れるので、次のように投影されるべきである。このような投影過程は、段階Ｓ７で行われ、次式（１４）のように表示される。

Ｆ_k＋1（ｕ，ｖ）＜Ｇ（ｕ、ｖ）−Ｑｐなら
Ｐ（Ｆ_k＋1（ｕ，ｖ））＝Ｇ（ｕ、ｖ）−Ｑｐ
Ｆ_k＋1（ｕ，ｖ）＞Ｇ（ｕ、ｖ）−Ｑｐなら
Ｐ（Ｆ_k＋1（ｕ，ｖ））＝Ｇ（ｕ、ｖ）＋Ｑｐ
それ以外なら
Ｐ（Ｆ_k＋1（ｕ，ｖ））＝Ｆ_k＋1（ｕ，ｖ）−−−（１４）

すなわち、Ｆ_k＋1（ｕ，ｖ）がＧ（ｕ、ｖ）−Ｑｐより小さいと、投影された復元画像Ｐ（Ｆ_k＋1（ｕ，ｖ））をＧ（ｕ、ｖ）−Ｑｐにマッピングさせ、Ｆ_k＋1（ｕ，ｖ）がＧ（ｕ、ｖ）＋Ｑｐより大きいと、投影された復元画像Ｐ（Ｆ_k＋1（ｕ，ｖ））をＧ（ｕ、ｖ）＋Ｑｐにマッピングさせるが、その他の場合は、投影された復元画像Ｐ（Ｆ_k＋1（ｕ，ｖ））をそのままマッピングさせる。
このようにマッピングされた画像Ｐ（Ｆ_k＋1 （ｕ，ｖ））に対し、空間領域で逆ＤＣＴを行って（Ｓ８）、最終に復元された画像を式に表すと、次のようになる。
ｆ_k＋1 ＝Ｂ^TＰＢｆ_k＋1 −−−−（１５）
式（１５）中、ＢはＤＣＴを、Ｐはマッピングを、ＢＴは逆ＤＣＴを夫々表示する。

このように復元された画像は、後処理部２２０の内部のフレームメモリに格納され（Ｓ９）、後処理部２２０では、モーションベクトル（ＭＶ）を基準にして動き補償を行う（Ｓ１０）。このように動き補償された画像は、次の画像に対する正規化媒介変数生成及び反復法を行うとき利用される。
その後、後処理部２２０では、動き補償された復元画像をビデオ信号として表示装置（図示されず）に出力する（Ｓ１１）。

本発明実施形態に係る画像処理システムの圧縮画像の復元装置を示したブロック図である。本発明実施形態に係る画像処理システムの圧縮画像の復元装置の各画素間の位置情報の動作説明図である。各画素間の不規則スムース化の方向を示した説明図である。本発明実施形態に係る時間領域に対して動き補償された画像を示した図面である。本発明実施形態に係る画像処理システムの圧縮画像の復元過程を示したフローチャートである。一般の画像システムの圧縮画像復元装置に係る画像符号器を示したブロックである。図６の画像符号器を利用した低域通過フィルタリング法の説明図である。

符号の説明

２１０…復号化部、２０２…後処理部

Claims

復号化された画像と、前記復号化された画像を構成するブロックのタイプ情報、量子化値及びモーションベクトル情報を利用して、ブロック境界部のブロック現象（blocking artifact）を取り除くことを特徴とする画像圧縮復元方法。