JP2002515193A - 高速２次元コサイン変換フィルタリングのための方法および装置 - Google Patents

Abstract

(57)【要約】 画像フィルタリングモジュール（20）は、画像ディジタイザ（10）によって発生されたソース画像データセット（30）へとフィルタ行列（14）を適用することによってディジタルフィルタリングされた画像（18）を生ずる方法を提供する。このフィルタリング方法は、i）オーバーラップ演算と、スケーリングされた順方向直交変換とによって、ソース画像データセット（30）を周波数係数行列（33）に変換することと、ii）逆スケーリングされた直交変換によってフィルタ行列（14）を逆スケーリングされた周波数フィルタ行列（34）に変換することと、iii）周波数係数行列（33）に逆スケーリングされた周波数フィルタ行列（34）を乗算することによって、逆直交変換処理によりディジタルフィルタリングされた画像（18）に変換される、フィルタリングされた係数行列（35）を形成することと、によっておこなわれる。

Description

【発明の詳細な説明】 高速２次元コサイン変換フィルタリングのための方法および装置 発明の分野 本発明は画像処理に関しており、より詳細には、高速離散コサイン変換を用い て電気画像信号をフィルタリングするための方法および装置に関している。 発明の背景 変換画像符号化および画像フィルタリングのような画像処理プロシージャは、 写真画像の電子的変換や、印刷操作におけるグラフィックス情報の再生や、電子 的通信システムによるディジタル画像データの送信などを含むさまざまな応用分 野で用いられている。このような応用分野において、画像処理は、一連の電気画 像信号として与えられたオリジナルソース画像に対しておこなわれる。ここで、 それぞれの信号は、オリジナルソース画像の１エレメントすなわち画素の特性に 対応している。電気画像信号は、ソース画像の画素を表現する複数の数値からな る２次元セットを含むディジタルソース画像に変換される。これらの数値は、通 常、画像データ項からなる２次元のＨ×Ｖアレイに構成される。よって、画像デ ータアレイにおけるそれぞれの項は、オリジナルソース画像における特定の画素 に対応しており、その画素の特徴・特性を定量的に記述している。標準的な表示 フォーマットにおいて、ディジタルソース画像は、例えば、複数の数値から構成 される640本のカラムおよび480本のロウからなる画像データアレイを含んでいる 。画像処理は、処理された数値の新しいセットを発生する。これらの数値は、通 常、再構成された画像データ項と呼ばれており、ディジタルソース画像から計算 によって導き出されたものである。処理された数値は、新しい一連の電気信号に 変換される。これらの電気信号から、処理されたディジタル画像が発生されうる 。 画像処理は、画像データ項を周波数係数項に変換し、それによってそれ以降の 処理・計算を簡単にすることを目的として、直交変換を利用する。変換画像符号 化プロシージャでは、たいていの場合、例えば離散コサイン変換（DCT）法が通 常は用いられる。また、画像フィルタリングプロシージャにおいては、たいてい の場合、高速フーリエ変換（FFT）が通常は用いられる。開示される方法および 装置は、FFT比べれば、一般により高速でより効率の高いDCT法による画像フィル タリングプロシージャへの適用に対応するものである。また、開示される方法は 、JPEGハードウェアと互換性を有する装置においても実現されうる。コサイン変換画像符号化 コサイン変換画像符号化は、ディジタルソース画像項が、２次元順方向離散コ サイン変換（FDCT）にかけられ、量子化された後、例えばハフマン符号化を用い たジグザグシーケンシングのような処理によってエントロピー符号化される画像 処理プロシージャである。符号化されたデータは、次に、格納または送信される が、オリジナルディジタルソース画像項が用いられていた場合よりも、通常、効 率ははるかに高くなる。符号化されたデータは、その後、復号化され、逆量子化 された後に、逆コサイン変換（IDCT）を適用することによって再構成された画像 データ項に変換される。その後、処理されたディジタル画像が、再構成された画 像データ項から得られる。 変換画像符号化処理に適用されるFDCTおよびIDCTは、通常、ジョイントフォト グラフィックエキスパートグループ（JPEG）によって確立された産業上の規格に 従っておこなわれる。JPEGに関してISOが起草した国際規格第10918-1号は、参考 テキスト「JPEG静止画像データ圧縮規格」の付録ＡにWilliam B.Pennebakerおよ びJoan L.Mitchellによって記載されている。JPEG規格によれば、ディジタル化 されたソース画像は、通常は８×８の行列としてフォーマットされた一連の画像 データ行列として与えられ、また、一連の周波数係数行列を生成するためには、 FDCTか適用される。 ２次元FDCTによる画像データ行列の周波数係数行列への変換は、以下の行列簡 略表記（shorthand matrix notation）で表現されうる。 ここで、Ｓ（v，μ）は周波数係数行列における項であり、s（j，i）は画像デ ータ行列における項であり、Ｃは離散コサイン変換基底行列であり、Ｃ^TはＣの 転置である。８×８の画像データ行列に適用される２次元FDCTは、以下の方程式 によって表される。ここで、k＝０の時はＣ_k＝１／√２であり、k＞０の時はＣ_k＝１である。周波数 係数項は、典型的には、量子化され、送信または格納された後、逆量子化される 。再構成された画像データ項は、２次元IDCT演算によって得られる。この演算は 、以下の行列簡略表記で表現されうる。 ここで、r（j，i）は再構成された画像データ項であり、Ｒ（v，μ）は逆量子化 された周波数係数項である。対応する２次元IDCTは、以下の方程式によって表さ れる。 DCTは、各種画像処理演算に好適てある多くの魅力的な特性をもっているので 、静止画および動画について共に、現在生まれつつある数多くの規格の本質を成 す部分になっている。例えば、DCTは、静止ピクチャ符号化用のJPEG規格や、ビ デオ符号化用のMPEG-1規格およびMPEG-2規格における画像圧縮部分の非常に重要 な部分の１つとなっている。このようにDCT処理技術の応用への関心が高まって きた結果、より効率の高い計算方法が開発されてきている。 DCT計算効率を向上させるためのアプローチとしては、例えば、スケールファ クタが基底行列内へと導入される「スケーリングされた」FDCTの使用が挙げ られる。この分野における最初の努力としては、例えば、Yukihir0 Araiらによ る参考技術論文「画像用の高速DCT-SQスキーム」に記載されているものがある。 Araiによって開発されたアルゴリズムは、８つの画像データ項の変換に、わずか ５回の乗算と29回の加算とを必要とするだけの１次元８点スケーリングされたFD CTアルゴリズムである。Araiのアルゴリズムの画像処理の応用分野での使用は、 主に符号化演算に限定されている。 最近では、Shirasawaに付与された米国特許第5,299,025号が、線形FDCT計算を ２回おこなうことにより２次元FDCTを適用することによって、８×８の画像デー タ行列１つに要求される計算を、200回の乗算と465回の加算とに減らすことを実 現する方法を開示している。Shirasawaのアルゴリズムの使用も、主に符号化演 算に限定されている。画像フィルタリング 画像フィルタリングは、逆変換がおこなわれる前に、周波数係数項がフィルタ 行列によってマスク乗算される画像処理プロシージャである。従来の画像フィル タリングプロシージャでは、たいていの場合、画像データ変換は、高速フーリエ 変換（FFT）法によって実現される。FFT法を用いると、後に捨てられる虚数項を 含む複素数を計算することと、暫定的に格納することとが必要になる。また、関 連する技術分野におけるフーリエ変換法は、一般に、スケーリングされない変換 の使用に限定される。このことは、FFT法の使用を前提とする装置に、計算上お よび格納上の要件で望ましからぬ負担を負わせることにつなかる。 Reischらに付与された米国特許第5,168,375号は、１フィールドの画像データ サンプルを処理することによって、間引き関数、補間関数およひ尖鋭化（sharpe ning）関数のうちの１つ以上を与える方法を開示している。尖鋭化は、周波数領 域におけるデータおよびフィルタカーネルのコサイン変換を伴うフィルタリング 演算をおこない、引き続き逆変換をおこなうことによって、複数の画像データサ ンプル（そのうちいくつかは捨てられる）を発生することによって実現される。 Reischらによって開示されたこの方法は、スケーリングされないDCT演算を利用 する。 したがって、従来の画像フィルタリング方法および装置は、スケーリングされ た直交変換により達成可能となる計算上の改善をいまだに実現できていない。よ って本発明の目的は、より高速でより効率の高い直交変換法を利用する、２次元 画像データをフィルタリングする装置を提供することにある。 本発明の別の目的は、スケーリングされ、簡略化された（pruned）直交変換演 算を利用することによって、より高い計算効率を実現する方法および装置を提供 することにある。 本発明のさらに別の目的は、汎用の計算機器に実現可能である方法を提供する ことにある。 発明の要旨 本発明は、スケーリングされた順方向画像データ直交変換およびスケーリング され簡略化された逆方向画像データ直交変換、スケーリングされたフィルタ行列 、ならびに効率のよいオーバーラップ処理をフィルタリングプロシージャに取り 入れることによって、より高速でより効率の高い画像フィルタリング装置が実現 可能となるという観察に由来するものである。本発明は、画像信号に対応する画 像データ項が、オーバーラップ演算と、スケーリングされた順方向変換とにより 変換されることによって周波数係数行列を形成し、かつ、画像フィルタが、逆ス ケーリングされた変換により変換されることによって逆スケーリングされた周波 数フィルタ行列を形成するように、画像フィルタを画像信号に適用する方法およ び装置を提供する。周波数係数行列が逆スケーリングされた周波数フィルタ行列 により乗算されることによって、フィルタリングされた係数行列を形成する。こ れらの行列が、スケーリングされ簡略化された逆変換処理により変換されること によって、フィルタリングされた画像信号が得られるもととなるフィルタリング された画像データ行列を形成する。 図面の簡単な説明 本発明に特有であると考えられる新規な特徴は、本願明細書に詳細に述べられ ている。本発明を動作させる構成および方法、ならびにその他の目的および効果 は、以下に述べる実施形態例の説明を、添付の図面を併せて参照しながら読めば 最もよく理解することができるであろう。図面において、 図１は、ソース画像から画像プロセッサを通って出力画像へと至るデータの流 れを示す従来の画像処理方法の模式図である。 図２は、ソース画像と、本発明による画像フィルタリング装置と、出力された フィルタリングされた画像との間の機能的関係を示すブロック図である。 図３は、図２の画像フィルタリング装置によっておこなわれる演算を示す図て ある。 図４は、従来のスケーリングされた８点FDCTのためのフローグラフである。 図５は、本発明によりFDCTを適用することによって実現される計算ステップの 削減を示す図である。 図６は、本発明によるスケーリングされ簡略化された８点IDCTのフローグラフ である。 図７は、図６のIDCTを適用することによって実現される計算ステップの削減を 示す図である。 図８は、従来のIDCTを適用する際に計算された数値データを捨てることを示す 図である。 図9A〜図9Cは、本発明によるスケーリングされた16点FDCTのためのフローグラ フを図示している。 図10A〜図10Cは、本発明によるスケーリングされ簡略化された16点IDCTのため のフローグラフを図示している。 発明の詳細な説明 図１は、画像フィルタリングまたはたたみ込みをおこなうために用いられる典 型的な画像処理システムを示す図である。オリジナルソース画像は、一連の電気 信号として得られ、例えば光学スキャナ４またはビデオカメラ５のような画像デ ィジタイザによってディジタル画像に変換される。ディジタル画像は、画像フィ ルタリングユニット３に与えられる。ユニット３は、ディジタル画像を受け取り フィルタリングすることによって、フィルタリングされた画像データ項を生 成する。あるいは、ディジタル両像は、画像フィルタリングユニット３に与えら れる前に、入力フロッピーディスク６あるいはその他の記憶媒体に格納されても よい。画像フィルタリングユニット３によって生成された、フィルタリングされ た画像データ項は、コンパチブルシステムに格納、表示または送信されうる。例 えば、データの格納は、出力フロッピーディスク８あるいは同様の媒体によって 実現されうるし、画像表示能力は、モニタ７あるいはプリンティングデバイス９ によって実現されうる。 画像フィルタリングユニット３によっておこなわれるフィルタリング機能は、 また、例えば、光学スキャナ４、ビデオカメラ５、モニタ７あるいはプリンティ ングデバイス９のいずれかの中に設けられた電子モジュールのようなはるかに小 さいユニットによっても実現されうる。図２は、画像ディジタイザ10と、ディジ タルフィルタリングされた画像18と、介在する画像フィルタリングモジュール20 との間の機能的関係を図示するブロック図である。画像フィルタリングモジュー ル20を表すブロック内には、画像フィルタリングをおこなう際に画像フィルタリ ングモジュール20によって実行される、一般化された演算が示されている。 ディジタルソース画像は、画像ディジタイザ10によってオリジナルソース画像 から発生される。画像ディジタイザ10は、例えば、ビデオカメラや、ディジタル 静止カメラや、光学スキャナのような装置であればよい。ディジタルソース画像 を含む画像データ項は、画像フィルタリングモジュール20に与えられる。モジュ ール20では、フィルタリングがおこなわれることによって、ディジタルフィルタ リングされた画像18が再構成されるもととなる、フィルタリングされた画像デー タ項が生じる。ディジタルフィルタリングされた画像18は、パネルまたはCRTに より与えられる表示に変換されるか、または、プリンティングデバイスを介して ハードコピーとして生成されうる。望みとあれば、フィルタリングされた画像デ ータは、ディジタルフィルタリングされた画像18に再構成される以前に、出力記 憶／送信ユニット16に送られてもよい。 オリジナルソース画像に対しておこなわれるフィルタリングのタイプは、画像 フィルタリングモジュール20と連動して用いられるk×kフィルタ行列14の特 性によって決まる。フィルタ行列14は、図示されているように外部に設けられて いてもよいし、画像フィルタリングモジュール20の内部に格納され、必要に応じ て用いられるようにしてもよい。また、ディジタルソース画像は、入力記憶／送 信ユニット12から画像フィルタリングモジュール20に与えられていてもよい。入 力記憶／送信ユニット12は、例えば、固体メモリや、フロッピーディスクのよう な記憶媒体や、ファクシミリ機またはモデムのような電子送信機を含みうる。 画像フィルタリングモジュール20は、まず、演算22において、FDCTのような順 方向直交変換により、画像ディジタイザ10によって与えられた画像データ項を周 波数係数項に変換することによって動作する。これらの周波数係数項は、演算24 において、フィルタ行列14から導き出された周波数フィルタ項によってマスク乗 算され、フィルタリングされた周波数係数項を生成する。フィルタリングされた 周波数係数項は、演算28において、IDCTのような逆直交変換により、フィルタリ ングされた画像データ項に変換される。フィルタリングされた周波数係数項は、 また、IDCTを適用する以前に、記憶／送信ユニット26によって与えられていても よい。 画像フィルタリングモジュール20によっておこなわれる演算は、図３を参照す ればより詳細に説明されうる。ディジタルソース画像は、ソース画像データセッ ト30として画像フィルタリングモジュール20に与えられる。ソース画像データセ ット30は、d（s，r）（ここで、0≦r≦Ｈ−１であり、かつ0≦s≦Ｖ−１である ）によって表される画像データ項から構成されるＨ×Ｖの行列として構成される のが最も一般的である。また、ソース画像データセット30は、細分割され、Ｎ× Ｎの画像データブロックから構成される２次元アレイへとフォーマットされても よい。いずれのフォーマットからでも、ソース画像データセット30は、演算51に おいて、スケーリングされたFDCTを適用することによって、Ｎ×Ｎの周波数係数 行列33のセットへとオーバーラップ変換される。オーバーラップパラメータ13を 利用する演算51は、後述する「オーバーラップおよび順方向変換」のセクション にさらに詳細に説明されている。 それぞれの周波数係数行列33は、演算52において、Ｎ×Ｎの逆スケーリング された周波数フィルタ行列34と乗算されて、Ｎ×Ｎのフィルタリングされた係数 行列35を生じる。逆スケーリングされた周波数フィルタ行列34は、後述する「逆 スケーリングされた周波数フィルタ行列の導出」に説明されている処理によりフ ィルタ行列14から導き出される。演算53では、簡略化されスケーリングされたID CTがフィルタリングされた係数行列35に適用されることによって、Ｎ'×Ｎ'のフ ィルタリングされた画像データ行列37（ここで、Ｎ'＜Ｎである）を含むフィル タリングされた画像データ項を生じる。開示されている方法および装置において は、簡略化されスケーリングされたIDCTを用いることによって、演算51のオーバ ーラッププロシージャによって導入された冗長な項を排除し、それに伴って、フ ィルタリングされた画像データ行列37を導き出すのに必要な計算リソースを削減 することができる。簡略化されスケーリングされたIDCTの適用は、後述する「簡 略化されスケーリングされたIDCT」セクションに説明されている。オーバーラップおよび順方向変換 画像フィルタリングモジュール20は、オーバーラップされた画像データ行列を 発生し、かつ、スケーリングされた順方向直交変換をそれぞれのオーバーラップ された画像データ行列に適用する処理によって、ソース画像データセット30を一 連の周波数係数行列33に変換する。好ましい実施形態においては、８×８のオー バーラップされた画像データ行列が発生され、Araiによって開発された８点スケ ーリングされたFDCTが、オーバーラップされた画像データ行列を周波数係数行列 に変換するのに用いられる。８点スケーリングされたAraiの変換に対応するフロ ーグラフは、図４に示されている。Araiの変換で用いられる乗算パラメータα₁ 〜α₅は表Ｉに掲げられている。 一例を示すために、オーバーラップされた画像データ行列を発生し、かつ、FDCT を適用する処理においておこなわれる各ステップは、８×８のオーバーラップさ れた画像データ行列と、４つの画像データ項のオーバーラップパラメータ13と、 d（s，r）（ここで、０≦r≦639であり、かつ０≦s≦479である）によって表さ れる画像データ項を有する640画素×480画素のディジタルソース画像とを用いて 説明される。 ステップ１ 以下の関係に基づいて、第１の８×８のオーバーラップされた画 像データ行列OIM_0,0が、640×480ディジタルソース画像から得られる。 ステップ２ オーバーラップされた画像データ行列OIM_0,0が、８点スケーリン グされたFDCTを適用することによって、８×８の周波数係数行列FCM_0,0に変換さ れる。 ステップ３ 以下の関係に基づいて、第２の８×８のオーバーラップされた画 像データ行列OIM_0,1が、行列OIM_0,0と同じ８行から画像データ項を取り出すこと によって、640×480ディジタルソース画像から得られるが、右側に４列だけずら される。 ステップ４ オーバーラップされた画像データ行列OIM_0,1が、８点スケーリン グされたFDCTを適用することによって、８×８の周波数係数行列FCM_0,1に変換さ れる。 ステップ５ ステップ３および４が、640×480ディジタルソース画像の行０〜 行７における項の残りの部分について反復される。 ステップ６ 以下の関係に基づき、行４〜行７を用いてステップ１〜５が反復 されることによって、第１の８×８のオーバーラップされた画像データ行列OIM_{1 ,0} に始まる一連の行列を生成する。 そして、以下の関係に基づき、８×８のオーバーラップされた画像データ行列OI M_1.158へと続く。 ステップ７ ステップ６が、640×480ディジタルソース画像の残りの行につい て反復される。以下の関係に基づき、オーバーラップ処理をおこなうことによっ て最終の８×８のオーバーラップされた画像データ行列OIM_118,158を生成する。 上述の実施形態においては、オーバーラップ演算は、640×480ディジタルソース 画像の８行の部分の全体を対象として、そのディジタルソース画像において４行 下に位置する隣接する８行の部分に対して演算をおこなう以前に、進められた。 別の実施形態においては、オーバーラップ演算は、640×480ディジタルソース画 像の８列の部分の全体を対象として、隣接する８列の部分にアクセスする以前に 、進められる。また、さらに別の実施形態においては、ステップ３〜７が以下の ようにおこなわれる。 代替ステップ３ 以下の関係に基づいて、第２の８×８のオーバーラップされ た画像データ行列OIM_1,0が、行列OIM_0,0と同じ８列から画像データ項を取り出す ことによって、640×480ディジタルソース画像から得られるが、下に４行だけず らされる。 代替ステップ４ オーバーラップされた画像データ行列OIM_1,0が、８点スケー リングされたFDCTを適用することにより、８×８の周波数係数行列FCM_1,0に変換 される。 代替ステップ５ 代替ステップ３および４が、640×480デイジタルソース画像 の列０〜列７における項の残りの部分について反復される。 代替ステップ６ 以下の関係に基づき、列４〜列７を用いてステップ１および ２ならびに代替ステップ３〜５が反復されることによって、第１の８×８のオー バーラップされた画像データ行列OIM_0,1に始まる一連の行列を生成する。 そして、以下の関係に基づき、８×８のオーバーラップされた画像データ行列OI M_118,1へと続く。 代替ステップ７ 代替ステップ６が、640×480ディジタルソース画像の残りの 列について反復される。以下の関係に基づき、オーバーラップ処理をおこなうこ とによって、最終の８×８のオーバーラップされた画像データ行列OIM_118,158を 生成する。 上述したいずれのオーバーラップ法によっても、同一のオーバーラップされた 画像データ行列が結果として得られることがわかる。また、連続的に発生される 行列のそれぞれが、以前に発生された行列の少なくとも１つにも現れる画像デー タ項を含んでいるので、いずれのオーバーラップ法でも冗長画像データ項を導入 していることもわかる。これらの冗長な項は、後述する「簡略化されスケーリン グされたIDCT」セクションで説明されるように、後の演算で排除される。 また、上述したいずれかの処理によって発生された８×８のオーバーラップさ れた画像データ行列OIM_q,pは、以下の式によって簡略表記法ても表現されうる。 行列OIM_q,pにおける画像データ項s（j，i）をs_q,p（j，i）で表せば、上の式 は、 （ここで、０≦i＋pω≦Ｈ−１であり、０≦j＋qω≦Ｖ−１であり、ωはオーバ ーラップパラメータ13である）のように簡潔に表現することができる。好ましい 実施形態においては、後述する「逆スケーリングされた周波数フィルタ行列の導 出」セクションで説明されるように、ωは、フィルタ行列14のサイズによって決 まる。 ８×８のオーバーラップされた画像データ行列OIM_q,pの順方向変換は、図５に 最もわかりやすく示されている。図５には、上述したオーバーラップ法の第１の 実施形態によって生成された２つの連続的に発生された行列を表す、オーバーラ ップされた画像データ行列31aおよび31bが示されている。行列31aは64個の画像 データ項s_31a（j，i）を含んでおり、行列31bは64個の画像データ項s_31b（j，i ）を含んでいる。ここで、０≦i，j≦７である。両方の行列においてともに、共 通する４列の画像データ項がオーバーラップされている。オーバーラップされた 画像データ行列31bの左端４列を含む、×で表されている画像データ項は、行列3 1aの右端４列を含む項と同じである。すなわち、０≦i≦３であり、かつ０≦j≦ ７の時、Ｓ_31b（j，i）＝s_31a（j，i＋４）である。 画像データ行列31aは、１シーケンスの８点コサイン変換として実行される２ 次元８×８のFDCTによって、周波数係数行列33aに変換される。第１の８点FDCT が、演算61aにおいて、画像データ行列31aの列に対して適用されることによって 、以下の方程式に基づいて中間周波数係数行列32aを発生する。 る。この式は、以下の簡略表記法でも表されうる。 ここで、［FCM_32a］は中間係数行列32aであり、［FCM_31a］は画像データ行列31a であり、Ｃは既に定義した基底行列である。ここに与えられている例では、 白丸で表されている項を含む、行列31aの左端４列は、変換されると、白の菱形 で表されている項を含む、行列32aの左端４列となる。Ｘで表されている項を含 む、行列31aの右端４列は、変換されると、アスタリスクで表されている項を含 む、行列32aの右端４列となる。 ８点FDCTの転置が、演算63aにおいて、中間周波数係数行列32aの行に適用され ることによって、周波数係数行列33aを生成する。この変換演算は、以下の簡略 表記法でも表現されうる。 ここで、［FCM_33a］は周波数係数行列33aであり、C^Tは既に定義した基底行列の 転置である。 中間周波数係数行列を変換する従来の方法において、連続的に発生された行列 31bは、上述した行列32aを得る方法と同様に、中間行列32bに変換される。演算6 1bにおいて、第１のFDCTがオーバーラップされた画像データ行列31bの列に適用 されることによって、オーバーラップされた中間周波数係数行列32bを生する。 Ｘで表されている項を含む行列31bの左端４列は、変換されるとアスタリスクで 表されている項を含む行列32bの左端４列となる。行列31bの右端４列は、変換さ れると、黒の菱形で表されている項を含む行列32bの右端４列となる。演算63bで 、８点FDCTの転置が行列32bの行に適用されることによって、オーバーラップさ れた周波数係数行列33bを生成する。 開示されている中間周波数係数行列変換方法では、行列32bの列０〜列３にお ける項が、行列32aの列４〜列７における項と同一であることを認識することに ある。したがって、行列32aの列４〜列７を含む項が導き出された後、それらの 項は、行列33bが導き出される演算65では、再び計算される必要はなく、メモリ に格納されて取り出されうる。この格納および取り出し処理は、連続するオーバ ーラップされた画像データ行列に対しても反復される。必要な場合にはすべて の中間行列項が計算される従来の方法と比べれば、オーバーラップされた画像デ ータ行列31bをオーバーラップされた周波数係数行列33bに変換するのに必要な計 算は、この処理によっておよそ25％だけ減らすことができる。 あるいは、行列31aおよび31bは、同一のアレイ列に存在していてもよく、 の行へ適用した後、その結果生じる中間行列の列へと適用することによって、効 率のよい変換プロシージャが実行されることになる。その後、適切な中間係数行 列の共有される４行における項は、格納され、適切な周波数係数行列を導き出す ために取り出されることになる。逆スケーリングされた周波数フィルタ行列の導出 逆スケーリングされたフィルタ行列34は、図３に示されているように、以下の 演算を用いてk×kのフィルタ行列14から導き出される。 １．フィルタ行列14の右下４分の１のk'×k'は、暫定行列にフォーマットされ る。ここで、k'＝int｜(k＋1)／２｜である。この暫定行列は、以下の処理のい ずれか１つによって、項f（n，m）を有するＮ×Ｎの空間領域フィルタ行列にフ ォーマットされる。すなわち、i）もしこの４分の１の部分がＮ×Ｎよりも小さ いのなら、複数のゼロからなる右端（Ｎ−k'）列と下端（Ｎ−k'）行とで暫定行 列を埋め込む（padding）か、ii）もしこの４分の１の部分かＮ×Ｎよりも大き いのなら、右端（k'−Ｎ）行と下端（k'−Ｎ）列とを削除するか、または、iii ）もしこの４分の１の部分がＮ×Ｎであるのなら、埋め込みも削除もおこなわず 、暫定行列を空間領域フィルタ行列として用いるか、のいずれかである。 ２．演算55では、離散奇数コサイン変換（DOCT）を適用することによって、Ｎ ×Ｎ行列における空間領域フィルタ項が周波数領域フィルタ項に変換される。 ３．演算56では、周波数領域フィルタ項が逆スケーリングされることによって 、逆スケーリングされた周波数フィルタ行列34を生成する。演算51でのFDCTスケ ーリングおよび演算53でのIDCTスケーリングを補償するために、逆スケールパラ メータ15が選択される。 ８×８の離散奇数コサイン変換（DOCT）は、 によって表される。ここで、Fd（v，μ）は周波数領域フィルタ行列であり、i,j ＝０のときd_i，d_j＝１であり、i，j＞０のときd_i，d_j＝２である。簡略表記では 、上の式は、 と表されうる。ここで、Ｄ_Oは、以下のように表される基底行列である。 演算54では、演算51で画像データ行列のオーバーラップをおこなうのに用いら れるオーバーラップパラメータ13は、以下の関係から決められる。ここで、ωはオーバーラップパラメータであり、kはフィルタ行列14のサイズで ある。例えば、５×５のフィルタ行列14と８×８の画像データ行列が与えられて いるのなら、好ましいオーバーラップは、４つの画像データ項、すなわち50％の オーバーラップである。簡略化されスケーリングされたIDCTの適用 フィルタリングされた画像データ行列37は、演算53で、効率よく簡略化されス ケーリングされたIDCTをフィルタリングされた係数行列35へと適用することによ って得られる。わずか６回の乗算と16回の加算が必要になるだけの、８×８画像 データ行列に用いられる８点IDCTのためのフローグラフは、図６に示されている 。乗算パラメータβ₁〜β₅の値は、表IIに掲げられている。 Ｆ（０）〜Ｆ（７）は、画像データ行列３５の同一の行または同一の列に現れる ８つの周波数係数項を表す。簡略化されスケーリングされたIDCTを適用すること によって、s（０）、s（１）、s（２）およびs（３）によって表される４つの画 像データ項が生じる。 演算53aで、簡略化されスケーリングされたIDCTがフィルタリングされた係数 行列35のそれぞれの列に適用されることによって、図７に示されているように、 ４×８の中間のフィルタリングされた画像データ行列36が生じる。アスタリスク によって表されている４つの中間フィルタリングされた項のみが、行列36のそれ ぞれの列について計算される。演算53bで、簡略化されスケーリングされたIDCT の転置が行列36の４行のそれぞれにおける８つの中間フィルタリングされた項に 適用されることによって、Ｘによって表されている16個のフィルタリングされた 画像データ項を含む、４×４のフィルタリングされた画像データ行列37が生じる 。別のプロシージャにおいては、まず、IDCTがフィルタリングされた係数行列35 の行へと適用された後、IDCTの転置が中間の処理された画像データ行列の列へと 適用されることによって、フィルタリングされた画像デ ータ行列37を得るようにしてもよい。 これと比べると、例えば「オーバーラップ・セーブ」法のような、等価な従来 の方法では、必要な演算回数はもっと大きくなる。オーバーラップ・セーブ法で は、演算42でIDCTが周波数係数行列41に適用されることによって、図８に示され ているように、64個の項を含む従来の中間行列43が生じる。次に、演算44で、ID CTの転置か64個の中間項に適用されることによって、64個の画像データ項（この うち、Ｘで表されている48個の項は捨てられる）を含む従来のフィルタリングさ れた画像データ行列45が生じる。フィルタリングされた画像データ行列45を含む 画像データ項sv₄₅（j，i）は、式sv₄₅（j，i）＝Js^T×Fc₄₁（v,μ）×Js（ここ で、JsはIDCTである）により、フィルタリングされた係数行列41を含む項Fc₄₁（ v，μ）に関連している。実線のＸで表されている16個の項を含む、処理された 画像データサブ行列47は保持される。処理された画像データサブ行列47を含む項 sf₄₇（z，y）は、式sf₄₇（z，y）＝sv₄₅（j＋2，i＋2）（ここで、０≦y，z≦３ である）により、フィルタリングされた画像データ行列45を含む項sv₄₅（j，i） に関連している。図７に示されている好ましい方法では、捨てられる項を計算す るのに用いられる計算リソースが浪費されることがないことは、理解できるであ ろう。16 点DCT変換 16×16の画像データ行列が用いられる画像フィルタリングを適用するときには 、フローグラフ図9A〜図9Cをもつ16点スケーリングされた変換が演算51で適用さ れることによって、16×16の周波数係数行列33が生じる。乗算パラメータα₁〜 α₅の値は表Ｉに掲げられており、乗算パラメータα₆〜α₂₀の値は表IIIに掲げ られている。 開示されている16点スケーリングされた変換は、B.G.Leeによる参考技術論文 「離散コサイン変換を計算するための新しいアルゴリズム」で最初に提示された 着想から開発されたものであり、Araiによって開発された８点変換により偶数イ ンデックスの周波数項を導き出すことができるように改変されたものである。 16×16のフィルタリングされた係数行列が生成される画像フィルタリングを適 用するときには、演算53で、フローグラフ図10A〜図10Cをもつ16点スケーリング され簡略化されたIDCTが適用されることによって、16×16のフィルタリングされ た画像データ行列37を得る。乗算パラメータβ₁₁〜β₂₆の値は、表IVに掲げられ ている。 本発明は、現在、従来の画像処理装置において利用可能ないかなる方法よりも 、より高速でより効率の高い方法で電気画像信号のフィルタリングを実現する装 置を提供するように適合されうるという効果を有する。以上に本発明の好ましい 実施形態を説明したが、本発明を超えることなく、以上の開示に対してさまざま な変更および改変を施すことができることは、当業者には自明であろう。また、 添付の請求の範囲における表現も、本発明の真の着想および範囲が包含している 限りにおいて、そのような変更および改変を含んでいるように意図されているも のである。

Claims (1)

1. 【特許請求の範囲】 １．画像フィルタを画像信号に適用する方法において、該画像信号が一連の電 気信号として与えられ、該電気信号がそれぞれ２次元画像の１エレメントの特性 に対応しており、該画像エレメントが２次元のＨ×Ｖアレイとして構成され、か つ該画像フィルタがk×kのフィルタ行列として構成される１セットのフィルタ項 として与えられる方法てあって、 該一連の電気信号を１セットの数値に変換するステップであって、該数値がそ れぞれ、対応する画像エレメントの特徴・特性を定量的に記述しており、該数値 がさらにd（s，r）（ここで0≦r≦Ｈ−１であり、かつ0≦s≦Ｖ−１である）に よって表される、ステップと、 該１セットの数値を、インデックス「p」および「q」によって識別される複数 のＮ×Ｎのオーバーラップされた画像データ行列にフォーマットするステップで あって、該オーバーラップされた画像データ行列がそれぞれ、s_q,p（j，i）によ って表される画像データ項を含んており、該画像データ項がそれぞれ、以下の関 係 （ここで、0≦i,j≦Ｎ−１であり、ωは、条件１≦ω≦Ｎ−１を満たす整数の定 数てある）に従って決定される該数値の１つから構成される、ステップと、 該画像データ行列のそれぞれを、S_q,p（v，μ）によって表されるスケーリン グされた周波数係数項を含むＮ×Ｎの周波数係数行列に変換するステップてあっ て、以下の式 に基づいて、スケーリングされた直交変換Gsにより実現される、該画像データ行 列のそれぞれを変換するステップと、 該k×kフィルタ行列を、f（j，i）により表される項を含むＮ×Ｎの空間領域 フィルタ行列に変換するステップと、 該空間領域フィルタ行列を、Fd（v，μ）により表される逆スケーリングされ た周波数フィルタ項を含む、Ｎ×Ｎの逆スケーリングされた周波数フィルタ行列 に変換するステップであって、以下の式 に基づいて、逆スケーリングされた直交変換Hsにより実現される、該空間領域フ ィルタ行列を変換するステップと、 該逆スケーリングされた周波数フィルタ行列に該周波数係数行列のそれぞれを 乗算することによって、Fc（v，μ）により表される項を含む、少なくとも１つ のＮ×Ｎのフィルタリングされた係数行列を生成するステップであって、以下の 式 に基づいて実現される、乗算ステップと、 該フィルタリングされた係数行列のそれぞれを、フィルタリングされた画像デ ータ項を含むＮ'×Ｎ'のフィルタリングされた画像データ行列（ここで、Ｎ'＜ Ｎである）に逆変換するステップであって、逆スケーリングされた直交変換Jsに より実現される、逆変換ステップと、 該フィルタリングされた画像データ項を一連のフィルタリングされた電気信号 に変換することによって、該フィルタリングされた電気信号が、フィルタリング された画像エレメントの２次元Ｈ×Ｖアレイへと構成されうるようにするステッ プであって、該フィルタリングされた電気信号がそれぞれ、該フィルタリングさ れた画像エレメントの１つの特性に対応している、ステップと、 を含む方法。 ２．前記k×kフィルタ行列をＮ×Ｎの空間領域フィルタ行列に変換する前記ス テップが、 該フィルタ行列の右下４分の１からk'×k'の暫定フィルタ行列を形成するステ ップ（ここで、k'=int|（k＋１）／２|）と、 以下の３つの方法、すなわち、 もしk'＝Ｎであるのなら、該暫定フィルタ行列を該空間領域行列として用いる 方法、 もしk'＞Ｎであるのなら、右側（k'−Ｎ）列および下から（k'−Ｎ）行を該暫 定フィルタ行列から削除する方法、あるいは もしk'＜Ｎであるのなら、右側（Ｎ−k'）本のゼロの列、および下側（Ｎ−k' ）本のゼロの行を該暫定フィルタ行列に追加する方法 のいずれか１つにより、該k'×k'の暫定フィルタ行列から該Ｎ×Ｎの空間領域フ ィルタ行列を形成するステップと、 を含んでいる、請求項１に記載の方法。 ３．前記フィルタリングされた係数行列のそれぞれをＮ'×Ｎ'のフィルタリン グされた画像データ行列に逆変換する前記ステップが、 該フィルタリングされた係数行列のそれぞれを、以下の式 に基づいて、前記スケーリングされた逆直交変換Jsによって、sv_q,p（j，i）に より表されるオーバーラップされた画像データ項を有するＮ×Ｎのオーバーラッ プされフィルタリングされた画像データ行列に逆変換するステップと、 該オーバーラップされフィルタリングされた画像データ行列のそれぞれをオー バーラップ解除することによって、０≦y，z≦Ｎ'−１の時にsf（z，y）により 表される該フィルタリングされた匪像データ項を含むＮ'×Ｎ'のフィルタリング された画像データ行列を形成するステップであって、以下の関係 （ここで、δ＝（(Ｎ−Ｎ')／２）である）に基づいて、（Ｎ'）²個の該オーバ ーラップ解除された画像データ項を、該オーバーラップ解除されフィルタリング された画像データ行列のそれぞれから、該フィルタリングされた画像データ行列 の対応する１つへとマッピングすることによって実現される、オーバーラップ解 除ステップと、 を含んでいる、請求項１に記載の方法。 ４．前記画像データ行列をＮ×Ｎのスケーリングされた周波数係数行列に変換 する前記ステップが、 前記スケーリングされた直交変換Gsを該画像データ行列の前記行または前記列 の１つへと適用することによって、Ｎ×Ｎの中間行列を生成するステップと、 該中間行列の１行の項または１列の項の少なくとも１つを格納するステップと 、 該スケーリングされた直交変換の転置を該中間行列へと適用することによって 、該Ｎ×Ｎのスケーリングされた周波数係数行列を生成するステップと、 を含んでいる、請求項１に記載の方法。 ５．前記スケーリングされた直交変換を適用する前記ステップが、中間行列項 をメモリから取り出すステップを含んでいる、請求項４に記載の方法。 ６．前記スケーリングされた直交変換Gsが、スケーリングされた順方向離散コ サイン変換であり、前記スケーリングされた逆直交変換Jsが、スケーリングされ た逆離散コサイン変換である、請求項１に記載の方法。 ７．前記逆スケーリングされた直交変換Hsが、以下の式 により表される逆スケーリングされた離散奇数コサイン変換である、請求項１に 記載の方法。 ８．前記Ｎ×Ｎのオーバーラップされた画像データ行列が８×８の行列である 、請求項１に記載の方法。 ９．前記Ｎ×Ｎのオーバーラップされた画像データ行列が16×16の行列である 、請求項１に記載の方法。 10．前記整数の定数ωが、k−１に等しい、請求項１に記載の方法。 11．前記逆スケーリングされた直交変換Jsが簡略化されスケーリングされた逆 直交変換を含んでおり、前記フィルタリングされた係数行列のそれぞれを逆変換 する前記ステップが、 該簡略化されスケーリングされた逆直交変換を該フィルタリングされた係数行 列へと適用することによって、Ｎ×Ｎ'の中間のフィルタリングされた画像デー タ行列を形成するステップと、 該簡略化された変換の転置を該中間のフィルタリングされた画像データ行列へ と適用することによって、前記Ｎ'×Ｎ'のフィルタリングされた画像データ行列 を形成するステップと、 を含んでいる、請求項１に記載の方法。 12．前記逆スケーリングされた直交変換Jsが簡略化されスケーリングされた逆 直交変換を含んでおり、前記フィルタリングされた係数行列のそれぞれを逆変換 する前記ステップが、 該簡略化されスケーリングされた逆直交変換を該フィルタリングされた係数行 列へと適用することによって、Ｎ'×Ｎの中間のフィルタリングされた画像デー タ行列を形成するステップと、 該簡略化された変換の転置を該中間のフィルタリングされた画像データ行列へ と適用することによって、前記Ｎ'×Ｎ'のフィルタリングされた画像データ行列 を形成するステップと、 を含んでいる、請求項１に記載の方法。 13．行列として構成された画像フィルタにより電気的画像信号をフィルタリン グする画像処理方法において、該画像信号が一連の電気信号として与えられ、該 電気信号のそれぞれが、２次元画像の１エレメントの特性に対応している、方法 であって、 該一連の電気信号を１セットの数値に変換するステップであって、該数値がそ れぞれ、対応する画像エレメントの特徴・特性を定量的に記述している、ステッ プと、 該１セットの数値を、複数のオーバーラップされた画像データ行列へとフォー マットするステップであって、該オーバーラップされた画像データ行列がそれぞ れ、別のオーバーラップされた画像データ行列内に見出される少なくとも１つの 画像データ項を含んでいる、ステップと、 スケーリングされた離散コサイン変換を該画像データ行列のそれぞれに適用す ることによって、周波数係数行列を形成するステップと、 該画像フィルタ行列を、逆スケーリングされた周波数フィルタ行列に変換する ステップと、 該逆スケーリングされた周波数フィルタ行列を、少なくとも１つの該周波数係 数行列とマスク乗算することによって、少なくとも１つのフィルタリングされた 係数行列を生成するステップと、 該少なくとも１つのフィルタリングされた係数行列を一連のフィルタリングさ れた電気信号に変換することによって、該フィルタリングされた電気信号が、フ ィルタリングされた画像エレメントの２次元アレイへと構成されうるようにする ステップであって、該フィルタリングされた電気信号がそれぞれ、該フィルタリ ングされた画像エレメントの１つの特性に対応している、ステップと、 を含む画像処理方法。 14．前記オーバーラップされた画像データ行列がそれぞれ、該オーバーラップ された画像データ行列の別の１つの中に見出される少なくとも１列の画像データ 項をさらに含んでいる、請求項13に記載の画像処理方法。 15．前記オーバーラップされた画像データ行列がそれぞれ、該オーバーラップ された画像データ行列の別の１つの中に見出される少なくとも１行の画像データ 項をさらに含んでいる、請求項13に記載の画像処理方法。 16．スケーリングされた離散コサイン変換を前記画像データ行列へと適用する 前記ステップが、 該スケーリングされた離散コサイン変換を該画像データ行列へと適用すること によって、中間行列を生成するステップと、 該中間行列の少なくとも１つの項を格納するステップと、 該スケーリングされた離散コサイン変換の転置を該中間行列へと適用すること によって、前記周波数係数行列を生成するステップと、 を含んでいる、請求項13に記載の画像処理方法。 17．行列項をメモリから取り出すステップをさらに含んでいる、請求項16に記 載の画像処理方法。 18．スケーリングされた離散コサイン変換を前記画像データ行列へと適用する 前記ステップが、 該スケーリングされた離散コサイン変換を該画像データ行列の少なくとも１行 へと適用することによって、第１セットの中間行列項を生成するステップと、 第２セットの中間行列項をメモリから取り出すステップと、 該第１セットの中間行列項および該第２セットの中間行列項から中間行列を形 成するステップと、 該スケーリングされた離散コサイン変換の転置を該中間行列の前記列へと適用 することによって、前記周波数係数行列を生成するステップと、 該第１セットの中間行列項を該メモリに格納するステップと、 を含んでいる、請求項13に記載の方法。 19．前記画像データ行列を変換する前記ステップが、 前記スケーリングされた離散コサイン変換を該画像データ行列の少なくとも１ 列へと適用することによって、第１セットの中間行列項を生成するステップと、 第２セットの中間行列項をメモリから取り出すステップと、 該第１セットの中間行列項および該第２セットの中間行列項から中間行列を形 成するステップと、 該スケーリングされた離散コサイン変換の転置を該中間行列の前記行へと適用 することによって、前記周波数係数行列を生成するステップと、 該第１セットの中間行列項を該メモリに格納するステップと、 を含んでいる、請求項13に記載の方法。 20．前記画像フィルタ行列を変換する前記ステップが、該画像フィルタ行列の 一部から暫定行列を形成するステップと、離散奇数コサイン変換を該暫定行列へ と適用するステップと、を含んでいる、請求項13に記載の画像処理方法。 21．前記暫定行列が、前記画像フィルタ行列の右下４分の１を含んでいる、請 求項20に記載の画像処理方法。 22．前記少なくとも１つのフィルタリングされた係数行列を変換する前記ステ ップが、簡略化されスケーリングされた逆離散コサイン変換を該少なくとも１つ のフィルタリングされた係数行列へと適用することによって、少なくとも１つの フィルタリングされた画像データ行列を形成するステップ（ここで、該フィルタ リングされた画像データ行列は、該フィルタリングされた係数行列よりも少数の 項を含んでいる）と、該少なくとも１つのフィルタリングされた画像データ行列 を前記一連のフィルタリングされた電気信号に変換するステップと、を含んでい る、請求項13に記載の画像処理方法。 23．前記オーバーラップされた画像データ行列が８×８の行列を含んでいる、 請求項13に記載の画像処理方法。 24．前記オーバーラップされた画像データ行列が16×16の行列を含んでいる、 請求項13に記載の画像処理方法。 25．行列として構成された画像フィルタにより電気画像信号をフィルタリング する装置において、該画像信号が一連の電気信号として与えられ、該電気信号の それぞれが、２次元画像の１エレメントの特性に対応している、装置であって、 該一連の電気信号を１セットの数値に変換する手段であって、該数値がそれぞ れ、対応する画像エレメントの特徴・特性を定量的に記述している、手段と、 該１セットの数値を、複数のオーバーラップされた画像データ行列へとフォー マットする手段であって、該オーバーラップされた画像データ行列がそれぞれ、 別のオーバーラップされた画像データ行列内に見出される少なくとも１つの画像 データ項を含んでいる、手段と、 スケーリングされた離散コサイン変換を該画像データ行列へと適用することに よって、周波数係数行列を形成する手段と、 該画像フィルタ行列を、逆スケーリングされた周波数フィルタ行列に変換する 手段と、 該逆スケーリングされた周波数フィルタ行列を、該周波数係数行列とマスク乗 算することによって、フィルタリングされた係数行列を生成する手段と、 該フィルタリングされた係数行列を一連のフィルタリングされた電気信号に変 換することによって、該フィルタリングされた電気信号が、フィルタリングされ た画像エレメントの２次元アレイへと構成されうるようにする手段であって、該 フィルタリングされた電気信号がそれぞれ、該フィルタリングされた画像エレメ ントの１つの特性に対応している、手段と、 を備えている装置。 26．スケーリングされた離散コサイン変換を前記画像データ行列へと適用す る前記手段が、 該スケーリングされた離散コサイン変換を該画像データ行列へと適用すること によって、中間行列を生成する手段と、 該中間行列の一部を格納するメモリ手段と、 該スケーリングされた離散コサイン変換の転置を該中間行列へと適用すること によって、前記周波数係数行列を生成する手段と、 を備えている、請求項25に記載の装置。 27．前記中間行列の前記一部を前記メモリ手段から取り出す手段と、該中間行 列の該一部を組み合わせることによって、該中間行列を形成する手段と、をさら に備えている、請求項26に記載の装置。 28．前記フィルタリングされた係数行列を変換する前記手段が、簡略化されス ケーリングされた逆離散コサイン変換を該フィルタリングされた係数行列へと適 用することによって、フィルタリングされた画像データ行列を形成する手段であ って、該フィルタリングされた画像データ行列が該フィルタリングされた係数行 列よりも少数の項を含んでいるようにする手段と、該フィルタリングされた画像 データ行列を前記一連のフィルタリングされた電気信号に変換する手段と、を備 えている、請求項25に記載の装置。