JP2000508488A

JP2000508488A - ディジタル画像情報の多重解像度変換のシステム及び方法

Info

Publication number: JP2000508488A
Application number: JP9536337A
Authority: JP
Inventors: ヘンリーイーメドウズ; ロバートジェイボンノウ
Original assignee: ザトラスティーズオブコロンビアユニヴァーシティインザシティオブニューヨーク
Priority date: 1996-04-08
Filing date: 1997-04-03
Publication date: 2000-07-04
Also published as: EP0893029A1; WO1997038533A1; US5946417A; US6002794A; US5870502A; CA2250973A1

Abstract

(57)【要約】ディジタル画像データがウェーブレット及びフラクタル・コード化の双方の長所を組合せている技法によって圧縮される。この技法はコード化画像を作り出し、該コード化画像が他の圧縮画像と効率的に突合わされ得て、処理される画像を識別する。このコード化技法は、ウェーブレット変換によって作り出される数々の周波数スケールで画像（２０１）を空間的に消去し、各周波数スケール（２７０，２７２，２７４）で複数ピクセルから成るグループを含むブロックを形成する。各ブロックにおけるデータの平均モジュラス及び角度値は、次により高いスケール（１０９）と比較される。次いで、各周波数スケールは、隣接スケール（１１１）において対応する突合わせブロックを有するブロック用にコード化される。この技法はウェーブレットのエッジ保留の有益性と、フラクタル・コード化の圧縮有益性とを提供すると共に、スケール間での突合わせプロセスを加速する。合成エッジ手法を含むデコード技法が用いられて画像を再構築する。

Description

【発明の詳細な説明】ディジタル画像情報の多重解像度変換のシステム及び方法合衆国政府は、国家科学財団によって付与されたの契約条項第CDR-88-11111号によって提供されるようにこの発明に関しての確固たる権利を所持する。発明の分野本発明は、一般的には、ディジタル画像処理に関し、特に、多重解像度変換をディジタル画像に適用して、画像情報、パターン認識、並びに画像処理の圧縮コード化及びデコードを為すシステム及び方法に関する。発明の背景ディジタル画像処理は、数多くの現行の用途や漸進的に増加する潜在的な用途を伴ったコンピュータ・サイエンスの分野における先進の重要な領域である。ディジタル画像処理の課題には、記憶、分析、並びに、画像内の各点に対応する一連のビット或はバイトによってディジタル定義域内に表現される画像通信を含む。ディジタル画像の典型的な例はコンピュータのスクリーン上に現れるものである。スクリーンは多数の単色（モノクロ）或はカラー画素（「ピクセル」）から成り、それらの各々が表示されるべきピクセル（そしてある場合には、それが表示されるべき輝度の程度）を決定する関連されたバイナリ値を有する。最も簡略化された場合、各ピクセルはブラック・スクリーン上及びホワイト・スクリーン上のピクセルに関連されたデータである１ビットを有する。もし、ピクセルが明るければ、そのビットの値は１にセットされる。もしピクセルが明るくなければ、そのバイナリ値はゼロにセットされる。各ピクセルは、その代わりに、独特の色彩、特別な濃淡（中間調）、或は幾つかの他の情報の何れかを表わすデータとしてのバイト（８ビット）を有することができる。典型的なスクリーンは画像を表示すべく５２０×４８０ピクセルのアレイを有し得る。各ピクセルがそれ自体に対応するデータ・バイトを有する画像を含む１つの完全なスクリーンを記憶するために、約２メガビットのデータがこの例（５２０×４８０）に対して使用される必要があることになる。より多くのピクセルが、昨今、益々高密度化されていくより高解像度スクリーンに対して使用される。記憶及び処理のためのデータベース内に多数の単一画像を記憶するために、データ圧縮技法が要求され、それでリアルタイムの動作のためにデータベースを効率的に且つ実行可能に管理するように為す。ディジタル画像に関わる場での適用に加えて、ディジタル画像はネットワーク、専用線、或は何等かの他のタイプのデータ・コンジットの何れかを介して外部へ転送され得る。データ伝送の効率を増大するために且つそうしたデータ・コンジットの帯域幅に当てはまるような画像を表現するために、データは圧縮さえも必要とされる。ディジタルカメラ等の画像を記憶するための画像形成装置は遠隔地に配置され得て、画像データをディジタル式に処理してその遠隔地で圧縮され、その圧縮データが中央処理ステーション或は他の最終目的地へ転送され、そしてその画像情報をデコードして、その最終地のオペレータが画像を眺めることができるように為す。デコードされた画像は、識別目的のために、記憶された画像のデータベースと突合わせを行うこともできる。もしデータベースが突合わせるべく多くの画像記憶を含むのであれば、データベース内に記憶された画像は、該データベースが特定用途のために必要とされる数の画像を保持し且つ処理するために圧縮されなければならないであろう。加速されたパターン突合わせは、突合わせ動作の記憶及び伝送目的に対するバッチ処理が、その膨大なサイズのデータベースの故に数時間に及んで費やされる銀行のビデオテープに撮られた犯罪者の識別等の潜在的な用途に要求され得る。画像情報の圧縮がパターン突合わせに対して必要である一方で、従来の幾つかの圧縮技法はデータ圧縮中に重要な画像情報を喪失する可能性がある。パターン突合わせ技法の重要な局面はオブジェクトの本質的な特徴、例えばそれらのエッジ等を保存できることである。画像オブジェクトにおける物理的な相違は非常に軽微であり得て、データベース内には区別されるべきそして突合わされるべき多くの同様なオブジェクトが記憶される可能性がある。一例として、大きな会社で働く人々或は小さな町に住む人々のデータベースが挙げられる。パターン突合わせ技法は、入りロゲートの人間を識別すべく使用されることになるが、複数の人間を区別するために顔面の特徴における小さな特徴を考慮しなけばならないであろう。データベース内の複数の顔のディジタル画像を用いることは、現在、記憶用である。ニューヨーク州や他の州において、運転免許証上の写真はディジタル画像であり、記憶されており、もしその免許証が喪失されたならば再生される。次の段階は、犯罪場面のカメラに撮られた人々の顔を、物理的な画像の運転免許証データベースと突合わせて犯罪者を識別することである。指紋や他のオブジェクトのディジタル画像をも使用可能であろう。画像のパターン認識は、オブジェクトが常に静止していると限らないので、正確な同一位置のオブジェクトに限定されるべきではないが、認識技法はパターン突合わせの際にオブジェクトが回転させられて任意の位置に配置させられることを許容すべきである。また、ディジタル画像処理はビデオ処理をも含む。ビデオは、基本的には、複数の単一画像（フレームと呼称される）の時間連続である。経時的に引き続いて示される際の各画像フレームは一画像中に表現されているオブジェクトの動きを示す。また、ビデオ画像データは記憶され、再生されもする。ディジタルビデオ画像の一例は一般的なソフトウェア・プログラムに見られるビデオクリップである。これらビデオクリップは、ディジタル式に記憶された映画からのクリップ又は切り抜き、或は、カメラで撮られてディジタル式にコンピュータ内に記憶されたクリップを含むことができる。これらビデオ画像も長距離にわたって伝送させることができる。一例としては、遠隔地で話している話し手の画像を示すと共に該話し手の動き或は表現を示すテレコンファレンス又はテレビ会議である。ビデオ画像は、たった数秒のビデオ時間を表現するために大量のデータを要求する。ビデオの各個別フレームは記憶されて、認識可能なビデオ画像を作り出すべく再生されなければならない。複数フレームの一部のみが記憶されたとしても、純然たる数のフレームが圧縮される画像データには要求される。またビデオ画像は、ビデオ画像内における特定のオブジェクトを識別できるであろうパターン突合わせ方式においても使用可能である。これは、もし、他の通信システムが故障した場合に、航空交通管制機に飛行機間の識別を可能とさせ得る。上述の議論からディジタル画像コード化方式が、そのエッジ等の特徴の重要な細目又は詳細をも保存する一方で高圧縮比を有するので望ましい。現行用いられている１つの圧縮方式は、「フラクタルコード化（ｆｒａｃｔａｌｃｏｄｉｎｇ）」と呼称される。フラクタルコード化は、１画像の多数のサブパーツが繰り返されている事実を利用し、それ故に、画像は該画像におけるパーツの該画像におけるサブパーツの小数部（ブロックと呼称される）のみへのマッピング又は写像によって表現され得る。画像をそれ自体の片々へ写像することによって、別個のコードブックや画像の各種パーツを他のオブジェクトと関連させるワードは記憶される必要性がない。フラクタルコード化は、コード化される画像を、全体として捉えれば画像全体を作り上げる複数ブロックに細分する。これらブロックの幾つかは部分的に重複し、異なるサイズであり得る。従来のフラクタルコード化において、画像はそれぞれが複数のブロックから成る２つの集合に分割される。第１集合は、値域（ｒａｎｇｅ）ブロックと呼ばれる第２のブロック集合と比較されることになる定義域（ｄｏｍａｉｎ）ブロックである。定義域ブロックは回転させられることが可能であり且つ鏡像作成が可能であって、値域ブロックと比較させられることができる定義域ブロックのより多くの選択を作り出す。各定義域ブロックは、最も近接した突合わせを決定すべく各値域ブロックと比較される。定義域ブロックの値域ブロックへのマッピング又は写像は記憶される。突合わせブロックに関する唯一の情報が用いられて、残存ブロックは廃棄可能となり、よってデータを圧縮する。フラクタルコード化は他の公知の圧縮方式と比べて高圧縮比を生成する。圧縮比は、圧縮された画像内のビット数に対するオリジナル画像内のビット数として定義される。しかしながら、フラクタル（次元分裂図形）式にコード化された画像は、再構築及び圧縮解除された際、ブロック状人工産物を作り出す傾向がある。これはデータが複数ブロック内に組織されているが故である。先進のパターン認識システムによって要求される繊細なエッジ情報は、ブロック突合わせフラクタルコード化方式を用いることのみでは満足いくものではない。ディジタル画像情報を圧縮する他の技法はウェーブレット（ｗａｖｅｌｅｔ）・エッジ検出である。ウェーブレット圧縮技法は、画像が該画像を表現するために用いられるデータ構造のサイズを低減すべく削除可能な空間的及びスペクトル的冗長性を有していることを役立てている。簡略すれば、複数ウェーブレットが画像信号を複数の基本関数の集合に変換するものであり、基本集合としてサイン及びケージングを用いるフーリエ変換の用途に非常に似ている。基本関数の集合が付与されると、オリジナル画像は複数の係数の集合に変換される。これら係数は、導関数或は勾配演算子がその基本集合に適用されると更に変換され得る。次いでこれらの係数は、画像及びビデオ圧縮の効率的な手段を可能とする異なる周波数帯或はスケールでのエッジ形態を採る。ウェーブレット変換は、スケールが増大するに連れて解像度が減少する周波数スケールを作り出す。ウェーブレット変換が勾配演算子と共に適用されると、画像からテクスチャ（表面模様）を取り除くことができて、低減された再生品質を生み出す。フラクタルコード化の圧縮品質をウェーブレット・コード化技法の形状保存品質と組み合わせることが有益であろう。最近、幾つかの技法が、フラクタル及びウェーブレット技法双方からの局面が用いられて開発されてきている。これらの技法は、従来通りに空間的定義域内に適用されるフラクタル圧縮を採用して、それらをその代わりにウェーブレット定義域内に適用することに焦点を当てている。しかしながら、これら技法は該技法内のフラクタル部における勾配演算子によって現れる空間的相似性を全幅にわたって利用しておらず、よって技法増大のために圧縮比としての画像品質を喪失する。発明の概要本発明に従えば、コード化された圧縮画像情報をデコードし、オブジェクトを画像フィールド内においてデータベース内に記憶されたオブジェクトと突合わせ、そして、ビデオ・ディジタル画像をコード化し且つデコードするために、重要なエッジ情報を保持する一方で高圧縮を獲得すべく、ディジタル画像データをコード化することによって該データを処理するシステム及び方法が提供される。コード化方法は、従来のウェーブレット及びフラクタルコード化の方式を独特な方法で組み合わせて、それら両方式の全幅にわたる長所を採用するものである。コード化技法は、先ず、ウェーブレット変換によって画像データを初期的に２つの周波数スケールに空間的に分解する。ウェーブレット変換はエッジを増強する二次スプライン基準集合を用いる。各周波数スケールで、低周波数及び高周波数画像がウェーブレット変換中に生成される。高周波数画像は、係数の一定のグレースケールのレベルを下回るものを制限する閾値を設けている。次いで高周波数点表示は複数のブロックに分割され、そこでは、より高い周波数（より低いスケール）表示が値域ブロックと呼ばれ、次により高いスケール・ブロックが定義域ブロックと呼ばれている。各値域及び定義域ブロックの平均モジュラス及び角度値が計算されて記憶される。次いで勾配方向値は、値域及び定義域ブロック用に独立的にソートされ（分類され）、最接近値を見出すべく比較される。もし最接近の突合わせが所与の閾値を越えなければ、ブロック位置、モジュラス差強度、並びに角度値はファイル内に記憶されて、画像のその部分を表現する。もし最接近突合わせが閾値を越えるのであれば、他の周波数スケールが用いられる。未突合わせ定義域ブロックが、今後、今作り出された周波数スケールにおける新定義域ブロックに対する次の周波数スケールでの値域ブロックとなる。全てのブロックに関して閾値を下回るレベルでの突合わせが行われた場合、このプロセスは完了する。最後の突合わせ定義域ブロックを有したスケールの低周波数画像は空間的に多量に消去して記憶される。コード化された画像は本発明に従ったデコード技法を用いてデコード可能である。先ず、最高スケールの低周波数画像がデコードされる。次いでその同一スケールの高周波数画像もデコードされる。それら低周波数及び高周波数画像は次により高い周波数スケール（より低いスケール数）に変換され、相互に加算される。これはその次のスケールの低周波数画像を作り出す。そのスケールの高周波数画像をデコードして、該画像を次のスケールに変換するプロセスは再構築されるまで繰り返される。任意のブロック状人口産物の更なる除去は、チェーン・コード化が画像のフラクタル再生エッジ上で先ず実行される合成エッジ手法（ｓｙｎｔｈｅｔｉｃｅｄｇｅｐｒｏｃｅｄｕｒｅ）を用いることによって達成可能である。もしチェーン・コード化されたエッジの起動がそのチェーン内の次のフラクタルコード化されたブロックにわたって動作するならば、値域ブロック・サイズの２倍の制限領域が、制限チェーン・コード化ブロックがブロック境界にわたって動作する点の周りに作り出される。次いでエッジ細線化アルゴリズムが制限領域に適用され、その後、チェーン・コード化が制限長方形（ｂｏｕｎｄｉｎｇｒｅｃｔａｎｇｌｅ）と交差するフラクタルコード化エッジ・ブロックの中心で再開される。この発明に従ったコード化データのプロセスは、パターン突合わせ／認識方式において非常に有用である。コード化されたデータの記憶データは画像内のオブジェクトのエッジ周りでチェーン・コード化可能であり、異なるオブジェクトを識別する補助を為す。次いでオブジェクトが複数の周波数スケールにわたって突合わせ可能となって、最も確実なエッジを決定する。ノイズは除去され得て、エッジ情報は識別のためにコード化されたエッジ情報のデータベースと比較可能である。本発明のエッジ保有の特徴は精密な突合わせ及び増大された圧縮を可能とする。ビデオ・コード化は、本発明に従って実行された場合に非常に効率的である。ビデオは一連の複数フレームから作られており、その各々はディジタル画像である。第１フレームは本発明のコード化方式でコード化される。次いで光学的なフロー（流れ）が第１フレームと次のフレームとの間で計算される。次いで値域及び定義域ブロックの平均的な光学的フローが計算される。もし画像に対する変化が特定の値域或は定義域ブロックに対して充分に大きければ（平均的な光学的フローを閾値と比較することによって）、そのブロックは新画像部に対応すべく再度計算されることになる。変化した画像の内のそうした部分のみが影響を受けることになる。次いで、圧縮形態での新定義域及び値域ブロックは、処理される画像の現行状態を反映すべく伝送されるか或は記憶される。もし多数のブロックが変化するならば、次のフレーム全体はコード化されて画像内の誤差を最小化する。図面の簡単な説明本発明の更なる目的、特徴、並びに長所等は、本発明の好適実施例を表示している添付図面を参照して以下の詳細な説明から明らかとなるであろう。同図面中、図１は、本発明に従って画像データをコード化する各種段階のフローチャートであり、図２は、オリジナル画像に適用された図１のコード化プロセスの図式的な表現であり、図３は、図２に示された値域ブロックの図式的な表現であり、図４は、図２に示された定義域ブロックの図式的な表現であり、図５は、図２における例に適用された図１の突合わせ段階の図式的な表現であり、図６は、図２の例に関連されたスケール２の低周波数画像の空間的消去の図式的な表現であり、図７は、本発明に従った圧縮された画像情報をデコードする諸段階のフローチャートであり、図７Ａは、例示的な合成エッジ手法の諸段階のフローチャートであり、図７Ｂは、合成エッジ手法の例示用途の表示であり、図７Ｃは、７つのピクセルＰ₁，Ｐ₂，Ｐ₃...Ｐ₉から成るブロックを示す図であり、図８は、図２のコード画像に適用された図７のデコード・プロセスを示すグラフであり、図９は、本発明に従って生成された圧縮画像データのファイル例であり、図１０は、本発明に従ったコード化された画像データを用いてパターン認識を実行する諸段階のフローチャートであり、図１１は、図１０のパターン突合わせ技法で処理される多数のオブジェクトの図式表現であり、図１２は、図１０のパターン突合わせ技法に用いられる値域ブロック重心突合わせの図式表現であり、図１３は、未コード化画像に対する図１０のパターン突合わせ技法を実行する図式表現であり、図１４は、本発明に従ってビデオをコード化すべく使用される諸段階のフローチャートであり、図１５は、未コード化画像に対して図１４のビデオ・コード化技法を実行する図式表現であり、図１６は、本発明に従って実行される多数のオブジェクト・トラッキングの図式表現であり、図１７は、本発明に従ってビデオをデコードすべく使用される諸段階のフローチャートであり、図１８は、本発明の技法が実行され得るシステムの図式表現である。好適実施例の説明本発明は、高圧縮を達成するディジタル画像情報をコード化して圧縮するためのシステム及び方法であり、選択的且つ正確な特徴保存を為すと共にコンピュータ操作上効率的であるシステム及び方法に向けられている。ひとたび画像情報が本発明に従ってコード化され圧縮されると、更なる技法が説明され、それが伝送されるか或は記憶され得るであろう圧縮データからオリジナル画像を精密に再生できる。また、コード化技法は以下に更に説明される画像内にディジタル式に表現されたオブジェクトの非常に効率的なパターン突合わせを可能としている。最後に、コード化技法は画像圧縮及びビデオ画像内の形状認識のためにビデオ画像に適合させることができる。本発明のコード化方式は、従来のフラクタルコード化及びウェーブレット・コード化技法双方の各種要素をこれらの技法双方の効力を利用すべく独特な方法で組合せている。画像情報をコード化するための主要技法が先ず説明されることになる。引き続き、デコード、形状認識、並びにビデオ・コード化のためのコード化技法に基づく特定技法の全てが説明される。図１は、本発明に従って画像コード化技法を実行すべく含まれる諸段階のフローチャートを示す。コード化プロセスは画像を表現するデータを圧縮して、情報が容易に伝送され得るか或は記憶媒体に記憶され得るように為す。この技法で現行達成される圧縮比は、３５：１（データの３５バイト毎で圧縮データの１バイトによって表現される）であり、約（３０ｄＢのPSNR（ピーク信号対ノイズ比）のノイズ・レベルを伴う。ノイズはコード化前のオリジナル画像と再生画像との間の差である。圧縮データを表現するデータ（或は画像内の識別オブジェクト）はその低減されたサイズのためにより高速な形状認識が可能とされ、将来のパターン突合わせに使用可能となるように、圧縮画像のより膨大な記憶を可能としている。画像情報をコード化する以下の技法は、典型的には、複数のピクセル或はピクチャ要素から形成された画像の従来表現に対して実行される。画像フィールドは処理される画像全体であり、背景に配置された複数のオブジェクトから形成され得る。よって画像は、グリッドの中心近傍に１０％のピクセルがオブジェクトを構成する際に、複数のピクセルから成る１０００×１０００グリッドで形成され得る。画像フィールド内に記憶されるべき所望画像部は、交通信号機における３つの円等の多数のオブジェクトから形成され得る。それ故に、交通信号の画像は３つの円オブジェクトと長方形オブジェクトとから作り上げられることとなる。特定画像に適用されるコード化技法の一例が引き続く図面に示される。図１におけるステップ１０１は、標準的な２次元ウェーブレット変換を用いて、第１及び第２周波数スケールにコード化されるように画像を空間的に分解している。ウェーブレット変換は、変換されるべき画像の画像データに適用される平滑化関数の（ｘ，ｙ）点の導関数をとり、その後、画像におけるエッジの存在を示すモジュラス最大値（その点における情報の最大の量及び強度）を計算することによってエッジ情報を識別するものである。コード化の開始が以下の式１乃至３によって説明される。式１及び２は、ｘ方向或はｙ方向の何れかにおける平滑化関数（θ）の勾配である。本発明はウェーブレット・コード化に対して二次スプライン基準集合を用いる。二次スプライン基準集合はより大きなエッジ情報がその特性によりウェーブレットによって保持されることを可能としている。二次スプライン基準は、組合せウェーブレット‐フラクタル変換に従来用いられてこなかった。殆どのフラクタル関連のウェーブレット技法は、表示としてのブロックを取扱うフラクタルコード化方式での実施が容易である単純なハル（Ｈａａｒ）基準集合を用いるが、大量のエッジ情報を保持しない。ハル基準集合は周波数定義域におけるｓｙｎｅ関数から成るか、或は空間的定義域のブロック関数から成る。ウェーブレット及びフラクタル技法を組合せた場合、二次スプライン基準集合を用いることはウェーブレット定義域内においてエッジ形状情報を、より精密なフラクタル・ブロック突合わせに対してより良好に現せることを可能としている。ある。通常、ｓは２の累乗である。この技法の第１パスにおいて勾配スケールは２である。これは、画像がｘ及びｙの両方向に２だけ空間的に消去されることを意味する。任意の引き続く周波数スケールの各々において、勾配スケールは２の次の累乗となり、即ち第２パスに対しては４（２²）となり、第３パスに対しては８（２³）となり等々である。次に、画像ｆは平滑化関数に巻き込まれ、ｆは画像を表わす関数である。ウェーブレット変換関数を用いて、特定スケール用にコード化される画像のウェーブレット変換を計算した後、ウェーブレット画像は多数の副領域又はブロックに分割されることとなる。これらブロックは一定数のピクセルＮ×Ｎ、通常ウェーブレット・スケールに対応する２の累乗を含むこととなる。各周波数スケールにおける各（ｘ，ｙ）ピクセルに対するモジュラス及び勾配角度は式６及び７で記載されるように計算される。モジュラスは所与のスケールに対してピクセルのグループ内に記憶された画像倍率の量であり、勾配角度はもし存在すればエッジの導関数を示す。次いでステップ１０３は、そのモジュラス値が所定値を越えるような点に基づく画像の選択された周波数スケールでの点表示を形成する。この技法の第１繰り返しの場合、２つの周波数スケールが指定されたスケール数である１（Ｓ＝２）及び２（Ｓ＝４）で点表示を有することになる。点表示はこの技法のフラクタル部において使用される。ウェーブレットと変換が画像に適用されると、該画像の２つの表示が作り出される。第１の表示、高周波数画像と呼称される表示は、一定の閾値を越えている場合のモジュラスに伴うピクセル全てを含む。第２表示、低周波数画像と呼称される表示は、低いモジュラス値を伴うピクセルを含む。低強度のモジュラス値はピクチャのテクスチャ或は粒子に対応し、高いモジュラス値はエッジ或はより識別的な特徴に対応する。高周波数画像情報はより少ないデータ点を有し、その理由は閾値を越えているそれらピクセルだけが保持されるからである。よって画像内における任意の空の空間は除去されることとなって、データ表示におけるスペース節約を為している。次いでステップ１０５は周波数スケールＮにおける高周波数画像を値域に分割すると共に高周波数スケールをＮ＋１から定義域ブロックへ分割する。定義域及び値域ブロックのサイズはＰＳＮＲ（ピーク信号対ノイズ比）と、結果として再生された画像の圧縮比とに影響する。生成される定義域ブロックがよい多ければ多い程、ＰＳＮＲはより低くなってよりクリーンな画像を作り出すが、圧縮は低減されることとなる。効果的な４進木セグメンテーションが用いられて、最低スケールのウェーブレット基準集合は他の周波数スケールの全てを含むので、より低い２つのスケールの高周波画像を値域ブロックに細分する。もし値域ブロックにおける画像データの量が所定の閾値レベルよりも大きければ、その値域ブロックは更に細分されることとなって、特定の値域ブロックにおけるモジュラスはその閾値レベルを決して越えることがない。ステップ１０７は、ステップ１０５で生成された各定義域及び値域ブロックに対して、正規化されたモジュラス最大値及び正規化角度を計算する。本技法におけるこの点で、もし追ってパターン認識が所望されるのであれば、ウェーブレット変換のリップシッツ（Ｌｉｐｓｃｈｉｔｚ）指数も計算可能となる。リップシッツ指数はパターン認識の欄で引き続き充分に説明される。正規化モジュラス及び角度値は以下の式で計算される。ジュラス或は角度値の平均である。式８及び９における「Ｎｏｒｍ」は所与の定義域或は値域ブロックにおける非ゼロのピクセルの数である。正規化されたモジュラス及び角度情報はスケールＮの値域ブロック及びスケールＮ＋１の定義域ブロックに対して計算される。正規化平均モジュラス及び角度情報は、図９により詳細に示される圧縮画像ファイル内に記憶される。ステップ１０９は、スケールｎ＋１でコード化される画像内の各定義域ブロックからの正規化角度及びモジュラス値をスケールｎの各値域ブロックと突合わせるものであり、ｎはコード化される現行スケールである。よって本技法の第１繰り返しは、スケール１での値域ブロックと、スケール２での定義域ブロックとを有する。第２の繰り返しは、スケール２での値域ブロックと、スケール３での定義域ブロックとを有することになる。全ての定義域及び値域ブロックに対する平均ノルム角度及び平均モジュラス値は角度値及びモジュラス値で別個にソートされて、ルックアップテーブル内で比較される。モジュラス及び角度の正規化平均値をソートすることによって定義域ブロックの各ブロックは各値域ブロックと個別に比較される必要性がなく、これは従来のフラクタルコード化で為されている。モジュラス及び角度値を予め分類されたソート順序で比較することによって、計算時間の大きな節約が達成可能であり、コード化方式の効率性に関して相当に大きい増大をもたらす。ステップ１１１は、特定の定義域ブロックから再接近した値域ブロックまでの正規化モジュラス最大及び角度の間の差が所定の閾値を上回るかを検査する。この差の値は、定義域ブロックが値域ブロックとどの程度同様であるかの優れた尺度である。モジュラス及び角度値は分類されるため、再接近の値域ブロックを決定することは相対的に高速なプロセスである。差は以下の式によって計算される。もし特定の定義域ブロックと値域ブロックとの間の最小差値が所定閾値を上回れば、値域ブロックが次に高いスケールの定義域ブロックに充分にマッチングせず、他のより高い周波数スケールをその特定の値域ブロック用の適切なコード化として用いなければならない。もし少なくとも１つの定義域ブロックが高い最小差値を有すれば、更なる周波数スケールが生成されなければならない。もし定義域ブロックに対する差値が閾値を下回れば、現スケールは画像を所望レベルまで圧縮して保存するに充分であり、その値域及び定義域ブロックに対するデータはステップ１１１で記憶されることとなる。ステップ１１１はファイル内のテーブルにおける定義域ブロック／突合わせ値域ブロック位置に、それらブロックと、比較された際に所定閾値を下回る最小差値を有した値域ブロックに対する値域ブロックの正規化角度値との間の平均差値を伴って入る。生成されたテーブルの例は図９に関連して示され且つ説明される。ファイル内に記憶された値は、伝送或は記憶された後に圧縮解除され得るオリジナル画像の圧縮表示であり、効率的なパターン突合わせやビデオ圧縮の一部として使用される。ステップ１１３は定義域及び値域ブロック間の最小差値が所与のブロック用の閾値を越えるか否かを検査する。もしそうであれば、本技法はステップ１１５で続行され、同様であるより高いスケールでの値域及び定義域ブロックを獲得する。スケールが増大して値域の解像度が減少すると、突合わせブロックを見出すことがより容易となる。ステップ１１５は次により高い周波数スケールで画像情報を空間的に分解する。この好適実施例においてスケールは２の率で増大する。次いでより高いスケールの低周波数画像は２の率で空間的に消去される。よって、もし第１スケールが２まで消去されると、第２スケールは４まで消去され、第３スケールは８まで消去されることになる。スケールは画像の解像度及び空間的消去量を決定する。プロセスはステップ１０３で継続して、値域ブロックが、先行する定義域ブロック及び定義域ブロックが新しく生成されたスケールから来ている高周波数画像からである。ステップ１１７は、その定義域ブロックがコード化されているスケールの低周波数画像をフラクタル式にコード化する。このコード化は標準的なフラクタルコード化技法で為される。最低周波数情報の定義域ブロック及び定義域ブロックは共にウェーブレット表示の更なる圧縮を可能としている。代替的には、低周波数画像はその画像を圧縮するために空間的に副標本が取られる。図２乃至図６は図１で説明されたコード化技法を、コード化され且つ圧縮されるオリジナルの未コード化画像に適用した図式表現である。図２はオリジナル画像と、コード化中の行われる中間的な処理段階とを示す。この例において、３つの周波数スケールが画像の多重解像度変換中に生成された。ラベル２７０，２７２，２７４は図面内のスケール番号を示している。ボックス２０１はコード化前のオリジナル画像を表わす。この例におけるボックス２０１の画像は目、鼻、口、並びに髪を伴った顔である。画像における陰影部は、写真或は絵等の通常画像に現われる顔のテクスチャを表わす。ボックス２０３は、画像が第１周波数スケールでウェーブレット・コード化された後の低周波数スケール「１」（第１周波数スケール）画像を表示している。ウェーブレット・コード化は画像内の周波数成分を半分に分割して、低周波数スケール１画像２０３及び高周波数スケール１画像２０５を生成する。高周波数スケール１画像は最大のエッジ情報を含む。ウェーブレット変換から得られる低周波数スケール１画像は保存された画像のテクスチャの幾分かとエッジ情報の幾分か（例えば髪）とを有する。幾分かのエッジ情報は全周波数スケール内に含まれる。ボックス２０５は、第１周波数スケールでのウェーブレット・コード化後の高周波数画像スケール１を表示する。第１スケールの高周波数スケール１画像は一定の閾値よりも大きなエッジだけを保持することになる。よってノイズ或は低モジュラス値を伴う非常にソフトなエッジは削除されることになる。ゼラス（Ｚｅｒａｔｈ）周波数スケールは、それが最大周波数を含むために他のスケールよりも画像のより多くのエッジを取込み、如何なるエッジももし可能であれば第１スケール内のコード化データに保持される。第２周波数スケールは第１周波数スケールの低周波数部の分解であり、圧縮画像の低減された解像度と成る。ボックス２０７は、第２周波数スケールでのウェーブレット・コード化後の低周波数スケール２画像を表示している。スケール１の低周波数情報は、ウェーブレット関数を用いて変換されて、スケール２での低及び高周波数画像を作り出す。オリジナル画像２０１のテクスチャは依然温存されているが、オリジナル画像の分解された表示で変換されているので、オリジナル画像の第１周波数スケールにおける程度までではない。ボックス２０９は第２周波数スケールでウェーブレット・コード化後に作り出された高周波数スケール２画像を表示しており、エッジ情報の殆どを保持するがその全てではない。保持されているエッジ情報は第１周波数スケールに存在する程に完全ではない。ボックス２０９における画像表示は髪或は口のエッジを具備しないが、その他のエッジを示している。ボックス２０９の画像におけるエッジの解像度は、第１周波数スケールの画像ボックス２０５よりも小さい。第３周波数スケールは第２のものよりも周波数に関して低く、圧縮画像の解像度は低減する。低周波数スケール２画像２０７をウェーブレット・コード化することは低周波数スケール３画像２１１及び高周波数スケール３画像２１３を作り出す。ボックス２１１は、低周波数スケール３ボックス２０７からの画像情報を第３周波数スケールでウェーブレット・コード化した後の低周波数スケール３画像を表示している。低周波数で、全体的な形状のテクスチャが保持されるが、他の２つのスケールよりも少ない。ボックス２１３は第３周波数スケールでのウェーブレット・コード化後の高周波画像を表示している。コード化データに保持されているエッジ情報は他の２つのスケールよりも少なく顔のアウトラインのみが記憶されている。多重的な周波数スケールの目的は、ウェーブレット変換情報の圧縮及びエッジ検出の利益を獲得することであり、更にフラクタル技法を用いて画像を更に圧縮する。周波数スケールが用いられて、各定義域ブロックがオリジナル画像に基づく同様な値域ブロックを有するというフラクタルコード化における条件を満たす補助を為す。しかしながら、異なる周波数スケールを提供することによって、ブロックが複数の周波数スケールにわたって突合わせ可能となり、より高い周波数スケール（よってより大きい）からの定義域ブロックがより低い周波数スケールの値域ブロックに突合わせされる。これを達成するために、１つの追加的スケールが使用されている値域ブロックの最高スケールに対して作り出されなければならない。定義域ブロックは、常に、圧縮を増大するために値域ブロックよりも高い１つのスケールである。よって、高周波数スケール２のボックス２０５における第１スケールがフラクタルコード化されると、定義域ブロックはスケール２の高周波数スケール２のボックス２０９から引き出されなければならない。ひとたび値域及び定義域ブロックの平均モジュラス及び角度が計算され記憶されると、定義域及び値域ブロック間の差が決定される。もし最も接近した値域ブロックに対する各定義域ブロックの差は所定閾値を下回れば、相対的な位置である定義域及び値域ブロックはファイルに記憶される。それらのコード化されたブロックは周波数スケール１におけるボックス２２４に示されている。スケール２に対するコード化ブロックはボックス２２６に示されている。もし、所与の定義域ブロックとそれに対して最も接近した値域ブロックとの間の差が所定閾値よりも大きければ、その特定の定義域ブロックがよい高いスケールでコード化されなければならない。ファイルに記憶されなかった定義域ブロックは次により高いスケールで処理されてランダムな位置に配置され、更により高いスケールが作り出されて新定義域ブロックとなる。ひとたび全ての定義域ブロックがコード化され且つ各定義域ブロックに対する差値が閾値を下回れば、固定されたグリッド上である値域ブロックを含む最も高いスケールはそれ自体がフラクタルコード化されてテクスチャ情報を保存し、迫って説明されるように画像が再構築されることを可能とする。図２の例において、低周波数スケール２ボックスはフラクタルコード化されてコード化ボックス２２８を形成する。代替的には、低周波数スケール２ボックスが圧縮されるべく空間的に再標本化される。追ってより詳細に説明されるデコード・アルゴリズムは、テクスチャ情報を含むコード化データの最低解像度（最高スケール）によって低周波画像で始まり、フラクタルコード化高周波数ボックス２０７及び２０５からのエッジ情報に関して戻し、最終的にオリジナル画像２０１を形成する。周波数グラフ２５０は、この発明に従った多重解像度変換の各スケールで用いられる周波数成分の一次元表示を示す。画像は初期的には、ウェーブレット変換技法の一部としての（両直交スプライン或は二次スプライン基準等の）基準関数を用いて周波数定義域に変換される。オリジナル画像は、ゼロからｆまでに及ぶように表示される周波数範囲内で空間的に表示され、その周波数範囲は全画像を包含している。ウェーブレット変換の最高解像度であるスケール１は、グラフ２５４に示されるように、２の率で周波数スケールを高周波数スケール１のボックス２０５及び低周波数スケール１１のボックス２０３に分割している。スケール１の低周波数範囲は０からｆ／２までをカバーする。スケール１の高周波数範囲はｆ／２からｆまでをカバーする。スケール２は、この例において、スケール１から２の率で解像度に関して低減されている。グラフ２５４における低周波数領域は、ここで、グラフ２５６に示されるスケール２に対する新しい低周波数画像２０７及び高周波数画像２０９になるような、引き続くウェーブレット変換の一部としての低域パスフィルタ及び高域パスフィルタの等価回路によって半分に分割される。スケール２の低周波数範囲はボックス２０７に対応し、ゼロからｆ／４までに及んでいる。ボックス２０９に対応するスケール２の高周波数範囲はｆ／４からｆ／２までに及ぶ。次いでスケール３は、この例において、スケール２から２の率で解像度に関して低減される。グラフ２５６における低周波数領域は、ここで、表示２５８に示されるスケール３に対しての新しい低周波数画像２１１及び高周波数画像２１３になるような、低域パスフィルタ及び高域パスフィルタの等価回路によって半分に分割される。ボックス２１１に対応しているスケール３の低周波数範囲はゼロからｆ／８までに及んでいる。ボックス２１３に対応しているスケール３の高周波数範囲はｆ／８からｆ／４までをカバーしている。次いでスケール３は２の率で解像度に関して低減され、もし他のスケールがコード化技法によって要求されたならば、この技法においてスケール４を作り出す。もし第４スケールが要求されれば、グラフ２５８の低周波数成分は新しい低及び高周波数表示を形成すべく半分に分割される。グラフ２５０における周波数スケール間の関係は、最高数のスケール（即ち、最低解像度）で始動可能であり且つ画像が再生されるまで高周波数スケールを繰り返し再構築することが可能である。よって、低周波数２画像２０７がスケール２の高周波数スケール２画像２０９に結合されると、低周波数第１スケールの画像２０３が作り出されることになる。次いで低周波数画像２０３はスケール１の高周波数画像２０５に結合可能となって、オリジナル画像を形成する。オリジナル画像の全周波数スペクトルはこの方法を用いて再度作り出すことが可能である。周波数範囲のこの分割は本技法が、値域ブロックに記録された最高スケールの低周波数ボックスと各スケールからの高周波数画像とからのデータのみを記憶することを可能としている。定義域ブロック用の最高スケールは、その定義域情報が圧縮画像ファイルに記憶されないために記憶される必要性がない。次いで残存する低周波数ボックスは引き続き再度作り出されて、コード化前のオリジナル画像を生成する。矢印２２０は、高周波数スケール１画像２０５における値域ブロックの高周波数第１スケール２０９における定義域ブロックとの関係を示す。所与周波数スケールに対する定義域ブロックは、次により低い周波数スケールの値域ブロックへ写像される。もし特定の周波数スケールにおける所与の定義域ブロックに対して整合が全くなければ、そのスケールは１だけ増大されて、新しい整合対が求められる。矢印２２２は高周波数スケール２画像２０９における値域ブロックと、高周波数スケール３画像２１３における値域ブロックとの間の写像を示す。本技法はスケール３における定義域ブロック全てがスケール２及びそれ以下における値域ブロック全てに対して十分な整合を有しているため、値域ブロックの更なるスケールは要求されない。図３は、各スケールにおける高周波数画像を値域ブロックに細分すべく、図１のステップ１０５における４進木セグメンテーションが各スケールにわたってどのように使用されるかの例を示す。この４進木セグメンテーションは、値域ブロックが提供された画像のエッジに基づいて、どのように割り当てられるかを示す。イラスト的記述が、値域ブロックを含む周波数スケールの各々での変換画像から成る図３に示されている。ラベル３０８及び３１０は周波数スケール数を示す。値域ブロック３０４は高周波数ボックス２０９に対応し、値域ブロック３０６は高周波数ボックス２１３に対応している。値域ボックス３０４は、値域ボックスを含む最高スケール（最低解像度）の高周波数ボックスにおける情報を示す。画像情報は、ウェーブレット変換中に実行された低域パスフィルタ処理のために、より低いスケール（スケール１）程に詳細ではない。画像は、好ましくは、面積に関して同等のブロックで上に横たわっている（ブロック・サイズは可変である）。画像のエッジはブロックの内の１つに存在している場合、その特定ブロックは増大解像度の他のスケール内に存在することになる。値域ブロック３０６はスケール１に対して示され、図２のボックス２０５に対応している。それら値域ボックスは次により高いスケールの定義域ブロックと突合わせられる。値域ブロックの解像度は値域ブロック３０６において２の率で増大される。これが意味することは、上に横たわるグリッドがより高いスケールよりも、４倍の多くの値域ブロックを有し、それによってより多くの情報が処理されることである。同一画像に対する値域ブロックの増大された数は、エッジ及び特徴が、第３スケールの値域ブロック３０２に見出されるよりも、追加的に記憶され且つ表示されることを可能としている。特に、オリジナル画像の顔における目及び鼻は、ここでは、スケール２の値域ブロック３０４によって表示されている。図４は、高周波画像をモジュラス・エッジで生ずる可能性ある定義域ブロック全ての集合に分割させる定義域ブロックの図式表示を示す。この画像は、一定の閾値を上回るエッジ情報を具備するブロックのみがウェーブレット変換後に表示されるためにモジュラス画像と呼称される。もしブロックが存在する情報があまりにも少ないためにエッジを含まなければ、それは無視される。画像情報量の閾値レベルは、少量のエッジ情報或はノイズを具備する定義域ブロックを無視するように設けられている。閾値レベルはそうしたレベルで設定可能であり、あまりにも多くのブロックを除去することからのエッジ及びテクスチャ情報の損失に抗して平衡した状態で、コード化技法の効率を増大する。ラベル４０５及び４０７は周波数スケール数を示す。定義域ブロック４０１は、スケール３ウェーブレット変換からのエッジ情報を含む定義域ブロックのみの表示を示す。残存する定義域ブロックの全ては無視された。定義域ブロック４０３は、スケール２ウェーブレット変換からのエッジ情報を含む定義域ブロックのみの表示を示す。スケール１の定義域ブロックは全くなく、それは定義域ブロックが常に１つ下のスケールを形成する値域ブロックと比較されるからである。よって、スケール１定義域ブロックに対するスケール０の値域ブロックは全くなくなる。次いで、値域ブロック３０２，３０４，３０６の各個別の値域ブロックと、定義域ブロック４０１及び４０３の個別定義域ブロックとは、各ブロックに含まれる画像情報の平均モジュラス及び平均勾配角度によって予め分類されている。そうした分類を生成するための式は図１の説明中に詳細されている。ラベル５１５，５１７，５１９は周波数スケール数を示す。ラベル５２１，５２３，５２５はブロック・タイプ或は表示タイプを識別する。次いで各定義域及び値域ブロックに対する平均モジュラス値及び平均角度値は分類されて圧縮ファイルに記憶される。図５は、図１の諸ステップに従って、図４からの定義域ブロックを図３の値域ブロックと突き合わせる図式的な表示を示す。スケール３の定義域ブロック５０１は次により低いスケール、この場合ではスケール２のより小さな値域ブロックと突合わせられる。スケール２の定義域ブロック５０５はスケール１のより小さい値域ブロック５０７と突合わせられる。定義域ブロックを値域ブロックに突合わせる従来法は、各定義域ブロックを対応する値域ブロックと最小二乗平均の差別で比較することによるものであり、これはコンピュータ集約的である。しかしながら、本発明に従えば、各値域及び定義域ブロックにおける画像情報の平均モジュラス及び角度値がテーブル内に記憶されている。次いでテーブルが平均モジュラス及び角度値に基づき各定義域ブロックと比較される。ひとたび分類されると、値域ブロックのリスト全体が各定義域ブロックに対して検査される必要性がなくなるが、同一の正規化された平均モジュラス及び角度値に接近している予め分類されたブロックだけが検査される。よって、低い平均モジュラス及び角度を具備する定義域ブロックが、低い平均モジュラス及び角度を具備した値域ブロックと検査されることになる。もし特定の定義域ブロックと対応する値域ブロックとの間の値差が一定の閾値よりも大きければ、所与の周波数スケールに対するブロック間の十分な整合がなく、他の周波数スケールが生成されて、画像を更に細分して誤差を検査する。３つの周波数スケールを生成することは、写真品質の画像をコード化するために要求されるスケールの典型例である。定義域ブロックの値域ブロックに対するより高速な突合わせを可能とすべく実行され得る複数のステップがある。第１として、定義域ブロックの数は、該定義域ブロックのサイズを減少することによって増大され得る。定義域ブロックは回転可能であるか、さもなければ変換されて追加的な突合わせオプションを提供する。更には、定義域の値域ブロックに対する突合わせは続けて関連されないスケールまで拡張され得る。例えば、値域ブロックはスケール１であれば、スケール３の定義域に突合わせ可能となる。これらの方法は、コード化プロセスの効率を増大することになる。図６は、オリジナル画像の値域ブロックに関する、最高スケールでの低周波数表示をフラクタルコード化する図式表示である。この例において、値域ブロックを含む最高スケールはスケール２であり、画像情報を含む低周波数画像は低周波数スケール２画像６０１で示されている（図２のボックス２０７に対応）。ラベル６０９及び６１１は、空間的消去に対して用いられるブロックのタイプを示す。低周波数画像６０１の定義域ブロック６０５は、同一画像の値域ブロック６０３と突合わせられ、従来のフラクタル技法を用いてコード化される。第２スケールの低周波数画像を表示する値域ブロック及び定義域ブロックの写像は圧縮ファイルに記憶される。代替的には、空間的副標本化を用いることができ、低周波数画像をコード化する。図７は、本発明に従った技法の画像デコード部分に関わる諸ステップのフローチャートを示す。デコード・プロセスは圧縮画像を表示するデータを転送してコード化及び圧縮情報がオリジナル画像に非常に緊密に近似するように再構築されることになる。以下に説明されるデコード技法の幾つかの部分に対して実行されるデコード・ステップがより多く繰り返されるほど、再構築される画像はオリジナル画像により近づくようになる。図７の以下の技法は、図１で説明された技法でコード化された圧縮画像の画像デコードを為すものである。特定のコード化画像に適用されるデコード技法の例は図８に示されている。ステップ７０１は、その特定の画像に対して整合している定義域及び値域ブロック位置を含んでいるコード化ファイル内に記憶されたフラクタルコード化低周波数情報をデコードすべく、従来のフラクタル技法を用いることを繰り返す。その結果は、オリジナル・コード化に用いられる値域ブロックを含む最高スケールでの低周波数画像となる。オリジナル画像の低周波数テクスチャ情報はその特定スケールに対して再生されることになる。ステップ７０３は、その最高スケールに対する高周波数情報の特定点表示を点表示にフラクタル式に再構築することを繰り返す。図２に示されるフラクタルコード化画像２２６の例において、画像は従来のフラクタル技法を用いて再構築される。オリジナル画像を実行するために要求される最終的な繰り返し数は点表示の所望精度に依存する。典型的な例は従来のフラクタル技法の３回の繰り返しである。こうした繰り返しが記憶された高周波数表示に対して実行され、高周波部に対するエッジ情報を再生する。ステップ７０５は、フラクタルデコードにより作り出されたブロック状人口産物を閾値を設けることによって除去すべく、各スケールの高周波画像の点スケール表示を処理する。もし、ブロック内の画像の平均モジュラス値が所定閾値を下回れば、画像の一部とならない。これはエッジ検出のウェーブレット変換の長所が、フラクタル圧縮長所と組合せられることを可能としている。ステップ７０７は、所与のスケールに対する低周波数及び高周波数画像を組合せることによって、そのスケールに対する所望空間的表示に戻すように繰り返すべく、交番投影の方法を用いる。データは帰納的に逆フィルタを介して送られ、低及び高周波数情報に対するウェーブレット・コード化データを次のより低いスケールへ変換する。このプロセスはより低い解像度スケール（より高いスケール数）から情報を取り出し、その周波数表示がより大きなエッジ情報及びより高い解像度を有する次のより低いスケール内である画像を作り出す。各スケールの再構築に対しての数或は繰り返しは可変であり、再生される画像の要求される精度に依存する。典型的な繰り返し数は３である。このアプローチは、３５：１の圧縮比で２５ｄＢの出力信号対ノイズ比を生み出す。３５対１の圧縮比での３０ｄＢの出力信号対ノイズ比の場合、その合成エッジはステップ７０８と７０９の間で使用される。次いでステップ７０９は低周波数表示をフラクタル・デコードされた高周波数表示へ加算し、それらの両方が逆スケール・フィルタを介して変換されて、より低いスケールで画像を形成する。低周波数画像を高周波数画像へ加算することで、再生画像に次により低いスケールでのテクスチャ及び画成エッジの双方を付与する。ステップ７１１は、デコードされた画像が周波数について現行スケールでの画像解像度の所望レベルにあるかを検査する。これはプログラムによって予め規定させることができるか、或は、画像がデコードされている際にリアルタイムで課することができる。もし画像が了承可能な解像度であれば、デコード技法が行われる。例えば、オペレータは、オブジェクトが通常のブランク画像フィールド内に現われるかを決定することを単に欲する。オペレータは、自身の目的に対して高解像度画像を必要とするであろう。もし再構築画像が了承できる画像でなければ、この技法がステップ７１３で続行される。ステップ７１３は次のより低いスケールでのデコード・プロセスを開始する。特定スケールの高及び低部分を加算した結果、次の最低スケールの低周波数表示となる。次のスケールレベルに対する記憶された高周波数表示が使用されて、そのスケール・レベルで情報を繰り返し再構築する。規定された新低周波数及び高周波数情報で、本技法はステップ７０３で続行する。もし処理すべき更なるより低いスケールがなければ、その画像は完全にデコードされることになる。図８は、図７に記載されている画像に対するデコード・プロセスの図式表示を示す。ラベル８２０及び８２２は周波数スケール数を示す。先行して記憶された値域ブロックを具備する最高スケールの低周波数画像情報に対するコード化データは、従来のフラクタル技法を用いることを繰り返すことによって再構築されて、点画像を再構築する。合成エッジが、各スケールのフラクタル再構築後に適用される。実行される繰り返しの数は、オリジナル画像への所望接近程度に依存する。各繰り返しは収縮された定義域ブロックを値域ブロック位置へ配置して、新画像を形成する。初期画像は、一定の繰り返し数後、任意の開始画像がブロックの写像を用いてオリジナル画像へ変換されることになるので、ランダムであり得る。定義域‐値域ブロック写像を用いての一定の繰り返し数後、オリジナル画像が再度現われる。低周波数情報がデコードされると、スケール２の低周波数ボックス８０３が作り出される。この変換ステップは図７のステップ７０１に対応する。次に、スケール２に対する高周波数コード化情報８０５は、自己繰り返しの従来通りのフラクタル技法を用いてデコードされる。その結果は高周波数スケール２の画像８０７である。このステップは図７のステップ７０３に対応する。次いで、閾値を適用する図７のステップ７０５は、如何なるブロック状人口産物をも除去すべく、ボックス８０３及び８０５内に記憶されたデコード画像に対して実行される。任意のブロック状産物の更なる除去は、ステップ７０６の合成エッジ手法を用いることによって達成され得る。ステップ７０６の更なる詳細を示すフローチャートが図７Ａに示されており、合成エッジ手法の例示適用の図示が図７Ｂに示されている。合成エッジの目的はオリジナル・エッジを再生することであり、それは本質的にはフラクタルブロック・エッジからの１ピクセル幅であり、フラクタル値域ブロックの幅にまでであり得る。理想的には、再ブロック化エッジの完全なフラクタル再構築は１ピクセル幅であるべきである。図７Ａ及び図７Ｂに示された合成エッジ手法例を用いて、チェーン・コード化７１８（図７Ａにおけるステップ７１４と図７Ｂにおけるステップ７２０）がフラクタル再生エッジ７１８に対して先ず実行される。もしチェーン・コード化エッジの軌道が該チェーン内の次のフラクタルコード化ブロックを外れて動作すれば、値域ブロック・サイズの２倍の制限長方形７２１が点の周りに作り出され、そこに制限チェーン・コード化ブロックがブロック境界にわたって走っている（図７Ａにおけるステップ１５）。エッジ細線化アルゴリズムがその制限長方形７２１に適用され、その後、チェーン・コード化が制限長方形と交差するフラクタルコード化エッジ・ブロックの中心で復帰される（図７Ａでのステップ７１６）。エッジ細線化アルゴリズムに関しては、中央ピクセルＰ₁と、周辺ピクセルＰ₂ ，Ｐ₃，Ｐ₄，Ｐ₅，Ｐ₆，Ｐ₇，Ｐ₈，Ｐ₉とを含む９ピクセルのブロックを示す図７Ｃを参照のこと。もし、Ｚ０（Ｐ₁）が順序付けられた集合Ｐ₂，Ｐ₃，Ｐ₄．．．Ｐ₉であり、ＮＺ（Ｐ₁）がＰ₁の非ゼロ隣接物の数であれば、Ｐ₁は、もし以下の条件を満たせば削除される。２≦ＮＺ（Ｐ₁）≦６及びＺ０（Ｐ₁）＝１及びＰ₂・Ｐ₃・Ｐ₈＝０或はＺ０（Ｐ₂）≠１及びＰ₂・Ｐ₄・Ｐ₆＝０或はＺ０（Ｐ₄）≠１上述したエッジ細線化アルゴリズムが使用可能で、出力信号対ノイズ比を著しく増大する。当業者であれば、更に一層高い出力信号対ノイズ比を獲得すべく、このアルゴリズムが微細同調され得ることをご理解していただけるであろう。通常であれば、エッジがオリジナルのウェーブレット・フィルタ処理されたエッジにより近づけば近づくほど、得られる結果はより良好となる。ステップ７０７において、ボックス８０３及び８０５における２つの画像は別々に逆フィルタに適用されて、各画像の周波数スケールを次の最小スケールに変更する。（当業界で公知である）交番投影（ａｌｔｅｒｎａｔｉｎｇｐｒｏｊｅｃｔｉｏｎｓ）の方法がこれら２つの画像に対して繰り返して実行され、次の最低周波数スケールの画像を作り出す。次いで、低周波数及び高周波数画像の各画像は相互に加算されて、スケール１、即ち次の最低スケールの次の低周波数ボックス８０９を形成する。このステップは図７のステップ７０９に対応する。ボックス８０９に記憶された画像は、ここでは、デコードされた高周波数ステップ２の画像８０７のエッジ情報と、低周波数ステップ２の画像８０３のテクスチャ情報とを含む。もしこの画像が、第１周波数スケールが処理された後に充分に再生されたならば、本技法は図７のステップ７１１で示されるように為される。もしこの画像に更なる改善が必要であれば、スケール１はスケール２と同様に処理されることになる。図８に示される例における画像は、スケール１、そのコード化高周波数スケール・ボックス・スケール、並びに画像８４１が処理された後に再構築される。ボックス８１３は第１スケールの高周波数部分のデコードされた画像であり、低周波数ボックス８０９に加算されて、オリジナル画像の再生であるボックス８１５を形成する。グループ８５５は、周波数スケールがどのように再生されるかを一次元的に示す。ｆが画像の全周波数表示である場合、画像が０からオリジナル画像に対するｆまでの全周波数スケールにわたって初期的に示されている。グラフ８５１は、ゼロからｆ／８まで動作する画像８０３に対する低周波数データと、ｆ／８からｆ／４まで動作する画像８０７に対応する高周波数データとを示す。これら周波数成分は図７でのステップ７０９で相互に加算されると、それらはグラフ８５３（ゼロからｆ／４まで走る）に示されると共に画像８０９に対応する次のスケールの新低周波数成分を形成する。高周波数成分はｆ／２からｆまで走り、画像８１３に対応する。スケール２の周波数成分が相互に加算されると、それは再生画像８１５を形成する。オリジナル画像の再生画像８１５はグラフ８５５に示され、ゼロから、オリジナル画像の全周波数範囲を含むｆまで走る（図２のグラフ２５２を参照のこと）。図９は、図１に記載された技法を用いて圧縮され且つコード化された画像データに対する、好適フォーマットに組織されたファイルを示す。有用である図示されたフォーマットを記憶するように配向されたオブジェクトは、パターン認識及びビデオ・コード化である。しかしながらファイルは、もし用途がオブジェクト識別を要求しなければそれらオブジェクトに拘わりなく、組織され得る。本発明のオブジェクト配向局面は引き続く欄で記載される。図９に示されるデータ・ファイル９００は複数の列に組織される。「値域ブロックＸ」と名付けられた列９０１は、二次元グリッド（Ｘ，Ｙ）のＸ方向に対する特定値域ブロックの配置を含む。「値域ブロックＹ」と名付けられた列９０３は、二次元グリッドのＹ方向に対する特定値域ブロックの配置を含む。例えば、もしグリッドが１０×１０アレイ内に１００点を有すれば、下方左側コーナー部における第１ブロックは座標（０，０）、即ちｘ＝０及びｙ＝０を有することになる。ファイル９００に示される値域ブロックはチェーン・コード化されて、特定オブジェクトのエッジが続けて記憶され、もしプロットされるのであればオブジェクトを形成する。ラベル９２５はチェーン・コード化されたエッジを示す。画像内で識別された各オブジェクトに対し、オブジェクトをコード化するために用いられる各スケールの値域及び定義域ブロック情報が別々に記憶される。この例において、値域ブロック及び他の情報はデータ９０３における第１スケール内の識別第１オブジェクトに対して図示されたようにグループ化され、データ９０５に関する第２スケールにおける第１オブジェクトに対して情報がグループ化され、データ９０７に関する第１スケール内の第２オブジェクトに対して情報がグループ化され、データ９０９に関する第２スケールにおける第２オブジェクトに対して情報がグループ化される。留意すべきことは、各オブジェクトに対して示されたデータが、実用上、より多くの入力を有することである。記憶されたスケールの数はコード化方式に用いられるスケール数に依存する。また、ファイル９００に記憶されているは、「定義域ブロックＸ」と名付けられた列９２１と「定義域ブロックＹ」と名付けられた列９３１の各オブジェクトに対する定義域ブロックの相対的な配置である。列９２１は、二次元グリッド（Ｘ，Ｙ）のＸ方向における定義域ブロックのデータを含む。列９３１は、二次元グリッド（Ｘ，Ｙ）のＹ方向における定義域ブロックのデータを含む。識別された定義域ブロックは、列９０１及び９１１におけるファイルの同一線上で識別された値域ブロックに対応している。列９４１は「平均ノルム角度」と名付けられた、特定定義域ブロックに対して計算された平均正規化モジュラス角度である。定義域ブロックは多数のピクセルから作り上げられ（例としては、２、８、６４、５２６等々である）、平均角度は図１に関して示された式によって計算される。特定定義域ブロックにおけるピクセルの平均相対強度を示す平均ブロック差は、「平均ブロック差」と名付けられた列９５１内に記憶される。ファイル９００の右側における３つの列は、ビデオ・コード化及びパターン認識に対して用いられる。これら３つの列は、パターン認識及びビデオ・コード化技法が説明される際に、詳細に説明される。列９６１は「アルファ」と名付けられ、列９７１は「フローＶ_x」と名付けられ、列９８１が「フローＶ_y」と名付けられている。ファイル９００は、圧縮の最高スケール率（図２乃至図６の例では２）、画像内のオブジェクト数、並びに、各個別画像をコード化すべく使用される繰り返し数等々の情報を含むヘッダをも含む。図１０は、本技法のパターン認識部分に係わる諸ステップのフローチャートを示す。コード化及び圧縮データは画像の後での再生用に転送されるか或は記憶されるだけに用いられるが、本コード化技法はパターン認識に対して強力な道具を提供する。値域ブロックが、別個のオブジェクトの外側エッジを識別するパターン認識用にチェーン・コード化される。よって、もしフルーツ・ボウルが分析されるべき画像であれば、バナナ或は他の所望フルーツの記憶され且つコード化された画像はフルーツ・ボウル内のオブジェクトをチェーン・コード化することによって識別される画像と比較可能である。パターン突合わせ技法は、既に記憶されているコード化パターン内の任意のオブジェクトを識別すべく拡張され得る。オブジェクトはコード化され圧縮されているため、パターン認識ルーチンは、従来のビット毎の突合わせが試みられる場合よりも相当より迅速である。更には、識別されるべき画像のエッジ情報は本発明に従って、より良好な圧縮とより容易な突合わせ能力を伴って記憶される。パターン認識技法のステップ１００１は、図１に記載されるコード化技法によって突合わせられる画像をコード化する。その結果は、図９に示されるようなオブジェクトに対する各スケールでの識別された定義域及び値域ブロックの相対的配置のファイル・リストである。次いで、ステップ１０３は、もしコード化ステップで既に行われていなければ、特徴によってブロックをチェーン・コード化する。チェーン・コード化は簡単な記憶及び伝送用に要求されず、よって、パターン認識或はビデオ・コード化が所望されなけばコード化ステップで実行されることはない。チェーン・コード化自体は当業界で周知であり、オブジェクトのエッジの関係を記憶し、該オブジェクトを識別する補助を為す。エッジに沿っての各値域ブロックの場合、画像、平均角度、並びにモジュラス内の相対的位置の双方は記憶される。平均角度はブロック内のエッジの平均勾配を表示し、モジュラスはその点での画像の強度を示す。チェーン・コード化は、各種エッジから作り出された完全な画像が形成されるか或は各種エッジから成る線が単に停止するまで続行される。もし、値域ブロック内にエッジ情報をその周りのモジュラス及び角度値によって予想では含むべきであるが含まなければ、そのブロックは修正され予想情報で置換え可能である。これは、「中立ネットワーク」或は当業界では公知の技法である他の判定によって決定され得る。しかしながらエッジの最後は、オブジェクトの最後或は第１をカバーしている他のオブジェクトの最後に信号を送り得る。オブジェクトが「阻止」しているか或は画像フィールド内で他のオブジェクトと部分的に重複しているかを決定するために、当業界で公知のリップシッツ式が用いられる。リップシッツ式は以下の通りである。本質的には、α基準は、画像関数が引き続きより高いスケール（より低い周波数）へ進む際にウェーブレット・モジュラスの強度を測定する。もしオブジェクトが小さなα指数を有すれば、ウェーブレット・モジュラス最大（閾値を越える画像の点）は多数のスケールにわたって相対的に一定に留まり、そして、スケール毎に同様に留まる本質的には「ハード・エッジ」が存在するが、より高いαはよりソフトなエッジを示す。よって、計算されたαを具備するエッジが画像内のオブジェクトにおけるエッジを特徴付けるべく使用可能であり、それはオブジェクトからノイズを除去することや識別目的に関して非常に有用な特性である。低α は閉鎖を示し、そこでは、オブジェクトから背景への遷移等のよりソフトなエッジよりもむしろ、画像エッジにおける強烈な変化を示すような画像内において多重的な一部重複オブジェクトがある。図１１は、画像フィールド内の２つのオブジェクトを示し、それらはパターン認識実施例において記憶されている画像と突合わせが為される。各オブジェクトに対する画像データは、図１に記載される多重解像度変換によって記憶され且つコード化されることになる。第１画像１１０１は、第２画像１１０３によって部分的に隠されているように示されている。各画像のエッジに沿っての所与のエッジに対してα値を計算するリップシッツ式を用いて、エッジのタイプが各オブジェクトにおける各点に対して決定され得る。α値は、エッジが所与の複数スケールにわたってどの程度迅速に拡散するか、或は、モジュラス最大値がウェーブレット・スケールで増大する際に所与のブロックに対してどの程度一貫しているかに基づいている。もしエッジが拡散しなければ、それは「ハード・エッジ」であり、αはゼロに近づく。これは、モジュラス値における強烈な鋭い変化のために閉鎖によって作り出されたエッジを示すことになる。もしエッジが所与の複数スケールにわたって拡散すれば、そのエッジは「ソフト」であり、αはより大きく且つ１の値に最も接近する。ソフト・エッジは、閉鎖がなく、その周りの部分が他のオブジェクトによって隠されることがないことを示す。もしエッジが非常にソフトであれば（αが殆ど１と同等）、画像情報は殆どの場合ノイズであり、除去可能である。ラベル１１２１，１１２３，１１２５はオブジェクトの各ブロックに対するα 値を示す。この例において、図示されるブロック１１０５はその点に対して相対的に大きなαを有し（０．９の値に接近）、よってそれはソフト・エッジを有する。それ故に、記憶されたエッジは図示されたものをブロックする他のオブジェクトによるものではない。ブロック１１０７は示された点で０．３及び０．５の間のαを有する。それ故に、そのエッジはブロック１１０５のように［ソフト］ではないが、オブジェクトのエッジと考えるに依然十分であり、閉鎖オブジェクトではない。ブロック１１０９はゼロと１の間のα値を有し、それ故に「ハード・エッジ」として識別される。そのエッジは一部重複エッジとして識別される。オブジェクト内における周辺の記憶されたブロックに対するモジュラス及び角度値の分析は、複数オブジェクトのどのものが、そのオブジェクトを完全に閉鎖することなく、問題となっているエッジを含むのかを識別することになる。よって、部分的に隠された残存オブジェクトは、隠されていないその部分のみと突合わせられることができる。ファイル１１１は、図９に記載されたファイルと一貫してチェーン・コード化され且つ記憶されたオブジェクトに対してのデータを含む。ファイル部分１１１３は第１オブジェクトに対するデータを含み、ファイル部分１１１５は第２オブジェクトに対するデータを含むことになる。図１０のステップ１００５は、上記した式１２からのリップシッツのαを用いて複数スケールにわたって各種特徴を突合わせて、そのオブジェクトに対する如何なるノイズをも削除する。ノイズは不鮮明エッジ或は画像フィールドの一部となるべきではないオブジェクトの片々から構成され得る。計算されたリップシッツのα値が用いられて、ノイズを実際のオブジェクト情報から区別する。もしα 値が１（或は所定閾値）に近ければ、それらエッジは非常にソフトでありその情報はオブジェクトのエッジを示すことがない。高いリップシッツα値を具備するそうしたブロックは、より高い解像度を具備した画像を作り出すべく、ノイズとして廃棄され得る。ステップ１００５及び１００３は、１つのα値が情報を含んでいる各ブロックに対して計算された後に同様に実行可能である。ステップ１００７は複数スケールにわたって一貫しているような特徴で毛を保存する。これは、低い値或は指定範囲内のリップシッツα値のみを採用することによって実行可能である。この範囲は０から０．５であり得る。これは、画像内のオブジェクトを識別すべく使用される記憶画像と比較するための明確に画成されたエッジだけを保存することなる。画像のテクスチャ部分は、画像内で区別されるエッジ程にパターン認識において重要ではない。このステップは、ノイズが削除されるステップ１０５と同様に実行可能である。次いでステップ１００９は従来の候補突合わせアルゴリズムを用いて、記憶されたオブジェクトとの比較の際に画像フィールド内におけるオブジェクトを識別する。オブジェクトを突合わせのための候補突合わせ技法は、オブジェクト全体の重心（質量中心）を計算し、オブジェクトに対するエッジ情報を含む各ブロックの重心から角度及び大きさを計算する。図１２は識別されるべき画像のエッジ・ブロックを示す。エッジ・ブロック１２０３はエッジ情報を含む多くのブロックの内の１つである。重心と各エッジ・ブロックとの間の距離及び角度はシグネチャ・グラフ１２０５に記録されている。このシグネチャ・グラフは、調整され得る角度の計算における位相シフトを除いてそれがどのように回転されようが、オブジェクト１２０１に対して同一となる。識別されるべき画像のシグネチャ・グラフは、記憶されたオブジェクトのシグネチャ・グラフと比較され得て、整合が存在するかを効率的に決定する。使用可能な代替的な公知の突合わせ技法は中立ネットワーク、固有値、或は相関突合わせ法である。本発明に係るコード化技法を用いて、オブジェクトはコード化され、圧縮され、そしてウェーブレット定義域に変換されて、記憶に対して最低可能量のデータを用いてエッジ情報を保存する。圧縮特徴は、多くのオブジェクトがデータベース・アーカイバに記憶されることを可能とし、新画像内のオブジェクトを識別すべく突合わせ可能である。よって、もし過去２５年にわたって世界中で販売された各自動車モデルのコード化された圧縮画像がデータベース内に記憶されたならば、それら自動車の画像を走査し且つ記憶するカメラ装置を含むシステムがそのカメラによって走査された任意の車両を識別できることになる。正価、ドライバのタイプ、並びに他の情報に基づく自動車タイプの情報は、それら画像が記憶されて処理され得ることになる。同様な用途が高い保全性尺度を要求する製造プラントで働く人々の記憶画像のデータベースを含むことができる。顔面の画像がそのデータベースにない人々は、外部者として迅速に識別されて、会社保全性に対して警戒させることになる。オブジェクトの画像がデータベース内の１つと突合わせられた後、突合わせられた記憶画像に相関して記憶された記述情報が表示され得て、画像フィールド内のオブジェクト識別の補助を為す。書き込まれた説明は独立して提供されるか、或は、画像自体上に横たわるテキストとして提供される。もし識別されるべきオブジェクトが部分的に隠されたならば、突合わせ技法はデータベース内に記憶された特定のオブジェクトの一部に関連されたエッジ情報のみ適用され、それが突合わせられる画像の隠されていない部分と対応する。図１３は、図１０に記載された形状認識技法を画像１３０１に適用する一例である。画像は図１の技法に従って画像をコード化するプロセスを介して多数の周波数スケールに細分される。この例においては３つのスケールが存在する。ラベル１３３０，１３３２，１３３４は図中の列を識別する補助を為す。スケール１は、最高解像度を有するボックス１３０７に対応する。スケール２は、ボックス１３０７の解像度よりも低い画像１３０５に対応する。スケール３は最低解像度を有し、ボックス１３０３内に示されている。エッジがチェーン・コード化されると、エッジを含まないか或は小さなモジュラス値を含まないブロックは、指定閾値にわたるエッジのみが先に説明されたようにチェーン・コード化されるために削除される。よって、画像１３０３はオブジェクト１３０９へ変換され、画像１３０５がオブジェクト１３１１へ変換され、画像１３０７がオブジェクト１３１３へ変換される。リップシッツ指数αを用いることができて、任意のオブジェクトのエッジを更に画成してあらゆるノイズを削除する。所望範囲内にα値を有する結果としてのエッジは、圧縮データ・ファイル１３２１内に記録されることになる。この圧縮データ・ファイルは図９に記載されたファイルと同一のフォーマットを有することになる。チェーン内の各ブロックのために、（Ｘ，Ｙ）座標ブロック位置は値域及び対応する定義域ブロックに対して記憶されることになる。ブロックとブロック内の平均勾配角度との間の平均モジュラス差も記憶されることになる。各オブジェクトは、ファイル１３２１のオブジェクト１の部分１３２３とファイル１３２１のオブジェクト２の部分１３２５とに示されるように、それ自体のチェーン・コード化ブロックを有することになる。各オブジェクトに対する圧縮データ・ファイルは、突合わせられるべきオブジェクトに対するチェーン・コード化データを含むデータベースに対して検査され得る。両画像は比較に際してそれらの圧縮形態のままである。図１２に関して記載された重心突合わせのパターン突合わせ技法が使用可能である。また、このコード化及びパターン突合わせ技法は、ビデオ圧縮及びビデオ・パターン検出にまで拡張可能である。ビデオ・ストリーム中のオブジェクトの動きは、検出された像におけるエッジの光学的フローに基づいてモデル化可能である。画像関数の光学的フローは、以下の２つの成分を有するＩ（ｘ，ｙ，ｚ）によって表現される強度関数で画成される。固定時間ｔで、画像Ｉ（ｘ，ｙ，ｚ）に対する式（１３）における運動制約を解く代わりに、画像は２ｊの率で膨張する平滑化関数θ（ｘ，ｙ）によって平滑され得る。平滑化された画像は有限の差の部分的導関数を見積もる際に計算上のノイズを低減すると共に以下の式を生み出す。式（１４）は、本技法にスケール２ｊでのウェーブレット変換からのフローの正規成分を回復させることを可能とする。ビデオ画像の全ての点（ｘ，ｙ）でこの正規の成分を計算する代わりに、正規成分は、ウェーブレット・モジュラスが局部的に最大（閾値を越える）となっている箇所だけで計算される。この技法は、従来の光学的フロー計算技法にわたっての計算上の複雑性を著しく節約する。式（１４）は本発明において用いられて、閾値を越えるエッジ情報を含む各ブロックで平均光学的フローを計算することによってビデオ圧縮及び検出を実行する。ビデオ圧縮における技法に基づくブロックを用いて２つの長所が生み出される。第１として、ブロック内にフロー変化を検出でき、値域及び定義域ブロックの双方の位置を予言的に見積もることができる。ビデオを更新すべくこの技法を用いて、著しく変化が生じているブロックのみがビデオ画像を伝送すべく必要とされる帯域幅を著しく低減させることを可能としている。第２として、局在化されたウェーブレット変換はブロック内で実行可能であり、よって画像を更新する局在化されたフローが各新フレーム毎の幾つかブロックのデータ内容を変更するのみで達成可能である。また、この技法におけるウェーブレット方式は、本技法を可能とするピラミッド再生方式が、帯域幅要件が指定してより高い帯域幅用途に対する解像度を増大する際、低解像度フレームを伝送させることを可能とする。更に、特定のオブジェクトは光学的フロー技法に従って複数場面を通じてトラッキングされることを可能である。図９に示されるファイル・フォーマットは画像圧縮、パターン認識、並びに、ビデオ圧縮に適合可能である。ビデオ圧縮の場合、Ｖ_x及びＹ_yの値が各定義域及び値域ブロック用に含まれることになる。ひとたびビデオ・コード化が始動したならば、変化が伝送され得るブロックのみ、よって、ウェーブレット・コード化とコード化プロセスの光学的フロー部はバックグランド・プロセスとなることができ、よってビデオ・コード化プロセッサに対する相当な計算上の帯域幅のように消費しない。図１４は、本発明に従った技法のビデオ・コード化部に係わる諸ステップのフローチャートを示す。ステップ１４０１は、図１によって記載された画像コード化技法によって一連のフレームにおける第１フレームをコード化する。ビデオは、動きの知覚対象を形成する連続的に投影される一連の画像から形成される。もし画像がグラウンド内でボールを投げる少年であれば、連続的な画像における各画像は、バックグランドは全く変化しないまま、ボールの移動に伴って該ボールがゆっくりと位置を変化するものである。よってビデオ内の画像のほんの小部分がフレーム毎に変化し得る。ステップ１４０２は、任意のより多くのフレームがコード化されようとしているかを検査する。もしより多くのフレームがコード化される必要があれば、プロセスはステップ１４０３で続行される。もしそうでなければ、処理されるビデオ・コード化は終了し本技法は終了する。ステップ１４０３は次のフレームを読み取り、ステップ１４０１でコード化されたフレームと今読み取られたフレームとの間の光学的フローを計算する。光学的フローはフレーム間のオブジェクトにおけるエッジの何等かの動き示すことになる。このステップは画像全体にわたる光学的フローを検査する。ステップ１４０５は、２つのフレーム間で変化した画像情報を有するような、各値域及び定義域ブロック内の平均光学的フローを計算する。ブロック内の平均光学的フローは、本技法に、任意の著しい変化がブロック基準で画像上に生じたかを決定させること可能としている。ステップ１４０７は、所定レベルを上回る、ステップ１４０５において計算された平均光学的フローを有する新値域及び定義域ブロックを計算する。もし平均フローが閾値を下回れば、その情報は視覚的に衝撃を為す程に充分変化していない。それ故に、画像ファイルはこのときに変化させられる必要性がない。もし光学的フローが閾値を上回るのであれば、影響を受ける値域及び定義域ブロックは、その変化を画像内に反映する新値域及び定義域ブロックと置換えられることになる。もしオブジェクトがトラッキングされるものであれば、全ての新値域及び定義域ブロックが別個のファイルに記録され、特定オブジェクトの完全な運動を記憶する。次いで、ステップ１４０９は、先行するフレームから変化した（そして、ステップ１４０７で所定閾値を越えた）任意の値域或は定義域ブロックを伝送する。画像フレームの全ての部分が各フレームで変化しないため、変化した特定値域及び定義域ブロックのみがビデオ・モニタ或は記憶媒体へ伝送されて、その局在化された運動を示す。ブロック情報は伝送され、それは最高スケール（最低解像度）と、伝送キャリヤの有効帯域幅に依存している解像度における増大で始まる。ステップ１４１１は、閾値を越えている計算された光学的フローでの値域及び定義域ブロックの数が、第２所定レベルを上回るかを検査する。もしそれが第２レベルを上回れば、画像フィールド内に充分な変化が生じており、再度、部分的な指示を為す代わりに、画像フィールド全体のコード化を保証する。これは、より小さな変化でのノイズが合成されないことを確保する。もし閾値が越えられると、本技法はステップ１４０１へ戻る。もし変化した光学的ブロックの数が閾値を下回れば、本技法はステップ１４０３でより小さなセグメントで次のフレームを処理すべく続行される。ビデオ・コード化は、ステップ１４０２で検査されるように処理すべき更なるフレームがなければ終了する。図１５は、図１４に記載されたビデオ・コード化技法の簡略化された図式表示である。ラベル１５２０，１５２２，１５２４はフレーム番号を示す。ビデオの第１フレーム１５０１は、目、鼻、髪、並びに不機嫌な口を具備した顔を示す。第２フレーム１５０３は、もはや不機嫌ではない口以外は同一の顔を示す。第３フレーム１５０５は、笑みを浮かべた口以外は同一の顔を示す。これらの画像は、図１４のビデオ・コード化技法を用いて、圧縮されて異なる箇所へ伝送させることが可能である。事実上、変化する形状の口を示すより多くの中間フレームがある。画像１５０７は、最低解像度のスケール（高スケール数）である図１の技法を用いて圧縮されたフレーム１５０１における顔の表示を示す。ラベル１５１７及び１５１９は関連された画像が転送された回数を示す。図１４に記載された技法に従えば、低解像度画像全体は、該当する画像における変化が実質的ではないので、ビデオ・フレーム１５０１，１５０３，１５０５に対して一度のみ伝送される。画像１５０９はより低いスケール（中間解像度）での顔画像の表示を示す。再度、顔における変化が実質的ではないので、画像１５０９を記述するデータは一度のみ伝送される。画像１５１１は最高解像度（最低スケール）での顔画像の表示である。変化し且つ光学的フローを有する画像１５１１の部分のみが各フレーム毎に伝送されることになる。伝送される画像の部分だけは、顔の内の口をコード化する値域及び定義域ブロックに対するデータである。よってフレーム１５０３及び１５０５の場合、最高解像度画像の内の口に対応する定義域及び値域ブロックのみが伝送されることになる。画像の内の変化する特徴だけを伝送することは、大きな伝送コストを節約すると共に、多くのフレームから成るビデオを処理させることを可能とする。図１６は、視覚的トラッキングされる多重オブジェクトの図式的表示である。オブジェクトをトラッキングする現実の例は、空中における２つの飛行機をトラッキングすることである。ビデオ・コード化技法のトラッキング部は、図１４のステップ１４０７に対応している。第１オブジェクト１６０１は矢印１６０２によって指示される方向へ移動中である。第２オブジェクトは矢印１６０４に対応する方向へ移動中である。各オブジェクトが移動すると、オブジェクトの光学的フローが変化する。画像フィールド内に現われる各オブジェクトの光学的フローはファイル１６０５に記憶される。オブジェクト１６０１の光学的フロー特性は該オブジェクトの各値域及び定義域ブロックに対してファイル部１６０７内に記憶され、オブジェクト１６０３の光学的フロー特性は該オブジェクトでの各値域及び定義域ブロックに対してファイル部１６０９内に記憶される。これらファイルのフォーマットは、図９の「フローＶ_x」９７１及び「フローＶ_y」としてそれぞれ名付けられた右側列に示されている。図１７は、図１４の諸ステップを用いて、コード化されたビデオ画像をデコードする諸ステップのフローチャートである。ステップ１７０１は、伝送されたか或は先行して記憶された各フレームに対するコード化データを読み取る。ステップ１７０３は、データが、フレーム全体に対する該フレームの一部のみからの光学的フロー情報であるかを検査する。これは所定のビット値或は処理されるデータのサイズの内の何れかから決定され得る。もしデータが画像の一部からのみであれば、このプロセスはステップ１７０５で続行される。もしデータがコード化されたフレーム全体であれば、プロセスはステップ１７０７で続行される。ステップ１７０５は、変化した定義域及び値域ブロックのみを更新すると共に、この新情報を具備する画像をデコードする。よって、図１５の例において、顔の内の口を包含する定義域及び値域ブロックのみが伝送され、現行表示された画像内で変化することになる。デコードされたフレームの解像度は、多くの画像スケールがどのようにして伝送され処理され得るのかを画成するシステム帯域幅に依存することなる。ステップ１７０７は、フレーム全体が図１に記載された技法を用いてコード化された際に生ずる。図７に記載された画像全体をデコードする技法はこの例において使用可能である。フレーム全体は、所与のフレームに対する光学的フロー情報量が選択された閾値を越える際にコード化される（図１４のステップ１４１１を参照のこと）。ビデオ・デコードは、伝送されてからか或は処理されてから各コード化毎に続行される。図１８は、本発明が実施され得るシステム１８００を示す。システム１８００は３つの部分を含み、ビデオ及び画像コード化部１８０１、パターン認識部１８２１、並びにビデオ・デコード部１８３１である。ビデオ及び画像部１８０１は、好ましくは、カメラ１８０３、ディジタイザ１８０５、画像メモリ１８０７、並びに、それぞれのローカル・メモリ１８１１を有する３つの特殊化されたプロセッサ１８０９，１８１３，１８１７を含む。一連の複数命令を動作すると共に３つのプロセッサ間にデータを分配するマイクロプロセッサも含まれる。これら構成要素は従来のコネクタ及びデータ・バスによって接続されている。カメラ１８０３は、もしビデオ・コード化が要求されたならばビデオカメラであり得るか、或は、もし単一画像コード化が要求されたならばスチルカメラであり得る。しかしながら、単一フレーム或は一連の無変化のフレームの何れでも表示する単一画像をコード化するためには、ビデオカメラでも使用可能である。カメラはエンコダー１８１０のハウジング内であっても、コネクタ或は伝送装置によって接続された遠隔カメラでも可能である。カメラ１８０３は、画像のディジタル表示を形成するディジタイザ１８０５に接続されている。表示は複数のピクセルから作り上げられ、その数は使用される特定装置に依存する。ディジタイザ１８０５は、カメラ１８０３によって取り込まれた各フレームに対する画像データを記憶する画像メモリ１８０７に接続されている。ビデオ及び画像部１８０１内のマイクロプロセッサ（不図示）は、共通コネクタを介してか、或は従来通りのデータバスかの何れかで全構成要素と接続されている。ビデオ・コード化部１８０１は、３つの特別なプロセッサ１８０９，１８１３，１８１７を示す。これらプロセッサは、好ましくは、特定のタスク専用であり、平行するパイプライン処理を利用している。プロセッサ１８０９は、画像データに対するウェーブレット変換実行専用である。プロセッサ１８１３は、好ましくは、１つのフレームから次のフレームまでの光学的フローの計算専用である。プロセッサ１８１７は、好ましくは、コード化技法のフラクタル部における値域及び定義域ブロックの突合わせ専用である。画像或はビデオ・フレームのコード化の結果はデータバス１８２０を介して送られる。データバスは、例えば、ＰＣＩ、ＶＭＥ、或は異なる構成に適した同様な高帯域幅バスであること可能である。３つの特殊なプロセッサが記載されているが、本発明は任意の数のプロセッサに対して実施可能である。パターン認識部１８２１は、圧縮された画像データベースと、突合わせ技法を実行する別個のマイクロプロセッサとを含む。パターン認識部１８２１は、ビデオ・コード化部１８０１としての同一ケージング内に配置可能である。バス１８２０はパターン認識部１８２１に接続されている。圧縮画像データベース１８２３は、本発明に従ってコード化されたそれらの圧縮形態での画像及びオブジェクトの全てを含み、これらが新画像内のオブジェクトを識別すべく使用される。データベース１８２３は大きく、記憶媒体、例えば磁気テープ、ＣＤ-ＲＯＭ、或は、大量情報用の何等かの他の記憶媒体等に記憶可能である。プロセッサ１８２５は図１０に記載された突合わせ技法を実行し、識別されるべき画像に関するリップシッツ計算を実行することを含む。パターン突合わせの結果はネットワーク１８３０を介してビデオ・デコード部１８３１へ送られる。ビデオ・デコード部１８３１は、ビデオ・コード化部１８０１、パターン認識部１８０１、或はそれら双方の内の何れかのような同一ケージング内に配置可能である。ビデオ・デコード部１８３１は、ビデオ・モニタ１８３３と、ビデオ・デコード及び他の機能を実行するための他の必要とされる構成要素を具備する別個のプロセッサ１８３５とを含む。モニタ１８３３はシステムのユーザがデコードされたビデオ（或は単一フレームの画像）を見ることを可能としており、それには画像に関わるパターン認識部からの任意の情報が伴われる。よって、もしユーザが忙殺されるハイウェイを観察していて、世界中の自動車に関する全モデルに対する画像データを記憶したならば、自動車画像がカメラ１８０３で記録された際にその画像がモニタ１８３３上に現われ、パターン認識動作がパターン認識部１８２１で実行された後にその自動車タイプに関しての書き込まれた記述が伴われる。プロセッサ１８３５はデコード動作及び他の必要なプロセスを実行する。上述したものは本発明の原理の単なる例示である。理解して頂きたいことは、当業者であれば、ここには明確に示され且つ説明されていないが、本発明原理を実施し、よってその請求項によって規定されるような本発明の精神及び範囲内である数々のシステム及び方法を工夫することができるであろう。

───────────────────────────────────────────────────── フロントページの続き (72)発明者ボンノウロバートジェイアメリカ合衆国ニューヨーク州 10025 ニューヨークウエストワンハンドレッドトゥエルフスストリート 523 アパートメントナンバー１ビー

Claims

【特許請求の範囲】１．ディジタル画像データを処理する方法であって、前記画像データを、周波数を低減する周波数スケールに空間的に分解する段階と、最低周波数スケールを含む前記周波数スケールの各々で、点表示を形成する段階と、前記周波数スケールの各々での前記点表示をブロックに分割する段階と、前記ブロック各々の正規化平均モジュラス及び角度値を計算する段階と、前記最低周波数スケールを除く前記周波数スケール各々の前記ブロックからの前記平均モジュラス及び角度値を、次の最低周波数スケールの前記ブロックと突合わせる段階と、前記最低周波数スケールでの空間的に消去された点表示を記憶する段階と、の諸段階を含む方法。２．前記突合わせ中、突合されている前記周波数スケールの前記ブロックが値域ブロックであり、前記次のより高いスケールの前記ブロックが定義域ブロックである、請求項１に記載の方法。３．前記空間的に分解する段階が、当該段階を実行するために組合せウェーブレット及び勾配変換を用いる、請求項１に記載の方法。４．前記ウェーブレット変換関数が二次スプライン基準集合に基づいている、請求項３に記載の方法。５．各周波数スケールでの前記点表示が、高周波数表示及び低周波数表示を含む、請求項１に記載の方法。６．前記突合わせ段階が、前記高周波数表示に対して実行されている、請求項５に記載の方法。７．前記空間的に消去された最低周波数スケールでの前記点表示が、低周波数表示である、請求項５に記載の方法。８．前記突合わせ段階が、前記平均モジュラス値を分類して突合わせ効率を増大することを含む、請求項１に記載の方法。９．前記突合わせ段階が、前記平均角度値を分類して突合わせ効率を増大することを含む、請求項１に記載の方法。１０．前記空間的に分解する段階が前記画像データを圧縮する、請求項１に記載の方法。１１．ウェーブレット及びブロック・コード化技法を組合せて、ディジタル画像データを圧縮する方法であって、前記画像を複数の周波数スケールに空間的に分解する段階と、前記周波数スケール間の前記画像を表示している定義域及び値域ブロックを、前記ブロック各々の正規化された平均モジュラス及び角度値を用いて突合わせる段階と、前記スケールの各々に対する前記突合わせられた定義域及び値域ブロックを記述する情報を分類する段階と、の諸段階を含む方法。１２．前記空間的に分解する段階が、当該段階を実行すべくウェーブレット変換関数を用いる、請求項１１に記載の方法。１３．前記ウェーブレット変換関数が二次スプライン基準集合に基づく、請求項１２に記載の方法。１４．前記周波数スケールの各々が、前記画像データの高周波数成分を含む、請求項１１に記載の方法。１５．前記突合わせ段階が、前記高周波数成分に対して実行される、請求項１４に記載の方法。１６．前記突合わせ段階が、前記平均モジュラス値を分類して突合わせ効率を増大することを含む、請求項１１に記載の方法。１７．前記突合わせ段階が、前記平均角度値を分類して突合わせ効率を増大することを含む、請求項１１に記載の方法。１８．オリジナル画像を表示する圧縮ディジタル画像データを処理する方法であり、該画像データが、各々が低周波数及び高周波数の点表示を有する複数の周波数スケールに空間的に分解されていることから成る、圧縮ディジタル画像データを処理する方法であって、ａ．前記最低周波数スケールでの前記コード化点表示をデコードする段階と、ｂ．前記周波数スケールの各々での高周波数点表示をデコードする段階と、ｃ．前記周波数スケールの各々に対する前記デコードされた低及び高周波数表示を、次により高い周波数スケールでの対応する表示へ変換する段階と、ｄ．前記変換された低周波数画像及び前記変換された高周波数画像を、次により高いスケールでの新低周波数画像を作り出すべく加算する段階と、ｅ．前記新低周波数画像が前記オリジナル画像に緊密に近似するまで、前記段階ｃ及びｄを繰り返す段階と、の諸段階を含む方法。１９．前記コード化高周波数表示がチェーン・コード化データを含み、前記デコード段階ｂが合成エッジ手法を含む、請求項１８に記載の方法。２０．前記デコード段階ａがフラクタル技法で達成される、請求項１８に記載の方法。２１．画像情報を閾値と比較して、前記画像からノイズを除去する段階を更に含む、請求項１８に記載の方法。２２．前記高周波数点表示がチェーン・コード化データを含み、前記デコード段階ｂが前記チェーン・コード化データを用いている、請求項１８に記載の方法。２３．前記点表示が複数ブロックを含み、前記デコード段階ｂがデコードに対する平均モジュラス値を用いている、請求項１８に記載の方法。２４．前記点表示が複数ブロックを含み、前記デコード段階ｂがデコードに対する平均角度値を用いている、請求項１８に記載の方法。２５．オリジナル画像を表示する圧縮ディジタル画像データを処理する方法であり、該画像データが、各々が低周波数及び高周波数の表示を有する複数の周波数スケールに空間的に分解されていることから成る、圧縮ディジタル画像データを処理する方法であって、前記周波数スケールの各々で前記高周波数表示をチェーン・コード化して、オブジェクトを示す段階と、前記オブジェクトの特徴を前記周波数スケールにわたって突合わせる段階と、所定条件を満たす前記突合わせられた特徴だけを保存する段階と、前記保存された特徴を、他の記憶された特徴を用いて識別する段階と、の諸段階を含む方法。２６．前記突合わせ段階がリップシッツ式を用いて実行される、請求項２５に記載の方法。２７．リップシッツ式が前記突合わせ段階で用いられて、前記コード化画像からノイズを除去する、請求項２５に記載の方法。２８．前記保存段階における前記所定条件がリップシッツ式に基づいている、請求項２５に記載の方法。２９．前記保存段階での前記所定条件が前記画像データに関連されたモジュラス値に基づいている、請求項２５に記載の方法。３０．前記識別段階が、値域ブロック重心突合わせ方式を用いて実行される、請求項２５に記載の方法。３１．一連のフレームから成るオリジナル画像を表示する圧縮ディジタル画像データを処理する方法であり、第１フレームに対する前記画像データが複数の周波数スケールに空間的に分割されると共に、該スケールの各々での低周波数及び高周波数表示に分割されていることから成る方法であって、データ・プロセッサによって実行される諸段階が、現行の前記フレームと次のフレームとの間の光学的フローを計算する段階と、値域及び定義域ブロック内で平均光学的フローを計算する段階と、一定の光学的閾値モジュラス値を上回る新値域及び定義域ブロックを計算する段階と、先行するフレームから変化した値域及び定義域ブロックを伝送する段階と、光学的フロー・ブロックの数が閾値を越えたならば、全フレームをコード化する段階と、前記フレームの何れかが処理されるべく残存していれば、前記段階各々を繰り返す段階と、を含むことから成る方法。３２．前記値域及び定義域ブロックが前記ブロック各々の平均モジュラス値で関係させられている、請求項３１に記載の方法。３３．前記値域及び定義域ブロックが前記ブロック各々の平均角度値で関係させられている、請求項３１に記載の方法。３４．前記新値域及び定義域ブロックが、前記画像内の少なくとも１つのオブジェクトをトラッキングすべく記憶されている、請求項３１に記載の方法。３５．前記新値域及び定義域ブロックが後でデコードされるように記憶されている、請求項３１に記載の方法。３６．前記伝送された新値域及び定義域ブロックを受信する段階と、前記新値域及び定義域ブロックをデコードして、前記伝送されたブロックの前記光学的フローが閾値を越えたならば、前記フレーム全体がデコードされる段階と、を更に含む、請求項３１に記載の方法。３７．ディジタル画像データを処理するシステムであって、画像を記録する画像レコーダと、前記記録された画像を前記画像データとして変換するディジタイザと、前記画像データを低減する周波数の複数の周波数スケールに空間的に分割し、最低周波数スケールを含む前記周波数スケール各々での点表示を形成することで該周波数スケール各々のそれら点表示をブロックに分割し、前記ブロック各々の平均モジュラス及び角度値を計算し、前記最低周波数スケールを除く前記周波数スケール各々の前記ブロックからの前記平均モジュラス及び角度値を、次の最低周波数スケールの前記ブロックと突合わせることから成る少なくとも１つの第１プロセッサと、前記突合わせられているブロックを記述する情報を記憶する記憶媒体と、前記画像を表示するモニタと、を備えるシステム。３８．パターン突合わせに用いられる画像データのデータベースを含む記憶媒体と、前記突合わせられているブロックを記述する前記情報を前記データベースと突合わせる少なくとも１つの第２プロセッサと、を更に備える、請求項３７に記載のシステム。３９．前記第１及び第２プロセッサが同一のプロセッサである、請求項３７に記載のシステム。４０．前記記憶媒体及び前記第２プロセッサを前記第１プロセッサに接続するデータバスを更に備える、請求項３７に記載のシステム。４１．前記画像データをデコードする別個の第３プロセッサを更に備える、請求項４０に記載のシステム。４２．前記第３プロセッサを前記第１プロセッサに接続するデータバスを更に備える、請求項４１に記載のシステム。４３．前記第３プロセッサを前記第１プロセッサに接続するネットワークを更に備える、請求項４１に記載のシステム。