JP2002503360A

JP2002503360A - ２つの画像系列の差の可視性を評価する方法および装置

Info

Publication number: JP2002503360A
Application number: JP53533797A
Authority: JP
Inventors: ブリル，マイケル，ヘンリー; ルビン，ジェフリー; ヴリーズ，アアルバートデ; フィナード，オルガ
Original assignee: サーノフコーポレイション
Priority date: 1996-03-29
Filing date: 1997-03-31
Publication date: 2002-01-29
Anticipated expiration: 2017-03-31
Also published as: DE69726567D1; EP0898764A1; WO1997037325A1; US5974159A; EP0898764B1; KR19990087653A; EP0898764A4; JP4047385B2; KR100378637B1; DE69726567T2

Abstract

(57)【要約】２つの入力画像系列の差の可視性を評価する方法および装置。本装置は、網膜サンプリング部（３３０）、複数の時間フィルタ（３３４、３３５）および空間識別部（２４０）を有する視覚識別測定装置（１１２）を備える。網膜サンプリング部（３３０）は複数の変換を入力画像系列（３１０、３２０）に行い、人間の視覚の画像処理特性をシミュレートする。時間フィルタ（３３４、３３５）は網膜画像系列を２つの時間チャネルに分離し、これらのチャネルは低域時間応答および帯域時間応答を発生させる。空間識別部（２４０）は空間処理を時間応答に行い、画像計量（２５０）を生成し、その画像計量を用いて２つの入力画像系列の差の可視性を評価する。

Description

【発明の詳細な説明】２つの画像系列の差の可視性を評価する方法および装置技術分野本発明は、撮像システムの性能を評価するとともに向上させる装置およびそれに伴う方法に関する。特に、本発明は、２つの画像系列の差の可視性を評価する方法および装置に関する。背景技術多くの場合、撮像システム(imaging systems)の設計者は、物理的パラメータ、例えば、圧縮／非圧縮（コーデック）処理におけるコントラスト、解像度およびビットレート効率によって、設計の性能を評価する。これらのパラメータは容易に測定できるが、正確な性能評価基準ではないことがある。その理由は、一般に、撮像システムのエンドユーザは、主観的な視覚機能、例えば、人為要素(art ifacts)または歪みの可視性、場合によっては、画像、例えば、ＭＲＩ（磁気共鳴像）画像またはＣＡＴ（コンピュータ支援型断層撮影像）走査画像に腫瘍(tum or)が存在するような情報を示す画像特徴の向上により大きな関心を持っているからである。例えば、２つの異なるコーデックアルゴリズムを用いて入力画像を処理し、２つの異なるコーデック画像を撮影することができる。コーデック画像の忠実度の測度(measure)がパラメータに純粋に基づいている場合、例えば、人間の視覚の精神物理学的特性を一切考慮せず、両方のコーデック画像について平均平方誤差（ＭＳＥ）計算を行うような場合、ＭＳＥ値が低いコーデック画像は、実際に、ＭＳＥ値が高いコーデック画像の歪みより著しく目立つ歪みを含むことがある。長年にわたり、種々の人間の視覚機能モデルを用いて、撮像システムの設計を改良してきた。１つのモデル（カールソン・コーエンモデルとして知られる）は、一次元パワースペクトルを多数の離散隣接周波数帯に分割することによって、入力画像を分解する。次に、各周波数帯内の振幅値の積分は、入力値が小さい場合は加速して値が大きい場合は圧縮状態の静的非線形性の影響を受ける。１対の画像の一方から他方への処理の出力の変化は、２つの画像の差の可視性の簡単な知覚測度を提供する。同様の方法は平方根積分モデル（ＳＱＲＩ）である。このモデルでは、別個の周波数選択帯を、表示の変調伝達関数と人間の観察者のコントラスト感度関数の算術的近似値との比に基づいて、空間周波数全体にわたって１つの積分値に置換する。ＳＱＲＩは多くの様々な表示評価の問題にうまく適用されてきたが、このモデルおよび他の基本的な精神物理学的モデルは空間的に一次元である。すなわち、これらのモデルは一次元の空間変動に対する感度しか予測できない。したがって、本技術分野では、撮像システムの主観的視覚機能に対する物理的パラメータの影響を評価する方法および装置を必要とする。特に、２つの系列の動画像の差の可視性を評価する方法および装置を必要とする。発明の開示本発明は、２つの入力画像系列の差の可視性を評価する方法および装置である。本装置は、網膜サンプリング部、複数の時間フィルタおよび空間識別部を有する視覚識別測定装置(measure)を備える。網膜サンプリング部は複数の変換を入力画像系列に行い、人間の視覚の画像処理特性をシミュレートする。網膜サンプリング部は入力画像を網膜画像に変換する。さらに、クロミナンス成分が入力画像に存在する場合、入力画像系列にさらに変換を行い、クロミナンス成分における差の可視性を評価する。次に、時間フィルタはそれぞれの網膜画像系列を２つの時間チャネルに分離し、これらのチャネルは低域(lowpass)時間応答および帯域(bandpass)時間応答を発生させることによって、（クロミナンス成分が入力画像系列においてアドレス指定された場合）全部で４つの時間応答を発生させる。次に、空間識別部は空間処理を画像に行い、画像計量(image metric)を生成し、この画像計量は２つの入力画像系列の差の可視性を示す。図面の簡単な説明本発明が教示することは、以下の詳細な説明を添付図面と照合して考察することによって容易に理解できるであろう。図１は、本発明の信号処理システムのブロック図を示す。図２は、視覚識別測定装置の構造の簡略ブロック図を示す。図３は、視覚識別測定装置の構造の詳細ブロック図を示す。図４は、視覚識別測定装置の網膜サンプリング部のブロック図を示す。図５は、固定値の境界線の一例を示す。図６は、エッジ制御された境界線の一例を示す。図７は、コントラストピラミッドを生成する方法のフローチャートを示す。図８は、視覚識別の色付加の実施の形態を実施する方法のフローチャートを示す。図９は、本発明の指向性フィルタのブロック図を示す。図１０は、画像計量を生成する方法のフローチャートを示す。図１１は、２つの入力画像系列の差の可視性を評価する方法のフローチャートを示す。理解を容易にするため、同一の符号を用いて、可能な場合、図面に共通する同一の構成要素を示した。発明を実施するための最良の形態図１は、本発明を用いる信号処理システム１００を示す。信号処理システムは、信号受信部１３０と、信号処理部１１０と、入力／出力装置１２０とを備える。信号受信部１３０を用いて、入力データ信号、例えば、撮像装置からの画像系列を受信する。信号受信部１３０はデータ受信部１３２およびデータ記憶部１３４を含む。信号受信部１３０は、多くの装置、例えば、モデムおよびＡＤ変換器を含んでもよい。モデムは公知の装置であり、変調器および復調器を備え、２値 (binary)データを電話線または他の通信チャネルで送受信する。一方、ＡＤ変換器はアナログ信号をディジタル形式に変換する。このため、信号受信部１３０は入力信号を「オン・ライン」または「リアルタイム」に受信し、必要であれば、入力信号をディジタル形式に変換する。このように、信号受信部１３０は、１つ以上の装置、例えば、コンピュータ、カメラ、ビデオレコーダまたは種々の医療用撮像装置から信号を受信する。データ記憶部１３４を用いて、データ受信部１３２が受信した入力信号を記憶する。データ記憶部１３４は、１つ以上の装置、例えば、ディスクドライブ、半導体メモリまたは他の記憶媒体を含む。これらの記憶装置は、入力信号を遅延させるか、または、入力信号を単に記憶して、次の処理に備える方法を提供する。好適な実施の形態では、信号処理部１１０は、視覚識別測定装置（ＶＤＭ）１１２、中央処理装置（ＣＰＵ）１１４およびメモリ１１６を有する汎用コンピュータを備え、画像処理を容易にする。視覚識別測定装置１１２は、種々のフィルタから構成され、通信チャネルを介してＣＰＵに接続されている物理的装置でよい。代替例として、視覚識別測定装置１１２は、メモリ１１６から呼び出されて信号処理部のＣＰＵによって実行されるソフトウェアアプリケーションとして実施されてもよい。また、信号処理部１１０は、複数の入力／出力装置１２０、例えば、キーボード、マウス、ビデオモニタ、または、ハードディスクドライブまたはコンパクトディスクドライブを含むがこれらに限定されない記憶装置に接続されている。入力装置を用いて、入力（制御信号およびデータ）を信号処理部に送り、入力画像を処理する。一方、出力装置を用いて、その結果を表示または記録する。視覚識別測定装置１１２は２つの系列または流れの入力画像の差の可視性を評価し、客観的な「最小可知差異(just-noticeable difference)」（ＪＮＤ）画像計量を生成する。この計量は、ＪＮＤ値、各入力画像対毎のＪＮＤ写像、または、確立予測として表すことができる。次に、ＣＰＵはＪＮＤ画像計量を用い、ディジタル画像圧縮、画質測定および目的検出を含むがこれらに限定されない種々の処理の最適化を行う。図２は視覚識別測定装置１１２の構造の簡略ブロック図を示し、視覚識別測定装置１１２では、２つの入力画像系列２１０および２２０を処理し、画像計量２５０を生成する。視覚識別測定装置は、時間フィルタリング部２３０および空間識別器２４０を備える。好適な実施の形態では、刺激は、２つのディジタル化画像系列、すなわち、入力画像系列Ａ２１０および入力画像系列Ｂ２２０である。例えば、系列Ａは元の画像（例えば、基準画像系列）から構成され、系列Ｂは系列Ａのコーデック処理画像（例えば、試験画像系列）から構成される。入力系列は、表示装置の表面上の間隔の狭い点からなる均一な格子をサンプリングする光度計から反射する場合のように、平面上のサンプリングされた輝度分布の時間フレームを示す。しかしながら、本発明は２つの入力画像系列のクロミナンス(chrominance)の差も考慮するように設計されているので、刺激はクロミナンス成分も含む。時間フィルタリング部２３０は時間フィルタリングを両方の画像系列に行い、８つの個別の応答（チャネル）２１２〜２１８および２２２〜２２８を発生させる。例えば、入力画像系列２１０の輝度成分（信号）は、低域時間応答２１２および帯域時間応答２１４にフィルタリングされる。同様に、入力画像系列２１０のクロミナンス成分（信号）は、低域時間応答２１６および帯域時間応答２１８にフィルタリングされる。このため、２つの入力画像系列に対して８つのチャネルが形成される。８つの応答は空間識別器２４０によって受け取られ、画像計量２５０を生成し、その画像計量は２つの入力画像系列の差の可視性の測度を提供する。さらに、任意の網膜サンプリング部（以下、図３に示す）を含み、時間フィルタリングの前に入力画像系列の前処理を行うことによって、視覚識別測度の（人間の能力に対する）予測精度をさらに向上させることができる。図３は、視覚識別測定装置１１２の構造の詳細ブロック図を示す。視覚識別測定装置は、任意の網膜サンプリング部３３０と、複数の時間フィルタ３３５および３３４と、空間識別部２４０とを備える。空間識別部（空間識別器）は、複数のコントラストピラミッドフィルタ３４０および３４５と、複数の任意の指向性フィルタ３５０と、正規化回路３５５と、ゲイン制御部３６０と、トランスデューサ部３７０と、プーリング部（プーラ）３７５と、距離部（ディスタンサ）３８０とを備える。網膜サンプリング部（網膜サンプラ）３３０は複数の刺激を受け取って処理し、網膜サンプリングされた画像系列を生成する。すなわち、網膜サンプリング部は刺激を再びサンプリングし、人間の目のサンプリング処理をシミュレートする。また、網膜サンプリング部３３０はさらに処理を行い、ディジタル画像処理の効果のために画像系列を準備してもよい。網膜サンプリング部３３０について、図４を参照して以下に詳細に説明する。図４を参照すると、網膜サンプリング部３３０は、フレームレート調整回路４１０、サンプリング回路４２０、境界線挿入回路４３０、平滑／補間回路４４０、たたみ込み回路４５０、整合回路４６０およびサンプリング回路４７０を備える。網膜サンプリング部３３０を用いて、人間の目のサンプリング処理に近づきながら、画像を最適なディジタル画像処理ができるようにする。フレームレート調整回路４１０は（入力系列２１０または２２０からなる）画像系列４０５を受け取り、フレームレートが人間の目で処理できる範囲内か否かを判定する。フレームレート調整回路には時間再サンプリング方法が含まれ、画像系列が人間の目の視覚モデルの現実の処理能力（例えば、１２，０００フレーム／秒）を超えるフレーム／秒を含む可能性を示す。しかしながら、人間の視覚はおよそ０．０１秒を超えるフレーム間隔でしか画像を解像できず、およそ０．０１秒以内では、人間の目はほぼ完全な時間積分器なので光の強度は時間に見合ったものではない。フレームレートが高い場合、フレームレート調整回路４１０は、連続する矩形時間窓にわたって、フレームの平均値（算術平均）を累算し、新しいサブサンプル画素値に到達する。すなわち、フレームレート調整回路４１０は、多数のフレームＮ_tにわたって各画素位置毎に平均画素値を評価することによって元のフレームレートの１／Ｎ_tで評価された新しいフレーム（フレーム調整された画像系列）を計算して、ちょうど良いタイミングで画像系列を再びサンプリングする。数Ｎ_tはＮ_f／１００の中で最大の整数とし、ここで、Ｎ_fは元のフレーム／秒の数である。好適な実施の形態では、元のフレームレートが２００Ｈｚ以上でない場合、再サンプリングを行わない。次に、入力画像系列をサンプリング回路４２０によって調整し、入力画像系列の入力「画素幾何学形状」と網膜の「受容体幾何学形状」との関係を相関させる。すなわち、サンプリング回路４２０は、入力画像の画素間隔、画素の大きさおよび可視距離を、それぞれ、網膜の受容体間隔、受容体の大きさに相関させる。このため、サンプリング回路４２０は、観察者から見えるように、各画素毎に定まった角度を計算する。特に、サンプリング回路４２０は、画像の入力画素の幾何学形状、例えば、画像の物理的大きさ（ｗ×ｈ）、画素の大きさ（ｍ×ｎ）および可視距離ｄ₀を評価する。次に、φ₀、すなわち、（表示領域ｘ_s内の）画素の元の角度の大きさを下式（１）のように計算できる。しかしながら、（領域ｘ内の）それぞれの「網膜画素」は、φ_r＝０．００６８ °の角度を定めなければならない。選択されたφ_rの値は網膜の中心窩の受容体間の間隔（視角の２４〜２７秒、Ｃ．Ｈ．グラハム「視覚および視覚認知（Visi on and Visual Perception)」、Ｗｉｌｅｙ、３３０頁、１９６６年参照）に近い。さらに、０．００６８°の選択されたφ_rの値は、２ｍの可視距離で見た標準モニタ上の０．２３８ｍｍの画素サイズが１つの受容体間の距離を定めるのに都合がよい。サンプリング回路４２０は入力画像を再びサンプリングし、φ₀＝ φ_rにする。ｍ／ｎ≠ｗ／ｈの場合、再サンプリングは幅および高さが異なる。例えば、ｄ₀＝４６ｃｍ、ｍ＝ｎ＝５１２、ｗ＝ｈ＝８ｃｍの場合、φ₀＝０．０１９４１になる。φ₀＞φ_rなので、画像にサンプリングを行ってはいけない。この場合、５１２×５１２の格子に対して係数０．０１９４１／０．００６８によってサンプリングを行わず、新しい格子サイズ１４６１×１４６１の画素またはおよそ１０°の視角を形成する。次に、境界線挿入回路４３０は入力画像系列を受け取り、固定幅境界線を入力画像に追加し、後のフィルタリングおよびピラミッド処理において境界の影響（人為的な高コントラストエッジ）を防ぐ。すなわち、画像のエッジが画像に対する汚染、例えば、「ラップアラウンド(wraparound)」エラーを引き起こす場合、入力画像系列には多くのたたみ込みが行われる。このため、境界線幅を、コントラストピラミッドの最低解像度層の解像セルの幅に設定する（以下に説明する）。２種類の境界線、すなわち、固定値境界線およびエッジ値制御境界線について、それぞれ、図５および図６に示すように説明できる。図５は、画像５３０のエッジ５１０を囲む１つの固定値境界線５２０の切り欠き図を示す。境界線５２０内の「ｓ」で示される固定値は、画像のエッジの値に関係なく選択される。これに対して、図６は画像６３０のエッジ６１０を囲むェッジ制御境界線６２０の切り欠き図を示す。境界線６２０内の値は画像のエッジの値に対応するように選択され、それによって、画像のエッジを所定幅だけ延長する。図４に戻ると、入力画像系列を平滑／補間回路（サンプリング回路）４４０によって調整し、（画素および受容体の分数部分を含む）画素／受容体比を考慮する。すなわち、平滑／補間回路４４０は、画素数が受容体数を超える状態、逆に、受容体数が画素数を超える状態を示す。特に、平滑／補間回路４４０は、関数ｈを用いて水平方向および垂直方向にそれぞれ（サンプリング間隔φ₀の）各入力画像を補間または平滑化し、間隔０．５φ_r（感光体のサンプリング間隔の半分）で入力画像を再びサンプリングし、「平滑化／補間画像系列」を生成する。一次元において、ｈはハミング窓ｓｉｎｃ関数（重み関数）であり、下式（２）により表される。ｚが−４〜４の場合、この間隔を超えてｈ（ｚ）＝０になる。重み関数ｈは、０．５φ_rがφ₀を上回るか下回るかによって、異なって用いられる。０．５φ_rがφ₀を超える場合、ｈは、主に、入力画像に用いられた平滑化フィルタ（ダウンサンプリング）であり、それによって、すべての入力画素が出力画素に確かに寄与する。これに対して、０．５φ_rがφ₀未満の場合、ｈは、主に、点在する入力画素値の補間回路（アップサンプリング）として動作する。したがって、視角（°）に対するｈ領域ｚの関係は、下式（３）に示すように量Ｒに依存するように確立される。ここで、ｈの幅は（８_*ｍａｘ（０．５φ_r，φ₀））に設定される。Ｒは必ずしも整数ではないので、分数の画素オフセットもある。また、画素オフセットは非定常にｚに影響を及ぼすため、再サンプリングアルゴリズムは１つのたたみ込みではない。このような制約によって、２つの特定の実施が行われる。まず、Ｒが１未満の場合、入力画像の各画素ｉ毎に、ｉを中心とする重み関数ｈは一連の新しい画素に対する画素ｉの寄与を判定する。ｊ（ｉ）をｉに最も近い新しい画素の指数として定義する場合、ｉ／Ｒ＝ｊ−Ｄとなり、ここで、Ｄは −０．５〜０．５である。この場合の窓関数ｈの幅は８φ₀なので、ｚは下式（４）のように表される。ここで、ｋはｊから測定した新しい画素の位置である。このため、ｊ＋ｋのときの新しい画素に対する古い画素ｉの寄与は、ｉのときの古い画素値のｈ（（ｋ十Ｄ）Ｒ）倍である。これに対して、Ｒが１を超える場合、新しい画素ｊ毎に、重み関数ｈは、すべての古い画素ｉに起因するｊに対する寄与を計算する。ｈの中心はｉ（ｊ）にあり、ｊに最も近い古い画素の指数である。このため、ｊＲ＝ｉ−Ｄとなり、ここで、Ｄは−０．５〜０．５である。この場合の窓関数ｈの幅は４φ_rなので、ｚは下式（５）のように表される。ここで、ｋはｉから測定した古い画素の指数である。このため、ｊのときの新しい画素に対する古い画素ｉ−ｋの寄与は、ｉ−ｋのときの古い画素値のｈ（（ｋ −Ｄ）／Ｒ）倍である。しかしながら、平滑化／補間関数を実行する前に、重み関数ｈは、ｈ個のサンプル（Ｒ＜１のときの出力サンプルおよびＲ＞１のときの入力サンプル）の全幅の和で割られる。この測定装置によって、確実に、エネルギを平滑化／補間処理で一定に保つ。いったん平滑／補間回路４４０が画像を処理すると、入力画像は、目の光学機能にょって生じる点拡がりに近い関数を用いて、たたみ込み回路４５０によってたたみ込み処理され、それによって、たたみ込みされた入力画像系列を生成する。この関数は下式（６）のように表される。ここで、ρは（法線を目の光学機能の主線とした画像平面内で測定した）光点からの（視角で表される）数分の円弧の距離であり、Ｑ（ρ）は最大値に対する距離ρでの光の強度である。この関数は、Ｇ．Ｗｅｓｔｈｅｉｍｅｒ「光学機器としての目」、知覚および人間の機能ハンドブック（１９８６年）（G．Westheime r in"The Eye As An Optical Instrument"in Handbook of Perception and Huma n Performance(1986)）に示されている。また、数式（６）を２つの点拡がり関数の積としてほぼ表すことができ、ここで、一方の係数においてρを網膜座標ｘで置換し、他方の係数においてρを網膜座標ｙで置換する（数分の円弧で表される）。このため、点拡がり関数は積Ｑ（ｘ）Ｑ（ｙ）によって概算され、ここで、「Ｑ（）」は数式（６）に表される関数である。好適な実施の形態では、光拡がり関数は、まず、画像の行（または列）でたたみ込みされる前に２サンプル長ボックスカー関数で入力画像をたたみ込みすることによって、実行される。次に、その結果を係数２によってダウンサンプリングし、最後にたたみ込み処理した入力画像を画素間隔φ_rで生成する。次に、網膜サンプリング部３３０は光整合回路４６０を備えてもよく、整合回路４６０は、固定深さが画像深さと整合しない場合、入力画像にさらに演算を行う。画像深さは目の焦点中心から画像までの実際の距離である。固定深さは観察者が自身の目を固定する距離である。画像深さと固定深さの差の変化にともなう有効画像解像度の変化を考慮するため、幾何光学機能を用いてぼけた円の大きさを計算する。ぼけた円をたたみ込み入力画像系列に適用することによって、整合入力画像系列を生成する。固定深さがＤ_F、画面までの可視距離がＤ、ひとみから網膜までの深さがＤ_i、ひとみ径がｄの場合、ぼけた円の半径ｒは、Ｄ_iで割った（Ｄ_i−Ｄ_i'）の絶対値のｄ／２倍でぁる。パラメータＤ_i'は画面の焦点を完全に合わせるひとみから網膜までの距離であり、ここで、Ｄ_i'は薄肉レンズの公式（１／Ｄ_i'＝１／Ｄ_i＋１／Ｄ_F−１／Ｄ）である。この計算を行うには、ひとみから結像面（すなわち、網膜）までの距離Ｄ_i、Ｗｅｓｔｈｅｉｍｅｒ（１９８６年）によると２０．３ｍｍの距離を知らなければならない。しかしながら、好適な実施の形態では、画像深さを固定深さと等しくしてコンピュータのオーバーヘッドを簡略化すると仮定している。最後に、網膜サンプリング部３３０は任意のサンブリング回路４７０を備えてもよく、サンプリング回路４７０は網膜の中心窩で見ない場合に対する中心窩で見る場合の効果を考慮する。網膜でサンプリングを行う最高密度の感光体領域は中心窩であり、固定点を中心にしておよそ２°の範囲に及ぶ。この領域において、線形感光体密度は１°当たり約１２０個の網膜円錐体がある。しかしながら、中心窩領域の奥では、感光体の線形密度は偏心状の略線形関数のように低下する。このため、入力画像は、画像が中心窩で見られるかどうかにしたがって、網膜によって異なった方法でサンプリングされる。このような人間の目のサンプリング処理をシミュレートする際、サンブリング回路４７０は視角１°当たり１２０個の画素の密度で入力画像をサンブリングし、「中心窩で見る」場合、５１２× ５１２個の画素の「網膜画像」４７５を生成する。同様に、「中心窩で見ない」場合のサンプリング密度は下式（７）から計算される。ここで、ｄは算出された密度、ｅは角度の偏心率、ｋは０．４に設定されたパラメータであり、この場合、値は、Ａ．Ｗａｔｓｏｎ「単純空間形態の検出および認識」、画像の物理的／生物学的処理（１９８３年）（A．Watson in"Detection And Recognition of Simple Spatial Forms"，in Physical and Biological Pr ocessing of Images(1983)）に示される精神物理学的データから推定される。しかしながら、好適な実施の形態では、中心窩で見ると仮定している。コンピュータのオーバーヘッドを低減するため、好適な実施の形態では、整合回路４６０およびサンプリング回路４７０を実行しない。当業者であれば、網膜サンプリング部３３０内部の種々の構成部品を任意に実行するか同様の処理に置き換え、異なる用途の要求に応えることができることは理解するであろう。このため、図２の入力系列２１０および２２０は元の未処理の入力画像を示すにすぎない。または、入力系列２１０および２２０は、網膜サンプリング部３３０の１工程以上の種々の画像処理工程が行われた網膜画像４７５を示す。図３に戻ると、視覚識別測定装置１１２は複数の時間フィルタ３３４および３３５を含み、各入力画像系列の輝度成分を２つの異なるチャネルに分離する。同様に、各入力画像系列のクロミナンス成分も、第２組の時間フィルタ３３４および３３５を介して２つの異なるチャネルに分離する。このため、２つの入力系列のそれぞれに時間フィルタリングを行い、図２に示されるように、空間識別器２４０に対する入力として４つの応答を発生させる。２つの時間フィルタ、すなわち、図３のフィルタｈ₁３３５およびフィルタｈ₂ ３３４を用いて、各入力系列を低域（持続チャネル）時間応答および帯域（過渡チャネル）時間応答に分離し、全部で４つの応答を発生させる。基本的な低域および帯域形状を維持した状態のまま、分析形式が異なる他の時間フィルタを用いることができる。持続チャネルは入力の流れ（画像系列）を時間的にぼやけさせるが、比較的良好な空間解像度を提供するので効果的である。このため、このチャネルの出力は、微細な詳細および色計量を見るのに理想的である。逆に、過渡チャネルは入力の流れを空間的にぼやけさせるが、良好な時間解像度を提供するので、入力画像系列における動作または色の変化を検出するのに理想的である。特に、２つの時間フィルタは時間フィルタリングを各入力画像系列に行い、これはＩ（ｘ，ｔ）で表され、下式（８）のように示される２つのフイルタリングされた系列Ｊ_n（ｘ，ｔ）を生成する。ここで、ｎは１または２であり、「_*」は時間たたみ込みを示す。好適な実施の形態では、低域時間フィルタ（持続インパルス応答関数）および帯域時間フィルタ（過渡インパルス応答関数）は、それぞれ、下式（９）および（１０）のように表すことができる。ここで、ｕ（ｔ）は単位段階関数［ｔ＜０の場合はｕ（ｔ）＝０、他の場合はｕ（ｔ）＝１］、「ｂ」は正の実数、このデフォルト値は８４．１４Ｈｚ、「ａ」のデフォルト値は５．２Ｈｚである。Koenderinkおよびvan Doornの「時空コントラスト検出しきい値面は２モードである」、Optics Letters 4、３２〜３４頁（１９７９年）（Koenderink and van Doorn，"Spatiotemporal Contrast Detec tion Threshold Surface Is Bimodal"，Optics Letters 4，32-34(1979)）のコントラスト感度データを用いる較正は、表１〜３を参照して以下に検討するａおよびｂの１組の値を与える。時間フィルタの実行の１つには量の計算が含まれる。上式（１１）は時間指数ｊ、空間座標ｘおよび時間段階ΔｔとともにＪ'_n（ｘ，ｊ）の加算によって概算できる。好適な実施の形態では、量Δｔを１／３０秒（ビデオフレームレート）または１／６０秒（ビデオインターレース・フィールドレート）になるように選択する。持続インパルス応答関数（ｎ＝１）の場合、期待される約０．５秒の時間で、加算は直線（デルタ関数）サンプリング、すなわち、下式（１２）によって適切に表される。ここで、ｋは仮指数を示す。引数ｈ₁の項０．５Δｔは各間隔の中間でリーマン和を正当化し、負の指数関数ｈ₁（ｔ）の立ち上がりに起因する結果を除去する。しかしながら、過渡応答（ｎ＝２）の期待される時間は、数式（１２）のデルタ関数がうまく機能せずアンダーサンプリングを引き起こすような短い時間である。過渡応答の場合、時間フィルタは、ＯＮ／ＯＦＦ状態になると、フレームの時間波形ｇ（ｔ）をモデル化する。次に、画像系列Ｉ（ｘ，ｔ）は下式（１３）のように表される。ここで、Ｉ_D（ｘ，ｋΔｔ）はディジタル画素値であり、空間座標ｘは続行される。さらに、数式（１３）をこのように表しても一般性は失われないので、数式（１３）を持続チャネル（ｎ＝１）に適用できる。このため、数式（１１）は下式（１４）のように表される。上記数式（１４）の時間関数は、精度を欠くことなく（フレームレートを含む）いずれのレートでもサンプリングすることができる。一例として、Ｊ_nをレート Δｔ１で時間サンプリングし、ｔ＝ｊΔｔ₁とする。Ｊ'_n（ｘ，ｊ）は下式（１５）のように表される。ここで、数式（１６）が示され、ここで、τ＝ｊΔｔ₁−ｋΔｔとなる。Ｈ_mで表される積分値は、Δｔより微細な時間解像度で分析的または数値的に評価される。このため、液晶表示に適した好適な実施の形態では、関数ｇを単純な矩形関数とする。すなわち、０＜ｔ＜Δｔの場合はｇ（ｔ）＝１、他の場合はｇ（ｔ）＝０である。この代入によって、Ｈ_mの場合、以下の分析式が導かれるここで、下式（１８）、（１９）が表される。ＣＲＴの場合（およびＣＲＴデータに関して以下に説明するような較正手順の場合も）、ｇ（ｔ）はほぼインパルス関数なので、下式（１９ａ）、（１９ｂ）となる。最後に、数式（１５）の無限極限を、Ｈ⁽ⁿ⁾（τ）の有効な支援による有限極限に置換する。この支援の保存推定値は以下の通りである。すなわち、Ｈ⁽¹⁾ （τ）は、τが０〜（１／ａ）ｌｎ（１０００）＝Ｎ（１）Δｔの場合、非ゼロであり、Ｈ⁽²⁾（τ）は、τが０〜１５／ｂ＝Ｎ（２）Δｔの場合、非ゼロである。このようにＮ（１）およびＮ（２）を定義し、（数式（１５）、（１６）から）τ＝ｊ Δｔ₁−ｋΔｔの場合、数式（１５）のｋは下式（２０）によって制約される。この制約から、数式（１５）を下式の有限和の近似値に置換することができる。ここで、ｃ＝Δｔ₁／Δｔ、Ｎ（１）＝（ａΔｔ）^-1ｌｎ（１０００）、Ｎ（２）＝１５（ｂΔｔ）^-1である。和の下限および上限は、それぞれ、最も近い整数に下げられる、および／または、上げられる。概して、時間フィルタの実行には数式（１７）、（１８）、（１９）および（２１）の適用が含まれ、持続時間チャネルおよび過渡時間チャネル（ｎ＝１、２）をともに含む。Ｉ_D（ｘ，ｋΔｔ）のすべての所要値を数式（２１）で定義するため、画像系列Ｉ_Dは公称開始点ｊ＝０の前にｍａｘ［Ｎ（１），Ｎ（２）］フレームを拡張しなければならない。図３を参照すると、時間フィルタリングの後、時間フィルタから生じた行輝度信号およびクロミナンス信号は、それぞれ、コントラスト変換３４０および３４５によって受信され、局所コントラストの単位に変換される。すなわち、「コントラストピラミッド」は、網膜画像をガウス・ラプラスピラミッドに分解することによって生成される。まず、各画像を、P．J．BurtおよびE．H．Adelson、「コンパクト画像符号としてのラプラスピラミッド（The Laplacian Pylamid As A Compact Image Code）」、IEEE Transactions on Communications（１９８３年）に記載されるラプラスピラミッドに分解する。好適な実施の形態では、入力画像の輝度成分を、３２〜０．５周期／度のピーク周波数で、７個の周波数チャネルまたは帯域（ピラミッド）レベルの集合に分解する。各レベルは、１オクターブ、すなわち、３２、１６、８、４、２、１および０．５によって、隣接するレベルから分離される。次に、各レベルのそれぞれの点で、ラプラス値を、解像度が２レベル下のガウスピラミッドレベルからサンブリングされていない対応点で割る。すなわち、ピラミッドの各レベルの局所コントラストを計算するには、各ガウスレベルからそれ自体の１レベルぼけたコピーを減じることによって、ラプラス（帯域）ピラミッドを生成し、その結果を２レベルぼけたコピーで割る。数理的に、コントラストピラミッド演算の実行は（連続領域において）下式（２２）のように表すことができる。ここで、Ｅ_kn（ｘ，ｔ）はピラミッドレベルｋおよび指数ｎ＝１または２（持続または過渡）のコントラスト、ｘは二次元位置ベクトル、Ｊ_n（ｘ，ｔ）は時間フィルタからの入力画像、「_*」は二次元空間たたみ込みであり、ここで、Ｇ_k（ｘ）は、下式（２３）のように示されるガウスたたみ込みカーネルである。ここで、数式（２４）が表され、 σ１＝０．００６８は、ほぼ、中心窩の感光体間の視角間隔（°）である。σ１の正確な数値を選択し、ｄ＝０．２３８ｍｍの画素間隔を２０００ｍｍの可視距離Ｄからちょうど解像できるようにする。この場合、σ１＝（ｄ／Ｄ）（１８０／π）°の視角になる。コントラストピラミッドを生成する数式（２２）〜（２４）の実行についての詳細な説明は以下に記載する。さらに、空間的に均一な点滅は人間の目によって視覚的に検出可能であるという経験的事実（Van Nesら、「人間の目における時空変調伝達（"Spatiotemporal Modulation Transfer In The Human Eye"）」、J．Opt．Soc．Am．57，1082-10 88（1967）参照）を考慮するため、ｎ＝２およびｋ＝７（すなわち、過渡応答の場合の最低解像度）の場合、数式（２２）の一般的な形式を変更する。すなわち、この空間的に対抗しない形式は、WieselおよびHubel、「アカゲザルの側膝状体における空間および色の相互作用（"Spatial And Chromatic Interactions In T he Lateral Geniculate Body Of The Rhesus Monkey"）」、J．Neurophysiol．2 9，1115-1156(1966)に記載される「タイプII」の神経受容場を連想させる。図７は、上記数式（２２〜２４）で説明したようなコントラストピラミッドを構成する方法７００を示す。方法７００はステップ７１０から始まり、ステップ７２０に進み、ここで、ガウスピラミッドを構成する。ガウスピラミッドは数式（２２）の関数Ｇ_k（ｘ）、（ｋ＝１，２，３．．．）を示す。元の入力画像をピラミッドの第１のレベルＧ₁と呼ぶ。後続の低解像度のレベルは「簡約」と呼ばれる演算によって得られる。簡約演算は、画像の各方向に順に、５タップ低域フィルタを重み（１、４、６、４、１）／１６とともに元の入力画像Ｇ₁に用い、ぼけた画像を生成する。次に、その結果生じたぼけた画像を係数２でサブサンプリングし、次のレベルＧ₂ を生成する。方法７００は簡約演算を新しいレベルの各々に再帰的に行い、トップレベルに達すると停止し、そのデフォルト値は７である。図７を参照すると、方法７００はステップ７３０でラプラスピラミッドを生成する。ラプラスピラミッドは数式（２２）の関数Ｇ_k（ｘ）−Ｇ_k+1（ｘ）、（ｋ＝１，２，３．．．）を示し、ステップ７２０のガウスピラミッドから生成される。ラプラスピラミッドのｋ番目のレベルＬ_kはＬ_k＝Ｇ_k−Ｇ_k+1から計算される。隣接するガウスピラミッドレベルを点毎に減算するには、Ｇ_k+1レベルを先にアップサンプリングし、「展開」と呼ばれる演算によってＧ_kレベルの解像度を整合させる必要がある。展開演算は係数２によってガウスピラミッドレベルｋの画像Ｇ_kをアップサンプリングし（すなわち、元のサンプルはゼロを間に挟んで間隔をあける）、その結果生じた大きい画像に対して、ｘ方向およびｙ方向の両方に、重み（１、４、６、４、１）／１６でたたみ込みを行う。ラプラスピラミッドのｋ番目のレベルＬ_kを計算する際、展開演算は点毎の減算と交替に行う。すなわち、Ｌ_k＝Ｇ_k− 展開（Ｇ_k+1）となる。この処理は最も粗いガウスレベル（ｋ＝７）から最も微細なレベル（ｋ＝１）まで続く。ステップ７４０で、方法７００はコントラストピラミッドを計算する。所定のフレームｔおよび時間チャネルｎの場合、数式（２２）で定義された局所コントラストピラミッドＥ_kn（ｘ，ｔ）は、ラプラスピラミッドの各レベルの各画素値を（展開演算によって）補間された２レベルから現在のラプラスピラミッドレベルサイズまでの対応するガウス値で割ることによって、計算される。小さい定数を約数（例えば、１ｅ〜１０）に加算することによって、０で割る誤差を避ける。修正係数（以下に説明する）はコントラストピラミッドの各レベルを乗算処理し、確実に、計算したコントラストが各バンド（０．５、１、２、４、８、１６および３２ｃｐｄ）のピークで正弦波格子から計算されたコントラストに等しくなるようにする。いったんコントラストピラミッドが構成されると、方法７００はステップ７５０で終了する。概して、コントラストピラミッドの演算結果は、局所平均、すなわち、局所コントラスト測度で割った、空間および周波数の両方で局所化された局所差である。すなわち、その結果は、１オクターブによって互いに分離された多くの異なる尺度の場合に局所平均で割った局所変化の大きさの測度である。１つのピラミッドレベルの周波数通過帯域内の正弦格子の場合、生じたコントラスト測定装置はウェーバーコントラスト、すなわち、（Ｌ_max−Ｌ_min）／Ｌ_meanにほぼ等しく、ここで、Ｌ_max、Ｌ_minおよびＬ_meanは、それぞれ、格子パターンの最大輝度、最小輝度および平均輝度を示す。このコントラストピラミッド演算を両方の時間フィルタリングチャネルからの値に用いるのが理想的である。コントラストピラミッドの計算を行う同様の処理は、E．Peli、「複雑画像におけるコントラスト（" Contrast In Complex Images"）」、J．Opt．Soc．Am．(1990)に記載されている。さらに、好適な実施の形態は７つのレベルを有するコントラストピラミッドを含むが、レベルおよび／または他のピーク周波数範囲を何個でも有するコントラストピラミッドを用いて本発明を変更することができる。視覚識別測定装置１１２は、所定の画素およびフレームで輝度が異なる２つの入力画像系列の差を記録する。しかしながら、好適な実施の形態では、２つの入力画像系列のクロミナンス成分の差も記録し、視覚識別測定装置１１２の検出能力を向上させる。歪みが発生していないビデオ系列に対して歪みが発生しているビデオ系列の品質を評価する際、視覚識別測定装置によるクロミナンスの差の検出は人間の視覚系の検出とほとんど変わらない場合がある。しかしながら、種々の画像の誤り結果はクロミナンス成分がない場合よりクロミナンス成分がある場合の方が目立つ。これらの誤り結果は、輝度成分のみを視覚識別測定装置１１２で分析しても容易に検出できない。このような誤り結果の一例は、一方側の明るいグレイから他方側の暗いグレイに円滑に変化する広い無色領域のベクトル量子化カラー画像の劣化である。パステルカラーの均一なパッチは遅い無色勾配に取って代わる。これらのパッチは白黒の場合より色がより一層目立つ。このため、種々の用途、例えば、ベクトル量子化アルゴリズムの評価のために「色差検出成分」（色付加）を備えることによって、視覚識別測定装置の検出能力を向上させる。２つの色付加の実施の形態について図８を参照して以下に説明する。２つの実施例は同様のアーキテクチャを共有するが、異なる方法で実施され、異なる要求に応える。１つの実施の形態の実施には、視覚識別測定装置１１２の「輝度部」を再較正する必要はない。これに対して、第２の実施の形態は精度は高いが、視覚識別測定装置の「輝度部」の再較正を必要とする。図８は、視覚識別測定装置１１２の色付加を行う方法８００を示す。方法８００はステップ８１０から始まり、ステップ８２０に進み、ここで、各画像画素毎のＣＩＥ（Commission Internationale de l'Eclairage）座標を生成する。入力画像の各画素毎に、モニタＲＧＢ（赤、緑、青）値を公知の燐光体の発光スペクトルと組み合わせ、ＣＩＥ座標（Ｘ，Ｙ，Ｚ）を形成する。尚、これらの座標に対応する色整合関数は、D．Judd（G．Wyszecki and W．S．Stiles，Color Science ，Second Ed.，Wiley，1982参照）による１９５１年の修正を除いて、１９３１年のＣＩＥに示されている。概して、Juddによって修正されたＣＩＥ座標は所定のディジタルＲＧＢ値および燐光体の発光スペクトルＥ_i（λ；ｋ₀）から計算され、スペクトルＥ_i（λ；ｋ₀）は燐光体ｉ、波長λおよびディジタル値ｋ₀に対応し、ディジタル値ｋ₀で燐光体スペクトルを測定する。市販のモニタまたはディスプレイの燐光体は製造者によって異なるので、燐光体の発光スペクトルの値は、一般に、National Tel evision Systems Committee(NTSC)の受像器の燐光体の規格から得られる。Juddszecki and Stiles，Color Science，Second Ed.，Wiley(1982)に定義され、ベクトル値関数ｘ（λ）として定義されている。燐光体ｉの場合、ディジタルレベルｋに対応する３刺激座標Ｘ_i（ｋ），Ｙ_i（ｋ），Ｚ_i（ｋ）は下式（２６）で示されるベクトルＸ_i（ｋ）として定義される。ここで、値Ｅ_i（λ；ｋ₀）およびＹ_i（ｋ）（ｋ＝０，２５５）は特定のディスプレイの場合に測定される。ディジタル値ｋ_iが画素のＲＧＢに対応する場合、画素の３刺激ベクトルＸ＝（Ｘ，Ｙ，Ｚ）は下式（２７）のように計算される。ＲＧＢ値のＣＩＥ座標への変換は、本技術分野においてよく知られている。詳細に検討するには、G．Wyszecki and W．S．Stiles(1982)を参照されたい。ステップ８３０で、下式（２７ａ）によって、ステップ８２０からのＣＩＥ座標を円錐体応答Ｌ、ＭおよびＳ（Ｌ＝長波長感度、Ｍ＝中間波長感度、Ｓ＝短波長感度）に変換する。この変換はWyszecki and Stiles，1982の表２（８．２．５）に示され、V．Sm ithおよびJ．Pokorney、「４００〜５００ｎｍの中心窩円錐体の光色素のスペクトル感度（"Spectral Sensitivity Of The Foveal Cone Photopigments Between 400 And 500nm"）」、Vision Research 15，171(1975)から導き出される。また、輝度座標Ｙはステップ８２０から変わらない。ステップ８４０で、ステップ８３０の出力を用いて、各画像画素毎の３色座標である輝度Ｙおよび輝度正規化対抗空間（Juddの後の「色照明された表面色の色相、彩度および明度（"Hue，Saturation And Lightness Of Surface Colors Wit h Chromatic Illumination"）」、J．Opt．Soc．Am．30，2，1940）を得る。すなわち、ここで、下付き文字Ｄ６５は、ＣＩＥ規格の光源Ｄ６５（G．Wyszecki and W．S ．Stiles，1982，Op．Cit.参照）の場合に色度値または座標Ｓ／ＹおよびＬ／Ｙが得られることを示す。座標Ｓ／ＹおよびＬ／Ｙは、D．MacLeod and R．Boynto n、「等しい輝度の刺激による円錐体の励起を示す色度図（"Chromaticity Diagr am Showing Cone Excitation By Stimuli Of Equal Luminance"）」、J．Opt．S oc．Am．69，1183-1185，1979によって発展した円錐体励起空間から取る。光源に対する減算修正は、D．Judd（1940，J．Opt．Soc．Am．30，2）に示される。図３を参照すると、網膜サンプリング部３３０の後にステップ８４０（図３に示されていない）を実行し、一方、網膜サンプリング部がクロミナンス成分を処理する前にステップ８２０〜８３０（図３に示されていない）を実行する。このため、網膜サンプリング部３３０に入る入力系列３１０および３２０のクロミナンス成分は円錐体応答（Ｌ，Ｍ，Ｓ）で表される。しかしながら、当業者であれば、ステップ８２０〜８４０で実行される関数を網膜サンプリング部で実行することができることは分かる。上記と同様に、クロミナンス成分に行われるような「網膜」処理量は特定の用途に依存する。このため、図４の１つ以上のステップを入力画像系列のクロミナンス成分に行うことができる。ステップ８５０で、図３に示すように、ステッブ８４０の色座標は時間フィルタ３３５および３３４を通過する。これらの時間フィルタは入力画像の輝度成分に用いられた時間フィルタと同じであり、数式（９）および（１０）にしたがって実行される。入力画像の輝度成分３１２には２つの時間フィルタを用いるが、入力画像の２つの色成分３１４および３１６の各々には（数式（９）の形式の）時間フィルタを１つだけ用いて、２つの色時間応答を発生させる。ステップ８６０で、方法８００は２つの色時間応答（チャネル）の各画像毎にコントラストピラミッドを生成する。ラプラスピラミッドは、方法７００のステップ７２０および７３０にしたがって、画像平面Ｙ、ｙｂおよびｒｇから作成される。しかしながら、チャネルのラプラシアンを小さい定数とチャネルの絶対値の局所平均との和で割ることによって、各画像平面毎のコントラストピラミッドを計算する。すなわち、ここで、Ｃ_Y、Ｃ_ybおよびＣ_rgは所定レベルのコントラストピラミッド値であり、Δはそのレベルのラプラスピラミッドを示し、＜＞はラプラシアンを定義する最も微細なレベルより２レベル粗いガウスピラミッドの値を示す。値Ｙ₀、ｙｂ₀ およびｒｇ₀は定数である。いったんコントラストビラミッドを生成すると、方法８００はステップ８７０で終了する。別の色付加の実施の形態では、方法８００をステップ８４０および８６０について修正する。ステップ８４０で、方法８００は、下式（３３）、（３４）にしたがって、各画素毎に色座標を計算する。ステッブ８６０で、各レベルのラプラスピラミッド値を、色度チャネル自身の局所平均ではなく、輝度チャネルより２レベル粗いガウス値で割ることによって、２つの色度チャネルのためのコントラストピラミッドを構成する。第１の色付加の実施の形態は「白黒との互換性」の効果を確実に得る（すなわち、強度レベルを変化させても光の色は変化しない）。Ｄ６５の色度の画像の場合、ｙｂおよびｒｇのコントラストの寄与は無く、輝度コントラストだけで画像測度を決定する。このため、第１の色付加の実施の形態を採用する場合、視覚識別測定装置１１２を再較正する必要はない。さらに、ステップ８４０の減算および定数ｙｂ₀およびｒｇ₀によって、確実に、最大の色感度は観察どおりモニタ（Ｄ６５）の白点に近づく。さらに、数式（３１）および（３２）のＣ_ybおよびＣ_rg のラプラスピラミッド演算子Δは、ラプラスピラミッドの基準として用いたガウスピラミッド演算子と任意に置き換えることができる。ラプラシアンを色度チャネルから除去することによって、確実に、コントラストピラミッドはピラミッドレベルに依存する遮断空間周波数を低域空間フィルタリングに供給する。これに対して、第２の色付加の実施の形態においてＣＩＥ規格の光源Ｄ６５を用いる場合、色度値または色座標が得られないので、視覚識別測定装置１１２の再較正が必要になる。この第２の実施の形態は、再較正のオーバーヘッドを犠牲にして精度を高くする。図３に戻ると、視覚識別測定装置１１２は複数の任意の指向性フィルタ３５０を含み、そのフィルタは８つのチャネルからのコントラストピラミッドに対して指向同調または指向フィルタリングを行う。指向同調または指向フィルタリングを選択した場合、コントラストピラミッドの各レベルは４対で１組の空間指向性フィルタ３５０で受け取られるとともにたたみ込みされ、空間的に指向が決定された出力を生成する。特に、図９は、たたみ込み回路９１０および変換回路９２０を備える指向性フィルタ３５０のブロック図を示す。たたみ込み回路９１０は複数の空間指向性フィルタ対を備え、各フィルタ対は（水平、垂直および２つの対角の４方向のうち１方向の）ガウスから導出される方向秒およびそのヒルベルト変換からなる。これらのフィルタは、A．Watson、「格子パッチの合計は１つの網膜位置の多種の検出器を示す（"Summation Of Grating Patches Indicates Many Types Of Dete ctors At One Retina Location"）」、Vision Res．22(1982)によって精神物理学的に推論した帯域幅の範囲内の値である約０．７オクターブの半分の高さのログ帯域幅を含む。好適な実施の形態では、これらのフィルタの指向帯域幅（すなわち、フィルタ出力が最大値の１／２を超える角度の範囲）はおよそ６５°である。この数字は、DeValoisら、「マカークザルの視覚細胞表層内の細胞の指向および方向選択性」、Vision Res．22(1982)，531-544によって報告されたサルの単純細胞の４０°の同調およびPhi1lips and Wilson、「マスキングによって測定された空間機構の指向帯域幅（"Orientation Bandwidths Of Spatial Mechani sms Measured By Masking"）」、J．Opt．Soc．Am．[A]1(1984)，226-232によって精神物理学的に報告された３０〜６０°の範囲より若干大きい。代替例として、帯域幅の小さい空間指向性フィルタを用いることができるが、指向範囲を均一にカバーするにはさらにフィルタが必要になるため、計算コストが高く計算速度が遅いがより正確な処理が行われる。このため、いくつかの指向マスキングデータに関する予測精度は劣化するおそれがあるが、４指向を有するフィルタを用いることによって、性能とコストのバランスが良くなる。しかしながら、当業者であれば、本発明のフィルタ数を調整して特定用途の要求に応えることができることは分かる。本発明では、W．T．Freeman and E．H．Adelson、「操縦フィルタの設計および使用（"The Design And Use Of Steerable Filters "）」、IEEE Transactions on Pattern Analysis and Machine Intelligence 13 （1991）891-906の操縦フィルタを用いて、空間指向性フィルタを実施する。指向フィルタリングの後、対応するヒルベルトフィルタ対の出力画像を変換回路９２０によって二乗して和をとり、数式（３５）で表される位相に依存しないエネルギ応答を得る。ここで、θは４つの指向全体を示し、ｎは２つの時間チャネル全体を示し、ｋはピラミッドレベルであり、ｏおよびｈは指向演算子およびそのヒルベルト変換である。この演算は、広く提案されている、ほ乳類の視覚細胞表層における単純細胞間の線形応答から複雑細胞間のエネルギ応答への変換のシミュレーションを図る。この演算から得られる位相独立はいくつかの有効な特性をもたらす。例えば、位相独立によって、視覚識別測定装置１１２は、エッジ、すなわち、人間の精神物理学的機能に見られる特性の正確な位置に対する感度が低下する。図３に戻ると、視覚識別測定装置１１２は任意の正規化回路３５５を含み、正規化回路３５５はコントラストピラミッドに対して正規化を行う。空間フィルタリングの複雑さは特定用途の精度要件に対する速度にともなって変動する可能性があるので、各コントラストピラミッドの出力画素の二乗は、一般に、値１／Γ_kn によって正規化される。尚、値１／Γ_knは、時間チャネル、ピラミッドレベルおよび局所輝度に対する二乗格子コントラスト検出しきい値に対して閉じている。ピラミッドレベルをｋ（最も微細な解像度から最も粗い解像度までのｋ＝１，．．．７）で示し、それぞれの時間チャネルをｎ（ｎ＝１，２）の持続チャネルおよび過渡チャネルで示すと、Γ_k1には以下に示す表１のデフォルト値が与えられる。これらの値によって、効果的に、過渡チャネルは粗い空間解像度を有したり、また、逆のことも行われる。下記の較正によって決定された値は一般に平均網膜照明Ｂの関数であるが、デフォルト値はＢ＝２００フォトンに相当する。しかしながら、当業者であれば、他のΓ_knの値を用いることができることは分かる。実際、異なる用途を考慮して、または、異なる較正データに合うように考慮して他の Γ_knの値を導出する較正手順について、以下に説明する。２つの実行例が考えられる。上記のように指向同調または指向フィルタリングを選択した場合、数式（３５）の各エネルギ応答または測度応答はΓ_knによって受け取られて正規化される。その結果は、各指向チャネル毎の追加的指数θをとｔ）は数式（３７）のように計算される。ここで、局所平均輝度Ｌ_kはＪ₁ ^*Ｇ_k+2によって求められ、これは、実質的に、時空的に低域フィルタリングされた画像系列のバージョンである。ガウスフィルタＧ_k+2(x)により空間周波数（ピラミッドレベルｋ）および局所平均輝度によって決定した最小可知差異に必要なコントラストでコントラストピラミッドの各レベルを割る関数として、Ｍ_t［ｖ_k，Ｌ_k］を定義する。Ｍ_tにおいて、空間周波数ｖ_k はコントラストピラミッドのｋ番目のレベルが最も感度の高い値によって求められ、概算でｖ_k＝１／（２πσ_k）になる。量Γ_knはコントラスト感度データによって空間／時間周波数の関数として適合していた。代替例として、Ｌ_kを画像全体にわたって平均網膜照度Ｂ（フォトン）に置換（３８）のように表される。量Γ_kn（Ｂ）は２段階で決定される。まず、２００フォトンの網膜照度で得られたKoenderink and van Doorn(1979)のデータを用いて、量Γ_kn（２００）を適合させる。次に、他のいくつかの照度レベルで得られたvan Nesら（1967）のデータを用いて、量Γ_kn（Ｂ）をＢの他の値に適合させる。その結果は量Γ_kn（Ｂ）のルックアップ表である。画像系列を備える輝度パターンからＢを計算する場合については以下に説明する。さらに、色付加の実施の形態の場合のコントラストピラミッドは、モデルの較正段階でデータによって適合されるコントラスト感度関数によって正規化される。較正は、D．H．Kelly(1983，J．Opt．Soc．Am．73，742-750)およびK．T．Mul len(1985，J．Physiol．359，381-400)のデータのようなデータを含んでもよい。図３に戻ると、視覚識別測定装置１１２はゲイン制御部３６０を含み、ゲイン制御部３６０は視覚しきい値のクロス周波数マスキングおよび／またはクロス指向マスキングを行う。すなわち、各フィルタ出力を他のいくつかのフィルタ出力の和で割るか正規化し、ある空間および／または時間周波数の下で人間の視覚の感度抑圧を考慮する。特に、ある空間（または時間）周波数で高くなる人間の視覚感度は同じ空間周波数の信号（またはクラッタ）が存在すると高くなることが明らかになった。このようなしきい値の増加は、一般に、「マスキング」（または、特定の場合において、「帯域内マスキング」と呼ばれる）として知られている。人間の知覚の別の特性は、大幅に異なる周波数または指向のクラッタによって、ある時空周波数または指向にマスキングが行われる場合もあることである。このマスキングの効果は、一般に、「クロスモーションマスキング」（J．Lubin、未出版の博士論文、ペンシルバニア大学、１９９２年）または静的状態の場合の「クロス指向マスキング」（J．Lubin、「表示システムの性能の分析における精神物理学的データおよびモデルの使用（"The Use Of Psychophysical Data And Models In The Analysis Of Display System Performance"）」、Digital Image s in Human Vision，ed．A．B．Watson，MIT Press，1993，p 177）として知られている。同様の概念は文献（例えば、Heeger，1991，「視覚処理の計算モデル」（Computational Models of Visual Processing）、MIT Press）にも記載されている。ゲイン制御部３６０は、コントラストピラミッドに対して視覚しきい値のクロス周波数および／またはクロス指向マスキングを行う。特定の用途にしたがって、ゲイン制御部は、正規化回路３５５からの正規化コントラストピラミッドまたは指向性フィルタ３５０からの指向同調コントラストピラミッドにおいて動作する。ゲイン制御関数は数式（３９）のように表すことができる。ここで、ｘ_cは入力ピラミッド値、Ｆ_cは出力ピラミッド値、ｗ_iは一定の重み（デフォルト値は１）、ｉ全体にわたる和は空間ピラミッドのすべてのレベルおよびすべての時間チャネル（すなわち、コントラストピラミッドの７つのレベルおよび４つの時間チャネル、輝度およびクロミナンスから生じる２８チャネル）にわたる。フィルタ３５０の指向同調の後にＦ_cが演算する場合、和は指向（すなわち、４つの指向から生じる１１２チャネル）全体にわたる。しかしながら、和は現在のチャネルｃには及ばない。すなわち、ｉはチャネルの総数−１個のチャネルに及ぶ。空間−時間（−指向）チャネルｃの場合の値Ｆ_cは他のチャネルｉに対する入力によって減少し、ここで、減少の度合はｗ_iおよびｘ_iにともなって増加する。このような値Ｆ_cの減少にともなって、チャネルｃの画像系列の差も減少する。このように、数式（３９）のゲイン制御関数は所望の空間−時間クロス周波数マスキングを実現する。しかしながら、１つのチャネルｃしか画像系列による励起を受け取らなかった場合、Ｆ_c＝ｘ_cとなり、多重周波数がない場合はクロス周波数マスキングが行われない。図３に戻ると、トランスデューサ部（トランスデューサ）３７０は正規化されたコントラストピラミッドの各成分にＳ字状非線形性を用い、トランスデューサ出力Ｐ_kn（ｘ，ｔ）を発生させる。すなわち、正規化されたコントラストピラミッドの各成分を二乗し、同じ点非線形性Ｔの処理を行い、数式（４０）が表される。ここで、Ｓ字状非線形性Ｔは数式（４１）のように表される。ここで、ｙ＝ｅ_knθ（ｘ，ｔ）となる。Ｓ字状非線形性を用いて、J．Nachmias and R．V．Sansbury、「格子コントラスト：識別は検出より優れている（"Gratl ng Contrasts:Discrimination May Be Better Than Detection"）」、Vision Re s．14（1974）1039-1042に示されるようなコントラスト識別関数のひしゃく形状を再形成する。このため、トランスデューサ出力は、系列の各画像毎に圧縮され正規化されたコントラストピラミッドである。次に、上記の空間指向性フィルタ３５０は、正弦格子が最適に同調されたときに１つのフィルタが１つの空間位置にある場合、パッチの周期数の関数としての出力が１周期をわずかに超える周期で漸近線になるという特性を持つ。これに対して、J．Hoekstraら、「空間正弦波パターンにおいて視覚コントラスト検出しきい値に対する周期数の影響（"The Influence Of The Number of Cycles Upon The Visual Contrast Detection Threshold For Spatial Sinewave Patterns"」、Vision Research 14（1974）365-368に記載されるように、パッチの周期数がおよそ５まで増加し続けるにつれて、中心窩の人間の感度は向上し続ける。この効果を考慮して、視覚識別測定装置１１２は任意のプーリング部（プーラ）３７５を含んでもよい。中心窩の入力の場合、ブーリング部は、中心窩（ｄ₀ ）が５の正方形状カーネルでたたみ込みを行うことによって、小さい「近傍」全体にわたってトランスデューサ出力を受け取って平均化し、プール出力を生成する。すなわち、小さい近傍は、トランスデューサ出力の各点の周囲の５×５のカーネル（５×５の感光体空間、すなわち、網膜画素）として定義されている。中心窩の外部の刺激偏心率の場合、このカーネルの直径ｄ_pは、数式（４２）にしたがって、偏心率の線形関数として増加する。ここで、d_pは中心窩の直径（５．０）、ｅは偏心率（°）（デフォルト値は０° ）、ｋ_pは尺度係数である。このような偏心率に依存するプーリングの増加は、刺激特徴の正確で相対的な局所化を必要とするタスク、例えば、文字識別において、コントラスト感度の損失に帰属しうる損失を超える偏心率に依存する性能の損失をシミュレートするのに必要である。プーリング演算の後、各画像の各空間位置はｍ次元ベクトルに等しい。尚、ｍは指向数のピラミッドレベル数倍である。これらのベクトルは距離部（ディスタンサ）３８０によって受け取られ、ここで、２つの入力画像の場合のこれらのベクトル間の距離を計算する。特に、２つの入力画像（例えば、入力画像系列Ａからの試験画像および入力画像系列Ｂからの基準画像）の場合の圧縮化／正規化コントラストピラミッドの絶対値を減じた後、時間チャネルを含む７つのピラミッドレベル全体にわたって平均化（Ｑ乗平均）し、距離測度（画像計量）２５０を生成する。すなわち、５１２×５１２のフルサイズに対して、小さいピラミッドレベルのサンプリングを行わない。この場合、その結果は各入力画像ｘ毎のｍ個の配列Ｐ_i（ｘ）の集合である（ここで、ｉは１〜ｍを示す）。これらから、距離測度Ｄ（ｘ₁，ｘ₂，ｔ）は下式のように計算される。ここで、ｘ₁およびｘ₂は２つの入力画像（例えば、試験画像および基準画像）、Ｑ（ミンコフスキー指数(Minkowski exponent)として知られている）は２に設定されたパラメータである。（Ｑ＝２の場合、この数式は２つのベクトル間のユークリッド距離に相当する）。距離部３８０の出力は画像計量２５０として機能する。特に、出力は距離値または「ＪＮＤ」値の空間列である。この出力を用いて、１対の対応する入力画像、すなわち、入力系列Ａからの画像および入力系列Ｂからの画像に対して「ＪＮＤ写像」を形成することができる。図１０は、コントラストピラミッドからＪＮＤ写像を構成する方法１０００を示す。すなわち、ＪＮＤ写像Ｄ（ｘ₁，ｘ₂，ｔ）は、数式（４３）の実行にしたがって、圧縮／正規化されたピラミッドＰ_kn（ｘ，ｔ）から計算される。方法１０００はステップ１０１０から始まり、ステップ１０２０に進み、ここで、一方の入力画像系列のフレームｔのピラミッドＰを、フレームｔで、もう一方の入力画像系列のピラミッドＰから減じる。ステップ１０３０で、内部ミンコフスキーべき指数Ｑを得られたピラミッドの各値に用いる。ステップ１０４０で、上記のような展開演算を最も粗いピラミッドレベルから最も微細なピラミッドレベルまでのカスケードの加算と交換する。例えば、展開演算を最も粗いレベル（ｎ＝７）に用い、その結果をピラミッドの次のレベル（ｎ＝６）に加算する。次に、展開演算を再び行い、その結果をピラミッドの次のレベル（ｎ＝５）に加算し、最も微細なレベル（ｎ＝１）になるまで続ける。ステップ１０５０で、得られた完全解像度の画像をミンコフスキーべき指数１／Ｑで処理し、ＪＮＤ写像を生成する。方法１０１０はステップ１０６Ｏで終了する。ＪＮＤ写像を生成する方法１０１０は、コントラストピラミッドを生成する方法７００と同様の点がいくつかある。例えば、量σ_kは明確に定義されていないが、簡約演算の再帰的演算から明らかになる。元の画像（第１のｎ＝１のガウスピラミッドレベル）にはカーネル（１、４、６、４、１）／１６でたたみ込みが行われ、第２のレベルのピラミッドを生成する。暗黙のうちに、画素間隔（すなわち、視覚受容体間隔）はすべての値σ_kの基準となる。特に、分布（１、４、６、４、１）／１６の標準偏差は１であり、ここで、σ₁は１つの受容体間の距離である。カーネル（１、４、６、４、１）／１６での高レベルのたたみ込みは、それぞれ、ガウス関数の幅を２倍にする。このため、等式（２４）のσ_k＝２^k ^-1 σ₁は概算値である。しかしながら、各連続カーネルの分散は現在の「ガウス」（例えば、２^k-1σ₁ ）の分散とすべての低レベルの「ガウス」の分散との和であることに注目することによって、この概算値を向上させる。このため、したがって、等式（４５）は、単純な正弦波入力における視覚識別測度を較正するために用いた分析評価において重要である。ある調整可能なパラメータによって視覚識別測度を較正する際、このような分析解法は、以下に説明するように、最適なパラメータ値を得るのに必要な計算時間を短くする。次に、ＪＮＤ写像から計算した統計値に基づいて、他の複数の画像計量を生成することができる。一般に、上記と同様の距離計量にしたがって、ＪＮＤ写像全体の値を組み合わせることができる。実際に、２つの異なる組み合わせの１つを用いる。例えば、写像全体の平均値または最大値、すなわち、単純にｘおよびｔのすべての値の中の最大値を用いる。すなわち、しきい値識別タスクの場合は後者がより有効な統計値であり、画質評価タスクの場合は前者がより有効な統計値である。このため、ＪＮＤ値出力を確率値に変換することができる。ＪＮＤ写像上の実際の確率値をＪＮＤと呼ばれる語で較正し、ここで、１ＪＮＤは、２つの入力画像を複数回見る観察者が差に気づくことができる確率７５％に相当する。次に、１を超えるＪＮＤは増分的に計算される。好適な実施の形態では、視覚識別測定装置１１２は空間識別部２４０を用いるが、本発明はこのような特定の実施例に限定されない。他の空間識別装置または方法を本発明に組み込んでも、同様の結果が得られる。説明のため、空間指向性フィルタ３５０を除去することによって、空間識別部２４０の複雑さを低減することができる。実際に、特定の用途にしたがって、空間識別部２４０の処理部３５５〜３８０のうち１つ以上の部分を省略することができる。より大幅な簡略化によって、空間識別部のほとんどの部分を単純な平均平方誤差計算に置き換える。用途によっては、簡略化を行っても精度はほとんど低下しないが、システムは計算速度の大幅な向上から利益を得る場合がある。同様に、網膜サンプリング部３３０によって行われる種々の変換（または網膜サンプリング部３３０全体）を省略または修正して、視覚識別測定装置１１２の複雑さを最小限に抑えることもできる。さらに、本発明は複数の時間フィルタ、コントラストピラミッド変換および指向性フィルタについて説明しているが、当業者であればフィルタ数を減らして視覚識別測定装置を簡略化することができることは分かる。説明のため、マルチプレクサを用いて、時間フィルタ３３４〜３３５、コントラストピラミッド変換３４０〜３４５および指向性フィルタ３５０を共有することができる。さらに、視覚識別測定装置１１２はそのパラメータを再調整しなくても多くの正確な予測を行うことができる。このロバスト性(robustness)を達成するため、以下に検討する較正手順にしたがって視覚識別測度の較正を行う。１つの平均輝度レベルで得られたKoenderinkおよびvan Doorn（１９７９年）によって報告された視覚コントラスト感度データおよびいくつかの平均輝度レベルで得られたvan Nesら（１９６７年）によって報告されたデータを用いて、視覚識別測度を較正する。刺激はｄｃバイアスをかけた時空正弦波であり、この正弦波は視角４°の幅を持つ正方形窓によって窓処理されている。この刺激によって、（較正を行う目的のため）視覚識別測度の代わりに、空間−時間積分の多くを分析的に行う「単純モデル」を用いることができる。単純モデルを用いて、いくつかの自由なパラメータの値を得る。較正の第１のステップはインパルス応答のパラメータａ、ｂの値および重みΓ_kn （２００）を決定し、これらを用いて過渡コントラストピラミッドを正規化する。Koenderinkおよびvan Doorn（１９７９年）に示される２００フォトンの時空コントラスト検出面を用いて、モデル適合を行う。この実験では、６１Ｈｚのフレームレートおよび視角４°の窓に含まれる空間正弦波を用いる。目的は、未決定のバラメータを調整し、量ＪＮＤ（α，ω）の１に対する適合を最適化することである。尚、関数ＪＮＤは等式（４６）に示され、α＝２πｆ_s、ω＝２πｆ_t 、ｆ_sおよびｆ_tは実験正弦波の空間周波数および時間周波数（それぞれ、周期／度、ヘルツ）である。以下の目的関数はこの較正で最小になる。この計算に対するインブリシット(implicit)入力は実験のコントラストしきい値Ｍ（α，ω）であり、入力画像系列Ｓ（ｘ_s，ｔ）に代入される。初期画像系列は時空輝度分布ｓ（ｘ_s，ｔ）の特徴がある。ここで、ｘ_sは表示の二次元空間座標を示し、ｔは経過時間である。パラメータ適合の途中に、ミンコフスキーべき指数Ｑを求め、２に等しく設定されたときに満足な適合が行われる。画像サイズは視角４°であり、可視距離を２ｍに設定し、画素密度を網膜の受容体間隔と等しくする。その結果、５８４× ５８４個の画素を有する画像サイズになる。（周波数ｆ₀の）所定の正弦波刺激に十分な時間サンプリングを確実に行うため、フレーム間隔をΔｔ＝１／（ｆ₀ Ｎ_f）にする。ここで、Ｎ_fは正弦波の１周期当たりのフレーム数であり、時間周波数にしたがって、２のように小さい整数および５０のように大きい整数に等しく設定される。入力波形は公知の位相の余弦波なので、サンプルを余弦波の極値でサンブリングすることができる。このため、ナイキストレート(Nyquist rate) より高い周波数でサンプリングを行う必要がない。Δｔを少なくとも０．０６５秒に制限することによって、確実に、低周波正弦波は低周波視覚チャネルしか励起しない。このため、Δｔが大きい場合、フレーム遷移の不連続性は、ｆ₀ではなくフレームレートに同調された刺激時間チャネルを（人為的に）有する。ｈ₁ を用いるたたみ込みの長さを（１／ａ）ｌｎ（１０００）に等しく設定し、確実にｈ₁の支援を適正に含み、ｈ₂を用いるたたみ込みの長さを１５／ｂに等しく設定する。（ここで、ａおよびｂの単位はＨｚである）。以下のパラメータ値は較正処理によって得られる。すなわち、ｋ＝１，７（ピラミッドレベル）、ｎ＝１，２（過渡時間チャネルに対する持続時間チャネル）、ａ＝５．２００Ｈｚ、ｂ＝８４．１４Ｈｚの場合、Γ_kn（２００）は上記表１のようになる。さらに、表２および表３は、異なるフォトンの時空コントラスト検出面で計算した他のγ値Γ_kn（Ｂ）、すなわち、Γ_kn（０．０８５）、Γ_kn（０．８５）、 Γ_kn（８．５）、Γ_kn（８５）、Γ_kn（８５０）およびΓ_kn（８５００）と比較して、Γ_kn（２００）を示す。表２および表３は、それぞれ、持続チャネル（ｎ＝１）および過渡チャネル（ｎ＝２）の場合のγ値を含む。第２の較正ステップは、Van Nesら（１９６７年）のデータを用いて、種々の照度ＢでのΓ_kn（Ｂ）を決定する。上記第１の較正ステップと同じ画像サイズ（４°）、可視距離（２ｍ）、時間積分の極限値および時間区分Δｔを選択する。各照度Ｂ毎に、量を下式（４８）によって最適化する。ここで、実験入力α、ω、Ｂおよびこれらに依存する実験変数ｍ（α、ω、Ｂ）を用いて等式（４６）によって、ＪＮＤ値を求める。パラメータΓ_kn（Ｂ）はＢ＝２００の場合に上記の値と同じである。視覚識別測定装置１１２の較正は、均一な背景上の窓を有する時空正弦波からなる簡略化された刺激に基づく。このような簡略化によってＶＤＭのたたみ込み積分のいくつかを分析的に行うことができ、それによって、較正およびパラメータ調整に必要な最適化時の計算時間が大幅に節約される。単純モデルを用いて、空間窓を無視し、入力波形を等式（４９）によって求める。ここで、Ｍ（α、ω、Ｂ）は実験で得られた変調しきい値、Ｂは平均網膜照度（フォトン）、α＝２πｆ_s、ω＝２πｆ_t、ｆ_sおよびｆ_tは実験正弦波の空間周波数および時間周波数（それぞれ、周期／度、ヘルツ）である。仮定した刺激がこのような形式の場合、単純モデルには２つの実施例がある。一方は等輝度較正、他方はより包括的な較正である。これらの実施例についてそれぞれ以下に説明する。等式（４９）を用いて、等式（８）の時間たたみ込み積分を分析的に行うことができるが、等式（１９ａ）〜（１９ｂ）から得られるインパルス応答の時系列で波形に離散たたみ込みを行うことによっで、現実のモデルとの良好な対応が得られる。チャネルｎ（持続チャネルの場合はｎ＝１、過渡チャネルの場合はｎ＝２）の場合、（Δｔ₁＝Δｔおよび時間指数ｍの）時系列は下式（５０）、（５１）で表される。時間増分Δｔは、フレームレート（６１Ｈｚ）にできるだけ近く対応するが１周期当たりのフレーム数が整数になるように定義される。このため、ここで、Ｎ_f＝２（ｆ_t＞３０Ｈｚの場合）、８（ｆ_tが７〜３０Ｈｚの場合）、３２（ｆ_tが１〜７Ｈｚの場合）になり、その他の場合はＮ_f＝５０になる。項Δ ｔを少なくとも０．０６５秒に制限する。次に、離散時間インパルス応答関数に対してｃｏｓ（ｍωΔｔ）で数値的にたたみ込みを行い、フィルタリングされた時間波形Ｊ_m ⁽¹⁾、Ｊ_m ⁽²⁾を生成する。余弦波の周期性から、余弦周期（Ｊ_m ⁽¹⁾、Ｊ_m ⁽²⁾のｍ＜２π／ωΔｔ）を１つだけ計算すればよい。すなわち、等式（２１）および等式（８）の離散形を用いて、下式（５３）を表す。等式（５３）の第１項は空間的に一定なので、ラプラスピラミッドはこの項を除去し、Ｊ'_n（ｘ，ｍ）の唯一の実効項として量ＢΔｔＭ（α、ω、Ｂ）ｃｏｓ（αｘ）Ｊ_m ⁽ⁿ⁾が残る。次に、等式（２３）のガウスＧ_k（ｘ）でｃｏｓ（αｘ）に空間たたみ込みを行った結果が下式（５４）である。ここで、（等式（４５）のように）σ_k＝［（４／３）（１−２^-2k）］^0.5２^k-1 σ１となる。別の簡略化によって、変調Ｍが小さいのでコントラストピラミッドの分母はＢにほぼ等しいことが分かる。この簡略化を用いて、等式（５３）の係数Ｂを相殺し、等式（５４）でｃｏｓ（αｘ）＝１を設定することによって、等式（４６）から得たｘ全体の最大値を暗に実行することができる。このため、以下の簡略化式を実行し、等式（３８）の正規化されたコントラストピラミッドを得る（空間変数ｘを除去した状態）。ここで、等輝度較正の場合はＢ＝２００フォトンである。等式（２５）に戻ると、ｋ＝７、ｎ＝２の場合、代替の式は以下の通りである。次に、等式（４０）および（４１）で説明したように、正規化されたコントラストピラミッドの各成分を二乗し、同じ点非線形性Ｔの処理を行う。次に、等式（４３）および（４６）の計算を行い、基準画像系列のＰが０であるとともにｘ依存性をすでに除去した簡略化を行う。すなわち、実際に、このＪＮＤ値は入力刺激の関数であり、このパラメータはα、ω、ＪＮＤ＝ＪＮＤ（α、ω）である。最後に、最適化される目的関数（等式（４７））を形成する。データ値Ｍを上記モデルに挿入し、モデルによって予測されるように感知した差の１つのＪＮＤの結果を出したとき、データとの一致が達成する。この一致が達成したとき、較正が完了する。包括的な較正手順（種々の輝度データの較正）は等輝度較正の手順と同様であるが、２つの違いがある。第１に、離散時間インパルス応答関数を得るステップを省略し、Ｊ_m ⁽¹⁾を値「１」に等しく設定し、Ｊ_m ⁽²⁾を値「０」に等しく設定する。第２に、量Γ_kn（Ｂ）はＢのいくつかの値毎に個別に求められるが、ａおよびｂはＢ＝２００フォトンでの較正で決定したように固定した状態である。図１１は、画像の忠実度および視覚タスクの用途を向上させるため、２つの入力画像系列の差の可視性を評価する方法１１００を示す。方法１１００はステップ１１１０で始まり、ステップ１１１５に進み、ここで、方法は入力画像系列がクロミナンス成分を含むかどうかを判定する。答えがＹＥＳの場合、方法１１００はステップ１１１７に進み、ここで、各画素毎のＲＧＢ値を公知の燐光体の発光スペクトルと組み合わせ、ＣＩＥ座標を形成する。答えがＮＯの場合、方法１１００はステップ１１２０に進み、ここで、入力画像系列を「再び時間サンプリング（time-resampled）」し、人間の目の限界を考慮して、フレームレートの高い画像系列を処理する。しかしながら、元の（入力画像の）フレームレートが２００Ｈｚ以上でない場合、再サンプリングを行わない。さらに、ステップ１１１５の問いに対する答えを選択的に判定し、特定用途のコンピュータのオーバーヘッドを低減するために、いかなるクロミナンス成分の存在も無視することができる。ステップ１１１９では、ステップ１１１７のＣＩＥ座標を円錐体応答に変換し、次に、これらの応答を用いて、下記のようにステップ１１６２の別の色座標に到達する。次に、方法１１００はステップ１１２０に進む。ステップ１１２５では、入力画像を再びサンプリングし、入力画像の画素間隔、画素の大きさおよび可視距離を、それぞれ、網膜の受容体間隔、受容体の大きさに相関させる。方法１１００は、等式（１）にしたがって、観察者から見えるように、各画素毎に定まった角度を計算する。ステップ１１３０では、方法１１００は固定幅境界線を各入力画像に挿入し、境界線の影響を防ぐ。２種類の境界線、すなわち、固定値境界線およびエッジ値制御境界線を用途にしたがって用いることができる。ステップ１１３５では、方法１１００は入力画像系列を調整（平滑化／補間）し、画素／受容体比を考慮する。すなわち、画素数が受容体数を超える場合、方法１１００は入力画像に「ダウンサンプリング」を行う。受容体数が入力画像の画素数を超える場合、方法１１００は入力画像に「アップサンプリング」を行う。平滑化／補間演算は、上記のように、等式（２〜５）にしたがって行われる。ステップ１１４０では、入力画像系列を変換し、人間の目の光学機能による点拡がりに近づける。方法１１００は等式（６）の関数で入力画像にたたみ込みを行う。ステップ１１４５では、方法は固定深さが画像深さと等しいかどうかを判定する。答えがＹＥＳの場合、方法１１００はステップ１１５０に進み、ここで、入力画像を再びサンプリングし、網膜画像を生成する。答えがＮＯの場合、方法１１００はステップ１１４７に進み、ここで、「ぼけた円」を計算し、その円に入力画像でたたみ込みを行い、画像深さと固定深さの差の変化にともなう実効画像解像度の変化を考慮する。ステップ１１５０では、方法１１００は人間の目のサンプリング処理のシミュレーションを図る。効果的には、視角１°当たり１２０個の画素の密度で各入力画像をサンプリングし、「中心窩で見る」場合、５１２×５１２個の画素の「網膜画像」を生成する。「中心窩で見ない」場合、ステップ１１５０は、等式（７）に基づいた密度で入力画像をサンプリングする。ステップ１１６０では、方法１１００は、再び、入力画像系列がクロミナンス成分を含むかどうかを判定する。答えがＹＥＳの場合、方法１１００はステップ１１６２に進み、ここで、ステップ１１１９からの円錐体応答を用い、等式（２８）〜（２９）にしたがって、別の３色座標に到達する。答えがＮＯの場合、方法１１００はステップ１１６５に進む。また、ステップ１１６０の問いに対する答えを選択的に判定し、特定用途のコンピュータのオーバーヘッドを低減するために、いかなるクロミナンス成分の存在も無視することができる。ステップ１１６５では、網膜画像に時間フィルタリングを行い、各入力画像の輝度成分を２つの時間チャネル、すなわち、持続チャネルおよび過渡チャネルに分離する。任意に、各入力画像系列のクロミナンス成分を２つの異なるチャネルに分離することによって、２つの入力系列のそれぞれに４つの時間応答を生成する。２つの時間チャネルの関数は等式（９）および（１０）に表されている。ステップ１１７０では、ステップ１１６５から生成された各画像を等式（２２〜２５）および図７にしたがって（クロミナンス成分の修正のように）分解することによって、コントラストピラミッドを生成する。各コントラストピラミッドは７つの周波数チャネルまたはピラミッドレベルを含む。ステップ１１７５では、方法１１００は指向フィルタリングを選択するかどうかを判定する。答えがＮＯの場合、方法１１００はステップ１１８０に進む。答えがＹＥＳの場合、方法１１００はステップ１１７７に進み、ここで、指向フィルタリングを行う。ステップ１１７７では、空間指向性フィルタを各コントラストピラミッドに用い、次に、ステップ１１７９で、出力画像を等式（３５）にしたがって変換し、ほ乳類の視覚細胞表層における単純細胞間の線形応答から複雑細胞間のエネルギ応答への変換をシミュレートする。ステップ１１８０では、方法１１００は各コントラストピラミッドを重み関数の集合で正規化し、人間の目のコントラスト感度関数を考慮する。各ピラミッドレベルおよび時間チャネル毎に（表１〜３にしたがって）コントラスト正規化項 Γ_knの値を変化させることによって、重み関数を計算する。ステップ１１８５では、方法１１００は、視覚しきい値のクロス周波数および／またはクロス指向マスキングをコントラストピラミッドに行う。すなわち、各コントラストピラミッド値（入力ピラミッド値）を他のいくつかのコントラストピラミッド出力の和で割るか正規化し、ある空間および／または時間周波数の下で人間の視覚の感度抑圧を考慮する。その結果生じたコントラストピラミッド値（出力ピラミッド値）は等式（３９）にしたがって計算される。ステップ１１９０では、方法１１００は、等式（４０〜４１）にしたがって、正規化されたコントラストピラミッドの各成分にＳ字状非線形性を用い、トランスデューサ出力を発生させる。トランスデューサ出力は、入力画像系列の各画像毎に圧縮／正規化コントラストピラミッドを示す。ステップ１１９５では、方法１１００は、ステップ１１９０からのトランスデューサ出力にプーリング演算を行う。プーリング演算は、ある大きさの直径の円盤状カーネルでたたみ込みを行うことによって、小さい近傍全体のエネルギ応答を平均化する。中心窩の内部の刺激偏心率の場合、「中心窩」の直径を５に設定する。中心窩の外部の刺激偏心率の場合、直径ｄ_pを等式（４２）にしたがって計算する。プーリング演算の後、各画像の各空間位置はｍ次元ベクトルに等しい。ステップ１１９７では、２つの対応する入力画像の場合のこれらのベクトル間の距離を計算する。５１２×５１２のフルサイズに対して小さいピラミッドレベルのサンプリングを行わず、等式（４３）および図１０にしたがって距離を計算し、距離値の空間列を生成する。ステップ１１９８では、距離値の空間列を用いて、確率予測のような種々の画像計量を生成することができる。その後、方法１１００はステップ１１９９で終了する。産業上の利用の可能性このように、画像の忠実度および視覚タスクの用途を向上させるため、２つの入力画像系列の差の可視性を評価する新規の方法および装置について図示および説明してきた。しかしながら、本発明の多くの変更、修正、変形および他の使用および適用は、本発明の実施の形態を示す明細書および添付図面を検討した後に、当業者に明らかになるであろう。本発明の精神および範囲から逸脱しないこのようなすべての変更、修正、変形および他の使用および適用は、以下の請求の範囲によってのみ制限される本発明に包含される。

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号６０／０１４，６８８ (32)優先日平成８年４月２日(1996．4．2) (33)優先権主張国米国（ＵＳ） (31)優先権主張番号０８／８２９，５１６ (32)優先日平成９年３月28日(1997．3．28) (33)優先権主張国米国（ＵＳ） (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＡ，ＪＰ，ＫＲ，ＭＸ (72)発明者デヴリーズ，アアルバートアメリカ合衆国ニュージャージー州ローレンスヴィルタウンコートサウス 5221 (72)発明者フィナード，オルガアメリカ合衆国ニュージャージー州プリンストンハミルトンアヴェニュー 284

Claims

【特許請求の範囲】１．各々がクロミナンス成分を含む複数の入力画像を有する２つの入力画像系列の差の可視性を評価する装置であって、各入力画像系列のクロミナンス成分を低域時間応答にフィルタリングする時間フィルタと、および前記時間フィルタに接続され、前記低域時間応答から画像計量を生成する空間識別器とを備えることを特徴とする装置。２．前記入力画像の各々はさらに輝度成分を含み、前記時間フィルタは各入力画像系列の前記輝度成分を第２の低域時間応答および帯域時間応答にフィルタリングし、前記空間識別器は入力画像系列の輝度成分およびクロミナンス成分の両方からの前記低域時間応答および前記帯域時間応答から画像計量を生成することを特徴とする請求項１に記載の装置。３．前記時間フィルタは、前記空間識別器に接続され、第１の入力画像系列のクロミナンス成分をフィルタリングする第１の時間フィルタと、および前記空間識別器に接続され、第２の入力画像系列のクロミナンス成分をフィルタリングする第２の時間フィルタとを備えることを特徴とする請求項２に記載の装置。４．前記空間識別器は、前記低域時間応答および前記帯域時間応答の各画像毎に複数のレベルを有するコントラストピラミッドを計算するコントラスト変換器と、前記コントラスト変換器に接続され、前記コントラストピラミッドに対して視覚しきい値のクロスマスキングを行うゲイン制御器とを備えることを特徴とする請求項２に記載の装置。５．複数の入力画像を有する２つの入力画像系列の差の可視性を評価する装置であって、各入力画像系列を低域時間応答および帯域時間応答にフィルタリングする時間フィルタと、および前記時間フィルタに接続され、前記低域時間応答および前記帯域時間応答から画像計量を生成する空間識別器とを備え、前記空間識別器は、前記低域時間応答および前記帯域時間応答の各画像毎に複数のレベルを有するコントラストピラミッドを計算するコントラスト変換器を備え、前記空間識別器は、さらに、前記コントラスト変換に接続されて前記コントラストピラミッドに対して視覚しきい値のクロスマスキングを行うゲイン制御器を備えることを特徴とする装置。６．各々がクロミナンス成分を含む複数の入力画像を有する２つの入力画像系列の差の可視性を評価する方法であって、（ａ）各入力画像系列のクロミナンス成分を低域時間応答にフィルタリングするステップと、および（ｂ）前記低域時間応答を識別し、画像計量を生成するステップとを含むことを特徴とする方法。７．（ａ'）前記入力画像系列から前記入力画像の各画像画素毎に色座標の集合を生成するステップをさらに含み、前記フィルタリングステップ（ａ）に対する前記入力画像系列は前記色座標を含むことを特徴とする請求項６に記載の方法。８．前記生成ステップ（ａ'）は、（ａ'１）入力画像系列から前記入力画像の各画像画素毎にＣＩＥ(Commission Internationale de l'Eclairage）座標を生成するステップと、（ａ'２）前記ＣＩＥ座標を円錐体応答に変換するステップと、および（ａ'３）前記円錐体応答から前記色座標の集合を生成するステップとを含むことを特徴とする請求項７に記載の方法。９．各入力画像はさらに輝度成分を含み、前記フィルタリングステップ（ａ）は、さらに、（ａ１）各入力画像系列の輝度成分を第２の低域時間応答および帯域時間応答にフィルタリングするステップを含むことを特徴とする請求項６に記載の方法。１０．前記識別ステップ（ｂ）は、（ｂ１）前記低域時間応答および前記帯域時間応答の各画像毎に複数のレベルを有するコントラストピラミッドを生成するステップと、（ｂ２）前記コントラストピラミッドに対して視覚しきい値のクロスマスキングを行うステップとを含むことを特徴とする請求項９に記載の方法。