JP2006502498A - 選択縦座標画像処理によってストレイフラックス効果を効率的に除去するための方法、プログラム、および装置 - Google Patents

Abstract

本発明は、一つ以上の次元から成り、複数の画像要素を持つ画像におけるスメアリングまたは誤方向付けされたフラックスの効果を除去するために物体の劣化した画像を修正することに関する。本発明の方法は、ａ）所定の重み付け関数に対応するサンプルの暗示的重み付けを実現するために選択された不均等な間隔で前記物体の前記画像（１１Ａ）の部分をサンプリングするステップと、ｂ）重み付け積分の近似値を生成するために前記暗示的に重み付けされたサンプルを合計するステップと、ｃ）前記複数の画像要素の各々について重み付け積分を計算し、それによって前記画像の補正値（１１Ｂ）を取得するためにステップａ）、ｂ）を反復するステップとを含む。本発明はまた、本方法のステップを実行するようにコンピュータを制御するためのコンピュータ可読媒体として、及び装置として実現される。

Description

本発明は、画像におけるストレイフラックス（迷束）効果を除去するための方法とプログラムと装置とに関する。

すべての画像形成（結像）システムは、入力フラックスの一部を画像内の所望でない場所に誤って方向付ける現象の影響を受ける。ここで使用される用語「画像形成システム」は、例えば光学システム、Ｘ線システム、コンピュータ断層撮影法システムを含む。核磁気共鳴映像法システム等の指向性のフラックス通路を使用しない他のシステムもまた、用語「画像形成システム」範囲内に入る。画像形成システムのタイプによって、「画像」は１次元（線形画像）、２次元（平面画像）、３次元（立体画像）あるいは更に多次元（ハイパー画像）を有する場合がある。最も一般的な意味で、誤方向付けされたフラックスは、異なるシステムに関しては異なる用語が用いられるが、「ストレイフラックス（迷束）」と呼ばれることがある。

光学的画像形成システムは、入力光束の小部分を画像平面内の所望でない場所に誤方向付けする現象の影響を受ける。この現象の原因は、他の原因も考えられるが、１）光学素子表面からのフレネル反射と、２）開口部エッジにおける回折と、３）透明なガラスまたはプラスチックのレンズ素子内の気泡からの散乱と、４）レンズ素子の表面欠陥からの散乱と、５）ほこりその他の粒子からの散乱とを含む。用語「迷光」、「レンズフレア」、「ベイリンググレア」、及びその他の名前で呼ばれる誤方向付けされたフラックスは、画像のコントラストと光度測定精度の両方を劣化させる。例えば、写真撮影において、より暗い前景物体を含むポートレート等の逆光照明のシーンは、コントラストが弱く、前景物体の細部が損なわれる。

画像の色精度への「迷光」の影響は、おそらくあまり認識されていない。非特許文献１において、迷光汚染された画像に対する主観的異議を低減できるオフセットとゲインまたはコントラストの従来の簡単な操作について言及されている。しかしながらこれらの操作は、画像内の根元の欠陥を修正せず、また事実上追加の誤差を導入する。

特許文献１は画像から迷光効果を除去する方法の種々の実施形態を説明している。この方法は、ディジタルカメラ等の撮像装置内での応用を阻害しかねない大量の計算を必要とする。

しかしながら本発明の方法は、ディジタルカメラ内の一つ以上のディジタル論理集積回路等の比較的単純な装置において実現でき、また迷光によって劣化した画像を迅速に低価格で修正できる。

＜ストレイフラックス効果の大きさ＞
一般的にはストレイフラックス効果、特に迷光効果の重要性は、光学的結像システムへの迷光効果の大きさの下記の論議から理解することができる。図１に示すような画像構成１０において、不透明なスポット３を有する透明なマスク２は、均一な拡散照明光源４を有するライトボックス１上に配置される。そして、レンズ５は、この逆光照明されたスポット３とその周囲とを、例えばディジタルカメラにおける光検出器要素６Ｅの電荷結合素子（ＣＣＤ）アレイからなるターゲット６の上に結像させるために使用される。この構成は、周囲の拡散光源４からの光がターゲット６上に結像されたスポット７の中心に迷い込む機会を作り出す。周囲の視野の１２パーセントに等しい横寸法を有する不透明スポット３は、画像面積の約１．４４％を占める。画像構成１０の実施形態の一例は、ターゲット平面６上に結像された、光束を受けるべきでない不透明スポット７の中心が実際には、隣接周囲の約２％にあたる光束を受けることを示した。理想化された濃度計は、ストレイフラックスの存在しない場合にスポットの中心で無限大の光学濃度を示すはずである。しかしながらこの画像形成システムから得られた２％迷光汚染データは、結果的にＤ＝ｌｏｇ（１．０／０．０２）≒１．７という誤りの光学濃度値になる。

エリア画像形成システムは、画像内の各点から順次に光を収集する走査型画像形成システムとは対照的に画像内のすべての点から並列的に光を収集する。上記の例から、エリア画像形成光学システムを光学濃度の測定に適用するときには限定的な使用となることが理解される。光学濃度測定の最良の実施には、アパーチャー（開口）、マスク、隔壁、特殊コーティングおよび光学設計者に既知の他の手法を使用することによってストレイフラックスがアクセス可能な経路の数を物理的に制限することが必要である。

１点ずつシーンを画像化する走査方法は、単一露出全体画像並列検出の不正確さを克服できる。しかしながら機械式走査方法による画像の順次的取得は、多くのアプリケーション、特に写真撮影では非実用的である。物体平面の近くにアパーチャーまたはマスクを配置する必要性は、写真撮影にとってもう一つの容認できない物理的制約を課する。並列検出でないことに起因する大幅に増加した露出時間は更に、写真撮影にとって容認できない時間的制約を課する。写真カメラは、被写体と光学系／検出器システムとの間にある程度の分離距離を必要とし、並列的画像検出が実用となることを要求する。

＜写真撮影における色精度と画像形成測色法＞
非特許文献１において、カラー画像スポットが異なる色を有する領域に取り囲まれている状況で、このようなスポットの中心におけるカラーがその周囲からの迷光によってどのように影響されるかを決定するために図１の画像構成が考察されている。Ｌ＊ａ＊ｂ座標系によって表わされる知覚的に均一なＣＩＥ色空間が使用される。このシステムでは、約１．０という差分値は、典型的な観測者にとって最小可知差異であると考えられる。周囲からグリーンの５％汚染を有するブルーのスポットは、ΔＥ_{Ｌ＊ａ＊ｂ}＝８．９４の色誤差を有することが示される。ここでブルーは、Ｌ＊ａ＊ｂ座標（１０，１０，３０）を有すると指定され、周囲のグリーンはＬ＊ａ＊ｂ座標（１０，３０，１０）を有していた。しかし、約９最小可知差異単位の該誤差は、２％というずっと低い汚染レベルであっても、より飽和した値のブルーとグリーン、ブルーはＬ＊ａ＊ｂ座標（６．５，２．５，４０）、グリーンはＬ＊ａ＊ｂ座標（６．５，４０，２．５）の場合に計算された結果と比較して小さかった。この場合、色誤差は総計ΔＥ_{Ｌ＊ａ＊ｂ}＝１５．０７であった。同様に現実的な白黒画像では、５％反射率を有する黒いスポットの４％汚染は、ΔＥ_{Ｌ＊ａ＊ｂ}＝９．０９の誤差という結果となった。

特許文献１は、濃度計、カメラ、顕微鏡、望遠鏡、およびその他の光学的結像システムによって取得された走査画像からの迷光効果の除去に適用できる。この特許の方法は、フーリエ領域と空間領域との両方における計算を熟慮している。これらは、光学システムにおける散乱現象と他の迷光生成効果の存在に起因する像平面における光束の再分配を表現する全点像分布関数（ＰＳＦ）の考えを必要とする。点像分布関数は、画像座標の大きな距離に亘るフラックスの広がりを記述するので、一般的には迷光の表現には使用されない。このことは、点像分布関数が主として回折と幾何光学収差とを組み込む一般の用途と好対照をなす。カメラの全点像分布関数の中心コアだけが、より伝統的な点像分布関数と一致する。

しかし、下記の説明では、迷光効果だけが加えられた、物体の複写を可能にする点像分布関数を考えている。更に、迷光分布は、典型的にはシフトバリアントである。単一のコンボルーションは通常、画像全体に亘る迷光汚染を説明するためには適当でない。したがってディジタルカメラにおける結像は、面空間座標ｘ、ｙを有する矩形の平面型画像検出器によって受け取られる画像フラックスｉ（ｘ，ｙ）のすべてを指定することによって記述される：

この式でｘ’とｙ’は、検出器上に結像される平面物体ｏ（ｘ’，ｙ’）の２次元空間座標であり、ｓ（ｘ，ｙ；ｘ’，ｙ’）は迷光効果だけが重ね合わされた、更なる劣化のない物体像を記述する点像分布関数である。したがって本定義による物体分布ｏ（ｘ’，ｙ’）は、回折と幾何学的収差とに起因する解像度劣化等の、不完全な結像システムに典型的な他の効果を表してもよい。

本方法はまた、画像ｉ（ｘ，ｙ）に到達するフラックスのすべては物体の境界内から発し、この境界は検出器の矩形の境界に直接対応するので、積分の限界はこれらの物体境界によって指定されるということを仮定している。

非特許文献１において、ｓ（ｘ，ｙ；ｘ’，ｙ’）等の点像分布関数の特性は光の波長とともに必然的に変化するので、画像形成システム記述と迷光修正方法の両者は、カラー画像を厳格に修正するためにこの変化を考慮する必要がある。カメラ記述と画像修正の両者を単純化するために本方法では、ＣＩＥ標準観測者ｙ-、ｚ-関数はこれらの関数のピークに対応するそれぞれの波長を有する別々の単色応答を記述していると考える。同じ推論に厳密に従うと、ｘ−関数は、その二つのピークに対応する二つの波長における応答を合計することを要求するであろう。しかしながらカラーカメラは典型的には、単一ピーク波長応答を有する検出器を使用する。明瞭にするために、波長依存性の表記は使用しないが、完全のためには非常に多数の波長において、または実用的近似としては検出器／受容器応答ピークにおいて要求される計算を繰り返すことができることに留意されたい。

迷光効果に対する画像ｉ（ｘ，ｙ）の厳格な修正は、物体空間分布ｏ（ｘ’，ｙ’）に関して上記の式（１）を解くことを要求する。これと類似ではあるがｓ（ｘ，ｙ；ｘ’，ｙ’）がシフトインバリアントでありｓ（ｘ，ｙ；ｘ’，ｙ’）がｓ（ｘ-ｘ’,ｙ-ｙ’）として単純化できる問題は、式（１）が２次元コンボリューションを含むので、すなわち：

であるので、デコンボルーションを必要とする。実環境データ入力を含むこのような問題は通常、不良設定であるので、一般に解くのが困難である。このことは、これらの問題が解を持たないか、非常に多くの解を持つがそれらを区別する実用的な手段がないか、またはデータｉ（ｘ，ｙ）の小さな変化とともに急激にまたは不連続に変化する解を持つかのいずれかであることを意味する。シフトバリアント問題も同様であると予期され得るが、これは真でないことが、式（１）の離散バージョンを考慮するとき明らかになる理由から判明する。

上記の問題のサンプリングされたバージョンである次の行列（マトリクス）式を考える：

ここで列マトリクスｉ、ｏはｉ（ｘ，ｙ）とｏ（ｘ’，ｙ’）にそれぞれ対応し、正方マトリクスｓはｓ（ｘ，ｙ；ｘ’，ｙ’）に対応する。ｉ（ｘ，ｙ）とｏ（ｘ’，ｙ’）の二変数ｘ、ｙ空間依存性は、物体平面と画像平面の境界内のこれらの平面の辞書式順序付けを介してマトリクス記述によって必要とされる一変数問題にきれいに縮約される（非特許文献２を参照）。したがってマトリクスｉ、ｏの次元はｍ×ｎによって与えられ、ここでｍは物体ｏ（ｘ，ｙ）と画像ｉ（ｘ，ｙ）の幅に沿ったサンプルの数であり、ｎはそれぞれの高さに沿ったサンプルの数である。マトリクスｓは次元Ｎ×Ｎを持っており、ここでＮ＝ｍ×ｎである。

ベクトルｏに関して解く一つの方法は、式：

の反復を要求する。ここでｋは近似解のシーケンス番号、ｏ＾^（ｋ）は汚染されていない物体のｋ番目の推定値であり、ｉは一般にｏ＾^（０）として扱う。離散コンボリューションを含むシフトインバリアントの事例の場合、これはヴァン・シッテルトの方法と呼ばれる。これは、１セットの線形方程式を解くヤコビの方法の特殊ケースと見なされており、これはここで適用可能な更に一般的なシフトインバリアントの事例に適用可能である（非特許文献３を参照）。

式（３）の解は不良設定でないことを示すために、ｓの幾つかの固有の特徴を考える。特に、迷光汚染の全くない完全カメラのＰＳＦをｓ_Ｐ＝Ｉで表わす。ここでＩは単位行列である。迷光成分は、等価連続関数Ｓ_Ｄ（ｘ，ｙ；ｘ’，ｙ’）のサンプリングされたバージョンであるマトリクスｓ_Ｄによって表すことができる。したがって、次式が成り立つ。

現在の関心事は主として迷光であるので、（１）画像形成アパーチャー回折と幾何学的収差は無視し得るほど小さいこと、（２）収差はマトリクスＳ_pの対角要素内に含まれるように空間的に十分局所化されていること、あるいは（３）このような効果は既にベクトルｏによって記述された物体分布に組み込まれていること、の三つの仮定のいずれかを仮定することができる。これら三つの仮定のいずれも、同じ数学的解をもたらす。しかしながらこれらは、解がどのように解釈され使用されなくてはならないかに及ぼす影響において異なる。第３の仮定の場合、完全な解であっても、それ以外は不完全である結像システムの影響を受けた物体推定値ｏ＾を生成するであろう。したがって本方法は、有限レンズ開口に起因するエアリーディスク状回折に対してもレンズ収差に対しても補正しない。

なお、上記においては、物体と画像のスケールは対角線に沿って値が１となるようなスケールであるということも仮定されている。この仮定は、下記の結果のために必要である。更にすべての行と列とに沿った個々の和は、必然的に迷光の存在に起因して１を超える：

最初の推定値ｏ＾^（０）＝ｉを式（４）に代入することによって得られる第１の反復解を考える：

ｓ_ｐ＝Ｉであることに留意すれば項がまとめられ、それによって：

となる。これは、特に興味深い結果、すなわちｓ_Ｐが正規化される仕方の偶然的結果である。第１の反復物体推定値は、量−ｓ_Ｄｓ_Ｄｏだけの誤差で物体それ自身である。この量は、ディジタルカメラの画像の迷光部分が適正に結像された部分と比較して小さく：

となるので、小さい。この結果は無論、カメラのレンズがひどく汚染されていなければ得られる。

以上で分かるように、汚染されていない物体の有用な近似は、わずか１サイクルの反復計算で得られており、このサイクルは単一のマトリクス積：

を含む。迷光汚染に対して画像を良好な近似に修正するために、点像分布関数迷光成分とその画像のコンボリューションを含む項をその画像から減算してもよい。非特許文献１では、シミュレートされた迷光に対して１次元像を補正する同様な方法を使用し、「完全結像」の狭い中心コアに重ね合わされた双曲線的に減少するシフトインバリアント迷光寄与によってＰＳＦが特徴付けられる場合に、優れた結果を得た。

たとえ上述の単純化が潜在的計算負荷を大幅に減らしたとしても、２次元画像へのその直接的拡張は、総和が空間領域内で直接計算されるのであれば、大量の計算を必要とする。具体的にはＮ×Ｎ画像は、Ｎ^４回の乗算と加算の対の演算、あるいは２Ｎ^４回の演算を必要とするであろう。

もし点像分布関数がシフトインバリアントであれば、計算はフーリエ領域で実現できるコンボリューションを含むであろう。もしＮが２の累乗であると仮定すれば、単一画像ラインの１次元ＦＦＴは５Ｎ^２ｌｏｇ_２Ｎ回の演算を必要とするであろう（非特許文献４を参照）。そして、２次元変換は、その回数の２Ｎ倍、あるいは１０Ｎ^２ｌｏｇ_２Ｎ回の演算を必要とするであろう。

ｉを変換領域に変換するために１回の変換が必要とされ、その際、迷光伝達関数（２ｉ−ｓ）が乗算されるであろう。この伝達関数は先に空間像空間から変換され既に用意されていて、使用可能になっている。第２の変換は、その積を空間領域に戻すであろう。こうして単一画像の修正におけるコンボリューションは、変換領域内で二つの変換演算と６Ｎ^２回の乗算、あるいは合わせてＮ^２（６＋２０ｌｏｇ_２Ｎ）回の演算を要するであろう。

しかしながらｓ_Ｄ（ｘ，ｙ；ｘ’，ｙ’）がシフトインバリアントでないことは既に知られている。修正はなお、ｓ（ｘ，ｙ；ｘ’，ｙ’）が大きくは変化しない非常に多数の小さなパッチ、いわゆる等平面パッチに画像を分解することによってコンボリューションを介して実行できる。画像データは１回だけ変換を必要とするが、コンボリューション定理乗算と逆変換は、すべてのパッチに対して実行されなくてはならない。もしこれらのパッチがＭ×Ｍの画素正方形であると仮定すれば、必要とされる演算の総数は、

となる。これはまた、大きな計算負荷をかけ、増加した複雑さを有するコンピュータコードを必要とする。この負荷と複雑さとを減らす好適な方法を紹介する前に、迷光補正値を効率的に計算するために従来の複数解像度手法を適用する方法を紹介することが適当である。

＜画像ピラミッド＞
各画素が１組の画素の複合、例えば平均である低減されたサンプル密度画像について演算することによって画像を処理し分析する際に多くの計算が節約できることはよく知られている（非特許文献５を参照）。いったん低減された解像度画像について分析の概略の特徴が得られれば、その画像は、完全にサンプリングされたオリジナルへの参照によって精製することができる。このために所定の計算目標を達成するために階層的な一連の画像を段階的に計算することも可能である。例えば各より小さい（すなわちピラミッド上でより高い）画像層が、直前の画像の２画素×２画素正方形領域に対応する画素を含むいわゆる画像ピラミッドを考えてみる。オリジナルに対する第１の低減されたサンプルバージョンについての演算は、４分の１に計算が節約されるであろう。このような画像の完全なピラミッドを記憶することは、たったＮ^２＋（Ｎ／２）^２＋（Ｎ／４）^２＋・・・＋１個だけの画素位置を必要とする。

このようなサンプリング方法が迷光修正計算に及ぼす影響を考察できる。第１にピラミッドはオリジナルの画像データｉ（ｘ，ｙ）から計算できる。ｓ_Ｄ（ｘ，ｙ；ｘ’，ｙ’）が中心のコア付近で急速に変化する画素を修正する際には、完全にサンプリングされた画像からのデータが使用されるであろう。コアからより離れるとｓ_Ｄ（ｘ，ｙ；ｘ’，ｙ’）は距離とともに、よりゆっくり変化する。この場合、ピラミッド内のより粗くサンプリングされた画像からの画素が、ｓ_Ｄ（ｘ，ｙ；ｘ’，ｙ’）のこの部分からの重みを使用して、必要な積を形成するために使用される。理想的には、すべてのサンプルからの誤差寄与がほぼ同等であるような適当なレベルがピラミッドから選択できるであろう。具体的なｓ_Ｄ（ｘ，ｙ；ｘ’，ｙ’）と必要な計算精度によって、この方法は多くの計算を節約できる。しかしながらこの方法を実現するために必要な、計算に関する簿記は多量となる可能性がある。

サンプル密度を変化させるという考えは、更にもう一つの手法に導く。上記の例ではサンプル密度は、ピラミッドの層間で倍率２だけ変化する。ｓ_Ｄ（ｘ，ｙ；ｘ’，ｙ’）の値を次々と辿るにつれて、ピラミッドの構造は最小倍率２だけサンプル密度の調整を強制する。誤差寄与を考慮すると、最小有利のサンプルは、理想の２倍かまたは１／２かのエリアベース密度を持つことができる。この観察は、より小さなサンプル比増分の吟味を促す。非常に小さな増分を有する画像のピラミッドは、非常に多くの層を含み、多くの記憶メモリを占有するので、この選択は、特に下記に説明される更に魅力的な代替手段に照らして非実用的として捨て去られるかもしれない。

もし均一な誤差寄与要件に適応するように密度がスムーズな仕方で局所的に変化するサンプリングパターンが計算されれば、ピラミッド方法の欠点は克服できる。更に重要なことに、このようなサンプリングパターンではｓ_Ｄ（ｘ，ｙ；ｘ’，ｙ’）によって必要とされる重み付けを符号化するために、サンプル密度それ自身を使用することができる。従って積分またはマトリクス積を計算する際に明示的乗算は完全になくすことができる。

＜選択縦座標の概念＞
任意の１次元重み付け積分：

を計算する精度要件を考えてみる。ここでｆ（ｘ）は積分すべき関数、ｗ（ｘ）は必要とされる重み付けを与え、またｘは積分の独立変数である。式（２）のような２次元積分積の値は、その変数の任意の対応する値に対して、このような積分を計算することによって取得でき、また式（９）による迷光修正のために必要な離散積についても同様である。式（１０）は離散和によって近似でき、

となる。ここでΔｘ_１＝Δｘ_２＝・・・＝Δｘ_ＮはＮ個のサンプル間の均等な間隔である。この近似を計算する労力を最小にするためには、精度の負担を、合計される各項に等しく、また各乗算加算対の演算に等しく分配することが望ましく、すなわち各項は結果的に生じる誤差に等しく寄与すべきである。もし項ｗ_ｉｆ_ｉの分散が等しければ、この目的のためには単純和で十分であろう。しかしながらこれは、控えめに言っても例外的なケースであろう。

実際の場合にはｆ（ｘ）についての事前の知識はないかもしれない。このような知識がまったくない場合のｇの精度を考えて見ると、妥当な選択は全てのｆ_ｉが等しいことである。これらの状況下では各項ｗ_ｉｆ_ｉは総和に等しく寄与しないので、演算の各乗算加算対は結果の精度に不平等に寄与する。１セットの均等間隔のサンプルｆ_ｉに限定すると、所望の領域に亘って均一な誤差寄与という目標を達成する手段は存在しない。それら項の交互の重み付けは、ｇの定義と一致しない結果を生成するであろう。精度と計算効率とを改善する手掛かりは、等しいサンプル間隔の仮定を吟味することによって見出される。
前述にしたがって、もし各項が誤差に等しく寄与するようにサンプル間隔Δｘ_ｉが調整されれば、サンプリングばかりでなく計算にも費やされる労力は最適に利用される。特に今度は、間隔Δｘ_ｉ＝１／ｗ_ｉが重みの効果を組み込むように、局所的サンプリング間隔を重みｗ_ｉと逆比例させてみることにする。ここで１／ｗ_ｉは（ｉ−１）番目とｉ番目のサンプル間、及びｉ番目と（ｉ＋１）番目のサンプル間の間隔とすることができる。あるいは間隔はそのサンプルの付近で、ある別の仕方で分割することもできる。例えばｉ番目と（ｉ＋１）番目のサンプル間の間隔は、０．５（（１／ｗ_ｉ）＋（１／ｗ_ｉ＋１））としてもよい。これらの方法のいずれによっても、もはや重みは総和の中に明示的に現れることはない。積分の計算がもはや乗算を１つも含まないので、算術計算の回数は直ちに半減する。更にサンプルはそれらがもっとも必要とされる位置、すなわちｗ_ｉがその最大である位置にだけ配置されるので、所定の精度を有する結果のために必要なサンプルは、より少なくなる。特に光子カウントまたはポアソン検出雑音、仮定された均一なｆ（ｘ）、および指定された間隔に亘るすべてのカウントの集合の場合には、各項は平均、同じ数のカウントと同じ分散とを有し、したがって目標である、ｇの精度に等しく寄与する。

またｆ（ｘ）が更なる雑音によって影響される場合を考えてみる。ここでｆ（ｘ）は等しいサンプリング間隔で細かくサンプリングされ得る。そして微細なサンプルのうちのどれが総和の中に含まれ、その他のサンプルが無視されるべきかを確定するために、上記に説明した不均等な間隔Δｘ_ｉが使用できる。この場合、前述のように、選択されたサンプル間の微細なサンプルからの情報は総和の精度の改善に寄与しないが、総和に含まれるすべてのサンプルは等しい分散を有する。

ディジタルコンピュータの出現以前には、分光測色法は、重み付け積分の効率的計算を達成するために所望の重み付けとは逆にサンプル間隔を調整する手法を使用していた。この選択縦座標方法では乗算は必要でない（非特許文献６を参照）。オペレータは、標準観測者関数によって必要とされる重み付けにしたがって選択された垂直線あるいは縦座標が事前に印刷されたチャート紙の上にスペクトル反射率カーブを記録する。そして、このオペレータは、選択された位置における縦座標値を読み取り、必要とされる重み付け積分を計算するためにそれらの値を加算する。主要な動機は乗算をなくすことであるが、正確な色の判定のために必要なサンプルの数は遥かに少なくなることが分かる。
米国特許第５，１５３，９２６号明細書（本発明の譲受人に譲渡） Ｐ．Ａ．ＪａｎｓｓｏｎとＲ．Ｐ．Ｂｒｅａｕｌｔ「画像スキャナにおける迷光に起因する色測定誤差の修正」第６回カラー画像形成コンファレンス会報：色彩科学のシステムと応用、１９９８年、画像科学技術学会 Ｅ．Ｊ．ＢｏｒｏｗｓｋｉとＪ．Ｍ．Ｂｏｒｗｅｉｎ「ハーパーコリンズ数学辞典」Ｈａｒｐｅｒ Ｐｅｒｅｎｎｉａｌ，ニューヨーク，１９９１，ｐ．３３９ Ｐ．Ａ．Ｊａｎｓｓｏｎ編纂「画像とスペクトルとのデコンボルーション」の項「伝統的線形デコンボルーション方法」Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，ニューヨーク，１９９６，ｐ．８５−８９ Ｐ．Ａ．Ｊａｎｓｓｏｎ編纂「画像とスペクトルとのデコンボルーション」の項「コンボルーションおよび関連する概念」Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，ニューヨーク，１９９６，ｐ．２５ Ｋ．Ｒ．Ｃａｓｔｌｅｍａｎ「ディジタル画像処理」Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ，１９９６，ｐ．３２０ Ｄ．Ｂ．ＪｕｄｄとＧ．Ｗｙｓｚｅｃｋｉ「商業、科学および工業における色彩」第３版，Ｊ．Ｗｉｌｅｙ ａｎｄ Ｓｏｎｓ，ニューヨーク，１９７５，ｐ．１４９

本発明は、物体の画像が一つ以上の次元から成り、また複数の画像要素を有し、該画像または画像を生成するために使用されるデータがスメアリングフラックスまたは誤方向付けされたフラックスよって劣化している場合において、その画像を修正する方法とプログラムと装置とに関する。

本発明は画像に対する劣化効果を除去し、本方法は、
ａ）所定の重み付け関数に対応するサンプルの暗示的重み付けを実現するために選択された不均等な間隔で前記物体の前記画像の部分をサンプリングするステップと、
ｂ）重み付け積分の近似値を生成するために前記暗示的に重み付けされたサンプルを合計するステップと、
ｃ）前記複数の画像要素の各々について重み付け積分を計算し、それによって前記画像の補正値を取得するために前記ステップａ）、ｂ）を反復するステップとを含む。本方法は、ステップａ）を実行する前に劣化を表す重み付け関数を決定するステップを更に含む。画像に対する補正値を取得した後、その補正値は、劣化を除去し修正された画像を生成するために画像に適用される。
本方法は、反復的な仕方で適用でき、前記修正された画像を更新するために前記修正された画像の各要素に暗示的に重み付けされたサンプルの合計を含む追加の補正項を適用するステップと、所定の停止基準が満たされるまでこのステップを反復するステップとを更に含む。

本発明の方法は、画像の次元数が物体の次元数と異なる場合にも適用できる。
好適な実施形態では本発明の方法は、式（４）と式（９）に表された方法等の方法を適用するために必要な重み付け積分を計算するために１次元の、手操作による分光サンプリングに類似する２次元のサンプリングパターンを使用する。

下記の説明を通して、図面のすべての図において同様の符号は、同様の要素を指す。

＜所定の重み付け関数の生成＞
本発明の選択縦座標画像サンプリングが実行される前に、画像の劣化を表わす重み付け関数を決定するステップが実行される。二次元を有する物体と画像への適用のために、重み付け関数は、要求される応答係数を生成するために特許文献１に概説されている方法のいずれかによって、あるいはこの仕事に適した他の任意の方法によって生成できる。特許文献１では画像形成装置は、既知の特性を有するテスト物体を使用して較正される。このテスト物体は、ある所定の順序で一つずつ励起される複数のフラックス源を含む好適な物体か、高コントラストエッジといった他の既知のテスト物体であってもよい。非特許文献７には、高コントラストエッジのテスト物体の使用が記載されている。伝達関数は、所望の重み付け関数のフーリエ変換であることは、理解されるべきである。また他の形態のテスト物体が有用であると分かるかもしれない、あるいは応答係数は画像形成装置の構造に基づいて計算され得ること、あるいは重み付け関数は任意に選択され得ることも理解されるべきである。

他の次元数を有する画像形成システムによって、あるいは物体と画像とが異なる次元数を有する画像形成システムによって必要とされる重み付け関数は、２次元画像形成の事例と比較することで、適当な既知のテスト物体の使用によって決定できる。

＜選択縦座標パターンの生成＞
本発明によれば、選択された縦座標を使用して指定の重み付け関数にしたがって画像をサンプリングするために、第１のサンプル位置は、局所的サンプル密度が重み付け関数にしたがって変化するように生成される。その結果得られるサンプルパターンは、「局所サンプル密度」がどのように決定されるかに依存する。第１の「局所サンプル密度」方法では、所定の重み位置からＰ個の最も近い近隣サンプルまでの平均距離が計算される。そして、この距離の平方は、これらのサンプルによってカバーされる面積の大きさになる。これらＰ個のサンプルの幾何学的分布は、カバーされた正確な面積に影響を及ぼすが、実用上の目的からこの影響は無視できる。第１の代替の「局所サンプル密度」方法は、密度推定値に正確な面積を明示的に組み込む。例えば特定の幾何学的に定義された近隣内のサンプルの数がカウントされる。第２の代替方法では、密度推定値への各サンプルの寄与は、その近隣内のそのサンプルの相対位置にしたがって重み付けられ、それによってその近隣に「ファジーな」境界を与える。

サンプルパターン生成の方法を適用するために、使用されるどのような定義にしたがっても、各画素の局所サンプル密度がその画素の所望の重みと比較される。もしその密度が、その重み又はその重みの所定の比率の小部分によって指定される密度より小さければ、１つのサンプルはその画素位置に割り当てられる。実際に、重み付け関数のピークの位置に第１のサンプルを割り当て、画像座標のすべてを通して数回、反復する（巡回させる）ことは有用である。第１のサイクルのときに目標とされる重み付けの小さな部分だけを満たす試みがなされる。引き続く反復（サイクル）では、全重みサンプル密度が得られる最後のパスまで、次第により大きな部分を満たす。結果は、所望の重み付けを達成するために必要な全てのサンプル位置である。サンプル座標選択プロセスは、図２に示す本発明の方法を実現するためのプログラムの擬似コードのリストによって図示される。

サンプリング精度に対して計算負荷をバランスさせるために、サンプルの総数は抑制できる。また式（１１）等の計算の結果は、所望の値より小さくまたは大きくなるよう倍率がかかった値を生成する場合があるが、それ以外は重み付けに関して所望の特徴を示す。この場合、単一の等平面パッチに対するすべての画素計算の結果は各々、そのパッチに対して決定された一定の倍率を乗算され、それによってサンプル数制限、サンプルのまばらさ、およびその倍率に影響する他の現象によって決まる倍率かけが行なわれる。

ある幾つかの状況では、二つ以上のセットのサンプルを使用し、異なる倍率の重み付けを持ったそれらセットの寄与を加算することが望ましい。

この関連において画像サンプル座標間の間隔を適応的に変化させるという手法は、画像を印刷するための中間調ドットを配置するために使用される方法との類似な面を有す。この場合、最適なサンプル座標の選択によって画像内の誤差を最小にすることが望ましい。中間調ドットの場合には、中間調ドット座標の最適な選択によって表示される画像の外観の許容度を最大にすることが望ましい。画像サンプル座標を選択する本場合には、理想的な関数は点像分布関数ｓに関連している。中間調ドットの場合、理想的関数は表示されるべき画像であり、これらのドット座標は、本場合のように他の関数をサンプリングするためには使用されない。中間調化の論議に関しては、非特許文献８を参照されたい。

＜等平面パッチ＞
もし点像分布関数の形が、式（２）のコンボリューションが画像のある領域に亘る式（１）のより一般的な形の積分積への適当な近似であるような形であれば、このような領域は「等平面パッチ」と呼ばれる。この場合、１セットの重みは、それらが画像をサンプリングするために使用される時に、選択縦座標サンプル位置にｘ、ｙオフセットを加算することによってそのパッチに亘って使用できる。

一般の点像分布関数カーネルは、

を定義することによって１セットのｘ、ｙ差分座標を含む新しい関数として書き直すことができる。そして、等平面パッチは、ｓ_ｇ（ｘ−ｘ’，ｘ’；ｙ−ｙ’，ｙ’）が差分座標ｘ−ｘ’、ｙ−ｙ’において急速に変化しても座標ｘ’、ｙ’に応じてゆっくり変化するパッチとして定義できる。そして、このパッチ内で

が得られる。ここでｘ_０、ｙ_０は例えばパッチ中心座標であってもよい。各パッチは無論、異なるｓ_ｂを有する。

＜選択縦座標推定値の精度＞
迷光汚染に対して画像を修正するために必要とされるサンプルの数を概略評価するために、各画素が、全範囲の５％に亘って存在する、すなわち−Ｉ_０／４０から＋Ｉ_０／４０までの「白黒入り混じった」二峰分布雑音で汚染されている画像を考えてみる。具体的には、画素はすべて、−Ｉ_０／４０または＋Ｉ_０／４０のいずれかの値を有する誤差寄与によって影響されている。これらの寄与は、各々のまたすべての画素に影響を及ぼし、各タイプの寄与が同数存在しており、各タイプの寄与はランダムに選択された所定の画素に影響を及ぼす。この雑音の分散は、Ｉ_０ ^２/１６００によって与えられる。もし雑音誤差の正規分布を仮定すれば、Ｌ個のサンプルの分散の平均はＩ_０ ^２／１６００Ｌによって与えられる。各画素における迷光寄与を推定するために６４個のサンプルを使用することは、推定値が標準偏差（Ｉ_０ ^２／１０２４００）^１／２≒０．００３１Ｉ_０を持つであろうことを意味する。もし迷光が数パーセント以上のレベルで各画素を汚染することが予想されるならば、画像は迷光内容の効果的推定を与える選択縦座標方法によって十分にサンプリングされると思われ、したがって実質的な改善を与えるはずである。

画像データのみに基づいて迷光汚染に関して修正する計算方法は、画像の境界の外側を通るフラックスのフラックス源による汚染に対して精確に修正できない。これは、この「境界外」汚染の程度を決定するために必要とされるデータの欠乏に起因する。このような「境界外」汚染は、画像内のデータから推定できる。この推定値は、このような「境界外」汚染に対して近似的に修正するために使用できる。このような光源からの迷光による画像汚染を最小にするが完全には除去しない特徴を有するレンズは、設計可能である。

＜選択縦座標方法の計算上の利点＞
１画素ごとに所望の統計的精度を有する選択縦座標に基づく推定を達成するためには、Ｌ個の選択縦座標において画像をサンプリングすれば十分であることが分かっていると仮定する。単に加算演算だけが必要とされる（乗算は必要ない）ので、等平面パッチの数に係わらず画像全体を処理するためには、約ＬＮ^２回の演算で十分であろう。この結果を前述の式（９Ａ）に結合すると、選択縦座標方法が

倍だけフーリエ法より高速に実行されることが分かる。

実際の場合に改善が著しいかどうかを見るために、この式の変数の典型的な値を考えてみる。各パッチが２５６×２５６の寸法を有する６４個の等平面パッチに分解される２０４８×２０４８の寸法を有する４メガピクセル画像を考えてみる。前述したように、代表的な場合で０．３１％以内への迷光修正のためには６４個の選択縦座標サンプルで十分であることが分かった。式（１４）に値Ｎ＝２０４８、Ｍ＝２５６、Ｌ＝６４を代入すると、ＦＦＴに基づく方法に対して１１６倍の改善、すなわち計算時間で２桁以上の削減をもたらす。

＜ピラミッド型選択縦座標サンプリング＞
選択縦座標サンプリングは、座標にしたがってゆっくり変化するフラックス分布と小さなダイナミックレンジに亘る分布を有する画像に対して特に良好に働くことが期待され得る。しかしながら点源を含む画像は、例えば特定のサンプリングされた画素がその近隣を十分には表さない可能性があるので、問題となるであろう。これらの場合に、ピラミッドの考えが助けになる。密度が低いところではサンプルは、各値が既に近隣の値の平均を表すピラミッドの高いレベルから選択できる。逆にサンプル密度が高いところでは、より低いレベルが選択されるであろう。

＜効率的計算とハードウエア＞
いったんサンプリングパターンが確立されると、所定の等平面パッチに関するサンプルの位置は、ルックアップテーブルに容易に記憶することができる。ルックアップテーブルを逐次参照することにより、座標位置が順々に生成される。これらの位置に記憶された画素値は、単に合計され、倍率をかける目的のために多くとも１回の乗算を必要とする画像の重み付けされたサンプルを生成する。特定の等平面パッチに亘るコンボリューション積に適用される場合、ルックアップテーブルからの値の座標対は、この特定のパッチの位置を特定する座標と合計される１対のオフセットである。この１対の合計の結果は、全画像に対するサンプル位置を与える。本発明による特定の等平面パッチに亘るコンボリューション積を計算するために選択縦座標サンプルを適用する擬似コードのリストが、図３に示されている。

有限空間領域に亘るコンボリューションを実行する場合、カーネルサンプルがその領域の境界を越えてシフトするときにそのカーネルサンプルに対して行う特別処理を考慮しなくてはならない。その影響は特に、カーネルが広いときに著しい。迷光の場合、このカーネルｓ_Ｄは、全領域に広がる。しかし、画像は複数のパッチに分割されることになっているので、画像のいわゆる「境界領域」にだけ、特別処理が必要である。境界領域の幅は、パッチの（ｘ_０，ｙ_０）画素がパッチの中心にあると仮定して、公称、パッチ幅の半分である。この境界の幅を最小にすることは、画像をこのようなパッチに分割するもう一つの良い動機である。好適な特別処理は、境界外の指定されたサンプルの代わりに最も近い境界内画素を代用することである。無論、他の適当な近似も使用可能である。

本方法を通じてフーリエ変換は必要でなく、また内部の計算ループ内で乗算も必要とされない。単純な整数の算術合計で十分である。この計算は、これに特化した専用プロセッサハードウエア設計が簡単であるほど十分に単純である。このようなプロセッサの主な特徴は、図４のブロック図によって概略が示されている。

図４は、本発明の方法により物体の画像を修正するための符号１００によって示された装置を示す。装置１００は、入力画像と修正された画像とを記憶するための一つ以上のパーティション（領域）１１０Ａ、１１０Ｂを有する画像メモリ１１０と、算術計算を実行するためのサブユニット１２０Ａ、１２０Ｂ、１２０Ｃ、１２０Ｄを含む算術論理演算ユニット１２０と、選択縦座標画像座標値を記憶するための複数のルックアップテーブル１３０Ａ、１３０Ｂ、１３０Ｃ、・・・１３０Ｎと、倍率ルックアップテーブル１４０と、サブユニット１５０Ａ、１５０Ｂ、１５０Ｃ、１５０Ｄからなるコントローラ１５０と、画像アドレス発生器１６０とを含む。機能要素１１０、１２０、１３０、１４０、１５０、１６０は、画像メモリ１１０をアドレス指定しルックアップテーブル１３０を選択するために、本発明に従うプログラムの下で動作する。このプログラムは、如何なる適当なコンピュータ可読媒体に記憶されてよい。あるいは、これらの機能要素を全てハードウエアで実現してもよい。

動作に際しては先ず、物体の画像が画像メモリ１１０Ａ内に記憶される。コントローラ１５０Ｃはプログラムの制御下で画像の第１の要素を選択し、コントローラ１５０Ａはこの画像要素に適したルックアップテーブル１３０を選択する。この画像形成システムは、前に説明したように記述されているものと仮定する。従って、各ルックアップテーブル１３０は既に、コンボリューションに必要なオフセットが適用される前の、画像がサンプリングされる位置の座標を記憶している。サンプルは、所定の重み付け関数に対応するサンプルの暗示的重み付けを実現するために選択された不均等な間隔で採取される。実際にルックアップテーブル１３０は、典型的には読取り専用メモリ（ＲＯＭ）として実現される。そして、コントローラ１５０Ａは、選択されたルックアップテーブル１３０を逐次参照する。算術論理演算ユニット１２０Ａは、画素座標を生成するために、ルックアップテーブルからの座標と空間オフセットとを合計する。画素座標は、画素値を読み出すために使用される。画素値は、１２０Ｂによって累積される。累積結果は、１２０Ｃに渡され、その値に、選択されたルックアップテーブル１３０に対応する、１４０からの倍率が乗算される。従って１２０Ｃの出力は、その画素に対する補正値を含む、該画像要素の重み付け積分の近似値となる。この重み付け積分値は画素から減算され、その結果は画像メモリ１１０Ｂに記憶される。コントローラ１５０Ｃは、次の画像要素を選択し、複数の画像要素の各々の重み付け積分を計算するために上記のステップが繰り返される。前述のように、修正された画像の各要素は、その画像要素の重み付け積分が計算されると直ぐに計算されるか、あるいはすべての画像要素のすべての重み付け積分が計算された後に修正された画像全体が計算されてよい。

装置１００は、任意の商業的に利用可能な「ＡＳＩＣツールボックス」またはディジタル信号処理装置（ＤＳＰ）を使用していわゆる特定用途向け集積回路（ＡＳＩＣ）として実現可能である。集積回路として実現することは、装置１００がディジタルカメラに物理的に収納されることを可能にするので好適である。

修正された画素は、図４に示すようにメモリ１１０の別のパーティションに記憶でき、あるいは修正された画素は入力（すなわち未修正）画像メモリ位置に戻し、それによって「その場で」修正を行うことができる。これにより、各画素がその全ダイナミックレンジの小部分だけ修正されるので、画像メモリが節約できる。従って修正された画像と未修正画像は、補正値を計算する対象としてはほぼ同じである。２メモリおよび１メモリ手法は、連立線形方程式の優対角集合を解く人々にとって、それぞれ点同時および点順次反復方法としてよく知られている。非特許文献３を参照されたい。メモリの節約に加えて、改良された方法は反復が必要である場合に、より速く収束する。より速い収束は、式（９）におけるように、１回だけ反復を行う場合でも誤差を小さくする。しかしながら点順次方法は、処理がシーケンシャルであるので、単に部分的に収束するときには解が非対称となることが知られている。本発明では、この非対称性はアドレスビット反転によって与えられる順序で画素を処理することによって容易に軽減される。非特許文献３を参照されたい。

＜例１＞
迷光汚染に対して画像を修正するために、式（９）にしたがって物体推定値を計算することが必要である。この式は、前述したように画素ｉ（ｘ’，ｙ’）の重み付け和：

に比例するマトリクスの元を用いて表現できるマトリクス積ｓ_Ｄｉを含む。ここで和は、修正すべき各画素に対してすべての画像座標値ｘ’、ｙ’に亘って取られる。

本発明の方法によればこのような画素各々に対して、この和は、非重み付け和：

によって置き換えられ得る。この和は、すべての画像座標値に亘って取られるということはなく、むしろ図２に示すアルゴリズムにしたがって、又は前述した暗示的重み付けの要件を満たす他の適当な手段によって選択された画素座標の集合に亘ってのみ取られる。離散コンボリューションに対する座標要件を守る際に、修正すべき各画素は、ｉ（ｘ，ｙ）の座標とｓ_ｂ（ｘ，ｙ）に対応するサンプリングパターンとの間の、異なるｘ、ｙオフセットを要求するであろう。これは、図１Ａに示す例を参照することにより明らかになるかもしれない。

図５は、画像の選択縦座標サンプリングの非常に単純化された場合を示す。高さ１２ピクセル×幅１６ピクセルの画像が、画素方形のチェッカーボード（市松模様）状のアレイとして図示されている。所望の暗示的重み付けを実現するために選択された画素群においてサンプル番号（１から１４）に従って、選択縦座標・座標値の仮定のサンプルセットがプロットされている。なお、サンプル番号１４は１２×１６画像の外に存在する。このサンプルセット座標値は、テーブル内で右にリストアップされている。この例の目的のために、この重み付けを実現するためのサンプリングパターンは図２のアルゴリズムによって、あるいは他の任意の適当な手段によって選択できるであろうことが仮定されている。画像ｉの画素座標と分布関数ｓ_ｂの座標との両方に対してプロット座標が与えられている。そしてｓ_ｂ（０，０）に対応する円によって示された画素に対して修正を行うために、選択された位置の画像値が合計される。図５、６に示す画像は、図５、６で太い輪郭線によって特定される１２個の４ピクセル×４ピクセル等平面パッチを含むものとして理解されるべきである。その円を含む４×４正方形内のすべての画素は、同じパターンを使用して選択されたサンプルの和を使用することによって修正されるであろう。すなわち、選択された画素群は、互いにまた修正すべき画素と同じ空間的関係にあると、影つき等平面パッチ内の修正される全ての画素について言える。

コンボリューションを計算するために必要なサンプルシフトをより明らかにするために、図６は同じ等平面パッチ内の隣接画素を修正するために選択された画像サンプルを示す。このシフトは、この場合および上記の場合の両方におけるサンプル１４と同様に、サンプル１１を利用可能な画像情報の境界の外に移動させることに注目すべきである。こうして、無くなった画素に割り当てられた値に関して問題が発生する。前記セクションで説明したように、一つの方策は、利用可能な最も近い画素の値を使用することであり、それによって無くなった画素も含めて画像がその境界を横切ってゆっくり変化するであろうと仮定することになる。

影つき等平面パッチの外の画素も含めてすべての画素に対して同じ手順が続けられることは留意されるべきである。しかしながらシフトバリアント分布関数の更に一般的な場合には、１２個のサンプルパターンが必要とされ、各等平面パッチのために一つの異なるサンプルパターンが使用されるであろう。図示された本例は、一般的には、図５、６に示すパターンは影つきパッチに対してのみ有用であろう。

＜立体再構成への応用＞
前述のように本方法は、３次元に適用可能である。立体再構成画像の一つ以上の画像ターゲット立方体要素値は、散乱現象の結果として発生するかもしれない好ましくない寄与を含む可能性がある。このような再構成を生み出す方法の例は、Ｘ線コンピュータ断層撮影法（ＣＴ）、核磁気共鳴映像法（ＭＲＩ）および陽電子放射断層撮影法（ＰＥＴ）を含む。これらの再構成ではターゲット立方体要素値は、Ｘ線吸光度、Ｘ線密度、吸収係数、または他の物理特性を表すか、あるいは画像ターゲット立方体要素に対応する物体立方体部分から放射されるフラックスを表す場合がある。これらの場合、ターゲット立体データは、不要な寄与（例えばストレイフラックスまたは誤方向付けされたフラックス）を除去するため、または解像度といった何らかの画像立体特性の改善を実現するために２次元選択縦座標コンボリューションに完全に類似した方法で３次元選択縦座標コンボリューションによって処理できる。

この状況下では、離散コンボリューションを計算する２次元選択縦座標方法と、等平面パッチ内でのコンボリューションによるシフトバリアントの場合への拡張とが、関連する積分と和との次元数を簡単な方法で変更することによって任意の数の次元に直ちに拡張できることは理解されるべきである。断層撮影法の３次元のケースでは、物体のすべての立方体要素あるいはボクセルは、重み付け和を介して画像ターゲット立体の各単一ターゲットボクセルに寄与する可能性を持っている。ターゲット画像立体の各ボクセルに対する近似は、選択縦座標方法を３次元に拡張することによって取得できる。従って、この３次元用途における選択縦座標サンプルは、特定の１セットの物体ボクセル値である。これらのサンプルの総和は、２次元の場合と完全に類似する仕方で、これらの選択縦座標サンプルの立体密度に基づいて単一のターゲットボクセル値を計算するために必要とされる重み付け関数を暗示的に含んでいる。従って、選択縦座標コンボリューションは、ボクセル値の各々から不要な寄与を除去するために画像ターゲット立体に適用できる。

ストレイフラックスといった不要な寄与の除去に加えて、選択縦座標コンボリューションの本方法は、コンピュータ断層撮影法またはその他のボリューム再構成方法から得られるデータ等の立体データをフィルタリングするために使用できる。このようなフィルタリングは、鮮鋭度、解像度、又は物体の他の所望の表示特性を改善することができる。これらのフィルタリング用途では、その課題に適したコンボリューション重み付けに対応するサンプリングパターンが使用される。

２次元の場合と同様に、３次元に対して使用される重み付け関数の形または大きさは、３次元シフトバリアンスの条件が適用されるように画像立体に亘ってゆっくり変化する場合がある。２次元等平面パッチに類似する均一な領域、この場合は均一な立方体が定義できる。このような均一な立方体では重み付け関数の形または大きさは、ある予め決められた量より少なく変化する。この均一な領域内では選択縦座標コンボリューションは、シフトバリアント処理に対する十分な近似であると考えられる。画像立体全体を処理するために領域（この場合、立体）は、複数のこのような均一な領域に細分される。各均一な領域は、関連する１セットの重みおよび対応するサンプリングパターンを持つであろう。再び、この処理は２次元の場合に使用される処理と類似しているので、各均一な領域または立方体に対して、その立方体によって特定されるサンプルパターンを使用することで選択縦座標コンボリューションが実行できる。それによって画像立体全体に亘ってシフトバリアント処理を実行することができる。

＜例２ より高い次元：４次元の例＞
４次元以上の高次元への適用も実用的である。従来の方法に対する選択縦座標方法の処理上の利点（すなわち低減された計算量）は、次元数の増加とともに増加するであろう。４次元の事例を示すために、１連の３次元断層撮影再構成画像の時間的変化を考察する。この例では時間が第４の次元である。この１連における連続する各再構成画像は、その前の再構成画像からの寄与を含む可能性がある。したがって選択縦座標方法による４次元フィルタリングは、空間的時間的に種々の位置から発生する好ましくない寄与を除去するように４次元データを処理するために必要とされるであろう。２次元および３次元の事例と類似して、シフトバリアント処理は、より低い次元であるが画像とは同じ次元数を有する均一な領域に画像を分割することによって実現できる。

画像修正に関連して用語「ストレイフラックス（迷束）」または「スメアリング」は、画像に対する劣化効果を記述するために使用される。用語「スメアリング」が用語「ストレイフラックス」が示す効果を含み、また「時間的スメアリング」も含むことは理解されるべきである。

画像形成に関連して用語「誤方向付けされた（ｍｉｓｄｉｒｅｃｔｅｄ）」は、「ストレイフラックス」または「スメアリング」に類似したフラックスを表現するために使用される。用語「誤方向付けされた」はまた、「時間的に誤方向付けされた」も含む。

＜例３ １次元における有限インパルス応答フィルタリング（ＦＩＲ）への適用＞
１次元選択縦座標フィルタリング方法もまた有用であることも理解されるべきである。単一で別個の色測値Ｘ、Ｙ、Ｚの、前述の分光分析測定は、選択縦座標サンプリングを使用したが、本方法の選択縦座標コンボリューションではなかった。１次元での選択縦座標コンボリューションによる離散コンボリューションとその類似手法とは、電子信号の有限インパルス応答フィルタリングを実行する回路に適用される。このようなフィルタリングには、フィルタ伝達関数が時間とともに変化する場合、すなわちシフトバリアント事例が含まれるかもしれない。高速タップド・アナログ遅延線有限インパルス応答フィルタは、選択縦座標方法にしたがって設計できる。サンプルの数を減らし、乗算演算をなくすことによって、フィルタ応答の速度は増加し、一方、コストと複雑さは低減される。

＜例４ 混成次元＞
選択縦座標コンボリューションはまた、物体と画像とが次元数において異なっている場合にも、画像形成、画像フィルタリングおよび画像修正へ実用的に応用できる。例えば２次元ターゲット平面が物体立体の複数の立方体要素部分からの寄与を受けることを想定する。大量の蛍光光源のテレセントリック顕微鏡法は、この一例である。各画像ターゲット要素は主として、光軸に平行なラインに沿った放射体からのフラックスを受け、また、物体で散乱する光と有限の焦点深度と光学的回折と立体点像分布関数によって表現される他の現象とに起因して隣接ラインからもフラックスを受ける。またこのフラックスの一部は物体に吸収されるかもしれない。従って所定の画像平面ターゲット要素に到着するフラックスは、複数の物体立方体部分によって影響される。近似として、この状況を記述する式は、

である。この式でｏ（ｘ’，ｙ’，ｚ’）は物体立体によって放射されるフラックスであり、ｉ（ｘ，ｙ）は投影された画像であり、ｓ（ｘ，ｙ；ｘ’，ｙ’，ｚ’）はこのシナリオの物理現象を記述する投影演算子である。量ｘ、ｙは画像の空間デカルト座標であり、ｘ’、ｙ’、ｚ’はターゲット立体内の立体座標である。前述のように、もし関数ｓ（ｘ，ｙ；ｘ’，ｙ’，ｚ’）が物体全体についてコンボリューションとして再表現され得なくても、より小さな均一立体に亘っては可能であり得る。この状況が当てはまる場合、ほとんど常にそうであるように、選択縦座標コンボリューションは、上記の式（１７）を適用することによってｏ（ｘ，’，ｙ’，ｚ’）の値からｉ（ｘ，ｙ）の値を計算するために使用できる。したがってｏ（ｘ，’，ｙ’，ｚ’）のサンプルは、選択縦座標方法にしたがって選択される。したがってｉ（ｘ，ｙ）の値は、ｏ（ｘ，’，ｙ’，ｚ’）の所望でない部分からの好ましくない寄与を除去するために選択縦座標を介して処理できる。また画像ｉ（ｘ，ｙ）は、解像度を改善するために、あるいは所望の仕方でその性質を改善または修正するために選択縦座標コンボリューションを介してフィルタリングされてもよい。幾つかの事例では、修正を実現するために選択縦座標方法にしたがって物体要素の計算または仮定された値を選択的にサンプリングすることが望ましい。

同様に選択縦座標コンボリューションは、異なる次元数を有する物体と対応する画像とに適用できる。用途は、物体からの画像の取得と、フィルタリングと、修正と、その他の任意の次元数を有する画像の処理とを含む。

混成次元数の場合に選択縦座標方法を適用すると、離散和が上記の式（１７）の積分に取って代わり、ｓ（ｘ，ｙ；ｘ’，ｙ’，ｚ’）によって表現される重み付けの役割を立方体要素サンプルの間隔が引き受けることは、理解されるべきである。２次元の場合のように重み付けは、サンプル間隔において暗示的である。２次元の場合に使用されたプロセッサと類似の専用プロセッサが、任意のまた混成の次元数を有する用途に対して選択縦座標コンボリューションを実行するためにも適用できることは理解されるべきである。

＜反復＞
選択縦座標処理による画像修正の好適なモードは、式（９）によって例示された反復計算の１サイクルだけを使用するが、反復は、より高度に修正された画像を生成する可能性がある。したがって式（４）によって記述されたように反復方法は、如何なる次元数を有する画像にも適用可能である。このような用途では、反復サイクルの幾つかまたは全てにおいて、ｓ_ＰがＩ（単位行列）に等しくならないようにｓの正規化された値を変更することが望ましい場合がある。反復する方法では通常そうであるように、反復のサイクルは、一定量の時間が経過するまで、一定回数のサイクルが実行されるまで、あるいは補正項の大きさが所定の停止値より小さくなるまで続く。他の基準もまた、単独であるいは前述の基準の一つ以上と組み合わせて使用できる。
Ｂｅｒｇｅ Ｔａｔｉａｎ「エッジ応答関数から伝達関数を得るための方法」米国光学会雑誌、第３５巻、第８号、１９６５年８月 Ｄ．Ｌ．ＬａｕとＧ．Ｒ．Ａｒｃｅ「最新のディジタル中間調化」Ｍａｒｃｅｌ Ｄｅｋｋｅｒ，ニューヨーク， ２００１

本発明は、付属図面と関連してなされる上記の詳細な説明から更に十分に理解されるであろう。
画像に対する迷光の効果を例示する画像構成を示す図である。 サンプル座標選択プロセスを表す擬似コードを示す図である。 選択縦座標・座標値を使用して重み付け積分を計算するプロセスを表す擬似コードを示す図である。 本方法を実現するために使用できる装置を示す図である。 画像内の画像の選択縦座標サンプリングの極めて単純化された事例を示す図である。 図５の画像の同じ等平面パッチ内で隣接画素を修正するために選択された画像サンプルを示す図である。

符号の説明

１ ライトボックス
２ マスク
３ 不透明なスポット
４ 均一な拡散照明光源
５ レンズ
６ ターゲット
６Ｅ 光検出器要素
７ ターゲット６上に結像したスポット
１０ 画像構成
１００ 装置
１１０ 画像メモリ
１１０Ａ、１１０Ｂ パーティション
１２０ 算術論理演算ユニット
１２０Ａ、１２０Ｂ、１２０Ｃ、１２０Ｄ サブユニット
１３０Ａ、１３０Ｂ、１３０Ｃ、・・・１３０Ｎ ルックアップテーブル（参照表）
１４０ 倍率ルックアップテーブル
１５０ コントローラ
１５０Ａ、１５０Ｂ、１５０Ｃ、１５０Ｄ サブユニット
１６０ 画像アドレス発生器

Claims (29)

1. 一つ以上の次元から成り、複数の画像要素を有し、スメアリングによって劣化した、物体の画像に対する前記スメアリングの効果を除去するために前記画像を修正する方法であって、
   ａ）所定の重み付け関数に対応するサンプルの暗示的重み付けを実現するために選択された不均等な間隔で前記物体の前記画像の部分をサンプリングするステップと、
   ｂ）重み付け積分の近似値を生成するために前記暗示的に重み付けされたサンプルを合計するステップと、
   ｃ）前記複数の画像要素の各々について重み付け積分を計算し、それによって前記画像の補正値を取得するために前記ステップａ）、ｂ）を反復するステップとを含む方法。
2. ステップａ）の前に前記スメアリングを表す重み付け関数を決定するステップを更に含む請求項１に記載の方法。
3. ｄ）前記画像からスメアリング劣化を除去して修正された画像を生成するために前記画像に前記補正値を適用するステップを更に含む請求項１に記載の方法。
4. ｅ）前記修正された画像を更新するために前記修正された画像の各要素に暗示的に重み付けされたサンプルの合計を含む追加の補正項を適用するステップと、
   ｆ）所定の停止基準が満たされるまで前記ステップｅ）を反復するステップとを更に含む請求項３に記載の方法。
5. 前記画像は前記修正された画像への第１の近似として使用される請求項４に記載の方法。
6. 前記画像の次元数が前記物体の次元数と異なる請求項４に記載の方法。
7. 画像フラックスの一部が誤方向付けされることを特徴とするフラックス結像システムにおいて複数の次元を有する画像の画像要素の値を取得する方法であって、
   ａ）所定の重み付け関数に対応するサンプルの暗示的重み付けを実現するために選択された不均等な間隔で物体の部分をサンプリングするステップと、
   ｂ）重み付け積分の近似値を生成するために前記暗示的に重み付けされたサンプルを合計するステップと、
   ｃ）複数の画像要素の各々について重み付け積分を計算し、それによって前記画像要素の値を取得するために前記ステップａ）、ｂ）を反復するステップとを含む方法。
8. 前記ステップａ）の前に前記誤方向付けを表す重み付け関数を決定することを更に含む請求項７に記載の方法。
9. 前記画像の次元数は前記物体の次元数と異なる請求項７に記載の方法。
10. 複数の画像要素を有し、ストレイフラックスによって劣化した、物体の画像に対するストレイフラックスの効果を除去するために前記画像を修正する方法であって、
    ａ）所定の重み付け関数に対応するサンプルの暗示的重み付けを実現するために選択された不均等な間隔で前記物体の前記画像の部分をサンプリングするステップと、
    ｂ）重み付け積分の近似値を生成するために前記暗示的に重み付けされたサンプルを合計するステップと、
    ｃ）前記複数の画像要素の各々について重み付け積分を計算し、それによって前記画像の補正値を取得するために前記ステップａ）、ｂ）を反復するステップとを含む方法。
11. 前記画像は複数の均一な領域を含み、均一な領域内において前記重み付け関数は所定の量より大きくは変化しない請求項１０に記載の方法。
12. 前記物体、または対応する画像の各均一な領域は、異なるサンプリングパターンと関連付けられている請求項１１に記載の方法。
13. ｄ）前記画像からストレイフラックス劣化を除去するために前記画像に前記補正値を適用するステップを更に含む請求項１０に記載の方法。
14. 画像をフィルタリングする方法であって、
    ａ）所定の重み付け関数に対応するサンプルの暗示的重み付けを実現するために選択された不均等な間隔で前記画像の部分をサンプリングするステップと、
    ｂ）重み付け積分の近似値を生成するために前記暗示的に重み付けされたサンプルを合計するステップと、
    ｃ）複数の画像要素の各々について重み付け積分を計算し、それによってフィルタリングされた画像を計算するために前記ステップａ）、ｂ）を反復するステップとを含む方法。
15. 前記画像は複数の均一な領域を含み、均一な領域内において前記重み付け関数は所定の量より大きくは変化しない請求項１４に記載の方法。
16. 前記物体、または対応する画像の各均一な領域は、異なるサンプリングパターンと関連付けられている請求項１５に記載の方法。
17. 画像要素の値を取得する方法であって、
    ａ）所定の重み付け関数に対応するサンプルの暗示的重み付けを実現するために選択された不均等な間隔で前記物体の部分をサンプリングするステップと、
    ｂ）重み付け積分の近似値を生成するために前記暗示的に重み付けされたサンプルを合計するステップと、
    ｃ）複数の画像要素の各々について重み付け積分を計算し、それによって前記画像要素の値を取得するために前記ステップａ）、ｂ）を反復するステップとを含む方法。
18. 前記画像の次元数は前記物体の次元数と異なる請求項１７に記載の方法。
19. 前記画像は複数の均一な領域を含み、均一な領域内のおいて前記重み付け関数は所定の量より大きくは変化しない請求項１７に記載の方法。
20. 前記物体、または対応する画像の各均一な領域は、異なるサンプリングパターンに関連付けられている請求項１９に記載の方法。
21. 所定の数の個別部分を有し、フラックスを放射する物体を、ターゲット平面の前記物体の部分に対応する各領域要素への全入射フラックスである、前記物体の前記対応する部分から放射するフラックスと前記物体の外の散乱体から散乱されたフラックスとの和を表す信号を生成することによって、画像化する方法であって、
    ａ）特定のターゲット平面領域要素に入射する全フラックスを表す重み付け関数を生成するために前記物体の各部分から発し前記散乱体によって散乱されたフラックスを記述するステップと、
    ｂ）前記ステップａ）で生成された前記重み付け関数に対応するサンプルの暗示的重み付けを実現するために選択された不均等な間隔で前記物体の部分をサンプリングするステップと、
    ｃ）重み付け積分の近似値を生成するために前記暗示的に重み付けされたサンプルを合計するステップと、
    ｄ）複数のターゲット平面要素について重み付け積分を計算し、それによって画像補正値を計算するために各ターゲット平面要素について前記ステップａ）〜ｃ）を反復するステップと、
    ｅ）ターゲット平面フラックス信号から、前記散乱されたフラックスによる信号への寄与を除去するために、得られた前記画像補正値を使用するステップとを含む方法。
22. 前記ターゲット平面は複数のより小さな等平面パッチから構成され、該パッチはそれぞれ異なる重み付け関数と関連付けることができる請求項２１に記載の方法。
23. 各等平面パッチは関連するサンプルパターンを有する請求項２２に記載の方法。
24. 各等平面パッチのサイズは、前記重み付け関数の空間変化率に対応する請求項２２に記載の方法。
25. 各等平面パッチ内において前記重み付け関数は所定の量より大きくは変化しない請求項２１に記載の方法。
26. 不均等な間隔で前記物体の部分をサンプリングするための前記ステップｂ）のサンプル間隔は画像ピラミッドから得られる請求項２１に記載の方法。
27. 複数の画像要素を有しストレイフラックスによって劣化した、物体の画像に対するストレイフラックスの効果を除去するために前記画像を修正する装置であって、
    ａ）入力画像と修正された画像とを記憶するための一つ以上の領域を有する画像メモリと、
    ｂ）算術計算を実行するための算術論理演算ユニットと、
    ｃ）選択縦座標画像座標値を記憶するための複数のルックアップテーブルと、
    ｄ）前記画像メモリをアドレス指定し、ルックアップテーブルを選択するコントローラとを備え、
    各ルックアップテーブルは前記物体の前記画像をサンプルする座標のパターンを生成するための情報を有し、前記サンプルの間隔は、所定の重み付け関数に対応する前記サンプルの暗示的重み付けを実現するために選択された不均等な間隔であり、動作時に、
    １）前記物体の画像が前記画像メモリ内に記憶され、
    ２）前記コントローラは前記画像の１要素を選択し、
    ３）前記コントローラは前記画像要素に対して適切なルックアップテーブルと、対応する倍率とを選択し、
    ４）前記コントローラは前記選択されたルックアップテーブル内を逐次参照し、前記算術論理演算ユニットは前記画像要素に対する重み付け積分の近似値を生成するために前記暗示的に重み付けされたサンプルを合計して前記倍率を乗算し、
    ５）前記重み付け積分は前記画像メモリに記憶され、
    ６）前記コントローラは次の要素を選択し、前記複数の画像要素の各々について重み付け積分を計算しそれによって修正された画像を得るために、前記ステップ３）〜５）が反復される装置。
28. 前記ステップ５）で生成された前記重み付け積分は前記画像の値から減算され、その結果の値が前記画像メモリに記憶される請求項２７に記載の装置。
29. 一つ以上の次元から成り複数の画像要素を有する、物体の画像に対する空間的スメアリングの効果をコンピュータコントローラが除去するためのプログラム制御を提供する命令を含むコンピュータ可読媒体であって、前記プログラム制御は、
    ａ）所定の重み付け関数に対応するサンプルの暗示的重み付けを実現するために選択された不均等な間隔で前記物体の前記画像の部分をサンプリングするステップと、
    ｂ）重み付け積分の近似値を生成するために前記暗示的に重み付けされたサンプルを合計するステップと、
    ｃ）前記複数の画像要素の各々について重み付け積分を計算し、それによって前記画像の補正値を取得するために前記ステップａ）、ｂ）を反復するステップと
    を実行することを含むコンピュータ可読媒体。
    
    

Images