JP2006351017A - 電気光学画像システムのエンドツーエンド設計 - Google Patents

Abstract

【課題】 電気光学画像化システムのエンドツーエンドの設計に基づき、特に電気光学システムを全体として考え性能を最適化する設計アプローチを提供することである。
【手段】 入力源を画像化する電気光学画像化システムを設計する方法である。前記電気光学画像化システムは光学サブシステムと、検出器サブシステムと、デジタル画像化処理サブシステムとを含む。前記方法は、前記入力源の空間的モデルに基づき前記光学サブシステムと、前記検出器サブシステムと、前記デジタル画像化処理サブシステムとを通る前記入力源の伝播をモデル化するステップと、前記モデル化された伝播の関数である処理後性能計量に直接的に基づいて前記光学サブシステムと前記デジタル画像化処理サブシステムを共に設計するステップと、を有する。
【選択図】 図１

Description

本発明は電気光学画像化システムの設計に関し、特にこのシステムの「エンドツーエンド」設計に関する。

電気光学画像化システムは、一般に、光学サブシステム（例えばレンズ系）、電子的検出器サブシステム（例えばＣＣＤ検出器アレイ）、及びデジタル画像処理サブシステム（一般的には、例えば、専用チップまたはソフトウェアに実装されている）。一般的に、これらのシステムを設計する従来の方法は、２つの段階を含んでいる。最初の段階において、（コスト的、物理的、その他の画像に直接関係しない制約も考慮して）入力源（source）の高品質な中間的光学画像を形成することを目標として、光学サブシステムを設計する。次の段階において、光学サブシステムを設計してから、中間的光学画像をサンプルとして取得して、その欠点を補正するようにデジタル画像処理サブシステムを設計する。

一般的に、２つの設計段階は、光学設計者と画像処理設計者が互いにほとんど連携せずに行われる。これらの段階が分離しているのは、光学と画像処理の分野が、その方法、ツール、目的、及び制約条件等において非常に異なることの現れである。例えば、各分野がカバーする領域は広いが、電気光学画像化システムの設計以外の分野ではほとんど重なっていない。従来、顕微鏡、望遠鏡、メガネ等の設計では画像処理とは考慮されなかった。同様に、圧縮、コンピュータグラフィックス、画像エンハンスメント等の画像処理の分野では、光学的な問題は議論されなかった。その結果として、各分野は互いに独立に発展し、専門用語、ベストプラクティス（best practices）、ツール等が異なっている。一般的に、これらの領域のそれぞれを習得するとかえって電気光学画像化システムの設計における統一的なパースペクティブ（perspective）が妨げられてしまう。統一的な観点を妨げるものの1つは、２つの異なる分野の間に問題やアプローチを記述する共通の言語がないことが挙げられる。顕著な例として、各分野に関連した基本的な概念的要素（fundamental conceptual elements）に関する考え方がある。光学設計者は光線と受動的光学要素を扱うが、画像処理設計者は情報バイトと能動的アルゴリズムを扱う。これら２つの基本的なクラスにあてはまる法則と制約条件は多くの点で異なる。

従来の設計アプローチの欠点の1つは、光学サブシステムとデジタル画像処理サブシステムの間のシナジーが看過されていることである。光学設計者は、デジタル画像処理サブシステムの知識を持たずに「最良な」光学サブシステムを作成する。画像処理設計者は、前もって設計された光学サブシステムを修正する能力を持たずに「最良の」デジタル画像処理サブシステムを作成する。これらのサブシステムが「組み合わされ（glued）」電気光学画像化システムとなる。独立に設計された２つの「最良の」サブシステムをつなげても、必ずしもシステム全体として「最良」であるかどうかは分からない。独立に設計された２つのサブシステムの間に望ましくない相互作用があったり、２つのサブシステム間の潜在的なシナジーが実現できなかったりするかも知れない。

このように、電気光学画像化システムのエンドツーエンドの設計に基づき、特に電気光学システムを全体として考え性能を最適化する設計アプローチが必要である。

本発明は、電気光学画像化システム内のサブシステムを考慮に入れる統一的設計ストラテジーを提供することにより、先行技術の限界を解消するものである。一実施形態において、本設計方法により、入力源、光学サブシステム、検出器サブシステム、デジタル画像処理サブシステムのモデルを用いてエンドツーエンドの画像化性能を予測する。光学サブシステムは、他のシステムを考慮に入れて設計される。例えば、光学サブシステムとデジタル画像処理サブシステムを、画像処理の効果を考慮に入れる処理後性能計量に基づいて共に（jointly）設計することができる。従来のアプローチと異なり、光学サブシステムにより作られる中間的光学画像の画像品質は高い必要はない。例えば、その中間的光学画像はデジタル画像処理サブシステムにより後段で改善されるからである。

設計方法によると、組み合わされた電気光学画像化システムを全体として見て、所望の出力が得られるように設計パラメータの組を最適化するように試みる。このように、このフレームワークは、電気光学画像化システムのエンドツーエンドの性能を評価する統一的観点と言語を提供するものである。結果において、上記方法により、光学サブシステムにより形成される中間光学画像の（波面誤差やスポットサイズ等の従来の光学的性能指数により測定されるような）画像品質が高くなければならないという従来の要請を緩和する。

一実施形態において、本設計アプローチには、入力源の空間的モデルに基づき電気光学画像化システムを介した伝播をモデル化することが含まれる。処理後性能計量に直接的に基づいて前記光学サブシステムと前記デジタル画像化処理サブシステムを共に（jointly）設計する。ここで、その計量は前記モデル化された伝播に基づき計算される。光学サブシステムは、画像処理パラメータがグローバルに最適な性能を与えるように選択されると仮定して、処理後性能計量の最適化に基づき設計される。光学サブシステムが入力源の高品質な中間的光学画像を形成することは要しない。

具体的な実施形態はアプリケーションにより異なる。例えば、入力源の空間的モデルは入力源の輝度関数に基づく。入力源は、パワースペクトル密度関数によりモデル化されてもよく、及び／または入力源モデルは物理的な原理または経験的データから求めてもよい。入力源モデルは、その入力源の性質（例えば、一定タイプのスキャン文書の２値データ（binary source））またはその入力源またはその表現の変形（例えば、動きまたは位置の不確定性）等のファクタを説明するものであってもよい。同様に、光学サブシステムと検出器サブシステムを介した伝播を違う方法でモデル化してもよい。光線トレーシング（ray tracing）、点像分布関数（point spread function）、振幅伝達関数及び／または光学伝達関数は、光学サブシステムをモデル化するためによく使われるアプローチである。検出器サブシステムは、空間フィルタとその後のサンプリングによりモデル化できる。線形システムアプローチを使用する場合、光学サブシステムと検出器サブシステムは、ｙ＝Ｈｓ＋ｎを用いてモデル化できる。ここで、ｙは予測画像であり、ｓは入力源の理想的なサンプリング画像であり、Ｈは光学サブシステムと検出器サブシステムの両方を説明するサンプリングされた点像分布関数（sampled point spread function）であり、ｎはノイズである。

デジタル画像処理サブシステムを介する伝播は設計空間（すなわち、実施するデジタル画像処理のタイプ）に部分的に依存する。例えば、光学サブシステム及び／または検出器サブシステムの点像分布関数により生じる劣化を復元するデジタル画像処理サブシステムに、設計空間を限定することができる。設計空間を線形手段、または一定クラスの線形手段に限定することもできる。線形手段は、閉ループ解（closed form solution）または振る舞いがよく効率的に計算できるその他の解を有する見込みが高い。しかし、本発明は線形手段だけに限定はされない。

処理後性能計量はアプリケーションにより変わってもよい。好ましいデジタル画像の性能計量は、前記入力源の理想的画像と、前記電気光学画像化システムを介した前記入力源の伝播により作られる画像との間の平均二乗誤差である。最終目的がある種の認識（例えば、文字認識やバーコード読み取り）であるアプリケーションの場合、処理後性能計量は、例えば、エラーレートや擬陽性（false positives）等の認識の正確性の尺度であってもよい。

このアプローチの利点の１つは、結果として得られる電気光学画像化システムが従来設計のシステムと同じシステム性能を発揮できるが、可能性として、構成要素は少なく、「フットプリント」（空間的大きさ）が小さく、コストが低く、開発時間が短く、（例えば、生産上または環境的な変化に対する）感度が低い。その理由は、中間的光学画像の画質を高くする必要がなく、設計空間の新しい領域を開くからである。これらの設計において、光学サブシステムが形成する中間的光学画像の画質は、従来設計の光学システムが形成する中間的光学画像の画質よりもよくないが、全体的なシステム性能は従来設計のシステムのシステム性能と同じか、むしろよい。これらの設計において、デジタル画像処理サブシステムにより適当に補正される限り、光学サブシステムの中間的光学画像には大きな収差がある。

本発明の他の態様は、上記の設計方法を実施するソフトウェアとツールを含み、この設計アプローチにより作られた装置、システム、及びサブシステムを含む。

本発明は、添付した図面を参照して読めば、以下の詳細な説明からより容易に明らかとなるその他の利点と特徴を有する。

図１は、電気光学画像化システムの設計上の問題を例示するブロック図である。画像化システム１００は、光学サブシステム１１０、検出器サブシステム１２０、デジタル画像処理サブシステム１３０を含む。画像化システム１００は、入力源（source）１５０を画像化し、デジタル画像１８０を作成することを目的とする。一般的な設計問題は、一定の制約条件の下で画像化システム１００の全体的性能を「最適化」することである。多くの場合、最適化の目標は、入力源（input source）の特定目的のために理想化された画像１５５と一致するデジタル画像１８０を作成することである。

図1と図２は、本発明による電気光学画像化システム１００の設計方法を示している。図２を参照して、該設計方法は、入力源１５０の空間的モデルを作成する（ステップ２１０）。入力源の空間モデルは、事前に開発されたまたは提供されたモデルに基づき、経験的に測定された具体的状況について求められる。照度、放射測定、ジオメトリー（geometry）等が入力源モデルに反映されるファクタである。空間的モデルには入力源の統計的モデルが含まれることが好ましい。例を示して以下に説明する。

電気光学画像化システムの設計空間を定める（ステップ２２０）。図１において、各サブシステムのパラメータをθｏ、θｄ、θｉとする。例えば、光学サブシステム１１０の設計空間は、ベクトルθｏで記述されるが、レンズの数、タイプ、大きさや曲率半径、絞り（stop）等により規定される。検出器サブシステム１２０の設計空間は、ベクトルθｄで表すが、ピクセル数、検出器の間隔、フィルファクタ（fill factor）、帯域幅、ピクセルジオメトリ等をパラメータで表示する。デジタル画像処理サブシステム１３０の設計空間は、ベクトルθｉで表され、適用すべきデジタル画像処理のタイプとその処理タイプのパラメータ（例えば、フィルタは線形か非線型か、タップ数はいくつか、タップウェイト（tapweights）等）を特定する。設計に関連するいろいろな非画像化制約条件やコスト１７０を規定してもよい。各サブシステムの設計空間の大きさは、アプリケーションに応じて変化する。場合によっては、サブシステムの設計には大きな自由があってもよい。他の場合において、サブシステムの設計が厳しく制限されても、事前に規定（例えば、検出器アレイが事前に選択されて）されていてもよい。

後処理性能計量１９０も定義される（ステップ２３０）。性能計量は、画像処理前ではなく画像処理後の性能に基づくという意味で、処理後のもの（post-processing）である。例えば、光学サブシステムのみにより作られる中間的光学象の波面誤差とスポットサイズの尺度は、光学サブシステムの従来の誤差計量であってもよいが、処理後性能計量ではない。図１において、処理後性能計量１９０は、画像化システム１００により作られたデジタル画像１８０の理想的デジタル画像１５５との比較に基づく。多くの設計現場において、システムが作る画像１８０は、入力源の空間的モデルに基づきサブシステム１１０、１２０、及び１３０を通る入力源の特徴（source characteristics）１５０の伝搬をモデル化することにより計算される。

設計ステップ２４０を説明すると、一定の制約条件（例えば、一定のコスト制限１７０）の下に、処理後性能計量１９０を最適化する設計空間内の設計を選択するものである。光学サブシステム１１０とデジタル画像化処理サブシステム１３０は、従来の設計アプローチの場合のように順次ではなく、共に設計される。その設計ステップを数学的に説明すると、図１の記号を用いて、コスト１７０に対する一定の制約条件の下に、性能計量を直接最適化するようにシステムパラメータθｏ、θｄ、θｉを選択するものである。例えば、金銭的な最大コストを条件として、画像ベースの処理後性能計量１９０を最適化する。あるいは、設計画像１８０の最低許容処理後性能計量１９０を条件として、金銭的コストを最小化してもよい。

幾つかの最適化アルゴリズムを使用することができる。線形の場合、解析的、または既知の振る舞いのよい数値的方法を用いてパラメータについて解くことができる。一定の非線形の場合も含めて、より複雑な場合には、期待最大化、傾斜降下（gradient descent）、及び線形プログラミング等の方法を使用して設計空間を検索することができる。

図１と図２の両方において、光学サブシステム１１０、検出器サブシステム１２０、またはデジタル画像処理サブシステム１３０のそれぞれが最適化されている必要はないことに留意せよ。これらのサブシステムは、１つ１つを考えるとその性能は最適ではないかも知れないが、電気光学画像化システム１００全体の性能はよく、むしろ最適であることも十分あり得る。従来の設計方法では、例えば、光学サブシステム１１０が形成する中間的光学画像の品質を直接最適化することにより光学サブシステム１１０が設計されているのと対照的である。例えば、光学サブシステム１１０は、ＲＭＳ波面誤差またはＲＭＳスポットサイズを最小化することに直接基づいて設計される。対照的に、図２に示した設計アプローチの場合、光学サブシステム１１０により形成された中間的光学画像の画像品質は（例えば、波面誤差やスポットサイズで測ると）よくないが、デジタル画像処理サブシステム１３０により補正される。光学サブシステム１１０は、中間的光学画像の画像品質を改善することに直接的に基づいては設計されない。むしろ、光学サブシステム１１０は、処理後性能計量１９０の最適化に直接的に基づいて、デジタル画像処理サブシステム１３０と共に（jointly）設計される。

図３Ａ−図６は、入力源１５０、光学サブシステム１１０、検出器サブシステム１２０、及びデジタル画像処理サブシステムの例をさらに示している。１つの具体的なモデル（唯一のモデルではない）を説明し、エンドツーエンド性能評価の統一的なフレームワークを提供する。各サブシステムについて、重要な概念的要素と、後でシミュレーションに使用する単純化してモデル化する仮定とを説明する。

入力源１５０から始まり、図２の設計方法は可能な時は入力源の空間的モデルを含む。ほとんどのシナリオにおいて、画像化すべきすべての可能な入力源オブジェクトの領域（universe）はアプリケーションにより自然と制約をうけている。例えば、オブジェクト領域は、バーコード読み取りシステムの場合のように、厳しく制限されるか、または汎用の一般消費者向けカメラの場合のように制約されていなくてもよい。大きくても小さくても、この空間の境界から、システム設計者に重要な先行情報を提供される。例えば、入力源が２値のスキャンされた文書であることを知っていれば、特に、最終的なデジタル画像の２値化の非線形段階を実施する場合に、デジタル画像処理サブシステムへの強力な制約条件及び情報となる。

１つのアプローチにおいて、３次元の入力源輝度関数s_obj(x₁,x₂,x₃,λ)があるとする。この関数は、３次元シーンジオメトリ、反射率、及び照度間の複雑な相互作用により決まる。この単純化した空間的モデルにおいて、信号は、(x₁,x₂,x₃)で規定される３次元空間中の点から発する波長λのコヒーレントでない光の放射強度を表すと仮定する。電気光学画像化システム１００の目的は、この入力源信号の２次元投影を取得することである。

一実施形態において、処理後性能計量１９０は、実際の（またはシミュレーションした）画像１８０の一定の理想的画像１５５との比較に基づく。理想画像１５５はいろいろな方法でモデル化することができる。そのうちの１つを以下に示す。この例において、波長λ０のモノクロカメラシステムの場合、理想化されたフォワードモデル（forward model）は、次のようにモデル化できる。

ここで、

は画像座標空間x'_iへの理想的投影（ピンホール）変換を表し、

は空間的サンプリング周期Tと一致したカットオフ周波数を有する理想的バンドパスフィルタである。インデックスk_iは、最終的にサンプリングされた画像のピクセル位置のインデックスを表す。理想的画像１５５は画像化システム１００の目標であるから、サブシステムの効果もその理想化された画像s_ideal(k₁;k₂)への効果により定式化される。このように、このモデルでは、入力源関数ｓが、３次元オブジェクト空間中のものs_obj、画像平面に投影された後のものs_proj、理想化された光学系を介した後のものs_img、及び、サンプリングされた後のものs_idealとして区別される。ベクトルｓによりサンプルs_idealの順序付けられた集まりを表すと便利なことが多い。

入力源１５０の空間的モデルを作るために使用する情報はいろいろな形式を取る。設計者は、検討しているシーンの３次元ジオメトリに関する詳細な情報を有する。このような情報は、画像化システムで使用される光学系を制約するためによく使用される。例えば、一般的に、光学設計者は、焦点ぼけに関する光学的収差の無い画像を作るため、光学系の焦点深度を問題のシーンの期待焦点深度とマッチさせることを欲する。しかし、光学設計者は、期待オブジェクト深度の境界ボックス等の非常に一般的な幾何学的制約だけを満たす。システム設計者は、深度関係のより具体的な情報を用いて、画像化システムの設計をよりよくすることができる。

シーンの空間的に変化する輝度特性も入力源１５０のモデル化に使用する。例えば、テキストまたはその文書画像を扱う場合、設計者は画像化するテキストの言語に関する情報や信号が２値であるとの情報を有している。次の例において、入力源信号に関する情報は、本質的に統計的であると仮定し、パワースペクトル密度関数でモデル化されると仮定する。そのような情報は、フィールドシステム（fielded system）によりスキャンされるべき文書を表す、スキャンされた文書のコーパスから抽出されるか、または物理的な第一原理によりモデル化される。この知識はデジタル画像処理サブシステムの設計において特に有用である。多くの画像処理技術は、理想化された画像化システムにより画像化されたように、画像化するシーンの内容に関する先行情報に依存している。この先行情報は物理的な第一原理から求められるか、または大量のデータから得られることに留意せよ。１つのアプローチにおいて、高品質画像化システムは、シーンの基礎をなす統計的情報を求めるために、いろいろな画像化シナリオの下でデータを取得する。

以下の例においては、簡単のため、入力源信号は、単色光で照射して画像化したテキスト文書（平面）の１次元水平断面を表す信号に制限する。入力源はスカラー関数s_obj(x)としてモデル化する。このようなスライスは、コピー機内のラインスキャナまたはその他のリニアスキャンデバイスの所望の信号出力である。例えば、図３Ａは、３００ｄｐｉでスキャンされた１２ポイントフォント、ダブルスペースのテキスト文書の断面スライスの一部を示す例である。一般性を失うことなく、平均グレイレベル値を信号から引いた。

入力源信号の統計的分布を推定するため、１ページの１２ポイントテキストのスライスを選択した。図３Ｂは、ウェルチ法（ピリオドグラム法）を用いて推定したパワースペクトル密度の例である。ウェルチ法は、信号を同じ大きさのブロックと、各ブロック内で推定したパワースペクトルに分解する。

図３Ａ−３Ｂは、入力源１５０の空間的モデルの一例を示す図である。他のアプローチを使うこともできる。例えば、非静的相関統計を用いて２次の空間的に変化する統計をモデル化する。また、カラーヒストグラムは多色画像化システムを設計する際に有用である。１次と２次の統計ではなく、より完全な確率分布関数を用いて入力源１５０の空間的モデルを生成してもよい。入力源が含むスペクトルまたは疑似スペクトル（ウェーブレット）成分が少ししかない場合においては、入力源の希薄性を用いる。入力源のモデル化技術は、生産、医療、または（入力源が小さなクラスの入力源関数に制約されている）バーコードスキャナ等に見られる特定の画像化シナリオにとっては特に有用である。

光学サブシステム１１０に移り、非コヒーレントな光学サブシステムの１つの便利な態様は、そのサブシステムを線形システムとしてモデル化できることである。説明を単純化するため、以下、完全な２次元画像信号の１次元類似物に基づいて説明する。完全な２次元信号への拡張は簡単である。１つのアプローチにおいて、理想化された画像化システムの効果は、第１種のフレッドホルム積分方程式（４）としてモデル化される。

ここで、

は光学システムにより導入された空間的に変化する点像分布関数を表し、v(x')は伝送プロセスにおける減光その他の光子の損失による照度の低下である。点像分布関数

は、回折からレンズ要素に関連する幾何収差までのいろいろな光学的現象の、光学要素間の複数の反射の効果への集積を表す。減光関数は光学サブシステムのいろいろな開口のジオメトリに依存する。説明を簡単にするため、以下の説明では減光（vignetting）は無視する。

従来のレンズ設計においては、目標は忠実な高精細度の中間的光学画像を作ることであり、理想の画像化サブシステムは次式（５）の形の点像分布関数を有している。

ここで、δ(x)はディラックのデルタ関数である。言い換えると、オブジェクト空間中の任意の波長λの無限に小さな点光源s_obj(x)が、光学画像空間中の無限に小さい点光源s_imag(x')として画像平面に現れる。オブジェクト空間座標と光学画像空間座標の間の関係は、光学サブシステムの所望の拡大ファクタでの簡単な投影変換により得られる。光の波動性によりこのような理想的な点光源は排除されるが、他の点では理想的なレンズシステムまたは回折が限定的なレンズシステムは、幾何学的分析によりすべての光線が無限に小さな点に集まることが示されるという特性を有する。

与えられた光学サブシステムの点像分布関数は、波面誤差または光学行程差（ＯＰＤ）から求めることができ、その光学サブシステムの幾何収差に依存する。理想的な画像化システムにおいて、レンズシステムの射出瞳における波面は完全な球形をなし、その中心は画像焦点面にある。上記の波面と関連する幾何学的波線は単一の点に集まる。画像化システムの幾何収差（geometric aberrations）は、この理想的基準球面からの実際の波面のずれに相当する。基準球面波面と射出瞳において測定した実際の波面の間の差は、ＯＰＤとして知られている。その結果、いろいろな幾何収差が集まってＯＰＤとなっている。

波面誤差は、次式（６）により画像化システムの点像分布関数と関係している。

ここで、OPD(p_x,x')は射出瞳座標p_xと画像位置座標x'の波面誤差関数である。関数A(p_x)は射出瞳の大きさである（一般的には０または１）。式（６）は、瞳関数A(p_x)e^jOPD(px,x')の逆フーリエ変換の大きさであると考えられる。

従来のレンズ設計者の最終的な目標は、最小要素エッジ幅（minimum element edge width）、最小要素スペーシング（minimum element spaceding）等の制約条件を満たしつつ、波面誤差が最小になる光学サブシステムとするために光学的設計パラメータθｏの組を選択することである。収差は完全にはなくせないので、従来のレンズ設計者の仕事は、与えられたアプリケーション、コスト、その他の制約条件に対して、上手に異なる収差間のバランスを取ることである。一般的に、レンズ設計者は、このバランスを実現するため収差または波面誤差に基づきメリット関数を直接最小化するように光学設計を変える光学設計ソフトウェアを使用する。

残念ながら、レンズシステムの複雑さに応じた収差しか減らすことができない（例えば、要素の数に限定される）。このように、高品質画像化システムを達成する一般的なパラダイムでは、常に光学サブシステムにより多くのレンズ要素を追加することが要求されるので、全体のコストが大幅に上昇してしまう。例えば、球面収差を小さくする一般的なアプローチには、各レンズにおける表面曲率を小さくするために、より多くのレンズにわたってレンズシステム全体の必要パワーを分割することを含む。後述する例では、エンドツーエンド設計方法により、画像化性能の改善に関連する従来のコストが下がる。

光学サブシステムの光学伝達関数（ＯＴＦ）または振幅伝達関数（ＭＴＦ）により光学サブシステムをモデル化することもできる。ＯＴＦは画像座標x'における点像分布関数（point spread function）のフーリエ変換である：

ここでωは１メートル当たりのサイクル数を単位とした空間周波数である。ＭＴＦは規格化されたＯＴＦの振幅（ゲイン）である。すなわち、

である。ＭＴＦは光学サブシステムの画像品質の便利な評価手段を提供する。図4は、ザイデルの４収差と焦点ぼけ収差（それぞれのＯＰＤ−ＲＭＳ誤差は同じである）に関連するＭＴＦを示す図である。

図４から明らかなことは、最終的な画像に対するそれぞれの収差の影響は異なるということである。ＯＰＤ−ＲＭＳ誤差に基づく標準的な光学特性計量によると、これらの光学システムは「同等によい」ものであるが、しかし画像処理がそのシステムを補正する相対的な容易さは大幅に異なる。

多くの場合、一部の収差の補正は、デジタル画像処理サブシステムによる方が、他のサブシステムによるよりも容易である。エンドツーエンド設計アプローチは、この有利性を利用するものであり、従来のレンズ設計アプローチは一般的にこの有利性を利用していない。単純化してこの点を例示するために、すべての収差を画像処理技術を用いて補正しやすさに応じてレーティングすることができると仮定する。スケールの補正可能側における収差は、デジタル画像処理サブシステムによりほとんどまたは完全に補正可能であり、スケールの補正不能側における収差は補正不能である。従来の設計では、補正可能収差と補正不能収差の間の区別は認識されていなかった。むしろ、画像品質が高い中間的光学像が作れるように光学サブシステムを設計していた。それゆえ、補正可能収差と補正不能収差を同じように一定のレベルに下げるようにレンズシステムを設計していた。後続のデジタル画像処理の間に、補正可能収差のレベルはデジタル的に下げられるが、補正不能収差のレベルはそのままである。さらに、補正可能性は入力源の特徴に大きく依存して変化する。これは光学サブシステムの設計をする従来のアプローチでは一般的に説明されていない。

対照的に、エンドツーエンド設計アプローチにおいては、補正可能収差はデジタル画像処理サブシステムにより補正できることが認識されている。それゆえ、光学サブシステムは、後続の画像処理の間に補正することが難しい収差を下げることに重きを置く。中間的光学画像の補正不能収差のレベルは低く、補正可能収差のレベルは高くてもよい。結果として、中間的光学画像は補正可能収差のレベルが高いので画質が低い。しかし、補正可能収差のレベルはデジタル画像処理サブシステムにより下げられ、電気光学画像化システムの全体的な性能は高くなる。 エンドツーエンドアプローチにより、設計者は、いろいろなサブシステム間に補正を割り当てることができる。例えば、デジタル画像処理のコストがレンズと比較して低い場合、設計者は簡単で性能が低い光学サブシステムを選択し、それに複雑なデジタル画像処理サブシステムを後続させる。

例えば、図５Ａ−図５Ｂは、２つの異なる焦点ぼけにおけるシングレット（singlet）のＭＴＦを示すグラフである。図５ＡはＯＰＤ−ＲＭＳを最小化する位置におけるＭＴＦである。図５Ｂは、図５Ａの位置の後ろ約＋０．５ｍｍにおけるＭＴＦである。図５Ａにおいて、ＯＰＤ関数はＯＰＤ−ＲＭＳにより最小化される（ＯＰＤの山と谷により、すなわちＯＰＤ−ＰＶ）。しかし、ＭＴＦ曲線は約65 lp/mmのところでゼロとなる。ゼロとなるので、デジタル画像処理がこのカットオフより高い周波数で信号を回復することが重要である。図５Ｂにおいて、焦点距離＋０．５ｍｍにおいて、ＲＭＳ波面誤差が図５Ａより大幅に大きいにもかかわらず、ＯＰＤ−ＲＭＳ及びＯＰＤ−ＰＶで測ったように、ＭＴＦのゼロクロスは消失する。この点において、点象分布関数（point spread function）の中心ピークはより広い。これは低周波数スペクトル性能が悪化しているが、画像信号には回復可能な損失はないことを示唆している。

波面最小化焦点の点（図５Ａ）において、焦点収差は球面収差をバランスさせる。近軸焦点距離はＯＰＤ−ＲＭＳ最小化焦点から＋１．０ｍｍに近く、焦点はこの点を通り越して動き（例えば、図５Ｂ）、正の球面収差が支配的な光学収差となり、焦点ぼけ収差は減少する。このシングレット（singlet）の例において、焦点ぼけと比較して、正の球面収差はデジタル画像処理で補正しやすい。

従来の設計者は、ＯＰＤ−ＲＭＳが低いので図５Ａの設計を選択するであろう。対照的に、エンドツーエンド設計者は、図５Ｂの設計を選択し、より大きなＯＰＤ−ＲＭＳを補正するためにデジタル画像処理を使用するであろう。

話を検出器サブシステム１２０に移し、検出器をモデル化することにより、光線の領域とビット及び画像ピクセルの領域の間の分離の橋渡しをする。式（３）に示したように、理想的投影像s_proj(x’,λ)を空間的サンプリング周期Ｔとマッチした理想的バンドパスフィルタによりフィルタリングする。バンドパスフィルタは、サンプリング帯域幅内の画像のスペクトル特性を完全に維持しつつ、エイリアシング（aliasing）を除去する。

実際には、バンドパスフィルタは、大部分がセンサのジオメトリで決まる。電荷結合素子（ＣＣＤ）等の多くの画像化センサデバイスにおいて、個々のピクセルと関連した検出器のセンシング領域はピクセルサイズ全体のパーセンテージである方形である。光子を捕捉するピクセルスペーシングのパーセンテージはフィルファクタ（fill factor）として知られている。フィルファクタが大きい検出器は、捕捉する光の量が多く、画像コンテントのエイリアシングをなくす。図６は、フィルファクタ（fill factors）が異なる方形ピクセルのＭＴＦを示すグラフである。各方形ピクセルのピクセルスペーシング（サンプリング周期Ｔ）は１０ミクロンである。ＭＴＦプロットはナイキストのサンプリングレートまで示されている。ＭＴＦ曲線の形状は、ナイキストサンプリング限界までしか示していないsinc関数の大きさである。フィルファクタが小さいと、画像コンテントのエイリアシング量が増える。

以下の例において、画像信号がサンプリングレートより高い無視できる情報量を含むと仮定する。それゆえ、エイリアシングの効果は無視する。照明がモノクロであると仮定すると、画像化システムはベクトル記法を用いてモデル化できる。ｓを理想的なサンプリング画像であり、Ｈが結合した光学サブシステムと検出器サブシステムのサンプリングされた点像分布関数であるとする。行列Ｈの各要素は、次式（８）で与えられる。

ここで、点像分布関数

は光学サブシステムと検出器サブシステムによる光学伝達関数の積の逆フーリエ変換である。

これに基づき、画像化プロセス（すなわち、光学サブシステムと検出器サブシステム）を次式（１０）のようにモデル化できる：
y＝Hs＋n, (10)
ここで、ｙは光学サブシステムと検出器サブシステムを介した伝播後の入力源の画像であり、ｎは画像化システムと関連するランダムノイズである。

画像化検出器の統計を得るために、ノイズｎは分散

を有する加法白色ガウスノイズとしてモデル化されている。ここでＰは、与えられた集積期間に検出器にあたる光子の総数を検出器のウェル容量（well capacity）で割った比率である。プロセス全体を規格化するため、ｓは、グレイレベルが０と２５５（すなわち８ビットシステム）の範囲にあるパワー規格化されサンプリングされた信号を表すと仮定する。さらにまた、検出器により十分な光子が捕捉され、その他のノイズ（熱的ノイズ、暗電流ノイズ等）は光子またはショットノイズと比較して無視できると仮定する。光子またはショットノイズは、検出器で検出される個々の光子と関連する統計的変動制を表す。また、説明を簡単にするため、ノイズパワーは信号ｓには空間的に依存しないが、光子の総数が反映する全体信号パワーに依存すると仮定する。このように、一般的な

は、検出器ウェル容量(P＝1)が最大のとき、ノイズパワーが１ビット（慎重な予測）に対応するという意味で規格化されている。しかし、P＜１（利用できる光子が少ない）場合、有効ノイズパワーは大きくなる。利用できる光子の割合は、開口領域と集積時間の積に依存する。このアイデアは、ポアソン分布、ポアソンプラスガウス分布等のノイズ統計に拡張することができる。

デジタル画像処理サブシステム１３０を検討する。電気光学画像化システムの性能を上げるには、広い範囲の画像処理技術があり、利用可能な画像処理技術をここですべて説明することは不可能である。以下に説明する例においては、デジタル画像処理サブシステムは点像分布関数（ＰＳＦ）により劣化した信号を復元するための方法を使用している。さらに、この例では、推定理論的観点から復元問題にアプローチする。

一般的に、観測した信号ｙから信号ｓを復元するために使用できる復元アプローチには、簡単な線形フィルタから反復的非線形方法まで広い範囲のものがある。以下の例は、それぞれが明確な性能尺度を求め、予測可能な性能を発揮する方法を説明する。また、以下の例は理想的画像と実際の画像を比較する処理後性能計量（post-processing performance metrics）に基づくが、他の実施形態は経験的または非経験的尺度（例えば、光学的文字認識またはバーコードリーダにおける認識精度）を最適化する。

復元技術の一種は、線形プロセスに基づく。これらは一般的に形式的に分析するのが簡単であり、実際のシステムで実施するのが容易である。線形フレームワークにおいて、元の信号は次式（１１）の線形演算子を用いて推定される：

この例において、最小平均二乗誤差（ＭＭＳＥ）は、リアプノフすなわちターゲット関数として使用される。図１を参照して、電気光学画像化システム１００は、理想的画像１５５と実際のデジタル画像１８０の間の二乗分散の合計が最小になるように最適化される。ここで、理想的画像は、十分な照度を有し回折のない理論的なピンホール画像化システムにより得られる帯域制限されたノイズフリーのデジタル画像である。よって、目標は次式（１２）を満たすフィルタ行列Ｒを見つけることである。

ここで、期待値演算子εの添字は、期待値がランダムノイズｎと（仮定された）静的ランダム信号ｓにわたって取られることを表す。ＭＭＳＥフィルタリングアプローチは、基となる信号またはノイズのモデルについて、それぞれの平均と分散構造以外に統計的特性に関する仮定を要しない。ノイズと信号は相関していないとの仮定の下では、理想的な線形復元行列は次式（１３）で与えられる：

ここで、C_sとC_nはそれぞれ信号とノイズの共分散行列を表す。このようなシステムによるピクセルごとのＭＳＥ性能は次式（１４）を用いて予測できる：

ここでTr[ ]はトレース演算子であり、Ｎは画像全体のピクセル数である。

非線形復元法を使用することにより、処理後性能計量が取り得る空間が広がる。例えば、非線形反復復元法のクラスは、最大尤度（ＭＬ）やＭＡＰ（Maximum A-Posteriori）等の統計的な動機付けを与えられていることが多い。このようなアプローチは、誤差分散が最小であり、漸近的にバイアスされていないという利益があり、この特性はＭＭＳＥよりも強い。

例えば、信号ｓは決定論的であるが、まだ分かっていないと仮定すると、その信号ｓのＭＬ推定は、

ここで、L(y|s)は観測されたデータの統計的尤度関数である。この例では信号モデル中の加法的ノイズはガウシアンノイズであると仮定しているので、ＭＬコスト関数は次式（１６）及び（１７）の最小二乗目的関数を小さくする：

ディメンションの大きい（すなわち、ピクセル数の多い）信号の場合、これらの行列を明示的に構成することはできないかも知れない。多くの場合、行列を明示的に構成する必要を無くして式（１６）を最小化するために、反復法を用いる。多くの状況（例えば焦点ぼけが激しい場合）において、演算子Ｈはランク不足（rank-deficient）であり、解が不安定になる。このような場合、入力源パワースペクトル密度情報や入力源関数のなめらかさ等の追加的情報を用いて解空間を制約することができる。

未知の信号に関して統計的事前情報がある場合、ＭＡＰコスト関数は、次式（１８）となる：

ここで、C(s)は未知信号に関する事前情報を表し、y はデータ目的関数と事前情報間のラグランジアンタイプの相対重み付けを表す。この形のコスト関数は、式（１７）のように解析的には解けないことがある。非線形推定器の性能を漸近的に推定するだけでなく束縛するためにクラマー・ラオ（Cramer-Rao）不等式を使用することができる。

上述のエンドツーエンド設計アプローチは、いろいろなやり方で実施することができる。図７は、Ｚｅｍａｘ等の市販のレンズ設計プログラムに基づくソフトウェアによる実施を例示するためのブロック図である。これらのプログラムは、一般的に、最適化機能７２０だけでなく光線追跡機能７１０を有する。従来のレンズ設計においては、設計者は、レンズ設計問題の記述を入力することにより、レンズシステムの潜在的設計空間を最初に特定する。この記述は、一般的には、光線を追跡すべき入力源ポイントと、レンズシステムの一般的な記述（曲率、厚さ、スペーシング等）と、どのレンズ設計パラメータを反復するかという情報を含んでいる。光線追跡モジュール７１０は、入力源ポイントからレンズシステムを介して画像平面に行く光線を追跡する。最適化モジュール７２０は、コスト関数（一般的にはＯＰＤ−ＲＭＳ）を直接最適化するために、他の設計制約条件（最小エッジ厚、エッジスペーシング等）は一定として、繰り返し光学設計パラメータを求める。

図７の実施は、内蔵の光線追跡機能及び最適化機能を利用するが、波面誤差機能は電気光学システム全体を考慮する処理後性能計量７３０で置き換える。具体的に、光線追跡モジュール７１０の出力は、画像フィールドにわたる幾つかの位置における光学サブシステムのＯＴＦ（または、ＯＴＦの計算に使用できる情報）である。この例では、ＯＴＦは空間的に変化し、格子点間の補間により近似される。この同じアプローチを空間的に変化する点像分布関数またはＭＴＦについて使用することもできる。モジュール７３０は、ＭＴＦ情報を入力として受け取る。モジュール７３０は、入力源の空間的モデル（一般的には、光線追跡で使用される入力源ポイントとは異なる）と、検出器サブシステム及びデジタル画像処理サブシステムに関する情報とを使用して、電気光学画像化システムを介した入力源の伝播をモデル化する。

処理後性能計量モジュール７３０には、ループまたは最適化が組み込まれている。例えば、異なるデジタル画像処理サブシステムをそれぞれの新しいＯＴＦに対して設計し、このプロセスは繰り返しても繰り返さなくてもよい。モジュール７３０は、処理後性能計量を出力する。その処理後性能計量は、光学サブシステムの設計を繰り返すために最適化モジュール７２０により使用される。光学サブシステムの設計が変われば、デジタル画像処理サブシステムの設計が変化することに留意せよ。光学サブシステムが変化して、それにより生じる誤差が異なれば、その誤差を補正する画像処理も変わる。このように、光学サブシステムとデジタル画像処理サブシステムは、処理後性能計量に基づき共に（jointly）設計される。例えば、設計ソフトウェアは最終的な光学サブシステム設計のみならず、線形フィルタ係数も生成する。

図７は、１つの実施形態例であり、市販されているレンズ設計プログラム中の光線追跡モジュール７１０と最適化モジュール７２０の利用可能性に応じて変化する。別の実施形態も明らかであろう。例えば、別の実施形態において、ソフトウェアアーキテクチャは図１のブロック図に基づく。１つのソフトウェアモジュールが入力源１５０の空間的モデルを実施する。他のモジュールが、いろいろなサブシステム１１０、１２０、１３０を介した入力源の伝播を実施する。これらの伝播モジュールは、現在のシステムパラメータとコスト関数を入力として受け取る。別のモジュールは、シミュレーションされたデジタル画像１８０と理想的画像１５５を入力として受け取り、それに基づき処理後性能計量１９０を計算する。この計量１９０をシステムパラメータを繰り返しに使用する。

上述の設計アプローチを具体的な例に当てはめ、その結果を従来の設計アプローチにより得られた結果と比較する。この例は、簡単な文書スキャンニングシステムの設計である。このスキャナシステムの仕様は以下の通りである：

３００ｄｐｉでサンプリングした１２ポイントテキスト文書の１６個の文書スライスの組を入力源モデルを構成するために使用した。使用したテストスライスは、そのスライスがテキストラインを捉えていることを確認するために手で選択した。性能を定量化するためにＭＳＥを使用した。画像化システムの点像分布関数により１６個のスライスに収差が生じるのをシミュレーションして、その１６個のスライスにわたる平均をとることにより、ＭＳＥを計算した。

図８は、シングレット（singlet）レンズシステムの設計空間を示す図である。このシステムは、スペーシングｔだけシングレットレンズからの絞りオフセットを有する。光学要素は、屈折率１．５２、厚さ８ｍｍのＢＫ７ガラスであると仮定する。シングレットレンズの設計パラメータは

である。ここで、ｔはレンズとそのレンズ前の開口絞り間のスペーシングであり、C₁はレンズの第１面の表面パワー（曲率半径の逆数）であり、Δ_iは近軸焦点面からの距離である。

従来の設計アプローチをシミュレーションするため、ＯＰＤ−ＲＭＳを設計メリット関数として使用してレンズパラメータの最適な組を決定する。最適化には、ＯＰＤ−ＲＭＳを評価する際、[0,105,150]mmのオブジェクトフィールドポイントに対応する３つのフィールド位置x’を使用する。この例において、収差多項式の１次と３次の高のみを最適化に使用する。言い換えると、ＯＰＤを計算する際に、ザイデル収差のみを使用した。上記の方法は高次の収差を無視するが、簡単なレンズシステムでは、大部分の収差パワーは低次の項に含まれている。他の場合において、完全なＯＰＤを計算するために標準的な光線追跡ソフトウェアを使用することができる。重心参照（centroid-referenced）ＯＰＤ−ＲＭＳを直接最小化する設計パラメータの最適な組を見つけるためのＭａｔｌａｂのｆｍｉｎｕｎｃ関数により、レンズパラメータの組

を得た。これらの設計パラメータは、ＲＭＳ波面誤差を直接最小化する、ＺＥＭＡＸのデフォルト波面ＲＭＳ最適化ルーチンを用いて得たパラメータと類似している。最小化されたＯＰＤ−ＲＭＳは波面誤差の２．２２ｗａｖｅであった。

続けて従来の設計アプローチにより、σ＝１のパワーを有する非相関の加算的ノイズを仮定して、この光学サブシステムをマッチするために、最適な線形復元フィルタ行列Ｒを式（１３）を用いて設計した。この従来設計の電気光学画像化システムについて１６個のテストスキャンにわたって平均したピクセルごとのＲＭＳＥは、６．７８グレイレベルであって、この性能はあまりよくない。

比較のため、デジタル画像処理サブシステムが最適な線形復元を実施すると仮定して、上述のエンドツーエンドアプローチを用いて他の電気光学画像化システムを設計した。式（１４）のＲＭＳＥを処理後性能計量として用いて、従来設計の粗く局所的な最適化を実行した。結果として得られた光学サブシステムは、

であり、ＲＭＳＥは、従来設計の６．７８グレイレベルと比較して２．２５グレイレベルであった。中間的光学画像の対応するＯＰＤ−ＲＭＳは、従来設計の２．２２ｗａｖｅと比較して、誤差の６．３ｗａｖｅであった。このように、エンドツーエンド設計された光学サブシステムは波面誤差が大幅に大きい中間的光学画像を作るが（６．３ｗａｖｅ対２．２２ｗａｖｅ）、最終的なデジタル画像はＲＭＳＥが大幅に低かった（２．２５グレイレベル対６．７８グレイレベル）。

図９は、ダブレットレンズシステムの設計空間を示す図である。２つの光学レンズ要素を含み、その２つの要素の間に開口絞りがある。光学系に要素を加えることは、波面誤差を改善するために光学設計者が利用できる最もパワフルなツールである。それゆえ、シングレットレンズ系と比較してダブレットシステムを設計した。追加のレンズが光学収差の効果と戦うための２倍の自由度を提供する。しかし、光学系に要素を追加すると、光学システムに関連するコストも大きくなる。

ダブレットレンズ設計は、距離ｄ離れた２つの光学要素と、第１の要素の後ろから距離ｔ離れた、レンズ要素の間にある開口絞りを有する。両方の光学要素は、屈折率１．５２、厚さ８ｍｍのＢＫ７ガラスであると仮定する。ダブレットレンズシステムで可変な設計は、

である。ここで、C_i項はレンズ要素の表面パワーを定義している。

従来設計されたダブレットシステムは、シングレットレンズシステムと同じやりかたで設計されている。最初に、波面ＯＰＤ−ＲＭＳメリット関数を直接最小化するように光学サブシステムを設計する。最適化によって、

の設計が得られ、ＯＰＤ−ＲＭＳ誤差の波面誤差は０．５１ｗａｖｅであった。レンズを追加すると、波面誤差をシングレットレンズシステムの場合の波面誤差の約１／５に改善できる。前述のように、光学復元フィルタをこの光学サブシステムに対して選択し、最終的にＲＭＳＥ誤差は３．０１グレイレベルになる。従来設計の２重システムはＲＭＳＥ誤差を２倍以上低下させるが、エンドツーエンドアプローチを用いて設計したシングレットレンズシステムの方が少しよい（２．２５グレイレベル）。このように、エンドツーエンドアプローチを用いることにより、より簡単で安価なシングレットレンズ光学サブシステムができ、電気光学画像化システムの全体的な性能は従来の方法で設計された高価なダブレットレンズ系を用いた場合の性能と互角であった。

詳細な説明では多数の具体例を説明したが、本発明の範囲を限定すると解釈してはならず、本発明の異なる実施例や態様を例示しているだけである。言うまでもなく、本発明の範囲は、完全な２次元検出器アレイ、高次収差、及び非線形画像処理等、上で詳細に説明しなかった他の実施形態も含む。

他の例として、上記の説明において、入力源オブジェクトジオメトリは、距離が分かっている単純平面であった。一変形として、オブジェクトの距離z_oに確率分布を適用し、起こりうるメカニカルな公差や焦点ぼけを説明する。他の例として、説明を明瞭にするために、主にモノクロの場合を説明した。多色の場合にも適用することができる。使用したモデルは、波長情報及び／または色サンプリングの式を含んでもよい。また、光学サブシステムの例としてレンズベースのものだけを挙げたが、必ずしもレンズベースでなくてもよい。鏡、回折要素、その他の光学要素を使用することもできる。

特許請求の範囲に記載した本発明の精神と範囲から逸脱することなく、当業者に明らかなその他いろいろな修正、変更、変形をここに開示した本発明の方法と装置の構成、動作、その他の詳細に施すことができる。

電気光学画像化システムの設計上の問題を例示するブロック図である。 本発明による電気光学画像化システムの設計方法を示すフロー図である。 ２値テキスト文書のスキャン画像のスライスの輝度を位置の関数として示す図である。 スキャンされたテキスト文書の推定パワースペクトル密度のグラフである。 ４つのザイデル収差と焦点ぼけ収差（defocus aberration）の振幅伝達関数（modulation transfer function）を示すグラフである。 いろいろな焦点位置における一重線の振幅伝達関数（ＭＴＦ）を示すグラフである。 いろいろな焦点位置における一重線の振幅伝達関数（ＭＴＦ）を示すグラフである。 フィルファクター（fill factor）が異なる方形検出ピクセルの振幅伝達関数を示すグラフである。 エンドツーエンド設計アプローチのソフトウェア実装を示すブロック図である。 シングレットレンズシステムの設計空間を示す図である。 ダブレットレンズシステムの設計空間を示す図である。

符号の説明

１５０ 入力源
１１０ 光学
１２０ 検出器
１３０ デジタル画像処理
１５５ アプリケーション依存理想表現
１８０ デジタル画像
１９０ 性能計量

Claims (43)

1. 入力源を画像化する電気光学画像化システムを設計する方法であって、前記電気光学画像化システムは光学サブシステムと、検出器サブシステムと、デジタル画像化処理サブシステムとを含み、前記方法は、
   前記入力源の空間的モデルに基づき前記光学サブシステムと、前記検出器サブシステムと、前記デジタル画像化処理サブシステムとを通る前記入力源の伝播をモデル化するステップと、
   前記モデル化された伝播の関数である処理後性能計量に直接的に基づいて前記光学サブシステムと前記デジタル画像化処理サブシステムを共に設計するステップと、を有することを特徴とする方法。
2. 請求項１に記載の方法であって、
   前記光学サブシステムと前記デジタル画像化処理サブシステムを共に設計するステップは、前記光学サブシステムにより形成された前記入力源の中間的光学画像の品質を直接最適化を要せずして実行されることを特徴とする方法。
3. 請求項2に記載の方法であって、
   前記光学サブシステムと前記デジタル画像化処理サブシステムを共に設計するステップは、前記中間的光学画像の波面誤差の直接的最小化または前記中間的光学画像のスポットサイズの直接的最小化を要せずして実行されることを特徴とする方法。
4. 請求項１に記載の方法であって、
   前記入力源の空間的モデルは、前記入力源の３次元輝度関数に基づくことを特徴とする方法。
5. 請求項１に記載の方法であって、
   前記入力源の空間的モデルは、２次元パワースペクトル密度関数を含むことを特徴とする方法。
6. 請求項5に記載の方法であって、
   前記パワースペクトル密度関数は前記入力源の物理的原理に基づくことを特徴とする方法。
7. 請求項5に記載の方法であって、
   前記パワースペクトル密度関数は異なる入力源の経験的サンプリングに基づくことを特徴とする方法。
8. 請求項１に記載の方法であって、
   前記入力源は２値であり、前記入力源の空間的モデルは前記入力源の２値的性質を説明するものであることを特徴とする方法。
9. 請求項１に記載の方法であって、
   前記入力源は一定の被写界深度を有し、前記入力源の空間的モデルは前記被写界深度を説明するものであることを特徴とする方法。
10. 請求項１に記載の方法であって、
    前記入力源の空間的モデルは前記入力源の統計的モデルを含むことを特徴とする方法。
11. 請求項１に記載の方法であって、
    前記光学サブシステムを介した伝播は、前記光学サブシステムの点像分布関数、振幅伝達関数、または光学伝達関数に基づきモデル化されることを特徴とする方法。
12. 請求項11に記載の方法であって、
    前記光学サブシステムを介した伝播は、前記光学サブシステムにより形成中の口径食（vignetting）をさらに説明するものであることを特徴とする方法。
13. 請求項11に記載の方法であって、
    前記点像関数、振幅伝達関数、または光学伝達関数は、空間的に変化するものであることを特徴とする方法。
14. 請求項11に記載の方法であって、
    前記点像関数、振幅伝達関数、または光学伝達関数は、空間的に変化し、補間により近似されることを特徴とする方法。
15. 請求項１に記載の方法であって、
    前記検出器サブシステムを介した伝播は、検出器の形状、電荷効率、サンプリング、または前記検出器サブシステムのその他の効果を説明する空間的フィルタリングによりモデル化されることを特徴とする方法。
16. 請求項１に記載の方法であって、
    前記光学サブシステム及び検出器サブシステムを介した伝播はｙ＝Ｈｓ＋ｎによりモデル化され、ｙは前記光学サブシステムと前記検出器サブシステムを介した伝播後の前記入力源の画像であり、ｓは前記入力源の理想的にサンプリングされた画像であり、Ｈは前記光学サブシステムと前記検出器サブシステムの両方を説明するサンプリングされた点像関数であり、ｎはノイズであることを特徴とする方法。
17. 請求項16に記載の方法であって、
    前記ノイズｎは加法的白色ガウスノイズであることを特徴とする方法。
18. 請求項１に記載の方法であって、
    前記光学サブシステムと前記デジタル画像化処理サブシステムを共に設計するステップは、前記光学サブシステム及び／または前記検出器サブシステムにより生じる劣化を復元するデジタル画像処理サブシステムに限定されていることを特徴とする方法。
19. 請求項18に記載の方法であって、
    前記光学サブシステムと前記デジタル画像化処理サブシステムを共に設計するステップは、前記光学サブシステム及び／または前記検出器サブシステムにより生じる劣化を復元する線形デジタル画像処理サブシステムに限定されていることを特徴とする方法。
20. 請求項18に記載の方法であって、
    前記光学サブシステムと前記デジタル画像化処理サブシステムを共に設計するステップは、前記光学サブシステム及び／または前記検出器サブシステムにより生じる劣化を復元する非線形デジタル画像処理サブシステムを含むことを特徴とする方法。
21. 請求項１に記載の方法であって、
    前記処理後性能計量は前記入力源の理想的画像と、前記光学サブシステム・前記検出器サブシステム及び前記デジタル画像化処理サブシステムを介した前記入力源のモデル化された伝播により予測される画像との間の平均二乗誤差であることを特徴とする方法。
22. 請求項21に記載の方法であって、
    前記処理後性能計量は前記入力源の理想的画像と、前記光学サブシステム・前記検出器サブシステム及び前記デジタル画像化処理サブシステムを介した前記入力源のモデル化された伝播により予測される画像との間の空間的に重み付けされた平均二乗誤差であることを特徴とする方法。
23. 請求項21に記載の方法であって、
    前記入力源の理想的画像は、前記検出器サブシステムの理想的ジオメトリーを説明するためにフィルターかつサンプリングされた、前記入力源の理想的幾何学的投影に基づくことを特徴とする方法。
24. 請求項１に記載の方法であって、
    前記設計された光学サブシステムは、前記デジタル画像処理サブシステムにより容易に補正できない前記光学サブシステム中の収差を減らすことを特徴とする方法。
25. 請求項１に記載の方法であって、
    前記設計された光学サブシステムは、中間的光学画像の画像品質を最適化するように設計された光学サブシステムにより形成されるより画像品質が大幅に悪い中間的光学画像を形成することを特徴とする方法。
26. 請求項１に記載の方法であって、
    前記光学サブシステムと前記デジタル画像化処理サブシステムを共に設計するステップは、１つ以上の非画像制約条件を条件とすることを特徴とする方法。
27. 請求項26に記載の方法であって、
    前記非画像制約条件を条件はコスト制約条件を含むことを特徴とする方法。
28. 請求項26に記載の方法であって、
    前記非画像制約条件を条件は大きさと形状に関する制約条件を含むことを特徴とする方法。
29. 請求項1に記載の方法であって、
    前記光学サブシステムの記述を生成するステップをさらに有することを特徴とする方法。
30. 請求項29に記載の方法であって、
    前記デジタル画像処理サブシステムの線形フィルタ係数を生成するステップをさらに有することを特徴とする方法。
31. プロセッサに電気光学画像化システムの光学サブシステムを設計させる命令を含むコンピュータ読み取り可能媒体であって、前記プロセッサに
    光学サブシステム、検出器サブシステム、及びデジタル画像処理サブシステムを有する電気光学画像化システムを介する入力源の伝播を、前記入力源の空間的モデルに部分的に基づきモデル化するステップと、
    前記モデル化された伝播の関数である処理後性能計量に直接的に基づいて前記光学サブシステムと前記デジタル画像化処理サブシステムを共に設計するステップと、を実行させることを特徴とする媒体。
32. 請求項３１に記載のコンピュータ読み取り可能媒体であって、
    前記光学サブシステムと前記デジタル画像化処理サブシステムを共に設計するステップは、前記光学サブシステムにより形成された前記入力源の中間的光学画像の品質を直接最適化を要せずして実行されることを特徴とする媒体。
33. 請求項３１に記載のコンピュータ読み取り可能媒体であって、
    前記入力源の空間的モデルは、２次元パワースペクトル密度関数を含むことを特徴とする媒体。
34. 請求項３１に記載のコンピュータ読み取り可能媒体であって、
    前記入力源は２値であり、前記入力源の空間的モデルは前記入力源の２値的性質を説明するものであることを特徴とする媒体。
35. 請求項３１に記載のコンピュータ読み取り可能媒体であって、
    前記入力源の空間的モデルは前記入力源の統計的モデルを含むことを特徴とする媒体。
36. 請求項３１に記載のコンピュータ読み取り可能媒体であって、
    前記光学サブシステムを介した伝播は、前記光学サブシステムの点像分布関数、振幅伝達関数、または光学伝達関数に基づきモデル化されることを特徴とする媒体。
37. 請求項３１に記載のコンピュータ読み取り可能媒体であって、
    前記光学サブシステム及び検出器サブシステムを介した伝播は線形モデルｙ＝Ｈｓ＋ｎによりモデル化され、ｙは前記光学サブシステムと前記検出器サブシステムを介した伝播後の前記入力源の画像であり、ｓは前記入力源の理想的にサンプリングされた画像であり、Ｈは前記光学サブシステムと前記検出器サブシステムの両方を説明するサンプリングされた点像関数であり、ｎはノイズであることを特徴とする媒体。
38. 請求項37に記載のコンピュータ読み取り可能媒体であって、
    前記光学サブシステムと前記デジタル画像化処理サブシステムを共に設計するステップは、線形デジタル画像処理サブシステムに限定されることを特徴とする媒体。
39. 請求項37に記載のコンピュータ読み取り可能媒体であって、
    前記処理後性能計量は前記入力源の理想的画像と、前記電気光学画像化システムを介した前記入力源のモデル化された伝播により予測される画像との間の平均二乗誤差であることを特徴とする媒体。
40. 請求項３１に記載のコンピュータ読み取り可能媒体であって、
    前記命令は前記プロセッサに、
    前記デジタル画像処理サブシステムの線形フィルタ係数を生成するステップをさらに実行させることを特徴とする媒体。
41. 入力源を画像化する電気光学画像化システムであって、
    前記入力源の中間的光学画像の画像品質を最適化するように従来設計された光学サブシステムにより形成されるより画像品質が大幅に悪い中間的光学画像を形成することを特徴とする光学サブシステムと、
    前記光学サブシステムと結合した検出器サブシステムと、
    前記検出器サブシステムと結合した、前記光学サブシステムの画像品質を補正するデジタル画像処理サブシステムと、を有することを特徴とするシステム。
42. 請求項４１に記載の電気光学画像化システムであって、
    前記光学サブシステムは、前記デジタル画像処理サブシステムにより容易に補正できない前記光学サブシステム中の収差を減らすことを特徴とするシステム。
43. 検出器サブシステムとデジタル画像化処理サブシステムを有する電気光学画像化システムの一部である光学サブシステムであって、
    前記入力源の空間的モデルに基づき前記光学サブシステムと、前記検出器サブシステムと、前記デジタル画像化処理サブシステムとを通る前記入力源の伝播をモデル化するステップと、
    前記モデル化された伝播の関数である処理後性能計量に直接的に基づいて前記光学サブシステムと前記デジタル画像化処理サブシステムを共に設計するステップと、を有するプロセスにより設計されていることを特徴とする光学サブシステム。

Images