JP2009009593A - 電光画像処理システム - Google Patents

電光画像処理システム Download PDF

Info

Publication number
JP2009009593A
JP2009009593A JP2008208184A JP2008208184A JP2009009593A JP 2009009593 A JP2009009593 A JP 2009009593A JP 2008208184 A JP2008208184 A JP 2008208184A JP 2008208184 A JP2008208184 A JP 2008208184A JP 2009009593 A JP2009009593 A JP 2009009593A
Authority
JP
Japan
Prior art keywords
subsystem
image processing
optical
optical subsystem
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008208184A
Other languages
English (en)
Inventor
M Dirk Robinson
ダーク ロビンソン エム
David G Stork
ジー ストーク デイヴィッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2009009593A publication Critical patent/JP2009009593A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Image Processing (AREA)
  • Electrostatic Charge, Transfer And Separation In Electrography (AREA)

Abstract

【課題】電光画像処理システム全体についてパフォーマンスを最適化する考察に基づいて、電光画像処理システムを調整する手法を提供する。
【解決手段】電光画像処理システムの光学サブシステムに対する調整は、全体的な電光画像処理システム内の様々なサブシステムを考慮に入れる。光学、検出及びディジタル画像処理サブシステムを介するソースの伝搬路を決定することに基づいて、エンドトゥエンドの画像処理パフォーマンスを予測し、光学サブシステムはそれらの他のサブシステムを考慮した後に調整する。ディジタル画像処理サブシステム及び光学サブシステムの補償器は、画像処理の影響を考慮に入れるポストプロセシングパフォーマンスメトリックに基づいて連帯的に調整する。従来の手法とは異なり、光学サブシステムで高品質画像用に生成していた中間的な光画像は必要とせず、画像はディジタル画像処理サブシステムでの他の調整によって改善する。
【選択図】図2

Description

本発明は一般に電光画像処理システムの調整及び補償に関連し、特にその製造及び組立の間及びその後における電光画像処理システムの調整及び補償に関連する。
電光画像処理システムは典型的には光学サブシステム(例えば、レンズアセンブリ)、電子的な検出サブシステム(例えば、CCD検出器アレイ)及びディジタル画像処理サブシステム(例えば、典型的には専用チップやソフトウエアで実現される)を含む。製造プロセスでは、電光画像処理システムの製造及び組立における変動はシステム全体のパフォーマンスを劣化させるおそれがある。
例えば光学サブシステムでは、製造されるレンズ要素の重要なパフォーマンス特性は光学面の質及び精度に依存する。レンズ表面の品質はレンズの仕上がり(傷、汚点等)を描写する。レンズ表面の精度は、製造されたレンズ要素が公称設計仕様にどの程度合っているかを描写する。レンズ製造段階での一般的なエラーは、表面倍率変動(曲率半径の変動)、非対称性エラー(例えば、要素の割り込み(wedge)や偏心化)及び厚みエラーを含む。組立段階での一般的なエラーは要素の傾き(tilt)、偏心化及び間隔又は位置のエラーを含む。
検出サブシステムの製造も固有のプロセス変動をもたらす。半導体製造プロセスは、検出器の品質に広範な様々な変動をもたらすおそれがある。そのような製造変動の影響は、所与の検出器に関するランダムノイズ特性に加えて欠陥ピクセルやカラムのような決定性の(deterministic)エラーにより特徴付けられる。ノイズの影響は時間的なノイズ(ショットノイズ、リセットノイズ、増幅ノイズ、ダークカレントノイズ)及び空間的なノイズ(非一様な写真応答)を含む。他のフォトディテクタアーチファクトは隣接する画素への電荷の分散又は焦点ぼけを含む。
製造が完了した後でも、通常の日常的利用は、例えば光学要素のアライメントが緩やかにずれてくるような場合に、システムパフォーマンスを徐々に劣化させるおそれがある。これらの変動に対する光システムの高感度性に起因して、最終的に配備されたシステムの画像処理パフォーマンスは理論的な公称設計値のものよりかなり低くなるおそれがある。従って、そのような変動を正す又は補償する機能は電光画像処理システムの製造及び利用で重要な部分になる。
例えばトレランス分析又は感度分析は、製造又は組立エラーに最も影響を受ける設計態様を明らかにするために使用可能である。トレランス分析を利用して、設計者はそのようなエラーに対して低感度なデザインを見出そうとする。しかしながら、感度分析は特定のエラーに対するデザインの感度を減らすことはできるが、多くの場合、感度分析だけでは、電光システムの所望のパフォーマンスを保証するのにしばしば充分でない。
プロセス変動に対処する別の技術は「補償器(compensator)」を含む。その名が示すように、補償器は、望まれない変動を補償するように、電光画像処理システムの或るパラメータ(補償パラメータと呼ばれる)を調整するのに使用される。或るクラスの補償器は例えば精密なネジのような機械的な補償器である。これらは光学サブシステムで光学要素の位置を調整し、システム全体の変動を補償するのに使用可能である。補償器は、システムが使用されるフィールドに設けられる前に初期組立プロセスの一部として調整されてもよいし、及び/又はシステムが使用されるフィールドに設けられた後に校正プロセス又は再校正プロセスの一部として調整されてもよい。
しかしながら、電光画像処理システムは一般に複雑であるので、補償器の調整はサブシステムの段階(サブシステムの単位で)でしばしば実行される。補償器を調整する従来の方法は一般に2つの別々の段階を含む。第1に、光学サブシステムの補償器が、ディジタル画像処理サブシステムでの可能な補償によらず調整される。従来の目的は光学サブシステム補償器を調整し、高品質な中間的な画像源を形成することである。第2に、その中間的な光画像中の何らかの残存する欠陥をディジタル的に補償するように、画像処理サブシステムが以後調整される。
2段階の補償は一般にそれらの間でほとんど調整の余地がない。これらの段階の相違は、それらの方法、ツール、目的及び制約に関する光学及び画像処理の分野間のかなりの相違を反映する。例えば、各分野は潜在的な多くのアプリケーションを網羅するが、一般にそれら2つの分野間は電光画像処理システム以外でほとんど重複していない。一般に、顕微鏡、望遠鏡、眼鏡等の従来の製法は如何なる重要な画像処理も考察していない。同様にデータ圧縮、コンピュータグラフィクス及び画層修正のような画像処理の分野は一般に如何なる重要な光学的情報も含んでいない。その結果、各分野は互いに独立に発展し、各自固有の用語、最良の実践法及びツール群を発展させている。一般に、これらの各々の分野に精通して支配しなければならないことは、電光画像処理システムの統一化を妨げる。統一的観点で重要な問題の1つは、2つの個々の分野で問題及び手法を記述する共通言語が欠如していることである。1つの顕著な例は各分野に関する基礎的な概念要素に関する考察で見受けられる。光学システムは光線及び受動的光学素子を取り扱うが、画像処理システムは情報バイト及び能動的なアルゴリズムを取り扱う。これら2つの基礎的なクラスのエンティティを支配する規則及び制約は様々に異なる。
従来法の1つの問題は、光学サブシステム及びディジタル画像処理サブシステム間の協働性が見落とされていたことである。光学サブシステムの調整は、ディジタル画像処理サブシステムに関する情報なしに「最良の(best)」光画像を作成する。画像処理サブシステムの調整は、以前に調整された光学サブシステムを変更する機能なしに、「最良の」ディジタル画像を作成する。かくてこれらのサブシステムは電光画像処理システムを形成する。つまり、光学サブシステムとディジタル画像処理サブシステムとの協働を実現するシステムを電光画像処理システムという。2つの独立に調整された「最良の」サブシステムを連結しても、「最良の」全体的な画像をもたらさないかもしれない。2つの独立に調整されたサブシステム間で望まれない相互作用があるかもしれないし、2つのサブシステム間の協働が実現されてないかもしれない。
本発明の課題は、電光画像処理システム全体についてパフォーマンスを全体的に最適化する考察に基づいて、電光画像処理システムを調整する手法をもたらすことである。
本発明は、電光画像処理システム全体の中で異なるサブシステムを考慮に入れる統一された調整法を用意することで、従来技術の制約を克服する。一実施例では、本手法は、光学サブシステム、検出サブシステム及びディジタル画像処理サブシステムを介するソースの伝搬を決定することに基づいて、エンドトゥエンドの画像処理パフォーマンスを予測する。そして光学サブシステムはそれらの他のサブシステムを考慮した後に調整される。例えば調整は、画像処理の影響を考慮に入れるポストプロセシングパフォーマンスメトリックに直接的に基づいてもよい。ディジタル画像処理サブシステム及び光学サブシステムの補償器は、そのポストプロセシングパフォーマンスメトリックに基づいて連帯的に調整されてよい。従来の手法とは異なり、光学サブシステムで高品質画像用に生成されていた中間的な光画像は必要とされず、例えば画像はディジタル画像処理サブシステムでの他の調整によって以後に改善されてもよい。
本調整手法は、結合された電光画像処理システムを全体的に考察し、一群の補償パラメータを所望の出力に備えて最適化しようとする。このように本フレームワークは、統一された見方及び言葉を提供し、その見方及び言葉で電光画像処理システムのエンドトゥエンドパフォーマンスを評価する。つまり、そのような手法は従来の制約を緩和し、その制約は、光学サブシステムにより形成された中間的な光画像が高品質画像であることである(波面誤差やスポットサイズのような伝統的な光学的性能指数により測定される)。
一形態では、調整手法はソースの空間的なモデルに基づいて電光画像処理システムを介する伝搬(プロパゲーション)をモデル化することを含む。そして光学サブシステム及びディジタル画像処理サブシステムはポストプロセシングパフォーマンスメトリックに直接的に基づいて連帯的に調整され、そのメトリックはモデル化された伝搬に基づいて算出される。光学サブシステムはポストプロセシングパフォーマンスメトリックを最適化すること(例えば、画像処理パラメータが全体的に最適なパフォーマンスを与えるように選択されることを仮定すること)に基づいて調整されてもよい。これは、光学サブシステムが高品質の中間的な光画像源(ソース)を形成することを必要とせずに行える。
光学サブシステムを介する光の伝搬をモデル化すること(モデリング)は様々な手法で達成可能である。特定の実施例は特定のアプリケーションに依存するかもしれない。線形システム法が使用されるならば、光学サブシステム及びディテクタサブシステムは、y=Hs+n を用いてモデル化可能であり、ここでyは予測された画像であり、sは理想的にサンプルされた画像源であり、Hは、光学サブシステム及びディテクタサブシステム双方を考慮するサンプル点拡散関数(sampled point spreading function)であり、nはノイズである。
ポストプロセシングパフォーマンスメトリックもアプリケーションによって変わるかもしれない。好ましいディジタル画像処理パフォーマンスメトリックは、ソースの理想的な画像と、電光画像処理システムを介するソースの伝搬により生成された画像との間の二乗平均誤差である。最終目的が何らかの種類の検出又は認識であるアプリケーション(例えば、文字認識又はバーコード読み取り)に対して、ポストプロセシングパフォーマンスメトリックは、認識精度の指標(measure)(例えば、エラーレート、偽陽性のレート(rate of false positives)、ビットエラーレート等)でもよい。
エンドトゥエンド調整法の1つの利点は、もたらされる電光画像処理システムは従来法で調整されたシステムのものと同一又はそれ以上のパフォーマンスを達成することであり、たとえ光学サブシステムが中間的な光画像を形成したとしてもそれは従来の光学サブシステムで形成されるものより画像品質はかなり悪くてよい。
エンドトゥエンドの調整法に関する多くの様々な実施例も明らかになるであろう。光学サブシステムを介するプロパゲーションを判定することに関し、或る手法では、光測定装置により光学サブシステムが特徴付けられ、その特徴を用いて光学サブシステムのモデルを作成する。例えば、従来の装備は、光学サブシステムの光伝達関数、振幅伝達関数又はポイント拡散関数を測定するのに使用され、それらの量と共に光学サブシステムのモデルの基礎を形成する。調整は実際の光学サブシステムに適用され、測定装置は調整されたサブシステムの新たな特徴を作成する。
別の手法では、光学サブシステムの物理的な指標(例えば、レンズ形状、間隔、傾斜角等)が考慮され、光学サブシステムに関する更に詳細なモデルを構築するのに使用される。調整はこの「仮想的な」光学サブシステムに適用され、その基礎に基づいて最適化が進められる。このシミュレーションを通じて最終的な調整内容が決定されると、それらが現実の光学サブシステムに適用される。
スペクトルの他方端では、光学サブシステムを介するソース(ソース信号)の伝搬はモデルではなく実際の伝搬に基づいて決定されてもよい。言い換えれば、実際のソース(ソース信号又はソース光)が実際の光学サブシステムに照射されてもよい。同様な議論がディテクタサブシステム及びディジタル画像処理サブシステムに当てはまる。
一形態では、ディテクタサブシステム及びディジタル画像処理サブシステムのモデルを導入するように、従来の光測定装置は修正される。例えば、従来の干渉テスタは光学サブシステムのOPDマップを表示してもよい。しかしながら修正されたテスタはディテクタモデル及びディジタル画像処理モデルを含む。テスト画像が修正されたテスタにロードされてもよい。OPDマップを取得した後に、テスタは電光画像処理システムを介する伝搬を模擬し、OPDマップではなく、シミュレーションした画像又は他のポストプロセシングパフォーマンスメトリックを表示する。
本発明の他の形態では、調整プロセス自体が異なる段階でなされてよい。例えば調整は電光画像処理システムの製造又は組立の一部として(途中で)でなされてもよい。或いは調整は電光画像処理システムのフィールド調整の一部としてなされてもよい。
本発明の他の形態は、上記の調整法を実現するためのツール、装置及びソフトウエアを含む。
本発明は他の利点及び特徴をも有し、添付図面に関連する本発明の以下の詳細な説明及び添付された特許請求の範囲から更に明瞭になるであろう。
図1は電光画像処理システム100を設計後に調整する問題点を説明するためのブロック図である。画像処理システム100は光学サブシステム110、ディテクタサブシステム120及びディジタル画像処理サブシステム130を含む。画像処理システム100はソース(ソース信号)150を画像処理し、ディジタル画像180を生成するよう意図されている。画像処理システム100は既に設計済みであり、製造工程中である又は製造後の調整中である。一般的な問題は、或る制約の下に、全体的なパフォーマンスを「最適化」するように画像処理システム100に対する調整を行うことである。多くの場合、最適化の目的は、入力ソース150のアプリケーション特有な理想化されたバージョン155に合致するディジタル画像180を生成することである。
図2は電光画像処理システム100を調整する本発明による方法例を示す。図2を参照するに、本設計法はソース150を選択するステップ210を含む。ソース150は、そのシステムの調整用に選択され、システム100が画像処理用にデザインするソースと同じでもよいし異なっていてもよい。例えば特定のテストソース(テストソース信号)150が調整プロセスに使用されてもよい。ターゲットテストでは、標準的なターゲットオブジェクト(例えば、スタンダードU.S.エアフォースターゲット)がシステム調整用のソースに使用されてもよい。或いは画像処理される実際のソースを表す一連のソースが使用されてもよい。或る実施例では実際のソース自身が使用されるかもしれない。
更に、選択されたソース150は或る物理的形式で使用されてよいが、別の手法ではその代わりにソースの空間的モデルが使用される。モデルは特定の状況に合わせて仕立てられてもよいし、以前に配備したモデル及び/又は他の用意されたものに基づいて経験的に見積もられてもよい。照明、ラジオメトリ及びジオメトリ(幾何学形状)はソースモデルに反映されてよいファクタである。ソースの空間モデルは好ましくはソースの統計的モデルを含む。更なる具体例は以下に説明される。電気光学画像化システムの設計空間を定める。各サブシステムのパラメータをθ、θ、θとする。例えば、光学サブシステムの設計空間は、ベクトルθで記述されるが、レンズの数、タイプ、大きさや曲率半径、絞り(stop)等により規定される。ディテクタサブシステムの設計空間は、ベクトルθで表すが、ピクセル数、検出器の間隔、フィルファクタ(fill factor)、帯域幅、ピクセルジオメトリ等をパラメータで表示する。ディジタル画像処理サブシステムの設計空間は、ベクトルθで表され、適用すべきディジタル画像処理のタイプとその処理タイプのパラメータ(例えば、フィルタは線形か非線型か、タップ数はいくつか、タップウェイト(tapweights)等)を特定する。設計に関連するいろいろな非画像化制約条件やコストを規定してもよい。各サブシステムの設計空間の大きさは、アプリケーションに応じて変化する。場合によっては、サブシステムの設計には大きな自由があってもよい。他の場合において、サブシステムの設計が厳しく制限されても、事前に規定(例えば、検出器アレイが事前に選択されて)されていてもよい。
電光画像処理システムの補償空間が明示的に又は黙示的に規定される220。図1ではサブシステム各々に対する補償空間は、補償パラメータθ0,θd,θiでそれぞれ規定される。
例えば、光学サブシステム110の補償空間は、ベクトルθ0で記述され、光学サブシステムに対してなされてよい様々なタイプの機械的調整を含んでよい。一般的な補償パラメータはレンズ系の後部焦点(back focus)である。多くの光学サブシステムは、機械的な補償器がレンズ系の後部焦点を調整することを許容するように設計される。製造プロセス完了後に、レンズの実効的な焦点距離は公称設計値からかなりずれているかもしれない。レンズ系の後部焦点を調整する機能を備えることで、製造者は、許容できるパフォーマンスを維持しつつ、レンズ系をフォトディテクタアレイに適合させることができる。他の機械的補償パラメータの例は、様々な光素子を任意の3次元座標軸に関してずらす又は傾ける機能を含む。
ディテクタサブシステム120の補償空間に関し、それはベクトルθdで記述され、センサ製造者は様々な技術を利用してディテクタサブシステムでの変動を補償する。これらの変動は、例えば、半導体製造プロセスにおける変動によって引き起こされるかもしれない。補償技術の具体例は、相関二重サンプル(correlated double sampling)、フラットフィールド補償(flat field correction)、バイアス減算及び補間を含む。これらの補償技法はディテクタサブシステム自体の中でしばしば行われるかもしれない。以下に与えられる例では、電気的な補償は、ディテクタサブシステムにより自動的になされるブラックボックスプロセスとしてモデル化される。ディテクタサブシステムにより実行される補償は特定のセンサに関する決定論的なアーチファクトを効果的に最小化するが、電気的な補償は所与のディテクタに関して空間的に変動するノイズ特性を招く傾向があり、以下で説明される調整プロセス例で対処される。
ディジタル画像処理サブシステム130の補償空間は、ベクトルθiによって記述され、適用可能なディジタル画像処理のタイプ及び処理タイプのパラメータ(例えば、線形又は非線形フィルタ、タップ数、タップウェイト等)を識別する。その調整に関し、様々な非画像処理的な制約又はコスト170が規定されてもよい。例えば補償パラメータは典型的には予め定められた範囲にわたってしか調整されないかもしれない。各サブシステムの補償空間のサイズはアプリケーションに依存して異なってもよい。場合によっては或るサブシステムを調整する場合に多くの自由度があってもよい。言い換えれば、或るサブシステムについては全く調整されない或いはほとんど調整できなくてもよい。
ポストプロセシングパフォーマンスメトリック190も規定される230。このパフォーマンスメトリックは、画像処理前ではなく画像処理後のパフォーマンスに基づくという意味で処理後(ポストプロセシング)である。例えば、光学サブシステムで生成される中間的な光画像のスポットサイズ又は波面誤差の指標単独で、光学サブシステムに関する従来のエラーメトリックになってもよいが、それらはポストプロセシングパフォーマンスメトリックではない。図1では、ポストプロセシングパフォーマンスメトリック190は、理想的なディジタル画像155と、画像処理システム100で生成されるディジタル画像180との比較に基づいている。
多くの状況では、画像180はサブシステム110,120及び130を介して選択されたソースの伝搬に基づいて決定される。この伝搬は実際のものでもよいし、シミュレーションされたものでもよいし、或いはモデル化されたものでもよい。例えば光学サブシステムを介する実際の伝搬は、検査光ベンチ(bench)を構成し、実際のソースを用いて実際の物理的な光学サブシステムに照光することで決定できる。シミュレーションの例では、実際の光学サブシステムの測定値が使用され、コンピュータで構築された対応する「仮想的な」光学サブシステムを利用する。光学サブシステムを介する伝搬は、仮想的なシステムを介するソースの伝搬をシミュレーションすることで決定される。モデル化の手法の場合は、光学サブシステムは、例えば測定された振幅伝達関数(MTF: Modulation Transfer Function)によりモデル化される。サブシステムの伝搬は、サブシステムのMTFモデルに基づいて決定される。
調整ステップ240は、調整空間の中で或る調整内容を選択するように説明でき、その調整内容は(ひょっとすると或る制約(例えば、或るコスト170の制約)の下で)ポストプロセシングパフォーマンスメトリック190を最適化するものである。光学サブシステム110及びディジタル画像処理サブシステム130は、従来の調整法のように独立にではなく、一緒に調整されることが好ましい。数学的には、図1の表記を用いると、調整ステップは、ひょっとするとコスト170による或る制約の下で、パフォーマンスメトリックを直接的に最適化するように補償パラメータθ,θ,θを選択するように説明できる。
多数の最適化アルゴリズムが使用可能である。線形な場合、パラメータは解析的に又は既知の及び適切な数値計算を用いて解くことができるかもしれない。或る非線形な場合を含む、より複雑な場合には、期待値最大化、傾斜降下法及び線形計画法等のような技法を用いてデザイン空間を探索できる。
最適化は人の参加を含んでもよい。例えば表示されるディジタル画像180をその者が「最良に」見えるようにすることで、人が手動で補償器を調整してもよい。或いは、パフォーマンスメトリック190が表示され、パフォーマンスメトリック190を最適化する目標と共に人が補償器を調整してもよい。
図1及び図2双方で、単に最適化される、光学サブシステム110、ディテクタサブシステム120又はディジタル画像処理サブシステム130に何らの制約もないことに留意を要する。これらのサブシステムに関し、単独で考察された場合には最適なパフォーマンスより劣化したものを示すが、全体的な電光画像処理システム100は依然として良好な又はそれでも最適なパフォーマンスを示すことは、全く可能である。これは従来の調整法とは全く異なり、例えば、従来法では光学サブシステム110は典型的にはそこで形成された中間的な光画像の画像品質を直接的に最適化することで調整されている。例えば、光学サブシステム110はRMS波面エラー又はRMSスポットサイズを直接的に最小化することに基づいて調整されてよい。これに対して、図2の調整法では、光学サブシステム110で形成される中間的な光画像は(例えば、波面エラー又はスポットサイズで測定される場合に)良くない画像品質を有するかもしれない。その品質は後にディジタル画像処理サブシステム130で補償される。光学サブシステム110は、中間的な光画像の画像品質を直接的に改善することに基づいては調整されない。むしろ、ポストプロセシングパフォーマンスメトリック190を最適化することに直接的に基づいて、ディジタル画像処理サブシステム130と共に一緒に調整される。
図3−9は図1−2の調整プロセス例の更なる説明をもたらす。図3は或る調整方法例を示す図である。ステップ130では、光学サブシステム補償パラメータ中の電流値を用いて光学サブシステムを特徴付ける。この特定の例では、光学サブシステムは波面エラー又は光学経路差(OPD: Optical Path Difference)により特徴付けられる。OPDは従来の技法を用いて干渉法的に測定可能である。
より一般的には、他の調整法はOPD以外の特徴(属性)に基づいてもよく、従来のツールのある範囲が光学サブシステムを特徴付けるのに使用可能である(310)。そのようなツールは、単独のターゲット画像検査から非常に精密な干渉技法に及ぶ。ターゲット検査基づく或る手法では、標準的なターゲットオブジェクト(例えば、スタンダードU.S.エアフォースターゲット)がシステム全体を介して画像処理され(システム全体は、光学サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを含む)、処理後の画像が観測者によって評価される。全体的なパフォーマンスは許容可能である或いは許容可能でないように判断される。観測者は検査目標の「最良の」視覚的画像を形成するように補償器を調整する能力を有してよい。例えば、観測者が光学サブシステムで補償器を調整する場合に、ディジタル画像処理サブシステムは関連する調整を自動的に行ってもよい(行わなくてもよい)。新たな処理後の画像が表示され、その観測者は、処理後の画像品質が改善されたか改悪されたかを判定し、更なる調整を実行することができる。
光学サブシステムの他の一般的な特徴は、光伝達関数(OTF: Optical Transfer Function)又は振幅伝達関数(MTF)である。MTFは多くの様々な手法で決定可能である。例えば、MTFは実際の光学サブシステムを用いて物理的に測定されてもよい。OTFを測定することは、一般に、所与の光学サブシステムのポイント分散関数(PSF: Point Spreading Function)又はラインソースを測定することを含み、或いは正弦格子パターンを用いてMTFを直接的に測定することを含む。或いは、光学サブシステムの物理的な測定がなされ、その測定値に基づいてMTFが算出されてもよい。更なるレンズ特性法は、例えば、次の文献で説明されており、Rober E.Fischer and Biljana Tadic-Galeb, Optical System Design, McGraw-Hill, New York, 2000。
ステップ330では、ポストプロセシングパフォーマンスメトリックが、ソース、ディテクタサブシステム及び光学サブシステムの特徴に基づいて決定される。この特定の実施例では、パフォーマンスメトリックは、以下で詳細に説明されるような、シミュレートされた画像と理想的な画像との二乗平均平方根誤差である。シミュレートされた画像は、(OPD特性に基づいて)光学サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを介するソース信号の伝搬をシミュレーションすることで決定される。
ステップ330は自律的ループ又は最適化法を有する。この例では、ディジタル画像処理サブシステムは新たなOPD各々について調整され、このプロセスは反復されてもされなくてもよい。ステップ330はポストプロセシングパフォーマンスメトリックを出力し、そのメトリックは光学サブシステムの調整を反復するためにステップ320で使用される。ディジタル画像処理サブシステムの調整内容は光学サブシステムの調整内容が変わると変化することに留意を要する。画像処理に関する様々な調整は、光学サブシステムの様々な調整によって導入される様々なエラーを補償するために利用される。かくて光学サブシステム及びディジタル画像処理サブシステムはポストプロセシングパフォーマンスメトリックに基づいて連帯的に調整される。例えば本プロセスは光学サブシステムに対する機械的調整を行うことに加えて、線形フィルタ係数を生成してもよい。
図3に関する一実施例では、電光画像処理システムを介する伝搬は以下の米国出願で説明されているのと同様な形式でモデル化されている。光学サブシステム及びディテクタサブシステムを介した伝搬後に観測される画像yは、次式で与えられる:
Figure 2009009593
ここで、演算子Hは光学サブシステム及びディテクタサブシステムを線形に特徴付け、sは理想的な状態の下で捕捉された画像であり(例えば、当初のソース信号の理想的な幾何学的な投影)、nは2つのサブシステムに関するランダムノイズである。HはΘの関数であり、Θは調整可能な補償パラメータのベクトルであることに留意を要する。上記の数式(1)において、各種のパラメータは、光学サブシステムの光学伝達関数(OTF)または振幅伝達関数(MTF)により光学サブシステムをモデル化することもできる。OTFは画像座標x'における点像分布関数(point spread function)のフーリエ変換である。また、ここでωは1メートル当たりのサイクル数を単位とした空間周波数である。MTFは規格化されたOTFの振幅(ゲイン)である。
ディジタル画像処理サブシステムの目的は、理想的な画像の推定s^をもたらすことであり、その推定は理想的な画像sにできるだけ「近い」ものである。1つの画像処理形式は線形画像処理である。これらは一般に形式的に分析するのに簡易であり、実際のシステムに実現するにも簡易である。線形な枠組みでは、当初の信号は次のような線形演算子を用いて推定される:
Figure 2009009593
ここで、Rは線形フィルタである。
この例では最小二乗平均誤差(MMSE: Minimum Mean Square Error)がリアプノフ(Lyapunov)関数又はターゲット関数として使用される。図1を参照するに、電光画像処理システム100は、理想的な画像155及び実際のディジタル画像180間の二乗偏差の総和が最少になるように最適化される。ここで、理想的な画像は、帯域制限された、ノイズフリーなディジタル画像であり、それは充分な照光と共に及び回折なしに理論的なピンホール画像書入りシステムからもたらされるものである。かくて固定された一群の補償パラメータΘに関し、画像処理フィルタは次式を満たすように選択される:
Figure 2009009593
ここで、期待値演算子εの添え字は、ランダムノイズn及び(仮定された)静的なランダム信号sに関する期待値を表す。MMSEフィルタ法は、各自の平均及び共分散的構造以外に、ノイズモデル又は基礎とする信号の統計的性質について何らの条件も要求しない。ノイズ及び信号が非相関的であることを仮定すると、理想的な線形復元行列(linear restoration matrix)は次式で与えられる:
Figure 2009009593
ここで、C及びCはそれぞれ信号及びノイズの共分散行列を表す。
ピクセル毎のMSEパフォーマンスは次式を用いてそのようなシステムで予測される:
Figure 2009009593
ここで、Nはピクセル(画素)数であり、Tr[]はトレース演算子である。
しかしながら、既に形成済みの光学サブシステム及びディテクタサブシステムの調整を行う場合には、センサのノイズ共分散Cn及び光ポイント分散関数(PSF)及び従ってオペレータHは初期には未知である。なぜならそれらは製造変動を説明するものだからである。これらの項の特徴付けは、名目的な設計に基づいてそれらを予測するのではなく、それらを測定することで達成される。
上述したように、所与の光学サブシステムの光学特性を測定するのに様々な技術が存在する。PSF及びノイズ特性双方を推定する1つの簡易な手法は、画像フィールドにわたるいくつかのポイントでの理想的なポイントソースの反復的な測定を含む(スータテスト(star test)としても知られている。)。これらのポイントソースのフーリエ変換を平均化することで、PFSの推定を取得し、従って光伝達関数(OTF)を取得する。更に、ノイズ共分散行列はフラット又はダークテスト領域で、或いは他の更に複雑な従来法を用いて推定されてもよい。従来法は例えば以下の文献に説明されている。Glenn Healey and Raghava Kondepudy, “Radiometric CCD camera calibration and noise estimation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 16(3):267-276, 1994。
H及びCを特徴付ける手法によらず、これらの項が特徴付けられると、理想的な一群の光補償器Θ及び画像処理フィルタRは数式(5)の予測されたRMSEを最小化するように選択可能である。
非線形復元法を用いることは、可能なポストプロセシングパフォーマンスメトリックの空間を広げる。例えば、最尤法(ML:Maximum Likelihood)又は最大帰納法(MAP:Maximum A-Posteriori)法のような、或るクラスの非線形復元法はしばしば統計的に裏付けられる(動機付けられる)。そのような手法は最少偏差と共に漸近的に公平化される利点を有し、MMSEより強力な性質を有する。
例えば、信号sが決定性(deterministic)であるが未知信号であると仮定した場合、その信号のML推定は次式を満たす:
Figure 2009009593
ここで、L(y|s)は観測されたデータについての統計的な尤度関数(statistical likelihood function)である。この特定の例では、この信号モデルでの加法性ノイズはガウシンアンであることが仮定されているので、MLコスト関数は次式の最小二乗(LS)目的関数を低減する:
Figure 2009009593
多次元信号に関し(即ち、多数のピクセルの場合)、これらの行列をあらわに構築することが困難になるかもしれない。しばしば、反復法を用いて数式(7)を最小化し、その行列をあらわに構築する必要性を排除する。多くの状況では、演算子Hは不安定な解に対してランク不足(rank-deficient leading)である。そのような場合に、ソースパワースペクトル密度やソース関数の滑らかさ(source functional smoothness)のような付加的な情報が解空間を制限するために使用可能である。
未知信号について統計的な過去の情報が存在する場合、MAPコスト関数は次式のように書ける:
Figure 2009009593
ここで、C(s)は未知信号についての過去の情報を表現し、Ψはデータ目的関数及び過去の情報間でのラグランジアン(Lagrangian)形式の相対的重みを表現する。この形式のコスト関数は解析的な解を許容しないかもしれない。クレーマー・ラオ(Clamer-Rao)不等式は、境界を規定することに加えて漸近的な非線形推定器のパフォーマンスを予測するために使用可能である。
上述の調整法が、シミュレートされる書類スキャナシステムを用いて特定の具体例に適用される。このシステムでは平面的なテキスト書類が線形アレイディテクタで画像処理される。このモデルは充分に高いSNRを有する300dpiスキャナシステムに近い。以下のシミュレーションでは、線形アレイに関連するノイズは、1グレイレベル(256の内の1)に等しい分散を有する非相関加法性ガウシアンノイズとしてモデル化される。
図4−5はシングレットレンズに関する「焦点距離(図4参照)」の調整例である。シングレットレンズ画像処理システムについての一般的な仕様は次のように与えられる:
瞳孔径=9.8mm
画素間隔=15μm
充填率=75パーセント
ディテクタ深度=8ビット
焦点距離=72.5mm
対物距離=500mm
フィールド高さ=+/−150mm
レンズ厚さ=8mm
ガラス:BK7
波長=500nm
シングレットレンズは完璧に製造され組み立てられ、未知の光調整として後部焦点のみを残しているとする。この理想化された筋書きでさえ、従来の手法(後続の画像処理を考察せずにOPD最少焦点距離を見出す手法)は劣った結果をもたらす。
後部焦点距離を調整する従来法のシミュレーションを行うため、光学レンズ機構は、波面誤差測定装置によって特徴付けられるよう仮定される。OPD−RMS波面誤差は、図4の光線束で示されるように、完全なフィールド画像の0,70及び100パーセントを表すフィールド角にわたって平均化される。図5Aは後部焦点距離の関数として波面誤差を示す。波面誤差を最小化するため、後部焦点距離は、レンズの後部面からディテクタにかけて85mmの間隔(510で示されるポイント)になるように調整されるべきである。この値はレンズメーカーの数式(近軸焦点が84.8mmであることを示す)に一致する。
さて、(本願の)エンドトゥエンド調整法では、光学サブシステムはOTFで特徴付けられる。この例では、OTFは、PSFを推定するためにスターパターントレーニング画像を用いて、センサ面における26個の等間隔に離れたフィールド位置で推定された。OTFの推定値及びノイズパワー共分散Cn(この場合は非相関ノイズ)を用いることで、二乗平均平方根誤差(RMSE)パフォーマンスは、数式5で与えられるMSEの平方根を用いて予測される。信号共分散行列CSは、テキスト書類トレーニング画像からランダムに100タイルを選択し、信号が定常的であることを仮定しながら(即ち、Csはテプリッツ(Toeplitz)である)共分散行列を推定することで推定された。図5B中のライン530は、後部焦点距離の関数として予測されたRMSEを示す。予測されたRMSE曲線は、従来の調整法で予測された85mmとは異なり、理想的な焦点距離が86mm近辺(ポイント520)にあることを示す。
予測されたパフォーマンスを実際のパフォーマンスと比較するために、レンズ調整ソフトウエアZEMAXを利用しながら算出された実際のOTFを用いて、光画像は処理された。そして、各焦点距離でRMSEパフォーマンスを予測するのに使用される再構成フィルタが書類テスト画像に適用された。図5B中の曲線540A−Cはテスト画像に関する実際のRMSEを示す。実線540Aは、信号共分散行列Csを推定するのに使用されるのと同じ画像(テスト画像1)に関する実際のRMSEパフォーマンスを表す。実際のRMSEは数式5で予測されるパフォーマンスに近接している。破線540B及び540Cは、非常に異なる統計値を有するテスト画像(フォントサイズ、線間隔、グラフィックス、イメージ等が異なる)を用いる実際のRMSEを表す。再び、理想的な焦点距離は86mm近辺にある。つまり、この焦点でのRMSEは、従来の調整法から導出される85mmの焦点距離でのパフォーマンスより約2倍良い。
この例は、本調整法が改善をもたらすことを示し、従来法で調整され完全に製造された光学サブシステムにおいてさえ改善をもたらす。言い換えれば、エンドトゥエンド調整法を用いて、製造プロセス及び現在のレンズ調整に関する調整を改善できる。
図6−8は、より複雑なダブレットレンズ系の調整例である。ダブレットレンズ画像処理システムについての一般的な仕様は次のように与えられる:
瞳孔径=912mm
画素間隔=15μm
充填率=75パーセント
ディテクタ深度=8ビット
焦点距離=72.5mm
対物距離=500mm
フィールド高さ=+/−150mm
レンズ厚さ=8mm
ガラス:BK7
波長=500nm
比較のため、シングレットレンズの例と同様に、ダブレットレンズの後部焦点距離が従来法で波面誤差を最小化するように調整される。一群のシミュレーションは、組立誤差をシミュレーションするためにレンズ傾斜及び分散(decentration)を導入する。そのような製造欠陥があると、レンズ系はもはや軸対称(回転対称)ではなくなる。そして、波面誤差を推定する場合に、図6の光線束に示されるように、完全なフィールドの-100,-70,0,+70,+100パーセントに対応する5つのフィールド位置でOPD-RMSが測定される。
図7A−7Bは、第1レンズがX及びY方向双方で5度傾斜している場合のシミュレーション結果である。図7Aは後部焦点距離の関数として波面誤差メリット関数のグラフを示す。従来の調整法は、OPD-RMSを最小化するために、後部焦点距離を約91.8mm(ポイント710)に設定する。これは約5グレイレベルのRMSEになる。これに対して、エンドトゥエンドパフォーマンスに基づく調整は、後部焦点距離を約92.2mm(ポイント720)に設定し、これは図7Bに示されるようにRMSEを最小化する。約4グレイレベルをもたらすRMSEは、従来の調整法をほぼ20パーセント上回る改善になる。テスト画像1について実際のRMSEパフォーマンスをテストすると、従来の調整法4.3グレイレベルのRMSEをもたらすが、エンドトゥエンド調整法は3.6グレイレベルのエラーしか導入せずに済む。
図8A−8Bは、第1レンズがX及びY方向双方で光軸から0.1mmだけ偏心している場合の例を示す。図8Aは後部焦点距離の関数として波面誤差のグラフを示す。この例では、従来の調整法は後部焦点距離を約91.7mm(ポイント810)に設定し、約6.5グレイレベルのRMSEをもたらしている。これに対して、エンドトゥエンドパフォーマンス調整法は後部焦点距離を約92.4(ポイント820)に設定し、約4グレイレベルのRMSEを得ている。後部焦点距離の差分は約700ミクロンである。より重要なことに、RMSEで予測される改善効果は30パーセントより多い。テスト画像1に関し、実際のRMSEは、従来法では5.4グレイレベルであるが、エンドトゥエンド法では3.3グレイレベルで済む。
図9では第1レンズは図7の例のようにX及びY方向双方で5度傾斜している。しかしながらこのシナリオでは複数の光補償器がある。第1レンズは後方焦点距離を調整することに加えてX及びY双方で意図的に偏心させることができる。第1レンズの横方向の動き(シフト)はレンズの傾きに起因するエラーを直接的に補正しないが、これらの付加的な角度の自由度を用いてメリット関数(OPD-RMS又は予測されるRMSE)を改善することができる。今、3つの光補償パラメータがあり:X及びYに関する2つの偏心と、後部焦点距離である。図9は従来法とエンドトゥエンド調整法との比較結果を示す。“OPD-RMS”の行は波面誤差であり;“予測RMSE”は予測されたRMSEであり;“測定RMSE”はテスト画像1に関して測定されたRMSEである。
興味深いことに、この図表は、2つの付加的な補償器を加えることで、図7Aで約1.9波長乃至図9で1.13波長の誤差になり、波面誤差が顕著に減らされる場合でさえ、RMSEパフォーマンスはかなり劣化していることを示す。更にこれは、波面誤差又はOPD-RMSは全体的な画像処理システムパフォーマンスに関する最良の予測は必ずしも必要ないという考えを裏付ける。けれどもエンドトゥエンド調整法は、RMSEパフォーマンスを少し改善するための付加的な自由度を活用する。
上述のエンドトゥエンド調整法は多くの様々な手法で実現可能である。図10−12はいくつかの例を示す。これらの図において、「要素(component)」なる用語は実際の物理的なサブシステムに関して使用されるが、「モデル」はサブシステムのシミュレーション又はモデルに関して使用される。そして「光要素」なる用語はハードウエアで物理的に構築されたような実際の光学サブシステムを意味し、「光モデル」なる用語は例えばソフトウエアで実現されるような光学サブシステムのシミュレーション又はモデルを意味する。
図10は光測定装置150に基づく実施例である。装置1050の具体例は、正弦格子を用いてOTFを測定するテストベンチ、ポイントスプレッド関数を測定するスターテスト装置及び波面誤差を測定する干渉テスタ等を含む。この装置は通常的には光要素を特徴付けるのに使用される。例えば、光要素1010は干渉装置1050内に設けられてもよい。装置1050は、光要素を介して光を伝搬し、結果の波面を何らかの参照波面に対して比較し、光要素1010のOPDを判定する。従来の調整法では、光要素1010はOPDを直接的に最小化するように調整される。
しかしながら図10では測定装置1050でなされた特徴付け1055を用いて、光要素1010を介する伝搬を判定する。ディテクタサブシステム及びディジタル画像処理サブシステムを介する伝搬は、モデル1025,1035を通じて判定される。モデル1025,1035は、実際の物理的なディテクタ要素及びディジタル画像処理要素に存在する適切な如何なるプロセス変動も含み、それらの要素の測定に基づくことが好ましい。かくて電光画像処理システム全体を介する伝搬(の様子)が決定され、ポストプロセシングパフォーマンスメトリック1090が算出可能になる。フィードバックループ1070は光要素1010の補償器を物理的に調整し、パフォーマンスメトリック1090を最適化しようとする。補償器は手動的に(例えば、パフォーマンスメトリック1090の表示に基づいて技師により)又は自動的に(自動システムにより)調整されてもよい。
一実施例では、従来の測定装置1050はモデル1025及び1035をソフトウエアで組み込むように修正される。例えば、従来の干渉テスタは光学サブシステムのOPDマップを表示してもよい。この例ではテスタはディテクタモデル及びディジタル画像処理モデルを含むように修正される。テスト画像は修正されたテスタにロードされてもよい。OPDマップを取得した後に、テスタはディテクタ及びディジタル画像処理サブシステムを介する伝搬をシミュレートし、OPDマップではなく、シミュレーションされた画像を表示する。
図11では全体的な最適化ループがモデルに基づく。光要素のモデルを作成するために、実際の光要素1010が装置1150により特徴付けられる。好ましくはモデル1015は、補償器の調整による影響を正確に予測できる程度に詳細に規定される。電光画像処理システムを介する伝搬は、光モデル1015と他の2つのサブシステムのモデル1025,1035との組み合わせに基づいて決定される。フィードバックループ1170は、パフォーマンスメトリック1090に基づく光モデル1015における「仮想的な補償器」を調整する。様々なモデルが一旦最適化されると、補償器の設定内容は対応する物理的な要素に伝送される。例えば、光モデルを用いた最適化が82.3mmの最終的な後部焦点距離をもたらしたとすると、実際の物理的なシステムはその後部焦点距離を実現するように調整される。
図12では逆の手法がとられる。全体的な最適化ループは物理的な要素に基づく。電光画像処理システムを介する伝搬は、光要素1010を、ディテクタ要素1020を及びディジタル画像処理サブシステム1030を照光する物理的なソース(信号)を用いることで決定される。ディジタル画像処理要素の出力はパフォーマンスメトリック1090を計算するために使用され、そして物理的な要素を調整するためにフィードバックループ1270で使用される。図10−12はいくつかの具体例に過ぎず;他の実施例も明らかであろう。
詳細な説明は多くの具体的事項を含んでいるが、本発明の範囲を限定するように解釈されるべきでなく、それらは本発明の様々な実施例及び態様を例示するに過ぎない。他の様々な修正例、変更例及び変形例は、当業者に明白であり、添付の特許請求の範囲における本発明の範囲及び精神から逸脱せずに、ここに開示された本発明による方法及び装置の形態、動作及び詳細に対してなされてもよい。
以下、本発明により教示される手段を例示的に列挙する。
(第1項)
光学サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを含む電光画像処理システムを調整する方法であって、
光学サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを介するソースの伝搬路を決定するステップと、
判定された伝搬路の関数であるポストプロセシングパフォーマンスメトリックに直接的に基づいて前記光学サブシステムを調整するステップと、
を有することを特徴とする方法。
(第2項)
前記光学サブシステムを調整するステップが、前記光学サブシステムにより形成される前記ソースの中間的な光画像の画像品質を直接的に最適化することを必要とせずに実行される
ことを特徴とする第1項記載の方法。
(第3項)
前記光学サブシステムを調整するステップが、前記中間的な光画像の波面誤差の直接的な最小化又は前記中間的な光画像のスポットサイズの直接的な最小化を必要とせずに実行される
ことを特徴とする第2項記載の方法。
(第4項)
調整された光学サブシステムは、前記中間的な光画像の画像品質を最適化するように調整された光学サブシステムにより形成されたものより画像品質がかなり悪い中間的な光画像を形成する
ことを特徴とする第2項記載の方法。
(第5項)
前記光学サブシステムを調整するステップが、前記ポストプロセシングパフォーマンスメトリックに直接的に基づいて、前記光学サブシステム及び前記ディジタル画像処理サブシステムを連帯的に調整する
ことを特徴とする第1項記載の方法。
(第6項)
前記光学サブシステムを介するソースの伝搬路を決定するステップで、実際のソースが実際の光学サブシステムを照光するようにした
ことを特徴とする第1項記載の方法。
(第7項)
前記光学サブシステムを介するソースの伝搬路を決定するステップが、
実際の光学サブシステムのモデルを決定するステップと、
該モデルに基づいて前記実際の光学サブシステムを介する伝搬路を決定するステップと、
を有することを特徴とする第1項記載の方法。
(第8項)
前記実際の光学サブシステムのモデルが、前記実際の光学サブシステムの測定されたポイントスプレッド関数、振幅伝達関数又は光伝達関数に基づく
ことを特徴とする第7項記載の方法。
(第9項)
ポイントスプレッド関数、振幅伝達関数又は光伝達関数が、空間的に変化する
ことを特徴とする第8項記載の方法。
(第10項)
ポイントスプレッド関数、振幅伝達関数又は光伝達関数が、空間的に変化し且つ補間により近似される
ことを特徴とする第8項記載の方法。
(第11項)
光学サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを介するソースの伝搬路を判定するステップが、前記ソースの空間的モデルに基づく
ことを特徴とする第1項記載の方法。
(第12項)
前記ソースの空間的モデルが、2次元パワースペクトル密度関数を含む
ことを特徴とする第11項記載の方法。
(第13項)
前記ソースの空間的モデルが、前記ソースの統計的なモデルを含む
ことを特徴とする第11項記載の方法。
(第14項)
光学サブシステム及びディテクタサブシステムを介するソースの伝搬路が、y=Hs+nに基づいて決定され、yは光学サブシステム及びディテクタサブシステムを介した伝搬後のソースの画像であり、sは前記ソースの理想的なサンプル画像であり、Hは光学サブシステム及びディテクタサブシステム双方に関するサンプルポイントスプレッド関数であり、nはノイズである
ことを特徴とする第1項記載の方法。
(第15項)
前記光学サブシステムを調整するステップが、ポストプロセシングパフォーマンスメトリックに直接的に基づいて、前記光学サブシステム及び前記ディジタル画像処理サブシステムを連帯的に調整するステップを有し、前記光学サブシステム及び前記ディジタル画像処理サブシステムを連帯的に調整するステップは線形ディジタル画像処理サブシステムに限定され、線形ディジタル画像処理サブシステムは、前記光学サブシステム及び/又は前記ディテクタサブシステムのポイントスプレッド関数により引き起こされた劣化を復元する
ことを特徴とする第14項記載の方法。
(第16項)
前記光学サブシステムを調整するステップが、ポストプロセシングパフォーマンスメトリックに直接的に基づいて、前記光学サブシステム及び前記ディジタル画像処理サブシステムを連帯的に調整するステップを有し、前記光学サブシステム及び前記ディジタル画像処理サブシステムを連帯的に調整するステップは非線形ディジタル画像処理サブシステムを含み、該非線形ディジタル画像処理サブシステムは前記光学サブシステム及び/又は前記ディテクタサブシステムのポイントスプレッド関数により引き起こされた劣化を復元する
ことを特徴とする第1項記載の方法。
(第17項)
前記ポストプロセシングパフォーマンスメトリックが、光学サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを介するソースの伝搬路を決定することで予測された画像と前記ソースの理想的な画像との間の二乗平均誤差である
ことを特徴とする第1項記載の方法。
(第18項)
前記光学サブシステムに対する調整の記述を行うステップ
を更に有することを特徴とする第1項記載の方法。
(第19項)
光学サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを含む電光画像処理システムを調整するシステムであって、
光学サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを介するソースの伝搬路を決定する手段と、
判定された伝搬路の関数であるポストプロセシングパフォーマンスメトリックに直接的に基づいて前記光学サブシステムを調整する手段と、
を有することを特徴とするシステム。
(第20項)
ディテクタサブシステム及びディジタル画像処理サブシステムを含む電光画像処理システムの一部である光学サブシステムを調整する装置であって、
前記光学サブシステムを特徴付ける光測定装置と、
前記光学サブシステムの特徴を利用し、光学サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを介するソースの伝搬路に基づいてポストプロセシングパフォーマンスメトリックを判定するためのソフトウエアと、
ポストプロセシングパフォーマンスメトリックに直接的に基づいて前記光学サブシステムを調整するフィードバックループと、
を有し、前記光学サブシステムを介する伝搬路は前記光学サブシステムの特徴に基づくことを特徴とする装置。
(第21項)
前記光測定装置が、正弦格子を用いて光学サブシステムのOTFを測定する
ことを特徴とする第20項記載の装置。
(第22項)
前記光測定装置が、前記光学サブシステムのPSFを測定するスターテスト装置を有する
ことを特徴とする第20項記載の装置。
(第23項)
前記光測定装置が、前記光学サブシステムの波面を測定する干渉計装置を有する
ことを特徴とする第20項記載の装置。
(第24項)
前記フィードバックループが、前記ポストプロセシングパフォーマンスメトリックに応じて実際の光学サブシステムの物理的な補償器を調整する
ことを特徴とする第20項記載の装置。
(第25項)
前記ソフトウエアが、前記光学サブシステムの特徴に基づいて前記光学サブシステムのモデルを作成させ、
前記光学サブシステムを介する伝搬路が前記モデルに基づいて決定され、
前記フィードバックループは、前記ポストプロセシングパフォーマンスメトリックに応じて前記光学サブシステムのモデルにおける仮想的な補償器を調整する
ことを特徴とする第20項記載の装置。
(第26項)
電光画像処理システムを調整する装置であって、光学サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを有する電光画像処理システムと、
光学サブシステム、ディテクタサブシステム及びディジタル画像処理サブシステムを介するソースの伝搬路に基づくポストプロセシングパフォーマンスメトリックに直接的に基づいて前記光学サブシステムを調整する、ディジタル画像処理サブシステム及び光学サブシステム間に結合されたフィードバックループと、
を有することを特徴とする装置。
電光画像処理システムを調整する問題点を説明するためのブロック図である。 電光画像処理システムを調整する本発明による方法を示すフローチャートである。 調整方法例を示す図である。 シングレットレンズシステムの調整例を示す図である。 図4のシングレットレンズシステムにおけるOPD対焦点距離のグラフを示す。 図4のシングレットレンズシステムにおけるRMSE対焦点距離のグラフを示す。 ダブレットレンズシステムの調整例を示す図である。 レンズチルトを伴う図6のダブレットレンズシステムにおけるOPD対焦点距離のグラフを示す。 レンズチルトを伴う図6のダブレットレンズシステムにおけるRMSE対焦点距離のグラフを示す。 偏心性のある図6のダブレットレンズシステムにおけるOPD対焦点距離のグラフを示す。 偏心性のある図6のダブレットレンズシステムにおけるRMSE対焦点距離のグラフを示す。 レンチルトを伴う図6のダブレットレンズシステムでの従来の調整とエンドトゥエンド調整との比較例を示す図表である。 本発明による調整法の実施例を示すブロック図である。 本発明による調整法の実施例を示すブロック図である。 本発明による調整法の実施例を示すブロック図である。
符号の説明
100 電光画像処理システム
110 光学サブシステム
120 ディテクタサブシステム
130 ディジタル画像処理サブシステム
150 ソース信号
180 ディジタル画像
190 パフォーマンスメトリック
1010 光要素
1050 測定装置
1025 ディテクタモデル
1035 ディジタル画像処理モデル
1070 フィードバックループ
1015 光モデル
1020 ディテクタ要素
1030 ディジタル画像処理要素
1270 フィードバックループ

Claims (4)

  1. 入力される光画像源に基づいて、レンズを用いて中間的な光画像を形成する光学サブシステムと、
    前記光学サブシステムで形成した中間的な光画像を検出する検出サブシステムと、
    前記検出サブシステムにより検出した中間的な光画像を画像処理し、ディジタル画像を生成するディジタル画像処理サブシステムと、を含み、
    前記光学サブシステムは、前記レンズの調整を行う補償器を備え、
    前記ディジタル画像処理サブシステムは、前記光学サブシステムの光学特性を用いて前記画像処理を行うシステム。
  2. 前記補償器は、前記光学サブシステムの光学特性を用いて前記レンズの調整を行う請求項1に記載のシステム。
  3. 前記光学特性は光学伝達関数で表現される請求項1又は2に記載のシステム。
  4. 前記光学サブシステムは、光軸から偏心量を調整する第2の補償器を備える請求項1乃至3の何れか1項に記載のシステム。
JP2008208184A 2005-10-07 2008-08-12 電光画像処理システム Pending JP2009009593A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/245,563 US20070081224A1 (en) 2005-10-07 2005-10-07 Joint optics and image processing adjustment of electro-optic imaging systems

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006275549A Division JP4987414B2 (ja) 2005-10-07 2006-10-06 電光画像処理システムを調整する方法及び装置

Publications (1)

Publication Number Publication Date
JP2009009593A true JP2009009593A (ja) 2009-01-15

Family

ID=37772849

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006275549A Expired - Fee Related JP4987414B2 (ja) 2005-10-07 2006-10-06 電光画像処理システムを調整する方法及び装置
JP2008208184A Pending JP2009009593A (ja) 2005-10-07 2008-08-12 電光画像処理システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2006275549A Expired - Fee Related JP4987414B2 (ja) 2005-10-07 2006-10-06 電光画像処理システムを調整する方法及び装置

Country Status (3)

Country Link
US (2) US20070081224A1 (ja)
EP (1) EP1775967A3 (ja)
JP (2) JP4987414B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8928780B2 (en) 2010-11-01 2015-01-06 Canon Kabushiki Kaisha Adjustment method, adjustment apparatus, method of manufacturing optical system, image pickup apparatus, and method of manufacturing image pickup apparatus
JP2015148609A (ja) * 2014-01-30 2015-08-20 株式会社リコー 線形システムのためのシステム伝達関数の推定

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081224A1 (en) * 2005-10-07 2007-04-12 Robinson M D Joint optics and image processing adjustment of electro-optic imaging systems
US7889264B2 (en) 2006-05-12 2011-02-15 Ricoh Co., Ltd. End-to-end design of superresolution electro-optic imaging systems
JP4984140B2 (ja) * 2007-05-30 2012-07-25 富士フイルム株式会社 画像処理装置、画像処理方法、撮像装置、撮像方法、及びプログラム
US8248684B2 (en) * 2008-08-26 2012-08-21 Ricoh Co., Ltd. Control of adaptive optics based on post-processing metrics
US8294807B2 (en) * 2009-01-23 2012-10-23 Ricoh Co., Ltd. Imaging system with variable opto-mechanical system, aberrated optics and compensating filter bank
TW201044856A (en) * 2009-06-09 2010-12-16 Ind Tech Res Inst Image restoration method and apparatus
JP5676234B2 (ja) * 2010-12-22 2015-02-25 日本放送協会 適応光学を用いた撮像装置及び制御方法
US8949078B2 (en) 2011-03-04 2015-02-03 Ricoh Co., Ltd. Filter modules for aperture-coded, multiplexed imaging systems
WO2013136053A1 (en) * 2012-03-10 2013-09-19 Digitaloptics Corporation Miniature camera module with mems-actuated autofocus
FR2996925B1 (fr) * 2012-10-17 2017-06-16 Office Nat D Etudes Et De Rech Aerospatiales Procede de conception d'un imageur monovoie passif capable d'estimer la profondeur
US9219866B2 (en) 2013-01-07 2015-12-22 Ricoh Co., Ltd. Dynamic adjustment of multimode lightfield imaging system using exposure condition and filter position
US9030580B2 (en) 2013-09-28 2015-05-12 Ricoh Company, Ltd. Color filter modules for plenoptic XYZ imaging systems
US9465994B1 (en) * 2015-02-23 2016-10-11 Amazon Technologies, Inc. Predicting performance and success of large-scale vision algorithms
US10809284B2 (en) * 2017-10-31 2020-10-20 Microchip Technology Incorporated Systems and methods for improved root mean square (RMS) measurement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020041383A1 (en) * 2000-08-16 2002-04-11 Lewis Clarence A. Distortion free image capture system and method
US20030007077A1 (en) * 2001-07-09 2003-01-09 Logitech Europe S.A. Method and system for custom closed-loop calibration of a digital camera
WO2003073153A1 (en) * 2002-02-27 2003-09-04 Cdm Optics, Inc. Optimized image processing for wavefront coded imaging systems
US20040228005A1 (en) * 2003-03-28 2004-11-18 Dowski Edward Raymond Mechanically-adjustable optical phase filters for modifying depth of field, aberration-tolerance, anti-aliasing in optical systems
JP2007108176A (ja) * 2005-10-07 2007-04-26 Ricoh Co Ltd 電光画像処理システムを調整するための方法、システム及び装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69030345T2 (de) * 1989-09-10 1997-08-21 Canon Kk Automatisches Fokussierungsverfahren
US5021005A (en) * 1990-03-06 1991-06-04 Stephen Slenker Flexible conductor connector
US6282376B1 (en) * 1990-05-16 2001-08-28 Canon Kabushiki Kaisha Image stabilizing device
JP3047252B2 (ja) * 1990-11-05 2000-05-29 コニカ株式会社 合焦制御装置
US6134003A (en) * 1991-04-29 2000-10-17 Massachusetts Institute Of Technology Method and apparatus for performing optical measurements using a fiber optic imaging guidewire, catheter or endoscope
US5521695A (en) * 1993-06-25 1996-05-28 The Regents Of The University Of Colorado Range estimation apparatus and method
US5870179A (en) * 1993-06-25 1999-02-09 The Regents Of The University Of Colorado Apparatus and method for estimating range
WO1996024085A1 (en) * 1995-02-03 1996-08-08 The Regents Of The University Of Colorado Extended depth of field optical systems
US20020118457A1 (en) * 2000-12-22 2002-08-29 Dowski Edward Raymond Wavefront coded imaging systems
US20020195548A1 (en) * 2001-06-06 2002-12-26 Dowski Edward Raymond Wavefront coding interference contrast imaging systems
US20030057353A1 (en) * 2001-07-20 2003-03-27 Dowski Edward Raymond Wavefront coding zoom lens imaging systems
US6911638B2 (en) * 1995-02-03 2005-06-28 The Regents Of The University Of Colorado, A Body Corporate Wavefront coding zoom lens imaging systems
US7218448B1 (en) * 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
JP2964915B2 (ja) * 1995-04-28 1999-10-18 日本ビクター株式会社 レンズ駆動制御装置
US6021005A (en) * 1998-01-09 2000-02-01 University Technology Corporation Anti-aliasing apparatus and methods for optical imaging
US6069738A (en) * 1998-05-27 2000-05-30 University Technology Corporation Apparatus and methods for extending depth of field in image projection systems
US6130705A (en) * 1998-07-10 2000-10-10 Recon/Optical, Inc. Autonomous electro-optical framing camera system with constant ground resolution, unmanned airborne vehicle therefor, and methods of use
US6567570B1 (en) * 1998-10-30 2003-05-20 Hewlett-Packard Development Company, L.P. Optical image scanner with internal measurement of point-spread function and compensation for optical aberrations
US6670988B1 (en) * 1999-04-16 2003-12-30 Eastman Kodak Company Method for compensating digital images for light falloff and an apparatus therefor
US7151609B2 (en) * 2000-07-06 2006-12-19 Filmetrics, Inc. Determining wafer orientation in spectral imaging
JP4112165B2 (ja) * 2000-09-26 2008-07-02 オリンパス株式会社 光学系の調整方法及び調整装置
AU2002213370A1 (en) * 2000-10-20 2002-05-06 Wavefront Sciences Inc. Method for computing visual performance from objective ocular aberration measurements
JP4408001B2 (ja) * 2000-12-21 2010-02-03 キヤノン株式会社 撮像装置および撮像システム
US6873733B2 (en) * 2001-01-19 2005-03-29 The Regents Of The University Of Colorado Combined wavefront coding and amplitude contrast imaging systems
US6525302B2 (en) * 2001-06-06 2003-02-25 The Regents Of The University Of Colorado Wavefront coding phase contrast imaging systems
US6842297B2 (en) * 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
US7031054B2 (en) * 2002-10-09 2006-04-18 The Regent Of The University Of Colorado Methods and systems for reducing depth of field of hybrid imaging systems
EP1584067A2 (en) * 2003-01-16 2005-10-12 D-blur Technologies LTD. C/o Yossi Haimov CPA Camera with image enhancement functions
WO2004090581A2 (en) * 2003-03-31 2004-10-21 Cdm Optics, Inc. Systems and methods for minimizing aberrating effects in imaging systems
WO2006001785A1 (en) * 2003-05-30 2006-01-05 Cdm Optics, Inc. Lithographic systems and methods with extended depth of focus
JP2007513427A (ja) * 2003-12-01 2007-05-24 シーディーエム オプティックス, インコーポレイテッド 光学システムおよびデジタルシステムの設計を最適化するシステムおよび方法
JP2005189654A (ja) * 2003-12-26 2005-07-14 Konica Minolta Photo Imaging Inc 手振れ補正機構を備えたカメラ
US7165843B2 (en) * 2004-02-03 2007-01-23 Aurora Systems, Inc. Optical system with angular compensator
JP4164470B2 (ja) * 2004-05-18 2008-10-15 株式会社日立ハイテクノロジーズ 走査電子顕微鏡
US7616841B2 (en) * 2005-06-17 2009-11-10 Ricoh Co., Ltd. End-to-end design of electro-optic imaging systems
US7692709B2 (en) * 2006-05-12 2010-04-06 Ricoh Co., Ltd. End-to-end design of electro-optic imaging systems with adjustable optical cutoff frequency
US8149319B2 (en) * 2007-12-03 2012-04-03 Ricoh Co., Ltd. End-to-end design of electro-optic imaging systems for color-correlated objects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020041383A1 (en) * 2000-08-16 2002-04-11 Lewis Clarence A. Distortion free image capture system and method
US20030007077A1 (en) * 2001-07-09 2003-01-09 Logitech Europe S.A. Method and system for custom closed-loop calibration of a digital camera
WO2003073153A1 (en) * 2002-02-27 2003-09-04 Cdm Optics, Inc. Optimized image processing for wavefront coded imaging systems
US20030169944A1 (en) * 2002-02-27 2003-09-11 Dowski Edward Raymond Optimized image processing for wavefront coded imaging systems
JP2005519361A (ja) * 2002-02-27 2005-06-30 シー・デイ・エム・オプテイクス・インコーポレイテツド 波面符号化イメージングシステムの最適化された画像処理
US20040228005A1 (en) * 2003-03-28 2004-11-18 Dowski Edward Raymond Mechanically-adjustable optical phase filters for modifying depth of field, aberration-tolerance, anti-aliasing in optical systems
JP2007108176A (ja) * 2005-10-07 2007-04-26 Ricoh Co Ltd 電光画像処理システムを調整するための方法、システム及び装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8928780B2 (en) 2010-11-01 2015-01-06 Canon Kabushiki Kaisha Adjustment method, adjustment apparatus, method of manufacturing optical system, image pickup apparatus, and method of manufacturing image pickup apparatus
JP2015148609A (ja) * 2014-01-30 2015-08-20 株式会社リコー 線形システムのためのシステム伝達関数の推定

Also Published As

Publication number Publication date
EP1775967A3 (en) 2010-03-17
JP4987414B2 (ja) 2012-07-25
JP2007108176A (ja) 2007-04-26
US20080284896A1 (en) 2008-11-20
EP1775967A2 (en) 2007-04-18
US20070081224A1 (en) 2007-04-12

Similar Documents

Publication Publication Date Title
JP4987414B2 (ja) 電光画像処理システムを調整する方法及び装置
JP5808836B2 (ja) 波面を推定する方法
JP2006351017A (ja) 電気光学画像システムのエンドツーエンド設計
US20150178923A1 (en) Light-field aberration correction
Savakis et al. On the accuracy of PSF representation in image restoration
Haefner MTF measurements, identifying bias, and estimating uncertainty
Li et al. Self-measurements of point-spread function for remote sensing optical imaging instruments
US20120194711A1 (en) System And Method For Improving The Quality Of Thermal Images
JP2014081216A (ja) 波面光学測定装置
US20100256967A1 (en) Variable sample mapping algorithm
JP2018527667A (ja) 異なる点像分布関数での一連の画像内の様々な発光強度をもつ点光源の検出
Simioni et al. Point spread function reconstruction for SOUL+ LUCI LBT data
Mello et al. Artificial neural networks for centroiding elongated spots in Shack–Hartmann wavefront sensors
Clermont et al. Stray-light calibration and correction for the MetOp-SG 3MI mission
Bitlis et al. Parametric point spread function modeling and reduction of stray light effects in digital still cameras
Alici Extraction of modulation transfer function by using simulated satellite images
Clermont et al. Stray light entrance pupil: an efficient tool for stray light characterization
Seshadri et al. Initial results from a laboratory emulation of weak gravitational lensing measurements
Turri et al. AIROPA III: testing simulated and on-sky data
Řeřábek et al. The space variant PSF for deconvolution of wide-field astronomical images
Jiang et al. Distortion correction for a wide-angle lens based on real-time digital image processing
Yan et al. Extending AMIRAL's blind deconvolution of adaptive optics corrected images with Markov chain Monte Carlo methods
Guillard et al. Optical performance of the JWST/MIRI flight model: characterization of the point spread function at high resolution
Adelsberger Design guidelines for wavefront coding in broadband optical systems
Mack et al. In-flight Corrections to the WFC3 UVIS Flat Fields

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110719