JP2007304600A - 光カットオフ周波数が調節可能な電気光学画像化システムのエンド・ツー・エンド設計 - Google Patents

光カットオフ周波数が調節可能な電気光学画像化システムのエンド・ツー・エンド設計 Download PDF

Info

Publication number
JP2007304600A
JP2007304600A JP2007127406A JP2007127406A JP2007304600A JP 2007304600 A JP2007304600 A JP 2007304600A JP 2007127406 A JP2007127406 A JP 2007127406A JP 2007127406 A JP2007127406 A JP 2007127406A JP 2007304600 A JP2007304600 A JP 2007304600A
Authority
JP
Japan
Prior art keywords
optical
subsystem
electro
cutoff frequency
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007127406A
Other languages
English (en)
Other versions
JP5103055B2 (ja
Inventor
Dirk Robinson
ロビンソン ダーク
David G Stork
ジー ストーク デイヴィッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2007304600A publication Critical patent/JP2007304600A/ja
Application granted granted Critical
Publication of JP5103055B2 publication Critical patent/JP5103055B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Lenses (AREA)
  • Image Processing (AREA)

Abstract

【課題】エイリアシング効果を低減でき、従来技術の欠点の一部または全部を解消できるアプローチを提供することである。
【解決手段】光カットオフ周波数が調節可能な集積ローパスフィルタとして実質的に振る舞う光MTFを有する調節可能光システムである。
【選択図】図2

Description

本発明は、光システムに関し、特に、光カットオフ周波数が調節可能なローパスフィルタとして振る舞うように設計された光システムに関し、かかるシステムの「エンド・ツー・エンド」設計も含む。
電気光学画像化システムは、一般的に、光学サブシステム(例えば、レンズアセンブリ)、電子ディテクタサブシステム(例えば、CCDディテクタアレイ)、及び(例えば、典型的には専用チップまたはソフトウェアに実装された)デジタル画像処理サブシステムとを含む。ほとんどの電気光学画像化システムにおいて、フォトディテクタの空間的サンプリングレートは、光学サブシステムの回折限界よりも大幅に低い。現在の技術では、最も小さなピクセルの大きさ(すなわち、ピクセル間ピッチ)は、一般的には3〜4ミクロンのオーダーである。かかるピクセルの大きさに対応するナイキストレート(Nyquistrate)は、1mmあたり125から166ラインペア(lp/mm)である。光学サブシステムのFナンバーが低く、3から4であることは特別なことではない。回折限界は1/(λ×Fナンバー)であるから、回折を制限された光学サブシステムは可視スペクトルが500lp/mm程度の低い空間的周波数の画像コンテンツを通すことができる。
図1は、F/4.5回折制限光学サブシステムの変調伝達関数(MTF)110と、充填比100%15ミクロンピッチピクセルの場合のMTF120と、光学サブシステムとディテクタを併せた累積MTF130の例を示している。便宜上、光学サブシステムのMTFを光学MTF110と呼び、ディテクタサブシステムのMTFをディテクタMTF120と呼び、合成したMTFを画像化MTF130と呼ぶ。画像化MTFは光学MTFとディテクタMTFの積である。ディテクタサブシステムのナイキストレートも示した。この場合、33 lp/mmである。ナイキストサンプルレートはディテクタサンプリング周波数とも呼ぶ。ボックス140は、ナイキストレートまでのMTF領域を示す。画像化MTF130の大きな部分がサンプリングバンド140の外側にある(すなわち、サンプリング周波数より高い周波数である)。その結果、この電気光学画像化システムは、ナイキストレートより高い空間周波数の画像コンテンツを通す可能性がある。
理論的には、高い周波数の画像コンテンツは、ディテクタアレイのピッチを小さくして、ディテクタのサンプリング周波数を高くすることにより補足できる。しかし、ピクセルの寸法を小さくすることには限界がある。ピクセル寸法が小さくなると、ピクセルのダイナミックレンジと信号雑音比(SNR)とが悪くなる。
図1を参照して、ナイキストレートより高い空間周波数の情報をサンプリングすると、最終的な画像はモアレパターン等のエイリアシングアーティファクトを含む。エイリアシングの効果は、単一のフォトディテクタを用いるカラーシステムでより一層顕著である。かかる場合、カラーフィルタパターンによりナイキストレートが1/2に減少するが、エイリアシングの問題はさらに悪化する。研究者は、エイリアシングパターンをなくす様々な方法を開発している。程度の差こそあれ、これらのアプローチは一般的には光ローパスフィルタとして動作するディスクリートコンポーネントを含み、ナイキストレートより上の情報コンテンツを効果的に破壊してしまう。例えば、コダック社は、ディテクタの前に直接配置する光学的に透明なプレートを販売している。そのプレートには粒子がランダムに配置されており、ランダムな位相エラーを生じさせる。これにより光学画像が効果的ににじみ、ナイキストレートより高い周波数のコンテンツを減らし、エイリアシングの効果を低減する。
他のアプローチでは、複屈折板をディスクリートのローパスフィルタとして使用している。画像コンテンツは、副屈折板の空間シフト特性を用いて、色に依存する方法で複製される。複屈折板は、光学サブシステムの点広がり関数を複製するが、元の点広がり関数に対してシフトしている。元の点広がり関数とそれがシフトしたものとにより作られた累積点広がり関数は、1〜2ピクセスの幅にわたる。この複製により光学画像がぼやけ、ナイキストレートに関する周波数情報が低下する。しかし、かかる光学的ローパスフィルタは波長依存であることが多い。
さらに別のアプローチでは、CDMオプティクス社(コロラド州ボールダー)が、ある方法で入来波形をエンコード(encode)するために光学サブシステムの開口に配置される特殊設計コンポーネントである位相板を開発した。後でデジタル画像処理を仕様して、その位相板により生じたエンコードを逆転し、ある画像コンテンツを読み出す。しかし、CDM社のアプローチは、ある種のアーティファクトにしか機能せず、過度になめらかな画像となる。
これらのアプローチの欠点は、追加的コンポーネントが光サブシステムに追加され、複雑性とコストが増加することである。他の欠点は、これらのコンポーネントが一般的に具体的な状況に即して設計されていることである。光サブシステム自体がいろいろな場合(異なるFナンバー、焦点距離等)に使用できるように調節可能あるか、またはいろいろな異なるディテクタサブシステム及び/またはデジタル画像処理サブシステムで使用できる場合、これらのコンポーネントはどれも様々な状況に合うほど柔軟ではなく、これらのコンポーネントは調節可能なものが入手できない。
このように、エイリアシング効果を低減でき、上記の欠点の一部または全部を解消できるアプローチが必要である。
本発明は、光カットオフ周波数が調節可能な集積ローパスフィルタのように振る舞う光システムを提供することにより、先行技術の限界を克服するものである。フィルタの振る舞いは、ローパスフィルタを実施する別々のディスクリートなコンポーネントを有するのではなく、光システムの全体設計がローパスフィルタの特性に寄与するという意味で「集積されて」いる。フィルタの振る舞いは、MTFの光カットオフ周波数を変化させるように光システムを調節できるという意味で、「調節可能」である。例えば、光システムにおいてある光コンポーネントを動かすと、カットオフ周波数が変化する。
このアプローチの利点は、電気光学画像化システムのサブシステムとして使用したとき、光サブシステムを電気光学画像化システム全体のエイリアシングとモアレ効果を低減するように設計することができることである。例えば、ディテクタサブシステムが一定のピッチを有する場合、光サブシステムの光カットオフ周波数がディテクタサンプリング周波数にマッチするように光サブシステムを設計(または調節)することが好ましい。(例えば、ディテクタの配置が可変であることにより)ディテクタピッチが調節可能である場合、光カットオフ周波数を適宜調節できる。
あるいは、調節可能光サブシステムを、ピッチが異なるディテクタサブシステムと使用するように設計できる。光サブシステムをピッチが短いディテクタサブシステムと使用した場合、光カットオフ周波数をその短いピッチとマッチするように調節する。光サブシステムをピッチが長いディテクタサブシステムと使用した場合、光カットオフ周波数をその長いピッチとマッチするように調節する。このように、同一の光サブシステムを異なる多数のディテクタサブシステムと使用できるが、好ましくないエイリアシング効果の発生は抑えられる。
本発明の一態様では、電気光学画像化システムは、調節可能光学サブシステムと、ディテクタサブシステムと、及びデジタル画像処理サブシステムとを含む。ディテクタサブシステムはディテクタサンプリング周波数により特徴付けられる。光サブシステムはエイリアシングを低減するように設計される。結果として、光サブシステムの実際の光MTFは、回折限界の光サブシステムの光MTFに通常含まれるより高い割合のエネルギーをサンプリング帯域(すなわち、ディテクタサンプリング周波数より低い周波数)に含む。例えば、光サブシステムの設計は、画像化MTF(すなわち、光MTFとディテクタMTFの組み合わせ)が一定の空間周波数より上では実質的に0であるが、システムのサンプリング帯域内ではMTF特性はよいように行われる。画像化システムのサンプリング帯域では、ゼロクロスやMTFが極端に低くなることが無いことにより、コントラストが保存される。このように、画像コンテンツはディテクタサンプリング帯域に集中される。そのサンプリング帯域はデジタル画像処理サブシステムが使用可能な周波数である。より高い周波数の画像コンテンツは低減され、それによりエイリアシング効果が低減される。
本発明の他の態様には、上記の装置及びシステムの設計方法、及び上記全部のアプリケーションが含まれる。
本発明には他の利点と特徴があり、これらは添付した図面を参照して以下の本発明の詳細な説明と添付した請求項から容易に明らかになるであろう。
図面は、本発明の実施例を例示のみを目的として示している。当業者には以下の説明から言うまでもないことであるが、ここに例示した構成と方法の別の実施形態を、ここに説明する本発明の原理から逸脱することなく、利用することができる。
図2は、本発明による光サブシステム210を含む電気光学画像化システム200を示すブロック図である。光サブシステム210に加えて、電気光学画像化システム200は、ディテクタサブシステム220とデジタル画像処理サブシステム230とを含む。
光サブシステム210は、いくつかの異なる状況でエイリアシングを低減するように調節することができる。図3は、このコンセプトの例を示す周波数図である。この例では、光サブシステム210は、異なるディテクタピッチのディテクタサブシステムと使用するように設計されている。そのディテクタサブシステムをAとBとする。図3において、曲線310は等価回折限界光学サブシステムのMTFである。実際の光学サブシステムは回折限界ではない。むしろ、エイリアシング効果を低減するために、ローパスフィルタのように振る舞うように設計される。周波数325Aは、ディテクタサブシステムAのディテクタサンプリング周波数である。周波数325Bは、ディテクタサブシステムBのディテクタサンプリング周波数である。
曲線320Aは、光サブシステム210をディテクタサブシステムAと使用したときの、その光サブシステム210の理想に近い光MTFを示す。光MTFはディテクタサンプリング周波数325Aとマッチする光カットオフ周波数を有し、それゆえサブシステム210はディテクタサンプリング周波数325Aより高い周波数で画像コンテンツを低減する。同様に、曲線320Bは、光サブシステム210をディテクタサブシステムBと使用したときの、その光サブシステム210の理想に近い光MTFを示す。光MTFはディテクタサンプリング周波数325Bより高い周波数の画像コンテンツを低減する。光サブシステム210は、光MTF320Aと320Bの間で調節可能なように設計されている。
光カットオフ周波数は、いくつかの方法で定義することができる。例えば、図3の例では、カットオフ周波数は、光MTFが所定の最小値330より小さくなる空間周波数として定義される。図3では、光ローパスフィルタは、カットオフ周波数がディテクタサンプリング周波数325Aまたは325Bと同じであるように設計される。他の設計では、最小値は、図3に示した絶対的な量ではなく、回折限界のMTFに対して相対的に定義されてもよい。また、設計によっては、カットオフ周波数は、ディテクタサンプリング周波数とは異なってもよい。
あるいは、光サブシステムのアンチ・エイリアシング特性の有効性を、光MTFが所定値よりも小さくなる空間周波数により定義することもできる。光サブシステムのアンチ・エイリアシング特性の有効性は、他の表現として、ディテクタサンプリング周波数(325AまたはB)と回折限界340との間の光MTFの積分としてもよい。これはサンプリング帯域の外側にあるエネルギーの尺度(measure)である。具体的な目標値より下になるように指定することもできる。ディテクタサンプリング周波数までのMTFの積分をディテクタサンプリング周波数と回折限界の間のMTFの積分で割った比を考える。これらのメトリック(metrics)は、画像化システムのローパスフィルタ能力に関する「品質」を測るために使用できるいくつかの例である。他のメトリックは明らかである。光MTFだけではなくて、(ディテクタMTFも考慮に入れる)画像化MTFに関して同様のメトリックを使用してもよい。
図2の残りは、かかる光サブシステム210の設計上の問題を示している。画像化システム200全体は信号源250を画像化して、デジタル画像280を作るためのものである。一般的な設計上の問題は、一定の制約条件下で光サブシステム210及び/または画像化システム200をその全体的な性能を「最適化」するように設計することである。多くの場合、最適化の目標は、入力源の特定用途向けに理想化したバージョン255に一致するデジタル画像280を作ることである。
図2と図4は、本発明による電気光学画像化システム200の設計方法例を示している。システム200全体の設計に関する次の例を説明する。しかし、ここに示す原理は光サブシステム210だけの設計にも使用できる。図4を参照して、この設計方法は入力源250の空間モデルを生成する段階を含む(ステップ410)。入力源の空間モデルは、前に作ったモデルや与えられたモデルに基づき、経験的に測定された(empirically measured)具体的な状況に対して求められる。照明、放射分析(radiometry)、ジオメトリ(geometry)が入力源モデルに反映できるファクタである。空間モデルは、好ましくは入力源の統計的モデルを含む。
光サブシステム210の設計空間も決定される(ステップ420)。図2において、各サブシステムはそれぞれそのパラメータθo、θd、θiにより決まる。例えば、光学サブシステム210の設計空間は、ベクトルθoにより記述され、レンズの数、タイプ、サイズ、曲率半径、ストップ等により決まる。ディテクタサブシステム220の設計空間は、ベクトルθdにより記述され、ピクセル数、ディテクタ間隔、充填率(fill factor)、帯域幅、ピクセルジオメトリ等を数値化したものである。この具体例では、デジタル画像処理サブシステム230はデジタルフィルタを含み、デジタル画像処理サブシステム230の設計空間(ベクトルθiで記述される)においてデジタルフィルタのパラメータ(例えば、係数の数、係数値等)を特定してもよい。設計に付随する様々な非画像化制約条件やコスト270を決めてもよい。各サブシステムの設計空間の大きさは、アプリケーションに応じて変わり得る。場合により、サブシステムの設計に大きな自由度が許され得る。他の場合には、サブシステムの設計には強い制約があったり、予め決められている場合(例えば、ディテクタアレイが事前に選択されている場合)もある。例えば、光サブシステム210だけを設計している場合、唯一の設計パラメータはθoである。実際、ディテクタサブシステム220とデジタル画像処理サブシステム230の仕様を決定しなくてもよい。代表的なサブシステムを使用してそのパフォーマンスをモデル化してもよい。
後処理性能メトリック290も決定される(ステップ430)。画像処理の前ではなく画像処理後の性能に基づくという意味で、性能メトリック(performance metric)は後処理に係わるものである。例えば、光学サブシステムのみにより作られる中間光学画像の波面誤差またはスポットサイズの大きさは、光学サブシステムの従来の誤差メトリックであり、後処理性能のメトリックではない。図2において、後処理性能メトリック290は、画像化システム200により作られたデジタル画像280の、理想的デジタル画像255との比較に基づく。設計状況では多くの場合、システムにより作られた画像280の計算は、入力源の空間的モデルに基づき、サブシステム210、220、230を通る入力源250の特徴の伝搬をモデル化することにより行われる。
設計ステップ440は、場合によっては一定の制約条件(例えば、デジタルフィルタ設計の制限)の下で、後処理性能メトリック290を最適化する設計空間内の設計を選択することである。光学サブシステム210とデジタル画像処理サブシステム230は、従来の設計アプローチのように順次に設計するのではなく、同時に設計する。数学的には、図2の記法を用いると、設計ステップは、場合によってはコスト270による一定の制約条件の下で、システムパラメータθo、θd、θiを選択して性能メトリックを直接最適化することである。例えば、画像ベースの後処理性能メトリック290を、最大金銭的コストの下で最適化することができる。あるいは、デジタル画像280の最小許容後処理性能メトリック290の下で、金銭的コストを最小化してもよい。
いくつかの最適化アルゴリズムを使用できる。線形の場合には、パラメータを解析的に解くか、または既知の振る舞いのよい数値解法を用いて解くことができる。より複雑な場合には、一定の非線形の場合が含まれ、期待値最大化、傾斜降下、線形プログラミング等の方法を使用して設計空間をサーチすることができる。
図2と図4では、光学サブシステム210、ディテクタサブシステム220、またはデジタル画像処理サブシステム230が単体で最適化される必要はないことに留意せよ。
以下に、入力源250、光サブシステム210、ディテクタサブシステム220、及びデジタル画像処理サブシステム230のモデル例をさらに説明する。1つの具体的なモデル(唯一のモデルというわけではない)を説明し、それによりエンド・ツー・エンドの統合的フレームワークを提示する。
図4の設計方法は、可能であれば入力源250の空間的モデルを含む。ほとんどのシナリオでは、画像化されるすべての可能な入力源オブジェクトのユニバース(universe)が、アプリケーションにより自然に制約される。例えば、このオブジェクトのユニバースは、バーコード読み取りシステムの場合のように、強く制約されていてもよいし、汎用のコンシューマ向けカメラの場合のように制約されていなくてもよい。大きくても小さくても、この空間の有界性によりシステム設計者には重要な先行情報が提供される。例えば、入力源がバイナリレベルのスキャンされた文書であることを知っていると、特にデジタル画像処理サブシステムに強い制約と情報が提供される。
一アプローチでは、3次元信号源輝度関数sobj(x′、y′、z′、λ)があり、これは3次元の現場形状、反射率、照明の間の複雑な相互作用によるものであるとする。この簡略化した空間モデルにおいて、信号は(x′、y′、z′)により決まる3次元空間内の点から発する波長λを有する非干渉光の放射強度を表すと仮定する。電気光学画像化システム200の目的は、この入力源信号の2次元投影をキャプチャすることである。
一実施形態では、後処理性能メトリック290は、実際の(またはシミュレーションされた)画像280の理想的画像255との比較に基づく。理想的画像255はいろいろな方法でモデル化できるが、そのうちの1つを以下に説明する。この例では、波長λを有する理想化された順モデル(forward model)は次式(1)でモデル化できる:
Figure 2007304600
ここで、P()は画像座標空間(x、y)への理想的射影変換を表し、B()は空間サンプリング期間Tとマッチしたカットオフ周波数を有する理想的バンドパスフィルタである。インデックス(m、n)は、最終的なサンプリングされた画像のピクセル位置のインデックスを表す。理想的画像sideal255が画像化システム200の目標であるから、サブシステムの効果はその理想化された画像sideal(m,n,λ)に対するその効果により定式化されている。そのため、このモデルでは、3次元オブジェクト空間における入力源関数sobjと、画像平面に投影された後のものsprojと、理想化した光学系を通過したあとのものsimgと、サンプリングされた後のものsidealとを区別する。サンプルsidealの順序付けられた集合をベクトルにより表すと便利なことが多い。
実際の画像280に移り、図5は実際の画像280を作る電気光学画像化システムのモデルを示すブロック図である。入力源250の空間モデルを作るために使用する情報には種々の形態がある。例えば、設計者は検討している状況の3次元配置(geometry)に関する詳細な情報を有している。その状況(scene)の空間的に変化する照明特性を使用して入力源250をモデル化してもよい。例えば、テキストまたはテキスト文書画像を処理する場合、設計者は画像化されるテキストの言語に関する情報を有し、または信号がバイナリソースを表すことに関するとの情報等を有している。1つのアプローチでは、入力源信号に関する情報は統計的な性質を有することを仮定して、パワースペクトル密度関数によりモデル化される。かかる情報は、システムにより画像化する入力源を表すオブジェクトのコーパス(corpus of objects)から抽出しても、物理的な第一原理からモデル化してもよい。この知識はデジタル画像処理サブシステムの設計において特に有用である。多くの画像処理方法は、理想化された画像化システムにより画像化される、観測される場面のコンテンツに関する先行情報に依存する。
光サブシステム210に移り、光の具体的な波長λについて、順光画像化モデルは次式(2)で表される:
Figure 2007304600
ここで、o(x,y)は、(射影変換P()により作られる)理想的な投影光学画像simg(x,y)を空間的に変化する点広がり関数(PSF)
(外1)
Figure 2007304600
によりぼかしたあとの光学画像である。フォトディテクタ220により検知された後のデジタル画像d[m,n]は、次式(3)で与えられる:
Figure 2007304600
ここで、hdet(x,y)は空間的に不変なディテクタ積分関数であり、Tはピクセル分離または空間的サンプリングレートであり、q()はディテクタに関連する量子化であり、e[m,n]は検出プロセスに関連するランダムノイズである。
この順モデルは次式(4)の線形モデルにより近似できる:
Figure 2007304600
ここで、sは帯域制限入力画像sideal[m,n]のサンプルのベクトルであり、Hは光学点広がり関数
(外2)
Figure 2007304600
と、センサ積分関数hdet(x,y)の両方の累積的効果を表す行列であり、eはディテクタによる追加的ランダムノイズを表す。mとnはサンプリング後のインデックスを表す。式(4)の形は主として簡単化した表示として有用である。実際のシミュレーションではこのような行列を明示的に構成する必要はない。
デジタル画像処理サブシステム230の効果もモデル化する。この例では、画像処理は線形であるとの制約を受ける。よって、最終的画像は次式(5)で与えられる:
Figure 2007304600
ここで、Rは線形画像処理を記述する行列である。
式(5)は単一の波長に対して作られたものである。これは、単一波長で動作する単色システムについて成り立つ。波長帯域にわたって動作するが単一の出力信号を出すシステムの場合、上で展開した式をその波長帯域にわたって積分する。単色モデルは、異なるいくつかの方法で、カラー画像化システム(すなわち、1つ以上の出力信号(例えば、R,G,B信号)を生成するシステム)に拡張できる。カラー画像は次式(6)で計算できる:
Figure 2007304600
ここで、インデックスlは異なるカラー帯域を示し、例えばフォトディテクタの波長感度を含めて、関心波長帯域(wavelength band of interest)にわたって上記の量を積分してもよい。1つのアプローチでは、デジタル画像処理サブシステムについては、各カラー帯域は別々に設計される。各カラー画像d(l)はそれ自体の波長に依存するデジタルフィルタR(l)により処理される。このデジタルフィルタはカラー帯域毎に異なってもよい。このように、各カラーチャネルはある程度独立して最適化できる。別のアプローチでは、単一の波長独立デジタルフィルタRをすべてのカラーチャネルに使用する。便宜上、以下では単色の場合を説明するが、これは多色システムに拡張できることは言うまでもない。
図6は、図5と上記の式4乃至6に示した伝搬モデルを実施するソフトウェアアーキテクチャを示すブロック図である。ソフトウェア600には以下の入力がある:
a.入力画像s250を記述する入力画像ファイル650、
b.光学サブシステム210を記述するレンズ設計ファイル610、
c.ディテクタサブシステム220を記述するディテクタファイル620、
d.デジタルフィルタ230を記述するフィルタファイル630。
これらは便宜上別々のファイルとして示すが、情報は異なる形式とファイルフォーマットで入力されてもよい。ソフトウェア600は以下の機能のためのモジュールを含む:レイトレーシング602、歪み603、照明(例えば、口径食)604、伝達関数・点広がり関数605、ノイズ606、デジタルフィルタリング607。
ソフトウェア600は以下の通り動作する。レイトレーシングエンジン602は、レンズ設計ファイル610で指定された光学サブシステムをレイトレーシングして(ray trace)、行列Hの計算に必要な光学特性を計算する。モジュール603−604は、このモデルを入力画像ファイル650で指定された入力源sに適用して、検出画像dを生成する。モジュール607は、線形デジタルフィルタRを使って、最終出力画像
(外3)
Figure 2007304600
を生成する。
画像が大きい場合、行列HとRを明示的に構成することは現実的ではない。様々な簡略化をして計算効率を高める。例えば、照明の変化による光学的効果(例えば、口径食(vignetting))や歪みをぼかし(blurring)に関係する光学的効果とは切り離す。順光学モデルでも画像処理モデルでも、これらの効果は順次適用する。例えば、光チャネル行列Hは、次式(7)のように3つの成分に分かれる:
Figure 2007304600
ここで、Hblurは(モジュール605に実装される)光学/センサPSFで画像の畳み込みをキャプチャし、Hillumは口径食(vignetting)による画像フィールドにわたる照明の変化をキャプチャする対角行列であり(モジュール604)、Hdistは光学的歪みによる画像の歪み(warping)を表す(モジュール603)。また、空間的に変化するPSF
(外4)
Figure 2007304600
は区分的不変式(piecewise invariant)として近似できる。画像空間はタイルに分割される。各タイルは
(外5)
Figure 2007304600
空間中の一定の領域をカバーし、PSFは各タイル内で空間的な不変量としてモデル化される。このように、PSF全体は空間的に不変な一組の点広がり関数hopt(x,y,u)によりモデル化される。ここで、uは空間的に不変なPSFが成り立つ領域を示す。このアプローチは、高速フーリエ変換(FFT)を用いて効率的に周波数領域での畳み込みをサポートしている。
より詳しく説明すると、まず光学的歪みHdistを検討する。レイトレーシングエンジン602は、レンズ設計における幾何学的歪み(geometrical distortion)を決定する。この幾何学的歪みは、近軸(歪んでいない)画像座標と実際の(歪んでいる)画像座標の間の写像(mapping)である。ディテクタは実際の画像空間にあるが、歪んでいない画像sidealは近軸画像空間にある。歪みが無いことを仮定した幾何学的射影だからである。これを説明するため、sidealの歪んだバージョン中の点(mT,nT)がディテクタ[m,n]上にあるsidealの歪んでいないバージョン中の実際の点であるように、モジュール603が画像sidealを歪める。別の説明の仕方をすると、実際の画像は歪められた画像座標(mT,nT)に対して規則的なグリッドに配置される。ソフトウェアはこの一組の実際に歪んだ座標に対応する歪んでない座標を決定する。
1つのアプローチでは、近軸座標から実際の座標への歪み写像(distortion mapping)は3次関数として近似される。さらにまた、歪みは小さいと仮定し、逆写像も(3次関数を厳密に逆にするのとは対象的に)3次関数としてモデル化できる。他のアプローチも使用できる。例えば、歪み写像関数はサンプル点により表わされ、逆写像を求めるために補間される。この写像はHdistを構成するために使用される。行列Hdistの行は、線形補間カーネルの係数により構成される。係数は所望のサンプル位置とsideal中の実際のサンプル位置の間の距離により決まる。
口径食(vignetting)と他の照明効果はHillumにより説明される。画像空間では、これらの照明効果は空間的に変化するゲインファクタとして明らかになり、対角行列Hillumとして実装できる。実際のゲインはレイトレーシングエンジン602により決定される。1つのアプローチでは、ゲインファクタは回転対称の多項式(すなわち、半径rの多項式)としてモデル化される。
Hblurは、空間的に変化するぼかし、または光学系またはフォトディテクタに関連する点広がり関数(PSF)を説明する。ぼかし演算は、光学系によるボケ
(外6)
Figure 2007304600
と、フォトディテクタピクセルの配置による空間的インテグレーション(spatial integration)hdet(x,y)の両方の組み合わせである。フォトディテクタのボケは空間的に不変であるが、光学系のボケは一般的にはフィールドに依存する特徴である。画像化システム全体を高い精度でシミュレーションするために、この空間的に変化するPSFを正確にモデル化しなければならない。残念ながら、各ピクセルについて異なるPSFを明示的に計算して適用することは、実行不可能である。
別のアプローチでは、空間的に変化する点広がり関数PSF
(外7)
Figure 2007304600
は、PSFが空間的に不変であると近似できるタイルによりなるPSFにより近似できる。一実施形態では、インデックスuで示される各だいるは大きさがD×Dピクセルの正方形である。PSFを空間的に不変なタイルで近似することにより、明示的な空間領域の畳み込みを行うのではなく、FFTを用いて周波数領域でブレ演算(blurring operation)を効率的に実施できる。D×Dの各画像タイルは、+/−Pピクセルの画像データを加減(pad)して、大きさがB×Bの大きな画像タイルを作る。入力画像の縁では、反射画像データ(reflected image data)である。この画像タイルはFFTを用いて周波数領域に変換され、このタイルuの全伝達関数(TTF)Hblur(u)とかけ合わせられる。逆FFTの後、ぼかした画像データをタイルインデックスuの出力画像に書き込む。
タイルサイズDはシミュレーションへの入力パラメータである。Dを小さくすると、計算は複雑になるが、空間的に変化するPSFのタイルベースの近似の精度が上がる。タイルベース近似のタイリングによるアーティファクトを防ぐために必要となるパッド(padding)Pの量もシミュレーションへの入力パラメータである。パッドの量は一般的にPSFと少なくとも同じ大きさであるべきである。一般的に、光学システムのPSFのサイズは非常に大きくはない。しかし、デジタルフィルタの空間的範囲が大きい場合に後の画像処理を実行するとき、このパッドが重要になる。Pが小さすぎると、タイリングによるアーティファクトは、空間的に変化するプロセスのタイルベースの近似の精度が大きく下がる。
上記の全伝達関数は、光学サブシステムとディテクタサブシステムの両方を考慮にいれた伝達関数である。この出願書類では、全伝達関数も画像化MTFと呼ぶ。
ノイズモジュール606に戻り、1つのアプローチでは、ノイズは追加的ガウシアンノイズとしてモデル化される。1つのモデルでは、追加的ノイズは位置(x,y)に依存しない分散σ2を有する白色ガウシアンノイズであると仮定する。ノイズパワーまたは分散は、ノイズパワースペクトル密度関数(PSD)によりシミュレーションパラメータとして入力される。PSDはノイズを相関または整形するために使用される。あるいは、ノイズはランダム数ジェネレータを用いてモデル化される。
代替的モデルでは、追加的ガウスノイズの分散は、空間的に変化し、そのピクセルに関連するグレイレベルに依存する。この場合、ガウシアンノイズは高光子領域(high-photon regime)における光子ノイズをシミュレーションするために使用される。1つのピクセルのノイズ分散は次式(8)で与えられる:
Figure 2007304600
ここで、s[m,n]は歪み、相対的照明、ボケを考慮してシミュレーションしたサンプル画像であり、bはディテクタのビットの深さ(6,8,12等)であり、Qはピクセルの量子井戸サイズである。bとQは両方ともシミュレーションソフトウェアへの入力である。このように、ディテクタの量子井戸のサイズが大きくなると、ショットノイズパワーは減少し、その逆も成り立つ。
モジュール607に移り、デジタル画像処理効果は複数の段階を含む:例えば、ぼけ修正、歪み補正、空間的等化等である。この例では、観測される画像は最初に空間的に変化するデジタルフィルタを用いてボケ修正される。次に、歪み補正と空間的等化が適用される。
ボケ修正は、PSFについて前述したのと同じセグメント化アプローチを用いて達成される。画像空間はフィルタ領域に分割され、デジタルフィルタは各フィルタ領域内で空間的に不変である。すなわち、そのフィルタ領域内のすべての画像点に同じフィルタカーネルR[ω,ν,u]を適用する。ここで、[ω,ν]は空間的周波数インデックスであり、uはフィルタ領域を示す。1つのアプローチでは、1つの領域のデジタルフィルタは:
Figure 2007304600
ここでH[ω,ν,u]はu番目のフィルタ領域のTTFであり、S[ω,ν]は入力源画像のパワースペクトル密度(PSD)であり、E[ω,ν]はノイズのPSDである。
上記の方法を用いて理想的画像s255(式1参照)と実際の画像
(外8)
Figure 2007304600
280(式5参照)を計算することができる。図2を参照して、理想的画像と実際の画像を比較して、性能メトリック290を計算する。使用する性能メトリックは異なるものでもよい。
1つの性能メトリックは理想的画像sideal[m,n,λ]と(シミュレーションされた)実際の画像
(外9)
Figure 2007304600
の間のRMSEである。これは次式(10)で与えられる:
Figure 2007304600
ここで、Nは組み合わせられたすべてのカラーチャネルの画像にあるピクセルの総数であり、λiは異なるカラーチャネルを示す。
図6と上記の説明では、電気光学画像化システムを通る入力源の伝搬のソフトウェアモデル化の1つのアプローチを例示した。このソフトウェア600は、光学設計610とデジタルフィルタ設計630とに関連するデジタル画像280及び/またはRMSEを分析する機能を有している。
この例では、設計の最適化を以下のように実施する。画像フィールドをU個のタイルに分割する。タイル数を増やすと、最適化の精度が向上するが、最適化の計算速度は遅くなる。対称性を用いて計算負荷を低減することもできる。RMSE性能を予測するため、上述の通り、異なるタイルの全伝達関数(TTF)を計算する。上記のように、OPDサンプリング解像度、タイルサイズ、ディテクタ特性、PSD画像に関する情報は別々のファイルに格納され、ソフトウェアがそれをアクセスする。最適化の際に作られたOPD関数は、シミュレーションの際に作られたOPD関数と異なる面がある。この実施形態では、最適化のために作られたOPD関数は傾き(tilt)が除去されている。傾きの除去では、光学系により生じた視線(line-of-sight)エラーは無視する。これは、大部分、かかるシフトエラーは画像処理で補正できるとの仮定による。この実施形態は、空間的ぼけによる解像度の悪化に焦点を絞ったものである。
各タイルについて、適当なウィーナーフィルタ(Wiener filter)を用いてタイルをフィルタすることを仮定してMSEを計算する。計算量を減らすため、この場合には、そのウィーナーフィルタを明示的に計算することなくMSEを予測できる。任意のタイルについて、予測MSEは次式(12)で与えられる:
Figure 2007304600
ここで、PSD画像のサイズはB×Bピクセルである。TTF H[ω,ν,u]はPSD画像サイズに一致するようにスケールされる。フィールドの各位置に対して予測MSEを計算すると、1つの設定に対するRMSEが次式(13)で予測される:
Figure 2007304600
異なる設定に対するこれらのエラーの尺度を組み合わせて、全体的性能メトリック290を求める。この性能メトリック290を最適化モジュールに送る。その最適化モジュールは、それ自体の内部サーチルーチンを使用して、後処理性能メトリックに直接基づいて光学設計を最適化する。式(12)ではフィルタ領域とタイルが1対1に対応していることを仮定した。
上記の定式化では、式(12)はナイキスト周波数より高い信号コンテンツを事実上無視している。式(12)に基づき性能尺度を最適化すると、ナイキストレートより上の信号コンテンツが最小であれば、電気光学画像化システムの性能が最大化される。しかし、ほとんどの画像化シナリオでは、このことを保証することは困難である。
それゆえ、エイリアシングの効果を最適化フレームワークに組み込むことが有利である。エイリアシングアーティファクトはサンプリング帯域においてノイズの様な統計的特性を有するようだと何人かの研究者が言っている。1つの一般的なモデル化アプローチでは、エイリアシングアーティファクトを、次式(14)のパワースペクトル密度(PSD)を有するノイズ源と見なす:
Figure 2007304600
式(14)は、全体的システム伝達関数により重みづけされてからサンプリング帯域に折り畳まれた信号PSDの一部であると解釈できる。エイリアシングノイズPSDはシステム伝達関数と入力源PSDの両方の関数である。式14を用いてエイリアシングノイズPSDを計算するため、サンプリングレートより上の信号PSDのモデルが必要である。
このPSDはいくつかの方法で求めることができる。以下では、画像PSDのモデルをトレーニング画像のデータベースにフィットさせる。特に、この例では、PSDは極座標で次式(15)で記述される:
Figure 2007304600
ここで、θは角度座標であり、ρは半径距離座標である。以下のシミュレーションでは、数百の画像のデータベースを使用して、等間隔の角度ビンθについてパラメータαとβを推定する。
エイリアシングノイズPSDを決定したので、ディテクタノイズPSDとエイリアシングノイズPSD EA(ω,ν)の合計を、最適化における全体的ノイズPSD E(ω,ν)として使用することにより、上記のアプローチをエイリアシングノイズを説明するように適合させることができる。
Figure 2007304600
式(16)に示したノイズPSD E(ω,ν)を使用する式(12)の予測MSEに基づくメトリック関数は、サンプリング帯域中のシステム伝達関数を最大化し、同時にサンプリング帯域外のシステム伝達関数を最小化するように試みる。また、最適化により、デジタル画像処理が最終的画像を最もスムースにすることと、シャープにすることとの間で最高のバランスをとる。
以下は、次の特性を有する単色トリプレットレンズシステムの設計例である:
焦点距離:35mm
フィールド角:+/−20°
BK7ガラス
波長:550nm
Fナンバー:5.0
12個の光学設計パラメータすなわち自由度がある:表面曲率6、レンズの厚さ3、レンズ間隔(距離)2、及び背面焦点距離1。
このレンズシステムは、比較的簡単なので例として選んだものであり、ほぼ回折限界に近い解像度を設計できる。回折限界に近い解像度を実現する従来のシステムの設計パラメータを表1に示した。このレンズ系は、視界OPD−RMSエラーの平均が0.06波(an average of 0.06 waves of OPD-RMS error)である。しかし、エイリアシングを低減するため、標準的な複屈折板をディスクリートの光学的ローパスフィルタとして使用している。レンズ系をピッチの異なるディテクタとともに使用する場合、そのピッチが異なるディテクタと合わせるために複屈折板のセットが必要となる。
Figure 2007304600
本発明によると、標準的な複屈折板のローパスフィルタを使用しなくてもよい。実際、レンズ系自体をローパスフィルタとして機能するように設計する。異なるレンズの累積的効果によりローパスフィルタの機能を実現する。(例えば複屈折板のように)ローパスフィルタとして特定できる別途のディスクリートコンポーネントは特にない。むしろ、そのローパスフィルタは、異なるレンズの集積により実現される。さらにまた、レンズ系は異なるカットオフ周波数に調節できるので、同じレンズ系をピッチが異なるディテクタと使用できる。
この設計問題の他の定式化は、アンダーサンプリングファクタA(回折限界カットオフ周波数のディテクタサンプリング周波数に対する比)に依存する光学カットオフ周波数を調節するレンズシステムを設計することである。この実施例では、トリプレットレンズ系の中央の要素を光軸に沿ってシフトすることにより、レンズ系を調節する。レンズの後部焦点もシフトして、エイリアシングアーティファクトを最小化しつつ、画像のシャープネスを最大化できる。図7は、光学コンポーネントとこの設計問題の設計パラメータとを示す概略図である。光学ローパスフィルタの実現になにも追加要素を加えていないことに留意せよ。この実施例では、ディテクタピッチとディテクタサンプリング周波数は4μmピクセルから15μmピクセルまである。視野で言うと、これは8メガピクセル(Mp)からVGA解像度までのセンサに対応する。
設計は、上記のRMSEメリット関数に基づく最適化を用いて行われ、複数設定Zemax光学系を用いた。複数設定は、ピクセルサイズ4μmピクセル、6μmピクセル、9μmピクセル、12μmピクセル、及び15μmピクセルに対応し、対応するアンダーサンプリングファクタAはそれぞれ3.0、4.6、4、6.8、9.1、及び11.4である。センサー充てん比は最適化を目的として50%に設定したが、レンズ系の性能は広い範囲の充てん比に対して評価した。
結果として得られた設計の設計パラメータを表2に示す。
Figure 2007304600
図8Aと8Bは、式(16)のエイリアシングノイズPSDを用いて、式(12)を用いた予測RMSEに基づき、従来の回折限界トリプレットと調節可能カットオフトリプレットの性能を比較している。曲線810は調節可能カットオフトリプレットのRMSEをプロットしたものである。曲線820は、(どちらの場合も個別のピクセルサイズにマッチするように選択した)複屈折光学ローパスフィルタを有する従来のトリプレットのRMSEをプロットしたものである。曲線830は、複屈折光学ローパスフィルタを有さない従来のトリプレットのRMSEをプロットしたものである。図8Aでは、充てん比は40%である。図8Bでは、充てん比は80%である。調節可能カットオフトリプレットの性能は、アンダーサンプリングファクタ(ピクセルサイズ)の範囲で、従来のトリプレットのいずれよりもよい。調節可能カットオフトリプレットはRMSEが低いだけではなく、追加的な別途の光学的ローパスフィルタコンポーネントなしでこの性能を実現している。このように、調節可能カットオフトリプレットは、コストは低いが性能がよい。
図9A−9Bは本発明による電気光学画像化システムの画像化MTFを示すグラフである。図9Aは、ピクセルピッチがそれぞれ4,9,15μmの画像化MTF(すなわち、全伝達関数)910、914、918を示す。回折限界光学MTF920を比較のために示した。図9Bは、同じ曲線910、914、918を示しているが、空間周波数軸はディテクタサンプリング周波数で規格化されている。サンプリング帯域内の周波数の通過と、サンプリング帯域より上の周波数の減衰は明らかである。
表3と図10A−10Cは、他の実施例を示している。この実施例では、レンズ材料はそれぞれBK7、F2、及びBK7である。図10A−10Bは、ピクセルピッチがそれぞれ4、6、9、12、及び15μmの場合の光学MTF1010−1018を示している。図10Cは、これらの同じピクセルピッチに対する全伝達関数1020−1028を示している。図10Cでは、ディテクタ応答によりディテクタサンプリング周波数より上の周波数における画像化コンテンツがさらに低減されることに留意して欲しい。
Figure 2007304600
光学サブシステムのローパス特性は、一般的には、レンズ系の光カットオフ周波数の上限のコントラストの関数であり、この実施形態ではこの光カットオフ周波数はディテクタサンプリング周波数とマッチするように設計されている。この例では、集積光ローパスフィルタの設計目標は以下の通りである:
1.光学MTFコントラスがディテクタサンプリング周波数より下のすべての周波数で10%より低い。
2.「エイリアシングストレール比(Aliasing Strehl ratio)」が15%以下であり、好ましくは10%以下である。
エイリアシングストレール比は、ディテクタサンプリング周波数より高い周波数における実際の光学MTFのエネルギーを、等価回折限界光学系の同じ周波数帯域におけるエネルギーで割った比として定義される。この定義は、標準的なストレール比と同様であるが、積分が、DCから回折限界までではなく、光学カットオフ周波数から回折限界までとる点が異なる。エイリアシングストレール比はエイリアシングがどのくらい効果的に抑圧されているかの尺度である。表3に示した設計では、異なる設定に対するエイリアシングストレール比は、それぞれ12%、8.5%、8.4%、8.4%、及び8.7%である。
光学MTFではなく、全伝達関数に基づく同様のメトリックを使用してもよい。例えば、1つの基準では、充てん比が50%のディテクタの場合に計算された全伝達関数は、ディテクタサンプリング周波数の1.5倍より高い周波数において、コントラストが1%より低く、好ましくは0.5%より低い。この要請をサンプリング帯域における要請と合わせると、例えば、TTFがディテクタサンプリング周波数より低いすべての周波数に対して10%より大きくなければならない。
詳細な説明には具体的事項が多数含まれているが、これらは本発明の範囲を限定するものではなく、本発明の異なる実施例と態様を例示することのみを目的としたものと解釈しなければならない。言うまでもなく、本発明の範囲はここで詳細に説明していない他の実施形態も含む。その他の様々な修正、変更、変形が、当該技術分野の当業者には明らかである。添付した請求項に記載した本発明の精神と範囲から逸脱することなく、ここに開示した本発明の方法と装置の構成、動作、詳細に対して、こうした様々な修正、変更、変形をすることが可能である。
先行技術による電気光学画像化システムの変調伝達関数(MTF)を示すグラフである。 電気光学画像化システム設計の問題を示すブロック図である。 光カットオフ周波数が可変な光サブシステムのMTFを示すグラフである。 本発明による電気光学画像化システムの設計方法を示すフロー図である。 電気光学画像化システムのモデルのブロック図である。 図5のモデルのソフトウェア実装を示すブロック図である。 光カットオフ周波数が可変なトリプレット(triplet)を示す図である。 アンダーサンプリングファクタAの関数としてRMSEを示すグラフである。 アンダーサンプリングファクタAの関数としてRMSEを示すグラフである 本発明による電気光学画像化システムの全伝達関数を示すグラフである。 本発明による電気光学画像化システムの全伝達関数を示すグラフである 本発明による他の電気光学画像化システムの光MTFを示すグラフである。 本発明による他の電気光学画像化システムの光MTFを示すグラフである 図10A−10Bの電気光学画像化システムの全伝達関数を示すグラフである。
符号の説明
210 光サブシステム
220 ディテクタサブシステム
230 デジタル画像処理
250 入力源
255 アプリケーション依存の理想的表現
280 デジタル画像
290 性能メトリック

Claims (17)

  1. 光カットオフ周波数が調節可能な集積ローパスフィルタとして実質的に振る舞う光MTFを有する調節可能光システム。
  2. 1つ以上の可動光コンポーネントを有し、前記光コンポーネントを動かすことにより前記光カットオフ周波数を調節する、請求項1に記載の調節可能光システム。
  3. トリプレットレンズシステムを有する、請求項1に記載の調節可能光システム。
  4. 前記光システムは、電気光学画像化システムのサブシステムとして使用するのに好適であり、前記光カットオフ周波数を調節して電気光学画像化システムのエイリアシングを低減する、請求項1に記載の調節可能光システム。
  5. 前記光システムは、電気光学画像化システムのサブシステムとして使用するのに好適であり、前記光カットオフ周波数を調節して電気光学画像化システムのモアレ効果を低減する、請求項1に記載の調節可能光システム。
  6. 前記光システムは異なるピッチのディテクタと使用するのに好適であり、前記光カットオフ周波数を調節して前記ディテクタのピッチとマッチさせられる、請求項1に記載の調節可能光システム。
  7. 等価な回折限界の光MTFと比較して、前記光MTFは前記光カットオフ周波数より低い周波数のパスバンドのエネルギーの大きな割合を含む、請求項1に記載の調節可能光システム。
  8. 前記光MTFは前記光カットオフ周波数より低いすべての周波数において10%より大きく、エイリアシングストレール比は常に15%以下である、請求項1に記載の調節可能光システム。
  9. 調節可能光サブシステム、ディテクタサブシステム、及びデジタル画像処理サブシステムを有する電気光学画像化システムであって、前記光学サブシステムは光カットオフ周波数が調節可能な集積ローパスフィルタとして実質的に振る舞う光MTFにより特徴付けられるシステム。
  10. 前記光サブシステムは1つ以上の可動光コンポーネントを有し、前記光コンポーネントを動かすことにより前記光カットオフ周波数を調節する、請求項9に記載の電気光学画像化システム。
  11. 前記光カットオフ周波数を調節して前記電気光学画像化システム中のエイリアシングを低減する、請求項9に記載の電気光学画像化システム。
  12. 前記光カットオフ周波数を調節して前記電気光学画像化システム中のモアレ効果を低減する、請求項9に記載の電気光学画像化システム。
  13. 前記ディテクタサブシステムはピッチが調節可能なディテクタを含み、前記光カットオフ周波数は前記ディテクタのピッチに基づき調節される、請求項9に記載の電気光学画像化システム。
  14. 等価な回折限界の光MTFと比較して、前記光MTFは前記光カットオフ周波数より低い周波数のパスバンドのエネルギーの大きな割合を含む、請求項9に記載の電気光学画像化システム。
  15. 前記TTFは前記光カットオフ周波数より低いすべての周波数において10%より大きく、前記光カットオフ周波数の1.5倍より高いすべての周波数において1%より小さい、請求項9に記載の電気光学画像化システム。
  16. 調節可能光学サブシステムと、ディテクタサブシステムと、デジタル画像処理サブシステムとを含む、入力源を画像化する電気光学画像化システムの設計方法であって、
    前記電気光学画像化システムの複数の設定の各々について、前記入力源の空間的モデルに基づき、前記光学サブシステムと前記ディテクタサブシステムと前記デジタル画像処理サブシステムとを通る前記入力源の伝搬をモデル化する段階と、
    前記モデル化された伝搬の関数である後処理性能メトリックに直接基づき、前記光サブシステムと前記デジタル画像処理サブシステムを同時に設計する段階であって、前記光サブシステムは光カットオフ周波数が調節可能な集積ローパスフィルタとして実質的に振る舞うように設計されている段階とを有する方法。
  17. コンピュータ読み取り可能媒体に記憶された命令を含むソフトウェアであって、前記命令は、プロセッサに、以下の段階を実行することにより電気光学画像化システムの設計を支援させるソフトウェア:
    (a)信号源の空間的モデルにアクセスする段階と、
    (b)前記電気光学画像化システムの複数の設定の各々について、前記空間的モデルに基づいて、電気光学画像化システムを通る前記信号源の伝搬をモデル化する段階であって、前記電気光学画像化システムは調節可能光サブシステムと、ディテクタサブシステムと、デジタル画像処理サブシステムとを有する段階と、
    (c)前記モデル化された伝搬の関数である後処理性能メトリックに直接基づき、前記光サブシステムと前記デジタル画像処理サブシステムを繰り返す段階であって、前記光サブシステムは光カットオフ周波数が調節可能な集積ローパスフィルタとして実質的に振る舞うように設計されている段階と、
    (d)前記処理後性能メトリックを改善するために段階(b)と段階(c)を繰り返す段階。
JP2007127406A 2006-05-12 2007-05-11 光カットオフ周波数が調節可能な電気光学画像化システムのエンド・ツー・エンド設計 Expired - Fee Related JP5103055B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/433,780 2006-05-12
US11/433,780 US7692709B2 (en) 2006-05-12 2006-05-12 End-to-end design of electro-optic imaging systems with adjustable optical cutoff frequency

Publications (2)

Publication Number Publication Date
JP2007304600A true JP2007304600A (ja) 2007-11-22
JP5103055B2 JP5103055B2 (ja) 2012-12-19

Family

ID=38711606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007127406A Expired - Fee Related JP5103055B2 (ja) 2006-05-12 2007-05-11 光カットオフ周波数が調節可能な電気光学画像化システムのエンド・ツー・エンド設計

Country Status (2)

Country Link
US (1) US7692709B2 (ja)
JP (1) JP5103055B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011462A (ja) * 2008-06-27 2010-01-14 Ricoh Co Ltd デジタル画像処理により補償される収差トリプレットレンズをもつ電気光学画像形成システム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005117453A1 (ja) * 2004-05-26 2005-12-08 Acutelogic Corporation 撮像装置
US20070081224A1 (en) * 2005-10-07 2007-04-12 Robinson M D Joint optics and image processing adjustment of electro-optic imaging systems
US7889264B2 (en) * 2006-05-12 2011-02-15 Ricoh Co., Ltd. End-to-end design of superresolution electro-optic imaging systems
US7852572B2 (en) * 2007-06-25 2010-12-14 Ricoh Co., Ltd. Compact super wide-angle imaging system
WO2009066770A1 (ja) * 2007-11-22 2009-05-28 Nikon Corporation デジタルカメラおよびデジタルカメラシステム
TWI504256B (zh) * 2008-04-07 2015-10-11 Sony Corp 固態成像裝置,其訊號處理方法,及電子設備
JP2011035737A (ja) * 2009-08-03 2011-02-17 Olympus Corp 撮像装置、電子機器、画像処理装置及び画像処理方法
US8385005B2 (en) 2011-02-17 2013-02-26 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Lens structure having low pass filter characteristic
US8949078B2 (en) 2011-03-04 2015-02-03 Ricoh Co., Ltd. Filter modules for aperture-coded, multiplexed imaging systems
US9219866B2 (en) 2013-01-07 2015-12-22 Ricoh Co., Ltd. Dynamic adjustment of multimode lightfield imaging system using exposure condition and filter position
US9030580B2 (en) 2013-09-28 2015-05-12 Ricoh Company, Ltd. Color filter modules for plenoptic XYZ imaging systems
US9599723B2 (en) 2015-08-18 2017-03-21 Carestream Health, Inc. Method and apparatus with tiled image sensors
JP7358817B2 (ja) 2019-07-24 2023-10-11 ソニーグループ株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1152254A (ja) * 1997-08-05 1999-02-26 Olympus Optical Co Ltd 顕微鏡画像の撮像システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3047252B2 (ja) 1990-11-05 2000-05-29 コニカ株式会社 合焦制御装置
US5521695A (en) 1993-06-25 1996-05-28 The Regents Of The University Of Colorado Range estimation apparatus and method
US5870179A (en) 1993-06-25 1999-02-09 The Regents Of The University Of Colorado Apparatus and method for estimating range
US20030057353A1 (en) 2001-07-20 2003-03-27 Dowski Edward Raymond Wavefront coding zoom lens imaging systems
US20020195548A1 (en) 2001-06-06 2002-12-26 Dowski Edward Raymond Wavefront coding interference contrast imaging systems
US6911638B2 (en) * 1995-02-03 2005-06-28 The Regents Of The University Of Colorado, A Body Corporate Wavefront coding zoom lens imaging systems
US20020118457A1 (en) 2000-12-22 2002-08-29 Dowski Edward Raymond Wavefront coded imaging systems
US7218448B1 (en) 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
JP3275010B2 (ja) 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
US6021005A (en) 1998-01-09 2000-02-01 University Technology Corporation Anti-aliasing apparatus and methods for optical imaging
US6069738A (en) 1998-05-27 2000-05-30 University Technology Corporation Apparatus and methods for extending depth of field in image projection systems
US6567570B1 (en) 1998-10-30 2003-05-20 Hewlett-Packard Development Company, L.P. Optical image scanner with internal measurement of point-spread function and compensation for optical aberrations
US6917377B2 (en) * 2000-02-04 2005-07-12 Olympus Optical Co., Ltd. Microscope system
US6873733B2 (en) 2001-01-19 2005-03-29 The Regents Of The University Of Colorado Combined wavefront coding and amplitude contrast imaging systems
US6525302B2 (en) 2001-06-06 2003-02-25 The Regents Of The University Of Colorado Wavefront coding phase contrast imaging systems
US6842297B2 (en) 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
CN101118317B (zh) 2002-02-27 2010-11-03 Cdm光学有限公司 波前编码成像系统的优化图像处理
US7031054B2 (en) 2002-10-09 2006-04-18 The Regent Of The University Of Colorado Methods and systems for reducing depth of field of hybrid imaging systems
WO2004059380A1 (ja) * 2002-12-25 2004-07-15 Nikon Corporation ブレ補正カメラシステム
US7180673B2 (en) 2003-03-28 2007-02-20 Cdm Optics, Inc. Mechanically-adjustable optical phase filters for modifying depth of field, aberration-tolerance, anti-aliasing in optical systems
CN1768346B (zh) 2003-03-31 2010-11-17 Cdm光学有限公司 用于最小化成像系统中的光程差效应的系统和方法
EP2296041A3 (en) 2003-05-30 2013-01-23 Omnivision Technologies, Inc. Lithographic systems and methods with extended depth of focus
JP2007513427A (ja) 2003-12-01 2007-05-24 シーディーエム オプティックス, インコーポレイテッド 光学システムおよびデジタルシステムの設計を最適化するシステムおよび方法
US7940309B2 (en) * 2004-09-17 2011-05-10 Nikon Corporation Optical low pass filter and image-capturing device
US7400456B2 (en) * 2004-09-21 2008-07-15 Avago Technologies Ecbu Ip Pte Ltd Lens having seamless profile defined by cubic polynomial function
JP4902112B2 (ja) * 2004-11-22 2012-03-21 キヤノン株式会社 低域通過フィルタおよび撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1152254A (ja) * 1997-08-05 1999-02-26 Olympus Optical Co Ltd 顕微鏡画像の撮像システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011462A (ja) * 2008-06-27 2010-01-14 Ricoh Co Ltd デジタル画像処理により補償される収差トリプレットレンズをもつ電気光学画像形成システム

Also Published As

Publication number Publication date
US20070268375A1 (en) 2007-11-22
JP5103055B2 (ja) 2012-12-19
US7692709B2 (en) 2010-04-06

Similar Documents

Publication Publication Date Title
JP5103055B2 (ja) 光カットオフ周波数が調節可能な電気光学画像化システムのエンド・ツー・エンド設計
US7616842B2 (en) End-to-end design of electro-optic imaging systems with constrained digital filters
JP4377404B2 (ja) 画像向上機能を備えたカメラ
US8243157B2 (en) Correction of optical aberrations
US8358354B2 (en) Correction of optical abberations
CA2670611C (en) Panchromatic modulation of multispectral imagery
TWI427554B (zh) 光學成像裝配件及其形成之方法,以及用於光學成像之裝置及方法
JP2007306574A (ja) 超解像電気光学画像化システムのエンド・ツー・エンド設計
KR20090004428A (ko) 광학 설계 방법 및 시스템과 광학 수차를 갖는 광학 요소를이용한 촬상 소자
US20070236574A1 (en) Digital filtering with noise gain limit
Akpinar et al. Learning wavefront coding for extended depth of field imaging
US9247111B2 (en) Imaging device using an optical phase filter that moduates a optical transfer function of an optical image of an object
US20070239417A1 (en) Camera performance simulation
US9124797B2 (en) Image enhancement via lens simulation
Reeves Image restoration: fundamentals of image restoration
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP5611439B2 (ja) 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム
JP6611509B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
EP1672912A2 (en) Method for producing an optical system including an electronic image enhancement processor
Stork et al. Information‐based methods for optics/image processing co‐design
WO2023218073A1 (fr) Procédé de correction globale de la netteté d'une image, et systeme associe
Scrymgeour et al. Advanced Imaging Optics Utilizing Wavefront Coding.
JP2018022938A (ja) 撮像装置、画像処理装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121001

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151005

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5103055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees