JP2015080124A - 画像推定方法、画像推定装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】撮像により取得された画像から収差の影響を除去した画像を簡易に生成する。
【解決手段】画像推定方法は、撮像光学系１０４により形成された被写体１０３の光学像を撮像することにより取得された撮像画像を準備し、撮像光学系の収差の情報を準備し、該撮像画像を物体とみなして、上記収差である第１の収差を用いた光学像計算により第１の光学像を算出し、撮像画像を物体とみなして、第１の収差とは異なる第２の収差を用いた光学像計算により第２の光学像を計算する。さらに、第１の光学像を逆フーリエ変換して得られた第１の空間周波数と第２の光学像を逆フーリエ変換して得られた第２の空間周波数との比である空間周波数比分布を算出し、撮像画像を逆フーリエ変換して得られた撮像空間周波数を空間周波数比分布で除して得られた第３の空間周波数をフーリエ変換して推定画像を算出する。
【選択図】図１

Description

本発明は、撮像により取得された画像から、その画像とはピント状態が異なる他の画像を推定する画像処理技術に関する。

医療分野では、生体試料を撮像するための撮像光学系（顕微光学系）および撮像素子と、撮像により取得されたデジタル画像に対して処理や保存を行う情報処理装置とによって構成されるバーチャルスライドシステムと称される病理診断支援システムが用いられている。バーチャルスライドシステムでは、試料のデジタル画像を、通常の診断だけでなく、遠隔地での診断や自動診断にも用いることが可能である。試料のデジタル画像は、例えば、試料を光学素子（カバーグラス）で覆って固定したプレパラートを被写体として、撮像光学系により形成された被写体像（光学像）を撮像素子によって撮像（光電変換）することで取得される。

ただし、基本的には、情報処理装置にはプレパラートのデジタル画像のみが保存される。このため、撮像後に参照できるのは、試料のうち撮像を行ったときに撮像光学系のピントが合った被写体面の画像だけである。このため、診断において参照しようとする画像が、ピントがずれた画像であると判断された場合に、撮像光学系のピント（フォーカス位置）を合わせて再び撮像を行う必要がある。

撮像光学系のフォーカス位置を互いに異ならせて行う複数回の撮像により取得した複数のデジタル画像を保存することも可能であるが、撮像に要する時間や保存する画像データ量が増加する。さらに、フォーカス位置を異ならせて撮像しても、離散的なフォーカス位置での画像しか得られないので、それらいずれの画像もピントがずれていることも起こり得る。

このような場合、１回の撮像により取得された１枚の画像から複数のフォーカス位置での画像を推定するリフォーカス技術が有効である。デジタルカメラの分野では既にリフォーカス技術が進んでおり、Computational Photographyと称される撮像手法として確立されつつある。ただし、リフォーカス技術を使用するためには、通常はカメラの撮像光学系の大幅な改良が必要となり、光学設計の手間や改良製作のための費用がかかる。このため、画像処理によって画像をぼかしたりシャープにしたりすることが望ましい。このような場合、特許文献１にて開示されているように、逆フィルターを用いた画像処理が行われることが多い。

特開２００４−３２８５０６号公報

しかしながら、カメラの撮像光学系はインコヒーレント結像系である一方、顕微鏡の撮像光学系は部分コヒーレント結像系である。部分コヒーレント結像系では、逆フィルターを定義することは容易ではない。これは、光学系の空間周波数特性と物体情報との分離が困難だからである。

なお、部分コヒーレント結像系を用いる半導体露光装置の分野では、所望のレジスト像を得るために物体（マスク）を最適化する方法として、Computational LithographyまたはInverse Lithographyと称されるものがある。そして、所望のレジスト像を形成するための物体を、最適化問題を解くことで導出するという方法もある（米国特許第7,480,889号明細書参照）。ただし、最適化問題を解くための計算に長時間を必要とするため、画像の取得に要する時間を短縮したい顕微鏡には不向きである。

撮像光学系のデフォーカスが収差の一種であると考えれば、撮像光学系を通した撮像によって得られた画像から該収差の影響を取り除けば、良好なピント状態の画像が得られる。

本発明は、撮像により取得された画像から収差の影響を除去した画像を簡易に生成することができるようにした画像推定方法および画像推定装置等を提供する。

本発明の一側面としての画像推定方法は、撮像光学系により形成された被写体の光学像を撮像することにより取得された撮像画像を準備し、撮像光学系の収差の情報を準備し、該撮像画像を物体とみなして、上記収差である第１の収差を用いた光学像計算により第１の光学像を算出し、撮像画像を物体とみなして、第１の収差と同じ種類の収差であって該第１の収差と量または符号が異なる第２の収差を用いた光学像計算により第２の光学像を計算し、第１の光学像を逆フーリエ変換して得られた第１の空間周波数と第２の光学像を逆フーリエ変換して得られた第２の空間周波数との比である空間周波数比分布を算出し、撮像画像を逆フーリエ変換して得られた撮像空間周波数を空間周波数比分布で除して得られた第３の空間周波数をフーリエ変換して推定画像を算出することを特徴とする。

本発明の他の一側面としての画像推定装置は、撮像光学系により形成された被写体の光学像を撮像することにより取得された撮像画像を用いて画像推定処理を行う。該装置は、画像推定処理において、撮像光学系の収差の情報を準備し、撮像画像を物体とみなして、上記収差である第１の収差を用いた光学像計算により第１の光学像を算出し、撮像画像を物体とみなして、第１の収差と同じ種類の収差であって該第１の収差と量または符号が異なる第２の収差を用いた光学像計算により第２の光学像を計算し、第１の光学像を逆フーリエ変換して得られた第１の空間周波数と第２の光学像を逆フーリエ変換して得られた第２の空間周波数との比である空間周波数比分布を算出し、撮像画像を逆フーリエ変換して得られた撮像空間周波数を空間周波数比分布で除して得られた第３の空間周波数をフーリエ変換して推定画像を算出することを特徴とする。

なお、撮像画像を取得する撮像系と上記画像推定装置とを有する撮像装置も、本発明の他の一側面を構成する。

さらに、本発明の他の一側面としての画像推定プログラムは、撮像光学系により形成された被写体の光学像を撮像することにより取得された撮像画像を用いた画像推定処理をコンピュータに実行させるコンピュータプログラムである。画像推定処理は、撮像光学系の収差の情報を準備し、撮像画像を物体とみなして、上記収差である第１の収差を用いた光学像計算により第１の光学像を算出し、撮像画像を物体とみなして、第１の収差と同じ種類の収差であって該第１の収差と量または符号が異なる第２の収差を用いた光学像計算により第２の光学像を計算し、第１の光学像を逆フーリエ変換して得られた第１の空間周波数と第２の光学像を逆フーリエ変換して得られた第２の空間周波数との比である空間周波数比分布を算出し、撮像画像を逆フーリエ変換して得られた撮像空間周波数を空間周波数比分布で除して得られた第３の空間周波数をフーリエ変換して推定画像を算出することを特徴とする。

本発明によれば、撮像光学系を用いた撮像によって取得された撮像画像から収差の影響を良好に除去した推定画像（例えば、撮像画像よりも良好なピント状態の画像）を簡易に生成することができる。

本発明の実施例であるバーチャルスライドシステムの構成を示すブロック図。 実施例の画像推定方法を示すフローチャート。 実施例で用いられたシミュレーション条件（（ａ）有効光源および（ｂ）物体）を示す図。 （ａ）ベストフォーカス状態の光学像、（ｂ）デフォーカス１μｍ状態の光学像および（ｃ）実施例の手法を用いて（ｂ）の光学像から推定したベストフォーカス状態の光学像を示す図。 実施例で用いられたシミュレーション条件（（ａ）物体および（ｂ）顕微光学系の収差）を示す図。 （ａ）無収差状態の光学像、（ｂ）図５（ｂ）の収差がある状態での光学像および（ｃ）実施例の手法を用いて（ｂ）の光学像から推定した無収差状態の光学像。

以下、本発明の実施例について図面を参照しながら説明する。

以下に説明する本発明の実施例では、撮像によって取得された画像を用いて、撮像に用いられる撮像光学系（顕微光学系）に対して任意の収差を与えたときに取得される画像を推定する画像推定方法について説明する。

まず、実施例で用いる光学系について説明する。光学系を定義するための座標系は２つある。第１の座標系は物体面と像面により定義される座標系であり、第１の座標系での座標は（ｘ，ｙ）と記述する。物体面上での大きさに対して、像面上での大きさは、撮像光学系の倍率分だけ異なるが、以下では説明を簡単にするため、物体面上の大きさに倍率をかけて像面上の大きさと１：１で対応させる。このため、物体面の座標系と像面の座標系も１：１で対応する。第２の座標系は、光源面と撮像光学系の瞳面の座標系であり、第２の座標系での座標は（ｆ，ｇ）と記述する。第２の座標系（ｆ，ｇ）は、瞳の半径が１になるように規格化した座標系である。実施例では、光軸方向でのピントずれ量（デフォーカス量）をｚとする。ベストフォーカス状態では、ｚ＝０である。

図１には、実施例のバーチャルスライドシステム（顕微鏡としての撮像装置）の構成を示す。バーチャルスライドシステムは、撮像ユニット(撮像系)１００と、制御ユニット(制御系)２００と、情報処理ユニット(画像推定装置)４００とにより構成されている。

制御ユニット２００は、搬送部２０１と制御部２０２とにより構成されている。搬送部２０１は、制御部２０２の命令に基づいて被写体１０３を可動ステージ１０２上に移動させる。可動ステージ１０２は、制御部２０２からの命令に従って光軸方向に移動することが可能である。可動ステージ１０２は、光軸方向に対して直交する方向に移動する機能を備えていてもよい。

撮像ユニット１００は、物体としての被写体１０３を撮像する部分であり、照明系１０１と、可動ステージ１０２と、撮像光学系１０４と、撮像素子１０５とにより構成されている。照明系１０１は、光源と、該光源からの光を被写体１０３に照射する照明光学系とにより構成されている。後述するように照明系１０１は被写体１０３に対して部分コヒーレント照明を行い、撮像光学系１０４と合わせて部分コヒーレント結像系をなす。

照明系１０１により可動ステージ１０２に配置された被写体１０３が照明されると、撮像光学系１０４によって撮像素子１０５上に被写体１０３の拡大光学像（被写体像）が形成される。撮像素子１０５は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子であり、被写体像を光電変換して電気信号を出力する。この電気信号は、撮像素子１０５から情報処理ユニット４００に伝送される。

情報処理ユニット４００は、画像を生成する部分であり、画像コンピュータ４０１と、画像処理部４０２と、データ保存部４０３と、表示部４０４とによって構成されている。画像処理部４０２は、撮像素子１０５からの撮像信号（アナログ電気信号）をデジタル信号に変換する。このデジタル信号を、以下、輝度信号と称する。画像処理部４０２は、輝度信号に対して、ノイズ除去、圧縮、さらには後述する画像推定等の画像処理を行って画像データを生成し、これをコンピュータ４０１に伝送する。コンピュータ４０１は、送られてきた画像データをデータ保存部４０３に転送する。データ保存部４０３は、送られてきた画像データを保存する。画像観察時（診断時）は、コンピュータ４０１が保存部４０３から画像データを読み出し、画像データを表示部４０４に表示させる。

コンピュータ４０１、画像処理部４０２、データ保存部４０３、表示部４０４および制御部２０２は１つのコンピュータに含まれていてもよい。また、画像データは外部のサーバに保存してもよい。この場合、複数の観察者（診断者）がリモートで画像データにアクセスすることができる。

以下の説明において、被写体１０３を撮像ユニット１００（撮像素子１０５）により撮像し、撮像ユニット１００から出力された撮像信号を用いて情報処理ユニット４００（画像処理部４０２およびコンピュータ４０１）にて生成された画像を、撮像画像という。

次に、撮像画像を用いて、撮像光学系１０４に任意の収差を与えたと仮定したときの画像を推定する処理(画像推定方法)について説明する。

撮像画像は被写体１０３の光学像を撮像して得られたものであるので、撮像光学系１０４に任意の収差を与えたときの画像を推定することは、該任意の収差を有する撮像光学系１０４によって形成された光学像を推定することと等価である。また、撮像画像にピンぼけを生じさせる撮像光学系１０４のデフォーカスは、撮像光学系１０４の収差の一種である。このため、撮像画像から該収差の影響を除去した画像を生成することは、リフォーカスすることと等価である。

ここでは、例として、撮像光学系１０４に既知の収差（第１の収差）Ｗ（ｆ，ｇ）があるとし、撮像光学系１０４により形成された光学像（以下、撮像光学像という）をＩ（ｘ，ｙ）とする。そして、この場合に、撮像光学系１０４に、
Ｗ（ｆ，ｇ）＋Ｗ’（ｆ，ｇ）
の収差（第２の収差）があると仮定して得られる光学像（以下、目標光学像という）Ｉ’（ｘ，ｙ）を推定する方法について説明する。この場合の第２の収差は、第１の収差と同じ種類の収差であって該第１の収差と量が異なる収差である。

まず、撮像光学像Ｉ（ｘ，ｙ）を物体とみなし、収差Ｗ（ｆ，ｇ）を用いた光学像計算により第１の光学像Ｉ_１（ｘ，ｙ）を計算する。光学像計算は、

により行う。Ｓ（ｆ，ｇ）は有効光源であり、被写体１０３がない状態で撮像光学系１０４の瞳面に形成される照明光の強度分布に相当する。また、ＦＴはフーリエ変換を示し、収差Ｗはラジアン単位として不要な係数を除いている。

この式（１）を用いて計算される第１の光学像Ｉ_１（ｘ，ｙ）を逆フーリエ変換して得られた第１の空間周波数をＪ_１（ｆ，ｇ）とする。

次に、撮像光学像Ｉ（ｘ，ｙ）を物体とみなし、収差（第２の収差）として、
Ｗ（ｆ，ｇ）＋Ｗ’（ｆ，ｇ）
を用いた上記と同様の光学像計算により第２の光学像Ｉ_２（ｘ，ｙ）を計算する。さらに、第２の光学像Ｉ_２（ｘ，ｙ）を逆フーリエ変換して得られた第２の空間周波数をＪ_２（ｆ，ｇ）とする。

Ｊ_１（ｆ，ｇ）をＪ_２（ｆ，ｇ）で除したものを空間周波数比分布Ｒ（ｆ，ｇ）とする。すなわち、
Ｒ（ｆ，ｇ）＝Ｊ_１（ｆ，ｇ）／Ｊ_２（ｆ，ｇ）
である。

撮像光学像Ｉ（ｘ，ｙ）を逆フーリエ変換して得られた空間周波数（以下、撮像空間周波数という）をＪ（ｆ，ｇ）とする。このとき、撮像空間周波数Ｊ（ｆ，ｇ）を上述した空間周波数比分布Ｒ（ｆ，ｇ）で除して得られた第３の空間周波数Ｊ（ｆ，ｇ）／Ｒ（ｆ，ｇ）をフーリエ変換すれば、目標光学像Ｉ’（ｘ，ｙ）を近似的に得ることができる。

仮にＷ（ｆ，ｇ）がデフォーカスに相当する収差である場合には、
Ｗ’（ｆ，ｇ）＝−Ｗ（ｆ，ｇ）
とする。つまりは、第１の収差と第２の収差を、互いに同じ種類の収差であって、互いの量（絶対値）が等しく、かつ互いに符号が反対である収差とすればよい。これにより、撮像光学像におけるデフォーカスの影響がキャンセルされた、すなわちリフォーカスされた目標光学像を得ることができる。

上述した画像推定処理を行う情報処理ユニット４００のより具体的な動作を、図２のフローチャートを用いて説明する。情報処理ユニット４００のコンピュータ４０１および画像処理部４０２が、コンピュータプログラムとしての画像処理プログラムに従って以下の画像推定処理を実行する。データ保存部４０３には、予め撮像光学系１０４の収差Ｗ（ｆ，ｇ）の情報および被写体１０３を撮像して得られた撮像画像としての撮像光学像Ｉ（ｘ，ｙ）のデータが保存されている。さらに、データ保存部４０３には、撮像時の撮像条件（光源の波長、撮像光学系１０４の開口数、光源の強度分布等のうち少なくとも１つ）のデータも保存されている。

ステップＳ１００では、コンピュータ４０１は、データ保存部４０３から撮像光学系の収差Ｗ（ｆ，ｇ）の情報と撮像光学像Ｉ（ｘ，ｙ）のデータと撮像条件のデータとを画像処理部４０２にロード（準備）する。さらに、コンピュータ４０１は、入力者がコンピュータ４０１に入力した、撮像光学系１０４に仮想的に与える収差Ｗ’（ｆ，ｇ）の情報もロードする。

次に、ステップＳ１０１では、コンピュータ４０１は、画像処理部４０２に、撮像光学像Ｉ（ｘ，ｙ）を物体とみなした光学像計算を行わせる。このステップでは、画像処理部４０２は、前述した第１および第２の収差をそれぞれ用いて２回の光学像計算を行う。すなわち、画像処理部４０２は、物体とみなした撮像光学像Ｉ（ｘ，ｙ）と撮像条件に対応した撮像光学系１０４の収差に相当する第１の収差Ｗ（ｆ，ｇ）とを用いて第１の光学像Ｉ_１（ｘ，ｙ）を計算する。また、画像処理部４０２は、物体とみなした撮像光学像Ｉ（ｘ，ｙ）と、第２の収差Ｗ（ｆ，ｇ）＋Ｗ’（ｆ，ｇ）とを用いて第２の光学像Ｉ_２（ｘ，ｙ）を計算する。

次に、ステップＳ１０２では、コンピュータ４０１は、画像処理部４０２に、ステップＳ１０１で得られた第１および第２の光学像の空間周波数の比である空間周波数比分布を求めさせる。画像処理部４０２は、ステップＳ１０１で求めた第１の光学像Ｉ_１（ｘ，ｙ）を逆フーリエ変換することにより第１の空間周波数Ｊ_１（ｆ，ｇ）を算出する。また、画像処理部４０２は、ステップＳ１０１で求めた第２の光学像Ｉ_２（ｘ，ｙ）を逆フーリエ変換することにより第２の空間周波数Ｊ_２（ｆ，ｇ）を算出する。そして、Ｊ_１（ｆ，ｇ）とＪ_２（ｆ，ｇ）の比である空間周波数比分布をＲ（ｆ，ｇ）として以下のように算出する。
Ｒ（ｆ，ｇ）＝Ｊ_１（ｆ，ｇ）／Ｊ_２（ｆ，ｇ）
Ｊ_２（ｆ，ｇ）が（ｆ’，ｇ’）で０又は０に近い値であれば、Ｒ（ｆ’，ｇ’）近傍の値を平均したものをＲ（ｆ’，ｇ’）にする等の処理が必要となる。

次に、ステップＳ１０３では、コンピュータ４０１は、画像処理部４０２に、撮像光学系１０４に、第２の収差Ｗ（ｆ，ｇ）＋Ｗ’（ｆ，ｇ）があると仮定して得られる目標光学像Ｉ’（ｘ，ｙ）を推定させる。画像処理部４０２は、撮像光学像Ｉ（ｘ，ｙ）を逆フーリエ変換することにより撮像空間周波数Ｊ（ｆ，ｇ）を算出する。そして、このＪ（ｆ，ｇ）を空間周波数比分布Ｒ（ｆ，ｇ）で除して得られた第３の空間周波数Ｊ（ｆ，ｇ）／Ｒ（ｆ，ｇ）をフーリエ変換することによって、目標光学像Ｉ’（ｘ，ｙ）を推定する。

以上で推定すべき目標光学像（目標画像）に相当する推定画像の推定処理を終了する。推定画像は、表示部４０４に表示されてもよいし、データ保存部４０３に保存されてもよい。

次に、本発明のより具体的な実施例（数値例）とそのシミュレーション結果について説明する。ここでは、撮像光学系１０４の開口数（ＮＡ）を０．７とし、照明系１０１の光源の波長（λ）を５５０ｎｍとする。また、照明光学系の開口数を撮像光学系１０４の開口数で除した値をコヒーレンスファクターσと定義する。

さらに、被写体１０３がない状態で撮像光学系１０４の瞳面に形成される照明光の強度分布を有効光源と称する。照明系１０１の光源は部分コヒーレントな光源であり、図３（ａ）に示すような輪帯状の有効光源を形成する。このため、被写体１０３は、照明系１０１を通じて部分コヒーレント照明によって照明される。図３（ａ）において、半径１の白い円はσが１であることを示す。有効光源内の各ピクセルは空間的にコヒーレントな点光源を表し、それぞれのピクセルは互いにインコヒーレントである。

本実施例では、テスト被写体として、図３（ｂ）に示すような物体を用いる。図３（ｂ）において、グレースケールは光強度の透過率を表す。背景は透光部である。このテスト被写体の光学像として、シミュレーションにより得られたベストフォーカス状態での光学像を図４（ａ）に示す。また、デフォーカス１μｍ状態での光学像（撮像光学像）を図４（ｂ）に示す。

図４（ｂ）に示す光学像の撮像時において、撮像光学系１０４の収差Ｗ（ｆ，ｇ）は、デフォーカス１μｍに相当する収差である。そこで、図４（ｂ）に示す光学像（つまりは撮像画像）を用いて、撮像光学系１０４に収差がないときの光学像（目標光学像）、つまりはベストフォーカス画像（推定画像）を推定した。推定されたベストフォーカス画像を図４（ｃ）に示す。

図４（ｃ）を図４（ａ）と比べると、図４（ｃ）に示す推定されたベストフォーカス画像（すなわち目標光学像）は、目視では差を識別できないくらいの精度で図４（ａ）に示すベストフォーカス状態での光学像に近いことが分かる。ベストフォーカス画像の推定精度の定量的な評価は、以下の式（２）で定義されるピーク信号対雑音比（Peak Signal-to-Noise Ratio）を用いる。２つの画像として得られる第１の光学像Ｉ_１（ｘ，ｙ）および第２の光学像Ｉ_２（ｘ，ｙ）の最大値が１に規格化されているとすると、ピーク信号対雑音比は以下の式（２）で定義される。

図４（ａ）と図４（ｃ）の画像から求めたピーク信号対雑音比は４３．１デシベルであった。一般的にピーク信号対雑音比が３５デシベル以上であるならば、人間の目ではほとんど同じに見えると言われている。このため、本実施例の方式で十分な推定精度を達成できる。

なお、本実施例の光学像の推定方法では、デフォーカス量が大きすぎるとベストフォーカス画像の推定精度が低下する。発明者が１００通りの被写体に対してシミュレーションした結果、デフォーカス量の絶対値がλ／ＮＡ^２以下であれば精度良くベストフォーカス画像を推定できることを確認した。

次に、撮像光学系１０４の収差がデフォーカスを生じさせるものではなく、一般的な収差である場合について説明する。テスト被写体を図５（ａ）に示す。図５（ａ）のテスト被写体の背景は透光部であり、矩形の黒い部分が遮光部である。撮像光学系１０４に収差がない場合、図６（ａ）に示すような光学像が得られる。

図５（ｂ）に示す撮像光学系１０４の収差Ｗ（ｆ，ｇ）は事前に測定されたものである。なお、図５（ｂ）中の白い円は瞳を表す。撮像光学系１０４にこの収差Ｗ（ｆ，ｇ）がある場合、図６（ｂ）のような撮像光学像（撮像画像）が得られた。収差Ｗ（ｆ，ｇ）の影響で撮像光学像の全体がぼけており、さらに矩形の遮光部が形成する光学像が図６（ａ）に比べて歪んでいる。

このように収差Ｗ（ｆ，ｇ）の影響によってピントがぼけた撮像画像（図６（ｂ））から収差Ｗ（ｆ，ｇ）の影響を除去する画像推定処理を行った結果、図６（ｃ）に示すような推定画像（目標光学像）が得られた。図６（ａ）と図６（ｃ）の画像から求めたピーク信号対雑音比は３８．３デシベルであった。つまり、人間の目ではほとんど同じに見えるくらいに撮像画像における収差Ｗ（ｆ，ｇ）の影響をキャンセルすることができた。

なお、本実施例では、照明光である入射光の振幅（強度）を変化させる振幅物体を撮像する場合について説明したが、入射光の位相を変化させる位相物体を撮像する場合にも、位相変化が小さい場合には本実施例で説明した画像推定方法を適用することは可能である。

また、本実施例では、顕微鏡（バーチャルスライドシステム）としての撮像装置について説明したが、本発明は、顕微鏡以外の撮像装置にも適用することができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

撮像光学系の収差を低減した画像の生成が可能な顕微鏡等の撮像装置を提供することができる。

１００ 撮像ユニット
１０３ 被写体
１０４ 撮像光学系
１０５ 撮像素子
４００ 情報処理ユニット
４０１ コンピュータ
４０２ 画像処理部

Claims (8)

1. 撮像光学系により形成された被写体の光学像を光電変換することにより取得された撮像画像を準備し、
   前記撮像光学系の収差の情報を準備し、
   前記撮像画像を物体とみなして、前記収差である第１の収差を用いた光学像計算により第１の光学像を算出し、
   前記撮像画像を物体とみなして、前記第１の収差と同じ種類の収差であって該第１の収差と量または符号が異なる第２の収差を用いた光学像計算により第２の光学像を計算し、
   前記第１の光学像を逆フーリエ変換して得られた第１の空間周波数と前記第２の光学像を逆フーリエ変換して得られた第２の空間周波数との比である空間周波数比分布を算出し、
   前記撮像画像を逆フーリエ変換して得られた撮像空間周波数を前記空間周波数比分布で除して得られた第３の空間周波数をフーリエ変換して推定画像を算出することを特徴とする画像推定方法。
2. 前記撮像光学系の前記収差は、前記撮像光学系のデフォーカスに相当する収差であることを特徴とする請求項１に記載の画像推定方法。
3. 前記光学像を形成する光の波長をλとし、前記撮像光学系の開口数をＮＡとするとき、前記デフォーカスの量の絶対値はλ／ＮＡ^２以下であることを特徴とする請求項２に記載の画像推定方法。
4. 撮像時において、前記被写体は部分コヒーレント照明によって照明されることを特徴とする請求項１から３のいずれか一項に記載の画像推定方法。
5. 前記第１および第２の光学像を算出するための前記光学像計算において、前記被写体を照明する光源の波長、前記撮像光学系の開口数および光源の強度分布のうち少なくとも１つを含む撮像条件を用いることを特徴とした請求項１から４のいずれか一項に記載の画像推定方法。
6. 撮像光学系により形成された被写体の光学像を撮像することにより取得された撮像画像を用いて画像推定処理を行う画像推定装置であって、
   前記画像推定処理において、
   前記撮像光学系の収差の情報を準備し、
   前記撮像画像を物体とみなして、前記収差である第１の収差を用いた光学像計算により第１の光学像を算出し、
   前記撮像画像を物体とみなして、前記第１の収差と同じ種類の収差であって該第１の収差と量または符号が異なる第２の収差を用いた光学像計算により第２の光学像を計算し、
   前記第１の光学像を逆フーリエ変換して得られた第１の空間周波数と前記第２の光学像を逆フーリエ変換して得られた第２の空間周波数との比である空間周波数比分布を算出し、
   前記撮像画像を逆フーリエ変換して得られた撮像空間周波数を前記空間周波数比分布で除して得られた第３の空間周波数をフーリエ変換して前記推定画像を算出することを特徴とする画像推定装置。
7. 撮像光学系により形成された被写体の光学像を撮像することにより撮像画像を取得する撮像系と、
   請求項６に記載の画像推定装置とを有することを特徴とする撮像装置。
8. 撮像光学系により形成された被写体の光学像を撮像することにより取得された撮像画像を用いた画像推定処理をコンピュータに実行させるコンピュータプログラムであって、
   前記画像推定処理は、
   前記撮像光学系の収差の情報を準備し、
   前記撮像画像を物体とみなして、前記収差である第１の収差を用いた光学像計算により第１の光学像を算出し、
   前記撮像画像を物体とみなして、前記第１の収差と同じ種類の収差であって該第１の収差と量または符号が異なる第２の収差を用いた光学像計算により第２の光学像を計算し、
   前記第１の光学像を逆フーリエ変換して得られた第１の空間周波数と前記第２の光学像を逆フーリエ変換して得られた第２の空間周波数との比である空間周波数比分布を算出し、
   前記撮像画像を逆フーリエ変換して得られた撮像空間周波数を前記空間周波数比分布で除して得られた第３の空間周波数をフーリエ変換して前記推定画像を算出することを特徴とする画像処理プログラム。