JP2011090233A - 光学装置、およびそれを用いた撮像装置、撮像システム - Google Patents

Abstract

【課題】
画像回復処理に合わせた特性を有する光学装置、及びそれを用いた撮像装置、撮像システムを提供することで、効果的な画像回復処理を実現する。
【解決手段】
撮像素子１２と、撮像素子に被写体の像を結像する光学系１１と、撮像素子１２で得た画像に対して画像処理を実行する画像処理手段１４を有し、光学系１１は、像側の所定領域内の少なくとも２点におけるＰＳＦが略一致することを特徴とする。
【選択図】図１

Description

本発明は、デジタルカメラなどに用いられる光学装置、その光学装置を用いた撮像装置、または撮像装置と外部装置にて構成される撮像システムに関するものであり、特に、撮像した画像に対して実行される画像復元処理に適した光学系を有するものに関するものである。

従来、光学系を通して集光した被写体の像をＣＣＤ等の撮像素子に投影し、撮像を行う各種撮像装置が知られている。このような撮像装置においては、撮像して得られた画像に対して、所定の特性を有するフィルタにて加工する各種画像処理が行われることが一般的である。

このような、画像処理を可能とする撮像装置として、特許文献１には、光学系と、撮像素子と、変換手段と、信号処理手段とを備え、第１フィルタと第２フィルタを用いる撮像装置が開示されている。光学系は、合焦位置およびその前後の距離において焦点のボケ量が略一定となるように形成されている。撮像素子は、光学系によって結像された被写体像を撮像する。変換手段は、撮像素子から得た画像における焦点のボケを補正して、復元した画像を生成する。信号処理手段は、画像信号に所定の画像処理を行う。また、第１フィルタは、静止画撮影モード時に、変換手段の画像復元処理のために用いられる。第２フィルタは、動画撮影モード時、またはスルー画像表示時に、変換手段の画像復元処理のために用いられている。

この特許文献１の開示によれば、動画撮影モード時やスルー画像表示時において第２フィルタを用いた簡易な画像復元処理を行うことができる。そして、これにより、高価な変換手段を必要することなく光学系を簡単化できるので、コスト低減を図ることができる。また、復元画像を劣化させることのない撮像装置を提供することができるものである。

特開２００８−０１１４９２号公報

特許文献１では、画像における焦点のボケを補正して画像を復元している。しかしながら、復元した画像における解像は十分とはいえなかった。

本発明は、復元した画像において解像が十分得られ、また、焦点深度が拡大した画像を簡単に得ることを課題としている。

上述の課題を解決するために、本発明の光学装置、およびそれを用いた撮像装置、撮像システムは以下の何れかとするものである。

本発明の光学装置の第１の構成は、撮像素子に被写体の像を結像するとともに、前記撮像素子で得た画像に対し画像回復処理が実行される光学装置において、像側の所定領域内の少なくとも２点におけるＰＳＦが略一致することを特徴とするものである。

本発明の光学装置の第２の構成は、第１の構成において、前記所定領域は光軸方向の領域であって、前記ＰＳＦは、光軸方向の２点において略一致することを特徴とするものである。

本発明の光学装置の第３の構成は、第１または第２の構成において、前記所定領域は光軸と直交する方向の領域であって、前記ＰＳＦは、像高方向の２点において略一致することを特徴とするものである。

本発明の光学装置の第４の構成は、第１から第３の何れかの構成において、前記２点間のＰＳＦの幅の変化は、±３０％以内であることを特徴とするものである。

本発明の光学装置の第５の構成は、第４の構成において、前記ＰＳＦの幅は、半値全幅であることを特徴とするものである。

本発明の撮像装置の第１の構成は、撮像素子と、前記撮像素子に被写体の像を結像する光学系と、前記撮像素子で得た画像に対して画像処理を実行する画像処理手段を有し、前記光学系は、像側の所定領域内の少なくとも２点においてＰＳＦが略一致することを特徴とするものである。

本発明の撮像装置の第２の構成は、第１の構成において、前記所定領域は光軸方向の領域であって、前記ＰＳＦは、光軸方向の２点において略一致することを特徴とするものである。

本発明の撮像装置の第３の構成は、第１または第２の構成において、前記所定領域は光軸と直交する方向の領域であって、前記ＰＳＦは、像高方向の２点において略一致することを特徴とするものである。

本発明の撮像装置の第４の構成は、第１から第３の何れかの構成において、前記２点間のＰＳＦの幅の変化は、±３０％以内であることを特徴とするものである。

本発明の撮像装置の第５の構成は、第１から第４の何れかの構成において、前記２点間のＰＳＦの幅の変化は、１／４画素以内であることを特徴とするものである。

本発明の撮像装置の第６の構成は、第４または第５の構成において、前記ＰＳＦの幅は、半値全幅であることを特徴とするものである。

本発明の撮像装置の第７の構成は、第１から第６の構成において、前記光学系の球面収差特性は、ピークを有することを特徴とするものである。

本発明の撮像装置の第８の構成は、第７の構成において、前記光学系の球面収差特性は、２つ以上のピークを有することを特徴とするものである。

本発明の撮像装置の第９の構成は、第８の構成において、前記球面収差特性のピークは、プラス側とマイナス側に位置することを特徴とするものである。

本発明の撮像装置の第１０の構成は、第１から第９の何れかの構成において、前記光学系は、前記ＰＳＦを実現するための波面制御素子を備えることを特徴とするものである。

本発明の撮像装置の第１１の構成は、第１０の構成において、前記ＰＳＦを実現するための波面制御素子は、非球面を有することを特徴とするものである。

本発明の撮像装置の第１２の構成は、第１０の構成において、前記ＰＳＦを実現するための波面制御素子は、位相板であることを特徴とするものである。

本発明の撮像装置の第１３の構成は、第１０の構成において、前記ＰＳＦを実現するための波面制御素子は、１面に複数の曲率を有するレンズであることを特徴とするものである。

本発明の撮像装置の第１４の構成は、第１０の構成において、前記ＰＳＦを実現するための波面制御素子は、中心と周辺で異なる曲率を有するレンズであることを特徴とするものである。

本発明の撮像装置の第１５の構成は、第１３または第１４の構成において、前記ＰＳＦを実現するための波面制御素子は、１面に３つの曲率を有するレンズであることを特徴とするものである。

本発明の撮像装置の第１６の構成は、第１０から第１５の何れかの構成において、前記ＰＳＦを実現するための波面制御素子は、その材質に複屈折結晶が用いられることを特徴とするものである。

本発明の撮像装置の第１７の構成は、第１０から第１６の何れかの構成において、前記ＰＳＦを実現するための波面制御素子は、着脱可能とすることを特徴とするものである。

本発明の撮像装置の第１８の構成は、第１から第１７の何れかの構成において、前記画像処理手段において実行される画像処理は、前記撮像素子で得た画像に対する画像回復処理を含むことを特徴とするものである。

本発明の撮像装置の第１９の構成は、第１８の構成において、前記画像回復処理は、前記光学系の結像特性を用いることを特徴とするものである。

本発明の撮像装置の第２０の構成は、第１９の構成において、前記画像回復処理は、回復画像が下記微分方程式で表される処理を実行することを特徴とするものである。
ｆ（ｘ,ｙ）＝ｇ（ｘ,ｙ）＋ａ₁（ｘ,ｙ）・ｇ'（ｘ,ｙ）＋ …
… ＋ａ_n（ｘ,ｙ）・ｇ⁽ⁿ⁾（ｘ,ｙ）
ただし、ｆ：前記回復画像、ｇ：前記画像、ａ₁、ａ₂、…ａ_n：劣化パラメータ
ｇ⁽ⁿ⁾：前記画像に対するｎ次微分、
である。

本発明の撮像システムの第１の構成は、第１から第２０の何れかの撮像装置と、前記撮像素子で得た画像に対して画像回復処理を実行する外部装置とを有することを特徴とするものである。

本発明の撮像システムの第２の構成は、第１の構成において、前記画像回復処理は、前記光学系の結像特性を用いることを特徴とするものである。

本発明の撮像システムの第３の構成は、第１または第２の構成において、前記画像回復処理は、回復画像が下記微分方程式で表される処理を実行することを特徴とするものである。
ｆ（ｘ,ｙ）＝ｇ（ｘ,ｙ）＋ａ₁（ｘ,ｙ）・ｇ'（ｘ,ｙ）＋ …
… ＋ａ_n（ｘ,ｙ）・ｇ⁽ⁿ⁾（ｘ,ｙ）
ただし、
ｆ：前記回復画像、ｇ：前記画像、ａ₁、ａ₂、…ａ_n：劣化パラメータ
ｇ⁽ⁿ⁾：前記画像に対するｎ次微分、
である。

本発明の撮像システムの第４の構成は、第１から第３の何れかの構成において、前記撮像装置と前記外部装置はそれぞれ通信手段を備え、前記撮像素子で得た画像を、前記通信手段を介して前記外部装置に送信することを特徴とするものである。

本発明によれば、復元した画像において十分な解像が得られる。また、焦点深度が拡大した画像を簡単に得ることが可能となる。

比較例１、並びに、本発明の実施例１〜実施例３の光学系を展開して光軸に沿ってとった断面図。 比較例１の球面収差特性を示す図。 ＰＳＦの観測位置を説明するための概念図。 本発明の実施例１の光学系のＰＳＦの像高方向への変化を示す図。 本発明の実施例１の球面収差特性を示す図。 本発明の実施例２で用いる２焦点レンズの構成を示した模式図。 本発明の実施例２の光学系のＰＳＦの光軸方向への変化を示す図。 本発明の実施例２の球面収差特性を示す図。 本発明の実施例３で用いる３焦点レンズの構成を示した模式図。 本発明の実施例３の光学系のＰＳＦの光軸方向への変化を示す図。 本発明の実施例３の球面収差特性を示す図。 本発明の撮像装置の構成を示す概略図。 本発明の画像回復処理を示す概略図。 本発明の撮像システムの構成を示す概略図。

上述の課題を解決するために、本発明の光学装置、およびそれを用いた撮像装置、撮像システムは以下の何れかとするものである。

本実施形態の光学装置の第１の構成は、撮像素子に被写体の像を結像するとともに、撮像素子で得た画像に対し画像回復処理が実行される光学装置において、像側の所定領域内の少なくとも２点におけるＰＳＦが略一致することを特徴とするものである。

以下に、この光学装置の第１の構成を採用する理由と作用について説明する。

光学装置では、光学系によって被写体の像が形成される。このとき、被写体の位置に応じて形成される像の位置も異なる。複数の被写体でそれぞれの位置が異なっている場合、各被写体の像の位置も異なる。ここで、ある被写体を基準として、この被写体にピントを合わせたとする。この場合、この被写体の像位置（以下、基準像位置）の前後に、他の被写体の像が形成される。そして、基準像位置ではピントの合った被写体像が得られるが、基準像位置の前後では、ピントのずれた（ぼけた）被写体像になる。

第１の構成は、像側の所定領域内の少なくとも２点におけるＰＳＦが略一致することを規定したものである。ここで、ＰＳＦ（Point Spread Function）とは、点広がり関数あ
るいは点像強度分布と呼ばれる点像に対する応答特性のことである。ＰＳＦは、対象とな
る光学系の物体面に点光源を配置した際の像側の観測点における光強度分布を示す特性である。計算にて求める場合には点光源としてδ関数が用いられる。また、ＰＳＦが略一致するとは、ＰＳＦの形状が略一致していることをいうものであって、一致している規定としては、各ＰＳＦの半値全幅など、ピーク値の所定割合値での幅の比較などによって行われる。

本実施形態では、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させることで、２点間における得られたそれぞれの画像について、画像特性（画質、ボケ具合等）をほぼ同じようにすることができる。それによって、この得られた画像に対して画像回復処理を行った場合、画像回復を効果的に行うことができる。

例えば、ＭＴＦ（Modulation Transfer Function）を画像の各画素において同じように上昇させる回復処理を用いた場合、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させておくことで、少なくとも２点間における各画素の周辺において同じようにＭＴＦを回復させることができる。すなわち、画像を構成する各画素について十分に解像を上げることができる。その結果、十分に解像された画像の回復ができる。また、焦点深度の広い画像としても復元することができる。一方、像側の所定領域内の少なくとも２点におけるＰＳＦが略一致していない場合には、ＭＴＦを画像の各画素において同じように上昇させた回復処理を行ったとしても、解像の変化が目立つ画像となってしまう。

本実施形態の光学装置の第２の構成は、第１の構成において、所定領域は光軸方向の領域であって、ＰＳＦは、光軸方向の２点において略一致することを特徴とするものである。

以下に、この光学装置の第２の構成を採用する理由と作用について説明する。この光学装置の第２の構成は、像側における２点のＰＳＦを観測する方向について規定したものである。このように光学装置の光軸方向における２点でのＰＳＦを略一致させたことで、回復処理を行ったときに焦点深度の広い画像として復元することが可能となる。

本実施形態の光学装置の第３の構成は、第１または第２の構成において、所定領域は光軸と直交する方向の領域であって、ＰＳＦは、像高方向の２点において略一致することを特徴とするものである。

以下に、この光学装置の第３の構成を採用する理由と作用について説明する。この光学装置の第３の構成は、像側における２点のＰＳＦを観測する方向について規定したものである。このように光学装置の像高方向（光軸と直交する方向）における２点でのＰＳＦを略一致させたことで、回復処理を行ったときに十分な解像を得ることができる。

本実施形態の光学装置の第４の構成は、第１から第３の何れかの構成において、２点間のＰＳＦの幅の変化は、±３０％以内であることを特徴とするものである。

以下に、この光学装置の第４の構成を採用する理由と作用について説明する。この光学装置の第４の構成は、像側の所定領域内の少なくとも２点におけるＰＳＦが略一致する条件を規定したものである。条件としては、ＰＳＦの幅の変化が±３０％以内に収まることとしている。ここで、ＰＳＦの幅は対象とされる少なくとも２点のＰＳＦにおいて同条件で計測したものである。この条件を有する光学装置により被写体像を撮像し、得られた画像に対して画像回復処理を施すことで、十分に解像された画像を得ることができる。一方、この条件を満足しない場合には、得られた画像に画像回復処理が実行されたとしても、解像の変化が目立つ画像となってしまう。

本実施形態の光学装置の第５の構成は、第４の構成において、ＰＳＦの幅は、半値全幅であることを特徴とするものである。

以下に、この光学装置の第５の構成を採用する理由と作用について説明する。この光学装置の第５の構成は、第４の構成で規定したＰＳＦの幅の好ましい形態を規定したものである。ここで半値全幅とは、ＰＳＦの最大ピーク値（最大値）の半分のＰＳＦの値におけるＰＳＦの幅をいうものである。

本実施形態の撮像装置の第１の構成は、撮像素子と、撮像素子に被写体の像を結像する光学系と、撮像素子で得た画像に対して画像処理を実行する画像処理手段を有し、光学系は、像側の所定領域内の少なくとも２点におけるＰＳＦが略一致することを特徴とするものである。

本実施形態の撮像装置の第２の構成は、第１の構成において、ＰＳＦは、光軸方向の２点において略一致することを特徴とするものである。

本実施形態の撮像装置の第３の構成は、第１または第２の構成において、ＰＳＦは、像高方向の２点において略一致することを特徴とするものである。

本実施形態の撮像装置の第４の構成は、第１から第３の何れかの構成において、２点間のＰＳＦの幅の変化は、±３０％以内であることを特徴とするものである。

本実施形態の撮像装置の第５の構成は、第１から第４の何れかの構成において、２点間のＰＳＦの幅の変化は、１／４画素以内であることを特徴とするものである。

本実施形態の撮像装置の第６の構成は、第４または第５の構成において、ＰＳＦの幅は、半値全幅であることを特徴とするものである。

これら第１から第４、及び、第６の構成における撮像装置は、それぞれ前述した光学装置（光学系）の第１から第５の構成に、撮像素子と、撮像素子で得た画像に対して画像処理を実行する画像処理手段を付加することにより撮像装置として実現したものである。これら第１から第４、及び、第６の撮像装置の構成に拠れば、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系によって被写体の像が形成される。この被写体像を撮像素子で撮像することで、被写体の画像（観測画像）を得ることができる。そして、この画像に対して画像回復処理を行った場合、画像回復処理を効果的に行うことができる。すなわち、十分に解像された画像回復を行なうことができる。

また、第５の構成を採用する撮像装置では、撮像素子の画素の大きさとの関係において２点間でのＰＳＦの幅の変化を１／４画素以内とすることを規定している。このような条件を満たす光学系を用いることで、画像回復処理を効率的に行うことが可能となる。すなわち、十分に解像された画像回復ができる。なお、ＰＳＦの幅には半値全幅を用いることが好ましい。

本実施形態の撮像装置の第７の構成は、第１から第６の構成において、光学系の球面収差特性は、ピークを有することを特徴とするものである。

この第７の構成は、光学系の球面収差特性に基づいて、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させることを規定したものである。球面収差特性がピーク値を有する場合、球面収差特性はプラス側、および、マイナス側の両方向に変動することとなる。このように球面収差特性を両方向に変動させることで、撮像素子の設置位置近傍に
光線を分散させることができる。このような特性を持たせることで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させることが可能となる。

本発明の撮像装置の第８の構成は、第７の構成において、光学系の球面収差特性は、２つ以上のピークを有することを特徴とするものである。

この第８の構成は、第７の構成において更に良好となる条件を規定したものである。このように球面収差特性が２つ以上のピークを有することで、球面収差特性は、プラス側、および、マイナス側の両方向へ少なくとも２回変動することとなる。このような特性を持たせることで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現できる。

本発明の撮像装置の第９の構成は、第８の構成において、球面収差特性のピークは、プラス側とマイナス側に位置することを特徴とするものである。

この第９の構成は、第８の構成において更に良好となる条件を規定したものである。このように、球面収差特性のピークをプラス側、マイナス側の両方に位置させることで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現できる。

本発明の撮像装置の第１０の構成は、第１から第９の何れかの構成において、光学系は、ＰＳＦを実現するための波面制御素子を備えることを特徴とするものである。

波面制御素子を設けることで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現することができる。

本発明の撮像装置の第１１の構成は、第１０の構成において、ＰＳＦを実現するための波面制御素子は、非球面を有することを特徴とするものである。

波面制御素子が非球面を有することで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現することができる。この非球面を有する波面制御素子としては、非球面レンズや非球面板、または、何れかの領域を非球面とする多焦点レンズなどを採用することができる。

本発明の撮像装置の第１２の構成は、第１０の構成において、ＰＳＦを実現するための波面制御素子は、位相板であることを特徴とするものである。

位相板を波面制御素子として用いることで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現することができる。

本発明の撮像装置の第１３の構成は、第１０の構成において、ＰＳＦを実現するための波面制御素子は、１面に複数の曲率を有するレンズであることを特徴とするものである。

１面に複数の曲率を有するレンズを波面制御素子として用いることで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現することができる。１つの曲率としては、球面形状のような所定の曲率半径を有するものの他、非球面形状のように所定の計算式で得られる曲率を含むものである。

本発明の撮像装置の第１４の構成は、第１０の構成において、ＰＳＦを実現するための波面制御素子は、中心と周辺で異なる曲率を有するレンズであることを特徴とするものである。

中心と周辺で異なる曲率を有するレンズを波面制御素子として用いることで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現することができる。

本発明の撮像装置の第１５の構成は、第１３または第１４の構成において、ＰＳＦを実現するための波面制御素子は、１面に３つの曲率を有するレンズであることを特徴とするものである。

１面に３つの曲率を有するレンズを波面制御素子として用いることで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現することができる。

本発明の撮像装置の第１６の構成は、第１０から第１５の何れかの構成において、ＰＳＦを実現するための波面制御素子は、その材質に複屈折結晶が用いられることを特徴とするものである。

波面制御素子の材質に複屈折結晶を用いることで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現することができる。

本発明の撮像装置の第１７の構成は、第１０から第１６の何れかの構成において、ＰＳＦを実現するための波面制御素子は、着脱可能とすることを特徴とするものである。

この第１７の構成によれば、この波面制御素子を光学系から抜く、あるいは、別の光学素子と交換することができる。像側の所定領域内の少なくとも２点におけるＰＳＦを有する光学系と他の光学系を１つの装置にて実現し、必要なときに所望の光学特性に変更することができる。

本発明の撮像装置の第１８の構成は、第１から第１７の何れかの構成において、画像処理手段において実行される画像処理は、撮像素子で得た画像に対する画像回復処理を含むことを特徴とするものである。

この第１８の構成に拠れば、１つの撮像装置のみで撮像、並びに撮像により得た画像に対する画像回復処理を実行することが可能となる。

本発明の撮像装置の第１９の構成は、第１８の構成において、画像回復処理は、光学系の結像特性を用いることを特徴とするものである。

この第１９の構成に拠れば、光学系の結像特性を利用して画像回復処理を行うことで、さらに効果的な画像回復処理を行うことができる。

本発明の撮像装置の第２０の構成は、第１９の構成において、画像回復処理は、回復画像が下記微分方程式で表される処理を実行することを特徴とするものである。
ｆ（ｘ,ｙ）＝ｇ（ｘ,ｙ）＋ａ₁（ｘ,ｙ）・ｇ'（ｘ,ｙ）＋ …
… ＋ａ_n（ｘ,ｙ）・ｇ⁽ⁿ⁾（ｘ,ｙ）
ただし、
ｆ：回復画像、ｇ：画像、ａ₁、ａ₂、…ａ_n：劣化パラメータ
ｇ⁽ⁿ⁾：画像に対するｎ次微分、
である。

この第２０の構成に拠れば、光学系の結像特性として、画像の位置に応じて変化する劣
化パラメータ、いわゆる、スペースバリアントなパラメータにてフィルタリングすることで、さらに効果的な画像回復処理を行うことができる。

本発明の撮像システムの第１の構成は、第１から第２０の何れかの撮像装置と、撮像素子で得た画像に対して画像回復処理を実行する外部装置とを有することを特徴とするものである。

この第１の撮像システムの構成に拠れば、画像回復処理を外部装置にて行うことで、撮像装置内での処理負担を削減することが可能となる。その結果、撮像装置の低コスト化、高速処理を実現することができる。

本発明の撮像システムの第２の構成は、第１の構成において、画像回復処理は、光学系の結像特性を用いることを特徴とするものである。

この第２の撮像システムの構成に拠れば、光学系の結像特性を利用して画像回復処理を行うことで、さらに効果的な画像回復処理を行うことができる。

本発明の撮像システムの第３の構成は、第１または第２の構成において、画像回復処理は、回復画像が下記微分方程式で表される処理を実行することを特徴とするものである。ｆ（ｘ,ｙ）＝ｇ（ｘ,ｙ）＋ａ₁（ｘ,ｙ）・ｇ'（ｘ,ｙ）＋ …
… ＋ａ_n（ｘ,ｙ）・ｇ⁽ⁿ⁾（ｘ,ｙ）
ただし、
ｆ：回復画像、ｇ：画像、ａ₁、ａ₂、…ａ_n：劣化パラメータ
ｇ⁽ⁿ⁾：画像に対するｎ次微分、
である。

この撮像システムの第３の構成によれば、光学系の結像特性として、画像の位置に応じて変化する劣化パラメータ、いわゆる、スペースバリアントなパラメータにてフィルタリングすることができる。これにより、さらに効果的な画像回復処理を行うことができる。

本発明の撮像システムの第４の構成は、第１から第３の何れかの構成において、撮像装置と外部装置はそれぞれ通信手段を備え、撮像素子で得た画像を、通信手段を介して外部装置に送信することを特徴とするものである。

この第４の撮像システムの構成によれば、撮像素子で得た画像を簡易に外部装置に提供することが可能となる。また、撮像装置における記録容量や処理量を削減することが可能となる。

図１から図１１を用い、本実施形態の撮像装置で用いる光学系について説明を行う。

図１は、比較例１、並びに、本実施形態発明の実施例１〜実施例３で使用する光学系の概略を展開して光軸に沿ってとった断面図である。比較例１、実施例１〜実施例３は、図中、第３レンズＬ３の詳細において異なっている。

この比較例１は、実施例１〜実施例３を説明するために例示するものであり、第３レンズＬ３の両面を球面形状としている。これに対し、実施例１では第３レンズＬ３の６面を非球面形状とし、実施例２では第３レンズＬ３の５面を２焦点レンズとし、実施例３では第３レンズＬ３の５面を３焦点レンズとしている点において異なったものとなっている。

比較例１において、図１に示す光学系Ｏは、物体側から射出側に向かって順に、第１レ
ンズＬ１、第２レンズＬ２、第３レンズＬ３、明るさ絞りＳにて構成されている。図中、ｒ８で示される撮像面には、ＣＣＤなどの撮像素子が設置される。

第１レンズＬ１は、物体側に凸面を向けた正メニスカス形状の単レンズであり、第２レンズＬ２は、負屈折力を有する両凹形状の単レンズであり、第３レンズＬ３は、正屈折力を有する両凸形状の単レンズである。

また、本比較例では、撮像面に設置される撮像素子には、縦または横方向の最大画素数を４０００、画素ピッチを１．７（μｍ）のものを想定して設計を行っている。なお、これは、実施例でも同じである。

以下に上記比較例１の数値データを示す。数値データ中、ｒは各レンズ面（光学面）の曲率半径、ｄは各レンズ面（光学面）間の間隔、ｎｄは各レンズ（光学媒質）のｄ線の屈折率、Ｖｄは各レンズ（光学媒質）のアッベ数、Ｆは焦点距離である。なお、曲率半径に記載する記号"∞"は、無限大であることを示している。

各種データには、光学系の焦点距離、Ｆナンバーが示されている。焦点距離の単位は、ミリメートル（ｍｍ）であって、Ｆナンバーは、本測定に用いた開放時のものが示されている。

数値比較例１
単位 ｍｍ
面データ
面番号 ｒ ｄ ｎｄ Ｖｄ Ｆ
1 3.0139 1.2800 1.72341 50.20 6.1743
2 7.6146 0.1923
3 -10.5848 0.2367 1.70448 30.10 -3.5085
4 3.2544 0.3997
5 10.7443 0.4438 1.81067 41.00 5.0931
6 -6.5817 0.2367
7（絞り） ∞ 7.7389
8（撮像面） ∞

各種データ
焦点距離 9.9902
Ｆナンバー 3.5 。

図２は、この比較例１における球面収差特性を示した図であり、ここでは、波長５４６．０７（ｎｍ）での球面収差特性が示されている。

図３は、ＰＳＦの観測位置を説明するための概念図を示したものである。物体側に配置された点光源Ａから発せられた光は、光学系Ｏを介して物体側の観測点Ａ１'で結像する
。この場合、観測点Ａ１'におけるＰＳＦは、観測点Ａ１'での光強度を中心として像高方向に対する光強度の分布として表すことができる。また、観測点Ａ２'におけるＰＳＦは
、観測点Ａ２'での光強度を中心として像高方向に対する光強度の分布として表される。
一方、物体側に配置された点光源Ｂから発せられた光は、物体側のＢ'で結像する。この
場合、観測点Ｂ'におけるＰＳＦは、観測点Ｂ'での光強度を中心として像高方向の光強度の分布で表すことができる。なお、像高方向に対する光強度の分布とは、光軸と直交する面内における光強度の分布のことを指す。

本実施形態では、像側の少なくとも２つの観測点におけるＰＳＦを略一致させることで、画像回復処理を行った際に十分に解像された画像を得ることができる。像側の少なくとも２点におけるＰＳＦを含む領域は、撮像素子が配置される位置や所望の画像特性を考慮して任意なものとすることができる。２点間のＰＳＦの比較は、観測点Ａ１'と観測点Ａ
２'のように光軸方向の異なる位置で行ってもよいし、観測点Ａ１'と観測点Ｂ'のように
像高方向の異なる位置で行うこととしてもよい。

次に、実施例１について数値実施例、並びに各種特性を以下に説明する。この実施例１は、図１における第３レンズＬ３の６面を非球面形状とすることで、像側の少なくとも２点において略一致するＰＳＦを実現している。各数値の意味、各種設計条件は、比較例１において説明したものと同様である。面データ中、面番号の右側に付されたアスタリスク"＊"は、そのレンズ面が非球面形状であることを示している。

また、非球面形状は、ｘを光の進行方向を正とした光軸とし、ｙを光軸と直交する方向にとると下記の式にて表される。
ｘ＝（ｙ²／ｒ）／［１＋｛１−（Ｋ＋１）（ｙ／ｒ）²｝^1/2］
＋Ａ２ｙ²＋Ａ４ｙ⁴＋Ａ６ｙ⁶＋Ａ８ｙ⁸＋Ａ１０ｙ¹⁰＋ …
ただし、ｒは近軸曲率半径、Ｋは円錐係数、Ａ２〜Ａ１０はそれぞれ２次〜１０次の非球面係数である。なお、記号"Ｅ"は、それに続く数値が１０を底にもつ、べき指数であることを示している。例えば「１．０Ｅ−５」は「１．０×１０^-5」を意味している。

数値実施例１
単位 ｍｍ
面データ
面番号 ｒ ｄ ｎｄ Ｖｄ Ｆ
1 3.0139 1.2800 1.72341 50.20 6.1743
2 7.6146 0.1923
3 -10.5848 0.2367 1.70448 30.10 -3.5085
4 3.2544 0.3997
5 10.7443 0.4438 1.81067 41.00 5.0931
6* -6.5817 0.2367
7（絞り） ∞ 7.7389
8（撮像面） ∞

非球面データ
第６面
K=0
A2=-2.01E-12
A4=5.98E-03
A6=-2.08E-02
A8=2.19E-02
A10=-7.06E-03

各種データ
焦点距離 9.9902
Ｆナンバー 3.5

ＰＳＦの半値全幅
像高方向の距離 実寸比[％] 画素換算比
0.00 0.000 0.000
0.25ｄ 1.199 0.010
0.50ｄ 3.300 0.027 。

図４は、実施例１の光学系のＰＳＦであって、像高方向における異なる位置でのPSFを
示した図である。横軸は像高方向の距離（光軸と直交する面内における距離）であって、単位はミリメートル（ｍｍ）である。縦軸は強度であって、光軸上（軸上）におけるＰＳＦの観測中心位置での強度を１に正規化している。実線で示した強度分布は、光軸上の焦点位置におけるＰＳＦ（ＰＳＦａ１）である。また、破線で示された強度分布は、光軸から像高方向に０．２５ｄ（ｄは光学系における最大像高）だけ離れた位置におけるＰＳＦ（ＰＳＦａ２）である。そして、一点鎖線で示された強度分布は、光軸から像高方向に０．５ｄだけ離れた位置におけるＰＳＦ（ＰＳＦａ３）である。

このように、３つのPSFはいずれも、同一平面（ここでは焦平面）における異なる位置
で観測したものである。なお、図４では、３つのＰＳＦを比較するために、３つのＰＳＦのそれぞれの中心を一致させて重ねて表示している。例えば、ＰＳＦａ２と、ＰＳＦａ３のそれぞれを、強度分布をそのままにして、光軸位置まで平行移動させて、ＰＳＦａ１と重ねることで、図４のようになる。

この図に示されるように、軸上、０．２５ｄ、０．５ｄの位置における３つのＰＳＦは略一致することがみてとれる。また、上記ＰＳＦの半値全幅の数値例においても、実寸比で±３０％以内、画素換算比でも１／４画素以内に十分収まった値となっており、数値的にみても３つのＰＳＦが略一致していることが裏付けられている。なお、半値全幅の画素換算比は絶対値で示すこととしている。

このようなＰＳＦの関係を有する光学系では、得られた画像に対し各種画像回復処理を施すことで、十分な解像を持つ画像を復元することができる。

なお、ＰＳＦが略一致する所定領域は、この実施例１のように光軸から０．５ｄの範囲内であることが好ましい。このような所定領域内でＰＳＦを略一致させた光学系を用いることで、光学系によって得られた画像に対し画像回復処理を施した場合には、焦点位置を中心として解像を回復することができ、視覚的に良好な画像を得ることが可能となる。また、ＰＳＦが略一致する所定領域は、光軸から０．２５ｄの範囲内であっても良い。

また、上記のように、ｄは光学系における最大像高（像の一端から他端方までの距離）になるので、０．５ｄは像の中心（光軸）から一端までの距離になる。そして、この０．５ｄは撮像素子における対角長の半分に等しい。

図５は、この実施例１における球面収差特性を示した図であり、ここでは、波長５４６．０７（ｎｍ）での球面収差特性が示されている。この球面収差特性は、図２の球面収差特性と比較して、収差を表す曲線がプラス側、マイナス側に変動している。図５では、収差曲線は、矢印で示すように３つのピークを有する。このピークの前後では、収差の発生方向がプラス側からマイナス側、あるいはその逆になっている。

このように、球面収差特性をプラス側、マイナス側の両方向に変動させることで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現することが可能となる。この実施例１のように、球面収差特性において、プラス側、マイナス側の両方に複数のピークを形成することが好ましい。なお、球面収差特性において、２つ以上のピークを持たせるだけでも、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させることができる。

次に、実施例２について数値実施例、並びに各種特性を説明する。この実施例２は、図１における第３レンズＬ３の５面を２焦点レンズとすることで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現している。各種数値の意味、各種設計条件は、比較例１、実施例１において説明したものと同様である。

図６は、第３レンズＬ３の５面に採用される２焦点レンズの正面図、並びに、光軸に沿ってとった断面図である。この図は複数焦点レンズを分かり易く説明するため模式的に示した図であって、その形状は実際の数値による形状とは異なっている。

図６に示されるように、この２焦点レンズは、その中央に領域Ａが設けられ、領域Ａを取り巻くように領域Ｂが設けられている。本実施例では領域Ａ、領域Ｂは、共に球面形状を有するとともに、領域Ａと領域Ｂ間は段差を有すること無く連続的に変化する形状となっている。下記数値実施例に、領域毎の半径、曲率、各レンズ面（光学面）間の間隔ｄ４、ｄ５を示しておく。ここで、領域Ｂの面間隔ｄ４、ｄ５は、図６に示すように、領域Ｂのレンズ面が形成する仮想面が光軸と交差する位置での面間隔（図中ｄ４'、ｄ５'）をいうものである。

数値実施例２
単位 ｍｍ
面データ
面番号 ｒ ｄ ｎｄ Ｖｄ Ｆ
1 3.0139 1.2800 1.72341 50.20 6.1743
2 7.6146 0.1923
3 -10.5848 0.2367 1.70448 30.10 -3.5085
4 3.2544 0.3997
5（２焦点） 10.7443 0.4438 1.81067 41.00 8.1189
6 -6.5817 0.2367
7（絞り） ∞ 7.7389
8（撮像面） ∞

２焦点レンズデータ（面番号５）
半径 曲率 ｄ４ ｄ５
領域Ａ 0.715 10.7443 0.3997 0.4438
領域Ｂ 1.2 11.0443 0.4003 0.4432

各種データ
焦点距離 9.9902
Ｆナンバー 3.5

ＰＳＦの半値全幅
デフォーカス量 実寸比[％] 画素換算比
0.00 0.00 0.000
0.25 -5.26 0.050
-0.25 22.98 0.219 。

図７は、この実施例２の光学系のＰＳＦであって、光軸方向における異なる位置でのＰＳＦを示した図である。横軸および縦軸の意味は図４と同じである。実線で示した強度分布は、光軸上（軸上）の焦点位置におけるＰＳＦ（ＰＳＦｂ１）である。また、破線で示した強度分布は、光軸上の焦点位置から光軸方向に沿って像側に０．２５（ｍｍ）だけ離れた位置におけるＰＳＦ（ＰＳＦｂ２）である。そして、一点鎖線で示された強度分布は
、軸上の焦点位置から光軸方向に沿って物体側に０．２５（ｍｍ）だけ離れた位置におけるＰＳＦ（ＰＳＦｂ３）である。

このように、３つのＰＳＦはいずれも、光軸上の異なる位置で観測したものである。なお、図７では、３つのＰＳＦを比較するために、３つのＰＳＦのそれぞれの中心を一致させて重ねて表示している。例えば、ＰＳＦｂ２と、ＰＳＦｂ３のそれぞれを、強度分布をそのままにして、光軸上に沿って移動させて、ＰＳＦｂ１と重ねることで、図７のようになる。

この図からは視覚的にみても、０（ｍｍ）、０．２５（ｍｍ）、−０．２５（ｍｍ）の位置における３つのＰＳＦは略一致することがみてとれる。また、これらＰＳＦの半値全幅の数値例をみると、実寸比で±３０％以内、画素換算比でも１／４画素以内に十分収まった値となっており、数値的にみても３つのＰＳＦが略一致していることが裏付けられている。

このようなＰＳＦの関係を有する光学系では、得られた画像に対し各種画像回復処理を施すことで、十分な解像を持つ画像を復元することができる。特に、光軸方向におけるＰＳＦを略一致させた場合には、焦点深度の深い画像を実現することが可能となる。

図８は、この実施例２における球面収差特性を示した図であって、比較例１と同様、波長５４６．０７（ｎｍ）での球面収差特性が示されている。この球面収差特性は、プラス側、マイナス側にいくつかのピーク値を有するものとなっている。よって、この実施例２においても、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現することが可能となる。

では、次に実施例３についての数値実施例、並びに各種特性を説明する。この実施例３は、図１における第３レンズＬ３の５面を３焦点レンズとすることで、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させた光学系を実現している。各種数値の意味、各種設計条件は、比較例１、実施例１、実施例２において説明したものと同様である。

図９は、第３レンズＬ３の５面に採用される３焦点レンズの正面図、並びに、光軸に沿ってとった断面図を示す。この図は複数焦点レンズを分かり易く説明するため、模式的に示した図であって、その形状は実際の数値による形状とは異なったものとなっている。

図９に示されるように、この３焦点レンズは、その中央に領域Ａが設けられ、領域Ａを取り巻くように領域Ｂ、さらに領域Ｂを取り巻くように領域Ｃが設けられている。本実施例４では領域Ａ、領域Ｂ、領域Ｃは、それぞれが球面形状を有するとともに、各領域間は段差を有すること無く連続的に変化する形状となっている。下記数値実施例に、各領域毎の半径、曲率、各レンズ面（光学面）間の間隔ｄ４、ｄ５を示しておく。ここで、領域Ｂの面間隔ｄ４、ｄ５は、図９に示すように、領域Ｂのレンズ面が形成する仮想面が光軸と交差する位置での面間隔（図中ｄ４'、ｄ５'）であり、また、領域Ｃの面間隔ｄ４、ｄ５は、領域Ｃのレンズ面が形成する仮想面が光軸と交差する位置での面間隔（図中ｄ４''、ｄ５''）である。

数値実施例３
単位 ｍｍ
面データ
面番号 ｒ ｄ ｎｄ Ｖｄ Ｆ
1 3.0139 1.2800 1.72341 50.20 6.1743
2 7.6146 0.1923
3 -10.5848 0.2367 1.70448 30.10 -3.5085
4 3.2544 0.3997
5（３焦点） 10.7443 0.4438 1.81067 41.00 8.1189
6 -6.5817 0.2367
7（絞り） ∞ 7.7389
8（撮像面） ∞

３焦点レンズデータ（面番号５）
半径 曲率 ｄ４ ｄ５
領域Ａ 0.715 10.7443 0.3997 0.4438
領域Ｂ 1.105 11.0443 0.4003 0.4432
領域Ｃ 1.2 11.2943 0.4025 0.4410

各種データ
焦点距離 9.9902
Ｆナンバー 3.5

ＰＳＦの半値全幅
デフォーカス量 実寸比[％] 画素換算比
-0.50 0.36 0.006
-0.25 -1.24 0.022
0.00 0.00 0.000
0.25 -2.52 0.044
0.50 -27.84 0.492 。

この３焦点レンズを用いた実施例３についてもそのＰＳＦ特性、並びに球面収差特性を示しておく。

図１０は、この実施例３の光学系のＰＳＦであって、光軸方向における異なる位置でのＰＳＦを示した図である。横軸および縦軸の意味は図４と同じである。図１０示された強度分布のうち、一点鎖線は軸上の焦点位置におけるＰＳＦである。また、残りの強度分布は、軸上の焦点位置から離れた位置におけるＰＳＦであって、破線は光軸方向に沿って像側に０．２５（ｍｍ）の位置におけるＰＳＦ、二点鎖線は像側に０．５（ｍｍ）の位置におけるＰＳＦ、点線は物体側（マイナスの符号が付されたもの）に０．２５（ｍｍ）の位置におけるＰＳＦ、実線は０．５（ｍｍ）の位置におけるＰＳＦである。

このように、５つのＰＳＦはいずれも、光軸上の異なる位置で観測したものである。なお、図１０では、５つのＰＳＦを比較するために、５つのＰＳＦのそれぞれの中心を一致させて重ねて表示している。５つのＰＳＦの重ねあわせは、図７と同じようにすれば良い。

この図からは、５つのＰＳＦが略一致していることが視覚的にみてとれる。また、これらＰＳＦの半値全幅の数値例からは、実寸比で±３０％以内に収まった値となっているが、画素換算比では１／４画素を超えた値となっており使用する撮像素子によっては十分な解像を得られない場合がある。

図１１は、この実施例３における球面収差特性を示した図であって、比較例１と同様、波長５４６．０７（ｎｍ）での球面収差特性が示されている。この球面収差特性は、プラス側、マイナス側にいくつかのピークを有するものとなっている。よって、実施例３においても、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させることができる
。

以上、図１〜図１１を用いて実施例１〜実施例３、並びにその比較例１について説明を行ったが、このような実施例１から実施例３の光学系によれば、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させることができる。このような光学系を介して画像を得た場合、得られた画像に対して画像回復処理を施すことで、十分な解像を持った画像を得る事ができる。また、焦点深度の広い画像を得ることが可能となる。

なお、像側の少なくとも２点で略一致するＰＳＦを実現するため、比較例１に対し、実施例１では非球面形状を、実施例２では２焦点レンズを、実施例３では３焦点レンズを設けた点が異なっている。なお、略一致するＰＳＦを実現するための波面制御素子としては、このようなレンズの非球面形状、複数焦点レンズのみならず、非球面板や位相板を挿入することで実現することとしてもよい。更に、波面制御素子を複数用いて実現することとしても構わない。実施例２、実施例３では複数焦点レンズの各々の領域を球面形状としたが、何れかの領域を非球面形状としてもよい。また、波面制御素子の材質に複屈折結晶を採用することで更に効果的なＰＳＦを実現することが可能となる。

また、これら波面制御素子を着脱可能としても良い。このようにすることで、通常の光学系（比較例１）としても用いることができる。例えば、実施例１〜実施例３では、第３レンズＬ３を交換することで比較例１のような通常の光学系として利用することが可能となる。

では、次に図１２〜図１４を用い、本実施形態で用いる撮像装置および撮像システムについて説明を行う。図１２は、本実施形態の撮像装置の構成を示した概略図である。この撮像装置１０は、光学系１１と、撮像素子１２と、画像処理手段１４と、制御手段１３により構成されている。なお、本実施形態では、画像処理手段１４により画像回復処理３０を実行することとしているが、この画像回復処理３０は撮像装置１０の外部で行うこととしてもよい。

この撮像装置１０において、光学系１１は、像側の所定領域内の少なくとも２点におけるＰＳＦを略一致させたものである。被写体からの光は、この光学系１１により集光され、この集光位置に被写体の像が結像される。そして、この集光位置には、ＣＣＤ等の撮像素子１２が配置されている。撮像素子１２は、規則正しく配列された光電変換素子（画素）の集まりにて形成されている。

撮像素子１２に入射した光束は、この撮像素子１２の光電変換素子により電気信号（画像信号）に変換される。この電気信号は画像処理手段１４に入力され、画像処理手段１４にて現像処理、ガンマー補正、画像圧縮処理、画像回復処理３０等、各種信号処理が施される。信号処理が施された電気信号は、図示しない撮像装置１０内の内蔵メモリーや各種インターフェイスを介し、外部メモリーあるいは外部装置に出力される。

制御手段１３は、光学系１１、撮像素子１２、画像処理手段１４を統括して制御する手段である。この制御手段１３は、ＣＰＵ、ＲＯＭやＲＡＭなどの記憶手段、記憶手段に記憶された各種プログラムによって構成されている。この制御手段１３は、画像処理手段１４と兼用することとしてもよい。

画像回復処理３０では、光学系１１の結像特性に基づいた処理を行う。この場合、制御手段１３は、光学系１１の結像特性に関する情報を取得して画像回復処理３０に引き渡す。このような構成に拠れば、交換可能な光学系１１を有する撮像装置１０においても光学系１１に応じた画像回復処理３０を実行することができる。光学系１１の結像特性として
は、絞り値、焦点距離など結像特性を実際に示す情報に限らず、製品番号など光学系１１の識別情報を用い、制御手段１３にて識別情報に対応する実際の結像特性に変換することとしてもよい。

では、次に本実施形態の撮像装置における画像回復処理について説明する。なお、以下の説明では、画像回復処理の対象となる画像（撮像素子で得た画像）を、観測画像と称する。画像回復処理では各種の処理（変換）を利用することができるが、利用可能な画像回復処理を大別すると以下の３つに分類することができる。
（１）光学系１１の結像特性を利用するとともに、観測画像の位置に応じた処理が行われる画像回復処理。
（２）光学系１１の結像特性を利用するとともに、観測画像全体に対し一定の処理が行われる画像回復処理。
（３）光学系１１の結像特性を利用することなく、観測画像全体に対し一定の処理が行われる画像回復処理。

（１）の画像回復処理は、観測画像の各画素について異なる処理、いわゆるスペースバリアントな処理が施される画像処理である。この画像処理は、本実施形態の光学系１１で撮像した画像に対し、きわめて効果的な画像回復ができる。すなわち、撮像素子１２が設置される位置、および、その近傍におけるＭＴＦを略均等に上昇させことができる。この画像回復処理の詳細については後述する。なお、画素ごとに処理を異ならせるのではなく、画素群ごとに処理を異ならせても良い。

（２）、（３）の画像回復処理は、観測画像の各画素について同じ処理、いわゆるスペースインバリアントな処理が施される画像処理である。（２）のような画像回復処理としては、観測画像に対し、光学系１１の結像特性に対応した劣化関数の逆関数にてフィルタリングすることで、効果的な画像回復を行うことができる。

また（３）の画像回復処理としては、所定の帯域を持ち上げる帯域強調や、観測画像から抽出したエッジ情報を加算するエッジ強調などがあり、これらの画像回復処理に拠れば、光学系１１の結像特性を用いることなく簡易に画像回復を行うことが可能となる。これら（２）、（３）の画像回復処理は、空間上で行う処理であっても、フーリエ変換などを用いて周波数軸上で行われる処理であってもよい。

では、（１）の画像回復処理について詳細な説明を以下に行う。

奥行きが連続的に変化する被写体を撮影すると、手前側から奥側にかけてボケ方が異なる観測画像が得られる。被写体の中心部にピントが合っているとすると、撮影で得られた被写体の観測画像のボケ量は、大→小→大と連続性を持って変化することとなる。このような場合を、観測画像の各画素のボケ方が観測画像の座標位置に応じて変動する状態、いわゆるスペースバリアントな状態と定義することができる。

まず、回復画像をｆ（ｘ、ｙ）、観測画像をｇ（ｘ、ｙ）、劣化関数をｈ（ｘ、ｙ、α、β）と定義すると、ｆ（ｘ、ｙ）、ｇ（ｘ、ｙ）のｘ、ｙ周りでのｍ、ｎ次微分、ｈ（ｘ、ｙ、α、β）のｉ，ｋ次モーメントは、それぞれ（数１）内に示す式で定義することができる。ただし、劣化関数ｈ（ｘ、ｙ、α、β）は、観測画像ｇ（ｘ、ｙ）の画素位置、及び、光学系の結像特性を示すＰＳＦ（α、β）によって変化するボケ量を示す関数である。

次に観測画像ｇ、回復画像ｆ、劣化関数ｈの関係をモデル化すると（数２）のようにｇは、ｈとｆの畳み込み積分で表すことができる。

この（数２）において、右辺のｈ、ｆをそれぞれテーラー展開（ｈ：Ｎ次打ち切り、ｆ：Ｍ次打ち切り）にて展開すると、

（数３）を（数２）に代入し、ｈ、ｆの積より導かれる各項毎の積分で表すと、各積分の項は、数１にて定義したｈのモーメントに置き換えることが可能となり、（数４）を導くことができる。

この（数４）の両辺をｘ、ｙに関して微分し、ｆ、ｈの微分係数＞Ｎ、Ｍの場合には、各微分係数を０とし、これをｇ^(p,q)＝ｆ^(p,q)となるまでｘ、ｙについてｐ、ｑ回繰り返し、逆算して（数４）のｆの微分値に代入していく。このような手順により（数４）に残るｆの関数は０次の微分の項のみとなり、回復画像ｆは、下記に示すように観測画像ｇと劣化関数ｈの積和演算により表すことができる。
ｆ（ｘ,ｙ）＝ｇ（ｘ,ｙ）＋ａ₁（ｘ,ｙ）・ｇ'（ｘ,ｙ）＋ …
…＋ａ_n（ｘ,ｙ）・ｇ⁽ⁿ⁾（ｘ,ｙ）
ただし、
ｆ：回復画像、ｇ：観測画像、ａ₁、ａ₂、…ａ_n：劣化パラメータ
ｇ⁽ⁿ⁾：観測画像に対するｎ次微分、
である。

ここで劣化パラメータは、劣化関数ｈによって定まるパラメータであり、観測画像ｇ（ｘ、ｙ）の画素位置、及び、光学系の結像特性によって変化するパラメータである。

本実施形態では、光学系１１の結像特性を利用するとともに、観測画像の位置に応じた変換が行われる（１）の画像回復処理を、観測画像に施している。すなわち、被写体を、像側の少なくとも２点におけるＰＳＦを略一致させた光学系で撮像した場合、撮像で得られた観測画像に（１）の画像処理を施すことで、（２）、（３）の画像回復処理と比べて、更に効果的に画像の解像を回復する（十分に解像された画像にする）ことができる。

では、この画像回復処理３０の処理の一例について図１３を参照しつつ説明を行う。図１３は、画像回復処理３０のブロック図を示したものであり、本実施形態では、入力信号微分手段３１、劣化パラメータ読み出し手段３２、劣化パラメータルックアップテーブル３３、乗加算手段３４より構成されている。

入力信号微分手段３１は、観測画像ｇを微分する手段であり、ここでは１次微分を実行するソーベルフィルタ、２次微分を実行するラプラシアンフィルタ、２つのフィルタを用いている。

劣化パラメータルックアップテーブル３３には、観測画像ｇの画素位置（ｘ、ｙ）、及び、光学系１１の光学特性に応じた劣化パラメータａ₁、ａ₂、…ａ_nが予め記憶されてい
る。このように、本実施形態では、光学系１１の設計値に基づくルックアップテーブルを予め用意しておくことで、演算時間を短縮することができる。なお、ソーベルフィルタとラプラシアンフィルタを用いた場合は、劣化パラメータルックアップテーブル３３から読み出す係数はａ₁、ａ₂までになるので、ａ₃〜ａ_nは使わなくても良い。

劣化パラメータの取得は、このようなルックアップテーブル３３を用意することに代え、光学特性からリアルタイム演算により算出したり、光学特性に沿った近似式を予め複数用意したりしておき、選択的に利用して演算することとしてもよい。

劣化パラメータ読み出し手段３２は、この劣化パラメータルックアップテーブル３３から、画素の位置（ｘ、ｙ）に応じた値を読み出して、乗加算手段３４に出力する。

乗加算手段３４は、入力信号微分手段３１から出力される信号と読み出された劣化パラメータを乗加算するとともに、観測画像ｇを加算して回復画像ｆの出力を行う。

図１４は、画像回復処理を外部装置にて行う場合の撮像装置１０の構成、並びに、当該撮像装置１０と外部装置２０からなる撮像システムの構成を示した概略図である。本実施形態は、画像回復処理３０を外部装置２０にて行う構成としている。

撮像装置１０は、光学系１１、撮像素子１２、第１画像処理手段１４、第１制御手段１３を備え、それぞれの構成は、図１２で説明した撮像装置で同符号を有する構成と同様である。また本実施形態では、第１通信手段１５が設けられている。この第１通信手段１５は、撮像装置１０で撮像した画像（観測画像）を外部装置２０に送信する。外部装置２０にて実行される画像回復処理３０において、光学系１１の結像特性が必要とされる場合は、この結像特性を観測画像に対応付くようにして送信することとしてもよい。

一方、外部装置２０は、第２通信手段２１、画像回復処理３０を実行可能とする第２画像処理手段２２、第２制御手段２３が設けられている。第２通信手段２１は、第１通信手段１５から送信された画像を受信するための手段である。これら第１通信手段１５、第２通信手段は有線、無線を問わず各種方式のものを採用することができる。

第２画像処理手段２２では、第２通信手段２１を介して受信した観測画像、あるいは、観測画像と結像特性により画像回復処理３０が実行される。画像回復処理３０が施された画像は、図示しない内部メモリーや、各種インターフェイスを介し、外部メモリーあるいは他の外部装置に出力される。なお、この第２画像処理手段２２では、画像回復処理３０のみだけでなく他の各種画像処理を行うこととしてもよい。

このように、外部装置２０にて画像回復処理３０を実行することで、撮像装置１０内での処理負担を軽減することが可能となる。なお、本実施形態では観測画像など各種情報のやりとりを通信手段１５、２１にて行うこととしたが、各種情報のやりとりは撮像装置１０、外部装置２０に装着可能な外部メモリーを介して行うものであってもよい。

以上、本発明における撮像装置、並びに撮像システムについて説明したが、これら本発明における撮像装置、撮像システムとしては、一般的なデジタルカメラ（ＯＶＦ、ＥＶＦ問わず）のみならず、医療分野などで利用される被検体内部に挿入して観察を行う内視鏡や、被検体となる患者が飲み込むことで体内の観察を行うカプセル内視鏡、あるいは、顕微鏡など各種光学装置に用いることができる。

以上、本発明の種々の実施形態について説明したが、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

Ｌ１…第１レンズ
Ｌ２…第２レンズ
Ｌ３…第３レンズ
Ｓ…明るさ絞り
１０…撮像装置
１１…光学系
１２…撮像素子
１３…（第１）制御手段
１４…（第１）画像処理手段
１５…第１通信手段
２０…外部装置
２１…第２通信手段
２２…第２画像処理手段
２３…第２制御手段
３０…画像回復処理
３１…入力信号微分手段
３２…劣化パラメータ読み出し手段
３３…劣化パラメータＬＵＴ
３４…乗加算手段

Claims (29)

1. 撮像素子に被写体の像を結像するとともに、前記撮像素子で得た画像に対し画像回復処理が実行される光学装置において、
   像側の所定領域内の少なくとも２点におけるＰＳＦが略一致することを特徴とする
   光学装置。
2. 前記所定領域は光軸方向の領域であって、
   前記ＰＳＦは、光軸方向の２点において略一致することを特徴とする
   請求項１に記載の光学装置。
3. 前記所定領域は光軸と直交する方向の領域であって、
   前記ＰＳＦは、像高方向の２点において略一致することを特徴とする
   請求項１または請求項２に記載の光学装置。
4. 前記２点間のＰＳＦの幅の変化は、±３０％以内であることを特徴とする
   請求項１から請求項３の何れか１項に記載の光学装置。
5. 前記ＰＳＦの幅は、半値全幅であることを特徴とする
   請求項４に記載の光学装置。
6. 撮像素子と、
   前記撮像素子に被写体の像を結像する光学系と、
   前記撮像素子で得た画像に対して画像処理を実行する画像処理手段を有し、
   前記光学系は、像側の所定領域内の少なくとも２点においてＰＳＦが略一致することを特徴とする
   撮像装置。
7. 前記所定領域は光軸方向の領域であって、
   前記ＰＳＦは、光軸方向の２点において略一致することを特徴とする
   請求項６に記載の撮像装置。
8. 前記所定領域は光軸と直交する方向の領域であって、
   前記ＰＳＦは、像高方向の２点において略一致することを特徴とする
   請求項６または請求項７に記載の撮像装置。
9. 前記２点間のＰＳＦの幅の変化は、±３０％以内であることを特徴とする
   請求項６から請求項８の何れか１項に記載の撮像装置。
10. 前記２点間のＰＳＦの幅の変化は、１／４画素以内であることを特徴とする
    請求項６から請求項９の何れか１項に記載の撮像装置。
11. 前記ＰＳＦの幅は、半値全幅であることを特徴とする
    請求項９または請求項１０に記載の撮像装置。
12. 前記光学系の球面収差特性は、ピークを有することを特徴とする
    請求項６から請求項１１の何れか１項に記載の撮像装置。
13. 前記光学系の球面収差特性は、２つ以上のピークを有することを特徴とする
    請求項１２に記載の撮像装置。
14. 前記球面収差特性のピークは、プラス側とマイナス側に位置することを特徴とする
    請求項１３に記載の撮像装置。
15. 前記光学系は、前記ＰＳＦを実現するための波面制御素子を備えることを特徴とする
    請求項６から請求項１４の何れか１項に記載の撮像装置。
16. 前記ＰＳＦを実現するための波面制御素子は、非球面を有することを特徴とする
    請求項１５に記載の撮像装置。
17. 前記ＰＳＦを実現するための波面制御素子は、位相板であることを特徴とする
    請求項１５に記載の撮像装置。
18. 前記ＰＳＦを実現するための波面制御素子は、１面に複数の曲率を有するレンズであることを特徴とする
    請求項１５に記載の撮像装置。
19. 前記ＰＳＦを実現するための波面制御素子は、中心と周辺で異なる曲率を有するレンズであることを特徴とする
    請求項１５に記載の撮像装置。
20. 前記ＰＳＦを実現するための波面制御素子は、１面に３つの曲率を有するレンズであることを特徴とする
    請求項１８または請求項１９に記載の撮像装置。
21. 前記ＰＳＦを実現するための波面制御素子は、その材質に複屈折結晶が用いられることを特徴とする
    請求項１５から請求項２０の何れか１項に記載の撮像装置。
22. 前記ＰＳＦを実現するための波面制御素子は、着脱可能とすることを特徴とする
    請求項１５から請求項２１の何れか１項に記載の撮像装置。
23. 前記画像処理手段において実行される画像処理は、前記撮像素子で得た画像に対する画像回復処理を含むことを特徴とする
    請求項６から請求項２２の何れか１項に記載の撮像装置。
24. 前記画像回復処理は、前記光学系の結像特性を用いることを特徴とする
    請求項２３に記載の撮像装置。
25. 前記画像回復処理は、回復画像が下記微分方程式で表される処理を実行することを特徴とする
    請求項２４に記載の撮像装置。
    ｆ（ｘ,ｙ）＝ｇ（ｘ,ｙ）＋ａ₁（ｘ,ｙ）・ｇ'（ｘ,ｙ）＋ …
    … ＋ａ_n（ｘ,ｙ）・ｇ⁽ⁿ⁾（ｘ,ｙ）
    ただし、
    ｆ：前記回復画像、ｇ：前記画像、ａ₁、ａ₂、…ａ_n：劣化パラメータ
    ｇ⁽ⁿ⁾：前記画像に対するｎ次微分、
    である。
26. 請求項６から請求項２５の何れか１項に記載の撮像装置と、
    前記撮像素子で得た画像に対して画像回復処理を実行する外部装置とを有することを特徴とする
    撮像システム。
27. 前記画像回復処理は、前記光学系の結像特性を用いることを特徴とする
    請求項２６に記載の撮像システム。
28. 前記画像回復処理は、回復画像が下記微分方程式で表される処理を実行することを特徴とする
    請求項２６または請求項２７に記載の撮像システム。
    ｆ（ｘ,ｙ）＝ｇ（ｘ,ｙ）＋ａ₁（ｘ,ｙ）・ｇ'（ｘ,ｙ）＋ …
    … ＋ａ_n（ｘ,ｙ）・ｇ⁽ⁿ⁾（ｘ,ｙ）
    ただし、
    ｆ：前記回復画像、ｇ：前記画像、ａ₁、ａ₂、…ａ_n：劣化パラメータ
    ｇ⁽ⁿ⁾：前記画像に対するｎ次微分、
    である。
29. 前記撮像装置と前記外部装置はそれぞれ通信手段を備え、
    前記撮像素子で得た画像を、前記通信手段を介して前記外部装置に送信することを特徴とする
    請求項２６から請求項２８の何れか１項に記載の撮像システム。

Images