JP2022129052A - 撮像装置 - Google Patents

Abstract

【課題】深度拡大光学系を用いて高画質の画像を得ることが可能な撮像装置を提供する。【解決手段】撮像装置（１００）は、光軸に対して非回転対称な波面変調素子（１０１ｃ）を含む撮像光学系（１０１）と、撮像光学系により形成された光学像を光電変換する撮像部（１０２）とを有し、撮像部は、第１の撮像で第１の色に対応する第１の画像データを取得し、第２の撮像で第２の色に対応する第２の画像データを取得し、第２の画像データは、第１の画像データに対して撮像部の非整数画素だけシフトして撮像され、撮像光学系の変調伝達関数が最も大きい第１の方向とシフト方向のうち最も短い第２の方向とのなす角度は、３０度～６０度である。【選択図】図９

Description

本発明は、撮像装置に関する。

従来、透過光の位相を変調させる波面変調素子を含む光学系と画像処理の組み合わせにより被写界深度を拡大する技術が提案されている。具体的には、波面変調素子により光束を規則的に分散させ、被写体距離の変化に対し光学系の光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を実質的に不変にする。そして、撮像素子等を介して得られた画像に対し復元処理を行うことで、被写界深度の深い画像を生成している。また、撮像素子は離散的に被写界の像をサンプリングするため、波面変調素子と撮像素子の回転位置の関係には任意性がある。

特許文献１には、回転非対称で頂部を有する点像強度分布（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を形成する光学系を備えた撮像装置が開示されている。この撮像装置は、公差の緩い深度拡大光学系を実現するため、光学系と撮像素子の相対的な取り付け位置を、頂部から斜め側部の先端部が画素配列の斜め方向に沿うように設定している。

特開２００８－１３６１４４号公報

ところで、画像の画素数を撮像素子の画素数よりも増やす処理として、高画素化処理がある。高画素化処理の手法としては、画素ずらし（ピクセルシフト）画像を用いて高画素化する手法が知られている。高画素化のために画素ずらしを行う場合、サンプリングの二次元的なパターンは、撮像素子の画素配列のみならず、ずらし方にも基づいて決まる。しかし、特許文献１に開示された撮像装置は、画素ずらしの方法と撮像素子の取り付けとの関係を考慮していないため、画素ずらしによる高画素化を行った際に、良好な画質の画像を得ることができない。

そこで本発明は、深度拡大光学系を用いて高画質の画像を得ることが可能な撮像装置を提供することを目的とする。

本発明の一側面としての撮像装置は、光軸に対して非回転対称な波面変調素子を含む撮像光学系と、前記撮像光学系により形成された光学像を光電変換する撮像部とを有し、前記撮像部は、第１の撮像で第１の色に対応する第１の画像データを取得し、第２の撮像で第２の色に対応する第２の画像データを取得し、前記第２の画像データは、前記第１の画像データに対して前記撮像部の非整数画素だけシフトして撮像され、前記撮像光学系の変調伝達関数が最も大きい第１の方向とシフト方向のうち最も短い第２の方向とのなす角度は、３０度～６０度である。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、深度拡大光学系を用いて高画質の画像を得ることが可能な撮像装置を提供することができる。

各実施例における画像回復フィルタの説明図である。 各実施例における画像回復フィルタの説明図（断面図）である。 各実施例における点像分布関数の説明図である。 各実施例における光学伝達関数の振幅成分ＭＴＦと位相成分ＰＴＦの説明図である。 各実施例における波面変調素子を含む光学系のＭＴＦの説明図である。 各実施例における画素ずらしによる撮像と高画素化処理の例を示す図である。 各実施例における画素ずらしによる撮像と高画素化処理の異なる例を示す図である。 各実施例における高画素化処理の説明図である。 各実施例における画素ずらしによる撮像と高画素化処理とによるナイキスト周波数の説明図である。 各実施例における撮像装置のブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、実施例の具体的な説明を行う前に、本発明の要旨を説明する。本実施形態の撮像装置は、光軸に対して非回転対称な波面変調素子を用いた深度拡大光学系を撮像光学系として用いる。複数の色に対応する複数の撮像画像を取得し、画素ずらしによる高画素化処理を行う。また、光学系の光学特性に基づいた鮮鋭化処理（画像回復処理）を行う。以下、本実施形態の撮像装置の構成に関する説明に先立ち、本実施形態で用いられる種々の技術について述べる。

［画像回復処理］
まず、画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （１）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。

また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

撮影された劣化画像ｇから元の画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。

Ｈ^－１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （４）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタなどとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。

また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系の変調伝達関数ＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５－１）、（５－２）で表される。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）…（５－１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）…（５－２）
ここで、Ｎはノイズ成分である。

ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。

ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（変調伝達関数ＭＴＦ）である。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。

続いて、図１および図２を参照して、画像回復フィルタについて説明する。図１および図２は、画像回復フィルタの説明図である。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図１の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。また図１では、各タップ内の値（係数）を省略しているが、この画像回復フィルタの一断面を図２に示す。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す機能を有する。

画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。

続いて、図３および図４を参照して、画像回復の実空間と周波数空間での特性について説明する。図３は、点像分布関数ＰＳＦの説明図であり、図３（ａ）は画像回復前の点像分布関数ＰＳＦ、図３（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図４は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図４（Ｍ））と位相成分ＰＴＦ（図４（Ｐ））の説明図である。図４（Ｍ）中の破線（ａ）は画像回復前のＭＴＦ、一点鎖線（ｂ）は画像回復後のＭＴＦを示す。また図４（Ｐ）中の破線（ａ）は画像回復前のＰＴＦ、一点鎖線（ｂ）は画像回復後のＰＴＦを示す。図３（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。
このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。各実施例の鮮鋭化フィルタとして用いることのできる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。

［被写界深度拡大］
各実施例では、光学系に深度方向の性能変動を鈍化させる波面変調素子（位相マスク）を挿入し、深度を拡大する手法（ＷＦＣ：ＷａｖｅＦｒｏｎｔ Ｃｏｄｉｎｇ）を行う。波面変調素子は、光学系の光軸に対して垂直な面内で二次元的な分布を持った位相を与えるものであり、例えば、厚みや屈折率が面内で変化する光学素子や液晶空間位相変調素子などであり、光学系内の光学素子に非球面形状として与えてもよい。各実施例では、面形状が３次関数で表されるＣｕｂｉｃ Ｐｈａｓｅ Ｍａｓｋを用いる。撮像素子に対して垂直な方向（光学系の光軸方向）をＺ軸、Ｚ軸に対して垂直で互いに直交する２軸をＸ軸、Ｙ軸とすると、各実施例における波面変調素子の位相分布φは以下の式（７）のような奇関数形状で表すことができる。

φ＝α（Ｘ^３＋Ｙ^３） … （７）
なお、ここでのＸ、Ｙは撮像画像や撮像素子のｘ、ｙとは必ずしも一致せず、以下では波面変調素子の軸方向（互いに直行する第１の軸および第２の軸）をそれぞれＸ、Ｙで表す。この位相分布を与えることで、深度方向の性能変動を鈍化させることができる。このように波面変調素子を用いて深度拡大した光学系を本実施形態では深度拡大光学系と呼ぶ。なお、深度拡大に用いる位相分布は上記に限らない。デフォーカスの変化に対するロバスト性やＭＴＦの高周波側と低周波側のバランスが変化するため、必要となる被写界深度や周波数特性に応じて適宜選択すればよい。波面変調素子によって深度方向の光学性能の変動を小さくすることで、深度によらず同じ画像回復フィルタを用いて画像回復処理を適用することができる。また、光学系に位相マスクを挿入して深度方向の性能変動を鈍化させると、像高や物体距離等の撮影条件に対しても性能変動が鈍化する傾向にある。つまり、深度拡大光学系で像高に対する性能変動が十分に少ない場合には、像高や物体距離等の撮影条件に対して一律なＯＴＦとして扱うことができ、一律の（一定の）画像回復フィルタを用いることができる。

図５は、式（７）で表される波面変調素子を含む光学系のＭＴＦの断面である。ここで光学系の収差は、波面変調素子によって付与される収差と比較して小さいとしている。図５において、横軸は空間周波数、Ｆは光学系のＦ値（絞り値）を表しており、実線はＸ軸方向、破線は対角（斜め４５度）方向のＭＴＦを表している。式（７）で表される波面変調素子を利用した場合、Ｘ軸方向とＹ軸方向は対称であるため、Ｘ軸方向とＹ軸方向の空間周波数に対するＭＴＦは一致する。しかしながら、実線のＭＴＦと破線のＭＴＦを比較すると、破線のＭＴＦは低周波側から高周波側までＭＴＦが低く実線のＭＴＦに対して大きな差がある。このように、一般的にはＣｕｂｉｃ Ｐｈａｓｅ Ｍａｓｋを用いることで深度拡大できるとされているが、方向によってＭＴＦ特性が大きく異なる。

［画素ずらし撮像と高画素化処理］
次に、高画素化処理の概要について説明する。高画素化処理では、撮影位置が異なる複数の撮影画像から高画素化画像を取得する。各実施例では、全画素が同じ波長域に対応した光を受光する単色の撮像素子を用いて、複数の色に対応する画像を含む画像データを取得する。また、画像データに含まれる少なくとも１つの画像は、画像データに含まれる基準画像に対して非整数画素だけシフトして撮像される。ここで「基準画像」とは、画像データに含まれる任意の画像を基準として選択すればよく、シフトの量および方向を定義するための基準とする。また、「シフトして撮像する」とは、撮像光学系によって結像された被写体の像がサンプリングされる位置を光軸に垂直な面内で平行移動して撮像することを指す。

例えば、撮像光学系を通過した光をプリズムによって色ごとに分離して、分離された各光束に対応した複数の撮像素子を配置することで、複数の色に対応する画像を同時に取得することができる。各撮像素子はそれぞれの色に対応するため、それぞれ異なる波長に感度を持ってよい。例えばＲＧＢの３つの光束に分離して取得することができる。分離する数は３つに限定されず、２つでも４つ以上でもよい。また、３つ以上の場合は同じ色に対応する画像を複数取得してもよい。そして、１つの撮像素子を異なる１つの撮像素子に対して相対的に非整数画素シフトして配置することで、非整数画素だけずれた位置で被写体の像をサンプリングできる。また、「撮像素子をシフトして配置する」とは、撮像光学系によって結像された被写体の像がサンプリングされる位置を光軸に垂直な面内で平行移動して撮像するよう撮像素子を配置することを指す。したがって、光束を分離して折り曲げた場合は光軸に垂直な面内でシフトすればよい。

また、１つの撮像素子で複数回撮像してもよい。外光がない状態を仮定すると、被写体を照明する照明光の色を撮像に同期して変化させることで、複数回撮像したことで取得される画像は照明光に基づく異なる色にそれぞれ対応する。撮像素子を光軸に垂直な方向に駆動しながら撮像することで、複数の色に対応する画像が相対的にシフトされる。例えば、内視鏡装置などでは外光がないため、このような手法であってもよい。撮像素子を駆動する代わりに、光学系や光学系に含まれる一部のレンズ、あるいは撮像装置全体を動かすことで行ってもよい。

なお、撮像光学系を通過した光を色ごとに分離して、分離された各光束に対応した複数の撮像素子を配置する手法がより好ましい。これにより駆動が不要となるため、１回の撮像で非整数画素だけシフトした複数の画像を取得することができる。このため、被写体ぶれの影響を抑制でき、動画として取得することも可能となる。後述する高画素化処理は動画の１フレームごとに静止画と同様に行えばよい。この撮像方法で撮像した画像から高画素化処理を行うことで、１つの撮像素子で取得できる解像感を超えた高画素化画像を取得できる。

次に、図６を参照して、画素ずらしによる撮像と高画素化処理の例を示す。図６（Ａ）は、相対的に非整数画素だけシフトされた撮像パターンの例である。ここでは、基準画像５１、画像５２、画像５３の３つの画像を取得する。基準画像５１と画像５２はシフトがない同じ位置で撮像されている。一方、画像５３は、基準画像５１および画像５２に対して、水平方向および垂直方向に半画素ずれて撮像される。例えば、ＲＧＢでそれぞれ異なる撮像素子を用いて撮像する際に、ＲおよびＢの撮影位置に対してＧの撮影位置を半画素ずらすことができる。すなわち、基準画像５１、画像５２、画像５３がそれぞれＲ、Ｂ、Ｇに対応する。また、図６（Ｂ）に示されるように、基準画像５１に対して相対的にシフトしていないＧの画像を画像５４として取得してもよい。それぞれ取得した画像データに含まれる複数の画像に基づいて、後述する高画素化処理を行い、撮像した各画像よりも画素数が多い高画素化画像５５を取得することができる。

次に、図７を参照して、画素ずらしによる撮像と高画素化処理の異なる例を示す。図７は、図６とは異なる撮像パターンで、相対的に非整数画素だけシフトされた撮像の例である。ここでは、撮影位置が互いに半画素ずらした状態で撮影を行うことで、高画素化処理に用いる４枚の撮影画像を取得する。４枚の撮影画像のそれぞれは、基準画像６１（ずれなし）、水平方向に半画素ずれた画像６２、対角方向に半画素ずれた画像６３、垂直方向にずれた画像６４である。画像６３は、水平方向および垂直方向にそれぞれ半画素ずれた位置に等しい。４枚の撮影画像を取得することで、高画素化処理により画素数が４倍になった高画素化画像６５を取得することができる。例えば４つの色に対応する異なる撮像素子を用いて撮像する際に、それぞれ撮影位置をずらすことで取得でき、基準画像６１、画像６２、画像６３、画像６４をそれぞれＲ、Ｇ、Ｂ、Ｙ（黄色）に対応させる。また基準画像６１と画像６３の２つをＧ、画像６２をＲ、画像６４をＢとしてもよい。

図７に示される高画素化処理では、４枚の画像を被写体の像のサンプリング位置に従って配列するだけで高画素化処理を行うことができる。図６（Ａ）における高画素化処理は、画像５１（または画像５２）と画像５３に基づいて行う。図８は、高画素化処理の説明図である。図８の実線で示される白丸と破線で示される白丸をそれぞれ画像５１および画像５３のサンプリング位置とする。サンプリング位置は、例えば画素の中心位置とすればよい。この実線で示した白丸と破線で示した白丸を最近傍にあるもの同士で補間することで、黒丸の位置に相当する画像の輝度値を取得できる。取得された黒丸は、画像５１および画像５３に対して水平方向および垂直方向にそれぞれ２倍の高画素化がなされており、黒丸の位置に相当する輝度値を配列したものが高画素化画像５５である。前述のように、各実施例の高画素化処理は複数の相対的にシフトされた画像に基づいて処理を行うため、被写体の像に対する実効的なサンプリングを増やしている。すなわち、単一画像からの補間による高画素化処理とは異なり、単一の画像に対応するナイキスト周波数や撮像素子のナイキスト周波数よりも高周波数まで解像する高画素化画像を生成する。ナイキスト周波数については詳細を後述する。

しかし各実施例では、非整数画素だけシフトした異なる色の画像に基づいて所定の色の高画素化画像を取得する高画素化処理を行う。高画素化処理において、それぞれ異なる色に対応する画像に基づくため、画素ピッチ（サンプリング周期）がより小さく高画素の撮像素子で撮像する場合とは異なる。そこで異なる色に対応する画像間の違いを低減して、所定の色の画像と所定の色とは異なる色の画像に基づくことで、前述の高画素化処理に基づいて所定の色の高画素化画像を生成する。被写体の彩度が低く白黒に近い場合、ホワイトバランスを取ることで異なる色に対応した画像間の違いを低減することができる。

一方、通常のカラー被写体では色同士の比率が異なるため、各色の画像内での輝度値の変化のみを取得することで、異なる色に対応した画像間の違いを低減することができる。これにより、各色の画像内での輝度値の変化のみを取得して、異なる色同士で補間することで高画素化画像に対応する高周波数までの輝度変化をサンプリングすることができる。高画素化処理は、相対的に非整数画素だけシフトされた色同士であれば行えるため、全ての色に対応した高画素化処理を行うことができる。例えば、ＲとＧで高画素化処理を行えばＲとＧそれぞれの高画素化画像を取得でき、さらにＢとＧで高画素化処理を行えばＢの高画素化画像を取得できる。また、ＲＧＢ画像から輝度と色差信号に変換し、輝度信号に高画素化処理を行ってもよい。なお、高画素化処理やそれに用いる撮像画像のシフトのパターンは、前述に限定されるものではなく、他の手法を用いてもよい。

［ナイキスト周波数］
次に、図９を参照して、画像のサンプリングとナイキスト周波数の関係について説明する。図９は、画素ずらしによる撮像と高画素化処理とによるナイキスト周波数の説明図である。画素ピッチｐ、すなわちサンプリング周期ｐで被写体の像をサンプリングした場合、サンプリング周波数はサンプリング周期の逆数１／ｐである。ナイキスト周波数は、サンプリング周波数の半分、すなわち１／２ｐである。標本化定理により、被写体をサンプリングした場合、ナイキスト周波数以下の被写体であれば正確に再現できる。画像は被写体の像を二次元でサンプリングしたものであるため、ナイキスト周波数も二次元で与えられる。

図９（Ａ）の実線で示される白丸でサンプリングした場合のナイキスト周波数は、図９（Ｂ）の破線８１である。図９（Ａ）の破線で示される白丸でサンプリングした場合も、サンプリング位置はシフトしているが、二次元的な配置の周期や配列方向は変わらない。したがって、破線で示される白丸でサンプリングした場合のナイキスト周波数は、同様に図９（Ｂ）の破線８１である。しかし、図９（Ａ）の実線で示される白丸と破線で示される白丸の両方でサンプリングした場合のナイキスト周波数は、図９（Ｂ）の実線８２となる。これは、図６に相当する高画素化処理を行った場合の高画素化画像におけるナイキスト周波数に相当する。一方、図９（Ｃ）の実線で示される白丸は図９（Ａ）と変わらないが、破線で示される白丸は図７に対応し、図９（Ａ）よりも多い。図９（Ｃ）の実線で示される白丸と破線で示される白丸の全てでサンプリングした場合のナイキスト周波数は、図９（Ｄ）の実線８３となる。

したがって、各実施例において用いる撮像素子の画素ピッチをｐとすると、撮像された個々の画像のナイキスト周波数は、図９（Ｂ）の破線８１である。しかし、前述のように異なる色の画像に基づいて所定の色の高画素化画像を生成すると、ナイキスト周波数が変化する。したがって、画像データに含まれる各画像と高画素化画像ではナイキスト周波数が等しいとは限らない。例えば、図９（Ａ）、（Ｂ）の例においては、ナイキスト周波数が最も高くなる方向も対角方向からｘ方向およびｙ方向に変化する。以上、本実施形態における、画像回復処理、被写界深度拡大、画素ずらし撮像と高画素化処理、二次元のナイキスト周波数について説明した。

次に、図１０を参照して、各実施例における撮像装置の構成について説明する。図１０は、撮像装置１００のブロック図である。撮像装置１００には、本実施形態の鮮鋭化処理（画像回復処理）を行うための画像処理プログラムがインストールされており、この鮮鋭化処理は撮像装置１００の内部の画像処理部（画像処理装置）１０４により実行される。

撮像装置１００は、光学系（撮像光学系）１０１および撮像装置本体（カメラ本体）を備える。光学系１０１は、絞り１０１ａ、フォーカスレンズ１０１ｂ、および波面変調素子１０１ｃを備え、カメラ本体と一体的に構成されている。ただし各実施例はこれに限定されるものではなく、光学系１０１がカメラ本体に対して着脱可能に装着される撮像装置にも適用可能である。また、光学系１０１はレンズなどの屈折面を有する光学素子の他、回折面を有する光学素子、反射面を有する光学素子を含んで構成されていても良い。

波面変調素子１０１ｃは、光軸に対して非回転対称である。なお波面変調素子１０１ｃは、絞り１０１ａの像側に隣接して配置されているが、これに限定されるものではなく、図１０に示される位置とは異なる位置に配置されてもよい。撮像光学系は、撮像部１０２よりも物体側に配置された各光学素子により構成される。

撮像部１０２は、ＣＣＤやＣＭＯＳセンサなどの一つまたは複数の撮像素子を有し、光学系１０１により形成された被写体像（光学系１０１によって結像された光学像）を光電変換して撮影画像を生成する。すなわち、被写体像は、撮像部１０２による光電変換でアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ１０３によりデジタル信号に変換される。このデジタル信号は画像処理部１０４に入力される。

画像処理部１０４は、デジタル信号に対して所定の処理を行うとともに、本実施形態の鮮鋭化処理を行う。画像処理部１０４は、所定の処理と合わせて高画素化処理、画像回復処理を行う。

鮮鋭化処理に必要なＯＴＦ、ＰＳＦ等の光学特性データや回復フィルタ、またはそれらの生成に必要なデータは、記憶部（記憶手段）１０８に保持されている。記憶部１０８は、例えばＲＯＭで構成される。画像処理部１０４で処理された出力画像は、画像記録媒体１０９に所定のフォーマットで保存される。液晶モニタや有機ＥＬディスプレイで構成された表示部１０５には、鮮鋭化処理を行った画像に表示用の所定の処理を行った画像が表示される。ただし、表示部１０５に表示する画像はこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部１０５に表示するようにしてもよい。

システムコントローラ１１０は撮像装置１００の制御を行う。光学系１０１の機械的な駆動はシステムコントローラ１１０の指示に基づいて光学系制御部１０６により行われる。光学系制御部１０６は、所定のＦナンバーとなるように絞り１０１ａの開口径を制御する。また、光学系制御部１０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ１０１ｂの位置を制御する。なお、絞り１０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置１００の仕様に応じて実行しなくてもよい。

なお、ローパスフィルタや赤外線カットフィルタ等の光学素子を光学系１０１と撮像部１０２との間に配置してもよいが、ローパスフィルタ等の光学特性に影響を与える素子を用いる場合、鮮鋭化フィルタを作成する時点での考慮が必要になる場合がある。赤外線カットフィルタに関しても、分光波長の点像強度分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、鮮鋭化フィルタを作成する時点での考慮が必要になる場合がある。したがって、ローパスフィルタや赤外線カットフィルタの有無に応じて鮮鋭化フィルタを変更しても良い。

なお、画像処理部１０４はＡＳＩＣで構成され、光学系制御部１０６、状態検出部１０７、およびシステムコントローラ１１０はそれぞれ、ＣＰＵまたはＭＰＵによって構成されている。また、これら画像処理部１０４、光学系制御部１０６、状態検出部１０７、およびシステムコントローラ１１０のうちの１つ以上を、同じＣＰＵあるいはＭＰＵで兼用して構成するようにしてもよい。

［実施例１］
次に、本発明の実施例１について説明する。本実施例では、撮像光学系を通過した光をプリズムによってＲＧＢに対応する３つの光束に分離し、それぞれに対応する撮像素子を配置する。撮像素子は全て同じ画素ピッチで正方格子状の画素配列であり、光軸周りの回転の向きがそろっている、すなわち３つの撮像素子の画素配列の方向は互いに等しい。ここで、「画素配列の方向」とは、最も画素中心の間隔が狭くなる方向であり、正方格子状の画素配列であれば水平方向および垂直方向である。そのため本実施例では、ＲＧＢの全てで二次元のナイキスト周波数が等しい。そして、Ｇに対応する撮像素子のみ、Ｒ、Ｂに対応する撮像素子に対して相対的に非整数画素シフトして配置する。ここでは、水平方向および垂直方向にそれぞれ半画素ずらすことで、対角方向にシフトする。このとき、撮像時のシフトのパターンは、図６（Ａ）に相当する。これらの３つの撮像素子によって、それぞれＲＧＢに対応する３枚の画像からなる画像データを取得する。また、波面変調素子は、式（７）に従う位相分布を有する。波面変調素子のＸ方向およびＹ方向は、画素配列方向（ｘ方向およびｙ方向）と一致している。

ここで、ＲＧＢそれぞれのナイキスト周波数は、図９（Ｂ）の破線８１に相当する。この場合、ＲＧＢの各色に対応するナイキスト周波数の最も高い方向は、撮像素子の画素配列の格子における対角方向になる。一方、撮像光学系のＭＴＦが最も大きい方向は、波面変調素子の光軸周りの方向で決まり、式（７）のＸ方向およびＹ方向となる。撮像光学系の性能を撮像素子で最大限活かすため、撮像光学系のＭＴＦが最も大きい方向と撮像のナイキスト周波数が最も高い方向とは一致することが好ましい。しかし本実施例では、ＲＧＢの全ての色に対して高画素化処理を行い、高画素化画像のＲＧＢそれぞれのナイキスト周波数は図９（Ｂ）の実線８２に相当する。すなわち、撮像としてのナイキスト周波数（各画像におけるナイキスト周波数）は対角方向で最も大きいが、対角方向にシフトする異なる色の画像同士を用いて高画素化処理を行うことで、画像処理の前後でナイキスト周波数が最も高い方向が変化する。したがって、本実施例の撮像素子の配置と高画素化処理においては、画素配列方向（ｘ方向およびｙ方向）と波面変調素子のＸ方向およびＹ方向が一致した配置とすることで、撮像光学系の性能を撮像素子で最大限活かしてより解像感の高い高画素化画像が得られる。

ここで本実施例ではＲＧＢの画像を１枚ずつ撮像したが、図６（Ｂ）で説明したように、ＲおよびＢの画像に対してシフトしていないＧの画像をさらに撮像できる配置としてもよい。これは、Ｇに対応する光束をさらに分離して、分離した２つの光束に対して撮像素子を配置することで実現できる。したがって、画像データはＲＧＧＢの４枚の画像からなる。この場合、各画像のナイキスト周波数は変わらないが、Ｇに対しては図９（Ａ）の実線で示した白丸と破線で示した白丸のそれぞれの位置でサンプリングすることになり、Ｇに対応するナイキスト周波数は図９（Ｂ）の実線８２となる。このとき画像データに含まれるＲ、Ｂの画像とＧの画像でナイキスト周波数が最も高い方向が異なり、波面変調素子の最適な方向が一意に定まらない。しかし、上記の高画素化処理を行うことでナイキスト周波数の最も高い方向が水平方向に一致するため、やはり画素配列方向と波面変調素子のＸ、Ｙ方向が一致した配置とすればよい。Ｇだけ対角方向にシフトしたサンプリングを行って高画素化処理を行わない場合は、各色に対応するナイキスト周波数の最も高い方向が異なるため、画像データにおけるすべての色に対して波面変調素子の向きを最適にすることができない。しかし、異なる色を合成して高画素化処理を行うことで、高画素化画像のナイキスト周波数の最も高い方向はすべての色でそろえることができる。したがって、やはり画素配列方向（ｘ方向、ｙ方向）と波面変調素子のＸ方向、Ｙ方向が一致した配置が最適である。

ここで、「画素配列方向（ｘ方向、ｙ方向）と波面変調素子のＸ方向、Ｙ方向が一致した配置」とは、撮像素子の対角方向であるシフト方向に対して、撮像光学系のＭＴＦが最も大きい方向が４５度の角度をなすように波面変調素子が配置されていることに相当する。なお、「撮像素子の対角方向」とは、撮像素子の画素配列の格子における対角方向を意味する。すなわち、撮像光学系のＭＴＦが最も大きい方向（第１の方向）とシフト方向のうち最も短い方向（第２の方向）とのなす角度が略４５度である。第１の方向と第２の方向とのなす角度を４５度に近づけることで、撮像光学系の性能を活かすことができるが、厳密に４５度に限定されるものではなく、略４５度であればよい。例えば、この角度は３０度以上かつ６０度以下に設定される。より好ましくは、この角度は４０度以上かつ５０度以下に設定される。なお、撮像光学系のＭＴＦが最も大きい方向（第１の方向）は、波面変調素子のＸ方向およびＹ方向の２つの方向（図９（Ａ）、（Ｃ）中の矢印ａ、ｂで示される方向）であり、それぞれシフト方向（第２の方向（矢印ｃで示される方向））に対して４５度である。

本実施例によれば、深度拡大光学系を用いた撮像時の画素ずらしによるシフトを考慮することで、より好ましい画質の画像を撮像可能な撮像装置を実現することができる。

［実施例２］
次に、本発明の実施例２について説明する。本実施例において、撮像素子をシフトするパターンが実施例１とは異なる。撮像光学系を通過した光をプリズムによってＲＧＢＹ（Ｙは黄色）に対応する４つの光束に分離し、それぞれに対応する撮像素子を配置する。４つの撮像素子は全て同じ画素ピッチで正方格子状の画素配列であり、光軸周りの回転の向きがそろっている、すなわち画素配列の方向が等しい。そのため本実施例では、ＲＧＢＹの全てで二次元のナイキスト周波数が等しい。そしてＲの撮像素子で得られる画像を基準画像として、Ｇに対応する画像は水平方向に半画素シフトし、Ｙに対応する画像は垂直方向に半画素シフトし、Ｂに対応する画像は水平方向および垂直方向にそれぞれ半画素ずらした画像となるように撮像素子を配置する。このとき、撮像時のシフトのパターンは図７に相当する。これらの４つの撮像素子によって、それぞれＲＧＢＹに対応する４枚の画像からなる画像データを取得する。また、波面変調素子は式（７）に従う位相分布を有する。波面変調素子のＸ、Ｙ方向は画素配列方向（ｘ、ｙ方向）と略４５度の方向である。

ここで、ＲＧＢＹそれぞれのナイキスト周波数は、図９（Ｃ）の破線８１に相当する。この場合、ＲＧＢＹの各色に対応するナイキスト周波数の最も高い方向は、撮像素子の画素配列の格子における対角方向になる。一方、撮像光学系のＭＴＦが最も大きい方向は、波面変調素子の光軸周りの方向で決まり、式（７）のＸ、Ｙを用いてＹ＝Ｘで表される斜め（斜め４５度）方向となる。撮像光学系の性能を撮像素子で最大限活かすため、撮像光学系のＭＴＦが最も大きい方向と撮像のナイキスト周波数が最も高い方向とは一致することが好ましい。そして本実施例では、ＲＧＢＹの全ての色に対して高画素化処理を行う。ＲＧＢＹそれぞれのナイキスト周波数は、図９（Ｄ）の実線８３に相当する。すなわち、撮像としてのナイキスト周波数（画像データに含まれる各画像におけるナイキスト周波数）は、対角方向で最も大きい。また、対角方向にシフトする異なる色の画像同士を用いて高画素化処理を行うことで、画像処理の前後でナイキスト周波数が最も高い方向も一致する。したがって、本実施例の撮像素子の配置と高画素化処理にて、画素配列方向（ｘ方向、ｙ方向）と波面変調素子のＹ＝Ｘ（斜め４５度）方向とが一致した配置とすることで、撮像光学系の性能を撮像素子で最大限活かしてより解像感の高い高画素化画像が得られる。

実施例１と比較すると、同じ撮像素子の向きであっても、高画素化処理に用いる撮像画像を取得する際のシフト方向によって、高画素化画像のナイキスト周波数が最も大きくなる方向が変わることがわかる。本実施例では基準画像に対して３種類のシフトが存在するが、最も短いシフト方向である水平または垂直方向に対して波面変調素子の向きを設定すればよい。最もシフト量が小さい、すなわち短いシフト方向に対して、斜め方向のサンプリングが最も細かくなる。そこで、最も短いシフト方向に対して撮像光学系のＭＴＦが最も大きい方向を略４５度とすることで、撮像光学系の性能を撮像素子で最大限活かしてより解像感の高い高画素化画像が得られる。

なお、撮像光学系のＭＴＦが最も大きい方向（第１の方向）は、波面変調素子のＸ方向およびＹ方向の２つの方向（図９（Ｃ）中の矢印ａ、ｂで示される方向）であり、それぞれシフト方向（第２の方向（矢印ｃ、ｄで示される方向））に対して４５度である。

また、撮像した画像データに含まれる各画像のサンプリング周期はすべて等しいことが好ましい。サンプリング周期が異なると、画像の局所領域ごとにみたシフト方向が変化し、高画素化画像のナイキスト周波数の最も大きい方向も変化する。サンプリング周期が等しいことで、シフト方向を一意に定めることができ、撮像光学系のＭＴＦが最も大きい方向と前記シフトのうち最も短いシフトの方向とを略４５度にする配置によって画像全域で最適な解像感を得ることができる。

また、画像データに含まれる各色に対応するナイキスト周波数の最も高い方向はすべて等しいことが好ましい。ナイキスト周波数の最も高い方向が各色で等しいことで、高画素化画像のナイキスト周波数が最も高い方向がすべての色で等しくなる。したがって、撮像光学系のＭＴＦが最も大きい方向と前記シフトのうち最も短いシフトの方向とを略４５度にする配置がすべての色に対して最適とすることができる。

また、取得した画像データのうち相対的にシフトして撮像された画像を用いて出力画像を取得するモードと、シフトして撮像された画像を用いず前記出力画像を取得するモードを有していてもよい。この場合、前者では高画素化処理を行うが、後者では高画素化処理を行わない。実施例１のシフトパターンによる撮像では前者と後者で撮像光学系のＭＴＦが最も大きい方向が異なる。したがって、モードによって波面変調素子の方向を決定することが好ましい。この場合、波面変調素子が駆動してもよいし、ユーザに波面変調素子の方向を変えるように指示を出してもよい。

また、波面変調素子と前記撮像部とは着脱可能であってもよい。複数の撮像素子をシフトして配置した撮像部を用いる場合、撮像部によってシフトのパターンが異なる。したがって、撮像部に応じて波面変調素子の方向を変えることで、それぞれの撮像部が撮像光学系の光学性能を活かせるような配置にすることができる。特に撮像素子をシフトしない撮像部で取得される撮像画像と、画素配列の格子における対角方向にのみ撮像素子がシフトする撮像部で取得された高画素化画像はナイキスト周波数の最も大きい方向が異なる。したがって、これらをともに装着できる撮像光学系においては、撮像部によって波面変調素子の方向を決定することが好ましい。この場合、波面変調素子が駆動してもよいし、ユーザに波面変調素子の方向を変えるように指示を出してもよい。

なお各実施例において、撮像装置から、撮像装置とは別に設けられた画像処理装置に入力画像を出力し、該画像処理装置にて画像処理を行ってもよい。また、各実施例における画像回復処理や高画素化処理は、単一の画像処理装置で行われる必要はない。例えば、各実施例における処理の一部または全部を実現するためのプログラムを、ネットワークまたは記録媒体を介して１または複数のシステムあるいは装置に供給し、そのシステムあるいは装置にプログラムを実行させてもよい。

以上のように、各実施例において、撮像装置１００は、光軸に対して非回転対称な波面変調素子１０１ｃを含む撮像光学系（光学系１０１）と、撮像光学系により形成された光学像を光電変換する撮像部１０２とを有する。撮像部は、第１の撮像で第１の色に対応する第１の画像データを取得し、第２の撮像で第２の色に対応する第２の画像データを取得する（撮像ごとに取得される単色に対応する画像を複数取得することで複数の色に対応する画像データを取得する）。第２の画像データは、第１の画像データに対して撮像部の非整数画素だけシフトして撮像された画像データである（画像データのうち少なくとも１つの画像は、画像データのうち基準となる基準画像に対して非整数画素だけシフトして撮像される）。また、撮像光学系の変調伝達関数ＭＴＦが最も大きい第１の方向と、シフト方向のうち最も短い第２の方向とのなす角度は、３０度～６０度（略４５度）である。

好ましくは、第２の方向は、撮像部の画素配列方向（ｘ方向およびｙ方向）とは異なる。また好ましくは、第１の画像データと第２の画像データのサンプリング周期（画素ピッチ）は互いに等しい。また好ましくは、第１の画像データと第２の画像データにおけるナイキスト周波数の最も高い方向は互いに等しい。また好ましくは、第１の方向と、撮像部の少なくとも一つの撮像素子に対応するナイキスト周波数が最も高い方向は、互いに異なる。また好ましくは、第１の方向と、第１の色または第２の色の少なくとも一つに対応するナイキスト周波数が最も高い方向は、互いに異なる。また好ましくは、第１の色はＲまたはＢであり、第２の色は、Ｇである。

好ましくは、撮像装置は、第１の画像データと第２の画像データとを用いて高画素化画像を生成する画像処理部１０４を有する。より好ましくは、画像処理部は、第１の画像データと第２の画像データとを用いて画像回復処理を行う。また好ましくは、画像処理部は出力画像を生成するモードを有する。モードは、第１の画像データおよび第２の画像データの両方を用いて出力画像を生成する第１のモードと、第１の画像データまたは第２の画像データの一方を用いて出力画像を生成する第２のモードとを含む。より好ましくは、波面変調素子の方向は、モードに基づいて決定される。

好ましくは、波面変調素子は、互いに直交する第１の軸および第２の軸に関して等しく波面を変調し、第１の軸および第２の軸のそれぞれに沿って奇関数形状を有する。なお奇関数形状は、例えば式（７）で表される形状であるが、これに限定されるものではない
好ましくは、撮像光学系と撮像部とは着脱可能である。このとき、例えば、相対的にシフトされた画像を含む画像データを取得しない撮像部に撮像光学系を装着する場合には、相対的にシフトされた画像を含む画像データを取得する撮像部に装着する場合とは波面変調素子の方向を異なるように配置する。また好ましくは、撮像部は、第１の色に対応する光を受光する第１の撮像素子と、第２の色に対応する光を受光する第２の撮像素子とを有する。このとき、例えば第２の撮像素子は、第１の撮像素子に対して、被写体の像を画素配列の非整数画素だけ異なる位置で取得するように配置される。または、好ましくは、撮像部は、第１の色に対応する光および第２の色に対応する光の両方を受光する１つの撮像素子を有する。

各実施例によれば、深度拡大光学系を用いて高画質の画像を得ることが可能な撮像装置を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１０１ 撮像光学系
１０１ｃ 波面変調素子
１０２ 撮像部

Claims (15)

1. 光軸に対して非回転対称な波面変調素子を含む撮像光学系と、
   前記撮像光学系により形成された光学像を光電変換する撮像部と、を有し、
   前記撮像部は、第１の撮像で第１の色に対応する第１の画像データを取得し、第２の撮像で第２の色に対応する第２の画像データを取得し、
   前記第２の画像データは、前記第１の画像データに対して前記撮像部の非整数画素だけシフトして撮像され、
   前記撮像光学系の変調伝達関数が最も大きい第１の方向とシフト方向のうち最も短い第２の方向とのなす角度は、３０度～６０度であることを特徴とする撮像装置。
2. 前記第２の方向は、前記撮像部の画素配列方向とは異なることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の画像データと前記第２の画像データのサンプリング周期は、互いに等しいことを特徴とする請求項１または２に記載の撮像装置。
4. 前記第１の画像データと前記第２の画像データにおけるナイキスト周波数が最も高い方向は、互いに等しいことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記第１の方向と、前記撮像部の少なくとも一つの撮像素子に対応するナイキスト周波数が最も高い方向は、互いに異なることを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記第１の方向と、前記第１の色または前記第２の色の少なくとも一つに対応するナイキスト周波数が最も高い方向は、互いに異なることを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
7. 前記第１の色は、ＲまたはＢであり、
   前記第２の色は、Ｇであることを特徴とする請求項１乃至６のいずれか一項に記載の撮像装置。
8. 前記第１の画像データと前記第２の画像データとを用いて高画素化画像を生成する画像処理部を更に有することを特徴とする請求項１乃至７のいずれか一項に記載の撮像装置。
9. 前記画像処理部は、前記第１の画像データと前記第２の画像データとを用いて画像回復処理を行うことを特徴とする請求項８に記載の撮像装置。
10. 前記画像処理部は、出力画像を生成するモードを有し、
    前記モードは、
    前記第１の画像データおよび前記第２の画像データの両方を用いて出力画像を生成する第１のモードと、
    前記第１の画像データまたは前記第２の画像データの一方を用いて前記出力画像を生成する第２のモードと、を含むことを特徴とすることを特徴とする請求項８または９に記載の撮像装置。
11. 前記波面変調素子の方向は、前記モードに基づいて決定されることを特徴とする請求項１０に記載の撮像装置。
12. 前記波面変調素子は、互いに直交する第１の軸および第２の軸に関して等しく波面を変調し、前記第１の軸および前記第２の軸のそれぞれに沿って奇関数形状を有することを特徴とする請求項１乃至１１のいずれか一項に記載の撮像装置。
13. 前記撮像光学系と前記撮像部とは着脱可能であることを特徴とする請求項１乃至１２のいずれか一項に記載の撮像装置。
14. 前記撮像部は、
    前記第１の色に対応する光を受光する第１の撮像素子と、
    前記第２の色に対応する光を受光する第２の撮像素子と、を有することを特徴とする請求項１乃至１３のいずれか一項に記載の撮像装置。
15. 前記撮像部は、前記第１の色に対応する光および前記第２の色に対応する光の両方を受光する１つの撮像素子を有することを特徴とする請求項１乃至１３のいずれか一項に記載の撮像装置。

Images