JP2012065187A - 撮像装置及び復元ゲインデータ生成方法 - Google Patents

Abstract

【課題】焦点深度が拡大されたカラー画像から高解像度のカラー画像を復元することができ、特に復元処理による色ノイズの発生を抑制できるようにする。
【解決手段】被写界深度を拡大する位相変調機能を有する撮影レンズ１０及びカラー撮像素子１２を介して得られるＲ、Ｇ、Ｂの各色信号に対し、復元処理ブロック２０の復元処理部２２は、メモリ部２４に記憶された単一の復元フィルタ（復元ゲインデータ）によるデコンボリューション処理を行うことにより高解像度の色信号に復元する。特に復元処理部２２では、Ｒ、Ｇ、Ｂの各色信号に対し、単一の復元フィルタを共通に使用することにより色ノイズの発生を抑制し、かつ回路規模の削減に伴うコストダウンを可能にしている。
【選択図】 図１

Description

本発明は撮像装置及び復元ゲインデータ生成方法に係り、特にメカ的に焦点調節を行う焦点調節機構を省略し、かつ高画質の画像信号を得る技術に関する。

従来、撮影光学系の光路中に位相を変調させる位相板（光波面変調素子）を挿入することにより焦点深度を拡大し、前記焦点深度の拡大によりぼけた画像（大きな点像）に、復元フィルタによるフィルタリング処理を行うことにより高解像度の画像（小さな点像）に復元するようにした画像復元装置が提案されている（特許文献１）。

特許文献１に記載の画像復元装置は、図９に示すようにベイヤー配列のカラーフィルタを有するカラー撮像素子から出力されるＲ（赤）、Ｇ（緑）、Ｂ（青）の各色のＲＡＷデータに対し、Ｒ、Ｇｒ、Ｂ、Ｇｂの色毎に準備された復元フィルタを適用し、処理対象の注目画素の色に応じた復元フィルタによるフィルタリング処理（デコンボリューション処理）を画素単位で行い、特にベイヤー配列の補間処理をする以前のＲＡＷデータに対して復元処理を行うことにより、Ｒ、Ｇ、Ｂの３面の復元処理の替わりに、ベイヤー配列のままの１面の復元処理を行うことにより、処理量の低減を図るようにしている。

特開２００９−８９０８２号公報

しかしながら、特許文献１に記載の画像復元装置は、カラー撮像素子から出力されるＲ、Ｇｒ、Ｂ、Ｇｂの各色信号に対し、色毎に使用する復元フィルタを切り替えて復元処理を行うようにしているため、色ノイズが発生するという問題がある。即ち、色毎に異なる復元フィルタを使用すると、色毎に最適な復元ゲインデータを使用できるため、色単位での復元精度を向上させることができるが、デコンボリューション処理は、画素値にゲイン（復元ゲインデータ）を掛ける畳み込み演算を行う処理であるため、色毎に異なる復元フィルタ（復元ゲインデータ）を使用すると、色ノイズが発生するという問題がある。

また、色毎に異なる復元フィルタを適用するため、回路規模が大きくなり、処理コストが増加するという問題がある。

本発明はこのような事情に鑑みてなされたもので、焦点深度が拡大されたカラー画像から高解像度のカラー画像を復元することができ、特に復元処理による色ノイズの発生を抑制することができるとともに、回路規模の削減に伴うコストダウンを図ることができる撮像装置及び復元ゲインデータ生成方法を提供することを目的とする。

前記目的を達成するために請求項１に係る撮像装置は、被写界深度を拡大する位相変調機能を有する撮影レンズと、前記撮影レンズを透過した光学像が結像され、該光学像を電気信号に変換する撮像素子であって、３原色の原色フィルタが所定のパターンとなるように画素毎に配列されたカラー撮像素子と、前記撮影レンズの位相変調機能による点像分布関数の逆関数を復元フィルタとする復元処理手段であって、前記カラー撮像素子から出力される３原色の原色フィルタに対応する各色信号に対し、単一の復元フィルタによるフィルタリング処理を行う復元処理手段と、を備えたことを特徴としている。

請求項１に係る発明によれば、３原色の各色信号に対し、単一の復元フィルタを共通に使用するため、復元処理後の後段の同時化処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）後のカラー画像信号に発生する色ノイズを低減することができ、また、単一の復元フィルタを使用するため、回路規模の削減に伴うコストダウンを図ることができる。

請求項２に示すように請求項１に記載の撮像装置において、前記復元処理手段は、前記カラー撮像素子から出力される３原色の各色信号の像高にかかわらず、撮像画面内の各色信号に対して単一の復元フィルタによるフィルタリング処理を行うことを特徴としている。各像高に応じて復元フィルタを切り替える場合に比べて回路規模の削減（コストダウン）を図ることができる。

請求項３に示すように請求項１又は２に記載の撮像装置において、前記復元処理手段は、所定のカーネルサイズ分の復元ゲインデータを有する前記復元フィルタを記憶する記憶手段を含み、前記カラー撮像素子から出力される各画素の色信号の復元処理時に、処理対象の注目画素の色信号及びその注目画素を中心とする所定領域内の同じ色の画素の色信号と前記記憶手段に記憶された復元フィルタの復元ゲインデータとの畳み込み演算を行い、前記注目画素の色信号を前記演算により算出した値に置換することを特徴としている。

請求項４に示すように請求項３に記載の撮像装置において、前記記憶手段に記憶される所定のカーネルサイズ分の復元ゲインデータは、カーネル中心に対して回転対称のデータであることを特徴としている。これにより、画面全体の解像力の均一性を図るようにしている。

請求項５に係る発明は、請求項３又は４に記載の撮像装置の記憶手段に記憶させる前記所定のカーネルサイズ分の復元ゲインデータを生成する復元ゲインデータ生成方法であって、前記撮影レンズと前記カラー撮像素子又は該カラー撮像素子に対応する検査用のカラー撮像素子を介して点像を撮像させる工程と、前記カラー撮像素子から得られる３原色の原色フィルタに対応する１色又は複数色の色信号の実測値に基づいて点像分布関数を求める工程と、前記求めた１色の点像分布関数又は複数色の点像分布関数の平均値に基づいて前記点像分布関数の逆関数を求める工程と、前記求めた逆関数に基づいて該逆関数に対応する復元ゲインデータを生成する工程と、を含むことを特徴としている。

請求項５に係る発明によれば、被写界深度を拡大する位相変調機能を有する撮影レンズ、又は該撮影レンズとカラー撮像素子の実測値に基づいて点像分布関数を求めるようにしたため、レンズ設計値により求める場合に比べて交差を考慮でき、より正確な点像分布関数を求めることができ、画質の向上を図ることができる。尚、前記カラー撮像素子から得られる３原色のうちの任意の１色の実測値に基づいて点像分布関数を求めるようにしてもよいし、３原色のうちの複数色の実測値に基づいて複数色分の点像分布関数の平均値を求めるようにしてもよい。

請求項６に示すように請求項５に記載の復元ゲインデータ生成方法において、前記３原色は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色であり、前記実測値は、前記カラー撮像素子のＧの原色フィルタに対応するＧ画素から得られる実測値であることを特徴としている。

Ｇ画素の色信号は、輝度信号に近いため、単一の復元フィルタを使用することによりデメリット（解像力低下）を最小限にすることができる。また、Ｒ、Ｇ、Ｂのカラーフィルタ配列がベイヤー配列のカラー撮像素子の場合、Ｇ画素の画素数が多いため（Ｒ画素、Ｂ画素の２倍）、単一の復元フィルタを使用することによりデメリットを最小限にすることができる。

請求項７に示すように請求項５又は６に記載の復元ゲインデータ生成方法において、前記点像を撮像させる工程は、前記点像の中心が撮像画面の中心にくるように撮像させることを特徴としている。これにより、画面中心の画質を保ちながらコストダウン（画面中心の点像は測定も容易）を図ることができる。

請求項８に示すように請求項５又は６に記載の復元ゲインデータ生成方法において、前記点像を撮像させる工程は、前記点像の中心が撮像画面の３割像高の位置にくるように撮像させることを特徴としている。これにより、画面３割像高での画質を保ちながらコストダウンを図ることができる。尚、３割像高の画質を保つことで、重要な被写界が多い画面中心から６割像高付近の範囲にわたって画像の画質を維持することができる。

請求項９に示すように請求項５から８のいずれかに記載の復元ゲインデータ生成方法において、前記点像を撮像させる工程は、前記点像の中心が前記カラー撮像素子の画素の中心からずれたアウトフェーズで撮像させることを特徴としている。点像の中心がカラー撮像素子の画素の中心と一致するインフェーズで撮像された実測値から得られる復元フィルタに比べて復元処理が強めに掛かり、画質を向上させることができる。尚、インフェーズで撮像される被写体は少ないため、インフェーズ点像に基づいて生成された復元ゲインデータ（復元フィルタ）による復元処理では、復元不足が発生する（エッジがぼける）。

請求項１０に示すように請求項５から９のいずれかに記載の復元ゲインデータ生成方法において、前記逆関数に対応する復元ゲインデータを生成する工程は、Ｎ×Ｎのカーネルサイズ分の復元ゲインデータを生成する際に、各復元ゲインデータがカーネル中心に対して回転対称となるように生成することを特徴としている。即ち、回転非対象な点像（実測点像、３割像高、アウトフェーズ点像など）に基づいて復元ゲインデータを生成すると、回転非対象な復元ゲインデータになり、解像力が不均一になる。そこで、回転対称な復元ゲインデータになるように生成（調整）することで、解像力が均一になるようにし、画質向上を図るようにしている。

本発明によれば、被写界深度を拡大する位相変調機能を有する撮影レンズ及びカラー撮像素子を介して得られる３原色の各色信号に対し、単一の復元フィルタを共通に使用して復元処理を行うようにしたため、色ノイズを低減することができ、また、単一の復元フィルタを使用するため、回路規模の削減に伴うコストダウンを図ることができる。

本発明に係る撮像装置の実施の形態を示すブロック図 被写界深度を拡大する位相変調機能を有する撮影レンズの一例を示す図 カラー撮像素子に配設されたベイヤー配列のカラーフィルタを示す図 復元処理ブロックのメモリ部に格納された７×７のカーネルサイズの復元ゲインデータの一例を示す図 復元処理部でのデコンボリューション処理により復元される点像の様子を示す図 本発明に係る復元ゲインデータ生成方法の実施の形態を示すフローチャート 画面と像高との関係を示す図 インフェーズとアウトフェーズを説明するために用いた図 従来の焦点深度の拡大によりぼけた画像の復元処理方法を説明するために用いた図

以下、添付図面に従って本発明に係る撮像装置及び復元ゲインデータ生成方法の実施の形態について説明する。

＜撮像装置＞
図１は本発明に係る撮像装置の実施の形態を示すブロック図である。

図１に示すように、撮像装置１００は、撮影レンズ１０と、カラー撮像素子１２と、ＡＤ変換部１４と、復元処理ブロック２０とからなる撮像ヘッド部１が組み込まれて構成されており、撮像ヘッド部以外の構成は、通常のデジタルカメラ等と同じ構成を有している。

図２は撮影レンズ１０の構成例を示す図である。図２に示すように撮影レンズ１０は、単焦点の固定されたレンズ部１０Ａと、瞳位置に挿入される光学フィルタ１１とが構成されている。光学フィルタ１１は、位相を変調させるもので、拡大された焦点深度（Extended Depth Of Focus:EDoF）が得られるようにレンズ部１０ＡをEDoF化させる。

尚、光学フィルタ１１の近傍には、図示しない絞りが配設されている。また、光学フィルタ１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。更に、光学フィルタ１１の替わりに、レンズ部１０Ａのうちの１枚又は複数枚のレンズに、光学フィルタ１１の機能（位相変調機能）を持たせるようにしてもよい。

この撮影レンズ１０は、メカ的に焦点調節を行う焦点調節機構を省略することができ、小型化が可能であり、カメラ付き携帯電話や携帯情報端末に搭載されるものとして好適である。

EDoF化された撮影レンズ１０を透過した光学像は、カラー撮像素子１２に結像され、ここで電気信号に変換される。

カラー撮像素子１２は、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の原色フィルタが所定のパターンで配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、ハニカム配列等）されたカラーイメージセンサであり、Ｃ−ＭＯＳイメージセンサ又はＣＣＤイメージセンサにより構成されている。

この実施の形態のカラー撮像素子１２は、図３に示すようにベイヤー配列のカラーフィルタが配設されている。即ち、カラー撮像素子１２の奇数ラインには、ＧＢＧＢＧＢ…の順にカラーフィルタが配列され、偶数ラインには、ＲＧＲＧＲＧ…の順にカラーフィルタが配列されている。

撮影レンズ１０を介してカラー撮像素子１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積された信号電荷は、電圧信号（画像信号）として順次出力される。

ＡＤ変換部１４は、カラー撮像素子１２から出力されるアナログの画像信号をデジタルの画像信号に変換する。ＡＤ変換部１４によりデジタルの画像信号に変換されたデジタル画像信号（Ｒ、Ｇ、Ｂの色信号）は、復元処理ブロック２０に加えられる。

復元処理ブロック２０は、主として復元処理部２２と、不揮発性のメモリ部２４とから構成されている。メモリ部２４には、単一の復元フィルタのフィルタ値（復元ゲインデータ）が記憶されている。

図４はメモリ部２４に格納された７×７のカーネルサイズの復元ゲインデータの一例を示す図である。この復元ゲインデータは、撮影レンズ１０（光学フィルタ１１）による位相変調分のデコンボリューション処理に使用されるものであり、予め製品出荷前に撮像装置１００毎に生成され、メモリ部２４に書き込まれる。尚、上記復元ゲインデータを生成する方法（本発明に係る復元ゲインデータ生成方法）の詳細については後述する。

復元処理部２２は、ＡＤ変換部１４から出力されるＲ、Ｇ、Ｂの復元処理前のＲ、Ｇ、Ｂの色信号であって、処理対象の注目画素の色信号及びその注目画素を中心とする所定領域内の同じ色の画素の色信号を中心とする７×７画素の色信号と、メモリ部２４に記憶されている７×７のカーネルの復元ゲインデータとのデコンボリューション処理（畳み込み演算処理）を行うことにより復元処理を行い、処理前の注目画素の色信号に替えて上記復元処理後の色信号を出力する。

ここで、復元処理ブロック２０は、カラー撮像素子１２のベイヤー配列のカラーフィルタに対応して奇数ラインの読み出し時にはＧＢＧＢＧＢ…の順に色信号を入力し、偶数ラインの読み出し時にはＲＧＲＧＲＧ…の順に色信号を入力するが、処理対象の注目画素の色が、Ｒ、Ｇ、Ｂのいずれの色信号であっても、メモリ部２４に記憶された同一の復元ゲインデータを適用して復元処理を行う。

図５（Ａ）に示すように、EDoF化された撮影レンズ１０を透過した点像（光学像）は、大きな点像（ぼけた画像）としてカラー撮像素子１２に結像されるが、上記復元処理部２２でのデコンボリューション処理により、図５（Ｂ）に示すように小さな点像（高解像度の画像）に復元される。

また、復元処理に用いるデコンボリューションは、画素にゲインをかけることにより行われるが、Ｒ、Ｇ、Ｂの各色信号に対して同一の復元ゲインデータによる復元処理を行うことにより、後段の同時化処理後の画素に発生する色ノイズを低減することができる。

上記のようにして復元処理されたＲ、Ｇ、Ｂの色信号は、通常のＲＡＷデータとして出力される。

この復元処理ブロック２０から出力されるＲＡＷデータは、EDoF化された撮影レンズ１０及び復元処理ブロック２０を含まない画像信号（即ち、通常の撮影レンズ、カラー撮像素子及びＡＤ変換部を有する撮像ヘッド部から出力されるＲＡＷデータ）と同じものとなり、後段の信号処理系は、通常のデジタルカメラ等と同じ構成を有している。

中央処理装置（ＣＰＵ）１０２は、操作部１０４からの操作入力及び所定のプログラムに従って装置全体を統括制御する部分であり、自動露出（ＡＥ）演算、ホワイトバランス（ＷＢ）調整演算等、各種演算を実施する演算手段としても機能する。

ＣＰＵ１０２には、バス１０３及びメモリ・インターフェース１０６を介してＲＡＭ（Random Access Memory）１０８及びＲＯＭ（Read Only Memory）１１０が接続されている。ＲＡＭ１０８は、プログラムの展開領域及びＣＰＵ１０２の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。ＲＯＭ１１０には、ＣＰＵ１０２が実行するプログラム及び制御に必要な各種データや、撮像動作に関する各種定数／情報等が格納されている。

撮像ヘッド部１は、ＣＰＵ１０２からの指令により撮影動作等を行い、前述したように復元処理ブロック２０からＲ、Ｇ、ＢのＲＡＷデータを出力する。このＲＡＷデータは、バス１０３及びメモリＩ／Ｆ１０６を介してＲＡＭ１０８に一時的に保存される。

ＲＡＭ１０８に保存されたＲＧＢのＲＡＷデータは、デジタル信号処理部１１２に入力され、ここで、ノイズリダクション処理、混色補正、シェーディング補正、ホワイトバランス補正、ガンマ補正、同時化処理、ＲＧＢ／ＹＣ変換処理等の画像処理が施される。

また、ＲＡＷデータ記録が選択されている場合には、前記ＲＡＷデータはＲＡＷファイルのフォーマットで、外部メモリＩ／Ｆ１１４を介してメモリカード１１６に記録される。

操作部１０４には、シャッターボタン、撮影モードと再生モードを選択するモード選択スイッチ、表示部（ＬＣＤ）１１８にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択するためのマルチファンクションの十字キー等が含まれる。操作部１０４からの出力信号は、バス１０３を介してＣＰＵ１０２に入力され、ＣＰＵ１０２は操作部１０４からの入力信号に基づいて撮影や再生等の適宜の処理を実施させる。

撮像装置１００には、被写体にフラッシュ光を照射するためのフラッシュ装置１２０が含まれ、フラッシュ装置１２０は、ＣＰＵ１０２からの発光指令によって充電部１２２から電源の供給を受けてフラッシュ光を照射する。

デジタル信号処理部１１２で処理された画像データ（輝度信号Ｙ，色差信号Ｃr,Ｃｂ）は、圧縮伸張処理回路１２４に与えられ、ここで、所定の圧縮フォーマット（例えば、JPEG方式) に従って圧縮される。圧縮された画像データは、画像ファイル（例えば、JPEGファイル）のフォーマットで、外部メモリＩ／Ｆ１１４を介してメモリカード１１６に記録される。

また、ＬＣＤ１１８には、ＬＣＤインターフェース１２６を介して加えられる画像信号により撮像準備中に映像（ライブビュー画像）が表示され、また、再生モード時にメモリカード１１６に記録されたJPEGファイル、又はＲＡＷファイルが読み出され、画像が表示される。尚、JPEGファイルに格納された圧縮された画像データは、圧縮伸張処理回路１２４によって伸張処理が行われてＬＣＤ１１８に出力され、ＲＡＷファイルに格納されたＲＡＷデータは、前記デジタル信号処理部１１２によってＲＡＷ現像した後にＬＣＤ１１８に出力される。

ここで、デジタル信号処理部１１２の同時化処理部は、点順次のＲ、Ｇ、Ｂの各画素の色信号に対して同時式のＲ、Ｇ、Ｂの色信号を生成する部分であり、原色フィルタの配列に伴う色信号の空間的なズレを補間して、Ｒ画素に対応する位置にＧ、Ｂの色信号を生成し、同様にＧ画素に対応する位置にＲ、Ｂの色信号を生成し、Ｂ画素に対応する位置にＲ、Ｇの色信号を生成する。このようにして生成された同時式のＲ、Ｇ、Ｂの色信号は、同時化処理前のＲ、Ｇ、Ｂの色信号が、同じ復元フィルタを使用して復元処理されているため、色ノイズの発生が低減される。

＜復元ゲインデータ生成方法＞
次に、上記復元処理ブロック２０のメモリ部２４に記憶させる復元ゲインデータの生成方法について説明する。

図６は本発明に係る復元ゲインデータ生成方法の実施の形態を示すフローチャートである。

まず、撮像装置１００の出荷前等の調整時に、その撮像装置１００の撮影レンズ１０の点像分布関数（ＰＳＦ：Point spread function）を測定するために、撮影レンズ１０により点像（点光源）を撮像し、被写界深度が拡大された（位相変調された）ぼけた画像を取得する（ステップＳ１０）。

このとき、撮像素子は、測定専用のものを使用する方法と、実際に撮像装置１００に組み込まれるカラー撮像素子１２を使用する方法とがある。前者の場合は、撮影レンズ１０のみに対応するＰＳＦの測定に適し、後者の場合は、カラー撮像素子１２の影響（カラーフィルタ、開口など）も考慮したＰＳＦの測定に適している。

続いて、点像の撮像により取得した画像をｇ（ｘ，ｙ）、元の点像をｆ（ｘ，ｙ）、点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とすると、ぼけた画像ｇ（ｘ，ｙ）は、次式で表すことができる。

［数１］
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
ただし、＊はコンボリューションを示す。

上記ステップＳ１０での点像の撮像により取得したぼけた画像ｇ（ｘ，ｙ）に基づいて［数１］式のｈ（ｘ，ｙ）（即ち、点像分布関数（ＰＳＦ））を求める（ステップＳ１２）。

次に、上記求めた点像分布関数（ＰＳＦ）の逆関数を求める（ステップＳ１４）。この逆関数をＲ（ｘ，ｙ）とすると、次式のように位相変調された画像ｇ（ｘ，ｙ）を、Ｒ（ｘ，ｙ）によりコンボリューション処理することにより、元の画像ｆ（ｘ，ｙ）に対応する復元画像が得られる。

［数２］
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を復元フィルタという。復元フィルタは、図４に示したように７×７のフィルタ値（復元ゲインデータ）から構成され、ステップＳ１６では、この復元ゲインデータを生成する。尚、この種の復元フィルタとしては、原画像と復元画像との２乗平均誤差を最小にする最小２乗フィルタ（ウィナーフィルタ）、制限付き逆畳み込みフィルタ、再帰フィルタ、準同形フィルタ等を利用することができる。また、復元処理については、例えば電子通信学会論文誌、１９８４年１１月、Vol.J67-D No10や、「Ｏ plus Ｅ」誌別冊、１９８６年１１月に記載されている（特願平８−３２９５４９号公報の段落［００２３］、［００２４］参照）。

ステップＳ１６で生成された復元ゲインデータは、復元処理ブロック２０内のメモリ部２４に記憶させる（ステップＳ１８）。

上記のようにして生成されてメモリ部２４に記憶される復元ゲインデータは、画面内の像高にかかわらず、全てのＲ、Ｇ、Ｂの色信号の復元処理に使用されるもので、１種類だけである。

〔Ｇ画素に対応するＰＳＦを測定〕
上記復元ゲインデータを生成する際に、点像の中心がカラー撮像素子のＧ画素と一致するように撮像し、そのＧ画素の色信号及びそのＧ画素を中心とする所定領域内のＧ画素の色信号を取得してＰＳＦを測定する。

カラーフィルタがベイヤー配列のカラー撮像素子１２では、Ｇ画素の画素数は、Ｒ画素、Ｂ画素の画素数の２倍あり、また、Ｇ画素の色信号は輝度信号に近似しているため、Ｇ画素の色信号に基づいて生成される復元ゲインデータを、Ｒ画素及びＢ画素の色信号の復元処理に適用しても最低限のデメリット（解像力低下）で済む。

〔軸上でＰＳＦを測定〕
点像の中心がカラー撮像素子のＧ画素と一致するように撮像する際に、カラー撮像素子の画面中心（撮影レンズ１０の光軸上）、又は画面中心に最も近いＧ画素と一致するように撮像し、ＰＳＦを測定する。

これにより、画面中心の画像の復元を最適にすることができるとともに、画面中心の点像は測定が容易であるため、コストダウンを図ることができる。

〔画面３割像高でＰＳＦを測定〕
図７は画面と像高との関係を示す図である。上記の実施の形態では、軸上でＰＳＦを測定するようにしたが、他の実施の形態として、点像の中心が撮像画面の３割像高の位置にくるように撮像し、ＰＳＦを測定する。

これにより、画面３割像高の画像の復元を最適にすることができる。また、３割像高の画質を保つことで、重要な被写体が多い画面中心から６割像高付近の範囲にわたって画像の画質を維持することができる。

〔アウトフェーズで点像を撮像〕
点像の中心がカラー撮像素子のＧ画素と一致するように撮像する際に、Ｇ画素の中心からずれるように撮像し、ＰＳＦを測定する。

図８（Ａ）に示すように原点像は、カラー撮像素子の各画素（Ｇ画素）の間隔に応じて離散的に画像信号として取得される。ここで、図８（Ｂ）に示すように原点像の中心が、Ｇ画素の中心と一致するように撮像する場合（インフェーズで点像を撮像する場合）と、図８（Ｃ）に示すようにＧ画素の中心からずれるように撮像する場合（アウトフェーズで点像を撮像する場合）とがある。

この実施の形態では、原点像の中心がカラー撮像素子のＧ画素の中心からずれたアウトフェーズで撮像するようにしている。

これによれば、原点像の中心がカラー撮像素子の画素の中心と一致するインフェーズで撮像された実測値から得られる復元フィルタに比べて復元処理が強めに掛かり、画質を向上させることができる。また、インフェーズで撮像される被写体は少ない（確率の問題）ため、インフェーズ点像に基づいて生成された復元ゲインデータ（復元フィルタ）による復元処理では、復元不足が発生する（エッジがぼける）が、アウトフェーズで撮像すると、上記のような問題を解消することができる。

尚、図８（Ｃ）に示すアウトフェーズでの撮像例は、原点像の中心がカラー撮像素子の画素の中心から最もずれている場合に関して示しているが、図８（Ｂ）に示すインフェーズと、図８（Ｃ）に示すアウトフェーズとの中間のずれ（この場合もアウトフェーズである）となるように撮像することが好ましい。

〔回転対称化〕
図６のステップＳ１６において、復元ゲインデータを生成する際に、ＰＳＦの逆関数から求めた復元ゲインデータを調整し、図４に示したように各復元ゲインデータがカーネル中心に対して回転対称となるように生成する。

実際の使用される撮影レンズ１０を介して実測される点像、３割像高の点像、アウトフェーズの点像は、回転非対象な点像となり、この回転非対称の点像のＰＳＦに基づいて生成される復元ゲインデータは、回転非対象な復元ゲインデータになり、解像力が不均一になる。

そこで、この実施の形態では、回転対称な復元ゲインデータになるように生成（調整）し、画面内の解像力が均一になるようにし、画質向上を図るようにしている。例えば、撮像画面中心に上下左右の対称位置の４つの３割像高の点像のＰＳＦを測定し、これらのＰＳＦの平均を求めることにより、回転対称に近いＰＳＦを求め、この求めたＰＳＦに基づいて生成される復元ゲインデータを更に調整して回転対象な復元ゲインデータを生成する。

尚、回転対称の復元ゲインデータの場合、メモリ部２４に記憶させるデータを削減することができる。例えば、図４に示した７×７のカーネルの場合、４×４の復元ゲインデータを記憶させることで、その対称性を利用して７×７の復元ゲインデータとすることができる。

〔その他〕
この実施の形態では、カラー撮像素子のＧ画素から得られる点像に基づいてＰＳＦを測定するようにしたが、これに限らず、Ｒ、Ｇ、Ｂの各画素から得られる点像に基づいてそれぞれ測定されたＰＳＦの平均値（加重平均を含む）を求めるようにしてもよい。また、カラー撮像素子のカラーフィルタとしては、ベイヤー配列のものに限らず、ＧストライプＲ／Ｇ完全市松、ハニカム配列等の他のカラーフィルタ配列のものでもよい。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１…撮像ヘッド部、１０…撮影レンズ、１０Ａ…レンズ部、１１…光学フィルタ、１２…カラー撮像素子、１４…ＡＤ変換部、２０…復元処理ブロック、２２…復元処理部、２４…メモリ部、１００…撮像装置、１０２…中央処理装置（ＣＰＵ）、１１２…デジタル信号処理部

Claims (10)

1. 被写界深度を拡大する位相変調機能を有する撮影レンズと、
   前記撮影レンズを透過した光学像が結像され、該光学像を電気信号に変換する撮像素子であって、３原色の原色フィルタが所定のパターンとなるように画素毎に配列されたカラー撮像素子と、
   前記撮影レンズの位相変調機能による点像分布関数の逆関数を復元フィルタとする復元処理手段であって、前記カラー撮像素子から出力される３原色の原色フィルタに対応する各色信号に対し、単一の復元フィルタによるフィルタリング処理を行う復元処理手段と、
   を備えたことを特徴とする撮像装置。
2. 前記復元処理手段は、前記カラー撮像素子から出力される３原色の各色信号の像高にかかわらず、撮像画面内の各色信号に対して単一の復元フィルタによるフィルタリング処理を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記復元処理手段は、所定のカーネルサイズ分の復元ゲインデータを有する前記復元フィルタを記憶する記憶手段を含み、前記カラー撮像素子から出力される各画素の色信号の復元処理時に、処理対象の注目画素の色信号及びその注目画素を中心とする所定領域内の同じ色の画素の色信号と前記記憶手段に記憶された復元フィルタの復元ゲインデータとの畳み込み演算を行い、前記注目画素の色信号を前記演算により算出した値に置換することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記記憶手段に記憶される所定のカーネルサイズ分の復元ゲインデータは、カーネル中心に対して回転対称のデータであることを特徴とする請求項３に記載の撮像装置。
5. 請求項３又は４に記載の撮像装置の記憶手段に記憶させる前記所定のカーネルサイズ分の復元ゲインデータを生成する復元ゲインデータ生成方法であって、
   前記撮影レンズと前記カラー撮像素子又は該カラー撮像素子に対応する検査用のカラー撮像素子を介して点像を撮像させる工程と、
   前記カラー撮像素子から得られる３原色の原色フィルタに対応する１色又は複数色の色信号の実測値に基づいて点像分布関数を求める工程と、
   前記求めた１色の点像分布関数又は複数色の点像分布関数の平均値に基づいて前記点像分布関数の逆関数を求める工程と、
   前記求めた逆関数に基づいて該逆関数に対応する復元ゲインデータを生成する工程と、
   を含むことを特徴とする復元ゲインデータ生成方法。
6. 前記３原色は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色であり、
   前記実測値は、前記カラー撮像素子のＧの原色フィルタに対応するＧ画素から得られる実測値であることを特徴とする請求項５に記載の復元ゲインデータ生成方法。
7. 前記点像を撮像させる工程は、前記点像の中心が撮像画面の中心にくるように撮像させることを特徴とする請求項５又は６に記載の復元ゲインデータ生成方法。
8. 前記点像を撮像させる工程は、前記点像の中心が撮像画面の３割像高の位置にくるように撮像させることを特徴とする請求項５又は６に記載の復元ゲインデータ生成方法。
9. 前記点像を撮像させる工程は、前記点像の中心が前記カラー撮像素子の画素の中心からずれたアウトフェーズで撮像させることを特徴とする請求項５から８のいずれかに記載の復元ゲインデータ生成方法。
10. 前記逆関数に対応する復元ゲインデータを生成する工程は、Ｎ×Ｎのカーネルサイズ分の復元ゲインデータを生成する際に、各復元ゲインデータがカーネル中心に対して回転対称となるように生成することを特徴とする請求項５から９のいずれかに記載の復元ゲインデータ生成方法。