JP2017135441A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】より好適な手法により複数の画像信号を加算する際のシフト量の設定を行い得る画像処理装置を提供すること。【解決手段】再構成画像を生成する仮想結像面の位置を示す像面設定値を設定する像面設定手段と、結像光学系及び撮像素子における射出瞳距離、絞り値、及び像高に基づき設定されるシフト量換算係数と、像面設定値と、に基づいて、複数の画像を合成する際のシフト量を取得するシフト量取得手段と、複数の画像信号をそのシフト量だけ相対的にシフトして合成することにより、仮想結像面での再構成画像を生成する再構成画像生成手段と、を備えることを特徴とする。【選択図】図１４

Description

本発明は、画像処理装置及び画像処理方法に関する。

特許文献１には、１つのマイクロレンズに対して複数個に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。分割された複数の光電変換部は、撮影レンズの射出瞳の異なる領域を経由した光をそれぞれ受光するように構成されている。これらの分割された複数の光電変換部で生成された複数の信号から、複数の画像を生成することができる。

特許文献２には、分割された複数の光電変換部で受光した信号を加算して画像信号を生成することが開示されている。

特許文献３には、複数の視差画像を所定の画素数分シフトして加算することにより、撮像面とは異なる仮想結像面における画像を合成する画像処理技術が開示されている。

米国特許第４４１０８０４号明細書 特開２００１−０８３４０７号公報 特開２０１３−１４５９７９号公報

しかしながら、特許文献３の画像処理技術において、視差画像のシフト量の設定方法については詳細な開示がなされていない。

本発明は、より好適な手法により複数の画像信号を加算する際のシフト量の設定を行い得る画像処理装置を提供することを目的とする。

本発明の一実施形態に係る画像処理装置は、結像光学系の射出瞳領域の互いに異なる部分を通過した複数の光束の各々に基づき撮像素子で生成された複数の画像信号を用いて再構成画像を生成する画像処理装置であって、前記再構成画像を生成する仮想結像面の位置を示す像面設定値を設定する像面設定手段と、前記結像光学系及び前記撮像素子における射出瞳距離、絞り値、及び像高に基づき設定されるシフト量換算係数と、前記像面設定値と、に基づいて、前記複数の画像信号を合成する際のシフト量を取得するシフト量取得手段と、前記複数の画像信号を前記シフト量だけ相対的にシフトして合成することにより、前記仮想結像面での前記再構成画像を生成する再構成画像生成手段と、を備えることを特徴とする。

本発明の一実施形態に係る画像処理方法は、結像光学系の射出瞳領域の互いに異なる部分を通過した複数の光束の各々に基づき撮像素子で生成された複数の画像信号を用いて再構成画像を生成する画像処理方法であって、前記再構成画像を生成する仮想結像面の位置を示す像面設定値を設定し、前記結像光学系及び前記撮像素子における射出瞳距離、絞り値、及び像高に基づき設定されるシフト量換算係数と、前記像面設定値と、に基づいて、前記複数の画像信号を合成する際のシフト量を取得し、前記複数の画像信号を前記シフト量だけ相対的にシフトして合成することにより、前記仮想結像面での前記再構成画像を生成することを特徴とする。

本発明によれば、より好適な手法により複数の画像信号を加算する際のシフト量の設定を行い得る画像処理装置が提供される。

本発明の実施形態に係る撮像装置のブロック図である。 実施形態に係る撮像素子の画素配列を示す図である。 実施形態に係る画素の平面図（ａ）及び断面図（ｂ）である。 実施形態に係る画素構造と瞳領域との対応関係を示す図である。 実施形態に係る瞳部分領域での光強度分布を示すグラフである。 実施形態に係る瞳部分領域と撮像素子の光電変換部との対応関係を示す図である。 実施形態に係る第１視差画像と第２視差画像のデフォーカス量と像ずれ量の関係を示す図である。 実施形態に係る再構成画像の生成処理を説明する図である。 実施形態に係る像面移動可能範囲を示す図である。 実施形態に係る撮像素子側から見た瞳領域と絞りの関係を示す図である。 実施形態に係る撮像素子の中央付近及び周辺部における線像を示す図である。 レンズの枠によるケラレの発生を説明する図である。 実施形態に係るシフト量換算係数の取得及び撮影画像への記録のフローチャートである。 実施形態に係るシフト量換算係数を用いた再構成画像生成のフローチャートである。 実施形態に係る像面設定値の設定のためのユーザインターフェースの例である。

以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。

[撮像装置の全体構成]
図１は本発明の実施形態における撮像装置の一例であるカメラの構成を示すブロック図である。撮像装置は、結像光学系として、第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、第３レンズ群１０５及び光学的ローパスフィルタ１０６を有する。

第１レンズ群１０１は、結像光学系を構成する複数のレンズ群のうち最も被写体に近い側に配置される。第１レンズ群１０１は、光軸方向（図１中の光軸３０３の方向）に進退可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う機能を有するとともに、静止画撮影時には露光時間調節用シャッタとしての機能を有する。すなわち、絞り兼用シャッタ１０２の開口径により結像光学系の絞り値が変化する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退する。第２レンズ群１０３は、第１レンズ群１０１の進退動作との連動により変倍動作を行うズーム機能を実現する。第３レンズ群１０５は、光軸方向に進退することにより、焦点位置の調節を行う。光学的ローパスフィルタ１０６は、撮影画像に生じ得る偽色及びモアレを軽減するための光学素子である。

撮像装置は、２次元ＣＭＯＳセンサ及び周辺回路を含む撮像素子１０７をさらに有する。撮像素子１０７は、結像光学系の結像面に配置され、被写体からの入射光に基づく画像信号を生成する。

撮像装置は、結像光学系のための駆動装置として、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２及びフォーカスアクチュエータ１１４をさらに有する。ズームアクチュエータ１１１は、不図示のカム筒を回転させることにより、第１レンズ群１０１及び第２レンズ群１０３を光軸方向に進退させる。この動作により、変倍動作が行われる。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間を制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退させることにより焦点調節を行う。

撮像装置は、電子フラッシュ１１５及びＡＦ（オートフォーカス）補助光源１１６をさらに有する。電子フラッシュ１１５は、撮影時の被写体照明用の照明装置である。電子フラッシュ１１５は、例えば、キセノン管を用いた閃光照明装置、連続発光するＬＥＤを備える。ＡＦ補助光源１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写界に投影する。これにより、暗い被写体、あるいは低コントラストの被写体に対する焦点検出能力を向上させることができる。

撮像装置は、撮像装置の種々の制御を司る制御部として機能するＣＰＵ１２１をさらに有する。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェース回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムを実行する。これにより、撮像装置が有する各種回路が駆動され、焦点検出、撮影、画像処理、記録等の一連の動作が実行される。

撮像装置は、電子フラッシュ制御回路１２２及び補助光源駆動回路１２３をさらに有する。電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５の点灯を制御する。補助光源駆動回路１２３は、焦点検出動作に同期してＡＦ補助光源１１６の点灯を制御する。

撮像装置は、撮像素子駆動回路１２４及び画像処理回路１２５をさらに有する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御する。画像処理回路１２５は、撮像素子１０７により取得された画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、取得された画像データに対し、γ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。

撮像装置は、フォーカス駆動回路１２６、絞りシャッタ駆動回路１２８及びズーム駆動回路１２９をさらに有する。フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に進退させることにより焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動し、第１レンズ群１０１及び第２レンズ群１０３を光軸方向に進退させる。

撮像装置は、表示器１３１、操作スイッチ１３２及びフラッシュメモリ１３３をさらに有する。表示器１３１は液晶ディスプレイ等の表示装置である。表示器１３１は、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作スイッチ１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含むスイッチ群である。フラッシュメモリ１３３は、着脱可能な記憶媒体又は撮像装置に内蔵された記憶媒体であり、撮影画像等のデータを記憶する。

［撮像素子の構造］
本実施形態における撮像素子の画素及び副画素の配列を図２に示す。図２は、本実施形態の撮像素子１０７である２次元ＣＭＯＳセンサの画素配列の一部を４列×４行の範囲で示したものである。

本実施形態の撮像素子１０７の画素配列は、２列×２行の画素群２０３が繰り返し配置されるベイヤー配列となっている。画素群２０３は、Ｒ（赤）の分光感度（色）を有する画素２００Ｒを１つ、Ｇ（緑）の分光感度を有する画素２００Ｇを２つ、Ｂ（青）の分光感度を有する画素２００Ｂを１つ含む。画素群２０３内の左上の位置には、画素２００Ｒが配されている。画素群２０３内の右上と左下の位置には、画素２００Ｇが配されている。画素群２０３内の右下の位置には、画素２００Ｂが配されている。以下の説明において、画素２００Ｒ、２００Ｇ、２００Ｂについて画素の色を区別する必要がない場合には、これらを画素２００と総称する。

さらに、撮像素子１０７に含まれる複数の画素２００の各々は、２列×１行に配列された副画素２０１と副画素２０２を含む。また、複数の画素２００の各々は、入射光を集光するための１つのマイクロレンズ３０５を備える。すなわち、副画素２０１と副画素２０２は１つのマイクロレンズ３０５を共有する。

撮像素子１０７は、図２に示す画素が面上に多数配置された画素アレイを有する。この構成により、撮像素子１０７は、画像信号及び焦点検出信号を取得できる。画素２００が配列される周期Ｐは、例えば４μｍである。画素２００の個数の合計、すなわち画素数Ｎは、例えば横５５７５列×縦３７２５行＝約２０７５万である。副画素２０１、２０２の横方向周期Ｐ_Ｓは、例えば２μｍである。副画素２０１、２０２の個数の合計、すなわち副画素数Ｎ_Ｓは、例えば横１１１５０列×縦３７２５行＝約４１５０万である。

図３（ａ）は、図２に示す撮像素子１０７の画素２００を、撮像素子１０７の受光面側（＋Ｚ側）から見た平面図である。画素２００の副画素２０１は、光電変換部３０１を有する。画素２００の副画素２０２は、光電変換部３０２を有する。

図３（ｂ）は、図３（ａ）のＡ−Ａ’断面を−Ｙ側から見た断面図である。画素２００は、半導体基板３００、層間絶縁層３１１、配線３０７、カラーフィルタ３０６及びマイクロレンズ３０５を有する。層間絶縁層３１１、配線３０７、カラーフィルタ３０６及びマイクロレンズ３０５は半導体基板３００上に形成される。光電変換部３０１は、半導体基板３００内に形成されたｎ型半導体領域３０９及びｐ型半導体領域３１２により形成されるフォトダイオードを含む。光電変換部３０２は、半導体基板３００内に形成されたｎ型半導体領域３１０及びｐ型半導体領域３１３により形成されるフォトダイオードを含む。これらのフォトダイオードは、ｐ型半導体領域３１２、３１３とｎ型半導体領域３０９、３１０の間にイントリンシック層を挟むｐｉｎ構造フォトダイオードであってもよく、イントリンシック層を省略したｐｎ接合フォトダイオードであってもよい。

マイクロレンズ３０５は、半導体基板３００の表面、すなわち、光電変換部３０１、３０２の受光面３０４に入射光を集光させるためのレンズである。マイクロレンズ３０５の光軸３０３の方向は、受光面３０４に垂直な方向、すなわちＺ方向となる。

カラーフィルタ３０６は、マイクロレンズ３０５と、光電変換部３０１、３０２との間に形成される。例えば、画素２００Ｇにおいては、カラーフィルタ３０６は、緑色の光の透過率が高い分光特性を有する材料で構成される。なお、副画素２０１、２０２ごとにカラーフィルタ３０６の透過率を変えてもよい。また、一部の画素２００において、カラーフィルタ３０６を省略してもよい。

画素２００に入射された光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光されたのち、光電変換部３０１と光電変換部３０２で受光される。光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成する。電子とホールは、空乏層で分離された後、電子はｎ型半導体領域３０９、３１０に蓄積され、ホールはｐ型半導体領域３１２、３１３に接続された定電圧源（不図示）を介して撮像素子１０７の外部へ排出される。

ｎ型半導体領域３０９、３１０に蓄積された電子は、トランジスタを介して、静電容量を有する浮遊拡散領域に転送される。転送された電子は、浮遊拡散領域の電圧を変動させる。これにより、入射光により生じた電荷が電圧信号に変換される。

なお、画素２００Ｒ、２００Ｂは、カラーフィルタ３０６の色を除き画素２００Ｇと同様の構成を有する。

図４は、図３（ａ）及び図３（ｂ）に示した画素構造と瞳領域との対応関係を示す概略説明図である。図４には、図３（ａ）に示した画素構造のＡ−Ａ’断面を＋Ｙ側から見た断面図が図４の下段に、結像光学系の射出瞳面が図４の上段に示されている。なお、図４では、射出瞳面の座標軸と対応を取るために、断面図のＸ軸の向きが図３に対して反転されている。

副画素２０１の瞳部分領域５０１は、光電変換部３０１の受光面と、マイクロレンズ３０５を介して、ほぼ共役関係になっている。すなわち、瞳部分領域５０１は、副画素２０１で受光可能な瞳領域を表している。光電変換部３０１の受光面は重心が−Ｘ方向に偏心しているので、副画素２０１の瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心している。

同様に、副画素２０２の瞳部分領域５０２は、光電変換部３０２の受光面と、マイクロレンズ３０５を介して、ほぼ共役関係になっている。すなわち、瞳部分領域５０１は、副画素２０２で受光可能な瞳領域を表している。光電変換部３０２の受光面は重心が＋Ｘ方向に偏心しているので、副画素２０２の瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心している。

瞳領域５００は、光電変換部３０１と光電変換部３０２（副画素２０１と副画素２０２）を合わせた画素２００全体に対応する瞳領域である。また、瞳領域４００は、枠（レンズ枠や絞り枠の総称）によるケラレを考慮した瞳領域である。瞳領域４００の大きさ、位置及び形状は、絞り兼用シャッタ１０２の絞り値、射出瞳から受光面３０４までの距離等により定まる射出瞳距離、及び撮像素子１０７の像高の組み合わせにより変化する。

図５は、瞳強度分布の例を示すグラフである。横軸はＸ方向の位置を示しており、縦軸は受光率を示している。図５のグラフでは、瞳部分領域５０１の瞳強度分布を実線で示しており、瞳部分領域５０２の瞳強度分布を破線で示している。グラフより、瞳部分領域５０１、５０２の光強度分布は、Ｘ方向の位置に対してなだらかに変化することがわかる。

図６は、瞳部分領域５０１、５０２と撮像素子１０７の光電変換部３０１ａ、３０２ａ、３０１ｂ、３０２ｂとの対応関係を示す図である。ここで、光電変換部の符号に付された「ａ」、「ｂ」の枝番について、同一の枝番が付されている光電変換部は同一の画素に属することを意味し、異なる枝番が付されている光電変換部は異なる画素に属することを意味するものとする。被写体８０３から射出され、互いに異なる瞳部分領域５０１、５０２を通過した複数の光束は、撮像素子１０７の各画素２００の撮像面８００に、それぞれ異なる角度で入射する。これらの光束は、副画素２０１と副画素２０２で受光される。被写体８０３上の点ａから射出された複数の光束は、瞳部分領域５０１、５０２を通過して、光電変換部３０１ａ、３０２ａでそれぞれ受光される。被写体８０３上の点ｂから射出された複数の光束は、瞳部分領域５０１、５０２を通過して、光電変換部３０１ｂ、３０２ｂでそれぞれ受光される。本実施形態では、瞳領域が水平方向に２つに瞳分割されている例を示している。しかしながら、瞳分割の方向は水平方向に限られず、例えば、垂直方向に瞳分割されていてもよく、水平方向と垂直方向の両方向等の複数方向に瞳分割をなし得る構成とであってもよい。

本実施形態の撮像素子１０７は、結像光学系の射出瞳領域の互いに異なる部分を通過した複数の光束を受光することができるように構成される。すなわち、撮像素子１０７は、各々が光電変換部３０１、３０２を有する複数の副画素２０１、２０２が設けられた画素２００が複数の行及び複数の列をなして配列されている。本実施形態では、撮像素子１０７の各副画素に入射する光束により、異なる瞳部分領域ごとに、複数の視差画像を生成することができる。すなわち、撮像素子１０７の各画素２００の副画素２０１で受光された光束に基づく信号により第１視差画像が生成される。また、撮像素子１０７の各画素２００の副画素２０２で受光された光束に基づく信号により第２視差画像が生成される。

本実施形態では、画素２００Ｒ、２００Ｇ、２００Ｂはベイヤー配列となっている。そのため、第１視差画像及び第２視差画像は、それぞれ、ベイヤー配列の画像である。必要に応じて、第１視差画像及び第２視差画像に、デモザイキング処理を行ってもよい。

また、撮像素子１０７の各画素２００の副画素２０１と副画素２０２から得られた信号を加算又は平均化して読み出すことにより、画素数Ｎに相当する解像度の画像を生成することができる。本実施形態では、複数の視差画像（第１視差画像と第２視差画像）を加算して画像を生成する。

［デフォーカス量と像ずれ量の関係］
以下、本実施形態の撮像素子１０７により取得される第１視差画像と第２視差画像のデフォーカス量と像ずれ量の関係について説明する。

図７は、第１視差画像と第２視差画像のデフォーカス量と、第１視差画像と第２視差画像間の像ずれ量との関係を示す図である。図７において不図示の撮像素子１０７は、撮像面８００に配置される。結像光学系の射出瞳は、瞳部分領域５０１と瞳部分領域５０２に２分割される。

デフォーカス量ｄは、以下のように定義される。デフォーカス量の絶対値｜ｄ｜は、被写体の結像位置から撮像面までの距離とする。デフォーカス量ｄの符号は、被写体の結像位置が撮像面よりも被写体側にある状態（前ピン状態）のときに負（ｄ＜０）、被写体の結像位置が撮像面よりも被写体に対して反対側にある状態（後ピン状態）のときに正（ｄ＞０）とする。被写体の結像位置が撮像面（合焦位置）にある状態（合焦状態）のときにはｄ＝０である。図８において、被写体８０１は合焦状態（ｄ＝０）となる被写体の位置を示している。被写体８０２は前ピン状態（ｄ＜０）となる被写体の位置を示している。また、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）と呼ぶ。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、瞳部分領域５０１を通過した光束は、一度、集光した後、光束の重心位置Ｇ１を中心として幅Γ１に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子に配列された各画素２００を構成する副画素２０１により受光され、第１視差画像が生成される。よって、第１視差画像は、撮像面８００上の重心位置Ｇ１の近傍において、被写体８０２がボケ幅Γ１にわたってボケた被写体像として記録される。被写体像のボケ幅Γ１は、デフォーカス量ｄの絶対値｜ｄ｜にほぼ比例する。

同様に、瞳部分領域５０２を通過した光束は、光束の重心位置Ｇ２を中心として幅Γ２に広がる。ボケた像は、副画素２０２より受光され、第２視差画像が生成される。よって、第２視差画像は、撮像面８００上の重心位置Ｇ２の近傍において、被写体８０２がボケ幅Γ２にわたってボケた被写体像として記録される。被写体像のボケ幅Γ２も、デフォーカス量ｄの大きさ｜ｄ｜にほぼ比例する。

よって、第１視差画像と第２視差画像との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の絶対値｜ｐ｜も、デフォーカス量ｄの絶対値｜ｄ｜にほぼ比例する。なお、後ピン状態（ｄ＞０）の場合も、第１視差画像と第２視差画像との間の被写体像の像ずれ方向が前ピン状態と反対となる点を除き、同様である。

したがって、本実施形態では、第１視差画像、第２視差画像、又は第１視差画像と第２視差画像を加算した画像のデフォーカス量の絶対値が大きくなると、第１視差画像と第２視差画像間の像ずれ量の絶対値も大きくなる。

［像面移動処理］
以下、本実施形態におけるシフト合成による再構成画像の生成処理について説明する。図８は、本実施形態における複数の視差画像（第１視差画像と第２視差画像）により瞳分割方向（列方向、水平方向）の再構成画像を生成する処理を説明する図である。図８の撮像面８００は、図６、図７に示した撮像面８００に対応している。図８では、ｉを整数として、撮像面８００に配置された撮像素子１０７のｉ列目の画素２００で得られる第１視差画像をＡｉ、第２視差画像をＢｉとして模式的に表している。第１視差画像Ａｉは、図６の瞳部分領域５０１に対応する主光線角度θａでｉ番目の画素２００に入射した光束に基づく画像信号である。第２視差画像Ｂｉは、図６の瞳部分領域５０２に対応する主光線角度θｂでｉ番目の画素２００に入射した光束に基づく画像信号である。なお、主光線角度θａ、θｂは、撮像面８００に対する垂線（すなわち、光軸３０３）と入射する光束の重心に相当する線とがなす角である。

第１視差画像Ａｉと第２視差画像Ｂｉは、光強度分布情報だけでなく、入射角度情報をも有している。よって、以下のような処理を考えることにより、仮想結像面８１０での再構成画像（仮想結像面８１０に撮像面８００が移動した場合に得られる画像）を生成可能であることが理解できる。まず、第１視差画像Ａｉを光束の向き（光軸３０３を主光線角度θａだけ傾けた向き）に沿って仮想結像面８１０まで平行移動させる。次に、第２視差画像Ｂｉを光束の向き（光軸３０３を主光線角度θｂだけ傾けた向き）に沿って仮想結像面８１０の位置まで平行移動させる。これらの視差画像を合成することで、仮想結像面８１０における再構成画像を生成することができる。

このときの並行移動の量が第１視差画像Ａｉ、第２視差画像Ｂｉとも水平方向に０．５画素分であるものとする。この場合、第１視差画像Ａｉを光束に沿って仮想結像面８１０まで平行移動させることは、水平方向に＋０．５画素だけシフトさせることと等価である。第２視差画像Ｂｉを光束に沿って仮想結像面８１０まで平行移動させることは、水平方向に−０．５画素だけシフトさせることと等価である。したがって、第１視差画像Ａｉと第２視差画像Ｂｉとを相対的に＋１画素シフトさせる、すなわち、第１視差画像Ａｉと第２視差画像Ｂｉ＋１を対応させて合成することで、仮想結像面８１０における再構成画像を生成することができる。また、第１視差画像Ａｉと第２視差画像Ｂｉをシフト合成することで結像面を移動させる際の像面移動量と、シフト量との対応関係は、主光線角度θａと主光線角度θｂの大きさにより決定される。

上述のシフト合成のシフト量をｓ、行番号をｊ、列番号をｉとし、ｊ行ｉ列の第１視差画像をＡ（ｊ，ｉ）、第２視差画像をＢ（ｊ，ｉ）と表記する。これらをシフト合成して得られた再構成画像をＩ（ｊ、ｉ；ｓ）とすることで、シフト合成の処理は以下の式（１）で表される。

本実施形態では、第１視差画像Ａ（ｊ，ｉ）と第２視差画像Ｂ（ｊ，ｉ）がベイヤー配列であるため、シフト量ｓを２の倍数とすることで同色の視差画像を合成することができる。すなわち、ｓ＝２ｎ（ｎは整数）と表すことができる。このようにシフト量ｓを設定し、同色の信号が加算されるように式（１）のシフト合成を行うことで、ベイヤー配列を保ったまま、再構成画像Ｉ（ｊ、ｉ；ｓ）を生成することができる。その後、必要に応じて、再構成画像Ｉ（ｊ、ｉ；ｓ）にデモザイキング処理を行ってもよい。

また、第１視差画像Ａ（ｊ，ｉ）と第２視差画像Ｂ（ｊ，ｉ）の各画素間の補間信号を生成してから再構成画像を生成してもよい。これにより、シフト量ｓを非整数とすることができ、シフト量ｓの設定自由度が向上する。

以上のように、本実施形態では、撮影後の複数の視差画像から、結像光学系の仮想結像面における再結像画像を生成することができる。

［像面移動可能範囲］
図９は、本実施形態における像面移動可能範囲を示す図である。許容錯乱円径をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。水平方向の瞳分割の分割数をＮ_Ｈ、垂直方向の瞳分割の分割数をＮ_Ｖとする。このとき、Ｎ_Ｈ×Ｎ_Ｖ分割（本実施形態では２×１分割）されて狭くなった瞳部分領域５０１の水平方向の実効絞り値Ｆ_０１は、Ｆ_０１＝Ｎ_ＨＦとなり、Ｆよりも大きくなる。したがって、第１視差画像についての実効的な被写界深度は±Ｎ_ＨＦδとＮ_Ｈ倍深くなり、合焦範囲がＮ_Ｈ倍に広がる。第１視差画像について、実効的な被写界深度±Ｎ_ＨＦδの範囲内では、合焦した被写体像が取得される。なお、第２視差画像についても同様である。

図９に示した再構成処理では、撮影後に像面を移動させて、合焦位置を再調整することができる。しかしながら、第１、第２視差画像についての実効的な被写界深度の範囲が限定されているため、合焦位置を再調整可能なデフォーカス量ｄの範囲は限定される。デフォーカス量ｄの像面移動可能範囲は、概ね以下の式（２）の範囲となる。

なお、許容錯乱円径δは、δ＝２ΔＸ（画素周期ΔＸにおけるナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。

［シフト量換算係数の取得］
図１０は、撮像素子１０７側から見た瞳領域と絞りの関係を示す図である。図１０に示す瞳領域４０１は、撮像素子１０７の中央付近（すなわち、絞り兼用シャッタ１０２の絞り枠６００の開口部中心付近）に配された画素２００ａから絞り枠６００の開口部を介して見ることができる領域である。図１０に示す瞳領域４０２は、撮像素子１０７の周辺部に配された画素２００ｂから絞り枠６００の開口部を介して見ることができる領域である。図１０中のグラフの実線及び破線は、それぞれ瞳部分領域５０１、５０２に係る瞳強度分布を示す。

図１１（ａ）は、図１０の撮像素子１０７の中央付近における線像を示しており、図１１（ｂ）は、図１０の撮像素子１０７の周辺部における線像を示している。図１１（ａ）、図１１（ｂ）のグラフの実線及び破線は、それぞれ瞳部分領域５０１、５０２に係る線像である。図中に破線で示されたＧ１、Ｇ２はそれぞれ、瞳部分領域５０１、５０２に係る線像の重心位置である。ここで、図１１（ａ）、図１１（ｂ）の重心位置Ｇ１、Ｇ２の意味は、図７に示す重心位置Ｇ１、Ｇ２と同じであるため、重複する説明を省略する。

図７、図１０、図１１（ａ）、図１１（ｂ）によれば、図８を参照して説明した主光線角度θａは、重心位置Ｇ１と射出瞳との位置関係によって定まり、主光線角度θｂは重心位置Ｇ２と射出瞳との位置関係によって定まる。また、図７、図１０、図１１（ａ）、図１１（ｂ）によれば、重心位置Ｇ１とＧ２のそれぞれは、瞳領域４０１、４０２の範囲によって定まる。言い換えると、重心位置Ｇ１とＧ２のそれぞれは、絞り枠６００の開口部の位置により定まる射出瞳距離と、絞り枠６００の開口部の大きさを決定する絞り値と、撮像素子１０７の受光面における像高とによって変化する。

図８を参照して述べたように、シフト合成におけるシフト量１画素あたりの像面移動量（シフト量換算係数）は、主光線角度θａと主光線角度θｂに基づいて定まる。すなわち、シフト量換算係数は、結像光学系及び撮像素子１０７における射出瞳距離と、絞り値と、像高とによって変化する。そのため、これらの情報が得られれば、シフト量換算係数を算出して、取得することが可能となる。シフト量換算係数は、あらかじめ算出し、記憶媒体等に記憶させておくことで、シフト合成の処理が行われる際に読み出して用いることができる。このときに、シフト量換算係数を画像信号とともに画像データ内に記録しておいてもよい。あるいは、シフト合成の処理が行われるごとに、撮像装置のＣＰＵ１２１等により演算してシフト量換算係数を取得してもよい。

このように、本実施形態によれば、射出瞳距離と、絞り値と、像高とに基づきシフト量換算係数を得ることができ、これを用いて像面移動量をシフト量に換算することができる。例えば、ユーザが再構成画像の生成のための条件を設定する場合、合焦させる像面の位置、すなわち、像面設定値を設定する方が、視差画像のシフト量そのものを設定するよりも容易である。また、視差画像のシフト量は上述のように射出瞳距離と、絞り値と、像高とに依存するので、これらをユーザが考慮して設定することは煩雑である。本実施形態によれば、像面設定値による設定が可能となるので、複数の画像信号を加算する際のシフト量の設定をより好適に行うことができる。

［周辺光量情報の取得］
図１２（ａ）及び図１２（ｂ）は、枠によるケラレの発生を説明する図である。撮影時に設定される絞り値は1つの値であるが、ケラレの発生により像高に応じて実効的な絞り値（実効絞り値）が変化することがある。図１２（ａ）のように、ケラレを発生させる枠６０１が１つの場合には、瞳領域４０３の面積は、像高による変化はほとんどないので、実効絞り値の変化はそれほど生じない。しかしながら、図１２（ｂ）に示す枠６０１、６０２のように、実際の結像光学系のレンズ等には複数の枠がある。この場合、枠６０１、６０２によるケラレに対応する瞳領域４０３、４０４の重なり部分である瞳領域４０５の面積が像高によって変化する。よって、実効絞り値は、複数の枠６０１、６０２によるケラレの結果として、像高に応じて変化することがある。

多くの場合、レンズ等によるケラレが発生すると、撮像素子１０７の撮像面の端に近づくにつれて光量の低下（周辺光量低下）が発生する。この周辺光量低下はレンズごとに固有の分布を有する。そのため、撮像装置に結像光学系の周辺光量に関する情報（周辺光量情報）を記憶させておき、撮影後に周辺光量低下を補正する機能を撮像装置が有していてもよい。この周辺光量情報を参照することにより、レンズ枠によるケラレの発生量が推定できる。そのため、周辺光量情報を参照して撮像素子１０７の像高に応じた実効絞り値を取得することができる。

ある撮像素子の像高（ｘ,ｙ）における周辺光量情報をＶ（ｘ,ｙ）とし、関数ｆ（Ｖ（ｘ,ｙ））をケラレの形状に応じて定まる関数とする。このときの実効絞り値Ｆ´は、撮影時に設定された絞り値Ｆを用いて以下の式（３）にて算出できる。

ｆ（Ｖ（ｘ,ｙ））はレンズ等により生じるケラレの形状に応じて最適な関数形が異なるため、レンズごとに適した関数を用いる必要がある。関数ｆ（Ｖ（ｘ,ｙ））の一例として、ケラレの形状が円形に近い場合（式（４））と、楕円に近い場合（式（５））に好適に用いることができる関数を示す。

しかしながら、関数ｆ（Ｖ（ｘ,ｙ））は、式（４）、式（５）に限定されるものではなく、ケラレの形状にあわせて適宜設定可能である。

［シフト量換算係数の撮影画像への記録］
上述のように、シフト量換算係数は、画像信号とともに画像データ内に記録しておいてもよい。図１３は、シフト量換算係数が取得され、画像データに記録されるまでのフローを示すフローチャートである。なお、本処理は、例えば、主として撮像装置内のＣＰＵ１２１により実行され得る。また、撮像装置を用いた撮影時の焦点位置合わせは、ＡＦ（オートフォーカス）又はＭＦ（マニュアルフォーカス）で行われ得るものとする。

ステップＳ１３０１において、ＣＰＵ１２１は、画像の撮影に用いられた撮像装置の焦点検出方法の設定を判定する。焦点位置合わせの方法はＡＦ及びＭＦを含み得る。焦点検出方法の設定がＡＦの場合、処理はステップＳ１３０２に進み、焦点位置合わせの設定がＭＦの場合、処理はステップＳ１３０３に進む。

ステップＳ１３０２において、ＣＰＵ１２１は、ＡＦの処理において合焦させた像高（ｘ，ｙ）を含む位置情報を撮像装置の記憶媒体等から取得する。

ステップＳ１３０３において、ＣＰＵ１２１は、所定の基準位置に対応する像高（ｘ，ｙ）を含む位置情報を撮像装置の記憶媒体等から取得する。

なお、焦点検出方法によらず一定の像高を以下の処理に用いてもよく、その場合、ステップＳ１３０１からステップＳ１３０３は省略してもよい。

ステップＳ１３０４において、ＣＰＵ１２１は、画像の撮影における撮影条件のうちから少なくとも射出瞳距離及び絞り値を撮像装置の記憶媒体、レンズユニットに備えられたメモリ等から取得する。

ステップＳ１３０５において、ＣＰＵ１２１は、周辺光量情報を撮像装置の記憶媒体、レンズユニットに備えられたメモリ等から取得する。焦点検出方法の設定がＡＦの場合には、ＣＰＵ１２１は、合焦させた像高の周辺光量情報のみ取得してもよく、全ての像高の周辺光量情報を取得してもよい。また、焦点検出方法の設定がＭＦの場合には、基準像高のみの周辺光量情報を取得してもよく、全ての像高の周辺光量情報を取得してもよい。なお、シフト量換算係数の取得にステップＳ１３０４で取得した絞り値をそのまま用いてもよく、このような場合、ステップＳ１３０５及びステップＳ１３０６は省略してもよい。

ステップＳ１３０６において、ＣＰＵ１２１は、ステップＳ１３０５で取得した周辺光量情報を用いて、実効絞り値を、シフト量換算係数の取得に用いる１つ又は複数の像高に対して算出して取得する。

ステップＳ１３０７において、ＣＰＵ１２１は、射出瞳距離と、実効絞り値（又はステップＳ１３０４で取得した絞り値）と、これらと対応する像高と、を用いて、撮像装置の記憶媒体に記憶されたシフト量換算係数を取得する。あるいは、ＣＰＵ１２１は、これらの情報を用いてシフト量換算係数を演算して取得する。

ステップＳ１３０８において、ＣＰＵ１２１は、取得したシフト量換算係数を画像信号の少なくとも１つとともに画像データ内に記録する。これにより、画像データを撮像装置外の画像処理装置で処理する場合に、シフト量換算係数を画像データと別に取得することなく参照することができる。なお、例えば撮像装置内で像面移動処理が可能な場合には、画像データ内にシフト量換算係数を記録することは必須でない。このような場合、ステップＳ１３０８を省略してもよい。

［再構成画像の生成方法］
図１４は、シフト量換算係数を用いてシフト合成による再構成画像処理を行う際の処理を示すフローチャートである。本フローチャートの処理は、像面設定手段、シフト量取得手段及び再構成画像生成手段を有する画像処理装置により行われ得る。当該画像処理装置は、撮像装置の外部に設けることができる。この場合、撮像装置は、画像処理装置に対し、像面設定手段、シフト量取得手段及び再構成画像生成手段のために用いられるデータを供給することができる。この場合の画像処理装置は、例えばコンピュータがプログラムを実行することにより、像面設定手段、シフト量取得手段及び再構成画像生成手段として機能するものであってもよい。

また、当該画像処理装置は、撮像装置の内部に設けることもできる。この場合、例えば、撮像装置内のＣＰＵ１２１が、プログラムを実行することにより、像面設定手段、シフト量取得手段及び再構成画像生成手段として機能してもよい。また、撮像装置内にさらに画像処理回路が設けられ、当該画像処理回路が像面設定手段、シフト量取得手段及び再構成画像生成手段として機能するものであってもよい。

像面設定手段は、再構成画像を生成する仮想結像面８１０の位置を示す像面設定値を設定する手段である。シフト量決定手段は、結像光学系及び撮像素子１０７における射出瞳距離、絞り値、及び像高に基づき設定されるシフト量換算係数と、像面設定値と、に基づいて、複数の画像を合成する際のシフト量を取得する手段である。再構成画像生成手段は、式（１）により複数の視差画像を上述のシフト量決定手段で取得されたシフト量だけ互いにシフトして合成することにより、仮想結像面８１０での再構成画像を生成するシフト合成する手段である。

図１４のフローチャートの具体的な内容を説明する。ステップＳ１４０１において、画像処理装置は、画像データ内に記録されたシフト量換算係数を取得する。画像データへのシフト量換算係数の記録は、例えば、図１３のフローチャートの処理により行われたものである。なお、画像データ内にシフト量換算係数が記憶されていることは必須ではなく、その場合、記憶媒体に別途記録されているデータから取得する等の、その他の方法でシフト量換算係数を取得してもよい。

ステップＳ１４０２において、像面設定手段として機能する画像処理装置は、ユーザからの操作等に基づき像面設定値を取得する。ステップＳ１４０１とステップＳ１４０２の順序は、図１４のように、ステップＳ１４０１が先であってもよく、これとは逆にステップＳ１４０２が先であってもよい。

ステップＳ１４０３において、シフト量取得手段として機能する画像処理装置は、ステップＳ１４０１で取得したシフト量換算係数と、ステップＳ１４０２で取得した像面設定値を用いて、視差画像の合成のためのシフト量を取得する。

ステップＳ１４０４において、再構成画像生成手段として機能する画像処理装置は、ステップＳ１４０３で取得したシフト量を用いて、複数の視差画像を上述のシフト量だけ相対的にシフトして合成することにより、仮想結像面での再構成画像を生成する。

ステップＳ１４０５において、画像処理装置に備えられた表示部、又は画像処理装置と一体として用いられる装置の表示部は、ステップＳ１４０４で生成した再構成画像を表示する。なお、このステップＳ１４０５は必須ではない。

上述のステップＳ１４０２において、像面設定手段による像面設定値の設定は、ユーザが、画像処理装置に対して、撮影した画像の合焦位置を移動させる量を決定する操作（リフォーカス操作）をすることにより行われる。図１５（ａ）及び図１５（ｂ）は、ユーザが合焦位置を指定するためのユーザインターフェース用画面の例を示す図である。図１５（ａ）及び図１５（ｂ）には、画像処理装置に備えられた表示部、又は画像処理装置と一体として用いられる装置の表示部に表示される操作用画像が示されている。

図１５（ａ）は、ユーザインターフェースの一例を示す図である。操作画面１５００には視差画像のうちの１つと操作用の画像とが表示されている。操作画面１５００に表示された視差画像は、撮像装置からの距離が互いに異なる第１被写体１５０１及び第２被写体１５０２を含む。第１被写体の顔部分には、合焦表示枠１５０３が示されている。合焦表示枠１５０３は撮影時に合焦させた基準位置（ピントの合った位置）を示している。さらに、操作画面１５００の右側には、操作部であるスライダーバー１５０４が示されている。ユーザは、操作画面１５００に表示されたスライダーバー１５０４のつまみを上下に操作することにより、合焦表示枠１５０３の位置を基準に仮想結像面８１０の位置を設定することができる。

図１５（ｂ）は、ユーザインターフェースの別の例を示す図である。操作画面１５０６には、合焦表示枠１５０３に代えてポインタ１５０５が表示されている。ポインタ１５０５も、スライダーバー１５０４とともに操作部として機能する。ユーザは、ポインタ１５０５を所望の位置に動かすことにより、合焦の基準位置を変えることができる。例えば、第２被写体１５０２にピントを合わせたい場合には、ユーザは、ポインタ１５０５を第２被写体１５０２の位置に移動させることにより、第２被写体１５０２の位置を基準に仮想結像面８１０の位置を設定することができる。なお、図１５（ｂ）の操作画面１５０６では、ユーザがポインタ１５０５で指定した場所において合焦した再構成画像が生成されるように自動的に仮想結像面８１０の位置が設定されてもよい。また、ポインタ１５０５での指定後に、手動でスライダーバー１５０４を操作することで仮想結像面８１０の位置が設定されてもよい。

上述のように、１画素シフトあたりの像面移動量は結像光学系及び撮像素子１０７における射出瞳距離、絞り値、及び像高に応じて異なる。そのため、例えば、レンズの交換等の撮影条件の変更がなされると、１画素シフトあたりの像面移動量が変化する。再構成画像の生成のためのユーザインターフェースが、ユーザにシフト量を入力させるようなものである場合、ユーザ自身がこれらのパラメータを考慮してシフト量を決定する必要が生じ、操作が煩雑となる。

しかしながら、本実施形態では、画像処理装置が、入力された像面設定値とシフト量換算係数とを用いてシフト量を取得する。すなわち、ユーザが仮想結像面の位置を示す像面設定値をスライダーバー１５０４等により入力するだけで、自動的に視差画像のシフト量が取得される。そのため、ユーザは、レンズ等の撮影条件の変更に依存しない一定の操作により再構成画像を生成することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 第１レンズ群
１０２ 絞り兼用シャッタ
１０３ 第２レンズ群
１０５ 第３レンズ群
１０６ 光学的ローパスフィルタ
１０７ 撮像素子
５０１、５０２ 瞳部分領域
６００ 絞り枠
８１０ 仮想結像面

Claims (10)

1. 結像光学系の射出瞳領域の互いに異なる部分を通過した複数の光束の各々に基づき撮像素子で生成された複数の画像信号を用いて再構成画像を生成する画像処理装置であって、
   前記再構成画像を生成する仮想結像面の位置を示す像面設定値を設定する像面設定手段と、
   前記結像光学系及び前記撮像素子における射出瞳距離、絞り値、及び像高に基づき設定されるシフト量換算係数と、前記像面設定値と、に基づいて、前記複数の画像信号を合成する際のシフト量を取得するシフト量取得手段と、
   前記複数の画像信号を前記シフト量だけ相対的にシフトして合成することにより、前記仮想結像面での前記再構成画像を生成する再構成画像生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記シフト量換算係数は、さらに前記結像光学系の周辺光量に関する情報に基づき設定されることを特徴とする請求項１に記載の画像処理装置。
3. 前記結像光学系の前記周辺光量に関する情報は、前記結像光学系に含まれるレンズの枠による入射光のケラレに関する情報を含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記シフト量換算係数は、前記複数の画像信号の少なくとも１つとともに画像データ内に記録されていることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記複数の画像信号は、前記撮像素子を備える撮像装置によりオートフォーカスでの焦点位置合わせを行って取得された画像であり、前記像高は、前記オートフォーカスにおいて合焦した像高であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記複数の画像信号は、前記撮像素子を備える撮像装置によりマニュアルフォーカスでの焦点位置合わせを行って取得された画像であり、前記像高は、所定の基準位置に対応する像高であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記複数の画像信号に基づく複数の画像のうちの少なくとも１つと、操作部とを表示する表示部をさらに備え、
   前記像面設定手段は、前記操作部に対するユーザからの操作に基づき前記像面設定値を設定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 結像光学系の射出瞳領域の互いに異なる部分を通過した複数の光束の各々に基づき撮像素子で生成された複数の画像信号を用いて再構成画像を生成する画像処理方法であって、
   前記再構成画像を生成する仮想結像面の位置を示す像面設定値を設定し、
   前記結像光学系及び前記撮像素子における射出瞳距離、絞り値、及び像高に基づき設定されるシフト量換算係数と、前記像面設定値と、に基づいて、前記複数の画像信号を合成する際のシフト量を取得し、
   前記複数の画像信号を前記シフト量だけ相対的にシフトして合成することにより、前記仮想結像面での前記再構成画像を生成する
   ことを特徴とする画像処理方法。
9. コンピュータに、請求項８に記載の画像処理方法を実行させることを特徴とするプログラム。
10. コンピュータに、請求項８に記載の画像処理方法を実行させることを特徴とするプログラムを記憶した記憶媒体。

Images