JP2016001853A - 画像処理装置、撮像装置、制御方法及びプログラム - Google Patents

Abstract

【課題】所望のピント状態の再構成画像を容易に生成する。
【解決手段】画像処理装置は、複数の視点に係る画像群を有するデータを取得したデータに基づいて、複数の視点に係る画像群に対応する撮影範囲の被写体の深度分布を示す画像を生成して表示する。そして該深度分布を示す画像に対する、深度の範囲を選択する入力を受け付けると、画像処理装置は入力により示される深度の範囲の被写体に合焦させた再構成画像を複数の視点に係る画像群を有するデータから生成する。
【選択図】図１

Description

本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関し、特に複数の視点から特定のピント状態の画像を生成する技術に関する。

デジタルカメラ等の撮像装置の中には、撮影時に光の強度分布と進行方向の情報（光線空間情報）を記録するものがある。特許文献１には、マイクロレンズアレイを用いて撮像レンズの異なる分割瞳領域を通過した光束を撮像素子の各画素（光電変換素子）に結像させることで、様々な方向から入射した光を分離して光線空間情報を記録することが開示されている。また特許文献２には、このようにして得られた光線空間情報から所望の被写体にピントを合わせた画像（再構成画像）を対話的に生成する方法（Light Field Photography）が開示されている。具体的には特許文献２には、ポインティングデバイスにより指示された箇所の被写体にピントを合わせた再構成画像を生成し、提示するシステムが開示されている。

特開２００７−４４７１号公報 米国特許公開第２００８／０１３１０１９号公報

しかしながら、特許文献２の対話型画像提示システムは、再構成画像を生成する際にピントを合わせる被写体を設定することは可能であるものの、生成される再構成画像においてピントを合わせる被写体距離の範囲を設定するものではなかった。つまり、該システムではユーザはピントを合わせたい被写体を選択することはできるものの、生成される再構成画像を所望の被写界深度を有する画像に設定することができない可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、所望のピント状態の再構成画像を容易に生成可能な画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、複数の視点に係る画像群を有するデータを取得する取得手段と、取得手段により取得されたデータに基づいて、複数の視点に係る画像群に対応する撮影範囲の被写体の深度分布を示す画像を生成して表示する第１の表示手段と、深度分布を示す画像に対する、深度の範囲を選択する入力を受け付ける入力手段と、入力により示される深度の範囲の被写体に合焦させた再構成画像をデータから生成する生成手段と、を有することを特徴とする。

このような構成により本発明によれば、所望のピント状態の再構成画像を容易に生成することが可能となる。

本発明の実施形態に係るカメラシステムの構成を示した図 本発明の実施形態に係る撮像部１０２の構成を説明するための図 再構成原理を説明するための図 本発明の実施形態に係るカメラシステムで実行される再構成処理を例示したフローチャート 本発明の実施形態及び変形例に係る表示部１０５の表示態様を説明するための図 本発明の実施形態及び変形例に係る表示部１０５の表示態様を説明するための別の図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、複数の視点に係る画像群を有するデータ（光線空間情報データ）から所定の被写体に合焦させた再構成画像を生成可能なカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、複数の視点に係る画像群を有するデータから所定の被写体に合焦させた再構成画像を生成することが可能な任意の機器に適用可能である。また、本明細書において「再構成画像」とは、合焦させる被写体距離が設定された際に、複数の視点に係る画像群のうちの１以上の画像の対応する画素を画素値加算処理等の所定の画像処理（再構成処理）を適用することで各画素を構成することで得られる画像である。

《カメラシステムの構成》
図１は、カメラ本体１００及びレンズ鏡筒２００で構成される、本発明の実施形態に係るカメラシステムの構成を示している。図１（ａ）は、カメラシステムをレンズ鏡筒２００が有する撮像光学系２０３の光軸を通る断面により、各部材の配置構成を示した断面図である。また図１（ｂ）は、カメラ本体１００及びレンズ鏡筒２００の機能構成を示したブロック図である。図１（ｂ）に示されるように、カメラ本体１００とレンズ鏡筒２００とは電気接点１１により電気的に接続され、カメラ制御部１０１とレンズ制御部２０１が相互に通信可能に構成される。

カメラ制御部１０１は、例えばＣＰＵやマイクロプロセッサ等の制御装置であり、カメラ本体１００が有する各ブロックを制御する。カメラ制御部１０１は、不図示の不揮発性メモリを有して構成され、該不揮発性メモリに記憶された各ブロックの動作プログラムを読み出し、例えばメモリ１０４等の展開領域に展開して実行することにより各ブロックの動作を制御する。またカメラ制御部１０１は、レンズ鏡筒２００の各ブロックの動作を制御させるための信号を、電気接点１１を介してレンズ制御部２０１に送信する。

撮像部１０２は、光軸と直交する面に２次元に配置された光電変換素子群を有する、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を有する。撮像部１０２は、撮像光学系２０３により撮像素子の結像面に結像された光学像を光電変換し、撮影範囲の被写体に係る撮像画像信号（アナログ画像信号）を画像処理部１０３に出力する。

〈撮像部１０２の構成〉
ここで、本実施形態の撮像部１０２の構造について、図２を用いて説明する。

本実施形態のカメラ本体１００では、複数の視点に係る画像群を同時に取得するために、図２（ａ）のように撮像部１０２の撮像光学系２０３の結像面近傍の光軸と直交する面に複数のマイクロレンズを２次元配置したマイクロレンズアレイ（ＭＬＡ）２１０が設けられる。図２（ａ）では、撮像素子２１１の結像面の水平方向にｘ軸、垂直方向にｙ軸を、そして右手系となるように光軸方向にｚ軸を定義しており、ｚ軸負の方向、ｘ軸の負の方向に見たＭＬＡ２１０が示されている。

ＭＬＡ２１０の各マイクロレンズ２２１は、図２（ｂ）に示されるように予め定められた数の撮像素子２１１の光電変換素子（図では２５の光電変換素子）に割り当てられており、入射した光束を割り当てられた光電変換素子の範囲に展開して結像する。これにより、該マイクロレンズ２２１に入射した光束は、複数の光電変換素子によって分割して記録されることになる。例えば図２（ｂ）のマイクロレンズ２２１ａと該マイクロレンズに割り当てられた光電変換素子のうちの水平方向に並んだ光電変換素子２２２ａ乃至ｅに着目すると、該光電変換素子が受光する光束と撮像光学系２０３の入射光束とは図２（ｃ）のような関係になる。図２（ｃ）に示されるように、撮像光学系２０３の射出瞳２３０を通過してマイクロレンズ２２１ａに入射する光束は共役関係にある光電変換素子２２２ａ乃至ｅに展開されてそれぞれ結像される。このため、各光電変換素子は射出瞳２３０のそれぞれ異なる瞳領域２３１の光束を受光することになる。なお、図２（ｃ）では、瞳領域２３１に付したａ〜ｅは、光電変換素子２２２に付した文字と対応付けられており、各瞳領域を通過した光束がいずれの光電変換素子に受光されるかを示している。

従って、ＭＬＡ２１０を設けることで各マイクロレンズに割り当てられた光電変換素子群が各々異なる瞳領域を通過した光束を記録できるため、得られた撮像画像信号を通過した瞳領域ごとに分類すると、瞳分割数の異なる視点に係る画像群を得ることができる。なお、本実施形態では、光軸上にＭＬＡ２１０を設けて得られた撮像画像信号（光線空間情報）に対応するデータを複数の視点に係る画像群を有するデータであるものとして説明するが、該データの取得方法はこれに限られるものではない。即ち、複数の視点に係る画像群は、本実施形態のように瞳分割した光束を記録したものに限らず、多眼カメラのような複数の光学系を有する撮像装置あるいは複数の撮像装置により、同時あるいは間欠的に撮影されて得られたものであってもよい。あるいは、複数の視点に係る画像群は、１つの撮像光学系を有する撮像装置を、順次移動しながら撮影された複数の画像により構成されるものであってもよい。

画像処理部１０３は、撮像部１０２から入力された撮像画像信号に対して、Ａ／Ｄ変換、ホワイトバランス調整、ガンマ補正、補間演算等の各種画像処理を適用する。また画像処理部１０３は、入力された信号やメモリ１０４から読み出された光線空間情報データから、所定の被写体に合焦した再構成画像を生成する再構成処理（現像処理）を行う。画像処理部１０３は、それぞれの画像処理を実行する画像処理回路群として構成されてもよい。また本実施形態では画像処理部１０３は、光線空間情報データから生成可能な再構成画像について、各画素に対応する被写体距離の頻度マップ（ヒストグラム）を生成する処理を行う。被写体距離は、画像群により規定される撮影範囲に含まれる各被写体とカメラシステムとの距離に対応する。

メモリ１０４は、揮発性の記憶装置やメモリカードやＨＤＤ等の恒久的にデータを記録する記録媒体である。メモリ１０４は、カメラ本体１００が有する各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データの一時的な記憶領域としても用いられる。また本実施形態ではメモリ１０４は、画像処理部１０３により生成された再構成画像を記録する格納領域や、表示部１０５に表示させるための画像が一時的に格納される領域としても用いられる。

表示部１０５は、例えばＬＣＤ等のカメラ本体１００が有する表示媒体である。表示部１０５は、撮影が行われた際に得られた撮像画像信号から生成された再構成画像や、各種のメニュー画像等のＧＵＩ画像を表示する。

操作検出部１０６は、例えばレリーズボタンやメニューボタン等の操作部材を有するユーザインタフェースである。操作検出部１０６は、操作部材に対してなされた操作入力を検出し、なされた操作に対応する制御信号をカメラ制御部１０１に出力する。また本実施形態のカメラ本体１００が有する表示部１０５は、表示パネル表面になされたタッチ入力を検出可能に構成された所謂タッチパネルであり、操作検出部１０６は表示部１０５の表示領域中になされたタッチ操作も所定のセンサにより検出する。この場合も同様に、操作検出部１０６はなされたタッチ操作に対応する制御信号をカメラ制御部１０１に出力する。

一方、レンズ制御部２０１は、レンズ鏡筒２００が有する各ブロックの動作を制御する。上述したようにレンズ制御部２０１は電気接点１１を介してカメラ制御部１０１に接続されており、所定の演算によりカメラ制御部１０１が出力した制御信号に応じて、レンズ制御部２０１は各ブロックの動作を制御する。

撮像光学系２０３は、対物レンズ、焦点レンズ、ブレ補正レンズ、絞りなどを有して構成されており、撮像部１０２の撮像素子に被写体からの反射光束を結像する。撮像光学系２０３の焦点レンズ、ブレ補正レンズ、絞り等は所定の範囲で駆動可能に構成され、駆動部２０２により駆動される。例えば、カメラ制御部１０１が露光制御を行う場合は、撮像により得られた画像解析によりピント評価値や適切な露光量を得ることができるので、該情報に基づいて駆動部２０２は撮像光学系２０３の各光学部材を制御する。

具体的にはカメラ制御部１０１は、画像処理部１０３に撮像部１０２からの信号を元に適切な焦点位置、絞り位置を求めさせ、該情報を電気接点１１を介してレンズ制御部２０１に伝送し、レンズ制御部２０１に駆動部２０２を制御させる。さらにレンズ制御部２０１には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、レンズ制御部２０１が手ぶれ検出センサの信号を元に駆動部２０２に制御信号を送出し、ブレ補正レンズを適切に駆動させる。

《再構成原理》
次に、本実施形態のカメラシステムにおける撮影により得られた光線空間情報データ（複数の視点に係る画像群を有するデータ）から、所定の被写体距離に合焦させた再構成画像を生成可能であることについて、図３を用いて詳細を説明する。

図３（ａ）は、撮像光学系２０３の結像面近傍にＭＬＡ２１０が配置された例であり、図２において示した光学系と同様の構成を示している。また図３（ｂ）及び（ｃ）は、それぞれ撮像光学系２０３の結像面よりも被写体に近接した位置に、または撮像光学系２０３の結像面よりも被写体から遠離した位置に、ＭＬＡ２１０が配置された例を示している。

図３（ａ）乃至（ｃ）において、撮像光学系２０３の瞳平面が３０３で、所定の物体が存在する物体平面が３０２で、そして撮像光学系２０３のメインレンズの仮想結像面（物体との共役面）が３０１で示されている。図では、物体平面３０２上の２種類の位置に存在する物体（点）にそれぞれａまたはｂを付して識別しており、点３０４ａに係る反射光束を実線で、点３０４ｂに係る反射光束を一点鎖線で示している。

図３（ａ）の例では、撮像光学系２０３の結像面近傍にＭＬＡ２１０が配置されることにより、撮像素子２１１と撮像光学系２０３の瞳平面３０３とは共役の関係にある。さらに、物体平面３０２とＭＬＡ２１０も共役の関係にある。このため、物体平面３０２上の点３０４ａから出た光束はマイクロレンズ２２１ａに、点３０４ｂを出た光束はマイクロレンズ２２１ｂに収束する。即ち、物体平面３０２上の所定の位置の点から瞳領域２３１ａ乃至ｅの各々を通過して仮想結像面３０１に到達する光束は、該所定の位置と共役な位置に存在するマイクロレンズ下に設けられた対応する光電変換素子にそれぞれ結像される。

図３（ｂ）の例では、各マイクロレンズ２２１により撮像光学系２０３からの光束が結像される結像面に撮像素子２１１が配置されている。該配置により、物体平面３０２と撮像素子２１１とが共役の関係となる。このとき、物体平面３０２上の点３０４ａから出て瞳平面３０３上の瞳領域２３１ａを通過した光束はマイクロレンズ２２１ｃに到達し、点３０４ａから出て瞳領域２３１ｃを通過した光束はマイクロレンズ２２１ｄに到達する。また物体平面３０２上の点３０４ｂから出て瞳領域２３１ａを通過した光束はマイクロレンズ２２１ｄに到達し、点３０４ｂから出て瞳領域２３１ｃを通過した光束はマイクロレンズ２２１ｅに到達する。また各マイクロレンズを通過した光束は、図３（ａ）と同様にマイクロレンズ下に設けられた対応する光電変換素子にそれぞれ結像される。このように、物体平面３０２上の同一の点から出た光束であっても、瞳平面３０３上で通過する瞳領域によって、それぞれ異なるマイクロレンズに割り当てられた光電変換素子に結像することになる。しかし、このようにして得られた光線空間情報データは、受光した光束が仮想結像面３０１上における光電変換素子に係る配列になるように並べ替えを行うことで、図３（ａ）の配置構成と同様のデータに変換することが可能である。即ち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図３（ｃ）の例では、各マイクロレンズ２２１により撮像光学系２０３からの光束が再結像（一度結像してから拡散する状態となった光束を（再度）結像させる）される結像面に撮像素子２１１が配置されている。該配置により、物体平面３０２と撮像素子２１１とが共役の関係となる。このとき、物体平面３０２上の点３０４ａから出て瞳平面３０３上の瞳領域２３１ａを通過した光束はマイクロレンズ２２１ｇに到達し、点３０４ａから出て瞳領域２３１ｃを通過した光束はマイクロレンズ２２１ｆに到達する。また物体平面３０２上の点３０４ｂから出て瞳領域２３１ａを通過した光束はマイクロレンズ２２１ｉに到達し、点３０４ｂから出て瞳領域２３１ｃを通過した光束はマイクロレンズ２２１ｈに到達する。また各マイクロレンズを通過した光束は、図３（ａ）と同様にマイクロレンズ下に設けられた対応する光電変換素子にそれぞれ結像される。しかし、このようにして得られた光線空間情報データは、図３（ｂ）と同様に受光した光束が仮想結像面３０１上における光電変換素子に係る配列になるように並べ替えを行うことで、図３（ａ）の配置構成と同様のデータに変換することができる。即ち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

このように、物体平面３０２と共役の関係にない面にＭＬＡ２１０及び撮像素子２１１を配置して得られた光線空間情報データであっても、共役の関係にある仮想結像面３０１近傍にＭＬＡ２１０及び撮像素子２１１を配置した場合のデータを再構成できる。即ち、光線空間情報データを、各光電変換素子が記録した光束が通過した瞳領域等を考慮して並び替えて加算処理を行うことで、撮影時とは異なるピント状態の再構成画像を生成することができる。

なお、上述したように瞳分割を行って光束を記録しなくとも、光線空間情報データと等価な、複数の視点に係る画像群を有するデータは取得可能である。図３（ｄ）は、ＭＬＡ２１０を用いず、所謂多眼光学系を用いることにより同様のデータを取得する構成を示している。図においてメインレンズ３０５ａ乃至ｅは、多眼光学系の各々異なる視点位置に対応する光学系を示しており、図３（ａ）乃至（ｃ）における各瞳領域２３１に対応する。そして、各メインレンズ３０５は通過した光束をそれぞれ異なる撮像素子２１１に結像する。

また図３ではＭＬＡ（位相変調素子）により瞳分割を行い、複数の視点に係る画像群を有するデータを取得する例について説明したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば光線空間情報データは、例えば適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入することにより取得してもよい。またこの他、手振れや撮像装置全体の移動を利用した時分割撮影により、複数の視点に係る画像群を取得する方法が用いられてもよい。

《再構成処理》
次に、本実施形態のカメラシステムにおいて再構成画像の生成に係り実行される再構成処理について、図４のフローチャートを用いて具体的な処理を説明する。本再構成処理は、カメラ本体１００が閲覧モードに設定され、光線空間情報データが閲覧対象に選択された際に開始されるものとして説明する。

Ｓ４０１で、カメラ制御部１０１は、閲覧対象に選択された光線空間情報データ（対象ＬＦデータ）をメモリ１０４から読み出して画像処理部１０３に伝送し、初期設定の再構成面に対応する再構成画像を生成させる。本ステップで生成される再構成画像は、例えば対象ＬＦデータを撮影時に撮影範囲に存在していた被写体をユーザに視認可能ならしめるための画像として生成される。再構成画像は、特許文献１に示されるように再構成面が決定された後に、対象ＬＦデータに含まれる複数の視点に係る画像群の各々を該再構成面に応じた量だけずらして加算合成することにより生成される。初期設定の再構成面は、例えば撮影時の焦点距離の情報に基づいて設定されるものであってもよいし、ユーザにより任意に設定されるものであってもよい。例えば、全ての画像をずらさない（ずらす量が０）場合、撮影時のメインレンズのピント位置に存在する被写体に合焦させた再構成画像が生成される。なお、撮影範囲に存在していた被写体を視認可能ならしめるための画像は、撮影範囲に存在していた被写体を被写体距離に依らずに鮮鋭に表示させるため、対象ＬＦデータが有する複数の視点のうちのいずれかの視点に係る画像を使用してもよい。

Ｓ４０２で、カメラ制御部１０１は、対象ＬＦデータを撮影した際の撮影範囲に含まれる被写体の深度方向の分布を示すヒストグラム（距離ヒストグラム）に係る画像を画像処理部１０３に生成させる。本実施形態で生成する距離ヒストグラムは、被写体までの距離を画面上の複数の点で計測したものを距離と頻度を軸として度数分布で表示したものである。距離ヒストグラムは、例えば図５（ａ）に示されるように横軸（距離軸）に被写体までの距離を、縦軸（頻度軸）に対応する距離範囲の距離が計測された計測点の数を示している。計測は、例えば画像処理部１０３により対象ＬＦデータに含まれる２つの視点に係る画像を対象としてステレオマッチング等の原理を利用した、２つの画像間における計測点に対応する被写体の位相差を計測することにより行われてもよい。そして得られた位相差と、該２つの画像に係る視点の物理的な距離（瞳領域の中心距離）とから、三角測量の原理に基づいて計測点に対応する被写体までの被写体距離が得られる。画像処理部１０３は、このように複数の点について位相差検出方式により算出した対応する被写体の被写体距離をサンプリングし、所定の距離幅の条件でそれぞれを階級に分類し、距離ヒストグラムを生成する。なお、本実施形態のように位相差検出方式を用いて被写体距離を算出する際には、複数の視点に係る画像群が、被写体の移動がない条件下で撮影された画像群、あるいは同時撮影により得られた画像群であることが好ましいことは言うまでもない。

Ｓ４０３で、カメラ制御部１０１は、ユーザに再構成画像の生成条件を設定させるためのＧＵＩ画像を画像処理部１０３に生成させ、表示部１０５に表示させる。本実施形態のカメラシステムでは、対象ＬＦデータの閲覧時に再構成画像の生成条件を、ユーザが設定可能なように構成される。表示部１０５に表示される生成条件に係るＧＵＩ画像は図６（ａ）に示されるように、少なくともＳ４０１において生成した確認用再構成画像６０１と、Ｓ４０２において生成した距離ヒストグラムに係る画像６０２とを含んで構成される。

Ｓ４０４で、カメラ制御部１０１は、ユーザにより距離ヒストグラムに係る画像６０２に対する被写体距離の範囲を指定する入力がなされたか否かを判断する。本実施形態のカメラシステムでは、ユーザは生成条件設定用のＧＵＩ画像内の距離ヒストグラムに係る画像６０２においてタッチ操作によって被写体距離の範囲を指定することで、生成する再構成画像において合焦させる被写体距離の範囲を指定することができる。具体的には、例えば図６（ａ）に示されるように距離ヒストグラムに係る画像６０２上の１点をタッチすることで指定範囲の開始点６０３を設定することができる。そして、そのままタッチ状態を継続させながらタッチ点を異ならせることで、図６（ｂ）のように開始点６０３から現在のタッチ点で規定される範囲６０４を、合焦させる被写体距離の範囲「候補」（範囲が未確定の状態）とすることができる。このとき画像処理部１０３は、該範囲候補が識別可能となるように、生成条件設定用のＧＵＩ画像あるいは距離ヒストグラムに係る画像６０２をタッチ位置の変化に合わせて随時更新し、表示部１０５の表示を異ならせる。図６（ｂ）の例では範囲候補（範囲６０４）がグレーアウトされた状態となっており、ユーザに現在、再構成画像の生成条件に係る範囲候補を設定する状態であることが通知される。またさらに、範囲候補はタッチ操作がなされなくなった（タッチ位置が消失した）状態となった際に、該範囲候補が幅を持った状態（開始点とタッチ消失点が異なる水平座標）である場合に確定される。即ち、該確定に係るタッチ位置の消失が検出された際に、カメラ制御部１０１は被写体距離の範囲を指定する入力がなされたと判断する。カメラ制御部１０１は、被写体距離の範囲を指定する入力がなされたと判断した場合は処理をＳ４０５に移し、なされていないと判断した場合は本ステップの処理を繰り返す。このステップで選択された範囲の幅が被写界深度に、範囲の位置が再構成面の位置に対応している。詳細な処理については後述する。

Ｓ４０５で、カメラ制御部１０１は、確定した被写体距離の範囲の情報を取得し、該範囲の被写体に合焦させた再構成画像を画像処理部１０３に生成させる。

以下、本ステップにおける再構成画像の生成方法について詳細を説明する。上述したように、再構成画像は対象ＬＦデータに含まれる複数の視点に係る画像群を、合焦させたい被写体距離に対応する再構成面に基づく量ずらして加算合成することにより生成される。ここで、再構成面に基づく各視点に係る画像のずらし量は、再構成面が対応する被写体距離に存在する被写体の像が一致するように選択される。これは、再構成面は合焦させたい被写体距離の物体平面と共役の関係にあるように定められるため、図３（ａ）を用いて説明したように、該物体平面の任意の物体点から出た光束は、同一のマイクロレンズに収束することに起因する。即ち、複数の視点に係る画像群を再構成面に基づく量ずらして加算合成することで得られる再構成画像は、撮像光学系２０３の焦点レンズが該被写体距離に合焦するようピント調整された状態で撮影された画像群をずらし量ゼロで加算合成したものと等価である。故に、再構成画像の被写界深度は、該焦点レンズの焦点距離に基づいて予め定まる範囲となる。

一方で、本実施形態のカメラシステムのように距離ヒストグラムにおいて所望の距離範囲を、合焦させる範囲、即ち被写界深度の範囲としてユーザが設定した場合、該範囲が焦点距離に基づいて予め定まるものと異なる場合は、加算合成の処理を変更する必要がある。再構成画像において被写界深度の範囲に含まれる被写体とは、再構成面に対応する被写体距離に存在する被写体の像が一致するように加算合成された場合に、画像間で多少のずれはあるものの、略同一位置の画素に像が合成される被写体である。即ち、逆に言えば、被写界深度の範囲に含まれない被写体とは、再構成面に対応する被写体距離に存在する被写体の像が一致するように加算合成された場合に、少なくとも一部の視点に係る画像の像が、異なる位置の画素に合成される被写体である。また、再構成面に基づくずらし量でずらした場合、視点間距離（瞳中心距離）が大きいほど画像間で同一の像の位相差は大きくなる。従って、加算合成する際、ユーザにより設定された被写体距離の範囲に存在していた被写体の像のずれ量が大きくなる視点に係る画像を合成対象から除外すれば、生成する再構成画像の被写界深度を深くすることができる。これは、撮影時に絞りの開口量を制限した場合と同様の効果であり、本実施形態のカメラシステムの場合、通過した瞳領域の位置に応じて画像を加算合成するか否かを制御することで、絞りの開口量の制限を実現できる。換言すれば、距離ヒストグラムに係る画像６０２においてユーザが設定した合焦させる被写体距離の範囲が広い（被写界深度が深い）ほど、複数の視点に係る画像群のうちの加算合成に使用する画像数が少なくなるよう、カメラ制御部１０１は生成条件を制御する。また反対に、ユーザが設定した合焦させる被写体距離の範囲が狭い（被写界深度が浅い）ほど、複数の視点に係る画像群のうちの加算合成に使用する画素数が多くなるよう、カメラ制御部１０１は生成条件を制御する。またこの他、加算合成数を制御するのではなく、生成した再構成画像に対して、被写界深度を深くする場合は先鋭化処理、浅くする場合は平滑化処理を適用させてもよい。なお、再構成画像の生成の基準となる再構成面は、設定された被写体距離の範囲の中央値に対応して定められればよい。例えば、合焦させたい至近端および無限端を像面位置に換算してその中央を再構成面とすればよい。

また、加算合成数を制御する場合、画像の明るさが変動するため、生成される再構成画像の明るさ（ゲイン）に応じて、例えばIEC61966-2-1に規定されるγ補正を行ってもよい。具体的には、γの値（ゲイン）を大きくすることで画像が明るくなり、小さくすることでその逆の結果が得られるため、これを利用して画像の明るさの補償を行えばよい。

Ｓ４０６で、カメラ制御部１０１は、生成された再構成画像を距離ヒストグラムに係る画像６０２とともに表示部１０５に表示させ、本再構成処理を完了する。このように、本実施形態の再構成処理では、ユーザにより設定された合焦させる深度方向の範囲に基づいて、対象ＬＦデータが有する複数の視点に係る画像群のうちの加算合成に用いる画像の数や再構成面の位置を決定し、再構成画像の生成が行われる。

以上説明したように、本実施形態の画像処理装置は、所望のピント状態の再構成画像を容易に生成することができる。具体的には画像処理装置は、複数の視点に係る画像群を有するデータを取得したデータに基づいて、複数の視点に係る画像群に対応する撮影範囲の被写体の深度分布を示す画像を生成して表示する。そして該深度分布を示す画像に対する、深度の範囲を選択する入力を受け付けると、画像処理装置は入力により示される深度の範囲の被写体に合焦させた再構成画像を複数の視点に係る画像群を有するデータから生成する。

［変形例］
上述した実施形態では、距離ヒストグラムに係る画像を用いてユーザに深度の範囲を設定させることで、該範囲の被写体に合焦させた再構成画像が生成される態様について説明したが、距離ヒストグラムは生成条件の設定だけでなく利用可能である。

例えば、上述した実施形態のようなカメラシステムに通常設けられる表示部１０５は、通常、４〜５インチ程度の小型の表示装置であるが、生成された再構成画像をこのような表示部１０５に表示させる場合、ユーザはピントが合っている像を把握しにくかった。即ち、表示装置が小型である故に分解能が低く、多少ピントがずれた像もピントが合っているものと誤認されやすい。またさらに、再構成画像の全体においてピントが合っている像の割合がどれくらいにあたるかを把握することも困難であり、ユーザが所望するピント状態の再構成画像が生成されない可能性がある。従って、本変形例では、ユーザに生成された再構成画像のピント状態を判断可能せしめるために距離ヒストグラムに係る画像を用いる態様について説明する。

本変形例の上述の実施形態の再構成処理で生成された再構成画像を距離ヒストグラムに係る画像６０２とともに表示部１０５に表示する。このとき、画像処理部１０３は、再構成画像の生成に係り距離ヒストグラムに係る画像６０２に対してなされた被写体距離の範囲を指定する入力に基づいて、図６（ｃ）に示されるように該範囲に含まれる被写体の像を他の像と識別可能な表示態様にして表示する。

具体的には画像処理部１０３は、再構成画像の各画素について、対応する光線空間情報データから被写体距離を求めて距離ヒストグラムの分解能（階級数）に合わせた深度分解能を有するデプスマップを生成する。デプスマップは、例えば図５（ｂ）のようであってよく、深度値が高い（被写体距離が長い）ほどトーンが薄く、深度値が低い（被写体距離が短い）ほどトーンが濃く示された画像であってよい。図５（ｂ）の例では、簡単の距離ヒストグラムの分解能が４段階で示された例に対応しているが、これに限られるものでないことは理解されよう。

画像処理部１０３は、被写体距離の範囲を指定する入力がなされると、デプスマップを参照し、深度値に対応する被写体距離が該範囲に含まれる画素位置を特定する。そして画像処理部１０３は、生成した再構成画像の特定した画素位置の画素の表示態様を異ならせる処理を行い、あるいは該画素位置の画素に重畳するための表示態様が異なる画像を生成し再構成画像に重畳し、表示部１０５に表示する。例えば、デプスマップの領域５０１に対応する範囲が指定された場合は図５（ｃ）のような再構成画像が、領域５０２に対応する範囲が指定された場合は図５（ｄ）のような再構成画像が表示される。またデプスマップの領域５０１及び５０２に対応する範囲が指定された場合は図５（ｅ）にのような再構成画像が表示される。このようにすることで、指定した被写体距離の範囲に含まれる被写体がいずれであるか、及び再構成画像内のいずれの被写体にピントが合っているかをユーザが容易に把握可能な画像を提示することができる。また距離ヒストグラムに係る画像６０２において指定された被写体距離の範囲と、該範囲に含まれる画素の数（頻度）が明示されているため、生成した再構成画像においてどれくらいの割合の画素がピントが合った状態であるかをユーザは把握することができる。

なお、図６（ｃ）の例では、指定された被写体距離の範囲に含まれる、ピントが合っている被写体の像が一色に塗りつぶされた状態で示されているが、範囲内の像と範囲外の像とを識別可能にする表示態様はこれに限られるものではない。ピントが合っている被写体を識別可能にする表示態様は、全体または特定の色相の反転や、像の明滅、特定色への置き換え、境界線の表示等、像の少なくとも一部の色味を変更するものであってもよい。またこの他、例えば図５（ｆ）に示されるように再構成画像の部分領域の各々に測距枠５１１を重畳表示し、該測距枠のうち、指定された被写体距離の範囲に含まれる距離を有する枠５１２の表示態様を異ならせることにより識別可能にしてもよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：カメラ本体、１０１：カメラ制御部、１０２：撮像部、１０３：画像処理部、１０４：メモリ、１０５：表示部、１０６：操作検出部、２００：レンズ鏡筒、２０１：レンズ制御部、２０２：駆動部、２０３：撮像光学系、２１０：マイクロレンズアレイ（ＭＬＡ）、２１１：撮像素子、２２１：マイクロレンズ、２２２：光電変換素子、２３０：射出瞳、２３１：瞳領域

Claims (13)

1. 複数の視点に係る画像群を有するデータを取得する取得手段と、
   前記取得手段により取得された前記データに基づいて、前記複数の視点に係る画像群に対応する撮影範囲の被写体の深度分布を示す画像を生成して表示媒体に表示する第１の表示手段と、
   前記深度分布を示す画像に対する、深度の範囲を選択する入力を受け付ける入力手段と、
   前記入力により示される深度の範囲の被写体に合焦させた再構成画像を前記データから生成する生成手段と、を有する
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記入力により示される深度の範囲の情報に基づいて、前記複数の視点に係る画像群のうちの前記再構成画像の各画素の生成に用いる画像の数及び前記再構成画像の基準となる被写体距離を制御する制御手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記入力により示される深度の範囲の広さに応じて、前記再構成画像の各画素の生成に用いる画像の数を変更することを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、前記入力により示される深度の範囲の広さに応じて、前記再構成画像の各画素に適用するゲインを変更することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記生成手段は、前記再構成画像のうちの前記入力により示される深度の範囲の被写体に対応する画素を、前記入力により示される深度の範囲外の被写体に対応する画素と識別可能に構成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記生成手段は、前記入力により示される深度の範囲の被写体に対応する画素と前記入力に示される深度の範囲外の被写体に対応する画素の色味を異ならせることを特徴とする請求項５に記載の画像処理装置。
7. 前記第１の表示手段は、前記入力により示される深度の範囲の情報に基づいて、前記深度分布を示す画像の対応する深度を識別可能に表示することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記再構成画像を表示する第２の表示手段をさらに有し、
   前記第１の表示手段及び前記第２の表示手段の各々は、同一の表示媒体に前記深度分布を示す画像または前記再構成画像を表示する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記第２の表示手段は、前記再構成画像の複数の領域の各々について、該領域に対応する深度が前記入力により示される深度の範囲に含まれるか否かを示す画像を重畳することを特徴とする請求項８に記載の画像処理装置。
10. 前記深度分布を示す画像は、前記再構成画像の領域に対応する被写体距離を所定の条件で分類したヒストグラムであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 請求項１乃至１０のいずれか１項に記載の画像処理装置を有する撮像装置。
12. 取得手段が、複数の視点に係る画像群を有するデータを取得する取得工程と、
    第１の表示手段が、前記取得工程において取得された前記データに基づいて、前記複数の視点に係る画像群に対応する撮影範囲の被写体の深度分布を示す画像を生成して表示する第１の表示工程と、
    入力手段が、前記深度分布を示す画像に対する、深度の範囲を選択する入力を受け付ける入力工程と、
    生成手段が、前記入力により示される深度の範囲の被写体に合焦させた再構成画像を前記データから生成する生成工程と、を有する
    ことを特徴とする画像処理装置の制御方法。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。