JP2015002476A - 撮像処理装置 - Google Patents

Abstract

【課題】ライトフィールドカメラによって撮影されたライトフィールドデータから、良好な構図の画像を容易に復元可能にする。
【解決手段】画像生成部１０１は取得されたライトフィールドデータから、仮想視点位置および仮想焦点面位置を表す条件情報に従って、画像を生成する。構図評価部１１０は画像生成部１０１によって生成された画像の構図を評価する。構図制御部１０４は画像生成部１０１に条件情報を与え、構図評価部１１０から構図評価値を受け、構図が最適になると推定される条件を探索する。構図制御部１０４で決定された条件に従って生成された画像が、出力部１０５から出力される。
【選択図】図１

Description

本発明は、ライトフィールドカメラによって撮影されたライトフィールドデータから画像を復元する撮像処理装置に関するものである。

従来のライトフィールドカメラとして、メインレンズと撮像素子との間に、異なる焦点を持つマイクロレンズからなるマイクロレンズアレイを配置したものがある。このライトフィールドカメラは、位置と方向に関して４次元的にライトフィールドを記録することができる（例えば、特許文献１および非特許文献１参照）。

特許第４７５２０３１号公報

Aaron Isaksen, Leonard McMillan, Steven J. Gortler, "Dynamically Reparameterized Light Fields", SIGGRAPH ’00 Proceedings of the 27th annual conference on Computer graphics and interactive techniques, pp.297-306, 2000

上述したライトフィールドカメラに関しては、仮想的な視点位置および焦点面位置を定めると、撮影されたライトフィールドデータから、焦点面の各画素を通る光を計算することができ、これにより画像を復元することができる。すなわち、撮影した後であっても、生成される画像の条件を調整することが可能である。

しかしながら、ライトフィールドデータを例えばスマートフォンのような機器で利用することを想定すると、画像を復元するとき、生成する画像の条件をその都度調整することは、ユーザにとってわずらわしい作業となる。すなわち、撮影後に画像の条件を調整できることが、かえってユーザの利便性を損なうことになりかねない。

前記の問題に鑑み、本発明は、ライトフィールドデータを処理する撮像処理装置において、ユーザの利便性を損なうことなく、適切な画像を復元可能にすることを目的とする。

本発明の一態様では、撮像処理装置は、ライトフィールドカメラによって撮影されたライトフィールドデータを取得する取得部と、仮想視点位置および仮想焦点面位置を表す条件情報を受け、取得部によって取得されたライトフィールドデータから、与えられた条件情報に従って、画像を生成する画像生成部と、画像生成部によって生成された画像を出力するように構成された出力部と、画像生成部によって生成された画像の構図を評価し、評価結果を示す構図評価値を出力する構図評価部と、画像生成部に条件情報を与え、構図評価部から構図評価値を受け、構図が最適になると推定される仮想視点位置および仮想焦点面位置を探索する構図制御部とを備え、出力部は、構図制御部の探索によって決定された視点位置および仮想焦点面位置に従って画像生成部によって生成された画像を、出力する。

この態様によると、画像生成部は、取得部によって取得されたライトフィールドデータから、与えられた仮想視点位置および仮想焦点面位置を表す条件情報に従って画像を生成し、構図評価部は、画像生成部によって生成された画像の構図を評価する。構図制御部は、画像生成部に条件情報を与え、構図評価部から構図評価値を受け、構図が最適になると推定される視点位置および仮想焦点面位置を探索する。そして、探索によって決定された仮想視点位置および仮想焦点面位置に従って画像生成部によって生成された画像が、出力部から出力される。これにより、ライトフィールドデータから、構図が最適と推定される画像が、自動的に復元される。

本発明によると、ライトフィールドカメラによって撮影されたライトフィールドデータから、構図が最適と推定される画像を、自動的に復元することができる。

実施の形態１に係る撮像処理装置の構成図 （ａ），（ｂ）は構図評価の基準となる画面分割の例 （ａ），（ｂ）は構図評価の基準となる画面分割の例 図１の撮像処理装置の動作例を示すフローチャート 構図スコアを最良にする水平視点位置の決め方を説明する図 構図スコアを最良にする水平、垂直視点位置の決め方を説明する図 実施の形態２に係る撮像処理装置の構成図 ライトフィールドデータからの画像生成における仮想瞳の説明図 ピント合わせのためのユーザインタフェースの一例 復元画像の条件を調整可能な端末を含むシステム構成の例 復元画像の条件を調整可能な端末を含むシステム構成の例 実施の形態３に係る撮像処理装置の構成図 実施の形態３におけるユーザ選択入力の一例 実施の形態３におけるユーザ選択入力の一例

本発明の第１態様では、撮像処理装置は、ライトフィールドカメラによって撮影されたライトフィールドデータを取得する取得部と、仮想視点位置および仮想焦点面位置を表す条件情報を受け、前記取得部によって取得されたライトフィールドデータから、与えられた前記条件情報に従って、画像を生成する画像生成部と、前記画像生成部によって生成された画像を出力するように構成された出力部と、前記画像生成部によって生成された画像の構図を評価し、評価結果を示す構図評価値を出力する構図評価部と、前記画像生成部に前記条件情報を与え、前記構図評価部から前記構図評価値を受け、構図が最適になると推定される仮想視点位置および仮想焦点面位置を探索する構図制御部とを備え、前記出力部は、前記構図制御部の探索によって決定された仮想視点位置および仮想焦点面位置に従って前記画像生成部によって生成された画像を、出力する。

本発明の第２態様では、第１態様の撮像処理装置は、ユーザ入力に従って、被写界深度を設定可能に構成された合焦範囲設定部を備え、前記構図制御部は、前記合焦範囲設定部に設定された被写界深度を表す被写界深度情報を、前記条件情報とともに、前記画像生成部に与える。

本発明の第３態様では、第２態様の撮像処理装置において、前記合焦範囲設定部は、被写界深度に加えて、ピント位置を設定可能に構成されており、前記出力部は、ピント位置および被写界深度が異なる複数の画像を、画面に提示する。

本発明の第４態様では、第３態様の撮像処理装置において、前記構図制御部は、前記合焦範囲設定部に過去に設定されたピント位置および被写界深度の履歴に従って、仮想焦点面位置および被写界深度を定める。

本発明の第５態様では、第１態様の撮像処理装置において、前記構図評価部は、前記画像に対して、エッジ検出、顔検出、目検出、顔向き検出、および人物検出のうち少なくともいずれか１つを実行し、その検出結果を基にして、構図を評価する。

本発明の第６態様では、第１態様の撮像処理装置において、前記出力部は、仮想視点位置または仮想焦点面位置が異なる複数の画像を、画面に提示するものであり、ライトフィールドカメラとは異なる種類のカメラと、前記出力部に提示された複数の画像に対して、ユーザの選択入力を受けるユーザ選択入力部と、前記ユーザ選択入力部で選択された画像の仮想視点位置または仮想焦点面位置を用いて、前記カメラによる撮影条件を決定する撮影条件決定部とを備えたものである。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は実施の形態１に係る撮像処理装置の構成を示すブロック図である。図１の撮像処理装置は、取得部１００、画像生成部１０１、構図評価部１１０、構図制御部１０４、および出力部１０５を備えている。

取得部１００は、ライトフィールドカメラによって撮影されたライトフィールドデータを取得する。画像生成部１０１は、仮想視点位置（以下、適宜、単に視点位置という）および仮想焦点面位置を表す条件情報を受け、取得部１００によって取得されたライトフィールドデータから、与えられた条件情報に従って画像を生成する。ここでの画像生成は、公知の技術によって実現される。なお、本実施形態および以降の実施形態では、仮想焦点面位置を表す情報として、フォーカルプレーン奥行き（仮想視点から仮想焦点面までの距離に相当）を用いるものとする。視点位置およびフォーカルプレーン奥行きを表す条件情報は、後述する構図制御部１０４から与えられる。

構図評価部１１０は、画像生成部１０１によって生成された画像の構図を評価し、この評価結果を示す構図評価値を出力する。構図評価部１１０は、画像の各種の特徴を検出する特徴検出部１０２と、検出された特徴を基にして画像の構図を評価する評価部１０３とを備えている。構図評価部１１０の詳細については後述する。

構図制御部１０４は、視点位置とフォーカルプレーン奥行きを表す条件情報を画像生成部１０１に与え、構図評価部１１０から構図評価値を受ける。そして、構図が最適になると推定される視点位置およびフォーカルプレーン奥行きを探索する。出力部１０５は、画像生成部１０１によって生成された画像を出力するように構成されており、構図制御部１０４の探索によって決定された視点位置およびフォーカルプレーン奥行きに従って画像生成部１０１によって生成された画像を、出力する。

構図評価部１１０の詳細について説明する。特徴検出部１０２は、画像の特徴を検出するためのモジュールを備えており、図１の例では、エッジ検出部１０２ａ、顔検出部１０２ｂ、目検出部１０３ｃ、顔向き検出部１０２ｄ、人物検出部１０２ｅ、および一般画像認識部１０２ｆを備えている。エッジ検出部１０２ａは、画像中の水平エッジ、垂直エッジ、および斜めエッジを検出する。顔検出部１０２ｂは、画像中の顔の有無を検出し、顔があるときは、画像内における顔の位置も併せて検出する。目検出部１０２ｃは、画像中の目の有無を検出し、目があるときは、画像内における目の位置も併せて検出する。顔向き検出部１０２ｄは、顔が検出されたとき、その向きを検出する。人物検出部１０２ｅは、画像中の人物の有無を検出し、人物がいるときは、画像内における人物の位置も併せて検出する。一般画像認識部１０２ｆは、画像中に種々の生物（犬、猫、馬、牛等）、物体（空、雲、車、机、椅子、テーブル等）が含まれるか否かを検出し、これらが検出された場合には、画像内におけるその位置も併せて検出する。

なお、特徴検出部１０２が備えるモジュールの種類や数は、ここで示したものに限られるものではない。また、備えられたモジュールを全て動作させる必要は必ずしもなく、例えば画像の撮影条件や内容等に応じて、動作させるモジュールを適宜選択してもかまわない。

評価部１０３は、特徴検出部１０２の各モジュールによる検出結果を基にして、画像の構図を評価し、この評価結果を示す構図評価値を出力する。ここでは、構図評価値として、構図が良いほど高い値になる構図スコアを用いるものとする。

例えば、エッジ検出部１０２ａによる検出結果については、次のように評価すればよい。水平線や地平線等の水平エッジや建物の輪郭等の垂直エッジは、構図の観点から、図２（ａ），（ｂ）に示すように、画面を１：２、または、黄金分割比として知られる１：１．６１８の比率で分割する位置に配置すると、見た目が安定することが知られている。このため、水平エッジや垂直エッジが、図２（ａ），（ｂ）に破線で示した位置に近いときは高い構図スコアを与え、逆に、破線から離れているときは低い構図スコアを与える。このようにして、水平および垂直エッジに着目した構図評価を行うことができる。

また、斜めのエッジに関しては、図３（ａ），（ｂ）に示すように、画面の対角線の位置に配置すると、構図として好ましいことが知られている。このため、水平および垂直エッジの場合と同様に、斜めエッジが、図３（ａ），（ｂ）の破線に近い位置で検出されたときは高い構図スコアを与え、逆に、破線から離れているときは低い構図スコアを与える。このようにして、斜めエッジに着目した構図評価を行うことができる。

顔検出部１０２ｂによる検出結果についても、水平および垂直エッジと同様に、顔の検出位置に基づいて評価することができる。すなわち、顔の検出位置について、図２（ａ），（ｂ）に破線で示した画面分割線からの距離に応じた構図スコアを与えることにより、構図評価を行うことができる。

また、目検出部１０２ｃによる検出結果については、次のように評価すればよい。人物および動物の撮影においては、目にピントを合わせることが基本になっている。このため、目の検出位置におけるコントラスト値（例えば、画素値の勾配値の絶対値やその二乗の値）を、構図スコアとして用いることができる。

また、顔向き検出部１０２ｄによる検出結果については、次のように評価すればよい。顔向きについては、正面、または画像中の広い空間側を向いている場合は構図として安定し、逆に、画像中の狭い空間側（外側）を向いている場合には構図として安定せず、不自然な構図になることが知られている。そのため、構図スコアとして、前者の場合には高い値を与え、後者の場合には低い値を与えることにより、顔の向きに着目した構図評価を行うことができる。

一般画像認識部１０２ｆによる検出結果についても、水平および垂直エッジや顔位置と同様に、検出された生物や物体の位置に応じて構図を評価することができる。

評価部１０３は、上で説明したような各モジュールの検出結果に基づく構図スコアを用いて、画像の構図を総合的に評価し、最終的な構図スコアを出力する。例えば、各モジュールの検出結果に基づく構図スコアを単純に合計することによって、最終的な構図スコアを求めてもよいし、個々の構図スコアに重み付けして加算するようにしてもよい。このときの重み付けを、例えば画像の撮影条件や内容等に応じて、適宜設定するようにしてもかまわない。

図４は図１の撮像処理装置が構図評価を行う場合の動作例を示すフローチャートである。まず、構図制御部１０４が、ライトフィールドデータから画像を生成するための条件である視点位置およびフォーカルプレーン奥行きを表す条件情報を、画像生成部１０１に与える（Ｓ１１）。画像生成部１０１は、与えられた条件に従って、ライトフィールドデータから画像を生成する（Ｓ１２）。構図評価部１１０は、画像生成部１０１によって生成された画像の構図を評価し、構図スコアＡｉを構図制御部１０４に出力する（Ｓ１３）。これらの処理を、所定の複数の条件について実行する（Ｓ１４）。なお、ここでの所定の複数の条件は、例えば、ライトフィールドデータから視点位置およびフォーカルプレーン奥行きの取り得る範囲を把握して、その範囲を例えば等分することによって、定めればよい。

その後、構図制御部１０４は、所定の複数の条件についてそれぞれ求まった構図スコアＡｉに基づいて、最適構図を与える条件、すなわち視点位置およびフォーカルプレーン奥行きを推定する（Ｓ１５）。このときの探索方法としては、例えば、所定の複数の条件における構図スコアＡｉに２次曲面を当てはめて、この２次曲面の形状から、最高値をとる条件を推定するようにすればよい。

図５は簡単のために、制御パラメータを１変数とした場合の例として、水平視点位置を変化させたときの構図スコアをプロットしたグラフである。図５中、３点の白丸は、水平視点位置を左端、中央、右端にそれぞれ設定した場合の構図スコアを示す（ここでは、垂直視点位置等、他のパラメータについては固定して考える）。この３点に２次曲線を当てはめることにより、最良の構図スコアを与える水平視点位置（白三角）を推定できる。すなわち、水平視点位置の範囲内に２次曲線の頂点が存在する場合は、この頂点に対応する水平視点位置が最良構図を与えるものと考えられる。なお、水平視点位置の範囲内に２次曲線の頂点が存在しない場合は、水平視点位置の左端もしくは右端のうちより高い構図スコアを与える方が、最良構図を与えるものと考えられる。

実際には制御パラメータが複数になるが、その場合についても同様にして、最良の構図スコアを与える制御パラメータを推定することができる。図６は、制御パラメータが2変数の場合の例を示す。図６において、９点の白丸は水平視点位置を左端、中央、右端に、垂直視点位置を手前、中央、奥に、それぞれ設定した場合の構図スコアを示す（ここでは、フォーカルプレーン奥行き等の他のパラメータについては固定して考える）。この９点に２次曲面を当てはめることにより、最良の構図スコアを与える水平および垂直の視点位置（白三角）を推定できる。

なお、２次曲面の当てはめは、例えば、各点に対して単一の２次曲面を最小二乗フィッティングしたり、各点を通る複数の2次曲面（スプライン曲面）を当てはめたり、あるいは、構図スコアの高いいくつかの点に対して単一の２次曲面を当てはめるようにしてもよい。

構図制御部１０４は、最適構図を与える条件を推定した後、その条件を画像生成部１０１に与える。画像生成部１０１は、与えられた条件に従って画像を生成する（Ｓ１６）。構図評価部１１０は、画像生成部１０１によって生成された画像の構図を評価し、構図スコアＢを構図制御部１０４に出力する（Ｓ１７）。構図制御部１０４は、所定の複数の条件による構図スコアＡｉの最高値と、最適構図を与えると推定した条件による構図スコアＢとを比較する（Ｓ１８）。そして、構図スコアＢの方が高いときは（Ｓ１８でＹＥＳ）、最適構図を与えると推定した条件で生成された画像を、出力部１０５から出力させる。一方、構図スコアＡｉの最高値の方が高いときは（Ｓ１８でＮＯ）、その最高値を得た画像を、出力部１０５から出力させる。

なお、構図評価を行う動作は、図４に示したものに限られるものではなく、構図が最適になると推定される仮想視点位置および仮想焦点面位置を探索し、決定することが可能であれば、どのようなものであってもよい。

このように本実施形態によると、ライトフィールドデータから、仮想視点位置および仮想焦点面位置を表す条件情報に従って画像が生成され、生成された画像の構図が評価される。そして、構図が最適になると推定される条件が決定され、決定された条件に従って生成された画像が出力される。したがって、ライトフィールドデータから、適切な仮想視点位置および仮想焦点面位置を自動的に決定して、画像を復元する撮像処理装置を実現することができる。

（実施の形態２）
実施の形態１では、ライトフィールドデータから画像を復元するための条件として、仮想視点位置と仮想焦点面位置とを決定する例について説明した。これに加えて、被写界深度についても制御するようにしてもよい。

図７は実施の形態２に係る撮像処理装置の構成を示すブロック図である。図７において、図１と共通の構成要素については同じ符号を用い、詳細な説明を省略する。図７の構成では、実施の形態１で説明した各構成要素に加えて、合焦範囲設定部２０１が設けられている。合焦範囲設定部２０１は、ユーザ入力に従って、被写界深度を設定可能に構成されている。構図制御部２０２は、合焦範囲設定部２０１に設定された被写界深度を表す被写界深度情報を、視点位置およびフォーカルプレーン奥行きを表す条件情報とともに、画像生成部１０１に与える。ここでは、被写界深度情報として、仮想瞳径の情報を与えるものとする。構図制御部２０２のその他の機能は、図１の構図制御部１０４と同様である。

被写界深度の調整について、図８を用いて説明する。図８において、８０１はライトフィールドデータ撮影時のレンズアレイ面であり、レンズアレイ面上の白丸が光線サンプリング位置（すなわち、レンズアレイを構成する各マイクロレンズの中心位置）である。８０２は画像を生成する仮想視点の位置、８０３はフォーカルプレーンである。フォーカルプレーン上の点８０４での画素値は、ライトフィールドデータ内で点８０４を通過する光線の強度の合計によって復元できる。このとき、光強度の合計を計算する範囲を変更することによって、仮想的にＦ値を変更することができる。

すなわち、図８において、実線の３本の光線のみを用いる場合は、大きなＦ値（すなわち絞りを閉じた状態）で撮影される画像を復元できる。一方、実線の３本の光線に加えて、破線の２本の光線を加えたり、さらに、２点鎖線の２本の光線を加えてフォーカルプレーン上の点８０４での光強度を計算することにより、上記の場合と較べて小さなＦ値（すなわち絞りを開けた状態）で撮影される画像を復元できる。ピントの合う範囲（合焦範囲）は、大きなＦ値では広くなり、逆に、小さなＦ値では狭くなる。

したがって、光線が通過する仮想瞳の大きさを調整することによって、画像の被写界深度を調整することができる。なお、被写界深度の調整は、ここで示したものに限られるものではない。例えば、仮想瞳の大きさは固定したままで、フォーカルプレーンを複数設定し、画像中の各領域について、各フォーカルプレーンでの画素値を計算し合焦判定を行う。そして、各領域について最も合焦している画素値を選択することにより、合焦範囲を拡げることができる。したがって、複数のフォーカルプレーンの奥行きの範囲を調整することによって、被写界深度を調整することができる。すなわち、被写界深度情報として、フォーカルプレーンの個数や奥行きの範囲を与えてもよい。

なお、合焦範囲設定部２０１は、被写界深度に加えて、ピント位置を設定可能に構成されていてもよい。この場合、構図制御部２０２は、設定されたピント位置に応じて、フォーカルプレーン奥行きを定めればよい。

また、この場合、出力部１０５が、撮像処理装置の画面に、ピント位置および被写界深度が異なる複数の画像を提示するようにしてもよい。図９は提示画面の一例であり、前景にピントを合わせた画像、背景にピントを合わせた画像、および全体にピントを合わせた画像が提示されている。このようなユーザインタフェースを用いることによって、ユーザの画像選択が容易になる。

また、構図制御部２０２は、合焦範囲設定部２０１に過去に設定されたピント位置および被写界深度の履歴に従って、フォーカルプレーン奥行きおよび被写界深度を定めるようにしてもよい。これにより、ユーザの好みが反映された画像を復元することが容易になる。

なお、図１０および図１１に示すように、システム側で決めたパラメータを初期値として画像を復元し、これをユーザに提示して、その後、ユーザの希望に応じて画像を調整できるようにしてもよい。図１０において、２１１はライトフィールドデータを撮影する撮影端末、２１２は画像復元処理を行うクラウドサーバ、２１３は復元された画像を表示する表示端末である。図１１において、２２１はライトフィールドデータを撮影する撮影端末、２２２は復元された画像を表示する表示端末である。表示端末２１３，２２２では、視点位置、ピント位置および被写界深度が調整可能になっている。さらに、調整後の構図の良し悪しについて、例えば、構図スコアを表示したり、スライドバーの色や明るさを変えたりして、ユーザに提示してもよい。これにより、良い構図が保たれた範囲で、ユーザが容易に画像を調整することができる。

なお、図１０の撮影端末２１１と表示端末２１３は、必ずしも個別の端末である必要はなく、両者の機能を兼ねた共用端末であってもよい。図１１においても同様に、撮影端末２２１と表示端末２２２とは、必ずしも個別の端末である必要はなく、両者の機能を兼ねた単一の端末であってもよい。

（実施の形態３）
ライトフィールドカメラでは、撮影したライトフィールドデータから、条件が異なる複数の画像を復元できるため、例えば、同じアングルの画像について焦点距離が異なる画像を比較することが可能である。その一方で、実質的には同時に複数の画像を撮像するために、復元される各画像の解像度は通常のカメラに比べて低くなってしまう。

そこで、本実施の形態では、撮像処理装置は、ライトフィールドカメラとは異なる種類のカメラを備えており、ライトフィールドデータから生成した複数の画像を撮影者に提示し、ユーザの選択指示を受けて、カメラによる撮影条件を決定するものとする。

図１２は本実施形態に係る撮像処理装置の構成を示すブロック図である。図１２の構成は、図１の各構成要素に加えて、ユーザ選択入力部３０１と、撮影条件決定部３０２と、ライトフィールドカメラとは異なる種類のカメラ３０３とを備えている。出力部１０５は、画像生成部１０１によって生成された、仮想視点位置または仮想焦点面位置が異なる複数の画像を、画面に提示する。ユーザ選択入力部３０１は、出力部１０５に提示された複数の画像に対して、ユーザの選択入力を受ける。撮影条件決定部３０２は、ユーザ選択入力部３０１で選択された画像の仮想視点位置または仮想焦点面位置を用いて、カメラ３０３による撮影条件を決定する。

図１３および図１４は本実施形態に係る撮像処理装置がスマートフォンに搭載された例を示す。図１３および図１４では、スマートフォンにライトフィールドカメラ３１０が搭載されているものとする。

例えば、ユーザは、スマートフォンに装着された内側向きのカメラ３０３によって自分と背景を撮影する場合、背景を撮影したいとき、自分の顔を撮影したいとき、あるいは、例えば記念写真として、自分と背景の両方を撮影したいときがある。このような場合、ユーザは、ライトフィールドカメラ３１０によって撮影を行い、同じ撮影アングルで仮想焦点面位置が異なる複数の画像を画面に提示させる。すなわち、焦点距離が異なる画像が提示される。図１３の例では、自分の顔にピントが合った画像３１１、背景の山にピントが合った画像３１２、さらに遠方の背景にピントが合った画像３１３が提示されている。ここで提示する画像は、撮影条件を定めるためにユーザに選択させるものなので、高解像度は必要でない。

そして、ユーザは画面のタッチ操作によって、撮影した画像のいずれかを選択する。図１３の例では、中央の画像３１２が選択されている。撮影条件決定部３０２は、選択された画像３１２の仮想焦点面位置に合わせて、カメラ３０３の焦点距離を決定する。その後、ユーザが、カメラ３０３によって撮影を行うと、ユーザが選択した画像３１２と同様に背景の山にピントが合っており、かつ、高解像度の画像を撮影することができる。

なお、図１３の例において、ユーザが、焦点距離の異なる画像を複数枚選択したとき、選択された複数の画像の焦点距離を含む被写体深度を有する画像が、カメラ３０３によって撮影可能なように、絞りなどの撮影条件を決定することも可能である。

また、図１４の例では、仮想視点位置が異なる複数の画像を画面に提示させている。すなわち、撮像範囲が異なる画像３２１，３２２，３２３が提示されている。そして、ユーザは画面のタッチ操作によって、撮影した画像のいずれかを選択する。撮影条件決定部３０２は、選択された画像の構図を記憶する。そして例えば、ユーザがカメラ３０３で撮影を行う際に、画面に表示されたカメラ３０３のスルー画像に、記憶した構図を合成して表示する。ユーザは、カメラ３０３のスルー画像が構図に一致するようにスマートフォンを動かしてから、撮影を行えばよい。

なお、図１４の例では、ユーザは複数の画像３２１，３２３を選択している。このような場合、選択された複数の画像の撮像範囲を含む画像が、カメラ３０３によって撮影可能なように、ズーム比率などの撮影条件を決定することも可能である。

以上のように本実施の形態によると、撮像処理装置は、ライトフィールドデータから生成した撮像条件の異なる画像をユーザに提示し、ユーザが選択した画像に基づいて、カメラによる撮影条件を決定する。これにより、ユーザが、意図した撮像条件で高解像度の撮像を容易に行うことができる。特に、スマートフォン等で内側向きのカメラで撮像するときには、片手で簡単に画像を比較・選択することができ、ユーザの意図した画像を撮像することが容易になる。

なお、上述の実施形態では、ライトフィールドカメラとは別のカメラを用いて、高解像度画像を撮影する例を示したが、これに限られるものではない。例えば、ライトフィールドカメラ用のハエの目レンズと通常のレンズとが交換可能なカメラを用いて、ライトフィールドデータの取得と最終の高解像度画像の撮影の両方を行うようにしてもよい。また、ライトフィールドデータから復元画像を生成する際に、超解像処理を行うことによって、復元画像の解像度を高くする構成としてもよい。

本発明では、ライトフィールドデータから構図が良い画像を自動的に復元できるので、例えばスマートフォンなどにライトフィールドカメラを搭載する場合に、有用である。

１００ 取得部
１０１ 画像生成部
１０４ 構図制御部
１０５ 出力部
１１０，２０２ 構図評価部
２０１ 合焦範囲設定部
３０１ ユーザ選択入力部
３０２ 撮影条件決定部
３０３ カメラ

Claims (6)

1. ライトフィールドカメラによって撮影されたライトフィールドデータを取得する取得部と、
   仮想視点位置および仮想焦点面位置を表す条件情報を受け、前記取得部によって取得されたライトフィールドデータから、与えられた前記条件情報に従って、画像を生成する画像生成部と、
   前記画像生成部によって生成された画像を出力するように構成された出力部と、
   前記画像生成部によって生成された画像の構図を評価し、評価結果を示す構図評価値を出力する構図評価部と、
   前記画像生成部に前記条件情報を与え、前記構図評価部から前記構図評価値を受け、構図が最適になると推定される仮想視点位置および仮想焦点面位置を探索する構図制御部とを備え、
   前記出力部は、前記構図制御部の探索によって決定された仮想視点位置および仮想焦点面位置に従って前記画像生成部によって生成された画像を、出力する
   ことを特徴とする撮像処理装置。
2. 請求項１記載の撮像処理装置において、
   ユーザ入力に従って、被写界深度を設定可能に構成された合焦範囲設定部を備え、
   前記構図制御部は、前記合焦範囲設定部に設定された被写界深度を表す被写界深度情報を、前記条件情報とともに、前記画像生成部に与える
   ことを特徴とする撮像処理装置。
3. 請求項２記載の撮像処理装置において、
   前記合焦範囲設定部は、被写界深度に加えて、ピント位置を設定可能に構成されており、
   前記出力部は、ピント位置および被写界深度が異なる複数の画像を、画面に提示する
   ことを特徴とする撮像処理装置。
4. 請求項３記載の撮像処理装置において、
   前記構図制御部は、前記合焦範囲設定部に過去に設定されたピント位置および被写界深度の履歴に従って、仮想焦点面位置および被写界深度を定める
   ことを特徴とする撮像処理装置。
5. 請求項１記載の撮像処理装置において、
   前記構図評価部は、前記画像に対して、エッジ検出、顔検出、目検出、顔向き検出、および人物検出のうち少なくともいずれか１つを実行し、その検出結果を基にして、構図を評価する
   ことを特徴とする撮像処理装置。
6. 請求項１記載の撮像処理装置において、
   前記出力部は、仮想視点位置または仮想焦点面位置が異なる複数の画像を、画面に提示するものであり、
   ライトフィールドカメラとは異なる種類のカメラと、
   前記出力部に提示された複数の画像に対して、ユーザの選択入力を受けるユーザ選択入力部と、
   前記ユーザ選択入力部で選択された画像の仮想視点位置または仮想焦点面位置を用いて、前記カメラによる撮影条件を決定する撮影条件決定部とを備えた
   ことを特徴とする撮像処理装置。