JP2015026880A - 撮像装置 - Google Patents

Abstract

【課題】撮影時に、撮影後のリフォーカス範囲の確認をユーザが快適に行うことができる撮像装置を提供する。
【解決手段】撮像装置は、撮影距離の後設定が可能な撮影画像をユーザからの撮影指示に応じて取得する撮像手段と、被写界に存在する被写体の被写体距離を前記撮影指示の入力前に監視し、前記後設定が可能な距離範囲であるリフォーカス範囲から前記被写体距離が外れたとき又は外れそうなときに前記ユーザへ警告を行う警告手段とを備える。
【選択図】図３

Description

本発明は、撮影画像を取得する撮像装置に関する。

近年、撮影条件の後設定が可能な撮影画像を取得するカメラが注目されつつある。このようなカメラとして有名なのが、ライトフィールドカメラ（特許文献１）、フォーカスブラケット撮影可能なカメラ（特許文献２）、カメラアレイ（特許文献３）などである。

ライトフィールドカメラ（特許文献１）によると、撮影距離（被写界における合焦面の距離）、絞り値、視点を後設定することが可能であり、フォーカスブラケット撮影可能なカメラ（特許文献２）によると、撮影距離を後設定することが可能であり、カメラアレイ（特許文献３）によると、撮影距離、視点（又は絞り値）を後設定することが可能である。

また、特許文献３には、ユーザの所望する被写体に合焦した撮影画像（リフォーカス画像）を合成する技術等が開示されており、特許文献２には、ＡＦ測光結果により定まるフォーカスブラケット範囲を画面上に表示する技術等が開示されている。

米国特許公報第７９３６３９２号明細書 特開２００９−８０４５８号公報 特開２０１１−２２７９６号公報

しかしながら、撮影前後の確認をユーザが快適に行うには、依然として改善の余地があった。

そこで本発明は、撮影前又は撮影後の確認をユーザが快適に行うことを目的とする。

本発明の撮像装置の一例は、撮影距離の後設定が可能な撮影画像をユーザからの撮影指示に応じて取得する撮像手段と、被写界に存在する被写体の被写体距離を前記撮影指示の入力前に監視し、前記後設定が可能な距離範囲であるリフォーカス範囲から前記被写体距離が外れたとき又は外れそうなときに前記ユーザへ警告を行う警告手段とを備える。

本発明の撮像装置の別の例は、ユーザからの撮影指示に応じて撮影画像を取得する撮像手段と、被写体の指定を伴う前記撮影指示が入力されたときには、その被写体に合焦した前記撮影画像をアフタービュー画像としてモニタへ表示し、被写体の指定を伴わない前記撮影指示が入力されたときには、絞り値が最大である前記撮影画像をアフタービュー画像として前記モニタへ表示する表示制御手段とを備える。

本発明によれば、撮影前又は撮影後の確認をユーザが快適に行うことができる。

ライトフィールドカメラを説明する図である。 画像ファイルの構成例である。 撮影モードにおけるライトフィールドカメラ１０の動作フローチャートである。 （Ａ）、（Ｃ）は、ライブビュー画像の一例であり、（Ｂ）は、個々の被写体の被写体距離を説明する模式図である。 グラフ表示の一例を示す図である。 タッチシャッタと通常シャッタとを比較する図である。

［第１実施形態］
以下、本発明の第１実施形態としてライトフィールドカメラを説明する。

図１（Ａ）は、ライトフィールドカメラ１０の構成例であり、図１（Ｂ）は、ライトフィールドカメラ１を背面から見た様子の一例である。

図１（Ａ）に示すとおりライトフィールドカメラ１０には、撮像部１１、画像処理部１５、カメラ制御部１６、システム制御部１７、記録インタフェース１８、表示部１９、操作部材２０などが備えられる。このうち撮像部１１には、撮影レンズ１２、マイクロレンズアレイ１３、撮像素子１４などが備えられ、記録インタフェース１８には記憶媒体であるカードメモリ２１が装着される。

撮影レンズ１２は、被写界からの光束を結像する結像レンズである。この撮影レンズ１２の実際の撮影条件は調節可能であってもよいが、ここでは簡単のため不変と仮定する。また、撮影レンズ１２は、仕様の異なる他の撮影レンズとの間で交換可能であってもよいが、ここでは簡単のため、撮影条件が不変の撮影レンズ１２がライトフィールドカメラ１０に常時装着されていると仮定する。

なお、撮影レンズ１２の実際の撮影条件には、撮影レンズ１２の実際の撮影距離（撮影レンズ１２に関してマイクロレンズアレイ１３と共役な面までの距離）と、撮影レンズ１２の実際の絞り値と、撮影レンズ１２の実際の画角との少なくとも一つが含まれる。

因みに、撮影レンズ１２の実際の撮影距離が変化すると、後設定可能な撮影距離の範囲（リフォーカス範囲）が変化し、撮影レンズ１２の実際の絞り値が変化すると、後設定可能な絞り値の範囲が変化し、撮影レンズ１２の実際の画角が変化すると、後設定可能な視点の範囲が変化するものの、何れの範囲も実際の撮影距離及び実際の絞り値及び実際の画角から一義的に決まる。

マイクロレンズアレイ１３は、撮影レンズ１２の結像面近傍の面に複数のマイクロレンズを二次元状に配列してなる。

撮像素子１４は、マイクロレンズアレイ１３に属する個々のマイクロレンズの後側に複数の受光素子（画素）を二次元状に配列してなる。なお、個々のマイクロレンズの後側に位置する画素群（部分撮像素子１４ａ）の画素配列パターンは、個々のマイクロレンズの間で共通である。

ここで、或る１つのマイクロレンズの後側に位置する部分撮像素子１４ａに着目すると、この部分撮像素子１４ａの各画素座標ａ、ｂ、ｃ、ｄ、ｅへ個別に入射する各光束の間では、撮影レンズ１２の射出瞳における通過領域が互いに異なる。このことは、全ての部分撮像素子１４ａについて同様に当てはまる。

よって、部分撮像素子１４ａ上で１方向に並ぶ画素座標を順にａ、ｂ、ｃ、ｄ、ｅとおき、複数の部分撮像素子１４ａの間で画素座標の共通する画素同士で１枚ずつ画像を生成したならば、画素座標ａから生成される画像Ｉａと、画素座標ｂから生成される画像Ｉｂと、画素座標ｃから生成される画像Ｉｃと、画素座標ｄから生成される画像Ｉｄと、画素座標ｅから生成される画像Ｉｅとの関係は、被写界を互いに異なる視点から撮影した５枚の視差画像の関係と同じになる。よって、以下では画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅを「視差画像」と称す。

なお、部分撮像素子１４ａの実際の画素配列方向は、１方向ではなく２方向に亘っており、部分撮像素子１４ａの実際の画素数は、「５」よりも十分に大きいが、以下の説明では簡単のため、１方向に並ぶ５つの画素座標ａ、ｂ、ｃ、ｄ、ｅのみからなると仮定する。

画像処理部１５は、撮像素子１４が生成したライトフィールド画像（一連の視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅからなる）を取り込み、そのライトフィールド画像を不図示のバッファメモリへ一時的に保管する。また、画像処理部１５は、システム制御部１７からの指示に応じて、バッファメモリ上のライトフィールド画像へ各種の画像処理を施す。

例えば、画像処理部１５は、ライトフィールド画像を構成する５枚の視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅを互いに位置ずらししてから重み付け合成することにより、撮影条件（撮影距離、絞り値、視点）の設定された１枚の撮影画像を作成する。以下、撮影条件の後設定された撮影画像を「リフォーカス画像」と称す。

なお、リフォーカス画像の撮影距離は、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの位置ずらし量によって決まる。例えば、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの位置ずらし量が「ゼロ」であるときには、リフォーカス画像の撮影距離は、撮影レンズ１２に関してマイクロレンズアレイ１３と共役な面と同じ距離となり、位置ずらし量が「ゼロ」以外の値であるときには、リフォーカス画像の撮影距離は、撮影レンズ１２に関してマイクロレンズアレイ１３と非共役な面と同じ距離となる。

また、リフォーカス画像の絞り値は、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比によって決まる。例えば、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比が「０：０：１：０：０」であるときには、リフォーカス画像の絞り値は最大となり、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比が「１：１：１：１：１」であるときには、リフォーカス画像の絞り値は最小となる。

また、リフォーカス画像の視点も、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比によって決まる。例えば、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比が「１：０：０：０：０」であるときには、リフォーカス画像の視点は一方の端点となり、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅの重み比が「０：０：０：０：１」であるときには、リフォーカス画像の視点は他方の端点となる。

なお、以上の撮像部１１の構成には、公知の何れかのライトフィールドカメラの構成が適用可能であり、以上の画像処理部１５の動作には、公知の何れかのライトフィールドカメラの動作が適用可能である。公知のライトフィールドカメラとしては、例えば、特開２０１１−２１７４１１号公報、米国特許公報第７９３６３９２号明細書、特開２０１１−２５９２１８号公報に開示されたもの等が挙げられる。

カメラ制御部１６は、撮像部１１を駆動する機構と、その機構を制御する回路とを備えている。このカメラ制御部１６は、システム制御部１７からの指示に応じて撮像素子１４を駆動し、ライトフィールド画像を取得する。

カードメモリ２１は、撮像部１１が取得したライトフィールド画像の画像ファイル（後述）や、他のライトフィールドカメラで取得されたライトフィールド画像の画像ファイルなどを多数に亘って記憶することのできる記憶媒体である。

記録インタフェース１８は、ライトフィールドカメラ１０に装着されたカードメモリ２１とシステム制御部１７との間のインタフェースをとる。この記録インタフェース１８は、システム制御部１７からの指示に従い、ライトフィールド画像の画像ファイルをカードメモリ２１へ書き込んだり、ライトフィールド画像の画像ファイルをカードメモリ２１から読み込んだりする。

表示部１９は、マルチタッチパネルで構成され、少なくとも、液晶カラーモニタなどのモニタと、そのモニタに対するユーザ操作を検出するマルチタッチセンサとを備える。このうち、マルチタッチセンサは、１本の手指を使用したユーザ操作（タッチ（触る）、スライド（なぞる）、タップ（叩く）、ダブルタップ（２連続で叩く）など）の他に、２本以上の手指を同時に使用したユーザ操作（ピンチ（挟む）、ピンチイン（狭める）、ピンチアウト（拡げる）など）を検出することが可能である。このような表示部１９は、システム制御部１７からの指示に従い各種の画像を表示すると共に、その画像に対するユーザ操作の内容を検出してシステム制御部１７へ送信する。

操作部材２０は、不図示の電源釦の他に、図１（Ｂ）に示したレリーズ釦２０ａ、再生釦２０ｂ、十字釦２０ｃなどの各種の入力スイッチを備える。ユーザは、この操作部材２０を介して撮影指示やモード切り換え指示などの各種の指示をシステム制御部１７へ入力する。なお、本実施形態ではタッチパネルで構成された表示部１９が使用されるので、電源釦以外の操作部材２０については省略することも可能である。

システム制御部１７は、不図示のＲＯＭ、ＲＡＭ、ＣＰＵなどを備えたコンピュータである。ＣＰＵは、ＲＯＭに格納されたプログラムを実行することによりライトフィールドカメラ１０の各部を制御し、ライトフィールドカメラ１０を撮影モードや再生モードなどの各種のモードで動作させる。なお、ＲＡＭは、ＣＰＵの動作中に必要となったデータを一時的に格納するメモリである。

因みに、ライトフィールドカメラ１０が撮影モードにあるとき、システム制御部１７は、ユーザからの撮影指示に応じて撮像部１１を駆動してライトフィールド画像を取得すると、そのライトフィールド画像の画像ファイルを作成してカードメモリ２１へ保存する。

また、ライトフィールドカメラ１０が再生モードにあるとき、システム制御部１８は、カードメモリ２１上の画像ファイルをサムネイル表示したり、カードメモリ２１上の画像ファイルを再生表示したりする。

図２は、画像ファイルの構成例である。図２に示すとおりこの画像ファイルは、ライトフィールド画像を格納した領域と、そのライトフィールド画像の付随情報を格納した領域とを有する。付随情報には、例えば、被写体情報、サムネイル画像、履歴情報などが含まれる。

先ず、被写体情報は、ライトフィールド画像に写っている１又は複数の被写体の各々を説明する情報であり、各被写体の被写体情報には、その被写体の属性情報と、その被写体の存在エリアを示すエリア情報と、その被写体の被写体距離を示す距離情報とが含まれる。

このうち、属性情報には、被写体の種類を示す被写体種類情報（ヒト、建物、樹木、山、海、…）と、同種の被写体を互いに区別するための被写体名情報（Ａさん、Ｂさん、建物１、建物２、樹木１、樹木２、…）とが含まれる。

次に、サムネイル画像は、ライトフィールド画像から作成されたリフォーカス画像のサイズ縮小版である。ここでは、撮影条件（撮影距離、絞り値、視点の組み合わせ）の異なる複数のサムネイル画像が画像ファイルに格納されていると仮定する。複数のサムネイル画像の中には、パンフォーカス画像のサムネイル画像のサムネイル画像（＝被写界深度が最大、つまり絞り値が最大であるリフォーカス画像のサムネイル画像）も含まれる。

次に、履歴情報は、画像ファイルの再生時又はサムネイル表示時に採用された撮影条件の履歴を示しており、少なくとも最近に採用された撮影条件（前回の撮影条件）の情報を含む。

なお、以上の付随情報のうち、被写体情報及びサムネイル画像は、画像ファイルが作成されるタイミング又は必要なタイミングで、画像処理部１５がライトフィールド画像から抽出したものである。或いは、画像ファイルが作成されたタイミング又は必要なタイミングで、別のライトフィールドカメラ又はパーソナルコンピュータがライトフィールド画像から抽出したものである。

また、以上の付随情報のうち、履歴情報は、画像ファイルがサムネイル表示又は再生表示されたタイミングで、システム制御部１７が書き込んだものである。或いは、画像ファイルがサムネイル表示又は再生表示されたタイミングで、別のライトフィールドカメラ又はパーソナルコンピュータが書き込んだものである。

因みに、ライトフィールド画像から被写体のエリア情報及び属性情報を抽出するためには、テンプレートマッチングなどの公知の被写体抽出処理をライトフィールド画像に施せばよい。但し、全ての被写体のエリア情報及び属性情報を抽出するためには、そのライトフィールド画像から撮影距離の異なる複数のリフォーカス画像を作成すると共に、それら複数のリフォーカス画像の各々に対して被写体抽出処理を施す必要がある。或いは、そのライトフィールド画像からパンフォーカス画像を作成すると共に、そのパンフォーカス画像に対して被写体抽出処理を施す必要がある。なお、パンフォーカス画像は、被写界深度が最大（絞り値が最大）のリフォーカス画像に相当する。また、ライトフィールド画像から被写体の距離情報を抽出するためには、ライトフィールド画像を構成する少なくとも２枚の視差画像に対して、その被写体の座標に応じた距離算出処理を施す必要がある。

なお、以上の説明では、各画像ファイルの付随情報の格納先を各画像ファイルとしたが、各画像ファイルの付随情報の一部又は全部の格納先を、各画像ファイルを管理するデータベースとしてもよい。このデータベースでは、各画像ファイルの付随情報は、各画像ファイルのファイル名に対応づけられる。このデータベースの保管先は、例えば、カードメモリ２１である。

以下、撮影モードにおけるライトフィールドカメラ１０の動作を説明する。

図３は、撮影モードにおけるライトフィールドカメラ１０の動作フローチャートである。以下、各ステップを順に説明する。

ステップＳ１１：システム制御部１７は、撮像部１１を高速駆動モードで駆動し、現フレームのスルー画像を取得すると、そのスルー画像をバッファメモリへ格納する。画像処理部１５は、そのスルー画像から現フレームのリフォーカス画像を生成し、システム制御部１７は、そのリフォーカス画像をライブビュー画像として表示部１９へ送出する。これによって、被写界のライブビュー表示が開始される（図４（Ａ）参照）。

ここで、スルー画像は、保存用の画像ではないため、解像度は低くても構わないが、ライブビュー表示のリアルタイム性を重視するならば、なるべく短いフレーム周期で取得されることが望まれる。また、後述するステップＳ１３では、被写体距離の算出をスルー画像に基づき行うので、このスルー画像には、視点の異なる２以上の視差画像が含まれている必要がある。よって、高速駆動モードにおける撮像部１１は、例えば、読み出しの対象となる画素座標を３種類の画素座標ａ、ｃ、ｅのみに制限した「間引き読み出し」を行い、視差画像Ｉａ、Ｉｃ、Ｉｅのみからなるライトフィールド画像をスルー画像として取得する。

また、ライブビュー画像は、全ての被写体を明確に写していることが望ましいので、ライブビュー表示中の画像処理部１５は、例えば、視点が正面であって絞り値が最大であるパンフォーカス画像を、ライブビュー画像とする。

ステップＳ１２：画像処理部１５は、現フレームのライブビュー画像に対して被写体抽出処理を施すことにより、現フレームに写っている全ての被写体のエリア情報及び属性情報を既知とする。

ステップＳ１３：画像処理部１５は、現フレームのスルー画像に対して個々の被写体の座標に応じた距離算出処理を施すことにより、現フレームに写っている全ての被写体の被写体距離を既知とする。

なお、ここでは被写体距離の算出をスルー画像に基づき行ったが、ライトフィールドカメラ１０に測距センサが搭載されている場合は、測距センサの出力値に基づき被写体距離を算出してもよい。

ステップＳ１４：画像処理部１５は、前フレームに写っていた各被写体の属性情報及び被写体距離と、現フレームに写っている各被写体の属性情報及び被写体距離と、高速駆動モードのフレーム周期とに基づき、被写体距離の変化速度（以下、「距離変化速度」と称す。）を被写体ごとに算出する。但し、初回のステップＳ１４では、前フレームの情報が存在しないので、距離変化速度の算出は省略される。

因みに、或る被写体の距離変化速度Ｖは、その被写体の現フレームにおける被写体距離Ｌと、その被写体の前フレームにおける被写体距離Ｌ’と、フレーム周期Ｔとにより、Ｖ＝（Ｌ’−Ｌ）／Ｔなどと表される。

なお、ここでは距離変化速度Ｖの算出に被写体距離のフレーム間差分を利用したが、被写体距離のフレーム間差分の代わりに、被写体サイズのフレーム間差分を利用してもよい（なぜなら、フレーム内の被写体サイズが大きいときほど被写体距離が短いとみなせるからである。）。

ステップＳ１５：システム制御部１７は、現フレームにおける各被写体の被写体距離Ｌと、各被写体の距離変化速度Ｖと、ライトフィールドカメラ１０のリフォーカス範囲とに基づき、被写体距離がリフォーカス範囲から外れるまでの猶予時間Ｔを被写体ごとに算出し、猶予時間Ｔが閾値Ｔｈを下回った被写体（以下、「ボーダー被写体」と称す。）があった場合にはステップＳ１６へ移行し、ボーダー被写体が無かった場合にはステップＳ１７へ移行する。

因みに、ライトフィールドカメラ１０のリフォーカス範囲は、撮像部１１の仕様及び撮影レンズ１２のレンズポジションによって決まるものであって、例えば、図４（Ｂ）に示すとおりリフォーカス範囲の近距離端Ｌ_ｎｅａｒは１ｍ、遠距離端Ｌ_ｆａｒは無限遠方（∞ｍ）である。遠距離端Ｌ_ｆａｒが無限遠方である場合、猶予時間Ｔは、Ｔ＝（Ｌ−Ｌ_ｎｅａｒ）／Ｖで表される。

よって、図４（Ｂ）に示すとおり全ての被写体がリフォーカス範囲に収まっていたとしても、或る被写体（ヒト）の距離変化速度Ｖが正の大きな値であるときには、その被写体（ヒト）の猶予時間Ｔが閾値Ｔｈを下回ることがあって、その場合は、その被写体（ヒト）がボーダー被写体とみなされる。

ステップＳ１６：システム制御部１７は、表示部１９上のボーダー被写体（ヒト）に所定のマークを付与することにより警告を行う。所定のマークとしては、例えば、図４（Ｃ）に示すようなハッチングパターンが有効である。ハッチングパターンによると、ボーダー被写体（ヒト）を、非ボーダー被写体（建物、樹木、自動車）よりも目立たせることができる。

したがって、ユーザは、ボーダー被写体の出現をライブビュー画像上で即座に認識することができる。ここでいう「ボーダー被写体」は、現時点で被写体距離がリフォーカス範囲から外れている被写体だけでなく、所定時間以内に被写体距離がリフォーカス範囲から外れる被写体をも含んでいる。

なお、本ステップのシステム制御部１７は、猶予時間Ｔが短いときほど警告の強度を高めてもよい。例えば、システム制御部１７は、複数種類のハッチングパターンを予め用意しておき、猶予時間Ｔが長いときは（注意レベルの警告では）比較的シンプルなハッチングパターンである斜線パターンを使用し、猶予時間Ｔが短いときは（危険レベルの警告では）比較的複雑なハッチングパターンである網掛けパターンを使用してもよい。

また、本ステップのシステム制御部１７は、ボーダー被写体に所定マーク（ハッチングパターン）を付与する代わりに、ボーダー被写体の表示色（輝度や彩度など）を強調してもよい。

また、本ステップのシステム制御部１７は、個々の被写体の被写体距離がリフォーカス範囲のどの辺りであるのかが明確となるよう、個々の被写体の被写体距離とリフォーカス範囲との関係を、例えば図５に示すとおり表示部１９の右端（又は左端）にグラフとして表示してもよい。

このグラフの距離軸は、ユーザからみて上下方向に一致しており、このグラフの近距離側は、ユーザから見て下側であり、このグラフの遠距離側は、ユーザから見て上側である。よって、ユーザは、グラフの意味するところを直感的に理解することができる。

また、このグラフにおいて、個々の被写体の被写体距離は、図５に示すとおり、個々の被写体のアイコンによってプロットされていることが望ましい。或る被写体のアイコンは、その被写体の画像を簡略化したものであってもよいし、予め用意された様々なアイコンのうち、その被写体に最も類似したアイコンであってもよい。

また、このグラフ上でも、非ボーダー被写体のアイコンと区別するために、ボーダー被写体のアイコンには、ボーダー被写体と同種のマーク（例えばハッチングパターン）が付与されていることが望ましい。或いは、ボーダー被写体のアイコンに所定マークを付与する代わりに、ボーダー被写体のアイコンの表示色（輝度や彩度など）を強調してもよい。

したがって、ユーザは、個々の被写体の被写体距離とリフォーカス範囲との関係をライブビュー画像上で直感的に理解することができる。

ステップＳ１７：システム制御部１７は、ユーザから撮影指示が入力されたか否かを判別し、入力された場合はステップＳ１８へ移行し、入力されない場合はステップＳ１１へ戻る。

ここで、本実施形態のユーザが入力できる撮影指示には、被写体の指定を伴う「タッチシャッタ」と、被写体の指定を伴わない「通常シャッタ」との２つがある。

タッチシャッタは、図６（Ａ）に示すとおり表示部１９上の被写体をタップ（叩く）することによる撮影指示であり、通常シャッタは、図６（Ｂ）に示すとおりレリーズ釦２０ａの押下による撮影指示である。なお、図６（Ａ）では、２つの被写体（ヒト、自動車）が同時にタップされた場合を示した。本実施形態の表示部１９はマルチタッチパネルを有するので、同時に複数のタップポイントを区別して認識することができる。

ステップＳ１８：システム制御部１７は、先のステップＳ１７で入力された撮影指示が「タッチシャッタ」と「通常シャッタ」との何れであったかを判別し、「タッチシャッタ」であった場合にはステップＳ１９へ移行し、「通常シャッタ」であった場合にはステップＳ２０へ移行する。

ステップＳ１９：システム制御部１７は、撮像部１１を詳細駆動モードで駆動し、新たなフレームのライトフィールド画像を保存用画像として取得すると、その保存用画像をバッファメモリへ格納する。画像処理部１５は、その保存用画像から被写体情報及びサムネイル画像を抽出する。続いて、システム制御部１７は、表示部１９上の１又は複数のタップポイントに位置する１又は複数の被写体の被写体距離範囲を認識し、画像処理部１５は、バッファメモリ上の保存用画像に基づき、その被写体距離範囲と同じ合焦範囲を有したリフォーカス画像（その被写体距離範囲内の各物体にピントの合ったリフォーカス画像）を、アフタービュー画像として作成する。

なお、アフタービュー画像の合焦範囲を所望の範囲に設定するために、画像処理部１５は、そのアフタービュー画像の撮影距離と絞り値との組み合わせを適切な組み合わせに設定する。

また、本ステップの画像処理部１５は、アフタービュー画像の撮影距離及び絞り値以外の撮影条件（＝視点）を、デフォルトの撮影条件又はユーザが予め指定した撮影条件のそれ（＝視点）と同じに設定する。

また、保存用画像は、スルー画像よりも解像度が高いことが望まれるので、詳細駆動モードにおける撮像部１１は、読み出しの対象となる画素座標を５種類の画素座標ａ、ｂ、ｃ、ｄ、ｅの全部とした「全画素読み出し」を行い、視差画像Ｉａ、Ｉｂ、Ｉｃ、Ｉｄ、Ｉｅからなるライトフィールド画像を保存用画像として取得する。

ステップＳ２０：システム制御部１７は、撮像部１１を詳細駆動モードで駆動し、新たなフレームのライトフィールド画像を保存用画像として取得すると、その保存用画像をバッファメモリへ格納する。画像処理部１５は、その保存用画像から被写体情報及びサムネイル画像を抽出する。続いて、画像処理部１５は、バッファメモリ上の保存用画像に基づき、絞り値が最大であるパンフォーカス画像をアフタービュー画像として作成する。

なお、本ステップの画像処理部１５は、アフタービュー画像の視点を、ステップＳ１９におけるそれと同じに設定する。

ステップＳ２１：システム制御部１７は、前のステップで作成されたアフタービュー画像を表示部１９へ表示することにより、アフタービュー表示を開始する。

したがって、ユーザの入力した撮影指示が「タッチシャッタ」であった場合は、図６（Ａ’）に示すとおりユーザのタップした被写体に合焦したリフォーカス画像がアフタービュー画像として表示され、ユーザの入力した撮影指示が「通常シャッタ」であった場合は、図６（Ｂ’）に示すとおり全ての被写体に合焦したパンフォーカス画像がアフタービュー画像として表示される。

よって、ユーザは、撮影指示の入力操作を「タッチシャッタ」と「通常シャッタ」との間で切り換えるだけで、アフタービュー画像の撮影距離と絞り値との組み合わせを切り換えることができる。

ステップＳ２２：システム制御部１７は、保存用画像の画像ファイル（図２参照）を作成し、その画像ファイルを記録インタフェース１８へ送出することにより、その画像ファイルをカードメモリ２１に保存する（以上、撮像モード）。

［第１実施形態の変形例］
なお、第１実施形態では、ライブビュー画像に写っている全ての被写体を監視対象としたが、ユーザから指定された被写体以外の被写体を、監視対象から外してもよい。

例えば、撮影モード中にユーザが特定操作を行うと、ライトフィールドカメラ１０が被写体指定モードに移行し、表示部１９上をユーザがタップすると、そのタップポイントに位置する被写体以外の被写体が監視対象から外される。その後、ユーザが特定操作を行うと、指定モードが解除され、撮影モードに戻る。

また、第１実施形態では、ライブビュー画像に写っている複数の被写体を同じ方法で警告したが、複数の被写体をユーザの指示に応じて順位付けし、順位の高い被写体ほど警告の強度（マークの種類、警告タイミングなど）を高くしてもよい（例えば、順位の高い被写体ほど警告タイミングを早くするために、順位の高い被写体ほど閾値Ｔｈを大きめに設定してもよい。）。

例えば、撮影モード中にユーザが特定操作を行うと、ライトフィールドカメラ１０が順位付けモードに移行し、表示部１９上の複数ポイントをユーザが順次にタップすると、それらタップポイントに位置する各被写体に対して、そのタップの順序に応じた順位がつけられる。その後、ユーザが特定操作を行うと、順位付けモードが解除され、撮影モードに戻る。

また、第１実施形態では、被写体の指定を伴う撮影指示として、ライブビュー画面上でユーザが所望の被写体をタップする「タッチシャッタ」を採用したが、他の特定操作による撮影指示を採用してもよい。例えば、ユーザが十字釦２０ｃを操作して表示部１９上のカーソル１９ａ（図１（Ｂ）参照）を移動させ、カーソル１９ａが所望の被写体上に位置したときにＯＫ釦を押下することで、被写体の指定を伴う撮影指示をライトフィールドカメラ１０へ入力してもよい。

また、第１実施形態では、ステップＳ１９で作成するアフタービュー画像を、「複数の被写体の被写体距離範囲と同じ範囲に合焦範囲を有するリフォーカス画像」としたが、「複数の被写体の各々の存在エリアが合焦画像となったリフォーカス画像」としてもよい。この場合、ステップＳ１９の代わりに以下のステップＳ１９’を実行すればよい。

ステップＳ１９’：システム制御部１７は、撮像部１１を詳細駆動モードで駆動し、新たなフレームのライトフィールド画像を保存用画像として取得すると、その保存用画像をバッファメモリへ格納する。画像処理部１５は、その保存用画像から被写体情報及びサムネイル画像を抽出すると共に、その保存用画像に基づき、デフォルトの撮影条件（又はユーザが予め指定した撮影条件）を有したリフォーカス画像と、そのリフォーカス画像と視点が共通であって絞り値が最大であるパンフォーカス画像との双方を作成する。続いて、システム制御部１７は、表示部１９上の１又は複数のタップポイントに位置する１又は複数の被写体の各々の外接長方形（図６（Ａ’）の点線部を参照）をユーザの指定エリアとして認識し、画像処理部１５は、リフォーカス画像から非指定エリアに対応する部分画像を参照すると共に、パンフォーカス画像から指定エリアに対応する部分画像を参照し、それらの部分画像を互いに合成してなる合成画像を、アフタービュー画像として作成する（以上、ステップＳ１９’）。

また、第１実施形態では、複数の被写体の指定を伴う撮影指示を入力するために、それら複数の被写体をユーザが同時にタップしたが、それら複数の被写体をユーザが順次にタップしてもよい。

その場合、システム制御部１７は、表示部１９上の複数ポイントをユーザが順次にタップすると、それらタップポイントに位置する複数の被写体をユーザが指定した被写体とみなし、最後にタップされてから所定時間（例えば１秒）が経過するまで何の操作も行われなかった場合に（又はダブルタップなどの特定操作が行われたタイミングで）、撮影指示が入力されたとみなせばよい。

また、第１実施形態では、複数の被写体の指定を伴う撮影指示を入力するために、それら複数の被写体をユーザが同時にタップしたが、それら複数の被写体を通る曲線上をユーザが指でスライドしてもよい。

その場合、システム制御部１７は、表示部１９上の曲線上をユーザの指がスライドすると、その曲線上に位置する１又は複数の被写体をユーザが指定した被写体とみなし、その指が表示部１９から離れたタイミングで、撮影指示が入力されたとみなせばよい。

或いは、システム制御部１７は、表示部１９上の２以上の曲線上をユーザの指がスライドすると、それら２以上の曲線上に位置する１又は複数の被写体をユーザが指定した被写体とみなし、最後に指が表示部１９から離れてから所定時間（例えば１秒）が経過するまで何の操作も行われなかった場合に（又はダブルタップなどの特定操作が行われたタイミングで）、撮影指示が入力されたとみなせばよい。

また、第１実施形態では、後設定可能な撮影条件として、撮影距離、絞り、視点の３つを説明したが、後設定可能な撮影条件に、「合焦面の姿勢又は形状」、すなわち「リフォーカス画像内の撮影距離の分布」を加えてもよい。

また、第１実施形態では、ライトフィールドカメラ１０を説明したが、撮影条件の後設定が可能な撮影画像を取得できる他のカメラ、例えば、フォーカスブラケット撮影が可能なカメラ、カメラアレイなどにも本発明は適用が可能である。

また、第１実施形態では、カメラを説明したが、撮像機能を有した任意の装置に本発明は適用が可能である。例えば、カメラ付きタブレットＰＣ、カメラ付きスマートフォン、カメラ付きデスクトップ型ＰＣ、カメラ付きノートＰＣなどにも本発明は適用が可能である。

また、コンピュータ実行可能なプログラム又はそれを記憶した記憶媒体に対して第１実施形態の装置の一部の機能を付与してもよい。

［第１実施形態の作用効果］
以上、第１実施形態の撮像装置（撮像部１１、画像処理部１５、カメラ制御部１６、システム制御部１７）は、撮影距離の後設定が可能な撮影画像（保存用画像）をユーザからの撮影指示に応じて取得する撮像手段（撮像部１１、カメラ制御部１６、システム制御部１７）と、被写界に存在する被写体の被写体距離を前記撮影指示の入力前に監視し、前記後設定が可能な距離範囲であるリフォーカス範囲から前記被写体距離が外れたとき又は外れそうなときに前記ユーザへ警告を行う警告手段（撮像部１１、画像処理部１５、システム制御部１７）とを備える。

したがって、前記ユーザは、現時点で被写体距離がリフォーカス範囲から外れている被写体又は被写体距離がリフォーカス範囲から外れそうな被写体を即座に認識することができる。

なお、前記警告手段（撮像部１１、画像処理部１５、システム制御部１７）は、前記被写体距離及びその変化速度を監視し、所定時間以内に前記リフォーカス範囲から前記被写体距離が外れることが判明したときに前記警告を行う。

したがって、前記ユーザは、所定時間以内に被写体距離がリフォーカス範囲から外れる被写体を即座に認識することができる。

また、前記警告手段（撮像部１１、画像処理部１５、システム制御部１７、表示部１９）は、前記リフォーカス範囲から前記被写体距離が外れるまでの猶予時間が短いときほど前記警告の強度を高める。

したがって、前記ユーザは、前記猶予期間の長さを直感的に知ることができる。

また、第１実施形態の撮像装置（撮像部１１、画像処理部１５、カメラ制御部１６、システム制御部１７）は、前記撮影指示の入力前に前記被写界のライブビュー画像をモニタ（表示部１９）へ表示する表示制御手段（システム制御部１７）を更に備え、前記警告手段（撮像部１１、画像処理部１５、システム制御部１７、表示部１９）は、前記モニタ（表示部１９）上の前記被写体に所定マークを付与することにより前記警告を行う。

したがって、前記ユーザは、被写体距離がリフォーカス範囲から外れている被写体又は被写体距離がリフォーカス範囲から外れそうな被写体を視覚により認識することができる。

また、前記警告手段（撮像部１１、画像処理部１５、システム制御部１７）は、前記被写体距離と前記リフォーカス範囲との関係をグラフとして前記モニタ（表示部１９）へ表示する。

したがって、前記ユーザは、前記被写体距離が前記リフォーカス範囲のどの辺りに位置するのかを、視覚により認識することができる。

また、前記警告手段（撮像部１１、画像処理部１５、システム制御部１７）は、前記グラフの距離軸を前記モニタ（表示部１９）の上下方向に一致させ、前記グラフの近距離側を前記モニタの下側に向け、前記グラフの遠距離側を前記モニタの上側に向ける。

したがって、前記ユーザは、前記グラフの意味するところを、直感的に理解することができる。

また、前記警告手段（撮像部１１、画像処理部１５、システム制御部１７）は、前記被写界に存在する複数の前記被写体のうち前記ユーザに指定されたもの以外を前記監視の対象から外す。

したがって、前記ユーザは、前記警告の対象を自分の指定した被写体のみに制限することができる。

また、前記警告手段（撮像部１１、画像処理部１５、システム制御部１７）は、前記被写界に存在する複数の前記被写体を前記ユーザの指示に応じて順位付けし、その順位の高い被写体ほど前記警告の強度を高める。

したがって、前記ユーザは、被写体の順位を前記警告の強度によって認識することができる。よって、例えば、前記ユーザは順位の高い被写体が優先的にリフォーカス範囲内に収まるよう前記撮像装置のフレーミングを行うことも可能である。

また、第１実施形態の撮像装置（撮像部１１、画像処理部１５、カメラ制御部１６、システム制御部１７）は、ユーザからの撮影指示に応じて撮影画像（保存用画像）を取得する撮像手段と、被写体の指定を伴う前記撮影指示（例えばタッチシャッタによる撮影指示）が入力されたときには、その被写体に合焦した前記撮影画像をアフタービュー画像としてモニタへ表示し、被写体の指定を伴わない前記撮影指示（例えばレリーズ釦による撮影指示）が入力されたときには、絞り値が最大である前記撮影画像（パンフォーカス画像）をアフタービュー画像として前記モニタ（表示部１９）へ表示する表示制御手段（システム制御部１７）とを備える。

したがって、前記ユーザは、前記撮影指示の入力操作を切り換えるだけで、前記アフタービュー画像の合焦先を、一部の被写体と全部の被写体との間で切り換えることができる。

なお、前記撮影画像（保存用画像）は、撮影条件の後設定が可能な撮影画像であり、前記表示制御手段（システム制御部１７）は、前記撮影画像（保存用画像）の取得後かつ前記アフタービュー画像の表示前に前記撮影画像（保存用画像）から前記アフタービュー画像を合成する。

したがって、前記撮影指示の入力から前記撮影画像（保存用画像）が取得されるまでのタイムラグは、短く抑えられる。

また、被写体の指定を伴う前記撮影指示（例えばタッチシャッタによる撮影指示）は、前記モニタ（表示部１９）に対する前記ユーザの操作により入力され、被写体の指定を伴わない前記撮影指示（例えばレリーズ釦による撮影指示）は、前記モニタ（表示部１９）とは別に設けられた操作部材（例えばレリーズ釦２０）に対する前記ユーザの操作により入力される。

したがって、前記ユーザは、前記撮影指示の入力操作を、前記モニタ（表示部１９）の操作と前記操作部材（例えばレリーズ釦）の操作との間で切り換えるだけで、前記アフタービュー画像の合焦先を、一部の被写体と全部の被写体との間で切り換えることができる。

また、前記表示制御手段（システム制御部１７）は、複数の被写体の指定を伴う前記撮影指示が入力されたときには、指定された被写体の全てに合焦した前記撮影画像を前記アフタービュー画像とする。

したがって、前記ユーザは、前記アフタービュー画像上で１又は複数の任意の被写体を、詳細確認することができる。

１１…撮像部、１５…画像処理部、１６…カメラ制御部、１７…システム制御部、１８…記録インタフェース、１９…表示部、２０…操作部材、１２…撮影レンズ、１３…マイクロレンズアレイ、１４…撮像素子、１０…カードメモリ

Claims (12)

1. 撮影距離の後設定が可能な撮影画像をユーザからの撮影指示に応じて取得する撮像手段と、
   被写界に存在する被写体の被写体距離を前記撮影指示の入力前に監視し、前記後設定が可能な距離範囲であるリフォーカス範囲から前記被写体距離が外れたとき又は外れそうなときに前記ユーザへ警告を行う警告手段と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記警告手段は、
   前記被写体距離及びその変化速度を監視し、所定時間以内に前記リフォーカス範囲から前記被写体距離が外れることが判明したときに前記警告を行う
   ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記警告手段は、
   前記リフォーカス範囲から前記被写体距離が外れるまでの猶予時間が短いときほど前記警告の強度を高める
   ことを特徴とする撮像装置。
4. 請求項１〜請求項３の何れか一項に記載の撮像装置において、
   前記撮影指示の入力前に前記被写界のライブビュー画像をモニタへ表示する表示制御手段を更に備え、
   前記警告手段は、
   前記モニタ上の前記被写体に所定マークを付与することにより前記警告を行う
   ことを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記警告手段は、
   前記被写体距離と前記リフォーカス範囲との関係をグラフとして前記モニタへ表示する
   ことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記警告手段は、
   前記グラフの距離軸を前記モニタの上下方向に一致させ、前記グラフの近距離側を前記モニタの下側に向け、前記グラフの遠距離側を前記モニタの上側に向ける
   ことを特徴とする撮像装置。
7. 請求項１〜請求項６の何れか一項に記載の撮像装置において、
   前記警告手段は、
   前記被写界に存在する複数の前記被写体のうち前記ユーザに指定されたもの以外を前記監視の対象から外す
   ことを特徴とする撮像装置。
8. 請求項１〜請求項７の何れか一項に記載の撮像装置において、
   前記警告手段は、
   前記被写界に存在する複数の前記被写体を前記ユーザの指示に応じて順位付けし、順位の高い被写体ほど前記警告の強度を高める
   ことを特徴とする撮像装置。
9. ユーザからの撮影指示に応じて撮影画像を取得する撮像手段と、
   被写体の指定を伴う前記撮影指示が入力されたときには、その被写体に合焦した前記撮影画像をアフタービュー画像としてモニタへ表示し、被写体の指定を伴わない前記撮影指示が入力されたときには、絞り値が最大である前記撮影画像をアフタービュー画像として前記モニタへ表示する表示制御手段と、
   を備えたことを特徴とする撮像装置。
10. 請求項９に記載の撮像装置において、
    前記撮影画像は、
    撮影条件の後設定が可能な撮影画像であり、
    前記表示制御手段は、
    前記撮影画像の取得後かつ前記アフタービュー画像の表示前に前記撮影画像から前記アフタービュー画像を合成する
    ことを特徴とする撮像装置。
11. 請求項９又は請求項１０に記載の撮像装置において、
    被写体の指定を伴う前記撮影指示は、
    前記モニタに対する前記ユーザの操作により入力され、
    被写体の指定を伴わない前記撮影指示は、
    前記モニタとは別に設けられた操作部材に対する前記ユーザの操作により入力される
    ことを特徴とする撮像装置。
12. 請求項９〜請求項１１の何れか一項に記載の撮影装置において、
    前記表示制御手段は、
    複数の被写体の指定を伴う前記撮影指示が入力されたときには、指定された被写体の全てに合焦した前記撮影画像を前記アフタービュー画像とする
    ことを特徴とする撮像装置。