JP2015026880A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2015026880A
JP2015026880A JP2013153304A JP2013153304A JP2015026880A JP 2015026880 A JP2015026880 A JP 2015026880A JP 2013153304 A JP2013153304 A JP 2013153304A JP 2013153304 A JP2013153304 A JP 2013153304A JP 2015026880 A JP2015026880 A JP 2015026880A
Authority
JP
Japan
Prior art keywords
image
subject
distance
user
warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013153304A
Other languages
English (en)
Inventor
翔 曽宮
Sho Somiya
翔 曽宮
静二 ▲高▼野
静二 ▲高▼野
Seiji Takano
内山 貴之
Takayuki Uchiyama
貴之 内山
彰信 菅
Akinobu Suga
彰信 菅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2013153304A priority Critical patent/JP2015026880A/ja
Publication of JP2015026880A publication Critical patent/JP2015026880A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

【課題】撮影時に、撮影後のリフォーカス範囲の確認をユーザが快適に行うことができる撮像装置を提供する。
【解決手段】撮像装置は、撮影距離の後設定が可能な撮影画像をユーザからの撮影指示に応じて取得する撮像手段と、被写界に存在する被写体の被写体距離を前記撮影指示の入力前に監視し、前記後設定が可能な距離範囲であるリフォーカス範囲から前記被写体距離が外れたとき又は外れそうなときに前記ユーザへ警告を行う警告手段とを備える。
【選択図】図3

Description

本発明は、撮影画像を取得する撮像装置に関する。
近年、撮影条件の後設定が可能な撮影画像を取得するカメラが注目されつつある。このようなカメラとして有名なのが、ライトフィールドカメラ(特許文献1)、フォーカスブラケット撮影可能なカメラ(特許文献2)、カメラアレイ(特許文献3)などである。
ライトフィールドカメラ(特許文献1)によると、撮影距離(被写界における合焦面の距離)、絞り値、視点を後設定することが可能であり、フォーカスブラケット撮影可能なカメラ(特許文献2)によると、撮影距離を後設定することが可能であり、カメラアレイ(特許文献3)によると、撮影距離、視点(又は絞り値)を後設定することが可能である。
また、特許文献3には、ユーザの所望する被写体に合焦した撮影画像(リフォーカス画像)を合成する技術等が開示されており、特許文献2には、AF測光結果により定まるフォーカスブラケット範囲を画面上に表示する技術等が開示されている。
米国特許公報第7936392号明細書 特開2009−80458号公報 特開2011−22796号公報
しかしながら、撮影前後の確認をユーザが快適に行うには、依然として改善の余地があった。
そこで本発明は、撮影前又は撮影後の確認をユーザが快適に行うことを目的とする。
本発明の撮像装置の一例は、撮影距離の後設定が可能な撮影画像をユーザからの撮影指示に応じて取得する撮像手段と、被写界に存在する被写体の被写体距離を前記撮影指示の入力前に監視し、前記後設定が可能な距離範囲であるリフォーカス範囲から前記被写体距離が外れたとき又は外れそうなときに前記ユーザへ警告を行う警告手段とを備える。
本発明の撮像装置の別の例は、ユーザからの撮影指示に応じて撮影画像を取得する撮像手段と、被写体の指定を伴う前記撮影指示が入力されたときには、その被写体に合焦した前記撮影画像をアフタービュー画像としてモニタへ表示し、被写体の指定を伴わない前記撮影指示が入力されたときには、絞り値が最大である前記撮影画像をアフタービュー画像として前記モニタへ表示する表示制御手段とを備える。
本発明によれば、撮影前又は撮影後の確認をユーザが快適に行うことができる。
ライトフィールドカメラを説明する図である。 画像ファイルの構成例である。 撮影モードにおけるライトフィールドカメラ10の動作フローチャートである。 (A)、(C)は、ライブビュー画像の一例であり、(B)は、個々の被写体の被写体距離を説明する模式図である。 グラフ表示の一例を示す図である。 タッチシャッタと通常シャッタとを比較する図である。
[第1実施形態]
以下、本発明の第1実施形態としてライトフィールドカメラを説明する。
図1(A)は、ライトフィールドカメラ10の構成例であり、図1(B)は、ライトフィールドカメラ1を背面から見た様子の一例である。
図1(A)に示すとおりライトフィールドカメラ10には、撮像部11、画像処理部15、カメラ制御部16、システム制御部17、記録インタフェース18、表示部19、操作部材20などが備えられる。このうち撮像部11には、撮影レンズ12、マイクロレンズアレイ13、撮像素子14などが備えられ、記録インタフェース18には記憶媒体であるカードメモリ21が装着される。
撮影レンズ12は、被写界からの光束を結像する結像レンズである。この撮影レンズ12の実際の撮影条件は調節可能であってもよいが、ここでは簡単のため不変と仮定する。また、撮影レンズ12は、仕様の異なる他の撮影レンズとの間で交換可能であってもよいが、ここでは簡単のため、撮影条件が不変の撮影レンズ12がライトフィールドカメラ10に常時装着されていると仮定する。
なお、撮影レンズ12の実際の撮影条件には、撮影レンズ12の実際の撮影距離(撮影レンズ12に関してマイクロレンズアレイ13と共役な面までの距離)と、撮影レンズ12の実際の絞り値と、撮影レンズ12の実際の画角との少なくとも一つが含まれる。
因みに、撮影レンズ12の実際の撮影距離が変化すると、後設定可能な撮影距離の範囲(リフォーカス範囲)が変化し、撮影レンズ12の実際の絞り値が変化すると、後設定可能な絞り値の範囲が変化し、撮影レンズ12の実際の画角が変化すると、後設定可能な視点の範囲が変化するものの、何れの範囲も実際の撮影距離及び実際の絞り値及び実際の画角から一義的に決まる。
マイクロレンズアレイ13は、撮影レンズ12の結像面近傍の面に複数のマイクロレンズを二次元状に配列してなる。
撮像素子14は、マイクロレンズアレイ13に属する個々のマイクロレンズの後側に複数の受光素子(画素)を二次元状に配列してなる。なお、個々のマイクロレンズの後側に位置する画素群(部分撮像素子14a)の画素配列パターンは、個々のマイクロレンズの間で共通である。
ここで、或る1つのマイクロレンズの後側に位置する部分撮像素子14aに着目すると、この部分撮像素子14aの各画素座標a、b、c、d、eへ個別に入射する各光束の間では、撮影レンズ12の射出瞳における通過領域が互いに異なる。このことは、全ての部分撮像素子14aについて同様に当てはまる。
よって、部分撮像素子14a上で1方向に並ぶ画素座標を順にa、b、c、d、eとおき、複数の部分撮像素子14aの間で画素座標の共通する画素同士で1枚ずつ画像を生成したならば、画素座標aから生成される画像Iaと、画素座標bから生成される画像Ibと、画素座標cから生成される画像Icと、画素座標dから生成される画像Idと、画素座標eから生成される画像Ieとの関係は、被写界を互いに異なる視点から撮影した5枚の視差画像の関係と同じになる。よって、以下では画像Ia、Ib、Ic、Id、Ieを「視差画像」と称す。
なお、部分撮像素子14aの実際の画素配列方向は、1方向ではなく2方向に亘っており、部分撮像素子14aの実際の画素数は、「5」よりも十分に大きいが、以下の説明では簡単のため、1方向に並ぶ5つの画素座標a、b、c、d、eのみからなると仮定する。
画像処理部15は、撮像素子14が生成したライトフィールド画像(一連の視差画像Ia、Ib、Ic、Id、Ieからなる)を取り込み、そのライトフィールド画像を不図示のバッファメモリへ一時的に保管する。また、画像処理部15は、システム制御部17からの指示に応じて、バッファメモリ上のライトフィールド画像へ各種の画像処理を施す。
例えば、画像処理部15は、ライトフィールド画像を構成する5枚の視差画像Ia、Ib、Ic、Id、Ieを互いに位置ずらししてから重み付け合成することにより、撮影条件(撮影距離、絞り値、視点)の設定された1枚の撮影画像を作成する。以下、撮影条件の後設定された撮影画像を「リフォーカス画像」と称す。
なお、リフォーカス画像の撮影距離は、視差画像Ia、Ib、Ic、Id、Ieの位置ずらし量によって決まる。例えば、視差画像Ia、Ib、Ic、Id、Ieの位置ずらし量が「ゼロ」であるときには、リフォーカス画像の撮影距離は、撮影レンズ12に関してマイクロレンズアレイ13と共役な面と同じ距離となり、位置ずらし量が「ゼロ」以外の値であるときには、リフォーカス画像の撮影距離は、撮影レンズ12に関してマイクロレンズアレイ13と非共役な面と同じ距離となる。
また、リフォーカス画像の絞り値は、視差画像Ia、Ib、Ic、Id、Ieの重み比によって決まる。例えば、視差画像Ia、Ib、Ic、Id、Ieの重み比が「0:0:1:0:0」であるときには、リフォーカス画像の絞り値は最大となり、視差画像Ia、Ib、Ic、Id、Ieの重み比が「1:1:1:1:1」であるときには、リフォーカス画像の絞り値は最小となる。
また、リフォーカス画像の視点も、視差画像Ia、Ib、Ic、Id、Ieの重み比によって決まる。例えば、視差画像Ia、Ib、Ic、Id、Ieの重み比が「1:0:0:0:0」であるときには、リフォーカス画像の視点は一方の端点となり、視差画像Ia、Ib、Ic、Id、Ieの重み比が「0:0:0:0:1」であるときには、リフォーカス画像の視点は他方の端点となる。
なお、以上の撮像部11の構成には、公知の何れかのライトフィールドカメラの構成が適用可能であり、以上の画像処理部15の動作には、公知の何れかのライトフィールドカメラの動作が適用可能である。公知のライトフィールドカメラとしては、例えば、特開2011−217411号公報、米国特許公報第7936392号明細書、特開2011−259218号公報に開示されたもの等が挙げられる。
カメラ制御部16は、撮像部11を駆動する機構と、その機構を制御する回路とを備えている。このカメラ制御部16は、システム制御部17からの指示に応じて撮像素子14を駆動し、ライトフィールド画像を取得する。
カードメモリ21は、撮像部11が取得したライトフィールド画像の画像ファイル(後述)や、他のライトフィールドカメラで取得されたライトフィールド画像の画像ファイルなどを多数に亘って記憶することのできる記憶媒体である。
記録インタフェース18は、ライトフィールドカメラ10に装着されたカードメモリ21とシステム制御部17との間のインタフェースをとる。この記録インタフェース18は、システム制御部17からの指示に従い、ライトフィールド画像の画像ファイルをカードメモリ21へ書き込んだり、ライトフィールド画像の画像ファイルをカードメモリ21から読み込んだりする。
表示部19は、マルチタッチパネルで構成され、少なくとも、液晶カラーモニタなどのモニタと、そのモニタに対するユーザ操作を検出するマルチタッチセンサとを備える。このうち、マルチタッチセンサは、1本の手指を使用したユーザ操作(タッチ(触る)、スライド(なぞる)、タップ(叩く)、ダブルタップ(2連続で叩く)など)の他に、2本以上の手指を同時に使用したユーザ操作(ピンチ(挟む)、ピンチイン(狭める)、ピンチアウト(拡げる)など)を検出することが可能である。このような表示部19は、システム制御部17からの指示に従い各種の画像を表示すると共に、その画像に対するユーザ操作の内容を検出してシステム制御部17へ送信する。
操作部材20は、不図示の電源釦の他に、図1(B)に示したレリーズ釦20a、再生釦20b、十字釦20cなどの各種の入力スイッチを備える。ユーザは、この操作部材20を介して撮影指示やモード切り換え指示などの各種の指示をシステム制御部17へ入力する。なお、本実施形態ではタッチパネルで構成された表示部19が使用されるので、電源釦以外の操作部材20については省略することも可能である。
システム制御部17は、不図示のROM、RAM、CPUなどを備えたコンピュータである。CPUは、ROMに格納されたプログラムを実行することによりライトフィールドカメラ10の各部を制御し、ライトフィールドカメラ10を撮影モードや再生モードなどの各種のモードで動作させる。なお、RAMは、CPUの動作中に必要となったデータを一時的に格納するメモリである。
因みに、ライトフィールドカメラ10が撮影モードにあるとき、システム制御部17は、ユーザからの撮影指示に応じて撮像部11を駆動してライトフィールド画像を取得すると、そのライトフィールド画像の画像ファイルを作成してカードメモリ21へ保存する。
また、ライトフィールドカメラ10が再生モードにあるとき、システム制御部18は、カードメモリ21上の画像ファイルをサムネイル表示したり、カードメモリ21上の画像ファイルを再生表示したりする。
図2は、画像ファイルの構成例である。図2に示すとおりこの画像ファイルは、ライトフィールド画像を格納した領域と、そのライトフィールド画像の付随情報を格納した領域とを有する。付随情報には、例えば、被写体情報、サムネイル画像、履歴情報などが含まれる。
先ず、被写体情報は、ライトフィールド画像に写っている1又は複数の被写体の各々を説明する情報であり、各被写体の被写体情報には、その被写体の属性情報と、その被写体の存在エリアを示すエリア情報と、その被写体の被写体距離を示す距離情報とが含まれる。
このうち、属性情報には、被写体の種類を示す被写体種類情報(ヒト、建物、樹木、山、海、…)と、同種の被写体を互いに区別するための被写体名情報(Aさん、Bさん、建物1、建物2、樹木1、樹木2、…)とが含まれる。
次に、サムネイル画像は、ライトフィールド画像から作成されたリフォーカス画像のサイズ縮小版である。ここでは、撮影条件(撮影距離、絞り値、視点の組み合わせ)の異なる複数のサムネイル画像が画像ファイルに格納されていると仮定する。複数のサムネイル画像の中には、パンフォーカス画像のサムネイル画像のサムネイル画像(=被写界深度が最大、つまり絞り値が最大であるリフォーカス画像のサムネイル画像)も含まれる。
次に、履歴情報は、画像ファイルの再生時又はサムネイル表示時に採用された撮影条件の履歴を示しており、少なくとも最近に採用された撮影条件(前回の撮影条件)の情報を含む。
なお、以上の付随情報のうち、被写体情報及びサムネイル画像は、画像ファイルが作成されるタイミング又は必要なタイミングで、画像処理部15がライトフィールド画像から抽出したものである。或いは、画像ファイルが作成されたタイミング又は必要なタイミングで、別のライトフィールドカメラ又はパーソナルコンピュータがライトフィールド画像から抽出したものである。
また、以上の付随情報のうち、履歴情報は、画像ファイルがサムネイル表示又は再生表示されたタイミングで、システム制御部17が書き込んだものである。或いは、画像ファイルがサムネイル表示又は再生表示されたタイミングで、別のライトフィールドカメラ又はパーソナルコンピュータが書き込んだものである。
因みに、ライトフィールド画像から被写体のエリア情報及び属性情報を抽出するためには、テンプレートマッチングなどの公知の被写体抽出処理をライトフィールド画像に施せばよい。但し、全ての被写体のエリア情報及び属性情報を抽出するためには、そのライトフィールド画像から撮影距離の異なる複数のリフォーカス画像を作成すると共に、それら複数のリフォーカス画像の各々に対して被写体抽出処理を施す必要がある。或いは、そのライトフィールド画像からパンフォーカス画像を作成すると共に、そのパンフォーカス画像に対して被写体抽出処理を施す必要がある。なお、パンフォーカス画像は、被写界深度が最大(絞り値が最大)のリフォーカス画像に相当する。また、ライトフィールド画像から被写体の距離情報を抽出するためには、ライトフィールド画像を構成する少なくとも2枚の視差画像に対して、その被写体の座標に応じた距離算出処理を施す必要がある。
なお、以上の説明では、各画像ファイルの付随情報の格納先を各画像ファイルとしたが、各画像ファイルの付随情報の一部又は全部の格納先を、各画像ファイルを管理するデータベースとしてもよい。このデータベースでは、各画像ファイルの付随情報は、各画像ファイルのファイル名に対応づけられる。このデータベースの保管先は、例えば、カードメモリ21である。
以下、撮影モードにおけるライトフィールドカメラ10の動作を説明する。
図3は、撮影モードにおけるライトフィールドカメラ10の動作フローチャートである。以下、各ステップを順に説明する。
ステップS11:システム制御部17は、撮像部11を高速駆動モードで駆動し、現フレームのスルー画像を取得すると、そのスルー画像をバッファメモリへ格納する。画像処理部15は、そのスルー画像から現フレームのリフォーカス画像を生成し、システム制御部17は、そのリフォーカス画像をライブビュー画像として表示部19へ送出する。これによって、被写界のライブビュー表示が開始される(図4(A)参照)。
ここで、スルー画像は、保存用の画像ではないため、解像度は低くても構わないが、ライブビュー表示のリアルタイム性を重視するならば、なるべく短いフレーム周期で取得されることが望まれる。また、後述するステップS13では、被写体距離の算出をスルー画像に基づき行うので、このスルー画像には、視点の異なる2以上の視差画像が含まれている必要がある。よって、高速駆動モードにおける撮像部11は、例えば、読み出しの対象となる画素座標を3種類の画素座標a、c、eのみに制限した「間引き読み出し」を行い、視差画像Ia、Ic、Ieのみからなるライトフィールド画像をスルー画像として取得する。
また、ライブビュー画像は、全ての被写体を明確に写していることが望ましいので、ライブビュー表示中の画像処理部15は、例えば、視点が正面であって絞り値が最大であるパンフォーカス画像を、ライブビュー画像とする。
ステップS12:画像処理部15は、現フレームのライブビュー画像に対して被写体抽出処理を施すことにより、現フレームに写っている全ての被写体のエリア情報及び属性情報を既知とする。
ステップS13:画像処理部15は、現フレームのスルー画像に対して個々の被写体の座標に応じた距離算出処理を施すことにより、現フレームに写っている全ての被写体の被写体距離を既知とする。
なお、ここでは被写体距離の算出をスルー画像に基づき行ったが、ライトフィールドカメラ10に測距センサが搭載されている場合は、測距センサの出力値に基づき被写体距離を算出してもよい。
ステップS14:画像処理部15は、前フレームに写っていた各被写体の属性情報及び被写体距離と、現フレームに写っている各被写体の属性情報及び被写体距離と、高速駆動モードのフレーム周期とに基づき、被写体距離の変化速度(以下、「距離変化速度」と称す。)を被写体ごとに算出する。但し、初回のステップS14では、前フレームの情報が存在しないので、距離変化速度の算出は省略される。
因みに、或る被写体の距離変化速度Vは、その被写体の現フレームにおける被写体距離Lと、その被写体の前フレームにおける被写体距離L’と、フレーム周期Tとにより、V=(L’−L)/Tなどと表される。
なお、ここでは距離変化速度Vの算出に被写体距離のフレーム間差分を利用したが、被写体距離のフレーム間差分の代わりに、被写体サイズのフレーム間差分を利用してもよい(なぜなら、フレーム内の被写体サイズが大きいときほど被写体距離が短いとみなせるからである。)。
ステップS15:システム制御部17は、現フレームにおける各被写体の被写体距離Lと、各被写体の距離変化速度Vと、ライトフィールドカメラ10のリフォーカス範囲とに基づき、被写体距離がリフォーカス範囲から外れるまでの猶予時間Tを被写体ごとに算出し、猶予時間Tが閾値Thを下回った被写体(以下、「ボーダー被写体」と称す。)があった場合にはステップS16へ移行し、ボーダー被写体が無かった場合にはステップS17へ移行する。
因みに、ライトフィールドカメラ10のリフォーカス範囲は、撮像部11の仕様及び撮影レンズ12のレンズポジションによって決まるものであって、例えば、図4(B)に示すとおりリフォーカス範囲の近距離端Lnearは1m、遠距離端Lfarは無限遠方(∞m)である。遠距離端Lfarが無限遠方である場合、猶予時間Tは、T=(L−Lnear)/Vで表される。
よって、図4(B)に示すとおり全ての被写体がリフォーカス範囲に収まっていたとしても、或る被写体(ヒト)の距離変化速度Vが正の大きな値であるときには、その被写体(ヒト)の猶予時間Tが閾値Thを下回ることがあって、その場合は、その被写体(ヒト)がボーダー被写体とみなされる。
ステップS16:システム制御部17は、表示部19上のボーダー被写体(ヒト)に所定のマークを付与することにより警告を行う。所定のマークとしては、例えば、図4(C)に示すようなハッチングパターンが有効である。ハッチングパターンによると、ボーダー被写体(ヒト)を、非ボーダー被写体(建物、樹木、自動車)よりも目立たせることができる。
したがって、ユーザは、ボーダー被写体の出現をライブビュー画像上で即座に認識することができる。ここでいう「ボーダー被写体」は、現時点で被写体距離がリフォーカス範囲から外れている被写体だけでなく、所定時間以内に被写体距離がリフォーカス範囲から外れる被写体をも含んでいる。
なお、本ステップのシステム制御部17は、猶予時間Tが短いときほど警告の強度を高めてもよい。例えば、システム制御部17は、複数種類のハッチングパターンを予め用意しておき、猶予時間Tが長いときは(注意レベルの警告では)比較的シンプルなハッチングパターンである斜線パターンを使用し、猶予時間Tが短いときは(危険レベルの警告では)比較的複雑なハッチングパターンである網掛けパターンを使用してもよい。
また、本ステップのシステム制御部17は、ボーダー被写体に所定マーク(ハッチングパターン)を付与する代わりに、ボーダー被写体の表示色(輝度や彩度など)を強調してもよい。
また、本ステップのシステム制御部17は、個々の被写体の被写体距離がリフォーカス範囲のどの辺りであるのかが明確となるよう、個々の被写体の被写体距離とリフォーカス範囲との関係を、例えば図5に示すとおり表示部19の右端(又は左端)にグラフとして表示してもよい。
このグラフの距離軸は、ユーザからみて上下方向に一致しており、このグラフの近距離側は、ユーザから見て下側であり、このグラフの遠距離側は、ユーザから見て上側である。よって、ユーザは、グラフの意味するところを直感的に理解することができる。
また、このグラフにおいて、個々の被写体の被写体距離は、図5に示すとおり、個々の被写体のアイコンによってプロットされていることが望ましい。或る被写体のアイコンは、その被写体の画像を簡略化したものであってもよいし、予め用意された様々なアイコンのうち、その被写体に最も類似したアイコンであってもよい。
また、このグラフ上でも、非ボーダー被写体のアイコンと区別するために、ボーダー被写体のアイコンには、ボーダー被写体と同種のマーク(例えばハッチングパターン)が付与されていることが望ましい。或いは、ボーダー被写体のアイコンに所定マークを付与する代わりに、ボーダー被写体のアイコンの表示色(輝度や彩度など)を強調してもよい。
したがって、ユーザは、個々の被写体の被写体距離とリフォーカス範囲との関係をライブビュー画像上で直感的に理解することができる。
ステップS17:システム制御部17は、ユーザから撮影指示が入力されたか否かを判別し、入力された場合はステップS18へ移行し、入力されない場合はステップS11へ戻る。
ここで、本実施形態のユーザが入力できる撮影指示には、被写体の指定を伴う「タッチシャッタ」と、被写体の指定を伴わない「通常シャッタ」との2つがある。
タッチシャッタは、図6(A)に示すとおり表示部19上の被写体をタップ(叩く)することによる撮影指示であり、通常シャッタは、図6(B)に示すとおりレリーズ釦20aの押下による撮影指示である。なお、図6(A)では、2つの被写体(ヒト、自動車)が同時にタップされた場合を示した。本実施形態の表示部19はマルチタッチパネルを有するので、同時に複数のタップポイントを区別して認識することができる。
ステップS18:システム制御部17は、先のステップS17で入力された撮影指示が「タッチシャッタ」と「通常シャッタ」との何れであったかを判別し、「タッチシャッタ」であった場合にはステップS19へ移行し、「通常シャッタ」であった場合にはステップS20へ移行する。
ステップS19:システム制御部17は、撮像部11を詳細駆動モードで駆動し、新たなフレームのライトフィールド画像を保存用画像として取得すると、その保存用画像をバッファメモリへ格納する。画像処理部15は、その保存用画像から被写体情報及びサムネイル画像を抽出する。続いて、システム制御部17は、表示部19上の1又は複数のタップポイントに位置する1又は複数の被写体の被写体距離範囲を認識し、画像処理部15は、バッファメモリ上の保存用画像に基づき、その被写体距離範囲と同じ合焦範囲を有したリフォーカス画像(その被写体距離範囲内の各物体にピントの合ったリフォーカス画像)を、アフタービュー画像として作成する。
なお、アフタービュー画像の合焦範囲を所望の範囲に設定するために、画像処理部15は、そのアフタービュー画像の撮影距離と絞り値との組み合わせを適切な組み合わせに設定する。
また、本ステップの画像処理部15は、アフタービュー画像の撮影距離及び絞り値以外の撮影条件(=視点)を、デフォルトの撮影条件又はユーザが予め指定した撮影条件のそれ(=視点)と同じに設定する。
また、保存用画像は、スルー画像よりも解像度が高いことが望まれるので、詳細駆動モードにおける撮像部11は、読み出しの対象となる画素座標を5種類の画素座標a、b、c、d、eの全部とした「全画素読み出し」を行い、視差画像Ia、Ib、Ic、Id、Ieからなるライトフィールド画像を保存用画像として取得する。
ステップS20:システム制御部17は、撮像部11を詳細駆動モードで駆動し、新たなフレームのライトフィールド画像を保存用画像として取得すると、その保存用画像をバッファメモリへ格納する。画像処理部15は、その保存用画像から被写体情報及びサムネイル画像を抽出する。続いて、画像処理部15は、バッファメモリ上の保存用画像に基づき、絞り値が最大であるパンフォーカス画像をアフタービュー画像として作成する。
なお、本ステップの画像処理部15は、アフタービュー画像の視点を、ステップS19におけるそれと同じに設定する。
ステップS21:システム制御部17は、前のステップで作成されたアフタービュー画像を表示部19へ表示することにより、アフタービュー表示を開始する。
したがって、ユーザの入力した撮影指示が「タッチシャッタ」であった場合は、図6(A’)に示すとおりユーザのタップした被写体に合焦したリフォーカス画像がアフタービュー画像として表示され、ユーザの入力した撮影指示が「通常シャッタ」であった場合は、図6(B’)に示すとおり全ての被写体に合焦したパンフォーカス画像がアフタービュー画像として表示される。
よって、ユーザは、撮影指示の入力操作を「タッチシャッタ」と「通常シャッタ」との間で切り換えるだけで、アフタービュー画像の撮影距離と絞り値との組み合わせを切り換えることができる。
ステップS22:システム制御部17は、保存用画像の画像ファイル(図2参照)を作成し、その画像ファイルを記録インタフェース18へ送出することにより、その画像ファイルをカードメモリ21に保存する(以上、撮像モード)。
[第1実施形態の変形例]
なお、第1実施形態では、ライブビュー画像に写っている全ての被写体を監視対象としたが、ユーザから指定された被写体以外の被写体を、監視対象から外してもよい。
例えば、撮影モード中にユーザが特定操作を行うと、ライトフィールドカメラ10が被写体指定モードに移行し、表示部19上をユーザがタップすると、そのタップポイントに位置する被写体以外の被写体が監視対象から外される。その後、ユーザが特定操作を行うと、指定モードが解除され、撮影モードに戻る。
また、第1実施形態では、ライブビュー画像に写っている複数の被写体を同じ方法で警告したが、複数の被写体をユーザの指示に応じて順位付けし、順位の高い被写体ほど警告の強度(マークの種類、警告タイミングなど)を高くしてもよい(例えば、順位の高い被写体ほど警告タイミングを早くするために、順位の高い被写体ほど閾値Thを大きめに設定してもよい。)。
例えば、撮影モード中にユーザが特定操作を行うと、ライトフィールドカメラ10が順位付けモードに移行し、表示部19上の複数ポイントをユーザが順次にタップすると、それらタップポイントに位置する各被写体に対して、そのタップの順序に応じた順位がつけられる。その後、ユーザが特定操作を行うと、順位付けモードが解除され、撮影モードに戻る。
また、第1実施形態では、被写体の指定を伴う撮影指示として、ライブビュー画面上でユーザが所望の被写体をタップする「タッチシャッタ」を採用したが、他の特定操作による撮影指示を採用してもよい。例えば、ユーザが十字釦20cを操作して表示部19上のカーソル19a(図1(B)参照)を移動させ、カーソル19aが所望の被写体上に位置したときにOK釦を押下することで、被写体の指定を伴う撮影指示をライトフィールドカメラ10へ入力してもよい。
また、第1実施形態では、ステップS19で作成するアフタービュー画像を、「複数の被写体の被写体距離範囲と同じ範囲に合焦範囲を有するリフォーカス画像」としたが、「複数の被写体の各々の存在エリアが合焦画像となったリフォーカス画像」としてもよい。この場合、ステップS19の代わりに以下のステップS19’を実行すればよい。
ステップS19’:システム制御部17は、撮像部11を詳細駆動モードで駆動し、新たなフレームのライトフィールド画像を保存用画像として取得すると、その保存用画像をバッファメモリへ格納する。画像処理部15は、その保存用画像から被写体情報及びサムネイル画像を抽出すると共に、その保存用画像に基づき、デフォルトの撮影条件(又はユーザが予め指定した撮影条件)を有したリフォーカス画像と、そのリフォーカス画像と視点が共通であって絞り値が最大であるパンフォーカス画像との双方を作成する。続いて、システム制御部17は、表示部19上の1又は複数のタップポイントに位置する1又は複数の被写体の各々の外接長方形(図6(A’)の点線部を参照)をユーザの指定エリアとして認識し、画像処理部15は、リフォーカス画像から非指定エリアに対応する部分画像を参照すると共に、パンフォーカス画像から指定エリアに対応する部分画像を参照し、それらの部分画像を互いに合成してなる合成画像を、アフタービュー画像として作成する(以上、ステップS19’)。
また、第1実施形態では、複数の被写体の指定を伴う撮影指示を入力するために、それら複数の被写体をユーザが同時にタップしたが、それら複数の被写体をユーザが順次にタップしてもよい。
その場合、システム制御部17は、表示部19上の複数ポイントをユーザが順次にタップすると、それらタップポイントに位置する複数の被写体をユーザが指定した被写体とみなし、最後にタップされてから所定時間(例えば1秒)が経過するまで何の操作も行われなかった場合に(又はダブルタップなどの特定操作が行われたタイミングで)、撮影指示が入力されたとみなせばよい。
また、第1実施形態では、複数の被写体の指定を伴う撮影指示を入力するために、それら複数の被写体をユーザが同時にタップしたが、それら複数の被写体を通る曲線上をユーザが指でスライドしてもよい。
その場合、システム制御部17は、表示部19上の曲線上をユーザの指がスライドすると、その曲線上に位置する1又は複数の被写体をユーザが指定した被写体とみなし、その指が表示部19から離れたタイミングで、撮影指示が入力されたとみなせばよい。
或いは、システム制御部17は、表示部19上の2以上の曲線上をユーザの指がスライドすると、それら2以上の曲線上に位置する1又は複数の被写体をユーザが指定した被写体とみなし、最後に指が表示部19から離れてから所定時間(例えば1秒)が経過するまで何の操作も行われなかった場合に(又はダブルタップなどの特定操作が行われたタイミングで)、撮影指示が入力されたとみなせばよい。
また、第1実施形態では、後設定可能な撮影条件として、撮影距離、絞り、視点の3つを説明したが、後設定可能な撮影条件に、「合焦面の姿勢又は形状」、すなわち「リフォーカス画像内の撮影距離の分布」を加えてもよい。
また、第1実施形態では、ライトフィールドカメラ10を説明したが、撮影条件の後設定が可能な撮影画像を取得できる他のカメラ、例えば、フォーカスブラケット撮影が可能なカメラ、カメラアレイなどにも本発明は適用が可能である。
また、第1実施形態では、カメラを説明したが、撮像機能を有した任意の装置に本発明は適用が可能である。例えば、カメラ付きタブレットPC、カメラ付きスマートフォン、カメラ付きデスクトップ型PC、カメラ付きノートPCなどにも本発明は適用が可能である。
また、コンピュータ実行可能なプログラム又はそれを記憶した記憶媒体に対して第1実施形態の装置の一部の機能を付与してもよい。
[第1実施形態の作用効果]
以上、第1実施形態の撮像装置(撮像部11、画像処理部15、カメラ制御部16、システム制御部17)は、撮影距離の後設定が可能な撮影画像(保存用画像)をユーザからの撮影指示に応じて取得する撮像手段(撮像部11、カメラ制御部16、システム制御部17)と、被写界に存在する被写体の被写体距離を前記撮影指示の入力前に監視し、前記後設定が可能な距離範囲であるリフォーカス範囲から前記被写体距離が外れたとき又は外れそうなときに前記ユーザへ警告を行う警告手段(撮像部11、画像処理部15、システム制御部17)とを備える。
したがって、前記ユーザは、現時点で被写体距離がリフォーカス範囲から外れている被写体又は被写体距離がリフォーカス範囲から外れそうな被写体を即座に認識することができる。
なお、前記警告手段(撮像部11、画像処理部15、システム制御部17)は、前記被写体距離及びその変化速度を監視し、所定時間以内に前記リフォーカス範囲から前記被写体距離が外れることが判明したときに前記警告を行う。
したがって、前記ユーザは、所定時間以内に被写体距離がリフォーカス範囲から外れる被写体を即座に認識することができる。
また、前記警告手段(撮像部11、画像処理部15、システム制御部17、表示部19)は、前記リフォーカス範囲から前記被写体距離が外れるまでの猶予時間が短いときほど前記警告の強度を高める。
したがって、前記ユーザは、前記猶予期間の長さを直感的に知ることができる。
また、第1実施形態の撮像装置(撮像部11、画像処理部15、カメラ制御部16、システム制御部17)は、前記撮影指示の入力前に前記被写界のライブビュー画像をモニタ(表示部19)へ表示する表示制御手段(システム制御部17)を更に備え、前記警告手段(撮像部11、画像処理部15、システム制御部17、表示部19)は、前記モニタ(表示部19)上の前記被写体に所定マークを付与することにより前記警告を行う。
したがって、前記ユーザは、被写体距離がリフォーカス範囲から外れている被写体又は被写体距離がリフォーカス範囲から外れそうな被写体を視覚により認識することができる。
また、前記警告手段(撮像部11、画像処理部15、システム制御部17)は、前記被写体距離と前記リフォーカス範囲との関係をグラフとして前記モニタ(表示部19)へ表示する。
したがって、前記ユーザは、前記被写体距離が前記リフォーカス範囲のどの辺りに位置するのかを、視覚により認識することができる。
また、前記警告手段(撮像部11、画像処理部15、システム制御部17)は、前記グラフの距離軸を前記モニタ(表示部19)の上下方向に一致させ、前記グラフの近距離側を前記モニタの下側に向け、前記グラフの遠距離側を前記モニタの上側に向ける。
したがって、前記ユーザは、前記グラフの意味するところを、直感的に理解することができる。
また、前記警告手段(撮像部11、画像処理部15、システム制御部17)は、前記被写界に存在する複数の前記被写体のうち前記ユーザに指定されたもの以外を前記監視の対象から外す。
したがって、前記ユーザは、前記警告の対象を自分の指定した被写体のみに制限することができる。
また、前記警告手段(撮像部11、画像処理部15、システム制御部17)は、前記被写界に存在する複数の前記被写体を前記ユーザの指示に応じて順位付けし、その順位の高い被写体ほど前記警告の強度を高める。
したがって、前記ユーザは、被写体の順位を前記警告の強度によって認識することができる。よって、例えば、前記ユーザは順位の高い被写体が優先的にリフォーカス範囲内に収まるよう前記撮像装置のフレーミングを行うことも可能である。
また、第1実施形態の撮像装置(撮像部11、画像処理部15、カメラ制御部16、システム制御部17)は、ユーザからの撮影指示に応じて撮影画像(保存用画像)を取得する撮像手段と、被写体の指定を伴う前記撮影指示(例えばタッチシャッタによる撮影指示)が入力されたときには、その被写体に合焦した前記撮影画像をアフタービュー画像としてモニタへ表示し、被写体の指定を伴わない前記撮影指示(例えばレリーズ釦による撮影指示)が入力されたときには、絞り値が最大である前記撮影画像(パンフォーカス画像)をアフタービュー画像として前記モニタ(表示部19)へ表示する表示制御手段(システム制御部17)とを備える。
したがって、前記ユーザは、前記撮影指示の入力操作を切り換えるだけで、前記アフタービュー画像の合焦先を、一部の被写体と全部の被写体との間で切り換えることができる。
なお、前記撮影画像(保存用画像)は、撮影条件の後設定が可能な撮影画像であり、前記表示制御手段(システム制御部17)は、前記撮影画像(保存用画像)の取得後かつ前記アフタービュー画像の表示前に前記撮影画像(保存用画像)から前記アフタービュー画像を合成する。
したがって、前記撮影指示の入力から前記撮影画像(保存用画像)が取得されるまでのタイムラグは、短く抑えられる。
また、被写体の指定を伴う前記撮影指示(例えばタッチシャッタによる撮影指示)は、前記モニタ(表示部19)に対する前記ユーザの操作により入力され、被写体の指定を伴わない前記撮影指示(例えばレリーズ釦による撮影指示)は、前記モニタ(表示部19)とは別に設けられた操作部材(例えばレリーズ釦20)に対する前記ユーザの操作により入力される。
したがって、前記ユーザは、前記撮影指示の入力操作を、前記モニタ(表示部19)の操作と前記操作部材(例えばレリーズ釦)の操作との間で切り換えるだけで、前記アフタービュー画像の合焦先を、一部の被写体と全部の被写体との間で切り換えることができる。
また、前記表示制御手段(システム制御部17)は、複数の被写体の指定を伴う前記撮影指示が入力されたときには、指定された被写体の全てに合焦した前記撮影画像を前記アフタービュー画像とする。
したがって、前記ユーザは、前記アフタービュー画像上で1又は複数の任意の被写体を、詳細確認することができる。
11…撮像部、15…画像処理部、16…カメラ制御部、17…システム制御部、18…記録インタフェース、19…表示部、20…操作部材、12…撮影レンズ、13…マイクロレンズアレイ、14…撮像素子、10…カードメモリ

Claims (12)

  1. 撮影距離の後設定が可能な撮影画像をユーザからの撮影指示に応じて取得する撮像手段と、
    被写界に存在する被写体の被写体距離を前記撮影指示の入力前に監視し、前記後設定が可能な距離範囲であるリフォーカス範囲から前記被写体距離が外れたとき又は外れそうなときに前記ユーザへ警告を行う警告手段と、
    を備えたことを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記警告手段は、
    前記被写体距離及びその変化速度を監視し、所定時間以内に前記リフォーカス範囲から前記被写体距離が外れることが判明したときに前記警告を行う
    ことを特徴とする撮像装置。
  3. 請求項2に記載の撮像装置において、
    前記警告手段は、
    前記リフォーカス範囲から前記被写体距離が外れるまでの猶予時間が短いときほど前記警告の強度を高める
    ことを特徴とする撮像装置。
  4. 請求項1〜請求項3の何れか一項に記載の撮像装置において、
    前記撮影指示の入力前に前記被写界のライブビュー画像をモニタへ表示する表示制御手段を更に備え、
    前記警告手段は、
    前記モニタ上の前記被写体に所定マークを付与することにより前記警告を行う
    ことを特徴とする撮像装置。
  5. 請求項4に記載の撮像装置において、
    前記警告手段は、
    前記被写体距離と前記リフォーカス範囲との関係をグラフとして前記モニタへ表示する
    ことを特徴とする撮像装置。
  6. 請求項5に記載の撮像装置において、
    前記警告手段は、
    前記グラフの距離軸を前記モニタの上下方向に一致させ、前記グラフの近距離側を前記モニタの下側に向け、前記グラフの遠距離側を前記モニタの上側に向ける
    ことを特徴とする撮像装置。
  7. 請求項1〜請求項6の何れか一項に記載の撮像装置において、
    前記警告手段は、
    前記被写界に存在する複数の前記被写体のうち前記ユーザに指定されたもの以外を前記監視の対象から外す
    ことを特徴とする撮像装置。
  8. 請求項1〜請求項7の何れか一項に記載の撮像装置において、
    前記警告手段は、
    前記被写界に存在する複数の前記被写体を前記ユーザの指示に応じて順位付けし、順位の高い被写体ほど前記警告の強度を高める
    ことを特徴とする撮像装置。
  9. ユーザからの撮影指示に応じて撮影画像を取得する撮像手段と、
    被写体の指定を伴う前記撮影指示が入力されたときには、その被写体に合焦した前記撮影画像をアフタービュー画像としてモニタへ表示し、被写体の指定を伴わない前記撮影指示が入力されたときには、絞り値が最大である前記撮影画像をアフタービュー画像として前記モニタへ表示する表示制御手段と、
    を備えたことを特徴とする撮像装置。
  10. 請求項9に記載の撮像装置において、
    前記撮影画像は、
    撮影条件の後設定が可能な撮影画像であり、
    前記表示制御手段は、
    前記撮影画像の取得後かつ前記アフタービュー画像の表示前に前記撮影画像から前記アフタービュー画像を合成する
    ことを特徴とする撮像装置。
  11. 請求項9又は請求項10に記載の撮像装置において、
    被写体の指定を伴う前記撮影指示は、
    前記モニタに対する前記ユーザの操作により入力され、
    被写体の指定を伴わない前記撮影指示は、
    前記モニタとは別に設けられた操作部材に対する前記ユーザの操作により入力される
    ことを特徴とする撮像装置。
  12. 請求項9〜請求項11の何れか一項に記載の撮影装置において、
    前記表示制御手段は、
    複数の被写体の指定を伴う前記撮影指示が入力されたときには、指定された被写体の全てに合焦した前記撮影画像を前記アフタービュー画像とする
    ことを特徴とする撮像装置。
JP2013153304A 2013-07-24 2013-07-24 撮像装置 Pending JP2015026880A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013153304A JP2015026880A (ja) 2013-07-24 2013-07-24 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013153304A JP2015026880A (ja) 2013-07-24 2013-07-24 撮像装置

Publications (1)

Publication Number Publication Date
JP2015026880A true JP2015026880A (ja) 2015-02-05

Family

ID=52491238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013153304A Pending JP2015026880A (ja) 2013-07-24 2013-07-24 撮像装置

Country Status (1)

Country Link
JP (1) JP2015026880A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015080169A (ja) * 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置及びその制御方法
JP2017034474A (ja) * 2015-07-31 2017-02-09 キヤノン株式会社 撮像装置およびその制御方法
JP2017092529A (ja) * 2015-11-02 2017-05-25 キヤノン株式会社 撮像装置及び撮像方法
JP2019113856A (ja) * 2019-02-20 2019-07-11 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2021005064A (ja) * 2019-06-27 2021-01-14 パナソニックIpマネジメント株式会社 撮像装置
US11924549B2 (en) 2019-06-27 2024-03-05 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015080169A (ja) * 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置及びその制御方法
JP2017034474A (ja) * 2015-07-31 2017-02-09 キヤノン株式会社 撮像装置およびその制御方法
JP2017092529A (ja) * 2015-11-02 2017-05-25 キヤノン株式会社 撮像装置及び撮像方法
JP2019113856A (ja) * 2019-02-20 2019-07-11 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2021005064A (ja) * 2019-06-27 2021-01-14 パナソニックIpマネジメント株式会社 撮像装置
JP7390636B2 (ja) 2019-06-27 2023-12-04 パナソニックIpマネジメント株式会社 撮像装置
US11924549B2 (en) 2019-06-27 2024-03-05 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus

Similar Documents

Publication Publication Date Title
JP5178553B2 (ja) 撮像装置
JP2015026880A (ja) 撮像装置
JP2005318554A5 (ja)
JP2010093422A (ja) 撮像装置
JP2016024489A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2013088579A (ja) 撮像装置
CN104641275B (zh) 成像控制装置、成像设备和成像控制装置执行的控制方法
JP2019176249A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP2014011721A5 (ja)
JP2014157425A (ja) 撮像装置及びその制御方法
JP5078781B2 (ja) 画像表示装置及び撮像装置
JP2017227725A5 (ja)
JP2017135660A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2014017665A (ja) 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体
JP6431429B2 (ja) 撮像装置およびその制御方法、プログラム、ならびに記憶媒体
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
JP5822700B2 (ja) 画像撮影方法および画像撮影装置、プログラム
JP2019087923A (ja) 撮像装置、撮像方法およびプログラム
JP6307803B2 (ja) 画像処理装置、画像表示装置、撮像装置
JP2014027436A (ja) 被写体追尾装置及び撮像装置
JP2015198340A (ja) 画像処理装置およびその制御方法、並びにプログラム
JP6221452B2 (ja) 画像処理装置、画像表示装置、及び撮像装置
JP2020181401A (ja) 画像処理装置、画像処理方法及びプログラム
JP2007213083A (ja) 画像処理システム、画像処理方法、画像処理装置、画像処理プログラム
JP2015002476A (ja) 撮像処理装置