JP2015139018A - 電子機器及び制御プログラム - Google Patents

Abstract

【課題】ライブビュー画像中の所定被写体の領域の画像を補完可能であるか否かを使用者に報知する。【解決手段】一又は複数の被写体を撮像する撮像部１０と、撮像部１０が撮像した一又は複数の被写体のライブビュー画像を生成する画像生成部３１と、所定被写体の領域の画像を補完可能であるか否かを判定する判定部７２と、判定部７２による判定結果を報知する報知部７３とを備える。【選択図】図３

Description

本発明は、電子機器及び制御プログラムに関する。

被写体の撮影後に合焦位置や視点などを設定することが可能な電子機器が知られている。この種の電子機器としてライトフィールドカメラがある（例えば特許文献１参照）。このライトフィールドカメラは、撮像部がカメラに入射する多数の光線をライトフィールド（光線空間）として取得する。そして、ライトフィールドカメラは、取得したライトフィールドの情報に対して画像処理を施すことで合焦位置などを変更した画像を生成する。

特開２０１０−６８０１８号公報

しかし、上記した電子機器においては、撮影後に焦点調節を行うリフォーカス機能などが実現されているが、このような電子機器の使い勝手が十分ではなく、依然として改善の余地があった。

本発明の態様では、ライブビュー画像中の所定被写体の領域の画像を補完可能であるか否かを使用者に報知することを目的とする。

本発明の第１態様によれば、一又は複数の被写体を撮像する撮像部と、撮像部が撮像した一又は複数の被写体のライブビュー画像を生成する画像生成部と、所定被写体の領域の画像を補完可能であるか否かを判定する判定部と、判定部による判定結果を報知する報知部と、を備える電子機器が提供される。

本発明の第２態様によれば、一又は複数の被写体を撮像する撮像部を有する電子機器の制御装置に、撮像部が撮像した一又は複数の被写体のライブビュー画像を生成する画像生成処理と、所定被写体の領域の画像を補完可能であるか否かを判定する判定処理と、判定処理による判定結果を報知する報知処理と、を実行させる制御プログラムが提供される。

本発明の態様によれば、ライブビュー画像中の所定被写体の領域の画像を補完可能であるか否かを使用者に報知することができる。

電子機器の一例であるライトフィールドカメラにおける光学系部分の概略構成を示す断面図である。 撮像素子の画素配列と入射領域とを説明する図である。 第１実施形態に係るライトフィールドカメラの構成を示すブロック図である。 画像の再構成を説明する図である。 第１実施形態の画像処理部が実行する画像処理を説明するためのフローチャートである。 ライトフィールドカメラと各被写体との距離関係を示す図である。 表示部の表示画面に表示されるライブビュー画像の表示例を示す図である。 第１実施形態のシステム制御部が実行する撮影動作を説明するためのフローチャートである。 第１実施形態のライブビュー画像及び静止画の表示例を示す図である。 第２実施形態のライブビュー画像及び静止画の表示例を示す図である。 第３実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。なお、以下の各実施形態では、電子機器としてライトフィールドカメラを例に挙げて説明する。

＜第１実施形態＞
図１は、電子機器の一例であるライトフィールドカメラにおける光学系部分の概略構成を示す断面図である。なお、図１において、紙面の右方向（光軸方向）をＸ軸とし、Ｘ軸と直交する紙面の上方向をＺ軸とし、Ｘ軸及びＺ軸と直交する紙面の裏から表に向かう方向をＹ軸としている。また、図１は、ライトフィールドカメラにおける光学系部分を光軸を含む面で切断したときの断面図である。

本実施形態のライトフィールドカメラは、三次元空間の光線集合であるライトフィールド（光線空間）の情報を取得し、取得したライトフィールドの情報に基づいて画像を生成する。以下の説明では、ライトフィールドの情報を光線情報という。ライトフィールドカメラの代表的な機能としては、撮影後の後処理によって焦点距離を変更した画像を生成するリフォーカス機能がある。従って、ライトフィールドカメラはリフォーカスカメラとも呼ばれる。

本実施形態のライトフィールドカメラは、その光学系部分として、撮影光学系（結像光学系）１１及びマイクロレンズアレイ１２を備えている。なお、図１には、ライトフィールドカメラにおける光学系部分以外の構成である撮像素子２０についても示している。

撮影光学系１１は、複数のレンズ群で構成される単焦点レンズである。撮影光学系１１は、被写体からの光束をその焦点面（結像面）近傍に結像する。また、撮影光学系１１は、撮影時に絞り値（Ｆ値）を制御する開口絞り（不図示）を備えている。なお、絞り値は撮影後の画像の再構成によって変更することができるため、開口絞りの開口径は固定でもよい。図１に示すように、撮影光学系１１の焦点面近傍にマイクロレンズアレイ１２と撮像素子２０とが順に配置されている。

マイクロレンズアレイ１２は、正のパワーを有した複数のマイクロレンズ（正レンズ）が二次元状に配置された構成となっている。なお、図１に示すマイクロレンズアレイ１２においては、３つのマイクロレンズだけがＺ軸方向に配されているが、実際はＺ軸方向及びＹ軸方向に多数のマイクロレンズが配されている。

撮像素子２０は、マイクロレンズアレイ１２の後側（撮影光学系１１の反対側）に若干の間隔をおいて配置されている。この撮像素子２０は、マイクロレンズアレイ１２の各マイクロレンズを通過した光束を複数の光電変換素子で受光し、各々の光電変換素子が受光した光束を光電変換して複数の画素信号を生成する。複数の光電変換素子はマトリックス状に配列され、各々の光電変換素子が画素を形成する。本実施形態では、撮像素子２０は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary
Metal-Oxide Semiconductor)などの二次元固体撮像素子で構成されている。

図１の部分拡大図に示す例では、複数のマイクロレンズ１２ａ，１２ｂ，１２ｃの各々の後側に複数個ずつ画素が配列されている。具体的には、マイクロレンズ１２ａの後側に３つの画素２１ａ，２１ｂ，２１ｃが配列され、マイクロレンズ１２ｂの後側に３つの画素２２ａ，２２ｂ，２２ｃが配列され、マイクロレンズ１２ｃの後側に３つの画素２３ａ，２３ｂ，２３ｃが配列されている。

３つの画素２１ａ，２１ｂ，２１ｃがマイクロレンズ１２ａに対応する画素２１であり、３つの画素２２ａ，２２ｂ，２２ｃがマイクロレンズ１２ｂに対応する画素２２であり、３つの画素２３ａ，２３ｂ，２３ｃがマイクロレンズ１２ｃに対応する画素２３である。なお、図１の部分拡大図では、各マイクロレンズ１２ａ，１２ｂ，１２ｃに対応する画素として３つの画素を示しているが、実際はＺ軸方向及びＹ軸方向に多数の画素が配列されている（後述する図２参照）。

次に、図１を参照してライトフィールドカメラによるライトフィールドの取得について簡単に説明する。図１において、Ａの位置にある被写体が撮影光学系１１によってマイクロレンズアレイ１２の位置に焦点を結ぶものとする。被写体上の点Ａ１からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｃで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｂで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ａで受光される。

同様に、被写体上の点Ａ２からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｃで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｂで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ａで受光される。

さらに、被写体上の点Ａ３からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｃで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｂで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ａで受光される。このように、Ａの位置にある被写体からの光線は、マイクロレンズ１２ａ，１２ｂ，１２ｃの後側に位置する撮像素子２０の画素で受光されることによって明るさと進行方向とが光線情報として取得される。

マイクロレンズ１２ａ，１２ｂ，１２ｃそれぞれに対応する３つの画素のうち、下側の画素２１ｃ，２２ｃ，２３ｃの画素信号で生成される画像は、部分領域１１ａを通過した光線による像である。また、真中の画素２１ｂ，２２ｂ，２３ｂの画素信号で生成される画像は、部分領域１１ｂを通過した光線による像である。また、上側の画素２１ａ，２２ａ，２３ａの画素信号で生成される画像は、部分領域１１ｃを通過した光線による像である。例えば各マイクロレンズに対応する画素数がＮ個である場合、マイクロレンズに対して同じ位置にある画素の画素値を配列して構成されるＮ個の再構成画像は、撮影光学系１１をＮ個の部分領域に分割して取得されるＮ個のステレオ画像群を形成する。

図２は、撮像素子２０の画素配列と入射領域とを説明する図である。なお、図２では図１のＸ軸方向から撮像素子２０を観察した様子を示す。図２に示す撮像素子２０において、画素が配列された領域を画素領域２００という。画素領域２００には例えば１０００万個以上もの画素がマトリックス状に配列されている。画素領域２００における円形の領域は、１つのマイクロレンズを通過した光線が入射する領域である。従って、円形の領域は、複数のマイクロレンズごとに複数形成される。これらの領域を入射領域２０１，２０２・・・という。なお、マイクロレンズは例えば５８６×４４０個配置される。ただし、このような配置数は一例であって、これよりも多い数でも少ない数でもよい。図２に示す例では、１つのマイクロレンズの直径は１３画素分となっている。ただし、このような画素数分に限定されるわけではない。

上述したように、ライトフィールドカメラは、すべてのマイクロレンズから入射領域における同じ位置（入射領域内におけるＹ軸方向及びＺ軸方向の同じ位置）にある画素の画素値を抽出して再構成する。このようにして得られた再構成画像群は、撮影光学系１１の異なる部分領域から被写体を観察した画像群に相当する。従って、これらの再構成画像群においては、部分領域の位置と被写体までの距離に応じた視差を有する。例えば、図２に示すように、入射領域２０１における画素２０１ａと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像と、入射領域２０１における画素２０１ｂと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像とで視差を有する。

図３は、第１実施形態に係るライトフィールドカメラ１の構成を示すブロック図である。図３に示すライトフィールドカメラ１は、撮像部１０、画像処理部３０、ワークメモリ（記憶部）４０、表示部５０、操作部５５、記録部６０、音声出力部６５、及びシステム制御部７０を備える。撮像部１０は、撮影光学系１１、マイクロレンズアレイ１２、駆動制御部１３、撮像素子２０、及び駆動部２１を有している。撮影光学系１１及びマイクロレンズアレイ１２は、図１において説明したため、図３においては説明を省略する。

撮像素子２０の撮像面には、例えばベイヤー配列のカラーフィルタアレイが配置されている。撮像素子２０は、撮影光学系１１及びマイクロレンズアレイ１２を通過した光束を入射する。撮像素子２０は、入射した光束を光電変換してアナログ信号の各画素の画素信号を生成する。撮像部１０において、不図示のアンプがアナログ信号の各画素の画素信号を所定の利得率（増幅率）で増幅する。また、不図示のＡ／Ｄ変換部がアンプにより増幅されたアナログ信号の各画素の画素信号をデジタル信号の各画素の画素信号に変換する。そして、撮像部１０は、デジタル信号の各画素の画素信号からなるＲＡＷデータを画像処理部３０に出力する。上記したライトフィールドカメラ１が取得する光線情報は、撮像部１０から出力されるＲＡＷデータで特定される。

駆動制御部１３は、撮影光学系１１が備える開口絞りの開口径調節を行うために、システム制御部７０から送信される制御情報に基づいて開口絞りの駆動制御を実行する。駆動部２１は、システム制御部７０からの指示信号に基づいて設定される撮像条件で撮像素子２０の駆動を制御する制御回路である。撮像条件としては、例えば、露光時間（シャッター速度）、フレームレート、ゲインなどがあげられる。

ここで、露光時間とは、撮像素子２０の光電変換素子が入射光に応じた電荷の蓄積を開始してから終了するまでの時間のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。また、ゲインとは、画素信号を増幅するアンプの利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子２０の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子２０が光をとらえる能力を表す値となる。

画像処理部３０は、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、所定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。画像処理部３０が生成する画像データには、静止画、動画、ライブビュー画像の画像データが含まれる。ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部１０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。画像処理部３０は、図３に示すように、画像生成部３１及び被写体検出部３２を備えている。

画像生成部３１は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して所定の画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。具体的には、画像生成部３１は、次に示す画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。

図４は、画像の再構成を説明する図である。図４に示すように、画像生成部３１は、画素領域２００における各入射領域２０１，２０２・・・に対して同じ位置にある画素２０１ａ，２０２ａ・・・の画素値（画素信号が示す値）を抽出する。画像生成部３１は、抽出した画素値を並べ直して再構成画像データ５００ａを生成する。各入射領域２０１，２０２・・・に対応する画素数がＮ個である場合、Ｎ個の再構成画像データが生成される。

画像生成部３１は、Ｎ個の再構成画像データ群を所定の焦点距離に合わせて所定量だけ平行移動させる。そして、画像生成部３１は、平行移動後のＮ個の再構成画像データ群を加算平均する。これにより、所定の焦点距離に設定された画像データが生成される。移動量に応じた奥行きに存在する被写体は像の位置が合うのでシャープな輪郭の像が形成される。移動量に応じた奥行きに存在しない被写体の像はぼける。なお、上記した画像処理は一例であって、画像生成部３１は上記した画像処理とは異なる画像処理を実行することにより、任意の焦点距離に設定された画像データを生成してもよい。例えば、画像生成部３１は、撮像素子２０の各画素が取得する光線を所定の演算を行うことによって算出する。そして、画像生成部３１は、算出した光線を所定の焦点距離に設定した仮想的な画像面に投影することにより、所定の焦点距離に設定された画像データを生成する。

本実施形態においては、画像生成部３１は、最も手前の被写体に合焦した画像データ、最も奥の被写体に合焦した画像データ、中間位置の被写体に合焦した画像データなど、焦点位置（焦点距離）が異なる複数の画像データを生成する。

画像生成部３１は、ワークメモリ４０をワークスペースとして、任意の焦点に設定された画像データに対して種々の画像処理を施す。例えば、画像生成部３１は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像データを生成する。また、画像生成部３１は、ＲＧＢ画像データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像生成部３１は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。

また、画像生成部３１は、システム制御部７０からの指示に応じて所定の被写体の画像データを削除する処理を行う。また、画像生成部３１は、視差を有する複数の再構成画像データ（後述する図７参照）を用いて、削除した被写体の領域の画像データを補完する処理を行う。

被写体検出部３２は、画像生成部３１で生成された画像データから一又は複数の被写体を検出する。本実施形態では、被写体検出部３２は、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の領域の境界を特定して被写体を検出する。そして、被写体検出部３２は、検出した被写体のサイズ及び位置を画素単位で示す位置データをシステム制御部７０に出力する。

なお、被写体検出部３２は、人物の被写体に対しては、公知の顔検出機能を用いて被写体の検出を行ってもよい。また、被写体検出部３２は、移動する被写体（移動被写体）に対しては、画像生成部３１から時系列的に得られる複数の画像データを比較して移動被写体を検出してもよい。また、被写体検出部３２は、顔検出に加えて、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を被写体として検出してもよい。

画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。

ワークメモリ４０は、画像処理部３０による画像処理が行われる際にＲＡＷデータや画像データなどを一時的に記憶する。表示部５０は、撮像部１０で撮像された画像や各種情報を表示する。この表示部５０は、例えば液晶表示パネルなどで構成された表示画面５１を有している。なお、表示部５０に表示される画像には、静止画、動画、ライブビュー画像が含まれる。表示部５０の表示画面５１上にはタッチパネル５２が形成されている。タッチパネル５２は、使用者が表示画面５１に表示されている被写体の選択などの操作を行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。

操作部５５は、使用者によって操作されるレリーズスイッチ（静止画の撮影時に押されるスイッチ）、動画スイッチ（動画の撮影時に押されるスイッチ）、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。記録部６０は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体に画像処理部３０において生成された画像データや各種データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。音声出力部６５は、システム制御部７０からの指示信号に基づいてスピーカから音声出力を実行する。

システム制御部７０は、ライトフィールドカメラ１の全体の処理及び動作を制御する。このシステム制御部７０はＣＰＵ（Central Processing Unit）を有する。このシステム制御部７０は、図３に示すように、表示制御部７１、判定部７２、報知部７３、及び撮像制御部（記録制御部）７４を備えている。表示制御部７１は、画像処理部３０で生成された画像データを表示部５０に出力させて、表示部５０の表示画面５１に画像（ライブビュー画像、静止画、動画）を表示させる制御を行う。また、表示制御部７１は、記録部６０に記録されている画像データを読み出して表示部５０に出力させ、表示部５０の表示画面５１に画像を表示させる制御を行う。

判定部７２は、画像処理部３０から出力される被写体のサイズ及び位置を示す位置データに基づいて画像データ中の被写体のサイズ及び位置を認識する。また、判定部７２は、画像データ中の被写体のうち、使用者によるタッチパネル５２のタッチ操作によって選択された被写体を主要被写体として設定する。また、判定部７２は、主要被写体の手前に他の被写体が存在するか否かを判定する。判定部７２は、主要被写体の手前に他の被写体が存在すると判定した場合は、他の被写体を削除可能であるか否かを判定する。ここで、判定部７２は、画像生成部３１が画像データから他の被写体の画像データを削除した場合に、画像生成部３１が他の被写体の領域の画像データを補完可能であるか否かを判定することによって、他の被写体を削除可能であるか否かを判定する。なお、上述したように、画像データの補完は、画像生成部３１によって視差を有する複数の再構成画像データに基づいて行われる。

報知部７３は、判定部７２が主要被写体の手前に存在する他の被写体を削除可能であると判定した場合、他の被写体を削除可能である旨を使用者に報知する。具体的には、報知部７３は、表示部５０の表示画面５１における所定の表示領域（図９に示す例では表示画面５１の上部の表示領域５００ｗ）に、他の被写体を削除可能であることを表す文字を表示する（図９（３）参照）。また、報知部７３は、判定部７２が主要被写体の手前に存在する他の被写体を削除可能であると判定した場合、他の被写体の表示態様を変化させる制御を行う。

また、報知部７３は、判定部７２が主要被写体の手前に存在する他の被写体を削除可能でないと判定した場合には、他の被写体を削除不可能である旨を使用者に報知する。具体的には、報知部７３は、表示部５０の表示画面５１における所定の表示領域に、他の被写体を削除不可能であることを表す文字を表示する（図９（２）参照）。

撮像制御部７４は、撮像素子２０の撮像面（画素領域２００）において所定の撮像条件（露光時間、フレームレート、ゲインなど）で撮像を行わせるために、所定の撮像条件を指示する指示信号を駆動部２１に対して出力する。また、撮像制御部７４は、画像処理部３０に所定の制御パラメータ（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行させるために、制御パラメータを指示する指示信号を画像処理部３０に出力する。また、撮像制御部７４は、画像生成部３１で生成された画像データを記録部６０に記録する制御を行う。

システム制御部７０は、上記の制御の他に、撮影光学系１１に備えられた開口絞りの開口径調節などの制御も行う。

なお、システム制御部７０において、表示制御部７１、判定部７２、報知部７３、及び撮像制御部７４は、それぞれ、ＣＰＵが制御プログラム（図示せず）に基づいて実行する処理及び制御に相当する。

次に、画像処理部３０が実行する画像処理について説明する。図５は、第１実施形態の画像処理部３０が実行する画像処理を説明するためのフローチャートである。図５に示す処理において、画像生成部３１は、撮像部１０から出力されるＲＡＷデータを取得する（ステップＳ１）。そして、画像生成部３１は、取得したＲＡＷデータに基づいて所定の合焦位置（焦点距離、焦点位置）の画像データを生成する（ステップＳ２）。

具体的には、上述したように、画像生成部３１は、画素領域２００における各入射領域に対して同じ位置にある画素の画素値を抽出し、抽出した画素値を再構成して複数個の再構成画像データ群を生成する。そして、画像生成部３１は、複数個の再構成画像データ群を所定の合焦位置に合わせて平行移動させ、平行移動後の複数個の再構成画像データ群を加算平均する。これにより、所定の合焦位置に設定された画像データが生成される。ステップＳ２において、画像生成部３１は、合焦位置が異なる複数の画像データを生成する。また、ステップＳ２で生成される画像データは、静止画、動画、ライブビュー画像の画像データが含まれる。

図６は、ライトフィールドカメラ１と各被写体Ｏ１〜Ｏ５との距離関係を示す図である。図６に示す例では、ライトフィールドカメラ１はカメラ位置ｄ０に位置している。また、被写体である人物Ｏ１は合焦位置ｄ１に位置している。また、被写体である棒Ｏ２は合焦位置ｄ２に位置し、被写体である人物Ｏ３は合焦位置ｄ３に位置し、被写体である木Ｏ４は合焦位置ｄ４に位置し、被写体である家Ｏ５は合焦位置ｄ５に位置している。なお、図６において、ライトフィールドカメラ１から被写体Ｏ１〜Ｏ５に向かう方向（矢印の方向）を奥側の方向といい、その反対側の方向を手前側の方向をいう。また、奥側の方向及び手前側の方向を奥行き方向という。画像生成部３１は、ステップＳ２において、例えば各合焦位置ｄ１〜ｄ５における５つの画像データを生成する。

図７は、表示部５０の表示画面５１に表示されるライブビュー画像５００の表示例を示す図である。図７に示すライブビュー画像５００は、図６に示したライトフィールドカメラ１と各被写体Ｏ１〜Ｏ５との距離関係において、ライトフィールドカメラ１が各被写体Ｏ１〜Ｏ５を撮影した場合のライブビュー画像である。ここで、ライブビュー画像５００の画像データは、例えば、合焦位置ｄ１〜ｄ５が異なる複数の画像データのうちの人物Ｏ３に合焦した画像データ（すなわち、中間位置である合焦位置ｄ３における画像データ）とする。なお、ライブビュー画像５００の画像データは、すべての被写体Ｏ１〜Ｏ５に合焦した画像データであってもよい。例えば、ライブビュー画像５００の画像データは、画像生成部３１がすべての合焦位置ｄ１〜ｄ５における画像データから各被写体Ｏ１〜Ｏ５の画像データを抽出して合成した画像データであってもよい。

図７に示す例では、ライブビュー画像５００においては、人物Ｏ１が左側に表示されている。また、棒Ｏ２が人物Ｏ１の右横に表示されている。また、人物Ｏ３が棒Ｏ２の斜め後ろに表示されている。また、木Ｏ４が右側に表示され、家Ｏ５が中心付近に表示されている。

上記したように、画像生成部３１により生成される再構成画像データ群は、被写体Ｏ１〜Ｏ５に対して視差を有する。視差は、ライトフィールドカメラ１に近い被写体ほど大きく、ライトフィールドカメラ１に遠い被写体ほど小さくなる。従って、人物Ｏ１に対する視差が最も大きく、家Ｏ５に対する視差が最も小さい。図７においては、人物Ｏ１及び棒Ｏ２における視差も示している。ある再構成画像データにおける人物Ｏ１’の位置と、他の再構成画像データにおける人物Ｏ１”の位置とが視差によって異なっている。また、ある再構成画像データにおける棒Ｏ２’の位置と、他の再構成画像データにおける棒Ｏ２”の位置とが視差によって異なっている。なお、図７には示していないが、人物Ｏ３、木Ｏ４、及び家Ｏ５についても、複数の再構成画像データ間において視差を有する。

図５の説明に戻り、画像生成部３１は、ステップＳ２で生成された合焦位置ｄ１〜ｄ５が異なる５つの画像データに対して、色信号処理（色調補正）、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を実行する（ステップＳ３）。

次に、被写体検出部３２は、画像生成部３１で生成された画像データから被写体Ｏ１〜Ｏ５を検出する（ステップＳ４）。被写体検出部３２は、検出した被写体Ｏ１〜Ｏ５のサイズ及び位置を示す位置データをシステム制御部７０に出力する。

また、被写体検出部３２は、ステップＳ４で検出した各被写体Ｏ１〜Ｏ５までの距離（焦点距離）を検出（算出）する（ステップＳ５）。例えば、被写体検出部３２は、複数の再構成画像データ（例えば入射領域における２つの特定位置の画素の画素値から構成される再構成画像データ）における各被写体Ｏ１〜Ｏ５の視差を検出し、検出した視差に基づいて各被写体Ｏ１〜Ｏ５までの距離を算出する。このとき、被写体検出部３２は、人物Ｏ１までの距離をｄ１、棒Ｏ２までの距離をｄ２、人物Ｏ３までの距離をｄ３、木Ｏ４までの距離をｄ４、家Ｏ５までの距離をｄ５と算出する。被写体検出部３２は、検出した各被写体Ｏ１〜Ｏ５までの距離を示す距離データをシステム制御部７０に出力する。

その後、画像生成部３１は、システム制御部７０からの被写体の削除要求があった場合（図８のステップＳ１８やステップＳ２２参照）に、削除要求された被写体の画像データを削除するとともに、削除した被写体の領域の画像データを、複数の再構成画像データに基づいて補完する処理を行う（ステップＳ６）。

次に、第１実施形態に係るライトフィールドカメラ１の撮影動作について説明する。図８は、第１実施形態のシステム制御部７０が実行する撮影動作を説明するためのフローチャートである。また、図９は、第１実施形態のライブビュー画像５０１〜５０３及び静止画５０４の表示例を示す図である。

図８に示す処理において、ライトフィールドカメラ１に電源が投入された後、使用者が撮影を開始するために操作部５５などの操作を行うと、撮像制御部７４は、ライブビュー画像の撮影を開始する（ステップＳ１１）。すなわち、撮像制御部７４は、駆動部２１に対して指示信号を出力することにより撮像素子２０の駆動制御を実行させる。また、表示制御部７１は、撮像素子２０で撮像されたライブビュー画像を表示部５０の表示画面５１に表示する（ステップＳ１２）。図９（１）は、表示部５０の表示画面５１に表示されるライブビュー画像５０１の表示例である。

次に、判定部７２は、ライブビュー画像５０１に含まれる被写体Ｏ１〜Ｏ５を認識する（ステップＳ１３）。具体的には、判定部７２は、画像処理部３０に対して被写体の検出を要求する。被写体検出部３２は、システム制御部７０から被写体の検出の要求を受けると、ライブビュー画像５０１に含まれる各被写体Ｏ１〜Ｏ５を検出する（図５のステップＳ４参照）。そして、被写体検出部３２は、検出した各被写体Ｏ１〜Ｏ５のサイズ及び位置を画素単位で示す位置データをシステム制御部７０に出力する。また、被写体検出部３２は、各被写体Ｏ１〜Ｏ５までの距離を検出する（図５のステップＳ５参照）。そして、被写体検出部３２は、検出した各被写体Ｏ１〜Ｏ５までの距離を示す距離データをシステム制御部７０に出力する。判定部７２は、画像処理部３０からの位置データに基づいて各被写体Ｏ１〜Ｏ５のサイズ及び位置を認識する。また、判定部７２は、画像処理部３０からの距離データに基づいて各被写体Ｏ１〜Ｏ５までの距離を認識する。

次に、判定部７２は、使用者によるタッチパネル５２のタッチ操作によって被写体が選択されたか否かを判定する（ステップＳ１４）。具体的には、使用者は、図９（１）に示すように被写体として人物Ｏ３を選択する場合は、表示画面５１に表示されている人物Ｏ３をタッチする。表示画面５１上に形成されているタッチパネル５２は、使用者によりタッチされた人物Ｏ３の位置を示す信号をシステム制御部７０に出力する。判定部７２は、タッチパネル５２から出力される信号に基づいて、使用者により被写体が選択されたか否かを判定する。また、判定部７２は、使用者により被写体が選択されたと判定した場合に、タッチパネル５２からの信号が示す位置とステップＳ１３で認識した被写体の位置とに基づいて、いずれの被写体が選択されたかについても判定する。なお、判定部７２が使用者により被写体が選択されていないと判定した場合は（ステップＳ１４のＮＯ）、ステップＳ２０の処理に移行する。

判定部７２は、ステップＳ１４で使用者により被写体が選択されたと判定した場合は（ステップＳ１４のＹＥＳ）、使用者により選択された被写体（図９（１）に示す例では人物Ｏ３）を主要被写体に設定する（ステップＳ１５）。次に、判定部７２は、主要被写体の手前に他の被写体が存在するか否かを判定する（ステップＳ１６）。ここで、判定部７２は、ステップＳ１３で認識した各被写体Ｏ１〜Ｏ５のサイズ及び位置と、ステップＳ１３で認識した各被写体Ｏ１〜Ｏ５までの距離とに基づいて、主要被写体の手前に他の被写体が存在するか否かを判定する。なお、判定部７２が主要被写体の手前に他の被写体が存在しないと判定した場合は（ステップＳ１６のＮＯ）、ステップＳ２０の処理に移行する。

判定部７２は、ステップＳ１６で主要被写体の手前に他の被写体が存在すると判定した場合は、主要被写体の手前に存在する他の被写体を削除可能であるか否かを判定する（ステップＳ１７）。ここで、判定部７２は、上述したように、画像生成部３１が視差を有する複数の再構成画像データに基づいて他の被写体の領域の画像を補完することが可能であるであるか否かを判定する。具体的には、判定部７２は、主要被写体のサイズ、位置、及び距離と、その主要被写体の手前の他の被写体のサイズ、位置、及び距離とを認識する。そして、判定部７２は、被写体（主要被写体及び他の被写体）までの距離に応じた視差を有する再構成画像データを用いて、他の被写体を削除した場合に他の被写体の領域の画像データ（他の被写体によって隠されている画像データ）を補完することができるか否かを判定する。そして、判定部７２は、他の被写体の領域の画像データを補完することが可能であると判定した場合は、主要被写体の手前に存在する他の被写体を削除可能であると判定する。一方、判定部７２は、他の被写体の領域の画像データを補完することが不可能であると判定した場合は、主要被写体の手前に存在する他の被写体を削除不可能であると判定する。

判定部７２が主要被写体の手前に存在する他の被写体を削除可能であると判定した場合には（ステップＳ１７のＹＥＳ）、報知部７３は、他の被写体を削除可能である旨を使用者に報知する（ステップＳ１８）。一方、判定部７２が主要被写体の手前に存在する他の被写体を削除不可能であると判定した場合には（ステップＳ１７のＮＯ）、報知部７３は、他の被写体を削除不可能である旨を使用者に報知する（ステップＳ１９）。

図９（２）に示す例では、使用者により主要被写体として選択された人物Ｏ３の手前に人物Ｏ１が存在する。この場合、人物Ｏ１のサイズが大きく、人物Ｏ１と人物Ｏ３とが重複する領域が広い。従って、判定部７２は、ライブビュー画像５０２から人物Ｏ１の画像データを削除した場合に、視差を有する複数の再構成画像データによって人物Ｏ１の領域の画像データを補完することができないと判定する。そして、報知部７３は、図９（２）に示すように、表示画面５１の上部に設けられた表示領域５００ｗに「主要被写体の撮影を妨げる被写体を削除できません。」という文字を表示して、人物Ｏ３の手前に存在する被写体（人物Ｏ１）を削除不可能である旨を使用者に報知する。

一方、図９（３）に示す例では、使用者により主要被写体として選択された人物Ｏ３の手前に棒Ｏ２が存在する。この場合、棒Ｏ２は細長く、棒Ｏ２と人物Ｏ３とが重複する領域が狭い。従って、判定部７２は、ライブビュー画像５０３から棒Ｏ２の画像データを削除した場合に、視差を有する複数の再構成画像データによって棒Ｏ２の領域の画像データを補完することができると判定する。そして、報知部７３は、図９（３）に示すように、表示画面５１の上部に設けられた表示領域５００ｗに「主要被写体の撮影を妨げる被写体を削除できます。」という文字を表示して、人物Ｏ３の手前に存在する被写体（棒Ｏ２）を削除可能である旨を使用者に報知する。

また、報知部７３は、ステップＳ１８において、削除対象の被写体（棒Ｏ２）を使用者に視認させるために、削除対象の被写体の表示と非表示とを繰り返し実行させる。具体的には、報知部７３は、画像処理部３０に対して削除対象の被写体の削除要求と非削除要求とを繰り返し行う。画像生成部３１は、システム制御部７０からの被写体の削除要求があった場合に、削除要求された被写体の画像データを削除するとともに、削除した被写体の領域の画像データ（図９（３）に示す例では棒Ｏ２によって隠された人物Ｏ３の画像データ）を、複数の再構成画像データに基づいて補完する処理を行う（ステップＳ６参照）。そして、画像生成部３１は、補完処理後のライブビュー画像の画像データを表示部５０に出力する。また、画像生成部３１は、システム制御部７０からの被写体の非削除要求があった場合には、被写体の画像データを削除せずにライブビュー画像の画像データを表示部５０に出力する。表示部５０は、削除対象の被写体が削除されたライブビュー画像と、削除対象の被写体が削除されていないライブビュー画像とを繰り返し表示画面５１に表示する。これにより、使用者は、撮影時にどの被写体の画像が削除されるかについて認識することが可能となる。

その後、システム制御部７０は、レリーズスイッチの半押し操作（ＳＷ１の操作）が行われたか否かを判定する（ステップＳ２０）。システム制御部７０は、レリーズスイッチの半押し操作が行われていないと判定した場合は、上記のステップＳ１１からＳ１９の処理を繰り返し実行する。

システム制御部７０は、レリーズスイッチの半押し操作が行われたと判定した場合は（ステップＳ２０のＹＥＳ）、レリーズスイッチの半押し操作に引き続いてレリーズスイッチの全押し操作（ＳＷ２の操作）が行われたか否かを判定する（ステップＳ２１）。なお、システム制御部７０は、レリーズスイッチの半押し操作が行われたことに基づいて、開口絞りの開口径調節などの撮影準備処理を実行する。システム制御部７０がレリーズスイッチの全押し操作が行われていないと判定した場合は（ステップＳ２１のＮＯ）、レリーズスイッチの半押し操作が行われたか否かを繰り返し判定する（ステップＳ２０）。

システム制御部７０がレリーズスイッチの全押し操作が行われたと判定した場合は（ステップＳ２１のＹＥＳ）、撮像制御部７４は、静止画の撮像処理を実行する（ステップＳ２２）。すなわち、撮像制御部７４は、撮影状況に適した撮像条件（例えば適正露出となる露光時間、ゲインなど）で撮像を行わせるように駆動部２１に撮像素子２０の駆動制御を実行させる。具体的には、撮像制御部７４は、撮影状況に適した撮像条件を指示する指示信号を駆動部２１に出力する。駆動部２１は、撮像制御部７４からの指示信号が示す撮像条件で撮像を行うように撮像素子２０の駆動制御を行う。

このとき、撮像制御部７４は、画像処理部３０に対して削除対象の被写体（例えば棒Ｏ２）の削除要求を行う。画像生成部３１は、システム制御部７０からの被写体の削除要求に基づいて、削除要求された被写体の画像を削除する。また、画像生成部３１は、削除した被写体の領域の画像データを、複数の再構成画像データに基づいて補完する処理を行う（ステップＳ６参照）。

表示制御部７１は、画像処理部３０で生成された画像データ（静止画の画像データ）を表示部５０に出力させて、表示部５０の表示画面５１に表示させる（ステップＳ２３）。このとき、表示画面５１に表示される静止画５０４は、図９（４）に示すように、画像生成部３１により削除対象の被写体の画像が削除され、その被写体の領域の画像が補完された画像である。

そして、撮像制御部７４は、画像処理部３０で生成された画像データ（静止画の画像データ）を記録部６０に記録させる（ステップＳ２４）。このとき、記録部６０に記録される画像データは、画像生成部３１により削除対象の被写体の画像データが削除され、その被写体の領域の画像データが補完された画像データである。なお、撮像制御部７４は、削除対象の被写体の画像データが削除されていない画像データも記録部６０に記録させてもよい。また、撮像制御部７４は、ＲＡＷデータを画像データと併せて記録部６０に記録させてもよい。

上記した第１実施形態では、報知部７３は、主要被写体の撮影を妨げる被写体を撮影後に削除可能であるか否かを使用者に報知するために、被写体を削除可能又は不可能である旨を表示部５０の表示画面５１に表示させていた（ステップＳ１８，Ｓ１９参照）。しかし、このような構成に限定されない。例えば、報知部７３は、主要被写体の撮影を妨げる被写体を撮影後に削除可能である旨を音声出力部６５に音声出力させてもよい。この場合、報知部７３は、ステップＳ１７の判定結果に応じて、主要被写体の撮影を妨げる被写体を削除可能であることを示す音声出力信号、又は主要被写体の撮影を妨げる被写体を削除不可能であることを示す音声出力信号を音声出力部６５に出力する。音声出力部６５は、報知部７３からの音声出力信号に基づいて、主要被写体の撮影を妨げる被写体を削除可能である旨又は削除不可能である旨をスピーカ（図示せず）から音声出力させる。

また、上記の図８に示した撮影動作は、使用者によるレリーズスイッチの操作に基づいて静止画を撮影する動作であったが、使用者による動画スイッチの操作に基づいて動画を撮影する動作にも適用することができる。具体的には、システム制御部７０は、ステップＳ２０及びＳ２１の処理に代えて、動画スイッチが操作が行われたか否かを判定する。そして、動画スイッチの操作が行われたと判定した場合は、撮像制御部７４は、撮像処理（ステップＳ２２）において動画の撮像を行う。このとき、撮像制御部７４は、動画の撮像条件としてフレームレートを指示する。このような動画の撮影においても、撮影前に主要被写体の撮影を妨げる被写体を削除可能であるか否かを使用者に知らせることができる。

以上に説明したように、第１実施形態では、一又は複数の被写体を撮像する撮像部１０と、撮像部１０が撮像した一又は複数の被写体のライブビュー画像を生成する画像生成部３１と、画像生成部３１がライブビュー画像から所定被写体を削除する場合に、所定被写体の領域の画像を補完可能であるか否かを判定する判定部７２と、判定部７２による判定結果を報知する報知部７３とを備える。このような構成によれば、使用者（撮影者）が撮影を行う際に、ライブビュー画像中の所定被写体（主要被写体の撮影を妨げる被写体）の領域の画像データを補完可能であるか否かを使用者に報知することができる。従って、使用者が撮影を行う際に、撮影後に編集可能な画像を把握することができる。

また、第１実施形態では、判定部７１は、画像生成部３１がライブビュー画像から所定被写体を削除する場合に、この所定被写体の領域の画像を補完可能であるか否かを判定する。このような構成によれば、使用者が撮影を行う際に、撮影後に被写体が削除可能であるか否かを使用者に報知することができる。従って、使用者は所定被写体を削除し、削除した後の所定被写体の領域の画像を補完可能であるか否かについて撮影時に把握することができる。すなわち、使用者は所定被写体を撮影後に削除することができるか否かについて撮影時（撮影前）に確認することができる。よって、電子機器の利便性が向上する。例えば、使用者は、主要被写体の手前に所定被写体が重なっている場合であっても、主要被写体が良い表情をしている瞬間のようなシャッターチャンスを逃さずに撮影を行うことができる。

また、第１実施形態では、画像生成部３１は、一又は複数の被写体に対して視差を有する複数のライブビュー画像を生成可能であり、生成した複数のライブビュー画像に基づいて所定被写体の領域の画像を補完する。このような構成によれば、画像生成部３１は、撮像部１０が１回の撮像で取得したライブビュー画像に基づいて、所定被写体の領域の画像を補完する。従って、判定部７２は、ライブビュー画像の撮像時と時間差なく（あるいはライブビュー画像の撮像時と少ない時間差のタイミングで）、所定被写体の領域の画像を補完可能であるか否かを判定することができる。よって、使用者は、より一層、シャッターチャンスを逃すことなく撮影を行うことができるようになる。

また、第１実施形態では、撮像部１０は、結像光学系１１の焦点面近傍に二次元状に配置された複数の正レンズと、複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子２０とを有し、結像光学系１１の射出瞳の異なる領域からの光束を複数個の画素で個別に受光する。このような構成によれば、ライトフィールドカメラ１を用いて一又は複数の被写体を撮像されるので、画像生成部３１は、一又は複数の被写体に対して視差を有する複数のライブビュー画像を生成することが可能となる。従って、判定部７２は、ライブビュー画像の撮像時と時間差なく（あるいはライブビュー画像の撮像時と少ない時間差のタイミングで）、所定被写体の領域の画像を補完可能であるか否かを判定することができる。

また、第１実施形態では、報知部７３は、判定部７２による判定結果を表示部５０に表示する。このような構成によれば、所定被写体が削除可能であるか否かについて使用者に確実に把握させることができる。また、第１実施形態では、報知部７３は、表示部５０に表示される所定被写体の表示態様を変化させる。このような構成によれば、削除対象の被写体を使用者に容易に認識させることができる。また、第１実施形態では、報知部７３は、判定部７２による判定結果を音声出力部６５からの音声出力により報知する。このような構成によっても、所定被写体が削除可能であるか否かについて使用者に確実に把握させることができる。

また、第１実施形態では、画像中の一又は複数の被写体を検出する被写体検出部３２を備え、判定部７２は、被写体検出部３２により検出された一又は複数の被写体のうちの使用者によって選択された被写体を主要被写体と特定し、主要被写体の手前に重複して存在する被写体を所定被写体と特定する。このような構成によれば、判定部７２は主要被写体と所定被写体との位置関係を特定した上で、所定被写体を削除可能であるか否かについて判定することができる。従って、判定部７２は主要被写体の撮影を妨げない被写体に対して判定を行う必要がなくなる。

また、第１実施形態では、判定部７２により所定被写体の領域の画像を補完可能であると判定された場合において撮像部１０により撮像が行われたときは、画像生成部３１により所定被写体が削除されるとともに所定被写体の領域の画像が補完された画像を記録部６０に記録する記録制御部を備える。このような構成によれば、使用者が撮影したい画像について記録部６０に記録することができる。

＜第２実施形態＞
上記した第１実施形態では、判定部７２は、使用者によって選択された被写体を主要被写体として設定していた。これに対して、第２実施形態では、判定部７２は、使用者によって選択された被写体を削除対象の被写体として設定する。また、上記した第１実施形態では、判定部７２は、画像生成部３１が被写体に対して視差を有する複数の再構成画像データを用いて、削除対象の被写体の領域の画像データを補完可能であるか否かを判定していた。これに対して、第２実施形態では、判定部７２は、ワークメモリ４０に記憶された画像データを用いて、削除対象の被写体の領域の画像データを補完可能であるか否かを判定する。

図１０は、第２実施形態のライブビュー画像５１１〜５１３及び静止画５１４の表示例を示す図である。第２実施形態においては、判定部７２は、使用者によるタッチパネル５２のタッチ操作によって選択された被写体を削除対象の被写体として設定する。図１０（１）に示す例では、使用者は削除対象の被写体として人物Ｏ１を選択している。判定部７２は、削除対象の被写体として設定した被写体（人物Ｏ１）を削除可能であるか否かを判定する。このとき、上記した第１実施形態の場合と同様に、判定部７２は、削除対象の被写体の画像データを削除した場合に、削除対象の被写体の領域の画像データを補完することができるか否かによって、削除対象の被写体を削除可能であるか否かを判定する。しかし、第１実施形態では、判定部７２は、視差を有する再構成画像データを用いて、削除対象の被写体の領域の画像データを補完可能であるか否かを判定していたが、第２実施形態では、判定部７２は、ワークメモリ４０に一時的に記憶されているライブビュー画像の画像データを用いて、削除対象の被写体の領域の画像データを補完可能であるか否かを判定する。

具体的には、ワークメモリ４０は、画像処理部３０が表示部５０や記録部６０に画像データを出力する際のバッファとしての機能を果たすために、画像データを所定期間記憶する。判定部７２は、ワークメモリ４０が画像データを記憶する所定期間内において、削除対象の被写体（人物Ｏ１）が閾値以上の距離を移動したか否かを判定する。ここで、閾値は、削除対象の被写体が移動する前の被写体の領域と移動した後の被写体の領域とが重複しないような被写体の移動距離である。この閾値は、削除対象の被写体のサイズによって変更され得る値である。判定部７２は、所定期間内において、削除対象の被写体が閾値以上の距離を移動したと判定した場合は、削除対象の被写体の領域の画像データをワークメモリ４０に記憶されている画像データに基づいて補完可能であると判定する。一方、判定部７２は、所定期間内において、削除対象の被写体が閾値以上の距離を移動していないと判定した場合は、削除対象の被写体の領域の画像データをワークメモリ４０に記憶されている画像データに基づいて補完可能でないと判定する。

図１０（２）に示す例では、削除対象の被写体が所定期間内に閾値以上の距離を移動していない。従って、判定部７２は、削除対象の被写体の領域の画像データをワークメモリ４０に記憶されている画像データに基づいて補完可能でなく、削除対象の被写体を削除不可能であると判定する。この場合、報知部７３は、図１０（２）に示すように、表示画面５１の上部に設けられた表示領域５００ｗに「主要被写体の撮影を妨げる被写体を削除できません。」という文字を表示して、被写体（人物Ｏ１）を削除不可能である旨を使用者に報知する。

一方、図１０（３）に示す例では、削除対象の被写体が所定期間内に閾値以上の距離を移動している。従って、判定部７２は、削除対象の被写体の領域の画像データをワークメモリ４０に記憶されている画像データに基づいて補完可能であり、削除対象の被写体を削除可能であると判定する。この場合、報知部７３は、図１０（３）に示すように、表示画面５１の上部に設けられた表示領域５００ｗに「主要被写体の撮影を妨げる被写体を削除できます。」という文字を表示して、被写体（人物Ｏ１）を削除可能である旨を使用者に報知する。また、報知部７３は、削除対象の被写体（人物Ｏ１）を使用者に視認させるために、削除対象の被写体の表示と非表示とを繰り返し実行させる。

その後、システム制御部７０がレリーズスイッチの全押し操作が行われたと判定したことに基づいて、撮像制御部７４は、撮像処理を実行する（ステップＳ２１，Ｓ２２参照）。このとき、撮像制御部７４は、画像処理部３０に対して削除対象の被写体（人物Ｏ１）の削除要求を行う。画像生成部３１は、システム制御部７０からの被写体の削除要求に基づいて、削除要求された被写体の画像を削除する。また、画像生成部３１は、削除した被写体の領域の画像データを、ワークメモリ４０に記憶されている画像データに基づいて補完する処理を行う（ステップＳ６参照）。

表示制御部７１は、画像処理部３０で生成された画像データ（静止画の画像データ）を表示部５０に出力させて、表示部５０の表示画面５１に表示させる（ステップＳ２３参照）。このとき、表示画面５１に表示される静止画５１４は、図１０（４）に示すように、画像生成部３１により削除対象の被写体の画像が削除され、その被写体の領域の画像が補完された画像である。

そして、撮像制御部７４は、画像処理部３０で生成された画像データ（静止画の画像データ）を記録部６０に記録させる（ステップＳ２４参照）。このとき、記録部６０に記録される画像データは、画像生成部３１により削除対象の被写体の画像データが削除され、その被写体の領域の画像データが補完された画像データである。なお、撮像制御部７４は、削除対象の被写体の画像データが削除されていない画像データも記録部６０に記録させてもよい。また、撮像制御部７４は、ＲＡＷデータを画像データと併せて記録部６０に記録させてもよい。

上記した第２実施形態では、報知部７３は、主要被写体の撮影を妨げる被写体を撮影後に削除可能であるか否かを使用者に報知するために、被写体を削除可能又は不可能である旨を表示部５０の表示画面５１に表示させていた。しかし、このような構成に限定されず、報知部７３は、主要被写体の撮影を妨げる被写体を撮影後に削除可能である旨を音声出力部６５に音声出力させてもよい。また、上記した第２実施形態の撮影動作は、使用者によるレリーズスイッチの操作に基づいて静止画を撮影する動作であったが、使用者による動画スイッチの操作に基づいて動画を撮影する動作にも適用することができる。

以上に説明したように、第２実施形態では、画像生成部３１が生成する画像を所定期間記憶する記憶部４０を備え、判定部７２は、記憶部４０に記憶された画像に基づいて所定被写体の領域の画像を補完可能であるか否かを判定する。このような構成によれば、画像生成部３１が視差を有する複数の再構成画像データに基づいて、削除対象の被写体の領域の画像データを補完することができない場合であっても、削除対象の被写体が一定以上の速度で移動している場合には、画像データを補完することができる。

また、第２実施形態では、画像中の一又は複数の被写体を検出する被写体検出部３２を備え、判定部７２は、被写体検出部３２により検出された一又は複数の被写体のうちの使用者によって選択された被写体を所定被写体と特定する。このような構成によれば、判定部７２は主要被写体の撮影を妨げる被写体（人物）を削除可能であるか否かだけを判定すればよく、処理負負担が軽減される。

なお、上記した第１実施形態では、使用者が主要被写体を選択する構成であったが、上記した第２実施形態と同様に、使用者が削除対象の被写体を選択する構成でもよい。反対に、上記した第２実施形態では、使用者が削除対象の被写体を選択する構成であったが、上記した第１実施形態と同様に、使用者が主要被写体を選択する構成でもよい。

＜第３実施形態＞
第３実施形態では、上記した第１実施形態におけるライトフィールドカメラ１を、撮像装置１Ａと電子機器１Ｂとに分離した構成としている。

図１１は、第３実施形態に係る撮像装置１Ａ及び電子機器１Ｂの構成を示すブロック図である。図１１に示す構成において、撮像装置１Ａは、被写体の撮像を行う装置であって、リフォーカス機能を備えた装置である。この撮像装置１Ａは、撮像部１０、画像処理部３０、ワークメモリ４０、操作部５５、記録部６０、音声出力部６５、及び第１システム制御部７０Ａを備える。なお、撮像装置１Ａのうち、撮像部１０、画像処理部３０、ワークメモリ４０、操作部５５、記録部６０、及び音声出力部６５の構成は、図３に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

また、電子機器１Ｂは、画像（静止画、動画、ライブビュー画像）の表示を行う装置である。この電子機器１Ｂは、表示部５０及び第２システム制御部７０Ｂを備える。なお、電子機器１Ｂのうちの表示部５０の構成は、図３に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

第１システム制御部７０Ａは、第１通信部７５Ａを有している。また、第２システム制御部７０Ｂは、第２通信部７５Ｂを有している。第１通信部７５Ａと第２通信部７５Ｂとは、互いに有線又は無線で信号を送受信する。このような構成において、第１システム制御部７０Ａは、第１通信部７５Ａを介して画像データ（画像処理部３０が画像処理した画像データ、記録部６０に記録されている画像データ）を第２通信部７５Ｂに送信する。第２システム制御部７０Ｂは、第２通信部７５Ｂにおいて受信した画像データを表示部５０に表示させる。

図３に示す構成（表示制御部７１、判定部７２、報知部７３、撮像制御部７４）は、第１システム制御部７０Ａと第２システム制御部７０Ｂのいずれに設けられてもよい。図３に示すすべての構成は、第１システム制御部７０Ａ又は第２システム制御部７０Ｂに設けられてもよく、また図３に示す構成の一部が第１システム制御部７０Ａに設けられ、図３に示す構成の一部以外の構成が第２システム制御部７０Ｂに設けられてもよい。

なお、撮像装置１Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器１Ｂは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。

図１１に示す第１システム制御部７０Ａにおいて、ＣＰＵが制御プログラムに基づいて実行する処理が表示制御部７１、判定部７２、報知部７３、及び撮像制御部７４の全部又は一部の構成に相当する。また、図１１に示す第２システム制御部７０Ｂにおいて、ＣＰＵが制御プログラムに基づいて実行する処理が表示制御部７１、判定部７２、報知部７３、及び撮像制御部７４の全部又は一部の構成に相当する。

以上に説明したように、第３実施形態では、第１実施形態及び第２実施形態で説明した効果に加え、スマートフォンなどの携帯端末を用いて撮像装置１Ａで撮像されている画像を電子機器１Ｂの表示部５０に表示させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。

例えば、上記した各実施形態では、電子機器の一例としてライトフィールドカメラ１を挙げていたが、これに限定されず、例えば複数のカメラを複数配置したカメラアレイであってもよい。このようなカメラアレイにおいても視差を有する複数の画像を取得することができる。

また、図３に示す画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つのＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。また、図１１に示す構成において、画像処理部３０と第１システム制御部７０Ａとは一体で構成されてもよい。この場合、１つのＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部３０の機能と第１システム制御部７０Ａの機能を担う。

また、上記した第１実施形態において、カラーフィルタ１０２の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。

また、上記した各実施形態に係るライトフィールドカメラ１は、自動的に又は使用者による操作部５５などの操作に応じてズーミング調節を行うズーム機能を備えていてもよい。この場合、駆動制御部１３は、ズーミング調節を行うために、システム制御部７０から送信される制御情報に基づいて撮影光学系１１（例えばズーミング用レンズ）の駆動制御を実行する。また、ライトフィールドカメラ１は、被写体の撮影後に焦点位置を変更することが可能であるが、被写体の撮影前に自動的に焦点位置を調節するオートフォーカス機能を備えていてもよい。この場合、駆動制御部１３は、撮影光学系１１の焦点調節を行うために、システム制御部７０から送信される制御情報に基づいて撮影光学系１１（例えばフォーカシング用レンズ）の駆動制御を実行する。

また、上記した各実施形態において、報知部７３は、表示部５０の表示画面５１に表示される削除される被写体の表示態様の変化として、削除される被写体の表示と非表示とを繰り返し実行する点滅表示を行っていた。しかし、このような構成に限定されず、報知部７３は、例えば、削除される被写体の色を変化させたり、削除される被写体の明るさを変化させたり、削除される被写体に枠などの識別画像を付加するような表示態様の変化であってもよい。また、判定部７２は、主要被写体の手前に複数の被写体が存在する場合に、複数の被写体の各々について削除可能であるか否かを判定し、報知部７３は、複数の被写体のうち、どの被写体が削除可能であり、どの被写体が削除不可能であるかについて報知してもよい。

また、上記した第１実施形態及び第２実施形態では、報知部７３は、表示画面５１の表示領域５００ｗに「主要被写体の撮影を妨げる被写体を削除できません。」又は「主要被写体の撮影を妨げる被写体を削除できます。」という文字を表示して（図９及び図１０参照）、被写体を削除可能であるか否かを報知していた。しかし、報知部７３は、主要被写体の撮影を妨げる被写体の領域の画像データを補完可能であるか否かを報知してもよい。例えば、報知部７３は、表示画面５１の表示領域５００ｗに「主要被写体の撮影を妨げる被写体の画像データを撮影後で補完できません。」又は「主要被写体の撮影を妨げる被写体の画像データを撮影後に補間できます。」という文字を表示してもよい。

また、上記した第１実施形態では、使用者が主要被写体を選択し、第２実施形態では、使用者が削除対象の被写体を選択する構成であった。しかし、使用者が主要被写体及び削除対象の被写体の両方を選択する構成でもよい。この場合、主要被写体の手前に削除対象の被写体が存在する場合にだけ、判定部７２が削除対象の被写体を削除可能であるか否かを判定し、報知部７３が判定結果を報知する。従って、報知部７３による判定処理を実行するための条件が絞り込まれ、システム制御部７０における処理負担が一層低減される。

また、上記した第１実施形態において、被写体検出部３２は、使用者により選択された主要被写体を追尾する。すなわち、被写体検出部３２は、主要被写体の移動を追跡し、常に主要被写体の手前に主要被写体の撮影を妨げる被写体が存在するか否かを判定する。また、上記した第２実施形態において、被写体検出部３２は、使用者により選択された削除対象の被写体を追尾する。すなわち、被写体検出部３２は、削除対象の被写体の移動を追跡し、常に削除対象の被写体を削除可能であるか否かを判定する。また、被写体検出部３２は、使用者により主要被写体及び削除対象の被写体が選択された場合も、これらの被写体を追尾してもよい。

また、上記した各実施形態では、判定部７２は、使用者によるタッチパネル５２のタッチ操作によって選択された被写体を主要被写体又は削除対象の被写体として設定する構成であった。しかし、このような構成に限定されず、例えば、判定部７２が使用者により予め登録された被写体を主要被写体又は削除対象の被写体として自動的に設定する構成でもよい。また、判定部７２は、表示画面５１の中心に最も近い人物の被写体などを主要被写体又は削除対象の被写体として自動的に設定する構成でもよい。また、判定部７２は、追尾対象として設定された被写体を自動的に主要被写体として設定する構成でもよい。

また、上記した各実施形態では、報知部７３は、削除可能な被写体の表示態様を変化させるが、削除不可能な被写体については何らの処理も行っていなかった。しかし、システム制御部７０は、判定部７２により削除不可能と判定された被写体に対して合焦していないライブビュー画像を表示部５０に表示するようにしてもよい。また、システム制御部７０は、判定部７２により削除不可能と判定された被写体に対して合焦していない画像（静止画、動画）を記録部６０に記録するようにしてもよい。

１…ライトフィールドカメラ（電子機器）、１Ａ…撮像装置、１Ｂ…電子機器、１０…撮像部、１１…撮影光学系（結像光学系）、１２…マイクロレンズアレイ、１２ａ，１２ｂ，１２ｃ…マイクロレンズ（正レンズ）、２０…撮像素子、３０…画像処理部、３１…画像生成部、３２…被写体検出部、５０…表示部、５１…表示画面、５２…タッチパネル、６０…記録部、６５…音声出力部、７０…システム制御部、７０Ａ…第１システム制御部、７０Ｂ…第２システム制御部、７１…表示制御部、７２…判定部、７３…報知部、７４…撮像制御部

Claims (12)

1. 一又は複数の被写体を撮像する撮像部と、
   前記撮像部が撮像した前記一又は複数の被写体のライブビュー画像を生成する画像生成部と、
   所定被写体の領域の画像を補完可能であるか否かを判定する判定部と、
   前記判定部による判定結果を報知する報知部と、を備える電子機器。
2. 前記判定部は、前記画像生成部が前記ライブビュー画像から前記所定被写体を削除する場合に、該所定被写体の領域の画像を補完可能であるか否かを判定する請求項１記載の電子機器。
3. 前記画像生成部は、前記一又は複数の被写体に対して視差を有する複数のライブビュー画像を生成可能であり、生成した前記複数のライブビュー画像に基づいて前記所定被写体の領域の画像を補完する請求項１または請求項２記載の電子機器。
4. 前記撮像部は、
   結像光学系の焦点面近傍に二次元状に配置された複数の正レンズと、
   前記複数の正レンズの各々の後側に複数個ずつ画素を配列した撮像素子とを有し、
   前記結像光学系の射出瞳の異なる領域からの光束を前記複数個の画素で個別に受光する請求項１から３のいずれか一項に記載の電子機器。
5. 前記画像生成部が生成する前記ライブビュー画像を所定期間記憶する記憶部を備え、
   前記判定部は、前記記憶部に記憶された前記ライブビュー画像に基づいて前記所定被写体の領域の画像を補完可能であるか否かを判定する請求項１から４のいずれか一項に記載の電子機器。
6. 前記報知部は、前記判定部による判定結果を表示部に表示する請求項１から５のいずれか一項に記載の電子機器。
7. 前記報知部は、前記表示部に表示される前記所定被写体の表示態様を変化させる請求項６記載の電子機器。
8. 前記報知部は、前記判定部による判定結果を音声出力部からの音声出力により報知する請求項１から７のいずれか一項に記載の電子機器。
9. 前記ライブビュー画像中の前記一又は複数の被写体を検出する被写体検出部を備え、
   前記判定部は、前記被写体検出部により検出された前記一又は複数の被写体のうちの使用者によって選択された被写体を前記所定被写体と特定する請求項１から８のいずれか一項に記載の電子機器。
10. 前記ライブビュー画像中の前記一又は複数の被写体を検出する被写体検出部を備え、
    前記判定部は、前記被写体検出部により検出された前記一又は複数の被写体のうちの使用者によって選択された被写体を主要被写体と特定し、
    前記主要被写体の手前に重複して存在する被写体を前記所定被写体と特定する請求項１から８のいずれか一項に記載の電子機器。
11. 前記判定部により前記所定被写体の領域の画像を補完可能であると判定された場合において前記撮像部により撮像が行われたときは、前記画像生成部により前記所定被写体が削除されるとともに前記所定被写体の領域の画像が補完された画像を記録部に記録する記録制御部を備える請求項１から１０のいずれか一項に記載の電子機器。
12. 一又は複数の被写体を撮像する撮像部を有する電子機器の制御装置に、
    前記撮像部が撮像した前記一又は複数の被写体のライブビュー画像を生成する画像生成処理と、
    所定被写体の領域の画像を補完可能であるか否かを判定する判定処理と、
    前記判定処理による判定結果を報知する報知処理と、を実行させる制御プログラム。

Images