JP2018125887A - 電子機器 - Google Patents

Abstract

【課題】電子機器の操作性を向上させる。
【解決手段】記録部に記録されている動画を再生して表示部に表示させる制御部と、表示部に設けられ、接触を検出する検出部と、制御部により動画が再生されているときに、検出部により前記接触された複数の位置の変化が検出されると、表示部に表示されている画像に画像処理を行う処理部と、を備える。
【選択図】図３

Description

本発明は、電子機器に関する。

被写体の撮影後に合焦位置などを設定することが可能な電子機器が知られている。この種の電子機器としてフォーカスブラケット機能を備えたデジタルカメラがある（例えば特許文献１参照）。フォーカスブラケットとは、連写をしながら合焦位置を変えていき、合焦位置の異なる複数の画像を撮影することをいう。例えば、特許文献１に記載されたデジタルカメラは、合焦位置の異なる複数の画像データを適宜選択し、選択した画像データを合成することにより、合焦位置を変更する。

特開２００３−１４１５０６号公報

しかし、上記した電子機器においては、撮影後に焦点調節を行うリフォーカス機能などが実現されているが、このような電子機器の使い勝手が十分ではなく、依然として改善の余地があった。

本発明の態様では、使用者の操作に応じて画像の合焦位置と被写界深度との少なくとも一方を変更することにより、電子機器の操作性を向上させることを目的とする。

本発明の態様によれば、記録部に記録されている動画を再生して表示部に表示させる制御部と、表示部に設けられ、接触を検出する検出部と、制御部により動画が再生されているときに、検出部により前記接触された複数の位置の変化が検出されると、表示部に表示されている画像に画像処理を行う処理部と、を備える電子機器が提供される。本発明の態様によれば、再生速度が第１速度で再生されている動画を表示する表示部と、表示部に設けられ、接触された位置を検出する検出部と、検出部により接触された位置が検出されると、動画の再生速度を第１速度よりも遅い第２速度で再生する制御部と、制御部により動画が第２速度で再生されているときに、検出部により複数の位置への接触と、接触された複数の位置の変化が検出されると、被写界深度を変更可能なパラメータによって生成された被写界深度の異なる画像データに基づいて、表示部に表示されている画像の被写界深度を変化させる処理部と、を備える画像処理装置が提供される。また、本発明の第１態様によれば、使用者が操作可能な操作部と、画像を表示部に表示させ、使用者による操作部の第１操作に応じて画像の表示状態を変更する表示制御部と、画像の表示中に使用者による操作部の第２操作に応じて画像の合焦位置と被写界深度との少なくともいずれか一方を変更する変更部と、を備える電子機器が提供される。

本発明の第２態様によれば、使用者が操作可能な操作部を有する電子機器の制御装置に、画像を表示部に表示させ、使用者による操作部の第１操作に応じて画像の表示状態を変更する表示制御処理と、画像の表示中に使用者による操作部の第２操作に応じて画像の合焦位置と被写界深度との少なくともいずれか一方を変更する変更処理と、を実行させる制御プログラムが提供される。

本発明の態様によれば、使用者の操作に応じてライブビュー画像又は動画の合焦位置と被写界深度との少なくとも一方を変更することにより、電子機器の操作性を向上させることができる。

電子機器の一例であるライトフィールドカメラにおける光学系部分の概略構成を示す断面図である。 撮像素子の画素配列と入射領域とを説明する図である。 第１実施形態に係るライトフィールドカメラの構成を示すブロック図である。 画像の再構成を説明する図である。 第１実施形態の画像処理部が実行する画像処理を説明するためのフローチャートである。 ライトフィールドカメラと各被写体との距離関係を示す図である。 第１実施形態のシステム制御部が実行する撮影動作を説明するためのフローチャートである。 表示部の表示画面に表示されるライブビュー画像の表示例を示す図である。 第１実施形態のシステム制御部が実行する動画再生処理を説明するためのフローチャートである。 第１実施形態の動画再生中の第１表示例を示す図である。 第１実施形態の動画再生中の第２表示例を示す図である。 第１実施形態の動画再生中の第３表示例を示す図である。 第２実施形態のシステム制御部が実行する撮影動作を説明するためのフローチャートである。 第３実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。なお、以下の各実施形態では、電子機器としてライトフィールドカメラを例に挙げて説明する。

＜第１実施形態＞
図１は、電子機器の一例であるライトフィールドカメラにおける光学系部分の概略構成を示す断面図である。なお、図１において、紙面の右方向（光軸方向）をＸ軸とし、Ｘ軸と直交する紙面の上方向をＺ軸とし、Ｘ軸及びＺ軸と直交する紙面の裏から表に向かう方向をＹ軸としている。また、図１は、ライトフィールドカメラにおける光学系部分を光軸を含む面で切断したときの断面図である。

本実施形態のライトフィールドカメラは、被写体の撮影後に合焦位置や視点などを設定することが可能な電子機器である。このライトフィールドカメラは、三次元空間の光線集合であるライトフィールド（光線空間）の情報を取得し、取得したライトフィールドの情報に基づいて画像を生成する。以下の説明では、ライトフィールドの情報を光線情報という。ライトフィールドカメラの代表的な機能としては、撮影後の後処理によって焦点距離を変更した画像を生成するリフォーカス機能がある。従って、ライトフィールドカメラはリフォーカスカメラとも呼ばれる。

本実施形態のライトフィールドカメラは、その光学系部分として、撮影光学系（結像光学系）１１及びマイクロレンズアレイ１２を備えている。なお、図１には、ライトフィールドカメラにおける光学系部分以外の構成である撮像素子２０についても示している。

撮影光学系１１は、複数のレンズ群で構成される単焦点レンズである。撮影光学系１１は、被写体からの光束をその焦点面（結像面）近傍に結像する。また、撮影光学系１１は、撮影時に絞り値（Ｆ値）を制御する開口絞り（不図示）を備えている。なお、絞り値は撮影後の画像の再構成によって変更することができるため、開口絞りの開口径は固定でもよい。図１に示すように、撮影光学系１１の焦点面近傍にマイクロレンズアレイ１２と撮像素子２０とが順に配置されている。

マイクロレンズアレイ１２は、正のパワーを有した複数のマイクロレンズ（正レンズ）が二次元状に配置された構成となっている。なお、図１に示すマイクロレンズアレイ１２においては、３つのマイクロレンズだけがＺ軸方向に配されているが、実際はＺ軸方向及びＹ軸方向に多数のマイクロレンズが配されている。

撮像素子２０は、マイクロレンズアレイ１２の後側（撮影光学系１１の反対側）に若干の間隔をおいて配置されている。この撮像素子２０は、マイクロレンズアレイ１２の各マイクロレンズを通過した光束を複数の光電変換素子で受光し、各々の光電変換素子が受光した光束を光電変換して複数の画素信号を生成する。複数の光電変換素子はマトリックス状に配列され、各々の光電変換素子が画素を形成する。本実施形態では、撮像素子２０は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal-Oxide Semiconductor)などの二次元固体撮像素子で構成されている。

図１の部分拡大図に示す例では、複数のマイクロレンズ１２ａ，１２ｂ，１２ｃの各々の後側に複数個ずつ画素が配列されている。具体的には、マイクロレンズ１２ａの後側に３つの画素２１ａ，２１ｂ，２１ｃが配列され、マイクロレンズ１２ｂの後側に３つの画素２２ａ，２２ｂ，２２ｃが配列され、マイクロレンズ１２ｃの後側に３つの画素２３ａ，２３ｂ，２３ｃが配列されている。

３つの画素２１ａ，２１ｂ，２１ｃがマイクロレンズ１２ａに対応する画素２１であり、３つの画素２２ａ，２２ｂ，２２ｃがマイクロレンズ１２ｂに対応する画素２２であり、３つの画素２３ａ，２３ｂ，２３ｃがマイクロレンズ１２ｃに対応する画素２３である。なお、図１の部分拡大図では、各マイクロレンズ１２ａ，１２ｂ，１２ｃに対応する画素として３つの画素を示しているが、実際はＺ軸方向及びＹ軸方向に多数の画素が配列されている（後述する図２参照）。

次に、図１を参照してライトフィールドカメラによるライトフィールドの取得について簡単に説明する。図１において、Ａの位置にある被写体が撮影光学系１１によってマイクロレンズアレイ１２の位置に焦点を結ぶものとする。被写体上の点Ａ１からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｃで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｂで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ａで受光される。

同様に、被写体上の点Ａ２からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｃで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｂで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ａで受光される。

さらに、被写体上の点Ａ３からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｃで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｂで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ａで受光される。このように、Ａの位置にある被写体からの光線は、マイクロレンズ１２ａ，１２ｂ，１２ｃの後側に位置する撮像素子２０の画素で受光されることによって明るさと進行方向とが光線情報として取得される。

マイクロレンズ１２ａ，１２ｂ，１２ｃそれぞれに対応する３つの画素のうち、下側の画素２１ｃ，２２ｃ，２３ｃの画素信号で生成される画像は、部分領域１１ａを通過した光線による像である。また、真中の画素２１ｂ，２２ｂ，２３ｂの画素信号で生成される画像は、部分領域１１ｂを通過した光線による像である。また、上側の画素２１ａ，２２ａ，２３ａの画素信号で生成される画像は、部分領域１１ｃを通過した光線による像である。例えば各マイクロレンズに対応する画素数がＮ個である場合、マイクロレンズに対して同じ位置にある画素の画素値を配列して構成されるＮ個の再構成画像は、撮影光学系１１をＮ個の部分領域に分割して取得されるＮ個のステレオ画像群を形成する。

図２は、撮像素子２０の画素配列と入射領域とを説明する図である。なお、図２では図１のＸ軸方向から撮像素子２０を観察した様子を示す。図２に示す撮像素子２０において、画素が配列された領域を画素領域２００という。画素領域２００には例えば１０００万個以上もの画素がマトリックス状に配列されている。画素領域２００における円形の領域は、１つのマイクロレンズを通過した光線が入射する領域である。従って、円形の領域は、複数のマイクロレンズごとに複数形成される。これらの領域を入射領域２０１，２０２・・・という。なお、マイクロレンズは例えば５８６×４４０個配置される。ただし、このような配置数は一例であって、これよりも多い数でも少ない数でもよい。図２に示す例では、１つのマイクロレンズの直径は１３画素分となっている。ただし、このような画素数分に限定されるわけではない。

上述したように、ライトフィールドカメラは、すべてのマイクロレンズから入射領域における同じ位置（入射領域内におけるＹ軸方向及びＺ軸方向の同じ位置）にある画素の画素値を抽出して再構成する。このようにして得られた再構成画像群は、撮影光学系１１の異なる部分領域から被写体を観察した画像群に相当する。従って、これらの再構成画像群においては、部分領域の位置と被写体までの距離に応じた視差を有する。例えば、図２に示すように、入射領域２０１における画素２０１ａと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像と、入射領域２０１における画素２０１ｂと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像とで視差を有する。

図３は、第１実施形態に係るライトフィールドカメラ１の構成を示すブロック図である。図３に示すライトフィールドカメラ１は、撮像部１０、画像処理部３０、ワークメモリ（記憶部）４０、表示部５０、操作部５５、記録部６０、音声出力部６５、及びシステム制御部７０を備える。撮像部１０は、撮影光学系１１、マイクロレンズアレイ１２、駆動制御部１３、撮像素子２０、及び駆動部２１を有している。撮影光学系１１及びマイクロレンズアレイ１２は、図１において説明したため、図３においては説明を省略する。

撮像素子２０の撮像面には、例えばベイヤー配列のカラーフィルタアレイが配置されている。撮像素子２０は、撮影光学系１１及びマイクロレンズアレイ１２を通過した光束を入射する。撮像素子２０は、入射した光束を光電変換してアナログ信号の各画素の画素信号を生成する。撮像部１０において、不図示のアンプがアナログ信号の各画素の画素信号を所定の利得率（増幅率）で増幅する。また、不図示のＡ／Ｄ変換部がアンプにより増幅されたアナログ信号の各画素の画素信号をデジタル信号の各画素の画素信号に変換する。そして、撮像部１０は、デジタル信号の各画素の画素信号からなるＲＡＷデータを画像処理部３０に出力する。上記したライトフィールドカメラ１が取得する光線情報は、撮像部１０から出力されるＲＡＷデータで特定される。

駆動制御部１３は、撮影光学系１１が備える開口絞りの開口径調節を行うために、システム制御部７０から送信される制御情報に基づいて開口絞りの駆動制御を実行する。駆動部２１は、システム制御部７０からの指示信号に基づいて設定される撮像条件で撮像素子２０の駆動を制御する制御回路である。撮像条件としては、例えば、露光時間（シャッター速度）、フレームレート、ゲインなどがあげられる。

ここで、露光時間とは、撮像素子２０の光電変換素子が入射光に応じた電荷の蓄積を開始してから終了するまでの時間のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。また、ゲインとは、画素信号を増幅するアンプの利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子２０の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子２０が光をとらえる能力を表す値となる。

画像処理部３０は、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、所定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。画像処理部３０が生成する画像データには、静止画、動画、及びライブビュー画像の画像データが含まれる。ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部１０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。画像処理部３０は、図３に示すように、画像生成部３１、第１編集部３２、第２編集部３３、及び変更部３４を備えている。

画像生成部３１は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して所定の画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。具体的には、画像生成部３１は、次に示す画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。

図４は、画像の再構成を説明する図である。図４に示すように、画像生成部３１は、画素領域２００における各入射領域２０１，２０２・・・に対して同じ位置にある画素２０１ａ，２０２ａ・・・の画素値（画素信号が示す値）を抽出する。画像生成部３１は、抽出した画素値を並べ直して再構成画像データ５００ａを生成する。各入射領域２０１，２０２・・・に対応する画素数がＮ個である場合、Ｎ個の再構成画像データが生成される。

画像生成部３１は、Ｎ個の再構成画像データ群を所定の焦点距離に合わせて所定量だけ平行移動させる。そして、画像生成部３１は、平行移動後のＮ個の再構成画像データ群を加算平均する。これにより、所定の焦点距離に設定された画像データが生成される。移動量に応じた奥行きに存在する被写体は像の位置が合うのでシャープな輪郭の像が形成される。移動量に応じた奥行きに存在しない被写体の像はぼける。なお、上記した画像処理は一例であって、画像生成部３１は上記した画像処理とは異なる画像処理を実行することにより、任意の焦点距離に設定された画像データを生成してもよい。例えば、画像生成部３１は、撮像素子２０の各画素が取得する光線を所定の演算を行うことによって算出する。そして、画像生成部３１は、算出した光線を所定の焦点距離に設定した仮想的な画像面に投影することにより、所定の焦点距離に設定された画像データを生成する。

本実施形態においては、画像生成部３１は、最も手前の被写体に合焦した画像データ、最も奥の被写体に合焦した画像データ、中間位置の被写体に合焦した画像データなど、焦点位置（焦点距離）が異なる複数の画像データを生成する。

画像生成部３１は、ワークメモリ４０をワークスペースとして、任意の焦点に設定された画像データに対して種々の画像処理を施す。例えば、画像生成部３１は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像データを生成する。また、画像生成部３１は、ＲＧＢ画像データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像生成部３１は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。

画像生成部３１は、生成した画像データから一又は複数の被写体を検出する。本実施形態では、画像生成部３１は、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の領域の境界を特定して被写体を検出する。そして、画像生成部３１は、検出した被写体のサイズ及び位置を画素単位で示す位置データをシステム制御部７０に出力する。

なお、画像生成部３１は、人物の被写体に対しては、公知の顔検出機能を用いて被写体の検出を行ってもよい。また、画像生成部３１は、移動する被写体（移動被写体）に対しては、画像生成部３１から時系列的に得られる複数の画像データを比較して移動被写体を検出してもよい。また、画像生成部３１は、顔検出に加えて、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を被写体として検出してもよい。

第１編集部３２は、システム制御部７０からの指示に応じて、ライブビュー画像又は動画における所定の被写体の画像データを編集する処理（すなわち、所定の被写体を削除する処理又は所定の被写体の向きを変更する処理）を行う。また、第１編集部３２は、所定の被写体の画像データを削除する処理を行った場合は、視差を有する複数の再構成画像データ（後述する図８参照）を用いて、削除した被写体の領域の画像データを補完する処理を行う。

第２編集部３３は、システム制御部７０からの指示に応じて、ライブビュー画像又は動画における所定の被写体の画像データを編集する処理（すなわち、所定の被写体を削除する処理又は所定の被写体の向きを変更する処理）を行う。また、第２編集部３３は、所定の被写体の画像データを削除する処理を行った場合は、ワークメモリ４０に記憶されている所定期間のライブビュー画像又は動画における所定の被写体の移動（後述する図８参照）に基づいて、削除した被写体の領域の画像データを補完する処理を行う。

変更部３４は、システム制御部７０からの指示に応じて、ライブビュー画像又は動画の合焦位置と被写界深度との少なくともいずれか一方を変更する処理を行う。なお、被写界深度とは、焦点が合っているように見える被写体の焦点距離の範囲のことをいう。例えば、変更部３４は、システム制御部７０からの指示によって合焦位置や被写界深度の範囲が指定されると、指定された合焦位置に近い合焦位置を持つ複数の画像データを取得する。そして、変更部３４は、これらの画像データに適切な加重を加えてから平均化することで、指定された合焦位置や被写界深度の範囲の画像データを生成する。

画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。

ワークメモリ４０は、画像処理部３０による画像処理が行われる際にＲＡＷデータや画像データなどを一時的に記憶する。表示部５０は、撮像部１０で撮像された画像や各種情報を表示する。この表示部５０は、例えば液晶表示パネルなどで構成された表示画面５１を有している。なお、表示部５０に表示される画像には、静止画、動画、ライブビュー画像が含まれる。表示部５０の表示画面５１上にはタッチパネル（操作部）５２が形成されている。タッチパネル５２は、使用者が表示画面５１に表示されている被写体の選択などの操作を行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。

操作部５５は、使用者によって操作されるレリーズスイッチ（静止画の撮影時に押されるスイッチ）、動画スイッチ（動画の撮影時に押されるスイッチ）、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。記録部６０は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体に画像処理部３０において生成された画像データや各種データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。音声出力部６５は、システム制御部７０からの指示信号に基づいてスピーカから音声出力を実行する。

システム制御部７０は、ライトフィールドカメラ１の全体の処理及び動作を制御する。このシステム制御部７０はＣＰＵ（Central Processing Unit）を有する。このシステム制御部７０は、図３に示すように、表示制御部７１、選択部７２、及び撮像制御部７３を備えている。表示制御部７１は、画像処理部３０で生成された画像データを表示部５０に出力させて、表示部５０の表示画面５１に画像（ライブビュー画像、静止画、動画）を表示させる制御を行う。また、表示制御部７１は、記録部６０に記録されている画像データを読み出して表示部５０に出力させ、表示部５０の表示画面５１に画像を表示させる制御を行う。

また、表示制御部７１は、使用者によるタッチパネル５２のタッチ操作に応じて、ライブビュー画像又は動画の表示状態を変更する制御を行う。具体的には、表示制御部７１は、使用者によるタッチパネル５２のタッチ操作に応じて、表示部５０に表示中のライブビュー画像又は動画の再生速度（単位時間あたりに表示するフレーム数）を変更する制御を行う。

選択部７２は、画像処理部３０から出力される被写体のサイズ及び位置を示す位置データに基づいて画像データ中の被写体のサイズ及び位置を認識する。また、選択部７２は、編集対象の被写体が所定時間内に所定量移動したか否かに基づいて、第１編集部３２に画像データの編集処理を実行させるか、第２編集部３３に画像データの編集処理を実行させるかを選択する。そして、選択部７２は、選択した編集部（第１編集部３２又は第２編集部３３）に画像データの編集処理を実行させることを指示する指示信号を画像処理部３０に出力する。

撮像制御部７３は、撮像素子２０の撮像面（画素領域２００）において所定の撮像条件（露光時間、フレームレート、ゲインなど）で撮像を行わせるために、所定の撮像条件を指示する指示信号を駆動部２１に対して出力する。また、撮像制御部７３は、使用者によるタッチパネル５２のタッチ操作に応じて、ＲＡＷデータに基づいて生成される画像データの合焦位置及び被写界深度を指示する指示信号を画像処理部３０に出力する。また、撮像制御部７３は、画像処理部３０に所定の制御パラメータ（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行させるために、制御パラメータを指示する指示信号を画像処理部３０に出力する。また、撮像制御部７３は、画像生成部３１で生成された画像データを記録部６０に記録させる制御を行う。

システム制御部７０は、上記の制御の他に、撮影光学系１１に備えられた開口絞りの開口径調節などの制御も行う。

なお、システム制御部７０において、表示制御部７１、選択部７２、及び撮像制御部７３は、それぞれ、ＣＰＵが制御プログラム（図示せず）に基づいて実行する処理及び制御に相当する。

次に、画像処理部３０が実行する画像処理について説明する。図５は、第１実施形態の画像処理部３０が実行する画像処理を説明するためのフローチャートである。図５に示す処理において、画像生成部３１は、撮像部１０から出力されるＲＡＷデータを取得する（ステップＳ１）。そして、画像生成部３１は、取得したＲＡＷデータに基づいて所定の合焦位置（焦点距離、焦点位置）の画像データを生成する（ステップＳ２）。

具体的には、上述したように、画像生成部３１は、画素領域２００における各入射領域に対して同じ位置にある画素の画素値を抽出し、抽出した画素値を再構成して複数個の再構成画像データ群を生成する。そして、画像生成部３１は、複数個の再構成画像データ群を所定の合焦位置に合わせて平行移動させ、平行移動後の複数個の再構成画像データ群を加算平均する。これにより、所定の合焦位置に設定された画像データが生成される。ステップＳ２において、画像生成部３１は、合焦位置が異なる複数の画像データを生成する。また、ステップＳ２で生成される画像データは、静止画、動画、ライブビュー画像の画像データが含まれる。

図６は、ライトフィールドカメラ１と各被写体Ｏ１〜Ｏ４との距離関係を示す図である。図６に示す例では、ライトフィールドカメラ１はカメラ位置ｄ０に位置している。また、被写体である人物Ｏ１は合焦位置ｄ１に位置している。また、被写体である車Ｏ２は合焦位置ｄ２に位置し、被写体である家Ｏ３は合焦位置ｄ３に位置し、被写体である木Ｏ４は合焦位置ｄ４に位置している。なお、図６において、ライトフィールドカメラ１から被写体Ｏ１〜Ｏ４に向かう方向を奥側の方向といい、その反対側の方向を手前側の方向をいう。また、奥側の方向及び手前側の方向を奥行き方向という。画像生成部３１は、ステップＳ２において、例えば各合焦位置ｄ１〜ｄ４における５つの画像データを生成する。

図５の説明に戻り、画像生成部３１は、ステップＳ２で生成された合焦位置ｄ１〜ｄ４が異なる４つの画像データに対して、色信号処理（色調補正）、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を実行する（ステップＳ３）。

次に、画像生成部３１は、画像生成部３１で生成された画像データから被写体Ｏ１〜Ｏ４を検出する（ステップＳ４）。画像生成部３１は、検出した被写体Ｏ１〜Ｏ４のサイズ及び位置を示す位置データをシステム制御部７０に出力する。

また、画像生成部３１は、ステップＳ４で検出した各被写体Ｏ１〜Ｏ４までの距離（焦点距離）を検出（算出）する（ステップＳ５）。例えば、画像生成部３１は、複数の再構成画像データ（例えば入射領域における２つの特定位置の画素の画素値から構成される再構成画像データ）における各被写体Ｏ１〜Ｏ４の視差を検出し、検出した視差に基づいて各被写体Ｏ１〜Ｏ４までの距離を算出する。このとき、画像生成部３１は、人物Ｏ１までの距離をｄ１、車Ｏ２までの距離をｄ２、家Ｏ３までの距離をｄ３、木Ｏ４までの距離をｄ４と算出する。画像生成部３１は、検出した各被写体Ｏ１〜Ｏ４までの距離を示す距離データをシステム制御部７０に出力する。

その後、画像生成部３１は、システム制御部７０からの被写体の編集要求があった場合（図７のステップＳ１８及びステップＳ１９参照）に、編集要求された被写体の画像データを編集する（ステップＳ６）。画像生成部３１により編集された画像データを編集画像データという。

次に、第１実施形態に係るライトフィールドカメラ１の撮影動作について説明する。図７は、第１実施形態のシステム制御部７０が実行する撮影動作を説明するためのフローチャートである。

図７に示す処理において、ライトフィールドカメラ１に電源が投入された後、使用者が撮影を開始するために操作部５５などの操作を行うと、撮像制御部７３は、ライブビュー画像の撮影を開始する（ステップＳ１１）。すなわち、撮像制御部７３は、駆動部２１に対して指示信号を出力することにより撮像素子２０の駆動制御を実行させる。また、表示制御部７１は、撮像素子２０で撮像されたライブビュー画像を表示部５０の表示画面５１に表示する（ステップＳ１２）。

図８は、表示部５０の表示画面５１に表示されるライブビュー画像５００の表示例を示す図である。図８（Ａ）及び（Ｂ）に示すライブビュー画像５００は、図６に示したライトフィールドカメラ１と各被写体Ｏ１，Ｏ３，Ｏ４との距離関係において、ライトフィールドカメラ１が各被写体Ｏ１，Ｏ３，Ｏ４を撮影した場合のライブビュー画像である。なお、図８（Ａ）及び（Ｂ）に示すライブビュー画像５００では、車Ｏ２は表示されていない。ここで、ライブビュー画像５００の画像データは、例えば、合焦位置ｄ１，ｄ３，ｄ４が異なる複数の画像データのうちの人物Ｏ３に合焦した画像データ（すなわち、中間位置である合焦位置ｄ３における画像データ）とする。なお、ライブビュー画像５００の画像データは、すべての被写体Ｏ１，Ｏ３，Ｏ４に合焦した画像データであってもよい。例えば、ライブビュー画像５００の画像データは、画像生成部３１がすべての合焦位置ｄ１，ｄ３，ｄ４における画像データから各被写体Ｏ１，Ｏ３，Ｏ４の画像データを抽出して合成した画像データであってもよい。

図８（Ａ）及び（Ｂ）に示す例では、ライブビュー画像５００においては、人物Ｏ１が左側の下方に表示されている。また、家Ｏ３が左側の下方に表示され、木Ｏ４が右側に表示されている。

上記したように、画像生成部３１により生成される再構成画像データ群は、被写体Ｏ１〜Ｏ４に対して視差を有する。視差は、ライトフィールドカメラ１に近い被写体ほど大きく、ライトフィールドカメラ１に遠い被写体ほど小さくなる。従って、人物Ｏ１に対する視差が最も大きく、木Ｏ４に対する視差が最も小さい。図８（Ａ）においては、人物Ｏ１における視差も示している。ある再構成画像データにおける人物Ｏ１’の位置と、他の再構成画像データにおける人物Ｏ１”の位置とが視差によって異なっている。なお、図８（Ａ）には示していないが、家Ｏ３及び木Ｏ４についても、複数の再構成画像データ間において視差を有する。また、図８（Ｂ）においては、人物Ｏ１が右側に移動している状態を示している。

次に、選択部７２は、ライブビュー画像５０１に含まれる被写体Ｏ１，Ｏ３，Ｏ４を認識する（ステップＳ１３）。具体的には、選択部７２は、画像処理部３０に対して被写体の検出を要求する。画像生成部３１は、システム制御部７０から被写体の検出の要求を受けると、ライブビュー画像５００に含まれる各被写体Ｏ１，Ｏ３，Ｏ４を検出する（図５のステップＳ４参照）。そして、画像生成部３１は、検出した各被写体Ｏ１，Ｏ３，Ｏ４のサイズ及び位置を画素単位で示す位置データをシステム制御部７０に出力する。また、画像生成部３１は、各被写体Ｏ１〜Ｏ５までの距離を検出する（図５のステップＳ５参照）。そして、画像生成部３１は、検出した各被写体Ｏ１、Ｏ３，Ｏ４までの距離を示す距離データをシステム制御部７０に出力する。選択部７２は、画像処理部３０からの位置データに基づいて各被写体Ｏ１，Ｏ３，Ｏ４のサイズ及び位置を認識する。また、選択部７２は、画像処理部３０からの距離データに基づいて各被写体Ｏ１，Ｏ３，Ｏ４までの距離を認識する。

次に、選択部７２は、使用者によるタッチパネル５２のタッチ操作によって編集対象の被写体が選択されたか否かを判定する（ステップＳ１４）。例えば、使用者は、図８（Ａ）に示す人物Ｏ１を選択する場合は、表示画面５１に表示されている人物Ｏ１をタッチする。表示画面５１上に形成されているタッチパネル５２は、使用者によりタッチされた人物Ｏ１の位置を示す信号をシステム制御部７０に出力する。選択部７２は、タッチパネル５２から出力される信号に基づいて、使用者により被写体が選択されたか否かを判定する。また、選択部７２は、使用者により被写体が選択されたと判定した場合に、タッチパネル５２からの信号が示す位置とステップＳ１３で認識した被写体の位置とに基づいて、いずれの被写体が選択されたかについても判定する。なお、選択部７２が使用者により被写体が選択されていないと判定した場合は（ステップＳ１４のＮＯ）、処理を終了する。

選択部７２は、ステップＳ１４で使用者により編集対象の被写体が選択されたと判定した場合は（ステップＳ１４のＹＥＳ）、ライブビュー画像の画像データを第１保存データとしてワークメモリ４０に所定期間記憶させる（ステップＳ１５）。なお、ワークメモリ４０は、画像データを一時的に記憶するバッファとしての役割を果たす記憶部であるので、使用者により被写体が選択されていない場合においても、ライブビュー画像の画像データを所定期間記憶してもよい。すなわち、ワークメモリ４０は、常時、ライブビュー画像の画像データを所定期間記憶してもよい。

次に、選択部７２は、ワークメモリ４０が画像データを記憶する所定時間内において、編集対象の被写体（人物Ｏ１）が閾値（基準量）以上の距離を移動したか否かを判定する（ステップＳ１７）。ここで、閾値は、編集対象の被写体が移動する前の被写体の領域と移動した後の被写体の領域とが重複しないような被写体の移動距離である。この閾値は、編集対象の被写体のサイズによって変更され得る値である。選択部７２は、所定時間内において、編集対象の被写体が閾値以上の距離を移動したと判定した場合は、編集対象の被写体の領域の画像データをワークメモリ４０に記憶されている画像データに基づいて補完可能であると判定する。一方、選択部７２は、所定時間内において、編集対象の被写体が閾値以上の距離を移動していないと判定した場合は、編集対象の被写体の領域の画像データをワークメモリ４０に記憶されている画像データに基づいて補完可能でないと判定する。

選択部７２は、編集対象の被写体が閾値以上の距離を移動していないと判定した場合は（ステップＳ１７のＮＯ）、第１編集部３２に編集画像データを生成させるために、画像処理部３０に対してライブビュー画像の画像データの編集処理を実行させることを指示する指示信号を画像処理部３０に出力する（ステップＳ１８）。なお、このとき、選択部７２は、使用者の操作部５５などの操作によって画像データの編集内容（削除又は向きの変更）が選択された場合は、編集内容を指示する指示信号を画像処理部３０に対して出力してもよい。

第１編集部３２は、システム制御部７０からの指示信号に応じて、視差を有する複数の再構成画像データを用いて、ライブビュー画像における編集対象の被写体の画像データを編集する処理（すなわち、被写体を削除する処理又は被写体の向きを変更する処理）を行う。また、第１編集部３２は、編集対象の被写体の画像データを削除する処理を行った場合は、視差を有する複数の再構成画像データを用いて、削除した被写体の領域の画像データを補完する処理を行う。このような第１編集部３２により編集処理が行われることにより、編集対象の被写体が削除され又は編集対象の被写体の向きが変更された編集画像データが生成される。

選択部７２は、編集対象の被写体が閾値以上の距離を移動していると判定した場合は（ステップＳ１７のＹＥＳ）、第２編集部３３に編集画像データを生成させるために、画像処理部３０に対してライブビュー画像の画像データの編集処理を実行させることを指示する指示信号を画像処理部３０に出力する（ステップＳ１９）。なお、このときも、選択部７２は、使用者の操作部５５などの操作によって画像データの編集内容（削除又は向きの変更）が選択された場合は、編集内容を指示する指示信号を画像処理部３０に対して出力してもよい。

第２編集部３３は、システム制御部７０からの指示信号に応じて、ワークメモリ４０に所定時間記憶されているライブビュー画像の画像データを用いて、ライブビュー画像における編集対象の被写体の画像データを編集する処理（すなわち、被写体を削除する処理又は被写体の向きを変更する処理）を行う。また、第２編集部３３は、編集対象の被写体の画像データを削除する処理を行った場合は、ワークメモリ４０に所定時間記憶されているライブビュー画像の画像データを用いて、削除した被写体の領域の画像データを補完する処理を行う。このような第２編集部３３により編集処理が行われることにより、編集対象の被写体が削除され又は編集対象の被写体の向きが変更された編集画像データが生成される。

表示制御部７１は、第１編集部３２又は第２編集部３３において生成された編集画像データを表示部５０に出力させて、編集画像（編集対象の被写体が削除された画像又は編集対象の被写体の向きが変更された画像）を表示部５０の表示画面５１に表示させる（ステップＳ２０）。また、撮像制御部７３は、第１編集部３２又は第２編集部３３において生成された編集画像データを記録部６０に出力させて、編集画像データを第２保存データとして記録部６０に記録（保存）させる（ステップＳ２１）。

なお、図７で説明した処理においては、システム制御部７０は、ライブビュー画像中の所定被写体の画像データを画像処理部３０（第１編集部３２又は第２編集部３３）に編集させていたが、動画中の所定被写体の画像データを画像処理部３０（第１編集部３２又は第２編集部３３）に編集させてもよい。具体的には、選択部７２は、ステップＳ１４で使用者により編集対象の被写体が選択されたと判定した場合は（ステップＳ１４のＹＥＳ）、動画の撮影を開始させる。そして、選択部７２は、動画の画像データを第１保存データとしてワークメモリ４０に所定期間記憶させる（ステップＳ１５参照）。

次に、選択部７２は、ワークメモリ４０が画像データを記憶する所定時間内において、編集対象の被写体が閾値（基準量）以上の距離を移動したか否かを判定する（ステップＳ１７参照）。選択部７２は、編集対象の被写体が閾値以上の距離を移動していないと判定した場合は、第１編集部３２に編集画像データを生成させるために、画像処理部３０に対して動画の画像データの編集処理を実行させることを指示する指示信号を画像処理部３０に出力する（ステップＳ１８参照）。第１編集部３２は、システム制御部７０からの指示信号に応じて、視差を有する複数の再構成画像データを用いて、動画における編集対象の被写体の画像データを編集する処理（すなわち、被写体を削除する処理又は被写体の向きを変更する処理）を行う。

選択部７２は、編集対象の被写体が閾値以上の距離を移動していると判定した場合は、第２編集部３３に編集画像データを生成させるために、画像処理部３０に対して動画の画像データの編集処理を実行させることを指示する指示信号を画像処理部３０に出力する（ステップＳ１９参照）。第２編集部３３は、システム制御部７０からの指示信号に応じて、ワークメモリ４０に所定時間記憶されている動画の画像データを用いて、動画における編集対象の被写体の画像データを編集する処理（すなわち、被写体を削除する処理又は被写体の向きを変更する処理）を行う。

表示制御部７１は、第１編集部３２又は第２編集部３３において生成された編集画像データを表示部５０に出力させて、編集画像（編集対象の被写体が削除された画像又は編集対象の被写体の向きが変更された画像）を表示部５０の表示画面５１に表示させる（ステップＳ２０参照）。また、撮像制御部７３は、第１編集部３２又は第２編集部３３において生成された編集画像データを記録部６０に出力させて、編集画像データを第２保存データとして記録部６０に記録（保存）させる（ステップＳ２１参照）。

さらに、図７で説明した処理においては、システム制御部７０は、ライブビュー画像中又は動画中の所定被写体の画像データを画像処理部３０（第１編集部３２又は第２編集部３３）に編集させていたが、連続して撮影された複数の静止画中の所定被写体の画像データを画像処理部３０（第１編集部３２又は第２編集部３３）に編集させてもよい。この場合、選択部７２は、ステップＳ１４で使用者により編集対象の被写体が選択されたと判定した場合は（ステップＳ１４のＹＥＳ）、静止画の連続撮影（連写）を開始させる。そして、選択部７２は、複数の静止画の画像データを第１保存データとしてワークメモリ４０に所定期間記憶させる（ステップＳ１５参照）。

そして、選択部７２は、ワークメモリ４０が画像データを記憶する所定時間内において、編集対象の被写体が閾値（基準量）以上の距離を移動していないと判定した場合は（ステップＳ１７のＮＯ参照）、第１編集部３２に編集画像データを生成させるために、画像処理部３０に対して静止画の画像データの編集処理を実行させることを指示する指示信号を画像処理部３０に出力する（ステップＳ１８参照）。第１編集部３２は、システム制御部７０からの指示信号に応じて、視差を有する複数の再構成画像データを用いて、静止画における編集対象の被写体の画像データを編集する処理（すなわち、被写体を削除する処理又は被写体の向きを変更する処理）を行う。

選択部７２は、編集対象の被写体が閾値以上の距離を移動していると判定した場合は（ステップＳ１７のＹＥＳ参照）、第２編集部３３に編集画像データを生成させるために、画像処理部３０に対して動画の画像データの編集処理を実行させることを指示する指示信号を画像処理部３０に出力する（ステップＳ１９参照）。第２編集部３３は、システム制御部７０からの指示信号に応じて、ワークメモリ４０に所定時間記憶されている複数の静止画の画像データを用いて、静止画における編集対象の被写体の画像データを編集する処理（すなわち、被写体を削除する処理又は被写体の向きを変更する処理）を行う。

表示制御部７１は、第１編集部３２又は第２編集部３３において生成された編集画像データを表示部５０に出力させて、編集画像（編集対象の被写体が削除された画像又は編集対象の被写体の向きが変更された画像）を表示部５０の表示画面５１に表示させる（ステップＳ２０参照）。また、撮像制御部７３は、第１編集部３２又は第２編集部３３において生成された編集画像データを記録部６０に出力させて、編集画像データを第２保存データとして記録部６０に記録（保存）させる（ステップＳ２１参照）。

次に、動画の表示（再生）中において動画の合焦位置や被写界深度を変更する処理について説明する。図９は、第１実施形態のシステム制御部７０が実行する動画再生処理を説明するためのフローチャートである。また、図１０は、第１実施形態の動画再生中の第１表示例を示す図である。また、図１１は、第１実施形態の動画再生中の第２表示例を示す図である。また、図１２は、第１実施形態の動画再生中の第３表示例を示す図である。

図９に示す処理において、表示制御部７１は、使用者による操作部５５などの操作に応じて、撮像部１０により撮影中の動画（つまり、画像処理部３０により生成された直後の動画）又は記録部６０に記録されている動画の画像データを表示部５０に出力させ、表示部５０の表示画面５１に表示させる（ステップＳ３１）。

使用者は、表示中（再生中）の動画の合焦位置や被写界深度を変更したい場合は、表示部５０の表示画面５１をタッチする。このときの使用者によるタッチ操作を第１操作という。表示制御部７１は、タッチパネル５２からの信号に基づき、使用者による画面へのタッチ操作があったか否かを判定する（ステップＳ３２）。なお、表示制御部７１は、使用者による画面へのタッチ操作がないと判定した場合は、処理を終了する。

表示制御部７１は、使用者による画面へのタッチ操作があったと判定した場合は（ステップＳ３２のＹＥＳ）、動画の再生速度を遅くしてスローモーション再生を実行させる（ステップＳ３３）。具体的には、表示制御部７１は、表示部５０において表示中の動画の再生速度を遅くする制御を行う。このとき、表示制御部７１は、撮像部１０により撮影中の動画をステップＳ３１で再生している場合は、動画のフレームレートに合わせた再生速度に変更する。なお、表示制御部７１は、撮像部１０により撮影中の動画についてスローモーション再生を実行する場合は、撮影中の動画と表示中の動画とのずれを吸収するために、スローモーション再生が行われている時間、ワークメモリ４０又は記録部６０に動画を記録する。

図１０に示す例では、動画５０１が表示画面５１に表示されているときに、使用者が表示画面５１（つまりタッチパネル５２）をタッチすると（図１０（１））、動画５０２の再生速度が遅くなる（図１０（２））。動画５０２においては、動画５０１よりも、車Ｏ２の移動速度が遅くなっている。

使用者は、表示中（再生中）の動画の合焦位置を変更したい場合は、表示画面５１に表示されている被写体のうち、合焦位置を変更したい被写体にタッチする。このときの使用者によるタッチ操作を第２操作という。表示制御部７１は、使用者による被写体へのタッチ操作があったか否かを判定する（ステップＳ３４）。

表示制御部７１は、使用者による被写体へのタッチ操作があったと判定した場合は（ステップＳ３４のＹＥＳ）、そのタッチ操作によって選択された被写体（使用者にタッチされた被写体）に対して合焦（ピントが合う）するように、動画の合焦位置を変更することを指示する指示信号を画像処理部３０に出力する（ステップＳ３５）。変更部３４は、システム制御部７０からの指示信号によって指定された合焦位置に近い合焦位置を持つ複数の画像データを取得する。そして、変更部３４は、これらの画像データに適切な加重を加えてから平均化することで、指定された合焦位置の画像データを生成する。そして、変更部３４は、生成した画像データを表示部５０に出力する。これにより、合焦位置が変更された画像が表示画面５１に表示される。

図１０に示す例では、使用者が表示画面５１に表示されている動画５０３中の車Ｏ２にタッチすると（図１０（３））、動画５０３中の家Ｏ３に合焦した表示状態から動画５０４中の車Ｏ２に合焦した表示状態に変更される（図１０（４））。また、図１１に示す例では、使用者が表示画面５１に表示されている動画５０３中の車Ｏ２にタッチすると（図１１（３））、動画５０３中の家Ｏ３に合焦した表示状態から動画５０３Ａ中の車Ｏ２に合焦した表示状態に徐々に変更され（図１１（３Ａ））、そして、動画５０４中の車Ｏ２に合焦した表示状態になる（図１１（４））。なお、図１１（１）及び（２）は、図１０（１）及び（２）と同様の表示例であるので、その説明を省略する。

使用者は、表示中（再生中）の動画の被写界深度の範囲を変更したい場合は、表示画面５１上でピンチアウト操作又はピンチイン操作を行う。ピンチアウト操作は、表示画面５１を指でつまむようにした後に指を遠ざける操作である。ピンチイン操作は、表示画面５１を指でつまむようにした後に指を近づける操作である。これらの操作も第２操作という。表示制御部７１は、使用者によるピンチアウト操作又はピンチイン操作があったか否かを判定する（ステップＳ３６）。なお、本実施形態では、使用者によるピンチアウト操作により被写界深度の範囲が広くなり、使用者によるピンチイン操作により被写界深度の範囲が狭くなる。

表示制御部７１は、使用者によるピンチアウト操作又はピンチイン操作があったと判定した場合は（ステップＳ３６のＹＥＳ）、これらの操作に対応させて被写界深度の範囲を変更するように、動画の被写界深度を変更することを指示する指示信号を画像処理部３０に出力する（ステップＳ３７）。変更部３４は、システム制御部７０からの指示信号によって指定された被写界深度の範囲となるように、合焦位置の異なる複数の画像データに適切な加重を加えてから平均化することで、指定された被写界深度の範囲の画像データを生成する。そして、変更部３４は、生成した画像データを表示部５０に出力する。これにより、被写界深度の範囲が変更された画像が表示画面５１に表示される。

図１２に示す例では、使用者が表示画面５１上でピンチアウト操作を行うと（図１２（３−１）及び（３−２））、動画５０４中の被写界深度の範囲（例えば、車Ｏ２の合焦位置から奥行き方向に前後する範囲）が広くなる（図１２（４））。なお、図１２（１）及び（２）は、図１０（１）及び（２）と同様の表示例であるので、その説明を省略する。

次に、表示制御部７１は、合焦位置や被写界深度の変更が終了すると、動画の再生速度を元の再生速度に戻す（ステップＳ３８）。図１０（４）、図１１（４）、及び図１２（４）では、動画５０４の再生速度が元の再生速度に戻された状態（つまり、車Ｏ２の移動速度が元の移動速度に戻された状態）を示している。

なお、図９で説明した処理においては、システム制御部７０は、使用者のタッチ操作に応じて、動画のスローモーション再生、動画の合焦位置の変更、及び動画の被写界深度の変更を行っていた。しかし、システム制御部７０は、使用者のタッチ操作に応じて、ライブビュー画像のスローモーション再生、ライブビュー画像の合焦位置の変更、及びライブビュー画像の被写界深度の変更を行うことも可能である。この場合、システム制御部７０は、撮影中のライブビュー画像と表示中のライブビュー画像とのずれを吸収するために、スローモーション再生が行われている時間、ワークメモリ４０又は記録部６０にライブビュー画像を記録する。

また、システム制御部７０は、使用者のタッチ操作に応じて、静止画の再生（例えばコマ送り再生やスライド再生など）、静止画の合焦位置の変更、及び静止画の被写界深度の変更を行うことも可能である。この場合、システム制御部７０は、静止画の再生が行われている時間、ワークメモリ４０又は記録部６０に連続した複数の静止画を記録する。

また、システム制御部７０は、使用者のタッチ操作に応じて、動画又はライブビュー画像のスローモーション再生を行うことに代えて、動画又はライブビュー画像の一時停止を行ってもよい。また、システム制御部７０は、使用者のタッチ操作に応じて、静止画のコマ送り再生やスライド再生などに代えて、静止画の一時停止を行ってもよい。また、システム制御部７０は、使用者によるタッチパネル５２のタッチ操作に代えて、使用者による操作部５５の操作に応じて、スローモーション再生、合焦位置の変更、及び被写界深度の変更を行ってもよい。また、システム制御部７０は、合焦位置の変更及び被写界深度のいずれか一方だけの変更を行ってもよい。

以上に説明したように、第１実施形態では、使用者が操作可能な操作部５２（又は操作部５５）と、画像（ライブビュー画像、動画、又は静止画）を表示部５０に表示させ、使用者による操作部５２の第１操作に応じて画像の表示状態を変更する表示制御部７１と、画像の表示中に使用者による操作部５２の第２操作に応じて画像の合焦位置と被写界深度との少なくともいずれか一方を変更する変更部３４とを備える。このような構成によれば、電子機器であるライトフィールドカメラ１の操作性が向上する。すなわち、特許文献１に記載された電子機器では、静止画の合焦位置を変更していたが、第１実施形態のライトフィールドカメラ１では、画像の合焦位置と被写界深度との少なくともいずれか一方を変更することができる。また、特許文献１に記載された電子機器では、使用者がスクロールバーを動かすことで画像の合焦位置を変更していたが、このような操作方法の場合、ライブビュー画像や動画の合焦位置などの変更には不適切である。これに対して、第１実施形態のライトフィールドカメラ１では、使用者によるタッチパネル５２のタッチ操作によってライブビュー画像や動画の合焦位置などを変更しているので、簡単な操作で所定の被写体の合焦位置の変更などを行うことができる。

また、第１実施形態では、表示制御部７１は、使用者による操作部５２の第１操作に応じて画像の再生速度を低くし、又は画像を一時停止させるので、使用者が被写体を選択しやすくなり、より一層、合焦位置の変更などの操作性が向上する。

また、第１実施形態では、変更部３４は、使用者による操作部５２の第２操作によって指定された被写体の合焦位置に変更する。このような構成によれば、画像中の被写体に合焦させて容易に確認することができる。また、第１実施形態では、変更部３４は、使用者による操作部５２の第２操作によって指定された被写体の合焦位置を含む被写界深度に変更する。このような構成によっても、使用者は画像中の被写体を容易に確認することができる。

また、第１実施形態では、表示制御部７１は、変更部３４による変更後に画像の表示状態を元に戻すので、使用者の被写体の確認後は通常の再生速度で画像の表示することができる。

また、第１実施形態では、一又は複数の被写体に対して視差を有する複数の画像を生成する画像生成部３１と、画像生成部３１で生成された複数の画像を所定期間記憶する記憶部４０と、複数の画像の視差に基づいて所定被写体の画像を編集する第１編集部３２と、記憶部４０に記憶されている所定期間にわたる画像の所定被写体の移動に基づいて所定被写体の画像を編集する第２編集部３３と、第１編集部３２と第２編集部３３との一方を選択する選択部７２とを備える。このような構成によれば、ライブビュー画像や動画における被写体の動きなどに合わせて、所定被写体の画像の編集を行うことができる。すなわち、所定被写体が動いていない場合は、画像処理部３０は記憶部４０に記憶された画像データに基づいて、所定被写体に対して削除などの編集を行うことができない。また、所定被写体のサイズが大きい場合は、画像処理部３０は視差を有する複数の画像データに基づいて、所定被写体に対して削除などの編集を行うことができない。しかし、上記した第１実施形態では、選択部７２が第１編集部３２と第２編集部３３との一方を選択するので、所定被写体に対して削除などの編集を行うことができるようになる（又はその可能性が高くなる）。

また、第１実施形態では、選択部７２は、所定期間における所定被写体の移動量を検出し、移動量と基準量とを比較することで第１編集部３２と第２編集部３３との一方を選択する。従って、画像処理部３０において確実に所定被写体の削除などを行うことが可能となる。また、第１実施形態では、第１編集部３２及び第２編集部３３は、所定被写体の編集として、所定被写体を削除し又は所定被写体の向きを変える。従って、使用者の所望する画像データに編集することができる。例えば、主要被写体の手前に存在する被写体を削除した画像に編集したり、人物の被写体が正面を向いている画像に編集することができる。

＜第２実施形態＞
上記した第１実施形態では、選択部７２は、所定期間における被写体の移動量を検出し、移動量と基準量とを比較することで第１編集部３２と第２編集部３３との一方を選択していた。これに対して、第２実施形態では、表示制御部７１は、第１編集部３２による編集後の画像と第２編集部３３による編集後の画像とを表示部５０に表示させ、選択部７２は、使用者によるタッチパネル５２のタッチ操作に応じて第１編集部３２と第２編集部３３との一方を選択する。

図１３は、第２実施形態のシステム制御部７０が実行する撮影動作を説明するためのフローチャートである。なお、図１３に示す処理において、図９に示す処理と同様の処理（ステップＳ１〜Ｓ１５）については、同一符号を付して重複する説明を省略する。

選択部７２は、ステップＳ１４で使用者により編集対象の被写体が選択されたと判定した場合は（ステップＳ１４のＹＥＳ）、ライブビュー画像の画像データを第１保存データとしてワークメモリ４０に所定期間記憶させるとともに（ステップＳ１５）、第１編集部３２に編集画像データを生成させるために、画像処理部３０に対してライブビュー画像の画像データの編集処理を実行させることを指示する指示信号を画像処理部３０に出力する（ステップＳ４１）。なお、ステップＳ４１の処理は、図９に示したステップＳ１８の処理に対応する処理である。

また、選択部７２は、第２編集部３３に編集画像データを生成させるために、画像処理部３０に対してライブビュー画像の画像データの編集処理を実行させることを指示する指示信号を画像処理部３０に出力する（ステップＳ４２）。なお、ステップＳ４２の処理は、図９に示したステップＳ１９の処理に対応する処理である。

表示制御部７１は、第１編集部３２及び第２編集部３３において生成された編集画像データを表示部５０に出力させて、２つの編集画像（編集対象の被写体が削除された画像又は編集対象の被写体の向きが変更された画像）を表示部５０の表示画面５１に表示させる（ステップＳ４３）。使用者は、表示画面５１に表示された２つの編集画像のうち、どちらが画質を悪化させずに編集されているかを判断する。そして、使用者は、２つの編集画像のうちのいずれかをタッチして、編集画像を選択する。撮像制御部７３は、使用者のタッチパネル５２のタッチ操作によって選択された編集画像データを記録部６０に出力させて、編集画像データを第２保存データとして記録部６０に記録（保存）させる（ステップＳ４４）。

なお、図１３で説明した処理においては、システム制御部７０は、ライブビュー画像中の所定被写体の画像データを画像処理部３０（画像生成部３１又は第１編集部３２）に編集させていたが、動画中の所定被写体の画像データを画像処理部３０（画像生成部３１又は第１編集部３２）に編集させてもよい。

このように、第２実施形態では、表示制御部７１は、第１編集部３２による編集後の画像（ライブビュー画像、動画、又は静止画）と第２編集部３３による編集後の画像（ライブビュー画像、動画、又は静止画）とを表示部５０に表示させ、選択部７２は、使用者による操作部５２の操作に応じて第１編集部３２と第２編集部３３との一方を選択する。このような構成によれば、使用者の判断に応じた編集画像データを記録部６０に記録させることができる。

＜第３実施形態＞
第３実施形態では、上記した第１実施形態におけるライトフィールドカメラ１を、撮像装置１Ａと電子機器１Ｂとに分離した構成としている。

図１４は、第３実施形態に係る撮像装置１Ａ及び電子機器１Ｂの構成を示すブロック図である。図１４に示す構成において、撮像装置１Ａは、被写体の撮像を行う装置であって、リフォーカス機能を備えた装置である。この撮像装置１Ａは、撮像部１０、画像処理部３０、ワークメモリ４０、操作部５５、記録部６０、音声出力部６５、及び第１システム制御部７０Ａを備える。なお、撮像装置１Ａのうち、撮像部１０、画像処理部３０、ワークメモリ４０、操作部５５、記録部６０、及び音声出力部６５の構成は、図３に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

また、電子機器１Ｂは、画像（静止画、動画、ライブビュー画像）の表示を行う装置である。この電子機器１Ｂは、表示部５０及び第２システム制御部７０Ｂを備える。なお、電子機器１Ｂのうちの表示部５０の構成は、図３に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

第１システム制御部７０Ａは、第１通信部７５Ａを有している。また、第２システム制御部７０Ｂは、第２通信部７５Ｂを有している。第１通信部７５Ａと第２通信部７５Ｂとは、互いに有線又は無線で信号を送受信する。このような構成において、第１システム制御部７０Ａは、第１通信部７５Ａを介して画像データ（画像処理部３０が画像処理した画像データ、記録部６０に記録されている画像データ）を第２通信部７５Ｂに送信する。第２システム制御部７０Ｂは、第２通信部７５Ｂにおいて受信した画像データを表示部５０に表示させる。

図３に示す構成（表示制御部７１、選択部７２、撮像制御部７３）は、第１システム制御部７０Ａと第２システム制御部７０Ｂのいずれに設けられてもよい。図３に示すすべての構成は、第１システム制御部７０Ａ又は第２システム制御部７０Ｂに設けられてもよく、また図３に示す構成の一部が第１システム制御部７０Ａに設けられ、図３に示す構成の一部以外の構成が第２システム制御部７０Ｂに設けられてもよい。

なお、撮像装置１Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器１Ｂは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。

図１４に示す第１システム制御部７０Ａにおいて、ＣＰＵが制御プログラムに基づいて実行する処理が表示制御部７１、選択部７２、及び撮像制御部７３の全部又は一部の構成に相当する。また、図１４に示す第２システム制御部７０Ｂにおいて、ＣＰＵが制御プログラムに基づいて実行する処理が表示制御部７１、選択部７２、及び撮像制御部７３の全部又は一部の構成に相当する。

以上に説明したように、第３実施形態では、第１実施形態及び第２実施形態で説明した効果に加え、スマートフォンなどの携帯端末を用いて撮像装置１Ａで撮像されている画像を電子機器１Ｂの表示部５０に表示させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。

例えば、上記した各実施形態では、電子機器の一例としてライトフィールドカメラ１を挙げていたが、これに限定されず、例えば複数のカメラを複数配置したカメラアレイであってもよい。このようなカメラアレイにおいても視差を有する複数の画像を取得することができる。

また、図３に示す画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つのＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。また、図１４に示す構成において、画像処理部３０と第１システム制御部７０Ａとは一体で構成されてもよい。この場合、１つのＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部３０の機能と第１システム制御部７０Ａの機能を担う。

また、上記した第１実施形態において、カラーフィルタ１０２の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。

また、上記した各実施形態に係るライトフィールドカメラ１は、自動的に又は使用者による操作部５５などの操作に応じてズーミング調節を行うズーム機能を備えていてもよい。この場合、駆動制御部１３は、ズーミング調節を行うために、システム制御部７０から送信される制御情報に基づいて撮影光学系１１（例えばズーミング用レンズ）の駆動制御を実行する。また、ライトフィールドカメラ１は、被写体の撮影後に焦点位置を変更することが可能であるが、被写体の撮影前に自動的に焦点位置を調節するオートフォーカス機能を備えていてもよい。この場合、駆動制御部１３は、撮影光学系１１の焦点調節を行うために、システム制御部７０から送信される制御情報に基づいて撮影光学系１１（例えばフォーカシング用レンズ）の駆動制御を実行する。

１…ライトフィールドカメラ（電子機器）、１Ａ…撮像装置、１Ｂ…電子機器、１０…撮像部、２０…撮像素子、３０…画像処理部、３１…画像生成部、３２…第１編集部、３３…第２編集部、３４…変更部、５０…表示部、５１…表示画面、５２…タッチパネル、６０…記録部、７０…システム制御部、７０Ａ…第１システム制御部、７０Ｂ…第２システム制御部、７１…表示制御部、７２…選択部、７３…撮像制御部

Claims (7)

1. 記録部に記録されている動画を再生して表示部に表示させる制御部と、
   前記表示部に設けられ、接触を検出する検出部と、
   前記制御部により前記動画が再生されているときに、前記検出部により前記接触された複数の位置の変化が検出されると、前記表示部に表示されている画像に画像処理を行う処理部と、
   を備える電子機器。
2. 被写体を撮像する撮像素子を備え、
   前記制御部は、前記撮像素子の撮像によって得られた動画を前記記録部に記録せずに前記表示部に表示させることができる請求項１に記載の電子機器。
3. 前記処理部は、前記表示部に表示されている画像をズーミングする画像処理を行う請求項１または請求項２に記載の電子機器。
4. 前記制御部は、前記動画を第１速度で再生し、前記検出部により前記接触が検出されると、前記動画の再生速度を前記第１速度よりも遅い第２速度にする請求項１から請求項３のいずれか一項に記載の電子機器。
5. 前記制御部は、前記検出部により、前記接触された複数の位置の変化とは異なる接触が検出されると、前記動画の再生速度を前記第１速度よりも遅い前記第２速度にする請求項４に記載の電子機器。
6. 前記検出部は、前記表示部に設けられたタッチパネルにより前記接触を検出する請求項１から請求項５のいずれか一項に記載の電子機器。
7. 前記検出部により検出される前記タッチパネルの前記接触された複数の位置の変化は、前記タッチパネルへのピンチアウト操作または前記タッチパネルへのピンチイン操作によるものである請求項６に記載の電子機器。