JP2015154254A - 電子機器及び制御プログラム - Google Patents

Abstract

【課題】使用者が見せたくない被写体の表示を制限する。
【解決手段】合焦位置を奥行き方向に変更可能な画像データ中の奥行き方向の位置又は範囲に対して表示の可否を設定する設定部７１と、設定部７１により表示可に設定された位置又は範囲に対して合焦した画像の表示部５０への表示を行い、設定部７１により表示不可に設定された位置又は範囲に合焦した画像の表示部５０への表示を制限する制御部７２とを備える。
【選択図】図３

Description

本発明は、電子機器及び制御プログラムに関する。

被写体の撮影後に合焦位置や視点などを設定することが可能な電子機器が知られている。この種の電子機器としてライトフィールドカメラがある（例えば特許文献１参照）。このライトフィールドカメラは、撮像部がカメラに入射する多数の光線をライトフィールド（光線空間）として取得する。そして、ライトフィールドカメラは、取得したライトフィールドの情報に対して画像処理を施すことで合焦位置などを変更した画像を生成する。

特開２０１０−６８０１８号公報

しかし、上記した電子機器においては、撮影後に焦点調節を行うリフォーカス機能などが実現されているが、このような電子機器の使い勝手が十分ではなく、依然として改善の余地があった。

本発明の態様では、使用者が見せたくない被写体の表示を制限することを目的とする。

本発明の第１態様によれば、合焦位置を奥行き方向に変更可能な画像データの奥行き方向の位置又は範囲に対して表示の可否を設定する設定部と、設定部により表示可に設定された位置又は範囲に合焦した画像の表示部への表示を行い、設定部により表示不可に設定された位置又は範囲に合焦した画像の表示部への表示を制限する制御部と、を備える電子機器が提供される。

本発明の第２態様によれば、制御装置に、合焦位置を奥行き方向に変更可能な画像データの奥行き方向の位置又は範囲に対して表示の可否を設定する設定処理と、設定処理により表示可に設定された位置又は範囲に合焦した画像の表示部への表示を行い、設定処理により表示不可に設定された位置又は範囲に合焦した画像の表示部への表示を制限する制御処理と、を実行させる制御プログラムが提供される。

本発明の態様によれば、使用者が見せたくない被写体の表示を制限することができる。

電子機器としてのライトフィールドカメラにおける光学系部分の概略構成を示す断面図である。 撮像素子の画素配列と入射領域とを説明する図である。 ライトフィールドカメラの構成を示すブロック図である。 画像の再構成を説明する図である。 図３に示す画像処理部が実行する画像処理を説明するためのフローチャートである。 ライトフィールドカメラと各被写体との距離関係を示す図である。 第１実施形態のシステム制御部が実行する表示可否の設定処理を説明するためのフローチャートである。 第１実施形態のシステム制御部が実行する画像表示処理を説明するためのフローチャートである。 第１実施形態の画像の表示例を示す図である。 電子機器としての情報処理装置の構成を示すブロック図である。 第２実施形態の演算処理部が実行する表示可否の設定処理を説明するためのフローチャートである。 第２実施形態のグラフィカルユーザインタフェース上の俯瞰図の表示例を示す図である。 第２実施形態の演算処理部が実行する被写界深度の範囲の変更処理を説明するためのフローチャートである。 第３実施形態の演算処理部が実行する画像表示処理を説明するためのフローチャートである。 第３実施形態の画像の表示例及び鑑賞者の現在位置を示す図である。 第４実施形態における使用者による解除順序を示す図である。 第５実施形態のシステム制御部が実行する表示可否の設定処理を説明するためのフローチャートである。 被写体の特徴点及び被写体ごとの表示の可否を示す設定情報を含む登録情報を示す図である。 第６実施形態のシステム制御部が実行する表示可否の設定処理を説明するためのフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。

＜第１実施形態＞
図１は、電子機器としてのライトフィールドカメラにおける光学系部分の概略構成を示す断面図である。なお、図１において、紙面の右方向（光軸方向）をＸ軸とし、Ｘ軸と直交する紙面の上方向をＺ軸とし、Ｘ軸及びＺ軸と直交する紙面の裏から表に向かう方向をＹ軸としている。また、図１は、ライトフィールドカメラにおける光学系部分を光軸を含む面で切断したときの断面図である。

本実施形態のライトフィールドカメラは、被写体の撮影後に合焦位置や視点などを設定することが可能な電子機器である。このライトフィールドカメラは、三次元空間の光線集合であるライトフィールド（光線空間）の情報を取得し、取得したライトフィールドの情報に基づいて画像を生成する。以下の説明では、ライトフィールドの情報を光線情報という。ライトフィールドカメラの代表的な機能としては、撮影後の後処理によって焦点距離を変更した画像を生成するリフォーカス機能がある。従って、ライトフィールドカメラはリフォーカスカメラとも呼ばれる。

本実施形態のライトフィールドカメラは、その光学系部分として、撮影光学系（結像光学系）１１及びマイクロレンズアレイ１２を備えている。なお、図１には、ライトフィールドカメラにおける光学系部分以外の構成である撮像素子２０についても示している。

撮影光学系１１は、複数のレンズ群で構成される単焦点レンズである。撮影光学系１１は、被写体からの光束をその焦点面（結像面）近傍に結像する。また、撮影光学系１１は、撮影時に絞り値（Ｆ値）を制御する開口絞り（不図示）を備えている。なお、絞り値は撮影後の画像の再構成によって変更することができるため、開口絞りの開口径は固定でもよい。図１に示すように、撮影光学系１１の焦点面近傍にマイクロレンズアレイ１２と撮像素子２０とが順に配置されている。

マイクロレンズアレイ１２は、正のパワーを有した複数のマイクロレンズ（正レンズ）が二次元状に配置された構成となっている。なお、図１に示すマイクロレンズアレイ１２においては、３つのマイクロレンズだけがＺ軸方向に配されているが、実際はＺ軸方向及びＹ軸方向に多数のマイクロレンズが配されている。

撮像素子２０は、マイクロレンズアレイ１２の後側（撮影光学系１１の反対側）に若干の間隔をおいて配置されている。この撮像素子２０は、マイクロレンズアレイ１２の各マイクロレンズを通過した光束を複数の光電変換素子で受光し、各々の光電変換素子が受光した光束を光電変換して複数の画素信号を生成する。複数の光電変換素子はマトリックス状に配列され、各々の光電変換素子が画素を形成する。本実施形態では、撮像素子２０は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal-Oxide Semiconductor)などの二次元固体撮像素子で構成されている。

図１の部分拡大図に示す例では、複数のマイクロレンズ１２ａ，１２ｂ，１２ｃの各々の後側に複数個ずつ画素が配列されている。具体的には、マイクロレンズ１２ａの後側に３つの画素２１ａ，２１ｂ，２１ｃが配列され、マイクロレンズ１２ｂの後側に３つの画素２２ａ，２２ｂ，２２ｃが配列され、マイクロレンズ１２ｃの後側に３つの画素２３ａ，２３ｂ，２３ｃが配列されている。

３つの画素２１ａ，２１ｂ，２１ｃがマイクロレンズ１２ａに対応する画素２１であり、３つの画素２２ａ，２２ｂ，２２ｃがマイクロレンズ１２ｂに対応する画素２２であり、３つの画素２３ａ，２３ｂ，２３ｃがマイクロレンズ１２ｃに対応する画素２３である。なお、図１の部分拡大図では、各マイクロレンズ１２ａ，１２ｂ，１２ｃに対応する画素として３つの画素を示しているが、実際はＺ軸方向及びＹ軸方向に多数の画素が配列されている（後述する図２参照）。

次に、図１を参照してライトフィールドカメラによるライトフィールドの取得について簡単に説明する。図１において、Ａの位置にある被写体が撮影光学系１１によってマイクロレンズアレイ１２の位置に焦点を結ぶものとする。被写体上の点Ａ１からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｃで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｂで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ａで受光される。

同様に、被写体上の点Ａ２からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｃで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｂで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ａで受光される。

さらに、被写体上の点Ａ３からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｃで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｂで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ａで受光される。このように、Ａの位置にある被写体からの光線は、マイクロレンズ１２ａ，１２ｂ，１２ｃの後側に位置する撮像素子２０の画素で受光されることによって明るさと進行方向とが光線情報として取得される。

マイクロレンズ１２ａ，１２ｂ，１２ｃそれぞれに対応する３つの画素のうち、下側の画素２１ｃ，２２ｃ，２３ｃの画素信号で生成される画像は、部分領域１１ａを通過した光線による像である。また、真中の画素２１ｂ，２２ｂ，２３ｂの画素信号で生成される画像は、部分領域１１ｂを通過した光線による像である。また、上側の画素２１ａ，２２ａ，２３ａの画素信号で生成される画像は、部分領域１１ｃを通過した光線による像である。例えば各マイクロレンズに対応する画素数がＮ個である場合、マイクロレンズに対して同じ位置にある画素の画素値を配列して構成されるＮ個の再構成画像は、撮影光学系１１をＮ個の部分領域に分割して取得されるＮ個のステレオ画像群を形成する。

図２は、撮像素子２０の画素配列と入射領域とを説明する図である。なお、図２では図１のＸ軸方向から撮像素子２０を観察した様子を示す。図２に示す撮像素子２０において、画素が配列された領域を画素領域２００という。画素領域２００には例えば１０００万個以上もの画素がマトリックス状に配列されている。画素領域２００における円形の領域は、１つのマイクロレンズを通過した光線が入射する領域である。従って、円形の領域は、複数のマイクロレンズごとに複数形成される。これらの領域を入射領域２０１，２０２・・・という。なお、マイクロレンズは例えば５８６×４４０個配置される。ただし、このような配置数は一例であって、これよりも多い数でも少ない数でもよい。図２に示す例では、１つのマイクロレンズの直径は１３画素分となっている。ただし、このような画素数分に限定されるわけではない。

上述したように、ライトフィールドカメラは、すべてのマイクロレンズから入射領域における同じ位置（入射領域内におけるＹ軸方向及びＺ軸方向の同じ位置）にある画素の画素値を抽出して再構成する。このようにして得られた再構成画像群は、撮影光学系１１の異なる部分領域から被写体を観察した画像群に相当する。従って、これらの再構成画像群においては、部分領域の位置と被写体までの距離に応じた視差を有する。例えば、図２に示すように、入射領域２０１における画素２０１ａと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像と、入射領域２０１における画素２０１ｂと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像とで視差を有する。

図３は、ライトフィールドカメラ１の構成を示すブロック図である。図３に示すライトフィールドカメラ１は、撮像部１０、画像処理部３０、ワークメモリ（記憶部）４０、表示部５０、操作部５５、記録部６０、音声出力部６５、及びシステム制御部７０を備える。撮像部１０は、撮影光学系１１、マイクロレンズアレイ１２、駆動制御部１３、撮像素子２０、及び駆動部２１を有している。撮影光学系１１及びマイクロレンズアレイ１２は、図１において説明したため、図３においては説明を省略する。

撮像素子２０の撮像面には、例えばベイヤー配列のカラーフィルタアレイが配置されている。撮像素子２０は、撮影光学系１１及びマイクロレンズアレイ１２を通過した光束を入射する。撮像素子２０は、入射した光束を光電変換してアナログ信号の各画素の画素信号を生成する。撮像部１０において、不図示のアンプがアナログ信号の各画素の画素信号を所定の利得率（増幅率）で増幅する。また、不図示のＡ／Ｄ変換部がアンプにより増幅されたアナログ信号の各画素の画素信号をデジタル信号の各画素の画素信号に変換する。そして、撮像部１０は、デジタル信号の各画素の画素信号からなるＲＡＷデータを画像処理部３０に出力する。上記したライトフィールドカメラ１が取得する光線情報は、撮像部１０から出力されるＲＡＷデータで特定される。

駆動制御部１３は、撮影光学系１１が備える開口絞りの開口径調節を行うために、システム制御部７０から送信される制御情報に基づいて開口絞りの駆動制御を実行する。駆動部２１は、システム制御部７０からの指示信号に基づいて設定される撮像条件で撮像素子２０の駆動を制御する制御回路である。撮像条件としては、例えば、露光時間（シャッター速度）、フレームレート、ゲインなどがあげられる。

ここで、露光時間とは、撮像素子２０の光電変換素子が入射光に応じた電荷の蓄積を開始してから終了するまでの時間のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。また、ゲインとは、画素信号を増幅するアンプの利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子２０の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子２０が光をとらえる能力を表す値となる。

画像処理部３０は、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、所定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。画像処理部３０が生成する画像データには、静止画、動画、及びライブビュー画像の画像データが含まれる。ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部１０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。

画像処理部３０は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して所定の画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。具体的には、画像処理部３０は、次に示す画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。

図４は、画像の再構成を説明する図である。図４に示すように、画像処理部３０は、画素領域２００における各入射領域２０１，２０２・・・に対して同じ位置にある画素２０１ａ，２０２ａ・・・の画素値（画素信号が示す値）を抽出する。画像処理部３０は、抽出した画素値を並べ直して再構成画像データ４００ａを生成する。各入射領域２０１，２０２・・・に対応する画素数がＮ個である場合、Ｎ個の再構成画像データが生成される。

画像処理部３０は、Ｎ個の再構成画像データ群を所定の焦点距離に合わせて所定量だけ平行移動させる。そして、画像処理部３０は、平行移動後のＮ個の再構成画像データ群を加算平均する。これにより、所定の焦点距離に設定された画像データが生成される。移動量に応じた奥行きに存在する被写体は像の位置が合うのでシャープな輪郭の像が形成される。移動量に応じた奥行きに存在しない被写体の像はぼける。なお、上記した画像処理は一例であって、画像処理部３０は上記した画像処理とは異なる画像処理を実行することにより、任意の焦点距離に設定された画像データを生成してもよい。例えば、画像処理部３０は、撮像素子２０の各画素が取得する光線を所定の演算を行うことによって算出する。そして、画像処理部３０は、算出した光線を所定の焦点距離に設定した仮想的な画像面に投影することにより、所定の焦点距離に設定された画像データを生成する。

本実施形態においては、画像処理部３０は、最も手前の被写体に合焦した画像データ、最も奥の被写体に合焦した画像データ、中間位置の被写体に合焦した画像データなど、焦点位置（焦点距離）が異なる複数の画像データを生成する。

画像処理部３０は、ワークメモリ４０をワークスペースとして、任意の焦点に設定された画像データに対して種々の画像処理を施す。例えば、画像処理部３０は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像データを生成する。また、画像処理部３０は、ＲＧＢ画像データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。

画像処理部３０は、画像データから一又は複数の被写体を検出する。本実施形態では、画像処理部３０は、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の領域の境界を特定して被写体を検出する。そして、画像処理部３０は、検出した画像データ中の被写体のサイズ及び位置を画素単位で示す位置データをシステム制御部７０に出力する。

なお、画像処理部３０は、人物の被写体に対しては、公知の顔検出機能を用いて被写体の検出を行ってもよい。また、画像処理部３０は、移動する被写体（移動被写体）に対しては、時系列的に得られる複数の画像データを比較して移動被写体を検出してもよい。また、画像処理部３０は、顔検出に加えて、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を被写体として検出してもよい。

また、画像処理部３０は、検出した各被写体までの距離（焦点距離）を検出（算出）する。例えば、画像処理部３０は、複数の再構成画像データ（例えば入射領域における２つの特定位置の画素の画素値から構成される再構成画像データ）における各被写体の視差を検出し、検出した視差に基づいて各被写体までの距離を算出する。そして、画像処理部３０は、検出した各被写体までの距離を示す距離データをシステム制御部７０に出力する。

また、画像処理部３０は、ワークメモリ４０をワークスペースとして、システム制御部７０から合焦位置の変更を指示する指示信号を受け取った場合は、合焦位置の異なる複数の画像データに基づいて、指示信号で指示された合焦位置の画像データを生成する。具体的には、画像処理部３０は、合焦位置の変更を指示する指示信号を受け取ると、指示信号で指示された合焦位置（距離）に近い合焦位置を持つ複数の画像データを取得する。指示信号で指示された合焦位置の画像データは、画像処理部３０により取得された複数の画像データの中間の位置の画像データである。このため、画像処理部３０は、取得した複数の画像データに対して距離に応じた重みを加えてから平均する加重平均処理を行うことで、指示信号で指示された合焦位置の画像データを生成する。

画像処理部３０は、生成した画像データ（合焦位置の異なる画像データ、指示信号で指示された合焦位置の画像データ）を記録部６０に出力する。また、画像処理部３０は、生成した画像データ（合焦位置の異なる画像データ、指示信号で指示された合焦位置の画像データ）を表示部５０に出力する。

ワークメモリ４０は、画像処理部３０による画像処理が行われる際にＲＡＷデータや画像データなどを一時的に記憶する。表示部５０は、撮像部１０で撮像された画像や各種情報を表示する。この表示部５０は、例えば液晶表示パネルなどで構成された表示画面５１を有している。なお、表示部５０に表示される画像には、静止画、動画、ライブビュー画像が含まれる。表示部５０の表示画面５１上にはタッチパネル（操作部）５２が形成されている。タッチパネル５２は、使用者が表示画面５１に表示されている被写体の選択などの操作を行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。

操作部５５は、使用者によって操作されるレリーズスイッチ（静止画の撮影時に押されるスイッチ）、動画スイッチ（動画の撮影時に押されるスイッチ）、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。記録部６０は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体に画像処理部３０において生成された画像データや各種データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。

システム制御部７０は、ライトフィールドカメラ１の全体の処理及び動作を制御する。このシステム制御部７０はＣＰＵ（Central Processing Unit；ＣＰＵのことを制御装置ともいう。）を有する。このシステム制御部７０は、図３に示すように、設定部７１及び制御部７２を備えている。

設定部７１は、撮像素子２０の撮像面（画素領域２００）において所定の撮像条件（露光時間、フレームレート、ゲインなど）で撮像を行わせるために、所定の撮像条件を指示する指示信号を駆動部２１に対して出力する。また、設定部７１は、画像処理部３０によりＲＡＷデータに基づいて生成される画像データの合焦位置を指示する指示信号を画像処理部３０に出力する。また、設定部７１は、画像処理部３０に所定の制御パラメータ（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行させるために、制御パラメータを指示する指示信号を画像処理部３０に出力する。

設定部７１は、画像データ中の被写体に対する表示の可否（表示可又は表示不可）を設定する際（後述する図７に示す表示可否の設定処理の実行時）に、画像処理部３０で生成された画像データを表示部５０に出力させて、表示部５０の表示画面５１に画像（ライブビュー画像、静止画、動画）を表示させる制御を行う。または、設定部７１は、画像データ中の被写体に対する表示の可否を設定する際（後述する図７に示す表示可否の設定処理の実行時）に、記録部６０に記録されている画像データを読み出して表示部５０に出力させ、表示部５０の表示画面５１に画像を表示させる制御を行う。

設定部７１は、画像処理部３０からの位置データ及び距離データに基づいて、表示部５０の表示画面５１に表示された画像中における被写体の位置及び撮影時の被写体までの距離（焦点距離）を認識する。そして、設定部７１は、認識した被写体に対して表示の可否を設定する。本実施形態においては、設定部７１は、被写体に対する表示の可否を、使用者によるタッチパネル５２のタッチ操作によって選択された被写体の奥行き方向の位置で設定する。なお、ライトフィールドカメラ１から被写体に向かう方向を奥側の方向といい、その反対側の方向を手前側の方向をいう。また、奥側の方向及び手前側の方向を奥行き方向という。

制御部７２は、所定の被写体に合焦した画像を表示部５０の表示画面５１に表示する際（後述する図８に示す画像表示処理の実行時）に、画像処理部３０で生成された画像データを表示部５０に出力させて、表示部５０の表示画面５１に画像（ライブビュー画像、静止画、動画）を表示させる制御を行う。または、制御部７２は、所定の被写体に合焦した画像を表示部５０の表示画面５１に表示する際（後述する図８に示す画像表示処理の実行時）に、記録部６０に記録されている画像データを読み出して表示部５０に出力させ、表示部５０の表示画面５１に画像を表示させる制御を行う。

制御部７２は、画像処理部３０からの位置データ及び距離データに基づいて、表示部５０の表示画面５１に表示された画像中における被写体の位置及び撮影時の被写体までの距離（焦点距離）を認識する。そして、制御部７２は、使用者によるタッチパネル５２のタッチ操作によって、設定部７１により表示可に設定された被写体が選択された場合は、その被写体に対して合焦した画像の表示画面５１への表示を行う。本実施形態においては、制御部７２は、画像データの合焦位置の変更を指示する指示信号を画像処理部３０に出力することにより、画像データの合焦位置を設定部７１により表示可に設定された被写体の奥行き方向の位置に変更する。これにより、その被写体に合焦した画像が表示画面５１に表示される。また、制御部７２は、使用者によるタッチパネル５２のタッチ操作によって、設定部７１により表示不可に設定された被写体が選択された場合は、その被写体の画像の表示画面５１への表示が制限されることを使用者に報知する。また、制御部７２は、表示画面５１にパスワードの入力欄（図９（３）の入力欄５０ｗ参照）を表示して使用者にパスワードの入力を報知する。

制御部７２は、表示画面５１のパスワードの入力欄に正しいパスワードが使用者により入力された場合は、設定部７１により表示不可に設定された被写体に対して合焦した画像の表示画面５１への表示を行う。本実施形態においては、制御部７２は、画像データの合焦位置の変更を指示する指示信号を画像処理部３０に出力することにより、画像データの合焦位置を設定部７１により表示不可に設定された被写体の奥行き方向の位置に変更する。これにより、その被写体に合焦した画像が表示画面５１に表示される。

一方、制御部７２は、表示画面５１のパスワードの入力欄に誤ったパスワードが使用者により入力された場合は、設定部７１により表示不可に設定された被写体の画像の表示画面５１への表示を制限する。本実施形態においては、制御部７２は、画像データの合焦位置が設定部７１により表示不可に設定された被写体の奥行き方向の位置又はその位置を含む奥行き方向の範囲とならないように合焦位置の変更を制限（禁止）する。このことで、その被写体の画像の表示画面５１への表示が制限される。

システム制御部７０は、上記の制御の他に、撮影光学系１１に備えられた開口絞りの開口径調節などの制御も行う。

なお、システム制御部７０において、設定部７１及び制御部７２は、それぞれ、ＣＰＵが制御プログラム（図示せず）に基づいて実行する処理及び制御に相当する。

次に、画像処理部３０が実行する画像処理について説明する。図５は、図３に示す画像処理部３０が実行する画像処理を説明するためのフローチャートである。図５に示す処理において、画像処理部３０は、撮像部１０から出力されるＲＡＷデータを取得する（ステップＳ１）。そして、画像処理部３０は、取得したＲＡＷデータに基づいて所定の合焦位置（焦点距離、焦点位置）の画像データを生成する（ステップＳ２）。

具体的には、上述したように、画像処理部３０は、画素領域２００における各入射領域に対して同じ位置にある画素の画素値を抽出し、抽出した画素値を再構成して複数個の再構成画像データ群を生成する。そして、画像処理部３０は、複数個の再構成画像データ群を所定の合焦位置に合わせて平行移動させ、平行移動後の複数個の再構成画像データ群を加算平均する。これにより、所定の合焦位置に設定された画像データが生成される。ステップＳ２において、画像処理部３０は、合焦位置が異なる複数の画像データを生成する。また、ステップＳ２で生成される画像データは、静止画、動画、ライブビュー画像の画像データが含まれる。

図６は、ライトフィールドカメラ１と各被写体Ｏ１〜Ｏ４との距離関係を示す図である。図６に示す例では、ライトフィールドカメラ１はカメラ位置ｄ０に位置している。また、被写体である人物Ｏ１は合焦位置ｄ１に位置している。また、被写体である人物Ｏ２は合焦位置ｄ２に位置している。また、被写体である木Ｏ３は合焦位置ｄ３に位置している。また、被写体である家Ｏ４は合焦位置ｄ４に位置している。なお、図６において、ライトフィールドカメラ１から被写体Ｏ１〜Ｏ４に向かう方向（矢印の方向）が奥側の方向であり、その反対側の方向が手前側の方向である。

図５の説明に戻り、画像処理部３０は、ステップＳ２で生成された合焦位置が異なる複数の画像データに対して、色信号処理（色調補正）、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を実行する（ステップＳ３）。

次に、画像処理部３０は、画像処理部３０で生成された画像データから被写体Ｏ１〜Ｏ４を検出する（ステップＳ４）。画像処理部３０は、検出した被写体Ｏ１〜Ｏ４のサイズ及び位置を示す位置データをシステム制御部７０に出力する。

また、画像処理部３０は、ステップＳ４で検出した各被写体Ｏ１〜Ｏ４までの距離（焦点距離）を検出（算出）する（ステップＳ５）。例えば、画像処理部３０は、複数の再構成画像データ（例えば入射領域における２つの特定位置の画素の画素値から構成される再構成画像データ）における各被写体Ｏ１〜Ｏ４の視差を検出し、検出した視差に基づいて各被写体Ｏ１〜Ｏ４までの距離を算出する。このとき、画像処理部３０は、人物Ｏ１までの距離をｄ１、人物Ｏ２までの距離をｄ２、木Ｏ３までの距離をｄ３、家Ｏ４までの距離をｄ４と算出する。画像処理部３０は、検出した各被写体Ｏ１〜Ｏ４までの距離を示す距離データをシステム制御部７０に出力する。

また、画像処理部３０は、システム制御部７０からの合焦位置の変更を指示する指示信号を受け取った場合は（図８のステップＳ２４参照）、ステップＳ３で画像処理が施された合焦位置の異なる複数の画像データに基づいて、指示信号で指示された合焦位置の画像データを生成する（ステップＳ６）。

その後、画像処理部３０は、ステップＳ３で画像処理が施された合焦位置が異なる複数の画像データを記録部６０に記録する（ステップＳ７）。また、画像処理部３０は、ステップＳ６において指示信号で指示された合焦位置の画像データを生成した場合は、その画像データも記録部６０に記録する（ステップＳ７）。このとき、システム制御部７０は、画像処理部３０から出力された被写体の位置データと距離データとを被写体ごとに対応付けて記録部６０に記録する。なお、画像処理部３０は、ＲＡＷデータも画像データ等と対応付けて記録部６０に記録してもよい。

次に、第１実施形態に係るライトフィールドカメラ１における被写体ごとの表示可否の設定処理について説明する。図７は、第１実施形態のシステム制御部７０が実行する表示可否の設定処理を説明するためのフローチャートである。

図７に示す処理において、ライトフィールドカメラ１に電源が投入された後、使用者が撮影を実行するために操作部５５などの操作を行うと、設定部７１は、画像（静止画、動画、又はライブビュー画像）の撮影を実行する（ステップＳ１１）。すなわち、設定部７１は、駆動部２１に対して指示信号を出力することにより撮像素子２０の駆動制御を実行させる。これにより、図５のステップＳ１〜Ｓ３の処理が画像処理部３０によって実行され、合焦位置の異なる複数の画像データが生成される。また、設定部７１は、画像処理部３０で生成された画像データを表示部５０の表示画面５１に表示する（ステップＳ１２）。このとき、表示部５０の表示画面５１には、所定の被写体（例えば人物Ｏ２）に合焦した画像が表示される。

次に、設定部７１は、画像に含まれる一又は複数の被写体（図６に示す例では被写体Ｏ１〜Ｏ４）を認識する（ステップＳ１３）。具体的には、設定部７１は、画像処理部３０に対して被写体の検出を要求する。画像処理部３０は、システム制御部７０から被写体の検出の要求を受けると、画像に含まれる各被写体Ｏ１〜Ｏ４を検出する（図５のステップＳ４参照）。そして、画像処理部３０は、検出した各被写体Ｏ１〜Ｏ４のサイズ及び位置を画素単位で示す位置データをシステム制御部７０に出力する。また、画像処理部３０は、各被写体Ｏ１〜Ｏ４までの距離を検出する（図５のステップＳ５参照）。そして、画像処理部３０は、検出した各被写体Ｏ１〜Ｏ４までの距離を示す距離データをシステム制御部７０に出力する。設定部７１は、画像処理部３０からの位置データに基づいて各被写体Ｏ１〜Ｏ４のサイズ及び位置を認識する。また、設定部７１は、画像処理部３０からの距離データに基づいて各被写体Ｏ１〜Ｏ４までの距離を認識する。

次に、設定部７１は、使用者によるタッチパネル５２のタッチ操作によって被写体が選択されたか否かを判定する（ステップＳ１４）。具体的には、使用者は、例えば図６に示す人物Ｏ１の被写体を選択する場合は、表示画面５１に表示されている人物Ｏ１をタッチする。表示画面５１上に形成されているタッチパネル５２は、使用者によりタッチされた人物Ｏ１の位置を示す信号をシステム制御部７０に出力する。設定部７１は、タッチパネル５２から出力される信号に基づいて、使用者により被写体が選択されたか否かを判定する。また、設定部７１は、使用者により被写体が選択されたと判定した場合に、タッチパネル５２からの信号が示す位置とステップＳ１３で認識した被写体の位置とに基づいて、いずれの被写体が選択されたかについても判定する。なお、設定部７１が使用者により被写体が選択されていないと判定した場合は（ステップＳ１４のＮＯ）、処理を終了する。

設定部７１は、ステップＳ１４で使用者により被写体が選択されたと判定した場合は（ステップＳ１４のＹＥＳ）、使用者により選択された被写体を表示可（ロック：ＯＦＦ）に設定するための操作（表示可の設定操作）が行われたか否かを判定する（ステップＳ１５）。表示可の設定操作としては、例えば、使用者がタッチパネル５２のタッチ操作によって被写体を選択した後に、操作部５５を操作して表示可設定モードに設定する操作などが考えられる。なお、表示可の設定操作は、使用者が操作部５５を操作して表示可設定モードに設定した後に、タッチパネル５２のタッチ操作によって被写体を選択する操作であってもよい。

設定部７１は、使用者により表示可の設定操作が行われたと判定した場合は（ステップＳ１５のＹＥＳ）、使用者により選択された被写体を表示可（ロック：ＯＦＦ）に設定する（ステップＳ１６）。すなわち、設定部７１は、使用者により選択された被写体の奥行き方向の位置に合焦させてもよい旨を示す設定情報を、被写体ごとに対応付けて記録部６０に記録する。

一方、設定部７１は、表示可の設定操作ではなく、使用者により選択された被写体を表示不可（ロック：ＯＮ）に設定するための操作（表示不可の設定操作）が行われたと判定した場合は（ステップＳ１５のＮＯ）、使用者により選択された被写体を表示不可に設定する（ステップＳ１７）。すなわち、設定部７１は、使用者により選択された被写体の奥行き方向の位置に合焦させない旨を示す設定情報を、被写体ごとに対応付けて記録部６０に記録する。また、このとき、設定部７１は、表示不可の設定を解除するためのパスワードを使用者に入力させる。例えば、設定部７１はパスワードの入力欄を表示して、使用者にパスワードの入力を促す。使用者は、操作部５５などを操作して、入力欄に任意のパスワードを入力する。

表示不可の設定操作としては、例えば、使用者がタッチパネル５２のタッチ操作によって被写体を選択した後に、操作部５５を操作して表示不可設定モードに設定する操作などが考えられる。なお、表示不可の設定操作は、使用者が操作部５５を操作して表示不可設定モードに設定した後に、タッチパネル５２のタッチ操作によって被写体を選択する操作であってもよい。

使用者は、他の人に見せたくない被写体に対して表示不可（ロック：ＯＮ）の設定を行う。他の人に見せたくない被写体としては様々なものが想定される。例えば、使用者は、自分の家族、自分の家などのように自身のプライベートに関する被写体に対して表示不可の設定を行ってもよい。また、使用者は、通行人の顔などのように自身と無関係の人のプライベートに関する被写体に対して表示不可の設定を行ってもよい。また、使用者は、片付いていない部屋などのように使用者にとって見られたくない被写体に対して表示不可の設定を行ってもよい。

図７で説明した処理においては、撮像部１０で撮像された画像データ中の被写体に対して表示可否の設定が行われていた。しかし、記録部６０に記録された画像データ中の被写体に対して表示可否の設定が行われてもよい。この場合、設定部７１は、図７のステップＳ１１の処理に代えて、記録部６０に記録されている画像データとこの画像データ中の各被写体の位置データ及び距離データとを読み出す処理を実行する。そして、設定部７１は、ステップＳ１２の処理と同様に、読み出した画像データを表示部５０に出力させて、表示部５０の表示画面５１に画像（静止画又は動画）を表示させる。その後、設定部７１は、図７のステップＳ１３〜Ｓ１７の処理を実行する。

次に、第１実施形態に係るライトフィールドカメラ１における画像表示処理について説明する。図８は、第１実施形態のシステム制御部７０が実行する画像表示処理を説明するためのフローチャートである。また、図９は、第１実施形態の画像６０１〜６０４の表示例を示す図である。

図８に示す画像表示処理は、使用者（被写体の撮影を行った使用者、又はその使用者とは異なる使用者）により選択された被写体に合焦した画像を表示部５０の表示画面５１に表示させるための処理である。なお、図９に示す画像６０１〜６０４は、図６に示す距離関係の被写体Ｏ１〜Ｏ４を撮影されたときの画像である。また、設定部７１は、図７に示す処理に従って、人物Ｏ１に対して表示可（ロック：ＯＦＦ）に設定し、人物Ｏ２に対して表示可（ロック：ＯＦＦ）に設定し、木Ｏ３に対して表示可（ロック：ＯＦＦ）に設定し、家Ｏ４に対して表示不可（ロック：ＯＮ）に設定したものとする。

図８に示す処理において、使用者が画像を表示させるために操作部５５などの操作を行うと、制御部７２は、記録部６０に記録されている画像データと、この画像データ中の各被写体の位置データ、距離データ、及び設定情報とを読み出す。そして、制御部７２は、読み出した画像データを表示部５０に出力させて、表示部５０の表示画面５１に画像（静止画又は動画）を表示させる（ステップＳ２１）。図９（１）は、表示部５０の表示画面５１に表示される画像６０１の表示例である。

次に、制御部７２は、画像に含まれる一又は複数の被写体（図６に示す例では被写体Ｏ１〜Ｏ４）を認識する（ステップＳ２２）。具体的には、制御部７２は、位置データに基づいて各被写体Ｏ１〜Ｏ４のサイズ及び位置を認識する。また、制御部７２は、距離データに基づいて各被写体Ｏ１〜Ｏ４までの距離を認識する。さらに、制御部７２は、設定情報に基づいて各被写体Ｏ１〜Ｏ４の表示の可否（ロックのＯＮ又はＯＦＦ）を認識する。

次に、制御部７２は、使用者によるタッチパネル５２のタッチ操作によって被写体が選択されたか否かを判定する（ステップＳ２３）。具体的には、使用者は、例えば図９（１）に示す人物Ｏ１の被写体を選択する場合は、表示画面５１に表示されている人物Ｏ１をタッチする。表示画面５１上に形成されているタッチパネル５２は、使用者によりタッチされた人物Ｏ１の位置を示す信号をシステム制御部７０に出力する。制御部７２は、タッチパネル５２から出力される信号に基づいて、使用者により被写体が選択されたか否かを判定する。また、制御部７２は、使用者により被写体が選択されたと判定した場合に、タッチパネル５２からの信号が示す位置とステップＳ２２で認識した被写体の位置とに基づいて、いずれの被写体が選択されたかについても判定する。なお、制御部７２が使用者により被写体が選択されていないと判定した場合は（ステップＳ２３のＮＯ）、処理を終了する。

制御部７２は、ステップＳ２３で使用者により被写体が選択されたと判定した場合は（ステップＳ２３のＹＥＳ）、使用者により選択された被写体の設定情報に基づいて、その被写体が表示可（ロック：ＯＦＦ）に設定されているか否かを判定する（ステップＳ２４）。制御部７２は、使用者により選択された被写体が表示可に設定されていると判定した場合は（ステップＳ２４のＹＥＳ）、使用者により選択された被写体に合焦した画像（例えば図９（２）に示す画像６０２）を表示部５０の表示画面５１に表示させる（ステップＳ２５）。具体的には、制御部７２は、使用者により選択された被写体（図９（１）の人物Ｏ１）の距離データに基づいて、ライトフィールドカメラ１から人物Ｏ１までの撮影時の距離を認識する。そして、制御部７２は、画像処理部３０に対して画像データの合焦位置の変更を指示する指示信号（つまり、合焦位置が人物Ｏ１の奥行き方向の位置を指示する指示信号）を出力する。画像処理部３０は、システム制御部７０からの指示信号を受けると、その指示信号で指示された合焦位置の画像データを生成する（図５のステップＳ６参照）。そして、画像処理部３０は、生成した画像データを表示部５０に出力する。これにより、人物Ｏ１に合焦した画像６０２が表示部５０の表示画面５１に表示される。

一方、制御部７２は、ステップＳ２４で使用者により選択された被写体が表示可（ロック：ＯＦＦ）ではなく表示不可（ロック：ＯＮ）に設定されていると判定した場合は（ステップＳ２４のＮＯ）、使用者により選択された被写体が表示不可であることと、その詩斜体を表示するためにはパスワードの入力が必要であることを報知する（ステップＳ２６）。具体的には、使用者は、例えば表示不可に設定されている家Ｏ４をタッチして選択する。制御部７２は、図９（３）に示すように、表示画面５１（画像６０３）の上部に設けられた表示領域５０ｖにおいて「選択した合焦位置はロックされています。パスワードを入力してください。」という文を表示するとともに、パスワードを入力するための入力欄５０ｗを表示領域５０ｖの下に表示する。

使用者は、選択した被写体に合焦した画像を表示させるために（つまり表示不可の設定を解除させるために）、操作部５５などを操作することにより入力欄５０ｗにパスワードを入力する。制御部７２は、使用者により正しいパスワードが入力されたか否かを判定する（ステップＳ２７）。制御部７２は、正しいパスワードが入力されたと判定した場合は（ステップＳ２７のＹＥＳ）、使用者により選択された被写体に合焦した画像（例えば図９（４）に示す画像６０４）を表示部５０の表示画面５１に表示させる（ステップＳ２５）。これに対して、制御部７２は、パスワード自体が入力されていないと判定した場合又は正しいパスワードが入力されていないと判定した場合は（ステップＳ２７のＮＯ）、使用者により選択された被写体に合焦した画像（例えば図９（４）に示す画像６０４）を表示部５０の表示画面５１に表示させないように制御する（ステップＳ２８）。すなわち、制御部７２は、図９（３）に示す画像６０３のまま変更しないように制御する。なお、制御部７２は、誤ったパスワードが入力された場合は、例えば表示領域５０ｖに「パスワードが誤っています。」という文を表示して、使用者にパスワードが誤っていることを報知してもよい。

このように、制御部７２は、表示不可（ロック：ＯＮ）に設定された被写体に対して合焦した画像を表示しないように構成している。従って、使用者は、予め表示不可に設定した被写体を他人に見られないようにすることができる。しかし、表示不可に設定された被写体の奥行き方向の位置と同じ位置又は近い位置の被写体が表示可（ロック：ＯＦＦ）に設定されている場合は、制御部７２が表示可に設定された被写体に対して合焦した画像を表示することにより、表示不可に設定された被写体も合焦した状態又は少しぼけた状態で表示されてしまう。この場合、使用者が見られたくない被写体に対して表示不可の設定を行ったとしても、その被写体が他人に見られてしまうことになる。

そこで、制御部７２は、ステップＳ２５において使用者により選択された被写体に合焦した画像を表示する場合であっても、画像データの合焦位置が設定部７１により表示不可に設定された被写体の奥行き方向の位置を含む所定の奥行き方向の範囲とならないように合焦位置の変更を制限（禁止）する。所定の奥行き方向の範囲としては、例えば、使用者が表示不可に設定された被写体がどのような被写体であるか全く視認不可能なぐらいのぼけ量となるような範囲であってもよい。また、所定の奥行き方向の範囲としては、使用者が表示不可に設定された被写体を視認困難なぐらいのぼけ量となるような範囲であってもよい。

なお、設定部７１は、図７のステップＳ１７において、使用者により選択された被写体の奥行き方向の位置を含む所定の奥行き方向の範囲に合焦させない旨を示す設定情報を、被写体ごとに対応付けて記録部６０に記録するようにしてもよい。この場合、制御部７２は、合焦位置が設定部７１により設定された所定の奥行き方向の範囲にならないように合焦位置の変更を制限する。

また、制御部７２が、上記のように、画像データの合焦位置が所定の奥行き方向の範囲とならないように合焦位置の変更を制限（禁止）する場合、表示可（ロック：ＯＦＦ）に設定された被写体も表示不可（ロック：ＯＮ）に設定された被写体とともに表示されなくなってしまう。そこで、制御部７２は、ステップＳ２５において使用者により選択された被写体に合焦した画像を表示する場合において、画像データ中の被写体領域（例えば被写体の輪郭で囲む領域）毎に表示部５０の表示画面５１への表示を制限する。

すなわち、制御部７２は、ステップＳ２５において被写体領域毎に異なる合焦位置の変更を指示する指示信号を画像処理部３０に出力する。画像処理部３０は、システム制御部７０からの指示信号を受けると、その指示信号で指示された被写体領域毎に異なる合焦位置の画像データを被写体領域毎に生成する（図５のステップＳ６参照）。そして、画像処理部３０は、生成した被写体領域毎の画像データを合成する。画像処理部３０は、合成した画像データを表示部５０に出力する。これにより、被写体領域毎に合焦位置の異なる画像が表示部５０の表示画面５１に表示される。例えば、奥行き方向の同じ位置又は近い位置に存在する複数の被写体のうち、ある被写体の画像は合焦状態で表示され、他の被写体の画像はぼけた状態で表示される。

以上に説明したように、第１実施形態では、合焦位置を奥行き方向に変更可能な画像データ（リフォーカス画像という。）の被写体（位置又は範囲）に対して表示の可否を設定する設定部７１と、設定部７１により表示可に設定された被写体に対して合焦した画像の表示部５０への表示を行い、設定部７１により表示不可に設定された被写体に合焦した画像の表示部５０への表示を制限する制御部７２とを備える。このような構成によれば、使用者が見せたくない被写体に対して表示不可の設定を行うことにより、その被写体の表示を制限することができる。

また、第１実施形態では、設定部７１は、被写体に対する表示の可否を該被写体の奥行き方向の位置で設定する。このような構成によれば、制御部７２が画像データにおける合焦位置を制御することで、被写体に合焦した画像の表示及びその表示の制限を容易かつ確実に行うことができる。

また、第１実施形態では、制御部７２は、画像データの合焦位置が設定部７１により表示不可に設定された被写体の奥行き方向の位置又はその位置を含む奥行き方向の範囲とならないように合焦位置の変更を制限する。このような構成によれば、設定部７１により表示不可に設定された被写体の画像が視認可能な状態で表示されることがなくなる。

また、第１実施形態では、制御部７２は、画像データ中の被写体を含む領域（被写体領域）毎に表示部５０への表示を制限する。このような構成によれば、奥行き方向の同じ位置又は近い位置に表示可に設定された被写体と表示不可に設定された被写体とが存在する場合でも、表示の可否の設定に応じて被写体の画像を表示させることができる。また、第１実施形態では、制御部７２は、解除条件の成立（ステップＳ２７のＹＥＳ参照）に基づいて設定部７１により表示不可に設定された被写体の表示の制限を解除する。このような構成によれば、使用者は表示不可に設定された被写体についても表示させることができる。

＜第２実施形態＞
上記した第１実施形態では、ライトフィールドカメラ１内のシステム制御部７０が被写体の表示可否の設定を行い、表示可に設定された被写体の画像を表示し、表示不可に設定された被写体の画像の表示を制限していた。これに対して、第２実施形態では、情報処理装置がライトフィールドカメラ１からの画像データを入力し、入力した画像データにおける表示不可とする奥行き方向の範囲を設定し、その奥行き方向の範囲内における被写体の画像の表示を制限する。

また、上記した第１実施形態では、設定部７１が、被写体に対する表示の可否を該被写体の奥行き方向の位置で設定していた。これに対して、第２実施形態では、設定部は、被写体に対する表示の可否を該被写体の奥行き方向の位置を含む奥行き方向の範囲で設定する。さらに、上記した第１実施形態では、制御部７２は、画像データの合焦位置が設定部７１により表示不可に設定された被写体の奥行き方向の位置又はその位置を含む奥行き方向の範囲とならないように合焦位置の変更を制限していた。これに対して、第２実施形態では、制御部は、画像データの被写界深度の範囲が設定部により表示不可に設定された奥行き方向の範囲と重複しないように被写界深度の範囲の変更を制限する。なお、被写界深度とは、焦点が合っているように見える被写体の焦点距離の範囲のことをいう。

図１０は、電子機器としての情報処理装置１０１の構成を示すブロック図である。図１０に示すように、情報処理装置（電子機器）１０１は、ライトフィールドカメラ（撮像装置）１、表示装置（表示部）１０２、キーボード１０３、及びマウス１０４と接続されている。情報処理装置１０１は、合焦位置や被写界深度の範囲を奥行き方向に変更可能な画像データ（リフォーカス画像データ）をライトフィールドカメラ１から入力する。

情報処理装置１０１は、例えば、パーソナルコンピュータで実現される。ただし、情報処理装置１０１は、スマートフォン、携帯電話、タブレット端末、デジタルフォトフレーム、サーバなどで実現されてもよい。この情報処理装置１０１は、図１０に示すように、演算処理部１１０及び記憶部１２０を有している。演算処理部１１０は、ＣＰＵ（Central Processing Unit：ＣＰＵのことを制御装置ともいう。）を有している。この演算処理部１１０は、画像データにおける奥行き方向の表示不可の範囲の設定に関する制御、画像データの被写界深度の範囲の変更に関する制御などを司る。

記憶部１２０は、ライトフィールドカメラ１で撮影された画像データや、演算処理部１１０による制御に必要な各種情報（例えば画像データ中の被写体のサイズ及び位置を示す位置データ、撮影時のライトフィールドカメラ１から被写体までの距離を示す距離データなど）を記憶する。

演算処理部１１０は、図１０に示すように、画像入力部１１１、操作制御部１１２、設定部１１３、及び制御部１１４を有している。画像入力部１１１は、ライトフィールドカメラ１と接続されることにより、このライトフィールドカメラ１（記録部６０）に記憶されている画像データ（合焦位置の異なる複数の画像データ）や、被写体の位置データ、被写体の距離データを入力する。この画像入力部１１１は、ライトフィールドカメラ１から入力した画像データ等（画像データ、被写体の位置データ、被写体の距離データ）を記憶部１２０における画像データ記憶領域に記憶する。なお、画像入力部１１１は、インターネットなど通信ネットワーク（図示せず）を通じて画像データ等を取得し、取得した画像データ等を記憶部１２０における画像データ記憶領域に記憶することも可能である。

操作制御部１１２は、使用者が操作可能な操作部を構成するキーボード１０３及びマウス１０４と接続される。この操作制御部１１２は、使用者によるキーボード１０３やマウス１０４の操作に応じて情報を入力し、その情報を設定部１１３及び制御部１１４に出力する。

設定部１１３は、記憶部１２０に記憶されている位置データ及び距離データに基づいて、画像中における被写体の位置及び撮影時の被写体までの距離（焦点距離）を認識する。また、設定部１１３は、使用者が画像データにおける奥行き方向の表示不可の範囲の設定を行う際（後述する図１１に示す表示可否の設定処理の実行時）に、使用者によって操作されるグラフィカルユーザインタフェース（以下、ＧＵＩという。）などの各種画像（後述する図１２参照）を表示する制御を行う。また、設定部１１３は、被写体に対する表示の可否を、使用者によるマウス１０４等の操作によって選択された被写体の位置を含む奥行き方向の表示不可の範囲（図１２参照）で設定する。

制御部１１４は、記憶部１２０に記憶されている位置データ及び距離データに基づいて、画像中における被写体の位置及び撮影時の被写体までの距離（焦点距離）を認識する。また、制御部１１４は、使用者が画像データの被写界深度の範囲の変更を行う際（後述する図１３に示す被写界深度の変更処理の実行時）に、使用者によって操作されるＧＵＩなどの各種画像（後述する図１２参照）を表示する制御を行う。また、制御部１１４は、使用者が画像データの被写界深度の範囲の変更を行う際に、変更後の被写界深度の範囲が設定部１１３により設定された表示不可の範囲と重複しない場合は、変更後の被写界深度の範囲の画像データを生成する。そして、制御部１１４は、生成した画像データを表示装置１０２の表示画面５００に表示させる。

また、制御部１１４は、使用者が画像データの被写界深度の範囲の変更を行う際に、変更後の被写界深度の範囲が設定部１１３により設定された表示不可の範囲と重複する場合は、被写界深度の範囲の変更を制限（禁止）する。このことで、表示不可の範囲内における被写体の画像が表示画面５００に表示されることが制限される。

なお、演算処理部１１０において、設定部１１３及び制御部１１４は、それぞれ、ＣＰＵが制御プログラム（図示せず）に基づいて実行する処理及び制御に相当する。

次に、第２実施形態に係る情報処理装置１０１における表示可否の設定処理について説明する。図１１は、第２実施形態の演算処理部１１０が実行する表示可否の設定処理を説明するためのフローチャートである。

図１１に示す処理において、画像入力部１１１は、ライトフィールドカメラ１に記憶されている画像データ（合焦位置の異なる複数の画像データ）や、被写体の位置データ、被写体の距離データを入力する（ステップＳ３１）。画像入力部１１１は、ライトフィールドカメラ１から入力した画像データ等（画像データ、被写体の位置データ、被写体の距離データ）を記憶部１２０における画像データ記憶領域に記憶する。

設定部１１３は、ステップＳ３１で入力した画像データ、位置データ、及び距離データに基づいて、画像データ中の各被写体のサイズ及び位置や、撮影時のライトフィールドカメラ１から各被写体までの距離を認識する。そして、設定部１１３は、認識した各被写体のサイズ、画像データ中の位置、及び各被写体までの距離に基づいて、ライトフィールドカメラ１と各被写体とを俯瞰したときの俯瞰図をＧＵＩ上に表示する（ステップＳ３２）。

図１２は、第２実施形態のグラフィカルユーザインタフェース（ＧＵＩ）上の俯瞰図３００の表示例を示す図である。図１２に示すように、表示装置１０２の表示画面５００には、ＧＵＩとして、ライトフィールドカメラ１と各被写体Ｏ１〜Ｏ４との距離関係、各被写体Ｏ１〜Ｏ４の合焦位置、及び画像データの被写界深度の範囲を表す俯瞰図３００が表示される。図１２に示す俯瞰図３００では、カメラ位置ｄ０にライトフィールドカメラ１が表示され、合焦位置ｄ１に人物Ｏ１が表示され、合焦位置ｄ２に人物Ｏ２が表示され、合焦位置ｄ３に木Ｏ３が表示され、合焦位置ｄ４に家Ｏ４が表示されている。

図１２に示す画像データの合焦位置は、人物Ｏ１の合焦位置ｄ１となっている。また、図１２に示す画像データの被写界深度の範囲は、人物Ｏ１の合焦位置ｄ１の奥行き方向の前後の範囲となっている。すなわち、図１２に示す画像データの被写界深度の範囲は、ライトフィールドカメラ１からの距離ｄ１ａから、ライトフィールドカメラ１からの距離ｄ１ｂまでの範囲となっている。図１２に示すように、被写界深度の範囲が人物Ｏ１の合焦位置ｄ１の奥行き方向の前後の範囲となっているので、人物Ｏ１は合焦状態で表示されているが、人物Ｏ２、木Ｏ３及び家Ｏ４はぼけた状態で表示されている。なお、図１２に示す画像データの合焦位置及び被写界深度の範囲は、ライトフィールドカメラ１の画像処理部３０によって自動的に設定されたものである。

また、図１２に示すように、表示装置１０２の表示画面５００の右上に小さな表示領域５０１が設けられている。この表示領域５０１にはＧＵＩで作成中の画像が表示される。このように、設定部１１３が表示領域５０１に画像を表示することによって、ＧＵＩを用いて作成中の画像を使用者に視認させることができる。

次に、設定部１１３は、使用者によるマウス１０４等の操作によって奥行き方向の範囲が選択されたか否かを判定する（ステップＳ３３）。具体的には、使用者は、人物Ｏ２を見せたくない被写体であると判断した場合は、図１２に示すように、マウス１０４等を操作することによって、人物Ｏ２の合焦位置ｄ２の奥行き方向の前後の範囲を選択する。すなわち、使用者は、ライトフィールドカメラ１からの距離ｄ２ａから、ライトフィールドカメラ１からの距離ｄ２ｂまでの範囲を選択する。設定部１１３は、使用者により奥行き方向の範囲が選択されたと判定した場合は、選択された奥行き方向の範囲を表示不可の範囲に設定する（ステップＳ３４）。

次に、第２実施形態に係る情報処理装置１０１における被写界深度の範囲の変更処理について説明する。図１３は、第２実施形態の演算処理部１１０が実行する被写界深度の範囲の変更処理を説明するためのフローチャートである。

図１３に示す処理において、制御部１１４は、記憶部１２０に記憶されている画像データ、位置データ、及び距離データに基づいて、画像データ中の各被写体のサイズ及び位置や、撮影時のライトフィールドカメラ１から各被写体までの距離を認識する。そして、制御部１１４は、認識した各被写体のサイズ、画像データ中の位置、及び各被写体までの距離に基づいて、ライトフィールドカメラ１と各被写体とを俯瞰したときの俯瞰図をＧＵＩ上に表示する（ステップＳ４１）。なお、ＧＵＩとして表示される俯瞰図は、図１２に示したものと同様である。

次に、制御部１１４は、使用者によるマウス１０４等の操作によって被写界深度の範囲が変更されたか否かを判定する（ステップＳ４２）。例えば、使用者は、被写界深度の範囲を、人物Ｏ２の合焦位置ｄ２の奥行き方向の前後の範囲よりも広い範囲に変更する。制御部１１４は、使用者により被写界深度の範囲が変更されたと判定した場合は（ステップＳ４２のＹＥＳ）、変更後の被写界深度の範囲が設定部１１３により設定された表示不可の範囲と重複するか否かを判定する（ステップＳ４３）。例えば、図１２に示すように、使用者が被写界深度の範囲を距離ｄ２ａよりも奥側に広げた場合は、制御部１１４は、変更後の被写界深度の範囲が表示不可の範囲と重複すると判定する。

制御部１１４は、変更後の被写界深度の範囲が表示不可の範囲と重複しないと判定した場合は（ステップＳ４３のＮＯ）、記憶部１２０に記録されている合焦位置の異なる複数の画像データに基づいて、変更後の被写界深度の画像データを生成する。そして、制御部１１４は、生成した画像データを表示装置１０２の表示領域５０１に表示させる（ステップＳ４４）。なお、制御部１１４は、使用者によるキーボード１０３等の操作に応じて、変更後の被写界深度の画像を表示装置１０２の表示画面５００の全面に表示してもよい。

一方、制御部１１４は、変更後の被写界深度の範囲が表示不可の範囲と重複すると判定した場合は（ステップＳ４３のＹＥＳ）、変更後の被写界深度の画像の表示装置１０２の表示領域５０１に表示しないように制限（禁止）する（ステップＳ４５）。このとき、制御部１１４は、表示装置１０２の表示画面５００において、例えば「被写体Ｏ２はロックされています。被写界深度の範囲内に含めることはできません。」という文を表示して、被写界深度の範囲を変更することができないことを使用者に報知する。なお、制御部１１４は、使用者によるパスワードの入力に基づいて、被写界深度の範囲の変更の制限を解除してもよい。

なお、上記した第２実施形態では、設定部１１３は、被写体の奥行き方向の位置を含む奥行き方向の範囲を表示不可の範囲として設定していたが、このような構成に限定されず、被写体の奥行き方向の位置を表示不可の位置として設定してもよい。また、上記した第２実施形態では、制御部１１４は、画像データの被写界深度の範囲が設定部１１３により表示不可に設定された表示不可の範囲と重複しないように被写界深度の範囲の変更を制限していたが、このような構成に限定されず、画像データの被写界深度の範囲が設定部１１３により表示不可に設定された被写体の奥行き方向の位置を含まないように被写界深度の範囲の変更を制限してもよい。

また、２つの範囲（表示不可の範囲と被写界深度の範囲）が重なる場合、設定部１１３は、被写界深度の範囲の変更に伴って、２つの範囲が重複しないように表示不可の範囲を自動的に変更してもよい。また逆に、制御部１１４は、表示不可の範囲の変更に伴って、２つの範囲が重複しないように被写界深度の範囲を自動的に変更してもよい。

また、設定部１１３は、被写界深度の範囲以外のすべての範囲を自動的に表示不可の範囲（デフォルトの表示不可の範囲）に設定してもよい。また、設定部１１３は、表示不可の範囲を設定することに代えて、表示可の範囲を設定してもよい。この場合、設定部１１３は、例えば表示可の範囲以外の範囲を表示不可の範囲に設定する。また、設定部１１３は、表示可の範囲及び表示不可の範囲の２つの範囲を設定する構成でもよい。このような構成によれば、使用者は見せたくない被写体に対するロックのＯＮ・ＯＦＦの設定を簡易に行うことができる。

また、上記した第２実施形態では、制御部１１４は、画像データの被写界深度の範囲が設定部１１３により表示不可に設定された表示不可の範囲と重複しないように被写界深度の範囲の変更を制限していたが、このような構成に限定されず、画像データの合焦位置が設定部１１３により表示不可に設定された表示不可の範囲と重複しないように合焦位置の変更を制限してもよい。この場合、制御部１１４は、合焦位置の変更に合わせて被写界深度の範囲を自動的に変更してもよい。例えば、制御部１１４は、合焦位置から奥行き方向の前後一定の範囲を被写界深度の範囲としてもよい。ただし、制御部１１４は、合焦位置の変更に伴って被写界深度の範囲が表示不可の範囲と重複してしまった場合は、被写界深度の範囲を狭くして、合焦位置の変更を許可してもよい。

また、２つの範囲（表示不可の範囲と被写界深度の範囲）が重なる場合、制御部１１４は、２つの範囲が重なることを許容するが、重なった範囲について表示不可の範囲を優先的に適用し、重なった範囲内の被写体の画像を視認不可能又は視認困難な状態にしてもよい。また、被写界深度の範囲の中に表示不可の範囲が入っていてもよい。また、表示不可の範囲は複数設定されてもよい。また、制御部１１４は、表示不可の範囲内において合焦位置から離れるに従ってより視認困難な状態にしてもよい。すなわち、制御部１１４は、表示不可の範囲内の被写体の見え方を、合焦位置からの距離に応じて変更してもよい。

なお、上記した第２実施形態では、情報処理装置１０１が図１１及び図１３に示した処理を実行していたが、ライトフィールドカメラ１が図１１及び図１３に示した処理を実行してもよい。すなわち、設定部７１が図１１に示した処理を実行し、制御部７２が図１３に示した処理を実行してもよい。

以上に説明したように、第２実施形態では、制御部１１４は、ライトフィールドカメラ１（撮像部１０）と被写体との距離関係、合焦位置、及び被写界深度の範囲を表す図３００を表示部１０２に表示する。このような構成によれば、ライトフィールドカメラ１と被写体との距離関係、合焦位置、及び被写界深度の範囲を使用者に容易に認識させることができる。従って、使用者による画像データを生成する作業を容易に行わせることができる。

＜第３実施形態＞
上記した第１実施形態では、制御部７２は、使用者によりパスワードが入力されたことに基づいて、被写体の表示の制限を解除するか否かを判定していた。これに対して、第３実施形態では、制御部は、画像データを鑑賞する者の場所に基づいて、被写体の表示の制限を解除するか否かを判定する。

なお、第３実施形態においては、ライトフィールドカメラ１ではなく情報処理装置１０１が以下に示す処理を実行する。情報処理装置１０１は、図１０に示す構成のほかに、スマートフォンやタブレット端末のような通信機能を備えた情報携帯端末であるものとする。また、情報処理装置１０１は、表示画面にタッチパネルを備えているものとする。また、情報処理装置１０１は、現在位置を測定するＧＰＳ(Global Positioning System)を備えているものとする。また、情報処理装置１０１は、他の装置（例えばサーバ）から画像データ（合焦位置の異なる複数の画像データ）、画像データ中の各被写体の位置データ、画像データ中の各被写体の距離データ、被写体Ｏ１〜Ｏ３は表示可を示し被写体Ｏ４は表示不可を示す設定情報、特定エリアを示す情報を受信し、それらの情報を記憶部１２０に記憶しているものとする。また、第３実施形態において、情報処理装置１０１で画像を鑑賞する者のことを鑑賞者という。

図１４は、第３実施形態の演算処理部１１０が実行する画像表示処理を説明するためのフローチャートである。また、図１５は、第３実施形態の画像６１１〜６１５の表示例及び鑑賞者７００の現在位置を示す図である。なお、図１４に示すステップＳ５１〜Ｓ５４の処理は、制御部７２ではなく制御部１１４が実行する処理であること以外は、図８に示したステップＳ２１〜Ｓ２４の処理と同様であるため、重複する説明を省略する。

制御部１１４は、鑑賞者により選択された被写体が表示可に設定されていると判定した場合は（ステップＳ５４のＹＥＳ）、鑑賞者により選択された被写体に合焦した画像（例えば図１５（２）に示す画像６１２）を表示画面に表示させる（ステップＳ５５）。具体的には、制御部１１４は、鑑賞者により選択された被写体（図１５（１）の人物Ｏ１）の距離データに基づいて、ライトフィールドカメラ１から人物Ｏ１までの撮影時の距離を認識する。また、制御部１１４は、合焦位置が人物Ｏ１までの距離の画像データを生成する。そして、制御部１１４は、生成した画像データを表示画面に表示する。

一方、制御部１１４は、ステップＳ５４で鑑賞者により選択された被写体（例えば家Ｏ４）が表示不可（ロック：ＯＮ）に設定されていると判定した場合は（ステップＳ５４のＮＯ）、鑑賞者（つまり鑑賞者が携帯している情報処理装置１０１）の現在位置が特定エリア７１０内であるか否かを判定する（ステップＳ５６）。具体的には、制御部１１４は、ＧＰＳによって鑑賞者の現在位置を認識する。また、制御部１１４は、特定エリアを示す情報に基づいて特定エリア７１０を認識する。図１５に示す例では、特定エリア７１０は、ある地点から半径５００ｍ内のエリアとされている。そして、制御部１１４は、鑑賞者の現在位置と特定エリア７１０とを比較して、鑑賞者の現在位置が特定エリア７１０内であるか否かを判定する。

制御部１１４は、図１５（３）に示すように、鑑賞者の現在位置が特定エリア７１０内でないと判定した場合は（ステップＳ５６のＮＯ）、鑑賞者により選択された被写体に合焦した画像（例えば図１５（５）に示す画像６１５）を表示画面に表示させないように制御する（ステップＳ５７）。すなわち、制御部１１４は、図１５（３）に示す画像６１３のまま変更しないように制御する。このとき、制御部１１４は、表示画面に「選択した合焦位置はロックされているため、合焦位置を変更できません。」という文を表示して、鑑賞者により選択された被写体が表示不可であることを報知する。

図１５（４）に示すように、鑑賞者は特定エリア７１０内にいるときに表示不可に設定されている被写体（例えば家Ｏ４）を選択する。この場合、制御部１１４は、鑑賞者の現在位置が特定エリア７１０内であると判定する（ステップＳ５６のＹＥＳ）。そして、制御部１１４は、鑑賞者により選択された被写体に合焦した画像（例えば図１５（５）に示す画像６１５）を表示画面に表示させる（ステップＳ５５）。

上記した第３実施形態では、制御部１１４は、鑑賞者の現在位置に基づいて被写体の表示の制限を解除するか否かを判定していたが、鑑賞者が画像データを鑑賞する時刻（時間）に基づいて被写体の表示の制限を解除するか否かを判定してもよい。この場合、情報処理装置１０１は、現在時刻を計測する時計部を備え、時計部からの現在時刻情報に基づいて現在時刻を認識する。制御部１１４は、認識した現在時刻が予め設定された時刻の範囲内であるか否かを判定する。そして、制御部１１４は、その判定結果に応じて被写体の表示の制限を解除するか否かを判定する。

以上に説明したように、第３実施形態では、制御部１１４は、画像データを鑑賞する者（鑑賞者）の場所（つまり現在位置）又は画像データを鑑賞する時間を含む解除条件に基づいて、被写体の表示の制限を解除するか否かを判定する。このような構成によれば、他の装置（例えばサーバ）によって指定された鑑賞者の場所や鑑賞時間によって、特定の被写体を表示させたり表示させなくしたりすることができる。このような構成は、鑑賞者に対する商品の広告などに利用することができる。例えば、情報処理装置１０１は、他の装置から送信される画像データ等を受信するとともに、特定エリアを示す情報及び鑑賞時間を示す情報を受信する。そして、情報処理装置１０１は、特定エリア（例えばイベント会場やコンサート会場）において特定の鑑賞時間にだけ、画像データ中の特定の被写体を合焦状態で表示させる。この場合、広告主などは、鑑賞者へのサービスとして、特定の被写体の表示を提供することになる。なお、設定部７１は、画像データを鑑賞する者（鑑賞者）の場所（つまり現在位置）又は画像データを鑑賞する時間に応じて、被写体に対する表示可否の設定を自動的に変更してもよい。

なお、被写体の表示の制限を解除する手段（ロックを解除する手段）において、パスワードの入力、場所（現在位置）、時間（時刻）を解除条件としていたが、指紋認証や顔認証などを解除条件としてもよい。つまり、制御部１１４は、指紋認証により鑑賞者が予め登録された特定の鑑賞者であることを確認したことを条件に、被写体の表示の制限を解除してもよい。また、制御部１１４は、不図示のカメラで撮影した鑑賞者の画像に基づいて顔認証などを行い、鑑賞者が予め登録された特定の鑑賞者であることを確認したことを条件に、被写体の表示の制限を解除してもよい。

＜第４実施形態＞
上記した第１実施形態では、制御部７２は、使用者によりパスワードが入力されたことに基づいて、被写体の表示の制限を解除するか否かを判定し、第３実施形態では、制御部１１４は、鑑賞者の場所などに基づいて、被写体の表示の制限を解除するか否かを判定していた。これに対して、第４実施形態では、制御部は、使用者による操作部の操作の順序に基づいて、被写体の表示の制限を解除するか否かを判定する。

図１６は、第４実施形態における使用者による解除順序を示す図である。図１６に示す画像６２０は、ライトフィールドカメラ１が図６に示した距離関係の被写体Ｏ１〜Ｏ４を撮像した場合の画像である。また、図１６に示す解除順序は、解除順序「１」として人物Ｏ２に対する合焦位置ｄ２が設定され、解除順序「２」として人物Ｏ１に対する合焦位置ｄ１が設定され、解除順序「３」として木Ｏ３に対する合焦位置ｄ３が設定され、解除順序「４」として合焦位置ｄ４が設定されている。

設定部７１又は設定部１１３は、使用者による操作部（タッチパネル）５２又は操作部１０３，１０４の操作に応じて被写体Ｏ２を最初に選択する。これにより、設定部７１又は設定部１１３は、解除順序「１」として人物Ｏ２に対する合焦位置ｄ２を設定する。次に、設定部７１又は設定部１１３は、使用者による操作部５２又は操作部１０３，１０４の操作に応じて被写体Ｏ２を選択する。これにより、設定部７１又は設定部１１３は、解除順序「２」として人物Ｏ１に対する合焦位置ｄ１を設定する。次に、設定部７１又は設定部１１３は、使用者による操作部５２又は操作部１０３，１０４の操作に応じて被写体Ｏ３を選択する。これにより、設定部７１又は設定部１１３は、解除順序「３」として木Ｏ３に対する合焦位置ｄ３を設定する。最後に、設定部７１又は設定部１１３は、使用者による操作部５２又は操作部１０３，１０４の操作に応じて被写体Ｏ４を選択する。これにより、設定部７１又は設定部１１３は、解除順序「４」として家Ｏ４に対する合焦位置ｄ４を設定する。

制御部７２又は制御部１１４は、設定部７１又は設定部１１３で設定された解除順序の通りに被写体が選択された場合に限り、各被写体Ｏ１〜Ｏ４を合焦状態で表示させる。すなわち、制御部７２又は制御部１１４は、使用者により人物Ｏ２が選択されたときは人物Ｏ２を合焦状態で表示させる。次に、制御部７２又は制御部１１４は、使用者により人物Ｏ１が選択されたときは人物Ｏ１を合焦状態で表示させる。次に、制御部７２又は制御部１１４は、使用者により木Ｏ３が選択されたときは木Ｏ３を合焦状態で表示させる。最後に、制御部７２又は制御部１１４は、使用者により家Ｏ４が選択されたときは家Ｏ４を合焦状態で表示させる。制御部７２又は制御部１１４は、使用者により選択された被写体が解除順序の通りでない場合は、その被写体の表示を制限する。すなわち、制御部７２又は制御部１１４は、その被写体に合焦させないように制御する。

このように、第４実施形態では、制御部７２又は制御部１１４は、使用者による操作部の操作の順序（解除順序）に基づいて、被写体の表示の制限を解除するか否かを判定する。このような構成によれば、解除順序を設定する者（画像を提供する者）が鑑賞者に鑑賞させたい順序で被写体を鑑賞させることができる。従って、電子絵本などのように、解除順序を設定する者が考える被写体の画像が示すストーリーを鑑賞者に伝えることができる。なお、制御部７２又は制御部１１４は、解除順序を鑑賞者に知らせるために、解除順序に従って被写体を囲む枠を表示し、被写体を点滅表示し、被写体の色を変化させるなどの表示を行ってもよい。

＜第５実施形態＞
上記した各実施形態では、使用者が手動で（操作部を操作するなどして）被写体に対する表示の可否（ロックのＯＮ又はＯＦＦ）を設定していた。これに対して、第５実施形態では、設定部が自動的に被写体に対する表示の可否を設定する。

図１７は、第５実施形態のシステム制御部７０が実行する表示可否の設定処理を説明するためのフローチャートである。また、図１８は、被写体の特徴点及び被写体ごとの表示の可否を示す設定情報を含む登録情報を示す図である。なお、図１７に示すステップＳ６１〜Ｓ６３の処理は、図７に示したステップＳ１１〜Ｓ１３の処理と同様であるため、重複する説明を省略する。

設定部７１は、ステップＳ６３の処理を実行した後、記録部６０に予め登録されている登録情報を読み出す（ステップＳ６４）。図１８に示すように、被写体の画像データやその被写体の特徴点などが登録情報として記録部６０に登録されている。また、被写体ごとの表示の可否（ロックのＯＮ又はＯＦＦ）を示す設定情報も登録情報として記録部６０に登録されている。図１８に示す例では、人物Ｏ１は表示不可（ロック：ＯＮ）に設定され、人物Ｏ２は表示可（ロック：ＯＦＦ）に設定され、木Ｏ３は表示可（ロック：ＯＦＦ）に設定され、家Ｏ４は表示可（ロック：ＯＦＦ）に設定されている。

設定部７１は、画像処理部３０に対して被写体の特徴点（例えば人物の目）などを要求する。画像処理部３０は、設定部７１からの要求に応じて、図５のステップＳ４において検出した被写体の画像データを抽出するとともに、その被写体の特徴点なども抽出する。そして、画像処理部３０は、抽出した被写体の画像データ及び特徴点などをシステム制御部７０に出力する。設定部７１は、画像処理部３０から出力された被写体の画像データ及び特徴点などと、記録部６０に予め登録されている被写体の画像データ及び特徴点などとを照合して、画像データ中の被写体を識別する（ステップＳ６５）。すなわち、設定部７１は、画像データ中の被写体が記録部６０に予め登録されている被写体と同一であるか否かを判定する。なお、設定部７１は、画像データ中の被写体が予め登録されている被写体と同一でないと判定した場合は、その被写体の画像データ及び特徴点などを記録部６０に登録する。

設定部７１は、識別した被写体に対して、記録部６０に予め設定された設定情報に基づいて被写体ごとに表示の可否を自動的に設定する（ステップＳ５６）。図１８に示す例では、設定部７１は、人物Ｏ１に対して表示不可に設定し、人物Ｏ２に対して表示可に設定し、木Ｏ３に対して表示可に設定し、家Ｏ４に対して表示可に設定する。

このように、第５実施形態では、設定部７１は、画像データ中の被写体と予め登録された被写体とを照合して被写体を識別し、識別した被写体に対して、予め設定された設定情報に基づいて表示の可否を設定する。このような構成によれば、使用者による被写体ごとの表示可否の設定の手間を省くことができる。

なお、設定部７１は、位置データに基づいて被写体のサイズを認識し、被写体のサイズに応じて被写体に対する表示可否の設定を行ってもよい。例えば、設定部７１は被写体のサイズが大きい場合は表示可に設定し、サイズが小さい場合は表示不可に設定する。また、設定部７１は、人物の顔のサイズに応じて被写体に対する表示可否の設定を行ってもよい。また、設定部７１は、被写体の特徴点などに基づいて被写体の種類（人物、建物、植物など）を認識し、認識した被写体の種類に応じて被写体に対する表示可否の設定を行ってもよい。また、設定部７１は、撮影時に設定されたシーン（テーマ、モード）に応じて被写体に対する表示可否の設定を行ってもよい。例えば、撮影時に設定されたシーンが花のシーンである場合は、設定部７１は花の被写体以外の被写体に対して表示不可（ロック：ＯＮ）に設定する。

＜第６実施形態＞
第６実施形態では、設定部は、画像データ中の被写体が画像データ中に存在する時間（フレームイン時間）に基づいて被写体の表示の可否を設定する。

図１９は、第６実施形態のシステム制御部７０が実行する表示可否の設定処理を説明するためのフローチャートである。なお、図１９に示すステップＳ７１〜Ｓ７３の処理は、図７に示したステップＳ１１〜Ｓ１３の処理と同様であるため、重複する説明を省略する。また、システム制御部７０は、時間を計測するタイマー部を備えているものとする。

設定部７１は、ステップＳ７３の処理を実行した後、ステップＳ４で画像処理部３０が画像データ（ここではライブビュー画像又は動画）中の被写体を検出したタイミングから画像データ中の被写体を検出しなくなるタイミングまでの時間（フレームイン時間）を被写体ごとに取得する（ステップＳ７４）。そして、設定部７１は、取得したフレームイン時間の長い一又は複数の被写体を主要被写体として設定する（ステップＳ７５）。次に、設定部７１は、ステップＳ７５で設定した一又は複数の主要被写体を表示可に設定し、主要被写体以外の被写体を表示不可に設定する（ステップＳ７６）。

このように、第６実施形態では、設定部７１は、画像データ中の被写体が画像データ中に存在する時間を取得し、取得した時間に基づいて画像データ中の被写体の表示の可否を設定する。このような構成によっても、使用者による被写体ごとの表示可否の設定の手間を省くことができる。なお、上記した第６実施形態では、設定部７１は、フレームイン時間の長い一又は複数の被写体を自動的に主要被写体と設定し、その主要被写体を表示可に設定していた。しかし、設定部７１は、撮影状況に応じて主要被写体の判定条件を変更し、また撮影状況に応じて主要被写体に対する表示の可否の設定も変更してもよい。例えば、設定部７１は、フレームイン時間の短い被写体を主要被写体と設定してもよい。また、設定部７１は、主要被写体に表示不可を設定してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。

例えば、上記した各実施形態では、撮像装置の一例としてライトフィールドカメラ１を挙げていたが、これに限定されず、例えば複数のカメラを配置したカメラアレイであってもよい。このようなカメラアレイにおいても視差を有する複数の画像を取得することができる。

また、上記した各実施形態では、画像処理部や制御部は、ライトフィールドカメラ１が撮影した画像を用いて、合焦位置や被写界深度の範囲を変更していた。しかし、画像処理部や制御部は、フォーカスブラケット機能を備えたデジタルカメラ（撮像装置、電子機器）が撮影した複数の画像を用いて、合焦位置（焦点位置）や被写界深度の範囲を変更することが可能である。すなわち、上記した各実施形態における画像データには、デジタルカメラ（撮像装置）が合焦位置を変えながら撮像した、合焦位置の異なる複数の画像データに基づいて生成される画像データが含まれる。ここで、フォーカスブラケットとは、連写をしながら合焦位置を変えていき、合焦位置の異なる複数の画像を撮影することをいう。画像処理部や制御部は、使用者によって指定された合焦位置や被写界深度に応じて、合焦位置の異なる複数の画像データを適宜選択し、選択した画像データを合成することにより、合焦位置や被写界深度の範囲を変更することができる。

また、上記した各実施形態では、画像処理部や制御部は、複数の画像データに対して距離に応じた重みを加えてから平均する加重平均処理を行うことで、合焦位置や被写界深度の範囲を変更していた。しかし、画像処理部や制御部は、ＲＡＷデータに基づいて所定の合焦位置や被写界深度の画像データを生成することで、合焦位置や被写界深度の範囲を変更してもよい。

また、図３に示す画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つのＣＰＵ（制御装置）を有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。また、各実施形態において、画像処理部３０及びシステム制御部７０によって実行されている処理を演算処理部１１０に実行させてもよく、演算処理部１１０によって実行されている処理をシステム制御部７０に実行させてもよい。

また、上記した第１実施形態において、カラーフィルタの配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。

また、上記した各実施形態に係るライトフィールドカメラ１は、自動的に又は使用者による操作部５５などの操作に応じてズーミング調節を行うズーム機能を備えていてもよい。この場合、駆動制御部１３は、ズーミング調節を行うために、システム制御部７０から送信される制御情報に基づいて撮影光学系１１（例えばズーミング用レンズ）の駆動制御を実行する。また、ライトフィールドカメラ１は、被写体の撮影後に焦点位置を変更することが可能であるが、被写体の撮影前に自動的に焦点位置を調節するオートフォーカス機能を備えていてもよい。この場合、駆動制御部１３は、撮影光学系１１の焦点調節を行うために、システム制御部７０から送信される制御情報に基づいて撮影光学系１１（例えばフォーカシング用レンズ）の駆動制御を実行する。

なお、各実施形態において、被写体の表示可否を示す設定情報は、画像データのＥｘｉｆ(Exchangeable Image file Format)の情報として設定されてもよい。また、被写体の表示可否を示す設定情報は、画像データとは異なる別のファイル情報として設定されてもよい。また、制御部は、すべての被写体に対して表示可に設定されている場合は、パンフォーカス画像として表示してもよい。

また、システム制御部７０（例えば設定部７１）や演算処理部１１０（例えば設定部１１３）は、画像に含まれる被写体を表示部に一覧表示させて、使用者に表示の可否を設定する被写体（ロックをかける被写体）を選択させてもよい。このような構成によれば、使用者は任意の被写体に対して容易に表示可否の設定を行うことができる。システム制御部７０（例えば制御部７２）や演算処理部１１０（例えば制御部１１４）は、表示不可に設定した被写体の見え具合を調整する機能を備えてもよい。例えば、システム制御部７０や演算処理部１１０は、表示不可に設定した被写体が全く見えない状態に制御したり、ぼんやり見える状態に制御してもよい。

また、システム制御部７０（例えば設定部７１）や演算処理部１１０（例えば設定部１１３）は、画像データなどの保存先に応じて表示可否の設定を変更してもよい。例えば、システム制御部７０や演算処理部１１０は、ローカルな保存場所（例えば自身の装置内、つまりライトフィールドカメラ１内や情報処理装置１０１内）に画像データなどを保存している場合と、外部の保存場所（例えばブログなどのＷｅｂ上に画像を公開するサーバなど）に画像データなどを保存している場合とで、表示可否の設定を変更してもよい。この場合は、使用者は公開可能な被写体（合焦位置や被写界深度の範囲）と未公開の被写体（合焦位置や被写界深度の範囲）とを設定することができる。

また、システム制御部７０（例えば制御部７２）や演算処理部１１０（例えば制御部１１４）は、ＳＮＳ（Social Networking Service）において、使用者と友人関係にある人が被写体の表示の制限（ロック）を解除できるようにしてもよい。例えば、システム制御部７０や演算処理部１１０は、画像中の特定の合焦位置にいるＡさんと友人関係にある人だけがＡさんのいる合焦位置に合焦させることができるようにしてもよい。また、ロックの解除条件は、１枚のリフォーカス画像（合焦位置を奥行き方向に変更可能な画像）において複数種類設定されてもよい。例えば、１枚のリフォーカス画像において被写体ごとに異なる解除条件が設定されてもよい。また、時間帯や鑑賞場所に応じてロック解除条件が動的に変更されてもよい。また、画像の所有者、又は画像を公開した人と友人関係にある人だけが、表示の制限（ロック）が設定されている被写体を含む画像の表示制限を解除できるようにしてもよい。

１…ライトフィールドカメラ（電子機器、撮像装置）、３０…画像処理部、５０…表示部、５２…タッチパネル（操作部）、５５…操作部、７０…システム制御部、７１…設定部、７２…制御部、１０１…情報処理装置（電子機器）、１０２…表示装置（表示部）、１１０…演算処理部、１１３…設定部、１１４…制御部

Claims (11)

1. 合焦位置を奥行き方向に変更可能な画像データの奥行き方向の位置又は範囲に対して表示の可否を設定する設定部と、
   前記設定部により表示可に設定された前記位置又は前記範囲に合焦した画像の表示部への表示を行い、前記設定部により表示不可に設定された前記位置又は前記範囲に合焦した画像の前記表示部への表示を制限する制御部と、を備える電子機器。
2. 前記制御部は、前記画像データの合焦位置が前記設定部により表示不可に設定された前記位置又は前記範囲とならないように前記合焦位置の変更を制限する請求項１記載の電子機器。
3. 前記制御部は、前記画像データの被写界深度の範囲が前記設定部により表示不可に設定された前記位置又は前記範囲と重複しないように前記被写界深度の範囲の変更を制限する請求項１または請求項２記載の電子機器。
4. 前記制御部は、前記画像データ中の被写体を含む領域毎に前記表示部への表示を制限する請求項１から３のいずれか一項に記載の電子機器。
5. 前記制御部は、解除条件に基づいて前記設定部により表示不可に設定された前記位置又は前記範囲の表示の制限を解除する請求項１から４のいずれか一項に記載の電子機器。
6. 前記制御部は、前記画像データを鑑賞する者の場所又は前記画像データを鑑賞する時間を含む解除条件に基づいて、前記位置又は前記範囲の表示の制限を解除するか否かを判定する請求項５記載の電子機器。
7. 使用者が操作可能な操作部を備え、
   前記制御部は、使用者による前記操作部の操作の順序に基づいて、前記位置又は前記範囲の表示の制限を解除するか否かを判定する請求項５または請求項６記載の電子機器。
8. 前記設定部は、前記画像データ中の被写体と予め登録された被写体とを照合して前記被写体を識別し、識別した前記被写体の位置又は範囲に対して、予め設定された設定情報に基づいて表示の可否を設定する請求項１から７のいずれか一項に記載の電子機器。
9. 前記設定部は、前記画像データ中の前記被写体が前記画像データ中に存在する時間を取得し、取得した時間に基づいて前記画像データ中の前記被写体の位置又は範囲の表示の可否を設定する請求項１から８のいずれか一項に記載の電子機器。
10. 前記制御部は、撮像部と被写体との距離関係、合焦位置、及び被写界深度の範囲を表す図を表示部に表示する請求項１から９のいずれか一項に記載の電子機器。
11. 制御装置に、
    合焦位置を奥行き方向に変更可能な画像データの奥行き方向の位置又は範囲に対して表示の可否を設定する設定処理と、
    前記設定処理により表示可に設定された前記位置又は前記範囲に合焦した画像の表示部への表示を行い、前記設定処理により表示不可に設定された前記位置又は前記範囲に合焦した画像の前記表示部への表示を制限する制御処理と、を実行させる制御プログラム。