JP2017135477A - 画像管理装置、画像再生装置及びそれらの制御方法、システム、プログラム並びに記憶媒体 - Google Patents

Abstract

【課題】ライトフィールドデータのデコード機能を持たない装置であっても、任意のリフォーカス面で再構成した画像を取得でき、所望の被写体にピントが合った画像を再生することができる技術を実現する。【解決手段】画像管理装置は、ネットワークを介して第１の装置および第２の装置と通信可能な通信手段と、第１の装置からライトフィールドデータを含む画像データを取得する取得手段と、ライトフィールドデータを所定のリフォーカス面で再構成しデコードしたリフォーカス画像を生成する再構成手段と、ライトフィールドデータから被写体を検出する被写体検出手段と、被写体の距離情報を検出する被写体距離検出手段と、リフォーカス画像と被写体の距離情報とに基づいてリフォーカス面を選択するための選択情報を生成する選択情報生成手段と、第２の装置からリフォーカス画像の取得要求を受けた場合に、第２の装置に選択情報を送信する送信手段を有する。【選択図】図６

Description

本発明は、ライトフィールドデータから任意の合焦面にピントを合わせたリフォーカス画像を生成する技術に関する。

近年、シーン中の点から発せれた光線の輝度情報だけでなく、その光線の入射方向の光線空間情報（ライトフィールドデータ）を取得可能なライトフィールドカメラと呼ばれる撮像装置が注目されている。

例えば、非特許文献１には、撮影レンズと撮像素子の間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して１つのマイクロレンズを対応させ、マイクロレンズを通過した光を複数の画素によって入射方向ごとに取得する方法が記載されている。

そして、上記のように取得（撮影）されたライトフィールドデータから通常の撮影画像が生成される。さらに「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用すれば、撮影後に任意の仮想像面（リフォーカス面）にピントを合わせたリフォーカス画像を再構成することができる。

Ｒｅｎ．Ｎｇ、他７名，「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

しかしながら、ライトフィールドデータを画像として再生するためには、所定の符号化方式でエンコードされたライトフィールドデータを視覚化するために復号（デコード）する機能を有する画像再生装置が必要となる。この場合、ネットワーク経由でサーバ等の画像供給装置からデコード済みのリフォーカス画像を取得することにより、ライトフィールドデータのデコード機能を持たない画像再生装置でも再生することができる。しかしながら、ネットワーク経由で取得するリフォーカス画像については、ユーザが任意のリフォーカス面で再構成した画像を選択することができないため、ユーザが望むような被写体にピントが合った画像を取得し再生することができない場合がある。

本発明は、上記課題に鑑みてなされ、その目的は、ライトフィールドデータのデコード機能を持たない装置であっても、任意のリフォーカス面で再構成した画像を取得でき、所望の被写体にピントが合った画像を再生することができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像管理装置は、ネットワークを介して少なくとも第１の装置と通信可能な通信手段と、前記通信手段を介して前記第１の装置からライトフィールドデータを含む画像データを取得する取得手段と、前記ライトフィールドデータを所定のリフォーカス面で再構成しデコードしたリフォーカス画像を生成する再構成手段と、前記ライトフィールドデータから被写体を検出する被写体検出手段と、前記被写体検出手段により検出された被写体の距離情報を検出する被写体距離検出手段と、前記再構成手段により生成されたリフォーカス画像と前記被写体の距離情報とに基づいてリフォーカス面を選択するための選択情報を生成する選択情報生成手段と、前記通信手段を介して第２の装置からリフォーカス画像の取得要求を受けた場合に、前記第２の装置に前記選択情報を送信する送信手段と、を有する。

本発明によれば、ライトフィールドデータのデコード機能を持たない装置であっても、任意のリフォーカス面で再構成した画像を取得でき、所望の被写体にピントが合った画像を再生することができる。

本実施形態のシステム構成図。 本実施形態の画像記録装置の構成を示すブロック図。 本実施形態の画像管理装置の構成を示すブロック図。 本実施形態の画像再生装置の構成を示すブロック図。 本実施形態の画像記録装置の動作を示すフローチャート。 本実施形態の画像管理装置の動作を示すフローチャート。 本実施形態の画像再生装置の動作を示すフローチャート。 本実施形態の画像管理装置におけるコンテンツの管理情報を例示する図。 本実施形態の画像再生装置におけるサムネイル画面を例示する図。 本実施形態の画像再生装置におけるリフォーカス面選択画面を例示する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜システム構成＞まず、図１を参照して、本実施形態のシステム構成について説明する。

図１において、本実施形態のシステムは、画像（動画、静止画）や音声等のデータを生成、記録する画像記録装置１００と、画像（動画、静止画）や音声等のコンテンツを管理する画像管理装置２００と、画像（動画、静止画）や音声等のコンテンツを再生する画像再生装置３００とが、インターネット等のネットワーク４００を介して通信可能に接続されている。

画像管理装置２００は、被写体空間の３次元的な情報（光線空間情報）であるライトフィールドデータを含む画像や音声等のコンテンツを画像記録装置１００から受信し、管理する。画像管理装置２００は、画像再生装置３００から受信した画像取得要求に応じて、画像管理装置２００が保持するコンテンツを送信する。画像記録装置１００は、ネットワーク４００を介して画像管理装置２００にコンテンツを転送する機能、画像管理装置２００が保持しているコンテンツを、ネットワーク４００を介して取得して表示する機能等を有する。

画像再生装置３００は、ネットワーク４００を介して画像管理装置２００に接続され、画像管理装置２００から配信されるコンテンツを受信する。

画像記録装置１００は、画像の撮像や音声の録音を行い、画像や音声等のコンテンツデータを生成してメモリに記録すると共に、メモリに記録したコンテンツを所定の単位でネットワーク４００を介して画像管理装置２００に転送することが可能である。画像管理装置２００は、画像再生装置３００に配信するコンテンツを管理する。画像再生装置３００は、画像管理装置２００から配信されるコンテンツを受信し、表示部に表示、再生する。

画像管理装置２００は、ファイルサーバ機能、データベース機能、プリントサーバ機能、通信サーバ機能（ＨＴＴＰＤ：ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ Ｄｅｍｏｎ）等を有する。画像管理装置２００は、例えば高性能なパーソナルコンピュータ等により構成され、各機能はオペレーティングシステム上で実行されるアプリケーションソフトウェアとして実現される。

＜画像記録装置＞図２を参照して、本実施形態の画像記録装置１００の構成及び機能について説明する。

図２において、本実施形態の画像記録装置１００は、例えば、ライトフィールドデータを撮像（取得）することが可能なライトフィールドカメラである。レンズユニット１０１は、集光のための固定レンズ群、変倍レンズ群、絞り、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行う機能とを兼ね備えた補正レンズ群を備える。レンズユニット１０１から入射した被写体像光は、マイクロレンズアレイ１２７を介して撮像素子１０４の撮像面上に結像される。撮像素子１０４は、光を電気信号に変換するＣＣＤやＣＭＯＳ等の光電変換素子である。Ａ／Ｄ変換部１０５は、撮像素子１０４から出力されるアナログ画像信号をデジタル信号に変換する処理を行う。以下、上記各部１０１〜１０５をカメラユニット１２３と総称する。また、図示していないが、変倍レンズ群、絞り等のアクチュエータ、手ぶれ補正のためのセンサ（例えば角速度センサ）や補正光学系（シフトレンズ等）が搭載されている。

カメラユニット１２３は、被写体を撮像するイメージセンサモジュールであり、レンズユニット１０１を介して入射されるシーン中の点から発せれた光線の輝度情報だけでなく、その光線の入射方向の情報を含むライトフィールドデータを取得する。カメラユニット１２３は、レンズユニット１０１と撮像素子１０４との間の光軸上にマイクロレンズアレイ１２７が配置されている。マイクロレンズアレイ１２７は複数のマイクロレンズ１３０を備える。

カメラ制御部１１８は、後述する主制御部１１０の制御に従いカメラユニット１２３の各部を制御する。また、カメラ制御部１１８は、カメラユニット１２３から得られる情報、例えば合焦情報や手ぶれ情報等を主制御部１１０に送出する。

主制御部１１０は、ＣＰＵやＭＰＵ等のマイクロコンピュータを備え、デジタルカメラの全体を制御する。主制御部１１０は、デジタルカメラの各種制御プログラムを格納する不揮発性メモリ（ＲＯＭ）、作業領域となる揮発性メモリ（ＲＡＭ）、他のハードウエアとデータの受け渡しや制御用レジスタをアクセスするための外部バス、時間を計測するタイマを少なくとも有している。バス１０３には、各機能ブロックが接続されており、主制御部１１０の制御に従いデータの受け渡しを行う伝送路として機能する。

信号処理部１０９は、Ａ／Ｄ変換部１０５によりデジタルデータに変換された画像信号に各種の信号処理を施す。

エンコード部１０２は、主制御部１１０の制御に従い、ライトフィールドデータの生成を行う第１のエンコーダ１０２ａと、ＪＰＥＧ画像などの標準画像データの生成を行う第２のエンコーダ１０２ｂとを有する。第１のエンコーダ１０２ａは、信号処理部１０９から出力される画像信号を所定の符号化方式でエンコード（圧縮符号化）してライトフィールドデータを生成する。第２のエンコーダ１０２ｂは、ライトフィールドデータを所定のリフォーカス面で再構成しＪＰＥＧ等の標準符号化方式でエンコードしたＪＰＥＧ等の標準画像データを生成する。

記録再生部１２１は、エンコード部１０２と、メモリ１０６、記録媒体１２０、及びデコード部１０８とのインターフェースを有し、主制御部１１０の制御に従いデータの受け渡しを制御する。

メモリ１０６は、各機能ブロックの作業領域として使用可能であり、また、カメラユニット１２３から出力され、信号処理部１０９を経てエンコード部１０２でエンコードされた画像データを一時的に記憶するバッファとしても使用される。

記録媒体１２０は、カメラユニット１２３により撮像された映像（動画や静止画）、撮像時に記録された音声等のデータを記憶するハードディスクやメモリカード等である。記録再生部１２１は、バス１０３に接続される主制御部１１０やメモリ１０６とのインターフェースと、記録媒体１２０とのインターフェースを有し、主制御部１１０等から記録媒体１２０の制御レジスタにアクセスするための変換を行う。記録再生部１２１は、ユーザから記録開始指示を受け付けると、メモリ１０６にバッファされているデータを読み出して、記録媒体１２０に記録する。また、記録再生部１２１は、メモリ１０６の先頭アドレスとデータ量、及び記録媒体１２０の書き込む先頭アドレスを指定することにより、読み出しまたは書き込みデータを自動転送する、所謂ダイレクトメモリーアクセス（ＤＭＡ）機能を備える。

デコード部１０８は、上記エンコード部１０２によりエンコードされたライトフィールドデータを再生可能なデータにデコード（伸張、復号）する第１のデコーダ１０８ａと、同様にエンコードされた標準画像データを再生可能なデータにデコードする第２のデコーダ１０８ｂとを備える。第１のデコーダ１０８ａは、主制御部１１０により設定された所定の合焦面にピントが合うように、ライトフィールドデータのリフォーカス面を再構成してデコードすることによりリフォーカス画像データを生成する。第２のデコーダ１０８ｂは、主制御部１１０により指定されたメモリ１０６のアドレスから標準画像データを逐次読み出し、例えばＩＴＵ−Ｒ ＢＴ．６５６（ＣＣＩＲ６５６）等のデジタル映像信号に変換して出力する。また、デコード部１０８は、画像データの再生を行う際に必要に応じてデータサイズの縮小処理等を行うことができる。

画像出力部１１７は外部装置に接続されており、デコード部１０８によりデコードされたデジタル映像信号を外部モニタ等の外部装置に出力する。

被写体検出部１２４は、カメラユニット１２３から出力される画像データに含まれる被写体を検出する。被写体検出部１２４は、例えば、画像データに含まれる人物の顔領域を検出する。この顔検出処理は公知のアルゴリズムによって行われる。例えば、顔検出処理では、公知の特徴点を抽出する処理によって、スルー画像又は撮像画像のデータから、眼、鼻、口の各端点、顔の輪郭点等の特徴点を画像から抽出し、これらの特徴点に基づいて被写体の顔領域、顔の大きさを検出する。

被写体認識部１２５は、被写体検出部１２４の検出結果に基づいて認証対象となる被写体の特徴を示す認証情報を生成する。被写体認識部１２５は、例えば、顔検出処理の結果に基づいて、顔の特徴を示す顔認証情報を生成する。例えば、顔認識処理では、検出された顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離等から顔認証データを生成する。

奥行き検出部１２６は、被写体検出部１２４により検出された被写体までの距離情報を検出する。奥行き検出処理は、例えば位相差方式の焦点検出センサを用いて検出される。

ＯＳＤ（オンスクリーンディスプレイ）部１１３は、カメラの各種設定を行うためのメニュー画面やタイトル、時間等の情報を映像に重畳して出力する。

操作部１１２は、ユーザが操作可能な物理的に変位するスイッチ部材である。操作部１１２は、タッチパネル１１５と同様に、ユーザ操作に応じた入力信号に基づいて主制御部１１０が動作を制御する。操作部１１２には、静止画の撮影開始や動画の記録開始や終了を指示する押しボタン式のスイッチや、動作モードや各種パラメータを変更するスライド式や回転式のスイッチ等を備えている。

焦点変更部１１９は、ライトフィールドデータを再構成する際に、操作部１１２等を介してユーザにより指定された被写体等にリフォーカス面（合焦面）の設定を変更する。ユーザは、デフォルトのリフォーカス面で再構成された画像に対して、リフォーカス面を変更する操作を行うことで異なる被写体にピントの合った画像を生成することができる。

送受信部１０７は、ライトフィールドデータを含む画像データを画像管理装置２００に送信する。

主制御部１１０は所定のファイルシステムを扱うソフトウェアを搭載しており、このファイルシステムに従って記録媒体１２０へのデータの書き込み、読み出しが行われる。不揮発性メモリ１１１は電気的に書き換え可能なＥＥＰＲＯＭである。

ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）１１４は、カメラのファインダ（被写体を覗く小窓）として液晶パネル等の表示部１１６を用いたものである。

タッチパネル１１５は、表示部１１６の画面と一体的構成される。表示部１１６がサムネイルや仮想ボタンを表示し、タッチパネル１１５が画面に対するユーザ操作を受け付ける。

画面制御部１２２は、タッチパネル１１５からの出力に基づいてどの仮想ボタンが押されたかを判定し、また、表示部１１６に出力する仮想ボタンの制御を行う。

＜画像管理装置＞図３を参照して、本実施形態の画像管理装置２００の構成及び機能について説明する。

図３において、送受信部２０１は、画像記録装置１００や画像再生装置３００の間でデータを送受信する。ライトフィールド（ｌｆ）データデコード部２０２は、画像記録装置１００から受信し、データ記憶部２０７に保管されているライトフィールドデータをリフォーカス面を変更して再構成しデコードする機能モジュールである。被写体検出部２０３は、デコードされたリフォーカス画像から特定の被写体（人物の顔等）を検出する機能モジュールである。被写体検出部２０３は、デコードされたライトフィールドデータをリフォーカス面を変更して、所定の周期（例えば１／３０秒ごと）で被写体検出処理を行う。被写体距離検出部２０４は、被写体検出部２０３により検出された特定の被写体の奥行き情報を検出する機能モジュールである。奥行き情報は、被写体検出部２０３で検出された１つまたは複数の被写体について、被写体ごとの最もピントの合ったリフォーカス面（合焦面）の位置情報である。被写体距離検出部２０４は、例えばコントラストＡＦ方式を用いて、ライトフィールドデータにおける被写体ごとの最もピントの合ったリフォーカス面の位置情報を検出し、記憶する。

データ記憶部２０７は、画像記録装置１００やその他の外部装置から取得したライトフィールドデータを含む画像や音声等のコンテンツを保管する機能モジュールである。サムネイル生成部２０６は、データ記憶部２０７に保管されているライトフィールドデータを含む画像データのサムネイル（参照画像）を生成する機能モジュールである。画像デコード部２０５は、データ記憶部２０７に保管されているライトフィールドデータ以外の画像データのデコードを行う機能モジュールである。

なお、本実施形態の画像管理装置２００は、上述した各機能モジュールのほか、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク等の記憶装置、ネットワークインタフェース等のハードウェアを備え、専用のソフトウェアプログラムを実行することで、後述する本実施形態の動作を実現する。

＜コンテンツの管理情報＞図８を参照して、本実施形態の画像管理装置２００が管理しているコンテンツの管理情報について説明する。

図８において、Ｆｉｌｅ Ｎａｍｅは、画像管理装置２００が管理しているコンテンツのファイル名である。画像記録装置１００から取得したライトフィールドデータを含む画像データのファイル名が管理されている。Ｆｉｌｅ Ｔｙｐｅは、ファイルの種別を示す。例えば、ＪＰＥＧ画像データの場合は、“０”が設定され、ライトフィールドデータの場合は、“１”が設定される。Ｔｈｕｍｂ Ｎａｍｅは、画像管理装置２００で管理しているライトフィールドデータを含む画像データから生成されたサムネイルのファイル名である。画像管理装置２００は、図８の管理情報を用いてライトフィールドデータを含む画像データや、それらから生成されたサムネイル等のコンテンツを管理する。

＜画像再生装置＞図４を参照して、本実施形態の画像再生装置３００の構成及び機能について説明する。

図４において、送受信部３０１は、画像管理装置２００との間でデータを送受信するための機能モジュールである。画像再生装置３００は、送受信部３０１を介して画像管理装置２００へ後述するサムネイル取得要求や画像取得要求の送信、画像管理装置２００からサムネイルやライトフィールドデータを含む画像データ等の受信を行う。表示部３０２は、画像管理装置２００から取得したサムネイルその他の画像データを表示する液晶パネル等である。操作部３０３は、ユーザが操作可能な物理的に変位するスイッチ部材やタッチパネルであり、ユーザは、操作部３０３を介して、例えば、電源スイッチや表示部３０２の各種機能の設定する操作や、表示部３０２に一覧表示されたサムネイルから再生したい画像を選択する操作を行うことができる。コマンド生成部３０５は、ユーザが操作部３０３を介して選択した画像取得要求コマンドを生成する機能モジュールである。コマンド生成部３０５で生成された画像取得要求コマンドは、送受信部３０１を介して画像管理装置２００に送信される。

なお、本実施形態の画像再生装置３００は、上述した各機能モジュールのほか、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク等の記憶装置、ネットワークインタフェース等のハードウェアを備え、専用のソフトウェアプログラムを実行することで、後述する本実施形態の動作を実現する。

＜画像記録装置の撮影動作＞次に、図５のフローチャートを参照して、本実施形態の画像記録装置１００によるライトフィールドデータの撮影動作について説明する。

なお、図５の処理は、不揮発性メモリ１１１に格納されたプログラムを、メモリ１０６に展開して主制御部１１０が実行することにより実現される。また、図５の処理は、画像記録装置１００の動作モードが撮影モードに設定されると開始される。

Ｓ５０１では、主制御部１１０は、画像記録装置１００の動作モードを撮影モードに設定し、撮影準備動作を実行する。

Ｓ５０２では、主制御部１１０は、操作部１１２やタッチパネル１１５から撮影開始指示が入力されるのを待ち、撮影開始指示が検出されるとＳ５０３に進む。

Ｓ５０３では、主制御部１１０は、カメラ制御部１１８によりカメラユニット１２３を制御して画像を撮像し、信号処理部１０９及びエンコード部１０２によりライトフィールドデータを生成する。

Ｓ５０４では、主制御部１１０は、操作部１１２やタッチパネル１１５から撮影終了指示が入力されたか判定し、撮影終了指示が検出されるまでＳ５０３で画像の撮像を継続し、撮影終了指示が検出されるとＳ５０５に進む。

Ｓ５０５では、主制御部１１０は、Ｓ５０３で生成されたライトフィールドデータを送受信部１０７を介して画像管理装置２００に送信する。

＜画像管理装置の撮影動作＞次に、図６のフローチャートを参照して、本実施形態の画像管理装置２００の動作について説明する。

なお、図６の処理は、画像管理装置２００のＲＯＭに格納されたプログラムを、メモリに展開して、ＣＰＵが実行することにより実現される。

Ｓ６０１では、画像管理装置２００のＣＰＵ（以下、画像管理装置２００）は、送受信部２０１を介して画像記録装置１００から画像データを受信したか否かを判定する。判定の結果、画像データを受信していない場合にはＳ６０５に進み、受信した場合は画像データをデータ記憶部２０７に記憶し、Ｓ６０２に進む。

Ｓ６０２では、画像管理装置２００は、Ｓ６０１で取得した画像データをデコードし、被写体検出部２０３により画像に含まれる被写体を検出する。

Ｓ６０３では、画像管理装置２００は、被写体検出部２０３で検出された１つまたは複数の被写体について、被写体距離検出部２０４が奥行き情報を検出し、記憶する。

Ｓ６０４では、画像管理装置２００は、画像管理装置２００で管理している管理情報を更新する。また、サムネイル生成部２０６は、画像記録装置１００から受信した画像データのサムネイルを生成する。この場合、ライトフィールドデータ以外の画像に対応したサムネイルは、画像デコード部２０５が画像データをデコードし、ライトフィールドデータに対応したサムネイルは、ｌｆデータデコード部２０２が予め設定されたリフォーカス面に基づいてライトフィールドデータをデコードする。この場合のリフォーカス面は、画像記録装置１００で設定されているデフォルトの合焦面でもよいし、画像管理装置２００により任意に設定された合焦面であってもよい。

Ｓ６０５では、画像管理装置２００は、送受信部２０１を介して画像再生装置３００からサムネイル取得要求を受信するのを待ち、サムネイル取得要求を受信した場合にはＳ６０６に進む。

Ｓ６０６では、画像管理装置２００は、サムネイル取得要求に応じて、サムネイル生成部２０６により、データ記憶部２０７に保管されている画像データのサムネイルを生成する。また、画像管理装置２００は、サムネイル生成部２０６で生成されたサムネイルを送受信部２０１を介して画像再生装置３００に送信する。図９は、サムネイル生成部２０６で生成され、画像再生装置３００に送信されたサムネイルを例示している。図９では、６種類のサムネイルが表示部３０２に表示され、各サムネイルにはファイル形式を示す拡張子とファイル名（元画像データのファイル名）が付加的に表示されている。ライトフィールドデータ以外の画像データから生成されたサムネイル００１．ｊｐｇ及び００３．〜００５．ｊｐｇは、画像デコード部２０５でデコードされ、サムネイル生成部２０６でサムネイルのデータサイズに縮小された画像である。
ライトフィールドデータから生成されたサムネイル００２．ｌｆ及び００６．ｌｆは、ｌｆデータデコード部２０２でデフォルトのリフォーカス面で再構成されてデコードされ、サムネイル生成部２０６でサムネイルのデータサイズに縮小された画像である。なお、図９では、テキストでファイル形式が表示されているが、アイコンその他の識別可能な指標で表示してもよい。

Ｓ６０７では、画像管理装置２００は、Ｓ６０６で送信したサムネイルに対して、画像再生装置３００から画像取得要求を受信するのを待ち、画像取得要求を受信した場合はＳ６０８に進む。図９の例のように、画像再生装置３００で操作部３０３を介してサムネイル００６．ｌｆが選択された場合、コマンド生成部３０５によりサムネイル００６．ｌｆに対応するライトフィールドデータ００６．ｌｆの取得要求コマンドが生成され、送受信部３０１を介して画像管理装置２００に送信される。

Ｓ６０８では、画像管理装置２００は、画像取得要求により指定された画像データがライトフィールドデータであるか否かを判定し、ライトフィールドデータではない場合はＳ６０９に進み、ライトフィールドデータである場合はＳ６１０に進む。ライトフィールドデータか否かの判定は、画像管理装置２００で管理している管理情報（図８）を参照して行う。例えば、画像取得要求により指定されたサムネイル００６．ｌｆは、Ｆｉｌｅ Ｔｙｐｅが１であるので、ライトフィールドデータであると判定する。

Ｓ６０９では、画像管理装置２００は、画像取得要求によりライトフィールドデータ以外の画像データが指定された場合には、データ記憶部２０７に保管されている画像データを送受信部２０１を介して画像再生装置３００に送信する。また、画像管理装置２００は、画像取得要求によりライトフィールドデータが指定された場合（Ｓ６１０〜Ｓ６１２）には、後述するようにｌｆデータデコード部２０２によりライトフィールドデータを画像取得要求で指定されたサムネイルに対応するリフォーカス面で再構成しデコードしたリフォーカス画像データを生成し、送受信部２０１を介して画像再生装置３００に送信する。

Ｓ６１０では、画像管理装置２００は、ｌｆデータデコード部２０２、被写体検出部２０３、被写体距離検出部２０４によりリフォーカス面の選択情報生成処理を行う。ｌｆデータデコード部２０２では、ライトフィールドデータをリフォーカス面を変更して再構成しデコードすることでリフォーカス画像データを生成する。被写体検出部２０３は、異なるリフォーカス面で再構成されたリフォーカス画像データから特定の被写体を検出する。被写体距離検出部２０４は、被写体検出部２０３により検出された特定の被写体の奥行き情報を検出する。このようにして検出された被写体について最もピントの合ったリフォーカス面で再構成しデコードすることによりリフォーカス画像データが生成される。なお、複数の被写体が検出された場合には、被写体距離検出部２０４により被写体ごとに最もピントの合ったリフォーカス面が検出され、当該リフォーカス面で再構成しデコードしたリフォーカス画像データが生成される。さらに、山等の無限遠にピントの合ったリフォーカス画像データも生成される。このように無限遠にピントの合ったリフォーカス面が最も遠い位置のリフォーカス画像データは、焦点距離を最も大きく設定したリフォーカス面のライトフィールドデータから得られる。このようにしてリフォーカス面の異なるリフォーカス画像データから被写体ごとにピントの合ったリフォーカス面選択情報が生成される。なお、リフォーカス面選択情報は、リフォーカス面の異なるリフォーカス画像データを、サムネイル生成部２０６でサムネイルのデータサイズに縮小した画像である。

図１０は、リフォーカス画像データから生成されるリフォーカス面選択情報を例示している。図１０のリフォーカス面選択情報（本例ではサムネイル）のうち、サムネイル００６＿１０１．ｊｐｇはデフォルトのリフォーカス面で再構成された画像に対応し、図９のサムネイル００６．ｌｆに対応する。また、サムネイル００６＿１０２．ｊｐｇは、ライトフィールドデータの被写体Ａにピントの合ったリフォーカス面で再構成された画像に対応している。サムネイル００６＿１０２．ｊｐｇに対応するリフォーカス画像は、被写体検出部２０３がリフォーカス画像から被写体Ａを検出し、被写体距離検出部２０４が被写体Ａにピントの合ったリフォーカス面（合焦面）の位置情報を検出し、検出したリフォーカス面に基づいて再構成を行うようにｌｆデータデコード部２０２を制御することで生成される。さらに、サムネイル生成部２０６が、生成されたリフォーカス画像をサムネイルサイズに縮小することでリフォーカス面選択情報を生成する。サムネイル００６＿１０３．ｊｐｇは、ライトフィールドデータの被写体Ｂにピントの合ったリフォーカス面で再構成された画像に対応している。サムネイル００６＿１０４．ｊｐｇは、ライトフィールドデータの被写体Ｃにピントの合ったリフォーカス面で再構成された画像に対応している。サムネイル００６＿１０４．ｊｐｇは、山等の風景にピントの合った画像に対応しているため、リフォーカス面を最も遠方に設定し、生成されたリフォーカス画像を縮小して生成される。

Ｓ６１１では、画像管理装置２００は、Ｓ６１０で生成したリフォーカス面選択情報を、画像再生装置３００に送信する。

Ｓ６１２では、画像管理装置２００は、Ｓ６１１で送信したリフォーカス面選択情報に対して、画像再生装置３００からのリフォーカス画像取得要求を受信するのを待ち、リフォーカス画像取得要求を受信するとＳ６０９に進む。図１０の例のように、画像再生装置３００で操作部３０３を介してサムネイル００６＿１０３．ｊｐｇが選択された場合、コマンド生成部３０５によりサムネイル００６＿１０３．ｊｐｇに対応する（ライトフィールドデータ００６．ｌｆの被写体Ｂにピントの合った）リフォーカス画像の取得要求コマンドが生成され、送受信部３０１を介して画像管理装置２００に送信される。

＜画像再生装置の動作＞次に、図７のフローチャートを参照して、本実施形態の画像再生装置３００の動作について説明する。

なお、図７の処理は、画像再生装置３００のＲＯＭに格納されたプログラムを、メモリに展開して、ＣＰＵが実行することにより実現される。また、図７の処理は、画像再生装置３００に電源がオンされ、画像再生装置３００の動作モードが再生モードに設定されると開始される。

Ｓ７０１では、画像再生装置３００のＣＰＵ（以下、画像再生装置３００）は、画像再生装置３００の動作モードを再生モードに設定する。

Ｓ７０２では、画像再生装置３００は、画像管理装置２００のデータ記憶部２０７に保管されている画像データのサムネイル取得要求を送信し、図９に示すようなサムネイルを受信する。画像管理装置２００から取得したサムネイルは、図９のように表示部３０２に選択可能に一覧表示される。

Ｓ７０３では、画像再生装置３００は、Ｓ７０２で画像管理装置２００から取得したサムネイルからユーザが操作部３０３を介して再生したい画像を選択する。図９の例では、ユーザがサムネイル００６．ｌｆを選択している状態を示している。

Ｓ７０４では、画像再生装置３００は、Ｓ７０３で操作部３０３を介してユーザが選択したサムネイルに対応する画像取得要求を、送受信部３０１を介して画像管理装置２００へ送信する。この画像取得要求は、コマンド生成部３０５で生成され、送受信部３０１から画像管理装置２００へ送信される。

Ｓ７０５では、画像再生装置３００は、Ｓ７０４で送信した画像取得要求に対する応答として画像管理装置２００からリフォーカス面選択情報を受信したか否かを判定する。判定の結果、リフォーカス面選択情報を受信していない場合にはＳ７０８に進み、画像管理装置２００からライトフィールドデータ以外の画像データを受信し、表示部３０２に表示して、処理を終了する。また、リフォーカス面選択情報を受信した場合には、図１０のように表示部３０２にリフォーカス面選択情報を選択可能に一覧表示して、Ｓ７０６に進む。

Ｓ７０６では、画像再生装置３００は、Ｓ７０５で画像管理装置２００から取得したリフォーカス面選択情報からユーザが操作部３０３を介して再生したい画像を選択する。図１０の例では、ユーザがサムネイル００６＿１０３．ｊｐｇを選択している状態を示している。

Ｓ７０７では、画像再生装置３００は、Ｓ７０６で選択されたリフォーカス面選択情報に対応するリフォーカス画像取得要求を画像管理装置２００へ送信する。

Ｓ７０８では、画像再生装置３００は、Ｓ７０６で選択したリフォーカス面選択情報に対応するリフォーカス面で再構成されデコードされたリフォーカス画像データを画像管理装置２００から受信し、表示部３０２に表示して、処理を終了する。

以上のように、本実施形態によれば、画像管理装置２００がライトフィールドデータから任意のリフォーカス面で再構成したリフォーカス面選択情報を生成して画像再生装置３００に提供し、画像再生装置３００では、所望のリフォーカス面で再構成されたデコード済みのリフォーカス画像データが受信できる。これにより、画像再生装置３００がライトフィールドデータのデコード機能を持たない場合であっても、ユーザが任意のリフォーカス面で再構成した画像を取得でき、所望の被写体にピントが合った画像を再生することができるようになる。

なお、本実施形態の画像記録装置１００はデジタルカメラに限らず、例えば、ネットワーク接続可能なパーソナルコンピュータやタブレット等の情報処理装置、携帯電話やその一種であるスマートフォン等の携帯型電子機器、監視カメラ、医療機器等に適用可能である。また、本実施形態の画像管理装置２００は、インターネット等の広域通信網に接続可能なサーバに限らず、例えば、有線や無線のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を介して接続されたサーバコンピュータ等にも適用可能である。また、本実施形態の画像再生装置３００はテレビジョン受像機や録画機器等に限らず、例えば、ネットワーク接続可能なパーソナルコンピュータやタブレット等の情報処理装置、携帯電話やその一種であるスマートフォン等の携帯型電子機器等にも適用可能である。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…画像記録装置、２００…画像管理装置、３００…画像再生装置、４００…ネットワーク

Claims (21)

1. ネットワークを介して少なくとも第１の装置と通信可能な通信手段と、
   前記通信手段を介して前記第１の装置からライトフィールドデータを含む画像データを取得する取得手段と、
   前記ライトフィールドデータを所定のリフォーカス面で再構成しデコードしたリフォーカス画像を生成する再構成手段と、
   前記ライトフィールドデータから被写体を検出する被写体検出手段と、
   前記被写体検出手段により検出された被写体の距離情報を検出する被写体距離検出手段と、
   前記再構成手段により生成されたリフォーカス画像と前記被写体の距離情報とに基づいてリフォーカス面を選択するための選択情報を生成する選択情報生成手段と、
   前記通信手段を介して第２の装置からリフォーカス画像の取得要求を受けた場合に、前記第２の装置に前記選択情報を送信する送信手段と、を有することを特徴とする画像管理装置。
2. 前記通信手段を介して取得した画像データを記憶する記憶手段と、
   前記記憶手段に記憶された画像データに基づいて参照画像を生成する生成手段と、を更に有し、
   前記送信手段は、前記第２の装置から前記参照画像の取得要求を受けた場合に、前記第２の装置に前記参照画像を送信し、
   前記第２の装置で選択された参照画像がライトフィールドデータに対応している場合には、前記リフォーカス画像の取得要求に応じて前記第２の装置に前記選択情報を送信することを特徴とする請求項１に記載の画像管理装置。
3. 前記記憶手段に記憶された画像データを管理するための管理情報を用いて前記第２の装置で選択された参照画像がライトフィールドデータに対応しているか否かを判定する判定手段を更に有することを特徴とする請求項２に記載の画像管理装置。
4. 前記管理情報は、画像データのファイル名およびファイルの種別、対応する参照画像のファイル名を含むことを特徴とする請求項３に記載の画像管理装置。
5. 前記参照画像は、元画像データを縮小処理して生成されたサムネイルであることを特徴とする請求項２乃至４のいずれか１項に記載の画像管理装置。
6. 前記送信手段は、前記第２の装置からリフォーカス画像の取得要求を受けた場合に、前記第２の装置に前記選択情報に対応するリフォーカス面で再構成しデコードしたリフォーカス画像を送信することを特徴とする請求項２乃至５のいずれか１項に記載の画像管理装置。
7. 前記被写体検出手段は、前記再構成手段により異なるリフォーカス面で再構成されたリフォーカス画像に基づいて特定の被写体を検出することを特徴とする請求項１乃至６のいずれか１項に記載の画像管理装置。
8. 前記特定の被写体は、人物の顔であることを特徴とする請求項７に記載の画像管理装置。
9. 前記被写体距離検出手段は、前記被写体検出手段で検出された１つまたは複数の被写体について、被写体ごとの最もピントの合ったリフォーカス面の位置情報を検出し、
   前記再構成手段は、前記被写体検出手段により検出された被写体ごとに最もピントの合ったリフォーカス面で再構成したリフォーカス画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像管理装置。
10. 前記再構成手段は、無限遠にピントの合ったリフォーカス面が最も遠い位置のリフォーカス画像を生成することを特徴とする請求項９に記載の画像管理装置。
11. 前記第１の装置はライトフィールドデータを撮像することが可能な撮像装置であり、前記第２の装置はライトフィールドデータを所定のリフォーカス面で再構成してデコードする機能を備えない装置であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像管理装置。
12. ネットワークを介して第３の装置と通信可能な通信手段と、
    前記通信手段を介して前記第３の装置が保持する画像データを取得する取得手段と、
    前記第３の装置から取得した画像データを再生する再生手段と、を有し、
    前記取得手段は、前記第３の装置からライトフィールドデータを取得する場合、前記第３の装置において前記ライトフィールドデータを所定のリフォーカス面で再構成しデコードしたリフォーカス画像を取得することを特徴とする画像再生装置。
13. 前記第３の装置が保持する画像データに対応する参照画像の取得要求を送信する第１の送信手段と、
    前記第３の装置から取得した参照画像を選択可能な第１の選択手段と、
    前記選択された参照画像に対応する画像データの取得要求を送信する第２の送信手段と、
    前記選択された参照画像がライトフィールドデータに対応している場合に、前記第３の装置から前記ライトフィールドデータのリフォーカス面を選択するための選択情報を受信する第１の受信手段と、
    前記第３の装置から取得した選択情報を選択可能な第２の選択手段と、
    前記第３の装置から前記選択情報に対応するリフォーカス面でライトフィールドデータを再構成しデコードしたリフォーカス画像を受信する第２の受信手段と、を更に有することを特徴とする請求項１２に記載の画像再生装置。
14. 前記画像再生装置は、前記ライトフィールドデータを再生するためのデコード機能を備えないことを特徴とする請求項１２又は１３に記載の画像再生装置。
15. 前記第３の装置から取得した参照画像は、対応する元画像データのファイルの種別を示す情報を含むサムネイルであることを特徴とする請求項１２乃至１４のいずれか１項に記載の画像再生装置。
16. 前記第３の装置は、ライトフィールドデータを異なるリフォーカス面で再構成したリフォーカス画像を生成し、
    前記第３の装置から取得した選択情報は、前記異なるリフォーカス面で再構成されたリフォーカス画像のサムネイルであることを特徴とする請求項１５に記載の画像再生装置。
17. ネットワークを介して少なくとも第１の装置と通信可能な通信手段と、
    前記通信手段を介して前記第１の装置からライトフィールドデータを含む画像データを取得する取得手段と、
    前記ライトフィールドデータを所定のリフォーカス面で再構成しデコードしたリフォーカス画像を生成する再構成手段と、を有する画像管理装置の制御方法であって、
    前記ライトフィールドデータから被写体を検出する被写体検出工程と、
    前記被写体検出工程により検出された被写体の距離情報を検出する被写体距離検出工程と、
    前記再構成手段により生成されたリフォーカス画像と前記被写体の距離情報とに基づいてリフォーカス面を選択するための選択情報を生成する選択情報生成工程と、
    前記通信手段を介して第２の装置からリフォーカス画像の取得要求を受けた場合に、前記第２の装置に前記選択情報を送信する送信工程と、を有することを特徴とする制御方法。
18. ネットワークを介して第３の装置と通信可能な通信手段と、
    画像データを再生する再生手段と、を有する画像再生装置の制御方法であって、
    前記通信手段を介して前記第３の装置が保持する画像データを取得する取得工程を有し、
    前記取得工程では、前記第３の装置からライトフィールドデータを取得する場合、前記第３の装置において前記ライトフィールドデータを所定のリフォーカス面で再構成しデコードしたリフォーカス画像を取得することを特徴とする制御方法。
19. ネットワークを介して少なくとも第１の装置と第２の装置が通信可能に接続されたシステムであって、
    前記第１の装置は、
    通信手段を介して外部装置からライトフィールドデータを含む画像データを取得する取得手段と、
    前記ライトフィールドデータを所定のリフォーカス面で再構成しデコードしたリフォーカス画像を生成する再構成手段と、
    前記ライトフィールドデータから被写体を検出する被写体検出手段と、
    前記被写体検出手段により検出された被写体の距離情報を検出する被写体距離検出手段と、
    前記再構成手段により生成されたリフォーカス画像と前記被写体の距離情報とに基づいてリフォーカス面を選択するための選択情報を生成する選択情報生成手段と、
    前記通信手段を介して第２の装置からリフォーカス画像の取得要求を受けた場合に、前記第２の装置に前記選択情報を送信する送信手段と、を有し、
    前記第２の装置は、
    通信手段を介して前記第１の装置が保持する画像データを取得する取得手段と、
    前記第１の装置から取得した画像データを再生する再生手段と、を有し、
    前記取得手段は、前記第１の装置からライトフィールドデータを取得する場合、前記第１の装置において前記ライトフィールドデータを所定のリフォーカス面で再構成しデコードしたリフォーカス画像を取得することを特徴とするシステム。
20. コンピュータを、請求項１乃至１１のいずれか１項に記載された画像管理装置または請求項１２乃至１６のいずれか１項に記載された画像再生装置の各手段として機能させるためのプログラム。
21. コンピュータを、請求項１乃至１１のいずれか１項に記載された画像管理装置または請求項１２乃至１６のいずれか１項に記載された画像再生装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。