JP2015141494A - 情報処理装置及びデータ配信システム - Google Patents

Abstract

【課題】受信者に応じた画像を表示させる。【解決手段】合焦位置を奥行き方向に変更可能な画像データ中のオブジェクトに関するオブジェクト情報と画像データの受信者に関する受信者情報とを関連付ける関連付け部１１４と、オブジェクト情報及び受信者情報に基づいて、受信者に応じた合焦位置の画像データを該受信者の表示部に表示させるためのデータを選択する制御部１１５と、制御部１１５により選択されたデータを受信者の端末１０２，１０３，１０４に送信する送信部１１６とを備える。【選択図】図２

Description

本発明は、情報処理装置及びデータ配信システムに関する。

被写体の撮影後に合焦位置などを設定することが可能な撮像装置が知られている。この種の撮像装置としてフォーカスブラケット機能を備えたデジタルカメラがある。フォーカスブラケットとは、連写をしながら合焦位置を変えていき、合焦位置の異なる複数の画像を撮影することをいう。特許文献１に記載された撮像装置は、複数の合焦位置で被写体を撮像し、撮像した画像のうち所定の領域に合焦した画像を選択し、選択した画像を送信する。

特許第４２１７４７３号公報

しかし、上記した装置においては、画像を受け取った受信者に合わせて画像が選択されるわけではなく、このような電子機器の使い勝手が十分ではなかった。

本発明の態様では、受信者に応じた画像を表示させることを目的とする。

本発明の第１態様によれば、合焦位置を奥行き方向に変更可能な画像データ中のオブジェクトに関するオブジェクト情報と画像データの受信者に関する受信者情報とを関連付ける関連付け部と、オブジェクト情報及び受信者情報に基づいて、受信者に応じた合焦位置の画像データを該受信者の表示部に表示させるためのデータを選択する制御部と、制御部により選択されたデータを受信者の端末に送信する送信部と、を備える情報処理装置が提供される。

本発明の第２態様によれば、合焦位置を奥行き方向に変更可能な画像データを受信する受信部と、画像データからオブジェクトに関するオブジェクト情報及び撮像装置から該オブジェクトまでの距離を検出する検出部と、検出部で検出されたオブジェクト及び距離に基づいて、受信者に応じた合焦位置の画像データを生成する画像生成部と、画像生成部で生成された画像データを表示部に表示する表示制御部と、を備える情報処理装置が提供される。

本発明の第３態様によれば、通信ネットワークを介してデータを送信する送信端末と、通信ネットワークを介してデータを受信する受信端末と、を備え、送信端末は、合焦位置を奥行き方向に変更可能な画像データ中のオブジェクトに関するオブジェクト情報と画像データの受信者に関する受信者情報とを関連付ける関連付け部と、オブジェクト情報及び受信者情報に基づいて、受信者に応じた合焦位置の画像データを該受信者の表示部に表示させるためのデータを選択する制御部と、制御部により選択されたデータを受信者の受信端末に送信する送信部と、を含み、受信端末は、送信端末から送信されるデータを受信する受信部と、受信部で受信されたデータに基づいて、画像データを表示部に表示する表示制御部と、を含むデータ配信システムが提供される。

本発明の態様によれば、受信者に応じた画像を表示させることができる。

第１実施形態のデータ配信システムの構成を示す図である。 図１に示す情報端末の構成を示すブロック図である。 撮像装置の一例であるライトフィールドカメラにおける光学系部分の概略構成を示す断面図である。 撮像素子の画素配列と入射領域とを説明する図である。 ライトフィールドカメラの構成を示すブロック図である。 画像の再構成を説明する図である。 図５に示す画像処理部が実行する画像処理を説明するためのフローチャートである。 ライトフィールドカメラと各被写体との距離関係を示す図である。 第１実施形態の演算処理部が実行するデータ配信処理を説明するためのフローチャートである。 グラフィカルユーザインタフェースの表示例を示す図である。 データベース内のデータ構造を示す図である。 各受信者の表示装置に表示される画像の表示例を示す図である。 第２実施形態の情報端末の構成をブロック図である。 第３実施形態のデータ配信システムの構成を示す図である。 図１４に示すサーバの構成を示すブロック図である。 第３実施形態の演算処理部が実行するデータ配信処理を説明するためのフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。

＜第１実施形態＞
図１は、第１実施形態のデータ配信システムＳＹＳ１の構成を示す図である。第１実施形態のデータ配信システムＳＹＳ１は、ある端末が一つ又は複数の端末に対してデータを配信するシステムである。図１に示す例では、データ配信システムＳＹＳ１は、データを送信（配信）する情報端末（情報処理装置、送信端末）１０１と、データを受信する３つの情報端末（情報処理装置、受信端末）１０２，１０３，１０４とで構成されている。ただし、データを受信する情報端末の数は一例であって、３つに限定されず、１つ、２つ、４つ以上であってもよい。

図１に示すように、情報端末１０１，１０２，１０３，１０４は、それぞれ、インターネットなどの通信ネットワーク１５０に接続されている。また、情報端末１０１，１０２，１０３，１０４は、それぞれ、例えばパーソナルコンピュータで実現される。なお、情報端末１０１，１０２，１０３，１０４は、通信機能を備えていればよく、スマートフォン、携帯電話、タブレット端末、デジタルフォトフレームなどで実現されてもよい。

情報端末１０１は、撮像装置の一例であるライトフィールドカメラ１と接続されている。このライトフィールドカメラ１は、被写体（オブジェクト）の撮影後に合焦位置や視点などを設定することが可能な撮像装置である。このライトフィールドカメラ１は、三次元空間の光線集合であるライトフィールド（光線空間）の情報を取得し、取得したライトフィールドの情報に基づいて画像を生成する。以下の説明では、ライトフィールドの情報を光線情報という。ライトフィールドカメラ１の代表的な機能としては、撮影後の後処理によって焦点距離を変更した画像を生成するリフォーカス機能がある。従って、ライトフィールドカメラ１はリフォーカスカメラとも呼ばれる。

図１に示す例では、情報端末１０１の使用者が、ライトフィールドカメラ１で取得された光線情報に基づいて生成される画像データを情報端末１０２，１０３，１０４の使用者に送信する。情報端末１０２，１０３，１０４の使用者は、情報端末１０１から送信された画像データを受け取り、受け取った画像データを表示装置に表示して画像を確認する。以下の説明において、情報端末１０１の使用者のことを送信者ともいう。また、情報端末１０２，１０３，１０４の使用者のことを受信者ともいう。

本実施形態においては、情報端末１０１は、受信者に関する受信者情報を予め保持している。受信者情報は、受信者のメールアドレスなどの送信先情報を含む（図１０及び図１１参照）。また、情報端末１０１は、ライトフィールドカメラ１によって画像データから抽出される被写体（オブジェクト）の画像データと、その被写体に関するオブジェクト情報とを取得する。オブジェクト情報は、被写体に付けられる名称、撮影時のライトフィールドカメラ１から被写体までの距離を示す距離データを含む（図８、図１０及び図１１参照）。情報端末１０１は、予め登録されている被写体の画像データの特徴点などと、画像データから抽出された被写体の画像データの特徴点などとを照合して、画像データから抽出された被写体と、その被写体に関連する人物とを関連付ける。また、情報端末１０１は、人物に関連付けられた被写体に関するオブジェクト情報と受信者情報との関連付けを行う。情報端末１０１は、受信者情報及びオブジェクト情報に基づいて、受信者に関連する被写体に合焦した画像データを受信者毎に選択する。そして、情報端末１０１は、選択した画像データを各受信者の情報端末１０２，１０３，１０４に送信する。

図２は、図１に示す情報端末１０１の構成を示すブロック図である。図２に示すように、情報端末１０１は、ライトフィールドカメラ１、表示装置（表示部）２、キーボード３、及びマウス４と接続されている。この情報端末１０１は、演算処理部１１０及び記憶部１２０を有している。演算処理部１１０は、オブジェクト情報と受信者情報との関連付けに関する制御や、受信者に応じた合焦位置の画像データの選択に関する制御を司る。記憶部１２０は、ライトフィールドカメラ１で撮影された画像データや、演算処理部１１０による制御に必要な各種情報（例えばオブジェクト情報や受信者情報）などを記憶する。

演算処理部１１０は、図２に示すように、表示制御部１１１、画像入力部１１２、操作制御部１１３、関連付け部１１４、制御部１１５、及び通信部（送信部）１１６を有している。表示制御部１１１は、例えば液晶表示ディスプレイのような表示装置２の表示画面５００に、使用者によって操作されるグラフィカルユーザインタフェース（以下、ＧＵＩという。）などの各種画像（図１０参照）を表示する制御を行う。

画像入力部１１２は、ライトフィールドカメラ１とＵＳＢなどで接続されることにより、このライトフィールドカメラ１に記憶されている画像データや、この画像データから抽出された各被写体の画像データ、各被写体に関するオブジェクト情報（各被写体の名称、各被写体の距離データ）を入力する。この画像入力部１１２は、ライトフィールドカメラ１から入力した画像データ、画像データから抽出された各被写体の画像データ、及び各被写体に関するオブジェクト情報を記憶部１２０に記憶する。なお、画像入力部１１２は、通信部１１６がインターネットなど通信ネットワーク１５０を通じて取得した画像データ、各被写体の画像データ、及び各被写体に関するオブジェクト情報を記憶部１２０に記憶することも可能である。

操作制御部１１３は、使用者が操作可能な操作部を構成するキーボード３及びマウス４と接続される。この操作制御部１１３は、使用者によるキーボード３やマウス４の操作に応じて情報を入力し、その情報を表示制御部１１１や関連付け部１１４に出力する。

関連付け部１１４は、ライトフィールドカメラ１によって画像データから抽出された各被写体の画像データ及び各被写体に関するオブジェクト情報を取得する。また、関連付け部１１４は、予め登録されている被写体の画像データの特徴点などと、画像データから抽出された被写体の画像データの特徴点などとを照合して、画像データから抽出された被写体と、その被写体に関連する人物とを関連付ける。また、関連付け部１１４は、人物に関連付けられた被写体に関するオブジェクト情報と受信者に関する受信者情報とを関連付けて記憶部１２０のデータベース１２０Ａに記憶する。

制御部１１５は、関連付け部１１４により関連付けられたオブジェクト情報及び受信者情報に基づいて、受信者に応じた合焦位置の画像データを選択する処理を行う。本実施形態では、制御部１１５は、受信者に応じた合焦位置の画像データとして、合焦位置が受信者に関連する被写体の位置にある画像データを選択する。

通信部１１６は、通信ネットワーク１５０を通じて他の情報端末（図１に示す例では情報端末１０２，１０３，１０４）とデータ通信を行う。本実施形態では、通信部１１６は、制御部１１５により選択された画像データを情報端末１０２，１０３，１０４に送信する制御を行う。

なお、演算処理部１１０における表示制御部１１１、画像入力部１１２、操作制御部１１３、関連付け部１１４、制御部１１５、及び通信部１１６それぞれの構成は、ＣＰＵ（Central Processing Unit）などの制御装置が記憶部１２０に記憶されている制御プログラムに従って実行する処理又は制御に相当する。

記憶部１２０は、データベース１２０Ａを有している。データベース１２０Ａには、上述したように、オブジェクト情報と受信者情報とが関連付けられて記憶される（図１１参照）。また、データベース１２０Ａには、受信者情報以外の受信者に関連する関連情報（例えば、受信者の同級生、家族、友人などの情報：図１０参照）も受信者情報に関連付けられて記憶される。また、データベース１２０Ａには、被写体の画像データの特徴点などの情報と人物とが関連付けられて記憶される。

また、記憶部１２０には画像データ記憶領域が設けられ、この画像データ記憶領域に画像データ及びこの画像データ中の被写体の画像データが記憶される。また、記憶部１２０には、表示制御部１１１によるＧＵＩなどの表示に必要な各種情報も記憶されている。また、記憶部１２０には、上述したように、演算処理部１１０における表示制御部１１１、画像入力部１１２、操作制御部１１３、関連付け部１１４、制御部１１５、及び通信部１１６の処理を実行させるための制御プログラムなども記憶されている。

次に、図１及び図２に示したライトフィールドカメラ１の構成について説明する。図３は、撮像装置の一例であるライトフィールドカメラ１における光学系部分の概略構成を示す断面図である。なお、図３において、紙面の右方向（光軸方向）をＸ軸とし、Ｘ軸と直交する紙面の上方向をＺ軸とし、Ｘ軸及びＺ軸と直交する紙面の裏から表に向かう方向をＹ軸としている。また、図３は、ライトフィールドカメラ１における光学系部分を光軸を含む面で切断したときの断面図である。

本実施形態のライトフィールドカメラ１は、その光学系部分として、撮影光学系（結像光学系）１１及びマイクロレンズアレイ１２を備えている。なお、図３には、ライトフィールドカメラ１における光学系部分以外の構成である撮像素子２０についても示している。

撮影光学系１１は、複数のレンズ群で構成される単焦点レンズである。撮影光学系１１は、被写体からの光束をその焦点面（結像面）近傍に結像する。また、撮影光学系１１は、撮影時に絞り値（Ｆ値）を制御する開口絞り（不図示）を備えている。なお、絞り値は撮影後の画像の再構成によって変更することができるため、開口絞りの開口径は固定でもよい。図３に示すように、撮影光学系１１の焦点面近傍にマイクロレンズアレイ１２と撮像素子２０とが順に配置されている。

マイクロレンズアレイ１２は、正のパワーを有した複数のマイクロレンズ（正レンズ）が二次元状に配置された構成となっている。なお、図３に示すマイクロレンズアレイ１２においては、３つのマイクロレンズだけがＺ軸方向に配されているが、実際はＺ軸方向及びＹ軸方向に多数のマイクロレンズが配されている。

撮像素子２０は、マイクロレンズアレイ１２の後側（撮影光学系１１の反対側）に若干の間隔をおいて配置されている。この撮像素子２０は、マイクロレンズアレイ１２の各マイクロレンズを通過した光束を複数の光電変換素子で受光し、各々の光電変換素子が受光した光束を光電変換して複数の画素信号を生成する。複数の光電変換素子はマトリックス状に配列され、各々の光電変換素子が画素を形成する。本実施形態では、撮像素子２０は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary
Metal-Oxide Semiconductor)などの二次元固体撮像素子で構成されている。

図３の部分拡大図に示す例では、複数のマイクロレンズ１２ａ，１２ｂ，１２ｃの各々の後側に複数個ずつ画素が配列されている。具体的には、マイクロレンズ１２ａの後側に３つの画素２１ａ，２１ｂ，２１ｃが配列され、マイクロレンズ１２ｂの後側に３つの画素２２ａ，２２ｂ，２２ｃが配列され、マイクロレンズ１２ｃの後側に３つの画素２３ａ，２３ｂ，２３ｃが配列されている。

３つの画素２１ａ，２１ｂ，２１ｃがマイクロレンズ１２ａに対応する画素２１であり、３つの画素２２ａ，２２ｂ，２２ｃがマイクロレンズ１２ｂに対応する画素２２であり、３つの画素２３ａ，２３ｂ，２３ｃがマイクロレンズ１２ｃに対応する画素２３である。なお、図３の部分拡大図では、各マイクロレンズ１２ａ，１２ｂ，１２ｃに対応する画素として３つの画素を示しているが、実際はＺ軸方向及びＹ軸方向に多数の画素が配列されている（後述する図４参照）。

次に、図３を参照してライトフィールドカメラ１によるライトフィールドの取得について簡単に説明する。図３において、Ａの位置にある被写体が撮影光学系１１によってマイクロレンズアレイ１２の位置に焦点を結ぶものとする。被写体上の点Ａ１からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｃで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｂで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ａで受光される。

同様に、被写体上の点Ａ２からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｃで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｂで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ａで受光される。

さらに、被写体上の点Ａ３からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｃで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｂで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ａで受光される。このように、Ａの位置にある被写体からの光線は、マイクロレンズ１２ａ，１２ｂ，１２ｃの後側に位置する撮像素子２０の画素で受光されることによって明るさと進行方向とが光線情報として取得される。

マイクロレンズ１２ａ，１２ｂ，１２ｃそれぞれに対応する３つの画素のうち、下側の画素２１ｃ，２２ｃ，２３ｃの画素信号で生成される画像は、部分領域１１ａを通過した光線による像である。また、真中の画素２１ｂ，２２ｂ，２３ｂの画素信号で生成される画像は、部分領域１１ｂを通過した光線による像である。また、上側の画素２１ａ，２２ａ，２３ａの画素信号で生成される画像は、部分領域１１ｃを通過した光線による像である。例えば各マイクロレンズに対応する画素数がＮ個である場合、マイクロレンズに対して同じ位置にある画素の画素値を配列して構成されるＮ個の再構成画像は、撮影光学系１１をＮ個の部分領域に分割して取得されるＮ個のステレオ画像群を形成する。

図４は、撮像素子２０の画素配列と入射領域とを説明する図である。なお、図４では図３のＸ軸方向から撮像素子２０を観察した様子を示す。図４に示す撮像素子２０において、画素が配列された領域を画素領域２００という。画素領域２００には例えば１０００万個以上もの画素がマトリックス状に配列されている。画素領域２００における円形の領域は、１つのマイクロレンズを通過した光線が入射する領域である。従って、円形の領域は、複数のマイクロレンズごとに複数形成される。これらの領域を入射領域２０１，２０２・・・という。なお、マイクロレンズは例えば５８６×４４０個配置される。ただし、このような配置数は一例であって、これよりも多い数でも少ない数でもよい。図４に示す例では、１つのマイクロレンズの直径は１３画素分となっている。ただし、このような画素数分に限定されるわけではない。

上述したように、ライトフィールドカメラ１は、すべてのマイクロレンズから入射領域における同じ位置（入射領域内におけるＹ軸方向及びＺ軸方向の同じ位置）にある画素の画素値を抽出して再構成する。このようにして得られた再構成画像群は、撮影光学系１１の異なる部分領域から被写体を観察した画像群に相当する。従って、これらの再構成画像群においては、部分領域の位置と被写体までの距離に応じた視差を有する。例えば、図４に示すように、入射領域２０１における画素２０１ａと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像と、入射領域２０１における画素２０１ｂと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像とで視差を有する。

図５は、ライトフィールドカメラ１の構成を示すブロック図である。図５に示すライトフィールドカメラ１は、撮像部１０、画像処理部３０、ワークメモリ４０、表示部５０、操作部５５、記録部６０、及びシステム制御部７０を備える。撮像部１０は、撮影光学系１１、マイクロレンズアレイ１２、駆動制御部１３、撮像素子２０、及び駆動部２１を有している。撮影光学系１１及びマイクロレンズアレイ１２は、図３において説明したため、図５においては説明を省略する。

撮像素子２０の撮像面には、例えばベイヤー配列のカラーフィルタアレイが配置されている。撮像素子２０は、撮影光学系１１及びマイクロレンズアレイ１２を通過した光束を入射する。撮像素子２０は、入射した光束を光電変換してアナログ信号の各画素の画素信号を生成する。撮像部１０において、不図示のアンプがアナログ信号の各画素の画素信号を所定の利得率（増幅率）で増幅する。また、不図示のＡ／Ｄ変換部がアンプにより増幅されたアナログ信号の各画素の画素信号をデジタル信号の各画素の画素信号に変換する。そして、撮像部１０は、デジタル信号の各画素の画素信号からなるＲＡＷデータ（このＲＡＷデータは画像データに含まれる）を画像処理部３０に出力する。上記したライトフィールドカメラ１が取得する光線情報は、撮像部１０から出力されるＲＡＷデータで特定される。

駆動制御部１３は、撮影光学系１１が備える開口絞りの開口径調節を行うために、システム制御部７０から送信される制御情報に基づいて開口絞りの駆動制御を実行する。駆動部２１は、システム制御部７０からの指示信号に基づいて設定される撮像条件で撮像素子２０の駆動を制御する制御回路である。撮像条件としては、例えば、露光時間（シャッター速度）、フレームレート、ゲインなどがあげられる。

ここで、露光時間とは、撮像素子２０の光電変換素子が入射光に応じた電荷の蓄積を開始してから終了するまでの時間のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。また、ゲインとは、画素信号を増幅するアンプの利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子２０の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子２０が光をとらえる能力を表す値となる。

画像処理部３０は、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、所定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。画像処理部３０が生成する画像データには、静止画、動画、ライブビュー画像の画像データが含まれる。ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部１０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。画像処理部３０は、図５に示すように、画像生成部３１及び検出部３２を備えている。

画像生成部３１は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して所定の画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。具体的には、画像生成部３１は、次に示す画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。

図６は、画像の再構成を説明する図である。図６に示すように、画像生成部３１は、画素領域２００における各入射領域２０１，２０２・・・に対して同じ位置にある画素２０１ａ，２０２ａ・・・の画素値（画素信号が示す値）を抽出する。画像生成部３１は、抽出した画素値を並べ直して再構成画像データ４００ａを生成する。各入射領域２０１，２０２・・・に対応する画素数がＮ個である場合、Ｎ個の再構成画像データが生成される。

画像生成部３１は、Ｎ個の再構成画像データ群を所定の焦点距離に合わせて所定量だけ平行移動させる。そして、画像生成部３１は、平行移動後のＮ個の再構成画像データ群を加算平均する。これにより、所定の焦点距離に設定された画像データが生成される。移動量に応じた奥行きに存在する被写体は像の位置が合うのでシャープな輪郭の像が形成される。移動量に応じた奥行きに存在しない被写体の像はぼける。なお、上記した画像処理は一例であって、画像生成部３１は上記した画像処理とは異なる画像処理を実行することにより、任意の焦点距離に設定された画像データを生成してもよい。例えば、画像生成部３１は、撮像素子２０の各画素が取得する光線を所定の演算を行うことによって算出する。そして、画像生成部３１は、算出した光線を所定の焦点距離に設定した仮想的な画像面に投影することにより、所定の焦点距離に設定された画像データを生成する。

本実施形態においては、画像生成部３１は、最も手前の被写体に合焦した画像データ、最も奥の被写体に合焦した画像データ、中間位置の被写体に合焦した画像データなど、焦点位置（焦点距離）が異なる複数の画像データを生成する。

画像生成部３１は、ワークメモリ４０をワークスペースとして、任意の焦点に設定された画像データに対して種々の画像処理を施す。例えば、画像生成部３１は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像データを生成する。また、画像生成部３１は、ＲＧＢ画像データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像生成部３１は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。

検出部３２は、画像データから一又は複数の被写体を検出する。本実施形態では、検出部３２は、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の領域の境界を特定して被写体を検出する。なお、検出部３２は、人物の被写体に対しては、公知の顔検出機能を用いて被写体の検出を行ってもよい。また、検出部３２は、移動する被写体（移動被写体）に対しては、時系列的に得られる複数の画像データを比較して移動被写体を検出してもよい。また、検出部３２は、顔検出に加えて、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を被写体として検出してもよい。

また、検出部３２は、検出した一又は複数の被写体の画像データを抽出する。また、検出部３２は、検出した一又は複数の被写体に対して、各被写体を識別するための名称を付加する。また、検出部３２は、検出した一又は複数の被写体までの距離（焦点距離）を検出（算出）する。例えば、検出部３２は、複数の再構成画像データ（例えば入射領域における２つの特定位置の画素の画素値から構成される再構成画像データ）における各被写体の視差を検出し、検出した視差に基づいて各被写体までの距離を算出する。

画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。また、画像処理部３０は、検出した各被写体の画像データ、各被写体の名称、各被写体までの距離を示す距離データを記録部６０に出力する。

ワークメモリ４０は、画像処理部３０による画像処理が行われる際にＲＡＷデータや画像データなどを一時的に記憶する。表示部５０は、撮像部１０で撮像された画像や各種情報を表示する。この表示部５０は、例えば液晶表示パネルなどで構成された表示画面５１を有している。なお、表示部５０に表示される画像には、静止画、動画、ライブビュー画像が含まれる。

操作部５５は、使用者によって操作されるレリーズスイッチ（静止画の撮影時に押されるスイッチ）、動画スイッチ（動画の撮影時に押されるスイッチ）、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。記録部６０は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体に画像処理部３０において生成された画像データや各種データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。

システム制御部７０は、ライトフィールドカメラ１の全体の処理及び動作を制御する。このシステム制御部７０はＣＰＵ（Central Processing Unit）を有する。システム制御部７０は、画像処理部３０で生成された画像データを表示部５０に出力させて、表示部５０の表示画面５１に画像（ライブビュー画像、静止画、動画）を表示させる制御を行う。また、システム制御部７０は、記録部６０に記録されている画像データを読み出して表示部５０に出力させ、表示部５０の表示画面５１に画像を表示させる制御を行う。

また、システム制御部７０は、撮像素子２０の撮像面（画素領域２００）において所定の撮像条件（露光時間、フレームレート、ゲインなど）で撮像を行わせるために、所定の撮像条件を指示する指示信号を駆動部２１に対して出力する。また、システム制御部７０は、画像処理部３０に所定の制御パラメータ（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行させるために、制御パラメータを指示する指示信号を画像処理部３０に出力する。また、システム制御部７０は、画像処理部３０で生成された画像データを記録部６０に出力させて、記録部６０に画像データを記録させる制御を行う。また、システム制御部７０は、画像処理部３０で検出された各被写体の画像データ、各被写体の名称、各被写体の距離データを記録部６０に出力させて、画像データ毎に各被写体の画像データと各被写体の名称と各被写体の距離データとを対応付けて記録部６０に記録させる制御を行う。なお、システム制御部７０は、上記の制御の他に、撮影光学系１１に備えられた開口絞りの開口径調節などの制御も行う。

次に、ライトフィールドカメラ１の画像処理部３０が実行する画像処理について説明する。図７は、図５に示す画像処理部３０が実行する画像処理を説明するためのフローチャートである。図７に示す処理において、画像生成部３１は、撮像部１０から出力されるＲＡＷデータを取得する（ステップＳ１）。そして、画像生成部３１は、取得したＲＡＷデータに基づいて所定の合焦位置（焦点距離、焦点位置）の画像データを生成する（ステップＳ２）。

具体的には、上述したように、画像生成部３１は、画素領域２００における各入射領域に対して同じ位置にある画素の画素値を抽出し、抽出した画素値を再構成して複数個の再構成画像データ群を生成する。そして、画像生成部３１は、複数個の再構成画像データ群を所定の合焦位置に合わせて平行移動させ、平行移動後の複数個の再構成画像データ群を加算平均する。これにより、所定の合焦位置に設定された画像データが生成される。ステップＳ２において、画像生成部３１は、合焦位置が異なる複数の画像データを生成する。また、ステップＳ２で生成される画像データは、静止画、動画、ライブビュー画像の画像データが含まれる。

図８は、ライトフィールドカメラ１と各被写体Ｏ１〜Ｏ５との距離関係を示す図である。図８に示す例では、ライトフィールドカメラ１はカメラ位置ｄ０に位置している。また、被写体である人物Ｏ１は合焦位置ｄ１に位置している。また、被写体である人物Ｏ２は合焦位置ｄ２に位置している。また、被写体である人物Ｏ３は合焦位置ｄ３に位置している。また、被写体である家Ｏ４は合焦位置ｄ４に位置し、被写体である木Ｏ５は合焦位置ｄ５に位置している。なお、図８において、ライトフィールドカメラ１から被写体Ｏ１〜Ｏ５に向かう方向（矢印の方向）を奥側の方向といい、その反対側の方向を手前側の方向をいう。また、奥側の方向及び手前側の方向を奥行き方向という。画像生成部３１は、ステップＳ２において、例えば各合焦位置ｄ１，ｄ２，ｄ３，ｄ４，ｄ５における５つの画像データを生成する。

図７の説明に戻り、画像生成部３１は、ステップＳ２で生成した合焦位置が異なる複数の画像データに対して、色信号処理（色調補正）、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を実行する（ステップＳ３）。

次に、検出部３２は、生成した画像データから一又は複数の被写体を検出する（ステップＳ４）。検出部３２は、検出した一又は複数の被写体の画像データを抽出する。また、検出部３２は、検出した一又は複数の被写体に対して、各被写体を識別するための名称を付加する。図８に示す例では、検出部３２は、人物Ｏ１に対して名称「ａａ１」を付加し、人物Ｏ２に対して名称「ｂｂ１」を付加し、人物Ｏ３に対して名称「ｃｃ１」を付加し、家Ｏ４に対して名称「ｈ１」を付加し、木Ｏ５に対して名称「ｋ１」を付加する。

また、検出部３２は、ステップＳ４で検出した一又は複数の被写体までの距離（焦点距離）を検出する（ステップＳ５）。図８に示す例では、検出部３２は、人物Ｏ１までの距離をｄ１、人物Ｏ２までの距離をｄ２、人物Ｏ３までの距離をｄ３、家Ｏ４までの距離をｄ４、木Ｏ５までの距離をｄ５と算出する。

次に、画像処理部３０は、合焦位置が異なる複数の画像データを記録部６０に出力して、複数の画像データを記録部６０に記録する（ステップＳ６）。このとき、画像処理部３０は、合焦位置が異なる複数の画像データとともに、それらの画像データに含まれる各被写体の画像データ、各被写体の名称、及び各被写体の距離データを記録部６０に出力する。これにより、各被写体の画像データ、各被写体の名称、及び各被写体の距離データは、複数の画像データとともに、被写体毎に対応付けられて記録部６０に記録される。

その後、画像処理部３０は、ワークメモリ４０に記憶されたＲＡＷデータを削除する（ステップＳ７）。本実施形態では、画像処理部３０は、大容量のデータであるＲＡＷデータを記録部６０に記録しない。このため、記録部６０において、画像生成部３１で生成される多数の画像データを記録するための記録容量が確保される。ただし、画像処理部３０は、ＲＡＷデータも画像データ等と対応付けて記録部６０に記録してもよい。

なお、記録部６０に記録された合焦位置の異なる複数の画像データ、各被写体の画像データ、各被写体の名称、及び各被写体までの距離データは、ライトフィールドカメラ１が情報端末１０１に接続されることにより、ライトフィールドカメラ１から情報端末１０１に転送され、画像入力部１１２によって記憶部１２０に記憶される。

次に、第１実施形態の演算処理部１１０が実行するデータ配信処理について説明する。図９は、第１実施形態の演算処理部１１０が実行するデータ配信処理を説明するためのフローチャートである。図９に示す処理において、使用者によるキーボード３やマウス４の操作に応じて、制御プログラム（例えばデータ配信処理を行うためのアプリケーションソフトウェアなどのプログラム）が起動されると、表示制御部１１１は、ＧＵＩの画像を記憶部１２０から読み出して表示装置２の表示画面５００に表示させる（ステップＳ１１）。

図１０は、グラフィカルユーザインタフェース（ＧＵＩ）の表示例を示す図である。図１０に示すように、ＧＵＩによって各種情報が表示される表示領域として、第１表示領域５０１、第２表示領域５０２、第３表示領域５０３、第４表示領域５０４、第５表示領域５０５、及び第５表示領域５０５が設けられている。

第１表示領域５０１は、表示装置２の表示画面５００における左側最上の表示領域であって、記憶部１２０に記憶されている画像の一覧を表示するための表示領域である。また、第２表示領域５０２は、表示装置２の表示画面５００における左側の上から２番目の表示領域であって、オブジェクト情報を表示するための表示領域である。また、第３表示領域５０３は、表示装置２の表示画面５００における左側の上から３番目の表示領域であって、画像データの送信先情報（受信者のメールアドレス）を表示するための表示領域である。また、第４表示領域５０４は、表示装置２の表示画面５００における左側最下の表示領域であって、電子メールの本文を表示するための表示領域である。また、第５表示領域５０５は、表示装置２の表示画面５００における右側の上の表示領域であって、受信者の表示装置に表示される画像（情報端末１０１が送信する画像）を表示するための表示領域である。また、第６表示領域５０６は、表示装置２の表示画面５００における右側の下の表示領域であって、受信者に関連する関連情報を表示するための表示領域である。

次に、関連付け部１１４は、記憶部１２０に記憶されている画像データを読み出す（ステップＳ１２）。このとき、表示制御部１１１は、関連付け部１１４が読み出した画像データを第１表示領域５０１に一覧表示する。図１０に示す例では、第１表示領域５０１には画像６００及び画像６１０が表示されている。なお、画像６００は、図８に示すライトフィールドカメラ１と各被写体Ｏ１〜Ｏ５との位置関係において、ライトフィールドカメラ１により撮像された画像（つまり、画像生成部３１によりＲＡＷデータ（光線情報）に基づいて生成された画像データに基づく画像）である。

情報端末１０１の使用者（送信者）は、キーボード３又はマウス４を操作して、第１表示領域５０１に一覧表示されている複数の画像の中から所定の画像を選択する。関連付け部１１４は、使用者によって選択された画像に含まれる各被写体の画像データ及び各被写体に関するオブジェクト情報（被写体の名称、被写体の距離データ）を記憶部１２０から読み出して取得する（ステップＳ１３）。図１０に示す例では、関連付け部１１４は、画像６００に含まれる各被写体Ｏ１〜Ｏ５を記憶部１２０から読み出し、各被写体Ｏ１〜Ｏ５に対応するオブジェクト情報を記憶部１２０から読み出す。そして、表示制御部１１１は、関連付け部１１４が読み出した各被写体Ｏ１〜Ｏ５の画像データを第２表示領域５０２に表示する。また、表示制御部１１１は、関連付け部１１４が読み出した各被写体Ｏ１〜Ｏ５に対応するオブジェクト情報（図１０に示す例では各被写体Ｏ１〜Ｏ５の名称）を各被写体Ｏ１〜Ｏ５に対応付けて第２表示領域５０２に表示する。

次に、関連付け部１１４は、ステップＳ１３で取得した各被写体の画像データから特徴点などを抽出する。そして、関連付け部１１４は、予めデータベース１２０Ａに登録されている被写体の画像データの特徴点などと、ステップＳ１３で取得した被写体の画像データから抽出された特徴点などとを照合して、ステップＳ１３で取得した被写体の画像データと人物とを関連付ける（ステップＳ１４）。具体的には、関連付け部１１４は、人物の被写体の画像データにおける特徴点（例えば人物の目）などに基づいて、ステップＳ１３で取得した被写体Ｏ１〜Ｏ３の画像データに対応する人物を特定する。また、関連付け部１１４は、人物以外の被写体の画像データにおける特徴点（例えば家の窓）などに基づいて、ステップＳ１３で取得した被写体Ｏ４の画像データに対応する人物を特定する。

図１０に示す例では、関連付け部１１４は、人物Ｏ１（名称「ａａ１」）は人物ＡＡであると特定する。また、関連付け部１１４は、人物Ｏ２（名称「ｂｂ１」）は人物ＢＢであると特定する。また、関連付け部１１４は、人物Ｏ３（名称「ｃｃ１」）は人物ＣＣであると特定する。また、関連付け部１１４は、家Ｏ４（名称「ｈ１」）は人物ＡＡの家であると特定する。なお、関連付け部１１４が木Ｏ５の画像データから特徴点などを抽出できなかったため、又は、木Ｏ５の画像データの特徴点などがデータベース１２０Ａに登録されていなかったため、木Ｏ５については人物と対応付けられていない。表示制御部１１１は、各被写体Ｏ１〜Ｏ４に対応する人物（ＡＡ、ＢＢ、ＣＣ）を、各被写体Ｏ１〜Ｏ４の画像データ（名称「ａａ１」「ｂｂ１」「ｃｃ１」「ｈ１」）それぞれに対応付けて第２表示領域５０２に表示する。

なお、関連付け部１１４は、データベース１２０Ａに未だ登録されていない被写体の画像データの特徴点などについては、使用者によるキーボード３又はマウス４の操作に応じて、被写体の画像データの特徴点などの情報と人物とを関連付けてデータベース１２０Ａに登録（記憶）する。例えば、使用者は、第２表示領域５０２内に表示されている被写体の画像データのうち、人物と関連付けられていない被写体の画像データに対して、キーボード３やマウス４を操作して人物の名前を入力する。このような操作に応じて、関連付け部１１４は、被写体の画像データから抽出した特徴点などの情報と人物とを関連付けてデータベース１２０Ａに登録する。

また、関連付け部１１４は、被写体の画像データと人物とを誤って関連付けてしまうこともある。この場合、使用者は、誤った人物と関連付けられている被写体の画像データに対して、キーボード３やマウス４を操作して人物の正しい名前を入力する。このような操作に応じて、関連付け部１１４は、被写体の画像データと人物との対応関係を正しい対応関係に訂正する。

次に、関連付け部１１４は、使用者によりキーボード３やマウス４の操作に応じて、受信者に関する受信者情報を取得する（ステップＳ１５）。例えば、使用者は、キーボード３やマウス４を操作して、第３表示領域５０３において受信者のメールアドレス（送信先情報）を選択する。関連付け部１１４は、使用者により選択されたメールアドレスを受信者情報として取得する。図１０に示す例では、使用者は、受信者のメールアドレスとして、人物ＡＡのメールアドレス（ＡＡ＠ｍａｉｌ．ｃｏｍ）と、人物ＢＢのメールアドレス（ＢＢ＠ｍａｉｌ．ｃｏｍ）と、人物ＣＣのメールアドレス（ＣＣ＠ｍａｉｌ．ｃｏｍ）とを選択している。表示制御部１１１は、使用者により選択された人物ＡＡ，ＢＢ，ＣＣのメールアドレスを第３表示領域５０３に表示する。なお、特定の受信者のメールアドレスがメンバー情報としてグループ化されている場合には、使用者はメンバー情報を指定することにより、受信者のメールアドレスを選択することも可能である。

その後、関連付け部１１４は、ステップＳ１３で取得したオブジェクト情報とステップＳ１５で取得した受信者情報とを関連付けてデータベース１２０Ａに記憶する（ステップＳ１６）。

図１１は、データベース１２０Ａ内のデータ構造を示す図である。図１１に示すように、データベース１２０Ａにおいて、画像データを識別するための画像番号（「１０００１」「１０００２」）が関連付け部１１４によって画像データに付加されて記憶される。また、データベース１２０Ａにおいて、画像データの撮像日時（「２０１３／０４／０１」「２０１３／０４／１５」）が関連付け部１１４によって画像番号に対応付けて記憶される。また、データベース１２０Ａにおいて、オブジェクト情報（ここでは被写体の名称と被写体の距離データとの対の情報：「ａａ１，ｄ１」「ｂｂ１，ｄ２」「ｃｃ１，ｄ３」「ｈ１，ｄ４」「ｋ１，ｄ５」「ｃｃ２，ｄ１１」「ａａ２，ｄ１２」「ｋ２，ｄ１３」「ｈ２，ｄ１４」）が画像データ中の被写体毎に対応付けて記憶される。また、データベース１２０Ａにおいて、被写体に対応する人物を識別するための人物識別データ（「ＡＡ」「ＢＢ」「ＣＣ」）が画像データ中の被写体毎に対応付けて記憶される。また、データベース１２０Ａにおいて、送信先情報としての受信者のメールアドレス（「ＡＡ＠ｍａｉｌ．ｃｏｍ」「ＢＢ＠ｍａｉｌ．ｃｏｍ」「ＣＣ＠ｍａｉｌ．ｃｏｍ」）が人物識別データに対応付けて記憶される。

なお、図１１には示していないが、データベース１２０Ａにおいては、人物に関連する関連情報（例えば、人物の同級生、家族、友人、会社同僚など）も人物毎に記憶している。

使用者は、必要に応じて、キーボード３などを操作して、第４表示領域５０４において電子メールの本文を入力する。図１０に示す例では、電子メールの本文として、「みなさん、こんちには。先日の△△会の写真を送付します。」という文が入力されている。

制御部１１５は、ステップＳ１６で関連付けたオブジェクト情報と受信者情報とに基づいて、受信者に関連する被写体に合焦した画像データを受信者毎に選択する（ステップＳ１７）。具体的には、制御部１１５は、受信者ＡＡに関連する被写体（人物Ｏ１）に合焦した画像データを選択する。また、制御部１１５は、受信者ＢＢに関連する被写体（人物Ｏ２）に合焦した画像データを選択する。また、制御部１１５は、受信者ＣＣに関連する被写体（人物Ｏ３）に合焦した画像データを選択する。なお、制御部１１５は、受信者に関連する被写体が存在しない場合には、例えば標準の合焦位置（例えば、人物Ｏ３に合焦した位置）の画像データを選択する。

図１０に示すように、使用者が第２表示領域５０２又は第３表示領域５０３において受信者（人物）ＣＣを選択した場合は、表示制御部１１１は、使用者により選択された受信者ＣＣに関連する被写体（人物Ｏ３、つまり受信者ＣＣ）に合焦した画像データを第５表示領域５０５に表示する。このような表示により、使用者は、画像データの送信前において受信者に送信される画像を確認することができる。また、図１０に示すように、使用者が第２表示領域５０２又は第３表示領域５０３において受信者（人物）ＣＣを選択した場合は、表示制御部１１１は、データベース１２０Ａに記憶されている受信者ＣＣに関連する関連情報を読み出し、読み出した関連情報を第６表示領域５０６に表示する。図１０に示す例では、受信者ＣＣの関連情報として、受信者ＣＣの同級生、家族、友人、会社同僚、ペット、宝物、自宅、記念品などの情報が表示されている。

通信部１１６は、制御部１１５がステップＳ１７で選択した画像データを受信者の情報端末１０２，１０３，１０４に送信する（ステップＳ１８）。具体的には、通信部１１６は、制御部１１５がステップＳ１７で選択した受信者毎の画像データを電子メールに添付ファイルとして添付して各受信者の情報端末１０２，１０３，１０４に送信する。例えば、情報端末１０２は受信者ＡＡの情報端末であり、情報端末１０３は受信者ＢＢの情報端末であり、情報端末１０４は受信者ＣＣの情報端末であるものとする。

図１２は、各受信者の表示装置に表示される画像の表示例を示す図である。受信者ＡＡが情報端末１０１の使用者（送信者）から送信された画像データのファイルを開くと、図１２（１）に示すような受信者ＡＡに合焦した画像６０１が受信者ＡＡの表示装置に表示される。また、受信者ＢＢが情報端末１０１の使用者（送信者）から送信された画像データのファイルを開くと、図１２（２）に示すような受信者ＢＢに合焦した画像６０２が受信者ＢＢの表示装置に表示される。また、受信者ＣＣが情報端末１０１の使用者（送信者）から送信された画像データのファイルを開くと、図１２（３）に示すような受信者ＣＣに合焦した画像６０３が受信者ＣＣの表示装置に表示される。

上記した第１実施形態では、ライトフィールドカメラ１の画像処理部３０（画像生成部３１）がＲＡＷデータに基づいて合焦位置の異なる複数の画像データを生成し（ステップＳ２参照）、画像処理部３０（検出部３２）が画像データ中の被写体を検出し（ステップＳ４参照）、画像処理部３０（検出部３２）が被写体までの距離データを検出していた（ステップＳ５参照）。しかし、演算処理部１１０がＲＡＷデータに基づいて合焦位置の異なる複数の画像データを生成し、画像データ中の被写体を検出し、被写体までの距離データを検出してもよい。すなわち、演算処理部１１０が画像処理部３０における画像生成部３１及び検出部３２に相当する処理部を備えていてもよい。

この場合、画像入力部１１２は、ライトフィールドカメラ１からＲＡＷデータを入力し、入力したＲＡＷデータを記憶部１２０に記憶する。演算処理部１１０（画像生成部に相当する処理部）は、ＲＡＷデータに基づいて合焦位置の異なる複数の画像データを生成する。また、演算処理部１１０（検出部に相当する処理部）は、生成した画像データから一又は複数の被写体を検出する。また、演算処理部１１０は、検出した一又は複数の被写体の画像データを抽出する。また、演算処理部１１０は、一又は複数の被写体に名称を付加し、一又は複数の被写体の距離データを検出する。そして、演算処理部１１０は、記憶部１２０のデータベース１２０Ａに画像データ、被写体の画像データ、被写体の名称、被写体の距離データを対応付けて記憶する。制御部１１５は、ステップＳ１７において、複数の画像データの中から、受信者に関連する被写体に合焦した画像データを選択する。また、制御部１１５は、ステップＳ１７において、ＲＡＷデータに基づいて受信者に関連する被写体に合焦した画像データを生成することも可能となる。

また、上記した第１実施形態では、制御部１１５は、ステップＳ１７において、各被写体に合焦した複数の画像データの中から、受信者に関連する被写体に合焦した画像データを選択していた。しかし、制御部１１５は、ステップＳ１７において、被写体に合焦していない複数の画像データに基づいて、被写体に合焦した画像データを生成してもよい。例えば、制御部１１５は、被写体に合焦していない複数の画像データに対して距離に応じた重みを加えてから平均する加重平均処理を行うことで、受信者に関連する被写体に合焦した画像データを生成する。このような処理によれば、画像生成部３１は被写体毎に合焦した画像データを生成する必要がなくなる。

また、上記した第１実施形態では、通信部１１６は、制御部１１５で選択された画像データ（例えばＪＰＥＧ形式の画像データ）を受信者の情報端末１０２，１０３，１０４に送信していた（ステップＳ１８参照）。このような構成の場合、ライトフィールドカメラ１が撮影後に合焦位置を奥行き方向に変更可能な画像データを取得したにもかかわらず、受信者の情報端末１０２，１０３，１０４は画像データの合焦位置を変更することができないことになる。そこで、通信部１１６は、合焦位置を奥行き方向に変更可能な画像データを受信者の情報端末１０２，１０３，１０４に送信してもよい。

この場合、情報端末１０２，１０３，１０４がＲＡＷデータに基づいて奥行き方向における任意の合焦位置の画像データを生成するための制御プログラム（アプリケーションソフトウェア）を備えている場合は、通信部１１６は、ＲＡＷデータと、奥行き方向の合焦位置（受信者に応じた合焦位置）を指定する指定情報とを情報端末１０２，１０３，１０４に送信する。情報端末１０２，１０３，１０４は、情報端末１０１から送信されたＲＡＷデータに基づいて、指定情報で指定された合焦位置の画像データを生成し、生成した画像データを表示装置に表示する。また、情報端末１０２，１０３，１０４は、受信者の操作に応じて合焦位置が変更されたときは、変更された合焦位置の画像データを生成し、生成した画像データを表示装置に表示する。

また、情報端末１０２，１０３，１０４が合焦位置の異なる複数の画像データに基づいて奥行き方向における任意の合焦位置の画像データを生成するための制御プログラム（アプリケーションソフトウェア）を備えている場合は、通信部１１６は、合焦位置の異なる複数の画像データと、奥行き方向の合焦位置（受信者に応じた合焦位置）を指定する指定情報とを情報端末１０２，１０３，１０４に送信する。情報端末１０２，１０３，１０４は、受信者に関連する被写体に合焦していない複数の画像データに対して、距離に応じた重みを加えてから平均する加重平均処理を行うことで、受信者に関連する被写体に合焦した画像データを生成する。そして、情報端末１０２，１０３，１０４は、生成した画像データを表示装置に表示する。また、情報端末１０２，１０３，１０４は、受信者の操作に応じて合焦位置が変更されたときは、変更された合焦位置の画像データを生成し、生成した画像データを表示装置に表示する。

また、情報端末１０２，１０３，１０４が任意の合焦位置の画像データを生成するための制御プログラム（アプリケーションソフトウェア）を備えていない場合もあり得る。この場合は、通信部１１６は、受信者の情報端末１０２，１０３，１０４の環境（情報端末にインストールされている制御プログラム）に依存せずに、指定された合焦位置の画像データを表示装置に表示させる実行ファイル（画像閲覧用のビューアー）を、ＲＡＷデータ又は画像データ、及び奥行き方向の合焦位置（受信者に応じた合焦位置）を指定する指定情報とともに情報端末１０２，１０３，１０４に送信する。ここで、実行ファイルは、情報端末１０２，１０３，１０４のオペレーティングシステムローダーによってメモリに読み込まれて実行される移植可能な実行可能形式のファイルである。情報端末１０２，１０３，１０４は、実行ファイルの制御に従って、情報端末１０１から送信されたＲＡＷデータ又は画像データに基づいて、指定情報で指定された合焦位置の画像データを生成する。そして、情報端末１０２，１０３，１０４は、生成した画像データを表示装置に表示する。また、情報端末１０２，１０３，１０４は、受信者の操作に応じて合焦位置が変更されたときは、変更された合焦位置の画像データを生成し、生成した画像データを表示装置に表示する。

また、上記した第１実施形態では、制御部１１５は、受信者に関連する被写体に合焦した画像データを選択していた。しかし、制御部１１５は、合焦位置が受信者に関連しない被写体の位置から受信者に関連する被写体の位置に変更される画像データを選択してもよい。この場合、制御部１１５は、受信者に関連しない被写体の合焦位置を指定する第１指定情報と、受信者に関連する被写体の合焦位置を指定する第２指定情報とを選択する。そして、通信部１１６は、ＲＡＷデータ又は画像データとともに、第１指定情報及び第２指定情報も情報端末１０２，１０３，１０４に送信する。情報端末１０２，１０３，１０４は、情報端末１０１から送信されたＲＡＷデータ又は画像データに基づいて、第１指定情報で指定された合焦位置の画像データを生成し、生成した画像データを表示装置に表示する。その後、情報端末１０２，１０３，１０４は、情報端末１０１から送信されたＲＡＷデータ又は画像データに基づいて、第２指定情報で指定された合焦位置の画像データを生成し、生成した画像データを表示装置に表示する。このような構成によれば、例えば、受信者の表示装置に表示される画像が、背景の画像（例えば観光地の風景の画像）から受信者に合焦した画像に変化する。従って、送信者が受信者に見せたい画像を順番に見せることができる。

なお、制御部１１５は、受信者に関連する被写体であるか否かにかかわらず、一又は複数の合焦位置（焦点距離）を指定する指定情報を選択し、通信部１１６は、ＲＡＷデータ又は画像データとともに制御部１１５で選択された指定情報を情報端末１０２，１０３，１０４に送信してもよい。

また、上記した第１実施形態では、制御部１１５は、ステップＳ１７において、受信者自身に合焦した画像データを選択していたが、受信者以外の受信者に関連する被写体に合焦した画像データを選択してもよい。例えば、図１０に示したように、家Ｏ４は受信者ＡＡに関連する被写体（受信者ＡＡの家）である。この場合、制御部１１５は、受信者に関連する被写体である家Ｏ４に合焦した画像データを選択する。

また、上記した第１実施形態では、制御部１１５は、ステップＳ１７において、受信者に関連する被写体の合焦位置を含む被写界深度の範囲の画像データを選択又は生成してもよい。ここで、被写界深度とは、焦点が合っているように見える被写体の焦点距離（焦点位置）の範囲のことをいう。例えば、制御部１１５は、受信者に関連する被写体である人物Ｏ１及び家Ｏ４の合焦位置を含む被写界深度の範囲の画像データを選択又は生成する。

また、上記した第１実施形態において、演算処理部１１０は、ライトフィールドカメラ１で取得されたＲＡＷデータに基づいて生成される画像データを利用していたが、フォーカスブラケット機能を備えたデジタルカメラ（撮像装置）で取得された合焦位置の異なる複数の画像データを利用してもよい。

以上に説明したように、第１実施形態では、合焦位置を奥行き方向に変更可能な画像データ中のオブジェクトに関するオブジェクト情報と画像データの受信者に関する受信者情報とを関連付ける関連付け部１１４と、オブジェクト情報及び受信者情報に基づいて、受信者に応じた合焦位置の画像データを該受信者の表示部に表示させるためのデータ（例えば、画像データ、ＲＡＷデータ、合焦位置を指定する指定情報、実行ファイルなど）を選択する制御部１１５と、制御部１１５により選択されたデータを受信者の端末１０２，１０３，１０４に送信する送信部１１６とを備える。このような構成によれば、受信者の情報端末１０２，１０３，１０４は受信者に応じた画像を表示装置に表示させるので、受信者はデータのファイルを開くだけで、受信者に応じた画像を確認することができる。

また、第１実施形態では、関連付け部１１４は、送信者により設定されたデータの送信先情報（例えばメールアドレス）を受信者情報として取得する。このような構成によれば、送信者は、データの送信先情報を設定することで、受信者に応じた合焦位置の画像データを受信者に確認させることができる。

また、第１実施形態では、制御部１１５は、合焦位置が受信者に関連するオブジェクトの位置にある画像データを表示させるためのデータを選択する。このような構成によれば、例えば複数人が写っている画像においても、受信者は直ぐに自身を確認することができる。また、第１実施形態では、制御部１１５は、合焦位置が受信者に関連しないオブジェクトの位置から受信者に関連するオブジェクトの位置に変更する画像データを表示させるためのデータを選択する。このような構成によれば、送信者は例えば背景に合焦した画像から受信者に合焦した画像を受信者に見せることができ、受信者に画像に対する興味を持たせることができる。

また、第１実施形態では、画像データからオブジェクト及び撮像装置１から該オブジェクトまでの距離を検出する検出部（画像処理部３０の検出部３２に相当する処理部）を備え、関連付け部１１４は、検出部で検出されたオブジェクト及び距離をオブジェクト情報として記憶部１２０に記憶するとともに、オブジェクト情報に関連する受信者に関する受信者情報を該オブジェクト情報に関連付けて記憶部１２０に記憶する。このような構成によれば、情報処理装置１０１は、撮像装置１から画像データを取得することで、画像データからオブジェクト情報を取得することができる。従って、撮像装置１がオブジェクト及び距離を検出する機能を備えていない場合においても、上記した第１実施形態の構成を実現することができる。

また、第１実施形態では、記憶部１２０に記憶された情報に基づいて受信者に応じた合焦位置の画像データを生成する画像生成部（画像処理部３０の画像生成部３１に相当する処理部）を備える。このような構成によれば、情報処理装置１０１は、撮像装置１からＲＡＷデータを取得することで、ＲＡＷデータに基づいて合焦位置の異なる画像データを生成することができ、受信者に応じた合焦位置の画像データについても生成することができる。

また、第１実施形態では、データは、撮像装置１で撮像された光線情報に基づいて生成される、受信者に応じた合焦位置の画像データを含む。このような構成によれば、情報処理装置１０１は、大容量の光線情報を受信者の端末１０２，１０３，１０４に送信する必要がなくなる。従って、データ送信の時間も短縮される。

また、第１実施形態では、データは、撮像装置が合焦位置を変えながら撮像した、合焦位置の異なる複数の画像データのうち、受信者に応じた合焦位置の画像データを含む。このような構成によれば、リフォーカス機能を備えた特殊な撮像装置（ライトフィールドカメラ１）を用いることなく、上記した第１実施形態の構成を実現することができる。

また、第１実施形態では、データは、受信者の端末１０２，１０３，１０４の環境に依存せずに表示部に表示可能な実行ファイルを含む。このような構成によれば、受信者の端末１０２，１０３，１０４の環境（例えば制御プログラム）に依存せずに、受信者に応じた合焦位置の画像データを受信者に確認させることができる。

また、第１実施形態では、オブジェクト情報、受信者情報、及び受信者に応じた合焦位置の画像データを関連付けて表示部２に表示する表示制御部１１１を備える。このような構成によれば、送信者の操作性が向上し、送信者によるデータの送信を容易に行わせることができる。

＜第２実施形態＞
上記した第１実施形態では、送信者の情報端末１０１が、関連付けられたオブジェクト情報及び受信者情報に基づいて、受信者に応じた合焦位置の画像データを選択していた。これに対して、第２実施形態では、受信者の情報端末１０２，１０３，１０４が、送信者の情報端末１０１から送信された画像データ（ＲＡＷデータを含む）を受信し、受信した画像データからオブジェクト情報を検出し、検出したオブジェクト情報に基づいて、受信者に応じた合焦位置の画像データを表示装置に表示させる。すなわち、第２実施形態では、送信者の情報端末１０１が受信者に応じた合焦位置の画像データを選択することに代えて、受信者の情報端末１０２，１０３，１０４が受信者に応じた合焦位置の画像データを選択して表示装置に表示させる。

図１３は、第２実施形態の情報端末１０２の構成をブロック図である。図１３に示す情報端末１０２は、図１に示した受信者側の情報端末である。なお、情報端末１０３，１０４は、情報端末１０２と同一構成を備えているものとする。

図１３に示すように、情報端末１０２は、表示装置（表示部）２Ａ、キーボード３Ａ、及びマウス４Ａと接続されている。この情報端末１０２は、演算処理部１３０及び記憶部１４０を有している。演算処理部１３０は、画像データからのオブジェクト情報の抽出に関する制御や、受信者に応じた合焦位置の画像データの選択に関する制御を司る。記憶部１４０は、情報端末１０１から送信される画像データ（ＲＡＷデータを含む）、すなわち、送信者側のライトフィールドカメラ１（図１参照）で撮影された画像データや、演算処理部１３０による制御に必要な各種情報（例えばオブジェクト情報）などを記憶する。

演算処理部１３０は、図１３に示すように、表示制御部１３１、操作制御部１３２、検出部１３３、画像生成部１３４、及び通信部（受信部）１３５を有している。表示制御部１３１は、例えば液晶表示ディスプレイのような表示装置２Ａの表示画面５００Ａに、受信者によって操作されるグラフィカルユーザインタフェース（以下、ＧＵＩという。）などの各種画像（例えば図１０に示すＧＵＩとは異なるＧＵＩの画像）を表示する制御を行う。

操作制御部１３２は、受信者が操作可能な操作部を構成するキーボード３Ａ及びマウス４Ａと接続される。この操作制御部１３２は、受信者によるキーボード３Ａやマウス４Ａの操作に応じて情報を入力し、その情報を表示制御部１３１に出力する。

検出部１３３は、通信部１３５が受信した画像データから一又は複数の被写体を検出する。また、検出部１３３は、検出した一又は複数の被写体の画像データを抽出する。また、検出部１３３は、検出した一又は複数の被写体までの距離（焦点距離）を検出（算出）する。また、検出部１３３は、検出した一又は複数の被写体の画像データから特徴点などを抽出する。検出部１３３は、検出した一又は複数の被写体の画像データ、距離データ、及び特徴点などを、画像データに対応付けて記憶部１４０に記憶する。

画像生成部１３４は、予め記憶部１４０に登録されている受信者自身の画像データの特徴点などと、検出部１３３で抽出した被写体の画像データの特徴点などとを照合して、受信者自身の被写体の画像データを特定する。また、画像生成部１３４は、通信部１３５が受信した合焦位置の異なる複数の画像データに対して、距離に応じた重みを加えてから平均する加重平均処理を行うことで、受信者自身の被写体に合焦した画像データを生成する。

通信部１３５は、通信ネットワーク１５０を通じて他の情報端末（図１に示す例では情報端末１０１）とデータ通信を行う。本実施形態では、通信部１３５は、情報端末１０１から送信される、合焦位置の異なる複数の画像データを受信する制御を行う。

なお、演算処理部１３０における表示制御部１３１、操作制御部１３２、検出部１３３、画像生成部１３４、及び通信部１３５それぞれの構成は、ＣＰＵ（Central Processing Unit）などの制御装置が記憶部１４０に記憶されている制御プログラムに従って実行する処理又は制御に相当する。

記憶部１４０には、画像データ、画像データ中の各被写体の画像データ、オブジェクト情報（各被写体の名称、各被写体の距離データ）、各被写体の画像データの特徴点などが記憶される。また、記憶部１４０には、表示制御部１３１によるＧＵＩなどの表示に必要な各種情報も記憶されている。また、記憶部１４０には、上述したように、演算処理部１３０における表示制御部１３１、操作制御部１３２、検出部１３３、画像生成部１３４、及び通信部１３５の処理を実行させるための制御プログラムなども記憶されている。

上記した情報端末１０２（情報端末１０３及び１０３についても同様）は、次のような制御を行う。まず、通信部１３５は、情報端末１０１から送信される、合焦位置の異なる複数の画像データを受信する。検出部１３３は、通信部１３５が受信した画像データから被写体を検出する。また、検出部１３３は、被写体の画像データを抽出し、抽出した被写体の画像データから特徴点なども抽出する。また、検出部１３３は、送信側の撮像時におけるライトフィールドカメラ１から被写体までの距離（焦点距離）を検出（算出）する。そして、検出部１３３は、被写体の画像データ、距離データ、及び特徴点などを、画像データに対応付けて記憶部１４０に記憶する。

画像生成部１３４は、予め記憶部１４０に登録されている受信者自身の画像データの特徴点（例えば受信者の目）などと、検出部１３３で抽出した被写体の画像データの特徴点などとを照合して、受信者自身の被写体の画像データを特定する。また、画像生成部１３４は、合焦位置の異なる複数の画像データに対して、距離に応じた重みを加えてから平均する加重平均処理を行うことで、受信者自身の被写体に合焦した画像データを生成する。そして、表示制御部１３１は、画像生成部１３４で生成された画像データを表示装置２Ａに出力させて、受信者自身に合焦した画像を表示装置２Ａの表示画面５００Ａに表示させる。

なお、上記した第２実施形態では、通信部１３５は、情報端末１０１から送信される、合焦位置の異なる複数の画像データを受信していたが、情報端末１０１から送信されるＲＡＷデータを受信してもよい。この場合、画像生成部１３４は、通信部１３５で受信したＲＡＷデータに基づいて合焦位置の異なる複数の画像データを生成する。又は、画像生成部１３４は、ＲＡＷデータに基づいて、受信者自身に合焦した画像データを生成する。

以上に説明したように、第２実施形態では、合焦位置を奥行き方向に変更可能な画像データを受信する受信部１３５と、画像データからオブジェクト及び撮像装置１から該オブジェクトまでの距離を検出する検出部１３３と、検出部１３３で検出されたオブジェクト情報及び距離に基づいて、受信者に応じた合焦位置の画像データを生成する画像生成部１３４と、画像生成部１３４で生成された画像データを表示部２Ａに表示する表示制御部１３１とを備える。このような構成においても、受信者の情報端末１０２は受信者に応じた画像を表示装置２Ａに表示させるので、受信者はデータのファイルを開くだけで、受信者に応じた画像を確認することができる。

＜第３実施形態＞
上記した第１実施形態では、情報端末１０１が受信者に応じた合焦位置の画像データを電子メールで受信者側の情報端末に送信していた。これに対して、第２実施形態では、サーバが受信者側の情報端末からのアクセスに応じて、受信者に応じた合焦位置の画像データを受信者側の情報端末に送信する。

図１４は、第３実施形態のデータ配信システムＳＹＳ２の構成を示す図である。第３実施形態のデータ配信システムＳＹＳ２は、サーバ（情報処理装置、送信端末）３００が一つ又は複数の端末に対してデータを配信するシステムである。図１４に示す例では、データ配信システムＳＹＳ２は、データを送信（アップロード）する情報端末１０１と、データを配信するサーバ３００と、データを受信（ダウンロード）する３つの情報端末（情報処理装置、受信端末）１０２，１０３，１０４とで構成されている。ただし、データを受信する情報端末の数は一例であって、３つに限定されず、１つ、２つ、４つ以上であってもよい。

図１４に示すように、サーバ３００及び情報端末１０１，１０２，１０３，１０４は、それぞれ、インターネットなどの通信ネットワーク１５０に接続されている。また、サーバ３００は、例えばコンピュータで実現される。なお、情報端末１０１，１０２，１０３，１０４は、それぞれ、図１に示した構成と同様であるため、重複する説明を省略する。

図１５は、図１４に示すサーバ３００の構成を示すブロック図である。図１５に示すように、サーバ３００は、演算処理部３１０及び記憶部３２０を有している。演算処理部３１０は、オブジェクト情報と受信者情報との関連付けに関する制御や、受信者に応じた合焦位置の画像データの選択に関する制御を司る。記憶部３２０は、情報端末１０１から送信される画像データ（ライトフィールドカメラ１で撮影された画像データ）や、演算処理部３１０による制御に必要な各種情報（例えばオブジェクト情報や受信者情報）などを記憶する。

演算処理部３１０は、図１５に示すように、認証部３１１、検出部３１２、関連付け部３１３、画像生成部３１４、制御部３１５、及び通信部（送信部）３１６を有している。認証部３１１は、情報端末１０２，１０３，１０４からのアクセス時（画像データのダウンロードを行う際）に、情報端末１０２，１０３，１０４から送信される識別情報（例えばログインＩＤやパスワードなどの情報）に基づいて、受信者（情報端末１０２，１０３，１０４の使用者）を認証する。

検出部３１２は、図５に示した画像処理部３０の検出部３２や図１３に示した演算処理部１３０の検出部１３３が行う処理（又はこの処理に類似する処理）を実行する。また、関連付け部３１３は、図２に示した演算処理部１１０の関連付け部１１４が行う処理（又はこの処理に類似する処理）を実行する。また、画像生成部３１４は、図５に示した画像処理部３０の画像生成部３１や図１３に示した演算処理部１３０の画像生成部１３４が行う処理（又はこの処理に類似する処理）を実行する。また、制御部３１５は、図２に示した演算処理部１１０の制御部１１５が行う処理（又はこの処理に類似する処理）を実行する。また、通信部３１６は、図２に示した演算処理部１１０の通信部１１６や図１３に示した演算処理部１３０の通信部１３５が行う処理（又はこの処理に類似する処理）を実行する。

なお、演算処理部３１０における認証部３１１、検出部３１２、関連付け部３１３、画像生成部３１４、制御部３１５、及び通信部３１６それぞれの構成は、ＣＰＵ（Central Processing Unit）などの制御装置が記憶部３２０に記憶されている制御プログラムに従って実行する処理又は制御に相当する。

記憶部３２０は、データベース３２０Ａを有している。データベース３２０Ａには、オブジェクト情報と受信者情報とが関連付けられて記憶される。また、データベース３２０Ａには、受信者情報以外の受信者に関連する関連情報（例えば、受信者の同級生、家族、友人などの情報）も受信者情報に関連付けられて記憶される。また、データベース３２０Ａには、被写体の画像データの特徴点などの情報と人物とが関連付けられて記憶される。

また、記憶部３２０には画像データ記憶領域が設けられ、この画像データ記憶領域に画像データ及びこの画像データ中の被写体の画像データが記憶される。また、記憶部３２０には、上述したように、演算処理部３１０における認証部３１１、検出部３１２、関連付け部３１３、画像生成部３１４、制御部３１５、及び通信部３１６の処理を実行させるための制御プログラムなども記憶されている。

次に、第３実施形態の演算処理部３１０が実行するデータ配信処理について説明する。図１６は、第３実施形態の演算処理部３１０が実行するデータ配信処理を説明するためのフローチャートである。図１６に示す処理において、通信部３１６は、情報端末１０１から送信される合焦位置の異なる複数の画像データを受信し、受信した複数の画像データを記憶部３２０に記憶（格納）する（ステップＳ２１）。検出部３１２は、記憶部３２０に記憶された複数の画像データから被写体を検出するとともに、検出した被写体の画像データを抽出し、検出した被写体に関するオブジェクト情報（被写体の名称、被写体の距離データ）を抽出する（ステップＳ２２）。これにより、検出部３１２が被写体の画像データとオブジェクト情報とを取得することになる。

次に、関連付け部３１３は、ステップＳ２２で取得した各被写体の画像データから特徴点などを抽出する。そして、関連付け部３１３は、予めデータベース３２０Ａに登録されている被写体の画像データの特徴点などと、ステップＳ２２で取得した被写体の画像データから抽出された特徴点などとを照合して、ステップＳ２２で取得した被写体の画像データと人物とを関連付ける（ステップＳ２３）。

なお、情報端末は、被写体の画像データの特徴点などの情報と人物とが対応付けられた情報を予めサーバ３００に送信する。サーバ３００の通信部３１６は、情報端末からの情報を受信する。そして、関連付け部３１３は、通信部３１６で受信した情報をデータベース３２０Ａに登録する。

認証部３１１は、情報端末１０２，１０３，１０４からアクセスされたときに、情報端末１０２，１０３，１０４から送信される識別情報（例えばログインＩＤやパスワードなどの情報）を受信する。そして、認証部３１１は、予めデータベース３２０Ａに登録されている識別情報と情報端末１０２，１０３，１０４から送信される識別情報とを照合して、受信者（情報端末１０２，１０３，１０４の使用者）を認証する（ステップＳ２４）。そして、認証部３１１は、認証した受信者の識別情報を受信者情報としてデータベース３２０Ａに記憶する。

なお、認証部３１１は、受信者を認証すると、認証した受信者に関連する複数のサムネイル画像データ（例えば、予め登録された受信者に関連する人物から送信された画像データについてのサムネイル画像データ）を情報端末１０２，１０３，１０４に送信する。情報端末１０２，１０３，１０４は、サーバ３００から送信された複数のサムネイル画像データを受信すると、複数のサムネイル画像を一覧表示する。受信者は、キーボード３Ａやマウス４Ａなどを操作してサムネイル画像を選択する。関連付け部３１３は、受信者により選択されたサムネイル画像に対応する画像データ、その画像データに含まれる被写体の画像データ及びオブジェクト情報を取得する。

その後、関連付け部３１３は、取得したオブジェクト情報と認証した受信者の識別情報（受信者情報）とを関連付けてデータベース３２０Ａに記憶する（ステップＳ２５）。制御部３１５は、ステップＳ２５で関連付けたオブジェクト情報と受信者情報とに基づいて、受信者に関連する被写体に合焦した画像データを選択する（ステップＳ２６）。なお、制御部３１５は、受信者に関連する被写体が存在しない場合には、例えば標準の合焦位置の画像データを選択する。

通信部３１６は、制御部３１５がステップＳ２６で選択した画像データを受信者の情報端末１０２，１０３，１０４に送信する（ステップＳ２７）。受信者がサーバ３００から送信された画像データのファイルを開くと、受信者に合焦した画像が受信者の表示装置に表示される。

上記した第３実施形態では、制御部３１５が情報端末１０１から送信された複数の画像データの中から受信者に応じた合焦位置の画像データを選択していた。しかし、画像生成部３１４が情報端末１０１から送信された複数の画像データ又は情報端末１０１から送信されたＲＡＷデータに基づいて、受信者に応じた合焦位置の画像データを生成してもよい。

以上のように、第３実施形態では、関連付け部３１３は、予め設定されている識別情報と受信者の端末１０２，１０３，１０４から送信される識別情報とを照合して受信者を認証し、認証した受信者に関する情報を受信者情報として取得する。このような構成によれば、不特定多数の者に対して、受信者に応じた合焦位置の画像データを配信するサービスを提供することができる。また、通信部３１６が制御部３１５で選択された画像データを送信する場合（つまり通信部３１６がＲＡＷデータを送信しない場合）は、送信データ量が削減され、データの通信時間も短縮される。また、通信部３１６は受信者に応じた合焦位置の画像データ（すなわち、データベース３２０Ａに登録されている受信者に関連する被写体に合焦した画像データ）だけを送信するので、より一層、送信データ量が削減され、データの通信時間も短縮される。

＜第４実施形態＞
上記した第１実施形態では、図７に示したように、画像生成部３１は、ＲＡＷデータに基づいて合焦位置の異なる複数の画像データを生成した後に（ステップＳ２参照）、検出部３２は、画像生成部３１が生成した画像データから複数の被写体を検出し（ステップＳ４参照）、検出した複数の被写体までの距離を検出していた（ステップＳ５参照）。これに対して、第４実施形態では、検出部３２は、画像生成部３１がＲＡＷデータに基づいて生成する複数の再構成画像データに基づいて複数の被写体を検出するとともに、検出した被写体までの距離を検出する。そして、画像生成部３１は、検出部３２が検出した複数の被写体までの距離に基づいて、ＲＡＷデータから複数の被写体それぞれに合焦した複数の画像データ（つまり、合焦位置が各被写体の焦点距離である複数の画像データ）を生成する。

このような構成によれば、画像生成部３１が検出部３２で検出された複数の被写体それぞれに合焦した複数の画像データ（例えばＪＰＥＧ形式の画像データ）を確実に生成することができる。従って、画像生成部３１が所定の被写体に合焦した画像データを生成するために、画像処理部３０がＲＡＷデータを記録部６０に記録（保存）しておく必要がない。このため、多数の画像データを記録（保存）するための記録部６０の記録容量を確保することができる。

また、画像処理部３０は、画像生成部３１が生成した合焦位置の異なる複数の画像データを記録部６０に記録する際に、記録部６０において所定のフォルダ（フォルダ名は例えばＲＡＷデータのファイル名を流用する。）を作成し、そのフォルダ内に複数の画像データを記録してもよい。このような構成によれば、画像処理部３０やシステム制御部７０は、複数の画像データをグループとして管理することができる。このとき、画像処理部３０は、画像データそれぞれのファイル名として、合焦位置が撮影者側に近い順に通番を付してもよい。また、画像処理部３０は、画像データそれぞれのファイル名として、被写体に付加した被写体の名称を付してもよい。

また、画像生成部３１は、検出部３２が検出した所定の被写体（例えば、最も手前の被写体、最も奥の被写体）までの距離に基づいて、所定の被写体に合焦した画像データだけを生成してもよい。また、検出部３２が撮影者側に近い所定数（例えば３つ）の被写体までの距離を検出し、画像生成部３１は、検出部３２が検出した所定数の被写体までの距離に基づいて、所定数の被写体に合焦した画像データを生成してもよい。撮影者側に近い被写体が最も撮影者が撮りたい被写体である可能性が高い。従って、画像処理部３０がその被写体に合焦した画像データを保存することにより、記録部６０の記録容量を削減することができる。

上記した第４実施形態の構成においては、画像生成部３１が被写体の撮影時にＲＡＷデータに基づいて各被写体に合焦した複数の画像データを生成していた。しかし、画像生成部３１は情報端末１０１への画像データの転送時にＲＡＷデータに基づいて各被写体に合焦した複数の画像データを生成する。そして、画像処理部３０は、画像生成部３１で生成された複数の画像データ（及び、複数の被写体の画像データ、複数の被写体の名称、及び複数の被写体までの距離データ）を情報端末１０１に転送する。この場合、ＲＡＷデータが情報端末１０１に転送されないため、転送データ量が削減される。また、画像処理部３０が所定の種別の被写体（例えば人物の被写体）に合焦した画像データだけを情報端末１０１に転送する場合は、より一層、転送データ量を削減することができる。また、画像処理部３０は、画像データの転送後は、ＲＡＷデータや画像データなどを記録部６０から削除してもよい。

また、検出部３２は、時系列的に得られる複数のライブビュー画像の画像データを比較して、ライブビュー画像上において移動する被写体（移動被写体）を検出する。そして、画像生成部３１は、検出部３２が検出した移動被写体に合焦した画像データを生成する。画像処理部３０は、画像生成部３１で生成された移動被写体に合焦した画像データを記録部６０に記録する。移動被写体が撮影者が撮りたい被写体である可能性が高い。従って、画像処理部３０がその移動被写体に合焦した画像データを保存することにより、記録部６０の記録容量を削減することができる。

また、検出部３２は、ライブビュー画像上における各被写体を検出時間（すなわち、検出部３２が被写体を認識した時間）を判定する。そして、検出部３２は、検出時間によって合焦させる被写体を決定する。例えば、検出部３２は、検出時間が最も長い被写体を合焦させる被写体と決定する。画像生成部３１は、検出部３２が決定した被写体に対して合焦した画像データを生成する。画像処理部３０は、画像生成部３１で生成された被写体に合焦した画像データを記録部６０に記録する。ライブビュー画像に写っている時間の長い被写体が撮影者が撮りたい被写体である可能性が高い。従って、画像処理部３０がその被写体に合焦した画像データを保存することにより、記録部６０の記録容量を削減することができる。また、使用者は、表示画面５１上に形成されたタッチパネルのタッチ操作によって被写体を指定する。画像生成部３１は、使用者のタッチ操作で指定された被写体に対して合焦した画像データを生成する。画像処理部３０は、画像生成部３１で生成された被写体に合焦した画像データを記録部６０に記録する。画像処理部３０が使用者により指定された被写体に合焦した画像データを保存することにより、記録部６０の記録容量を削減することができる。

また、検出部３２は、検出した被写体の領域の面積によって、合焦させる被写体を決定してもよい。例えば、検出部３２は、検出した被写体のうち、最も領域の面積が広い被写体を特定する。そして、検出部３２は、特定した被写体を合焦させる被写体と決定する。そして、画像生成部３１は、検出部３２で決定された被写体に合焦した画像データを生成する。画像処理部３０は、画像生成部３１で生成された被写体に合焦した画像データを記録部６０に記録する。

また、ライトフィールドカメラ１はＧＰＳ(Global Positioning System)を備え、画像処理部３０は、そのＧＰＳで認識される撮影者の撮影時の位置に応じて、合焦させる被写体を決定し、決定した被写体に合焦した画像データを生成してもよい。例えば、画像処理部３０は、ＧＰＳで認識される撮影者の撮影時の位置が動物園である場合、検出部３２は動物の被写体を検出する。そして、画像生成部３１は、検出部３２が検出した動物の被写体に合焦した画像データを生成する。画像処理部３０は、画像生成部３１で生成された被写体に合焦した画像データを記録部６０に記録する。

また、情報端末１０２〜１０４はＧＰＳを備える。そして、送信者の情報端末１０１、受信者の情報端末１０２Ｕ〜１０４又はサーバ３００は、ＧＰＳからの位置情報に基づいて受信者の現在位置を認識し、認識した受信者の現在位置に応じて、合焦させる被写体を決定する。そして、送信者の情報端末１０１、受信者の情報端末１０２Ｕ〜１０４又はサーバ３００は、決定した被写体に合焦した画像データを生成する。

なお、上記した各実施形態において、ライトフィールドカメラ１から情報端末１０１に送信されるデータ、情報端末１０１から情報端末１０２〜１０４に送信されるデータ、及びサーバ３００から情報端末１０２〜１０４に送信されるデータとして、ＲＡＷデータ、画像データ、被写体の画像データ、及びオブジェクト情報（被写体の名称、被写体の距離データ）が含まれ得る。ただし、これらのデータのうちの１つまたは複数のデータが状況に応じて適宜送信される。

また、上記した各実施形態において、ライトフィールドカメラ１の記録部６０、情報端末１０１の記憶部１２０、情報端末１０２（及び情報端末１０３，１０４）の記憶部１４０、サーバ３００の記憶部３２０における残りの記憶容量に応じて、記憶されるデータの種類（ＲＡＷデータ、画像データ、被写体の画像データ、及びオブジェクト情報）を変更してもよい。また、送信先の情報端末やサーバの記憶部の残りの記憶容量に応じて（記憶容量が所定量よりも少なくなった場合に）、送信されるデータの種類（ＲＡＷデータ、画像データ、被写体の画像データ、及びオブジェクト情報）を変更してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。

上記した各実施形態では、情報端末１０１が電子メールで画像データを情報端末１０２，１０３，１０４に送信する場合、サーバ３００が情報端末１０２，１０３，１０４からのアクセスに応じて画像データを配信する場合について説明した。しかし、このような構成に限定されない。例えば、情報端末１０１，１０２，１０３，１０４はそれぞれ、ＬＡＮ（Local Area Network）などの通信ネットワークで接続され、情報端末１０１，１０２，１０３，１０４それぞれにおいて他の情報端末とデータを共有するための共有フォルダが設定されているものとする。そして、例えば情報端末１０１の使用者は、自身の情報端末１０１の共有フォルダにライトフィールドカメラ１で撮像した画像データを登録する。これにより、他の情報端末１０２，１０３，１０４の使用者は、共有フォルダに登録された画像データを取得することが可能となる。

この場合、他の情報端末１０２，１０３，１０４の使用者が共有フォルダに登録されている画像データを取得しようとした場合、情報端末１０１は他の情報端末１０２，１０３，１０４から送信される識別情報に基づいて使用者（又は情報端末１０２，１０３，１０４）を識別する。そして、情報端末１０１は、識別した受信者（又は情報端末１０２，１０３，１０４）に応じた合焦位置の画像データを選択又は生成し、選択又は生成した画像データを受信者（つまり情報端末１０２，１０３，１０４）に送信する。

また、図５に示す画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つのＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。

また、上記した第１実施形態において、カラーフィルタの配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。

また、上記した各実施形態に係るライトフィールドカメラ１は、自動的に又は使用者による操作部５５などの操作に応じてズーミング調節を行うズーム機能を備えていてもよい。この場合、駆動制御部１３は、ズーミング調節を行うために、システム制御部７０から送信される制御情報に基づいて撮影光学系１１（例えばズーミング用レンズ）の駆動制御を実行する。また、ライトフィールドカメラ１は、被写体の撮影後に焦点位置を変更することが可能であるが、被写体の撮影前に自動的に焦点位置を調節するオートフォーカス機能を備えていてもよい。この場合、駆動制御部１３は、撮影光学系１１の焦点調節を行うために、システム制御部７０から送信される制御情報に基づいて撮影光学系１１（例えばフォーカシング用レンズ）の駆動制御を実行する。

また、上記した各実施形態（第１実施形態、第２実施形態、第３実施形態）及びそれらの変形例では、画像データとして静止画を用いた場合について説明していたが、画像データとして動画を用いることも可能である。また、情報端末１０１と情報端末１０２，１０３，１０４とは同一構成を備えていてもよい。

ＳＹＳ１，ＳＹＳ２…データ配信システム、１…ライトフィールドカメラ（撮像装置）、２，２Ａ…表示装置（表示部）、１０１…情報端末（情報処理装置、送信端末）、１０２，１０３，１０４…情報端末（情報処理装置、受信端末）、１１０，１３０…演算処理部、１１１，１３１…表示制御部、１１４，３１３…関連付け部、１１５，３１５…制御部、１１６，３１６…通信部（送信部）、１２０…記憶部、１３３，３１２…検出部、１３４，３１４…画像生成部、１３５…通信部（受信部）、３００…サーバ（情報処理装置、送信端末）、３１０…演算処理部、３１１…認証部

Claims (13)

1. 合焦位置を奥行き方向に変更可能な画像データ中のオブジェクトに関するオブジェクト情報と前記画像データの受信者に関する受信者情報とを関連付ける関連付け部と、
   前記オブジェクト情報及び前記受信者情報に基づいて、前記受信者に応じた合焦位置の画像データを該受信者の表示部に表示させるためのデータを選択する制御部と、
   前記制御部により選択された前記データを前記受信者の端末に送信する送信部と、を備える情報処理装置。
2. 前記関連付け部は、送信者により設定された前記データの送信先情報を前記受信者情報として取得する請求項１記載の情報処理装置。
3. 前記関連付け部は、予め設定されている識別情報と前記受信者の端末から送信される識別情報とを照合して前記受信者を認証し、認証した前記受信者に関する情報を前記受信者情報として取得する請求項１または請求項２記載の情報処理装置。
4. 前記制御部は、合焦位置が前記受信者に関連するオブジェクトの位置にある画像データを表示させるためのデータを選択する請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記制御部は、合焦位置が前記受信者に関連しないオブジェクトの位置から前記受信者に関連するオブジェクトの位置に変更する画像データを表示させるためのデータを選択する請求項１から３のいずれか一項に記載の情報処理装置。
6. 前記画像データから前記オブジェクト及び撮像装置から該オブジェクトまでの距離を検出する検出部を備え、
   前記関連付け部は、前記検出部で検出された前記オブジェクト及び前記距離を前記オブジェクト情報として記憶部に記憶するとともに、前記オブジェクト情報に関連する受信者に関する前記受信者情報を該オブジェクト情報に関連付けて前記記憶部に記憶する請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記記憶部に記憶された情報に基づいて前記受信者に応じた合焦位置の画像データを生成する画像生成部を備える請求項６記載の情報処理装置。
8. 前記データは、撮像装置で撮像された光線情報に基づいて生成される、前記受信者に応じた合焦位置の画像データを含む請求項１から７のいずれか一項に記載の情報処理装置。
9. 前記データは、撮像装置が合焦位置を変えながら撮像した、前記合焦位置の異なる複数の画像データのうち、前記受信者に応じた合焦位置の画像データを含む請求項１から７のいずれか一項に記載の情報処理装置。
10. 前記データは、前記受信者の端末の環境に依存せずに前記画像データを前記表示部に表示させる実行ファイルを含む請求項１から９のいずれか一項に記載の情報処理装置。
11. 前記オブジェクト情報、前記受信者情報、及び前記受信者に応じた合焦位置の画像データを関連付けて表示部に表示する表示制御部を備える請求項１から８のいずれか一項に記載の情報処理装置。
12. 合焦位置を奥行き方向に変更可能な画像データを受信する受信部と、
    前記画像データからオブジェクト及び撮像装置から該オブジェクトまでの距離を検出する検出部と、
    前記検出部で検出された前記オブジェクト及び前記距離に基づいて、受信者に応じた合焦位置の画像データを生成する画像生成部と、
    前記画像生成部で生成された前記画像データを表示部に表示する表示制御部と、を備える情報処理装置。
13. 通信ネットワークを介してデータを送信する送信端末と、
    前記通信ネットワークを介してデータを受信する受信端末と、を備え、
    前記送信端末は、
    合焦位置を奥行き方向に変更可能な画像データ中のオブジェクトに関するオブジェクト情報と前記画像データの受信者に関する受信者情報とを関連付ける関連付け部と、
    前記オブジェクト情報及び前記受信者情報に基づいて、前記受信者に応じた合焦位置の画像データを該受信者の表示部に表示させるためのデータを選択する制御部と、
    前記制御部により選択された前記データを前記受信者の受信端末に送信する送信部と、を含み、
    前記受信端末は、
    前記送信端末から送信される前記データを受信する受信部と、
    前記受信部で受信された前記データに基づいて、前記画像データを前記表示部に表示する表示制御部と、を含むデータ配信システム。