JP2016225920A - 撮像装置、クライアント装置及びそれらの制御方法 - Google Patents

Abstract

【課題】通信回線に接続されたクライアント装置から、カメラがライトフィールドデータを出力可能か否かを、ネットワークを介して確認できるようにし、ユーザが所望するリフォーカス動作が可能であるか否かを判定するためのデータをカメラが出力可能か否かを確認できるようにする撮像装置、クライアント装置及びそれらの制御方法を提供する。【解決手段】被写体を撮像し、ライトフィールドデータを生成する撮像手段と、ライトフィールドデータを送信するための第一の送信手段と、ライトフィールドデータを送信が可能であるか否かを問い合わせるための第一の命令を受信する第一の受信手段と、第一の命令に対して応答して第一のレスポンスを返信するための第一応答手段と、を具備する。【選択図】図２

Description

本発明は、リフォーカス可能な画像データを出力可能な撮像装置と、リフォーカス可能な画像データを受信するクライアント装置及びそれらの制御方法とに関する。

近年、電子カメラなどの撮像装置において、光の強度分布だけでなく、光の入射方向の情報も取得可能な撮像装置が提案されている。このような撮像装置は、一般的にライトフィールドカメラと呼称されている。

ライトフィールドカメラにおいては、例えば、撮像光学系と撮像素子との間にマクロレンズアレイを配置し、撮像素子の複数の画素あたりに一つのマイクロレンズを対応させ、マイクロレンズを通過した光を複数画素に入射させる。各画素が出力する画素信号には、入射方向別に取得された情報が含まれる。情報を用いて、通常の撮影画像のように、撮像時と像面を同じくする画像を含む任意の像面にピントを合わせた画像（リフォーカス画像）を撮影後に再構成することができる。（特許文献１）

特開２０１０−２６８０５２号公報

しかしながら、従来、ライトフィールドカメラにおいて、ライトフィールドカメラがネットワークを介して通信可能に構成された場合について考えられていなかった。

課題に鑑み、本発明は、ネットワークを介してクライアント装置とライトフィールドデータを撮像可能かどうか通信可能である撮像装置、当該撮像装置と当該情報を通信可能なクライアント装置及びそれらの制御方法を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、被写体を撮像し、ライトフィールドデータを生成する撮像手段と、前記ライトフィールドデータを送信するための第一の送信手段と、前記ライトフィールドデータを送信が可能であるか否かを問い合わせるための第一の命令を受信する第一の受信手段と、前記第一の命令に対して応答して第一のレスポンスを返信するための第一応答手段と、を具備することを特徴とする。

また、本発明のクライアント装置は、ライトフィールドデータを取得するクライアント装置であって、クライアント装置の表示を変更する表示の変更手段と、前記ライトフィールドデータを受信するための受信手段と、前記ライトフィールドデータを送信が可能であるか否かを問い合わせるための第一の命令を送信する送信手段と、を具備し、前記受信手段は、前記第一の命令に対するレスポンスを受信するとともに、前記表示の変更手段は、受信した前記第一の命令に対するレスポンスに基づいて表示を変更することを特徴とする。

本発明によれば、ネットワークを介して接続されたクライアント装置から、対象となる撮像装置が、リフォーカス可能な画像データを出力可能か否か、ネットワークを介して確認することが可能となる。あるいは、ユーザが所望するリフォーカス動作が可能であるかを判定するためのデータを、撮像装置が出力可能か否かを、ネットワークを介してクライアント装置から確認可能になる効果がある。

実施例１のシステム構成図 実施例１の撮像装置の構成を示すブロック図 実施例１の能力問合せコマンドの構造を示す図 実施例１のＬＦデータ出力の能力問い合わせコマンドの構造を示す図 実施例１における別の撮像装置の構成を示す図 実施例１における撮像素子とマイクロレンズアレイの模式図 実施例１に係るコマンドトランザクションの図 実施例１の別のコマンドトランザクションの図 実施例１に係るクライアントのグラフィカル・ユーザ・インターフェイスの構成を示す図

本実施形態では、被写体からの光束を受光する際に入射方向の情報も取得することでリフォーカス可能な撮像データを取得する撮像装置をネットワークを介して使用することを考える。従来技術では通信回線に接続されたクライアント装置から、撮像装置がライトフィールドデータを出力可能か否かを、ネットワークを介して確認する方法が無かった。

また、クライアント装置から、対象のカメラが出力する画像ストリームにおける任意の被写体に対して、ユーザが所望するリフォーカス動作が可能であるかを判定するためのデータをカメラが出力可能か否かを、ネットワークを介して確認できなかった。

そこで、本実施形態では、ネットワークを介して接続可能な撮像装置の、ライトフィールドデータを撮像可能かどうかを含めた撮像能力を判定することができるシステムを示す。

以下に図１を参照して、本実施例の撮像装置を含むシステム構成を説明する。撮像装置１とクライアント装置５とは、ＩＰ（インターネットプロトコル）ネットワーク３を介して相互に通信可能に接続されている。

クライアント装置５は、撮像装置１に対して、後述する撮像パラメータの変更や雲台駆動、映像ストリーミング開始等の各種コマンドを送信する。撮像装置１は、それらのコマンドに対するレスポンスや映像ストリーミングをクライアント装置５に送信する。

映像ストリームは、クライアント装置５によってハードディスク装置などの記録装置に記録されても良い。本実施例では、記録された映像ストリームは、再正の際に、リフォーカス動作等の再構成が可能であり、一定の範囲でユーザの所望する位置に合焦させた映像や、視点を変更した画像などを再構成することができる。

次に、図２を用いて本実施例の撮像装置１の動作について説明する。図２（ａ）は、撮像装置１の構成を示すブロック図である。 撮像部１１は、フォーカスレンズ、ズームレンズ、絞り等を含む撮像光学系から入射される光束を受光するＣＭＯＳセンサなどの撮像素子、焦点位置制御や絞り制御などを行うための制御系で構成される。また、撮像部１１は、撮像素子で受光した光束を電気信号に変換し、さらにＡ／Ｄ変換部によってデジタル信号に変換する。ここで、撮像部１１は、図６に示すように、マイクロレンズアレイ９３と撮像素子９５を用いて、撮像信号として、被写体空間の３次元情報であるライトフィールドデータ（ＬＦデータ）を出力可能に構成されている。本実施例では、撮像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素（光電変換素子）を複数配列した撮像素子を用いてＬＦデータを取得するものとする。しかしこの他にも、例えば、特開２０１１−２２７９６号公報に示されるように、複数の視点の異なるカメラをまとめて撮像部とみなす構成でもよい。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する構成など、ＬＦデータを取得するよう構成されている撮像装置であれば本実施例は適用可能である。

また、撮像部１１は、ＬＦデータを出力する際の、撮像光学系の光学系特性情報を出力するようになっている。光学系特性情報には、撮像光学系のフォーカスレンズ位置や、Ｆナンバー、撮像素子の特性などを含む。

再構成部１３は、撮像部１１が出力するＬＦデータと、撮像光学系の特性データとから、例えば、目的とする焦点位置（焦点面）に合焦させた再構成画像（リフォーカス画像）を生成する。より具体的には、ユーザの操作入力あるいは画像解析結果に基づいて焦点面を設定し、ＬＦデータの、設定された焦点面での各画素位置に対応する信号を合成することで、設定された焦点面でのリフォーカス画像を生成する。また、再構成部１３による再構成処理はこれに限らず、例えば一部の視点に対応する信号だけを抽出し、任意の視点画像を再構成画像として生成したり、任意の被写界深度の画像を再構成画像として生成したりすることも可能である。

被写体距離取得部１５は、撮像部１１により撮像される被写体の被写体距離に関する情報を取得する。本実施例では、撮像部１１からのＬＦデータの出力信号間で位相差を検出し、デフォーカスマップを生成することにより、被写体距離の距離情報を生成する。ただし、これに限らず、複数のフォーカスレンズの位置で撮像された信号のコントラスト評価値に基づいて距離情報を取得したり、撮像部１１からのＬＦデータは用いずに、別途赤外センサなどのセンサをもって距離情報を検出してもよい。また、リフォーカス可能範囲算出部１７は、ＬＦデータを生成した際の光学特性情報に基づき、リフォーカス可能な奥行き方向の被写体距離の距離範囲の情報を算出する。光学系の特性情報は、撮像部１１が出力するようになっている。以下では、上述のリフォーカス可能な距離範囲の情報を、リフォーカス範囲情報と称する。

上述したように、被写体距離取得部１５が出力するデータは、各画素に対する被写体距離のデータの集合である。の被写体距離データは、各画素の値が被写体距離値に置換された画像データであることから、距離画像と称されることがある。

メタデータ生成部２１は、前述の距離情報とリフォーカス可能範囲の情報とから、メタデータを生成する。のメタデータには、リフォーカス画像との同期をとるための同期情報が付加される。同期情報は、同期情報生成部１９によって生成され、メタデータ生成部２１でメタデータに付加される。

パケット生成部２３は、リフォーカス画像と、メタデータとを、パケット化して出力する。パケット化されたリフォーカス画像、あるいは、メタデータは、通信部２５によって、外部のネットワークに送出される。

本実施例では、リフォーカス画像は、例えば３０フレーム毎秒（３０ｆｐｓ）の動画ストリームとして、外部のネットワークへ送出される。また、メタデータは、リフォーカス画像と同じ時間間隔で送出されても良い。さらに、本実施例では、メタデータは、リフォーカス画像と異なる時間間隔で送出されても、同期情報を付加しているので、受信側で同期をとることが可能である。

同期情報は、例えば、Ｃｏｏｒｄｉｎａｔｅｄ Ｕｎｉｖｅｒｓａｌ Ｔｉｍｅ、所謂ＵＴＣである。本実施例のＬＦデータストリームとメタデータストリームには、ＵＴＣに基づくタイムスタンプがフレーム毎に付加され、受信後に同期をとれるように構成される。なお同期情報はＵＴＣに基づくと説明したが、他の同期情報を付加するようにしても良い。例えば、フレーム番号をＬＦデータストリームとメタデータとに付加するようにしても良い。

図２（ｂ）はクライアント装置５を示すブロック図である。制御部２０１は、例えば例えばＣＰＵによって構成され、メモリ２０２に記憶されたプログラムを実行することにより、クライアント装置５の全体の制御を行う。通信部２０４は、ネットワーク３に接続し、撮像装置１と通信を行う。入力部２０５は、ユーザからの指示の入力を受け付ける。例えば入力部２０５は、ユーザからの指示として、撮像装置１に対する各種の命令の送信指示の入力を受け付けることが出来る。入力部２０５は、撮像装置１に対する命令送信指示が入力されると、制御部２０１に命令の入力があった旨を通知する。制御部２０１は、指示に応じて撮像装置１に対する命令を生成し、通信部２０５を介して撮像装置に生成した命令を送信する送信制御を行う。表示部２１０は、通信部２０４が受信したりメモリ２０２に記憶された撮像画像を表示媒体に表示する。また、表示部２１０は、制御部２０１がメモリ２０２に記憶されたプログラムを実行することにより生成されるユーザへの問い合わせメッセージ等を表示させることが出来る。

［コマンドとレスポンスの構造例］
本実施例では、クライアント装置５は、撮像装置１に対して、ＬＦデータを、ネットワークを介して出力可能であるか否かといった能力を問い合わせることができる。の問合せは、例えば、Ｏｐｅｎ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ Ｆｏｒｕｍ（以下ＯＮＶＩＦと称することがある）規格のコマンドに基づいて行われる。なお、本実施例では、ＯＮＶＩＦ規格に基づいた説明をしているが、他の規格に基づいていても良い。

以下に図３を参照して、本実施例の能力問合せコマンドの構造について説明する。

図３（ａ）は、本実施例に係るＧｅｔＣａｐａｂｉｌｉｔｉｅｓコマンドの構造を示す図である。ＧｅｔＣａｐａｂｉｌｉｔｉｅｓコマンドは、命令を実行させる対象である撮像装置１の宛先アドレス３１、命令の送信元であるクライアント装置の送信元アドレス３３、識別子フィールドで構成される。コマンドは、本実施例では、例えば、クライアント装置５から撮像装置１へ送信される。例えば、宛先アドレス３１には、撮像装置１のネットワークアドレス（ＩＰアドレス）が格納される。また、送信元アドレス３３には、クライアント装置５のＩＰアドレスが格納される。

ＧｅｔＣａｐａｂｉｌｉｔｉｅｓコマンドは、本実施例の撮像装置１など、デバイスの能力情報を問い合わせるためのコマンドである。ＯＮＶＩＦ規格においては、デバイスは、複数のサービスを保有することが可能となっている。本実施例では、例えば、ＬＦデータの出力機能や、再構成に関するメタデータ出力機能は、Ｍｅｄｅｉａサービスによって処理される。

図３（ｂ）は、本実施例の他の問合せコマンド例に係る構造を示す図である。図３（ｂ）において図３（ａ）と同一の採番は同一の機能を示す。図３（ｂ）において、３７は本実施例の能力問合せの対象サービスを指定するフィールドである。図３（ｂ）の例では、の指定フィールド３７には、Ｍｅｄｅｉａサービスを指定する値が格納される。本実施例の能力問い合わせコマンドでは、例えば、サービスの指定フィールド３７は省略しても良いように構成される。

図３（ｃ）は、本実施例に係る能力問い合わせコマンドに対する応答としてのレスポンスの構造を示す図である。例えば、図３（ａ）に示す構造のＧｅｔＣａｐａｂｉｌｉｔｉｅｓコマンドに対するレスポンスの構造を示す。この構造では、レスポンスは後述するＭｅｄｅａサービス以外の能力を示すフィールドも含まれて良い。

レスポンスは返信先であるクライアント装置の宛先アドレス４１、送信元である撮像装置（カメラ）の送信元アドレス４３を有する。また、ＧｅｔＣａｐａｂｉｌｉｔｉｅｓレスポンス識別フィールド４５、Ｍｅｄｅａサービス能力フィールド４７を有する。また、ＬｉｇｈｔＦｉｅｌｄ能力フィールド４８と、ＬｉｇｈｔＦｉｅｌｄＭｅｔａｄａｔａ能力フィールド５０は、Ｍｅｄｅａサービス能力フィールド４７に含まれる。

本実施例では、図３（ｂ）に示す能力問い合わせコマンドに対するレスポンスとして、Ｍｅｄｅａサービス能力フィールド４７だけを、ＧｅｔＣａｐａｂｉｌｉｔｉｅｓレスポンス識別フィールド４５以降のフィールドに含むように構成される。

図３（ｃ）のＬｉｇｈｔＦｉｅｌｄ能力フィールド４８は、ＬＦデータに関する能力情報を記述するフィールドである。のフィールドには、例えば、ＬＦデータをストリーミング出力可能であるか否かの情報を含む。また、ＬｉｇｈｔＦｉｅｌｄ能力フィールド４８には、ストリーミング出了可能な場合に、ストリーミング方法の選択肢の情報も併せて格納できるようになっている。本実施例では、ＬｉｇｈｔＦｉｅｌｄ能力フィールド４８は、Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ（以下、ＲＴＰと称することがある）を用いてＬＦデータのストリーミングが可能であるかの情報を含むことが可能である。また、ＬｉｇｈｔＦｉｅｌｄ能力フィールド４８は、マルチキャストでＲＴＰストリーミングか可能か否かの情報を含むことが可能である。

次に、図４を参照して、本実施例の撮像装置に関するＬＦデータ出力の能力問い合わせコマンドの構造について説明する。本実施例では、ＬＦデータの出力機能は、ＶｉｄｅｏＳｏｕｒｃｅの能力として参照される。

図４（ａ）は、本実施例に係るＬＦデータ出力に関する設定リストを問い合わせるコマンドの構造を示す図である。図本コマンドは、宛先アドレス６１、送信元アドレス６２、ＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎｓコマンド６４を示す識別子である。本実施例のＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎｓコマンド６４は、撮像装置が有する映像源であるＶｉｄｅｏＳｏｕｒｃｅの設定リストについて問い合わせるコマンドである。

本実施例では、撮像装置は複数のＶｉｄｅｏＳｏｕｒｃｅを有することができる。複数のＶｉｄｅｏＳｏｕｒｃｅから特定のＶｉｄｅｏＳｏｕｒｃｅを識別するためにＶｉｄｅｏＳｏｕｒｃｅＴｏｋｅｎを用いる。また、撮像装置は複数のＶｉｄｅｏＳｏｕｒｃｅの設定であるＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎを有することができる。同様に、複数のＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎから特定のＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎを特定するために、ＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎＴｏｋｅｎ用いる。

図４（ｂ）は、ＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎｓコマンドに対するレスポンスの構造を示す図である。本レスポンスは、宛先アドレス７１、送信元アドレス７２、ＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎｓレスポンス７４を示す識別子、ＬｉｇｈｔＦｉｅｌｄＣｏｎｆｉｇｕｒａｔｉｏｎｓフィールド７６を含む。また、ＬｉｇｈｔＦｉｅｌｄＣａｐａｂｉｌｉｔｙフィールド８２、ＬｉｇｈｔＦｉｅｌｄＤａｔａＴｙｐｅフィールド８４も含む。

本実施例の撮像装置は、のＬｉｇｈｔＦｉｅｌｄＣｏｎｆｉｇｕｒａｔｉｏｎｓフィールド７６に、ＬＦデータ関連の設定を含ませてレスポンスを返す。ＬｉｇｈｔＦｉｅｌｄＣｏｎｆｉｇｕｒａｔｉｏｎｓフィールドは、ＬｉｇｈｔＦｉｅｌｄフィールド８２と、ＬｉｇｈｔＦｉｅｌｄＤａｔａＴｙｐｅフィールド８４とを含む。ＬｉｇｈｔＦｉｅｌｄフィールド８２は、参照されているＶｉｄｅｏＳｏｕｒｃｅの現在の設定がＬＦデータを出力しているか否かを示す。また、ＬｉｇｈｔＦｉｅｌｄＤａｔａＴｙｐｅフィールド８４は、省略可能なフィールドで、参照されているＶｉｄｅｏＳｏｕｒｃｅがＬＦデータを出力している場合に、出力するＬＦデータストリームの形式を示す。

例えば、ＬｉｇｈｔＦｉｅｌｄフィールド８２は、ＹｅｓまたＮｏの値のデータを格納する。ＬｉｇｈｔＦｉｅｌｄフィールド８２の値がＹｅｓの場合、ＬｉｇｈｔＦｉｅｌｄＣｏｎｆｉｇｕｒａｔｉｏｎｓフィールド７６は、ＬｉｇｈｔＦｉｅｌｄＤａｔａＴｙｐｅフィールド８４を含む。

ＬｉｇｈｔＦｉｅｌｄＤａｔａＴｙｐｅフィールド８４は、例えば、ＣｏｍｂｉｎｅｄまたはＳｅｐａｒａｔｅの値のデータを格納する。ＬｉｇｈｔＦｉｅｌｄＤａｔａＴｙｐｅフィールド８４の値がＣｏｍｂｉｎｅｄの場合、ＬＦデータは、リフォーカスなどの再構成のために要するデータストリームと、表示のために再構成されたリフォーカス画像とを区別せずにストリーミングすることを示す。また、Ｓｅｐａｒａｔｅの値の場合、リフォーカスのために要するデータストリームと、表示のために再構成されたリフォーカス画像とが、別々のストリームで出力されることを示す。

本実施例では、ＬｉｇｈｔＦｉｅｌｄＤａｔａＴｙｐｅフィールド８４の値がＳｅｐａｒａｔｅの値の場合、リフォーカスのために要するデータストリームは、例えばＭｅｔａｄａｔａストリームで出力される。この場合、ＬｉｇｈｔＦｉｅｌｄＣｏｎｆｉｇｕｒａｔｉｏｎｓフィールド７６が、リフォーカスのために要するデータストリームを含むＭｅｔａｄａｔａを示す不図示のフィールドを含んでも良い。たとえば、このフィールドはＬｉｇｈｔＦｉｅｌｄＭｅｔａｄａｔａフィールドである。ＬｉｇｈｔＦｉｅｌｄＭｅｔａｄａｔａフィールドは、後述するＰｒｏｆｉｌｅＴｏｋｅｎフィールドとＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎＴｏｋｅｎフィールドとを含んでも良い。

本実施例では、撮像装置１における、特定のＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎに、ＬＦデータを出力する設定を行うことが可能な場合、ＳｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎコマンドを用いることができる。この際、クライアント装置５は、ＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎを示すＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎＴｏｋｅｎフィールドを、ＳｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎコマンドに設定する。

また、クライアント装置５は、ＳｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎコマンドに設定可能なＬＦデータ関連のパラメータを、ＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドで問い合わせることができる。パラメータは、例えば、ＬＦデータを出力可能であるかの情報や、出力可能である場合、ＬＦデータストリーム形式の選択肢などの情報である。

ＬＦデータを出力可能であるかの情報は、出力できる場合Ｙｅｓの値を、出力不能にできる場合、Ｎｏの値を、夫々、ＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓレスポンスに列挙して出力する。

本実施例の撮像装置１は、指定されたＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎにおいて、ＬＦデータを出力可能である場合Ｙｅｓの値を格納してＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓレスポンスを返す。また、ＬＦデータを停止できる場合、Ｎｏの値を格納してＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓレスポンスを返す。また、ＬＦデータを出力できない場合、Ｎｏの値のみを格納してレスポンスを返す。さらに、ＬＦデータを出力して、停止できない場合、Ｙｅｓの値のみを格納してレスポンスを返す。

同様に、ＬＦデータストリーム形式の選択肢は、Ｃｏｍｂｉｎｅｄ形式で出力できる場合Ｃｏｍｂｉｎｅｄの値を、Ｓｅｐａｒａｔｅ形式で出力可能な場合Ｓｅｐａｒａｔｅの値を、それぞれ列挙してレスポンスを返す。

本実施例の撮像装置１が、指定されたＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎにおいて、Ｃｏｍｂｉｎｅｄ形式でのみＬＦデータストリームを出力可能な場合、Ｃｏｍｂｉｎｅｄの値のみを格納してレスポンスを返す。また、Ｓｅｐａｒａｔｅ形式でのみ出力可能な場合、Ｓｅｐａｒａｔｅの値のみを格納してレスポンスを返す。また、両方が出力可能な場合、ＣｏｍｂｉｎｅｄとＳｅｐａｒａｔｅとの両方の値を格納して、ＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓレスポンスを返す。

［ＭｅｄｉａＰｒｏｆｉｌｅなどの説明］
本実施例において、ＭｅｄｉａＰｒｏｆｉｌｅとは、撮像装置１の各種設定項目を関連づけて記憶するためのパラメータセットである。本実施例では、撮像装置１は、複数のＭｅｄｉａＰｒｏｆｉｌｅを有することができるとともに、クライアント装置５が新たにＭｅｄｉａＰｒｏｆｉｌｅを作成して撮像装置１に記憶させることもできる。

複数のＭｅｄｉａＰｒｏｆｉｌｅから、特定のＭｅｄｉａＰｒｏｆｉｌｅを識別するためのＩＤ情報を、ＰｒｏｆｉｌｅＴｏｋｅｎと称する。ＭｅｄｉａＰｒｏｆｉｌｅは、ＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎや、不図示のＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎ、不図示のＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎなどに関する各種設定項目のリンクを保持する。

上述したＶｉｄｅｏＳｏｕｒｃｅとは、撮像装置１における撮像部の性能を示すパラメータの集合体であり、ＶｉｄｅｏＳｏｕｒｃｅのＩＤであるＶｉｄｅｏＳｏｕｒｃｅＴｏｋｅｎで識別される。ＶｉｄｅｏＳｏｕｒｃｅは、ＳｅｔＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅコマンドによって、条件によってＬＦデータストリームの出力可否が変更されるような場合に、複数のＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅ切り替えを行う。これにより、クライアント装置５はリフォーカス能力を選択できる。また、本実施例では、ＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅを変更することにより、異なるＲｅｓｏｌｕｔｉｏｎをサポートする他の複数のＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅに切り替えが可能である。

ＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎとは、画像データの圧縮符号化に関するエンコーダ設定をＭｅｄｉａＰｒｏｆｉｌｅに関連付けるパラメータの集合体である。撮像装置１は、ＶｉｄｅｏＳｏｕｒｃｅ、及びＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎの内容に基づいて出力される画像データ（ＬＦデータ含む）を、圧縮符号化し、通信部２５を介してクライアント装置５に配信する。圧縮符号化は、ＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎで設定される圧縮符号化方式（例えばＪＰＥＧやＨ．２６４）、フレームレート、或いは解像度等のパラメータに従って行う。

ＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎは、ＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎのＩＤであるＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＴｏｋｅｎによって識別される。また、ＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎは、圧縮符号化方式を指定するＥｎｃｏｄｉｎｇ、出力画像の解像度を指定するＲｅｓｏｌｕｔｉｏｎ、圧縮符号化品質を指定するＱｕａｌｉｔｙの情報を含む。さらに、ＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎは、出力画像の最大フレームレートを指定するＦｒａｍｅｒａｔｅＬｉｍｉｔ、及び最大ビットレートを指定するＢｉｔｒａｔｅＬｉｍｉｔの情報を含む。以降、ＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎをＶＥＣと略して表記することがある。

また、ＰＴＺＣｏｎｆｉｇｕｒａｔｉｏｎは、撮像装置１における不図示のパン機構、チルト機構、及びズーム機構に関する設定をＭｅｄｉａＰｒｏｆｉｌｅに関連付けるパラメータの集合体である。ＰＴＺＣｏｎｆｉｇｕｒａｔｉｏｎは、パン機構、チルト機構、及びズーム機構における実際のパン・チルト角度値とズーム倍率値を表現する座標系に関する情報を含む。

本実施例では、ＭｅｄｉａＰｒｏｆｉｌｅのＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎを用いて、ＬＦデータに対して圧縮符号化を施すことが可能となっている。また、本実施例では、前述の距離情報に対しても、圧縮符号化を施すことが可能となっている。

以下に、図５を参照して、のＬＦデータ、及び、距離情報に対して、圧縮符号化を施すための撮像装置の構成を説明する。図５において、図２と同一採番は同一の機能を示す。図２に比べてリフォーカス画像圧縮部２７、被写体距離データ圧縮部２９を有する。

リフォーカス画像圧縮部２７は、ＬＦデータの符号化を行う。符号化は、可逆圧縮の符号化であることが望ましいが、Ｍｏｔｉｏｎ ＪＰＥＧやＨ．２６４など既存の不可逆圧縮符号化を施しても良い。また、したように、Ｍｏｔｉｏｎ ＪＰＥＧのようなフレーム内予測符号化でも、Ｈ．２６４のようなフレーム間予測符号化でも良い。

被写体距離データ圧縮部２９は、被写体距離の距離情報に対して圧縮符号化を施す。圧縮符号化は、可逆圧縮の符号化であることが望ましい。本実施例では、例えば、可逆圧縮符号化として、Ｍｏｔｉｏｎ ＪＰＥＧやＭｏｔｉｏｎ ＪＰＥＧ２０００の可逆圧縮モードや、Ｈ．２６４のＨｉｇｈ４４４ＰｒｅｄｉｃｔｉｖｅＰｒｏｆｉｌｅにおけるＬｏｓｓｌｅｓｓモードなどを用いることができる。また、上述したように、距離情報は、所謂距離画像であり、画像データと同じ圧縮符号化を行うこともできる。この場合には、既存の画像圧縮符号化のハードウェアを用いることができ、時分割で、ＬＦデータと距離画像との処理を行うことにより、回路規模を削減できる効果もある。被写体距離データ圧縮部２９の出力は、メタデータ生成部２１によって、リフォーカス可能範囲算出部１７の出力と併せてメタデータとして形成される。距離画像とリフォーカス範囲情報とは、例えば、ＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎを用いて設定される。また、ＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎは、ＰｒｏｆｉｌｅＴｏｋｅｎを用いて、特定のＭｅｄｉａＰｒｏｆｉｌｅにリンクされる。

［リフォーカス可能範囲と距離画像の説明］
次に図６に示した撮像素子とマイクロレンズアレイの模式図を参照して、リフォーカス可能範囲の算出方法について説明する。図６は、リフォーカス可能範囲を説明するための模式図である。

図６において、マイクロレンズアレイ９３は、多数のマイクロレンズを集積して形成される。被写体面９０からの光線は、撮像光学系９１とマイクロレンズアレイ９３の各マイクロレンズとを通過して、撮像素子９５の各画素に入射する。光線は、不図示の被写体面の位置と角度とに応じて、撮像素子９５の互いに異なる画素へ入射してＬＦデータの画像データを形成する。

マイクロレンズアレイ９３は、不図示の被写体面上の異なる位置を通過した光線が、同一の画素へ入射することを防ぐように機能する。その結果、撮像素子９５においては、被写体面上の同一の位置を複数の画素によって撮像する。

次に、リフォーカスが可能な奥行き方向の被写体距離の距離範囲の算出方法に関して説明する。撮像光学系９１の開口径は有限であるため、撮像素子９５で得られる入射光線の角度成分、すなわち視差情報も有限である。したがって、ライトフィールドデータから生成される仮想的な焦点位置の画像を生成可能な焦点位置の範囲であるリフォーカスが可能な範囲は、有限の範囲に限定される。ここで、光の２次元強度分布をライトフィールドの空間成分と呼ぶ。このとき、リフォーカス可能範囲は、空間成分のサンプリングピッチΔｙおよび角度成分のサンプリングピッチΔｕにより決定され、その係数α_±は以下の式（１）のように与えられる。

式（１）を用いて示される像側のリフォーカス可能範囲α＋Ｓ２乃至α−Ｓ２と、撮像光学系９１に対して共役な範囲が、物体側のリフォーカス可能範囲となる。ここでＳ２は、撮像光学系９１の像側主平面と被写体面９０に対する撮像光学系９１の像側共役面との間隔である。

図６において、マイクロレンズアレイ９３に対する、画素の１次的な周期が５画素となっている。この場合、空間成分のサンプリングピッチΔｙは、撮像素子９５の画素ピッチの５倍となる。角度成分のサンプリングピッチΔｕは、撮像光学系の射出瞳が５分割（２次元では２５分割）されているため、射出瞳径の１／５となる。式（１）で示されるリフォーカス可能範囲を超えると、取得した光線の情報では情報が不足するため、正しいリフォーカス画像を生成できない。式（１）は、撮像素子９５の画素ピッチΔが、撮像光学系９１の射出瞳距離Ｐに対して十分に小さいので、以下の式（２）のように近似できる。

ここで、撮像光学系９１の射出瞳距離Ｐは、撮像光学系９２の射出瞳面と、被写体面９０に対する撮像光学系９１の像側共役面との間の距離である。また、Ｎは撮像光学系９１の瞳の一次分割数、Ｆは撮像光学系のＦナンバーの値、Δ_ＬＡはマイクロレンズアレイ９３のピッチである。

上述したように、本実施例では、撮像光学系９１の撮影時のＦナンバーの値Ｆと、製造時に定まるマイクロレンズアレイ９３のピッチΔ_ＬＡと撮像光学系９１の瞳の一次分割数Ｎとからリフォーカス範囲を算出できる。のリフォーカス可能範囲の情報は、リフォーカス可能範囲算出部１７から出力される。

なお、実施例においては、リフォーカス可能範囲算出部１７が、式（２）を用いてリフォーカス可能範囲を算出するように構成しているが、次のような方法で、クライアント装置５が、リフォーカス可能範囲を算出するように構成しても良い。例えば、クライアント装置５は、製造時に定まるマイクロレンズアレイ９３のピッチΔ_ＬＡと撮像光学系９１の瞳の一次分割数Ｎとの値を、撮像装置１に予め問い合わせて、取得しておく。ＬＦデータストリームの撮影時は、時々刻々と変化するＦナンバーの値Ｆを、Ｍｅｔａｄａｔａストリームとして取得し、Ｎ、Δ_ＬＡ、及びＦの値から、クライアント装置５が、リフォーカス可能範囲を算出しても良い。

上述したように、被写体距離取得部１５は、各画素に対する距離情報を取得し、所謂距離画像を出力する。各画素に対する被写体距離は、ＬＦデータデータから視差画像を生成し、各画素の位相差を利用して算出することが可能である。また、距離画像は、Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ方式や、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ方式の、不図示の距離画像取得手段を用いて取得しても良い。Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ方式や、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ方式を距離画像取得に用いる場合、赤外線による照明を用いて赤外線を照射し、画素ごとの距離情報を取得する。取得された距離情報は距離情報取得部１５から出力される。

［コマンドトランザクションの説明］
次に、図７を参照して、本実施例に係るコマンドトランザクションについて説明する。図７は、本実施例の撮像装置１とクライアント装置５との間の、ＬＦデータに関する能力取得に関する典型的なコマンドシークエンスを示す。ここでトランザクションとは、クライアント装置５から撮像装置１へ送信されるコマンドと、それに対して撮像装置１がクライアント装置５へ返送するレスポンスのペアのことを指している。

トランザクション１０１は、ＧｅｔＣａｐａｂｉｌｉｔｉｅｓコマンドのトランザクションである。ＧｅｔＣａｐａｂｉｌｉｔｉｅｓコマンドは、上述したようにデバイスの能力情報を問い合わせるためのコマンドである。本実施例の撮像装置１は、のコマンドに対して、ＬＦデータに関する機能を有する旨の情報を返す。

トランザクション１０３は、ＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎｓコマンドのトランザクションである。このコマンドにより、クライアント装置５は、撮像装置１が保持するＶｉｄｅｏＳｏｕｒｃｅＣｏｆｉｇｕｒａｔｉｏｎのリストを取得する。

トランザクション１０５は、ＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドのトランザクションである。このコマンドにより、クライアント装置５は、ＩＤによって指定したＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎにおいて、撮像装置１が受付可能な各パラメータの選択肢や設定値の範囲を取得する。

トランザクション１０７は、ＳｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎコマンドのトランザクションである。このコマンドにより、クライアント装置５は、指定したＭｅｄｉａＰｒｏｆｉｌｅのＩＤを指定してＶｉｄｅｏ Ｓｏｕｒｃｅ Ｃｏｎｆｉｇｕｒａｔｉｏｎを変更する。

次のトランザクション１０９は、ＧｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎｓコマンドのトランザクションである。このコマンドにより、クライアント装置１は、撮像装置５が保持するＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎのリストを取得する。本実施例においては、撮像装置５は、このＭｅｔａｄａｔａ用いて、距離画像とリフォーカス範囲の情報とを送信する。

トランザクション１１１は、ＧｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドのトランザクションである。このコマンドにより、クライアント装置１は、ＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎに設定可能な各パラメータの選択肢や設定値の範囲情報を取得する。本実施例では、撮像装置１は、このトランザクションにおけるレスポンスによって、距離画像についての圧縮可否、圧縮可能な場合符号化方法の指定、同期情報形式の選択肢などの情報を送信制御する。

トランザクション１１３は、ＳｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎコマンドのトランザクションである。このコマンドにより、クライアント装置５は、所望のＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎの設定値を、撮像装置１に設定する。本実施例では、クライアント装置は、このコマンドを用いて、距離画像についての圧縮の指定、および、圧縮符号化方法の指定、同期情報形式などの指定を行うようになっている。

次に図８を参照して、符号化方式を指定してＬＦデータストリームを送出する際の実施例について説明する。図８は、撮像装置１とクライアント装置５の間における、設定開始からＬＦデータの映像配信と映像配信の停止までの典型的なコマンドシーケンスを示している。

トランザクション２００は、ＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎｓコマンドのトランザクションである。このコマンドにより、クライアント装置５は、撮像装置１が保持するＶｉｄｅｏＳｏｕｒｃｅＣｏｆｉｇｕｒａｔｉｏｎのリストを取得する。

トランザクション２０１は、ＧｅｔＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎｓコマンドのトランザクションである。このコマンドにより、クライアント装置５は、撮像装置１が保持する保持するＶｉｄｅｏＥｎｃｏｄｅｒＣｏｆｉｇｕｒａｔｉｏｎのリストを取得する。

２０２は、ＧｅｔＣｏｎｆｉｇｕｒａｔｉｏｎｓコマンドのトランザクションである。このコマンドにより、クライアント装置５は、撮像装置１が保持する保持するＰＴＺＣｏｆｉｇｕｒａｔｉｏｎのリストを取得する。

トランザクション２０３は、ＣｒｅａｔｅＰｒｏｆｉｌｅコマンドのトランザクションである。このコマンドにより、クライアント装置５は、撮像装置１に新たなＭｅｄｉａＰｒｏｆｉｌｅを作成し、そのＰｒｏｆｉｌｅＴｏｋｅｎを得る。

トランザクション２０４はＡｄｄＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎコマンドのトランザクションである。トランザクション２０５は、ＡｄｄｄＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒｔｉｏｎコマンドのトランザクションである。トランザクション２０８は、ＡｄｄＰＴＺＣｏｎｆｉｇｕｒａｔｉｏｎコマンドのトランザクションである。これらのＩＤを指定することにより、指定したＭｅｄｉａＰｒｏｆｉｌｅに所望のＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎ、ＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎ、及びＰＴＺＣｏｎｆｉｇｕｒａｔｉｏｎを関連付けることができる。

トランザクション２０６は、ＧｅｔＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドのトランザクションである。このコマンドにより、クライアント装置５は、ＩＤによって指定したＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎにおいて、撮像装置１が受付可能な各パラメータの選択肢や設定値の範囲を取得する。のコマンドトランザクションによって、クライアント装置５は、ＬＦデータの符号化方式の選択肢を得る。

トランザクション２０７は、ＳｅｔＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎコマンドのトランザクションである。このコマンドにより、クライアント装置５は、ＶｉｄｅｏＥｎｃｄｏｒＣｏｎｆｉｇｕｒａｔｉｏｎの各パラメータを設定する。のコマンドトランザクションによって、クライアント装置５は、ＬＦデータの符号化方式を設定する。

トランザクション２０９は、ＧｅｔＳｔｒｅａｍＵｒｉコマンドのトランザクションである。このコマンドにより、クライアント装置５は、指定したＭｅｄｉａＰｒｏｆｉｌｅの設定に基づいて撮像装置１が、符号化されたＬＦデータの配信ストリームを取得するためのアドレス（ＵＲＩ）を取得する。

トランザクション２１０は、Ｄｅｓｃｒｉｂｅコマンドのトランザクションである。２０９において取得したＵＲＩを使用してこのコマンドを実行することにより、クライアント装置５は、撮像装置１が配信するＬＦデータストリームの情報を要求し取得する。

トランザクション２１１は、Ｓｅｔｕｐコマンドのトランザクションである。２０９において取得したＵＲＩを使用してこのコマンドを実行することにより、クライアント装置５と撮像装置１の間で、セッション番号を含むＬＦデータストリームの伝送方法が共有される。

トランザクション２１２は、Ｐｌａｙコマンドのトランザクションである。２１１において取得したセッション番号を使用してこのコマンドを実行することにより、クライアント装置５は、撮像装置１に対してＬＦデータストリームの開始を要求する。

トランザクション２１３は、配信ストリームである。撮像装置１は、２１２において開始を要求されたストリームを、２１１において共有された伝送方法によって配信する。

トランザクション２１４は、Ｔｅａｒｄｏｗｎコマンドのトランザクションである。２１１において取得たセッション番号を使用してこのコマンドを実行することにより、クライアント装置５は、撮像装置１に対してＬＦデータストリームの停止を要求する。

［設定ＧＵＩの説明］
以下に図９を用いて、本実施例の設定に係るグラフィカル・ユーザ・インターフェイス（以下ＧＵＩと称することがある）について説明する。

図９（ａ）は、本実施例における撮像装置１のＬＦデータストリームに係るＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅ、及び、ＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎの設定を行うクライアント装置５に好適な設定画面を示している。本画面はクライアント装置５が有する、あるいはクライアント装置５に接続される表示媒体としての液晶等の画面に、表示制御部によって表示される。図９（ａ）は、例えば、ＬｉｇｈｔＦｉｅｌｄＤａｔａＴｙｐｅフィールド８４が、Ｃｏｍｂｉｎｅｄの場合の構成例である。

本実施例では、撮像装置１は、ＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅ関連コマンドのトランザクションを用いて、ＬＦデータストリームと高画素の通常画像ストリームとの切り替えを行うことができる。

３００は、ＬｉｖｅＶｉｅｗエリアである。クライアント装置５は、本設定画面が開かれたときに、前述の図８に示すシーケンスを実行し、トランザクション２１３において得られる映像のストリームを本ＬｉｖｅＶｉｅｗエリアに表示する。

３０１は、ＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅ選択エリアである。クライアント装置５は、本設定画面が開かれたときに併せて実行されるＧｅｔＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅの不図示のトランザクションによって得られるＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅを、３０２に示すようにユーザが選択できるよう本エリアにリストする。本エリアにおいて、現在の設定とは異なるＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅが選択されると、クライアント装置５は、ＳｅｔＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅコマンドを実行し、撮像装置１のＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅを変更する。このとき、クライアント装置５は、ＬｉｖｅＶｉｅｗエリア３００に、新しい設定の映像ストリームが表示されるように設定する。さらにクライアント装置５は、ＧｅｔＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドを実行し、得られた結果を用いて本画面におけるＶｉｄｅｏＥｎｃｏｄｅｒの各パラメータの選択肢や設定範囲を更新する。これにより、クライアント装置５は、常にＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅと整合するＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎの設定値の選択肢や設定範囲をユーザに提供することが可能となる。

本実施例では、ＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅの設定動作によって、ユーザは、ＬＦデータストリームと、高解像度の通常画像ストリームとを切り替えることができる。図９（ａ）の例では、ＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅ選択エリア３０１、及び、選択エリア３０２のモード選択により、解像度３８４０×２１６０の通常画像ストリーム設定と、ＬＦデータストリーム設定とを切り替えることができる。この時、選択できるＬＦデータストリームの解像度は、解像度１２８０×７２０、及び、解像度９６０×５４０となっている。また、図９（ａ）の例では、解像度１２８０×７２０のＬＦデータストリームが選択されている。

３０３、３０４は、撮像装置１のＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎの設定値をユーザに変更させるための、ＶｉｄｅｏＥｎｃｏｄｅｒの設定画面を切り替えるタブである。本例においてタブの数は２であるが、ＧｅｔＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎｓコマンドによって得られる撮像装置１がサポートするＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎの数だけ表示するようにしてもよい。

３０５は、各ＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎの圧縮符号化形式をユーザに選択させるエリアである。このエリア３０５では、ＧｅｔＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドによって得られる圧縮符号化形式Ｅｎｃｏｒｄｉｎｇの選択肢が表示される。本設定画面が開かれたとき、或いはＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅ選択エリアで新しいＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅが選択されたときに、ＧｅｔＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドは実行される。３０６は現在選択可能なＥｎｃｏｄｒｉｎｇ、３０７は現在選択不可能なＥｎｃｏｒｄｉｎｇを示している。

図９（ａ）の例では、圧縮符号化形式Ｅｎｃｏｒｄｉｎｇの選択肢として、Ｈ．２６４ Ｌｏｓｓｌｅｓｓ符号化が選択肢として示され、Ｍｏｔｉｏｎ ＪＰＥＧ Ｌｏｓｓｌｅｓｓ符号化は現在選択不可能な符号化方式として、グレーアウトして示されている。

３０８は、ＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎ６１０３に含まれるＦｒａｍｅｒａｔｅＬｉｍｉｔ、ＢｉｔｒａｔｅＬｉｍｉｔ、及びＱｕａｌｉｔｙを選択させるＤｅｔａｉｌエリアである。３０９、３１０、及び３１１の各設定範囲は、ＧｅｔＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドによって得られるそれぞれの設定範囲の内容が反映される。ＧｅｔＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドは、本設定画面が開かれたとき、或いはＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅ選択エリアで新しいＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅが選択されたときに実行される。

３１２は、ＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎ６１０３の解像度Ｒｅｓｏｌｕｔｉｏｎを選択するエリアである。ドロップダウンリスト３１３には、ＧｅｔＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドによって得られるＲｅｓｏｌｕｔｉｏｎパラメータの選択肢の内容が表示される。ＧｅｔＶｉｄｅｏＥｎｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドは、本設定画面が開かれたとき、或いはＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅ選択エリアで新しいＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅが選択されたときに実行される。

３１４は、Ａｐｐｌｙボタンである。ユーザによって本ボタンが押されると、クライアント装置５は、ＳｅｔＶｉｄｅｏＥｎｃｏｄｅｒｃｏｎｆｉｇｕｒａｔｉｏｎを撮像装置１に対して送信する。すると、３０５、３０８、及び３１２に選択されているパラメータが撮像装置１のリフォーカス画像圧縮部に反映される。の設定により、クライアント装置５は、撮像装置１からＬＦデータストリームを取得することが可能になる。

図９（ｂ）は、距離情報に係るＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎの設定ＧＵＩを示す図である。本実施例では、ＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎ関連コマンドのトランザクションを用いて距離情報に係る設定を行う。

４０１は距離画像出力設定エリアである。のエリアにおける、選択チェックボックスにより、ユーザは、撮像装置１が距離画像ストリームを、Ｍｅｔａｄａｔａとして出力させるか否かを設定することが可能である。図９（ｂ）の例では、距離画像ストリームが出力可能に設定されている。

本実施例では、距離画像出力設定エリア４０１は、ＧｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドのトランザクションによって、その表示内容が変更される。例えば、ＧｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓレスポンスの内容が、撮像装置１が距離画像をＭｅｔａｄａｔａとして出力できないことを示している場合、出力不能（Ｏｕｔｐｕｔ Ｄｉｓａｂｌｅ）の表示のみがなされる。この場合、ユーザは、Ｏｕｔｐｕｔ Ｅｎａｂｌｅの選択ができないように、クライアント装置５のＧＵＩが構成される。また、本実施例では表示内容を変更することによりレスポンスの内容をユーザに報知しているが、音や装置自体の動きなど、その他の手法で報知されても構わない。この場合、撮像装置１、クライアント装置ともに制御部に制御されるスピーカ、可動部など報知手段を別途備えてもよい。

４０３、４０４は、距離画像ストリームの符号化方式を設定するためのタブである。上述したように、本実施例では、距離画像に対して高能率符号化が施されるとともに、クライアント装置５は複数の設定を保持することが可能となっている。ユーザは、の符号化方式を設定するためのタブ４０３、４０４を切り替えて表示することにより、複数の設定状況を確認できる。

４０５は、距離画像符号化方式設定エリアである。本実施例では、距離画像符号化方式設定エリア４０５内に、符号化方式の設定エリア４０６、４０７が表示される。４０６は、現在、距離画像に対する符号化方式として選択可能なＥｎｃｏｄｒｉｎｇ、４０７は現在選択不可能なＥｎｃｏｒｄｉｎｇを表示している。

図９（ｂ）の例では、圧縮符号化形式Ｅｎｃｏｒｄｉｎｇの選択肢として、Ｈ．２６４ Ｌｏｓｓｌｅｓｓ符号化が選択肢として示され、Ｍｏｔｉｏｎ ＪＰＥＧ Ｌｏｓｓｌｅｓｓ符号化は現在選択不可能な符号化方式として、グレーアウトして示されている。また、本実施例では、撮像装置１が、距離画像を圧縮符号化できない場合、全ての符号化方式の選択肢をグレーアウトしても良い。また、例では、距離画像の符号化方式を二つとしているが、撮像装置１が可能な符号化方式が選択できれば、他の符号化方式数であっても良い。

また、の例では、撮像装置１が、距離画像を圧縮符号化できない場合、距離画像符号化方式設定エリア４０５内の表示をグレーアウトするようにしているが、他の方式でも良い。例えば、距離画像ストリームの符号化方式を設定タブ４０３、４０４が、いずれもユーザによって選択できない表示に構成しても良い。

４１４は、Ａｐｐｌｙボタンである。ユーザによって本ボタンが押されると、クライアント装置５は、ＳｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎを撮像装置１に対して送信し、４０１、４０３に選択されているパラメータが撮像装置１における被写体距離圧縮部に反映される。クライアント装置５は、設定により、距離画像ストリームを撮像装置１から取得可能になる。

次に図９（ｃ）を用いて、本実施例に係るクライアント装置のリフォーカス動作について説明する。図９（ｃ）において、５０１はＬｉｖｅＶｉｅｗエリア、５０３はパン操作ＵＩ、５０４はズーム操作ＵＩ、５０５はチルト操作ＵＩ、５０７はリフォーカスボタン、５０９はリフォーカス位置設定カーソルである。

ＬｉｖｅＶｉｅｗエリア５０１には、リフォーカス画像ストリームの映像が表示される。ユーザが、パン操作ＵＩ５０３を操作すると、撮像装置１に対してパンコマンドが送信さされ、操作に応じた雲台のパン動作がなされる。ユーザがズーム操作ＵＩ５０４を操作すると、ズームコマンドが、撮像装置１に送信され、撮像装置１における撮像光学系の焦点距離が変更される。ユーザが、チルト操作ＵＩ５０５を操作すると、撮像装置１に対してチルトコマンドが送信され、操作に応じた雲台のチルト動作がなされる。

ユーザが、リフォーカスボタン５０７を押下すると、リフォーカス位置設定カーソル５０９が表示される。ユーザは、マウスなどの不図示のポインティングデバイスを操作して、リフォーカスを行いたい画像上の位置を指示する。クライアント装置５は、の指示に基づき、受信した距離画像ストリーム上の指示された位置の被写体距離を取得する。クライアント装置５は、ユーザ指示に基づき取得した被写体距離の位置に対して、リフォーカス動作を行う。

リフォーカス動作は、例えば、クライアント装置５が、撮像装置１から取得しているＬＦデータストリームのデータに基づいて行われる。上述したように、本実施例では、被写体面上の同一位置からの光線は、撮像光学系とマイクロレンズアレイを通過して、複数の異なる撮像素子上の画素に入射する。画素データは、ＬＦデータストリームの画素データを構成する。本実施例のクライアント装置５は、の関連した画素データ間の演算を行うことによって、リフォーカス動作を行い、ユーザ所望の被写体距離に合焦したリフォーカス画像を生成する。

上述したように、本実施例では、リフォーカス可能範囲は、撮像時における撮像光学系の設定によって変化する。したがって、ユーザが指定した被写界の点（領域）がリフォーカス可能でない場合がある。この場合、クライアント装置５は、ユーザに指定された点（領域）に対応する被写体距離に最も近くなるようにリフォーカス動作を行った後、所望の位置にリフォーカスできない旨を示す警告表示を行う。警告表示は、例えば、警告用のメッセージ・ウィンドウを表示する、ＬｉｖｅＶｉｅｗエリアにＯｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ（以下、ＯＳＤと称することがある）を表示する、画面上をフラッシュ表示する、画面上を光らせたりする、などの方法がある。

［実行権限に関する説明］
クライアント装置５について、本実施例では、例えば、４段階のユーザ実行権限レベルが設定される。実行権限は、例えば、Ａｎｏｎｙｍｏｕｓ、Ｕｓｅｒ、Ｏｐｅｒａｔｏｒ、Ａｄｍｉｎｉｓｔｏｒａｔｏｒのレベルをもつ。本実施例では、例えば、Ｕｓｅｒ、Ｏｐｅｒａｔｏｒ、Ａｄｍｉｎｉｓｔｒａｔｏｒのレベルのユーザは、クライアント装置５の操作に、予めユーザ認証動作を必要とするように構成しても良い。この場合、各ユーザは、ユーザ名とパスワードとの組み合わせによって識別される。

また、のコマンド発行をする際の実行権限が、４つのユーザレベルによって、異なるように構成しても良い。例えば、ＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドや、ＧｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓは、Ｕｓｅｒ権限以上の権限が必要なように構成しても良い。すなわち、ＧｅｔＶｉｄｅｏＳｏｕｒｃｅＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドは、Ｕｓｅｒ、Ｏｐｅｒａｔｏｒ、Ａｄｍｉｎｉｓｔｏｒａｔｏｒのレベルをもつユーザだけが発行できる。また、ＧｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎＯｐｔｉｏｎｓコマンドもＵｓｅｒ、Ｏｐｅｒａｔｏｒ、Ａｄｍｉｎｉｓｔｏｒａｔｏｒのレベルをもつユーザだけが発行できる。

また、Ｓｅｔｕｐコマンド、Ｐｌａｙコマンド、Ｔｅａｒｄｏｗｎコマンドは、Ｏｐｅｒａｔｏｒ以上の権限を持つユーザだけが発行できるように構成しても良い。すなわち、Ｓｅｔｕｐコマンド、Ｐｌａｙコマンド、Ｔｅａｒｄｏｗｎコマンドは、Ｏｐｅｒａｔｏｒ、Ａｄｍｉｎｉｓｔｏｒａｔｏｒのレベルをもつユーザだけが発行できる。また、ＧｅｔＳｔｒｅａｍＵｒｉコマンドも、同様に、Ｏｐｅｒａｔｏｒ、Ａｄｍｉｎｉｓｔｏｒａｔｏｒのレベルをもつユーザだけが発行できるように構成しても良い。

また、ＳｅｔＶｉｄｅｏＳｏｕｒｃｅＭｏｄｅコマンドやＳｅｔＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎコマンドは、Ａｄｍｉｎｉｓｔｏｒａｔｏｒのレベルをもつユーザだけが発行できるように構成しても良い。また、ＳｅｔＭｅｔａｄａｔａＣｏｎｆｉｇｕｒａｔｉｏｎコマンドも、Ａｄｍｉｎｉｓｔｏｒａｔｏｒのレベルをもつユーザだけが発行できるように構成しても良い。

本実施例では、のように、リフォーカス画像に関して、情報取得のためのコマンドと、ストリームを出力させるコマンド、及び、ＬＦデータ関連の設定を行うコマンドとの間で、実行権限を異なるように構成している。このため、不用意にストリームを取得して、プライバシー侵害を誘発するような動作を少なくすることができる効果がある。また、動作により、誤った設定変更が容易にできてしまうような状況を減らすことができる効果がある。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１ 撮像装置
５ クライアント装置
１１ 撮像部
１３ リフォーカス画像生成部
１５ 被写体距離取得部
１７ リフォーカス可能範囲算出部
１９ 同期情報生成部
２１ メタデータ生成部
２３ パケット生成部
２５ 通信部
２７ リフォーカス画像圧縮部
２９ 被写体距離データ圧縮部

Claims (24)

1. 被写体を撮像し、ライトフィールドデータを生成する撮像手段と、
   前記ライトフィールドデータを送信するための第一の送信手段と、
   前記ライトフィールドデータを送信が可能であるか否かを問い合わせるための第一の命令を受信する第一の受信手段と、
   前記第一の命令に対して応答して第一のレスポンスを返信するための第一応答手段と、
   を具備することを特徴とする撮像装置。
2. 前記撮像手段は当該撮像手段の特性情報を出力するとともに、
   前記撮像手段の特性情報に基づき、前記ライトフィールドデータから生成される仮想的な焦点位置のリフォーカス画像を生成可能な焦点位置の取り得る範囲であるリフォーカス可能範囲を算出する算出手段と、
   前記リフォーカス画像の被写体の被写体距離に対応する奥行き情報を生成する生成手段と、
   前記奥行き情報と前記リフォーカス可能範囲とを送信するための第二の送信手段と、
   前記奥行き情報と前記リフォーカス可能範囲とを送信が可能であるか否かを問い合わせるための第二の命令を受信する第二の受信手段と、
   前記第二の命令に対して応答して第二のレスポンスを返信するための第二応答手段と、
   を具備することを特徴とする請求項１に記載の撮像装置。
3. 前記第二送信手段が出力するデータは、前記第一送信手段が出力する前記リフォーカス画像を再構成が可能な画像データとの同期をとるための同期情報を含むことを特徴とする請求項２に記載の撮像装置。
4. 前記第二送信手段は距離情報とリフォーカス可能範囲の情報とをストリームで出力することを特徴とする請求項２または３に記載の撮像装置。
5. 前記ライトフィールドデータを符号化するための第一の符号化手段と、
   前記第一の符号化手段が取り扱い可能な符号化の方式を問い合わせるための第三の命令を受信する第三の受信手段と、
   前記第三の受信手段が受信する第三の命令に応答して、前記第１の符号化手段が取り扱い可能な符号化の方式の情報を含む第三のレスポンスを返信するための第三の応答手段と、をさらに具備することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記距離情報を符号化するための第二の符号化手段と、
   前記第二の符号化手段が取り扱い可能な符号化の方式を問い合わせるための第四の命令を受信する第四の受信手段と、
   前記第四受信手段が受信する前記第四の命令に応答して、前記第二の符号化手段が取り扱い可能な符号化の方式の情報を含む第四のレスポンスを返信するための第四の応答手段と、をさらに具備する請求項４または５に記載の撮像装置。
7. 前記第一送信手段にライトフィールドデータを送信させるための第五の命令を受信する第五受信手段と、
   前記第五の命令に応答して第五のレスポンスを返信するための第五の応答手段と、を具備し、
   前記第一の命令と前記第五の命令との実行権限が異なることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第一送信手段にライトフィールドデータを送信させるための第五の命令を受信する第五受信手段と、
   前記第五の命令に応答して第五のレスポンスを返信するための第五の応答手段と、を具備し、
   前記第二の命令と前記第五の命令との実行権限が異なることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記ライトフィールドデータは、撮像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換素子が設けられた画素を複数配列した撮像素子から出力される信号から得られるデータであることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記ライトフィールドデータは、複数の視点の画像からなることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. ライトフィールドデータを取得するクライアント装置であって、
    前記ライトフィールドデータを受信するための受信手段と、
    前記ライトフィールドデータを送信が可能であるか否かを問い合わせるための第一の命令を送信する送信手段と、
    前記受信手段が前記第一の命令に対するレスポンスを受信するとともに、受信した前記第一の命令に対するレスポンスに基づいて表示媒体への表示を変更する表示手段と、を有することを特徴とするクライアント装置。
12. 前記送信手段は、前記ライトフィールドデータから生成される仮想的な焦点位置のリフォーカス画像の被写体の被写体距離に対応する奥行き情報と、当該リフォーカス画像を生成可能な焦点位置の取り得る範囲であるリフォーカス可能範囲の情報とを送信が可能であるか否かを問い合わせるための第二の命令を送信し、
    前記表示手段は、前記受信手段が前記第二の命令に対する応答と、前記距離情報とリフォーカス可能範囲の情報とを受信したとき、受信した前記第二の命令に対する応答に基づいて前記表示媒体への表示を変更することを特徴とする請求項１１に記載のクライアント装置。
13. 前記送信手段は、前記ライトフィールドデータを符号化する際の複数の可能な符号化の方式を問い合わせるための第三の命令を送信し、
    前記受信手段は、前記第三の命令に対するレスポンスを受信し、
    前記表示手段は、受信手段が受信した前記第三の命令に対するレスポンスに基づいて前記表示媒体への表示を変更することを特徴とする請求項１２に記載のクライアント装置。
14. 前記受信手段が受信するライトフィールドデータの各画素に対する距離情報であるとともに、
    前記送信手段は、前記各画素に対する距離情報を符号化する際の複数の可能な符号化の方式を問い合わせるための第四の命令を送信し、
    前記受信手段は、前記第四の命令に対するレスポンスを受信し、
    前記表示手段は、受信した前記第四の命令に対するレスポンスに基づき前記表示媒体への表示を変更することを特徴とする請求項１１乃至１３のいずれか１項に記載のクライアント装置。
15. ユーザ認証を行うとともにユーザの実行権限レベルを設定する認証手段と、
    前記認証手段による設定に基づき命令の送信制御を行う送信制御手段と、を具備し、
    前記送信手段は、ライトフィールドデータを送信させるための第五の命令を送信し、
    前記送信制御手段は、前記第一の命令の送信に要する前記ユーザ実行権限レベルと、前記第五の命令の送信に要する前記ユーザ実行権限レベルとを異ならせることを特徴とする請求項１１乃至１４のいずれか１項に記載のクライアント装置。
16. 前記送信制御手段は、前記第二の命令の送信に要する前記ユーザ実行権限レベルと、前記第五の命令の送信に要する前記ユーザ実行権限レベルとを異ならせることを特徴とする請求項１５に記載のクライアント装置。
17. 前記ライトフィールドデータは、撮像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換素子が設けられた画素を複数配列した撮像素子から出力される信号から得られるデータであることを特徴とする請求項１１乃至１６のいずれか１項に記載のクライアント装置。
18. 前記ライトフィールドデータは、複数の視点の画像からなることを特徴とする請求項１１乃至１７のいずれか１項に記載のクライアント装置。
19. 被写体を撮像し、ライトフィールドデータを生成する撮像手段を有する撮像装置の制御方法であって、
    前記ライトフィールドデータを送信するための第一の送信ステップと、
    前記ライトフィールドデータを送信が可能であるか否かを問い合わせるための第一の命令を受信する第一の受信ステップと、
    前記第一の命令に対して応答して第一のレスポンスを返信するための第一応答ステップと、
    を具備することを特徴とする撮像装置の制御方法。
20. ライトフィールドデータを取得するクライアント装置の制御方法であって、
    クライアント装置の表示を変更する表示の変更ステップと、
    前記ライトフィールドデータを受信するための受信ステップと、
    前記ライトフィールドデータを送信が可能であるか否かを問い合わせるための第一の命令を送信する送信ステップと、を具備し、
    前記受信ステップでは、前記第一の命令に対するレスポンスを受信するとともに、
    前記表示の変更ステップでは、受信した前記第一の命令に対するレスポンスに基づいて表示を変更することを特徴とするクライアント装置の制御方法。
21. 請求項１９に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
22. コンピュータに、請求項１９に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
23. 請求項２０に記載のクライアント装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
24. コンピュータに、請求項２０に記載のクライアント装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images