JP2016025633A - 情報処理装置、管理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】視野を自由に変えることができるコンテンツの視聴中に利用可能な機能を追加することができる情報処理装置、管理装置、情報処理方法、およびプログラムを提供する。
【解決手段】映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中にユーザが利用することが可能な、ビデオコンテンツの映像を用いて実現される機能を、機能に関する課金が行われることに応じて追加する機能管理部を備える。視野を自由に変えることができるコンテンツの視聴に用いられる再生装置としてのHMD(Head Mounted Display)３−１〜３に適用することができる。
【選択図】図１

Description

本技術は、情報処理装置、管理装置、情報処理方法、およびプログラムに関し、特に、視野を自由に変えることができるコンテンツの視聴中に利用可能な機能を追加することができるようにした情報処理装置、管理装置、情報処理方法、およびプログラムに関する。

近年、HMD(Head Mounted Display)にヘッドトラッキング用のセンサを搭載し、ユーザの頭部の姿勢に応じて映像の表示範囲をリアルタイムで切り替えることにより、別空間にいるかのような体験をユーザに与える技術が各種提案されている。

HMDのコンテンツとしては、例えば、複数のビデオカメラで撮影された映像を合成することによって生成された３６０度の画角の実写の映像や、３６０度の画角のCG(Computer Graphics)の映像などが用いられる。ユーザは、３６０度の画角全体のうちの、HMDに設けられた表示デバイスの視野角に応じた一部の範囲の映像を見ることになる。

国際公開２０１２／０４３３５７号

上述したようなHMDを用いることにより、別空間にいるかのような体験を得ることができるものの、単に映像を見るだけでは面白みに欠ける。

本技術はこのような状況に鑑みてなされたものであり、視野を自由に変えることができるコンテンツの視聴中に利用可能な機能を追加することができるようにするものである。

本技術の一側面の情報処理装置は、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する機能管理部を備える。

本技術の他の側面の管理装置は、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信する配信部と、前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行う課金処理部と、前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、前記情報処理装置に送信する生成部とを備える。

本技術によれば、視野を自由に変えることができるコンテンツの視聴中に利用可能な機能を追加することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の一実施形態に係るコンテンツ配信システムの構成例を示す図である。 撮影空間の例を示す平面図である。 映像の画角の例を示す図である。 映像の画角の他の例を示す図である。 映像の例を示す図である。 視野の例を示す図である。 HMDの外観の例を示す斜視図である。 HMDを装着した状態を示す図である。 コンテンツ管理サーバの構成例を示すブロック図である。 コンテンツ管理サーバの機能構成例を示すブロック図である。 携帯端末の構成例を示すブロック図である。 携帯端末の機能構成例を示すブロック図である。 HMDの構成例を示すブロック図である。 コンテンツ管理サーバの課金処理について説明するフローチャートである。 携帯端末の機能追加処理について説明するフローチャートである。 携帯端末の再生処理について説明するフローチャートである。 映像のズームの例を示す図である。 課金を促す情報の表示例を示す図である。 HMDの表示処理について説明するフローチャートである。 携帯端末の他の再生処理について説明するフローチャートである。 図２０のステップＳ７０において行われる撮影画像購入処理について説明するフローチャートである。 料金の表示例を示す図である。 コンテンツ管理サーバの撮影画像生成処理について説明するフローチャートである。 視野の重複の例を示す図である。 HMDの形態の例を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．コンテンツ配信システムの構成
２．各機器の構成
・コンテンツ管理サーバの構成
・携帯端末の構成
・HMDの構成
３．各機器の動作
・ズーム機能の追加に関する処理
・ズーム機能を用いた再生処理
・撮影機能を用いた再生処理
４．変形例

＜コンテンツ配信システムの構成＞
図１は、本技術の一実施形態に係るコンテンツ配信システムの構成例を示す図である。

図１のコンテンツ配信システムは、コンテンツ管理サーバ１と、クライアント端末としての携帯端末２−１乃至２−３がインターネットなどのネットワーク４を介して接続されることによって構成される。

携帯端末２−１と携帯端末２−２はスマートフォンなどの端末であり、携帯端末２−３はPCである。このように、各種のデバイスがクライアント端末として用いられる。図１には３台のクライアント端末を示しているが、さらに多くの端末がネットワーク４に接続される。

携帯端末２−１乃至２−３には、それぞれ、有線または無線を介してHMD３−１乃至３−３が接続される。携帯端末２−１とHMD３−１のペア、携帯端末２−２とHMD３−２のペア、携帯端末２−３とHMD３−３のペアはそれぞれ異なるユーザにより用いられる。携帯端末２−１乃至２−３はコンテンツの再生装置として機能し、HMD３−１乃至３−３は、携帯端末により再生されたコンテンツの映像を表示する表示装置として機能する。

コンテンツ管理サーバ１は、複数のビデオコンテンツを管理し、クライアント端末のユーザにより選択されたビデオコンテンツを送信する。コンテンツ管理サーバ１が送信するビデオコンテンツは、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度であり、複数の位置で撮影された映像を含むコンテンツである。

コンテンツ管理サーバ１から送信されたビデオコンテンツを受信した例えば携帯端末２−１のユーザは、視点を選択し、選択した視点からの映像を、視野を変えて視聴することができる。コンテンツ管理サーバ１が送信するビデオコンテンツは、視点を変えることができるいわゆる自由視点コンテンツである。

HMD３−１乃至３−３には、加速度センサ、ジャイロセンサなどの、ヘッドトラッキング用のセンサが搭載されている。携帯端末２−１乃至２−３は、HMD３−１乃至３−３から送信されてくる情報に基づいて、HMD３−１乃至３−３を装着するユーザの視野を検出し、視野に応じて映像の表示範囲を切り替える。ユーザは、３６０度の画角全体のうちの、自分が顔を向けた方向にある一部の範囲の映像を見ることになる。

ここで、「視点」は、対象を見るユーザの立脚点である。また、「視野」は、ユーザが見ている範囲であり、ディスプレイに表示される映像の範囲（表示範囲）に相当する。「視線」は、ユーザの視野の方向であり、撮影空間における所定の方向を基準とした、映像の表示範囲の方向に相当する。

以下、コンテンツ管理サーバ１が送信する自由視点コンテンツの映像が、複数の歌手が出演するコンサートの映像である場合について説明する。演劇の映像、スポーツの映像、観光地の映像、CGの映像など、様々な自由視点コンテンツがコンテンツ管理サーバ１から送信されるようにすることが可能である。

図２は、自由視点コンテンツの撮影空間であるコンサート会場の例を示す平面図である。

コンサート会場にはステージ＃１が設けられ、ステージ＃１の前方（図２の下方）には観客フロア＃２が設けられる。ステージ＃１には人物Ｈ１，Ｈ２，Ｈ３の３人の歌手がいる。また、観客フロア＃２には多くの観客がいるものとする。被写体は、コンサート会場全体の風景となる。

位置Ｐ１乃至Ｐ３は映像の撮影位置である。位置Ｐ１乃至Ｐ３には、それぞれ、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像を撮影可能なカメラが設置される。撮影範囲の異なる複数のカメラがそれぞれの撮影位置に設置され、それらのカメラによって撮影された映像が合成されることによって、位置Ｐ１乃至Ｐ３を撮影位置とする３６０度の画角を有する映像が生成されるようにしてもよい。

白抜き矢印Ａ１乃至Ａ３は、位置Ｐ１乃至Ｐ３のそれぞれの位置における基準の方向を表す。図２の例においてはステージ＃１の方向が基準の方向になっている。

図３は、位置Ｐ１乃至Ｐ３で撮影される映像の画角の例を示す図である。

位置Ｐ１乃至Ｐ３において例えば広角レンズを真上に向けて撮影が行われた場合、図３に示すように、一点鎖線で示す光軸Ｌ１と天頂が交わる半天球状の範囲の映像が撮影される。図３の画角は、水平方向に３６０度、垂直方向に１８０度の画角となる。

図４に示すように、水平方向と垂直方向の両方の画角が３６０度となる全天球状の範囲の映像が位置Ｐ１乃至Ｐ３のそれぞれにおいて撮影されるようにしてもよい。ここで、全天球状の範囲の映像は、正距円筒図法を用いて、緯度・経度で表現する場合、水平方向３６０度、垂直方向１８０度と表現することもあるが、ここでは、図３の半天球状の範囲と区別するために、水平方向と垂直方向の両方の画角が３６０度としている。

以下、説明の便宜上、位置Ｐ１乃至Ｐ３において撮影される映像が、図３に示す半天球状の範囲の映像である場合について説明する。

図５Ａ乃至Ｃは、位置Ｐ１乃至Ｐ３で撮影される映像の例を示す図である。

図５Ａ乃至Ｃの半天球は、位置Ｐ１乃至Ｐ３のそれぞれにおいて撮影された動画の１フレームの映像全体を表す。

図５Ａに示すように、位置Ｐ１においては、白抜き矢印Ａ１で示すステージ＃１の方向に人物Ｈ１が大きく映り、人物Ｈ１の右側に、人物Ｈ２が人物Ｈ１より小さく映る動画が撮影される。人物Ｈ２の右側には人物Ｈ３がさらに小さく映ることになる。ステージ＃１の反対の方向には、ステージ＃１の方向を向いている観客が映る。

図５Ｂに示すように、位置Ｐ２においては、白抜き矢印Ａ２で示すステージ＃１の方向に人物Ｈ３が大きく映り、人物Ｈ３の左側に、人物Ｈ２が人物Ｈ３より小さく映る動画が撮影される。人物Ｈ２の左側には人物Ｈ１がさらに小さく映ることになる。ステージ＃１の反対の方向には、ステージ＃１の方向を向いている観客が映る。

図５Ｃに示すように、位置Ｐ３においては、白抜き矢印Ａ３で示す方向の奥側にステージ＃１全体が写り、その手前に、ステージ＃１の方向を向いている観客の後ろ姿が映る動画が撮影される。

図６は、位置Ｐ１における視野の例を示す図である。

図６の球面上に破線で示す枠Ｆ１の範囲が、例えばHMD３−１の表示範囲、すなわちHMD３−１のユーザの視野を示す。HMD３−１においては、枠Ｆ１で示す範囲内の動画が表示される。

ユーザが頭を動かすことに応じて矢印で示すように枠Ｆ１が移動し、HMD３−１のディスプレイに表示される範囲も切り替わる。視野の範囲を表す枠の形状と大きさが、各クライアント端末が有するディスプレイの縦横比と視野角に応じて変わることになる。

ここで、ユーザの視野は、位置Ｐ１の撮影空間上における位置（座標）、基準の方向に対する枠Ｆ１の方向、および、枠Ｆ１の画角により特定される。コンテンツ管理サーバ１は、ユーザが選択した視点の位置、自由視点コンテンツの再生中にHMD３−１により検出された視線の方向、および、HMD３−１が有するディスプレイの画角に基づいて、ユーザの視野を特定することが可能となる。

なお、ここでは、視点の数が３つであるものとして説明しているが、視点の数は１つであってもよいし、４つ以上であってもよい。コンテンツ管理サーバ１が配信する自由視点コンテンツには、１つ、または複数の視点から撮影した映像のビデオストリームが含まれる。ユーザが選択した視点に応じて、クライアント端末において再生されるビデオストリームが切り替えられる。視点の切り替えは、ある視点のビデオストリームの再生中に行うことも可能とされる。

また、複数の位置から撮影された映像を合成することによって生成された完全自由視点コンテンツがコンテンツ管理サーバ１から配信されるようにしてもよい。完全自由視点コンテンツは、撮影空間の任意の位置を視点として選択することが可能なコンテンツである。

図１の説明に戻り、携帯端末２−１乃至２−３は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツを受信し、再生する。携帯端末２−１乃至２−３は、再生することによって得られた自由視点コンテンツの映像をHMD３−１乃至３−３に送信し、内蔵するディスプレイに表示させる。

図７は、HMD３−１の外観の例を示す斜視図である。

図７に示すように、HMD３−１はいわゆる没入型のHMDであ。HMD３−１は、上方視において略放物線形状となる本体１１、ヘッドパッド１２、上側ヘッドバンド１３、および下側ヘッドバンド１４から構成される。ヘッドパッド１２は本体１１の上面に固定され、略Ｕ字状の上側ヘッドバンド１３と下側ヘッドバンド１４は本体１１の後方に取り付けられる。

本体１１の内部にはディスプレイが設けられる。また、本体１１には、右側面と上面に跨る形でタッチセンサ２１Ａが設けられる。図示を一部省略しているが、タッチセンサ２１Ａと対称の位置には、左側面と上面に跨る形でタッチセンサ２１Ｂが設けられる。

図８は、HMD３−１を装着した状態を示す図である。

図８に示すように、HMD３−１をユーザが装着したとき、本体１１は、ユーザの目の前方に位置し、ヘッドパッド１２はユーザの額に密着する。上側ヘッドバンド１３は後頭部上方を固定し、下側ヘッドバンド１４は後頭部下方を固定する。

タッチセンサ２１Ａとタッチセンサ２１Ｂの位置は、ユーザが本体１１を両手で把持したときに、ユーザの手が触れる位置となる。ユーザは、自由視点コンテンツの視聴中、右手でタッチセンサ２１Ｂに触れ、左手でタッチセンサ２１Ａに触れることによって各種の操作を行うことができる。

HMD３−１乃至３−３は、自由視点コンテンツの再生中、ユーザの頭部の姿勢を検出し、検出した姿勢を表す姿勢情報を携帯端末２−１乃至２−３に送信する。携帯端末２−１乃至２−３においては、頭部の姿勢に応じて映像の表示範囲が切り替えられ、切り替え後の表示範囲の映像がHMD３−１乃至３−３に対して送信される。

図６を参照して説明したように、携帯端末２−１乃至２−３は、例えばユーザが顔を右に向けたとき、視点の位置をそのままに映像の表示範囲を右方向に移動させ、左に向けたとき、視点の位置をそのままに映像の表示範囲を左方向に移動させる。また、携帯端末２−１乃至２−３は、ユーザが顔を上に向けたとき、視点の位置をそのままに映像の表示範囲を上方向に移動させ、下に向けたとき、視点の位置をそのままに映像の表示範囲を下方向に移動させる。携帯端末２−１乃至２−３は、例えばユーザが頭を右に傾けたとき、視点の位置と視線の方向をそのままに映像の表示範囲を右に回転させ、左に傾けたとき、視点の位置と視線の方向をそのままに映像の表示範囲を左に回転させる。

図１の例においては、HMD３−１乃至３−３のユーザは、それぞれ異なる視野の映像である映像Ｖ１乃至Ｖ３を視聴しているものとされている。

コンテンツ管理サーバ１から配信された自由視点コンテンツは、このような形で、各クライアント端末のユーザにより視聴される。

携帯端末２−１乃至２−３は、自由視点コンテンツの視聴中にユーザが利用できる各種の機能を、コンテンツ管理サーバ１による制御に従って追加する。追加される機能は、例えば、自由視点コンテンツの映像を用いて実現される機能である。

例えば、携帯端末２−１乃至２−３は、自由視点コンテンツの視聴中に、視聴している映像を拡大して表示させる機能であるズーム機能を追加する。携帯端末２−１乃至２−３のユーザは、ズーム機能を利用することにより、視聴中の映像に含まれる、自分が見たいと思った部分を拡大して見ることができる。

また、携帯端末２−１乃至２−３は、自由視点コンテンツの視聴中に、視聴している映像を静止画として保存する機能である撮影機能を追加する。携帯端末２−１乃至２−３のユーザは、撮影機能を利用することにより、視聴中の映像を、あたかも自分が持っているカメラで撮影したかのように静止画として残しておくことができる。

機能の追加は、新たなプログラムをインストールすることによって行われるようにしてもよいし、機能の制限を解除することによって行われるようにしてもよい。機能の追加には課金が必要とされる。

各機能を追加して自由視点コンテンツを再生する各機器の一連の処理については後述する。

＜各機器の構成＞
・コンテンツ管理サーバの構成
図９は、コンテンツ管理サーバ１の構成例を示すブロック図である。

CPU(Central Processing Unit)３１、ROM(Read Only Memory)３２、RAM(Random Access Memory)３３は、バス３４により相互に接続されている。

バス３４には、さらに、入出力インタフェース３５が接続される。入出力インタフェース３５には、ディスプレイ３６と入力部３７が接続される。入力部３７は、キーボード、マウスなどであり、コンテンツ管理サーバ１の管理者により用いられる。

また、入出力インタフェース３５には、ハードディスクや不揮発性のメモリなどよりなる記録部３８、ネットワークインタフェースであり、ネットワーク４を介して他の機器と通信を行う通信部３９が接続される。入出力インタフェース３５には、リムーバブルメディア４１を駆動するドライブ４０も接続される。

図１０は、コンテンツ管理サーバ１の機能構成例を示すブロック図である。

図１０に示す機能部のうちの少なくとも一部は、CPU３１により所定のプログラムが実行されることによって実現される。図１０に示すように、コンテンツ管理サーバ１においては、コンテンツ配信部５１、コンテンツデータベース５２、課金処理部５３、および撮影画像生成部５４が実現される。コンテンツデータベース５２は記録部３８において実現される。

コンテンツ配信部５１は、通信部３９を制御し、自由視点コンテンツの配信を管理する。コンテンツ配信部５１は、自由視点コンテンツの配信を要求する情報がクライアント端末から送信されてきたとき、要求された自由視点コンテンツをコンテンツデータベース５２から読み出し、クライアント端末に送信する。

コンテンツデータベース５２は、複数の自由視点コンテンツを記録する。コンテンツデータベース５２に記録された自由視点コンテンツは、配信に用いられるだけでなく、撮影機能により保存しておく静止画の生成に用いられる。

課金処理部５３は、クライアント端末の機能追加時の課金を管理する。課金処理部５３は、ズーム機能の追加を要求する情報がクライアント端末から送信されてきたとき、課金処理を行う。例えば、課金額はズーム倍率によって変化する。課金処理部５３は、課金処理が終了したとき、クライアント端末に課金情報を送信する。課金情報は、ズーム機能の利用を許可することを表す情報であり、クライアント端末において管理される。

また、課金処理部５３は、撮影機能の追加を要求する情報である撮影情報がクライアント端末から送信されてきたとき、課金処理を行う。撮影情報には、ユーザが視聴している自由視点コンテンツの識別情報、ユーザが撮影操作を行ったときの自由視点コンテンツの時刻を表す時刻情報、およびユーザが撮影操作を行ったときのユーザの視野を表す視野情報が含まれる。例えば、課金額は、自由視点コンテンツの種類によって、または、ユーザの視野によって変化する。課金処理部５３は、課金処理が終了したとき、課金が終了したことを表す情報を撮影画像生成部５４に出力する。

撮影画像生成部５４は、課金処理が終了したとき、クライアント端末から送信されてきた撮影情報に基づいて、撮影機能によって取得される静止画である撮影画像を生成する。

例えば、撮影画像生成部５４は、撮影情報に含まれる識別情報に基づいて、ユーザが視聴していた自由視点コンテンツを特定し、コンテンツデータベース５２から読み出す。また、撮影画像生成部５４は、ユーザが撮影操作を行った時刻における視野を撮影情報に含まれる時刻情報と視野情報に基づいて特定し、特定した視野を含む静止画を自由視点コンテンツの映像から切り出すことによって、撮影画像を生成する。撮影画像生成部５４は、通信部３９を制御し、生成した撮影画像をクライアント端末に送信する。

・携帯端末の構成
図１１は、携帯端末２−１の構成例を示すブロック図である。

CPU６１、ROM６２、RAM６３は、バス６４により相互に接続されている。バス６４には、さらに、入出力インタフェース６５が接続される。入出力インタフェース６５には、ディスプレイ６６と入力部６７が接続される。入力部６７は、ディスプレイ６６に積層して設けられるタッチパネルであり、HMD３−１を装着したユーザにより操作される。また、入出力インタフェース３５には、記録部６８、ネットワーク通信部６９、および近距離通信部７０が接続される。

記録部６８は、不揮発性のメモリなどよりなり、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツや、コンテンツ管理サーバ１により生成された撮影画像などの各種のデータを記録する。

ネットワーク通信部６９は、ネットワーク４を介してコンテンツ管理サーバ１と通信を行う。

近距離通信部７０は、MHL(Mobile High-definition Link)などの有線による通信、あるいは、Wireless HDMI（登録商標）(High-Definition Multimedia Interface)などの無線による通信を用いて、自由視点コンテンツの映像をHMD３−１に出力する。また、近距離通信部７０は、無線LANなどを用いてHMD３−１と通信を行い、各種の情報の送受信を行う。

図１２は、携帯端末２−１の機能構成例を示すブロック図である。

図１２に示す機能部のうちの少なくとも一部は、CPU６１により所定のプログラムが実行されることによって実現される。図１２に示すように、携帯端末２−１においては、再生部７１、視野検出部７２、表示制御部７３、機能管理部７４、課金・撮影情報記録部７５、およびUI状態検出部７６が実現される。

再生部６１は、コンテンツ管理サーバ１から送信され、ネットワーク通信部６９において受信された自由視点コンテンツを再生する。再生部６１は、例えば、自由視点コンテンツに含まれる、ユーザにより選択された視点の映像のビデオストリームをデコードし、デコードして得られたデータを表示制御部７３に出力する。

視野検出部７２は、HMD３−１から送信されてきた姿勢情報に基づいてユーザの視野を検出し、検出した視野を表す視野情報を表示制御部７３と機能管理部７４に出力する。HMD３−１から送信されてくる姿勢情報には、HMD３−１を装着するユーザの頭部の動きを表す、角速度、加速度などのセンサデータが含まれる。視野の検出は、自由視点コンテンツの再生中、繰り返し行われる。

表示制御部７３は、近距離通信部７０を制御し、再生部７１から供給された自由視点コンテンツの映像をHMD３−１に送信し、表示させる。また、表示制御部７３は、視野検出部７２により検出された視野に応じて映像の表示範囲を切り替える。

機能管理部７４は、ネットワーク通信部６９を制御してコンテンツ管理サーバ１と通信を行い、自由視点コンテンツの視聴中に利用可能な機能を管理する。

例えば、機能管理部７４は、ズーム機能を追加することがユーザにより指示された場合、ズーム機能の追加を要求する情報をコンテンツ管理サーバ１に送信し、課金処理を行う。機能管理部７４が送信するズーム機能の追加の要求には、ユーザのクレジットカード番号の情報、ユーザが選択したズーム倍率を表す情報などが含まれる。機能管理部７４は、課金処理が終わることに応じてコンテンツ管理サーバ１から送信されてきた課金情報を受信し、課金・撮影情報記録部７５に記録させる。

また、機能管理部７４は、自由視点コンテンツの再生中にズーム操作が行われた場合、ユーザにより行われたズーム操作が、許可されている倍率のズーム操作であるか否かを課金・撮影情報記録部７５に記録されている課金情報を参照して判定する。機能管理部７４は、ユーザにより行われたズーム操作が許可されている場合、表示範囲のズームを表示制御部７３に行わせる。

機能管理部７４は、自由視点コンテンツの再生中に撮影操作が行われた場合、撮影情報を課金・撮影情報記録部７５に記録させる。撮影情報には、自由視点コンテンツの識別情報、再生時刻を表す時刻情報、および視野検出部７２から供給された視野情報が含まれる。

機能管理部７４は、課金・撮影情報記録部７５に記録させておいた撮影情報を自由視点コンテンツの再生が終了したタイミングなどの所定のタイミングで読み出し、コンテンツ管理サーバ１に送信する。機能管理部７４は、課金処理を行い、課金処理が終わることに応じてコンテンツ管理サーバ１から送信されてきた撮影画像を受信する。撮影画像は、記録部６８に記録され、適宜、表示制御部７３によってHMD３−１に表示される。

課金・撮影情報記録部７５は、機能管理部７４から供給された課金情報と撮影情報を記録する。

UI状態検出部７６は、HMD３−１から送信され、近距離通信部７０において受信されたUI状態情報に基づいてユーザの操作を検出する。HMD３−１からは、自由視点コンテンツ視聴中のユーザの操作などを表すUI状態情報が繰り返し送信されてくる。例えば、UI状態検出部７６は、ズーム操作または撮影操作が行われたことを検出した場合、そのことを表す情報を機能管理部７４に出力する。

以上のような携帯端末２−１の構成と同じ構成を携帯端末２−２，２−３も有している。

・HMDの構成
図１３は、HMD３−１の構成例を示すブロック図である。

HMD３−１は、制御部９１、UI部９２、画像処理部９３、ディスプレイ９４、データ送受信部９６、センサ９７、および音声再生部９８がバス９５を介して接続されることによって構成される。図１３に示す構成と同じ構成をHMD３−２，３−３も有する。

制御部９１は、CPU、ROM、RAMなどより構成される。制御部９１は、所定のプログラムを実行し、HMD３−１の全体の動作を制御する。

UI部９２は、タッチセンサ２１Ａ，２１Ｂに対するユーザの操作や、HMD３−１に設けられた図示せぬボタンなどに対する操作を検出する。UI部９２は、検出した操作の内容を表すUI状態情報をデータ送受信部９６に出力する。

画像処理部９３は、データ送受信部９６から供給されたビデオデータを処理し、自由視点コンテンツの映像をディスプレイ９４に表示させる。

ディスプレイ９４は、LCDや有機ELディスプレイなどであり、自由視点コンテンツの映像を表示する。ディスプレイ９４に表示された映像は、レンズ等の光学部を介してユーザの目に導かれる。

データ送受信部９６は、携帯端末２−１との間で通信を行い、携帯端末２−１から送信されてきた自由視点コンテンツのビデオデータを画像処理部９３に、音声データを音声再生部９８にそれぞれ出力する。また、データ送受信部９６は、UI部９２から供給されたUI状態情報とセンサ９７から供給された姿勢情報を携帯端末２−１に送信する。

センサ９７は、ジャイロセンサ、加速度センサなどにより構成される。センサ９７は、自由視点コンテンツの再生中、角速度、加速度の検出を行い、姿勢情報をデータ送受信部９６に出力する。

音声再生部９８は、データ送受信部９６から供給された音声データを処理し、自由視点コンテンツの音声を、図示せぬスピーカやHMD３−１に接続されたヘッドフォンから出力させる。

＜各機器の動作＞
ここで、以上のような構成を有する各機器の動作について説明する。以下においては、クライアント端末の処理として携帯端末２−１の処理について説明するが、同様の処理が携帯端末２−２，２−３においても行われる。

・ズーム機能の追加に関する処理
はじめに、図１４のフローチャートを参照して、ズーム機能の追加に関する課金を行うコンテンツ管理サーバ１の処理について説明する。

ステップＳ１において、コンテンツ管理サーバ１の課金処理部５３は、例えば携帯端末２−１から送信されてきた、ズーム機能の追加の要求を表す情報を受信する。クライアント端末から送信されてくる情報には、携帯端末２−１の利用者が選択した最大のズーム倍率を表す情報と、課金に用いられるクレジットカード番号などの情報が含まれる。

ステップＳ２において、課金処理部５３は課金処理を行う。最大のズーム倍率が高いほど金額が高くなるといったように、課金処理部５３は、例えばズーム倍率に応じた金額の課金を行う。

課金処理が終了した場合、ステップＳ３において、課金処理部５３は、課金情報を携帯端末２−１に送信し、処理を終了させる。課金情報には、例えば「５倍までズーム可」、「１０倍までズーム可」といったように、許可された最大のズーム倍率を表す情報が含まれる。

次に、図１５のフローチャートを参照して、ズーム機能を追加する携帯端末２−１の処理について説明する。図１５の処理は、図１４の処理に対応して行われる処理である。

ステップＳ１１において、携帯端末２−１の機能管理部７４は、ズーム機能の追加の要求を表す情報をコンテンツ管理サーバ１に送信する。最大のズーム倍率の選択やクレジットカード番号などの入力は、例えばディスプレイ６６に表示される画面を用いて行われる。

ステップＳ１２において、機能管理部７４は、コンテンツ管理サーバ１から送信されてきた課金情報を受信する。

ステップＳ１３において、機能管理部７４は、課金情報を課金・撮影情報記録部７５に記録させ、処理を終了させる。

以上の処理により、携帯端末２-１にズーム機能が追加された状態になる。

・ズーム機能を用いた再生処理
次に、図１６のフローチャートを参照して、ズーム機能を用いて自由視点コンテンツを再生する携帯端末２−１の処理について説明する。

例えば、図１６の処理は、携帯端末２−１のユーザが選択した自由視点コンテンツがコンテンツ管理サーバ１から送信されてきたときに開始される。自由視点コンテンツの選択は、例えば、携帯端末２−１のディスプレイ６６に表示されるメニュー画面を用いて行われる。

ステップＳ２１において、携帯端末２−１のネットワーク通信部６９は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツを受信する。自由視点コンテンツの送信はストリーミング形式で行われるようにしてもよいし、ダウンロード形式で行われるようにしてもよい。

ステップＳ２２において、再生部７１は、ユーザにより選択された視点の映像のビデオストリームを再生する。ビデオストリームを再生して得られた映像のデータは表示制御部７３に順次供給される。視点の選択は、視点の一覧が表示されるメニュー画面を用いて行われるようにしてもよいし、自由視点コンテンツの視聴中に所定の操作によって行われるようにしてもよい。

ステップＳ２３において、視野検出部７２は、HMD３−１から送信されてきた姿勢情報を受信する。視野検出部７２は、ユーザの視野を姿勢情報に基づいて検出し、視野情報を出力する。

ステップＳ２４において、表示制御部７３は、視野検出部７２により検出された視野に応じた映像をHMD３−１に送信し、表示させる。これにより、HMD３−１のディスプレイ９４には、ユーザにより選択された視点において視聴可能な映像全体のうち、ユーザの視野に応じた一部の範囲の映像が表示される。

ステップＳ２５において、UI状態検出部７６は、HMD３−１から送信されてきたUI状態情報を受信する。携帯端末２−１の入力部６７に対する操作の内容を表す情報も、UI状態情報としてUI状態検出部７６に入力される。

ステップＳ２６において、UI状態検出部７６は、UI状態、すなわちユーザによる操作を確認する。

ステップＳ２７において、UI状態検出部７６は、ズーム操作が行われたか否かを判定する。ズーム操作が行われていないとステップＳ２７において判定された場合、ステップＳ２１に戻り、以上の処理が行われる。

ズーム操作は、例えば、図８を参照して説明したようにHMD３−１の本体１１をユーザが両手で把持することによって行われる。HMD３−１のUI部９２は、本体１１をユーザが両手で把持していることをタッチセンサ２１Ａ，２１Ｂの出力に基づいて検出した場合、ズーム操作が行われたことを表すUI状態情報を携帯端末２−１に送信する。ユーザは、自由視点コンテンツの視聴中に、あたかも双眼鏡を持つような動作をとることによってズーム操作を行うことができる。

また、ズーム操作は、HMD３−１に設けられたボタンを押す、リングを回すなどの動作により行われる。HMD３−１のUI部９２は、HMD３−１に設けられたインタフェースに対するユーザの各種の操作を検出し、ズーム操作が行われたことを表すUI状態情報を携帯端末２−１に送信する。

自由視点コンテンツ視聴中の目の動きによってズーム操作を行うことができるようにしてもよい。この場合、HMD３−１の本体１１には、HMD３−１を装着したユーザの目の付近を撮影可能なカメラが設けられる。制御部９１は、カメラによって撮影されたユーザの目の画像を解析することによってユーザの視線を特定し、一点を凝視しているとき、ズーム操作が行われたことを表すUI状態情報を携帯端末２−１に送信する。映像の拡大処理は、ユーザが凝視している一点を中心として行われる。ユーザが視線を他の位置に移動させたとき、ズームは解除され、映像の表示はズーム前の状態に戻る。

携帯端末２−１のディスプレイ６６に対するピンチイン／ピンチアウトがズーム操作として行われるようにすることも可能である。ディスプレイ６６に対するピンチイン／ピンチアウトの操作はタッチパネルである入力部６７により検出され、ズーム操作が行われたことを表すUI状態情報がUI状態検出部７６に供給される。ユーザは、HMD３−１を装着して自由視点コンテンツを視聴しながら、一方の手で携帯端末２−１を持ち、他方の手でディスプレイ６６表面を操作することになる。

ズーム操作が行われたとステップＳ２７において判定された場合、ステップＳ２８において、機能管理部７４は、課金・撮影情報記録部７５に記録されている課金情報を確認する。

ステップＳ２９において、機能管理部７４は、ズーム処理が許可されているか否かを課金情報に基づいて判定する。

例えば、２倍までのズーム処理は課金を行わないでも可能とされる。ズーム操作によって指示されたズーム倍率が２倍以上である場合、指示されたズーム倍率が、許可されている最大の倍率以下であるか否かが課金情報を参照して判定される。上述したように、課金情報には、許可された最大のズーム倍率を表す情報が含まれる。

ズーム操作によって指示されたズーム倍率が２倍以下である場合、または、指示されたズーム倍率が、許可されている最大のズーム倍率以下である場合、ズーム処理が許可されていると判定される。

ズーム処理が許可されているとステップＳ２９において判定された場合、ステップＳ３０において、表示制御部７３はズーム処理を行う。ズーム処理が許可されていると判定された場合、ズーム倍率を指定する情報が機能管理部７４から表示制御部７３に供給される。

ステップＳ３１において、表示制御部７３は、ズーム処理によって得られたズーム後の映像をHMD３−１に送信し、ディスプレイ９４に表示させる。

図１７は、映像のズームの例を示す図である。

表示制御部７３は、ズーム操作が行われたタイミングにおける視野の中心である位置Ｐを固定として、ユーザにより指定されたズーム倍率で映像を拡大させる。図１７の左側はズーム前の映像であり、右側はズーム後の映像である。図１７の例においては、ズーム前の映像のうち、一点鎖線Ｌで囲んで示す、位置Ｐを中心とした範囲が拡大されている。

映像のズームに伴って、拡大した被写体に近い位置を音源位置とする音声が大きくなるように、音場の調整が行われるようにしてもよい。音場の調整はHMD３−１の音声再生部９８により行われる。

ステップＳ３２において、再生部７１は、再生終了か否かを判定する。再生終了ではないとステップＳ３２において判定された場合、ステップＳ２１に戻り、以上の処理が行われる。

ズーム処理が許可されていないとステップＳ２９において判定され、ステップＳ３３においてズームエラー処理が行われた後も同様に、ステップＳ２１に戻り、以上の処理が行われる。

例えば課金処理が行われていないためにズーム処理が許可されていないと判定した場合、表示制御部７３は、ズームエラー処理として、課金を促す情報をHMD３−１に送信し、ディスプレイ９４に表示させる。

また、ユーザにより指示されたズーム倍率が、許可されている最大のズーム倍率を超えている場合、表示制御部７３は、ズームエラー処理として、そのことを表す情報をHMD３−１に送信し、ディスプレイ９４に表示させる。ズームエラー処理が行われるのではなく、許可されている最大の倍率の範囲内でズーム処理が行われるようにしてもよい。

図１８は、課金を促す情報の表示例を示す図である。

図１８の例においては、自由視点コンテンツの映像に重ねて、ズームが禁止されていることと、ズーム機能を利用するためには課金が必要であることを表すメッセージが表示されている。

図１６の説明に戻り、ステップＳ３２において再生終了であると判定した場合、再生部７１は処理を終了させる。ズーム処理を行う前においても、適宜、自由視点コンテンツの再生終了に応じて処理は終了となる。

以上においては、ズーム処理が許可されているか否かが、課金・撮影情報記録部７５に記録されている課金情報に基づいて判定されるものとしたが、コンテンツ管理サーバ１に対して問い合わせが行われ、コンテンツ管理サーバ１において管理されている情報に基づいて判定されるようにしてもよい。

次に、図１９のフローチャートを参照して、自由視点コンテンツの映像を表示するHMD３−１の処理について説明する。図１９の処理は、携帯端末２−１による図１６の処理に対応して行われる処理である。

ステップＳ４１において、センサ９７は、ユーザの頭部の姿勢を検出し、姿勢情報をデータ送受信部９６に出力する。

ステップＳ４２において、データ送受信部９６は、センサ９７から供給された姿勢情報を携帯端末２−１に送信する。

ステップＳ４３において、データ送受信部９６は、携帯端末２−１から送信されてきた、ユーザの視野に応じた映像を受信し、画像処理部９３に出力する。

ステップＳ４４において、画像処理部９３は、供給された映像に対して所定の処理を施し、ディスプレイ９４に表示させる。

ステップＳ４５において、UI部９２は、タッチセンサ２１Ａ，２１Ｂに対するユーザの操作、HMD３−１に設けられたボタンに対する操作などに基づいてUI状態を検出し、UI状態情報をデータ送受信部９６に出力する。

ステップＳ４６において、データ送受信部９６は、UI部９２から供給されたUI状態情報を携帯端末２−１に送信する。

ステップＳ４７において、制御部９１は、自由視点コンテンツの再生が終了したか否かを判定し、終了していないと判定した場合、ステップＳ４１に戻り、以上の処理を繰り返す。一方、自由視点コンテンツの再生が終了したとステップＳ４７において判定した場合、制御部９１は処理を終了させる。

以上の一連の処理により、ユーザは、自由視点コンテンツの視聴中に利用することができる機能としてズーム機能を追加することができる。また、ユーザは、ズーム機能を追加しておくことにより、自由視点コンテンツの視聴中にズーム機能を利用し、映像の一部を拡大して見ることができる。

・撮影機能を用いた再生処理
次に、図２０のフローチャートを参照して、撮影機能を用いて自由視点コンテンツを再生する携帯端末２−１の処理について説明する。

図２０のステップＳ６１乃至Ｓ６６の処理は、図１６のステップＳ２１乃至Ｓ２６の処理と同様の処理である。重複する説明については適宜省略する。図２０の処理においても、図１６の処理と同様にしてユーザがズーム機能を利用することができるようにしてもよい。

ステップＳ６１において、携帯端末２−１のネットワーク通信部６９は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツを受信する。

ステップＳ６２において、再生部７１は、ユーザにより選択された視点の映像のビデオストリームを再生する。ビデオストリームを再生して得られた映像のデータは表示制御部７３に順次供給される。

ステップＳ６３において、視野検出部７２は、HMD３−１から送信されてきた姿勢情報を受信する。視野検出部７２は、ユーザの視野を姿勢情報に基づいて検出し、視野情報を出力する。

ステップＳ６４において、表示制御部７３は、視野検出部７２により検出された視野に応じた映像をHMD３−１に送信し、表示させる。

ステップＳ６５において、UI状態検出部７６は、HMD３−１から送信されてきたUI状態情報を受信する。携帯端末２−１の入力部６７に対する操作の内容を表す情報も、UI状態情報としてUI状態検出部７６に入力される。

ステップＳ６６において、UI状態検出部７６はUI状態を確認する。

ステップＳ６７において、UI状態検出部７６は、撮影操作が行われたか否かを判定する。

撮影操作は、例えば、HMD３−１に設けられたボタンを押すなどの動作により行われる。HMD３−１のUI部９２は、HMD３−１に設けられたインタフェースに対するユーザの操作を検出し、撮影操作が行われたことを表すUI状態情報を携帯端末２−１に送信する。HMD３−１に接続された外部コントローラを用いて撮影操作が行われるようにしてもよい。

携帯端末２−１のディスプレイ６６に対する操作によって撮影操作が行われるようにすることも可能である。ディスプレイ６６に対する操作は入力部６７により検出され、撮影操作が行われたことを表すUI状態情報がUI状態検出部７６に供給される。

撮影操作が行われたとステップＳ６７において判定した場合、ステップＳ６８において、機能管理部７４は、撮影情報を課金・撮影情報記録部７５に記録する。撮影情報には、自由視点コンテンツの識別情報、時刻情報、視野検出部７２から供給された視野情報が含まれる。

ステップＳ６９において、再生部７１は、再生終了か否かを判定する。再生終了ではないとステップＳ６９において判定された場合、ステップＳ６１に戻り、以上の処理が行われる。

撮影操作が行われていないとステップＳ６７において判定された場合も同様に、ステップＳ６１に戻り、以上の処理が行われる。

一方、再生終了であるとステップＳ６９において判定された場合、ステップＳ７０において、機能管理部７４は撮影画像購入処理を行う。撮影画像購入処理は、撮影画像に関する課金処理を行い、コンテンツ管理サーバ１から送信されてきた撮影画像を取得する処理である。自由視点コンテンツの再生終了後に行われるのではなく、撮影操作が行われる毎に撮影画像購入処理が行われるようにしてもよい。

撮影画像購入処理が行われた後、再生部７１は処理を終了させる。撮影操作が行われていない場合においても、適宜、自由視点コンテンツの再生終了に応じて処理は終了となる。なお、HMD３−１においては、図１９を参照して説明した処理が、図２０の処理に対応して行われる。

次に、図２１のフローチャートを参照して、図２０のステップＳ７０において行われる撮影画像購入処理について説明する。

ステップＳ８１において、機能管理部７４は、課金・撮影情報記録部７５から撮影情報を読み出し、コンテンツ管理サーバ１に送信する。撮影情報には、撮影画像の解像度を指定する情報が付加される。コンテンツ管理サーバ１においては、撮影情報などに基づいて撮影画像の料金が算出される。算出された料金を表す料金情報は、コンテンツ管理サーバ１から携帯端末２−１に対して送信される。

ステップＳ８２において、機能管理部７４は、コンテンツ管理サーバ１から送信されてきた料金情報を受信し、表示制御部７３に出力する。

ステップＳ８３において、表示制御部７３は、料金の情報をHMD３−１に送信し、ディスプレイ９４に表示させる。

図２２は、料金の表示例を示す図である。

図２２の例においては、撮影画像を購入するための料金が５００円であることを表すメッセージが表示されている。メッセージの下には、購入するときに操作されるボタンと購入しないときに操作されるボタンが表示される。ユーザは、HMD３−１のボタンを用いるなどして、ディスプレイ９４に表示されたボタンを押し、購入するか否かを選択する。ユーザの選択内容を表す情報は、UI状態情報としてUI状態検出部７６から機能管理部７４に供給される。

撮影画像を購入することが指示された場合、ステップＳ８４において、機能管理部７４は、撮影画像の購入を要求する情報をコンテンツ管理サーバ１に送信し、課金処理を行う。撮影画像の購入の要求には、ユーザのクレジットカード番号の情報などが含まれる。

課金が終了したとき、コンテンツ管理サーバ１においては、撮影画像が生成される。生成された撮影画像は、コンテンツ管理サーバ１から携帯端末２−１に対して送信される。

ステップＳ８５において、機能管理部７４は、コンテンツ管理サーバ１から送信されてきた撮影画像を受信し、記録部６８に保存するとともに、表示制御部７３に出力する。

ステップＳ８６において、表示制御部７３は、撮影画像をHMD３−１に送信し、ディスプレイ９４に表示させる。その後、図２０のステップＳ７０に戻り、それ以降の処理が行われる。

このように、撮影画像の保存は、課金処理の後に行われる。視聴している映像を静止画として保存する機能である撮影機能は、課金処理が行われることに応じて最終的に実現されることになる。

次に、図２３のフローチャートを参照して、撮影画像を生成するコンテンツ管理サーバ１の処理について説明する。

ステップＳ１０１において、コンテンツ管理サーバ１の課金処理部５３は、携帯端末２−１から送信されてきた撮影情報を受信する。撮影情報には、ユーザが選択した解像度を指定する情報が付加される。

例えば、コンテンツ管理サーバ１が配信する自由視点コンテンツがリアルタイムのコンテンツであり、複数の携帯端末において同じ自由視点コンテンツの視聴が行われていた場合、それぞれの携帯端末において記録されていた撮影情報が送信されてくる。

ステップＳ１０２において、課金処理部５３は、撮影画像の料金を撮影情報に基づいて算出する。

課金処理部５３は、例えば、撮影画像として保存することが指示された視野の人気度を複数の携帯端末から送信されてきた撮影情報に基づいて特定し、人気度に応じた料金を算出する。人気度が低い視野を切り出した撮影画像より、人気度が高い視野を切り出した撮影画像の方が、高い料金が設定される。人気度は視野の重複数により求められる。撮影情報に含まれる時刻情報と視野情報に基づいて、撮影操作が行われたタイミングにおけるユーザの視野が特定される。

図２４は、視野の重複の例を示す図である。

図２４は、自由視点コンテンツの再生中の所定の時刻における、所定の視点の映像を平面に展開したときの人物Ｈ１乃至Ｈ３と、４つの携帯端末のユーザの視野を示している。すなわち、この例においては、同じ時刻に、４人のユーザが撮影機能を利用したものとされている。

長方形の枠Ｆ１１乃至Ｆ１４はそれぞれのユーザが使うHMDの表示範囲を表す。それぞれのHMDの表示範囲は、ユーザの頭部の姿勢に応じて位置が異なるとともに、ズーム倍率などに応じて大きさが異なる。

例えば、枠Ｆ１１の左側には人物Ｈ１の一部が入り、右側には人物Ｈ２が入っている。この場合、ユーザは、左側に人物Ｈ１が入り、右側に人物Ｈ２が入るような視野で自由視点コンテンツを視聴していたときに撮影操作を行ったことになる。

斜線を付して示す領域Ａ１は、枠Ｆ１１乃至Ｆ１４が重なっている領域である。領域Ａ１の視野の重複数は４となる。

領域Ａ１の上側に位置する横長の長方形の領域Ａ２は、枠Ｆ１１，Ｆ１２，Ｆ１４が重なっている領域であり、視野の重複数は３となる。また、領域Ａ１の右上に位置する小さい長方形の領域Ａ３は、枠Ｆ１２，Ｆ１４が重なっている領域であり、視野の重複数は２となる。領域Ａ４乃至Ａ１１についても同様に視野の重複数が求められる。一定の面積以上重複している視野のみが、重複する視野として処理されるようにしてもよい。

このように、課金処理部５３は、撮影情報に基づいて、撮影操作を行った複数のユーザの視野の重複数を時刻毎に求める。課金処理部５３は、重複数が２乃至１００となる視野を含む撮影画像については１枚あたり１００円、重複数が１０１乃至２００となる視野を含む撮影画像については１枚あたり２００円といったように、重複数に応じて料金を算出する。

課金処理部５３は、ユーザにより指示された解像度に応じた料金を算出することもできる。解像度が低い撮影画像より、解像度が高い撮影画像の方が、高い料金が設定される。解像度が低い撮影画像については無料としてもよい。

コンテンツデータベース５２には、高解像度の自由視点コンテンツと低解像度の自由視点コンテンツが用意されている。高い解像度の撮影画像は高解像度の自由視点コンテンツに基づいて生成され、低い解像度の撮影画像は低解像度の自由視点コンテンツに基づいて生成される。

ステップＳ１０３において、課金処理部５３は、算出した料金を表す料金情報を携帯端末２−１に送信する。携帯端末２−１においては、上述したように料金がユーザに提示される。

ステップＳ１０４において、課金処理部５３は、携帯端末２−１から送信されてきた、撮影画像の購入を要求する情報を受信し、課金処理を行う。

ステップＳ１０５において、撮影画像生成部５４は、撮影情報に基づいて撮影画像を生成する。具体的には、撮影画像生成部５４は、撮影情報に含まれる識別情報に基づいて、撮影画像を生成する自由視点コンテンツを特定するとともに、撮影情報に含まれる時刻情報と視野情報に基づいて、撮影操作を行ったときのユーザの視野を特定する。撮影画像生成部５４は、特定した自由視点コンテンツの、特定した視野の静止画をコンテンツデータベース５２に記録されている自由視点コンテンツの映像から切り出すことによって撮影画像を生成する。

ステップＳ１０６において、撮影画像生成部５４は、生成した撮影画像を携帯端末２−１に送信し、処理を終了させる。

以上の一連の処理により、ユーザは撮影機能を追加することができる。また、ユーザは、撮影機能を利用し、自由視点コンテンツの視聴中に見ていたシーンを静止画として残しておくことができる。

ズーム機能と同じように、撮影機能が事前の課金により利用可能となるようにしてもよい。

＜変形例＞
以上においては、ズーム機能と撮影機能を追加する場合について説明したが、自由視点コンテンツの映像を用いて実現可能な機能であれば、どのような機能を追加できるようにしてもよい。例えば、自由視点コンテンツの録画機能、所定の人物のみを追跡して表示し続ける追跡機能を追加できるようにしてもよい。

例えば、課金が行われることに応じて録画機能が追加された場合、携帯端末２−１により受信された自由視点コンテンツは、再生が行われるとともに、記録部６８に供給され、記録される。

また、例えば、課金が行われることに応じて追跡機能が追加された場合、表示制御部７３は、ユーザにより選択された人物などの特徴点の各時刻における位置を自由視点コンテンツの映像を解析することによって特定する。表示制御部７３は、ユーザにより選択された人物が視野に常に含まれるように表示範囲を切り替える。

以上においては、携帯端末は自由視点コンテンツの再生装置として機能し、HMDは表示装置として機能するものとしたが、再生機能がHMDに搭載されるようにしてもよい。この場合、図１２に示す携帯端末の機能はHMDに設けられる。

以上においては、撮影画像がコンテンツ管理サーバ１により生成されるものとしたが、撮影情報に基づいて携帯端末２−１により生成されるようにしてもよい。この場合、携帯端末２−１においては、撮影情報に基づいてユーザの視野が特定され、記録部６８に記録された自由視点コンテンツから視野の範囲を切り出すことによって撮影画像が生成される。

・HMDの形態について
HMD３−１乃至３−３が没入型のHMDであるものとして説明したが、いわゆるビデオシースルー型のHMDや光学シースルー型のHMDにも適用可能である。

図２５は、HMDの形態の例を示す図である。

ビデオシースルー型のHMDは、図２５Ｂに示すように、本体を装着したユーザの目の前に映像を映し出す位置にディスプレイが設けられる点で図２５Ａの没入型のHMDと同じであるものの、HMDの筐体にカメラが設けられており、カメラで撮影されたユーザの前方の風景の映像がディスプレイに表示される点で異なる。

光学シースルー型のHMDは、図２５Ｃに示すように、HMDを装着するユーザの目の前にハーフミラーが設けられ、前方の風景をユーザがハーフミラーを介して見ることができるHMDである。HMDのフレーム部分などに設けられた発光部から出力されたライブコンテンツの映像などの各種の情報の光は、ハーフミラーによって反射し、ユーザの目に導かれる。ユーザは、目の前の風景に重ねて各種の情報を見ることができる。

・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。

インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図９に示されるリムーバブルメディア４１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３２や記録部３８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。

（１）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する機能管理部を備える
情報処理装置。

（２）
前記ビデオコンテンツは、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像からなるコンテンツである
前記（１）に記載の情報処理装置。

（３）
前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を含み、前記複数の位置のうちのいずれかの位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
前記（２）に記載の情報処理装置。

（４）
前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を合成して得られた、任意の位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
前記（２）に記載の情報処理装置。

（５）
前記機能管理部は、前記ユーザにより指示されたタイミングにおける前記表示範囲の映像を拡大して表示させる前記機能を追加する
前記（１）乃至（４）のいずれかに記載の情報処理装置。

（６）
前記ビデオコンテンツを再生する再生部と、
再生された前記ビデオコンテンツの映像の前記表示範囲を前記ユーザの動きに追従して切り替えるとともに、前記ユーザにより指示されたタイミングにおける前記表示範囲の映像を拡大して表示させる表示制御部と
をさらに備える前記（５）に記載の情報処理装置。

（７）
前記表示制御部は、課金額に応じて、前記ビデオコンテンツの映像の最大の拡大率を変える
前記（６）に記載の情報処理装置。

（８）
前記表示制御部は、前記ユーザにより指示された拡大率が、課金額に応じて許可されている最大の拡大率を超える場合、前記ビデオコンテンツの映像を、許可されている最大の拡大率で拡大して表示させる
前記（７）に記載の情報処理装置。

（９）
前記表示制御部は、前記ユーザにより指示された拡大率が、課金額に応じて許可されている最大の拡大率を超える場合、課金を促す情報を表示させる
前記（７）に記載の情報処理装置。

（１０）
前記表示制御部は、前記ユーザが装着するHMDに前記ビデオコンテンツの映像を表示させ、前記ユーザの目の前方に位置する前記HMDの本体を、前記ユーザが両手で把持していることが検出された場合に、前記ビデオコンテンツの映像を拡大して表示させる
前記（６）乃至（９）のいずれかに記載の情報処理装置。

（１１）
前記機能管理部は、前記ユーザにより指示されたタイミングにおける前記表示範囲の映像を静止画として保存するための機能を追加する
前記（１）乃至（１０）のいずれかに記載の情報処理装置。

（１２）
静止画を保存することが指示されたタイミングにおける前記表示範囲を表す視野情報を記録する記録部をさらに備え、
前記機能管理部は、前記ビデオコンテンツの配信を管理する管理サーバに前記視野情報を送信し、前記管理サーバから送信された、前記視野情報により表される前記表示範囲を含む静止画を受信して保存する
前記（１１）に記載の情報処理装置。

（１３）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する
ステップを含む情報処理方法。

（１４）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する
ステップを含む処理をコンピュータに実行させるプログラム。

（１５）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信する配信部と、
前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行う課金処理部と、
前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、前記情報処理装置に送信する生成部と
を備える管理装置。

（１６）
前記課金処理部は、複数の前記情報処理装置から送信されてきた前記視野情報に基づいてそれぞれの前記ユーザの前記表示範囲を特定し、前記表示範囲の重複数に応じて、前記表示範囲を含む静止画の課金額を変える
前記（１５）に記載の管理装置。

（１７）
前記課金処理部は、前記情報処理装置に送信する前記表示範囲を含む静止画の解像度に応じて、前記表示範囲を含む静止画の課金額を変える
前記（１５）に記載の管理装置。

（１８）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信し、
前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行い、
前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、
前記表示範囲を含む静止画を前記情報処理装置に送信する
ステップを含む情報処理方法。

（１９）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信し、
前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行い、
前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、
前記表示範囲を含む静止画を前記情報処理装置に送信する
ステップを含む処理をコンピュータに実行させるプログラム。

１ コンテンツ管理サーバ、 ２−１乃至２−３ 携帯端末、 ３−１乃至３−３ HMD、 ５１ コンテンツ配信部、 ５２ コンテンツデータベース、 ５３ 課金処理部、 ５４ 撮影画像生成部、 ７１ 再生部、 ７２ 視野検出部、 ７３ 表示制御部、 ７４ 機能管理部、 ７５ 課金・撮影情報記録部、 ７６ UI状態検出部

Claims (19)

1. 映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する機能管理部を備える
   情報処理装置。
2. 前記ビデオコンテンツは、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像からなるコンテンツである
   請求項１に記載の情報処理装置。
3. 前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を含み、前記複数の位置のうちのいずれかの位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
   請求項２に記載の情報処理装置。
4. 前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を合成して得られた、任意の位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
   請求項２に記載の情報処理装置。
5. 前記機能管理部は、前記ユーザにより指示されたタイミングにおける前記表示範囲の映像を拡大して表示させる前記機能を追加する
   請求項１に記載の情報処理装置。
6. 前記ビデオコンテンツを再生する再生部と、
   再生された前記ビデオコンテンツの映像の前記表示範囲を前記ユーザの動きに追従して切り替えるとともに、前記ユーザにより指示されたタイミングにおける前記表示範囲の映像を拡大して表示させる表示制御部と
   をさらに備える請求項５に記載の情報処理装置。
7. 前記表示制御部は、課金額に応じて、前記ビデオコンテンツの映像の最大の拡大率を変える
   請求項６に記載の情報処理装置。
8. 前記表示制御部は、前記ユーザにより指示された拡大率が、課金額に応じて許可されている最大の拡大率を超える場合、前記ビデオコンテンツの映像を、許可されている最大の拡大率で拡大して表示させる
   請求項７に記載の情報処理装置。
9. 前記表示制御部は、前記ユーザにより指示された拡大率が、課金額に応じて許可されている最大の拡大率を超える場合、課金を促す情報を表示させる
   請求項７に記載の情報処理装置。
10. 前記表示制御部は、前記ユーザが装着するHMDに前記ビデオコンテンツの映像を表示させ、前記ユーザの目の前方に位置する前記HMDの本体を、前記ユーザが両手で把持していることが検出された場合に、前記ビデオコンテンツの映像を拡大して表示させる
    請求項５に記載の情報処理装置。
11. 前記機能管理部は、前記ユーザにより指示されたタイミングにおける前記表示範囲の映像を静止画として保存するための機能を追加する
    請求項１に記載の情報処理装置。
12. 静止画を保存することが指示されたタイミングにおける前記表示範囲を表す視野情報を記録する記録部をさらに備え、
    前記機能管理部は、前記ビデオコンテンツの配信を管理する管理サーバに前記視野情報を送信し、前記管理サーバから送信された、前記視野情報により表される前記表示範囲を含む静止画を受信して保存する
    請求項１１に記載の情報処理装置。
13. 映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する
    ステップを含む情報処理方法。
14. 映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する
    ステップを含む処理をコンピュータに実行させるプログラム。
15. 映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信する配信部と、
    前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行う課金処理部と、
    前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、前記情報処理装置に送信する生成部と
    を備える管理装置。
16. 前記課金処理部は、複数の前記情報処理装置から送信されてきた前記視野情報に基づいてそれぞれの前記ユーザの前記表示範囲を特定し、前記表示範囲の重複数に応じて、前記表示範囲を含む静止画の課金額を変える
    請求項１５に記載の管理装置。
17. 前記課金処理部は、前記情報処理装置に送信する前記表示範囲を含む静止画の解像度に応じて、前記表示範囲を含む静止画の課金額を変える
    請求項１５に記載の管理装置。
18. 映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信し、
    前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行い、
    前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、
    前記表示範囲を含む静止画を前記情報処理装置に送信する
    ステップを含む情報処理方法。
19. 映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信し、
    前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行い、
    前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、
    前記表示範囲を含む静止画を前記情報処理装置に送信する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images