JP2010232860A - 情報処理装置、コンテンツ処理方法及びプログラム - Google Patents

Abstract

【課題】ユーザにより体験される臨場感を向上させること。
【解決手段】仮想空間内でユーザが位置することのできる複数のユーザ位置を表示する画面であって、当該複数のユーザ位置から１つのユーザ位置をユーザが選択可能な位置選択画面をユーザ端末へ表示させる画面制御部と、前記位置選択画面を用いて選択された前記ユーザ位置ごとに、各ユーザ位置を選択したユーザを一覧化したユーザ一覧を保持するデータ保持部と、前記データ保持部により保持されている前記ユーザ一覧により表されるユーザ間の位置関係に応じて、前記ユーザ端末へ配信するコンテンツを加工するコンテンツ加工部と、を備える情報処理装置を提供する。
【選択図】図３

Description

本発明は、情報処理装置、コンテンツ処理方法及びプログラムに関する。

近年、インターネットなどのネットワークを介して高品質な動画又は音声などの大容量のコンテンツを配信することが可能となっている。ネットワークを介して配信される動画コンテンツの例としては、例えば、野球やサッカーを始めとするスポーツの試合の映像、又はミュージシャンによる音楽ライブの映像などが挙げられる。このようなコンテンツは、一般的に、コンテンツデータを取得したコンテンツサーバからクライアントである複数のユーザ端末へネットワーク経由で配信され得る。即ち、この場合、複数のユーザがコンテンツサーバから配信されるコンテンツを共有する。しかし、コンテンツが複数のユーザ端末へ個別に配信されると、例えば撮影されたスポーツの試合や音楽ライブなどを生で観戦（又は鑑賞）する場合にユーザが得ることのできる臨場感は減殺される。

これに対し、従来、複数のユーザ間でコンテンツを共有する際の臨場感を向上させるための技術開発が行われている。例えば、下記特許文献１には、多数の視聴者があたかもスタジオに集まって１つのテレビジョン番組に参加しているような映像及び音声を合成することのできる仮想観客形成装置が開示されている。また、下記特許文献２には、ユーザ端末間でコンテンツの視聴状況に応じて音声を交換し、コンテンツを共有している他のユーザの音声をユーザに提供することのできる音声配信装置が開示されている。

特開２００３−３３３５７２号公報 特開２００７−１３４８０８号公報

しかしながら、上記特許文献１に記載された手法では、どのような映像及び音声が合成されるがコンテンツサーバに相当する仮想観客形成装置の動作のみに依存するため、ユーザは提供される映像及び音声を受身的に楽しむことができるに過ぎない。また、上記特許文献２に記載された手法では、ユーザにより選択された他のユーザの音声がユーザ端末で再生されるものの、空間におけるユーザの位置などは考慮されないため、十分な臨場感が達成されるとは言い難い。

即ち、例えばスポーツの試合や音楽ライブなどでは、ユーザが実空間のどこに位置するかによって、ユーザは視覚的又は聴覚的に異なる体験をする。例えば、スポーツの試合を観戦する場合には、同じチーム又は選手を応援するユーザが特定の場所に集まることで、より大きい感動や興奮を得ることができる。さらに、こうした点は、必ずしも実空間の存在が前提となる訳ではない。即ち、例えば仮想現実の世界でゲームを楽しむユーザについても、その世界でユーザがどこに位置するかによってユーザの体験は異なる場合が少なくない。従って、ネットワークを介してコンテンツを配信する場合にも、実空間を模した仮想空間、又は仮想現実上の空間でのユーザの位置に応じてコンテンツを加工することで、ユーザにより体験される臨場感をさらに高めることができるものと考えられる。

そこで、本発明は、ユーザにより選択された仮想空間内での位置に応じてコンテンツを加工することにより、ユーザにより体験される臨場感を向上させることのできる、新規かつ改良された情報処理装置、コンテンツ処理方法及びプログラムを提供しようとするものである。

本発明のある実施形態によれば、仮想空間内でユーザが位置することのできる複数のユーザ位置を表示する画面であって、当該複数のユーザ位置から１つのユーザ位置をユーザが選択可能な位置選択画面をユーザ端末へ表示させる画面制御部と、上記位置選択画面を用いて選択された上記ユーザ位置ごとに、各ユーザ位置を選択したユーザを一覧化したユーザ一覧を保持するデータ保持部と、上記データ保持部により保持されている上記ユーザ一覧により表されるユーザ間の位置関係に応じて、上記ユーザ端末へ配信するコンテンツを加工するコンテンツ加工部と、を備える情報処理装置が提供される。

かかる構成によれば、位置選択画面を用いてユーザが仮想空間内のいずれかのユーザ位置を選択すると、画面制御部によりユーザ位置の選択結果が取得され、データ保持部に保持されているユーザ一覧に反映される。そして、コンテンツ加工部により、ユーザ一覧におけるユーザ間の位置関係に応じて、ユーザ端末へ配信すべきコンテンツが加工される。それにより、ユーザが主体的に選択した仮想空間内の位置関係に応じて加工されたコンテンツを、各ユーザは視聴することができる。

また、上記コンテンツ加工部は、ユーザ間の上記位置関係について予め定義される仮想空間内での距離に応じて、上記ユーザ端末へ配信するコンテンツを加工してもよい。

また、ユーザ間の上記位置関係には、異なるユーザ位置の間の位置関係と１つのユーザ位置における上記ユーザ一覧内でのユーザ間の位置関係とが含まれてもよい。

また、上記コンテンツ加工部は、上記仮想空間内での距離に応じて決定される重みを用いて、１つのユーザのユーザ端末へ配信するコンテンツに他のユーザのユーザ端末から受信されるコンテンツを合成してもよい。

また、上記重みは、上記仮想空間内での距離が近いほど大きい値をとってもよい。

また、上記情報処理装置は、複数のユーザ端末へ共通的に配信される第１のコンテンツと、第１のユーザと同じユーザ位置に位置している第２のユーザのユーザ端末から受信される第２のコンテンツとを、上記第１のユーザのユーザ端末へ配信するコンテンツ配信部、をさらに備えてもよい。

また、上記第２のユーザは、上記ユーザ一覧内において上記第１のユーザと隣り合うユーザであってもよい。

また、上記コンテンツ加工部は、上記第１のユーザのユーザ位置とは異なるユーザ位置に位置している第３のユーザのユーザ端末から受信される第３のコンテンツを、上記第１のコンテンツに合成してもよい。

また、上記位置選択画面は、さらに、各ユーザ位置に位置しているユーザの一覧を表示する画面であって、表示されたいずれかのユーザを選択することにより上記複数のユーザ位置から１つのユーザ位置をユーザが選択可能な画面であってもよい。

また、上記データ保持部は、上記位置選択画面において選択されたユーザと当該ユーザを選択したユーザとを、上記ユーザ一覧内において隣り合わせて配置してもよい。

また、上記コンテンツ加工部は、１つのユーザのユーザ端末へ配信するコンテンツに、当該ユーザと予め関連付けられたフレンドユーザのユーザ端末から受信されるコンテンツを合成してもよい。

また、本発明の別の実施形態によれば、仮想空間内でユーザが位置することのできる複数のユーザ位置ごとに各ユーザ位置を選択したユーザを一覧化しているユーザ一覧を記録媒体に記憶している情報処理装置を用いて、上記複数のユーザ位置から１つのユーザ位置をユーザが選択可能な位置選択画面をユーザ端末へ表示させるステップと、上記位置選択画面を介して取得されるユーザ位置の選択結果に応じて上記ユーザ一覧を更新するステップと、上記ユーザ一覧により表されるユーザ間の位置関係に応じて、上記ユーザ端末へ配信するコンテンツを加工するステップと、を含むコンテンツ処理方法が提供される。

また、本発明の別の実施形態によれば、情報処理装置を制御するコンピュータを、仮想空間内でユーザが位置することのできる複数のユーザ位置を表示する画面であって、当該複数のユーザ位置から１つのユーザ位置をユーザが選択可能な位置選択画面をユーザ端末へ表示させる画面制御部と、上記位置選択画面を用いて選択された上記ユーザ位置ごとに、各ユーザ位置を選択したユーザを一覧化したユーザ一覧を保持するデータ保持部と、上記データ保持部により保持されている上記ユーザ一覧により表されるユーザ間の位置関係に応じて、上記ユーザ端末へ配信するコンテンツを加工するコンテンツ加工部と、として機能させるためのプログラムが提供される。

以上説明したように、本発明に係る情報処理装置、コンテンツ処理方法及びプログラムによれば、ユーザにより体験される臨場感を向上させることができる。

一実施形態に係るコンテンツ処理システムの概要を示す模式図である。 複数のユーザ位置が設けられた仮想空間の一例を示す模式図である。 第１の実施形態に係る情報処理装置の構成を示すブロック図である。 第１の実施形態に係るユーザデータのデータ例を示す説明図である。 第１の実施形態に係るユーザ位置データのデータ例を示す説明図である。 ユーザが新たにログインした際のユーザ位置データの更新の様子を示す説明図である。 第１の実施形態においてユーザ端末へ配信されるコンテンツの一例を示す説明図である。 コンテンツの合成に用いられる重みの一例を示す説明図である。 第１の実施形態においてユーザ端末へ配信されるコンテンツの他の例を示す説明図である。 第１の実施形態に係るユーザ端末の構成を示すブロック図である。 第１の実施形態に係るログインからコンテンツ配信までの処理の流れを示すフローチャートである。 第１の実施形態に係るコンテンツ加工処理の流れを示すフローチャートである。 一変形例に係るユーザ位置データのデータ例を示す説明図である。 図１３の例においてユーザが新たにログインした際のユーザ位置データの更新の様子を示す説明図である。 コンテンツの合成に用いられる重みの他の例を示す説明図である。 第２の実施形態に係る情報処理装置の構成を示すブロック図である。 第２の実施形態においてユーザ端末へ配信されるコンテンツについて説明するための説明図である。 第２の実施形態に係るユーザ端末の構成を示すブロック図である。 第２の実施形態に係るユーザ端末の各構成要素の物理的な配置の一例を示すブロック図である。 第２の実施形態に係るユーザ端末において表示されるユーザ映像の一例を示す説明図である。 汎用コンピュータの構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．第１の実施形態
１−１．システムの概要
１−２．コンテンツサーバの構成
１−３．ユーザ端末の構成
１−４．処理の流れ
１−５．変形例
２．第２の実施形態
２−１．コンテンツサーバの構成
２−２．ユーザ端末の構成
３．まとめ

＜１．第１の実施形態＞
［１−１．システムの全体像］
まず、図１及び図２を用いて、本発明の第１の実施形態に係るコンテンツ処理システムの概要について説明する。

図１は、本発明の第１の実施形態に係るコンテンツ処理システム１の概要を示す模式図である。図１を参照すると、コンテンツ処理システム１は、コンテンツサーバ１００、撮影装置１０２、並びに複数のユーザ端末１５０ａ及び１５０ｂを含む。コンテンツサーバ１００は、ユーザ端末１５０ａ及び１５０ｂとそれぞれネットワーク１０４を介して接続されている。また、コンテンツサーバ１００は、撮影装置１０２と接続されている。

コンテンツサーバ１００は、各ユーザ端末１５０ａ及び１５０ｂに対して、コンテンツ配信サービスを提供する。コンテンツサーバ１００から配信されるコンテンツは、例えば、撮影装置１０２を用いて撮影される動画又は音声であってもよい。その代わりに、コンテンツサーバ１００から配信されるコンテンツは、例えば、ゲーム空間などの仮想現実における映像などであってもよい。例えば、コンテンツサーバ１００は、まず、ユーザ端末１５０ａ又は１５０ｂからサービスへの接続要求（ログイン要求）を受け付ける。そして、コンテンツサーバ１００は、例えば、認証手続を経てサービスに接続したユーザ端末１５０ａ又は１５０ｂへ上記所定のコンテンツを配信する。このとき、コンテンツサーバ１００は、後に詳しく説明するように、ユーザにより選択された仮想空間内での位置に応じてコンテンツを加工する。なお、コンテンツサーバ１００は、典型的には、ＰＣ（Personal Computer）又はワークステーションなどの汎用的な情報処理装置、又は家電機器若しくはゲーム機器などの特定の目的を有する情報処理装置として実現される。

撮影装置１０２は、例えば、動画を撮影可能なビデオカメラなどであってよい。撮影装置１０２は、所定の被写体を撮影して得た動画を、コンテンツサーバ１００へ出力する。なお、撮影装置１０２は、例えば、仮想空間内でユーザが位置することのできるユーザ位置の数に応じて複数設けられてもよい。また、例えば、仮想空間がゲームなどの仮想現実の世界に対応する場合には、撮影装置１０２は、仮想現実の世界の中で実体として存在していなくてもよい。

ネットワーク１０４は、インターネット、ＬＡＮ（Local Area Network）又は専用線などの任意の形態のネットワークであってよい。ネットワーク１０４が有線であるか無線であるかは問わない。

ユーザ端末１５０は、コンテンツサーバ１００からのコンテンツ配信サービスの提供を受けるユーザが使用する端末装置である。ここでは２つのユーザ端末１５０ａ及び１５０ｂを示しているが、コンテンツサーバ１００と接続可能なユーザ端末１５０の数はかかる例に限定されない。なお、本明細書において、特に互いに区別する必要がない場合には、例えばユーザ端末１５０ａ及び１５０ｂなどの同種の構成要素の符号のアルファベットを省略する場合がある。例えば、上記ユーザ端末１５０ａ及び１５０ｂは、ユーザ端末１５０と総称される。

ユーザ端末１５０は、例えばユーザによる操作に応じてコンテンツサーバ１００のコンテンツ配信サービスに接続（ログイン）する。そして、ユーザ端末１５０は、それぞれ、コンテンツサーバ１００から配信されるコンテンツを受信する。さらに、ユーザ端末１５０には、それぞれ、例えばビデオカメラとマイクロフォンとが接続される。そして、ユーザ端末１５０は、コンテンツを視聴するユーザを撮影した映像と音声とをネットワーク１０４を介してコンテンツサーバ１００へ送信する。ユーザ端末１５０は、例えば、ＰＣやＰＤＡ（Personal Digital Assistants）、携帯電話、ゲーム機器、又は家電機器などの端末装置として実現される。

図２は、本実施形態においてユーザにより選択可能な複数のユーザ位置が設けられた仮想空間の一例を示す模式図である。なお、ここでは、コンテンツサーバ１００がコンテンツ配信サービスとして野球の試合の映像及び音声を配信する場合を前提としている。

図２を参照すると、野球の試合が行われるスタジアムの形状を模した仮想空間１０が示されている。仮想空間１０において、野球のフィールド部分の周囲には、観客が位置することのできる複数のユーザ位置１４Ａ、１４Ｂ、１４Ｃ、１４Ｄ及び１４Ｅが設けられている。このうち、ユーザ位置１４Ａは、実空間におけるスタジアムのレフトスタンドに相当する位置である。ユーザ位置１４Ｂは、実空間におけるスタジアムのライトスタンドに相当する位置である。ユーザ位置１４Ｃは、実空間におけるスタジアムの一塁側内野スタンドに相当する位置である。ユーザ位置１４Ｄは、実空間におけるスタジアムのバックネット裏スタンドに相当する位置である。ユーザ位置１４Ｅは、実空間におけるスタジアムの三塁側内野スタンドに相当する位置である。そして、各ユーザ位置１４Ａ〜１４Ｅには、それぞれ撮影装置１０２Ａ〜１０２Ｅが関連付けられている。なお、撮影装置１０２Ａ〜１０２Ｅの実体は、実際には仮想空間１０ではなく実空間のスタジアムの各ユーザ位置に相当する位置に設置される。

コンテンツサーバ１００は、例えば、このような仮想空間１０の複数のユーザ位置のうちのいずれかを選択したユーザのユーザ端末１５０へ、選択されたユーザ位置と関連付けられた撮影装置１０２から出力される映像及び音声を加工した上で配信する。

なお、例えば、コンテンツサーバ１００がサッカーの試合の映像を配信する場合には、仮想空間１０の代わりに、観客席の位置に複数のユーザ位置を有するサッカースタジアムの形状を模した仮想空間が使用され得る。また、例えば、コンテンツサーバ１００がゲームの仮想現実の世界の映像を配信する場合には、仮想現実の世界における複数の視点にそれぞれユーザ位置が関連付けられた仮想空間が使用され得る。

次に、ユーザ位置に応じてコンテンツを加工するコンテンツサーバ１００のより具体的な構成について説明する。

［１−２．コンテンツサーバの構成］
図３は、コンテンツサーバ１００の構成の一例を示すブロック図である。図３を参照すると、コンテンツサーバ１００は、通信部１１０、画面制御部１１８、データ保持部１２６、コンテンツ加工部１３４、及びコンテンツ配信部１４２を備える。

（通信部）
通信部１１０は、コンテンツサーバ１００とユーザ端末１５０との間の通信を仲介する。即ち、通信部１１０は、例えばユーザ端末１５０からログイン要求信号又はユーザ位置の選択信号を含む通信パケットを受信すると、当該通信パケットに含まれる信号を画面制御部１１８へ出力する。また、通信部１１０は、例えば画面制御部１１８から位置選択画面をユーザ端末１５０へ表示させるための信号が入力されると、当該信号を含む通信パケットを生成してユーザ端末１５０へ送信する。さらに、コンテンツサーバ１００とユーザ端末１５０との間のコンテンツの送受信も、通信部１１０を介して行われる。

（画面制御部）
画面制御部１１８は、コンテンツ配信サービスに関連してユーザ端末１５０に表示される画面インタフェースを制御する。より具体的には、画面制御部１１８は、例えば上述した仮想空間１０における複数のユーザ位置１４Ａ〜１４Ｅから１つのユーザ位置１４をユーザが選択可能な位置選択画面を生成し、ユーザ端末１５０へ表示させる。位置選択画面とは、例えば、図２のように仮想空間１０の各ユーザ位置１４Ａ〜１４Ｅを俯瞰し、ユーザがいずれか１つのユーザ位置１４をポインティングして選択可能な画面などであってよい。位置選択画面は、例えば、ユーザ端末１５０とコンテンツサーバ１００との間でログイン処理が成功した後、画面制御部１１８により生成され出力される。位置選択画面には、例えば、複数のユーザ位置１４Ａ〜１４Ｅに加えて、各ユーザ位置１４Ａ〜１４Ｅに現在位置している（ログインしている）ユーザの識別子又はアイコンなどが表示されてもよい。その場合には、いずれか１つのユーザ位置を直接的に選択する代わりに、表示されたいずれかのユーザの識別子又はアイコンなどを選択することにより、そのユーザが位置しているユーザ位置を選択可能であってもよい。画面制御部１１８は、例えば、位置選択画面を介していずれかのユーザ位置１４が選択されると、選択されたユーザ位置１４を特定するユーザ位置ＩＤと当該ユーザ位置１４を選択したユーザを特定するユーザＩＤとの組を、データ保持部１２６へ出力する。

（データ保持部）
データ保持部１２６は、例えばハードディスク又は半導体メモリなどの記録媒体を用いて、コンテンツサーバ１００によるコンテンツ配信サービスに使用されるユーザデータ１２８及びユーザ位置データ１３０を主に記憶する。

図４は、本実施形態においてデータ保持部１２６に記憶されるユーザデータ１２８のデータ例を示す説明図である。図４を参照すると、ユーザデータ１２８は、「ユーザＩＤ」、「ステータス」及び「フレンドユーザ」の３つのデータ項目を有する。

「ユーザＩＤ」は、コンテンツ配信サービスを利用するユーザを一意に特定するための識別子である。図４の例では、ユーザＩＤが「Ｕ１１」、「Ｕ１２」又は「Ｕ１３」である３人のユーザが示されている。

「ステータス」は、各ユーザが現在コンテンツ配信サービスに接続しているか否かを示す情報である。図４の例では、ユーザＵ１１及びＵ１２は、現在コンテンツ配信サービスに接続している（即ちログイン中である）。一方、ユーザＵ１３は、現在コンテンツ配信サービスに接続していない（即ちログアウト中である）。このようなステータスは、例えば、所定のログイン画面を介してユーザがコンテンツ配信サービスにログインした際、又はユーザがログアウトした際に、画面制御部１１８により更新される。

「フレンドユーザ」は、例えば各ユーザがコンテンツの視聴を共に楽しみたい他のユーザを予め登録しておくための追加的な項目である。図４の例では、ユーザＵ１１のフレンドユーザはユーザＵ１３である。また、ユーザＵ１２のフレンドユーザはユーザＵ１５及びＵ１６である。また、ユーザＵ１３のフレンドユーザは、ユーザＵ１１である。なお、本実施形態において、必ずしもユーザデータ１２８にフレンドユーザのデータが登録されていなくてもよい。

図５は、本実施形態においてデータ保持部１２６に記憶されるユーザ位置データ１３０のデータ例を示す説明図である。図５を参照すると、ユーザ位置データ１３０は、「ユーザ位置ＩＤ」及び「対向位置」、並びに複数のユーザのユーザＩＤの配列である「ユーザ一覧」の３つのデータ項目を有する。

「ユーザ位置ＩＤ」は、例えば図２に示した仮想空間１０においてユーザが選択可能な各ユーザ位置１４を一意に特定するための識別子である。図５の例では、ユーザ位置ＩＤが「１４Ａ」、「１４Ｂ」又は「１４Ｃ」である３つのユーザ位置が示されている。

「対向位置」は、各ユーザ位置１４から見て仮想空間１０において撮影の対象であるフィールドの反対側に位置するユーザ位置１４のユーザ位置ＩＤを示す項目である。図５の例では、ユーザ位置１４Ａの対向位置はユーザ位置１４Ｃである。また、ユーザ位置１４Ｂの対向位置はユーザ位置１４Ｅである。また、ユーザ位置１４Ｃの対向位置はユーザ位置１４Ａである。なお、必ずしも全てのユーザ位置１４について対向位置となるユーザ位置１４が設定されなくてもよい。

「ユーザ一覧」は、ユーザ位置ごとのユーザＩＤの配列であって、各ユーザ位置を選択した現在接続中のユーザのユーザＩＤを一覧化している。図５の例では、ユーザ位置１４Ａのユーザ一覧には、ユーザＵ１１及びＵ１３が含まれる。また、ユーザ位置１４Ｂのユーザ一覧には、ユーザＵ１２及びＵ１４が含まれる。即ち、この時点でコンテンツ配信サービスにユーザＵ１１、Ｕ１２、Ｕ１３及びＵ１４がログインしており、ユーザＵ１１及びＵ１３はユーザ位置１４Ａを選択し、ユーザＵ１２及びＵ１４はユーザ位置１４Ｂを選択したことが分かる。一方、ユーザ位置１４Ｃにはこの時点ではどのユーザも位置していない。このようなユーザ一覧は、例えば、上述した位置選択画面を介してユーザがいずれかのユーザ位置１４を選択した際、又はユーザが選択を解除（若しくはログアウト）した際に、画面制御部１１８により更新される。

図６は、コンテンツサーバ１００のコンテンツ配信サービスにユーザが新たにログインした際に、データ保持部１２６に保持されているユーザ位置データ１３０が更新される様子を示す説明図である。

図６を参照すると、ユーザ位置データ１３０ａ、１３０ｂ及び１３０ｃの３つのデータ例が示されている。このうち、まず、ユーザ位置データ１３０ａにおいて、ユーザ位置１４Ｂのユーザ一覧にユーザＵ１２及びＵ１４が含まれている。ここで、例えば新たなユーザであるユーザＵ１５が位置選択画面上でユーザ位置１４Ｂを選択したとする。その場合、画面制御部１１８は、例えば、データ保持部１２６に保持されているユーザ位置データ１３０のユーザ位置１４Ｂのユーザ一覧の末尾に、ユーザＵ１５を追加する（ユーザ位置データ１３０ｂ参照）。一方、例えば新たなユーザであるユーザＵ１５が位置選択画面上でユーザ位置１４Ｂに位置しているユーザＵ１２を選択したとする。そうすると、画面制御部１１８は、例えば、データ保持部１２６に保持されているユーザ位置データ１３０のユーザ位置１４Ｂのユーザ一覧において、選択されたユーザＵ１２の隣りにユーザＵ１５を挿入する（ユーザ位置データ１３０ｃ参照）。それにより、例えば、ユーザＵ１５は、あたかも実空間上で共に観戦をしたいユーザＵ１２の隣りに着席するかのように、仮想空間１０内でユーザＵ１２の隣りに位置することができる。

このようなユーザ位置データ１３０の構成により、例えば、仮想空間１０内で、同じチーム又は選手を応援するユーザが１つのユーザ位置に集合し、及び共に観戦をしたいユーザ同士が１つのユーザ位置の中で近くに位置するといった状態が形成される。

（コンテンツ加工部）
コンテンツ加工部１３４は、例えば、ユーザへのコンテンツの配信に際し、配信先のユーザが位置しているユーザ位置１４に関連付けられた撮影装置１０２からの映像と音声とを含む動画を受信する。撮影装置１０２から受信される動画とは、例えば、実空間のスタジアムにおいて行われる野球の試合を撮影した動画などであってよい。また、コンテンツ加工部１３４は、例えば、各ユーザ端末１５０において撮影されたユーザの映像と音声とを通信部１１０を介して受信する。そして、コンテンツ加工部１３４は、上述したユーザ位置データ１３０から２以上のユーザのユーザ位置を取得し、取得した当該ユーザ位置に応じてユーザ端末１５０へ配信するコンテンツを加工する。以下、本明細書では、上記撮影装置１０２から受信される映像をメイン映像、各ユーザ端末１５０から受信される映像をユーザ映像という。同様に、上記撮影装置１０２から受信される音声をメイン音声、各ユーザ端末１５０から受信される音声をユーザ音声という。

例えば、コンテンツ加工部１３４は、２以上のユーザのユーザ位置の間の仮想空間１０内での距離に応じて、ユーザ端末１５０へ配信するコンテンツを加工してもよい。より具体的には、例えば、コンテンツ加工部１３４は、ユーザ端末１５０へ配信する映像の各フレームにおいて、メイン映像の各フレームと、ユーザ位置の間の距離に応じてサイズを変化させたユーザ映像の各フレームとを合成してもよい。

図７は、本実施形態においてコンテンツサーバ１００からユーザ端末１５０へ配信される映像に含まれるフレームの一例としてのフレーム１３６ａを示す説明図である。図７を参照すると、フレーム１３６ａには、メイン映像表示領域１３７、並びにユーザ映像表示領域１３８ａ、１３８ｂ及び１３９が含まれる。

ここで、フレーム１３６ａは、ユーザＵ１５が使用しているユーザ端末１５０へ配信される映像のフレームであるとする。また、図７の時点で、仮想空間１０のユーザ位置１４Ｂのユーザ一覧において、図６のユーザ位置データ１３０ｃに示したように、ユーザＵ１２、Ｕ１５及びＵ１４がこの順序で含まれているものとする。

図７において、ユーザ映像表示領域１３８ａには、ユーザＵ１２が使用しているユーザ端末１５０から受信されたユーザ映像が表示されている。また、ユーザ映像表示領域１３８ｂには、ユーザＵ１４が使用しているユーザ端末１５０から受信されたユーザ映像が表示されている。一方、ユーザ映像表示領域１３９には、ユーザＵ１５が位置しているユーザ位置１４Ｂの対抗位置であるユーザ一位置１４Ｅに位置しているユーザが使用しているユーザ端末１５０から受信されたユーザ映像が表示されている。ここで着目すべきは、これら３つのユーザ映像表示領域１３８ａ、１３８ｂ及び１３９のサイズである。各ユーザ映像表示領域のサイズ（例えば一辺の画素数など）は、例えば、ユーザ位置データ１３０のユーザ一覧により表されるユーザ間の位置関係ごとに予め定義される仮想空間１０内での距離に応じた重みに比例するように決定され得る。

図８は、ユーザ間の仮想空間１０内での距離、及び当該距離に応じた重みの一例を示す説明図である。図８を参照すると、ユーザ間の仮想空間１０内での距離が、ユーザ一覧により表される位置関係に応じて定義されている。例えば、２人のユーザのユーザ位置が異なる場合には、ユーザ位置の間の距離は０．８、重みは０．２と定められている。一方、２人のユーザが同一のユーザ位置に位置している場合、ユーザ間の距離は、０．１×Ｎ（Ｎはユーザ一覧内で隣り合う場合に１）と定められている。この場合、例えば、図６のユーザ位置データ１３０ｃにおけるユーザＵ１２とユーザＵ１５との間の距離は０．１×１＝０．１である。また、ユーザＵ１２とユーザＵ１４との間の距離は０．１×２＝０．２である。そして、同一のユーザ位置に位置しているユーザ間の重みは、１−０．１×Ｎとして計算される。即ち、例えば、図６のユーザ位置データ１３０ｃにおけるユーザＵ１２とユーザＵ１５との間の重みは１−０．１×１＝０．９である。また、ユーザＵ１２とユーザＵ１４との間の重みは１−０．１×２＝０．８である。なお、図８の例に従えば、同一のユーザ位置においてユーザ数が１０を超えると重みが負の値となる。そこで、例えば、ユーザ数が一定の値を超えた場合には重みの値を図８の例によらず特定の下限値とする、といった条件が追加されてもよい。

このように予め定められた重みに応じて、コンテンツ加工部１３４は、ユーザ端末１５０へ配信するコンテンツの映像の各フレームにメイン映像のフレームとユーザ映像のフレームとを合成する。

また、コンテンツ加工部１３４は、例えば、図８を用いて説明した重みの値を用いて、ユーザ端末１５０へ配信するコンテンツの音声を、次式に従って合成してもよい。

（１）

ここで、式（１）において、Ａ_distはユーザ端末１５０へ配信されるコンテンツの音声を表す。また、Ａ_mainはメイン音声、Ａ_{user_i}はユーザｉが使用するユーザ端末１５０からのユーザ音声をそれぞれ表す。また、ｗ_iは、例えば図８の対応表に従って決定される、コンテンツの配信先のユーザとユーザｉとの間の距離に応じた重みの値を表す。

このように、仮想空間１０内でのユーザ間の距離に応じて、メイン映像に合成するユーザ映像のサイズ、又はメイン音声に合成するユーザ音声の音量などを変化させることで、ユーザは近くに位置する他のユーザの様子をより強く認識することができる。また、特に同一のユーザ位置に位置するユーザのユーザ映像又はユーザ音声の重みを大きくすることで、ユーザは、例えば同じチーム又は選手を応援するユーザの映像又は音声をより身近に感じながら、メイン映像又はメイン音声を共有することができる。

なお、コンテンツ加工部１３４は、例えば図９に示すように、コンテンツの配信先のユーザとの間でフレンドユーザの関係にあるユーザのユーザ映像及びユーザ音声のみをメイン映像及びメイン音声に合成してもよい。

図９は、本実施形態においてコンテンツサーバ１００からユーザ端末１５０へ配信される映像に含まれるフレームの他の例としてのフレーム１３６ｂを示す説明図である。図９を参照すると、フレーム１３６ｂには、メイン映像表示領域１３７及びユーザ映像表示領域１３８ａが含まれる。即ち、この場合、図７のフレーム１３６ａと異なり、フレーム１３６ｂにおいてユーザＵ１５とフレンドユーザの関係にあるユーザＵ１２のユーザ映像のみがメイン映像に合成されている。このようなフレンドユーザのユーザ映像のサイズも、例えば、コンテンツの配信先のユーザとフレンドユーザとの間の仮想空間１０内での距離に応じた重みに比例するように決定され得る。

次式は、ユーザ端末１５０へ配信するコンテンツの音声として、メイン音声にフレンドユーザのユーザ音声のみを合成する場合の合成式を表す。

（２）

この場合、合成されるユーザ音声の範囲が、コンテンツの配信先のユーザとの間でフレンドユーザの関係にあるユーザに限定される（ｉ∈Ｆｒｉｅｎｄ（フレンドユーザ））。

（コンテンツ配信部）
コンテンツ配信部１４２は、例えば、コンテンツ加工部１３４による上述した加工処理を経て出力される映像及び音声を含むコンテンツを、通信部１１０を介してユーザ端末１５０へ配信する。

次に、ここまでに説明したコンテンツサーバ１００からのコンテンツの配信を受けるユーザ端末１５０の具体的な構成について説明する。

［１−３．ユーザ端末の構成］
図１０は、ユーザ端末１５０の構成の一例を示すブロック図である。図１０を参照すると、ユーザ端末１５０は、通信部１６０、制御部１６８、音声出力部１７６、音声入力部１８０、表示部１８４、及び撮影部１８８を備える。

通信部１６０は、ユーザ端末１５０とコンテンツサーバ１００との間の通信を仲介する。即ち、通信部１６０は、例えば表示部１８４により表示された画面上でのユーザの操作に応じて、例えばログイン要求信号又はユーザ位置の選択信号を含む通信パケットをコンテンツサーバ１００へ送信する。また、通信部１６０は、例えば、コンテンツサーバ１００から映像又は音声などのコンテンツデータを含む通信パケットを受信すると、当該コンテンツデータを表示部１８４又は音声出力部１７６へ出力し、コンテンツを再生させる。

制御部１６８は、通信部１６０を介した通信、音声出力部１７６及び表示部１８４によるコンテンツの再生、音声入力部１８０によるユーザ音声の入力、及び撮影部１８８によるユーザ映像の撮影など、ユーザ端末１５０の機能全般を制御する。例えば、制御部１６８は、ＭＰＥＧ（Moving Picture Experts Group）−４などの任意のフォーマットで受信されるコンテンツデータから映像チャネルと音声チャネルとを分離し、表示部１８４及び音声出力部１７６へそれぞれ分配する機能を有していてもよい。

音声出力部１７６は、例えば、任意のスピーカを用いて制御部１６８から入力される音声データを再生し、音声を出力する。音声入力部１８０は、例えば、任意のマイクロフォンを用いてユーザにより発せられた音声などを含むユーザ音声を取得し、音声データを生成して制御部１６８へ出力する。表示部１８４は、例えば、任意の表示装置を用いて制御部１６８から入力される映像データを再生し、映像を表示する。撮影部１８８は、例えば、任意の撮影装置を用いて被写体としてのユーザを撮影し、映像データを生成して制御部１６８へ出力する。音声入力部１８０から制御部１６８へ入力される音声データ及び撮影部１８８から制御部１６８へ入力される映像データは、通信部１６０を介してコンテンツサーバ１００へ送信される。

次に、このようなユーザ端末１５０とコンテンツサーバ１００との間の処理の流れを、図１１及び図１２を用いて説明する。

［１−４．処理の流れ］
図１１は、本実施形態に係るユーザのログインからコンテンツの配信までの処理の流れを示すフローチャートである。

図１１を参照すると、まず、コンテンツサーバ１００の通信部１１０は、ユーザ端末１５０において所定のログイン画面を用いて入力されたユーザＩＤと（必要に応じて入力された）パスワードとを、ユーザ端末１５０から受信する（Ｓ１０２）。そうすると、コンテンツサーバ１００のデータ保持部１２６に保持されているユーザデータ１２８のステータスが更新され、ユーザがコンテンツ配信サービスにログインしている状態となる。

次に、コンテンツサーバ１００の画面制御部１１８からユーザ端末１５０へ、位置選択画面が送信される（Ｓ１０４）。かかる位置選択画面では、例えば仮想空間１０においてユーザが位置することのできる複数のユーザ位置１４が表示され、ユーザはいずれかのユーザ位置１４を選択することが可能である。

次に、コンテンツサーバ１００の通信部１１０は、ユーザ端末１５０において選択されたユーザ位置１４を特定するユーザ位置ＩＤ、又は選択されたユーザを特定するユーザＩＤを、ユーザ端末１５０から受信する（Ｓ１０６）。そうすると、例えば図６を用いて説明した手法に従い、コンテンツサーバ１００のデータ保持部１２６に保持されているユーザ位置データ１３０において、選択されたユーザ位置１４のユーザ一覧に新たなユーザのユーザＩＤが追加される（Ｓ１０８）。

その後、コンテンツ加工部１３４により、例えば、撮影装置１０２から受信されたメイン映像又はメイン音声と各ユーザ端末１５０から受信されたユーザ映像又はユーザ音声とを用いて、ユーザ端末１５０へ配信されるコンテンツが加工される（Ｓ１１０）。ここでのコンテンツ加工処理については、後にさらに説明する。そして、コンテンツ加工部１３４により加工された上記コンテンツが、コンテンツ配信部１４２によりユーザ端末１５０へ配信される（Ｓ１１２）。

図１２は、本実施形態に係るコンテンツ加工部１３４によるコンテンツ加工処理のより具体的な処理の流れを示すフローチャートである。

図１２を参照すると、まず、コンテンツ加工部１３４は、データ保持部１２６に保持されているユーザ位置データ１３０から各ユーザ位置のユーザ一覧を取得する（Ｓ２０２）。

次に、コンテンツ加工部１３４は、例えば撮影装置１０２からメイン映像及びメイン音声を含むコンテンツを順次取得する（Ｓ２０４）。

次に、コンテンツ加工部１３４は、ステップＳ２０２にて取得したユーザ一覧において、コンテンツの配信先のユーザの左隣りに他のユーザが存在するか否かを判定する（Ｓ２０６）。ここで、コンテンツの配信先のユーザの左隣りに他のユーザが存在していれば、コンテンツ加工部１３４は、当該左隣りのユーザのユーザ端末１５０からユーザ映像及びユーザ音声を含むコンテンツを取得する（Ｓ２０８）。一方、コンテンツの配信先のユーザの左隣りに他のユーザが存在していなければ、上記ステップＳ２０８はスキップされる。

次に、コンテンツ加工部１３４は、ステップＳ２０２にて取得したユーザ一覧において、コンテンツの配信先のユーザの右隣りに他のユーザが存在するか否かを判定する（Ｓ２１０）。ここで、コンテンツの配信先のユーザの右隣りに他のユーザが存在していれば、コンテンツ加工部１３４は、当該右隣りのユーザのユーザ端末１５０からユーザ映像及びユーザ音声を含むコンテンツを取得する（Ｓ２１２）。一方、コンテンツの配信先のユーザの右隣りに他のユーザが存在していなければ、上記ステップＳ２１２はスキップされる。

次に、コンテンツ加工部１３４は、ステップＳ２０２にて取得したユーザ一覧において、コンテンツの配信先のユーザが位置しているユーザ位置の対向位置に他のユーザが存在するか否かを判定する（Ｓ２１４）。ここで、対向位置に他のユーザが存在していれば、コンテンツ加工部１３４は、当該対向位置に位置しているユーザのユーザ端末１５０からユーザ映像及びユーザ音声を含むコンテンツを取得する（Ｓ２１６）。一方、対向位置に他のユーザが存在していなければ、上記ステップＳ２１６はスキップされる。

次に、コンテンツ加工部１３４は、ステップＳ２０８、Ｓ２１２及びＳ２１６においてユーザ映像及びユーザ音声を取得したユーザごとに、コンテンツの配信先のユーザとの間の距離に応じた重みを計算する（Ｓ２１８）。

そして、コンテンツ加工部１３４は、算出した重みに応じて各コンテンツを合成することにより、ユーザ端末１５０へ配信すべきコンテンツを生成する（Ｓ２２０）。より具体的には、例えば、コンテンツ加工部１３４は、メイン映像と左隣り、右隣り、及び対向位置のユーザのユーザ映像とを合成し、図７に一例として示したようなフレーム１３６ａを順次生成する。また、例えば、コンテンツ加工部１３４は、上述した式（１）に従い、メイン音声と各ユーザ音声とを合成する。

そして、生成されたコンテンツがコンテンツ加工部１３４からコンテンツ配信部１４２へ出力されると、本フローチャートは終了する。

なお、このような一連のコンテンツ加工処理は、ステップＳ２０２を除き、コンテンツの配信先となるユーザごとに、例えば映像の各フレームについて繰返し行われ得る。一方、上記ステップＳ２０２は、ユーザ一覧の内容に変更が生じない限り、コンテンツ加工部１３４において一度だけ行われればよい。

ここまで、図１から図１２を用いて、本発明の第１の実施形態について具体的に説明した。本実施形態によれば、位置選択画面を用いて選択された仮想空間１０内でのユーザ位置に応じて、ユーザ端末１５０へ配信されるコンテンツが加工される。即ち、本実施形態に係るコンテンツ配信サービスを利用するユーザは、仮想空間１０内で位置することのできる複数のユーザ位置の中から、自らが観戦又は鑑賞などに参加することを望むユーザ位置を選択することができる。そして、コンテンツサーバ１００からユーザ端末１５０へ、主となるコンテンツに加えて、選択したユーザ位置に応じて重み付けされた他のユーザの映像及び音声が配信される。このとき、同一のユーザ位置に位置している他のユーザ、中でもユーザ一覧において隣り合う他のユーザのユーザ映像及びユーザ音声の重みは大きく設定され得る。それにより、例えば、コンテンツを楽しむユーザ間の一体感が高められる。その結果、ユーザは、あたかも実空間に自らが位置しているかのような臨場感を体験することができる。

なお、仮想空間内でのユーザ位置ごとに保持されるユーザ一覧の形式は、図５を用いて説明した形式に限定されない。そこで、次にユーザ一覧の形式の一変形例について説明する。

［１−５．変形例］
図１３は、一変形例としてデータ保持部１２６に記憶されるユーザ位置データ１３１のデータ例を示す説明図である。図１３を参照すると、ユーザ位置データ１３１は、「ユーザ位置ＩＤ」、「対向位置」、「座席ＩＤ」、及び「ユーザ一覧」の４つのデータ項目を有する。

図５に示したユーザ位置データ１３０と同様、「ユーザ位置ＩＤ」は、ユーザが選択可能な各ユーザ位置１４を一意に特定するための識別子である。「対向位置」は、各ユーザ位置１４から見て仮想空間１０において反対側に位置するユーザ位置１４のユーザ位置ＩＤを示す項目である。

「座席ＩＤ」は、同一の距離に複数のユーザを配置することを可能とするために設けられる項目である。座席ＩＤは、１つのユーザ位置について複数存在し得る。図１３の例では、例えば、ユーザ位置１４Ａについて、「ＳＡ０１」と「ＳＡ０２」の２つの座席ＩＤが存在している。また、ユーザ位置１４Ｂについて、「ＳＢ０１」と「ＳＢ０２」の２つの座席ＩＤが存在している。

「ユーザ一覧」は、ユーザ位置ごとのユーザＩＤの配列である。但し、本変形例では、「ユーザ一覧」において、さらに１つのユーザ位置１４につき複数存在し得る「座席ＩＤ」ごとに現在接続中のユーザのユーザＩＤが保持される。図１３の例では、ユーザ位置１４Ａのユーザ一覧の中で、座席ＳＡ０１にユーザＵ１１、座席ＳＡ０２にユーザＵ１３が位置している。また、ユーザ位置１４Ｂのユーザ一覧の中で、座席ＳＢ０１にユーザＵ１２及びＵ１４、座席ＳＢ０２にユーザＵ１７が位置している。このようなユーザ一覧は、例えば、位置選択画面を介してユーザがいずれかのユーザ位置若しくはユーザを選択した際、又はユーザが選択を解除（若しくはログアウト）した際に、画面制御部１１８により更新される。

図１４は、コンテンツサーバ１００のコンテンツ配信サービスにユーザが新たにログインした際に、本変形例に係るユーザ位置データ１３１が更新される様子を示す説明図である。

図１４を参照すると、ユーザ位置データ１３１ａ、１３１ｂ及び１３１ｃの３つのデータ例が示されている。このうち、まず、ユーザ位置データ１３１ａにおいて、ユーザ位置１４Ｂのユーザ一覧の座席ＳＢ０１にユーザＵ１２及びＵ１４が位置している。ここで、例えば新たなユーザであるユーザＵ１５が位置選択画面上でユーザ位置１４Ｂを選択したとする。その場合、画面制御部１１８は、例えば、ユーザ位置１４Ｂのユーザ一覧に新たな座席ＩＤ「ＳＢ０３」を追加し、座席ＳＢ０３にユーザＵ１５を追加する（ユーザ位置データ１３１ｂ参照）。一方、例えば新たなユーザであるユーザＵ１５が位置選択画面上でユーザ位置１４Ｂに位置しているユーザＵ１２を選択したとする。そうすると、画面制御部１１８は、例えば、ユーザ位置１４Ｂのユーザ一覧の座席ＳＢ０１において、ユーザＵ１２の隣りにユーザＵ１５を挿入する（ユーザ位置データ１３１ｃ参照）。

図１５は、本変形例に係るユーザ位置データ１３１に対応して予め定義され得る、ユーザ間の距離に応じた重みの一例を示す説明図である。図１５を参照すると、図８の例と同様、ユーザ位置が異なる場合には、ユーザ位置の間の距離は０．８、重みは０．２と定められている。一方、２人のユーザが同一のユーザ位置に位置している場合、ユーザ間の距離は、座席が異なる場合には０．１×Ｍ（Ｍはユーザ一覧内で座席が隣り合う場合に１）と定められている。この場合、例えば、図１５のユーザ位置データ１３１ｃにおけるユーザＵ１２とユーザＵ１７との間の距離は０．１×１＝０．１である。そして、同一のユーザ位置に位置しているユーザ間の重みは、１−０．１×Ｍとして計算される。また、２人のユーザが同一のユーザ位置に位置している場合であって、座席も同一である場合には、ユーザ間の距離は０．０と定められている。即ち、図１５のユーザ位置データ１３１ｃにおけるユーザＵ１２とユーザＵ１５との間の距離は０．０である。また、ユーザＵ１２とユーザＵ１５との間の重みは１．０である。

本変形例のように、ユーザ位置ごとの各ユーザ一覧において複数のユーザを同一の座席に位置させることで、例えば一緒にコンテンツを楽しみたい複数のユーザ間の距離を同一の値に設定し、その距離に応じた重みを用いてコンテンツを加工することができる。

＜２．第２の実施形態＞
上述した本発明の第１の実施形態では、ユーザによる観戦又は鑑賞などの対象となるメイン映像及びメイン音声に、各ユーザ端末１５０から受信されるユーザ映像及びユーザ音声がそれぞれ合成され、１つの映像及び１つの音声が生成される。このような実施形態は、ユーザ端末１５０において表示装置又は音声出力装置が１つずつのみ利用可能である場合に有効である。一方、例えば、ユーザ端末１５０において複数の表示装置が利用可能である場合には、メイン映像とユーザ映像とを別々のチャネルとして配信し、各映像を別々の表示装置に表示させることで、ユーザにより体験される臨場感をさらに高めることができる。そこで、本節では、メイン映像とユーザ映像とを別々のチャネルでコンテンツサーバからユーザ端末へ配信する本発明の第２の実施形態について説明する。

［２−１．コンテンツサーバの構成］
図１６は、本実施形態に係るコンテンツサーバ２００の構成の一例を示すブロック図である。図１６を参照すると、コンテンツサーバ２００は、通信部１１０、画面制御部１１８、データ保持部１２６、コンテンツ加工部２３４、及びコンテンツ配信部２４２を備える。

（コンテンツ加工部）
コンテンツ加工部２３４は、上述した第１の実施形態に係るコンテンツ加工部１３４と同様、ユーザへのコンテンツの配信に際し、配信先のユーザが位置しているユーザ位置１４に関連付けられた撮影装置１０２からのメイン映像とメイン音声とを受信する。また、コンテンツ加工部２３４は、例えば、後述する各ユーザ端末２５０において撮影されたユーザ映像とユーザ音声とを通信部１１０を介して受信する。そして、コンテンツ加工部２３４は、データ保持部１２６に保持されているユーザ位置データ１３０に含まれるユーザ位置に応じて、ユーザ端末２５０へ配信するコンテンツを加工する。

ここで、本実施形態において、コンテンツ加工部２３４は、加工処理の結果として、複数の映像チャネルを含む複合的なコンテンツデータを生成する。図１７は、本実施形態においてユーザ端末２５０へ配信されるコンテンツについて説明するための説明図である。

図１７を参照すると、例えば同一のユーザ位置に位置する複数のユーザのユーザ端末２５０へ共通的に配信され得るメイン映像２３６、並びにユーザ映像２３８及び２３９が示されている。このうち、メイン映像２３６には、コンテンツ配信先のユーザのユーザ位置の対向位置に位置するユーザのユーザ映像２４１が、ユーザ間の距離に応じたサイズで合成されている。一方、ユーザ映像２３８は、例えば、ユーザ一覧においてコンテンツ配信先のユーザの左隣りに位置するユーザＵ２２のユーザ映像である。また、ユーザ映像２３９は、例えば、ユーザ一覧においてコンテンツ配信先のユーザの右隣りに位置するユーザＵ２２のユーザ映像である。コンテンツ加工部２３４は、例えば、このような３つの映像をそれぞれ表示する各映像チャネルを生成し、コンテンツ配信部２４２へ出力する。

さらに、コンテンツ加工部２３４は、例えば、上述した式（１）に従ってメイン音声とユーザ音声とを合成することにより生成した音声チャネルを、コンテンツ配信部２４２へ出力してもよい。その代わりに、コンテンツ加工部２３４は、例えば、図１７に示した３つの映像チャネルと同様、メイン音声、左隣りのユーザの音声及び右隣りのユーザの音声をそれぞれ含む３つの音声チャネルを生成し、コンテンツ配信部２４２へ出力してもよい。

（コンテンツ配信部）
コンテンツ配信部２４２は、例えば、コンテンツ加工部２３４から出力される、上述した複数の映像チャネル及び音声チャネルを含み得る複合的なコンテンツを、通信部１１０を介してユーザ端末２５０へ配信する。

［２−２．ユーザ端末の構成］
図１８は、本実施形態に係るユーザ端末２５０の構成の一例を示すブロック図である。図１８を参照すると、ユーザ端末２５０は、通信部１６０、制御部２６８、音声出力部１７６、音声入力部１８０、中央表示部２８４、中央撮影部２８８、左表示部２８５、左撮影部２８９、右表示部２８６、及び右撮影部２９０を備える。

制御部２６８は、第１の実施形態に係るユーザ端末１５０の制御部１６８と同様、ユーザ端末２５０の機能全般を制御する。また、制御部２６８は、例えばＭＰＥＧ−４などの任意のフォーマットで受信されるコンテンツデータから上述した複数の映像チャネルと音声チャネルとを分離する。そして、制御部２６８は、分離した各映像チャネルを対応する表示部２８４、２８５又は２８６へ分配し、音声チャネルを音声出力部１７６へ分配する。例えば、図１７に示したメイン映像２３６は、中央表示部２８４へ分配される。また、図１７に示したユーザ映像２３８及び２３９は、左表示部２８５及び右表示部２８６へそれぞれ分配される。

中央表示部２８４、左表示部２８５及び右表示部２８６は、ぞれぞれ、制御部２６８により分配された映像チャネルに含まれる映像を任意の表示装置を用いて再生する。中央撮影部２８８、左撮影部２８９及び右撮影部２９０は、それぞれ、任意の撮影装置を用いてユーザを撮影し、映像データを生成して制御部２６８へ出力する。

図１９は、図１８に示した本実施形態に係るユーザ端末１５０の各構成要素の物理的な配置の一例を示すブロック図である。

図１９を参照すると、ユーザの正面に中央表示部２８４に相当する表示装置、及び中央撮影部２８８に相当する撮影装置が配置されている。また、ユーザの左側に左表示部２８５に相当する表示装置、及び左撮影部２８９に相当する撮影装置が配置されている。また、ユーザの右側に右表示部２８６に相当する表示装置、及び右撮影部２９０に相当する撮影装置が配置されている。図１９では、図を明瞭にする観点から、ユーザ端末１５０の通信部１６０、制御部２６８、音声出力部１７６及び音声入力部１８０の物理的な配置は省略されている。なお、音声出力部１７６及び音声入力部１８０は、例えば、各表示部及び各撮影部と同様に、中央、左及び右の各位置に分かれて配置されてもよい。

図１９のような各表示部及び各撮影部の物理的な配置を用いることにより、例えば、仮想空間１０内で同一のユーザ位置に位置する複数のユーザが、メイン映像の方を向いて並んでコンテンツを視聴しているかのような臨場感が演出される。さらに、隣り合うユーザのユーザ端末２５０において図１９のような物理的な配置が用いられれば、例えば、図２０に示す映像効果も生じ得る。

図２０は、本実施形態に係るユーザ端末２５０において表示されるユーザ映像の一例を示す説明図である。図２０の右側には、ユーザＵ２４のユーザ端末２５０において撮影されたユーザ映像２３９が示されている。かかるユーザ映像２３９は、例えば、図２０の左側のユーザ位置データ１３０ｄにおいてユーザ位置１４Ｂのユーザ一覧に含まれているユーザＵ２５のユーザ端末２５０の右表示部２８６に表示される映像である。ユーザ位置データ１３０ｄを参照すると、ユーザ位置１４Ｂのユーザ一覧において、ユーザＵ２５の右隣りにユーザＵ２４が位置している。さらに、ユーザＵ２４の右隣りにはユーザＵ２８が位置している。ここで、隣り合うユーザＵ２５、Ｕ２４及びＵ２８のユーザ端末２５０において図１９のような物理的な配置が用いられているとする。そうすると、ユーザＵ２８のユーザ端末２５０の左撮影部２８９により撮影された映像がユーザＵ２４のユーザ端末２５０の右表示部２８６に表示される。そして、当該ユーザＵ２４のユーザ端末２５０の右表示部２８６に表示された映像がユーザＵ２４のユーザ端末２５０の左撮影部２８９により撮影され、ユーザＵ２５の右表示部２８６に表示される。その結果、図２０に示したユーザＵ２５のユーザ端末２５０の右表示部２８６に表示されるユーザ映像２３９には、ユーザＵ２４に加えてユーザＵ２８の様子が映し出されている。このようなユーザ端末２５０の構成により、各ユーザは、仮想空間１０内で同一のユーザ位置に位置する複数のユーザと空間を共有しながらコンテンツを視聴しているかのような高度な臨場感を体験することができる。

ここまで、図１３から図２０を用いて、本発明の第２の実施形態について具体的に説明した。本実施形態によれば、メイン映像又はメイン音声を含む第１のコンテンツ、及び同一のユーザ位置において隣りに位置するユーザのユーザ映像又はユーザ音声を含む第２のコンテンツが、コンテンツサーバ２００からユーザ端末２５０へ複合的に配信される。そして、ユーザ端末２５０において、例えば、第１のコンテンツがユーザの正面に、第２のコンテンツがユーザの左又は右に表示され得る。それにより、ユーザは、コンテンツを視聴するにあたり、自ら選択したユーザ位置に位置する他のユーザと一体感を持ちながら、より高められた臨場感を体験することができる。

なお、ここでは同一のユーザ位置において隣り同士に位置するユーザの様子を表す第２のコンテンツをコンテンツサーバ２００が中継する例について説明した。しかしながら、その代わりに、例えば隣り同士に位置するユーザのユーザ端末２５０の間で、第２のコンテンツが直接送受信されてもよい。そうした場合には、コンテンツサーバ２００にかかる処理の負荷を軽減することができる。

＜３．まとめ＞
上述した本発明の第１の実施形態又は第２の実施形態によれば、ユーザにより選択された仮想空間内での位置に応じて加工されたコンテンツをユーザが視聴することで、ユーザにより体験される臨場感を向上させることができる。

なお、本明細書において説明した第１及び第２の実施形態に係る一連の処理は、典型的にはソフトウェアを用いて実現される。一連の処理又はその一部をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれたコンピュータ、又は例えば図２１に示した汎用コンピュータなどを用いて実行される。

図２１において、ＣＰＵ（Central Processing Unit）９０２は、汎用コンピュータの動作全般を制御する。ＲＯＭ（Read Only Memory）９０４には、一連の処理の一部又は全部を記述したプログラム又はデータが格納される。ＲＡＭ（Random Access Memory）９０６には、処理の実行時にＣＰＵ９０２により用いられるプログラムやデータなどが一時的に記憶される。

ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６は、バス９１０を介して相互に接続される。バス９１０にはさらに、入出力インタフェース９１２が接続される。入出力インタフェース９１２は、ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６と、入力装置９２０、出力装置９２２、記憶装置９２４、通信装置９２６、及びドライブ９３０とを接続するためのインタフェースである。

入力装置９２０は、例えばボタン、スイッチ、レバー、マウスやキーボードなどの装置を含む。出力装置９２２は、例えばＣＲＴ、ＰＤＰ、ＬＣＤ、又はＯＬＥＤなどの表示装置、及びスピーカなどの音声出力装置を含む。記憶装置９２４は、例えばハードディスク又は半導体メモリなどの記録媒体を用いて、プログラムやプログラムデータなどを記憶する。通信装置９２６は、ＬＡＮ又はインターネットなどのネットワークを介する通信処理を行う。ドライブ９３０は、必要に応じて汎用コンピュータに設けられ、例えばドライブ９３０にはリムーバブルメディア９３２が装着される。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属すものと了解される。

例えば、第１の実施形態に係るコンテンツサーバ１００は、図２に示したユーザ位置１４Ｄ（バックネット裏）に位置するユーザのユーザ端末へ、他のユーザのユーザ音声を配信する代わりに、中継される試合を解説する特別な音声などを配信してもよい。

また、例えば、図１２を用いて説明したコンテンツ加工処理を、必ずしもフローチャートに記載された順序に沿って実行しなくてもよい。各処理ステップは、並列的あるいは個別に独立して実行される処理を含んでもよい。

１００、２００ コンテンツサーバ（情報処理装置）
１１０ 通信部
１１８ 画面制御部
１２６ データ保持部
１２８ ユーザデータ
１３０、１３１ ユーザ位置データ
１３４、２３４ コンテンツ加工部
１４２、２４２ コンテンツ配信部
１５０、２５０ ユーザ端末
１６０ 通信部
１６８、２６８ 制御部
１７６ 音声出力部
１８０ 音声入力部
１８４、２８４〜２８６ 表示部
１８８、２８８〜２９０ 撮影部

Claims (13)

1. 仮想空間内でユーザが位置することのできる複数のユーザ位置を表示する画面であって、当該複数のユーザ位置から１つのユーザ位置をユーザが選択可能な位置選択画面をユーザ端末へ表示させる画面制御部と；
   前記位置選択画面を用いて選択された前記ユーザ位置ごとに、各ユーザ位置を選択したユーザを一覧化したユーザ一覧を保持するデータ保持部と；
   前記データ保持部により保持されている前記ユーザ一覧により表されるユーザ間の位置関係に応じて、前記ユーザ端末へ配信するコンテンツを加工するコンテンツ加工部と；
   を備える情報処理装置。
2. 前記コンテンツ加工部は、ユーザ間の前記位置関係について予め定義される仮想空間内での距離に応じて、前記ユーザ端末へ配信するコンテンツを加工する、請求項１に記載の情報処理装置。
3. ユーザ間の前記位置関係には、異なるユーザ位置の間の位置関係と１つのユーザ位置における前記ユーザ一覧内でのユーザ間の位置関係とが含まれる、請求項２に記載の情報処理装置。
4. 前記コンテンツ加工部は、前記仮想空間内での距離に応じて決定される重みを用いて、１つのユーザのユーザ端末へ配信するコンテンツに他のユーザのユーザ端末から受信されるコンテンツを合成する、請求項３に記載の情報処理装置。
5. 前記重みは、前記仮想空間内での距離が近いほど大きい値をとる、請求項４に記載の情報処理装置。
6. 前記情報処理装置は、
   複数のユーザ端末へ共通的に配信される第１のコンテンツと、第１のユーザと同じユーザ位置に位置している第２のユーザのユーザ端末から受信される第２のコンテンツとを、前記第１のユーザのユーザ端末へ配信するコンテンツ配信部、
   をさらに備える、請求項１に記載の情報処理装置。
7. 前記第２のユーザは、前記ユーザ一覧内において前記第１のユーザと隣り合うユーザである、請求項６に記載の情報処理装置。
8. 前記コンテンツ加工部は、前記第１のユーザのユーザ位置とは異なるユーザ位置に位置している第３のユーザのユーザ端末から受信される第３のコンテンツを、前記第１のコンテンツに合成する、請求項６に記載の情報処理装置。
9. 前記位置選択画面は、さらに、各ユーザ位置に位置しているユーザの一覧を表示する画面であって、表示されたいずれかのユーザを選択することにより前記複数のユーザ位置から１つのユーザ位置をユーザが選択可能な画面である、請求項１に記載の情報処理装置。
10. 前記データ保持部は、前記位置選択画面において選択されたユーザと当該ユーザを選択したユーザとを、前記ユーザ一覧内において隣り合わせて配置する、請求項９に記載の情報処理装置。
11. 前記コンテンツ加工部は、１つのユーザのユーザ端末へ配信するコンテンツに、当該ユーザと予め関連付けられたフレンドユーザのユーザ端末から受信されるコンテンツを合成する、請求項１に記載の情報処理装置。
12. 仮想空間内でユーザが位置することのできる複数のユーザ位置ごとに各ユーザ位置を選択したユーザを一覧化しているユーザ一覧を記録媒体に記憶している情報処理装置を用いて、
    前記複数のユーザ位置から１つのユーザ位置をユーザが選択可能な位置選択画面をユーザ端末へ表示させるステップと；
    前記位置選択画面を介して取得されるユーザ位置の選択結果に応じて前記ユーザ一覧を更新するステップと；
    前記ユーザ一覧により表されるユーザ間の位置関係に応じて、前記ユーザ端末へ配信するコンテンツを加工するステップと；
    を含むコンテンツ処理方法。
13. 情報処理装置を制御するコンピュータを：
    仮想空間内でユーザが位置することのできる複数のユーザ位置を表示する画面であって、当該複数のユーザ位置から１つのユーザ位置をユーザが選択可能な位置選択画面をユーザ端末へ表示させる画面制御部と；
    前記位置選択画面を用いて選択された前記ユーザ位置ごとに、各ユーザ位置を選択したユーザを一覧化したユーザ一覧を保持するデータ保持部と；
    前記データ保持部により保持されている前記ユーザ一覧により表されるユーザ間の位置関係に応じて、前記ユーザ端末へ配信するコンテンツを加工するコンテンツ加工部と；
    として機能させるための、プログラム。
    

Images