JP2017021799A - 情報提示システム、情報提示装置及びプログラム - Google Patents

Abstract

【課題】時を異にして配信動画を視聴した他のユーザとの一体感を演出することができる新規な情報提示システムを提供する。【解決手段】本発明によれば、複数の情報提示装置と情報配信サーバとがネットワークを介して接続される情報提示システムであって、前記情報提示装置は、ネットワークを介して配信される配信動画を第１の表示領域に表示する配信動画表示部と、前記第１の表示領域に表示される配信動画を視聴するユーザの身体動作に係る身体動作情報を取得する身体動作情報取得部と、前記身体動作情報に基づいて前記ユーザの身体動作を表現する第１のアバタを生成するアバタ生成部と、前記第１のアバタを第２の表示領域に表示するアバタ表示部とを含む、情報提示システムが提供される。【選択図】図４

Description

本発明は、情報提示システムに関し、より詳細には、アバタを用いた情報提示システムに関する。

近年、インターネットを介して配信される動画を視聴するユーザからコメントを受付け、そのコメントを動画にオーバーレイ表示するサービスが提供されている（例えば、特許文献１）。

このサービスでは、ユーザが動画の再生中に入力したコメントをそのコメント付与時間（動画の再生開始時を起点とした相対時間）とともに蓄積しておき、動画の再生時に、その動画を過去に視聴したユーザのコメントをそのコメント付与時間に従って順次表示することによって、他のユーザとあたかも一緒にその動画を視聴しているかのような一体感を演出する。

一方、人間のコミュニケーションの６５％を非言語行動が担っているにも関わらず、インターネット上のコミュニケーションのほとんどが文字情報に依存している現状に着目し、非特許文献１は、Kinect（登録商標）を用いて動画を視聴するユーザの骨格情報を取得し、その骨格情報に基づいて生成した棒状のアバタを動画にオーバーレイ表示するシステムを開示する。

しかしながら、非特許文献１は、システムの利用者アンケートで、他のユーザとの一体感を感じられなかったという回答が多かったことを報告しており、その理由として、自分のアバタと他者のアバタが識別困難であったことや、自分のアバタと他者のアバタのインタラクションが表現できていなかったことなどを挙げている。

特開２００８−１４８０７１号公報

吉田有花，宮下芳明、身体動作の重畳表示による動画上での一体感共有、情報処理学会インタラクション２０１２論文集、ｐ５２７−５２３、２０１２年

本発明は、上記従来技術における課題に鑑みてなされたものであり、時を異にして配信動画を視聴した他のユーザとの一体感を演出することができる新規な情報提示システムを提供することを目的とする。

本発明者は、時を異にして配信動画を視聴した他のユーザとの一体感を演出することができる新規な情報提示システムにつき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。

すなわち、本発明によれば、複数の情報提示装置と情報配信サーバとがネットワークを介して接続される情報提示システムであって、前記情報提示装置は、ネットワークを介して配信される配信動画を第１の表示領域に表示する配信動画表示部と、前記第１の表示領域に表示される配信動画を視聴するユーザの身体動作に係る身体動作情報を取得する身体動作情報取得部と、前記身体動作情報に基づいて前記ユーザの身体動作を表現する第１のアバタを生成するアバタ生成部と、前記第１のアバタを第２の表示領域に表示するアバタ表示部と、を含み、前記情報配信サーバは、過去にユーザが配信動画を視聴したときの身体動作に係る身体動作情報を含むアバタ情報を保存するデータベースと、配信動画を表示する前記情報提示装置からの要求に応じて、過去に該配信動画を視聴した他のユーザの前記アバタ情報を送信するアバタ情報配信部と、を含み、前記アバタ生成部は、前記情報配信サーバから受信した前記アバタ情報に含まれる前記身体動作情報に基づいて、前記他のユーザの身体動作を再現する第２のアバタを生成し、前記アバタ表示部は、前記第１のアバタと前記第２のアバタを前記第２の表示領域に一緒に表示する、情報提示システムが提供される。

上述したように、本発明によれば、時を異にして配信動画を視聴した他のユーザとの一体感を演出することができる新規な情報提示システムが提供される。

第１実施形態の情報提示システムのネットワーク構成を示す図。 第１実施形態における配信動画の視聴環境を示す図。 第１実施形態における動画視聴画面を示す図。 第１実施形態の情報提示システムを構成する各装置の機能構成を示す機能ブロック図。 第１実施形態における条件設定画面を示す図。 第１実施形態の情報提示システムが実行する処理を示すフローチャート。 第１実施形態における動画検索画面を示す図。 第１実施形態のデータ構造を示す図。 アバタの生成方法を説明するための概念図。 第１実施形態における骨格座標変換処理を示すフローチャート。 第１実施形態における分割表示モード時のアバタ表示領域を示す図。 第１実施形態における骨格座標変換処理を示すフローチャート。 第１実施形態における骨格座標変換処理を説明するための概念図。 第１実施形態における一括表示割モード時のアバタ表示領域を示す図。 第１実施形態におけるアバタ情報生成処理を示すフローチャート。 第１実施形態におけるコメント情報生成処理を示すフローチャート。 第１実施形態における音声再生モード時およびコメント表示モード時の動画視聴画面を示す図。 第２実施形態におけるアバタ表現のバリエーションを示す図。 第２実施形態の情報提示システムを構成する各装置の機能構成を示す機能ブロック図。 各種テーブルを示す図。 第２実施形態のアバタ情報のデータ構造を示す図。 第２実施形態の通知画面等を示す図。 第２実施形態の動画検索画面等を示す図。 第２実施形態の情報提示システムが実行する処理を示すフローチャート。 第２実施形態における動画視聴画面を示す図。 第２本実施形態におけるインタラクティブ情報生成処理を示すフローチャート。 第２実施形態の情報提示システムが実行する処理を示すフローチャート。 第２実施形態における動画視聴画面を示す図。 第２実施形態における投票受付処理等を示すフローチャート。 第２実施形態におけるメッセージ通知画面を示す図。 第２実施形態におけるメッセージ通知画面生成処理を示すフローチャート。 第３実施形態における条件設定画面を示す図。 第３実施形態における動画視聴画面を示す図。 第３実施形態における動画視聴画面を示す図。 第３実施形態における動画視聴画面を示す図。

以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

（第１実施形態）
図１は、本発明の第１実施形態である情報提示システム１００のネットワーク構成を示す。図１に示すように、本実施形態の情報提示システム１００は、複数の情報提示装置１０と、動画配信サーバ３０と、アバタ情報配信サーバ２０とを含んで構成されている。

情報提示装置１０は、配信動画の視聴に使用されるパーソナル・コンピュータとして参照することができ、インターネットとして参照されるネットワーク５０を介して動画配信サーバ３０およびアバタ情報配信サーバ２０のそれぞれと通信可能に接続されている。なお、以下では、情報提示装置１０をＰＣ１０という。

動画配信サーバ３０は、ＰＣ１０からの要求に応じてデータベースから動画ファイル（以下、単に、動画という）を読み出して配信する。

一方、アバタ情報配信サーバ２０は、ＰＣ１０からの要求に応じてデータベースからアバタ情報を読み出して配信する。なお、アバタ情報の詳細については後述する。

続いて、本実施形態における配信動画の視聴環境を図２に基づいて説明する。図２に示すように、配信動画の視聴に使用されるＰＣ１０には、表示装置１２と、モーションキャプチャ装置１４と、マイク１６と、スピーカー１８が接続されている。ここで、モーションキャプチャ装置１４は、配信動画を視聴するユーザ４０の身体動作を３次元計測するための手段であり、適切な位置に固定される。

本実施形態では、ユーザ４０が表示装置１２に表示された配信動画を視聴しながらその内容に合わせて思い思いのアクション（身体動作／発話や発声）を起こすことを前提としており、モーションキャプチャ装置１４は、配信動画を視聴するユーザ４０の身体動作をトラッキングし、マイク１６は、その間のユーザ４０の発話や発声を収録する。

本実施形態に好適なモーションキャプチャ装置１４としては、マイクロソフト社のKinect（登録商標、以下同様。）を挙げることができる。なお、Kinectはマイクを内蔵しているので、モーションキャプチャ装置１４としてKinectを使用する場合はマイク１６を省略することができる。

ここで、本実施形態のＰＣ１０は、配信動画とアバタを同時に視聴するための動画視聴画面を生成して表示装置１２に表示する。

図３は、表示装置１２に表示される動画視聴画面６０を例示的に示す。図３に示すように、動画視聴画面６０は、配信動画を表示するための配信動画表示領域６２と、アバタを表示するためのアバタ表示領域６４を備えている。動画視聴画面６０において、配信動画表示領域６２およびアバタ表示領域６４のそれぞれがステージおよび観客席を想起させるように、配信動画表示領域６２の下方に配置されるアバタ表示領域６４が配置されている。

本実施形態においては、ステージに見立てた配信動画表示領域６２に配信動画を表示するときに、これを視聴するユーザのアバタ（以下、ユーザアバタという）を観客席に見立てたアバタ表示領域６４に表示する。このとき、配信動画表示領域６２に表示される動画を過去に視聴した他のユーザのアバタ（以下、他者アバタという）をユーザアバタと一緒にアバタ表示領域６４に表示することによって、配信動画を視聴するユーザは、あたかも他のユーザと一緒に同じステージを見ているかのような一体感や臨場感を演出する。

続いて、本実施形態の情報提示システム１００を構成する各装置の機能構成を図４に示す機能ブロック図に基づいて説明する。

図４に示すように、本実施形態のＰＣ１０は、配信動画取得部１０２、アバタ情報取得部１０３、配信動画表示部１０４、アバタ表示部１０５、身体動作情報取得部１０６、アバタ生成部１０７、身体特徴情報取得部１０８、身体活性度算出部１０９、音声データ取得部１１０、音声出力部１１２、コメント取得部１１４、重なり判定部１１６、アバタ表示位置変更部１１７、アバタ情報生成部１１８を含んで構成される。なお、上述した各機能手段は、ＰＣ１０に専用アプリケーションをインストールすることによって実現される。

配信動画取得部１０２は、動画配信サーバ３０から動画を取得するための機能手段であり、ユーザが選択した動画を動画配信サーバ３０からダウンロードする。

アバタ情報取得部１０３は、他のユーザのアバタ情報をアバタ情報配信サーバ２０から取得するための機能手段であり、ユーザが動画配信サーバ３０から配信される動画を視聴する際に、当該動画を過去に視聴した他のユーザのアバタ情報をアバタ情報配信サーバ２０から取得する。

配信動画表示部１０４は、動画配信サーバ３０から取得した動画を配信動画表示領域６２（図３参照）に表示するための機能手段であり、例えば、動画配信サーバ３０から配信される動画を配信動画表示領域６２においてストリーミング再生する。

アバタ表示部１０５は、表示装置１２に表示する動画を視聴するユーザのユーザアバタと当該動画を過去に視聴した他のユーザの他者アバタをアバタ表示領域６４（図３参照）に一緒に表示するための機能手段である。ここで、本実施形態においては、アバタ表示領域６４にアバタを表示する表示モードとして、「分割表示モード」と「一括表示モード」が用意されており、図５に示す条件設定画面７０を介してユーザがいずれかのモードを選択できるようになっている。

身体動作情報取得部１０６は、アバタ表示領域６４に表示される動画を視聴するユーザの身体動作に係る身体動作情報を取得するための機能手段である。ここでいう身体動作情報とは、モーションキャプチャ装置１４がトラッキングしたユーザの身体動作を表すデータであり、本実施形態においては、ユーザの身体の関節の位置座標（以下、骨格座標という）の時系列データを身体動作情報とする。

アバタ生成部１０７は、身体動作情報取得部１０６が取得した身体動作情報に基づいてユーザの身体動作を表現するユーザアバタを生成するとともに、アバタ情報配信サーバ２０から取得したアバタ情報に基づいて、他のユーザの身体動作を再現する他者アバタを生成するための機能手段である。なお、アバタ生成部１０７は、アバタの描画色の割り当ても行う。

身体特徴情報取得部１０８は、配信動画表示領域６２に表示される動画を視聴するユーザの属性情報として、当該ユーザの身体特徴に係る身体特徴情報を取得するための機能手段である。

身体活性度算出部１０９は、配信動画表示領域６２に表示される動画を視聴するユーザの属性情報として、当該ユーザの身体動作情報に基づいて身体の活性度を算出するための機能手段である。

音声データ取得部１１０は、配信動画表示領域６２に表示される動画を視聴するユーザの属性情報として、当該ユーザが発した音声の音声データを取得するための機能手段である。

音声出力部１１２は、アバタ情報配信サーバ２０から受信したアバタ情報に基づいて、配信動画表示領域６２に表示する動画に同期させて他のユーザの音声を出力するための機能手段である。

コメント取得部１１４は、配信動画表示領域６２に表示される動画を視聴するユーザの属性情報として、当該ユーザが発した音声の音声データから抽出した発話をテキスト化したコメントを取得するための機能手段である。

重なり判定部１１６は、ユーザがアバタの表示モードとして「一括表示モード」を選択した場合に、アバタ表示領域６４におけるユーザアバタの表示位置と他者アバタの表示位置が重なるか否かを判定するための機能手段である。

アバタ表示位置変更部１１７は、ユーザアバタの表示位置と他者アバタの表示位置が重ならないようにアバタの表示位置を変更するための機能手段である。

アバタ情報生成部１１８は、アバタ情報を生成してアバタ情報配信サーバ２０に送信するための機能手段である。ここで、送信するアバタ情報には、配信動画表示領域６２に表示される動画を視聴するユーザの身体動作情報と、当該ユーザの属性情報と、これらの情報を取得した情報取得日時が含まれる。

一方、図４に示すように、本実施形態のアバタ情報配信サーバ２０は、アバタ情報配信部２２、アバタ情報管理部２４、データベース２６を含んで構成される。

データベース２６には、ユーザが動画を視聴したときの身体動作情報を含むアバタ情報が当該動画に紐付けて保存するための機能手段である。

アバタ情報配信部２２は、動画を配信したＰＣ１０からの要求に応答して、データベース２６から当該動画を過去に視聴したユーザの他者アバタに係るアバタ情報を読み出し、ＰＣ１０に送信するための機能手段である。

アバタ情報管理部２４は、ＰＣ１０から受信したアバタ情報をデータベース２６に保存するための機能手段である。

以上、本実施形態の情報提示システム１００を構成する各装置の機能構成について説明してきたが、次に、上述した各機能手段が実行する処理の内容を図６に示すフローチャートに基づいて説明する。

ユーザがＰＣ１０にインストールされた専用アプリケーションを起動すると、図７（ａ）に示すように、表示装置１２の表示画面に動画検索画面が表示される。これを受けて、ユーザが動画検索画面に表示されるテキストボックスにキーワードを入力して検索を実行すると、図７（ｂ）に示す検索結果画面が表示画面に表示される。これを受けて、ユーザが検索結果画面に表示された動画のサムネイル画像付きリストの中から任意の動画を選択すると、以下の処理が開始する。

まず、ステップ１０１で、配信動画取得部１０２がユーザが選択した動画を動画配信サーバ３０から読み込む。続くステップ１０２では、アバタ情報取得部１０３が読み込んだ動画に係る動画ＩＤを指定したアバタ情報取得要求をアバタ情報配信サーバ２０に送信する。これを受けて、アバタ情報配信サーバ２０のアバタ情報配信部２２は、ＰＣ１０から受信したアバタ情報取得要求が指定する動画ＩＤに紐付いた１以上のアバタ情報をデータベース２６から読み出して、ＰＣ１０に送信する。

図８（ａ）は、データベース２６に保存されるアバタ情報のデータ構造を模式的に示す。アバタ情報は、過去に動画を視聴したユーザのアバタに関する情報であり、図８（ａ）に示すように、動画ＩＤに紐付けられた所定形式のファイル（例えば、ＣＳＶファイル）にまとめて記述される。ここで、各アバタ情報には、ユーザＩＤ、アバタアニメーションのフレーム番号を付与したユーザの骨格座標の時系列データ、アバタ情報の取得日時、身体活性度、ユーザの身長、ユーザの大きさ、音声データへのパス、コメント情報へのパスが記述される。

図８（ｂ）は、データベース２６に保存されるコメント情報のデータ構造を模式的に示す。コメント情報は、過去に配信動画を視聴したユーザが当該動画に対して付与したコメントに関する情報であり、図８（ｂ）に示すように、動画ＩＤに紐付けられた所定形式のファイル（例えば、ＣＳＶファイル）にまとめて記述される。ここで、各コメント情報には、ユーザＩＤ、コメント付与時間、コメントの内容が記述される。なお、ここでいうコメント付与時間とは、動画の再生開始時を起点とした相対時間を意味する。

また、データベース２６に保存される音声データは、過去に配信動画を視聴したユーザが当該動画を視聴中に収録された音声データである。

アバタ情報配信サーバ２０は、アバタ情報取得要求が指定する動画ＩＤに紐付いたアバタ情報に記述されたパスに基づいてコメント情報および音声データを読み出し、それらをまとめてアバタ情報としてＰＣ１０に送信し、アバタ情報取得部１０３がこれを取得する。

再び図６に戻って説明を続ける。

続くステップ１０３では、モーションキャプチャ装置１４による身体動作のトラッキングとマイク１６による音声収録を開始すると同時に、続くステップ１０４で、配信動画表示部１０４がステップ１０１で読み込んだ動画を配信動画表示領域６２（図３参照）に表示して再生を開始する。

その後、アバタのアニメーションのフレーム間隔（例えば、0.1[sec]）に同期して以下に述べるステップ１０５〜１１０が繰り返し実行される。

まず、ステップ１０５では、身体動作情報取得部１０６がモーションキャプチャ装置１４のトラッキングデータを解析してユーザの身体の関節の座標を骨格座標として取得し、取得した骨格座標（３次元座標）を２次元座標に変換する。そして、身体動作情報取得部１０６は、変換後の骨格座標（２次元座標）にフレーム番号[１]を付与して一時記憶に記憶する。

本実施形態では、ステップ１０５で、図９（ａ）に示すように、頭および背骨と四肢に存在する１４箇所の関節の座標を骨格座標として取得しているが、他の実施形態では、ユーザの身体の関節のうち、任意の関節の座標を骨格座標として取得することができる。なお、骨格座標（３次元座標）を出力する機能を搭載したマイクロソフト社のKinectをモーションキャプチャ装置１４として使用する場合は、身体動作情報取得部１０６は、Kinectが出力する骨格座標（３次元座標）を受け取って、それを２次元座標に変換する。

続くステップ１０６では、アバタ生成部１０７が先のステップ１０２で取得した他者アバタのアバタ情報からフレーム番号[１]が付与された骨格座標（２次元座標）を読み出す。

続くステップ１０７では、アバタ生成部１０７が先のステップ１０５で取得した骨格座標（２次元座標）に基づいてユーザアバタを生成し、先のステップ１０６で取得した骨格座標（２次元座標）に基づいて１以上の他者アバタを生成する。図８（ｃ）は、ステップ１０７で生成されるアバタのクラスのデータ構造を模式的に示す。図８（ｃ）に示すように、アバタクラスには、フレームカウンタと、アバタの骨格座標（２次元座標）と、オフセット値（後述する）が記述される。なお、この段階でオフセット値は初期値０とされる。本実施形態では、図９（ｂ）に示すように、頭の座標を中心とする円を描画し、背骨の座標を中心とする楕円を描画し、四肢の座標を結んだ線分を描画することで人型アバタを生成するが、他の実施形態では、他の適切な規則に従ってアバタを生成することができる。

ステップ１０７でアバタを生成した後、続くステップ１０８で、アバタ表示位置変更部１１７が骨格座標変換処理を実行し、続くステップ１０９で、アバタ生成部１０７が色割り当て処理を実行する。このとき、ステップ１０８およびステップ１０９では、ユーザが選択した表示モードに応じて異なる処理が実行される。

ここでは、まず、ユーザが「分割表示モード」を選択した場合にアバタ表示位置変更部１１７が実行する骨格座標変換処理を図１０（ａ）に示すフローチャートに基づいて説明する。

まず、ステップ２０１で、先のステップ１０７で生成したアバタ（ユーザアバタと他者アバタ）の総数でアバタ表示領域６４を分割する。続くステップ２０２では、分割してなる複数の領域の中で最も中央に位置する領域をユーザアバタの表示領域として設定し、ステップ２０３で、残りの領域を他者アバタの表示領域として設定する。

続くステップ２０４では、ステップ２０３で設定した表示領域内に各アバタが収まるように、各アバタの骨格座標を変換して、処理を終了する。具体的には、設定した表示領域内に収まるように各アバタの大きさを縮小し、且つ、設定した表示領域内にアバタが移動するように縮小後の各アバタの骨格座標をシフトする。

次に、ユーザが「分割表示モード」を選択した場合にアバタ生成部１０７が実行する色割り当て処理を図１０（ｂ）に示すフローチャートに基づいて説明する。

まず、ステップ３０１で、ユーザアバタの描画色に任意の色を割り当てる。次に、ステップ３０２で、他者アバタの描画色にユーザアバタの描画色と識別可能な色を割り当てて、処理を終了する。なお、ステップ３０２では、識別可能な色の組を予め用意しておき、それぞれの色を各アバタの描画色に割り当てるようにしてもよいし、ユーザが選択した描画色をユーザアバタに割り当てるとともに、当該描画色と識別可能な色を自動的に他者アバタに割り当てるようにしてもよい。

図１１（ａ）〜（ｃ）は、「分割表示モード」時のアバタ表示領域６４を例示する。図１１に示す例では、ユーザアバタが白いアバタとして描画され、他者アバタが黒いアバタとして描画されている。このように、「分割表示モード」においては、ユーザアバタが他者アバタとは異なる色で中央に配置されるので、ユーザは自身のアバタを見失うことがない。

続いて、ユーザが「一括表示モード」を選択した場合にアバタ表示位置変更部１１７が実行する骨格座標変換処理を図１２（ａ）に示すフローチャートに基づいて説明する。

まず、ステップ４０１で、図９（ｂ）に示すように、先のステップ１０５で取得したユーザの両手首に係る骨格座標（２次元座標）を中心とする２つの矩形領域と、背骨に係る骨格座標を中心とする１つの矩形領域を判定領域Ｃ１に設定する一方で、他者アバタの背骨に係る骨格座標を中心とする１つの矩形領域のみを判定領域Ｃ２に設定する。

続くステップ４０２では、ユーザアバタの判定領域Ｃ１と他者アバタの判定領域Ｃ２が重複しているか否かを判断する。ここでは、アバタクラス（図８（ｃ）参照）の骨格座標にオフセット値を加えた値に基づいて画定した判定領域Ｃ１および判定領域Ｃ２について、両者の重複を判断する。その結果、判定領域Ｃ１と判定領域Ｃ２が重複していないと判断された場合は（Ｓ４０２、Ｎｏ）、そのまま処理を終了し、各アバタのアバタクラスのオフセット値を変更しない。例えば、図１３（ａ）に示すように、ユーザアバタＵの判定領域Ｃ１と他者アバタＡの判定領域Ｃ２とが重なっていない場合、ユーザアバタＵおよび他者アバタＡのそれぞれのアバタクラスのオフセット値は変更されることなく、ユーザアバタＵおよび他者アバタＡの表示位置はそのまま維持される。

一方、判定領域Ｃ１と判定領域Ｃ２が重複していると判断された場合は（Ｓ４０２、Ｙｅｓ）、処理はステップ４０３に進む。ステップ４０３では、重複した判定領域Ｃ２に係る他者アバタに係るアバタクラスのオフセット値を判定領域Ｃ１と判定領域Ｃ２が重複量だけ増減する。続くステップ４０４では、最新のオフセット値に基づいて重複した判定領域Ｃ２に係る他者アバタの骨格座標をシフトする。具体的には、重複した判定領域Ｃ２に係る他者アバタのアバタクラスに記述された骨格座標に対して最新のオフセット値を加算することで、当該他者アバタの骨格座標をシフトする。

例えば、ユーザアバタＵの判定領域Ｃ１と他者アバタＡの判定領域Ｃ２とが図１３（ｂ）に示すような形で重複している場合、ステップ４０３で、他者アバタＡのＸ軸方向のオフセット値を重複量αだけ減分し、ステップ４０４で、他者アバタＡの骨格座標に重複量αだけ減分されたオフセット値を加算することで骨格座標をＸ軸方向負方向にシフトする。この場合、他者アバタＡが紙面左方向にαだけ移動することになる。一方、ユーザアバタＵの判定領域Ｃ１と他者アバタＡの判定領域Ｃ２とが図１３（ｃ）に示すような形で重複している場合、ステップ４０３で、他者アバタＡのＸ軸方向のオフセット値を重複量βだけ増分し、ステップ３０４で、他者アバタＡの骨格座標に重複量βだけ増分されたオフセット値を加算することで骨格座標をＸ軸方向正方向にシフトする。この場合、他者アバタＡが紙面右方向にβだけ移動することになる。

次に、ユーザが「一括表示モード」を選択した場合にアバタ生成部１０７が実行する色割り当て処理を図１２（ｂ）に示すフローチャートに基づいて説明する。

まず、ステップ５０１で、ユーザアバタの描画色にＨＳＶ色空間における所定の色相角の色を割り当てる。なお、ステップ５０１では、予め設定された色をユーザアバタの描画色に割り当てるようにしてもよいし、ユーザに描画色を選択させるようにしてもよい。

続くステップ５０２では、次の他者アバタに割り当てる色の色相角を算出する。具体的には、３６０を全アバタ数で除算した値を角度増分とし、先のステップ５０１でユーザアバタの描画色に割り当てた色の色相角に当該角度増分を加算する。続くステップ５０３では、算出した色相角の色を割り当てが済んでいない次の他者アバタの描画色に割り当てる。

続くステップ５０４では、全ての他者アバタの色の割り当てが済んだか否かを判断し、済んでいない場合は（Ｓ５０４、Ｎｏ）、ステップ５０２に戻る。ステップ５０２では、ユーザアバタの描画色に割り当てた色の色相角に角度増分を加算し、ステップ５０３で、新たに算出された色相角の色を割り当てが済んでいない次の他者アバタの描画色に割り当てる。

以降、全ての他者アバタの色の割り当てが済むまで、ステップ５０２〜５０４の処理を繰り返し、全ての他者アバタの色の割り当てが済むと（Ｓ５０４、Ｙｅｓ）、処理はステップ５０５に進む。続くステップ５０５では、他者アバタに設定した色に所定の透明度（例えば、７０％）を設定して、処理を終了する。

再び図６に戻って説明を続ける。

続くステップ１１０では、アバタ表示部１０５が、骨格座標変換処理（ステップ１０８）でシフトした骨格座標と色割り当て処理（ステップ１０９）で割り当てた描画色に基づいて生成されたユーザアバタおよび他者アバタの画像（１番目のフレーム画像）をアバタ表示領域６４（図３参照）に描画する。以降、配信動画表示領域６２に動画を再生している間、上述したステップ１０５〜１１０を繰り返し実行する。

この間、ステップ１０５では、新たに取得したユーザの骨格座標に対して付与するフレーム番号を１ずつ増分し、ステップ１０６では、アバタ情報から読み出す他者アバタの骨格座標のフレーム番号を１ずつ増分する。なお、ステップ１０９の色割り当て処理は、２巡目以降の処理では、前回に割り当てた描画色を維持することでスキップすることができる。

図１４は、「一括表示割モード」時に、アバタ表示領域６４に表示されるアバタのアニメーションを例示的に示す。図１４（ａ）に示す例では、アバタ表示領域６４に、配信動画表示領域６２に表示される動画を視聴しているユーザのユーザアバタＵと当該動画を過去に視聴した４名のユーザの他者アバタＡが一緒に表示されている。このとき、動画を視聴するユーザが左右の空間を押しのけるようなジェスチャーをとると、これに応答して、図１４（ｂ）に示すように、他者アバタＡの表示位置が変わる。

このように、「一括表示割モード」においては、ユーザアバタＵが他者アバタＡとは異なる色で中央に配置されるので、ユーザは自身のアバタを見失うことがない。また、近づくユーザアバタＵに反応して他者アバタＡがリアルタイムに離れる様子は、現実世界での自己と他人が距離を保つような感覚を想起させ、ユーザは、アバタ表現を介して他のユーザとの一体感を感じることができる。なお、「一括表示割モード」では、他者アバタＡのそれぞれに別々の色が割り当てられ、且つ、各色に透過処理が施されるので、複数の他者アバタＡの表示位置が重なった場合でも、各他者アバタＡを見分けることが可能になる。

なお、上述した実施形態では、両手首に係る骨格座標を中心とする矩形領域や背骨に係る骨格座標を中心とする矩形領域を判定領域として設定する態様を示したが、これはあくまで例示であって、判定領域の位置や数および形状について種々の設計変更が可能であることはいうまでもない。例えば、両足首に係る骨格座標に係る判定領域を設定してもよいし、全ての骨格座標に係る判定領域を設定してもよい。全ての骨格座標に判定領域を設定した場合、ユーザが押しのけるジェスチャーなど能動的にアクションを起こさなくても、周りの他者アバタがユーザアバタから自然に距離を取るように振る舞うであろう。

動画の再生が終了すると、ステップ１１１で、モーションキャプチャ装置１４によるトラッキングとマイク１６による音声収録を同時に終了し、続くステップ１１２で、音声データ取得部１１０が収録した音声の音声データのファイルを生成・取得する。その後、続くステップ１１３において、アバタ情報生成部１１８がアバタ情報生成処理を実行して、処理を終了する。以下、アバタ情報生成処理を図１５に示すフローチャートに基づいて説明する。

まず、ステップ６０１で、先のステップ１０５で取得した全フレームに係るユーザの骨格座標（２次元座標）を読み出す。

続く、ステップ６０２では、身体特徴情報取得部１０８が「ユーザの身長」および「ユーザの大きさ」を算出する。ここで、「ユーザの身長」および「ユーザの大きさ」は、それぞれ、ユーザの身長およびユーザの身体の大きさを表す適切な指標であればよい。例えば、身体特徴情報取得部１０８は、身体動作情報取得部１０６が取得したユーザの骨格座標（３次元座標）に含まれる、頭の座標と足首の関節の座標の間の距離を「ユーザの身長」として取得し、モーションキャプチャ装置１４の撮影画像内のユーザが写った領域の画素数と深度に基づいて算出されたユーザの投影面積を「ユーザの大きさ」として取得する。

続くステップ６０３では、コメント取得部１１４がコメント情報生成処理を実行する。以下、ステップ６０３で実行されるコメント情報生成処理を図１６（ａ）に示すフローチャートに基づいて説明する。

まず、ステップ７０１で、収録した音声データを読み込んだ後、続くステップ７０２で、音声認識処理により当該音声データからユーザの発話を抽出して、その内容をテキスト化する。最後に、ステップ７０３で、発話内容（テキスト）をコメント内容とし、当該発話の収録時間をコメント付与時間とするコメント情報を生成する。なお、ここでいう発話の収録時間は、動画の再生開始時を起点とした相対時間とする。

上述した手順でコメント情報を生成すると、処理はステップ６０４に進み、身体活性度算出部１０９が身体活性度算出処理を実行する。以下、ステップ６０４で実行される身体活性度算出処理を図１６（ｂ）に示すフローチャートに基づいて説明する。

まず、ステップ８０１では、先のステップ６０１で読み出した全フレームに係るユーザの骨格座標（２次元座標）の中から両手の骨格座標を読み出す。続くステップ８０２では、左手の骨格座標の分散と左手の骨格座標の分散をそれぞれ求める。最後に、ステップ８０３では、ステップ８０２で求めた両手の骨格座標の分散の合計値をユーザの身体活性度とする。

続くステップ６０５では、アバタ情報生成部１１８が、先のステップ６０１〜６０４で取得した「ユーザの骨格座標」、「ユーザの身長」、「ユーザの大きさ」、「身体活性度」、これらの情報の取得日時、再生した動画の動画ＩＤ、ユーザＩＤを記述したアバタ情報ファイルを生成し、生成したアバタ情報ファイルと、ステップ６０３で生成した「コメント情報」と音声データ取得部１１０が取得した「音声データ」とを併せて、アバタ情報配信サーバ２０に送信して、処理を終了する。

一方、アバタ情報配信サーバ２０のアバタ情報管理部２４は、ＰＣ１０から受信した「コメント情報」と「音声データ」を動画ＩＤに紐付けてデータベース２６に保存するとともに、その保存先のパスとＰＣ１０から受信したアバタ情報ファイルに含まれる情報を記述してなるアバタ情報（図８（ａ）参照）を生成して、データベース２６に保存する。

以上、本実施形態の情報提示システム１００が実行する処理の内容を説明してきたが、続いて、上述した「コメント情報」と「音声データ」の利用した情報提示方法を説明する。

本実施形態においては、配信動画表示領域６２に表示する動画を過去に視聴した他のユーザの音声を再生するモード（以下、音声再生モードという）が用意されており、条件設定画面７０（図５参照）を介してユーザが当該モードを選択できるようになっている。ここで、ユーザが音声再生モードを設定した場合、音声出力部１１２は、アバタ情報配信サーバ２０から受信したアバタ情報に含まれる音声データを配信動画表示領域６２に表示する動画に同期させて音声出力する。

図１７（ａ）は、「音声再生モード」時の動画視聴画面６０を示す。図１７（ａ）に示す例では、ステージに見立てた配信動画表示領域６２にロックコンサートの動画が表示されており、観客席に見立てたアバタ表示領域６４には、その中央にユーザアバタＵが表示され、その周りに多数の他者アバタＡが表示されている。「音声再生モード」では、配信動画表示領域６２に表示されるロックコンサートの動画を過去に視聴した他のユーザの音声を同時出力することより、観客席のざわめきや観客席に響く歓声を演出することができる。また、ユーザアバタに隣接する他者アバタに係る音声データをそれ以外の他者アバタに係る音声データよりも大きい音量で音声出力することによって、あたかも隣の観客の話声が漏れ聞こえてきているような臨場感を演出することもできる。

さらに、本実施形態においては、配信動画表示領域６２に表示する動画を過去に視聴した他のユーザのコメントを表示するモード（以下、コメント表示モードという）が用意されており、条件設定画面７０（図５参照）を介してユーザが当該モードを設定できるようになっている。ここで、ユーザがコメント表示モードを設定した場合、アバタ表示部１０５は、アバタ情報配信サーバ２０から受信したアバタ情報に含まれるコメント情報のコメント内容（テキスト）をコメント付与時間に従って表示する。

図１７（ｂ）は、「音声再生モード」と「コメント表示モード」の両方を設定した時の動画視聴画面６０を示す。図１７（ｂ）に示す例では、配信動画表示領域６２に表示されるロックコンサートの動画を過去に視聴した他のユーザの音声が同時出力されることに加えて、ユーザアバタＵに隣接する他者アバタＡに対応するコメントのみが表示されている。この場合、観客席のざわめきや観客席に響く歓声の中で、隣に位置する他者アバタＡ（他のユーザ）の発話の内容を理解することができる。

最後に、アバタ表示領域６４に表示させる他者アバタの選択方法について説明する。本実施形態においては、アバタ表示領域６４に表示する他者アバタの上限数とその検索条件を図５に示す条件設定画面７０を介して設定できるようになっている。図５に示す例では、他者アバタの検索条件として並び替え条件を設定できるように構成されており、プルダウンメニューから「新しい順」、「よく動く順」、「背の高い順」、「体の大きい順」が並び替え条件の項目として選択できるようになっている。

例えば、ユーザが条件設定画面７０を介して、上限数「Ｎ」および項目「新しい順」を設定した場合、アバタ情報取得部１０３は、先のステップ１０２（図６参照）で設定された検索条件を含む要求をアバタ情報配信サーバ２０に送信する。これを受けて、アバタ情報配信部２２は、データベース２６に保存された動画ＩＤに紐付いた複数のアバタ情報の中から、「取得日時」の値が新しい上位Ｎ件のアバタ情報を読み出す。その後、アバタ情報配信部２２は、読み出したアバタ情報に記述されたパスに基づいてコメント情報および音声データを読み出し、それらをまとめてアバタ情報としてＰＣ１０に送信する。

なお、アバタ情報配信部２２は、ユーザが「よく動く順」を選択した場合は、データベース２６から、「身体活性度」の値が大きい上位Ｎ件のアバタ情報を読み出し、ユーザが「背の高い順」を選択した場合は、データベース２６から、「ユーザの身長」の値が大きい上位Ｎ件のアバタ情報を読み出し、ユーザが「体の大きい順」を選択した場合は、データベース２６から、「ユーザの大きさ」の値が大きい上位Ｎ件のアバタ情報を読み出す。

以上、説明したように、本実施形態によれば、ユーザアバタが他者アバタとは異なる色でアバタ表示領域の中央に配置されるので、ユーザは自身のアバタを見失うことがない。また、ユーザアバタと他者アバタのインタラクティブ表現により時を異にして配信動画を視聴した他のユーザとの一体感を演出することができる。

以上、本発明の第１実施形態を説明してきたが、続いて、本発明の第２実施形態を説明する。なお、以下では、第１実施形態の内容と共通する部分の説明を省略し、専ら、第１実施形態との相違点のみを説明するものとする。

（第２実施形態）
第２実施形態は、主に、下記（１）〜（４）の点で、第１実施形態と異なる。

（１）動画の「鑑賞モード」を選択できる点
第２実施形態では、“見ながら踊るモード”と“見るだけモード”という２つの「鑑賞モード」が用意される。ここで、“見ながら踊るモード”は、第１実施形態で説明したのと同様の動作モードであり、当該モードでは、ユーザの動きに連動するユーザアバタが動画視聴画面６０に表示される。一方、“見るだけモード”は、ユーザが配信動画に連動する他者アバタの動きを鑑賞して楽しむモードであり、当該モードでは、ユーザの撮影や音声の収録は行わず、ユーザの動きに連動するユーザアバタは動画視聴画面６０に表示されない。

（２）アバタ表現のバリエーションが用意されている点
第２実施形態では、図１８（ａ）、（ｂ）に示すように、ユーザの性別とユーザが選択した鑑賞モードを識別できるようなアバタ表現が用意される。この点につき、図１８（ａ）は、“見ながら踊るモード”が選択された場合の、男性ユーザと女性ユーザのアバター表現を例示的に示す。また、図１８（ｂ）は、“見るだけモード”が選択された場合の、男性ユーザと女性ユーザのアバター表現を例示的に示す。加えて、本実施形態では、図１８（ｃ）に示すように、ユーザの身体特徴を識別できるようなアバタ表現が用意される。

（３）他のユーザに投票できる点
第２実施形態では、“見るだけモード”において、動画視聴画面６０に表示される他者アバタがその身体動作を表現するところの他のユーザ（以下、他者アバタのユーザという）に対して投票することができる。

（４）他者アバタのユーザにメッセージを送ることができる点
第２実施形態では、“見るだけモード”において、動画視聴画面６０に表示される他者アバタのユーザに宛ててメッセージを送ることができる。

以下では、専ら、上記（１）〜（４）に挙げた相違点について説明する。

ここでは、まず、図１９に示す機能ブロック図に基づいて、第２実施形態の情報提示システム１００を構成する各装置の機能構成について説明する。

図１９に示すように、第２実施形態のＰＣ１０は、図４に示した第１実施形態のＰＣ１０の構成に加えて、投票受付部１２０、メッセージ受付部１２２、インタラクティブ情報生成部１２３を備える。

投票受付部１２０は、アバタ表示領域６４に表示される他者アバタを介して当該他者アバタのユーザに対する投票を受け付けるための機能手段である。

メッセージ受付部１２２は、アバタ表示領域６４に表示される他者アバタを介して当該他者アバタのユーザに宛てたメッセージを受け付けるための機能手段である。

インタラクティブ情報生成部１２３は、ユーザが選択した他者アバタのユーザの識別情報、他者アバタのユーザに対する投票および他者アバタのユーザに宛てたメッセージのいずれかを含むインタラクティブ情報を生成して、アバタ情報配信サーバ２０に送信するための機能手段である。

一方、図１９に示すように、第２実施形態のアバタ情報配信サーバ２０は、図４に示した第１実施形態のアバタ情報配信サーバ２０の構成に加えて、ユーザ認証部２１、選択履歴管理部２３、投票履歴管理部２７、メッセージ履歴管理部２８、通知画面生成部２９を備える。

ユーザ認証部２１は、アバタ情報配信サーバ２０の利用者のユーザ認証を実行するための機能手段である。

選択履歴管理部２３は、ユーザによる他者アバタの選択の履歴を管理するための機能手段である。

投票履歴管理部２７は、他者アバタのユーザに対する投票の履歴を管理するための機能手段である。

メッセージ履歴管理部２８は、他者アバタのユーザに宛てたメッセージの履歴を管理するための機能手段である。

通知画面生成部２９は、ユーザを選択した他のユーザ、ユーザに投票した他のユーザおよびユーザにメッセージを送信した他のユーザのうちのいずれかを表示する通知画面を生成し、ＰＣ１０に送信するための機能手段である。

また、第２実施形態では、アバタ情報配信サーバ２０のデータベース２６が、図２０（ａ）〜（ｄ）に示す４つのテーブル（ユーザ情報管理テーブル５００、アバタ選択履歴管理テーブル６００、投票履歴管理テーブル７００、メッセージ履歴管理テーブル８００）を保持する。以下、各テーブルの内容を説明する。

図２０（ａ）に示すように、ユーザ情報管理テーブル５００は、ユーザの「ユーザＩＤ」を格納するためのフィールド５０１と、ユーザの「パスワード」を格納するためのフィールド５０２と、ユーザの「ユーザ名」を格納するためのフィールド５０３と、ユーザの「性別」を格納するためのフィールド５０４とを含んでおり、ユーザ登録時に入力された上記情報（ユーザＩＤ、パスワード、ユーザ名、性別、…）を紐付けて管理する。なお、「ユーザ名」はユーザの本名に限らず、ニックネームであってもよい。

図２０（ｂ）に示すように、アバタ選択履歴管理テーブル６００は、選択されたアバタが表すところのユーザ（以下、「選択先ユーザ」という）のユーザＩＤを格納するためのフィールド６０１と、当該アバタを選択した他のユーザ（以下、「選択元ユーザ」という）のユーザＩＤを格納するためのフィールド６０２と、選択元ユーザが選択先ユーザを選択した回数の累計（以下、「累積選択回数」という）を格納するためのフィールド６０３と、選択先ユーザを選択したときに選択元ユーザが選択していた「鑑賞モード」を格納するためのフィールド６０４と、選択元ユーザが選択先ユーザを選択した直近の日時（以下、「最終選択日時」という）を格納するためのフィールド６０５とを含む。

図２０（ｃ）に示すように、投票履歴管理テーブル７００は、投票されたユーザ（以下、「投票先ユーザ」という）のユーザＩＤを格納するためのフィールド７０１と、投票先ユーザに投票した他のユーザ（以下、「投票元ユーザ」という）のユーザＩＤを格納するためのフィールド７０２と、投票元ユーザが投票先ユーザに投票した日時（以下、「投票日時」という）を格納するためのフィールド７０３とを含む。

図２０（ｄ）に示すように、メッセージ履歴管理テーブル８００は、メッセージを送信されたユーザ（以下、「送信先ユーザ」という）のユーザＩＤを格納するためのフィールド８０１と、送信先ユーザにメッセージを送信した他のユーザ（以下、「送信元ユーザ」という）のユーザＩＤを格納するためのフィールド８０２と、送信元ユーザが送信先ユーザにメッセージを送信した日時（以下、「送信日時」という）を格納するためのフィールド８０３と、送信元ユーザが送信したメッセージ（テキストデータ）を格納するためのフィールド８０４と、送信元ユーザがメッセージを送信したときの動画視聴画面６０をキャプチャした動画（以下、「キャプチャ動画」という）を格納するためのフィールド８０５とを含む。

ここで、図２１は、第２実施形態のアバタ情報配信サーバ２０のデータベース２６に保存されるアバタ情報のデータ構造を示す。図２１に示すように、第２実施形態では、第１実施形態のアバタ情報に記述されていた属性（ユーザＩＤ、アバタ情報の取得日時、身体活性度、ユーザの身長、ユーザの大きさ、音声データへのパス、コメント情報へのパス、ユーザの骨格座標の時系列データ）に加えて、ユーザの「ユーザ名」、ユーザの「性別」、ユーザを投票先とする投票数の累計である「累計得票数」および「会話モード」という４つの属性がアバタ情報に追加される。なお、「会話モード」の詳細については後述する。

以上、第２実施形態の情報提示システム１００を構成する各装置の機能構成について説明してきたが、続いて、第２実施形態の情報提示システム１００が実行する処理の内容を順を追って説明する。

本実施形態では、ユーザは、サービスの利用に際して、アバタ情報配信サーバ２０が提供する所定のログイン画面を介してログインする。図２２（ａ）は、アバタ情報配信サーバ２０が提供するログイン画面を例示的に示す。ユーザがログイン画面に自身のユーザＩＤとパスワードを入力してログインボタンをクリックすると、ＰＣ１０は、入力されたユーザＩＤとパスワードを含む認証要求をアバタ情報配信サーバ２０に送信する。これを受けて、アバタ情報配信サーバ２０のユーザ認証部２１は、ＰＣ１０から受信した認証要求に含まれるユーザＩＤおよびパスワードを、それぞれ、ユーザ情報管理テーブル５００のフィールド５０１および５０２の値と照合し、両者が一致した場合に、当該ユーザのログインを許可する。

ユーザのログインが許可されたことを受けて、通知画面生成部２９は、ログインユーザに対して３種類のアプローチ（選択・投票・メッセージ送信）を行った他のユーザの存在をログインユーザに知らしめるための通知画面８０を生成してＰＣ１０に送信し、ＰＣ１０がこれを表示する。

図２２（ｂ）は、ＰＣ１０に表示される通知画面８０を例示的に示す。図２２（ｂ）に示すように、通知画面８０は、ログインユーザを選択した選択元ユーザを表示するための領域８２と、ログインユーザに投票した投票元ユーザを表示するための領域８４と、ログインユーザにメッセージを送信した送信元ユーザを表示するための領域８６とを含み、通知画面生成部２９は、以下の手順で通知画面８０を生成する。

まず、ログインユーザのユーザＩＤをキーとして、アバタ選択履歴管理テーブル６００（図２０（ｂ）参照）のフィールド６０１を検索し、キーに合致したレコードを、そのフィールド６０４の値（最終選択日時）の新しい順にソートする。次に、ソートしたレコードの上位Ｎ件のレコードのフィールド６０２およびフィールド６０４から、それぞれ、選択元ユーザの「ユーザＩＤ」および「鑑賞モード」を取得するとともに、取得した「ユーザＩＤ」に紐付いた「ユーザ名」と「性別」をユーザ情報管理テーブル５００から取得する。次に、取得した「性別」と「鑑賞モード（“見ながら踊るモード”または“見るだけモード”）」に応じた態様のアバタを象ったアイコンを生成し、そのアイコンの上に取得した「ユーザ名」を付して、領域８２に並べる。

次に、ログインユーザのユーザＩＤをキーとして、投票履歴管理テーブル７００（図２０（ｃ）参照）のフィールド７０１を検索し、キーに合致したレコードを、そのフィールド７０３の値（投票日時）の新しい順にソートする。次に、ソートしたレコードの上位Ｎ個のレコードのフィールド７０２から投票元ユーザの「ユーザＩＤ」を取得するとともに、取得したユーザＩＤに紐付いた「ユーザ名」と「性別」をユーザ情報管理テーブル５００から取得する。次に、取得した「性別」と「鑑賞モード（この場合、“見るだけモード”）」に応じた態様のアバタを象ったアイコンを生成し、そのアイコンの上に取得したユーザ名を付して、領域８４に並べる。

次に、ログインユーザのユーザＩＤをキーとして、メッセージ履歴管理テーブル８００（図２０（ｄ）参照）のフィールド８０１を検索し、キーに合致したレコードを、そのフィールド８０３の値（送信日時）の新しい順にソートする。次に、ソートしたレコードの上位Ｎ件のレコードのフィールド８０２から送信先ユーザの「ユーザＩＤ」を取得するとともに、取得したユーザＩＤに紐付いた「ユーザ名」と「性別」をユーザ情報管理テーブル５００から取得する。次に、取得した「性別」と「鑑賞モード（この場合、“見るだけモード”）」に応じた態様のアバタを象ったアイコンを生成し、そのアイコンの上に取得したユーザ名を付して、領域８６に並べる。

その後、通知画面８０が表示されたことを受けて、ユーザが画面右上の“動画検索画面”ボタンをクリックすると、これに応答して、アバタ情報配信サーバ２０が動画検索画面９０をＰＣ１０に提供し、ＰＣ１０がこれを表示する。

図２３（ａ）は、ＰＣ１０に表示される動画検索画面９０を例示的に示す。図２３（ａ）に示すように、本実施形態の動画検索画面９０には、検索ワードを入力するためのテキストボックスに加えて、領域９２に下記（１）〜（４）のプルダウンメニューが表示される。

（１）アバタの優先順位の並び替え条件を選択するためのプルダウンメニュー
本実施形態では、第１実施形態において条件設定画面７０（図５参照）に表示されていたプルダウンメニューが、動画検索画面９０に表示される。なお、本実施形態のプルダウンメニューでは、アバタの並び替え条件の項目として、「新しい順」、「よく動く順」、「得票数が多い順」、「選ばれた回数が多い順」が選択できるようになっている。

（２）アバタの性別を選択するためのプルダウンメニュー
本実施形態では、アバタ（ユーザ）の性別条件を選択できるようになっており、プルダウンメニューから、「性別不問」、「男性」、「女性」のいずれかを選択できるようになっている。

（３）鑑賞モードを選択するためのプルダウンメニュー
本実施形態では、先述したように、鑑賞モードを選択できるようになっており、プルダウンメニューから、「見ながら踊る」モード、または、「見るだけ」モードのいずれかを選択できるようになっている。

（４）会話モードを選択するためのプルダウンメニュー
本実施形態では、会話モードを選択できるようになっており、プルダウンメニューから、「全てのユーザ」または「選んだユーザ」のいずれかを選択できるようになっている。ここで、「会話モード」とは、ログインユーザが“見ながら踊るモード”を選択した際に収録した収録音声の再生の許可先を選択するモードであり、会話モードとして、「全てのユーザ」が選択された場合には、本サービスを利用する全てのユーザに対して、ログインユーザの収録音声の再生が許可され、会話モードとして、「選んだユーザ」が選択された場合には、ログインユーザが該当する動画を視聴する際に選択した他者アバタのユーザに限定して、ログインユーザの音声の再生が許可される。

上述した動画検索画面９０が表示されたことを受けて、ユーザが領域９２に表示される各プルダウンメニューの項目を選択した上で、テキストボックスにキーワードを入力して検索を実行すると、画面は、図２３（ｂ）に示す検索結果画面に遷移する。これを受けて、ユーザが検索結果画面に表示された動画のサムネイル画像付きリストの中から任意の動画を選択すると処理が開始する。

ここでは、まず、ユーザが鑑賞モードとして“見ながら踊るモード”を選択した場合に、図１９に示す各機能手段が実行する処理の内容を図２４に示すフローチャートに基づいて説明する。

まず、ステップ９０１で、配信動画取得部１０２がログインユーザが選択した動画を動画配信サーバ３０から読み込む。続くステップ９０２では、アバタ情報取得部１０３が、読み込んだ動画に係る動画ＩＤと、ログインユーザが動画検索画面９０のプルダウンメニューで選択した“並び替え条件”と、ログインユーザの“性別条件”を指定したアバタ情報取得要求をアバタ情報配信サーバ２０に送信する。これを受けて、アバタ情報配信サーバ２０のアバタ情報配信部２２は、まず、ＰＣ１０から受信したアバタ情報取得要求に指定される動画ＩＤに紐付いた１以上のアバタ情報の中から、当該要求において指定される“性別条件”に合致するアバタ情報を選出する。

具体的には、“性別条件”として「男性」が指定されていた場合には、性別属性として「男性」が記述されているアバタ情報を選出し、「女性」が指定されていた場合には、性別属性として「女性」が記述されているアバタ情報を選出し、「性別不問」が指定されていた場合には、指定される動画ＩＤに紐付いた全てのアバタ情報を選出する。

続いて、アバタ情報配信部２２は、“性別条件”に合致するアバタ情報の中から、受信したアバタ情報取得要求に指定される“並び替え条件”に合致するアバタ情報を選出する。ここで、“並び替え条件”として「得票数が多い順」が指定されていた場合、アバタ情報配信部２２は、先に選出したアバタ情報の中から、そこに記述される「累計得票数」の値が大きい上位Ｎ件のアバタ情報を選出する。

一方、“並び替え条件”として「選ばれた回数が多い順」が指定されていた場合、アバタ情報配信部２２は、まず、ログインユーザのユーザＩＤをキーとして、アバタ選択履歴管理テーブル６００（図２０（ｂ）参照）のフィールド６０１を検索し、キーに合致したレコードを、そのフィールド６０３の値（累積選択回数）を１番目の優先順位とし、その６０５の値（最終選択日時）を２番目の優先順位として、昇順にソートする。次に、ソートしたレコードの上位から順番に、そのフィールド６０３の値（選択元ユーザのユーザＩＤ）と先に選出したアバタ情報に記述されるユーザＩＤを照合し、合致するユーザＩＤが記述されたアバタ情報を順次選出する、といった手順Ｎ回繰り返すことにより、上位Ｎ件のアバタ情報を選出する。

アバタ情報配信部２２は、上述した手順で選出したＮ件のアバタ情報をデータベース２６から読み出して、ＰＣ１０に送信する。

続くステップ９０３では、モーションキャプチャ装置１４による身体動作のトラッキングとマイク１６による音声収録を開始すると同時に、続くステップ９０４で、配信動画表示部１０４がステップ９０１で読み込んだ動画の再生を開始する。その後、アバタのアニメーションのフレーム間隔（例えば、0.1[sec]）に同期して、ステップ９０５〜９１０が繰り返し実行される。ここで、ステップ９０５〜９１０で実行される処理の内容は、第１実施形態の図６に示すステップ１０５〜１１０のそれと基本的には同じであるので、ここでは、その中でも、第１実施形態と一部内容が異なるステップ９０６および９０７の処理について説明する。

本実施形態のステップ９０６では、アバタ生成部１０７が先のステップ９０２で取得した他者アバタのアバタ情報からフレーム番号[１]が付与された骨格座標（２次元座標）を読み出すとともに、「ユーザ名」、「性別」、「ユーザの身長」、「ユーザの大きさ」を読み出す。

本実施形態のステップ９０７では、アバタ生成部１０７が、ユーザ情報管理テーブル５００からログインユーザの「性別」を取得し、先のステップ９０５で取得した骨格座標（２次元座標）とログインユーザの「性別」に基づいてユーザアバタを生成する。具体的には、ログインユーザの「性別」に応じた態様のアバタ（図１８参照）を生成して、ユーザの性別を識別できるようにする。加えて、アバタ生成部１０７は、生成したログインユーザのアバタの頭上にログインユーザの「ユーザ名」を付する。

同時に、アバタ生成部１０７は、先のステップ９０６で取得した骨格座標（２次元座標）、「ユーザ名」、「性別」、「ユーザの身長」、「ユーザの大きさ」という５種類の情報に基づいて他者アバタを生成する。具体的には、取得した「性別」に応じた態様を選択した上で、「ユーザの身長」の値に応じて他者アバタの高さを増減し、「ユーザの大きさ」の値に応じて他者アバタの幅を増減することによって、他者アバタが表すところの他のユーザの性別とその身体特徴を識別できるようにする。加えて、アバタ生成部１０７は、生成した他者アバタの頭上に当該他者アバタのユーザの「ユーザ名」を付する。図２５（ａ）は、ユーザが“見ながら踊るモード”において、アバタの並び替え条件として「新しい順」または「選ばれた回数が多い順」を選択していた場合の動画視聴画面６０を例示的に示す。

一方、ログインユーザが、アバタの並び替え条件として「よく動く順」を選択していた場合には、アバタ生成部１０７は、順位が１位となった他者アバタの頭上に”王冠”のアイコンを付加する。さらに、ログインユーザが、「得票数が多い順」を選択していた場合には、順位が１位となった他者アバタの頭上に”王冠”のアイコンを付加するともに、各他者アバタのユーザ名の横に「得票数」を表示する。図２５（ｂ）は、ユーザが“見ながら踊るモード”において、アバタの並び替え条件として、「得票数が多い順」を選択していた場合の動画視聴画面６０を例示的に示す。

本実施形態では、動画の再生中、上述したステップ９０５〜９１０が繰り返し実行される。その後、動画の再生が終了すると、ステップ９１１で、モーションキャプチャ装置１４によるトラッキングとマイク１６による音声収録を同時に終了し、続くステップ９１２で、音声データ取得部１１０が収録した音声の音声データのファイルを生成・取得する。その後、続くステップ９１３において、アバタ情報生成部１１８がアバタ情報生成処理を実行する。

なお、ステップ９１３では、アバタ情報生成部１１８が、第１実施形態と同様に、図１５に示すアバタ情報生成処理（ステップ６０１〜６０５）が実行されるところ、第２実施形態では、ステップ６０５の内容が以下の点で異なる。すなわち、本実施形態のステップ６０５では、アバタ情報生成部１１８が、ユーザ情報管理テーブル５００からログインユーザの「ユーザ名」と「性別」を取得するとともに、ログインユーザが選択した「会話モード」を取得し、「会話モード」が「選んだユーザ」であった場合には、収録音声の再生許可先となるログインユーザが選択した他者アバタのユーザのユーザＩＤ（以下、再生許可先ユーザＩＤという）を取得する。その上で、アバタ情報生成部１１８は、取得した「ユーザ名」、「性別」、「会話モード」、「再生許可先ユーザＩＤ」と、先のステップ６０１〜６０４で取得した「ユーザの骨格座標」、「ユーザの身長」、「ユーザの大きさ」、「身体活性度」、これらの情報の「取得日時」、再生した動画の「動画ＩＤ」、ログインユーザの「ユーザＩＤ」を記述したアバタ情報ファイルを生成し、生成したアバタ情報ファイルと、ステップ６０３で生成した「コメント情報」と音声データ取得部１１０が取得した「音声データ」とを併せて、アバタ情報配信サーバ２０に送信する。

これを受けて、アバタ情報配信サーバ２０のアバタ情報管理部２４は、ＰＣ１０から受信した「コメント情報」と「音声データ」を動画ＩＤに紐付けてデータベース２６に保存するとともに、その保存先のパスとＰＣ１０から受信したアバタ情報ファイルに含まれる情報（「ユーザＩＤ」、「ユーザ名」、「性別」、「取得日時」、「「身体活性度」、「ユーザの身長」、「ユーザの大きさ」、「ユーザの骨格座標」、「会話モード」、「再生許可先ユーザＩＤ」）を記述してなるアバタ情報（図２１参照）を生成して、データベース２６に保存する。

最後に、ステップ９１４では、インタラクティブ情報生成部１２３が「インタラクティブ情報生成処理」を実行する。以下、図２６に示すフローチャートに基づいて「インタラクティブ情報生成処理」を説明する。

まずステップ１００１では、下記（１）〜（５）の情報をインタラクティブ情報に格納する。
（１）ログインユーザが選択した他者アバタのユーザのユーザＩＤ
（２）ログインユーザのユーザＩＤ
（３）ログインユーザが選択した鑑賞モード（この場合、“見ながら踊る”）
（４）他者アバタの選択日時（例えば、配信動画の再生を終了した日時）
（５）ログインユーザが視聴した配信動画の動画ＩＤ

続くステップ１００２では、ログインユーザが選択した鑑賞モードによって処理が分岐し、この場合は、ログインユーザが選択した鑑賞モードは“見ながら踊るモード”であるので、処理はステップ１００５に進む。続くステップ１００５では、上記（１）〜（５）の情報が格納されたインタラクティブ情報をアバタ情報配信サーバ２０に送信して、処理を終了する。

一方、アバタ情報配信サーバ２０がＰＣ１０からインタラクティブ情報を受信したことに応答して、選択履歴管理部２３が、インタラクティブ情報に含まれる上記（１）〜（４）の情報に基づいて、アバタ選択履歴管理テーブル６００（図２０（ｂ）参照）を更新する。具体的には、インタラクティブ情報に含まれる他者アバタのユーザのユーザＩＤおよびログインユーザのユーザＩＤをキーとして、アバタ選択履歴管理テーブル６００のフィールド６０１および６０２を検索し、２つのキーに合致するレコードが存在する場合は、そのフィールド６０３の値（累積選択回数）を１増分するとともに、当該レコードのフィールド６０４の値（鑑賞モード）をインタラクティブ情報に含まれる「見ながら踊る」に更新し、当該レコードのフィールド６０５の値（最終選択日時）をインタラクティブ情報に含まれる「選択日時」に更新する。

なお、２つのキーに合致するレコードが存在しない場合は、その組み合わせの数だけ、新たにレコードを追加して、追加したレコードのフィールド６０１、６０２、６０３、６０４、６０５に、それぞれ、インタラクティブ情報に含まれる他者アバタのユーザのユーザＩＤ、インタラクティブ情報に含まれるログインユーザのユーザＩＤ、累積選択回数「１」、インタラクティブ情報に含まれる鑑賞モード「見ながら踊る」、インタラクティブ情報に含まれる「選択日時」を格納する。

以上、ユーザが鑑賞モードとして“見ながら踊るモード”を選択した場合に実行される処理について説明してきたが、続いて、ユーザが鑑賞モードとして“見るだけモード”を選択した場合に実行される処理を、図２７に示すフローチャートに基づいて説明する。

まず、ステップ１１０１で、配信動画取得部１０２がユーザが選択した動画を動画配信サーバ３０から読み込む。続くステップ１１０２では、アバタ情報取得部１０３が、読み込んだ動画に係る動画ＩＤと、ユーザが動画検索画面９０のプルダウンメニューにおいて選択した“並び替え条件”および“性別条件”を指定したアバタ情報取得要求をアバタ情報配信サーバ２０に送信する。これを受けて、アバタ情報配信サーバ２０のアバタ情報配信部２２は、まず、ＰＣ１０から受信したアバタ情報取得要求に指定される動画ＩＤに紐付いた１以上のアバタ情報の中から、当該要求において指定される“性別条件”と“並び替え条件”に合致するＮ件のアバタ情報を選出し、選出したＮ件のアバタ情報をデータベース２６から読み出して、ＰＣ１０に送信する。ここまでの処理は、“見ながら踊るモード”のそれと同じである。

続くステップ１１０３では、動画視聴画面６０のビデオキャプチャを開始し、続くステップ１１０４で、配信動画表示部１０４がステップ１１０１で読み込んだ動画の再生を開始する。その後、アバタのアニメーションのフレーム間隔（例えば、0.1[sec]）に同期して、ステップ１１０５〜１１１１が繰り返し実行される。ここで、ステップ１１０５〜１１０９のそれぞれのステップでは、図２４に示すステップ９０６〜９１０と同様の処理が実行されるところ、“見るだけモード”では、ステップ１１０７とステップ１１０９の内容が以下の点で異なる。

具体的には、“見るだけモード”では、動画視聴画面６０に、図２８（ａ）に示すように、「アバタ移動」、「投票」、「メッセージ」という３つのアプローチ項目を選択するためのプルダウンメニュー６５が表示され、ユーザがプルダウンメニュー６５から「アバタ移動」を選択した場合、動画視聴画面６０は、他者アバタのドラッグ＆ドロップを受け付ける状態に遷移する。この場合、ユーザは、図２８（ａ）に示すように、所望の他者アバタをドラッグ＆ドロップすることによって任意の場所に移動させることができるようになる。ステップ１１０７の「骨格座標変換処理」では、ユーザが他者アバタを移動させることに伴って、アバタ表示位置変更部１１７が、移動する他者アバタのアバタクラスに記述された骨格座標に対してオフセット値を加算して、当該他者アバタの骨格座標をシフトする。

加えて、“見るだけモード”では、“見ながら踊るモード”のときにように、ログインユーザに連動するユーザアバタを生成しない代わりに、ステップ１１０９において、アバタ表示部１０５が、図２８（ａ）に示すように、ログインユーザのアバタが椅子に座った態様を象ったアイコンをアバタ表示領域の中央に描画する。

また、“見るだけモード”では、上述したステップ１１０５〜１１０９に並行して、投票受付部１２０が「投票受付処理」を実行し（ステップ１１１０）、メッセージ受付部１２２が「メッセージ受付処理」を実行する（ステップ１１１１）。

“見るだけモード”では、ユーザがプルダウンメニュー６５から「投票」を選択すると、動画視聴画面６０が、他者アバタを介して投票を受け付ける状態に遷移し、投票受付部１２０が、図２９（ａ）のフローチャートに示す処理を実行する。

ステップ１２０１では、他者アバタのクリックを待機し（ステップ１２０１、Ｎｏ）、図２８（ｂ）に示すように、ユーザがいずれかの他者アバタをクリックしたことを検知すると（ステップ１２０１、Ｙｅｓ）、続くステップ１２０２で、クリックされた他者アバタのユーザのユーザＩＤと、得票数「１」と、投票日時（他者アバタをクリックした日時）と、ログインユーザが視聴した配信動画の動画ＩＤを紐付けた情報（以下、投票関連情報という）を一時記憶に記録する。

一方、ユーザがプルダウンメニュー６５から「メッセージ」を選択すると、動画視聴画面６０が、他者アバタを介してメッセージの送信を受け付ける状態に遷移し、メッセージ受付部１２２が図２９（ｂ）のフローチャートが示す処理を実行する。

ステップ１３０１では、他者アバタのクリックを待機し（ステップ１３０１、Ｎｏ）、ユーザがいずれかの他者アバタをクリックしたことを検知すると（ステップ１３０１、Ｙｅｓ）、続くステップ１３０２で、図３０（ａ）に示すように、動画視聴画面６０の上にメッセージの入力フォーム６６をオーバーレイ表示して、メッセージの入力を受け付ける。これを受けて、ユーザが入力フォーム６６にメッセージを入力して送信ボタンをクリックすると、続くステップ１３０３で、クリックされた他者アバタのユーザのユーザＩＤと、入力フォーム６６に入力されたメッセージ（テキストデータ）と、送信日時（送信ボタンがクリックされた日時）を紐付けた情報（以下、メッセージ関連情報という）を一時記憶に記録する。

本実施形態では、動画の再生中、上述したステップ１１０５〜１１１１が繰り返し実行される。その後、動画の再生が終了すると、ステップ１１１２で、動画視聴画面６０のビデオキャプチャを終了し、続くステップ１１１３で、動画視聴画面６０のビデオキャプチャを収めたキャプチャ動画のファイルを取得する。その後、続くステップ１１１４において、インタラクティブ情報生成部１２３が「インタラクティブ情報生成処理」を実行して、処理を終了する。ここで、インタラクティブ情報生成部１２３が“見るだけモード”実行する「インタラクティブ情報生成処理」を図２６に示すフローチャートに基づいて説明する。

まずステップ１００１では、下記（１）〜（４）の情報をインタラクティブ情報に格納する。
（１）ログインユーザが選択した他者アバタのユーザのユーザＩＤ
（２）ログインユーザのユーザＩＤ
（３）ログインユーザが選択した鑑賞モード（この場合、“見るだけ”）
（４）他者アバタの選択日時（例えば、配信動画の再生を終了した日時）
（５）ログインユーザが視聴した配信動画の動画ＩＤ

続くステップ１００２では、ログインユーザが選択した鑑賞モードによって処理が分岐し、この場合は、ログインユーザが選択した鑑賞モードは“見るだけモード”であるので、処理はステップ１００３に進む。続くステップ１００３では、一時記憶に先述の投票関連情報が格納されている場合に、当該投票関連情報をインタラクティブ情報に格納して、処理はステップ１００４に進む。続くステップ１００４では、一時記憶に先述のメッセージ関連情報が記憶されている場合に、当該メッセージ関連情報と、先のステップ１１１３（図２７参照）で取得したキャプチャ動画ファイルをインタラクティブ情報に格納して、処理はステップ１００５に進む。

続くステップ１００５では、上記（１）〜（５）の情報、投票関連情報、メッセージ関連情報、およびキャプチャ動画ファイルが格納されたインタラクティブ情報をアバタ情報配信サーバ２０に送信して、処理を終了する。

一方、アバタ情報配信サーバ２０がＰＣ１０からインタラクティブ情報を受信したことに応答して、選択履歴管理部２３は、インタラクティブ情報に含まれる上記（１）〜（４）の情報を読み出し、“見ながら踊るモード”におけるそれと同様の手順で、アバタ選択履歴管理テーブル６００（図２０（ｂ）参照）を更新する。ただし、“見るだけモード”では、アバタ選択履歴管理テーブル６００のフィールド６０４の値（鑑賞モード）が「見るだけ」に更新される。

加えて、“見るだけモード”では、投票履歴管理部２７が、受信したインタラクティブ情報に含まれる投票関連情報に基づいて投票履歴管理テーブル７００（図２０（ｃ）参照）を更新する。具体的には、投票関連情報に含まれる他者アバタのユーザのユーザＩＤの数だけ、新たにレコードを追加して、追加したレコードのフィールド７０１、７０２、７０３に、それぞれ、投票関連情報に含まれる他者アバタのユーザのユーザＩＤ、ログインユーザのユーザＩＤ、投票日時を格納する。また、投票履歴管理部２７は、投票関連情報に含まれる動画ＩＤと他者アバタのユーザのユーザＩＤをキーとして、データベース２６に保存されるアバタ情報を検索し、２つのキーに合致するアバタ情報に記述される「累積得票数」の値を１増分する。

さらに、加えて、“見るだけモード”では、メッセージ履歴管理部２８が、受信したインタラクティブ情報に含まれるキャプチャ動画ファイルをデータベース２６に保存するとともに、受信したインタラクティブ情報に含まれるメッセージ関連情報に基づいてメッセージ履歴管理テーブル８００（図２０（ｄ）参照）を更新する。具体的には、メッセージ関連情報に含まれる他者アバタのユーザのユーザＩＤの数だけ、新たにレコードを追加して、追加したレコードのフィールド８０１、８０２、８０３、８０４、８０５に、それぞれ、メッセージ関連情報に含まれる他者アバタのユーザのユーザＩＤ、ログインユーザのユーザＩＤ、送信日時、メッセージ（テキストデータ）、保存したキャプチャ動画ファイルへのパスを格納する。

以上、ユーザが鑑賞モードとして“見るだけモード”を選択した場合に実行される処理について説明してきたが、続いて、アバタ情報配信サーバ２０の通知画面生成部２９が実行する「メッセージ通知画面生成処理」を図３１に示すフローチャートに基づいて説明する。

アバタ情報配信サーバ２０の通知画面生成部２９は、ユーザのＰＣ１０に通知画面８０（図２２（ｂ）参照）を提供した後、領域８６に表示する他者アバタ（のアイコン）のクリックを待機する（ステップ１２０１、Ｎｏ）。そして、ユーザが領域８６に表示されるいずれかの他者アバタ（のアイコン）をクリックしたことを検知すると（ステップ１４０１、Ｙｅｓ）、続くステップ１４０２で、クリックされた他者アバタのユーザのユーザＩＤをキーとして、メッセージ履歴管理テーブル８００を検索し、キーに合致したレコードのフィールド８０４からメッセージ（テキストデータ）を読み出すと同時に、フィールド８０４に格納されるパスにアクセスしてキャプチャ動画ファイルを読み出す。

その後、通知画面生成部２９は、先のステップ１４０２で読み出したメッセージ（テキストデータ）とキャプチャ動画ファイルに基づいてメッセージ通知画面を生成し（ステップ１４０３）、生成したメッセージ通知画面をユーザのＰＣ１０に送信して（ステップ１４０４）、処理を終了する。図３０（ｂ）は、ＰＣ１０に送信されたメッセージ通知画面６７を例示的に示す。図３０（ｂ）に示す例では、メッセージ通知画面６７として、キャプチャ動画の上にメッセージをオーバーレイ表示してなるダイアログ画面が通知画面８０の上にオーバーレイ表示されている。

以上、本発明の第２実施形態を説明してきたが、続いて、本発明の第３実施形態を説明する。なお、以下では、第２実施形態の内容と共通する部分の説明を省略し、専ら、第２実施形態との相違点のみを説明するものとする。

（第３実施形態）
第３実施形態は、アバタの表示モードとして、先の挙げた「分割表示モード」および「一括表示モード」に加えて、「連行モード」が用意されており、図２３に示す条件設定画面７０を介してユーザがいずれかのモードを選択できるようになっている点で、第２実施形態と異なる。以下、「連行モード」について説明する。

ログインユーザが、鑑賞モードとして“見ながら踊るモード”を選択した場合において、「連行モード」を選択した場合、アバタ表示位置変更部１１７は、先のステップ９０７（図２４参照）で生成したアバタ（ユーザアバタと他者アバタ）の総数と同数の矩形領域を定義し、定義した矩形領域を動画視聴画面６０内に配信動画表示領域を囲むように配置する。その上で、動画視聴画面６０の中央に位置する矩形領域をユーザアバタの表示領域として割り当て、残りの矩形領域を他者アバタの表示領域として割り当てる。ここで、ユーザアバタの表示領域の左右に設定される他者アバタの表示領域に対しては、ユーザアバタの表示領域に近い順番に優先順位が対応づけられており、並び替え条件に従って他者アバタを選択したときの昇順に従って、順位の高い他者アバタから順番に優先順位の高い表示領域（すなわち、ユーザアバタに近い表示領域）を割り当てる。アバタ表示位置変更部１１７は、各アバタが割り当てた表示領域内に収まるように、各アバタの骨格座標を変換する。

図３３（ａ）は、「連行モード」が選択された場合の動画視聴画面６０を例示的に示す。図３３（ａ）において、破線で示す矩形領域がアバタの表示領域であり、各表示領域には丸囲み数字で優先順位を付している（ただし、表示領域を示す破線および優先順位は画面上には表示されない）。

ここで、第３実施形態では、図３３（ｂ）に示すように、ログインユーザ４０がモーションキャプチャ装置１４を前にして、丸囲み数字０〜８の位置（以下、位置０〜８という）を左右に移動することに同期して、ログインユーザのユーザアバタが、図３３（ａ）に示す丸囲み数字０〜８が示す表示領域（以下、位置０〜８という）を移動するように構成されている。具体的には、アバタ表示位置変更部１１７は、モーションキャプチャ装置１４の入力情報を解析して、ログインユーザが、図３３（ｂ）に示す位置０〜８のいずれに立っているかを判断し、ログインユーザが立っている位置（０〜８）に対応する表示領域（０〜８）にユーザアバタを移動させる。

これにより、ログインユーザが、例えば、図３３（ｂ）の位置８に移動すると、これに応答して、動画視聴画面６０では、図３４（ａ）に示すように、ユーザアバタＡが表示領域８に移動する。このとき、表示領域８には、既に、他者アバタＥが配置されており、ユーザアバタＡと他者アバタＥが同時に表示領域８に配置された状態となる。本実施形態では、アバタ表示位置変更部１１７が、ユーザアバタと他者アバタが同じ表示領域に同時に配置された状態になった場合に、所定の開始条件の成否を監視し、開始条件が成立した場合に、当該他者アバタが当該ユーザアバタに追従して移動する状態（以下、連行状態という）に遷移する。連行状態に遷移して以降は、ログインユーザが図３３（ｂ）に示す位置（０〜８）を左右に移動すると、これに同期して、ユーザアバタと他者アバタが、あたかも手をつないでいるかのように連れだって、表示領域（０〜８）を移動する。

ここで、本実施形態では、上述した開始条件の内容を限定するものではなく、例えば、モーションキャプチャ装置１４の入力情報から、ログインユーザの所定のジェスチャー（例えば、物を掴む仕草や手招きの仕草など）が検出されたことを開始条件としても良いし、ユーザアバタと他者アバタが同じ表示領域に同時に配置された状態に至ってからの経過時間が所定の閾値に達したことを開始条件としても良い。

一方、アバタ表示位置変更部１１７は、ユーザアバタと他者アバタが連行状態に遷移して以降、所定の終了条件の成否を監視し、終了条件が成立した場合に、連行状態を解消する。ここで、本実施形態では、上述した終了条件の内容を限定するものではなく、例えば、モーションキャプチャ装置１４の入力情報から、ログインユーザの所定のジェスチャー（例えば、物を手放す仕草や人を追い払う仕草など）が検出されたことを終了条件としても良いし、ユーザアバタと他者アバタがある表示領域に到着してからの経過時間が所定の閾値に達したことを終了条件としても良い。

本実施形態では、ログインユーザは、上述した連行状態への遷移とその解消の仕組みを利用して、所望の他者アバタを任意の表示位置に連行すること（移動させること）ができる。以下、この点を具体例に基づいて説明する。

図３４（ｂ）は、ユーザアバタＡが他者アバタＥを連行して表示領域２に移動している状態を示す。この例の場合、他者アバタＥの頭上に連行状態に遷移していることを示すエクスクラメーションマーク「！」が表示されている。この後、ユーザアバタＡと他者アバタＥが、既に他者アバタＤが配置されている表示領域２に進入し、ユーザアバタＡと他者アバタＥが表示領域２内に留まっている間に所定の終了条件が成立すると、ユーザアバタＡと他者アバタＥの連行状態は解消され、その時点で、当該表示領域２が他者アバタＥの表示領域に設定される。

これを受けて、他の他者アバタが図３５（ａ）に示すように移動する。すなわち、元々表示領域２に配置されていた他者アバタＤは、表示領域２から表示領域４に移動し、元々表示領域４に配置されていた他者アバタＨは、表示領域４から表示領域６に移動し、元々表示領域６に配置されていた他者アバタＫは、表示領域６から他者アバタＥが元々配置されていた表示領域２に移動する。最後に、他者アバタＥとの連行状態を解消したユーザアバタが元の表示領域０に移動することによって、動画視聴画面６０のアバタの配置態様は、図３５（ｂ）に示す態様となる。

以上、説明したように、本実施形態によれば、動画視聴画面６０上で他者アバタを相手にした仮想的なインタラクションが可能になるだけでなく、他者アバタを介して、他のユーザに投票したり、他のユーザにメッセージを送信したりすることにより、リアルな他者を相手にしたリアルなインタラクションのきっかけが提供されることになる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

１０…情報提示装置
１２…表示装置
１４…モーションキャプチャ装置
１６…マイク
１８…スピーカー
２０…アバタ情報配信サーバ
２１…ユーザ認証部
２２…アバタ情報配信部
２３…選択履歴管理部
２４…アバタ情報管理部
２６…データベース
２７…投票履歴管理部
２８…メッセージ履歴管理部
２９…通知画面生成部
３０…動画配信サーバ
４０…ユーザ
５０…ネットワーク
６０…動画視聴画面
６２…配信動画表示領域
６４…アバタ表示領域
６５…プルダウンメニュー
６６…入力フォーム
６７…メッセージ通知画面
７０…条件設定画面
８０…通知画面
８２,８４,８６…領域
９０…動画検索画面
９２…領域
１００…情報提示システム
１０２…配信動画取得部
１０３…アバタ情報取得部
１０４…配信動画表示部
１０５…アバタ表示部
１０６…身体動作情報取得部
１０７…アバタ生成部
１０８…身体特徴情報取得部
１０９…身体活性度算出部
１１０…音声データ取得部
１１２…音声出力部
１１４…コメント取得部
１１６…重なり判定部
１１７…アバタ表示位置変更部
１１８…アバタ情報生成部
１２０…投票受付部
１２２…メッセージ受付部
１２３…インタラクティブ情報生成部
５００…ユーザ情報管理テーブル
６００…アバタ選択履歴管理テーブル
７００…投票履歴管理テーブル
８００…メッセージ履歴管理テーブル

Claims (31)

1. 複数の情報提示装置と情報配信サーバとがネットワークを介して接続される情報提示システムであって、
   前記情報提示装置は、
   ネットワークを介して配信される配信動画を第１の表示領域に表示する配信動画表示部と、
   前記第１の表示領域に表示される配信動画を視聴するユーザの身体動作に係る身体動作情報を取得する身体動作情報取得部と、
   前記身体動作情報に基づいて前記ユーザの身体動作を表現する第１のアバタを生成するアバタ生成部と、
   前記第１のアバタを第２の表示領域に表示するアバタ表示部と、
   を含み、
   前記情報配信サーバは、
   過去にユーザが配信動画を視聴したときの身体動作に係る身体動作情報を含むアバタ情報を保存するデータベースと、
   配信動画を表示する前記情報提示装置からの要求に応じて、過去に該配信動画を視聴した他のユーザの前記アバタ情報を送信するアバタ情報配信部と、
   を含み、
   前記アバタ生成部は、
   前記情報配信サーバから受信した前記アバタ情報に含まれる前記身体動作情報に基づいて、前記他のユーザの身体動作を再現する第２のアバタを生成し、
   前記アバタ表示部は、
   前記第１のアバタと前記第２のアバタを前記第２の表示領域に一緒に表示する、
   情報提示システム。
2. 前記情報提示装置は、
   前記第１の表示領域に表示される配信動画を視聴するユーザの前記身体動作情報を含むアバタ情報を生成して前記情報配信サーバに送信するアバタ情報生成部を含み、
   前記情報配信サーバは、
   前記情報提示装置から受信した前記アバタ情報を前記データベースに保存する、
   請求項１に記載の情報提示システム。
3. 前記情報提示装置は、
   前記第１の表示領域に表示される配信動画を視聴するユーザの属性情報として、該ユーザの身体特徴に係る身体特徴情報を取得する身体特徴情報取得部を含む、
   請求項２に記載の情報提示システム。
4. 前記身体特徴情報は、ユーザの身長および身体の大きさを含む、
   請求項３に記載の情報提示システム。
5. 前記情報提示装置は、
   前記第１の表示領域に表示される配信動画を視聴するユーザの属性情報として、該ユーザの前記身体動作情報に基づいて該身体の活性度を算出する身体活性度算出部を含む、
   請求項２〜４のいずれか一項に記載の情報提示システム。
6. 前記情報提示装置は、
   前記第１の表示領域に表示される配信動画を視聴するユーザの属性情報として、該ユーザが発した音声の音声データを取得する音声データ取得部を含む、
   請求項２〜５のいずれか一項に記載の情報提示システム。
7. 前記情報提示装置は、
   前記第１の表示領域に表示される配信動画を視聴するユーザの属性情報として、該ユーザが発した音声の音声データから抽出した発話をテキスト化したコメントを取得するコメント取得部を含む、
   請求項２〜６のいずれか一項に記載の情報提示システム。
8. 前記アバタ情報生成部は、
   前記身体動作情報と前記属性情報と情報取得日時を含む前記アバタ情報を前記情報配信サーバに送信する、
   請求項３〜７のいずれか一項に記載の情報提示システム。
9. 前記情報提示装置は、
   前記第１の表示領域に表示する配信動画に同期させて前記情報配信サーバから受信した前記アバタ情報に含まれる前記音声データを音声出力する音声出力部を含む、
   請求項８に記載の情報提示システム。
10. 前記音声出力部は、
    前記第１のアバタに隣接する前記第２のアバタに係る前記音声データをそれ以外の前記第２のアバタに係る前記音声データよりも大きい音量で音声出力する、
    請求項９に記載の情報提示システム。
11. 前記アバタ表示部は、
    前記第１の表示領域に表示する配信動画に同期させて前記情報配信サーバから受信した前記アバタ情報に含まれる前記コメントを対応する前記他のユーザの前記第２のアバタに関連付けて表示する、
    請求項８〜１０のいずれか一項に記載の情報提示システム。
12. 前記アバタ表示部は、
    前記第１のアバタに隣接する前記第２のアバタに対応する前記コメントのみを表示する、
    請求項１１に記載の情報提示システム。
13. 前記情報提示装置は、
    表示する前記第２のアバタの上限数と検索条件を指定して前記情報配信サーバに前記アバタ情報を要求し、
    前記情報配信サーバは、
    指定された前記検索条件に合致する前記上限数以内の前記第２のアバタに係る前記アバタ情報を前記情報提示装置に送信する、
    請求項８〜１２のいずれか一項に記載の情報提示システム。
14. 前記検索条件は所定項目の並び替え条件であり、前記所定項目は前記情報取得日時、前記身長、前記身体の大きさ、および前記身体の活性度のうちのいずれかを含む、
    請求項１３に記載の情報提示システム。
15. 前記情報提示装置は、
    前記第２の表示領域における前記第１のアバタの第１の表示位置と前記第２のアバタの第２の表示位置が重なるか否かを判定する重なり判定部と、
    前記第１の表示位置と前記第２の表示位置が重なると判定したときに、両者が重ならなくなるように該第２の表示位置を変更するアバタ表示位置変更部と
    を含む、
    請求項１〜１４のいずれか一項に記載の情報提示システム。
16. 前記アバタ生成部は、
    前記第１のアバタおよび前記第２のアバタのそれぞれに異なる描画色を割り当て、該第２のアバタの描画色に所定の透明度を設定する、
    請求項１５に記載の情報提示システム。
17. 前記アバタ表示部は、
    前記第２の表示領域を前記第１のアバタと前記第２のアバタの総数で分割し、分割してなる複数の領域の中で最も中央に位置する領域を該第１のアバタの表示領域として設定し、残りの領域を該第２のアバタの表示領域として設定する、
    請求項１〜１４のいずれか一項に記載の情報提示システム。
18. 前記アバタ生成部は、
    前記第１のアバタおよび前記第２のアバタのそれぞれに異なる描画色を割り当てる、
    請求項１７に記載の情報提示システム。
19. 前記情報提示装置は、
    前記第２の表示領域に表示される前記第２のアバタを介して当該第２のアバタがその身体動作を表現するところの前記他のユーザに対する投票を受け付ける投票受付部を含む、
    請求項１〜１８のいずれか一項に記載の情報提示システム。
20. 前記情報提示装置は、
    前記第２の表示領域に表示される前記第２のアバタを介して当該第２のアバタがその身体動作を表現するところの前記他のユーザに宛てたメッセージを受け付けるメッセージ受付部を含む、
    請求項１９に記載の情報提示システム。
21. 前記情報提示装置は、
    ユーザが選択した前記第２のアバタがその身体動作を表現するところの前記他のユーザの識別情報、該他のユーザに対する投票および該他のユーザに宛てたメッセージを含むインタラクティブ情報を生成して、前記情報配信サーバに送信するインタラクティブ情報生成部を含む、
    請求項２０に記載の情報提示システム。
22. 前記情報配信サーバは、
    ユーザによる前記第２のアバタの選択の履歴を管理する選択履歴管理部を含む、
    請求項２１に記載の情報提示システム。
23. 前記情報配信サーバは、
    前記第２のアバタがその身体動作を表現するところの前記他のユーザに対する投票の履歴を管理する投票履歴管理部を含む、
    請求項２２に記載の情報提示システム。
24. 前記情報配信サーバは、
    前記第２のアバタがその身体動作を表現するところの前記他のユーザに宛てたメッセージの履歴を管理するメッセージ履歴管理部含む、
    請求項２３に記載の情報提示システム。
25. 前記情報配信サーバは、
    ユーザを選択した前記他のユーザ、ユーザに投票した前記他のユーザおよびユーザにメッセージを送信した前記他のユーザを表示する通知画面を生成し、前記情報提示装置に送信する通知画面生成部を含む、
    請求項２４に記載の情報提示システム。
26. 前記通知画面生成部は、
    前記他のユーザがユーザに宛てたメッセージを表示するメッセージ通知画面を生成し、前記情報提示装置に送信する、
    請求項２５に記載の情報提示システム。
27. 前記メッセージ通知画面は、
    前記他のユーザがメッセージを送信したときの表示画面をキャプチャした動画の上に該メッセージをオーバーレイ表示してなるダイアログ画面である、
    請求項２６に記載の情報提示システム。
28. 前記アバタ表示位置変更部は、
    前記第１のアバタと前記第２のアバタの総数と同数の矩形領域を定義し、表示画面の中央に位置する矩形領域を前記第１のアバタの表示領域として割り当て、その左右に位置する残りの矩形領域を前記第２のアバタの表示領域として割り当て、ユーザが表示画面に対して左右に移動することに同期して、前記第１のアバタを前記第２のアバタの表示領域に移動させる、
    請求項１５〜２７のいずれか一項に記載の情報提示システム。
29. 前記アバタ表示位置変更部は、
    前記第１のアバタを前記第２のアバタの表示領域に移動させたときに、所定の開始条件が成立したことに応答して、該第２のアバタが該第１のアバタアバタに追従して移動する連行状態に遷移させ、所定の終了条件が成立したことに応答して、該連行状態を解消する、
    請求項１５〜２７のいずれか一項に記載の情報提示システム。
30. ネットワークを介して配信される配信動画を第１の表示領域に表示する配信動画表示部と、
    前記第１の表示領域に表示される配信動画を視聴するユーザの身体動作に係る身体動作情報を取得する身体動作情報取得部と、
    前記身体動作情報に基づいて前記ユーザの身体動作を表現する第１のアバタを生成するアバタ生成部と、
    前記第１のアバタを第２の表示領域に表示するアバタ表示部と、
    を含む情報提示装置であって、
    前記アバタ生成部は、
    前記第１の表示領域に表示される配信動画を過去に視聴した他のユーザの身体動作に係る身体動作情報を含むアバタ情報に基づいて、該他のユーザの身体動作を再現する第２のアバタを生成し、
    前記アバタ表示部は、
    前記第１のアバタと前記第２のアバタを前記第２の表示領域に一緒に表示する、
    情報提示装置。
31. コンピュータを、
    ネットワークを介して配信される配信動画を第１の表示領域に表示する配信動画表示手段、
    前記第１の表示領域に表示される配信動画を視聴するユーザの身体動作に係る身体動作情報を取得する身体動作情報取得手段、
    前記身体動作情報に基づいて前記ユーザの身体動作を表現する第１のアバタを生成するアバタ生成手段、
    前記第１のアバタを第２の表示領域に表示するアバタ表示手段、
    として機能させるためのプログラムであって、
    前記アバタ生成手段は、
    前記第１の表示領域に表示される配信動画を過去に視聴した他のユーザの身体動作に係る身体動作情報を含むアバタ情報に基づいて、該他のユーザの身体動作を再現する第２のアバタを生成し、
    前記アバタ表示手段は、
    前記第１のアバタと前記第２のアバタを前記第２の表示領域に一緒に表示する、
    プログラム。