JP2018163461A - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示し、多くのコンテンツ視聴ユーザに特定画像領域を視聴させることを可能とした構成を実現する。
【解決手段】ネットワーク配信コンテンツの表示制御を行うデータ処理部を有し、データ処理部は、コメント入力ユーザのコメント入力時の視聴領域を示すコメント入力者視聴領域情報を取得し、コメント入力者視聴領域情報に基づいて、コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示する。誘導情報は、コメント入力ユーザの視聴領域の方向を示す矢印や、メッセージである。さらに、コメント入力可能モード、停止モードのモード切り換えを可能とした。
【選択図】図１

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、ネットワーク配信コンテンツを視聴するユーザのコメントをコンテンツに重畳表示する情報処理装置、および情報処理方法、並びにプログラムに関する。

昨今、インターネット等のネットワークを介したコンテンツの配信、および視聴が盛んに行われている。
また、最近、例えば複数のカメラからなる多視点カメラで撮影された多視点映像や、全天周カメラで撮影された全天周映像、もしくはパノラマ映像など、視線方向を変更可能な自由視点映像を提供するサービスが増えつつある。

例えば、頭部に装着して使用するヘッド・マウント・ディスプレイを用いて、自由視点映像を視聴することができる。例えば、実際に表示される表示画像よりも広角の広角画像を撮影する撮影系を備え、回転角センサで検出されたユーザの頭部の位置情報に基づいて、ユーザが見るべき表示画像を切り出して表示する頭部装着型表示システムに関する提案がなされている（例えば、特許文献１を参照のこと）。

また、自由視点映像の配信サービスに双方向通信を適用することで、インタラクティブな視聴サービスを実現することができる。例えば、ユーザ毎に視点位置や視線方向を切り替えた映像を配信して、多様なニーズに応えることができる（例えば、特許文献２を参照のこと）。

自由視点映像は、例えばスポーツやゲーム、コンサート、演劇などのエンターテインメント系のコンテンツとして利用することができる。また、撮影現場と視聴者との双方向通信により、コンテンツの視聴者から撮影者に対する指示や教示、案内、作業支援を行なうこともできる。

さらに、ネットワークを介して配信されるコンテンツを視聴するユーザのコメントをコンテンツに重畳表示することで、多くのユーザが同じコンテンツを視聴しながらコミュニケーションを行うことを可能としたシステムも多く利用されている。

特開平８−１９１４１９号公報 特開２０１３−２５５２１０号公報

本開示の一実施例においては、例えば、ネットワーク配信コンテンツを視聴するユーザのコメントをコンテンツに重畳表示するシステムにおいて、コメントと共にユーザの視聴領域を示す情報等を送信し、コメント送信者以外の視聴ユーザがコメント送信者の視聴領域を即座に視聴することを可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。

さらに、本開示の一実施例においては、ネットワーク配信コンテンツを視聴するユーザが、コメント入力可能なコメント入力可能モードと、コメント入力を停止するコメント入力停止モードの２つのモードを切り換え可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
ネットワーク配信コンテンツの表示制御を行うデータ処理部を有し、
前記データ処理部は、
コメント入力ユーザのコメント入力時の視聴領域を示すコメント入力者視聴領域情報を取得し、
前記コメント入力者視聴領域情報に基づいて、前記コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示する情報処理装置にある。

さらに、本開示の第２の側面は、
表示部に表示されたコンテンツに対するコンテンツ視聴ユーザのコメント処理を実行するデータ処理部を有し、
前記データ処理部は、
前記コンテンツ視聴ユーザの視線方向に応じて、入力コメントの有効性判断を行う情報処理装置にある。

さらに、本開示の第３の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
ネットワーク配信コンテンツの表示制御を行うデータ処理部を有し、
前記データ処理部が、
コメント入力ユーザのコメント入力時の視聴領域を示すコメント入力者視聴領域情報を取得し、
前記コメント入力者視聴領域情報に基づいて、前記コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示する情報処理方法にある。

さらに、本開示の第４の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
表示部に表示されたコンテンツに対するコンテンツ視聴ユーザのコメント処理を実行するデータ処理部を有し、
前記データ処理部は、
前記コンテンツ視聴ユーザの視線方向に応じて、入力コメントの有効性判断を行う情報処理方法にある。

さらに、本開示の第５の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
ネットワーク配信コンテンツの表示制御を行うデータ処理部を有し、
前記プログラムは、前記データ処理部に、
コメント入力ユーザのコメント入力時の視聴領域を示すコメント入力者視聴領域情報を取得する処理と、
前記コメント入力者視聴領域情報に基づいて、前記コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示する処理を実行させるプログラムにある。

さらに、本開示の第６の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
表示部に表示されたコンテンツに対するコンテンツ視聴ユーザのコメント処理を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記コンテンツ視聴ユーザの視線方向に応じて、入力コメントの有効性判断を行わせるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示し、多くのコンテンツ視聴ユーザに特定画像領域を視聴させることを可能とした構成が実現される。
具体的には、例えば、ネットワーク配信コンテンツの表示制御を行うデータ処理部を有し、データ処理部は、コメント入力ユーザのコメント入力時の視聴領域を示すコメント入力者視聴領域情報を取得し、コメント入力者視聴領域情報に基づいて、コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示する。誘導情報は、コメント入力ユーザの視聴領域の方向を示す矢印や、メッセージである。さらに、コメント入力可能モード、停止モードのモード切り換えを可能とした。
本構成により、コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示し、多くのコンテンツ視聴ユーザに特定画像領域を視聴させることを可能とした構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

情報処理システム１００の構成例を示す図である。 コンテンツ提供装置１０１構成例を示す図である。 コンテンツ出力装置１０２の構成例を示す図である。 コンテンツ配信処理のシーケンスについて説明する図である。 コンテンツ出力装置に表示される表示情報の例を示す図である。 コメントを重畳表示するコンテンツの配信処理のシーケンスについて説明する図である。 コメントを重畳表示するコンテンツ配信処理のシーケンスについて説明する図である。 コンテンツ出力装置に表示される表示情報の例を示す図である。 コンテンツ出力装置に表示される表示情報の例を示す図である。 コンテンツ出力装置に表示される表示情報の例を示す図である。 コメント入力可能／停止モードを切り換え可能とした構成について説明する図である。 コンテンツ出力装置に表示される表示情報の例を示す図である。 コンテンツ出力装置に表示される表示情報の例を示す図である。 コンテンツ出力装置に表示される表示情報の例を示す図である。 コンテンツ出力装置に表示される表示情報の例を示す図である。 情報処理装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．情報処理システムの構成例について
２．コンテンツ提供装置とコンテンツ出力装置の構成例について
３．コンテンツの撮影、送信、および視聴処理のシーケンスについて
４．コンテンツ視聴ユーザのコメントをコンテンツに併せて出力する処理例について
５．コメント入力可能モード、コメント入力停止モードを切り換え可能としたコンテンツ出力装置の構成について
６．情報処理装置のハードウェア構成例について
７．本開示の構成のまとめ

［１．情報処理システムの構成例について］
図１は、本開示の情報処理装置を利用した情報処理システム１００の構成例を示す図である。
情報処理システム１００は、具体的には、例えば、自由視点映像配信システムとして構成される。

コンテンツ提供装置１０１（例えば、多視点カメラや全天周カメラなどの撮像装置）を用いて取得した自由視点映像などの画像情報は、ネットワーク１０５を介してコンテンツ配信サーバ１１１に送信され、さらに、コンテンツ配信サーバ１１１からコンテンツ出力装置１０２に送信される。コンテンツ出力装置１０２は、コンテンツ提供装置１０１の表示部にコンテンツを表示することができる。
なお、図１には、コンテンツ提供装置１０１、コンテンツ出力装置１０２を各々１つのみ示しているが、これらの装置は、ネットワーク上に多数、存在する。

すなわち、撮像画像情報の供給源となるコンテンツ提供装置１０１は、様々な位置に、多数、存在し、様々な位置で撮影した画像、音声等からなるコンテンツを送信する。
また、コンテンツ出力装置１０２もネットワーク上の様々な位置に多数、存在し、多くの視聴ユーザが同時にコンテンツ視聴を行うことができる。

コンテンツ提供装置１０１は、例えば撮像装置によるコンテンツ撮影者であるコンテンツ提供ユーザ（ボディ）１０が存在する空間において、撮像画像情報を取得できればよく、種々の装置構成が採用され得る。

例えば、コンテンツ提供装置１０１は、一般的なカメラ装置や多視点カメラ、全天周カメラの他に、カメラ、もしくはイメージャなどの撮影手段を装備した、ヘッド・マウント・ディスプレイのように撮影者が着用するウェアラブル装置という形態をとることもある。

なお、コンテンツ提供装置１０１を用いてコンテンツ取得処理を行うユーザをコンテンツ提供ユーザ（ボディ（Ｂｏｄｙ））１０と呼ぶ。
一方、コンテンツ提供ユーザ（ボディ）の取得したコンテンツを視聴するユーザをコンテンツ視聴ユーザ（ゴースト（Ｇｈｏｓｔ））２０と呼ぶ。

コンテンツ提供ユーザ１０としての撮影者は、実際に撮影の現場において、自らの身体を以って活動している（すなわち、身体が現場に実在する）ことから、「ボディ（Ｂｏｄｙ）」と呼ぶ。なお、撮影者は、人（自然人）である以外に、車両（人が手動運転する車両、並びに自動運転、または無人運転する車両を含む）や船舶、飛行機、ロボット、ドローンなどの移動体装置であることも想定される。

一方、実際に撮影の現場にいることなく、例えば、ヘッド・マウント・ディスプレイの画面を介して表示されるコンテンツを視聴するユーザを「ゴースト（Ｇｈｏｓｔ）」と呼ぶ。
コンテンツ視聴ユーザ（ゴースト）２０は、現場で身体を以って活動する訳ではないが、コンテンツ提供ユーザである撮影者の視点から見た映像を視聴することによって現場に対する意識を持つことができる。このように、コンテンツ視聴ユーザは、現場には意識のみがある存在であることから、「ゴースト（Ｇｈｏｓｔ）」と呼ぶ。
ボディ、ゴーストの呼称は、各ユーザを区別するための呼称である。

なお、コンテンツ提供ユーザ（ボディ）１０が存在する空間は、基本的には実空間であるが、実空間に代えて仮想空間として定義することもできる。以下では、「実空間」、または「仮想空間」を単に「空間」として言及する場合がある。また、コンテンツ提供装置１０１で取得された撮影画像情報は、コンテンツ提供ユーザ１０の空間に関連付けられたコンテンツ情報と言うこともできる。以下では、コンテンツ提供装置１０１で取得された撮影画像情報を「コンテンツ」とも呼ぶ。

本実施形態では、コンテンツ提供ユーザ１０としての多数の撮影者が、それぞれＰＯＩ（Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ：誰かが便利、あるいは興味があると思った場所）に出向いて、そこで各々のコンテンツ提供装置１０１を用いて撮影作業を行なっていることを想定している。

ここで言うＰＯＩとして、例えば観光名所、商業施設、もしくは商業施設内の各店舗、野球やサッカーなどのスポーツ競技が行なわれるスタジアム、ホール、コンサート会場、劇場などを挙げることができる。但し、撮影場所はＰＯＩなどに限定される訳ではない。

コンテンツ配信サーバ１１１は、各コンテンツ提供装置１０１から送られてきたリアルタイム（ライブ映像）のコンテンツを、ネットワーク１０５経由で自由視点映像の各視聴者に向けてストリーミング配信する。
あるいは、コンテンツデータベースに格納されたコンテンツを、ネットワーク１０５経由で自由視点映像の各視聴者に向けて配信する。

コンテンツ視聴ユーザ（ゴースト）２０は、コンテンツ出力装置１０２を介して、コンテンツ提供装置１０１において取得されたコンテンツを視聴する。
コンテンツ出力装置１０２は、例えばヘッド・マウント・ディスプレイ、あるいは例えばＰＣとヘッド・マウント・ディスプレイの組み合わせ等によって構成される。コンテンツ出力装置１０２は、例えばＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像を視聴可能な装置である。

例えば、ヘッド・マウント・ディスプレイ等のコンテンツ出力装置１０２は、ステレオカメラや９ＤｏＦ（Ｄｅｇｒｅｅｓ ｏｆ Ｆｒｅｅｄｏｍ）センサなどを搭載して自己位置推定が可能である。また、ヘッド・マウント・ディスプレイ等のコンテンツ出力装置１０２は、瞳孔角膜反射法などを用いて視聴者であるコンテンツ視聴ユーザの視線を検出し、左右の眼球の回転中心位置と視軸の向き（および頭部姿勢）から、コンテンツ視聴ユーザの視線方向を求めることができるものとする。あるいは、ジャイロ等を用いたヘッド・トラッキングで測定、または推定した頭部の姿勢に基づいて、前方をコンテンツ視聴ユーザの視線方向として扱うようにしてもよい。

例えば、コンテンツ出力装置１０２が、ＰＣとヘッド・マウント・ディスプレイによって構成される場合、ヘッド・マウント・ディスプレイが自己位置と視線方向を取得して、取得情報を、遂次、ＰＣへ送信する。ＰＣは、ネットワーク１０５経由でコンテンツ配信サーバ１１１から自由視点映像のコンテンツ・ストリームを受信する。そして、ＰＣは、ヘッド・マウント・ディスプレイから受信した自己位置と、規定のＦｏＶ（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ：視界）で自由視点映像をレンダリングする。そして、そのレンダリング結果は、ヘッド・マウント・ディスプレイのディスプレイに表示される。視聴者は、自分の頭部姿勢を変えることで、視点位置と視線方向を自由にコントロールすることができる。

なお、ＰＣではなくヘッド・マウント・ディスプレイ内で、視聴者の自己位置および視線方向に基づく自由視点映像のレンダリング処理を行なうように構成することもできる。また、ＰＣが介在せず、ヘッド・マウント・ディスプレイが直接ネットワーク１０５に接続するように構成することもできる。あるいは、ヘッド・マウント・ディスプレイを使用せず、ＰＣやスマホに装備されたモニター・ディスプレイにレンダリング処理された自由視点映像を表示して、これを視聴者が視聴するようにしてもよい。

さらに、コンテンツ出力装置１０２の画面には、例えば、多数のコンテンツ提供装置１０１が撮影するコンテンツのリストなどからなる推薦情報を含んだＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）が表示され、コンテンツ視聴ユーザ２０はこのＵＩ画面の操作を通じてコンテンツを選択することが可能となる。
推薦情報を表示するＵＩの画面構成は様々な構成が可能である。
例えば、コンテンツのタイトルや代表画像のサムネイルの一覧であってもよいし、自由視点映像の撮影場所（コンテンツ提供装置１０１の設置場所、もしくはコンテンツ提供ユーザの居場所）の表示であってもよいし、撮影者であるコンテンツ提供ユーザのユーザ名（ニックネームやハンドル名を含む）や顔画像のサムネイルの一覧であってもよい。

本明細書では、コンテンツ提供ユーザ１０側で取得されたコンテンツをコンテンツ視聴ユーザ２０が視聴する際のインタラクションの枠組みのことを、「ＪａｃｋＩｎ（接続）」とも呼ぶ。コンテンツ視聴ユーザ２０は、接続したコンテンツ提供ユーザ１０の空間に関連付けられたコンテンツを視聴することができる。コンテンツ提供ユーザは、コンテンツ視聴ユーザ２０に接続されると、自分の空間に関連付けられたコンテンツを配信する、と言い換えることもできる。

ユーザ同士が接続を行なう目的はさまざまである。例えば、コンテンツ視聴ユーザ２０は、自分が存在しない空間に関連付けられたコンテンツや興味のあるコンテンツを単純に視聴すること（例えば、コンテンツ提供ユーザ１０側で撮影されたスポーツ観戦）を目的とする他、コンテンツ提供ユーザ１０に対して教示や作業支援を行なうことを目的として、コンテンツ提供ユーザ１０に接続する場合もある。

さらに、コンテンツ視聴ユーザ２０は、視聴しているコンテンツに対するコメントの入力を行うことが可能である。コメント入力は、コンテンツ出力装置１０２に備えられたマイクを介する音声入力、あるいはキーボードを介する入力などの処理によって行われる。

コンテンツ出力装置１０２に入力されたコメントは、ネットワーク１０５を介して、同一コンテンツを視聴している多数のユーザに伝えることができる。
コメントは、例えば表示部に表示されるコンテンツ上に文字データとして重畳して表示される。

図１に示すコメント管理サーバ１１３が、コンテンツ出力装置１０２から送信されるコメントデータを取得し、コメントデータベース１１４に格納する。
なお、詳細については後述するが、コンテンツ出力装置１０２は、コメントとともに、コメント入力時の視聴領域情報をコメント管理サーバ１１３に送信する。

さらに、コメントや、コメント入力時の視聴領域情報は、コメント管理サーバ１１３から、画像処理サーバ１１２に転送される。
画像処理サーバ１１２は、コメント入力時の視聴領域情報に基づいて、コメント入力者以外のコンテンツ視聴ユーザに、コメント入力ユーザの視聴領域に誘導するための誘導情報を設定したコンテンツを生成する。
その後、画像処理サーバ１１２の生成したコンテンツが、ネットワーク１０５を介して、多数のコンテンツ出力装置１０２や、コンテンツ提供主体であるコンテンツ提供装置１０１に送信される。
コメントに対応した処理の具体例および詳細については、後段で説明する。

［２．コンテンツ提供装置とコンテンツ出力装置の構成例について］
次に、図２以下を参照して、コンテンツ提供装置１０１とコンテンツ出力装置１０２の構成例について説明する。

図２には、コンテンツ提供装置１０１の構成例を示している。
コンテンツ提供装置１０１は、制御部１２１、入力部１２２、センサ１２３、出力部１２４、撮像部１２５、通信部１２６、記憶部１２７を有する。

制御部１２１は、コンテンツ提供装置１０１において実行する様々な処理の制御を実行する。例えば、記憶部１２７に格納されたプログラムに従って制御を実行する。
入力部１２２は、ユーザによる操作情報の入力、音声情報を入力する音声入力部（マイク）等によって構成される。音声入力部は、モノラルマイク、またはステレオマイクのいずれでもよいが、撮影時におけるコンテンツ提供ユーザの音声や、コンテンツ提供装置１０１で撮影している被写体が発生する音声などを集音する。

センサ１２３は、コンテンツ提供ユーザ近辺の状況を検出するセンサであり、気温や湿度、気圧、照度など、コンテンツ提供ユーザ１０が存在する空間（もしくは、撮影時）の天候に関する情報を検出する各種の環境センサ類を含んでいる。また、センサ１２３は、体温や脈拍、発汗、呼気、脳波など撮影者の生体情報を検出する生体センサを含んでいてもよい。さらに、センサ１２３は、撮影者であるコンテンツ提供ユーザ本人や撮影者の同行者を撮影して、顔検出や顔認識などの処理を通じてユーザ本人、または同行者の情報を取得する、コンテンツ提供装置１０１以外の撮影装置を備えていてもよい。

また、センサ１２３は、コンテンツ提供装置１０１、もしくはコンテンツ提供ユーザ１０の現在位置を計測する位置センサを含んでいてもよい。位置センサは、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度および高度を含む位置情報を生成する。あるいは、位置センサは、ＰｌａｃｅＥｎｇｉｎｅ（登録商標）などを利用して無線アクセスポイントからの電測情報に基づいて現在位置を特定してもよい。

センサ１２３が検出したセンサ情報は、コンテンツ提供ユーザ１０の空間に対応付けた情報として扱うことができる。また、コンテンツの取得期間に対応付けた情報として扱うこともできる。

コンテンツ提供装置１０１、もしくはコンテンツ提供ユーザ１０が存在する空間には、撮影者であるコンテンツ提供ユーザ１０に対して映像の表示や音声出力などを通じて情報提示を行なうことができる出力部１２４が備えられる。
出力部１２４が装備する表示画面には、コンテンツの配信先（コンテンツへのアクセスを要求するコンテンツ視聴ユーザ）のリストなどからなる推薦情報を含んだＵＩが表示され、コンテンツ提供ユーザ１０はＵＩ画面の操作を通じてコンテンツの配信先を選択するようにしてもよい。

また、出力部１２４は、映像や音声出力の他に、振動や軽度の電気刺激、ハプティック（触覚）といった出力を行なうような構成を装備してもよい。さらに、出力部１２４は、外骨格装置のような、コンテンツ提供ユーザ１０の四肢の少なくとも一部を支持、または拘束して、コンテンツ提供ユーザ１０に動作を教示することができる装置を含んでいてもよい。出力部１２４は、コンテンツの視聴者であるコンテンツ視聴ユーザ側からの情報フィードバックや、コンテンツ視聴ユーザ２０からのコンテンツ提供ユーザ１０に対する指示や作業支援を行なうために活用することができる。

撮像部１２５は、画像撮影を行う撮像部である。
通信部１２６は、ネットワーク１０５に接続され、コンテンツ提供装置１０１で取得したコンテンツおよび入力部１２２で集音した撮像時の音声などからなるＡＶコンテンツの送信や、出力部１２４で出力すべき情報の受信を行なう。また、通信部１２６は、センサ部１２３で計測された環境情報などを送信するようにしてもよい。また、通信部１２６は、コンテンツ視聴ユーザ２０からのコンテンツに対するアクセス要求（もしくは、接続要求）を、直接的に、あるいはコンテンツ配信サーバ１１１を介して間接的に受信することができる。

記憶部１２７は、例えば制御部１２１等において実行する処理のプログラムや、撮影画像等の記憶領域として利用される。さらに、各種処理において利用されるパラメータや、様々な処理のためのワークエリア等としても利用される。

図３には、コンテンツ出力装置１０２の構成例を示している。
コンテンツ出力装置１０２は、基本的には、撮影者としてのコンテンツ提供ユーザ１０側で取得されたコンテンツの表示（もしくは、コンテンツ視聴ユーザ２０による視聴）のために使用される。コンテンツ出力装置１０２は、コンテンツ表示機能に加えて、ＵＩ機能を備えており、例えばコンテンツ配信サーバ１１１が推薦するコンテンツに関連する情報の表示やコンテンツ視聴ユーザ２０によるコンテンツ選択操作を行なうことができるものとする。

図３に示すように、コンテンツ出力装置１０２は、制御部１４１、入力部１４２、センサ１４３、出力部１４４、表示部１４５、通信部１４６、記憶部１４７を有する。
制御部１４１は、コンテンツ出力装置１０２において実行する処理の制御を実行する。例えば、記憶部１４７に格納されたプログラムに従って制御を実行する。

入力部１４２は、音声情報を入力する音声入力部（マイク）、コンテンツ視聴ユーザやその同伴者を撮影するカメラ、キーボード等の入力装置、マウスやタッチパネルなどの座標入力装置といった、各種の装置からなる。
例えば、自由視点映像を視聴中にコンテンツ視聴ユーザやその同伴者が発生した音声や文字情報、座標情報などが入力部１４２を介して取り込まれる。

なお、入力部１４２として、手袋や衣服のように視聴者の身体に装着して用いるタイプ、例えば、指先や胴体の動きを直接入力できるタイプの入力装置を含んでいてもよい。リアルタイムのコンテンツを視聴中のコンテンツ視聴ユーザ２０は、そのコンテンツの撮影者であるコンテンツ提供ユーザ１０に対する指示（作業支援など）を、入力部１４２で入力することができる。
入力部１４２に取り込まれた入力情報のうち少なくとも一部がコンテンツ提供装置１０１側に送信されると、コンテンツ提供ユーザ１０の空間では、コンテンツ視聴ユーザ２０からの指示が出力部１２４で出力される。

また、コンテンツ出力装置１０２、もしくはコンテンツ視聴ユーザ２０が存在する空間には、視聴環境など動的に変化するコンテンツ視聴ユーザ２０近辺の状況を検出するセンサ１４３が備えられている。センサ１４３は、気温や湿度、気圧、照度など、コンテンツ視聴ユーザ２０が存在する空間（もしくは、コンテンツ視聴時）の天候に関する情報を検出する各種の環境センサ類を含んでいる。また、センサ１４３は、体温や脈拍、発汗、呼気、脳波など視聴者の生体情報を検出する生体センサを含んでいてもよい。さらに、センサ１４３は、視聴者であるコンテンツ視聴ユーザ２０本人やその同伴者を撮影する撮影装置を備え、その撮像画像に対する顔検出や顔認識などの処理を通じてユーザ本人や同伴者の情報を取得するようにしてもよい。

また、センサ１４３は、コンテンツ出力装置１０２、もしくはコンテンツ視聴ユーザ２０の現在位置を計測する位置センサを含んでいてもよい。位置センサは、例えば、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信して測位を実行し、車両の緯度、経度および高度を含む位置情報を生成する。あるいは、位置センサは、ＰｌａｃｅＥｎｇｉｎｅ（登録商標）などを利用して無線アクセスポイントからの電測情報に基づいて現在位置を特定してもよい。

センサ１４３が検出したセンサ情報は、コンテンツ視聴ユーザ２０の空間に対応付いた情報として扱うことができる。また、コンテンツ出力装置１０２で受信コンテンツを表示している期間中、もしくは、コンテンツ視聴ユーザ２０がコンテンツを視聴している期間中においてセンサ１４３が検出したセンサ情報を、コンテンツの視聴期間に対応付いた情報として扱うこともできる。

また、コンテンツ出力装置１０２、もしくはコンテンツ視聴ユーザ２０が存在する空間には、出力部１４４が備えらる。
出力部１４４は、音声他の出力処理を行う。例えば、出力部１４４は、音声の他、様々な視聴環境を作りだすための環境情報の出力を行う構成とすることが好ましい。
例えば、温度や湿度を調整したり、視聴者に風（微風や向かい風、エア・ブラスト）や水しぶき（ウォター・ブラスト）を吹き付けたり、視聴者の身体に触覚（背中をつつくような効果、首筋や足元に何かが触れるような感覚など）や振動を印加したり、軽度の電気刺激を与えたり、匂いや香りを与えたりして、コンテンツ視聴ユーザ２０の空間の環境をコントロールする手段（もしくは、マルチモーダルなインタフェース）である。

出力部１４４は、例えばコンテンツ提供装置１０１側のセンサ１２３で計測された環境情報に基づいて駆動して、視聴者にも撮影場所と同じようなリアルで臨場感のある体験をしてもらうことができる。また、出力部１４４は、コンテンツ出力装置１０２で表示するコンテンツを解析した結果に基づいて駆動して、コンテンツを視聴するコンテンツ視聴ユーザ２０に対するエフェクトを加えるようにしてもよい。

また、出力部１４４は、スピーカなどの音声出力装置を装備しており、コンテンツを取得した撮影現場（もしくは、コンテンツ提供ユーザ１０の空間）で集音された被写体の音声や、コンテンツ提供ユーザ１０が撮影時に発した音声など、映像ストリームと一体となった音声信号を音声出力するものとする。この音声出力装置を多チャンネル・スピーカで構成して、音像を定位できるようにしてもよい。

表示部１４５は、コンテンツの表示、ユーザインタフェース（ＵＩ）の表示等に利用される。
通信部１４６は、ネットワーク１０５経由での情報伝送を行なう。
例えば、通信部１４６は、コンテンツ提供ユーザ１０、またはコンテンツに対するアクセス要求を、コンテンツ提供装置１０１に直接的に、あるいはコンテンツ配信サーバ１１１を介して間接的に送信することができる。

また、通信部１４６は、コンテンツ視聴ユーザ２０が映像の視聴中に入力部１４２に入力された入力情報を、ネットワーク１０５経由でコンテンツ提供装置１０１側に送信することができる。また、通信部１４６は、出力情報をネットワーク１０５経由で受信して、出力部１４４からコンテンツ視聴ユーザ２０に対して出力することができる。

記憶部１４７は、例えば制御部１４１等において実行する処理のプログラム、各種処理において利用されるパラメータの記憶領域として利用される。さらに様々な処理のためのワークエリア等にも利用される。

［３．コンテンツの撮影、送信、および視聴処理のシーケンスについて］
次に、図１に示す情報処理システム１００を利用して実行されるコンテンツの撮影処理、送信処理、および視聴処理のシーケンスについて説明する。

図４は、コンテンツの撮影処理、送信処理、および視聴処理のシーケンスについて説明するシーケンス図である。
図４には、左から、図１に示す以下の各構成要素を示している。
コンテンツ提供装置１０１、
コンテンツ配信サーバ１１１、
画像処理サーバ１１２、
コメント管理サーバ１１３、
コンテンツ出力装置１０２、
これらの各要素は、ネットワーク１０５を介した通信処理を行う。

まず、ステップＳ１１において、コンテンツ提供装置１０１がコンテンツの撮影を行う。コンテンツは、例えば自由視点映像コンテンツである。コンテンツ提供装置１０１は、多視点カメラや全天周カメラなどの撮像部を備えており、自由視点映像コンテンツを撮影する。

ステップＳ１２において、コンテンツ提供装置１０１が撮影したコンテンツが、ネットワーク１１０５を介してコンテンツ配信サーバ１１１に送信される。

コンテンツ配信サーバ１１１は、コンテンツ提供装置１０１から受信したコンテンツを、ネットワーク１０５を介してコンテンツ出力装置１０２に送信する。
なお、図４には、コンテンツ出力装置１０２を１つのみ示しているが、コンテンツ出力装置１０２はネットワーク１０５上に多数、存在しており、コンテンツ提供装置１０１が提供するコンテンツは、多数のコンテンツ出力装置１０２に送信され、多数のコンテンツ視聴ユーザ２０によって視聴される。

ステップＳ１４において、コンテンツ出力装置１０２は、受信コンテンツを表示部に表示し、コンテンツ視聴ユーザ２０２が表示コンテンツの視聴を行う。
なお、コンテンツ出力装置１０２は、前述したように、例えばヘッド・マウント・ディスプレイ、あるいは例えばＰＣとヘッド・マウント・ディスプレイの組み合わせ等によって構成される。コンテンツ出力装置１０２は、例えばＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）映像を視聴可能な装置である。

前述したように、ヘッド・マウント・ディスプレイ等のコンテンツ出力装置１０２は、例えば、ヘッド・トラッキング処理や、瞳孔角膜反射法などを用いて視聴者であるコンテンツ視聴ユーザの視線を検出し、左右の眼球の回転中心位置と視軸の向き（および頭部姿勢）から、コンテンツ視聴ユーザの視線方向を求め、その視線方向の画像を表示部に表示する。
すなわち、コンテンツ視聴ユーザ２０は、視線方向を変えることで、様々な方向の画像を視聴することができる。

コンテンツ提供装置１０１において撮影された自由視点映像コンテンツと、コンテンツ出力装置１０２の表示画像の例について、図５を参照して説明する。
図５には、撮影コンテンツ３０１を示している。この撮影コンテンツ３０１は、コンテンツ提供装置１０１において撮影された自由視点映像コンテンツである。

図５に示す撮影コンテンツ３０１の内部の一部領域として示すコンテンツ出力装置表示領域３０２が、コンテンツ出力装置１０２の表示部に表示される画像の一例である。
コンテンツ出力装置表示領域３０２は、コンテンツ視聴ユーザ２０の視聴している画像領域であるが、コンテンツ視聴ユーザ２０が頭の方向や視線方向を変更することで、撮影コンテンツ３０１の他の画像領域を視聴することが可能となる。
すなわち、図５に示すコンテンツ出力装置表示領域３０２は、コンテンツ視聴ユーザ２０が頭の方向や視線方向を変更することで、自由に移動することが可能であり、撮影コンテンツ３０１の全ての画像領域を観察することが可能となる。

図４、図５を参照して説明した処理は、自由視点映像の撮影、送信、視聴処理の一般的なシーケンスである。
なお、上述した例では、コンテンツ配信サーバ１１１の配信コンテンツは、コンテンツ提供装置１０１の撮影したリアルタイムコンテンツとした例を説明したが、コンテンツ配信サーバ１１１の配信コンテンツは、コンテンツデータベースに格納された予め撮影済みの録画コンテンツであってもよい。

［４．コンテンツ視聴ユーザのコメントをコンテンツに併せて出力する処理例について］
次に、コンテンツ視聴ユーザのコメントをコンテンツに併せて出力する処理例について説明する。

図６、図７に示すシーケンス図を参照して、コンテンツ視聴ユーザのコメントをコンテンツに重畳して表示する場合の処理シーケンスについて説明する。
図６、図７には、先に説明した図４と同様、左から、図１に示す以下の各構成要素を示している。
コンテンツ提供装置１０１、
コンテンツ配信サーバ１１１、
画像処理サーバ１１２、
コメント管理サーバ１１３、
コンテンツ出力装置１０２、
これらの各要素は、ネットワーク１０５を介した通信処理を行う。

なお、図６に示すステッップＳ２１の処理の前に、図４を参照して説明したシーケンスに従った処理が実行済みであり、コンテンツ出力装置１０２には、例えば図５に示す自由視点映像コンテンツが表示され、コンテンツ視聴ユーザ２０が視聴しているものとする。コンテンツ配信サーバ１１１の配信コンテンツは、コンテンツ提供装置１０１の撮影するリアルタイムコンテンツであっても、コンテンツデータベースに格納された撮影済みコンテンツのいずれでもよい。
以下、図６、図７に示すシーケンス中の各ステップの処理について、順次、説明する。

（ステップＳ２１）
ステップＳ２１において、コンテンツ視聴ユーザ２０は、ステップＳ２１において、コメントを入力する。
コメント入力は、例えば、音声入力、あるいはキーボード等を介した手入力のいずれかにより行う。

（ステップＳ２２）
次に、ステップＳ２２において、コンテンツ出力装置１０２は、コンテンツ視聴ユーザ２０から入力されたコメントに、コメント入力時のコンテンツ出力装置１０２の表示画像領域情報、すなわちコメント入力時のコンテンツ視聴ユーザ２０の視聴領域情報を付加情報として追加して、コメント管理サーバ１１３に送信する。
その他、送信データには、コメント対応の属性データとして、例えば、以下のデータが付加される。
コメント入力を行ったコンテンツ視聴ユーザ２０のＩＤ、あるいはコンテンツ出力装置１０２のＩＤ、
コメント入力日時情報。

なお、コメント入力時のコンテンツ視聴ユーザ２０の視聴領域情報は、具体的には、例えば、以下の情報によって構成される。
（１）コメント入力時のコンテンツ出力装置１０２の表示画像領域を示す座標情報、
（２）コメント入力時のコンテンツ視聴ユーザ２０の頭部方向、または視線方向情報、
（３）コメント入力時のコンテンツ出力装置１０２の表示画像領域を規定する画像パラメータ（画角、ズーム倍率、表示モード等）、
なお、上記（３）に示す画像パラメータは、コンテンツ出力装置１０２側で算出してもよいし、コンテンツ提供装置１０１からコンテンツとともに送信される画像パラメータを利用する構成としてもよい。

図８を参照して、コンテンツ視聴ユーザ２０のコメントと、コメント入力時のコンテンツ視聴ユーザ２０の視聴領域情報の具体例について説明する。
図８に示す撮影コンテンツ３０１は、コンテンツ提供装置１０１の撮影した画像（自由視点映像）であり、コンテンツ視聴ユーザ２０は、この撮影コンテンツ３０１の一部領域の画像をコンテンツ出力装置１０２に表示して視聴し、視聴領域内の画像に対するコメントを入力する。

図８には、コンテンツ視聴ユーザ２０のコメント３１１として「飛行機がいる」というコメントが入力された例を示している。
このコメント入力時のコンテンツ視聴ユーザ２０の視聴領域、すなわち、コンテンツ出力装置１０２に表示されている画像領域は、図に示すコメント入力視聴ユーザ視聴領域３１２、図に太線枠で示す領域である。

図に示すコメント入力視聴ユーザ視聴領域３１２は、コメント入力を実行したコンテンツ視聴ユーザ２０の利用しているコンテンツ出力装置１０２に表示されている画像領域である。
このコメント入力視聴ユーザ視聴領域３１２を示す情報、具体的には、例えば上記（１）〜（３）で説明した座標情報等がコメントとともに、コメント管理サーバ１１３に送信される。

（ステップＳ２３〜Ｓ２４）
次に、ステップＳ２３において、コメント管理サーバ１１３は、コンテンツ出力装置１０２の送信したコメント、および付加データ、すなわち、コメント入力時のコンテンツ出力装置１０２の表示画像領域情報を含む受信データをコメントデータベース１１４に格納し、ステップＳ２４において、この受信データを画像処理サーバ１１２に転送する。

（ステップＳ２５）
次に、画像処理サーバは、ステップＳ２５において、コンテンツ提供装置１０１の撮影コンテンツに対して、コメント管理サーバ１１３から受信したコメントに付加された表示画像領域情報、すなわちコメントを入力したコンテンツ視聴ユーザ２０がコメント入力時に視聴していた画像領域を、誘導先情報としてコンテンツの付加情報として設定する。

（ステップＳ２６〜Ｓ２８）
次のステップＳ２６〜Ｓ２８の処理について、図７を参照して説明する。
なお、図７には、処理の流れを理解し易くするため、図６に示すステップＳ２５の処理を重複して示している。

まず、画像処理サーバ１１２は、ステップＳ２６において、ステップＳ２５で生成した誘導先情報を重畳したコンテンツを、コメントとともに、画像配信サーバ１１１に転送する。
画像配信サーバ１１１は、ステップＳ２７〜Ｓ２８において、画像処理サーバから受信した誘導先情報を有するコンテンツとコメントをネットワークに接続された多数のコンテンツ出力装置１０２に送信し、さらに、コンテンツ提供装置１０１にも送信する。

画像配信サーバ１１１の配信するコンテンツ、すなわち、コメントと誘導先情報を重畳したコンテンツの具体例について、図９を参照して説明する。
図９は、コメントを入力した視聴ユーザではない、その他のコンテンツ視聴ユーザのコンテンツ出力装置１０２の表示画像を説明する図である。

図９に示す撮影コンテンツ３０１は、コンテンツ提供装置１０１の撮影した画像（自由視点映像）であり、コンテンツ視聴ユーザ２０は、この撮影コンテンツ３０１の一部領域の画像をコンテンツ出力装置１０２に表示して視聴する。
コンテンツ視聴ユーザ２０の視聴領域、すなわち、コンテンツ出力装置１０２に表示されている画像領域は、図に示すコンテンツ出力装置表示領域３２１、図に太線枠で示す領域である。

コンテンツ出力装置１０２は、このコンテンツ出力装置表示領域３２１内部に、画像配信サーバ１１１から受信したコメントを表示する。さらに、配信コンテンツに付加された誘導先情報に基づいて、誘導先に案内する誘導情報を表示する。
すなわち図９に示す誘導先画像領域３２２に誘導させる誘導情報、例えば図に示す矢印を、コンテンツ出力装置表示領域３２１から、誘導先画像領域３２２に向けて表示する。

図９に示すコンテンツ出力装置表示領域３２１を視聴しているコンテンツ視聴ユーザ２０は、誘導情報、例えば図に示す矢印を見つけ、この矢印に従って、頭の向き、あるいは視線を変更することで、図９に示す誘導先画像領域３２２の画像を見ることができる。すなわちコメント入力者と同じ画像を見ることが可能となる。

なお、この誘導先画像領域３２２を規定する誘導先情報については、先に説明した図７のステップＳ２８に示すように、コンテンツ提供装置１０１にも送信され、コンテンツ提供者１０も確認することが可能である。

なお、図９に示す例は、１つのコメントと、そのコメント対応の誘導先画像領域３２２が設定されている例であるが、多数のコメントと、そのコメント対応の多数の誘導先画像領域を設定する構成も可能である。
例えば多数のコメントがある場合、コンテンツ出力装置１０２は、コンテンツ出力装置表示領域３２１に、コメントリストを表示する。視聴者が、リストから１つのコメントを選択すると、コンテンツ出力装置１０２は、その選択コメントに応じた誘導先に誘導する矢印等の情報を表示する。
このような構成とすることが可能である。

さらに、コメントに併せて、実際の方向情報、例えば「水平方向左３０度、垂直方向上２０度」このような方向情報を表示する構成としてもよい。

さらに、画像処理サーバ１１２は、コメント以外の付加情報を生成して、各コンテンツ出力装置１０２に送信し、コンテンツ出力装置１０２が、この付加情報を表示する構成も可能である。
例えば、画像処理サーバ１１２は、同一コンテンツを表示している多数のコンテンツ出力装置の視聴領域情報を取得して、コメントが多数投稿されている表示領域（画角）等を解析する。さらに、画像処理サーバ１１２は、その領域の画像の視聴を推薦するコメントを付加情報として生成して、多くのコンテンツ出力装置１０２に提供する。
具体例について、図１０を参照して説明する。

図１０に示す撮影コンテンツ３０１は、図９と同様、コンテンツ提供装置１０１の撮影した画像（自由視点映像）であり、コンテンツ視聴ユーザ２０は、この撮影コンテンツ３０１の一部領域の画像をコンテンツ出力装置１０２に表示して視聴する。
コンテンツ視聴ユーザ２０の視聴領域、すなわち、コンテンツ出力装置１０２に表示されている画像領域は、図に示すコンテンツ出力装置表示領域３２１、図に太線枠で示す領域である。

コンテンツ出力装置１０２は、このコンテンツ出力装置表示領域３２１内部に、画像配信サーバ１１１から受信したコメントではなく、画像処理サーバの生成した付加情報を表示する。
図に示す「こっちが盛り上がっているよ」
これが、コメントが多数投稿されている表示領域に誘導するための付加情報であり、画像処理サーバ１１２が生成した付加情報である。

図１０に示すコンテンツ出力装置表示領域３２１を視聴しているコンテンツ視聴ユーザ２０は、この付加情報を見つけ、この付加情報に従って、頭の向き、あるいは視線を変更することで、図１０に示す誘導先画像領域３２２の画像領域の画像を見ることができる。すなわちコメント入力者と同じ画像を見ることが可能となる。

［５．コメント入力可能モード、コメント入力停止モードを切り換え可能としたコンテンツ出力装置の構成について］
次に、コメント入力可能モード、コメント入力停止モードを切り換え可能としたコンテンツ出力装置の構成について説明する。

図１１を参照して、コメント入力可能モード、コメント入力停止モードを切り換え可能としたコンテンツ出力装置１０２の構成について説明する。
図１１に示すように、コンテンツ出力装置１０２は、以下の２つのモードに切り換え可能な構成を持つ。
（ａ）コメント入力可能モード
（ｂ）コメント入力停止モード

図に示すように、コンテンツ出力装置１０２を装着してコンテンツ出力装置１０２の表示コンテンツを視聴するコンテンツ視聴ユーザ２０が、斜め上（水平方向から上方向に角度α〜βの範囲）方向に視線を向けてコンテンツを見ると、（ａ）コメント入力可能モードの設定となり、コメント入力が可能となる。
一方、コンテンツ視聴ユーザ２０が、ほぼ水平方向（水平方向から上方向に角度０〜αの範囲）に視線を向けてコンテンツを見ると、（ｂ）コメント入力停止モードの設定となり、コメント入力が停止される。

例えば、コメントは、ユーザの発話によって行われるが、コンテンツ出力装置１０２は、（ａ）コメント入力可能モードに設定されている場合は、マイクを介して入力するユーザ発話をコメントとして認識し、このコメントを、ネットワーク１０５を介してコメント管理サーバ１１３に送信する。

一方、コンテンツ出力装置１０２が、（ｂ）コメント入力停止モードに設定されている場合は、マイクを介して入力するユーザ発話をコメントとして認識せず、ネットワーク１０５を介してコメント管理サーバ１１３に送信する処理も行わない。すなわち、このモードでは、ユーザ発話は独り言として認識され、コメントとして処理されない。

このモード変更は、コンテンツ出力装置１０２に備えられたセンサの検出情報を入力して制御部が実行する。例えば、前述したように、ジャイロ等を用いたヘッド・トラッキング処理や、瞳孔角膜反射法などを用いた視線検出を行うセンサを適用して頭の向きや視線方向を検出し、この検出情報を用いてモード切り換えを行う。

なお、コンテンツ出力装置１０２を視聴しているコンテンツ視聴ユーザ２０が、設定モードを認識可能とするため、コンテンツ出力装置１０２の表示部に設定モードを判別可能な情報を提示する構成とすることが好ましい。
具体例について、図１２以下を参照して説明する。

図１２に示す撮影コンテンツ３０１は、コンテンツ提供装置１０１の撮影した画像（自由視点映像）であり、コンテンツ視聴ユーザ２０は、この撮影コンテンツ３０１の一部領域の画像をコンテンツ出力装置１０２に表示して視聴する。
コンテンツ視聴ユーザ２０の視聴領域、すなわち、コンテンツ出力装置１０２に表示されている画像領域は、図に示すコンテンツ出力装置表示領域３３１である。

図１２に示すように、撮影コンテンツ３０１の上部領域には、コメント入力可能モード設定識別情報３５１が表示される。
図１２に示す例では、コンテンツ出力装置表示領域３３１が、コメント入力可能モード設定識別情報３５１の外部にあり、コメント入力停止モードとなる。

一方、図１３に示す例は、コンテンツ出力装置表示領域３３１に、コメント入力可能モード設定識別情報３５１の一部が含まれて表示された例である。この表示により、コンテンツ視聴ユーザ２０は、コンテンツ出力装置１０２がコメント入力可能モードに設定されているか、コメント入力停止モードに設定されているかを識別することが可能となる。

さらに、図１４は、マイク画像３５２をコメント入力可能モード設定識別情報として利用した例である。
図１４に示す例では、コンテンツ出力装置表示領域３３１には、マイク画像３５２が表示されず、コメント入力停止モードとなる。
一方、図１５に示す例は、コンテンツ出力装置表示領域３３１に、コメント入力可能モード設定識別情報としてのマイク画像３５２が表示された例である。この表示により、コンテンツ視聴ユーザ２０は、コンテンツ出力装置１０２がコメント入力可能モードに設定されているか、コメント入力停止モードに設定されているかを識別することが可能となる。

なお、例えばマイク画像３５２の一部のみが、コンテンツ出力装置表示領域３３１に含まれる場合、音声入力ゲインを小さくして、遠くからの声のように聞こえる設定とし、マイク画像３５２の全てが、コンテンツ出力装置表示領域３３１に含まれる場合、ゲイン設定を大きくして、近くからの声のように聞こえる設定とする制御を行う構成としてもよい。

なお、上述した例では、コンテンツ出力装置１０２が、コメント入力可能モード、コメント入力停止モードのモード切り換えを行う例として説明した。
このような処理構成に限らず、例えばコンテンツ出力装置１０２において入力した全てのコメントと、コメント入力時の、コメント入力者の視線方向情報を、コンテンツ出力装置１０２からコメント管理サーバ１１３に送信して、コメント管理サーバ１１３で、コメントがどのモードで入力されたかを判定して、コメント入力可能モードにおいて入力されたコメントのみを有効コメントとして、コメントデータベース１１４に格納する構成としてもよい。

［６．情報処理装置のハードウェア構成例について］
次に、図１６を参照して、情報処理装置のハードウェア構成例について説明する。
図１６を参照して説明するハードウェアは、先に図１を参照して説明した情報処理システムを構成するコンテンツ提供装置１０１や、コンテンツ出力装置１０２を構成する情報処理装置、さらに、コンテンツ配信サーバ１１１、画像処理さーば１１２、コメント管理サーバ１１３を構成する情報処理装置のハードウェア構成の一例である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。
なお、コンテンツ提供装置１０１の場合、入力部５０６には撮像部が含まれる。

入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ−Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ネットワーク配信コンテンツの表示制御を行うデータ処理部を有し、
前記データ処理部は、
コメント入力ユーザのコメント入力時の視聴領域を示すコメント入力者視聴領域情報を取得し、
前記コメント入力者視聴領域情報に基づいて、前記コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示する情報処理装置。

（２） 前記誘導情報は、
前記コメント入力ユーザの視聴領域の方向を示す矢印である（１）に記載の情報処理装置。

（３） 前記誘導情報は、
前記コメント入力ユーザの視聴領域に誘導するためのメッセージである（１）に記載の情報処理装置。

（４） 前記データ処理部は、
前記コメント入力ユーザのコメントとともに、前記誘導情報を前記コンテンツに重畳して表示する（１）〜（３）いずれかに記載の情報処理装置。

（５） 前記データ処理部は、
複数の異なるコメントのコメントリストを前記コンテンツに重畳して表示し、
コンテンツ視聴ユーザによって、前記コメントリストから選択されたコメントに対応するコメント入力ユーザの視聴領域に誘導する誘導情報を表示する（１）〜（４）いずれかに記載の情報処理装置。

（６） 前記ネットワーク配信コンテンツは、自由視点映像コンテンツであり、
コンテンツ視聴ユーザの視線方向に応じて、表示領域が変更されるコンテンツである（１）〜（５）いずれかに記載の情報処理装置。

（７） 表示部に表示されたコンテンツに対するコンテンツ視聴ユーザのコメント処理を実行するデータ処理部を有し、
前記データ処理部は、
前記コンテンツ視聴ユーザの視線方向に応じて、入力コメントの有効性判断を行う情報処理装置。

（８） 前記データ処理部は、
前記コンテンツ視聴ユーザの視線方向に応じて、
コメント入力可能モードと、コメント入力停止モードのモード切り換えを実行し、
コメント入力可能モード期間に入力されたコメントのみを有効コメントと判定する処理を行う（７）に記載の情報処理装置。

（９） 前記データ処理部は、
前記コメント入力可能モード期間に入力されたコメントを、ネットワークを介して送信し、他のコンテンツ視聴ユーザによる確認を可能とする処理を行う（８）に記載の情報処理装置。

（１０） 前記ネットワーク配信コンテンツは、自由視点映像コンテンツであり、
前記コンテンツ視聴ユーザの視線方向に応じて、表示領域が変更されるコンテンツであり、
前記表示領域の変更に応じて、前記コメント入力可能モードと、コメント入力停止モードのモード切り換えが実行される構成である（８）〜（９）いずれかに記載の情報処理装置。

（１１） 前記データ処理部は、
前記コメント入力可能モードと、前記コメント入力停止モードのモード設定状態を識別可能としたモード識別情報を前記表示部に表示する（８）〜（１０）いずれかに記載の情報処理装置。

（１２） 前記データ処理部は、
前記モード識別情報としてマイク画像を利用し、
コメント入力可能モードでは、前記マイク画像を前記表示部に表示し、コメント入力停止モードでは、前記マイク画像を前記表示部に表示しない表示制御を行う（１１）に記載の情報処理装置。

（１３） 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
ネットワーク配信コンテンツの表示制御を行うデータ処理部を有し、
前記データ処理部が、
コメント入力ユーザのコメント入力時の視聴領域を示すコメント入力者視聴領域情報を取得し、
前記コメント入力者視聴領域情報に基づいて、前記コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示する情報処理方法。

（１４） 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
表示部に表示されたコンテンツに対するコンテンツ視聴ユーザのコメント処理を実行するデータ処理部を有し、
前記データ処理部は、
前記コンテンツ視聴ユーザの視線方向に応じて、入力コメントの有効性判断を行う情報処理方法。

（１５） 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
ネットワーク配信コンテンツの表示制御を行うデータ処理部を有し、
前記プログラムは、前記データ処理部に、
コメント入力ユーザのコメント入力時の視聴領域を示すコメント入力者視聴領域情報を取得する処理と、
前記コメント入力者視聴領域情報に基づいて、前記コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示する処理を実行させるプログラム。

（１６） 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
表示部に表示されたコンテンツに対するコンテンツ視聴ユーザのコメント処理を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
前記コンテンツ視聴ユーザの視線方向に応じて、入力コメントの有効性判断を行わせるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示し、多くのコンテンツ視聴ユーザに特定画像領域を視聴させることを可能とした構成が実現される。
具体的には、例えば、ネットワーク配信コンテンツの表示制御を行うデータ処理部を有し、データ処理部は、コメント入力ユーザのコメント入力時の視聴領域を示すコメント入力者視聴領域情報を取得し、コメント入力者視聴領域情報に基づいて、コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示する。誘導情報は、コメント入力ユーザの視聴領域の方向を示す矢印や、メッセージである。さらに、コメント入力可能モード、停止モードのモード切り換えを可能とした。
本構成により、コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示し、多くのコンテンツ視聴ユーザに特定画像領域を視聴させることを可能とした構成が実現される。

１００ 情報処理システム
１０１ コンテンツ提供装置
１０２ コンテンツ出力装置
１０５ ネットワーク
１１１ コンテンツ配信サーバ
１１２ 画像処理サーバ
１１３ コメント管理サーバ
１１４ コメントデータベース
１２１ 制御部
１２２ 入力部
１２３ センサ
１２４ 出力部
１２５ 撮像部
１２６ 通信部
１２７ 記憶部
１４１ 制御部
１４２ 入力部
１４３ センサ
１４４ 出力部
１４５ 表示部
１４６ 通信部
１４７ 記憶部
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ バス
５０５ 入出力インタフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ リムーバブルメディア

Claims (16)

1. ネットワーク配信コンテンツの表示制御を行うデータ処理部を有し、
   前記データ処理部は、
   コメント入力ユーザのコメント入力時の視聴領域を示すコメント入力者視聴領域情報を取得し、
   前記コメント入力者視聴領域情報に基づいて、前記コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示する情報処理装置。
2. 前記誘導情報は、
   前記コメント入力ユーザの視聴領域の方向を示す矢印である請求項１に記載の情報処理装置。
3. 前記誘導情報は、
   前記コメント入力ユーザの視聴領域に誘導するためのメッセージである請求項１に記載の情報処理装置。
4. 前記データ処理部は、
   前記コメント入力ユーザのコメントとともに、前記誘導情報を前記コンテンツに重畳して表示する請求項１に記載の情報処理装置。
5. 前記データ処理部は、
   複数の異なるコメントのコメントリストを前記コンテンツに重畳して表示し、
   コンテンツ視聴ユーザによって、前記コメントリストから選択されたコメントに対応するコメント入力ユーザの視聴領域に誘導する誘導情報を表示する請求項１に記載の情報処理装置。
6. 前記ネットワーク配信コンテンツは、自由視点映像コンテンツであり、
   コンテンツ視聴ユーザの視線方向に応じて、表示領域が変更されるコンテンツである請求項１に記載の情報処理装置。
7. 表示部に表示されたコンテンツに対するコンテンツ視聴ユーザのコメント処理を実行するデータ処理部を有し、
   前記データ処理部は、
   前記コンテンツ視聴ユーザの視線方向に応じて、入力コメントの有効性判断を行う情報処理装置。
8. 前記データ処理部は、
   前記コンテンツ視聴ユーザの視線方向に応じて、
   コメント入力可能モードと、コメント入力停止モードのモード切り換えを実行し、
   コメント入力可能モード期間に入力されたコメントのみを有効コメントと判定する処理を行う請求項７に記載の情報処理装置。
9. 前記データ処理部は、
   前記コメント入力可能モード期間に入力されたコメントを、ネットワークを介して送信し、他のコンテンツ視聴ユーザによる確認を可能とする処理を行う請求項８に記載の情報処理装置。
10. 前記ネットワーク配信コンテンツは、自由視点映像コンテンツであり、
    前記コンテンツ視聴ユーザの視線方向に応じて、表示領域が変更されるコンテンツであり、
    前記表示領域の変更に応じて、前記コメント入力可能モードと、コメント入力停止モードのモード切り換えが実行される構成である請求項８に記載の情報処理装置。
11. 前記データ処理部は、
    前記コメント入力可能モードと、前記コメント入力停止モードのモード設定状態を識別可能としたモード識別情報を前記表示部に表示する請求項８に記載の情報処理装置。
12. 前記データ処理部は、
    前記モード識別情報としてマイク画像を利用し、
    コメント入力可能モードでは、前記マイク画像を前記表示部に表示し、コメント入力停止モードでは、前記マイク画像を前記表示部に表示しない表示制御を行う請求項１１に記載の情報処理装置。
13. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、
    ネットワーク配信コンテンツの表示制御を行うデータ処理部を有し、
    前記データ処理部が、
    コメント入力ユーザのコメント入力時の視聴領域を示すコメント入力者視聴領域情報を取得し、
    前記コメント入力者視聴領域情報に基づいて、前記コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示する情報処理方法。
14. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、
    表示部に表示されたコンテンツに対するコンテンツ視聴ユーザのコメント処理を実行するデータ処理部を有し、
    前記データ処理部は、
    前記コンテンツ視聴ユーザの視線方向に応じて、入力コメントの有効性判断を行う情報処理方法。
15. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、
    ネットワーク配信コンテンツの表示制御を行うデータ処理部を有し、
    前記プログラムは、前記データ処理部に、
    コメント入力ユーザのコメント入力時の視聴領域を示すコメント入力者視聴領域情報を取得する処理と、
    前記コメント入力者視聴領域情報に基づいて、前記コメント入力ユーザの視聴領域に誘導するための誘導情報をコンテンツに重畳して表示する処理を実行させるプログラム。
16. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、
    表示部に表示されたコンテンツに対するコンテンツ視聴ユーザのコメント処理を実行するデータ処理部を有し、
    前記プログラムは、前記データ処理部に、
    前記コンテンツ視聴ユーザの視線方向に応じて、入力コメントの有効性判断を行わせるプログラム。

Images