JP2022007458A - エンターテインメントシステム及びプログラム - Google Patents

Abstract

【課題】表示装置と端末装置を用いたインタラクティブなエンターテインメントシステム等の提供。
【解決手段】エンターテインメントシステムは、認識用表示物の認識処理を行う認識処理部と、認識処理の結果に基づいて、表示装置で表示される第１コンテンツに対して端末装置の表示部で表示される第２コンテンツを付加したコンテンツをユーザに視認させる処理を行うコンテンツ処理部と、受け付け部を含む。コンテンツ処理部は、入力用表示物を端末装置の表示部に表示する処理を行い、受け付け部は、入力用表示物に対するユーザの前記応答入力を受け付ける。コンテンツ処理部は、入力用表示物に対するユーザの応答入力に応じて、表示装置での第１コンテンツ又は端末装置での第２コンテンツを変化させる。
【選択図】図７

Description

本発明は、エンターテインメントシステム及びプログラム等に関する。

従来より、ＡＲ（拡張現実）やＭＲ（複合現実）などを利用したエンターテインメントシステムが知られている。このようなエンターテインメントシステムの従来技術としては特許文献１に開示されるシステムがある。特許文献１のシステムでは、表示装置に表示された演出画像等のコンテンツとマーカーとを、端末装置で撮像すると、表示装置のコンテンツに対して所定の表示物が合成されて端末装置の表示部に表示される。

特開２０１１－２５８１２０号公報

しかしながら、特許文献１のシステムでは、表示装置のコンテンツに対して、ＡＲの手法を用いて、飛び出して見えるような表示物を重ねて表示しているだけであり、ＡＲによる表示物に対してユーザが入力を行うことについては提案されていなかった。このため、表示装置と端末装置を用いたインタラクティブなエンターテインメントシステムを実現できなかった。

本開示によれば、表示装置と端末装置を用いたインタラクティブなエンターテインメントシステム及びプログラム等を提供できる。

本開示の一態様は、表示装置とユーザの端末装置を用いたエンターテインメントシステムであって、前記表示装置が表示する認識用表示物の認識処理を行う認識処理部と、前記認識処理の結果に基づいて、前記表示装置で表示される第１コンテンツに対して前記端末装置の表示部で表示される第２コンテンツを付加したコンテンツを前記ユーザに視認させる処理を行うコンテンツ処理部と、前記ユーザの入力を受け付ける受け付け部と、を含み、前記コンテンツ処理部は、前記ユーザが応答入力を行うための入力用表示物を、前記端末装置の前記表示部に表示する処理を行い、前記受け付け部は、前記入力用表示物に対する前記ユーザの前記応答入力を受け付け、前記コンテンツ処理部は、前記入力用表示物に対する前記ユーザの前記応答入力に応じて、前記表示装置での前記第１コンテンツ又は前記端末装置での前記第２コンテンツを変化させるエンターテインメントシステムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本開示の一態様によれば、ユーザが応答入力を行うための入力用表示物が表示され、入力用表示物に対するユーザの応答入力に応じて、表示装置での第１コンテンツが変化したり、或いは端末装置での第２コンテンツが変化するようになる。そして、このように入力用表示物に対するユーザの応答入力に応じて第１コンテンツ又は第２コンテンツを変化させながら、第１コンテンツと第２コンテンツによるコンテンツを、ユーザに視認させることが可能になる。従って、入力用表示物に対するユーザの応答入力に応じて、第１コンテンツ又は第２コンテンツがインタラクティブに変化するようになり、表示装置とユーザの端末装置を用いたインタラクティブなエンターテインメントシステム等の実現が可能になる。

また本開示の一態様では、前記コンテンツ処理部は、前記表示装置での表示状況に応じて、前記入力用表示物の表示態様、前記入力用表示物の配置位置、及び前記入力用表示物に対する前記応答入力の入力条件の少なくとも１つを変化させてもよい。

このようにすれば、表示装置での表示状況に応じた適切な表示態様で入力用表示物を表示したり、表示装置での表示状況に応じた適切な配置位置に入力用表示物を配置したり、或いは表示装置での表示状況に応じた適切な入力条件での応答入力が可能になる。

また本開示の一態様では、前記表示装置と前記端末装置の位置関係を検出する位置関係検出部を含み、前記コンテンツ処理部は、前記位置関係に応じて、前記入力用表示物の表示態様、前記入力用表示物の配置位置、及び前記入力用表示物に対する前記応答入力の入力条件の少なくとも１つを変化させてもよい。

このようにすれば、表示装置と端末装置の位置関係に応じた適切な表示態様で入力用表示物を表示したり、当該位置関係に応じた適切な配置位置に入力用表示物を配置したり、或いは当該位置関係に応じた適切な入力条件での応答入力が可能になる。

また本開示の一態様では、前記コンテンツ処理部は、前記表示装置の表示物が選択された場合に、選択された前記表示物の情報に応じて、前記入力用表示物の表示態様、前記入力用表示物の配置位置、及び前記入力用表示物に対する前記応答入力の入力条件の少なくとも１つを変化させてもよい。

このようにすれば、表示装置の表示物が選択された場合に、選択された表示物の情報に応じた適切な表示態様で入力用表示物を表示したり、当該表示物の情報に応じた適切な配置位置に入力用表示物を配置したり、或いは当該表示物の情報に応じた適切な入力条件での応答入力が可能になる。

また本開示の一態様では、前記コンテンツ処理部は、前記表示装置に表示される前記認識用表示物を変化させる処理を行ってもよい。

このようにすれば、認識用表示物の認識処理の結果に基づいて種々の処理を実行できるようになるため、第１コンテンツに第２コンテンツを付加した多様なコンテンツをユーザに提供できるようになる。

また本開示の一態様では、前記コンテンツ処理部は、前記表示装置での表示状況に応じて、前記表示装置に表示される前記認識用表示物を変化させてもよい。

このようにすれば、表示装置での表示状況に応じた表示態様等で認識用表示物を表示できるようになり、認識用表示物の適切な認識処理等を実現することが可能になる。

また本開示の一態様では、前記コンテンツ処理部は、前記端末装置での前記ユーザの入力に応じたフィードバックを、前記表示装置での前記第１コンテンツ又は前記端末装置での前記第２コンテンツに対して行ってもよい。

このようにすれば、端末装置でのユーザの入力を第１コンテンツ又は第２コンテンツに反映させて、第１コンテンツに第２コンテンツが付加されたコンテンツを、ユーザに視認させることが可能になる。

また本開示の一態様では、前記コンテンツ処理部は、前記ユーザの入力に応じた前記フィードバックを、前記端末装置の前記表示部に表示される前記入力用表示物に対して行ってもよい。

このようにすれば、端末装置でのユーザの入力に応じて、入力用表示物の表示態様等を変化させることが可能になり、ユーザの入力に応じた多様な表示態様の入力用表示物の表示が可能になる。

また本開示の一態様では、前記コンテンツ処理部は、前記入力用表示物に対する前記ユーザの前記応答入力が受け付けられたことを示す前記フィードバックを、前記第１コンテンツ又は前記第２コンテンツに対して行ってもよい。

このようにすれば入力用表示物に対するユーザの応答入力が行われたことを、第１コンテンツ又は第２コンテンツに反映して、ユーザに認識させることが可能になる。

また本開示の一態様では、複数の前記端末装置における前記応答入力の集計処理を行う集計処理部を含み、前記コンテンツ処理部は、前記応答入力の前記集計処理の結果に基づいて、前記第１コンテンツ又は前記第２コンテンツを変化させてもよい。

このようにすれば、複数の端末装置での応答入力の集計処理の結果に応じた第１コンテンツ又は第２コンテンツを表示できるようになる。

また本開示の一態様では、前記コンテンツ処理部は、前記第２コンテンツとして、前記端末装置の位置に対応して設定される仮想空間に配置される表示物を、前記端末装置の前記表示部に表示する処理を行ってもよい。

このようにすれば、端末装置の位置に対応するように仮想空間を設定し、当該仮想空間に配置される表示物を、第２コンテンツの表示物として、第１コンテンツに付加してユーザに視認させることが可能になる。

また本開示の一態様では、前記コンテンツ処理部は、前記表示装置での前記第１コンテンツに連動して、前記端末装置での前記表示物を変化させてもよい。

このようにすれば表示装置での第１コンテンツに連動して、端末装置での第２コンテンツも変化し、これらの連動した第１コンテンツと第２コンテンツによるコンテンツを、ユーザに視認させることが可能になる。

本実施形態のエンターテインメントシステムのシステム構成例。 表示装置の第１コンテンツに対して端末装置の第２コンテンツを付加する手法の詳細な説明図。 表示装置の第１コンテンツに対して端末装置の第２コンテンツを付加する手法の説明図。 端末装置である透過型のＨＭＤの一例を示す図。 本実施形態のエンターテインメントシステムの構成例を示すブロック図。 図６（Ａ）、図６（Ｂ）は本実施形態のエンターテインメントシステムのハードウェアの実現構成例を示す図。 本実施形態の処理例を説明するフローチャート。 表示装置の表示状況等に応じて入力用表示物の表示態様等や認識用表示物を変化させる処理を説明するフローチャート。 図９（Ａ）、図９（Ｂ）は表示装置と端末装置の位置関係の検出や表示装置での表示物の選択についての説明図。 図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）は入力用表示物の表示態様、配置位置、入力条件を変化させる手法の説明図。 端末装置でのユーザの入力に応じたフィードバックを表示装置での第１コンテンツ又は端末装置での第２コンテンツに対して行う処理を説明するフローチャート。 図１２（Ａ）、図１２（Ｂ）はユーザの入力に応じたフィードバックを端末装置での第２コンテンツに対して行う手法の説明図。 ユーザの入力に応じたフィードバックを表示装置での第１コンテンツに対して行う手法の説明図。 ユーザの応答入力に応じたフィードバックを入力用表示物に対して行う処理を説明するフローチャート。 ユーザの応答入力の集計処理の結果に基づいて、表示装置での第１コンテンツ等を変化させる手法の説明図。 認識処理の結果に基づいて、端末装置に設定される仮想空間に配置される表示物を表示する処理を説明するフローチャート。 認識処理の結果に基づいて、端末装置に設定される仮想空間に配置される表示物を表示する手法の説明図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲の記載内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、必須構成要件であるとは限らない。

１．エンターテインメントシステム
図１に本実施形態のエンターテインメントのシステム構成例を示す。本実施形態のエンターテインメントは、表示装置１０とユーザの端末装置２０を用いて実現される。表示装置１０は、例えばメインの表示装置である。具体的には表示装置１０は、ＰＣ（パーソナルコンピュータ）などの情報処理装置のモニター（ディスプレイ）や、テレビのモニターや、或いはライブやクラブの会場に設置される大型のモニターなどである。端末装置２０は、ユーザが所持する携帯型の端末装置や、或いはユーザが頭部等の部位に装着するウェアラブル型の端末装置などである。

図１に示すように表示装置１０には第１コンテンツＣＴ１が表示される。第１コンテンツＣＴ１は例えばユーザが視認できる配信動画、ゲーム映像、環境映像、観光映像又はシミュレーション映像などの視覚コンテンツである。第１コンテンツＣＴ１は音楽、ゲーム音、環境音又は音声などの聴覚コンテンツを含んでもよい。図１では、第１コンテンツＣＴ１として、キャラクタＣＨがＤＪのパフォーマンスを行う様子を示す映像（配信動画、ゲーム映像）が表示装置１０に表示されている。また表示装置１０には、認識用表示物ＭＫも表示されている。認識用表示物ＭＫは、認識処理における認識対象物であり、例えば認識用のマーカーなどにより実現できる。なお認識用表示物ＭＫを、表示装置１０に表示される第１コンテンツＣＴ１の画像により実現してもよい。例えば第１コンテンツＣＴ１の背景画像、キャラクタＣＨ等の表示物の画像、又は第１コンテンツＣＴ１の表示パターンなどを用いて、認識用表示物ＭＫを実現してもよい。

端末装置２０の表示部３０には第２コンテンツＣＴ２が表示される。例えば図１では、第２コンテンツＣＴ２としてエフェクト用（演出効果用）の表示物ＯＢ（オブジェクト）が表示されている。即ち第１コンテンツＣＴ１の映像再生に連動するように位置や方向が変化するエフェクト用の表示物ＯＢが表示される。例えば第１コンテンツＣＴ１に付加（重畳）されるように、第２コンテンツＣＴ２である表示物ＯＢが表示される。即ち本実施形態では、例えば認識用表示物ＭＫの認識処理が行われる。そして認識処理の結果に基づいて、表示装置１０で表示される第１コンテンツＣＴ１に対して、端末装置２０の表示部３０で表示される第２コンテンツを付加したコンテンツをユーザに視認させる処理が行われる。例えば認識処理により認識用表示物ＭＫが認識されると、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）の処理などにより、第１コンテンツＣＴ１の画像に対して表示物ＯＢ等の第２コンテンツの画像が合成されて、端末装置２０の表示部３０に表示される。具体的には、端末装置２０は例えば後述の図５の撮像部１６２（カメラ）を有しており、端末装置２０の背面側（表示部３０の裏側）に設けられた撮像部１６２により、表示装置１０の第１コンテンツＣＴ１を撮影する。そして撮影された第１コンテンツＣＴ１の画像に、表示物ＯＢの画像を合成した画像が、端末装置２０の表示部３０で表示される。このようにすれば、第１コンテンツＣＴ１の画像に対して、エフェクト（演出効果）などの第２コンテンツＣＴ２の画像を付加したコンテンツ画像が表示されるようになるため、第１コンテンツＣＴ１に対してＡＲやＭＲによる演出効果を施すことが可能になり、演出効果の高いエンターテインメントシステムを実現できるようになる。

なお図１では認識用表示物ＭＫが認識されたときに第１コンテンツＣＴ１に対して表示物ＯＢ等の第２コンテンツＣＴ２が付加されるようになっているが、本実施形態はこれに限定されない。例えば端末装置２０にジャイロセンサーや加速度センサーなどのモーションセンサーを設ける。そしてこのモーションセンサー等を用いて端末装置２０の位置情報や姿勢情報を検出し、検出された位置情報や姿勢情報を用いて、撮像部１６２が表示装置１０の方を向いていない場合にも、第２コンテンツＣＴ２を表示するようにしてもよい。例えば図１において、端末装置２０の撮像部１６２が、表示装置１０の方向に向かずに、天井等の方を向いたときにも、エフェクト用の表示物ＯＢを天井等の方向に表示するようにしてもよい。

図２、図３は、表示装置１０の第１コンテンツＣＴ１に対して端末装置２０の第２コンテンツＣＴ２を付加する手法の説明図である。例えば図２、図３では、第１コンテンツＣＴ１と第２コンテンツＣＴ２の合成画像（ミックス画像、重畳画像、付加画像）が、端末装置２０の表示部３０に表示されている。具体的には、第１コンテンツＣＴ１から、エフェクトなどを表す表示物ＯＢが四方に広がるように移動するＡＲやＭＲの画像が表示される。これにより、あたかも第１コンテンツＣＴ１からエフェクトが発生していような感覚をユーザに与えることができ、コンテンツ画像の演出効果を向上できる。

そして本実施形態では、このようなエフェクト用の表示物ＯＢの他に、ユーザが応答入力を行うための入力用表示物ＤＢＡ、ＤＢＢ、ＤＢＣを端末装置２０の表示部３０に表示する処理を行う。例えば入力用表示物ＤＢＡ、ＤＢＢ、ＤＢＣを、例えば第２コンテンツＣＴ２として第１コンテンツＣＴ１に付加する処理を行う。そして入力用表示物ＤＢＡ、ＤＢＢ、ＤＢＣに対するユーザの応答入力を受け付け、当該応答入力に応じて、表示装置１０での第１コンテンツＣＴ１又は端末装置２０での第２コンテンツＣＴ２を変化させる。

例えば図２、図３では、表示物ＤＢＳにより、ＤＪのキャラクタＣＨによる次回の演奏曲を決定すること、ユーザに促している。そして入力用表示物ＤＢＡ、ＤＢＢにより、次回の演奏曲の候補が示されており、ユーザは、入力用表示物ＤＢＡ、ＤＢＢのうち、自身が所望する曲に対応する入力用表示物を選択する応答入力（操作）を行う。例えば端末装置２０の表示部３０がタッチパネル型ディスプレイである場合には、ユーザが入力用表示物ＤＢＡ、ＤＢＢにタッチ操作を行うことで、入力用表示物ＤＢＡ、ＤＢＢを選択する応答入力が行われる。そして、この応答入力に応じて、表示装置１０での第１コンテンツＣＴ１が変化する。例えばユーザが入力用表示物ＤＢＡを選択した場合には、次回の演奏曲として、入力用表示物ＤＢＡに対応する第１曲が選択され、第１曲に対応するＤＪのパフォーマンスをキャラクタＣＨが行う第１コンテンツＣＴ１が、表示装置１０に表示されるようになる。またユーザが入力用表示物ＤＢＢを選択した場合には、次回の演奏曲として、入力用表示物ＤＢＢに対応する第２曲が選択され、第２曲に対応するＤＪのパフォーマンスをキャラクタＣＨが行う第１コンテンツＣＴ１が、表示装置１０に表示されるようになる。なお後述の図１５に示すように、複数の端末装置２０－１～２０－ｎでのユーザの応答入力の集計処理を行い、集計処理の結果に基づいて、次回の演奏曲を決定して、第１コンテンツＣＴ１を変化させてもよい。即ち、複数の端末装置２０－１～２０－ｎのユーザの投票により、次回の演奏曲を決定して、決定された演奏曲に対応するＤＪのパフォーマンスをキャラクタＣＨが行う第１コンテンツＣＴ１を、表示装置１０に表示する。

また図２、図３では、第２コンテンツＣＴ２を変化させるための入力用表示物ＤＢＣが表示されている。そしてユーザが、タッチ操作などにより、入力用表示物ＤＢＣを選択する応答入力（操作）が行うと、第２コンテンツＣＴ２が変化する。例えば第２コンテンツＣＴ２が、ユーザの応答入力に応じた内容のコンテンツに変化する。具体的には図２、図３では、ユーザが入力用表示物ＤＢＣを選択する応答入力を行うと、第２コンテンツＣＴ２であるエフェクト用の表示物ＯＢの種類、形状、色又はアニメーションパターンなどの表示態様が変化する。例えばユーザが入力用表示物ＤＢＣを選択する応答入力を行うごとに、エフェクト用の表示物ＯＢの表示態様を、第１表示態様、第２表示態様、第３表示態様・・・というように変化させてもよい。これにより、ユーザは、第１コンテンツＣＴ１に付加される第２コンテンツＣＴ２の内容を変化させることが可能になり、演出効果の向上を図れる。

なお入力用表示物ＤＢＡ、ＤＢＢ、ＤＢＣは、３次元座標を有する３次元表示物であってもよいし、２次元表示物であってもよい。また例えばエフェクト用の表示物ＯＢを、入力用表示物として兼用するようにしてもよい。例えば次の演奏曲として第１曲を選択する場合には、ユーザは、第１色（例えば赤）に設定された１又は複数の表示物ＯＢを選択する応答入力を行う。一方、次の演奏曲として第２曲を選択する場合には、ユーザは、第２色（例えば白）に設定された１又は複数の表示物ＯＢを選択する応答入力を行う。

以上のように本実施形態では、ユーザが応答入力を行うための入力用表示物ＤＢＡ、ＤＢＢを表示し、入力用表示物ＤＢＡ、ＤＢＢに対するユーザの応答入力に応じて、表示装置１０で表示される第１コンテンツＣＴ１を変化させる。例えば第１コンテンツＣＴ１を、ユーザの応答入力に応じた内容のコンテンツに変化させる。或いは、ユーザが応答入力を行うための入力用表示物ＤＢＣを表示し、入力用表示物ＤＢＣに対するユーザの応答入力に応じて、端末装置２０により表示される第２コンテンツＣＴ２を変化させる。例えば第２コンテンツＣＴ２を、ユーザの応答入力に応じた内容のコンテンツに変化させる。このようにすれば、例えばＡＲやＭＲの表示物として入力用表示物を表示し、入力用表示物に対するユーザの応答入力に応じて、表示装置１０での第１コンテンツＣＴ１を変化させたり、端末装置２０での第２コンテンツＣＴ２を変化させることが可能になる。そして、このように入力用表示物に対するユーザの応答入力に応じて変化する第１コンテンツＣＴ１と第２コンテンツＣＴ２がミックスされたコンテンツを、ユーザに表示できるようになる。例えば従来のＡＲやＭＲの表示物は、演出効果の向上のためにだけ表示されるものであり、ユーザのインタラクティブ性を向上するものではなかった。これに対して本実施形態では、第１コンテンツＣＴ１に付加してユーザに表示される第２コンテンツＣＴ２として、ユーザが応答入力を行うための入力用表示物を表示している。そして、この入力用表示物に対するユーザの応答入力に応じて、第１コンテンツＣＴ１や第２コンテンツＣＴ２がインタラクティブに変化し、エンターテインメントシステムにおけるインタラクティブ性を向上できる。従って、表示装置１０とユーザの端末装置２０を用いたインタラクティブなエンターテインメントシステムの実現が可能になる。

例えば本実施形態の表示装置１０は、ライブ会場の大型のモニター（スクリーン）や、動画配信が行われるＰＣやテレビのモニターである。そしてユーザが、端末装置２０であるスマートフォンなどのカメラ（撮像部）を介してモニターを覗くと、モニターの画面に表示されるコード（ＱＲコード（登録商標）等）や絵や模様を認識用表示物（マーカー）として、画面内空間から画面外に延長した３次元の仮想空間を設定する。そして、この画面外の仮想空間に対して、モニターの画面内のコンテンツと連動したエフェクトを投影して表示する。またモニターの画面内のコンテンツに連動した情報である曲の盛り上がり情報やテンポ情報などを、ネットワーク経由で端末装置２０のアプリに送ることで、画面内パフォーマンスと連動したエフェクトを表示できるようになる。例えばリズムに同期してパーティクルのサイズが変化するようなエフェクトを表示できる。従って、単なるエッジ側の表示アプリではなく、ネットワークにより情報連携することで、コンテンツに合った演出が可能となる。また、端末装置２０であるスマートフォンから覗いたスクリーンに、入力用表示物となるボタンを設置し、画面内のパフォーマンスに対して、情報を送ることが可能になる。例えば。ＤＪのキャラクタが次にプレイする曲の投票ボタンなどを設置できる。そして、例えばインターネット接続で情報を双方向に送り合うことで、配信コンテンツだけでなく、ライブ会場の演出により、演者とオーディエンスとの間のインタラクションも可能になる。

なお、以上では、端末装置２０が図１に示すようなユーザの携帯型の端末装置である場合を例にとり説明したが、本実施形態の端末装置２０はこれに限定されない。例えば端末装置２０は、ユーザが頭部等の部位に装着するウェアラブル型の端末装置であってもよい。例えば図４は、ウェアラブル型の端末装置の１つである透過型のＨＭＤ２００（頭部装着型表示装置）の例である。具体的には図４のＨＭＤ２００は光学透過型のＨＭＤの例である。

図４のＨＭＤ２００はテンプル部２４０とゴーグル部２４２を有する。テンプル部２４０にはスピーカが内蔵されている。ゴーグル部２４２には表示装置２４３とホログラフィック光学素子２４４が設けられている。例えばこれらの表示装置２４３、ホログラフィック光学素子２４４等により、端末装置２０の表示部３０を実現できる。表示装置２４３には、マイクロディスプレイ、ミラー、プリズム等により構成される表示ユニットが設けられている。表示装置２４３には左眼用の表示ユニットと右眼用の表示ユニットが設けられており、これにより立体視が実現される。また左眼用、右眼用の各表示ユニットに一対のマイクロディスプレイを設けることで虚像の位置を可変にできる。

表示装置２４３からの表示光は、ホログラフィック光学素子２４４の導光板内部を屈折しながら、ユーザの眼前に導光される。そしてホログラフィック光学素子２４４により表示光を眼球方向に屈折させて、眼球に表示光を送る。これにより眼前に虚像（ホログラムの再生像）があるように見えるようになる。ホログラフィック光学素子２４４の導光板はコンバイナーとも呼ばれ、ハーフミラーであるコンバイナーにより、外界の実像と虚像が重なって見えるようになり、ＡＲやＭＲが実現される。

またゴーグル部２４２には、ＲＧＢカメラ２４６、デプスカメラ２４７、環境認識カメラ２４８、２４９が設けられている。ＲＧＢカメラ２４６を用いることでユーザの正面方向の撮影が可能になる。デプスカメラ２４７を用いることで正面方向での奥行き情報を取得できる。なおゴーグル部２４２にはデプスカメラ用のエミッター（不図示）が設けられている。環境認識カメラ２４８、２４９を用いることでユーザの周囲の環境認識が可能になる。またゴーグル部２４２には、加速度センサーやジャイロセンサーなどにより構成されるモーションセンサーである慣性計測ユニット（ＩＭＵ）が内蔵されている。ユーザの頭の位置や向く方向は、ゴーグル部２４２に設けられたカメラによる撮像画像と慣性計測ユニットからの測定情報などに基づいて検出され、これによりヘッドトラッキングが実現される。そしてユーザの位置情報や方向情報の取得も可能になる。またＲＧＢカメラ２４６やデプスカメラ２４７などを用いた処理により、ユーザの周囲に居る他のユーザの位置情報（相対的な位置情報）、方向情報（相対的な方向情報）、或いは姿勢情報を取得できる。例えばキネクト（登録商標）と呼ばれる処理によりこれらの情報を取得する。例えば姿勢情報を取得することで、他のユーザがどのようなアクションを行ったかを検出できるようになる。

図４のＨＭＤ２００によれば、例えば表示装置２４３、ホログラフィック光学素子２４４等により実現される表示部３０により、第２コンテンツＣＴ２をユーザに表示できる。即ち第２コンテンツＣＴ２を虚像としてユーザに表示できる。また表示装置１０に表示される第１コンテンツＣＴ１については、ホログラフィック光学素子２４４によるコンバイナーにより、外界の実像としてユーザに視認させることができる。これにより、表示装置１０で表示される第１コンテンツに対して第２コンテンツを付加したコンテンツをユーザに視認させる処理を実現できるようになる。なおウェアラブル型の端末装置２０は、図４に示すような光学透過型のＨＭＤ２００には限定されず、例えばビデオ透過型のＨＭＤ２００などであってもよい。例えばＨＭＤ２００に設けられた撮像部１６２により表示装置１０の第１コンテンツＣＴ１を撮影する。そして撮影画像に対して第２コンテンツＣＴ２の画像を合成することで、第１コンテンツに対して第２コンテンツを付加したコンテンツをユーザに視認させる処理を実現することができる。

またＨＭＤ２００を用いる場合に、入力用表示物に対するユーザの応答入力は、例えば不図示のコントローラをユーザが操作することで実現してもよいし、アイトラッキングなどによりユーザの視線が入力用表示物の方を向いていることを検出することで実現してもよい。或いはＨＭＤ２００に設けられるモーションセンサーによりユーザの頭の動き等を検出することで、入力用表示物に対する応答入力を検出してもよい。

図５は、本実施形態のエンターテインメントシステム（コンテンツ提供システム、処理システム、ゲームシステム）の構成例を示すブロック図である。なお、本実施形態のアミューズメントシステムは図５の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

操作部１６０は、ユーザ（プレーヤ）が種々の入力（操作）を行うためのものである。操作部１６０は、例えば操作ボタン、方向指示キー、キーボード、ジョイスティック、レバー又はタッチパネル型ディスプレイ等により実現できる。例えばタッチパネル型ディスプレイの場合には、表示部３０が操作部１６０としても機能するようになる。

撮像部１６２（カメラ）は、被写体（撮像対象物）の撮影を行うものである。撮像部１６２は、例えばＣＣＤやＣＭＯＳセンサーなどの画像センサーや、フォーカスレンズ等により構成される光学系などにより実現できる。

記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。プログラムや、プログラムの実行に必要なデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（hard disk drive）、ＳＳＤ（Solid State Drive）、又は光ディスク装置などにより実現できる。記憶部１７０は、例えば第１コンテンツや第２コンテンツなどのコンテンツの情報を記憶する。コンテンツの情報は、コンテンツを構成する画像や音の情報などである。コンテンツの画像情報は、例えばコンテンツを構成する表示物の情報などであり、表示物であるオブジェクトの情報などである。

情報記憶媒体１８０は、コンピュータにより読み取り可能な媒体であり、プログラムやデータなどを格納するものである。情報記憶媒体１８０は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

表示部３０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、タッチパネル型ディスプレイ、或いはＨＭＤ（Head Mounted Display）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ又はヘッドホン等により実現できる。

通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（或いは記憶部１７０）に配信してもよい。このようなサーバによる情報記憶媒体の使用も本実施形態の範囲内に含めることができる。

処理部１００（プロセッサ）は、記憶部１７０に記憶されるプログラム、データや、操作部１６０からの入力情報などに基づいて、受け付け処理、認識処理、検出処理、集計処理、或いはコンテンツ処理などを行う。

処理部１００の各部が行う本実施形態の各処理はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することもできる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

処理部１００は、受け付け部１０２、認識処理部１０４、位置関係検出部１０６、集計処理部１０８、コンテンツ処理部１１０を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

受け付け部１０２は、ユーザの入力の受け付け処理を行う。例えば操作部１６０などを用いてユーザが応答入力などの入力を行うと、受け付け部１０２は、当該ユーザの入力を受け付ける。例えば受け付け部１０２は、操作部１６０を用いたユーザの入力を監視し、ユーザが操作部１６０を用いた入力を行うと、その入力情報を取得する。

認識処理部１０４は、認識用表示物の認識処理を行う。例えば図１～図３で説明したように認識処理部１０４は、表示装置１０が表示する認識用表示物の認識処理を行う。認識処理は、認識用表示物の画像を解析して認識する画像認識処理である。認識用表示物は、認識処理の対象物であり、例えばＡＲマーカーなどのマーカーにより実現できる。マーカーは例えばＱＲコード（登録商標）のマーカーであってもよい。また認識用表示物はＡＲマーカーなどのマーカーには限定されず、マーカーレス型ＡＲのように、特徴点や輪郭形状のマッチング処理により認識される表示物（対象物）であってもよい。即ち、認識用表示物は、正方形マーカーや特殊形状マーカーのようなＡＲマーカーには限定されず、自然特徴点マッチングや輪郭形状マッチングの処理により認識される表示物であってもよい。そして認識用表示物は、例えば第１コンテンツに第２コンテンツを付加してユーザに視認させる処理を実行させるトリガーとなる情報等として使用できる。また認識用表示物は、第２コンテンツとして表示される入力用表示物等の表示物を指定する情報であってもよい。

位置関係検出部１０６は、表示装置１０と端末装置２０の位置関係を検出する。例えば位置関係検出部１０６は、表示装置１０に対する端末装置２０の相対的な位置関係を検出する。ここで位置関係は、表示装置１０の位置と端末装置２０の位置の関係であってもよいし、表示装置１０の方向（向く方向）と端末装置２０の方向（向く方向）の関係であってもよい。例えば位置関係は、表示装置１０に対する端末装置２０の相対的な方向関係であってもよい。位置関係検出部１０６は、例えば認識用表示物を用いて表示装置１０と端末装置２０の位置関係を検出する。例えば表示装置１０を撮影した撮影画像（表示部３０の表示画面）での認識用表示物の位置、サイズ又は方向などを検出することで、表示装置１０と端末装置２０の位置関係を検出できる。例えば認識用表示物が所定の配置予定位置に表示されているかを検出することで、表示装置１０に対して端末装置２０が適切に正対して配置される位置関係にあるかを検出できる。また認識用表示物のサイズに基づいて、表示装置１０と端末装置２０の距離についての位置関係を検出できる。また認識用表示物の方向に基づいて、表示装置１０と端末装置２０の方向関係を位置関係として検出できる。また例えば表示装置１０と端末装置２０の初期の位置関係からの変化を、端末装置２０のモーションセンサー等により検出することで、各タイミングでの表示装置１０と端末装置２０の位置関係を検出できる。

集計処理部１０８は各種の集計処理を行う。例えば集計処理部１０８は、複数の端末装置における応答入力の集計処理を行う。例えば集計処理部１０８は、複数の端末装置においてどのような応答入力が行われたのかを集計する処理を行う。例えば複数の端末装置において、第１応答入力を行ったユーザの人数と第２応答入力を行ったユーザの人数を集計する処理を行う。集計処理は、各応答入力を行ったユーザの人数や端末装置の個数をカウントする集計処理であってもよいし、種々の統計処理による集計処理であってもよい。

コンテンツ処理部１１０は、種々のコンテンツ処理を行う。コンテンツ処理は、例えば、第１コンテンツや第２コンテンツなどのコンテンツの画像の表示処理や、コンテンツの音の出力処理などのコンテンツに関する種々の処理である。コンテンツの画像の表示処理は、コンテンツの画像を生成して表示する処理には限定されず、コンテンツの画像の表示を指示したり、表示されるコンテンツの画像の内容を指示する処理であってもよい。コンテンツ処理部１１０は、例えば表示装置１０での第１コンテンツの表示処理を行う第１表示処理部と、端末装置２０の表示部３０での第２コンテンツの表示処理を行う第２表示処理部を含むことができる。

そして表示装置１０とユーザの端末装置２０を用いた本実施形態のエンターテインメントシステムは、図５に示すように受け付け部１０２と認識処理部１０４とコンテンツ処理部１１０を含む。認識処理部１０４は、表示装置１０が表示する認識用表示物の認識処理を行う。例えば認識用表示物の画像認識処理などを行う。コンテンツ処理部１１０は、認識処理の結果に基づくコンテンツ処理を行う。例えばコンテンツ処理部１１０は、認識処理の結果に基づいて、表示装置１０で表示される第１コンテンツに対して端末装置２０の表示部３０で表示される第２コンテンツを付加したコンテンツをユーザに視認させる処理を行う。例えばコンテンツ処理部１１０は、第１コンテンツに対して第２コンテンツを合成（ミックス）する処理を行う。例えば第１コンテンツの画像と第２コンテンツの画像が合成されたコンテンツ画像をユーザに表示するための処理を行う。また受け付け部１０２は、ユーザの入力を受け付ける処理を行う。例えば操作部１６０を用いたユーザの入力を受け付ける処理を行う。

そしてコンテンツ処理部１１０は、図２、図３等で説明したように、ユーザが応答入力を行うための入力用表示物を、端末装置２０の表示部３０に表示する処理を行う。例えば端末装置２０の表示部３０の表示画面の所与の位置に、入力用表示物を表示する処理を行う。そして受け付け部１０２は、入力用表示物に対するユーザの応答入力を受け付ける処理を行う。例えば入力用表示物が表示部３０に表示され、当該入力用表示物を選択するなどの応答入力をユーザが行うと、受け付け部１０２は、当該ユーザの応答入力を受け付ける。そしてコンテンツ処理部１１０は、入力用表示物に対するユーザの応答入力に応じて、表示装置１０での第１コンテンツ又は端末装置２０での第２コンテンツを変化させる。例えばコンテンツ処理部１１０は、第１コンテンツの表示内容又は表示態様等を変化させたり、或いは第２コンテンツの表示内容又は表示態様等を変化させる処理を行う。例えばコンテンツ処理部１１０は、ユーザの応答入力に応じた表示内容又は表示態様等で第１コンテンツ又は第２コンテンツを表示する処理を行う。例えばコンテンツ処理部１１０は、ユーザの応答入力が第１応答入力であるか第２応答入力であるかに応じて、第１コンテンツ又は第２コンテンツの表示内容又は表示態様等を変化させる処理を行う。なお入力用表示物に対するユーザの応答入力に応じて、第１コンテンツ及び第２コンテンツの両方を変化させてもよい。

またコンテンツ処理部１１０は、表示装置１０での表示状況に応じて、入力用表示物の表示態様、入力用表示物の配置位置、及び入力用表示物に対する応答入力の入力条件の少なくとも１つを変化させる処理を行う。例えばコンテンツ処理部１１０は、表示装置１０が第１表示状況である場合には、入力用表示物を第１表示態様で表示したり、入力用表示物を第１配置位置に配置したり、或いは入力用表示物に対する応答入力の入力条件を第１入力条件に設定する。また表示装置１０が第２表示状況である場合には、入力用表示物を第２表示態様で表示したり、入力用表示物を第２配置位置に配置したり、或いは入力用表示物に対する応答入力の入力条件を第２入力条件に設定する。

表示装置１０の表示状況は、表示装置１０の表示物の状況（表示物の種類、配置位置、表示態様）、背景画像の状況、表示画面の状況（画面の明るさ、色合い）、表示場面の状況、マーカー等の認識用表示物の状況、表示時間の状況、又は表示タイミングの状況などである。入力用表示物の表示態様は、入力用表示物の色、形状、大きさ、明るさ、透明度（不透明度）、テクスチャ、又は表示時間などである。入力用表示物の配置位置は、表示部３０の表示画面での入力用表示物の位置又は方向などである。入力用表示物に対する応答入力の入力条件は、応答入力についての入力時間、入力方法、入力タイミング、或いはタッチパネル型ディスプレイでの押圧力やタッチ範囲などについての条件（設定）である。

またエンターテインメントシステムは、表示装置１０と端末装置２０の位置関係（方向関係を含む）を検出する位置関係検出部１０６を含む。そしてコンテンツ処理部１１０は、検出された位置関係に応じて、入力用表示物の表示態様、入力用表示物の配置位置、及び入力用表示物に対する応答入力の入力条件の少なくとも１つを変化させる処理を行う。例えばコンテンツ処理部１１０は、表示装置１０と端末装置２０が第１位置関係である場合には、入力用表示物を第１表示態様で表示したり、入力用表示物を第１配置位置に配置したり、或いは入力用表示物に対する応答入力の入力条件を第１入力条件に設定する。また表示装置１０と端末装置２０が第２位置関係である場合には、入力用表示物を第２表示態様で表示したり、入力用表示物を第２配置位置に配置したり、或いは入力用表示物に対する応答入力の入力条件を第２入力条件に設定する。

またコンテンツ処理部１１０は、表示装置１０の表示物が選択された場合に、選択された表示物の情報に応じて、入力用表示物の表示態様、入力用表示物の配置位置、及び入力用表示物に対する応答入力の入力条件の少なくとも１つを変化させる処理を行う。表示物の情報は、表示物の種類、形状、色、大きさ、明るさ、透明度（不透明度）、テクスチャ又は表示時間などの情報である。例えばユーザによる入力や、ユーザの注視位置などにより、表示装置１０のキャラクタ等の表示物（オブジェクト）が選択されたとする。この場合には、コンテンツ処理部１１０は、選択された表示物の情報に応じて、入力用表示物の表示態様、配置位置、又は応答入力の入力条件を変化させる。例えばコンテンツ処理部１１０は、選択された表示物が、第１種類、第１形状、第１色、第１サイズ、第１明度、第１透明度又は第１テクスチャの表示物である場合には、入力用表示物を第１表示態様で表示したり、入力用表示物を第１配置位置に配置したり、或いは入力用表示物に対する応答入力の入力条件を第１入力条件に設定する。またコンテンツ処理部１１０は、選択された表示物が、第２種類、第２形状、第２色、第２サイズ、第２明度、第２透明度又は第２テクスチャの表示物である場合には、入力用表示物を第２表示態様で表示したり、入力用表示物を第２配置位置に配置したり、或いは入力用表示物に対する応答入力の入力条件を第２入力条件に設定する。

またコンテンツ処理部１１０は、表示装置１０に表示される認識用表示物を変化させる処理を行う。例えば第１コンテンツが表示される表示装置１０において１つの認識用表示物だけを表示するのではなく、認識用表示物を随時に更新して変化させる。例えばコンテンツ処理部１１０は、経過時間に応じて認識用表示物を変化させたり、イベントの発生タイミングやコンテンツの進行タイミングなどの所与のタイミングにおいて認識用表示物を変化させたり、或いは所与の更新条件が満たされた場合に認識用表示物を更新して変化させる。

またコンテンツ処理部１１０は、表示装置１０での表示状況に応じて、表示装置１０に表示される認識用表示物を変化させる。表示装置１０の表示状況は、表示装置１０の表示物の状況、背景画像の状況、表示画面の状況、表示場面の状況、表示時間の状況、又は表示タイミングの状況などである。例えばコンテンツ処理部１１０は、表示装置１０が第１表示状況である場合には、第１種類、第１形状、第１色、第１サイズ、第１明度、第１透明度、又は第１テクスチャの認識用表示物を表示装置１０に表示する。またコンテンツ処理部１１０は、表示装置１０が第２表示状況である場合には、第２種類、第２形状、第２色、第２サイズ、第２明度、第２透明度、又は第２テクスチャの認識用表示物を表示装置１０に表示する。

またコンテンツ処理部１１０は、端末装置２０でのユーザの入力に応じたフィードバックを、表示装置１０での第１コンテンツ又は端末装置２０での第２コンテンツに対して行う。端末装置２０でのユーザの入力は、入力用表示物に対応するユーザの応答入力であってもよいし、当該応答入力以外の入力であってもよい。ユーザの入力に応じた第１コンテンツへのフィードバックは、第１コンテンツの表示物に対するフィードバックや、第１コンテンツの表示内容又は表示態様に対するフィードバックなどである。第１コンテンツの表示物に対するフィードバックは、第１コンテンツの表示物の色、形状、大きさ、明るさ、透明度、テクスチャ、表示時間、又は種類などを変化させるフィードバックである。第１コンテンツの表示内容又は表示態様に対するフィードバックは、第１コンテンツの表示内容又は表示態様を変化させるフィードバックである。同様に、ユーザの入力に応じた第２コンテンツへのフィードバックは、第２コンテンツの表示物に対するフィードバックや、第２コンテンツの表示内容又は表示態様に対するフィードバックなどである。第２コンテンツの表示物に対するフィードバックは、第２コンテンツの表示物の色、形状、大きさ、明るさ、透明度、テクスチャ、表示時間、又は種類などを変化させるフィードバックである。第２コンテンツの表示内容又は表示態様に対するフィードバックは、第２コンテンツの表示内容又は表示態様を変化させるフィードバックである。

例えばコンテンツ処理部１１０は、ユーザの入力に応じたフィードバックを、端末装置２０の表示部３０に表示される入力用表示物に対して行う。例えばユーザの入力に応じて、入力用表示物の色、形状、大きさ、明るさ、透明度、テクスチャ、表示時間、又は種類などを変化させるフィードバックを行う。例えばユーザが第１入力を行った場合には、コンテンツ処理部１１０は、入力用表示物を第１色、第１形状、第１サイズ、第１明度、第１透明度、第１テクスチャ、第１表示時間、又は第１種類に設定するフィードバックを行う。またユーザが第２入力を行った場合には、コンテンツ処理部１１０は、入力用表示物を第２色、第２形状、第２サイズ、第２明度、第２透明度、第２テクスチャ、第２表示時間、又は第２種類に設定するフィードバックを行う。

またコンテンツ処理部１１０は、入力用表示物に対するユーザの応答入力が受け付けられたことを示すフィードバックを、第１コンテンツ又は第２コンテンツに対して行う。例えば応答入力が適切に受け付けられたことをユーザに知らせるためのフィードバックを、第１コンテンツ又は第２コンテンツに対して行う。例えば入力用表示物に対するユーザの応答入力が受け付けられたことを、表示装置１０に表示される第１コンテンツにより、ユーザに報知したり、ユーザに視覚的に認識させる。例えば複数のユーザの応答入力による投票結果を、表示装置１０の第１コンテンツによりユーザに表示してもよい。或いは、入力用表示物に対するユーザの応答入力が受け付けられたことを、端末装置２０に表示される第２コンテンツにより、ユーザに報知したり、ユーザに視覚的に認識させる。例えばユーザの応答入力が受け付けられた場合に、第２コンテンツにおける入力用表示物などの表示物の色、形状、大きさ、明るさ、透明度、テクスチャ、又は表示時間を制御して、ユーザの応答入力が受け付けられたことをユーザに知らせる。

またエンターテインメントシステムは、複数の端末装置における応答入力の集計処理を行う集計処理部１０８を含む。そしてコンテンツ処理部１１０は、応答入力の集計処理の結果に基づいて、第１コンテンツ又は第２コンテンツを変化させる。例えばコンテンツ処理部１１０は、応答入力の集計処理の結果に応じた表示内容又は表示態様の第１コンテンツを、表示装置１０に表示したり、応答入力の集計処理の結果に応じた表示内容又は表示態様の第２コンテンツを、端末装置２０の表示部３０に表示する処理を行う。例えばコンテンツ処理部１１０は、集計処理の結果を知らせる表示物を、表示装置１０の第１コンテンツとして表示したり、端末装置２０の第２コンテンツとして表示する処理を行う。

またコンテンツ処理部１１０は、第２コンテンツとして、端末装置２０の位置に対応して設定される仮想空間に配置される表示物を、端末装置２０の表示部３０に表示する処理を行う。例えばコンテンツ処理部１１０は、端末装置２０の位置に対応するように仮想空間を設定する。例えば端末装置２０の位置に、仮想空間における仮想カメラ（視点）を設定する。これにより、仮想カメラの位置の窓から表示装置１０を覗いているような仮想空間画像を生成できる。そしてコンテンツ処理部１１０は、このように設定された仮想空間に配置される表示物を、端末装置２０の表示部３０に表示する処理を行う。例えばコンテンツ処理部１１０は、端末装置２０の位置に設定された仮想カメラから見える仮想空間画像として、当該表示物が仮想空間に配置される仮想空間画像の生成処理を行う。そしてコンテンツ処理部１１０は、第１コンテンツの画像と、第２コンテンツの画像である仮想空間画像とが合成（ミックス）された画像を、端末装置２０の表示部３０に表示する処理を行う。

またコンテンツ処理部１１０は、表示装置１０での第１コンテンツに連動して、端末装置２０での表示物を変化させる処理を行う。例えば表示装置１０での第１コンテンツの画像又は音が変化すると、それに連動して、端末装置２０の表示部３０に表示される表示物の表示内容又は表示態様を変化させる処理を行う。例えば第１コンテンツの提示処理に使用されるパラメータ（テンポ、盛り上がりなどを表すパラメータ）を用いて、端末装置２０での表示物の表示制御を行うことなどで、第１コンテンツに連動して端末装置２０での表示物を変化させる処理を実現できる。

図６（Ａ）、図６（Ｂ）に、本実施形態のエンターテインメントシステムのハードウェアの実現構成例を示す。図６（Ａ）では、端末装置２０、サーバ５０、情報処理装置４０が、インターネット等により実現されるネットワーク６０を介して通信接続されている。そして図６（Ａ）では、本実施形態のエンターテインメントシステムは、端末装置２０の処理により実現したり、端末装置２０と、情報処理装置４０やサーバ５０の分散処理により実現できる。情報処理装置４０は、例えばデスクトップ型のＰＣやノート型のＰＣなどである。サーバ５０は、エンターテインメントシステムの運営者が運営するサーバであり、例えばエンターテインメントシステムの各種の管理処理や、前述した応答入力の集計処理などを行う。また表示装置１０での第１コンテンツの表示処理は、例えば表示装置１０に接続される情報処理装置４０により実現でき、第２コンテンツの表示処理は端末装置２０により実現できる。例えば図６（Ａ）の構成では、表示装置１０に表示される認識用表示物が、端末装置２０の認識処理により認識されると、認識用表示物に対応するプログラムが、サーバ５０により端末装置２０に提供される。そして端末装置２０は、当該プログラムに基づいて動作して、第２コンテンツの生成処理や、第１コンテンツに第２コンテンツを付加して表示する処理を実行する。一方、図６（Ｂ）では、ゲーム装置７０が表示装置１０への第１コンテンツの表示処理を行うと共に、ゲーム装置７０は端末装置２０に無線又は有線で通信接続される。ゲーム装置７０は、例えば家庭用や業務用の据え置き型のゲーム装置である。端末装置２０は、例えば携帯型のゲーム装置や、スマートフォン等の携帯型の通信端末装置である。そして第２コンテンツの生成処理や、第１コンテンツに第２コンテンツを付加して表示する処理は、例えば端末装置２０の処理により実現したり、端末装置２０とゲーム装置７０の分散処理により実現できる。

２．本実施形態の処理
次に本実施形態の種々の処理について詳細に説明する。

２．１ 入力用表示物に対する応答入力に応じた処理
図７は本実施形態のエンターテインメントシステムの処理例を説明するフローチャートである。まず表示装置１０が表示する認識用表示物の認識処理が行われる（ステップＳ１）。例えば図１に示すように表示装置１０が認識用表示物ＭＫを表示し、端末装置２０が、撮像部１６２により認識用表示物ＭＫを撮影し、撮影画像に映る認識用表示物ＭＫの画像の認識処理を行う。そして認識処理の結果に基づいて、表示装置１０が表示する第１コンテンツに対して端末装置２０が表示する第２コンテンツを付加したコンテンツをユーザに視認させる処理が実行される（ステップＳ２）。例えば図２、図３に示すように、端末装置２０が、例えば撮像部１６２の撮影画像に映る第１コンテンツＣＴ１の画像に対して、エフェクト用の表示物ＯＢや入力用表示物ＤＢＡ、ＤＢＢ、ＤＢＣなどの第２コンテンツＣＴ２の画像を合成（ミックス、重畳）する処理を行う。そして第１コンテンツＣＴ１の画像に対して第２コンテンツＣＴ２の画像が付加されたコンテンツの画像を表示部３０に表示する処理を行う。

次に端末装置２０の表示部３０に表示される入力用表示物に対して、ユーザが応答入力を行ったか否かが判断され、応答入力を行った場合には当該応答入力が受け付けられる（ステップＳ３、Ｓ４）。例えば端末装置２０が、図２、図３に示す入力用表示物ＤＢＡ、ＤＢＢ、ＤＢＣを選択する応答入力をユーザが行った否かを判断し、応答入力が行われた場合にはその応答入力を受け付ける。そして入力用表示物に対するユーザの応答入力に応じて、表示装置１０での第１コンテンツ又は端末装置２０での第２コンテンツを変化させる処理が行われる（ステップＳ５）。例えばユーザが図２、図３の入力用表示物ＤＢＡ、ＤＢＢに対する応答入力を行うと、表示装置１０に表示される第１コンテンツＣＴ１が変化する。具体的にはユーザが入力用表示物ＤＢＡ、ＤＢＢのいずれかを選択することで、ＤＪのキャラクタＣＨによる次回の演奏曲が決定される。例えばユーザが入力用表示物ＤＢＡを選択した場合には、入力用表示物ＤＢＡに対応する曲のＤＪのパフォーマンスをキャラクタＣＨが行う第１コンテンツＣＴ１が、表示装置１０に表示されるようになる。またユーザが入力用表示物ＤＢＢを選択した場合には、入力用表示物ＤＢＢに対応する曲のＤＪのパフォーマンスをキャラクタＣＨが行う第１コンテンツＣＴ１が、表示装置１０に表示されるようになる。またユーザが図２、図３の入力用表示物ＤＢＣに対する応答入力を行うと、端末装置２０が表示する第２コンテンツＣＴ２が変化する。例えばユーザが入力用表示物ＤＢＣを選択する応答入力を行うと、第２コンテンツＣＴ２であるエフェクト用の表示物ＯＢの種類、形状、色又はアニメーションパターンなどの表示態様が変化する。

以上のように本実施形態によれば、ＡＲやＭＲの表示物として入力用表示物が表示され、入力用表示物に対するユーザの応答入力に応じて、表示装置１０での第１コンテンツＣＴ１が変化したり、端末装置２０での第２コンテンツＣＴ２が変化するようになる。そして、このように入力用表示物に対するユーザの応答入力に応じて第１コンテンツＣＴ１又は第２コンテンツＣＴ２（ＣＴ１及びＣＴ２の少なくとも一方）を変化させながら、第１コンテンツＣＴ１と第２コンテンツＣＴ２がミックされたコンテンツを、ユーザに視認させることが可能になる。従って、入力用表示物に対するユーザの応答入力に応じて、第１コンテンツＣＴ１又は第２コンテンツＣＴ２がインタラクティブに変化するようになり、表示装置１０とユーザの端末装置２０を用いたインタラクティブなエンターテインメントシステムの実現が可能になる。

２．２ 表示状況、位置関係、表示物の情報に応じた処理
本実施形態では、表示装置１０での表示状況、表示装置１０と端末装置２０の位置関係、又は表示装置１０において選択された表示物の情報に応じて、入力用表示物の表示態様、入力用表示物の配置位置、又は入力用表示物に対する応答入力の入力条件を変化させる。また本実施形態では、表示装置１０に表示される認識用表示物を変化させる処理を行う。例えば表示装置１０での表示状況に応じて、認識用表示物を変化させる。図８は、このように表示装置１０の表示状況等に応じて入力用表示物の表示態様等や認識用表示物を変化させる処理を説明するフローチャートである。

まず本実施形態のエンターテインメントシステムは、表示装置１０での表示状況を取得する（ステップＳ１１）。例えば表示装置１０の表示物の状況、背景画像の状況、表示画面の状況、表示場面の状況、認識用表示物の状況、表示時間の状況、又は表示タイミングの状況などを取得する。また表示装置１０と端末装置２０の位置関係を検出する（ステップＳ１２）。例えば図９（Ａ）に示すように、表示装置１０に対する端末装置２０の相対的な位置関係を取得する。この位置関係は表示装置１０の方向に対する端末装置２０の相対的な方向関係を含むことができる。例えば図１において端末装置２０の表示部３０（撮影画像）に映る認識用表示物ＭＫの位置、サイズ又は方向（パースペクティブ）などを検出することで、表示装置１０と端末装置２０の位置関係を検出できる。或いは端末装置２０に設けられるモーションセンサーにより位置関係を検出したり、表示装置１０に設けられる撮像センサーなどのセンサーデバイスを用いて位置関係を検出したり、或いは端末装置２０、表示装置１０と別体に設けられた計測装置を用いて位置関係を検出してもよい。また表示装置１０において選択された表示物の情報を取得する（ステップＳ１３）。例えば図１０（Ｂ）では、表示装置１０において、表示物であるキャラクタＣＨＥが選択されている。例えばユーザがキャラクタＣＨＥを選択する入力操作を行ったり、ユーザがキャラクタＣＨＥを注視するようにキャラクタＣＨに視線を向けた場合に、この入力操作やユーザの視線の方向を検出することで、キャラクタＣＨＥが選択されたことを検出できる。そしてキャラクタＣＨＥの情報である表示物の情報として、表示物の種類、形状、色、大きさ、明るさ、透明度、テクスチャ、又は表示時間などの情報を取得する。

次に、表示状況、位置関係又は選択された表示物の情報に応じて、入力用表示物の表示態様、配置位置、又は応答入力の入力条件を変化させる（ステップＳ１４）。即ちステップＳ１１で取得された表示装置１０の表示状況、ステップＳ１２で検出された表示装置１０と端末装置２０の位置関係、或いはステップＳ１３で取得された表示物の情報に応じて、入力用表示物の表示態様、配置位置、又は応答入力の入力条件を変化させる。具体的には、入力用表示物の色、形状、大きさ、明るさ、透明度、テクスチャ又は表示時間などの表示態様を変化させる。或いは、入力用表示物の配置位置として、表示部３０の表示画面での入力用表示物の位置又は方向などを変化させる。或いは、入力用表示物に対する応答入力についての入力時間、入力方法、入力タイミング、又はタッチパネル型ディスプレイでの押圧力やタッチ範囲などの入力条件を変化させる。また表示装置１０での表示状況に応じて、表示装置１０に表示される認識用表示物を変化させる（ステップＳ１５）。

例えば図１０（Ａ）では、ユーザが「ＹＥＳ」、「ＮＯ」を選択するための入力用表示物ＤＢＹ、ＤＢＮが表示されている。そして図１０（Ａ）では、表示装置１０の表示状況、表示装置１０と端末装置２０の位置関係、又は選択された表示物の情報に応じて、入力用表示物ＤＢＹ、ＤＢＮの色、形状、大きさ、明るさ、透明度、テクスチャ又は表示時間等の表示態様を変化させる。

例えば表示装置１０の表示物の状況、背景画像の状況、又は画面の明るさや色合いなどの表示画面の状況などの表示状況に応じて、入力用表示物ＤＢＹ、ＤＢＮの色、形状、大きさ、明るさ又は透明度などの表示態様を変化させる。例えば表示装置１０のキャラクタ等の表示物の色、形状、大きさ又は種類に応じて、入力用表示物ＤＢＹ、ＤＢＮの色、形状、大きさ、明るさ又は透明度などを調整する。例えば当該表示物の色、形状、大きさ又は種類等に対して、例えば入力用表示物ＤＢＹ、ＤＢＮがユーザに認識しやすくなるように、入力用表示物ＤＢＹ、ＤＢＮの色、形状、大きさ、明るさ又は透明度などを調整する。また表示装置１０での背景画像の状況や、表示画面の明るさや色合いなどの表示画面の状況に応じて、例えば入力用表示物ＤＢＹ、ＤＢＮがユーザに認識しやすくなるように、入力用表示物ＤＢＹ、ＤＢＮの色、形状、大きさ、明るさ又は透明度などを調整する。同様に、表示装置１０と端末装置２０の位置関係に応じて、入力用表示物ＤＢＹ、ＤＢＮの色、形状、大きさ、明るさ又は透明度などを調整する。例えば表示装置１０と端末装置２０の距離が離れた位置関係にある場合には、入力用表示物ＤＢＹ、ＤＢＮの色や形状を目立つ色や形状にしたり、入力用表示物ＤＢＹ、ＤＢＮのサイズを大きくしたり、明るくしたり、より不透明にすることで、ユーザが入力用表示物ＤＢＹ、ＤＢＮを認識しやすくなるようにする。また、図９（Ｂ）のようにユーザにより選択されたキャラクタＣＨＥ等の表示物の情報に応じて、入力用表示物ＤＢＹ、ＤＢＮの色、形状、大きさ、明るさ又は透明度などを調整する。例えば、ユーザにより選択された表示物の色、形状、大きさ又は透明度などに応じて、入力用表示物ＤＢＹ、ＤＢＮの色、形状、大きさ、明るさ又は透明度などを調整する。例えば入力用表示物ＤＢＹ、ＤＢＮを、選択された表示物の色、形状、大きさ又は透明度に対応する色、形状、大きさ又は透明度に設定する。

また図１０（Ｂ）に示すように、表示装置１０の表示状況、表示装置１０と端末装置２０の位置関係、又は選択された表示物の情報に応じて、入力用表示物ＤＢＹ、ＤＢＮの配置位置を変化させる。例えば図１０（Ｂ）に示すように、表示装置１０に表示される第１コンテンツＣＴ１の表示物を避ける位置に、入力用表示物ＤＢＹ、ＤＢＮを配置（表示）する。このようにすれば、入力用表示物ＤＢＹ、ＤＢＮが原因で、第１コンテンツＣＴ１の表示物が見えにくくなってしまうなどの事態を防止できる。或いは表示装置１０に表示される背景画像の領域に、入力用表示物ＤＢＹ、ＤＢＮを配置する。このようにすれば、背景画像の領域を有効利用して、入力用表示物ＤＢＹ、ＤＢＮを表示できるようになる。また表示装置１０と端末装置２０の距離が近くなる位置関係になった場合には、端末装置２０の表示部３０において拡大する第１コンテンツＣＴ１の領域に応じた位置に、入力用表示物ＤＢＹ、ＤＢＮを配置する。例えば第１コンテンツＣＴ１の主要な表示領域（第１コンテンツＣＴ１の主要な表示物が表示される領域）を避ける位置に、入力用表示物ＤＢＹ、ＤＢＮを配置する。このようにすれば、表示装置１０と端末装置２０の位置関係に応じた適切な位置に、入力用表示物ＤＢＹ、ＤＢＮを表示できるようになる。また図９（Ｂ）に示すように、キャラクタＣＨＥ等の表示物がユーザにより選択された場合に、選択された表示物を避ける位置に、入力用表示物ＤＢＹ、ＤＢＮを配置する。このようにすれば、入力用表示物ＤＢＹ、ＤＢＮが原因で、ユーザが選択した表示物が見えにくくなってしまうなどの事態を防止できる。

また図１０（Ｃ）に示すように、表示装置１０の表示状況、表示装置１０と端末装置２０の位置関係、又は選択された表示物の情報に応じて、入力用表示物ＤＢＹ、ＤＢＮに対する応答入力の入力条件を変化させる。例えば入力用表示物ＤＢＹ、ＤＢＮに対する応答入力についての入力時間、入力方法、入力タイミング、又は押圧力やタッチ範囲などの入力条件を変化させる。例えば表示装置１０での第１コンテンツＣＴ１の表示領域が大きかったり、表示装置１０と端末装置２０の距離が近くなる位置関係になることで、第１コンテンツＣＴ１の主要な表示領域が拡大したとする。この場合には、例えば入力用表示物ＤＢＹ、ＤＢＮは、第１コンテンツＣＴ１の主要な表示領域を避けるように、表示部３０の表示画面の端領域に、例えば小さなサイズで表示される。そして入力用表示物ＤＢＹ、ＤＢＮが、表示画面の端領域において小さなサイズで表示されると、入力用表示物ＤＢＹ、ＤＢＮを選択する応答入力の操作が難しくなる。そこで、このような場合には、応答入力の入力条件である入力時間を短くして、短い入力時間で、入力用表示物ＤＢＹ、ＤＢＮを選択できるようにする。或いは応答入力の入力条件であるタッチパネル型ディスプレイにおける押圧力を小さくして、小さな押圧力のタッチ操作で、入力用表示物ＤＢＹ、ＤＢＮを選択できるようにする。或いはタッチパネル型ディスプレイにおけるタッチ範囲（タッチ操作の検出範囲）を広くして、タッチ操作による入力用表示物ＤＢＹ、ＤＢＮの選択をし易くする。或いは、入力用表示物ＤＢＹ、ＤＢＮの入力方法を、その選択が容易になる入力方法に変更したり、入力用表示物ＤＢＹ、ＤＢＮの入力タイミングを、その選択が容易になる入力タイミングに変更する。

また本実施形態では、表示装置１０での表示状況に応じて、表示装置１０に表示される認識用表示物を変化させる。例えば表示装置１０の表示時間、表示物の状況、背景画像の状況、又は表示画面の状況などの表示状況に応じて、認識用表示物の種類、色、形状、大きさ、又は明るさなどを変化させる。例えば表示装置１０に第１コンテンツＣＴ１が表示されてからの経過時間である表示時間に応じて、認識用表示物を順次に更新して表示する。例えば第１コンテンツＣＴ１が第１場面である場合には、第１種類の認識用表示物を表示し、第１コンテンツＣＴ１が第２場面である場合には、第２種類の認識用表示物を表示する。また第１コンテンツＣＴ１が第３場面である場合には、第３種類の認識用表示物を表示する。これにより、例えば第１コンテンツＣＴ１の第１場面、第２場面、第３場面に適切な第２コンテンツＣＴ２を、第１種類、第２種類、第３種類の認識用表示物により指定して、指定された第２コンテンツＣＴ２を第１コンテンツＣＴ１に付加して表示できるようになる。或いは表示装置１０に表示される第１コンテンツＣＴ１の種類に応じて、認識用表示物の種類を切り替えてもよい。例えば表示装置１０に表示される第１コンテンツＣＴ１が動画であるか、静止画であるか、ゲーム画面であるかに応じて、認識用表示物の種類を切り替えてもよい。或いは、表示装置１０の表示物の状況、背景画像の状況、又は画面の明るさや色合いなどの表示画面の状況に応じて、認識用表示物の色、形状、大きさ、又は明るさなどを変化させる。例えば表示装置１０の表示状況が変化した場合にも、認識用表示物が適切に認識されるように、認識用表示物の色、形状、大きさ、又は明るさなどを変化させる。

なお、認識用表示物を変化させる処理は、表示状況に基づく認識用表示物の変化処理には限定されず、種々の変形実施が可能である。例えば経過時間に応じて認識用表示物を変化させてもよい。例えば第１コンテンツＣＴ１が表示されてからの経過時間に応じて認識用表示物を変化させる。或いは、所与のタイミングにおいて認識用表示物を変化させてもよい。例えば所与のイベントが発生したタイミングにおいて、認識用表示物を変化させたり、第１コンテンツＣＴ１の進行における所与のタイミングにおいて、認識用表示物を変化させる。或いは、認識用表示物についての更新条件が満たされたか否かを判断し、更新条件が満たされた場合に、認識用表示物を更新して変化させる。更新条件は、例えばコンテンツ状況やユーザ状況などの種々の状況に基づき設定される。このようにすれば、更新されて変化して行く認識用表示物の認識処理の結果に基づいて種々の処理を実行できるようになるため、第１コンテンツに第２コンテンツを付加した多様なコンテンツをユーザに提供できるようになる。

２．３ 第１コンテンツ、第２コンテンツへのユーザ入力のフィードバック
本実施形態では、端末装置２０でのユーザの入力に応じたフィードバックを、表示装置１０での第１コンテンツＣＴ１又は端末装置２０での第２コンテンツＣＴ２に対して行う。例えばユーザの入力に応じたフィードバックを、端末装置２０の表示部３０に表示される入力用表示物に対して行う。或いは、入力用表示物に対するユーザの応答入力が受け付けられたことを示すフィードバックを、第１コンテンツＣＴ１又は第２コンテンツＣＴ２に対して行う。図１１は、このように端末装置２０でのユーザの入力に応じたフィードバックを第１コンテンツＣＴ１又は第２コンテンツＣＴ２に対して行う処理を説明するフローチャートである。

まず端末装置２０においてユーザが入力を行ったか否かを判断する（ステップＳ２１）。このユーザ入力は、入力用表示物に対する応答入力であってもよいし、当該応答入力以外の入力であってもよい。そして、ユーザが入力を行った場合には、当該入力を受け付ける（ステップＳ２２）。そして、端末装置２０でのユーザの入力に応じたフィードバックを、表示装置１０での第１コンテンツＣＴ１又は端末装置２０での第２コンテンツＣＴ２に対して行う（ステップＳ２３）。このようにすれば、端末装置２０でのユーザの入力を第１コンテンツＣＴ１又は第２コンテンツＣＴ２に反映させて、第１コンテンツＣＴ１に第２コンテンツＣＴ２が付加されたコンテンツを、ユーザに表示できるようになる。

例えば本実施形態では、ユーザの入力に応じたフィードバックを、端末装置２０の表示部３０に表示される入力用表示物に対して行う。例えば端末装置２０でのユーザの入力に応じて変化する入力用表示物を、端末装置２０の表示部３０に表示する。このようにすれば、端末装置２０でのユーザの入力に応じて、入力用表示物の例えば色、形状、大きさ、明るさ、透明度、テクスチャ、表示時間又は種類などを変化させることが可能になり、ユーザの入力に応じた多様な表示態様の入力用表示物の表示が可能になる。

例えば図１２（Ａ）では、ユーザは、端末装置２０での入力により、入力用表示物の形状を選択できるようになっており、ユーザの入力に応じたフィードバックが入力用表示物に対して行われている。例えばユーザの希望に応じて、入力用表示物の形状を四角形状にしたり、星形の形状にしたり、ひし形の形状にしたりすることなどが可能になる。従って、ユーザは、入力用表示物の形状等を変化させるカスタムメイドが可能になる。なお、入力用表示物の形状以外にも、色、大きさ、明るさ又はテクスチャなどを、端末装置２０での入力によりユーザが選択できるようにしてもよい。

或いは、入力用表示物に対応して表示装置１０に表示される認識用表示物を、端末装置２０でのユーザの入力に応じて変化させることで、端末装置２０の表示部３０に表示される入力用表示物を変化させてもよい。例えば図１２（Ｂ）では、端末装置２０の各ユーザは、入力用表示物に対してデコレーションを行って、オリジナルの入力用表示物を作成できるようになっている。そして、作成されたオリジナルの入力用表示物に対応する認識用表示物を、表示装置１０に表示する。このようにすれば、当該入力用表示物を作成したユーザ以外の他のユーザも、当該他のユーザの端末装置を用いて当該認識用表示物の認識処理を行うことで、当該入力用表示物を使用できるようになる。従って、例えばお互いにフレンドの関係のある複数のユーザで、オリジナルに作成された入力用表示物を共用して使用できるようになる。

また本実施形態では、入力用表示物に対するユーザの応答入力が受け付けられたことを示すフィードバックを、第１コンテンツＣＴ１に対して行う。例えば応答入力が適切に受け付けられたことをユーザに知らせるためのフィードバックを、第１コンテンツＣＴ１に対して行う。このようにすれば入力用表示物に対するユーザの応答入力が行われたことを、第１コンテンツＣＴ１に反映して、ユーザに視認させることが可能になる。例えば本実施形態では、図２、図３に示すように、次回の演奏曲を選択するための入力用表示物ＤＢＡ、ＤＢＢを表示し、ユーザは入力用表示物ＤＢＡ、ＤＢＢのうちのいずれかを選択する応答入力を行う。そして例えば後述の図１５で説明するように、複数のユーザの応答入力による次回の演奏曲の投票結果を、表示装置１０の第１コンテンツＣＴ１によりユーザに表示する。例えば図１３では、次回の演奏曲の候補である曲ＭＡ、曲ＭＢのうち、複数のユーザによる投票結果により、曲ＭＡの方が優勢であることを示す表示物ＤＢＦが、表示装置１０に表示されている。これにより、ユーザは、入力用表示物に対する自身の応答入力による投票結果を、表示装置１０に表示される第１コンテンツＣＴ１の表示物ＤＢＦにより、認識できるようになる。

また本実施形態では、入力用表示物に対するユーザの応答入力が受け付けられたことを示すフィードバックを第２コンテンツＣＴ２に対して行う。例えば入力用表示物に対するユーザの応答入力が受け付けられたことを、端末装置２０に表示される第２コンテンツＣＴ２により、ユーザに報知したり、ユーザに視覚的に認識させる。このようにすれば入力用表示物に対するユーザの応答入力が行われたことを、第２コンテンツＣＴ２に反映して、ユーザに視認させることが可能になる。例えば図１４は、入力用表示物に対するユーザの応答入力に応じて、第２コンテンツＣＴ２である入力用表示物を変化させる処理を説明するフローチャートである。

まず、端末装置２０の表示部３０に表示される入力用表示物に対してユーザが応答入力を行ったか否かを判断し、応答入力を行った場合には当該応答入力を受け付ける（ステップＳ３１、Ｓ３２）。そして、入力用表示物の形状、色又は文字などを変化させたり、或いは入力用表示物の表示を消す処理を行う（ステップＳ３３）。例えばユーザが入力用表示物に対して応答入力を行うと、応答入力が行われたことをユーザに認識させるような形状又は色に、入力用表示物の形状又は色を変化させる。或いは、応答入力が行われたことをユーザに認識させるような文字を、入力用表示物に対して付加する。このようにすれば、ユーザの応答入力が適切に行われたことを、ユーザに認識させることが可能になり、ユーザインターフェースの向上を図れる。或いは、ユーザが入力用表示物に対して応答入力を行った後に、入力用表示物の表示を消す処理を行う。このようにすれば、入力用表示物に対する応答入力が完了して、入力用表示物が不要になった場合に、入力用表示物の表示を消すことで、入力用表示物が他のコンテンツの表示の邪魔になってしまうのを防止できるようになる。

また本実施形態では、図１５に示すように、複数の端末装置２０－１～２０－ｎにおける応答入力の集計処理を行う。即ち、集計処理部１０８は、端末装置２０－１～２０－ｎの各端末装置において行われた入力用表示物に対する応答入力を、ネットワーク６０を介して収集し、これらの応答入力の集計処理を行う。そしてコンテンツ処理部１１０は、表示装置１０に表示される第１コンテンツＣＴ１を変化させる。例えば図１３に示すように、応答入力の集計結果である投票結果を示す表示物ＤＢＦを、表示装置１０に表示する。そして、投票結果に基づいて優勢とされた曲ＭＡが、次回の演奏曲として演奏される第１コンテンツＣＴ１を、表示装置１０に表示する。例えば曲ＭＡを演奏する様子を示すＤＪのキャラクタのコンテンツを、第１コンテンツＣＴ１として表示装置１０に表示する。このようにすれば、複数の端末装置２０－１～２０－ｎでの応答入力の集計処理の結果に応じた第１コンテンツＣＴ１を、表示装置１０に表示できるようになる。或いは、入力用表示物に対する応答入力の集計処理の結果に応じた表示内容又は表示態様の第２コンテンツＣＴ２を、端末装置２０の表示部３０に表示してもよい。例えば図１３の投票結果を示す表示物ＤＢＦを、第２コンテンツＣＴ２として端末装置２０の表示部３０に表示してもよい。また集計処理の結果に応じて、第１コンテンツＣＴ１に付加される第２コンテンツＣＴ２の演出効果を変化させてもよい。例えばエフェクト用の表示物の種類やアニメーションパターンを、集計処理の結果に応じて変化させる。例えばユーザが選択した曲が、投票結果により選ばれた場合には、より演出効果の高いエフェクト用の表示物を、第１コンテンツＣＴ１に付加される第２コンテンツＣＴ２として表示するようにする。

また本実施形態では、第２コンテンツＣＴ２として、端末装置２０の位置に対応して設定される仮想空間に配置される表示物を、端末装置２０の表示部３０に表示する処理を行う。このようにすれば、端末装置２０の位置に対応するように仮想空間を設定し、当該仮想空間に配置される表示物を、第２コンテンツＣＴ２の表示物として、第１コンテンツＣＴ１に付加して表示できるようになる。この場合に本実施形態では、表示装置１０での第１コンテンツＣＴ１に連動して、端末装置２０での表示物を変化させる。このようにすれば表示装置１０での第１コンテンツＣＴ１に連動して、端末装置２０での第２コンテンツＣＴ２も変化し、これらの連動した第１コンテンツＣＴ１及び第２コンテンツＣＴ２をミックスしてユーザに表示できるようになる。図１６は、認識処理の結果に基づいて、端末装置での仮想空間に配置される表示物を表示する処理を説明するフローチャートである。

まず表示装置１０が表示する認識用表示物の認識処理を行う（ステップＳ４１）。そして認識処理の結果に基づいて、表示装置１０の位置に対応して設定される仮想空間に配置される表示物を、端末装置２０の表示部３０に表示する（ステップＳ４２）。そして表示装置１０での第１コンテンツＣＴ１に連動して、端末装置２０での表示物を変化させる（ステップＳ４３）。

例えば図１７に示すように、端末装置２０に位置に対応する位置に仮想カメラＶＣを設定する。そして、この仮想カメラＶＣに対応する仮想空間を設定し、仮想空間において仮想カメラＶＣから見える仮想空間画像として、エフェクト用の表示物ＯＢ等が仮想空間に配置される仮想空間画像の生成処理を行う。例えば公知の隠面消去処理や透視変換処理などの３次元画像描画処理による仮想空間画像の生成処理を行う。そして第１コンテンツの画像と、第２コンテンツの画像である仮想空間画像とが合成された画像を、端末装置２０の表示部３０に表示する処理を行う。これにより表示装置１０での第１コンテンツの画像に対して端末装置２０での第２コンテンツの画像を付加したコンテンツの画像を、ユーザに視認させる処理を実現できる。この場合に仮想カメラＶＣの設定は、図１～図３で説明した認識用表示物ＭＫを用いて行うことができる。例えば端末装置２０から見た認識用表示物ＭＫの方向を、例えば仮想カメラＶＣの基準となる視線方向に設定する。そして例えば端末装置２０の方向が変化して、表示装置１０の方に向かなくなった場合にも、例えばモーションセンサーなどを用いて端末装置２０の向く方向を検出して、仮想カメラＶＣの視線方向にエフェクト用の表示物ＯＢ等を表示するようにする。このようにすれば、表示装置１０の周囲のみならず、ユーザ自身の周囲にも表示物ＯＢが存在しているかのように見えるため、ＡＲやＭＲの演出効果を更に向上できる。

また本実施形態では、表示装置１０での第１コンテンツＣＴ１に連動して、端末装置２０での表示物ＯＢを変化させる。例えば図１～図３に示すように、第１コンテンツＣＴ１が、演奏曲に合わせてキャラクタＣＨがＤＪのパフォーマンスを行うようなコンテンツである場合には、演奏曲のテンポ（リズム）に連動するように、端末装置２０での表示物ＯＢの位置、方向又は表示パターンを変化させる。例えば演奏曲のテンポに同期するように、表示物ＯＢの位置、方向又は表示パターンを変化させる。或いは、第１コンテンツＣＴ１の盛り上がり度に応じて、表示物ＯＢの位置、方向又は表示パターンを変化させる。このようにすれば、第１コンテンツＣＴ１と、第１コンテンツＣＴ１に付加されて表示される第２コンテンツＣＴ２の表示物ＯＢ等が、連動（同期）して動いたり、変化するようになるため、演出効果の更なる向上を図れるようになる。

また本実施形態では、図１７に示すように仮想空間に配置される表示物ＯＢを、端末装置２０でのユーザの入力に応じて変化させる。例えば図２、図３の入力用表示物ＤＢＣに対するユーザの応答入力に応じて、仮想空間に配置される表示物ＯＢの表示パターンを変化させたり、表示物ＯＢの種類を変化させる。例えばユーザが入力用表示物ＤＢＣに対する入力操作を行うごとに、表示物ＯＢの表示パターンを第１表示パターン、第２表示パターン、第３表示パターンというように変化させる。このようにすることで、ユーザの入力に応じて、端末装置２０での第２コンテンツＣＴ２が変化するようになり、エンターテインメントシステムのインタラクティブ性を更に向上できるようになる。

なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また認識用表示物の認識処理、コンテンツ処理、表示処理、位置関係の検出処理、集計処理等も本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本開示の範囲に含まれる。

１０…表示装置、２０…端末装置、２０－１～２０－ｎ…端末装置、３０…表示部、
４０…情報処理装置、５０…サーバ、６０…ネットワーク、７０…ゲーム装置、
１００…処理部、１０２…受け付け部、１０４…認識処理部、１０６…位置関係検出部、
１０８…集計処理部、１１０…コンテンツ処理部、１６０…操作部、１６２…撮像部、
１７０…記憶部、１８０…情報記憶媒体、１９２…音出力部、１９６…通信部、
２００…ＨＭＤ、２４０…テンプル部、２４２…ゴーグル部、２４３…表示装置、
２４４…ホログラフィック光学素子、２４６…ＲＧＢカメラ、２４７…デプスカメラ、
２４８…環境認識カメラ、２４９…環境認識カメラ、
ＣＨ、ＣＨＥ…キャラクタ、ＣＴ１…第１コンテンツ、ＣＴ２…第２コンテンツ、
ＤＢＡ、ＤＢＢ、ＤＢＣ、ＤＢＹ、ＤＢＮ…入力用表示物、ＤＢＳ、ＤＢＦ…表示物、
ＭＡ、ＭＢ…曲、ＭＫ…認識用表示物、ＯＢ…表示物、ＶＣ…仮想カメラ

Claims (13)

1. 表示装置とユーザの端末装置を用いたエンターテインメントシステムであって、
   前記表示装置が表示する認識用表示物の認識処理を行う認識処理部と、
   前記認識処理の結果に基づいて、前記表示装置で表示される第１コンテンツに対して前記端末装置の表示部で表示される第２コンテンツを付加したコンテンツを前記ユーザに視認させる処理を行うコンテンツ処理部と、
   前記ユーザの入力を受け付ける受け付け部と、
   を含み、
   前記コンテンツ処理部は、
   前記ユーザが応答入力を行うための入力用表示物を、前記端末装置の前記表示部に表示する処理を行い、
   前記受け付け部は、
   前記入力用表示物に対する前記ユーザの前記応答入力を受け付け、
   前記コンテンツ処理部は、
   前記入力用表示物に対する前記ユーザの前記応答入力に応じて、前記表示装置での前記第１コンテンツ又は前記端末装置での前記第２コンテンツを変化させることを特徴とするエンターテインメントシステム。
2. 請求項１において、
   前記コンテンツ処理部は、
   前記表示装置での表示状況に応じて、前記入力用表示物の表示態様、前記入力用表示物の配置位置、及び前記入力用表示物に対する前記応答入力の入力条件の少なくとも１つを変化させることを特徴とするエンターテインメントシステム。
3. 請求項１又は２において、
   前記表示装置と前記端末装置の位置関係を検出する位置関係検出部を含み、
   前記コンテンツ処理部は、
   前記位置関係に応じて、前記入力用表示物の表示態様、前記入力用表示物の配置位置、及び前記入力用表示物に対する前記応答入力の入力条件の少なくとも１つを変化させることを特徴とするエンターテインメントシステム。
4. 請求項１乃至３のいずれかにおいて、
   前記コンテンツ処理部は、
   前記表示装置の表示物が選択された場合に、選択された前記表示物の情報に応じて、前記入力用表示物の表示態様、前記入力用表示物の配置位置、及び前記入力用表示物に対する前記応答入力の入力条件の少なくとも１つを変化させることを特徴とするエンターテインメントシステム。
5. 請求項１乃至４のいずれかにおいて、
   前記コンテンツ処理部は、
   前記表示装置に表示される前記認識用表示物を変化させる処理を行うことを特徴とするエンターテインメントシステム。
6. 請求項５において、
   前記コンテンツ処理部は、
   前記表示装置での表示状況に応じて、前記表示装置に表示される前記認識用表示物を変化させることを特徴とするエンターテインメントシステム。
7. 請求項１乃至６のいずれかにおいて、
   前記コンテンツ処理部は、
   前記端末装置での前記ユーザの入力に応じたフィードバックを、前記表示装置での前記第１コンテンツ又は前記端末装置での前記第２コンテンツに対して行うことを特徴とするエンターテインメントシステム。
8. 請求項７において、
   前記コンテンツ処理部は、
   前記ユーザの入力に応じた前記フィードバックを、前記端末装置の前記表示部に表示される前記入力用表示物に対して行うことを特徴とするエンターテインメントシステム。
9. 請求項７又は８において、
   前記コンテンツ処理部は、
   前記入力用表示物に対する前記ユーザの前記応答入力が受け付けられたことを示す前記フィードバックを、前記第１コンテンツ又は前記第２コンテンツに対して行うことを特徴とするエンターテインメントシステム。
10. 請求項１乃至９のいずれかにおいて、
    複数の前記端末装置における前記応答入力の集計処理を行う集計処理部を含み、
    前記コンテンツ処理部は、
    前記応答入力の前記集計処理の結果に基づいて、前記第１コンテンツ又は前記第２コンテンツを変化させることを特徴とするエンターテインメントシステム。
11. 請求項１乃至１０のいずれかにおいて、
    前記コンテンツ処理部は、
    前記第２コンテンツとして、前記端末装置の位置に対応して設定される仮想空間に配置される表示物を、前記端末装置の前記表示部に表示する処理を行うことを特徴とするエンターテインメントシステム。
12. 請求項１１において、
    前記コンテンツ処理部は、
    前記表示装置での前記第１コンテンツに連動して、前記端末装置での前記表示物を変化させることを特徴とするエンターテインメントシステム。
13. 表示装置が表示する認識用表示物の認識処理を行う認識処理部と、
    前記認識処理の結果に基づいて、前記表示装置で表示される第１コンテンツに対してユーザの端末装置の表示部で表示される第２コンテンツを付加したコンテンツを前記ユーザに視認させる処理を行うコンテンツ処理部と、
    前記ユーザの入力を受け付ける受け付け部として、
    コンピュータを機能させ、
    前記コンテンツ処理部は、
    前記ユーザが応答入力を行うための入力用表示物を、前記端末装置の前記表示部に表示する処理を行い、
    前記受け付け部は、
    前記入力用表示物に対する前記ユーザの前記応答入力を受け付け、
    前記コンテンツ処理部は、
    前記入力用表示物に対する前記ユーザの前記応答入力に応じて、前記表示装置での前記第１コンテンツ又は前記端末装置での前記第２コンテンツを変化させることを特徴とするプログラム。

Images