JP2018008070A - 没入型環境用のインタラクティブ型オブジェクト - Google Patents

Abstract

【課題】インタラクティブ型オブジェクトを用いた没入型環境を提供する。
【解決手段】ストーリーテリング環境は、１つ又は複数のインタラクティブ型デバイスを含む。システムは、ユーザと１つ又は複数のインタラクティブ型デバイスとの間の過去のインタラクションを記述する履歴データを受信する。第１のインタラクティブ型デバイスは、１つ又は複数のインタラクティブ型イベントを実行する。各インタラクティブ型イベントは、刺激イベントの発生、及び刺激イベントの発生に応答して実行するアクションを含み、制御論理は、１つ又は複数のインタラクティブ型イベントのうちの少なくとも１つを、受信した履歴データに基づいて決定する。複数の刺激イベントのうちの第１の刺激イベントの発生を検出したのに応答して、制御論理は第１のインタラクティブ型デバイスに対応するアクションを実行させる。
【選択図】図１

Description

[0002]本開示は、一般にホームエンターテインメントに関し、さらに詳細には、インタラクティブ型オブジェクトを用いて没入型環境を提供する技術に関する。

関連出願の相互参照

[0001]本願は、参照によりその全体を本明細書に組み込む、２０１２年１０月４日出願の米国特許仮出願第６１／７０９９６９号の利益を主張するものである。

[0003]ビデオゲームが最初に開発されて以来、コンピュータグラフィックス技術は長足の進歩を遂げた。現在では、比較的安価な３Ｄグラフィックスエンジンでも、わずか数百ドルで買える携帯型ビデオゲーム、家庭用ビデオゲーム及びパーソナルコンピュータといったハードウェアプラットフォームで写真とほとんど変わらない画質のインタラクティブ型ゲームを遊べるようになっている。これらのビデオゲームシステムは、通常は、携帯型コントローラ又はゲームコントローラを含む、或いは携帯型ビデオゲームプラットフォームの場合であれば一体化コントローラを含む。ユーザ又はプレーヤは、このコントローラを使用して、コマンドなどの命令をビデオゲームシステムに送信し、再生しているビデオゲームなどのシミュレーションを制御する。例えば、コントローラは、ユーザによって操作されるマニピュレータ（例えばジョイスティックなど）及びボタンを備えることができる。

[0004]ビデオゲームは、ユーザがビデオゲームシステムと直接インタラクションすることができるようになっていることもあるが、このようなインタラクションが主に影響を及ぼすのはビデオゲーム装置（又は接続されたディスプレイ）に示されるグラフィック描写であり、仮想世界の外側のその他の任意のオブジェクトに影響を及ぼすことはまれである。すなわち、ユーザは、ビデオゲームシステムへの入力を指定して、ユーザのアバタがジャンプするアクションを実行することを示すことができ、これに応答して、ビデオゲームシステムは、ユーザのアバタがジャンプしている様子を表示することができる。ただし、このようなインタラクションは、通常は仮想世界に限定され、仮想世界の外側の任意のインタラクションは制限されている（例えば、手持ち型ゲーム装置は、特定のアクションが起こったときに振動することができる）。

[0005]さらに、多くの手持ち型ゲーム装置は、物理的な現実世界の光景の画像又は一連の画像を取得するために使用することができる、何らかの形態のカメラ装置を含む。取得した画像は、その後、例えば手持ち型ゲーム装置のディスプレイ上に表示することができる。ある種の装置は、取得した画像を表示する前に、それらの画像に仮想オブジェクトを挿入するように構成することができる。さらに、その他の装置又はアプリケーションにより、ユーザが、特に物理的光景の取得画像内に絵を描く、又は色を塗ることができることもある。しかし、このような変更は物理的光景の１つの画像にしか適用されないので、異なる角度からの物理的光景のその後の取得画像は、そのユーザの変更を含まないこともある。

[0006]１実施形態は、第１のインタラクティブ型デバイス、及び動作を実行するように構成された制御論理を含むシステムを提供する。この動作は、ユーザと１つ又は複数のインタラクティブ型デバイスとの間の過去のインタラクションを記述する履歴データを受信するステップを含む。この動作は、さらに、第１のインタラクティブ型デバイスを１つ又は複数のインタラクティブ型イベントによって構成するステップを含む。各インタラクティブ型イベントは、（ｉ）刺激イベント、及び（ｉｉ）刺激イベントの発生に応答して実行するアクションを含み、上記の１つ又は複数のインタラクティブ型イベントのうちの少なくとも１つは、受信した履歴データに基づく。この動作は、上記の１つ又は複数の刺激イベントのうちの第１の刺激イベントの発生を検出したのに応答して、第１のインタラクティブ型デバイスに対応するアクションを実行させるステップを含む。この動作は、第１のインタラクティブ型デバイスを、第２の１つ又は複数のインタラクティブ型イベントで更新するステップも含む。

[0007]別の実施形態は、物理的オブジェクトの位置をモニタリングして、物理的オブジェクトが物理的環境内の既定の位置に到達したときにそのことを検出するステップであって、物理的オブジェクトが、物理的環境内を第１の方向に第１の速度で移動しているステップを含む方法を提供する。この方法は、物理的オブジェクトが既定の位置に到達したことを検出したときに、物理的オブジェクトの仮想描写を仮想世界の中に出現させて、物理的オブジェクトの仮想描写が仮想世界の中で第１の方向に第１の速度で移動しているようにするステップをさらに含む。

[0008]さらに別の実施形態は、仮想オブジェクトの位置をモニタリングして、仮想オブジェクトが仮想世界の中の既定の位置に到達したときにそのことを検出するステップであって、仮想オブジェクトが、仮想世界の中を第１の方向に第１の速度で移動しているステップを含む方法を提供する。この方法は、仮想オブジェクトが既定の位置に到達したことを検出したときに、物理的オブジェクトに、物理的環境内で第１の方向に第１の速度で移動を開始させるステップをさらに含む。

[0009]さらに別の実施形態は、マジックミラー部分を有する筐体であり、マジックミラー部分が鏡状の外側及び透明な内側を備える筐体を備える装置を提供する。この装置は、筐体内に配置された、マジックミラー部分を通して見ることができる画像を提示するように構成された可視部分を有する表示デバイスをさらに備える。さらに、この装置は、筐体内に配置されたスピーカデバイスと、画像を取り込み、取り込んだ画像を電子信号に変換するように構成されたカメラセンサとを備える。この装置は、音声を取り込み、取り込んだ音声を音声データに変換するように構成されたマイクロフォンデバイスと、ネットワークデータを受信及び伝送するように構成されたネットワークアダプタとをさらに備える。さらに、この装置は、カメラセンサから取り込まれた画像をビデオデータに符号化し、マイクロフォンデバイスから取り込まれた音声データを符号化し、ビデオデータ及び符号化した音声データを、遠隔デバイスに表示するためにネットワークアダプタを用いて伝送するように構成されたエンコーダ論理と、遠隔デバイスからネットワークアダプタを介して受信した音声データ及びビデオデータを復号するように構成されたデコーダ論理であり、復号したビデオデータを表示デバイスを用いて表示されるように出力し、復号した音声データをスピーカデバイスを用いて聴覚的に出力するデコーダ論理とを備える。

[0010]上述の態様を実現する方法を詳細に理解することができるように、上記で短く概要を述べた本発明の実施形態について、添付の図面を参照しながらさらに具体的に説明する。

[0011]なお、添付の図面は、本発明の代表的な実施形態しか示しておらず、したがって、本発明には同様に効果的なその他の実施形態が存在する余地があるため、添付の図面は、本発明の範囲を限定するものとは考えられないことに留意されたい。

本明細書に記載する１実施形態による、複数のストーリーテリング装置を含むストーリーテリング環境を示すブロック図である。 本明細書に記載する１実施形態による、眠っているユーザとインタラクションしている玩具の車型のインタラクティブ型デバイスを示すスクリーンショットを示す図である。 本明細書に記載する１実施形態による、ユーザとインタラクションしている玩具の車型のインタラクティブ型デバイスを示すスクリーンショットを示す図である。 本明細書に記載する１実施形態による、ユーザとインタラクションしている妖精型のインタラクティブ型デバイスを示すスクリーンショットを示す図である。 本明細書に記載する１実施形態による、ユーザとインタラクションしている妖精型のインタラクティブ型デバイスと拡張現実デバイスとを示すスクリーンショットを示す図である。 本明細書に記載する１実施形態による、仮想鍵とインタラクションするオルゴール型のインタラクティブ型デバイスを示すスクリーンショットを示す図である。 本明細書に記載する１実施形態による、ユーザとインタラクションする玩具の車型のインタラクティブ型デバイスを示すスクリーンショットを示す図である。 本明細書に記載する１実施形態による、インタラクティブ型デバイスによる投影を示すスクリーンショットを示す図である。 本明細書に記載する１実施形態による、制御デバイスを示すブロック図である。 本明細書に記載する１実施形態による、インタラクティブ型オブジェクトを示すブロック図である。 本明細書に記載する１実施形態による、魔法の鏡型のデバイスとインタラクションするユーザを示す図である。 本明細書に記載する１実施形態による、魔法の鏡型のデバイスの側面図である。 本明細書に記載する１実施形態による、魔法の鏡型のデバイスの正面図である。 本明細書に記載する実施形態による、魔法の鏡型のデバイスを示す図である。 本明細書に記載する実施形態による、魔法の鏡型のデバイスを示す図である。 本明細書に記載する実施形態による、魔法の鏡型のデバイスを示す図である。 本明細書に記載する１実施形態による、魔法の鏡型のデバイスを示すブロック図である。 本明細書に記載する１実施形態による、物理的レーストラックシステムを示す図である。 本明細書に記載する１実施形態による、遠隔ユーザを描写する仮想レーストラックとインタラクションする物理的レーストラックシステムを示す図である。 本明細書に記載する１実施形態による、仮想レーストラックとインタラクションする物理的レーストラックシステムを示す図である。 本明細書に記載する１実施形態による、仮想レーストラックの第３者視点のスクリーンショットを示す図である。 本明細書に記載する１実施形態による、トンネルデバイスを示す図である。 本明細書に記載する１実施形態による、物理／仮想インタラクションをシミュレートする方法を示す流れ図である。 本明細書に記載する１実施形態による、仮想／物理インタラクションをシミュレートする方法を示す流れ図である。

[0034]大まかに言えば、実施形態は、インタラクティブ型オブジェクトを使用してユーザに没入型体験を提供するものである。インタラクティブ型オブジェクトは、ユーザのアクション及び現実世界のシナリオに対してコンテキストに適した形で反応することができるステートフルなオブジェクトとすることができる。本明細書で使用する「インタラクティブ型オブジェクト」は、インタラクティブ型オブジェクトがストーリーテリング体験に参加しているときには、「ストーリーテリングオブジェクト」又は「ストーリーテリングデバイス」と呼ばれることもある。このようなインタラクティブ型オブジェクトは、それらがどのような部屋（又はどのようなタイプの部屋）の中にあるか（例えば寝室、居間など）、どのユーザが近接する領域にいるか、どの他のオブジェクト（インタラクティブ型又はそれ以外）が近接する領域にいるか、及びそれらの現在の環境の特徴がどのようなものであるか（例えば照明は点いているか消えているか、音楽がかかっているかどうかなど）など、それらの現在の周囲環境に関するデータを保持することができる。インタラクティブ型オブジェクトは、また、以前のユーザ及びその他のオブジェクトとのインタラクションの特徴を示す履歴データを保持することもできる。このような履歴データは、ユーザの好み、特定のユーザとのインタラクション、その他のインタラクティブ型オブジェクトとのインタラクション、及びユーザの挙動などに関するものとすることができる。

[0035]インタラクティブ型オブジェクトは、次いで、このデータを使用して、コンテキストに適したアクションを実行することができる。例えば、幼い子供がインタラクティブ型の玩具の車型オブジェクトで遊んでいると仮定する。現在の環境で音楽が大きな音でかかっており、現在時刻が午後９時であると判定すると、インタラクティブ型の玩具の車が（例えば１つ又は複数のスピーカ及びテキスト音声合成器を用いて）喋り、もう寝る準備をする時間だから音楽の音量を下げようと子供に言う。別の例としては、インタラクティブ型の玩具の車は、ユーザとの以前のインタラクションに基づいて、ユーザの好みデータを保持することもできる。例えば、玩具の車が子供と話をしているときに、好きな食べ物は何かと子供に尋ね、尋ねられた少年が「ラザニア！」と答えたと仮定する。その後、数週間後のその子との会話の中で、玩具の車が、その子の母が夕食ができたとその子を呼んでいるのを検出したとする。このとき、玩具の車は、履歴好みデータに基づいて、その子に向かって「今夜はきっとラザニアだよ！」とコメントすることもできる。

[0036]さらに、インタラクティブ型オブジェクトは、その他のインタラクティブ型オブジェクトとインタラクションして、没入型体験をユーザに提供することもできる。例えば、子供が、ピクサー（Ｐｉｘａｒ）（登録商標）の映画カーズ（Ｃａｒｓ）（登録商標）に登場する２台のインタラクティブ型の玩具の車、メーター（車）とマックイーン（車）を購入したとする。これらの玩具の車はそれぞれ、履歴データ及び環境データを保持するように構成することができ、それらのデータに基づいてコンテキストに適したアクションを実行することができる。１実施形態では、これらの車は、データを収集し、そのデータを制御デバイス構成要素に報告することができる。その後、制御デバイス構成要素は、コンテキストに適した方法で、それらの玩具の車のアクションを指示することができる。

[0037]玩具の車は、ユーザとのインタラクション全体を通じて、様々な技術を使用して家の中の様々な部屋を学習し、この履歴データを使用して、家の近似的フロアプリントを保持することができる。例えば、車は、ＧＰＳ座標を用いて家の中におけるそれぞれの位置をトラッキングすることができる。さらに、車は、環境特徴を使用して、それらがどんなタイプの部屋の中にいるかを判定することができる。例えば、玩具の車は、マイクロフォンを備えた構成にすることもでき、特定の部屋の中で水が流れる音（例えば誰かが風呂にお湯を張る音）を検出したら、その特定の部屋が浴室であると判定することもできる。別の例では、玩具の車は、１つ又は複数のカメラを備えた構成にすることもでき、特定の部屋を撮影した画像にベッドが写っていると判定したら、その部屋が寝室であると判定することもできる。さらに別の例では、インタラクティブ型オブジェクトは、ユーザとのインタラクションに基づいて特定の部屋のタイプを決定することもできる。例えば、玩具の車は、書斎に入っていく子供の後についていって、「わあ、この部屋は何の部屋だい？」と子供に尋ねることもできる。そこで子供が「ここはお父さんが本を読む部屋だよ」と答えたら、玩具の車は、後のユーザとのインタラクションに使用するためにこのデータを格納しておくことができる。

[0038]その後、車は、コンテキストに適したアクションを実行する際に、この環境マップデータを使用することができる。例えば、子供が２台の玩具の車で遊んでいるときに母親が子供部屋に入ってきて、「ビリー、もう夕飯の時間よ。メーター、マックイーン、ご飯の前にビリーに手を洗わせてちょうだい！」と言ったと仮定する。母親の命令を検出すると、玩具の車（及び／又は制御デバイス）は、（例えばＧＰＳデータ及び以前のインタラクションから決定した履歴マップデータを用いて）家の中におけるそれらの現在位置を決定することができる。例えば、玩具の車は、それらが現在ビリーの寝室に位置していると決定し、家の中におけるそれらのそれまでの位置を記述する保持している履歴位置データにアクセスして、最も近い洗面所を特定することができる。次いで、マックイーン（車）が、（例えばその玩具の車についている１つ又は複数のスピーカとテキスト音声合成器とを用いて）映画カーズ（登録商標）のマックイーン（キャラクタ）と一致した音声で、「こっちだ、ビリー、行こう！」と言い、洗面所に向かって走り出すことができる。メーター（車）は、「おい、ゆっくり行けよ、マックイーン、廊下を走るな！」と言い、ビリーと並んで走って洗面所まで行くことができる。洗面所で、ビリーが手を洗っている間、メーターはこの前洗車してもらったときの話をすることもできる。

[0039]２台の車は、（例えばマイクロフォンを用いて水が流れる音が止んだときにそのことを検出するなどして）ビリーが手洗いを済ませたと判定すると、再度マップデータを使用して、ダイニングルームまでの経路を決定することができる。このときも、メーターが廊下を走るなと抗議するのをよそに、マックイーン（車）は、ダイニングルームに向かって競争をすることができる。これらの玩具の車は、ダイニングルームまでの経路について、互いにさらにインタラクションすることもできる。例えば、ダイニングルームまで急いで行くときに、マックイーン（車）が廊下の壁に「激突」することもできる。その場合には、マックイーン（車）は、「おお、痛え！」と言い、廊下を走ることがどれほど危険であるかメーター（車）に説教されるようにすることもできる。これらのインタラクションは、車とビリーがダイニングルームに到着するまで続けることができる。

[0040]１実施形態では、インタラクティブ型オブジェクトは、非インタラクティブ型オブジェクトとインタラクションするように構成することもできる。このような非インタラクティブ型オブジェクトは、完全に受動的なオブジェクト（例えばベッド）であってもよいし、データ収集オブジェクトであってもよい。例えば、メーター（玩具の車）は、ビリーが自分のベッドの上で横になったときに（例えば玩具の車内及び／又は室内に配置された１つ又は複数のカメラを用いて）そのことを検出することができる。メーター（車）は、次いでビリーに、「ヘイ、ビリー、僕がそこに登るのを手伝ってくれないか？ジャンプして登るには高すぎるんだ」と言うことができる。別の例では、ビリーが、インタラクティブ型オブジェクトが使用するデータを収集するように構成されたカーズ（登録商標）の歯ブラシを購入する可能性もある。例えば、歯ブラシが、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）通信を用いて制御デバイスと通信して、利用データを報告することもできる。その後、制御デバイスは、この利用データを使用して、その子が普段いつ（例えば何時（複数可）に）歯磨きをしているか、及び歯磨きに時間をどれくらいかけているかを決定することができる。これで、制御デバイスは、このデータを使用して、インタラクティブ型オブジェクトのアクションを制御することができる。

[0041]例えば、収集した利用データに基づいて、制御デバイスが、ビリーが毎晩９時頃に歯磨きをすると決定したと仮定する。次の夜、午後８時５９分に、制御デバイスは、ビリーが現在カーズ（登録商標）のビデオゲームで遊んでいると判定し、マックイーン（玩具の車）に、「ヘイ、ビリー、ちょっとゲームは止めよう。歯磨きの時間だよ！」というように命令することができる。これにより、マックイーン（車）は、洗面所に向かって移動を開始し、後についてくるようビリーを促すことができる。

[0042]音声及び動きに加えて、インタラクティブ型オブジェクトの外観をコンテキストに応じて変化させることもできる。例えば、上記の例の続きで、制御デバイスは、ビリーが歯磨きをする時間であると判定したときに、メーターの出っ歯の外観を黄色っぽい色に変化させるようにメーター（車）に命令することもできる。例えば、メーターの出っ歯が、黄色の電球及び白色の電球を含んでいて、黄色の電球が点いて歯を黄色っぽく見せるようにすることができる。別の例では、各歯が、制御デバイスの命令に応答してぴかぴかの白い歯から黄色っぽい汚れた歯に変化するＬＣＤディスプレイを含んでいてもよい。

[0043]この例では、メーター（車）は、「ヘイ、ビリー、歯磨きが終わったら、こっちを手伝ってくれないか？」と言うことができる。特殊な車用歯ブラシオブジェクトを提供（例えば別途購入、又は玩具の車と同梱）することができ、子供が車用歯ブラシをメーターの出っ歯の上で動かすと、歯の外観が黄色っぽい色からぴかぴかの白い色に変化するようにすることができる（例えば歯の内部で黄色の電球を消灯する、黄色の電球の代わりに白色の電球を点ける、ＬＣＤディスプレイをオフにする、又はＬＣＤディスプレイが白い歯を表示する、など）。１実施形態では、メーター（車）は、メーターの歯をきれいにする前に、まずは自分の歯磨きを終えてしまうようにビリーに命令することもできる。例えば、メーター（車）（及び／又は制御デバイス）は、ビリーのデータ報告歯ブラシからデータを受信し、ビリーが歯磨きを終えたと判定することができる。１実施形態では、メーターは、ビリーが自分の歯磨きを最低時間だけは続けるようにして、その後でメーターの歯を磨くことができるようにすることもできる。

[0044]以下の説明において、第１節では、インタラクティブ型オブジェクトがどのようにストーリーテリング体験と関わることができるかを説明する。さらに、その後、後続の節で、ストーリーテリング体験の内外の特定のインタラクティブ型オブジェクトの例について説明する。本開示では、インタラクティブ型オブジェクトの特定の実施形態（すなわち魔法の鏡型のインタラクティブ型オブジェクト）、並びに仮想世界と物理的世界のインタラクションを管理する技術についても述べる。

ストーリーテリングデバイス

[0045]さらに、実施形態は、１つ又は複数のストーリーテリング装置を用いて没入型環境を創出する技術を提供するものである。さらに詳細には、実施形態では、何らかの聴覚的効果及び／又は視覚的効果をそれぞれ生成することができる様々なストーリーテリング装置を使用して、ユーザに対して没入型かつインタラクティブ型の体験を創出することができる。この目的のために、魔法の鏡型のデバイスは、ストーリーテリングデバイスのうちの１つとして、ストーリーテリング体験に参加することができる。

[0046]より一般的には、ストーリーテリング体験の１例は、図１に見ることができる。図１は、複数のストーリーテリングデバイスを含むストーリーテリング体験を示すブロック図である。システム１００は、ネットワーク１３０を介して相互接続された、複数のストーリーテリング装置１１０_１−Ｎと制御器１２０とを含む。ここで、各ストーリーテリング装置１１０_１−Ｎは、一般に、何らかの形態の刺激及びストーリーの現在のコンテキストに応じたストーリーテリング体験に寄与することができるものであれば、どのような装置であってもよい。例えば、制御装置１２０は、ストーリーの現在のコンテキストに基づいて、刺激及び応答情報を有するように各ストーリーテリング装置１１０_１−Ｎを構成することもできる。例えば、制御装置１２０は、特定のストーリーテリング装置を、特定の刺激イベント（例えばユーザが特定のアクションを実行するなど）に応答して特定の視聴覚アクションを行い、別の刺激イベント（例えばユーザが既定の時間枠内に上記特定のアクションを実行しないなど）に応答して別の視聴覚アクションを実行するように構成することもできる。

[0047]ユーザが、特定のストーリーの没入型ストーリーテリング体験を開始したいという希望を示すと、制御装置１２０は、このユーザの物理的環境（例えばそのユーザの家の中でそのユーザが現在立っている部屋など）内で利用可能な全てのストーリーテリング装置１１０_１−Ｎを検出することができる。さらに、制御装置１２０は、利用可能な全てのストーリーテリング装置１１０_１−Ｎのうちのどのストーリーテリング装置がその特定のストーリーに適合しているかを決定することができる。適合しているストーリーテリング装置１１０_１−Ｎを特定したら、制御装置１２０は、その特定したストーリーテリング装置１１０_１−Ｎを用いて、ユーザの没入型ストーリーテリング体験を開始することができる。

[0048]上述のように、制御装置１２０は、各ストーリーテリング装置１１０_１−Ｎを、検出した刺激イベント及び現在語られているストーリーの現在のコンテキストに応答して特定のアクションを実行するように構成することができる。ここで、ストーリーは、いくつかの異なるコンテキストを時間的に順序付けて含むことができ、このストーリーの再生は、最後のコンテキストに達してストーリーテリング体験が完了するまで、１つのコンテキストから次のコンテキストに進めることができる。ただし、ストーリーは直線的に進行させることもできるが、必ずしもそうなる必要があるわけではない。例えば、１実施形態では、１つ又は複数の分岐を有するストーリーが提供され、このストーリーは、複数の異なるアークのうちの１つに沿って進行することができる。例えば、これらのアークのうちの１つを、選択アルゴリズム（例えばアークのうちの１つを無作為に選択するなど）、ユーザの要求（例えばどのアークを選択するかをユーザが指定するなど）、ユーザのアクション（例えばユーザがストーリー中の架空のキャラクタのうちの１人を「救い出す」ことに成功したなど）、及びユーザのアクション履歴（例えばスターウォーズ（Ｓｔａｒ Ｗａｒｓ）（登録商標）のストーリーラインでユーザが「ダークサイド」に落ちる傾向があるかどうかなど）などに基づいて、選択することができる。さらに、ストーリーは、例えばストーリーテリング装置のうちの１つが利用不可能になる（例えば電源を喪失したり、その物理的環境から離れたりするなど）、又は新たなストーリーテリング装置がその環境に導入される（例えばユーザの友人が１つ又は複数の新たなストーリーテリング装置を持って遊びに来るなど）など、様々なアクションに基づいて、再生中に動的に修正することもできる。

[0049]例えば、ストーリーテリング装置は、魔法のランプの形状であってもよく、刺激イベントは、そのストーリーテリング装置が位置する物理的環境内のユーザのアクション（例えばユーザが魔法のランプの装置の表面を擦るなど）であってもよい。別の例では、刺激イベントは、ストーリーテリング装置のうちの別の１つによって実行されるアクションであってもよい。検出された刺激イベントに応答してこの（これらの）アクションを実行するために、魔法のランプの装置は、ランプの上方に魔神の描写を投影する（すなわちランプ内部などその物理的環境内に１つ又は複数の投影機を設ける）ように構成することもできる。例えば、この描写は、物理的世界内に存在してその物理的世界とインタラクションする現実の画像又はホログラフィの画像の出現（又は幻想）を生み出す仮想又は現実の画像投影とすることができる。さらに、この魔法のランプの装置は、音声を再生することができる１つ又は複数のオーディオ装置（例えばスピーカや空洞共振器など）を含んでいてもよい。例えば、魔法のランプの装置は、１つ又は複数のオーディオ装置を使用して魔神の投影と同期した音声を再生して、魔神の声を表現することもできる。

[0050]ストーリーテリング体験の一部として、ストーリーテリング装置１１０_１−Ｎは、様々な入出力構成要素を用いて、互いに、またユーザとインタラクションしているように見えることがある。引き続き上記の魔法のランプの装置を例にとると、この装置を、振動機構（例えば偏心重りに歯車を結合したもの）を備えるものとして構成して、魔神が魔法のランプの中に「閉じ込め」られているときに魔法のランプが揺れているように見えるようにすることができる。また、ランプがタッチセンシティブな表面を備えるようにし、この表面を用いて、ユーザがランプを擦ったときにそれを検出することもできる。例えば、このランプが、テーブルの上でがたがた揺れているように見えるようにして、魔神がユーザに向かって「ここから出してくれ！」と頼んでいることを示す音声効果を再生することもできる。この場合、ランプは、ユーザがランプの側面を手で擦った（すなわち刺激イベントが発生した）ときにそれを検出し、これに応答して、ランプの上方に魔神のホログラフィ描写を投影することができる。その後、ホログラフィ投影された魔神が、自分をランプから解放してくれたことに対してユーザに礼を言い（すなわち刺激イベントの発生に応答したアクションが実行され）、ストーリーを続けることができる。

[0051]ストーリーテリング体験の中で、そのストーリーの部分によっては、ストーリーを進める前にユーザによる何らかのアクションが必要になることがある。例えば、ストーリーテリング装置が、ユーザが特定のオブジェクト（例えば魔法のお守り）を発見することを必要とすることもある。このようなオブジェクトは、例えば、物理的環境内に（例えばユーザの親又は保護者によって）予め隠された物理的オブジェクトであってもよいし、或いは拡張現実装置を用いると見える仮想オブジェクトであってもよい。ストーリーテリング装置（又は制御装置）は、例えば、隠されたオブジェクトに対応し全地球測位システム（ＧＰＳ）を受信し（例えば、隠されたオブジェクト自体により決定される、隠されたオブジェクト自体から直接受信される、制御装置から受信されるなど）、そのストーリーテリング装置と関連付けられたＧＰＳ座標を決定することにより、物理的環境内の隠されたオブジェクトの現実世界の位置を決定することができる。その後、ストーリーテリング装置（又は制御装置）は、この２組のＧＰＳ座標を使用して、そのストーリーテリング装置に対する隠されたオブジェクトの位置を決定する。ストーリーテリング装置（又は制御装置）は、さらに、（例えばそのストーリーテリング装置の１つ又は複数のカメラなどを用いて取得した画像に基づくユーザと関連付けられたＧＰＳ座標を用いて）そのストーリーテリング装置に対するユーザの位置も決定し、この２つの相対位置から、ユーザに対する隠されたオブジェクトの位置を決定することができる。ユーザがオブジェクトに近づくにつれて、ストーリーテリング装置（又は制御装置）は、ユーザの位置をモニタリングし、ユーザがオブジェクトを発見する助けとなる案内を提供することができる。例えば、ストーリーテリング装置は、ユーザがオブジェクトに近づいていれば、ユーザが「ホット」になっていることをユーザに通知し、ユーザがオブジェクトから遠ざかっていれば、ユーザが「コールド」になっていることをユーザに通知するようにしてもよい。

[0052]１実施形態では、ユーザに複数の異なるアクションの間の選択権が与えられ、ユーザが選んだアクションがストーリーの結果に影響を及ぼすことがある。すなわち、ユーザがどのアクションを選ぶかによって、制御装置１２０が、そのストーリーの対応するストーリーラインアークに基づいて、ストーリーテリング装置１１０_１−Ｎの構成を変えることができる。このような例では、ストーリーのあるコンテキストから次のコンテキストに進むときに、制御装置１２０は、検出した刺激イベントに基づいて、次に進む複数のコンテキストのうちの１つを選択することができる。例えば、一旦ユーザが魔法のお守りを発見すると、魔神は、そのお守りの力を使えばそのストーリー中の敵対者の邪悪な計画を阻止することができること、或いはそのお守りを破壊すれば敵対者の企みを阻止することができることをユーザに知らせることができる。その後、ユーザが自分の選択結果を魔神に伝える（例えば口頭で伝えたのを１つ又は複数のマイクロフォンで検出する）と、制御装置１２０は、そのユーザの選択に対応する次のコンテキストにストーリーを進め、それに応じてストーリーテリング装置１１０_１−Ｎを構成して、ユーザが選んだ経路に応じて異なる残りのストーリーを最後まで再生することができるようにする。

[0053]一般に、ストーリーテリング装置１１０_１−Ｎは、ストーリーテリング体験の一部としてユーザと視覚的にインタラクションすることができる。例えば、上記の魔法のランプのストーリーテリング装置の例を用いると、ストーリーテリング装置は、（例えば装置内の１つ又は複数の照準付きカメラ、すなわち投影機の投影対象領域を写すように構成されたカメラを用いて）ユーザの位置をトラッキングして、（例えば現実世界内に現実又はホログラフィの画像が見えるようにする画像投影技術を用いて）魔法のお守りを探して部屋の中を移動しているユーザの後に魔神がついて行くように見えるように魔神の描写を投影することができる。また、ストーリーテリング装置は、ユーザの位置を使用して、投影した魔神がユーザに話しかけるときにはユーザと向かい合うようにして、ストーリーテリング体験の現実感を高める一助とすることもできる。魔神は、ユーザが隠されたお守りから離れると、怒っているように、又は苛々しているように表現し、ユーザがお守りに近づくと、ユーザを励ましているように、又は応援しているように表現することもできる。

[0054]１実施形態では、ストーリーテリング装置１１０_１−Ｎのうちの１つが、定位される音声（すなわちストーリーテリング装置から発せられたように聞こえる音声）又は定位されない音声（すなわち入力方向が分かりにくい音声）或いはその両方を生成することができる１つ又は複数のオーディオ装置を備える構成とされる。一般的には、定位される音声は、中間周波数及び高周波数を発生させるスピーカから発生させることができ、定位されない音声は、低周波数を発生させるスピーカから発生させることができる。さらに一般的には、定位される音声及び／又は定位されない音声を発生させる技術は、既知の技術であれ未知の技術であれ、どのような技術でも、本開示と調和して使用することができるものと広く企図している。

[0055]実施形態では、定位される音声と定位されない音声（例えば周波数の異なる複数の音声）を使用して、没入型ストーリーテリング環境内で特定の効果を送出することができる。例えば、魔神がランプに「閉じ込め」られているときには、ランプの装置が定位される音声を用いて魔神の声を表す音声を出して、魔神の声がランプから出ているように聞こえるようにすることができる。一方、ユーザが魔法のお守りの力を呼び起こしているときには、ランプが定位されない音声を用いてお守り用の音響効果を出して、音響効果がユーザの周囲全体から聞こえるようにすることができる。実施形態では、知覚される音源の位置を変化させることによって、さらに没入度の高い、強化されたストーリーテリング体験を創出することができるので有利である。

[0056]その後、ストーリーテリング装置は、画像認識機能及び声／音声認識機能を使用して、個別化したコンテキスト認識ストーリーテリングを実現することができる。さらに、これらの認識機能により、ユーザによるストーリーテリングシステムの設定及び保守の作業を大幅に簡略化することができる。このような設定の自動化を利用して、効果的に、複雑な複数要素からなるストーリーテリング環境を、ユーザにとって楽しく簡単なものにすることができる。例えば、画像認識技術をジオロケーションシステムと関連付けて使用して、ストーリーの内容を（居間ではなく）子供の寝室に合わせたものにするようにストーリーテリング装置に自動的に伝えるようにして、それが現在どこに位置しているか、また他のストーリーテリング装置のうちのどれが現下の環境中にあるかを、ユーザが手作業でストーリーテリング装置に入力する必要がないようにすることもできる。

[0057]さらに、上述のように、ストーリーテリング装置１１０_１−Ｎは、没入型ストーリーテリング体験を創出する際に互いにインタラクションすることができる。例えば、ストーリーテリング装置１１０_１を、特定の刺激に応答して身振りなどの動作（並びに音声表現）を実行することができる機械仕掛けの動物のぬいぐるみ（例えば猿）とすることもできる。例えば、この機械仕掛けの猿のぬいぐるみ１１０_１は、その脚を使って（場合によっては腕も使って）歩き回ることができ、またその腕、足、頭及び胴を様々に動かして、様々な身振り及び表情に見えるようにすることができるようにすることもできる。この例では、機械仕掛けの猿の装置１１０_１は、（例えば１つ又は複数のカメラを用いて）物理的環境内でのユーザの動きをトラッキングして、ユーザが魔法のお守りを探しているときにユーザの後について室内を動き回ることもできる。その際に、装置１１０_１及び／又は制御装置１２０は、装置１１０_１の位置並びに魔法のお守りの装置の位置をトラッキングすることができる。また、猿のぬいぐるみ１１０_１は、（例えば隠されたオブジェクトをユーザが探している時間がしきい値より長くなったことを検出したときに）ユーザにヒントを与えるために、刺激イベントの発生を検出したのに応答してアクションを実行するように構成することもできる。例えば、２０秒経ってもユーザが隠されたお守りを発見できない場合に、猿のぬいぐるみ１１０_１が上下に飛び跳ね始めて、隠されたお守りの方向を指し、ユーザの注意を引くノイズを出すようにすることもできる。

[0058]一般に、ストーリーテリング装置は、ストーリーの現在のコンテキストに基づいて、ある所与の刺激イベントに対して異なる反応を示すことができ、制御装置１２０は、ストーリーテリング装置１１０_１−Ｎを、ストーリーの再生中に様々な刺激イベントを認識し、それらに応じて異なるアクションを実行するように構成することができるものと広く企図している。例えば、上記の例では、猿のぬいぐるみの装置は、魔神が初めて出現したとき（すなわちストーリー内の第１のコンテキストにおける第１の刺激イベント）には魔神を恐れている反応を示すように構成することができる。しかし、そのストーリー内のそれより後の時点で魔神がユーザを助けに来たとき（すなわちストーリー内の第２のコンテキストにおける第２の刺激イベント）には、感謝の反応を示すように猿の装置を構成することができる。別の例では、魔法のランプのストーリーテリング装置（例えばストーリーテリング装置１１０_２）は、ユーザが最初にランプを擦ったときに特定の形で（例えばランプの上方に出現する魔神のホログラフィ画像を表示することによって）反応するように構成することもできるが、ストーリーの別の部分ではそれとは違う形で反応するように（又は全く反応しないように）することもできる。このようにすることにより、ストーリーテリング装置は、ストーリーの現在のコンテキストに応じて、現実感のある予想される形で反応することができるので、有利である。

[0059]制御装置１２０は、一般に、ストーリーテリング体験を管理する論理を含む。これは、例えば、様々なストーリーテリング装置１１０_１−Ｎのアクションを管理すること、及びそれらのストーリーテリング装置１１０_１−Ｎが互いに、またユーザとどのようにインタラクションするかを、ストーリーの現在のコンテキストに基づいて調整することを含むことがある。例えば、制御装置１２０は、各ストーリーテリング装置１１０_１−Ｎに、それぞれの装置がストーリーテリング体験の一部として用いるべきアクションとそれに対応する刺激とを定義するデータを伝送することができる。例えば、このようなデータは、投影する１つ又は複数のフレーム、これらのフレームを投影する場所、再生する音声、これらの音声を再生する周波数（例えば定位される音声か定位されない音声か）、及び動きのアクション（例えば歩行、身振り、振動など）を指定することができる（ただしこれらに限定されるわけではない）。このような実施形態では、各ストーリーテリング装置１１０_１−Ｎは、ストーリー全体並びにそのストーリーに含まれる全てのアクション及び刺激ではなく、それ自体の個々のアクションに関係するデータしか含むことができない。装置１１０_１−Ｎは、この場合、対応する刺激を検出したのに応答して指定されたアクションを実行することにより、没入型ストーリーテリング環境を創出することができる。

[0060]一般に、本明細書に開示の実施形態によれば、様々な異なる刺激（本明細書では刺激イベントとも呼ぶ）を使用することができる。例えば、１つの刺激は、ストーリーテリング装置１１０内の１つ又は複数のカメラを用いて検出される視覚的刺激とすることができる。例えば、ストーリーテリング装置１１０は、異なる角度で位置決めされたいくつかの異なるカメラを用いて部屋の異なる画像を取得することにより、ユーザが部屋の中を歩き回っているときにユーザの位置をモニタリングすることができる。その後、ストーリーテリング装置１１０は、決定されたユーザの位置に基づいて、コンテキストに適したコメントをユーザに対して発することができる。例えば、ストーリーテリング装置１１０が（例えば隠されたオブジェクトから受信したＧＰＳ座標とストーリーテリング装置１１０の決定されたＧＰＳ座標の比較に基づいて）その位置を知っている隠されたオブジェクトからユーザが離れるときに、ストーリーテリング装置１１０は、（例えば１つ又は複数のスピーカから音声を発することによって）その隠されたオブジェクトを探しているユーザが「コールド」になっているとコメントすることができる。

[0061]刺激の別の例は、ストーリーテリング装置１１０のうちの別の１つによって行われるアクションである。例えば、ユーザが魔法のランプの装置を擦り、魔神の投影が出現したときに、猿のぬいぐるみの装置がおびえたノイズ（例えば「きゃーっ！」など）を発して、両手で両眼を覆うようにしてもよい。上記の別のストーリーテリング装置１１０によるアクションの発生は、いくつかの方法でもたらすことができる。例えば、猿の装置は、１つ又は複数のカメラを用いて取得した複数の画像を解析することによって、魔神の投影が出現したことを検出してもよい。

[0062]別の例では、魔法のランプの装置が猿の装置に信号を伝送して、魔神投影アクションが実行されたことを示すようにしてもよい。すると、猿の装置は、受信した信号に基づいて、魔神の出現に反応することができる。上述のように、検出した刺激イベントに応答して実行されるアクションは、現在語られているストーリーの現在のコンテキストによって決まるようにすることができる。すなわち、魔神が最初に出現したとき（すなわちストーリー内の第１のコンテキスト）には猿の装置がおびえた反応を示すようにするが、同じストーリーのそれより後の時点でストーリーの敵対者に対抗してユーザを助けに来たとき（すなわちストーリー内の第２のコンテキスト）には安心した反応を示すようにすることができる。

[0063]特定の実施形態では、その他のストーリーテリング装置に直接信号を伝送するのではなく、魔法のランプの装置が制御装置１２０に信号を伝送し、制御装置１２０が、イベントの発生を認識させる必要があるその他のストーリーテリング装置１１０があればそれがどのストーリーテリング装置１１０であるかを決定することができる。すなわち、各ストーリーテリング装置がそれ以外のストーリーテリング装置と直接通信するピアツーピアモデルではなく、各ストーリーテリング装置が制御装置１２０と通信する集中モデルを利用することもできる。例えば、制御装置は、（所与のストーリーのコンテキストの中で）特定の刺激イベントに対してどのストーリーテリング装置１１０が反応することができるかを指定するデータを保持することができる。特定のアクションが実行されたことを示す信号を受信すると、制御装置１２０は、このデータを使用して、どの１つ又は複数の装置がこのイベントに反応すべきかを決定し、その１つ又は複数の装置に対してこのイベントの発生を通知することができる。１実施形態では、制御装置１２０は、このイベントに反応することができる装置のサブセットを選択し、それらの選択した装置のみにイベントの発生を通知することもできる。例えば、制御装置１２０は、物理的環境（例えばユーザの部屋など）内に存在する６個の異なるストーリーテリング装置１１０が魔神の出現に反応することができると決定した場合には、これらの装置のサブセットが魔神の出現に反応するものとして決定することができる。このサブセットは、例えば、各装置１１０の刺激に対する応答アクションに関連付けられた優先順位値に基づいて選択することができる。１実施形態では、刺激に反応する装置１１０は、ランダムに（又は疑似ランダムに）選択される。

[0064]また、制御装置１２０は、イベントに反応することができる利用可能な装置１１０ごとに、その装置１１０がイベントに反応する際に、その応答アクションの全てを実行すべきかどうかを決定することもできる。すなわち、制御装置１２０は、特定の利用可能な装置１１０は、検出した刺激に応答して、その応答アクションの一部のみを実行するように指定することもできる。例えば、魔神の出現に反応することができるストーリーテリング装置１１０が物理的環境内に６個存在していて、その６個の装置１１０全てが魔神の出現に対する聴覚的反応と物理的反応の両方を有していると制御装置１２０が決定したと仮定する。この場合、制御装置１２０は、それらの装置１１０のうちの一部（例えば猿の装置のみ）を聴覚的に反応するものとして選択する一方で、６個全ての装置１１０が魔神の出現に対して物理的反応を実行するものと決定してもよい。このようにすることにより、その動作を行うことができる利用可能なストーリーテリング装置１１０の全てが刺激に対して何らかの形で確実に反応するようにする一方で、ストーリーテリング装置１１０が「一斉に音を出し」て、個々の装置の聴覚的寄与を分かりにくくすることがなくなるので、有利である。

[0065]一般に、制御装置１２０は、いくつかの異なる方法で実装することができる。１実施形態では、制御装置１２０は、ストーリーテリング装置１１０_１−Ｎのうちの１つの内部に存在する。このような実施形態の利点の１つは、ストーリーテリング体験を開始する前にユーザ側で追加的な設定を行う必要をなくすことができることである。すなわち、ユーザは、制御装置１２０を内蔵したストーリーテリング装置を購入することができ、ユーザがストーリーテリング装置を（例えば電源投入することによって）起動したときに、制御装置１２０が、そのユーザの家の中にその他にどんなストーリーテリング装置１１０_１−Ｎが存在しているかを（例えば無線通信を介して）検出して、それに応じて自動的にストーリーテリング体験を適応させることができる。それでも、ユーザが経験するのは、単に制御装置１２０を内蔵した装置の電源を入れたらストーリーが始まったということである。

[0066]特定の実施形態では、制御装置１２０は、コンピュータ装置上で実行されるソフトウェアを含む。例えば、ユーザは、実行時に制御装置１２０として機能するソフトウェアアプリケーションを、パーソナルコンピュータ装置又はタブレットコンピュータ装置にダウンロードすることができる。このような実施形態では、ユーザは、ストーリーテリング体験を開始する前にソフトウェアアプリケーションをダウンロード又はインストールする必要があることがある。ただし、パーソナルコンピュータ上のソフトウェアを制御装置１２０として使用することの利点の１つは、そのソフトウェアアプリケーションがユーザのパーソナルコンピュータの処理能力を利用することができるので、ストーリーテリング装置１１０_１−Ｎのうちの１つの別個の制御装置論理を追加する追加コストの発生を回避することができることである。

[0067]一般に、制御装置１２０は、多数の異なるストーリーに関係するデータを保持することができる。ストーリーごとに、制御装置１２０は、そのストーリーに適合するストーリーテリング装置１１０のリストを指定するデータを保持することができ、適合する装置ごとに、アクション及びそれに対応する刺激イベントのセットを保持することができる。さらに、一部のストーリーは、ユーザが行う選択及び／又はユーザが行うアクションに応じて異なる道筋でストーリーを再生することができる異なる分岐を含むこともできる。

[0068]例えば、ストーリーは、リリースされたときに制御装置１２０に提供される（例えば、制御装置１２０は、新たにリリースされたストーリーを遠隔のウェブサイトから自動的にダウンロードすることもできる）。特定の実施形態では、ユーザが特定のストーリーテリング装置を購入してコンテンツサーバに登録したときに、そのストーリーテリング装置に関連付けられたストーリーを自動的にロック解除することができる。１実施形態では、制御装置１２０は、ユーザが購入したストーリーのみをダウンロードするように構成される。例えば、ユーザは、遠隔のストーリーサーバ（例えばウェブサイトなど）のアカウントを保持することができる。ユーザが所与のストーリーを再生するために選択すると、制御装置１２０は、遠隔のウェブサイトに問合せを行い、そのウェブサイトにおけるそのユーザのアカウントに基づいて、そのユーザがその選択されたストーリーを既に購入しているかどうかを決定することができる。ユーザがそのストーリーを既に購入している場合には、制御装置１２０は、利用可能なストーリーテリング装置を用いてそのストーリーをインタラクティブに語り始めることができる。そのユーザがそのストーリーをまだ購入していない場合には、制御装置１２０は、そのストーリーを購入したいかどうかプロンプトで確認することができる。

[0069]１実施形態では、制御装置１２０は、ユーザがまだ購入していないストーリーを選択したときにユーザの代わりにそのストーリーを自動的に購入するように構成される。特定の実施形態では、ストーリーは、定期購読モデルを用いてユーザに提供される。すなわち、ユーザは、定期購読料金を定期的に（例えば毎月）支払い、新たなストーリーが遠隔のウェブサイト上で定期的にリリースされるようにすることができる。ユーザが定期購読料金を支払っている限り、制御装置１２０は、遠隔のウェブサイトから新たなストーリーを自動的にダウンロードして、ユーザが次にその１つ又は複数のストーリーテリング装置を使用しようとしたときに、それらの新たなストーリーの再生の準備ができているようにすることができる。

[0070]１実施形態では、ユーザは、自分のストーリーテリング装置のアクション、行動及び／又は対話の代替選択肢を購入することができる。一般に、ストーリーテリング体験に関連付けられた任意のコンテンツは、本明細書の機能と矛盾することなく、様々な方法で、また様々な理由で、ロックしたりロック解除したりすることができるものと企図している。例えば、コンテンツ（例えばストーリー、行動、対話など）は、そのストーリーテリング環境におけるそのユーザの以前のアクションに基づいてロック解除することができる。例えば、スターウォーズ（登録商標）をテーマにしたストーリーテリング環境では、制御装置１２０は、以前に再生されたストーリーにおけるそのユーザの過去のアクションに基づいて、ユーザが「ダークサイド」に落ちる傾向がある場合には、シスをテーマにした様々なストーリーをロック解除することができる。

[0071]さらに一般的には、ストーリーの配信には、既知のものも未知のものも含めて、任意の収益モデルを利用することができるものと企図している。例示的な収益も出るモデルとしては、ペイパーユースモデル（例えばユーザがストーリーを通しで再生するたびに課金されるなど）、マイクロペイメントモデル（例えば１つのストーリー内の各章を個別に購入することができたり、１つのストーリー内の特別なキャラクタをデジタル通貨を用いてロック解除することができたりするなど）、仮想アイテム購入（例えばストーリーの再生に影響を及ぼす特別なアイテムを、現実の通貨とリンクした純粋に仮想上の通貨及び／又はデジタル通貨を用いてロック解除することができるなど）、広告モデル（例えば所与のストーリーのコンテキスト内に対象製品を配置する、１つ又は複数のストーリーテリング装置による視覚的再生及び／又は聴覚的再生を用いて広告を表現するなど）、バイラルマーケティングモデル（例えば広告機会及び／又は購入機会を互いに伝達し合っているユーザに対して、あるストーリーをロック解除するなど）などが挙げられるが、これらに限定されるわけではない。

[0072]１実施形態では、物理的なものを使用して、デジタル・コンテンツ（及び／又は仮想コンテンツ）をロック解除することができる。例えば、ストーリーテリング装置のうちの１つの特定のスロットに差し込まれるように構成されたプラスチックチップを（例えば小売店で販売されるように）用いることもできる。例えば、電子又は電気機械チップ（例えば特別な構成のスロットを有する鍵など）を、ストーリーテリング装置のうちの１つに差し込んで、コンテンツをロック解除することができる。制御装置１２０は、チップがストーリーテリング装置のうちの１つに差し込まれたときにそのことを検出することができ、さらに、（そのチップ内のメモリに指定されているデータや、そのチップの構造及び／又は形状などに基づいて）そのチップのタイプも検出することもできる。その後、制御装置１２０は、検出されたタイプに対応するコンテンツをロック解除して、ユーザが使用できるようにすることができる。例えば、このようなコンテンツとしては、そのチップを有するストーリーテリング装置が再生することができる新しいストーリーラインなどが挙げられ、制御装置１２０は、チップがストーリーテリング装置に挿入されたのに応答して、このストーリーラインを（例えば遠隔のサーバから）ダウンロードすることができる。別の例では、ロック解除されるコンテンツとしては、そのストーリーテリング装置の新たな行動及び／又は対話などが挙げられる。さらに一般的には、本明細書の機能と矛盾することなく、どのようなコンテンツでも物理的装置によってロック解除することができるものと広く企図している。

[0073]さらに、物理的オブジェクト又は物理的装置は、ストーリーテリング装置に差し込んだりして物理的に接続しなくても、コンテンツをロック解除することができる。例えば、ストーリーテリング装置は、特定のコンテンツをロック解除せよという信号（例えばＲＦ信号又はＲＦＩＤ信号）を受信することもできる。例えば、テーマパークにある特定のスターウォーズ（登録商標）をテーマとするアトラクションで信号を同報通信するようにしておき、この信号を受信したスターウォーズ（登録商標）をテーマとする任意のストーリーテリング装置を、それに応答して特定のコンテンツをロック解除するように構成しておくこともできる。例えば、この信号の受信時に、新たなストーリーラインをロック解除するようにすることもできる。別の例では、ストーリーテリング装置が、この信号を受信したのに応答して特定のアクション（例えば身振り、対話など）を実行するようにすることもできる。

[0074]さらに、ストーリーは、任意数の当事者によって提供することができるものと広く企図している。例えば、１実施形態では、１つのストーリー開発業者が、ストーリーテリングシステム用のストーリーの創出、制作及び市場へのリリースを管理する。別の実施形態では、開発業者、小売業者、ユーザ及び愛好家が、カスタムメイドのストーリーを共同で作成して、その他の様々なユーザに配布することができる市場を形成することができる。このようなカスタムメイドのストーリーは、無料で配布してもよいし、既知のものも未知のものも含めて任意の価格設定モデルを用いて配布してもよく、いずれの場合も本開示と矛盾しない。さらに、この市場を調停して、配布されるストーリーが確実にコンテンツに適したものになるようにすることができる。例えば、調停者は、個々のストーリーに評価（例えばアメリカ映画協会のフィルム評価のような評価）を割り当て、ユーザが特定のストーリーを見る前にこれらの評価をユーザに通知することができる。このような実施形態では、特定のユーザ（例えば子供など）が特定の評価を有するストーリーを見ることを制限することができる。１実施形態では、調停者は、「承認済み」のストーリーのみが市場に出るようにすることもできる。例えば、調停者は、若者に適したストーリーしか配信を承認しないことによって、市場に出回る全てのコンテンツがあらゆる年齢のユーザに適したものであるようにすることもできる。

[0075]一般的に、ストーリーテリング装置１１０及び制御装置１２０は、ステートフルな装置とすることができる。すなわち、これらの装置１１０_１−Ｎ及び１２０は、所与のストーリー内の現在の再生位置に関する状態データを保持することができ、この状態データは、ユーザがストーリーの再生を一時停止したときに保持することができる。したがって、ユーザは、特定のストーリーのインタラクティブな再生をある再生位置（例えばストーリーが始まってから２０分後など）で一時停止することができ、ユーザがこの特定のストーリーの再生を次に再開するときに、その再生を、ほぼその前までの再生位置から（例えば、ちょうどその前までの再生位置から、その前までの再生位置の少し前から、或いはその前までの再生位置の少し後から）再開することができる。

[0076]さらに、このような状態データは、発生している特定のイベント（例えばユーザとのインタラクションなど）を指定することができ、このデータを使用して、ユーザのストーリーテリング体験を向上させることもできる。例えば、仮想キャラクタ（例えば物理的世界の中で投影されたものや、拡張現実装置上に示されたものなど）を、所与の刺激イベントに反応する際に使用することができる様々な異なるフレーズを備えるように構成することができる。このような実施形態では、この仮想キャラクタに関連付けられたストーリーテリング装置１１０は、それらのフレーズのうちのどれをその仮想キャラクタが最近使用したかを指定する状態データを保持することができ、その後の刺激イベントの発生に応答する際に、これらの最近使用されたフレーズを使用することを避けることができる。このようにすることで、仮想キャラクタとユーザの間の対話が繰返しになり、マンネリ又は繰返しにならないようになるので、有利である。その他の状態データは、例えば、ユーザの名前を記憶する、部屋の状態を記憶する、１つ又は複数のストーリーテリング装置と１人又は複数のユーザとの間で発生した過去の活動及びインタラクション、及び１人又は複数のユーザに将来生じる可能性がある、又は将来生じると予測される必要及び要望を記憶するなど、顧客関係管理（ＣＲＭ）サービス及びその他の個別化機能に関係したものとすることができる。

[0077]１実施形態では、拡張現実装置を、ストーリーテリング装置１１０のうちの１つとして使用する。本明細書で使用する「拡張現実装置」という用語は、物理的な現実世界の環境又は物理的な現実世界の環境の要素の実時間表示を行いながら、その表示された環境の中の要素を改変することができる任意の装置を指す。したがって、仮想世界の表示を行う仮想現実装置とは異なり、拡張現実装置は、現実世界の表示を行うが、コンピュータグラフィックス技術を用いて要素を増補する。ただし、さらに一般的には、拡張現実装置とストーリーテリング装置１１０は、協働してハイレベルな形態の拡張現実を創出することができる。例えば、実施形態では、物理的世界の中に仮想キャラクタの画像を投影して３次元ホログラフィ画像が見えるようにすることによって、ユーザが知覚する物理的世界自体の姿を増補し、それにより、新たな形態の拡張現実をユーザに対して創出することができる。

[0078]例えば、ユーザが自分の部屋の中に隠された魔法のお守りを探す上述の例で言えば、ユーザは、拡張現実装置を用いてお守りを探すことができる。例えば、ユーザは、部屋の中を歩き回りながら拡張現実装置で部屋を見ることができ、この拡張現実装置上のソフトウェアは、ユーザの部屋の中の特定の位置を見たときに、表示される光景がその拡張現実装置を含むように構成することができる。さらに、拡張現実装置のディスプレイ上の魔法のお守りの描写は、ユーザによる操作に応答して出現するようにすることもできる。例えば、拡張現実装置は、捉えた視覚的光景（例えば拡張現実装置の１つ又は複数のカメラを用いて取得したフレームなど）の中にユーザの手が出現したことを検出することができ、その表示の中の魔法のお守りの見た目を操作して、ユーザがその仮想お守りに触れ、物理的に動かしているように見えるようにすることができる。例えば、ユーザは、仮想お守りの描写上の位置に手を伸ばしてそれを掴もうとすることができ、拡張現実装置は、その装置のディスプレイ上にユーザの手の描写を増補して、ユーザが自分の手の中にお守りを掴んでいるように見えるようにすることができる。すると、ユーザは、そのお守りを持って部屋の中を歩き回ることができる（拡張現実装置にはそのように示される）。

インタラクティブ型デバイス

[0079]特定の実施形態は、インタラクティブ型オブジェクトを用いた没入型体験を提供する。インタラクティブ型オブジェクトは、ユーザのアクション及び現実世界のリナリオに対してコンテキストに適した形で反応することができる状態ベースオブジェクトとすることができる。例えば、１実施形態は、第１のインタラクティブ型デバイス及び制御論理を含むシステムを提供する。一般に、制御論理は、第１のインタラクティブ型デバイスに通信可能に接続される任意の位置に存在することができる。例えば、制御論理は、第１のインタラクティブ型デバイス自体の内部のハードウェア上で実行してもよいし、別のインタラクティブ型デバイスの内部のハードウェア上で実行してもよいし、移動デバイスの内部のハードウェア上で実行してもよいし、遠隔システム（例えばクラウドコンピューティング環境内などの遠隔システム）の内部のハードウェア上で実行してもよいし、さらに一般的に、制御論理が第１のインタラクティブ型デバイスと通信することができる任意のハードウェア資源及び／又はソフトウェア資源上で実行してもよい。

[0080]制御論理は、ユーザと１つ又は複数のインタラクティブ型デバイスとの間の過去のインタラクションを記述する履歴データを受信することができる。これらの過去のインタラクションは、例えば第１のインタラクティブ型デバイスとユーザの間のもの、別の（１つ又は複数の）インタラクティブ型デバイスとユーザの間のもの、及びそれらを組み合わせたものとすることができる。これで、制御論理は、１つ又は複数のインタラクティブ型イベントによって第１のインタラクティブ型デバイスを構成することができる。各インタラクティブ型イベントは、（ｉ）刺激イベントと、（ｉｉ）刺激イベントの発生に応答して実行されるアクションとを含むことができ、これらの１つ又は複数のインタラクティブ型イベントのうちの少なくとも１つを、受信した履歴データに基づいて決定することができる。例えば、インタラクティブ型イベントのうちの１つの刺激イベントは、ユーザの過去の挙動パターンに基づいて決定することができる。別の例では、刺激イベントの発生に応答して実行されるアクションは、ユーザとの過去のインタラクションに基づいて決定することができる。

[0081]１つ又は複数の刺激イベントのうちの最初の１つの発生を検出すると、制御論理は、第１のインタラクティブ型デバイスに、対応するアクションを実行させることができる。さらに、制御論理は、追加のインタラクティブ型イベントで第１のインタラクティブ型デバイスを更新することもできる（例えば、刺激イベントが検出されたインタラクティブ型イベントを置換するなど）。これを行うことによって、インタラクティブ型オブジェクトは、その環境に対してコンテキストに適した形で反応することができるようになる。

[0082]一般に、本明細書で使用する「インタラクティブ型オブジェクト」は、インタラクティブ型オブジェクトがストーリーテリング体験に参加しているときには、「ストーリーテリングオブジェクト」又は「ストーリーテリングデバイス」と呼ばれることもある。このようなインタラクティブ型オブジェクトは、それらがどのような部屋（又はどのようなタイプの部屋）の中にあるか（例えば寝室、居間など）、どのユーザが近接する領域にいるか、どの他のオブジェクト（インタラクティブ型又はそれ以外）が近接する領域にいるか、及びそれらの現在の環境の特徴がどのようなものであるか（例えば照明は点いているか消えているか、音楽がかかっているかどうかなど）など、それらの現在の周囲環境に関するデータを保持することができる。インタラクティブ型オブジェクトは、また、以前のユーザ及びその他のオブジェクトとのインタラクションの特徴を示す履歴データを保持することもできる。このような履歴データは、ユーザの好み、特定のユーザとのインタラクション、その他のインタラクティブ型オブジェクトとのインタラクション、及びユーザの挙動などに関するものとすることができる。

[0083]インタラクティブ型オブジェクトは、次いで、このデータを使用して、コンテキストに適したアクションを実行することができる。図示のように、スクリーンショット２００は、メーター（玩具の車）２１０及び子供２２０を含む。以下の例では、子供２２０を「ビリー」と呼ぶこともある。以下の例では、様々なインタラクティブ型オブジェクトについて、特定の判定を行い、特定の刺激に応答して特定のアクションを起こすものとして述べることがあることに留意されたい。ただし、このような判定を行い、様々なアクションを実行する論理は、インタラクティブ型オブジェクト自体の内部に含まれていてもよいし、インタラクティブ型オブジェクトに（例えばブルートゥース（登録商標）通信を用いて）結合された制御デバイスに含まれていてもよいし、又はその組合せであってもよいものと広範に企図されている。

[0084]スクリーンショット２００が、子供２２０がまだ眠っている午前８時に発生したシーンを描写しているものと仮定する。例えば、メーター（玩具の車）２１０は、（例えば過去のインタラクション、子供の親又は保護者からの明示的命令などに基づいて）ユーザ２２０が起きる時間であると判定することができる。したがって、メーター（玩具の車）２１０は、（例えば玩具の車型のインタラクティブ型デバイス２１０内の１つ又は複数のスピーカ及びテキスト音声合成器を用いて）映画カーズ（登録商標）のメーター（キャラクタ）の声を真似た声で、「ヘイ、ビリー、起きる時間だよ！さあ、起きよう！」と言うことができる。これに応答して、ビリー２２０が、「まだだよ、メーター、もうちょっと寝かせてよ」と言ったとする。玩具の車２１０は、（例えばマイクロフォンデバイスを用いて）ビリーの返事を検出することができ、適当な反応を決定することができる。例えば、玩具の車型のインタラクティブ型デバイス２１０は、その日が土曜日であると判定した場合には、「分かったよ、ビリー、でもあまり寝たらだめだよ！今日は大事な用事があるんだから！」と言ってもよい。一方、玩具の車型のインタラクティブ型デバイス２１０は、その日が月曜日であると判定し、月曜日はビリー２２０の学校のある日であると判定した場合には、「だめだよ、起きて支度をしなくちゃ！」と言うこともできる。

[0085]車２１０は、次いで、車内又は室内に位置決めされた１つ又は複数のカメラを用いて、ユーザ２２０がベッドから出始めたと判定することができる。これに応答して、メーター（玩具の車型のインタラクティブ型デバイス）２１０は、「ヘイ、ビリー、僕を下に降ろしてくれよ、さあ行こう！歯磨きの時間だよ！」と言うことができる。車２１０は、次いで、ビリー２２０が車２１０を床に置いたときに（例えば１つ又は複数のカメラを用いて、或いは車内の加速度計からのデータを所定のシグナチャ（ｓｉｇｎａｔｕｒｅ）にマッピングすることなどによって）そのことを検出することができ、次いで、洗面所までの経路を決定することができる。例えば、上述のように、玩具の車２１０（及び／又は制御デバイス）は、家の様々な部屋を記述したマップデータを保持することができる。車２１０は、（例えば１つ又は複数のカメラを用いて検出したその環境の外観、或いはその現在のＧＰＳ座標などに基づいて）家の中におけるその現在位置を決定することができ、ユーザ２２０が歯磨きをする洗面所までの経路を履歴データを用いて決定することができる。

[0086]車２１０は、経路を決定したら、「さあ行こう、ビリー、歯は勝手にきれいにはなってくれないんだから！」と言いながら、洗面所に向かって走り出すことができる。この様子を、図３に示す。図３は、本明細書に記載する１実施形態による、ユーザとインタラクションしている玩具の車型のインタラクティブ型デバイスを示すスクリーンショットである。スクリーンショット３００では、メーター（車）３１０は、洗面所に向かって廊下を走っているものとして示してあり、ユーザ３２０は、そのすぐ後に続いている。ここで、玩具の車型のインタラクティブ型デバイス３１０は、（例えば１つ又は複数のカメラデバイスを用いる、或いはユーザが着用している物品から受信した信号を用いるなどして）ユーザ３２０の位置をモニタリングすることができ、ユーザ３２０に対して一定の距離を維持するように玩具の車３１０の動きを調節することができる。例えば、玩具の車３１０は、洗面所に向かって移動する際に、ユーザ３２０の前方３インチから５インチの距離を保つように構成することもできる。（例えば家の中の誰かと話をするために）ユーザ３２０が途中で停止した場合には、玩具の車３１０は、これを検出することができ、（例えば完全に動きを停止する、或いは同じ場所でぐるぐる回るなどして）ユーザに対する位置を維持することができる。

[0087]ユーザのアクションに反応するだけでなく、インタラクティブ型デバイスは、別のインタラクティブ型デバイスに対して反応するように構成することもできる。このインタラクティブ型デバイスの位置例を、図４に示す。図４は、本明細書に記載する１実施形態による、ユーザとインタラクションしている妖精型のインタラクティブ型デバイスを示すスクリーンショットを示す図である。図示のように、スクリーンショット４００は、ユーザ４１０（本明細書では「スージー」とも呼ぶ）と、投影された玩具のフェアリ４２０と、オルゴール型のインタラクティブ型デバイス４３０と、鍵型のインタラクティブ型デバイス４４０とを示している。この例では、スージー４１０が、オルゴール型のデバイス４３０の追加の機能をロック解除するために、鍵型のデバイス４４０をオルゴール型のデバイス４３０に差し込んでいるものと仮定する。ここで、オルゴール型のデバイス４３０は、ユーザ４１０が鍵型のデバイス４４０をオルゴール型のデバイス４３０に差し込んだこと（すなわち特定の刺激イベントの発生）を検出すると、鍵４４０を使用することによってロック解除された新たな曲の演奏を開始することができる（すなわち、特定の刺激イベントの発生に応答して対応するアクションが実行される）。

[0088]さらに、１回の刺激イベントの発生に応答して、１つ又は複数のインタラクティブ型デバイスが複数のアクションを実行することもできるものと企図されている。例えば、スクリーンショット４００に示すように、新たな曲を演奏することに加えて、プロジェクタオブジェクト（例えば室内に位置決めされたオルゴール１３３０内など）が、ユーザ４１０の背後の壁面に森の光景の投影を開始しており、空中を舞うフェアリ４２０の画像と、その後ろに流れるピクシーダストを投影している。さらに、フェアリ画像４２０は、ユーザ４１０の動きを追跡するように投影することもできる。例えば、フェアリ画像４２０が、（例えば室内に位置決めされた１つ又は複数のスピーカを用いて）「スージー、そろそろ新しいダンスを考えましょう！」と言うこともできる。次いで、プロジェクタオブジェクトは、（例えば１つ又は複数のカメラを用いて）スージーの動きを追跡することができ、フェアリ画像４２０がユーザ４１０の動きを真似するようにフェアリ画像４２０を投影することができる。したがって、ユーザ４１０が自分の新しいダンスを発明すると、投影されたフェアリ４２０が同じダンスのステップ及び動きを模倣して、後に続く。このようにすることによって、インタラクティブ型デバイスが実時間で且つコンテキストに適した形でユーザに応答することができる、没入型遊び環境を提供する。

[0089]ユーザ及び／又は別の物理的インタラクティブ型デバイスを伴う刺激イベントに反応するだけでなく、インタラクティブ型デバイスは、仮想世界又は拡張現実空間内で発生した刺激イベントに対して応答することもできる。さらに、インタラクティブ型デバイスは、仮想世界又は拡張現実空間内でのアクションを使用することによって刺激イベントの発生に対して応答するように構成することもできる。例えば、いくつかの実施形態は、特定のタスクを実行するための特定の仮想オブジェクト又は拡張現実オブジェクトをユーザに与えるように構成することもできる。この一例を、図５に示す。ここでは、スクリーンショット５００は、玩具のフェアリ型のインタラクティブ型デバイス５１０と、ユーザ５０５と、ディスプレイスクリーン５１５とを示している。特定の刺激イベントの発生を検出したのに応答して、玩具のフェアリ５１０は、１つ又は複数のスピーカデバイスを用いて、「スージー、ご褒美の鍵を開ける時間よ！「フェアリフレーム」の上で私を振って、賞品を見つけて！」と言うことができる。子供５０５は、玩具のフェアリ型のデバイス５１０をディスプレイスクリーン５１５（すなわち、この例では「フェアリフレーム」）の上に持っていき、（例えば玩具５１０内の加速度計から受信したデータに基づいて）（ディスプレイデバイス５１５の上でユーザ５０５が玩具５１０を振るのを検出すると、ディスプレイ５１５が、玩具のフェアリ５１０から舞い落ちるピクシーダストを描写するフレームを描画することができる。例えば、玩具のフェアリ５１０は、子供５０５が玩具５１０を振っているのを検出することができる加速度計デバイスを含むことができ、玩具のフェアリ５１０は、この加速度計情報を、例えば制御デバイスに、又は直接ディスプレイスクリーン５１５に中継することができる。

[0090]子供５０５がディスプレイスクリーン５１５の上で玩具のフェアリ５１０を振っている（すなわち、特定の刺激イベントの発生）と判定したら、ディスプレイスクリーン５１５は、玩具のフェアリ５１０から舞い落ちるピクシーダストを描写するフレームを描画することができる（すなわち、刺激イベントに対応したアクション）。十分な量のピクシーダストが描画されたら、ディスプレイスクリーン５１５は、仮想鍵５２０を描写するフレームを描画することができる。玩具のフェアリ５１０は、次いで、「おめでとう、スージー！この鍵は、いつか役に立つわ！」と言うことができる。この例では、ディスプレイスクリーン５１０は、制御デバイスと通信して、仮想鍵５２０が表示されていることを制御デバイスに通知することができる。制御デバイスは次いで、玩具のフェアリ５１０と通信して、仮想鍵５２０が表示されたのに応答して行うべき１つ又は複数のアクションについて、玩具のフェアリ３１０に命令することができる。

[0091]仮想鍵５２０を表示するだけでなく、表示デバイス５２０は、ユーザが様々な方法で仮想鍵５２０とインタラクションできるようにすることができる。例えば、ユーザ５０５は、表示デバイス５２０のタッチスクリーン表面を用いて仮想鍵を操作することができる。１実施形態では、ユーザ５０５は、拡張現実空間内で鍵５２０を操作することができる。例えば、ユーザ５０５は、ディスプレイ５１０の裏に手を伸ばして、鍵５２０を掴むことができ、表示デバイス５１０は、ユーザ５０５の手が拡張現実空間内の仮想鍵５２０に接触したことを検出したら、ユーザが触れたのに応答して動く仮想鍵５２０を描写する１つ又は複数のフレームを描画することができる。

[0092]１実施形態では、仮想鍵５２０は、ユーザ５０５が装着する拡張現実眼鏡を用いて表示することができる。ユーザは、これで、物理的環境内で仮想鍵５２０を操作することができる。例えば、ユーザは、仮想鍵が表示されている物理的環境内の位置を把握することができ、次いで、拡張現実眼鏡が、仮想鍵を保持するユーザの手を描写する一連のフレームを描画することができる。ユーザは、これで、仮想鍵を操作して、例えば物理的インタラクティブ型デバイスの鍵穴に仮想鍵を差し込むことなどができる。

[0093]この一例を、図６に示す。図６は、本明細書に記載する１実施形態による、仮想鍵とインタラクションするオルゴール型のインタラクティブ型デバイスを示すスクリーンショットである。図示のように、スクリーンショット６００は、オルゴール型のインタラクティブ型デバイス６１０と、そのデバイス６１０の鍵穴に差し込まれた仮想鍵６２０とを描写している。例えば、スクリーンショット６００は、例えば１対の拡張現実眼鏡などの拡張現実デバイスが描画する一連のフレームのうちの１つのフレームを表すことができる。１実施形態では、仮想鍵６２０のオルゴール６１０への挿入が、刺激イベントの発生を表すことができ、オルゴール６１０（及び／又は別のインタラクティブ型デバイス）は、それに応答して対応する１つ又は複数のアクションを実行するように構成することができる。例えば、仮想鍵６２０が差し込まれたことを検出すると、オルゴール６１０内の論理が、オルゴール型デバイス６１０内の１つ又は複数の電球を点灯することもでき、オルゴール６１０内の１つ又は複数のスピーカデバイスに特定の曲を演奏させることもできる。さらに、この論理は、オルゴール型デバイス６１０内のモータを係合させて、デバイス６１０の小立像部分を回転させることもできる。このようにすることによって、インタラクティブ型デバイスは、物理的刺激イベントに反応するだけでなく、仮想イベント及び拡張現実イベントにも反応することができる。

[0094]物理的オブジェクトと仮想オブジェクトの間のインタラクションを描写するだけでなく、このような拡張現実技術を使用して、物理的オブジェクト又はユーザの外観を改変することもできる。この一例を、図７に示す。図７は、本明細書に記載する１実施形態による、ユーザとインタラクションする玩具の車型のインタラクティブ型デバイスを示すスクリーンショットである。図示のように、スクリーンショット７００は、ユーザ７１０と、メーター（玩具の車型のインタラクティブ型デバイス）７２０と、表示デバイス７３０とを示している。表示デバイス７３０は、ユーザ７１０の拡張描写を含む描画フレームと、玩具の車型デバイス７２０の拡張描写７５０とを表示するものとして示してある。例えば、ユーザ７１０及び玩具の車型デバイス７２０の１つ又は複数の画像を、物理的環境内の１つ又は複数のカメラを用いて取り込むことができ、拡張現実構成要素が、それらの画像の改変形態を描写する１つ又は複数のフレーム（例えばスクリーンショット７００の表示デバイス７３０に示すフレームなど）を描画することもできる。

[0095]さらに、上述のように、いくつかの実施形態は、没入型遊び体験を特に各ユーザに合わせて調整することもできる。例えば、体験は、ユーザがインタラクションしているインタラクティブ型玩具のタイプ（例えばメーター（車）か妖精型の玩具か）、ユーザと玩具の間のインタラクション（例えばメーター（車）がビリーにディスコダンスを踊ろうと言う）、並びにユーザの好み（例えばユーザの好きな音楽又はダンスの種類）などに基づいて調整することができる。例えば、メーター（車）７２０は、ビリー７１０がディスコダンスに親しんでいること、及び／又は興味があることを示す履歴データに基づいて、ビリー７１０にディスコダンスを踊ろうと頼むことができるが、妖精型の玩具は、スージー（すなわち別のユーザ）に関する履歴データに基づいて、別の種類のダンスを踊ろうとスージーに頼むことができる。例えば、数週間前に、妖精型の玩具が、大きくなったら何になりたいかとスージーに尋ね、スージーが「バレリーナ！」と答えたと仮定する。その後、拡張現実デバイスの前で踊るようにスージーに頼む（すなわち刺激イベントの発生に応答して行われるアクション）ときに、妖精型の玩具のインタラクティブ型デバイスは、この以前に取得したユーザの好み情報に基づいて、バレエを踊るようにスージーに提案することができる。

[0096]さらに、インタラクティブ型デバイスは、時間的な刺激イベントに対して反応するように構成することもできる。例えば、特定のインタラクティブ型デバイスを、特定の時刻であることを検出したのに応答して特定のアクションを実行するように構成することができる。例えば、いくつかの実施形態では、現在時刻が午後９時５９分であり、ビリーの過去の挙動を記述する履歴データに基づいてビリーが普段午後１０時頃に就寝していると判定することもできる。したがって、そろそろ午後１０時になることを検出したのに応答して、インタラクティブ型デバイスは、寝る前のお話を聞きたいかどうかユーザに尋ねることもできる。ビリーが寝る前のお話を聞きたいという意思を示したと判定したら、インタラクティブ型デバイスは、室内の３６０度プロジェクタオブジェクトにアクセスして、キャンプファイヤと夜の光景をビリーの部屋の壁面に投影することができる。このような光景の一例を、図８に示す。ここで、スクリーンショット８００は、メーター（キャラクタ）８１０がキャンプファイヤの前に座っている様子を示すフレームを投影するプロジェクタユニット８２０を描写している。投影されたメーター（キャラクタ）は、次いで、自分の有名なおおぼら話の１つをビリーに語り始めることができる。１実施形態では、メーターの投影は、メーター（インタラクティブ型デバイス）のユーザとの以前の活動の特徴を示す履歴データに基づいて、話を調整することもできる。例えば、その日のラジエータスプリングスでビリーがメーター（玩具）とレースをしたと判定したら、メーターの投影（例えば制御デバイスによって制御される）は、自分が命知らずだった頃にはラジエータスプリングスのマイル渓谷をどのように飛び越えたかというおおぼら話を語ることもできる。

[0097]図９は、本明細書に記載する１実施形態による、制御装置の一例を示す図である。図示のように、制御装置９００は、プロセッサ９１０、記憶装置９１５、メモリ９２０、及びネットワークインタフェース９４０を含む。一般に、プロセッサ９１０は、メモリ９２０に記憶されたプログラム命令を取り出して実行する。プロセッサ９１０は、単一のＣＰＵ、複数のＣＰＵ、複数の処理コアを有する単一のＣＰＵ、複数の実行パスを有するＧＰＵなどを代表するものとして示してある。メモリ９２０は、一般に、ランダムアクセスメモリを代表するものとして示してある。ネットワークインタフェース９４０は、制御装置９００がデータ通信ネットワーク（例えば有線イーサネット（登録商標）接続又は８０２．１１無線ネットワーク）に接続することを可能にする。さらに、図示の実施形態では、特定の制御デバイス９００の構成要素を示しているが、インタラクティブ型オブジェクトによって様々に異なるハードウェアアーキテクチャを用いることができることは、当業者なら理解するであろう。さらに、実施形態は、本明細書に記載する機能を実行することができるものであればどのような装置又はコンピュータシステムを用いても実施することができるものと明示的に企図している。

[0098]メモリ９２０は、必要なプログラム及びデータ構造を保持するのに十分な大きさの任意のメモリを代表するものである。メモリ９２０は、ランダムアクセスメモリ、不揮発性メモリ又はバックアップメモリ（例えばプログラマブル又はフラッシュメモリ、読取り専用メモリなど）など、１つのメモリ装置であっても複数のメモリ装置の組合せであってもよい。さらに、メモリ９２０及び記憶装置９１５は、例えば制御装置９００に通信可能に結合された別のコンピュータ上など、物理的に他の場所に位置するメモリも含むものと考えることができる。例えば、メモリ９２０は、制御デバイス構成要素９２５、ユーザデータ９３０及びオペレーティングシステム９３５を含む。オペレーティングシステム９３５は、一般に、制御装置９００上でのアプリケーションプログラムの実行を制御する。オペレーティングシステム９３５の例としては、ユニックス、マイクロソフトウィンドウズ（登録商標）オペレーティングシステムのあるバージョン、リナックス（登録商標）オペレーティングシステムのあるディストリビューションなどが挙げられる。オペレーティングシステム９３５の他の例としては、ニンテンドーＤＳ（登録商標）及びソニーＰＳＰ（登録商標）などのシステム用のカスタムオペレーティングシステムなど、ゲームコンソール用のカスタムオペレーティングシステムが挙げられる。

[0099]一般に、制御デバイス構成要素９２５は、検出した刺激に応答して特定のアクションを実行するようにインタラクティブ型オブジェクト（例えば、ストーリーテリング体験のコンテキストではストーリーテリングデバイス１１０）を構成する。これらの特定のアクションは、ユーザデータ９３０（例えばユーザと様々なインタラクティブ型オブジェクトの間の過去のインタラクションデータ、ユーザの好みデータなど）、及び１つ又は複数の環境要因（例えばその家の中でそのオブジェクトが現在存在している部屋、時刻、曜日など）に基づくものとすることができる。例えば、１実施形態では、制御デバイス構成要素９２５は、特定のイベントを認識してそれに対応する１つ又は複数のアクションを実行する論理を各デバイスに伝送する。このような実施形態では、これらのデバイスは、これらのデバイス上の入出力デバイス（例えばカメラ、マイクロフォン、無線トランシーバ、赤外線センサなど）を使用して、特定のイベントが発生したときにそのことを検出することができる。例えば、あるデバイスは、カメラを使用して、特定の投影が出現したときにそのことを検出することができ、その後、オブジェクトの現在のコンテキストに基づいて、それに応じて対応するアクションを実行することができる。別の例では、装置は、（例えばＢｌｕｅｔｏｏｔｈ通信を用いて）別の装置から特定のアクションが行われたことを示す無線信号を受信することができる。その後、装置は、その信号の受信に応答して対応するアクションを実行することができる。このような実施形態の利点の１つは、装置に反応論理が既に存在しているので、装置が所与の刺激に対して比較的素早く反応することができることである。

[00100]特定の実施形態では、制御装置構成要素９２５は、装置のアクションを直接制御するように構成される。例えば、制御デバイス構成要素９２５は、これらのデバイスのうちの第１のデバイスにメッセージを伝送して、ストーリー又は特定の対話を開始する特定のアクションを実行するようにそのデバイスに命令することができる。次いで、装置は、指定されたアクションを実行することができる。１実施形態では、装置は、アクションがうまく実行された後で、制御装置構成要素９２５に確認メッセージを伝送することができる。特定の実施形態では、制御装置構成要素９２５は、制御装置構成要素９２５がメッセージを伝送してから何らかの所定の期間が経過した後に、装置がそのアクションを実行したものと自動的に仮定することもできる。

[00101]いずれにしても、制御装置構成要素９２５は、アクションが実行されたと決定（又は仮定）したら、特定のストーリーに従ってその実行されたアクションに反応することができる１つ又は複数の他の装置を識別することができる。上述のように、状況によっては、制御装置構成要素９２５は、その実行されたアクションに反応することができる装置の中の、その実行されたアクションに対して反応すべき一部の装置を決定することができる。例えば、制御装置構成要素９２５は、６個の異なる装置が実行されたアクションに対して物理的かつ聴覚的に反応することができると決定することがある。その場合、制御装置構成要素９２５は、その６個の装置のうち、その特定の刺激イベント（すなわち実行されたアクション）に対して反応すべき一部の装置を選択することができる。また、制御装置構成要素９２５は、各装置がどのように反応するかも決定することができる。例えば、制御装置構成要素９２５は、６個全ての装置が刺激イベントに対して物理的に反応するが、刺激イベントに対して聴覚的に反応するのは６個の装置のうちの２つだけであると決定することができる。このようにすることにより、装置が「互いに一斉に音を出」すのを防止する助けとなり、ユーザが装置の聴覚的反応を確実に明確に聞き取って理解できるようになる。

[00102]一般に、装置及び制御装置９００は、本開示と矛盾することなく、任意の数の異なる方法で実装することができる。ハードウェアに関しては、実施形態は、異なるインタラクション型オブジェクト間のハードウェアの再利用性を最大限に高めるモジュール設計を利用することができる。このような設計では、例えば、共通のプロセッサ、メモリ及びバスが複数のセンサ、ディスプレイ、エフェクタ及びその他の通信手段を介してデータを送受信できるようにするハードウェアアダプタを含むことができる。さらに、システム非依存性及び／又はオペレーティングシステム非依存性のサイト（例えばポータル）を使用して、全てのユーザの互換性が最大になるようにすることもできる。

[00103]インタラクティブ型オブジェクトの一例を、図１０に示す。図１０は、本明細書に記載する１実施形態による、インタラクティブ型オブジェクト構成要素で構成されたインタラクティブ型オブジェクトを示すブロック図である。この例では、インタラクティブ型オブジェクト１０００は、プロセッサ１０１０、記憶デバイス１０１５、メモリ１０２０、入出力デバイス１０３５、ネットワークインタフェース１０４０、カメラデバイス１０４５、表示デバイス１０５０及び加速度計デバイス１０５５を含む（ただしこれらに限定されるわけではない）。一般に、プロセッサ１０１０は、メモリ１０２０に記憶されたプログラム命令を取り出して実行する。プロセッサ１０１０は、単一のＣＰＵ、複数のＣＰＵ、複数の処理コアを有する単一のＣＰＵ、複数の実行パスを有するＧＰＵなどを代表するものとして含まれている。メモリ１０２０は、一般に、ランダムアクセスメモリを代表するものとして含まれている。ネットワークインタフェース１０４０は、インタラクティブ型オブジェクト１０００がデータ通信ネットワーク（例えば有線イーサネット接続又は８０２．１１無線ネットワーク）に接続することを可能にする。さらに、図示の実施形態ではある特定のインタラクティブ型オブジェクトの構成要素を示しているが、インタラクティブ型オブジェクトによって様々に異なるハードウェアアーキテクチャを用いることができることは、当業者なら理解するであろう。さらに、実施形態は、本明細書に記載する機能を実行することができるものであればどのようなデバイス又はコンピュータシステムを用いても実施することができるものと明示的に企図している。

[00104]メモリ１０２０は、必要なプログラム及びデータ構造を保持するのに十分な大きさの任意のメモリを代表するものである。メモリ１０２０は、ランダムアクセスメモリ、不揮発性メモリ又はバックアップメモリ（例えばプログラマブル又はフラッシュメモリ、読取り専用メモリなど）など、１つのメモリデバイスであっても複数のメモリデバイスの組合せであってもよい。さらに、メモリ１０２０及び記憶デバイス１０１５は、例えばインタラクティブ型オブジェクト１０００に通信可能に結合された別のコンピュータ上など、物理的に他の場所に位置するメモリも含むものと考えることができる。例えば、メモリ１０２０は、インタラクティブ型オブジェクト構成要素１０２５及びオペレーティングシステム１０３０を含む。オペレーティングシステム１０３０は、一般に、インタラクティブ型オブジェクト１０００上でのアプリケーションプログラムの実行を制御する。オペレーティングシステム１０３０の例としては、ユニックス、マイクロソフトウィンドウズ（登録商標）オペレーティングシステムのあるバージョン、リナックス（登録商標）オペレーティングシステムのあるディストリビューションなどが挙げられる。オペレーティングシステム１０３０の他の例としては、ニンテンドーＤＳ（登録商標）及びソニーＰＳＰ（登録商標）などのシステム用のカスタムオペレーティングシステムなど、ゲームコンソール用のカスタムオペレーティングシステムが挙げられる。

[00105]入出力装置１０３５は、ディスプレイ、キーボード、タッチスクリーンなど、幅広い範囲の様々な入出力装置を代表するものである。例えば、入出力装置１０３５は、ユーザインタフェースを与えるために使用される表示装置を含むことができる。例えば、ディスプレイは、ユーザが様々なアプリケーションを選択し、またアプリケーション内のオプションを選択する（例えばこれから見るデジタルメディアコンテンツのインスタンスを選択する）ことができるようにする、タッチセンシティブな表面を備えることができる。さらに、入出力装置１０３５は、１組のボタン、スイッチ又はその他のデバイス１０００を制御するための物理的装置機構を含むことができる。さらに、入出力装置１０３５は、インタラクション型オブジェクト１０００が物理的アクション（例えば振動する、部屋の中を歩き回る、身振りをする、顔の表情をつくるなど）を行うことができるようにする機械化構成要素又はその他の構成要素を含むこともできる。

[00106]インタラクティブ型オブジェクト構成要素１０２５は、様々な刺激イベントを認識し、１つ又は複数のアクションをそれらの様々な刺激イベントのそれぞれと関連付けるように構成することができる。刺激イベントのうちの１つが発生したことを検出すると、インタラクティブ型オブジェクト１０２５は、それに対応する１つ又は複数のアクションを実行することができる。インタラクティブ型オブジェクト１０００は、ユーザが歯磨きをする時間であることを検出すると（例えば１つ又は複数のスピーカ入出力デバイス１０３５及びテキスト音声合成器を用いて）ユーザに歯磨きをするように注意することができる、インタラクティブ型オブジェクト１０２５を備える構成にすることができるメーター（玩具の車）とすることができる。さらに、インタラクティブ型オブジェクト構成要素１０２５は、ユーザとの過去のインタラクション、ユーザとその他のインタラクティブ型オブジェクトの間の過去のインタラクション、ユーザの好みデータ、及び近接した領域内のその他のインタラクションオブジェクトなど様々な要因に基づいて、どのアクションを実行するかを決定することができる。このように、インタラクティブ型オブジェクト構成要素１０２５は、様々な要因に応じて、所与の刺激イベントに対して異なる反応をするように構成することができる。

[00107]上述のように、インタラクティブ型オブジェクト構成要素１０２５は、様々に異なる方法で、刺激イベントの発生を検出することができる。例えば、インタラクティブ型オブジェクト構成要素１０２５は、カメラデバイス１０４５を使用して、投影画像が出現したときにそのことを検出する、又はユーザの動きを追跡することができる。別の例では、インタラクティブ型オブジェクト構成要素１０２５は、加速度計１０５５を使用して、ユーザがインタラクティブ型オブジェクト１０００を手で擦ったとき（例えばデバイスが魔法の鏡である場合など）、又はユーザがデバイスを床に置いたときに、そのことを検出することができる。さらに、インタラクティブ型オブジェクト構成要素１０２５は、ユーザがデバイスにいつどのように触れたかを検出することができる接触感応型デバイス（例えば容量感知型又は導電率感知型触覚表面など）など、その他の入出力デバイス１０３５を使用して、このような判定を行うこともできる。さらに、制御デバイス２１２０は、（例えばワイファイ（Ｗｉ−Ｆｉ）又はブルートゥース通信を用いて）デバイス１０００にメッセージを伝送して、特定の刺激イベントが発生したことを示すこともできる。より一般的には、本明細書に記載する機能に従って、何らかの既定のイベントの発生を検出することができるどのような技術でも使用することができる。

[00108]さらに、インタラクティブ型オブジェクト１０００は、物理的世界におけるその地理学的物理学的位置を決定するための論理及び／又はハードウェアを備える構成にすることができる。このような論理及び／又はハードウェアの例としては、ＧＰＳ論理及び全地球測位システム（ＧＰＳ）伝送機、並びに（携帯電話基地局、テレビジョン放送塔、又は無線ＩＰデバイスなど、複数の無線源からの）飛行時間又は勾配或いはその両方を使用する位置決定ソフトウェアなどが挙げられる。より一般的には、本明細書に記載する機能に従って、現実世界におけるデバイスの物理的位置を決定するどのような技術（既知のものでも未知のものでもよい）でも使用することができる。

魔法の鏡型のインタラクティブ型デバイス

[00109]さらに、いくつかの実施形態は、ビデオ会議セッションのエンドポイントデバイスとして機能するように構成された魔法の鏡型の装置を提供する。本明細書で使用する「ビデオ会議」と言う用語は、音声及びビデオ（ＡＶ）データを１つ又は複数のエンドポイントデバイスで取り込み、１つ又は複数の遠隔エンドポイントデバイスに伝送して出力する、任意の実時間又は実質的に実時間のビデオストリーミングセッションを指す。魔法の鏡型のデバイスは、マジックミラー部分を有する筐体を含むことができる。マジックミラー部分は、鏡面を有する外側と、透明な内側とを含むことができる。一般に、外面が、鏡面の反射が鏡型デバイスの暗い内部より明るいためにユーザが魔法の鏡型の装置の内部の構成要素を見ることができない程度の鏡面になっている。さらに、内部の透明表面によって、装置の内側から外部により容易に光（例えば表示デバイスの光）が通過できるようにすることができる。

[00110]この装置は、筐体内に配置された表示デバイスをさらに含むことができ、表示デバイスは、マジックミラー部分を通して見える画像を提示するように構成された可視部分（例えばディスプレイスクリーン）を有する。例えば、表示デバイスは、液晶ディスプレイ（ＬＣＤ）又は発光ダイオード（ＬＥＤ）ディスプレイを含むことができる。このようにして、表示デバイスの可視部分は、能動的に画像を表示しているときにはマジックミラー部分を通してみることができるが、それ以外のときには見えないように隠しておくことができる。すなわち、筐体の内部を鏡の物理的環境より暗くすることができるので、外部鏡面の表面反射を筐体内部の構成要素より明るくすることができ、これにより、内部の構成要素を見えにくくすることができる。

[00111]この装置は、筐体の内部に配置されたスピーカデバイスを含むこともできる。このようなスピーカデバイスを使用して、ビデオ会議ストリームの音声ストリームを出力することができる。例えば、音声ストリームは、遠隔エンドポイントデバイス（例えば遠隔の魔法の鏡型デバイス）内のマイクロフォンデバイスを用いて取り込むことができ、魔法の鏡型デバイスに（例えばネットワークを介して）伝送することができる。その後、魔法の鏡の筐体内のスピーカデバイスを用いて、音声ストリームを出力することができる。同様に、魔法の鏡型のデバイスは、音声を取り込み、取り込んだ音声を音声データに変換するように構成されたマイクロフォンデバイスを含むことができる。ここで、マイクロフォンを使用して音声ストリームを取り込むことができ、この音声ストリームを遠隔エンドポイントデバイスに伝送して、ビデオ会議セッションの一部として出力することができる。

[00112]さらに、この装置は、画像を取り込み、取り込んだ画像を電子信号に変換するように構成されたカメラセンサを含むことができる。ここで、カメラセンサは、ビデオストリームを取り込む（そして例えばビデオ会議セッションの一部として遠隔エンドポイントデバイスに伝送する）ように構成されたビデオカメラデバイスを代表することができる。１実施形態では、カメラセンサは、筐体内の、おおよそユーザの目の高さの位置に位置決めされ、ビデオストリームがカメラを真っ直ぐにのぞき込むユーザを捉えるようになっている。このようにすることによって、取り込んだビデオストリーム内のユーザの描写が、ビデオストリームが表示されたときに遠隔ユーザを真っ直ぐに見ているように見えるので、取り込んだビデオストリームを遠隔エンドポイントデバイスに表示するときに魔法の鏡の効果を改善することができる。

[00113]この装置は、ネットワークデータを受信及び伝送して、例えば魔法の鏡型デバイスと遠隔エンドポイントデバイスの間のビデオ会議セッションを容易にするように構成されたネットワークアダプタをさらに含むことができる。一般に、ネットワークアダプタは、ネットワークを介してデータを伝送及び受信することができるどのようなネットワークアダプタであってもよい。このようなネットワークアダプタの例としては、有線又は無線のアダプタ（例えばＩＥＥＥ８０２．１１プロトコルに従って通信するように構成されたアダプタ、３Ｇ及び／又は４Ｇモバイル通信を送受信するように構成されたアダプタなど）が挙げられる。さらに、この装置は、遠隔エンドポイントデバイスとのビデオ会議セッション中に発信する音声及びビデオ（ＡＶ）データを符号化し、入来するＡＶデータを復号する際に使用される、エンコーダ論理及びデコーダ論理を含むことができる。本開示によれば、ＡＶデータ用のどのような既知（又は未知）の符号化及び復号技術でも使用することができるものと広範に企図されている。ＡＶデータは、ネットワークアダプタ及びそのネットワークアダプタが接続されたネットワークの能力を超えない、最高品質を有するフォーマットで符号化することができることが好ましい。

[00114]一般に、鏡型の装置は、様々に異なる形態で実装することができる。例えば、１実施形態は、表面（例えば家の壁面など）又は基部（例えば、テーブルなどの表面上に装置を直立させて保持する鏡スタンドなど）に張り付くように構成された据え付け型の実施形態を提供する。別の例では、別の実施形態は、ユーザが鏡型装置を保持することができるようにするハンドル部分を有する手持ち式の鏡型装置を提供する。一般に、このような手持ち式の実施態様は、何らかの形態の無線通信を介して通信することが好ましいことがある。ただし、より一般的には、鏡型装置は、本明細書に記載する機能に従って、どのような形態で実装することもできる。

[00115]１実施形態では、鏡型装置は、ユーザが鏡型装置に入力（例えばコマンドなど）を与えることができるようにするためのインタフェースを提供するように構成される。例えば、ユーザは、遠隔エンドポイントデバイスとのビデオ会議セッションを確立する、又は現在のビデオ会議セッションを終了すると指定することができる。１実施形態では、遠隔アプリケーション（例えば移動デバイスで実行されるもの）は、ユーザが鏡型装置を制御することができるようにするためのインタフェースを提供するように構成される。別の実施形態では、鏡型装置は、筐体内の表示デバイスを用いてインタフェースを表示するように構成される。このような実施形態では、鏡型装置は、ユーザが入力を与えることができるようにするためのタッチスクリーン表示デバイスを備えた構成にすることができる。例えば、インタフェースは、オプション「ビデオ会議セッションを開始する」とともに表示することができ、タッチスクリーンデバイスの対応する部分に触れることによってこのオプションが選択されたら、インタフェースは、既知のエンドポイントデバイスのリストと、それらのエンドポイントについての任意の対応する記述（例えば「祖母」、「スーおばさん」など）を表示することができる。ユーザがタッチスクリーンを用いてこれらのエンドポイントデバイスのうちの１つを選択すると、魔法の鏡型装置内の論理が、選択されたエンドポイントデバイスとのビデオ会議セッションを開始することができる。

[00116]特定の実施形態では、魔法の鏡型デバイスは、ユーザからの聴覚コマンドに応答するように構成することができる。例えば、ユーザは、１つ又は複数のコマンドを口頭で言ってもよく、魔法の鏡型デバイスは、マイクロフォンデバイスを用いてこの音声を取り込むことができる。次いで、鏡の内部の論理が、この取り込んだ音声を処理することができ、取り込んだ音声がいずれかの認識したコマンドと一致するかどうかを判定することができる。一致している場合には、論理は、認識したコマンドに従って既定の応答を実行することができる。例えば、ユーザは、「おばあちゃんを呼び出す」と言えばよく、論理は、この音声を処理して、「呼び出す」がビデオ会議セッションを開始するコマンドに対応し、且つ「おばあちゃん」があるエンドポイントデバイスについて定義されている既定の別名に対応すると判定することができる。これに応答して、論理は、指定されたエンドポイントデバイスとのビデオ会議セッションを開始することができる。このようにすることによって、ユーザが音声によって魔法の鏡型デバイスとインタラクションすることができるようにするインタフェースが提供されるので、有利である。

[00117]図１１は、本明細書に記載する１実施形態による、魔法の鏡型デバイスとインタラクションするユーザを示す図である。大まかに言うと、図１１は、ストーリーテリング体験においてストーリーテリングデバイスとして使用される魔法の鏡型デバイスの一例を示している。図示の実施形態では、魔法の鏡型デバイス１１１０は、鏡面１１２０を含む。この例では、魔法の鏡型オブジェクト１１１０は、鏡面１１２０の後方に位置決めされたタッチスクリーン表示デバイスを含むものと仮定する。図示のように、この図では、魔法の鏡１１１０とインタラクションするユーザ１１３０を描写している。この例では、魔法の鏡１１１０内部の表示デバイスは、冬の光景を描写している。ストーリーテリング体験の一部として、魔法の鏡１１１０は、例えば別のストーリーテリングデバイスが冬を追い払い春を呼ぶという趣旨のコメントを行ったのに応答して、この光景の表示を開始することができる。

[00118]例えば、ユーザ１１３０は、この別のストーリーテリングデバイスを、魔法の鏡型デバイス１１１０の既定の距離内に運ぶことができ、これに応答して、この別のストーリーテリングデバイスは、「手を出して、この鬱陶しい冬空を吹き払いなさい！」と言うことができる。魔法の鏡１１１０は、スージーの手が（例えば図１１００に示すように）タッチスクリーン表示デバイスを横切って動くのを検出すると、スクリーンのうちユーザの手が触れた部分に春の光景を描画することができる。ユーザ１１３０が魔法の鏡１１１０全体にわたって手を動かし終えたら、魔法の鏡１１１０のディスプレイは、全体が春の光景を描写することができる。さらに、冬の光景全体が子供の手で吹き払われたら、上記の別のストーリーテリングデバイスは、「よくやった！春になったぞ！」と宣言することができる。もちろん、図示の例は、例示のために与えたものであり、これに限定されるわけではなく、さらに一般的に言えば、魔法の鏡型デバイス１１１０は、幾通りの異なる方法でも、ストーリーテリング体験に寄与することができる。

[00119]図１２は、本明細書に記載する１実施形態による、魔法の鏡型デバイスを示す側面図である。図示のように、デバイス１２００は、フレーム１２３０、前面１２１５、及び後部１２３５で形成された筐体を含む。前面１２１５は、一般に、筐体の外部の鏡面１２２５と、筐体の内部の透明表面１２２５とを有する、マジックミラーを代表している。前面１２１５は、マジックミラーで使用するのに適した任意の材料で構成することができ、このような材料の例としては、ガラス及びプラスチック材料が挙げられるが、これらに限定されるわけではない。

[00120]一般に、フレーム１２３０は、美観目的であり、特定の鏡型デバイスの所望の見た目に基づいて構成することができる。筐体の後部１２３５は、一般に、鏡型デバイス１２００の内側の構成要素を保護する働きをする。後部１２３５は、筐体内部の構成要素を隠し、周囲光が筐体に入ることを防止するように、不透明な材料を用いて構成することができる。このようにすることにより、ユーザが後部１２３５を通して鏡の内部のハードウェア構成要素を容易に見ることができなくなるので、魔法の鏡型デバイス１２００の効果を高める助けとなる。さらに、光が筐体の内部に入るのを防止することにより、鏡面１２２０における反射が筐体の薄暗い内部より明るくなることによって、筐体の内部のハードウェア構成要素が鏡面１２２０を通して見えないように隠すことになるので、画像（例えば人の顔など）が鏡型デバイスの鏡面内に出現するようにさらに錯覚させる助けとなる。

[00121]鏡型デバイス１２００は、表示デバイス１２１０、カメラデバイス１２４０、及びマイクロフォンデバイス１２４５も含む。上述のように、１実施形態では、鏡型デバイス１２００は、ビデオ会議セッションにおけるエンドポイントとして機能するように構成される。このような実施形態では、カメラデバイス１２４０は、鏡面１２２０を覗き込んでいる１人又は複数人のユーザのビデオストリームを取り込むことができ、さらに、マイクロフォンデバイス１２４５を用いて音声ストリームを取り込むことができる。鏡１２００は、次いで、取り込んだＡＶデータを（例えばネットワークアダプタを用いて）ビデオ会議セッションの遠隔エンドポイントデバイスに伝送して出力することができる。このような実施形態では、鏡型デバイス１２００は、取り込んだＡＶデータをネットワーク伝送に適したフォーマットに変換するエンコーダ論理も含むことができる。図示のように、カメラデバイス１２４０は、鏡型デバイスの上部よりに位置決めされて、カメラデバイス１２４０が鏡面１２２０を覗き込むユーザの目の高さになる可能性が高くなるようになっている。このようにすることによって、カメラデバイス１２４０は、ユーザがカメラを真っ直ぐに覗き込んでいる様子のビデオストリームを取り込むことができるようになり、これにより、このビデオストリームが遠隔エンドポイントデバイスに表示されたときにその遠隔エンドポイントデバイスが「魔法の鏡」となる仮想効果を高めることができる。

[00122]さらに、鏡型デバイス１２００は、（例えばビデオ会議セッションの遠隔エンドポイントデバイスから）受信したＡＶデータを復号するデコーダ論理を含むこともできる。例えば、鏡型デバイス１２００は、（例えばネットワークアダプタを用いて）遠隔の魔法の鏡型デバイスから符号化ＡＶデータを受信することができ、デコーダ論理が、この符号化ＡＶデータを復号して、表示デバイス１２１０及び１つ又は複数のスピーカ（例えば魔法の鏡型デバイス１２００内部のスピーカ、物理的環境内部のスピーカ、及び鏡型デバイス１２００に通信可能に結合されたスピーカなど）で出力することができる。例えば、符号化ＡＶデータは、遠隔の魔法の鏡型デバイスにおいてカメラを真っ直ぐに覗き込んでいるユーザのビデオストリームを含むことができる（すなわち、カメラが遠隔の鏡型デバイスの内部でおおよそ目の高さに位置決めされているという性質上、そのようになる）。このようなＡＶデータが復号され、表示デバイス１２１０を用いて表示されると、遠隔のユーザの頭及び顔が鏡面１２２０内に出現するような効果が得られ、「魔法の鏡」の効果が創出される。

[00123]１実施形態では、カメラデバイス１２４０は、取り込んだビデオストリーム内のユーザの頭を検出し、（例えばズームイン又はズームアウトによって）カメラの倍率を既定のレベルに調節するように構成される。このようにすることによって、ユーザとカメラデバイス１２４０の間の距離にかかわらず、１つ又は複数のエンドポイントデバイスにおけるユーザの見た目を正規化する助けとすることができる。特定の実施形態では、魔法の鏡１２００は、復号ＡＶデータを表示にフェードインさせて、遠隔のユーザの顔が鏡面１２２０内に現れるように構成される。より一般的には、どのような視覚（聴覚）効果でも、復号ＡＶデータ（及び／又は符号化ＡＶデータ）に適用することができる。その他のこのような効果の例としては、見ている人に対して現在見ているキャラクタが例えばフラッシュバック又は夢のシーケンスなど別のコンテキストに移行していることを過去にさかのぼって示す渦巻き又は波状の画像など、従来のストーリーテリングの意味を有する視覚効果が挙げられるが、これらに限定されるわけではない。さらなる例としては、ワイプ、スワール、モザイク処理、モーフィングなどが挙げられるが、より一般的には、本明細書に記載する機能に従って、どのような視覚又は聴覚効果でも使用することができる。

[00124]図１３は、本明細書に記載する１実施形態による、魔法の鏡型デバイスを示す正面図である。図示のように、鏡１３００は、フレーム１３１０及び鏡面１３２０を含む。上述のように、鏡面１３２０は、外側のみが鏡面であるマジックミラー表面とすることができ、鏡面１３２０の内側は透明である。このようにすることによって、鏡の筐体の内部からの光（例えば筐体内の表示デバイスから発出された光など）がより容易に表面１３２０を透過することができるので、有利である。

[00125]図示のように、鏡１３００は、鏡の筐体内のカメラデバイスの位置を示す点線輪郭１３２５と、鏡の筐体内の表示デバイスの位置を示す点線輪郭１３３０とを含む。上述のように、カメラデバイスは、（輪郭１３２５で示すように）おおよそ目の高さに位置決めされるので、カメラデバイスによって取り込まれるビデオストリームは、カメラを真っ直ぐに覗き込んでいるユーザを示すことになる。このようにすることによって、遠隔エンドポイントデバイス（例えば第２の魔法の鏡型デバイスなど）に表示されるビデオストリームが、遠隔のユーザを真っ直ぐに見るユーザの頭を描写することを保証する。

[00126]図１４Ａ〜図１４Ｃは、本明細書に記載する実施形態による、魔法の鏡型デバイスを示す図である。図示のように、図１４Ａは、表示デバイスがオフになっているなどして実質的に光を発出していない（例えば表示デバイスが能動的に黒色スクリーンを表示しているときなど）魔法の鏡型デバイス１４００を示している。なお、魔法の鏡の鏡面の反射が魔法の鏡の筐体の内部より明るいので、内部のハードウェア構成要素が見えないようにマスクされるので、デバイス１４００の内部構成要素は見えないことに留意されたい。

[00127]しかし、表示デバイスが（例えばビデオ会議セッションの遠隔エンドポイントデバイスから受信した）復号ＡＶデータの表示を開始すると、遠隔のユーザの顔が、鏡の鏡面内に出現し、「魔法の鏡」の効果を創出する。この一例を、図１４Ｂに示す。図１４Ｂは、符号化ＡＶデータを能動的に表示している魔法の鏡型デバイス１４１０を示す図である。ここで、遠隔のユーザの顔が、デバイス１４１０の鏡面内に見ることができ、前述の「魔法の鏡」の効果を創出している。なお、図示の実施形態は、鏡のフレーム内に発光デバイスも含み、鏡が受信したＡＶデータの表示を開始したときに、これらの発光デバイスをオンにすることに留意されたい。

[00128]上述のように、魔法の鏡型デバイスは、いくつかの異なる形態で存在することができる。例えば、図１４Ａ〜図１４Ｂは、基部（例えばテーブルの上に置かれたスタンドなど）の上に載置される鏡型デバイスを示しているが、その他の鏡型デバイスは、壁掛け型の実施態様及び手持ち式の実施態様を含むことができる。このような手持ち式の実施態様の一例を、図１４Ｃに示す。ここで、手持ち式の魔法の鏡型デバイス１４２０は、遠隔エンドポイントデバイス（すなわち、この例では遠隔のユーザが保持している携帯電話）から取り込まれたビデオフィードを表示している。例えば、遠隔エンドポイントデバイスと魔法の鏡型デバイス１４２０とは、ＩＥＥＥ８０２．１１通信プロトコルを用いてネットワークを介して通信することができる。

[00129]１実施形態では、１つ又は複数のブリッジデバイス及び／又はアプリケーションが、ネットワーク内に存在し、ビデオ会議セッションのエンドポイントデバイス間の仲介物として機能する。このようなブリッジデバイス及び／又はアプリケーションを使用して、例えば、複数のエンドポイントデバイスからのＡＶストリームを結合して１つのストリームにして、それらのエンドポイントデバイスのうちの１つで出力することができる。このように、魔法の鏡型デバイスは、２つのビデオフィードを同時に表示して、例えば２人の遠隔ユーザの顔が鏡の表面内に出現するようにすることができる。上記で述べたのと同様に、デバイス１４２０の外部鏡面は、鏡面の反射が筐体内部のハードウェア構成要素より明るいので、内部のハードウェア構成要素を見えないようにマスクしている。

[00130]ただし、特定の実施形態について、上記ではビデオ会議セッションのエンドポイントデバイスとして述べたが、より一般的には、魔法の鏡型デバイスは、いくつかの異なる目的のために使用することができることに留意されたい。例えば、遠隔エンドポイントデバイスから受信したＡＶデータを出力する代わりに、魔法の鏡型デバイスは、例えばストーリーテリング環境の制御デバイスから受信した、既定のＡＶデータを出力してもよい。例えば、特定のストーリーラインに含まれる架空のキャラクタを描写するビデオストリームを、添付の音声ストリームとともに、（例えば制御デバイスから）魔法の鏡型デバイスに伝送することもできる。制御デバイスからストリーミングＡＶデータを受信すると、魔法の鏡は、（例えば魔法の鏡デバイス内部のデコーダ論理を用いて）このＡＶデータを復号することができ、（例えば内部の表示デバイス及び１つ又は複数のスピーカデバイスを用いて）復号したＡＶデータを出力することができる。例えば、このビデオストリームは、キャラクタの顔が一定の時間（例えば数秒など）を掛けて徐々に見えてくるようにフェードインするように表示することもできる。

[00131]その後、鏡型デバイスは、ストーリーテリング体験の一部として、ユーザとのインタラクションを継続することができる。例えば、鏡型デバイスは、刺激イベントの発生を検出し、ストーリーの現在のコンテキストに基づいて、これに応答して既定のアクションを実行することができる論理を備えた構成にすることができる。例えば、鏡型デバイスは、ユーザと話をしている架空のキャラクタを描写するビデオ及び音声ストリームを出力することができ、この架空のキャラクタは、ユーザに対して、今日はどのストーリーラインアークがよいかという質問を投げかけることができる。例えば、架空のキャラクタは、隠された鍵を探したいかどうか、又は魔法の剣を探す旅がしたいかどうかをユーザに尋ねることができる。その後、ユーザは、この質問に聴覚的に応答することができ、鏡型デバイス内部の論理が、（例えば１つ又は複数のマイクロフォンデバイスを用いて）この応答を検出し、この応答を解析して、どのストーリーラインアークをユーザが選択したかを判定することができる。検出した応答がストーリーラインアークのうちの１つに対応していると判定したら、選択されたアークに沿ってストーリーを進めることができ、制御デバイスは、このストーリーに関連するストーリーテリングデバイス（鏡型デバイスを含む）をそれに応じて構成することができる。このようにすることによって、ビデオ会議以外のコンテキストでも「魔法の鏡」の錯覚が創出されるので、有利である。

[00132]図１５は、本明細書に記載する１実施形態による、魔法の鏡型デバイスを示すブロック図である。この例では、鏡型デバイス１５００は、プロセッサ１５１０、記憶デバイス１５１５、メモリ１５２０、入出力デバイス１５３５、ネットワークインタフェース１５４０、カメラデバイス１５４５、表示デバイス１５５０及び加速度計デバイス１５５５を含む（ただしこれらに限定されるわけではない）。一般に、プロセッサ１５１０は、メモリ１５２０に記憶されたプログラム命令を取り出して実行する。プロセッサ１５１０は、単一のＣＰＵ、複数のＣＰＵ、複数の処理コアを有する単一のＣＰＵ、複数の実行パスを有するＧＰＵなどを代表するものとして含まれている。メモリ１５２０は、一般に、ランダムアクセスメモリを代表するものとして含まれている。ネットワークインタフェース１５４０は、魔法の鏡型デバイス１５００がデータ通信ネットワーク（例えば有線イーサネット接続又は８０２．１１無線ネットワーク）に接続することを可能にする。さらに、図示の実施形態ではある特定の魔法の鏡型デバイスの構成要素を示しているが、魔法の鏡型デバイスによって様々に異なるハードウェアアーキテクチャを用いることができることは、当業者なら理解するであろう。さらに、いくつかの実施形態は、本明細書に記載する機能を実行することができるものであればどのようなデバイス又はコンピュータシステムを用いても実施することができるものと明示的に企図している。

[00133]メモリ１５２０は、必要なプログラム及びデータ構造を保持するのに十分な大きさの任意のメモリを代表するものである。メモリ１５２０は、ランダムアクセスメモリ、不揮発性メモリ又はバックアップメモリ（例えばプログラマブル又はフラッシュメモリ、読取り専用メモリなど）など、１つのメモリデバイスであっても複数のメモリデバイスの組合せであってもよい。さらに、メモリ１５２０及び記憶デバイス１５１５は、例えばストーリーテリングデバイス１１０に通信可能に結合された別のコンピュータ上など、物理的に他の場所に位置するメモリも含むものと考えることができる。例えば、メモリ１５２０は、魔法の鏡構成要素１５２５及びオペレーティングシステム１５３０を含む。オペレーティングシステム１５３０は、一般に、ストーリーテリングデバイス１００上でのアプリケーションプログラムの実行を制御する。オペレーティングシステム１５３０の例としては、ユニックス、マイクロソフトウィンドウズ（登録商標）オペレーティングシステムのあるバージョン、リナックス（登録商標）オペレーティングシステムのあるディストリビューションなどが挙げられる。オペレーティングシステム１５３０の他の例としては、ニンテンドーＤＳ（登録商標）及びソニーＰＳＰ（登録商標）などのシステム用のカスタムオペレーティングシステムなど、ゲームコンソール用のカスタムオペレーティングシステムが挙げられる。

[00134]入出力デバイス１５３５は、マイクロフォン、スピーカ、キーボード、赤外線トランシーバなど、幅広い範囲の入出力デバイスを代表するものである。一般に、表示デバイス１５５０は、画像データを出力して表示することができる任意のデバイスを代表するものである。このような表示デバイス１５５０の例としては、発光ダイオード（ＬＥＤ）ディスプレイ及び液晶ディスプレイ（ＬＣＤ）、並びにこれら又はその他の表示デバイスのタッチスクリーン実施態様などが挙げられるが、これらに限定されるわけではない。ユーザはこのようなタッチスクリーンを使用して様々なアプリケーション及びアプリケーション内のオプションを選択する（例えばビデオ会議セッションを開始するエンドポイントデバイスを選択する）ことができるので、このようなタッチスクリーンデバイスは、例えばストーリーテリング体験中に、又は魔法の鏡型デバイスのインタフェースとして、使用することができる。さらに、入出力デバイス１５３５は、１組のボタン、スイッチ又はその他の魔法の鏡型デバイス１５００を制御するための物理的デバイス機構を含むことができる。さらに、入出力デバイス１５３５は、魔法の鏡型デバイス１５００が物理的アクション（例えば振動する、部屋の中を動き回るなど）を行うことができるようにする機械化構成要素又はその他の構成要素を含むこともできる。

[00135]魔法の鏡構成要素１５２５は、カメラ１５４５及び入出力デバイス１５３５（例えばマイクロフォン）を用いて取り込まれたＡＶデータを符号化し、符号化したＡＶデータを（例えばネットワークインタフェース１５４０を用いて）遠隔エンドポイントデバイスに伝送するように構成することができる。同様に、魔法の鏡構成要素１５２５は、（例えばネットワークインタフェース１５４０を介して）受信したＡＶデータを復号し、このデータを出力して（例えば表示デバイス１５５０に）表示するように構成することができる。上述のように、表示デバイス１５５０は、鏡デバイス１５００の筐体内の、マジックミラー表面の後方に位置決めして、表示デバイス１５５０の構造（例えばフレーム、ケーブルなど）は鏡面を通して見えないが、表示デバイス１５５０のスクリーンに示される画像は鏡面を通して見えるようにすることができる。このようにすることによって、表示された画像（例えばビデオ会議セッションの遠隔エンドポイントからのビデオフィードなど）が鏡面内に出現する「魔法の鏡」の効果を創出するので、有利である。

[00136]さらに、魔法の鏡構成要素１５２５は、ストーリーテリング体験の一部としてストーリーテリングデバイスとして機能する論理を含むことができる。例えば、魔法の鏡構成要素１５２５は、様々な刺激イベントを認識し、１つ又は複数のアクションをこれらの様々な刺激イベントのそれぞれと関連付けるように構成することができる。刺激イベントのうちの１つが発生したことを検出すると、魔法の鏡構成要素１５２５は、それに対応する１つ又は複数のアクションを実行することができる。例えば、魔法の鏡構成要素１５２５は、架空のキャラクタを描写するＡＶデータを表示することができ、別のストーリーテリングデバイスによって魔神のホログラフィ投影が投影されていることを検出すると、表示する架空のキャラクタを恐怖で縮み上がらせ、魔神を恐れてすすり泣く声を出させることができる。さらに、魔法の鏡構成要素１５２５は、複数のストーリーテリングデバイス１１０によって語られているストーリーの現在のコンテキストに基づいて、どのアクションを実行するかを決定することができる。すなわち、描写している架空のキャラクタを、魔神が最初にストーリーの中に現れたときに様々に異なる挙動をするように（例えば魔神を恐れているように見えるように）表示することができ、ストーリーのそれより後の方で魔神がユーザを助けに来たときにも様々に異なる挙動をするように（例えば魔神を見て感謝しているように見えるように）表示することができる。このように、魔法の鏡構成要素１５２５は、ストーリー内の現在のコンテキストに応じて、所与の刺激イベントに対して異なる反応をするように構成することができる。

[00137]一般に、魔法の鏡構成要素１５２５は、刺激イベントの発生を様々に異なる方法で検出することができる。例えば、魔法の鏡構成要素１５２５は、魔法の鏡型デバイス１５００内のカメラデバイス１５４５を使用して、投影画像が出現したときにそのことを検出する、又はユーザの動きを追跡することができる。別の例では、魔法の鏡構成要素１５２５は、加速度計１５５５を使用して、ユーザが魔法の鏡型デバイス１５００を拾い上げたとき（例えばデバイス１５００が手持ち式デバイスである場合）に、加速度計の読みが特定のシグナチャに一致したことに基づいてそのことを検出することができる。これに応答して、魔法の鏡構成要素１５２５は、ユーザとの対話を開始し、例えば何がしたいか（例えば遠隔エンドポイントデバイスとのビデオ会議セッションを開始する、ストーリーの中で遊ぶなど）ユーザに尋ねることができる。さらに、ストーリーテリング構成要素１５２５は、ユーザが装置１１０にいつどのように触れたかを検出することができるタッチセンシティブな装置（例えば容量性センシング又は導電性センシングな触覚表面など）など、他の入出力装置１５３５を使用して上記のような決定を下すこともできる。さらに、制御装置１２０は、（例えばＷｉ−Ｆｉ又はＢｌｕｅｔｏｏｔｈ通信を用いて）装置１１０にメッセージを伝送して、特定の刺激イベントが発生したことを示すこともできる。さらに一般的には、本明細書に記載の機能によれば、何らかの既定のイベントの発生を検出することができる任意の技術を使用することができる。

[00138]さらに、魔法の鏡型デバイス１５００は、物理的世界におけるそのデバイスの地理学的物理学的位置を決定する論理及び／又はハードウェアを備えた構成にすることもできる。このような論理及び／又はハードウェアの例としては、ＧＰＳ論理及び全地球測位システム（ＧＰＳ）の送信機、並びに（携帯電話基地局、テレビジョン放送塔、又は無線ネットワーク装置など、複数の無線源からの）飛行時間又は飛行角度或いはその両方を用いるジオロケーションソフトウェアが挙げられる。さらに一般的には、本明細書に記載する機能と矛盾することなく、現実世界における装置の物理的位置を決定するどのような技術（既知のものでも未知のものでも良い）でも使用することができる。

[00139]さらに、いくつかの実施形態は、没入型ストーリーテリング体験を提供する際に、ＴＶ、ウェブデバイス、スマートフォン及び電子書籍などの既存のメディアデバイスと同期することができる。例えば、魔法の鏡型デバイス１５００は、ユーザが現在見ているＴＶ番組又はユーザが現在プレイしているビデオゲーム上のイベントを（例えば１つ又は複数のカメラやマイクロフォンなどを用いてＴＶ及び／又はビデオゲームシステムと通信することによって）感知することができる。このような刺激イベントを検出したのに応答して、鏡型デバイス１５００は、コンテキストに適した形で、かつ正確に適切な時間に、反応することができる。例えば、ユーザが現在見ているＴＶのＥＳＰＮ（登録商標）のニュースキャスタがジャイアンツ（Ｇｉａｎｔｓ）（登録商標）とパンサーズ（Ｐａｎｔｈｅｒｓ）（登録商標）の間で行われる予定のフットボールの試合について言及していることを検出し、両者の前回の対戦ではジャイアンツ（登録商標）が勝利していることが分かったときに、魔法の鏡型デバイス１５００が（例えばテキスト音声合成器及び１つ又は複数のスピーカデバイスを用いて）架空のキャラクタの頭の表示を、「やあ、今週末はまたジャイアンツ（登録商標）に勝って欲しいな」と言うように出力することもできる。

[00140]別の例では、魔法の鏡型デバイス１５００は、ユーザが制御する電子書籍リーダと通信して、ユーザが現在どの本を読んでいるか、またその電子書籍リーダが特定の書籍のどのページを現在表示しているかを決定することができる。その後、魔法の鏡型デバイス１５００は、正確に適切な時点で（例えばユーザがページをめくった一瞬後で）相槌を打つように架空のキャラクタの頭を表示し、解説を有する音声ストリームを出力して、その旧式のメディアプラットフォーム（すなわちユーザが読んでいる本）で語られているストーリーを機能強化することができる。

仮想世界と物理的世界のインタラクション

[00141]付近の他のストーリーテリングデバイスとインタラクションするだけでなく、一部のデバイスは、遠隔デバイスともインタラクションすることができる。この一例を、図１６及び図１７に示す。図１６は、本明細書に記載する１実施形態による、子供とインタラクションするインタラクティブ型オブジェクトを示すスクリーンショットである。図示のように、スクリーンショット１６００は、メーター（インタラクティブ型の玩具の車）１６２０及びレーストラック１６３０で遊ぶユーザ１６１０を含む。さらに、レーストラック１６３０は、トンネル型のインタラクティブ型オブジェクト１６４０に結合され、このトンネル型のインタラクティブ型オブジェクト１６４０は、一体型カメラ／投影ユニット１６５０を備えた構成になっている。ここで、これらのインタラクティブ型オブジェクト（例えばメーター（玩具の車）１６２０及びトンネル１６４０）は、ユーザ１６１０から遠隔に離れた第２の子供が使用する遠隔のインタラクティブ型オブジェクト（及び／又はこれらの遠隔のインタラクティブ型オブジェクトと関連する制御デバイスオブジェクト）と通信することができる。

[00142]例えば、ユーザ１６１０が自分のメーター（玩具の車）１６２０で遊んでおり、このユーザの友達のジルも、ユーザ１６１０の位置から遠隔に離れた位置（例えばジルの家）で自分のインタラクティブ型の玩具の車で遊んでいると判定し、且つそのユーザの友達も一体型カメラ／投影ユニットを備えたトンネル型のインタラクティブ型オブジェクトを有していることが分かると、メーター（車）１６２０は、「ヘイ、ビリー、君の友達のジルもレースに参加できるよ！勝負するかい？」と言うことができる。ユーザ１６１０が肯定の返事をすると、カメラ／投影ユニット１６５０が、そのユニットの上方の壁面にジルを描写した光景（すなわちこの例では遠隔ユーザ）及びユーザの１つ又は複数のインタラクティブ型オブジェクトを描画することができる。すなわち、２方向ビデオ会議セッションを、カメラ／投影ユニット１６５０とユーザ１６１０の友達のジルと関連する第２のカメラ／投影ユニットとの間で確立することができ、その中で、ユーザ１６１０はジル及びジルの近傍の物理的環境を見ることができ、ジルは、ユーザ１６１０及びユーザのインタラクティブ型オブジェクト（例えば車１６２０、トラック１６３０など）を見ることができる。これを行う際に、カメラ／投影ユニット１６５０は、（例えば１つ又は複数のカメラを用いて）ユーザ１６１０及びユーザの環境の画像を取り込むことができ、これらの画像を、（例えば通信ネットワークを用いて）遠隔ユーザに関連するカメラ／投影ユニットの投影構成要素に伝送することができる。次いで、遠隔投影ユニットは、これらの取り込まれた画像を描画して、ジルがユーザ１６１０及びユーザの環境を見ることができるようにすることができる。より一般的には、カメラ及びプロジェクタは、一体型ユニットである必要はなく、ソフトウェア及び通信技術によって連係した別個のユニットとして存在していてもよい。

[00143]この一例を、図１７に示す。図１７は、本明細書に記載する１実施形態による、ユーザとインタラクションするインタラクティブ型オブジェクト及び遠隔インタラクティブ型オブジェクトを示すスクリーンショットである。ここで、スクリーンショット１７００は、ユーザ１６１０、メーター（玩具の車）１６２０、レーストラック１６３０、トンネルユニット１６４０、及びカメラ／投影ユニット１６５０を示す。図示のように、カメラ／投影ユニット１６５０は、ユーザ１６１０の部屋の壁面にフレームを投影している。これらのフレームは、ジル１７１０、ジルのインタラクティブ型の玩具の車１７２０、レーストラック１７３０、トンネルユニット１７４０、及びカメラ／投影ユニット１７５０を示す。例えば、遠隔カメラ／投影ユニット１７５０は、ジル及びジルの環境の画像を取り込むことができ、これらの画像又はこれらの画像に関連するデータを（例えば通信ネットワークを介して）投影ユニット１６５０に伝送することができる。カメラ／投影ユニット１６５０は、次いで、これらの画像を描写するフレームをユーザ１６１０の部屋の壁面に投影することにより、ユーザ１６１０が、ユーザの友達のジル１７１０及びジルのレース用玩具デバイスを実時間で見聞きすることができるようにすることができる。

[00144]なお、カメラ／投影ユニット１６５０はトンネルユニット１６４０の上に示してあるが、このような描写は例示のみを目的としたものであり、これに限定されるわけではないことに留意されたい。より一般的には、カメラ／投影ユニット１６５０は、物理的環境内のどこに位置決めしてもよく、複数のカメラ／投影ユニット１６５０を物理的環境全体にわたって位置決めしてもよい。さらに、カメラ／投影ユニット１６５０は、カメラ機能及び投影機能の両方を含んでいるが、別個のデバイス（例えばカメラデバイスと投影ユニット）を使用して、この機能を提供してもよい。

[00145]さらに、スクリーンショット１７００は、表面（例えば壁面）上に光景を投影するように構成された投影ユニット１６５０を示しているが、実施形態は、投影技術の代わりに、又は投影技術に加えて、どのような表示又は可視化技術でも利用することができるものと広範に企図している。したがって、本明細書ではいくつかの実施形態を１つ又は複数の投影ユニットを用いるものとして説明しているが、このような説明は例示のみを目的としたものであり、これに限定されるわけではない。例えば、表示デバイス（例えば発光ダイオード（ＬＥＤ）テレビジョン）は、遠隔環境を表示することができ、この表示デバイスを使用して、物理的な玩具の車１６２０が仮想世界に入ってくる様子を描写する描画フレームを表示することもできる。例えば、玩具の車１６２０がトンネルユニット１６４０に入ってユーザ１６１０の視界から隠れたときに、仮想の玩具の車が、表示デバイスに表示される一連の描画フレームに出現することもできる。

[00146]いくつかの実施形態は、完全に没入型のユーザ体験を創出するために、物理的インタラクティブ型オブジェクトを拡張現実オブジェクトと組み合わせることもできる。例えば、ユーザ１６１０が自分のメーター（玩具の車）１６２０を運転してトンネルユニット１６４０に入ると、玩具の車１６２０の拡張現実版がジルの環境の投影に出現することができる。例えば、トンネルユニット１６４０は、物理的な玩具の車１６２０がトンネルユニット１６４０に入るときに物理的な玩具の車１６２０を取り込むように構成することができる。さらに、トンネルユニット１６４０は、玩具の車１６２０の方向及び位置を逆転させて、外に出るときに玩具の車１６２０が他方のレーンでトンネルユニット１６４０を出て、反対方向に進んでいくようにするように構成することができる。

[00147]物理的な車１６２０が取り込まれたら、カメラ／投影ユニット１６５０は、拡張現実車を描画フレームに挿入して、ジルの部屋の遠隔レーストラック１６３０上を走るメーター（玩具の車）１６２０を描写することができる。この仮想車は、物理的な玩具の車１６２０が入力コマンドに応答するのと全く同じように、ビリー１６１０の入力コマンドに応答することができる。したがって、ユーザ１６１０の視点からは、物理的な玩具の車１６２０が遠隔レーストラック１６３０に渡っていったように見え、実質的には、ユーザとユーザの友達１７１０の間のギャップを埋め、２人が同じ物理的環境内に位置しているかのようにインタラクションすることを可能にする。

[00148]さらに、このような例では、玩具の車１６２０の拡張現実版は、ジル１７１０の視点からも見えるようにすることができる。例えば、ジル１７１０が１対の拡張現実眼鏡を装着していると仮定する。別の例では、ジルは、カメラ付き電話（例えばｉＰｈｏｎｅ又は類似のアンドロイド電話）、又はカメラ付きタブレット（例えばｉＰａｄ）など、別の拡張現実デバイスを用いてジルの部屋の中の拡張現実車を見てもよい。ユーザ１６１０の車１６２０がトンネルユニット１６４０に入ったことを検出したら、ジルの拡張現実眼鏡（又は例えばジルのｉＰｈｏｎｅ又はｉＰａｄ）は、ジルのレーストラック１７３０上を走るビリーの車１６２０の拡張現実版を描画することができる。このような例では、ジルに見える車の拡張現実版は、ビリーのコマンドに応答しているように見えるようにすることができる。例えば、ビリー１６１０は、「見ててよ、ジル、メーターが宙返りするよ！」と言って、ジルのレーストラック１７３０を通る拡張現実車を制御することができる。

[00149]拡張現実車がトンネルユニット１７４０に入ったときに、トンネルユニット１６４０は、物理的なメーター（車）１６２０を放出するように構成することができる。したがって、メーター（車）１６２０は、その車の現在速度及びビリーによる車の制御に基づいて、拡張現実車がトンネルユニットを出るまさにその時間に、トンネルユニット１６４０から走り出るように見えるようにすることができる。したがって、この例ではインタラクティブ型の車１６２０及び１７２０は、ユーザ１６１０及び１７１０には、一方のレーストラック１６３０から他方のレーストラック１７３０へ走っていくことができるように見える。

[00150]１実施形態では、物理的インタラクティブ型オブジェクトは、仮想世界の仮想オブジェクトと組み合わせることができる。この一例を、図１８に示す。ここで、スクリーンショット１８００は、やはりレーストラック１６３０を巡る自分のインタラクティブ型のメーター（車）１６２０を制御しているユーザであるビリー１６１０を示している。さらに、スクリーンショット１８００は、トンネルユニット１６４０及びカメラ／投影ユニット１６５０を含む。この例では、カメラ／投影ユニット１６５０は、仮想レーストラック１８７０を含む仮想世界１８６０の描写を表示している。

[00151]ビリー１６１０がインタラクティブ型のメーター（車）１６２０をトンネルユニット１６４０の中に走らせると、トンネルユニット１６４０は、この場合も、物理的な車１６２０を取り込む（且つ逆転する）ことができる。さらに、この例では、投影ユニット１６５０が、仮想トンネルユニットから仮想レーストラック１８７０上へ出ていく仮想車を描画することができる。仮想車は、物理的なメーター（車）１６２０と全く同じように、ユーザ１６１０の制御に直接応答しているように見えるようにすることができる。仮想車が仮想トンネルを通って戻ってきたときに、物理的トンネルユニット１６４０は、物理的なメーター（車）１６２０を放出することができ、次いで、物理的なメーター（車）１６２０は、トンネルユニット１６４０から物理的レーストラック１６３０上へ出ていくことができる。

[00152]１実施形態では、物理的な車１６２０が仮想世界に入ったら（すなわち物理的な車１６２０がトンネルユニット１６４０に入り、トンネルユニット１６４０にとって取り込まれたときに）、仮想世界１８６０の投影は、視点を変える。例えば、物理的な車１６２０がトンネルユニット１６４０に入ったら、投影ユニット１６５０は、仮想世界１８６０を見る視点を改変することができる。この一例を、図１９に示す。ここでは、スクリーンショット１９００は、仮想世界１９１０の中を走っているメーター（仮想車）１９２０の第３者視点を示している。例えば、投影ユニット１６４０は、スクリーンショット１９００に示す視点になるまで、仮想世界の中でズームインして視点を変化させる仮想カメラ（すなわち仮想世界を見るための仮想カメラ）を描写するフレームを描画するように構成することができる。

[00153]これで、ユーザ１６１０は、仮想車１９２０が仮想世界の出口点に到達するまで、仮想世界１９１０の中で仮想車１９２０を走らせることができる。仮想車１９２０が仮想世界の出口点に到達したときに、再びユーザ１６１０の制御下で、メーター（物理的な車）１９２０をトンネルユニット１６４０から放出することができる。このように、ユーザの視点からは、メーター（物理的な車）１６２０は、仮想世界に出入りすることができるように見え、これにより、没入型且つインタラクティブ型の体験をユーザに対して創出する。

[00154]図２０は、本明細書に記載する１実施形態によるトンネルデバイスを示す図である。図示のように、トンネルデバイス２０００は、物理的筐体２０１０、投影デバイス２０１５、トンネル開口２０２０、及び回転可能機構２０２５を含む。上述のように、玩具の車両（例えば車１６２０）は、トンネル開口２０２０に出入りすることができる。例えば、玩具の車両は、物理的なレーストラックに沿って移動するように構成することができ、レーストラックのいくつかの区間を、トンネル開口２０２０のそれぞれに接続して、玩具の車両が筐体２０１０に入ることができるようにすることができる。玩具の車両がトンネル開口２０２０のうちの１つに入ったら、筐体２０１０内の論理が、玩具の車両の存在を検出することができ、回転可能機構を起動して、車を（例えば１８０度）回転させ、第２のトンネル開口と位置合わせされるように車を滑動させることができる。例えば、玩具の車両は、トンネル開口２０２０_１に入ることができ、回転可能機構２０２５を起動して、玩具の車を回転させ、トンネル開口２０２０_２と位置合わせされるように移動させることができる。このようにすることによって、玩具の車は、トンネル開口２０２０_２から例えば物理的レーストラック上へ出ていくことができる。

[00155]上述のように、トンネルデバイス２０００を使用して、物理的世界と仮想世界の間のインタラクションをシミュレートすることができる。例えば、玩具の車は、トンネル開口２０２０_１から筐体２０１０に入ることができ、これに応答して、投影ユニット２０１５は、筐体２０１０の後側から出る仮想車を描写する一連の描画フレームを投影することができる。その後は、それまで物理的な玩具の車を制御するために使用されていた制御デバイスからの入力を使用して、仮想世界の中の仮想車を制御することができる（例えば仮想車が仮想レーストラックに沿って走るのを制御することができる）。さらに、回転可能デバイス２０２５は、物理的な玩具の車を、トンネル開口２０２０_２と位置合わせされるように操縦することができる。仮想車が仮想世界内の既定の位置（例えば筐体２０１０の後部に近い位置に投影される仮想トラックの領域）に到達したことを検出したら、描画フレームは、仮想トンネルの中に消えていく仮想車を描写することができ、物理的な玩具の車が、トンネル開口２０２０_２から出てくることができる。このようにして、物理的な玩具の車が仮想世界に出入りすることができるという見た目を創出する。

[00156]図２１は、本明細書に記載する１実施形態による、物理的世界から仮想世界へのインタラクションを管理する方法を示す流れ図である。図示のように、方法２１００は、ブロック２１１０から始まり、このブロックでは、制御構成要素が、物理的環境内の物理的オブジェクトの位置をモニタリングする。ここで、物理的オブジェクトの動きは、制御デバイスを用いて制御されている。例えば、１実施形態では、制御デバイスは、無線周波（ＲＦ）手持ち式デバイスを含む。特定の実施形態では、制御デバイスは、移動デバイス上で実行されるアプリケーションを含む。ただし、より一般的には、本開示に従って、オブジェクトの特徴（例えば物理的オブジェクト及び／又は仮想オブジェクトの動き）を制御する入力を与えることができるどのようなデバイスでも使用することができる。

[00157]ここで、制御構成要素は、様々に異なる技術を用いて物理的オブジェクトの位置をモニタリングすることができる。例えば、１つ又は複数のセンサ（例えば赤外線式又はレーザ式の動き検出センサ）を物理レーストラックに沿って位置決めすることができ、これらのセンサは、物理的オブジェクトがトラックの特定の部分を通過したときにそのことを検出するように構成される。１実施形態では、センサを、トンネルデバイス２０００の筐体２０１０内に位置決めして、玩具の車両がトンネル開口２０２０のうちの１つから筐体２０１０に入ったときにそのことを検出するように構成される。

[00158]どこかの時点で、制御構成要素は、物理的オブジェクトが、第１の方向に第１の速度で移動している間に既定の位置に到達したことを検出する（ブロック２１１５）。１実施形態では、制御構成要素は、（例えば制御デバイスの入力や、物理的オブジェクトから報告されるデータなどに基づいて）物理的オブジェクトの方向及び速度をモニタリングするように構成される。特定の実施形態では、制御構成要素は、オブジェクトの方向及び速度を推測するように構成される。例えば、１実施形態では、物理的オブジェクトは、トラックに沿って既定の速度で特定の方向（例えば時計回り）のみに移動するように構成された玩具の車である。したがって、このような実施形態の制御構成要素は、車両が既定の位置に到達したときに、車両が特定の方向に既定の速度で進行していたと推測することができる。

[00159]物理的オブジェクトが既定の位置に到達したことを検出したら、制御構成要素は、仮想世界の中に仮想オブジェクトを出現させ、第１の方向に第１の速度で移動させる（ブロック２１２０）。例えば、制御構成要素は、制御デバイスからの制御入力に応答して仮想道路に沿って移動する仮想車を描写する一連のフレームを描画することができ、これらの一連のフレームを出力して（例えば投影デバイス２０１５を用いて）表示することができる。制御構成要素は、また、制御デバイスから受信した入力が物理的オブジェクトではなく仮想オブジェクトに影響を及ぼすようにし（ブロック２１２５）、この方法２１００は終了する。例えば、制御デバイスからの入力を使用して一連の描画フレーム内の仮想車の挙動に影響を及ぼしながら、物理的な玩具の車は、トンネル筐体２０１０内で静止したままにしてもよい。このようにすることによって、物理的な玩具の車が物理的環境から仮想世界の中に進んでいったような錯覚がもたらされるので、有利である。

[00160]物理／仮想インタラクションをシミュレートするだけでなく、制御構成要素は、仮想／物理インタラクションをシミュレートするように構成することもできる。この一例を、図２２に示す。図２２は、本明細書に記載する１実施形態による、仮想世界から物理的世界へのインタラクションをシミュレートする方法を示す流れ図である。図示のように、方法２２００は、ブロック２２１０から始まり、このブロックでは、制御構成要素が、仮想世界の中の仮想オブジェクトの位置をモニタリングする。ここで、仮想オブジェクトは、制御デバイス（例えば制御システムに結合された制御デバイス、ＲＦ制御デバイス、移動デバイス上で実行されるアプリケーションなど）を用いて制御されている。したがって、例えば、仮想オブジェクトは、制御構成要素を実行するゲームコンソールに結合された制御デバイスを用いてユーザが能動的に制御する仮想レースカーとすることもできる。

[00161]どこかの時点で、制御構成要素は、仮想オブジェクトが、仮想世界の中の既定の位置に到達したことを検出する（ブロック２２１５）。例えば、スクリーンショット１８００では、制御構成要素は、仮想車が物理的トンネルデバイス１６４０に結合された仮想トンネルに到達したときにそのことを検出することができる。これに応答して、制御構成要素は、仮想車が仮想環境内を移動していた方向及び速度に基づいて、物理的オブジェクトに物理的環境における移動を開始させることができる（ブロック２２２０）。例えば、物理的な玩具の車両は、仮想車が仮想トンネル筐体に入った少し後で、トンネル筐体１６４０から出ることができる。このような実施形態では、物理的な玩具の車両は、仮想車の速度に基づく瞬間に物理的トンネル筐体１６４０から出て、トンネル筐体１６４０から出る物理的な車が仮想車と同じ車両であるように見えるようにすることが好ましい。したがって、例えば、仮想車が高い速度で進行している場合には、物理的な玩具の車は、仮想車が仮想トンネルに入った少し後でトンネルから出るものとし、仮想車が比較的低い速度で進行している場合には、物理的な車がトンネル筐体１６４０から出るのをそれよりも長く遅らせることができる。

[00162]さらに、制御構成要素は、仮想車を制御していた制御デバイスに、物理的オブジェクトの挙動を制御させ（ブロック２２２５）、この方法２２００は終了する。上述のように、制御デバイスの例としては、物理的な玩具の車と同じ物理的環境内にいるユーザによって操作されるローカルで制御されるデバイスや、例えばビデオ会議的な遊びセッション中などにおける遠隔物理位置に位置する遠隔制御デバイス（例えば遠隔ユーザによって制御されるもの）が挙げられる。このようにすることによって、仮想オブジェクト（例えば仮想車）が物理的世界に出現する（例えば物理的な玩具の車がトンネルから出てくる）ような錯覚がもたらされ、仮想世界と物理的世界の間、及び遠隔の遊びセッションにおける複数の物理的位置の間のシームレスな一体化がもたらされるので、有利である。

[00163]なお、本明細書では玩具の車とレーストラックとを用いるいくつかの例を与えたが、より一般的には、様々に異なるコンテキストで、仮想／物理インタラクション及び物理／仮想インタラクションを管理する技術を使用することができる。例えば、１実施形態は、物理的環境内のユーザが、コンピュータが生成したグラフィックアニメーションのキャラクタと対戦するゲーム（例えばシャッフルボード）を提供する。例えば、このゲームのプレイ面の一部分を物理的オブジェクトとし、プレイ面の残りの部分を、仮想世界に存在する仮想オブジェクトとすることができる。したがって、シャッフルボードスタイルのゲームでは、ユーザは、物理的部分及び仮想部分の両方で構成された平坦なプレイ面に沿って物理的オブジェクト（例えばパック）を滑らせて、仮想キャラクタと対戦ゲームをプレイすることができる。例えば、物理的パックは、物理的スロットの中に滑り込むことができ、ここで取り込まれる。これに応答して、物理的パックの仮想描写が、例えば物理的パックと同じ速度で、仮想世界の中に出現することができる。その後、仮想世界の中のどこに仮想パックが止まったかに応じて、スコアを決定することができる。

[00164]別の例では、テーブルの一部分が物理的世界の中にあり、残りの部分が仮想世界の中にある、エアホッケーゲームをプレイすることができる。このような例では、ユーザは、物理的パックを打ち出すことができ、この物理的パックは、最終的に、物理的テーブルのスロット内に取り込むことができる。これに応答して、パックの仮想描写が、物理的パックと同じ速度で、仮想世界の中に出現することができる。次いで、仮想キャラクタが、仮想パックを打とうと試みることができ（例えば、うまく打ったかどうかは、ゲーム論理に従って決定することができる）、うまく打てば、仮想パックをユーザに向かって打ち返すことができる。仮想パックが物理的テーブルのスロットに近づいたときに、物理的パックを、仮想パックの位置に基づく適当な場所で、仮想パックの速度で、ユーザに向かって排出することができる。

結論

[00165]以上、本発明の実施形態について述べた。ただし、本発明は、これらの具体的に述べた実施形態に限定されない。むしろ、様々な実施形態に関係しているか否かに関わらず、以下の特徴及び要素の任意の組合せによって本発明が実装及び実施されるものとする。さらに、本発明の実施形態は、その他の可能な解決策及び／又は従来技術に勝る利点を実現することができるが、特定の利点が所与の実施形態によって実現されるか否かによって本発明が限定されることはない。したがって、上記の態様、特徴、実施形態及び利点は、単なる例示であり、１つ又は複数の請求項において明示的に述べられている場合を除いて、添付の特許請求の範囲の要素又は制限とはみなされない。同様に、「本発明」と述べていても、本明細書に開示する任意の発明性のある主題を一般化したものとして解釈すべきではなく、１つ又は複数の請求項において明示的に述べられている場合を除いて、添付の特許請求の範囲の要素又は制限とはみなされないものとする。

[00166]本発明の態様は、システム、方法又はコンピュータプログラム製品として実施することができる。したがって、本発明の態様は、本明細書では全て一般的な言葉で「回路」、「モジュール」又はシステムと呼ぶことができる、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又はソフトウェアの態様とハードウェアの態様を結合した実施形態の形態をとることができる。さらに、本発明の態様は、コンピュータ可読プログラムコードが実装された１つ又は複数のコンピュータ可読媒体に実装されたコンピュータプログラム製品の形態をとることができる。

[00167]１つ又は複数のコンピュータ可読媒体は、任意の組合せで利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体であっても、コンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、電子システム、装置又はデバイス、磁気システム、装置又はデバイス、光学システム、装置又はデバイス、電磁気システム、装置又はデバイス、赤外線システム、装置又はデバイス又は半導体システム、装置又はデバイス、或いはそれらの任意の適当な組合せとすることができるが、これらに限定されるわけではない。コンピュータ可読記憶媒体のさらに具体的例を挙げると、１本又は複数本の配線を有する電気接続、携帯可能なコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去及びプログラム可能読取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯可能なコンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、光学記憶装置、磁気記憶装置、又はそれらの任意の適当な組合せなどがある（ただし全てを網羅するリストではない）。本明細書の状況では、コンピュータ可読記憶媒体は、命令実行システム、装置又はデバイスによって使用される、又は命令実行システム、装置又はデバイスに接続した状態で使用されるプログラムを含む又は記憶することができる任意のタンジブル媒体とすることができる。

[00168]コンピュータ可読信号媒体としては、例えばベースバンドに含まれる、又は搬送波の一部である、コンピュータ可読プログラムコードが実装された伝搬データ信号が挙げられる。このような伝搬信号は、電磁気学的形態、光学的形態又はそれらの任意の適当な組合せなど（ただしこれらに限定されない）、様々な形態のうちのいずれをとることもできる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではない、命令実行システム、装置又はデバイスによって使用される、又は命令実行システム、装置又はデバイスに接続した状態で使用されるプログラムを通信、伝搬又は移送することができる任意のコンピュータ可読媒体とすることができる。

[00169]コンピュータ可読媒体に実装されるプログラムコードは、無線、有線、光ファイバケーブル、ＲＦなど、又はそれらの任意の適当な組合せなど（ただしこれらに限定されない）、任意の適当な媒体を用いて伝送することができる。

[00170]本発明の態様の動作を実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又はそれと類似のプログラミング言語などの従来の手続き型プログラミング言語など、１つ又は複数のプログラミング言語を任意に組み合わせて書き込むことができる。プログラムコードは、全体をユーザのコンピュータで実行しても良いし、一部をユーザのコンピュータで実行しても良いし、独立型ソフトウェアパッケージとして実行しても良いし、一部をユーザのコンピュータで実行して一部を遠隔のコンピュータで実行しても良いし、或いは全体を遠隔のコンピュータ又はサーバで実行しても良い。後者のシナリオでは、遠隔のコンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）など任意のタイプのネットワークを介してユーザのコンピュータに接続することができる。或いは、この接続は、（例えばインターネットサービスプロバイダによってインターネットを介して）外部のコンピュータに対して行うこともできる。

[00171]上記では、本発明の実施形態による方法、装置（システム）及びコンピュータプログラム製品の流れ図及び／又はブロック図を参照して、本発明の態様について述べた。これらの流れ図及び／又はブロック図の各ブロック、並びにこれらの流れ図及び／又はブロック図のブロックの組合せは、コンピュータプログラム命令によって実施することができることを理解されたい。これらのコンピュータプログラム命令を、汎用コンピュータ、特殊目的コンピュータ、又はその他のプログラマブルデータ処理装置のプロセッサに導入してマシンを構築し、これらの命令がそのコンピュータ又はその他のプログラマブルデータ処理装置のプロセッサによって実行されることで、流れ図及び／又はブロック図の１つ又は複数のブロックで指定された機能／動作を実施する手段を構成することができる。

[00172]また、コンピュータ、その他のプログラマブルデータ処理装置又はその他のデバイスを特定の方法で機能させることができるこれらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶して、コンピュータ可読媒体に記憶された命令が、流れ図及び／又はブロック図の１つ又は複数のブロックで指定された機能／動作を実施する命令を含む製品となるようにすることもできる。

[00173]また、コンピュータプログラム命令を、コンピュータ、その他のプログラマブルデータ処理装置又はその他のデバイスにロードして、そのコンピュータ、その他のプログラマブルデータ処理装置又はその他のデバイス上で一連の動作ステップを実行させてコンピュータ実施プロセスを構築して、そのコンピュータ又はその他のプログラマブル装置で実行されたそれらの命令が、流れ図及び／又はブロック図の１つ又は複数のブロックで指定された機能／動作を実施するプロセスを構築するようにすることもできる。

[00174]図面の流れ図及びブロック図は、本発明の様々な実施形態によるシステム、方法及びコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能及び動作を示している。この点で、流れ図又はブロック図の各ブロックは、そこに指定された１つ又は複数の論理機能を実施するための１つ又は複数の実行可能命令を含むコードのモジュール、セグメント又は一部分を表すことができる。いくつかの代替実施態様では、ブロックに記される機能が、図面に記される順序とは異なる順序で起こることもある。例えば、連続して示してある２つのブロックが、実際には、ほぼ同時に実行されたり、或いはそれに関連する機能に応じて、時には逆の順序で実行されたりすることもある。ブロック図及び／又は流れ図の各ブロック、並びにブロック図及び／又は流れ図の複数のブロックの組合せは、そこに指定された機能又は動作、或いは特殊目的ハードウェア及びコンピュータの命令の組合せを実行する特殊目的ハードウェア型システムによって実施することができる。

[00175]上記の説明は本発明の実施形態を対象としているが、本発明のその他のさらなる実施形態も、本発明の基本範囲を逸脱することなく考案することができ、本発明の範囲は、以下の特許請求の範囲によって決定される。

Claims (44)

1. 第１のインタラクティブ型デバイスと、
   動作を実行するように構成された制御論理とを備え、前記動作が、
   ユーザと１つ又は複数のインタラクティブ型デバイスとの間の過去のインタラクションを記述する履歴データを受信するステップと、
   前記第１のインタラクティブ型デバイスを１つ又は複数のインタラクティブ型イベントによって構成するステップであり、各インタラクティブ型イベントが、（ｉ）刺激イベント、及び（ｉｉ）前記刺激イベントの発生に応答して実行するアクションを含み、前記１つ又は複数のインタラクティブ型イベントのうちの少なくとも１つが、前記受信した履歴データに基づくものであるステップと、
   前記１つ又は複数の刺激イベントのうちの第１の刺激イベントの発生を検出したのに応答して、前記第１のインタラクティブ型デバイスに対応するアクションを実行させるステップと、
   前記第１のインタラクティブ型デバイスを第２の１つ又は複数のインタラクティブ型イベントで更新するステップと
   を含む、システム。
2. 前記第１の刺激イベントが、既定のシグナチャに一致する環境音声データを含み、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させる前記ステップが、
   前記１つ又は複数のインタラクティブ型デバイスのうちの少なくとも１つの１つ又は複数のマイクロフォンデバイスを用いて環境音声データを収集するサブステップと、
   前記環境音声データが前記既定のシグナチャに一致すると判定し、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させるサブステップとをさらに含む、請求項１に記載のシステム。
3. 前記環境音声データが、ユーザの発語に対応し、前記既定のシグナチャが、１つ又は複数の発せられた単語に対応する、請求項２に記載のシステム。
4. 前記第１の刺激イベントが、前記第１のインタラクティブ型デバイスの物理的環境内で実行されるアクションを含み、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させる前記ステップが、
   前記第１のインタラクティブ型デバイスの前記物理的環境をモニタリングして、前記実行されたアクションの発生を検出するサブステップをさらに含む、請求項１に記載のシステム。
5. 前記履歴データが、前記ユーザと前記１つ又は複数のインタラクティブ型デバイスとの間の以前のインタラクションの特徴を示し、第１のインタラクティブ型デバイスを１つ又は複数のインタラクティブ型イベントによって構成する前記ステップが、
   前記ユーザと前記１つ又は複数のインタラクティブ型デバイスとの間の以前のインタラクションの特徴を示す前記履歴データに基づいて、前記１つ又は複数のインタラクティブ型イベントを決定するサブステップをさらに含む、請求項１に記載のシステム。
6. 前記１つ又は複数のインタラクティブ型イベントのうちの１つのアクションが、前記履歴データに基づいて動的に決定される、請求項５に記載のシステム。
7. 前記第１の刺激イベントが、既定のユーザアクションを含み、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させる前記ステップが、
   前記ユーザの挙動をモニタリングして、前記ユーザが前記既定のユーザアクションを実行したときにそのことを検出するサブステップと、
   それに応答して、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させるサブステップとをさらに含む、請求項１に記載のシステム。
8. 前記ユーザの挙動をモニタリングするサブステップが、前記１つ又は複数のインタラクティブ型デバイスのうちの少なくとも１つのカメラデバイス、マイクロフォンデバイス、及び加速度計のうちの少なくとも１つから受信されるデータに基づく、請求項７に記載のシステム。
9. 前記第１の刺激イベントが、前記ユーザが既定の位置に到達することを含み、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させる前記ステップが、
   物理的環境内の前記ユーザの位置をモニタリングするサブステップと、
   前記ユーザの位置が前記既定の位置と一致したことを検出したときに、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させるサブステップとをさらに含む、請求項１に記載のシステム。
10. 物理的環境内の前記ユーザの位置をモニタリングする前記サブステップが、カメラデバイス、全地球測位システム（ＧＰＳ）デバイス、距離測定デバイス、距離決定アルゴリズム、及びマイクロフォンのうちの少なくとも１つから受信されたデータに基づく、請求項９に記載のシステム。
11. 前記第１の刺激イベントが、前記第１のインタラクティブ型デバイスが、前記ユーザから既定の距離内に入ってくることを含み、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させる前記ステップが、
    前記ユーザと前記第１のインタラクティブ型デバイスとの間の距離をモニタリングするサブステップと、
    前記第１のインタラクティブ型デバイスが前記ユーザから前記既定の距離内に入ったと判定したときに、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させるサブステップとをさらに含む、請求項１に記載のシステム。
12. 前記第１の刺激イベントが、前記第１のインタラクティブ型デバイスが既定の位置に到達することを含み、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させる前記ステップが、
    物理的環境内の前記第１のインタラクティブ型デバイスの位置をモニタリングするサブステップと、
    前記第１のインタラクティブ型デバイスの位置が前記既定の位置と一致していることを検出したときに、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させるサブステップとをさらに含む、請求項１に記載のシステム。
13. 物理的環境内の前記第１のインタラクティブ型デバイスの位置をモニタリングする前記サブステップが、カメラデバイス、全地球測位システム（ＧＰＳ）デバイス、距離測定デバイス、距離決定アルゴリズム、及びマイクロフォンのうちの少なくとも１つから受信されたデータに基づく、請求項９に記載のシステム。
14. 前記１つ又は複数のインタラクティブ型イベントが、時刻、曜日、日付、及びカレンダエントリのうちの少なくとも１つに基づいて動的に決定される、請求項１に記載のシステム。
15. 前記インタラクティブ型イベントのうちの前記少なくとも１つが、前記受信した履歴データ内の挙動パターンに基づいて動的に決定される、請求項１に記載のシステム。
16. 前記第１の刺激イベントが、仮想世界及び拡張現実空間のうちの少なくとも１つの中でのイベントの発生を含み、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させる前記ステップが、
    前記仮想世界及び前記拡張現実空間のうちの少なくとも１つの中で前記イベントが発生したと判定したときに、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させるサブステップをさらに含む、請求項１に記載のシステム。
17. 前記第１の刺激イベントが、第２のインタラクティブ型デバイスが特定のアクションを実行することを含み、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させる前記ステップが、
    前記第２のインタラクティブ型デバイスが前記特定のアクションを実行したと判定したときに、前記第１のインタラクティブ型デバイスに前記対応するアクションを実行させるサブステップをさらに含む、請求項１に記載のシステム。
18. 前記インタラクティブ型イベントのうちの１つのアクションが、前記第１のインタラクティブ型デバイスが動くこと、前記第１のインタラクティブ型デバイスにおいて音声効果を出力すること、前記第１のインタラクティブ型デバイスにおいて対話を出力すること、及び前記第１のインタラクティブ型デバイスにおいて視覚効果を実行することのうちの少なくとも１つを含む、請求項１に記載のシステム。
19. ユーザと１つ又は複数のインタラクティブ型デバイスとの間の過去のインタラクションを記述する履歴データを受信するステップと、
    第１のインタラクティブ型デバイスを１つ又は複数のインタラクティブ型イベントによって構成するステップであり、各インタラクティブ型イベントが、（ｉ）刺激イベント、及び（ｉｉ）前記刺激イベントの発生に応答して実行するアクションを含み、前記１つ又は複数のインタラクティブ型イベントのうちの少なくとも１つが、前記受信した履歴データに基づくものであるステップと、
    前記１つ又は複数の刺激イベントのうちの第１の刺激イベントの発生を検出したのに応答して、前記第１のインタラクティブ型デバイスに対応するアクションを実行させるステップと、
    前記第１のインタラクティブ型デバイスを第２の１つ又は複数のインタラクティブ型イベントで更新するステップと
    を含む、方法。
20. 実行されたときに、
    ユーザと１つ又は複数のインタラクティブ型デバイスとの間の過去のインタラクションを記述する履歴データを受信するステップと、
    第１のインタラクティブ型デバイスを１つ又は複数のインタラクティブ型イベントによって構成するステップであり、各インタラクティブ型イベントが、（ｉ）刺激イベント、及び（ｉｉ）前記刺激イベントの発生に応答して実行するアクションを含み、前記１つ又は複数のインタラクティブ型イベントのうちの少なくとも１つが、前記受信した履歴データに基づくものであるステップと、
    前記１つ又は複数の刺激イベントのうちの第１の刺激イベントの発生を検出したのに応答して、前記第１のインタラクティブ型デバイスに対応するアクションを実行させるステップと、
    前記第１のインタラクティブ型デバイスを第２の１つ又は複数のインタラクティブ型イベントで更新するステップと
    を含む動作を実行するプログラムを格納した、非過渡的なコンピュータ可読媒体。
21. 物理的オブジェクトの位置をモニタリングして、前記物理的オブジェクトが物理的環境内の既定の位置に到達したときにそのことを検出するステップであり、前記物理的オブジェクトが、前記物理的環境内を第１の方向に第１の速度で移動しているステップと、
    前記物理的オブジェクトが前記既定の位置に到達したことを検出したときに、前記物理的オブジェクトの仮想描写を仮想世界の中に出現させて、前記物理的オブジェクトの前記仮想描写が前記仮想世界の中で前記第１の方向に前記第１の速度で移動しているようにするステップとを含む、方法。
22. 前記物理的オブジェクトの仮想描写を仮想世界の中に出現させる前記ステップが、
    前記仮想世界の中を前記第１の方向に前記第１の速度で移動している前記物理的オブジェクトの前記仮想描写を含む一連のフレームを描画するサブステップと、
    前記描画した一連のフレームを表面上に投影して表示するサブステップとをさらに含む、請求項２１に記載の方法。
23. 前記物理的オブジェクトの前記仮想描写が第２の方向に第２の速度で進行している間に前記仮想世界の中の既定の位置に到達したことを検出したときに、前記物理的オブジェクトを、前記物理的環境の中で前記第２の方向に前記第２の速度で移動させるステップをさらに含む、請求項２２に記載の方法。
24. 前記既定の位置が、回転可能機構を有する物理的筐体内であり、
    前記回転可能機構を起動して、前記物理的オブジェクトを第１の配向から第２の配向に回転させるステップをさらに含む、請求項２１に記載の方法。
25. 前記物理的オブジェクトが、玩具の車両を含み、前記玩具の車両が、物理的レーストラックに沿って移動するように構成され、前記回転可能機構が、前記玩具の車両を前記物理的レーストラックの第１の部分から前記物理的レーストラックの第２の部分まで回転させるように構成される、請求項２４に記載の方法。
26. 前記物理的オブジェクトの前記描写が、仮想車両を含み、前記仮想車両が、仮想レーストラックに沿って移動するように構成される、請求項２５に記載の方法。
27. 物理的オブジェクトの位置をモニタリングして前記物理的オブジェクトが物理的環境内の既定の位置に到達したときにそのことを検出する前記ステップが、
    前記物理的オブジェクトが第１のセンサデバイスを通過したことを示す通知を受信するサブステップをさらに含む、請求項２１に記載の方法。
28. 制御デバイスに対する１つ又は複数の入力に基づいて、前記物理的オブジェクトの動きを制御するステップと、
    前記物理的オブジェクトが前記既定の位置に到達したことを検出したときに、前記制御デバイスに対する入力に基づいて、前記仮想世界の中での前記物理的オブジェクトの前記仮想描写の動きを制御するステップとをさらに含む、請求項２１に記載の方法。
29. 仮想オブジェクトの位置をモニタリングして、前記仮想オブジェクトが仮想世界の中の既定の位置に到達したときにそのことを検出するステップであり、前記仮想オブジェクトが、前記仮想世界の中を第１の方向に第１の速度で移動しているステップと、
    前記仮想オブジェクトが前記既定の位置に到達したことを検出したときに、物理的オブジェクトに、物理的環境内で前記第１の方向に前記第１の速度で移動を開始させるステップとを含む、方法。
30. 前記物理的オブジェクトが第２の方向に第２の速度で進行している間に前記物理的環境内の既定の位置に到達したことを検出したときに、前記仮想オブジェクトを、前記仮想世界の中で前記第２の方向に前記第２の速度で移動させるステップをさらに含む、請求項２９に記載の方法。
31. 前記物理的環境内の前記既定の位置が、回転可能機構を有する物理的筐体を含み、
    前記回転可能機構を起動して、前記物理的オブジェクトを第１の配向から第２の配向に回転させるステップをさらに含む、請求項３０に記載の方法。
32. 前記物理的オブジェクトが、玩具の車両を含み、前記玩具の車両が、物理的レーストラックに沿って移動するように構成され、前記回転可能機構が、前記玩具の車両を前記物理的レーストラックの第１の部分から前記物理的レーストラックの第２の部分まで回転させるように構成される、請求項３１に記載の方法。
33. 前記物理的オブジェクトの前記描写が、仮想車両を含み、前記仮想車両が、仮想レーストラックに沿って移動するように構成される、請求項３２に記載の方法。
34. 制御デバイスに対する１つ又は複数の入力に基づいて、前記物理的オブジェクトの動きを制御するステップと、
    前記物理的オブジェクトが前記既定の位置に到達したことを検出したときに、前記制御デバイスに対する入力に基づいて、前記仮想世界の中での前記物理的オブジェクトの前記仮想描写の動きを制御するステップとをさらに含む、請求項２９に記載の方法。
35. マジックミラー部分を有する筐体であり、前記マジックミラー部分が鏡状の外側及び透明な内側を備える筐体と、
    前記筐体内に配置された、前記マジックミラー部分を通して見ることができる画像を提示するように構成された可視部分を有する表示デバイスと、
    前記筐体内に配置されたスピーカデバイスと、
    画像を取り込み、前記取り込んだ画像を電子信号に変換するように構成されたカメラセンサと、
    音声を取り込み、前記取り込んだ音声を音声データに変換するように構成されたマイクロフォンデバイスと、
    ネットワークデータを受信及び伝送するように構成されたネットワークアダプタと、
    前記カメラセンサから取り込まれた画像をビデオデータに符号化し、前記マイクロフォンデバイスから取り込まれた前記音声データを符号化し、前記ビデオデータ及び前記符号化した音声データを、遠隔デバイスに表示するために前記ネットワークアダプタを用いて伝送するように構成されたエンコーダ論理と、
    前記遠隔デバイスから前記ネットワークアダプタを介して受信した音声データ及びビデオデータを復号するように構成されたデコーダ論理であり、前記復号したビデオデータを前記表示デバイスを用いて表示されるように出力し、前記復号した音声データを前記スピーカデバイスを用いて聴覚的に出力するデコーダ論理とを備える、装置。
36. 前記カメラセンサが、前記マジックミラー部分を通して見えず、前記表示デバイスの前記可視部分が、照明されたときのみ前記マジックミラー部分を通して見える、請求項３５に記載の装置。
37. 前記カメラセンサが、前記マジックミラー部分を通して画像を取り込むように前記筐体内で位置決めされる、請求項３５に記載の装置。
38. 前記ネットワークアダプタが、ＩＥＥＥ８０２．１１プロトコルに従ってネットワークデータを伝送するように構成された無線ネットワークアダプタを含む、請求項３５に記載の装置。
39. 前記筐体が、不透明な残りの部分をさらに含む、請求項３５に記載の装置。
40. 前記表示デバイスが、タッチスクリーン表示デバイスであり、
    前記タッチスクリーンディスプレイからの接触入力を受信して解釈する論理をさらに備える、請求項３５に記載の装置。
41. 前記装置を片手で保持するのに適したハンドルをさらに備える、請求項３５に記載の装置。
42. １つ又は複数のマイクロフォンデバイスと、
    前記１つ又は複数のマイクロフォンデバイスからの音声データを解釈する動作を実行するように構成された論理とをさらに備え、前記動作が、
    １つ又は複数の聴覚的に発せられた陳述に関する音声データを受信するステップと、
    前記受信した音声データを解釈して、前記１つ又は複数の聴覚的に発せられた陳述に対応する１つ又は複数のコマンドを決定するステップと、
    前記１つ又は複数のコマンドを実行して、前記装置の挙動に影響を及ぼすステップと
    を含む、請求項３５に記載の装置。
43. 前記１つ又は複数のコマンドが、遠隔デバイスとのビデオ会議セッションを開始すること、及び前記遠隔デバイスとのビデオ会議セッションを終了することのうちの少なくとも１つを含む、請求項４２に記載の装置。
44. 手持ち式装置であって、
    マジックミラー部分を有する筐体であり、前記マジックミラー部分が鏡状の外側及び透明な内側を備える筐体と、
    前記筐体に結合された、前記手持ち式装置を直立させた状態で片手で保持するように構成されたハンドルと、
    前記筐体内に配置された、前記マジックミラー部分を通して見ることができる画像を提示するように構成された可視部分を有する表示デバイスと、
    前記筐体内に配置されたスピーカデバイスと、
    画像を取り込み、前記取り込んだ画像を電子信号に変換するように構成されたカメラセンサと、
    音声を取り込み、前記取り込んだ音声を音声データに変換するように構成されたマイクロフォンデバイスと、
    ネットワークデータを受信及び伝送するように構成されたネットワークアダプタと、
    前記カメラセンサから取り込まれた画像をビデオデータに符号化し、前記マイクロフォンデバイスから取り込まれた前記音声データを符号化し、前記ビデオデータ及び前記符号化した音声データを、遠隔デバイスに表示するために前記ネットワークアダプタを用いて伝送するように構成されたエンコーダ論理と、
    前記遠隔デバイスから前記ネットワークアダプタを介して受信した音声データ及びビデオデータを復号するように構成されたデコーダ論理であり、前記復号したビデオデータを前記表示デバイスを用いて表示されるように出力し、前記復号した音声データを前記スピーカデバイスを用いて聴覚的に出力するデコーダ論理とを備える、手持ち式装置。

Images