JP2022502937A - 特殊効果通信技術 - Google Patents

Abstract

特殊効果通信システム１０は、第１の位置にある第１のユーザの１又は２以上の画像又は印象に基づいて、第１のデータセットを生成する第１の位置のカメラシステムを含むことができる。特殊効果通信システム１０はまた、カメラシステム及び特殊効果システム６８に通信可能に結合された制御システム６６を含むことができる。制御システム６６は、第２の位置に存在する第２のユーザ又は第１のユーザが第１の位置に存在する間の１又は２以上の位置にある１又は２以上のユーザに対応する第２のデータセットを受信することができる。制御システム６６はまた、１又は２以上の制御信号を提供して、第１の位置の特殊効果システム６８に特殊効果を生成させ、特殊効果材料及び／又は媒体を用いて第２のユーザの視覚的及び／又は聴覚的外観を提示することができる。【選択図】図１

Description

本開示は、一般に、通信技術に関し、より具体的には、通信システムのユーザに没入型及び／又は変形可能通信体験を提供するシステム及び方法に関する。

多くの通信システムは、第１のユーザが、異なる位置にいる第２のユーザと通信することを可能にする。会話の間、第１のユーザは、第２のユーザと話すことができ、場合によっては、音声及びビデオ通信デバイスを介して第２のユーザと視覚的及び聴覚的に通信することができる。通信システムは、これらのユーザが互いに通信することを可能にするにしても、通信システムは、没入型の通信体験をユーザに提供しない可能性がある。最新の電子機器及び通信技術の高度化及び複雑さが増すにつれて、改良されたより没入型及び／又は変形可能な通信体験が望まれる。

最初に請求項に記載された本発明の範囲内にある特定の実施形態について以下で要約する。これらの実施形態は、本開示の範囲を限定することを意図したものではなく、発明の主題のある特定の実施形態の概要を提供することを単に意図したものである。実際に、発明の主題は、以下で記載される実施形態と同様又は異なるものとすることができる様々な形態を包含することができる。

１つの実施形態では、特殊効果通信システムは、第１の位置にある第１のユーザの１又は２以上の画像(images)に基づいて第１のデータセットを生成する第１の位置のカメラシステムを含むことができる。特殊効果通信システムはまた、第１の位置にて特殊効果材料(special effects material)を用いて特殊効果を生成する特殊効果システムを含むことができる。この特殊効果通信システムはまた、カメラシステム及び特殊効果システムに通信可能に結合された制御システムを含むことができる。この制御システムは、第１のユーザが第１の位置に存在する場合に、第２の位置に存在する第２のユーザに対応する第２のデータセットを受信することができる。制御システムはまた、１又は２以上の制御信号を提供して、第１の位置の特殊効果システムに特殊効果を生成させ、特殊効果材料を用いて第２のユーザの外観(likeness)を提示することができる。

別の実施形態では、特殊効果通信システムは、第１の位置にある第１のユーザの１又は２以上の画像を取り込む(capture)カメラシステム及び通信回路を含むことができる。この通信回路は、第１のユーザの１又は２以上の画像に対応する第１のデータセットを送信し且つ第２の位置にある第２のユーザの１又は２以上の画像に対応する第２のデータセットを宛先デバイス(destination device)から受信することができる。特殊効果通信システムはまた、第２のデータセットに基づいて１又は２以上の制御信号を生成して、物理的媒体の３次元操作(three-dimensional manipulation)を駆動して第２のユーザの外観を提示する特殊効果システムを含むことができる。

更に別の実施形態では、１つの方法が、第１の位置に関連付けられる第１の音声データ(first audio data)及び第１の画像データ(first image data)を含む第１のデータセットを取り込むステップと、全ての効果システムを制御する起点デバイス(origin device)又は中央デバイスと通信リンクを確立するステップと、を含むことができる。本方法はまた、第１のデータセットを起点デバイスに送信するステップと、第１のデータセットを送信している間に、第２の位置に関連付けられる第２の音声データ及び第２の画像データを含む第２のデータセットを受信するステップと、を含むことができる。本方法はまた、第２のデータセットに少なくとも一部基づいて、１又は２以上の制御信号を生成するステップと、１又は２以上の制御信号に少なくとも一部基づいて、物理的媒体の３次元操作を駆動するステップと、を含むことができる。

本開示のこれら及び他の特徴、態様、及び利点は、図面全体を通じて同様の参照符号が同様の要素を示す添付図面を参照しながら以下の詳細な説明を読むと更に理解できるであろう。

本開示の態様による、１又は２以上の特殊効果と共に第１のユーザの外観を受信及び表示する第２の特殊効果通信システムに第１のユーザの外観を送信する第１の特殊効果通信システムを示す図である。 本開示の態様による、１又は２以上の特殊効果と共に第１のユーザの外観を送信している間に第２のユーザの外観を受信及び表示する図１の第１の特殊効果通信システムを示す図である。 本開示の態様による、１又は２以上の特殊効果と共に第２のユーザの外観を送信している間に第１のユーザの外観を受信する図１の第２の特殊効果通信システムを示す図である。 本開示の態様による、１又は２以上の特殊効果と共に第２のユーザの外観を送信している間に第１のユーザの外観を受信及び表示する図１の第２の特殊効果通信システムの実施形態を示す図である。 本開示の態様による図１の特殊効果通信システムを示すブロック図である。 本開示の態様による没入型及び／又は変形可能通信システムを提供する処理を示す流れ図である。

本開示の１又は２以上の特定の実施形態について、以下で説明する。これらの実施形態の簡潔な説明を提供する目的で、本明細書では実際の実施構成の特徴の全てを説明するとは限らない場合がある。このような何れかの実際の実施構成の開発において、何らかの工学プロジェクト又は設計プロジェクトと同様に、開発者の特定の目標を達成するためには、実施構成毎に異なる可能性があるシステム関連及び事業に関連する制約条件への準拠等、数多くの実施構成特有の判断を行わなければならない点を理解されたい。更に、かかる開発の取り組みは、複雑で時間を要する可能性があるが、それにも関わらず、本開示の利益を有する当業者にとっては設計、加工及び製造の日常的な業務であることを理解されたい。

通信システムは、インスタントメッセージング機能、感覚又は感情を伝えるために顔文字を文章に加える能力、ビデオ通信の選択肢又は同様のものなどの様々な通信体験を含むことができる。これらの様々な通信体験は、通信システムとのユーザ体験を拡張することができる。例えば、顔文字は、単なるテキストベースの通信システムを介した感情的通信を容易にすることができ、ユーザと異なるユーザとの間の会話を拡張することによって、通信システムとのユーザ体験を拡張する。しかしながら、これらの通信システムは、副没入型の通信体験の提供を継続することができる。従って、没入型及び／又は変形可能な通信体験を通信システムのユーザに提供し、ユーザ間の会話及びユーザ体験全体の品質を改良することが望ましいとすることができる。

従って、本開示は、材料動作(material actuation)、センサデータ、及び／又は特殊効果を利用して会話の品質を向上させ、通信システムのユーザ間のユーザ体験を拡張するシステム及び方法に関する。より詳細には、本開示は、１又は２以上の取り込み及び表示システム（例えば、画像、ビデオ又は空間取り込みシステム、プロジェクションシステム）を含む特殊効果通信システムに関する。取り込み及びプロジェクションシステムは、ユーザ間の会話の品質の向上を容易にすることができ、通信している第２のユーザのそれぞれの環境に第１のユーザを没入させることができる。ユーザが通信している相手の環境にユーザを没入させることによって、第１の位置にある第１のユーザは、会話中である第２のユーザに対応する第２の位置にて没入しているイルージョンを少なくとも一部体験することができる。このように、第２のユーザは、第１のユーザの投影又は印象(impression)を受け取って通信を向上させ、第２のユーザを更に会話に没入させることができる（例えば、第１のユーザが第２のユーザと対話している環境にいることを第２のユーザに少なくとも部分的に信じさせることによって）。例えば、第１のユーザが牧草地にいる場合、第２のユーザは、音声／ビデオ通信を用いて牧草地の景色及び音声を体験できるだけでなく、特殊効果通信システムはまた、第１のユーザの環境の一部が第１のユーザと共に移動し及び第１のユーザが物理的に存在し且つリモート位置の音声／視覚ディスプレイを介して単に見えるだけではないというイルージョンを提供する、第２のユーザのための風の影響及び嗅覚効果をトリガすることができる。

１つの実施形態では、起点にある特殊効果通信システムは、宛先デバイス（例えば、第２の特殊効果通信システム）と通信リンクを確立する。確立された通信リンクに応答して、起点の特殊効果通信システム又は宛先特殊効果通信システムの１つ又は両方は、音声データ、画像データ、及び実施形態において、追加のセンサデータを互いに送信することができ、それぞれのユーザの外観（例えば、視覚的描写及び関連付けられる音声及び／又は環境状態）を伝達及び伝達することができる。音声データは、画像データとほぼ同時に及び１又は２以上の特殊効果と共に送信及び提示（例えば、音声で再生）され、没入型及び／又は変形可能通信体験を特殊効果通信システムの一方又は両方のユーザに提供する。更に、ユーザの１人又は両方（すなわち、起点又は宛先）の外観は、同時特殊効果を拡張する方式で表示又は投影することができる。例えば、特殊効果通信システムのユーザの外観は、火(fire)、水、霧、パテ、立体ディスプレイ、及び／又はホログラフィックディスプレイ、又は何れかの適切な物理的材料又は媒体の操作を介して起点又は宛先デバイスで生成して、宛先デバイスのユーザに外観を提示することができる。これらの実施例では、追加のセンサデータ及び／又は特殊効果通信システムによって生成される特殊効果は、水に対するミスト及び冷気或いは火に対する暖気及び追加の音声（例えば、パチパチという音）など、物理的媒体の温度又は品質を伝えることができる。加えて、一部の実施形態は、画像データに基づいて様々な制御信号を生成することができる。この制御信号を用いて、物理的媒体及び／又は構成要素の作動を操作することができる。例えば、複数のピン又は空気袋（例えば、プラスチックの中に包含される空気）を制御信号に応じて作動及び変更することができ、ここで、一部の実施形態では、複数のピン又は空気袋が可撓性及び／又は伸縮性材料（例えば、ラバースキン、繊維、革）で覆われている。このようにして、可撓性材料が形成されて、制御信号に基づく作動に応答して動いているように見え、特殊効果通信システムのユーザに関連付けられる（例えば、頭部の動き及び／又は顔の表情に関連付けられる、会話に関連付けられる）動きを伝達するために用いられ、物理的媒体においてレンダリングされるユーザのアバターと話しているイルージョンを提供することができる。

理解できるように、一部の実施形態では、宛先デバイスがユーザを持たない可能性があり、従って宛先デバイスの周囲の環境の外観は、特殊効果通信システムに送信することができる。例えば、空き室に関連付けられる外観は、対応するユーザに提示するために特殊効果通信システムに送信することができる。理解できるように、通信リンキングを開始する特殊効果通信システムは、特殊効果を提示しない可能性がある。代わりに、宛先デバイスとして作用する特殊効果通信システムは、特殊効果を提示することができる。

特定の実施形態では、開示する特殊効果通信システムは、アミューズメント又はテーマパークなどの娯楽会場内で提供される。テーマパークは、没入型及び／又は変形可能体験を拡張する印象的な効果に関連付けることができる制御された環境を提供する。すなわち、特定のアトラクション環境は、特殊効果通信システムのユーザに少なくとも一部再生成される氷、火、煙、光、及び他の知覚テーマ要素を有し、環境内に存在する感覚及び／又は環境内の個人と通信する感覚をユーザに提供することができる。従って、本開示の特定の実施形態は、娯楽の物語の一部であり且つユーザの没入型及び／又は変形可能な娯楽体験を拡張する特殊効果の関連で開示される。１つの実施形態では、ユーザは、様々な物理的特徴を有し且つ架空の惑星の環境で作動するエイリアンなど、テーマパーク内のアトラクションに関連付けられるキャラクタを選ぶことができる。従って、通信効果及び特殊効果が選択され、所望の物語を拡張するために呼応して作動する。他の物語環境に合うように通信効果及び特殊効果を選択できること及び描写されたエイリアンの物語は、単に例示であることを理解すべきである。

ここで図を参照すると、図１は、１又は２以上の特殊効果通信システム１０（例えば、第１の特殊効果通信システム１０Ａ）を含むシステム２０の実施形態の図である。第１の特殊効果通信システム１０Ａは、第１の特殊効果通信システム１０Ａの位置に位置付けられた第１のユーザの外観を取り込み且つ第２の特殊効果通信システム１０Ｂに送信する１又は２以上の取り込み及びディスプレイシステム１２（例えば、取り込み／ディスプレイシステム１２）を含むことができる。図示した例では、第１のユーザは、第１のユーザが第２の位置に運ばれるであろう物語を拡張するプラットフォームに位置付けられる。第２の位置の第２の特殊効果通信システム１０Ｂは、第１のユーザの外観を示すデータセットを受信することができ、データセットを用いて画像(image)１４を提示するよう作動することができ、第１のユーザの外観を第２のユーザに表示又は他の方法で伝達する。画像１４は、本明細書で提供されるサポートする特殊効果に呼応して提示することができる。更に、所望の物語又はイルージョン効果に応じて、システム２０は、外観を処理又は変更してイルージョンを第２のユーザに提示することができる。例えば、画像は、延伸又は縁部で徐々に消えていく第１のユーザの顔の特徴を提示して、ホログラフィックディスプレイ又はライトビームで運ばれていくユーザのイルージョンを拡張することができる。他の実施形態では、表示された画像は、第１のユーザからの抽出された顔特徴に基づくことができる。システム２０は、これらの抽出された特徴をユーザに似せた所望のキャラクタアバター（例えば、物語からのキャラクタ）の一部に組み入れることができる。特定のキャラクタアバターは、ひと吹きの煙で出現／消失など、特定の特殊効果に関連付けることができ、及びアバターの画像の表示及び特殊効果のトリガ（例えば、プロジェクションの周りの煙の放出）の組み合わせは、通信の特定の物語特徴を拡張することができる。図示した実施形態では、ユーザは、宛先側又は第２の特殊効果通信システム１０Ｂのエイリアンとしてレンダリング又は提示され、且つフォグビーム特殊効果によって囲まれている。

第１の特殊効果通信システム１０Ａから第２の特殊効果通信システム１０Ｂに送信される第１のユーザの外観は、何れかの適切なデジタルデータ及び／又はアナログデータを含み、限定ではないが、画像データ、音声データ、センサデータなどを含む第１のユーザの容貌及び／又は存在を伝達することができる。このように、第１のユーザに対応する画像データを、第２の特殊効果通信システム１０Ｂによって、音声データ、センサデータ、又は何れかの他の適切なデジタルデータ及び／又はアナログデータとほぼ同時に送信して、第１のユーザの容貌及び／又は存在を第２のユーザに伝達することができる。同様に、第２の特殊効果通信システム１０Ｂは、第２のユーザの外観を取り込み第１のユーザに送信することができる。

図示のように、第１のユーザは、第１の特殊効果通信システム１０Ａ内又はこれに隣接して位置付けられる。第１のユーザの存在の検出に応答して、第１の特殊効果通信システム１０Ａは、第２の特殊効果通信システム１０Ｂとの通信リンク（例えば、開始した通信）を確立することができる。通信リンクが特殊効果通信システム１０の間で確立されたときに、ユーザの一方又は両方の外観が、特殊効果通信システム１０間で送信される。従って、第１の特殊効果通信システム１０Ａは、第１のユーザの外観を第２の特殊効果通信システム１０Ｂに送信する間に第２のユーザの外観に関連付けられるデータを受信する。特殊効果通信システム１０（例えば、１０Ａ、１０Ｂ）の間で送信されるデータは、温度センサデータなどの特殊効果を提供するために用いられるデータを含み、ユーザの１人に各それぞれのユーザの位置に対応する周囲環境温度を伝えることができる。特殊効果サブシステムへの入力として提供することができるデータの他の例は、位置追跡データ、湿度又は湿気データ、圧力データ、環境状態を伝えるための何れかの適切なデータなどを含むことができる。

第１の特殊効果通信システム１０Ａ及び第２の特殊効果通信システム１０Ｂは、システム２０のリアルタイムグラフィックエンジン１６Ｃを介して１又は２以上のデータセットを送信することができる。１又は２以上のデータセットはまた、宛先識別子、発信元識別子、イルージョン識別子などを含む様々な適切なメタデータを含み、データセットの送信及び／又は処理を容易にして１又は２以上のユーザに対する没入型及び／又は変形可能娯楽体験を提供することができる。リアルタイムグラフィックエンジン１６Ｃ、第１の特殊効果通信システム１０Ａ、及び／又は第２の特殊効果通信システム１０Ｂは、各々が処理回路及びメモリ回路を含み、特殊効果通信システム１０の間で送信される１又は２以上のデータセットを処理することができる。この処理回路を用いて、プログラムの実行、命令の実行、入力の解釈、制御信号の生成、及び／又は他の同様の機能を実行することができる。メモリ回路を用いて、データ、プログラム、命令などを格納することができる。他の実施形態では、処理及びメモリ機能は、中央コントローラに少なくとも一部存在させることができる。加えて、特殊効果通信システム１０は、一部の実施形態では、各々がそれぞれのリアルタイムグラフィックエンジン１６（例えば、１６Ａ、１６Ｂ）を含むことができる。従って、特殊効果通信システム１０の１つは、リアルタイムグラフィックエンジン１６を用いて、１又は２以上のデータセットを特殊効果通信システム１０のその他に送信する前に、１又は２以上のデータセットの改変、処理、修正、調節などを行うことができる。

データセット（例えば、音声データ、画像データ、及び追加センサデータ）は、通信ネットワーク１８を介して構成要素間で送信することができる。通信ネットワーク１８は、何れの数の入力／出力（Ｉ／Ｏ）インタフェース及び／又はネットワークインタフェースも含むことができる。このような通信ネットワークは、Ｂｌｕｅｔｏｏｔｈなどのパーソナルエリアネットワーク（ＰＡＮ）、Ｗｉ−Ｆｉなどのローカルエリアネットワーク（ＬＡＮ）又は無線ローカルエリアネットワーク（ＷＬＡＮ）、及び／又はセルラーネットワークなどのワイドエリアネットワーク（ＷＡＮ）などの様々な有線又は無線ネットワークを通じたデータ送信を可能にすることができる。一部の実施形態では、第２の特殊効果通信システム１０Ｂのメモリ回路は、第１の特殊効果通信システム１０Ａにデータセットを送信する前にある持続時間１又は２以上のデータセットを格納することができる。従って、一部の実施形態では、第１の特殊効果通信システム１０Ａは、事前に記録されたリスニング及び／又はビューイング体験を第１の特殊効果通信システム１０Ａのユーザに提供することができる。

一部の実施形態では、第２の特殊効果通信システム１０Ｂは、特殊効果材料（例えば、物理的材料）を用いて第１のユーザの外観を生成する、又は第１のユーザの外観を作成する特殊効果システムを含む。第２の特殊効果通信システム１０Ｂを介した第１のユーザの３次元外観の提供に関連付けられるデータは、第１の特殊効果通信システム１０Ａによって又はリアルタイムグラフィックエンジン１６によって生成して、第２の特殊効果通信システム１０Ｂに送信することができ、又は第１の特殊効果通信システム１０Ａから受信したデータに応答して第２の特殊効果通信システム１０Ｂによってリアルタイムで生成することができる。例えば、第２の特殊効果通信システム１０Ｂは、１又は２以上の制御信号を受信して、レーザ又は霧の出力を変えるなどの物理的材料を操作して、第１のユーザの描写を生成することができる。図示のように、第２の特殊効果通信システム１０Ｂは、霧のスクリーン又は霧のビームに投影された第１のユーザの描写を提供するが、何れの適切な物理的材料も光の出力（例えば、プロジェクションシステム）と組み合わせて用いて、第１のユーザの３次元又は２次元画像を提供できることを理解されたい。例えば、火、水、霧、煙、パテなどを物理的材料として用いることができる。一般的には、第１のユーザ及び／又は第２のユーザの外観は、ユーザの１又は２以上の画像及び／又は印象に基づいて１又は２以上のイルージョンの一部として修正することができる。

図２は、第１のユーザの視野から一般的に取られる第１の特殊効果通信システム１０Ａの実施例を示す。図示のように、第１の特殊効果通信システム１０Ａは、第２の特殊効果通信システム１０Ｂとの通信リンクを前もって確立しており、従って第２のユーザの外観を受信している。上述のように、第２のユーザの外観を受信する間、第１の特殊効果通信システム１０Ａは、カメラセンサ、音声センサ、及び何れかの適切な追加のセンサの組み合わせから収集されたデータの送信を介して、第１のユーザの外観を同時に取り込み且つ送信する。

第１の特殊効果通信システム１０Ａは音声データ、画像データ、及び／又は追加のセンサデータを受信及び送信してユーザの外観を受信及び送信することができる。音声データは、第１の特殊効果通信システム１０Ａの内部の処理回路、又は通信ネットワーク１８を介して第１の特殊効果通信システム１０Ａに通信可能に結合された他の適切な回路によって解釈することができる。音声データを受信した場合、第１の特殊効果通信システム１０Ａは、音声データを処理（例えば、信号の完全性を改良するか又は出力のために音声データを準備する）し且つ音声データを（例えば、スピーカを介して）第１のユーザに提示して、第１のユーザと第２のユーザの間の通信を容易にすることができる。この処理は、第１のユーザに提示される第２のユーザの外観に基づいてイルージョンを促進する。このようにして、図示のように、第２のユーザ（例えば、人間）は、イルージョンとして又は歪められた様式（例えば、人間ではない、効果音声を有する、１又は２以上の人間以外の音を発するような、フィルタリング、音声認識音訳などから生成された、歪められた又は異なる特徴を有するエイリアン）で第１のユーザに示される。

同様に、画像データは、第１の特殊効果通信システム１０Ａ内部の処理回路又はリアルタイムグラフィックエンジン１６などの通信ネットワーク１８を介して、第１の特殊効果通信システム１０Ａに通信可能に結合された他の適切な回路によって受信及び／又は解釈することができる。この処理回路は、画像データを受信して１又は２以上の制御信号を生成して第１のユーザへの第２のユーザの外観の提示（例えば、提示例２８）を生じることができる。これらの制御信号は、画素、プロジェクションシステム、物理的媒体などを制御して、何れかの適切な物理的材料又は照明内、上、又はその外に第２のユーザの外観の提示を可能にすることができる。加えて、これらの制御信号は、追加のセンサデータに少なくとも一部基づいて生成することができる。例えば、追加のセンサデータは、第２の特殊効果通信システム１０Ｂの取り込み／表示システム１２Ｂに対する第２のユーザの向きを通信することができ、従って、第２のユーザの外観がどのように第１のユーザに提示されるかを変えるために用いることができる。追加のセンサデータはまた、第１のユーザに触れるために生成されたミストに関連付けられる温度出力を動的に調節するなどの第１の特殊効果通信システム１０Ａ内の特殊効果を促進するために用いることができる。

図示のように、取り込み／表示システム１２Ａは、第１の特殊効果通信システム１０Ａの近接距離内又は近接距離付近にある間に、第１のユーザの１又は２以上の画像を取り込む。第１の特殊効果通信システム１０Ａは、音声データ、画像データ、及び／又は追加のセンサデータを送信及び受信して、第１のユーザが第２のユーザと通信するのを可能にする。受信した画像データ及び追加のセンサデータに応答して、第１の特殊効果通信システム１０Ａの取り込み／表示システム１２Ａは、第２のユーザから音声データを出力するのとほぼ同時に第２のユーザの外観を提示するよう動作する。加えて、特殊効果システム３０Ａは、受信した音声データ及び画像データの出力中に１又は２以上の特殊効果をほぼ同時に出力することができ、１又は２以上の特殊効果は、ある位置にある周囲環境を第１のユーザに伝達するのを容易にする。このようにして、第１の特殊効果通信システム１０Ａは、没入型及び／又は変形可能な通信体験を第１のユーザに提供するよう動作する。特殊効果システム３０は、特殊効果材料又は物理的媒体（例えば、水、霧、煙、火、パテなど）の操作を所望のイルージョンを拡張する触覚、光、及び／又は音効果などの他の知覚効果と連動させて駆動することができる。

第１のユーザが第１の特殊効果通信システム１０Ａを用いている間、第２のユーザは、第２の特殊効果通信システム１０Ｂを用いることができる。図３は、第２のユーザの視野から一般的に取られた第２の特殊効果通信システム１０Ｂの実施例の図である。図示のように、第２の特殊効果通信システム１０Ｂは、第１の特殊効果通信システム１０Ａとの通信リンクを前もって確立しており、従って、第１のユーザの外観を受信する。上述のように、第１のユーザの外観を受信している間、第２の特殊効果通信システム１０Ｂは、カメラセンサ、音声センサ、及び何れかの適切な追加のセンサの組み合わせから収集されたデータの送信を介して、第２のユーザの外観を同時に取り込んで送信する。

第２の特殊効果通信システム１０Ｂは、取り込み及び表示システム１２Ｂ並びに特殊効果システム３０Ｂを含むことができる。両方の特殊効果通信システム１０は、特殊効果システム３０Ｂを含むことができるが、どのような時でも、特殊効果は、１人のユーザの外観と共に伝達することができることを理解されたい。特殊効果は、物理的媒体の中、上、又は外への投影が第２のユーザに提示されるのと同時に、第１のユーザに送信することができる。一部の実施形態では、１又は２以上の特殊効果は、各特殊効果通信システム１０を介して同時に送信することができる。従って、一部の実施形態では、両方の特殊効果通信システム１０は、それぞれのユーザに同時に特殊効果を送信しなくてもよい。しかしながら、一部の実施形態では、両方の特殊効果通信システム１０が１又は２以上の特殊効果をそれぞれのユーザに同時に送信することができ、１又は２以上の特殊効果は同じ又は異なるものとすることができる。

図示のように、図２に示した特殊効果は、図３に示した第２のユーザに提示される物理的媒体内、上、又は外への第１のユーザの投影とほぼ同時に提示される。第２の特殊効果通信システム１０Ｂは、霧の操作などの提示技術を介して第１のユーザの外観に基づくイルージョン（例えば、エイリアン）を第２のユーザに提示する。このように、第１のユーザの外観の３次元イルージョンが、画像投影を介して照明された霧の円錐（例えば、提示例４０）又は霧のスクリーン上に送信される。照明された霧の円錐上に画像投影を実行するように示されているが、理解されるように、何れかの適切な投影及び／又は提示方法及び／又は技術を用いて、第２の特殊効果通信システム１０Ｂを介して第１のユーザの外観を提供することができる。

ここで図２及び図３を参照すると、提示例４０は、図２の提示例２８とほぼ同時に起こることができる。つまり、図３の第２のユーザが第１のユーザの３次元投影を見ている間、例えば第１のユーザは、水のカーテンに投影された光のアレイを介して送信された第２のユーザの２次元投影を見ている。２次元投影は、追加の音声又は軽風（例えば、制御信号に応答して１又は２以上のファンによって開始される）などの特殊効果と同時に送信することができる。追加のセンサデータを用いて、第１のユーザが、第１のユーザの頭又は体を動かすときに、図３の３次元投影が第１のユーザの動きとほぼ同時に動くように第１のユーザの向きを追跡することができる。特殊効果、２次元投影、及び３次元投影の組み合わせは、両方のユーザをその会話に更に没入させることができ、従って会話を向上及び／又は拡張することができる。

図４は、一般的に第２のユーザの視野から取られた第２の特殊効果通信システム１０Ｂの別の実施例の図である。この第２の特殊効果通信システム１０Ｂの実施例は、壁面掛け式投影システム５２から現れる第１のユーザの３次元イルージョンの提示例５０を示す。３次元イルージョンの提示例５０は、第１の参加者の取り込まれた外観に基づく。取り込み／表示システム１２Ｂは、取り込まれた外観に関連付けられるデータセットを操作して、異なる外観のイルージョンを伝えることができる。この実施例では、第１のユーザ（例えば、人間）が、第２のユーザ（人間）に提示するためにエイリアン又は他の適切なイルージョンに変わる。上述のように、一部の実施形態では、第２の特殊効果通信システム１０Ｂは、第２のユーザへの第１のユーザ（例えば、リモートユーザ）の認識可能な代表的輪郭を形成するよう作動する、ピン、空気袋、又はパテなど、制御可能な物理的媒体に関連付けられる１又は２以上の項目を含む。１又は２以上の項目は、第１の特殊効果通信システム１０Ａから第２の特殊効果通信システム１０Ｂによって受信された画像データに応じて生成された制御信号に応答して作動する。

図示のように、第２の特殊効果通信システム１０Ｂは、第１の特殊効果通信システム１０Ａから画像データの少なくとも一部分を前もって受信しており、１又は２以上の項目を操作して、制御下で、又は信号を駆動又は制御し、画像データに基づいて作動させる。このように、１又は２以上の項目は、第１のユーザの３次元表現を作成している。追加のセンサデータを用いて、第１のユーザの向きを追跡することができ、従って、１又は２以上の出力される制御信号を調節し、動きに応答して１又は２以上の項目の作動を適切に調節するのに用いることができる。例えば、第１のユーザは、自らを取り込みシステムの近くに配向することができ、従って、取り込みシステムから離れて配向又は位置付けられたときとは異なる方式で、第２のユーザに提示することができる（例えば、相対的な位置を伝えるため）。

ここで図２〜３に関して図４を参照すると、提示例５０は、提示例２８と同時又はほぼ同様の時間に起こることができる。このようにして、第２の特殊効果通信システム１０Ｂは、画像データ、音声データ、空間データ、及び／又は追加のセンサデータ（例えば、取り込み／表示システム１２Ｂを介して）を第１の特殊効果通信システム１０Ａから同様のデータセットを受信するのと同時に第１の特殊効果通信システム１０Ａに送信することができる。更にまた、提示例５０は、第１の特殊効果通信システム１０Ａの特殊効果（又は複数の特殊効果）と同時に起こることもできる。

上述のことを念頭に置いて、図５は、特殊効果通信システム１０（例えば、１０Ａ、１０Ｂ）のブロック図である。特殊効果通信システム１０は、取り込みシステム６２（例えば、６２Ａ、６２Ｂ）、表示システム６４（例えば、６４Ａ、６４Ｂ）、制御システム６６（例えば、６６Ａ、６６Ｂ）、及び特殊効果システム６８（例えば、６８Ａ、６８Ｂ）を含む。これらのシステムの各々（例えば、１０、６２、６４、６６、６８）は、通信ネットワーク１８を介して互いに通信することができる。更にまた、特殊効果通信システム１０間で送信されるデータは、特殊効果通信システム１０エンドポイント内及び／又はこの外部の何れかのリアルタイムグラフィックエンジン１６及び／又は追加の又は代替のリアルタイムグラフィックエンジンによって任意的に処理することができる。

上述のように、リアルタイムグラフィックエンジン１６及び制御システム６６は、特殊効果通信システム１０間で送信される１又は２以上のデータセットを処理するために処理回路７０（例えば、７０Ａ、７０Ｂ、７０Ｃ）及びメモリ回路７２（例えば、７２Ａ、７２Ｂ、７２Ｃ）を含むことができる。処理回路７０を用いて、プログラムの実行、命令の実行、入力の解釈、制御信号の生成、及び／又は他の同様の機能を実行することができ、処理回路７０は、これらを行うためのハードウェアベース及び／又はソフトウェアベースの機能又はアプリケーションの組み合わせを含むことができる。メモリ回路７２を用いて、ランダムアクセスメモリ、読取り専用メモリ、フラッシュメモリ、ハードドライブ、現在の時間に既知及び未知の両方の将来のストレージ技術（例えば、デオキシリボ核酸（ＤＮＡ）のデータストレージなど）、及びその他などの様々な適切なメモリ又はストレージタイプで、データ、プログラム、命令、診断データ及び最終データなどを格納することができる。

データセット（例えば、音声データ、画像データ、及び追加のセンサデータ）は、通信ネットワーク１８を介して構成要素間で送信することができる。通信ネットワークは、何れの数の入力／出力（Ｉ／Ｏ）インタフェース及び／又はネットワークインタフェースも含むことができる。上述のような通信ネットワーク１８は、様々な有線又は無線ネットワークを通じたデータ送信を可能にすることができる。このようにして、データセットは、アナログ又はデジタルドメインで記録又は感知し、アナログ又はデジタルドメインで又はこの何れかの組み合わせで特殊効果通信システム１０間で送信することができる。

制御システム６６は、取り込みシステム６２、ディスプレイシステム６４、及び特殊効果システム６８を作動して、没入型及び／又は変形可能通信体験をユーザに提供することができる。従って、制御システム６６は、１又は２以上の制御信号を生成して、それぞれの取り込みシステム６２、ディスプレイシステム６４、及び特殊効果システム６８の様々な機能をそれぞれに制御することができる。例えば、制御システム６６Ａは、１又は２以上の制御信号を特殊効果システム６８Ａに送信して、制御信号に少なくとも一部対応する特殊効果の性能を生じることができる。

特殊効果通信システム１０の各サブシステム（例えば、取り込みシステム６２、ディスプレイシステム６４、及び特殊効果システム６８）の説明を続けると、取り込みシステム６２は、ユーザの外観を感知及び記録する（例えば、取り込む）ことができる（例えば、取り込みシステム６２Ａは第１のユーザの外観を感知する）。従って、制御システム６６は、それぞれの取り込みシステム６２を作動して、それぞれのユーザの外観を感知することができる。制御システム６６は画像取り込みデバイス(image capture devices)７４（例えば、７４Ａ、７４Ｂ）を作動して、それぞれのユーザの視覚的外観を感知する（例えば、画像を取り込む）ことができる。収集されたデータセットは、グラフィック情報を含むだけでなく、それぞれのユーザの熱、体積、及び／又は形状に対応するデータを含むことができる。画像取り込みデバイス７４は、２次元取り込みシステム、３次元取り込みシステム、ビデオ取り込みシステムなど、何れかの適切な画像取り込みデバイスとすることができる。それぞれのユーザの視覚的外観の感知に応じて、画像データは、特殊効果通信システム１０間で通信ネットワーク１８を介して取り込みシステムから送信される。制御システム６６はまた、音声取り込みデバイス７６(audio capture devices)（例えば、７６Ａ、７６Ｂ）を作動して、それぞれのユーザに関連付けられる音声送信及び取り込みをサポートする（例えば、音声を録音する）ことができる。ユーザに関連付けられる音声データは、マイクロフォンなどの何れかの適切な音声記録デバイスを介して取り込むことができる。音声取り込みデバイス７６Ａはまた、１又は２以上のビームステアリングマイクロフォンアレイを含み、音声取り込みから外部の及び／又は環境の雑音を分離することができる。例えば、ビームステアリングマイクロフォンアレイは、ユーザが背景雑音からの干渉なしに通信することを可能にする。一部の実施形態では、１又は２以上のビームステアリングマイクロフォンアレイに関連付けられた取り込まれたデータを用いて、マイクロフォンに対するユーザの向きを提案することなどによって空間画像を提示することができる。

ディスプレイシステム６４では、制御システム６６は、提示デバイス７８（例えば、７８Ａ、７８Ｂ）を作動して、受信された画像又は他のデータを伝達することができる。提示デバイス７８は、基本的にはディスプレイ又はプロジェクションシステムを作成するために、物理的材料を操作するための何れかの適切なディスプレイ又はシステムとすることができる。提示デバイス７８は、提示デバイス７８を介して画像の提示を直接変更又は起こすために用いられる１又は２以上の制御信号を受信することができる。この制御信号は、制御システム６６によって又は受信された画像データに応答する駆動回路（図示せず）などのディスプレイシステム６４の部分構成要素によって生成することができる。制御システム６６は、音声出力デバイス８０（例えば、８０Ａ、８０Ｂ）とほぼ同時に提示デバイス７８を作動することができる。音声出力デバイス８０は、スピーカ又は触覚トランスデューサなどの音声データに応答して、音声（例えば、雑音、音）を出力することができる何れかの適切なデバイスとすることができる。提示デバイス７８及び音声出力デバイス８０の組み合わせは、表示されているユーザの画像又は外観が話しているイルージョン、又は音声出力が変化するのと同じ速度で提示された画像が変化するイルージョンを提供する。

加えて、制御システム６６は、特殊効果システム１０を作動して、音声データ及び画像又は他のデータに対応する特殊効果を提供することができる。上述のように、特殊効果は、例えば、第１のユーザが第２のユーザに提示するための物理的媒体に実際に送信されているというイルージョンを伝達することができる。このように、特殊効果は、第１のユーザと第２のユーザの両方への没入型及び／又は変形可能なイルージョンの提供を容易にすることができる。この没入型イルージョンにより、第１のユーザは、この没入型のイルージョンが対応する物理的媒体の内外に現実に送信されていると考えることができる。例えば、第１のユーザは、第１のユーザの外観が火のイルージョン(fire illusion)に投影されている場合に熱いイルージョン（例えば、温かい空気）を受け取ることができ、又は第１のユーザは第１のユーザの外観がウォータースクリーンに投影されている及び／又は形状ウォーターディスプレイから物理的に形成されている場合に冷たい水（例えば、冷たい空気及びミスト）のイルージョンを受け取ることができる。従って、特殊効果システム１０は、特殊効果材料８２（例えば、８２Ａ、８２Ｂ）及びコントローラ８４（例えば、８４Ａ、８４Ｂ）を含むことができる。コントローラ８４は、バルブ、アクチュエータ、レベルなどの構成要素を作動又は制御して、特殊効果材料８２を操作し、特殊効果又は特殊効果のイルージョンを生成することができる。例えば、水は、第１のユーザが水から出現するという特殊効果のイルージョンを第２のユーザに生成するための特殊効果材料８２Ａとすることができる。

一部の実施形態では、制御システム６６は、追跡デバイス８６（例えば、８６Ａ、８６Ｂ）をそれぞれ制御して、第２の特殊効果通信システム１０Ｂに送信される第１のユーザ及び／又は第１のユーザが保持している何れかの物体（例えば、第１のユーザの手に握られている物体）の向き又は位置をモニタすることができる。この追加のセンサデータの受信に応答して、制御システム６６Ｂは、ディスプレイ又は特殊効果システム６４Ｂを（例えば、１又は２以上の制御信号を介して）作動して、追加のセンサデータに基づいて受信されたデータの出力を変更し、第１のユーザ（又は第２のユーザ）及び／又は第１のユーザによって所有されている関連物体の向き又は位置を第２のユーザ（又は第１のユーザ）に伝達することができる。

理解されるように、集中処理を用いて、没入型及び／又は変形可能な通信体験を提供することができる。上述と同様に、リアルタイムグラフィックエンジン１６及び制御システム６６は、特殊効果通信システム１０間で送信される１又は２以上のデータセットを処理する処理回路７０を含むことができる。このようにして、１又は２以上のデータセットの一部又は全部の処理は、制御システム６６とリアルタイムグラフィックエンジン１６との間で共有することができる。従って、第１の特殊効果通信システム１０Ａは第１のデータセットを部分的に処理することができ、リアルタイムグラフィックエンジン１６は、第２の特殊効果通信システム１０Ｂへの送信前に第１のデータセットを最終的に処理することができる。データセットの処理は、データ送信が継続している間に起こることができる。このようにして、データセットは、リアルタイムで制御信号を生成するため、及び関連付けられるデータセット生成とデータセット提示の間の（例えば、特殊効果に物理的材料の作動又は造形を介してユーザの外観の提示を駆動させるために）制御信号を生成するために用いられる。加えて、リアルタイムグラフィックエンジン１６は、中央コントローラ９０に（例えば、通信ネットワーク１８に同様の又は同じ結合を介して）通信可能に結合することができる。中央コントローラ９０は、１又は２以上のユーザデバイス９２から受信されたデータセット及び／又は入力に何れかの他の適切な動作を集約、処理、解釈、又は実行することができる。メモリ又は処理構成要素の何れの適切な組み合わせは、中央コントローラ９０内に含めることができる。ユーザデバイス９２は、様々なソフトウェアアプリケーション又はユーザインタフェースをユーザデバイス９２を用いる人に提示して、中央コントローラ９０との通信可能な結合を介して特殊効果通信システム１０との対話を容易にするようホスト及び作動することができる。例えば、ユーザデバイス９２を介したユーザは、デバイスを作動させて、ユーザデバイスを有することもできる第２の特殊効果通信システム１０Ｂへの参加者の外観を送信する上で、第１の特殊効果通信システム１０Ａによって用いられるイルージョン又は変形を変更することができる。従って、特殊効果通信システム１０は、イルージョンが同じ又は関係のあるイルージョンでない場合に、第２のユーザが体験する及び／又は送信するイルージョンを変更するのを可能にすることに加えて、第１のユーザが体験又は送信するイルージョンを第１のユーザが変更することを可能にすることができる。図示していないが、各特殊効果通信システム１０は、ユーザに関連付けられるユーザデバイス９２のそれぞれのユーザデバイス（例えば、第１のユーザに属するユーザデバイス、第２のユーザに属するユーザデバイス、特殊効果通信システム１０上又は中に物理的に配置されるが第１のユーザ及び／又は第２のユーザによってアクセス可能であるユーザデバイス）を有することができる。従って、この技術は、第１のユーザデバイスと第１の特殊効果通信システム１０Ａの間及び同時に第２のユーザデバイスと第２の特殊効果通信システム１０Ｂとの間などの複数のデバイス間のほぼ同時に、マルチディレクショナル、全二重通信を許可し、第２のユーザ及び／又は第１のユーザの出現の改変を同時に可能にすることができる。

図６は、没入型及び／又は変形可能通信システムを提供するための処理１００の流れ図であり、図１−５に関して示している。処理１００は、第１の特殊効果通信システム１０Ａ及び／又は第２の特殊効果通信システム１０Ｂによって実行されるように以下に示しているが、処理１００は、本明細書で提供するシステム２０の他の構成要素によっても実行できることを理解されたい。また、処理１００の以下の説明は、特定の順序で記述しているが、処理１００は、何れの適切な順序でも実行できる点に留意されたい。

ブロック１０２において、第１の特殊効果通信システム１０Ａの制御システム６６Ａは参加者を検出する。制御システム６６Ａは、受信されたセンサデータに応答して又は別の適切な方法を介して参加者（例えば、第１のユーザ）を検出することができる。例えば、超音波センサ、光センサ、圧力パッドなどは、第１の特殊効果通信システム１０Ａの物理的スペース内で（例えば、起点デバイスの内側に存在する）用いて、ユーザが第１の特殊効果通信システム１０Ａの物理的空間に入った時点を検出することができる。更にまた、検出は、制御システム６６Ａによって検出された（例えば、認識された）物質、プロップ、又は材料に基づくトリガに応答して起こすことができる。第１の特殊効果通信システム１０Ａに入ったユーザは、スペースに入った体の一部又は全身に応答して検出することができる。例えば、一部の実施形態では、ユーザは、ユーザの頭、全身、又はユーザの身体の異なる部分を第１の特殊効果通信システム１０Ａの物理的スペースに置くことができる。一部の実施形態では、第１の特殊効果通信システム１０Ａは、参加者に関連付けられるコンピュータデバイスから及び／又は第１の特殊効果通信システム１０Ａに関連付けられる入力デバイスを介した開始入力の受信を介して参加者を検出することができる。開始入力は、呼び出し又は１又は２以上の宛先デバイスとの通信を開始するよう制御システム６６Ａに指示することができる。更にまた、中央コントローラ９０は、通信作動を開始するための１又は２以上の開始入力を制御システム６６Ａに送信することができる。

ブロック１０４において、第１の特殊効果通信システム１０Ａは、宛先の選択（例えば、宛先デバイス）を受信することができる。宛先の選択は、ダイヤル、音声制御、タッチパッド、ボタンなどの入力デバイスのユーザ作動を介して受信し、ユーザが通信を望む複数の宛先の何れかを第１の特殊効果通信システム１０Ａに伝達することができる。一部の実施形態では、第１のユーザは、ディスプレイデバイス上に提示されたグラフィカル、空間、及び／又は物理的ユーザインタフェースを介して宛先を選択することができ、グラフィカルユーザインタフェースが、例えば通信イルージョンに対応する特定のテーマに一致させることによってユーザ体験の拡張に貢献することができる。宛先は、第１のユーザの外観が起点デバイス（例えば、第１の特殊効果通信システム１０Ａ）から送信される場所である。一部の実施形態では、第２の特殊効果通信システム１０Ｂは、第２の特殊効果通信システム１０Ｂを用いる参加者がいるに関わらず、音声データ、画像データ、及び何れかの追加のセンサデータを第１の特殊効果通信システム１０Ａに送信するよう作動することができる。更にまた、一部の実施形態では、宛先の２以上の選択を行うことができ、これによって第１のユーザの外観が複数の宛先に送信され、及び／又は複数の宛先を同時に体験できるようになる。本明細書で説明するように、第２の特殊効果通信システム１０Ｂは、第２のユーザの有無に関わらず、周辺環境（例えば、周囲環境）の外観を送信することができる。

宛先の選択に応答して、ブロック１０６において、第１の特殊効果通信システム１０Ａが宛先との通信リンクを確立し、ブロック１０８において、第２の特殊効果通信システム１０Ｂ（例えば、宛先）は、通信リンクを確立するよう相互応答する。一部の実施形態では、ブロードキャストチャネルを用いて、特殊効果通信システム１０間でデータセットを送信することができ、従って、通信リンクを有線（例えば、ツイストペア線、ケーブル、光ファイバケーブル）又は無線（例えば、マイクロ波、衛星、ラジオ、赤外線）通信媒体を介して提供することができる。通信リンクを介して、それぞれの特殊効果通信システム１０（例えば、１０Ａ、１０Ｂ）は、画像データ、音声データ、及び何れかの付加的に収集されたデータを送信及び受信して、特殊効果通信システム１０のユーザの外観を伝達することができる。配線、無線送信、通信バス、光ファイバなどを伴う技術及びまだ既知ではない将来の技術を含む通信可能なリンキングの何れかの適切な方法を用いることができる。通信リンクの確立は、特殊効果通信システム１０が通信ネットワーク１８を介してデータを送信するのを可能にする。

ブロック１１０において、第１の特殊効果通信システム１０Ａは、取り込みシステム６２Ａを用いて参加者の外観を取り込む。参加者の外観を取り込むステップは、音声取り込みデバイス７６Ａを介して参加者から発せられた発話又は音に対応する音声データを記録するステップ、収集するステップ、及び送信するステップ、画像取り込みデバイス７４Ａを介して参加者の視覚的外観に対応する画像及び／又は空間データを収集するステップ、及び追跡デバイス８６Ａを介して位置又は向きデータなどの何れかの追加のセンサデータを測定するステップを含み、第２の特殊効果通信システム１０Ｂを介した提示の参加者の外観を更に拡張する。同様にブロック１１２において、第２の特殊効果通信システム１０Ｂは、取り込みシステム６２Ｂを用いて、第２参加者あり又はなしの周囲環境の外観を取り込む。取り込みシステム６２Ｂによって生成されたデータセットは、周囲環境、及び周囲環境に関連付けられる何れかの音、サイト、又は他のデータを第１の特殊効果通信システム１０Ａに伝達することができる。マイクロフォン、レコーダ、２次元取り込みシステム、３次元取り込みシステム、ビデオ取り込みシステム、熱取り込みシステムなどを含む何れかの適切な画像取り込み、音声取り込み、及び／又はデータ取り込みデバイスを用いることができる。

ブロック１１４において、第１の特殊効果通信システム１０Ａは、参加者が特殊効果システム６８Ａを介して体験する特殊効果をトリガする。特殊効果は、第２の特殊効果通信システム１０Ｂにおける第１のユーザの外観、第２の特殊効果通信システム１０Ｂの周囲環境の環境態様、第１の特殊効果通信システム１０Ａの周囲環境の環境態様の投影又は生成に用いられる物理的媒体に関係付けて、更に参加者の外観の取り込みなどを拡張することができる。特殊効果は、第２の特殊効果通信システム１０Ｂとの通信を拡張及び更に第２の特殊効果通信システム１０Ｂとの通信に参加者を没入させるか又は変換することができる。例えば及び上述のように、霧及び／又は水の作動から参加者の外観を投影又は生成する第２の特殊効果通信システム１０Ｂと通信する参加者は、特殊効果システム６８Ａを用いて、軽風の特殊効果、冷却ミストの特殊効果、冷たい通気の特殊効果などの冷温に関係する特殊効果をトリガ（例えば、開始、始動、提示）して、参加者を第２の特殊効果通信システム１０Ｂの媒体に没入させることができる。一部の実施形態では、第２の特殊効果通信システム１０Ｂは、特殊効果システム６８Ｂを介して第２の特殊効果通信システム１０Ｂの何れの参加者も含む周囲環境への特殊効果をトリガ及び提示する。

ブロック１１６において、第１の特殊効果通信システム１００Ａは、ブロック１１０で測定、記録、又は収集された画像データ、音声データ、及び追加のセンサデータを第２の特殊効果通信システム１０Ｂに送信する。ブロック１１８において、第２の特殊効果通信システム１０Ｂは、ブロック１１２で測定、記録、又は収集された画像データ、音声データ、及び追加のセンサデータを第１の特殊効果通信システム１０Ａに送信する。これらの送信アクティビティは、互いにほぼ同時に発生することができ、従って特殊効果通信システム１０は、参加者及び／又は周囲環境間のリアルタイムの通信を達成することができる。

ブロック１２０において、第２の特殊効果通信システム１０Ｂは、第１の特殊効果通信システム１０Ａによって取り込まれた画像データ、音声データ、及び追加のセンサデータを受信する。ブロック１２２において、第１の特殊効果通信システム１０Ａは、第２の特殊効果通信システム１０Ｂによって取り込まれた画像データ、音声データ、及び追加のセンサデータを受信する。従って、特殊効果通信システム１０は、リアルタイムで参加者及び／又は周囲環境の外観を伝達する。データセットは通信ネットワーク１８を介して送信される。

データセットの受信に応じて、ブロック１２４において、第１の特殊効果通信システム１０Ａは、１又は２以上の宛先制御信号を生成して宛先の周囲環境を参加者に伝達する。宛先制御信号は、第２の特殊効果通信システム１０Ｂから送信されたデータセットに応答して第１の特殊効果通信システム１０Ａによって生成される。従って、１又は２以上の制御信号は、画素制御信号などの画像データを表示するために用いられる制御信号、画像データに基づいて光の放射を起こすプログラミング電圧、又は周囲環境の視覚的外観を光投影を介して投影するための投影表面を生成するなどの物理的媒体の物理的操作を駆動するために用いられる制御信号に対応することができる。制御信号は、音声データ及び／又は何れかの適切な信号に従う音声放出を可能にするための何れかの適切な信号を含み、周囲環境の外観を参加者に伝達する場合に追加のセンサデータの使用を可能にすることができる。これらの制御信号は、ブロック１２６で第１の特殊効果通信システム１０Ａによって用いられ、宛先制御信号を介して宛先の周囲環境を表示するようシステムを駆動する。

同様に、ブロック１２８において、第２の特殊効果通信システム１０Ｂは、第１の特殊効果通信システム１０Ａから受信した画像データ、音声データ、及び追加のセンサデータに基づいて１又は２以上の制御信号を生成する。ブロック１３０で１又は２以上の制御信号を第２の特殊効果通信システム１０Ｂによって用い、第１の特殊効果通信システム１０Ａを用いる参加者の外観を表示するよう物理的媒体の３次元操作を駆動することができる。参加者の外観を提示した後に、第２の特殊効果通信システム１０Ｂはブロック１１２に続き、第２の特殊効果通信システム１０Ｂへの周囲環境の外観の取り込みを繰り返す。この取り込み及び提示作動は、第１の特殊効果通信システム１０Ａが参加者を検出しなくなるか又は制御信号を介して停止コマンドが出されるまで継続することができる。一部の実施形態では、参加者がまだアクティブであるかどうか決定する第１の特殊効果通信システム１０Ａによって起こされる通信の何れの時間遅延も、リアルタイムの、没入型及び／又は変形可能通信のイルージョンの提供を継続するためにデータセットの処理によって補償することができる。

ブロック１３２において、第１の特殊効果通信システム１０Ａは参加者がまだ検出されるかどうか決定する。第１の特殊効果通信システム１０Ａは、ブロック１０２に関して論じた様々な方法で参加者を検出することができる。従って、参加者がまだ検出されるかどうか決定するために、第１の特殊効果通信システム１０Ａは特定のセンサ出力又は読取り値を分析できるか、又は出力の変化を分析又は決定できるか、又は参加者がまだ検出されるかどうか決定するための処理の一部として状態変化を検出することができる。参加者がまだ検出される場合、第１の特殊効果通信システム１０Ａはブロック１１０で処理１００の一部を繰り返し参加者の外観を取り込むことができる。

しかしながら、ブロック１３４で参加者を検出しなかったことに応答して、第１の特殊効果通信システム１０Ａは第２の特殊効果通信システム１０Ｂとの通信リンクを終結して通信を終了することができる。通信リンクの終結に応答して、第２の特殊効果通信システム１０Ｂは周囲環境の外観の取り込みを終結することができ、第１の特殊効果通信システム１０Ａは参加者の外観の取り込みを終結することができる。加えて、第１の特殊効果通信システム１０Ａの物理的空間からの特殊効果残余プロパティを低減又は無くすための一定の作動を実行することができる。例えば、第１の特殊効果通信システム１０Ａは、第１の特殊効果通信システム１０Ａの物理的空間から残余ミスト、霧、煙などを無くす又は低減するよう作動し、次の参加者に第１の特殊効果通信システム１０Ａへのニュートラルエントランス体験を与えることができる。従って、第２の参加者（例えば、次の参加者）は、元の選択された宛先に関連付けられる以前の周囲環境を体験しなくてよい。一部の実施形態では、第２の特殊効果通信システム１０Ｂはまた、第２の特殊効果通信システム１０Ｂの物理的空間からの特殊効果残余プロパティを低減又は無くすことができる。

上述のように、特殊効果通信システム１０は、１又は２以上の参加者と１又は２以上の追加の参加者又は周囲環境との間の没入型及び変形可能通信を可能にする。従って、２次元（２Ｄ）対２Ｄ、２Ｄ対３次元（３Ｄ）、３Ｄ対２Ｄ、３Ｄ対３Ｄ、又は何れかの適切な通信がこれらの技術を介して有効である。従って、参加者の取り込まれた２Ｄ画像又はビデオを、一般的には２Ｄ表面（例えば、霧のカーテン）に投影、一般的には２Ｄ表面の外又は中に投影（例えば、水の噴出の選択可能な作動から形成される外観、これによって水のカーテンのネガティブスペースが参加者の外観を形成する）、２Ｄ表面に投影（例えば、画素からの光から投影）、３Ｄ表面に投影（例えば、参加者の外観が霧の球面内の３Ｄを表すように３Ｄ霧球面への光投影）、物理的媒体又は３Ｄ材料の操作を介した投影（例えば、一般的には３Ｄボリュームに投影された火、霧、水などの変化する強度から形成される、又は３Ｄ外観を平たい表面から出現させるパテ又はピンの作動から形成される参加者の外観）させることができる。加えて、投影材料（例えば、投影表面、投影平面）を固定又は動的材料とすることができる及び／又は投影材料の視界に静的又は動的に表れることができることを理解されたい。この物理的媒体はまた、実際の、視覚的及び／又は劇場効果を用いて異なる物理的媒体になって現れるようシミュレートさせることができる。例えば、霧の円錐又は霧投影画面が、視覚的及び劇場効果（例えば、音声及び視覚特殊効果）を用いることによって火のイルージョンを生成することができる。要約すると、ディスプレイシステム６４によって用いられるプロジェクション及び／又はディスプレイ表面は、何れかの適切な印象ベースの材料又はシステム、何れかの適切なフラット提示システム、及び／又は何れかの適切な三次元プロジェクションシステムとすることができる。加えて、一部の実施形態では、ディスプレイシステム６４は、提示された画像（例えば、媒体）の上の少なくとも一部専用にされたプライバシーフィルム又はフィルタ、制限された視野ディスプレイ、仮想現実ゴーグル、専用レンズ、又は他の劇場効果を用いることができる。これらのディスプレイ拡張及び特徴を、プライバシーの問題を助けることができるローカライズサウンドを可能にする音声信号にも用いる及び適用することができる。これらの追加の特徴は、第１のユーザを取り込みシステム６２Ａに対してなどの所望の取り込み位置に位置合わせすることを少なくとも一部助けることができる。

一部の実施形態では、特殊効果通信システム１０の構成要素を潜ませるか又は隠す又は拡張する、変形させるか又は複製する１つの方法として鏡又は他の反射表面などの追加の構成要素を、特殊効果通信システム１０の中に又はこれに隣接させて含めることができる。従って、第１のユーザがデバイスの物理的範囲内にある（例えば、第１の特殊効果通信システム１０Ａを使用する）間に第１の特殊効果通信システム１０Ａを第１のユーザから隠すことができる。特殊効果通信システム１０の１又は２以上を隠すことは、デバイスを隠さないことに比べるとユーザ体験を向上させることができる。更にまた、一部の実施形態では、顔認識、音声認識、コンテンツキュレーション（例えば、発話−文字、文字−発話）、及び／又はコンテンツの検疫のための発話検出（例えば、俗語又は汚い言葉遣いの阻止）も、ユーザ体験を拡張するために用いることができる。更にまた、本明細書では１又は２以上のセンサを記述しているが、熱センサ、空間センサ、超音波センサ、赤外線センサなどを含む何れの適切なセンサも特殊効果通信システムに用いて、没入型及び／又は変形可能通信体験を提供できることを理解されたい。

上述のことを念頭に置いて、一部の実施形態では、特殊効果通信システム１０は、第１の特殊効果通信システム１０Ａが１又は２以上の他の特殊効果通信システム１０に通信可能にリンクして１又は２以上の呼び出しを受信するのを可能にする加入者なしの一斉放送を可能にする。加えて繰り返すと、一部の実施形態において上述した技術は、第１の特殊効果通信システム１０Ａの第１のユーザが、１又は２以上の他の特殊効果通信システム１０内又は近くにいる第２、第３などの追加のユーザのいない１又は２以上の他の特殊効果通信システム１０への呼び出しを開始するのを許可できる。一部の実施形態では、特殊効果通信システム１０は、会議電話及び／又はマルチポイント通信を許可し、特殊効果通信システム１０に関連付けられる１又は２以上のユーザが各々、ほぼ同時に１又は２以上の他のユーザと対話し、１又は２以上の他のユーザを視覚的に見る及び／又は通信することができる。

加えて、処理１００は通信リンクを終結している第１のユーザで終了するものとして記述しているが、追加の又は代替の事象が通信リンクを終結できることを理解されたい。例えば、第２の特殊効果通信システム１０Ｂの第２のユーザは、通信リンクの終結（例えば、電話を切る又は第１場所の第１の特殊効果通信システム１０Ａからの呼び出しに答えない）を決断することができる。追加の実施例として、中央コントローラ９０が通信リンクを終結することができる。一部の実施形態では、通信リンクは、処理１００が実行されるポイントの場所に関わらず即座に終結することができる。

技術的効果は、通信システムの能力を改良することによる通信システムへの改良を含み没入型及び／又は変形可能通信体験を提供する。参加者の外観に対応するデータを送信及び受信する間に特殊効果を提供する技術は、ユーザが通信する宛先デバイスの周囲環境をユーザが体験するのを可能にすることによってユーザ体験を拡張することができる。この改良された通信システムはまた、参加者の１又は２以上の３次元提示の作動を可能にするような通信リンク中の宛先通信システムでの物理的媒体の同時駆動を可能にすることができる。

本開示の特定の特徴のみを本明細書で例示し説明してきたが、当業者であれば、多くの修正及び変更が想起されるであろう。従って、本発明の真の精神の範囲内にあるこのような変更形態及び変更全ては、添付の請求項によって保護されるものとする点を理解されたい。

本明細書で提示され特許請求された技術は、本技術分野を明らかに改善する有形物及び実際的な性質の具体例に参照され適用され、このため、抽象的、無形又は純粋に理論上のものではない。更に、本明細書に添付されたあらゆる請求項は、「ある機能を実行する手段」又は「ある機能を実行するステップ」として指定された１又は２以上の要素を包含する場合には、このような要素は、米国特許法第１１２条第６項に基づいて解釈されることを意図している。しかしながら、他の何れかの様態で指定された要素を含む何れかの請求項については、このような要素は、米国特許法第１１２条（ｆ）に基づいて解釈されないものとする。

Claims (24)

1. 特殊効果通信システムであって、該特殊効果通信システムは、
   第１の位置にあり且つ第１のユーザの１又は２以上の画像又は印象に基づいて第１のデータセットを生成するように構成されたカメラシステムであって、前記第１のユーザは前記第１の位置に存在する、カメラシステムと、
   前記第１の位置にて特殊効果材料を用いて特殊効果を生成するように構成された特殊効果システムと、
   前記カメラシステム及び前記特殊効果システムに通信可能に結合された制御システムと、
   を含み、前記制御システムは、
   前記第１のデータセットを宛先デバイスに送信し、
   前記第１のユーザが前記第１の位置に存在する間に、第２の位置に存在する第２のユーザの１又は２以上の画像又は印象に基づいて、前記宛先デバイス又は格納されたデータセットから第２のデータセットを受信し、
   前記受信した第２のデータセットに基づいて１又は２以上の制御信号を提供する、
   ように構成され、前記１又は２以上の制御信号は、前記特殊効果材料を用いて前記第１のユーザに前記第２のユーザの外観を提示するために前記第１の位置の前記特殊効果システムに前記特殊効果を生成させるように構成される、
   特殊効果通信システム。
2. 前記特殊効果材料は、火、レーザ、プラズマ、電気、空気、水、霧、パテ、砂、可撓性又は成形材料、又はこれらの何れかの組み合わせを含む、請求項１に記載のシステム。
3. 前記特殊効果システムは、前記第２のユーザの外観を提示するために、前記特殊効果材料上に前記第２のユーザの１又は２以上の画像又は印象を表示する、請求項１に記載のシステム。
4. 前記特殊効果システムは、前記第２のユーザの１又は２以上の画像又は印象が投影される霧のスクリーン又は水のスクリーンを生成する、請求項３に記載のシステム。
5. 前記特殊効果システムは、前記第２のユーザの外観を提示するために、前記特殊効果材料を用いて前記第２のユーザの外観を形成する、請求項１に記載のシステム。
6. 前記特殊効果システムは、前記特殊効果材料から前記第２のユーザの３次元外観を成型する特殊効果材料の物理的操作を駆動するように構成される、請求項１に記載のシステム。
7. 前記制御システムは、前記受信した第２のデータセットから前記第２のユーザの１又は２以上の画像における識別可能な特徴を抽出するように構成され、前記外観は、前記抽出された識別可能な特徴に基づく、請求項１に記載のシステム。
8. 前記制御システムは、前記特殊効果材料の特性に基づいて前記抽出された識別可能な特徴を操作又は変形するように構成され、前記外観は、前記操作又は変形された識別可能な特徴に基づく、請求項７に記載のシステム。
9. 前記第１のユーザに対応する音声データ及び音声データに関連付けられるメタデータを記録及び送信するように構成された音声取り込みデバイスを前記第１の位置に備え、前記第１のデータセットは前記音声データを含む、請求項１に記載のシステム。
10. 前記第１のデータセットは、通信リンクを介して送信され、
    前記制御システムは、
    前記第１のユーザを検出し、
    前記第１のユーザの検出に応答して、前記宛先デバイス、ブロードキャストチャネル、又はこれらの何れかの組み合わせと前記通信リンクを確立する、
    ように構成される、
    請求項１に記載のシステム。
11. 特殊効果通信システムであって、
    第１の位置の第１のユーザの１又は２以上の画像又は印象を取り込むように構成されたカメラシステムと、
    前記第１のユーザの１又は２以上の画像又は印象に対応する第１のデータセットを送信するように構成され且つ第２の位置の第２のユーザの１又は２以上の画像又は印象に対応する第２のデータセットを宛先デバイスから受信するように構成された通信回路と、
    物理的媒体の３次元操作を駆動して前記第２のユーザの外観を提示するために、前記第２のデータセットに基づいて１又は２以上の制御信号を生成するように構成される特殊効果システムと、
    を含む、特殊効果通信システム。
12. 前記物理的媒体は、火、レーザ、プラズマ、電気、空気、水、霧、パテ、砂、可撓性又は成形材料、又はこれらの何れかの組み合わせを含む、請求項１１に記載のシステム。
13. 前記第１のユーザの存在を検出するように構成されたセンサを含み、前記特殊効果システムは、前記第１のユーザの存在及び前記受信した第２のデータセットに応答して開始される、請求項１１に記載のシステム。
14. 前記センサは、熱センサ、空間センサ、超音波センサ、赤外線センサ、圧力センサ、又はこれらの何れかの組み合わせを含む、請求項１３に記載のシステム。
15. 前記宛先デバイスを含み、前記宛先デバイスは、前記第２の位置にて特殊効果を生成するように構成された第２の特殊効果システムを含み、前記特殊効果は、前記第１のデータセットに基づき、前記特殊効果は、特殊効果材料を用いて少なくとも一部が生成される、請求項１１に記載のシステム。
16. 前記物理的媒体は、煙又は霧であり、前記特殊効果は、熱作用を含み、前記特殊効果材料は、煙又は霧を含む、請求項１５に記載のシステム。
17. 前記物理的媒体が、霧又はミストであり、前記特殊効果は、冷却効果を含み、前記特殊効果材料は、ミスト又は霧を含む、請求項１１に記載のシステム。
18. 方法であって、
    第１の位置に関連付けられる第１の音声データ及び第１の画像又は印象データを含む第１のデータセットを取り込むステップと、
    起点デバイス又はブロードキャストチャネルと通信リンクを確立するステップと、
    前記第１のデータセットを前記起点デバイスに送信するステップと、
    前記第１のデータセットを送信している間に、第２の位置に関連付けられる第２の音声データ及び第２の画像又は印象データを含む第２のデータセットを受信するステップと、
    前記第２のデータセットに少なくとも一部基づいて１又は２以上の制御信号を生成するステップと、
    前記生成した１又は２以上の制御信号に少なくとも一部基づいて物理的媒体の３次元操作を駆動するステップと、
    を含む、方法。
19. 第１のユーザを検出するステップと、
    前記第１のユーザから複数の起点デバイスからの前記起点デバイスの選択を受信するステップであって、前記選択された起点デバイスは、複数の起点デバイスの１つの起点デバイスである、ステップと、
    前記選択に基づいて前記通信リンクを確立するステップと、
    を含む、請求項１８に記載の方法。
20. 前記第１のデータセットは、前記起点デバイスにて特殊効果を駆動するために用いられる追加のセンサデータを含む、請求項１８に記載の方法。
21. 前記生成された１又は２以上の制御信号は、前記第２の位置に存在するユーザの前記第１の位置での外観を提示するために、前記物理的媒体の３次元操作を駆動する、請求項１８に記載の方法。
22. 前記第２のデータセットは、前記第２のユーザに関連付けられる位置、向き、動き、又はこれらの何れかの組み合わせを追跡するために用いられる追加のセンサデータを含み、前記制御信号は、前記追加のセンサデータに基づいて更新される、請求項２１に記載の方法。
23. 前記取り込まれた第１のデータセットに少なくとも一部基づいて追加の制御信号を生成するステップと、
    前記生成した追加の制御信号に基づいて前記第２の位置にて特殊効果材料を用いて特殊効果を生成するステップであって、前記特殊効果は前記第１の位置の前記物理的媒体の３次元操作中に前記第２の位置で生成される、ステップと、
    を含む、請求項１８に記載の方法。
24. 前記起点デバイスから開始入力を検出するステップと、
    前記第１のユーザから複数の起点デバイスからの前記起点デバイスの選択を受信するステップであって、前記選択された起点デバイスは、複数の起点デバイスの１つの起点デバイスである、ステップと、
    前記選択に基づいて前記通信リンクを確立するステップと、
    を含む、請求項１８に記載の方法。

Images