JP2017033536A - 観衆ベースのハプティック - Google Patents

Abstract

【課題】ライブのスポーツの試合、コンサートショー、ファッションショーなどのイベントのバーチャル体験を強調するための「ハプティック」効果をユーザに提供する。【解決手段】システムはイベントに関連する入力データを受信し、入力データのイベントの要素を特定し、ハプティック効果をイベントの要素に基づいて生成し、ハプティック効果をハプティック出力装置を介して生じる。ハプティック効果はイベントの要素をハプティック化することによって生成される。ハプティック効果は設計されるハプティック効果であり、イベントの要素に基づいて調整される。入力データはイベントに参加する観衆、および観衆が原因となるイベントの要素に関連する。また、入力データは、観衆に関連する一または複数の個人の装置によって収集されるハプティックデータを含む。また、入力データは観衆に関連する一または複数の個人の装置の場所を示す。【選択図】図２

Description

関連出願への相互参照
本出願は、２０１５年７月２９日出願の米国仮特許出願番号第６２／１９８，６１５の優先権を主張し、その開示は参照により本出願に組み込まれる。

一実施形態は一般にハプティックシステムに関し、具体的にはイベントに関連するハプティック効果を提供するハプティックシステムに関する。

「ハプティック」とは、ユーザに対する力、振動、および運動などのハプティックフィードバック効果（つまり、「ハプティック効果」）をユーザに適用することによって、ユーザのハプティックを利用するハプティックおよび力のフィードバック技術に関する。携帯装置、タッチスクリーン装置、およびパーソナルコンピュータなどの装置は、ハプティック効果を生成するように構成されてもよい。一般に、ハプティック効果を生成可能な内蔵ハードウェア（アクチュエータなどの）への呼び出しは装置のオペレーティングシステム（「ＯＳ」）内でプログラマブルである。これらの呼び出しはどのハプティック効果をプレイするか特定する。例えば、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、または一部の別の制御を用いてユーザが装置と相互作用するときは、装置のＯＳは制御回路を通じてプレイコマンドを内蔵ハードウェアに送信することができる。内蔵ハードウェアは次に、適切なハプティック効果を生じる。

ハプティックは、ライブのスポーツの試合、コンサートショー、ファッションショー、お笑いの舞台、テレビのエピソードなどのイベントのバーチャル体験を強調するために近年の技術革新において活用されてきた。そのために、対応するハプティック効果は様々な手段を通じて提供されてもよい、例えば、無線またはテレビなどの伝統的なメディア、インターネットベースの新規のメディアなどの新規のストリームおよび携帯アプリケーション、またはＯｃｕｌｕｓ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ社のＯｃｕｌｕｓ Ｒｉｆｔ ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ（「ＨＭＤ」）などのイベントバーチャルリアリティプラットフォームを通じて提供されてもよい。このような技術によって、ユーザはバーチャルなチャネルを通じて遠隔地のイベントに「参加する」ことが可能となるが、これらの技術では、現地でイベントを経験したかのような、ライブイベントの雰囲気を完全に体験することはできない。

一実施形態では、システムは一または複数のハプティック効果を生じる。システムはイベントに関連付けられる入力データを受信し、入力データ内のイベントの要素を特定し、イベントの要素に基づいて一または複数のハプティック効果を生成し、一または複数のハプティック効果をハプティック出力装置によって生じる。一実施形態では、ハプティック効果はイベントの要素をハプティック化することによって生成される。一実施形態では、ハプティック効果はイベントの要素に基づいて設計され、調整される。一実施形態では、入力データはイベントに参加する観衆に関連付けられ、イベントの要素は観衆によって生じる。一実施形態では、入力データは、観衆に関連付けられる一または複数の個人の装置によって収集されるハプティックデータを含む。一実施形態では、入力データは観衆に関連付けられる一または複数の個人の装置の場所を示す。

本発明の実施形態によるコンピュータサーバ／システムのブロック図である。 本発明の実施形態によるハプティックシステムによって実施されるハプティック機能のフローチャートである。 本発明の実施形態によるハプティックシステムによって実施されるハプティック機能のフローチャートである。 本発明の実施形態によるハプティックシステムによって実施されるハプティック機能のフローチャートである。 本発明の実施形態によるハプティックシステムによって実施されるハプティック機能のフローチャートである。 本発明の実施形態によるハプティックシステムによって実施されるハプティック機能のフローチャートである。 本発明の実施形態によるハプティックシステムによって実施されるハプティック機能のフローチャートである。 本発明の実施形態によるハプティック機能を実施時の図１の観衆ベースのハプティックモジュールの操作のフローチャートである。

一実施形態はコンテンツ内のハプティックを提供する。より具体的には、ライブコンテンツ（または事前に記録したコンテンツ）内のハプティックを提供し、それによってユーザはライブイベントまたは事前に記録したイベントの雰囲気を経験することができる。一実施形態はライブのメディア放送からの入力信号（例えば、音声信号、センサ信号、人間のオペレータが入力する信号など）を、ハプティック効果を生成するために使用可能なハプティック信号に変換し、ライブまたは事前に記録したイベントの雰囲気をシミュレーションする。一実施形態では、ハプティック信号は観衆キー要素（例えば、観衆のムード、声援、やじなど）または観衆が観察するイベントの要素（例えば、試合の緊迫度、試合のイベントなど）に対応する。一実施形態は観衆個人の装置が収集するハプティックデータを用い、リモートハプティックフィードバックを提供する際にそのデータを用いる。したがって、ライブイベントに物理的に存在する経験をシミュレーションするハプティック効果を提供することによって、本実施形態はイベントのバーチャル体験を改善して提供する。

図１は本発明の一実施形態によるシステム１０のブロック図を例示する。一実施形態では、システム１０は携帯装置の一部であり、システム１０は携帯装置用のハプティック変換機能を提供する。別の実施形態では、システム１０は装置の一部であり、任意の方法でユーザと接触する対象物（例えば、家具）に搭載され、システム１０はそのような装置のハプティック変換機能を提供する。例えば、一実施形態では、システム１０はウェアラブルデバイスの一部であり、システム１０はウェアラブルデバイス用のハプティック変換機能を提供する。ウェアラブルデバイスの実施例は、リストバンド、ヘッドバンド、眼鏡、指輪、レッグバンド、服に内蔵されるアレイ、またはユーザが体に着用できる、またはユーザが保持できる任意の他の種類の装置を含む。ウェアラブルデバイスの中には「ハプティックが利用可能（ｈａｐｔｉｃａｌｌｙ ｅｎａｂｌｅｄ）」なものもある。「ハプティックが利用可能」とは、ハプティック効果を生成する機構を含むということを意味する。別の実施形態では、システム１０は装置（例えば携帯装置またはウェアラブルデバイス）から離間しており、装置用のハプティック変換機能をリモートで提供する。

単一のシステムとして図示されるが、システム１０の機能は分散システムとして実装されてもよい。システム１０は、バス１２または情報を通信するための別の通信機構と、情報を処理するためのバス１２に接続するプロセッサ２２とを含む。プロセッサ２２は任意の種類の汎用または特定用途プロセッサであってもよい。システム１０はさらに、プロセッサ２２が実行する情報および命令を記憶するためのメモリ１４を含む。メモリ１４は、任意の組み合わせランダムアクセスメモリ（「ＲＡＭ」）、リードオンリメモリ（「ＲＯＭ」）、磁気または光ディスクなどの静的記憶装置、または任意の別の種類のコンピュータ可読媒体からなっていてもよい。

コンピュータ−可読媒体は、プロセッサ２２がアクセス可能な任意の利用可能な媒体であってもよく、揮発性および不揮発性媒体の両方と、取り外し可能および取り外し不可能な媒体と、通信媒体と、記憶装置媒体とを含んでいてもよい。通信媒体はコンピュータ可読命令、データ構造、プログラムモジュール、または搬送波または別の移送機構などの変調データ信号内の別のデータを含んでいてもよい。また、当該技術で既知の任意の別の形状の情報配達媒体を含んでいてもよい。記憶装置媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能なプログラマブルリードオンリメモリ（「ＥＰＲＯＭ」）、電気的に消去可能なプログラマブルリードオンリメモリ（「ＥＥＰＲＯＭ」）、レジスタ、ハードディスク、取り外し可能ディスク、コンパクトディスクリードオンリメモリ（「ＣＤ−ＲＯＭ」）、または当該技術で既知の任意の別の形状の記憶装置媒体を含んでいてもよい。

一実施形態では、メモリ１４は、プロセッサ２２によって実行されるとき、機能を提供するソフトウェアモジュールを記憶する。モジュールはオペレーティングシステム１５を含む。オペレーティングシステム１５は、一実施形態においてシステム１０用のオペレーティングシステム機能、および携帯装置の残りの部分を提供する。モジュールはさらに、以下で詳細に開示するハプティック機能を提供する観衆ベースのハプティックモジュール１６を含む。ある実施形態では、観衆ベースのハプティックモジュール１６は、複数のモジュールを備えることがある。各モジュールはハプティック効果を提供する特定の個々の機能を提供する。システム１０は一般に、一または複数の追加のアプリケーションモジュール１８を含む。アプリケーションモジュール１８は、イマージョン社のインテクレータ（登録商標）ソフトウェアなどを含む追加の機能を含む。

実施形態によれば、システム１０は遠隔情報源からデータを送信および／または受信する。システム１０はさらに、ネットワークインターフェースカードなどの通信装置２０を含み、赤外線、無線、Ｗｉ−Ｆｉ、または携帯電話ネットワーク通信などの携帯無線ネットワーク通信を提供する。別の実施形態では、通信装置２０はイーサネット（登録商標）接続またはモデムなどの有線ネットワーク接続を提供する。

プロセッサ２２はさらに、バス１２を経由して液晶ディスプレイ（「ＬＣＤ」）などのディスプレイ２４に接続して、図形表示またはユーザインターフェースをユーザに表示する。ディスプレイ２４は、信号をプロセッサ２２から送受信するように構成されるタッチスクリーンなどのタッチ感応式入力装置であってもよく、マルチタッチ式タッチスクリーンであってもよい。

一実施形態では、システム１０はさらにアクチュエータ２６を含む。プロセッサ２２はハプティック効果に関連付けられるハプティック信号をアクチュエータ２６に送信してもよい。アクチュエータ２６は次に、振動蝕知ハプティック効果、静電気摩擦ハプティック効果、または変形ハプティック効果などのハプティック効果を出力する。アクチュエータ２６はアクチュエータ駆動回路を含む。アクチュエータ２６は、例えば、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性高分子、ソレノイド、偏心モータ（「ＥＲＭ」）、リニア共振アクチュエータ（「ＬＲＡ」）、圧電性アクチュエータ、高帯域アクチュエータ、または電子活性高分子（「ＥＡＰ」）アクチュエータであってもよい。代替的な実施形態では、システム１０は、一または複数の追加のアクチュエータを、アクチュエータ２６に加えて含むことがある（図１には不図示）。

アクチュエータ２６はハプティック出力装置の実施例である。ハプティック出力装置は、駆動信号に応答して振動触覚ハプティック効果、静電気摩擦ハプティック効果、変形ハプティック効果などの任意の形状のハプティック効果を出力するように構成される装置である。したがって、代替的な実施形態において、アクチュエータ２６は一部の別の種類のハプティック出力装置（不図示）によって代替することができる。これらのハプティック出力装置は非機械または非振動装置であって、静電気摩擦（「ＥＳＦ」）または超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波ハプティックトランスデューサで音響放射圧を誘発する装置、ハプティック基板および可撓性または変形可能な表面および形状変更装置を用いる装置であってユーザの体に取り付けられてもよい装置、空気ジェットを用いる一吹きの空気、レーザによる投射物、音による投射物など投射型のハプティック出力を提供する装置であってもよい。

例えば、一実施形態では、プラズマ（陽および陰粒子の濃縮混合物）を提供するためにレーザエネルギが空中の濃縮領域の空気分子をイオン化するレーザーベースの投射物が提供される。一実施形態では、レーザはフェムト秒レーザであってもよい。フェムト秒レーザはパルスを非常に高速かつ非常に強いペースで放射する。レーザが高速であるほど、人間が触るには安全である。投射物はハプティックおよび双方向性であるホログラムとして表されてもよい。プラズマがユーザの肌と接触するとき、ユーザは濃縮領域の励起された空気分子の振動を感知してもよい。ユーザの肌上の感覚はユーザが空中のプラズマと相互作用するときに生成される波動によって生じる。したがって、ユーザをそのような濃縮領域にさらすことによって、ハプティック効果をユーザに提供してもよい。代替的にまたは追加として、指向性音響エネルギによって生成される振動にユーザをさらすことによって、ハプティック効果をユーザに提供してもよい。

さらに、別の代替的な実施形態では、システム１０はアクチュエータ２６または任意の別のハプティック出力装置を含まなくてもよい。システム１０とは別の装置は、ハプティック効果を生成するアクチュエータまたは別のハプティック出力装置を含む。システム１０は生成されたハプティック信号を別のハプティック出力装置に通信装置２０を介して送信する。

一実施形態では、システム１０はさらにスピーカ２８を含む。プロセッサ２２は音声信号をスピーカ２８に送信してもよい。スピーカ２８はその後音声効果を出力する。スピーカ２８は、例えば、ダイナミックスピーカ、電気力学ラウドスピーカ、圧電性ラウドスピーカ、磁歪ラウドスピーカ、静電気ラウドスピーカ、リボンおよび平面磁気ラウドスピーカ、ベンディングウェーブラウドスピーカ、フラットパネルラウドスピーカ、ハイルエアモーショントランスデューサ、プラズマアークスピーカ、およびデジタルラウドスピーカであってもよい。代替的な実施形態では、システム１０は、スピーカ２８に加えて一または複数の追加のスピーカを含むこともある（図１には不図示）。さらに、別の代替的な実施形態では、システム１０はスピーカ２８を含まなくてもよい。システム１０とは別の装置は音声効果を出力するスピーカを含み、システム１０は音声信号をその装置に通信装置２０を通じて送信する。

一実施形態では、システム１０はさらにセンサ３０を含む。センサ３０は、エネルギの形状、または音、運動、加速、生理的信号、距離、流れ、力／圧力／緊張／屈曲、湿度、線形位置、配向／傾き、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、または可視光度などの別の物理的特性を検出するように構成されてもよいが、これらに限定されない。センサ３０はさらに、検出されるエネルギまたは別の物理的特性を電気信号またはバーチャルなセンサ情報を表す任意の信号に変換するように構成される。センサ３０は任意の装置であってもよい。例えば、加速度計、心電図、脳波図、筋電計、眼電図、電子口蓋図、皮膚電気反応センサ、静電容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、屈折センサ（または屈曲センサ）、力感応レジスタ、ロードセル、ＬｕＳｅｎｓｅＣＰＳ２１５５、小型圧力トランスデューサ、圧電センサ、歪みゲージ、湿度計、線形位置タッチセンサ、線形電位差計（またはスライダ）、線形可変差動変圧器、コンパス、傾斜計、磁気タグ（または無線周波数識別タグ）、回転エンコーダ、回転型ポテンショメータ、ジャイロスコープ、オン・オフスイッチ、温度センサ（温度計、熱電対、抵抗温度検出器、サーミスタ、または温度変換集積回路など）、マイクロフォン、光度計、高度計、生物学モニタ、カメラ、または光依存性レジスタなどの任意の装置であってもよいが、これらに限定されない。

代替的な実施形態では、システム１０はセンサ３０に加えて、一または複数の追加のセンサを含むこともある（図１には不図示）。これらの実施形態の一部では、センサ３０および一または複数の追加のセンサはセンサアレイの一部であってもよく、または他の種類のセンサの集合体の一部であってもよい。さらに、別の代替的な実施形態では、システム１０はセンサ３０を含まなくてもよく、システム１０とは別の装置はエネルギの形態または他の物理特性を検出するセンサを含み、検出されたエネルギまたは他の物理特性を、バーチャルセンサ情報を表す電気信号または他の種類の信号に変換する。デバイスは次いで、通信デバイス２０を介して変換された信号をシステム１０に送信する。

一般に、既知のシステムを用いて、対応するハプティック感覚を受容しながら、ユーザは遠隔地からバーチャルにイベントに参加してもよく、または事前に記録したイベントを見てもよい。例えば、Ｄ−ＢＯＸ Ｔｅｃｈｎｏｌｏｇｉｅｓ社が提供するモーションシステムは特定の視覚コンテンツと同調するモーション効果を提供し、視聴者は視覚コンテンツをより現実的に体験できる。このようなモーションシステムは、メディアクリップの低周波音声コンテンツを使用し、または人間のオーサリングを用いてハプティック効果を生成する。Ｇｕｉｔａｍｍｅｒ社の「Ｂｕｔｔｋｉｃｋｅｒ」システムなどの別の既知のシステムはリモートユーザが感じる視覚／音声効果を強化するハプティック効果を生じる。Ｂｕｔｔｋｉｃｋｅｒシステムは低周波音声コンテンツおよびスタジアム内のセンサを使用して、試合の要素を収集する。Ｆａｎｍｏｄｅ社の「Ｆａｎｍｏｄｅ」アプリケーションなどの別の既知のシステムの一部を用いると、リモートユーザは、リモートユーザのフィードバック（例えば手を振る、叫ぶなど）をスタジアムに送り返すことによって、ライブのスポーツ試合のスタジアムの交流に参加できる。これらの既知のシステムを用いて、ユーザが遠隔地からバーチャルにライブイベントまたは事前に記録したイベントに参加することができるものの、イベント現地で参加するユーザが経験できるであろうイベントの雰囲気の少なくとも一部をユーザは体験できない。

既知のシステムとは反対に、本発明の一部の実施形態は、イベント（例えば、スポーツイベント、コンサート、ショーなど）の雰囲気、例えば劇的な場面および観衆のムード（例えば観衆のエネルギ、緊張、声援など）に対応する要素を取得するハプティックフィードバックを提供する。実施形態では、このハプティックフィードバックをリモートユーザに返送する。一実施形態では、観衆のムードを音声、映像、および／またはセンサ信号に基づいて、またはイベントの視聴者または参加者が入力するデータに基づいて推測する。次に、推測される観衆のムードに対応するハプティックフィードバックを提供する。別の実施形態では、観衆個人の装置が収集したハプティックデータを用いて、そのデータをリモートハプティックフィードバックで用いる。したがって、ユーザがイベントに現地で参加できない場合（例えば、イベントが遠隔地で行われる、またはイベントは過去に行われたイベントである場合）に、実施形態では、イベントの音声／視覚的記録コンテンツ以上のものを収集するハプティックフィードバックを提供し、それによってユーザは実際の参加者が見て、聞いて、感じたことと同じことを見て、聞いて、また感じることもできる。

一実施形態では、観衆および／またはイベントに関連するデータを収集してから分析して、ハプティック的にリモートユーザに提供される関連する場面およびキー要素を検出する。このような要素は、例えば、観衆の声援、ブーイング、特定のリズムでの詠唱、レフリーへの叫び、足踏み、拍手などを含んでいてもよい。一実施形態では、これらのキー要素は（例えば、イベントの主音声供給から、観衆用の音声供給から、観衆個人の装置によって記録される音声または映像データ記録などから）収集された音声信号から推測される。一実施形態では、音声イベント検出は、例えば、米国特許出願番号第１４／０７８，４４５に記載されるように実施されてもよい。同出願の開示全体は参照により本出願に組み込まれる。

一実施形態では、一度キー成分が検出されると、キー成分は（例えば、データベースに記憶された設計される効果のルックアップテーブルに基づいて）設計された効果を用いてハプティック化される。設計される効果をキー要素の特性（例えば、強度、長さなど）に一致するように調整することも可能である。追加または代替的な実施形態では、例えば、米国特許出願番号第１４／０７８，４４２、米国特許出願番号第１４／０７８，４４５、米国特許出願番号第１４／０２０，４６１、および／または米国特許出願番号第１４／０２０，５０２に記載されるように、特定されたキー要素は音声を用いてハプティック変換アルゴリズムにハプティック化される。上記開示の全体はそれぞれ参照により本出願に組み込まれる。

一実施形態では、ライブイベントに配置されるセンサによって、および／または観衆個人の装置内または装置に取り付けられるセンサによって別の観衆の要素を収集してもよい。例えば、立ち上がっている人々、イベントから帰る人々、しばらく座っている人々などの観衆の要素を、観衆の座席の上、下または周囲に設置される圧力センサによって収集してもよい。代替的にまたは追加的に、このような観衆の要素を観衆個人の装置によって収集された信号に基づいて収集および／または特定してもよい。例えば、観衆のスマートフォンを用いて加速、変形などの観衆の活動を表す信号を測定してもよい。別の実施例では、観衆のスマートフォンを用いて、観衆の活動を表す音声または映像信号を記録してもよい。

代替的または追加の実施形態では、ライブイベントに配置される様々なセンサおよび／または観衆個人の装置内にあるもしくは観衆個人の装置に取り付けられる様々なセンサを用いて、イベントに関連するハプティック情報、例えばステージ上の音源から生じる振動、走り過ぎるレースカーから生じる振動などを感知してもよい。したがって、観衆のムードなどの観衆の要素は、これらのハプティックセンサのみによって提供される信号、または本明細書に記載する別のセンサ／装置／情報源からの信号と組み合わせに基づいて得てもよい。一実施形態では、観衆のムードの推測を各個別の信号または複数の信号のグループから推測し、次に観衆のムードを推測した観衆のムードのポーリングによって判断してもよい。例えば、一実施形態では、ポーリングによって観衆の８０％が強いハプティック効果を感知することが分かる場合は（例えば、一定の時刻に通り過ぎるレースカーによって）、観衆のムードは「興奮している」と判断される。代替的に、複数の情報源から受信した信号をまず結合／融合し、次に観衆のムードを結合／融合した信号から推測してもよい。

一実施形態では、このような観衆の情報（例えば、観衆の活動）、選手または演技者の動き（例えば、加速、速度など）を表すデータおよび観衆の音声供給（および／または観衆個人の装置が収集する音声データ）を用いて、観衆のムード、試合／イベントの劇的な強度およびクライマックスなどのイベント特性を推測してもよい。一実施形態では、このようなイベント特性を用いて、試合または観衆に関連付けて生成されるハプティック効果を調整してもよい。例えば、ホッケーの試合では、試合自体の緊迫度を考慮して、すべてのハプティック効果（例えば、選手、試合、観衆などに関連するハプティック効果）を強調してもよく（つまり、大きく強調して提供する）、または低減してもよい（つまり、あまり強調せずに提供する）。

一実施形態では、ムード、強度、および試合のイベントなどのキー要素の検出はニューラルネットワーク、サポートベクターマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ「ＳＶＭ」）、ベイジアンネットワークなどの人工知能（「ＡＩ」）ベースのモデルを用いて実施される。ＡＩベースのモデルはデータをセンサ（例えば、圧力センサ、加速センサ、音声供給、観衆個人の装置など）から受信し、そのようなデータをもたらした原因となる可能性が最も高いムードまたは緊迫度などの要素を推測し、それらの要素を用いて試合またはイベントに関連するハプティック効果を調節／調整する。

代替的または追加の実施形態では、キー要素（例えば、観衆の声援、ブーイングなど）および／またはイベント特性（例えば、ムード、強度など）は外部の観察者／学芸員（つまり、人間のオペレータ）によって特定される。次に、外部の観察者／学芸員の指令およびキー要素の特性（例えば、大きさ、期間など）が事前に構成されたルックアップテーブルを用いて、ハプティック効果に翻訳される。ルックアップテーブルは対応する事前に構成されたハプティック効果にキー要素を関連付ける。代替的にまたは追加的に、特定されたキー要素およびイベント特性は対応する変換アルゴリズムを用いてハプティック効果に翻訳されてもよい。変換アルゴリズムは音声またはデータをハプティック効果に変換する。

一実施形態では、エンドユーザはイベントをライブで鑑賞し、ハプティック効果を生成するために用いられる音声および感覚データ、ハプティック効果のトラック自体、および／またはオペレータ指令はリアルタイムにエンドユーザ装置に送信される。代替的な実施形態では、イベントは後で鑑賞され、ハプティック効果を生成するために用いられる音声および感覚データ、ハプティック効果トラック自体、および／またはオペレータ指令は、後でエンドユーザに表示／提供するために、対応するメディアコンテンツと共に保存される。

一実施形態では、ハプティック効果はイベントの伝達チェーンの異なる部分で生成されてもよい。例えば、ハプティック効果はユーザの再生装置で感覚／音声データまたは指令を用いて生成されてもよく、またはデータおよび指令を受信してその後ハプティック効果をエンドユーザ装置に送信するリモートサーバで生成されてもよい。代替的または追加的に、ハプティック効果はセンサおよび／または観衆個人の装置内で、ローカルに生成されてもよい。例えば、一部のセンサプラットフォームはイベントキー要素をローカルに検出でき、および／またはハプティック効果の変換／調節を実施できる処理能力を有していてもよい。それによって、生成／調節されたハプティック効果のみがセンサプラットフォームから送信される。代替的または追加の実施形態では、イベント会場に配置される専用サーバはデータを、会場に設置された一部のまたはすべてのセンサから、および／または一部のまたはすべての観衆個人の装置から受信し、次に、イベントキー要素を検出し、および／またはハプティック効果の変換／調節を実施してもよい。

一実施形態では、観衆またはイベントに関連するハプティック効果は任意のハプティック再生メディア上でユーザに提供されてもよい。例えば、ハプティック効果は携帯装置（例えば、タブレット、スマートフォンなど）、ウェアラブルデバイス（例えば、腕輪、スマートガーメントなど）、アクチュエータを備えた家具、ハプティックが利用可能なヘッドマウントディスプレイ（Ｏｃｕｌｕｓ Ｒｉｆｔなどの「ＨＭＤ」）などに提供されてもよい。これらの実施形態では、音声／映像メディアコンテンツは、ハプティック効果を提供する同一のメディア上に表示されてもよく、または再生能力を有する任意の別のメディア（例えば、テレビ）上に表示されてもよい。

一実施形態では、エンドユーザはハプティック再生装置ユーザインターフェースを用いて、ハプティック経験を自分自身の好みにカスタマイズすることができる。例えば、エンドユーザはハプティック再生を構成して、一部のイベントを強調し、一部の別のイベントなどを無視してもよい。例えば、一実施形態では、特定のイベントを無視するユーザの好みに基づいて、そのイベントが起こるときにハプティック再生はハプティック効果を生成しない。代替的または追加の実施形態では、ユーザがイベントを無視する好みを表すと、対応するハプティック効果は送信されず、またユーザに再生されない。同様に、特定のイベントを強調するユーザの好みに基づいて、イベントに関連するハプティック効果はそのイベントが発生するときに強調してユーザに表示されず／提供されない。

一実施形態では、エンドユーザはハプティック再生を構成して、イベントの一定の場所または視点（ｐｏｉｎｔ ｏｆ ｖｉｅｗ「ＰＯＶ」）に関連付けられるフィードバックを提供してもよい。例えば、ユーザの好みに基づいて、会場に設置されたセンサからのデータのサブセットのみ、および／または観衆個人の装置からのデータのサブセットのみを用いて、ハプティック再生を提供してもよい。例えば、エンドユーザがイベント会場の一定の場所に存在するかのように、遠隔地からイベントを体験することに好みを示す場合には、またはその場所あるいはその場所の周辺に設置されるセンサ、またはその場所に関連付けられるセンサからのデータのみ、および／またはその場所あるいはその場所の周辺にある観衆個人の装置からのデータを用いて、ハプティックフィードバックをリモートユーザに提供してもよい。

一実施形態では、ユーザはリモートでまたは事前に記録したイベントをハプティックが利用可能な環境において見てもよい。例えば、ユーザはイベントをハプティックが利用可能な部屋で見てもよく、ウェアラブルはハプティックが利用可能な装置を用いてもよく、バーチャルリアリティ（「ＶＲ」）システム（例えば、ＮｅｘｔＶＲまたはＯｃｕｌｕｓ ＲｉｆｔなどのＨＭＤ）などを用いてもよい。興味深いイベントがイベント中に発生し、ユーザが興味を抱くものに対応する場合は（例えば、ホッケーの試合中のヒット）、システムはイベントを（例えば、センサを用いて、または学芸員を通じて）特定し、イベントまたはイベントの前処理されたバージョンをユーザ再生システムに送信して、イベントに対応するハプティック効果を提供する。したがって、ユーザはハプティックレンダリングシステムを通じてイベントを「感じる」。

一実施形態では、異なる「種類」のハプティック効果は異なる種類のイベントに対応してもよい。例えば、一実施形態では、異なるハプティック効果が変化し、独特であってよく、ユーザはそれによって観衆が興奮しているか、またはリラックスしているかを知ることができる。追加または代替的な実施形態では、１つの種類のハプティック効果が観衆キー要素に関して提供されてもよい一方で、異なる種類のハプティック効果が演技者／選手／試合イベントに関して提供されてもよい。一実施形態では、ハプティック効果は、一または複数のパラメータを変更することによって、別のハプティック効果（つまり、異なるハプティック効果種類）とは異なり、したがって独特であることもある。一般に、具体的なハプティック効果を規定するハイレベルパラメータは、大きさ、周波数、および期間を含む。運動指令のストリーミングなどのローレベルパラメータも用いて、具体的なハプティック効果を判断してもよい。これらのパラメータの一部の変形はハプティック効果の感触を変えることもあり、さらに「動的」と考えられるハプティック効果を生じることもある。例示する種類のハプティック効果は振動、衝撃、移動止め、ポップなどを含む。これらの各ハプティック効果のパラメータを変更して、異なるハプティック効果を生じてもよい。一実施例では、第１の種類のハプティック効果は観衆キー要素（例えば、声援、ブーイングなど）を示してもよく、第２の種類のハプティック効果は試合イベント（例えば、スコア、タイムアウトなど）を示してもよい。さらに、異なる種類のハプティック効果を用いて、異なる情報、観衆の声援、観衆ブーイングなどを示すことができる。

一実施例では、ユーザは一定の音楽グループに興味を持つかもしれないが、音楽グループがライブパフォーマンスを予定している場所から遠く離れて住んでいるかもしれない。ユーザは代わりに、そのシーンの強度およびエネルギを提供するハプティックフィードバックを受けながら、パフォーマンスのライブ放送をインターネット上でみることができる。一実施形態では、ユーザはホームシアターシステムおよび高解像度テレビ、パフォーマンスに関連するハプティック効果を提供するハプティック椅子に座りながらパフォーマンスを自宅で快適に見てもよい。例えば、椅子は、観衆が声をそろえて歌っている、パフォーマンスの最も劇的な場面で振動してもよい。一実施形態では、ハプティック効果は、対応するハイレベルパラメータ（例えば、大きさ、周波数、期間など）、対応するローレベルパラメータ（例えば、運動指令のストリーミングなど）、またはこれらのパラメータの変形または組み合わせを調節／調整して、ハプティック効果の感触を変化させ、例えば「動的」と考えられるハプティック効果を生成してもよい。

一実施形態では、観衆のムードを推測する際に、イベントの強度および観衆の興奮などの観衆要素を判断し、対応するハプティック効果をそれに応じて調節／調整する。一実施形態では、キー要素に対応するハプティック効果のパラメータは同一のキー要素または異なるキー要素の特性にしたがって調節／調整されてもよい。例えば、観衆のムードを提供するハプティック効果は、観衆のムード要素の強度および／もしくは試合の強度または試合イベントの発生によって調節されてもよい。

一実施形態では、音声フィード内の一定のイベントまたは信号に関連する別のイベントを判断し、それらのイベントに対応する部分のみをハプティック化することによって、強調され、標的化され、および構成可能なハプティックフィードバックがユーザに提供される。さらに、信号全体ではなく、信号の特定の部分をハプティック化することによって、実施形態において、信号のその部分のために構成され、対応するイベントに関連するハプティック変換アルゴリズムを用いて、より正確で強調されたハプティックフィードバックを提供してもよい。

実施形態は任意のライブイベントまたは事前に記録したイベントに適用可能である。実施形態はライブで見ている観衆のいるイベントの任意の音声／映像表現に適用可能であり、ハプティック効果を用いてライブで見ている観衆が経験するかのようなイベントの雰囲気を提供する。

一実施形態では、音声、映像、ハプティックなどのイベント信号、およびイベントまたはライブの観衆に対応する感覚信号は、観衆のユーザの装置、例えば、スマートフォン、ウェアラブルデバイス、生理的センサなどから得てもよい。例えば、イベントのハプティック信号は観衆個人の装置から変形、加速、振動、音声などの形で収集されてもよい。一実施形態では、このようなユーザ装置はイベント信号をインターネットなどの任意の通信媒体によって通信してもよく、ハプティック効果はイベント信号を通信媒体から取得することによって生成されてもよい。例えば、一実施形態では、イベント信号は観衆個人の装置（例えば、ライブイベントに参加する個人のスマートフォンに取り付けられてもよく、または搭載されてもよいマイクロフォン、カメラ、加速度計など）から取得されてもよく、または接触センサ、圧力センサ、またはイベントに参加する一または複数のユーザに関連付けられる任意の生理的センサから取得されてもよい。

一実施形態では、生理的センサは観衆のムードなどのイベントキー要素を示す信号を測定してもよい。例えば、生理的センサは、イベントに参加している個人が経験する興奮度を示す信号を提供する血圧センサまたは温度センサを含んでいてもよい。一実施形態では、別の信号は観衆の体から測定されてもよく、観衆キー要素を示す信号を用いて生理的信号を取得してもよい。例えば、ウェアラブルデバイスを用いて、イベントに参加する個人の心拍数を測定し、心拍数の上昇はイベントでの興奮度の上昇を示してもよい。それにしたがって、対応するハプティック効果をリモートユーザに提供してもよい。

一実施形態では、観衆のユーザ装置を調査して観衆のサブセットが運動しているか（例えば、複数の参加者が踊っているか、または体を揺らしているか）を特定してもよく、それに応じて観衆のムードを推測してもよい。一実施形態では、観衆の動きをウェアラブルまたはハンドヘルドユーザ装置内に構成されるセンサ（例えば加速度計、歩数計など）で測定してもよい。一実施例では、激しく動いている参加者の数が閾値より大きいときは観衆のムードを興奮していると推測してもよい。一実施形態では、一または複数の参加者は観衆情報を自分のユーザ装置および／またはウェアラブルデバイスから収集されることを許可してもよく、観衆情報をユーザが情報を共有することを許可する装置のみから入手してもよい。

一実施形態では、観衆キー要素は、参加者がＴｗｉｔｔｅｒ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）などの通信ネットワークでアップロードしたおよび／または共有したイベント情報から取得／推測されてもよい。一実施形態では、一定のイベントに関連するアップロード／共有されたイベント情報は、例えばハッシュタグ、場所情報、イベント名、イベント日時などのイベントに関連付けられるイベント識別子を観察することによって特定される。一実施形態では、一部のイベントキー要素に対応するハプティック効果はイベントに関連付けられる一または複数の記録に基づいて判断され、次にそのような効果を、類似するイベントキー要素に対するハプティック効果を同一のイベントまたは別のイベントに提供する際に再利用する。

一実施形態では、ユーザがイベントの映像を生成し、共有するときには、ユーザはオプションを提供され、ハプティック効果を映像または映像の一または複数の部分に関連づけることを推奨／提案される。一実施形態では、ユーザはハプティック効果を一連の事前に記録した効果から選択してもよく、そのハプティック効果をアップロード／共有された映像またはアップロード／共有された映像の一または複数の部分と関連付けてもよい。一実施形態では、ユーザはさらに映像を生成するためにハプティックイベント情報を同一の装置で記録してもよく、または別の装置で記録し、ハプティック情報を共有して映像に関連付けられるハプティックトラックまたは映像に関連付けられるハプティックトラックを生成するために用いてもよいハプティック情報としてもよい。

一実施形態では、イベントの複数のアップロード／共有された映像を用いて、それらの映像によって収集したイベントのイベントキー要素に関連するハプティック効果を生成してもよい。一実施形態では、このようなハプティック効果は、同一のまたは別のイベントにおける同一のまたは同様のイベントキー要素を収集する将来アップロード／共有される映像に関連付けられる。一実施形態では、複数の観衆の個人の装置で収集されたハプティック情報を用いて、イベントのハプティックトラックを生成し、および／またはハプティック情報によって収集されるイベントのイベントキー要素に関連するハプティック効果を生成する。

一実施形態では、イベントキー要素は参加者および／または別の遠隔視聴者がアップロード／共有したイベント情報から推測される。一実施形態では、データ融合機能イベントキー要素は推測されてもよい。および／または音声フィード、映像フィード、イベントで構成される参加者／選手／試合センサなどの情報の様々な情報源、アップロードされたイベントの映像（例えば、対応するハッシュタグに基づくイベントに関連付けられうる映像）、イベントキー要素映像を示すアップロードされた映像に対するコメント（例えば、「観衆は声援を送っています！」）、アップロードされた映像に対する一定のコメントのタイムスタンプ、一定のタイムスタンプでつぶやかれたイベントに関連するツイート、観衆個人の装置などからの情報を相関することによってイベントキー要素は推測されてもよい。一実施形態では、前述の情報は相関し、様々なイベントを推測し、および／または対応するハプティック効果を生成するために用いられる。

一実施形態では、イベントの複数のアップロード／共有された映像またはハプティックトラックを処理して、一定のイベントまたは一定のイベントキー要素のモデルを取得する。一実施形態では、このようなモデルは、新規にアップロード／共有された映像またはハプティックトラックの利用可能性に基づいて動的に更新され、将来の映像またはハプティックトラックに適用され、対応するイベントまたはイベントキー要素を特定し、潜在的にモデルを調節／調整する。

一実施形態では、ライブイベントを放送するためのハプティック再生システムを提供する。ハプティック効果はライブイベントの放送を受信するリモートユーザに提供される。一実施形態では、ハプティック再生システムは、ライブイベントの映像データおよび映像データに対応するハプティックデータの個別の信号を受信するエンドユーザ装置、または映像データおよびハプティックデータを含む複合信号を受信するエンドユーザ装置を含む。ハプティックデータは、直接ハプティック効果ストリームまたはどのハプティック効果を実施すべきかを示す一連の指令を含んでいてもよい。

図２は一実施形態による、ハプティックシステム２００により実施されるハプティック機能のフローチャートを例示する。２０２ではイベントの一または複数の音声フィードが受信され、２０４では、音響（つまり、音声）イベント検出が受信した音声データ上で実施される。代替的または追加的に、音声データは２０３で一または複数の観衆装置（例えば、イベントに参加する観衆個人の装置）から受信されてもよい。音声イベント検出に基づき、２０６では、イベントキー要素が特定される。一実施形態では、キー要素は声援やじなどの、観衆キー要素に対応してもよい。２０８では、イベントの音声信号内で検出される観衆キー要素に対してのみ音声からハプティックへの変換が実施され、２１０では、対応する観衆ハプティック効果がエンドユーザに提供される。

図３は一実施形態による、ハプティックシステム３００により実施されるハプティック機能のフローチャートを例示する。ハプティックシステム３００は、図２のハプティックシステム２００の２０２、２０３、２０４、２０６、および２１０と同一の機能を実施する。ただし、ハプティックシステム３００では、一度観衆キー要素が２０６で特定されると、３０２で事前に設定される効果が調節され、各特定された観衆キー要素に注入される。事前に設定される効果は、一定の観衆キー要素に対応してユーザに提供されるハプティック効果の特性に対応してもよい。例えば、声援、やじなどの各特定された観衆キー要素、強度、期間などの事前に設定される効果は判断されてもよく、それらの事前に設定される効果を備えるハプティック効果はエンドユーザに２１０で提供される。

図４は、一実施形態による、ハプティックシステム４００により実施されるハプティック機能のフローチャートを例示する。４０２、４０４、４０６、４２４、および４２６では、イベント情報は観衆センサおよび／または選手／試合センサおよび／または一または複数の音声フィードおよび／またはアップロード／共有された情報および／または観衆装置それぞれから受信される。一実施形態では、観衆センサは、観衆座席上、下、または周囲に配置される圧力センサを含んでいてもよい。一実施形態では、アップロード／共有された情報は、例えば、イベントの参加者が個人の通信装置から共有される情報、ソーシャルネットワーク上のイベントの視聴者から共有される情報、インターネット上にアップロードされたイベントの映像、イベントに関連するツイート、映像またはイベントに関連するツイートに対するコメントなどを含む。４０８では観衆装置から受信した音声フィード信号および／または音声データに対する音声分析が実施される。一実施形態では、音声分析は音響イベント検出を含む。代替的な実施形態では、音声分析は、音声フィード平均音量／強度、特定の周波数範囲のコンテンツなどの一または複数の音声属性を検出することを含む。

４１０では、４０２、４０４、４０８、４２４、および４２６からのイベント信号はＡＩ判断支持モデルに供給され、様々なキー要素を特定する。４１２、４１４、および４１６では、観衆のムードおよび／または試合の緊迫度および／または試合のイベントなどのイベントキー要素がそれぞれ特定される。４１８では特定されたキー要素を用いて、４２０から取得するハプティックトラックを調節する。例えば、一実施形態では、特定されたキー要素を用いて、ハプティックトラックの特定のハプティック効果の強度および期間を調節してもよい。一実施形態では、ハプティックトラックはイベントの音声／映像／センサ／ハプティック情報を変換することによって作られてもよく、または取得されてもよい。最後に、４２２では、調節されたハプティックトラックがエンドユーザに提供される。

図５は一実施形態による、ハプティックシステム５００により実施されるハプティック機能のフローチャートを例示する。ハプティックシステム５００は、図２のハプティックシステム２００の２０６、２０８、および２１０と同一の機能を実施する。ただし、ハプティックシステム５００では、５０２で、イベント情報が人間のオペレータによって提示され、２０６に提供される。一実施形態では、人間のオペレータはイベント場所に存在していてよく、または音声／映像フィードをイベントから受領してもよい。一実施形態では、人間のオペレータは、声援、やじなどの観衆キー要素に対応するイベントにフラグを付けるフィードバックを提供する。

図６は一実施形態による、ハプティックシステム６００により実施されるハプティック機能のフローチャートを例示する。ハプティックシステム６００は、図５のハプティックシステム５００の５０２、２０６、および２１０と同一の機能を実施する。ただし、ハプティックシステム６００では、一度観衆キー要素が２０６で特定されると、３０２で事前に設定される効果が調節され、図３を参照して本明細書に記載する各特定された観衆キー要素に注入され、そのような事前に設定される効果を備えるハプティック効果はエンドユーザに２１０で提供される。

図７は一実施形態による、ハプティックシステム７００により実施されるハプティック機能のフローチャートを例示する。ハプティックシステム７００は、図４のハプティックシステム４００の４１２、４１４、４１６、４１８、４２０、および４２２と同一の機能を実施する。ただし、ハプティックシステム７００では、図５を参照して本明細書に記載するように、５０２で、イベント情報が人間のオペレータによって提示される。このようなイベント情報は次に、４１２、４１４、および４１６においてイベントキー要素を特定するために用いられる。

一実施形態では、観衆個人の装置（例えば、スマートフォン、ウェアラブルデバイスなど）を用いてハプティックトラック（例えば、振動）を記録し、イベントの映像トラックと共に後で再生／リモート再生する。一実施形態では、観衆はそれぞれの装置によって、映像／音声トラックをハプティックトラック記録と関連付けるように指示される。一実施形態では、ハプティックセンサのアレイを一または複数のそのような観衆個人の装置に実装してもよい。一実施形態では、観衆内にある多数のそのような装置によって生成される振動データを収集および結合する機能を提供する（例えば、音楽のコンサート、カーレースなど）。複数の録音を用いて、ハプティックトラックの品質を改善してもよく、および／またはＶＲで再生するようにローカライズしたハプティックデータを提供してもよい。したがって、単一の観衆ユーザ装置で利用可能なセンサが正確にハプティック経験の再生を提供できない場合は、複数の観衆個人の装置によるハプティックデータの記録を用いて／結合して、より良いハプティックトラックを提供する。より正確な記録設備を配備することが高価で難しい場合には、この有利点はさらに顕著である。さらに、ＶＲなどに関して、異なる場所でのハプティック経験を再生することが望ましい場合には、複数のハプティックトラック録音が必要であることもある。

一実施形態では、スマートフォンおよびウェアラブルデバイス（例えば、タブレット、スマートウォッチなど）で利用可能なセンサを用いて、音声−視覚コンテンツ用のハプティックトラックを生成する。センサは、例えば、加速度計、マイクロフォン、専用ハプティック記録装置（例えば、レーザ振動計、干渉分光法振動計）などを含んでいてもよい。代替的または追加的に、ハプティック情報を（例えば、スマートフォンまたはウェアラブルデバイスで収集した連続フレーム間の変化に基づく）映像動画推測に基づいて導き出してもよい。一実施形態では、イベントに配置された別の装置が収集したデータをさらに用いる。この別の装置とは、消費者装置（例えば、加速度計、マイクロフォン、レーザ振動計など）と同一のセンサ技術を用いる専門的な装置などであるが、より高価であり、性能が良い（例えば、正確さ、解像度、信号対雑音比、抽出率、方向性などが優れている）。

一実施形態では、ハプティックデータを観衆の複数のユーザ装置から収集する機能を提供する（例えば、音楽のコンサート、カーレースなど）。次に、例えば、事後処理またはリアルタイムで複数の録音を結合することができる。一実施形態では、結合される記録を用いてハプティックトラックの構成要素よりも高品質なハプティックトラックを生成してもよい。例えば、複数の録音を平均化して雑音を低減し、または複数の録音のサブセットを最高の録音として選択し、次に平均化または結合してもよい。代替的に、様々な実施形態を参照して本明細書に記載するように、データ融合アルゴリズムを用いて複数の録音を結合してもよい。

一つの代替的または追加の実施形態では、結合記録を用いて、ＶＲなどに関して一または複数の空間化されるハプティックトラックを生成してもよい。ハプティックトラックは次に、経験の音声−視覚記録に関連付けられてもよい。本実施形態では、ハプティックトラックは、ＶＲでシミュレーションされるバーチャルな位置に関連する複数の録音に補間することによって、生成されてもよい。例えば、ハプティックトラックは、ＶＲでシミュレーションされるバーチャルな位置に最も近い録音に基づいて生成されてもよく、ＶＲでシミュレーションされるバーチャルな位置の周囲の複数の録音に基づいて生成されてもよい。一実施形態では、伝搬モデルを用いて、特定の空間的場所のハプティック記録を予測してもよい。例えば、伝搬モデルを用いて、一または複数のハプティック記録にもとづくハプティックフィードバック源を再構築してもよく、次に、特定の空間的場所で経験するようにハプティック効果を予測してもよい。

一実施形態では、複数の観衆個人の装置の録音をクラウドサービスを用いて収集および結合する。例えば、一実施形態では、各観衆個人の装置はハプティックトラックを記録し、記録をクラウドサービス内のサーバに通信する。サーバは次に、受信した録音を結合および／または平均化し、それをリモートユーザの再生装置に提供する。

一実施形態では、様々な観衆個人の装置が収集／記録する様々なハプティックトラックを結合／平均化する前に同期する。例えば、一実施形態では、各観衆個人の装置は録音をタイムスタンプし、タイムスタンプを用いて様々な観衆個人の装置の録音を同期する。一実施形態では、観衆個人の装置が収集するデータを分析するために、場所情報および転送する録音に関するメタデータと共にサーバまたは中央装置に転送する。転送するデータは別の録音との同期を促進するためのタイムスタンプを含んでいてもよく、それによって、実施形態は様々な場所および／または様々な装置／ウェアラブル／センサでの様々な測定記録間のタイミングの関係を判断してもよい。

一実施形態では、観衆個人の装置から受信した録音内の欠けている情報（例えば、ギャップ）を検出し、録音に参加している観衆メンバーを対象範囲／録音が弱いか、または対象範囲／録音がないスポットに誘導する。観衆から受信した録音内で欠けている情報を検出し、それに応じて観衆メンバーを誘導する一実施例は、Ｓｃｈｏｆｉｅｌｄらの「Ｂｏｏｔｌｅｇｇｅｒ：Ｔｕｒｎｉｎｇ Ｆａｎｓ ｉｎｔｏ Ｆｉｌｍ Ｃｒｅｗ」ＣＨＩ ２０１５ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ３３ｒｄ Ａｎｎｕａｌ ＡＣＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ Ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍ、ページ７６７−７７６（「Ｓｃｈｏｆｉｌｅｄ」）に開示されている。観衆の誘導は、観衆の望ましい場所に基づいていてもよく（例えば、左に移動する）、望ましい対象（例えば、歌手またはドラマーを撮影する）などに基づいていてもよい。

一実施形態では、観衆の誘導は、フィードバック（例えば、視覚フィードバック、ハプティックフィードバックなど）を観衆に提供することによって実施される。一実施形態では、音声録音、映像録音、ハプティック録音など異なる種類の録音を観衆から収集する。例えば、観衆個人の装置は映像記録および関連付けられるハプティック記録の両方を提供してもよい。ハプティック記録を用いて、映像記録の再生とともにリモートハプティックフィードバックを提供してもよい。一実施形態では、観衆の誘導はイベントの遠隔視聴者の好みによってもよい。例えば、イベントの一または複数のライブの参加者は、イベント放送のリモート視聴者の代理として機能してもよい。例えば、リモート視聴者はどのライブのハプティック記録を再生用に転送するかを、参加者の場所、参加者の記録によって収集された対象などに基づいて判断してもよい。一実施形態では、リモート視聴者は代替的または追加的に、フィードバックを受信する選手／演技者を選択してもよい。例えば、リモート視聴者は、サッカーの試合の選手に取り付けたセンサ／装置によって収集されたハプティックおよび／または別のフィードバックを受信することを選択してもよく、視聴者は後で選択を変更して、フィードバックを別の選手および／または試合のライブの参加者から受けてもよい。

一実施形態では、例えば、コンサートに参加している観衆の個人は、個人の装置（例えば、スマートフォン）上のアプリケーションを用いて、パフォーマンスのハプティックトラックを記録してもよい。ユーザは次に、イベントを後でＯｃｕｌｕｓ Ｒｉｆｔを用いて再経験してもよい。例えば、個人はバーチャルに観衆内を移動し、ハプティック経験の変化をイベントに参加しているかのように感じてもよい。

一実施形態では、例えば、ユーザはカーレースイベントをタブレット上で見て、レースカーが走り過ぎるときに、ライブの観衆であるかのように、振動を感じてもよい。このような振動は複数の観衆のユーザ装置（例えば、スマートフォン）によってレーストラックで記録されてもよい。したがって、個人が見るようにイベントを放送する際には、一定の時間に用いたカメラに基づいて最高の振動録音を選択し、提供してもよい。例えば、カメラがレーストラックで一定の場所に焦点を合わせると、その一定の場所に近い観衆個人の装置からの振動録音および／またはその一定の場所の観察を用いて、イベント放送を見ている個人にハプティックフィードバックを提供してもよい。

一実施形態では、観衆個人の装置はその位置を三次元空間で測定する（つまり、空間的フィードバックを提供する）。これは衛星利用測位システム（「ＧＰＳ」）などの屋外の位置検出システムによって実施してもよく、または空間に分散されるブルートゥース（登録商標）ビーコンの近接性を検出するなどの室内位置検出機能を実装することによって実施してもよい。一つの代替的または追加の実施形態では、異なる装置の相対的な位置を（例えば、ＷｉＦｉダイレクトまたはブルートゥースによって）互いに通信させることによって、および信号強度を推測することによって、推測してもよい。一つの代替的または追加の実施形態では、装置の位置を、カメラが収集する画像または装置が収集する音の強度などの別のセンサ信号に基づいて推測してもよい。例えば、観衆個人の装置の位置は、カメラが収集する画像の光度に基づいて判断されてもよい。別の実施例では、観衆個人の装置の位置は、カメラが収集する画像のパターン認識に基づいて判断されてもよい。別の実施例では、観衆個人の装置の位置は、装置が収集する音源を示す音の強度および／または装置がどれだけステージから離れているかに基づいて判断されてもよい。

一実施形態では、様々なイベントデータを（例えば、イベントの異なる場所の異なるセンサから、観衆個人の装置などから）収集した後に、このようなデータを後で再生および／またはリモート再生するためにコヒーレントデータセットに融合する。一実施形態は収集されるデータを、対応する音声−視覚コンテンツとともに再生できるように単一のハプティックトラックに融合し、それによって単一のＰＯＶフィードバックを提供する。代替的または追加の実施形態では、収集されるデータを用いてイベントの様々な場所にもとづく振動のマップを作成し、それによって複数のＰＯＶフィードバックを提供する。

一実施形態では、単一のＰＯＶフィードバックを提供するために、収集されるデータを結合して、最適な結果を生じるハプティックトラックを取得する。結合は任意の当該技術で既知のセンサ融合アルゴリズムを用いて実施されてもよい。このアルゴリズムは、例えば、各センサ／装置が記録する信号の雑音または相違、各センサの特性（例えば、信号対雑音比、記録品質評価など）、記録信号の振幅、記録した振動源（例えば、コンサートのステージまたはスピーカ）からの距離などに基づいてデータ融合を実施する。例えば、一実施形態では、センサ融合機能はセンサ信号の加重平均を取得してもよい。加重は各センサの品質評価に基づいてもよい。

一つの代替的または追加の実施形態では、様々な場所で感じる振動をマッピングする複数のＰＯＶフィードバックを提供する。本実施形態は、例えば、ユーザが周りを見回すことができ、および／または空間内で移動することができるＶＲの状況で適用可能である。ハプティックフィードバックを受信するユーザがカメラ角度を選択することができる非ＶＲの状況でも適用可能である。ハプティックフィードバックは選択したカメラに関連付けられて提供される（例えば、異なるハプティックトラックが異なる映像トラックに提供される）。本実施形態では、センサ融合機能は単一のＰＯＶシナリオであってもよいが、イベントの一定の場所に対応する収集されたデータにのみ適用される。例えば、特定の場所（例えば、空間内の点）に対応するハプティックフィードバックを提供するために、一実施形態では、その場所に近いセンサ／装置（例えば、その場所の一定の近くにあるセンサ／装置）からの録音の最高の融合を判断する。したがって、本実施形態では、空間内の一部の位置に一連のハプティックトラックを提供する。ハプティックトラックはそこから（例えば、補間に基づいて）空間内の任意の点に導かれてもよい。

ただし、代替的な一実施形態では、単一の融合ハプティックトラックを判断し、様々な空間的場所での振動強度をマッピングするために収集されたデータを用いて複数のＰＯＶフィードバックを提供してもよい。本実施形態は、融合ハプティックトラックおよび一定の空間的場所の振動強度に基づいて（例えば、融合ハプティックトラックを一定の空間的場所で測定または予測した振動強度に基づいて拡大縮小することによって）一定の空間的場所のハプティックフィードバックを生じる。

一実施形態では、ハプティックフィードバックを提供する際に、複数のアクチュエータを実装する。例えば、複数のＰＯＶフィードバックに関して本明細書に記載する機能から得られる一または複数のハプティックフィードバックは、複数のアクチュエータを有する装置のそれぞれのアクチュエータに割り当てられてもよい。本実施形態は、例えば、アクチュエータを左右に持つタブレットで再生する際に適用可能であり、ユーザの両手首のウェアラブルデバイスを通じて再生する際に適用可能である。一実施形態では、複数のＰＯＶフィードバックに関して本明細書に記載する機能は、アクチュエータごとに１つのハプティックトラックを得るように実装してもよい。例えば、様々な場所における様々なセンサ／装置によってイベントで収集されるデータに基づいて、強い振動を問題となる点の左側で感知する場合は、タブレットの左側のアクチュエータは右側のアクチュエータより強い再生振動を提供してもよい。

一実施形態では、ハプティックフィードバックは音声−視覚および／またはＶＲコンテンツとともに提供される。音声−視覚および／またはＶＲコンテンツは、例えば、テレビ、スマートフォン、タブレット、ＶＲヘッドセットなどで提供されてもよい。付随するハプティックフィードバックは、例えば、スマートフォン、タブレット、ウェアラブルデバイス（例えば、スマートウォッチ）などで提供されてもよい。一実施形態では、ハプティックフィードバックは、本明細書に記載する任意の種類のハプティック刺激（例えば、振動、突き、絞り、変形など）にしたがってもよく、記録された振動とそれぞれのハプティック刺激との間のマッピングに基づいて生成される。例えば、一実施形態では、記録された振動の強度は再生装置上の変形の強度にマッピングされてもよい。一実施形態では、再生装置は音声−映像コンテンツをハプティックデータとともに受信し、同調してそれらを再生する。

本明細書に記載する機能を複数のＰＯＶフィードバックを参照して提供する一実施形態では、再生クライアントは、ＶＲ環境のリモートユーザの位置／配向に基づいて再生するためのハプティックトラックを特定してもよい。例えば、再生クライアントはデータ融合機能が提供する２つの最も近いハプティックデータ点の間の線形補間によってプティックトラックを特定してもよい。

一実施形態では、一または複数の観衆ユーザ装置上でデータをそのような装置から収集するアプリケーションを実装してもよい。アプリケーションはまた、観衆ユーザ装置が実施する録音品質を改善するガイダンスを任意に提供してもよい。例えば、センサ融合機能の少なくとも一部を、イベントでセンサ／装置がすでに収集したデータに基づいて実施することによって、一実施形態では、現在の録音品質の推測を判断する。推測によって、イベントの一定の空間的場所に関連する不適切なまたは欠けている情報に対応する録音のギャップがあると示される場合は、アプリケーションは、その区域の対象範囲を改善するために観衆内の一または複数のユーザを対応する空間的場所に向かわせる。

一実施形態では、コンサートでの観衆のユーザのスマートフォンおよび／またはウェアラブルデバイスを用いて振動を記録する。次に録音をサーバで収集し、収集したデータを処理して最適にすべての録音を組み合わせた高品質のハプティックトラックを生成する。代替的または追加的に、収集したデータを処理して、ハプティック経験を観衆内の異なる場所で再生する空間化されたハプティックトラックを生成する。

一実施形態では、イベントで様々なセンサ／装置が収集するデータを融合するためのデータ融合機能を提供する。一実施形態では、使用するセンサの性質と配置によって、データの情報源は冗長していてもよく（例えば、２以上の情報源が同一のデータを提供する）、協調していてもよく（例えば、２以上の情報源からのデータの融合によって各情報源よりも正確なデータを提供する）、または補完的であってもよい（例えば、環境の異なる部分に対応する異なる情報源からのデータ）。データ融合機能は、例えば、ベイズ推定、最尤推定、最小二乗法、カルマンフィルタ、粒子フィルタ、アンサンブル法などにしたがっていてもよい。ベイズ推定は統計的な推定であり、ベイズの定理を用いて証拠を獲得する仮説の確率を更新する。ベイズ推定はラプラシアンベースでも、ガウスベースであってもよい。最尤推定は、確率分布を最大にする特定の統計に対する一または複数のパラメータの値の発見を含む。最小二乗法の方法は誤差の二乗の和が最小となるような解の発見のプロセスである。最小二乗法は、ｕｎｓｃｅｎｔｅｄ、重み付けなどとして実施されてもよい。カルマンフィルタは時間をかけて観測された一連の測定を使用し、統計的な雑音および別の不正確さを含み、単一の測定のみに基づいて取得する変数よりも正確な未知の変数の推測を生じる。カルマンフィルタは、拡張でも、ｕｎｓｃｅｎｔｅｄであってもよい。粒子フィルタ法は確率密度を表す質点（または「粒子」）にもとづく連鎖モンテカルロ法である。アンサンブル法は良い予測性能を得るために任意の構成学習アルゴリズムから取得しえる複数の学習アルゴリズムを用いる。

一実施形態では、データ融合機能の選択は、録音数、録音の相対的な場所、録音内の雑音の量、録音内の雑音の種類（例えば、ガウス、ランダムなど）などのデータ特性に基づいてもよい。例えば、様々な誤差を備える可能性のある異なる情報源／録音／装置からの異なる観測を用いて同一の変数を予測する場合は（例えば、一定の場所での振動）、様々な情報源からのデータを入力してもよい。振動伝搬のモデルを考慮すると、カルマンフィルタは対応する記録を持たない場所における価値の最高の予測判断することができる。一実施形態では、特定の記録に関連してデータ融合アルゴリズムに入力される発見は、一定の期間（例えば、５ｍｓウィンドウ）内の記録信号の二乗平均平方根（ｒｏｏｔ ｍｅａｎ ｓｑｕａｒｅ「ＲＭＳ」）値、一定の期間内の信号の最大値などであってもよい。一実施形態では、センサ／装置の１つから提示される加速／振動（例えば、測定される加速値）に関する各値は、対応する状態の変数の発見と考えられる。

本明細書に記載するデータ融合機能は、単一のＰＯＶフィードバックを提供すること、複数のＰＯＶフィードバックを提供すること、一または複数の異なるハプティックトラックを複数のアクチュエータを備える装置のそれぞれのアクチュエータに割り当てることなどの任意の再生構成で実装されてもよい。一実施形態では、複数のＰＯＶフィードバックを提供し、および／または異なるハプティックトラックを異なるアクチュエータに割り当てる、イベントの特定の区域に位置する各センサ／装置は、対応する目盛りがその場所に対応する状態変数の観測として考慮される。用いるデータ融合機能の種類によって、一実施形態ではまた、状態変数の経時での展開のモデリングを適用する。展開モデルは「ｔ」時での状態変数値を「ｔ−１」時での状態変数値とリンクし、用いるデータおよび推測される変数に依存してもよい方程式システムであってもよい。一つの代替的または追加の実施形態では、感知された／記録された情報が利用不可能であるが、感知された／記録された情報は周辺地域で利用可能なセンサ／装置から収集される区域において、本明細書に記載するデータ融合機能を用いてハプティック情報を推測する（例えば、加速／振動値）。

データ融合のためのカルマンフィルタを実装する一実施形態では、収集されるデータを単一のハプティックトラックに融合して単一のＰＯＶフィードバックを提供するために、点Ｐ周囲の各センサ／スマートフォン／装置は、推測すべき状態変数の観察を提供する。これは点Ｐでの振動レベルである。処理雑音および観察雑音がどちらも既知の共分散行列を備える白色ガウス雑音であり、状態変数はガウス分布に従うと想定すると、白色雑音を追加することによって、状態変数は時間とともに展開する。本実施形態では、観察モデルもまた振動源から一定の距離を置いて振動を判断する振動伝搬モデルを結合する。

図８は、本発明の実施形態による一または複数のハプティック効果を生じるときの図１の観衆ベースのハプティックモジュール１６のフローチャートである。一実施形態では、図８のフローチャートの機能は、メモリに記憶されるソフトウェアまたは別のコンピュータ可読または有形媒体によって実装され、プロセッサによって実行される。別の実施形態では、機能はハードウェア（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」を用いて）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）など）、または任意の組み合わせハードウェアおよびソフトウェアによって実施されてもよい。

８０２では観衆ベースのハプティックモジュール１６はイベントに関連する入力データを受信する。一実施形態では、入力データは、音声フィード、映像フィード、センサ、人間のオペレータ、ウェブサイト、またはイベントの参加者のユーザ装置の１または複数から発信される。一実施形態では、入力データはイベントに参加する観衆に関連する。一実施形態では、観衆に関連するデータは観衆からのデータ／観衆が生成するデータ（例えば、声援、やじ、詠唱など）を含み、および／または観衆が経験するイベントを収集するデータ（試合の強度、ムード、選手パフォーマンスなど）を含む。

８０４では観衆ベースのハプティックモジュール１６は入力データのイベントの要素を特定する。一実施形態では、入力データは２以上のデータの情報源から発信され、およびイベントの要素は２以上のデータの情報源の情報を相関することによって特定される。一実施形態では、イベントの要素は観衆によって生じる。一実施形態では、イベントの要素は観衆が興奮している、扇動されている、踊っているなどの観衆のムードに対応してもよい。一実施形態では、イベントの要素は、声援、ブーイング、あえぎなどの明白な観衆雑音に対応する。

８０６では観衆ベースのハプティックモジュール１６は、イベントの要素に基づいて一または複数のハプティック効果を生成する。一実施形態では、一または複数のハプティック効果の生成は、一または複数のハプティック効果を調整することを含んでいてもよい。一実施形態では、一または複数のハプティック効果はイベントの要素をハプティック化することによって生成される。代替的な実施形態では、一または複数のハプティック効果はイベントの要素に基づいて調整される、設計されるハプティック効果である。一実施形態では、調整することは、一または複数のハプティック効果のパラメータ（例えば、強度、期間など）のイベントの要素にもとづく調節を含む。一実施形態では、一または複数のハプティック効果はイベントの異なる要素に基づいて、またはイベントに関連する異なる入力データに基づいて生成され、異なるイベントの要素は、入力データまたは異なる入力データに基づいて取得される

８０８では一または複数のハプティック効果はハプティック出力装置によって生じられる。一実施形態では、入力データは特定の場所にいる、および／またはイベントを特定のＰＯＶ／角度から見ているイベントの参加者の経験を収集する。したがって、このようなハプティック効果によって、ユーザはそのような場所にいるか、および／またはイベントをそのような特定のＰＯＶ／角度でみているかのようにイベントを経験できる。本実施形態では、ユーザがイベントの様々な場所／ＰＯＶ／角度の中から選択した場所／ＰＯＶ／角度に基づいて、ハプティック効果を修正および／または調整してもよい。一実施形態では、各場所／ＰＯＶ／角度に対応するハプティック効果を提供するための入力データは、その場所／ＰＯＶ／角度にいる観衆から、および／またはその場所／ＰＯＶ／角度のイベント情報を取得するセンサから収集される。

一実施形態では、入力データは、イベントに参加する観衆に関連する一または複数の個人の装置によって収集されるハプティックデータを含む。一実施形態では、入力データはさらに、イベントに参加する観衆に関連する一または複数の個人の装置によって収集される映像または音声データを含む。一実施形態では、入力データはイベントに参加する観衆に関連する一または複数の個人の装置の場所を示す。一実施形態では、入力データを受信すると、観衆ベースのハプティックモジュール１６は、ハプティックデータはイベントの場所に関連する、欠けているハプティック情報であることを判断し、一または複数の観衆をその場所に向かわせる。一実施形態では、入力データを受信すると、観衆ベースのハプティックモジュール１６は、ハプティックデータはイベントの演技者に関連する、欠けているハプティック情報であることを判断し、一または複数の観衆を演技者に関するハプティック情報を収集するように向かわせる。

一実施形態では、観衆ベースのハプティックモジュール１６は、イベントに参加する観衆に関連する一または複数の個人によって収集されるハプティックデータに基づいてイベントのハプティックトラックを生成する。一実施形態では、観衆ベースのハプティックモジュール１６は、生成するにイベントのそれぞれの異なる場所に関連する一または複数のハプティックトラックを、イベントに参加する前述の観衆に関連する、一または複数の個人の装置によって収集されるハプティックデータに基づいて生成する。

一実施形態では、観衆ベースのハプティックモジュール１６は、イベントの一定の場所に関連付けられたハプティックフィードバックを受信するためにリモートユーザが好みを示すことを判断する。一実施形態では、観衆ベースのハプティックモジュール１６は、好みに基づいて、一または複数のハプティックトラック内のハプティックトラックを選択し、ハプティックトラックに基づいて、ハプティックフィードバックをリモートユーザに提供する。

開示したように、実施形態では、ライブイベントの雰囲気をリモートユーザが経験できる。一実施形態はイベントデータ（例えば、音声、映像、感覚データ、アップロード／共有されたイベント情報など）を収集し、イベントデータを（自動または人間のオペレータによって）分析して、ハプティック化すべきイベントキー要素を特定する。一つの代替的または追加の実施形態では、収集されたデータを用いてパラメータを取得する。パラメータはイベントキー要素に関連するハプティック効果を調節するために用いられる。実施形態では、関連する収集されたデータを（自動変換または設計される効果に基づいて）ハプティック効果に変換する。一実施形態では、データを記憶して、ハプティック効果および／またはハプティック効果トラック自体を生成または調節するために用いる。それによって、記憶されたデータおよび／またはハプティックトラックを後でユーザ再生装置に提供することができる。代替的な実施形態では、ハプティック効果および／またはハプティック効果トラック自体を生成または調節するために用いるデータをユーザ再生装置に送信する。次に、ハプティック効果をエンドユーザにライブまたは登録したイベントのメディアコンテンツとともに提供する。したがって、実施形態によって、エンドユーザはリモートまたは事前に記録したイベントの雰囲気に、よりよくバーチャル的に没頭する可能性を得ることができる。

いくつかの実施形態を本明細書に具体的に例示し、および／または記載する。ただし、開示する実施形態の修正および変形は前述の教示の対象であり、本発明の精神および意図する範囲を逸脱せずに、添付請求項の範囲内であることが理解されよう。

Claims (20)

1. 非一時的コンピュータ可読媒体であって、媒体上に記録される命令を保有し、プロセッサによって実施されるときは、前記プロセッサに一または複数のハプティック効果を生じさせ、前記命令は、
   イベントに関連付けられる入力データを受信することと、
   前記入力データ内の前記イベントの要素を特定することと、
   前記イベントの要素に基づいて前記一または複数のハプティック効果を生成することと、
   前記一または複数のハプティック効果をハプティック出力装置によって生じることと、
   を備える、非一時的コンピュータ可読媒体。
2. 請求項１に記載の非一時的コンピュータ可読媒体であって、前記一または複数のハプティック効果は、前記イベントの要素をハプティック化することによって生成される、非一時的コンピュータ可読媒体。
3. 請求項１に記載の非一時的コンピュータ可読媒体であって、前記生成することは、前記イベントの要素に基づいて前記一または複数のハプティック効果のパラメータを調節することを備える、非一時的コンピュータ可読媒体。
4. 請求項１に記載の非一時的コンピュータ可読媒体であって、前記一または複数のハプティック効果は、前記イベントの要素に基づいて調整された、設計されるハプティック効果である、非一時的コンピュータ可読媒体。
5. 請求項１に記載の非一時的コンピュータ可読媒体であって、前記一または複数のハプティック効果は、前記イベントの異なる要素に基づいて、または前記イベントに関連付けられる異なる入力データに基づいて生成され、前記イベントの異なる要素は、前記入力データまたは前記異なる入力データに基づいて取得される、非一時的コンピュータ可読媒体。
6. 請求項１に記載の非一時的コンピュータ可読媒体であって、前記入力データは、音声フィード、映像フィード、センサ、人間のオペレータ、ウェブサイト、または前記イベントの参加者のユーザ装置の１または複数から発信される、非一時的コンピュータ可読媒体。
7. 請求項１に記載の非一時的コンピュータ可読媒体であって、前記入力データは、２以上のデータの情報源から発信され、前記イベントの要素は、前記２以上のデータの情報源の情報を相関させることによって特定される、非一時的コンピュータ可読媒体。
8. 請求項１に記載の非一時的コンピュータ可読媒体であって、前記入力データは、前記イベントに参加する観衆に関連付けられる、非一時的コンピュータ可読媒体。
9. 請求項８に記載の非一時的コンピュータ可読媒体であって、前記イベントの要素は、前記観衆によって発生される、非一時的コンピュータ可読媒体。
10. 請求項８に記載の非一時的コンピュータ可読媒体であって、前記入力データは、前記イベントに参加する前記観衆に関連付けられる、一または複数の個人の装置によって収集されるハプティックデータを備える、非一時的コンピュータ可読媒体。
11. 請求項１０に記載の非一時的コンピュータ可読媒体であって、前記入力データはさらに、前記イベントに参加する前記観衆に関連付けられる、一または複数の個人の装置によって収集される映像または音声データを備える、非一時的コンピュータ可読媒体。
12. 請求項１０に記載の非一時的コンピュータ可読媒体であって、前記入力データは、前記イベントに参加する前記観衆に関連付けられる、一または複数の個人の装置の場所を示す、非一時的コンピュータ可読媒体。
13. 請求項１０に記載の非一時的コンピュータ可読媒体であって、さらに、
    前記ハプティックデータは前記イベントの場所に関連付けられる、欠けているハプティック情報であることを判断することと、
    一または複数の前記観衆を前記場所に向かわせることと、
    を備える、非一時的コンピュータ可読媒体。
14. 請求項１０に記載の非一時的コンピュータ可読媒体であって、さらに、
    前記ハプティックデータは前記イベントの演技者に関連付けられる、欠けているハプティック情報であることを判断することと、
    一または複数の前記観衆を前記演技者に関する前記ハプティック情報を収集するように向かわせることと、
    を備える、非一時的コンピュータ可読媒体。
15. 請求項１０に記載の非一時的コンピュータ可読媒体であって、さらに、
    前記イベントに参加する前記観衆に関連付けられる、前記一または複数の個人の装置によって収集される前記ハプティックデータに基づいて前記イベントのハプティックトラックを生成することをさらに含む、非一時的コンピュータ可読媒体。
16. 請求項１０に記載の非一時的コンピュータ可読媒体であって、さらに、
    前記イベントに参加する前記観衆に関連付けられる、前記一または複数の個人の装置によって収集される前記ハプティックデータに基づいて前記イベントのそれぞれの異なる場所に関連付けられる一または複数のハプティックトラックを生成すること、
    を備える、非一時的コンピュータ可読媒体。
17. 請求項１６に記載の非一時的コンピュータ可読媒体であって、さらに、
    前記イベントの一定の場所に関連付けられるハプティックフィードバックを受信するためにリモートユーザが好みを示すことを判断することを、備える、非一時的コンピュータ可読媒体。
18. 請求項１７に記載の非一時的コンピュータ可読媒体であって、さらに、
    前記好みに基づいて、前記一または複数のハプティックトラック内のハプティックトラックを選択することと、
    前記ハプティックトラックに基づいて、ハプティックフィードバックを前記リモートユーザに提供することと、
    を備える、非一時的コンピュータ可読媒体。
19. 一または複数のハプティック効果を生じる方法であって
    イベントに関連付けられる入力データを受信することと、
    前記入力データ内の前記イベントの要素を特定することと、
    前記イベントの要素に基づいて前記一または複数のハプティック効果を生成することと、
    前記一または複数のハプティック効果をハプティック出力装置を介して生じることと、
    を備える、方法。
20. 一または複数のハプティック効果を生じるシステムであって、
    イベントに関連付けられる入力データを受信する受信モジュールと、
    前記入力データ内の前記イベントの要素を特定する特定モジュールと、
    前記イベントの要素に基づいて前記一または複数のハプティック効果を生成する生成モジュールと、
    前記一または複数のハプティック効果をハプティック出力装置を介して生じる発生モジュールと、
    を備える、システム。