JP2017005709A - ブロードキャスト用ハプティクスアーキテクチャ - Google Patents

Abstract

【課題】ハプティックデータをライブイベントからエンドユーザ装置に転送するためのシステムが提供される。
【解決手段】レコーダが、ライブイベントの映像データを記録するように構成される。センサが、ライブイベントに関連付けられたパラメータを検知し、検知されたパラメータをセンサデータとして出力するように構成される。変換部が、センサからのセンサデータを受信し、センサデータを、ライブイベントに関連付けられたハプティックデータを含む信号に変換するように構成される。エンドユーザ装置が、変換部からハプティックデータを受信するように構成され、ライブイベントの映像データを受信するように構成される。エンドユーザ装置は、ハプティックデータに基づいてユーザに対するハプティック効果を生成するように構成されたハプティック出力装置を含み、映像データを表示するように構成されたディスプレイを含む。
【選択図】図１

Description

実施形態は、概略としてマルチメディアコンテンツの処理及び表示に関し、特に、音声−映像コンテンツをハプティック効果で強化することに関する。

映像ゲーム産業において一般に使用されるハプティック効果は、ユーザ体験を強化する触覚的なキューを与え、ユーザに対する仮想環境をよりインタラクティブにすることができる。例えば、振動効果、すなわち振動触覚ハプティック効果は、電子装置のユーザにキューを与えて特定のイベントに対してユーザを喚起する際に有用なことがあり、又はリアルなフィードバックを与えて模擬若しくは仮想環境内でより深い感覚的没入を作り出すことができる。スポーツイベントなどのライブイベントを観る際のユーザの体験は、ハプティック効果をライブイベントの音声及び映像成分に付加することによって強化され得る。本実施形態は、ハプティックデータをライブイベントからエンドユーザ装置に転送するためのアーキテクチャに関する。

実施形態は、ハプティックデータをライブイベントからエンドユーザ装置に転送するためのシステムに関する。システムは、レコーダ、センサ、変換部及びエンドユーザ装置を含む。レコーダは、ライブイベントの映像データを記録するように構成される。センサは、ライブイベントに関連付けられたパラメータを検知し、検知されたパラメータをセンサデータとして出力するように構成される。変換部は、センサからのセンサデータを受信し、センサデータをライブイベントに関連付けられたハプティックデータを含む信号に変換するように構成される。エンドユーザ装置は、変換部からハプティックデータを受信するように構成され、ライブイベントの映像データを受信するように構成される。エンドユーザ装置は、ハプティックデータに基づいてユーザに対するハプティック効果を生成するように構成されたハプティック出力装置を含み、映像データを表示するように構成されたディスプレイを含む。

実施形態は、レコーダ、センサ、現地送信局、変換部及びエンドユーザ装置を含むシステムに関する。レコーダは、ライブイベントの映像データを記録するように構成される。センサは、ライブイベントに関連付けられたパラメータを検知し、検知されたパラメータをセンサデータとして出力するように構成される。現地送信局は、ライブイベントの現地に配置される。現地送信局は、ライブイベントの映像データを受信するように構成され、ライブイベントの映像データを処理するためのプロセッサを含む。変換部は、センサからのセンサデータを受信し、センサデータをライブイベントに関連付けられたハプティックデータを含む信号に変換するように構成される。エンドユーザ装置は、ハプティックデータを変換部から受信するように構成され、処理された映像データを現地送信局のプロセッサから受信するように構成される。エンドユーザ装置は、ハプティックデータに基づいてユーザに対してハプティック効果を生成するように構成されたハプティック出力装置を含み、映像データを表示するように構成されたディスプレイを含む。

実施形態はまた、ハプティックデータをライブイベントからエンドユーザ装置に転送する方法に関する。ライブイベントの映像データが記録される。ライブイベントに関連付けられたパラメータが検知され、検知されたパラメータがセンサデータとして出力される。センサからのセンサデータが受信され、センサデータが、ライブイベントに関連付けられたハプティックデータを含む信号に変換される。ハプティックデータが、エンドユーザ装置で受信される。エンドユーザ装置は、映像データを表示するように構成されたディスプレイを含む。ライブイベントの映像データが、エンドユーザ装置で受信される。エンドユーザ装置は、ハプティックデータに基づいてユーザに対するハプティック効果を生成するように構成されたハプティック出力装置を含む。少なくとも１つのハプティック効果が、ハプティックデータに基づいてハプティック出力装置で生成され、映像データがディスプレイに表示される。

発明の上記及び他の構成及び効果は、添付図面に示す本実施形態の以降の説明から明らかとなる。添付図面は、ここに取り込まれて明細書の一部を構成するものであり、発明の原理を説明し、当業者が発明を生産及び使用することを可能とするようにさらに作用する。図面は寸法通りではない。

図１は、ハプティックデータをライブイベントからエンドユーザ装置に転送するための簡略化されたフローチャートを示す。 図２はハプティックデータをライブイベントからエンドユーザ装置に転送する際に利用される基本的な構成要素を含む、より詳細なフローチャートを示し、処理済み音声及び／又は映像データ並びにハプティックデータは個別又は別個の信号としてエンドユーザ装置に送信される。 図３は他の実施形態によってハプティックデータをライブイベントからエンドユーザ装置に転送する際に利用される基本的な構成要素を含む、より詳細なフローチャートを示し、処理済み音声及び／又は映像データ並びにハプティックデータは複合信号としてエンドユーザ装置に送信される。 図４は、実施形態によるエンドユーザ装置のブロック図である。 図５は実施形態においてエンドユーザ装置として使用され得るマルチデバイスシステムのブロック図であり、マルチデバイスシステムは主エンドユーザ装置及び副エンドユーザ装置を含む。 図６は、実施形態によるブロードキャスト用ハプティクスアーキテクチャの説明図であり、ハプティックデータの変換がハプティックイベントの手動挿入を介して現地の処理又は送信局で行われる。 図７は他の実施形態によるブロードキャスト用ハプティクスアーキテクチャの説明図であり、元のセンサデータのハプティックデータへの変換が現地の処理又は送信局の後段でエンドユーザ装置への到達前に行われる。 図８は他の実施形態によるブロードキャスト用ハプティクスアーキテクチャの説明図であり、元のセンサデータのハプティックデータへの変換が現地の処理若しくは送信局又はその前段で行われ、エンドユーザ装置への配信に中央処理サーバを利用する。 図９は他の実施形態によるブロードキャスト用ハプティクスアーキテクチャの説明図であり、元のセンサデータのハプティックデータへの変換が現地の処理若しくは送信局又はその前段で行われ、エンドユーザ装置への配信に中央処理サーバを利用しない。 図１０は他の実施形態によるブロードキャスト用ハプティクスアーキテクチャの説明図であり、元のセンサデータのハプティックデータへの変換がセンサ自体で行われる。 図１１は他の実施形態によるブロードキャスト用ハプティクスアーキテクチャの説明図であり、元のセンサデータのハプティックデータへの変換がエンドユーザ装置で行われる。

図面を参照して本発明の具体的実施形態をここに説明する。同様の参照符号は同一の要素又は機能的に同様の要素を示す。以降の詳細な説明は、単に例示的なものであり、本発明又は本願、及び発明の使用を限定するものではない。またさらに、上記の技術分野、技術背景、発明の概要又は以降の詳細な説明で示されるいずれの明示又は示唆される理論にも拘束されるものではない。

実施形態は、ライブハプティック効果とともにライブ映像を見ることを可能とするために、ハプティックデータをライブイベントからエンドユーザ装置に転送するためのアーキテクチャに関する。言い換えると、ここに記載されるアーキテクチャは、ブロードキャストされるライブ映像及び／又は音声にハプティックデータを埋め込み、又は含めてユーザの体験を強化するのに適する。イベントのリアルタイム的側面がライブ映像でハプティック効果又は感覚として再生され、ライブ映像を見ているユーザに対して一層リアルで没入的な体験を与えることができるように、ライブイベントの映像を記録しつつ、同時にライブイベントのリアルタイム的側面を記録できることが望ましい。シーンにおける対象物からリアルタイムデータを記録してその体験をハプティック的に再生することは、ハプティック効果を映像に同期させることを試みるプログラミングツール及び書込み同期コードによるオフラインでの芸術的編集と比べた場合、体験を捕捉又は再形成する際のより本能的な方法である。また、現実世界のセンサデータを記録及び変換してハプティック出力を生成することは、ハプティック信号の手書き合成と比べた場合、ハプティックコンテンツを生成するためのよりコスト効率の高い態様である。

より詳細には、図１のフローチャート１００を参照すると、ステップ１０２に示すように、これに限定されないがスポーツイベントなど、遠隔ユーザにブロードキャストされるライブイベントは、音声、映像及び／又はセンサデータなどの種々の形態の元データを生成する。より詳細をここで説明するように、センサデータを出力するように構成されたセンサは、ライブイベントにおいて利用される機器に対応付けられ、又はライブイベントに参加している１人以上の選手に対応付けられる。元データ、すなわち元の音声、映像及び／又はセンサデータはステップ１０４に示すように１以上の処理を受け、それによりステップ１０６に示すように、１以上のエンド装置が、センサデータに由来する音声、映像及び／又はハプティックデータをユーザに出力することができる。実施形態は、ライブイベントからエンドユーザ装置への、１以上のセンサに由来するハプティックデータを読み出し、解析し、及び／又は変換するためのアーキテクチャに関する。ここで使用されるハプティックデータは、ハプティック情報を搬送するデータを生成するのに使用され、又はそれに変換されるセンサデータを含むので、ハプティックデータはライブイベントに関係し、又は関連付けられる。より詳細には、ハプティックデータは、ハプティック情報を搬送するデータを生成するのに手動で（すなわち、人間の設計者又はオペレータによって）使用されるセンサデータ、及びハプティック情報を搬送するデータに自動的に（すなわち、１以上のプロセッサを介した自動変換によって）変換されるセンサデータを含む。ハプティックデータは、ハプティック効果を再生又は出力するハプティック出力装置又はハプティック周辺装置のアクチュエータに入力又は供給される制御信号である。音声及び／又は映像伝送チャネルとは別の又は独立した独立チャネルにおいて伝送される。ハプティックデータについての独立チャネルを形成することによって、実施における多様性が与えられ、音声又は映像データによるだけでは必ずしも識別できない種々のイベント（すなわち、ハプティクスが音声又は映像データから直接生成される場合）が区別され、それにより、確実にこれらのイベントがハプティック効果に変換され、検出されないことがない。

図２は、ハプティックデータをライブイベントからエンドユーザ装置に転送する際に利用される基本的な構成要素を含む、より詳細なフローチャート２００を示す。音声及び／又は映像レコーダ１０８は、元の音声及び／又は映像データを捕捉するためにライブイベントに配置され、一方、センサ１１０は元のセンサデータを捕捉するためにライブイベントに配置されるとともにライブイベントで利用される機器に対応付けられる。元の音声及び／又は映像データを含む信号１１２は音声及び／又は映像レコーダ１０８からプロセッサ又はエンコーダ１１６に送信され、元のセンサデータを含む信号１１４はセンサ１１０からプロセッサ又は変換部１１８に送信される。プロセッサ又はエンコーダ１１６は、元の音声及び／又は映像データを含む信号１１２を処理し、処理済み音声及び／又は映像データを含む信号１２０は、処理済み音声及び／又は映像データをそれぞれ出力するスピーカ及び／又はディスプレイ１２４を有するエンドユーザ装置に対してプロセッサ又はエンコーダ１１６から送信又はブロードキャストされる。より詳細には、元の音声及び／又は映像データの処理は、自動的に行われてもよいし、又は例えば入力の遅延若しくは品質を制御できる人間のオペレータ及び／又はどの音声入力若しくは視野角をブロードキャストするかを選択できる人間のオペレータによって手動で行われてもよい。変換部１１８は元のセンサデータを含む信号１１４をハプティックデータに処理し、ハプティックデータを含む信号１２２は、ハプティックデータを出力するためのハプティック出力装置１２６を有するエンドユーザ装置に対して変換部１１８から送信又はブロードキャストされる。ステップ１０４において、元の音声及び／又は映像データを含む信号１１２の処理は、元のセンサデータを含む信号１１４の処理と同じ時間又は場所で実行される必要はない。図６〜１１の実施形態に関してここに開示されるアーキテクチャは、元のセンサデータを含む信号１１４の処理のための異なる時間及び場所を記述する。

図２の実施形態において、処理済み音声及び／又は映像データを含む信号１２０並びにハプティックデータを含む信号１２２は、１以上のエンド装置に配信される個別又は別個の信号として示される。一方、図３に示す他の実施形態では、処理済み音声及び／又は映像データ並びにハプティックデータ（すなわち、変換部１１８によって処理されたセンサデータ）を含む複合信号３２８が１以上のエンド装置に配信される。複合信号３２８は、映像コンテンツ又はデータ、音声コンテンツ又はデータ、及びハプティックコンテンツ又はデータを含み、そのような部分は時系列でインタリーブされて配信されるか、又はそのような部分は順序付けられずに配信されるがエンド装置によるユーザへの提示のための正しい時系列での再構成のために解釈され得る順序付け情報を含む。エンコーダ（不図示）は、ハプティックデータを含む信号１２２を取得し、それを処理済み音声及び／又は映像データを含む信号１２０に符号化する。符号化のための適切なエンコーダ及び方法は、米国特許出願公開第２０１４／０３４７１７７号、Ｐｈａｎ他（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ４８９）に記載され、これは参照としてここに取り込まれる。符号化は、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）コンテナにおける専用トラック又は既存の音声若しくは映像ストリームにおける未使用／使用中の特殊成分としての形式であればよい。符号化ストリームは、オーバージエア（ＯＴＡ）アナログブロードキャスト、衛星、インターネットプロトコル（ＩＰ）ネットワーク又は他の既存のスポーツ送信方法を介して遠隔視聴者に配信され得る。処理済み音声及び／又は映像データ並びにハプティックデータは任意の形式、すなわち、ここに記載されるアーキテクチャの実施形態の処理又は変換ステップのいずれかの前及び／又は後において、個別又は別個の信号又は複合信号の形式をとり得る。言い換えると、ハプティックデータ並びに処理済み音声及び／又は映像データは、同じコンテナ若しくは入力においてともに符号化され、又はここに記載されるいずれかの実施形態における個別入力として入力又は送信され得る。また、デコーダは、入力（すなわち、音声、映像及びハプティクス）のいずれかを複合信号から抽出し、抽出された入力を処理又は変換するように、ここに記載されるアーキテクチャの実施形態の変換又は処理段のいずれかに存在し得る。処理又は変換の後に、変換された入力は、個別の入力としてブロードキャストされ、又はエンコーダの補助によって複合信号に再符号化され得る。さらに、いずれかの実施形態において、ここに記載される信号（信号１１２、１１４、１２０、１２２及び／又は３２８を含む）は、メタデータを含んでいてもよい。一実施形態では、メタデータは、米国特許出願公開第２００８／０２２３６２７号、Ｌａｃｒｏｉｘ他（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ２５０）に記載されるようなハプティック効果並びに音声及び／若しくは映像データの同期に利用可能であり、米国特許出願公開第２０１３／０３１１８１１号、Ｂｉｒｍｂａｕｍ他（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ３９２）に記載されるようなハプティック効果、イベント及び／若しくはハプティック効果とイベントの間の対応を少なくともある程度特定することに利用可能であり、並びに／又は米国特許出願公開第２０１４／０３４０２０９号、Ｌａｃｒｏｉｘ他（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ４５９）に記載されるようにその他利用可能であり、その各々がその全体において参照としてここに取り込まれる。

図２又は図３のステップ１０６において、１以上のエンドユーザ装置が、処理済み音声及び／又は映像データ並びにハプティックデータを出力するのに利用される。言い換えると、１以上のエンドユーザ装置はブロードキャストストリーム、すなわち、信号１２０及び１２２を映像、音声及びハプティック成分に復号し、各成分は同じ物理エンドユーザ装置又は異なる物理エンドユーザ装置（すなわち、映像についてはコンピュータ又はテレビ、音声についてはスピーカ又はヘッドフォン、及びハプティックについてはウェアラブルハプティック周辺装置又はモバイル装置）によって表示又は出力され得る。

より詳細には、一実施形態では、単一のエンドユーザ装置はスピーカ及び／又はディスプレイ１２４並びにハプティック出力装置１２６を含み、処理済み音声及び／又は映像データ並びにハプティックデータを出力するのに利用され得る。例えば、遠隔ユーザは、電話機又はタブレットなどのモバイル装置上でスポーツイベントを見ているものとする。この実施形態では、送信用にセルラ又はＷｉ−Ｆｉ技術が使用され、映像、音声及びハプティックコンテンツは同じ装置を介して出力されることになる。他の実施形態では、ユーザは、スタジアム又はアリーナにおけるスポーツイベントのライブを観ているものとする。この実施形態では、モバイル装置は同じ位置において更なる没入感を与え、試合の全体的な雰囲気及び背景を強化することになる。モバイル装置は、ユーザの手に保持されてもよいし、ハプティックコンテンツを依然出力するようにしてユーザのポケットに入れられてもよい。

より詳細には、図４は、音のコンテンツ又はデータを出力するためのスピーカ４２４_Ａ、映像コンテンツ又はデータを出力するための表示画面４２４_Ｂ及びハプティックコンテンツ又はデータを出力するためのハプティック出力装置４２６を含む１つのエンドユーザ装置４３０のブロック図を示す。ハプティック効果を知覚又は感得するために、エンドユーザ装置４３０は、ユーザに保持され、ユーザに装着又は結合され、あるいはユーザにハプティック又は覚知効果を伝達することができる表面を有する装置である。一実施形態によると、エンドユーザ装置４３０は、モバイル電話機、タブレットコンピュータ、ゲーム機器、パーソナルデジタルアシスタント（ＰＤＡ）などのような、ハプティック効果レンダリング機能を含む電子的ハンドヘルド装置である。例えば、エンドユーザ装置４３０は、Ａｐｐｌｅ（登録商標）、Ｉｐａｄ（登録商標）、Ｋｉｎｄｌｅ（登録商標）、Ｆｉｒｅ（登録商標）、及びＳａｍｓｕｎｇ（登録商標）Ｇａｌａｘｙ Ｔａｂ（登録商標）などの周知及び市販のタブレットコンピュータであればよい。エンドユーザ装置４３０のための他の適切な装置は、以下に限定されないが、パーソナルデジタルアシスタント（ＰＤＡ）、コンピュータ、ゲーム周辺装置及び当業者に知られている他の装置を含む。

図４のブロック図に示すように、エンドユーザ装置４３０は、受信機４３４、プロセッサ４３２、メモリ４３６、ハプティック出力装置４２６、表示画面４２４_Ｂ及びスピーカ４２４_Ａを含む。エンドユーザ装置４３０は、メモリ４３６に記憶されてプロセッサ４３２によって実行されるソフトウェアアプリケーションを実行する。プロセッサ４３２は、任意のタイプの汎用プロセッサであればよく、又はハプティック効果信号を供給するように特別に設計されたプロセッサであってもよい。メモリ４３６は、これらに限定されないが、ランダムアクセスメモリ（ＲＡＭ）又は読出し専用メモリ（ＲＯＭ）などの任意のタイプの記憶装置又はコンピュータ可読媒体であればよい。メモリ４３６はまた、プロセッサの内部に配置されてもよいし、内部及び外部メモリの任意の組合せであってもよい。スピーカ４２４_Ａは、エンドユーザ装置４３０がスピーカ４２４_Ａを介して音声を出力する能力を有するように、例えば、エンドユーザ装置４３０に内蔵又は結合されたスピーカであればよい。エンドユーザ装置４３０はまた、表示画面４２４_Ｂを介して映像を出力する能力を有する。表示画面４２４_Ｂはエンドユーザ装置４３０に結合されていてもよいし、当業者に知られているように、エンドユーザ装置４３０及び表示画面４２４_Ｂは単一の装置に一体化されていてもよい。さらに、利用されているブロードキャスト信号のタイプに応じて、エンドユーザ装置４３０は、インターネットからストリーミング信号を受信するための内蔵型有線又は無線モデム（不図示）を含み得る。

動作において、エンドユーザ装置４３０の受信機４３４は、ハプティックデータを含む信号１２２を受信し、又は複合信号３２８を受信し、そのハプティック成分を認識する。そして、ハプティックデータを含む信号１２２又は複合信号３２８のハプティック成分が、プロセッサ４３２に方向付け又は送信される。ハプティックデータを含む信号１２２又は複合信号３２８のハプティック成分は、例えば、直接のハプティック効果ストリーム、又はどのハプティック効果が実行されなければならいかを示す命令の組を含み得る。ハプティックデータを含む受信信号１２２又は複合信号３２８のハプティック成分に応じて、プロセッサ４３２は、１以上のハプティック効果をユーザに供給又は出力するようにハプティック出力装置４２６に指示する。プロセッサ４３２は、どのようなハプティック効果をハプティック出力装置４２６に送信するか、及びそのハプティック効果をどのような順序で送信するかを決定することができる。例えば、ハプティックデータを含む信号１２２又は複合信号３２８のハプティック成分は、電圧の大きさ及び継続時間を含み得る。他の例では、ハプティックデータを含む信号１２２又は複合信号３２８のハプティック成分は、ハプティック出力装置４２６によって出力されるべきハプティック効果のタイプ（例えば、振動、急激な揺れ、戻り止め、叩くことなど）のような上位命令をプロセッサ４３２に与えることができ、それにより、プロセッサ４３２は、出力されるべきハプティック効果の所定の特性（例えば、大きさ、周波数、継続時間など）に関してハプティック出力装置４２６を指示する。プロセッサ４３２は、ハプティック効果のタイプ、大きさ、周波数、継続時間又は他の特性を、それに結合されたメモリ４３６から取得する。他の実施形態では、ハプティックデータを含む信号１２２又は複合信号３２８のハプティック成分は、プロセッサ４３２のメモリに予め記憶されたハプティック効果に対応するコード又は識別番号をプロセッサ４３２に供給することができる。

ハプティックフィードバックはユーザ体験を強化する。ここで、運動効果（能動及び抵抗性ハプティックフィードバックなど）及び／又は触覚効果（振動、手触り及び熱など）は、まとめて「ハプティックフィードバック」又は「ハプティック効果」として知られる。集合的なハプティック効果によって、複数の感覚種、例えば映像、音声及びハプティクスが同時に関与するので、音声−映像コンテンツへのより大きな没入感がユーザに与えられる。例えば、振動効果、すなわち振動触覚ハプティック効果は、ユーザにキューを与えて特定のイベントに対してユーザを喚起し、又はリアルなフィードバックを与えて模擬若しくは仮想環境内でのより深い感覚的没入を作り出すのに有用となる。エンドユーザ装置４３０のプロセッサ４３２は、ハプティックデータをレンダリングしている特定のタイプのエンドユーザ装置４３０を最適化するようにハプティックデータをさらに適応又は調整する稼働中ソフトウェアアルゴリズムであってもよい。

ハプティック出力装置４２６によって与えられるハプティック効果は、これに限定されないが、急激な揺れ又は振動などの過渡的な効果を含み得る。ハプティック出力装置４２６は、物理的及び／又は非物理的なアクチュエータであればよい。可能な物理的アクチュエータは、以下に限定されないが、偏心質量体がモータによって移動する偏心回転質量体（ＥＲＭ）アクチュエータ、弾性体に装着された質量体が前後に駆動されるリニア共振アクチュエータ（ＬＲＡ）、圧電アクチュエータ、偏心質量体がモータによって移動する電磁モータ、振動触覚アクチュエータ、慣性アクチュエータ、又は他の適切なタイプの作動装置を含む。可能な非物理的アクチュエータは、以下に限定されないが、静電摩擦（ＥＳＦ）、超音波表面摩擦（ＵＳＦ）及び他の非物理的アクチュエータを含む。他の実施形態では、ハプティック出力装置４２６は、例えば、エンドユーザ装置４３０のハウジングの剛性／制動を変化させるソレノイド、ハウジングの大きさを変化させる小型エアバッグ又は形状変化材料を含む運動ハプティックフィードバックを用いることができる。

ハプティック出力装置４２６によって出力されるハプティック効果は、以下に限定されないが、変動する度合いの振動、変動する度合いの急激な揺れ、又は他のタイプのハプティック効果を含み得る。エンドユーザ装置が複数のハプティックアクチュエータを含む場合、プロセッサ４３２は、どのハプティックアクチュエータにおいて各ハプティック効果がユーザに対して実行及び提供されるべきかを特定することができる。そのような実施形態では、上位ハプティックパラメータ又はストリーミング値が、エンドユーザ装置のメモリに記憶されたソフトウェアコードにおいて生成される。パラメータ又は値はプロセッサによって処理され、それにより各ハプティックアクチュエータに対して適切な電圧レベルが生成される。これによって、エンドユーザ装置が適切なハプティック効果をユーザに与え、各ハプティック出力装置４２６に対して生成される異なる電圧レベルによってハプティック効果の量又はタイプを変化させることが可能となる。

他の実施形態では、エンドユーザ装置４３０は、ユーザに結合され、又はユーザに近接して位置するように構成されたウェアラブルハプティック周辺装置であってもよい。例えば、エンドユーザ装置４３０は、スピーカ４２４_Ａ又は表示画面４２４_Ｂを含む必要はないが、ウェアラブルハプティック周辺装置のハプティック出力装置がハプティック効果をユーザの関連身体部位（すなわち、パンチが打たれた身体部位）に伝達可能となるように、ユーザの身体に装着され、又はユーザに近接位置にある衣服若しくは装備に装着されるように構成されることが好ましい。

図５に示す他の実施形態において、マルチデバイスシステム５３８は、処理済み音声及び／又は映像データを出力するテレビなどの第１又は主エンドユーザ装置５４０並びにハプティックデータを出力する副エンドユーザ装置５３０を含む。例えば、ユーザは、大画面テレビ、すなわち主エンドユーザ装置５４０でスポーツイベントも見ているが、電話機、タブレット又はリモートコントローラなどの副エンドユーザ装置５３０を「第２の画面」として用いているかもしれない。スポーツイベント中、第２の画面装置は、スポーツの統計及び広告などのイベントに関するメタデータ又は拡張情報を見るのによく使用される。本実施形態では、映像及び／若しくは音声データ又はコンテンツは主エンドユーザ装置５４０の大型画面上で主に使用されるが、ハプティックデータ又はコンテンツは副エンドユーザ装置５３０で体験され得る。副エンドユーザ装置５３０は、ユーザの手に保持されてもよいし、ハプティックコンテンツを依然出力するようにしてユーザのポケットに入れられてもよい。マルチデバイスシステムのための種々のアーキテクチャは、米国仮特許出願第６２／０２１６６３号、Ｌａｃｒｏｉｘ他（Ａｔｔｏｅｎｒｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ５３３Ｐ）、発明の名称「Ｓｅｃｏｎｄ Ｓｃｒｅｅｎ Ｈａｐｔｉｃｓ」に記載され、その全体において参照によりここに取り込まれる。

主エンドユーザ装置５４０は、処理済み音声及び／若しくは映像データを含む信号１２０又は複合信号３２８の音声及び／若しくは映像成分を出力するように構成されたテレビすなわちＴＶなどの音声−映像表示装置である。図５のブロック図に示すように、主エンドユーザ装置５４０は、受信機５４２、スピーカ５２４_Ｄ及び表示画面５２４_Ｃを含む。受信機５４２は、処理済み音声及び／若しくは映像データを含む信号１２０又は複合信号３２８の音声及び／若しくは映像成分を受信し、その信号を、画像及び音に処理可能な電気信号に変換する。スピーカ５２４_Ｄは、例えば、主エンドユーザ装置５４０に内蔵又は結合されたスピーカであればよく、電気信号を音波に変換して映像画像とともに音声を再生する。したがって、主エンドユーザ装置５４０は、スピーカ５２４_Ｄを介して音声を出力する。表示画面５２４_Ｃは電気信号を可視光に変換するように構成され、ユーザに映像を出力する任意のタイプの媒体であればよく、これは、以下に限定されないが、モニタ、テレビ画面、プラズマ、ＬＣＤ、プロジェクタ又は他の表示装置を含む。したがって、主エンドユーザ装置５４０は、表示画面５２４_Ｃを介して映像を出力する。以下に限定されないが、スマートフォン、ゲームコンソール、パーソナルデジタルオーガナイザ、ノートブックコンピュータ、及び結合された表示画面を有する他の任意のタイプのコンピュータを含むＴＶ以外の音声−映像表示装置が、主エンドユーザ装置５４０として使用され得る。利用されるブロードキャスト信号のタイプに応じて、主エンドユーザ装置５４０は、インターネットからのストリーミング信号を受信するための内蔵型有線又は無線モデム（不図示）を含み得る。上述した主エンドユーザ装置５４０は音声及び映像コンテンツをそれぞれ出力するための表示画面及び音響装置を含むが、代替的に主エンドユーザ装置は音声コンテンツのみ（例えば、映像コンテンツなしの音楽）を出力してもよいし、代替的に映像コンテンツのみ（例えば、音声コンテンツなしの無声映画）を出力してもよい。

図５のブロック図に示すように、副エンドユーザ装置５３０はエンドユーザ装置４３０と同様であり、受信機５３４、プロセッサ５３２、メモリ５３６、ハプティック出力装置５２６、表示画面５２４_Ｂ及びスピーカ５２４_Ａを含む。副エンドユーザ装置５３０は、メモリ５３６に記憶されてプロセッサ５３２によって実行されるソフトウェアアプリケーションを実行する。プロセッサ５３２は、任意のタイプの汎用プロセッサであればよく、又はハプティック効果信号を供給するように特別に設計されたプロセッサであってもよい。メモリ５３６は、これらに限定されないが、ランダムアクセスメモリ（ＲＡＭ）又は読出し専用メモリ（ＲＯＭ）などの任意のタイプの記憶装置又はコンピュータ可読媒体であればよい。メモリ５３６はまた、プロセッサの内部に配置されてもよいし、内部及び外部メモリの任意の組合せであってもよい。スピーカ５２４_Ａは、副エンドユーザ装置５３０がスピーカ５２４_Ａを介して音声を出力する能力を有するように、例えば、副エンドユーザ装置５３０に内蔵又は結合されたスピーカ又はヘッドフォンであればよい。副エンドユーザ装置５３０はまた、表示画面５２４_Ｂを介して映像を出力する能力を有する。さらに、利用されているブロードキャスト信号に応じて、副エンドユーザ装置５３０は、インターネットからストリーミング信号を受信するための内蔵型有線又は無線モデム（不図示）を含み得る。ここに記載される副エンドユーザ装置５３０は、選択的に音声及び／又は映像コンテンツを出力するための表示画面及び／又は音響装置を含むことが好ましいが、副エンドユーザ装置はこれらの構成要素及び機能を有する必要はない。例えば、ハプティック出力に加えて、副装置は映像出力を有していてもよいし、音声出力を有していてもよいし、映像出力及び音声出力の双方を有していてもよいし、映像出力も音声出力も有していなくてもよい。

マルチデバイスシステム５３８は、副エンドユーザ装置５３０で出力されているハプティックコンテンツと主エンドユーザ装置５４０で出力されている音声−映像コンテンツの同期を保証する手段を含み得る。例えば、主エンドユーザ装置５４０及び副エンドユーザ装置５３０は、それぞれの装置で出力されているコンテンツの同期を保証するために相互に直接通信することができる。再生ロケータ信号５４８は、主エンドユーザ装置５４０と副エンドユーザ装置５３０との間で通信されて、信号１２０及び１２２又は複合信号３２８に対する時間基準点を特定するように機能し得る。時間的基準点は、例えば、時間コード、カウンタ、使用されたメディア再生の秒数、メディアファイルにおける現時点の再生位置、又は再生位置の他の任意の表示であればよい。主エンドユーザ装置５４０の再生ロケータ５４６は再生位置を副エンドユーザ装置５３０の再生ロケータ５４４に時折通信し、又はその逆を行い、主エンドユーザ装置５４０で出力されている信号１２０又は信号３２８の音声及び／若しくは映像成分が、副エンドユーザ装置５３０で出力されている信号１２２又は信号３２８のハプティック成分に充分に同期された態様でレンダリングされることを保証する。

前述したように、図６〜１１の実施形態に関してここに開示されるアーキテクチャは、元のセンサデータを含む信号１１４のハプティックデータへの処理のための様々な時と場所を記述する。言い換えると、図６〜１１の実施形態に関してここに開示されるアーキテクチャは、元のセンサデータを有する信号１１４からハプティックデータを有する信号１２２への変換又は複合信号３２８のハプティック成分への変換が、ライブイベント位置からエンドユーザ装置までにある配信チェーンに沿うどの段階において行われることになるのかを説明する。

図６は、一実施形態によるブロードキャスト用ハプティクスアーキテクチャ６５０を示す。本実施形態では、ハプティックデータへの処理又は変換、すなわち図２又は図３の変換部１１８の動作は、現地の処理又は送信局６５２で行われる。ここで用いる「処理又は送信局」は、元の音声及び／又は映像データを含むライブ信号を処理するためにライブイベントの現地に存在又は位置する処理設備をいう。

ブロードキャスト用ハプティクスアーキテクチャ６５０において、音声−映像レコーダ６０８はライブイベントにおけるライブ音声及び映像データを記録する。より詳細には、音声−映像レコーダ６０８は、以下に限定されないが、ビデオカムコーダ、スマートフォンなど、映像データとしての画像及び音声データとしての音の双方を記録又は捕捉するように構成された記録装置である。ここに記載される任意のアーキテクチャの実施形態では、シーン又はイベントの映像及び音声は、個別に捕捉若しくは記録されてもよいし（すなわち、音声及び映像機能が個別又は異なる装置にある）、映像のみが捕捉若しくは記録されてもよいし、又は音声のみが捕捉若しくは記録されてもよい。また、ここに記載される任意のアーキテクチャの実施形態において、音声−映像レコーダは、複数の映像及び／又は音声入力のための複数の映像及び／又は音声記録装置のシステムを含み得る。元の音声及び／又は映像データを含むライブ信号６１２が現地の処理又は送信局６５２に送信される。元の音声及び／又は映像データをレビュー又は処理してそのコンテンツがブロードキャストに適切又は適当であることを判定するために、ライブ信号６１２が現地の処理又は送信局６５２からブロードキャストされる前に、バッファ期間、例えば７秒間のバッファ期間がある。本実施形態では、人間のオペレータが、現地の処理又は送信局６５２においてライブ信号６１２を見て、挿入６５４で表すようにバッファ期間内に手動でハプティクス効果を挿入する。言い換えると、人間のオペレータは、バッファ期間又は強制的なブロードキャスト遅延中に、既知のハプティック効果作成ツールを用いてハプティック効果を作成する。ハプティック効果の手動挿入があれば、ライブイベントにおけるスマート機器又はセンサは不要となる。逆に、人間のオペレータが、所定又は関連のハプティック効果を対応のイベントに挿入し、又は埋め込む。一例として、ライブイベントはボクシングの試合であり、オペレータは現地の処理又は送信局６５２からその試合を見ているものとする。オペレータは、頭部へのパンチを見た時に、所定又は関連の頭部打撃ハプティック効果を送信ストリームに挿入する。他の例として、ライブイベントはテニスの試合であり、オペレータは現地の処理又は送信局６５２からその試合を見ているものとする。オペレータは、選手がボールを打つのを見た時に、所定又は関連の打球ハプティック効果を送信ストリームに挿入する。

元の音声及び／又は映像データを含むライブ信号６１２が現地の処理又は送信局６５２において処理又はレビューされ、ハプティック効果が送信ストリームに埋め込まれるように挿入６５４が行われた後に、処理済み音声及び／又は映像データ並びに埋込みハプティックデータの双方を有する複合信号６２８がブロードキャスト局６５６に送信される。そして、ブロードキャスト局６５６は、処理済み音声及び／又は映像データ並びに埋込みハプティックデータの双方を有する複合信号６２８を１以上のエンドユーザ装置４３０に送信する。図６に示すように、複合信号６２８はマルチデバイスエンドユーザ装置に送信され得るので、エンドユーザ装置４３０はエンドユーザ装置４３０_１、エンドユーザ装置４３０_２及びエンドユーザ装置４３０_Ｎとして図示される。複合信号６２８は、映像、音声及びそのハプティック成分の出力のために単一の物理エンドユーザ装置４３０に送信されるものとして図示されるが、代替的に、ここに記載されるマルチデバイスシステム５３８などのマルチデバイスシステムに送信されてもよい。他の実施形態では、手動で挿入されたハプティック効果は、別個又は個別の信号としてエンドユーザ装置４３０に送信される。

上述したように、ブロードキャストハプティックアーキテクチャ６５０は、ハプティック効果の手動挿入によってライブイベントにおけるスマート機器又はセンサを必要としない。一方、他の実施形態では、１以上のセンサ（不図示）がライブイベントにおいてセンサデータを記録し、人間のオペレータは現地の処理又は送信局６５２においてセンサデータを受信する。挿入６５４によって表されるような手動挿入されたハプティック効果は、元の音声及び／又は映像データを含むセンサデータ及び／又はライブ信号６１２に基づいていればよい。したがって、本実施形態では、センサデータは捕捉され、元の音声及び／又は映像データを含むライブ信号６１２とともに現地の処理又は送信局６５２に送信される。本実施形態で利用される例示のセンサ及び検知データが、ブロードキャスト用ハプティクスアーキテクチャ７５０及びセンサ７１０に関してここに記載される。

図７は、他の実施形態によるブロードキャスト用ハプティクスアーキテクチャ７５０を示す。本実施形態では、ハプティックデータへの処理又は変換、すなわち図２又は図３の変換部１１８の動作は、現地の処理又は送信局７５２において、音声及び／又は映像データの処理後に、ただしエンドユーザ装置４３０への到達前に行われる。言い換えると、ハプティックデータへの処理又は変換は、ライブイベントから、及びエンドユーザ装置から遠隔に位置するオフサイトプロセッサにおいて実行される。

ブロードキャスト用ハプティクスアーキテクチャ７５０では、音声−映像レコーダ７０８がライブイベントにおいてライブ音声及び映像データを記録し、センサ７１０がライブイベントにおいてセンサデータを記録する。ここで説明するいずれかのアーキテクチャの実施形態では、センサは、複数のセンサ入力のための複数のセンサのシステムであってもよい（すなわち、単一のセンサとして説明するが、複数のセンサが利用され得る）。概略として、センサ７１０は、ライブイベントに関連付けられた物体、機器又は人のパラメータを検知し、検知されたパラメータをセンサデータに変換するように構成されたセンサである。一実施形態では、センサ７１０は、ボクシングのグローブ、サッカーボール、テニスラケット、ヘルメット又は他のタイプのスポーツイベント関連アイテムなど、ライブイベントにおいて利用される装備７６０に結合又は装着され、センサ７１０は物体の動き又は速度を検知し、検知された動きをセンサデータに変換するように構成される。センサ７１０は、加速度計、ジャイロスコープ、接触圧センサ、全地球測位システム（ＧＰＳ）センサ、回転速度センサ、又は加速度、傾き、慣性力、動き若しくは位置の変化を検出するように構成された他の何らかのタイプのセンサであればよい。他の実施形態では、センサ７１０は、ライブイベントに参加している１人以上の選手に対応付けられ、生理学的信号の（すなわち、脈波計）センサであってもよい。ここで使用する生理学的信号は、その感情状態に変換されることもある選手の肉体的又は生物学的な状態を記述する任意の信号を含む。例えば、生理学的信号は、以下に限定されないが、ガルバニック皮膚反応に関する信号、血圧、体温、ＥＣＧ信号、ＥＭＧ信号及び／又はＥＥＧ信号を含む。他の実施形態では、センサ７１０は、ライブイベントに関連付けられた物体又は装備の他のパラメータを検知し、検知されたパラメータをセンサデータに変換するように構成されるが、物体又は装備に結合される必要はない。例えば、センサ７１０は、ハプティック効果に変換されるべき特定の音声及び／若しくは映像信号又は入力を記録するように構成され得る。例えば、センサ７１０は、ハプティック効果に変換され得る特定のノイズ（例えば、エンジンノイズ）を捕捉するための専用マイクロフォンであってもよい。センサ７１０からの音声及び／又は映像信号は、音声−映像レコーダ７０８からの信号とは異なり、ブロードキャストされず、視覚及び聴覚的フィードバックを伝達するのにも使用されず、専らハプティック的な目的のために使用される。

本実施形態では、元データの全て（すなわち、元の映像、音声及びセンサデータ）が、その処理又は変換のために遠隔の又は現地から離れた場所に一度に同時に転送される。より詳細には、元の音声及び／又は映像データを含むライブ信号７１２は現地の処理又は送信局７５２に送信され、元のセンサデータを含むライブ信号７１２も現地の処理又は送信局７５２に送信される。現地の処理又は送信局７５２は、そこでのいずれの処理も行うことなく、元の音声及び／又は映像データ並びに元のセンサデータをそれぞれ有するライブ信号７１２及び７１４をブロードキャスト局７５６に送信する。そして、ブロードキャスト局７５６は、元の音声及び／又は映像データ並びに元のセンサデータをそれぞれ有するライブ信号７１２及び７１４をローカル又は地域の処理局７５８に送信する。ローカル又は地域の処理局７５８は、元の音声及び／又は映像データをレビュー又は処理してそのコンテンツがブロードキャストに対して適切又は適当であることを判定するプロセッサ、すなわち図２又は３のプロセッサ又はエンコーダ１１６を含むとともに、センサ７１０からの元データをハプティックデータに変換するプロセッサ又は変換部、すなわち図２又は３の変換部１１８を含む。ローカル又は地域の処理局７５８は、ライブイベントから、及びエンドユーザ装置から遠隔にある。他の実施形態では、上述したように、元のセンサデータを含むライブ信号７１４がローカル又は地域の処理局７５８で処理されつつ、現地の処理又は送信局７５２が、ライブ信号７１２の元の音声及び／又は映像データをレビュー又は処理してそのコンテンツがブロードキャストに対して適切又は適当であることを判定するプロセッサ、すなわち図２又は３のプロセッサ又はエンコーダ１１６を含む。

一実施形態では、センサ７１０からの元データは、イベントのタイプ並びに応力及び強度などの付随するセンサ情報に応じてハプティックイベント検出値又は識別値を含むハプティックデータに変換される。その全体において参照によりここに取り込まれる米国特許出願公開第２０１５／００５４７２７号、Ｓａｂｏｕｎｅ他（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ４５０）により詳細が記載されるように、センサ７１０からの元データは、ｎ個（入力）からｍ個（出力）として表されるハプティックイベント検出値又は識別値に変換される。再生されるハプティック効果の位置、強度及び性質は、ハプティックイベント識別値の特性に関係し得る。例えば、ノックアウトの打撃は強い衝突に変換される一方で、失敗した蹴りは弱い振動によって表現され得る。元のセンサデータをハプティックデータ又は命令に変換するための他の処理技術が利用されてもよく、それは、以下に限定されないが、振動、表面摩擦変調、肌をつねること、肌を押し込むことなどを含む。例えば、米国特許出願公開第２０１４／０２０５２６０号、Ｌａｃｒｏｉｘ他（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ４３９）、及び米国仮特許出願第６１／９６８７９９、Ｓａｂｏｕｎｅ他（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ５２０Ｐ）は、各々がその全体において参照によりここに取り込まれるものであり、センサのデータをハプティック効果に変換するためのシステム及び方法を記載する。

ローカル又は地域の処理局７５８は、信号７１２及び７１４からの元データの全てをレビュー又は処理した後に、ハプティック化されたライブイベントを、エンドユーザ装置４３０を有するそのローカル契約者に送信する。図７に示すように、ローカル又は地域の処理局７５８は、処理済み音声及び／又は映像データを有する信号７２０並びにハプティックデータを有する信号７２２を含む２つの個別又は別個の信号を同時に送信することができる。他の実施形態では、ローカル又は地域の処理局７５８は、ハプティックデータを含む信号７２２を取得し、それを処理済み音声及び／又は映像データを含む信号７２０に符号化して、図３に関して上述したように１以上のエンド装置に伝達される処理済み音声及び／又は映像データ並びにハプティックデータを含む複合信号を形成するエンコーダ（不図示）をさらに含む。図７に示すように、信号７２０及び７２２はマルチデバイスエンドユーザ装置に送信され得るので、エンドユーザ装置４３０はエンドユーザ装置４３０_１、エンドユーザ装置４３０_２及びエンドユーザ装置４３０_Ｎとして図示される。信号７２０及び７２２は、映像、音声及びそのハプティック成分の出力のために単一の物理エンドユーザ装置４３０に送信されるものとして図示されるが、代替的に、ここに記載されるマルチデバイスシステム５３８などのマルチデバイスシステムに送信されてもよい。

ブロードキャスト用ハプティクスアーキテクチャ７５０の一例として、ライブイベントは、元のセンサデータを含む信号を増幅器（不図示）を介して現地の処理又は送信局７５２に送信するセンサ７１０が装備されたサッカーボールを利用するサッカーの試合である。現地の処理又は送信局７５２は、元の音声／映像／センサ信号を多数のローカル又は地域の処理局７５８に送信する。ローカル又は地域の処理局７５８は情報の全てを処理し、ハプティック化されたライブイベントをエンドユーザ装置４３０に送信する。

図８は、他の実施形態によるブロードキャスト用ハプティクスアーキテクチャ８５０を示す。本実施形態では、ハプティックデータへの処理又は変換、すなわち図２又は図３の変換部１１８の動作は、現地の処理又は送信局８５２における音声及び／又は映像データの処理の以前に行われる。

ブロードキャスト用ハプティクスアーキテクチャ８５０では、音声−映像レコーダ８０８がライブイベントにおいてライブ音声及び映像データを記録し、センサ８１０がライブイベントにおいてセンサデータを記録する。センサ７１０と同様に、センサ８１０は、ライブイベントに関連付けられた物体、装備又は人のパラメータを検知し、検知されたパラメータをセンサデータに変換するように構成されたセンサである。一実施形態では、センサ８１０は、ボクシングのグローブ、サッカーボール、テニスラケット、ヘルメット又は他のタイプのスポーツイベント関連アイテムなど、ライブイベントにおいて利用される装備８６０に結合又は装着され、センサ８１０は物体の動き又は速度を検知し、検知された動きをセンサデータに変換するように構成される。センサ８１０は、加速度計、ジャイロスコープ、接触圧センサ、全地球測位システム（ＧＰＳ）センサ、回転速度センサ、又は加速度、傾き、慣性力、動き若しくは位置の変化を検出するように構成された他の何らかのタイプのセンサであればよい。他の実施形態では、センサ８１０は、ライブイベントに参加している１人以上の選手に対応付けられ、生理学的信号の（すなわち、脈波計）センサであってもよい。他の実施形態では、センサ７１０に関して上述したように、センサ８１０は、ライブイベントに関連付けられた物体又は装備の他のパラメータを検知し、検知されたパラメータをセンサデータに変換するように構成されるが、物体又は装備に結合される必要はない。

本実施形態では、センサ８１０からの元データを有する信号８１４は、まず現地の処理若しくは送信局８５２又はその前段でローカルに処理され、その後現地の処理又は送信局８５２によって、様々なエンドユーザ装置への配信を担う中央処理サーバ８６４に送信される。より詳細には、元の音声及び／又は映像データを含むライブ信号８１２が現地の処理又は送信局８５２に送信され、元のセンサデータを含むライブ信号８１４が現地の変換部又はプロセッサ８６２に送信される。現地の変換部又はプロセッサ８６２、すなわち図２又は３の変換部１１８は、センサ８１０からの元データをハプティックデータに変換し、その後ハプティックデータを含む信号８２２を現地の処理又は送信局８５２に送信する。ブロードキャスト用ハプティクスアーキテクチャ７５０に関して説明したように、センサ８１０からの元データが、イベントのタイプ並びに応力及び強度などの付随するセンサ情報に応じてハプティックイベント検出値又は識別値を含むハプティックデータに変換されてもよいし、元のセンサデータをハプティックデータ又は命令に変換するための他の処理技術が利用されてもよい。現地の変換部又はプロセッサ８６２は、ライブイベントと同じ建物又は現地に物理的に配置されてもよいし、現地の処理又は送信局８５２内に配置されてもよい。

現地の処理又は送信局８５２は、元の音声及び／又は映像データをレビュー又は処理してそのコンテンツがブロードキャストに適切又は適当かを判定するプロセッサ、すなわち図２又は３のプロセッサ又はエンコーダ１１６を含む。そして、現地の処理又は送信局８５２は、処理済み音声及び／又は映像データを有する信号８２０並びにハプティックデータを有する信号８２２を含む２つの個別又は別個の信号を同時にブロードキャスト局８５６に送信することができる。ブロードキャスト局８５６は、信号８２０及び８２２を、様々なエンドユーザ装置４３０への配信を担う中央処理サーバ８６４に送信する。図８に示すように、信号８２０及び８２２はマルチデバイスエンドユーザ装置に送信され得るので、エンドユーザ装置４３０はエンドユーザ装置４３０_１、エンドユーザ装置４３０_２及びエンドユーザ装置４３０_Ｎとして図示される。信号８２０及び８２２は、映像、音声及びそのハプティック成分の出力のために単一の物理エンドユーザ装置４３０に送信されるものとして図示されるが、代替的に、ここに記載されるマルチデバイスシステム５３８などのマルチデバイスシステムに送信されてもよい。他の実施形態では、現地の処理又は送信局８５２又は中央処理サーバ８６４は、ハプティックデータを含む信号８２２を取得し、それを処理済み音声及び／又は映像データを含む信号８２０に符号化して、図３に関して上述したように１以上のエンド装置に伝達される処理済み音声及び／又は映像データ並びにハプティックデータを含む複合信号を形成するエンコーダ（不図示）をさらに含み得る。

図９は、他の実施形態によるブロードキャスト用ハプティクスアーキテクチャ９５０を示す。本実施形態では、ハプティックデータへの処理又は変換、すなわち図２又は図３の変換部１１８の動作は、現地の処理又は送信局８５２における音声及び／又は映像データの処理の以前に行われる。

ブロードキャスト用ハプティクスアーキテクチャ９５０では、音声−映像レコーダ９０８がライブイベントにおいてライブ音声及び映像データを記録し、センサ９１０がライブイベントにおいてセンサデータを記録する。センサ７１０と同様に、センサ９１０は、ライブイベントに関連付けられた物体、装備又は人のパラメータを検知し、検知されたパラメータをセンサデータに変換するように構成されたセンサである。一実施形態では、センサ９１０は、ボクシングのグローブ、サッカーボール、テニスラケット、ヘルメット又は他のタイプのスポーツイベント関連アイテムなど、ライブイベントにおいて利用される装備９６０に結合又は装着され、センサ９１０は物体の動き又は速度を検知し、検知された動きをセンサデータに変換するように構成される。センサ９１０は、加速度計、ジャイロスコープ、接触圧センサ、全地球測位システム（ＧＰＳ）センサ、回転速度センサ、又は加速度、傾き、慣性力、動き若しくは位置の変化を検出するように構成された他の何らかのタイプのセンサであればよい。他の実施形態では、センサ９１０は、ライブイベントに参加している１人以上の選手に対応付けられ、生理学的信号の（すなわち、脈波計）センサであってもよい。他の実施形態では、センサ７１０に関して上述したように、センサ９１０は、ライブイベントに関連付けられた物体又は装備の他のパラメータを検知し、検知されたパラメータをセンサデータに変換するように構成されるが、物体又は装備に結合される必要はない。

本実施形態では、センサ９１０からの元データを有する信号９１４は、まず現地の処理若しくは送信局９５２又はその前段でローカルに処理され、その後、図８の実施形態で説明したような中央処理サーバを用いることなく、現地の処理又は送信局９５２によって様々なエンドユーザ装置に直接送信される。各エンドユーザ装置４３０は、信号９２０を介してストリーミング処理された音声及び／又は映像データを、信号９２２を介してハプティックデータを再生することによって、それ自体のサーバとして作用する。ブロードキャスト用ハプティクスアーキテクチャ８５０に対するブロードキャスト用ハプティクスアーキテクチャ９５０の有利な効果は、これが望まれる場合には付近のローカルなエンドユーザ装置への送信である。一例として、ライブイベントは、加速度及びジャイロスコープ情報を送信するセンサ９１０で装備されたラケットを利用するテニスの試合である。元のセンサデータ又は信号９１４は、スタジアムにおける現地の変換部又はプロセッサ９６２において処理され、その後、信号９２２を介したハプティックデータが信号９２０を介した処理済み音声及び／又は映像データとともに現地の処理又は送信局９５２によって、そのライブイベントのチケットが売切れてしまったためにスタジアムに入場できなかったスタジアム周辺のエンドユーザ装置を有する人々に送信される。周辺の人々は、試合を彼らの電話機又はタブレットで観戦し、ハプティックデータを有する信号９２２によるハプティック効果を感じている。

より詳細には、元の音声及び／又は映像データを含むライブ信号９１２は現地の処理又は送信局９５２に送信され、元のセンサデータを含むライブ信号９１４は現地の変換部又はプロセッサ９６２に送信される。現地の変換部又はプロセッサ９６２、すなわち図２又は３の変換部１１８は、センサ９１０からの元データをハプティックデータに変換し、その後ハプティックデータを含む信号９２２を現地の処理又は送信局９５２に送信する。ブロードキャスト用ハプティクスアーキテクチャ７５０に関して説明したように、センサ９１０からの元データが、イベントのタイプ並びに応力及び強度などの付随するセンサ情報に応じてハプティックイベント検出値又は識別値を含むハプティックデータに変換されてもよいし、元のセンサデータをハプティックデータ又は命令に変換するための他の処理技術が利用されてもよい。現地の変換部又はプロセッサ９６２は、ライブイベントと同じ建物又は現地に物理的に配置されてもよいし、現地の処理又は送信局９５２内に配置されてもよい。

現地の処理又は送信局９５２は、元の音声及び／又は映像データをレビュー又は処理してそのコンテンツがブロードキャストに適切又は適当かを判定するプロセッサ、すなわち図２又は３のプロセッサ又はエンコーダ１１６を含む。そして、現地の処理又は送信局９５２は、処理済み音声及び／又は映像データを有する信号９２０並びにハプティックデータを有する信号９２２を含む２つの個別又は別個の信号を様々なエンドユーザ装置４３０に同時に直接送信する。図９に示すように、信号９２０及び９２２はマルチデバイスエンドユーザ装置に送信され得るので、エンドユーザ装置４３０はエンドユーザ装置４３０_１、エンドユーザ装置４３０_２及びエンドユーザ装置４３０_Ｎとして図示される。信号９２０及び９２２は、映像、音声及びそのハプティック成分の出力のために単一の物理エンドユーザ装置４３０に送信されるものとして図示されるが、代替的に、ここに記載されるマルチデバイスシステム５３８などのマルチデバイスシステムに送信されてもよい。他の実施形態では、現地の処理又は送信局９５２は、ハプティックデータを含む信号９２２を取得し、それを処理済み音声及び／又は映像データを含む信号９２０に符号化して、図３に関して上述したように１以上のエンド装置に伝達される処理済み音声及び／又は映像データ並びにハプティックデータを含む複合信号を形成するエンコーダ（不図示）をさらに含み得る。

図１０は、他の実施形態によるブロードキャスト用ハプティクスアーキテクチャ１０５０を示す。本実施形態では、ハプティックデータへの処理又は変換、すなわち図２又は図３の変換部１１８の動作は、現地の処理又は送信局１０５２における音声及び／又は映像データの処理の前に行われる。

ブロードキャスト用ハプティクスアーキテクチャ１０５０では、音声−映像レコーダ１００８がライブイベントにおけるライブ音声及び映像データを記録し、センサ１０１０_Aがライブイベントにおけるセンサデータを記録する。より詳細を以下に説明するように、センサ１０１０_Ａは、センサ１０１０_Ａからの元データをハプティックデータに変換するように構成されたマイクロプロセッサ又はマイクロコントローラ、すなわち図２又は３の変換部１１８を含むことを除いてセンサ７１０と同様である。センサ１０１０_Ａは、ライブイベントに関連付けられた物体、装備又は人のパラメータを検知し、検知されたパラメータをセンサデータに変換するように構成されたセンサである。一実施形態では、センサ１０１０_Ａは、ボクシングのグローブ、サッカーボール、テニスラケット、ヘルメット又は他のタイプのスポーツイベント関連アイテムなど、ライブイベントにおいて利用される装備１０６０に結合又は装着され、センサ１０１０_Ａは物体の動き又は速度を検知し、検知された動きをセンサデータに変換するように構成される。センサ１０１０_Ａは、加速度計、ジャイロスコープ、接触圧センサ、全地球測位システム（ＧＰＳ）センサ、回転速度センサ、又は加速度、傾き、慣性力、動き若しくは位置の変化を検出するように構成された他の何らかのタイプのセンサであればよい。他の実施形態では、センサ１０１０_Ａは、ライブイベントに参加している１人以上の選手に対応付けられ、生理学的信号の（すなわち、脈波計）センサであってもよい。他の実施形態では、センサ１０１０_Ａは、ライブイベントに関連付けられた物体又は装備の他のパラメータを検知し、検知されたパラメータをセンサデータに変換するように構成されるが、物体又は装備に結合される必要はない。例えば、センサ１０１０_Ａは、センサ７１０に関して上述したように、ハプティック効果に変換されるべき特定の音声及び／若しくは映像信号又は入力を記録するように構成され得る。

本実施形態では、センサ信号の変換はセンサ自体の内部で行われる。センサ１０１０_Ａは、元のセンサデータを処理して元のセンサデータをハプティックデータに変換するように構成されたマイクロプロセッサ又はマイクロコントローラを含む。ブロードキャスト用ハプティクスアーキテクチャ１０５０の有利な効果は、より高いローカルなループレートに起因して、ローカルなセンサ処理によってハプティックイベント検出値又は識別値が向上し、又はより良好となることである。ブロードキャスト用ハプティクスアーキテクチャ７５０に関して説明したように、センサ１０１０_Ａからの元データが、イベントのタイプ並びに応力及び強度などの付随するセンサ情報に応じてハプティックイベント検出値又は識別値を含むハプティックデータに変換されてもよいし、元のセンサデータをハプティックデータ又は命令に変換するための他の処理技術が利用されてもよい。

より詳細には、元の音声及び／又は映像データを含むライブ信号１０１２は現地の処理又は送信局１０５２に送信され、ハプティックデータを含む信号１０２２は現地の処理又は送信局１０５２に送信される。現地の処理又は送信局１０５２は、元の音声及び／又は映像データをレビュー又は処理してそのコンテンツがブロードキャストに適切又は適当かを判定するプロセッサ、すなわち図２又は３のプロセッサ又はエンコーダ１１６を含む。そして、現地の処理又は送信局１０５２は、処理済み音声及び／又は映像データを有する信号１０２０並びにハプティックデータを有する信号１０２２を含む２つの個別又は別個の信号を様々なエンドユーザ装置４３０に同時に送信する。図１０に示すように、信号１０２０及び１０２２はマルチデバイスエンドユーザ装置に送信され得るので、エンドユーザ装置４３０はエンドユーザ装置４３０_１、エンドユーザ装置４３０_２及びエンドユーザ装置４３０_Ｎとして図示される。信号１０２０及び１０２２は、映像、音声及びそのハプティック成分の出力のための単一の物理エンドユーザ装置４３０に送信されるものとして図示されるが、代替的に、ここに記載されるマルチデバイスシステム５３８などのマルチデバイスシステムに送信されてもよい。他の実施形態では、現地の処理又は送信局１０５２は、ハプティックデータを含む信号１０２２を取得し、それを処理済み音声及び／又は映像データを含む信号１０２０に符号化して、図３に関して上述したように１以上のエンド装置に伝達される処理済み音声及び／又は映像データ並びにハプティックデータを含む複合信号を形成するエンコーダ（不図示）をさらに含み得る。

図示されていないが、ブロードキャスト用ハプティクスアーキテクチャ１０５０は、エンドユーザ装置への配信のためのブロードキャスト局及び／又は中央処理サーバをさらに含み得る。より詳細には、現地の処理又は送信局１０５２は、処理済み音声及び／又は映像データを有する信号１０２０並びにハプティックデータを有する信号１０２２を含む２つの個別又は別個の信号をブロードキャスト局に同時に送信し、その後ブロードキャスト局は信号１０２０及び１０２２を、様々なエンドユーザ装置４３０への配信を担う中央処理サーバに送信することができる。言い換えると、様々なエンドユーザ装置４３０への信号１０２０及び１０２２の配信の方法は、前述の実施形態のいずれかで説明したように、すなわち、図８のブロードキャスト用ハプティクスアーキテクチャ８５０又は図９のブロードキャスト用ハプティクスアーキテクチャ９５０に関して説明したようにして実現され得る。

図１１は、他の実施形態によるブロードキャスト用ハプティクスアーキテクチャ１１５０を示す。本実施形態では、ハプティックデータへの処理又は変換、すなわち図２又は図３の変換部１１８の動作は、エンドユーザ装置４３０のプロセッサにおいて行われる。ブロードキャスト用ハプティクスアーキテクチャ１１５０は、元のセンサデータを有する信号１１１４がエンドユーザ装置４３０まで完全に送信されるので帯域幅の観点では最も効率が低いが、センサデータの変換／処理の全てがエンドポイントにオフロードされるので処理の観点では最も効率が高い。

ブロードキャスト用ハプティクスアーキテクチャ１１５０では、音声−映像レコーダ１１０８がライブイベントにおいてライブ音声及び映像データを記録し、センサ１１１０がライブイベントにおいてセンサデータを記録する。センサ１１１０はセンサ７１０と同様であり、ライブイベントに関連付けられた物体、装備又は人のパラメータを検知し、検知されたパラメータをセンサデータに変換するように構成されたセンサである。一実施形態では、センサ１１１０は、ボクシングのグローブ、サッカーボール、テニスラケット、ヘルメット又は他のタイプのスポーツイベント関連アイテムなど、ライブイベントにおいて利用される装備１１６０に結合又は装着され、センサ１１１０は物体の動き又は速度を検知し、検知された動きをセンサデータに変換するように構成される。センサ１１１０は、加速度計、ジャイロスコープ、接触圧センサ、全地球測位システム（ＧＰＳ）センサ、回転速度センサ、又は加速度、傾き、慣性力、動き若しくは位置の変化を検出するように構成された他の何らかのタイプのセンサであればよい。他の実施形態では、センサ１１１０は、ライブイベントに参加している１人以上の選手に対応付けられ、生理学的信号の（すなわち、脈波計）センサであってもよい。他の実施形態では、センサ７１０に関して上述したように、センサ１１１０は、ライブイベントに関連付けられた物体又は装備の他のパラメータを検知し、検知されたパラメータをセンサデータに変換するように構成されるが、物体又は装備に結合される必要はない。

元の音声及び／又は映像データを含むライブ信号１１１２は現地の処理又は送信局１１５２に送信され、センサ１１６０からの元データを含む信号１１１４も現地の処理又は送信局１１５２に送信される。現地の処理又は送信局１１５２は、元の音声及び／又は映像データをレビュー又は処理してそのコンテンツがブロードキャストに適切又は適当かを判定するプロセッサ、すなわち図２又は３のプロセッサ又はエンコーダ１１６を含む。そして、現地の処理又は送信局１１５２は、処理済み音声及び／又は映像データを有する信号１１２０並びにセンサ１１６０からの元データを含む信号１１１４を含む２つの個別又は別個の信号を様々なエンドユーザ装置４３０に同時に送信する。図１１に示すように、信号１１２０及び１１１４はマルチデバイスエンドユーザ装置に送信され得るので、エンドユーザ装置４３０はエンドユーザ装置４３０_１、エンドユーザ装置４３０_２及びエンドユーザ装置４３０_Ｎとして図示される。信号１１２０及び１１１４は、映像、音声及びそのハプティック成分の出力のために単一の物理エンドユーザ装置４３０に送信されるものとして図示されるが、代替的に、ここに記載されるマルチデバイスシステム５３８などのマルチデバイスシステムに送信されてもよい。

図示されていないが、ブロードキャスト用ハプティクスアーキテクチャ１１５０は、エンドユーザ装置への配信のためのブロードキャスト局及び／又は中央処理サーバをさらに含み得る。より詳細には、現地の処理又は送信局１１５２は、処理済み音声及び／又は映像データを有する信号１１２０並びにセンサ１１６０からの元データを含む信号１１１４を含む２つの個別又は別個の信号をブロードキャスト局に同時に送信し、その後、ブロードキャスト局は信号１１２０及び１１１４を、様々なエンドユーザ装置４３０への配信を担う中央処理サーバに送信することができる。言い換えると、様々なエンドユーザ装置４３０への信号１１２０及び１１２２の配信の方法は、前述の実施形態のいずれかで説明したように、すなわち、図８のブロードキャスト用ハプティクスアーキテクチャ８５０又は図９のブロードキャスト用ハプティクスアーキテクチャ９５０に関して説明したようにして実現され得る。信号１１２０及び１１２２はライブイベントの参加者にローカルに配信されてもよいし、他の実施形態では遠隔エンドユーザ装置に到達する前にブロードキャスト局及び／又は中央処理を介して送信されてもよい。

本発明による種々の実施形態を上述したが、それらは限定ではなく説明及び例示としてのみ提示されたことが理解されるべきである。発明の精神及び範囲から逸脱することなく形式及び詳細における種々の変更がなされ得ることは当業者には明らかである。例えば、ここに記載されるアーキテクチャはライブイベントについての映像及び／又は音声データをハプティックデータとともに送信又はブロードキャストすることを含むが、ここに記載されるアーキテクチャは、音声データのみを無線ブロードキャストするのと同様にしてライブイベントからハプティックデータのみをブロードキャストするように変形され得る。例えば、ハプティックデータのみをブロードキャストすることが、得点が毎分若しくは他の所定時間毎にハプティック的にブロードキャストされ、又は得点が変化する毎に得点がハプティック的にブロードキャストされるスポーツの試合において利用されてもよい。したがって、本発明の幅及び範囲は、上述の例示の実施形態のいずれにも限定されるべきものではなく、添付の特許請求の範囲及びその均等物によってのみ規定されるべきものである。ここで述べた各実施形態及びここで引用した各文献の各構成が他のいずれかの実施形態の構成と組み合わせにおいても用いられ得ることも理解される。ここで述べた全ての特許及び公開公報はその全体において参照によりここに取り込まれる。

Claims (20)

1. ハプティックデータをライブイベントからエンドユーザ装置に転送するためのシステムであって、
   ライブイベントの映像データを記録するように構成されたレコーダ、
   前記ライブイベントに関連付けられたパラメータを検知し、検知された前記パラメータをセンサデータとして出力するように構成されたセンサ、
   前記センサから前記センサデータを受信し、前記センサデータを、前記ライブイベントに関連付けられたハプティックデータを含む信号に変換するように構成された変換部、及び
   前記変換部から前記ハプティックデータを受信するように構成され、前記ライブイベントの前記映像データを受信するように構成されたエンドユーザ装置であって、前記ハプティックデータに基づいてユーザに対するハプティック効果を生成するように構成されたハプティック出力装置を含み、前記映像データを表示するように構成されたディスプレイを含む、エンドユーザ装置
   を備えたシステム。
2. 前記変換部は、前記センサに配置されたマイクロコントローラである、請求項１に記載のシステム。
3. 前記変換部は、前記エンドユーザ装置内に配置されたプロセッサである、請求項１に記載のシステム。
4. 前記ライブイベントの現地に配置された現地送信局をさらに備え、前記現地送信局は前記ライブイベントの前記映像データを処理するためのプロセッサを含む、請求項１に記載のシステム。
5. 前記変換部は、前記ライブイベントの現地に、又は前記現地送信局内に配置された現地プロセッサであり、前記ハプティックデータを前記現地送信局に送信するように構成される、請求項４に記載のシステム。
6. ブロードキャスト局をさらに備え、前記ブロードキャスト局は、処理された前記映像データ及び前記ハプティックデータを前記現地送信局から受信するように構成される、請求項５に記載のシステム。
7. 中央処理サーバが、前記処理された映像データ及び前記ハプティックデータを前記ブロードキャスト局から受信するように構成され、前記処理された映像データ及び前記ハプティックデータを前記エンドユーザ装置に送信するように構成される、請求項６に記載のシステム。
8. 現地送信局が、処理された前記映像データ及び前記ハプティックデータを前記エンドユーザ装置に送信するように構成される、請求項５に記載のシステム。
9. 前記ライブイベントの現地に配置された現地送信局であって、前記ライブイベントの前記映像データ及び前記センサからの前記センサデータを受信するように構成された現地送信局、
   前記ライブイベントの前記映像データ及び前記センサデータを前記現地送信局から受信するように構成されたブロードキャスト局、及び
   前記映像データ及び前記センサデータを前記ブロードキャスト局から受信するように構成された地域処理局であって、前記変換部が前記地域処理局に配置されたプロセッサであり、前記ハプティックデータを前記エンドユーザ装置に送信するように構成された地域処理局
   をさらに備えた請求項１に記載のシステム。
10. 前記地域処理局は、前記ライブイベントの前記映像データを処理するように構成された第２のプロセッサをさらに含み、前記地域処理局は、処理された前記映像データ及び前記ハプティックデータを前記エンドユーザ装置に送信するように構成される、請求項９に記載のシステム。
11. 前記ハプティック出力装置及び前記ディスプレイは同じ電子装置の一部である、請求項１に記載のシステム。
12. 前記エンドユーザ装置は、前記ディスプレイを含む主エンドユーザ装置、及び前記ハプティック出力装置を含む副ユーザ装置を含む、請求項１に記載のシステム。
13. 前記レコーダはさらに前記映像データとともに前記ライブイベントの音声データを記録するように構成され、前記エンドユーザ装置は、前記音声データを出力するように構成されたスピーカを含む、請求項１に記載のシステム。
14. 前記センサは、前記ライブイベントにおいて利用される装備又は前記ライブイベントの参加者に結合される、請求項１に記載のシステム。
15. ハプティックデータをライブイベントからエンドユーザ装置に転送するためのシステムであって、
    ライブイベントの映像データを記録するように構成されたレコーダ、
    前記ライブイベントに関連付けられたパラメータを検知し、検知された前記パラメータをセンサデータとして出力するように構成されたセンサ、
    前記ライブイベントの現地に配置され、前記ライブイベントの前記映像データを受信するように構成された現地送信局であって、前記ライブイベントの前記映像データを処理するためのプロセッサを含む現地送信局、
    前記センサからの前記センサデータを受信し、前記センサデータを前記ライブイベントに関連付けられたハプティックデータを含む信号に変換するように構成された変換部、及び
    前記ハプティックデータを前記変換部から受信するように構成され、処理された前記映像データを前記現地送信局の前記プロセッサから受信するように構成されたエンドユーザ装置であって、前記ハプティックデータに基づいてユーザに対してハプティック効果を生成するように構成されたハプティック出力装置を含み、前記映像データを表示するように構成されたディスプレイを含むエンドユーザ装置
    を備えたシステム。
16. ハプティックデータをライブイベントからエンドユーザ装置に転送する方法であって、
    ライブイベントの映像データを記録するステップ、
    前記ライブイベントに関連付けられたパラメータを検知し、検知された前記パラメータをセンサデータとして出力するステップ、
    前記センサからの前記センサデータを受信し、前記センサデータを、前記ライブイベントに関連付けられたハプティックデータを含む信号に変換するステップ、
    エンドユーザ装置において前記ハプティックデータを受信するステップであって、前記エンドユーザ装置は、前記映像データを表示するように構成されたディスプレイを含む、ステップ、
    前記エンドユーザ装置において前記ライブイベントの前記映像データを受信するステップであって、前記エンドユーザ装置は、前記ハプティックデータに基づいてユーザに対するハプティック効果を生成するように構成されたハプティック出力装置を含む、ステップ、
    前記ハプティックデータに基づいて前記ハプティック出力装置で少なくとも１つのハプティック効果を生成するステップ、及び
    前記映像データを前記ディスプレイに表示するステップ
    を備える方法。
17. 前記センサからの前記センサデータを受信し、前記センサデータを、ハプティックデータを含む信号に変換するステップは、前記センサに配置されたマイクロコントローラにおいて実行される、請求項１６に記載の方法。
18. 前記センサからの前記センサデータを受信し、前記センサデータを、ハプティックデータを含む信号に変換するステップは、前記エンドユーザ装置内に配置されたプロセッサにおいて実行される、請求項１６に記載の方法。
19. 前記センサからの前記センサデータを受信し、前記センサデータを、ハプティックデータを含む信号に変換するステップは、前記ライブイベントの現地に配置された現地プロセッサで、又は前記ライブイベントの現地に配置された現地送信局内で実行される、請求項１６に記載の方法。
20. 前記センサからの前記センサデータを受信し、前記センサデータを、ハプティックデータを含む信号に変換するステップは、前記ライブイベントから、及び前記エンドユーザ装置から遠隔に配置されたオフサイトプロセッサで実行される、請求項１６に記載の方法。

Images