JP2018527655A - ユーザ・ハプティック空間（ＨａｐＳｐａｃｅ）に基づくハプティック・フィードバックおよびインタラクティブ性を提供する方法および装置 - Google Patents

Abstract

特に、ハプティック・フィードバックおよびインタラクティブ性（ＨａｐＳｐａｃｅ）のためのユーザ環境空間の実施態様が提案される。一実施形態においては、ＨａｐＳｐａｃｅは、ユーザに付帯する仮想空間であり、ユーザの身体が到達可能な最大距離によって定義される。ＨａｐＳｐａｃｅは、ユーザの動きに伴い、動くことがある。ハプティック・オブジェクトおよびハプティック装置、および関連するハプティック特性をＨａｐＳｐａｃｅ内で定義することもできる。ユーザとハプティック・オブジェクト／装置との間での正確な位置を決定し、リンクを作成する新たな記述子は、ＨａｐＳｐａｃｅを記述するために定義される。【選択図】図３

Description

本発明は、ハプティック・フィードバック（haptic feedback）およびインタラクティブ性（interactivity）を提供する方法および装置に関し、より具体的には、本発明は、ユーザ・ハプティック空間（ＨａｐＳｐａｃｅ）に基づくハプティック・フィードバックおよびインタラクティブ性を提供する方法および装置に関する。

新たな技術開発により、次第に没入感を得られるマルチメディア・システムを作成できるようになってきている。今では、３Ｄ画像および音声の空間化がユーザの居住空間で行われるようになっている。これらのシステムは、通常、２つの感覚、すなわち、視覚および聴覚をシミュレートすることに関する。さらに、仮想現実における研究により、ハプティック知覚が、没入感に強く結びついているであろうことが明らかとなり、これにより、ハプティック知覚およびオーディオビジュアル（Ａ／Ｖ）のコンテンツの双方を考慮した新たな科学的な技術分野、ＨＡＶ（ハプティック−オーディオビジュアル）の技術分野が定義されるに至っている。

本願の原理の一態様によれば、ハプティック効果を送信する方法が提供される。この方法は、ユーザがアクセス可能な少なくとも１つのハプティック・オブジェクトを含む空間を定義するステップと、少なくとも１つのハプティック・オブジェクトに関連付けられたハプティック特性を特定するステップと、ビットストリーム内に、少なくとも１つのハプティック・オブジェクトに関連付けられたハプティック特性を符号化するステップと、通信インタフェースを介してビットストリームを送信するステップと、を含む。本願の実施形態は、さらに、これらのステップを実行する装置を提供する。

本願の原理の別の態様によれば、ハプティック・フィードバックを提供する方法が提供される。この方法は、ユーザがアクセス可能な少なくとも１つのハプティック・オブジェクトを含む空間を定義するステップと、ビットストリームから、少なくとも１つのハプティック・オブジェクトに関連付けられたハプティック特性を復号するステップと、少なくとも１つのハプティック・オブジェクトに関連付けられた復号されたハプティック特性に応答してユーザにハプティック・フィードバックを提供するステップと、を含む。本願の実施形態は、さらに、これらのステップを実行する装置を提供する。

本願の原理の別の態様によれば、信号は、ユーザがアクセス可能な少なくとも１つのハプティック・オブジェクトを含む空間と、ユーザがハプティック効果を受信する空間における位置（position）と、３つのカルテシアン座標（Cartesian coordinates）によって特定される、少なくとも１つのハプティック・オブジェクトに関連付けられたハプティック特性と、を含むようにフォーマットされている。

本願の実施形態は、さらに、上述した方法に従ってハプティック効果を送信または提供する命令を記憶したコンピュータ読み取り可能記憶媒体を提供する。

本願の実施形態は、さらに、上述した方法に従って生成されたビットストリームを記憶したコンピュータ読み取り可能記憶媒体を提供する。

本願の原理の一態様によれば、ハプティック効果を表すデータを含むビットストリームを送信する方法が提供される。この方法は、ビットストリーム内に、空間の起点の位置（location）を表す第１の記述子を符号化するステップと、上記ビットストリーム内に、上記空間に関して、ハプティック特性が関連付けられている仮想オブジェクトの位置を表す第２の記述子を符号化するステップと、上記ビットストリームを送信するステップと、を含む。

一実施形態によれば、この方法は、上記ビットストリーム内に、上記空間に関して、ハプティック装置の位置を表す第３の記述子を符号化するステップをさらに含む。

本願の原理の一態様によれば、ハプティック効果を表す情報を復号する方法が提供される。この方法は、ビットストリームを受信するステップと、上記ビットストリームから空間の起点の作成を表す第１の記述子を復号するステップと、上記ビットストリームから、上記空間に関して、ハプティック特性が関連付けられている仮想オブジェクトの位置を表す第２の記述子を復号するステップと、を含む。

一実施形態によれば、上記ビットストリームから、上記空間に関して、ハプティック装置の位置を表す第３の記述子を復号するステップをさらに含む。

本願の原理の態様によれば、ハプティック効果を表すデータを含むビットストリームを送信するように構成された装置が提供される。この装置は、上記ビットストリーム内に、空間の起点の位置を表す第１の記述子を符号化し、上記ビットストリーム内に、上記空間に関して、ハプティック特性が関連付けられている仮想オブジェクトの位置を表す第２の記述子を符号化するように構成された符号化器と、上記ビットストリームを送信する送信機と、を含む。

本願の一態様によれば、ハプティック効果を表すデータを含むビットストリームを送信するように構成された装置が提供される。この装置は、上記ビットストリーム内に、空間の起点の位置を表す第１の記述子を符号化する手段と、上記ビットストリーム内に、上記空間に関して、ハプティック特性が関連付けられている仮想オブジェクトの位置を表す第２の記述子を符号化する手段と、上記ビットストリームを送信する手段と、を含む。

本願の原理の一態様によれば、ハプティック効果を表す情報を復号するように構成された装置が提供される。この装置は、ビットストリームを受信する受信機と、上記ビットストリームから、空間の起点の位置を表す第１の記述子を復号し、上記ビットストリームから、上記空間に関して、ハプティック特性が関連付けられている仮想オブジェクトの位置を表す第２の記述子を復号するように構成された復号器と、を含む。

本発明の一態様によれば、ハプティック効果を表す情報を復号するように構成された装置が提供される。この装置は、ビットストリームを受信する手段と、上記ビットストリームから、空間の起点の位置を表す第１の記述子を復号する手段と、上記ビットストリームから、上記空間に関して、ハプティック特性が関連付けられている仮想オブジェクトの位置を表す第２の記述子を復号するように構成された手段と、を含む。

本願の原理の一態様によれば、ハプティック効果を表すデータを含む少なくともパケットを搬送する信号が提供される。この信号は、空間の起点の位置を表す第１の記述子と、上記空間に関して、ハプティック特性が関連付けられている仮想オブジェクトの位置を表す第２の記述子と、をさらに搬送する。

本願の原理の一態様によれば、プロセッサに少なくとも送信方法のステップを実行させる命令を記憶した非一時的プロセッサ読み取り可能媒体が提供される。

本願の原理の一態様によれば、プロセッサに少なくとも復号方法のステップを実行させる命令を記憶した非一時的プロセッサ読み取り可能媒体が提供される。

例示的なＨＡＶシステムのワークフローを示す図である。 位置モデルを示す図である。 本願の原理の実施形態に従った、例示的なＨａｐＳｐａｃｅを示す図である。 身体の部分の位置を示す図である。 例示的なオーサリング・ツール（Ｈ−ＳＴＵＤＩＯ）を示す図である。 本願の原理の実施形態に従った、オーディオビジュアル（ＡＶ）・コンテンツと共にハプティック効果を生成する例示的な方法を示す図である。 本願の原理の実施形態に従った、ＨａｐＳｐａｃｅ内のハプティック効果を記述する例示的な方法を示す図である。 本願の原理の実施形態に従った、ＡＶコンテンツと共にハプティック効果をレンダリングする例示的な方法を示す図である。 本願の原理の実施形態に従った、ＨａｐＳｐａｃｅ内のハプティック効果を解釈する例示的な方法を示す図である。 本願の原理の例示的な実施形態の様々な態様を実施可能な例示的なシステムを示すブロック図である。 １つ以上の実施態様に使用することが可能なビデオ処理システムの例を描いたブロック図である。 １つ以上の実施態様に使用することが可能なビデオ処理システムの別の例を描いたブロック図である。

図１は、ハプティック効果（haptic effects）およびオーディオビジュアル（ＡＶ）効果（audiovisual
effects）の双方を提供する例示的なＨＡＶシステム１００のワークフローを例示している。このワークフローは、制作（production）（１１０）、レンダリング（rendering）（１３０）、および配信（distribution）（１２０）の３つの主要部分を含む。

ハプティック・データの制作／作成（Production/Creation）（１１０）

コンテンツの制作、すなわち、ＡＶコンテンツと同期したハプティック効果の作成および生成は、様々な技術を使用して行うことができる。例えば、図１に示されているように、ハプティック効果の制作は、センサ（例えば、慣性運動計測装置、ＧＰＳ）から取得されたデータをキャプチャおよび処理するステップ（１１１）と、ＡＶメディアのうちの１つ以上のコンポーネントから（１１４、例えば、画像、オーディオまたはアノテーションから）自動抽出を行うステップ（１１２）と、例えば、グラフィック・ユーザ・インタフェース（ＧＵＩ）を使用して、ハプティック効果を手動でオーサリングするステップ（１１３）と、を含むステップによって行うことができる。制作方法の選択は、用途および創作者の意図に依存して行われる。なお、センサ（１１１）から取得されたデータを使用して、または、ＡＶメディアからの自動抽出（１１３）を使用してハプティック効果（１１５）が生成されたとき、一般的には、ハプティック効果を合成するために、依然として、制作は、オーサリング・ツール（１１３）を通して行われる。

様々なタイプのハプティック知覚能力、例えば、限定するものではないが、触覚、運動感覚、自己受容感覚が存在し、創造すべきハプティック効果は、表１に例示されているような、温度、振動、圧力、移動、力、身体動作に分類される。本願では、用語「ハプティック効果」および用語「ハプティック・フィードバック」を区別せずに同じ意味で使用する。

ハプティック・フィードバックのレンダリング（１３０）

ＡＶコンテンツと共にハプティック・フィードバックを提供する際の大抵の既存の処理は、振動触覚装置の使用に依存している。この振動触覚装置は、スタンドアロンの装置であることもあれば、チェアまたはフォースフィードバック装置に組み込まれていることもある。大抵の振動触覚シートは、低周波音を振動に変換する。サブウーファのように、このタイプのシートは、低周波オーディオ・チャンネルにつながれるが、実際の音声の代わりに振動を伝える。このタイプのシートは、全体的に振動することもあれば、幾つかの振動モータが埋め込まれていることもある。近年開発された振動触覚チェアにおいては、チェアの後部に１２個の振動触覚アクチュエータのアレイが埋め込まれ、ユーザの感覚が錯触覚（tactile illusions）を通じて制御される。これによって、アクチュエータが離れた位置にあっても、ユーザに対して連続的な刺激が与えられる。一般的には、振動触覚装置によって提供されるハプティック効果は、比較的に単純であり、これにより、人工的な振動パターンまたは抽象的なフォースフィードバックが提供される。

モーション（motion：運動、動作）のレンダリングは、通常、上述した振動のレンダリングよりも複雑である。モーション・シミュレータは、ユーザにモーションを感じさせるように設計された公知の装置である。モーション・シミュレータは、学習目的の運転または飛行シミュレータにおいて、または、遊園地において主に使用される。モーション・シミュレータの多くは、スチュワート・プラットフォーム（Stewart’s platform）に基づいており、これは、６つの油圧シリンダを使用した６つの自由度（ＤＯＦ：Ｄｅｇｒｅｅｓ ｏｆ Ｆｒｅｅｄｏｍ）プラットフォームである。モーション・シミュレータは、基本的には、このようなプラットフォームに取り付けられたシートである。プラットフォームには、複数のシートを設定することができ、例えば、「４Ｄシネマ」では、４つの（またはそれ以上の）シートが一緒に動く。消費者向けの同様のシステムがＤ−Ｂｏｘによって開発されている。シートは、限定された動きの振幅を提供する、３ＤＯＦ（ピッチ（pitch）、ロール（roll）、およびヒーブ（heave））を可能とする４つのアクチュエータ上に載置される。より大きな振幅を提供するために、シミュレータを、レール上に、または回転面上に取り付けることができる。例えば、４０１ＣＲモーション・シミュレータは、回転するプラットフォーム上に取り付けられた３ＤＯＦシミュレータ（ロール、ピッチ、ヒーブ）であり、その回転動作（ヨー（yaw））は、潜在的には制限がない。

単純な振動と複雑なモーションとの間のハプティック効果をレンダリングする中継装置は、Ｇシートであり、モーションの感覚に関係した運動感覚の合図をユーザに提供するように設計されている。例えば、上向きの移動は、ユーザの背中に対する圧力によってシミュレートされる。運動感覚系の刺激は、股領域に対する圧力を提供するためのエアセル（air cells）の２つのモザイク、ユーザの脚の側部に対して圧力を提供する２つのクラムシェル形状のエア・セル、および腹側の領域に対して圧力変化を生じさせるラップベルト（lap belt）によって生成される。

広範囲のハプティック効果を提供できるビデオの視聴に特化したハプティック装置も近年提案されている。１つのアプローチにおいては、モバイル・アームレストまたはヘッドレストなどの、１組のフォースフィードバック装置がシートの周りに配置され、これらのフォースフィードバック装置は、ユーザの身体に力を加えてパッシブなナビゲーションを体験させるモーションの感覚を生成する。本願においては、ハプティック装置は、ハプティック・フィードバック、例えば、表１に規定されたようなものを提供する任意の装置を指す。

図１に示されているように、レンダリング側において、ＡＶレンダラ（１３１）によってＡＶ情報を再構築することができる。そして、再生のために、ディスプレイ画面または１つ以上のスピーカ（１３４）に出力が送信される。

さらに、ハプティック効果をハプティック・レンダラ１３３によってレンダリングすることもできる。そして、ハプティック装置１３５に出力が送信され、ハプティック効果を提供する。ＡＶメディアからハプティック効果が抽出される場合、自動抽出モジュール（１３２）を使用してＡＶレンダラ（１３１）の出力を処理し、入力をハプティック・レンダラ（１３３）に提供する。したがって、ＡＶ効果およびハプティック効果の双方を享受することができるため、ユーザはより没入感のある体験をすることができる。

フォーマット表現および配信（１２０）

ＡＶメディアおよびハプティック効果を符号化し（１２１）、コンテナ・ファイルに記憶し（１２３）、または、ネットワークを通じて送信することができる（１２２）。そして、レンダリングのために、ＡＶメディアおよびハプティック効果を復号する（１２４）ことができる。レンダリングが行われる前に、ＡＶメディアおよびハプティック効果が復号される。ＭＰＥＧによって提供されるトランスポート・プロトコルまたはオーディオ／ビデオ圧縮規格を図１に示されているようなワークフローにおいて使用することができる。

メディアのタイプに対し、メディア・フォーマットは、データ・タイプおよび内部表現の詳細を含む、構造を定義する。ＡＶコンテンツに対するメディア・フォーマットは十分に確立されているものの、ハプティック・メディア・フォーマットに対応するための試みはほとんど存在しない。ハプティック・メディア・フォーマットを定義する大抵の既存のアプローチは、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、多目的な記述言語）または単純なＣＳＶ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ）フォーマットのような一般的なフォーマットに依存している。例えば、感覚効果記述言語（ＳＥＤＬ：ｓｅｎｓｏｒｙ ｅｆｆｅｃｔ ｄｅｓｃｒｉｐｔｉｏｎ ｌａｎｇｕａｇｅ）は、ＸＭＬに基づいており、ＭＰＥＧ−４ ＢＩＦＳ（Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅｓ）フォーマットは、ＶＲＭＬ／Ｘ３Ｄ（３Ｄワールドを表すために使用されるＶｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）に基づいており、最新のＭＰＥＧ−Ｖ規格は、ＸＭＬに基づいており、これは、先進のインタラクション装置を使用することによってマルチメディアのプレゼンテーションおよびアプリケーションを制御するために、オーディオ／ビデオ・データに関連付けられたマルチ感覚型コンテンツを提供するように特に設計されている。

既存のハプティック・フォーマットには、幾らかの制約または情報の欠落を伴う。例えば、ユーザが触ることのできる前方の効果の特定法やユーザに与えられる、ユーザの前方で飛行するまたはユーザの身体の部分に接触する効果の記述法が不明である。後述するように、本願では、オブジェクトを含めることができるユーザ・スケルトンおよびユーザ空間の概念を追加している。これらのオブジェクトおよびその空間内の位置、ユーザの身体の部分の位置を知ることで、オブジェクトがユーザに接触する、または、圧力を与える時点を知ること、または、ユーザ空間におけるオブジェクト変位を記述することができる。

ＭＰＥＧ−Ｖ規格は、オブジェクト、ハプティック装置および効果と共に、センサおよび装置の特性を記述している。例えば、表２において、ＭＰＥＧ−Ｖは、ＸＭＬを使用し、図２に例示されているような位置モデルに従って、ユーザの視点から受け取られると想定される振動効果の位置を特定する。特に、この例は、オーディオ触覚リソースを使用した触覚効果の記述を示している。触覚効果は、ｓｉ：ｐｔｓ＝“５”で起動し、好ましくは、この触覚効果は、振動である。この位置は、人間の胸部前方の、心臓領域近傍であると特定される。振動効果は、触覚リソースに基づいて作成され、この触覚リソースは、ＳＥＤＬスクリプト自体のような同一のペアレント位置（ＵＲＬ）に記憶される、ＭＰ３フォーマットのオーディオ・ファイル（すなわち、ｈｅａｒｔｂｅａｔ１.ｍｐ３）である。触覚効果の長さおよび速度は、オーディオ・ファイルの長さおよびデフォルトの速度から全てが導出される。

以下において、本願では、ＭＰＥＧ−Ｖに存在する概念を使用し、ＭＰＥＧ−Ｖ規格を補完する実施形態を提供する。なお、本願の原理は、限定するものではないが、仮想現実、没入感のある体験、およびハプティック効果および処理などの主題に関連する他の規格に適用することもできる。

ＭＰＥＧ−Ｖに従った位置の記述では、オブジェクトおよびユーザの正確な位置を示すことができない。ＭＰＥＧ−Ｖのシンタックスには、ＭＰＥＧ−Ｖ位置フィールドにおいてユーザを特定するようなものは存在しない。さらに、ＭＰＥＧ−Ｖ規格には、ユーザの動作および身体の部分についての概念は存在しない。

本願の原理は、ハプティック・フィードバックおよびインタラクティブ性（ハプティック空間またはＨａｐＳｐａｃｅとも称する）のためのユーザ環境空間の概念を導入することによって、ハプティック・フィードバックおよびインタラクティブ性を提供する方法および装置に関する。一実施形態においては、ユーザのハプティック空間は、例えば、ユーザがアクセス可能なものを包むボックスとして、ユーザがアクセスすることのできる空間、または、ユーザの物理的な到達範囲内の任意の空間を含み、定義されたユーザ・ボックスを通じて特定される。定義された空間は、ユーザを含み、様々なハプティック装置およびハプティック・オブジェクトを含むことがある。ハプティック・オブジェクトは、ハプティック特性に関連付けられた仮想オブジェクトである。一例においては、ユーザがハプティック・オブジェクトに接触すると、何らかの振動がユーザに与えられるため、ユーザは、オブジェクトの表面に接触する感覚を受ける。別の例においては、ユーザが仮想的な楽器に接触すると、ハプティック装置もまた、リアルタイムな音声を生成することで、インタラクティブ性を提供することができる。

図３は、本願の原理に従った例示的なＨａｐＳｐａｃｅを例示している。ここで、ＨａｐＳｐａｃｅは、ハプティック・レンダリング装置、ハプティック・オブジェクト、およびフェンシングのゲームを行うユーザを含む。ユーザは、ローリング・カーペット（３１０）、振動ベスト（３２０）、およびファン（３４０）を含む、幾つかのハプティック装置からのハプティック・フィードバックを受けることができる。ユーザは、さらに、タッチ・センサ（３３０）およびアイコン（３５０）を含む、幾つかのハプティック・オブジェクトにアクセスすることができる。より具体的には、ローリング・カーペット（３１０）は、ユーザが移動するときに、歩行効果を提供することができ、振動ベスト（３２０）は、ユーザが別のプレイヤによって接触されたときに接触感覚を提供することができ、タッチ・センサ（３３０）は、ユーザがこのタッチ・センサ（３３０）を押したときに光を提供することができ、ファン（３４０）は、屋外のゲームをシミュレートする風効果を提供することができ、アイコン（３５０）は、このアイコンに触れられたときに振動を提供することができる。さらに、風効果がユーザに到達する限り、ＨａｐＳｐａｃｅの外側にファンを置くことができる。ハプティック装置がＨａｐＳｐａｃｅの外側に存在する場合には、ハプティック装置からのハプティック効果の存在を管理するための外部ＨａｐＳｐａｃｅ符号語を使用することができる。

より一般的には、ＨａｐＳｐａｃｅをオブジェクト、ユーザ、および効果を正確に特定するフレームワークを提供するために定義することができる。一実施形態においては、ＨａｐＳｐａｃｅは、最大距離でユーザの全周囲にある、ユーザの手書きで描かれた球を含むキューブに対応し、ユーザが静止している、１に正規化された寸法を用いたキューブによって表すことができる（ボックス・サイズは、各軸（Ｘ、Ｙ、Ｚ）において[０−１]の間で正規化される）。一般的には、ＨａｐＳｐａｃｅは、ユーザの身体の任意の部位でユーザが到達可能な任意の場所を含む、どのような形状の３Ｄ空間であってもよい。ＨａｐＳｐａｃｅの起点は、ユーザの骨盤でもよく、ユーザの別の部位でもよく、ユーザの周りの位置、例えば、ユーザの１フィート手前でもよく、ユーザの関わる他の別の位置でもよい。ユーザに対してＨａｐＳｐａｃｅを定義することによって、ユーザもまた、空間内のハプティック・オブジェクト／装置のハプティック特性を送信するだけでよい。ＨａｐＳｐａｃｅは、ユーザに対して相対的に定義されるため、ユーザが動くと、ユーザに追従してボックスも動く。複数のユーザが存在する場合には、各ユーザは、個別にＨａｐＳｐａｃｅを定義することができる。

ハプティック装置またはハプティック・オブジェクトは、例えば、重心を用いて、または、空間の起点に対する座標（ｘ，ｙ，ｚ）に位置する幾何学的な中心を用いて、この空間において位置することもできる。通常、ゲームなどの何らかのアプリケーションにおいては、オブジェクトの概略的な記述では、インタラクティブ性を提供するのに十分ではない。一実施形態においては、インタラクティブ性を確保するために、表３に示されているようなメッセージを提案し、３つのカルテシアン座標を使用することによって、ＨａｐＳｐａｃｅにおけるユーザまたは任意のハプティック装置およびハプティック・オブジェクトに対する正確な位置を提供する。以下の例において、ＭＰＥＧ−Ｖの概念を使用した新たな記述子を提案する。これらの新しい記述子は、ハプティック空間をより正確に記述するために、ＭＰＥＧ−Ｖを補完することができる。

表３において、２つの新たな記述子を導入する。これらは、ＲｅｌａｔｉｖｅＰｏｓｉｔｉｏｎＴｙｐｅおよびＦｌｏａｔ３ＤｐｏｓｉｔｉｏｎＴｙｐｅである。記述子ＲｅｌａｔｉｖｅＰｏｓｉｔｉｏｎＴｙｐｅは、正規化されたＨａｐＳｐａｃｅにおける位置を特定する。記述子Ｆｌｏａｔ３ＤＰｏｓｉｔｉｏｎＴｙｐｅは、RｅｌａｔｉｖｅＰｏｓｉｔｉｏｎＴｙｐｅ記述子のパラメータを特定し、浮動小数点表現を用いたＸ、Ｙ、およびＺにおける位置（０および１の間）を特定するのに有用となることがある。

そして、（例えば、表２、８行目において示されているような）ＭＰＥＧ−Ｖ位置フィールドは、例として、位置＝「：０．０１：０．９８３：０．１３４」のような、位置＝「ＲｅｌａｔｉｖｅＰｏｓｉｔｉｏｎＴｙｐｅ」フィールドによって置き換えることができる。ここで、３つの値は、ＨａｐＳｐａｃｅ内の座標、すなわち、Ｘ＝０．０１、Ｙ＝０．９８３、Ｚ＝０．１３４を表す。

提案しているＨａｐＳｐａｃｅにおいて、ハプティック装置またはハプティック・オブジェクトをユーザにリンクさせることができる。一実施形態において、表４に示されているようなメッセージを提案し、ユーザとハプティック装置／オブジェクトとの間のリンクを提供する。

表４において、別の新たな記述子ＢｏｄｙＬｉｎｋＴｙｐｅを導入する。記述子ＢｏｄｙＬｉｎｋＴｙｐｅは、パラメータＢｏｄｙＰａｒｔを用いたユーザの身体上に存在する
ハプティック装置／オブジェクトの場所を特定する。例えば、時計をユーザの左の手首にリンクさせることができ、位置＝「ＬｅｆｔＷｒｉｓｔ」を用いてこれを記述することができる。

ユーザの物理的なプロパティは、限定するものではないが、例えば、「ａｒｍｓｐａｎ」高さおよび重さを、例えば、ＭＰＥＧ−Ｖ（パート２）の感覚プリファレンス仕様を用いて記述することができる。各身体部分位置を特定するために、図４に例示されているような身体のモデルを使用することができる。これは、Ｆ. Ｄａｎｉｅａｕ、Ｊ. Ｆｌｅｕｒｅａｕ、Ｐ. Ｇｕｉｌｌｏｔｅｌ、およびＤ. Ｄｏｙｅnによる「ハプティック装置を制御するための方法および装置（Ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｃｏｎｔｒｏｌｌｉｎｇ ａ ｈａｐｔｉｃ
ｄｅｖｉｃｅ）」と題された共同所有特許出願（代理人整理番号ＰＦ１４０１４４）に記述されており、この特許出願の開示内容を参照することで本願に盛り込んだものとする。本特許出願において、表５に示されているような身体の部分の位置を記述する新たな記述子をさらに導入する。

記述子ＢｏｄｙＤｅｓｃｒｉｐｔｉｏｎＴｙｐｅは、定義されたユーザ空間における様々なユーザの身体部分の位置を記述する。ユーザが動く度に、新しい位置、例えば、移動する部分の位置のみが送信される必要がある。

上記の身体モデルに対応し、ハプティック特性（すなわち、ハプティック効果のパラメータ）を、運動感覚効果を記述する以下のもの(表６)などの、ＭＰＥＧ−Ｖメッセージによって定義することができる。

同様に、他のハプティック効果のプロパティを定義することができる。例えば、ＶｉｂｒａｔｉｏｎＳｐｅｃｉｆｉｃａｔｉｏｎＴｙｐｅタイプ記述子を定義して振動を記述することができる。振幅には、２つの属性として、信号の振幅および周波数を含めることができる。

ユーザの「ａｒｍｓｐａｎ」高さおよび他の物理的なパラメータが既知であると仮定すると、ＨａｐＳｐａｃｅサイズは、例えば、ａｒｍｓｐａｎの値１を用いて、レンダラによって計算することができる。さらに、定義されたハプティック・プロパティを作成するために、レンダラは、（例えば、Ｋｉｎｅｃｔなどの適切なセンサを使用して）ユーザの動きをトラッキングする必要がある。

オブジェクトが位置している場所のより精度の高いマップを提供するために、（定義された空間に関連する）深度マップを拡張として提供することができる。深度マップを各ハプティック装置／オブジェクトまたはユーザに関連付けて空間内の位置を記述することができる。

表７において、深度マップの（ｘ、ｙ）サイズは、深度−ｘおよび深度−ｙのパラメータによって特定される。ここで、深度マップは、ＨａｐＳｐａｃｅに対して相対的であり、ハプティック装置／オブジェクトに関連付けられる深度は、深度マップに対して最も空間的に近い位置にあるものとする。深度マップは、位置を特定する際の代替手段を提供する。

以下において、前方に振動ボールを有するユーザが１人存在し、ＨａｐＳｐａｃｅがユーザの周囲のキューブとして定義される。ＭＰＥＧ−Ｖ仕様を使用した表８において、このシーンを記載する。なお、この表８は、概念をハイレベルで示している。正確なシンタックスについては、ＭＰＥＧ−Ｖ仕様を参照するとよい。特に、この例は、ユーザの位置＝「：０．０１：０．２８３：０．１３４」を規定している。振動ボールは、位置＝「：０．５１：０．９８３：０．８」で振動を生成する。振動の周波数および振幅は、（ｘｎ，ａｎ）によって特定されているように、時間の経過と共に変化する。

表９において、ボールが身体の部分（右手）にリンクされている場所の別の例を示す。ボールは右手で、（ｘｎ，ａｎ）で特定された周波数および振幅で振動する。

表１０において、Ｚ軸における位置を提供する深度マップを使用する例を示す。表９の例では、ユーザの位置＝「：０．０１：０．２８３：０．１３４」となっているが、今度は、位置＝「：０．０１：０．２８３：ｄｅｐｔｈ１(２０１,３０１)」で表されている。

なお、表８〜１０における記述は例示的なものに過ぎず、厳密には、実施態様によっては異なることがある。表記を簡単にするために、表８〜１０に示されているハプティック特性の記述をハプティック記述またはハプティック効果記述として示す。一般的には、ハプティック記述は、例えば、限定するものではないが、シンタックス構造、擬似コード、または、ハプティック特性を記述するソフトウェア・コードである。

ハプティック記述の作成は、アーティストによって行うことができる。ハプティック効果の作成は、必要なインタフェースを用いた、ハプティック編集ソフトウェアを使用して行うことができる。図５には、例示的なオーサリング・ツール、Ｈ−ＳＴＵＤＩＯが示されている。ここでは、モーション効果が編集されている。特に、図５においては、モーション方向（矢印で示されている）および反復方向（車によって示されている）は、時点ｔで定義される。オーサリング・ツールによって、アーティストは、ＡＶコンテンツと同期してハプティック特性（すなわち、ハプティック・トラック）のシーケンスを生成することもできる。代替的には、モーション・ユニットを使用して、キャラクタの動作をキャプチャし、ハプティック記述内に動作情報を挿入することができる。

ハプティック記述を、例えば、ｍｐ４ファイルまたはＴＳストリーム内にカプセル化した後、受信機に送信することができる。受信機は、様々なハプティック・フィードバック装置を使用して定義された効果をレンダリングするためにハプティック記述を復号し、シンタックスを解釈するアダプテーション・エンジンを含む。適切な信号をハプティック装置に送信し、明細書中で定義されたように動作させる通信リンクが存在すると仮定する。信号に含まれているハプティック記述は、ハプティック装置を受信する能力に基づいて適応させることができる。一実施形態においては、受信機は、シーン（範囲）の各ハプティック装置／オブジェクトの「性能」を把握しており、各レンダリング装置は、送信される値を自己の性能の範囲内になるように変換するアダプテーション・エンジンを含む。例えば、最大周波数が１００Ｈｚであり、受信機が２００Ｈｚの振動をレンダリングするコマンドを受信する場合には、アダプテーション・エンジンは、周波数を１００Ｈｚにクリッピングすることを決定することができる。

例えば、表８に示されているように、専用の振動信号をユーザの前方のボールに対して送信することができる。プレイヤが完全なレンダリング性能を有するハプティック装置にアクセスする場合には、ボールがユーザに示され、ユーザがボールに触れた場所に振動が付与される。レンダリング性能がより限定されたハプティック装置に対するアクセスを有する別のユーザに対しては、例えば、単純なスマートフォンを有するユーザに対しては、ボールはユーザに示されず、ボールの振動は、スマートフォンの振動によって置き換えられる。より複雑なシナリオを、様々な性能を有する装置に適応するように定義することができる。

本実施形態は、任意の種類のレンダリング装置、例えば、シート、センサ、ファン、ピエゾ素子、およびスピーカを考慮して、ユーザに対するハプティック効果をレンダリングするために使用することができる。このようなハプティック効果は、ＡＶ（映画）コンテンツにリンクされるだけでなく、ユーザが、例えば、ユーザ・インタフェースを通じて操作可能な仮想オブジェクトにリンクされる。

図６は、本願の原理に従ったＡＶコンテンツと共にハプティック効果を生成する例示的な方法６００を示している。方法６００は、ステップ６０５で開始する。ステップ６１０において、ＡＶコンテンツおよびユーザのＨａｐＳｐａｃｅを用いたハプティック効果が入力としてアクセスされる。ハプティック効果は、センサを用いてキャプチャすることができるし、ＡＶコンテンツから抽出することもできるし、アーティストによって作成することもできる。ステップ６２０において、ハプティック効果は、次に、上述したように、ハプティック記述を使用して記述することができる。ハプティック効果記述は、そして、ステップ６３０において、ＡＶコンテンツと共に符号化される。ハプティック効果記述は、例えば、限定するものではないが、ｚｉｐアルゴリズム、ＭＰＥＧ ＢＩＦＳバイナリ・フォーマットを用いて符号化することができる。ＨａｐＳｐａｃｅのサイズもまた、ビットストリーム内で示すことができる。そして、ステップ６４０において、符号化結果、すなわち、符号化されたビットストリームは、記憶、または送信される。方法６００は、ステップ６９９で終了する。

図７は、本願の原理に従ってＨａｐＳｐａｃｅ内のハプティック効果を記述する例示的な方法７００を示している。方法７００は、方法６００におけるステップ６２０を実行するために使用することができる。ステップ７１０において、ＨａｐＳｐａｃｅがユーザに基づいて、例えば、ユーザが到達可能なものを含むキューブとして定義される。そして、ハプティック効果の特性およびＨａｐＳｐａｃｅ内のハプティック効果の位置がユーザ、ハプティック装置、およびハプティック・オブジェクトに対して定義される。例えば、ステップ７２０において、例えば、表３および表７に記載された記述子を使用して、正確な位置および／または位置の深度マップが定義される。ステップ７３０において、例えば、表４に記述された記述子を使用して、ハプティック・オブジェクト／装置をユーザにリンクさせることもできる。ステップ７４０において、例えば、表５に記述された記述子を使用して、身体の部分の位置が特定される。ハプティック効果のハプティック特性は、ステップ７５０で定義することができる。ステップ７６０において、より多くの記述子が必要であるかどうかがチェックされる。より多くの記述子が必要である場合には、制御がステップ７２０に戻る。ユーザの移動により、ＨａｐＳｐａｃｅの起点が移動する場合には、ステップ７７０でＨａｐＳｐａｃｅを更新することができる。

図７において示されているものとは異なる順序で方法７００のステップを実行することができる。例えば、ステップ７２０〜７５０を任意の順序で実行することができる。また、ステップ７２０〜７５０のいずれか１つを、記述が必要なハプティック効果の内容に依存し実施してもよいし、実施しなくともよい。ユーザが移動しない場合、ステップ７７０をスキップしてもよい。

図８は、本願の原理に従った、ＡＶコンテンツと共にハプティック効果をレンダリングする例示的な方法８００を示している。方法８００は、ステップ８０５で開始する。ステップ８１０において、ＡＶコンテンツおよびハプティック効果を含むビットストリームが入力としてアクセスされる。例えば、方法６００に従って生成されたビットストリームを入力として使用することができる。ビットストリームは、複数の異なるトラックに整理することができる。このうち、幾らかのトラックはオーディオのためのものであり、幾らかのトラックはビデオのためのものであり、幾らかのトラックはハプティックのためのものであり、全て、同期されている。代替的には、符号化されたハプティック効果のビットストリームをＡＶビットストリームとは別個に送信し、ビットストリームおよび出力再生を同期する受信機によって受信することができる。

ステップ８２０において、ＡＶコンテンツおよびハプティック効果の記述が復号される。そして、復号されたＡＶコンテンツおよびハプティック効果は、ステップ８３０でのレンダリングのために利用可能である。レンダリング装置は、ＨａｐＳｐａｃｅのサイズの導出の仕方を把握すべきである。例えば、ＨａｐＳｐａｃｅがユーザの腕の長さに基づく場合には、レンダリング装置は、腕の長さを把握するべきであり、したがって、ＨａｐＳｐａｃｅのサイズを導出することができる。代替的には、ＨａｐＳｐａｃｅのサイズは、情報が送信される場合には、ビットストリームから導出することができる。ステップ８４０において、ＡＶコンテンツをハプティック・フィードバックを用いた再生のために提供することができる。例えば、ＡＶコンテンツをディスプレイおよびサウンド・スピーカに送信することができ、ハプティック効果をハプティック装置を使用して提供することができる。方法８００は、ステップ８９９で終了する。そして、解釈されたハプティック効果をレンダリングのために使用することができる。

図９は、本願の原理に従った、ＨａｐＳｐａｃｅ内でハプティック効果を解釈する例示的な方法９００を示す。方法９００は、方法８００におけるステップ８３０を実行するように使用することができる。ステップ９１０において、ハプティック効果の記述がアクセスされる。そして、ハプティック効果が解釈される。特に、例えば、表３および表７に記載された方法を使用して、位置を解釈することができる。ステップ９３０において、例えば、表４に記述されている記述子を使用して、ユーザにリンクされるハプティック・オブジェクトを解釈することができる。ステップ９４０において、表５に記述されている記述子を使用して、身体の部分の位置を解釈することができる。ステップ９５０において、ハプティック効果のためのハプティック特性を解釈することができる。ステップ９６０において、より多くの記述を解釈する必要があるかどうかがチェックされる。より多くの記述を解釈する必要がある場合には、制御がステップ９２０に戻る。レンダリング装置の性能に依存して、ステップ９７０において、ハプティック効果を適応化することもできる。

図９において示されているものとは異なる順序で方法９００のステップを実行することができる。例えば、ステップ９２０〜９５０を任意の順序で実行することができる。また、ステップ９２０〜９５０のいずれか１つを、記述が必要なハプティック効果の内容に依存して実施してもよいし、実施しなくともよい。ハプティック装置が完全なレンダリング性能を有する場合、ステップ９７０をスキップしてもよい。

有益には、本願の実施形態は、仮想空間、すなわち、ユーザに付帯するユーザのＨａｐＳｐａｃｅを提供する。この仮想空間は、ユーザと共に移動することができる。ＨａｐＳｐａｃｅもまた、ユーザがアクセス可能なハプティック・オブジェクトおよびユーザにハプティック効果を提供可能なハプティック装置を含む。ＨａｐＳｐａｃｅは、ユーザに基づいて定義され、好ましくは、ユーザが自己の身体で接触する空間として定義される。ＨａｐＳｐａｃｅにおいては、ハプティック・オブジェクトをこのハプティック・オブジェクトのハプティック特性を用いて定義することができる。さらに、ユーザおよび様々なハプティック・レンダリング装置をＨａｐＳｐａｃｅに正確に位置決めすることができる。

図１０は、本願の原理の例示的な実施形態の様々な態様を実施することが可能な例示的なシステムのブロック図を示している。システム１０００は、以下に記載する様々なコンポーネントを含み、上述した処理を実行するように構成された装置として実施することができる。このような装置の例としては、限定するものではないが、パーソナル・コンピュータ、ラップトップ・コンピュータ、スマートフォン、タブレット・コンピュータ、ディジタルメディア・セットトップ・ボックス、ディジタル・テレビジョン受信機、パーソナル・ビデオ・レコーディング・システム、コネクテッドホーム家電、およびサーバが挙げられる。システム１０００を他の同様のシステムと、さらに、ディスプレイに、図１０に示されており、当業者によって公知な通信システムを介して通信可能に結合させることができ、上述した例示的なビデオ・システムを実施することができる。

システム１０００には、上述した様々な処理を実施するためにロードされた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含めることができる。プロセッサ１０１０には、内蔵メモリ、入出力インタフェース、および当該技術分野で公知な様々な他の回路を含めることができる。さらに、システム１０００には、少なくとも１つのメモリ１０２０（例えば、揮発性メモリ装置、不揮発性メモリ装置）を含めることができる。システム１０００には、さらに、記憶装置１０４０を含めることができ、この記憶装置１０４０は、限定するものではないが、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスク・ドライブ、および／または光学ディスク・ドライブを含めることができる。記憶装置１０４０は、限定するものではないが、例えば、内蔵記憶装置であってもよいし、取り付けられた記憶装置でもよいし、さらに／または、ネットワークによってアクセス可能な記憶装置であってもよい。システム１０００は、さらに、符号化されたＨＡＶコンテンツまたは復号されたＨＡＶコンテンツを提供するためにデータを処理するように構成された符号化器／復号器モジュール１０３０を含めることができる。

符号化器／復号器モジュール１０３０は、符号化および／または復号の機能を実行するために装置に含めることができるモジュールを表す。公知であるように、装置には、符号化モジュールおよび復号モジュールの１つまたは双方を含めることができる。さらに、符号化器／復号器モジュール１０３０は、システム１０００の別個の要素として実施することもできるし、当業者にとって公知なハードウェアおよびソフトウェアを組み合わせてプロセッサ１０１０内に組み込むこともできる。

上述した様々な処理を実行するためのプロセッサ１０１０にロードされるべきプログラム・コードは、プロセッサ１０１０による実行のために、記憶装置１０４０に記憶され、続いて、メモリ１０２０にロードされる。本願の原理の例示的な実施形態に従って、１つ以上のプロセッサ１０１０、メモリ１０２０、記憶装置１０４０、および符号化器／復号器モジュール１０３０は、限定するものではないが、ベース・レイヤー入力ビデオ、拡張レイヤー入力ビデオ、等式、公式、行列、変数、処理、処理ロジックを含む、１つ以上の項目を上述した処理の実行中に記憶することができる。

システム１０００には、通信チャンネル１０６０を通じて他の装置との通信を可能にする通信インタフェース１０５０をさらに含めることができる。通信インタフェース１０５０には、限定するものではないが、通信チャンネル１０６０に対してデータを送受信するように構成された送受信機を含めることができる。通信インタフェースには、限定するものではないが、モデムまたはネットワーク・カードを含めることができ、通信チャンネルは、有線および／または無線媒体内で実施することができる。システム１０００の様々なコンポーネントを、限定するものではないが、内部バス、有線、およびプリント回路基板を含む、様々な適切な接続部を使用して、互いに接続することができる。

本願の原理に従った例示的な実施形態は、プロセッサ１０１０によって実行されるコンピュータ・ソフトウェアによって実施することができるし、ハードウェアによって実施することができるし、ハードウェアおよびソフトウェアを組み合わせて実施することもできる。限定するものではないが、例として、本願の原理に従った例示的な実施形態は、１つまたは複数の集積回路によって実施することができる。メモリ１０２０は、限定するものではないが、例として、光学メモリ装置、磁気メモリ装置、半導体ベースのメモリ装置、固定メモリ、着脱可能なメモリなど、技術的な環境に適したどのようなタイプのものでもよく、適切なデータ記憶技術を使用して実施することができる。プロセッサ１０１０は、技術的な環境に適したどのようなタイプのものでもよく、限定するものではないが、例えば、１つ以上のマイクロプロセッサ、汎用コンピュータ、特定目的コンピュータ、およびマルチコア・アーキテクチャに基づくプロセッサを含むことができる。

図１１を参照すると、上述した特徴事項および原理を適用可能なデータ送信システム１１００が示されている。例えば、データ送信システム１１００は、例えば、衛星、ケーブル、電話線、または地上ブロードキャストのような様々なメディアのいずれかを使用した信号を送信するヘッドエンドまたは送信システムとすることができる。さらに、データ送信システム１１００を記憶のための信号を提供するために使用することができる。送信は、インターネットまたは何らかの他のネットワークを介して行うことができる。データ送信システム１１００は、例えば、ＡＶコンテンツおよびハプティック効果を生成し、受け渡す機能を有する。

データ送信システム１１００は、プロセッサ１１０１から処理されたデータおよび他の情報を受信する。一実施態様においては、プロセッサ１１０１は、ハプティック効果を生成、キャプチャし、ＡＶコンテンツからのハプティック効果を抽出し、または、アーティストによって作成されたハプティック効果を受け入れる。さらに、プロセッサ１１０１は、メタデータをデータ送信システム１１００に提供してもよい。

データ送信システムまたはデータ送信装置１１００は、符号化器１１０２および符号化された信号を送信可能な送信機１１０４を含む。符号化器１１０２は、プロセッサ１１０１からデータ情報を受信する。符号化器１１０２は、符号化された信号を生成する。

符号化器１１０２には、例えば、様々な情報を受信し、記憶または送信のための構造的なフォーマットに組み立てるアセンブリ・ユニットを含め、サブモジュールを含めることができる。様々な情報には、例えば、符号化されたまたは符号化されていないビデオ、さらに、符号化されたまたは符号化されていない要素を含めることができる。実施態様によっては、符号化器１１０２は、プロセッサ１１０１を含めることができ、したがって、プロセッサ１１０１の処理を実行する。

送信機１１０４は、符号化器１１０２から符号化された信号を受信し、１つまたは複数の出力信号で符号化された信号を送信する。送信機１１０４は、例えば、符号化されたピクチャおよび／またはこれに関連する情報を表す１つまたは複数のビットストリームを有するプログラム信号を送信するように構成することができる。通常の送信機は、例えば、エラー訂正符号化、信号内のデータのインタリーブ、信号内のエネルギーのランダム化、変調器１１０６を使用した１つ以上のキャリア上への信号の変調などのうちの１つ以上の機能を実行する。送信機１１０４には、アンテナ（図示せず）を含めてもよく、送信機１１０４がアンテナ（図示せず）とのインタフェースとなってもよい。さらに、送信機１１０４の実施態様は、変調器１１０６に限定されることがある。

さらに、データ送信システム１１００は、記憶ユニット１１０８に通信可能に結合される。一実施態様においては、記憶ユニット１１０８は、符号化器１１０２に結合され、符号化器１１０２からの符号化されたビットストリームを記憶する。別の実施態様においては、記憶ユニット１１０８は、送信機１１０４に結合され、送信機１１０４からのビットストリームを記憶する。送信機１１０４からのビットストリームは、例えば、送信機１１０４によってさらに処理された１つ以上の符号化されたビットストリームを含むことがある。記憶ユニット１１０８は、１つ以上の標準的なＤＶＤ、ブルーレイ・ディスク、または何らかの他の記憶装置など、様々な態様で実施される。

図１２を参照すると、上述した特徴事項および原理を実施可能なデータ受信システム１２００が示されている。データ受信システム１２００は、記憶装置、衛星、ケーブル、電話線、または、地上ブロードキャストなど、様々なメディアを介して信号を受信するように構成することができる。信号は、インターネットまたは他のネットワークを介して受信することができる。

データ受信システム１２００は、符号化されたビデオを受信し、例えば、表示（例えば、ユーザに対する表示）、処理、または記憶を行うための復号されたビデオ信号を提供する、例えば、携帯電話、コンピュータ、セットトップ・ボックス、テレビジョン、または他の装置である。したがって、データ受信システム１２００は、その出力を、例えば、テレビジョンの画面、コンピュータ・モニタ、（例えば、記憶、処理、または表示のための）コンピュータ、Ｇ−シート、振動ベスト、または何らかの他の記憶装置、処理装置、ハプティック装置、または表示装置に提供することができる。

データ受信システム１２００は、データ情報を受信、処理する機能を有する。データ受信システムまたはデータ受信装置１２００は、例えば、本願の実施態様において記載されている信号のような、符号化された信号を受信する受信機１２０２を含む。受信機１２０２は、例えば、ビットストリームを提供する信号、または、図１１のデータ送信システム１１００から出力された信号を受信することができる。

受信機１２０２は、例えば、符号化されたＡＶコンテンツおよびハプティック効果を表す複数のビットストリームを有するプログラム信号を受信するように構成されている。通常の受信機は、例えば、変調および符号化されたデータ信号を受信し、復調器１２０４を使用して１つ以上のキャリアからのデータ信号を復調し、信号内のエネルギーを逆ランダム化し、信号内のデータを逆インタリーブし、信号をエラー訂正復号することのうちの１つ以上の機能を実行する。受信機１２０２には、アンテナ（図示せず）を含めてもよく、受信機１２０２がアンテナ（図示せず）とのインタフェースとなってもよい。さらに、受信機１２０２の実施態様は、復調器１２０４に限定されることがある。

データ受信システム１２００は、復号器１２０６を含む。受信機１２０２は、受信した信号を復号器１２０６に提供する。受信機１２０２によって復号器１２０６に提供される信号には、１つ以上の符号化されたビットストリームを含めることができる。復号器１２０６は、例えば、ビデオ情報、オーディオ信号、およびハプティック効果の記述を含む、復号されたビデオ信号など、復号された信号を出力する。

データ受信システムまたはデータ受信装置１２００もまた、記憶ユニット１２０７と通信可能に結合される。一実施態様においては、記憶ユニット１２０７は、受信機１２０２に結合され、受信機１２０２は、記憶ユニット１２０７からのビットストリームにアクセスする。別の実施態様においては、記憶ユニット１２０７は、復号器１２０６に結合され、復号器１２０６は、記憶ユニット１２０７からのビットストリームにアクセスする。記憶ユニット１２０７からアクセスされたビットストリームは、様々な実施態様において、１つ以上の符号化されたビットストリームを含む。記憶ユニット１２０７は、様々な実施態様において、１つ以上の標準的なＤＶＤ、ブルーレイ・ディスク、ハードドライブ、または何らかの他の記憶装置である。

復号器１２０６からの出力データは、一実施態様においては、プロセッサ１２０８に提供される。プロセッサ１２０８は、一実施態様においては、後処理を行うように構成されたプロセッサである。実施態様によっては、復号器１２０６は、プロセッサ１２０８を含み、したがって、プロセッサ１２０８の処理を行う。他の実施態様においては、プロセッサ１２０８は、例えば、セットトップ・ボックスまたはテレビジョンのようなダウンストリーム装置の一部である。

本明細書において記載された実施態様は、例えば、方法またはプロセス、装置、ソフトウェア・プログラム、データストリーム、または信号で実施することができる。単一の実施態様の文脈で説明している場合であっても（例えば、方法としてのみ説明している場合であっても）、説明した特徴事項の実施態様を他の形態で（例えば、装置またはプログラムで）実施することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施することができる。例えば、この方法を、例えば、プロセッサのような装置で実施することができる。プロセッサは、一般的には、例えば、コンピュータ、マイクロプロセッサ、集積回路、または、プログラマブル論理装置を含む処理装置を指す。さらに、プロセッサには、例えば、コンピュータ、携帯電話、携帯／個人情報端末（ＰＤＡ）およびエンドユーザ間の情報の通信を容易にする他の装置などの通信装置が含まれる。

本願の原理の「一実施形態」、「実施形態」、「一実施態様」、または「実施態様」と言及した場合、さらに、他の類似する表現を使用した場合、これは、実施形態に関連して説明した特定の特徴事項、構造、特性などが本願の原理の少なくとも一実施形態に含まれることを意味する。したがって、明細書全体にわたって様々な箇所に存在する「一実施形態においては」、「実施形態においては」、「一実施態様においては」、「実施態様においては」、さらに、他の類似する表現は、必ずしも全てが同一の実施形態を指すものではない。

さらに、本願明細書または本願の請求の範囲は、様々な情報を「決定する」と記載している場合がある。情報を決定するとは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、または、メモリから情報を取得することのうちの１つ以上を含むことがある。

さらに、本願明細書または本願の請求の範囲は、様々な情報に「アクセスする」と記載している場合がある。情報にアクセスするとは、例えば、情報を受信すること、情報を（例えば、メモリから）取得すること、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報を複製すること、情報を削除すること、情報を計算すること、情報を決定すること、情報を予測すること、または、情報を推定することのうちの１つ以上を含むことがある。

さらに、本願明細書または本願の請求の範囲は、様々な情報を「受信する」と記載している場合がある。「アクセスする」ことと同様に、受信することは、広い範囲の用語であることを意図している。情報を受信するとは、例えば、情報にアクセスすることまたは情報を（例えば、メモリから）取得することのうちの１つ以上を含むことがある。さらに、「受信すること」は、通常、処理の間に、或る意味、または別の意味で、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報を複製すること、情報を削除すること、情報を計算すること、情報を判定すること、情報を予測すること、または、情報を推定することなどに関わる。

当業者であれば理解できるであろうが、実施態様は、例えば、記憶または送信される情報を搬送するようにフォーマットされた様々な信号を生成する。情報は、例えば、方法を実行する命令、または記載された実施態様のうちの１つによって生成されたデータを含むことがある。例えば、信号は、記載した実施形態のビットストリームを搬送するようにフォーマットされることがある。このような信号は、例えば、（例えば、スペクトラムの無線周波数部分を使用した）電磁波としてフォーマットすることができ、または、ベースバンド信号としてフォーマットすることができる。フォーマット化には、例えば、データ・ストリームを符号化することおよび符号化されたデータストリームを用いてキャリアを変調することが含まれることがある。信号が搬送する情報は、例えば、アナログ情報またはディジタル情報とすることができる。信号は、公知である様々な有線リンクまたは無線リンクを介して送信することができる。信号は、プロセッサ読み取り可能媒体上に記憶することができる。

Claims (15)

1. ハプティック効果を表すデータを含むビットストリームを送信する方法であって、
   前記ビットストリーム内に、空間の起点の位置を表す第１の記述子を符号化するステップと、
   前記ビットストリーム内に、前記空間に関して、ハプティック特性が関連付けられている仮想オブジェクトの位置を表す第２の記述子を符号化するステップと、
   前記ビットストリームを送信するステップと、
   を含む、前記方法。
2. 前記ビットストリーム内に、前記空間に関して、ハプティック装置の位置を表す第３の記述子を符号化するステップをさらに含む、請求項１に記載の方法。
3. ハプティック効果を表す情報を復号する方法であって、
   ビットストリームを受信するステップと、
   前記ビットストリームから空間の起点の作成を表す第１の記述子を復号するステップと、
   前記ビットストリームから、前記空間に関して、ハプティック特性が関連付けられている仮想オブジェクトの位置を表す第２の記述子を復号するステップと、
   を含む、前記方法。
4. 前記ビットストリームから、前記空間に関して、ハプティック装置の位置を表す第３の記述子を復号するステップをさらに含む、請求項３に記載の方法。
5. 前記第２の記述子は、前記仮想オブジェクトが位置するユーザの身体の部分を示す、請求項１〜４のいずれか１項に記載の方法。
6. 前記第３の記述子は、前記ハプティック装置が位置するユーザの身体の部分を示す、請求項２または４に記載の方法。
7. 前記第１の記述子は、第１の座標に対応し、前記第２の記述子は、第２の座標に対応する、請求項１または３に記載の方法。
8. 所定の時点でのユーザの身体の少なくとも一部の位置を表す第４の記述子をさらに含む、請求項１または２に記載の方法。
9. 所定の時点でのユーザの身体の少なくとも一部の位置を表す第４の記述子をさらに含む、請求項３または４に記載の方法。
10. 前記起点は、ユーザの身体の一部に関連付けられる、請求項１〜９のいずれか１項に記載の方法。
11. ハプティック効果を表すデータを含むビットストリームを送信するように構成された装置であって、
    前記ビットストリーム内に、空間の起点の位置を表す第１の記述子を符号化し、
    前記ビットストリーム内に、前記空間に関して、ハプティック特性が関連付けられている仮想オブジェクトの位置を表す第２の記述子を符号化するように構成された符号化器と、
    前記ビットストリームを送信する送信機と、
    を含む、前記装置。
12. ハプティック効果を表す情報を復号するように構成された装置であって、
    ビットストリームを受信する受信機と、
    前記ビットストリームから、空間の起点の位置を表す第１の記述子を復号し、
    前記ビットストリームから、前記空間に関して、ハプティック特性が関連付けられている仮想オブジェクトの位置を表す第２の記述子を復号するように構成された復号器と、
    を含む、前記装置。
13. ハプティック効果を表すデータを含む少なくともパケットを搬送する信号であって、
    前記信号は、空間の起点の位置を表す第１の記述子と、
    前記空間に関して、ハプティック特性が関連付けられている仮想オブジェクトの位置を表す第２の記述子と、をさらに搬送する、前記信号。
14. プロセッサに少なくとも請求項１に記載の方法のステップを実行させる命令を記憶した非一時的プロセッサ読み取り可能媒体。
15. プロセッサに少なくとも請求項３に記載の復号する方法のステップを実行させる命令を記憶した非一時的プロセッサ読み取り可能媒体。