JP2011188508A - メディアトランスポートストリームにおけるハプティック効果データの同期 - Google Patents

Abstract

【課題】ハプティック効果をその他のメディア（例えば、オーディオやビデオ）と同期させるメカニズムを提供する。
【解決手段】メディアトランスポートストリームの一連のフレームのハプティック情報を識別して、対応するタイムスタンプをメディアトランスポートストリームに埋め込まれたマスタータイムコード信号に従って決定する。ハプティック情報を含むメディアトランスポートストリームフレームの各々に連続してタイムスタンプを割り当てる。このようにして、タイムスタンプに応じた適当な時間にアクチュエータが作動して、ハプティック情報に従ったハプティック効果を生成する。
【選択図】図１

Description

本発明はハプティックスの分野に関する。具体的には、本発明は、メディアトランスポートストリームで符号化されたハプティック効果に関する。

本出願は、メディアトランスポートストリームで符号化されたハプティック効果データの同期と同じ発明者の名称で２００５年１０月１９日に出願された米国仮特許出願第６０／７２８，５５１号の優先権を主張する。

ユーザと機械間のインタフェースの向上のために、近年では、オーディオ／ビデオメディアとともにハプティック効果をインタフェースに組み込むことがますます一般的になってきている。振動などのハプティック効果はユーザが感じることのできるものであり、通常、機器のキー押下や、携帯電話への着呼またはテキストメッセージの受信を知らせる着信音の再生など、イベントトリガに関連させることができる。一般的に、メディア再生は振動により補完することができる。しかしながら、ハプティック効果を実施する従来の方法では、メディア信号とともにハプティック信号を一定期間にわたって再生する際に問題がある。

このような問題のひとつに、ハプティック信号とビデオおよび／またはオーディオ信号などのその他のメディア信号の再生を同期させることが必要となることである。通常、オーディオエンジン、ビデオエンジン、およびハプティックなエンジンは、別々のクロックで動作する。通常、ハプティック信号、ビデオ信号、オーディオ信号を再生する際の同期メカニズムは組み込まれていない。例えば、再生開始の際にハプティック信号とメディア信号が互いに数ミリ秒以内の差で開始し、そのため適切に同期することはあるが、これらの信号は、通常はかなり短い期間で同期ずれを起こすことがある。

別の問題としては、メディア信号とハプティック信号の両方を有するメディアトランスポートストリームのあるポイントにランダムにアクセスすることが困難となることがある。換言すると、ユーザが、ランダムなポイントでメディアトランスポートストリームの一部の再生を開始する場合、メディアトランスポートストリームでこのポイントの前に発生しうるデータとのアクセスがなければ、ハプティック信号とメディア信号とを同期させることは困難である。

このため、ハプティック情報とメディア情報の両方を含むメディアトランスポートストリームの任意のポイントにおいてまたは任意のポイントから動作することのできる、ハプティック効果をその他のメディア（例えば、オーディオやビデオ）と同期させるメカニズムを提供する解決方法が求められている。

ハプティック効果と他のメディアコンポーネント（例えば、ビデオ及びオーディオ）を同期する方法及び装置を開示する。メディアトランスポートストリームの一連のフレームのハプティック情報を識別し、対応するタイムスタンプをメディアトランスポートストリームに埋め込まれたマスタータイムコード信号に従って決定する。ハプティック情報を含むメディアトランスポートストリームフレームの各々に連続してタイムスタンプを割り当てる。このようにして、タイムスタンプに応じた適当な時間にアクチュエータが作動して、ハプティック情報に従ったハプティック効果を生成する。

本発明のその他の特徴及び利点は、以下の詳細な説明、図面及び特許請求の範囲から明らかになる。

本発明の一実施の形態に係わる、ハプティック情報を含むメディアトランスポートストリームを符号化し、送信し、復号するシステムを示すブロック図である。 本発明の一実施の形態に係わる、メディアトランスポートストリームからメディアコンポーネントおよびハプティックコンポーネントを識別するシステムを示すブロック図である。 本発明の一実施の形態に係わる、ハプティックコンポーネントを他のメディアコンポーネントに同期させる機器を示すブロック図である。 本発明の一実施の形態に係わる、ビデオ信号、オーディオ信号、およびハプティック信号の再生の同期方法を説明するタイミング図である。 本発明の一実施の形態に係わる、連続するフレームに解析されたハプティック信号を表す概略図である。 本発明の一実施の形態に係わる、ハプティック情報を含むハプティックフレームを説明するブロック図である。 本発明の一実施の形態に係わる、ハプティック効果を生じる波形を表すハプティックの概略図である。 本発明の一実施の形態に係わる、ハプティック効果をメディアコンポーネントと同期する処理を説明するフロー図である。

本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、本発明の一以上の実施の形態を例示し、詳細な説明とともに、本発明の原理及び実施を説明する。

本明細書では、ハプティック情報を含むメディアトランスポートストリームを通信する方法、システム、および装置と関連して、本発明の実施の形態を説明する。当業者には、以下の本発明の詳細な説明は単なる例示であって、本発明をなんら限定するものではないことが認識される。本開示の利益を有する当業者には、本発明のその他の実施の形態は容易に示唆される。以下、添付の図面に示す本発明の実施例について詳細に述べる。図面および以下の詳細な説明を通じて、同様もしくは類似の部分については同様参照符号を用いて示すものとする。

明確性のために、本明細書に記載する実施例の決まりきった特徴については、必ずしも全てを図示または説明するわけではない。当然ながら、用途あるいは業務関連の制約に準拠するなどといった開発者の具体的な目標を実現するためには、実際にこのような実施例を開発する上で数々の実施例に特有の決定がなされなければならず、こうした具体的な目標は実施例ごとに、また開発者ごとに異なる。さらに、こうした開発にかかる労力は複雑で時間がかかるものであるが、本開示の利益を有する当業者にとっては決まりきった技術的な取り組みであることも、言うまでもない。

本発明によれば、本明細書に記載のコンポーネント、処理ステップ、および／またはデータ構造は、さまざまな種類のオペレーティングシステム、コンピューティングプラットフォーム、コンピュータプログラム、および／または汎用機を用いて実施することができる。加えて、有線機器、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などのより汎用性の低い機器もまた、本明細書に開示する発明的思想の範囲と趣旨とから逸脱することなく、用いることができることは、当業者には認識される。コンピュータまたは機械によって一連の処理ステップを含む方法が実施され、これらの処理ステップが機械により読取可能な一連の命令として格納することができる場合、これらの命令は、コンピュータメモリデバイス（例えば、ＲＯＭ（読出専用メモリ）、ＰＲＯＭ（プログラム可能型読出専用メモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラム可能読出専用メモリ）、フラッシュメモリ、ジャンプドライブ、など）、磁気記録媒体（例えば、テープ、磁気ディスクドライブ、など）、光記録媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、紙カード、紙テープ、など）、ならびにその他の既知の種類のプログラムメモリなどの有形の媒体に格納することができる。

本発明は、広く、マルチトラックメディアトランスポートストリームに含まれるハプティック効果トラックをその他のメディアトラックと同期させて同期マルチメディア効果を生成するメカニズムに関する。メディアトランスポートストリームにおける一連のフレームのハプティック情報を識別し、メディアトランスポートストリームに埋め込まれたマスタータイムコード信号に応じて、識別した情報に対応するタイムスタンプを決定する。ハプティック情報を含む各メディアトランスポートストリームフレームは、その後、タイムスタンプを割り当てられ、タイムスタンプに応答して適切な時間にアクチュエータを起動しハプティック情報に応じたハプティック効果を生成するようになっている。

図１は、本発明の一実施の形態に係わる、メディアトランスポートストリームを符号化、送信、復号するシステム１００を示すブロック図である。システム１００は、送信器１０２と、受信器１０４と、通信媒体１０６とを備える。一例において、送信器１０２は、電話、パーソナルデジタルアシスタント（「ＰＤＡ」）、パーソナルコンピュータ（「ＰＣ」）、またはその他のネットワーク上でのメディアフレームの送信が可能なデジタル処理機器である。一実施の形態において、送信器１０２は、携帯電話無線ネットワーク上でデータを送信するメディアサーバである。メディアフレームは、これに限定されないが、ビデオ、オーディオ、および／またはハプティックのフレームを含む。一実施の形態において、送信器１０２は、エンコーダ１１６と、ビデオブロック１１０と、オーディオブロック１１２と、ハプティックブロック１１４とを備える。ビデオブロック１１０は一連のビデオフレームのソースであり、オーディオブロック１１２は一連のオーディオフレームのソースである。ハプティックブロック１１４は、一連のハプティックフレームのソースである。

エンコーダ１１６は、一例として、ビデオブロック１１０からのビデオフレームを符号化または生成し、オーディオブロック１１２からのオーディオフレームを符号化または生成し、ハプティックブロック１１４からのハプティックフレームを符号化または生成し、およびこれらを、例えばＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｃｏｍｐｒｅｓｓｉｏｎ Ｓｔａｎｄａｒｄ Ｖｅｒｓｉｏｎ ４）、などの市販のメディアトランスポートプロトコルに従って、メディアトランスポートストリームに組み込むことができる。換言すると、ビデオフレーム、オーディオフレーム、およびハプティックフレームは、メディアトランスポートストリームに符号化またはパッケージ化されて、このメディアトランスポートストリームはその後通信媒体１０６を介してユーザが指定する宛先に送信される。なお、各種フレームへの指定時刻に作動するハプティック情報の組み込みは、どのようなメディアトランスポートストリームフォーマットにでも適用することができ、特定のファイルタイプ、プロトコル、またはメディア再生装置のハードウェア環境に限らない。

通信媒体１０６は、回線（または有線）通信媒体、無線通信媒体、または有線無線混合通信媒体であってよい。ビデオブロック１１０からのビデオフレームおよびオーディオブロック１１２からのオーディオフレームは、それぞれ、ビデオコンポーネントおよびオーディオコンポーネント、または集合的にメディアトランスポートストリームのメディアコンポーネントを形成する。ハプティックフレームは、メディアトランスポートストリームのハプティックコンポーネントを形成する。受信器１０４は、電話またはＰＣなどのメディア再生装置であってよく、通信媒体１０６を介してメディアトランスポートストリームを受信することができる。一実施の形態において、メディアトランスポートストリームは、受信器１０４により受信される前に、従来のデジタルビデオレコーダ、ネットワークメッセージセンタなどのメモリに格納される。別の実施の形態では、メディアトランスポートストリームにより転送されたハプティック信号は、データセキュリティを向上させるために圧縮または暗号化される。

受信器１０４は、デコーダ１２６と、ビデオブロック１２０と、オーディオブロック１２２と、ハプティックブロック１２４とを備える。一実施の形態において、ビデオブロック１２０と、オーディオブロック１２２と、ハプティックブロック１２４とは、それぞれビデオフレーム、オーディオフレーム、ハプティックフレームを格納するために用いられる。受信器１０４は、通信媒体１０６を介してメディアトランスポートストリームを受信することができる携帯電話、スマートフォン、ＰＤＡ、ＰＣ、送受信装置などであってもよい。メディアトランスポートストリームを受信すると、受信器１０４は、メディアトランスポートストリームからのビデオフレーム、オーディオフレーム、およびハプティックフレームを解析し、ビデオフレームをビデオブロック１２０へ、オーディオフレームをオーディオブロック１２２へ、ハプティックフレームをハプティックブロック１２４へ送信する。なお、ビデオブロック１１０のビデオフレーム、オーディオブロック１１２のオーディオフレーム、およびハプティックブロック１１４のハプティックフレームは、それぞれ、ビデオブロック１２０のビデオフレーム、オーディオブロック１２２のオーディオフレーム、およびハプティックブロック１２４のハプティックフレームとほぼ同様の情報を含んでいる。また、ビデオブロック１１０のビデオフレーム、オーディオブロック１１２のオーディオフレーム、およびハプティックブロック１１４のハプティックフレームは、適当であれば、対応するビデオブロック１２０のビデオフレーム、オーディオブロック１２２のオーディオフレーム、およびハプティックブロック１２４のハプティックフレームとほぼ同様の情報を含むとしても、異なるデータフォーマットであってもよい。

また、送信器１０２および受信器１０４は、類似の送受信能力を有する類似の機器であってもよい。

図２は、本発明の一実施の形態に係わる、メディアトランスポートストリームからメディアコンポーネントおよびハプティックコンポーネントを識別するシステム２００のブロック図である。システム２００は、メディア再生装置２０２と、メディア同期レイヤ２０４と、データ２２０とを含む。バス２３０は、メディア再生装置２０２とデータベース２２０との間のデータ転送に用いられ、バス２３２は、メディア再生装置２０２とメディア同期レイヤ２０４との間の情報の受け渡しに用いられる。メディア同期レイヤ２０４は、さらに、バス２３４〜２３８を介して、ビデオコーデック２０６と、オーディオコーデック２０８と、ハプティック部２１０とに連結されている。ビデオコーデック２０６およびオーディオコーデック２０８は、デジタル情報の圧縮解凍を行うソフトウェアモジュール、ハードウェア機器、またはハードウェアとソフトウェアコンポーネントの組み合わせであってもよい。一実施の形態において、メディア同期レイヤ２０４は、ビデオコンポーネント、オーディオコンポーネント、およびハプティックコンポーネントを分離または抽出し、抽出したコンポーネントを対応するコーデックに送出する。メディア同期レイヤ２０４は、ＭＰ３、ＭＰＥＧ４、などの特定のメディアトランスポートストリームフォーマットまたは複数の所定のストリームを処理するためにプログラムまたは選択されたものであってもよい。

動作時、メディア同期レイヤ２０４は、マスタータイムコードまたはタイミングテーブルにより指定された時間に各メディアタイプのフレームを適当なコーデックまたは再生装置に配信することにより異なるメディアを同期させる。タイムライン全体を表すフレーム群は、メディアトランスポートストリームを介してメディア再生装置２０２に送信される。メディアトランスポートストリームを受信すると、メディア再生装置２０２は、オーディオ、ビデオ、およびハプティックのデータまたはフレームを評価してメディアトランスポートストリームから分離する。メディア同期レイヤ２０４は、続いて、マスタータイムコードに従ってタイムスタンプまたは初期時間を各ハプティックフレームに割り当て、これにより、タイムスタンプを用いてハプティック効果のタイミングおよび定義をハプティック部２１０に送信することができる。こうして、このハプティック部２１０は、アクチュエータ（単数または複数）を適当な時間に起動することができる。

図３は、本発明の一実施の形態に係わる、ハプティックコンポーネントをメディアコンポーネントに同期させる機器３００のブロック図である。機器３００は、アプリケーションプログラミングインタフェース（「ＡＰＩ」）３０６と、カーネル３０８と、ハプティック回路３１４とを備える。カーネル３０８は、さらに、振動生成器（「ＶＧ」）３１２と、ハプティック再生エンジン（「ＨＰＥ」）３１０とを含む。一実施の形態において、ＶＧ３１２は、ＡＰＩ３０６から受信されたハプティック情報に従ってハプティックイベントを同期させるために用いられ、ＨＰＥ３１０は、バス３５８を介してＡＰＩ３０６を介してハプティック部２１０から受信したデータに従ってハプティックイベントをスケジュールするために用いられる。カーネル３０８は、さらに、ハプティック回路３１４に接続部３６０を介して接続される。ハプティック回路３１４は、一例において、接続部３６２を介してアクチュエータ３４６を駆動するよう構成された増幅器である。

各ハプティックフレームは他のフレームに依存しない自己完結したハプティック効果であるため、ＡＰＩ３０６は、正しい時間にハプティック効果を開始する機能を有する。自己完結したハプティックフレームを有する利点は、これにより、ユーザがメディア再生装置２０２を使用しているときにハプティックフレームまたはメディアフレームにランダムにアクセスできても、システムが画像、音声、およびハプティック効果を含むマルチメディア出力を確実に同期させて生成できることにある。

図４は、本発明の一実施の形態に係わる、ビデオ信号、オーディオ信号、およびハプティック信号の再生の同期方法を説明するタイミング図４００である。タイミング図４００には、メディアトランスポートストリームに埋め込まれたマスタータイムコード４０２と、メディアトランスポートストリームのビデオコンポーネント４０４と、メディアトランスポートストリームのオーディオコンポーネント４０６と、メディアトランスポートストリームのハプティックコンポーネント４０８とが示されている。マスタータイムコード４０２は、メディアトランスポートストリームに埋め込まれおり、メディアトランスポートストリームから抽出することができる。例えば、オーディオコンポーネント４０６をマスタータイムコード４０２として用いる。一実施の形態において、マスタータイムコード４０２は、ｔ_０、ｔ_１、ｔ_２、などの一連のタイムスタンプを有するタイムラインである。

ビデオコンポーネント４０４は、フレーム４０Ｖなど、複数の連続するビデオフレームのストリームを含む。オーディオコンポーネント４０６は、フレーム４０Ａおよび４２Ａなど、複数の連続するオーディオフレームのストリームを含む。ハプティックコンポーネント４０８も、フレーム４０Ｈ、４２Ｈ、などの複数の連続するハプティックフレームのストリームを含む。フレームフォーマットは、ビデオフレーム、オーディオフレーム、およびハプティックフレームごとに異なってもよいが、コンポーネント内のフレームは共通のプロトコルに従って構成される。例えば、ハプティックフレーム４０Ｈは、ハプティックフレーム４２Ｈとほぼ同じサイズである。別の実施の形態では、４０Ｈおよび４２Ｈがカバーするタイムスパンは、例えば、それぞれ２００ｍｓであるが、物理メモリフットプリントは通常異なる。なお、一実施の形態におけるハプティックフレームのサイズは、物理的容量ではなく時間の長さにより決定される。

図４に戻ると、タイムスタンプｔ_０で、ハプティックフレーム４０Ｈ、オーディオフレーム４０Ａ、およびビデオフレーム４０Ｖの再生が、ほぼ同時に開始する。ハプティックフレーム４０Ｈはタイムスタンプｔ_１で再生を終了するが、フレーム４０Ｈにより定義されるハプティック効果は時間ｔ_１を越えて続いてもよい。タイムスタンプｔ_１で、ハプティックフレーム４２Ｈの再生処理が開始する。なお、ハプティックフレーム４２Ｈが再生される初期時間またはタイムスタンプは、マスタータイムコードから決定される時間に対応する。ハプティックフレームにタイムスタンプを割り当てることにより、フレーム４２Ｈなどのハプティックフレームが、フレーム４０Ｈなどの先行するハプティックフレームが終了する時間とは独立して再生を開始することができる。したがって、タイムスタンプｔ_１よりも前にハプティックフレーム４０Ｈが再生を終了した場合、ハプティックフレーム４２Ｈがタイムスタンプｔ_１で再生されるまでハプティック効果は再生されない。タイムスタンプｔ_２で、ハプティックフレーム４４Ｈおよびオーディオフレーム４２Ａが再生される。タイムスタンプｔ_３で、ハプティックフレーム４６Ｈ、ビデオフレーム４０Ｖ、およびオーディオフレーム４２Ａが再生される。

ハプティックフレーム内のタイムスタンプを符号化することにより、ユーザはハプティックフレームにランダムにアクセスすることができ、ハプティックフレームは依然としてそのハプティック効果を他のメディアコンポーネントと同期させることができる。例えば、ユーザが例えば時間ｔ_ｎまで早送りする場合、再生装置は時間ｔ_Ｈになるまで次のハプティックフレームｎＨの再生を待つ。これに先立っては、ハプティック効果は再生されない。同様に、再生装置は、この場合、ｔ_Ｈに等価な時間ｔ_Ａまで次ぎのオーディオフレームｎＡの再生を待つ。同様に、再生装置はｔ_ｖまで、次のビデオフレームｎＶの再生を待つ。これに加えて、一実施の形態では、メディア同期レイヤ２０４は正確に時間ｔｎで再生を開始するよう指定することができる。この場合、メディア同期レイヤ２０４は、ハプティック部２１０にハプティックフレーム（ｎ−１）Ｈを送信してｔｎ−（ｔ−１）Ｈのタイムオフセットを指定する。その後、ハプティック部２１０は、有神論的（ｔｈｅｉｓｔｉｃ）フレーム（ｎ−１）Ｈを再生する際のこのタイムオフセットをＡＰＩ３０６に伝達する。

各ハプティックフレームは、複数のハプティック効果を含むことができる。こうしたハプティック効果を定義しスケジュールするパラメータは、フレーム内で再生されるようハプティック効果をオフセットすることができる。換言すると、ハプティック効果の間のタイムオフセットは、ファイルまたはメディアトランスポートストリームの開始ではなくフレームの開始に関連する。フレーム内の個別の効果をスケジュールすることは、音声、画像、ハプティック効果を再生する機器の担当である。機器の同期レイヤがビデオフレーム、オーディオフレーム、およびハプティックフレームの再生をスケジュールするため、異なるメディア間のずれは各フレームの開始時に補正することができる。

図５は、本発明の一実施の形態に係わる、連続するフレームに解析されたハプティック信号を表す概略図５００である。概略図５００には、マスタータイムコード５１０およびハプティックコンポーネント５１２が含まれる。ハプティックコンポーネント５１２は、さらに、フレーム５０２および５０４などの複数のハプティックフレームを含む。各ハプティックフレームは、固定時間長を表し、占有するものであり、この固定時間長に関連付けられた複数のハプティック効果をまとめたものである。ｔ_０、ｔ_１などのタイムラインおよびタイムスタンプを、メディアトランスポートストリームに埋め込まれたマスタータイムコード５１２により決定する。メディアトランスポートストリームは、ハプティック情報およびオーディオ情報やビデオ情報などのその他のメディア情報を含んでもよい。

マスタータイムコード５１０は、メディア再生装置によって１つのファイルについて受信する全てのフレームまたはデータパケットの受信と再生を調整するために用いられる。フレームの時間長は、通常動作時に選択して固定することができる。一実施の形態では、データの性質とユーザの好みに応じて、１００〜３００ｍｓ（ミリ秒）の範囲のフレーム長が用いられる。特殊な動作では、極めて厳しい同期要件を満たすために１ｍｓのフレーム長を用いてもよい。なお、１ｍｓフレーム長に対応するコストは、使用するバンド幅が大幅に増加するため、高額となりうる。一般的に、フレーム長が長くなるとメディア効果と同期する必要のあるフレームが少なくなるため、ハプティック効果がメディア効果と同期がとれなくなる可能性が高くなることを意味する。メディア効果とは、ビデオ効果および／またはオーディオ効果など、ハプティック効果以外の効果を表す。一方、フレーム長が短くなると他のメディア効果との同期は良好になり密接になるが、ハプティック効果とメディア効果の間で処理すべき同期処理が増加するため、処理能力を向上し、ネットワークバンド幅を高める必要がある。ここで、メディアトランスポートストリームとは、ＭＰ３（ＭＰ３）またはＭＰＥＧ４（ＭＰ４）などの適当なメディアトランスポートストリームであってよい。

各ハプティックフレームには、マスタータイムコード５１０に従って適当な時間に対応するハプティック効果を再生するための初期時間またはタイムスタンプ５２０が割り当てられている。マスタータイムコード５１０は、すでに説明したように、メディアトランスポートストリームに埋め込まれている。一実施の形態では、ハプティック情報に関連付けられたタイムスタンプ５２０は、ユーザ入力に応じて生成する。別の実施の形態では、ハプティック情報に関連付けられたタイムスタンプ５２０は、他のメディアコンポーネントに基づく所定のアルゴリズムに従って生成する。さらに別の実施の形態では、ハプティック情報に関連付けられたタイムスタンプ５２０は、ユーザからの入力および他のメディアコンポーネントを考慮した所定のアルゴリズムの組み合わせに従って生成することができる。一実施の形態では、タイムスタンプ５２０は、ハプティック情報を含まないフレームには割り当てない。例えば、データ（ベース）は、フレームがハプティック情報を含まない場合にはそのフレームを省略する。

一実施の形態において、ハプティックフレームまたはハプティックサンプルのサイズは、ハプティック効果の複雑さに応じて、８、１６、２５、３２、６４、または１２８バイトであってもよい。例えば、あるハプティックフレームは、それぞれ特定の音声および／またはビデオフレームと相関を有する振動―音声データおよび／または振動―ビデオデータを含む。一実施の形態において、ハプティックフレームは、少なくとも１つのハプティック効果を再生するために必要な情報と、ハプティック効果の開始時間を示すタイムスタンプとを含む。なお、フレームにハプティック情報がない場合には、ハプティックフレームは省略してもよい。

図６は、本発明の一実施の形態に係わる、ハプティック情報を含むハプティックフレーム６００を説明するブロック図である。一実施の形態において、ハプティック情報は、１つのフレーム内で再生する各ハプティック効果を定義するために用いられる。ハプティック情報は、強度／規模、期間、周期性、開始遅延、アタック強度、アタックタイミング、フェード強度、フェードタイミングなど、フレーム長の期間にわたって単一のハプティック効果または一連のハプティック効果を実施するために必要とされるさまざまなパラメータを含む。期間パラメータは、ハプティック効果を再生する時間の長さを指定する。ハプティック効果の開始遅延パラメータは、フレームの開始またはタイムスタンプからハプティック効果が再生を待つ時間の長さを示す。一例において、ハプティック効果は周期的であってもよく、周期性パラメータはこのような周期性を定義してもよい。別の実施の形態では、ハプティック効果の情報はノンパラメトリック符号化を用いる。一実施の形態において、このような符号化は、８ビット値につき５ｍｓの期間、アクチュエータのリード線に印加する瞬間電圧を制御するパルス幅変調器に適用する一連の８ビットアクチュエータ制御値からなってもよい。各ハプティックフレームが２００ｍｓのハプティック再生時間を表す場合、各ハプティックフレームは、正確に４０バイトのデータを含むことになる。ハプティック情報は、いくつかのハプティック効果の境界を設定することによりハプティック効果を制御するのに用いられるエンベロープ情報を含んでもよい。

ハプティックフレーム６００は、ハプティック効果定義６１０および一連のハプティック効果呼び出し命令６１２〜６１６を含むフレームの代表的な構成である。一実施の形態において、ハプティック効果の定義６１０は、期間パラメータおよび開始遅延パラメータなどの制御情報を含む。各ハプティック効果呼び出し命令は、規模、アタック強度、フェード強度、および個別の種類のハプティック効果に関する情報を含んでもよい。なお、一つのハプティックフレームは、複数のハプティック効果を開始することができる。さらに、ハプティック効果は、フレームのフレーム長またはタイムスパンを越えて再生を継続してもよい。一実施の形態において、ハプティック効果呼び出し命令は、再生するハプティック効果の定義（６１０内に含まれる）およびフレーム再生をフレームのどのくらい内部で開始するかを制御するフレームタイムオフセットパラメータを指定する。

図７は、本発明の一実施の形態に係わる、ハプティック効果を生じる波形７０１を表すハプティックの概略図７００である。波形７０１は、複数の異なる周波数を用いて、ユーザにハプティック感覚を与える。波形７０１のハプティック効果は、アタック時間７０４、通常時間７０８、フェード時間７０６を有する期間７０２の間継続する。開始時のハプティック効果の強度は、「アタックレベル」７０９により指定される。ハプティック効果の強度は、通常時間７０８の開始までに「規模」レベル７１０に変化し、フェード時間７０６の終わりにはフェードレベル７１２に変化する。或いは、フェードレベル７１２は、ゼロハプティック効果から測定することもできる。

周波周期または周期タイプは、一定力、矩形波、三角波、正弦波、鋸歯状波、逆鋸歯状波、またはこれらのいずれの波形の組み合わせであってもよい。なお、異なる周波周期は異なるハプティックフィードバックを与える。例えば、波形７０１は、０．１ヘルツ〜１０００ヘルツの範囲であり、周波数が異なるとハプティック感覚も異なる。

動作中、波形７０１により生じるハプティック効果は、そのアタックレベル７０９、アタック時間７０４、フェードレベル７１２、およびフェード時間７０６との関連で定義される。波形７０１を実行する時間になると、実行処理が、ハプティック効果の基本強度または「規模」、その期間、周期的に再生するか否か、その場合にはどのぐらい頻繁に再スタートするのかを指定する。一実施の形態において、特定のハプティック効果を定義する情報は、各フレームとともに再生機器に定期的にダウンロードされる。なお、波形７０１は単なる例にすぎず、当業者には、このようなハプティック効果は様々な方法で定義できることは容易に理解される。

本発明は、以下に説明する各種の処理ステップを含む。本明細書に記載のステップは、機械またはコンピュータ実行可能な命令に埋め込んでもよい。これらの命令を用いて、これらの命令がプラグラムされた汎用または専用システムに、本明細書に記載のステップを実行させてもよい。或いは、本明細書に記載のステップは、ステップを実行する配線論理を含む特定のハードウェアコンポーネント、またはプログラムされたコンピュータコンポーネントとカスタムハードウェアコンポーネントの如何なる組み合わせにより実行してもよい。本発明の実施の形態について無線通信ネットワークを参照して説明するが、本明細書に記載の方法および装置は、有線を含むその他のネットワークインフラ構造またはその他のデータ通信環境にも等しく適用可能である。

図８は、本発明の一実施の形態に係わる、ハプティック効果をその他のメディアコンポーネントと同期する処理を説明するフロー図である。ブロック８０２において、処理は、メディアトランスポートストリーム内の少なくとも１個のハプティックフレームのハプティック情報を識別する。一実施の形態において、処理は、一連のビデオフレーム、オーディオフレーム、およびハプティックフレームを識別する。ハプティックフレームは力フィードバック情報を含む。ビデオフレームは画像情報を含み、オーディオフレームは音声情報を含む。処理は、力フィードバック情報を画像情報と音声情報に従って同期させることができる。処理は、さらに、アタックレベルおよびフェードレベルを含むハプティック効果を生成することができる。ハプティック情報が識別されると、処理はブロック８０４に移る。

ブロック８０４において、処理は、メディアトランスポートストリームに埋め込まれたマスタータイムコードに従ってタイムスタンプを決定する。一実施の形態において、タイムスタンプは、マスタータイムコードにしたがったタイムラインの一時点であり、ハプティックフレームが定義するハプティック効果を実行するトリガとして用いられる。本発明の一実施の形態によれば、タイムスタンプは、ハプティックフレームをタイムスタンプに示される時間に実行するようにハプティックフレームに割り当てられる。その後、処理は次のブロックに移る。

ブロック８０６において、処理は、各種のタイムスタンプを各種のハプティックフレームに割り当てる。このタイムスタンプは、一以上のアクチュエータを起動してハプティックフレームに格納されたハプティック情報に従ってハプティック効果を生成する時間を示す。一実施の形態において、タイムスタンプは、オーディオやビデオ情報に従って割り当てられる。また、処理は、単一のハプティックフレーム内のタイムスタンプのオフセットであるサブタイムスタンプを割り当てることができる。ブロック８０６の後、処理は次のブロックに進む。

ブロック８０８において、処理は、ハプティックフレームのハプティック情報に応じて、各ハプティック効果毎にハプティック効果情報を定義する。一実施の形態において、処理は、ビデオおよび／またはオーディオ信号などのその他のメディア情報に応じてハプティック効果情報を符号化する。別の実施の形態では、処理は、ユーザにより選択された、いくつかの所定のアルゴリズムのうちの１つのアルゴリズムに応じてハプティック効果情報を符号化する。なお、各ハプティックフレームは、異なる時間に開始する複数のハプティック効果を含むことができる。さらに処理は、ハプティック効果情報に従ってアクチュエータを起動することができ、また関連付けられたタイムスタンプに従ってハプティック効果を維持することもできる。

本発明の実施の形態及び用途について説明したが、本開示の利益を享受する当業者には、本発明の趣旨を逸脱せずに、様々な変形態様が可能であることは明らかである。本発明は、したがって、添付の特許請求の範囲の他に制限されることはない。

Claims (31)

1. メディアトランスポートストリームの一以上のフレームからハプティック情報を識別するステップと、
   前記メディアトランスポートストリームに関連するマスタータイムコードに従ってタイムスタンプを決定するステップと、
   ハプティック情報に応じて、少なくとも一つのアクチュエータを作動するように前記タイムスタンプを前記一以上のフレームに割り当てるステップと、
   前記一以上のフレームの前記ハプティック情報に応じて、ハプティック効果の各々について効果情報を定義するステップと、を含むハプティック効果を同期する方法。
2. 前記効果情報に応じてアクチュエータを作動するステップと、
   関連するタイムスタンプに従ってハプティック効果を維持するステップと、をさらに含む、請求項１記載の方法。
3. メディアトランスポートストリームの一以上のフレームからハプティック情報を識別するステップはさらに、
   画像情報を含む一連のビデオフレームを識別するステップと、
   音声情報を含む一連のオーディオフレームを識別するステップと、
   力フィードバック情報を含む一連のハプティックフレームを識別するステップと、を含む、請求項１記載の方法。
4. 前記画像情報と音声情報に応じて前記力フィードバック情報を同期するステップをさらに含む、請求項３記載の方法。
5. アタックレベルとフェードレベルを含むハプティック効果を生成するステップをさらに含む、請求項４記載の方法。
6. 一以上のフレームからハプティック情報を識別するステップはさらに、ほぼ同一の時間の長さのフレームを識別するステップを含む、請求項１記載の方法。
7. メディアトランスポートストリームの一以上のフレームからハプティック情報を識別するステップは、ＭＰＥＧ４プロトコルに従って、前記メディアトランスポートストリームを分析するステップを含む、請求項１記載の方法。
8. 前記メディアトランスポートストリームの前記一以上のフレームを前記ハプティック情報とともに符号化するステップと、
   前記メディアトランスポートストリームをネットワークを介して転送するステップと、をさらに含む、請求項１記載の方法。
9. 前記メディアトランスポートストリームをネットワークを介して受信するステップと、
   メディアコンポーネントとハプティックコンポーネントを抽出するステップと、
   前記メディアコンポーネントを再生するステップと、
   再生用に割り当てられたタイムスタンプで各フレームを再生することによって、前記ハプティックコンポーネントを前記メディアコンポーネントと同期させるステップと、をさらに含む、請求項８記載の方法。
10. ハプティック信号を、ほぼ固定の時間長を有する連続するフレームに解析するステップであって、フレームには各々、メディアトランスポートストリームを再生するマスタータイムコードに従って再生すべき初期時間が割り当てられている、ステップと、
    フレームの各々について、前記フレームのタイムスパンの中で再生するハプティック効果の各々について効果情報を定義するステップと、
    前記フレームを前記メディアトランスポートストリームのハプティックコンポーネントとして符号化するステップと、
    前記メディアトランスポートストリームを転送するステップと、
    前記メディアトランスポートストリームを再生機器で受信するステップと、
    メディアコンポーネントと前記ハプティックコンポーネントを抽出するステップと、
    前記メディアコンポーネントを再生するステップと、
    前記マスタータイムコードに従って割り当てられた初期時間で各フレームを再生することによって、前記ハプティックコンポーネントを前記メディアコンポーネントと同期させるステップと、を含む、メディアトランスポートストリームに埋め込まれたハプティック信号を送信して再生する方法。
11. 前記効果情報が開始時間、規模，周波数、エンベロープ（ｅｎｖｅｌｏｐｅ）、期間又はスタイル（ｓｔｙｌｅ）を含む、請求項１０記載の方法。
12. 前記メディアコンポーネントがオーディオコンポーネント、ビデオコンポーネント又はオーディオコンポーネントとビデオコンポーネントである、請求項１０記載の方法。
13. 前記メディアトランスポートストリームが前記再生機器で受信される前に格納される、請求項１０記載の方法。
14. 前記フレームに効果情報が存在しない場合、前記フレームを前記メディアトランスポートストリームに符号化しない、請求項１０記載の方法。
15. 前記時間長は、前記マスタータイムコードに従って最小の増分となるように選択されている、請求項１０記載の方法。
16. 前記ハプティック効果の情報は、ノンパラメトリック符号化を用いる、請求項１０記載の方法。
17. 前記ハプティック信号は圧縮されている、請求項１０記載の方法。
18. 前記ハプティック信号は暗号化されている、請求項１０記載の方法。
19. 前記ハプティック信号は圧縮されて暗号化されている、請求項１０記載の方法。
20. メディアトランスポートストリームの一以上のフレームからハプティック情報を識別する手段と、
    前記メディアトランスポートストリームに関連するマスタータイムコードに従ってタイムスタンプを決定する手段と、
    ハプティック情報に応じて、少なくとも一つのアクチュエータを作動するように前記タイムスタンプを前記一以上のフレームに割り当てる手段と、
    前記一以上のフレームの前記ハプティック情報に応じて、ハプティック効果の各々について効果情報を定義する手段と、を含むハプティック効果を同期する装置。
21. 前記効果情報に応じてアクチュエータを作動し
    関連するタイムスタンプに従ってハプティック効果を維持する、請求項２０記載の装置。
22. メディアトランスポートストリームの一以上のフレームからハプティック情報を識別する手段はさらに、
    画像情報を含む一連のビデオフレームを識別する手段と、
    音声情報を含む一連のオーディオフレームを識別する手段と、
    力フィードバック情報を含む一連のハプティックフレームを識別する手段と、を含む、請求項２０記載の装置。
23. 画像情報と音声情報に応じて力フィードバック情報を同期する手段をさらに含む、請求項２０記載の装置。
24. アタックレベルとフェードレベルを含むハプティック効果を生成する手段をさらに含む、請求項２３記載の装置。
25. 一以上のフレームからハプティック情報を識別する手段はさらに、ほぼ同一の時間の長さのフレームを識別する手段を含む、請求項２０記載の装置。
26. メディアトランスポートストリームの一以上のフレームからハプティック情報を識別する手段は、ＭＰＥＧ４プロトコルに従って、前記メディアトランスポートストリームを分析する手段を含む、請求項２０記載の装置。
27. 前記メディアトランスポートストリームの前記一以上のフレームを前記ハプティック情報とともに符号化する手段と、
    前記メディアトランスポートストリームをネットワークを介して転送する手段と、をさらに含む、請求項２０記載の装置。
28. 前記メディアトランスポートストリームをネットワークを介して受信する手段と、
    メディアコンポーネントとハプティックコンポーネントを抽出する手段と、
    前記メディアコンポーネントを再生する手段と、
    再生用に割り当てられたタイムスタンプで各フレームを再生することによって、前記ハプティックコンポーネントを前記メディアコンポーネントと同期させる手段と、をさらに含む、請求項２０記載の装置。
29. ハプティック信号を、ほぼ同一の時間長を有する一以上のフレームに解析する手段と、
    前記フレームに再生する初期時間を割り当てる手段であって、該再生する初期時間は、メディアトランスポートストリームのマスタータイムコードに関連付けられている、手段と、
    フレームの各々のタイムスパンの中で再生するハプティック効果の各々について効果情報を定義する手段と、を含む、
    ハプティック信号をメディアトランスポートストリームに埋め込む装置。
30. 前記フレームを前記メディアトランスポートストリームのハプティックコンポーネントとして符号化する手段と、
    前記メディアトランスポートストリームを転送する手段と、
    前記メディアトランスポートストリームを再生機器で受信する手段と、
    メディアコンポーネントと前記ハプティックコンポーネントとを抽出する手段と、
    前記メディアコンポーネントを再生する手段と、
    再生用に割り当てられた初期時間で各フレームを再生することによって、前記ハプティックコンポーネントを前記メディアコンポーネントと同期させる手段と、を含む請求項２９記載の装置。
31. ハプティック信号を、固定の時間長を有する連続するフレームに解析する手段であって、フレームには各々、メディアトランスポートストリームを再生するマスタータイムコードに従って再生すべき初期時間が割り当てられている、手段と、
    フレームの各々について、前記フレームのタイムスパンの中で再生するハプティック効果の各々について効果情報を定義する手段と、
    前記フレームを前記メディアトランスポートストリームのハプティックコンポーネントとして符号化する手段と、
    前記メディアトランスポートストリームを転送する手段と、
    前記メディアトランスポートストリームを再生機器で受信する手段と、
    メディアコンポーネントと前記ハプティックコンポーネントを抽出する手段と、
    前記メディアコンポーネントを再生する手段と、
    前記マスタータイムコードに従って割り当てられた初期時間で各フレームを再生することによって、前記ハプティックコンポーネントを前記メディアコンポーネントと同期させる手段と、を含む、メディアトランスポートストリームに埋め込まれたハプティック信号を送信して再生する装置。