JP2017506008A - 自己回帰モデルを用いて触覚係数を発生するための方法、そのような係数を再生するための信号およびデバイス - Google Patents

Abstract

本発明は、オーディオビジュアルドキュメントに関連する触覚係数を発生するための方法に関する。初めにデータが、オーディオおよび／またはビデオトラックから抽出され、読み出されたデータに適用される自己回帰モデルから、触覚係数の少なくとも１つの第１のグループを計算するために用いられる。これらの触覚係数は、少なくとも１つの触覚アクチュエータを制御するための制御パラメータを、出力に供給するフィルタをプログラムするように設計される。次いでオーディオビジュアルドキュメントの「触覚」シーケンスが決定され、計算された触覚パラメータが、決定されたシーケンスに関連付けられる。このように、１または複数のアクチュエータの制御を可能にする触覚パラメータは、容易に計算され、容易に再生可能となる。計算に用いられるデータは、選択されたシーケンスから抽出されるので有利である。

Description

本開示の分野は、オーディオビジュアルコンテンツの再生時に用いられるように設計された触覚（ｈａｐｔｉｃ）係数の発生の分野である。より具体的には本開示は、触覚アクチュエータ制御信号を生成するための自己回帰モデルの使用に関する。

現在では、映画技術はオーディオビジュアルドキュメント、および観客が感じるものの質を高めることができる。観客が座っている座席に機器が追加されて、観客等に視覚および聴覚によってもたらされるもの以外の他の感覚をもたらす。従って今では、座席はいくつかの自由軸に沿って動き、視覚および／またはオーディオコンテンツに関連して観客を動かすことができる。観客は、オーディオビジュアルドキュメント内にある画像および／または音声に同期した感覚を知覚する。従ってドキュメントの再生における観客の没入感はより大きくなり、出来事への観客の実感はより強くなる。例えばローラーコースターの前部で撮影された映画の場合、映画館のスクリーン上に急降下が再生されたときは、観客の座席はわずかに前方に動く。別の例は、シーンの再生時に左から右に映画館の座席を強く振動させることを含む。

触覚強化を有するオーディオビジュアルコンテンツは、ドキュメントの再生時に観客を動かすアクチュエータを制御するために用いられる。再生時には、種々のオーディオトラック、ビデオ、挿入するテキストなどが読み出される。触覚強化を有するドキュメントの場合、オーディオビジュアルドキュメントの一部であるトラックは、発生する触覚効果を定義するパラメータを含む。これらのパラメータは、ドキュメントの再生時に観客によって利用可能な異なるアクチュエータに適用するコマンドのリストである。

最も頻繁には、触覚強化は、既に実現された映画に対して追加される。操作者は映画を見て、本人に対して実行される動きによって、その知覚が観客のために補強され得るシーケンスを決定する。操作者は、手動で動きのタイプ（動き、振動、カチカチと音を立てる、震えなど）を決定し、このシーケンスの間の特定のアクチュエータの起動をプログラムする。触覚パラメータは、特定のサポートに対してビデオ信号および場合によってはオーディオに追加される。再生時に触覚パラメータは読み出され、観客に刺激を与えることを受け持つアクチュエータに送信される。これらの刺激は、すべての種類の感覚、幸福、恐れ、自信、小ささ、めまいなどを発生させることができる。

現在、これらの触覚パラメータは、ビデオまたはオーディオビジュアルドキュメントを見ている操作者によって手動で計算される。従って触覚アクチュエータ制御パラメータの生成、および新しいビデオドキュメントの強化の自動化を可能にする新しい技術の実際の必要性がある。

本開示は、触覚効果をレンダリングするための方法の形において、背景技術のこれらの問題の少なくとも１つを解決する新しい解決策を提案し、方法は、
− 持続時間を表す第１の情報、およびレンダリングされる上記触覚効果を表す少なくとも１つの係数を表す第２の情報を受信するステップと、
− レンダリングされる上記触覚効果を表す信号を発生するステップであって、上記信号は上記第２の情報、および上記第１の情報に依存する持続時間を有するホワイトノイズを用いて、自己回帰フィルタから発生される、ステップと、
を含む。

本開示はまた、データトラックを備えたオーディオビジュアルドキュメントに関連する、触覚係数発生方法に関する。上記方法は、
− データトラックから抽出されたデータを読み出すステップ、および上記読み出されたデータから触覚係数の少なくとも１つのグループを計算するステップであって、上記係数は上記読み出されたデータに適用される自己回帰モデルから計算され、触覚アクチュエータを制御するための制御パラメータを出力に供給するフィルタをプログラムするように設計される、ステップと、
− オーディオビジュアルドキュメントの「触覚」と呼ばれるシーケンスを決定するステップと、
− 上記決定されたシーケンスにおいて計算された触覚係数を関連付けるステップ、および上記オーディオビジュアルドキュメントの触覚トラックに、計算された触覚係数を組み込むステップと、
を含む。

このように、ポストプロダクションにおいて操作者は、アクチュエータの制御パラメータを手動で決定する必要がなく、このように計算された係数は、上記係数によってプログラムされたフィルタを用いてアクチュエータの制御信号を発生するために、読み出し装置によって直接用いられ得る。

第１の実施形態によれば、上記触覚係数を発生するために分析される上記オーディオおよび／またはビデオデータは、上記決定されたシーケンスから抽出される。そのため、このように計算された係数は、関連するシーケンスに完全に適する。

他の実施形態によれば、方法は、上記シーケンスの一部を選択するステップを含み、上記触覚係数を発生するために分析される上記オーディオおよび／またはビデオデータは、この部分から抽出される。このようにして、係数の計算は容易化される。

他の実施形態によれば、上記触覚係数は、他のオーディオビジュアルドキュメントに由来するシーケンスの分析から取得された係数のライブラリから抽出される。このように係数は、発生させる触覚効果に適合されたシーケンスから予め計算され、これはそのドキュメントの再生時に感じられる感覚を改善する。

他の実施形態によれば、上記方法は、上記決定されたオーディオビジュアルドキュメントを再生するステップであって、その再生中に上記触覚シーケンスに関連する係数が、上記シーケンスの再生時に少なくとも１つの触覚アクチュエータに対して触覚コマンドを発生させる目的で、少なくとも１つのフィルタに適用される、ステップを含む。このようにして観客は、ドキュメントを見ることにより、および聞くことにより、より多くの感覚を受け取る。

他の実施形態によれば、上記方法はまた、触覚係数のグループを異なるアクチュエータに関連付けるステップを含み、上記グループは、上記オーディオビジュアルドキュメントの上記触覚トラックに含められる。上記再生ステップ時に、触覚係数のグループと同数のフィルタがプログラムされる。各フィルタによってこのように発生される上記触覚制御は、上記対応するアクチュエータに送信される。このようにして観客は、いくつかの作動によって、ドキュメントに関連する振動を知覚する。

他の実施形態によれば、上記方法は、異なるタイプのアクチュエータを、複数のグループの中から、触覚係数のグループに関連付けるステップを含む。上記複数のグループは、上記オーディオビジュアルドキュメントの上記触覚トラックに含められる。ドキュメントの再生時に、アクチュエータタイプに従って、上記の複数から係数のグループが選択され、このようして発生された触覚制御は、上記対応するアクチュエータに送信される。このように、同じドキュメントが、異なるアクチュエータを有するシステム上で再生され得る。

他の態様によれば本発明は、少なくとも１つのオーディオおよび／またはビデオデータトラックを含んだ、少なくとも１つのオーディオビジュアルドキュメントを再生するためのシステムに関し、上記オーディオおよび／またはビデオデータを読み出すための手段、および少なくとも１つの触覚アクチュエータを備える。このシステムは、
− 入力においてホワイトノイズを受信し、上記ドキュメントの触覚トラックから読み出された触覚係数のグループによりプログラムされたフィルタであって、上記係数は、上記オーディオおよび／またはビデオデータに適用される自己回帰モデルから計算される、フィルタと、
− 上記触覚トラックから読み出された上記係数に関連する上記オーディオまたはビデオコンテンツのシーケンスの再生時に、上記フィルタの出力信号を少なくとも１つの触覚アクチュエータに送信するための手段と、
を備える。

他の態様によれば本発明は、オーディオビジュアルドキュメントの再生信号に関する。この信号は、少なくとも１つのオーディオまたはビデオデータトラックと、触覚係数のグループを含んだ１つのトラックとを備え、上記係数は、オーディオおよび／またはビデオデータに適用される自己回帰モデルから計算され、上記係数は入力においてホワイトノイズを受信し、上記オーディオビジュアルドキュメントの再生時に触覚アクチュエータを制御するように設計された値を発生する、フィルタをプログラムすることを目的とする。

本開示の他の特徴および利点は、簡単な例示の非限定的な例としてもたらされ、添付の図面を参照した特定の実施形態の以下の説明を読めば、より明らかになるであろう。
特定の実施形態による、方法を実施するためのステップのフローチャートの例を示す図である。 オーディオビジュアルドキュメントを再生し、触覚アクチュエータを制御するためのシステムの例の図である。 観客によって占有されていない、触覚アクチュエータが装備された座席の例を示す図である。 観客によって占有されている、触覚アクチュエータが装備された座席の例を示す図である。 触覚係数によってプログラムされたフィルタの入力および出力における、周波数信号の一連の例を示す図である。

本開示の非限定的な実施形態によれば、オーディオビジュアルドキュメントに関連する触覚係数を発生するための方法が述べられる。初めに、データがオーディオおよび／またはビデオトラックから抽出され、上記読み出されたデータに適用される自己回帰モデルから、触覚係数の少なくとも１つの第１のグループを計算するために用いられる。これらの触覚係数は、少なくとも１つの触覚アクチュエータを制御するための制御パラメータを出力に供給するフィルタをプログラムするように設計される。次いでオーディオビジュアルドキュメントの「触覚」シーケンスが決定され、計算された触覚パラメータが、決定されたシーケンスに関連付けられる。このように、アクチュエータの制御を可能にする触覚パラメータは、容易に計算され、容易に再生可能となる。計算に用いられるデータは、選択されたシーケンスから抽出されるので有利である。

図１は、本原理の特定の非限定的な実施形態による方法の実現のためのステップのフローチャートの例を示す。

初めに、ステップ１．１では、少なくとも１つのビデオトラックおよび少なくとも１つのオーディオトラックを含む最初のバージョンにより、ビデオまたはオーディオビジュアルコンテンツが生成される。この最初のバージョンから、それが未だ有していない、触覚要素を追加することによってそれを強化することが、関心を引くものとなり得る。この追加ステップは具体的には、その間にダビングおよび字幕付けも追加されるフェーズであるポストプロダクションフェーズにおいて生じる。このため、ステップ１．２の間に、操作者はビデオまたはオーディオビジュアルドキュメントを再生し、操作者および／またはシステムは触覚効果に関連付けられ得るシーケンス（少なくとも１つ）を決定する。例えば、線路上を走る列車内で映画のシーンが撮影される場合があり、映画館または個人の家での映画の視聴時に、触覚アクチュエータによって、動きによる規則的な揺れが再生される。

ステップ１．３では、強化するシーケンスの開始および終了が正確に（例えば操作者により、またはシステムによって自動的に）決定され、追加する触覚効果が何であるかを決定する。単純な状況において、強化されたドキュメントの再生時に用いられるアクチュエータは、観客が座っている座席内に一体化された振動発生器である。このようなアクチュエータは、再生ユニットによって送信されるアナログまたはディジタル信号によって制御される。本実施形態によればアクチュエータは、最終のドキュメントの制作段階時に計算され、ドキュメントの特定のシーケンスに関連付けられた触覚係数に基づいて制御される。

第１の実施形態によれば、初めのドキュメントにすでに存在するシーケンスのデータが、触覚係数を計算するために用いられ、これらは次いでこのシーケンスに関連付けられることになる。操作者および／またはシステムは、選択メニューにおけるコマンドを導入することによって、この第１の実施形態を選択する（ステップ１．４）。この第１の実施形態によれば、ステップ１．５において操作者および／またはシステムは、触覚係数を計算するために用いられるデータのタイプ、例えばオーディオ、ビデオ、触覚を選択する。触覚タイプは、触覚データがドキュメントの撮影時に加速度計、ジャイロメータ、または磁気計などのセンサを用いて記録されたことを指す。オーディオおよびビデオデータと同じように、このデータはドキュメントの再生時に触覚アクチュエータを制御するために直接使用可能ではない。このため、例えばステップ１．６に関して述べられるように、それらを処理してそれらから触覚係数を発生することが必要であり、これらはアクチュエータに対してコマンドを発生させるために用いられることになる。

ステップ１．６では、触覚係数が計算される。このために、選択されたデータのスペクトル成分は、自己回帰フィルタ（より一般には略して「ＡＲ」と呼ばれる）によりモデリングされる。自己回帰モデルは、入力ｕ（ｋ）を出力ｘ（ｋ）に結び付ける伝達関数を有する式によって特徴づけられる。このような関数のｚ変換は、以下の式によって計算される。

伝達関数は以下の式によって表される。

このようなフィルタの出力は、出力の前のサンプル、およびノイズの現在のサンプルに依存する。係数ａ_iは、出力の前のサンプルのみに作用する。最小品質を有するスペクトル成分を捕捉するように、１Ｈｚの特性周波数および２０Ｈｚのサンプルがとられ得る。実施形態によれば、１００個の係数が計算され、例えば１２８の値（これは２のべき乗である）が用いられる。自己回帰フィルタの係数の計算について、いくつかの方法が知られている。それらの中で、ユールウォーカー方程式の分解による計算方法を挙げることができる。例えば、以下では、３つの計算モードを説明する。

モードＩ：関数は、モデルへの信号のサンプルのみをそれに与えることによって呼び出される。関数は、異なる基準における変化を調べ、各基準に対する理想的な順序を指定する。それは、最小化を考慮せずに計算されたすべての係数を返す。このモードは、各基準の間の差を見ることができる。

モードＩＩ：関数は、最小化するために信号のサンプルならびに基準をそれに与えることによって呼び出される。関数は基準を最小化し、この係数に関連付けられたモデルの係数を返す。

モードＩＩＩ：関数は、信号のサンプルならびにモデルに対して必要な順序をそれに与えることによって呼び出される。エラー最小化は行われず、係数は直接返される。

触覚係数が計算された後に、ステップ１．６でそれらはグループ化され、強化するシーケンスに関連付けられる。一連の係数グループは、オーディオまたはオーディオビジュアルドキュメント内でアクセスされ得る触覚トラックを構成する。発生におけるこの段階で、ドキュメントは、少なくとも１つのビデオトラック、オーディオトラック、触覚トラック、および例えばダビングおよび字幕付けのための追加の要素を備える。

第２の実施形態によれば、操作者および／またはシステムは、ステップ１．４で選定して、触覚係数のライブラリの係数のグループを選択する（ステップ１．７）。このライブラリに保存された係数は、第２のオーディオビジュアルドキュメントと呼ばれる他のオーディオビジュアルドキュメント内で見出されたシーケンスから抽出されたオーディオおよび／またはビデオデータから計算されたものである。言い換えればライブラリは、少なくとも１つの第２のオーディオビジュアルドキュメントのシーケンスから抽出されたデータから計算された、係数の少なくとも１つの第２のグループを含む。例えば映画が列車内で撮影されたシーンを含み、オーディオデータの品質は、良好な触覚係数が計算されることを可能にする。この場合、操作者および／またはシステムは、分析するためのシーケンスの開始および終了を決定することによって触覚係数計算を実行し、計算された係数のグループをライブラリに保存する。従ってグループは、発生された触覚効果のタイプ、および場合によっては以下などの追加の要素によって識別される。

− 分析されたシーケンスのドキュメントの識別子、
− 分析されたシーケンスのドキュメント内の位置、
− 分析されたシーケンスの持続時間、
− これらのパラメータで用いるためのフィルタのサイズ、
− ・・・。

自己回帰モデルの使用は、時間の持続が制限されない効果を発生させる触覚係数の計算を可能にする。例えば初めのシーケンスが２０秒間続くと仮定すると、このシーケンスによって発生された触覚係数は、もっと長い期間、例えば５０秒に対して用いることができる。このため、一実施形態によれば、特定のオーディオビジュアルシーケンスから計算された係数を、同じドキュメントまたは別のドキュメントの他のシーケンスに対して用いることが可能である。操作者および／またはシステムは、このように計算された係数のグループをライブラリに加え、次いでそれらを他のシーケンスに対して用いるように、特定の触覚効果の係数の発生のために特に適したシーケンスを選定する。従って、ライブラリに加えられた触覚係数のグループは、再生の時点で発生される必要がある触覚効果の持続時間に関わらず用いられ得ることが分かる。さらに、触覚効果は少数の、多くてもおよそ１０個の係数によって特徴づけられ、従って触覚による質の向上によって、ドキュメント内で占有される場所は非常に小さい。

第１の実施形態において用いることができる改良点によれば、操作者および／またはシステムは、質を高めるシーケンスの部分を選択し、この部分のデータを用いることによって触覚係数を計算する。このように操作者および／またはシステムは、データの品質が良好な部分、例えば走行のノイズは明瞭に聞こえるが会話は聞こえないサウンドトラックを選択し、それを用いて関連した係数を計算することができる。この部分の選択は、シーケンス内のこの部分の開始および終了を高精度で導入することによって実行される。

ドキュメントは、その触覚トラックによって強化された後に、販売用に計画され、多くのユーザに対して流通される（ステップ１．８）。ドキュメントはマルチメディアコンテンツファイルとして公開され、サーバからダウンロードされ、またはＣＤもしくはＤＶＤ、ブルーレイなどの形式で送付され得る。

触覚効果により強化されたドキュメントの再生
ユーザは強化されたドキュメントを取得し、ステップ１．９で、アクチュエータに接続されたプレーヤにおいてその再生を開始する。

図２は、ビデオドキュメントを再生するため、および触覚アクチュエータを制御するためのデバイスの図を示す。このデバイスは一般に例えば映画館など、このようなドキュメントの再生のための専用の室内に設置されるが、本発明はまた触覚アクチュエータに命令するように設計されたパラメータにより強化されたオーディオビジュアルドキュメントを受け取る、家庭内の設置の場合も包含する。好ましい実施形態によれば、このようなデバイスは、以下を備える。

− 質が高められたオーディオビジュアルドキュメントのプレーヤ１であって、ＤＶＤもしくはブルーレイを読み出す、またはこのようなドキュメントがダウンロードされるハードディスクを含むことができるプレーヤ、
− フラットスクリーン、または画像をスクリーン上に投影するビデオプロジェクタとすることができる、再生スクリーン２、
− 典型的には室内に分散された音響スピーカである、少なくとも１つの音声再生手段３、
− スクリーン２に対向して配置された少なくとも１つの触覚座席４であって、例えば２つのハンドアクチュエータ５、およびヘッドアクチュエータ６を備える座席。

触覚ドキュメントの再生時にプレーヤ１は、種々の、特にオーディオ、ビデオ、および触覚トラックを読み出し、再生スクリーン２、音響スピーカ３、およびすべての触覚座席４に送るための信号を発生する。データは、これらの異なる要素を接続するケーブルによって、または無線もしくは赤外線波によって送信され得る。

プレーヤは、自己回帰モデルによって計算された触覚係数によりプログラムされたフィルタを実行するように設計されたソフトウェアモジュールを有する。プレーヤは、触覚トラック上に、すぐに再生されることになるシーケンスに関連する係数のグループを検出したときは、このシーケンスに関連する触覚係数によりフィルタをプログラムし、入力にホワイトノイズを導入する。シーケンスが始まったときは、プレーヤ１はフィルタの出力における信号を種々のアクチュエータに送る。図２に表された例において、アクチュエータは、プレーヤ１内で実行されるフィルタによって生成される周波数に従って同じように振動する。観客が見るものおよび聴くものによってもたらされるドキュメントの知覚は、観客が彼の身体を通して知覚する振動によって強化される。

図３ａおよび３ｂは、本原理の例示的実施形態による、触覚トラックによって質が高められたドキュメントの再生時に用いられ得る触覚座席４を示す。この座席は、座席および背もたれを備える。ハンドアクチュエータ５は、観客が容易に握ることができる位置に、座席の両側に配置される。第３の「ヘッド」アクチュエータ６は、ヘッドレストに配置される。ヘッドアクチュエータ６は十字形のクッションを備え、そのくぼみに観客は彼の頭部を置く。座席４のレベルでの各アクチュエータの位置は、各観客のサイズおよび身体形状に適合されるように調整される。図３ｂは着席した観客を示し、それぞれアクチュエータ５のノブを持ち、第３のアクチュエータ６のクッションに彼の頭部を置いている。図３ａおよび３ｂは、単に例示的な例として引用され、図に表されたもの以外の多くの他のアクチュエータのモデルが、肘掛け、または観客が彼の足を置く板、または観客の身体と接触した任意の他の要素を振動させることができる。

図４は、データ値、およびそれらの自己回帰モデリングの前および後の周波数分解の例を示す。１２個のオシログラムが、４個の画像の３つの行の形で示される。各行の第１の画像は、オーディオビジュアルドキュメントの特定のデータ項目の振幅値、すなわちオーディオトラックの元の信号を時間に従って示す。第１の行は自転車の使用時に採取されたオーディオシーケンスを示し、第２は自動車の隣で、第３はローラーコースター車両から採取されたものである。各行の第２の画像は、すぐ左の画像の信号のＦＦＴ（高速フーリエ変換）、すなわちそのスペクトル成分を表す。各行の第３の画像は、元の信号のＡＲモデリングによって発生された成分を表す。各行の第４の画像は、触覚係数によりプログラムされ、入力においてホワイトノイズを受信するフィルタによって発生された成分のＦＦＴを表す。従って、元の信号の周波数と、フィルタによってモデリングされた信号内にある周波数との間の類似性が分かる。

改良によって、操作者および／またはポストプロダクションシステムは、触覚効果における上昇および、上記効果における下降を指定する。上昇時間は、触覚効果がゼロの振幅から開始して最大振幅までの時間である。同様に下降時間は、触覚効果が最大振幅から開始してゼロの振幅に達するまでの時間である。

本発明の改良点によれば、操作者および／またはポストプロダクションシステムは、複数のアクチュエータ、および各アクチュエータに対する動きの自由度を指定する。係数のグループのセットはこのようにステップ１．６で計算され、各グループはアクチュエータまたはアクチュエータの動きの自由度に関連付けられる。再生中にプレーヤ１は、係数のグループのセットを読み出し、制御するアクチュエータと同数のフィルタをプログラムし、それらのそれぞれの入力にホワイトノイズを印加し、上記フィルタによって供給される信号を、これらの信号に関連付けられたアクチュエータに送る。

本開示を特定の例示された実施形態を参照して述べたが、上記発明はこれらの実施形態に限定されることは全くなく、添付の特許請求の範囲のみによって限定されるものである。前に述べられた実施形態に対して、本開示の範囲から逸脱せずに当業者によって変更または変形がなされ得ることが留意されるであろう。

非限定的な実施形態によれば、本開示はまた触覚効果、例えば振動触覚効果をレンダリングするための方法に関し、以下のステップを含む。
− オーディオビジュアルドキュメントの少なくとも一部を選択するステップ。
− 上記選択されたオーディオビジュアルドキュメントの少なくとも一部において触覚効果を表すモデルを関連付けるステップであって、モデルは有限個の係数によって表される、ステップ。
− モデルの入力に、オーディオビジュアルドキュメントの少なくとも一部の持続時間に等しい持続時間のホワイトノイズを表す信号を供給することによって、触覚効果をレンダリングするステップ。

他の非限定的な実施形態によれば、本開示はまた触覚効果をレンダリングするための方法に関し、
− 持続時間を表す第１の情報、およびレンダリングされる触覚効果を表す少なくとも１つの係数を表す第２の情報を受信するステップと、
− レンダリングされる触覚効果を表す信号を発生するステップであって、信号は上記第２の情報、および上記第１の情報に依存する持続時間を有するホワイトノイズを用いて、自己回帰フィルタから発生される、ステップと、
を含む。

次いで信号は、触覚効果をレンダリングするために１つまたはいくつかの触覚アクチュエータ、例えば図３Ａおよび３Ｂの触覚座席に送信することができる。

振動触覚効果の代表的モデルは、各モデルが特定の振動触覚効果を表す、ライブラリの複数のモデルから選択されるので有利である。

特定の特徴によれば、モデルは、オーディオビジュアルドキュメントと異なるかまたは異ならない決定されたドキュメントからのオーディオビジュアルコンテンツ（例えばオーディオトラック、加速度計を通じた取得に基づくデータなどから）に関連する振動シーケンスから発生される。

モデルは例えば、いくつかの例えば１２８に等しい係数を有するＦＩＲフィルタ（有限インパルス応答フィルタ）である。

当然ながら本開示は、前に述べられた実施形態に限定されない。

特に、本開示はアクチュエータを制御するための方法に限定されず、この方法を実施する任意のデバイス、および特に少なくとも１つのＣＰＵおよび／または少なくとも１つのＧＰＵを備えた任意のデバイスにも及ぶ。

本開示はまた、触覚効果を発生させるための方法（および構成されたデバイス）に関し、例えば、ビデオデータストリーム、およびレンダリングされる触覚効果の持続時間を表す情報、およびレンダリングされる触覚効果に関連する自己回帰フィルタの触覚係数を表す情報を受信するように構成され、および／またはレンダリングされる触覚効果を表す信号を送信するように構成された、通信インターフェース（例えば、イーサネット（登録商標）および／またはＷｉｆｉおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）標準に準拠したインターフェース）を備えた、セットトップボックスにおいて実施される。

本明細書で述べられる実装形態は、例えば方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号において実施され得る。単一の形式の実装形態の文脈において論じられた（例えば方法またはデバイスとしてのみ論じられた）としても、論じられた特徴の実装形態は他の形（例えばプログラム）においても実施され得る。装置は、例えば適切なハードウェア、ソフトウェア、およびファームウェアにおいて実施され得る。例えば、方法は、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを含む処理デバイスを一般に指す、例えばプロセッサなどの装置において実施され得る。プロセッサはまた、例えばスマートフォン、タブレット、コンピュータ、携帯電話、携帯情報端末（「ＰＤＡ」）、およびエンドユーザ間での情報の通信を容易にする他のデバイスなどの、通信デバイスを含む。

本明細書で述べられた様々なプロセスおよび特徴の実装形態は、多様な異なる機器またはアプリケーション、具体的には例えばデータ符号化、データ復号、ビュー発生、テクスチャ処理、ならびに他の、画像および関連するテクスチャ情報および／または深さ情報の処理に関連する、機器またはアプリケーションにおいて具現化され得る。このような機器の例は、符号化器、デコーダ、デコーダからの出力を処理するポストプロセッサ、符号化器への入力をもたらすプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、および他の通信デバイスを含む。明らかなように、機器はモバイルとすることができ、さらには移動体にインストールされ得る。

さらに、方法は、プロセッサによって行われる命令によって実施することができ、このような命令（および／または実装形態によって生成されるデータ値）は、例えば集積回路、ソフトウェアキャリア、または例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えばしばしばディジタル多用途ディスクまたはディジタルビデオディスクと呼ばれるＤＶＤなど）、ランダムアクセスメモリ（「ＲＡＭ」）、もしくはリードオンリメモリ（「ＲＯＭ」）などの他の記憶装置などの、（非一時的）プロセッサ可読媒体に記憶され得る。命令は、プロセッサ可読媒体上に有形に具現化されたアプリケーションプログラムを形成することができる。命令は、例えばハードウェア、ファームウェア、ソフトウェア、または組み合わせにおけるものとすることができる。命令は、例えばオペレーティングシステム、個別のアプリケーション、または両方の組み合わせにおいて見出され得る。従ってプロセッサは、例えばプロセスを実行するように構成されたデバイス、およびプロセスを実行するための命令を有するプロセッサ可読媒体を含むデバイス（記憶装置など）の両方として特徴付けられ得る。さらに、プロセッサ可読媒体は、命令に加えてまたはその代わりに、実装形態によって生成されたデータ値を記憶することができる。

当業者には明らかになるように実装形態は、例えば記憶または送信され得る情報を運ぶようにフォーマットされた多様な信号を生成することができる。情報は、例えば方法を行うための命令、または述べられた実装形態の１つによって生成されたデータを含むことができる。例えば信号は、述べられた実施形態の構文を書き込みまたは読み出すための規則をデータとして運ぶ、または述べられた実施形態によって書き込まれた実際の構文値をデータとして運ぶようにフォーマットされ得る。このような信号は、例えば電磁波として（例えばスペクトルの無線周波数部分を用いて）、またはベースバンド信号としてフォーマットされ得る。フォーマットは、例えばデータストリームを符号化すること、および符号化されたデータストリームによりキャリアを変調することを含むことができる。信号が運ぶ情報は、例えばアナログまたはディジタル情報とすることができる。信号は、知られているように多様な種々の有線または無線リンクを通して送信され得る。信号は、プロセッサ可読媒体上に記憶され得る。

いくつかの実装形態が述べられた。それでも、様々な変更がなされ得ることが理解されるであろう。例えば、異なる実装形態の要素は、他の実装形態を生成するように組み合わされ、補完され、変更され、または取り除かれ得る。さらに、当業者は、他の構造およびプロセスが、開示されたものの代わりに使われることができ、結果としての実装形態は、少なくとも実質的に同じ方法で、開示された実装形態と少なくとも実質的に同じ結果を達成するように、少なくとも実質的に同じ機能を行うようになることを理解するであろう。従って、これらのおよび他の実装形態は、本願によって企図される。

Claims (10)

1. 触覚効果をレンダリングする方法であって、
   − 持続時間を表す第１の情報、およびレンダリングされる前記触覚効果を表す少なくとも１つの係数を表す第２の情報を受信するステップと、
   − レンダリングされる前記触覚効果を表す信号を発生するステップであって、前記信号は、前記第２の情報、および前記第１の情報に依存する持続時間を有するホワイトノイズを用いて、自己回帰フィルタから発生される、前記ステップと、
   を含む、前記方法。
2. 前記信号を少なくとも１つの触覚アクチュエータに送信するステップをさらに含む、請求項１に記載の方法。
3. ビデオデータストリームを受信するステップを含み、前記第１の情報および前記第２の情報は前記ビデオデータストリームの少なくとも一部に関連付けられる、請求項１または２に記載の方法。
4. 前記少なくとも１つの係数は係数のグループのライブラリから選択され、各グループは異なる触覚効果に関連付けられる、請求項１乃至３のいずれか一項に記載の方法。
5. 触覚効果をレンダリングするように構成されたデバイスであって、
   − 持続時間を表す第１の情報、およびレンダリングされる前記触覚効果を表す少なくとも１つの係数を表す第２の情報を受信するように構成された通信インターフェースと、
   − レンダリングされる前記触覚効果を表す信号を発生するように構成されたプロセッサであって、前記信号は、前記第２の情報、および前記第１の情報に依存する持続時間を有するホワイトノイズを用いて、自己回帰フィルタから発生される、プロセッサと、
   を備える、前記デバイス。
6. 前記通信インターフェースは、前記信号を少なくとも１つの触覚アクチュエータに送信するようにさらに構成される、請求項６に記載のデバイス。
7. 前記通信インターフェースは、ビデオデータストリームを受信するようにさらに構成され、前記第１の情報および前記第２の情報は前記ビデオデータストリームの少なくとも一部に関連付けられる、請求項５または６に記載のデバイス。
8. 前記少なくとも１つの係数は係数のグループのライブラリから選択され、各グループは異なる触覚効果に関連付けられる、請求項５乃至７のいずれか一項に記載のデバイス。
9. コンピュータプログラム製品であって、前記プログラムがコンピュータ上で実行されたときに請求項１乃至５のいずれか一項に記載の方法のステップを実行するための、プログラムコードの命令を備えた、前記コンピュータプログラム製品。
10. コンピュータ可読媒体であって、そこに記録されプロセッサによって実行することができるコンピュータプログラム製品を含み、請求項１乃至５のいずれか一項に記載の方法を実施するためのプログラムコード命令を含む、前記コンピュータ可読媒体。

Images