JP2018005909A - ハプティックエフェクトをレンダリングする方法、装置及びシステム - Google Patents

Abstract

【課題】本開示は、トポグラフィカルゾーンにわたるハプティック雰囲気のマップを管理する方法、装置又はシステムに関する。【解決手段】ゾーンは、レリーフ又は顕著なオブジェクトを含み得る。ハプティックセンサ及びハプティックアクチュエータを装備されたデバイスの組は、トポグラフィカルゾーンに広がるユーザの組によって身に付けられる。各デバイスは、その局所のハプティック測定をサーバへ送ることによってマップの管理に寄与している。サーバは、それらの散開された測定に従ってマップを計算及び保持する。クライアントデバイスはまた、トポグラフィカルゾーン内の第２位置の周りのハプティック雰囲気を表すハプティックエフェクトを得るようリクエストを送る。サーバは、この第２位置及びクライアントの特性に従ってレスポンスを計算する。【選択図】図２

Description

本開示は、例えば、ハプティックエフェクトを通じてトポグラフィカルゾーンに関する情報を得るための、没入ハプティックエフェクトの分野に関する。

新しいテクノロジの開発は、例えば、ビデオを見ること、ゲームで遊ぶこと、祭りに参加すること、スキーをすること又は地方を旅することといった経験をしているときにユーザをより良く没頭させるハプティックシミュレーションに特に焦点を当てる。ハプティックエフェクトは、バーチャル環境又はオーディオビジュアルコンテンツにおいて何をしているかを共有し且つ物理的に感じることを可能にする。例えば、“A Framework for Enhancing Video Viewing Experience with Haptic Effects of Motion”において、Danieau et al.は、役者の動作を捕捉するよう加速度計に基づくキャプチャシステムを提案している。この動作は、次いで、フォースフィードバック（force-feedback）デバイスにおいて動きのハプティックエフェクトとして再現され得る。

人々が持ち運ぶ装着型デバイスの数の増大のおかげで、今では、地理的ゾーンに広がる多数の個人からのハプティック測定（例えば、加速度、位置、温度）を記録することが可能である。エンドユーザは、彼らの装着型デバイスのハプティック測定をコミュニティサーバと共有することを受け入れ得る。しかし、それらのエンドユーザがハプティックエフェクトを通じて地理的ゾーンにわたるハプティック雰囲気の状態を知らされることを可能にするシステムは欠けている。

本開示の目的は、複数のエンドユーザの装着型ハプティックデバイスが地理的ゾーンにわたって測定するものの状態に従ってハプティックエフェクトを決定してそれらの装着型ハプティックデバイスへ送るようなシステムの欠如を解消することである。本開示は、ハプティックエフェクトを表す、第２データと呼ばれるデータを送る方法であって、
トポグラフィカルゾーン内の第１位置に関連するハプティック測定を含む少なくとも１つの第１データを受け取り、
前記トポグラフィカルゾーンのマップを生成し、該マップは、少なくとも１つのハプティック測定が関連する位置に従って該少なくとも１つのハプティック測定のトポグラフィカルクラスタを有し、
クライアントから前記第２データを送るリクエストを受け取り、該リクエストは、前記トポグラフィカルゾーン内の少なくとも１つの第２位置を含み、
前記マップの前記トポグラフィカルクラスタと前記少なくとも１つの第２位置とに従って計算されたハプティックエフェクトを表す前記第２データを前記リクエストに応答して送信する
ことを有する方法に関係がある。

本開示はまた、ハプティックエフェクトを表す第２データを送るよう構成される装置であって、
トポグラフィカルゾーン内の第１位置に関連するハプティック測定を含む少なくとも１つの第１データを受け取るよう構成される受信器と、
前記トポグラフィカルゾーンのマップを生成するよう構成され、該マップは、少なくとも１つのハプティック測定が関連する位置に従って該少なくとも１つのハプティック測定のトポグラフィカルクラスタを有する、プロセッサと、
クライアントから前記第２データを送るリクエストを受け取るよう構成され、該リクエストは、前記トポグラフィカルゾーン内の少なくとも１つの第２位置を含む、受信器と、
前記マップの前記トポグラフィカルクラスタと前記少なくとも１つの第２位置とに従って計算されたハプティックエフェクトを表す前記第２データを前記リクエストに応答して送信するよう構成される送信器と
を有する装置に関係がある。

特定の特徴に従って、前記受け取られたリクエストは、該リクエストを送った前記クライアントのハプティックアクチュエータの記述を更に含み、前記第２データは、更に前記記述に従って計算される。有利なことに、前記クライアントからの前記リクエストは、第２位置を含まない。この場合に、サーバは、前記クライアントからの最後に受け取られたハプティック測定に関連する位置の値を前記第２位置に設定する。

本開示はまた、少なくとも１つのハプティックセンサ及び少なくとも１つのハプティックアクチュエータを装備された装着型デバイスにおいてハプティックエフェクトをレンダリングする方法であって、
前記少なくとも１つのハプティックセンサから得られ、トポグラフィカルゾーン内の第１位置に関連するハプティック測定を含む少なくとも１つの第１データをサーバへ送り、
ハプティックエフェクトを表す第２データを送るリクエストを前記サーバへ送り、該リクエストは、前記トポグラフィカルゾーン内の少なくとも１つの第２位置を含み、
前記少なくとも１つの第２位置と前記トポグラフィカルゾーンのマップとに従って計算された前記ハプティックエフェクトを表す第２データを前記リクエストに応答して前記サーバから受け取り、前記マップは、少なくとも前記少なくとも１つの第１データに従って計算されるトポグラフィカルクラスタを含み、
前記デバイスの前記少なくとも１つのハプティックアクチュエータにより前記ハプティックエフェクトをレンダリングする
ことを有する方法に関係がある。

特定の特徴に従って、前記リクエストは、前記少なくとも１つのハプティックアクチュエータの記述を更に含む。有利なことに、第２位置は前記リクエストにおいて送られず、使用される前記第２位置が、最後に送られたハプティック測定に関連する位置であることを前記サーバに示す。

本開示はまた、少なくとも１つのハプティックセンサ及び少なくとも１つのハプティックアクチュエータを装備され、ハプティックエフェクトをレンダリングするよう構成されるデバイスであって、
前記少なくとも１つのハプティックセンサから得られ、トポグラフィカルゾーン内の第１位置に関連するハプティック測定を含む少なくとも１つの第１データをサーバへ送るよう構成される送信器と、
ハプティックエフェクトを表す第２データを送るリクエストを前記サーバへ送るよう構成され、該リクエストは、前記トポグラフィカルゾーン内の少なくとも１つの第２位置を含む、送信器と、
前記少なくとも１つの第２位置と前記トポグラフィカルゾーンのマップとに従って計算された前記ハプティックエフェクトを表す第２データを前記サーバから受け取るよう構成され、前記マップは、少なくとも前記少なくとも１つの第１データに従って計算されるトポグラフィカルクラスタを含む、受信器と、
前記ハプティックエフェクトをレンダリングするよう構成される前記少なくとも１つのハプティックアクチュエータと
を有するデバイスに関係がある。

本開示はまた、コンピュータで実行される場合に、データを送る方法のステップを実行するためのプログラムコード命令を有するコンピュータプログラム製品に関係があり、更には、コンピュータで実行される場合に、ハプティックエフェクトをレンダリングする方法のステップを実行するためのプログラムコード命令を有するコンピュータプログラム製品に関係がある。

以下の説明を読むとともに、添付の図面を参照して、本開示はより良く理解され、他の具体的な特徴及び利点は明らかになるだろう。
ユーザの組が広がっているトポグラフィカルゾーンの例を表す。ユーザの夫々は、少なくとも１つのハプティックセンサ及び少なくとも１つのハプティックアクチュエータを有し、本原理の具体的な実施形態に従って、図５で説明される、ハプティックエフェクトをレンダリングする方法を実装するよう構成される装着型装置を装備されている。 本原理の具体的な実施形態に従って、図１のトポグラフィカルゾーンにおいて装着型クライアントデバイスから得られた測定のクラスタリングの例を表す。 本原理の具体的な実施形態に従って、図１の装着型デバイスからのリクエストに応答したレスポンスの計算の例を表す。 本原理の具体的な実施形態に従って、図５又は６に関して記載される方法を実装するよう構成されるデバイスのハードウェア実施形態を示す。 非制限的な有利な実施形態に従うデバイスのようなプロセッシングデバイスで実装される、ハプティックエフェクトをレンダリングする方法の実施形態を図式的に示す。 非制限的な有利な実施形態に従うデバイスのようなプロセッシングデバイスで実装される、ハプティックエフェクトをレンダリングする方法の実施形態を図式的に示す。

主題は、これより、図面を参照して記載される。図面において、同じ参照符号は、全体を通して同じ要素を参照するために使用される。以下の記載で、説明のために、多数の具体的な詳細は、主題の完全な理解を提供するために示される。主題の実施形態は、それらの具体的な詳細によらずに実施され得ることが理解される。

ハプティックテクノロジは、タッチの検知に関係がある。ハプティックエフェクタは、力、振動、又は動きをユーザに適用する。ハプティックデバイスは、インターフェイス上でユーザによって行使された力、振動、又は動きを測定する触覚センサを組み込み得る。本開示に関連して、“ハプティック（haptic）”は、ユーザが自身の皮膚及び筋肉を通じて感じることができる他の物理的現象を含む広範な定義を有している。エフェクタ及びセンサは、それらの検知分野のために利用可能である。これは、例えば、温度（加熱又は冷却エフェクタ及び温度計）及び湿度（噴霧器及び湿度計）を含む。ハプティック測定は、ハプティックのこの広範な定義を持ってハプティックセンサによって測定されたデータ、又はそのようなデータの組み合わせである。相互に、ハプティックエフェクトは、ハプティックのこの広範な定義を持ってハプティックエフェクタによってレンダリングされ得る効果、又はそのような効果の組み合わせである。

本開示の非制限的な実施形態に従って、地理的領域に広がる装着型ハプティックデバイスの組のハプティック測定を収集する方法及びサーバデバイスが開示される。領域のトポグラフィカル（topographical）マップは、サーバデバイスによって管理される。マップは、収集されたハプティック測定に従って更新される。レスポンスはクライアントデバイスごとに計算され、それは、所与の位置、例えば、レスポンスが計算される時点での装着型デバイスの現在地、から見たマップ上のハプティック雰囲気（haptic atmosphere）を表す。

図１は、ユーザの組が広がっている、例となるトポグラフィカルゾーン１８を表す。ユーザの夫々は、少なくとも１つのハプティックセンサ及び少なくとも１つのハプティックアクチュエータを有し、図５で説明される、ハプティックエフェクトをレンダリングする方法を実装するよう構成される装着型装置を装備されている。ユーザは静止していてよく、あるいは、トポグラフィカルゾーンにおいて動き回ってよい。ユーザによって身に付けられたデバイスは、ハプティックセンサの異なる組及び／又はハプティックアクチュエータの異なる組を装備され得る。例えば、図１では、デバイス１１、１２、１３及び１４は、温度計（円により表される。）を装備され、デバイス１３、１４、１５及び１６、振動センサ（四角により表される。）を装備され、デバイス１２、１４及び１７は、オーディオレベル検出器（例えば、マイクロホンであり、三角により表される。）を装備される。デバイス１１、１２及び１７は、独自の振動器（破線により表される。）を装備され、一方、デバイス１３、１４、１５及び１６は、ハプティックベスト（点により表される。）を装備される。ハプティックベストは、ハプティックエフェクタ（例えば、振動器及び／又は熱点）が分布している衣服である。そのようなベストによれば、ユーザは、自身の身体上で局在するハプティック情報を受け取って、例えば、右側からの又は左側からの刺激を区別し得る。デバイスは、図６で説明される方法を実装するよう構成されるサーバへ接続される。接続は、望ましくはワイヤレスであり、例えば、ＷｉＦｉネットワーク若しくはＧＳＭ（登録商標）ネットワーク又は異なるネットワークの組み合わせを使用し得る。

特定の実施形態に従って、デバイスは、そのハプティックセンサを用いて、規則的な頻度で、例えば、０．１秒ごと又は０．５秒ごと又は１秒ごとに、測定を行う。他の実施形態に従って、異なるハプティックセンサは、同じ頻度では測定を行わない。デバイスは、そのセンサのいずれかから新しい測定が入手できるたびに、サーバへメッセージを送る。そのようなメッセージは、入手可能な測定ごとに、ハプティックセンサのタイプ、測定の値、及び測定が行われている位置を表すデータを少なくとも含む。メッセージは、追加の情報、例えば、デバイスの識別子、又はデバイスのハプティックアクチュエータの記述を含み得る。変形例において、デバイスは、規則的な頻度でサーバへメッセージを送り、メッセージは、デバイスのハプティックセンサの夫々の最後の測定（及びその関連する位置）を含む。規則的な送信頻度は、例えば、１０ヘルツ又は１ヘルツ又は０．５ヘルツである。他の変形例において、測定に関連する位置は、デバイスの現在地であってよく、一方、測定は、ハプティックセンサによって行われた最後の測定である。他の変形例において、デバイスは、値の１つ（位置又は測定）が所与の差を超えて変化したときにメッセージを送る。例えば、メッセージは、位置が前の位置から少なくとも１メートル又は１フィートだけ異なる場合、あるいは、例えば、温度が前の測定から少なくとも摂氏０．５度又は摂氏１度変化した場合、にのみ送られる。

全ての実施形態において、デバイスは、トポグラフィカルゾーンにわたるハプティック雰囲気を知るために、サーバからレスポンスを得る。ハプティックセンサのみを装備された他のタイプのクライアントデバイスがサーバへ接続されてよい。それらのクライアントデバイスはハプティックアクチュエータを装備されていないので、それらのためにレスポンスは計算されない。ハプティックアクチュエータのみを装備されたいくつかのデバイスがサーバへ接続されてよい。特定の実施形態に従って、そのようなデバイスは、如何なる関連する測定も伴わずに少なくとも自身の位置確認を含むメッセージを送り、そして、レスポンスは、そのようなクライアントデバイスへ、マップへのその参加の欠如にもかかわらず送られ得る。

図１の例では、トポグラフィカルゾーン１８は長方形によって画定されている。変形例において、トポグラフィカルゾーンは、例えば、アイソライン（iso-line）輪郭によって定義された楕円形又は何らかの他の２次元形状によって画定される。トポグラフィカルゾーンは、レリーフ（relief）１９又は顕著なオブジェクト１９を含み得る。例えば、本発明がスキー分野のハプティック雰囲気を管理するために使用される場合には、レリーフ１９は、トポグラフィカルゾーンを表すときに明らかに考慮に入れられる。本発明が音楽祭のハプティック雰囲気を管理するために使用される場合には、異なるステージが顕著なオブジェクト１９であり、マップ上に現れる。

ユーザが地理的ゾーンの外に移動する場合に、そのユーザの装着型デバイスは、たとえこのデバイスからのメッセージが受信され続けるとしても、サーバによってもはや考慮されない。

図２は、図１のトポグラフィカルゾーンにおいて装着型クライアントデバイスから得られた測定のクラスタリングの例を表す。例えば、クラスタは、各種のハプティック測定について計算される。図２の例では、測定値及び位置確認において定義されたクラスタは、温度について、振動について及びオーディオレベルについて計算される。クラスタは、クラスタリング関数、例えば、ｋ平均法（k-means）に従って計算される。クラスタはまた、気象マップで見られるようなアイソライン値に従って構成され得る。ハプティック測定タイプマップの階層化は、ハプティック雰囲気に従って区画されたマップをもたらす。図２は、データが入手されないデフォルト領域２１を含む例を表す。この大域的範囲にわたって、領域は、クラスタゾーンの階層化に従って区別できる。領域は接続されなくてよい。例えば、図２では、ハプティック領域２２は２つのトポグラフィカル領域から成る。この例において、デバイス１１、１２及び１４は、同様の温度を報告するものとしてクラスタ化されている（温度計は円によって表される。）。温度が一様なこの領域の上で、デバイス１４及び１５は、同様の振動レベルを報告するものとしてクラスタ化されており、デバイス１４及び１７は、同様のオーディオレベルを報告するものとしてクラスタ化されている。デバイス１２のオーディオレベルは、このマップ内では（未だ）利用可能でない。それら３つのクラスタによって定義された領域の階層化は、温度のみが入手できる２つの領域２２内の第１領域を切り取る。ハプティック領域２３及び２４はまた、ただ１つのクラスタに従って定義される。領域は、例えば、ハプティック測定クラスタの重ね合わせによって、定義される。例えば、図２では、ハプティック領域２５及び２６は、２つのハプティック測定の組み合わせが入手できる領域である。３つの管理されたタイプのハプティック測定が、ハプティック領域２７を画定するために使用される。

他の実施形態に従って、クラスタは、点が装着型デバイスの位置確認及び重み、測定の値であるところの加重ボロノイ図に従って計算される。他の実施形態に従って、レリーフ１９又は顕著なオブジェクト１９は、クラスタの計算のために考慮に入れられる。例えば、レリーフ１９又は顕著なオブジェクト１９は、トポグラフィカル面にわたるクラスタの広がりを助け又は抑制し得る。

ハプティック領域は、ハプティック雰囲気を表す。例えば、音楽シーンを伴う音楽祭を考えてみよう。ハプティック雰囲気は、ステージの近くにある関連するクラスタによって表される。メタルロックのステージの前では、クラスタのハプティックデータは、サーバがこのハプティック雰囲気を“ダイナミック”と標識化することを可能にする。一方、ラブソングのステージの前では、このクラスタのハプティックデータは、サーバに、このハプティック雰囲気を“スムース”と標識化させる。それらの意味的標識を表す、対応するハプティックエフェクトは、各種の雰囲気をユーザに知らせるために計算される。

他の例はサッカーの試合である。スタジアムに広がった観客の組は、装着型デバイスを装備され、スタンドにわたる異なったハプティック雰囲気のマップを計算することに寄与し得る。試合を見ているＴＶ視聴者は、その場合に、好ましいハプティック雰囲気に応じてカメラを選択することができる。よって、視聴者は、所与のスタンドの雰囲気を感じることができる。

図３は、図１の装着型デバイス１５からのリクエストに対するレスポンスの計算の例を表す。装着型デバイスからのリクエストは、トポグラフィカルゾーン１８における位置（以降、第２位置と呼ばれる。）、例えば、それ自身の位置、を含む。この第２位置を中心とすれば、サーバは、この第２位置から、ハプティックマップの少なくとも１つのハプティック領域、例えば、第２位置が含まれるハプティック領域とは異なるが、第２位置に最も近いハプティック領域、までのベクトル３１を計算する。第２位置とハプティック領域との間の距離は、例えば、第２位置とハプティック領域のエッジとの間のマップ上の最小ユークリッド距離として計算される。変形例において、重心は、マップの各ハプティック領域について計算され、第２位置とハプティック領域との間の距離は、例えば、第２位置とハプティック領域の重心との間のマップ上のユークリッド距離である。変形例において、複数のベクトル３１が、第２位置から、例えば、ｎ個の最も近いハプティック領域へ向けて、計算される。なお、ｎは、例えば、２又は３又は５に等しい。変形例において、計算されるベクトル３１の数は、装着型デバイス１５に装備されるハプティックアクチュエータのタイプに依存する。

サーバは、計算されたベクトル３１に従ってレスポンスを計算するために、（図３の例では）装着型デバイス１５のハプティックアクチュエータの記述を使用し得る。この例において、デバイス１５は、指向性ハプティックエフェクトをレンダリングすることができるハプティックベストを装備されている（すなわち、ハプティックベストは、ユーザに、そのユーザの左右の側において、ユーザの前後において、など、異なったハプティックエフェクトを感じさせることができる。）。故に、サーバは、ハプティックベストに適応されたレスポンスを計算する。例えば、図３では、デバイス１５を身に付けているユーザが北に面している場合には、ハプティックレスポンスは、ユーザの左後ろに向けられる。異なるアクチュエータを装備されたデバイスについては、レスポンスは異なることになる。例えば、独自の振動器は、そのような情報をレンダリングすることができない。この場合には、強さが、大域的雰囲気をユーザに知らせるよう適応される。レスポンスとして計算されるハプティックエフェクトのタイプ（例えば、振動、熱、音響）、方向及び強さは、ベクトル３１の方向及び長さと、指し示されているハプティック領域に関連するハプティック測定の強さとに依存する。

他の実施形態において、装着型デバイス１５によってそのリクエストにおいて送られる第２位置は、それ自身の位置とは異なる。例えば、装着型デバイス１５は、ユーザがトポグラフィカルゾーン１８上の位置を選択し、この選択された位置に従ってリクエストを生成することを可能にするインターフェイスを装備される。他の実施形態において、クライアントデバイスが、ハプティック測定を含むメッセージを既に送っている場合には、リクエストは第２位置を含まなくてよく、最後に送られたハプティック測定に関連する位置を第２位置として使用するようサーバに指示する。

図４は、図５又は６に関して記載される方法を実装するよう構成されるデバイス４０ａのハードウェア実施形態を示す。この例において、デバイス４０ａは、アドレス及びデータのバス４１によって互いに接続されている次の要素を有する。バス４１は、クロック信号を更に運ぶ：
− 例えばＤＳＰ（すなわち、Digital Signal Processor）であるマイクロプロセッサ４２（又はＣＰＵ）；
− ＲＯＭ（Read Only Memory）タイプ４３の不揮発性メモリ；
− ローカルメモリ４４、例えば、ビデオメモリ又はＲＡＭ（すなわち、Random Access Memory）、フラッシュメモリ、ハードディスク；
− アプリケーションからの、送信するデータの受信のためのＩ／Ｏインターフェイス４５、例えば、有線インターフェイス（例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス）又は無線インターフェイス（例えば、ＩＥＥＥ８０２．１１インターフェイス又はＢｌｕｅｔｏｏｔｈ（登録商標）インターフェイス）；
− ポジショニングモジュール４６、例えば、ＧＰＳのような衛星ポジショニングシステム、近隣のセルラー基地局からの情報受信器、又はＷｉＦｉネットワークデバイスのような他の送信器からの情報受信器；及び
− 電源４７。

例に従って、電源４７はデバイスの外にある。前述のメモリの夫々において、本明細書において使用される語＜＜レジスタ＞＞は、小容量（数ビット）の領域に、あるいは、非常に大きい領域（例えば、プログラム全体、又は受信若しくは復号された大量のデータ）に対応し得る。ＲＯＭ４３は、少なくともプログラム及びパラメータを有する。ＲＯＭ４３は、本原理に従う技術を実施するためのアルゴリズム及び命令を記憶し得る。オンされる場合に、ＣＰＵ４２は、プログラムをＲＡＭにアップロードし、対応する命令を実行する。

ＲＡＭ４４は、レジスタにおいて、デバイス４０ａのスイッチオン後にアップロードされてＣＰＵ４２によって実行されるプログラムを、レジスタにおいて、入力データを、レジスタにおいて、方法の異なる状態での中間データを、そして、レジスタにおいて、方法の実行のために使用される他の変数を有する。

本願で記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装され得る。たとえ単一の実施形態に関してしか論じられていない（方法又はデバイスとしてしか論じられていない）としても、論じられている特徴の実装は、他の形態（例えば、プログラム）でも実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装され得る。方法は、例えば、プロセッサのような装置において実装され得る。プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能ロジックデバイスを含むプロセッシングデバイス全般を指す。プロセッサはまた、例えば、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、セットトップボックス、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような、通信デバイスを含む。

図５で説明される、ハプティックエフェクトをレンダリングする例に従って、デバイス４０ｂは、デバイス４０ａを有し、更には、バス４１を介して接続される少なくとも１つのハプティックセンサ４８及び少なくとも１つのハプティックアクチュエータ４９を有する。例えば、少なくとも１つのハプティックセンサ４８は、温度計、振動センサ、マイクロホン、湿度計及びコンパスを少なくとも含む組に属する。例えば、少なくとも１つのハプティックアクチュエータ４９は、振動器、熱点及びスピーカを少なくとも含む組に属する。１つの特定の実施形態に従って、ハプティックエフェクトをレンダリングする方法のステップを実装し、図５において以降で記載されるアルゴリズムは、それらのステップを実装するデバイス４０ａに付随するメモリＲＡＭ４４に記憶されている。ハプティック測定は、ハプティックセンサ４８によって捕捉され、Ｉ／Ｏインターフェイス４５によってサーバへ送られる。リクエストは、マイクロプロセッサ４２によって計算され、Ｉ／Ｏインターフェイス４５によって送られる。レスポンスは、Ｉ／Ｏインターフェイス４５によって受け取られ、ＣＰＵ４２によって復号され、復号されたハプティックエフェクトは、ハプティックアクチュエータ４９によってレンダリングされる。

図６で説明される、ハプティックエフェクトを表すデータを送る例に従って、デバイス４０ａは、トポグラフィカルゾーンのハプティック雰囲気を表すマップを計算するサーバである。クライアント装着型デバイスによって送られたハプティック測定は、Ｉ／Ｏインターフェイス４５によって受け取られ、ＣＰＵ４２によってマップに合成される。マップ及びその計算に必要なデータは、例えば、ＲＡＭ４４に記憶される。クライアントデバイスからのリクエストも、Ｉ／Ｏインターフェイス４５によって受け取られる。リクエストは、ＣＰＵ４２によって解釈され、ＣＰＵ４２は、それらのリクエストに対するレスポンスを計算する。レスポンスは、Ｉ／Ｏインターフェイス４５によって送られる。

例に従って、デバイス４０ａ及び４０ｂは：
− モバイルデバイス；
− 通信デバイス；
− ゲーム機；
− タブレット（又はタブレットコンピュータ）；
− ラップトップ；
− 符号化チップ；及び
− パーソナルコンピュータ
を含む組に属する。

図５は、非制限的な有利な実施形態に従うデバイス（４０ｂ）のようなプロセッシングデバイスで実装される、ハプティックエフェクトをレンダリングする方法５０の実施形態を図式的に示す。

初期化ステップ５１で、クライアント装着型デバイス４０ｂはサーバ４０ａへ接続する。このステップで、クライアントデバイスは、ハプティック雰囲気のマップへのその参加をサーバに知らせる。変形例において、クライアントデバイスは、そのハプティックセンサ及びハプティックアクチュエータの記述を送る。サーバは、このデバイスからのリクエストに対するレスポンスの計算を適応させるために、それらの情報を記憶する。

デバイスは、次いで、状態５７に設定される。デバイスが状態５７にあるとき、方法は、並行して又は順次に実行され得る２つの別々のプロセスから成る。一方では、ステップ５２で、測定がハプティックセンサ４８から得られる。装着型デバイスの実際の位置も、ポジショニングモジュール４６によって決定される。ステップ５３で、ハプティック測定及びデバイスの実際の位置を含むメッセージが構成され、サーバへ送られる。装着型デバイス４０ｂが複数のハプティックセンサを装備されている場合に、たとえそれらのセンサが同じ頻度でリフレッシュしないとしても、メッセージは、新しい測定がハプティックセンサから得られるたびに送られる。変形例において、デバイスのマイクロプロセッサ４２は、新しいメッセージを構成する前に、ハプティックセンサの夫々から新しい測定が得られるのを待つ。新しいメッセージが入手できる場合に、それらは、最後に知られた位置とメッセージ内で関連付けられる。変形例において、位置は、新しいメッセージが送られる前に更新される。

ステップ５４で、装着型デバイス４０ｂはリクエストをサーバへ送る。リクエストは、装着型デバイスの最後に知られた位置を含む。変形例において、ポジショニングモジュール４６は、リクエストの送信前に、装着型デバイスの実際の位置を確認する。他の変形例において、装着型デバイス４０ｂは、ユーザがトポグラフィカルゾーン内の第２位置を選択することを可能にするインターフェイスを更に装備されている。この第２位置はリクエストにおいて送られる。他の実施形態において、装着型デバイスが、局所的なハプティック測定を含む少なくとも１つのメッセージを既に送っている場合には、リクエストは第２位置を含まず、最後に送られたメッセージの位置がサーバによって第２位置と見なされるべきことを示す。ステップ５５で、装着型デバイスは、決定された遅延の間、レスポンスを待つ。遅延が終わる場合且つレスポンスが受け取られなかったならば、デバイスは状態５７に戻される。このリクエストに対するレスポンスがタイムアウトの後に受け取られるならば、レスポンスは無視される。レスポンスが受け取られると直ぐに、レスポンスは復号される。レスポンスは、レンダリングするハプティックエフェクトの記述を含む。レスポンスが一般的な方法で計算されているならば、装着型デバイスは、それを、自身のハプティックアクチュエータによりレンダリング可能なハプティックエフェクトに変換する必要があり得る。計算されたハプティックエフェクトは、ステップ５６でハプティックアクチュエータによってレンダリングされる。レンダリングが完了した後、装着型デバイスは状態５７に戻される。

図６は、非制限的な有利な実施形態に従うデバイス（４０ｂ）のようなプロセッシングデバイスで実装される、ハプティックエフェクトをレンダリングする方法６０の実施形態を図式的に示す。

初期化ステップ６１で、装着型デバイスが展開されているトポグラフィカルゾーンを表すマップが起動される。顕著なオブジェクト及びレリーフがセットされる。新しいクライアント装着型デバイスが初めて接続されるたびに、この新しいクライアントは登録される。デバイスの（登録の時点での）本当に最初の位置は、参照データとして記憶される。実際に、新たに接続されたデバイスは、絶対又は相対位置データによって自身の位置を送ることができる。変形例において、デバイスは、登録ステップにおいてハプティックセンサ及びハプティックアクチュエータの自身の記述を送る。

デバイスは、次いで、状態６７に設定される。デバイスが状態６７にあるとき、方法は、並行して又は順次に実行され得る２つの別々のプロセスから成る。ステップ６２で、サーバデバイスは、マップが設計されているトポグラフィカルゾーン上の位置に関連するハプティック測定を含むメッセージを、自身に登録されているデバイスのうちの１つから受け取る。ステップ６３で、この情報は、現在のマップを更新するために、既知のマッピングされた情報に加えられる。変形例において、新品のマップが生成される。クライアントデバイスからのハプティック測定の和は統合され、クラスタリング関数に従ってクラスタ化される。例えば、クラスタリング関数はｋ平均法に基づく。他の変形例において、クラスタリング関数は加重ボロノイ図に基づく。クラスタは、例えば、それらの測定のハプティックタイプに従って構築され得る。ハプティックタイプごとのマップの階層化は、ハプティック雰囲気を表すハプティック領域を形成している。

ステップ６４で、サーバは、クライアントからリクエストを受け取る。リクエストは、送信側のクライアントの識別、及び第２位置を含む。他の実施形態において、リクエストは第２位置を含まず、このクライアントによって送られてステップ６２で受け取られた最後のメッセージの位置を使用するようサーバに示す。ステップ６５で、サーバデバイス４０ａのマイクロプロセッサ４２は、リクエストを送った装着型デバイスに適応されたレスポンスを計算する。サーバは、リクエスト内で示された位置（以降、第２位置と呼ばれる。）から、ハプティック領域の１つ、例えば、第２位置が含まれるハプティック領域とは異なるが、第２位置から最も近いハプティック領域、までの少なくとも１つのベクトル３１を計算する。第２位置とハプティック領域との間の距離は、例えば、第２位置とハプティック領域のエッジとの間のマップ上の最小ユークリッド距離として計算される。変形例において、重心は、マップの各ハプティック領域について計算され、第２位置とハプティック領域との間の距離は、例えば、第２位置とハプティック領域の重心との間のマップ上のユークリッド距離である。変形例において、複数のベクトル３１が、第２位置から、例えば、ｎ個の最も近いハプティック領域へ向けて、計算される。なお、ｎは、例えば、２又は３又は５に等しい。変形例において、計算されるベクトル３１の数は、装着型デバイス１５に装備されるハプティックアクチュエータのタイプに依存する。

ステップ６６で、計算されたレスポンスは、リクエストが発せられたクライアントへ送られる。次いで、デバイスは状態６７に設定される。

当然、本開示は、上述された実施形態に制限されない。特に、本開示は、ハプティックエフェクトを送信する又はレンダリングする方法に制限されず、ハプティックエフェクトの記述を、少なくとも１つのハプティックセンサ及び少なくとも１つのハプティックアクチュエータを含む所与の装置に適応させる如何なる方法にも及ぶ。第１部分及び副部分を生成するのに必要な計算の実装は、ソフトウェアプログラムにおける実装に制限されず、如何なるプログラムタイプ（例えば、ＧＰＵタイプのマイクロプロセッサによって実行され得るシェーダータイプのマイクロプログラム）における実装にも及ぶ。本開示の方法の使用は、ライブ利用に制限されず、如何なる他の利用（例えば、ハードディスクのような長期メモリにおいて時間にわたる計算されたマップの変遷を記録するため）にも及ぶ。

本願で記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装され得る。たとえ単一の実施形態に関してしか論じられていない（方法又はデバイスとしてしか論じられていない）としても、論じられている特徴の実装は、他の形態（例えば、プログラム）でも実装され得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装され得る。方法は、例えば、プロセッサのような装置において実装され得る。プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能ロジックデバイスを含むプロセッシングデバイス全般を指す。プロセッサはまた、例えば、スマートフォン、タブレット、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような、通信デバイスを含む。

本願で記載される様々なプロセス及び特徴の実施は、多種多様な設備及び用途、特に、例えば、データ符号化、データ復号化、ビュー生成、テクスチャ処理、並びに画像及び関連するテクスチャ情報及び／又は深さ情報の他の処理に関連した設備及び用途において具現化され得る。そのような設備の例は、符号器、復号器、復号器からの出力を処理するポストプロセッサ、符号器へ入力を供給するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及び他の通信デバイスを含む。当然ながら、設備はモバイルであってよく、移動車両に設置さえされてよい。

その上、方法は、プロセッサによって実行される命令によって実装され得、そのような命令（及び／又は実施によって生成されるデータ値）は、例えば、集積回路、ソフトウェア担体、又は例えば、ハードディスク、コンパクトディスケット（“ＣＤ”）、光ディスク（例えば、デジタルバーサタイルディスク（digital versatile disc）若しくはデジタルビデオディスク（digital video disc）としばしば呼ばれるＤＶＤ）、ランダムアクセスメモリ（“ＲＡＭ”）、若しくはリードオンリーメモリ（“ＲＯＭ”）のような、他の記憶デバイスのような、プロセッサ可読媒体において記憶され得る。命令は、プロセッサ可読媒体において有形に具現化されたアプリケーションプログラムを形成し得る。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれら２つの組み合わせにおいて見つけられ得る。プロセッサは、従って、例えば、プロセスを実施するよう構成されたデバイス、及びプロセスを実施するための命令を有しているプロセッサ可読媒体（例えば、記憶デバイス）を含むデバイスの両方として見なされ得る。更には、プロセッサ可読媒体は、命令に加えて又はそれに代えて、実施によって生成されたデータ値を記憶し得る。

当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成し得る。情報は、例えば、方法を実施するための命令、又は記載されている実施のうちの１つによって生成されるデータを含み得る。例えば、信号は、記載されている実施形態のシンタックスの書き込み又は読み出しのための規則をデータとして運ぶよう、あるいは、記載されている実施形態によって書き込まれた実際のシンタックス値としてデータを運ぶよう、フォーマットされ得る。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用する。）又はベースバンド信号として、フォーマットされ得る。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームによりキャリアを変調することを含み得る。信号が運ぶ情報は、例えば、アナログ又はデジタル情報であってよい。信号は、知られているように、多種多様な有線又は無線リンクにわたって送信され得る。信号は、プロセッサ可読媒体において記憶され得る。

多数の実施が記載されてきた。それでもなお、様々な変更が行われ得ることが理解されるだろう。例えば、異なる実施の要素は、他の実施を生じるよう結合され、補完され、変更され、又は削除され得る。その上、当業者は、他の構造及びプロセスが、開示されているものに取って替えられてよく、結果として現れる実施が、開示されている実施形態と少なくとも実質的に同じ結果を達成するよう、少なくとも実質的に同じ方法において、少なくとも実質的に同じ機能を実施することを理解するだろう。然るに、それら及び他の実施は、本願によって考えられている。

１１〜１７ 装着型デバイス
１８ トポグラフィカルゾーン
１９ レリーフ又は顕著なオブジェクト
２１ デフォルト領域
２２〜２７ ハプティック領域
３１ ベクトル
４０ａ，ｂ デバイス
４１ バス
４２ マイクロプロセッサ
４３ 不揮発性メモリ（ＲＯＭ）
４４ ローカルメモリ（ＲＡＭ）
４５ Ｉ／Ｏインターフェイス
４６ ポジショニングシステム
４７ 電源
４８ ハプティックセンサ
４９ ハプティックアクチュエータ

Claims (15)

1. ハプティックエフェクトを表す第２データを送信する方法であって、
   トポグラフィカルゾーン内の第１位置に関連するハプティック測定を含む少なくとも１つの第１データを受け取り、
   前記トポグラフィカルゾーンのマップを生成し、該マップは、少なくとも１つのハプティック測定が関連する位置に従って該少なくとも１つのハプティック測定のトポグラフィカルクラスタを有し、
   クライアントから前記第２データを送るリクエストを受け取り、該リクエストは、前記トポグラフィカルゾーン内の少なくとも１つの第２位置を含み、
   前記マップの前記トポグラフィカルクラスタと前記少なくとも１つの第２位置とに従って計算されたハプティックエフェクトを表す前記第２データを前記リクエストに応答して送信する
   ことを有する方法。
2. 前記受け取られたリクエストは、該リクエストを送った前記クライアントのハプティックアクチュエータの記述を更に含み、
   前記第２データは、更に前記記述に従って計算される、
   請求項１に記載の方法。
3. 前記クライアントからの前記リクエストは、第２位置を含まず、該第２位置は、前記クライアントからの最後に受け取られたハプティック測定に関連する位置の値を受ける、
   請求項１又は２に記載の方法。
4. ハプティックエフェクトを表す第２データを送信するよう構成されるサーバであって、
   トポグラフィカルゾーン内の第１位置に関連するハプティック測定を含む少なくとも１つの第１データを受け取るよう構成される受信器と、
   前記トポグラフィカルゾーンのマップを生成するよう構成され、該マップは、少なくとも１つのハプティック測定が関連する位置に従って該少なくとも１つのハプティック測定のトポグラフィカルクラスタを有する、プロセッサと、
   クライアントから前記第２データを送るリクエストを受け取るよう構成され、該リクエストは、前記トポグラフィカルゾーン内の少なくとも１つの第２位置を含む、受信器と、
   前記マップの前記トポグラフィカルクラスタと前記少なくとも１つの第２位置とに従って計算されたハプティックエフェクトを表す前記第２データを前記リクエストに応答して送信するよう構成される送信器と
   を有するサーバ。
5. 前記受け取られたリクエストは、該リクエストを送った前記クライアントのハプティックアクチュエータの記述を更に含み、
   前記第２データは、更に前記記述に従って計算される、
   請求項４に記載のサーバ。
6. 前記クライアントからの前記リクエストは、第２位置を含まず、該第２位置は、前記クライアントからの最後に受け取られたハプティック測定に関連する位置の値を受ける、
   請求項４又は５に記載のサーバ。
7. 少なくとも１つのハプティックセンサ及び少なくとも１つのハプティックアクチュエータを装備されたデバイスにおいてハプティックエフェクトをレンダリングする方法であって、
   前記少なくとも１つのハプティックセンサから得られ、トポグラフィカルゾーン内の第１位置に関連するハプティック測定を含む少なくとも１つの第１データをサーバへ送り、
   ハプティックエフェクトを表す第２データを送るリクエストを前記サーバへ送り、該リクエストは、前記トポグラフィカルゾーン内の少なくとも１つの第２位置を含み、
   前記少なくとも１つの第２位置と前記トポグラフィカルゾーンのマップとに従って計算された前記ハプティックエフェクトを表す第２データを前記リクエストに応答して前記サーバから受け取り、前記マップは、少なくとも前記少なくとも１つの第１データに従って計算されるトポグラフィカルクラスタを含み、
   前記デバイスの前記少なくとも１つのハプティックアクチュエータにより前記ハプティックエフェクトをレンダリングする
   ことを有する方法。
8. 前記リクエストは、前記少なくとも１つのハプティックアクチュエータの記述を更に含む、
   請求項７に記載の方法。
9. 第２位置は前記リクエストにおいて送られず、使用される前記第２位置が、最後に送られたハプティック測定に関連する位置であることを前記サーバに示す、
   請求項７又は８に記載の方法。
10. 少なくとも１つのハプティックセンサ及び少なくとも１つのハプティックアクチュエータを装備され、ハプティックエフェクトをレンダリングするよう構成されるデバイスであって、
    前記少なくとも１つのハプティックセンサから得られ、トポグラフィカルゾーン内の第１位置に関連するハプティック測定を含む少なくとも１つの第１データをサーバへ送るよう構成される送信器と、
    ハプティックエフェクトを表す第２データを送るリクエストを前記サーバへ送るよう構成され、該リクエストは、前記トポグラフィカルゾーン内の少なくとも１つの第２位置を含む、送信器と、
    前記少なくとも１つの第２位置と前記トポグラフィカルゾーンのマップとに従って計算された前記ハプティックエフェクトを表す第２データを前記サーバから受け取るよう構成され、前記マップは、少なくとも前記少なくとも１つの第１データに従って計算されるトポグラフィカルクラスタを含む、受信器と、
    前記ハプティックエフェクトをレンダリングするよう構成される前記少なくとも１つのハプティックアクチュエータと
    を有するデバイス。
11. 前記リクエストは、前記少なくとも１つのハプティックアクチュエータの記述を更に含む、
    請求項１０に記載のデバイス。
12. 第２位置は前記リクエストにおいて送られず、使用される前記第２位置が、最後に送られたハプティック測定に関連する位置であることを前記サーバに示す、
    請求項１０又は１１に記載のデバイス。
13. コンピュータで実行される場合に、請求項１乃至３のうちいずれか一項に記載のデータを送信する方法のステップを実行するプログラムコード命令を有するコンピュータプログラム製品。
14. コンピュータで実行される場合に、請求項７乃至９のうちいずれか一項に記載のハプティックエフェクトをレンダリングする方法のステップを実行するプログラムコード命令を有するコンピュータプログラム製品。
15. コンピューティングデバイスで実行される場合に、請求項１乃至３のうちいずれか一項に記載の方法のステップを実行するプログラムコードの命令を担持する非一時的な記憶媒体。