JP2005505060A - ヒューマン−コンピュータインターフェイスにおける視覚画像による触覚調整 - Google Patents
ヒューマン−コンピュータインターフェイスにおける視覚画像による触覚調整 Download PDFInfo
- Publication number
- JP2005505060A JP2005505060A JP2003533168A JP2003533168A JP2005505060A JP 2005505060 A JP2005505060 A JP 2005505060A JP 2003533168 A JP2003533168 A JP 2003533168A JP 2003533168 A JP2003533168 A JP 2003533168A JP 2005505060 A JP2005505060 A JP 2005505060A
- Authority
- JP
- Japan
- Prior art keywords
- haptic
- model
- image
- haptic model
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【0001】
本発明は触覚ヒューマン−コンピュータインターフェイスの分野に関し、特に触覚体験の視覚情報との併合に関する。
【背景技術】
【0002】
触覚インターフェイス体験は従来から、2つの基本的な方法の内の一つを使用して生成されている。場合によっては、グラフィックまたは視覚インターフェイス体験はオブジェクトの3次元モデルから生成される。視覚表示に付随する触覚は同じ3次元モデルから生成することができる。この方法により、視覚表示に直接的に対応する触覚インターフェイス体験が生成される(何故なら、この体験は同じモデルから生成されたものであるから)。しかしながら、現実世界の視覚の品質に近似する3次元モデルを生成すると、非常に高価なものとなって多大な時間を必要とする。また現実世界の細部にまで近似するモデルは余りにも複雑で(視覚的にも触覚的にも)リアルタイムで表現することができず、有効な触覚体験が得られ難い。
【0003】
他の場合においては、視覚インターフェイス体験をまず、例えば実オブジェクトの2次元グラフィックスまたは映像により生成する。次に視覚表示に付随する触覚を加える。この方法により非常にリアルな視覚表示が得られ、そして現在の技術によりこのようなリアルな視覚画像をリアルタイムで表示することができる。
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、初期視覚画像から触覚体験を生成するのは極めて難しい。人手を使って触覚体験を生成することは、1枚の2次元写真から彫刻を創るのに似ている。この作業は可能ではあるが、信頼度の高い触覚体験を提示するには相当な時間とスキルが必要となる。2次元画像から3次元モデルを自動的に生成する方法に関する現在の研究に対して希望を持つことができるが、この技術分野における現状からすると、ほとんどの2次元画像からは信頼度の高い触覚表示を生成することができない。
【0005】
触覚インターフェイス要素を加えることにより、視覚表示に対するユーザ体験のリアル度及び実感度を大きくすることができる。また、多くの2次元画像及び画像シーケンスが在る(例えば写真、デジタル画像、映像);既存の画像に触覚を持たせるとユーザ体験を増大させることができる。従って、既存の2次元画像に付随する触覚を提示することができる触覚インターフェイス体験提示方法に対するニーズが生じている。
【課題を解決するための手段】
【0006】
本発明は既存の2次元画像に付随する触覚を提示することができる触覚インターフェイス体験提示方法を提供する。この方法は人間において視覚が触覚よりも支配的であることを利用する。人間の触知性、固有受容感覚、及び運動感覚は人間の視覚ほど木目細かなニュアンスを伝えることができず、その結果、触覚表示は、該当する視覚画像のレベルまで細かなニュアンスを持つことによって人間ユーザにとって信頼度の高いものとなる必要は無い。既存の2次元画像はヒューマン−コンピュータインターフェイスの視覚要素として使用することができる。位相幾何学的に類似するということが、触覚モデルにより2次元画像に付随して生じることが望まれる触覚体験の重要な特徴に対して許容できる近似が可能になる、ということを意味する場合、画像と位相幾何学的に類似する3次元触覚モデルを選択することができる。次に、視覚要素の画像との相互作用が触覚要素の触覚モデルとの相互作用とリンクするように、インターフェイスの視覚要素の画像と、インターフェイスの触覚要素の触覚モデルとの間に関係を確立する。一例としてボールの2次元画像は、ボールに関係する球の触覚モデルを有し、そして、カーソルが触覚モデルの表面に当たるとボールの2次元画像の画像境界での視覚カーソルの動きが触覚フォースフィードバックとリンクするような関係として確立される中心及び半径を有する。
【0007】
この方法においては、視覚画像内の関連する視覚画像またはオブジェクトにとって望ましい触覚的特徴に近似する初期触覚モデルを選択する。便宜上、記載はオブジェクト及びその該当する表示または視覚画像に関するものとし、このオブジェクトが全体画像の全て、またはほんの一部を表すことができるものとする。次に、初期触覚モデルとオブジェクト視覚画像との間の対応関係を確立する。オブジェクトの視覚画像に付随する触覚モデルは、初期触覚モデルを変形して触覚空間に生成したモデルが視覚表示のオブジェクト画像に対応するようにすることにより生成することができる。多くの最新の触覚モデル化方法とは違い、本方法は入力として詳細な3次元モデルを必要とせず、2次元画像から得られる詳細を生成触覚モデルと組み合わせて信頼度の高い触覚/視覚コンビネーションを提供する。
【0008】
本方法が提示する触覚体験は詳細な3次元モデルが提示するものよりもずっと複雑でなく、リアルタイムの触覚及び視覚レンダリングに求められる要件を緩和する。また本方法により、2次元画像から3次元モデルを生成するための、手間が掛かり、現時点で大半が不調なプロセスを回避することができる。従って、本方法により、信頼度の高い触覚体験を、最新の技術に共通する高リアリティ視覚画像に合理的なコストで加えることができる。
【0009】
利点及び画期的な性能は、この技術分野の当業者には次の記載を検討することにより明らかになる、或いは本発明を実施することにより認識することができる。本発明の目的及び利点は、添付の請求項において特に示唆されるところの手段及び組み合わせを通して実現及び達成することができる。
【発明を実施するための最良の形態】
【0010】
本発明は既存の2次元画像に付随する触覚を提示することができる触覚インターフェイス体験提示方法を提供する。この方法は人間において視覚が触覚よりも支配的であることを利用する。人間の触知性、固有受容感覚、及び運動感覚は人間の視覚ほど木目細かなニュアンスを伝えることができず、その結果、触覚表示は、該当する視覚画像のレベルまで細かなニュアンスを持つことによって人間ユーザにとって信頼度の高いものとなる必要は無い。既存の2次元画像はヒューマン−コンピュータインターフェイスの視覚要素として使用することができる。位相幾何学的に類似するということが、触覚モデルにより2次元画像に付随して生じることが望まれる触覚体験の重要な特徴に対して許容できる近似が可能になる、ということを意味する場合、画像と位相幾何学的に類似する3次元触覚モデルを選択することができる。次にインターフェイスの視覚要素の画像と、インターフェイスの触覚要素の触覚モデルとの間に関係を確立することにより視覚要素の画像との相互作用が触覚要素の触覚モデルとの相互作用とリンクするようにする。一例としてボールの2次元画像は、ボールに関係する球の触覚モデルを有し、そして、カーソルが触覚モデルの表面に当たるとボールの2次元画像の画像境界での視覚的なカーソルの動きが触覚フォースフィードバックとリンクするような関係として確立される中心及び半径を有する。
【0011】
この関係を確立させて種々の触覚要素を実現することができる。説明を分かり易くするために、この明細書における記載では、視覚要素にほぼ忠実な触覚要素が望ましいと仮定している。この技術分野の当業者であれば、本発明を使用して所望の関係を全て有する触覚要素を初期視覚画像に付与することができることが理解できるであろう。
【0012】
本発明による方法においては、視覚画像内の関連する視覚画像またはオブジェクトにとって望ましい触覚的特徴に近似する初期触覚モデルを選択する。便宜上、記載はオブジェクト及びその該当する表示または視覚画像に関するものとし、このオブジェクトが全体画像の全て、またはほんの一部を表すことができるものとする。次に初期触覚モデルとオブジェクト視覚画像との間の対応関係を確立する。オブジェクトの視覚画像に付随する触覚モデルは、初期触覚モデルを変形して触覚空間に生成したモデルが視覚表示のオブジェクト画像に対応するようにすることにより生成することができる。別の表現をすると、触覚モデルと画像との間に或る関係を確立させて画像の視覚感覚及びモデルの触覚感覚が許容できるほどに小さな不一致しか示さないようにする。多くの最新の触覚モデル化方法とは違い、本方法は入力として詳細な3次元モデルを必要とせず、2次元画像から得られる詳細を生成触覚モデルと組み合わせて信頼度の高い触覚/視覚コンビネーションを提供する。本発明の利点を生かした画像の例として、写真、写真のようにリアルな描写のコンピュータレンダリング、コンピュータグラフィックス、漫画、絵画、映像シーケンス、及び映画が挙げられる。触覚要素を付与することによる利点を生かした画像内のオブジェクトには触覚モデルが適用できる画像の全ての部分が含まれ、例えば画像の固い物、形、構造、影、及び領域が挙げられる。
【0013】
本方法が提示する触覚体験は詳細な3次元モデルが提示するものよりもずっと複雑でなく、リアルタイムの触覚及び視覚レンダリングに求められる要件を緩和する。また本方法により、2次元画像から3次元モデルを生成するためのプロセスで、手間が掛かり、現時点で大半が不調なプロセスを回避することができる。従って、本方法により、信頼度の高い触覚体験を、最新の技術に共通する高リアリティ視覚画像に合理的なコストで加えることができる。
【0014】
この技術分野の当業者にはステップに種々の順序、詳細、及び組み合わせがあることを理解できるであろうが、説明の都合上、本発明は、次のステップを考慮することにより説明することができる。
1.初期視覚画像から始める。
2.画像内の所望のオブジェクトに位相幾何学的に類似する初期触覚モデルを選択する。
3.画像内のオブジェクトと初期触覚モデルとの間に対応関係基準を確立する。
4.触覚及び視覚空間における対応関係基準が十分に満たされるように、触覚モデルを生成する初期触覚モデルの変形を決定する。
【0015】
各ステップについて以下に詳細に説明し、続いて、さらに本発明を記載するための例を示す。
[適切な初期触覚モデルを選択する]
オブジェクトに位相幾何学的に類似する触覚モデルを初期触覚モデルとして選択することができる。全体的なサイズ、回転、スケール、モデル内での相対的なスケール等の属性を本発明に従って変形させて信頼度の高い触覚モデルを生成する。位相幾何学的に類似することにより初期触覚モデルが適切な変形の特徴を確実に備えることができる。例えば、立方体は多くの6面体の初期モデルとして機能することができる、一つの4ドアセダンは多くの4ドアセダンの初期触覚モデルとして機能できる、などといったことが挙げられる。
【0016】
初期触覚モデルを人間を介在させて選択することにより、操作者の視覚的及び幾何学的体験に基づいた選択を行なうことができる。別の方法として、最新の画像認識技術を利用してオブジェクトの位相幾何学的特徴を認識することができ、適切な初期触覚モデルの自動選択を可能にする。用意された3Dオブジェクトのライブラリにアクセスする単純な例では、利用可能なオブジェクトのサムネイル画像の内の一つが所望のオブジェクトと類似することが判明するまでサムネイル画像をスクロールする。この例によれば、各オブジェクトに関連する単語または熟語を含むデータベースを生成することができる。例えば、「car」、「auto」「automobile」、または「vehicle」という単語を入力すると、選択を自動車及びトラックのモデルにのみ限定する形で減らすことができる。そこからユーザは「2−door」または「SUV」を入力して選択をさらに減らすことができる。最後に、この選択を自動的に行なえるように画像認識を使用する。考えられる3Dモデルをほんの幾つかの、またはたった一つの選択肢にまで減らした後、ユーザは必要に応じて手動でオブジェクトの最後の選択を行なう機会を有することができる。
【0017】
以下にさらに示す例により初期触覚モデルの選択について説明する。
[対応ポイントを設定する]
一旦、初期触覚モデルが選択されると、初期触覚モデルとオブジェクト画像との間に対応関係を確立することができる。例えば、箱の見える角を立方体初期触覚モデルの角に一致するように設定する。ポイントは、例えば立方体の角として定義される、またはユーザが特定できるようにユーザに委ねられる。ポイントはユーザにより、例えば画像上のポイント及び初期触覚モデル上の該当するポイントを選択することにより設定することができる。ポイントはまた、コンピュータの支援により、例えば画像認識により、或いは一旦対応関係が一連のフレームのうちの一フレームにおいて確立されたときの形状追跡により、該当するポイントを決定することによって設定することもできる。この明細書において使用されるように、対応ポイントはモデルか画像のポイント、モデルか画像の表面、モデルか画像の半径または他のパラメータ、或いはモデルと画像とを接続するものとして特定することができる他の全ての特徴を含む。以下にさらに示す例において視覚空間と触覚空間との間の対応ポイントの確立方法を示す。
[変形触覚モデルを生成する]
次に、初期触覚モデルを変形することにより、画像中のオブジェクト用の信頼度の高い触覚モデルを生成する。この変形は種々の態様にて進行するが、この場合、その変形は、画像平面への生成モデルの投影が画像中のオブジェクトの表示に対応するように初期触覚モデルの変形を決定する目的で行なわれる。一例として、種々の態様で触覚モデルを変形させる一連のパラメータ化された演算Oを定義する。Oにおける演算はモデルとの関係で意味のある変形、例えば種々の軸に沿ったスケール、種々の軸を中心とする回転、モデルを構成する部分の間の相対的スケール、形状間の距離などを含む変形であればどのような変形であっても良い。画像平面への触覚モデルの投影を生成する演算子Pを定義する。次にJが画像中のオブジェクトであり、そしてHが初期触覚モデルであるとすると、問題はP(O(H))がJに近似するようにOに用いられるべき一連のパラメータを見付け出すことである。P(O(H))とJとの間の差をエラーメトリックとして定義すると、最新のコンピュータ技術によりエラーメトリックを最小にするパラメータ解が導出される。例えばFosdick, L.D., E.R. Jessup,C.J.C. Schauble,及びG. Domik [1996]による「高性能科学計算入門」, M.I.T. Press, Cambridge, MA; Mitchell, M. [1998]による「遺伝アルゴリズム入門」,M.I.T. Press, Cambridge, MA; Koza, J., F.H. Bennett III, D.Andre,及びM.A. Keane, [1999]による「遺伝子プログラミングIII−ダーウィンの発明及び問題解決法」, Morgan Kaufmann Publishers, San Francisco, CAを参照されたい。
[画像シーケンスへの拡張]
本発明の方法により画像シーケンスに付随する触覚モデルを効率的に生成することもできる。一般的に、初期触覚モデルはシーケンスの各オブジェクトに対して1度だけ選択する必要がある。対応ポイントは操作者により各画像中に特定される。画像追跡技術は、オブジェクトがシーケンス内で画像毎に変化するのに合わせてポイント位置を追跡することにより、このタスクにおいて操作者に代わって機能し、または操作者をアシストする。また、触覚モデルを生成するために一つの画像に関して設定されたパラメータを使用して隣接画像の触覚モデル変形の解から始めることができるので、必要な解の算出時間を短くすることができる。
[触覚モデルを2D画像と一体化する]
ユーザに提供されるインターフェイスは2つの空間、すなわち視覚空間及び触覚空間を有すると考えることができる。視覚空間はユーザに対する表示で表現され、この場合この表示は視覚空間内のユーザ位置を示す可動矢印のような視覚キューで行なわれる。触覚空間は適切な入出力デバイスにおけるユーザに対する力の伝達で表現され、ユーザに力を伝えて触覚空間の力に対するユーザ位置を示す。本方法により、生成触覚モデルを触覚空間に配置してディスプレイ平面への生成触覚モデルの投影がディスプレイにおけるオブジェクトの視覚表示に対応するようにすることができる。その結果、視覚空間のオブジェクトに近づく視覚カーソルが触覚空間のオブジェクトの触覚モデルに近づく触覚カーソルに一致する。
【0018】
2次元視覚空間に加える3次元触覚空間の奥行きは幾つかの方法により提供することができる。例えば奥行きは、全ての触覚モデルがリンクされているとすると、触覚モデルから求めることができ、全てのオブジェクトが立方体の表面に触れるように位置しているとすると、立方体の触覚モデルにより触覚空間の全てのオブジェクトの奥行き関係を定義することができる。別の構成として、モデルが互いに接続されていないとすると、触覚空間はオブジェクトの相対的奥行きを定義する必要が無い。その代わり、視覚カーソルが最初にオブジェクトに触れる時の触覚カーソルの奥行きにより、該当する触覚モデルの初期奥行きを定義することができ、そのモデルとの次の触覚相互作用における奥行きは、ユーザが別のオブジェクトに触れるまでその初期奥行きと関係付けられる。
【0019】
視覚キューはユーザがユーザ用の触覚空間及び視覚空間の一体化を体験するのにも役立つ。例えば、視覚カーソルグラフィックは触覚奥行きを伝えるのに役立つ。視覚カーソルグラフィックは、最も近い触覚表面に垂直に維持される軸によって描写することができる。視覚カーソルグラフィックは、視覚空間では見えない触覚モデル領域に触れると消える機能を有する(例えばオブジェクトの裏側を感じるときに)ので、ユーザは2次元でしか見ることが出来ないものを3次元で感じることができる。視覚カーソルは、触覚空間のオブジェクトが触覚空間のカーソルの位置を塞いでしまうと簡単に消えるように作製することもできる。これは、例えばグラフィックス・デプス・バッファリング技術を用いれば可能になる。
【0020】
触覚モデルは、他の触覚属性を定義して生成触覚モデルに適用することによりユーザにとってより一層リアルになるように作製することができる。例えば、表面に所定の硬度、所定の触感、摩擦、でこぼこ分布、粘度、突出点などを付与する。また、画像及び触覚モデルとの相互作用により、一方と相互作用して他方に影響を及ぼすようにすることができる。例えば、触覚空間の力に従って表面に触れる、表面を押す、引っ張る、または変形させると、ディスプレイにフィードバックされて画像の変形を生じさせ、ユーザが触覚空間で行なった知覚変化を反映させることができる。
<実施例>
図3は本発明の一の実施形態を示すフロー図である。この方法は一つの画像または画像シーケンス(301)で始まる。初期触覚モデルを画像認識(302)、手動選択または手動定義(303)、或いはこれらの組み合わせにより選択する。一旦、初期触覚モデルを選択(304)すると、触覚モデルは本画像と一致する(305)ように変形される。
【0021】
この変形は触覚モデルを手動でラフにポジショニング及びスケーリングすることから開始するが(306)、この開始により残りのタスクが容易になる場合がある。次に、図においてアンカーポイントと呼ばれる対応点を触覚モデル及び視覚画像上で特定する(307)。次に、許容エラーメトリックを生成する変形パラメータの解により変形を決定するすると(308)、正しくポジショニングされ、かつスケーリングされた触覚モデルが画像内のオブジェクトに対して生成される(309)。触覚モデルを使用して2次元画像の奥行き情報を生成すると(313)、元の2次元画像に連動して3次元で動くカーソルを適切に表示することができる(314)。
【0022】
この方法を画像シーケンスに適用し、そしてオブジェクトが次の画像に存在する場合、現画像の対応関係をスタートとして使用することにより触覚モデルと次の画像との間の対応関係の確立が一層容易になる(311)。次の画像の変形の解も、現画像の変形の解をスタートとして使用することによって、より容易に得られるという利点がある(312)。初期触覚モデルに対応関係及び変形の解を加えたものを次の画像に使用してその触覚モデルを求める(310)。
【0023】
本発明の実施形態をC++形式で記述したが、この際、OpenGL,Novint Technologies, Inc.が提供するe−TouchTMアプリケーションプログラミングインターフェイスアルファバージョン1、そして触覚デバイスとしてSensable Technologiesのファントム(Phantom)を使用した。これをマイクロソフトウィンドウズNTオペレーティングシステム搭載の最新のパーソナルコンピュータで動作するマイクロソフトビジュアルC++を使用してコンパイルした。
【0024】
VRML,3DStudioMax,STL−Stereolithography及び他のものを含む多くの異なるファイル形式のファイルを含む3Dモデルライブラリをコンパイルした。従来のイメージ・ビューイング・プログラムを使用して、それらのサムネイル画像を見ることによりオブジェクトをブラウズした。モデルが選択されると、特定のファイル形式からトライアングルリストを読み出し、次にそれらをメモリに或る形式で記憶することにより3Dモデルファイルを触覚表示に変換するが、この記憶によりこれらのトライアングルから全ての任意のポイントに対する作用力の解析が容易になる。
【0025】
ユーザが(触覚デバイスを使用して)3Dモデル上の着目しているポイントを選択し、次に2D画像または2D画像群上の該当するポイントを選択する操作を可能にするカスタムエディタをノビント・テクノロジーズ・インコーポレイテッド(Novint Technologies, Inc.)が提供するe−TouchTMプログラミング環境を使用して書いた。
【0026】
各3Dオブジェクトと各2D画像との間の正しい変換の解を求めるために、次の変数を各場合について算出した:x軸方向のスケール、y軸方向のスケール、z軸方向のスケール、及びx、y及びz軸回りの規則正しい回転。上述のカスタムエディタはこれらの変数の解を求めるために必要な情報の全てを含む出力ファイルを生成した。次にこのファイルをMatlab v5.2用に書かれたソルバープログラムに入力した。適切なソフトウェアの一例がこの記述に続く。ソルバープログラムはランダムコンポーネントを有するサーチアルゴリズム(浮動小数点数アレイに加えられるランダムな変化の繰り返しサイクル)を使用して各3Dオブジェクトと各2D画像との間の変数の許容解を求める。ソルバープログラムはこれらの変数の全てを含むファイルを出力する。触覚ビューアプログラムをe−TouchTMプログラミング環境を使用して書いた。触覚ビューアプログラムによりユーザは2D画像及び3Dオブジェクトの組み合わせを眺め、かつ、触れることができる(触覚オブジェクトモデルを使用することによっても既存の画像ビューイングアプリケーションを増やすことができる)。
【0027】
e−TouchTMライブラリによって2D画像/3Dオブジェクトの組み合わせを実施することによる利便性が一層大きくなる。このライブラリは多くの内蔵機能を備え、これらの機能はユーザが信頼度の高い効果的な触覚/視覚体験を得るために非常に有効である。ユーザは視点、カーソルの外観、照明だけでなくオブジェクトの位置、回転、拡大縮小、及び触覚感覚を3Dメニューインターフェイスを使用して変えることができる。
【0028】
各オブジェクトの拡大縮小、回転、及び(x,y,z)位置をソルバープログラムを使用して設定することができる。しかしながらz位置(z軸はコンピュータ画面に垂直な軸を指す)は或る範囲に亘って変化することができ、かつ、それに加えて良好な触覚体験を提示することもできる。例えば、配置した3Dモデルの最も近い、または遠いポイントを2D画像のz位置に一致させる、或いはそれらの間のいずれかのポイントに一致させることができる。e−TouchTMプログラミング環境を使用すると可変z位置が可能になり、これにより、カーソルが2D画像のz平面に初めて触れると、カーソルがなるべくオブジェクトに触れているように3Dオブジェクトの全z位置がリセットされる。これにより画像に入り込み、そして非直接的に或るものに触れてしまって方向感覚が失われるという問題を回避することができる。
【0029】
この例におけるe−TouchTMプログラミング環境に書き込まれた別の補助によりユーザに視覚キューが与えられ、この視覚キューはカーソルが画像中のオブジェクトにより塞がれたとき、またはオブジェクトの周りに達したときに信号を発するようになっている。この操作をAdobeフォトショップv5.0のバッチモード画像処理を使用することにより実行して、全ての2D画像から単純な黒及び白の画像を生成する。これらの黒及び白の画像をしきい値を境に分けて3Dモデルを有する全てのオブジェクトが白で、残り(背景)が黒になるようにする。これらの画像を使用してOpenGLステンシルを生成するが、この場合、このステンシルをe−TouchTMプログラミング環境で使用して画像内のオブジェクトの背後にあるカーソルの一部を塞ぐ。カーソルがオブジェクトの背後にあるかどうかの判断はカーソル位置及び触れているオブジェクトの表面法線に基づく。表面法線が負のz方向(すなわち、観察者から離れる方向)に向いており、そして描いたカーソルの一部がステンシルの白領域に存在するとき、この部分は描かれない。この技術がもたらす結果により、カーソル(この場合、カーソルは開いた手の形をしている)は、その一部が画像内のオブジェクトに塞がれる場合を除いて常に見ることができる(実際に2D画像の中に存在するように見える)ということになる(2D画像内のオブジェクトが実際の3Dオブジェクトであるかのように見える)。図9はこの技術を示している。カーソルの視覚位置を調整して写真内のオブジェクトと触覚モデルとの間の食い違いを補償することもできる。例えばモデルに触れると、見えるカーソルはいつでもオブジェクト画像に追従することができ、これによりユーザの触覚/視覚体験に対する全ての障害を効率的に減らすことができ、この場合、触覚/視覚体験は、オブジェクトに触れていないカーソルが見えるものの触覚反力を感じることにより引き起こされる。
<実施例>
[単一オブジェクト、単一画像の例]
図1(a,b,c,d)は本発明を単一画像中の単一オブジェクトに適用したときの様子を示している。図1bはコンピュータ画面のような表示媒体に表示される画像を示す。オブジェクトは画像において101で示す。この例においては、オブジェクト101は画像中では矩形多面体として示され、観察者に対して回転し、傾いている。図1bは、相互作用するとして定義された6つの面を有する立方体の単純な触覚モデルが力(フォース)フィードバックインターフェイスであることを示している。触覚モデルは立方体角の各々に位置するハンドルを備える。これらのハンドルは共同して立方体の触覚表面を定義することになる。これらのハンドル及びハンドルに従って触覚モデルを変形させる規則は一般的に、触覚モデルが表現するオブジェクトの範囲を決定する。
【0030】
図1cは触覚モデルを示し、この場合、そのハンドルがオブジェクトの視覚表示の角に一致する形で配置される。図1dは視覚画像に付加される結果としての触覚体験を示し、この場合、触覚モデルは太い破線で示す触覚空間において触覚体験が視覚画像に関連付けられるように位置させられる。
【0031】
視覚ディスプレイにおけるオブジェクトの視覚表示の角に対するカーソル運動を、触覚空間における触覚モデルの該当ハンドルに対する触覚カーソルに合わせることができる。オブジェクトの視覚表示と触覚モデルハンドルとの間の対応関係を確立することにより、同じ初期触覚モデルを使用して画像中の多くの異なる位置及び姿勢のオブジェクトのクラス内の多くの異なるオブジェクトに対して触覚体験を提示することができる。単一立方体モデルは図に示すように、多くのサイズ及びアスペクト比の立方体及び矩形多面体に対応付けることができる。さらに、同じ立方体モデルを捻り、そして縮小拡大して6面で閉じたオブジェクトの全てに、これらが例え捻じれていたり、他の複雑構造を有しているとしても、これらに対応付けることができる。この例は、3次元触覚モデルが単純であるオブジェクトを示しているが、もっと複雑な立方体状のオブジェクト(例えば曲線の辺を有する、或いは頂点が相対的に捻れている)も、触覚モデルのハンドルとオブジェクトとの間の対応関係により触覚体験がオブジェクトの忠実な触覚モデルの触覚補償範囲内で提示可能である限り、同じ基本触覚モデルを使用することができる。この方法は最新の方法よりも低い開発コストで既存の画像に対して許容できる触覚モデルを生成することができ、そして従来の触覚モデルよりも単純で、従って、計算能力をそれほど必要としない触覚モデルを生成することができる。
[単一オブジェクト、画像シーケンスの例]
図2(a,b,c,d)は本発明の方法を画像シーケンス中の一オブジェクトに適用したときの様子を示している。オブジェクトは左から右に移動し、そして画像シーケンスの間で回転する。前述同様に、オブジェクトの特徴を表す単純触覚モデルを選択することができる。各画像に対して、単純触覚モデルは図2aに示すようにオブジェクトの特徴との間で確立される対応関係を有する。最新の画像処理技術により、幾つかの後続の画像における対応関係が初期画像に対して確立された対応関係から生成されるので、触覚体験の提示コストをさらに下げることができる。オブジェクトが図2b,2c,2dに示すシーケンスの中で移動し、そして回転すると、触覚モデルが変形されて触覚空間のポイントと視覚画像のポイントとの間の整合が維持される。
【0032】
従って本発明の方法により画像シーケンスに触覚体験を付与することができ、この場合、単一画像例において説明したものよりもずっと効率が高くなるという利点が生じ得る。既存の画像シーケンス、例えば既存のコンピュータアニメーションは本発明を実施することにより触覚体験が付与されて大きく進化することができる。動くオブジェクトに対する人間の知覚は止まっているオブジェクトに求められる正確なレンダリングよりも低いレンダリングしか必要としない。その結果、本発明が必要とする触覚モデルのオブジェクトに対する整合性の正確度はさほど高くなくても良く、本発明により動くオブジェクトに対してリアルな触覚モデルを提供することができる。
[複数オブジェクト画像シーケンスの例]
図4は、異なる視点から眺めたときの、テーブル及び椅子からなる画像シーケンスを示している。図5において3つの椅子及び3つのテーブルにより単純化して示される触覚モデルライブラリを参考にして椅子及びテーブル用の初期触覚モデルを選択することができる。図6は選択された触覚モデルを示している。これらは位相幾何学的に椅子及びテーブルに類似しているが同じではない(限定された範囲の単純化ライブラリを考慮すると)。図7は画像の中のテーブル上のポイントと、選択した触覚モデル上のポイントとの間に確立される対応関係を示している。次に変形を決定して触覚モデルを変形させて画像中のテーブルに一致させる。このプロセスをシーケンスの全ての画像に対して繰り返すことができる。図8は各画像に対するテーブルの変形位置を示している。これらの変形はマットラブ・ソルバー(Matlab solver)により行なった。同様のプロセスを椅子に対して行なう。画像中のオブジェクトの形状が変わらない場合には、同じ初期触覚モデルを各画像に対して使用することができる。対応関係にあるポイントを各画像中に手動にて設定する、または適切な画像処理ソフトウェアにより画像に亘って追跡することができる。
【0033】
単に本発明の特定の実施形態を示すために、上述した特定のサイズ及び備品を引用している。本発明の使用には、異なるサイズ及び特徴を有する構成要素の使用が含まれることを理解されたい。本発明の技術範囲はこの明細書に添付の請求項により定義することができる。
[コンピュータプログラム例]
【0034】
【表1】
【図面の簡単な説明】
【0035】
【図1】a,b,c,dは触覚モデル、視覚画像、及びこれらの間の対応関係を模式的に表したものである。
【図2】a,b,c,dは画像シーケンスのオブジェクトに適用される本発明を模式的に表したものである。
【図3】本発明の一実施形態のフロー図である。
【図4】異なる視点から眺めたときの、テーブル及び椅子を含む画像シーケンスを示す。
【図5】触覚モデルの単純化したライブラリを示す。
【図6】図4のオブジェクトに位相幾何学的に類似するように選択された触覚モデルを描写したものである。
【図7】画像中のオブジェクト上のポイントと選択した触覚モデル上のポイントとの間に確立された対応関係を示す。
【図8】自動的に変形させて図4の画像に対応させたテーブルの触覚モデルの画像シーケンスを示す。
【図9】プロセスの中で、画像中のテーブルの底に触れようとし、続いて実際に画像中のテーブルの底に触れ、隙間が塞がれる視覚/触覚カーソルの画像を示す。
Claims (29)
- オブジェクトの2次元画像に対応するヒューマン−コンピュータインターフェイスの3次元触覚要素を生成する方法であって、
a)触覚モデルライブラリから前記オブジェクトと位相幾何学的に類似する初期触覚モデルを選択し、
b)3次元初期触覚モデルの一連の対応ポイントと、前記オブジェクトの前記2次元画像の一連の対応ポイントとの間に対応関係を確立し、
c)最終触覚モデルにおける対応ポイントの2次元投影が前記オブジェクトの前記2次元画像における前記対応ポイントと実質的に一致するように前記初期触覚モデルを変形させることにより最終触覚モデルを生成することを備える方法。 - 前記ライブラリから選択することは、自動画像認識を使用して前記オブジェクトに類似する2次元投影を有する3次元モデルを選択することを含む、請求項1記載の方法。
- 前記対応関係を確立することは、前記初期触覚モデルの表示がユーザに見えるようにし、そして、前記ユーザから前記初期触覚モデルにおけるポイントの指定を受け入れて前記初期触覚モデルにおけるポイントを前記オブジェクトの表示におけるポイントに一致するように配置することを含む、請求項1記載の方法。
- 前記ユーザから前記初期触覚モデルにおけるポイントの指定を受け入れて前記初期触覚モデルにおけるポイントを前記オブジェクトの表示におけるポイントに一致するように配置することは、カーソルの位置をモニターし、前記触覚モデルにおける前記カーソルの前記位置を前記ユーザからの指示に応答する形の対応ポイントとして特定することを含む、請求項3記載の方法。
- 前記初期触覚モデルを変形させることは、一連のパラメータ化された演算に従って前記初期触覚モデルを変形し、2次元投影における対応ポイントが前記オブジェクトの前記画像における前記対応ポイントの誤差メトリック内に収まる最終触覚モデルを生成する演算パラメータを設定することを含む、請求項1記載の方法。
- 前記一連のパラメータ化された演算が、軸回りの回転、軸方向のスケール、前記モデルの部分間の相対的スケール、及び位置のうちの一つ以上を含む、請求項5記載の方法。
- 前記オブジェクトの前記画像は画像シーケンスのうちの一つであり、方法は更に、前記シーケンスの他の画像におけるオブジェクトの画像に対応ポイントを設定し、前記触覚モデル対応ポイント及び前記シーケンスの前記他の画像の各々における前記オブジェクトに対して設定された前記対応ポイントに従って、前記シーケンスの他の画像のオブジェクトに対する触覚モデルを生成することを備える、請求項1記載の方法。
- 2次元視覚空間及び生成された3次元触覚空間を有するヒューマン−コンピュータインターフェイスを提供する方法であって、
a)触覚モデルライブラリからオブジェクトと位相幾何学的に類似する初期触覚モデルを選択し、
b)3次元初期触覚モデルの一連の対応ポイントと、前記オブジェクトの2次元画像の一連の対応ポイントとの間に対応関係を確立し、
c)最終触覚モデルにおける対応ポイントの2次元投影が実質的に前記オブジェクトの前記2次元画像における前記対応ポイントと一致するように前記初期触覚モデルを変形させることにより最終触覚モデルを生成し、
d)前記触覚空間における触覚カーソルと前記視覚空間における視覚カーソルとの間に対応関係を確立し、
e)ユーザによる入力に応答して触覚カーソル位置及び視覚カーソル位置を変化させ、
f)前記触覚モデル及び前記触覚モデルに対する前記触覚カーソルの位置に従って前記ユーザにフォースフィードバックを提供することを備える方法。 - 方法は更に、前記視覚カーソルの前記位置を前記2次元画像に重ねられたカーソルグラフィックにより前記ユーザに対して表示し、前記触覚モデルに対する前記触覚カーソルの前記位置に応じて前記カーソルグラフィックを変化させることを備える、請求項8記載の方法。
- フォースフィードバックを提供することは、前記2次元画像に対応する前記触覚モデルの前記2次元投影に前記触覚カーソルの前記位置を設定し、前記触覚カーソルが最初に触れる前記触覚モデルの一部の前記触覚空間における奥行きとなるように、前記触覚カーソルの投影に対する奥行きを設定することを含む、請求項8記載の方法。
- 視覚画像におけるオブジェクトに対応する触覚モデルを生成する方法であって、
a)一連の触覚モデルから触覚モデルを選択し、ここで、前記選択した触覚モデルが前記オブジェクトの所望の触覚形態に近似し、
b)前記選択した触覚モデルの特徴と前記画像における前記オブジェクトの表示との間に対応関係を確立し、
c)前記選択した触覚モデル及び前記対応関係から触覚モデルを生成することを備える
方法。 - 前記一連の触覚モデルは複数の触覚モデルを含み、これらの複数の触覚モデルの各々はオブジェクトのクラスに関連し、かつ前記関連クラス内のオブジェクトの触覚知覚範囲内で触覚モデルを生成するように調整可能な単純化触覚モデルを表す、請求項11記載の方法。
- 前記画像は2次元画像を含む、請求項11記載の方法。
- 前記画像は2次元画像シーケンス内の2次元画像を含む、請求項11記載の方法。
- 前記一連の触覚モデルにおける触覚モデルはハンドルを含み、対応関係を確立することは、前記画像における前記オブジェクトの表示の中に、前記触覚モデルの前記ハンドルに対応するインデックスポイントを特定することを含む、請求項11記載の方法。
- 前記ハンドルは前記触覚モデルの不連続ポイントを含む、請求項15記載の方法。
- 前記ハンドルは前記触覚モデルのスケールを特定するポイントを含む、請求項15記載の方法。
- 前記ハンドルは前記触覚モデルの回転を特定するポイントを含む、請求項15記載の方法。
- 触覚モデルを生成することは、
a)前記オブジェクトの前記表示における前記インデックスポイントからなる画像におけるロケーションから前記選択した触覚モデルの前記ハンドルからなる触覚空間におけるロケーションを設定し、
b)前記ハンドルからなる触覚空間における前記ロケーション及び前記選択した触覚モデルから触覚モデルを生成することを含む、請求項15記載の方法。 - 前記触覚モデルを生成することは、前記触覚空間における前記生成した触覚モデルの前記ハンドルのロケーションが前記画像における前記オブジェクトの表示の前記インデックスポイントのロケーションに対応するように、前記選択した触覚モデルを調整することにより触覚モデルを生成することを含む、請求項15記載の方法。
- 前記選択した触覚モデルを調整することは、前記触覚モデルをスケーリングする、前記触覚モデルをポジショニングする、前記触覚モデルを回転させる、前記触覚モデルをストレッチさせる、前記触覚モデルを捻る、及び前記触覚モデルを変形することのうちの少なくとも一つを含む、請求項20記載の方法。
- 視覚画像シーケンスにおける一のオブジェクトに対応する触覚モデルを生成する方法であって、
a)一連の触覚モデルからある触覚モデルを選択し、ここで、前記選択した触覚モデルが前記オブジェクトの所望の触覚形態に近似しており、
b)前記選択した触覚モデルの特徴と前記シーケンスの第1画像における前記オブジェクトの表示との間に対応関係を確立し、
c)前記選択した触覚モデル及び前記対応関係から前記第1画像の触覚モデルを生成し、
d)前記シーケンスの第2画像における前記オブジェクトの表示の変化を求め、
e)前記選択した触覚モデル、前記対応関係、及び前記変化から前記第2画像の触覚モデルを生成することを備える方法。 - 視覚画像の複数のオブジェクトに対応する触覚モデルを生成する方法であって、前記視覚画像の各オブジェクトに対して、
a)一連の触覚モデルから触覚モデルを選択し、ここで、前記選択した触覚モデルが前記オブジェクトの所望の触覚形態に近似しており、
b)前記選択した触覚モデルの特徴と前記画像における前記オブジェクトの表示との間に対応関係を確立し、
c)前記選択した触覚モデル及び前記対応関係から触覚モデルを生成することを備える方法。 - オブジェクトの2次元画像に対応するヒューマン−コンピュータインターフェイスの3次元触覚要素を生成する方法であって、
a)触覚モデルライブラリから前記オブジェクトと位相幾何学的に類似する初期触覚モデルを選択し、
b)3次元初期触覚モデルの一連の対応ポイントと前記オブジェクトの前記2次元画像の一連の対応ポイントとの間に対応関係を確立し、
c)触覚モデルの2次元投影と前記オブジェクトの前記2次元画像との間のエラーを求め、ここで、前記触覚モデルが一連のパラメータ化した演算を前記初期触覚モデルに適用することにより決定され、
d)エラー許容範囲内のエラーに対応する触覚モデルを生成する前記パラメータ化された演算に対するパラメータを設定することを備える方法。 - 2次元画像に対応するヒューマン−コンピュータインターフェイスの3次元触覚要素を生成する方法であって、
a)触覚モデルライブラリから前記オブジェクトと位相幾何学的に類似する3次元触覚モデルを選択し、
b)前記2次元画像との相互作用が前記3次元触覚モデルとの相互作用にリンクするように、前記2次元画像と前記3次元触覚モデルとの間に関係を確立することを備える方法。 - 前記2次元画像との相互作用は、ユーザによる入力デバイスの操作に応答する前記画像の視覚表示におけるカーソルの動きを含み、前記3次元触覚モデルとの相互作用は、ユーザによる入力デバイスの操作に応答して前記入力デバイスにフィードバックされるフォースを含む、請求項25記載の方法。
- ユーザが前記3次元触覚モデルに加えるフォースが前記2次元画像の表示に影響するように相互作用がリンクされる、請求項25記載の方法。
- 前記関係を確立することは、前記3次元触覚モデルと前記2次元画像との間の知覚的不一致が最小化されるように、前記3次元触覚モデルと前記2次元画像との間に対応関係を確立することを含む、請求項25記載の方法。
- 前記関係を確立することは、前記画像の平面への前記触覚モデルの2次元投影と前記2次元画像との間の相違を表すエラーが最小化されるように、前記3次元触覚モデルと前記2次元画像との間に対応関係を確立することを含む、請求項25記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/971,379 US7225115B2 (en) | 2001-10-04 | 2001-10-04 | Coordinating haptics with visual images in a human-computer interface |
PCT/US2002/031536 WO2003030037A1 (en) | 2001-10-04 | 2002-10-02 | Coordinating haptics with visual images in a human-computer interface |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005505060A true JP2005505060A (ja) | 2005-02-17 |
JP4199663B2 JP4199663B2 (ja) | 2008-12-17 |
Family
ID=25518303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003533168A Expired - Fee Related JP4199663B2 (ja) | 2001-10-04 | 2002-10-02 | ヒューマン−コンピュータインターフェイスにおける視覚画像による触覚調整 |
Country Status (7)
Country | Link |
---|---|
US (2) | US7225115B2 (ja) |
EP (1) | EP1444615A4 (ja) |
JP (1) | JP4199663B2 (ja) |
KR (1) | KR20040048932A (ja) |
CN (1) | CN1659551A (ja) |
CA (1) | CA2461724A1 (ja) |
WO (1) | WO2003030037A1 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6985145B2 (en) * | 2001-11-09 | 2006-01-10 | Nextengine, Inc. | Graphical interface for manipulation of 3D models |
US8010180B2 (en) * | 2002-03-06 | 2011-08-30 | Mako Surgical Corp. | Haptic guidance system and method |
US11202676B2 (en) | 2002-03-06 | 2021-12-21 | Mako Surgical Corp. | Neural monitor-based dynamic haptics |
US8996169B2 (en) | 2011-12-29 | 2015-03-31 | Mako Surgical Corp. | Neural monitor-based dynamic haptics |
WO2003077101A2 (en) | 2002-03-06 | 2003-09-18 | Z-Kat, Inc. | System and method for using a haptic device in combination with a computer-assisted surgery system |
US7181685B2 (en) * | 2004-03-24 | 2007-02-20 | Rex Sandwith | XML generator for objects with binary branching topology |
CN101416189B (zh) * | 2006-03-28 | 2011-11-16 | 西门子公司 | 考虑拓扑结构和可视化预定值规划技术装置的方法 |
KR100860412B1 (ko) * | 2007-02-02 | 2008-09-26 | 한국전자통신연구원 | 촉각체험 서비스 방법 및 그 시스템 |
KR100835297B1 (ko) * | 2007-03-02 | 2008-06-05 | 광주과학기술원 | 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템 |
BRPI0804355A2 (pt) * | 2008-03-10 | 2009-11-03 | Lg Electronics Inc | terminal e método de controle do mesmo |
US20090251421A1 (en) * | 2008-04-08 | 2009-10-08 | Sony Ericsson Mobile Communications Ab | Method and apparatus for tactile perception of digital images |
EP2741177B1 (en) | 2008-07-15 | 2019-06-26 | Immersion Corporation | Systems and Methods for Transmitting Haptic Messages |
US20100214243A1 (en) * | 2008-07-15 | 2010-08-26 | Immersion Corporation | Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface |
US8009022B2 (en) * | 2009-05-29 | 2011-08-30 | Microsoft Corporation | Systems and methods for immersive interaction with virtual objects |
KR20110051044A (ko) * | 2009-11-09 | 2011-05-17 | 광주과학기술원 | 사용자에게 3차원 객체의 촉감 정보를 제공하는 방법 및 장치 |
US9384308B2 (en) * | 2010-01-05 | 2016-07-05 | Bentley Systems, Inc. | Multi-dimensional artifact assemblage for infrastructure and other assets with interface node mediators |
US20120327006A1 (en) * | 2010-05-21 | 2012-12-27 | Disney Enterprises, Inc. | Using tactile feedback to provide spatial awareness |
US8297435B2 (en) | 2010-06-22 | 2012-10-30 | Ncr Corporation | Methods and apparatus for germicidal irradiation of checkout system surfaces |
US8798534B2 (en) | 2010-07-09 | 2014-08-05 | Digimarc Corporation | Mobile devices and methods employing haptics |
US8710968B2 (en) | 2010-10-07 | 2014-04-29 | Motorola Mobility Llc | System and method for outputting virtual textures in electronic devices |
US8716973B1 (en) | 2011-02-28 | 2014-05-06 | Moog Inc. | Haptic user interface |
EP2777034B1 (en) | 2011-11-08 | 2018-05-30 | Koninklijke Philips N.V. | Interacting with a three-dimensional object dataset |
US8493354B1 (en) | 2012-08-23 | 2013-07-23 | Immersion Corporation | Interactivity model for shared feedback on mobile devices |
US8711118B2 (en) | 2012-02-15 | 2014-04-29 | Immersion Corporation | Interactivity model for shared feedback on mobile devices |
US8570296B2 (en) | 2012-05-16 | 2013-10-29 | Immersion Corporation | System and method for display of multiple data channels on a single haptic display |
US9280206B2 (en) * | 2012-08-20 | 2016-03-08 | Samsung Electronics Co., Ltd. | System and method for perceiving images with multimodal feedback |
EP2976694B1 (en) * | 2013-03-20 | 2019-10-09 | Nokia Technologies Oy | A touch display device with tactile feedback |
US9946348B2 (en) * | 2014-03-21 | 2018-04-17 | Immersion Corporation | Automatic tuning of haptic effects |
CN107566847B (zh) * | 2017-09-18 | 2020-02-14 | 浙江大学 | 一种将触感数据编码为视频流进行保存和传输的方法 |
US11036391B2 (en) * | 2018-05-16 | 2021-06-15 | Universal Studios LLC | Haptic feedback systems and methods for an amusement park ride |
CN109947793B (zh) * | 2019-03-20 | 2022-05-31 | 深圳市北斗智能科技有限公司 | 伴随关系的分析方法、装置和存储介质 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5714977A (en) | 1988-02-24 | 1998-02-03 | Quantel Limited | Video processing system for movement simulation |
FR2646575A1 (fr) * | 1989-04-26 | 1990-11-02 | Labo Electronique Physique | Procede et structure pour la compression de donnees |
US5065040A (en) * | 1990-08-03 | 1991-11-12 | Motorola Inc. | Reverse flow neuron |
US5386507A (en) | 1991-07-18 | 1995-01-31 | Teig; Steven L. | Computer graphics system for selectively modelling molecules and investigating the chemical and physical properties thereof |
US5889670A (en) * | 1991-10-24 | 1999-03-30 | Immersion Corporation | Method and apparatus for tactilely responsive user interface |
US5296871A (en) * | 1992-07-27 | 1994-03-22 | Paley W Bradford | Three-dimensional mouse with tactile feedback |
US5389865A (en) * | 1992-12-02 | 1995-02-14 | Cybernet Systems Corporation | Method and system for providing a tactile virtual reality and manipulator defining an interface device therefor |
US6131097A (en) * | 1992-12-02 | 2000-10-10 | Immersion Corporation | Haptic authoring |
US5629594A (en) * | 1992-12-02 | 1997-05-13 | Cybernet Systems Corporation | Force feedback system |
US5731804A (en) | 1995-01-18 | 1998-03-24 | Immersion Human Interface Corp. | Method and apparatus for providing high bandwidth, low noise mechanical I/O for computer systems |
CA2167304C (en) * | 1993-07-16 | 1998-04-21 | Louis B. Rosenberg | Multi degree of freedom human-computer interface with tracking and forcefeedback |
US5734373A (en) * | 1993-07-16 | 1998-03-31 | Immersion Human Interface Corporation | Method and apparatus for controlling force feedback interface systems utilizing a host computer |
US5739811A (en) * | 1993-07-16 | 1998-04-14 | Immersion Human Interface Corporation | Method and apparatus for controlling human-computer interface systems providing force feedback |
US5436638A (en) * | 1993-12-17 | 1995-07-25 | Fakespace, Inc. | Image display method and apparatus with means for yoking viewpoint orienting muscles of a user |
US5574387A (en) * | 1994-06-30 | 1996-11-12 | Siemens Corporate Research, Inc. | Radial basis function neural network autoassociator and method for induction motor monitoring |
US6166723A (en) | 1995-11-17 | 2000-12-26 | Immersion Corporation | Mouse interface device providing force feedback |
US5905499A (en) * | 1995-07-05 | 1999-05-18 | Fakespace, Inc. | Method and system for high performance computer-generated virtual environments |
US5825308A (en) * | 1996-11-26 | 1998-10-20 | Immersion Human Interface Corporation | Force feedback interface having isotonic and isometric functionality |
US6028593A (en) * | 1995-12-01 | 2000-02-22 | Immersion Corporation | Method and apparatus for providing simulated physical interactions within computer generated environments |
US5956484A (en) * | 1995-12-13 | 1999-09-21 | Immersion Corporation | Method and apparatus for providing force feedback over a computer network |
US6147674A (en) | 1995-12-01 | 2000-11-14 | Immersion Corporation | Method and apparatus for designing force sensations in force feedback computer applications |
US6169540B1 (en) | 1995-12-01 | 2001-01-02 | Immersion Corporation | Method and apparatus for designing force sensations in force feedback applications |
US6161126A (en) | 1995-12-13 | 2000-12-12 | Immersion Corporation | Implementing force feedback over the World Wide Web and other computer networks |
US6075502A (en) * | 1996-07-17 | 2000-06-13 | Fakespace, Inc. | Adjustable immersive projection table |
US6125385A (en) * | 1996-08-01 | 2000-09-26 | Immersion Corporation | Force feedback implementation in web pages |
US5859642A (en) * | 1996-09-26 | 1999-01-12 | Sandia Corporation | Virtual button interface |
US6535241B1 (en) * | 1996-11-13 | 2003-03-18 | Fakespace Labs, Inc. | Multi-person stereo display system |
US6154201A (en) | 1996-11-26 | 2000-11-28 | Immersion Corporation | Control knob with multiple degrees of freedom and force feedback |
US5990900A (en) * | 1997-12-24 | 1999-11-23 | Be There Now, Inc. | Two-dimensional to three-dimensional image converting system |
US6421048B1 (en) * | 1998-07-17 | 2002-07-16 | Sensable Technologies, Inc. | Systems and methods for interacting with virtual objects in a haptic virtual reality environment |
JP4100531B2 (ja) * | 1998-08-11 | 2008-06-11 | 株式会社東京大学Tlo | 情報提示方法及び装置 |
US6659939B2 (en) * | 1998-11-20 | 2003-12-09 | Intuitive Surgical, Inc. | Cooperative minimally invasive telesurgical system |
US6650338B1 (en) * | 1998-11-24 | 2003-11-18 | Interval Research Corporation | Haptic interaction with video and image data |
US6522906B1 (en) * | 1998-12-08 | 2003-02-18 | Intuitive Surgical, Inc. | Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure |
FR2808366B1 (fr) * | 2000-04-26 | 2003-12-19 | Univ Paris Vii Denis Diderot | Procede et systeme d'apprentissage en realite virtuelle, et application en odontologie |
US6801187B2 (en) * | 2001-06-22 | 2004-10-05 | Ford Global Technologies, Llc | System and method of interactive evaluation and manipulation of a geometric model |
-
2001
- 2001-10-04 US US09/971,379 patent/US7225115B2/en active Active
-
2002
- 2002-10-02 WO PCT/US2002/031536 patent/WO2003030037A1/en active Application Filing
- 2002-10-02 JP JP2003533168A patent/JP4199663B2/ja not_active Expired - Fee Related
- 2002-10-02 CA CA002461724A patent/CA2461724A1/en not_active Abandoned
- 2002-10-02 EP EP02766477A patent/EP1444615A4/en not_active Withdrawn
- 2002-10-02 CN CN028190416A patent/CN1659551A/zh active Pending
- 2002-10-02 KR KR10-2004-7004961A patent/KR20040048932A/ko not_active Application Discontinuation
-
2007
- 2007-05-26 US US11/754,279 patent/US20070296692A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2003030037A1 (en) | 2003-04-10 |
US7225115B2 (en) | 2007-05-29 |
KR20040048932A (ko) | 2004-06-10 |
CN1659551A (zh) | 2005-08-24 |
US20030100969A1 (en) | 2003-05-29 |
EP1444615A1 (en) | 2004-08-11 |
JP4199663B2 (ja) | 2008-12-17 |
EP1444615A4 (en) | 2008-12-03 |
US20070296692A1 (en) | 2007-12-27 |
CA2461724A1 (en) | 2003-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4199663B2 (ja) | ヒューマン−コンピュータインターフェイスにおける視覚画像による触覚調整 | |
Gregory et al. | intouch: Interactive multiresolution modeling and 3d painting with a haptic interface | |
US7728848B2 (en) | Tools for 3D mesh and texture manipulation | |
JP5385921B2 (ja) | 可視率を利用するモデルのサイズ縮小 | |
Tolba et al. | A projective drawing system | |
US8791958B2 (en) | Method, apparatus, and program for displaying an object on a computer screen | |
US20080252661A1 (en) | Interface for Computer Controllers | |
Nishino et al. | 3d object modeling using spatial and pictographic gestures | |
US9639924B2 (en) | Adding objects to digital photographs | |
Akeo et al. | Computer Graphics System for Reproducing Three‐Dimensional Shape from Idea Sketch | |
Dani et al. | COVIRDS: a conceptual virtual design system | |
Fiorentino et al. | Surface design in virtual reality as industrial application | |
US8890889B1 (en) | System and method for generating a pose of an object | |
Ehmann et al. | A touch‐enabled system for multi‐resolution modeling and 3D painting | |
CN117853320B (zh) | 一种基于多媒体操控的图像映射方法、系统及存储介质 | |
US11694376B2 (en) | Intuitive 3D transformations for 2D graphics | |
JPH07271998A (ja) | 立体表示方法および装置 | |
Perles et al. | Interactive virtual tools for manipulating NURBS surfaces in a virtual environment | |
Fei et al. | 3d animation creation using space canvases for free-hand drawing | |
CN114648619A (zh) | 用于通过使用虚拟3d网格和手绘草图来设计3d对象的方法 | |
Erlemeier | The development of a virtual reality based cad system for design review | |
Kuester | The DigitalWorkshop: Interactive modeling and visualization in immersive environments | |
Dias | creating urban scenery using multimodal interfaces | |
Sheardwright | Three-dimensional sketch tool | |
Meruvia Pastor | Level of detail selection and interactivity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071225 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080321 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081003 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |