JP2004310518A - 画像情報処理装置 - Google Patents
画像情報処理装置 Download PDFInfo
- Publication number
- JP2004310518A JP2004310518A JP2003104179A JP2003104179A JP2004310518A JP 2004310518 A JP2004310518 A JP 2004310518A JP 2003104179 A JP2003104179 A JP 2003104179A JP 2003104179 A JP2003104179 A JP 2003104179A JP 2004310518 A JP2004310518 A JP 2004310518A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- processing apparatus
- image information
- haptic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】画像情報に基づいて表示画像中のポインティングされたものの触力覚情報を生成し呈示する。
【解決手段】画像生成部５６は、入力された画像情報に基づき画像を生成し画像表示部２に表示させる。触力覚情報生成部５８は、入力された画像情報に基づき操作者によりマウスカーソルで指し示された部分を含む領域がどのようなオブジェクトであるかを認識し、その認識したオブジェクトの状態を表す触力覚情報を画像情報に基づき生成する。触力覚呈示部４６は、送られてきた触力覚情報に従い触力覚を操作者に呈示する。
【選択図】 図４
【解決手段】画像生成部５６は、入力された画像情報に基づき画像を生成し画像表示部２に表示させる。触力覚情報生成部５８は、入力された画像情報に基づき操作者によりマウスカーソルで指し示された部分を含む領域がどのようなオブジェクトであるかを認識し、その認識したオブジェクトの状態を表す触力覚情報を画像情報に基づき生成する。触力覚呈示部４６は、送られてきた触力覚情報に従い触力覚を操作者に呈示する。
【選択図】 図４
Description
【０００１】
【発明の属する技術分野】
本発明は画像情報処理装置、特に操作者に対して触力覚情報によって表示画像に関連する情報の提供手法に関する。
【０００２】
【従来の技術】
近年、バーチャルリアリティやシミュレータなどの分野において、画像情報に合わせて操作者に触力覚を呈示するフォースフィードバック技術を用いて操作者に臨場感を与えたり、操作などの理解容易性を高めたりする技術が発達してきた。また、これらの技術を応用してテレビゲームなどで操作用のコントローラを振動させたり、反力を与えたりすることが行われてきた。これらの技術では、さまざまな静止画像／動画像情報を表示し、それらに合わせて予め設定された触力覚情報を呈示したり、あるいはシミュレータによってコンピュータグラフィックスなどを用いた画面を逐次生成すると同時に触力覚情報を生成し操作者に呈示している。しかし、これらの方法では、触力覚を呈示するための情報やアルゴリズムなどを予め用意したコンテンツ以外では触力覚を体感することはできなかった。
【０００３】
この問題点を解決するために、例えば、画像情報とは別個に触力覚情報を予め生成することなく触力覚を呈示できるようにした情報処理装置が開示されている（例えば、特許文献１）。この先行技術では、表示すべき画像情報に含まれている色相情報に着目しており、操作者が触覚呈示手段搭載のマウスを操作し、マウスカーソルを表示画像の特定の色や色の変化のあるところに移動させたときに、所定の触力覚情報を与えるようにしている。表示画像の特定の色や色の変化は、画像情報に含まれている色相情報から得られる情報であるために触力覚情報を予め用意しておく必要がない。
【０００４】
【特許文献１】
特開２００１−２９０５７２号公報
【特許文献２】
特開２０００−３３０６８８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の触力覚情報呈示方法では、表示画面上のポインティングされた場所に何かがあることを伝えることはできても、その場所の画像に関連した内容の触力覚情報を呈示していなかったために、その場所にあるものがどのような状態であるのかなどを触覚により伝えることはできなかった。
【０００６】
本発明は以上のような問題を解決するためになされたものであり、その目的は、画像情報に基づいて表示画像中のポインティングされたものの触力覚情報を生成し呈示することのできる画像情報処理装置を提供することにある。
【０００７】
【課題を解決するための手段】
以上のような目的を達成するために、本発明に係る画像情報処理装置は、画像を表示する画像表示手段と、前記画像表示手段で表示された画像の一部を指し示すポインティング手段と、入力された画像情報から得られ、前記ポインティング手段により指し示された部分を含む画像の空間情報に基づき触力覚情報を生成する触力覚情報生成手段と、前記情報生成処理手段により生成された触力覚情報を操作者に呈示する触力覚呈示手段とを有することを特徴とする。
【０００８】
また、画像情報は動画像情報であることを特徴とする。
【０００９】
また、前記画像表示手段が表示する画像情報を記憶する記憶手段を有することを特徴とする。
【００１０】
更に、前記触力覚情報生成手段は、画像の空間情報及び時間情報に基づきオプティカルフロー演算を行うことで触力覚情報を生成することを特徴とする。
【００１１】
また、前記触力覚情報生成手段は、画像の空間情報に基づき領域分割演算を行うことで画像を１乃至複数の領域に分割し、その分割した各領域が表現するものに適合した触力覚情報を生成することを特徴とする。
【００１２】
また、前記触力覚情報生成手段は、前記ポインティング手段により指し示された部分を含む領域及びその周辺の領域の属性情報に基づいて、当該領域及びその周辺の領域の触力覚情報を生成することを特徴とする。
【００１３】
また、前記画像表示手段に表示されている画像の触力覚情報の呈示方法の設定を行う呈示方法設定手段を有することを特徴とする。
【００１４】
更に、前記呈示方法設定手段は、異なる触力覚情報の呈示方法をそれぞれ設定モードとして予め登録しておき、その予め登録された設定モードを操作者に選択可能に表示することを特徴とする。
【００１５】
また、前記画像表示手段は、画像情報を加工して生成された加工画像を表示することを特徴とする。
【００１６】
また、入力された画像情報を加工して前記画像表示手段で表示する画像を生成する画像加工手段を有することを特徴とする。
【００１７】
更に、前記画像加工手段が生成した情報を記憶する記憶手段を有することを特徴とする。
【００１８】
また、前記触力覚情報生成手段は、画像情報に付随する属性情報を利用して触力覚情報を生成することを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面に基づいて、本発明の好適な実施の形態について説明する。なお、各図において同じ構成要素には同じ符号を付け、適宜説明を省略する。
【００２０】
実施の形態１．
図１は、本発明に係る画像情報処理装置の実施の形態１を示した概略的なハードウェア構成図である。本実施の形態における画像情報処理装置は、画像表示手段であるディスプレイ２が搭載されたＰＣ１と、ポインティング手段であるマウス４とで構成されている。ＰＣ１のハードウェア構成自体は汎用的な装置でよいが、本実施の形態におけるマウス４には、触力覚情報を操作者に呈示する触力覚呈示手段である触覚インタフェース装置が内蔵されている。図１には、マウス４の上面から突出した触覚インタフェース装置の操作部位１２が示されている。
【００２１】
図２は、図１に示したマウス４に内蔵された触覚インタフェース装置の側面図であり、図３は、図２に示した触覚インタフェース装置の平面図である。なお、図２及び図３では、触覚インタフェース装置の内部構成がわかるように、それぞれ筐体の側面及び上面を取り除いて図示している。
【００２２】
本実施の形態における触覚インタフェース装置の筐体の表面３３並びにマウス４には、開口部６が設けられており、操作部位１２は、ユーザの指のより操作ができるように開口部６から突出している。
【００２３】
本実施の形態における触覚インタフェース装置は、図２に示したように、操作部１０と駆動部２０と制御部４０とに大別できる。操作部１０は、前述した操作部位１２を有している。操作部位１２を支持する基台１４の中心部分には、操作部位１２と反対方向に光を発する発光部１６が取り付けられている。なお、図３には、発光部１６を便宜的に省略している。
【００２４】
駆動部２０は、操作部位１２を操作する操作者に反力を与えるために操作部位１２に対して電磁気により駆動力を与える。駆動部２０は、極性が交互になるようにケース２１の底面を基台として配設された磁石２２，２３，２４，２５を有している。磁石２２〜２５は、触覚インタフェース装置の厚さ方向に分極されており、隣接した磁石間で磁界が発生するようにしている。磁石２２〜２５の上方の空間には、各磁石２２〜２５の間にそれぞれが配設されるようにコイル２６，２７，２８，２９と、各コイル２６〜２９を取り付けるフレーム３０とが設けられている。フレミングの左手の法則に従い、磁界中をＸ軸方向に並設したコイル２６，２８に対して電流を所定方向に流すことによって可動状態にあるフレーム３０をＹ軸方向に沿って駆動する。同様にＹ軸方向に並設したコイル２７，２９に対して電流を所定方向に流すことによってフレーム３０をＸ軸方向に沿って駆動する。従って、上記コイルの組のいずれか一方のみに電流を流せば一次元方向に、双方に電流を流せば各一次元方向のベクトル和により表される二次元方向に、フレーム３０を駆動することができる。このように、駆動部２０は、ケース２１の中においてフレーム３０を可動可能な部材として設けた構造を有している。フレーム３０には、操作部１０の基台１４が取り付けられており、また、フレーム３０の中央部分には、基台１４に取り付けた発光部１６を被わないように開口部３２が形成されている。後述する制御部４０は、信号線３１を介してコイル２６〜２９へ電流を流し駆動部２０の駆動制御を行うことでフレーム３０を変位させる。フレーム３０に取り付けられている操作部位１２は、フレーム３０の変位に連動して変位することになるが、駆動部２０は、操作者に反力を与えるために制御部４０における駆動制御のもと、操作部位１２に対して電磁気により駆動力を与えることになる。駆動部２０は、例えば上記特許文献２に記載された２次元アクチュエータにより実現することができる。
【００２５】
発光部１６が発した光は、開口部３２を通過して光センサ４１により受光される。光センサ４１は、光検出方向により操作部位１２の移動量を検出するので、開口部３２は、操作部位１２の可動範囲において光の通過を阻止しないような大きさとする必要がある。また、光センサ４１は、光検出方向だけでなく光の照射位置や光量から検出する方法を用いるようにしてもよい。なお、操作部位１２の可動範囲は、光センサ４１による光の検出範囲と同義であるが、実際には筐体の表面３３の開口領域又は開口部６の大きさにより決定される。
【００２６】
制御部４０は、駆動部２０の駆動制御を行うための制御回路が形成された制御基板４２と、制御基板４２上に配設された前述の光センサ４１とを有している。光センサ４１は、前述したように発光部１６が発した光を検出することによって操作部位１２の可動範囲内における位置を検出する。本実施の形態における位置検出手段は、発光部１６が発した光を検出する光センサ４１と、制御基板４２上に形成され、光センサ４１が検出した光の移動量によって操作部位１２の位置を得る検出回路（図示せず）とを有している。制御基板４２には、更にＰＣ１との間で情報の授受を行うために信号線４４が接続されている。制御部４０は、ＰＣ１から送られてくる触力覚情報に従い駆動部２０の駆動制御を行うことで操作部位１２を駆動し、これにより、操作部位１２を接触している操作者に対して種々の操作感を与えることができる。本実施の形態における触覚インタフェース装置は、上記のように構成されているが、マウス４が本来有する部材に悪影響を与えないようにするために筐体をケイ素鋼板等の磁気シールド材で形成することが好適である。
【００２７】
図４は、本実施の形態における画像情報処理装置のブロック構成図である。まず、マウス４には、前述した触覚インタフェース装置により実現される触力覚呈示部４６と、マウス４がポインティングデバイスとして本来的に有するポインティング機構４８とが設けられている。ポインティング機構４８は、マウスカーソル（以下、単に「カーソル」という）をディスプレイ上に表示することで指し示している場所を操作者に認識させる。
【００２８】
一方、ＰＣ１には、画像データを生成する撮像部５０が設けられている。近年のＰＣにはカメラ機能を有する機種も存在するが、撮像部５０は、このカメラ機能を実現するための手段である。また、近年のデジタルカメラには静止画像のみならず動画像をも撮像できるが、本実施の形態における撮像部５０も動画像を撮像できるものとする。なお、撮像手段としては、撮像部５０のようなＰＣ搭載型としなくてもデジタルカメラやデジタルビなどの撮像装置を外付けするようにしても実現できる。また、撮像手段を直接又はネットワーク経由などで間接的に接続しなくても、静止／動画像データを外部装置から受信したり、あるいはＰＣ１に予め記憶しておいてもよい。情報生成処理部５４に入力される画像情報の入手方法は特に限定しない。画像情報収集部５２は、撮像部５０により撮像された画像データを収集する。情報生成処理部５４は、入力された画像情報に基づいてディスプレイに相当する画像表示部２で表示する画像を生成する画像生成部５６と、入力された画像情報から得られ、ポインティング機構４８により指し示された部分を含む画像の空間情報に基づき触力覚情報を生成する触力覚情報生成部５８とを有する。また、記憶部６０には、画像表示部２で表示される画像が記憶される。送信部６２は、記憶部６０に記憶された画像データを外部装置に送信する。
【００２９】
本実施の形態において特徴的なことは、カーソルによって指し示されている場所にあるものがどのような状態であるのかなどを触力覚により伝えることができるようにしたことである。これにより、画像表示されたものをあたかも触っているような感触を操作者に与えることができる。
【００３０】
次に、本実施の形態における画像情報処理について説明する。なお、本実施の形態では、静止画像に対する触力覚呈示を行う場合を例にして説明する。また、操作者は、マウス操作を行う際には触力覚情報の呈示を触覚により得るために指先（一般的には右手の人差し指）を操作部位に常時接触させているものとする。
【００３１】
例えば、画像情報が入力されると、情報生成処理部５４の画像生成部５６は、その画像情報に基づき画像を画像表示部２に表示する。なお、情報生成処理部５４は、動画像が入力されたときには動画像を画像表示部２に表示することができ、この場合は動画像を一時停止されることにより電子写真画像のような静止画像と同様に動画像を形成するフレーム画像を処理することができる。一方、情報生成処理部５４の触力覚情報生成部５８は、入力された画像情報に基づき触力覚情報を生成する。カーソルの移動を考慮して表示画像全体に対して触力覚情報を生成するように処理するが、呈示するのはカーソルにより指し示された部分の触力覚情報なので、操作者によるマウス操作によってカーソルで指し示された部分の触力覚情報のみを少なくとも生成すればよい。すなわち、触力覚情報生成部５８は、表示された静止画像上のカーソルの位置を認識すると、カーソルにより指し示された部分を含む画像の空間情報に基づき触力覚情報を生成する。この触力覚情報生成部５８における処理について更に詳述する。
【００３２】
画像情報からカーソルが指し示す位置及びカーソル位置を含む領域がどのような領域にあるかということは、現在の画像処理技術でも認識可能である。ここでいう領域というのは、文字表示領域であるとか人の顔が表示されている領域であるとかである。なお、人の顔の表示領域には、人の顔全体以外にも眉毛、鼻、口等の表示領域も含まれている。このように、入力された画像情報に基づき領域分割演算という画像処理を実行することで、表示画像を１乃至複数の領域に分割することができ、更にその分割した各領域がどのようなものであるか、すなわち文字の表示領域、人の顔の表示領域であるかを認識することができる。この各領域によって表現されるものを、以降の説明ではオブジェクトと称することにする。そして、触力覚情報生成部５８は、各オブジェクトの画像の空間情報に基づき当該オブジェクトがどのような状態であるのかを認識することができる。ここで言う画像の空間情報というのは、オブジェクトの形状、テクスチャ等の属性情報である。このようにして、オブジェクトの状態を認識できると、その状態を触力覚によって表現するための触力覚情報を生成する。触力覚というのは、ざらざらとかすべすべという表現で表すことができる。
【００３３】
なお、本実施の形態では、静止画像を表示対象としているので、いったん生成した触力覚情報は画面が切り替えられるまで保持するようにしてもよい。また、画像情報量とＰＣ１の処理の処理能力との関係からＰＣ１にかかる負荷が過大となるときには画素を粗くみて計算量を減らすようにしてもよい。
【００３４】
図５は、画像表示部２に表示された画像の例を示した図である。図５（ａ）には、人の顔と空７０と雲７２が示されている。情報生成処理部５４は、前述した画像処理を行うことで入力された画像情報を顔、空、雲と領域分割し、更に各分割領域がそれぞれ顔、空、雲の表示領域であることを認識できている。例えば、空は何の抵抗感もないというイメージがあるので、空７０の表示領域の中をカーソル移動させているときには操作者に触力覚による抵抗感を何も与えない。つまり、触力覚情報生成部５８は、触力覚情報を生成しない、あるいは抵抗感を与えない触力覚情報を生成する。ここで、空７０の上にあるカーソルを人の顔の上に移動させようとしたとする。このとき、触力覚情報生成部５８は、空７０と人とは異なる領域であることを認識しているので、カーソルが空から人に移るときには何らかの抵抗感を与える。例えば、何かに衝突したような抵抗感でもよいし、人の顔は空に対して前方にあるはずなので何物かの上に乗り上げるような感じでもよい。
【００３５】
人の顔の画像上において、オブジェクトに対応する色情報に基づき肌色であることを認識すると、カーソルが指し示す領域が人の肌であると判断して適度な弾性感やなめらかな感じを与えるような触力覚情報を生成する。また、カーソルが顔の上を移動しているときには、その顔の凹凸に合わせて立体感を感じさせると共に、頬から眼や眉毛にカーソルを移動させたときには何かに衝突したような触力覚情報を生成する。このように、人の顔の画像上においても異なるオブジェクトが存在することによりそのオブジェクトに対応した触力覚情報を生成する。また、空７０の上にあるカーソルを雲７２の上に移動させようとすると、その境界線を越えた後にはふわふわとしたものを触っているような触力覚情報を生成する。
【００３６】
図５（ｂ）は、人と犬を表示した静止画像の例を示した図である。例えば、人の顔の画像上にカーソルがあるときには上記の通りなめらかな感じを与え、カーソルが洋服の画像上に移動したときにはテクスチャ等の属性情報に基づき洋服の生地に合致した感触を操作者に与えるような触力覚情報を生成する。また、人の画像上にあるカーソルを犬の画像上に移動させるときには、触力覚情報生成部５８は、前景にある犬の上に乗り上げるような感触を操作者に与えるような触力覚情報を生成する。これにより、奥行き感を操作者に与えることができる。また、犬をなでるようにカーソルを移動させるときには、同一オブジェクトにおいても毛並みに沿ったカーソル移動と逆らった方向のカーソル移動とをそれぞれ実際の感触と同様に異なった感触となるような触力覚情報を生成する。この毛並みの方向の情報は、テクスチャから読み取ることもできるし、またオブジェクトを犬と認識した場合は犬の頭としっぽの位置などから推定してもよい。
【００３７】
以上のように、触力覚情報生成部５８は、入力された画像情報に基づいて表示画像を複数の領域すなわちオブジェクトに分割し、そして各オブジェクトが表現するものに適合した触力覚情報を生成することになる。
【００３８】
また、図５（ｂ）には、文字の表示領域が設けられており、その領域には複数の色で構成された文字が表示されている。ここで、仮に、色情報に基づき単純に触力覚情報を生成しようとすると、色をまたいでカーソルを移動させるたびに何らかの抵抗感が感じるようになる。しかし、同一文字又は単なる文字列であることから必ずしも色の変わり目ごとに抵抗感を操作者に与える必要はないと考えられる。そこで、本実施の形態における触力覚情報生成部５８は、文字の表示領域などのように異なる場合でもその際を明確に示す必要のない領域、あるいは属性情報に基づく忠実な感触表現を必要としないと考えられるような領域にカーソルが指し示されていると判断すると、カーソルにより指し示された部分を含む領域及びその周辺の領域の属性情報に基づいて当該領域及びその周辺の領域の触力覚情報を生成する。ここでいうカーソルにより指し示された部分を含む領域というのは、例えばある文字（例えばＡ１）のある色（例えばＣ１）で表示される領域を意味し、その周辺の領域というのは、ある文字（Ａ１）のある色（Ｃ１）以外の色（例えばＣ２）あるいはある文字（Ａ１）以外の文字（例えばＡ２）で表示される領域を意味する。つまり、この例に基づくと、文字の表示領域である判断した領域では、その領域内におけるカーソル移動に関しては、リジッド（ｒｉｇｉｄ）な感じで画像情報への反応を弱くあるいは消去する。これにより、必要でないと思われる触力覚については、低減あるいは除去するようにする。
【００３９】
以上の説明したように、触力覚情報生成部５８は、表示されている静止画像の画像情報に基づいて、各オブジェクトの色情報等に反応させた触力覚情報を生成することに留めるのではなく、表示画像の中のオブジェクトを識別し、そのオブジェクトの素材や接触する表面の状態に対応した触力覚情報を生成することになる。すなわち、触力覚情報生成部５８は、表示静止画像上において異なるオブジェクトにカーソルが移動されるときには、衝突や乗り上げるような感触を与える触力覚情報を生成する。また、人の肌や洋服の生地や毛などのように同一オブジェクトと判断された領域の中をカーソル移動するときでも、その素材、材質等と同様の感触を与えるような触力覚情報を生成する。
【００４０】
そして、触力覚呈示部４６は、以上のようにして触力覚情報生成部５８により生成された触力覚情報に基づき操作部位を駆動させて上述した触力覚を操作者に呈示する。
【００４１】
本実施の形態によれば、入力された画像情報から触力覚情報を生成することができ、また、そのオブジェクトの状態に合致した触力覚を操作者に呈示することができる。これにより、触力覚情報を予め生成しておく必要もなく、また画像情報に付随させて触力覚情報を保持しておく必要もないので、外部装置から画像情報を受け取るときにはデータ通信量を削減することができ、また、データ記憶量も削減することができる。また、表示画像中のオブジェクトに関する情報を視覚のみならず触力覚によっても伝えることができる。
【００４２】
実施の形態２．
図６は、本実施の形態における画像情報処理装置のブロック構成図である。本実施の形態においては、上記実施の形態１に示した構成（図４）に、触力覚情報の呈示モードを操作者に選択させる呈示モード設定部６４を設けた構成を有している。
【００４３】
上記実施の形態１においては、静止画像に表示されたオブジェクトをあたかも触っているような感触を操作者に与えることができるということについて説明した。ただ、現在の画像処理技術によって各オブジェクトがどのような状態であるかをより正確に認識できるが、画像の空間情報から各オブジェクトの状態をより正確に認識できているとは限らない。場合によっては、オブジェクトを誤認してしまう可能性もあり、これにより、誤った触力覚を呈示してしまう可能性もあり得る。そこで、本実施の形態においては、より呈示する触力覚の確度を高めるために呈示モード設定部６４を設けたことを特徴としている。
【００４４】
例えば、デジタルカメラを用いて撮像する場合、その場所が屋外であったり、夜であったり、あるいは対象が人物や風景であったりする。一般的なデジタルカメラでは、このような各シーンに合わせてポートレート、スポーツ、遠景、夜景、文字等のシーンモードが選択できるような機能が提供されている。上記実施の形態１が自動モードであるとしたならば、本実施の形態における呈示モード設定部６４は、操作者にモードを選択できるようにした手段であるということができる。
【００４５】
すなわち、呈示モード設定部６４は、操作者による操作により、あるいは常時モード設定パネルを画像表示部２に表示する。そのモード設定パネルには、人物、風景等の各種モードが選択できるようになっている。ここで、画像表示部２に人物が表示されている場合において操作者がモード設定パネルを操作して人物のモードを選択したとすると、触力覚情報生成部５８は、肌色に近いオブジェクトは人の肌であるということをより的確に判断できると共に、肌色系のオブジェクトに関しては、肌触りのよいなめらかなか触力覚情報を生成しようと処理する。また、風景モードが選択されると、風景モードに適した画像処理を実行することによって空あるいは海に適合した触力覚情報を生成する。
【００４６】
本実施の形態では、異なる触力覚情報の呈示方法をそれぞれ設定モードとして予め登録しておくと共に、呈示モード設定部６４を設けてその予め登録された設定モードを操作者に選択できるようにした。これにより、表示されている各オブジェクトの状態をより正確に表した触力覚を操作者に呈示することができる。
【００４７】
本実施の形態では、例えば百科事典を画面表示するときに動物モードや植物モード、更に細かく魚類等の各オブジェクト群に対する呈示方法を予め設定しておけば、より実物に近い触力覚を呈示することができる。
【００４８】
なお、本実施の形態においては、呈示モード設定部６４を設けて操作者にモードを選択できるような構成としたが、表示されている画像の触力覚情報の呈示方法の設定は、これに限定されるものではない。また、例えばイコライザのように各属性情報のバランスをより細かく設定できるようなインターフェイスを設けて各種モードを生成できるようにしてもよいし、属性情報に対するパラメータ値（重み付け）を設定できるような呈示方法設定手段を設けるようにしてもよい。
【００４９】
実施の形態３．
図７は、本実施の形態における画像情報処理装置のブロック構成図である。本実施の形態においては、上記実施の形態１に示した構成（図４）に、触力覚情報の呈示モードを操作者に選択させる６４を設けた構成を有している。
【００５０】
上記実施の形態１においては、入力された画像情報をそのまま表示するようにした。しかしながら、場合によっては、入力された画像情報の配色などの属性情報を変更したり、拡縮表示したり、あるいはぼかしやモザイクを入れたりといった画像に対する処理を行いたい場合もあり得る。そこで、本実施の形態においては、入力された画像情報をそのまま表示させるのではなく、画像加工部６６を設けることによって画像情報を加工して表示するための画像を生成できるようにしたことを特徴としている。
【００５１】
画像加工部６６における作用は、前述したとおり入力された画像情報に対して何らかの加工を施して画像を生成することであり、画像表示部２は、画像加工部６６によって加工された画像を表示することになる。また、記憶部６０には、加工された状態の画像が記憶されることになる。
【００５２】
ところで、触力覚情報生成部５８は、画面表示されているオブジェクトの状態の触力覚情報を生成し、操作者へその触力覚を呈示できるようにしたものであるが、ここで仮に画像加工部６６によってオブジェクトがぼかされて表示されたとする。このような場合でも対応できるように、本実施の形態における触力覚情報生成部５８は、入力された画像情報に基づいてぼかされていないオブジェクトの状態での触力覚情報を生成する。これにより、オブジェクトがぼかされて表示されている場合でも、操作者は、ぼかされていない状態のオブジェクトを触っているような感触を得ることができる。
【００５３】
本実施の形態では、ぼかしなどの加工がされた場所にカーソルが合わされたときでもぼかされていない等、画像の加工処理が行われていない状態のオブジェクトの触力覚を操作者に呈示することができる。その一方で、加工された場所にカーソルが合わされたときに、オブジェクトの感触を操作者に与えるのではなく、感触を何も与えないようにしたり、振動を与えるなど実際の感触以外の感触を与えたりするようにしてもよい。また、このような触力覚情報生成部５８における触力覚情報の生成を選択的に切り替えられるようにしてもよい。
【００５４】
実施の形態４．
触力覚情報を操作者に呈示するには、上記各実施の形態において説明したように静止画像若しくは画像を停止させ、操作者にその画像上でカーソルを移動させるようにする方が物体を触った感じを認識させやすいので都合がよい。しかしながら、本実施の形態では、動画像に対して触力覚情報を生成し操作者に呈示するようにしたことを特徴とする。すなわち、ビデオなどの動画像に触れたり、ビデオチャットで相手の顔を触れるような使用形態を想定すればよい。
【００５５】
ここで、本実施の形態における動画像情報処理について説明する。
【００５６】
動画像情報が入力されると、情報生成処理部５４の画像生成部５６は、その動画像情報に基づき動画像を画像表示部２に表示する。一方、情報生成処理部５４の触力覚情報生成部５８は、その入力された画像情報に基づき上記の同様にしてカーソルが指し示す部分の画像に対する触力覚情報を生成する。静止画像においては、オブジェクトを認識するために画像の空間情報を参照にして触力覚情報を生成すればよいが、動画像の場合は、更に時間的な変化も考慮しなければならないので、画像の時間情報をも参照にする必要がある。本実施の形態における触力覚情報生成部５８は、画像の空間情報及び時間情報に基づきオプティカルフロー演算を行うことで触力覚情報を生成する。
【００５７】
例えば、カーソルが画像中の空の当たりを固定的に指し示しており、時折雲が流れてくるとすると、空を指し示している間は、進行方向から風を受けているような感触（抵抗感）の触力覚を呈示する。そして、雲に入るときには多少の衝突感を与え、その後はふわっとした物を触るような触力覚を呈示する。
【００５８】
動画像の場合、画像中のオブジェクトは動いているので、カーソルを動かさなくても他のオブジェクトとの境界線をまたいだ移動が頻繁に繰り返される可能性があり、これを静止画像と同様に処理するとがたがたした操作感を操作者に与え続けてしまう可能性があるので、このような場合は、触力覚情報をなめらかにするなどの補正処理を適宜行うことが望ましい。これは、オブジェクトの中の色情報等の属性情報を参照に補正する。
【００５９】
また、触力覚情報生成部５８は、動画像を取り込みながらリアルタイムに触力覚情報を生成することになるが、動画像データ量とＰＣ１の処理の処理能力との関係から負荷が過大となるときには、全画素データを計算対象とはせずに画素を粗くみて計算量を減らすようにしてもよい。あるいは、特定領域に注目してその領域のみの触力覚情報を生成するようにしてもよい。例えば、人物を中心とした動画像であるときには人物の背景については触力覚情報を生成しないなどである。
【００６０】
以上のように、本実施の形態によれば、入力された動画像に基づき触力覚情報を生成することができ、その生成した触力覚情報に基づき操作者に触力覚を呈示することができる。
【００６１】
ところで、一般にＭＰＥＧ−７と呼ばれるメタデータの表記方法に関する国際標準規格では、メタデータを生成する工程とそれを利用する工程に大別され、両者の間を標準化された表記方法が仲介するという形式でモデル化されている。ＭＰＥＧ−７が標準化対象とした標準表記方法には、本実施の形態における触力覚情報生成部５８が画像処理を行うことで得たオブジェクトの状態に関する属性情報が定義されている。従って、本実施の形態においてＭＰＥＧ−７に準拠した動画像データ、すなわち画像情報に付随した情報（この場合は、標準表記方法により定義された属性情報）から、各オブジェクトの状態を得ることができるので、それらの情報からオブジェクトにより適合した触力覚情報を生成できるようになる。
【００６２】
本実施の形態によれば、入力された動画像情報から触力覚情報を生成することができ、また、そのオブジェクトの状態に合致した触力覚を操作者に呈示することができる。これにより、触力覚情報を予め生成しておく必要もなく、また動画像情報に付随させて触力覚情報を保持しておく必要もないので、外部装置から画像情報を受け取るときにはデータ通信量を削減することができ、また、データ記憶量も削減することができる。これにより、動画像処理の高速化を図ることができる。
【００６３】
【発明の効果】
本発明によれば、世の中に数多く流通する静止画像あるいは動画像コンテンツに対して触力覚情報を付与し、操作者にコンテンツをあたかも触っているような感触を与えることができる。
【００６４】
また、ポインティング手段により指し示された部分を含む領域のみならずその周辺の領域の属性情報に基づいて触力覚情報を生成するようにしたので、指し示された位置が周辺の領域に移動されるときでも必要でないと思われる触力覚情報の推定については、低減あるいは除去することができる。
【００６５】
また、呈示方法設定手段を設けたことによって、操作者が見ていてポインティング手段により指し示された部分に適合した触力覚を操作者に呈示することができる。
【００６６】
また、画像加工手段を設けることにより、入力された画像情報を加工することによって異なる画像を表示することができる。また、このとき、触力覚情報生成手段は、表示される画像ではなく入力された画像情報に基づき触力覚情報を生成するようにすれば、表示画像とは異なる加工されていない状態の触力覚情報を生成することができる。
【図面の簡単な説明】
【図１】本発明に係る画像情報処理装置の実施の形態１を示した概略的なハードウェア構成図である。
【図２】図１に示したマウスに内蔵された触覚インタフェース装置の側面図である。
【図３】図２に示した触覚インタフェース装置の平面図である。
【図４】実施の形態１における画像情報処理装置のブロック構成図である。
【図５】実施の形態１における画面表示例を示した図である。
【図６】実施の形態２における画像情報処理装置のブロック構成図である。
【図７】実施の形態３における画像情報処理装置のブロック構成図である。
【符号の説明】
１ ＰＣ、２ ディスプレイ（画像表示部）、４ マウス、６ 開口部、１０操作部、１２ 操作部位、１４ 基台、１６ 発光部、２０ 駆動部、２１ ケース、２２，２３，２４，２５ 磁石、２６，２７，２８，２９ コイル、３０ フレーム、３１，４４ 信号線、３２ 開口部、３３ 表面、４０ 制御部、４１ 光センサ、４２ 制御基板、４６ 触力覚呈示部、４８ ポインティング機構、５０ 撮像部、５２ 画像情報収集部、５４ 情報生成処理部、５６ 画像生成部、５８ 触力覚情報生成部、６０ 記憶部、６２ 送信部、６４ 呈示モード設定部、６６ 画像加工部。
【発明の属する技術分野】
本発明は画像情報処理装置、特に操作者に対して触力覚情報によって表示画像に関連する情報の提供手法に関する。
【０００２】
【従来の技術】
近年、バーチャルリアリティやシミュレータなどの分野において、画像情報に合わせて操作者に触力覚を呈示するフォースフィードバック技術を用いて操作者に臨場感を与えたり、操作などの理解容易性を高めたりする技術が発達してきた。また、これらの技術を応用してテレビゲームなどで操作用のコントローラを振動させたり、反力を与えたりすることが行われてきた。これらの技術では、さまざまな静止画像／動画像情報を表示し、それらに合わせて予め設定された触力覚情報を呈示したり、あるいはシミュレータによってコンピュータグラフィックスなどを用いた画面を逐次生成すると同時に触力覚情報を生成し操作者に呈示している。しかし、これらの方法では、触力覚を呈示するための情報やアルゴリズムなどを予め用意したコンテンツ以外では触力覚を体感することはできなかった。
【０００３】
この問題点を解決するために、例えば、画像情報とは別個に触力覚情報を予め生成することなく触力覚を呈示できるようにした情報処理装置が開示されている（例えば、特許文献１）。この先行技術では、表示すべき画像情報に含まれている色相情報に着目しており、操作者が触覚呈示手段搭載のマウスを操作し、マウスカーソルを表示画像の特定の色や色の変化のあるところに移動させたときに、所定の触力覚情報を与えるようにしている。表示画像の特定の色や色の変化は、画像情報に含まれている色相情報から得られる情報であるために触力覚情報を予め用意しておく必要がない。
【０００４】
【特許文献１】
特開２００１−２９０５７２号公報
【特許文献２】
特開２０００−３３０６８８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の触力覚情報呈示方法では、表示画面上のポインティングされた場所に何かがあることを伝えることはできても、その場所の画像に関連した内容の触力覚情報を呈示していなかったために、その場所にあるものがどのような状態であるのかなどを触覚により伝えることはできなかった。
【０００６】
本発明は以上のような問題を解決するためになされたものであり、その目的は、画像情報に基づいて表示画像中のポインティングされたものの触力覚情報を生成し呈示することのできる画像情報処理装置を提供することにある。
【０００７】
【課題を解決するための手段】
以上のような目的を達成するために、本発明に係る画像情報処理装置は、画像を表示する画像表示手段と、前記画像表示手段で表示された画像の一部を指し示すポインティング手段と、入力された画像情報から得られ、前記ポインティング手段により指し示された部分を含む画像の空間情報に基づき触力覚情報を生成する触力覚情報生成手段と、前記情報生成処理手段により生成された触力覚情報を操作者に呈示する触力覚呈示手段とを有することを特徴とする。
【０００８】
また、画像情報は動画像情報であることを特徴とする。
【０００９】
また、前記画像表示手段が表示する画像情報を記憶する記憶手段を有することを特徴とする。
【００１０】
更に、前記触力覚情報生成手段は、画像の空間情報及び時間情報に基づきオプティカルフロー演算を行うことで触力覚情報を生成することを特徴とする。
【００１１】
また、前記触力覚情報生成手段は、画像の空間情報に基づき領域分割演算を行うことで画像を１乃至複数の領域に分割し、その分割した各領域が表現するものに適合した触力覚情報を生成することを特徴とする。
【００１２】
また、前記触力覚情報生成手段は、前記ポインティング手段により指し示された部分を含む領域及びその周辺の領域の属性情報に基づいて、当該領域及びその周辺の領域の触力覚情報を生成することを特徴とする。
【００１３】
また、前記画像表示手段に表示されている画像の触力覚情報の呈示方法の設定を行う呈示方法設定手段を有することを特徴とする。
【００１４】
更に、前記呈示方法設定手段は、異なる触力覚情報の呈示方法をそれぞれ設定モードとして予め登録しておき、その予め登録された設定モードを操作者に選択可能に表示することを特徴とする。
【００１５】
また、前記画像表示手段は、画像情報を加工して生成された加工画像を表示することを特徴とする。
【００１６】
また、入力された画像情報を加工して前記画像表示手段で表示する画像を生成する画像加工手段を有することを特徴とする。
【００１７】
更に、前記画像加工手段が生成した情報を記憶する記憶手段を有することを特徴とする。
【００１８】
また、前記触力覚情報生成手段は、画像情報に付随する属性情報を利用して触力覚情報を生成することを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面に基づいて、本発明の好適な実施の形態について説明する。なお、各図において同じ構成要素には同じ符号を付け、適宜説明を省略する。
【００２０】
実施の形態１．
図１は、本発明に係る画像情報処理装置の実施の形態１を示した概略的なハードウェア構成図である。本実施の形態における画像情報処理装置は、画像表示手段であるディスプレイ２が搭載されたＰＣ１と、ポインティング手段であるマウス４とで構成されている。ＰＣ１のハードウェア構成自体は汎用的な装置でよいが、本実施の形態におけるマウス４には、触力覚情報を操作者に呈示する触力覚呈示手段である触覚インタフェース装置が内蔵されている。図１には、マウス４の上面から突出した触覚インタフェース装置の操作部位１２が示されている。
【００２１】
図２は、図１に示したマウス４に内蔵された触覚インタフェース装置の側面図であり、図３は、図２に示した触覚インタフェース装置の平面図である。なお、図２及び図３では、触覚インタフェース装置の内部構成がわかるように、それぞれ筐体の側面及び上面を取り除いて図示している。
【００２２】
本実施の形態における触覚インタフェース装置の筐体の表面３３並びにマウス４には、開口部６が設けられており、操作部位１２は、ユーザの指のより操作ができるように開口部６から突出している。
【００２３】
本実施の形態における触覚インタフェース装置は、図２に示したように、操作部１０と駆動部２０と制御部４０とに大別できる。操作部１０は、前述した操作部位１２を有している。操作部位１２を支持する基台１４の中心部分には、操作部位１２と反対方向に光を発する発光部１６が取り付けられている。なお、図３には、発光部１６を便宜的に省略している。
【００２４】
駆動部２０は、操作部位１２を操作する操作者に反力を与えるために操作部位１２に対して電磁気により駆動力を与える。駆動部２０は、極性が交互になるようにケース２１の底面を基台として配設された磁石２２，２３，２４，２５を有している。磁石２２〜２５は、触覚インタフェース装置の厚さ方向に分極されており、隣接した磁石間で磁界が発生するようにしている。磁石２２〜２５の上方の空間には、各磁石２２〜２５の間にそれぞれが配設されるようにコイル２６，２７，２８，２９と、各コイル２６〜２９を取り付けるフレーム３０とが設けられている。フレミングの左手の法則に従い、磁界中をＸ軸方向に並設したコイル２６，２８に対して電流を所定方向に流すことによって可動状態にあるフレーム３０をＹ軸方向に沿って駆動する。同様にＹ軸方向に並設したコイル２７，２９に対して電流を所定方向に流すことによってフレーム３０をＸ軸方向に沿って駆動する。従って、上記コイルの組のいずれか一方のみに電流を流せば一次元方向に、双方に電流を流せば各一次元方向のベクトル和により表される二次元方向に、フレーム３０を駆動することができる。このように、駆動部２０は、ケース２１の中においてフレーム３０を可動可能な部材として設けた構造を有している。フレーム３０には、操作部１０の基台１４が取り付けられており、また、フレーム３０の中央部分には、基台１４に取り付けた発光部１６を被わないように開口部３２が形成されている。後述する制御部４０は、信号線３１を介してコイル２６〜２９へ電流を流し駆動部２０の駆動制御を行うことでフレーム３０を変位させる。フレーム３０に取り付けられている操作部位１２は、フレーム３０の変位に連動して変位することになるが、駆動部２０は、操作者に反力を与えるために制御部４０における駆動制御のもと、操作部位１２に対して電磁気により駆動力を与えることになる。駆動部２０は、例えば上記特許文献２に記載された２次元アクチュエータにより実現することができる。
【００２５】
発光部１６が発した光は、開口部３２を通過して光センサ４１により受光される。光センサ４１は、光検出方向により操作部位１２の移動量を検出するので、開口部３２は、操作部位１２の可動範囲において光の通過を阻止しないような大きさとする必要がある。また、光センサ４１は、光検出方向だけでなく光の照射位置や光量から検出する方法を用いるようにしてもよい。なお、操作部位１２の可動範囲は、光センサ４１による光の検出範囲と同義であるが、実際には筐体の表面３３の開口領域又は開口部６の大きさにより決定される。
【００２６】
制御部４０は、駆動部２０の駆動制御を行うための制御回路が形成された制御基板４２と、制御基板４２上に配設された前述の光センサ４１とを有している。光センサ４１は、前述したように発光部１６が発した光を検出することによって操作部位１２の可動範囲内における位置を検出する。本実施の形態における位置検出手段は、発光部１６が発した光を検出する光センサ４１と、制御基板４２上に形成され、光センサ４１が検出した光の移動量によって操作部位１２の位置を得る検出回路（図示せず）とを有している。制御基板４２には、更にＰＣ１との間で情報の授受を行うために信号線４４が接続されている。制御部４０は、ＰＣ１から送られてくる触力覚情報に従い駆動部２０の駆動制御を行うことで操作部位１２を駆動し、これにより、操作部位１２を接触している操作者に対して種々の操作感を与えることができる。本実施の形態における触覚インタフェース装置は、上記のように構成されているが、マウス４が本来有する部材に悪影響を与えないようにするために筐体をケイ素鋼板等の磁気シールド材で形成することが好適である。
【００２７】
図４は、本実施の形態における画像情報処理装置のブロック構成図である。まず、マウス４には、前述した触覚インタフェース装置により実現される触力覚呈示部４６と、マウス４がポインティングデバイスとして本来的に有するポインティング機構４８とが設けられている。ポインティング機構４８は、マウスカーソル（以下、単に「カーソル」という）をディスプレイ上に表示することで指し示している場所を操作者に認識させる。
【００２８】
一方、ＰＣ１には、画像データを生成する撮像部５０が設けられている。近年のＰＣにはカメラ機能を有する機種も存在するが、撮像部５０は、このカメラ機能を実現するための手段である。また、近年のデジタルカメラには静止画像のみならず動画像をも撮像できるが、本実施の形態における撮像部５０も動画像を撮像できるものとする。なお、撮像手段としては、撮像部５０のようなＰＣ搭載型としなくてもデジタルカメラやデジタルビなどの撮像装置を外付けするようにしても実現できる。また、撮像手段を直接又はネットワーク経由などで間接的に接続しなくても、静止／動画像データを外部装置から受信したり、あるいはＰＣ１に予め記憶しておいてもよい。情報生成処理部５４に入力される画像情報の入手方法は特に限定しない。画像情報収集部５２は、撮像部５０により撮像された画像データを収集する。情報生成処理部５４は、入力された画像情報に基づいてディスプレイに相当する画像表示部２で表示する画像を生成する画像生成部５６と、入力された画像情報から得られ、ポインティング機構４８により指し示された部分を含む画像の空間情報に基づき触力覚情報を生成する触力覚情報生成部５８とを有する。また、記憶部６０には、画像表示部２で表示される画像が記憶される。送信部６２は、記憶部６０に記憶された画像データを外部装置に送信する。
【００２９】
本実施の形態において特徴的なことは、カーソルによって指し示されている場所にあるものがどのような状態であるのかなどを触力覚により伝えることができるようにしたことである。これにより、画像表示されたものをあたかも触っているような感触を操作者に与えることができる。
【００３０】
次に、本実施の形態における画像情報処理について説明する。なお、本実施の形態では、静止画像に対する触力覚呈示を行う場合を例にして説明する。また、操作者は、マウス操作を行う際には触力覚情報の呈示を触覚により得るために指先（一般的には右手の人差し指）を操作部位に常時接触させているものとする。
【００３１】
例えば、画像情報が入力されると、情報生成処理部５４の画像生成部５６は、その画像情報に基づき画像を画像表示部２に表示する。なお、情報生成処理部５４は、動画像が入力されたときには動画像を画像表示部２に表示することができ、この場合は動画像を一時停止されることにより電子写真画像のような静止画像と同様に動画像を形成するフレーム画像を処理することができる。一方、情報生成処理部５４の触力覚情報生成部５８は、入力された画像情報に基づき触力覚情報を生成する。カーソルの移動を考慮して表示画像全体に対して触力覚情報を生成するように処理するが、呈示するのはカーソルにより指し示された部分の触力覚情報なので、操作者によるマウス操作によってカーソルで指し示された部分の触力覚情報のみを少なくとも生成すればよい。すなわち、触力覚情報生成部５８は、表示された静止画像上のカーソルの位置を認識すると、カーソルにより指し示された部分を含む画像の空間情報に基づき触力覚情報を生成する。この触力覚情報生成部５８における処理について更に詳述する。
【００３２】
画像情報からカーソルが指し示す位置及びカーソル位置を含む領域がどのような領域にあるかということは、現在の画像処理技術でも認識可能である。ここでいう領域というのは、文字表示領域であるとか人の顔が表示されている領域であるとかである。なお、人の顔の表示領域には、人の顔全体以外にも眉毛、鼻、口等の表示領域も含まれている。このように、入力された画像情報に基づき領域分割演算という画像処理を実行することで、表示画像を１乃至複数の領域に分割することができ、更にその分割した各領域がどのようなものであるか、すなわち文字の表示領域、人の顔の表示領域であるかを認識することができる。この各領域によって表現されるものを、以降の説明ではオブジェクトと称することにする。そして、触力覚情報生成部５８は、各オブジェクトの画像の空間情報に基づき当該オブジェクトがどのような状態であるのかを認識することができる。ここで言う画像の空間情報というのは、オブジェクトの形状、テクスチャ等の属性情報である。このようにして、オブジェクトの状態を認識できると、その状態を触力覚によって表現するための触力覚情報を生成する。触力覚というのは、ざらざらとかすべすべという表現で表すことができる。
【００３３】
なお、本実施の形態では、静止画像を表示対象としているので、いったん生成した触力覚情報は画面が切り替えられるまで保持するようにしてもよい。また、画像情報量とＰＣ１の処理の処理能力との関係からＰＣ１にかかる負荷が過大となるときには画素を粗くみて計算量を減らすようにしてもよい。
【００３４】
図５は、画像表示部２に表示された画像の例を示した図である。図５（ａ）には、人の顔と空７０と雲７２が示されている。情報生成処理部５４は、前述した画像処理を行うことで入力された画像情報を顔、空、雲と領域分割し、更に各分割領域がそれぞれ顔、空、雲の表示領域であることを認識できている。例えば、空は何の抵抗感もないというイメージがあるので、空７０の表示領域の中をカーソル移動させているときには操作者に触力覚による抵抗感を何も与えない。つまり、触力覚情報生成部５８は、触力覚情報を生成しない、あるいは抵抗感を与えない触力覚情報を生成する。ここで、空７０の上にあるカーソルを人の顔の上に移動させようとしたとする。このとき、触力覚情報生成部５８は、空７０と人とは異なる領域であることを認識しているので、カーソルが空から人に移るときには何らかの抵抗感を与える。例えば、何かに衝突したような抵抗感でもよいし、人の顔は空に対して前方にあるはずなので何物かの上に乗り上げるような感じでもよい。
【００３５】
人の顔の画像上において、オブジェクトに対応する色情報に基づき肌色であることを認識すると、カーソルが指し示す領域が人の肌であると判断して適度な弾性感やなめらかな感じを与えるような触力覚情報を生成する。また、カーソルが顔の上を移動しているときには、その顔の凹凸に合わせて立体感を感じさせると共に、頬から眼や眉毛にカーソルを移動させたときには何かに衝突したような触力覚情報を生成する。このように、人の顔の画像上においても異なるオブジェクトが存在することによりそのオブジェクトに対応した触力覚情報を生成する。また、空７０の上にあるカーソルを雲７２の上に移動させようとすると、その境界線を越えた後にはふわふわとしたものを触っているような触力覚情報を生成する。
【００３６】
図５（ｂ）は、人と犬を表示した静止画像の例を示した図である。例えば、人の顔の画像上にカーソルがあるときには上記の通りなめらかな感じを与え、カーソルが洋服の画像上に移動したときにはテクスチャ等の属性情報に基づき洋服の生地に合致した感触を操作者に与えるような触力覚情報を生成する。また、人の画像上にあるカーソルを犬の画像上に移動させるときには、触力覚情報生成部５８は、前景にある犬の上に乗り上げるような感触を操作者に与えるような触力覚情報を生成する。これにより、奥行き感を操作者に与えることができる。また、犬をなでるようにカーソルを移動させるときには、同一オブジェクトにおいても毛並みに沿ったカーソル移動と逆らった方向のカーソル移動とをそれぞれ実際の感触と同様に異なった感触となるような触力覚情報を生成する。この毛並みの方向の情報は、テクスチャから読み取ることもできるし、またオブジェクトを犬と認識した場合は犬の頭としっぽの位置などから推定してもよい。
【００３７】
以上のように、触力覚情報生成部５８は、入力された画像情報に基づいて表示画像を複数の領域すなわちオブジェクトに分割し、そして各オブジェクトが表現するものに適合した触力覚情報を生成することになる。
【００３８】
また、図５（ｂ）には、文字の表示領域が設けられており、その領域には複数の色で構成された文字が表示されている。ここで、仮に、色情報に基づき単純に触力覚情報を生成しようとすると、色をまたいでカーソルを移動させるたびに何らかの抵抗感が感じるようになる。しかし、同一文字又は単なる文字列であることから必ずしも色の変わり目ごとに抵抗感を操作者に与える必要はないと考えられる。そこで、本実施の形態における触力覚情報生成部５８は、文字の表示領域などのように異なる場合でもその際を明確に示す必要のない領域、あるいは属性情報に基づく忠実な感触表現を必要としないと考えられるような領域にカーソルが指し示されていると判断すると、カーソルにより指し示された部分を含む領域及びその周辺の領域の属性情報に基づいて当該領域及びその周辺の領域の触力覚情報を生成する。ここでいうカーソルにより指し示された部分を含む領域というのは、例えばある文字（例えばＡ１）のある色（例えばＣ１）で表示される領域を意味し、その周辺の領域というのは、ある文字（Ａ１）のある色（Ｃ１）以外の色（例えばＣ２）あるいはある文字（Ａ１）以外の文字（例えばＡ２）で表示される領域を意味する。つまり、この例に基づくと、文字の表示領域である判断した領域では、その領域内におけるカーソル移動に関しては、リジッド（ｒｉｇｉｄ）な感じで画像情報への反応を弱くあるいは消去する。これにより、必要でないと思われる触力覚については、低減あるいは除去するようにする。
【００３９】
以上の説明したように、触力覚情報生成部５８は、表示されている静止画像の画像情報に基づいて、各オブジェクトの色情報等に反応させた触力覚情報を生成することに留めるのではなく、表示画像の中のオブジェクトを識別し、そのオブジェクトの素材や接触する表面の状態に対応した触力覚情報を生成することになる。すなわち、触力覚情報生成部５８は、表示静止画像上において異なるオブジェクトにカーソルが移動されるときには、衝突や乗り上げるような感触を与える触力覚情報を生成する。また、人の肌や洋服の生地や毛などのように同一オブジェクトと判断された領域の中をカーソル移動するときでも、その素材、材質等と同様の感触を与えるような触力覚情報を生成する。
【００４０】
そして、触力覚呈示部４６は、以上のようにして触力覚情報生成部５８により生成された触力覚情報に基づき操作部位を駆動させて上述した触力覚を操作者に呈示する。
【００４１】
本実施の形態によれば、入力された画像情報から触力覚情報を生成することができ、また、そのオブジェクトの状態に合致した触力覚を操作者に呈示することができる。これにより、触力覚情報を予め生成しておく必要もなく、また画像情報に付随させて触力覚情報を保持しておく必要もないので、外部装置から画像情報を受け取るときにはデータ通信量を削減することができ、また、データ記憶量も削減することができる。また、表示画像中のオブジェクトに関する情報を視覚のみならず触力覚によっても伝えることができる。
【００４２】
実施の形態２．
図６は、本実施の形態における画像情報処理装置のブロック構成図である。本実施の形態においては、上記実施の形態１に示した構成（図４）に、触力覚情報の呈示モードを操作者に選択させる呈示モード設定部６４を設けた構成を有している。
【００４３】
上記実施の形態１においては、静止画像に表示されたオブジェクトをあたかも触っているような感触を操作者に与えることができるということについて説明した。ただ、現在の画像処理技術によって各オブジェクトがどのような状態であるかをより正確に認識できるが、画像の空間情報から各オブジェクトの状態をより正確に認識できているとは限らない。場合によっては、オブジェクトを誤認してしまう可能性もあり、これにより、誤った触力覚を呈示してしまう可能性もあり得る。そこで、本実施の形態においては、より呈示する触力覚の確度を高めるために呈示モード設定部６４を設けたことを特徴としている。
【００４４】
例えば、デジタルカメラを用いて撮像する場合、その場所が屋外であったり、夜であったり、あるいは対象が人物や風景であったりする。一般的なデジタルカメラでは、このような各シーンに合わせてポートレート、スポーツ、遠景、夜景、文字等のシーンモードが選択できるような機能が提供されている。上記実施の形態１が自動モードであるとしたならば、本実施の形態における呈示モード設定部６４は、操作者にモードを選択できるようにした手段であるということができる。
【００４５】
すなわち、呈示モード設定部６４は、操作者による操作により、あるいは常時モード設定パネルを画像表示部２に表示する。そのモード設定パネルには、人物、風景等の各種モードが選択できるようになっている。ここで、画像表示部２に人物が表示されている場合において操作者がモード設定パネルを操作して人物のモードを選択したとすると、触力覚情報生成部５８は、肌色に近いオブジェクトは人の肌であるということをより的確に判断できると共に、肌色系のオブジェクトに関しては、肌触りのよいなめらかなか触力覚情報を生成しようと処理する。また、風景モードが選択されると、風景モードに適した画像処理を実行することによって空あるいは海に適合した触力覚情報を生成する。
【００４６】
本実施の形態では、異なる触力覚情報の呈示方法をそれぞれ設定モードとして予め登録しておくと共に、呈示モード設定部６４を設けてその予め登録された設定モードを操作者に選択できるようにした。これにより、表示されている各オブジェクトの状態をより正確に表した触力覚を操作者に呈示することができる。
【００４７】
本実施の形態では、例えば百科事典を画面表示するときに動物モードや植物モード、更に細かく魚類等の各オブジェクト群に対する呈示方法を予め設定しておけば、より実物に近い触力覚を呈示することができる。
【００４８】
なお、本実施の形態においては、呈示モード設定部６４を設けて操作者にモードを選択できるような構成としたが、表示されている画像の触力覚情報の呈示方法の設定は、これに限定されるものではない。また、例えばイコライザのように各属性情報のバランスをより細かく設定できるようなインターフェイスを設けて各種モードを生成できるようにしてもよいし、属性情報に対するパラメータ値（重み付け）を設定できるような呈示方法設定手段を設けるようにしてもよい。
【００４９】
実施の形態３．
図７は、本実施の形態における画像情報処理装置のブロック構成図である。本実施の形態においては、上記実施の形態１に示した構成（図４）に、触力覚情報の呈示モードを操作者に選択させる６４を設けた構成を有している。
【００５０】
上記実施の形態１においては、入力された画像情報をそのまま表示するようにした。しかしながら、場合によっては、入力された画像情報の配色などの属性情報を変更したり、拡縮表示したり、あるいはぼかしやモザイクを入れたりといった画像に対する処理を行いたい場合もあり得る。そこで、本実施の形態においては、入力された画像情報をそのまま表示させるのではなく、画像加工部６６を設けることによって画像情報を加工して表示するための画像を生成できるようにしたことを特徴としている。
【００５１】
画像加工部６６における作用は、前述したとおり入力された画像情報に対して何らかの加工を施して画像を生成することであり、画像表示部２は、画像加工部６６によって加工された画像を表示することになる。また、記憶部６０には、加工された状態の画像が記憶されることになる。
【００５２】
ところで、触力覚情報生成部５８は、画面表示されているオブジェクトの状態の触力覚情報を生成し、操作者へその触力覚を呈示できるようにしたものであるが、ここで仮に画像加工部６６によってオブジェクトがぼかされて表示されたとする。このような場合でも対応できるように、本実施の形態における触力覚情報生成部５８は、入力された画像情報に基づいてぼかされていないオブジェクトの状態での触力覚情報を生成する。これにより、オブジェクトがぼかされて表示されている場合でも、操作者は、ぼかされていない状態のオブジェクトを触っているような感触を得ることができる。
【００５３】
本実施の形態では、ぼかしなどの加工がされた場所にカーソルが合わされたときでもぼかされていない等、画像の加工処理が行われていない状態のオブジェクトの触力覚を操作者に呈示することができる。その一方で、加工された場所にカーソルが合わされたときに、オブジェクトの感触を操作者に与えるのではなく、感触を何も与えないようにしたり、振動を与えるなど実際の感触以外の感触を与えたりするようにしてもよい。また、このような触力覚情報生成部５８における触力覚情報の生成を選択的に切り替えられるようにしてもよい。
【００５４】
実施の形態４．
触力覚情報を操作者に呈示するには、上記各実施の形態において説明したように静止画像若しくは画像を停止させ、操作者にその画像上でカーソルを移動させるようにする方が物体を触った感じを認識させやすいので都合がよい。しかしながら、本実施の形態では、動画像に対して触力覚情報を生成し操作者に呈示するようにしたことを特徴とする。すなわち、ビデオなどの動画像に触れたり、ビデオチャットで相手の顔を触れるような使用形態を想定すればよい。
【００５５】
ここで、本実施の形態における動画像情報処理について説明する。
【００５６】
動画像情報が入力されると、情報生成処理部５４の画像生成部５６は、その動画像情報に基づき動画像を画像表示部２に表示する。一方、情報生成処理部５４の触力覚情報生成部５８は、その入力された画像情報に基づき上記の同様にしてカーソルが指し示す部分の画像に対する触力覚情報を生成する。静止画像においては、オブジェクトを認識するために画像の空間情報を参照にして触力覚情報を生成すればよいが、動画像の場合は、更に時間的な変化も考慮しなければならないので、画像の時間情報をも参照にする必要がある。本実施の形態における触力覚情報生成部５８は、画像の空間情報及び時間情報に基づきオプティカルフロー演算を行うことで触力覚情報を生成する。
【００５７】
例えば、カーソルが画像中の空の当たりを固定的に指し示しており、時折雲が流れてくるとすると、空を指し示している間は、進行方向から風を受けているような感触（抵抗感）の触力覚を呈示する。そして、雲に入るときには多少の衝突感を与え、その後はふわっとした物を触るような触力覚を呈示する。
【００５８】
動画像の場合、画像中のオブジェクトは動いているので、カーソルを動かさなくても他のオブジェクトとの境界線をまたいだ移動が頻繁に繰り返される可能性があり、これを静止画像と同様に処理するとがたがたした操作感を操作者に与え続けてしまう可能性があるので、このような場合は、触力覚情報をなめらかにするなどの補正処理を適宜行うことが望ましい。これは、オブジェクトの中の色情報等の属性情報を参照に補正する。
【００５９】
また、触力覚情報生成部５８は、動画像を取り込みながらリアルタイムに触力覚情報を生成することになるが、動画像データ量とＰＣ１の処理の処理能力との関係から負荷が過大となるときには、全画素データを計算対象とはせずに画素を粗くみて計算量を減らすようにしてもよい。あるいは、特定領域に注目してその領域のみの触力覚情報を生成するようにしてもよい。例えば、人物を中心とした動画像であるときには人物の背景については触力覚情報を生成しないなどである。
【００６０】
以上のように、本実施の形態によれば、入力された動画像に基づき触力覚情報を生成することができ、その生成した触力覚情報に基づき操作者に触力覚を呈示することができる。
【００６１】
ところで、一般にＭＰＥＧ−７と呼ばれるメタデータの表記方法に関する国際標準規格では、メタデータを生成する工程とそれを利用する工程に大別され、両者の間を標準化された表記方法が仲介するという形式でモデル化されている。ＭＰＥＧ−７が標準化対象とした標準表記方法には、本実施の形態における触力覚情報生成部５８が画像処理を行うことで得たオブジェクトの状態に関する属性情報が定義されている。従って、本実施の形態においてＭＰＥＧ−７に準拠した動画像データ、すなわち画像情報に付随した情報（この場合は、標準表記方法により定義された属性情報）から、各オブジェクトの状態を得ることができるので、それらの情報からオブジェクトにより適合した触力覚情報を生成できるようになる。
【００６２】
本実施の形態によれば、入力された動画像情報から触力覚情報を生成することができ、また、そのオブジェクトの状態に合致した触力覚を操作者に呈示することができる。これにより、触力覚情報を予め生成しておく必要もなく、また動画像情報に付随させて触力覚情報を保持しておく必要もないので、外部装置から画像情報を受け取るときにはデータ通信量を削減することができ、また、データ記憶量も削減することができる。これにより、動画像処理の高速化を図ることができる。
【００６３】
【発明の効果】
本発明によれば、世の中に数多く流通する静止画像あるいは動画像コンテンツに対して触力覚情報を付与し、操作者にコンテンツをあたかも触っているような感触を与えることができる。
【００６４】
また、ポインティング手段により指し示された部分を含む領域のみならずその周辺の領域の属性情報に基づいて触力覚情報を生成するようにしたので、指し示された位置が周辺の領域に移動されるときでも必要でないと思われる触力覚情報の推定については、低減あるいは除去することができる。
【００６５】
また、呈示方法設定手段を設けたことによって、操作者が見ていてポインティング手段により指し示された部分に適合した触力覚を操作者に呈示することができる。
【００６６】
また、画像加工手段を設けることにより、入力された画像情報を加工することによって異なる画像を表示することができる。また、このとき、触力覚情報生成手段は、表示される画像ではなく入力された画像情報に基づき触力覚情報を生成するようにすれば、表示画像とは異なる加工されていない状態の触力覚情報を生成することができる。
【図面の簡単な説明】
【図１】本発明に係る画像情報処理装置の実施の形態１を示した概略的なハードウェア構成図である。
【図２】図１に示したマウスに内蔵された触覚インタフェース装置の側面図である。
【図３】図２に示した触覚インタフェース装置の平面図である。
【図４】実施の形態１における画像情報処理装置のブロック構成図である。
【図５】実施の形態１における画面表示例を示した図である。
【図６】実施の形態２における画像情報処理装置のブロック構成図である。
【図７】実施の形態３における画像情報処理装置のブロック構成図である。
【符号の説明】
１ ＰＣ、２ ディスプレイ（画像表示部）、４ マウス、６ 開口部、１０操作部、１２ 操作部位、１４ 基台、１６ 発光部、２０ 駆動部、２１ ケース、２２，２３，２４，２５ 磁石、２６，２７，２８，２９ コイル、３０ フレーム、３１，４４ 信号線、３２ 開口部、３３ 表面、４０ 制御部、４１ 光センサ、４２ 制御基板、４６ 触力覚呈示部、４８ ポインティング機構、５０ 撮像部、５２ 画像情報収集部、５４ 情報生成処理部、５６ 画像生成部、５８ 触力覚情報生成部、６０ 記憶部、６２ 送信部、６４ 呈示モード設定部、６６ 画像加工部。
Claims (12)
- 画像を表示する画像表示手段と、
前記画像表示手段で表示された画像の一部を指し示すポインティング手段と、
入力された画像情報から得られ、前記ポインティング手段により指し示された部分を含む画像の空間情報に基づき触力覚情報を生成する触力覚情報生成手段と、
前記情報生成処理手段により生成された触力覚情報を操作者に呈示する触力覚呈示手段と、
を有することを特徴とする画像情報処理装置。 - 請求項１記載の画像情報処理装置において、
画像情報は動画像情報であることを特徴とする画像情報処理装置。 - 請求項１又は２記載の画像情報処理装置において、前記画像表示手段が表示する画像情報を記憶する記憶手段を有することを特徴とする画像情報処理装置。
- 請求項２記載の画像情報処理装置において、
前記触力覚情報生成手段は、画像の空間情報及び時間情報に基づきオプティカルフロー演算を行うことで触力覚情報を生成することを特徴とする画像情報処理装置。 - 請求項１又は２記載の画像情報処理装置において、
前記触力覚情報生成手段は、画像の空間情報に基づき領域分割演算を行うことで画像を１乃至複数の領域に分割し、その分割した各領域が表現するものに適合した触力覚情報を生成することを特徴とする画像情報処理装置。 - 請求項１記載の画像情報処理装置において、
前記触力覚情報生成手段は、前記ポインティング手段により指し示された部分を含む領域及びその周辺の領域の属性情報に基づいて、当該領域及びその周辺の領域の触力覚情報を生成することを特徴とする画像情報処理装置。 - 請求項１乃至６のいずれか１項に記載の画像情報処理装置において、
前記画像表示手段に表示されている画像の触力覚情報の呈示方法の設定を行う呈示方法設定手段を有することを特徴とする画像情報処理装置。 - 請求項７記載の画像情報処理装置において、
前記呈示方法設定手段は、異なる触力覚情報の呈示方法をそれぞれ設定モードとして予め登録しておき、その予め登録された設定モードを操作者に選択可能に表示することを特徴とする画像情報処理装置。 - 請求項１乃至８のいずれか１項に記載の画像情報処理装置において、
前記画像表示手段は、画像情報を加工して生成された加工画像を表示することを特徴とする画像情報処理装置。 - 請求項９記載の画像情報処理装置において、
入力された画像情報を加工して前記画像表示手段で表示する画像を生成する画像加工手段を有することを特徴とする画像情報処理装置。 - 請求項１０記載の画像情報処理装置において、
前記画像加工手段が生成した情報を記憶する記憶手段を有することを特徴とする画像情報処理装置。 - 請求項１乃至１１のいずれか１項に記載の画像情報処理装置において、
前記触力覚情報生成手段は、画像情報に付随する属性情報を利用して触力覚情報を生成することを特徴とする画像情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003104179A JP2004310518A (ja) | 2003-04-08 | 2003-04-08 | 画像情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003104179A JP2004310518A (ja) | 2003-04-08 | 2003-04-08 | 画像情報処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004310518A true JP2004310518A (ja) | 2004-11-04 |
Family
ID=33467078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003104179A Pending JP2004310518A (ja) | 2003-04-08 | 2003-04-08 | 画像情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004310518A (ja) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006177776A (ja) * | 2004-12-22 | 2006-07-06 | Fuji Xerox Co Ltd | 計測装置 |
| JP2007219957A (ja) * | 2006-02-17 | 2007-08-30 | Nippon Telegr & Teleph Corp <Ntt> | 触覚提示装置、その方法、およびプログラム |
| JP2008027223A (ja) * | 2006-07-21 | 2008-02-07 | Nippon Telegr & Teleph Corp <Ntt> | 視触覚融合提示装置及びその方法 |
| KR20110130469A (ko) * | 2009-03-12 | 2011-12-05 | 임머숀 코퍼레이션 | 텍스처 엔진에 대한 시스템 및 방법 |
| JP2013541789A (ja) * | 2010-11-09 | 2013-11-14 | コーニンクレッカ フィリップス エヌ ヴェ | 触覚型フィードバックを備えたユーザインタフェース |
| JP2014229315A (ja) * | 2013-05-24 | 2014-12-08 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | メディア・コンテンツ及び一又は複数の外部パラメータに基づいて触覚フィードバックを提供する方法及び装置 |
| JP2015167023A (ja) * | 2009-03-12 | 2015-09-24 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | テクスチャエンジン用のシステム及び方法 |
| US9746923B2 (en) | 2009-03-12 | 2017-08-29 | Immersion Corporation | Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction |
| KR20180021235A (ko) * | 2009-03-12 | 2018-02-28 | 임머숀 코퍼레이션 | 텍스처 엔진에 대한 시스템 및 방법 |
| JP2018163691A (ja) * | 2012-11-02 | 2018-10-18 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | ダイナミックハプティック効果のコード化 |
| JP2018190443A (ja) * | 2013-01-24 | 2018-11-29 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 触覚装置における３次元レリーフのための摩擦変調 |
| US10359851B2 (en) | 2012-12-10 | 2019-07-23 | Immersion Corporation | Enhanced dynamic haptic effects |
| JP2019168865A (ja) * | 2018-03-22 | 2019-10-03 | 東京瓦斯株式会社 | 情報処理装置、プログラム |
| US10466792B2 (en) | 2009-03-12 | 2019-11-05 | Immersion Corporation | Systems and methods for friction displays and additional haptic effects |
| US10620707B2 (en) | 2009-03-12 | 2020-04-14 | Immersion Corporation | Systems and methods for interfaces featuring surface-based haptic effects |
| JP2021515941A (ja) * | 2018-03-08 | 2021-06-24 | センセル インコーポレイテッドＳｅｎｓｅｌ，Ｉｎｃ． | 人間コンピュータインタフェースシステム |
| US11360563B2 (en) | 2016-03-31 | 2022-06-14 | Sensel, Inc. | System and method for detecting and responding to touch inputs with haptic feedback |
| US11409388B2 (en) | 2016-03-31 | 2022-08-09 | Sensel, Inc. | System and method for a touch sensor interfacing a computer system and a user |
| US11422631B2 (en) | 2016-03-31 | 2022-08-23 | Sensel, Inc. | Human-computer interface system |
| US11460924B2 (en) | 2016-03-31 | 2022-10-04 | Sensel, Inc. | System and method for detecting and characterizing inputs on a touch sensor surface |
| US11460926B2 (en) | 2016-03-31 | 2022-10-04 | Sensel, Inc. | Human-computer interface system |
| US11880506B2 (en) | 2020-10-06 | 2024-01-23 | Sensel, Inc. | Haptic keyboard system |
-
2003
- 2003-04-08 JP JP2003104179A patent/JP2004310518A/ja active Pending
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006177776A (ja) * | 2004-12-22 | 2006-07-06 | Fuji Xerox Co Ltd | 計測装置 |
| JP2007219957A (ja) * | 2006-02-17 | 2007-08-30 | Nippon Telegr & Teleph Corp <Ntt> | 触覚提示装置、その方法、およびプログラム |
| JP2008027223A (ja) * | 2006-07-21 | 2008-02-07 | Nippon Telegr & Teleph Corp <Ntt> | 視触覚融合提示装置及びその方法 |
| JP4634975B2 (ja) * | 2006-07-21 | 2011-02-16 | 日本電信電話株式会社 | 視触覚融合提示装置 |
| KR102003426B1 (ko) * | 2009-03-12 | 2019-07-24 | 임머숀 코퍼레이션 | 텍스처 엔진에 대한 시스템 및 방법 |
| KR20180021235A (ko) * | 2009-03-12 | 2018-02-28 | 임머숀 코퍼레이션 | 텍스처 엔진에 대한 시스템 및 방법 |
| US10747322B2 (en) | 2009-03-12 | 2020-08-18 | Immersion Corporation | Systems and methods for providing features in a friction display |
| JP2015167023A (ja) * | 2009-03-12 | 2015-09-24 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | テクスチャエンジン用のシステム及び方法 |
| KR20160110547A (ko) * | 2009-03-12 | 2016-09-21 | 임머숀 코퍼레이션 | 텍스처 엔진에 대한 시스템 및 방법 |
| US9746923B2 (en) | 2009-03-12 | 2017-08-29 | Immersion Corporation | Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction |
| US9874935B2 (en) | 2009-03-12 | 2018-01-23 | Immersion Corporation | Systems and methods for a texture engine |
| US10466792B2 (en) | 2009-03-12 | 2019-11-05 | Immersion Corporation | Systems and methods for friction displays and additional haptic effects |
| US10073527B2 (en) | 2009-03-12 | 2018-09-11 | Immersion Corporation | Systems and methods for providing features in a friction display including a haptic effect based on a color and a degree of shading |
| KR20110130469A (ko) * | 2009-03-12 | 2011-12-05 | 임머숀 코퍼레이션 | 텍스처 엔진에 대한 시스템 및 방법 |
| US10620707B2 (en) | 2009-03-12 | 2020-04-14 | Immersion Corporation | Systems and methods for interfaces featuring surface-based haptic effects |
| JP2019023892A (ja) * | 2009-03-12 | 2019-02-14 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | テクスチャエンジン用のシステム及び方法 |
| KR101992070B1 (ko) | 2009-03-12 | 2019-06-21 | 임머숀 코퍼레이션 | 텍스처 엔진에 대한 시스템 및 방법 |
| KR102051180B1 (ko) * | 2009-03-12 | 2019-12-02 | 임머숀 코퍼레이션 | 텍스처 엔진에 대한 시스템 및 방법 |
| JP2013541789A (ja) * | 2010-11-09 | 2013-11-14 | コーニンクレッカ フィリップス エヌ ヴェ | 触覚型フィードバックを備えたユーザインタフェース |
| JP2018163691A (ja) * | 2012-11-02 | 2018-10-18 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | ダイナミックハプティック効果のコード化 |
| US10359851B2 (en) | 2012-12-10 | 2019-07-23 | Immersion Corporation | Enhanced dynamic haptic effects |
| US11054907B2 (en) | 2013-01-24 | 2021-07-06 | Immersion Corporation | Friction modulation for three dimensional relief in a haptic device |
| JP2018190443A (ja) * | 2013-01-24 | 2018-11-29 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | 触覚装置における３次元レリーフのための摩擦変調 |
| US10429934B2 (en) | 2013-05-24 | 2019-10-01 | Immersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
| JP2014229315A (ja) * | 2013-05-24 | 2014-12-08 | イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ | メディア・コンテンツ及び一又は複数の外部パラメータに基づいて触覚フィードバックを提供する方法及び装置 |
| US10928910B2 (en) | 2013-05-24 | 2021-02-23 | Immersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
| US11460924B2 (en) | 2016-03-31 | 2022-10-04 | Sensel, Inc. | System and method for detecting and characterizing inputs on a touch sensor surface |
| US11360563B2 (en) | 2016-03-31 | 2022-06-14 | Sensel, Inc. | System and method for detecting and responding to touch inputs with haptic feedback |
| US11409388B2 (en) | 2016-03-31 | 2022-08-09 | Sensel, Inc. | System and method for a touch sensor interfacing a computer system and a user |
| US11422631B2 (en) | 2016-03-31 | 2022-08-23 | Sensel, Inc. | Human-computer interface system |
| US11460926B2 (en) | 2016-03-31 | 2022-10-04 | Sensel, Inc. | Human-computer interface system |
| US11592903B2 (en) | 2016-03-31 | 2023-02-28 | Sensel, Inc. | System and method for detecting and responding to touch inputs with haptic feedback |
| JP2021515941A (ja) * | 2018-03-08 | 2021-06-24 | センセル インコーポレイテッドＳｅｎｓｅｌ，Ｉｎｃ． | 人間コンピュータインタフェースシステム |
| JP7210603B2 (ja) | 2018-03-08 | 2023-01-23 | センセル インコーポレイテッド | 触覚フィードバックを使用してタッチ入力を検出し当該タッチ入力に応答するためのシステム及び方法 |
| JP7046667B2 (ja) | 2018-03-22 | 2022-04-04 | 東京瓦斯株式会社 | 情報処理装置、プログラム |
| JP2019168865A (ja) * | 2018-03-22 | 2019-10-03 | 東京瓦斯株式会社 | 情報処理装置、プログラム |
| US11880506B2 (en) | 2020-10-06 | 2024-01-23 | Sensel, Inc. | Haptic keyboard system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004310518A (ja) | 画像情報処理装置 | |
| CN107851299B (zh) | 信息处理装置、信息处理方法以及程序 | |
| Gauglitz et al. | Integrating the physical environment into mobile remote collaboration | |
| US9477303B2 (en) | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface | |
| TW202105133A (zh) | 在人工實境環境中使用周邊裝置的虛擬使用者介面 | |
| KR101815020B1 (ko) | 인터페이스 제어 장치 및 방법 | |
| US20090153468A1 (en) | Virtual Interface System | |
| KR20100027976A (ko) | 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션 | |
| JP2022153551A (ja) | 複合現実表示システム | |
| US10296359B2 (en) | Interactive system control apparatus and method | |
| CN106445157B (zh) | 一种画面显示方向调整的方法以及装置 | |
| JP6683864B1 (ja) | コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム | |
| CN111937045A (zh) | 信息处理装置、信息处理方法和记录介质 | |
| CN117916777A (zh) | 手工制作的增强现实努力证据 | |
| WO2020080107A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US11049306B2 (en) | Display apparatus and method for generating and rendering composite images | |
| WO2021033575A1 (ja) | 情報処理装置および方法、並びに、プログラム | |
| JP2023116432A (ja) | アニメーション制作システム | |
| KR101211178B1 (ko) | 증강 현실 컨텐츠 재생 시스템 및 방법 | |
| JP6801138B1 (ja) | 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム | |
| KR102400085B1 (ko) | 크리에이티브 카메라 | |
| Beimler et al. | Smurvebox: A smart multi-user real-time virtual environment for generating character animations | |
| JP2005078310A (ja) | 触覚呈示装置、触覚呈示方法、及びプログラム | |
| CN114424149A (zh) | 信息处理装置、信息处理方法、服务器装置和程序 | |
| GB2535730A (en) | Interactive system control apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080820 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081216 |