JP2004310518A - 画像情報処理装置 - Google Patents

画像情報処理装置 Download PDF

Info

Publication number
JP2004310518A
JP2004310518A JP2003104179A JP2003104179A JP2004310518A JP 2004310518 A JP2004310518 A JP 2004310518A JP 2003104179 A JP2003104179 A JP 2003104179A JP 2003104179 A JP2003104179 A JP 2003104179A JP 2004310518 A JP2004310518 A JP 2004310518A
Authority
JP
Japan
Prior art keywords
image
information
processing apparatus
image information
haptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003104179A
Other languages
English (en)
Inventor
Shin Takeuchi
伸 竹内
Kazuyuki Tsukamoto
一之 塚本
Katsumi Sakamaki
克己 坂巻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2003104179A priority Critical patent/JP2004310518A/ja
Publication of JP2004310518A publication Critical patent/JP2004310518A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】画像情報に基づいて表示画像中のポインティングされたものの触力覚情報を生成し呈示する。
【解決手段】画像生成部56は、入力された画像情報に基づき画像を生成し画像表示部2に表示させる。触力覚情報生成部58は、入力された画像情報に基づき操作者によりマウスカーソルで指し示された部分を含む領域がどのようなオブジェクトであるかを認識し、その認識したオブジェクトの状態を表す触力覚情報を画像情報に基づき生成する。触力覚呈示部46は、送られてきた触力覚情報に従い触力覚を操作者に呈示する。
【選択図】 図4

Description

【0001】
【発明の属する技術分野】
本発明は画像情報処理装置、特に操作者に対して触力覚情報によって表示画像に関連する情報の提供手法に関する。
【0002】
【従来の技術】
近年、バーチャルリアリティやシミュレータなどの分野において、画像情報に合わせて操作者に触力覚を呈示するフォースフィードバック技術を用いて操作者に臨場感を与えたり、操作などの理解容易性を高めたりする技術が発達してきた。また、これらの技術を応用してテレビゲームなどで操作用のコントローラを振動させたり、反力を与えたりすることが行われてきた。これらの技術では、さまざまな静止画像/動画像情報を表示し、それらに合わせて予め設定された触力覚情報を呈示したり、あるいはシミュレータによってコンピュータグラフィックスなどを用いた画面を逐次生成すると同時に触力覚情報を生成し操作者に呈示している。しかし、これらの方法では、触力覚を呈示するための情報やアルゴリズムなどを予め用意したコンテンツ以外では触力覚を体感することはできなかった。
【0003】
この問題点を解決するために、例えば、画像情報とは別個に触力覚情報を予め生成することなく触力覚を呈示できるようにした情報処理装置が開示されている(例えば、特許文献1)。この先行技術では、表示すべき画像情報に含まれている色相情報に着目しており、操作者が触覚呈示手段搭載のマウスを操作し、マウスカーソルを表示画像の特定の色や色の変化のあるところに移動させたときに、所定の触力覚情報を与えるようにしている。表示画像の特定の色や色の変化は、画像情報に含まれている色相情報から得られる情報であるために触力覚情報を予め用意しておく必要がない。
【0004】
【特許文献1】
特開2001−290572号公報
【特許文献2】
特開2000−330688号公報
【0005】
【発明が解決しようとする課題】
しかしながら、従来の触力覚情報呈示方法では、表示画面上のポインティングされた場所に何かがあることを伝えることはできても、その場所の画像に関連した内容の触力覚情報を呈示していなかったために、その場所にあるものがどのような状態であるのかなどを触覚により伝えることはできなかった。
【0006】
本発明は以上のような問題を解決するためになされたものであり、その目的は、画像情報に基づいて表示画像中のポインティングされたものの触力覚情報を生成し呈示することのできる画像情報処理装置を提供することにある。
【0007】
【課題を解決するための手段】
以上のような目的を達成するために、本発明に係る画像情報処理装置は、画像を表示する画像表示手段と、前記画像表示手段で表示された画像の一部を指し示すポインティング手段と、入力された画像情報から得られ、前記ポインティング手段により指し示された部分を含む画像の空間情報に基づき触力覚情報を生成する触力覚情報生成手段と、前記情報生成処理手段により生成された触力覚情報を操作者に呈示する触力覚呈示手段とを有することを特徴とする。
【0008】
また、画像情報は動画像情報であることを特徴とする。
【0009】
また、前記画像表示手段が表示する画像情報を記憶する記憶手段を有することを特徴とする。
【0010】
更に、前記触力覚情報生成手段は、画像の空間情報及び時間情報に基づきオプティカルフロー演算を行うことで触力覚情報を生成することを特徴とする。
【0011】
また、前記触力覚情報生成手段は、画像の空間情報に基づき領域分割演算を行うことで画像を1乃至複数の領域に分割し、その分割した各領域が表現するものに適合した触力覚情報を生成することを特徴とする。
【0012】
また、前記触力覚情報生成手段は、前記ポインティング手段により指し示された部分を含む領域及びその周辺の領域の属性情報に基づいて、当該領域及びその周辺の領域の触力覚情報を生成することを特徴とする。
【0013】
また、前記画像表示手段に表示されている画像の触力覚情報の呈示方法の設定を行う呈示方法設定手段を有することを特徴とする。
【0014】
更に、前記呈示方法設定手段は、異なる触力覚情報の呈示方法をそれぞれ設定モードとして予め登録しておき、その予め登録された設定モードを操作者に選択可能に表示することを特徴とする。
【0015】
また、前記画像表示手段は、画像情報を加工して生成された加工画像を表示することを特徴とする。
【0016】
また、入力された画像情報を加工して前記画像表示手段で表示する画像を生成する画像加工手段を有することを特徴とする。
【0017】
更に、前記画像加工手段が生成した情報を記憶する記憶手段を有することを特徴とする。
【0018】
また、前記触力覚情報生成手段は、画像情報に付随する属性情報を利用して触力覚情報を生成することを特徴とする。
【0019】
【発明の実施の形態】
以下、図面に基づいて、本発明の好適な実施の形態について説明する。なお、各図において同じ構成要素には同じ符号を付け、適宜説明を省略する。
【0020】
実施の形態1.
図1は、本発明に係る画像情報処理装置の実施の形態1を示した概略的なハードウェア構成図である。本実施の形態における画像情報処理装置は、画像表示手段であるディスプレイ2が搭載されたPC1と、ポインティング手段であるマウス4とで構成されている。PC1のハードウェア構成自体は汎用的な装置でよいが、本実施の形態におけるマウス4には、触力覚情報を操作者に呈示する触力覚呈示手段である触覚インタフェース装置が内蔵されている。図1には、マウス4の上面から突出した触覚インタフェース装置の操作部位12が示されている。
【0021】
図2は、図1に示したマウス4に内蔵された触覚インタフェース装置の側面図であり、図3は、図2に示した触覚インタフェース装置の平面図である。なお、図2及び図3では、触覚インタフェース装置の内部構成がわかるように、それぞれ筐体の側面及び上面を取り除いて図示している。
【0022】
本実施の形態における触覚インタフェース装置の筐体の表面33並びにマウス4には、開口部6が設けられており、操作部位12は、ユーザの指のより操作ができるように開口部6から突出している。
【0023】
本実施の形態における触覚インタフェース装置は、図2に示したように、操作部10と駆動部20と制御部40とに大別できる。操作部10は、前述した操作部位12を有している。操作部位12を支持する基台14の中心部分には、操作部位12と反対方向に光を発する発光部16が取り付けられている。なお、図3には、発光部16を便宜的に省略している。
【0024】
駆動部20は、操作部位12を操作する操作者に反力を与えるために操作部位12に対して電磁気により駆動力を与える。駆動部20は、極性が交互になるようにケース21の底面を基台として配設された磁石22,23,24,25を有している。磁石22〜25は、触覚インタフェース装置の厚さ方向に分極されており、隣接した磁石間で磁界が発生するようにしている。磁石22〜25の上方の空間には、各磁石22〜25の間にそれぞれが配設されるようにコイル26,27,28,29と、各コイル26〜29を取り付けるフレーム30とが設けられている。フレミングの左手の法則に従い、磁界中をX軸方向に並設したコイル26,28に対して電流を所定方向に流すことによって可動状態にあるフレーム30をY軸方向に沿って駆動する。同様にY軸方向に並設したコイル27,29に対して電流を所定方向に流すことによってフレーム30をX軸方向に沿って駆動する。従って、上記コイルの組のいずれか一方のみに電流を流せば一次元方向に、双方に電流を流せば各一次元方向のベクトル和により表される二次元方向に、フレーム30を駆動することができる。このように、駆動部20は、ケース21の中においてフレーム30を可動可能な部材として設けた構造を有している。フレーム30には、操作部10の基台14が取り付けられており、また、フレーム30の中央部分には、基台14に取り付けた発光部16を被わないように開口部32が形成されている。後述する制御部40は、信号線31を介してコイル26〜29へ電流を流し駆動部20の駆動制御を行うことでフレーム30を変位させる。フレーム30に取り付けられている操作部位12は、フレーム30の変位に連動して変位することになるが、駆動部20は、操作者に反力を与えるために制御部40における駆動制御のもと、操作部位12に対して電磁気により駆動力を与えることになる。駆動部20は、例えば上記特許文献2に記載された2次元アクチュエータにより実現することができる。
【0025】
発光部16が発した光は、開口部32を通過して光センサ41により受光される。光センサ41は、光検出方向により操作部位12の移動量を検出するので、開口部32は、操作部位12の可動範囲において光の通過を阻止しないような大きさとする必要がある。また、光センサ41は、光検出方向だけでなく光の照射位置や光量から検出する方法を用いるようにしてもよい。なお、操作部位12の可動範囲は、光センサ41による光の検出範囲と同義であるが、実際には筐体の表面33の開口領域又は開口部6の大きさにより決定される。
【0026】
制御部40は、駆動部20の駆動制御を行うための制御回路が形成された制御基板42と、制御基板42上に配設された前述の光センサ41とを有している。光センサ41は、前述したように発光部16が発した光を検出することによって操作部位12の可動範囲内における位置を検出する。本実施の形態における位置検出手段は、発光部16が発した光を検出する光センサ41と、制御基板42上に形成され、光センサ41が検出した光の移動量によって操作部位12の位置を得る検出回路(図示せず)とを有している。制御基板42には、更にPC1との間で情報の授受を行うために信号線44が接続されている。制御部40は、PC1から送られてくる触力覚情報に従い駆動部20の駆動制御を行うことで操作部位12を駆動し、これにより、操作部位12を接触している操作者に対して種々の操作感を与えることができる。本実施の形態における触覚インタフェース装置は、上記のように構成されているが、マウス4が本来有する部材に悪影響を与えないようにするために筐体をケイ素鋼板等の磁気シールド材で形成することが好適である。
【0027】
図4は、本実施の形態における画像情報処理装置のブロック構成図である。まず、マウス4には、前述した触覚インタフェース装置により実現される触力覚呈示部46と、マウス4がポインティングデバイスとして本来的に有するポインティング機構48とが設けられている。ポインティング機構48は、マウスカーソル(以下、単に「カーソル」という)をディスプレイ上に表示することで指し示している場所を操作者に認識させる。
【0028】
一方、PC1には、画像データを生成する撮像部50が設けられている。近年のPCにはカメラ機能を有する機種も存在するが、撮像部50は、このカメラ機能を実現するための手段である。また、近年のデジタルカメラには静止画像のみならず動画像をも撮像できるが、本実施の形態における撮像部50も動画像を撮像できるものとする。なお、撮像手段としては、撮像部50のようなPC搭載型としなくてもデジタルカメラやデジタルビなどの撮像装置を外付けするようにしても実現できる。また、撮像手段を直接又はネットワーク経由などで間接的に接続しなくても、静止/動画像データを外部装置から受信したり、あるいはPC1に予め記憶しておいてもよい。情報生成処理部54に入力される画像情報の入手方法は特に限定しない。画像情報収集部52は、撮像部50により撮像された画像データを収集する。情報生成処理部54は、入力された画像情報に基づいてディスプレイに相当する画像表示部2で表示する画像を生成する画像生成部56と、入力された画像情報から得られ、ポインティング機構48により指し示された部分を含む画像の空間情報に基づき触力覚情報を生成する触力覚情報生成部58とを有する。また、記憶部60には、画像表示部2で表示される画像が記憶される。送信部62は、記憶部60に記憶された画像データを外部装置に送信する。
【0029】
本実施の形態において特徴的なことは、カーソルによって指し示されている場所にあるものがどのような状態であるのかなどを触力覚により伝えることができるようにしたことである。これにより、画像表示されたものをあたかも触っているような感触を操作者に与えることができる。
【0030】
次に、本実施の形態における画像情報処理について説明する。なお、本実施の形態では、静止画像に対する触力覚呈示を行う場合を例にして説明する。また、操作者は、マウス操作を行う際には触力覚情報の呈示を触覚により得るために指先(一般的には右手の人差し指)を操作部位に常時接触させているものとする。
【0031】
例えば、画像情報が入力されると、情報生成処理部54の画像生成部56は、その画像情報に基づき画像を画像表示部2に表示する。なお、情報生成処理部54は、動画像が入力されたときには動画像を画像表示部2に表示することができ、この場合は動画像を一時停止されることにより電子写真画像のような静止画像と同様に動画像を形成するフレーム画像を処理することができる。一方、情報生成処理部54の触力覚情報生成部58は、入力された画像情報に基づき触力覚情報を生成する。カーソルの移動を考慮して表示画像全体に対して触力覚情報を生成するように処理するが、呈示するのはカーソルにより指し示された部分の触力覚情報なので、操作者によるマウス操作によってカーソルで指し示された部分の触力覚情報のみを少なくとも生成すればよい。すなわち、触力覚情報生成部58は、表示された静止画像上のカーソルの位置を認識すると、カーソルにより指し示された部分を含む画像の空間情報に基づき触力覚情報を生成する。この触力覚情報生成部58における処理について更に詳述する。
【0032】
画像情報からカーソルが指し示す位置及びカーソル位置を含む領域がどのような領域にあるかということは、現在の画像処理技術でも認識可能である。ここでいう領域というのは、文字表示領域であるとか人の顔が表示されている領域であるとかである。なお、人の顔の表示領域には、人の顔全体以外にも眉毛、鼻、口等の表示領域も含まれている。このように、入力された画像情報に基づき領域分割演算という画像処理を実行することで、表示画像を1乃至複数の領域に分割することができ、更にその分割した各領域がどのようなものであるか、すなわち文字の表示領域、人の顔の表示領域であるかを認識することができる。この各領域によって表現されるものを、以降の説明ではオブジェクトと称することにする。そして、触力覚情報生成部58は、各オブジェクトの画像の空間情報に基づき当該オブジェクトがどのような状態であるのかを認識することができる。ここで言う画像の空間情報というのは、オブジェクトの形状、テクスチャ等の属性情報である。このようにして、オブジェクトの状態を認識できると、その状態を触力覚によって表現するための触力覚情報を生成する。触力覚というのは、ざらざらとかすべすべという表現で表すことができる。
【0033】
なお、本実施の形態では、静止画像を表示対象としているので、いったん生成した触力覚情報は画面が切り替えられるまで保持するようにしてもよい。また、画像情報量とPC1の処理の処理能力との関係からPC1にかかる負荷が過大となるときには画素を粗くみて計算量を減らすようにしてもよい。
【0034】
図5は、画像表示部2に表示された画像の例を示した図である。図5(a)には、人の顔と空70と雲72が示されている。情報生成処理部54は、前述した画像処理を行うことで入力された画像情報を顔、空、雲と領域分割し、更に各分割領域がそれぞれ顔、空、雲の表示領域であることを認識できている。例えば、空は何の抵抗感もないというイメージがあるので、空70の表示領域の中をカーソル移動させているときには操作者に触力覚による抵抗感を何も与えない。つまり、触力覚情報生成部58は、触力覚情報を生成しない、あるいは抵抗感を与えない触力覚情報を生成する。ここで、空70の上にあるカーソルを人の顔の上に移動させようとしたとする。このとき、触力覚情報生成部58は、空70と人とは異なる領域であることを認識しているので、カーソルが空から人に移るときには何らかの抵抗感を与える。例えば、何かに衝突したような抵抗感でもよいし、人の顔は空に対して前方にあるはずなので何物かの上に乗り上げるような感じでもよい。
【0035】
人の顔の画像上において、オブジェクトに対応する色情報に基づき肌色であることを認識すると、カーソルが指し示す領域が人の肌であると判断して適度な弾性感やなめらかな感じを与えるような触力覚情報を生成する。また、カーソルが顔の上を移動しているときには、その顔の凹凸に合わせて立体感を感じさせると共に、頬から眼や眉毛にカーソルを移動させたときには何かに衝突したような触力覚情報を生成する。このように、人の顔の画像上においても異なるオブジェクトが存在することによりそのオブジェクトに対応した触力覚情報を生成する。また、空70の上にあるカーソルを雲72の上に移動させようとすると、その境界線を越えた後にはふわふわとしたものを触っているような触力覚情報を生成する。
【0036】
図5(b)は、人と犬を表示した静止画像の例を示した図である。例えば、人の顔の画像上にカーソルがあるときには上記の通りなめらかな感じを与え、カーソルが洋服の画像上に移動したときにはテクスチャ等の属性情報に基づき洋服の生地に合致した感触を操作者に与えるような触力覚情報を生成する。また、人の画像上にあるカーソルを犬の画像上に移動させるときには、触力覚情報生成部58は、前景にある犬の上に乗り上げるような感触を操作者に与えるような触力覚情報を生成する。これにより、奥行き感を操作者に与えることができる。また、犬をなでるようにカーソルを移動させるときには、同一オブジェクトにおいても毛並みに沿ったカーソル移動と逆らった方向のカーソル移動とをそれぞれ実際の感触と同様に異なった感触となるような触力覚情報を生成する。この毛並みの方向の情報は、テクスチャから読み取ることもできるし、またオブジェクトを犬と認識した場合は犬の頭としっぽの位置などから推定してもよい。
【0037】
以上のように、触力覚情報生成部58は、入力された画像情報に基づいて表示画像を複数の領域すなわちオブジェクトに分割し、そして各オブジェクトが表現するものに適合した触力覚情報を生成することになる。
【0038】
また、図5(b)には、文字の表示領域が設けられており、その領域には複数の色で構成された文字が表示されている。ここで、仮に、色情報に基づき単純に触力覚情報を生成しようとすると、色をまたいでカーソルを移動させるたびに何らかの抵抗感が感じるようになる。しかし、同一文字又は単なる文字列であることから必ずしも色の変わり目ごとに抵抗感を操作者に与える必要はないと考えられる。そこで、本実施の形態における触力覚情報生成部58は、文字の表示領域などのように異なる場合でもその際を明確に示す必要のない領域、あるいは属性情報に基づく忠実な感触表現を必要としないと考えられるような領域にカーソルが指し示されていると判断すると、カーソルにより指し示された部分を含む領域及びその周辺の領域の属性情報に基づいて当該領域及びその周辺の領域の触力覚情報を生成する。ここでいうカーソルにより指し示された部分を含む領域というのは、例えばある文字(例えばA1)のある色(例えばC1)で表示される領域を意味し、その周辺の領域というのは、ある文字(A1)のある色(C1)以外の色(例えばC2)あるいはある文字(A1)以外の文字(例えばA2)で表示される領域を意味する。つまり、この例に基づくと、文字の表示領域である判断した領域では、その領域内におけるカーソル移動に関しては、リジッド(rigid)な感じで画像情報への反応を弱くあるいは消去する。これにより、必要でないと思われる触力覚については、低減あるいは除去するようにする。
【0039】
以上の説明したように、触力覚情報生成部58は、表示されている静止画像の画像情報に基づいて、各オブジェクトの色情報等に反応させた触力覚情報を生成することに留めるのではなく、表示画像の中のオブジェクトを識別し、そのオブジェクトの素材や接触する表面の状態に対応した触力覚情報を生成することになる。すなわち、触力覚情報生成部58は、表示静止画像上において異なるオブジェクトにカーソルが移動されるときには、衝突や乗り上げるような感触を与える触力覚情報を生成する。また、人の肌や洋服の生地や毛などのように同一オブジェクトと判断された領域の中をカーソル移動するときでも、その素材、材質等と同様の感触を与えるような触力覚情報を生成する。
【0040】
そして、触力覚呈示部46は、以上のようにして触力覚情報生成部58により生成された触力覚情報に基づき操作部位を駆動させて上述した触力覚を操作者に呈示する。
【0041】
本実施の形態によれば、入力された画像情報から触力覚情報を生成することができ、また、そのオブジェクトの状態に合致した触力覚を操作者に呈示することができる。これにより、触力覚情報を予め生成しておく必要もなく、また画像情報に付随させて触力覚情報を保持しておく必要もないので、外部装置から画像情報を受け取るときにはデータ通信量を削減することができ、また、データ記憶量も削減することができる。また、表示画像中のオブジェクトに関する情報を視覚のみならず触力覚によっても伝えることができる。
【0042】
実施の形態2.
図6は、本実施の形態における画像情報処理装置のブロック構成図である。本実施の形態においては、上記実施の形態1に示した構成(図4)に、触力覚情報の呈示モードを操作者に選択させる呈示モード設定部64を設けた構成を有している。
【0043】
上記実施の形態1においては、静止画像に表示されたオブジェクトをあたかも触っているような感触を操作者に与えることができるということについて説明した。ただ、現在の画像処理技術によって各オブジェクトがどのような状態であるかをより正確に認識できるが、画像の空間情報から各オブジェクトの状態をより正確に認識できているとは限らない。場合によっては、オブジェクトを誤認してしまう可能性もあり、これにより、誤った触力覚を呈示してしまう可能性もあり得る。そこで、本実施の形態においては、より呈示する触力覚の確度を高めるために呈示モード設定部64を設けたことを特徴としている。
【0044】
例えば、デジタルカメラを用いて撮像する場合、その場所が屋外であったり、夜であったり、あるいは対象が人物や風景であったりする。一般的なデジタルカメラでは、このような各シーンに合わせてポートレート、スポーツ、遠景、夜景、文字等のシーンモードが選択できるような機能が提供されている。上記実施の形態1が自動モードであるとしたならば、本実施の形態における呈示モード設定部64は、操作者にモードを選択できるようにした手段であるということができる。
【0045】
すなわち、呈示モード設定部64は、操作者による操作により、あるいは常時モード設定パネルを画像表示部2に表示する。そのモード設定パネルには、人物、風景等の各種モードが選択できるようになっている。ここで、画像表示部2に人物が表示されている場合において操作者がモード設定パネルを操作して人物のモードを選択したとすると、触力覚情報生成部58は、肌色に近いオブジェクトは人の肌であるということをより的確に判断できると共に、肌色系のオブジェクトに関しては、肌触りのよいなめらかなか触力覚情報を生成しようと処理する。また、風景モードが選択されると、風景モードに適した画像処理を実行することによって空あるいは海に適合した触力覚情報を生成する。
【0046】
本実施の形態では、異なる触力覚情報の呈示方法をそれぞれ設定モードとして予め登録しておくと共に、呈示モード設定部64を設けてその予め登録された設定モードを操作者に選択できるようにした。これにより、表示されている各オブジェクトの状態をより正確に表した触力覚を操作者に呈示することができる。
【0047】
本実施の形態では、例えば百科事典を画面表示するときに動物モードや植物モード、更に細かく魚類等の各オブジェクト群に対する呈示方法を予め設定しておけば、より実物に近い触力覚を呈示することができる。
【0048】
なお、本実施の形態においては、呈示モード設定部64を設けて操作者にモードを選択できるような構成としたが、表示されている画像の触力覚情報の呈示方法の設定は、これに限定されるものではない。また、例えばイコライザのように各属性情報のバランスをより細かく設定できるようなインターフェイスを設けて各種モードを生成できるようにしてもよいし、属性情報に対するパラメータ値(重み付け)を設定できるような呈示方法設定手段を設けるようにしてもよい。
【0049】
実施の形態3.
図7は、本実施の形態における画像情報処理装置のブロック構成図である。本実施の形態においては、上記実施の形態1に示した構成(図4)に、触力覚情報の呈示モードを操作者に選択させる64を設けた構成を有している。
【0050】
上記実施の形態1においては、入力された画像情報をそのまま表示するようにした。しかしながら、場合によっては、入力された画像情報の配色などの属性情報を変更したり、拡縮表示したり、あるいはぼかしやモザイクを入れたりといった画像に対する処理を行いたい場合もあり得る。そこで、本実施の形態においては、入力された画像情報をそのまま表示させるのではなく、画像加工部66を設けることによって画像情報を加工して表示するための画像を生成できるようにしたことを特徴としている。
【0051】
画像加工部66における作用は、前述したとおり入力された画像情報に対して何らかの加工を施して画像を生成することであり、画像表示部2は、画像加工部66によって加工された画像を表示することになる。また、記憶部60には、加工された状態の画像が記憶されることになる。
【0052】
ところで、触力覚情報生成部58は、画面表示されているオブジェクトの状態の触力覚情報を生成し、操作者へその触力覚を呈示できるようにしたものであるが、ここで仮に画像加工部66によってオブジェクトがぼかされて表示されたとする。このような場合でも対応できるように、本実施の形態における触力覚情報生成部58は、入力された画像情報に基づいてぼかされていないオブジェクトの状態での触力覚情報を生成する。これにより、オブジェクトがぼかされて表示されている場合でも、操作者は、ぼかされていない状態のオブジェクトを触っているような感触を得ることができる。
【0053】
本実施の形態では、ぼかしなどの加工がされた場所にカーソルが合わされたときでもぼかされていない等、画像の加工処理が行われていない状態のオブジェクトの触力覚を操作者に呈示することができる。その一方で、加工された場所にカーソルが合わされたときに、オブジェクトの感触を操作者に与えるのではなく、感触を何も与えないようにしたり、振動を与えるなど実際の感触以外の感触を与えたりするようにしてもよい。また、このような触力覚情報生成部58における触力覚情報の生成を選択的に切り替えられるようにしてもよい。
【0054】
実施の形態4.
触力覚情報を操作者に呈示するには、上記各実施の形態において説明したように静止画像若しくは画像を停止させ、操作者にその画像上でカーソルを移動させるようにする方が物体を触った感じを認識させやすいので都合がよい。しかしながら、本実施の形態では、動画像に対して触力覚情報を生成し操作者に呈示するようにしたことを特徴とする。すなわち、ビデオなどの動画像に触れたり、ビデオチャットで相手の顔を触れるような使用形態を想定すればよい。
【0055】
ここで、本実施の形態における動画像情報処理について説明する。
【0056】
動画像情報が入力されると、情報生成処理部54の画像生成部56は、その動画像情報に基づき動画像を画像表示部2に表示する。一方、情報生成処理部54の触力覚情報生成部58は、その入力された画像情報に基づき上記の同様にしてカーソルが指し示す部分の画像に対する触力覚情報を生成する。静止画像においては、オブジェクトを認識するために画像の空間情報を参照にして触力覚情報を生成すればよいが、動画像の場合は、更に時間的な変化も考慮しなければならないので、画像の時間情報をも参照にする必要がある。本実施の形態における触力覚情報生成部58は、画像の空間情報及び時間情報に基づきオプティカルフロー演算を行うことで触力覚情報を生成する。
【0057】
例えば、カーソルが画像中の空の当たりを固定的に指し示しており、時折雲が流れてくるとすると、空を指し示している間は、進行方向から風を受けているような感触(抵抗感)の触力覚を呈示する。そして、雲に入るときには多少の衝突感を与え、その後はふわっとした物を触るような触力覚を呈示する。
【0058】
動画像の場合、画像中のオブジェクトは動いているので、カーソルを動かさなくても他のオブジェクトとの境界線をまたいだ移動が頻繁に繰り返される可能性があり、これを静止画像と同様に処理するとがたがたした操作感を操作者に与え続けてしまう可能性があるので、このような場合は、触力覚情報をなめらかにするなどの補正処理を適宜行うことが望ましい。これは、オブジェクトの中の色情報等の属性情報を参照に補正する。
【0059】
また、触力覚情報生成部58は、動画像を取り込みながらリアルタイムに触力覚情報を生成することになるが、動画像データ量とPC1の処理の処理能力との関係から負荷が過大となるときには、全画素データを計算対象とはせずに画素を粗くみて計算量を減らすようにしてもよい。あるいは、特定領域に注目してその領域のみの触力覚情報を生成するようにしてもよい。例えば、人物を中心とした動画像であるときには人物の背景については触力覚情報を生成しないなどである。
【0060】
以上のように、本実施の形態によれば、入力された動画像に基づき触力覚情報を生成することができ、その生成した触力覚情報に基づき操作者に触力覚を呈示することができる。
【0061】
ところで、一般にMPEG−7と呼ばれるメタデータの表記方法に関する国際標準規格では、メタデータを生成する工程とそれを利用する工程に大別され、両者の間を標準化された表記方法が仲介するという形式でモデル化されている。MPEG−7が標準化対象とした標準表記方法には、本実施の形態における触力覚情報生成部58が画像処理を行うことで得たオブジェクトの状態に関する属性情報が定義されている。従って、本実施の形態においてMPEG−7に準拠した動画像データ、すなわち画像情報に付随した情報(この場合は、標準表記方法により定義された属性情報)から、各オブジェクトの状態を得ることができるので、それらの情報からオブジェクトにより適合した触力覚情報を生成できるようになる。
【0062】
本実施の形態によれば、入力された動画像情報から触力覚情報を生成することができ、また、そのオブジェクトの状態に合致した触力覚を操作者に呈示することができる。これにより、触力覚情報を予め生成しておく必要もなく、また動画像情報に付随させて触力覚情報を保持しておく必要もないので、外部装置から画像情報を受け取るときにはデータ通信量を削減することができ、また、データ記憶量も削減することができる。これにより、動画像処理の高速化を図ることができる。
【0063】
【発明の効果】
本発明によれば、世の中に数多く流通する静止画像あるいは動画像コンテンツに対して触力覚情報を付与し、操作者にコンテンツをあたかも触っているような感触を与えることができる。
【0064】
また、ポインティング手段により指し示された部分を含む領域のみならずその周辺の領域の属性情報に基づいて触力覚情報を生成するようにしたので、指し示された位置が周辺の領域に移動されるときでも必要でないと思われる触力覚情報の推定については、低減あるいは除去することができる。
【0065】
また、呈示方法設定手段を設けたことによって、操作者が見ていてポインティング手段により指し示された部分に適合した触力覚を操作者に呈示することができる。
【0066】
また、画像加工手段を設けることにより、入力された画像情報を加工することによって異なる画像を表示することができる。また、このとき、触力覚情報生成手段は、表示される画像ではなく入力された画像情報に基づき触力覚情報を生成するようにすれば、表示画像とは異なる加工されていない状態の触力覚情報を生成することができる。
【図面の簡単な説明】
【図1】本発明に係る画像情報処理装置の実施の形態1を示した概略的なハードウェア構成図である。
【図2】図1に示したマウスに内蔵された触覚インタフェース装置の側面図である。
【図3】図2に示した触覚インタフェース装置の平面図である。
【図4】実施の形態1における画像情報処理装置のブロック構成図である。
【図5】実施の形態1における画面表示例を示した図である。
【図6】実施の形態2における画像情報処理装置のブロック構成図である。
【図7】実施の形態3における画像情報処理装置のブロック構成図である。
【符号の説明】
1 PC、2 ディスプレイ(画像表示部)、4 マウス、6 開口部、10操作部、12 操作部位、14 基台、16 発光部、20 駆動部、21 ケース、22,23,24,25 磁石、26,27,28,29 コイル、30 フレーム、31,44 信号線、32 開口部、33 表面、40 制御部、41 光センサ、42 制御基板、46 触力覚呈示部、48 ポインティング機構、50 撮像部、52 画像情報収集部、54 情報生成処理部、56 画像生成部、58 触力覚情報生成部、60 記憶部、62 送信部、64 呈示モード設定部、66 画像加工部。

Claims (12)

  1. 画像を表示する画像表示手段と、
    前記画像表示手段で表示された画像の一部を指し示すポインティング手段と、
    入力された画像情報から得られ、前記ポインティング手段により指し示された部分を含む画像の空間情報に基づき触力覚情報を生成する触力覚情報生成手段と、
    前記情報生成処理手段により生成された触力覚情報を操作者に呈示する触力覚呈示手段と、
    を有することを特徴とする画像情報処理装置。
  2. 請求項1記載の画像情報処理装置において、
    画像情報は動画像情報であることを特徴とする画像情報処理装置。
  3. 請求項1又は2記載の画像情報処理装置において、前記画像表示手段が表示する画像情報を記憶する記憶手段を有することを特徴とする画像情報処理装置。
  4. 請求項2記載の画像情報処理装置において、
    前記触力覚情報生成手段は、画像の空間情報及び時間情報に基づきオプティカルフロー演算を行うことで触力覚情報を生成することを特徴とする画像情報処理装置。
  5. 請求項1又は2記載の画像情報処理装置において、
    前記触力覚情報生成手段は、画像の空間情報に基づき領域分割演算を行うことで画像を1乃至複数の領域に分割し、その分割した各領域が表現するものに適合した触力覚情報を生成することを特徴とする画像情報処理装置。
  6. 請求項1記載の画像情報処理装置において、
    前記触力覚情報生成手段は、前記ポインティング手段により指し示された部分を含む領域及びその周辺の領域の属性情報に基づいて、当該領域及びその周辺の領域の触力覚情報を生成することを特徴とする画像情報処理装置。
  7. 請求項1乃至6のいずれか1項に記載の画像情報処理装置において、
    前記画像表示手段に表示されている画像の触力覚情報の呈示方法の設定を行う呈示方法設定手段を有することを特徴とする画像情報処理装置。
  8. 請求項7記載の画像情報処理装置において、
    前記呈示方法設定手段は、異なる触力覚情報の呈示方法をそれぞれ設定モードとして予め登録しておき、その予め登録された設定モードを操作者に選択可能に表示することを特徴とする画像情報処理装置。
  9. 請求項1乃至8のいずれか1項に記載の画像情報処理装置において、
    前記画像表示手段は、画像情報を加工して生成された加工画像を表示することを特徴とする画像情報処理装置。
  10. 請求項9記載の画像情報処理装置において、
    入力された画像情報を加工して前記画像表示手段で表示する画像を生成する画像加工手段を有することを特徴とする画像情報処理装置。
  11. 請求項10記載の画像情報処理装置において、
    前記画像加工手段が生成した情報を記憶する記憶手段を有することを特徴とする画像情報処理装置。
  12. 請求項1乃至11のいずれか1項に記載の画像情報処理装置において、
    前記触力覚情報生成手段は、画像情報に付随する属性情報を利用して触力覚情報を生成することを特徴とする画像情報処理装置。
JP2003104179A 2003-04-08 2003-04-08 画像情報処理装置 Pending JP2004310518A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003104179A JP2004310518A (ja) 2003-04-08 2003-04-08 画像情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003104179A JP2004310518A (ja) 2003-04-08 2003-04-08 画像情報処理装置

Publications (1)

Publication Number Publication Date
JP2004310518A true JP2004310518A (ja) 2004-11-04

Family

ID=33467078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003104179A Pending JP2004310518A (ja) 2003-04-08 2003-04-08 画像情報処理装置

Country Status (1)

Country Link
JP (1) JP2004310518A (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006177776A (ja) * 2004-12-22 2006-07-06 Fuji Xerox Co Ltd 計測装置
JP2007219957A (ja) * 2006-02-17 2007-08-30 Nippon Telegr & Teleph Corp <Ntt> 触覚提示装置、その方法、およびプログラム
JP2008027223A (ja) * 2006-07-21 2008-02-07 Nippon Telegr & Teleph Corp <Ntt> 視触覚融合提示装置及びその方法
KR20110130469A (ko) * 2009-03-12 2011-12-05 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
JP2013541789A (ja) * 2010-11-09 2013-11-14 コーニンクレッカ フィリップス エヌ ヴェ 触覚型フィードバックを備えたユーザインタフェース
JP2014229315A (ja) * 2013-05-24 2014-12-08 イマージョン コーポレーションImmersion Corporation メディア・コンテンツ及び一又は複数の外部パラメータに基づいて触覚フィードバックを提供する方法及び装置
JP2015167023A (ja) * 2009-03-12 2015-09-24 イマージョン コーポレーションImmersion Corporation テクスチャエンジン用のシステム及び方法
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
KR20180021235A (ko) * 2009-03-12 2018-02-28 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
JP2018163691A (ja) * 2012-11-02 2018-10-18 イマージョン コーポレーションImmersion Corporation ダイナミックハプティック効果のコード化
JP2018190443A (ja) * 2013-01-24 2018-11-29 イマージョン コーポレーションImmersion Corporation 触覚装置における3次元レリーフのための摩擦変調
US10359851B2 (en) 2012-12-10 2019-07-23 Immersion Corporation Enhanced dynamic haptic effects
JP2019168865A (ja) * 2018-03-22 2019-10-03 東京瓦斯株式会社 情報処理装置、プログラム
US10466792B2 (en) 2009-03-12 2019-11-05 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US10620707B2 (en) 2009-03-12 2020-04-14 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
JP2021515941A (ja) * 2018-03-08 2021-06-24 センセル インコーポレイテッドSensel,Inc. 人間コンピュータインタフェースシステム
US11360563B2 (en) 2016-03-31 2022-06-14 Sensel, Inc. System and method for detecting and responding to touch inputs with haptic feedback
US11409388B2 (en) 2016-03-31 2022-08-09 Sensel, Inc. System and method for a touch sensor interfacing a computer system and a user
US11422631B2 (en) 2016-03-31 2022-08-23 Sensel, Inc. Human-computer interface system
US11460926B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. Human-computer interface system
US11460924B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. System and method for detecting and characterizing inputs on a touch sensor surface
US11880506B2 (en) 2020-10-06 2024-01-23 Sensel, Inc. Haptic keyboard system

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006177776A (ja) * 2004-12-22 2006-07-06 Fuji Xerox Co Ltd 計測装置
JP2007219957A (ja) * 2006-02-17 2007-08-30 Nippon Telegr & Teleph Corp <Ntt> 触覚提示装置、その方法、およびプログラム
JP2008027223A (ja) * 2006-07-21 2008-02-07 Nippon Telegr & Teleph Corp <Ntt> 視触覚融合提示装置及びその方法
JP4634975B2 (ja) * 2006-07-21 2011-02-16 日本電信電話株式会社 視触覚融合提示装置
KR102003426B1 (ko) * 2009-03-12 2019-07-24 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
KR20180021235A (ko) * 2009-03-12 2018-02-28 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
US10747322B2 (en) 2009-03-12 2020-08-18 Immersion Corporation Systems and methods for providing features in a friction display
JP2015167023A (ja) * 2009-03-12 2015-09-24 イマージョン コーポレーションImmersion Corporation テクスチャエンジン用のシステム及び方法
KR20160110547A (ko) * 2009-03-12 2016-09-21 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US9874935B2 (en) 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
US10466792B2 (en) 2009-03-12 2019-11-05 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US10073527B2 (en) 2009-03-12 2018-09-11 Immersion Corporation Systems and methods for providing features in a friction display including a haptic effect based on a color and a degree of shading
KR20110130469A (ko) * 2009-03-12 2011-12-05 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
US10620707B2 (en) 2009-03-12 2020-04-14 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
JP2019023892A (ja) * 2009-03-12 2019-02-14 イマージョン コーポレーションImmersion Corporation テクスチャエンジン用のシステム及び方法
KR101992070B1 (ko) 2009-03-12 2019-06-21 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
KR102051180B1 (ko) * 2009-03-12 2019-12-02 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
JP2013541789A (ja) * 2010-11-09 2013-11-14 コーニンクレッカ フィリップス エヌ ヴェ 触覚型フィードバックを備えたユーザインタフェース
JP2018163691A (ja) * 2012-11-02 2018-10-18 イマージョン コーポレーションImmersion Corporation ダイナミックハプティック効果のコード化
US10359851B2 (en) 2012-12-10 2019-07-23 Immersion Corporation Enhanced dynamic haptic effects
US11054907B2 (en) 2013-01-24 2021-07-06 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
JP2018190443A (ja) * 2013-01-24 2018-11-29 イマージョン コーポレーションImmersion Corporation 触覚装置における3次元レリーフのための摩擦変調
US10429934B2 (en) 2013-05-24 2019-10-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
JP2014229315A (ja) * 2013-05-24 2014-12-08 イマージョン コーポレーションImmersion Corporation メディア・コンテンツ及び一又は複数の外部パラメータに基づいて触覚フィードバックを提供する方法及び装置
US10928910B2 (en) 2013-05-24 2021-02-23 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US11460926B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. Human-computer interface system
US11360563B2 (en) 2016-03-31 2022-06-14 Sensel, Inc. System and method for detecting and responding to touch inputs with haptic feedback
US11409388B2 (en) 2016-03-31 2022-08-09 Sensel, Inc. System and method for a touch sensor interfacing a computer system and a user
US11422631B2 (en) 2016-03-31 2022-08-23 Sensel, Inc. Human-computer interface system
US11460924B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. System and method for detecting and characterizing inputs on a touch sensor surface
US11592903B2 (en) 2016-03-31 2023-02-28 Sensel, Inc. System and method for detecting and responding to touch inputs with haptic feedback
JP2021515941A (ja) * 2018-03-08 2021-06-24 センセル インコーポレイテッドSensel,Inc. 人間コンピュータインタフェースシステム
JP7210603B2 (ja) 2018-03-08 2023-01-23 センセル インコーポレイテッド 触覚フィードバックを使用してタッチ入力を検出し当該タッチ入力に応答するためのシステム及び方法
JP7046667B2 (ja) 2018-03-22 2022-04-04 東京瓦斯株式会社 情報処理装置、プログラム
JP2019168865A (ja) * 2018-03-22 2019-10-03 東京瓦斯株式会社 情報処理装置、プログラム
US11880506B2 (en) 2020-10-06 2024-01-23 Sensel, Inc. Haptic keyboard system

Similar Documents

Publication Publication Date Title
JP2004310518A (ja) 画像情報処理装置
CN107851299B (zh) 信息处理装置、信息处理方法以及程序
Gauglitz et al. Integrating the physical environment into mobile remote collaboration
US9477303B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
TW202105133A (zh) 在人工實境環境中使用周邊裝置的虛擬使用者介面
KR101815020B1 (ko) 인터페이스 제어 장치 및 방법
CN114766038A (zh) 共享空间中的个体视图
US20090153468A1 (en) Virtual Interface System
JP2022153551A (ja) 複合現実表示システム
KR20100027976A (ko) 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
US10296359B2 (en) Interactive system control apparatus and method
CN106445157B (zh) 一种画面显示方向调整的方法以及装置
CN111937045A (zh) 信息处理装置、信息处理方法和记录介质
WO2020080107A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN117916777A (zh) 手工制作的增强现实努力证据
US11049306B2 (en) Display apparatus and method for generating and rendering composite images
WO2021033575A1 (ja) 情報処理装置および方法、並びに、プログラム
US20210116993A1 (en) Display apparatus and method using projection matrices to generate image frames
JP2023116432A (ja) アニメーション制作システム
KR101211178B1 (ko) 증강 현실 컨텐츠 재생 시스템 및 방법
Beimler et al. Smurvebox: A smart multi-user real-time virtual environment for generating character animations
JP2005078310A (ja) 触覚呈示装置、触覚呈示方法、及びプログラム
CN114424149A (zh) 信息处理装置、信息处理方法、服务器装置和程序
GB2535730A (en) Interactive system control apparatus and method
JP7470347B2 (ja) アニメーション制作システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080820

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081216