JP2012064095A - 触感呈示装置及び触感呈示装置の制御方法 - Google Patents

Abstract

【課題】簡単な構成で、２次元画像データからリアルな触感を呈示できる触感呈示装置及び触感呈示装置の制御方法を提供する。
【解決手段】
タッチセンサ1と、表示部2と、タッチセンサ1のタッチ面を振動させる触感呈示部3と、制御部4とを備え、制御部4は、タッチセンサ1の情報に基づいてタッチ面にタッチする対象物のタッチ面上の座標を算出する座標算出部5と、座標算出部5が算出した座標を含む所定領域の画像を三次元化する画像立体化部6と、三次元化した画像に基づいて法線ベクトルを算出する法線ベクトル算出部7と、対象物の移動ベクトルを算出するタッチ面移動ベクトル算出部8と、移動ベクトルと、法線ベクトルとに基づいて、対象物に摩擦として与えるべき摩擦ベクトルを算出する摩擦ベクトル算出部9と、摩擦ベクトルに基づいて触感呈示部3の駆動を制御する触感制御部10と、を備える。
【選択図】図１

Description

本発明は、触感呈示装置及び触感呈示装置の制御方法に関するものである。

近年、物体を三次元的に表示するために、コンピュータグラフィックスの分野では、バンプマッピングなどにより物体の表面に凹凸を表示して、三次元映像表示をする手法が一般的に用いられている。さらに、三次元映像表示に加えて、触覚ディスプレイを用いて、物体に接触した際の触感を提示する方法も提案されている。例えば、三次元スキャナで物体の形状を読込み、触覚ディスプレイに対して物体の形状の情報を送り、触覚ディスプレイは受信した情報に基づいて、格子状に配置された制御用のピンを駆動し、物体の形状を表現する方法が提案されている(例えば、特許文献１参照)。

特開２００３−３１１６２９９号公報

しかしながら、バンプマッピングにより三次元映像表示された物体は、凹凸により、見かけ上立体として認識されるが、データ上はあくまでも平面である。このため、特許文献１に開示されているような触覚ディスプレイで凹凸を表現することはできない。

また、特許文献１においては、例えば、布の表面などの細かい凹凸を３次元スキャナで読込んで、触覚ディスプレイにより触感を呈示するためには、非常に高解像度の触覚ディスプレイが必要となり、構成が複雑となる。しかも、特許文献１に開示されている触覚ディスプレイでは、３次元スキャナで測定できるデータについてしか触感呈示することができない。したがって、例えば、２次元画像（動画像）中に含まれる、水の波紋、風で揺れる旗などについては、リアルな触感呈示は不可能である。

したがって、かかる点に鑑みてなされた本発明の目的は、簡単な構成で、２次元画像データからリアルな触感を呈示できる触感呈示装置及び触感呈示装置の制御方法を提供することである。

上記目的を達成する第１の観点に係る触感呈示装置の発明は、
タッチセンサと、
画像を表示する表示部と、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
制御部と、を備え、
前記制御部は、
前記タッチセンサの情報に基づいて前記タッチ面にタッチする対象物の前記タッチ面上の座標を算出する座標算出部と、
前記座標算出部が算出した前記座標を含む所定領域の前記画像を三次元化する画像立体化部と、
三次元化した前記画像に基づいて当該画像の面の法線ベクトルを算出する法線ベクトル算出部と、
前記対象物の前記タッチ面上での移動ベクトルを算出するタッチ面移動ベクトル算出部と、
前記移動ベクトルと、前記法線ベクトルとに基づいて、前記所定領域内の前記画像が前記対象物に摩擦として与えるべき摩擦ベクトルを算出する摩擦ベクトル算出部と、
当該摩擦ベクトルに基づいて前記触感呈示部の駆動を制御する触感制御部と、
を備えることを特徴とするものである。

上記目的を達成する第２の観点に係る触感呈示装置の発明は、
タッチセンサと、
画像を表示する表示部と、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
制御部と、を備え、
前記制御部は、
前記タッチセンサの情報に基づいて前記タッチ面にタッチする対象物の前記タッチ面上の座標を算出する座標算出部と、
前記座標算出部が算出した前記座標を含む所定領域の前記画像を三次元化する画像立体化部と、
三次元化した前記画像に基づいて当該画像の面の法線ベクトルを算出する法線ベクトル算出部と、
前記画像の移動ベクトルを算出する画像移動ベクトル算出部と、
前記法線ベクトルと、前記画像の移動ベクトルとに基づいて、前記所定領域内の前記画像が前記対象物に摩擦として与えるべき摩擦ベクトルを算出する摩擦ベクトル算出部と、
当該摩擦ベクトルに基づいて前記触感呈示部の駆動を制御する触感制御部と、
を備えることを特徴とするものである。

上記目的を達成する第３の観点に係る触感呈示装置の発明は、
タッチセンサと、
画像を表示する表示部と、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
制御部と、を備え、
前記制御部は、
前記タッチセンサの情報に基づいて前記タッチ面にタッチする対象物の前記タッチ面上の座標を算出する座標算出部と、
前記座標算出部が算出した前記座標を含む所定領域の前記画像を三次元化する画像立体化部と、
三次元化した前記画像に基づいて当該画像の面の法線ベクトルを算出する法線ベクトル算出部と、
前記対象物の前記タッチ面上での移動ベクトルを算出するタッチ面移動ベクトル算出部と、
前記画像の移動ベクトルを算出する画像移動ベクトル算出部と、
前記移動ベクトルと、前記法線ベクトルと、前記画像の移動ベクトルとに基づいて、前記所定領域内の前記画像が前記対象物に摩擦として与えるべき摩擦ベクトルを算出する摩擦ベクトル算出部と、
当該摩擦ベクトルに基づいて前記触感呈示部の駆動を制御する触感制御部と、
を備えることを特徴とするものである。

上記目的を達成する第４の観点に係る触感呈示装置の制御方法の発明は、
タッチセンサと、
画像を表示する表示部と、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
制御部と、を備える触感呈示装置の制御方法であって、
前記タッチセンサの情報に基づいて前記タッチ面にタッチする対象物の前記タッチ面上の座標を算出し、
前記座標算出部が算出した前記座標を含む所定領域の前記画像を三次元化し、
三次元化した前記画像に基づいて当該画像の面の法線ベクトルを算出し、
前記対象物の前記タッチ面上での移動ベクトルを算出し、
前記移動ベクトルと、前記法線ベクトルとの算出結果に基づいて、前記所定領域内の前記画像が前記対象物に摩擦として与えるべき摩擦ベクトルを算出し、
当該摩擦ベクトルに基づいて前記触感呈示部の駆動を制御することを特徴とするものである。

上記目的を達成する第５の観点に係る触感呈示装置の制御方法の発明は、
タッチセンサと、
画像を表示する表示部と、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
制御部と、を備え触感呈示装置の制御方法であって、
前記タッチセンサの情報に基づいて前記タッチ面にタッチする対象物の前記タッチ面上の座標を算出し、
前記座標算出部が算出した前記座標を含む所定領域の前記画像を三次元化し、
三次元化した前記画像に基づいて当該画像の面の法線ベクトルを算出し、
前記画像の移動ベクトルを算出し、
前記法線ベクトルと、前記画像の移動ベクトルとに基づいて、前記所定領域内の前記画像が前記対象物に摩擦として与えるべき摩擦ベクトルを算出し、
当該摩擦ベクトルに基づいて前記触感呈示部の駆動を制御することを特徴とするものである。

上記目的を達成する第６の観点に係る触感呈示装置の制御方法の発明は、
タッチセンサと、
画像を表示する表示部と、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
制御部と、を備え触感呈示装置の制御方法であって、
前記タッチセンサの情報に基づいて前記タッチ面にタッチする対象物の前記タッチ面上の座標を算出し、
前記座標算出部が算出した前記座標を含む所定領域の前記画像を三次元化し、
三次元化した前記画像に基づいて当該画像の面の法線ベクトルを算出し、
前記対象物の前記タッチ面上での移動ベクトルを算出し、
前記画像の移動ベクトルを算出し、
前記移動ベクトルと、前記法線ベクトルと、前記画像の移動ベクトルとに基づいて、前記所定領域内の前記画像が前記対象物に摩擦として与えるべき摩擦ベクトルを算出し、
当該摩擦ベクトルに基づいて前記触感呈示部の駆動を制御することを特徴とするものである。

本発明によれば、簡単な構成で、２次元画像データからリアルな触感を呈示できる触感呈示装置及び触感呈示装置の制御方法を提供することができる。

本発明の第１実施形態に係る触感呈示装置の概略構成を示すブロック図である。 図１に示した触感呈示装置の動作を示すフローチャートである。 図２に示すステップＳ１０４での画像立体化処理を示すフローチャートである。 図２に示すステップＳ１０４での画像立体化処理を説明するための図である。 図２に示すステップＳ１０４での画像立体化処理を説明するための図である。 図２に示すステップＳ１０４での画像立体化処理を説明するための図である。 図２に示すステップＳ１０４での画像立体化処理を説明するための図である。 図２に示すステップＳ１０５での法線ベクトル算出処理を示すフローチャートである。 図２に示すステップＳ１０５での法線ベクトル算出処理を説明するための図である。 図２に示すステップＳ１０５での法線ベクトル算出処理を説明するための図である。 図２に示すステップＳ１０６でのタッチ面移動ベクトル算出処理を示すフローチャートである。 図２に示すステップＳ１０６でのタッチ面移動ベクトル算出処理を説明するための図である。 図２に示すステップＳ１０７での摩擦ベクトル処理を示すフローチャートである。 図２に示すステップＳ１０７での摩擦ベクトル処理を説明するための図である。 図２に示すステップＳ１０７での摩擦ベクトル処理を説明するための図である。 図１に示す触感呈示装置の具体的な動作の一例を説明するための図である。 図１に示す触感呈示装置の具体的な動作の一例を説明するための図である。 図１に示す触感呈示装置の具体的な動作の一例を説明するための図である。 図１に示す触感呈示装置の具体的な動作の他の例を説明するための図である。 図１に示す触感呈示装置の具体的な動作の他の例を説明するための図である。 図１に示す触感呈示装置の具体的な動作の他の例を説明するための図である。 本発明の第２実施形態に係る触感呈示装置の要部構成を概略的に示す機能ブロック図である。 図２２に示す触感呈示装置の動作を示すフローチャートである。 図２３に示すステップＳ６０２での画像移動ベクトル算出処理を示すフローチャートである。 図２３に示すステップＳ６０２での画像移動ベクトル算出処理を説明するための図である。 図２３に示すステップＳ６０２での画像移動ベクトル算出処理を説明するための図である。 図２３に示すステップＳ６０２での画像移動ベクトル算出処理を説明するための図である。 図２２に示す触感呈示装置の動作の一例を説明するための図である。

以下、本発明の実施の形態について、図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る触感呈示装置の要部構成を概略的に示す機能ブロック図である。図１に示すように、触感呈示装置１００は、タッチセンサ１と、表示部２と、触感呈示部３と、制御部４と、を備える。

タッチセンサ１は、タッチ面に、例えば、操作者の指や、スタイラスペンなどのペン型入力デバイスなどの対象物がタッチ（接触）したことを検出すると、位置情報を含む信号を出力する。以下、本実施形態では、対象物を操作者の指として説明する。タッチセンサ１は、例えば、抵抗膜方式、静電容量方式、光学式等のタッチ位置の位置情報を出力する公知のもので構成しうる。

表示部２は、静止画像や動画像を表示するもので、例えば、液晶表示パネルや有機ＥＬ表示パネル等を用いて構成する。タッチセンサ１は、表示部２の上に配置されている。操作者は、タッチセンサ１を経て表示部２に表示される画像等を目視する。

触感呈示部３は、タッチセンサ１のタッチ面を振動させるもので、例えば、圧電振動子や偏心モータを用いて構成する。触感呈示部３が、振動の周波数や駆動パターンを様々に変化させて、触感を与えることで操作者の触覚を刺激し、表示部２に表示される画像を通じて、視覚を通じて情報を与えることで、操作者があたかも表示部２に表示された物に触れているかのようなリアルな触感を生じさせる。

制御部４は、座標算出部５と、画像立体化部６と、法線ベクトル算出部７と、摩擦ベクトル算出部９と、タッチ面移動ベクトル算出部８と、触感制御部１０と、を有し、触感呈示装置１００の全体を制御する。座標算出部５は、タッチセンサ１の出力した位置情報に基づいてタッチ面にタッチする操作者の指のタッチ面上の座標を算出する。具体的には、タッチ面上の座標は、表示部２の座標に対応し、例えば、タッチ面及び表示部２が矩形からなる場合には、所定の角部を原点（０，０）とするｘｙ座標系である。画像立体化部６は、座標算出部５が算出した座標を含む所定領域の画像を三次元化する。

法線ベクトル算出部７は、三次元化した画像に基づいて当該画像の面の法線ベクトルを算出する。タッチ面移動ベクトル算出部８は、操作者の指のタッチ面上での移動ベクトルを算出する。摩擦ベクトル算出部９は、移動ベクトルと、法線ベクトルとに基づいて、画像立体化部６が三次元化した所定領域内の画像が、操作者の指に摩擦として与えるべき摩擦ベクトルを算出する。触感制御部１０は、摩擦ベクトルに基づいて触感呈示部３の駆動を制御する。

なお、制御部４が有する各機能ブロックは、単一のＣＰＵによって構成されてもよいし、それぞれ個別のＤＳＰ（Digital Signal Processor）によって構成されてもよい。

図２は、図１に示した触感呈示装置の動作を示すフローチャートである。制御部４は、触感呈示装置１００を起動すると、終了するまでループを実施する（Ｓ１０１，Ｓ１０２）。座標算出部５は、タッチセンサ１が出力した位置情報を含む信号に基づいて、座標を算出する（Ｓ１０３）。制御部４は、座標算出部５が座標を算出しなかった場合には、システムが終了するまでループを実施する。一方、座標算出部５が座標を算出した場合には、画像立体化部６は、後述する処理により、画像立体化を実施する（Ｓ１０４）。

そして、法線ベクトル算出部７は、後述する処理により、法線ベクトルを算出する（Ｓ１０５）。そして、タッチ面移動ベクトル算出部８は、後述する処理により、操作者の指のタッチ面上における移動ベクトルを算出する（Ｓ１０６）。そして、摩擦ベクトル算出部９は、法線ベクトル及び移動ベクトルに基づいて、後述する処理により、ステップＳ１０４で立体化した領域内の画像が、タッチ面上にタッチする操作者の指に対して与えるべき摩擦の向き及び大きさ（摩擦ベクトル）を算出する（Ｓ１０７）。触感制御部１０は、摩擦ベクトル算出部９が算出した摩擦ベクトルに基づいて、触感呈示部３の駆動を制御する（Ｓ１０８）。

次に、上述した各部の動作を説明する。図３は、図２に示すステップＳ１０４での画像立体化処理を示すフローチャートである。画像立体化部６は、座標算出部５の算出した座標に基づいて、当該座標の周辺領域に対応する、表示部２内の複数の画素Ｐを抽出する（Ｓ２０１）。具体的には、図４に示すように、操作者の指がタッチ面に接触した領域の中心に対応する座標の位置Ａを中心として、６画素分の半径を有する円Ｂを想定した場合にその円内及び円周線が通る複数の画素Ｐを抽出する。そして、画像立体化部６は、ステップＳ２０１において抽出した複数の画素Ｐの輝度を求める（Ｓ２０２）。なお、本実施例では6画素分の場合について説明したが、画素数については適宜設定すればよく、更に、円を想定した抽出でなくてもよい。

例えば、入力画像がＲＧＢカラー画像の場合には、ＩＴＵ−Ｒ（International Telecommunication Union）ＢＴ．７０９規格に従えば、輝度の算出は、以下のような式に従う。
Y = 0.2126 × R + 0.7152 × G + 0.0722 × B
この式によれば、ＲＧＢの各成分を合成した場合での輝度が算出される。算出した複数の画素Ｐにおける輝度の分布は、例えば、図５に示すようになる。なお、図５に示すＸＹ平面は、表示部２のＸＹ平面に対応する。

そして、画像立体化部６は、ステップＳ２０２で算出した輝度を、複数の画素Ｐの高さ成分（ｚ成分）として各画素Ｐに適用する（Ｓ２０３）。この処理は、画像中に含まれる輝度の低い（暗い）部分を、触感呈示する画像での境界部分として決定するための処理である。具体的には、ステップＳ２０３の処理により、図６に示すように、各画素Ｐが、その輝度に基づいて三次元化される。そして、画像立体下部６は、図７に示すように、隣接する各画素の中心点を結んで面を生成する（Ｓ２０４）。この処理により、ステップＳ２０３の時点では面が形成されていなかった、隣接する画素間に輝度の差がある領域に３つの頂点を有する面（すなわち、三角形の面）が形成される。

図８は、図２に示すステップＳ１０５での法線ベクトル算出処理を示すフローチャートである。法線ベクトル算出部７は、傾きのある全ての面（３つの頂点のうち、少なくともいずれか一つのｚ座標の値が異なる面）について、面を構成する３辺のうち、１つの頂点を共有する２つの辺をベクトルと見た場合に、それらの外積を算出する（Ｓ３０１、図９参照）。図９では、矢印は各面についての外積を示す。これにより、当該面に対して垂直なベクトル（すなわち、法線ベクトル）が算出できる。また、法線ベクトル算出部７は、傾きの無い面については、法線ベクトルの算出は行わない。これは、傾きの無い面は、タッチ面上を移動する操作者の指の移動方向に対する摩擦の影響が無視できるため、摩擦の計算は不要だからである。そして、法線ベクトル算出部７は、図１０に示すように、ステップＳ３０１において算出した法線について、ＸＹ平面に投影し、法線ベクトルのｚ成分を除去する（Ｓ３０２）。これにより、後述するステップＳ５０１での、法線ベクトルと移動ベクトルとの内積の算出（ステップＳ１０７に対応）が容易になる。

図１１は、図２に示すステップＳ１０６でのタッチ面移動ベクトル算出処理を示すフローチャートである。タッチ面移動ベクトル算出部８は、座標算出部５が算出した直前の座標Ａ’（図１２参照）の情報を取得する（Ｓ４０１）。続いて、タッチ面移動ベクトル算出部８は、座標算出部５が算出した現在の座標Ａ（図１２参照）の情報を取得する（Ｓ４０２）。そして、タッチ面移動ベクトル算出部８は、ステップＳ４０１及びステップＳ４０２にて取得した座標の情報に基づいて、タッチ面上を移動する操作者の指の移動ベクトル（Ａ’−Ａ）を算出する（Ｓ４０３、図１２参照）。

図１３は、図２に示すステップＳ１０７での摩擦ベクトル処理を示すフローチャートである。摩擦ベクトル算出部９は、法線ベクトル算出部７が算出した全ての法線ベクトルと、タッチ面移動ベクトル算出部８が算出した移動ベクトルとの内積を算出する（Ｓ５０１）。ここで、ステップＳ５０１において摩擦ベクトル算出部９が算出する内積の値は、図１４に示すように、法線ベクトルとタッチ面移動ベクトルとの成す角度が９０度未満である面については正の値として算出され、算出対象とする２つのベクトルの成す角度が９０度より大きい面については負の値として算出される。

すなわち、内積の値が正であれば、法線ベクトルの方向は、タッチ面上での操作者の指の移動方向と同一方向の成分を含む方向（角度の隔たりが９０度以内）であり、一方、内積の値が負であれば、法線ベクトルの方向はタッチ面上での操作者の指の移動方向に対して反対方向成分を含む方向である。後者の場合には、操作者の指に対して触感呈示部３により振動を生じさせる必要がある。

そして、摩擦ベクトル算出部９は、ステップＳ５０１において算出した内積のうち、負の値の内積の総和を算出する（Ｓ５０２）。摩擦ベクトル算出部９は、タッチ面上を移動する操作者の指に対して摩擦として与えるべき摩擦ベクトルを算出するために、移動ベクトルに対して逆向きであり、大きさがステップＳ５０２で算出した総和であるベクトルを摩擦ベクトルとして求める（Ｓ５０３、図１５参照）。

図１６〜図１８は、図１に示す触感呈示装置の具体的な動作の一例を説明するための図である。本例は、うろこを有する魚の画像が表示部２に表示された場合の例である。触感制御部１０は、ステップＳ５０３で求めた摩擦ベクトルの方向及び大きさに基づいて、触感呈示部３の駆動を制御する。具体的には、うろこの向きと同じ右向きに指をスライドさせる場合は、操作者の指に対して与える振動（摩擦）を小さくして、３次元上の摩擦（摩擦ベクトル）が小さいと認識するような触感を呈示し、うろことは逆向きの左向きに指をスライドさせる場合は振動を大きくして、３次元上の摩擦（摩擦ベクトル）が大きいと認識するような触感を呈示する。図１６において、矢印の幅は、振動（摩擦）の大きさに対応する。図１７は、操作者の指のタッチ面上でのタッチ位置付近の画像を拡大した図である。

操作者が、図１７におけるＸ軸上で、図上左から図上右に指をスライドさせる場合（すなわち、移動ベクトルが「Ｘ軸正方向」である場合）には、摩擦ベクトル算出部９が算出する摩擦ベクトルの値は小さく、操作者の指に対して与えられる摩擦は小さい。一方、操作者がＸ軸正方向とは逆方向（以下、「Ｘ軸負方向」と称する）に指をスライドさせる場合には、摩擦ベクトルの値が大きく、操作者の指に対して与えられる摩擦は大きい。ここで、「摩擦は小さい（大きい）」は、３次元上の摩擦（摩擦ベクトル）の大小であり、摩擦が小さい（大きい）場合に振動を小さく（大きく）することで、実際に触っているようなリアルな触感を呈示できるようになる。

図１８を参照して、これについて、更に詳細に説明する。図１８は、図１７に示す画像について、図５〜７を参照して説明した処理により、輝度に基づいて面を形成し、ｘｚ平面上に表したものである。実線及び破線で示した矢印は、各面の法線ベクトルを示し、破線矢印はＸ軸に対して平行であるものとする。指をＸ軸正方向にスライドさせる場合に、Ｘ軸正方向のベクトルと、実線矢印（法線ベクトル）との内積を算出するにあたって、両ベクトルの成す角θは、９０°＜θ＜１８０°度であるので、cosθは、−１＜cosθ＜０である。一方、指をＸ軸負方向にスライドさせる場合に、内積を算出するにあたって、両ベクトルの成す角θは、θ＝１８０°であるので、cosθ＝−１である。よって、指をＸ軸負方向にスライドさせる場合の内積の値の絶対値は、指をＸ軸正方向にスライドさせる場合の内積の値の絶対値よりも大きい。このため、Ｘ軸負方向に指をスライドさせる場合には、摩擦ベクトルの値が大きく、操作者の指に対して与えられる摩擦は大きい。

図１９〜２１は、図１に示した触感呈示装置の具体的な動作の他の例を説明するための図である。本例は、毛並みのある犬の画像が表示部２に表示された場合の例である。図１９に示す犬は、上から下へと流れる毛並みを有する。この場合、触感呈示装置１００は、操作者がＸ軸方向（図１９の左右方向）に指をスライドさせる場合は摩擦を大きくし、Ｙ軸方向（図１９の上下方向）に指をスライドさせる場合は摩擦を小さくする。すなわち、図１９での矢印の幅は、摩擦の大きさに対応する。図２０は、操作者の指のタッチ面上でのタッチ位置付近の画像を拡大した図である。図中、縦線は毛並みを概略的に示す線である。

操作者が、図２０におけるＸ軸方向に指をスライドさせる場合（すなわち、移動ベクトルがＸ軸方向である場合）には、摩擦ベクトル算出部９が算出する摩擦ベクトルの値は大きく、操作者の指に対して与えられる摩擦は大きい。一方、操作者がＹ軸方向に上から下へ指をスライドさせる場合には、摩擦ベクトルの値が小さく、操作者の指に対して与えられる摩擦は小さい（図２１参照）。図２１上は、図２０に示す動物の毛並みをＸ軸方向から見た図である。縦軸（Z軸）は輝度方向であり、輝度が高い部分と低い部分が交互に現れるような毛並みの場合、その境界でＸ軸方向に平行な法線ベクトルを有する面が生成される。法線ベクトルは、矢印で示す。一方、図２１下に、図２０に示す動物の毛並みをＹ軸方向から見た図である。Ｙ軸方向での輝度の変化がないため、輝度は一定であり、法線ベクトルを有する面は生成されない。

図２１上では、図１８と同様に、実線及び破線で示した矢印は、各面の法線ベクトルを示す。実線及び破線矢印は、両方とも、Ｘ軸に対して平行であるものとする。この場合、指をＸ軸正方向、負方向のどちらにスライドさせても、移動ベクトルと法線ベクトルとの成す角度θは１８０°であり、内積の絶対値の大きさは等しい。よって、Ｘ軸正方向、負方向のどちらに指をスライドさせた場合も、摩擦ベクトルの大きさは等しい。一方、上述したように、Ｙ軸方向では法線ベクトルを有する面は生成されないため、Ｙ軸方向では摩擦ベクトルは算出されない（図２１下参照）。

このように、本実施形態に係る触感呈示装置は、タッチセンサ１と、画像を表示する表示部２と、タッチ面を振動させる触感呈示部３と、制御部４と、を備え、制御部４は、タッチセンサ１の情報に基づいてタッチ面にタッチする対象物の座標を算出する座標算出部５と、当該座標を含む所定領域の画像を三次元化する画像立体化部６と、当該画像の面の法線ベクトルを算出する法線ベクトル算出部７と、対象物のタッチ面上での移動ベクトルを算出するタッチ面移動ベクトル算出部８と、これらの、移動ベクトルと、法線ベクトルとに基づいて、所定領域内の画像が対象物に摩擦として与えるべき摩擦ベクトルを算出する摩擦ベクトル算出部９と、当該摩擦ベクトルに基づいて触感呈示部３の駆動を制御する触感制御部１０と、を備えるので、簡単な構成で、２次元画像データからリアルな触感を呈示でき。その上、画像立体化部６において、画像立体化のために用いる情報として、３次元スキャナやステレオ画像から測定された三次元情報を用いることなく、例えば、単一の画像内の各画素の輝度を用いることができるので、バンプマッピングを用いた画像などについても、リアルな触感呈示が可能である。

［第２実施形態］
図２２は、本発明の第２実施形態に係る触感呈示装置の要部構成を概略的に示す機能ブロック図である。第１実施形態に係る触感呈示装置と同様の機能ブロックについては同一の参照符号を付す。

本実施形態に係る触感呈示装置１０１の制御部４’は、第１実施形態に係る触感呈示装置１００の制御部４の有する機能ブロックに加えて、画像移動ベクトル算出部１１を有するものである。本実施形態に係る触感呈示装置１０１は、表示部２にて動画像を表示した場合に、画像自体の移動ベクトル（以下、「画像移動ベクトル」と称する)も、摩擦ベクトル算出のパラメータとして利用することができるように構成されている。

画像移動ベクトル算出部１１は、画像の移動ベクトルを算出する。具体的には、画像の移動方向を算出する。摩擦ベクトル算出部９’は、移動ベクトルと、法線ベクトルと、画像の移動ベクトルとに基づいて、所定領域内の画像が操作者の指に振動（摩擦）として与えるべき摩擦ベクトルを算出する。

図２３は、図２２に示す触感呈示装置の動作を示すフローチャートである。図２に示したフローチャートと同様に、制御部４’が有する各機能ブロックにて、ステップＳ１０１〜Ｓ１０５に示す各処理が実行された後、画像移動ベクトル算出部１１は、画像の移動ベクトルを算出する（Ｓ６０１）。

そして、摩擦ベクトル算出部９’は、移動ベクトルと、法線ベクトルと、画像の移動ベクトルとに基づいて、所定領域内の画像が操作者の指に摩擦として与えるべき摩擦ベクトルを算出する（Ｓ６０２）。具体的には、図１３を参照してステップＳ５０２及びＳ５０３について説明したように、摩擦ベクトル算出部９’は、まず、法線と移動ベクトルとの内積のうちの、負の値の総和をベクトルの大きさとし、移動ベクトルに対して逆向きの方向を有するベクトルを求める。そして、摩擦ベクトル算出部９’は、求めたベクトルと、画像の移動ベクトルとの合成ベクトルを求め、所定領域内の動画像が操作者の指に摩擦として与えるべき摩擦ベクトルを算出する。そして、触感制御部１０は、摩擦ベクトル算出部９が算出した摩擦ベクトルに基づいて、触感呈示部３の駆動を制御する（Ｓ６０３）。

図２４は、図２３に示すステップＳ６０２での画像移動ベクトル算出処理を示すフローチャートである。画像移動ベクトル算出部１１は、座標算出部５が算出した座標にある画素の、動画像データの1フレーム前のフレーム内での画素位置を求める（Ｓ７０１）。具体的には、図２５に示すように、現在、操作者の指がタッチ面にタッチしている領域（実線）の中心座標Ａ_kに対応する、１フレーム前のフレーム内における座標Ａ_k-1を求める。

そして、画像立体化部６は、ステップＳ７０１で求めた座標Ａ_k-1を中心とする所定領域（破線）内の画素を抽出し、図２６に示すように、座標Ａ_k-1の周辺領域に含まれる各画素について、上述したように各画素の輝度に基づいて画像立体化処理を実行する（Ｓ７０２）。次いで、画像移動ベクトル算出部１１は、図２３におけるステップＳ１０３での画像立体化処理の結果と、ステップＳ７０２の画像立体化処理結果とを用いて、ステップＳ７０２での画像立体化処理により生成された面と、ステップＳ１０３での画像立体化処理により生成された面とを結ぶベクトルを求める(Ｓ７０３)。

具体的には、例えば、図２３のステップＳ１０４で算出した法線ベクトルの向きが、ステップＳ１０５で算出した移動ベクトルとは、対向する成分を有する（逆向きである）全ての面について行う。また、ベクトルを求めるにあたって、図２７に示すように、ステップＳ７０２での画像立体化処理により生成された面Ｐ_k-1と、Ｓ１０３での画像立体化処理により生成された面Ｐ_kのそれぞれに含まれる、例えば、外心のような、対応する１点を選出し、これら２点を結ぶことでベクトルＰ_k-1−Ｐ_kを求める。そして、画像移動ベクトル算出部１１は、ステップＳ７０３で算出したベクトルの全てのベクトルについて、平均ベクトルを算出し、画像移動ベクトルとする（Ｓ７０４）。

図２８は、第２実施形態に係る触感呈示装置の具体的な動作の一例を説明するための図である。本例では、触感呈示装置１０１の表示部２に、上から撮影した波の動画が表示されている。図２８（ａ）は、現在のフレームであり、図２８（ｂ）は直前のフレームである。今、直前フレームの画像において、操作者の指がタッチしている位置が、波面であり、現在のフレームの画像において波が表示部２における上方向に移動した場合、ステップＳ７０４において上方向の画像移動ベクトルが検出され、法線ベクトル及び移動ベクトルに基づいて、全体として上方向の摩擦ベクトルが合成されるので、操作者の指に対して触感呈示部３により所定の大きさの振動（摩擦）を発生させる。これにより、指を上方向に移動させると動画上の波の流れによって押し戻されるような感覚を得ることができる。さらに、操作者は、動画像の表示された表示部２を目視することで、触覚だけではなく視覚も通じて刺激を受けるので、あたかも波により指が上方向に押されたかのようなリアルな触感を得る。

なお、本実施例では、指を移動させ、移動ベクトルを算出する場合（移動ベクトルが発生する場合）について説明したが、移動ベクトルが発生しない、すなわち指を置いたままの位置に基づく座標算出、法線ベクトル算出、画像移動ベクトル算出に基づき、摩擦ベクトルを合成し、本摩擦ベクトルに基づいて触感呈示部3により振動を与えるようにしてもよい。このように、単に指を置く場合でも（移動ベクトルを算出しない場合でも）、指に対して動画の動きに合わせた触感を呈示することができ、具体的には図２８において波の流れによって指が上方向に押し戻されるような触感を呈示することができ、操作者は視覚及び触感により刺激を受けるので、あたかも波により指が上方向に押されたかのようなリアルな触感を得ることができる。

このように、本実施形態に係る触感呈示装置は、タッチセンサ１と、画像を表示する表示部２と、タッチ面を振動させる触感呈示部３と、制御部４と、を備え、制御部４は、タッチセンサ１の情報に基づいてタッチ面にタッチする対象物の座標を算出する座標算出部５と、当該座標を含む所定領域の画像を三次元化する画像立体化部６と、当該画像の面の法線ベクトルを算出する法線ベクトル算出部７と、対象物のタッチ面上での移動ベクトルを算出するタッチ面移動ベクトル算出部８と、画像の移動ベクトルを算出する画像移動ベクトル算出部１１と、移動ベクトルと、法線ベクトル、及び画像移動ベクトルとに基づいて、所定領域内の画像が対象物に摩擦として与えるべき摩擦ベクトルを算出する摩擦ベクトル算出部９’と、当該摩擦ベクトルに基づいて触感呈示部３の駆動を制御する触感制御部１０と、を備えるので、動画像に含まれる奥行き情報を取得できない物体を触った際の触感を再現することができる。その上、本実施形態に係る触感呈示装置は、画像移動ベクトル算出部１１にて、画像移動ベクトルを算出し、当該算出結果を摩擦ベクトル算出部９’における摩擦ベクトルの算出に利用するため、動画像のような時間変化のある画像などについても、リアルな触感呈示することが可能である。

なお、本発明は、上述した実施の形態にのみ限定されるものではなく、幾多の変更または変形が可能である。例えば、第２実施形態では、ステップＳ６０１にて画像移動ベクトル算出部１１が画像移動ベクトルを算出した後に、ステップＳ６０２にて摩擦ベクトル算出部９’が、法線ベクトル、移動ベクトル及び画像移動ベクトルに基づいて摩擦ベクトルを算出し、ステップＳ６０３にて当該摩擦ベクトルに基づいて、触感制御部１０が触感呈示部３の駆動を制御するものとして記載した。しかし、本発明はこれに限定されず、ステップＳ６０１での画像移動ベクトルの算出より前に、摩擦ベクトル算出部９’にて法線ベクトル及び移動ベクトルに基づいて、摩擦ベクトルを算出するように触感呈示装置１０１を構成することもできる。そして、摩擦ベクトル算出部９’にて摩擦ベクトルを算出した後に、画像移動ベクトル算出部１１にて画像移動ベクトルを算出し、触感制御部１０にて摩擦ベクトル及び画像移動ベクトルの合成ベクトルを求め、当該合成ベクトルに基づいて触感呈示部３の駆動を制御させても良い。このような構成の触感呈示装置１０１では、摩擦ベクトルの算出にあたって画像移動ベクトルが不要であるため、静止画及び動画像の混在するデータを入力画像として使用できるようになる。

なお、本発明における、「ベクトルの算出」は予め記憶部（不図示）に必要な情報（力の大きさと向き等を予め算出したもの）を記憶させ、ベクトルを本記憶部からの情報に基づき決定する場合も「ベクトルの算出」に該当するものとする。

１ タッチセンサ
２ 表示部
３ 触感呈示部
４，４’ 制御部
５ 座標算出部
６ 画像立体化部
７ 法線ベクトル算出部
８ タッチ面移動ベクトル算出部
９，９’ 摩擦ベクトル算出部
１０ 触感制御部
１１ 画像移動ベクトル算出部
１００，１０１ 触感呈示装置

Claims (6)

1. タッチセンサと、
   画像を表示する表示部と、
   前記タッチセンサのタッチ面を振動させる触感呈示部と、
   制御部と、を備え、
   前記制御部は、
   前記タッチセンサの情報に基づいて前記タッチ面にタッチする対象物の前記タッチ面上の座標を算出する座標算出部と、
   前記座標算出部が算出した前記座標を含む所定領域の前記画像を三次元化する画像立体化部と、
   三次元化した前記画像に基づいて当該画像の面の法線ベクトルを算出する法線ベクトル算出部と、
   前記対象物の前記タッチ面上での移動ベクトルを算出するタッチ面移動ベクトル算出部と、
   前記移動ベクトルと、前記法線ベクトルとに基づいて、前記所定領域内の前記画像が前記対象物に摩擦として与えるべき摩擦ベクトルを算出する摩擦ベクトル算出部と、
   当該摩擦ベクトルに基づいて前記触感呈示部の駆動を制御する触感制御部と、
   を備えることを特徴とする触感呈示装置。
2. タッチセンサと、
   画像を表示する表示部と、
   前記タッチセンサのタッチ面を振動させる触感呈示部と、
   制御部と、を備え、
   前記制御部は、
   前記タッチセンサの情報に基づいて前記タッチ面にタッチする対象物の前記タッチ面上の座標を算出する座標算出部と、
   前記座標算出部が算出した前記座標を含む所定領域の前記画像を三次元化する画像立体化部と、
   三次元化した前記画像に基づいて当該画像の面の法線ベクトルを算出する法線ベクトル算出部と、
   前記画像の移動ベクトルを算出する画像移動ベクトル算出部と、
   前記法線ベクトルと、前記画像の移動ベクトルとに基づいて、前記所定領域内の前記画像が前記対象物に摩擦として与えるべき摩擦ベクトルを算出する摩擦ベクトル算出部と、
   当該摩擦ベクトルに基づいて前記触感呈示部の駆動を制御する触感制御部と、
   を備えることを特徴とする触感呈示装置。
3. タッチセンサと、
   画像を表示する表示部と、
   前記タッチセンサのタッチ面を振動させる触感呈示部と、
   制御部と、を備え、
   前記制御部は、
   前記タッチセンサの情報に基づいて前記タッチ面にタッチする対象物の前記タッチ面上の座標を算出する座標算出部と、
   前記座標算出部が算出した前記座標を含む所定領域の前記画像を三次元化する画像立体化部と、
   三次元化した前記画像に基づいて当該画像の面の法線ベクトルを算出する法線ベクトル算出部と、
   前記対象物の前記タッチ面上での移動ベクトルを算出するタッチ面移動ベクトル算出部と、
   前記画像の移動ベクトルを算出する画像移動ベクトル算出部と、
   前記移動ベクトルと、前記法線ベクトルと、前記画像の移動ベクトルとに基づいて、前記所定領域内の前記画像が前記対象物に摩擦として与えるべき摩擦ベクトルを算出する摩擦ベクトル算出部と、
   当該摩擦ベクトルに基づいて前記触感呈示部の駆動を制御する触感制御部と、
   を備えることを特徴とする触感呈示装置。
4. タッチセンサと、
   画像を表示する表示部と、
   前記タッチセンサのタッチ面を振動させる触感呈示部と、
   制御部と、を備える触感呈示装置の制御方法であって、
   前記タッチセンサの情報に基づいて前記タッチ面にタッチする対象物の前記タッチ面上の座標を算出し、
   前記座標算出部が算出した前記座標を含む所定領域の前記画像を三次元化し、
   三次元化した前記画像に基づいて当該画像の面の法線ベクトルを算出し、
   前記対象物の前記タッチ面上での移動ベクトルを算出し、
   前記移動ベクトルと、前記法線ベクトルとの算出結果に基づいて、前記所定領域内の前記画像が前記対象物に摩擦として与えるべき摩擦ベクトルを算出し、
   当該摩擦ベクトルに基づいて前記触感呈示部の駆動を制御することを特徴とする制御方法。
5. タッチセンサと、
   画像を表示する表示部と、
   前記タッチセンサのタッチ面を振動させる触感呈示部と、
   制御部と、を備え触感呈示装置の制御方法であって、
   前記タッチセンサの情報に基づいて前記タッチ面にタッチする対象物の前記タッチ面上の座標を算出し、
   前記座標算出部が算出した前記座標を含む所定領域の前記画像を三次元化し、
   三次元化した前記画像に基づいて当該画像の面の法線ベクトルを算出し、
   前記画像の移動ベクトルを算出し、
   前記法線ベクトルと、前記画像の移動ベクトルとに基づいて、前記所定領域内の前記画像が前記対象物に摩擦として与えるべき摩擦ベクトルを算出し、
   当該摩擦ベクトルに基づいて前記触感呈示部の駆動を制御することを特徴とする制御方法。
6. タッチセンサと、
   画像を表示する表示部と、
   前記タッチセンサのタッチ面を振動させる触感呈示部と、
   制御部と、を備え触感呈示装置の制御方法であって、
   前記タッチセンサの情報に基づいて前記タッチ面にタッチする対象物の前記タッチ面上の座標を算出し、
   前記座標算出部が算出した前記座標を含む所定領域の前記画像を三次元化し、
   三次元化した前記画像に基づいて当該画像の面の法線ベクトルを算出し、
   前記対象物の前記タッチ面上での移動ベクトルを算出し、
   前記画像の移動ベクトルを算出し、
   前記移動ベクトルと、前記法線ベクトルと、前記画像の移動ベクトルとに基づいて、前記所定領域内の前記画像が前記対象物に摩擦として与えるべき摩擦ベクトルを算出し、
   当該摩擦ベクトルに基づいて前記触感呈示部の駆動を制御することを特徴とする制御方法。

Images