JP2011129091A - タッチパネル装置及びタッチパネル装置の制御方法 - Google Patents

タッチパネル装置及びタッチパネル装置の制御方法 Download PDF

Info

Publication number
JP2011129091A
JP2011129091A JP2010173690A JP2010173690A JP2011129091A JP 2011129091 A JP2011129091 A JP 2011129091A JP 2010173690 A JP2010173690 A JP 2010173690A JP 2010173690 A JP2010173690 A JP 2010173690A JP 2011129091 A JP2011129091 A JP 2011129091A
Authority
JP
Japan
Prior art keywords
vibration
component
touch panel
finger
operation input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010173690A
Other languages
English (en)
Other versions
JP5704428B2 (ja
Inventor
Masatake Harashima
正豪 原島
Masahito Takada
将人 高田
Mayumi Nakamura
真弓 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2010173690A priority Critical patent/JP5704428B2/ja
Priority to TW099139529A priority patent/TWI432992B/zh
Priority to EP10191540.3A priority patent/EP2325723A3/en
Priority to US12/949,388 priority patent/US20110115734A1/en
Publication of JP2011129091A publication Critical patent/JP2011129091A/ja
Application granted granted Critical
Publication of JP5704428B2 publication Critical patent/JP5704428B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】操作体の動きに追従して操作部品の移動を操作者に認識させつつ、操作体による操作部品の操作性向上を図ることができるタッチパネル装置及びタッチパネル装置の制御方法を提供する。
【解決手段】操作体が接することで操作入力を受け付ける操作入力パネルと、操作入力パネルに対向して設けられた画像表示部と、画像表示部に画像として表示させる操作部品を生成する操作部品生成部とを備えたタッチパネル装置において、操作入力パネルを振動させる振動手段と、操作入力パネル上で操作体を移動させて操作部品を画像表示部内で移動させる操作を行った際に、操作体の移動に追従して操作体と操作入力パネルとの接触位置に操作部品の形状が振動で触覚的に呈示されるように、振動手段によって操作入力パネルを振動させる制御を行う制御手段とを有する。
【選択図】図1

Description

本発明は、画像表示部に操作部品を表示し、操作入力パネルから入力される操作入力を受け付けるタッチパネル装置、及び、そのタッチパネル装置の制御方法に関するものである。
携帯電話や音楽プレーヤーなどの端末装置の表示画面には、タッチパネルを用いた入力装置(以下、タッチパネル装置という)が広く使用されている。一般的なタッチパネル装置は、液晶画面などの表示画面に操作入力パネルを重ね合わせて用いられる。このようなタッチパネル装置では、表示画面にボタンなどの操作部品を表示し、操作部品の表示位置に対応した操作入力パネル上の位置を操作体である指でタッチして操作部品の操作を行う。ボタンなどの操作部品としては、GUI(Graphical User Interface)部品が挙げられる。このようなタッチパネル装置は、メカニカルなボタンやスライダーやダイヤルなどのインターフェース部品が配置された操作パネルとは異なり、操作部品のレイアウトがソフトウェアにより自由に変更ができるため利便性が高く、今後も更に需要が増して来ることが予想される。
ところが、表示画面に表示された操作部品を操作する場合に、指先が操作部品を視覚的に遮蔽してしまい操作しづらくなることがある。また、凹凸形状やクリック感を伴うメカニカルなボタンなどの操作に比べ、表示画面に表示される操作部品の操作を行った際には、操作者にフィードバックされる触覚や聴覚などの情報が乏しい。そのため、操作部品の押下やスライド移動などの操作入力がタッチパネル装置に認識されているのかいないのかを操作者が推定することが難しくなっており、操作者の操作意図と実際の機器動作との乖離につながっている。例えば、操作部品としてスライダーを操作する際に操作者の指を操作入力パネル上でスライド移動させたり、操作部品としてダイヤルを操作する際に操作者の指を操作入力パネル上で円を描くように回転させたりしても、スライダーやダイヤルが指の動きに追従して動かず操作が失敗することがある。このように、GUI部品を操作したつもりでも動作しないといったことが発生すると、操作者にストレスを感じさせてしまう。
特許文献1に記載のタッチパネル装置では、操作入力パネル上で指を移動させて表示画面に表示された操作部品の移動操作を行った際に、指の動きに追従して操作部品が移動している場合にタッチパネル装置全体を一様に振動させる。これにより、指の動きに追従して操作部品の移動が行われていることを操作者が認識することができる。
操作部品を指で操作した場合の操作感と、メカニカルなインターフェース部品を指で操作した場合の操作感とが近いと、操作者はインターフェース部品を指で操作するような感覚で指により操作部品を操作できるため、操作部品の操作性が向上すると考えられる。
メカニカルなインターフェース部品を指で操作した場合には、インターフェース部品の形状を指先で認識することができ、インターフェース部品を見なくても直感的にインターフェース部品の操作を行うことができる。しかしながら、特許文献1に記載のタッチパネル装置では、操作部品の形状を指先により認識できるような構成にはなっておらず、直感的に操作部品を操作することができない。そのため、表示画面に表示された操作部品の操作を操作入力パネル上で指を移動させて行った場合の操作感が、メカニカルなインターフェース部品を操作した場合の操作感とは遠いものとなり、操作部品の操作性向上を図るのが困難である。
本発明は以上の問題点に鑑みなされたものであり、その目的は、操作体の動きに追従して操作部品の移動を操作者に認識させつつ、操作体による操作部品の操作性向上を図ることができるタッチパネル装置及びタッチパネル装置の制御方法を提供することである。
上記目的を達成するために、請求項1の発明は、自身の表面に操作体が接することで操作入力を受け付ける操作入力パネルと、前記操作入力パネルに対向して設けられ画像を表示する画像表示部と、前記画像表示部に画像として表示させる操作部品を生成する操作部品生成部と、を備え、前記画像表示部に表示された操作部品の位置に対応した前記操作入力パネル上の位置に前記操作体を接触させて、該操作体により該操作部品を操作するタッチパネル装置において、前記操作入力パネルを振動させる振動手段と、前記操作入力パネル上で前記操作体を移動させて前記操作部品を前記画像表示部内で移動させる操作を行った際に、該操作体の移動に追従して該操作体と該操作入力パネルとの接触位置に該操作部品の形状が振動で触覚的に呈示されるように、前記振動手段によって該操作入力パネルを振動させる制御を行う制御手段と、を有することを特徴とするものである。
また、請求項2の発明は、請求項1のタッチパネル装置において、上記操作入力パネルと上記操作体との接触状態を検出する接触状態検出手段と、上記操作部品の形状を触覚的に呈示するような振動の振幅分布を、前記接触状態検出手段の検出結果に基づいて振動プロファイルとして作成する振動プロファイル作成手段とを有しており、上記制御手段は、前記振動プロファイルに基づいて上記振動手段により前記操作入力パネルを振動させる制御を行うものであり、前記操作入力パネル上での前記操作体の移動に追従して連続的に前記制御に用いる前記振動プロファイルを変化させることを特徴とするものである。
また、請求項3の発明は、請求項1のタッチパネル装置において、上記画像表示部上における上記操作部品の位置を検知する操作部品位置報検知手段と、前記操作部品の形状を触覚的に呈示するような振動の振幅分布を、前記操作部品位置検知手段の検知結果に基づいて振動プロファイルとして作成する振動プロファイル作成手段とを有しており、上記制御手段は、前記振動プロファイルに基づいて上記振動手段により前記操作入力パネルを振動させる制御を行うものであり、前記操作入力パネル上での前記操作体の移動に追従して連続的に前記制御に用いる前記振動プロファイルを変化させることを特徴とするものである。
また、請求項4の発明は、請求項2または3のタッチパネル装置において、上記操作入力パネル上における上記操作体の位置を検知する操作体位置検知手段を有しており、上記振動プロファイル作成手段は、前記操作体位置検知手段の検知結果にも基づいて前記振動プロファイルを作成することを特徴とするものである。
また、請求項5の発明は、請求項1、2、3または4のタッチパネル装置において、上記振動プロファイルは前記操作部品の凹凸形状が呈示されるような振動の振幅分布であることを特徴とするものである。
また、請求項6の発明は、請求項1、2、3、4または5のタッチパネル装置において、上記振動手段は腹と節とが形成される定在波によって上記操作入力パネルを振動させるものであり、上記振動プロファイル作成手段は、前記操作入力パネル上での前記操作体の移動に追従して連続的に前記定在波の腹と節との位置が変化するように上記振動プロファイルを作成することを特徴とするものである。
また、請求項7の発明は、請求項1、2、3、4、5または6のタッチパネル装置において、上記操作部品は、上記画像表示部でスライド移動可能なスライダー部品であることを特徴とするものである。
また、請求項8の発明は、請求項1、2、3、4、5または6のタッチパネル装置において、上記操作部品は、上記画像表示部で時計回り方向と反時計回り方向との少なくとも一方向に回転可能なダイヤル部品であることを特徴とするものである。
また、請求項9の発明は、画像表示部に表示された操作部品の位置に対応した操作入力パネル上の位置に操作体を接触させて、前記操作体により前記操作部品を操作するタッチパネル装置の制御方法において、前記操作体と前記操作入力パネルとの接触状態を検出する接触状態検出工程と、前記操作部品の位置に対応した前記操作入力パネル上に前記操作体が位置しているかを判定する操作体位置判定工程と、前記操作入力パネル上で前記操作体を移動させて前記操作部品を前記画像表示部内で移動させる操作を行った際に、前記操作体の移動に追従して前記操作体と前記操作入力パネルとの接触位置に前記操作部品の形状が触覚的に呈示されるような振動を振動手段によって前記操作入力パネルに発生させる振動発生工程と、を行うことを特徴とするものである。
本発明においては、操作入力パネル上で操作体を移動させて操作部品の操作を行った際に、制御手段により制御された振動手段によって操作入力パネルを振動させ、操作体の移動に追従して操作体と操作入力パネルとの接触位置に操作部品の形状を触覚呈示する。このように、前記接触位置に操作部品の形状が触覚呈示されることで、操作体が操作部品を保持しつつ操作体の移動に追従して操作部品を移動できているのかいないのかを、操作者が直感的に認識することができる。
また、画像表示部に表示された操作部品の形状を操作入力パネル上で操作体により認識できることから、操作部品を操作体で操作した場合の操作感が、メカニカルなインターフェース部品を操作体で操作した場合の操作感と近いものとなる。よって、その分、操作者はメカニカルなインターフェース部品を操作体で操作するような感覚で、操作体により操作部品を操作できるため、操作体による操作部品の操作性向上を図ることができる。
以上、本発明によれば、操作体の動きに追従して操作部品の移動を操作者に認識させつつ、操作体による操作部品の操作性向上を図ることができるという優れた効果がある。
タッチパネル装置の構成を示す図。 感圧式のタッチセンサを用いた場合のタッチパネル装置の構成を示す図。 静電方式のタッチパネル装置の他の構成を示す図。 梁モデル図。 連続的な節位置の変化を示した図。 ターゲット位置xとゲインαとの関係を示すグラフ。 (a)位相差φ=0の場合の梁の位置xと応答変位w(x)との関係を示すグラフ。(b)位相差φ=π[rad]の場合の梁の位置xと応答変位w(x)との関係を示すグラフ。 メカニカルなスライダーを示す図。 全体の処理の流れを示すフローチャート。 指とスライダーノブとの位置関係を示す図。 スライダーノブ位置の更新を説明する図。 (a)E’を大きく設定した場合の指の中央位置とスライダーノブの中心位置との関係を示すグラフ。(b)E’を小さく設定した場合の指の中央位置とスライダーノブの中心位置との関係を示すグラフ。 ターゲット位置xとゲインαとの関係を示すグラフ。 スライド方向に振られた目盛りに吸着する感覚を実現する方法での指の中央位置とスライダーノブの中心位置との関係を示すグラフ。 指とスライダーノブの接触状態の遷移を示す図。 (a)指とメカニカルなスライダーノブとの位置関係を示す図。(b)スライダーノブ形状に相当する振動分布を示す図。 指とスライダーノブとの位置関係と振動分布を示す図。 指とスライダーノブとの位置関係と振動分布を示す図。 指とスライダーノブとの位置関係と振動分布を示す図。 指とスライダーノブとの位置関係と振動分布を示す図。 指とスライダーノブとの位置関係と振動分布を示す図。 指とスライダーノブとの位置関係と振動分布を示す図。 メカニカルなダイヤルを示す図。 ジョグダイヤルをダイヤルノブの凹み部が形成された上面側から見た図。 指とダイヤルノブの凹み部との位置関係を示す図。 ダイヤルノブの凹み部と指との間の位置関係を振動によって連続的に触覚呈示する場合の説明に用いる図。
以下、本発明のタッチパネル装置を適用した実施形態について説明する。図1は、本実施形態のタッチパネル装置100の断面構造を示す図である。
本実施形態のタッチパネル装置100は、基板1、表示パネル15、タッチセンサ10、カバーパネル11、振動子17A,17B、接触状態検出部12、表示制御部14、振動子駆動部16、情報処理部13、及び、メモリ9などを備えている。
基板1は、表示パネル15、タッチセンサ10、カバーパネル11、及び、振動子17A,17Bを搭載するための基板であり、例えば、ガラスエポキシ基板やガラスコンポジット基板で構成されるプリンタ基板(PCB:Printed Circuit Board)を用いることができる。
表示パネル15は、基板1に搭載され、表示制御部14によって生成されるGUI部品を表示する表示部である。この表示パネル15は、GUI部品を表示できればよいため、例えば、液晶パネルや有機EL(Electro−Luminescence)パネルを用いれば良い。また、表示パネル15では操作者が視覚的にGUI部品の凹凸形状を認識できるような画像としてGUI部品が表示される。
タッチセンサ10は、表示パネル15の上に搭載され、操作者が押圧した位置の座標を検出する座標検出装置である。本実施形態では、タッチセンサ10として抵抗膜方式のセンサを用いる形態について説明するが、タッチセンサ10としては、抵抗膜方式のセンサに限られるものではなく、例えば、感圧式のセンサ、静電容量方式のセンサ、超音波方式のセンサ、または、光学方式のセンサを用いても良い。
ここで、静電容量方式のセンサについて、簡単に説明する。静電容量方式のセンサでは、タッチセンサ10が、カバーパネル11をはさんで指と対向して複数個並べられている電極アレイを備える。カバーパネル11をはさんで電極アレイと誘電体である指とでコンデンサが構成され、電極アレイと指との間に静電容量が形成される。一般に、面積S、距離dの平行平板導体の間に誘電率εの誘導体が均一に存在している場合の静電容量Cは、C=εS/dとなるので、電極アレイの各電極と指との間に形成される静電容量は、指から対向する電極アレイの各電極までの距離や面積によって変化する。すなわち、電極アレイの各電極と指との間隔が狭まるほど、言い換えれば、指がカバーパネル11に近づくほど前記静電容量は増加する。よって、この静電容量の変化を検知し検知結果を用いて、指がカバーパネル11に接触した位置の座標を特定することができる。
また、感圧式のセンサを用いる場合には、図2に示すようにタッチセンサ10をカバーパネル11の表示パネル15に面する側とは反対側の面上に設けることで、カバーパネル11にガラスなどの硬い材質を用いたとしても、操作者が押圧した位置の座標検出を良好に行うことができる。
抵抗膜方式のセンサは、複数の透明電極が一定間隔でマトリックス状に大綱配置された電極シートを有しており、操作者がカバーパネル11の表面を指で押圧すると、対向する電極同士が接触して導通し、その接触位置によって電極シートのX方向及びY方向の抵抗値が変化する。この抵抗値の変化により、抵抗膜方式のセンサから出力されるX方向及びY方向に対応する電圧値が変化する。この電圧値の変化により、押圧された操作位置の座標が特定される。
カバーパネル11は、タッチパネル装置100の操作入力部となる透明基板であり、上述のように操作者がカバーパネル11の表面を押圧するとタッチセンサ10で操作位置の座標が検出されるため、カバーパネル11の表面は、本実施形態のタッチパネル装置を操作するための座標入力面となる。このカバーパネル11としては、例えば、アクリル製あるいはポリカーボネート製の樹脂基板、または、ガラス基板を用いることができる。
振動子17A,17Bは、積層された負数の薄板状の圧電素子を電極板で挟んで樹脂製の筐体に収納したパッケージ型の駆動素子である。振動子17A,17Bは、図1に示すように、基板1とカバーパネル11との間に挟まれた状態で、表示パネル15及びタッチセンサ10の両側に対をなすように、一つずつ配設される。振動子17A,17Bは、実際には、基板1及びカバーパネル11の紙面を貫く方向の辺と略同じ長さを有する細長い駆動素子である。振動子17A,17Bは、電圧が印加されると、積層方向に歪んで変位するため、カバーパネル11に振動を生成するための振動生成部として用いられる。また、振動子17としては、圧電素子やボイスコイルや振動モータなどを用いてもよく、振動子17の数も1つあるいは2つ以上の何れでもよい。
接触状態検出部12は、タッチセンサ10から出力される操作位置の座標を表す電圧値に信号処理を行う回路である。この信号処理により、操作位置の座標を表す電圧値は、増幅、ノイズ除去、及び、デジタル変換が行われ、デジタル電圧値として出力される。このように信号処理を行うため、タッチセンサ10から出力される電圧値が微小であっても、操作位置を正確に検出することができる。また、上述のように複数の透明電極をマトリクス状に配列した抵抗膜方式のタッチセンサ10を用いている場合には、押圧によって接触が生じた電極の数から接触面積を求めることができるとともに、接触面の中心位置を算出して操作位置(接触位置)を正確に導出できる。さらに、接触状態検出部12は、操作位置や接触面積の時間変化量を検出することもできる。
また、タッチセンサ10及び接触状態検出部12は、座標入力面上でなされた操作入力の押圧度合を検出する押圧度合検出部としての機能も有する。
接触状態検出部12は、操作位置の座標を表す電圧値に上述の信号処理を行い、操作入力のあった位置を表す入力座情報と、接触面積を表す面積情報を出力する。入力座標情報は、例えば、入力操作が行われた領域の中心位置の座標を表し、面積情報は接触面積の大きさを示す。操作者による押圧度合が高くなると、対向配置されたタッチセンサ10の電極シートが接触する接触面積が増えるため、電極シート間の抵抗値が下がり、接触状態検出部12から出力される面積情報を表す電圧値は低くなる。一方、押圧度合が低い場合は、前記接触面積が減るため、面積情報を表す電圧値は高くなる。面積情報の変化は、操作者によるカバーパネル11の押圧度合の変化を表す情報として利用することができる。入力座標情報と面積情報とは、操作者の操作入力の内容を表す情報として、情報処理部13に入力される。
上述したことから接触状態検出部12において、タッチセンサ10からの信号をもとに、指とカバーパネル11との接触判定、指とカバーパネル11との間の接触領域の圧力分布、重心座標などの算出がなされる。
表示制御部14は、表示パネル15の各画素を駆動して所望の画像を表示させるための回路である。例えば、液晶パネルがアクティブマトリクス駆動される場合は、表示制御部14は、情報処理部13から入力される画像データ及び表示座標データに基づき、各画素を駆動するためのTFT(Thin Film Transistor)を駆動する。表示制御部14は、情報処理部13によってメモリ9から読み出される画像データをアナログ電圧信号に変換して出力し、表示パネル15を駆動する。これにより、表示パネル15には、画像データに応じた画像(画像パターン)が表示座標データに応じた表示位置に表示される。画像データは、メモリ9に格納されており、例えば、タッチパネル装置100の操作部品となるGUI部品やGUI部品の周囲の画像(画像パターン)に生成するためのデータである。また、表示座標データは、画像データを表す位置を座標上で特定するためのデータであり、画像データと関連付けられてメモリ9内に格納されている。
振動子駆動部16は、振動子17A,17Bを駆動するための駆動電圧(駆動信号)を出力する回路であり、例えば、ファンクションジェネレータを用いることができる。振動子駆動部16は、情報処理部13から入力される駆動パターン(後述する振動子指令信号)に応じて駆動電圧の電圧波形の変調や増幅を行い、振動子17A,17Bを駆動する。駆動パターンは、電圧波形の周波数や振幅などで決まるため、電圧波形の周波数や振幅は、情報処理部13がメモリ9から読み出す周波数データ及び振幅データによって設定されることになる。
情報処理部13は、例えば、CPU(Central Processing Unit:中央演算処理装置)で構成され、本実施形態のタッチパネル装置100の制御を統括する処理装置である。
本実施形態では、情報処理部13は、メモリ9内に格納されたプログラムを実行して操作者に所定のサービスを提供する際に、接触状態検出部12から入力される入力座標情報または面積情報と、表示パネル15に表示しているGUI部品の種類を表すデータとに基づき、操作者の操作内容を判定する。そして、判定結果に応じて処理を実行し、処理に必要な画像パターンを生成するための画像データをメモリ9から読み出し、表示制御部14を介して表示パネル15に表示させる。
情報処理部13では処理の中心となるアプリケーションが実行されており、操作者の入力をGUI部品を通して受け付ける状態となっている。さらに、指とカバーパネル11との接触状態および、GUI部品の現在の状態にもとづき、操作対象のGUI部品を含むGUI全体の画面情報の生成と、カバーパネル11上に任意の振動分布を形成するための振動子指令信号を生成する。各振動子17によるカバーパネル11への加振力の大きさを正弦信号で与えるものとすれば、そのゲイン、位相、周波数のうちのいずれかを連続的に変化させ、進行波あるいは定在波を制御することで、カバーパネル11上の振動の振幅分布(振動プロファイル)を連続的に変化させることができる。
図3は静電方式のタッチパネル装置の他の構成を示す図である。一般のタッチパネルアプリケーションにおいては、ユーザの指の位置(操作体位置50)によってGUI51を構成するGUI部品の部品位置53等を動かして、CPUにおいて実行されるアプリケーション52を操作する。その際の部品位置における部品形状(=部品画像)54が表示制御部14を介して表示パネル15に表示されている。振動プロファイル算出部55では、操作体位置50、部品位置53、部品形状(凹凸情報)54から振動プロファイルを算出する。所望の振動プロファイルを形成するための振動子指令信号は、振動プロファイル〜振動制御パラメータ変換テーブル57を用いて、振動子指令信号算出部56において算出される。
ここで、本実施形態のタッチパネル装置100では、画像データと、振幅データ、周波数データ、及び、位相差データとが関連付けられてメモリ9に格納されている。そして、情報処理部13は、メモリ9から画像データを読み出して表示パネル15に画像を表示させる際に、メモリ9内で画像データと関連付けられた振幅データ、周波数データ、及び、位相差データを読み出し、振動子駆動部16を介して振動子17A,17Bを駆動させて、カバーパネル11を振動させるための処理を実行する駆動制御部である。このようにカバーパネル11を振動させるための処理の詳細については後述する。
メモリ9は、本実施形態のタッチパネル装置100の駆動に必要なプログラムなどの種々のデータなどを格納するメモリであり、本実施形態では、所定のサービスを提供するためのプログラムと、画像データ及び表示座標データとに加えて、振幅データ、周波数データ、及び、位相差データなどを格納する。
画像データは、表示パネル15に表示するためのGUI部品の画像や、その他の画像を表すデータである。また、表示座標データは、各画像データによる画像を表示する位置を座標上で特定するためのデータである。
振幅データ、周波数データ、及び、位相差データは、振動子駆動部16を介して振動子17A,17Bを駆動するための駆動パターンを表すデータである。この駆動パターンを表す振幅データ、周波数データ、及び、位相差データは、画像データや表示座標データなどと関連付けられてメモリ9に格納されている。
ここで、カバーパネル11上における表示パネル15に表示されたGUI部品の触覚的な形状呈示のための、任意の振動プロファイルを形成する方法の一例を図4に示す梁モデルを用いて説明する。本例では、振動子17によって発生させる振動の波形である定在波について、加振力の位相差に加えてゲインを変化させることで定在波の腹や節の位置を連続的に移動させる場合について説明する。
図4に示すようにスライド支持した梁(長さl)の両端それぞれを、数1で示されるせん断力f、及び、数2で示されるせん断力fで点加振する。
Figure 2011129091
Figure 2011129091
位相差φに加えて、fに対するfのゲインα、この2つのパラメータに対し、目的関数である数3を最小とする最適解(α,φ)は、ターゲットとする位置xで節を形成するための加振力についての制御則を導くことができる。前記、最適解は非線形計画法のパッケージ等を用いて計算することができる。
Figure 2011129091
ただし、w(x)は位置xでの梁の変位、周期T=1/Fである。
ターゲットとする節の所定範囲内における位置xに対して、算出した(α,φ)を用いて、梁の変位w(x)を求める。
これらにより、図4に示すような両端スライド支持の梁モデルにおいて、両端2点をある周波数で加振した場合、加振力のゲインαあるいは位相差φを変えることで、図5に示すように、連続的に定在波の腹や節の位置を変化させることが可能な振動プロファイルを得ることができる。
例えば、振動制御パラメータとしてゲインαを取り上げた場合、ある周波数領域での梁の応答変位w(x)に注目すると、ターゲット位置xに節を形成するようなゲインαは前述した方法に従って計算すると図6に示すような結果となる。よって、ゲインαを連続的に変化させることでターゲット位置xの位置を連続的に変化させることができる。
ここで、前記周波数領域はヒトの触覚受容器が応答する数十[Hz]から数百[Hz]の間の特定領域でよい。また、振幅変調を用いれば所望の周波数領域で刺激を与えることも可能である。
一方、振動制御パラメータとして位相差φを取り上げた場合に、ゲインα=1、ある周波数で加振した際の、梁の位置xに対する応答変位w(x)をプロットしたものを図7(a)と図7(b)とに示す。図7(a)は位相差φ=0の場合であり、図7(b)は位相差φ=π[rad]の場合であり、このように位相差φを変えることで1/4波長程度、節の位置を変化させることができる。
次に、タッチパネル装置の制御方法について説明する。GUI部品としてスライダー(フェーダー、シークバーなどの呼称がある)を取り上げる。
図8にGUI部品の元となるメカニカルなスライダーを示す。直線型のスライドボリューム20(可変抵抗)あるいはリニアエンコーダをベースとして、指をのせて移動させるためのスライダーノブ21が取り付けられている。スライダーノブ21の位置をスライドレール22上で動かすことによって変化する抵抗値を読み込み、操作する機器のパラメータを連続的に変化させるために用いられる。スライド方向は縦(垂直)型、横(水平)型に配置することができ、さらにスライダーノブ21には、指で保持しやすいように凹形状あるいは凸形状のものなど様々な形態がある。ここでは、操作対象として横型でスライダーノブ21が凹形状のものとして、これを一つの指で操作する場合をフラットなタッチパネル上で触覚呈示するものとする。
図9に全体の処理の流れをフローチャートで示す。
ステップ1では、タッチセンサ10から得られる信号により、指がカバーパネル11に接触しているかどうかの判定を接触状態検出部12でおこなう。
ステップ2では、タッチセンサ10から得られる信号により、接触状態検出部12がカバーパネル11上における指の位置情報を取得することで、指とカバーパネル11との間の接触領域の重心座標が得られる。これを指の中央位置Xfとする。
図10にカバーパネル11上に接触させた指40と表示パネル15に表示されたスライダーノブ41との位置関係を示す。ここでは説明を簡単にするために指40の位置やスライダーノブ41の位置をスライダーノブ41のスライド方向(図10に示すx軸方向)の1次元で考える。指40は指40を指先の方から見た指の断面であり、スライダーノブ41はスライダーノブの側面を示し、スライダーノブ41がx軸方向にスライドすることを示している。図10では、説明の便宜上、カバーパネル11上に接触させた指40と表示パネル15に表示されたスライダーノブ41との位置関係をわかり易く示すために、スライダーノブ41を破線でメカニカルなスライダーノブのように立体的に示してしている。当然ながら実際は表示パネル15の表面から飛び出した立体的な画像としてスライダーノブ41が表示されるものではなく、表示パネル15内で表示されるものである。
ステップ3では、スライダーノブ41の中央位置XkはGUI部品上のスライダーノブ41のプロパティとしてメモリ9上に保持されており、これを情報処理部13が取得する。ここで、数4に示すように、スライダーノブ41の中央位置Xkと指40の中央位置Xfとの差の絶対値をeとし、スライダーノブ41の中央位置Xkからスライダーノブ41のエッジ部までの幅をEとすると、数5の関係を満たせば指40がスライダーノブ41をホールド(保持)できていると情報処理部13で判定できる。
Figure 2011129091
Figure 2011129091
ステップ4では、数6を満たすようなE’に対し、数7の関係を満たすようにスライダーノブ41の中央位置Xkを更新する。
Figure 2011129091
Figure 2011129091
ここで、スライダーノブ41の中央位置Xkの更新を図11を用いて説明する。時刻tがt3及びt4において、スライダーノブ41の中央位置Xkと指40の中央位置Xfとの差の絶対値eの値がE’を超えた際は(白丸部分)、数7を満たすようにスライダーノブ41の中央位置Xkを更新する(点線矢印部分)。これによって、指40の位置とスライダーノブ41の位置とのズレ幅がE’以下のまま、スライダーノブ41を指40に追従させることができる。このE’の設定値やスライダーノブ41の中央位置Xkの更新幅を用いて、指40によってスライダーノブ41をスライド操作したときに受ける擬似的な摩擦感、テクスチャ感、イナーシャ感、あるいは、スライド方向に振られた目盛りに吸着(スナップ)するような効果を付加してもよい。
例えば、E’を大きく設定すると、指40の中央位置Xfの値に対してスライダーノブ41の中央位置Xkは図12(a)のように大きい動きで時間変化する。一方、E’を小さく設定すると、図12(b)のように細かい動きでスライダーノブ41の中央位置が指40の中央位置Xfに追従する。このようにE’の大きさによって、スライダーノブ操作における擬似的な摩擦感(スティックスリップ)を変化させることができる。
ステップ5では、スライダーノブ41の中央位置Xkの位置を基準としてスライダーノブ41の形状を触覚的に呈示する振動プロファイルを情報処理部13で算出する。
ステップ6では、ステップ5で算出した振動プロファイルを形成するための振動子17への指令信号を情報処理部13で算出する。そして、このように算出した指令信号を情報処理部13から振動子駆動部16に出力し、振動子駆動部16によって振動子17A,17Bを振動させる。これにより、スライダーノブ41の中央位置Xkの位置を基準としてスライダーノブ41の形状がカバーパネル11に触覚的に呈示される。
所望の振動プロファイルに対応した振動パラメータ(ゲインαや位相差φなど)は、数式の係数、その近似式の係数、あるいは、離散的にテーブル形式で、メモリ9内に保存されていれば良い。例えば、表1に示すようなテーブル形式の場合、図13に示すようにスライダーノブ41の中央位置Xkに応じて振動パラメータを内挿することで、振動子への指令信号が計算することができ、滑らかに振動プロファイルを移動させることができる。
Figure 2011129091
図9に示すようなステップ1からステップ6までの一連の制御を、カバーパネル11上で指40を移動させてスライダーノブ41の操作を行う際に繰り返し連続して行うことで、指40の移動に追従して指40とカバーパネル11との接触位置にスライダーノブ41の形状を振動で触覚的に呈示することができる。
図9に示した制御では、スライダーノブ41の中央位置Xkと指40の中央位置Xfとの差の絶対値eの値がE’を超えた際に、スライダーノブ41の中央位置Xkを更新して、スライダーノブ41を指40に追従させて移動させる。これに対し、このような制御に加えて、指40の中央位置Xfがカバーパネル11上の所定領域内に位置すると、スライダーノブ41の中央位置が前記所定領域内の所定箇所に吸着するように移動させる制御を行っても良い。
図14を用いて、スライド方向に振られた目盛りに吸着する感覚を実現する方法を説明する。図14に示すS1を吸着箇所の位置とする。前述したスライダーノブ41の中央位置Xkの更新手順に加えて、ある値Esに対して数8を適用すれば、スライダーノブ41の中央位置は指40の中央位置Xfに追従しながらS1に吸着される。すなわち、図14で指40の中央位置Xfが横軸のS1を中心に前後Esの領域内に位置すると、スライダーノブ41の中央位置が縦軸のS1の位置に位置する。
Figure 2011129091
目盛りが複数ある場合、例えば吸着位置がS1,S2,・・・,Si,・・・のようにある間隔をおいて並んでいるとすれば、上記更新条件は数9のようにすればよい。
Figure 2011129091
次に、図15を用いて図9に示したフローチャートでの各状態を説明する。
指40がカバーパネル11から離れた状態から、表示パネル15に表示されたスライダーノブ41を狙ってその位置の周辺のカバーパネル11に指40を接触させた状態をS1とする。状態S1からカバーパネル11上で指40をスライドさせた際に、スライダーノブ41が指40の動きに追従して移動している状態S2に遷移するか、あるいは、スライダーノブ41が指40の動きに追従できずに指40と離れた状態S3に遷移する。
次に、状態S2及び状態S3における指40とスライダーノブ41との位置関係を各状態の下に示す。図9に示したフローチャートでのステップ3のホールド判定により状態の変化は、図15に示すように、状態S2から状態S2(T22)、状態S2から状態S3(T23)、状態S3から状態S3(T33)、状態S3から状態S2(T32)のいずれかとなる。一般的なタッチパネル装置でのGUI部品であるスライダーノブ41の指40による操作では、状態S2のつもりで指40をカバーパネル11上でスライドさせても実際は状態S3が発生し、指40のスライドに追従してスライダーノブ41が表示パネル15内でスライドせずスライダー操作が失敗することが頻繁に起きている。そのため、本実施形態では、カバーパネル11上でスライダーノブ41の形状を振動により触覚的に呈示して、指40の移動に追従してスライダーノブ41の移動がなされているか否かを操作者が直感的に認識できるようにしている。また、表示パネル15に表示されたスライダーノブ41の形状をカバーパネル11上で指40により認識できることから、スライダーノブ41を指40で操作した場合の操作感が、図8に示すようなメカニカルなスライダーノブ21を指で操作した場合の操作感と近いものとなる。よって、その分、操作者はメカニカルなスライダーノブ21を指で操作するような感覚で指40によりスライダーノブ41を操作できるため、指40によるスライダーノブ41の操作性向上を図ることができる。
次に、図9に示したフローチャートのステップ5における振動プロファイルをどのように形成すれば良いかについて述べる。
図16(a)に示すように指40がメカニカルなスライダーノブ21に接触した際に、スライダーノブ21の形状に応じて指40がスライダーノブ21から受ける力に近い振動プロファイルを、図16(b)に示すような表示パネル15に表示されたスライダーノブ41を操作する際に実現できれば良いと考えられる。そのため、例えば、カバーパネル11を振動させて図示しない表示パネル15に表示されたスライダーノブ41の位置周辺に対応するカバーパネル11の位置での振動分布を、図16(b)の振動分布のように形成させれば、操作者はスライダーノブ41の形状を違和感無く直感的に認識し、指40とスライダーノブ41との間の接触状態の推定が容易になると考えられる。ただし、この振動分布は、位置(横軸)に対する、ある一定時間での変位の絶対値の最大値(縦軸)をプロットしている。
また、スライダーノブ41の形状全体に近い図16(b)に示すような振動分布が得られるような振動プロファイルを実現しなくてもよい。
図17から図22に指40とスライダーノブ41との間の位置関係による振動分布の例を列挙する。図17、図18、及び、図19は、指40がスライダーノブ41を保持したホールド状態で面接触の広い幅の振動分布を形成した場合を示したものである。図20、及び、図21は、指40がスライダーノブ41を保持したホールド状態から、指40がスライダーノブ41を保持していない非ホールド状態へ遷移する場合で、スライダーノブ41のエッジ部分で指40とスライダーノブ41とが点接触しており、その接触位置に狭い幅の振動分布を形成した場合を示したものである。図22は、指40がスライダーノブ41を保持していない非ホールド状態で振動分布がない場合を示したものである。
図17から図22それぞれにおいて、タッチセンサ10から出力される操作位置(カバーパネル11上における指40の位置)の情報と、情報処理部13で検知できる表示パネル15におけるスライダーノブ41の位置の情報とから、情報処理部13により指40とスライダーノブ41との位置関係を求め、指40とスライダーノブ41との接触部分のみにおいて、スライダーノブ41の形状の一部を呈示する振動分布が得られるような振動プロファイルで実現してもよい。
これまで、タッチパネル装置の表示パネル15にGUI部品として表示されたスライダーノブ41を操作する場合について説明してきたが、GUI部品としては、回転操作によってパラメータを連続的に変化させるダイヤルなどもある。本例では、メカニカルなダイヤルの一例として図23に示すジョグダイヤル90を取り上げる。特に音声データや映像データの編集用アプリケーションにおいて、タイムライン上でのデータの再生箇所を移動・検索するようなシーンで用いられるタイプのものにおいては、ジョグダイヤル90のダイヤルノブ91の上面に指40を差し込むための凹み部92が形成されており、この凹み部92に指40を差し込みつつダイヤルノブ91を操作することで、所望の位置まで効率よくダイヤルノブ91を回転させたり停止させたりすることが可能となっている。
図24は、図23に示したジョグダイヤル90をダイヤルノブ91の凹み部92が形成された上面側から見たものである。ダイヤルノブ91の中心点である点Oを中心に回転するダイヤルノブ91の凹み部92の円運動は、ダイヤルノブ91を正射影した際の単振動とみなすことができる。このことから、ダイヤルノブ91の凹み部92の回転角θを1次元のx軸方向の距離xと置き換え、図25に示すように、表示パネル15に表示されたダイヤルノブ101の凹み部102の移動を1次元での動作とみなす。これにより、上述したような表示パネル15に表示されたGUI部品であるスライダーノブ41を指40でスライド操作する場合と同様の構成や方法にて、表示パネル15にGUI部品として表示されたダイヤルノブ101の凹み部102の凹形状を振動によってカバーパネル11上に触覚的に呈示でき、操作者はダイヤルノブ101の凹み部102の形状を違和感無く直感的に認識し、指40と凹み部102との間の接触状態の推定が容易になり、表示パネル15に表示されたGUI部品であるダイヤルノブ101の指40による操作性を向上させることができる。
また、点Oを中心にダイヤルノブ101が回転し凹み部102が予め設定された基準位置から移動した際の回転角θに応じて、カバーパネル11を振動させる振動子17の組み合わせを変化させる。例えば、図26で前記基準位置を凹み部102が位置Iにある場合とし、このときx軸に平行な同一直線上にある振動子17eと振動子17e’とによりカバーパネル11を振動させる。前記基準位置から回転角θだけ移動した位置IIに凹み部102が位置しているときには、x軸に平行な同一直線上にある振動子17cと振動子17c’とによってカバーパネル11を振動させる。また、凹み部102が位置Iから位置IIに移動する途中においては、x軸に平行な同一直線上にある振動子17dと振動子17d’とによってカバーパネル11を振動させる。このように、指40の動作によって凹み部102を位置Iから位置IIに移動させるようにダイヤルノブ101を回転させた際に、指40の動作に追従して連続的にカバーパネル11を振動させる振動子17の組み合わせを、振動子17eと振動子17e’、振動子17dと振動子17d’、振動子17cと振動子17c’、の順で切り替えることで、ダイヤルノブ101の凹み部102と指40との間の位置関係を連続的に振動によって呈示することができる。
また、振動子17の組み合わせとしては、x軸に平行な同一直線上にある振動子17同士を組み合わせることに限らず、例えば、位置IIに凹み部102が位置するときに、位置IIの位置を通る直線上にある振動子17aと振動子17d’とによって、凹み部102の凹み形状が触覚的に呈示できるようにカバーパネル11を振動させても良い。
以上、本実施形態によれば、自身の表面に操作体である指40が接することで操作入力を受け付ける操作入力パネルであるカバーパネル11と、カバーパネル11に対向して設けられ画像を表示する画像表示部である表示パネル15と、表示パネル15に画像として表示させるスライダーノブ41やダイヤルノブ101などの操作部品を生成する操作部品生成部である表示制御部14と、を備え、表示パネル15に表示された操作部品の位置に対応したカバーパネル11上の位置に指40を接触させて、指40により操作部品を操作するタッチパネル装置において、カバーパネル11を振動させる振動手段である振動子17と、カバーパネル11上で指40を移動させて操作部品を表示パネル内で移動させる操作を行った際に、指40の移動に追従して指40とカバーパネル11との接触位置に操作部品の形状が振動で触覚的に呈示されるように、振動子17によってカバーパネル11を振動させる制御を行う制御手段である情報処理部13と、を有する。カバーパネル11上で指40を移動させて操作部品を表示パネル内で移動させる操作を行った際に、指40の移動に追従して指40とカバーパネル11との接触位置に操作部品の形状が振動で触覚的に呈示される。これにより、操作部品に指40が接触しており指40の移動に追従して操作部品を移動できているのか、操作部品に指40が接触しておらず指40の移動に追従して操作部品が移動できていないのかを、操作者が直感的に認識することができる。よって、操作部品の操作を直感的に認識できる分、指40による操作部品の操作性を向上させることができる。
また、本実施形態によれば、カバーパネル11と指40との接触状態を検出する接触状態検出手段である接触状態検出部12と、操作部品の形状を触覚的に呈示するような振動の振幅分布を、接触状態検出部12の検出結果に基づいて振動プロファイルとして作成する振動プロファイル作成手段でもある情報処理部13とを有しており、情報処理部13は、振動プロファイルに基づいて振動子17によりカバーパネル11を振動させる制御を行うものであり、カバーパネル11上での指40の移動に追従して連続的に前記制御に用いる振動プロファイルを変化させる。これにより、指40の移動に追従して指40とカバーパネル11との接触位置に操作部品の形状を振動で触覚的に呈示することができる。
また、本実施形態によれば、表示パネル15上における操作部品の位置を検知する操作部品位置報検知手段と、操作部品の形状を触覚的に呈示するような振動の振幅分布を、前記操作部品位置検知手段の検知結果に基づいて振動プロファイルとして作成する振動プロファイル作成手段と、の両手段の機能を情報処理部13が兼ねており、情報処理部13は、振動プロファイルに基づいて振動子17によりカバーパネル11を振動させる制御を行うものであり、カバーパネル11上での指40の移動に追従して連続的に前記制御に用いる振動プロファイルを変化させる。これにより、指40の移動に追従して指40とカバーパネル11との接触位置に操作部品の形状を振動で触覚的に呈示することができる。
また、本実施形態によれば、カバーパネル11上における指40の位置を検知する操作体位置検知手段であるタッチセンサ10を有しており、情報処理部13が、前記操作体位置検知手段の検知結果にも基づいて振動プロファイルを作成する構成も採用することができる。
また、本実施形態によれば、振動プロファイルは操作部品の凹凸形状が呈示されるような振動の振幅分布であることで、操作者が操作部品を正しくホールドして移動できているのか、あるいは、ホールドできていないのかを直感的に認識することができ、結果的に操作部品の操作性を向上させることができる。
また、本実施形態によれば、振動子17は腹と節とが形成される定在波によってカバーパネル11を振動させるものであり、情報処理部13は、カバーパネル11上での指40の移動に追従して連続的に前記定在波の腹と節との位置が変化するように振動プロファイルを作成することで、指40の移動に追従して指40とカバーパネル11との接触位置に操作部品の形状を振動で触覚的に呈示することができる。
また、本実施形態によれば、上記操作部品が、表示パネル15でスライド移動可能なスライダー部品であるスライダーノブ41であることで、カバーパネル11上で指40を移動させてスライダーノブ41を表示パネル15内で移動させる操作を行った際に、指40の移動に追従して指40とカバーパネル11との接触位置にスライダーノブ41の形状が振動で触覚的に呈示される。これにより、スライダーノブ41に指40が接触しており指40の移動に追従してスライダーノブ41を移動できているのか、スライダーノブ41に指40が接触しておらず指40の移動に追従してスライダーノブ41が移動できていないのかを、操作者が直感的に認識することができる。よって、スライダーノブ41の操作を直感的に認識できる分、指40によるスライダーノブ41の操作性を向上させることができる。
また、本実施形態によれば、上記操作部品が、表示パネル15で時計回り方向と反時計回り方向との少なくとも一方向に回転可能なダイヤル部品であるダイヤルノブ101であることで、カバーパネル11上で指40を移動させてダイヤルノブ101を表示パネル15内で回転させる操作を行った際に、指40の移動に追従して指40とカバーパネル11との接触位置にダイヤルノブ101の形状が振動で触覚的に呈示される。これにより、ダイヤルノブ101に指40が接触しており指40の移動に追従してダイヤルノブ101を回転できているのか、ダイヤルノブ101に指40が接触しておらず指40の移動に追従してダイヤルノブ101が回転できていないのかを、操作者が直感的に認識することができる。よって、ダイヤルノブ101の操作を直感的に認識できる分、指40によるダイヤルノブ101の操作性を向上させることができる。
1 基板
9 メモリ
10 タッチセンサ
11 カバーパネル
12 接触状態検出部
13 情報処理部
14 表示制御部
15 表示パネル
16 振動子駆動部
17 振動子
20 スライドボリューム
21 スライダーノブ
22 スライドレール
40 指
41 スライダーノブ
50 操作体位置
51 GUI
52 アプリケーション
53 部品位置
54 部品形状
55 振動プロファイル算出部
56 振動子指令信号算出部
57 振動制御パラメータ変換テーブル
90 ジョグダイヤル
91 ダイヤルノブ
92 凹み部
100 タッチパネル装置
101 ダイヤルノブ
102 凹み部
特開2009−217816号公報

Claims (9)

  1. 自身の表面に操作体が接することで操作入力を受け付ける操作入力パネルと、
    前記操作入力パネルに対向して設けられ画像を表示する画像表示部と、
    前記画像表示部に画像として表示させる操作部品を生成する操作部品生成部と、を備え、
    前記画像表示部に表示された操作部品の位置に対応した前記操作入力パネル上の位置に前記操作体を接触させて、該操作体により該操作部品を操作するタッチパネル装置において、
    前記操作入力パネルを振動させる振動手段と、
    前記操作入力パネル上で前記操作体を移動させて前記操作部品を前記画像表示部内で移動させる操作を行った際に、該操作体の移動に追従して該操作体と該操作入力パネルとの接触位置に該操作部品の形状が振動で触覚的に呈示されるように、前記振動手段によって該操作入力パネルを振動させる制御を行う制御手段と、を有することを特徴とするタッチパネル装置。
  2. 請求項1のタッチパネル装置において、
    上記操作入力パネルと上記操作体との接触状態を検出する接触状態検出手段と、
    上記操作部品の形状を触覚的に呈示するような振動の振幅分布を、前記接触状態検出手段の検出結果に基づいて振動プロファイルとして作成する振動プロファイル作成手段とを有しており、
    上記制御手段は、前記振動プロファイルに基づいて上記振動手段により前記操作入力パネルを振動させる制御を行うものであり、前記操作入力パネル上での前記操作体の移動に追従して連続的に前記制御に用いる前記振動プロファイルを変化させることを特徴とするタッチパネル装置。
  3. 請求項1のタッチパネル装置において、
    上記画像表示部上における上記操作部品の位置を検知する操作部品位置報検知手段と、
    前記操作部品の形状を触覚的に呈示するような振動の振幅分布を、前記操作部品位置検知手段の検知結果に基づいて振動プロファイルとして作成する振動プロファイル作成手段とを有しており、
    上記制御手段は、前記振動プロファイルに基づいて上記振動手段により前記操作入力パネルを振動させる制御を行うものであり、前記操作入力パネル上での前記操作体の移動に追従して連続的に前記制御に用いる前記振動プロファイルを変化させることを特徴とするタッチパネル装置。
  4. 請求項2または3のタッチパネル装置において、
    上記操作入力パネル上における上記操作体の位置を検知する操作体位置検知手段を有しており、
    上記振動プロファイル作成手段は、前記操作体位置検知手段の検知結果にも基づいて前記振動プロファイルを作成することを特徴とするタッチパネル装置。
  5. 請求項1、2、3または4のタッチパネル装置において、
    上記振動プロファイルは前記操作部品の凹凸形状が呈示されるような振動の振幅分布であることを特徴とするタッチパネル装置。
  6. 請求項1、2、3、4または5のタッチパネル装置において、
    上記振動手段は腹と節とが形成される定在波によって上記操作入力パネルを振動させるものであり、
    上記振動プロファイル作成手段は、前記操作入力パネル上での前記操作体の移動に追従して連続的に前記定在波の腹と節との位置が変化するように上記振動プロファイルを作成することを特徴とするタッチパネル装置。
  7. 請求項1、2、3、4、5または6のタッチパネル装置において、
    上記操作部品は、上記画像表示部でスライド移動可能なスライダー部品であることを特徴とするタッチパネル装置。
  8. 請求項1、2、3、4、5または6のタッチパネル装置において、
    上記操作部品は、上記画像表示部で時計回り方向と反時計回り方向との少なくとも一方向に回転可能なダイヤル部品であることを特徴とするタッチパネル装置。
  9. 画像表示部に表示された操作部品の位置に対応した操作入力パネル上の位置に操作体を接触させて、前記操作体により前記操作部品を操作するタッチパネル装置の制御方法において、
    前記操作体と前記操作入力パネルとの接触状態を検出する接触状態検出工程と、
    前記操作部品の位置に対応した前記操作入力パネル上に前記操作体が位置しているかを判定する操作体位置判定工程と、
    前記操作入力パネル上で前記操作体を移動させて前記操作部品を前記画像表示部内で移動させる操作を行った際に、前記操作体の移動に追従して前記操作体と前記操作入力パネルとの接触位置に前記操作部品の形状が触覚的に呈示されるような振動を振動手段によって前記操作入力パネルに発生させる振動発生工程と、
    を行うことを特徴とするタッチパネル装置の制御方法。
JP2010173690A 2009-11-18 2010-08-02 タッチパネル装置及びタッチパネル装置の制御方法 Expired - Fee Related JP5704428B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010173690A JP5704428B2 (ja) 2009-11-18 2010-08-02 タッチパネル装置及びタッチパネル装置の制御方法
TW099139529A TWI432992B (zh) 2009-11-18 2010-11-17 觸控面板裝置,觸控面板裝置控制方法,及儲存媒體
EP10191540.3A EP2325723A3 (en) 2009-11-18 2010-11-17 Touch panel device, touch panel device control method, and storage medium
US12/949,388 US20110115734A1 (en) 2009-11-18 2010-11-18 Touch panel device, touch panel device control method, and storage medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009263329 2009-11-18
JP2009263329 2009-11-18
JP2010173690A JP5704428B2 (ja) 2009-11-18 2010-08-02 タッチパネル装置及びタッチパネル装置の制御方法

Publications (2)

Publication Number Publication Date
JP2011129091A true JP2011129091A (ja) 2011-06-30
JP5704428B2 JP5704428B2 (ja) 2015-04-22

Family

ID=43480846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010173690A Expired - Fee Related JP5704428B2 (ja) 2009-11-18 2010-08-02 タッチパネル装置及びタッチパネル装置の制御方法

Country Status (4)

Country Link
US (1) US20110115734A1 (ja)
EP (1) EP2325723A3 (ja)
JP (1) JP5704428B2 (ja)
TW (1) TWI432992B (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013057894A1 (ja) * 2011-10-17 2013-04-25 パナソニック株式会社 電子機器
KR20140074833A (ko) * 2012-12-10 2014-06-18 임머숀 코퍼레이션 향상된 동적 햅틱 효과
JPWO2013105517A1 (ja) * 2012-01-13 2015-05-11 京セラ株式会社 電子機器及び電子機器の制御方法
JPWO2013105518A1 (ja) * 2012-01-13 2015-05-11 京セラ株式会社 電子機器及び電子機器の制御方法
JPWO2013105516A1 (ja) * 2012-01-13 2015-05-11 京セラ株式会社 電子機器及び電子機器の制御方法
JP2015215926A (ja) * 2015-09-01 2015-12-03 Kddi株式会社 パラメータ設定部をエミュレートしたユーザインタフェース装置、パラメータ設定のための表示方法及びプログラム
JP2016012376A (ja) * 2015-10-21 2016-01-21 Kddi株式会社 押圧の度合いに応じて異なる触覚応答を付与可能なユーザインタフェース装置、触覚応答付与方法及びプログラム
JP2016133906A (ja) * 2015-01-16 2016-07-25 富士通株式会社 電子機器
JPWO2014049794A1 (ja) * 2012-09-27 2016-08-22 パイオニア株式会社 電子機器
JP2017062818A (ja) * 2011-09-06 2017-03-30 イマージョン コーポレーションImmersion Corporation 触覚出力装置および触覚出力装置において触覚効果を生成する方法
JP2018032412A (ja) * 2012-10-31 2018-03-01 イマージョン コーポレーションImmersion Corporation 触覚効果を用いてユーザインタフェース上で表面フィーチャをシミュレートする方法及び装置
US9958944B2 (en) 2012-11-02 2018-05-01 Immersion Corporation Encoding dynamic haptic effects

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011022067A1 (en) * 2009-08-21 2011-02-24 Aleksandar Pance Methods and apparatus for capacitive sensing
TWI515603B (zh) * 2011-03-28 2016-01-01 緯創資通股份有限公司 觸控反饋裝置、觸控反饋方法及觸控顯示裝置
FR2975197B1 (fr) * 2011-05-09 2013-05-24 Univ Lille 1 Sciences & Technologies Interface tactile vibrante transparente.
CN102289324B (zh) * 2011-09-15 2014-08-20 鸿富锦精密工业(深圳)有限公司 触摸输入装置及具有该触摸输入装置的电子装置
TW201316240A (zh) * 2011-10-06 2013-04-16 Rich Ip Technology Inc 利用圖形用戶介面影像之觸碰處理方法及系統
GB2495486A (en) * 2011-10-07 2013-04-17 Hiwave Technologies Uk Ltd Contextual haptic feedback in response to touch input
JP2013105395A (ja) * 2011-11-15 2013-05-30 Sony Corp 情報処理装置及び方法、並びにプログラム
KR101886287B1 (ko) * 2012-03-23 2018-09-11 엘지이노텍 주식회사 터치 패널
US9268424B2 (en) * 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
JP5781495B2 (ja) * 2012-12-28 2015-09-24 京セラドキュメントソリューションズ株式会社 タッチパネル装置
KR101459487B1 (ko) * 2013-12-17 2014-11-07 현대자동차 주식회사 차량용 디스플레이 장치
US9984209B2 (en) 2015-02-13 2018-05-29 Medtronic, Inc. Graphical controls for programming medical device operation
JP6569926B2 (ja) * 2016-08-17 2019-09-04 パナソニックIpマネジメント株式会社 音声入力装置、翻訳装置、音声入力方法、及び音声入力プログラム
KR102580327B1 (ko) * 2016-09-09 2023-09-19 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102367747B1 (ko) * 2017-09-29 2022-02-25 엘지디스플레이 주식회사 포스센서를 구비하는 표시장치 및 그의 제조방법
US10747404B2 (en) * 2017-10-24 2020-08-18 Microchip Technology Incorporated Touchscreen including tactile feedback structures and corresponding virtual user interface elements
KR102423496B1 (ko) * 2018-02-13 2022-07-21 엘지전자 주식회사 이동 단말기
JP2019185164A (ja) 2018-04-03 2019-10-24 富士通コンポーネント株式会社 触感提示装置
JP7206822B2 (ja) * 2018-11-02 2023-01-18 コニカミノルタ株式会社 入力装置および画像形成装置
US10951992B2 (en) * 2018-12-31 2021-03-16 Lg Display Co., Ltd. Vibration generating device and display apparatus including the same
CN109739364B (zh) * 2019-03-25 2023-09-22 延锋伟世通电子科技(上海)有限公司 一种带振动反馈的触控显示装置
CN115576611B (zh) * 2021-07-05 2024-05-10 腾讯科技(深圳)有限公司 业务处理方法、装置、计算机设备及存储介质
TWI775573B (zh) * 2021-08-19 2022-08-21 宏碁股份有限公司 電子裝置
TWI773594B (zh) * 2021-11-19 2022-08-01 台睿精工股份有限公司 薄型化觸覺回饋裝置
JP2023079486A (ja) 2021-11-29 2023-06-08 上海天馬微電子有限公司 触覚提示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149312A (ja) * 2000-08-08 2002-05-24 Ntt Docomo Inc 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP2010238222A (ja) * 2009-03-12 2010-10-21 Ricoh Co Ltd タッチパネル装置、これを含むタッチパネル付き表示装置、及びタッチパネル装置の制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030184574A1 (en) * 2002-02-12 2003-10-02 Phillips James V. Touch screen interface with haptic feedback device
DE10340188A1 (de) * 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
US20080251364A1 (en) * 2007-04-11 2008-10-16 Nokia Corporation Feedback on input actuator
JP2009151684A (ja) * 2007-12-21 2009-07-09 Sony Corp 触覚シート部材、入力装置及び電子機器
US9857872B2 (en) * 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149312A (ja) * 2000-08-08 2002-05-24 Ntt Docomo Inc 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP2010238222A (ja) * 2009-03-12 2010-10-21 Ricoh Co Ltd タッチパネル装置、これを含むタッチパネル付き表示装置、及びタッチパネル装置の制御方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017062818A (ja) * 2011-09-06 2017-03-30 イマージョン コーポレーションImmersion Corporation 触覚出力装置および触覚出力装置において触覚効果を生成する方法
US10175761B2 (en) 2011-09-06 2019-01-08 Immersion Corporation Haptic output device and method of generating a haptic effect in a haptic output device
US9983674B2 (en) 2011-09-06 2018-05-29 Immersion Corporation Haptic output device and method of generating a haptic effect in a haptic output device
JP5421500B2 (ja) * 2011-10-17 2014-02-19 パナソニック株式会社 電子機器
JPWO2013057894A1 (ja) * 2011-10-17 2015-04-02 パナソニック株式会社 電子機器
US9400556B2 (en) 2011-10-17 2016-07-26 Panasonic Intellectual Property Management Co., Ltd. Electronic device
WO2013057894A1 (ja) * 2011-10-17 2013-04-25 パナソニック株式会社 電子機器
JPWO2013105517A1 (ja) * 2012-01-13 2015-05-11 京セラ株式会社 電子機器及び電子機器の制御方法
JPWO2013105518A1 (ja) * 2012-01-13 2015-05-11 京セラ株式会社 電子機器及び電子機器の制御方法
JPWO2013105516A1 (ja) * 2012-01-13 2015-05-11 京セラ株式会社 電子機器及び電子機器の制御方法
US9785237B2 (en) 2012-01-13 2017-10-10 Kyocera Corporation Electronic device and control method of electronic device
US9465439B2 (en) 2012-01-13 2016-10-11 Kyocera Corporation Electronic device and control method of electronic device
US9588585B2 (en) 2012-01-13 2017-03-07 Kyocera Corporation Electronic device and control method of electronic device
JPWO2014049794A1 (ja) * 2012-09-27 2016-08-22 パイオニア株式会社 電子機器
JP2018032412A (ja) * 2012-10-31 2018-03-01 イマージョン コーポレーションImmersion Corporation 触覚効果を用いてユーザインタフェース上で表面フィーチャをシミュレートする方法及び装置
US10591994B2 (en) 2012-10-31 2020-03-17 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
US9958944B2 (en) 2012-11-02 2018-05-01 Immersion Corporation Encoding dynamic haptic effects
US10248212B2 (en) 2012-11-02 2019-04-02 Immersion Corporation Encoding dynamic haptic effects
JP2014115999A (ja) * 2012-12-10 2014-06-26 Immersion Corp 強化された動的ハプティック効果
KR20140074833A (ko) * 2012-12-10 2014-06-18 임머숀 코퍼레이션 향상된 동적 햅틱 효과
US10359851B2 (en) 2012-12-10 2019-07-23 Immersion Corporation Enhanced dynamic haptic effects
KR102207669B1 (ko) * 2012-12-10 2021-01-25 임머숀 코퍼레이션 향상된 동적 햅틱 효과
JP2016133906A (ja) * 2015-01-16 2016-07-25 富士通株式会社 電子機器
US10042423B2 (en) 2015-01-16 2018-08-07 Fujitsu Limited Electronic device and drive control method
JP2015215926A (ja) * 2015-09-01 2015-12-03 Kddi株式会社 パラメータ設定部をエミュレートしたユーザインタフェース装置、パラメータ設定のための表示方法及びプログラム
JP2016012376A (ja) * 2015-10-21 2016-01-21 Kddi株式会社 押圧の度合いに応じて異なる触覚応答を付与可能なユーザインタフェース装置、触覚応答付与方法及びプログラム

Also Published As

Publication number Publication date
US20110115734A1 (en) 2011-05-19
EP2325723A3 (en) 2015-10-28
TWI432992B (zh) 2014-04-01
JP5704428B2 (ja) 2015-04-22
TW201124880A (en) 2011-07-16
EP2325723A2 (en) 2011-05-25

Similar Documents

Publication Publication Date Title
JP5704428B2 (ja) タッチパネル装置及びタッチパネル装置の制御方法
KR100974062B1 (ko) 입력 장치 및 그 입력 장치를 사용한 전자 기기
JP6392747B2 (ja) ディスプレイ装置
TWI409676B (zh) 觸控面板裝置,裝設觸控面板裝置之顯示裝置,以及觸控面板裝置之控制方法
JP2010015514A (ja) 入力装置、その制御方法及び電子機器
WO2015045063A1 (ja) 駆動制御装置、電子機器、及び駆動制御方法
US20080122797A1 (en) Apparatus, method, and medium for outputting tactile feedback on display device
JP6172284B2 (ja) 駆動制御装置、電子機器、及び駆動制御方法
US20150169063A1 (en) Operation device
JP5390029B2 (ja) 電子機器
MX2014009990A (es) Aparato de control de accionador, dispositivo electronico y metodo de control del accionador.
JP6731866B2 (ja) 制御装置、入力システムおよび制御方法
JP2011221676A (ja) 情報提示装置、触覚提示方法及びプログラム
JP2012243189A (ja) 入力装置
JP2011146006A (ja) 入力装置及び電子機器
JP6827387B2 (ja) 制御装置、入力システムおよび制御方法
JP2004334740A (ja) 座標入力装置
JP2014056337A (ja) 触覚提示装置
JP2001222379A (ja) ポインティングデバイス
JP2018124908A (ja) 制御装置、入力システムおよび制御方法
JP3941773B2 (ja) 入力装置、情報処理装置、リモートコントロール装置および入力装置の制御方法
US20130285967A1 (en) Input apparatus
JP6382409B2 (ja) 触感呈示装置
JP6199847B2 (ja) 触感呈示装置
US20180329497A1 (en) Input device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150212

R151 Written notification of patent or utility model registration

Ref document number: 5704428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees