この特許文献1および特許文献2に開示の技術によれば、タッチセンサに対する操作入力を受け付けた際に、操作者の指先などに、振動による触感を呈示することができる。したがって、このような入力装置を用いて入力を行う操作者は、タッチセンサに対して行った操作入力が入力装置に適正に受け付けられたことを、触覚により認識することができる。
しかしながら、このような入力装置を用いて操作入力を受け付けた際に触感を呈示するためには、所定の条件に応じて触感を呈示する処理が、予めアプリケーションプログラム(以下、単に「アプリケーション」と記す)に組み込まれている必要がある。すなわち、上述の入力装置においては、振動を発生させることを予め想定して開発されたアプリケーションを使用すれば、所定の条件に応じて触感を呈示することができる。しかしながら、上述の入力装置に、振動を発生させることを想定していないアプリケーションをそのまま適用しても、適切に触感を呈示することはできない。
したがって、上述したような入力装置において所定の条件に応じて適切に触感を呈示するためには、新たにアプリケーションを開発するか、あるいは既存のアプリケーションに対して、触感を呈示するための処理を追加する改変を加える必要がある。
具体的には、入力装置の表示部に画像表示されるキーまたはボタン等のオブジェクトの位置に対応するタッチセンサに対して入力がなされた際に、入力装置が所定の触感を呈示するための処理を追加する必要がある。また、表示部にキーまたはボタン等のオブジェクトが画像表示されていない位置に対応するタッチセンサに対して入力がなされても、入力装置が触感を呈示しないようにする必要もある。このように触感の呈示の有無を制御すれば、タッチセンサおよびGUI(Graphical User Interface)を入出力に用いたユーザインタフェースによって操作入力を受け付けた際に、操作者の指先などに、振動による触感を呈示することができる。すなわち、画像表示したキーまたはボタン等のオブジェクトに対する入力により、当該入力を受け付けたことを、触感を呈示することにより報知することができる。一方、キーまたはボタン等のオブジェクトのない位置に対する入力がなされても、フィードバックが発生しないようにできる。
このような制御を行う場合、入力装置は、タッチセンサに対して入力がなされた際のGUIの状態、すなわち表示部に表示されるキーまたはボタン等のオブジェクトの状態を管理しているアプリケーションと連携することが必要になる。
従来の入力装置においては、触感の呈示に対応していないアプリケーションを適用しても、そのままの状態では、適切に触感を呈示することはできない。したがって、従来の入力装置において、現在までに開発されてきた種々のアプリケーション資源を無駄にせずに有効に活用するためには、それぞれのアプリケーションを改変して、所定の条件に応じて触感を呈示する処理を追加しなければならない。このような処理を追加する改変は、種々のアプリケーションごとに行わなければならず、膨大な手間とコストがかかることが懸念される。
このような事情の下では、今後、触感を呈示する入力装置に向けたアプリケーションの開発に各社ベンダが参入する阻害要因になったり、タッチセンサおよびGUIを採用したプラットフォームの普及が遅延する要因にもなり得る。
そこで、本願出願人は、ユーザインタフェースを構成する既存のアプリケーションを流用することができる入力装置であって、操作者に与える操作感を向上する入力装置を開発した(以下、「関連発明」と記す)。以下、関連発明の概略を説明する。なお、関連発明に係る入力装置の動作に用いるアプリケーションは、タッチセンサを使用してGUIを構成する既存のものであって、触感の呈示に対応していないものを用いることができる。また、このアプリケーションは、表示部に表示されたオブジェクトの画像の位置に対応するタッチセンサにタッチ入力がなされた際、オブジェクトの画像に何らかの変化を施して表示するものとする。
関連発明は、タッチセンサに対するタッチ入力により表示部に表示された(オブジェクトの)画像に変化があった際に、当該画像の変化に基づいて(つまりオブジェクトに対する入力がなされたものとみなして)、触感を呈示するものである。これは、表示部に表示されたオブジェクトの画像の位置に対応するタッチセンサにタッチ入力がなされた際、当該オブジェクトにタッチ入力が受け付けられている旨を操作者に視認させるため、通常のアプリケーションでは、オブジェクトの画像を変化させて表示することに基づく。また、関連発明は、このように触感を呈示する際、タッチセンサに対して軽く触れる(タッチする)程度の押圧に対しては触感を呈示せず、操作者が意図してタッチセンサを押圧する(プッシュする)動作に対して触感を呈示する。すなわち、関連発明に係る入力装置は荷重検出部を備えており、この荷重検出部が所定の基準を満たす押圧荷重を検出した場合に限り、タッチセンサを振動させて触感を呈示する。これは、このような場合に、操作者が意図してタッチセンサを押圧する(プッシュする)動作を行ったとみなすことができることに基づく。
要するに、関連発明は、タッチセンサに対するタッチ入力に基づいて表示部に表示されたオブジェクトの画像を変化させ、その状態で所定の押圧荷重が検知されると、当該画像の変化に基づいて、触感を呈示する。したがって、その動作は、タッチ入力に基づいてオブジェクトの画像を変化させる処理を行う際のアプリケーション実行部が関与する動作と、それ以外の処理を行う際のアプリケーション実行部が関与しない動作と、に分離して捉えることができる。このように、関連発明によれば、タッチセンサに対する入力の検知から触感の呈示の有無までの動作を2段階に分離して考えることができ、特に、触感の呈示の有無については、アプリケーション実行部が関与しない動作とすることができる。そのため、実行中のアプリケーションが触感の呈示に係る動作に対応していない場合でも、表示部に表示されたオブジェクトに対応するタッチセンサにおける押圧入力に基づいて、触感の呈示の有無を適切に制御することができる。したがって、関連発明に係る入力装置によれば、タッチセンサに対する入力を受け付ける際の触感を呈示することができるとともに、ユーザインタフェースを構成する既存のアプリケーションプログラムを改変せずに流用することができる。
このように、関連発明によれば、例えば、特許文献3に記載されているパーソナルコンピュータ(PC)に用いるようなアプリケーションを使用しても、触感を呈示することができる。この特許文献3に記載の入力方法において入力を受け付けるタッチセンサは、一般的なPCや現金自動預入機(ATM)や各種の自動機に採用することを想定している。この特許文献3に記載の入力方法に係るタッチセンサの動作環境は、触感を呈示する機構を備えていないため、この環境に用いるために開発したアプリケーションも触感の呈示に係る動作には対応していない。このような動作環境のために開発したような、触感の呈示に係る動作に対応していないアプリケーションであっても、関連発明による入力装置を用いれば、タッチセンサに対する入力に応じて触感を呈示することができる。
上記特許文献3に記載の入力方法は、表示装置の表面にタッチセンサを設け、表示装置に表示されるオブジェクトに対するタッチ入力を受け付けるものである。この入力方法は、表示されたオブジェクトに対して、操作者の指が接触することによりオブジェクトを活性化状態とし、その後に操作者の指の押圧が解除されると、接触したオブジェクトに対応する処理を実行することを前提としている。
一般に、タッチセンサに対する入力に基づいて処理の実行を開始するタイミングについては、ユーザインタフェースを構成するアプリケーションによって、大きく分けて2つの方式がある。すなわち、タッチセンサをタッチした位置に対応するオブジェクトに割り当てられた処理を「タッチと同時に」実行する方式と、「タッチした指が離れる」位置座標に対応するオブジェクトに割り当てられた処理を(タッチの解除と同時に)実行する方式と、である。前者の例では、タッチに伴って即座に処理が実行されるので誤操作しやすい。後者の例では、操作者が入力を確認してから指を離すことができるので誤操作しにくい。このような理由から、上記特許文献3に記載の入力方法のように、操作者の指が接触することによりオブジェクトを活性化状態とし、その後に操作者の指の接触が解除された時点でオブジェクトに対応する処理の実行を開始するアプリケーションは、数多く存在する。
しかしながら、上述した関連発明において、このように操作者の指の接触が解除される時点でオブジェクトに対応する処理が実行されるアプリケーションを適用すると、操作者の入力の態様によっては、不都合を生じるおそれがある。以下、この想定されるケースを説明する。
図7は、操作者の指がキー等のオブジェクトを押圧し、その後当該押圧を解除するまでの押圧荷重を概略的に示す図である。すなわち、図7は、関連発明に係る入力装置の荷重検出部により検出される、タッチセンサのタッチ面に対する押圧荷重の時間変化の例を示すグラフである。なお、図7において、上述した押圧荷重の「所定の基準」はPthとして示してある。また、図7(A)および図7(B)において、括弧内に示す数字により、時間の経過の順番を示してある。以下、説明の便宜上、これら括弧つきの数字を「時点」と記す。
図7(A)において、時点(1)は、操作者がキー等のオブジェクトに触れた(タッチした)瞬間を示している。この時点(1)において、オブジェクトに対して入力が受け付けられると、関連発明に係る入力装置の想定されるケースでは、アプリケーションに基づく動作に従って、オブジェクトの表示画像を変化させる。また、時点(2)は、オブジェクトの表示画像が変化した状態のまま、操作者が押圧を強めることにより、荷重検出部が検出する押圧荷重が所定の基準Pthを満たしたため、入力装置が触感を呈示する瞬間を示している。さらに、時点(3)は、操作者が押圧を弱めて解除した瞬間を示している。
このように、操作者の所定の基準Pthを満たす押圧荷重によって、キー等のオブジェクトを押圧する入力を受け付けることにより、関連発明に係る入力装置は触感を呈示する(時点(2))。時点(2)において、押圧荷重がPthを満たした際の時間軸の下方に示す上向きの矢印(↑)は、入力装置のタッチセンサのタッチ面が振動することにより触感が呈示されることを表している。また、その後、操作者の当該押圧が解除されることにより、関連発明に係る入力装置は、アプリケーションに規定された動作に従って、所定の処理を開始する(時点(3))。「所定の処理」とは、例えば文字入力を行うアプリケーションが動作中の場合は、入力に係る文字を表示部に表示する動作に係る処理である。あるいは、アプリケーションに基づく動作の開始を待機している最中に、当該動作を開始するキーに対する入力を受け付けた場合は、「所定の処理」とは、当該アプリケーションに基づく動作を開始する処理である。
したがって、この場合、操作者は、自己の押圧入力に応じて触感のフィードバックを得ることができるとともに、その後当該押圧入力に基づいて所定の処理が開始される。このため、操作者は、自己の押圧が入力装置に適正に受け付けられて所定の処理が開始したことを、呈示される触感により確認することができる。
一方、図7(B)においては、時点(1)は、操作者がキー等のオブジェクトに触れた(タッチした)瞬間を示している。この時点(1)において、オブジェクトに対して入力が受け付けられると、関連発明に係る入力装置の想定されるケースでは、オブジェクトの表示画像を変化させる。そして、図7(B)においては、例えば操作者が押圧力を強めなかったことにより、荷重検出部が検出する押圧荷重が所定の基準Pthを満たさないため、入力装置が触感を呈示する瞬間を示す時点(2)は存在しない。さらに、時点(3)は、操作者が押圧を弱めて解除した瞬間を示している。
このように、操作者が所定の基準Pthを満たさない弱い押圧荷重によりキー等のオブジェクトを押圧する入力を受け付けても、関連発明に係る入力装置の想定されるケースでは触感を呈示しない(図7(B))。これは、所定の基準Pthを満たさない弱い押圧荷重による入力は、操作者が意図して押圧(プッシュ)した動作とは考えにくく、操作者が意図せずに誤って接触(タッチ)してしまったものと考えられるからである。しかしながら、このアプリケーションは、タッチセンサに対する接触が解除される時点でオブジェクトに対応する処理を実行するため、その後、操作者の当該押圧が解除されることにより、関連発明に係る入力装置の想定されるケースでは所定の処理の実行を開始してしまう(時点(3))。
したがって、この場合、操作者は、自己の押圧入力に対する触感のフィードバックを得ることができないにもかかわらず、その後の押圧入力の解除に基づいて所定の処理の実行が開始される。このため、操作者は、自己の押圧が入力装置に適正に受け付けられたことを、触感の呈示により確認することができないまま、入力装置は所定の処理を開始することになり、このような動作は操作者にとって違和感のある動作となる。
したがって、かかる事情に鑑みてなされた本発明の目的は、ユーザインタフェースを構成する既存のアプリケーションを流用した際であっても、操作者に違和感のない操作感を与える入力装置を提供することにある。
上記目的を達成する第1の観点に係る入力装置の発明は、
タッチセンサと、
前記タッチセンサのタッチ面に対する押圧荷重を検出する荷重検出部と、
表示部と、
前記表示部の表示画像の変化を検知する表示変化検知部と、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
前記表示変化検知部が前記タッチ面に対する入力による表示画像の変化を検知している状態で、前記荷重検出部が触感を呈示する荷重基準を満たす押圧荷重を検出すると、前記タッチ面を押圧している押圧対象に対して触感を呈示するように前記触感呈示部を制御し、さらに前記タッチ面に対する入力のリリースを検出すると、前記入力に対応する所定の処理を実行するように制御する制御部と、
を備えることを特徴とするものである。
また、上記目的を達成する第2の観点に係る入力装置の発明は、
タッチセンサと、
前記タッチセンサのタッチ面に対する押圧荷重を検出する荷重検出部と、
表示部と、
前記表示部の表示画像の変化を検知する表示変化検知部と、
前記タッチセンサのタッチ面を振動させる触感呈示部と、
前記表示変化検知部が前記タッチ面に対する入力による表示画像の変化を検知している状態で、前記荷重検出部が検出する押圧荷重が触感を呈示する荷重基準を満たさないまま前記タッチ面に対する入力のリリースを検出すると、前記入力に対応する所定の処理を実行しないように制御する制御部と、
を備えることを特徴とするものである。
さらに、第3の観点に係る発明は、第2の観点に係る入力装置において、
前記制御部は、前記タッチセンサが検出したタッチ入力の位置の情報を改変することにより、前記所定の処理を実行しないように制御するものである。
本発明によれば、タッチ面に対する入力により表示画像が変化している状態で、触感を呈示する荷重基準を満たす押圧荷重が検出されると触感を呈示し、さらにタッチ面に対する入力のリリースが検出されると所定の処理を実行する。また、本発明によれば、タッチ面に対する入力により表示画像が変化している状態で、前記荷重基準を満たさないままタッチ面に対する入力のリリースが検出されると、所定の処理を実行しない。したがって、本発明によれば、ユーザインタフェースを構成する既存のアプリケーションを流用した際であっても、操作者に違和感のない操作感を与える入力装置を提供することができる。
以下、本発明の実施の形態について、図面を参照して説明する。
本発明は、タッチセンサに対するタッチ入力により表示部に表示された(オブジェクトの)画像に変化があった際に、当該画像の変化に基づいて(つまりオブジェクトに対する入力がなされたものとみなして)、触感を呈示する。また、本発明は、このように触感を呈示する際、操作者がタッチセンサに対して軽く触れる(タッチする)程度の押圧に対しては触感を呈示せず、操作者が意図してタッチセンサを押圧する(プッシュする)動作に対して触感を呈示する。さらに、本発明においては、操作者が意図してタッチセンサを押圧する(プッシュする)動作に対しては、触感を呈示するとともに、アプリケーションに従って所定の処理の実行を開始する。しかしながら、本発明においては、操作者がタッチセンサに対して軽く触れる(タッチする)程度の押圧に対しては触感を呈示せずに、アプリケーションに従う所定の処理が実行されないようにする。
図1は、本発明の実施の形態に係る入力装置の概略構成を示すブロック図である。
図1に示すように、入力装置1は、制御部10と、アプリケーション実行部20と、表示部30と、タッチセンサ40と、触感呈示部50と、荷重検出部60と、を備えている。また、制御部10は、表示制御部12と、触感制御部14と、表示変化検知部16と、を含んでいる。
制御部10は、入力装置1の各機能部をはじめとして入力装置1の全体を制御するが、本実施の形態においては、特に、触感の呈示およびアプリケーションに基づく所定の処理に係る動作を主とした制御を行うものとして説明する。アプリケーション実行部20は、図示しない記憶部から各種のアプリケーションを読み込んで、当該アプリケーションに基づく処理を実行する。なお、本実施の形態において、アプリケーション実行部20が実行するアプリケーションは、所定の触感を呈示する処理が予め追加されていないものとする。すなわち、本実施の形態においては、アプリケーション実行部20が、触感の呈示に対応していないアプリケーションを実行する場合について説明する。
本実施の形態にて入力を受け付ける動作に用いるアプリケーションは、表示部30に表示されたオブジェクトの画像の位置に対応するタッチセンサ40にタッチ入力がなされた際、オブジェクトの画像に何らかの変化を施して表示するものとする。このアプリケーションは、操作者の指が接触(タッチ)することによりオブジェクトを活性化状態とし、その後に操作者の指の接触が解除された時点でオブジェクトに対応する処理を実行することを想定したものである。
また、ここで用いるアプリケーションは、タッチ開始時のオブジェクトとタッチ解除時のオブジェクトとが等しい場合に、オブジェクトに対応するイベントに割り当てられた処理を実行する。このようなアプリケーションの処理により、例えば操作者が入力を開始した際にタッチするオブジェクトを誤った場合でも、タッチした指をそのままドラッグして、オブジェクトのない位置で指の接触を解除することにより、当該入力をキャンセルするのと同じ効果が得られる。すなわち、あるオブジェクトの位置からタッチ入力を開始しても、当該オブジェクト以外の位置でタッチ入力を解除することにより、イベントに割り当てられた処理が実行されないようにできる。このような処理を行うアプリケーションは、上述した特許文献3においても記載されているように、従来数多く採用されている。
表示部30は、押しボタンスイッチ(プッシュ式ボタンスイッチ)のような入力用オブジェクトを画像表示する。押しボタンスイッチとは、入力ボタンやキー等(以下、単に「キー等」と総称する)である。表示部30は、例えば、液晶表示パネルや有機EL表示パネル等を用いて構成する。
タッチセンサ40は、通常は表示部30の前面に配置して、表示部30に表示したオブジェクトに対する操作者の指等(押圧対象)による押圧入力(タッチ入力)を、対応するタッチセンサ40のタッチ面により受け付ける。また、タッチセンサ40は、タッチ面に対するタッチ入力の位置を検出し、当該検出した入力の位置を、制御部10(表示変化検知部16)を介してアプリケーション実行部20等に通知する。このタッチセンサ40は、例えば抵抗膜方式、静電容量方式、光学式等の公知の方式のもので構成する。
触感呈示部50は、圧電振動子等を用いて構成し、タッチセンサ40のタッチ面に振動を発生させる。この触感呈示部50は、タッチセンサ40のタッチ面に振動を発生させることにより、タッチ面を押圧している押圧対象に対して触感を呈示する。荷重検出部60は、タッチセンサ40のタッチ面に対する押圧荷重を検出するもので、例えば、歪みゲージセンサや圧電素子等の荷重に対してリニアに反応する素子を用いて構成する。また、荷重検出部60は、検出したタッチセンサ40のタッチ面に対する押圧荷重を、触感制御部14に通知する。
制御部10の表示制御部12は、アプリケーション実行部20から供給される表示データに基づいて、表示部30にオブジェクトなどを画像表示したり、あるいは当該画像表示を変更したりする等、表示に係る制御を行う。触感制御部14は、荷重検出部60により検出される押圧荷重が、触感を呈示する荷重基準を満たしているか否かを判定する。また、触感制御部14は、表示変化検知部16の指示と、上述の触感を呈示する荷重基準を満たす押圧荷重とを検出すると、所定の条件に基づく所定のパターンの振動を発生するように触感呈示部50を制御する。
また、表示変化検知部16は、表示部30に表示される画像を解析して、当該画像の変化を検知する。この表示変化検知部16そのものは、例えば所定の時間間隔で画像を比較して経時的な変化を検知するなど、既存の種々の画像解析技術に基づくものを利用することができる。また、変化に係るパラメータは、特定領域または特定点の画素(ピクセル)における表示の有無、色の変化、輝度や明度の変化など、既存の種々のパラメータとすることができる。
図2は、図1に示した入力装置1の実装構造の一例を示すもので、図2(A)は要部断面図、図2(B)は要部平面図である。表示部30は、筐体61内に収納保持する。表示部30上には、弾性部材からなるインシュレータ62を介して、タッチセンサ40を保持する。なお、本実施の形態に係る入力装置1は、表示部30およびタッチセンサ40を、平面視で矩形状としている。また、入力装置1は、タッチセンサ40を、図2(B)に仮想線で示す表示部30の表示領域Aから外れた4隅に配設したインシュレータ62を介して表示部30上に保持する。
また、筐体61には、表示部30の表示領域から外れたタッチセンサ40の表面領域を覆うようにアッパカバー63を設け、このアッパカバー63とタッチセンサ40との間に、弾性部材からなるインシュレータ64を配設する。なお、図2に示すタッチセンサ40は、タッチ面40aを有する表面部材を、例えば透明フィルムやガラスで構成し、裏面部材をガラスやアクリルで構成している。タッチセンサ40は、タッチ面40aが押圧されると、押圧部分が押圧力に応じて微少量撓む(歪む)、または構造体そのものが微少量撓む構造のものを用いる。
タッチセンサ40の表面上には、アッパカバー63で覆われる各辺の近傍に、タッチセンサ40に加わる荷重(押圧力)を検出するための歪みゲージセンサ51をそれぞれ接着等により設ける。さらに、タッチセンサ40の裏面上には、対向する2つの辺の近傍に、タッチセンサ40を振動させるための圧電振動子52をそれぞれ接着等により設ける。すなわち、図2に示す入力装置1は、図1に示した荷重検出部60を4つの歪みゲージセンサ51を用いて構成し、触感呈示部50を、2つの圧電振動子52を用いて構成している。そして、触感呈示部50によりタッチセンサ40を振動させることにより、タッチ面40aを振動させるようにしている。なお、図2(B)は、図2(A)に示した筐体61、アッパカバー63およびインシュレータ64の図示を省略している。
次に、本実施の形態に係る入力装置の動作を説明する。
本実施の形態に係る入力装置1は、タッチセンサ40に対する入力により表示部30に表示された画像に変化があった状態で、タッチセンサ40に対する入力の押圧荷重が所定の基準を満たすと、触感を呈示する。これは、表示部30に表示されたオブジェクトの画像の位置に対応するタッチセンサ40にタッチ入力がなされた際、当該オブジェクトにタッチ入力が受け付けられている旨を操作者に視認させるため、通常、オブジェクトの画像を変化させて表示することに基づく。このようなオブジェクトの画像を変化させる表示は、アプリケーションに基づく設定により、例えばオブジェクトが選択されたような表示をしたり、またオブジェクトの色または輝度などを変化させて表示したり、アプリケーションによって種々の態様が考えられる。また、タッチセンサ40に対する入力の押圧荷重が所定の基準を満たす場合に触感を呈示するのは、このような場合に、操作者が意図してタッチセンサを押圧する(プッシュする)動作を行ったとみなせることに基づく。
図3および図4は、本実施の形態に係る入力装置1の動作を示すフローチャートである。本実施の形態に係る入力装置1の動作は、アプリケーション実行部20が関与する動作と、アプリケーション実行部20が関与しない動作と、に分離して捉えることができる。図3はアプリケーション実行部20が関与する動作を示し、図4はアプリケーション実行部20が関与しない動作を示している。
本実施の形態に係る入力装置1の動作を行うにあたり、予め、表示部30には、操作者の指などによる入力を受け付けるために、キー等のオブジェクトの画像を表示しておくものとする。この際、アプリケーション実行部20は、GUIを構成する各オブジェクトの表示データを、表示変化検知部16を介して表示制御部12に供給する。そして、表示制御部12は、アプリケーション実行部20から供給されたオブジェクトの表示データに基づいて、各オブジェクトの画像を表示(描画)するように表示部30を制御する。上述したように、以下、本実施の形態にて用いるアプリケーションは、タッチセンサを使用してGUIを構成する既存のものであって、触感の呈示には対応していないが、オブジェクトの表示画像の変化には対応したものを用いる場合について説明する。
本実施の形態に係る入力装置1の動作を開始する際には、まず、制御部10は、タッチセンサ40に対するタッチ入力の有無を監視する。また、これとともに、制御部10は、表示部30に表示された画像(表示画像)の変化を監視するように表示変化検知部16を制御する。
上述のような準備が完了した状態で、操作者の指などによるタッチセンサ40のタッチ面に対するタッチ入力があった時点から、本実施の形態に係る入力装置1の動作は開始する。
まず、図3に示すように、本実施の形態に係る入力装置1の動作が開始すると、タッチセンサ40は、タッチ面に対するタッチ入力の位置を制御部10に通知する(ステップS10)。このようにして検出した入力の位置を、制御部10は、表示変化検知部16を介してアプリケーション実行部20に通知する。
タッチセンサ40におけるタッチ入力の位置が通知されたら、アプリケーション実行部20は、当該入力の位置が、現在のGUIにおいてキー等のオブジェクトの画像が表示された位置に対応するか否かを判定する(ステップS12)。ステップS12において、入力の位置が、オブジェクトの画像が表示された位置に対応する場合、アプリケーション実行部20は、アプリケーションに基づく設定に従ってオブジェクトの画像を変更するための表示データを表示制御部12に送る。この表示データを受け取ったら、表示制御部12は、表示されるオブジェクトの画像を変更するように表示部30を制御する(ステップS14)。すなわち、キー等のオブジェクトに対するタッチ入力があった場合、当該オブジェクトの表示画像を変更する。オブジェクトの表示画像を変更する際、例えばオブジェクトが選択されたような表示をしたり、またオブジェクトの色または輝度などを変化させたりして、キー等に触れた(タッチした)ことを操作者が視認できるようにするのが好適である。
一方、ステップS12において、入力の位置がオブジェクトの画像が表示された位置に対応しない場合、アプリケーション実行部20は、オブジェクトの画像を変更する指示を行わずに処理を終了する。すなわち、キー等のオブジェクトに対するタッチ入力がない場合、またはタッチ入力がキー等のオブジェクトに対するものでない場合、アプリケーション実行部20は、オブジェクトの表示画像を変更せずに処理を終了する。この場合、表示部30に表示される画像(表示画像)は変化しない。
図4は、図3の後に続く動作を説明するフローチャートである。図3に示した動作が終了した後、表示変化検知部16は、図4に示すように、表示部30に表示された画像(表示画像)を解析して、表示画像の変化の有無を検知する(ステップS20)。あるいは、この際、表示変化検知部16は、例えば、アプリケーション実行部20から表示変化検知部16を介して表示制御部12に供給される表示データに基づいて、表示画像の変化の有無を判断してもよい。
なお、ステップS20においては、表示変化検知部16が表示画像の変化の有無を検知する際に、タッチセンサ40のタッチ面に対する入力から所定範囲内の表示部30における表示画像が変化したか否かを検知するようにしてもよい。ここで、タッチセンサ40のタッチ面に対する入力からの「所定範囲」とは、例えば「入力の位置から周囲5mmまで」など、入力の態様に応じて、また入力の位置の検出態様に応じて、好適な値を適切に設定する。この場合の「入力の位置」も、種々の態様で検出することができる。タッチセンサ40のタッチ面に対するタッチ入力が面積を有する状態で検出される場合は、例えば当該面積全体を「入力の位置」とすることができる。また、タッチ入力が点で検出される場合は、前記面積の例えば重心を算出したものを「入力の位置」とすることができる。このような所定範囲の設定により、入力の位置の周囲に存在する画像の変化のみを検知することができる。
ステップS20において表示画像の変化が検知された場合(すなわちキー等のオブジェクトに対するタッチ入力があった場合)、ステップS22の動作に移行する。ステップS22において、触感制御部14は、荷重検出部60により検出される押圧荷重が、タッチセンサ40のタッチ面に対する押圧によって増加しながら荷重基準を満たしたか否かを判定する。なお、荷重検出部60は、例えば、4つの歪みゲージセンサ51の出力の平均値から荷重を検出する。ここで、荷重基準を満たす荷重は、操作者が通常の押圧操作を行う際の押圧荷重に基づいて、例えば1N(ニュートン)などの値を予め設定し、その後も設定変更できるようにするのが好適である。また、この荷重基準は、操作者の意図に基づく押圧入力の際の押圧荷重を考慮して(例えば平均値など)、過度に低い基準を設定しないようにする。これは、操作者が意図せずに軽く触れてしまった(タッチ)ような場合の操作を、押圧(プッシュ)入力としては受け付けないようにするため、および後述するリアルな触感のための圧覚を操作者に与えるためである。
ステップS22において押圧荷重が荷重基準を満たした場合、触感制御部14は、制御部10の制御により、タッチセンサ40のタッチ面に所定の振動を発生させて、触感を呈示するように触感呈示部50を制御する(ステップS24)。すなわち、制御部10は、表示変化検知部16がタッチセンサ40のタッチ面に対する入力による表示画像の変化を検知している状態で、荷重検出部60が荷重基準を満たす押圧荷重を検出すると、タッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部50を制御する。この荷重基準は、触感呈示部50が触感を呈示するための荷重基準である。この制御により、触感呈示部50は、タッチセンサ40のタッチ面を押圧している押圧対象に対して触感を呈示する。
なお、本実施の形態では、ステップS24において触感呈示部50が押圧対象に対して呈示する触感は、機械式の押しボタンスイッチなどを押下した際に得られるクリックに似た触感(以下、「クリック触感」と記す)とすることができる。操作者に対してこのようなクリック触感を呈示するためには、入力装置1は、操作者の圧覚が刺激された状態で触覚を刺激する。すなわち、入力装置1は、タッチセンサ40に加わる荷重が、触感を呈示する基準(例えば1N)を満たすまでは、圧覚を刺激するようにし、荷重が当該基準を満たすと、圧電振動子52を所定の駆動信号で駆動してタッチ面40aを振動させて触覚を刺激する。これにより、入力装置1は、押しボタンスイッチ(プッシュ式ボタンスイッチ)のようなボタンスイッチを押した際に得られるのと同様なクリック触感を、操作者に呈示することができる。したがって、操作者は、タッチセンサ上部に描画された押しボタンスイッチであっても、押しボタンスイッチを操作した場合と同様のリアルなクリック触感を得ながら、タッチセンサ40に対して入力操作を行うことができるので、違和感を覚えることがない。また、タッチセンサ40を「押した」という意識との連動で入力操作を行うことができるので、単なる押圧による入力ミスも防止することができる。
上述したクリック触感を呈示する際の駆動信号、すなわち触覚を刺激する一定周波数、周期(波長)、波形、振幅は、呈示するクリック触感に応じて適宜設定することができる。例えば、携帯端末に使用されているメタルドームスイッチに代表されるクリック触感を呈示する場合、例えば、170Hzの一定周波数のSin波からなる1周期分の駆動信号により触感呈示部50を駆動する。このような駆動信号により触感呈示部50を駆動させて、タッチ面40aを、基準の押圧荷重が加わった状態で、約15μm振動させる。これにより、実際のキーをクリックした場合のような、リアルなクリック触感を操作者に呈示することができる。
一方、ステップS20において表示画像の変化が検知されない場合(すなわちキー等のオブジェクトに対するタッチ入力がない場合)、表示変化検知部16は、触感制御部14に触感を呈示する旨の指示を出さずに処理を終了する。このように、本実施の形態に係る入力装置1は、キー等のオブジェクト以外の位置に対する入力があっても、オブジェクトに対する押圧入力は受け付けられていないことを、触感が呈示されないことによって操作者に認識させることができる。
ステップS24にて触感が呈示されたら、触感制御部14は、タッチセンサ40のタッチ面に対する押圧が弱まることにより、タッチ面に対する入力のリリースが検出されたか否かを判定する(ステップS26)。ここで、「タッチ面に対する入力のリリース」とは、ステップS26の判定により、押圧対象がタッチ面から離れたことを意味する。このリリースの検出は、具体的には、荷重検出部60によって押圧荷重が検出されなくなったか否か、または、タッチセンサ40がタッチ面に対するタッチを検出しなくなったか否かを判定することにより行う。
ステップS26においてリリースを検出した場合、制御部10は、押圧されているオブジェクトに割り当てられた所定の処理の実行をアプリケーション実行部20に指示する(ステップS28)。この後は、指示を受けたアプリケーション実行部20は、アプリケーションに基づく処理を実行し、これ以降はアプリケーション実行部20が関与する動作となる。すなわち、制御部10は、荷重検出部60が荷重基準を満たした後リリースを検出すると、所定の処理を実行するように制御する。
一方、ステップS22において押圧荷重が荷重基準を満たしていない場合、ステップS30の動作に移行する。ステップS30では、触感制御部14は、タッチセンサ40のタッチ面に対する押圧が弱まることにより、リリースを検知したか否かを判定する(ステップS30)。
ステップS30にて、リリースが検出されなかった場合、ステップS22に戻り、これ以降は上述した動作を続行する。
一方、ステップS30にて、リリースが検出された場合、すなわち、タッチセンサ40のタッチ面に対する押圧が弱まって押圧対象がタッチ面から離れた場合、ステップS32の動作に移行する。ステップS32においては、制御部10は、タッチセンサ40が検出した位置情報に変更を加えてから、当該変更後の位置情報をアプリケーション実行部20に通知する(ステップS32)。ここで、制御部10は、タッチセンサ40が検出した位置情報に変更を加える際、検出した位置にかかわらず、当該位置を、例えばX−Y座標の(0,0)とする等、入力用オブジェクトが表示され得ない位置に変更したものを、アプリケーション実行部20に通知する。
このように処理することにより、ステップS30において操作者のタッチ入力が解除される際、ステップS32における処理はオブジェクトが表示されていない位置でタッチ入力が解除されることになる。したがって、この場合には、オブジェクト以外の位置でタッチ入力が解除されることになり、オブジェクトに対応するイベントに割り当てられた所定の処理は実行されない。すなわち、制御部10は、表示変化検知部16がタッチ面に対する入力による表示画像の変化を検知している状態で、荷重検出部60が検出する押圧荷重が荷重基準を満たさないままタッチ面に対する入力のリリースを検出すると、所定の処理を実行しないように制御する。また、この場合、制御部10は、タッチセンサ40が検出したタッチ入力の位置の情報を改変することにより、前記所定の処理を実行しないように制御する。
図5は、本実施の形態に係る入力装置1の動作を説明する図である。図5は、上述した図7と同様に、操作者の指がキー等のオブジェクトに対してタッチ入力を開始し、その後当該タッチ入力を解除するまでの押圧荷重を概略的に示す図である。図5において、記号等の表す意味は、図7と同様である。なお、図5においては、本実施の形態による荷重基準をP1として示す。
図5(A)は、操作者が意図してタッチセンサ40のオブジェクトに対して押圧する(プッシュする)動作に対する入力装置1の動作を説明する図である。
図5(A)において、時点(1)は、操作者がキー等のオブジェクトに触れた(タッチした)瞬間を示している。この時点(1)において、オブジェクトに対して入力が受け付けられると、入力装置1の制御部10は、アプリケーションに基づく動作により、オブジェクトの表示画像を変化させる。また、時点(2)は、オブジェクトの表示画像が変化した状態のまま、荷重検出部60が検出する押圧荷重が荷重基準P1を満たしたため、入力装置1が触感を呈示する瞬間を示している。さらに、時点(3)は、操作者が押圧を弱めることにより、リリースが行われた瞬間を示している。
このように、操作者の荷重基準P1を満たす押圧荷重によって、キー等のオブジェクトを押圧する入力を受け付けることにより、入力装置1の触感呈示部50は触感を呈示する(時点(2))。時点(2)において、押圧荷重が荷重基準P1を満たした際の時間軸の下方に示す上向きの矢印(↑)は、タッチセンサ40のタッチ面が振動することにより触感が呈示されることを表している。また、その後、リリースを検知することによって、入力装置1の制御部10は所定の処理の実行をアプリケーションに指示する(時点(3))。ここでも、「所定の処理」とは、例えば文字入力を行うアプリケーションが動作中の場合は、入力に係る文字を表示部に表示する動作に係る処理である。また、アプリケーションに基づく動作の開始を待機している最中に、当該動作を開始するキーに対する入力を受け付けた場合は、「所定の処理」とは、当該アプリケーションに基づく動作を開始する処理である。
したがって、この場合、操作者は、自己の押圧入力に応じて触感のフィードバックを得ることができるとともに、その後当該押圧入力に基づいて所定の処理が開始される。このため、操作者は、自己の押圧が入力装置に適正に受け付けられて所定の処理が開始したことを、呈示される触感により確認することができる。
一方、図5(B)は、操作者が、例えば意図せずにタッチセンサ40のオブジェクトに対して軽く触れる(タッチする)動作を行ってしまった場合に対する入力装置1の動作を説明する図である。
図5(B)においては、時点(1)は、操作者がキー等のオブジェクトに触れた(タッチした)瞬間を示している。この時点(1)において、オブジェクトに対して入力が受け付けられると、入力装置1の制御部10は、アプリケーションに基づく動作により、オブジェクトの表示画像を変化させる。また、図5(B)においては、荷重検出部60が検出する押圧荷重が荷重基準P1を満たさないため、入力装置1が触感を呈示する瞬間を示す時点(2)は存在しない。さらに、時点(3’)は、操作者が押圧を弱めることにより、リリースが行われた瞬間を示している。この時点(3’)においては、図4のステップS32における動作によって、制御部10は、タッチ入力の位置がオブジェクト以外の位置に対応するものとしてアプリケーション実行部20に通知する。したがって、この場合、時点(3’)において、アプリケーション実行部20は、オブジェクトに対する入力が行われたものとは判定しないため、オブジェクトに割り当てられた処理を実行しない。
このように、本実施の形態の入力装置1は、荷重基準P1を満たさない押圧荷重によりオブジェクトを押圧する入力を受け付けた後に当該押圧が解除された場合、入力装置1は触感を呈示せず、オブジェクトに割り当てられた所定の処理も実行しない。したがって、この場合、操作者は、自己の押圧入力に応じた触感のフィードバックを得ることができないにもかかわらず、その後の押圧入力の解除に基づいて所定の処理が実行されるという不都合は解消される。すなわち、操作者が、自己の押圧入力が適正に受け付けられたことを触感の呈示により確認できないままに、入力装置1により所定の処理が開始されるという違和感のある動作が行われることはない。
また、操作者が意図せずにタッチパネル40上でオブジェクトの位置を軽くタッチしてしまった場合、触感は呈示されず、オブジェクトに入力が受け付けられた場合の動作も行われない。したがって、操作者の誤操作に伴って意図しない動作が開始されることがなくなるため、操作者は無駄にキャンセル操作を行ったり、操作をやり直したりするという手間から解放される。
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上述した各実施の形態では、表示変化検知部16が、制御部10に含まれる構成について説明した。しかしながら、本発明による入力装置は、このような構成に限定されるものではなく、設計の際の要求に応じて種々の構成を採ることができる。例えば、図6に示すように、制御部10は表示変化検知部16を含まずに、アプリケーション実行部20の側に表示変化検知部70を設けることもできる。このように、表示変化検知部と制御部との構成上の関係は、適宜変更して設計することができる。
上記実施の形態においては、押圧荷重が荷重基準を満たした際に触感を呈示し、ここで呈示する触感はクリック触感とすることができる旨を説明し、押圧を解除する際に呈示する触感(以下、「リリース触感」と記す)については特に言及していない。しかしながら、タッチセンサが押圧された際のクリック触感に加えて、さらに、押圧されているタッチセンサの押圧が解除される途中で、リリース触感を呈示するようにしてもよい。この場合、触感制御部14は、クリック触感を呈示した後で、荷重検出部60が検出する押圧荷重が所定の第2の荷重基準を満たしたら、リリース触感を呈示するように触感呈示部50を制御する。なお、ここで「押圧荷重が所定の第2の荷重基準を満たす」とは、リリース時においては、押圧荷重が所定の第2の荷重基準を超えている状態から当該第2の荷重基準を下回ることを意味する。
ここで、リリース触感を呈示する第2の荷重基準は、押圧時にクリック触感を呈示する上記荷重基準と同じ基準に設定することもできるが、好ましくは、上記荷重基準よりも50%〜80%低い値に設定する。このようにすれば、同一位置(入力用オブジェクト)を連続入力(連打)する場合に、順次の入力と触感呈示タイミングとが合致し、違和感のないリアルな触感を呈示することができる。すなわち、リリース時に触感を呈示する基準の荷重を、押圧時に触感を呈示する基準の荷重よりも小さくすることにより、違和感を与えないようにし、かつ、リリース時に触感を呈示する基準の荷重を、押圧時に触感を呈示する基準の荷重のおよそ50%以上とすることにより、連続入力時の操作性を格段に向上できる。また、リリース時に触感を呈示する基準の荷重を、押圧時に触感を呈示する基準の荷重のおよそ80%以下とすることにより、連続入力時のホールド状態での微小な荷重変化にも対応できる。
このようにすれば、押下時に「カッ」、リリース時に「チッ」と感じられるよりリアルな触感を呈示することができる。勿論、リリース触感は、クリック触感と同一の駆動信号を用いることもできるが、必ずしもクリック触感と同一の駆動信号でなくてもよい。
上述した実施の形態で用いたアプリケーションは、タッチ開始時のオブジェクトとタッチ解除時のオブジェクトとが等しい場合に、イベントに割り当てられた処理を実行するものとして説明した。しかしながら、本発明に用いることのできるアプリケーションはこのようなものに限定されず、タッチ解除時のオブジェクトに割り当てられた処理を実行するアプリケーションであれば、任意のものを用いることができる。
また、上記実施の形態では、タッチセンサ40を用いて、当該タッチセンサのタッチ面に対するタッチ入力を検出したが、荷重センサ(荷重検出部)を用いて、所定の押圧荷重の基準を満たした場合に、入力がなされたものと判定することもできる。このような荷重検出部は、上述した各実施の形態の荷重検出部と同様に、任意の個数の歪みゲージセンサ等を用いて構成することができる。
また、上述した各実施の形態において、荷重検出部は、タッチセンサにおける入力検出方式に応じて構成することができる。例えば、抵抗膜方式の場合には、接触面積による抵抗変化に基づく出力信号の変化から荷重が検出できれば、歪みゲージセンサを用いることなく構成することができる。あるいは、静電容量方式の場合には、静電容量の変化に基づく出力信号の変化から荷重が検出できる場合も、歪みゲージセンサを用いることなく構成することができる。
また、触感呈示部は、任意の個数の圧電振動子を用いて構成したり、タッチセンサの全面に透明圧電素子を設けて構成したり、触感を呈示する振動を表現できるのであれば、偏心モータを駆動信号の1周期で1回転させるようにして構成したり、することもできる。さらに、荷重検出部および触感呈示部は、圧電素子を用いて構成する場合は、圧電素子を共用して荷重検出部および触感呈示部を構成することもできる。
上述した各実施の形態においては、タッチセンサを表示部の上面に重ねて配置した構成を想定して説明した。しかしながら、本発明による入力装置は、必ずしもこのような構成にする必要はなく、タッチセンサと表示部とを離間した構成にしてもよい。
また、本発明は、タッチセンサがオン・オフ動作を行うタッチスイッチとして機能する入力装置にも有効に適用することができる。
また、本発明に係る入力装置は、圧電素子の出力に基づいて検出される押圧荷重が触感を呈示する荷重基準を満たした際に、当該圧電素子を駆動する。ここで、圧電素子の出力に基づいて検出される押圧荷重が触感を呈示する荷重基準を満たした際とは、検出される押圧荷重が触感を呈示する基準値に達した際であってもよいし、検出される押圧荷重が触感を呈示する基準値を超えた際でもよいし、圧電素子の出力に基づいて触感を呈示する基準値が検出された際でもよい。また、上述した第2の荷重基準を満たした際についても同様に、検出される押圧荷重が基準値に達した際であってもよいし、検出される押圧荷重が基準値を下回った(または基準値以下になった)際でもよいし、あるいは基準値が検出された際でもよい。