JP2012113646A - 触感呈示装置 - Google Patents

Abstract

【課題】ユーザインタフェースを構成するアプリケーションが触感の呈示を想定していない場合でも、操作者の操作に基づいて適切な触感を呈示することができる触感呈示装置を提供する。
【解決手段】触感呈示装置１は、タッチセンサ４０と、タッチセンサ４０のタッチ面に接触している接触対象に対して触感を呈示する触感呈示部５０と、音声出力部７０と、音声を出力する旨の指示に基づいて所定の音声を出力するように音声出力部７０を制御する制御部１０と、を備え、制御部１０は、音声を出力する旨の指示に対応付けられた触感を呈示するように触感呈示部５０を制御することを特徴とする。
【選択図】図１

Description

本発明は、触感を呈示する装置に関するものであり、特に、タッチセンサに対する接触操作に基づいて触感を呈示する装置に関するものである。

近年、携帯電話等の携帯端末において、ユーザによる操作を検出する操作部やスイッチ等の入力装置として、タッチパネルやタッチスイッチ等のタッチセンサを備える入力装置が採用されているものがある。携帯端末以外に、電卓、券売機等の情報機器や、電子レンジ、テレビ、照明器具等の家電製品、産業用機器（ＦＡ機器）等にも、タッチセンサを備える入力装置は広く使用されている。

このようなタッチセンサには、抵抗膜方式、静電容量方式、光学式等の種々の方式が知られている。しかしながら、いずれの方式のタッチセンサにおいても、指やスタイラスペンによる接触を検出するものであって、タッチセンサ自体は、接触されても、押しボタンスイッチのようには物理的に変位しない。

したがって、操作者は、接触による操作が入力装置に認識されても、当該操作に対するフィードバックを得ることができない。このため、操作者は、操作を行う際の操作感が得られず、同じ位置を何度もタッチする等の繰り返し操作が生じ易く、操作者にストレスを与える場合がある。

そこで、従来、聴覚や視覚によらず、タッチセンサが接触を検出すると、タッチセンサを振動させて、操作者の指先に振動を発生させるようにしたフィードバック方法が提案されている（例えば、特許文献１および特許文献２参照）。

特開２００３−２８８１５８号公報 特開２００８−１３００５５号公報 特開２００７−２６４８６２号公報

この特許文献１および特許文献２に開示の技術によれば、タッチセンサに対する操作が検出された際に、操作者の指先などに、振動を発生させることができる。したがって、このような入力装置を用いて操作を行う操作者は、タッチセンサに対して行った操作が入力装置に正しく認識されたことを、触覚により認識することができる。

しかしながら、このような入力装置を用いて接触の操作が認識された際に触感を呈示するためには、所定の条件に応じて所定の振動を発生させる処理が、予めアプリケーションソフトウェア（以下、単に「アプリケーション」と記す）に組み込まれている必要がある。すなわち、上述の入力装置においては、触感を呈示することを予め想定して開発されたアプリケーションを使用すれば、所定の条件に応じて所定の振動を発生することができる。しかしながら、上述の入力装置に、触感を呈示することを想定していないアプリケーションをそのまま適用しても、適切に所定の振動を発生することはできない。

したがって、上述したような入力装置において所定の条件に応じて適切に触感を呈示するためには、新たにアプリケーションを開発するか、あるいは既存のアプリケーションに対して、触感を呈示するための処理を追加する改変を加える必要がある。

具体的には、入力装置の表示部に画像表示されるキーまたはボタン等のオブジェクトの位置に対応するタッチセンサに対して接触が検出された際に、入力装置が所定の触感を呈示するための処理を追加する必要がある。また、表示部にキーまたはボタン等のオブジェクトが画像表示されていない位置に対応するタッチセンサに対して接触が検出されても、入力装置が触感を呈示しないようにする必要もある。このように触感の呈示の有無を制御すれば、タッチセンサおよびＧＵＩ(Graphical User Interface)を入出力に用いたユーザインタフェースによって操作者の操作を検出した際に、操作者の指先などに、振動による触感を呈示することができる。すなわち、画像表示したキーまたはボタン等のオブジェクトに対する接触により、当該接触が検出されたことを、触感を呈示することにより報知することができる。一方、キーまたはボタン等のオブジェクトのない位置に対する接触が検出されても、フィードバックが発生しないようにできる。

このような制御を行う場合、入力装置は、タッチセンサに対して接触が検出された際のＧＵＩの状態、すなわち表示部に表示されるキーまたはボタン等のオブジェクトの状態を管理しているアプリケーションと連携することが必要になる。

上述のように、従来の入力装置においては、触感の呈示に対応していないアプリケーションを適用しても、そのままの状態では、適切に触感を呈示することはできない。したがって、従来の入力装置において、現在までに開発されてきた種々のアプリケーション資源を無駄にせずに有効に活用するためには、それぞれのアプリケーションを改変して、所定の条件に応じて触感を呈示する処理を追加しなければならない。このような処理を追加する改変は、種々のアプリケーションごとに行わなければならず、膨大な手間とコストがかかることが懸念される。

このような事情の下では、今後、触感を呈示する入力装置に向けたアプリケーションの開発に各社ベンダが参入する阻害要因になったり、タッチセンサおよびＧＵＩを採用したプラットフォームの普及が遅延する要因にもなり得る。

そこで、例えば、タッチセンサに対する接触の検出により、表示部に表示された（オブジェクトの）画像に変化があった際に、当該画像の変化に基づいて（つまりオブジェクトに対する接触が検出されたものとみなして）触感を呈示する装置を考えることもできる。通常のアプリケーションにおいては、表示部に表示されたオブジェクトの画像の位置に対応するタッチセンサが接触を検出した際、当該オブジェクトに対する接触が認識されている旨を操作者に視認させるため、オブジェクトの画像を変化させて表示することが多い。したがって、表示部に表示されたオブジェクトの画像の位置に対応するタッチセンサが接触を検出した際、オブジェクトの画像に何らかの変化を施して表示するアプリケーションであれば、変化する画像の情報に基づいて、前述の装置は触感を呈示することができる。

この装置のように、タッチセンサに対する接触の検出に基づいて表示部に表示されたオブジェクトの画像を変化させ、当該画像の変化に基づいて触感を呈示すれば、ユーザインタフェースを構成する既存のアプリケーションを改変せずに流用することができる。

このようにすれば、例えば特許文献３に記載されているパーソナルコンピュータ（ＰＣ）に用いるようなアプリケーションを使用しても、前述の装置は触感を呈示することができる。この特許文献３に記載の入力方法において接触を検出するタッチセンサは、一般的なＰＣや現金自動預入機（ＡＴＭ）や各種の自動機に採用することを想定している。この特許文献３に記載の入力方法に係るタッチセンサの動作環境は、振動を発生する機構を備えていないため、この環境に用いるために開発したアプリケーションも触感の呈示に係る動作には対応していない。このような動作環境のために開発した、触感の呈示に係る動作に対応していないアプリケーションであっても、前述の装置は、タッチセンサに対する接触に応じて触感を呈示することができる。

しかしながら、上述したように、変化する画像の情報に基づいて触感を呈示するためには、タッチセンサに対する接触の検出により、表示部に表示されたオブジェクトの画像が変化するアプリケーションを使用することが前提となる。すなわち、使用するアプリケーションは、例えばボタンなどのオブジェクトに対する操作者の接触が検出されると、当該ボタンの表示が反転するなどのＧＵＩを備えている必要がある。このため、当然、タッチセンサに対する接触が検出されても表示部に表示されたオブジェクトの画像が変化しないアプリケーションを使用しても、適切に触感を呈示することはできない。

また、上述のように、表示された画像の変化を解析することにより適切な触感を呈示するためには、高度な画像解析アルゴリズムが必要となることが多い。さらに、このような構成においては、表示された画像の変化を解析してから触感を呈示することになるため、各制御部の処理速度が充分に高速でないと、画面表示の変化と触感を呈示するタイミングとの間にズレが生じ、操作者に違和感を与えることになる。

したがって、かかる事情に鑑みてなされた本発明の目的は、アプリケーションが触感の呈示を想定していない場合でも、操作者の操作に基づいて適切な触感を呈示することができる触感呈示装置を提供することにある。

上記目的を達成する第１の観点に係る触感呈示装置の発明は、
タッチセンサと、
前記タッチセンサのタッチ面に接触している接触対象に対して触感を呈示する触感呈示部と、
音声出力部と、
音声を出力する旨の指示に基づいて、所定の音声を出力するように前記音声出力部を制御する制御部と、を備え、
前記制御部は、前記音声を出力する旨の指示に対応付けられた触感を呈示するように前記触感呈示部を制御することを特徴とするものである。

また、上記目的を達成する第２の観点に係る触感呈示装置の発明は、
タッチセンサと、
前記タッチセンサのタッチ面に接触している接触対象に対して触感を呈示する触感呈示部と、
前記タッチセンサのタッチ面に対する押圧荷重を検出する荷重検出部と、
音声出力部と、
音声を出力する旨の指示に基づいて、所定の音声を出力するように前記音声出力部を制御する制御部と、を備え、
前記制御部は、前記荷重検出部により検出される押圧荷重が前記音声を出力する旨の指示に対応付けられた所定の基準を満たしたら、前記音声を出力する旨の指示に対応付けられた触感を呈示するように前記触感呈示部を制御することを特徴とするものである。

第３の観点に係る発明は、第２の観点に係る触感呈示装置において、
前記制御部は、前記荷重検出部により検出される押圧荷重が前記音声を出力する旨の指示に対応付けられた所定の基準を満たしたら、
前記音声を出力する旨の指示に対応付けられた触感を呈示するように前記触感呈示部を制御するとともに、前記所定の音声を出力するように前記音声出力部を制御することを特徴とするものである。

本発明によれば、アプリケーションが触感の呈示を想定していない場合でも、操作者の操作に基づいて適切な触感が呈示されるようにすることができる。

本発明の実施の形態に係る触感呈示装置の概略構成を示すブロック図である。 本発明の実施の形態に係る触感呈示装置の実装構造の一例を示す図である。 本発明の実施の形態に係る音声出力の制御信号と呈示される触感との対応関係の一例を示す図である。 本発明の実施の形態に係るアプリケーション実行部の動作を説明するフローチャートである。 本発明の実施の形態に係る音声制御部の動作を説明するフローチャートである。 本発明の実施の形態に係る触感呈示部の動作を説明するフローチャートである。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施の形態に係る触感呈示装置の概略構成を示すブロック図である。

図１に示すように、触感呈示装置１は、表示制御部１２と、音声制御部１４と、触感制御部１６と、アプリケーション実行部２０と、を備えている。また、触感呈示装置１は、表示部３０と、タッチセンサ４０と、触感呈示部５０と、荷重検出部６０と、音声出力部７０と、記憶部８０と、を備えている。なお、表示制御部１２と、音声制御部１４と、触感制御部１６と、アプリケーション実行部２０とは、制御部１０に含まれるものである。

記憶部８０は、例えばＮＡＮＤ型フラッシュメモリ等によって構成し、そのメモリ領域の少なくとも一部に、アプリケーション記憶領域８２を含んでいる。記憶部８０に含まれるアプリケーション記憶領域８２は、各種のアプリケーションを記憶することができる。アプリケーション実行部２０は、記憶部８０から各種のアプリケーションを読み込んで、当該アプリケーションに基づく処理を実行するとともに、各機能部を制御する。なお、本実施の形態において、アプリケーション実行部２０が実行するアプリケーションは、所定の触感を呈示する処理が予め追加されていないものとする。すなわち、本実施の形態においては、アプリケーション実行部２０が、触感の呈示に対応していないアプリケーションを実行する場合について説明する。また、本実施の形態においてタッチセンサ４０が接触を検出する動作に用いるアプリケーションには、表示部３０に表示されたオブジェクトの画像の位置に対応するタッチセンサ４０に接触が検出された際、何らかの音声を出力する処理が付加されているものとする。なお、触感呈示装置１に記憶されているアプリケーション等の各種のデータは、記憶部８０に記憶されている必要はなく、例えば、触感呈示装置１が備える図示しない通信部により通信を行うことが可能なサーバ等に記憶されていてもよい。

表示部３０は、押しボタンスイッチ（プッシュ式ボタンスイッチ）のようなオブジェクトを画像表示する。このオブジェクトは、接触すべき領域を操作者に示唆する画像である。また、押しボタンスイッチとは、操作者が入力の操作に用いるボタンやキー等（以下、単に「キー等」と総称する）である。表示部３０は、例えば、液晶表示パネル（ＬＣＤ）や有機ＥＬ表示パネル等を用いて構成する。

タッチセンサ４０は、通常は表示部３０の前面に配置して、表示部３０に表示したオブジェクトに対する操作者の指等（接触対象）による接触（または接触の解除）を、対応するタッチセンサ４０のタッチ面において検出する。また、タッチセンサ４０は、タッチ面に対する接触の位置を検出し、当該検出した接触の位置をアプリケーション実行部２０に通知する。このタッチセンサ４０は、例えば抵抗膜方式、静電容量方式、光学式等の公知の方式のもので構成する。なお、タッチセンサ４０が接触対象による接触を検出する上で、接触対象がタッチセンサ４０に物理的に触れることは必須ではない。例えば、タッチセンサ４０が光学式である場合は、タッチセンサ４０はタッチセンサ４０上の赤外線が接触対象で遮られた位置を検出するため、接触対象がタッチセンサ４０に触れることは不要である。

触感呈示部５０は、例えば圧電振動子等を用いて構成し、タッチセンサ４０のタッチ面に接触している接触対象に対して触感を呈示する。この触感呈示部５０は、所定の振動パターンによる振動を発生させることにより、タッチ面に接触している接触対象に対して触感を呈示する。荷重検出部６０は、タッチセンサ４０のタッチ面に対する押圧荷重を検出するもので、例えば、歪みゲージセンサや圧電素子等の荷重に対してリニアに反応する素子を用いて構成する。また、荷重検出部６０は、検出したタッチセンサ４０のタッチ面に対する押圧荷重を、触感制御部１４に通知する。

音声出力部７０は、例えばスピーカ等により構成し、タッチセンサ４０上の所定領域における接触が検出されたり、所定のイベントが発生した際に、後述する音声制御部１６の制御により、所定の音声を出力する。

表示制御部１２は、アプリケーション実行部２０からの表示指示に基づいて、表示部３０にオブジェクトなどを画像表示したり、あるいは当該画像表示を変更したりする等、表示部３０における表示に係る制御を行う。アプリケーション実行部２０が表示制御部１２に対して表示指示を行う際には、表示部３０に表示する画像の表示データなどは、例えば記憶部８０に記憶させておいたものを読み出すことができる。表示制御部１２は、このようにアプリケーション実行部２０が記憶部８０から読み出した表示データの供給を受けて、所定の画像を描画するように表示部３０を制御する。

触感制御部１４は、音声制御部１６からの触感を呈示する旨の指示により、所定の条件に基づく所定のパターンの振動を発生するように触感呈示部５０を制御する。また、触感制御部１４は、音声制御部１６からの触感を呈示する旨の指示により呈示される触感（音声を出力する旨の指示に対応付けられた触感）が、押圧荷重の条件を伴うものである場合、荷重検出部６０により検出される押圧荷重が、触感を呈示する所定の基準（音声を出力する旨の指示に対応付けられた所定の基準）を満たしているか否かを判定する。この場合、触感制御部１４は、触感を呈示する旨の指示を受けた場合、上述の触感を呈示する所定の基準を満たす押圧荷重が荷重検出部６０により検出されたら、所定の条件に基づく所定のパターンの振動を発生するように触感呈示部５０を制御する。また、このように、触感を呈示する所定の基準を満たす押圧荷重が荷重検出部６０により検出された際、触感制御部１４は、音声出力部７０が所定の音声を発生するタイミングを同期させるための同期情報を音声制御部１６に通知する。

音声制御部１６は、タッチセンサ４０が所定領域における接触を検出したり、所定のイベントが発生した際などに、アプリケーション実行部２０からの音声を出力する旨の指示に基づいて、所定の音声を出力するように音声出力部７０を制御する。また、音声制御部１６は、所定の音声を出力するように音声出力部７０を制御する際に、触感を呈示する旨の指示を触感制御部１４に出す。この触感を呈示する旨の指示により呈示される触感が、押圧荷重の条件を伴うものである場合、音声制御部１６は、触感制御部１４に、上述した同期情報を通知するように要求する。

図２は、図１に示した触感呈示装置１の実装構造の一例を示すもので、図２（Ａ）は要部断面図、図２（Ｂ）は要部平面図である。表示部３０は、筐体６１内に収納保持する。表示部３０上には、弾性部材からなるインシュレータ６２を介して、タッチセンサ４０を保持する。なお、本実施の形態に係る触感呈示装置１は、表示部３０およびタッチセンサ４０を、平面視で矩形状としている。しかしながら、触感呈示装置１が備えるタッチセンサ４０または表示部３０の構成などの諸条件に応じた形状とすることができる。また、触感呈示装置１は、タッチセンサ４０を、図２（Ｂ）に仮想線で示す表示部３０の表示領域Ａから外れた４隅に配設したインシュレータ６２を介して表示部３０上に保持する。

また、筐体６１には、表示部３０の表示領域から外れたタッチセンサ４０の表面領域を覆うようにアッパカバー６３を設け、このアッパカバー６３とタッチセンサ４０との間に、弾性部材からなるインシュレータ６４を配設する。なお、図２に示すタッチセンサ４０は、タッチ面４０ａを有する表面部材を、例えば透明フィルムやガラスで構成し、裏面部材をガラスやアクリルで構成している。タッチセンサ４０は、タッチ面４０ａが押圧されると、押圧部分が押圧力に応じて微少量撓む（歪む）、または構造体そのものが微少量撓む構造のものを用いる。

タッチセンサ４０の表面上には、アッパカバー６３で覆われる各辺の近傍に、タッチセンサ４０に加わる荷重（押圧力）を検出するための歪みゲージセンサ５１をそれぞれ接着等により設ける。さらに、タッチセンサ４０の裏面上には、対向する２つの辺の近傍に、タッチセンサ４０を振動させるための圧電振動子５２をそれぞれ接着等により設ける。すなわち、図２に示す触感呈示装置１は、図１に示した荷重検出部６０を４つの歪みゲージセンサ５１を用いて構成し、触感呈示部５０を、２つの圧電振動子５２を用いて構成している。そして、触感呈示部５０によりタッチセンサ４０を振動させることにより、タッチ面４０ａを振動させるようにしている。なお、図２（Ｂ）は、図２（Ａ）に示した筐体６１、アッパカバー６３およびインシュレータ６４の図示を省略している。

次に、アプリケーション実行部２０による音声を出力する旨の指示と、当該指示に応じて音声制御部１６の制御により出力される音声および触感を呈示する旨の指示との対応関係について説明する。図３は、このような対応関係を示すテーブルである。図３に示した対応関係は単なる一例であり、このような対応関係は、触感呈示装置１において実行するアプリケーションに応じて変更することもできる。

図３において、左側の列に示す「トーン識別子」とは、アプリケーション実行部２０が音声制御部１６に対して音声を出力する旨の指示を出す際に指定する音声を識別するためのものである。このトーン識別子は、所定領域においてタッチセンサ４０が検出した接触に応じて、または所定のイベントの発生により、アプリケーション実行部２０が音声制御部１６に対して出力するもの、または、アプリケーション実行部２０が音声制御部１６に対して指定するものである。なお、音声を出力する旨の指示は、例えば、このトーン識別子であってもよいし、トーン識別子を含むものであってもよいし、トーン識別子を指定するものであってもよい。図３の中央の列に示す「音の内容」とは、それぞれ対応するトーン識別子に基づいて音声制御部１６が音声出力部７０を制御することにより出力される音の具体的な内容を示している。さらに、図３の右側の列に示す「触感」とは、それぞれの「音の内容」に対応する音声を出力するように音声制御部１６が音声出力部７０を制御する際、触感制御部１４に出力される触感を呈示する旨の指示により、触感呈示部５０が呈示する触感の種別を示している。このように、図３の右側の列に示す「触感」にはそれぞれ音声を出力する旨の指示が対応付けられている。

触感呈示装置１は、図３に示すようなテーブルを、例えば音声制御部１６に一時的に記憶することができる。しかしながら、触感呈示装置１は、図３に示すようなテーブルを、アプリケーション実行部２０に一時的に記憶するようにしても良いし、あるいは、音声制御部１６またはアプリケーション実行部２０が、記憶部８０から必要に応じて読み出すようにもできる。

図３に示す触感の列において「クリック」と記してあるのは、触感呈示部５０が「クリック触感」を呈示することを意味している。なお、ここで、かっこ書に１Ｎと記載してあるのは、触感を呈示する旨の指示により呈示される触感が、押圧荷重の条件を伴うものであることを意味している。この場合、荷重検出部６０が検出する押圧荷重が１Ｎ（ニュートン）以上となったら触感を呈示するという条件が課されていることを意味する。また、触感を呈示する旨の指示により呈示される触感（音声を出力する旨の指示に対応付けられた触感）が、押圧荷重の条件を伴うものである場合における、当該押圧荷重の条件は、音声を出力する旨の指示に対応付けられた所定の基準を意味する。このように、触感を呈示する旨には、音声を出力する旨の指示に対応付けられた触感に関する情報が含まれ、場合によっては、さらに音声を出力する旨の指示に対応付けられた所定の基準に関する情報も含まれる。

また、触感の列において「ブルブル」と記してあるのは、触感呈示部５０が「ブルブル触感」、すなわち、少しの間ブルブルと振動が継続するような触感を呈示することを意味している。なお、ここではかっこ書を伴わないが、これは、触感を呈示する旨の指示により呈示される触感が、押圧荷重の条件を伴わないことを意味している。すなわち、この場合、所定領域においてタッチセンサ４０に対する接触が検出されたら、音声制御部１６は、音声出力の制御を行うとともに、触感を呈示する旨の指示を出すことを意味している。

さらに、触感の列において「無し」と記してあるのは、触感呈示部５０が触感を呈示しないことを意味している。すなわち、この場合、所定領域においてタッチセンサ４０に対する接触が検出されたら、音声出力の制御は行うが、触感を呈示する旨の指示は出さないことを意味している。

例えば、表示部３０において数字キーの「４」のオブジェクトが表示された領域に対応する位置のタッチセンサ４０に接触が検出されたとする。この場合、アプリケーション実行部２０は、表示部３０に既に表示している画面の状態を把握しているため、タッチセンサ４０から接触位置の情報が通知されると、接触が検出された位置が数字キーの「４」のオブジェクトに対応することが判定できる。すると、アプリケーション実行部２０は、実行中のアプリケーションに従って、トーン識別子TONE_KEY_4を音声制御部１６に通知する。

図３に示したように、トーン識別子TONE_KEY_4は、[4]キー用のDTMF(Dual Tone Multi Frequency)を意味する。このトーン識別子が通知されると、音声制御部１６は、[4]キー用のDTMFを出力するように音声出力部７０を制御するとともに、触感呈示部５０がクリック触感を呈示するように触感制御部１４に触感を呈示する旨の指示を出す。ただし、この触感を呈示する旨の指示を受信した触感制御部１４は、直ちにクリック触感を呈示するように制御するのではなく、荷重検出部６０が検出する押圧荷重が１Ｎを超えたと判定した際に、クリック触感を呈示するように触感呈示部５０を制御する。

また、例えば、タッチセンサ４０が検出した操作者による接触の操作に誤りがあったとする。すなわち、例えばタッチセンサ４０において操作者が本来接触すべきでない領域に接触が検出された場合などを想定する。すると、アプリケーション実行部２０は、実行中のアプリケーションに従って、トーン識別子TONE_WARNを音声制御部１６に通知する。図３に示したように、トーン識別子TONE_WARNは「警告音」を意味する。このトーン識別子が通知されると、音声制御部１６は、警告音を出力するように音声出力部７０を制御するとともに、触感呈示部５０がブルブル触感を呈示するように触感制御部１４に触感を呈示する旨の指示を出す。この場合、触感を呈示する旨の指示を受信した触感制御部１４は、荷重検出部６０が検出する押圧荷重の判定に関係なく、直ちにブルブル触感を呈示するように触感呈示部５０を制御する。

さらに、例えば、触感呈示装置１を携帯電話に採用した場合において、通話を着信したとする。すると、アプリケーション実行部２０は、実行中のアプリケーションに従って、トーン識別子TONE_RING_Aを音声制御部１６に通知する。図３に示したように、トーン識別子TONE_ RING_Aは「第１ベル音」を意味する。このトーン識別子が通知されると、音声制御部１６は、第１ベル音を出力するように音声出力部７０を制御する。この場合、音声制御部１６は、触感を呈示する旨の指示を触感制御部１４に出さない。したがって、この場合、触感呈示部５０は触感を呈示せずに、音声出力部７０は第１ベル音を出力する。

次に、本実施の形態に係る触感呈示装置の動作を説明する。

まず、本実施の形態に係る触感呈示装置１におけるアプリケーション実行部２０の動作について説明する。本実施の形態において、アプリケーション実行部２０は、実行するアプリケーションが触感の呈示に対応しているか否かにかかわらず、同じ処理により触感呈示装置１の動作を行うことができる。しかしながら、ここでは、実行するアプリケーションが触感の呈示に対応していない場合について説明する。なお、上述したように、以下の説明で用いるアプリケーションには、表示部３０に表示されたオブジェクトの画像の位置に対応するタッチセンサ４０に接触が検出された際、何らかの音声を出力する処理が付加されているものとする。

図４は、本実施の形態に係る触感呈示装置１においてアプリケーション実行部２０を中心とする動作を説明するフローチャートである。

本実施の形態に係る動作が開始すると、アプリケーション実行部２０は、まず、実行するように指定されたアプリケーションを記憶部８０のアプリケーション記憶領域８２から読み出して（ステップＳ１１）、起動する（ステップＳ１２）。アプリケーションを起動したら、アプリケーション実行部２０は、各種の初期化処理を行うことにより、初期状態となる（ステップＳ１３）。

以上の初期化処理においては、例えば、触感呈示装置１の表示部３０には、タッチセンサ４０において操作者の指などによる接触を検出する領域を示唆するため、キー等のオブジェクトの画像を表示する。この際、アプリケーション実行部２０は、ＧＵＩを構成する各オブジェクトの表示データを、記憶部８０から読み出して表示制御部１２に供給する。そして、表示制御部１２は、アプリケーション実行部２０から供給されたオブジェクトの表示データに基づいて、各オブジェクトの画像を表示（描画）するように表示部３０を制御する。

上述の初期化処理が完了すると、アプリケーション実行部２０は、タッチセンサ４０に対する接触の有無を監視する（ステップＳ１４）。ステップＳ１４においてタッチセンサ４０に対する接触が検出されたら、アプリケーション実行部２０は、当該接触が有効な接触操作であるか否かを判定する（ステップＳ１５）。すなわち、ステップＳ１５において、アプリケーション実行部２０は、タッチセンサ４０における接触の位置が、表示部３０に表示された現在のＧＵＩにおいてキー等のオブジェクトの画像が表示された領域に対応するか否かを判定する。

ステップＳ１５において、接触の位置がオブジェクトの画像が表示された領域に対応する場合、アプリケーション実行部２０は、当該接触操作に応じて、所定の表示を行う旨の指示および所定の音声を出力する旨の指示を出す（ステップＳ１６）。なお、所定の音声を出力する旨の指示とは、具体的には、図３において説明したトーン識別子である。また、所定の表示を行う旨の指示は表示制御部１２に対して、また所定の音声を出力する旨の指示は音声制御部１６に対して出力される。

表示制御部１２および音声制御部１６は、これらの指示を受信すると、それぞれ指示に応じた各種の処理および／または状態遷移を必要に応じて行う（ステップＳ１７）。なお、ステップＳ１７において、音声制御部１６が行う動作は、図５において後述する。

ステップＳ１７において、表示制御部１２は、表示されるオブジェクトの画像を変更するように表示部３０を制御する。すなわち、キー等のオブジェクトに対する接触が検出された場合、当該オブジェクトの表示画像を変更する。オブジェクトの表示画像を変更する際、例えばオブジェクトが選択されたような表示をしたり、またオブジェクトの色または輝度などを変化させたりして、キー等に対する接触が認識されたことを操作者が視認できるようにするのが好適である。アプリケーションに基づく設定に従ってオブジェクトの画像を変更するための表示データは、アプリケーション実行部２０が記憶部８０から読み出すことにより、表示制御部１２に供給することができる。この表示データを受け取ったら、表示制御部１２は、当該表示データを用いて所定の表示を行うように表示部３０を制御する。

ステップＳ１７において各種の処理が完了したら、次に、アプリケーション実行部２０は、接触操作以外の所定のイベントが発生したか否かを判定する（ステップＳ１８）。ステップＳ１４においてタッチセンサ４０が接触を検出しない場合、またステップＳ１５おいて検出された接触が有効な接触でない場合も、アプリケーション実行部２０は、ステップＳ１８以降の処理を続行する。なお、ここでいう「接触操作以外の所定のイベント」とは、例えば、設定したタイマーによってカウントされる期間が満了したり、電話機能に基づいて通話を着信したり、バッテリの残量が少なくなったなどのイベントが発生することを想定している。

ステップＳ１８において接触操作以外の所定のイベントの発生が検出された場合、アプリケーション実行部２０は、当該発生したイベントに応じて、所定の表示を行う旨の指示および所定の音声を出力する旨の指示を出す（ステップＳ１９）。なお、ここでも、所定の音声を出力する旨の指示とは、具体的には、図３において説明したトーン識別子である。また、所定の表示を行う旨の指示は表示制御部１２に対して、また所定の音声を出力する旨の指示は音声制御部１６に対して出力される。

表示制御部１２および音声制御部１６は、これらの指示を受信すると、それぞれ指示に応じた各種の処理および／または状態遷移を必要に応じて行う（ステップＳ２０）。なお、ステップＳ２０において、音声制御部１６が行う動作も、図５において後述する。

ステップＳ２０において、表示制御部１２は、表示されるオブジェクトの画像を変更するように表示部３０を制御する。すなわち、例えば通話の着信のイベントが発生した場合、表示制御部１２は、通話を着信している旨を操作者に示唆する画像表示を行うように表示部３０を制御する。

ステップＳ２０において各種の処理が完了したら、アプリケーション実行部２０は、実行中のアプリケーションを終了させるイベントが発生しているか否かを判定する（ステップＳ２１）。ステップＳ２１においてアプリケーションを終了させるイベントが発生していると判定された場合、アプリケーション実行部２０は、図４に示す処理を終了する。一方、ステップＳ２１においてアプリケーションを終了させるイベントが発生していない場合、アプリケーション実行部２０は、ステップＳ１４に戻って処理を続行する。なお、ステップＳ１８において、接触操作以外の所定のイベントの発生が検出されない場合は、アプリケーション実行部２０は、ステップＳ２１に戻って処理を続行する。

図５は、本実施の形態に係る触感呈示装置１において音声制御部１６を中心とする動作を説明するフローチャートである。

本実施の形態に係る動作が開始すると、音声制御部１６は、まず、音声を出力する旨の指示が通知されているか否かを判定する（ステップＳ３１）。ステップＳ３１においては、図４において説明したステップＳ１６またはステップＳ１９における音声を出力する旨の指示が音声制御部１６に通知されているか否かを判定する。

ステップＳ３１において音声を出力する旨の指示が通知されている場合、音声制御部１６は、通知された音声を出力する旨の指示が、触感を呈示すべき音声種別であるか否かを判定する（ステップＳ３２）。具体的には、ステップＳ３２において、音声制御部１６は、アプリケーション実行部２０から通知されたトーン識別子に対応する触感が、図３にて説明した「クリック」の触感や「ブルブル」の触感であるか、または触感が「無し」であるかを判定する。

ステップＳ３２において、通知された音声を出力する旨の指示が触感を呈示すべき音声種別である場合、音声制御部１６は、音声種別に応じて、触感を呈示する旨の指示を触感制御部１４に通知する（ステップＳ３３）。それから、音声制御部１６は、当該触感を呈示する旨の指示が、押圧荷重の条件を伴うものであるか否かを判定する（ステップＳ３４）。ステップＳ３４において、触感を呈示する旨の指示が押圧荷重の条件を伴うものである場合、音声制御部１６は、触感制御部１４に対して、同期情報を通知するよう要求する（ステップＳ３５）。この「同期情報」とは、後述するように、荷重検出部６０により検出される押圧荷重が所定の基準を満たした際に触感制御部１４から通知される情報である。

ステップＳ３５において同期情報を通知するよう要求したら、音声制御部１６は、触感制御部１４から同期情報が通知されるのを待機する（ステップＳ３６）。ステップＳ３６において触感制御部１４から同期情報が通知されたら、音声制御部１６は、指示された所定の音声を出力するように音声出力部７０を制御する（ステップＳ３７）。

一方、ステップＳ３２において、通知された音声を出力する旨の指示が触感を呈示すべき音声種別でない場合、音声制御部１６は、ステップＳ３７に移行して、指示された音声を出力するように音声出力部７０を制御する。また、ステップＳ３４において、触感を呈示する旨の指示が押圧荷重の条件を伴うものでない場合も、音声制御部１６は、ステップＳ３７に移行して、指示された音声を出力するように音声出力部７０を制御する。

すなわち、本実施の形態においては、音声制御部１６は、（アプリケーション実行部２０から）音声を出力する旨の指示を受けると、所定の音声を出力するように音声出力部７０を制御するとともに、触感を呈示する旨の指示を触感制御部１４に出すように制御する。また、本実施の形態においては、触感を呈示する旨の指示が押圧荷重の条件を伴うものである場合、音声制御部１６は、荷重検出部６０が検出する押圧荷重が所定の基準を満たした際に通知される同期情報を受信するまでは、音声を出力する制御を行わない。

したがって、本実施の形態において、押圧荷重が所定の基準を満たしていないため、操作者がタッチセンサ４０を押圧する操作が有効であると認識されておらず触感が呈示されないにもかかわらず、音声のみが音声出力部７０から出力されるという不都合は生じない。このため、操作者がタッチセンサ４０を押圧する操作がまだ触感呈示装置に有効と認識されていないにもかかわらず、（操作が有効と認識された旨の）音声のみが音声出力部７０から出力されてしまうことにより、操作者が混乱するという事態も生じない。

図６は、本実施の形態に係る触感呈示装置１において触感制御部１４を中心とする動作を説明するフローチャートである。

本実施の形態に係る動作が開始すると、触感制御部１４は、まず、音声制御部１６から、触感を呈示する旨の指示が通知されているか否かを判定する（ステップＳ５１）。ステップＳ５１においては、図５において説明したステップＳ３３における触感を呈示する旨の指示が音声制御部１６から触感制御部１４に通知されているか否かを判定する。

ステップＳ５１において音声制御部１６から触感を呈示する旨の指示が通知された場合、触感制御部１４は、当該触感を呈示する旨の指示とともに、音声制御部１６から同期情報の通知を要求されているか否かを判定する（ステップＳ５２）。ステップＳ５２における同期情報とは、図５において説明したステップＳ３５において、触感を呈示する旨の指示が押圧荷重の条件を伴うものである場合に、音声制御部１６が、触感制御部１４に対して通知を要求した情報である。

ステップＳ５２において、音声制御部１６から同期情報の通知を要求されている場合、触感制御部１４は、荷重検出部６０が検出する押圧荷重が所定の基準を満たしたか否かを監視する（ステップＳ５３）。ステップＳ５３において、触感制御部１４は、荷重検出部６０により検出される押圧荷重が、タッチセンサ４０のタッチ面に対する押圧によって増加しながら所定の基準を満たしたか否かを判定する。すなわち、ステップＳ５３においては、荷重検出部６０が検出する押圧荷重が所定の基準を満たすまで、触感の呈示は保留される。

なお、荷重検出部６０は、例えば、４つの歪みゲージセンサ５１の出力の平均値から荷重を検出する。ここで、所定の基準を満たす荷重は、操作者が通常の押圧操作を行う際の押圧荷重に基づいて、例えば１Ｎ（ニュートン）などの値を予め設定し、その後も設定変更できるようにするのが好適である。また、この基準は、操作者の意図に基づく押圧入力の際の押圧荷重を考慮して（例えば平均値など）、過度に低い基準を設定しないようにする。これは、操作者が意図せずに軽く触れてしまった（タッチ）ような場合の操作を、押圧（プッシュ）入力としては受け付けないようにするため、および後述するリアルな触感のための圧覚を操作者に与えるためである。

ステップＳ５３において、荷重検出部６０により検出される押圧荷重が所定の基準を満たしたら、触感制御部１４は、音声制御部１６に対して前述の同期信号を通知する（ステップＳ５４）。ステップＳ５４において音声制御部１６に同期信号を通知したら、触感制御部１４は、触感の種別に応じて所定の振動パターンを出力して触感呈示部５０が所定の触感を呈示するように制御する（ステップＳ５５）。なお、ステップＳ５４において触感制御部１４から音声制御部１６に通知された同期信号は、図５において説明したステップＳ３６においてトリガとなるため、次のステップＳ３７において出力される音声と、ステップＳ５５において呈示される触感とは同期する。このように同期信号を用いることにより、触感制御部１４および音声制御部１６（制御部）は、荷重検出部６０により検出される押圧荷重が音声を出力する旨の指示に対応付けられた所定の基準を満たしたら、音声を出力する旨の指示に対応付けられた触感を呈示するように触感呈示部５０を制御するとともに、所定の音声を出力するように音声出力部７０を制御することができる。

一方、ステップＳ５２において音声制御部１６から同期情報の通知が要求されていない場合、触感制御部１４は、ステップＳ５５に移行して、直ちに触感の種別に応じて所定の振動パターンを出力して触感呈示部５０が所定の触感を呈示するように制御する。

すなわち、本実施の形態においては、触感制御部１４は、触感を呈示する旨の指示に基づいて、タッチセンサ４０のタッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部５０を制御する。また、この場合において、触感制御部１４は、触感を呈示する旨の指示に基づいて、荷重検出部６０により検出される押圧荷重が所定の基準を満たしたら、タッチ面を押圧している押圧対象に対して触感を呈示するように触感呈示部５０の駆動を制御する。

なお、本実施の形態では、図３において説明したクリック触感を呈示するためには、触感呈示装置１は、操作者の圧覚が刺激された状態で触覚を刺激する。すなわち、触感呈示装置１は、タッチセンサ４０に加わる荷重が、触感を呈示する基準（例えば１Ｎ）を満たすまでは、圧覚を刺激するようにし、荷重が当該基準を満たすと、圧電振動子５２を所定の駆動信号で駆動してタッチ面４０ａを振動させて触覚を刺激する。これにより、触感呈示装置１は、押しボタンスイッチ（プッシュ式ボタンスイッチ）のようなボタンスイッチを押した際に得られるのと同様なクリック触感を、操作者に呈示することができる。したがって、操作者は、タッチセンサ上部に描画された押しボタンスイッチであっても、押しボタンスイッチを操作した場合と同様のリアルなクリック触感を得ながら、タッチセンサ４０に対して入力操作を行うことができるので、違和感を覚えることがない。また、タッチセンサ４０を「押した」という意識との連動で入力操作を行うことができるので、単なる押圧による入力ミスも防止することができる。

上述したクリック触感を呈示する際の駆動信号、すなわち触覚を刺激する一定周波数、周期（波長）、波形、振幅は、呈示するクリック触感に応じて適宜設定することができる。例えば、携帯端末に使用されているメタルドームスイッチに代表されるクリック触感を呈示する場合、例えば、１７０Ｈｚの一定周波数のＳｉｎ波からなる１周期分の駆動信号により触感呈示部５０を駆動する。このような駆動信号により触感呈示部５０を駆動させて、タッチ面４０ａを、基準の押圧荷重が加わった状態で、約１５μｍ振動させる。これにより、実際のキーをクリックした場合のような、リアルなクリック触感を操作者に呈示することができる。

このように、本発明に係る触感呈示装置１によれば、アプリケーション実行部２０からの音声を出力する旨の指示に基づいて触感を呈示する。このような構成にすることにより、触感呈示装置１は、操作者の操作に伴って、例えばボタンの表示が反転するなどのＧＵＩを備えていないアプリケーションにも対応できる。また、このような構成にすることにより、触感呈示装置１は、高度な画像解析アルゴリズムも必要としない。さらに、触感呈示装置１は、触感を呈示するタイミングに同期させて音声を出力するため、操作者が操作を行う際に違和感を与えることもない。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上述した実施の形態では、表示制御部１２と、触感制御部１４と、音声制御部１６と、アプリケーション実行部２０とは、別の構成要素として説明した。しかしながら、本発明による触感呈示装置は、このような構成に限定されるものではなく、設計の際の要求に応じて種々の構成を採ることができる。例えば、制御部が、表示制御部１２と、触感制御部１４と、音声制御部１６と、アプリケーション実行部２０の全てまたは一部の構成要素を含むようにもできる。

また、上記実施の形態では、タッチセンサ４０を用いて、当該タッチセンサのタッチ面に対する接触を検出したが、荷重センサ（荷重検出部）を用いて、所定の押圧荷重の基準を満たした場合に、接触がなされたものと判定することもできる。このような荷重検出部は、上述した実施の形態の荷重検出部と同様に、任意の個数の歪みゲージセンサ等を用いて構成することができる。

また、上述した実施の形態において、荷重検出部は、タッチセンサにおける接触検出方式に応じて構成することができる。例えば、抵抗膜方式の場合には、接触面積による抵抗変化に基づく出力信号の変化から荷重が検出できれば、歪みゲージセンサを用いることなく構成することができる。あるいは、静電容量方式の場合には、静電容量の変化に基づく出力信号の変化から荷重が検出できる場合も、歪みゲージセンサを用いることなく構成することができる。

また、触感呈示部は、任意の個数の圧電振動子を用いて構成したり、タッチセンサの全面に透明圧電素子を設けて構成したり、触感を呈示する振動を表現できるのであれば、偏心モータを駆動信号の１周期で１回転させるようにして構成したり、することもできる。さらに、荷重検出部および触感呈示部は、圧電素子を用いて構成する場合は、圧電素子を共用して荷重検出部および触感呈示部を構成することもできる。

上述した実施の形態においては、タッチセンサを表示部の上面に重ねて配置した構成を想定して説明した。しかしながら、本発明による触感呈示装置は、必ずしもこのような構成にする必要はなく、タッチセンサと表示部とを離間した構成にしてもよい。

さらに、本発明を、「発明が解決しようとする課題」の欄において説明した、表示部に表示されたオブジェクトの画像の変化に基づいて触感を呈示する構成と組み合わせれば、一層確実に適切な触感を呈示することができて好適である。

また、本発明に係る触感呈示装置は、圧電素子の出力に基づいて検出される押圧荷重が触感を呈示する所定の基準を満たした際に、当該圧電素子を駆動することを想定して説明した。ここで、圧電素子の出力に基づいて検出される押圧荷重が触感を呈示する基準を満たした際とは、検出される押圧荷重が触感を呈示する基準値に達した際であってもよいし、検出される押圧荷重が触感を呈示する基準値を超えた際でもよいし、圧電素子の出力に基づいて触感を呈示する基準値が検出された際でもよい。

また、上述した実施の形態において、触感呈示部５０がタッチ面に接触している接触対象に対して触感を呈示する態様として、触感呈示部５０がタッチセンサ４０のタッチ面に振動を発生させることにより、タッチ面に接触している接触対象に対して触感を呈示する態様を挙げて説明したが、本発明はこれに限定されず、タッチセンサ４０上に貼ったフィルムの電荷を制御する等により、機械的な振動を使わずに、タッチ面に接触している接触対象に対して触感を呈示してもよい。

また、上述の本発明の実施形態の説明における「表示部」及び「タッチセンサ」は、表示部とタッチセンサとの両機能を共通の基板に持たせる等により、一体化した装置によって構成されてもよい。このような表示部とタッチセンサとの両機能を一体化した装置の構成の一例としては、液晶パネルが有するマトリクス状配列の画素電極群に、フォトダイオード等の複数の光電変換素子を規則的に混在させたものがある。この装置は、液晶パネル構造によって画像を表示する一方で、パネル表面の所望位置をタッチ入力するペンの先端で液晶表示用のバックライトの光を反射し、この反射光を周辺の光電変換素子が受光することにより、タッチ位置を検出することができる。

１ 触感呈示装置
１０ 制御部
１２ 表示制御部
１４ 触感制御部
１６ 音声制御部
２０ アプリケーション実行部
３０ 表示部
４０ タッチセンサ
４０ａ タッチ面
５０ 触感呈示部
５１ 歪みゲージセンサ
５２ 圧電振動子
６０ 荷重検出部
６１ 筐体
６２ インシュレータ
６３ アッパカバー
６４ インシュレータ
７０ 音声出力部
８０ 記憶部

Claims (3)

1. タッチセンサと、
   前記タッチセンサのタッチ面に接触している接触対象に対して触感を呈示する触感呈示部と、
   音声出力部と、
   音声を出力する旨の指示に基づいて、所定の音声を出力するように前記音声出力部を制御する制御部と、を備え、
   前記制御部は、前記音声を出力する旨の指示に対応付けられた触感を呈示するように前記触感呈示部を制御することを特徴とする触感呈示装置。
2. タッチセンサと、
   前記タッチセンサのタッチ面に接触している接触対象に対して触感を呈示する触感呈示部と、
   前記タッチセンサのタッチ面に対する押圧荷重を検出する荷重検出部と、
   音声出力部と、
   音声を出力する旨の指示に基づいて、所定の音声を出力するように前記音声出力部を制御する制御部と、を備え、
   前記制御部は、前記荷重検出部により検出される押圧荷重が前記音声を出力する旨の指示に対応付けられた所定の基準を満たしたら、前記音声を出力する旨の指示に対応付けられた触感を呈示するように前記触感呈示部を制御することを特徴とする触感呈示装置。
3. 前記制御部は、前記荷重検出部により検出される押圧荷重が前記音声を出力する旨の指示に対応付けられた所定の基準を満たしたら、
   前記音声を出力する旨の指示に対応付けられた触感を呈示するように前記触感呈示部を制御するとともに、前記所定の音声を出力するように前記音声出力部を制御することを特徴とする請求項２に記載の触感呈示装置。

Images