JP2006040005A - 振動付与機能付きタッチパネル入力装置および操作入力に対する振動付与方法 - Google Patents

Abstract

【課題】 タッチパネルをスピーカとして使用しているときに、面倒な操作を行わなくても、ＦＦＢの振動を操作者にうまく伝えることが可能な「振動付与機能付きタッチパネル入力装置および操作入力に対する振動付与方法」を提供する。
【解決手段】 タッチパネル１３への操作者の接触に応答してフォースフィードバックを行うＦＦＢモードと、タッチパネル１３を振動させることによって音声を発生させるスピーカモードとの２つのモードを有し、スピーカモードの設定中にタッチパネル１３に指を近づけるといった操作行為が赤外線センサ１１により検出されたときに、ＣＰＵ１がＦＦＢモードへとモードの設定を自動的に変更することにより、タッチパネル１３をスピーカとして使用しているときに、タッチパネル１３とは別のハードウェアキーを操作しなくても、モードを変更してＦＦＢの振動を操作者に確実に伝えることができるようにする。
【選択図】 図１

Description

本発明は、振動付与機能付きタッチパネル入力装置および操作入力に対する振動付与方法に関し、特に、ユーザがタッチパネルを操作したときに振動を返すフォースフィードバック（ＦＦＢ）機能を有する入力装置に用いて好適なものである。

従来、液晶ディスプレイの表面にパネル状の入力操作部を設けたタッチパネル入力装置が提供されている。また、タッチパネルの画面上に表示されたスイッチに操作者が触れたときに、バイブレータにより振動を与えてスイッチの位置や種類を操作者に知らせるようにした機能、いわゆるＦＦＢ機能を搭載したタッチパネル入力装置（以下、ＦＦＢタッチパネルと言う）も提供されている（例えば、特許文献１参照）。
特開平８−２２１１７３号公報

また、液晶画面の前面にある透明パネルをスピーカとして振動させることによって音声を発生させるようにした装置（以下、パネル式スピーカと言う）も提供されている。さらに、液晶画面に向かって発話したときに当該液晶画面の前面にある透明パネルに発生する振動を伝えることによって、マイクとして音声を入力するようにした装置（以下、パネル式マイクと言う）も提供されている。

上述のＦＦＢタッチパネルとパネル式スピーカとを組み合わせた装置を構成する場合、タッチパネルを振動させてフォースフィードバックするとともに、タッチパネルを振動させて音声を発生させる仕組みとなる。ところが、この場合、タッチパネルを振動させてスピーカとして使用しているときに、タッチパネル上に表示されたスイッチを操作しても、スピーカとしての振動にＦＦＢの振動が紛れてしまい、スイッチを操作したことに対応する振動を操作者にうまく伝えることができないという問題が生じる。

また、上述のＦＦＢタッチパネルとパネル式マイクとを組み合わせた装置を構成する場合、タッチパネルを振動させてフォースフィードバックするとともに、発話に応じてタッチパネルに生じる振動を伝えることによって音声を入力する仕組みとなる。ところが、この場合、タッチパネルをマイクとして使用しているときに、タッチパネル上に表示されたスイッチを操作すると、それに応答してタッチパネルが振動し、その振動を伝えてマイクによる間違った音声入力が行われてしまうという問題が生じる。

そのため、ＦＦＢタッチパネルとパネル式スピーカとを組み合わせた装置を構成する場合には、操作入力モードとスピーカモードとを設け、ＦＦＢタッチパネルとして操作入力を行うときには、タッチパネル以外の場所に設けたハードウェアキーとしてのモード切替ボタン等を操作して、スピーカモードを一旦キャンセルして操作入力モードに設定しなければならない。

同様に、ＦＦＢタッチパネルとパネル式マイクとを組み合わせた装置を構成する場合には、操作入力モードとマイクモードとを設け、ＦＦＢタッチパネルとして操作入力を行うときには、タッチパネル以外の場所に設けたハードウェアキーとしてのモード切替ボタン等を操作して、マイクモードを一旦キャンセルして操作入力モードに設定しなければならない。

そのため、ＦＦＢタッチパネルとして操作入力を行うときには、操作者はタッチパネル以外の場所に設けたハードウェアキーを一々操作しなければならず、操作が面倒であるという問題があった。

本発明は、このような問題を解決するために成されたものであり、タッチパネルをスピーカとして使用しているときに、面倒な操作を行わなくても、ＦＦＢの振動を操作者にうまく伝えることができるようにすることを目的とする。
また、本発明は、タッチパネルをマイクとして使用しているときに、面倒な操作を行わなくても、ＦＦＢの振動をもとに間違った音声入力が行われる不都合を回避できるようにすることを目的とする。

上記した課題を解決するために、本発明では、赤外線センサ、熱センサ、モーションセンサ、タッチパネルのタッチセンサなどを用いて、スピーカモードまたはマイクモードの設定中にタッチパネルに対する操作行為が行われたか否かを検出し、これらのセンサによって操作行為が行われたことを検出したときに、スピーカモードまたはマイクモードから操作入力モードへとモードの設定を変更するようにしている。

本発明の他の態様では、赤外線センサ、熱センサ、モーションセンサ、タッチパネルのタッチセンサなどを用いて、タッチパネルに対する操作行為が行われたか否かを検出し、これらのセンサによって操作行為が行われたことを検出したときに、音声発生のための振動がＦＦＢのための振動よりも小さくなるようにしている。

本発明の他の態様では、赤外線センサ、熱センサ、モーションセンサ、タッチパネルのタッチセンサなどを用いて、タッチパネルに対する操作行為が行われたか否かを検出し、これらのセンサによって操作行為が行われたことを検出したときに、発生させる音声が持つ周波数帯域の中から、ＦＦＢのための振動に使用する周波数帯域を除去するようにしている。

上記のように構成した本発明によれば、タッチパネルに対して操作者が指を近づけるなどの操作行為を行うと、センサによってその操作行為が検出され、スピーカモードまたはマイクモードから操作入力モードへと自動的にモードが切り替えられる。これにより、タッチパネルをスピーカまたはマイクとして使用しているときに、タッチパネルとは別のハードウェアキーを操作するといった面倒な操作を一々行わなくても、スピーカモードまたはマイクモードから操作入力モードへと容易に移行させることができる。したがって、タッチパネルをスピーカとして使用しているときに、面倒な操作を行わなくても、ＦＦＢの振動を操作者にうまく伝えることができる。また、タッチパネルをマイクとして使用しているときに、面倒な操作を行わなくても、ＦＦＢの振動をもとに間違った音声入力が行われてしまう不都合を回避することもできる。

本発明の他の特徴によれば、タッチパネルに対して操作者が指を近づけるなどの操作行為を行うと、センサによってその操作行為が検出され、音声発生によるタッチパネルの振動よりもＦＦＢによる振動の方が強くなるように調整される。これにより、タッチパネルをスピーカとして使用しているときに、タッチパネルとは別のハードウェアキーを操作するといった面倒な操作を一々行わなくても、ＦＦＢの振動を操作者にうまく伝えることができる。

本発明の他の特徴によれば、タッチパネルに対して操作者が指を近づけるなどの操作行為を行うと、センサによってその操作行為が検出され、発生させる音声が持つ周波数帯域の中から、ＦＦＢの振動で使う周波数帯域が除去される。これにより、発生音声によるタッチパネルの振動と、ＦＦＢによるタッチパネルの振動とが明確に区別されることとなる。したがって、タッチパネルをスピーカとして使用しているときに、タッチパネルとは別のハードウェアキーを操作するといった面倒な操作を一々行わなくても、ＦＦＢの振動を操作者にうまく伝えることができる。

（第１の実施形態）
以下、本発明による第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による振動付与機能付きタッチパネル入力装置の構成例を示すブロック図である。また、図２は、図１中に示されるＣＰＵ１が持つ機能構成例を示すブロック図である。また、図３は、図１中に示される赤外線センサ１１の配置例を示す図である。

図１に示すように、第１の実施形態による振動付与機能付きタッチパネル入力装置は、ＣＰＵ１、ＲＯＭ２、ＲＡＭ３およびディスプレイユニット４を備えて構成されている。また、ディスプレイユニット４は、赤外線センサ１１、表示パネル１２、タッチパネル１３および振動制御部１４を備えて構成されている。

ＣＰＵ１は、振動付与機能付きタッチパネル入力装置の全体の処理を制御する。その制御の内容については、図２を用いて後述する。ＲＯＭ２は、ＣＰＵ１が行う各種処理に関するプログラムを記憶する。ＲＡＭ３は、ＣＰＵ１による各種処理の過程で得られるデータや、各種処理の結果得られるデータを一時的に格納する。すなわち、ＣＰＵ１は、ＲＯＭ２に記憶されている各種プログラムに従って、ＲＡＭ３をワークメモリとして用いながら、後述する各種処理を行う。

表示パネル１２は、複数の操作項目を含む操作メニューや、本実施形態の振動付与機能付きタッチパネル入力装置が適用される電子機器のアプリケーションとして利用される各種コンテンツ画像などを表示するものである。タッチパネル１３は、表示パネル１２に表示された操作メニュー中の操作項目に対するユーザの操作を受け付けるものである。タッチパネル１３上の任意の位置がユーザにより触れられると、タッチパネル１３は、接触検出信号をＣＰＵ１に出力する。ここで、タッチパネル１３をユーザが触れたか否かを検出するためには、例えば抵抗膜方式や赤外線方式等が使用される。

振動制御部１４は、ＣＰＵ１からの指示に従って、タッチパネル１３を振動させるものである。本実施形態では、ユーザがタッチパネル１３に触れたときにその応答としてタッチパネル１３を振動させる操作入力モード（ＦＦＢモード）と、タッチパネル１３をスピーカとして振動させることによって当該タッチパネル１３から音声を発生させるスピーカモードとの２つのモードを有している。振動制御部１４は、これら２つのモードにおいて、タッチパネル１３を振動させるための制御を実行する。

赤外線センサ１１は、タッチパネル１３に対するユーザの所定の操作行為を検出するための構成素子であり、例えば図３のように、複数の赤外線発光部１１ａと複数の赤外線受光部１１ｂとにより構成されている。これら複数の赤外線発光部１１ａは、タッチパネル１３が取り付けられるディスプレイ筐体１５の少なくとも一辺（図３の例では直行する２辺）に沿って設けられる。また、複数の赤外線受光部１１ｂは、複数の赤外線発光部１１ａが設けられた辺に対向する辺に沿って、当該複数の赤外線発光部１１ａと対向する位置に設けられる。

ディスプレイ筐体１５の四辺は、表示パネル１２およびタッチパネル１３を保持する額縁１６となっている。図３（ａ）に示すように、額縁１６はある程度の深さを有しており、その底側に表示パネル１２およびタッチパネル１３が保持されている。一方、複数の赤外線発光部１１ａおよび赤外線受光部１１ｂは、額縁１６の先端側に埋め込まれている。タッチパネル１３の表面から赤外線センサ１１までの距離は、例えば１０ｍｍ程度である。

次に、ＣＰＵ１の機能構成を図２に基づいて説明する。図２に示すように、ＣＰＵ１は、その機能構成として、操作行為検出部２１、表示制御部２２、タッチ制御部２３、モード設定部２４およびスピーカ制御部２５を備えている。表示制御部２２は、表示パネル１２に対する操作メニューや各種コンテンツ画像などの表示を制御するものである。

タッチ制御部２３は、ユーザにより触れられたタッチパネル１３上の座標を検出し、接触された位置の座標情報を得る。ＣＰＵ１は、検出された座標上に表示されている操作項目がユーザによって押されたと判断し、その操作項目にあらかじめ割り当てられている処理を実行する。タッチ制御部２３はまた、タッチパネル１３がユーザにより触れられたことに対する応答として、所定の周波数の振動をタッチパネル１３に与えるために、振動付与の指示信号を振動制御部１４に出力する。

スピーカ制御部２５は、本実施形態の振動付与機能付きタッチパネル入力装置が適用される電子機器の音源部から供給される音声信号をもとに、その音声に対応する周波数の振動をタッチパネル１３に与えるために、振動付与の指示信号を振動制御部１４に出力する。

操作行為検出部２１は、赤外線センサ１１から供給される信号に基づいて、タッチパネル１３に対するユーザの操作行為を検出する。ここで検出するユーザの操作行為とは、ユーザがタッチパネル１３に触れるために指をタッチパネル１３に近づける行為を言う。具体的には、赤外線発光部１１ａより発光される赤外線がユーザの指によって遮断されたときに、タッチパネル１３に対する操作行為が行われたと判断する。

すなわち、ユーザがタッチパネル１３に指を近づけると、赤外線発光部１１ａより発光される赤外線がユーザの指によって遮断されて赤外線受光部１１ｂに届かず、赤外線受光部１１ｂから操作行為検出部２１に出力される信号に変化が生じる。操作行為検出部２１は、この信号の変化があったときに、タッチパネル１３に対する操作行為が行われたと判断する。この操作行為検出部２１および赤外線センサ１１によって本発明の操作検出部が構成される。

モード設定部２４は、上述した操作入力モードとスピーカモードとの何れかにモードを設定する。操作入力モードでは、スピーカ制御部２５による振動の発生は禁止され、タッチ制御部２３による振動（ＦＦＢ）の発生のみが許可される。逆に、スピーカモードでは、タッチ制御部２３による振動（ＦＦＢ）の発生は禁止され、スピーカ制御部２５による振動の発生のみが許可される。

このモード設定部２４は、本実施形態の振動付与機能付きタッチパネル入力装置が適用される電子機器が備える操作子（リモコンなど）の操作に応じて、何れかのモードに設定する。また、モード設定部２４は、スピーカモードの設定中に操作行為検出部２１によりタッチパネル１３に対する操作行為が検出されたときは、操作入力モードに自動的に切り替える。

次に、上記のように構成した本実施形態による振動付与機能付きタッチパネル入力装置の動作を説明する。図４は、第１の実施形態による操作入力に対する振動付与方法の処理手順を示すフローチャートである。図４において、まず、モード設定部２４は、スピーカモードに設定されているか否かを判定する（ステップＳ１）。スピーカモードに設定されている場合、モード設定部２４は、操作行為検出部２１によってタッチパネル１３に対する操作行為が検出されたか否かを判定する（ステップＳ２）。

ここで、操作行為が行われていないときは、ステップＳ１に戻り、ステップＳ１およびステップＳ２の処理を繰り返す。この繰り返し処理の間、電子機器の音源部からスピーカ制御部２５に音声信号が供給されれば、その音声信号に従って振動制御部１４がタッチパネル１３に振動を与え、タッチパネル１３から音声を出力する。一方、ステップＳ２で操作行為が行われたと判断した場合、モード設定部２４は、モードの設定をスピーカモードから操作入力モードに切り替える（ステップＳ３）。

そして、スピーカモードから操作入力モードに切り替えられた後に、タッチ制御部２３は、ユーザがタッチパネル１３に触れたか否かを判定する（ステップＳ４）。なお、ステップＳ１でスピーカモードに設定されていない、つまり、図示しない操作子の操作などによって最初から操作入力モードに設定されていた場合は、ステップＳ２，Ｓ３の処理は行わずにステップＳ４にジャンプし、ユーザがタッチパネル１３に触れたか否かをタッチ制御部２３により判定する。

ここで、タッチパネル１３へのユーザの接触が検出されたときは、その応答としてタッチパネル１３を振動させるべく、タッチ制御部２３は振動制御部１４に振動付与の指示信号を出力する。この指示信号を受け取った振動制御部１４は、所定の周波数でタッチパネル１３を振動させることにより、タッチパネル１３に対する操作が行われたことをユーザに知らせる（ステップＳ５）。

その後、モード設定部２４は、操作入力モードに切り替えてから所定の時間（例えば、５秒）が経過したか否かを判定する（ステップＳ６）。所定時間が経過していなければ、ステップＳ４に戻り、ステップＳ４，Ｓ５の処理を繰り返す。一方、所定の時間が経過したら、モード設定部２４はモードの設定を操作入力モードからスピーカモードに切り替える（ステップＳ７）。スピーカモードから操作入力モードに切り替えてからタッチパネル１３に対する操作が何ら行われずに所定時間が経過した場合も、スピーカモードに戻す。そして、ステップＳ１に戻って以上の処理を繰り返し実行する。

図５は、図４のフローチャートに示した動作を表示画面例と共に示す状態遷移図である。図５において、初期状態では、モード設定部２４によってスピーカモードに設定されているものとする。スピーカモードでは、図５（ａ）のように、表示パネル１２にスピーカの画像が表示されており、タッチパネル１３が振動して音声を発生している。この状態で、図５（ｂ）のようにユーザがタッチパネル１３に指を近づけていき、図５（ｃ）のように赤外線発光部１１ａから発光された赤外線が指で遮られると、操作行為検出部２１によってユーザの操作行為が検出される。

操作行為検出部２１によりユーザの操作行為が検出されると、モード設定部２４によってスピーカモードから操作入力モードに切り替えられる。この操作入力モードでは、図５（ｄ）に示すように、電子機器に用意されている操作メニューのトップ画面が表示される。または、前回スピーカモードに移行する直前に表示されていた状態をＲＡＭ３や図示しない不揮発性メモリなどに記憶しておき、その状態の画面（ラストモード画面と言う）が表示されるようにしても良い。

この操作入力モードにおいて、ユーザは、任意の操作項目を操作することによって、対応するアプリケーション処理の実行を指示することができる。ここで、スピーカモードから操作入力モードに移行した後、例えば５秒間は操作入力モードに設定されている。そして、５秒の経過後に再びスピーカモードに切り替えられる。ユーザの操作行為が検出されてから５秒間は操作入力モードが維持されるので、タッチパネル１３から一旦指を離しても、直ちにスピーカモードの表示に戻ることはなく、操作項目に対する操作を行うことが可能である。

実際に、ユーザがタッチパネル１３上の任意の操作項目を操作すると、振動制御部１４がタッチパネル１３を所定の周波数で振動させ、タッチパネル１３に対する操作が行われたことをユーザにフォースフィードバックする。そして、ユーザの操作行為が検出されてから５秒が経過すると、モード設定部２４によって操作入力モードからスピーカモードに切り替えられ、図５（ａ）のような表示状態に戻る。

以上詳しく説明したように、第１の実施形態では、赤外線センサ１１を用いて、スピーカモードの設定中にタッチパネル１３に対するユーザの操作行為が行われたか否かを検出し、操作行為が行われたことを検出したときに、スピーカモードから操作入力モードへとモードの設定を自動的に変更するようにしている。これにより、タッチパネル１３をスピーカとして使用しているときに、タッチパネル１３とは別のハードウェアキーを一々操作しなくても、スピーカモードから操作入力モードへと容易に移行させ、音声の発生を中止することができる。したがって、タッチパネル１３をスピーカとして使用しているときに、ユーザが面倒な操作を行わなくても、ＦＦＢの振動をユーザにうまく伝えることが可能となる。

（第２の実施形態）
次に、本発明による第２の実施形態を図面に基づいて説明する。第２の実施形態による振動付与機能付きタッチパネル入力装置の構成は、図１に示したブロック図と同様である。図６は、図１中に示されるＣＰＵ１が持つ第２の実施形態による機能構成例を示すブロック図である。また、図１中に示される赤外線センサ１１の配置は、図３と同様である。

図２に示すように、第２の実施形態によるＣＰＵ１は、その機能構成として、操作行為検出部２１、表示制御部２２、タッチ制御部２３、モード設定部２６およびマイク制御部２７を備えている。モード設定部２６およびマイク制御部２７以外の機能構成は、図２に示したものと同様なので、ここでは重複する説明を省略する。

第２の実施形態では、ユーザがタッチパネル１３に触れたときにその応答としてタッチパネル１３を振動させる操作入力モード（ＦＦＢモード）と、ユーザがタッチパネル１３に向かって発話したときに当該タッチパネル１３に発生する振動を伝えることによって音声を入力するマイクモードとの２つのモードを有している。第２の実施形態において、図１の振動制御部１４は、ＦＦＢモードが設定されているときに、タッチパネル１３を振動させるための制御を実行する。

図６において、マイク制御部２７は、ユーザがタッチパネル１３に向かって発話したときに当該タッチパネル１３に発生する振動を音声情報に変えて、本実施形態の振動付与機能付きタッチパネル入力装置が適用される電子機器が備える音声処理部（図示せず）に出力する。

モード設定部２６は、上述した操作入力モードとマイクモードとの何れかにモードを設定する。操作入力モードでは、マイク制御部２７による振動発生に基づく音声入力は禁止され、タッチ制御部２３による振動（ＦＦＢ）の発生のみが許可される。逆に、マイクモードでは、タッチ制御部２３による振動（ＦＦＢ）の発生は禁止され、マイク制御部２７による振動発生に基づく音声入力のみが許可される。

このモード設定部２６は、本実施形態の振動付与機能付きタッチパネル入力装置が適用される電子機器が備える操作子（リモコンなど）の操作に応じて、何れかのモードに設定する。また、モード設定部２６は、マイクモードの設定中に操作行為検出部２１によりタッチパネル１３に対する操作行為が検出されたときは、操作入力モードに自動的に切り替える。

次に、上記のように構成した本実施形態による振動付与機能付きタッチパネル入力装置の動作を説明する。図７は、第２の実施形態による操作入力に対する振動付与方法の処理手順を示すフローチャートである。図７において、まず、モード設定部２６は、マイクモードに設定されているか否かを判定する（ステップＳ１１）。マイクモードに設定されている場合、モード設定部２６は、操作行為検出部２１によってタッチパネル１３に対する操作行為が検出されたか否かを判定する（ステップＳ１２）。

ここで、タッチパネル１３に対する操作行為が行われていないときは、ステップＳ１１に戻り、ステップＳ１１およびステップＳ１２の処理を繰り返す。この繰り返し処理の間、ユーザがタッチパネル１３に向けて発話をすると、タッチパネル１３が振動し、その振動がマイク制御部２７によって音声に変えられて、電子機器に入力される。一方、ステップＳ１２で操作行為が行われたと判断した場合、モード設定部２６は、モードの設定をマイクモードから操作入力モードに切り替える（ステップＳ１３）。

そして、マイクモードから操作入力モードに切り替えられた後に、タッチ制御部２３は、ユーザがタッチパネル１３に触れたか否かを判定する（ステップＳ１４）。なお、ステップＳ１１でマイクモードに設定されていない、つまり、図示しない操作子の操作などによって最初から操作入力モードに設定されていた場合は、ステップＳ１２，Ｓ１３の処理は行わずにステップＳ１４にジャンプし、ユーザがタッチパネル１３に触れたか否かをタッチ制御部２３により判定する。

ここで、タッチパネル１３へのユーザの接触が検出されたときは、その応答としてタッチパネル１３を振動させるべく、タッチ制御部２３は振動制御部１４に振動付与の指示信号を出力する。この指示信号を受け取った振動制御部１４は、所定の周波数でタッチパネル１３を振動させることにより、タッチパネル１３に対する操作が行われたことをユーザに知らせる（ステップＳ１５）。

その後、モード設定部２６は、操作入力モードに切り替えてから所定の時間（例えば、５秒）が経過したか否かを判定する（ステップＳ１６）。所定時間が経過していなければ、ステップＳ１４に戻り、ステップＳ１４，Ｓ１５の処理を繰り返す。一方、所定の時間が経過したら、モード設定部２６はモードの設定を操作入力モードからマイクモードに切り替える（ステップＳ１７）。マイクモードから操作入力モードに切り替えてからタッチパネル１３に対する操作が何ら行われずに所定時間が経過した場合も、マイクモードに戻す。そして、ステップＳ１１に戻って以上の処理を繰り返し実行する。

図８は、図７のフローチャートに示した動作を表示画面例と共に示す状態遷移図である。図８において、初期状態では、モード設定部２６によってマイクモードに設定されているものとする。マイクモードでは、図８（ａ）のように、表示パネル１２にマイクの画像が表示されており、タッチパネル１３の振動を伝えて電子機器に音声を入力している。この状態で、図８（ｂ）のようにユーザがタッチパネル１３に指を近づけていき、図８（ｃ）のように赤外線発光部１１ａから発光された赤外線が指で遮られると、操作行為検出部２１によってユーザの操作行為が検出される。

操作行為検出部２１によりユーザの操作行為が検出されると、モード設定部２６によってマイクモードから操作入力モードに切り替えられる。この操作入力モードでは、図８（ｄ）に示すように、電子機器に用意されている操作メニューのトップ画面が表示される。または、前回マイクモードに移行する直前に表示されていた状態をＲＡＭ３や図示しない不揮発性メモリなどに記憶しておき、その状態のラストモード画面が表示されるようにしても良い。

この操作入力モードにおいて、ユーザは、任意の操作項目を操作することによって、対応するアプリケーション処理の実行を指示することができる。ここで、マイクモードから操作入力モードに移行した後、例えば５秒間は操作入力モードに設定されている。そして、５秒の経過後に再びマイクモードに切り替えられる。ユーザの操作行為が検出されてから５秒間は操作入力モードが維持されるので、タッチパネル１３から一旦指を離しても、直ちにマイクモードの表示に戻ることはなく、操作項目に対する操作を行うことが可能である。

実際に、ユーザがタッチパネル１３上の任意の操作項目を操作すると、振動制御部１４がタッチパネル１３を所定の周波数で振動させ、タッチパネル１３に対する操作が行われたことをユーザにフォースフィードバックする。そして、ユーザの操作行為が検出されてから５秒が経過すると、モード設定部２４によって操作入力モードからマイクモードに切り替えられ、図８（ａ）のような表示状態に戻る。

以上詳しく説明したように、第２の実施形態では、赤外線センサ１１を用いて、マイクモードの設定中にタッチパネル１３に対するユーザの操作行為が行われたか否かを検出し、操作行為が行われたことを検出したときに、マイクモードから操作入力モードへとモードの設定を自動的に変更するようにしている。これにより、タッチパネル１３をマイクとして使用しているときに、タッチパネル１３とは別のハードウェアキーを一々操作しなくても、マイクモードから操作入力モードへと容易に移行させ、音声入力を中止することができる。したがって、タッチパネル１３をマイクとして使用しているときに、ユーザが面倒な操作を行わなくても、ＦＦＢの振動をもとに間違った音声入力が行われてしまう不都合を回避することができる。

（第３の実施形態）
次に、本発明による第３の実施形態を図面に基づいて説明する。第３の実施形態による振動付与機能付きタッチパネル入力装置の構成は、図１に示したブロック図と同様である。図９は、図１中に示されるＣＰＵ１が持つ第３の実施形態による機能構成例を示すブロック図である。また、図１中に示される赤外線センサ１１の配置は、図３と同様である。

図９に示すように、第３の実施形態によるＣＰＵ１は、その機能構成として、操作行為検出部２１、表示制御部２２、タッチ制御部２３、スピーカ制御部２５および音量調整部２８を備えている。音量調整部２８以外の機能構成は、図２に示したものと同様なので、ここでは重複する説明を省略する。

第３の実施形態では、上述した操作入力モード（ＦＦＢモード）やスピーカモードのモード設定は行わない。第３の実施形態において、図１の振動制御部１４は、タッチパネル１３をスピーカとして使用するときも、ＦＦＢのために使用するときも、タッチパネル１３を振動させるための制御を実行する。すなわち、振動制御部１４は、タッチパネル１３へのユーザの接触が検出されたときにはその応答としてタッチパネル１３を振動させる。また、タッチパネル１３をスピーカとして用いるときには、発生させる音声に応じた周波数でタッチパネル１３を振動させる。

音量調整部２８は、本実施形態の振動付与機能付きタッチパネル入力装置が適用される電子機器が備える操作子（リモコンなど）の操作に応じて、ユーザの好みの音量を設定する。この音量調整部２８はまた、タッチパネル１３を振動させることによって音声を発生させている最中に、操作行為検出部２１によりタッチパネル１３に対する操作行為が検出されたときに、スピーカ制御部２５によって発生させる音声のボリュームを下げることによって、音声発生のための振動がＦＦＢのための振動よりも小さくなるように調整する。

次に、上記のように構成した本実施形態による振動付与機能付きタッチパネル入力装置の動作を説明する。図１０は、第３の実施形態による操作入力に対する振動付与方法の処理手順を示すフローチャートである。図１０において、まず、音量調整部２８は、操作行為検出部２１によってタッチパネル１３に対する操作行為が検出されたか否かを判定する（ステップＳ２１）。

ここで、タッチパネル１３に対する操作行為が行われていないときは、ステップＳ２１の処理を繰り返す。この繰り返し処理の間、電子機器の音源部からスピーカ制御部２５に音声信号が供給されれば、その音声信号に従って振動制御部１４がタッチパネル１３に振動を与え、タッチパネル１３から音声を出力する。このとき出力される音声の音量は、電子機器の図示しない操作子の操作によって設定されている。すなわち、スピーカ制御部２５は、操作子の操作によって音量調整部２８により設定されている音量に応じた大きさの振動を与えるような指示信号を振動制御部１４に出力する。振動制御部１４は、与えられた指示信号に従ってタッチパネル１３に振動を与える。

一方、ステップＳ２１で操作行為が行われたと判断した場合、音量調整部２８は、発生させる音声のボリュームを下げることによって、音声を発生させるためにタッチパネル１３に与える振動が、タッチパネル１３へのユーザの接触に対するフォースフィードバックのために与える振動よりも小さくなるように調整する（ステップＳ２２）。なお、元々設定されているボリュームが小さくて、音声発生のための振動がフォースフィードバックのための振動よりも既に小さくなっている場合は、そのボリュームを維持する。

そして、発生音声のボリュームを下げた後に、タッチ制御部２３は、ユーザがタッチパネル１３に触れたか否かを判定する（ステップＳ２３）。ここで、タッチパネル１３へのユーザの接触が検出されたときは、その応答としてタッチパネル１３を振動させるべく、タッチ制御部２３は振動制御部１４に振動付与の指示信号を出力する。この指示信号を受け取った振動制御部１４は、所定の周波数でタッチパネル１３を振動させることにより、タッチパネル１３に対する操作が行われたことをユーザに知らせる（ステップＳ２４）。このときＦＦＢとして与えられる振動の大きさは、音声を発生させるための振動よりも大きくなっている。

その後、音量調整部２８は、ボリュームを下げてから所定の時間（例えば、５秒）が経過したか否かを判定する（ステップＳ２５）。所定時間が経過していなければ、ステップＳ２３に戻り、ステップＳ２３，Ｓ２４の処理を繰り返す。一方、所定の時間が経過したら、音量調整部２８は発生音声のボリュームを元に戻す（ステップＳ２６）。ボリュームを下げてからタッチパネル１３に対する操作が何ら行われずに所定時間が経過した場合も、ボリュームを元に戻す。そして、ステップＳ２１に戻って以上の処理を繰り返し実行する。

以上詳しく説明したように、第３の実施形態では、赤外線センサ１１を用いてタッチパネル１３に対する操作行為が行われたか否かを検出し、操作行為が行われたことを検出したときに、発生させる音声のボリュームを下げることによって、音声発生のための振動がＦＦＢのための振動より小さくなるようにしている。これにより、タッチパネル１３に対してユーザが指を近づけるなどの操作行為を行うと、赤外線センサ１１によってその操作行為が検出され、発生中の音声のボリュームが自動的に下げられ、音声発生によるタッチパネル１３の振動よりもＦＦＢによる振動の方が強くなる。これにより、タッチパネル１３をスピーカとして使用しているときに、タッチパネル１３とは別のハードウェアキーを一々操作しなくても、ＦＦＢの振動をユーザにうまく伝えることができる。

なお、ここでは発生音声のボリュームを下げることによって発生音声による振動を小さくする例について説明したが、音声の発生中にタッチパネル１３に対する操作が行われたときに、ＦＦＢによる振動を通常よりも大きくするようにしても良い。また、発生音声による振動を小さくし、かつ、ＦＦＢによる振動を通常より大きくするようにしても良い。

（第４の実施形態）
次に、本発明による第４の実施形態を図面に基づいて説明する。第４の実施形態による振動付与機能付きタッチパネル入力装置の構成は、図１に示したブロック図と同様である。図１１は、図１中に示されるＣＰＵ１が持つ第４の実施形態による機能構成例を示すブロック図である。また、図１中に示される赤外線センサ１１の配置は、図３と同様である。

図１１に示すように、第４の実施形態によるＣＰＵ１は、その機能構成として、操作行為検出部２１、表示制御部２２、タッチ制御部２３、フィルタ部２９およびスピーカ制御部３０を備えている。フィルタ部２９およびスピーカ制御部３０以外の機能構成は、図２に示したものと同様なので、ここでは重複する説明を省略する。

第４の実施形態では、上述した操作入力モード（ＦＦＢモード）やスピーカモードのモード設定は行わない。第４の実施形態において、図１の振動制御部１４は、タッチパネル１３をスピーカとして使用するときも、ＦＦＢのために使用するときも、タッチパネル１３を振動させるための制御を実行する。すなわち、振動制御部１４は、タッチパネル１３へのユーザの接触が検出されたときにはその応答としてタッチパネル１３を振動させる。また、タッチパネル１３をスピーカとして用いるときには、発生させる音声に応じた周波数でタッチパネル１３を振動させる。

フィルタ部２９は、タッチパネル１３を振動させることによって音声を発生させている最中に、操作行為検出部２１によりタッチパネル１３に対する操作行為が検出されたときに、発生させる音声が持つ周波数帯域の中から、ユーザの接触に対するフォースフィードバックのために使用する振動の周波数帯域を除去する。タッチパネル１３に対する操作行為が行われていないときは、フィルタ部２９は、上述のような周波数帯域除去処理は行わず、発生させる音声が持つ周波数帯域の全てをスピーカ制御部３０に出力する。

スピーカ制御部３０は、電子機器の音源部からフィルタ部２９を通して供給される音声信号をもとに、その音声に対応する周波数の振動をタッチパネル１３に与えるために、振動付与の指示信号を振動制御部１４に出力する。

次に、上記のように構成した本実施形態による振動付与機能付きタッチパネル入力装置の動作を説明する。図１２は、第４の実施形態による操作入力に対する振動付与方法の処理手順を示すフローチャートである。図１２において、まず、フィルタ部２９は、操作行為検出部２１によってタッチパネル１３に対する操作行為が検出されたか否かを判定する（ステップＳ３１）。

ここで、タッチパネル１３に対する操作行為が行われていないときは、ステップＳ２１の処理を繰り返す。この繰り返し処理の間、電子機器の音源部からフィルタ部２９を介してスピーカ制御部３０に音声信号が供給されれば、その音声信号に従って振動制御部１４がタッチパネル１３に振動を与え、タッチパネル１３から音声を出力する。このとき出力される音声は、フィルタ部２９においてフィルタリング処理が施されておらず、与えられた周波数帯域の全てを含むものである。

一方、ステップＳ３１で操作行為が行われたと判断した場合、フィルタ部２９は、電子機器の音源部から供給される音声信号に対してフィルタリング処理を行うことによって、発生させる音声が持つ周波数帯域の中から、ユーザの接触に対するフォースフィードバックのために使用する振動の周波数帯域を除去する（ステップＳ３２）。

そして、発生音声のフィルタリング処理を行った後に、タッチ制御部２３は、ユーザがタッチパネル１３に触れたか否かを判定する（ステップＳ３３）。ここで、タッチパネル１３へのユーザの接触が検出されたときは、その応答としてタッチパネル１３を振動させるべく、タッチ制御部２３は振動制御部１４に振動付与の指示信号を出力する。この指示信号を受け取った振動制御部１４は、所定の周波数でタッチパネル１３を振動させることにより、タッチパネル１３に対する操作が行われたことをユーザに知らせる（ステップＳ３４）。このときＦＦＢとして与えられる振動の周波数は、発生音声の周波数帯域中には含まれていない。

その後、フィルタ部２９は、フィルタリング処理を開始してから所定の時間（例えば、５秒）が経過したか否かを判定する（ステップＳ３５）。所定時間が経過していなければ、ステップＳ３３に戻り、ステップＳ３３，Ｓ３４の処理を繰り返す。一方、所定の時間が経過したら、フィルタ部２９はフィルタリング処理を中止する（ステップＳ３６）。フィルタリング処理を開始してからタッチパネル１３に対する操作が何ら行われずに所定時間が経過した場合も、フィルタリング処理を中止する。そして、ステップＳ３１に戻って以上の処理を繰り返し実行する。

以上詳しく説明したように、第４の実施形態では、赤外線センサ１１を用いてタッチパネル１３に対する操作行為が行われたか否かを検出し、操作行為が行われたことを検出したときに、発生させる音声が持つ周波数帯域の中から、ＦＦＢのための振動に使用する周波数帯域を除去するようにしている。これにより、発生音声によるタッチパネル１３の振動と、ＦＦＢによるタッチパネル１３の振動とが明確に区別されることとなる。したがって、タッチパネル１３をスピーカとして使用しているときに、タッチパネル１３とは別のハードウェアキーを一々操作しなくても、ＦＦＢの振動を操作者にうまく伝えることができる。

なお、上記第１〜第４の実施形態では、操作検出部の構成要素として赤外線センサ１１を用いる例について説明しているが、可視光線やマイクロ波などの他の電磁波を用いたセンサであっても良い。なお、このセンサの配置の関係上、当該センサから発光される電磁波が表示パネル１２の前面を横切ることから、可視光線を用いるよりも赤外線やマイクロ波を用いた方が好ましい。

また、上記第１〜第４の実施形態では、赤外線センサ１１の構成として、赤外線発光部１１ａと赤外線受光部１１ｂとの組み合わせから成るものを用いる例について説明したが、この例に限定されない。例えば、赤外線受光部１１ｂだけを用いてユーザの操作行為を検出することも可能である。温度を持つ人間の体は、その温度に応じた波長分布をもって赤外線を微量に放出している。したがって、ユーザが指をタッチパネル１３に近づけたときに生じる赤外線の変化を赤外線受光部１１ｂで検出することにより、ユーザの操作行為を検出することができる。なお、この場合に用いる赤外線受光部１１ｂは、波長帯域が広い熱型赤外線センサでも良いし、検出感度が高い量子型赤外線センサでも良い。

また、赤外線センサ１１の代わりに、ユーザの指からの熱放射を検出する熱センサを用いても良い。すなわち、ユーザが指をタッチパネル１３に近づけたときに生じる温度の変化を熱センサで検出することにより、ユーザの操作行為を検出することができる。具体的には、タッチパネル１３の近傍に設けた熱センサによりタッチパネル１３付近の温度上昇が検出されたときに、タッチパネル１３に対する操作行為が行われたと判断する。

また、赤外線センサ１１の代わりに、空間上における物体の３次元的な動きを検出するモーションセンサを用いても良い。このモーションセンサは、例えば、空間上における物体の３次元的な位置を検出する３次元イメージセンサと、当該３次元イメージセンサより随時出力される位置情報の変化を見ることによって物体の３次元的な動きを検出する動き検出部とを備えて構成される。動き検出部の機能構成は、ＣＰＵ１によって実現することが可能である。

モーションセンサを用いる場合は、空間上においてユーザが所定の動き（例えば、ユーザの指などの指示物が、タッチパネル１３の所定の座標範囲内で所定の速度以上でタッチパネル１３に近づく動き）をしたことが検出されたときに、タッチパネル１３に対する操作行為が行われたと判断する。このようなモーションセンサを用いれば、タッチパネル１３の直近だけでなく、少し離れた位置での操作行為も検出することが可能である。よって、この場合はユーザ操作の利便性を向上させることができる。

なお、モーションセンサは、上述した３次元イメージセンサを用いた構成に限定されるものではない。例えば、３軸分のジャイロと加速度センサと磁気センサとを組み合わせてモーションセンサを構成し、そのモーションセンサを備えてポインティングデバイスを構成する。そして、ユーザがそのポインティングデバイスを操作したときに検出される回転量、傾き量、方位の絶対値をもとに所定の動きをしたかどうかを検出し、所定の動きがあったときに、タッチパネル１３に対する操作行為が行われたと判断するようにしても良い。

また、赤外線センサ１１を用いる代わりに、タッチパネル１３に付随して設けられているタッチセンサ（図示せず）を用いても良い。この場合は、タッチセンサによりタッチパネル１３に対する接触が検出されたときに、タッチパネル１３に対する操作行為が行われたと判断する。

このようにタッチセンサを操作検出部の構成要素として用いる技術を第１の実施形態および第２の実施形態に適用する場合、タッチパネル１３に対する１回目の接触でモードを切り替え（この時点でフォースフィードバックは行わない）、２回目以降の接触からフォースフィードバックするのが好ましい。１回目の接触時にはまだスピーカモードまたはマイクモードに設定されているので、スピーカモードでフォースフィードバックしてもユーザに振動がうまく伝わらず、マイクモードでフォースフィードバックすると誤った音声入力が行われてしまうことになるからである。

これに対して、タッチセンサを操作検出部の構成要素として用いる技術を第３の実施形態および第４の実施形態に適用する場合、タッチパネル１３に対する１回目の接触からフォースフィードバックすることが可能である。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明は、タッチパネルを操作したときに振動を返すフォースフィードバック機能と、タッチパネルをスピーカとして振動させることによって音声を発生させる機能またはタッチパネルに向かって発話したときに当該タッチパネルに発生する振動を伝えることによってマイクとして音声を入力する機能とを備えた入力装置に有用である。

第１の実施形態による振動付与機能付きタッチパネル入力装置の構成例を示すブロック図である。 第１の実施形態によるＣＰＵが持つ機能構成例を示すブロック図である。 赤外線センサの配置例を示す図である。 第１の実施形態による操作入力に対する振動付与方法の処理手順を示すフローチャートである。 図４のフローチャートに示した動作を表示画面例と共に示す状態遷移図である。 第２の実施形態によるＣＰＵが持つ機能構成例を示すブロック図である。 第２の実施形態による操作入力に対する振動付与方法の処理手順を示すフローチャートである。 図７のフローチャートに示した動作を表示画面例と共に示す状態遷移図である。 第３の実施形態によるＣＰＵが持つ機能構成例を示すブロック図である。 第３の実施形態による操作入力に対する振動付与方法の処理手順を示すフローチャートである。 第４の実施形態によるＣＰＵが持つ機能構成例を示すブロック図である。 第４の実施形態による操作入力に対する振動付与方法の処理手順を示すフローチャートである。

符号の説明

１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ ディスプレイユニット
１１ 赤外線センサ
１１ａ 赤外線発光部
１１ｂ 赤外線受光部
１２ 表示パネル
１３ タッチパネル
１４ 振動制御部
２１ 操作行為検出部
２２ 表示制御部
２３ タッチ制御部
２４ モード設定部
２５ スピーカ制御部
２６ モード設定部
２７ マイク制御部
２８ 音量調整部
２９ フィルタ部
３０ スピーカ制御部

Claims (23)

1. 表示パネルに表示された操作項目に対する操作を受け付けるタッチパネルと、
   上記タッチパネルを振動させる振動制御部と、
   上記タッチパネルへの操作者の接触が検出されたときに上記振動制御部により上記タッチパネルを振動させる操作入力モードと、上記振動制御部により上記タッチパネルを振動させることによって音声を発生させるスピーカモードとの何れかにモードを設定するモード設定部と、
   上記タッチパネルに対する操作行為を検出する操作検出部とを備え、
   上記モード設定部は、上記スピーカモードの設定中に上記操作検出部により上記タッチパネルに対する操作行為が検出されたときに、上記操作入力モードに切り替えることを特徴とする振動付与機能付きタッチパネル入力装置。
2. 表示パネルに表示された操作項目に対する操作を受け付けるタッチパネルと、
   上記タッチパネルを振動させる振動制御部と、
   上記タッチパネルへの操作者の接触が検出されたときに上記振動制御部により上記タッチパネルを振動させる操作入力モードと、上記タッチパネルに向かって発話したときに上記タッチパネルに発生する振動を伝えることによって音声を入力するマイクモードとの何れかにモードを設定するモード設定部と、
   上記タッチパネルに対する操作行為を検出する操作検出部とを備え、
   上記モード設定部は、上記マイクモードの設定中に上記操作検出部により上記タッチパネルに対する操作行為が検出されたときに、上記操作入力モードに切り替えることを特徴とする振動付与機能付きタッチパネル入力装置。
3. 表示パネルに表示された操作項目に対する操作を受け付けるタッチパネルと、
   上記タッチパネルへの操作者の接触が検出されたときに上記タッチパネルを振動させるとともに、上記タッチパネルを振動させることによって音声を発生させるように制御する振動制御部と、
   上記タッチパネルに対する操作行為を検出する操作検出部とを備え、
   上記振動制御部は、上記タッチパネルを振動させることによって音声を発生させている最中に、上記操作検出部により上記タッチパネルに対する操作行為が検出されたときに、音声発生のための振動が、操作者の接触に対するフィードバックのための振動よりも小さくなるようにすることを特徴とする振動付与機能付きタッチパネル入力装置。
4. 表示パネルに表示された操作項目に対する操作を受け付けるタッチパネルと、
   上記タッチパネルへの操作者の接触が検出されたときに上記タッチパネルを振動させるとともに、上記タッチパネルを振動させることによって音声を発生させるように制御する振動制御部と、
   上記タッチパネルに対する操作行為を検出する操作検出部とを備え、
   上記振動制御部は、上記タッチパネルを振動させることによって音声を発生させている最中に、上記操作検出部により上記タッチパネルに対する操作行為が検出されたときに、操作者の接触に対するフィードバックのための振動に使用する周波数帯域を除いた振動によって音声を発生させることを特徴とする振動付与機能付きタッチパネル入力装置。
5. 上記操作検出部は、上記タッチパネルの近傍に設けられた赤外線センサを備えて構成されることを特徴とする請求項１〜４の何れか１項に記載の振動付与機能付きタッチパネル入力装置。
6. 上記赤外線センサは、上記タッチパネルが取り付けられる筐体の少なくとも一辺に沿って設けられた複数の赤外線発光部と、上記少なくとも一辺に対向する辺に沿って設けられた複数の赤外線受光部とにより構成され、上記操作検出部は、上記赤外線発光部より発光される赤外線が操作者によって遮断されたときに、上記タッチパネルに対する操作行為が行われたと判断することを特徴とする請求項５に記載の振動付与機能付きタッチパネル入力装置。
7. 上記操作検出部は、上記タッチパネルの近傍に設けられる熱センサを備えて構成され、上記熱センサにより上記タッチパネル付近の温度上昇が検出されたときに、上記タッチパネルに対する操作行為が行われたと判断することを特徴とする請求項１〜４の何れか１項に記載の振動付与機能付きタッチパネル入力装置。
8. 上記操作検出部は、空間上における物体の３次元的な動きを検出するモーションセンサを備えて構成され、上記空間上において操作者が所定の動きをしたことが検出されたときに、上記タッチパネルに対する操作行為が行われたと判断することを特徴とする請求項１〜４の何れか１項に記載の振動付与機能付きタッチパネル入力装置。
9. 上記モーションセンサは、上記空間上における物体の３次元的な位置を検出する３次元イメージセンサと、上記３次元イメージセンサより随時出力される位置情報の変化を見ることによって上記物体の３次元的な動きを検出する動き検出部とを備えて構成されることを特徴とする請求項８に記載の振動付与機能付きタッチパネル入力装置。
10. 上記操作検出部は、上記タッチパネルに付随して設けられているタッチセンサを備えて構成され、上記タッチセンサにより上記タッチパネルに対する接触が検出されたときに、上記タッチパネルに対する操作行為が行われたと判断することを特徴とする請求項１〜４の何れか１項に記載の振動付与機能付きタッチパネル入力装置。
11. タッチパネルを振動させることによって音声を発生させるスピーカモードが設定されているか否かを判定する第１のステップと、
    上記第１のステップで上記スピーカモードの設定が検出されたときに、上記タッチパネルに対する操作行為を検出する第２のステップと、
    上記第２のステップで上記操作行為が検出されたときに、上記タッチパネルに操作者が接触したときにその応答として上記タッチパネルを振動させる操作入力モードに切り替える第３のステップと、
    上記第３のステップで上記操作入力モードに切り替えられた後に、上記タッチパネルへの操作者の接触を検出する第４のステップと、
    上記第４のステップで上記タッチパネルへの操作者の接触が検出されたときに、その応答として上記タッチパネルを振動させる第５のステップとを有することを特徴とする操作入力に対する振動付与方法。
12. タッチパネルに向かって発話したときに上記タッチパネルに発生する振動を伝えることによって音声を入力するマイクモードが設定されているか否かを判定する第１のステップと、
    上記第１のステップで上記マイクモードの設定が検出されたときに、上記タッチパネルに対する操作行為を検出する第２のステップと、
    上記第２のステップで上記操作行為が検出されたときに、上記タッチパネルに操作者が接触したときにその応答として上記タッチパネルを振動させる操作入力モードに切り替える第３のステップと、
    上記第３のステップで上記操作入力モードに切り替えられた後に、上記タッチパネルへの操作者の接触を検出する第４のステップと、
    上記第４のステップで上記タッチパネルへの操作者の接触が検出されたときに、その応答として上記タッチパネルを振動させる第５のステップとを有することを特徴とする操作入力に対する振動付与方法。
13. タッチパネルに対する操作行為を検出する第１のステップと、
    上記第１のステップで上記操作行為が検出されたときに、音声を発生させるための上記タッチパネルの振動が、上記タッチパネルへの操作者の接触に対するフィードバックのための振動よりも小さくなるように調整する第２のステップと、
    上記第２のステップで調整された振動量で、音声を発生させるとともに、上記タッチパネルへの操作者の接触に対する応答として上記タッチパネルを振動させる第３のステップとを有することを特徴とする操作入力に対する振動付与方法。
14. タッチパネルに対する操作行為を検出する第１のステップと、
    上記第１のステップで上記操作行為が検出されたときに、発生させる音声が持つ周波数帯域の中から、操作者の接触に対するフィードバックのための振動に使用する周波数帯域を除去する第２のステップと、
    上記第２のステップで除去された周波数帯域以外の周波数帯域で音声を発生させるとともに、上記タッチパネルへの操作者の接触に対する応答として上記タッチパネルを振動させる第３のステップとを有することを特徴とする操作入力に対する振動付与方法。
15. 上記第２のステップでは、上記タッチパネルの近傍に設けられた赤外線センサを用いて、受光信号に変化が生じたか否かをみることによって、上記タッチパネルに対する操作行為が行われたか否かを検出することを特徴とする請求項１１または１２に記載の操作入力に対する振動付与方法。
16. 上記第１のステップでは、上記タッチパネルの近傍に設けられた赤外線センサを用いて、受光信号に変化が生じたか否かをみることによって、上記タッチパネルに対する操作行為が行われたか否かを検出することを特徴とする請求項１３または１４に記載の操作入力に対する振動付与方法。
17. 上記第２のステップでは、上記タッチパネルの近傍に設けられた熱センサを用いて、上記タッチパネル付近の温度が上昇したか否かをみることによって、上記タッチパネルに対する操作行為が行われたか否かを検出することを特徴とする請求項１１または１２に記載の操作入力に対する振動付与方法。
18. 上記第１のステップでは、上記タッチパネルの近傍に設けられた熱センサを用いて、上記タッチパネル付近の温度が上昇したか否かをみることによって、上記タッチパネルに対する操作行為が行われたか否かを検出することを特徴とする請求項１３または１４に記載の操作入力に対する振動付与方法。
19. 上記第２のステップでは、空間上における物体の３次元的な動きを検出するモーションセンサを用いて、上記空間上において操作者が所定の動きをしたか否かをみることによって、上記タッチパネルに対する操作行為が行われたか否かを検出することを特徴とする請求項１１または１２に記載の操作入力に対する振動付与方法。
20. 上記第１のステップでは、空間上における物体の３次元的な動きを検出するモーションセンサを用いて、上記空間上において操作者が所定の動きをしたか否かをみることによって、上記タッチパネルに対する操作行為が行われたか否かを検出することを特徴とする請求項１３または１４に記載の操作入力に対する振動付与方法。
21. 上記第２のステップでは、上記タッチパネルに付随して設けられているタッチセンサを用いて、上記タッチパネルに対する接触が行われたか否かをみることによって、上記タッチパネルに対する操作行為が行われたか否かを検出することを特徴とする請求項１１または１２に記載の操作入力に対する振動付与方法。
22. 上記第１のステップでは、上記タッチパネルに付随して設けられているタッチセンサを用いて、上記タッチパネルに対する接触が行われたか否かをみることによって、上記タッチパネルに対する操作行為が行われたか否かを検出することを特徴とする請求項１３または１４に記載の操作入力に対する振動付与方法。
23. 上記第３のステップでは、上記第１のステップで行われた上記タッチパネルへの接触に対する応答として上記タッチパネルを振動させることを特徴とする請求項２２に記載の操作入力に対する振動付与方法。

Images