JP2013508808A - タッチの衝撃強度を決定するためのマイクロフォンを有するタッチインタフェース - Google Patents

Abstract

【解決手段】計算装置は、ユーザがタッチ入力領域にタッチしたときに、タッチ入力領域の位置座標を取得する。計算装置は、ユーザがタッチ入力領域にタッチしたときに、音声センサから音声信号を更に取得する。ユーザのタッチの衝撃強度が、音声信号に基づいて決定される。計算装置は、決定された衝撃強度に関連付けられたアクションを実行する。
【選択図】図２Ａ

Description

本発明は、一般に、タッチインタフェースに関し、とくに、タッチインタフェースにタッチするユーザのタッチ入力の強度を検出することに関する。

ユーザが現代的な計算装置と相互作用することを可能とするために、多数の異なる入力装置が利用される。携帯装置においてよく利用される入力装置の一つに、タッチパッド（又はタッチスクリーン）がある。タッチパッドは、ユーザの指の動き及び位置を追跡し、動き及び位置をディスプレー上の相対位置に変換するユーザインタフェース装置である。タッチパッドは、カーソルの移動及びディスプレー上のアイテムの選択などの機能を実行するために使用することができる。

タッチパッドは、異なる複数の検知技術を用いて実現することができる。最も一般的な検知技術は、指の容量を検知する。しかし、容量の検知を利用するタッチパッドは、ユーザのタッチ（タップを含む）の衝撃強度を区別することができない。容量センサタッチパッドは、例えば、強いタップも弱いタップも、単にタップとして登録する。

計算装置とともに用いることが可能な別の入力装置として、仮想キーボードプロジェクタがある。仮想キーボードプロジェクタは、表面（一般には平面）上に仮想キーボードを投影するプロジェクタを含む。仮想キーボードプロジェクタは、更に、ユーザが投影されたキーの上に指を移動させたときに、ユーザの指を追跡するカメラを含む。仮想キーボードにおける一つの問題は、カメラは、仮想キーボードが投影された表面にいつ指が実際に触れたのかを検出することができないことである。したがって、例えば、同一のキーを繰り返して選択したことを検出することは困難である。

本発明は、添付の図面に関連した下記の説明を参照することにより、最も良く理解されうる。

図１Ａは、本発明の一つの実施の形態にしたがって、タッチパッド及びマイクロフォンを含むラップトップコンピュータを示す図である。 図１Ｂは、本発明の一つの実施の形態にしたがって、タッチスクリーン及びマイクロフォンを含む携帯装置を示す図である。 図１Ｃは、本発明の一つの実施の形態にしたがって、タッチ入力領域を提供するプロジェクタ／カメラを含むデスクトップコンピュータを示す図である。 図２Ａは、本発明の一つの実施の形態にしたがって、ユーザのタッチの衝撃強度を決定するためにホスト計算装置により利用可能な電子装置の例を示す図である。 図２Ｂは、本発明の一つの実施の形態にしたがって、音声分析部の構成要素を示すブロック図を示す図である。 図３Ａは、本発明の一つの実施の形態にしたがって、グリッドに分割されたタッチ入力領域の例を示す図である。 図３Ｂは、本発明の一つの実施の形態にしたがって、２つの時点における、図３Ａに示したタッチ入力領域の例を示す図である。 図３Ｃは、本発明の一つの実施の形態にしたがって、高い衝撃強度を有するユーザのタッチ及び低い衝撃強度を有するユーザのタッチについて、タッチが最初に検出されたときと完全に検出されたときとの間の期間の例を示す図である。 図４Ａは、本発明の一つの実施の形態にしたがって、ユーザがタッチ入力領域を高い衝撃強度でタップするときに生成される音響波を示す図である。 図４Ｂは、本発明の一つの実施の形態にしたがって、ユーザがタッチ入力領域を中間の衝撃強度でタップするときに生成される音響波を示す図である。 図４Ｃは、本発明の一つの実施の形態にしたがって、ユーザがタッチ入力領域を低い衝撃強度でタップするときに生成される音響波を示す図である。 図５は、タッチ入力領域におけるユーザのタップを検出する方法の一つの実施の形態のフロー図を示す図である。 図６は、タッチ入力領域におけるユーザのタップを検出する方法の別の実施の形態のフロー図を示す図である。 図７は、タッチ入力領域におけるユーザのタップを検出する方法の更に別の実施の形態のフロー図を示す図である。 図８Ａは、音声分析部及び／又は音声センサの工場較正を実行する方法の一つの実施の形態のフロー図を示す。 図８Ｂは、本発明の一つの実施の形態にしたがって、減衰ゾーンを含む、図３Ａに示したタッチ入力領域の例を示す図である。 図９は、ユーザ較正を実行する方法の一つの実施の形態のフロー図を示す図である。 図１０は、ユーザ較正を実行する方法の別の実施の形態のフロー図を示す図である。 図１１は、カメラ／プロジェクタのタッチ入力領域とともに使用する音声分析部及び／又は音声センサを較正する方法の一つの実施の形態のフロー図を示す図である。 図１２は、本明細書で説明した任意の１以上の方法をマシンに実行させるためのコンピュータシステムの例示的な形式でマシンの概略的表現を示す図である。

本明細書では、ユーザがタッチ入力領域に触れたときに、ユーザのタッチの衝撃強度を決定するための方法及び装置について説明する。一つの実施の形態において、電子装置は、ユーザがタッチ入力領域にタッチしたときに、タッチ入力領域の位置座標を決定する。タッチ入力領域は、タッチパッド、タッチスクリーン、投影されたキーボード、又は他のタッチ入力領域であってもよい。電子装置は、ユーザがタッチ入力領域にタッチしたときに、音声センサから音声信号を更に取得する。電子装置は、ユーザのタッチの衝撃強度を決定するために音声信号を用いる。例えば、静かな音声信号は、低い衝撃強度（弱いタップ）に関連付けられてもよく、より大きな音声信号は、高い衝撃強度（強いタップ）に関連付けられてもよい。電子装置は、決定された衝撃強度に関連付けられたコマンドを生成する。ホスト計算装置は、コマンドに基づいて１以上のアクションを実行してもよい。例えば、弱いタップにより、アイコンを選択し、強いタップにより、アイコンに関連付けられたアプリケーションを実行してもよい。

下記の説明においては、特定の数値的な詳細が示される。しかしながら、本発明が、これらの特定の詳細なしに実施されることが可能であることは、当業者には明らかである。いくつかの例において、本発明を不明瞭にするのを避けるために、詳細よりもむしろ、既知の構造及び装置がブロック図の形で示される。

下記の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビット上の演算のアルゴリズム及び記号表現の観点から示される。これらのアルゴリズムの記述及び表現は、その成果を最も効果的に他の当業者に伝えるために、データ処理の分野の当業者により用いられる手段である。アルゴリズムは、本明細書において、及び一般的に、所望の結果を達成する自己矛盾のない一連のステップであると理解されている。ステップは、物理量の必要な物理操作である。通常、必然的ではないが、これらの量は、格納され、送信され、結合され、比較され、及びその他の操作を受けることが可能な電気的又は磁気的信号の形式をとる。これらの信号を、ビット、値、要素、記号、文字、項、数などと呼ぶことが、主に共通の使用のために、時に便利であることが立証されている。しかし、これら及び類似の全ての語は、適切な物理量に関連付けられ、単にこれらの量に適用される便利なラベルに過ぎないことに留意されるべきである。

本発明は、また、本明細書の手順を実行するための装置に関する。この装置は、要求される目的のために特別に構築されてもよいし、コンピュータに格納されたコンピュータプログラムにより選択的に作動された又は再構成された汎用コンピュータを備えてもよい。一つの実施の形態において、本明細書の手順を実行するための装置は、携帯型ゲームコンソール（例えば、ソニープレイステーションポータブル（登録商標）、ニンテンドーＤＳ（登録商標）など）を含む。または、装置は、ラップトップコンピュータ、キーボードプロジェクタ、携帯電話、ＰＤＡ（personal digital assistant）、タッチパッドが設けられたキーボード、タッチスクリーンモニタなどであってもよい。さらに、装置は、ホスト計算装置の構成要素である、又はホスト計算装置に接続された電子装置であってもよい。ホスト計算装置は、携帯型ゲームコンソール、ラップトップコンピュータ、ＰＤＡ、携帯電話、携帯型音楽プレイヤーなどであってもよい。

図１Ａ−１Ｃは、本発明の実施の形態に係る、様々なタッチ入力を含む３つの計算装置を示す。図１Ａは、タッチパッド１１０及びマイクロフォン１１５を含むラップトップコンピュータ１０５を示す。タッチパッド１１０は、検出された指の動きを、ディスプレー１２０に表示されたカーソルの制御入力に変換してもよい。一つの実施の形態において、マイクロフォン１１５は、ユーザがタップ又は他の方法でタッチパッド１１０に接触したときに生成される音響波を検出する。ラップトップコンピュータ１０５は、検出された音響波に基づいて、ユーザのタッチの強度を決定してもよいし、タッチの強度及び／又はディスプレー１２０内のポインタの位置に基づいて、１以上のアクションを実行してもよい。例えば、ポインタがディスプレー１２０に表示されたアイコンの上に位置しているときに、弱いタップが検出されると、アイコンが選択されてもよい。他方、ポインタがアイコンの上に位置しているときに、強いタップが検出されると、アイコンに関連付けられたアプリケーションが実行されてもよい。

図１Ｂは、タッチスクリーン１３０及びマイクロフォン１３５を含む携帯装置１２５を示す。携帯装置１２５は、携帯型ゲームコンソール、携帯電話、ＰＤＡ、タブレットコンピュータなどであってもよい。タッチスクリーン１３０は、スクリーン上の指又は他のオブジェクト（例えばスタイラス）の位置及び動きを検出可能な表示装置である。タッチパッドと異なり、タッチスクリーン１３０は、画面に表示された画像にユーザが直接相互作用することを可能とする。マイクロフォン１３５は、タッチスクリーン１３０に対するユーザのタップの衝撃強度を検出することができる。携帯装置１２５は、検出されたユーザのタップの衝撃強度及び／又は位置を、１以上のアクションを実行するために用いてもよい。

一つの実施の形態において、携帯装置２１５は、両側にタッチスクリーンを備える。したがって、携帯装置１２５の裏側（図示せず）は、追加のタッチ入力領域を含んでもよい。裏側のタッチ入力領域に対するユーザのタッチの、検出された衝撃強度に基づいて、追加のアクションが実行されてもよい。

図１Ｃは、タッチ入力領域１４５を提供するプロジェクタ／カメラ１４２を含むデスクトップコンピュータ１４０を示す。プロジェクタ／カメラ１４２は、平面上のタッチ入力領域１４５内に仮想キーボードを投影することができる。プロジェクタ／カメラ１４２は、ユーザの指が仮想キーの上に移動されたとき、適切なキーの押下を検出し、登録することができる。プロジェクタ／カメラ１４２は、デスクトップコンピュータ１４０のディスプレー１５５上のカーソルを制御するためにユーザが指を移動させる矩形のタッチ領域を更に投影してもよい。

従来の仮想キーボードプロジェクタにおける一つの問題は、指の位置しか検出できないことである。このような従来の仮想キーボードプロジェクタは、仮想キーボードが投影されている平面に指が実際に触れている瞬間を検出することができない。したがって、一つの実施の形態において、マイクロフォン１５０がプロジェクタ／カメラ１４２に物理的に取り付けられ、又は含まれる。または、マイクロフォン１５０は、プロジェクタ／カメラ１４２及びデスクトップコンピュータ１４０から分離され、タッチ入力領域１４５の近傍に配置されてもよい。一つの実施の形態において、マイクロフォンは、プロジェクタ／カメラ１４２に、例えば、ブルートゥース（登録商標）、ワイファイ（WiFi）、ジグビー（Zigbee（登録商標））などを介して無線接続される。別の実施の形態において、マイクロフォン１５０は、例えば、ユニバーサルシリアルバス（USB）接続、ファイアワイア（IEEE 1394）接続、又は他の有線接続を介して接続される。または、マイクロフォン１５０は、デスクトップコンピュータ１４０に有線又は無線接続を介して接続されてもよい。

タッチ入力領域１４５が投影された平面に指が触れたとき、音響波が生成される。マイクロフォン１５０は、この音響波を検出し、キー押下に対応するタップイベントが検出されたことをプロジェクタ／カメラ１４２又はデスクトップコンピュータ１４０に通知する。例えば、ユーザが投影されたキーの上に指を置き、投影されたキーの位置でタッチ入力領域１４５をタップするまで、キーコマンドは登録されなくてもよい。

一つの実施の形態において、マイクロフォン１５０により検出された音響波の強度は、ユーザがタッチ入力領域１４５をタップした強度を決定するために用いられる。強度の異なるタップは、異なるコマンドに関連付けられてもよい。例えば、投影されたキーの位置における強いタップは、デスクトップコンピュータにより小文字のキーと認識されてもよく、他方、投影されたキーの位置における強いタップは、デスクトップコンピュータ１４０により大文字と認識されてもよい。

マイクロフォン１５０がタッチ入力領域１４５に対してどこに配置されるかは、マイクロフォン１５０により取得される音声入力信号に影響を与えうる。したがって、一つの実施の形態において、ユーザは、タッチ入力領域１４５の内部又は近傍の特定の位置にマイクロフォン１５０を配置するよう要求される。例えば、図示するように、ユーザは、タッチ入力領域の左下隅にマイクロフォン１５０を配置するよう要求されてもよい。それに代えて、又はそれに加えて、ユーザは、マイクロフォン１５０（又はマイクロフォンから取得した信号を分析する音声分析部）を較正するための簡単なキャリブレーションを実行するよう要求されてもよい。マイクロフォン１５０（又は音声分析部）の較正は、タッチ入力領域１４５内の要求された位置において１回のタップを実行することを含んでもよい。または、ユーザは、タッチ入力領域１４５内の複数の位置においてタップを実行するよう要求されてもよい。マイクロフォン（又は音声分析部）の較正については、図１１を参照して、後で詳述する。

図２Ａは、本発明の一つの実施の形態にしたがって、音声センサ（例えば、マイクロフォン）により実行された測定に基づいて、ユーザのタップの強度を決定するために、ホスト計算装置により利用可能な電子装置２０５の例を示す。電子装置２０５が接続可能なホスト計算装置の例は、携帯装置１０５、ラップトップコンピュータ１２０、及びデスクトップコンピュータ１４０を含む。電子装置２０５の機能を実行する代替の電子装置が、ユーザのタッチの強度を検出するための様々な計算装置において実装されてもよい。

電子装置２０５は、位置センサ２０２から位置座標を示す位置入力信号を取得する位置識別部２１０を含む。一つの実施の形態において、位置センサ２０２は、タッチパッド又はタッチスクリーンなどのタッチパネルである。一つの実施の形態におけるタッチパネルは、容量を測定することによりオブジェクト（例えば、指）を検出する。または、タッチパネルは、抵抗、赤外線、弾性表面波、電磁的、近接場イメージング、その他の技術など、別の検出原理により動作するよう構成されてもよい。別の実施の形態において、位置センサ２０２は、例えば、仮想キーボードの位置を光学的に追跡するカメラを含む。他の接触に基づく入力機構が用いられてもよい。

位置識別部２１０は、ユーザが指又は他のオブジェクトを位置センサ２０２の接触感知入力領域内に置いたときに、入力信号を取得する。位置識別部２１０は、位置座標を決定するために、位置入力信号を解釈する。位置座標は、制御部２２０及び／又は音声分析部２１５に送られる。位置座標は、例えば、ホスト計算装置によりユーザインタフェースを操作するために用いられてもよい。

図３Ａは、本発明の一つの実施の形態にしたがって、グリッドに分割されたタッチ入力領域３００の例を示す。タッチ入力領域３００は、図２Ａの位置センサ２０２に対応してもよい。一つの実施の形態において、グリッドは、容量性のタッチパッドにおいて、容量センサ要素の配列の行（例えば、行１〜１１）及び列（例えば、列Ａ〜Ｋ）を示す。容量センサにより検出される容量は、センサに対する伝導性オブジェクト（例えば、指）の近さの関数として変化する。伝導性オブジェクトの近さ又は動きに起因して、センサ配列のそれぞれのセンサにより検出される容量の変化が測定されうる。容量センサ要素は、例えば、弛張発振器、電流電圧位相シフト比較、抵抗器−コンデンサ充電タイミング、容量ブリッジ分割、電荷移動、シグマ−デルタ変調、電荷蓄積回路など、様々な技術を用いて容量をっそくていするように構成されてもよい。

センサ配列のうちの、どの行及びどの列のセンサ要素が伝導性オブジェクトを検出したかを特定することにより、検出されたオブジェクト３１５（例えば、指）のほぼ正確な位置を決定することができる。この情報は、位置座標を決定するために用いられてもよい。

図２Ａに戻り、一つの実施の形態において、位置識別部２１０は、ユーザのタッチの衝撃強度を算出するように構成されてもよい。位置センサ２０２は、タッチ入力領域に接触するオブジェクトの大きさを測定することができる。ユーザが指でタッチ入力領域をタップするとき、短期間に異なる複数のオブジェクトの大きさが検出されうる。ユーザの指が最初にタッチ入力領域に当たったとき、指の先が検出されるが、これはかなり小さな円として登録されうる。その後、指がタッチ入力領域に対して完全に押下されると、ユーザのタッチは、より大きな円又は楕円として登録されうる。

一つの実施の形態において、位置識別部２１０は、下側（より低い）接触しきい値及び上側（より高い）接触しきい値を含む。下側接触しきい値は、ユーザの指の先の形状及び／又は大きさを有するオブジェクトが検出されたときに満足されてもよい。上側接触しきい値は、タッチ入力領域に対して完全に押下されたときのユーザの指の大きさ及び／又は形状を有するオブジェクトが検出されたときに満足されてもよい。位置識別部２１０は、下側接触しきい値が満足されたとき及び上側接触しきい値が満足されたときの回数を記録してもよい。位置識別部２１０は、下側接触しきい値が満足されたときと上側接触しきい値が満足されたときとの間の経過時間に基づいて、ユーザのタッチの衝撃強度を決定してもよい。例えば、高い強度のタッチ、中間の強度のタッチ、及び低い強度のタッチの間で区別するために、経過時間のしきい値が用いられてもよい。位置識別部２１０は、制御部２２０に衝撃強度を通知してもよい。

図３Ｂは、２つの時点における、図３Ａに示したタッチ入力領域３０５の例を示す。第１の時点である時刻Ｔ１において、ユーザがタッチ入力領域３０５にタッチした瞬間に、ユーザの指の先３３５が検出される。第２の時点である時刻Ｔ２において、タッチ入力領域３０５に対して完全に押下されたユーザの指３５０が検出される。一つの実施の形態において、時刻Ｔ１と時刻Ｔ２との間に経過した時間が、タッチの衝撃強度を決定するために用いられる。

図３Ｃは、高い衝撃強度を有するユーザのタッチ及び低い衝撃強度を有するユーザのタッチについて、タッチが最初に検出されたとき（Ｔ１）と完全に検出されたとき（Ｔ２）との間の期間の例を示す。図示されるように、より短い期間（例えば、１マイクロ秒）は、高い衝撃強度を示唆し、より長い期間（例えば、２マイクロ秒）は、低い衝撃強度を示唆する。

図２Ａに戻り、電子装置２０５は、音声センサ２０８（例えば、マイクロフォン）から音声入力信号を取得して分析する音声分析部２１５を含む。音声分析部２１５は、取得した音声信号が、ユーザのタップの音声プロファイルに合致するか否かを判定する。一つの実施の形態において、音声分析部２１５は、ユーザのタップにより生成される音声信号と他の音声信号とを区別するように構成される。更なる実施の形態において、音声分析部２１５は、異なる衝撃強度を有するユーザのタップを区別するように構成される。

図４Ａ〜４Ｃを参照して、これらの図は、本発明の実施の形態にしたがって、ユーザがタッチ入力領域をタップすることにより生成される音響波を示す。図４Ａ〜４Ｃのそれぞれは、圧力の時間変化のグラフである。音響波は、音声センサ２０８によりピックアップされ、音響波を示す電気音声信号に変換される。

図４Ａは、ユーザがタッチ入力領域を高い衝撃強度でタップしたときに生成される音響波を示す。図４Ｂは、ユーザがタッチ入力領域を中間の衝撃強度でタップしたときに生成される音響波を示す。図４Ｃは、ユーザがタッチ入力領域を低い衝撃強度でタップしたときに生成される音響波を示す。図示されるように、ユーザが強くタッチ入力領域をタップするほど、音響波の振幅は大きくなる。さらに、強いタップほど、長時間持続する音響波を生成する。

図２Ａに戻り、音声分析部２１５は、タップを識別するため、及び、タップの衝撃強度を識別するために用いられる１以上の衝撃強度しきい値を含んでもよい。２つの衝撃強度のみが用いられる場合、音声分析部２１５は、２つの衝撃強度しきい値を含んでもよい。低い方のしきい値よりも低い音声信号は、タップジェスチャーではないと識別されてもよい。低い方のしきい値よりも高く、高い方のしきい値よりも低い音声信号は、低い衝撃強度のタップであると識別されてもよい。高い方のしきい値よりも高い音声信号は、高い衝撃強度のタップであると識別されてもよい。３つの衝撃強度が用いられる場合、タップではないジェスチャーと低い強度のタップを分離する低いしきい値と、低い強度のタップと中間の強度のタップを分離する中間のしきい値と、中間の強度のタップと高い強度のタップを分離する高いしきい値の３つのしきい値があってもよい。

一つの実施の形態において、音声分析部２１５は、図４Ａに示された音響波を、強い（高い衝撃の）タップにより生成されたと識別することができる。音声分析部は、さらに、図４Ｂに示された音響波を、中間の強度（中間の衝撃）のタップにより生成されたと識別し、図４Ｃに示された音響波を、弱い強度（低い衝撃）のタップにより生成されたと識別することができる。または、音声分析部２１５は、図４Ａ〜４Ｃのそれぞれに示された音響波を、衝撃強度を識別せずに、基本的なユーザのタップとして識別してもよい。

特定の衝撃強度を有するユーザのタッチは、タッチ入力領域のどこでタッチが行われたかに依存して、異なる音声信号を生成しうる。例えば、音声センサ２０８から離れた位置における強いタップにより生成された音声信号は、音声センサ２０８に近い位置における弱いタップにより生成された音声信号に類似しうる。したがって、一つの実施の形態において、音声分析部２１５は、位置識別部２１０から位置座標情報を取得する。音声分析部２１５は、取得した位置座標に基づいて、音声入力信号を減衰、増幅、又はその他の方法で変更してもよい。

図２Ｂは、本発明の一つの実施の形態にしたがって、音声分析部２１５の構成要素を示すブロック図を示す。一つの実施の形態において、音声分析部２１５は、音声入力信号を変更するための正規化ルックアップテーブルを含む。ルックアップテーブル２７０のそれぞれのエントリーは、単一の位置座標又は複数の位置座標及び音声入力変更値を含んでもよい。変更値は、音声信号の特定の増幅、音声信号の減衰を提供してもよいし、より複雑な音声信号の操作（例えば、音声信号の一部のみを増幅及び／又は減衰するなど）を実行してもよい。

別の実施の形態において、音声分析部２１５は、音声信号正規化モデル２７５を含む。正規化モデル２７５は、入力として位置座標を取得し、出力として増幅値を生成するアルゴリズム又は式を含んでもよい。音声分析部２１５は、決定された増幅値に基づいて音声入力信号を変更するために、正規化モデル２７５を用いてもよい。正規化モデル２７５は、例えば、増幅値又は他の変更値に基づいて、信号の形状を変更及び／又は信号を減衰することにより音声入力信号を変更するために用いられてもよい。

一つの実施の形態において、正規化モデル２７５及び／又は正規化ルックアップテーブル２７０は、音声分析部２７５の工場較正を実行するときに生成される。音声分析部２７５の工場較正は、音声センサ２０８の較正を含んでもよい。このような較正については、図１１を参照して、後に詳述する。

一つの実施の形態において、音声分析部２１５は、ユーザのタップの識別のために、取得した全ての音声入力信号を分析する。別の実施の形態において、音声分析部２１５は、位置センサ２０２がユーザのタッチを検出した旨の通知を位置識別部２１０から受けたときに、音声入力信号を分析する。一つの実施の形態において、位置識別部は、音声分析部２１５に位置座標情報を通知する。

一つの実施の形態において、音声分析部２１５は、音声入力信号をキャッシュする入力バッファ２５５を含む。したがって、位置識別部２１０が音声分析部２１５にユーザのタッチを通知する前に、音声分析部２１５によりユーザのタップに関連付けられた音声入力信号が取得された場合でも、音声入力信号は破棄されない。更なる実施の形態において、音声分析部２１５は、入力バッファ２５５に格納されたときの時刻を、取得した音声入力信号のそれぞれに記録する。位置識別部２１０が音声分析部２１５にユーザのタッチが検出された旨を通知するとき、ユーザのタッチが検出された時刻を更に通知してもよい。音声分析部２１５は、通知された時刻と合致するタイムスタンプに関連付けられた音声入力信号を入力バッファ２５５から取得してもよい。

音声センサ２０８は、位置センサ２０２によりユーザのタッチが検出されたのと同時に生成された背景ノイズを取得してもよい。一つの実施の形態において、音声分析部２１５は、音声分析部２１５が音声入力信号を分析する前に背景ノイズを除去する１以上の信号フィルタ２６０を含む。一つの実施の形態において、１以上のフィルタは、ユーザのタップにより生成された波形を有する音声入力信号を通過させる帯域フィルタである。一つの実施の形態において、少なくとも１つのフィルタ２６０は、ブラインド信号源分離又は準ブラインド信号源分離を実行する。ブラインド信号源分離は、重畳している信号の集合を、それぞれの信号の正則性を最大化し、信号間の正則性を最小化するように、別個の信号に分離する。このように、ブラインド信号源分離を実現するフィルタは、ユーザのタップにより生成された特定の波形を通過させ、他の波形をブロックすることができる。

音声分析部２１５は、音声入力信号をフィルタにかける前及び／又はフィルタにかけた後に、音声入力信号を増幅する１以上の信号増幅部２６５を含んでもよい。音声分析部２１５がハードウェアにより実装される場合、増幅部は、例えば、演算増幅器（オペアンプ）であってもよい。音声分析部２１５がソフトウェアにより実装される場合、増幅部は、増幅アルゴリズムであってもよい。

図２Ａに戻り、音声分析部２１５は、識別されたユーザのタップ及び／又は衝撃強度を制御部２２０に通知する。制御部２２０は、取得した位置座標及び取得した衝撃強度及び／又はユーザのタップの情報に基づいて、ユーザのコマンドを識別する。音声分析部２１５からユーザのタップを識別するデータを取得しない場合（例えば、しきい値よりも低い衝撃強度と判定された場合）、制御部２２０は、カーソルを移動させるための位置コマンドを生成してもよい。音声分析部によりタップが識別された場合（例えば、しきい値よりも高い衝撃強度と判定された場合）、制御部２２０は、１以上の実行、選択、又は他のコマンドを生成してもよい。

異なる衝撃強度は、異なるコマンドに関連付けられてもよい。例えば、低い衝撃強度は、第１のコマンドに関連付けられ、中間の衝撃強度は、第２のコマンドに関連付けられ、高い衝撃強度は、第３のコマンドに関連付けられてもよい。一つの実施の形態において、ユーザのタップに関連付けられた衝撃の強度は、どのコマンドを生成すべきかを判定するために用いられる。制御部２２０が、位置識別部２１０と音声分析部２１５の双方から衝撃強度の情報を取得する一つの実施の形態において、制御部２２０は、コマンドを生成する前に、２つの通知された衝撃強度の間の不一致を解決する。これについては、図７を参照して、後で詳述する。

制御部２２０は、生成されたコマンドを含む出力信号を生成し、出力信号をホスト計算装置に送ってもよい。ホスト計算装置は、取得したコマンドに基づいて、１以上のアクションを実行してもよい。

電子装置２０５は、様々な方法によってホスト計算装置と接続してもよい。一つの例示的な実施の形態において、電子装置２０５は、標準的なＰＳ／２インタフェースを介してホスト計算装置に接続される。別の例示的な実施の形態において、電子装置２０５は、ユニバーサルシリアルバス（ＵＳＢ）インタフェースを介してホスト計算装置に接続される。または、電子装置２０５は、他の工業的な標準インタフェース、例えば、アイ・スクエアド・シー（inter-integrated circuit：I²C）バス、システムパケットインタフェース（ＳＰＩ）、ＲＳ−２３２シリアル、又はブルートゥース（登録商標）などを介してホスト計算装置に接続されてもよい。

位置識別部２１０、音声分析部２１５、及び制御部２２０は、別個のコンポーネント（例えば、集積回路）又はソフトウェアコンポーネント（例えば、ソフトウェアモジュール）であってもよい。または、位置識別部２１０、音声分析部２１５、及び制御部２２０は、単一のハードウェア又はソフトウェア装置のコンポーネントであってもよい。一つの実施の形態において、位置識別部２１０、音声分析部２１５、及び制御部２２０のそれぞれは、別個のアクティブな電子部品である。または、位置識別部２１０、音声分析部２１５、及び／又は制御部２２０は、含まれるそれぞれのロジックの機能を実行することが可能な単一のアクティブな電子部品（例えば、集積回路又はマルチチップモジュール）の一部であるロジックであってもよい。アクティブな電子部品は、マイクロプロセッサ又は中央演算ユニット、コントローラ、専用プロセッサ、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field programmable gate array）などであってもよい。ロジックは、ハードウェアロジック又はソフトウェアロジックであってもよい。

図１Ａ〜２Ａを参照して、単一の音声センサ（例えば、マイクロフォン）について説明したが、計算装置及び／又は電子装置は、複数の音声センサを含んでもよい。複数の音声センサが用いられる場合、電子装置２０５は、異なる音声センサから取得した音声信号に基づいてタッチの衝撃強度を別個に計算する複数の音声分析部を含んでもよい。または、音声分析部２１５は、複数の音声センサから取得した音声信号に基づいてタッチの衝撃強度を決定してもよい。

図５は、タッチ入力領域におけるユーザのタップを検出する方法５００の一つの実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法５００は、図２Ａの電子装置２０５により実行される。

図５を参照して、方法５００のブロック５０５において、導電性オブジェクトの最初の存在が検出される。タッチ入力領域の位置座標は、ユーザがタッチ入力領域にタッチしたときに判定される。ブロック５１０において、音声信号が音声センサから取得される。

ブロック５１２において、処理ロジックは、音声信号を正規化するか否かを決定する。一つの実施の形態において、音声信号は、位置座標に基づいて、正規化モデル又はルックアップテーブルを用いて正規化される。取得した位置座標が、正規化すべき音声信号を生成する位置に対応する場合、方法はブロック５１４に進む。取得した位置座標が、そのような位置に対応しない場合、又は、処理ロジックが正規化を実行するように構成されていない場合、方法はブロック５１５に進む。

ブロック５１５において、処理ロジックは、音声信号に基づいて、ユーザのタッチの衝撃強度を決定する。音声信号が正規化されていた場合、ユーザのタッチの衝撃強度は、正規化された音声信号に基づいて決定される。ブロック５２０において、処理ロジックは、決定された衝撃強度に関連付けられた単数又は複数のコマンドを生成する。これで方法は終了する。

図６は、タッチ入力領域におけるユーザのタップを検出する方法６００の別の実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法６００は、図２Ａの電子装置２０５により実行される。

図６を参照して、方法６００のブロック６０５において、時刻Ｔ１にユーザが最初にタッチ入力領域にタッチしたときに、タッチ入力領域の位置座標が決定される。ユーザの最初のタッチは、ユーザの指の先端からであり、タッチ入力領域において小さな円として出現する。一つの実施の形態において、第１の位置座標は、第１（低い方）の接触しきい値を満たす。一つの実施の形態において、第１の接触しきい値は、ユーザの指の先の大きさ及び／又は形状に対応する第１の大きさ及び／又は形状を有するオブジェクトが検出されたときに満足される。

ブロック６１０において、時刻Ｔ２に指がタッチ入力領域に完全に押下されたときに、タッチ入力領域の第２の位置座標が取得される。ユーザの完全なタッチは、先端のみよりも大きな指の部分からであり、より大きな円又は卵形として出現する。一つの実施の形態において、第２の位置座標は、第２（高い方）の接触しきい値を満たす。一つの実施の形態において、第２の接触しきい値は、ユーザがタッチ入力領域に指を完全に押下したときの大きさ及び／又は形状に対応する第２の大きさ及び／又は形状を有するオブジェクトが検出されたときに満足される。

ブロック６１５において、処理ロジックは、時刻Ｔ１から時刻Ｔ２までの間に経過した時間を決定する。一つの実施の形態において、経過時間は、秒の小数点以下の規模である。例えば、Ｔ１とＴ２の間のデルタは、マイクロ秒のオーダーであってもよい。

ブロック６２０において、処理ロジックは、経過時間に基づいて、ユーザのタッチ（又はタップ）の衝撃強度を決定する。より短い経過時間はより高い衝撃強度を示し、より長い経過時間はより低い衝撃強度を示す。

図７は、タッチ入力領域におけるユーザのタップを検出する方法７００の更に別の実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法７００は、図２Ａの電子装置２０５により実行される。

図７を参照して、方法７００のブロック７０５において、第１の接触しきい値を満たす位置座標と第２の接触しきい値を満たす位置座標との間の経過時間に基づいて、ユーザのタッチの衝撃強度が決定される。一つの実施の形態において、方法６００は、このような決定を行うために実行される。決定された時間差が衝撃強度しきい値を下回った場合、第１の衝撃強度が決定され、時間さがしきい値を上回った場合、第２の衝撃強度が決定されてもよい。

ブロック７１０において、タッチ入力領域がタッチされたときに発生される音響波に対応する音声信号に基づいて、ユーザのタッチの衝撃強度が決定される。一つの実施の形態において、方法５００は、このような決定を行うために実行される。音声信号が衝撃強度しきい値を上回った場合、第１の衝撃強度が決定され、音声信号がしきい値を下回った場合、第２の衝撃強度が決定されてもよい。

ブロック７１５において、ブロック７０５において決定された衝撃強度と、ブロック７１０において決定された衝撃強度が比較される。両者は同一のタッチを測定しているので、理想的には、２つの衝撃強度は同じになるはずである。しかし、構成要素間の較正をしていなければ、決定された衝撃強度が異なる値をとる原因となりうる。

ブロック７２０において、処理ロジックは、異なる衝撃強度が検出されたか否かを判定する。異なる衝撃強度が検出された場合、方法はブロック７２５に進む。同一の衝撃強度が検出された場合、方法はブロック７３０に進む。

ブロック７２５において、処理ロジックは、決定された衝撃強度の間の不一致を解決する。不一致は、様々な方法で解決されうる。一つの実施の形態において、ブロック７０５において決定された衝撃強度を用いることにより不一致が解決される。または、ブロック７１０において決定された衝撃強度を用いることにより不一致が解決されてもよい。別の実施の形態において、衝撃強度を決定する根拠となった信号が再検討される。

一つの実施の形態において、衝撃強度しきい値に最も近いタッチの衝撃強度を破棄することにより不一致が解決される。例えば、ブロック７０５において決定された時間差が、衝撃強度しきい値に含まれる時間差を大きく超えており、ブロック７１０において取得された音声信号が、衝撃強度しきい値に含まれる音声信号にかなり近接していると仮定する。このような状況下においては、ブロック７０５において決定された衝撃強度が用いられてもよい。

一つの実施の形態において、それぞれの衝撃強度の算出について信頼度が生成される。最も高い信頼度（最も小さい誤差）を有する衝撃強度が正確な衝撃強度であると決定されてもよい。

ブロック７３０において、衝撃強度に関連付けられたコマンドが生成される。コマンドはホスト計算装置に送られ、ホスト計算装置は、コマンドを解釈して１以上のアクションを実行してもよい。どの単数又は複数のアクションが実行されるかは、コマンドを取得したときにカーソルが位置していた、またはその他の要因によってアクティブであったアプリケーションに依存してもよい。

タップにより生成された音声信号は、タップがタッチ入力領域のどこでなされたかに依存して変化しうる。この変化は、マイクロフォンがタッチ入力領域に対してどこに配置されているか、タッチ入力領域及びマイクロフォンのシャシーへの連結、装置に用いられている材質、反響などに依存しうる。したがって、矛盾のない結果を保証するために、タッチ入力領域を含む電子装置を較正するのが有益である。

図８Ａは、音声分析部及び／又は音声センサの工場較正を実行する方法８００の一つの実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法８００は、図２Ａの電子装置２０５により実行される。方法８００は、装置が顧客に輸送される前に、装置の製造者により実行されてもよい。

図８Ａを参照して、方法８００のブロック８０５において、タッチ入力領域の複数の位置座標において、タップが実行される。それぞれのタップは、同じタッチ強度を有することが好ましい。一つの実施の形態において、タップは機械により実行される。これにより、それぞれのタップにおいて同じタップ強度が用いられ、タッチ入力領域の特定の領域がタップされることを保証することができる。ブロック８１０において、それぞれのタップについて音声信号が測定される。同じ強度を有するタップが用いられているので、音声信号は、それぞれの位置が音声入力信号にどのような影響を与えるかを識別するために利用することができる。例えば、音声信号は、タッチ入力領域にわたる減衰パターンを識別するために利用されてもよい。

ブロック８１５において、それぞれの位置座標について、正規化値又は係数が決定される。一つの実施の形態において、位置座標は、減衰ゾーンに分割される。特定の位置座標においてタップにより生成された音声信号は、関連付けられた減衰ゾーンに基づいて正規化することができる。または、それぞれの位置座標は、独立した正規化値を割り当てられる。それぞれの正規化値は、関連付けられた位置座標から生じた音声信号が、減衰を補正するためにどのように変更されるべきかを特定する。正規化値は、位置に応じて、音声入力信号を減衰又は増幅のいずれかをさせるために用いられてもよい。

図８Ｂは、減衰ゾーン８２５〜８２９を含む、図３Ａに示したタッチ入力領域８２２の例を示す。同じ衝撃強度を有するユーザのタップは、ユーザのタップがタッチ入力領域８２２のどこで行われたかに依存して、異なる音声信号を生成しうる。例えば、座標Ｂ４における高い衝撃のユーザのタップは、座標Ｅ１０における同じ高さの衝撃のユーザのタップとは異なる音声入力信号を生じうる。したがって、一つの実施の形態において、タッチ入力領域８２２は、異なる減衰ゾーン８２５〜８２９に分割される。音声入力信号は、ユーザのタッチ８２４が検出された減衰ゾーンに基づいて、増幅され、減衰され、又は他の方法で変更されてもよい。例えば、減衰ゾーン８２５においてユーザのタップにより生成された音声信号は、変更されずに維持されてもよく、減衰ゾーン８２６においてユーザのタップにより生成された音声信号は、わずかに増幅されてもよい。一つの実施の形態において、マイクロフォン８５０から遠い減衰ゾーンほど、音声信号が強く増幅される。例えば、座標４Ｉにおいて検出されたタッチ８２４に関連付けられた音声信号は、中程度に増幅されてもよい。

ユーザがタッチ入力領域とどのように相互作用するかは、ユーザによって異なりうる。例えば、あるユーザの弱いタップは、別のユーザの強いタップに対応するかもしれない。したがって、個々のユーザについて、タッチ入力領域を較正することが有益である。このユーザ較正は、図８Ａを参照して説明した工場較正に加えて実行されてもよい。

図９は、音声分析部及び／又は音声センサをユーザのために較正する（ユーザ較正を実行する）方法９００の一つの実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法９００は、図２Ａの電子装置２０５により実行される。

図９を参照して、方法９００のブロック９０５において、ユーザは、タッチ入力領域において弱いタップを実行するように要求される。ユーザは、所定の回数の弱いタップ（例えば、少なくとも５回の弱いタップ）を実行するように要求されてもよい。ユーザが実行する弱いタップの回数が多いほど、弱いタップのデータの統計上の重要性が高まりうる。一つの実施の形態において、ユーザは、タッチ入力領域の任意の部分をタップするよう要求される。別の実施の形態において、ユーザは、タッチ入力領域の１以上の特定の位置をタップするよう要求される。ブロック９１０において、弱いタップについて音声信号が測定される。

ブロック９１５において、ユーザは、タッチ入力領域において強いタップを実行するように要求される。ブロック９２０において、強いタップについて音声信号が測定される。

ブロック９２５において、弱いタップ及び強いタップは、測定された音声信号に基づいて較正される。一つの実施の形態において、ブロック９３０に示されるように、ユーザの弱いタップと強いタップとを区別するために用いられるしきい値が較正中に設定される。しきい値は、音声信号のしきい値、又は、タッチの最初と完全なタッチの間の時間のしきい値であってもよい。このように、ユーザがしきい値を下回る音声信号を生成するためにタッチ入力領域をタップすると、弱いタップが認識されてもよく、ユーザがしきい値を上回る音声信号を生成するためにタッチ入力領域をタップすると、強いタップが認識されてもよい。

方法９００は、中間の衝撃強度など、他の衝撃強度を較正するためにも用いることができる。このような実施の形態において、ユーザは、中間の衝撃強度のタップを実行するよう要求されてもよい。処理ロジックは、低い衝撃強度と中間の衝撃強度を分離するしきい値と、中間の衝撃強度と高い衝撃強度を分離する別のしきい値の、２つのしきい値を決定してもよい。

図１０は、音声分析部及び／又は音声センサをユーザのために較正する（ユーザ較正を実行する）方法１０００の別の実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法１０００は、図２Ａの電子装置２０５により実行される。

図１０を参照して、方法１０００のブロック１００５において、ユーザは、タッチ入力領域においてタップを実行するように要求される。ユーザは、様々な強度のタップ、例えば、弱いタップ、中間のタップ、及び強いタップを実行するよう要求されてもよい。ブロック１０１０において、タップについて音声信号が測定される。

ブロック１０１５において、ユーザは、タッチ入力領域においてタップではないジェスチャーを実行するように要求される。タップではないジェスチャーは、指をタッチ入力領域においてスライドさせること、タッチ入力領域を軽くタッチすること、タッチ入力領域の周囲に触れること、タッチ入力領域を指で静かに突いて戻すことなどを含んでもよい。ブロック１０２０において、処理ロジックは、タップではないジェスチャーについて生成された音声信号を測定する。

ブロック１０２５において、処理ロジックは、測定された音声信号に基づいて、タップ及びタップではないジェスチャーを較正する。一つの実施の形態において、ブロック１０３０に示されるように、これは、タップとタップではないジェスチャーとを区別するために用いられるしきい値を設定することを含む。いったんしきい値が設定されると、ユーザのタッチが検出されたときに、タッチに関連付けられた音声信号がしきい値を下回った場合は、それはタップとは認識されない。これにより、ユーザがタッチ入力領域をタップするつもりではないときに、誤ってタップが識別されることを防ぐことができる。例えば、較正後は、偶発的な指のピックアップ及びリプレイスは、タッチ入力領域における意図的なタップと区別されうる。

図１１は、カメラ／プロジェクタのタッチ入力領域とともに使用する音声分析部及び／又は音声センサを較正する方法１１００の一つの実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法１１００は、図２Ａの電子装置２０５により実行される。

図１１を参照して、方法１１００のブロック１１０２において、ユーザは、タッチ入力領域の近傍に音声センサ（例えば、マイクロフォン）を配置するように要求される。ブロック１１０５において、ユーザは、タッチ入力領域において１以上のタップを実行するよう要求される。ユーザは、タッチ入力領域の特定の単数又は複数の位置においてタップを実行するよう要求されてもよい。ユーザは、様々な強度のタップ、例えば、弱いタップ、中程度のタップ、及び強いタップを実行するよう要求されてもよい。ブロック１１１０において、タップについて音声信号が測定される。

ブロック１１１５において、処理ロジックは、タッチ入力領域の異なる位置におけるユーザのタップについて用いられる正規化値を調整する。一つの実施の形態において、ブロック１１２０において、処理ロジックは、正規化ルックアップテーブルにおいて減衰ゾーンに関連付けられた及び／又は個々の位置座標に関連付けられた正規化値を調整する。一つの実施の形態において、ブロック１１３０において、処理ロジックは、測定された音声信号及びタップの位置に基づいて、正規化モデルを調整する。いったん正規化値が調整されると、タッチがタッチ入力領域のどこで行われたかにかかわらず、同じ衝撃強度が所与のユーザのタッチと決定される。

図１２は、本明細書で説明した任意の１以上の方法をマシンに実行させるための命令のセットを実行可能なコンピュータシステム１２００の例示的な形式でマシンの概略的表現を示す。別の実施の形態において、マシンは、ＬＡＮ（Local Area Network）、イントラネット、エクストラネット、又はインターネットに接続（例えば、ネットワーク接続）されてもよい。マシンは、クライアント−サーバネットワーク環境におけるサーバ又はクライアントマシンとして、又はピアツーピア（又は分散）ネットワーク環境におけるピアマシンとして動作してもよい。マシンは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯型ゲームコンソール、ＰＤＡ（Personal Digital Assistant）、携帯電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチ又はブリッジ、又はそのマシンでとるべきアクションを特定する命令のセットを（連続して又はその他の方法で）実行可能な任意のマシンであってもよい。さらに、単一のマシンのみが図示されているが、「マシン」の語は、本明細書で説明した方法の任意の１以上を実行するための命令のセット（又は複数のセット）を個別に又は共同して実行するマシン（例えば、コンピュータ）の任意の集合を含むように解されてもよい。

例示したコンピュータシステム１２００は、プロセッサ１２０２、メインメモリ１２０４（例えば、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＳＤＲＡＭ（synchronous DRAM）又はＲＤＲＡＭ（Rambus DRAM）などのＤＲＡＭ（dynamic random access memory）など）、静的メモリ１２０６（例えば、フラッシュメモリ、ＳＲＡＭ（static random access memory）など）、及びセカンダリメモリ１２１８（例えば、データ記録装置）を含み、それらはバス１２３０を介して互いに通信する。

プロセッサ１２０２は、１以上の汎用処理装置、例えば、マイクロプロセッサ、中央演算ユニットなどを表す。とくに、プロセッサ１２０２は、ＣＩＳＣ（complex instruction set computing）マイクロプロセッサ、ＲＩＳＣ（reduced instruction set computing）マイクロプロセッサ、超長命令語（ＶＬＩＷ：very long instruction word）マイクロプロセッサ、他の命令セットを実装したプロセッサ、又は複数の命令セットの組み合わせを実装したプロセッサであってもよい。プロセッサ１２０２は、１以上の専用処理装置、例えば、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field programmable gate array）、ディジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどであってもよい。プロセッサ１２０２は、本明細書で説明した動作及びステップを実行するための処理ロジック１２２６を実行するように構成される。

コンピュータシステム１２００は、インタフェース装置１２０８を更に含んでもよい。インタフェース装置１２０８は、無線インタフェース装置又は有線インタフェース装置であってもよい。コンピュータシステム１２００は、更に、ビデオディスプレーユニット１２１０（例えば、液晶ディスプレー（ＬＣＤ）又は陰極線管（ＣＲＴ））、タッチ入力装置１２１２（例えば、タッチパッド、タッチスクリーン、投影キーボードなど）、音声入力装置１２１４（例えば、マイクロフォン）、及び信号生成装置１２１６（例えば、スピーカ）を含んでもよい。

セカンダリメモリ１２１８は、本明細書で説明した任意の１以上の方法論又は機能を具現化する１以上の命令のセット（例えば、ソフトウェア１２２２）が格納されたマシン読み取り可能な記録媒体１２３１（又は、とくにコンピュータ読み取り可能な記録媒体）を含んでもよい。ソフトウェア１２２２は、完全に又は少なくとも部分的に、コンピュータシステム１２００により実行されている間、メインメモリ１２０４及び／又は処理装置１２０２の内部に存在してもよい。メインメモリ１２０４及びプロセッサ１２０２も、マシン読み取り可能な記録媒体を構成する。

マシン読み取り可能な記録媒体１２３１は、位置識別部２１０、音声分析部２１５、及び／又は制御部２２０（図２Ａを参照して説明された）、及び／又は、位置識別部２１０、音声分析部２１５、及び／又は制御部を呼び出す方法を含むソフトウェアライブラリを格納するために用いられてもよい。マシン読み取り可能な記録媒体１２３１は、例示的な実施の形態において、単一の媒体であるように示されるが、「マシン読み取り可能な記録媒体」の語は、１以上の命令のセットを格納する単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連付けられたキャッシュ及びサーバ）を含むように解されるべきである。「マシン読み取り可能な記録媒体」の語は、更に、マシンにより実行され、本発明の任意の１以上の方法をマシンに実行させる命令のセットを格納又はエンコード可能な任意の媒体を含むように解されるべきである。「マシン読み取り可能な記録媒体」の語は、このように、ソリッドステートメモリ、及び光学的及び磁気的媒体を含むように解釈されるべきであるが、これらに限定されない。

ソフトウェアにより実装されるとき、位置識別部２１０、音声分析部２１５、及び／又は制御部２２０（図２Ａを参照して説明された）は、コンピュータ読み取り可能な記録媒体、例えば、フロッピー（登録商標）ディスク、光学ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイ（登録商標）ディスクなど）、及び磁気光学ディスクを含む任意の種類のディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気的又は光学的カード、又は電子的命令を格納するために適当な任意の種類の媒体に格納されてもよいが、これらに限定されない。

上述の説明は、例示を意図しており、制限を意図していないことが理解されるべきである。上述の説明を読み、理解した当業者には、多数の別の実施の形態が明らかとなろう。本発明が、いくつかの特定の実施の形態に関して説明されたが、本発明は説明された実施の形態に限られず、添付された特許請求の範囲の精神及び範囲内で変更及び代替が可能であることは、当業者に認識されるところである。したがって、詳細な説明及び図面は、限定ではなく例示であるとみなされるべきである。本発明の範囲は、特許請求の範囲に与えられる全ての範囲の均等物とともに、特許請求の範囲を参照して決定されるべきである。

Claims (17)

1. コンピュータにより実行される、ユーザの入力に基づいてタッチに応答する方法であって、
   ユーザがタッチ入力領域にタッチしたときに、前記タッチ入力領域の位置座標を決定するステップと、
   前記ユーザが前記タッチ入力領域にタッチしたときに、マイクロフォンから音声信号を取得するステップと、
   前記音声信号に基づいて、ユーザのタッチの衝撃強度を決定するステップと、
   決定された衝撃強度に関連付けられたコマンドを生成するステップと、を備え、
   ホスト計算装置は、前記コマンドに基づいてアクションを実行する
   ことを特徴とする方法。
2. 低い衝撃強度は、前記タッチ入力領域の周囲のハンドリングに関連付けられ、高い衝撃強度は、意図的なユーザのタップに関連付けられることを特徴とする請求項１に記載の方法。
3. 前記位置座標に基づいて、前記音声信号を正規化するステップを更に備えることを特徴とする請求項１に記載の方法。
4. 前記タッチ入力領域のそれぞれ異なる位置座標において、ほぼ等しい衝撃強度を有する複数のタップを実行することにより、前記マイクロフォンを較正するステップと、
   前記複数のタップのそれぞれについて前記音声信号を測定するステップと、
   前記複数のタップについて測定された音声信号を、それぞれがほぼ同一の読み取り値を有するように正規化するステップと、
   を更に備えることを特徴とする請求項１に記載の方法
5. 前記タッチ入力領域が初めにタッチされたときの第１の時点において、第１の接触しきい値を満足する第１の位置座標を取得するステップと、
   前記タッチ入力領域が初めにタッチされた後の第２の時点において、第２の接触しきい値を満足する第２の位置座標を取得するステップと、
   前記第１の時点と前記第２の時点との間の経過時間を決定するステップと、
   前記経過時間が第１の範囲にあるとき、第１のアクションを実行するステップと、
   前記経過時間が第２の範囲にあるとき、第２のアクションを実行するステップと、
   を更に備えることを特徴とする請求項１に記載の方法。
6. 前記タッチ入力領域において１以上の弱いタップを実行するようユーザに要求するステップと、
   前記１以上の弱いタップについて音声信号を測定するステップと、
   前記タッチ入力領域において１以上の強いタップを実行するよう前記ユーザに要求するステップと、
   前記１以上の強いタップについて音声信号を測定するステップと、
   前記強いタップについて測定された音声信号と、前記弱いタップについて測定された音声信号とに基づいて、前記強いタップと前記弱いタップとを区別するために用いられるしきい値を設定するステップと、
   を更に備えることを特徴とする請求項１に記載の方法。
7. 前記タッチ入力領域において１以上のタップではないジェスチャーを実行するよう前記ユーザに要求するステップと、
   前記１以上のタップではないジェスチャーの実行中に取得される前記音声信号を測定するステップと、
   意図的なユーザのタップとタップではないジェスチャーとを区別するためのしきい値を設定するステップと、
   を更に備えることを特徴とする請求項１に記載の方法。
8. ユーザによりタッチされるタッチ入力領域の位置に対応する位置座標を識別する位置識別部と、
   前記ユーザにより前記タッチ入力領域がタッチされたときに、音声センサにより生成される音声信号を取得し、前記音声信号に基づいて前記ユーザのタッチの衝撃強度を決定する音声分析部と、
   前記位置識別部から前記位置座標を取得し、前記音声分析部から前記衝撃強度を取得し、決定された衝撃強度に関連付けられたコマンドを生成する制御部と、を備え、
   ホスト計算装置は、前記コマンドに基づいてアクションを実行する
   ことを特徴とする電子装置。
9. 前記タッチ入力領域を含む少なくとも一つのタッチパッド又はタッチスクリーンを更に備え、
   前記少なくとも一つのタッチパッド又はタッチスクリーンは、前記ユーザが前記タッチ入力領域にタッチしたときに、前記位置識別部に位置信号を送ることを特徴とする請求項８に記載の電子装置。
10. 前記タッチ入力領域の内部の映像追跡を実行するように構成されたカメラを更に備え、
    前記カメラは、前記ユーザが前記タッチ入力領域にタッチしたときに、前記位置識別部に位置信号を送ることを特徴とする請求項８に記載の電子装置。
11. 前記音声センサを更に備え、
    前記音声センサは、前記ホスト計算装置及び前記電子装置の無線インタフェースのうち少なくとも一つに無線接続されることを特徴とする請求項８に記載の電子装置。
12. 低い衝撃強度は、前記タッチ入力領域の周囲のハンドリングに関連付けられ、高い衝撃強度は、意図的なユーザのタップに関連付けられることを特徴とする請求項８に記載の電子装置。
13. 前記位置識別部は、前記タッチ入力領域が初めにタッチされたときの第１の時点において、第１の接触しきい値を満足する第１の位置座標を決定し、前記タッチ入力領域が初めにタッチされた後の第２の時点において、第２の接触しきい値を満足する第２の位置座標を決定し、前記第１の時点と前記第２の時点との間の経過時間を決定し、前記経過時間が第１の範囲にあるとき、第１のアクションを実行し、前記経過時間が第２の範囲にあるとき、第２のアクションを実行することを特徴とする請求項８に記載の電子装置。
14. 前記タッチ入力領域において１以上の弱いタップを実行することをユーザに要求する第１の要求と、前記タッチ入力領域において１以上の強いタップを実行することを前記ユーザに要求する第２の要求とを表示するためのディスプレーを更に備え、
    前記音声分析部は、前記１以上の弱いタップ及び前記１以上の強いタップについての音声信号を取得し、取得した前記強いタップについての音声信号と、取得した前記弱いタップについての音声信号とに基づいて、前記強いタップと前記弱いタップとを区別するために用いられるしきい値を設定することを特徴とする請求項８に記載の電子装置。
15. 前記音声分析部は、前記タッチ入力領域におけるタップではないジェスチャーにより生じたことが分かっている第１の音声信号を取得し、前記タッチ入力領域における意図的なユーザのタップにより生じたことが分かっている第２の音声信号を取得し、意図的なユーザのタップとタップではないジェスチャーとを区別するためのしきい値を設定することを特徴とする請求項８に記載の電子装置。
16. 前記音声分析部は、正規化値とそれぞれの位置座標の集合とを関連付けたルックアップテーブルを保持し、
    前記音声分析部は、前記位置識別部から前記位置座標を取得し、取得した位置座標に関連付けられた前記正規化値に基づいて、取得した音声信号を変更することを特徴とする請求項８に記載の電子装置。
17. 前記音声分析部は、前記位置座標を入力として用い、増幅値を出力として生成する正規化モデルを含み、
    前記音声分析部は、前記位置識別部から前記位置座標を取得し、前記モデルを用いて前記増幅値を決定し、前記増幅値に基づいて取得した音声信号を変更することを特徴とする請求項８に記載の電子装置。

Images