JP2019121396A - ユーザー入力とモバイルデバイス動作とを動的に関連付けるデバイス及び方法 - Google Patents

Abstract

【課題】ユーザー入力をモバイルデバイス動作に動的に関連付けるデバイス及び方法を提供すること。【解決手段】モバイルデバイスに関連付けられるユーザー検知パネルが、手の複数の部分のプレゼンス又は接触を検出することができる。プレゼンス又は接触を示すユーザー検知パネルからの信号をモバイルデバイス動作に関連付けることができる。信号をモバイルデバイス動作に関連付けるために、モバイルデバイスに関連付けられるプロセッサが、手の部分の部位を特定することができ、識別された手の部分のユーザージェスチャーを認識することができる。信号を受信すると、プロセッサが、モバイルデバイス動作を実行させることができる。【選択図】図１

Description

本発明はユーザー入力とモバイルデバイス動作とを動的に関連付けるデバイス及び方法に関する。

スマートフォン、タブレット等のモバイルデバイスは、例えば、ボタン及びスイッチを含む、種々の触知性ユーザー入力要素を含む。そのようなユーザー入力要素は、多くの場合に、デバイスの側壁に沿って、ユーザーの指がそれらの入力要素に近づくことができる位置に配置される。電話設計者は、ユーザーが近づくのに最も自然な場所にユーザー入力要素を配置しようとする場合があるが、様々な要因が、その目標を妨げることがある。他の内部デバイス構成要素の場所等の、機能設計の制約によって、ユーザー入力要素を最適な場所から離して配置せざるを得ない場合がある。ユーザーは、モバイルデバイスを掴むのに異なる手の大きさ、異なる手の形状、異なる指の数及び異なる方法を有する場合がある。さらに、ユーザー入力要素を最適に配置する場合でも、ユーザー入力要素に近づくために、ユーザーはデバイスを正しい向きに保持する必要がある。

本明細書において説明される実施形態と合致するシステム、デバイス及び方法は、従来のモバイルデバイスユーザー入力要素に伴うこれらの短所及び他の短所に対処する。

本開示と合致するシステム、デバイス及び方法は、ユーザー入力とモバイルデバイス動作との動的な関連付けを提供する。特定のデバイス動作に対応する固定されたユーザー入力要素、例えば、ホームボタン、音量ボタン等の代わりに、そのシステムは、モバイルデバイスを保持するときにユーザーが有する指及び手の位置に応じて、ユーザー入力をモバイルデバイス動作に動的に関連付ける。ユーザーがモバイルデバイスを掴むと、そのシステムは、ユーザーがデバイスを掴んでいる手の位置及び手の部分を検出し、識別する。システムは、その後、指の現在の配置にかかわらず、ユーザーの指のうちの１つによって与えられる、圧力変化等のジェスチャーに基づいて、ユーザーから入力を受信することができる。したがって、例えば、ユーザーの右手親指からの圧力変化が、ホームボタンを押下することに対応する場合がある。ユーザーが電話を手に取ると、右手親指の場所が特定され、その指からの圧力変化は、その場所がどこであっても、ホームボタン押下と識別される。

一実施形態において、モバイルデバイスが提供される。このモバイルデバイスは、マルチコンタクトタッチ（multi-contact touch）に応答して、このマルチコンタクトタッチを示す圧力信号を生成するように構成される圧力センサーを含む少なくとも１つのユーザー検知パネルと、少なくとも１つのプロセッサとを備える。この少なくとも１つのプロセッサは、少なくとも１つの圧力センサーによって生成されたマルチコンタクトタッチを示す圧力信号を受信し、圧力信号をモバイルデバイスの動作に関連付け、モバイルデバイスに動作を実行させ、マルチコンタクトタッチに関連付けられる触覚制御信号を出力するように構成される。触覚制御信号は触覚出力デバイスをアクティベートし、触覚効果を生じさせるように構成される。

一実施形態において、ユーザー入力をモバイルデバイス動作に動的に関連付ける方法が提供される。この方法は、モバイルデバイスの少なくとも１つのユーザー検知パネルの圧力センサーによって、マルチコンタクトタッチに応答して、このマルチコンタクトタッチを示す圧力信号を生成することと、少なくとも１つのプロセッサによって、少なくとも１つの圧力センサーによって生成されたマルチコンタクトタッチを示す圧力信号を受信することと、少なくとも１つのプロセッサによって、圧力信号をモバイルデバイスの動作に関連付けることと、少なくとも１つのプロセッサによって、モバイルデバイスに動作を実行させることと、少なくとも１つのプロセッサによって、マルチコンタクトタッチに関連付けられる触覚制御信号を出力することであって、触覚制御信号は、触覚出力デバイスをアクティベートし、触覚効果を生じさせるように構成される、出力することとを含む。

本発明の一実施形態によるモバイルデバイスを示す図である。 本発明の実施形態による、ユーザー検知パネルの一実施形態を示す図である。 本発明の実施形態による、ユーザー検知パネルの一実施形態を示す図である。 本発明の実施形態による、ユーザー検知パネルの一実施形態を示す図である。 図１のシステムの概略図である。 手及び指の解剖学的構造を示す図である。 モバイルデバイスを握る場合の或る手の位置を示す図である。 モバイルデバイスを握る場合の或る手の位置を示す図である。 モバイルデバイスを握る場合の或る手の位置を示す図である。 本発明の実施形態による、ユーザーの解剖学的構造と、ユーザージェスチャーと、モバイルデバイス動作との間の例示的な関連付けテーブルである。 本発明の一実施形態による、ユーザー入力ジェスチャーを識別するシステムの動作を示すプロセス図である。 本発明の一実施形態による、ユーザー入力ジェスチャーを識別するシステムの動作を示すプロセス図である。

本発明の上述の特徴及び利点並びに他の特徴及び利点は、添付の図面に示されるような本発明の実施形態の以下の説明から明らかであろう。本明細書に組み込まれるとともに本明細書の一部をなす添付の図面は更に、本発明の原理を説明するとともに、当業者が本発明を実施及び使用することを可能にする役割を果たす。図面は一定縮尺ではない。

ここで本発明の特定の実施形態を、同様の参照符号が同一又は機能的に類似した要素を示す図面を参照して説明する。以下の詳細な説明は本来例示的なものでしかなく、本発明又は本発明の用途及び使用を限定するように意図されていない。さらに、前述の技術分野、背景技術、発明の概要又は以下の詳細な説明に提示されている、明示又は暗示されるいかなる理論にも制限されることは意図されていない。さらに、以下の説明はハンドヘルドコンピューティングデバイスを主に対象にするが、その説明が、コンピューター周辺デバイス等のユーザー入力を受ける任意のデバイスを含む、他のデバイスにも等しく当てはまることは、当業者であれば認識されよう。

本発明の実施形態は、ユーザー入力をモバイルデバイスの動作に動的に関連付けるモバイルデバイスを含む。これにより、モバイルデバイスの特定のボタンに基づくのではなく、モバイルデバイスを握っているユーザーの指又は手の他の部分に基づいて、ユーザーが入力を与えることができるようになる。モバイルデバイスを握り、特定のボタンを押下して、或る特定の動作、例えば、電源オン／オフ、音量アップ／ダウンを実行するのではなく、ユーザーは、モバイルデバイスを握り、特定の指で圧力を高める等の、或る手の部分でジェスチャーを実行することによって動作を実行することができる。例えば、ユーザーの右手親指を、モバイルデバイスの「ホーム」ボタンに対応するように選択することができる。ユーザーがモバイルデバイスを握るとき、右手親指がいかに、そしてどこに位置取りされるかにかかわらず、右手親指の圧力の変更、例えば、増加又は減少を「ホーム」ボタンのボタン押下と解釈することができる。このようにして、右手親指によるユーザーの入力は、いずれの場所においても、「ホーム」ボタンを押下することに対応するモバイルデバイス動作に動的に関連付けられる。異なる指及び手の他の部分（例えば、手のひら及び母指球を含む）を、異なるモバイルデバイス動作に対応するように選択することができる。本発明の実施形態によれば、指及び手の部分の組み合わせが１つのモバイルデバイス動作に対応することができる。更なる実施形態では、特定の指又は手の部分の動き又はジェスチャーが１つのモバイルデバイス動作に対応することができる。

モバイルデバイスは、モバイルデバイスを握っているユーザーの手を検知する１つ以上のセンサーを有するユーザー検知パネルを用いて構成することができる。モバイルデバイスのプロセッサが、ユーザーのどの指がマルチコンタクトタッチを示す信号の特定の部分に関与しているかを判断することができる。例えば、モバイルデバイスを握っているときに、プロセッサは、信号のどの態様がユーザーの人差し指、薬指、中指、小指及び親指に対応するかを判断することができる。その際、プロセッサは、特定の指によって実行される仮想的なボタン押下及びジェスチャー等のユーザー入力動作を認識することができる。その後、プロセッサは、モバイルデバイスに、入力動作に対応するモバイルデバイス動作を実行させることができる。

図１は、本発明の一実施形態による、モバイルデバイス１００を示す。モバイルデバイス１００は、画面１０１と、ユーザー検知パネル１０２と、側壁１０３とを備える。モバイルデバイス１００は、スマートフォン、タブレット、ファブレット、ゲームコントローラー及び／又は任意の他のタイプのモバイルコンピューティングデバイス若しくはコンピューティング周辺機器を含むことができる。モバイルデバイス１００の画面１０１はディスプレイを含むことができ、モバイルデバイス１００は、限定はしないが、オーディオ入力部及び出力部、プロセッサ、ボタン及び他の構成要素を含む、モバイルデバイス内に通常含まれる任意の他の構成要素を更に備えることができる。モバイルデバイス１００は、モバイルデバイス１００の側面、上端及び下端に沿って延在する側壁１０３を備える。図１のモバイルデバイス１００は、単一の画面１０１と、背面（図示せず）とを備える。他の実施形態では、モバイルデバイス１００は、モバイルデバイスの両側に２つの画面１０１を備える場合がある。

モバイルデバイス１００は、少なくとも１つのユーザー検知パネル１０２を備える。モバイルデバイス１００は、種々の構成において、複数のユーザー検知パネル１０２を備えることができる。図１の実施形態において、モバイルデバイス１００は、反対に位置する一対の側壁１０３の実質的に全長に沿って延在する２つのユーザー検知パネル１０２を備える。モバイルデバイス１００は、それぞれが異なる側壁１０３上に配置される３つ又は４つのユーザー検知パネル１０２を備えることができる。本発明の実施形態によれば、モバイルデバイス１００は、単一の側壁１０３上に複数のユーザー検知パネル１０２を備えることができる。本発明の実施形態によれば、ユーザー検知パネル１０２は、側壁１０３の少なくとも一部に沿って延在することができ、側壁１０３の全長に沿って延在しても、しなくてもよい。ユーザー検知パネル１０２は、モバイルデバイス１００の側壁１０３上に配置することができるか、モバイルデバイス１００の側壁１０３を覆うことができるか、モバイルデバイス１００の側壁１０３上に直接接触するように配置することができるか、側壁１０３と一体に組み込むことができるか、側壁１０３の一部として含むことができるか、側壁１０３の切欠きを通して突出するように配置することができるか、又は、モバイルデバイス１００の画面１０１に対して実質的に垂直に配置されるモバイルデバイス１００の側面に沿ってセンサーエリアを設けるように側壁１０３に対して別の方法で配置することができる。

図２Ａ〜図２Ｃは本発明の実施形態による、ユーザー検知パネル１０２のいくつかの実施形態を示しており、ユーザー検知パネル１０２は、圧力センサー、近接センサー、タッチセンサー、指紋リーダー、及びユーザーの手の一部による接触、圧力及び／又は近接を検出することができる任意の他のセンサーであるか、又はそれらのセンサー及びリーダーを含む。図２Ａは、側壁１０３に沿って延在する、感圧パネル又はタッチセンシティブバーとして具現される単一の圧力センサー１４０からなるユーザー検知パネル１０２を備える側壁１０３を示す。図示されるように、ユーザー検知パネル１０２は、側壁１０３の実質的に全長Ｌに沿って、かつ側壁１０３の実質的に全奥行Ｄに沿って延在する。図２Ｂは、側壁１０３の実質的に全長にわたって、側壁１０３に沿って延在する、感圧パネルとして具現される圧力センサー１４１と、平行に配置される近接センサー１５０とからなるユーザー検知パネル１０２を備える側壁１０３を示す。図２Ｃは、側壁１０３の実質的に全長にわたって、側壁１０３に沿って延在する感圧パネルとして具現され、その中に配置されるいくつかの近接センサー１５１を収容する切欠きを有する、圧力センサー１４２からなるユーザー検知パネル１０２を備える側壁１０３を示す。図２Ａ〜図２Ｃは、種々の実施形態を例示するものであり、ユーザー検知パネル１０２として機能することができるセンサーの数、サイズ、形状及び配置を制限するものではない。側壁１０３は、図２Ａに示されるように、長さＬ及び奥行Ｄを有する。

圧力センサー又は接触を必要とする他のセンサーを有するユーザー検知パネルを含む実施形態において、センサーは、マルチコンタクトタッチに応答して、マルチコンタクトタッチを示す圧力信号を生成するように構成することができる。マルチコンタクトタッチを示す信号は、接触が行われた場所を示す場所情報、接触が行われた場所における圧力の大きさを示す圧力量（pressure magnitude）情報、センサーと接触する体の部分の動きを示す動きインジケーション、及び／又は接触が行われた各場所における接触面積を示す接触面積情報を含むことができる。近接センサーを含む実施形態において、センサーは、複数のプレゼンス、すなわち、マルチプレゼンスポジショニング（multi-presence positioning）に応答し、複数のプレゼンスを示すプレゼンス信号を生成するように構成することができる。マルチプレゼンスポジショニングを示す信号は、マルチコンタクトタッチ信号において与えられるのと同じ情報の全てと、体の一部又は他の物体の非接触近接を示す近接情報とを含むことができる。本発明の一実施形態によれば、ユーザー検知パネル１０２は、上記で論じられた種類の２つ以上からのセンサーを備えることができ、それゆえ、マルチモード検知のために構成することができる。例えば、図２Ｂに示されるように、ユーザー検知パネル１０２は、マルチコンタクトタッチを検出するように構成される圧力センサー（複数の場合もある）と、１つ以上の指の存在又は近接を検出するように構成される近接センサー（複数の場合もある）とを備えることができる。ユーザーは、片手又は両手で、母指球、手のひらを含む、指、親指のうちの１つ以上を用いて、及び片手（両手）の任意の他の部分を用いて、モバイルデバイス１００を掴む場合がある。モバイルデバイス１００を保持するとき、ユーザーの指及び手は、複数の場所においてユーザー検知パネル（複数の場合もある）の圧力センサーと接触する場合があり、それゆえ、マルチコンタクトタッチを引き起こす場合がある。

図３は、モバイルデバイス１００の概略図を示す。図３に示されるように、モバイルデバイス１００は、本明細書においてプロセッサ又は複数のプロセッサと様々に呼ばれる１つ以上のプロセッサ２００と、少なくとも１つのメモリユニット２０５とを備えることができる。モバイルデバイス１００は、上記のような１つ以上のユーザー検知パネル１０２と、ボタン、ジョイスティック、トリガー、マイクロフォン、スイッチ、タッチスクリーン等を含む、より従来型の物理的又は操作可能ユーザー入力要素２０６とを更に備えることができる。モバイルデバイス１００は、１つ以上のオーディオ及び／又はビデオ出力デバイス２０１と、１つ以上の触覚出力デバイス２０２とを更に備えることができる。オーディオ及び／又はビデオ出力デバイス２０１は、スピーカー、ディスプレイ、及び／又は他の構成要素を含むことができる。

モバイルデバイス１００は、メモリ２０５に記憶され、プロセッサ２００によって実行されるソフトウェア命令を実行することができる。プロセッサ２００は、任意のタイプの汎用プロセッサのうちの１つ以上を含むことができ、ユーザー入力ジェスチャーを識別するように特に設計されるプロセッサとすることもできる。プロセッサ２００は、モバイルデバイス１００の全ての機能を操作する同じプロセッサとすることができ、及び／又は本明細書において論じられる目的のために構成される特殊プロセッサを含むことができる。プロセッサ２００は、モバイルデバイス動作を実行するために、種々の態様のモバイルデバイス１００に送信すべきコマンドを決定するコンピューター命令を実行することができる。メモリ２０５は、任意のタイプの記憶デバイス、又は、限定ではないが、ランダムアクセスメモリ（ＲＡＭ）若しくは読出し専用メモリ（ＲＯＭ）等の非一時的コンピューター可読媒体のうちの１つ以上を含むことができる。メモリ２０５は、ホストプロセッサの内部に位置するか、又は、内部メモリと外部メモリとの任意の組み合わせとすることもできる。

本発明の実施形態によれば、モバイルデバイス１００は、触覚対応デバイスである。触覚対応デバイスは、ユーザーに触覚効果を伝達する１つ以上の触覚出力デバイス２０２を有するデバイスを含む。触覚対応デバイスは、例えば、ローカルプロセッサ２００から、及び／又は外部コンピューターシステムから、作動するための触覚コマンドを直接受信する１つ以上の触覚出力デバイス２０２を備えるデバイスとすることができる。触覚対応デバイスは、１つ以上の触覚出力デバイスに作動信号を伝達する前に、受信した触覚出力信号を処理又は解釈することができる１つ以上のプロセッサを更に備えることができる。触覚対応デバイスは、ユーザーがコンピューターシステムと情報を交換できるようにするユーザー入力要素、例えば、トリガー、ボタン、ジョイスティック、ジョイパッド等の制御要素を更に備えることができる。触覚対応デバイスは、触覚対応周辺機器及び制御デバイス、すなわち、本発明の実施形態と合致するコンピューターシステム等の中央デバイスに対する付属又は周辺ユニットとして機能するように設計されるデバイスを含むことができる。また、触覚対応デバイスは、スマートフォン、スマートスイッチ、タブレット、ファブレット、及び任意の他のモバイルコンピューティングデバイスを含む、モバイルデバイスを含むこともできる。したがって、触覚対応デバイスは、コンピューターシステムとして機能することができ、触覚出力デバイス及び制御要素を含むことができる。

触覚出力コマンドを用いて、触覚出力デバイス２０２を直接、又は間接的に作動させ、及び／又はアクティベートさせることができる。本発明の一実施形態によれば、触覚出力コマンドは、触覚出力デバイスに触覚効果を生成させるために、有線又は無線で送信される触覚出力信号を含むことができる。触覚出力信号は、触覚効果をもたらすために触覚出力デバイス２０２によって受信される作動信号を含むことができる。また、触覚出力信号は、他のシステム構成要素間で、所望の触覚効果についての情報とともに送信される信号を含むこともできる。例えば、リモートコンピューターシステムプロセッサが、触覚対応デバイス、すなわち、モバイルデバイス１００に関連付けられるプロセッサ２００に、発生すべき触覚効果についての情報を含む触覚出力信号を出力することができる。プロセッサ２００は、触覚出力信号を受信し、その信号を処理し、触覚効果をもたらす触覚出力デバイス２０２に別の触覚出力信号を出力することができる。したがって、触覚出力信号は、触覚効果を生成するために使用されることになる任意の信号を含むことができる。触覚出力コマンドはソフトウェアコマンドを更に含むことができる。すなわち、ソフトウェアインタラクションが、触覚出力デバイスを作動させるための情報を含む触覚出力コマンドを生成することができる。ソフトウェアコマンドの形の触覚出力コマンドは、プロセッサ２００に、触覚出力信号の形の触覚出力コマンドを生成させることができる。

プロセッサ２００は、触覚出力デバイス２０２をアクティベートする触覚出力コマンドを与えることができる。プロセッサ２００は、触覚出力コマンドと合致する、出力されるべき触覚効果の特定の特徴（例えば、大きさ、周波数、持続時間等）に関して、触覚出力デバイス２０２に指示することができる。プロセッサ２００は、プロセッサに結合されるメモリ２０５から、触覚出力コマンドと合致する触覚効果のタイプ、大きさ、周波数、持続時間又は他の特徴を引き出すことができる。触覚効果のタイプ、大きさ、周波数、持続時間及び他の特徴は、後に論じられる実施形態に従って、ユーザーに適切なフィードバックを与えるように選択することができる。

触覚出力デバイス２０２は、触覚対応デバイスの当業者に既知であるような、１つ以上の振動、慣性及び／又は運動（kinesthetic）アクチュエーターを含むことができる。可能なアクチュエーターは、偏心質量体がモーターによって移動される偏心回転質量（「ＥＲＭ」）アクチュエーター、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエーター（「ＬＲＡ」）、圧電アクチュエーター、慣性アクチュエーター、形状記憶合金、信号に応答して変形する電気活性高分子、剛性を変化させるメカニズム、静電摩擦（ＥＳＦ）、超音波表面摩擦（ＵＳＦ）、他の任意のタイプの振動触知性アクチュエーター、又は上述のアクチュエーターの任意の組み合わせを含むが、これらに限定されるものではない。

図４は、一対の手３００の解剖学的構造を示し、手のひら側及び手の甲側の両方の図を示す。手３００は、手のいくつかの異なる部分を含む。手３００は５本の指３０１を含む。第１の指３０１は親指３０６であり、残りの４本の指３０１は、人差し指３０２、中指３０３、薬指３０４及び小指３０５を含む指である。各指３０１は、末節骨３１０及び基節骨３１２を含む。４本の指３０２〜３０５はそれぞれ中節骨３１１も含む。親指３０６は、母指球３０７を更に含む。手３００は手のひら３０８を更に含む。

図５Ａ〜図５Ｃは、ユーザーがマルチコンタクトタッチを用いてモバイルデバイス１００を掴んでいる例を示す。図５Ａは、親指３０６の末節骨３１０がモバイルデバイスの第１の側壁１０３Ａ上の第１のユーザー検知パネル１０２Ａと接触し、４本の各指３０２〜３０５の末節骨３１０がモバイルデバイスの第２の側壁１０３Ｂ上の第２のユーザー検知パネル１０２Ｂ上にあるようにしてユーザーがモバイルデバイス１００を掴んでいることを示す。図５Ｂは、親指３０６の末節骨３１０及び母指球３０７がモバイルデバイスの第１の側壁１０３Ａ上の第１のユーザー検知パネル１０２Ａと接触し、３本の各指３０３〜３０５の末節骨３１０がモバイルデバイス１００の第２の側壁１０３Ｂ上の第２のユーザー検知パネル１０２Ｂと接触し、人差し指３０２の末節骨３１０がモバイルデバイス１００の第３の側壁１０３Ｃ上の第３のユーザー検知パネル１０２Ｃと接触するようにしてユーザーがモバイルデバイス１００を掴んでいることを示す。図５Ｃは、親指３０６の末節骨３１０及び基節骨３１２がモバイルデバイス１００の第１の側壁１０３Ａ上の第１のユーザー検知パネル１０２Ａと接触し、人差し指３０２の末節骨３１０及び中節骨３１１がモバイルデバイス１００の第２の側壁１０３Ｂ上の第２のユーザー検知パネル１０２Ｂと接触するようにしてユーザーがモバイルデバイスを掴んでいることを示す。図５Ａ〜図５Ｃに示される握る位置は例示にすぎない。モバイルデバイス１００の側壁１０３Ａ、１０３Ｂ、１０３Ｃに関連付けられるユーザー検知パネル１０２Ａ、１０２Ｂ、１０２Ｃは、ユーザーの手の任意の部分のマルチコンタクトタッチ又はマルチプレゼンスポジショニングを検出するように構成することができる。

上記で論じられたように、モバイルデバイス１００に関連付けられるユーザー検知パネル１０２は、ユーザーの手の解剖学的構造の種々の部分からのマルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを検出するように構成される。ユーザー検知パネル１０２は、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号、例えば、圧力信号、タッチ信号、近接信号、接触信号等をプロセッサ２００に送信するように更に構成される。

プロセッサ２００は、ユーザー検知パネル１０２によって送信されたマルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号を受信するように構成される。信号を受信した後に、プロセッサ２００は、信号を解析して、ユーザーの意図した入力を判断し、意図した入力に関連付けられるモバイルデバイス動作を決定し、モバイルデバイス１００にモバイルデバイス動作を実行させるように構成される。

ユーザーの意図した入力を判断するために、プロセッサ２００は、ユーザー検知パネル１０２からの信号を解析し、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを与える指３０１及び手の他の部分の解剖学的部位（anatomical identity）を特定することができる。信号は、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを与える指３０１及び手の他の部分のうちの１つ以上の場所を示す場合がある。信号は、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを与える指３０１及び手の他の部分のうちの１つ以上によってもたらされる圧力の大きさを示す場合がある。信号は、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを与える指３０１及び手の他の部分のうちの１つ以上の動きを更に示す場合がある。プロセッサ２００は、信号の場所、接触面積、圧力量、動きのインジケーションのうちの１つ以上を用いて、指３０１及び手の他の部分のうちの１つ以上の解剖学的部位を特定することができる。識別される解剖学的部位は、指３０１の全ての指骨３１０〜３１２、並びに母指球３０７及び手のひら３０８を含む、モバイルデバイス１００を握るために使用される手３００の任意の部分を含むことができる。

プロセッサ２００は、圧力又は近接が検出されたユーザー検知パネルのセンサーの場所に基づいて、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号を用いて、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを与えた指３０１及び手の他の部分の解剖学的部位を特定することができる。圧力又は近接の検出場所は、側壁１０３の長さＬに沿った場所、及び／又は側壁１０３の奥行Ｄに沿った場所を指す場合があり、すなわち、図２Ａに示されるような場所を指す場合がある。プロセッサ２００は、圧力又は近接を与える、指３０１及び手の他の部分、例えば、母指球３０７の解剖学的部位を特定することができる。

プロセッサ２００は、信号を解析して、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングの構成要素接触点を判断する。マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号において検出される、すなわち、接触又は近接によって検出される各指又は手の他の部分は、接触点４０１によって表すことができる。マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングの接触点４０１は、ユーザーの指又は手の他の部分の検出された接触又は近接の特徴によって規定される。例えば、図５Ａに示されるようなマルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号は、第２の側壁１０３Ｂ上で、指３０１ごとに１つずつの４つの接触点４０１を規定する。異なる接触点４０１の場所及び相対的な間隔がプロセッサ２００によって使用され、各接触点４０１が、対応する握っている部分の解剖学的部位が判断される。握っている部分の解剖学的部位は、指３０１、又は指３０１の部分、例えば、末節骨３１０、中節骨３１１若しくは基節骨３１２、又はそれらの接触点が表す手の他の部分によって識別される。小指３０５、薬指３０４、中指３０３及び人差し指３０２を表す接触点４０１の場所は、ユーザーがこれらの指３０１のうちの２つの位置取りを入れ替えるのは極めて難しいので、通常は連続して配置される。親指３０６を表す接触点４０１の位置取りは通常、他の指３０１とは反対側の、第１の側壁１０３Ａ等の側壁１０３上である。相対的な間隔を用いて、解剖学的部位を特定することもできる。例えば、一方の側壁１０３が３つだけの接触点４０１を有する場合には、小指３０５又は人差し指３０２のいずれかがユーザー検知パネルのセンサーと接触していない可能性がある。プロセッサ２００は、モバイルデバイス１００の反対側の側壁１０３上にある親指３０６に対する残りの指３０１の相対的な間隔に基づいて、どの指３０１がセンサーと接触していないかを判断することができる。

ユーザー検知パネル内の近接センサーを使用する実施形態によれば、センサーが指３０１又は手の他の部分の場所を特定するのに接触している必要はない。そのような実施形態では、近接センサーは、センサーと接触し、及び／又はセンサー付近にある指３０１及び手の他の部分の場所を検出し、それにより、関連付けられる接触点４０１を確立することができる。そのような実施形態は、検知された指３０１及び手の部分の場所に基づいて解剖学的部位を特定するために、上記と同じ方法を使用することができる。

プロセッサ２００は、ユーザー検知パネル１０２によって検出された接触点４０１の面積を用いて、モバイルデバイス１００を握るために使用される指３０１及び手の他の部分の解剖学的部位を特定することができる。ユーザーの種々の指３０１及び手の部分は大きさが異なる場合があり、それゆえ、ユーザー検知パネル１０２との接触面積がより大きい場合がある。それゆえ、親指３０６は、小指３０５より接触面積が大きい場合がある。図５Ｃに示されるような、２つ以上の指骨でモバイルデバイス１００と接触する指３０１は、単一の指骨でモバイルデバイス１００と接触する指３０１より接触面積が大きい場合がある。したがって、プロセッサ２００は、ユーザー検知パネルのセンサーからの接触面積情報を用いて、モバイルデバイス１００を握るために使用される指３０１及び手の他の部分の解剖学的部位を特定することができる。

プロセッサ２００は、ユーザー検知パネルのセンサーによって検出される圧力の大きさを用いて、モバイルデバイス１００を握るために使用される指３０１及び手の他の部分の解剖学的部位を特定することができる。電話が握られるときに、ユーザーは異なる手の部分で異なる量の圧力を加える場合がある。例えば、図５Ａのように電話が握られるとき、親指３０６及び人差し指３０２がそれぞれ、ユーザー検知パネル１０２Ａ、１０２Ｂをより強く押圧する場合があり、その際、残りの指３０１がユーザー検知パネル１０２Ｂを押圧し、それゆえ、より大きい圧力を生成する。

プロセッサ２００は、ユーザー検知パネルのセンサーによって与えられる動きインジケーションを用いて、握っている指３０１及び手の他の部分の解剖学的部位を特定することができる。モバイルデバイス１００を掴むとき、ユーザーがモバイルデバイス１００を保持する手を配置するのに応じて、ユーザーの握り方が変化する場合がある。プロセッサ２００は、そのような握り方の変化を表すマルチコンタクトタッチを示す信号の動きインジケーターを用いて、握っている指３０１及び手の他の部分の解剖学的部位を特定することができる。

本発明の実施形態によれば、プロセッサ２００は、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号の複数の態様を用いて、握っている指３０１及び手の他の部分の解剖学的部位を特定することができる。プロセッサ２００は、例えば、場所情報を圧力量情報と組み合わせることができる。プロセッサ２００は、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号の上記で論じられた態様のうちのいずれか１つ又は全てを用いて、１つ以上の握っている指３０１及び手の他の部分の解剖学的部位を特定することができる。

本発明の実施形態によれば、プロセッサ２００は、トレーニングされたモデルに従って、握っている指３０１及び手の他の部分の解剖学的部位を特定することができる。トレーニングされたモデルは、複数の被験者から収集されたトレーニングデータに従って決定されたデフォルトモデルとすることができる。例えば、複数の被験者が、一連の異なる握り位置においてモバイルデバイス１００を握るように要求される。被験者がモバイルデバイス１００を握っている間に、ユーザー検知パネル１０２は、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを検出し、応答信号をプロセッサ２００に与えることができる。各被験者は、握りデータを収集するために、複数の異なる方法においてモバイルデバイス１００を握ることができる。プロセッサ２００、又は別のシステム内に配置される別のプロセッサが、その際、デフォルトモデルを生成するために、複数の被験者から収集された握りデータを集約することができる。収集された握りデータは、握りデータの生成中に使用される指３０１及び手の他の部分の複数の握り位置に関連付けられる。したがって、デフォルトモデルは、１つの握っている手の位置と、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す１つの対応する信号との間の各関連付けを含む、複数の関連付けを含む場合がある。ユーザーがモバイルデバイス１００とインタラクトし、ユーザー検知パネル１０２がマルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号を生成すると、その信号をデフォルトモデルデータと比較して、握っている指３０１及び手の他の部分の解剖学的部位を特定することができる。

本発明の実施形態によれば、トレーニングされたモデルはユーザー固有モデルとすることができる。ユーザー固有モデルを生成するために、プロセッサ２００は、モバイルデバイス１００のオーディオ又はビデオ出力デバイス２０１（例えば、画面及び／又はスピーカー）に信号を送信し、出力デバイスに、ユーザーが特定の方法においてモバイルデバイス１００を握るように要求させる。出力デバイスはユーザーに複数の要求を行うことができ、モバイルデバイス１００が複数回、複数の異なる手の位置で握られるように要求する。プロセッサ２００は、ユーザー検知パネル１０２から、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号を受信し、その信号のデータを、要求された異なる手の位置に関連付けることができる。このようにして、プロセッサ２００は、特定のマルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号を、種々の記憶された異なる手の位置のうちの対応する手の位置と関連付けるユーザー固有モデルを構築することができる。一実施形態において、ユーザー固有モデルを構築することは、デフォルトモデルから開始することができる。ユーザー固有モデルは、原則として、デフォルトモデルを用いて構築することができる。ユーザー固有モデルは、特定のユーザーに行われた要求に基づいて、デフォルトモデルを精緻化することを含むことができる。また、ユーザー固有モデルは、ユーザーによる使用中に行われる精緻化を含むこともできる。例えば、ジェスチャーが認識されないままであるか又はジェスチャーが誤って認識されると、ユーザーは、ジェスチャーの意図についての入力を与えることができる。ユーザー入力を用いて、ユーザー固有モデルを精緻化することができる。種々のユーザーが平均的な手とは大きく異なる手を有する場合があり、すなわち、ユーザーの手が大きいか又は小さい、ユーザーが指３０１を失っている、ユーザーが奇形の指３０１を有する等の場合があるので、ユーザー固有モデルは有益な場合がある。したがって、ユーザー固有モデルは、握っている指３０１及び手の他の部分の解剖学的部位をプロセッサ２００が識別できるようにするのに有効な場合がある。

プロセッサ２００は、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号をモバイルデバイス１００の動作と関連付けるように更に構成される。プロセッサ２００は、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号の任意の部分を動作と関連付けることによって、その信号をモバイルデバイス１００の動作と関連付けることができる。

信号の一部を動作と関連付ける際に、プロセッサ２００は、握っている指３０１及び手の部分の解剖学的部位に基づいて、ユーザーのジェスチャーを認識し、そのジェスチャーに従って、その信号をモバイルデバイスの動作に関連付けることができる。ジェスチャーは、動き、圧力、場所、タイミング及び他の特徴によって特徴付けることができる。例えば、ジェスチャーは、ユーザーの動き、例えば、ユーザー検知パネル１０２に沿って指３０１をスライドさせること、ユーザー検知パネル１０２から指３０１を外すか、又は指３０１を入れ替えること、ユーザー検知パネル１０２をタップすること、ユーザー検知パネル１０２に沿ってスワイプすること、並びに握っている指３０１及び手の部分の１つ以上の任意の他の運動によって特徴付けることができる。したがって、例えば、ユーザーは、親指３０６をユーザー検知パネル１０２上で上向きに、若しくは下向きにスライドさせることによって、又はユーザー検知パネル１０２上を人差し指３０２でタップすることによってジェスチャーすることができる。ジェスチャーは、ユーザー検知パネル１０２にかかる指３０１及び握っている手の部分の１つ以上の圧力を高めることを更に含むことができる。例えば、ユーザーはユーザー検知パネル１０２上のボタンを押下しているかのように、親指３０６又は人差し指３０２でより強く押圧することができる。ジェスチャーは、識別された握っている指３０１及び手の部分の場所によって更に特徴付けることができる。例えば、指３０１によるスライドさせるジェスチャーは、スライドさせる動きによってだけでなく、スライドさせるジェスチャーの長さ、すなわち、ジェスチャーの開始時の指３０１の場所と、ジェスチャーの終了時の指３０１の場所との間の距離によっても特徴付けることができる。音量変更として認識されるスライドさせるジェスチャーの場合、スライドさせることによって、音量を更に高めることができる。ビデオスクラビング（video scrubbing）ジェスチャーとして認識されるスライドさせるジェスチャーの場合、スライドさせることによって、スクラビング速度を更に高めることができる。ジェスチャーは、タイミングによって更に特徴付けることができる。例えば、指３０１から圧力を与えることによってジェスチャーが開始される場合がある。圧力がかけられる時間の長さがジェスチャーを特徴付けることができる。音量制御ジェスチャーの場合、指３０１がジェスチャーを保持する時間の長さによって、ジェスチャーが解除されるまで、音量を上げ続けるか、又は下げ続けることができる。

プロセッサ２００が握っている指３０１又は手の部分の解剖学的部位を認識すると、識別された解剖学的構造の特定の場所は、モバイルデバイス１００の動作に関連付けるのにもはや重要でない場合がある。ユーザーがモバイルデバイス１００を握るとき、プロセッサ２００は、握っている指３０１及び手の部分の解剖学的部位を特定することができる。その後、ジェスチャーの認識は、握っている部分の部位に基づく。したがって、ユーザーが、通常とはわずかに異なるようにモバイルデバイス１００を保持している場合には、ジェスチャーの認識は影響を受けない。例えば、図５Ａにおいて利用される握り方はモバイルデバイス１００上の高い方又は低い方において使用することができ、それにより、指３０１がモバイルデバイス１００の側壁１０３Ａ、１０３Ｂに沿った異なる場所に配置される可能性がある。ユーザーがジェスチャーを実行する、例えば、親指３０６で圧力変化を加えるとき、プロセッサ２００は、そのジェスチャーを親指３０６で実行されているものと認識し、親指３０６があるべき場所から外れている場合であっても、そのジェスチャーをモバイルデバイス動作に関連付ける。したがって、ユーザーはモバイルデバイス１００の仮想的なボタンパネル又は仮想的なボタンバー上の「仮想的なボタン」を押下しており、ユーザーは握っている指３０１を物理的なボタン上に配置する必要はない。そのような仮想的なボタンの使用は、手の大きさ及び形状が異なるユーザーに、モバイルデバイス１００とインタラクトする方法に関する融通性を提供し、従来のモバイルデバイスの種々のボタン及び入力要素を配置するために通常必要とされる多大な設計作業を不要にする。

本発明の実施形態によれば、プロセッサ２００は、モバイルデバイス動作を、認識された手の位置と、識別された解剖学的部位との両方に関連付けるように構成することができる。上記で論じられたように、プロセッサ２００は、ユーザーの手の位置を認識するように構成することができる。認識されたユーザーの手の位置に応じて、ジェスチャー認識が変更される場合がある。例えば、第１の手の位置、例えば、図５Ａに示されるような手の位置において、親指３０６からの圧力変化を含むジェスチャーは、第１のモバイルデバイス動作に関連付けられる場合がある。第２の異なる手の位置、例えば、図５Ｃに示されるような手の位置において、親指３０６からの圧力変化を含むジェスチャーは、第２のモバイルデバイス動作に関連付けられる場合がある。モバイルデバイス１００の通常の使い方に適合する場合がある第１の手の位置では、圧力変化を含む親指ジェスチャーは、モバイルデバイス１００のホームボタンを押下するのと同等とすることができる。ビデオを見るためにモバイルデバイス１００を保持するときにユーザーが使用している場合がある第２の手の位置では、親指３０６からの圧力変化は、音量制御動作、再生／一時停止動作、又はビデオを見ることに関連付けられる他の動作に関連付けられる場合がある。

本発明の実施形態によれば、プロセッサ２００は、複数の握っている指３０１によって実行されるジェスチャーに基づいて、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号をモバイルデバイス１００の動作に関連付けるように構成することができる。例えば、ユーザーがジェスチャーとして親指３０６による圧力を高めようとするとき、親指３０６からの圧力を相殺するために、握っている指３０１及び手の部分の残りにも圧力変化を加えることが必要とされる場合がある。プロセッサ２００は、握っている指３０１又は手の部分のうちの１つ以上によって加えられる圧力を示す信号をモバイルデバイス動作に関連付けるように構成することができる。プロセッサ２００が、ジェスチャーを認識する際に他の握っている指３０１又は手の部分のうちの１つ以上の圧力変化を認識するように構成される間に、ユーザーは、ジェスチャーを親指３０６の圧力変化として経験する場合がある。

本発明の実施形態によれば、プロセッサ２００は、握っている指３０１及び手の部分の解剖学的部位を個別に認識することを必要とすることなく、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号をモバイルデバイス１００の動作に関連付けるように構成することができる。ユーザーがジェスチャーを実行するとき、１つ以上のユーザー検知パネル１０２からの信号が、ジェスチャーの特徴を一意に示している場合があり、プロセッサ２００は、解剖学的部位を識別する中間ステップを実行することなく、信号をジェスチャーに、それゆえ、モバイルデバイス１００の動作に直接関連付けることができる。握っている指３０１及び手の部分の解剖学的部位を個別に認識することなく、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号をモバイルデバイス１００の動作に関連付けることは、上記で論じられたように、モデル、すなわち、トレーニングされたデフォルトモデル又はトレーニングされたユーザー固有モデルのいずれかに従って実行される場合がある。

本発明の実施形態によれば、プロセッサ２００は、上記で論じられたような信号と、デバイスの動作モードとに基づいて、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号をモバイルデバイスの動作に関連付けるように構成することができる。例えば、人差し指３０２をスライドさせるジェスチャーは、通話中に検出される場合には、音量変更モバイルデバイス動作に対応するものと解釈される場合があり、ウェブブラウザの使用中に検出される場合には、スクロールする動作に対応するものと解釈される場合がある。したがって、ジェスチャー認識は、通話アプリケーション、テキストメッセージ伝送アプリケーション、ビデオアプリケーション、ゲームアプリケーション等を含む、デバイス上で実行中のアプリケーションに応じて変更される場合がある。

図６は、解剖学的部位と、実行されるジェスチャーと、モバイルデバイス動作との間の例示的な関連付けを示す関連付けテーブル５００である。プロセッサ２００は、指３０１又は手の部分の解剖学的部位を識別し、識別された指３０１又は手の部分によって実行されるジェスチャーを識別し、解剖学的構造及びジェスチャーを、実行されるべきモバイルデバイス動作に関連付けることができる。図６に示されるように、プロセッサ２００は、指３０１又は手の部分が左右いずれの手３００からもたらされるかに基づいて、解剖学的部位を識別することができる。複数の異なるジェスチャー、すなわち、中指３０３又は人差し指３０２で押圧することが、同じモバイルデバイス動作に対応することができる。モバイルデバイス動作と、解剖学的構造と、ジェスチャーとの間の関連付けはあらかじめプログラムすることができ、及び／又はユーザーが規定することができる。識別可能なジェスチャー及び関連付けられる動作のいくつかの例は、ロック／ロック解除機能を制御するために親指３０６で押圧すること、スクロールを制御するために親指３０６でスワイプすること、音量のアップダウンを制御するために薬指３０４又は小指３０５を上向きに又は下向きにスライドさせること、モバイルデバイス１００をミュートするために人差し指３０２又は中指３０３で押圧することを含むことができる。図６に示されるモバイルデバイス動作は、例にすぎず、モバイルデバイス１００が実行することができる任意の動作を対応するジェスチャー及び解剖学的構造に関連付けることができる。

プロセッサ２００は、決定されたモバイルデバイス動作をモバイルデバイス１００に実行させるように更に構成される。上記で論じられたように、ジェスチャーを識別し、動作と関連付けた後に、プロセッサ２００は、動作を実行させる。プロセッサ２００は、例えば、コンピューター命令を実行することによって動作を直接生じさせることができ、及び／又は、モバイルデバイス動作を生じさせるために、例えば、モバイルデバイス１００の別の態様、例えば、画面、オーディオ出力、アンテナ等に制御信号を送信することによって、動作を間接的に生じさせることができる。

本発明の実施形態によれば、プロセッサ２００は、ジェスチャーの識別及びモバイルデバイス動作の実行の確認としてフィードバックを出力させるように更に構成される。そのようなフィードバックは、オーディオ信号、例えば、ビープ音又はトーン、ビデオ表示及び／又は触覚出力を含むことができる。モバイルデバイス１００は、フィードバックを与えるために、上記で論じられたように、オーディオ及び／又はビジュアル出力デバイス２０１を含むことができる。モバイルデバイス１００は、フィードバックを与えるために、１つ以上の触覚出力デバイス２０２を更に備えることができる。

実行されるべきモバイルデバイス動作の確認のための触覚フィードバックは、モバイルデバイス動作と触覚フィードバックとの間の関連付けに従ってプロセッサ２００によって決定される場合がある。また、触覚フィードバックは、認識されたジェスチャーに応答して、プロセッサ２００によって開始される場合もある。異なるモバイルデバイス動作及び／又は異なるジェスチャーが、異なる触覚フィードバック出力に関連付けられる場合がある。本発明の実施形態によれば、１つ以上の異なるモバイルデバイス動作が、同じ触覚フィードバック出力に関連付けられる場合がある。プロセッサ２００は、ジェスチャーが認識されたという確認、及び／又はモバイルデバイス動作が実行されるという確認をユーザーに与えるために、１つ以上の触覚出力デバイス２０２によって受信されるべき触覚制御信号を生成し、出力することができる。確認として与えられる触覚フィードバックは、認識されたジェスチャーに対応するように選択することができる。したがって、確認として与えられる触覚フィードバックは、２つの目的を果たす。第一に、ジェスチャーに応答して触覚フィードバックを与えることによって、ジェスチャーが受信又は認識されたという確認が与えられる。第二に、与えられる具体的な触覚フィードバックは、認識されたジェスチャーに対応することができ、それゆえ、認識されたジェスチャーが何であるかという確認をユーザーに与えることができる。そのような触覚フィードバックは、ジェスチャーが正しく受信されたか又は誤って受信されたという警告又は確認をユーザーに与える役割を果たす。

本発明の実施形態によれば、プロセッサ２００は、モバイルデバイス１００を握っている指３０１及び手の他の部分の解剖学的部位を認識すると、触覚フィードバックを生じさせることができる。ユーザーがモバイルデバイス１００を掴み、手に取る場合がある。プロセッサ２００は、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号に基づいて、握っている指３０１及び手の他の部分の解剖学的部位を認識すると、プロセッサ２００がユーザーのジェスチャーを直ちに認識できるという確認をユーザーに与えるために、触覚出力デバイス２０２を介してユーザーに触覚出力を与えることができる。したがって、ユーザーがモバイルデバイス１００を手に取り、触覚出力を受信すると、すなわち、掴んでいる指及び手の他の部分の解剖学的部位がプロセッサ２００によって認識されると、ユーザーは、システムが直ちにジェスチャーを認識できることを知る。ユーザーがモバイルデバイス１００を手に取り、掴んでいる指及び手の他の部分の解剖学的部位が認識されない場合には、プロセッサ２００は、触覚フィードバックを与えない場合があり、及び／又は、掴んでいる指及び手の他の部分を認識するのに失敗したことに特に関連付けられる触覚フィードバックを与える場合がある。そのような事態において、ユーザーは、システムが直ちにジェスチャーを認識できないという警告として、触覚フィードバックを受けない場合があるか、又は特定の触覚フィードバックを受ける場合がある。その際、ユーザーは、例えば、手を位置取りし直し、認識の可能性を高めることができる。

本発明の実施形態によれば、触覚出力デバイス（複数の場合もある）は、ユーザー検知パネル１０２上に配置される掴んでいる指又は手の他の部分に触覚フィードバックを直接与えるように構成することができる。したがって、ユーザー検知パネル１０２は、仮想触覚ボタンパネル又は仮想触覚ボタンバーとして機能することができる。

図７は、マルチコンタクトタッチを識別する方法を実行する際の本明細書において説明されるシステムの機能を示すプロセス図である。複数の実施形態において、図７のプロセス図の機能は、モバイルデバイスのメモリに記憶され、モバイルデバイス１００のプロセッサによって実行されるソフトウェア及び／又はファームウェアによって実施することができる。他の実施形態では、その機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）の使用を通してハードウェアによって、及び／又はハードウェア及びソフトウェアの任意の組み合わせによって実行される場合がある。図７の機能が、モバイルデバイス１００と合致するデバイス及びシステムによって、及び／又は当該技術分野において既知であるような別の構成を有する触覚対応デバイス若しくはコンピューターシステムによって実行される場合があることは当業者には理解されよう。

図７は、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを識別するプロセス６００を示す。図７に示されるプロセス６００は、本明細書において説明されるデバイス及びシステムと合致する方法の一例として与えられる。プロセス６００のステップ及び動作は、例示のためにのみ特定の順序において説明される。プロセス６００のステップ及び動作は、異なる順序において実行される場合があり、更なるステップを含む場合があり、それより少ないステップを含む場合がある。プロセス６００のステップ及び動作のうちのいくつかは、圧力信号を生成する圧力センサーを含むユーザー検知パネルの一実施形態に関して具体的に説明されるが、そのような説明によって限定することは意図していない。これらのステップ及び動作は、プレゼンス信号を生成する近接センサー等の代替のセンサーを含むユーザー検知パネルの実施形態にも等しく当てはまる場合がある。

動作６０２において、プロセス６００は、モバイルデバイスのユーザー検知パネルの少なくとも１つのセンサーによって、マルチコンタクトタッチ又はマルチプレゼンスポジショニングに応答して、マルチコンタクトタッチ又はマルチプレゼンスポジショニングを示す信号を生成することを含む。例えば、ユーザー検知パネルが、圧力信号を生成する圧力センサーを含む場合がある。生成された圧力信号は、モバイルデバイスを握っている指又は手の他の部分の場所、圧力量、接触面積及び動きについての情報を含むことができる。更なる例において、他のタイプのセンサー、例えば、近接センサー等が、他のタイプの信号を生成することができる。

動作６０４において、プロセス６００は、少なくとも１つのプロセッサによって、ユーザー検知パネルの少なくとも１つのセンサーによって生成されたマルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号を受信することを含む。その信号は、モバイルデバイスの少なくとも１つの側壁上のマルチコンタクトタッチ又はマルチプレゼンスポジショニングに応答して生成される。第１の側壁上に配置される第１のユーザー検知パネルの第１のセンサーから第１の信号が受信される場合があり、第２の側壁上に配置される第２のユーザー検知パネルの第２のセンサーから第２の信号が受信される場合がある。モバイルデバイスは、モバイルデバイスの４つ以上の側壁上にそれぞれのセンサー（複数の場合もある）が配置されるユーザー検知パネルを含むことができる。各側壁は、その上にそれぞれのセンサー（複数の場合もある）が配置されているユーザー検知パネル（複数の場合もある）のうちの１つ以上を含む場合がある。一実施形態において、プロセッサは、各センサーから信号を受信する。更なる実施形態において、プロセッサは、全てのセンサーからの合成信号を受信する。

動作６０６において、プロセス６００は、少なくとも１つのプロセッサによって、信号をモバイルデバイスの動作に関連付けることを含む。マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号は、電源オン／オフ、音量変更、ホーム押下等のモバイルデバイスの動作に関連付けられる場合がある。

信号をモバイルデバイスの動作に関連付けるために、モバイルデバイスを握っている指及び手の他の部分の解剖学的部位が識別され、握っている指及び手の他の部分によって実行されるジェスチャーが認識される場合がある。したがって、信号をモバイルデバイスの動作に関連付けることは、ユーザー検知パネルのセンサーと接触しているか、又は近接している指及び手の他の部分の解剖学的部位を特定することを含むことができる。指及び手の他の部分の解剖学的部位を特定することは、センサーが圧力及び／又は近接を検出する場所を特定することと、各場所に対応する、指又は手の部分の解剖学的部位を特定することとを含むことができる。指及び手の他の部分の解剖学的部位を特定することは、センサーが圧力を検出する場所における圧力量を判断することと、各場所における圧力に対応する指又は手の部分の解剖学的部位を特定することとを更に含むことができる。ユーザーの握り方は、指及び手の他の部分の場所によって、さらには、加えられる圧力の大きさ、圧力が加えられる接触面積、及びその握り方が確立されるときの指及び手の他の部分の動きによって特徴付けることができる。

本発明の実施形態によれば、判断された解剖学的部位に基づいて、ユーザーのジェスチャーが認識される場合がある。その後、そのジェスチャーに従って、信号をモバイルデバイス動作に関連付けることが実行される場合がある。ジェスチャーは、指又は手の他の部分の圧力増加、動き、タップ又は他の動作に基づいて認識される場合がある。モバイルデバイス動作は、特定の認識された指又は手の他の部分によって実行される特定のジェスチャーに関連付けられる場合がある。

本発明の実施形態によれば、握っている指及び手の他の部分の解剖学的部位を特定することは、トレーニングされたモデルを用いて実行される。モデルは、デフォルトモデルとすることができ、及び／又はユーザー固有モデルとすることができる。トレーニングされたモデルを用いて、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを示す信号をユーザーの手に関連付けることができる。ユーザーの手の位置を識別し、それゆえ、握っている指及び手の他の部分の解剖学的部位を識別するために、信号は、それぞれが特定の手の位置に関連付けられる信号のライブラリと比較することができる。トレーニングされたモデルを用いて、信号と、実行されるべきモバイルデバイス動作との間の直接の関連付けを与えることができる。

動作６０８において、プロセス６００は、選択されたモバイルデバイス動作をモバイルデバイスに実行させることを含む。モバイルデバイスのプロセッサが、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングとモバイルデバイス動作との間の関連付けを行った後に、モバイルデバイス動作に関与するモバイルデバイス態様に制御信号を送信することができる。モバイルデバイス動作は、プロセッサによって実行される場合があり、制御信号は、プロセッサの回路及びロジックの内部信号とすることができる。プロセッサは、選択された動作を実行するために、モバイルデバイスの別の部分、例えば、カメラに制御信号を送信することができる。

動作６１０において、プロセス６００は、少なくとも１つのプロセッサによって、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングに関連付けられる触覚制御信号を出力することを含むことができ、触覚制御信号は、触覚出力デバイスをアクティベートし、触覚効果を生じさせるように構成される。プロセッサは、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングがモバイルデバイス動作に関連付けられたという確認として、触覚制御信号を出力し、触覚効果を生じさせることができる。触覚効果は、信号がプロセッサによって受信され、動作と適切に関連付けられたことをユーザーに通知し、及び／又は警告する役割を果たすことができる。本発明の実施形態によれば、実行されるべきモバイルデバイス動作に応じて、異なる触覚効果が確認として出力される場合がある。これにより、ユーザーは、区別された確認を経験できるようになる場合があり、意図したモバイルデバイス動作が識別されたことを明確に理解できるようになる場合がある。

図８は、マルチコンタクトタッチを識別する方法を実行する際の本明細書において説明されるシステムの機能を例示するプロセス図である。図８のプロセス図の機能は、モバイルデバイスのメモリ内に記憶され、モバイルデバイス１００のプロセッサによって実行されるソフトウェア及び／又はファームウェアによって実施される場合がある。その機能は、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）の使用を通してハードウェアによって、及び／又はハードウェア及びソフトウェアの任意の組み合わせによって実行される場合もある。図８の機能が、モバイルデバイス１００と合致するデバイス及びシステムによって、及び／又は当該技術分野において既知であるような別の構成を有する触覚対応デバイス若しくはコンピューターシステムによって実行される場合があることは当業者には理解されよう。

図８は、モバイルデバイスとのユーザーインタラクションイベントを検出し、それに応じて応答を与えるプロセス８００を示す。図８に示されるプロセス８００は、本明細書において説明されるデバイス及びシステムと合致する方法の一例として与えられる。プロセス８００のステップ及び動作は、例示のためにのみ特定の順序において説明される。プロセス８００のステップ及び動作は、異なる順序において実行される場合があり、更なるステップを含む場合があり、それより少ないステップを含む場合がある。プロセス８００のステップ及び動作のうちのいくつかは、圧力信号を生成する圧力センサーを含むユーザー検知パネルの一実施形態に関して具体的に説明されるが、そのような説明によって限定することは意図していない。これらのステップ及び動作は、プレゼンス信号を生成する近接センサー等の代替のセンサーを含むユーザー検知パネルの実施形態にも等しく当てはまる場合がある。

動作８０１において、プロセス８００は、モバイルデバイスのユーザー検知パネルの少なくとも１つのセンサーによって、ユーザーインタラクションイベントを検出することを含む。ユーザーインタラクションイベントは、ユーザー検知パネルによって検出されるような、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングを含むことができる。ユーザー検知パネルは、ユーザーインタラクションイベントに応答して、ユーザーインタラクションイベントを示す信号を生成する。例えば、ユーザー検知パネルの圧力センサーが圧力信号を生成する場合がある。生成された圧力信号は、ユーザーインタラクションイベントにおいてモバイルデバイスを握っている指又は手の他の部分の場所、圧力量、接触面積及び動きについての情報を含むことができる。更なる例において、ユーザー検知パネルの他のタイプのセンサー、例えば、近接センサー等が、他のタイプの信号を生成する場合がある。

動作８０２において、プロセス８００は、インタラクションイベントを実行するユーザーの解剖学的構造をプロセッサによって識別することを含む。このようにして、プロセッサは、インタラクションイベントに関与する指及び手の他の部分の解剖学的部位を判断することができる。インタラクションイベントを実行するユーザーの解剖学的構造を識別することは、ユーザー検知パネルのセンサーが圧力及び／又は近接を検出する場所を特定することと、各場所に対応するユーザーの解剖学的構造を識別することとを含むことができる。インタラクションイベントを実行するユーザーの解剖学的構造を識別することは、ユーザー検知パネルのセンサーが圧力を検出する場所において圧力量を特定することと、各場所においてその圧力に対応するユーザーの解剖学的構造を識別することとを更に含むことができる。

動作８０３において、プロセス８００は、インタラクションイベント及び識別されたユーザーの解剖学的構造に適しているデバイス機能を決定し、実行することを含む。プロセッサは、検出されたインタラクションイベント及び識別されたユーザーの解剖学的構造をモバイルデバイスの機能、例えば、電源オン／オフ、音量変更、ホーム押下等と関連付ける。プロセッサは、その後、モバイルデバイスの動作を実行する。

動作８０４において、プロセス８００は、実行されるデバイス機能に関連付けられるフィードバックをすることを含む。そのようなフィードバックは、オーディオ、ビジュアル若しくは触覚フィードバック、又はこれらのフィードバックの任意の組み合わせを含むことができる。プロセッサは、実行されるデバイス機能、インタラクションイベント及び識別されたユーザーの解剖学的構造の任意の組み合わせに基づいて、制御信号を出力することができる。制御信号は、適切な出力デバイス、例えば、オーディオ、ビデオ及び／又は触覚デバイスに、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングに関連付けられる触覚制御信号を確認するフィードバックをユーザーに与えさせるように構成することができ、触覚制御信号は触覚出力デバイスをアクティベートし、触覚効果を生じさせるように構成される。プロセッサは、マルチコンタクトタッチ及び／又はマルチプレゼンスポジショニングがモバイルデバイス動作に関連付けられたという確認として、触覚制御信号を出力し、触覚効果を生じさせることができる。触覚効果は、信号がプロセッサによって受信され、動作と適切に関連付けられたことをユーザーに通知し、及び／又は警告する役割を果たすことができる。本発明の実施形態によれば、実行されるべきモバイルデバイス動作に応じて、異なる触覚効果が確認として出力される場合がある。これにより、ユーザーは、区別された確認を経験できるようになる場合があり、意図したモバイルデバイス動作が識別されたことを明確に理解できるようになる場合がある。

したがって、ユーザー入力をモバイルデバイス動作に動的に関連付けるデバイス及び方法が提供される。本発明による種々の実施形態を上述してきたが、これらの実施形態は、限定としてではなく単なる説明及び例として提示されていることを理解すべきである。形式及び細部における種々の変更は本発明の趣旨及び範囲から逸脱することなく本発明内で行うことができることは当業者には明らかであろう。したがって、本発明の範囲（breadth and scope）は、上述の例示的な実施形態のいずれかによって限定されるべきではなく、添付の特許請求の範囲及びそれらの均等物によってのみ規定されるべきである。本明細書において論考された各実施形態、及び本明細書において引用された各引用文献の各特徴は、他の任意の実施形態の特徴と組み合わせて用いることができることも理解されるであろう。触覚効果をレンダリングする上記方法の態様は、本明細書において説明した他の方法と任意に組み合わせて用いることもできるし、上記方法は別々に用いることもできる。本明細書において論考された全ての特許及び刊行物はその全体が、引用することにより本明細書の一部をなす。

本願は、２０１７年１２月２９日に出願された米国特許出願第１５／８５８，９０３号の利益を主張し、この出願の開示は引用することによりその全体が本明細書の一部をなす。

Claims (22)

1. モバイルデバイスであって、
   マルチコンタクトタッチに応答して、該マルチコンタクトタッチを示す圧力信号を生成するように構成される圧力センサーを含む少なくとも１つのユーザー検知パネルと、
   少なくとも１つのプロセッサであって、該少なくとも１つのプロセッサは、
   前記圧力センサーによって生成された前記マルチコンタクトタッチを示す前記圧力信号を受信し、
   前記圧力信号を該モバイルデバイスの動作に関連付け、
   該モバイルデバイスに前記動作を実行させ、
   前記マルチコンタクトタッチに関連付けられる触覚制御信号を出力する、
   ように構成され、前記触覚制御信号は触覚出力デバイスをアクティベートし、触覚効果を生じさせるように構成される、少なくとも１つのプロセッサと、
   を備える、モバイルデバイス。
2. 画面、背面及び一対の側壁を更に備え、
   前記少なくとも１つのユーザー検知パネルは、前記一対の側壁のうちの少なくとも１つの側壁上に配置され、該少なくとも１つの側壁の少なくとも一部に沿って延在する、請求項１に記載のモバイルデバイス。
3. 前記少なくとも１つのユーザー検知パネルは、第１のユーザー検知パネル及び第２のユーザー検知パネルを含み、前記圧力センサーは、前記第１のユーザー検知パネルの第１の圧力センサー及び前記第２のユーザー検知パネルの第２の圧力センサーであり、
   前記第１のユーザー検知パネルは前記一対の側壁のうちの第１の側壁上に配置され、前記第２のユーザー検知パネルは前記一対の側壁の第２の側壁上に配置される、請求項２に記載のモバイルデバイス。
4. 前記少なくとも１つのプロセッサは、前記マルチコンタクトタッチを与えるユーザーの指の解剖学的部位を特定することによって、前記圧力信号を前記モバイルデバイスの前記動作に関連付けるように更に構成される、請求項１に記載のモバイルデバイス。
5. 前記少なくとも１つのプロセッサは、前記解剖学的部位に基づいて、前記ユーザーのジェスチャーを認識し、該ジェスチャーに従って、前記圧力信号を前記モバイルデバイスの前記動作に関連付けるように更に構成される、請求項４に記載のモバイルデバイス。
6. 前記少なくとも１つのプロセッサは、前記指のうちの少なくとも１つからの圧力変化に基づいて、前記ユーザーの前記ジェスチャーを識別するように更に構成される、請求項５に記載のモバイルデバイス。
7. 前記少なくとも１つのプロセッサは、前記圧力センサーによって圧力が検出される場所に応じて、前記指の前記解剖学的部位を特定するように更に構成される、請求項４に記載のモバイルデバイス。
8. 前記少なくとも１つのプロセッサは、前記圧力センサーによって検出される圧力の大きさに応じて、前記指の前記解剖学的部位を特定するように更に構成される、請求項４に記載のモバイルデバイス。
9. 前記少なくとも１つのプロセッサは、トレーニングされたモデルに従って前記指の前記解剖学的部位を特定するように更に構成される、請求項４に記載のモバイルデバイス。
10. 前記トレーニングされたモデルは、マルチコンタクトタッチと手の位置との間の関連付けを含む、請求項９に記載のモバイルデバイス。
11. 前記トレーニングされたモデルは、マルチコンタクトタッチとモバイルデバイスの動作との間の関連付けを含む、請求項９に記載のモバイルデバイス。
12. ユーザー入力をモバイルデバイス動作に動的に関連付ける方法であって、該方法は、
    モバイルデバイスの少なくとも１つのユーザー検知パネルの圧力センサーによって、マルチコンタクトタッチに応答して、該マルチコンタクトタッチを示す圧力信号を生成することと、
    少なくとも１つのプロセッサによって、前記圧力センサーによって生成された前記マルチコンタクトタッチを示す前記圧力信号を受信することと、
    前記少なくとも１つのプロセッサによって、前記圧力信号を前記モバイルデバイスの動作に関連付けることと、
    前記少なくとも１つのプロセッサによって、前記モバイルデバイスに前記動作を実行させることと、
    前記少なくとも１つのプロセッサによって、前記マルチコンタクトタッチに関連付けられる触覚制御信号を出力することであって、前記触覚制御信号は、触覚出力デバイスをアクティベートし、触覚効果を生じさせるように構成される、出力することと、
    を含む、方法。
13. 前記圧力信号を受信することは、前記少なくとも１つのユーザー検知パネル上にマルチコンタクトタッチによって引き起こされる圧力信号を受信することを含み、前記少なくとも１つのユーザー検知パネルは、前記モバイルデバイスの少なくとも１つの側壁上に配置される、請求項１２に記載の方法。
14. 前記少なくとも１つのユーザー検知パネルは第１のユーザー検知パネル及び第２のユーザー検知パネルを含み、前記圧力センサーは前記第１のユーザー検知パネルの第１の圧力センサー及び前記第２のユーザー検知パネルの第２の圧力センサーであり、前記少なくとも１つの側壁は第１の側壁及び第２の側壁であり、前記圧力信号を受信することは、
    前記第１の側壁上に配置される前記第１のユーザー検知パネルの前記第１の圧力センサーから第１の圧力信号を受信することと、
    前記第２の側壁上に配置される前記第２のユーザー検知パネルの前記第２の圧力センサーから第２の圧力信号を受信することと、
    を含む、請求項１３に記載の方法。
15. 前記圧力信号を前記モバイルデバイスの前記動作に関連付けることは、前記マルチコンタクトタッチを与えるユーザーの指の解剖学的部位を特定することを含む、請求項１２に記載の方法。
16. 前記解剖学的部位に基づいて、前記ユーザーのジェスチャーを認識することと、
    前記ジェスチャーに従って、前記圧力信号を前記モバイルデバイス動作に関連付けることと、
    を更に含む、請求項１５に記載の方法。
17. 前記指のうちの少なくとも１つからの圧力変化に基づいて、前記ユーザーの前記ジェスチャーを認識することを更に含む、請求項１６に記載の方法。
18. 指の解剖学的部位を特定することは、前記ユーザー検知パネルの前記圧力センサーによって圧力が検出された場所を特定することと、各場所に対応する前記指の解剖学的部位を特定することとを含む、請求項１５に記載の方法。
19. 指の解剖学的部位を特定することは、前記ユーザー検知パネルの前記圧力センサーによって検出される圧力の大きさを特定することと、各大きさに対応する前記指の前記解剖学的部位を特定することとを含む、請求項１５に記載の方法。
20. 指の解剖学的部位を特定することは、トレーニングされたモデルを使用することを含む、請求項１５に記載の方法。
21. 前記トレーニングされたモデルを使用することは、前記マルチコンタクトタッチを手の位置に関連付けることを含む、請求項２０に記載の方法。
22. 前記トレーニングされたモデルを使用することは、前記マルチコンタクトタッチをモバイルデバイス動作に関連付けることを含む、請求項２０に記載の方法。

Images