JP2019522855A - ハンドヘルド電子デバイスのための適応的ユーザ・インターフェース - Google Patents

Abstract

形態、サイズ又は側性にかかわらず人間の手に適応し、したがって、どんなユーザも、ハンドヘルド電子デバイスを、５本の指すべてを用いて好都合に操作することを可能にする、そのようなデバイスのための触覚ユーザ・インターフェースであって、触覚ユーザ・インターフェースは、外表面と、前記外表面上の１つ又は複数の連続センサー領域であって、手の１本又は複数の指及び／又は親指の付け根によって行われた複数の同時接触パッチを検出するように１つ又は複数のセンサーで構成された、１つ又は複数の連続センサー領域と、１つ又は複数のセンサーに接続されたプロセッサであって、他の接触パッチに対する特定の接触パッチの相対ロケーションに基づいて特定の接触パッチを識別する、プロセッサとを備え、プロセッサは、１つ又は複数の接触パッチの組み合わせられた弁別的特徴からなるサインを識別すること、及びサインを、電子デバイスを制御するか又はデータを入力するための信号とに関連付けることによって、並びに前記信号をデバイスに送信することによって、電子デバイスを制御するように構成される。

Description

本出願は、その内容が参照により本明細書に組み込まれる、２０１６年６月２０日に出願された米国仮特許出願第６２／３５２０７０号からの優先権を主張する。

本発明は、人間−機械対話（ｈｕｍａｎ−ｍａｃｈｉｎｅ ｉｎｔｅｒａｃｔｉｏｎ）の技術分野にある。より詳細には、本発明は、形態、サイズ又は側性にかかわらず人間の手に適応し、したがって、どんなユーザも、ハンドヘルド電子デバイスを（親指を含む）５本の指すべてを用いて好都合に操作することを可能にする、そのようなデバイスのための触覚ユーザ・インターフェースに関する。

ハンドヘルド電子デバイスの２つの主なカテゴリーがある。いくつかのハンドヘルド電子デバイスは、スマートフォン、従来の携帯電話、ＧＰＳナビゲーション・デバイス、ポータブル（ハンドヘルド）デジタル・レコーダ、レーザー測距器などのような、スタンドアロン・デバイスである。他のハンドヘルド電子デバイスは、電子デバイスであることもそうでないこともあり、通例、手中での（ｉｎ−ｈａｎｄ）操作に適していない、物理的に別個のデバイスのアクセサリ（周辺機器）である。たとえば、ハンドヘルド（ワイヤレス）キーパッド、キーパッド・マイクロフォン、望遠鏡コントローラ、ハンドヘルドＶＲ（仮想現実）コントローラ、プレゼンテーション・クリッカー、ＴＶ受像機、空調装置、カメラ、ドローンのための遠隔制御など。これらのデバイスの前面、すなわち、そのデバイスを操作するときにユーザに面する側は、従来のユーザ・インターフェースを装備し、インターフェース目的で、他の側は未使用のままにされる。ユーザは、ユーザの親指を用いてインターフェースを機能させながら、他の指を用いてデバイスを保持する。他の指はより器用であるが、インターフェース設計により、他の指は、デバイスを保持することを余儀なくされ、これにより、手の微細運動技能が上手に利用されない。

操作目的で、これらのデバイスのユーザ・インターフェースは、限定はしないが、ユーザが認識し、触れることが可能である必要がある、ボタン、及び、トグル、無線制御、チェック・ボックスなどのような同様の制御に、高度に依拠する。この理由で、（仮想又は現実であり得る）当該の制御は、一般に、デバイスの、ユーザが面する側に見られる。これにより、制御は、識別するのは容易であるが、特に、手中でデバイスを操作するとき、すなわち、同じ手を用いてデバイスを保持し、操作するとき、触れるのは常に容易であるとは限らなくなる。

ある従来技術は、デバイスの正面以外の表面（主に側面）上にいくつかの制御を配置するが、ユーザは、デバイスを操作するとき、これらを見ることができない。この制限のために、従来技術は、これらの表面の潜在的使用の、肝心な要素がやや不足した印象を反映する。特に、従来技術は、これらの表面の使用を、デバイスの前面上の従来の設計の主要ユーザ・インターフェースの横の、特定の補助的／補足的制御、たとえば、開始／停止、オン／オフ、ボリューム・アップ／ダウン、ズームイン／アウトなどに限定する。通例、上記制御のロケーションは固定であり、上記制御の機能は不変であり、上記制御は、従来の主要インターフェースの制御とは別になる。ナビゲーション又は他のユーザ入力、特にデータ入力のために、従来技術は、デバイスの、ユーザが面する側上の従来のインターフェースの代替物を提供しない。いずれの場合も、ハンドヘルド・デバイスの側面は、あまり空間がない。すべての他の考慮事項を棚上げにしたとしても、そこにホーム・スクリーンを置くこと、或いはキーボード又はキーパッドを置くことが問題になる。

２０００年に紹介された、Ｇａｒｍｉｎ ｅＴｒｅｘシリーズのハンドヘルドＧＰＳデバイスが、適例である。デバイスの正面上に親指スティック（ｔｈｕｍｂ ｓｔｉｃｋ）及びディスプレイをもつ主要インターフェースに加えて、それは、その側面上に５つのボタン、特に、２つのズーム・ボタン、バック・ボタン及びメニュー・ボタン、並びにバックライト・ボタンを有し、バックライト・ボタンは、電源オン／オフ・ボタンの役を兼ねる（詳細は、ｅＴｒｅｘ １０、２０及び３０についてのオーナーズマニュアルからわかる）。各ボタンは、あらかじめ規定された補助的機能を実施する。ズーム・ボタンは、それぞれ、ズームイン及びズームアウトし、バック・ボタンは、メニュー構造における１つ前のステップに戻り、メニュー・ボタンは、現在のステップにおいて利用可能な機能のサブメニューを開く。これらのボタンは機械的であり、これは、ユーザがそれらの位置を感触によって特定することを可能にする。同じように、ユーザは、ボタンのロケーションは固定であるので、手のサイズ又は利き手にかかわらず、ボタンがたまたまあるところで、ボタンを機能させなければならない。デバイスとの機能的対話は、親指スティックを使用して、ディスプレイを通して行われる。ウェイポイントを入力するために、たとえば、ユーザは、（それに一意の名前を与えるための）文字及び（その値を表す）数を、親指スティックによって極めて小さいキーボードから選ぶが、これは幾分冗長なプロセスである。

米国特許第７８００５９２号は、デバイスの側面、すなわち、個別の区切られたタッチ・センシティブ・エリア上に、機械的ボタンの代わりに、タッチ・ボタンと呼ばれる仮想ボタンをもつデバイスを開示する。デバイスを作動させるために、ユーザは、ボタンのクリック可能な（アクティブ）エリア内で、それをプッシュする、すなわち押下するか又はタップしなければならない。ｅＴｒｅｘの機械的ボタンのように、米国特許第７８００５９２号のタッチ・ボタンは、補足機能の制限されたセット、たとえば、音楽プレーヤの、次へ、前へ、ボリューム・アップ、ボリューム・ダウン及び／又は再生／一時停止の機能を制御する。他のユーザ入力は、デバイスの前面上の従来のタッチ・センシティブ・ディスプレイを通して行われる。

米国特許第７８００５９２号の主要な欠点は、仮想ボタンが、デバイスの側面と面一であり、したがって、デバイスを操作するときにユーザがそれらを見ることもそれらを感知することもできないので、位置を特定することが困難であることから生じる。

米国特許第８９８８３５９号は、指がどこでデバイスにタッチするかにかかわらず、その指に関連付けられた機能をユーザが実行することを可能にするために、特定の機能、特に、音楽プレーヤを扱い、動作させる呼（再生、停止及び一時停止）を、特定の指に関連付けるように構成された方法を提案する。ユーザは、特定の所定の位置においてデバイスにタッチすることについて懸念を抱くことなしに、指に関連付けられた機能を覚えていればよい。

別の特許、米国特許出願公開第２０１４０３７５５８２号は、「［ａ］ ｍｅｔｈｏｄ ｏｆ ｃｏｎｔｒｏｌｌｉｎｇ ａｎ ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ ｕｓｉｎｇ ｇｒｉｐ ｓｅｎｓｉｎｇ， ｔｈｅ ｍｅｔｈｏｄ ｃｏｍｐｒｉｓｉｎｇ： ｄｅｔｅｒｍｉｎｉｎｇ ａ ｇｒｉｐ ｐａｔｔｅｒｎ ｏｎ ｔｈｅ ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ； ａｎｄ ｃｏｎｔｒｏｌｌｉｎｇ ａ ｐｒｅｄｅｔｅｒｍｉｎｅｄ ｆｕｎｃｔｉｏｎ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｇｒｉｐ ｐａｔｔｅｒｎ」を提案する。「把持パターン（ｇｒｉｐ ｐａｔｔｅｒｎ）」が何であるかは不明瞭である。本明細書が与える「制御」の実例、特に、ロッキング及びロック解除、電源オン／電源オフ、ボリューム制御、ズーミング、回転ロック、ページ・アップ／ダウンは、その用語の範囲が補助的機能に制限されることを示唆する。米国特許出願公開第２０１４０３７５５８２号のシステム・アーキテクチャは、把持検知が主要インターフェース様式でないことを明らかにする。それは、把持パターンを検出し、処理するためのセンサー・モジュールに加えて、別個で独立した入出力モジュールを示す。

現在の設計、特にタッチ・スクリーンをもつ設計の主要な欠点は、インターフェースとの偶発的接触によってトリガされる予期しない及び求められていない挙動に対するそれらの設計の脆弱性である。これは、スムーズな及び反応が早いユーザ・エクスペリエンスを損ない、ユーザにフラストレーションを起こさせる。この種の災難に向かう傾向は、（ｉ）親指の限られた数の指骨、固定された回転軸及び低い迎え角による親指の本質的に低減された器用さ、（ｉｉ）小さいターゲットを狙うことを困難にする親指のサイズ、（ｉｉｉ）ターゲットの最小の又は消失した輪郭及びそれらのターゲットの近い間隔、並びに（ｉｖ）容量性タッチ・スクリーンの高い感度の影響である。

さらに、ワイパーのようにディスプレイを拭う際に、親指は、（親指の代わりに使用されるどんな指もそうするように）ディスプレイのコンテンツの無視できない部分をさえぎる。これは、重要な視覚的目印を隠し得る。

しばしば、インターフェース・レイアウトは、右手使用への偏りを示す。時々、これは、追加される複雑さを犠牲にして、左手使用のためにインターフェースを再構成するための機構によって、相殺され得る。（たとえば、把持検知は、ユーザがどちらの手でデバイスを保持しているかを決定し、それに応じてインターフェースを構成するために使用され得る。）

タッチ・スクリーン上の仮想制御のような、機械的に作動されない制御は、感触によって操作され得ず、これは、それらの制御が視界内にあることを必要とする。これは、視覚障害があるユーザにとって、又は、デバイスを操作するときの、たとえばＴＶ遠隔制御を使用するときのユーザの注意が他の場所にある場合、問題になり得る。

関連する場合、及び通例、ハンドヘルド・デバイスのインターフェース、特に上記の従来技術は、データ入力のためのキーボード又はキーパッド、或いはその両方を採用する。適合するために、これらは、それらのキーの不相応に小さいサイズ及び近い間隔がそれらの操作性を低下させるポイントまで、スケールダウンされる。したがって、タイプするとき、ユーザは、かなりの注意を払わなければならない。テキストを入力することは、煩雑で時間がかかる。精度が損なわれる。キーパッドは、各キーが１つから４つの文字の間のどこでも文字を生成するように働くので、追加の操作上の複雑さを伴う。

現在の設計の弱点を補うために、多くの技術的努力、たとえば、ディスプレイの一部分を拡大するキー又はルーペ・ツールをタップするためのスタイラス、並びに、それたキーストロークを検出し、無視するか、又はあいまいさを解決するためのアルゴリズムのような次善策がもたらされた。テキストを入力するために必要とされるキー入力の量を低減するために、自動補完及び自動補正のような技法が使用される。

とはいえ、ユーザは、依然として、設計の操作上の短所を埋め合わせるための戦術的次善策に訴える必要性を感じている。一般的な方策は、一方の手を用いてデバイスを保持しながら他方の手を用いてインターフェースを機能させること、又は、（両手でデバイスを包み込むように持ちながら）２本の親指を用いてタイプすることである。両方の次善策が、手中での使用に向けられたデバイスの本質的な目的にそぐわない。

米国特許第７８００５９２号 米国特許第８９８８３５９号 米国特許出願公開第２０１４０３７５５８２号

本発明の目的は、使いやすさを与え、汎用性がある、ハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。

本発明の別の目的は、片手のみを用いた電子デバイスの機能への効率的なアクセスを可能にする、ハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。

本発明の別の目的は、手のすべての指の微細運動技能を最適に利用する、ハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。

本発明の別の目的は、手及び指の自然な動きに依拠し、ねじれを伴わない、ハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。

本発明の別の目的は、（適合なしに）ユーザの手の形態、手のサイズ及び利き手に適応することができる、ハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。

本発明の別の目的は、ディスプレイがある場合、ユーザ・インターフェースのディスプレイの可視性を損なうことなしにユーザ・インターフェースの機能にアクセスすることを可能にする、ハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。

本発明の別の目的は、インターフェースとのそれた接触を回避するハンドヘルド電子デバイスのためのユーザ・インターフェースを提供することである。

本発明は、握手のような把持で、自然にハンドヘルド電子デバイスを保持する手の５本の指を使用して、それを操作することを可能にする方法及び装置を提供する。本明細書で使用される「指」という用語は、人間の手の人差し指、中指、薬指及び小指及び親指のいずれか及びすべてを指す。「インターフェース」という用語は、センサーから、デバイスの機能を作動させる制御信号の生成までのサブシステム全体を指す。

ユーザが自然な様式でデバイスを保持したまま、本発明のインターフェースは、デバイスを保持する手、特に指との接触の特定の属性を追跡し、これらを制御信号に変換する。コントロール・パネルの様式でレイアウトされた、設定されたロケーションにおいてインターフェースとの実効的な接触が生じる、従来のインターフェース設計とは対照的に、実効的な接触は、デバイスを保持するときに手がインターフェースにタッチするときに及びタッチする場合に生じ、これは、ユーザごとに変動し、ユーザが指を動かすたびに変化する。ユーザの指が接しなければならない所定のアクティブ・スポットはない。したがって、本発明は、外表面と、デバイスを保持するときに手が接触している前記外表面上の１つ又は複数の途切れない領域とを備えるシステム・アーキテクチャをもつハンドヘルド電子デバイスのためのインターフェースを提供する。センサー領域と呼ばれるこれらの領域は、接触パッチと呼ばれる、手とインターフェースとが実際にタッチするエリアを検出し、追跡するように、センサーで構成される。

センサー領域内のどこでも接触パッチに比例して応答するために、それの１つ又は複数のセンサーは、少しのギャップ又は不連続性もなしに、満遍なくセンサー領域をカバーするように構成される。これのために構成されたセンサー領域は、連続的であると言われる。

センサーは、さらに、手の１本又は複数の指及び／又は親指の付け根によって行われたセンサー領域内の複数の同時接触パッチを検出し、追跡するように構成される。インターフェースのシステム・アーキテクチャは、１つ又は複数のセンサーに接続されたプロセッサをも備え得る。プロセッサは、１つ又は複数の接触パッチの特定の属性を追跡すること、及び取得されたデータを、電子デバイスを制御するための又はデータを入力するための信号にマッピングすることによって、電子デバイスを制御するように構成される。プロセッサは、手が行う特定の接触パッチを、手が行う他の接触パッチに対するそれの相対ロケーションに基づいて識別する。

本発明の一実施例では、プロセッサ機能は、単一のプロセッサを使用して実装され得る。

別の実施例では、プロセッサ機能は、多数のプロセッサを使用して実装され得る。

本発明の一実施例では、センサー機能は、単一のセンサーを使用して実装され得る。

別の実施例では、センサー機能は、多数のセンサーを使用して実装され得る。

本発明の一実施例では、プロセッサは、電子デバイス上の中心下部原点をもつ球面座標系に関して、手が行う他の接触パッチに対する特定の接触パッチの相対ロケーションを、それの重心の方位角θ、及び半径方向距離ｒ又は極角φのいずれかを比較することによって決定するように構成される。異なる座標系又は異なる原点に基づく実施例も、本発明の範囲内にある。

別の実施例では、プロセッサは、握手のような把持でデバイスを保持するときにユーザの手が接触するデバイスの両側面上の２つ又はそれ以上のセンサー領域に関して、手が行う他の接触パッチに対する特定の接触パッチの相対ロケーションを決定するように構成される。

本発明の別の実施例では、プロセッサは、６つの接触パッチの標準構成にある各接触パッチが、ユーザが電子デバイスを使用するために握手のような把持でそれを保持しているとき、手の指又は親指の付け根がインターフェースの外表面に自然に接触する位置にある、６つの接触パッチの標準構成を認識するように構成される。標準構成が認識されない限り、プロセッサによる電子デバイスの制御は始動されない。したがって、プロセッサは、プロセッサが、手の５本の指すべて及び親指の付け根が１つ又は複数のセンサー領域と接触していることを検出しない限り、並びに、人差し指、中指、薬指及び小指が行う接触パッチが、親指及び親指の付け根が行う接触パッチの反対側である場合、接触パッチを無視するように構成される。たとえば、プロセッサは、別の人にデバイスのディスプレイを見せるためにユーザが行うことがあるように、一方の側面上の人差し指及び中指と他方の側面上の親指との間でデバイスを保持するときにユーザが行う接触パッチを無視する。

一実施例では、ハンドヘルド電子デバイスのユーザ・インターフェースは、１つ又は複数のセンサー領域上の接触パッチから受信された情報に基づいて、デバイスの特定の機能／アクションを制御するための信号、これ以降は制御信号、を生成する。

本発明の一実施例では、インターフェースは、インターフェースと、インターフェースが制御する機能構成要素との両方を備えるスタンドアロン電子デバイスの一体部分である。この実施例では、インターフェースは、標準内部接続を通して、１つ又は複数のセンサー領域上の接触パッチから受信された情報に基づいてインターフェースが生成する制御信号をデバイスの機能構成要素に通信する。

別の実施例では、インターフェースは、インターフェースが制御する、機能構成要素を備える別個のデバイスのアクセサリ（周辺機器）である、電子デバイスの一体部分である。この実施例では、アクセサリ・デバイスは、インターフェースを備え、被制御デバイスによって受信される制御信号を生成する。両方のデバイスは、一方から他方に制御信号を符号化し、復号し、送信し、受信するための追加の構成要素を伴い得る。したがって、アクセサリ・デバイスは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外光などのワイヤレス技術によって或いはワイヤ又は光ファイバ・ケーブルなどの物理接続によって、それが制御するデバイスと通信することができる。別個のデバイスは、電子デバイスであることもそうでないこともあるか、又は、手中での操作に適していることも適していないこともある。アクセサリ・デバイスは、それが制御するデバイス上にスナップ嵌合するように構成され得るか、或いは、そのデバイスにフレキシブルに合うか又はさもなければそれにアタッチするように構成され得る。

別の実施例では、アクセサリ（周辺）デバイスは、それが制御するデバイスでないこともある物理的支持体上に取り付けられるか、又はそれに組み込まれ得る。たとえば、電動自転車のモーター・コントローラが、ハンドルのグリップに組み込まれ得る。或いは、車のＧＰＳ（又はウィンドウ若しくは無線機）のための遠隔制御デバイスが、ステアリング・ホイール・カバーの様式でステアリング・ホイールにアタッチされ得るか、又は、代替的に、それが、一体部分としてステアリング・ホイール中に埋め込まれ得る。

別の実施例では、アクセサリ（周辺）デバイスは、ある種類の関連するシステムの動作を可能にするために、シートのアームレスト又はシートに結合されたコンソールに組み込まれ得る。シートは、静的であるか、或いは、車椅子又は航空機のような乗り物の一部であり得る。関連するシステムは、エンターテインメント・システムのようなオーディオビジュアル・システム、或いは、シートの構成、たとえばシート・バックの角度を調整するための機構であり得る。代替的に、それは、シート、たとえば電動車椅子に関係付けられた、又はアクセスの容易さのためにシートにアタッチされた、駆動及びステアリング機構であり得る。

本発明の一実施例では、１つ又は複数の連続センサー領域のうちの少なくとも１つが、デバイスの１つ又は複数の側面上にある。

１つ又は複数のセンサー領域は、プッシュすること、リフトすること、又は位置を変化させることなどの基本的な指の動きを実施する指によって行われた接触パッチに対して、基本的な指の動きが及ぼす影響を検出するように構成される。センサー領域は、複数の同時の指の動きの影響をも検出することができる。手が１つ又は複数の連続センサー領域内で行う各接触パッチの絶対ロケーションは、ユーザの手の形態、手のサイズ、及び利き手に応じて、また、ユーザがデバイスを操作するために行う意図的な指の動き並びにユーザがそれを保持するやり方の変動／不整合の結果として、変動する。ただし、互いに対する接触パッチの相対ロケーションは、すべてのユーザについて一定である。

一実施例では、本発明のインターフェースは、たとえば、スマートフォン、従来の携帯電話、ＧＰＳナビゲーション・デバイス、ポータブル（ハンドヘルド）デジタル・レコーダ、ガイガー・カウンタ、金属探知機、レーザー測距器などのハンドヘルド・デバイスを含むスタンドアロン電子デバイスの外表面と一体化され得る。本発明の他の実施例は、電子デバイスであることもそうでないこともあるか、又は、手中での操作に適していることも適していないこともある別個のデバイスのアクセサリ（周辺機器）、たとえば、プレゼンテーション・クリッカー、たとえばＴＶ受像機、空調装置、及びカメラのための遠隔制御、並びに、ハンドヘルドＶＲ（仮想現実）コントローラ、ハンドヘルド（ワイヤレス）キーパッド、キーパッド・マイクロフォン、及び望遠鏡コントローラなどである。

最も好都合なことに、インターフェースのセンサー領域は、ユーザがデバイスを使用するために握手のような把持でそれを保持しているときに手が自然にタッチするエリアをこれらの領域がカバーするようにインターフェースを具現する電子デバイスの１つ又は複数の側面上にある。

いくつかの実施例では、１つ又は複数のセンサー領域が、デバイスの背部表面、上部表面又は底部表面に延び得、そこで、１つ又は複数のセンサー領域が本発明のインターフェースの一部として使用され得るか、又は、追加のセンサー領域がこれらのエリア中に存在し得る。

他のシステム、方法、特徴及び利点は、以下の図及び詳細な説明を検討すれば、当業者にとって明らかであるか、又は明らかになるであろう。すべてのそのような追加のシステム、方法、特徴及び利点は、この説明内に含まれ、本発明の範囲内にあり、以下の特許請求の範囲によって保護されるものとする。

本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、本発明の例示的な態様を示す。上記で与えられた概略的な説明及び以下で与えられる詳細な説明とともに、図面は、本発明の特徴について説明するように働く。

図６Ａを除くすべての図面は、デバイスを保持するユーザの視点から、すなわち前面から示されたデバイスを示す。

右手で保持される汎用ハンドヘルド・デバイスの斜視図である。 ユーザが右手でデバイスを保持しているときに指及び親指の付け根がデバイスにタッチするところを示す、図１Ａのデバイスの後部表面及び側方表面の分解図である。 左手で保持される図１Ａのデバイスの斜視図である。 ユーザが左手でデバイスを保持しているときに指及び親指の付け根がデバイスにタッチするところを示す、図１Ａのデバイスの後部表面及び側方表面の分解図である。 特定の接触パッチを生じる指を決定するためのアルゴリズムを概説するフロー・チャートである。 手がデバイスにタッチするところのポイントの方位角θ及び極角φを示す、図１Ａのデバイスの後部表面及び側方表面の分解図に重ね合わせられた球面座標系の図である。 右手で保持される円筒形ＴＶ遠隔制御の斜視図である。 図４に重ね合わせられた番号についての指使い（ｆｉｎｇｅｒｉｎｇ）の可視化の図である。 右手で保持されるディスク形ＧＰＳナビゲーション・デバイスを示し、それのディスプレイがホイールのセグメントの形態のメニューを示す、図である。 握手のような把持で右手で保持される図５のデバイスを示し、それのディスプレイが、マップに重ね合わせられた現在のポインタ位置の座標をもつマップを示す、図である。 握手のような把持で右手で保持されるホーム・スクリーンを示す汎用スマートフォンの斜視図を示し、人差し指がデバイスの裏にあって見えない、図である。 人差し指が後部表面と接触している、裏から見た図６のデバイスの斜視図である。 握手のような把持で右手で保持される汎用スマートフォンの斜視図を示し、それのディスプレイが、アルファベット、句読点及び特殊文字をもつ６×６行列を示す、図である。 図６Ｂ‐１のディスプレイの３行目の入力が列に転置された、握手のような把持で右手で保持される図６Ｂ‐１のデバイスの斜視図である。 図６Ｂ‐１中のディスプレイの６行目の入力が列に転置された、握手のような把持で右手で保持される図６Ｂ‐１におけるデバイスの斜視図である。 テキスト・エディタ・アプリケーションを閉じるときにテキスト・エディタ・アプリケーションが利用可能にするステップのメニューをもつ、握手のような把持で右手で保持される汎用スマートフォンの斜視図である。 オペランドを入力した後に計算器アプリケーションが利用可能にする可能なステップのメニューをもつ、握手のような把持での右手で保持される汎用スマートフォンの斜視図である。 図６Ｄ‐１中のディスプレイの２行目の入力が列に転置された、握手のような把持で右手で保持される図６Ｄ‐１におけるデバイスの斜視図である。 関連するデバイスが挿入され得る、本発明のインターフェースを組み込んだケーシング又はシェルの形態のアクセサリ（周辺）入力デバイスの斜視図である。

本発明は、デバイスを保持する手の指が、親指７０だけでなく、あらゆる指を伴う指の動きによって行う接触パッチを調節することによって、ハンドヘルド電子デバイスの手中での操作を可能にする方法及び装置を提供する。デバイスは、スタンドアロン・デバイス、又はデバイスが機能的にリンクされる別のデバイスのアクセサリ（周辺機器）であり得る。スタンドアロン・デバイスは、それに関連するすべての本質的機能を包含する完全で独立したユニットであり、アクセサリ（周辺）デバイスは、別個の関連するデバイスと共同でのユーティリティを有するデバイスである。ハンドヘルド電子デバイスは、様々な形状、たとえば、スラブ、スレート、キャンディ・バー、円筒、半円筒、カプセル、半カプセル、タブレット、ディスク、球体、楕円体の個体、レンズ豆形の固体など、並びにこれらの変形体を有し得る。図１Ａは、丸い角をもつ矩形タブレットの形態の汎用ハンドヘルド・デバイス１０を示す。デバイスは、前面上にディスプレイを有することも有しないこともある。２つの他の形状の詳細な実例が以下で提示される。一方では、デバイスは円筒（図４）の形状のものであり、他方では、デバイスはディスク（図５）の形状のものである。通例、デバイスは、別個の左エッジ及び右エッジを有し（ただし、図４中の円筒及び図５中のディスクはそれらを有しない）、前面及び背面を有する（ただし、図４中の円筒はそれらを有しない）。

手中でハンドヘルド電子デバイスを操作するとき、手は２つの機能を果たす。第１の機能はデバイスを保持することであり、第２の機能はデバイスのインターフェースと対話することである。従来のインターフェース設計は、両方ではなく、一方又は他方の機能のために手の指を用いる。手中でデバイスを操作するとき、ユーザは、親指７０を用いてインターフェースと対話しながら、親指の付け根７２と他の指との間でデバイスを把持するか、又はユーザの手のひらの中でデバイスを包み込むように持つ。このようにしてデバイスを操作することは、親指のねじれ、たとえば、２つの指骨が直角になるように親指を曲げることを伴い得る。いずれの場合も、それにより、より器用である他の指は、デバイスを保持する以外に何もしないことになる。本発明では、あらゆる指が、各々がそれの運動能力に従って、両方の機能を果たす。自然な様式でハンドヘルド電子デバイスを使用するために、ユーザは、一方の側面上の親指７０及び親指の付け根７２と、他方の側面上の人差し指８０、中指８２、薬指８４及び小指８６との間で、握手のような把持で、デバイスの側方表面によってデバイスを保持する。これは、図１Ａ、図２Ａ（左手の場合）、図４及び図５に示されている。デバイスの前面は全体が見えており、デバイスの背面は手のひらに面する。

本明細書が、デバイスを保持すること又はデバイスがユーザの手中にあることに言及するときはいつでも、それが意味することは、ユーザが、たった今説明された自然な様式でデバイスを操作するためにデバイスを保持していることである。デバイスを保持する他のやり方、たとえば、ディスプレイを誰かに見せること又はそれを離れたところに置くことなどを行うようにデバイスを保持するための他のやり方は、本明細書の主題ではない。

図１Ｂ中の６つの丸で囲まれたエリアは、自然な様式でデバイスを保持し、操作するときに図１Ａ中のデバイス上で手が行う接触パッチ、特に、手がインターフェースと接触しているエリアを表す。５つのエリアは指腹が行う接触パッチであり、１つのエリアは親指の付け根７２が行う接触パッチである。接触パッチの絶対ロケーションは、デバイスを操作する過程において変化し、ユーザごとに変動する。とはいえ、互いに対する接触パッチの相対ロケーションは一定である。特に、接触パッチは、一方の列が２つの接触パッチを有し、他方の列が４つの接触パッチを有する、２つの列中にある。列Ａと呼ばれる第１の列は、親指７０Ａ及び親指の付け根７２Ａが行う接触パッチを含む。第２の列、列Ｂは、人差し指８０Ｂ、中指８２Ｂ、薬指８４Ｂ、及び小指８６Ｂが行う接触パッチを含む。接触パッチのこの配置は、標準構成と呼ばれる。標準構成は、垂直方向に非対称であり、親指の付け根７２Ａが行う細長い接触パッチが、下部にある。接触パッチの絶対ロケーションは、ユーザの手の形態、手のサイズ、及び利き手によって、また、ユーザがデバイスを操作するために行う意図的な指の動き並びにユーザがそれをどのように保持するかの変動／不整合の結果として、変動する。

インターフェースは、手が行う６つの接触パッチを、以下サインと呼ばれる、単入力と解釈する。接触パッチが標準構成にある限り、接触パッチは、インターフェースが検出し、解釈し、制御信号又はデータ項目に変換する真正な（ｂｏｎａ ｆｉｄｅ）サインを構成する。標準構成にない接触は拒否される。接触パッチは、仮想ボタンとは質的に異なる。特に、接触パッチは、ユーザがインターフェースにタッチしなければならないあらかじめ規定されたエリアではない。そうではなく、接触パッチは、デバイスにタッチする手の明示であり、詳細には、それは、実際に接触しているエリアである。接触パッチの絶対ロケーションは、ボタンのロケーションと違って、あらかじめ決定されない。接触パッチがどこで生じるかは、いくつかのファクタ、特に、ユーザの手の形態及びデバイスの形状、並びに、ユーザがデバイスを操作するために行う意図的な指の動き及びユーザが場合によってデバイスを保持するやり方の不整合の関数である。さらに、単一の接触パッチは、それだけでは機能をトリガすることができない。サインの識別情報は、それを構成する６つの接触パッチの各々の弁別的特徴の集合によって決定される。より直接的に。

デバイスがどの手の中にあろうとも、ユーザが自然な様式で、すなわち握手のような把持でそれを保持している限り、手が行う接触パッチは標準構成にあり、４つの接触パッチの列の反対側に２つの接触パッチの列がある。デバイスを右手（図１Ａ）を用いて保持すること又は左手（図２Ａ）を用いて保持することの間の差は、同じ側から見たときの列の左対右の順序である（図１Ｂを図２Ｂと比較されたい）が、これはファクタではない。集合としてサインを規定する、接触パッチの弁別的特徴は、インターフェースが接触パッチをどこで検出するかにかかわらず、同じである。ユーザは、右手又は左手を用いて同じサインを行い、したがって、インターフェースが検出する接触パッチの弁別的特徴は、サインを行った手にかかわらず、同じである。本発明のインターフェースを左手を用いて使用すること又は右手を用いて使用することの間に機能的な差はない。利き手のためにそのインターフェースを構成する必要はない。この理由で、右手を用いてデバイスを操作する様式の記述が、本発明について説明するのに十分である。左手を用いてどのようにデバイスを操作すべきかの別個の説明は、冗長である。

物理的に、本発明のインターフェースのセンサー領域は、デバイスを保持するときに手が接触し得るデバイスの実質的にすべての表面、本質的に、デバイスの見えない側面、すなわち側方表面及び背面を取り入れ得る。デバイスを保持するために、指は、デバイスのユーザ・インターフェースと持続的に接触している。これは、ボタン、キーボードのキー、メニュー項目、ツールバー、ハイパー・リンクなど、瞬間的にタッチすることによってユーザが作動させるバイナリ制御の使用を除外する。本発明のインターフェースをもつデバイスを操作するために、ユーザは、デバイスに対するユーザの把持を保ちながらサインを行う。互いとは異なるサインを行うために、ユーザは、１つ又は複数の接触パッチの弁別的特徴を変更する指の動きを行う。弁別的特徴は、限定はしないが、接触パッチにおける圧力、それのサイズ、それのロケーション、特に、それの重心のロケーションを含む。指の動きの結果として変化を受けやすい接触パッチの弁別的特徴の２つの説明を与えるために、指を用いて押さえつけることが、接触パッチにおいて圧力を増加させる（及び同時に、接触パッチのサイズを増加させる）ことと、インターフェース表面上の指の位置を変化させることが、接触パッチの重心のロケーションを変更することとは、明らかである。

親指の付け根７２Ａが行う接触パッチは、随意的制御を受けない。ユーザは、接触パッチの弁別的特徴を（場合によってはそれの圧力を除いて）故意に変更することができない。これのために、接触パッチは、サインを調節することに直接関与しない。しかし、接触パッチは、デバイスに対するより良い把持に役立つ。接触パッチはまた、反対側面からデバイスを把持する指のための代替当接部を設けることによって親指７０がインターフェースと自由に対話することを可能にする。また、上述のように、親指の付け根が行う接触パッチは他の接触パッチよりもかなり大きいので、それは、標準構成に垂直配向を付与する。インターフェースが関係する限り、ユーザがデバイスをどの方向を上にして保持するかは重要でない。好適なデバイスでは、この性質は、デバイスの物理的配向にかかわらずユーザがデバイスを保持している方向に対応する垂直配向でディスプレイのコンテンツを見せるために、使用され得る。図５中のデバイスのような円形デバイスは、固有の垂直配向を有しない。ユーザがどのようにデバイスを保持しているかに従ってそれのディスプレイのコンテンツを配向する能力は、必要なものである。

本発明の決定的な特徴は、ユーザ・インターフェースが、ユーザが任意の指を用いて作動させることができる、キーボードのキー又はコントロール・パネルの制御のような、所定のレイアウトにおける個別ターゲットによって特徴づけられないことである。各ユーザは、握手のような把持でデバイスを保持するときにすべての指が自然にインターフェースに接触する場合、親指の付け根とともにすべての指を用いてインターフェースを機能させる。ユーザは、インターフェースを使用するためにそれを見る必要さえなく、ユーザの指が当たるための固定ターゲットがない。

ユーザの手がデバイスにタッチするところは、ユーザの手がインターフェースを機能させるところである。インターフェースは、そのままで、すなわち、最初に個々のユーザに適合することなしに、すべてのユーザに適応する。ユーザの手が行う接触パッチは、それらが生じるときに及び生じる場合にインターフェースを機能させる。接触パッチが標準構成にある限り、接触パッチの弁別的特徴の集合は、真正なサインを構成する。サインは、ユーザがユーザの手を用いて行う接触パッチの弁別的特徴の複合によって規定される。真正なサインのみが、デバイスの動作を制御することが可能な信号に、又は１つのデータに、マッピングする。

この点において、現在のインターフェース設計は、本発明の反対である。インターフェースとのたいていの接触は、ユーザがそのまま用いなければならないあらかじめ規定されたレイアウト内で生じなければならない。これは、たとえばインターフェースを左利きユーザ及び右利きユーザのために構成するために、ユーザの親指が触れる範囲内に制御を持ってくるように、インターフェースがスケーリングされるか、又は場合によっては調整される必要がある状況につながる。インターフェースのレイアウトは設計決定によって決定され、設計決定は、しばしば、人間工学的要件を、システム及び順序の考慮事項よりも、並びに時々技術的制約よりも、さらにはＱＷＥＲＴＹキーボードのような古い技術的制約よりも、軽く考える。

ただデバイスを保持することでさえ、真正なサインを構成するが、デバイスの機能に影響を及ぼさない。そうではなく、デバイスを保持するときに手が行う６つの接触パッチの弁別的特徴からなるサインが、操作上のサインのためのベースラインを表す。以下の図表は、このサインの指使い、すなわち、このサインを生成するために各指が行うことを表す。この図表のフォーマットは、サインの指使いを表すために本明細書全体にわたって使用される。白抜きの黒丸

は、デバイスを押下すること又は動くことなしに指がデバイスを保持することを示す。接触パッチ列の下のヘッディングは、それぞれの接触パッチを行う手の部分を示す。サインを参照することを容易にするために、サインは、０で開始する番号を付けられる。

デバイスは、それがベースライン・サインを検出したとき、ロック解除するように構成され得る。逆に、デバイスは、それが適切な間隔の間に有効なサインを検出しなかったとき、ロックするようにされ得る。標準構成にある６つの接触パッチの形態でないすべてのサインは無効である。これは、デバイスを運んでいるか又はさもなければ扱っている間の偶発的動作、たとえばポケット内での電話の誤発信（ｐｏｃｋｅｔ ｄｉａｌｉｎｇ）をトリガする可能性を、実際上なくす。

デバイスを操作する目的でただデバイスを保持するためとは対照的に、デバイスを操作するために、ユーザは、１つ又は複数の接触パッチの弁別的特徴を変更する指の動きによって、前のサインを調節する。実例は、親指７０を用いて押下することであり得る。インターフェースとアクティブに対話していないとき、手は、調節されていないベースライン・サインに自発的に戻る。全体を通して、ユーザは、デバイスに対するユーザの把持を維持する。

指の動き
ユーザがデバイスを保持しながら指を用いて行うことができることは、指の二重機能によって左右される。個々の指の動きの自由は、デバイスを保持することによる変動の程度に制約される。さらなる制約は、隷属化効果（ｅｎｓｌａｖｅｍｅｎｔ ｅｆｆｅｃｔ）として知られる、指の間の不随意的連係（ｉｎｖｏｌｕｎｔａｒｙ ｌｉｎｋａｇｅ）である。その上、すべての指が等しく器用であるとは限らず、いくつかの指は動きを実施することができ、他の指は動きを実施することができない。すべての指がすべての動きを実施することができるとは限らない。特に、力の弱い指、すなわち薬指８４及び小指８６は、他の指よりも制限される。それにもかかわらず、これらの制約の範囲内で、ユーザは、スマートフォンのような比較的複雑なデバイスさえも手中で操作するために必要とされるすべての異なったサインを生成することが可能であるのに十分な数のやり方で、ベースライン・サインを調節することができる。これは以下で示される。

親指の付け根７２は、すでに述べたように、随意的制御を受けず、したがって、それは、ここでは考慮しない。

ユーザの指がインターフェース表面に作用することができる３つの基本的なやり方がある。指は、インターフェース表面をプッシュし、それの上をスライドし、それからリフトオフし、それにより、指がインターフェース表面上で行う接触パッチの特定の物理的属性、特に、それのサイズ、圧力及びロケーション（詳細にはそれの重心のロケーション）を変化させることができる。接触パッチの温度又は湿分など、接触パッチの他の属性は、随意的制御を受けない。インターフェースが装備している１つ又は複数のセンサーは、接触パッチの弁別的特徴、すなわち、デバイスを操作することに関連する属性を監視することと、しきい値レベルを超えた変化を、プロセッサが解釈することができる生信号に変換することとを行うように構成される。次に、プロセッサは、基本的動きのタイミング、強度、速度、及び／又は方向など、生信号のより高次の一般化を認識するように構成される。生信号の変化が著しいとき、すなわち、生信号の変化が、１つ又は複数の接触パッチの弁別的特徴の適格でない変化、あるサインを別のサインに変換する変化であるとき、プロセッサは、新しいサインがマッピングする制御信号又はデータ項目を生じる。（インターフェースがあるモードは、結果を決定し得る、下記参照。）

ユーザは、パターン、一種のコーディングを複合的動きに付与するような、指の動きの組合せ又はさもなければ基本的な指の動きを構造化することによって、機能的に弁別可能なサインを行うことができる。これは、指が追加の機能的信号を生じることを可能にする。そのような複合的動きの実例は、押下（プッシュ、リフト）、複数の押下（繰り返される押下）、長い押下（押下、待機、リフト）、スクロール（押下、単一の方向でのスライド、リフト）、ポイント（押下、ランダム経路に沿ったスライド、リフト）、スワイプ又はフリング（押下、高速スライド、リフト）である。これらの実例は、基本的動きの持続時間、繰返し、速度及び／又は方向に基づくパターンを示す。そのようなパターンを機能的に利用するために、プロセッサは、接触パッチが生成する生信号においてそのようなパターンを認識することと、そのようなパターンを対応する制御信号又はデータ項目に変換することとを行うように構成されなければならない。

インターフェースはまた、接触パッチを生成する手の部分、特に指を識別するように構成され、これは、異なる指との、場合によっては弁別不可能な接触を区別し、それらを異なった制御信号又はいくつかのデータにマッピングすることを可能にする。これは、デバイスを操作するために利用可能な信号の数を逓倍する。指を区別することができなければ、１本の指を押下することは、任意の他の指を押下することと同じ影響を及ぼす。

接触が手のどの部分との接触であるのか、すなわち、指との接触であるのか親指の付け根との接触であるのかを決定するためのアルゴリズムが、図３のフローチャートで概説される。アルゴリズムは、手が行う接触パッチの相対ロケーションを利用し、接触パッチを生成する指（又は手の部分）の任意の固有の特徴を利用しない。特に、アルゴリズムは、指紋など、ユーザ・プロファイルに記憶された情報に依拠せず、又は、統計的性質の情報に依拠しない。接触パッチを識別することに加えて、アルゴリズムは、サインを構成する接触パッチが標準構成にあることを確認することによって、サインを検証する。図３Ａに示されている、手によって行われた接触パッチの重心の球面座標に基づいて、アルゴリズムは、
１． デバイスの前面と交差しない接触パッチ、すなわち、（妥当な許容差内の）その方位角がθ又はθ＋１８０度でない接触パッチをフィルタで除去し（時々、指の方位角は、たとえば人差し指８０がポイントしている（すなわち、サイン３を行っている、下記参照）とき、この範囲外にあり得、これについて配慮されなければならない）、
２． この要件を満たす接触パッチを保存し、
３． ６つのそのような接触パッチがあることを確かめる。（たとえば指を用いてスクロールする（すなわち、サイン２又は８を行う、下記参照）とき、指とインターフェースとの間の接触の一時的な不連続性があり得、これについて配慮されなければならない。）６つのそのような接触パッチがある場合、プロシージャは、
４． 接触パッチを、それらの重心（中心ポイント）の半径方向距離ｒ又は極角φによって測定される座標系の原点からの接触パッチの距離の順序でソートし、
５． 接触パッチを、それらの方位角に従って分離し、
６． （方位角＝θの場合）接触パッチを列Ａとして記憶し、
７． （方位角＝θ＋１８０の場合）接触パッチを列Ｂとして記憶し、
８． 列Ａに記憶された４つの接触パッチがあるかどうかをテストする。
列Ａに記憶された４つの接触パッチがある場合、プロシージャは、
９． これらの接触パッチを最低から最高までラベリングし、最低は小指であり、
１０． 列Ｂ中の２つの接触パッチを最低から最高までラベリングし、最低は親指の付け根７２である。
列Ａに記憶された４つの接触パッチがない場合、プロシージャは、
１１． 列Ｂに記憶された４つの接触パッチがあるかどうかを確かめ、
１２． これらの接触パッチを最低から最高までラベリングし、最低は小指であり、
１３． 列Ａ中の２つの接触パッチを最低から最高までラベリングし、最低は親指の付け根７２である。
アルゴリズムのすべてのステップが精密に順序付けられるとは限らず、いくつかのステップは、上記で示されたシーケンスとは異なるシーケンスにおいて実行され得ることに留意されたい。

異なった反対側の側方エッジを有するデバイス、たとえば図１中のデバイスでは、接触が手のどの部分との接触であるのか、すなわち、指との接触であるのか親指の付け根との接触であるのかを、別個の異なったセンサー領域でデバイスのエッジを構成すること、及び、一方の側面上で検出された接触を列Ａとして記憶し、他方の側面上で検出された接触を列Ｂとして記憶し、次いで、アルゴリズムのステップ８〜１２を実行することによって、決定することが可能である。

以下の表は、手がデバイスを保持しながら快適に行うことができるサインに関して物理的に何が可能であるかを示すために、わずか３つの指の動き、すなわち、押下すること、スクロールすること及びポイントすることで生成された１０個のサインの基本セットを示す。サインは、斜線付き背景で強調表示されたアクティブな指によってグループ化される。８つのサインが、１本のアクティブな指及び２本かいくつかの指を有する。

所与の接触パッチを行う指を識別することが可能であることの有意性は、

としてテーブルに示されている、指を用いて押下することの実例によって最も良く示され得る。デバイスを保持するときでも、すべての指がこのアクションを実施することができる。押下された指によって行われた接触パッチは、それだけでは、（押下された）別の指によって行われた接触パッチと区別することができない。しかしながら、接触パッチの識別情報は他の指のコンテキストから決定され得るので、押下することは、基本セットに、１つだけでなく、７つのサイン、すなわち、１本のアクティブな指を用いたサイン１、４、５、６及び７、並びにいくつかの指を用いたサイン１３及び１４を追加する。ジェスチャー・ベースのインターフェースは、指を区別することができない。

として表に示されている、スクロールすることは、スクロール・ホイールを回転させるために指が行う動きである。繰り返され得るこの動きは、親指７０及び人差し指８０にとっては容易であるが、他の指にとっては（完全に不可能ではないが）容易でない。デバイスを使用するためにそれを保持するとき、ユーザの親指は、通常、垂直配向にあり、人差し指は水平配向にある。この点において、上下の動きを、親指を用いてスクロールすること（サイン８）に関連付け、横方向の動き（パンニング）を、人差し指を用いてスクロールすること（サイン２）に関連付けることは、より直観的である（しかし、必要ではない）。２つの異なる指がこの動きを実施することができるので、スクロールすることは、基本セットに、２つの異なったサイン、サイン２及びサイン８を追加する。

デバイスが握手のような把持で保持される場合、ユーザの人差し指８０は、依然として、動きの著しい自由を享受し、デバイスは、一方の側面上の親指７０及び親指の付け根７２と他方の側面上の他の３本の指との間で固定される。これは、ユーザが、人差し指８０をポインタとして使用して、一般にデバイスの背面上のセンサー領域上の経路をたどることを可能にする。

として表に示されている、ポイントすることと呼ばれる、この動きは、ユーザがタッチパッド上で人差し指を用いて行うのと同じ動きである。この動きは、（一般にデバイスの前面上の）ディスプレイ上のカーソルの位置を制御するために使用され得る。人差し指が触れる範囲の限界において、ユーザは、ユーザがタッチパッド上で行うように、新しい位置からその動きを続けるために人差し指を再配置することができる。この動きは、特に、マップ上のポイントをマークすることなど、多次元的又は連続的データを入力することに適している。人差し指７０のみが容易にポイントすることができ、したがって、ポイントすることは、基本セットに、１つのサイン（サイン３）のみを与える。

適用例
以下の３つの実例は、（ｉ）上記で紹介された基本サインが、ユーザが、本発明の触覚インターフェースによってハンドヘルド電子デバイスを操作することを可能にすること、及び、（ｉｉ）ユーザが、簡単で直観的に満足な様式でそうすることができることを示すように働く。実例は、コマンドを入力することに加えて、本発明のインターフェースが、どのようにデータ（たとえば、番号及びテキスト）を入力すること、及びメニュー構造をナビゲートすることを可能にするかを示す。実例はまた、本発明のインターフェースが依拠する指の動きが、異なるタイプ並びに様々な形状及びサイズのデバイスを操作するために、変更なしに用いられ得ることを証明する。

提示順に、実例は、汎用ＴＶ遠隔制御、汎用ＧＰＳナビゲーション・デバイス及び汎用スマートフォンからなる。提示されるソリューションは、これらのデバイスの鍵となる機能的要件に、ある程度詳細に対処するが、それらは、包括的な製品設計ではない。提示されるソリューションは、本発明の範囲内でこれらのデバイスについて想像できる無二のソリューションではない。示されるデバイスは、本発明が適用される無二のデバイスではない。提示されるソリューションは、ハンドヘルド電子デバイスの手中での操作のために本発明が利用可能にする可能性のうちのいくつかを示すにすぎない。限定はしないが、ステアリング・ホイールに統合された車のウィンドウのための遠隔制御、或いは、助手席のアームレストに内蔵されたエンターテインメント・システム又はアームレストに統合された車椅子制御のための遠隔制御を含む、本発明の他の実施例が、本明細書全体にわたって述べられる。

以下の説明では、サインを行うために１本又は複数のアクティブな指を用いてユーザが行うことが、本発明のインターフェースをもつハンドヘルド電子デバイスを操作するときにユーザが意識していることであるので、このことに焦点が当てられる。他の指（及び親指の付け根）に何が起こるかは、サインを構成する接触パッチの各々をどの指が生じたかを決定するのに不可欠であるが、ユーザの意識的注意を逃れる。

ＴＶ遠隔制御
図４は、ユーザの手の中で保持された、本発明のインターフェースを具備する基本ＴＶ遠隔制御２００の斜視図を示す。ＴＶ遠隔制御２００は、円筒の形態のものであり、ディスプレイを有しない。一般的なＴＶ遠隔制御のように、ＴＶ遠隔制御２００は、ＴＶ受像機のディスプレイを使用する。ＴＶ遠隔制御２００の形状に鑑みて、デバイスは前面又は背面を有しない。デバイスのインターフェースは、デバイスの側方表面全体を包含する。これは、ユーザが、デバイスの胴体（ｓｔｏｃｋ）の周りのどこでもデバイスを保持しながらデバイスを操作することができることを意味する。下記の表は、この適用例において基本サインを利用するための１つのやり方を示す。ユーザがこれらのサインを行うとき、遠隔制御デバイスは、対応する制御信号をＴＶ受像機に送信する。ユーザが正しいサインを行うのを助けるために、ＴＶ受像機は、１本又は複数のアクティブな指が何を行う必要があるかを示すプロンプトを示すようにされ得る。

すべての指を押下すること（すなわち、サイン１３を行うこと）、及びしばらくの間そのサインを保持することは、ＴＶ受像機をオン又はオフにする。

人差し指を用いてスクロールすること（サイン２を行うこと）は、ボリュームを上げ下げし、人差し指を用いて押下すること（サイン１）は、音をミュート及びミュート解除する。

ユーザは、２つのやり方でチャンネルを選択することができる。デフォルトは、チャンネル番号を増分又は減分するために親指を用いてスクロールすること（サイン８を行うこと）による。ユーザがすばやくスクロールするほど、チャンネル番号はすばやく変わる。ユーザが停止すると、遠隔制御は、ＴＶ受像機を選択されたチャンネルに切り替える。代替的に、ユーザは、チャンネル番号を直接入力することができる。これは、追加のサインを必要とする。デバイスがコマンド・モードとデータ・モードの間で切り替えることができるようにデバイスを構成することによって、異なったサインの全体の数を低く保ちながら、番号についてのコマンド・モードにあるとき、機能を制御するために使用されるサインを再使用することが可能である。このことを念頭に置いて、番号サイン（ｎｕｍｂｅｒ ｓｉｇｎ）のコヒーレント・セットは、各指に一意の数値を結びつけることによって、特に、（上記の表に示されているように）人差し指８０について１、中指８２について２、薬指８４について３、小指８６について４、及び親指７０について５を結びつけることによって取得される。たとえば、親指を用いて押下すること（サイン７を行うこと）によって入力されるデータ・モードでは、指を押下すること、すなわち、所与の指を押下することからなるサインを行うことは、その値をレジスタに追加し、入力ポイントを次の位置に移動する。１〜５について、ユーザは、単に、対応する指を押下する。６〜９について、ユーザは、２本の指の値の和をレジスタに追加するために２本の指を一緒に押下しなければならない。０について、ユーザは、一度にすべての指を押下し（サイン１３）、これは、そのサインが維持される場合、ＴＶ受像機の電源を切るにすぎない。

以下の表は、すべての番号サインを一緒に示す。単一のアクティブな指を用いたサイン１、４、５、６及び７は、基本セットの一部である。コマンド・モードでは、それらのサインは、遠隔制御デバイスの機能を制御し、データ・モードでは、それらは番号を表す。

これらのサインは、６〜９が値１の１〜４つの玉と値５の玉との組合せとして表現されるそろばん上で数が表されるやり方に酷似している。それらはまた、片手で番号を合図するためにアメリカ手話言語（ＡＳＬ：Ａｍｅｒｉｃａｎ Ｓｉｇｎ Ｌａｎｇｕａｇｅ）において使用されるサインと同様である。差は、１〜５についてＡＳＬは、指の対応する番号を実際に示し、６〜９についての指の組合せは、同じであるが逆の順序で使用され、すなわち、９についてのＡＳＬサインが６についてのサインに対応することなどである。０についてのサインは同じである。すなわち、本方法は学習可能である。

図４Ａは、番号についての指使いを可視化するための単純で直観的なやり方を示す。各指は、それにアタッチされた数値を用いてラベリングされる。指のペアを接続する線は、指のペアの値の和、すなわち、両方が一緒に押下されるときに取得される番号サインを示す。ユーザを助けるために、ディスプレイは、デバイスがデータ・モードにあり、ユーザが番号を入力しているときに、図４Ａを示すことができる。

ユーザがサインを行うためにアクティブな指を用いて行うことに関して話を続けると、２桁以上の番号についてユーザは、従来のやり方、高から低へ、一度に１桁で進む。たとえば、５１を入力するために、ユーザは、最初に親指を押下して（サイン７）、５を入力し、次いで人差し指を押下して（サイン１）、１を入力する。ユーザが完全なチャンネル番号を入力したとき、遠隔制御は、ＴＶ受像機をそのチャンネルに切り替える。最大桁数よりも小さいチャンネル番号について、ユーザは、チャンネルに切り替えるために人差し指と中指を一緒に押下する（サイン１４）（又は、先行する０を用いてチャンネル番号をパディングする）ことができる。それに失敗すると、インターフェースは、追加の桁が入力されない場合、ＴＶ受像機を、間隔の後に入力されたチャンネルに切り替える。

ＧＰＳナビゲーション・デバイス
図５は、ユーザの手の中で保持された、汎用ハンドヘルドＧＰＳナビゲーション・デバイス３００の斜視図を示す。デバイス及びそのディスプレイ３１０は、円形である。以下の表は、基本サインを利用して番号サインと組み合わせてハンドヘルドＧＰＳを操作するためのやり方、及び上記で紹介されたコマンド・モードとデータ・モードの間で切り替える可能性を示す。ＴＶ遠隔制御とは異なり、ＧＰＳは、スタンドアロン・デバイスである。

すべての指を用いて押下すること（サイン１３を行うこと）、及びそのサインを保持することは、ＧＰＳをオンにし、ユーザが選択することができるアクションのメニューを示す。円形ディスプレイの例にならうと、図５に示されているように、メニューの選択肢は、ホイールのセグメントとして示される。（旧来のエンジン・オーダー・テレグラフを暗示する、このフォーマットを選ぶことは、選択肢であり、ディスプレイの形状の結果でない。）親指を用いてスクロールすること（サイン８）は、ホイールを回転させる。所望のオプションをもつセグメントが、人差し指８０がデバイスのエッジにタッチするところであるとき、ユーザは、それを選択するために、人差し指を押下する（サイン１）ことができる。他の好適なマークについても同様である。

ＧＰＳのユーザがしばしば実施する機会がある基本機能は、ロケーションの地理的座標を、たとえばウェイポイントとして入力することである。これに取り掛かるための２つのやり方がある。ユーザが対応するオプションを選択したとき、ディスプレイは、デバイスをデータ・モードに切り替え、図５Ａに示されているように、現在の位置の座標がマップ上に重ね合わせられた、現在の位置を中心とするマップを示す。新しい位置を入力するために、ユーザは、人差し指を用いてポインタを移動する（サイン３を行う）。ポインタを配置することを容易にするために、ユーザは、親指を用いてスクロールすること（サイン８）によって、マップにズームインし、マップをズームアウトすることができる。ポインタが移動するにつれて、ディスプレイに示されている地理座標は、マップ上のポインタのロケーションを追跡する。ポインタが正しい位置にあると、ユーザは、人差し指と中指を一緒に押下し（サイン１４）、それを選択するためにそのサインを保持する。これにより、図５中のものと同様の、オプションの新しいメニューがロードされ、そこから、ユーザは次のステップを選定することができる。

代替案は、座標についての数値を直接入力することである。図５中のメニューからこのオプションを選択することは、インターフェースをデータ・モードに切り替え、デバイスは、すでに説明されたように、ユーザが行うサインを番号として解釈し、それらの値をレジスタに追加する。この方法によって座標を入力するための実際的なやり方は、端数のない数字でそれらを入力し、次いで、スクロールすることによってそれらを微調整することである。経度と緯度の間でトグルするために、ユーザは、人差し指と中指を一緒に押下する（サイン１４を行う）。親指を用いてスクロールすること（サイン８）は、度数を調整し、人差し指を用いてスクロールすること（サイン２）は、分と、分の小数（ｄｅｃｉｍａｌ）とを調整する。（業界の慣行は、秒の代わりに分の小数を表示することである。）スクロールすることは、スクロールの速度に応じてより遅く又はより速く、値を増分又は減分する。座標を記録するために、ユーザは、前述のように、人差し指と中指を一緒に押下し（サイン１４）、そのサインを保持する。これにより、図５中のもののような、メニューが表示され、そこから、ユーザは次のステップを選択することができる。

スマートフォン
図６は、ユーザの手の中で保持された、ディスプレイ４１０をもつ一般的なスマートフォン４００を示す。ＧＰＳのように、スマートフォン４００はスタンドアロン・デバイスである。以下の表は、手中でスマートフォンの主要機能を操作するために基本サインを使用するための１つのやり方を示す。

ホーム・スクリーンをナビゲートすること
すべての指を押下すること（サイン１３を行うこと）、及びそのサインを保持することは、デバイスをオンにし、最初にオンにされたとき、デバイスのディスプレイは、一般に、図６に示されたもののようなホーム・スクリーンを示す。この事例では、ホーム・スクリーンは、６つの行と４つの列を有する。６行目はドック（ｄｏｃｋ）である。ユーザは、カーソルを用いてホーム・スクリーン上の任意の項目をポイントし（サイン３）、押下すること（サイン１）によってその項目を起動するために、人差し指８０を使用して直接その項目を選択し、起動することができる。図６Ａに示されているように、ユーザはデバイスの背面上でこれらのサインを行うので、これは、ディスプレイのどの部分もマスキングしない。

ユーザが、２つの前の実例の場合のようにデバイスの側面上でインターフェースを押下するのか、ここでのように背面上でインターフェースを押下するのかにかかわらず、人差し指を用いて押下することは、サイン１を生じることに留意されたい。

項目スキャニングとして知られる、項目を選択するための代替方法は、自動スキャニング、すなわち、多くの現在のコンピュータ・オペレーティング・システムがサポートするアクセシビリティ特徴に依拠する。ここで、ユーザは、サイン、たとえばサイン１４を行って、焦点が、最初に行を介して、及び、行の項目（入力）を介してユーザが（再び同じサインを行うことによって）１つを選択した後、焦点が所望の項目上にあるときにもう一度サインを行うことによってユーザが入力のうちの１つを選択するまで、自動的に循環することを開始する。これにより、スキャンが終了し、項目が起動する。

本明細書は、５本の指すべてを用いて本発明のインターフェースを使用することについて説明し、それは、十分に器用でない人に適合することができる。１本の指のみを使用するユーザでさえ、項目スキャニングを使用して、本発明のインターフェースを装備したデバイスをナビゲートすることができる。

ユーザはまた、項目スキャニングによって、構造化された形態で提示されていない項目を選択することができる。この場合、焦点は、ユーザがスキャンを停止するまですべての項目を連続的にスキャンする。完全に構造化されていないコンテンツの場合、ユーザは、所望の項目を起動するために、項目をポイントすること、すなわち、人差し指を用いてポインタを移動すること（サイン３）、又は、ポイントスキャンすること（サイン２及びサイン８）と、人差し指と中指を一緒に押下すること（サイン１３）とによって、その項目を選択することができる。

ディスプレイにおいて見えない項目を見えるようにするために、ユーザはスクロールすることができる。アレイを横にシフトするために、ユーザは、人差し指を用いてスクロールして（サイン２）、親指を用いて垂直方向にアレイをシフトする（サイン８）。スクロールの速度に応じて、追加の項目は、より遅く又はより速く見えるようになる。意味をなす場合、スクロールすることは、漸進的ではなく、完全なスクリーンロードの増分単位であるように構成され得る。

５つ以下の選択肢がある限り、各々は、ディスプレイ上のどこにそれが現れるとしても、直接指にマッピングされ得る。マッピングを示すための多くのやり方がある。明白なやり方は、選択肢を表すアイコンから、それを制御する指がディスプレイのエッジにタッチする場所までの線を伴う。或いは、選択を制御する指をポイントする追尾光効果（ｃｈａｓｉｎｇ ｌｉｇｈｔ ｅｆｆｅｃｔ）、又は別のアニメーションによる。視覚障害者の場合、インターフェースは、対応する指をユーザが押下するときに口頭の形式で行のコンテンツを表すこと（及び、選択の実行を遅延させて、指をリフトすることによってそれを拒否する時間をユーザに与えること）によって接続を行うように構成され得る。さらに、インターフェースは、選択された選択肢を照らすこと、及び、選択肢が実行されるときにクリック音をたてること又は接触パッチを暖めることによって、指が押下されるときにフィードバックを与え得る。

フォン
スマートフォンの１つの用途は、明らかに、通話を行うことである。ホーム・スクリーン上のフォン・アプリを選択した後に、ユーザは、連絡先のリストをスクロールし（サイン８）、ユーザが電話をかけることを希望する番号を選択する。電話をダイヤルするために、ユーザは、人差し指と中指を一緒に押下する（サイン１４）。電話を終了するために、ユーザは、再びサイン１４を行う。番号をリストに追加するために、ユーザは、上記で紹介された番号サインを使用する。番号が完全であるとき、ユーザは、それを保存するために人差し指と中指を一緒に押下する（サイン１４）。どのように名前を追加すべきかについては、下記を参照されたい。

誤った入力を訂正するために、ユーザは、一度にすべての指を押下し、保持すること（サイン１３）によって、バックスペースすることができる。一方、インターフェースを用いたすべての機能的対話が、サインの形態でなければならないアプリオリな理由はない。たとえば、アプリは、デバイスを振ることにより現在のレジスタのコンテンツが消去され、ユーザが新たに開始することを可能にするように構成され得る。

テキスト・エディタ
スマートフォンの別の用途は、たとえば電子メール又はテキスト・メッセージのためのテキストを生成すること、名前を連絡先リストに追加すること、検索を行うこと、或いはＵＲＬを開くことである。テキストを作成するために、ユーザは、ホーム・スクリーンからテキスト・エディタ・アプリを起動する。これは、図６Ｂ‐１に示されているもののような６×６行列をディスプレイに出し、デバイスをデータ・モードに切り替え得る。行列は、アルファベットの文字、並びにいくつかの句読点及び特殊文字でポピュレートされる。テキストを作成するために、ユーザは、項目がある行を最初に選択することによって行列から文字（ｌｅｔｔｅｒ）（及び他の文字（ｃｈａｒａｃｔｅｒ））を選定し、次いで、第２のステップにおいて、項目自体を選定する。これのためのサインは、極めて単純である。行を選択するために、ユーザは指を押下する。最上行について、その指は親指（サイン７）であり、２行目について、その指は人差し指（サイン１）であり、（上記の表に示されているように）以下同様である。

指が選択する行を示すために、現在の説明において、最初の５行は、対応する指と同じ高さで表示される。それに加えて、各行は、行を選択するために対応する指をユーザが押下しなければならない方向を示す方向性サインの形状の輪郭を有する。どの指とも整合されない６行目の輪郭は、両方の端部において尖っていない。６行目を選択するために、ユーザは、一度にすべての指を押下する（サイン１３）。いくつかの入力をもつ行を選択することにより、インターフェースは、その行を列に転置するルーチンを実行し、入力１が（列の）１行目になり、入力２が２行目になり、以下同様である。行を選定するために、ユーザは以前と同じサインを用い、ただし今回は各行が単一の文字を表し、さらなる選択肢はない。その場合、行を選択することにより、それが表す文字が入力ストリングに追加され、別の反復を開始する。

文字Ｎを生成するために、具体的な実例を挙げると、Ｎは、（中指８２の隣にある）、文字Ｎを含んでいる行、すなわち図６Ｂ‐１の３行目上にあるので、ユーザは、最初に、中指を押下すること（サイン４）によって、その行を選択する。これにより、３行目が列に転置され、１つの入力が一行にあるようにされ、ディスプレイが一新されて図６Ｂ‐２を示す。次に、ユーザは、薬指が、Ｎが今ある行であるので、薬指を押下すること（サイン５）によって文字Ｎを選択する。これにより、文字Ｎが入力ストリングに追加され、第１のスクリーンに戻る。以下同様である。

終止符を入力ストリングに追加するために、終止符はサイン１３で選択される図６Ｂ‐１の６行目上にあるので、ユーザは、すべての指を一緒に押下する（サイン１３）。これにより、図６Ｂ”に示されているように、６行目が転置され、ディスプレイが一新されて６行目の入力を列で示し、１つの入力が一行にあるようにされる。この時点で、人差し指を押下すること（サイン１）により、今２行目上にある終止符が選択され、それが入力ストリングに追加される。テキストを生成するために文字及び特殊文字を選択するための反復方法が、行列形式、特にホーム・スクリーンで提示される選択肢に適用され得ることは、明らかであろう。行列が含んでいる項目に応じて、１つの項目を選択することは、ほんの数個の実例を挙げると、ドキュメント、たとえば画像を開くこと、プログラムを実行することを開始すること、又はデバイスの電源を切ることを行い得る。

ユーザが、ユーザがタイプしているものを見ることを可能にするために、図６Ｂ‐１に示されている入力文字の行列は、半透明にされ得る。又は、ディスプレイのエリアが入力ストリングのために確保され得る。

エラーを訂正するために、テキスト・エディタは、一度にすべての指を押下し、保持すること（サイン１３）により、ユーザがサインをリフトするまでバックスペースされるように、構成され得る。（データ・モードでは、サイン１３はデバイスの電源を切らない。）代替的に、アプリは、液体を流して捨てることを示唆するアニメーションによって誘導されると、ユーザが、デバイスを傾けて１つずつ文字を流して捨てることができ、これは挿入ポイントにおいて開始し、ユーザがデバイスを傾けることを停止するまで続くように、構成され得る。

ユーザは、ポイントすること（サイン３）によって挿入ポイントを移動することができる。

テキスト・エディタは、ユーザが文字を選択した指を押し下げることにより、大文字形式の文字にトグルされるように、構成され得る。或いは、文字が、アクセント、ウムラウト、セディーユ、又はティルデのような発音区別符号をもつ変形態を有するとき、指を押し下げることにより、ユーザが指をリフトするまで選択肢が循環され、焦点の当たっている項目を入力ストリングに追加するように、構成され得る。

付加文字、たとえばギリシャ文字について、デバイスは、ユーザが親指を用いてスクロールすること（サイン８）又は人差し指を用いてスクロールすること（サイン２）によって現在の文字セットを別の文字セットと交換し、次いで、通常のやり方で文字を選択することができるように、構成され得る。これは、スクロールの増分単位が完全な文字セットであるべきである場合であり、選定すべき異なる文字セットの寄せ集めを有することは、意味をなさない。

人差し指と中指を用いて一緒に押下すること（サイン１４）により、テキスト・エディタから出て、テキストを用いて何を行うかの選択肢のメニューを提示する。（ｉ）テキストをＳＭＳとして送るか、（ｉｉ）（テキストを送るより前に）電子メール・アドレスを入力して（ｉｉｉ）それをブラウザに送るか又は（ｉｖ）アプリケーション・ランチャに送るか、（ｖ）それを保存するか、或いは（ｖｉ）（それを保存又は削除する後続の選定を伴う）それを取り消すオプションをもつ例示的な実例が、図６Ｃに与えられる。

計算器
スマートフォンに通常見られる別のアプリケーションが、計算器である。計算器アプリは、逆ポーランド表記法（ＲＰＮ：ｒｅｖｅｒｓｅ Ｐｏｌｉｓｈ ｎｏｔａｔｉｏｎ）又は代数表記法を用いて実装され得る。ホーム・スクリーン上のアプリを起動すると、ＲＰＮでは、ユーザは、最初に、上記で説明された番号を入力するための方法を使用してオペランドを入力し、次いで、人差し指と中指を一緒に押下して（サイン１４）、それを記録し、スタックを上げる。ディスプレイは、次いで、様々な計算を含む、可能な次のステップをもつ、図６Ｄ‐１中のもののようなメニューを示す。これらから、ユーザは、適切な１つをポイントすること（サイン３）及びそれを起動すること（サイン１）によって、それを選択することができる。ユーザはまた、上記で紹介された反復方法を使用することができる。たとえば、サイン変更機能（ＣＨＳ：ｃｈａｎｇｅ ｓｉｇｎ ｆｕｎｃｔｉｏｎ）を実行するために、ユーザは、最初に親指を押下して（サイン７）、ＣＨＳがある、図６Ｄ‐１の１行目を選択する。これにより、図６Ｄ‐２に示されているように、その入力が列に転置される。次に、ユーザは、人差し指を押下して（サイン１）、図６Ｄ‐２の２行目上にあるＣＨＳを選択する。これにより、オペランドのサインが変化し、その結果がディスプレイに返される。次に、ユーザは、別のオペランドをタイプし、再び人差し指と中指を押下することができ（サイン１４）、これにより、再び図６Ｄ‐１に示されているメニューが表示され、そこから、ユーザは次のステップを選択することができる。

寸法
手中での操作を可能にするために、デバイスは、人間のユーザの手に適合するサイズ及び形状のものであるべきである。大まかに、これは、ユーザが、親指７０及び親指の付け根７２と他の指との間でデバイスを把持することが可能であるべきであることを意味する。下記の寸法は、例示的な性質のものにすぎず、本発明を、特定の形状、サイズ、及び／又は寸法に制限することを意図するものではない。その上、ハンドヘルド電子デバイスが多くの形状及びサイズになることを踏まえれば、本発明を組み込んだデバイスの寸法制限の広い実例を与えることが可能であるにすぎない。

請求される本発明を組み込むデバイスは、側面から側面まで、（握手のような把持での）親指７０及び親指の付け根７２と他の指との間のユーザの把持の幅を適合させなければならない。他方では、デバイスは、効果的に保持し、操作するのに小さすぎてはならない。デバイスの形状に応じて、デバイスの幅又は直径を意味する、本発明を具現するデバイスの側面から側面までの寸法について、約８．５ｃｍ［３ ３／８インチ］及び約３．５ｃｍ［１ ３／８インチ］が、妥当な限界を表す。この範囲外の値は、ユーザビリティ問題を有する可能性がある。ちなみに、これらは、握力が通常測定される限界である。

ディスプレイの側方エッジは、並んでいる人差し指８０、中指８２、薬指８４及び小指８６のための余地を、それらが直線であるのかそれ以外であるのかにかかわらず、有しなければならない。さらに、側方エッジは、親指のための空間を可能にしなければならない。したがって、側方エッジは、手の幅、すなわち、親指７０を含まない４本の指の並んだ幅に等しいか又はそれの１．２５倍の大きさであるべきである。左手使用及び右手使用を可能にするために、これは、デバイスの両方の側面について成り立たなければならない。同時に、これは、親指の付け根７２のための十分な空間を保証する。通常見られる最も大きい手の幅は１２０ｍｍであり、これは、手袋が商用に製造される最大幅である。図１Ａ及び図１Ｂ中のもののような矩形デバイスでは、これは、縦方向配向において、デバイスが（厳密な上限なしで）各側面に関して約１５０ｍｍの高さであるべきであることを意味する。図５中のＧＰＳのような円形デバイスでは、それは、デバイスの円周が少なくとも３００ｍｍ、すなわち、手の最大幅の２倍＋親指のためにそれの２５％であるべきであることを意味する。

指が制御する機能を示すためにデバイスがオンスクリーン・プロンプトを利用する場合、指に対してプロンプトが近いと、接続を強調する。デバイスの側面を把持する指と、指をポイントするプロンプトとの間のギャップが大きいほど、指と、プロンプトによって示される機能との間の概念的距離が大きくなる。この点において、指が接触している表面とディスプレイとが隣接していること、さらには同じであることが望ましい。たとえば、スマートフォンのディスプレイは、理想的には、フレームなしにデバイスの前面全体をカバーするべきであり、それは、エッジの周りをカーブすることさえあり得る。このようにして、指は、握手のような把持でデバイスを保持するとき、ディスプレイに隣接している。

図５中のＧＰＳ及び図６中のスマートフォンなど、異なったエッジ、すなわち前面及び背面とは別個の側方表面を有するデバイスの場合、傾向は、エッジを技術的にできるだけ薄くすることである。これにもかかわらず、本発明の目的で、エッジは、ユーザがエッジ上でデバイスを制御する指の動きを実施するのに十分厚くなければならない。これのために、約６ｍｍが妥当な下限である。

構成
ハンドヘルド電子デバイスの構造部品は、一般に、プラスチック又は金属などの剛性材料から作られる。しかし、これは本発明の要件ではなく、本発明の目的で、デバイスは柔軟であり得る。

デバイスを操作するためにユーザがサインを行うためのデバイスの表面、通常、側面及び背面は、これらのサインを検出することが可能な適切なセンサーで構成されなければならない。センサーは、デバイスの内部にあり、特に、手が接触しているデバイスの表面中に埋め込まれるか、又はデバイスの外部にあるか、或いはその両方であり得る。センサーは、いかなる特定の技術にも限定されず、単一の技術にも限定されない。潜在的に使用され得る技術は、ＲＦ追跡、容量検知、光検出、圧電検知、電磁検出などを含む。どんな技術又は手法でも、デバイスは、６つ又はそれ以上の同時接触パッチ、すなわち、各指についての１つの接触パッチ及び親指の付け根７２についての１つの接触パッチを追跡することが可能でなければならない。運動は、一般に、連続する定常状態の間の差を区別することができる論理によって検出されるが、本発明は、運動検出のいかなる特定の方法にも依存しない。

センサー又はセンサー・システムの感度は、ベースライン・サインと操作上のサインとを弁別することを可能にしなければならない。特に、その感度は、デバイスを保持する間に指が行う接触パッチと、デバイスのインターフェースとアクティブに対話するときに同じ指が行う接触パッチとを、接触パッチの弁別的特徴のうちの１つ又は複数の差に基づいて、区別しなければならない。たとえば、その感度は、指の接触パッチのサイズ又は圧力の増加に基づいて、指が押下されたことを検出することが可能でなければならない。或いは、指の接触パッチのロケーションの経時的な差に基づいて、指がスクロール又はポイントするので、指が動いたことを検出することが可能でなければならない。

実際には、指は、皆無ではないにせよ、デバイスの、ユーザが面する側とめったに対話せず、その側は、握手のような把持でデバイスを保持するときに指が通常触れることができない。デバイスの、ユーザが面する側は、しばしばディスプレイによって占有され（ただし、そうされる必要はない）、その側は、本発明の目的で、センサーを装備している必要はない（ただし、そうである可能性はある）。

従来の設計の触覚ユーザ・インターフェースは、一般に、フラット・パネル・デバイスから構成され、詳細には、ジェスチャー・ベースの触覚インターフェースであり、すなわち、それらは、コントロール・パネルのように平面である。（時々、非機能的制御がデバイスのエッジに見られ得る。）ユーザは、前面のみからこれらのインターフェースにアクセスする。本発明のユーザ・インターフェースは異なる。それは、いくつかの異なる面上に位置する。ユーザが親指７０を用いて機能させる面と、ユーザが他の指を用いて機能させる面とは、反対の方向を向く。これは、インターフェースの構造が、手の解剖学的構造、特に親指の対向性を反映するからである。ポイントすること（サイン３）のようなサインは、デバイスの背面など、また他の面を伴い得る。本発明のインターフェースと従来のインターフェースとの間の際立った差は、それが非共面であることである。

本発明の鍵となる設計目標は、ユーザが、自然な様式で、すなわち、容易であり、ねじれを伴わない手及び指の動きを活用することによって、デバイスを操作することを可能にすることである。この目標を支持して、デバイスの形状は、手の形態に従って成形され得る。たとえば、デバイスの背面は、丸いことがある。

ユーザにある程度の触覚フィードバックを与えるために、デバイスの表面は、少なくとも指がそれに接触するところで、圧縮性材料で作られ得る。また、これにより、デバイスが落とされた場合にデバイスを保護する。デバイスはまた、他のやり方でフィードバックを与えるように装備され得る。たとえば、インターフェース表面は、リフレッシュ可能な点字ディスプレイ（ｒｅｆｒｅｓｈａｂｌｅ Ｂｒａｉｌｌｅ ｄｉｓｐｌａｙ）の様式で、又は、接触パッチを瞬間的に暖めることによって、触覚フィードバックを与えるように装備され得る。

図５及び図６は、本発明の実施例を示し、それらにおいて、ユーザ・インターフェースがスタンドアロン・デバイスと一体化され、ユーザ・インターフェースはスタンドアロン・デバイスを操作する働きをする。ＧＰＳ及びスマートフォンは、この種類の一般的な実例である。他のデバイスのアクセサリ（周辺機器）としての代替実施例も、本発明の範囲内にある。図４中の遠隔制御が適例である。そのようなデバイスの機能は、通常、別のデバイスを制御することに制限される。図７は、アクセサリ・デバイスとしての本発明のまた別の実施例を示す。それは、本発明のインターフェースを組み込んだケーシング又はシェルの形態の周辺電子デバイス５００であり、その中に、周辺電子デバイス５００が制御する第２のデバイスが挿入され得る。シェル中に挿入されるデバイスが周辺入力デバイスを受け付け、そのオペレーティング・システムが周辺入力デバイスからの信号を処理することができるとすれば、この実施例は、本発明のインターフェースの機能を既存のデバイスに追加することが可能である。ケーシング又はシェルからの信号は、物理接続、たとえば、図７中のコネクタ５０２、或いは、ワイヤレス・リンク、たとえばＢｌｕｅｔｏｏｔｈ（登録商標）、赤外光（又はその両方）を通して、ケーシング又はシェルが囲むデバイスに送信され得る。

利点
本発明の利点は、限定はしないが、以下を含む。

本発明は、異なる種類のハンドヘルド電子デバイスの手中での操作のために設計された革新的触覚ユーザ・インターフェースである。それは、特に、ユーザが完全に自然な様式で（デバイスを保持する手の）５本の指すべてを用いてそのようなデバイスを操作することを可能にすることによって、そのようなデバイスの人間工学を改善する。それは、様々なタイプ、形状及びサイズの広範囲のハンドヘルド電子デバイスにわたる操作上の様式の標準化をも可能にする。同時に、本発明を具現する電子デバイスは、従来のインターフェース設計に固有のいくつかの操作上の問題、たとえばファット・フィンガー問題を克服する。

ユーザは、本発明の触覚ユーザ・インターフェースを装備したハンドヘルド電子デバイスをユーザが手中で自然に保持するやり方で、そのようなデバイスを操作する。インターフェース設計は、親指を用いて従来のインターフェースを操作するために必要とされることがあるものなど、不自然な指の動きを意図的に控える。ユーザが行うことを必要とされるすべての動きは、手、特に指の微細運動技能に従う。指は、ねじれ、すなわち、指の自然な運動能力の限界における動きを行う必要はない。

本発明のインターフェースは、フルサイズのインターフェースである。それは、スケールダウンされた要素を操作することを伴わない。接触パッチのサイズ及びピッチ（並びにそれらのロケーション）は、ユーザの手によって決定され、それは各ユーザについてのものである。それらは、（使用のために）自然な様式でデバイスを保持するときに個々のユーザの指がデバイスに接触するところの直接的関数である。ぎっしり詰め込まれた小型キーボード及びキーパッド上のキーのような、低減されたサイズのターゲットをたたくこと（ｐｅｃｋｉｎｇ）はない。

本発明のインターフェースは、デバイスと対話するための唯一ではないにしても主要な道具としての親指に依拠するインターフェースよりも大きい操作効率を可能にする。これは、本発明が、すべての指、特に、手の４本の最も器用な指を用いてデバイスを操作するからであり、従来のインターフェース設計により、手の４本の最も器用な指は、デバイスを保持することを余儀なくされる。その上、本発明のインターフェースは、指の運動能力に負担を課すことなしに、適切な様式で、すべての指、特に親指を利用する。

本発明のインターフェースは、操作されるデバイスのサイズにかかわらずユーザが同じサインを行うという点で、スケーラブルである。これは、個々のユーザの手のためにインターフェースをスケーリングするか又はさもなければ構成するか、或いは、個々のユーザの手にインターフェースを適合させるためのアドホックな機構の必要をなくす。ユーザが、本発明を具現するデバイスを握手のような把持で保持することができる限り、どんなユーザも、デバイスをそのままで操作することができる。これは、多くの従来の触覚インターフェースが、それらの制御をユーザの親指が触れる範囲内に持ってくるために必要とし、且つ、そのようなデバイスのサイズ、そのようなデバイスを製造し、サポートする複雑さ、及びコストを増やす、追加の構成要素を不要にする。

本発明のインターフェースは、いずれかの手を用いて変更なしに使用され得る。ユーザの利き手のためにインターフェースを再構成する必要はなく、これは、デバイスを製造する複雑さ及びコストを低減する。

本発明は、デバイスの形状に高度に依存しないので、多種多様な形状のデバイスに対してそのままで展開され得る。ユーザが本発明のインターフェースを装備したデバイスを快適に把持することができる限り、ユーザの指は、その事実によって、デバイスを操作するための適切な位置にある。本発明のインターフェースは、ユーザの指が接しなければならない固定ロケーションにマークがある構造化されたレイアウトによって制約されない。ユーザの手がデバイスにタッチするところは、ユーザの手がインターフェースを機能させるところである。範囲外にあるか、親指のような短くて太い不器用なポインタを用いて確実に打つには小さすぎるか、又は視覚障害のあるユーザには見えない制御の問題は、起こらない。

ユーザは、インターフェースと対話するためにそれを見るか又はそれに注目している必要はない。これは、暗闇でデバイスを操作するとき、或いは別のデバイスを操作するために遠隔制御を使用するとき、又は車を運転するときのように、ユーザの注意が他の場所にあるとき、利点であり得る。視覚障害者の場合、それは、感触によって識別することができない固定された制御に勝る決定的な利点である。

本発明の方法を用いたタイピングは、標準ＩＴＵ Ｅ．１６１キーパッドと比較して簡単である。あらゆる文字は２つのキーストロークを要し、これは、キーパッド上の文字ごとのキーストロークの平均数よりもわずかに少ない。これは、ユーザが、一定のリズムにおいてタイプすることを可能にし、これは速度を促進する。キーパッドでは、文字ごとのキーストロークの数は（１つから４つの間で）変動し、キーストロークのフローはシンコペート（ｓｙｎｃｏｐａｔｅ）される。さらに、同じ文字を連続して２回タイプするために、ユーザは、すでにシンコペートされているリズムを中断しなければならないが、ただし、これは特定の文字シーケンスについてのみである。連続する２つのスペースについて、実例を挙げると、ユーザは、単に、休止することなしに２回スペース・キーを打つ。２つのＴについてはそうではない。休止することなしに連続して２つのＴをタイプすると、Ｕが生成される。これは、ＵがＴと同じキー上にあるからである。Ｕは２つのキーストロークを必要とし、Ｔは１つのキーストロークを必要とする。（Ｔが登録されるために）休止することなしに２回キーを押下すると、Ｕが生成される。これらの不規則な状態は、流れるようなタイピングにとっての障害であり、すでに複雑なシステムに複雑さを追加する。ユーザはキーパッドをそのままでマスターすることが可能であるので、ユーザが、本発明が表すより簡単なシステムを学習することが可能であると考えることは、妥当である。

本発明のインターフェースを使用するとき、ユーザは、プロセスの明確な制御と、ディスプレイの完全で妨害されていないビューとを有する。指はインターフェースと対話しない。ポイントスキャンすること、すなわち、２つのクロスヘアをあるポイント上で交差するようにすることは、ユーザが正確にピンポイント・ターゲットを打つことを可能にする。ピンポイント・ターゲットにカーソルをポイントすることも、同様である。これは、親指（又はポインタとして使用される他の指）の指パッドがターゲットと比較して不相応に大きく、親指の指パッドがターゲットを隠し、ターゲットを確実に打つことを不可能にする従来のインターフェースでは可能でなく、これは、ファット・フィンガー問題として知られる現象である。

本発明のインターフェースは、標準構成にある６つの接触パッチを備える接触にのみ応答するように構成され得る。このようにして、デバイスは、たとえば財布又はポケット中でそれを持ち歩くとき、偶発的接触によって非意図的にトリガされることに対して実際上はセキュアにされ得る。タッチ・スクリーン・インターフェースをもつハンドヘルド・デバイスは、特にこれを受けやすく、運搬のためにセキュアにされなければならない。

圧縮性外側層をもつ本発明の実施例は、従来のデバイスには存在しない、ある程度の触覚フィードバックを与える。さらに、クッション性のあるハウジングが、落とされることによる損傷からデバイスを保護する。

大事なことを言い忘れていたが、本発明のインターフェースは、インターフェース概念に関するパラダイム・シフトを反映し、それは、従来の設計のインターフェースと組み合わせて展開され得る。ハイブリッド様式でデバイスを操作する可能性は、従来の設計のインターフェースから本発明のインターフェースへの移行を容易にし得る。

１つの広義の実施例では、本発明は、デバイスの中でも、スマートフォン、従来の携帯電話、ページャ、計算器、ハンドヘルドＶＲコントローラ、（ステアリング・ホイールに統合された遠隔制御など、本発明が可能にする新しい種類を含む）遠隔制御、ＧＰＳナビゲーション・デバイス、及びハンドヘルド・キーパッドに適用可能である。

本発明の上記の説明は、当業者が、それの最良の形態であると現在見なされるものを製作及び使用することを可能にし、当業者は、本明細書の特定の実施例、方法、及び実例の変形形態、組合せ、及び等価物の存在を理解し、諒解する。したがって、本発明は、上記で説明された実施例、方法及び実例によって限定されるべきではなく、本発明の範囲及び趣旨内のすべての実施例及び方法によって限定されるべきである。

デバイスが握手のような把持で保持される場合、ユーザの人差し指８０は、依然として、動きの著しい自由を享受し、デバイスは、一方の側面上の親指７０及び親指の付け根７２と他方の側面上の他の３本の指との間で固定される。これは、ユーザが、人差し指８０をポインタとして使用して、一般にデバイスの背面上のセンサー領域上の経路をたどることを可能にする。

として表に示されている、ポイントすることと呼ばれる、この動きは、ユーザがタッチパッド上で人差し指を用いて行うのと同じ動きである。この動きは、（一般にデバイスの前面上の）ディスプレイ上のカーソルの位置を制御するために使用され得る。人差し指が触れる範囲の限界において、ユーザは、ユーザがタッチパッド上で行うように、新しい位置からその動きを続けるために人差し指を再配置することができる。この動きは、特に、マップ上のポイントをマークすることなど、多次元的又は連続的データを入力することに適している。人差し指８０のみが容易にポイントすることができ、したがって、ポイントすることは、基本セットに、１つのサイン（サイン３）のみを与える。

ユーザはまた、項目スキャニングによって、構造化された形態で提示されていない項目を選択することができる。この場合、焦点は、ユーザがスキャンを停止するまですべての項目を連続的にスキャンする。完全に構造化されていないコンテンツの場合、ユーザは、所望の項目を起動するために、項目をポイントすること、すなわち、人差し指を用いてポインタを移動すること（サイン３）、又は、ポイントスキャンすること（サイン２及びサイン８）と、人差し指と中指を一緒に押下すること（サイン１４）とによって、その項目を選択することができる。

Claims (23)

1. 電子デバイスのためのユーザ・インターフェースであって、
   外表面と、
   前記外表面上の１つ又は複数の連続センサー領域であって、手の１本又は複数の指及び／又は親指の付け根によって行われた複数の同時接触パッチを検出するように１つ又は複数のセンサーで構成された、１つ又は複数の連続センサー領域と、
   前記１つ又は複数のセンサーに接続されたプロセッサであって、他の接触パッチに対する特定の接触パッチの相対ロケーションに基づいて前記特定の接触パッチを識別する、プロセッサと
   を備え、
   前記プロセッサは、１つ又は複数の接触パッチの組み合わせられた弁別的特徴からなるサインを識別すること、及び前記サインを、電子デバイスを制御するか又はデータを入力するための信号と関連付けることによって、並びに前記信号を前記デバイスに送信することによって、前記電子デバイスを制御するように構成された、前記ユーザ・インターフェース。
2. 前記プロセッサが６つの接触パッチの標準構成を認識しない限り、前記プロセッサによる前記電子デバイスの制御が始動されず、
   前記標準構成は、ユーザが使用のために握手のような把持で前記電子デバイスを保持しているとき、手が前記インターフェースの前記外表面に自然に接触する場合であり、
   前記標準構成は、互いに対する前記手の前記指及び前記親指の前記付け根によって行われた前記接触パッチの前記相対ロケーションによって認識される、
   請求項１に記載のインターフェース。
3. スタンドアロン・ハンドヘルド電子デバイスであって、前記デバイスの一体部分として請求項１又は２のいずれか一項に記載のインターフェースを装備した、スタンドアロン・ハンドヘルド電子デバイス。
4. アクセサリ（周辺）電子デバイスであって、前記アクセサリ（周辺）デバイスの一体部分として請求項１から３のいずれか一項に記載のインターフェースを装備しており、前記アクセサリ（周辺）デバイスの機能が、（電子デバイスであることもそうでないこともあるか、又は、手中での操作に適していることも適していないこともある）別個のデバイスを制御することを含む、アクセサリ（周辺）電子デバイス。
5. 前記１つ又は複数の連続センサー領域のうちの少なくとも１つが、前記電子デバイスの側面又は背面上にある、請求項３に記載のインターフェース。
6. 前記１つ又は複数の連続センサー領域のうちの少なくとも１つが、前記アクセサリ（周辺）電子デバイスの側面又は背面上にある、請求項４に記載のインターフェース。
7. 接触パッチの前記弁別的特徴が、動きを行う指によって決定され、
   前記指による前記動きが、押下すること、位置を変化させること、及び／又は接触を断つことなどを含む基本的動きを備え、
   前記基本的動きのタイミング、強度、速度、及び／又は方向が変動させられ得、
   前記基本的動きが、複合的動きを生じるように組み合わせられるか、又はさもなければ構造化され得る、
   請求項１から６のいずれか一項に記載のインターフェース。
8. 前記プロセッサは、前記手が行う他の接触パッチに対する特定の接触パッチの前記相対ロケーションを、前記電子デバイス上の中心下部原点又は別の座標系からのそれの重心の方位角θ、及び半径方向距離ｒ又は極角φのいずれかを比較することによって決定する、請求項１から７のいずれか一項に記載のインターフェース。
9. １つ又は複数の連続センサー領域内の各接触パッチの絶対ロケーションは、前記ユーザの手の形態、手のサイズ、及び利き手、並びに、前記ユーザが前記インターフェースを保持するやり方の変動／不整合に応じて、また、前記ユーザが前記デバイスを操作するために行う意図的な指の動きの結果として、変動し、
   互いに対する前記接触パッチの相対ロケーションが一定である、
   請求項１から８のいずれか一項に記載のインターフェース。
10. 前記プロセッサは、手の５本の指すべて及び前記親指の前記付け根が１つ又は複数の連続センサー領域と接触していること、並びに、前記接触パッチが標準構成にあることを前記プロセッサが検出しない限り、サインを無視するように構成された、請求項１から９のいずれか一項に記載のインターフェース。
11. 他のデバイスを受け、及び／又はそれにアタッチするために構成された、請求項４に記載のアクセサリ（周辺）デバイス。
12. 前記アクセサリがケーシングとして構成された、請求項１１に記載のアクセサリ（周辺）。
13. 前記アクセサリ（周辺）デバイスがワイヤレス技術によって被制御デバイスと通信する、請求項４に記載のアクセサリ（周辺）電子デバイス。
14. 前記アクセサリ（周辺）デバイスが物理接続によって前記被制御デバイスと通信する、請求項４に記載のアクセサリ（周辺）電子デバイス。
15. 請求項１２に記載のハンドヘルド・ケーシングであって、前記ハンドヘルド・ケーシングが、他のデバイス上にスナップ嵌合するように構成された、ハンドヘルド・ケーシング。
16. 前記ハンドヘルド・ケーシングが、前記他のデバイスにフレキシブルに合うように構成された、請求項１２に記載のハンドヘルド・ケーシング。
17. 前記プロセッサは、前記デバイスの一方の側面上で、及び前記デバイスの他方の側面上で検出された接触パッチの数、並びに、各グループ内の、前記デバイスの下部からの接触パッチの高さを比較することによって、前記手が行う他の接触パッチに対する特定の接触パッチの前記相対ロケーションを決定する、請求項１から１６のいずれか一項に記載のインターフェース。
18. 電子遠隔制御デバイスであって、前記遠隔制御デバイスの一体部分として請求項１から１７のいずれか一項に記載のインターフェースを装備しており、前記遠隔制御デバイスの機能が、（電子デバイスであることもそうでないこともあるか、又は、手中での操作に適していることも適していないこともある）別個のデバイスを制御することを含む、電子遠隔制御デバイス。
19. 請求項１から１８のいずれか一項に記載の、電子デバイスのためのユーザ・インターフェースであって、
    外表面と、
    前記外表面上の１つ又は複数の連続センサー領域であって、手の１本又は複数の指及び／又は親指の付け根による複数の同時接触パッチを検出するように１つ又は複数のタッチ・センサーで構成された、１つ又は複数の連続センサー領域と、
    前記１つ又は複数のタッチ・センサーに接続されたプロセッサであって、他の接触パッチに対する特定の接触パッチの相対ロケーションに基づいて前記特定の接触パッチを識別する、プロセッサと
    を備え、
    前記プロセッサは、１つ又は複数の接触パッチの組み合わせられた弁別的特徴からなるサインを識別すること、及び前記サインを、電子デバイスを制御するか又はデータを入力するための信号と関連付けることによって、並びに前記信号を前記デバイスに送信することによって、前記電子デバイスを制御するように構成された、
    ユーザ・インターフェース。
20. 接触パッチの前記弁別的特徴が、インターフェース表面にタッチする指及び／又は親指の付け根によって決定される、請求項１から１９のいずれか一項に記載のインターフェース。
21. スタンドアロン・ハンドヘルド電子コンピューティング・デバイスであって、前記デバイスの一体部分として請求項１から２０のいずれか一項に記載のインターフェースを装備した、スタンドアロン・ハンドヘルド電子コンピューティング・デバイス。
22. スタンドアロン・ハンドヘルド電子（ワイヤレス）通信デバイスであって、前記デバイスの一体部分として請求項１から２１のいずれか一項に記載のインターフェースを装備した、スタンドアロン・ハンドヘルド電子（ワイヤレス）通信デバイス。
23. 請求項１から２２のいずれか一項に記載の、電子デバイスのためのユーザ・インターフェースであって、
    外表面と、
    前記外表面上の１つ又は複数の連続領域であって、１本又は複数の指によって又は親指の付け根によって行われた接触パッチに触覚フィードバックを与えるように（リフレッシュ可能な点字ディスプレイの様式で）１つ又は複数の機械的トランスデューサで構成される、１つ又は複数の連続領域と
    を備える、ユーザ・インターフェース。