JP2013546066A - デバイスとのユーザのタッチ及び非タッチベースのインタラクション - Google Patents

Abstract

本発明は、デバイスに対する入力を提供するための方法に関し、その入力は、デバイスとの、少なくとも１つのタッチベースのインタラクションと少なくとも１つの非タッチベースのインタラクションとの組み合わせに基づいており、１つのタイプの入力は、他のタイプの入力に応答してデバイスに対して命令される動作に影響を与える。本発明はまた、対応するデバイスに関する。ユーザとデバイスとの間のインタラクションをさらに改善するために、フィードバック提供手段が備えられる。

Description

本発明は、デバイスに対するジェスチャベースの入力を提供するための方法及びその対応するデバイスに関する。

電子デバイスはますます、ユーザとのジェスチャベースのインタラクションを可能とする。例えば単一のもしくはマルチタッチ感知力を有するタッチスクリーンなどのタッチ感知力を有する（タッチセンサ方式の）インターフェースは、ユーザの手又はそのうちの１本もしくはそれ以上の指を用いてインターフェースをタッチするユーザによって実行されるジェスチャの軌道をセンシングすることができる。軌道の空間的な及び／又は時間的な特性に基づいて、対応する命令が、次に対応する動作を実行する電子デバイスの処理ユニットに対して入力される。例えば、右から左への線形的な軌道は、スクリーン上のオブジェクトを右から左へと移動させるためにもしくはスクリーン上に例示された１つのページから次のページへと変更するために使用されるスワイプもしくはフリックジェスチャとして解釈される。もう１つのポピュラな例は、タッチ感知力を有するインターフェースが互いに離れるように移動する２本の指の存在をセンシングするときにディスプレイ上のオブジェクトを拡大させるためのズームインジェスチャである。

最近、デバイスの前のユーザによって簡単に実現化されるジェスチャは、カメラを用いて、そしてデバイス内で実行される画像分析に基づいてセンシングされ、そのような３Ｄジェスチャの特性が分析されるので、ユーザによるデバイスのタッチ感知力を有するインタラクション表面との直接的な接触を必要としないジェスチャベースの入力能力を有する電子デバイスが提供された。

ジェスチャベースのインタラクションパターンを用いて、インタラクションのより自然な方法がユーザと電子デバイスとの間で獲得され、そのような電子デバイスのインタラクション手段はデバイスとインタラクトすることの自然なもしくは直感的な方法に必ずしも相当していないかもしれない特定のタイプのインタラクションパターンをいまだに強要するので、まだ改良が必要である。

従って、本発明の目的は、さらにより柔軟性があって、インタラクションパターンのより自然なインタラクションスキーム（方法）への適応を可能とするジェスチャに基づいて、デバイスとインタラクトするための方法を提供することにある。

この目的は、請求項１に係る方法によって獲得される。デバイスに対する入力を提供するためのデバイスとインタラクトするための方法は、インタラクションは、デバイスとの、少なくとも１つのタッチベースのインタラクションと少なくとも１つの非タッチベースのインタラクションとの組み合わせに基づくことを特徴とし、ここで、１つのタイプのインタラクションは、他のタイプのインタラクションに応答して、デバイスとのインタラクションに寄与される入力に影響を与える。従って、インタラクションに関してデバイスによって実行される動作に対するタッチベースのインタラクションの影響は、もう１つのタイプのインタラクションに依存するようになる。例えば、同一のタイプのタッチベースのインタラクションは、もし非タッチベースのインタラクションが異なれば、デバイスによって実行される２つの異なる動作へと導くであろう。従って、特定のインタラクションに対するデバイスの応答は、特定の環境に適用され、それ故にデバイスとのインタラクションをより柔軟性を有するものとし、より直感的なものとする。

この明細書等において、「タッチベースの」という用語は、ユーザがデバイスを物理的にタッチするユーザとデバイスとの間のいかなる種類のインタラクションに関する。タッチベースのインタラクションは、デバイスの所定の領域をタッチすること、デバイスの表面にわたってスライドすることに関してもよく、もしくはデバイスを保持することによって簡単に出来る動作に関してもよい。タッチは、例えばユーザの指もしくはスタイラスなどによる単一のタッチイベントまたは１つ以上の指がデバイスをタッチするマルチタッチイベントとすることができる。

この明細書等において、「非タッチベースの」という用語は、ユーザとデバイスとの間の物理的な接触を必要としないユーザとデバイスとの間のいかなる種類のインタラクションに関する。

本発明に係る明細書等における「入力」という用語は、所定のタスクもしくは動作を実行するためのデバイスによって識別されるいかなる種類の命令に関する。

好ましくは、方法は、デバイスとのジェスチャベースのインタラクションを提供することができ、当該方法は、そのインタラクションが、デバイスをタッチすることなしの少なくとも１つのジェスチャベースのインタラクションと、ユーザがデバイスをタッチする少なくとも１つのタッチベースのインタラクションとのシーケンスに基づくことを特徴としている。ここで、１つのインタラクションの、特に軌道及び／又は速度及び／又は継続時間及び／又は圧力である少なくとも１つの実現化（認識）特性は、デバイスとのインタラクションに寄与される入力に影響を与える。

この明細書等において、「ジェスチャ」という用語は、目に見える身体的動作によって特定のメッセージを伝達するいかなる形態の非言語的なデバイスとのインタラクションに関する。

従って、例えばタッチ感知力を有するインタラクション表面上で実現化される１次元もしくは２次元のジェスチャなどのデバイスタッチングインタラクションは、ユーザの指、手もしくは腕によって実行される３次元ジェスチャとすることができる非タッチベースのジェスチャと組み合わせられ、その結果、ユーザは、デバイスに対して適用する必要なしに、デバイスとインタラクトするときに実世界において彼が使用される動作をコピーすることができる。他のインタラクションの特性に基づいたパラメータを用いて１つのインタラクションに影響を与えることによって、インタラクションは、より柔軟性を有すると同時により直感的となる。１つの例として、オブジェクトのピックアップ及びリプレース（置換）動作は、デバイスの表面上のオブジェクトをグラビングすることによって実行され、それ故に、デバイス自身を連続的にタッチする必要なしにデバイスをタッチしてそれをデバイス上のもう１つの場所に移動させる。従って、デバイスとのインタラクションに関する柔軟性は高められる。もしグラビングの動作がなければ、動いている非タッチングのジェスチャが同一の結果へと導いたであろう。

変形例によれば、例えばジェスチャなどの非タッチベースのインタラクション及びタッチベースのインタラクションは、順次にもしくは交互に発生することができる。これにより、ユーザが例えば上述したピックアップ及び移動又は平行移動（トランスレート）動作などの実生活パターンを実現化することを可能とさせる。

好ましくは、特にジェスチャである少なくとも１つの非タッチベースのインタラクション及び少なくとも１つのタッチベースのインタラクションは、時間において少なくとも部分的にオーバーラップすることができる。従って、タッチベースのスキームと非タッチベースのスキームとを組み合わせる場合は、従来技術と比較すると、より複雑なインタラクションパターンを可能とすることができる。例えば、ユーザがディスプレイ上に例示されたオブジェクトを回転させたい場合には、ユーザは、デバイスをタッチすることによって回転軸を選択することができ、他方の手を用いて、所望の回転軸の周りの回転を命令するフリックもしくはスイープジェスチャを実現化することができる。

有利に、ユーザがデバイスをタッチするインタラクションは、デバイスの、正面、裏面もしくは側面のうちの少なくとも１つに対して発生することができる。デバイスのインタラクティブな（双方向性の）感知力を有する領域を、（通常ユーザに面する側として定義される）正面に制限しないことによって、ユーザはデバイスとの彼のインタラクションを実行するときにおいて、ユーザはこの一面を介してインタラクトすることを強要されず、ユーザはどのようにデバイスとインタラクトしたいかを自由に選択することができる。

有利に、ユーザがデバイスをタッチするインタラクションは、キーベースの入力、コンピュータマウスベースの入力、トラックボール、またはタッチもしくはマルチタッチベースの入力の少なくとも１つを動作状態とすることができる。１つもしくはそれ以上のインタラクション技術の提供は、インタラクションパターンの柔軟性をさらに高める。

好ましい実施態様によれば、非タッチベースのジェスチャは、例えばデバイス及び／又は加速度計、ジャイロスコープ、超音波センシング手段などのうちの少なくとも１つを備えた１つもしくはそれ以上の遠隔制御ユニットに組み込まれた１つもしくはそれ以上のカメラ手段を用いてセンシングされる。これらの要素は、安定性かつ信頼性のある方法における非タッチベースのジェスチャのセンシングを可能とする。

超音波は、タッチベースのインタラクションと非タッチベースのインタラクションとの両方をセンスするために使用されるが、専用のセンシング手段及びアルゴリズムが両方のタイプのインタラクションに対して必要とされる。

有利に、インタラクションのシーケンスは、ａ）デバイスに対する入力を開始するための登録段階と、ｂ）デバイスに対する入力を提供するための連続段階と、ｃ）デバイスに対する入力を確認するための終了段階とを含むことができる。登録段階の間は、デバイスは、それがユーザの入力を受信し、それによってシステムのユーザフレンドリネス（操作性の良さ）を高めることができることをユーザに知らせるであろう一方で、ユーザはデバイスに対する誤った入力が回避されるように彼の入力を確認するための終了段階を使用する。

好ましくは、ステップｃ）において、タッチベースのインタラクションは、例えばデバイスをタッチすることなしにユーザによって実現化されるジェスチャなどの非タッチベースのインタラクションを介して、ステップｂ）において提供された入力を確認するために使用される。タッチベースの確認インタラクションは、非タッチベースのインタラクションがデバイスによってセンシングされる、デバイスの周りの所定の容積内のジェスチャのような意図的でない非タッチベースのインタラクションによる誤った入力の回避を改善する。

有利に、上記方法は、ｄ）例えばジェスチャなどのタッチベースのインタラクションを用いてオブジェクトを選択するステップと、ｅ）例えばジェスチャなどの非タッチベースのインタラクションに基づいて選択されたオブジェクトに関して入力を提供するステップとを含むシーケンスを実現化することによって選択されるオブジェクトに関して、オブジェクトを選択してデバイスに対する命令を提供するために使用される。実生活の状況におけるのと同様に、それ故に、実生活において実行するためにより自然であるかもしれない入力が提供される前にオブジェクトがタッチされてそれが選択されるべきである。

上述した方法は、オブジェクトを第１の位置から異なる位置へと移動させるための入力を提供するために特に有利であって、当該方法は、ｆ）第１の位置においてデバイスをタッチするユーザによって提供されるピンチ、スクウィーズもしくはローテーション（回転）のジェスチャをセンスするステップと、ｇ）デバイスをタッチしない移動ジェスチャをセンスするステップと、ｈ）第２の位置におけるタッチベースのジェスチャもしくは第２の位置の上方における非タッチベースのジェスチャのいずれかによるリリースジェスチャをセンシングするステップとを含むジェスチャのシーケンスを含む。例えば、アイコンは、スクリーン上の第１の位置から第２の位置へと移動されるかもしくはスクリーン上に表示されたオブジェクトでさえもスクリーン上でピックアップされてスクリーンの外側の機能領域上へとスクリーンを超えて移動される。オブジェクトがドロップされる第２の位置の識別と同時に、例えば印刷、削除などの、スクリーンの外側の機能領域に寄与される動作が実行される。

ピンチもしくはスクウィーズジェスチャの間、デバイスのタッチベースのユーザインタラクション手段は、例えば互いにより接近して移動させる、インタラクション表面上に存在する指先などの２つもしくはそれ以上のオブジェクトを識別するように構成される一方で、タッチングが発生するリリースジェスチャは、逆の動きに対応する。回転ジェスチャの場合には、１つのオブジェクトは、第２の動かないオブジェクトの周りを回転するかもしくは両方のオブジェクトが曲線の軌道を描写する。非タッチベースのユーザインタラクション手段によってセンシングされる非タッチベースのジェスチャに対して、移動ジェスチャは、座標が時間において変化するジェスチャに対応する。非タッチベースのリリースジェスチャは、例えば互いに離れて移動するかもしくは逆方向に回転させる指などの、少なくとも２つの要素をセンシングして識別することに対応する。スクリーン上のオブジェクトを異なる位置に移動させるための命令を入力するための本発明の方法によれば、デバイスとインタラクトすることの自然な方法が可能となる。

もう１つの有利な使用によれば、上述した方法は、ｉ）タッチベースのインタラクションをセンシングするステップと、ｊ）タッチベースのインタラクションに応答して、パラメータを設定するステップと、ｋ）同時に非タッチベースのジェスチャをセンシングするステップと、ｌ）非タッチベースのジェスチャ及びパラメータ設定に応答して、対応する動作をデバイスに対して命令するステップとを含むことができる。この方法において、非タッチベースのジェスチャとタッチベースのジェスチャとの両方が同時に発生し、ここで、タッチベースのジェスチャによって設定されたパラメータが命令入力パターンの柔軟性を高める。例えば、この方法は、デバイスをタッチすることによって回転軸を定義するのに適している一方で、ユーザの他方の手によるスワイプもしくはフリックジェスチャがその定義された軸の周りのオブジェクトの回転を開始するであろう。この明細書等において、例えばスワイプなどのジェスチャは必須の線形的な軌道に関し、ここで、フリックジェスチャは、特定のしきい値よりも速く実行されるスワイプジェスチャに対応する。スワイプジェスチャとフリックジェスチャとに対して、デバイスに対する命令入力は異なることができる。

本発明の目的はまた、上述された方法とは独立して、請求項１１に係るデバイスに対するジェスチャベースの入力を提供するための方法によって獲得される。

請求項１１に係る方法は、上述した方法のいずれか１つと選択的に組み合わされる、デバイスに対するジェスチャベースの入力を提供するための方法であって、当該方法は、ジェスチャをセンシングするステップと、ジェスチャを分類するステップと、分類によって、デバイスに対する命令を入力するステップとを含み、当該命令は、特にジェスチャの軌道及び／又は速度及び／又は継続時間である、ジェスチャの実現化特性に依存し、ジェスチャから独立した少なくとも１つのパラメータを用いてスケーリングする。

好ましくは、パラメータは、デバイスのパラメータ及び／又はデバイスのディスプレイ上に提示されるオブジェクトのパラメータ及び／又はジェスチャを行うかもしくは実現化するオブジェクトとデバイスとの間の距離のうちの少なくとも１つとすることができる。

例えば、ジェスチャは、物理的なデバイスのサイズとデバイスのディスプレイ上のオブジェクトのサイズとの両方に基づいて、より小さなサイズのジェスチャからより大きなサイズのジェスチャの範囲とすることができ、並びに／又はより短いサイズのジェスチャからより長いサイズのジェスチャの範囲とすることができる。従って、好ましくは、少なくとも１つのパラメータは、デバイスもしくはオブジェクトの１次元、２次元もしくは３次元におけるサイズとすることができる。デバイスのスクリーン上に例示されたオブジェクトのサイズによって、それ故にジェスチャのスケーリングはそれに応じて適用される。

好ましくは、ジェスチャの実現化特性と少なくとも１つのパラメータとの間のスケーリングは、同一の命令を提供するように正比例とすることができる。従って、例として、小さいオブジェクトをスクリーンの一方の側から他方の側へと移動させるために、短い非タッチベースのジェスチャだけが必要である一方で、より大きなオブジェクトに対して同一の結果を獲得するためには、ジェスチャは、より長い非タッチベースのジェスチャであることによってより大きくすることができる。もう１つの例として、デバイスに接近して、彼の指を用いて例えばスワイプなどの小さいジェスチャを実現化するユーザは、もし彼がデバイスからより離れた場所からジェスチャを実行する場合に同一の入力を提供したければ、彼の手を用いて例えばスワイプなどのより大きなジェスチャを提供することができる。

本発明のパラメータによるジェスチャのスケーリング方法は、デバイスのスクリーン上に例示されたオブジェクトに限定されるだけでなく、デバイス自身へと拡張することができる。非タッチベースのインタラクション手段を電子デバイスに組み込む場合、本発明の特定の実施態様に係るインタラクション手段は、入力ジェスチャのスケーリングを定義するためにデバイスの物理的サイズを考慮するように構成される。それ故に、例えばスマートフォンなどの小型の携帯型デバイスに対して、もしくは例えばＥ−ｂｏｏｋ（電子書籍）などのより大きなデバイスに対して、同一の動作を実行するために必要であるジェスチャは、サイズにおいてデバイスのサイズに適応されてもよい。

好ましい実施態様によれば、少なくとも１つの非タッチベースのインタラクションは、特に光強度、電界、磁界、電磁放射、圧力、温度、湿度、振動に関する環境パラメータに基づくことができる。それ故に、例えば３Ｄジェスチャなどの非タッチベースのジェスチャがタッチベースのインタラクションに応答してデバイスとのインタラクションに寄与される入力に影響を与えるだけでなく、デバイスの対応するセンシング手段によってセンシングされる環境パラメータにも影響を与えることができる。

例えば、センシング手段がデバイスが暗闇の中に置かれたことを識別する場合には、デバイスとの任意の非タッチベースのインタラクションは、さらなる入力を可能とする前にデバイスのスクリーンもしくはキーボードのバックライトを照射することへと導くであろう一方で、センシング手段がデバイスが明るい環境に置かれたことを識別する場合には、デバイスに対する同一の入力が異なる動作を引き起こすことができ、例えばキーを打つことによってスクリーン上に対応する文字がすぐに表示されるであろう。

本発明はまた、コンピュータプログラム製品に関連し、当該コンピュータプログラム製品は、上述した方法のステップを実行するためのコンピュータ実行可能な命令を有する１つもしくはそれ以上のコンピュータ可読媒体を備える。

本発明の目的はまた、少なくとも１つのタッチベースのユーザインタラクション手段と、少なくとも１つの非タッチベースのユーザインタラクション手段とを備えたデバイスによって獲得され、当該デバイスは、上述した方法の１つもしくは組み合わせを実行するように構成される。そのデバイスは、例えばピックアップ及びリプレース動作などの実生活の動作に対応するジェスチャがユーザによって適用されるので、ユーザとデバイスとの間のより自然なインタラクションを可能とする。

好ましくは、デバイスは、少なくとも１つのタッチベースのユーザインタラクション手段と、少なくとも１つの非タッチベースのユーザインタラクション手段と、少なくとも１つのフィードバック提供手段とを備え、
上記非タッチベースのユーザインタラクション手段は、デバイスの周りの所定の容積（立体が占めている空間の部分）内の特にジェスチャである非タッチベースのインタラクションをセンシングするように構成され、
上記少なくとも１つのフィードバック提供手段は、特にユーザの手などのオブジェクトが所定の容積内にエンターするときに、第１の視覚的な及び／又は音響的な出力を出力するように構成される。
従って、ユーザは、デバイスがタッチがないときでさえも入力が受け入れられる状態にあるかどうかをすぐに認識するであろう。

好ましくは、デバイスは、ユーザが他方の手を用いてデバイスの所定の領域をタッチする場合に第１のフィードバックだけが提供されるように構成されてもよい。従って、デバイスに対する意図的でない入力は回避される。

有利に、フィードバック提供手段は、オブジェクトが所定の容積の内側にあるとき、及び／又はオブジェクトがデバイスをタッチするときに、特に第１の出力と異なる、第２の視覚的な及び／又は音響的な及び／又は触覚的な出力を出力するように構成される。従って、ユーザが所定の容積内にエンターするときの登録段階の後、第２のフィードバック出力は、デバイスがジェスチャを受け入れていることをユーザに知らせる。この段階はまた、インタラクション連続段階と呼ばれる。従って、ユーザフレンドリネスはさらに改善される。

有利に、フィードバック提供手段はさらに、特にジェスチャであるインタラクションがタッチベースのユーザインタラクション手段及び／又は非タッチベースのユーザインタラクション手段によってセンシングされる限り、第２の出力を出力するように構成される。従って、いつでも、ユーザはデバイスがジェスチャをいまだに登録しているという事実について知らされるであろう。

有利な実施態様によれば、フィードバック提供手段は、インタラクションが終了されるとき、及び／又はデバイスがスイッチングオフされるかもしくはアイドル状態に置かれるときに、特に第１の出力及び／又は第２の出力とは異なる、第３の視覚的な及び／又は音響的な及び／又は触覚的な出力を出力するように構成される。従って、ユーザは、インタラクションの成功した終了のときにデバイスから終了フィードバック信号を受信する。オブジェクトがデバイスの周りの所定の容積から離れる場合に、終了フィードバックがまた出力されてもよい。従って、ユーザはデバイスがもはや入力を受け入れないであろうことを知るであろう。

好ましくは、デバイスは、その正面上にディスプレイを備えることができ、フィードバック提供手段は、オブジェクトがデバイスの裏面上の所定の容積内に存在する場合は、視覚的な指示がディスプレイ上に提供されるように構成される。この態様では、正面は通常の使用においてユーザに向いているデバイスの側である一方で、裏面はユーザから見て外方向に向いているデバイスの反対側である。

従って、デバイスの裏面によるインタラクションを介して入力を提供しようとするユーザは、例えば裏面上に提供されたタッチ感知力を有するインタラクション手段に対して提供される非タッチベースのジェスチャもしくはタッチベースのジェスチャの間は、そのデバイスがユーザからの入力を受け入れる状態にあることをいつでも知るであろう。このことが、デバイスのユーザフレンドリネスをさらに高める。

好ましい実施態様によれば、デバイスは携帯もしくはポータブルの電子デバイスとすることができる。例えば、携帯電話、スマートフォン、ナビゲータ、電子書籍、オーディオ及び／又はビデオプレーヤ、ポータブルコンピュータなどである。本発明は、インタラクション領域が制限され、通常２００平方センチメートルよりも大きくない小型のデバイスに対して特に有利である。

以下において、本発明の特定の実施形態の詳細な説明が添付の図面を参照して詳細に説明されるであろう。

タッチベースのユーザインタラクション手段及び非タッチベースのユーザインタラクション手段を備えた電子デバイスに関する本発明の第１の実施形態を例示する。 第２及び第３の実施形態に係る、デバイスに対するジェスチャベースの入力を提供するための方法を概略的に例示する。 第１のタイプのインタラクションが第２のタイプのインタラクションによって確認される入力を形成するサブインタラクションのシーケンスを例示する。 ジェスチャベースの入力を提供するための方法の使用に関する本発明の第１の実施例を例示する。 ジェスチャベースの入力を提供するための方法の使用に関する本発明の第２の実施例を例示する。 ジェスチャベースの入力を提供するための方法の使用に関する本発明の第２の実施例を例示する。 ジェスチャベースの入力を提供するための方法の使用に関する本発明の第２の実施例を例示する。 パラメータに従ったスケーリングジェスチャに関する本発明の第４の実施形態を例示する。 第４の実施形態の変形例を例示する。 フィードバック機構に関する本発明の第５の実施形態を例示する。 タッチベースのユーザインタラクション手段と環境特性センシング手段とを備えた電子デバイスに関する本発明の第６の実施形態を例示する。

図１は、本発明の第１の実施形態に係るデバイスを例示する。電子デバイスは、第１のタッチベースのユーザインタラクション手段３と第２の非タッチベースのユーザインタラクション手段５とを備える。

種々の実施形態によれば、タッチベースのユーザインタラクション手段３は、キーベースのインタラクション手段、マウスもしくはドラッグパッド／ドラッグボールベースのインタラクション手段、又はタッチもしくはマルチタッチベースのタッチ感知力を有するインタラクション表面のうちのいずれか１つとすることができる。特定の実施形態では、タッチベースのユーザインタラクション手段３は好ましくは、マルチタッチ感知力を有するインタラクション表面である。図１において、１つのタッチ感知力を有するインタラクション手段３だけが図示されているが、本発明のデバイス１のさらなる変形例によれば、デバイス１のハウジング７の裏面及び／又はハウジング７の側面にもまた、付加的なタッチベースのインタラクション手段を備えてもよい。タッチ感知力を有するインタラクション手段３は、例えば容量性の弾性表面波、音響パルス認識又は他のタッチ技術などを利用するタッチスクリーンもしくはタッチパッドを備えてもよく、又は例えば好ましくは音響パルス認識タッチ技術などを用いてタッチ感知力を有することが可能となった、デバイスのハウジングの部分を備えてもよい。

この実施形態における非タッチベースのインタラクション手段５は、ユーザインタラクション手段３に隣接して位置決めされたカメラである。タッチベースのユーザインタラクション手段３に関して、非接触のインタラクション手段がハウジング７の裏面及び／又は側面にさらに存在してもよい。

電子デバイス１は、例えば電話、スマートフォン、電子書籍、ナビゲーションデバイス、オーディオ及び／もしくはビデオプレイングデバイス、パーソナルコンピュータ、ゲーム機などの携帯もしくはポータブルのデバイスのうちのいずれか１つとすることができる。しかしながら、本発明の概念がまた、他のタイプの電子デバイスにも組み込まれることが可能である。

例えばカメラなどの非タッチベースのユーザインタラクション手段５は、ここでデバイス１の周りの球として例示された所定の容積９内で、例えばユーザの手もしくは指などを用いてユーザによって行われるかもしくは実現化されるユーザジェスチャがセンシングされ、分析され、及び分類されるように構成される。例えば、画像分析手段が電子デバイス１内に提供され、カメラ５によって撮影された画像を分析してユーザの手もしくは指の動きを識別する。その結果、ジェスチャの特性から、対応する入力パターンがデバイス１内の処理ユニットが非タッチベースのユーザインタラクション手段５から命令を受信できるように識別される。ジェスチャの特性もしくはジェスチャ実現化特性には、空間もしくは軌道における拡張、継続時間、指の相対運動などのうちのいずれか１つ又はこれらの組み合わせを含むことができる。

同様の方法では、タッチベースのユーザインタラクション手段３は、例えばユーザインタラクション手段３に対するジェスチャなどの入力がセンシングされ、分析され、及び分類されてユーザが提供したかった対応する命令を識別するように構成される。

タッチベースのユーザインタラクション手段３に加えて、デバイス１は、例えばマイクロフォン１１、ラウドスピーカ１３、例えば他のデバイス１５、１７を充電しかつ通信するための接続インターフェース、キー又はまさに完全なもしくは制限されたキーボードなどの従来技術として知られた付加的な特徴を備えてもよい。さらに、デバイス１は、無線通信手段を備えることができる。

図１では、非タッチベースのユーザインタラクション手段がユーザジェスチャを識別することができる所定の容積９は、デバイスの周りの球として図示された。もちろん、この所定の容積９は、デバイス１の周りの任意の形状を有してもよい。

カメラすなわちインタラクション手段５としてカメラを使用する代わりに、例えば加速度計もしくはジャイロスコープを用いた遠隔コントロール又は超音波センシング手段などの、ジェスチャを識別できる任意の他の適切な非タッチベースのユーザインタラクション手段が使用される。

従来技術のデバイスと比較すると、本発明に係る電子デバイス１により、ユーザがタッチベースのインタラクションパターンと非タッチベースのインタラクションパターンとの組み合わせに基づいてデバイスに対する入力を提供することを可能とする。これが、実世界において実行されるジェスチャが電子デバイスとインタラクトするときに同様の動作を実現化する場合にコピーされるであろうという利点を有する。従って、デバイスとインタラクトすることのより自然かつ直感的な方法が可能となる。これが、本発明の実施形態に関して詳細に説明されるであろう。

図２ａは、例えば図１に例示された電子デバイス１などの電子デバイスに対する入力を提供するための方法に関する本発明の第２及び第３の実施形態を例示する。

図２ａのコラム１及びコラム２は第２の実施形態に関し、コラム１からコラム３は本発明の第３の実施形態に関する。

コラム１はユーザの動作（アクティビティ）を例示する一方で、コラム２は本発明に係る電子デバイス１の応答（リアクション）を例示する。

ユーザが、彼の手及び／もしくは指の１つを用いて並びに／又は彼が彼の手の中に持つオブジェクトを用いて所定の容積９内にエンターするとき（ステップ２１）、非タッチベースのインタラクション手段５は、所定の容積９内へのエントリーをセンシングするであろうし、対応する出力を電子デバイス１の処理ユニットに提供する（ステップ２３）。

この登録段階の後、ユーザはデバイス１とインタラクトし続け、非タッチベースのユーザインタラクション手段５によってセンシングされた非タッチベースのジェスチャと、タッチベースのユーザインタラクション手段３によってセンシングされた、例えばタッチ感知力を有するインターフェース上に指をスライドさせることなどのタッチベースのジェスチャとの組み合わせである複数のサブジェスチャ２７、２９、３１を備えてもよい入力２５を提供して電子デバイス１における特定の動作を開始する。このジェスチャ入力もしくは連続段階の間、ユーザインタラクション手段５及び３は、タッチベースのインタラクションに関するステップ３３及び非タッチベースのインタラクションに関するステップ３５においてユーザのジェスチャもしくはサブジェスチャをセンシングし、センシングされたデータを分析してジェスチャ及び／又はサブジェスチャを分類してユーザのインタラクションパターンに対応する入力を識別する（ステップ３７）。もし対応する動作が識別されたならば、処理ユニットは、命令を受信して所望の動作（アクティビティ）を実行する（ステップ３９）。

本発明によれば、ユーザのインタラクションパターンに対応する動作を識別するステップは、センシングされた非タッチベースのインタラクション３５とセンシングされたタッチベースのインタラクション３３との間の関係３６に依存するであろう。実に、１つのタイプのインタラクションがどのように実行されたかによって、他のタイプのインタラクションに寄与される入力が適用されるであろう。

タッチベースのユーザインタラクションはまた、デバイス１のハウジング７上のキーのヒッティング（打つこと）に関連する。

ステップ４１において、ユーザの指もしくは手又はユーザによって持たれたオブジェクトが所定の容積９からエグジットするときに、非タッチベースのユーザインタラクション手段５によってセンシングされたインタラクションは終了される（ステップ４３）。

留意すべきことは、エントリーを決定する（ステップ２１、２３）ための容積９のサイズは、エグジットを決定する（ステップ４１、４３）ために使用される容積９のサイズとは異なっていてもよく、及び／又はいくつかの実施形態に従ってユーザ設定可能としてもよい、ということである。

従って、電子デバイス１は、交互にもしくはパラレルに実行される、非タッチベースのインタラクション及びタッチベースのインタラクションがデバイス１に対して提供されるように構成され、両方のタイプのインタラクションは相互に影響を与えるように構成される。これにより、デバイスとのインタラクションのより自然かつ直感的な方法が可能となるように、ユーザインタラクションパターンにおいてより柔軟性を有することができる。

第３の実施形態の一部でもある第２の実施形態に関して上述されたステップに加えて、本発明に係る第３の実施形態は、フィードバック機構を備える。フィードバック機構は、コラム３において概略的に例示され、デバイス１がユーザ入力を受け入れているという事実について、好ましくはいつでもユーザに知らせるように構成される。フィードバック機構を実現化するように構成されたフィードバック提供手段は、図１に例示されたデバイスに組み込まれる。フィードバック提供手段は参照番号４５が付され、点線で示されている。

詳細には、オブジェクトの所定の容積９内へのエントリー（ステップ２１及び２３）のときに、フィードバック提供手段４５（図１において点線で示された参照番号４５を参照。）は、視覚的な及び／又は音響的なフィードバック信号が出力するように構成される。例えば、ラウドスピーカ１３は、デバイス１がユーザが所定の球９の中に入ったことをセンシングしたという事実を示す信号を出力することができる。同時にもしくは代替として、視覚的なアイコンもしくは信号、点滅ＬＥＤなどがこの状態を示してもよい。従って、ユーザは、デバイス１がユーザが所定の容積９内にエンターしたことを認識したことを知るであろう、その結果、そのユーザによって提供されたジェスチャはデバイスによってセンシングされて識別される（ステップ４７）。

変形例によれば、所定の条件が満たされる場合に、第１のフィードバック出力４７だけが電子デバイスによって提供される。例えば、もしユーザが他方の手を用いてデバイスを保持し、ユーザ入力が意図されることを指示する特定のボタンを押すならば、フィードバックだけが提供される。代わりに、タッチセンシング手段３はまた、ユーザがデバイスを保持するという事実を識別することができる。この付加的な特徴によって、デバイス１に対する意図されないジェスチャベースの入力は回避される。

次に、連続段階の間、フィードバック提供手段４５は、典型的には第１のフィードバックとは異なる、第２の視覚的な及び／又は音響的な信号がデバイス１によって出力される（ステップ４９）。第２のフィードバック出力４９は、所定の容積９内でジェスチャを実行するオブジェクトの存在の間またはジェスチャの認識の間だけのいずれかにおいて提供され、その結果、ユーザはいつでも、ジェスチャが入力されることもしくは現在デバイスがユーザが所定の容積９内で実現化しているかもしくは行っている動きをセンシングしたことのいずれかを知る。

タッチベースのジェスチャが入力される場合は、フィードバック提供手段４５によって提供される、視覚的な及び／又は音響的なフィードバック信号は、例えば振動などの触覚的なフィードバック信号に伴って発生するかもしくは置き換えられ、再びユーザにデバイスが現在入力をセンシングしていることを知らせる（ステップ４９）。

最後に、入力が完了したときであってユーザが所定の容積９から離れる間に、フィードバック提供手段４５は、視覚的な及び／又は音響的な第３の信号を出力してユーザがデバイス１に対する入力を提供することができる所定の容積９からユーザが今離れたことをユーザに知らせるように構成される。好ましくは、第３の出力５１は、第１の出力及び／又は第２の出力とは異なる。

従って、デバイスとのインタラクションの経過の間いつでも、ユーザはデバイス１がジェスチャを受け入れているという事実、例えばジェスチャなどのインタラクションがセンシングされるという事実、及び彼が意図的にもしくは意図的ではなく所定の容積９から離れたという事実について知る。

好ましくは、このフィードバック提供機構４５は、デバイス１において例示されたような、非タッチベースのインタラクション手段５とタッチベースのインタラクション手段３とを組み合わせるデバイスとともに実現化されるが、１つのタイプのインタラクション手段だけが存在する場合でもまたその発明を適用することができる。

図２ｂは、第２の実施形態及び第３の実施形態において使用された入力２５の変形例であって、図２ａにおいて例示されたサブインタラクション５５及び５７のシーケンスを備えた入力提供インタラクション５３を例示する。この例では、インタラクション５５は、ユーザによって提供された例えばジェスチャなどの非タッチベースのインタラクションに関連し、インタラクション５７は、再びデバイス１のキーボードに対する特定のキーストローク（キーを打つこと）にもまた関連することができる、ユーザインタラクション手段３に対するタッチベースのインタラクションに関する。

デバイス１に対する意図的でない入力を回避するために、図２ａにおいて例示されたステップ３５における分析ステップは、確認もしくは終了動作５９がユーザによって提供されたかどうかを最初に調べ、ここで、終了動作５９は好ましくは、ステップ３３においてセンシングされるタッチベースのインタラクションに対応する。例えば、終了動作５９は、デバイス１のハウジングに対する特定のキーとすることができるかもしくはインタラクション手段３の簡単なタッチとすることができる。

確認インタラクション５９が非タッチベースのジェスチャ５５の次にユーザによって提供され、さらにタッチベースのインタラクション５７がセンシングされた場合に、入力Ａはステップ３９において命令される一方で、確認インタラクション５９がない場合は、入力Ｂはステップ３９において命令される。

図３は、図２ａにおいて例示された第２のもしくは第３の実施形態に係る、及び図１において例示された電子デバイス１を用いて実現化される方法の第１の発明の使用を例示する。

この発明の実施形態では、タッチベースのインタラクションと、ここではジェスチャである非タッチベースのインタラクションとが同時に実行されて電子デバイス１に対する入力を提供する。ユーザが電子デバイス１のタッチベースのユーザインタラクション手段によってセンシングされる特定の場所６３を１つの手６１を用いてデバイス１をタッチする一方で、デバイス１をタッチしないが所定の容積９内に位置決めされる、ユーザの第２の手６５は、ここではフリックもしくはスワイプの動き６７であるジェスチャを同時に実行する。

この実施形態では、デバイス１のハウジング７の最上にある場所６３におけるタッチベースのインタラクションは、デバイス１のスクリーン７１上に例示されたオブジェクト６９の回転軸７３を識別するために使用され、ここで、第２の手６５によって実現化されるフリックもしくはスワイプジェスチャは、軸７３の周りのオブジェクト６９の回転を開始する。図３に対して点線によって例示された、場所７５において彼の手を位置決めすることによって、軸７７の周りに新しい回転が開始される。従って、タッチベースのインタラクションは、非タッチベースのインタラクションに応答してデバイスによって実行される動作に影響を与える。

この実施形態は、複雑な入力パターンを実現化するために、電子デバイス１との、タッチベースのインタラクションと非タッチベースのインタラクションとの組み合わせの有利な使用の１つの例だけを例示する。しかしまだ、デバイスとのインタラクションは自然かつ直感的な状態のままであるかもしれない。

図４ａから図４ｃは、第１の実施形態に係るデバイスと、図１及び図２に例示された本発明の第２のもしくは第３の実施形態に係る方法との第２の発明の使用を例示する。図４ａから図４ｃは、タッチベースのユーザインタラクションと非タッチベースのユーザインタラクションとが互いに追従する、ユーザとデバイス１との間のインタラクションを例示する。

所定の容積９内にエンターした後、ユーザはデバイス１のスクリーン８３上に提示されたオブジェクト８１にアプローチし、タッチベースのユーザインタラクション手段３をタッチしながら２本もしくはそれ以上の指を矢印８２によって示すように互いにより接近させて移動させるピンチもしくはスクウィーズジェスチャを実行することによって、ピンチジェスチャをセンシングしたタッチベースのユーザインタラクション手段３は、電子デバイス１の処理ユニットに命令して、例えばファイルのアイコンなどのオブジェクト８１を選択し、選択されたオブジェクト８１に関する命令をさらに待つであろう。代替として、ユーザはまた、回転ジェスチャを実行してオブジェクト８１をピックアップすることができる。

図４ｂは、この発明の方法の使用に係るインタラクションシーケンスの第２のステップを例示する。選択ステップの後、ユーザは彼の指をくっつけた状態にしながらオブジェクト８１をピックアップして、まるで実生活のオブジェクトが処理されるであろうかのように、矢印８４によって示すようにインタラクション表面から離されて移動する。ジェスチャは、ピックアップオブジェクト８１をディスプレイ８３上の第２の位置８５の方向に移動させ続ける。容積９内のユーザの手の動きの間、図１に対して例示されて説明された、非タッチベースのユーザインタラクション手段５は、例えばユーザの手の位置が画像から画像へ変わる複数の後に続く画像を分析することによって移動ジェスチャをセンシングして、それに応じてデバイス１の処理ユニットに命令するであろう。非タッチベースの移動ジェスチャの間、デバイス１は、ディスプレイ上のオブジェクトとともにユーザの手の投射を表示するように構成される。移動の動きは、図３に例示された本発明に係る第１の使用におけるスワイプジェスチャに類似している。ここで、しかしながら、スワイプジェスチャは、接触段階の間に実行されるジェスチャによって影響が与えられ、その結果、対応する動作は、本発明に係る第１の例におけるのと同じように、オブジェクトの回転の代わりに再配置することへと導く。

次に、最後に、第２の位置８５においてオブジェクト８１を再配置するために、ユーザは矢印８６によって示されるように彼の指を広げて図４ｃに例示されたようにピックアップオブジェクトをリリースするかもしくはピックアップステップと比較して反対方向に回転ジェスチャを行う。対応するジェスチャは、非タッチベースのインタラクション手段５もしくはタッチベースのユーザインタラクション手段３に対するタッチベースのリリースジェスチャによってセンシングされた所定の容積９内であるが、インタラクション表面３から離れた非タッチベースのジェスチャとすることができる。

本発明の方法の実用的な使用のこの例では、ユーザがオブジェクトをピックアップして置き換えたい場合に実生活において通常実行する動作（アクティビティ）は、図４ａから図４ｃに例示されたオブジェクト８１に対して実行される。従って、ユーザがスクリーン上ですべてのジェスチャを実行するように強要されるインタラクションスキームと比較すると、インタラクションは、より自然かつより直感的となり、それ故によりユーザフレンドリネスとなる。

ディスプレイ８３上の第１の位置からディスプレイ上のもう１つの位置８５にオブジェクト８１を移動させる代わりに、それはまたデバイス１のハウジング７上の機能領域上のどこか他の位置にディスプレイ領域を超えて移動される。非タッチベースのユーザインタラクション手段５は、ユーザがオブジェクト８１をリリースする場所を識別することができ、もし第２の位置が機能領域に対応することが識別されれば、その場合は、例えばファイルの印刷、ファイルの消去、インターネットを介するファイルの送信などの、タッチスクリーンの外側のこの機能領域に寄与される動作が処理ユニットによって開始される。

ここではジェスチャである、タッチベースのインタラクションと非タッチベースのインタラクションとのシーケンスを用いた、図４ａから図４ｃに例示されたピックアップ及びリプレース（置換）動作は、電子デバイスとインタラクションするための１つの実用的な例だけであるが、タッチベースのジェスチャと非タッチベースのジェスチャとを組み合わせる他のインタラクションパターンが本発明の範囲を離れることなしに実現化される。

図５ａは、第１の実施形態から第３の実施形態のいずれかの１つと組み合わせられる、本発明の第４の実施形態を例示する。図５ａの左側は、例えば非タッチベースのインタラクション手段１０３及び非タッチベースのインタラクション手段１０３がユーザによって提供されたジェスチャをセンシングすることができる、所定の空間もしくは容積１０５を有する携帯電話などのより小さな電子デバイス１０１を例示する。この態様では、非タッチベースのインタラクション手段１０３は、デバイス１において使用されかつ図１に例示されたインタラクション手段５に相当する。

図５ａの右側に対しては、例えばラップトップコンピュータもしくは電子書籍などの、より大きな電子デバイス１１１が例示される。より大きな電子デバイス１１１はまた、より小さなデバイス１０１におけるのと同一の非タッチベースのインタラクション手段１０３を備える。非タッチベースのインタラクション手段１０３は、より大きな電子デバイス１１１の周りの所定の容積１１３内のユーザジェスチャを受け入れる。ここで、所定の容積１１３は、より小さなデバイスの容積１０５よりも大きい。

本発明によれば、インタラクション手段１０３がより小さな電子デバイス１０５もしくはより大きな電子デバイス１１３に組み込まれるかどうかによって、例えばスクリーン１０７及びスクリーン１１５上の一方の側Ａから他方の側Ｂまでオブジェクトを移動させるなどの所定のタスクを実行するために必要であるジェスチャの、例えば軌道や継続のサイズなどのパラメータは、例えばデバイス１０１もしくは１１１の幅、対角線、表面領域もしくは容積などのサイズを用いてスケーリングされてより直感的なユーザインタラクションデバイスを可能とさせる。従って、デバイスのサイズが大きくなればなるほど入力を提供するために必要とされるジェスチャはより大きくなる。

ここで右側に矢印として例示され、より大きなデバイスにおいてユーザによって実行されたジェスチャ１１７は、より小さなデバイスの場合において実行されるジェスチャ１０９と比較するとより大きい。例えば、オブジェクトをディスプレイ上のＡからＢへ移動させるために、指スワイプがより小さなデバイス１０１には十分である一方で、より大きなデバイス１１１に対しては、全体の手を用いたスワイプがオブジェクトを位置Ａから位置Ｂへと移動させるために使用される。

デバイス自身の物理的なパラメータを用いて非タッチベースのジェスチャの軌道及び／又は時間継続のサイズをスケーリングすることによって、スケールに基づいた自動適応が獲得される。非タッチベースのユーザインタラクション手段のジェスチャ分析ユニットは、例えばデバイスのサイズなどに関連する所定のパラメータの関数として分析してそのジェスチャを適応させるように構成される。

第４の実施形態の変形例によれば、ジェスチャは、図５ａに例示されたようなデバイスの物理的な寸法を用いてスケーリングされてもよいだけでなく、ディスプレイ上に提示されたオブジェクトの寸法によってスケーリングされてもよい。

ここで、より大きなオブジェクト１２１及びより小さなオブジェクト１２３は、より大きな電子デバイス１１１のスクリーン１１５上に例示される。より大きなオブジェクト１２１を移動させるために、ユーザはより大きなジェスチャが必要であることを予測するであろう一方で、より小さなオブジェクト１２３に対しては、ユーザはより小さなジェスチャを予測するであろう。例えば、より小さなオブジェクトを用いて指スワイプが十分とされる一方で、より大きなオブジェクト１２１を用いて、同一の結果を得るためには手のスワイプが使用される。また、ジェスチャ分析ユニットはまた、デバイスのディスプレイ上に提示されるオブジェクトのパラメータを考慮するように構成される。

図５ｂは、スケーリング概念の変形例を例示する。この変形例では、ジェスチャは、デバイス１から、ここではユーザの手であるオブジェクト１２５までの距離を用いてスケーリングされる。図５ｂの上側では、手１２５はデバイス１に接近している。図の左側は、デバイス１の前面の手１２５を図示し、右側は側面図を図示して手とデバイス１との間の距離１２７を例示する。図５ｂの下側では、側面図を図示する右側の図から分かるように、手１２５はデバイス１からさらに離れている（距離１２９）。

オブジェクト１３１を位置１３３から位置１３５まで及びその逆に移動させるために、手１２５がデバイス１に接近している第１のケースにおけるジェスチャは、矢印１３７を用いて図示されるように指だけを右から左へ及びその逆にわずかに移動させることによって実現化される。第２のケースにおける同一の動きを獲得するために、ユーザは矢印１３９によって示された、非常により大きなジェスチャ軌道を用いて全部の手１２５を移動させてもよい。

図６は、本発明の第５の実施形態を例示し、ユーザがデバイス１５１をタッチするときにタッチベースのインタラクションを提供し、及び／又は彼が電子デバイス１５１の周りの所定の容積１５３にエンターするときに非タッチベースのジェスチャを提供することができるように、図１において例示された第１の実施形態におけるのと同じように、タッチベースのインタラクション手段３と非タッチベースのインタラクション手段５とを備えた電子デバイス１５１を例示する。ここで、デバイス１５１はまた、ユーザが通常見ているデバイスの側であって、タッチベースのインタラクション手段３とともにタッチ感知力を有するスクリーンを形成する正面１５５上にディスプレイ１５７を備える。

さらに、デバイスは、第１の実施形態のフィードバック提供手段４５の特徴を有するフィードバック提供手段１５９を備え、ここでさらに、本発明の第５の実施形態に係るフィードバック提供手段１５９は、ユーザがデバイス１５１の裏面１６１を介してタッチベースのもしくは非タッチベースのインタラクションを提供するように構成され、ここで、裏面は正面１５５に対して反対側であって通常ユーザから見て外方向に向いており、視覚的なフィードバック１６３は、ディスプレイ１５７上に提供される。視覚的なフィードバック１６３は、正面からデバイス１５１を見ているユーザに対して、入力がデバイス１５１の裏面１６１を介して提供されることを指示するために役に立つ。

例えば、ディスプレイ１５７上に表示されたフィードバック信号は、デバイス１５１の裏面１６１上に位置決めされたときにユーザの手の指先の、デバイス１５１の裏面もしくは正面上への投射を示すことができる。図６では、これがディスプレイ１５７上の５つの円１６０によって概略的に例示される。

この実施形態は、第１の実施形態から第４の実施形態のいずれかの１つと組み合わせられる。

図７は、本発明の第６の実施形態を例示する。図７は、第１の実施形態に係るデバイス１の要素及び特徴を備えるデバイス１７１を例示する。上述において既に使用された同一の参照番号が付された要素については、再度詳細には説明しないであろうが、参照によりここで組み込まれる。

電子デバイス１７１は、タッチベースのユーザインタラクション手段３及び非タッチベースのユーザインタラクション手段５に加えて、第２のタイプの非タッチベースのインタラクションとして１つもしくはそれ以上の環境パラメータをセンシングするためのセンシング手段を備える。そのような環境パラメータは、光強度、電界、磁界、電磁放射、圧力、温度、湿度、振動、もしくは地理的座標に関することができる。

それ故に、デバイスに対するタッチベースのインタラクションと接続されないセンシング手段１７３によって測定されたパラメータはまた、インタラクション手段３に対して提供されたタッチベースのインタラクションに応答してデバイス１７１によって実現化された動作に影響を与えることができる。

例えば、センシング手段は、デバイスが暗闇の中に置かれたことを識別する場合は、さらなる入力が可能とする前に、デバイスとの、タッチベースのもしくは非タッチベースのいずれかのインタラクションがデバイスのスクリーンもしくはキーボードのバックライトを照射することへと導くであろう一方で、センシング手段がデバイスが明るい環境に置かれたことを識別する場合は、デバイスとの同一のインタラクションが異なる入力を引き起こすことができ、例えばキーを打つことによってスクリーン上に対応する文字がすぐに表示されるであろう。

ユーザとのインタラクションの自然なもしくは直感的な方法を可能とする付加的な発明のデバイスもしくは方法を獲得するために、図１及び図７に関して説明されたデバイス及び方法の種々の要素及び特徴は、個々にもしくは互いに組み合わせた状態においてさらに組み合わせることができる。

Claims (18)

1. デバイスに対する入力を提供するための上記デバイスとインタラクションするための方法であって、
   上記インタラクションは、上記デバイスとの、少なくとも１つのタッチベースのインタラクションと少なくとも１つの非タッチベースのインタラクションとの組み合わせに基づいており、
   上記１つのタイプのインタラクションは、上記他のタイプのインタラクションに応答して上記デバイスとのインタラクションに寄与される入力に影響を与えることを特徴とする方法。
2. 上記インタラクションは、上記デバイスにタッチすることなしの少なくとも１つのジェスチャベースのインタラクションと、少なくとも１つのタッチベースのインタラクションとを備え、
   上記１つのインタラクションの、特に軌道及び／又は速度及び／又は継続時間及び／又は圧力である少なくとも１つの実現化特性は、上記デバイスとのインタラクションに寄与される入力に影響を与えることを特徴とする請求項１記載の方法。
3. 特にジェスチャであるタッチベースのインタラクション及び非タッチベースのインタラクションは、順次にもしくは交互に発生することを特徴とする請求項２記載の方法。
4. 特にジェスチャである、上記少なくとも１つの非タッチベースのインタラクション及び少なくとも１つのタッチベースのインタラクションは時間において少なくとも部分的にオーバーラップすることを特徴とする請求項２記載の方法。
5. 上記ユーザが上記デバイスをタッチする上記インタラクションは、上記デバイスの正面、裏面もしくは側面の少なくとも１つに対して発生することができることを特徴とする請求項１から４のうちの記載のいずれか１つに記載の方法。
6. 上記インタラクションの組み合わせは、
   ａ．上記デバイスに対する入力を開始するための登録段階と、
   ｂ．上記デバイスに対する上記入力を提供するための連続段階と、
   ｃ．上記デバイスに対する上記入力を確認するための終了段階と、
   を含むことを特徴とする請求項１から５のうちのいずれか１つに記載の方法。
7. ステップｃ）において、タッチベースのインタラクションは、特に上記デバイスをタッチすることなしに上記ユーザによって実現化されるジェスチャである非タッチベースのインタラクションを介して、ステップｂ）において提供される入力を確認するために使用されることを特徴とする請求項６記載の方法。
8. オブジェクトを選択して、上記選択されたオブジェクトに関して上記デバイスに対する命令を提供するために、
   ｄ）特にタッチベースのジェスチャであるタッチベースのインタラクションを用いて上記オブジェクトを選択するステップと、
   ｅ）上記デバイスをタッチすることなしにジェスチャベースのインタラクションに基づいて、上記選択されたオブジェクトに関して命令を提供するステップと、
   を含むシーケンスを含むことを特徴とする請求項１から７のうちのいずれか１つに記載の方法。
9. 上記デバイスのスクリーン上のオブジェクトを異なる位置に移動させるための命令を提供するために、
   ｆ）第１の位置において上記デバイスをタッチするユーザによって提供されるピンチもしくはスクウィーズもしくは回転タイプのジェスチャをセンシングするステップと、
   ｇ）上記ユーザが上記デバイスをタッチしない移動ジェスチャをセンシングするステップと、
   ｈ）第２の位置におけるタッチベースのジェスチャもしくは第２の位置の上方における非タッチベースのジェスチャのいずれかによるリリースジェスチャをセンシングするステップと、
   のジェスチャベースのインタラクションのシーケンスを含むことを特徴とする請求項１から８のうちのいずれか１つに記載の方法。
10. ｉ）タッチベースのインタラクションをセンシングするステップと、
    ｊ）上記タッチベースのインタラクションに応答して、パラメータを設定するステップと、
    ｋ）非タッチベースのジェスチャを同時にセンシングするステップと、
    ｌ）上記非タッチベースのジェスチャ及び上記パラメータ設定に応答して、上記デバイスに対して対応する動作を命令するステップと、
    を含むことを特徴とする請求項１から９のうちのいずれか１つに記載の方法。
11. ジェスチャをセンシングするステップと、上記ジェスチャを分類するステップと、上記分類によって上記デバイスに対する命令を入力するステップとを含む、上記デバイスに対するジェスチャベースの入力を提供するための方法であって、
    上記命令は、特に上記ジェスチャの軌道及び／又は速度及び／又は継続時間である上記ジェスチャの実現化特性に依存し、上記ジェスチャから独立した少なくとも１つのパラメータを用いてスケーリングすることを特徴とする請求項１から１０のうちのいずれか１つに記載の方法。
12. 上記少なくとも１つの非タッチベースのインタラクションは、特に光強度、電界、磁界、電磁放射、圧力、温度、湿度、振動、及び／又は地理的座標である環境パラメータに基づくことを特徴とする請求項１から１１のうちのいずれか１つに記載の方法。
13. 請求項１から１２のうちのいずれか１つに記載の方法に係るステップを実行するためのコンピュータ実行可能な命令を有する１つもしくはそれ以上のコンピュータ可読媒体を備えたことを特徴とするコンピュータプログラム製品。
14. 少なくとも１つのタッチベースのユーザインタラクション手段と、少なくとも１つの非タッチベースのユーザインタラクション手段とを備えたデバイスであって、
    請求項１から１２のうちのいずれか１つに記載の方法を実行するように構成されたことを特徴とするデバイス。
15. ａ．少なくとも１つのタッチベースのユーザインタラクション手段と、少なくとも１つの非タッチベースのユーザインタラクション手段と、
    ｂ．少なくとも１つのフィードバック提供手段とを備え、
    上記非タッチベースのユーザインタラクション手段は、上記デバイスの周りの所定の容積内の特にジェスチャである非タッチベースのインタラクションをセンシングするように構成され、
    上記少なくとも１つのフィードバック提供手段は、特にユーザの手であるオブジェクトが上記所定の容積内にエンターするときに第１の視覚的な及び／又は音響的な出力を出力するように構成されたことを特徴とする請求項１４記載のデバイス。
16. 上記フィードバック提供手段は、上記オブジェクトが上記所定の容積の内側にあって、及び／又は上記デバイスをタッチするときに、特に上記第１の出力とは異なる第２の視覚的な及び／又は音響的な及び／又は触覚的な出力を出力するように構成されたことを特徴とする請求項１５記載のデバイス。
17. 上記フィードバック提供手段は、インタラクションが上記タッチベースのユーザインタラクション手段によってセンシングされ、及び／又は特にジェスチャであるインタラクションが上記非タッチベースのユーザインタラクション手段によってセンシングされる限り、上記第２の出力を出力するように構成され、
    上記フィードバック提供手段は、上記インタラクション及び／又はジェスチャが終了されるとき、並びに／又は上記デバイスがスイッチングオフされるかもしくはアイドル状態に置かれるときに、特に上記第１の及び／もしくは第２の出力とは異なる第３の視覚的な及び／もしくは音響的な及び／もしくは触覚的な出力を出力するように構成されたことを特徴とする請求項１６記載のデバイス。
18. その正面上にディスプレイをさらに備え、
    上記フィードバック提供手段は、オブジェクトが上記デバイスの裏面上に上記所定の容積内に存在している場合に、上記ディスプレイ上に視覚的な指示が提供されるように構成されたことを特徴とする請求項１５から１７のうちのいずれか１つに記載のデバイス。

Images