JP2016511488A - センサフュージョンを介した対話式入力の拡張 - Google Patents

Abstract

対話式入力をシームレスに拡張するための、本開示の1つまたは複数の実施形態に従ったシステムおよび方法が提供される。実施形態では、方法は、第1のセンサで、制御オブジェクトによる入力の少なくとも一部を検出するステップを備える。方法はまた、制御オブジェクトが遷移領域に位置付けられていることを決定するステップを備える。方法はさらに、制御オブジェクトが遷移領域に位置付けられているとの決定に少なくとも部分的に基づいて、第2のセンサで、入力の後続部分を検出するか否かを決定するステップを備える。

Description

本開示は概して、ユーザデバイスインターフェース上の対話式入力(interactive input)に関する。

現在、タッチスクリーンまたはジェスチャ認識などの対話式入力能力を有するユーザデバイス(たとえば、スマートフォン、タブレット、ラップトップなど)は概して、小型スクリーンを有する。

タッチ入力およびジェスチャなどの対話式入力は概して、小型スクリーン上で実行されることがある(大抵は、手によって)。しかしながら、小型スクリーンは、対話式入力領域を制限して、対話式入力をプリミティブ(primitive)にさせ、およびスムーズなスワイプ、スクロール、パン、拡大縮小などの対話を妨げることがある。一部のケースでは、ジェスチャなどの現在の対話式入力は、たとえば、ペン表記(pen notations)によってスクリーンのそばで行われることがあるが、これは、入力とインターフェース応答との間の切断を生じさせることがある。

また、タッチ入力およびジェスチャなどの対話式入力は概して、ユーザデバイスの小型スクリーンを覆い隠す(obscure)ことがある。たとえば、ユーザデバイスのスクリーンに制限された現在のタッチ入力によって、作用されたコンテンツを見ることが困難となることがある。よって、対話式入力は、ユーザが、たとえば、複数のピンチ(pinches)、選択またはスクロールの動きなどのタスクを実行するために繰り返される動作を実行することが必要となることがある。

したがって、本分野において、ユーザデバイス上での対話式入力を改善する必要性が存在する。

本開示の1つまたは複数の実施形態に従って、1つのセンサから別へのシームレスな遷移によって対話式入力を拡張するための方法およびシステムが提供される。

実施形態に従って、方法は、第1のセンサで、制御オブジェクトによる入力の少なくとも一部を検出するステップを備える。方法はまた、制御オブジェクトが遷移領域に位置付けられていることを決定するステップを備える。方法はさらに、制御オブジェクトが遷移領域に位置付けられているとの決定に少なくとも部分的に基づいて、第2のセンサで、入力の後続部分を検出するか否かを決定するステップを備える。

別の実施形態に従って、方法は、電子デバイスに取り付けられた第1のセンサで、制御オブジェクトによる入力の少なくとも一部を検出するステップを含む。方法はまた、制御オブジェクトの遷移領域への移動、または遷移領域内での移動を検出するステップを含む。そして、方法はまた、制御オブジェクトの検出された移動に少なくとも部分的に基づいて、電子デバイスに取り付けられた第2のセンサで、入力の後続部分を検出するか否かを決定するステップを含む。

一実施形態では、方法はさらに、制御オブジェクトの位置が、第1のセンサの検出範囲を超える可能性が高いかを決定するステップを含む。実施形態では、方法は、アクティブなアプリケーションに基づいて、制御オブジェクトの位置が、第1のセンサの検出範囲を超える可能性が高いかを決定するステップを含む。実施形態では、方法は、移動の速度に基づいて、制御オブジェクトの位置が、第1のセンサの検出範囲を超える可能性が高いかを決定するステップを含む。実施形態では、方法は、制御オブジェクトと関連付けられたユーザによる前の入力から学習された情報に基づいて、制御オブジェクトの位置が、第1のセンサの検出範囲を超える可能性が高いかを決定するステップを含む。

別の実施形態では、方法はさらに、第1のセンサを使用するのではなく、第2のセンサを使用して、より高い信頼性で、制御オブジェクトの移動が検出可能であるかを決定するステップを含む。

別の実施形態では、方法はさらに、制御オブジェクトの検出された移動に少なくとも部分的に基づいて、第3のセンサでの入力の後続部分を検出するか否かを決定するステップを含む。

別の実施形態では、遷移領域は第1の遷移領域を含み、方法はさらに、制御オブジェクトの第2の遷移領域への移動、または第2の遷移領域内での移動を検出するステップを含み、第2の遷移領域は、第1の遷移領域と少なくとも部分的に重複する。

別の実施形態では、第1のセンサは、デバイスのスクリーンと実質的に一列となった静電容量タッチセンサを備え、第2のセンサは、デバイスの端上の広角度カメラまたは超音波周波数に対する感度が高いマイクロフォンを備える。別の実施形態では、第1のセンサは、デバイスのスクリーンと少なくとも部分的に一列となった視角における画像を捕捉(capture)するように構成された第1のカメラを備え、第2のセンサは、デバイスのスクリーンから少なくとも部分的にオフセットされた視角における画像を捕捉するように構成されたカメラを備える。別の実施形態では、第1のセンサは、デバイスの端上の広角度カメラまたは超音波周波数に対する感度が高いマイクロフォンを備え、第2のセンサは、デバイスのスクリーンと実質的に一列となった静電容量タッチセンサを備える。別の実施形態では、第1のセンサは、のデバイスの端と少なくとも部分的に一列となった視角における画像を捕捉するように構成された第1のカメラを備え、第2のセンサは、デバイスのスクリーンと少なくとも部分的に一列となった視角における画像を捕捉するように構成された第2のカメラを備える。

別の実施形態では、方法はさらに、電子デバイスに取り付けられた複数のセンサから、第2のセンサを選択するステップを含む。実施形態では、電子デバイスはモバイルデバイスを備える。別の実施形態では、電子デバイスはテレビを備える。

別の実施形態では、第1のセンサまたは第2のセンサは、電子デバイスの面上に配置された、超音波周波数に対する感度が高い第1のマイクロフォンを備え、第1のセンサおよび第2のセンサの残りの1つは、電子デバイスの端に配置された、超音波周波数に対する感度が高い第2のマイクロフォンを備える。

別の実施形態では、方法はさらに、第2のセンサで、入力の後続部分を検出するステップと、入力および入力の後続部分に基づいて、電子デバイス上のアプリケーションの操作に作用するステップとを含む。実施形態では、方法はさらに、第2のセンサで検出されたときと実質的に同一の第1のセンサで検出されたときに、制御オブジェクトの移動が操作に作用するように、第1のセンサおよび第2のセンサからのデータを時間同期するステップを含む。実施形態では、操作は拡大縮小操作を備え、移動は、デバイスのディスプレイの上にあり、またはディスプレイをタッチする第1の領域と、第1の領域からオフセットされた第2の領域との間で制御オブジェクトが遷移することを備える。別の実施形態では、操作は、スクロールまたはパン操作を含み、移動は、デバイスのディスプレイの上にあり、またはディスプレイをタッチする第1の領域と、第1の領域からオフセットされた第2の領域との間で制御オブジェクトが遷移することを備える。

別の実施形態では、方法はさらに、解放入力を検出するステップと、検出された解放入力に基づいて、アプリケーションの操作に作用することを停止するステップとを含む。実施形態では、制御オブジェクトの移動は、実質的に面内であり、解放入力は、面の外への制御オブジェクトの動きを備える。別の実施形態では、制御オブジェクトは手を備え、解放入力は、手を閉じることを備える。

本開示の実施形態に従った、オーバースクリーンからオフスクリーンへのジェスチャの拡張を示す図である。 本開示の実施形態に従った、オフスクリーンからオーバースクリーンへのジェスチャの拡張を示す図である。 本開示の実施形態に従った、オブジェクトを追跡することとともに使用されるセンサの組を有するデバイスを示す図である。 本開示の実施形態に従った、制御オブジェクトを追跡するための方法を示すフローチャートである。 本開示の実施形態に従った、ユーザデバイスのスクリーンを超えてタッチ動作を継続することを示す図である。 本開示の実施形態に従った、ユーザデバイスのスクリーンを超えてタッチ動作を継続することを示す図である。 本開示の別の実施形態に従った、ユーザデバイスのスクリーンを超えてタッチ動作を継続することを示す図である。 本開示の実施形態に従った、制御オブジェクトの移動を追跡するための方法を示すフローチャートである。 本開示の実施形態に従った、デバイスを実装するためのシステムを示すブロック図である。 本開示の実施形態に従った、対話式入力を拡張するための方法を示すフローチャートである。

たとえば、多様なセンサフュージョンを介して、タッチおよびジェスチャ認識などの対話式入力をシームレスに拡張するためのシステムおよび方法が、本開示の1つまたは複数の実施形態に従って提供される。

非タッチ入力を検出するように構成されたセンサまたは技術は、ジェスチャなどの非タッチデータが、それらがユーザデバイスの前面で直接(オンスクリーンで)、およびユーザデバイスのスクリーンの直接の見通し線から離れて(off a direct line of sight)(オフスクリーンで)実行されるときに捕捉され得るように、ユーザデバイスもしくはシステムに含まれ得、ならびに/またはユーザデバイスの種々の面、たとえば、ユーザデバイスの上端、下端、左側、右側、および/もしくは背後に位置し得る。概して、オフスクリーンの非タッチ入力は、以下で「オフスクリーンジェスチャ」とも称され得、「オフスクリーンジェスチャ」は、手、指、またはペンなどの、制御オブジェクトの位置または動きデータを指してもよく、制御オブジェクトはユーザデバイスをタッチしていないが、ユーザデバイスに近接している。これらの「オフスクリーン」非タッチジェスチャは、ユーザデバイスのスクリーンから離れていることがあるだけでなく、それらは、スクリーンまたはデバイスのディスプレイに対して、デバイスから側面に沿ってオフセットされている制御オブジェクトの一部を含み得る。たとえば、ディスプレイまたはデバイスのスクリーンから、ディスプレイまたはスクリーンの面に実質的に垂直な方向に延在するボリューム(volume)が推測され得る。「オフスクリーン」でのジェスチャは、ジェスチャを実行する制御オブジェクトの少なくとも一部が、このボリュームの外にあるジェスチャを備え得る。一部の実施形態では、「オンスクリーン」でのジェスチャおよび/または入力は、少なくとも部分的に、このボリューム内にあってもよく、ならびにタッチ入力および/もしくはジェスチャ、または非タッチ入力および/もしくはジェスチャを備え得る。

1つまたは複数の実施形態では、シームレスなユーザ入力に、精度の高い連続した解像度(continuous resolution of precision)を提供するために、オンスクリーン(すなわち、オーバースクリーン)でのジェスチャ認識は、オフスクリーン(すなわち、スクリーンを超えて)でのジェスチャ認識と組み合わされ、およびそれらと同期され得る。

例では、リスト、ウェブページなどのスクロールなど、ユーザデバイス上で表示されたコンテンツに作用する動作は、ユーザ入力に基づいて、たとえば、制御オブジェクト(たとえば、手、ペン、指など)の動きを含む検出されたジェスチャの速度に基づいて、同一の相対的なコンテンツ速度-ジェスチャの動きのままとなり得る。すなわち、ユーザが、たとえば、上方への動きで手を動かしているとき、リスト、ウェブページなどのコンテンツは、ユーザの移動の速度が一定である場合に、一定の速度でスクロールを継続している。代わりに、ユーザは、動作の速度、たとえば、スクロールの速度が常に同一でない、より一貫した経験を有し得る。たとえば、スクロール速度は、任意選択で、制御オブジェクトがスクロール速度よりも速く動いている場合に、スクロール速度が増加し得るように、制御オブジェクト(たとえば、手、ペン、指など)の動きを含む、検出されたジェスチャに基づいて増加し得る。よって、ユーザデバイス上で実行されるスクロールなど、デバイス応答に対する動作の速度の相関関係が存在し得る。よって、一部の実施形態では、ジェスチャの任意の所与の部分が定義されているか(たとえば、ユーザがデバイスのディスプレイをタッチしているか、またはディスプレイから指のスライドを解除しているか)に関わらず、ユーザの移動に対するデバイスの反応は一貫している。

また、1つまたは複数の実施形態では、タッチまたはマルチタッチ動作は、タッチレスなジェスチャデータを有する統合されたタッチセンサデータを介した、継続したまたは拡張されたオフスクリーンであり得る。特に、タッチまたはマルチタッチ動作は、ジェスチャと同時に実行されないことがあり、代わりに、タッチまたはマルチタッチ動作がジェスチャとともに継続されるように、ソフトパスが作用される。この点について、タッチ動作または入力は、オフスクリーンのジェスチャを追跡するための技術、たとえば、ユーザデバイスの1つまたは複数の端上の超音波、広角度撮像素子(たとえば、カメラ)などを使用して、オフスクリーンのジェスチャ検出を開始し得る。

よって、タッチ入力検知データは、1つの連続した入力コマンドを生成するために、ジェスチャ入力検知データと組み合わされ得る。そのようなデータセットは、シームレスなユーザ入力に、精度の高い連続した解像度を提供するために同期され得る。また、データセットは、連続したユーザ入力に、精度の高い変化した解像度を提供するために結合され得る。たとえば、一部の実施形態では、ジェスチャ入力検知データを検出するように適合されたセンサは、タッチ入力検知データを検出するように適合された入力よりも精度の高い異なる解像度を有し得る。一部の実施形態では、より微細なジェスチャは、第2のセンサ方式で検出されるときでなく、第1のセンサ方式で検出されるときの作用を生成し得る。

種々の実施形態では、たとえば、ジェスチャの精度が一定のままでいることができるように、1つのセンサから別へのハンドオフが存在する、遷移領域が特定され得る。カメラから超音波センサへの遷移領域が存在する例では、ユーザ入力へのデバイス応答の任意のジャーキング(jerking)が存在しないことがあり、すなわち、デバイスのユーザに対して連続した経験が生成され得るように、シームレスな応答がセンサの間で提供され得る。このケースでは、2つの異なるセンサまたは技術、たとえば、カメラおよび超音波センサが、同一の対話式入力(たとえば、タッチレスなジェスチャ)を検知し得る。よって、1つの領域から別に移動するとき、シームレスなユーザ経験が達成されるように、センサ入力が一致される。マルチセンサ遷移は、カメラから超音波センサに、超音波センサからカメラまたは別のセンサに、など、センサからセンサに動くことを含み得る。1つまたは複数の実施形態では、遷移領域におけるハンドオフは、センサが同時に使用され得るソフトハンドオフであり得る。別の実施形態では、センサ間でハードハンドオフが存在するように、すなわち、1つのセンサが、別のセンサによって検出が完了した後、または1つのセンサがオフになった後に、使用され得るように、1つのセンサから別のセンサへの遷移領域におけるハンドオフが発生し得る。

有利なことに、本明細書における実施形態は、ユーザデバイスのスクリーン上にさらなる対話領域を生成し得、ユーザ入力コマンドが拡張され得、スクリーンの閉塞が回避され得、主要な対話が、たとえば、繰り返されるタッチコマンドを削減もしくは置き換えることによって、拡張され得、および/または拡大縮小、スクロールなどのよりスムーズな対話経験が生成され得る。

ここで、図1を参照して、図は、本開示の実施形態に従って、オーバースクリーンからオフスクリーンへのジェスチャを拡張することを示す。

種々の実施形態では、ユーザは、スワイプ、スクロール、パン、拡大縮小などの、コンテンツに作用する種々の目的で、オーバースクリーンからオフスクリーンへのジェスチャを使用し得る。ユーザは、たとえば、所望のオンスクリーンのコンテンツに作用するために、ユーザデバイス104のスクリーン上で開いた手102を使用することによって、ジェスチャを開始し得る。次いで、ユーザは、参照符号106によって示されるように、ユーザデバイス104のスクリーンでジェスチャの解除を継続して、オンスクリーンのコンテンツへの作用を継続し得る。この例では、ユーザは、ユーザデバイス104のスクリーンの右に向かって開いた手102を移動させて、ジェスチャを継続し得る。種々の例では、ユーザは、開いた手102が、ユーザデバイス104のスクリーンの見通し線(すなわち、視界)にないように、ユーザデバイスでジェスチャの解除を継続し得る。ジェスチャを停止することは、コンテンツへの作用を停止し得る。任意選択で、ユーザは、ジェスチャの解放を実行して、現在のジェスチャの追跡を停止し得る。

別の例では、ユーザは、リストをスクロールするためにオーバースクリーンからオフスクリーンへのジェスチャを使用し得る。始めるために、ユーザは、オンスクリーンのリストがスクロールするように、ユーザデバイスのスクリーン上で、手、たとえば、開いた手を移動させ得る。次いで、ユーザは、ユーザデバイスの上方に、およびそれを超えて手を移動させることを継続して、同一の相対速度-動きで、オンスクリーンのリストをスクロールすることを継続させ得る。一部の実施形態では、ジェスチャの速度が考慮され、移動の速度と実行される動作の速度と(たとえば、より速いスクロール)の間の相関関係が存在し得る。同様に、表示されたコンテンツの一部の位置を制御オブジェクトの位置と一致させることは、一部の実施形態では、ユーザが制御オブジェクトをより早く移動させると、スクロールがより早く表示されるようになるような、同一の効果を生じさせ得る。手の移動が停止すると、スクロールが停止し得る。任意選択で、ジェスチャの解放、たとえば、閉じた手、およびそれに応答して停止した現在のジェスチャの追跡、が検出し得る。他の実施形態では、手の移動がオフスクリーンでスクロールし、移動を停止させ、または手の移動がユーザデバイスから一定の距離にある場合、動作(たとえば、スクロール)は、手が検出されなくなるまで継続し得る。

さらなる例では、ユーザは、地図を拡大縮小するために、オーバースクリーンからオフスクリーンへのジェスチャを使用し得る。始めるために、ユーザは、ユーザデバイスのスクリーン上で、2つの指をともに置き得る(片手または両手で)。次いで、ユーザは、オンスクリーンの地図が拡大するように、指を離し得る。次いで、ユーザは、ユーザデバイスを超えて、少なくとも1つの指で指を離すことを継続して、同一の相対速度-動きで、オンスクリーンの地図を拡大することを継続させ得る。任意のポイントで指を停止させることは、拡大縮小を停止させる。任意選択で、ユーザは、ジェスチャの解放を実行して、現在のジェスチャの追跡を停止し得る。

ここで、図2を参照して、図は、本開示の実施形態に従って、オフスクリーンからオーバースクリーンにジェスチャを拡張することを示す。

オフスクリーンからオーバースクリーンへのジェスチャは、スワイプ、スクロール、パン、拡大縮小など、コンテンツに作用するための種々の目的で使用され得る。この実施形態では、ユーザは、たとえば、ユーザデバイス204のスクリーンで開いた手202を解除して(たとえば、ユーザデバイス204のスクリーンの見通し線の外に)使用することによって、ジェスチャを開始し得る。種々の実施形態では、オフスクリーンのジェスチャ検出および追跡が、超音波、広角度撮像素子(たとえば、可視光カメラ、飛行時間型カメラなどの領域撮像カメラ、構造型光学カメラ、またはステレオカメラなどのカメラ)、赤外線などの技術を、ユーザデバイスなどの1つまたは複数の端上で使用することによって行われ得る。次いで、ユーザは、参照符号206によって示されるように、ユーザデバイス上でジェスチャを継続して、オンスクリーンのコンテンツへの作用を継続し得る。この例では、ユーザは、ユーザデバイス204のスクリーンの左に向かって開いた手202を移動させて、ジェスチャを継続し得る。ジェスチャを停止させることは、コンテンツへの作用を停止させ得る。任意選択で、ユーザは、ジェスチャの解放を実行して、現在のジェスチャの追跡を停止させ得る。

別の例では、ユーザは、リストをスクロールするために、オフスクリーンからオーバースクリーンへのジェスチャを使用し得る。始めるために、ユーザは、ユーザデバイスの下方でつかむジェスチするように、オフスクリーンのジェスチャを実行し得る。次いで、ユーザは、オンスクリーンのリストがスクロールするように、手を上方に移動させ得る。次いで、ユーザは、ユーザデバイス上で、上方に手を移動させることを継続して、同一の相対的速度-動きで、オンスクリーンのリストをスクロールすることを継続させ得る。一部の実施形態では、ジェスチャの速度が考慮され得、移動の速度と実行される動作の速度(たとえば、より速いスクロール)との間の相関関係が存在し得る。任意のポイントで手の移動を停止させることは、スクロールを停止させ得る。任意選択で、ユーザは、ジェスチャの解放を実行して、現在のジェスチャの追跡を停止させ得る。ここで、図3を参照して、図は、本開示の実施形態に従って、オブジェクトの追跡とともに使用されるセンサの組を有するデバイスを示す。

センサの組(たとえば、スピーカ)は、異なる方位でデバイス302上に取り付けられ得、および超音波ペンまたは指などのオブジェクトのスムーズな追跡とともに使用され得る。スピーカは、ペンもしくは他のデバイスなどのオブジェクトによって発せられる超音波を検出し得、またはデバイスにおいて超音波エミッタが存在し、およびスピーカが、エミッタからの反射を検出してもよい。種々の実施形態では、センサは、スピーカ、マイクロフォン、筋電図(EMG)ストリップ、または任意の他の検知技術を含み得る。種々の実施形態では、ジェスチャ検出は、超音波ジェスチャ検出、視覚ベースのジェスチャ検出(たとえば、カメラ、または他の画像もしくはビデオ捕捉技術を介して)、超音波ペンジェスチャ検出などを含み得る。種々の実施形態では、カメラは、可視光カメラ、飛行時間型カメラなどの領域撮像カメラ、構造型光学カメラ、またはステレオカメラなどであり得る。

図3の実施形態は、デバイス302上で、またはその1もしくは複数の側面上で使用される制御オブジェクト、たとえば、超音波ペンまたは指を備えるジェスチャ検出および追跡技術の例示であり得る。種々の実施形態では、1つまたは複数のセンサは、制御オブジェクト(たとえば、超音波ペン、指など)による入力を検出し得、それによって制御オブジェクトが遷移領域に位置付けられていると決定されるときに、制御オブジェクトが遷移領域に位置付けられているとの決定に少なくとも部分的に基づいて、別のセンサでの入力の後続部分を検出するか否かを決定し得る。遷移領域は、1つのセンサから別へのハンドオフが存在し、またはカメラから超音波センサに、超音波センサからカメラもしくは別のセンサに、などセンサからセンサに移動することを含み得る、複数のセンサの遷移が存在する領域を含み得る。すなわち、遷移領域が特定される種々の実施形態では、ジャーキングが存在しないが、連続した動きが使用され、それによってシームレスなユーザ経験を提供し得るように、入力の精度が一定のままであり得る。種々の実施形態では、遷移領域は、複数のセンサが同時に制御オブジェクトを検出し得る物理領域を含み得る。遷移領域は、任意の形状、外形もしくはサイズの領域、たとえば、平面領域、体積であり得、またはセンサの異なる特性に依存した異なるサイズもしくは形状の領域であり得る。さらに、複数の遷移領域は重複し得る。この点について、一部の実施形態では、重複する遷移領域で動作するセンサの任意の1つから選択され得る。他の実施形態では、単一のセンサ(または一部の実施形態では、複数のセンサ)が選択されるまで、各遷移領域に対して個々に決定がされる。たとえば、2つの遷移領域が重複するとき、センサを選択するために、どのセンサを使用するかの決定は、2つの遷移領域の1つ目に対してなされ、その後に、2つの遷移領域の2つ目に対してなされ得る。

追跡のために、側面センサ306および上端センサ308ともに、前面センサ304が使用され得る。例では、実施形態に従って図4を参照して、以下でさらに詳細に説明されるように、前面センサ304および側面センサ306が、超音波ペンまた指などの制御オブジェクトのスムーズな追跡とともに使用され得る。

1つまたは複数の実施形態では、センサのこの構成を使用することによって、データの品質が固定され得る。例では、前面センサ304からの前面対向データが使用され得る。前面対向データは、それが許容可能な品質のデータである場合に維持され得るが、前面対向データの品質が悪い場合、側面センサ306からの側面対向データがともに使用され得る。すなわち、前面対向データの品質が評価され得、その品質が悪い場合(たとえば、前面センサ304単独で検出された音声または信号が単に20%以下)、または、たとえば、周囲の干渉、部分的に遮断されたセンサもしくは他の原因に起因して信号が雑音である場合、側面対向データへの遷移がされ得、それは、データの品質を、たとえば、60%まで(たとえば、前面センサ304を単独で使用する代わりに、側面センサ306によって、より高い割合の反射音声または信号が検出され得る)改善し得る。結果に対する信頼値は、追加のセンサを使用することによって増加し得ることに留意すべきである。例として、前面対向センサは、指などの制御オブジェクトが、一定の距離、たとえばデバイスの側面に対し、およびデバイスの前面に3cmにある(それは、決定された結果に対してより高い信頼値を与え、よって遷移領域において複数のセンサを使用して追跡の品質をより良くするために、側面センサによって確認され得る)ことを検出し得る。前面から側面への遷移または移動は、たとえば、前面から側面へ同一の制御オブジェクト(たとえば、ペンまたは指)を単純に使用することによってスムーズに行われ得る。別個の制御オブジェクト、たとえば、2つのペンまたは指が必要とされないように、移動が同期される。例では、デバイス302上の量を制御するための手のジェスチャなどのユーザの入力は、前面センサ304、たとえば、マイクロフォンによって検出され得、ユーザが手を、デバイス302の上端を過ぎて移動するように上方へ移動させるので、センサ304とセンサ308との間の遷移領域にある間、および手がセンサ304の領域を超えて移動すると、手が上端センサ308(たとえば、マイクロフォン)によって検出され得る。同様に、デバイス302の側面への移動は、手がたとえば、側面センサ306によって検出され得るように、センサ306を活性化または開始し得る。種々の実施形態では、センサ304、306、308の各々は、スピーカ、マイクロフォン、筋電図(EMG)ストリップ、または任意の他の検知技術などの任意の適切なセンサを含み得る。

ここで、図4を参照して、フローチャートは、本開示の実施形態に従って、制御オブジェクトを追跡するための方法を示す。図4の方法は、デバイス上で、またはその1つまたは複数の側面上で使用され得る超音波ペンまたは指などの制御オブジェクトを備えるジェスチャ検出および追跡技術を示す、図3の実施形態で示されるデバイスによって実装され得る。

ブロック402では、デバイス(たとえば、図3で示されるデバイス302)は、前面対向センサ304、側面対向センサ306、上端対向センサ308などの、種々の位置上でのセンサ(たとえば、スピーカ、マイクロフォンなど)を含み得る。オーバースクリーンのジェスチャ認識モードでは、オーバースクリーンジェスチャが、1つまたは複数の前面対向センサ304によって認識され得る。

ブロック404では、前面対向センサ304、たとえば、マイクロフォン、スピーカなどからデータが捕捉され得る。

ブロック406では、前面対向センサ304から捕捉されたデータが、たとえば、図9で示される処理コンポーネント1504によって、ジェスチャ検出のために処理され得る。

ブロック408では、たとえば、処理コンポーネント1504によって、ペンまたは指などの制御オブジェクトが検出されるかが決定される。

ブロック410では、ペンまたは指などの制御オブジェクトが検出される場合、指またはペンのジェスチャの動きが、前面対向センサ304、たとえば、マイクロフォン、スピーカなどによって捕捉され得る。

ブロック412では、前面対向ジェスチャの動きが、たとえば、処理コンポーネント1504もしくはセンサコントローラによって、またはセンサ304およびデバイス302と関連付けられたサブシステムの間の通信によって、デバイス302のユーザインターフェース入力に渡され得る。

ブロック414では、側面対向センサ306(たとえば、マイクロフォン、スピーカなど)からのデータの捕捉が開始され得る。

ブロック416では、側面対向センサ306からの捕捉されたデータが、たとえば、処理コンポーネント1504によって、ジェスチャ検出のために処理され得る。

ブロック418では、ペンまたは指などの制御オブジェクトが、側面対向センサ306から捕捉された側面対向データから検出されるかが決定される。そうでない場合、前面対向センサ304、たとえば、マイクロフォン、スピーカなどからデータが捕捉され得るように、システムはブロック404に戻る。

ブロック420では、ペンまたは指などの制御オブジェクトが、側面対向センサ306から捕捉された側面対向データから検出される場合、側面対向データは、前面対向センサ304から捕捉された前面対向データと時間同期され、1つの署名を生成し得る。実施形態では、デバイス302による応答のジャーキングが存在し得ないように、前面対向センサ304から側面対向センサ306への遷移領域が存在し得、すなわち、制御オブジェクトによる連続した入力が、デバイス302上で一貫した動作を生じさせ得るように、センサの間でシームレスな応答が提供され得る。このケースでは、異なるセンサまたは技術、たとえば、前面対向センサ304および側面対向センサ306が、制御オブジェクト(たとえば、タッチレスなジェスチャ)による同一の入力を検知し得る。よって、デバイス302の前面から側面になど、1つの領域から別に制御オブジェクトを移動させるとき、シームレスなユーザ経験が達成されるように、センサ入力(たとえば、304、306、308)が同期され得る。

ブロック422では、ペンまたは指などの制御オブジェクトが前面対向データから検出されるかが決定される。ペンまたは指などの制御オブジェクトが、前面対向データから検出される場合、データが前面対向センサ304から捕捉され得るように、システムはブロック404に戻る。

ブロック422では、ペンまたは指などの制御オブジェクトが前面対向データ、たとえば、前面対向センサ304により捕捉されたデータ、から検出されない場合、ペンまたは指などの制御オブジェクトが側面対向データから検出されるかが決定される。そうである場合、側面対向ジェスチャの動きが、前面対向ジェスチャの動きの続きとして、ユーザインターフェース入力に渡され得る。

1つまたは複数の実施形態では、たとえば、前面対向センサ304から側面対向センサ306に移動している遷移領域において制御オブジェクトが検出されるとき、側面対向センサ306は、制御オブジェクトがその検出領域にあるかを検出し得る。他の実施形態では、前面対向センサ304は、制御オブジェクトの位置を決定し、次いで、制御オブジェクトが前面対向センサ304によって制御オブジェクトが検出され得るところの端にあることができる遷移領域、または前面対向センサ304および側面対向センサ306が重複する領域に入っているかを決定し得る。さらなる他の実施形態では、制御オブジェクトの位置を決定することに基づいて、または動きの決定、たとえば、制御オブジェクトが側面対向センサ306の検出領域に入る可能性が高いという方法でそれが移動しているか(遷移領域において、もしくはそれに向かって)を決定することに基づいて、側面対向センサ306が選択的にオンまたはオフされ得る。そのような決定は、制御オブジェクトの速度、現在稼動しているアプリケーションによって予測される入力のタイプ、過去のユーザ対話からの学習されたデータ、などに基づき得る。

ここで、図5を参照して、図は、本開示の実施形態に従って、ユーザデバイスのスクリーンを超えてタッチ動作を継続することを示す。

ユーザ502は、たとえば、ユーザデバイス504のタッチセンサによって検出され得る、ユーザデバイス504のスクリーン上に指を置くことによって、タッチ動作を開始し得る。そのようなタッチ動作は、たとえば、リストをスクロールする目的となり得る。従来から、ユーザ502は、参照符号506によって示されるように、ユーザの指が上方に移動するときに、ユーザデバイス504のタッチセンサから、オフスクリーンのジェスチャ検出センサへのハンドオフがなされるように、ユーザデバイス504のスクリーンを超えてスクロールを継続し得る。タッチ動作を検出するように構成されたタッチセンサから、ユーザデバイス504のスクリーンの見通し線の外にあり得る、スクリーンでのジェスチャの解除を検出するように構成されたオフスクリーンのジェスチャ検出センサへのスムーズな遷移がなされる。この点について、タッチセンサから、オフスクリーンのジェスチャ検出センサへの遷移領域は、ユーザデバイス504のスクリーンの端の近く、またはスクリーンを解除するジェスチャが検出され得る検出領域内、もしくは指定された距離内、たとえばユーザデバイス504などのスクリーンの1cm内、にあり得る。実施形態では、タッチ動作およびスクリーンを解除するジェスチャなどのユーザ入力が組み合わされ得る。別の実施形態では、センサのタイプなどに基づいて、ユーザ入力が選択的にオンまたはオフされ得る。

種々の実施形態では、ユーザデバイスなどの1つまたは複数の端上で、超音波、広角度撮像素子(たとえば、カメラ)などの技術を使用することによって、オフスクリーンのジェスチャ検出および追跡が行われ得る。図5の実施形態で示されるように、ユーザによる継続されたジェスチャは、参照符号506によって示されるように、ユーザデバイス上で検出され得、それは、オンスクリーンのコンテンツに作用することを継続し得る。ジェスチャを停止させることは、コンテンツの作用を停止させ得る。任意選択で、ユーザによってジェスチャを解放することが検出され得、それは、現在のジェスチャの追跡を停止させ得る。

ジェスチャでタッチ動作を継続することは、スワイプ、スクロール、パン、拡大縮小などのコンテンツに作用する種々の目的で使用され得る。

本開示の1つまたは複数の実施形態に従って、センサフュージョンを介して対話式入力を拡張するための種々の技術が使用され得る。この点について、任意のジェスチャ技術がタッチ入力技術と組み合わされ得る。そのような技術は、たとえば、オーバースクリーンから1つまたは複数の側面への超音波制御オブジェクト検出技術、オーバースクリーンから1つまたは複数の側面への視覚ベースの検出技術、超音波ジェスチャ検出オフスクリーンへのオンスクリーンのタッチ検出技術、視覚ベースのジェスチャ検出オフスクリーンへのオンスクリーンのタッチ検出技術などを含み得る。種々の実施形態では、オンスクリーンの検出は、ユーザデバイスのタッチスクリーンをタッチする指または複数の指などの制御オブジェクトの検出を含み得る。一部の実施形態では、タッチスクリーンは、スタイラスまたは特殊に被膜された手袋などのオブジェクトを検出し得る。1つまたは複数の実施形態では、オンスクリーンは必ずしも、ユーザがデバイスをタッチする必要があることを意味しないことがある。たとえば、手、指、ジェスチャなどのオブジェクトを検出し、およびセンサ間のハンドオフがユーザに対してシームレスに見える、オフスクリーンのオブジェクトを追跡することを継続するために、視覚ベースのセンサ、および/または超音波センサとの組合せが使用され得る。

ここで、図6を参照して、図は、本開示の実施形態に従って、ユーザデバイスのスクリーンを超えてタッチ動作を継続することを示す。

図6のこの例では、ユーザは、Angry Birds(登録商標)などのビデオゲームを行い得る。ユーザは障害物において鳥を狙うことを望む。ユーザは、ユーザデバイス604のスクリーンを指602でタッチして、ゲームによって提示されるようなスリングショットを選択する。次いで、ユーザは、親指および人差し指をともに、または近接して押すことを維持するとともに、ゲームの要素を撤回させるための正しい角度および/または距離を得るために、参照符号606によって示されるように、スリングショットを引き、オフスクリーンでスリングショットを引くことを継続する。ユーザがオフスクリーンでの撤回の正しい角度または量を得ると、ユーザは、親指および人差し指を離し得る。デバイス604の端の近くで入力を検出するように構成された1つまたは複数のセンサ、たとえば、図6に示されるようなデバイス604の左端上のカメラは、指の位置、および親指と人差し指とが離れるポイントの両方を検出するように構成され得る。そのような離すことが検出されるとき、ゲームの要素は、障害物に向かってリリースされ得る。

ここで、図7を参照して、図は、本開示の実施形態に従って、ユーザデバイスのスクリーンを超えてタッチ動作を継続することを示す。

図7のこの例では、ユーザは、ユーザデバイス704のスクリーン上に表示された地図上の位置を発見することを望む。ユーザは、地図の所望の拡大縮小領域上で両方の指702を位置付け得る。次いで、ユーザは、拡大縮小するために、参照符号706によって示されるように、指702を互いに離れて移動させ得る。ユーザは、所望の拡大縮小が得られるまで、オフスクリーンで対話を継続し得る。

ここで、図8を参照して、フローチャートは、本開示の実施形態に従って、制御オブジェクトの移動を追跡するための方法を示す。種々の実施形態では、図8の方法は、図1、2、3、5、6、7または9でそれぞれ示されるデバイス104、204、304、504、604、704または1500などのシステムまたはデバイスによって実装され得る。

ブロック802では、システムは、タッチ対話に応答し得る。たとえば、システムは、スクリーン上に指を置くユーザ、すなわち、たとえば、図6のデバイス604または図7のデバイス704などのユーザデバイスのスクリーンにタッチするユーザに応答し得る。

ブロック804では、センサが活性化され得る。たとえば、ユーザデバイス上の超音波センサは、ユーザが指をスクリーンのベゼルに向かって移動(タッチ)させるときに活性化され得る。たとえば、図6に示されるように、デバイス604の左側面に位置する超音波センサなどのセンサは、デバイス604のスクリーンの左側面に向かって移動するユーザの指を検出したことに応答して、活性化され得る。

ブロック806では、ユーザデバイスの1つまたは複数の面上のセンサは、オフスクリーンの移動を検出する。たとえば、ユーザデバイスの側面に位置する1つまたは複数の超音波センサは、ユーザが指をオフスクリーンで移動(ホバリング)させるときに、オフスクリーンの移動を検出し得る。一例では、図6のデバイス604の左側面上に位置するセンサは、ユーザの指のオフスクリーンの動きを検出し得る。

ブロック808では、オフスクリーンでの指の移動を検出することが停止され得る。この点について、ユーザはオフスクリーンの対話を終了させるために、オフスクリーンでタップし得る。他の実施形態では、ジェスチャまたは動きの解放が検出されるとき、たとえば、開いた手を閉じる、閉じた手を開く、またはユーザデバイスのスクリーンの面などの面に実質的に沿った動き(たとえば、パン、拡大縮小など)の場合に、手を面の外に移動させるとき、オフスクリーンの検出が停止され得る。

種々の実施形態では、システムは、別のタッチ対話に応答し得る。たとえば、ユーザは、再度、スクリーンをタッチし得る。

ここで、図9を参照して、本開示の実施形態に従って、デバイスを実装するためのシステムのブロック図が示される。

本明細書で開示される方法およびシステムは、多種多様な電子システムまたはデバイスによって実装され、またはそれらに組み込まれ得ることが理解されよう。たとえば、モバイルデバイス、スマートフォン、携帯情報端末(PDA)、タブレット、ラップトップ、パーソナルコンピュータ、またはTVなどの有線または無線デバイスを含む任意のタイプのデバイスを実装するために、システム1500が使用され得る。ミュージックプレイヤ、ビデオプレイヤ、通信デバイス、ネットワークサーバなどの他の例示的な電子システムがまた、本開示に従って構成され得る。

システム1500は、本開示の実施形態を実装するために適しており、本明細書におけるそれぞれの図面で示されるユーザデバイス104、204、302、504、604、704を含み得る。デバイス、たとえば、スマートフォン、タブレット、パーソナルコンピュータおよび/またネットワークサーバの一部などのシステム1500は、バス1502、または処理コンポーネント1504(たとえば、プロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ(DSP)など)の1つまたは複数を含む、サブシステムおよびコンポーネントを相互接続する、情報を通信するための他の通信メカニズムと、システムメモリコンポーネント1506(たとえば、RAM)と、静的記憶コンポーネント1508(たとえば、ROM)と、ネットワークインターフェースコンポーネント1512と、ディスプレイコンポーネント1514(もしくは、代替的に、外部ディスプレイへのインターフェース)と、入力コンポーネント1516(たとえば、キーパッドもしくはキーボード、タッチスクリーン、ジェスチャ認識などの対話式入力コンポーネント)と、カーソル制御コンポーネント1518(たとえば、マウスパッド)と、を含む。

本開示の実施形態に従って、システム1500は、システムメモリコンポーネント1506に含まれる1つまたは複数の命令の1つまたは複数のシーケンスを実行する処理コンポーネント1504によって特定の演算を実行する。そのような命令は、静的記憶コンポーネント1508などの別のコンピュータ可読媒体からシステムメモリコンポーネント1506に読み込まれ得る。それらは、センサフュージョンなどを介して対話を拡張するための命令を含み得る。たとえば、第1のセンサによって検出され得るユーザ入力データ(たとえば、タッチスクリーンを介して検出され得るタッチ動作、または入力コンポーネント1516によって実装されたジェスチャ認識センサを介して検出され得るオンスクリーンのジェスチャ)は、1つのセンサから別へのスムーズなハンドオフがなされる遷移領域内でユーザ入力データが検出されるときに、第2のセンサによって検出され得るユーザ入力データ(たとえば、入力コンポーネント1516によって実装されたジェスチャ認識センサを介して検出され得るオフスクリーンのジェスチャ)と、処理コンポーネント1504によって同期または組み合わされ得る。この点について、処理コンポーネント1504はまた、上述したようにセンサをいつオンもしくはオフするか、ならびに/またはオブジェクトがいつ遷移領域内にあるか、および/もしくはセンサ間で制御オブジェクトをいつ手から離すかを決定するコントローラを実装し得る。一部の実施形態では、入力コンポーネント1516は、センサ304、306、308の1もしくは複数を備え、またはそれらを実装するために使用される。他の実施形態では、本開示の1つまたは複数の実施形態の実装のためにソフトウェア命令の代わりに、またはそれと組み合わせてハードワイヤー回路が使用され得る。

実行のために処理コンポーネント1504に命令を提供することに関与する任意の媒体を指し得る、コンピュータ可読媒体で論理が符号化され得る。そのような媒体は、不揮発性媒体、揮発性媒体、および送信媒体を含むがそれらに限定されない多くの形式をとり得る。種々の実装形態では、揮発性媒体は、システムメモリコンポーネント1506などの動的メモリを含み、送信媒体は、バス1502を備えるワイヤーを含む、同軸ケーブル、銅線およびファイバー光学を含む。実施形態では、送信媒体は、電波および赤外線データ通信の間に生成されるものなどの、音波または光波の形式をとり得る。コンピュータ可読媒体のいくつかの共通の形式は、たとえば、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、搬送波、またはコンピュータがそこから読み取るように適合された任意の他の媒体を含む。コンピュータ可読媒体は非一時的であり得る。

本開示の種々の実施形態では、本開示を実施するための命令のシーケンスの実行は、システム1500によって実行され得る。種々の他の実施形態では、通信リンク1520(たとえば、Wi-Fi、また種々の他の有線もしくは無線ネットワーク)によって結合された複数のシステム1500は、本開示を、別の1つと連携して実施するために、命令のシーケンスを実行し得る。システム1500は、通信リンク1520およびネットワークインターフェースコンポーネント1512を通じて、入力、メッセージ、データ、情報および1つまたは複数のプログラム(すなわち、アプリケーションコード)を含む命令を受信および拡張し得る。受信されたプログラムコードは、実行のために、ディスクドライブコンポーネント1510または一部の他の不揮発性記憶コンポーネントで受信され、および/またはそれらに記憶されるときに、処理コンポーネント1504によって実行され得る。

ここで、図10を参照して、フローチャートは、本開示の実施形態に従って、対話式入力を拡張するための方法を示す。図10に示される方法が、1つまたは複数の実施形態に従って本明細書のそれぞれの図で示されたユーザデバイス104、204、302、504、604、704のいずれかを実装し得る、図9に示されるシステム1500によって実装され得ることが理解されるべきである。

ブロック1002では、システム、たとえば、図9に示されるシステム1500は、第1のセンサで、制御オブジェクトによる入力の少なくとも一部を検出し得る。システム1500の入力コンポーネント1516は、ユーザデバイスのディスプレイコンポーネント1514、たとえば、スクリーン、またはジェスチャ認識センサ(たとえば、超音波)上のタッチ動作を含む制御オブジェクトによるユーザ入力を検出するように構成された1つまたは複数のセンサを実装し得る。種々の実施形態では、ユーザデバイスは、ユーザデバイスの異なる面、たとえば、前面、側面、上端、背面などに位置する1つまたは複数のセンサ(たとえば、図3の実施形態のユーザデバイス302上のセンサ304、306、308によって示されるような)を含み得る。制御オブジェクトは、入力コンポーネント1516によって実装された1つまたは複数のセンサによって検出され得る、ユーザの手、指、ペンなどを含み得る。

ブロック1004では、システムは、制御オブジェクトが遷移領域に位置付けされていると決定し得る。処理コンポーネント1504は、たとえば、制御オブジェクトがユーザデバイスの端の近く、またはユーザデバイスのスクリーンの指定された距離のオフセット内(たとえば、1cm内)で検出されるとき、制御オブジェクトが遷移領域内にあることを検出された入力データが示すと決定し得る。遷移領域は、1つのセンサから別のセンサへのハンドオフの間、入力に対する精度の高い連続した解像度が存在する領域を含み得る。一部の実施形態では、遷移領域はまた、たとえば、より短い範囲のセンサがより長い範囲のセンサにハンドオフする、スクリーンから、またはデバイスからのある距離に位置し得る。

ブロック1006では、システムは、制御オブジェクトが遷移領域内に位置付けされるとの決定に少なくとも部分的に基づいて、第2のセンサで、同一の入力の後続部分を検出するか否かを決定し得る。実施形態では、処理コンポーネント1504は、ユーザの入力の後続部分、たとえば、制御オブジェクトによる動きが、遷移領域で検出されることを決定し得る。結果として、入力コンポーネント1516によって実装されたジェスチャ検出センサは次いで、スムーズな方式で入力を継続するためにオフスクリーンのジェスチャを検出するために使用され得る。

ここで、現時点で、目下の特定のアプリケーションに応じて、本開示のデバイスの使用の構成要素、装置、構成および方法に、その精神および範囲から逸脱することなく、修正、置換、および変形がなされ得ることを当業者は理解するであろう。このことを考慮して、本開示の範囲は、それらが単に一部の例の手段であるので、本明細書で例示または説明された特定の実施形態に限定されるべきでなく、むしろ以下に添付される特許請求の範囲およびその機能的な同等物に完全に相当するべきである。

102 開いた手
104 ユーザデバイス
106 参照符号
202 開いた手
204 ユーザデバイス
206 参照符号
302 デバイス
304 前面センサ
306 側面センサ
308 上端センサ
502 ユーザ
504 ユーザデバイス
506 参照符号
602 指
604 ユーザデバイス
606 参照符号
702 指
704 ユーザデバイス
706 参照符号

Claims (37)

1. 第1のセンサで、制御オブジェクトによる入力の少なくとも一部を検出するステップと、
   前記制御オブジェクトが、遷移領域に位置付けられていることを決定するステップと、
   前記制御オブジェクトが、前記遷移領域に位置付けられているとの前記決定に少なくとも部分的に基づいて、第2のセンサで、同一の入力の後続部分を検出するか否かを決定するステップと
   を備える、方法。
2. 前記遷移領域はさらに、少なくとも前記第1のセンサから前記第2のセンサへのハンドオフの間、入力に対する精度の高い連続した解像度が存在する領域を備える、請求項1に記載の方法。
3. 前記検出するステップは、ユーザデバイスによって、オンスクリーンの入力データを捕捉するステップを備え、
   前記方法はさらに、
   前記第2のセンサで、前記入力の前記後続部分を検出すると決定されたとき、シームレスなユーザ入力を提供するために、前記オンスクリーンの入力データをオフスクリーンのデータと組み合わせるステップを備える、請求項1に記載の方法。
4. 前記オンスクリーンの入力データを捕捉する前記ステップはさらに、スクリーン上でタッチレスなジェスチャ入力データを捕捉するステップを備え、前記オフスクリーンのデータはさらに、オフスクリーンのタッチレスなジェスチャ入力データを備え、前記方法はさらに、前記スクリーン上で捕捉された前記タッチレスなジェスチャ入力データを、前記オフスクリーンのタッチレスなジェスチャ入力データと同期するステップを備える、請求項3に記載の方法。
5. 前記オンスクリーンの入力データを捕捉する前記ステップはさらに、オンスクリーンのタッチ入力データを捕捉するステップを備え、前記オフスクリーンのデータはさらに、タッチレスなジェスチャデータを備え、前記方法はさらに、前記オンスクリーンのタッチ入力データを前記タッチレスなジェスチャデータと組み合わせる前記ステップを介して、動作を制御するステップを備える、請求項3に記載の方法。
6. 前記オンスクリーンのタッチ入力データを前記タッチレスなジェスチャデータと組み合わせる前記ステップは、1つの連続したコマンドを生成する、請求項5に記載の方法。
7. 前記制御オブジェクトが、前記遷移領域に位置付けられていると決定すると、オフスクリーンのジェスチャ検出を開始するステップをさらに備える、請求項1に記載の方法。
8. 前記オフスクリーンのジェスチャ検出はさらに、ユーザデバイスの1つまたは複数の端上で、超音波または1もしくは複数の広角度撮像素子を使用することを備える、請求項7に記載の方法。
9. 前記ユーザデバイス上で、タッチスクリーンまたは前面対向画像センサを使用してオンスクリーンの入力データを捕捉するステップをさらに備える、請求項8に記載の方法。
10. 前記制御オブジェクトが、前記遷移領域内に位置付けられている間、前記第1のセンサおよび前記第2のセンサの両方を使用して、前記制御オブジェクトから入力を検出するステップをさらに備える、請求項1に記載の方法。
11. 前記検出するステップはさらに、ユーザデバイスによって、オフスクリーンの入力データを捕捉するステップを備え、
    前記方法はさらに、
    前記第2のセンサで、前記入力の前記後続部分を検出すると決定されたとき、シームレスなユーザ入力を提供するために、前記オフスクリーンの入力データを、オンスクリーンのデータと組み合わせるステップを備える、請求項1に記載の方法。
12. 前記オフスクリーンの入力データを捕捉する前記ステップはさらに、オフスクリーンのタッチレスなジェスチャ入力データを捕捉するステップを備え、前記オンスクリーンのデータはさらに、オンスクリーンのタッチレスなジェスチャ入力データを備え、前記方法はさらに、前記オフスクリーンのタッチレスなジェスチャ入力データを、前記オンスクリーンのタッチレスなジェスチャ入力データと同期するためのステップを備える、請求項11に記載の方法。
13. 1つまたは複数の入力を検出するように構成された複数のセンサと、
    1つまたは複数のプロセッサと、
    複数の機械可読命令を記憶するように適合された1つまたは複数のメモリと
    を備えたシステムであって、前記命令は、前記1つまたは複数のプロセッサによって実行されると、前記システムに、
    前記複数のセンサの第1のセンサで、制御オブジェクトによる入力の少なくとも一部を検出し、
    前記制御オブジェクトが、遷移領域に位置付けられていることを決定し、および、
    前記制御オブジェクトが、前記遷移領域に位置付けられているとの前記決定に少なくとも部分的に基づいて、前記複数のセンサの第2のセンサで、前記入力の後続部分を検出するか否かを決定する
    ことをさせるように適合された、システム。
14. 前記遷移領域はさらに、少なくとも前記第1のセンサから前記第2のセンサへのハンドオフの間、入力に対する精度の高い連続した解像度が存在する領域を備える、請求項13に記載のシステム。
15. 前記複数の機械可読命令は、前記1つまたは複数のプロセッサによって実行されると、前記システムに、
    前記第1のセンサで、オンスクリーンの入力データを捕捉し、および、
    前記第2のセンサで、前記入力の前記後続部分を検出すると決定されたとき、シームレスな入力を提供するために、前記オンスクリーンの入力データを、前記第2のセンサで捕捉されたオフスクリーンの入力データを組み合わせる
    ことをさせるように適合された、請求項13に記載のシステム。
16. 前記複数の機械可読命令は、前記1つまたは複数のプロセッサによって実行されると、前記システムに、ユーザデバイスのタッチスクリーンまたは前面対向センサを使用して前記オンスクリーンの入力データを捕捉することをさせるように適合された、請求項15に記載のシステム。
17. 前記オンスクリーンの入力データはさらに、スクリーン上で捕捉されたタッチレスなジェスチャ入力データを備え、前記オフスクリーンの入力データはさらに、オフスクリーンのタッチレスなジェスチャ入力データを備え、前記複数の機械可読命令は、前記1つまたは複数のプロセッサによって実行されると、前記システムに、前記スクリーン上で捕捉された前記タッチレスなジェスチャ入力データを、前記オフスクリーンのタッチレスなジェスチャ入力データと同期することをさせるように適合された、請求項15に記載のシステム。
18. 前記オンスクリーンの入力データはさらに、オンスクリーンのタッチ入力データを備え、前記オフスクリーンの入力データはさらに、タッチレスなジェスチャデータを備え、前記複数の機械可読命令は、前記1つまたは複数のプロセッサによって実行されると、前記システムに、前記オンスクリーンのタッチ入力データを前記タッチレスなジェスチャデータと組み合わせることを介して動作を制御することをさせるように適合された、請求項15に記載のシステム。
19. 前記複数の機械可読命令は、前記1つまたは複数のプロセッサによって実行されると、前記システムに、前記オンスクリーンのタッチ入力データを前記タッチレスなジェスチャデータと組み合わせることを介して1つの連続したコマンドを生成することをさせるように適合された、請求項18に記載のシステム。
20. 前記複数の機械可読命令は、前記1つまたは複数のプロセッサによって実行されると、前記システムに、前記制御オブジェクトが、前記遷移領域に位置付けられていると決定すると、オフスクリーンのジェスチャ検出を開始することをさせるように適合された、請求項13に記載のシステム。
21. 前記複数の機械可読命令は、前記1つまたは複数のプロセッサによって実行されると、前記システムに、ユーザデバイスの1つまたは複数の端上で、超音波または1もしくは複数の広角度撮像素子を使用することによって、前記制御オブジェクトが、前記遷移領域に位置付けられていると決定すると、前記オフスクリーンのジェスチャ検出を開始することをさせるように適合された、請求項20に記載のシステム。
22. 前記複数の機械可読命令は、前記1つまたは複数のプロセッサによって実行されると、前記システムに、前記制御オブジェクトが、前記遷移領域に位置付けられている間、前記第1のセンサおよび前記第2のセンサの両方を使用して、前記制御オブジェクトから入力を検出することをさせるように適合された、請求項13に記載のシステム。
23. 前記複数の機械可読命令は、前記1つまたは複数のプロセッサによって実行されると、前記システムに、
    前記第1のセンサで、オフスクリーンの入力データを捕捉し、および、
    前記第2のセンサで、前記入力の前記後続部分を検出すると決定されたとき、シームレスなユーザ入力を提供するために、前記オフスクリーンの入力データを、前記第2のセンサで捕捉されたオンスクリーンのデータと組み合わせる
    ことをさせるように適合された、請求項13に記載のシステム。
24. 前記オフスクリーンの入力データはさらに、オフスクリーンのタッチレスなジェスチャ入力データを備え、前記オンスクリーンのデータはさらに、オンスクリーンのタッチレスなジェスチャ入力データを備え、前記複数の機械可読命令は、前記1つまたは複数のプロセッサによって実行されると、前記システムに、前記オフスクリーンのタッチレスなジェスチャ入力データを、前記オンスクリーンのタッチレスなジェスチャ入力データと同期することをさせるように適合された、請求項23に記載のシステム。
25. 制御オブジェクトによる入力の少なくとも一部を検出するための第1の手段と、
    前記制御オブジェクトが、遷移領域に位置付けられていることを決定するための手段と、
    前記制御オブジェクトが、前記遷移領域に位置付けられているとの前記決定に少なくとも部分的に基づいて、検出するための第2の手段で、同一の入力の後続部分を検出するか否かを決定するための手段と
    を備える、装置。
26. 前記遷移領域はさらに、少なくとも検出するための前記第1の手段から、前記検出するための第2の手段へのハンドオフの間、入力に対する精度の高い連続した解像度が存在する領域を備える、請求項25に記載の装置。
27. 検出するための前記第1の手段はさらに、オンスクリーンの入力データを捕捉するための手段を備え、前記装置はさらに、検出するための前記第2の手段で、前記入力の前記後続部分を検出すると決定されたとき、シームレスなユーザ入力を提供するために、前記オンスクリーンの入力データを、オフスクリーンのデータと組み合わせるための手段を備える、請求項25に記載の装置。
28. 前記オンスクリーンの入力データを捕捉するための前記手段はさらに、スクリーン上でのタッチレスなジェスチャ入力データを捕捉するための手段を備え、前記オフスクリーンのデータはさらに、オフスクリーンのタッチレスなジェスチャ入力データを備え、前記装置はさらに、前記タッチレスなジェスチャ入力データを、前記オフスクリーンのタッチレスなジェスチャ入力データと同期するための手段を備える、請求項27に記載の装置。
29. 前記オンスクリーンの入力データを捕捉するための前記手段はさらに、オンスクリーンのタッチ入力データを捕捉するための手段を備え、前記オフスクリーンのデータはさらに、タッチレスなジェスチャデータを備え、前記装置はさらに、前記オンスクリーンのタッチ入力データを、前記タッチレスなジェスチャデータと組み合わせることを介して、動作を制御するための手段を備える、請求項27に記載の装置。
30. 前記オンスクリーンのタッチ入力データを、前記タッチレスなジェスチャデータと組み合わせるための手段を使用することによって、1つの連続したコマンドを生成するための手段をさらに備える、請求項29に記載の装置。
31. 前記制御オブジェクトが、前記遷移領域に位置付けられていると決定すると、オフスクリーンのジェスチャを検出するための手段を開始するための手段をさらに備える、請求項25に記載の装置。
32. オフスクリーンのジェスチャを検出するための前記手段はさらに、ユーザデバイスの1つまたは複数の端上で、超音波または1もしくは複数の広角度撮像素子を使用する手段を備える、請求項31に記載の装置。
33. ユーザデバイスのタッチスクリーンまたは前面対向センサを使用して、オンスクリーンの入力データを捕捉するための手段をさらに備える、請求項32に記載の装置。
34. 前記制御オブジェクトが、前記遷移領域内に位置付けられている間、前記制御オブジェクトから入力を検出するために、検出するための前記第1の手段および検出するための前記第2の手段の両方が使用される、請求項25に記載の装置。
35. 検出するための前記第1の手段はさらに、オフスクリーンの入力データを捕捉するための手段を備え、前記装置はさらに、
    検出するための前記第2の手段で、前記入力の前記後続部分を検出すると決定されたとき、シームレスなユーザ入力を提供するために、前記オフスクリーンの入力データを、オンスクリーンのデータと組み合わせるための手段を備える、請求項25に記載の装置。
36. 前記オフスクリーンの入力データを捕捉するための前記手段はさらに、オフスクリーンのタッチレスなジェスチャ入力データを捕捉するための手段を備え、前記オンスクリーンのデータはさらに、オンスクリーンのタッチレスなジェスチャ入力データを備え、前記装置はさらに、前記オフスクリーンのタッチレスなジェスチャ入力データを、前記オンスクリーンのタッチレスなジェスチャ入力データと同期するための手段を備える、請求項35に記載の装置。
37. コンピュータ可読命令が記憶された非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
    第1のセンサで、制御オブジェクトによる入力の少なくとも一部を検出し、
    前記制御オブジェクトが、遷移領域に位置付けられていることを決定し、および、
    前記制御オブジェクトが、前記遷移領域に位置付けられているとの前記決定に少なくとも部分的に基づいて、第2のセンサで、前記入力の後続部分を検出するか否かを決定する
    ことをさせる、非一時的コンピュータ可読媒体。

Images