JP2015509634A - 複数のタイプのセンサーからの情報に基づくジェスチャー検出 - Google Patents

Abstract

方法は、電子デバイスの第１のセンサーから第１の出力を受信し、電子デバイスの第２のセンサーから第２の出力を受信することを含む。第１のセンサーは、第１のセンサータイプを有し、第２のセンサーは、第１のセンサータイプとは異なる第２のセンサータイプを有する。また、方法は、ジェスチャーの複雑度に少なくとも部分的に基づく補足的な票決方式に従って、第１の出力と第２の出力とに基づいて、ジェスチャーを検出することを含む。

Description

関連出願の相互参照
[0001]本出願は、その内容全体が参照により本明細書に明確に組み込まれる、本願の譲受人によって共通に所有される、２０１２年３月１日に出願された米国仮特許出願第６１／６０５，６３６号、２０１２年８月２２日に出願された米国仮特許出願第６１／６９１，９８９号、および２０１３年２月１４日に出願された米国非仮特許出願第１３／７６７，６９８号から優先権を主張する。

[0002]本開示は、一般にジェスチャー検出に関する。

[0003]技術の進歩により、コンピューティングデバイスは、より小型でより強力になった。たとえば、現在、小型で軽量な、ユーザが容易に持ち運べるポータブルワイヤレス電話、携帯情報端末（ＰＤＡ）、およびページングデバイスなどのワイヤレスコンピューティングデバイスを含む、様々なポータブルパーソナルコンピューティングデバイスが存在する。より具体的には、セルラー電話およびインターネットプロトコル（ＩＰ）電話などのポータブルワイヤレス電話は、ワイヤレスネットワークを介してボイスおよびデータパケットを通信することができる。さらに、このような多くのワイヤレス電話は、その中に組み込まれた他のタイプのデバイスを含む。たとえば、ワイヤレス電話は、デジタルスチルカメラと、デジタルビデオカメラと、デジタルレコーダと、オーディオファイルプレーヤとを含むこともできる。

[0004]ワイヤレス電話のようなポータブルデバイスのハンズフリー動作は、様々な使用事例において望ましくなっている。たとえば、携帯電話の車内ハンズフリー動作は、安全性の理由で望ましい場合がある。たとえばゲーム機など一部の電子システムは、ジェスチャー認識機能を有する。ジェスチャー認識は、単一のセンサー（たとえば、カメラまたは赤外線センサーのいずれか）を使用してしばしば実行される。

[0005]モバイルデバイスアプリケーションにおいて使用に適したジェスチャー認識のシステムおよび方法が開示される。特に、開示された技法は、より頑強な（robust）ジェスチャー認識を提供するために複数のタイプのセンサーを活用することを含む。開示されたシステムおよび方法の例示的なアプリケーションは、限定はしないが、車内エンターテインメント／電話／ナビゲーションのための車内ジェスチャー制御、リビングルームのメディア制御、ゲーム、台所機器制御（in-kitchen appliance control）、マルチメディアプレゼンテーション制御、ジム／エクササイズ機器制御などを含む。さらに、開示されたシステムおよび方法は、携帯電話、埋込み型デバイス、ネットブックコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、メディアセンター、セットトップボックス（set-top boxes）、「スマート」機器、ゲーム機などを含む様々なプラットフォーム上で動作することができる。

[0006]マルチセンサータイプを活用することによって、開示されたシステムおよび方法は、シングルセンサータイプのジェスチャー認識システムに関連する欠点を克服することができる。たとえば、ジェスチャー認識のために、カメラと超音波センサーの両方を活用する開示されたシステムの一実施形態について考える。超音波は、対象がモバイルデバイスに近接し検出されると、システムの停止状態（rest）を「ウェイク」アップさせる低出力フロントエンド（low-power front end）として使用され得る。システムは、照明／近接度の状態に応じて、センサーをオン／オフに動的に切り替えることができる。照明の状態が劣っており、カメラの信頼性が低いとき、超音波のみが使用され得る。反対に、ターゲットのジェスチャーがモバイルデバイスから遠く離れているとき、またはジェスチャーが定常状態であるか複雑なジェスチャーであるとき、超音波は信頼性が低い場合があり、したがって、カメラのみが使用され得る。様々なセンサーまたはその部分は、（たとえば、電力を節約するために）照明／近接度の状態に基づいて、選択的にアクティブ化および非アクティブ化され（deactivated）得る。

[0007]照明／近接度の状態によって、複数のタイプのセンサーの使用が可能になるとき、どんなジェスチャーが検出されるかを決定するために、補足的な票決方式（complementary voting scheme）がセンサー出力に適用され得る。たとえば、各センサーは、検出されたジェスチャー（たとえば、左、右、上、下、選択など）と、信頼レベル（confidence level）とを出力することができる。両方のタイプのセンサーが同じジェスチャーを検出したとき、そのジェスチャーが出力され得る。センサーが異なるジェスチャーを検出したとき、より高い信頼度を有するジェスチャーが出力され得る。超音波が単純なジェスチャーをピックアップし、しかし、カメラは、複雑なジェスチャーをピックアップしたとき、複雑なジェスチャーが出力され得る。

[0008]それ自体の性能を向上させようとして、自己調整（self-adjustment）をトリガするために、各センサーは、他のセンサーからの情報を使用することができる。一実装形態では、データは、共通データモデルおよび／またはアプリケーションプログラミングインターフェース（ＡＰＩ）を介して交換され得る。

[0009]特定の実施形態では、装置は、第１の出力を生成するように構成された第１のセンサーと、第２の出力を生成するように構成されたカメラとを含む。また、装置は、プロセッサと、第１の出力および第２の出力のうちの少なくとも１つに基づいてジェスチャーを検出するためにプロセッサによって実行可能なジェスチャー検出モジュールとを含む。カメラの少なくとも一部分は、照明レベルとジェスチャー範囲とに基づいて選択的に非アクティブ化される。

[0010]別の特定の実施形態では、方法は、電子デバイスの第１のセンサーから第１の出力を受信することと、電子デバイスの第２のセンサーから第２の出力を受信することとを含む。第１のセンサーは、第１のセンサータイプを有し、第２のセンサーは、第１のセンサータイプとは異なる第２のセンサータイプを有する。また、方法は、ジェスチャーの複雑度に少なくとも部分的に基づく補足的な票決方式に従って、第１の出力と第２の出力とに基づいて、ジェスチャーを検出することを含む。

[0011]別の特定の実施形態では、装置は、共通データモデルに従って第１の出力を生成し、第１の出力を超音波処理経路に提供するように構成された超音波センサーを含む。装置は、共通データモデルに従って第２の出力を生成し、第２の出力を画像処理経路に提供するように構成されたカメラも含む。装置は、プロセッサと、第１の出力および第２の出力のうちの少なくとも１つに基づいてジェスチャーを検出するためにプロセッサによって実行可能なジェスチャー検出モジュールとをさらに含む。超音波処理経路と画像処理経路とは、共通データモデルに従ってデータを交換するように構成される。

[0012]別の特定の実施形態では、装置は、第１の出力を超音波処理経路に提供するように構成された超音波センサーと、第２の出力を画像処理経路に提供するように構成されたカメラとを含む。また、装置は、プロセッサと、第１の出力および第２の出力のうちの少なくとも１つに基づいてジェスチャーを検出するためにプロセッサによって実行可能なジェスチャー検出モジュールとを含む。超音波センサーおよびカメラは各々、超音波処理経路と画像処理経路との間で交換されるデータに基づいて、プロセッサとは無関係に、自己調整するように構成される。

[0013]開示された実施形態の少なくとも１つによって提供される特定の利点は、シングルセンサータイプのシステムと比較するとジェスチャー認識精度の向上を提供し得る複数のタイプのセンサーの出力に、補足的な票決方式を適用することに基づいて、ジェスチャーを検出する能力を含む。さらに、センサー（またはその部分）は、（たとえば、電力を節約するために）照明／近接度の状態に基づいて、選択的にアクティブ化および非アクティブ化され得る。さらに、センサーは、性能を向上させるために、他のセンサーからの出力に基づいて自己調整することができる。

[0014]本開示の他の態様、利点、および特徴は、以下の節、図面の簡単な説明、発明を実施するための形態、および特許請求の範囲を含む、本出願全体を検討した後、明らかになろう。

[0015]複数のタイプのセンサーからの情報に基づいてジェスチャー検出を実行するように動作可能なシステムの特定の実施形態の図。 [0016]複数のタイプのセンサーからの情報に基づいてジェスチャー検出を実行するように動作可能なシステムの別の特定の実施形態の図。 [0017]複数のタイプのセンサーからの情報への補足的な票決方式の適用を介してジェスチャー検出を実行する方法の特定の実施形態のフローチャート。 [0018]図１のシステムでの動作方法の特定の実施形態のフローチャート。 [0019]記載された実施形態による複数のタイプのセンサーからの情報に基づいてジェスチャー認識を実行するように動作可能なワイヤレスデバイスのブロック図。 [0020]ジェスチャー検出に関連付けられたデータ交換を実施する特定の実施形態を示すためのブロック図。 [0021]ジェスチャー検出に関連付けられたデータ交換の特定の実施形態を示すための図。 [0022]低電力近接検出システムの特定の実施形態の図。 [0023]マルチモードジェスチャー検出システム（multi-modal gesture detection system）の特定の実施形態の図。 [0024]低電力近接検出システムの別の特定の実施形態の図。 [0025]図１０のシステムに関連付けられた特定の例示的な信号の図。 [0026]図１０のシステムで実行される低電力近接検出方法の特定の実施形態のフローチャート。

[0027]図１は、複数のタイプのセンサーからの情報に基づいてジェスチャー認識を実行するように動作可能なシステム１００の特定の実施形態を示す。たとえば、図１に示すように、電子デバイス１１０は、超音波センサー１１１とカメラ１１３とを含み、超音波センサー１１１および／またはカメラ１１３からの出力に基づいてジェスチャー（たとえば、手１２０によって行われる）を検出することができる。図１における特定タイプのセンサーは、単に例にすぎないことに留意されたい。超音波センサー１１１およびカメラ１１３の代わりに、またはそれに加えて、たとえば赤外線および磁気など他のタイプのセンサーが含まれていてもよい。電子デバイス１１０は、ワイヤレスデバイス（たとえば、携帯電話またはスマートフォン）、コンピューティングデバイス（たとえば、ラップトップコンピュータ、タブレットコンピュータ、ポータブルメディアプレーヤ、携帯情報端末（ＰＤＡ）など）、それらに関連するアクセサリー、または任意のそれらの組合せとすることができる。

[0028]本明細書で使用する「超音波センサー」という用語は、超音波信号のみを感知することが可能であるセンサー（すなわち、専用超音波センサー）を識別し得、超音波信号に加えて他の信号も感知することが可能であるセンサー（すなわち、多目的センサー）をも識別し得ることに留意されたい。たとえば、多目的センサーはまた、人間の可聴範囲（たとえば、２０Ｈｚ〜２０ｋＨｚ）内にあるオーディオ信号、および／または他のタイプの信号（たとえば、電磁信号、無線周波（ＲＦ：radio frequency）信号など）を感知するように動作可能であり得る。

[0029]電子デバイス１１０の各センサー１１１、１１３は、超音波処理／制御モジュール１１２と画像処理／制御モジュール１１４とによって、図１に示した信号処理経路に結合され得る。処理／制御モジュール１１２および１１４の各々は、対応するそれぞれのセンサー１１１および１１３によって生成される出力の動作を制御し、それを処理するように構成され得る。たとえば、超音波処理／制御モジュール１１２は、超音波センサー１１１によって生成される第１の出力を処理することができ、画像処理／制御モジュール１１４は、カメラ１１３によって生成される第２の出力を処理することができる。

[0030]処理／制御モジュール１１２および１１４は、ジェスチャー検出モジュール１１８に結合され得る。ジェスチャー検出モジュール１１８は、超音波センサー１１１からの第１の出力、および／またはカメラ１１３からの第２の出力に基づいて、ジェスチャー（たとえば、手１２０によって行われる）を検出することができる。超音波センサー１１１からの第１の出力と、カメラ１１３からの第２の出力との各々は、識別されたジェスチャーと信頼度スコアとを含み得る。例示のために、手１２０に関する識別されたジェスチャーは、左１２１、右１２２、上１２３、下１２４、手前（away）１２５（すなわち、図１の平面から外の方向）、または奥（towards）１２６（すなわち、図１の平面の中への方向）とすることができる。特定の実施形態では、奥１２６および／または手前１２５のジェスチャーは、（たとえば、メニューまたはリストのナビゲーションの間など）「選択」ジェスチャーを表し得る。ジェスチャー１２１〜１２６は説明のためのものにすぎないことに留意されたい。複雑なジェスチャーおよび定常状態のジェスチャーを含む他のタイプのジェスチャーも検出され得る。たとえば、手１２０が動かない（したがって、超音波センサー１１１を介した検出を困難にする）定常状態のジェスチャーは、手１２０が静止したままになっている（remaining motionless）が、（たとえば、２本の指が伸ばされているなど）特定の数の指を伸ばして（たとえば、上から第２の項目など）特定のメニュー項目の選択を示すことを含み得る。検出可能なジェスチャーは、定期的または反復のジェスチャー（たとえば、手１２０が前後に振られている）を含むこともできる。

[0031]特定の実施形態では、図５を参照しながらさらに説明するように、ハードウェアプロセッサによって実行され得るプロセッサ実行可能命令を使用して、モジュール１１２、１１４および／または１１８の全部または一部分が実施され得る。特定の実施形態では、モジュール１１２、１１４および／または１１８の全部または一部分は、たとえば専用の回路、コントローラ、１つまたは複数の他のハードウェアデバイス、またはそれらの任意の組合せなど、ハードウェアを使用して実装され得る。

[0032]特定の実施形態では、ジェスチャー検出モジュール１１８は、どんなジェスチャーが検出されるかを決定するために、補足的な票決方式を適用することができる。補足的な票決方式は、ジェスチャーの複雑度に少なくとも部分的に基づき得る。たとえば、超音波センサー１１１とカメラ１１３の両方が同じジェスチャーを識別したとき、同じジェスチャーが出力ジェスチャーとして選択され得る。超音波センサー１１１とカメラ１１３とが異なるジェスチャーを識別したとき、より高い信頼度スコアを有するジェスチャーが出力ジェスチャーとして選択され得る。別の例として、超音波センサー１１１とカメラ１１３とが様々な複雑度のジェスチャーを識別したとき、より複雑なジェスチャーが出力ジェスチャーとして選択され得る。補足的な票決方式の特定の例については、図３を参照しながらさらに説明する。

[0033]特定の実施形態では、電子デバイス１１０は、光検出器（たとえば、カメラ１１３の内部の光検出器１１５、またはカメラ１１３の外部の光検出器１１６など）を含み得る。光検出器１１５または１１６は、環境照明レベルを決定し得る。照明レベルおよび／またはジェスチャー範囲（たとえば、超音波センサー１１１および／またはカメラ１１３によって測定されるように、手１２０が電子デバイス１１０にどのぐらい近いか）に基づいて、超音波センサー１１１および／またはカメラ１１３の部分が選択的に非アクティブ化され得る。例示のために、照明の状態が劣っており、光検出器１１５または１１６が低い照明レベルを決定するとき、カメラ１１３は暗いまたはほぼ暗い（near-dark）状態で動きを正確に検出することができないので、電力を節約するために、カメラ１１３および画像処理／制御モジュール１１４の全部または一部分は、非アクティブ化され得る。光検出器１１５または１１６は、照明の状態の変化を検出するために、アクティブ化されたままであり得る。

[0034]別の例として、手１２０が特定の位置にあることを超音波センサー１１１が検出すると、カメラ１１３は、関心のあるエリア（an area of interest）を識別するために、そのような情報を利用することができる。関心のあるエリアに対応するカメラ１１３のセンサーアレイの一部分はアクティブ化され得、一方、センサーアレイの他の部分または残りは、電力を節約するために、非アクティブ化され得る。

[0035]そのような機能を実装するために、超音波処理／制御モジュール１１２と画像処理／制御モジュール１１４との間でデータが交換され得、データ交換１１７として示されている。たとえば、超音波センサー１１１およびカメラ１１３は、他のセンサーおよび処理／制御モジュールが、出力を正常に解釈することができるように、共通データモデルまたはアプリケーションプログラミングインターフェース（ＡＰＩ）に従ってそれらのそれぞれの出力をフォーマットすることができる。共通データモデルに従って交換されたデータは、超音波センサー１１１からの出力、カメラ１１３からの出力、超音波センサー１１１またはカメラ１１３からの手１２０の範囲（すなわち、距離）に関連するデータ、超音波センサー１１１またはカメラ１１３に対する手１２０の位置に関連するデータ、超音波センサー１１１（たとえば、信号放出周波数（signal emission frequency）、信号放出周期、信号放出方向など）またはカメラ１１３（たとえば、イメージキャプチャモード、焦点距離、焦点領域など）のアクティブ構成に関連付けられたデータ、または任意のそれらの組合せを含み得る。信号処理／制御モジュール１１２および１１４の各々はまた、処理／制御モジュール１１２および１１４の他方から受信されたデータに基づいて偽陽性（たとえば、ジェスチャーが実際に存在しない検出されたジェスチャー）を検出するように構成され得る。

[0036]処理／制御モジュール１１２と１１４の間でのデータ交換が可能にされると、センサー１１１および１１３の各々は、センサー１１１および１１３の他方からの情報に基づいて自己調整することができる。さらに、そのような自己調整は、電子デバイス１１０のプロセッサ（たとえば、アプリケーションプロセッサ）とは無関係であり得る。例示のために、超音波センサー１１１は、カメラ１１３からの出力に基づいて、アクティブ構成、信号放出周波数、信号放出方向、または任意のそれらの組合せを自己調整することができる。カメラ１１３は、超音波センサー１１１からの出力に基づいて、アクティブ構成、焦点距離、焦点領域、または任意のそれらの組合せを自己調整することができる。したがって、センサー１１１および１１３の各々は、中央プロセッサまたはコントローラによってそうするように指示されることなく、自己調整を介して、それ自体の性能を向上させるように構成され得る。データ交換を実装するためのフレームワークの特定の例が図６に示される。ジェスチャーデーモン（gesture daemon）を使用したカメラと超音波センサーとの間でのデータ交換の一例が図７に示される。

[0037]動作中、ジェスチャー検出モジュール１１８は、超音波センサー１１１とカメラ１１３とのうちの１つまたは複数からの出力に基づいて、手１２０によって行われるジェスチャーを識別することができる。たとえば、光検出器１１５または１１６によって決定される照明レベルが照明閾値未満である（たとえば、カメラ１１３にとって暗すぎる）とき、カメラ１１３は非アクティブ化され得、超音波センサー１１１からの出力に基づいて、ジェスチャー検出が実行され得る。照明レベルが照明閾値以上であるとき、ジェスチャー検出は、ジェスチャー範囲に依存し得る。例示のために、ジェスチャー範囲が近接閾値（nearness threshold）未満である（たとえば、手１２０がカメラ１１３にとって近すぎる）とき、カメラ１１３は非アクティブ化され得、超音波センサー１１１からの出力に基づいて、ジェスチャー検出が実行され得る。ジェスチャー範囲が遠方閾値（farness threshold）を上回る（たとえば、手１２０が超音波センサー１１１にとって遠すぎる）とき、超音波センサー１１１は非アクティブ化され得、カメラ１１３からの出力に基づいて、ジェスチャー検出が実行され得る。ジェスチャー範囲が近接閾値と遠方閾値との間にあるとき、補足的な票決方式に従って、センサー１１１と１１３の両方からの出力に基づいて、ジェスチャー認識が実行され得る。

[0038]図１のシステム１００は、このように、複数のタイプのセンサーからの情報に基づいてジェスチャー検出を可能にすることができる。異なるタイプのセンサーを活用することによって、図１のシステム１００が、（たとえば、誤ったジェスチャーおよび偽陽性（false positives）の減少により）シングルセンサータイプシステムよりも大きいジェスチャー検出精度を提供することができることを諒解されよう。図１のシステム１００が照明および近接度情報に基づいてセンサーまたはその部分を選択的に非アクティブ化することによって電力を節約することができ、センサー経路（sensor paths）の間で交換されるデータに基づいて性能を自己向上させる（self-improve）ことを試みることができることも諒解されよう。

[0039]図２は、複数のタイプのセンサーからの情報に基づいてジェスチャー検出を実行するように動作可能なシステム２００の別の特定の実施形態の図である。システム２００は、図１の超音波センサー１１１と、カメラ１１３と、超音波処理／制御モジュール１１２と、画像処理／制御モジュール１１４と、ジェスチャー認識モジュール１１８とを含む。さらに、超音波処理／制御モジュール１１２および画像処理／制御モジュール１１４は、図１を参照しながら説明したデータ交換１１７として示されるように、共通データモデルを介してデータを交換するように構成され得る。

[0040]特定の実施形態では、モジュール１１２、１１４、および１１８は、１つまたは複数のサブモジュールを含み得る。たとえば、超音波処理／制御モジュール１１２は、超音波追跡モジュール２０１と、超音波ジェスチャー検出モジュール２０２とを含み得る。超音波追跡モジュール２０１は、発せられた超音波信号に関連付けられた飛行時間情報（time of flight information）と、発せられた超音波信号の（複数の）反射に基づいて１つまたは複数の対象（objects）の動き（たとえば、図１の手１２０）を追跡するように構成され得る。超音波ジェスチャー検出モジュール２０２は、超音波追跡モジュール２０１によって生成される追跡データが認識可能なジェスチャーを表すかどうかを判断することができ、その場合、認識可能なジェスチャーに関連付けられた信頼レベルを決定することができる。同様に、画像処理／制御モジュール１１４は、カメラ追跡モジュール２０３と、カメラジェスチャー検出モジュール２０４とを含み得る。カメラ追跡モジュール２０３は、画像追跡データを出力することができる。カメラジェスチャー検出モジュール２０４は、画像追跡データが認識可能なジェスチャーを表すかどうかを判断することができ、その場合、認識可能なジェスチャーに関連付けられた信頼レベルを決定することができる。超音波センサー１１１を介して認識可能なジェスチャーのセットがカメラ１１３を介して認識可能なジェスチャーのセットとは異なり得ることに留意されたい。

[0041]ジェスチャー検出モジュール１１８は、マルチモードジェスチャー識別モジュール２０５を含み得る。たとえば、図３を参照しながらさらに説明するように、マルチモードジェスチャー識別モジュール２０５は、補足的な票決方式を超音波ジェスチャー検出モジュール２０２とカメラジェスチャー検出モジュール２０４との出力に適用することができる。ジェスチャー検出モジュール１１８は、１つまたは複数のアプリケーション、たとえば例示的なアプリケーション２２０に標準化されたフォーマットのマルチモードジェスチャー識別モジュール２０５の結果を出力するように構成された拡張ジェスチャーインターフェース２０６も含み得る。

[0042]特定の実施形態では、システム２００は、３つ以上のタイプのセンサーを随意に含み得る。たとえば、システム２００は、超音波およびカメラとは異なる第３のセンサータイプを有する第３のセンサー２０７を含み得る。第３のセンサー２０７の信号経路は、第３のセンサー追跡モジュール２０８と第３のセンサージェスチャー検出モジュール２０９とを含み得、第３のセンサージェスチャー検出モジュール２０９の出力は、マルチモードジェスチャー識別モジュール２０５によって適用される補足的な票決方式に提供され得る。第３のセンサーのデータ経路と他のセンサーのデータ経路との間でデータが交換され得、別のデータ交換２１０として示されている。２００のシステムは、このように、マルチモードジェスチャー認識とデータ交換とを実装するために、拡張可能なフレームワークを提供することができる。

[0043]図３は、複数のタイプのセンサーからの情報への補足的な票決方式の適用を介してジェスチャー検出を実行する方法３００の特定の実施形態のフローチャートである。例示的な一実施形態では、方法３００は、図１のジェスチャー検出モジュール１１８または図２のマルチモードジェスチャー識別モジュール２０５によって実行され得る。

[0044]方法３００は、３０２で、電子デバイスの第１のセンサーから第１の出力を受信することを含み得る。第１のセンサーは、第１のセンサータイプを有し、第１の出力は、第１の信頼度スコアを有する第１のジェスチャーを識別し得る。方法３００は、３０４で、電子デバイスの第２のセンサーから第２の出力を受信することも含み得る。第２のセンサーは、第１のセンサータイプとは異なる第２のセンサータイプを有し、第２の出力は、第２の信頼度スコアを有する第２のジェスチャーを識別し得る。たとえば、図１で、ジェスチャー検出モジュール１１８は、超音波処理／制御モジュール１１２を介して超音波センサー１１１から第１の出力を受信し、画像処理／制御モジュール１１４を介してカメラ１１３から第２の出力を受信することができる。

[0045]方法３００は、３０６で、第１のジェスチャーと第２のジェスチャーとが同じであるかどうかを判断することをさらに含むことができる。第１のジェスチャーと第２のジェスチャーとが同じである（すなわち、両方のセンサーは同じジェスチャーを識別した）と判断されたとき、方法３００は、３０８で、同じジェスチャーを出力ジェスチャーとして選択することを含み得る。第１のジェスチャーと第２のジェスチャーとが異なると判断されたとき、方法３００は、３１０で、第１のジェスチャーと第２のジェスチャーとが複雑度の点で異なるかどうかを判断することを含み得る。第１のジェスチャーと第２のジェスチャーとが複雑度の点で異なるとき（たとえば、センサーのうちの一方は単純なジェスチャーを識別し、しかし、他方のセンサーは複雑なジェスチャーを識別した）、方法３００は、３１２で、より複雑なジェスチャーを出力ジェスチャーとして選択することを含み得る。例示のために、図１を参照すると、超音波検出は単純な「上」ジェスチャーを識別し、しかし、カメラ検出は、より複雑な「２本の指が伸びた」ジェスチャーを識別したとき、ジェスチャー検出モジュール１１８は、より複雑な「２本の指が伸びた」ジェスチャーを出力ジェスチャーとして選択し得る。

[0046]第１のジェスチャーと第２のジェスチャーとが同じ複雑度を有していると判断されたとき、方法３００は、３１４で、第１の信頼度スコアが第２の信頼度スコアよりも大きいかどうかを判断することを含み得る。第１の信頼度スコアが第２の信頼度スコアよりも大きいと判断されたとき、方法３００は、３１６で、第１のジェスチャーを出力ジェスチャーとして選択することを含み得る。第１の信頼度スコアが第２の信頼度スコアよりも大きくないと判断されたとき、方法３００は、３１８で、第２のジェスチャーを出力ジェスチャーとして選択することを含み得る。

[0047]図３の方法３００は、このように、シングルセンサータイプのシステムと比較するとジェスチャー認識精度の向上を提供し得る複数のタイプのセンサーの出力に、補足的な票決方式を適用することに基づいて、ジェスチャーの検出を可能にすることができる。

[0048]図４は、超音波センサーとカメラとを含むジェスチャー認識システムの動作の方法４００の特定の実施形態のフローチャートである。たとえば、図４の方法４００は、車内ハンズフリー動作の間の図１の電子デバイス１１０（たとえば、携帯電話）の動作について説明し得る。

[0049]方法４００は、４０２で、超音波近接検出を実行することを含み得る。超音波近接検出は、デバイスの残っている部分を選択的にウェイクアップさせる低電力フロントエンドを表し得る。超音波近接検出を実行する間、デバイスのカメラはオフでもよい。たとえば、図１で、カメラ１１３がオフである間、超音波センサー１１１を介して近接検出が実行され得る。方法４００は、４０４で、近接した対象が検出されるか、着呼が受信されるかを決定することを含むこともできる。超音波センサーが近接した対象を検出するまで、または着信が受信されるまで、方法４００は、４０２に戻ることによって繰り返すことができる。

[0050]近接した対象が検出される、または着信が受信されると、方法４００は、４０６で、超音波ベースの単純なジェスチャー認識を可能にすることを含み得る。たとえば、図１を参照すると、そのような単純なジェスチャー認識は、電子デバイス１１０の無線をオンにするか、または着信に応答するために使用され得る。方法４００は、４０８で、照明レベルが照明閾値以上かどうかを判断することを含むことができる。たとえば、図１で、光検出器１１５または１１６は、照明レベルを決定することができ、画像処理／制御モジュール１１４は、照明レベルが照明閾値以上かどうかを判断することができる。

[0051]照明レベルが照明閾値未満であると判断することに応答して、方法４００は、４１２で、超音波の単純なジェスチャー認識を実行し、カメラの全部または一部分を使用不能にすることと、４２０で、（複数の）検出されたジェスチャーを出力することとを含み得る。照明レベルが照明閾値未満であり得るときの例示的な例は、夜、または車がトンネルにある間の車内動作を含む。

[0052]照明レベルが照明閾値以上であると判断することに応答して、方法４００は、４１０で、超音波近接検出を実行することと、４１４で、ジェスチャー範囲を決定することとを含み得る。たとえば、図１で、ジェスチャー範囲は、超音波センサー１１１および／またはカメラ１１３からの出力に基づいて決定され得る。ジェスチャー範囲が超音波にとって遠すぎる（たとえば、遠方閾値よりも大きい）と判断されたとき、方法４００は、４１６で、カメラを使用可能にし、カメラベースの複雑なジェスチャー認識を実行することと、４２０で、（複数の）検出されたジェスチャーを出力することとを含み得る。超音波センサーまたはその一部分は、ジェスチャー範囲が超音波にとって遠すぎるままである間、使用不能にされ得る。

[0053]ジェスチャー範囲がカメラにとって近すぎる（たとえば、近接閾値未満）と判断されたとき、方法４００は、４１２で、カメラの少なくとも一部分を使用不能にし、超音波ベースの単純なジェスチャー認識を実行することと、４２０で、（複数の）検出されたジェスチャーを出力することとを含み得る。超音波とカメラの両方にとってジェスチャー範囲が許容できる（たとえば、ジェスチャー範囲が近接閾値と遠方閾値との間にある）と判断されたとき、方法４００は、４１８で、超音波センサーおよびカメラの出力に対する補足的な票決方式の適用を介してジェスチャー認識を実行することと、４２０で、（複数の）検出されたジェスチャーを出力することとを含み得る。

[0054]図４の方法４００は、このように、複数のタイプのセンサー（すなわち、超音波およびカメラ）からの情報に基づいて電子デバイスの車内ハンズフリー操作を可能にすることができる。しかしながら、車内ハンズフリー携帯電話操作のシナリオは単に説明のために提供されていることに留意されたい。他のアプリケーションは、限定はしないが、車内エンターテインメントまたはナビゲーションのための車内ジェスチャー制御、リビングルームのメディア制御、ゲーム、台所機器制御、マルチメディアプレゼンテーション制御、ジム／エクササイズ機器制御などを含む。さらに、本開示のシステムおよび方法は、埋込み型デバイス、ネットブックコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、メディアセンター、セットトップボックス、「スマート」機器、ゲーム機など、携帯電話以外のプラットフォーム上で動作することができる。

[0055]特定の実施形態では、図３および図４の方法３００および４００は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）デバイス、特定用途向け集積回路（ＡＳＩＣ）、中央処理ユニット（ＣＰＵ）などの処理ユニット、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、別のハードウェアデバイス、ファームウェアデバイス、またはそれらの任意の組合せによって実装され得る。一例として、図３の方法３００および図４の方法４００は、図５に関して説明されているものなど、命令を実行するプロセッサによって実行され得る。

[0056]図５を参照すると、ワイヤレス通信デバイスの特定の例示的な実施形態のブロック図が示されており、全体的に５００と称される。例示的な一実施形態では、デバイス５００の全部または一部分は、図１の電子デバイス１１０の全部または一部分を含み得る、その中に含まれ得る、またはさもなければそれを実装するために使用され得る。デバイス５００は、メモリ５３２に結合されたデジタル信号プロセッサ（ＤＳＰ）などのプロセッサ５１０を含む。メモリ５３２は、図３の方法３００および図４の方法４００などの、本明細書で開示されている方法およびプロセスを実行するためにプロセッサ５１０によって実行可能な命令５６０を含み得る。

[0057]図５はまた、プロセッサ５１０とディスプレイ５２８とに結合されたディスプレイコントローラ５２６を示す。コーダ／デコーダ（コーデック）５３４もプロセッサ５１０に結合され得る。スピーカー５３６およびマイクロフォン５３８はコーデック５３４に結合され得る。

[0058]図示のように、超音波センサー１１１は、超音波処理／制御モジュール１１２（ハードウェアを介して実装されるものとして示される）を介してプロセッサ５１０に結合され得る。図示のように、カメラ１１３は、画像処理／制御モジュール１１４（ハードウェアを介して実装されるものとして示される）を介して、プロセッサ５１０に結合され得る。モジュール１１２および１１４からの情報は、ジェスチャーを検出するために、ジェスチャー認識モジュール１１８（プロセッサ５１０によって実行されるソフトウェアを介して実装されるものとして示される）によって使用され得る。特定の実施形態では、ジェスチャー検出モジュール１１８は、モジュール１１２および１１４から受信された情報に補足的な票決方式を適用することができる。特定の実施形態では、モジュール１１２および１１４は、共通データモデルまたはＡＰＩに従ってデータを交換するように構成され得、データ交換１１７として示されている。たとえば、そのようなデータ交換によって、性能を向上させようとして、プロセッサ５１０とは無関係に、超音波センサー１１１およびカメラ１１３のうちの一方または両方は自己調整することができる。センサー１１１および／または１１３からのデータに基づいて、センサー１１１、１１３および／またはモジュール１１２、１１４の全部または一部分は、電力を節約するために、選択的に非アクティブ化され得る。

[0059]図５はまた、ワイヤレスコントローラ５４０が、プロセッサ５１０と、ワイヤレスアンテナ５４２に結合されたトランシーバ５７０とに結合され得ることを示す。特定の実施形態では、プロセッサ５１０、ディスプレイコントローラ５２６、メモリ５３２、コーデック５３４、ワイヤレスコントローラ５４０、モジュール１１２および１１４、ならびにトランシーバ５７０は、システムインパッケージまたはシステムオンチップデバイス５２２中に含まれる。特定の実施形態では、入力デバイス５３０と電源５４４とがシステムオンチップデバイス５２２に結合される。さらに、特定の実施形態では、図５に示すように、ディスプレイ５２８、入力デバイス５３０、スピーカー５３６、マイクロフォン５３８、センサー１１１および１１３、ワイヤレスアンテナ５４２、ならびに電源５４４は、システムオンチップデバイス５２２の外部にある。ただし、ディスプレイ５２８、入力デバイス５３０、スピーカー５３６、マイクロフォン５３８、センサー１１１および１１３、ワイヤレスアンテナ５４２、ならびに電源５４４の各々は、インターフェースまたはコントローラなど、システムオンチップデバイス５２２の構成要素に結合され得る。

[0060]特定の実施形態では、デバイス（たとえば、モバイルワイヤレスデバイスまたはその構成要素）は、自由形式のジェスチャー認識を実装することができる。自由形式のジェスチャー認識は、ジェスチャーの特定のセットを認識するように動作可能でもよい。たとえば、自由形式のジェスチャー認識は、最高約１０センチメートルの有効な距離で、左、右、および選択のジェスチャーを認識するために使用され得る。特定の実施形態では、自由形式のジェスチャー認識は、ジェスチャーライブラリと、支持する超音波フレームワーク（たとえば、ＤＳＰ上で動作する、またはそれによって提供される機能、モジュール、および／またはアルゴリズムのライブラリ）との使用を伴い得る。

[0061]自由形式のジェスチャー検出は、説明しやすいように、別々の機能ブロックに対応するものとして本明細書で説明される複数のプロセスを使用して実装され得る。機能ブロックは、メインジェスチャー検出ブロックと、動きアクティビティ検出（ＭＡＤ）ブロックと、全電力近接検出ブロックと、全電力モードのためのオン／オフスイッチと、干渉検出および除去ブロック（interference detection and cancellation block）とを含み得る。機能ブロックの１つまたは複数は、超音波を使用して実装され得る。超音波ベースのジェスチャー検出ブロックは、ソナー（sonar）またはレーダーと同様に機能することができる。たとえば、超音波送信器は、連続ブロードバンド超音波信号を送信することができる。ユーザの手から反射される超音波信号は、複数の空間的に分離されたマイクロフォンによって検出され得る。飛行時間および他のタイミング機能は、手のジェスチャーを識別するために使用され得る。他のシステムとは対照的に、ジェスチャーの認識のために、ジェスチャー訓練は必要ではない場合がある。ＭＡＤブロックは、ある距離内での対象の動きを検出するために使用され得る。ＭＡＤフラグは、（たとえば、平均化フレームを介して）背景のチャネル画像のキャプチャされたスナップショットに対する変化を示すために使用され得る。（たとえば、偽陽性を減らすために）検出アルゴリズムのオン／オフを切り替えるために、スナップショットが近接フラグと一緒に使用されてもよい。自由形式のジェスチャー検出の範囲および敏感性は、制御パラメータによって調整され得る。干渉検出ブロックは、周波数領域における害する（offending）（たとえば、干渉する）超音波センサー周波数を検出することができ、そのような周波数の効果を消去することができる。

[0062]特定の実施形態では、低電力近接感知または検出が実装され得る。たとえば、低電力近接感知は、低デューティサイクル超音波信号を送信することと、近接イベントを検出することと、ＤＳＰの全電力モードジェスチャーまたはホバー（hover）検出モジュールを「ウェイクアップさせる」こととを含み得る。低電力近接検出の特定の例は、図８および図１０〜図１３を参照しながらさらに説明する。

[0063]モバイル超音波フレームワークは、低電力モードと全電力モードとの間の切替えをサポートすることができる。いくつかの実装形態では、（複数の）アナログマイクロフォンもサポートされ得る。特定の実施形態では、マルチモード（たとえば、マルチセンサータイプ）フレームワークのサポートが含まれ得る。マルチモードフレームワークによって、独立したジェスチャー認識システム（たとえば、カメラ、超音波、赤外線など）は、ジェスチャー認識精度を向上させるために、（たとえば、共通データモデルに従って）情報を共有することができる。画面から１〜３センチメートルの有効な距離でゆっくり動く指の座標を検出するために、ホバリング（hovering）検出も実装され得る。

[0064]特定の実施形態では、低電力近接検出は、以下の状態を検出し、その間を区別することができる。１）何かがスピーカー／マイクロフォンを覆うとき（たとえば、デバイスがポケットにある、またはきつく耳に押しつけられたとき）、２）何かがスピーカー／マイクロフォンの上の短距離であるとき（たとえば、手を短距離離れて振っているとき、またはデバイスがゆるく耳を押しているとき）、および３）特定の距離内のスピーカー／マイクロフォンの上に何もないとき（たとえば、アイドルまたは非アクション期間に対応する）。図８は、低電力近接検出システムの特定の例を示しており、全体的に８００と称される。システム８００は、図示のように、ハイパスフィルタ（ＨＰＦ）８０２と、適応ノッチフィルタ（adaptive notch filter）８０４と、掛算器（multiplier）８０６と、ダウンサンプラ（down-sampler）８０８と、変換モジュール８１０と、近接検出モジュール８１２とを含む。システム８００によって受信される信号は、線形スイープ（linear sweep）または別の広帯域の持続波超音波でもよい。ＦＭ復調（ダウンミキシング（down mixing））は、送信された信号フレームと受信された信号フレームとの乗算を含み得る。ローパスフィルタリングは、ベースバンド信号を生成するために、復調された信号の高周波数部分を削除することができる。高速フーリエ変換（ＦＦＴ）は、位相遅延情報を生成するために実行され得、範囲または近接測定は、ＦＦＴピークまたはスペクトルパターンに基づいて実行され得る。

[0065]本明細書で説明する様々なジェスチャー検出機能、モジュール、およびアルゴリズムは、１つまたは複数のジェスチャーライブラリにおいて（たとえば、ＤＳＰによって）実装され得る。サードパーティ（third-party）アプリケーションを含むアプリケーションは、ジェスチャー検出機能を組み込むために、ジェスチャーライブラリを呼び出すことができる。説明した技法は、したがって、ユーザエクスペリエンスを高めるためにアプリケーション開発者が活用することができるジェスチャー検出フレームワークを提供することができる。ジェスチャー検出フレームワークは、コアのユーザエクスペリエンスを向上させるために、モバイルデバイスベンダーおよびオペレーティングシステムによって使用されてもよい。

[0066]特定の実施形態では、全電力ジェスチャー検出は、デバイス面近くで単純なスワイプのジェスチャー（swipe gestures）を検出するために、近接スワイプジェスチャー検出を含み得る。たとえば、指のスワイプはもちろん、任意の角度を有する異なるポーズ（poses）のユーザの手が検出され得る。近接スワイプジェスチャーは、デバイス面から約５〜１０センチメートルの左、右、および選択のジェスチャーを含むことができる。例示のために、左または右のジェスチャーは、ユーザの手または指が、デバイス面（たとえば画面）に平行に、または垂直に、左から右に、右から左に、時計回りに、または反時計回りに迅速に移動していることによって表され得る。選択、または選択解除のジェスチャーは、ユーザの手が、ユーザの体から離れて伸び、画面の方に通常の速度で移動し、次いで、特定の時間期間（たとえば２分の１秒）の間、特定の場所にとどまり、次いで、デバイスから離れることによって表され得る。構成可能な遅延は、次のジェスチャーが可能になる前に実装され得る。そのような近接スワイプジェスチャー検出を使用することによって、アプリケーションは、フレームワークソフトウェアによって変換される鍵となるイベントまたはタッチイベントを介して、検出されたジェスチャー（たとえば、左、右、選択）を取得することができる。超音波フレームワークは、ジェスチャーライブラリから受信された特定のユーザイベントを対応する高レベルオペレーティングシステム（ＨＬＯＳ）の入力イベントにマッピングすることができ、またはＡＰＩを介して生データを出力することができる。

[0067]全電力のジェスチャー検出は、音声およびジェスチャーコンカレンシー（concurrency）のサポートも含み得、音声は、ステレオモードの１つまたは複数のスピーカーから再生され得る。再生は、（たとえば、モバイルデバイスがテレビに接続されると）ヘッドセットまたは高精細度マルチメディアインターフェース（ＨＤＭＩ（登録商標））接続に切り替えられ得る。ホットスワッピング（hot swapping）は、前後にサポートされ得る。特定の実施形態では、スピーカーフォンが音声および超音波信号出力をサポートする場合、音声信号が出力されている間でさえ、超音波信号はジェスチャー検出のために出力され得る。たとえば、ユーザは、モバイルデバイスの１つまたは複数のスピーカーを使用して歌を聞くことができ、それと同時に、同じ１つまたは複数のスピーカーが超音波信号を出力し、それによって、ユーザは、ジェスチャー（たとえば、巻戻し、早送り、休止、次の曲、前の曲、ボリュームを上げる、ボリュームを下げるなど）を介して音楽出力を制御することができる。

[0068]特定の実施形態では、低電力近接検出は、手がデバイス面の近くにある、デバイスを覆う、またはデバイス面を横切ることを検出することができる。近位の（proximal）検出距離（たとえば、５〜１０センチメートル）は、近接検出の制御パラメータとして働き得る。そのような近接検出の使用の例は、たとえばジェスチャー、ホバー、カメラジェスチャーなど、全電力モードアプリケーションをオンにするかどうかを判断することを含み得る。特定の実施形態では、近接検出は、ユーザの手がデバイスを覆っている、スピーカー／マイクロフォンの近くに移動したなどを検出することに応答して、ウェイクアップイベントフラグをアクティブ化し得る。そのような近接検出を使用することによって、アプリケーションは、フレームワークソフトウェアによって変換される鍵となるイベントまたはタッチイベントを介して、近接検出通知を取得することができる。超音波フレームワークは、受信されたユーザイベントをマッピングし、低電力近接検出に応答して全電力のジェスチャー認識をオンにすることができる。

[0069]特定の実施形態では、ジェスチャー検出フレームワークは、いくつかのユーザパラメータ値をサポートするのに十分頑強であり得る。たとえば、サポートされる速度パラメータ（たとえば、ジェスチャーがどのぐらい速く移動でき、しかし依然として認識され得るか）は、２〜２０Ｈｚとすることができる。動作距離パラメータ（たとえば、ユーザはセンサーからどのぐらい遠くまたは近くにいることができるか）は、５〜１０ｃｍとすることができる。故障率（failure rate）パラメータは、１０００につき５０〜１５０であり得る。ジェスチャー直観（gesture intuitiveness）パラメータ（たとえば、「正しい」ジェスチャーを実行する方法をユーザが学ぶのがどのぐらい容易であるか）は、セットアップ命令を読んだ後、ユーザの９０％が正しいジェスチャーを実行することが可能であり得る。

[0070]また、フレームワークは、いくつかのシステムパラメータ値をサポートするのに十分頑強であり得る。たとえば、４０ミリ秒の応答時間がサポートされ得る。応答時間は、ユーザがアクションを開始したのと、予想される結果が達成されることとの間に、どれくらいの時間が経過することができるかに対応し得る（たとえば、ジェスチャーを完了することと効果を観察することとの間のレイテンシ（latency））。特定の実施形態では、低電力近接検出は２５％のデューティサイクルでモバイルデバイスのＤＳＰで実行され得、全電力ジェスチャー検出は、モバイルデバイスのＣＰＵ上で実行され得、ＣＰＵは、ＤＳＰの約６０倍の電力を消費する。特定の実施形態では、システムは、トランスデューサ（transducers）が送信経路における高レベルの非線形効果をもたらさないように設計され得る。さらに、ジェスチャー検出は、たとえばワイヤレス（たとえば、米国電気電子学会（ＩＥＥＥ）８０２．１１）ビーコン信号および他のデバイス（たとえば、超音波スタイラス（stylus）がデバイスの近くに配置されるとき、または複数のデバイスが隣接して（in close proximity）動作するとき）から干渉がある場合でさえ、動作することができる。

[0071]超音波検出は、微光（low-light）および無光（no-light）のシナリオで動作することができるが、いくつかのタイプの光が超音波帯域ノイズを生成することができることに留意されたい。したがって、システムは、そのような光によって発せられる超音波ノイズが送信経路を飽和させないように機能することができる。いくつかの状況では、音声帯域ノイズ、風ノイズおよび／または乱気流によって、マイクロフォンの飽和が生じ、非線形効果を生成する場合がある。したがって、システムは、そのようなノイズ状態下でジェスチャー検出をサポートするのに十分頑強であり得る。また、システムは、様々な安定性をサポートするのに十分頑強であり得る。たとえば、デバイスおよび背景の相対的な動きによって誤った検出が生じる場合があるが、ユーザの手とデバイスとの間の適度な量の相対的な動きが存在するときでも、システムはジェスチャー検出をサポートすることができる。

[0072]特定の実施形態では、全電力ジェスチャー検出と低電力近接検出との間の移行シーケンスは、次のようであり得る。ジェスチャーマネージャは、アプリケーションレベルおよび／またはシステムレベルで決定され得る動作モードに基づいて、異なるジェスチャー検出ソースを開始し、停止する役割を果たし得る。ジェスチャーマネージャは、超音波低電力近接検出を開始することができる。超音波低電力近接検出は、ジェスチャーマネージャに近接イベントを通知することができる。ジェスチャーマネージャは、超音波低電力近接検出を停止することができ、全電力超音波／カメラジェスチャー検出を開始することができる。全電力超音波／カメラジェスチャー検出は、ジェスチャーマネージャにジェスチャーイベントを通知することができる。全電力超音波／カメラジェスチャー検出がタイムアウトすると、ジェスチャーマネージャは、全電力超音波／カメラジェスチャー検出を停止することができ、超音波低電力近接検出を再開することができる。

[0073]特定の実施形態では、低電力のモードと全電力のモードとの間の切替え機構は、（複数の）全電力のモジュールおよび他の並列の（concurrent）アプリケーションイベントの状態に基づいて、アプリケーションプロセッサ（たとえば、ＣＰＵ）によって実装され得る。たとえば、ディスプレイ画面がオフにされると、低電力モード（たとえば、低電力近接検出モード）に入り得る。全電力ジェスチャー検出が「スイッチオフ」コマンドを送ると、低電力モードに入ることもできる。「スイッチオフ」コマンドに応答して、全電力ジェスチャー検出が「スイッチオン」コマンドを送らなかった場合、デバイスは、ある時間期間（たとえば、１〜２分）の間待つことができ、次いで、低電力モードに移行することができる。低電力近接検出イベントは、全電力のジェスチャー／ホバー／カメラ検出をトリガすることもできる。

[0074]いくつかの実装形態では、遅延は、低電力近接検出に関連付けられ得る。したがって、低電力モードから全電力モードへの移行を完了するために、いくつかの別々のステップが実行され得る。最初に、低電力近接検出をトリガするために、手がデバイスを覆う、またはデバイスの近くを移動し得る。ユーザフィードバック（たとえば、視覚フィードバック）によって、全電力モードに入り得る。後続のジェスチャーは、全電力モードで検出され得る。代替または追加として、電話呼が受信された場合、デバイスは、全電力モードに切り替わり得る。

[0075]図９は、マルチモードジェスチャー検出システムの特定の例を示しており、全体的に９００と称される。図９に示すように、様々なソースから入力されたジェスチャー検出（たとえば、カメラジェスチャー９０２、超音波ジェスチャー９０４、動きジェスチャー９０６、１つまたは複数の追加のジェスチャーソースからのジェスチャー９０８など）は、ジェスチャーバスサーバ９１０を介して、ジェスチャーマネージャ９２０に通信され得る。特定の実施形態では、メッセージは、プロセス間通信（ＩＰＣ）のためのソケット通信を使用して、ジェスチャーバスサーバ９１０によって通信され得る。図９のシステム９００は、オンターゲットならびにオフターゲットのジェスチャーソースの両方をサポートすることができる。

[0076]記載の実施形態によれば、電子デバイスは、送信された信号と比較して、信号の反射の検出が特定の特徴を有することに応答して、低電力モードから（たとえば、スリープモードからアクティブモードに）移行することができる。たとえば、図１０に示したように、電子デバイスは、スピーカー１００２とマイクロフォン１００４とで構成され得る。電子デバイスが低電力モードであるとき、スピーカー１００２は、信号を発する。信号が対象（たとえば、例示的な対象１００６）に到達すると、信号は反射され、反射のうちのいくつかはマイクロフォン１００４によって検出される。一実施形態では、図１１に示すように、線形に変化する周波数を有する信号は、スピーカー１００２によって送信され得、信号の反射は、マイクロフォン１００４で受信され得る。電子デバイスは、反射が、デバイスウェイクアップモジュールまたは回路１０１０を介して、低電力モード（たとえば、ポケットから電話を取り出す、電話の表を下から上にフリップする（flip）などの状況）から移行する旨の要求を示すかどうかを決定することができる（たとえば、低電力超音波検出フロントエンドモジュールまたは回路１００８を介して）。反射が低電力モードから移行する旨の要求を示すかどうかを決定するために、反射の周波数と、反射が受信されたとき、スピーカー１００２から発せられる信号の周波数との間の周波数差が計算され得る。

[0077]たとえば、図１１に示すように、超音波信号（図１１の「スピーカーからの信号」と表される）は、第１の時間において（たとえば、ｔ０）、電子デバイス（たとえば、図１０の電子デバイス）のスピーカーから発せられ得る。超音波信号の第１の反射（たとえば、図１１でｒ₁と表される）は、第２の時間（たとえば、ｔ１）に、マイクロフォンによって受信され得る。ｔ１の第１の反射の周波数は、ｔ０における超音波信号の周波数に対応し得る。第１の反射を受信すると、電子デバイスは、第１の反射の周波数差を計算するための方法を開始することができる。方法を開始するために、電子デバイスは、ｔ１の超音波信号の周波数とｔ１の第１の反射の反射数とを乗算して（multiply）、周波数差と周波数和とを生成することができる。周波数差は、第１の反射を引き起こした対象の電子デバイスからの距離を示し得る。周波数差および周波数和は、周波数和を削除し、周波数差を分離するために、ローパスフィルタを介して処理される。電子デバイスは、電子デバイスからの対象の距離に対応する振幅値（たとえば、図１１の左下４分の１）を生成するために、分離された周波数差において高速フーリエ変換を実行することができる。超音波信号の第２の反射は（たとえば、図１１でｒ₂と表される）、第３の時間（たとえば、ｔ２）に、マイクロフォンによって受信され得る。第２の反射を受信することに応答して、電子デバイスは、方法ステップを再度実行することができる。図１１に示すように、第１の反射および第２の反射の周波数差を算出した後、第１のピークおよび第２のピークが識別される（たとえば、ｐ１およびｐ２）。

[0078]何度も第１および第２の反射を使用して上記の方法を順次実行することによって、ピークのスペクトルが生成され得る。生成されたピークのスペクトルは、電子デバイスを低電力モードから移行するべきかどうかを判断するために使用され得る。たとえば、特定のスペクトルは、デバイスが低電力モードから移行すべきかどうかを示すことができる。電子デバイスは、１つまたは複数の既知のスペクトル（たとえば、電子デバイスがユーザのポケットにあること、電子デバイスがテーブル上に表を下にしてあることなどを示すスペクトル）を保存するためのメモリを含み得る。第１の記憶されたスペクトルは、電子デバイスを、低電力モード（たとえば、電話はユーザのポケットにある）から移行させないスペクトルに対応し得る。電子デバイスは、生成されたスペクトルに基づいて低電力モードから移行することができる。

[0079]別の実装形態では、超音波信号の波形は、余弦波に従って変わり得る。超音波信号はスピーカーによって送信され得、信号の反射はマイクロフォンで受信され得る。図１１に関して上記で説明したように、時刻ｔ１の第１の反射の波形は、ｔ０における超音波信号の波形に対応し得る。電子デバイスは、ｔ１の反射の波形とｔ１の超音波信号の波形との間の位相差に基づいて低電力モードから移行することができる。

[0080]図１２は、低電力モードから電子デバイスを移行するべきかどうかを判断する方法の例示的なフローチャートである。方法は、１２０２で、電子デバイスのスピーカーから信号を発し、信号の少なくとも１つの反射を受信することから開始する。上記で説明したように、反射が受信されると、１２０４で、（たとえば、周波数差に基づいて、または位相差に基づいて）スペクトル／反射経路が生成される。１２０６で、スペクトルは、記憶された否定的な例と比較され得る。否定的な例は、（たとえば、電話がユーザのポケットにおいてシフトしたことを示す反射経路など）低電力モードからの移行を引き起こさないスペクトルに対応し得る。スペクトルが記憶された否定的な例に一致する場合、１２０８で、電子デバイスは、スピーカーからの第２の超音波信号を送信し、方法を再開する前に、ある時間期間待つことができる。記憶された否定的な例は、ある時間期間後に終了する、および／またはデフォルトの否定的な例を含み得る。追加の否定的な例は、以下でより詳細に説明するように動的に記憶され得る。

[0081]スペクトルが否定的な例に一致しないとき、１２１０で、電子デバイスは、スペクトルが経路の度重なる変更を有する信号を示すかどうかを判断することができる（たとえば、電子デバイスの前で手が振られる）。スペクトルが経路の度重なる変更を示す場合、１２１２で、電子デバイスは、低電力モードから移行することができる。

[0082]スペクトルが経路の度重なる変更を有する信号を示さないとき、１２１４で、電子デバイスは、スペクトルが信号の移行を示すかどうかを判断することができる。たとえば、電子デバイスは、電子デバイスがユーザのポケットにあることを第１のスペクトルが示すと判断することができる。電子デバイスがユーザのポケットにないことを示す第２のスペクトルが算出された場合、１２１２で、電子デバイスは、低電力モードから移行することができる。別の例として、電子デバイスが電話である場合、第１のスペクトルは、電話のディスプレイ画面が机の方に向いた状態で電話が机に置かれていたことを示すことができる。後で、電話が机から持ち上げられたこと、またはディスプレイ画面が机の方に向いていないことを示す第２のスペクトルが算出された場合、電子デバイスは、低電力モードから移行することができる。

[0083]スペクトルが信号の移行を示さないとき、電子デバイスは、１２１６で、スペクトルの特徴（たとえば、スペクトルによって示されるエネルギー、スペクトルの強度など）を抽出することができ、１２１８で、特徴が閾値を超えるかどうかを判断することができる。特徴が閾値を超える場合、電子デバイスは、１２１２で、低電力モードから移行することができる。そうでない場合、電子デバイスは、１２２０で、否定的な例を更新することができ、１２０８で、スピーカーから第２の超音波信号を送信する前に、ある時間期間待つことができる。

[0084]低電力モードから移行すると、電子デバイスでアクティビティが検出されない場合（たとえば、１２２２で、肯定的なフィードバック）、１２１２で、電子デバイスは、低電力モードに戻るように構成され得る。さらに、偽陽性状態が検出された場合、１２２０で、デバイスに低電力モードから移行させた反射に関連付けられたスペクトルは、（たとえば、スペクトルが偽陽性であったので）記憶された否定的な例に追加され得る。

[0085]低電力モードから電子デバイスをいつ移行させるべきかを識別するために、超音波送信器およびマイクロフォンを使用することは、他の技法（たとえば、光学／赤外線タイプシステム、およびタッチタイプシステムにおけるウェイクアップ）よりも消費する電力が少ない。さらに、多くの電子デバイスがスピーカーおよびマイクロフォンをすでに備えているので、余分のトランスデューサまたはセンサーは必要ない。

[0086]記載の実施形態に関連して、第１の出力を生成し、第１のセンサータイプを有するための第１のセンサー手段を含む装置が開示される。たとえば、生成するための第１のセンサー手段は、図１〜図２および図５の超音波センサー１１１、図１〜図２および図５の超音波処理／制御モジュール１１２、図２の超音波追跡モジュール２０１、図２の超音波ジェスチャー認識モジュール２０２、第１の出力を生成し、第１のセンサータイプを有する１つもしくは複数の他のデバイスもしくは回路、またはそれらの任意の組合せとすることができる。

[0087]装置は、第２の出力を生成し、第１のセンサータイプとは異なる第２のセンサータイプを有するための第２のセンサー手段を含むこともできる。たとえば、生成するための第２のセンサー手段は、図１〜図２および図５のカメラ１１３、図１〜図２および図５の画像処理／制御モジュール１１４、図２のカメラ追跡モジュール２０３、図２のカメラジェスチャー認識モジュール２０４、第２の出力を生成し、第１のセンサータイプとは異なる第２のセンサータイプを有する１つもしくは複数の他のデバイスもしくは回路、またはそれらの任意の組合せとすることができる。

[0088]装置は、ジェスチャーの複雑度に少なくとも部分的に基づく補足的な票決方式に従って、第１の出力と第２の出力とに基づいて、ジェスチャーを検出するための手段をさらに含み得る。たとえば、検出するための手段は、図１〜図２および図５のジェスチャー認識モジュール１１８、図２のマルチモードジェスチャー識別モジュール２０５、図２の拡張ジェスチャーインターフェース２０６、ジェスチャーを検出するための１つもしくは複数の他のデバイスもしくは回路、またはそれらの任意の組合せとすることができる。

[0089]装置は、照明レベルを決定するための手段を含み得る。たとえば、照明レベルを決定するための手段は、図１の光検出器１１５、図１の光検出器１１６、照明レベルを決定するための１つまたは複数の他のデバイスもしくは回路、またはそれらの任意の組合せとすることができる。装置は、ジェスチャー範囲を決定するための手段も含み得る。たとえば、ジェスチャー範囲を決定するための手段は、図１〜図２および図５の超音波センサー１１１、図１〜図２および図５のカメラ１１３、図１〜図２および図５の超音波処理／制御モジュール１１２、図１〜図２および図５の画像処理／制御モジュール１１４、図２の超音波追跡モジュール２０１、図２のカメラ追跡モジュール２０３、ジェスチャー範囲を決定するための１つもしくは複数の他のデバイスもしくは回路、またはそれらの任意の組合せとすることができる。

[0090]装置は、照明レベルおよびジェスチャー範囲に基づいて第２のセンサー手段を選択的に非アクティブ化するための手段をさらに含み得る。たとえば、選択的に非アクティブ化するための手段は、図１〜図２および図５のカメラ１１３の一部、図１〜図２および図５の画像処理／制御モジュール１１４、センサー手段を選択的に非アクティブ化するための１つもしくは複数の他のデバイスもしくは回路、またはそれらの任意の組合せとすることができる。

[0091]さらに、本明細書で開示した実施形態に関して説明した様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、ハードウェアプロセッサなどの処理デバイスによって実行されるコンピュータソフトウェア、または両方の組合せとして実装され得ることを、当業者は諒解されよう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップについて、上記では概して、それらの機能に関して説明した。そのような機能をハードウェアとして実装するか、実行可能ソフトウェアとして実装するかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者であれば、各々の特定の用途について様々な方法により説明されている機能を実装することができるが、そのような実装決定は、本開示の範囲からの逸脱を引き起こすものとして解釈すべきではない。

[0092]本明細書で開示されている実施形態に関して説明されている方法またはアルゴリズムのステップは、ハードウェアで直接、プロセッサにより実行されるソフトウェアモジュールにより、またはこれら２つの組合せにより具現化することができる。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ）、スピントルク移動ＭＲＡＭ（ＳＴＴ−ＭＲＡＭ）、フラッシュメモリ、リードオンリーメモリ（ＲＯＭ）、プログラム可能リードオンリーメモリ（ＰＲＯＭ）、消去可能プログラム可能リードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能リードオンリーメモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、取り外し可能ディスク、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、または当技術分野で知られている他の形態の記憶媒体などの非一時的記憶媒体内に存在することができる。例示的な記憶媒体は、プロセッサがその記憶媒体から情報を読み込み、その記憶媒体に情報を書き込めるようにプロセッサに結合される。代替的形態では、記憶媒体は、プロセッサに一体化することができる。プロセッサおよび記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）に収めることもできる。ＡＳＩＣは、コンピューティングデバイスまたはユーザ端末に収めることができる。代替的形態において、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末内のディスクリートコンポーネントとして収めることができる。

[0093]開示されている実施形態を前記のように提示したのは、当業者が開示されている実施形態を製作または使用することができるようにするためである。これらの実施形態への様々な変更は当業者には容易に明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、本明細書に示した実施形態に限定されるものではなく、特許請求の範囲によって定義される原理および新規の特徴と合致することが可能な最も広い範囲が与えられるべきものである。

[0093]開示されている実施形態を前記のように提示したのは、当業者が開示されている実施形態を製作または使用することができるようにするためである。これらの実施形態への様々な変更は当業者には容易に明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の実施形態に適用され得る。したがって、本開示は、本明細書に示した実施形態に限定されるものではなく、特許請求の範囲によって定義される原理および新規の特徴と合致することが可能な最も広い範囲が与えられるべきものである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］第１の出力を生成するように構成された第１のセンサーと、
第２の出力を生成するように構成されたカメラと、
プロセッサと、
前記第１の出力および前記第２の出力のうちの少なくとも１つに基づいてジェスチャーを検出するために前記プロセッサによって実行可能なジェスチャー検出モジュールと
を備え、前記カメラの少なくとも一部分が、照明レベルとジェスチャー範囲とに基づいて選択的に非アクティブ化される
装置。
［２］前記第１のセンサーが超音波センサーを備える、［１］に記載の装置。
［３］前記第１の出力を処理するように構成された超音波処理経路と、
前記第２の出力を処理するように構成された画像処理経路と
をさらに備え、前記超音波処理経路が、前記画像処理経路にジェスチャー範囲情報を送るように構成される
［２］に記載の装置。
［４］前記カメラの内部の、前記照明レベルを決定するように構成された光検出器をさらに備える、［１］に記載の装置。
［５］前記カメラの外部の、前記照明レベルを決定するように構成された光検出器をさらに備える、［１］に記載の装置。
［６］前記ジェスチャーを検出することが、
前記照明レベルが照明閾値未満であるとき、前記カメラを非アクティブ化し、前記第１のセンサーからの前記第１の出力に基づいてジェスチャー認識を実行することと、
前記照明レベルが前記照明閾値以上であるとき、
前記ジェスチャー範囲が近接閾値未満であるとき、前記第１のセンサーからの前記第１の出力に基づいてジェスチャー検出を実行することと、
前記ジェスチャー範囲が遠方閾値を上回るとき、前記カメラをアクティブ化し、前記カメラからの前記第２の出力に基づいてジェスチャー認識を実行することと、
前記ジェスチャー範囲が前記近接閾値を上回り、前記遠方閾値未満であるとき、前記カメラをアクティブ化し、補足的な票決方式を前記第１の出力および前記第２の出力に適用することによってジェスチャー認識を実行することと
を備える、［１］に記載の装置。
［７］前記補足的な票決方式がジェスチャーの複雑度に少なくとも部分的に基づく、［６］に記載の装置。
［８］電子デバイスの第１のセンサーから第１の出力を受信することであり、前記第１のセンサーが第１のセンサータイプを有することと、
前記電子デバイスの第２のセンサーから第２の出力を受信することであり、前記第２のセンサーが前記第１のセンサータイプとは異なる第２のセンサータイプを有することと、
ジェスチャーの複雑度に少なくとも部分的に基づく補足的な票決方式に従って、前記第１の出力と前記第２の出力とに基づいて、ジェスチャーを検出することと
を備える方法。
［９］前記第１のセンサータイプおよび前記第２のセンサータイプの各々が、カメラセンサータイプと、超音波センサータイプと、赤外線センサータイプと、磁気センサータイプとのうちの少なくとも１つを備える、［８］に記載の方法。
［１０］前記第１の出力が、第１の信頼度スコアを有する第１のジェスチャーを識別し、前記第２の出力が、第２の信頼度スコアを有する第２のジェスチャーを識別する、［８］に記載の方法。
［１１］前記補足的な票決方式を適用することが、
前記第１のセンサーおよび前記第２のセンサーが同じジェスチャーを識別したとき、前記同じジェスチャーを出力ジェスチャーとして選択することと、
前記第１のセンサーおよび前記第２のセンサーが異なるジェスチャーを識別したとき、より高い信頼度スコアを有するジェスチャーを前記出力ジェスチャーとして選択することと
を備える、［１０］に記載の方法。
［１２］前記補足的な票決方式を適用することが、前記第１のセンサーおよび前記第２のセンサーが異なる複雑度のジェスチャーを識別するとき、より複雑なジェスチャーを前記出力ジェスチャーとして選択することをさらに備える、［１１］に記載の方法。
［１３］前記第１のセンサーおよび前記第２のセンサーが、共通データモデルに従ってデータを出力するように構成される、［１１］に記載の方法。
［１４］前記第１のセンサーに関連付けられた第１の処理経路が、前記第２のセンサーによって出力された前記データを受信し、前記第２のセンサーに関連付けられた第２の処理経路が、前記第１のセンサーによって出力された前記データを受信する、［１３］に記載の方法。
［１５］第３のセンサーから第３の出力を受信することをさらに備え、前記ジェスチャーが、前記第３のセンサーからの前記第３の出力にさらに基づいて検出される、［８］に記載の方法。
［１６］第１の出力を生成し、第１のセンサータイプを有するための第１のセンサー手段と、
第２の出力を生成し、前記第１のセンサータイプとは異なる第２のセンサータイプを有するための第２のセンサー手段と、
ジェスチャーの複雑度に少なくとも部分的に基づく補足的な票決方式に従って、前記第１の出力と前記第２の出力とに基づいて、ジェスチャーを検出するための手段と
を備える装置。
［１７］照明レベルを決定するための手段と、
ジェスチャー範囲を決定するための手段と
をさらに備える［１６］に記載の装置。
［１８］前記照明レベルおよび前記ジェスチャー範囲に基づいて前記第２のセンサー手段を選択的に非アクティブ化するための手段をさらに備える、［１７］に記載の装置。
［１９］共通データモデルに従って第１の出力を生成し、前記第１の出力を超音波処理経路に提供するように構成された超音波センサーと、
前記共通データモデルに従って第２の出力を生成し、前記第２の出力を画像処理経路に提供するように構成されたカメラと、
プロセッサと、
前記第１の出力および前記第２の出力のうちの少なくとも１つに基づいてジェスチャーを検出するために前記プロセッサによって実行可能なジェスチャー検出モジュールと
を備え、前記超音波処理経路および前記画像処理経路が、前記共通データモデルに従ってデータを交換するように構成される
装置。
［２０］前記共通データモデルに従って交換される前記データが、前記超音波センサーからの前記第１の出力と、前記カメラからの前記第２の出力と、前記超音波センサーまたは前記カメラに対する対象の範囲に関連するデータと、前記超音波センサーまたは前記カメラに対する前記対象の位置に関連したデータと、前記超音波センサーまたは前記カメラのアクティブ構成に関連付けられたデータと、またはそれらの任意の組合せとを含む、［１９］に記載の装置。
［２１］前記カメラが、前記超音波処理経路から受信された前記データに基づいて関心のあるエリアを識別するように構成される、［１９］に記載の装置。
［２２］前記超音波処理経路が、特定の検出されたジェスチャーが前記画像処理経路から受信された前記データに基づいて偽陽性であるかどうかを判断するように構成される、［１９］に記載の装置。
［２３］照明レベルを検出するように構成された光検出器をさらに備え、前記カメラの少なくとも一部分が、前記照明レベルに基づいて、選択的に非アクティブ化される、［１９］に記載の装置。
［２４］第１の出力を超音波処理経路に提供するように構成された超音波センサーと、
第２の出力を画像処理経路に提供するように構成されたカメラと、
プロセッサと、
前記第１の出力および前記第２の出力のうちの少なくとも１つに基づいてジェスチャーを検出するために前記プロセッサによって実行可能なジェスチャー検出モジュールと
を備え、前記超音波センサーおよび前記カメラが各々、前記超音波処理経路と前記画像処理経路との間で交換されるデータに基づいて、前記プロセッサとは無関係に、自己調整するように構成される
装置。
［２５］前記超音波センサーが、前記カメラからの前記第２の出力に基づいて、アクティブ構成、信号放出周波数、信号放出方向、または任意のそれらの組合せを自己調整する、［２４］に記載の装置。
［２６］前記カメラが、前記超音波センサーからの前記第１の出力に基づいて、アクティブ構成、焦点距離、焦点領域、または任意のそれらの組合せを自己調整する、［２４］に記載の装置。
［２７］前記ジェスチャー検出モジュールが、ジェスチャーの複雑度に少なくとも部分的に基づく補足的な票決方式を適用することによって、前記ジェスチャーを検出する、［２４］に記載の装置。
［２８］プロセッサによって実行されると、前記プロセッサに、
電子デバイスの第１のセンサーから第１の出力を受信することであり、前記第１のセンサーが第１のセンサータイプを有することと、
前記電子デバイスの第２のセンサーから第２の出力を受信することであり、前記第２のセンサーが前記第１のセンサータイプとは異なる第２のセンサータイプを有することと、
ジェスチャーの複雑度に少なくとも部分的に基づく補足的な票決方式に従って、前記第１の出力と前記第２の出力とに基づいて、ジェスチャーを検出することと
を行わせる命令を備える非一時的プロセッサ可読媒体。
［２９］前記第１の出力が、第１の信頼度スコアを有する第１のジェスチャーを識別し、前記第２の出力が、第２の信頼度スコアを有する第２のジェスチャーを識別する、［２８］に記載の非一時的プロセッサ可読媒体。
［３０］前記プロセッサによって実行されると、前記プロセッサに、第３のセンサーから第３の出力を受信することであり、前記ジェスチャーが、前記第３のセンサーからの前記第３の出力にさらに基づいて検出されることを行わせる命令をさらに備える、［２８］に記載の非一時的プロセッサ可読媒体。

Claims (30)

1. 第１の出力を生成するように構成された第１のセンサーと、
   第２の出力を生成するように構成されたカメラと、
   プロセッサと、
   前記第１の出力および前記第２の出力のうちの少なくとも１つに基づいてジェスチャーを検出するために前記プロセッサによって実行可能なジェスチャー検出モジュールと
   を備え、前記カメラの少なくとも一部分が、照明レベルとジェスチャー範囲とに基づいて選択的に非アクティブ化される
   装置。
2. 前記第１のセンサーが超音波センサーを備える、請求項１に記載の装置。
3. 前記第１の出力を処理するように構成された超音波処理経路と、
   前記第２の出力を処理するように構成された画像処理経路と
   をさらに備え、前記超音波処理経路が、前記画像処理経路にジェスチャー範囲情報を送るように構成される
   請求項２に記載の装置。
4. 前記カメラの内部の、前記照明レベルを決定するように構成された光検出器をさらに備える、請求項１に記載の装置。
5. 前記カメラの外部の、前記照明レベルを決定するように構成された光検出器をさらに備える、請求項１に記載の装置。
6. 前記ジェスチャーを検出することが、
   前記照明レベルが照明閾値未満であるとき、前記カメラを非アクティブ化し、前記第１のセンサーからの前記第１の出力に基づいてジェスチャー認識を実行することと、
   前記照明レベルが前記照明閾値以上であるとき、
   前記ジェスチャー範囲が近接閾値未満であるとき、前記第１のセンサーからの前記第１の出力に基づいてジェスチャー検出を実行することと、
   前記ジェスチャー範囲が遠方閾値を上回るとき、前記カメラをアクティブ化し、前記カメラからの前記第２の出力に基づいてジェスチャー認識を実行することと、
   前記ジェスチャー範囲が前記近接閾値を上回り、前記遠方閾値未満であるとき、前記カメラをアクティブ化し、補足的な票決方式を前記第１の出力および前記第２の出力に適用することによってジェスチャー認識を実行することと
   を備える、請求項１に記載の装置。
7. 前記補足的な票決方式がジェスチャーの複雑度に少なくとも部分的に基づく、請求項６に記載の装置。
8. 電子デバイスの第１のセンサーから第１の出力を受信することであり、前記第１のセンサーが第１のセンサータイプを有することと、
   前記電子デバイスの第２のセンサーから第２の出力を受信することであり、前記第２のセンサーが前記第１のセンサータイプとは異なる第２のセンサータイプを有することと、
   ジェスチャーの複雑度に少なくとも部分的に基づく補足的な票決方式に従って、前記第１の出力と前記第２の出力とに基づいて、ジェスチャーを検出することと
   を備える方法。
9. 前記第１のセンサータイプおよび前記第２のセンサータイプの各々が、カメラセンサータイプと、超音波センサータイプと、赤外線センサータイプと、磁気センサータイプとのうちの少なくとも１つを備える、請求項８に記載の方法。
10. 前記第１の出力が、第１の信頼度スコアを有する第１のジェスチャーを識別し、前記第２の出力が、第２の信頼度スコアを有する第２のジェスチャーを識別する、請求項８に記載の方法。
11. 前記補足的な票決方式を適用することが、
    前記第１のセンサーおよび前記第２のセンサーが同じジェスチャーを識別したとき、前記同じジェスチャーを出力ジェスチャーとして選択することと、
    前記第１のセンサーおよび前記第２のセンサーが異なるジェスチャーを識別したとき、より高い信頼度スコアを有するジェスチャーを前記出力ジェスチャーとして選択することと
    を備える、請求項１０に記載の方法。
12. 前記補足的な票決方式を適用することが、前記第１のセンサーおよび前記第２のセンサーが異なる複雑度のジェスチャーを識別するとき、より複雑なジェスチャーを前記出力ジェスチャーとして選択することをさらに備える、請求項１１に記載の方法。
13. 前記第１のセンサーおよび前記第２のセンサーが、共通データモデルに従ってデータを出力するように構成される、請求項１１に記載の方法。
14. 前記第１のセンサーに関連付けられた第１の処理経路が、前記第２のセンサーによって出力された前記データを受信し、前記第２のセンサーに関連付けられた第２の処理経路が、前記第１のセンサーによって出力された前記データを受信する、請求項１３に記載の方法。
15. 第３のセンサーから第３の出力を受信することをさらに備え、前記ジェスチャーが、前記第３のセンサーからの前記第３の出力にさらに基づいて検出される、請求項８に記載の方法。
16. 第１の出力を生成し、第１のセンサータイプを有するための第１のセンサー手段と、
    第２の出力を生成し、前記第１のセンサータイプとは異なる第２のセンサータイプを有するための第２のセンサー手段と、
    ジェスチャーの複雑度に少なくとも部分的に基づく補足的な票決方式に従って、前記第１の出力と前記第２の出力とに基づいて、ジェスチャーを検出するための手段と
    を備える装置。
17. 照明レベルを決定するための手段と、
    ジェスチャー範囲を決定するための手段と
    をさらに備える請求項１６に記載の装置。
18. 前記照明レベルおよび前記ジェスチャー範囲に基づいて前記第２のセンサー手段を選択的に非アクティブ化するための手段をさらに備える、請求項１７に記載の装置。
19. 共通データモデルに従って第１の出力を生成し、前記第１の出力を超音波処理経路に提供するように構成された超音波センサーと、
    前記共通データモデルに従って第２の出力を生成し、前記第２の出力を画像処理経路に提供するように構成されたカメラと、
    プロセッサと、
    前記第１の出力および前記第２の出力のうちの少なくとも１つに基づいてジェスチャーを検出するために前記プロセッサによって実行可能なジェスチャー検出モジュールと
    を備え、前記超音波処理経路および前記画像処理経路が、前記共通データモデルに従ってデータを交換するように構成される
    装置。
20. 前記共通データモデルに従って交換される前記データが、前記超音波センサーからの前記第１の出力と、前記カメラからの前記第２の出力と、前記超音波センサーまたは前記カメラに対する対象の範囲に関連するデータと、前記超音波センサーまたは前記カメラに対する前記対象の位置に関連したデータと、前記超音波センサーまたは前記カメラのアクティブ構成に関連付けられたデータと、またはそれらの任意の組合せとを含む、請求項１９に記載の装置。
21. 前記カメラが、前記超音波処理経路から受信された前記データに基づいて関心のあるエリアを識別するように構成される、請求項１９に記載の装置。
22. 前記超音波処理経路が、特定の検出されたジェスチャーが前記画像処理経路から受信された前記データに基づいて偽陽性であるかどうかを判断するように構成される、請求項１９に記載の装置。
23. 照明レベルを検出するように構成された光検出器をさらに備え、前記カメラの少なくとも一部分が、前記照明レベルに基づいて、選択的に非アクティブ化される、請求項１９に記載の装置。
24. 第１の出力を超音波処理経路に提供するように構成された超音波センサーと、
    第２の出力を画像処理経路に提供するように構成されたカメラと、
    プロセッサと、
    前記第１の出力および前記第２の出力のうちの少なくとも１つに基づいてジェスチャーを検出するために前記プロセッサによって実行可能なジェスチャー検出モジュールと
    を備え、前記超音波センサーおよび前記カメラが各々、前記超音波処理経路と前記画像処理経路との間で交換されるデータに基づいて、前記プロセッサとは無関係に、自己調整するように構成される
    装置。
25. 前記超音波センサーが、前記カメラからの前記第２の出力に基づいて、アクティブ構成、信号放出周波数、信号放出方向、または任意のそれらの組合せを自己調整する、請求項２４に記載の装置。
26. 前記カメラが、前記超音波センサーからの前記第１の出力に基づいて、アクティブ構成、焦点距離、焦点領域、または任意のそれらの組合せを自己調整する、請求項２４に記載の装置。
27. 前記ジェスチャー検出モジュールが、ジェスチャーの複雑度に少なくとも部分的に基づく補足的な票決方式を適用することによって、前記ジェスチャーを検出する、請求項２４に記載の装置。
28. プロセッサによって実行されると、前記プロセッサに、
    電子デバイスの第１のセンサーから第１の出力を受信することであり、前記第１のセンサーが第１のセンサータイプを有することと、
    前記電子デバイスの第２のセンサーから第２の出力を受信することであり、前記第２のセンサーが前記第１のセンサータイプとは異なる第２のセンサータイプを有することと、
    ジェスチャーの複雑度に少なくとも部分的に基づく補足的な票決方式に従って、前記第１の出力と前記第２の出力とに基づいて、ジェスチャーを検出することと
    を行わせる命令を備える非一時的プロセッサ可読媒体。
29. 前記第１の出力が、第１の信頼度スコアを有する第１のジェスチャーを識別し、前記第２の出力が、第２の信頼度スコアを有する第２のジェスチャーを識別する、請求項２８に記載の非一時的プロセッサ可読媒体。
30. 前記プロセッサによって実行されると、前記プロセッサに、第３のセンサーから第３の出力を受信することであり、前記ジェスチャーが、前記第３のセンサーからの前記第３の出力にさらに基づいて検出されることを行わせる命令をさらに備える、請求項２８に記載の非一時的プロセッサ可読媒体。

Images