JP2016507098A

JP2016507098A - 表面上でのジェスチャ認識のためのｅｍｇの使用

Info

Publication number: JP2016507098A
Application number: JP2015552831A
Authority: JP
Inventors: フォルタンプーア、ババク; バラサブラマンヤム、シバクマー; カルバルホ、ビター・アール．; キング、ベネット・エム．; イワサキ、ジル・エス．
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-01-14
Filing date: 2014-01-10
Publication date: 2016-03-07
Anticipated expiration: 2034-01-10
Also published as: JP6227669B2; KR102220893B1; KR20150107785A; CN104919397A; WO2014110439A1; CN104919397B; US20140198944A1; EP2943855B1; US9092664B2; EP2943855A1

Abstract

表面に対するボディ部のジェスチャを検出するための装置、方法、およびコンピュータプログラム製品が提供されている。装置は、ボディ部が表面に近接しているかどうかを決定する。ボディ部が表面に近接している場合、装置は、ボディ部から感知された電気的活動が、ボディ部と表面の接触を示すかどうかを決定する。ボディ部が表面に接触している場合、装置は、ボディ部から感知された動き活動がジェスチャを示すかどうかを決定する。【選択図】図２

Description

[0001]本開示は概して、ジェスチャ認識に関しており、より具体的には、表面上での（on surfaces）微細なジェスチャ認識のための筋電図描画法（ＥＭＧ：electromyography）の使用に関している。

[0002]拡張現実（ＡＲ）を実装するためのシステムおよびアプリケーションが非常に一般的で、広く受け入れられるようになってきた。ＡＲシステムは通常、電子メールおよびメディアプレイヤのようなアプリケーションと対話する間にユーザが同時に、彼の周囲を見る、および彼らの周囲と対話することを可能にする頭部装着型ディスプレイ（ＨＭＤ）を含む。多くのＡＲアプリケーションがスマートフォンおよびタブレット上で起動されうるけれども、ＡＲシステムを実装するための最も自然なフォームファクタは、眼鏡のような光学デバイスである。

[0003]ＡＲ眼鏡を通じてアプリケーションと対話するための従来の方法は、手のジェスチャを含み、ここでは着用者の手のＡＲ眼鏡の視界内での種々の広範囲の動きが眼鏡の種々の動作を開始する。しかしながらそのような方法は、重大な欠点を被る。例えば、着用者は、公けでそのような広範囲のジェスチャを実行することによって彼女自身に注意を向けさせることを望まないことがある。したがって、プライベートの、セミプライベートの、および公けの状況に対して異なるセットのジェスチャを有することが望ましい。

[0004]表面に対するボディ部のジェスチャを検出するための装置、方法、およびコンピュータプログラム製品が提供されている。装置は、ボディ部が表面に近接しているかどうかを決定する。ボディ部が表面に近接している場合、装置は、ボディ部から感知された電気的活動（electrical activity）が、ボディ部と表面の接触を示すかどうかを決定する。ボディ部が表面に接触している場合、装置は、ボディ部から感知された動き活動がジェスチャを示すかどうかを決定する。

ユーザデバイスおよびジェスチャ認識デバイスを含む例示的なジェスチャシステムを例示している図である。ジェスチャを認識し、そのジェスチャに基づいてユーザデバイスの動作に作用する方法のフローチャートである。表面と接触している、および表面と接触していない、の両方のボディ部に対応するＥＭＧセンサの出力の変化を例示しているグラフである。ボディ部のジェスチャに対応する加速度計出力の変化を例示しているグラフである。例示的なジェスチャ認識装置における種々のモジュール／手段／コンポーネントの動作を例示している概略的なフロー図である。処理システムを用いるジェスチャ認識装置のためのハードウェア実装の例を例示している図である。

[0011]添付の図面に関係して以下で述べられる詳細な説明は、様々な構成の説明として意図されるものであり、本明細書で説明される概念が実施されうる唯一の構成を表すようには意図されていない。詳細な説明は、様々な概念の完全な理解を提供する目的で、指定の詳細を含む。しかしながら、これらの概念がこれらの指定の詳細なしに実施されうることは、当業者には明らかであろう。いくつかの事例では、周知の構造およびコンポーネントが、そのような概念を曖昧にすることを回避するためにブロック図の形態で図示されている。

[0012]ジェスチャ認識システムのいくつかの態様が、今から、様々な装置および方法を参照して提示されることになる。これらの装置および方法は、以下の詳細な説明において説明され、添付の図面において、様々なブロック、モジュール、コンポーネント、回路、ステップ、プロセス、アルゴリズム等（集合的には「要素」と称される）によって例示されることになる。これらの要素は、電子ハードウェア、コンピュータソフトウェア、またはそれらのあらゆる組み合わせを使用して実装されうる。そのような要素がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、システム全体に課された設計の制約および特定のアプリケーションに依存する。

[0013]例として、要素、または要素のいずれか一部、あるいは要素のあらゆる組み合わせは、１つまたは複数のプロセッサを含む「処理システム」で実装されうる。プロセッサの例は、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、ステートマシン、ゲートロジック、ディスクリートハードウェア回路、および本開示全体を通して説明されている様々な機能を実行するように構成された他の適したハードウェアを含む。処理システムにおける１つまたは複数のプロセッサは、ソフトウェアを実行することができる。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、あるいはそれ以外で称されようとも、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行ファイル、実行スレッド、プロシージャ、関数、等を意味するように広く解釈されるものとする。

[0014]したがって、１つまたは複数の例示的な実施形態では、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのあらゆる組み合わせで実行されうる。ソフトウェアで実行される場合、機能は、コンピュータ可読媒体上に、１つまたは複数の命令またはコードとして格納されるか、あるいは符号化されうる。コンピュータ可読媒体は、コンピュータ格納媒体を含む。格納媒体は、コンピュータによってアクセスされることができる、あらゆる利用可能な媒体でありうる。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭまたは他の光学ディスクストレージ、磁気ディスクストレージまたは他の磁気格納デバイス、あるいは、データ構造または命令の形態で所望のプログラムコードを搬送または格納するように使用されうる、かつコンピュータによってアクセスされうるあらゆる他の媒体を備えることができる。ディスク（disk）およびディスク（disc）は、本明細書で使用される場合、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光学ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびブルーレイ（登録商標）ディスク（disc）を含み、ここにおいてディスク（disk）が通常、磁気的にデータを再生する一方で、ディスク（disc）は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。

[0015]図１は、ユーザデバイス１０２およびジェスチャ認識デバイス１０４を含むジェスチャ認識システム１００を例示している図である。例示されているユーザデバイス１０２は、当該技術分野で知られている方法を使用して、レンズを通じてコンテンツを投影するように構成された１つのＡＲ眼鏡（a pair of AR glasses）である。例えば、ＡＲ眼鏡１０２は、アプリケーションコンテンツ、例えば電子メール、ドキュメント、ウェブページ、あるいはビデオゲーム、動画、または電子書籍のようなメディアコンテンツ、をそのレンズを通じて投影するように構成されうる。他のタイプのユーザデバイス１０２は、スマートフォン、タブレット、ラップトップ等を含むことができる。

[0016]ＡＲ眼鏡１０２は、ジェスチャ認識デバイス１０４と通信するための通信デバイス１１６を含む。通信デバイス１０６は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイスでありうる。ＡＲ眼鏡１０２は、ジェスチャ認識デバイス１０４から受信された信号を処理するためのプロセッサ１０８をさらに含む。

[0017]ジェスチャ認識デバイス１０４は、ボディ部に関連付けられるように構成され、そのような関連付けを提供することの助けとなるいずれの形態でもありうる。例えば、ボディ部が手または指である場合、ジェスチャ認識デバイスは、図１で例示されているような、リストバンド１０４として構成されうる。１つの構成では、ジェスチャ認識デバイス１０４は、近接センサ１１０、ＥＭＧ感知機能を提供する一対の電極１１２、１１４、動きセンサ１１６、およびユーザデバイス１０２と通信するための通信デバイス１１８を含む。ジェスチャ認識デバイス１０４はまた、様々なセンサによって提供された信号を処理するためのプロセッサ１２０も含む。プロセッサと組み合わせてセンサ１１０、１１２、１１４、１１６は、以下でさらに説明されるように、検出機能を提供する。

[0018]リストバンドの形態のジェスチャ認識デバイス１０４のケースでは、近接センサ１１０は、望ましくは、ユーザがリストバンドを着用しているとき、近接センサが手首の下部、すなわち底面（underside）に位置するようにリストバンド上に位置付けられる。近接センサ１１０は、近接センサと構造の接近を示す信号を提供するために、プロセッサ１２０によって周期的に、例えば毎秒１回、ポールされる（poled）低電力デバイスである。近接センサ１１０は、周知の赤外線検出、または超音波検出技術に基づいた範囲発見デバイス（range finding device）でありうる。代わりとして、または加えて、近接センサ１１０は、周知の容量技術に基づく接触感知デバイスでありうる。

[0019]電極１１２、１１４は、望ましくは、ユーザがリストバンド１０４を着用しているとき、手首の筋肉運動から結果として生じる電気的活動を感知するためにそれらの電極が位置するようにリストバンド上に位置付けられる。プロセッサ１２０のＥＭＧ感知要素と組み合わせて電極１１２、１１４は、ボディ部と表面の潜在的な接触を示す信号を提供するＥＭＧセンサとして機能する。ＥＭＧ感知機能は、周知の技術に基づく。

[0020]動きセンサ１１６は、リストバンド上のどこにでも位置付けられることができ、ボディ部の運動を示す信号を提供する。提供される指示は、ボディ部の一般的な全体の運動、またはジェスチャに対応するボディ部のより細かな運動、のうちの１つでありうる。動きセンサは、例えば、加速度計、ジャイロスコープ、または磁気計でありうる。

[0021]図２は、ボディ部のジェスチャを検出する方法のフローチャートである。プロセスは、空中のボディ運動に起因したジェスチャ検出を回避しながら、概して平坦な表面上でのジェスチャを検出することを対象としている。その目的で、ステップ２０２で、ジェスチャ認識デバイスは、ボディ部が概して平坦な表面に近接しているかどうかを検出する。ボディ部は、例えば、指でありうる。概して平坦な表面は、例えば、テーブルトップ、またはユーザの足のトップ（top）でありうる。

[0022]近接検出は、さらなる処理ステップのためのトリガイベントとしての役割をし、空中のボディ部運動に起因した誤ったジェスチャ検出を排除する。近接検出は、上記で説明された近接センサのタイプを使用して行われうる。１つの構成では、ジェスチャ認識デバイス１０４のプロセッサ１２０は、信号を取得するために近接センサ１１０を周期的に、例えば毎秒１回、ポールする。プロセッサ１２０は、近接センサ１１０が表面のしきい値距離内にあるかどうかを決定するために、取得された信号を処理する。例えば、プロセッサ１２０は、近接しきい値、例えば５センチ、でプログラミングされうる。近接センサ１１０によって提供される信号がしきい値の距離、またはしきい値未満の距離に対応する場合、プロセッサ１２０は、ボディ部が表面に近接していると結論付ける。言い換えると、ジェスチャ認識デバイス１０４は、ボディ部と表面の近接を検出する。上記で述べられたように、この近接検出は、空中の手の運動から結果として生じうる誤ったジェスチャ検出を排除する。

[0023]ステップ２０４で、ボディ部が平坦な表面に近接していないと決定される場合、プロセスはステップ２０２に戻る。しかしながら、ボディ部が平坦な表面に近接していると決定される場合、プロセスはステップ２０６に進み、ここにおいてジェスチャ認識デバイス１０４は、ボディ部と表面の接触を示す筋肉電気的活動（muscular electrical activity）を検出する。このことは、上記で説明されたＥＭＧセンサを使用して行われうる。１つの構成では、システム電力を節約するために、ＥＭＧセンサ（例えば、電極１１２、１１４、およびプロセッサ１２０のＥＭＧ感知要素）は、ボディ部が表面に近接していると決定されるまで、スリープモードに維持される。一度ボディ‐表面近接が検出され、ＥＭＧセンサが起こされると、プロセッサ１２０の他の要素は、ＥＭＧセンサから信号を受信し、表面上へのボディ部の配置に対応する電気的活動の基準とその信号を比較する。その基準が満たされる場合、プロセッサ１２０は、ボディ部が表面上に配置されていると結論付ける。言い換えると、ジェスチャ認識デバイス１０４は、ボディ‐表面接触を検出する。

[0024]図３は、時間に応じた（as a function of time）ＥＭＧ信号の振幅を例示しているグラフ３００である。低レベル部分３０２、３０４は、ボディ部と表面の接触の欠如に対応する筋肉活動を表す。より高レベル（higher-level）部分３０６は、ボディ部と表面の接触に対応するより高いレベルの筋肉活動を表す。経験から得たＥＭＧ信号データに基づいて、ボディ部と表面の接触を示す基準は確立されうる。例えば、接触中に測定される経験から得たＥＭＧ信号の動的範囲、またはピークツーピーク電圧（peak-to-peak voltage）は、後に取得されるＥＭＧ信号の測定値が比較されうる基準としての役割をしうる。プロセッサ１２０は、取得された信号の測定値を、経験から得たデータによって定義されたしきい値と比較する。しきい値が満たされる場合、プロセッサ１２０は、ボディ部と表面の接触が存在すると結論付ける。言い換えると、ジェスチャ認識デバイス１０４は、ボディ‐表面接触を検出する。そうでない場合、プロセッサ１２０は、接触が存在しないと結論付ける。オプションで、時間基準もまた実装されることができ、ここにおいて取得される信号の測定値は、ボディ‐表面接触が検出されたと考えられる前に、ある特定の量の時間に対するしきい値を満たさなければならない。

[0025]ステップ２０８で、ボディ部は、平坦な表面と接触していないと決定される場合、プロセスはステップ２０２に戻る。代わりとして、プロセスはステップ２０６に戻りうる。しかしながら、ボディ部が平坦な表面と接触していると決定される場合、プロセスはステップ２１０に進み、ここにおいてジェスチャ認識デバイスは、ジェスチャを示すボディ部の動き活動を検出する。このことは、上記で説明されたような動きセンサ１１６を使用して行われうる。１つの構成では、システム電力を節約するために、動きセンサ１１６は、ボディ部が表面に接触していると決定されるまで、スリープモードに維持される。一度ボディ‐表面接触が検出され、動きセンサ１１６が起こされると、プロセッサ１２０は、動きセンサから信号を受信し、ジェスチャに対応する動き活動の基準とその信号を比較する。その基準が満たされる場合、プロセッサ１２０は、ボディ部がジェスチャを行ったと結論付ける。言い換えると、ジェスチャ認識デバイス１０４は、ジェスチャを検出する。

[0026]図４は、時間に応じた（as a function of time）動きセンサ、例えば加速度計、信号を例示しているグラフ５００であり、ここにおいて信号は、ユーザが２回、平坦な表面上で文字「Ｏ」のジェスチャを行うことに対応する。その運動は、ｘおよびｙ平面で行われる一方で、もしあっても少ない運動しかｚ平面では生じないことに留意されたい。これは単に、経験上取得されうる多くの動き信号の形態または動きジェスチャテンプレートのうちの１つである。プロセッサ１２０は、これらのジェスチャテンプレートのライブラリを含む。プロセッサ１２０は、動きジェスチャテンプレートのライブラリに対して取得された動きセンサ信号を比較する。取得された動き信号の形態が動きジェスチャテンプレートのうちの１つに接近して一致する場合、プロセッサ１２０は、ボディ部が、一致された動きジェスチャテンプレートに関連付けられたジェスチャを行うと結論付ける。言い換えると、ジェスチャ認識デバイス１０４は、ジェスチャを検出する。取得された動き信号と動きジェスチャテンプレートの接近のレベルは、上記で説明された基準を定義する。例えば、ポイント毎の電圧比較、または取得された動き信号と動き−ジェスチャテンプレートの波形エリア比較は、波形間の割合の一致を生み出すことができる。このケースでは、基準は、割合、例えば９０％、であることができ、基準の、または基準より上の生み出された割合は、結果としてジェスチャ検出をもたらすと考えられうる。

[0027]ステップ２１２で、ジェスチャが検出されない場合、プロセスはステップ２０２に戻る。代わりとしてプロセスは、ステップ２０６またはステップ２１０のどちらかに戻ることができる。しかしながらジェスチャが検出された場合、ステップ２１４で信号はユーザデバイス１０２に通信される。信号は、検出されたジェスチャに対応するデバイス１０２の動作に作用するためのものである。１つの構成では、ジェスチャ認識デバイス１０４のプロセッサ１２０は、ジェスチャのルックアップテーブル、および、その動作に作用するためにユーザデバイス１０２に送信すべき対応する出力信号を含む。例えば、検出されたジェスチャが文字「Ｏ」である場合、認識デバイス１０４は、ユーザデバイスにアプリケーションを開かせる信号を、ユーザデバイスに出力することができる。別の例として、表面上での指の時計回りの運動は結果として、ユーザデバイスに開かれたドキュメントをスクロールダウンさせる信号を認識デバイス１０４が出力することをもたらす。別の構成では、ルックアップテーブルがユーザデバイスと共に存在することができ、このケースにおいて、認識デバイス１０４は単に、ジェスチャ自体に対応する信号を通信し、ユーザデバイス１０２は、そのルックアップテーブルを通じて作用されるべき動作を決定する。上記で述べられたように、ジェスチャ認識デバイス１０４とユーザデバイス１０２のジェスチャ認識はワイヤレスでありうる。

[0028]追加のオプションのステップ（図示せず）として、感知された電気的活動がボディ部と表面の接触を示すかどうかを決定する（ステップ２０６）前に、ジェスチャ認識デバイス１０４は第１に、ボディ部がいずれかのタイプの動きを示しているかどうかを決定することができる。このことは、上記で述べられたような動きセンサ１１６を使用して行われうる。プロセッサ１２０は、動きセンサ１１６から信号を受信し、一般的な動き活動の基準とその信号を比較する。その基準が満たされる場合、プロセッサ１２０は、ボディ部が動いていると結論づけ、プロセスはステップ２０６に進む。言い換えると、ジェスチャ認識デバイス１０４は、ボディ部のよる一般的な動きを検出する。この点での基準は単に、動きジェスチャテンプレートに一致する必要のない任意の方向への運動の特定のレベルに関連しうる。

[0029]最初の一般的な動き感知は、それが、計算集約的ＥＭＧセンサ処理、および動き‐ジェスチャテンプレート一致処理を、それらが保証されていないケースにおいて、排除することができる点で有益である。例えば、ユーザの手が、いずれの運動もなく、表面上で休んでいる場合、ジェスチャ認識デバイス１０４は、ボディ‐表面近接を検出するだろう。次のステップのジェスチャ認識デバイス１０４によるＥＭＧ感知は、ボディ‐表面接触を検出するだろう。しかしながら、後に続くステップの動き‐テンプレート一致は、手が休んでいるので、結果としてどの動き‐テンプレート一致をもたらさないだろう。ボディ‐表面接触および動き‐テンプレート一致を検出する前に、ボディ部の一般的な動きを検出することは、これらの処理ステップの必要性を除外するだろう。

[0030]図５は、例示的なジェスチャ検出装置５０２における種々のモジュール／手段／コンポーネントの動作を例示している概略的なフロー図５００である。装置５０２は、ボディ‐表面近接検出モジュール５０４、オプションのボディ動き検出モジュール、ボディ‐表面接触検出モジュール５０６、ジェスチャ検出モジュール５０８、および通信モジュール５１０を含む。ボディ‐表面近接検出モジュール５０４は、ボディ部が表面に近接しているかどうかを決定する。ボディ動き検出モジュール５０６は、ボディ部が動いているかどうかを決定する。ボディ‐表面接触検出モジュール５０８は、ボディ部から感知された電気的活動が、ボディ部と表面の接触を示すかどうかを決定する。ジェスチャ検出モジュール５１０は、ボディ部から感知された動き活動が、ジェスチャを示すかどうかを決定する。通信モジュール５１０は、ユーザデバイスの動作に作用する信号をユーザデバイスに通信する。

[0031]装置は、上述の図２のフローチャートにおけるアルゴリズムのステップの各々を実行する追加のモジュールを含むことができる。このように、上述の図２のフローチャートにおける各ステップはモジュールによって実行されることができ、装置はそれらのモジュールのうちの１つまたは複数を含むことができる。モジュールは、述べられたプロセス／アルゴリズムを行うように特に構成され、述べられたプロセス／アルゴリズムを実行するように構成されたプロセッサによって実装され、プロセッサによる実装のためにコンピュータ可読媒体内に格納された、あるいはそれらの何らかの組み合わせの、１つまたは複数のハードウェアコンポーネントでありうる。

[0032]図６は、処理システム６１４を用いる装置５０２’のためのハードウェア実装の例を例示している図である。処理システム６１４は、バス６２４によって概して表されているバスアーキテクチャで実装されうる。バス６２４は、処理システム６１４の特定のアプリケーションおよび全体の設計の制約に依存して、任意の数の相互接続するバスおよびブリッジを含むことができる。バス６２４は、プロセッサ６０４、モジュール５０４、５０６、５０８、５１０、５１２、およびコンピュータ可読媒体６０６によって表されている１つまたは複数のプロセッサおよび／またはハードウェアモジュールを含む様々な回路を互いにリンクさせる。バス６２４はまた、タイミングソース、周辺機器、電圧レギュレータ、および電力管理回路のような様々な他の回路をリンクさせることもでき、これらは当該技術分野で周知であり、そのためこれ以上説明されないだろう。

[0033]処理システム６１４は、コンピュータ可読媒体６０６に結合されたプロセッサ６０４を含む。プロセッサ６０４は、コンピュータ可読媒体６０６上に格納されたソフトウェアの実行を含む、一般的な処理を担う。このソフトウェアは、プロセッサ６０４によって実行されるとき、処理システム６１４に、あらゆる特定の装置に関して上記で説明された様々な機能を実行させる。コンピュータ可読媒体６０６はまた、ソフトウェアを実行するときにプロセッサ６０４によって操作されるデータを格納するために使用されることもできる。処理システムは、モジュール５０４、５０６、５０８、５１０、５１２のうちの少なくとも１つをさらに含む。そのモジュールは、プロセッサ６０４において起動し、コンピュータ可読媒体６０６に存在し／格納されたソフトウェアモジュール、プロセッサ６０４に結合された１つまたは複数のハードウェアモジュール、またはそれらの何らかの組み合わせでありうる。

[0034]１つの構成では、装置５０２／５０２’は、ボディ部が表面に近接しているかどうかを決定するための手段と、ボディ部が表面に近接している場合、ボディ部から感知された電気的活動がボディ部と表面の接触を示すかどうかを決定するための手段と、ボディ部が表面と接触している場合、ボディ部から感知された動き活動がジェスチャを示すかどうかを決定するための手段と、を含む。装置５０２／５０２’は、感知された電気的アクティビティがボディ部と表面の接触を示すかどうかを決定する前に、ボディ部が動いているかどうかを決定するための手段と、ジェスチャを検出したことに応答して、ユーザデバイスに信号を通信するための手段と、ここにおいてその信号は、ユーザデバイスの動作に作用する、をさらに含むことができる。上述の手段は、上述の手段によって記載された機能を実行するように構成された装置５０２’の処理システム６１４および／または装置５０２の上述のモジュールのうちの１つまたは複数でありうる。

[0035]開示されているプロセスにおけるステップの指定の順序または階層は、例示的な手法の例示のであることが理解される。設計の選好に基づいて、プロセスにおけるステップの指定の順序または階層は並べ替えられうることが理解される。さらに、いくつかのステップは、組み合わされうるか、または省略されうる。添付の方法の請求項はサンプルの順序で様々なステップの要素を提示し、提示されている指定の順序または階層に限定されるようには意図されていない。

[0036]先の説明は、あらゆる当業者が本明細書で説明されている様々な態様を実施することを可能にするように提供されている。これらの態様への様々な変更は当業者には容易に明らかになり、本明細書で定義されている包括的な本質は他の態様に適用されうる。したがって、特許請求の範囲は、本明細書で示されている態様を限定されるように意図されておらず、特許請求の範囲の用語と一貫した最大範囲であると認められるものとし、ここにおいて、単数の要素に対する参照は、「１つおよび１つだけ」を、そのように特別に述べられない限りは意味するように意図されておらず、むしろ「１つまたは複数」を意味するように意図されている。他の方法で特別に述べられていない限り、「いくつか」、「何らか」、「任意の」という用語は、１つまたは複数を指す。当業者に既知、または後に既知となる本開示全体を通して説明されている様々な態様の要素に対するすべての構造的および機能的な均等物は参照によって本明細書に明示的に組み込まれ、特許請求の範囲によって包含されるように意図されている。さらに本明細書で開示されているものが、そのような開示が特許請求の範囲に明確に記載されているかどうかに関わらず、公けに捧げられるようには意図されていない。どの請求項の要素も、その要素が「〜のための手段」という表現を使用して明示的に記載されない限り、ミーンズプラスファンクションとして解釈されるものではない。

[0016]ＡＲ眼鏡１０２は、ジェスチャ認識デバイス１０４と通信するための通信デバイス１０６を含む。通信デバイス１０６は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイスでありうる。ＡＲ眼鏡１０２は、ジェスチャ認識デバイス１０４から受信された信号を処理するためのプロセッサ１０８をさらに含む。

[0030]図５は、例示的なジェスチャ検出装置５０２における種々のモジュール／手段／コンポーネントの動作を例示している概略的なフロー図５００である。装置５０２は、ボディ‐表面近接検出モジュール５０４、オプションのボディ動き検出モジュール５０６、ボディ‐表面接触検出モジュール５０８、ジェスチャ検出モジュール５１０、および通信モジュール５１２を含む。ボディ‐表面近接検出モジュール５０４は、ボディ部が表面に近接しているかどうかを決定する。ボディ動き検出モジュール５０６は、ボディ部が動いているかどうかを決定する。ボディ‐表面接触検出モジュール５０８は、ボディ部から感知された電気的活動が、ボディ部と表面の接触を示すかどうかを決定する。ジェスチャ検出モジュール５１０は、ボディ部から感知された動き活動が、ジェスチャを示すかどうかを決定する。通信モジュール５１０は、ユーザデバイスの動作に作用する信号をユーザデバイスに通信する。

[0032]図６は、処理システム６１４を用いる装置５０２’のためのハードウェア実装の例を例示している図６００である。処理システム６１４は、バス６２４によって概して表されているバスアーキテクチャで実装されうる。バス６２４は、処理システム６１４の特定のアプリケーションおよび全体の設計の制約に依存して、任意の数の相互接続するバスおよびブリッジを含むことができる。バス６２４は、プロセッサ６０４、モジュール５０４、５０６、５０８、５１０、５１２、およびコンピュータ可読媒体６０６によって表されている１つまたは複数のプロセッサおよび／またはハードウェアモジュールを含む様々な回路を互いにリンクさせる。バス６２４はまた、タイミングソース、周辺機器、電圧レギュレータ、および電力管理回路のような様々な他の回路をリンクさせることもでき、これらは当該技術分野で周知であり、そのためこれ以上説明されないだろう。

[0036]先の説明は、あらゆる当業者が本明細書で説明されている様々な態様を実施することを可能にするように提供されている。これらの態様への様々な変更は当業者には容易に明らかになり、本明細書で定義されている包括的な本質は他の態様に適用されうる。したがって、特許請求の範囲は、本明細書で示されている態様を限定されるように意図されておらず、特許請求の範囲の用語と一貫した最大範囲であると認められるものとし、ここにおいて、単数の要素に対する参照は、「１つおよび１つだけ」を、そのように特別に述べられない限りは意味するように意図されておらず、むしろ「１つまたは複数」を意味するように意図されている。他の方法で特別に述べられていない限り、「いくつか」、「何らか」、「任意の」という用語は、１つまたは複数を指す。当業者に既知、または後に既知となる本開示全体を通して説明されている様々な態様の要素に対するすべての構造的および機能的な均等物は参照によって本明細書に明示的に組み込まれ、特許請求の範囲によって包含されるように意図されている。さらに本明細書で開示されているものが、そのような開示が特許請求の範囲に明確に記載されているかどうかに関わらず、公けに捧げられるようには意図されていない。どの請求項の要素も、その要素が「〜のための手段」という表現を使用して明示的に記載されない限り、ミーンズプラスファンクションとして解釈されるものではない。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
表面に対するボディ部のジェスチャを検出する方法であって、
前記ボディ部が前記表面に近接しているかどうかを決定することと、
前記ボディ部が前記表面に近接する場合、前記ボディ部から感知された［筋肉］電気的活動が、前記ボディ部と前記表面の接触を示すかどうかを決定することと、
前記ボディ部が前記表面に接触している場合、前記ボディ部から感知された動き活動が、前記ジェスチャを示すかどうかを決定することと、
を備える方法。
［Ｃ２］
前記ボディ部が前記表面に近接しているかどうかを決定することは、前記ボディ部に関連付けられた近接センサからの信号を監視することを備える、Ｃ１に記載の方法。
［Ｃ３］
感知された電気的活動が前記ボディ部と前記表面の接触を示すかどうかを決定することは、
表面上の前記ボディ部の配置に対応する電気的活動の基準と、前記ボディ部から感知された前記電気的活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記表面に接触していると結論付けることと、
を備える、Ｃ１に記載の方法。
［Ｃ４］
感知された動き活動が前記ジェスチャを示すかどうかを決定することは、
前記ジェスチャに対応する動き活動の基準と、前記ボディ部から感知された前記動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記ジェスチャを行ったと結論付けることと、
を備える、Ｃ１に記載の方法。
［Ｃ５］
ジェスチャ基準のライブラリを提供することをさらに備え、各基準は異なるジェスチャに対応する、Ｃ４に記載の方法。
［Ｃ６］
前記感知された電気的活動が前記ボディ部と表面の接触を示すかどうかを決定する前に、前記ボディ部が動いているかどうかを決定すること、
をさらに備える、Ｃ１に記載の方法。
［Ｃ７］
前記ボディ部が動いているかどうかを決定することは、
動きに対応する動き活動の基準と、前記ボディ部から感知された動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が動いていると結論付けることと、
を備える、Ｃ６に記載の方法。
［Ｃ８］
前記ジェスチャを検出することに応答して、ユーザデバイスに信号を通信することをさらに備え、前記信号は、前記ユーザデバイスの動作に作用するためのものである、Ｃ１に記載の方法。
［Ｃ９］
表面に対するボディ部のジェスチャを検出するための装置であって、
前記ボディ部が前記表面に近接しているかどうかを決定するための手段と、
前記ボディ部が前記表面に近接している場合、前記ボディ部から感知された電気的活動が前記ボディ部と前記表面の接触を示すかどうかを決定するための手段と、
前記ボディ部が前記表面と接触している場合、前記ボディ部から感知された動き活動が前記ジェスチャを示すかどうかを決定するための手段と、
を備える、装置。
［Ｃ１０］
前記ボディ部が前記表面に近接しているかどうかを決定するための前記手段は、前記ボディ部に関連付けられた近接センサからの信号を監視するように構成される、Ｃ９に記載の装置。
［Ｃ１１］
感知された電気的活動が前記ボディ部と前記表面の接触を示すかどうかを決定するための前記手段は、
表面上の前記ボディ部の配置に対応する電気的活動の基準と、前記ボディ部から感知された前記電気的活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記表面に接触していると結論付けることと、
を行うように構成される、Ｃ９に記載の装置。
［Ｃ１２］
感知された動き活動が前記ジェスチャを示すかどうかを決定するための前記手段は、
前記ジェスチャに対応する動き活動の基準と、前記ボディ部から感知された前記動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記ジェスチャを行ったと結論付けることと、
を行うように構成される、Ｃ９に記載の装置。
［Ｃ１３］
ジェスチャ基準のライブラリをさらに備え、各基準は異なるジェスチャに対応する、Ｃ１２に記載の装置。
［Ｃ１４］
前記感知された電気的活動が前記ボディ部と表面の接触を示すかどうかを決定する前に、前記ボディ部が動いているかどうかを決定するための手段をさらに備える、Ｃ９に記載の装置。
［Ｃ１５］
前記ボディ部が動いているかどうかを決定するための前記手段が、
動きに対応する動き活動の基準と、前記ボディ部から感知された動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が動いていると結論付けることと、
を行うように構成される、Ｃ１４に記載の装置。
［Ｃ１６］
前記ジェスチャを検出することに応答して、ユーザデバイスに信号を通信するための手段をさらに備え、前記信号は、前記ユーザデバイスの動作に作用する、Ｃ９に記載の装置。
［Ｃ１７］
表面に対するボディ部のジェスチャを検出するための装置であって、
前記ボディ部が前記表面に近接しているかどうかを決定することと、
前記ボディ部が前記表面に近接している場合、前記ボディ部から感知された電気的活動が前記ボディ部と前記表面の接触を示すかどうかを決定することと、
前記ボディ部が前記表面と接触している場合、前記ボディ部から感知された動き活動が前記ジェスチャを示すかどうかを決定することと、
を行うように構成された、処理システム、
を備える、装置。
［Ｃ１８］
前記処理システムは、前記ボディ部に関連付けられた近接センサからの信号を監視することによって、前記ボディ部が前記表面に近接しているかどうかを決定する、Ｃ１７に記載の装置。
［Ｃ１９］
前記処理システムは、
表面上の前記ボディ部の配置に対応する電気的活動の基準と、前記ボディ部から感知された前記電気的活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記表面に接触していると結論付けることと、
によって、感知された電気的活動が前記ボディ部と前記表面の接触を示すかどうかを決定する、Ｃ１７に記載の装置。
［Ｃ２０］
前記処理システムは、
前記ジェスチャに対応する動き活動の基準と、前記ボディ部から感知された前記動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記ジェスチャを行ったと結論付けることと、
によって、感知された動き活動が前記ジェスチャを示すかどうかを決定する、Ｃ１７に記載の装置。
［Ｃ２１］
ジェスチャ基準のライブラリをさらに備え、各基準は異なるジェスチャに対応する、Ｃ２０に記載の装置。
［Ｃ２２］
前記処理システムは、前記感知された電気的活動が前記ボディ部と表面の接触を示すかどうかを決定する前に、前記ボディ部が動いているかどうかを決定するように構成される、Ｃ１７に記載の装置。
［Ｃ２３］
前記処理システムは、
動きに対応する動き活動の基準と、前記ボディ部から感知された動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が動いていると結論付けることと、
によって、前記ボディ部が動いているかどうかを決定する、Ｃ２２に記載の装置。
［Ｃ２４］
前記処理システムは、前記ジェスチャを検出することに応答して、ユーザデバイスに信号を通信するように構成され、前記信号は、デバイスの動作に作用する、Ｃ１７に記載の装置。
［Ｃ２５］
表面に対するボディ部のジェスチャを検出するためのコンピュータプログラム製品であって、
前記ボディ部が前記表面に近接しているかどうかを決定することと、
前記ボディ部が前記表面に近接している場合、前記ボディ部から感知された電気的活動が、前記ボディ部と前記表面の接触を示すかどうかを決定することと、
前記ボディ部が前記表面に接触している場合、前記ボディ部から感知された動き活動が、前記ジェスチャを示すかどうかを決定することと、
のためのコードを備えるコンピュータ可読媒体、
を備える、コンピュータプログラム製品。
［Ｃ２６］
前記ボディ部が前記表面に近接しているかどうかを決定するためのコードは、前記ボディ部に関連付けられた近接センサからの信号を監視するためのコードを備える、Ｃ２５に記載の製品。
［Ｃ２７］
感知された電気的活動が前記ボディ部と前記表面の接触を示すかどうかを決定するためのコードは、
表面上の前記ボディ部の配置に対応する電気的活動の基準と、前記ボディ部から感知された前記電気的活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記表面に接触していると結論付けることと、
のためのコードを備える、Ｃ２５に記載の製品。
［Ｃ２８］
感知された動き活動が前記ジェスチャを示すかどうかを決定するためのコードは、
前記ジェスチャに対応する動き活動の基準と、前記ボディ部から感知された前記動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記ジェスチャを行ったと結論付けることと、
のためのコードを備える、Ｃ２５に記載の製品。
［Ｃ２９］
ジェスチャ基準のライブラリを定義するコードをさらに備え、各基準は異なるジェスチャに対応する、Ｃ２８に記載の製品。
［Ｃ３０］
前記感知された電気的活動が前記ボディ部と表面の接触を示すかどうかを決定する前に、前記ボディ部が動いているかどうかを決定するためのコードをさらに備える、Ｃ２５に記載の製品。
［Ｃ３１］
前記ボディ部が動いているかどうかを決定するためのコードは、
動きに対応する動き活動の基準と、前記ボディ部から感知された動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が動いていると結論付けることと、
のためのコードを備える、Ｃ２２に記載の装置。
［Ｃ３２］
前記ジェスチャを検出することに応答して、ユーザデバイスに信号を通信するためのコードをさらに備え、前記信号は、前記ユーザデバイスの動作に作用するためのものである、Ｃ２５に記載の製品。

Claims

表面に対するボディ部のジェスチャを検出する方法であって、
前記ボディ部が前記表面に近接しているかどうかを決定することと、
前記ボディ部が前記表面に近接する場合、前記ボディ部から感知された［筋肉］電気的活動が、前記ボディ部と前記表面の接触を示すかどうかを決定することと、
前記ボディ部が前記表面に接触している場合、前記ボディ部から感知された動き活動が、前記ジェスチャを示すかどうかを決定することと、
を備える方法。
前記ボディ部が前記表面に近接しているかどうかを決定することは、前記ボディ部に関連付けられた近接センサからの信号を監視することを備える、請求項１に記載の方法。
感知された電気的活動が前記ボディ部と前記表面の接触を示すかどうかを決定することは、
表面上の前記ボディ部の配置に対応する電気的活動の基準と、前記ボディ部から感知された前記電気的活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記表面に接触していると結論付けることと、
を備える、請求項１に記載の方法。
感知された動き活動が前記ジェスチャを示すかどうかを決定することは、
前記ジェスチャに対応する動き活動の基準と、前記ボディ部から感知された前記動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記ジェスチャを行ったと結論付けることと、
を備える、請求項１に記載の方法。
ジェスチャ基準のライブラリを提供することをさらに備え、各基準は異なるジェスチャに対応する、請求項４に記載の方法。
前記感知された電気的活動が前記ボディ部と表面の接触を示すかどうかを決定する前に、前記ボディ部が動いているかどうかを決定すること、
をさらに備える、請求項１に記載の方法。
前記ボディ部が動いているかどうかを決定することは、
動きに対応する動き活動の基準と、前記ボディ部から感知された動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が動いていると結論付けることと、
を備える、請求項６に記載の方法。
前記ジェスチャを検出することに応答して、ユーザデバイスに信号を通信することをさらに備え、前記信号は、前記ユーザデバイスの動作に作用するためのものである、請求項１に記載の方法。
表面に対するボディ部のジェスチャを検出するための装置であって、
前記ボディ部が前記表面に近接しているかどうかを決定するための手段と、
前記ボディ部が前記表面に近接している場合、前記ボディ部から感知された電気的活動が前記ボディ部と前記表面の接触を示すかどうかを決定するための手段と、
前記ボディ部が前記表面と接触している場合、前記ボディ部から感知された動き活動が前記ジェスチャを示すかどうかを決定するための手段と、
を備える、装置。
前記ボディ部が前記表面に近接しているかどうかを決定するための前記手段は、前記ボディ部に関連付けられた近接センサからの信号を監視するように構成される、請求項９に記載の装置。
感知された電気的活動が前記ボディ部と前記表面の接触を示すかどうかを決定するための前記手段は、
表面上の前記ボディ部の配置に対応する電気的活動の基準と、前記ボディ部から感知された前記電気的活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記表面に接触していると結論付けることと、
を行うように構成される、請求項９に記載の装置。
感知された動き活動が前記ジェスチャを示すかどうかを決定するための前記手段は、
前記ジェスチャに対応する動き活動の基準と、前記ボディ部から感知された前記動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記ジェスチャを行ったと結論付けることと、
を行うように構成される、請求項９に記載の装置。
ジェスチャ基準のライブラリをさらに備え、各基準は異なるジェスチャに対応する、請求項１２に記載の装置。
前記感知された電気的活動が前記ボディ部と表面の接触を示すかどうかを決定する前に、前記ボディ部が動いているかどうかを決定するための手段をさらに備える、請求項９に記載の装置。
前記ボディ部が動いているかどうかを決定するための前記手段が、
動きに対応する動き活動の基準と、前記ボディ部から感知された動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が動いていると結論付けることと、
を行うように構成される、請求項１４に記載の装置。
前記ジェスチャを検出することに応答して、ユーザデバイスに信号を通信するための手段をさらに備え、前記信号は、前記ユーザデバイスの動作に作用する、請求項９に記載の装置。
表面に対するボディ部のジェスチャを検出するための装置であって、

前記ボディ部が前記表面に近接しているかどうかを決定することと、
前記ボディ部が前記表面に近接している場合、前記ボディ部から感知された電気的活動が前記ボディ部と前記表面の接触を示すかどうかを決定することと、
前記ボディ部が前記表面と接触している場合、前記ボディ部から感知された動き活動が前記ジェスチャを示すかどうかを決定することと、
を行うように構成された、処理システム、
を備える、装置。
前記処理システムは、前記ボディ部に関連付けられた近接センサからの信号を監視することによって、前記ボディ部が前記表面に近接しているかどうかを決定する、請求項１７に記載の装置。
前記処理システムは、
表面上の前記ボディ部の配置に対応する電気的活動の基準と、前記ボディ部から感知された前記電気的活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記表面に接触していると結論付けることと、
によって、感知された電気的活動が前記ボディ部と前記表面の接触を示すかどうかを決定する、請求項１７に記載の装置。
前記処理システムは、
前記ジェスチャに対応する動き活動の基準と、前記ボディ部から感知された前記動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記ジェスチャを行ったと結論付けることと、
によって、感知された動き活動が前記ジェスチャを示すかどうかを決定する、請求項１７に記載の装置。
ジェスチャ基準のライブラリをさらに備え、各基準は異なるジェスチャに対応する、請求項２０に記載の装置。
前記処理システムは、前記感知された電気的活動が前記ボディ部と表面の接触を示すかどうかを決定する前に、前記ボディ部が動いているかどうかを決定するように構成される、請求項１７に記載の装置。
前記処理システムは、
動きに対応する動き活動の基準と、前記ボディ部から感知された動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が動いていると結論付けることと、
によって、前記ボディ部が動いているかどうかを決定する、請求項２２に記載の装置。
前記処理システムは、前記ジェスチャを検出することに応答して、ユーザデバイスに信号を通信するように構成され、前記信号は、デバイスの動作に作用する、請求項１７に記載の装置。
表面に対するボディ部のジェスチャを検出するためのコンピュータプログラム製品であって、
前記ボディ部が前記表面に近接しているかどうかを決定することと、
前記ボディ部が前記表面に近接している場合、前記ボディ部から感知された電気的活動が、前記ボディ部と前記表面の接触を示すかどうかを決定することと、
前記ボディ部が前記表面に接触している場合、前記ボディ部から感知された動き活動が、前記ジェスチャを示すかどうかを決定することと、
のためのコードを備えるコンピュータ可読媒体、
を備える、コンピュータプログラム製品。
前記ボディ部が前記表面に近接しているかどうかを決定するためのコードは、前記ボディ部に関連付けられた近接センサからの信号を監視するためのコードを備える、請求項２５に記載の製品。
感知された電気的活動が前記ボディ部と前記表面の接触を示すかどうかを決定するためのコードは、
表面上の前記ボディ部の配置に対応する電気的活動の基準と、前記ボディ部から感知された前記電気的活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記表面に接触していると結論付けることと、
のためのコードを備える、請求項２５に記載の製品。
感知された動き活動が前記ジェスチャを示すかどうかを決定するためのコードは、
前記ジェスチャに対応する動き活動の基準と、前記ボディ部から感知された前記動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が前記ジェスチャを行ったと結論付けることと、
のためのコードを備える、請求項２５に記載の製品。
ジェスチャ基準のライブラリを定義するコードをさらに備え、各基準は異なるジェスチャに対応する、請求項２８に記載の製品。
前記感知された電気的活動が前記ボディ部と表面の接触を示すかどうかを決定する前に、前記ボディ部が動いているかどうかを決定するためのコードをさらに備える、請求項２５に記載の製品。
前記ボディ部が動いているかどうかを決定するためのコードは、
動きに対応する動き活動の基準と、前記ボディ部から感知された動き活動を比較することと、
前記基準が満たされるとき、前記ボディ部が動いていると結論付けることと、
のためのコードを備える、請求項２２に記載の装置。
前記ジェスチャを検出することに応答して、ユーザデバイスに信号を通信するためのコードをさらに備え、前記信号は、前記ユーザデバイスの動作に作用するためのものである、請求項２５に記載の製品。