JP6427598B2 - 光学センサを使用して検出されるモーションジェスチャ入力 - Google Patents

Description

本願は、全般的には光学センサに関し、より具体的には、ウェアラブルデバイス内の光学センサを使用して着用者のジェスチャを認識することに関する。

光学センサは、強化された機能性及び新たな機会をユーザ対話にもたらすために、様々なユーザデバイス内に組み込まれてきた。光の検出、近接性の検出、写真撮影などに関する光学センサを、携帯電話（例えば、スマートフォン）、タブレットコンピュータ、ウェアラブルデバイス（例えば、腕時計、眼鏡など）、及び他のコンピューティングデバイス内に組み込むことにより、ソフトウェア開発者は、娯楽、生産性、健康などに関する魅力的なソフトウェアアプリケーション（「アプリ」）を作り出すことが可能となっている。一部の場合には、光学センサは、デバイスと対話するための様々な他の入力機構（例えば、タッチスクリーン、ボタン、音声コマンド用のマイクロホンなど）と連係して動作する。

しかしながら、多くのデバイスは、デバイスのサイズ上の制約、ディスプレイのサイズ上の制約、操作上の制約などによりデバイスの対話能力及び制御能力が制限される場合がある。例えば、小型又は薄型のユーザデバイスは、ユーザ入力を受信するための物理ボタンの数が、制限される場合がある。同様に、小型のユーザデバイスが有するタッチスクリーンは、仮想ボタン又は他の仮想ユーザインタフェース要素を提供するためのスペースが、制限される場合がある。更には、一部のデバイスが有するボタン又は他の対話型要素は、特定の位置若しくは特定の操作条件で使用するためには、煩雑であるか又は違和感を生じさせる場合がある。例えば、両手を使用して（例えば、一方の手でデバイスを保持しつつ、他方の手をインタフェース要素に関与させて）デバイスと対話することは、煩雑な場合がある。別の例では、ユーザの手が、他の用事で塞がっているか又は使用不可能である間に（例えば、手袋を着用している場合、食料品を運搬している場合、子供と手を繋いでいる場合、運転している場合などに）、小さいボタンを押すか、又はタッチスクリーンの機能に関与することは、困難な場合がある。更に他の例では、デバイス対話は様々な他の方式で制限される場合がある。

ジェスチャを判定する、ウェアラブルユーザデバイス及び方法が開示される。ジェスチャを判定するための例示的方法は、ウェアラブルユーザデバイスから光を放出させることと、着用者の皮膚によって反射された光の一部分を感知することと、この光の感知部分の変化に基づいて、着用者によって実施されたジェスチャを判定することとを含み得る。一実施例では、光の感知部分の変化は、ウェアラブルユーザデバイスの光学センサと着用者の皮膚との間の距離の変化に対応し、着用者の皮膚によって反射された光の一部分を感知することは、光学センサを使用して、その光の一部分を感知することを含む。別の実施例では、光の感知部分の変化は、着用者の皮膚によって反射された、この光の感知部分の強度の変化に対応する。更に別の実施例では、ウェアラブルユーザデバイスから光を放出させることは、第１の波長の第１のＬＥＤ、及び第１の波長とは異なる第２の波長の第２のＬＥＤから光を放出させることを含み得る。更に別の実施例では、ウェアラブルユーザデバイスから光を放出させることは、ウェアラブルデバイスに対して、ある角度で光を放出させることを含み得るものであり、その放出光は、着用者の皮膚上に非垂直の角度で入射する。別の実施例では、着用者の皮膚によって反射された光の一部分を感知することは、第１のＬＥＤと第２のＬＥＤとの間に位置決めされた光学センサを使用して、その光の感知部分に基づく信号を生成することを含み得るものであり、ウェアラブルユーザデバイスから光を放出させることは、第１のＬＥＤ及び第２のＬＥＤから光を放出させることを含み得る。別の実施例では、光の感知部分の変化に基づいてジェスチャを判定することは、着用者の皮膚によって反射された光の一部分を感知するために使用される光学センサによって生成された信号の導関数の、正のピーク、負のピーク、及びゼロ交差を特定することを含み得る。更に別の実施例では、ジェスチャは、拳の握り締めを含む。

例示的な非一時的コンピュータ可読記憶媒体は、上述の例示的方法のうちのいずれかを実行する、コンピュータ実行可能命令を含み得る。この非一時的コンピュータ可読記憶媒体に、データベースを結合することができ、このデータベースは、ジェスチャ認識データを含み得る。例示的システムは、非一時的コンピュータ可読記憶媒体と、コンピュータ実行可能命令を実行することが可能なプロセッサとを含み得る。

ジェスチャを判定する例示的なウェアラブルデバイスは、ウェアラブルデバイスが着用された場合に、そのデバイスから着用者の皮膚に向けて、光を放出するように構成された光源と、着用者の皮膚によって反射された光の一部分を感知することに基づいて、信号を生成するように構成された光学センサと、その信号の変化に基づいて、着用者によって実施されたジェスチャを判定する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体と、信号を受信するように結合されたプロセッサであって、コンピュータ実行可能命令を実行することが可能なプロセッサとを含み得るものである。一実施例では、この信号の変化は、光学センサと着用者の皮膚との間の距離の変化に対応する。別の実施例では、光学センサによって生成される信号は、着用者の皮膚によって反射された、この光の感知部分の強度に基づいて変化する。更に別の実施例では、光源は、第１の波長の光を放出するように構成された第１のＬＥＤ、及び第１の波長とは異なる第２の波長の光を放出するように構成された第２のＬＥＤを含み得る。更に別の実施例では、光源は、第１のＬＥＤ及び第２のＬＥＤを含み得るものであり、光学センサは、第１のＬＥＤと第２のＬＥＤとの間に位置決めすることができる。別の実施例では、光源は、着用者の皮膚上に非垂直の角度で光が入射するように方向付けるために、ウェアラブルデバイスに対して角度付けされる。別の実施例では、ジェスチャを判定するコンピュータ実行可能命令は、信号の導関数の正のピーク、負のピーク、及びゼロ交差を特定することによってジェスチャを判定する、コンピュータ実行可能命令を含む。更に別の実施例では、ジェスチャは、拳の握り締めを含む。更に別の実施例では、光学センサは、光源によって放出された光の波長に対応する、光の波長を感知するように構成される。

ジェスチャを判定する例示的システムは、ウェアラブルユーザデバイスが着用された場合に、そのウェアラブルユーザデバイスから着用者の皮膚に向けて、光を放出するように構成された光源と、着用者の皮膚によって反射された光の一部分を感知することに基づいて、信号を生成するように構成された光学センサと、その信号の変化に基づいて、着用者によって実施されたジェスチャを判定する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体と、信号を受信するように結合されたプロセッサであって、コンピュータ実行可能命令を実行することが可能なプロセッサと、このプロセッサに結合された通信モジュールであって、モバイルデバイスと通信するように構成された通信モジュールとを含み得る。一実施例では、非一時的コンピュータ可読記憶媒体は、ジェスチャを判定することに応答して、通信モジュールを介してモバイルデバイスにコマンドを通信する、命令を更に含む。

着用者の手首上に着用されたウェアラブルデバイスを使用して、間接的にハンドジェスチャを判定するための、例示的なコンピュータにより実行される方法は、ウェアラブルデバイスの光源から、着用者の手首に向けて光を放出させることであって、この光源が、着用者の手首の皮膚に近接して位置決めされることと、ウェアラブルデバイスの光学センサを使用して、着用者の手首の皮膚によって反射された光の一部分を感知することであって、この光学センサが、着用者の手首の皮膚に近接して位置決めされる、ことと、着用者の手首の皮膚によって反射された、この光の感知部分の変化に基づいて、着用者によって実施されたハンドジェスチャを間接的に判定することであって、この変化が、ハンドジェスチャにより、光学センサと着用者の手首の皮膚との間の距離が増大又は減少することから生じる、こととを含み得る。一実施例では、光学センサと着用者の手首の皮膚との間の距離は、ハンドジェスチャにより、１／８インチ未満で増大又は減少する。別の実施例では、この光の感知部分の変化は、光学センサと着用者の手首の皮膚との間の、増大又は減少する距離に基づいて、その光の感知部分の強度が増大又は減少することに対応し得る。更に別の実施例では、着用者によって実施されたハンドジェスチャを間接的に判定することは、着用者の手の移動を直接感知することなく、着用者の手首の皮膚によって反射された、光の感知部分の変化を感知することを含む。

ユーザの皮膚の近傍の、例示的なウェアラブルデバイスを示す。

ユーザの皮膚から、ある距離で隔てられた、例示的なウェアラブルデバイスを示す。

例示的なウェアラブルデバイスの皮膚対向面又は裏面を示す。

例示的なウェアラブルデバイスの表面又は前面を示す。

例示的なウェアラブルデバイスを着用しているユーザの、開いた手を示す。

例示的なウェアラブルデバイスを着用しているユーザの、握り締めた拳を示す。

ウェアラブルデバイスの光学センサからの感知信号の、例示的な波形を示す。

ウェアラブルデバイスの光学センサからの感知信号の、例示的な導関数波形を示す。

ジェスチャ認識閾値を有する、例示的な導関数波形を示す。

ウェアラブルデバイスの光学センサを使用してジェスチャを判定するための、例示的プロセスを示す。

光学センサを使用してジェスチャを認識し、その認識されたジェスチャに対応する機能を実行するための、例示的プロセスを示す。

ジェスチャを検出する例示的システムを示す。

以下の実施例の説明では、実践することが可能な特定の実施例が例示として示される、添付図面を参照する。様々な実施例の範囲から逸脱することなく、他の実施例を使用することができ、構造上の変更を実施することができる点を理解されたい。

本願は、光学センサを備えるウェアラブルデバイスに関し、この光学センサを使用することにより、そのデバイスを着用しているユーザのジェスチャを認識することができる。一実施例では、１つ以上の光源を、腕時計、リストバンド、アームバンド、レッグバンド、チェストバンド、ヘッドバンドなどのウェアラブルデバイスの、裏面又は皮膚対向面上に位置決めすることができる。ウェアラブルデバイスの同じ面上の、それらの１つ以上の光源の近傍に、光学センサを位置決めすることができる。動作の間に、それらの１つ以上の光源から光を放出して、光学センサを使用して感知することができる。デバイスを着用しているユーザの移動によって引き起こされる、感知された光の変化を使用することにより、ユーザジェスチャを認識することができる。例えば、光源から放出された光は、着用者の皮膚で反射し得るものであり、その反射光は、光学センサを使用して感知することができる。着用者が、デバイスを着用している腕の拳を握り締めることなどによって、何らかの方式でジェスチャを行う場合に、その反射光は、筋収縮、手首上でのデバイスの移行、皮膚の伸張、光学センサと着用者の皮膚との間の距離の変化などにより、知覚可能に変化し得る。入射角、強度、位置、波長の変化などの、反射して感知された光の様々な特徴の変化を使用することにより、意図的なジェスチャを認識することができる。

一部の実施例では、ウェアラブルデバイス内に光学センサを組み込み、それを使用して着用者のジェスチャを認識することにより、ウェアラブルデバイスと対話するための簡便な方式を提供することができる。そのようなジェスチャ認識は、タッチスクリーン、ボタン、ダイアルなどの他のインタフェースを補完するか、又は更に置き換えることができ、表示要素の選択、異なるビューへのナビゲート、時間の変更、表示の変更、電話の呼び出しへの応答、又は様々な他の機能のうちのいずれかなどの、同じ機能若しくは同様の機能を実行するために使用することができる。一部の実施例では、そのようなジェスチャ認識は、片手又はハンズフリーのデバイス操作をもたらし得るものであり、このことにより、簡便性並びに安全性を（例えば、食料品を運搬している場合、運転している場合などに）もたらすことができる多くの他の応用が可能であり、本明細書で論じられるようなジェスチャ認識により様々な他の利益がもたらされ、多くの他の方式でユーザの体験を向上させることができる点を理解されたい。

図１は、着用者の皮膚表面１１６の近傍の、例示的なウェアラブルデバイス１００を示す。一実施例では、ウェアラブルデバイス１００は、ユーザの手首上に着用されるように（例えば、ブレスレット、腕時計、リストバンドなどとして）構成することができ、皮膚表面１１６は、ユーザが、そのデバイスをどのように（例えば、関連するディスプレイが、掌の近傍に、又は手の裏側の近傍にある状態で）着用することを好むかに応じて、ユーザの手首の周囲の任意の場所とすることができる。ウェアラブルデバイス１００は、とりわけ、光源１０４、光源１０６、及び光学センサ１０２を含み得る。

光源１０４及び光源１０６はそれぞれ、発光ダイオード（ＬＥＤ）又は別の光源を含み得る。一部の実施例では、デバイスが通常通り着用される場合に、放出光の大部分が、光学センサ１０２に向けて反射して戻るように、これらの光源を角度付けする（例えば、放出光が、着用者の皮膚上に非垂直の角度で入射することができるように、角度付けする）ことができる。光源を角度付けすることはまた、光源とセンサとの間のアーキング（例えば、放出光が、最初にユーザの皮膚で反射することなく、センサに到達すること）も回避させることができる。例えば、光源１０４を、光学センサ１０２に向けて、垂直方向から６０度離れる方向で角度付けすることができ、それにより放出光１０８の大部分は、反射光１１０によって示されるように、皮膚表面１１６で、光学センサ１０２に向けて反射することができる。同様に、光源１０６を、光学センサ１０２に向けて、垂直方向から６０度離れる方向で角度付けすることができ、それにより放出光１１２の大部分は、反射光１１４によって示されるように、皮膚表面１１６で、光学センサ１０２に向けて反射することができる。他の実施例では、光源１０４及び光源１０６は、より急角度の垂直方向に（例えば、光学センサ１０２に向けて、垂直方向から３０度で）角度付けするか、又は、より急角度の水平方向に角度付けすることもできる。

光源１０４及び光源１０６は、反射光１１０及び反射光１１４の変化の頑健な認識のために、多種多様な方式で構成することができる。一実施例では、光源１０４及び光源１０６は、９００ｎｍの範囲内で赤外線を放出する、ＬＥＤを含み得る。他の実施例では、光源１０４は、光源１０６によって放出される光とは異なる波長を有する光を放出するように、構成することができる。これらの実施例では、光源１０４によって放出される光、及び光源１０６によって放出される光は、それらの光を光学センサ１０２によって識別することができるように選択することができ、可視波長、紫外線波長、赤外線波長、又は他の波長とすることができる。光源１０４及び光源１０６はまた、異なる周波数で放出光をパルス化すること、交互間隔で光を放出することなどによって、異なる方式で動作させることにより、明確に異なる反射光認識を可能にすることもできる。一部の実施例では、２つの別個の光源を有することは、局所的な移動か、又は全体的なデバイスの移動か（例えば、特定の筋肉が収縮することか、デバイス全体が一様に移行することか）を区別する助けとなり得る。しかしながら、更に他の実施例では、ウェアラブルデバイス１００は、単一の光源（例えば、光源１０４又は光源１０６のいずれか）、３つ以上の光源、２つ以上の光学センサ、又は様々な他の組み合わせを含む場合もあり、あるいは、専用の光源を使用することなく、皮膚表面１１６によって反射された周囲照明の変化を検出することが可能な、光学センサを含む場合もある。

光学センサ１０２は、フォトダイオード、又は、電流、電圧、若しくは他の信号に光を変換することが可能な、他の光検出器を含み得る。一実施例では、光学センサ１０２は、感知された光を、センサによって受光された光の量に対応する大きさ又は値を有する信号（例えば、電流、電圧など）に変換することができる。一部の実施例では、光学センサ１０２は、特定の光の波長（例えば、光源１０４及び光源１０６によって発生されるもの）を感知する一方で、他の波長を感知しないように構成することができる。図１に示すように、皮膚表面１１６とウェアラブルデバイス１００との間の距離１１８は、反射光１１０及び反射光１１４が、ウェアラブルデバイス１００の皮膚対向面上に入射する場所を規定し得る。放出光及び反射光は、簡潔性のために、図１では直線として示されるが、光は、より大きいビームへと拡散して、種々の角度で反射し得ることを理解されたい。図１の実施例では、距離１１８がウェアラブルデバイス１００と皮膚表面１１６とを隔てることにより、反射光１１０及び反射光１１４は、光学センサ１０２の縁部に衝突する（例えば、直線によって表される光の大部分が、縁部に衝突する）ように示される。一実施例では、光学センサ１０２は、比較的少量の光が感知されたことを表す信号を生成し得るが、これは、反射光１１０及び反射光１１４の大半が、このセンサではなく、ウェアラブルデバイス１００の本体部に衝突し得るためである。

対照的に、図２は、皮膚表面１１６から距離２２０で隔てられたウェアラブルデバイス１００を示し、この距離２２０は、図１の距離１１８よりも大きいものとすることができる。光源１０４及び光源１０６は、それぞれ、反射光２２４及び反射光２２８として皮膚表面１１６で反射し得る、放出光２２２及び放出光２２６を発生させることができる。距離２２０により、反射光２２４及び反射光２２８は、光学センサ１０２に、（図１でのように、センサの縁部に衝突することとは対照的に）センサの中心付近で衝突することが可能となり得る。図２での簡略化された直線状の光の線は、簡潔性のために示されるものであり、この光は、より大きいビームへと拡散して、種々の角度で反射し得ることを理解されたい。それゆえ、図２に示される、より中心の光入射は、他の場所に光の拡散が入射した場合よりも、多くの光の拡散をセンサによって受光することができることを意味し得る。より多くの光の拡散が中心付近に入射することにより、光学センサ１０２は、比較的多量の光が感知されたことを表す信号を生成し得るが、これは、反射光２２４及び反射光２２８の大部分が、他の構成要素ではなく、このセンサ自体に衝突し得る（例えば、ウェアラブルデバイス１００の本体部ではなく、センサ上に入射している）ためである。光学センサ１０２は、それゆえ、ウェアラブルデバイス１００と皮膚表面１１６との間の距離を表すことが可能な、明確に異なる信号を生成することができる。

一部の実施例では、ユーザのハンドジェスチャが、図１の距離１１８と図２の距離２２０との差異の原因となり得る。図４〜図８を参照して以下でより詳細に論じられるように、ユーザは、拳を握り締めること、指を移動させること、手首を曲げることなどによって、ジェスチャを行うことができ、それらのジェスチャにより、ウェアラブルデバイス１００と皮膚表面１１６との間の距離を変化させる（例えば、図１の距離１１８から図２の距離２２０へと変化させる）ことができる。一部の実施例では、ユーザのジェスチャは、ウェアラブルデバイスに関連付けられたリストストラップの少なくとも若干の移行、又はユーザの皮膚の変形を引き起こし得るものであり、それにより、デバイスとユーザの皮膚との間の距離の変化を引き起こすことができる。同様に、一部の場合には、筋肉を収縮させることにより、手首を膨張させることができ、それによりまた、ウェアラブルデバイスとユーザの皮膚との間の距離を変化させることもできる。ジェスチャに関連付けられる多くの他の因子により、ウェアラブルデバイスとユーザの皮膚との間の距離の変化を引き起こすことができる点を理解されたい。異なる距離に基づいて光学センサ１０２によって生成される、異なる信号を使用して、ウェアラブルデバイスと対話するためにユーザが意図的にジェスチャを行う場合を認識することができる。

他の実施例では、ウェアラブルデバイスと皮膚表面との間の距離以外の因子を使用して、ジェスチャを認識することができる。例えば、皮膚の伸張、ユーザの発汗などは、光学センサ１０２が検出することが可能な、反射光の知覚可能な変化を引き起こし得る。一部の実施例では、光源１０４及び光源１０６は、外皮層を少なくとも部分的に貫通して、筋収縮、腱の移行、組織の圧縮、皮膚の伸張、密度変化、圧力変化などに基づいて異なる方式で反射することが可能な、光を発生させることができる。様々な実施例のうちのいずれかでは、光学センサ１０２は、反射光を感知して、放出光がセンサ上に入射する前にどのように変更されているかに基づいて、信号を生成することができる。光学センサ１０２によって生成される信号の変化を使用することにより、着用者の活動を認識することができる。

本明細書で論じられるようなジェスチャ認識を使用することにより、ジェスチャを行う手の移動を直接感知することとは対照的に、着用者の手首で発生する小さい変化を感知することによって、間接的にハンドジェスチャを判定することができる点を理解されたい。例えば、意図的なジェスチャとしては、拳を握り締めること及び緩めることを挙げることができるが、その拳を握り締める動き及び緩める動き（例えば、指及び掌の移動）を直接検出するのではなく、ウェアラブルデバイスの光学センサと着用者の手首の皮膚との間の距離の増大又は減少（例えば、１／８インチ未満の変化）を感知して、そのジェスチャを間接的に認識するために使用することができる。着用者の手首の皮膚に向けて光を放出して、その着用者の手首の皮膚で反射させ、着用者の手首の皮膚に近接して位置決めされた光学センサによって感知することができる。感知される光の強度は、光学センサと着用者の手首の皮膚との間の、増大又は減少する距離に基づいて、増大又は減少し得るものであり、この変化する距離は、上述のような意図的なハンドジェスチャから生じ得るものである。したがって、着用者の手首に放出されて感知される光の、小さい変化を監視することによって、指又は掌の移動を直接感知することなく、間接的にハンドジェスチャを認識することができる。

本明細書で論じられるジェスチャ認識は、手首以外の様々な他の身体部分、及び手首上に着用されるウェアラブルデバイス以外にも適用することができ、本明細書で論じられる手首着用デバイスは、光学センサを使用するジェスチャ認識の非限定的な実施例として提供されることを更に理解されたい。例えば、本明細書の実施例によるジェスチャ認識は、アームバンド、レッグバンド、チェストバンド、ヘッドバンド上などのデバイスを使用して、実行することができる。デバイス及び皮膚の移動を検出することができ、それらの検出された移動を使用することによりジェスチャを判定することができる。例えば、ヘッドバンド内のウェアラブルデバイスは、ユーザが一方又は双方の眉を上げることにより、そのヘッドバンドデバイスを移行させること、及び／又は額の皮膚を知覚可能に変化させることから、意図的なジェスチャを認識することができる。同様に、レッグバンド又はアンクルバンド内のウェアラブルデバイスは、ユーザが脚を曲げる、足を移動させることなどにより、そのレッグバンドデバイス若しくはアンクルバンドデバイスを移行させること、及び／又は、脚、足首、若しくは足の皮膚を知覚可能に変化させることから、意図的なジェスチャを認識することができる。本明細書で論じられる実施例と同様に、デバイスの移行、距離の変化、皮膚の移動などを引き起こす、任意の移動を検出して、ジェスチャを判定するために使用することができるしたがって、本明細書で論じられる様々な実施例は、身体上の任意の場所の皮膚の、任意の部分の近傍に着用することが可能な様々なデバイスに適用することができ、それらの様々なデバイスの光学センサ信号の変化から、ジェスチャを判定することができる。

本明細書で論じられるような、ジェスチャを認識するために使用することが可能な、光源、光学センサ、及びウェアラブルデバイスの、比率、間隔、若しくはレイアウトは、図１及び図２に示されるそれらの実施例とは異なる場合があることを更に理解されたい。例えば、光源及び光学センサは、図示されるサイズの数分の１にすることができ、光源及び光学センサは、遥かに小さいスペース内で、互いに隣接して位置決めすることができる。更には、距離１１８及び距離２２０は誇張されている場合があり、一部の場合には、光学センサ１０２は、人間の目には知覚できない可能性がある、距離の差異を検出することができる。例えば、ウェアラブルデバイスとユーザの皮膚との間の距離の変化は、ジェスチャを行っている際、着用者には明白ではない場合があり、光学センサ１０２は、僅かな距離の差異を（例えば、ジェスチャの間の手首の外周の若干の変化に基づいて）認識するために十分な感度のものとすることができる。

ウェアラブルデバイス１００は、ディスプレイ、タッチスクリーン、ボタン、ダイアル、中央処理装置、メモリ、カメラ、インジケータランプ、発振器、時計、無線送受信機、バッテリ、運動センサ、光センサ、タッチセンサ、他のセンサなどの、本明細書では図示又は説明されない様々な他の構成要素を含み得ることを更に理解されたい。本明細書で論じられるような、光学センサを使用するジェスチャ認識は、多種多様な機能を有する、多種多様なウェアラブルデバイス内に実装することができる点もまた理解されたい。

図３Ａは、例示的なウェアラブルデバイス１００の皮膚対向面又は裏面を示す。一実施例では、ウェアラブルデバイス１００は、腕時計又は他のウェアラブルデバイスを含み得るものであり、このデバイスは、ユーザの手首にデバイスを固定するためのリストストラップ３３０に、取り付けることができる。図示のように、ウェアラブルデバイス１００の皮膚対向面又は裏面は、光学センサ１０２によって隔てられた、光源１０４及び光源１０６を含み得る。光源１０４及び光源１０６は、ＬＥＤを含み得るものであり、それらのＬＥＤは、ガラス、プラスチック、若しくは他の透明窓の背後に位置決めすることができ、又は、同じ窓の背後に位置決めすることもできる。一部の実施例では、光学センサ１０２もまた、同じか又は異なる、ガラス、プラスチック、若しくは他の透明窓の背後に位置決めすることができる。光学センサ１０２、特に、光学センサ１０２の感知領域又は検出領域は、腕毛及び他の皮膚表面の変異部からの干渉を回避するように、サイズ設定することができる。例えば、光学センサ１０２は、そのセンサが反射光を感知することを容易に阻止される恐れがないように、典型的な腕毛よりも数倍大きくサイズ設定することができる。

ジェスチャを認識するために使用することが可能な光源及び光学センサの、比率、間隔、若しくはレイアウトは、図３Ａに示される実施例とは異なる場合があることを理解されたい。例えば、光源１０４及び光源１０６、並びに光学センサ１０２は、リストストラップ３３０内部に位置決めすることができ、リストストラップ３３０は、ウェアラブルデバイス１００から電力を調達し、ウェアラブルデバイス１００との通信を可能にするための、配線を含み得る。他の実施例では、光源１０４及び光源１０６、並びに光学センサ１０２は、異なる方式で（例えば、リストストラップ３３０と一直線状に）方向付けすることができる。

図３Ｂは、リストストラップ３３０に固定された例示的なウェアラブルデバイス１００の、表面又は前面を示す。一実施例では、ウェアラブルデバイス１００は、前面上にディスプレイ３３２を含み得るものであり、ユーザは、ジェスチャを使用して、ディスプレイ３３２上に示される情報と対話することができる。例えば、画像、データ、仮想ボタン、時計、アプリケーション、音楽トラックなどを、ディスプレイ３３２上に表示することができ、ユーザは、特定のジェスチャを実行することにより、選択を実施するか、新たな表示に進むか、その表示を有効化するか、ホーム画面に戻るか、先へ進んでナビゲートするか、前に戻ってナビゲートするか、通知を開くか、情報をスクロールするか、アプリケーションをスクロールするか、楽曲をスクロールするか、音楽の再生を一旦停止するか、音声ファイルの再生を開始するか、電話の呼び出しに応答するか、仮想アシスタントに関与するか、又は様々な他の機能のうちのいずれかを実行することができる。図４及び図５を参照して以下でより詳細に論じられるように様々なジェスチャを使用して、これらの機能に関与することができる。

一部の実施例では、ディスプレイ３３２は、ジェスチャに加えて、又はジェスチャの代わりに、ウェアラブルデバイス１００と対話するために使用することが可能な、タッチスクリーン能力を含み得る。同様に、ウェアラブルデバイス１００は、ボタン、ダイアル、中央処理装置、メモリ、カメラ、インジケータランプ、発振器、時計、無線送受信機、バッテリ、運動センサ、光センサ、タッチセンサ、他のセンサなどの、図３Ａ又は図３Ｂには示されない様々な他の構成要素を含み得る。

図４は、例示的なウェアラブルデバイス１００を着用しているユーザの、開いた手を示す。上述のように、ユーザは、ユーザの皮膚へと方向付けられ、ユーザの皮膚で反射して、光学センサによって感知される光の、知覚可能な変化を引き起こすことが可能な様々なジェスチャを使用して、ウェアラブルデバイス１００と対話することができる。多種多様な移動により、光学センサによって生成される信号を変更することが可能な変化を、反射光に引き起こすことができ、そのような変更された信号は、意図的なジェスチャとして解釈することができる。意図的なジェスチャとして解釈することが可能な移動としては、指の移動、手の移動、手首の移動、腕全体の移動などを挙げることができる。例えば、図４の開いた手は、ウェアラブルデバイス１００と対話するための意図的なジェスチャとして、図５に示されるような拳へと握り締め、図４に示される位置に、開放するか又は緩めて戻すことができる。

注目すべきことに、図５の着用者の手首は、図４の着用者の手首と比較して、少なくとも若干変化している可能性がある（例えば、外周の膨張、皮膚の伸張、筋収縮、腱の移行、組織の圧縮など）。図４のような開いた手を有することから、図５のような握り締めた拳を有することへの、少なくとも若干の手首の変化により、ウェアラブルデバイス１００と着用者の皮膚との間の距離を変化させる（例えば、増大又は減少させる）ことができる。上述のように、ウェアラブルデバイス１００に関連付けられた光学センサは、デバイスと着用者の皮膚との間の距離が変化する際に変化する、信号を生成することができるため、ユーザの拳を握り締める動きは、その後のユーザの拳を緩める動きと共に知覚することができる。一部の実施例では、ユーザの拳の、この順次的な握り締め及び緩めは意図的なジェスチャとして（例えば、仮想ボタンを選択する、電話の呼び出しに応答する、先へ進んでナビゲートするためなどの、マウスカーソルのクリック又はタッチスクリーンの押圧と等価であるように）認識することができる。

他の実施例では、ウェアラブルデバイス１００と対話するためのジェスチャとして、他の動きを使用することができる。例えば、着用者は、親指を内向きに移動させて掌に接触させ、その後に親指をその自然な位置（例えば、図４に示される位置）に解放して戻すことができる。別の実施例では、着用者は、複数の指（例えば、親指以外の複数の指）を収縮させて掌に接触させ、その後にそれらの指をその自然な位置に解放して戻すことができる。更に別の実施例では、着用者は、個々の指（例えば、人差し指、中指など）を収縮させて掌に接触させ、その後にその指をその自然な位置に解放することができる。更に他の実施例では、着用者は、手を手首で下向きに曲げる（例えば、屈曲）か、手を手首で上向きに曲げる（例えば、伸展）か、手を捻る（例えば、回内又は回外）か、手を左又は右に角度付けする（例えば、橈側偏位又は尺側偏位）か、又は、入射光の変化を感知する光学センサによって知覚することが可能な、少なくとも若干の変化を手首に引き起こし得る様々な他の意図的な動きのうちのいずれかを実行することができる。

一部の実施例では、ウェアラブルデバイス１００は、異なる機能を実行するための異なるジェスチャを一意的に認識すると共に、同じジェスチャを実行する異なる方式を、異なるユーザ意図を示すものとして認識するように構成することができる。例えば、着用者は、拳を握り締め、その握り締めた拳を特定の時間にわたって保持し、その後に手を開くことにより、拳を素早く連続的に握り締めて緩めることに関連付けられた機能とは異なる機能を、（例えば、単純なマウスカーソルのクリックとダブルクリックとの相違の場合と同様に）要求することができる別の実施例では、着用者は、１つの方向に手を捻ることにより、１つの機能（例えば、先へ進んでナビゲートする）を要求することができ、他の方向に手を捻ることにより、異なる機能（例えば、前に戻ってナビゲートする）を要求することができる。更に別の実施例では、着用者は、親指を掌に接触させることにより、１つの機能（例えば、選択する）を要求することができ、複数の指を掌に接触させることにより、異なる機能（例えば、ホーム画面に戻る）を要求することができる。多種多様な動きを知覚して、多種多様な機能に関連付けることができる点を理解されたい。しかしながら、他の実施例では、一群の異なる動きのうちのいずれもが、同じ機能に関するユーザ要求としてそれぞれ知覚される場合がある（例えば、拳の握り締め、手首の曲げ、又は親指の接触のいずれもが、同じ機能に関する要求として解釈される場合がある）。

手首の形状、サイズ、筋肉組織、及び他の特性は、異なるユーザに関しては変化するものであるため、ウェアラブルデバイス１００は、一部の実施例では、特定の着用者に適応させるために、学習又は訓練を実行するように構成することができる。例えば、ウェアラブルデバイス１００に関連付けられたアプリケーションは、着用者に、特定の移動を実行するように命令する（例えば、デバイスのディスプレイ上にコマンドを表示すること、音声でコマンドを再生することなどによって、拳を握り締めて緩めるように命令する）ことができる着用者が、その移動を実行すると、ウェアラブルデバイス１００は、光学センサによって生成される信号が、その要求された移動に応答してどのように変化するかを監視することができる。次いで、ウェアラブルデバイス１００は、その特定の着用者の、今後の意図的なジェスチャを認識するために、その光学センサ信号の変化を、特定の移動に関連付けることができる。一部の場合には、ウェアラブルデバイス１００は、異なる手に着用することに関して、又は手首の異なる位置（例えば、掌側又は裏側）に着用することに関して、異なる方式で訓練することができる。一部の実施例では、光学センサ信号の特定の変化、及び関連するジェスチャは、データベース内に（例えば、そのデバイス上のメモリ、そのデバイスからリモートのメモリ、別のデバイス上のメモリ内に）記憶することができ、光学センサ信号の感知された変化を、その記憶されたデータと比較することにより、特定のジェスチャを認識することができる。

図６は、ウェアラブルデバイスの光学センサからの（例えば、上述のウェアラブルデバイス１００の光学センサ１０２からなどの）感知信号の、例示的な波形を示す。一実施例では、縦軸は、経時的に（例えば、横軸上の秒の単位で）光学センサによって生成される信号の大きさに対応し得る。そのような信号は、電流、電圧、又は、感知された光を表す同様の信号に対応し得る。例えば、この信号は、ミリアンペアの単位を有する電流とすることができ、この電流は、比較、計算、及びジェスチャ認識を可能にするスケールに沿って、量子化することができる（例えば、２４ビットの精度でデジタル化することができる）。

図６の波形は、本明細書で論じられるような光学センサを備えるウェアラブルデバイスを着用しているユーザが、６回の繰り返しジェスチャを実行することに対応し得るものであり、各ジェスチャは、数秒の間隔によって隔てられている。例えば、各スパイク又はジェスチャイベント６４０は、着用者の拳を素早く連続的に握り締めて緩めることに対応し得る。示されるように、拳の握り締め６４２は、増大する大きさに対応し得るものであり、その後の拳の解放６４４は、減少する大きさに対応し得る。一部の実施例では、この素早く連続的な、増大する大きさと減少する大きさとの組み合わせは、意図的なジェスチャとして認識することができる。

図６に示される実施例では、ウェアラブルデバイスは、拳を緩めた場合よりも、拳を握り締めた場合に多くの光が感知されるように、対応する着用者に対して移行したものとすることができる。それゆえ、この波形は、拳の握り締め６４２で大きさが上昇し、その後、拳の解放６４４で大きさが下降するように見ることができる。しかしながら、他の実施例では、この信号及び関連する波形は、異なる着用者に関して、又は異なるジェスチャを実行する同じ着用者に関しては、変化し得るものである。例えば、大きさは、異なるユーザに関して、又は異なるジェスチャ（例えば、手首を曲げること）に関しては、連続的に、最初に下降してから上昇する場合がある。別の実施例では、ジェスチャイベント６４０に関連付けられるスパイクのピーク値は、異なるユーザ又は異なるジェスチャに関しては、より低いか、又はより高い場合がある。同様に、ジェスチャイベントに関連付けられるスパイクの幅又は勾配は、異なるユーザ又は異なるジェスチャに関しては、（例えば、特定のユーザ要求を示すために、拳を握り締めて保持する場合、より幅広に）変化する場合がある。様々な異なるジェスチャ及び着用者の特性は、ジェスチャイベント（例えば、特定のユーザ意図を示す、意図的なユーザジェスチャ）を認識するために使用することが可能な、多種多様な波形を作り出すことができる点を理解されたい。更には、一部の実施例では、ウェアラブルデバイスは、一意的な信号を、特定の着用者のジェスチャに関連付けるように、学習又は訓練することができる点を理解されたい。

一部の実施例では、光学センサ信号が、異なるユーザ及び異なるジェスチャに関して変化し得る方式を前提とすると、その光学センサ信号の導関数を使用することにより、頑健なジェスチャ認識を（例えば、ノイズ、偶然の移動、迷光による汚染などを無視しつつ）達成することができる図７は、ウェアラブルデバイスの光学センサからの感知信号の、例示的な導関数波形を示す。一実施例では、図７の導関数波形は、図６の生の信号の波形に対応し得る。一部の実施例では、正のピーク７５０、負のピーク７５２、及びゼロ交差７５４を使用することにより、ウェアラブルデバイスと対話するための意図的なユーザジェスチャを、明確に特定することができる。例えば、正のピーク７５０の発生の後にゼロ交差７５４が続き、その後に続けて負のピーク７５２を有することは、認識される（長方形でマーク付けされる）ジェスチャイベント７５６を特定するために、十分なものであり得る。別の実施例では、負のピークの後にゼロ交差及び正のピークが続き得るように、順序が変化する場合があり、このこともまた、認識されるジェスチャイベントとして特定することができる。更に別の実施例では、特定の時間窓の範囲内で、正のピーク、負のピーク、及びゼロ交差の発生を有することは、ジェスチャを認識するために十分なものであり得る。

一部の実施例では、ジェスチャ認識閾値を使用することにより、ノイズ又は他の偶然のデータをフィルタ除去して、ウェアラブルデバイスと対話するための意図的なユーザジェスチャを正しく認識することができる。図８は、正の閾値８６０及び負の閾値８６２を含めたジェスチャ認識閾値を有する、例示的な導関数波形を示す。一実施例では、意図的なジェスチャを認識する目的のために、導関数波形の正のピーク又は負のピークは、正の閾値８６０及び負の閾値８６２の外側にあるような、既定の閾値の外側にある場合に認識することができる。一部の実施例では、これらの閾値の内側での、ピーク又は他のデータの移動は、無視することができる。例えば、小さい振動又は偶然の手の動きにより、生の光学センサ信号、並びに生の光学センサ信号の導関数に、有意な移動がもたらされる場合がある。そのような移動からジェスチャを誤って認識すること（例えば、誤検出）を回避するために、ジェスチャ認識閾値を使用することにより、明確なジェスチャ認識をそれらの閾値の外側の有意な移動の事例に制限することができる。

他の実施例では、様々な他の技術及びデータを使用することにより、ノイズ及び他の偶然のデータをフィルタ除去しつつ、意図的なユーザジェスチャを明確に認識することができる。例えば、凹部の変化、ゼロ交差、ピーク間の時間、ピーク勾配、ピーク幅、及び他のデータ特性を使用して、ジェスチャ認識を、予期される特定の信号挙動に限定することができる。この方式で、ウェアラブルデバイスは、適切な場合に、ユーザジェスチャを正確に認識して応答することができ、ユーザ対話が、意図されていなかった場合に認識されることを回避することができる。

図９は、ウェアラブルデバイス内の光学センサを使用してジェスチャを判定するための、本明細書で論じられる様々な実施例に従って使用することが可能な例示的プロセス９７０を示す。ブロック９７２で、ウェアラブルユーザデバイスから光を放出させることができる。例えば、図１のウェアラブルデバイス１００の光源１０４及び／又は光源１０６に関連して上述されたように、光を放出することができる。光源は、デバイスが通常通り着用される場合に、放出光の大部分が光学センサ（例えば、光学センサ１０２）に向けて反射して戻るように角度付けする（例えば、放出光が、着用者の皮膚上に非垂直の角度で入射することができるように、角度付けする）ことが可能な、発光ダイオード（ＬＥＤ）を含み得る。一部の実施例では、２つの光源を使用することができ、各光源は、他方の光源の波長とは異なる波長を有する光を放出するように、構成することができる。そのような実施例では、個々の光源によって放出される光は、それらの光を光学センサによって識別することができるように選択することができ、可視波長、紫外線波長、赤外線波長、又は他の波長とすることができる。光源はまた、異なる周波数で放出光をパルス化すること、交互間隔で光を放出することなどによって、異なる方式で動作させることにより、明確に異なる反射光認識を可能にすることもできる。一部の実施例では、２つの別個の光源を有することは、局所的な移動か、又は全体的なデバイスの移動か（例えば、特定の筋肉が収縮することか、デバイス全体が一様に移行することか）を区別する助けとなり得る。しかしながら、更に他の実施例では、ウェアラブルデバイスは、単一の光源、３つ以上の光源、２つ以上の光学センサ、又は様々な他の組み合わせを含む場合もあり、あるいは、専用の光源を使用することなく、皮膚表面によって反射された周囲照明の変化を検出することが可能な光学センサを含む場合もある。

再び図９を参照すると、ブロック９７４で、ユーザの皮膚によって反射された光を感知することができる。例えば、反射光は、光学センサ１０２に関連して上述されたように、感知することができる。光は、電流、電圧、又は、センサ上に入射する光の相対量（例えば、受光の強度）を表す他の信号を生成する、フォトダイオードで感知されることなどの様々な方式で感知することができる。一部の実施例では、光学センサは、ウェアラブルデバイスに関連付けられた光源から放出された光と同様の特性（例えば、波長）を有する光を、主として、又は排他的に感知するように、構成することができる。一実施例では、ユーザの皮膚表面とウェアラブルデバイスとの間の距離は、ウェアラブルデバイスの皮膚対向面上に反射光が入射する場所を規定し得るものであり、このことは、センサで受光される光の強度に影響を及ぼし得る。例えば、着用者の皮膚に対する第１の位置では、光学センサは、比較的少量の光が感知されたことを表す信号を生成することができ、その一方で、着用者の皮膚に対する別の位置では、センサに対して光が入射する場所の移行を前提とすると、光学センサは、比較的多量の光が感知されたことを表す信号を生成することができる。着用者の皮膚に対する、ウェアラブルデバイス及び光学センサの移動は、それゆえ、センサで受光される光の強度が変化するにつれて、その光学センサによって生成される信号を変化させることができる。

再び図９を参照すると、ブロック９７６で、感知された光の変化に基づいて、ジェスチャを判定することができる。例えば、ジェスチャイベントは、生の光学センサ信号から（例えば、図６を参照して論じられたように）、又は光学センサ信号の導関数から（例えば、図７又は図８を参照して論じられたように）判定することができる。多種多様な移動により、光学センサによって生成される信号を変更することが可能な変化を、反射光に引き起こすことができ、そのような変更された信号は、意図的なジェスチャとして解釈することができる。意図的なジェスチャとして解釈することが可能な移動としては、指の移動、手の移動、手首の移動、腕全体の移動などを挙げることができる。例えば、腕時計タイプのウェアラブルデバイスでは、着用者の手首は、握り締めた拳と開いた手との間で、少なくとも若干変化し得る（例えば、外周の膨張、皮膚の伸張、筋収縮、腱の移行、組織の圧縮など）。開いた手を有することから、握り締めた拳を有することへの、少なくとも若干の手首の変化は、ウェアラブルデバイスと着用者の皮膚との間の距離を変化させる（例えば、増大又は減少させる）ことができる。上述のように、ウェアラブルデバイスに関連付けられた光学センサは、デバイスと着用者の皮膚との間の距離が変化する際に変化する、信号を生成することができるため、ユーザの拳を握り締める動きは、その後のユーザの拳を緩める動きと共に知覚することができる。一部の実施例では、ユーザの拳の、この順次的な握り締め及び緩めは意図的なジェスチャであると（例えば、仮想ボタンを選択する、電話の呼び出しに応答する、先へ進んでナビゲートするためなどの、マウスカーソルのクリック又はタッチスクリーンの押圧と等価であるように）判定することができる。

一部の実施例では、光学センサ信号の導関数を、ジェスチャ認識のために使用することができる。例えば、光学センサ信号の導関数で、正のピークの発生の後にゼロ交差が続き、その後に続けて負のピークを有することは、意図的なジェスチャを判定するために、十分なものであり得る。別の実施例では、負のピークの後にゼロ交差及び正のピークが続き得るように、順序が変化する場合があり、このこともまた、意図的なジェスチャとして特定することができる。更に別の実施例では、光学センサ信号の導関数で、特定の時間窓の範囲内に、正のピーク、負のピーク、及びゼロ交差の発生を有することは、意図的なジェスチャを判定するために十分なものであり得る。

他の実施例では、様々な他の技術及びデータを使用することにより、ノイズ及び他の偶然のデータをフィルタ除去しつつ、意図的なユーザジェスチャを明確に判定することができる。例えば、凹部の変化、ゼロ交差、ピーク間の時間、ピーク勾配、ピーク幅、及び他のデータ特性を使用して、ジェスチャ認識を、予期される特定の信号挙動に限定することができる。この方式で、ウェアラブルデバイスは、適切な場合に、ユーザジェスチャを正確に判定して応答することができ、ユーザ対話が、意図されていなかった場合に認識されることを回避することができる。

一部の実施例では、判定されたジェスチャを、特定のユーザ要求に関連付けることができ、ウェアラブルデバイスは、そのユーザ要求（例えば、仮想ボタンを選択する、異なるビューにナビゲートする、電話の呼び出しに応答する、異なる楽曲に進むなどの要求）に適切に応答することができる。ジェスチャ認識は、それゆえ、一部の実施例では、ユーザが、ボタンを押すこと、タッチスクリーンにタッチすることなどを伴うことなく、ウェアラブルデバイスと対話することを可能にするために使用することができる。

図１０は、光学センサを使用してジェスチャを認識し、その認識されたジェスチャに対応する機能を実行するための、本明細書で論じられる様々な実施例に従って使用することが可能な、例示的プロセス１０８０を示す。ブロック１０８２で、ウェアラブルデバイスとユーザが関与する際に、ジェスチャ認識を有効化することができる。一部の実施例では、ジェスチャ認識のためにウェアラブルデバイスに組み込まれた光源及び光学センサは、意図的なジェスチャである可能性が低い場合（例えば、着用者がデバイスに関与していない場合、誰もデバイスを着用していない場合、着用者が走っている場合など）に無効化するか、オフに保つか、又はジェスチャ認識以外の機能のために使用することができる。光源及び光学センサを使用するジェスチャ認識を無効化することにより、バッテリ電力を節約すること、ジェスチャの誤検出を回避すること、それらを他の機能に使用するためなどに解放することができる。

ユーザがデバイスに関与していることが認識されると、ジェスチャ認識を自動的に有効化することができる（例えば、ジェスチャを認識するために、光源及び光学センサを有効化することができる）。ユーザがウェアラブルデバイスに関与していることを認識するために、様々な方法を使用することができる。例えば、ウェアラブルデバイス内の他のセンサを使用することにより、ユーザがウェアラブルデバイスを上昇させて、そのウェアラブルデバイスをユーザの顔面に向けて角度付けし、ディスプレイを見ていることを（例えば、加速度計、ジャイロスコープ、カメラ、近接センサ、光センサなどを使用して）検出することができる。別の実施例では、ユーザは、ボタンを押すこと、タッチスクリーンにタッチすること、コマンドを言うこと、デバイスを振り動かすことなどにより、ウェアラブルデバイスとの関与を開始することができる。更に別の実施例では、アクティブなジェスチャ認識を有効化する前に、ユーザがディスプレイを移動させておらず、かつ能動的に見ていないことを検出するために、ウェアラブルデバイス内のセンサを使用することができるが、これは、移動により、アーチファクト及びジェスチャの誤検出がもたらされる恐れがあるためである。更に他の実施例では、光源及び光学センサは、ユーザがデバイスに関与していない場合に有効化することができるが、その光学センサによって生成される信号は、ユーザ関与が検出されるまで無視又は廃棄することができる。

ブロック１０８４で、（例えば、プロセス９７０のブロック９７２に関連して説明されたように）ウェアラブルユーザデバイスから光を放出させることができる。ブロック１０８６で、（例えば、プロセス９７０のブロック９７４に関連して説明されたように）ユーザの皮膚によって反射された光を感知することができる。ブロック１０８８で、感知された光の変化が、意図的なユーザジェスチャ（例えば、ウェアラブルデバイスによる機能的応答を引き起こすように意図されたジェスチャ）を示すものであるか否かに関して、判定を実施することができる。例えば、意図的なジェスチャは、生の光学センサ信号から（例えば、図６を参照して論じられたように）、又は光学センサ信号の導関数から（例えば、図７又は図８を参照して論じられたように）認識することができる。

感知された光の変化によってジェスチャが示されない場合には（例えば、ブロック１０８８の「いいえ」の分岐）、ブロック１０８４で、再び光を放出させることができ、ブロック１０８６で、再び反射光を感知することができる。一部の実施例では、光を放出させて反射光を感知することにより、ユーザが意図的なジェスチャを実行したか否かを判定する、ポーリングサイクルを繰り返すことができる。連続的なポーリングサイクルは、ある時間間隔によって隔てることができ、又は、それらのポーリングサイクルは、ジェスチャが検出されるか、若しくは別のイベントがそのサイクルを断ち切る（例えば、デバイスの電源がオフになる、ユーザ関与が終了する、タイムアウト間隔が経過するなど）まで継続させることができる。

感知された光の変化によってジェスチャが示される場合には（例えば、ブロック１０８８の「はい」の分岐）、ブロック１０９０で、認識されたジェスチャに対応する機能を実行することができる。例えば、特定の認識されたジェスチャは、着呼に応答するというユーザの所望の意図を示し得るものであるため、その着呼に応答する機能を実行することができる。他の実施例では、他のコンテキストでの認識されたジェスチャは、ユーザの意図的なジェスチャを認識すると実行することが可能な様々な他の機能（例えば、先へ進んでナビゲートする、前に戻ってナビゲートする、音楽を一旦停止する、通知を開くなど）に対応し得る。一部の実施例では、ブロック１０９０で、認識されたジェスチャに対応する機能を実行した後、ジェスチャ認識を（例えば、ブロック１０８４で）継続することにより、ユーザは、ジェスチャを使用して、ウェアラブルデバイスと対話を継続することが可能となり得る。他の実施例では、ジェスチャ認識はブロック１０９０での機能の実行の後に、又は、ウェアラブルデバイスの電源がオフになる、ユーザがデバイスに関与することを中止する、タイムアウト間隔が経過する場合などに無効化することができる。

本明細書での様々な実施例は、ウェアラブルデバイスと対話するために、どのようにジェスチャ認識を使用することができるかを論証するものであるが、ジェスチャ認識を使用して、他のデバイスとも同様に対話することができる点を理解されたい。一部の実施例では、ユーザは、ウェアラブルデバイスが、携帯電話、テレビ、オーディオシステム、メディアプレーヤ、ゲーム機、照明システム、セキュリティシステム、タブレットコンピュータなどの様々な他のデバイスのうちのいずれかに通信することが可能なコマンドを、ジェスチャを使用して効果的に生成することができる。例えば、ウェアラブルデバイスは、メディアプレーヤと（例えば、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、インターネットなどを介して）通信することができ、着用者は、認識可能なジェスチャを実行することができる。そのジェスチャを認識することに応答して、ウェアラブルデバイスは、メディアプレーヤに、メニューをナビゲートする、再生を一旦停止する、表示するためのコンテンツを選択するなどの、対応するコマンドを送信することができる。別の実施例では、ウェアラブルデバイスは、携帯電話と（例えば、Ｂｌｕｅｔｏｏｔｈを介して）通信することができ、着用者は、認識可能なジェスチャを実行することができる。そのジェスチャを認識することに応答して、ウェアラブルデバイスは、携帯電話に、電話の呼び出しに応答する、着信音を消す、電話の位置特定を助けるために音を発するなどの、対応するコマンドを送信することができる。ジェスチャ認識は、更に多くの他のデバイス間対話のために採用することができる点を理解されたい。

更には、本明細書での様々な実施例は、光源及び光学センサを使用して、どのようにジェスチャ認識を達成することができるかを論証するものであるが、光源及び光学センサと連携して様々な他のセンサ及び要素を使用することにより、ウェアラブルデバイスと対話するための意図的なユーザジェスチャを認識することができる点を理解されたい。例えば、加速度計及び／又はジャイロスコープを使用することにより、移動を検出して、光学センサ信号が、他の無作為なユーザ移動のアーチファクトではなく、意図的なジェスチャを表すものであるか否かを判定することができる。同様に、特定のジェスチャは、一意的な加速度計信号及び／又はジャイロスコープ信号と同時に、一意的な光学センサ信号を生じさせることができ、そのような信号の組み合わせの同時発生を使用することにより、意図的なジェスチャを明確に認識することができる。他の実施例では、他のデバイス要素、センサ、及び信号の組み合わせを使用することにより、ジェスチャの誤検出を回避し、意図的なユーザジェスチャを正しく認識することができる。

ジェスチャの判定に関連する、上述の機能のうちの１つ以上は、図１１に示されるシステム１１００と同様又は同一のシステムによって実行することができる。システム１１００は、メモリ１１０２又は記憶デバイス１１０１などの非一時的コンピュータ可読記憶媒体内に記憶され、プロセッサ１１０５によって実行される、命令を含み得る。これらの命令はまた、コンピュータベースのシステム、プロセッサを含むシステム、又は、命令実行システム、装置、若しくはデバイスから命令をフェッチし、それらの命令を実行することが可能な他のシステムなどの、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するための、任意の非一時的コンピュータ可読記憶媒体内に、記憶及び／又は伝送することもできる。本文書のコンテキストでは、「非一時的コンピュータ可読記憶媒体」は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、含むか又は記憶することが可能な、任意の媒体とすることができる。非一時的コンピュータ可読記憶媒体としては、電子、磁気、光、電磁気、赤外線、若しくは半導体のシステム、装置、又はデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（ＲＡＭ）（磁気）、読み出し専用メモリ（ＲＯＭ）（磁気）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）（磁気）、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ、若しくはＤＶＤ−ＲＷなどのポータブル光ディスク、コンパクトフラッシュカード、セキュリティ保護されたデジタルカード、ＵＳＢメモリデバイス、メモリスティックなどのフラッシュメモリなど、あるいは任意のタイプのデータベースを挙げることができるがこれらに限定されない。

これらの命令はまた、コンピュータベースのシステム、プロセッサを含むシステム、又は、命令実行システム、装置、若しくはデバイスから命令をフェッチし、それらの命令を実行することが可能な他のシステムなどの、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するための、任意の伝送媒体内に伝搬することもできる。本文書のコンテキストでは、「伝送媒体」は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、通信、伝搬、若しくは伝送することが可能な、任意の媒体とすることができる。伝送媒体としては、電子、磁気、光、電磁気、若しくは赤外線の有線又は無線伝搬媒体を挙げることができるが、これらに限定されない。

システム１１００はまた、プロセッサ１１０５が、システム１１００の他の構成要素、並びに周辺装置、デバイス、サーバ、データベースなどと通信することを可能にし得る、Ｉ／Ｏモジュール１１０３などの、入出力（「Ｉ／Ｏ」）モジュールも含み得る。例えば、Ｉ／Ｏモジュール１１０３は、プロセッサ１１０５が、ＬＡＮ、ＷＡＮ、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、セルラーなどを含めた有線又は無線通信手段を通じて、外部デバイスと通信することを可能にし得る、送受信機、ラジオ、モデムなどを含み得る。

システム１１００は、タッチを検出し、かつ情報を表示するための、プロセッサ１１０５に結合されたタッチ感知ディスプレイ１１０７を更に含み得る。このシステムは、図１１の構成要素及び構成に限定されるものではなく、様々な実施例に従って、他の構成要素又は追加的構成要素を、複数の構成で含み得ることを理解されたい。更には、システム１１００の構成要素は、単一のデバイス内部に含めることができ、又は、複数のデバイスにわたって分散させることもできる。一部の実施例では、プロセッサ１１０５は、タッチ感知ディスプレイ１１０７内部に配置することができる。

それゆえ、上記によれば、本開示の一部の実施例は、ジェスチャを判定するためのコンピュータにより実行される方法を目的とするものであり、この方法は、ウェアラブルユーザデバイスから光を放出させることと、着用者の皮膚によって反射された光の一部分を感知することと、この光の感知部分の変化に基づいて、着用者によって実施されたジェスチャを判定することとを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光の感知部分の変化は、ウェアラブルユーザデバイスの光学センサと着用者の皮膚との間の距離の変化に対応し、着用者の皮膚によって反射された光の一部分を感知することは、光学センサを使用して、その光の一部分を感知することを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光の感知部分の変化は、着用者の皮膚によって反射された、この光の感知部分の強度の変化に対応する。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、ウェアラブルユーザデバイスから光を放出させることは、第１の波長の第１のＬＥＤ、及び第１の波長とは異なる第２の波長の第２のＬＥＤから光を放出させることを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、ウェアラブルユーザデバイスから光を放出させることは、ウェアラブルデバイスに対して、ある角度で光を放出させることを含み、その放出光は、着用者の皮膚上に非垂直の角度で入射する。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、着用者の皮膚によって反射された光の一部分を感知することは、第１のＬＥＤと第２のＬＥＤとの間に位置決めされた光学センサを使用して、その光の感知部分に基づく信号を生成することを含み、ウェアラブルユーザデバイスから光を放出させることは、第１のＬＥＤ及び第２のＬＥＤから光を放出させることを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光の感知部分の変化に基づいてジェスチャを判定することは、着用者の皮膚によって反射された光の一部分を感知するために使用される光学センサによって生成された信号の導関数の、正のピーク、負のピーク、及びゼロ交差を特定することを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、ジェスチャは、拳の握り締めを含む。

上記によれば、本開示の他の実施例は、上述の方法のうちのいずれかを実行する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体を目的とするものであり、この非一時的コンピュータ可読記憶媒体に、データベースを結合することができ、このデータベースは、ジェスチャ認識データを含む。

上記によれば、本開示の他の実施例は、上述の非一時的コンピュータ可読記憶媒体と、コンピュータ実行可能命令を実行することが可能なプロセッサとを備える、システムを目的とする。

上記によれば、本開示の他の実施例は、ジェスチャを判定するウェアラブルデバイスを目的とするものであり、このデバイスは、ウェアラブルデバイスが着用された場合に、そのデバイスから着用者の皮膚に向けて、光を放出するように構成された光源と、着用者の皮膚によって反射された光の一部分を感知することに基づいて、信号を生成するように構成された光学センサと、その信号の変化に基づいて、着用者によって実施されたジェスチャを判定する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体と、信号を受信するように結合されたプロセッサであって、コンピュータ実行可能命令を実行することが可能なプロセッサとを備える。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、この信号の変化は、光学センサと着用者の皮膚との間の距離の変化に対応する。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光学センサによって生成される信号は、着用者の皮膚によって反射された、この光の感知部分の強度に基づいて変化する。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光源は、第１の波長の光を放出するように構成された第１のＬＥＤ、及び第１の波長とは異なる第２の波長の光を放出するように構成された第２のＬＥＤを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光源は、第１のＬＥＤ及び第２のＬＥＤを含み、光学センサは、第１のＬＥＤと第２のＬＥＤとの間に位置決めされる。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光源は、着用者の皮膚上に非垂直の角度で光が入射するように方向付けるために、ウェアラブルデバイスに対して角度付けされる。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、ジェスチャを判定するコンピュータ実行可能命令は、信号の導関数の正のピーク、負のピーク、及びゼロ交差を特定することによってジェスチャを判定する、コンピュータ実行可能命令を含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、ジェスチャは、拳の握り締めを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光学センサは、光源によって放出された光の波長に対応する、光の波長を感知するように構成される。

上記によれば、本開示の他の実施例は、ジェスチャを判定するシステムを目的とするものであり、このシステムは、ウェアラブルデバイスが着用された場合に、そのウェアラブルユーザデバイスから着用者の皮膚に向けて、光を放出するように構成された光源と、着用者の皮膚によって反射された光の一部分を感知することに基づいて、信号を生成するように構成された光学センサと、その信号の変化に基づいて、着用者によって実施されたジェスチャを判定する、コンピュータ実行可能命令を含む、非一時的コンピュータ可読記憶媒体と、信号を受信するように結合されたプロセッサであって、コンピュータ実行可能命令を実行することが可能なプロセッサと、このプロセッサに結合された通信モジュールであって、モバイルデバイスと通信するように構成された通信モジュールとを備える。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、非一時的コンピュータ可読記憶媒体は、ジェスチャを判定することに応答して、通信モジュールを介してモバイルデバイスにコマンドを通信する、命令を更に含む。

上記によれば、本開示の他の実施例は、着用者の手首上に着用されたウェアラブルデバイスを使用して、間接的にハンドジェスチャを判定するための、コンピュータにより実行される方法を目的とするものであり、この方法は、ウェアラブルデバイスの光源から、着用者の手首に向けて光を放出させることであって、この光源が、着用者の手首の皮膚に近接して位置決めされることと、ウェアラブルデバイスの光学センサを使用して、着用者の手首の皮膚によって反射された光の一部分を感知することであって、この光学センサが、着用者の手首の皮膚に近接して位置決めされる、ことと、着用者の手首の皮膚によって反射された、この光の感知部分の変化に基づいて、着用者によって実施されたハンドジェスチャを間接的に判定することであって、この変化が、ハンドジェスチャにより、光学センサと着用者の手首の皮膚との間の距離が増大又は減少することから生じる、こととを含む。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、光学センサと着用者の手首の皮膚との間の距離は、ハンドジェスチャにより、１／８インチ未満で増大又は減少する。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、この光の感知部分の変化は、光学センサと着用者の手首の皮膚との間の、増大又は減少する距離に基づいて、その光の感知部分の強度が増大又は減少することに対応する。上記で開示された実施例のうちの１つ以上に加えて、又は代替として、一部の実施例では、着用者によって実施されたハンドジェスチャを間接的に判定することは、着用者の手の移動を直接感知することなく、着用者の手首の皮膚によって反射された、光の感知部分の変化を感知することを含む。

添付図面を参照して、実施例を十分に説明してきたが様々な変更及び修正が、当業者には明らかとなるであろうことに留意されたい。そのような変更及び修正は、添付の特許請求の範囲によって定義されるような様々な実施例の範囲内に含まれるものとして理解されたい。

Claims (16)

1. ジェスチャを判定するためのコンピュータにより実行される方法であって、
   ウェアラブルユーザデバイスから光を放出させることと、
   前記ウェアラブルユーザデバイスが着用されている時に、着用者の皮膚によって反射された前記光の部分を、前記ウェアラブルユーザデバイスの光学センサにより感知することであって、前記光の前記感知される部分が、前記ウェアラブルユーザデバイスの前記光学センサと前記着用者の皮膚との間の距離の変化に対応する、ことと、
   前記光の前記感知される部分の変化に基づいて、前記着用者によって実施されたジェスチャを判定することと、
   を含む、方法。
2. 前記光の前記感知される部分の前記変化が、前記着用者の皮膚によって反射された、前記光の前記感知される部分の強度の変化に対応する、請求項１に記載の方法。
3. 前記ウェアラブルユーザデバイスから前記光を放出させることが、
   第１の波長の第１のＬＥＤ、及び前記第１の波長とは異なる第２の波長の第２のＬＥＤから、前記光を放出させることを含む、請求項１に記載の方法。
4. 前記ウェアラブルユーザデバイスから前記光を放出させることが、
   前記ウェアラブルユーザデバイスに対して、ある角度で前記光を放出させることを含み、前記放出された光が、前記着用者の皮膚上に非垂直の角度で入射する、請求項１に記載の方法。
5. 前記着用者の皮膚によって反射された前記光の前記部分を感知することが、
   第１のＬＥＤと第２のＬＥＤとの間に位置決めされた光学センサを使用して、前記光の前記感知される部分に基づく信号を生成することを含み、
   前記ウェアラブルユーザデバイスから前記光を放出させることが、前記第１のＬＥＤ及び前記第２のＬＥＤから前記光を放出させることを含む、請求項１に記載の方法。
6. 前記光の前記感知される部分の変化に基づいて、前記ジェスチャを判定することが、
   前記着用者の皮膚によって反射された前記光の前記部分を感知するために使用される光学センサによって生成された信号の導関数の、正のピーク、負のピーク、及びゼロ交差を特定することを含む、請求項１に記載の方法。
7. 前記ジェスチャが、拳の握り締めを含む、請求項１に記載の方法。
8. 請求項１から７のいずれか一項に記載の方法を実行するコンピュータ実行可能命令と、
   ジェスチャ認識データを含むデータベースと、
   を含む、コンピュータ可読記憶媒体。
9. ジェスチャを判定するウェアラブルデバイスであって、
   前記ウェアラブルデバイスが着用された場合に、前記デバイスから着用者の皮膚に向けて、光を放出するように構成された光源と、
   前記着用者の皮膚によって反射された前記光の部分を感知することに基づいて、信号を生成するように構成された光学センサであって、前記信号は前記ウェアラブルデバイスの前記光学センサと前記着用者の皮膚との間の距離の変化に基づく、光学センサと、
   前記信号の変化に基づいて、前記着用者によって実施されたジェスチャを判定する、コンピュータ実行可能命令を含む、コンピュータ可読記憶媒体と、
   前記信号を受信するように結合されたプロセッサであって、前記コンピュータ実行可能命令を実行することが可能なプロセッサと、
   を備える、ウェアラブルデバイス。
10. 前記光学センサによって生成される前記信号が、前記着用者の皮膚によって反射された、前記光の前記感知される部分の強度に基づいて変化する、請求項９に記載のウェアラブルデバイス。
11. 前記光源が、第１の波長の光を放出するように構成された第１のＬＥＤ、及び前記第１の波長とは異なる第２の波長の光を放出するように構成された第２のＬＥＤを含む、請求項９に記載のウェアラブルデバイス。
12. 前記光源が、第１のＬＥＤ及び第２のＬＥＤを含み、
    前記光学センサが、前記第１のＬＥＤと前記第２のＬＥＤとの間に位置決めされる、請求項９に記載のウェアラブルデバイス。
13. 前記光源が、前記着用者の皮膚上に非垂直の角度で光が入射するように方向付けるために、前記ウェアラブルデバイスに対して角度付けされる、請求項９に記載のウェアラブルデバイス。
14. 前記ジェスチャを判定する前記コンピュータ実行可能命令が、前記信号の導関数の正のピーク、負のピーク、及びゼロ交差を特定することによって、前記ジェスチャを判定する、コンピュータ実行可能命令を含む、請求項９に記載のウェアラブルデバイス。
15. 前記ジェスチャが、拳の握り締めを含む、請求項９に記載のウェアラブルデバイス。
16. 前記光学センサが、前記光源によって放出された光の波長に対応する、光の波長を感知するように構成される、請求項９に記載のウェアラブルデバイス。

Images