JP2015512550A - ジェスチャに基づく遠隔デバイスの制御 - Google Patents

ジェスチャに基づく遠隔デバイスの制御 Download PDF

Info

Publication number
JP2015512550A
JP2015512550A JP2015504671A JP2015504671A JP2015512550A JP 2015512550 A JP2015512550 A JP 2015512550A JP 2015504671 A JP2015504671 A JP 2015504671A JP 2015504671 A JP2015504671 A JP 2015504671A JP 2015512550 A JP2015512550 A JP 2015512550A
Authority
JP
Japan
Prior art keywords
gesture
user
controlling
device based
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015504671A
Other languages
English (en)
Other versions
JP2015512550A5 (ja
JP5977436B2 (ja
Inventor
ババク・フォルタンプール
リチャード・オー・ファーリー
シヴァクマール・バラスブラマニャム
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2015512550A publication Critical patent/JP2015512550A/ja
Publication of JP2015512550A5 publication Critical patent/JP2015512550A5/ja
Application granted granted Critical
Publication of JP5977436B2 publication Critical patent/JP5977436B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C21/00—Systems for transmitting the position of an object with respect to a predetermined reference system, e.g. tele-autographic system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本発明の実施形態は、ユーザの身体の一部分のトポグラフィを検出することによって検出されるハンドジェスチャに基づいて電子デバイスを制御することを対象とする。たとえば、ユーザの手の特定の動き、位置、および/または姿勢に対応するユーザの骨および組織の位置を示す圧力データが検出され得る。ユーザの皮膚に結合されている筋電(EMG)センサも、ユーザによって行われるジェスチャを判定するのに使用することができる。これらのセンサは、認識されたジェスチャに基づいて、デバイスの画像をキャプチャするのに使用することができるカメラに結合することができる。その結果、デバイスを識別および制御することができる。

Description

本発明は、ジェスチャに基づく遠隔デバイスの制御に関する。
多くの電子デバイスが遠隔制御するのに有用である。一般的な例は、テレビ、セットトップボックス、DVR、メディアプレーヤ(たとえば、CDプレーヤ、DVDプレーヤ、Blu-ray（登録商標）プレーヤ)、タブレット、デスクトップおよびラップトップコンピュータ、ならびにテレビ会議機器を含む。現在、ユーザがそのような機器を制御するための一般的な方法は、テレビとともに使用され得るような遠隔制御デバイスを使用することである。これは、いくつかの点で不便である可能性がある。第1に、これには、ユーザが遠隔制御デバイスを所持している必要がある。第2に、使用する必要がある遠隔制御デバイスは、特定の機器とともにしか機能しない場合があり、そのため、遠隔制御することができる複数のデバイスがある箇所には複数の遠隔制御デバイスが必要とされる場合がある。
本発明の実施形態は、ユーザの身体の一部分のトポグラフィを検出することによって検出されるハンドジェスチャに基づいて電子デバイスを制御することを対象とする。たとえば、圧力データが、ユーザの手の特定の動き、位置、および/または姿勢に対応するユーザの骨および組織の位置を示すことができる。ユーザの皮膚に結合されている筋電(EMG)センサも、ユーザによって行われるジェスチャを判定するのに使用することができる。これらのセンサは、認識されたジェスチャに基づいて、デバイスの画像をキャプチャするのに使用することができるカメラに結合することができる。その結果、デバイスを識別および制御することができる。
本開示によるハンドジェスチャに基づいてデバイスを制御するための例示的なシステムは、ユーザの身体の一部分のトポグラフィを検出し、処理モジュールに圧力データを提供するように構成されている感圧センサを含み、処理モジュールは、圧力データに基づいてユーザの身体の一部分のトポグラフィに関連付けられるジェスチャを識別するように構成されている。システムは、識別されたジェスチャに基づいてデバイスに情報を送信するように構成されている送信機も含む。
本明細書による、ジェスチャに基づいてデバイスを制御するための例示的な方法は、ユーザの身体の一部分のトポグラフィを示す圧力データを収集するステップと、圧力データに基づいて、ユーザの身体の一部分のトポグラフィに関連付けられるジェスチャを識別するステップと、識別されたジェスチャに基づいてデバイスに情報を送信するステップとを含む。
本開示による例示的な非一時的コンピュータ可読媒体は、ジェスチャに基づいてデバイスを制御するための命令が組み込まれている。命令は、ユーザの身体の一部分のトポグラフィを示す圧力データを収集し、圧力データに基づいて、ユーザの身体の一部分のトポグラフィに関連付けられるジェスチャを識別し、識別されたジェスチャに基づいてデバイスに情報を送信するためのコンピュータ実行可能コードを含む。
本明細書による、ジェスチャに基づいてデバイスを制御するための例示的なシステムは、ユーザの身体の一部分のトポグラフィを示す圧力データを収集するための手段と、圧力データに基づいて、ユーザの身体の一部分のトポグラフィに関連付けられるジェスチャを識別するための手段と、識別されたジェスチャに基づいてデバイスに情報を送信するための手段とを含む。
本明細書に記載した要素および/または技法は、以下に示す機能ならびに言及していない別の機能のうちの1つまたは複数を提供してもよい。技法は、従来の遠隔制御装置よりも紛失する可能性がはるかに低い、装着可能なフォームファクタを有するシステムを使用して、様々なデバイスのいずれかを選択および制御することを可能にすることができる。さらに、システムは、追加の機能のために、携帯電話、ヘッドマウントディスプレイなどのような別個のデバイスを含み、かつ/または別個のデバイスと一体化することができる。これらのおよび他の実施形態は、その利点および特徴の多くとともに、以下の文書および添付の図面に関連してより詳しく説明される。
圧力センサが取り付けられているユーザの手の一実施形態の図である。 圧力センサが取り付けられているユーザの手首の一実施形態の図である。 ハンドジェスチャを使用した指定および/または制御デバイスのためのシステムの一実施形態を示すブロック図である。 ハンドジェスチャを使用した指定および/または制御デバイスのためのシステムの別の実施形態を示すブロック図である。 ハンドジェスチャに基づいて1つまたは複数の遠隔デバイスを制御するための方法の一実施形態を示す流れ図である。 制御のために1つまたは複数の遠隔デバイスを指定するための方法の一実施形態を示す流れ図である。 コンピュータシステムの一実施形態を示す図である。
以下の説明は、図面を参照して提示されているが、図面全体を通して、同様の符号は同様の要素を参照するために使用される。本明細書で1つまたは複数の技法の様々な詳細について説明するが、他の技法も同様に可能である。いくつかの場合において、様々な技法について説明しやすくするために、構造およびデバイスがブロック図形式で示されている。
ユーザによって実行されるハンドジェスチャを使用して、携帯電話、コンピュータ、ヘッドマウントディスプレイ、テレビ、および/または他の電子デバイスのような、複数の異なる遠隔デバイスを制御することができる。ユーザが手を用いてジェスチャを実行すると、ジェスチャを識別するためにユーザの身体の様々な特性が検出され得る。ユーザが、握り拳を作るなどのハンドジェスチャを実行するとき、骨、靭帯、皮膚、および/または他の組織の動きおよび/または位置は、そのジェスチャに特有であり得る。言い換えれば、骨、靭帯、皮膚、および/または他の組織の動きおよび/または位置に基づいて、ユーザが握り拳を作っていると判定することができる。そのような特性は、ユーザの身体上の複数の場所において顕著であり得る。たとえば、ジェスチャを行うのに使用されているユーザの手の甲では、手の中手骨の動きおよび/または位置を使用して、ジェスチャを識別することができる。別の例として、(ジェスチャを行うのに使用されている同じ手の)ユーザの手首の骨、靭帯、皮膚、および/または他の組織の位置を使用して、実行されているジェスチャを識別することができる。
図1は、圧力センサが取り付けられているユーザの手の一実施形態100を示す。圧力センサ120は、ユーザの手の甲110に固定されてもよい。いくつかの実施形態において、センサ120は、手を取り巻くバンドとして、または、たとえば、図1に示すように、手の甲を横断して配置するためのストリップとして構成されてもよい。手の中手骨のおおよその位置を表すのに点線が使用されている。圧力センサ120は、ユーザの手の甲110のトポグラフィを大まかに検出するように構成されてもよい。ユーザの手の甲110のトポグラフィは、ユーザの手の骨(たとえば、中手骨)、靭帯、皮膚、および/または他の組織の位置によって影響を受け得る。ユーザの手によって実行されるジェスチャの結果として、ジェスチャを識別するのに使用することができるユーザの手の甲110のトポグラフィが存在することになり得る。ユーザの手のトポグラフィに基づいて識別することができるジェスチャは、ユーザの親指を親指以外の指に触れさせること(指ごとに異なるジェスチャが存在する)、握り拳を作ること、および握り拳を作ってユーザの手首を上、下、左、または右(各々が別個のジェスチャである)に曲げることを含む。さらなるジェスチャが可能であってもよい。圧力センサ120は、ユーザの手の甲110の上の複数の点について圧力データを収集してもよい。この圧力データは分析のために別のデバイスに送信されてもよい。圧力センサ120は、接着剤、バンド、または取付けのための何らかの他の手段を介してユーザの手の甲110に固定されてもよい。
他の実施形態において、ユーザの手の甲のトポグラフィを検出するために圧力センサを使用することに加えて、または圧力センサを使用するのではなく、ユーザの手の筋肉中に存在する電気的活動が筋電図(EMG)を介して検出されてもよい。検出された電気的活動を使用してユーザの手によって実行されるジェスチャを判定することが可能であり得る。そのため、EMGセンサは、1つまたは複数の電極を使用して、ユーザの手の甲(または、ユーザの前腕のような何らかの他の箇所)に存在する電気的活動を検出することができる。
図2は、圧力センサが取り付けられているユーザの手首の一実施形態200を示す。図1の実施形態100と同様に、ユーザの手によって実行される様々なジェスチャを、ユーザの手首のトポグラフィを使用して検出することができる。手首の周囲全体、または、ユーザの手首の裏面のような一部分だけのトポグラフィが検出され得る。実施形態200は、ユーザの手首210の裏面のトポグラフィを判定するのに使用されている圧力センサ220を示す。ユーザの手首210のトポグラフィは、ユーザの手首210の骨、靭帯、皮膚、および/または他の組織の位置によって影響を受け得る。ジェスチャがユーザの手によって実行される結果として、ジェスチャを識別するのに使用することができるユーザの手首210のトポグラフィが存在することになり得る。ユーザの手首210のトポグラフィに基づいて識別することができるジェスチャは、ユーザの親指を親指以外の指に触れさせること(指ごとに異なるジェスチャが存在する)、握り拳を作ること、および握り拳を作ってユーザの手首を上、下、左、または右(各々が別個のジェスチャである)に曲げることを含む。圧力センサ220は、接着剤、バンド(たとえば、腕時計バンド)、または取付けのための何らかの他の手段を介してユーザの手首210に固定されてもよい。
図1および図2に示す実施形態は、例示のみを目的としている。実施形態は複数の圧力センサを利用してもよく、これは、ユーザの手または手首に取り付けられている複数のパッドまたはストリップを使用することを含んでもよい。たとえば、2つのセンサ120がユーザの手の甲110に固定されてもよく、両方のセンサ120からのデータが、トポグラフィおよび/または関連するジェスチャを判定するのに使用されてもよい。いくつかの実施形態において、センサが複数あることによって、より複雑なジェスチャの検出、および/または、確度が増大したジェスチャの検出が可能になる。正方形、円形などのような他のフォームファクタも使用されてもよい。いくつかの実施形態において、複数のセンサストリップがカバーし得る少なくとも一定量の面積をカバーするパッドを有する正方形センサが、複数のセンサストリップの代わりに使用される。
図3は、システム300の一実施形態をブロック図形式で示す。システム300は、ハンドジェスチャを使用して1つまたは複数の遠隔デバイスを制御するように構成され得る。システム300は、運動センサ310と、処理モジュール320と、圧力センサ330と、スピーカ/マイクロホンモジュール340と、送受信機モジュール350と、カメラ370と、遠隔デバイス360とを含んでもよい。圧力センサ330は、図1および図2に関連して説明されたようなものであってもよい。いくつかの実施形態において、圧力センサに加えて、または圧力センサではなく、1つまたは複数の筋電(EMG)センサが、ユーザの手の甲および/またはユーザの手首(より詳細には、ユーザの手首の裏面)の筋肉の電気的活動を測定するのに使用されてもよい。1つまたは複数のEMGセンサが、付加的にまたは代替的にユーザの前腕において使用されてもよい。圧力センサ330は、複数点の圧力を測定するように構成されているポリマーベースまたは容量性ベースのセンサであってもよい。たとえば、圧力センサ330は、ユーザの身体の特定の領域(たとえば、手首、手の甲)内の個々の点から成る格子を測定するように構成されてもよい。いくつかの実施形態において、圧力センサ330は、線形ポテンショメータを含む。
運動センサ310は任意選択であり、加速度計および/またはジャイロスコープを含んでもよい。ユーザの身体の一部分(たとえば、ユーザの手および/または手首)の動きは、ジェスチャを判定するために圧力測定値とともに使用されてもよい。たとえば、ジェスチャは握り拳(圧力測定値に基づいて検出することができる)を作ることを含んでもよく、一方で、ユーザの身体に向かうまたはその外方に向かうなどの拳の動きが、運動センサ310によって収集される運動データに基づいて判定されてもよい。そのようなジェスチャが有用であり得る場合の一例として、遠隔デバイスのズーム機能を考える。ユーザが握り拳を作ることによって、ズーム機能を起動することができる。握り拳をユーザの身体に向かって動かすことによってズームアウトすることができ、かつ握り拳をユーザの身体から外方に向かって動かすことによってズームインすることができる。別の例として、ユーザの親指を親指以外の指(たとえば、人差し指)に触れさせるジェスチャは、カーソル制御を起動するジェスチャであってもよい。その後、運動センサ310を使用して、ユーザの手が左、右、上、または下に動かされているかを検出することができる。カーソルの動きは、ユーザの手の動きを模倣することができる。
付加的にまたは代替的に、手の動きは、制御されている遠隔デバイスおよび/または制御されている遠隔デバイスの状態に応じて、様々な異なる機能に対応するために、手の位置と組み合わせることができる。いくつかの実施形態において、ユーザは、機能を呼び出すために自身の手首を一定の方向に回転させるかまたは曲げてもよく、これは、機能を制御するための手および/または腕の動きと組み合わせることができる。たとえば、手首を上向きに曲げることによって、手および/または腕の動きがカーソルを動かす「カーソル移動」機能を呼び出すことができ、手首を下向きに曲げることによって、手および/または腕の動きを使用して強調すべきテキストを選択することができる「テキスト強調」機能を呼び出すことができ、手首を左向きに曲げることによって、手および/または腕の動きを使用してスクロールの動きを制御する(たとえば、動きの方向にスクロールする)ことができる「スクロール」機能を呼び出すことができ、かつ手首を右向きに曲げることによって、手および/または腕の動きを使用してズームを制御する(たとえば、前向きでズームイン、後ろ向きでズームアウトする)ことができる「ズーム」機能を呼び出すことができる。上記の手首を曲げる向きおよび機能の入れ換えであるような、他の組合せが可能である。
付加的にまたは代替的に、カーソル移動および/または他の機能は、運動センサ310からの入力なしに実行されてもよい。いくつかの実施形態において、カーソル移動は、手の位置によって制御されてもよい。たとえば、親指を人差し指に触れさせることによって、カーソルを上に動かすことができ、親指を中指に触れさせることによって、カーソルを下に動かすことができ、親指を薬指に触れさせることによって、カーソルを左に動かすことができ、かつ親指を小指に触れさせることによって、カーソルを右に動かすことができる。上記の手の位置および機能の入れ換えであるような、他のカーソル移動が可能である。さらに、親指を親指以外のすべての指に触れさせることによって、アイコン選択のような他の機能を実行することができる。
処理モジュール320は、それぞれ運動センサ310および圧力センサ330からの収集された運動データおよび/または圧力データを分析することができる。処理モジュール320は、運動データおよび/または圧力データに基づいて、ユーザの手によって実行されているジェスチャを判定することができる。
スピーカ/マイクロホンモジュール340は任意選択であり、ユーザに情報を提供し、かつユーザから情報を受信するのに使用されてもよい。たとえば、複数の遠隔デバイスが制御に利用可能である場所にユーザがいる場合、スピーカを使用して、ユーザに利用可能な遠隔デバイスを通知し、(マイクロホンを介して)ユーザがどの遠隔デバイスを制御に使用することを望むかの選択を受信することができる。いくつかの実施形態において、ユーザがどの遠隔デバイスを制御に使用することを望むかを指定するためにマイクロホンに向かって話すのではなく、選択は、ユーザによって実行される(運動センサ310および/または圧力センサ330を使用して検出される)ジェスチャに基づいてもよい。このデータを使用して、検出されたジェスチャに応答して送受信機モジュール350によってどのコマンドを送信すべきかを判定することができる。スピーカ/マイクロホンモジュール340は、どの遠隔デバイスを制御すべきかを示す情報を処理モジュール320に提供することができる。
他の実施形態において、遠隔デバイスは、ユーザのジェスチャがどの遠隔デバイスを指しているかに基づいて選択されてもよい。そのような実施形態について、たとえば、カメラ370が、システム300に組み込まれてもよく、かつ/または遠隔デバイスもしくはユーザの身体上に含まれてもよい。ユーザが、拡張現実ゴーグル、ヘッドアップディスプレイまたは他のヘッドマウントディスプレイを装着している場合、ユーザが見ているまたはユーザが指している遠隔デバイスを識別することが可能であり得る。ユーザによって実行されるジェスチャが、拡張現実ゴーグル、ヘッドアップディスプレイもしくは他のヘッドマウントディスプレイに特有の機能を起動するのに使用されてもよく、または、ジェスチャの結果として、遠隔デバイスにコマンドが送信されてもよい。
カメラ370は、様々なジェスチャのいずれかを使用して遠隔デバイスを指定することが可能であり得る。一実施形態において、たとえば、カメラ370を含むシステム300の構成要素のいくつかまたはすべてを、ユーザの手、手首、および/または腕に装着されており、ユーザが指している場所の画像を撮影するためにユーザから外方に向いているカメラを有して構成されているリストバンドまたは他のアクセサリに組み込むことができる。手または腕の認識されたジェスチャ(たとえば、指差すこと、指を鳴らすことなど)によって画像のキャプチャをトリガすることができ、それによって、ユーザが、制御されるべきデバイスに向けて方向付けられたジェスチャを実行することができ、カメラが、ジェスチャに基づいてデバイスの画像をキャプチャすることができる。その後、画像を使用して、ユーザがどの遠隔デバイスを制御することを望むかを識別することができ、リストバンドが識別されたデバイスにワイヤレスで結合することができる。カメラ370を使用したデバイス指定に関するさらなる詳細は、図6に関して下記に提供される。ビデオおよび/または静止画像カメラ、光センサなどのような、画像をキャプチャするための代替的な手段が利用されてもよい。
付加的にまたは代替的に、他の機能を提供するためにジェスチャベースの画像キャプチャが利用されてもよい。実施形態は、たとえば、ユーザが対象物の画像をキャプチャして、キャプチャされた画像に基づいてインターネット検索を行うことを可能にする画像ベースのインターネット検索を可能にするために、ジェスチャベースの画像キャプチャを利用してもよい。所望される機能に応じて、検索結果はユーザに対して可聴式に読み出されるか、または、通信可能に接続されたデバイス(たとえば、携帯電話、ヘッドマウントディスプレイなど)上で呼び出されてもよい。
送受信機モジュール350は、制御されることが所望される遠隔デバイス360にコマンドを送信し、かつ/または遠隔デバイス360および/もしくは他のデバイスから情報を受信するように構成されている、ワイヤレス送信機および受信機を備えることができる。送受信機モジュール350は、遠隔デバイス360と通信するのに、赤外線、RF、Bluetooth（登録商標）、WiFi、または何らかの他の形態のワイヤレス通信を使用してもよい。そのような通信は、そのようなコマンドをカーソル位置の移動または他の機能(たとえば、ズーム、移動、コピー、貼付け、削除、チャンネル切替え、音量上げ/下げ、ハングアップ(hang-up)、ピックアップ(pick-up)など)の実行のためのコマンドを含んでもよい。遠隔デバイス360に送信されるコマンドは、制御されている遠隔デバイス360および/または識別されたジェスチャに基づいて処理モジュール320によって選択されてもよい。他の実施形態において、送受信機モジュール350は、遠隔デバイス360または有線インターフェースと通信するように構成されてもよい。たとえば、ハンドまたはリストセンサがヘッドマウントディスプレイに有線接続されてもよい。
図4は、システム400の一実施形態をブロック図形式で示す。システム400は、ハンドジェスチャを使用して1つまたは複数の遠隔デバイスを制御するように構成され得る。システム400は、運動センサ310と、圧力センサ330と、送受信機モジュール410と、スピーカ/マイクロホンモジュール340と、モバイルデバイス435とを含んでもよい。モバイルデバイス435は、送受信機モジュール420と、処理モジュール430とを含んでもよい。運動センサ310、圧力センサ330、およびスピーカ/マイクロホンモジュール340は、図1〜図3に関連して説明されたようなものであってもよい。処理デバイスがセンサと物理的に接続されるのではなく、別個のデバイスを使用して、それぞれ運動センサ310および圧力センサ330からの運動データおよび圧力データを処理することができる。たとえば、ユーザの携帯電話の処理能力を使用して、運動データおよび/または圧力データを使用して実行されているジェスチャを判定することができる。送受信機モジュール410は、生の運動データおよび/または生の圧力データをモバイルデバイス435に中継することができる。
モバイルデバイス435の送受信機モジュール420は、生の運動データおよび/または生の圧力データを受信することができ、分析のために処理モジュール430にそのようなデータを提供することができる。運動データおよび/または圧力データを処理するように構成されているアプリケーションを実行していてもよい処理モジュール430は、運動センサ310および圧力センサ330からのそのようなデータに基づいて、ユーザによって実行されているジェスチャを判定することができる。判定されたジェスチャに基づいて、遠隔デバイス360に送られるべきコマンドを識別することができる。送受信機モジュール420は、コマンドを遠隔デバイス360にワイヤレスで送信することができる。遠隔デバイス360と送受信機モジュール420との間のワイヤレス通信リンクは、送受信機モジュール420と送受信機モジュール410との間のワイヤレス通信リンクとは異なるプロトコルおよび/または周波数を使用し得る。たとえば、送受信機モジュール410と送受信機モジュール420との間の通信にはBluetooth（登録商標）が使用されてもよく、一方で送受信機モジュール420と遠隔デバイス360との間ではWiFiまたは赤外線が使用されてもよい。
いくつかの実施形態において、判定されたジェスチャに基づいて遠隔デバイス360がいずれかのコマンドを実行すべきかを識別する図4の処理モジュール430または図3の処理モジュール320とは異なり、遠隔デバイス360が識別されたデバイスに対応するコマンドを判定するように、実行されたジェスチャの指示が遠隔デバイス360に送信されてもよい。そのため、いくつかの処理は、遠隔デバイス360によって実行されてもよい。またさらなる実施形態において、遠隔デバイスが、生のデータに基づいてユーザが自身の手を用いて実行したジェスチャを判定するように、運動データおよび/または圧力データが遠隔デバイス360に送信されてもよい。そのような実施形態は、処理モジュール320または処理モジュール430による、必要とされる処理の量を低減することができる。
図5は、ハンドジェスチャを使用して1つまたは複数の遠隔デバイスを制御するための方法500の一実施形態を示す。方法500は、図1および図2の圧力センサ構成を使用して実行されてもよい。方法500は、図3もしくは図4のシステム、または、ハンドジェスチャを使用して1つもしくは複数の遠隔デバイスの制御を可能にするように構成されている何らかの他のシステムを使用して実行されてもよい。任意の動作ステップ510において、制御することができる複数の遠隔デバイスが存在する場合、特定の遠隔デバイスが選択されてもよい。これは、いくつかの方法で行われてもよい。一実施形態において、スピーカおよびマイクロホン(図3および図4のスピーカ/マイクロホンモジュール340など)を使用して、ユーザにどの遠隔デバイスを制御すべきかを可聴式に尋ねることができる。その後、ユーザは、制御されることを所望する遠隔デバイスへの指示を話すことができる。いくつかの実施形態において、ユーザは、メニューを提示されてもよい。たとえば、ユーザが、ヘッドアップディスプレイまたは拡張現実デバイスのような表示デバイスを装着している場合、利用可能な遠隔デバイスを識別するメニューがユーザに提示されてもよく、ユーザが制御すべき遠隔デバイスを選択することを可能にしてもよい。遠隔デバイスは、ユーザがどの遠隔デバイスを指しているか、またはユーザがどの遠隔デバイスに向き合っているかに基づいて選択されてもよい。そのような実施形態は、ユーザが指しているまたは向き合っている場所を観測しているカメラ(図3のカメラ370など)を利用してもよい。そのため、そのようなカメラは、ユーザ上、遠隔デバイス上、または、ユーザ付近にある何らかの他の箇所に取り付けられてもよい。いくつかの実施形態において、ユーザは、制御されるべき遠隔デバイスを識別するハンドジェスチャを実行してもよい。ハンドジェスチャは、たとえば、図3および図4の圧力センサ330、カメラ370、および/または運動センサ310を用いて検出されてもよい。ジェスチャが実行されているものとして検知されると、その遠隔デバイスの制御が起動されるように、ジェスチャは遠隔デバイスにリンクされてもよい。
制御すべき利用可能なデバイスの選択は、所望される機能に応じて、種々の方法のうちの任意の様式において行われてもよい。たとえば、リストバンドまたは他の制御システム(それぞれ図3および図4のシステム300および/または400など)の、1つまたは複数の遠隔デバイスとの構成および/または以前のペアリングからの履歴データを使用して、利用可能なデバイスの選択を行うことができ、これは、後のデバイス選択のために記憶、更新、および利用することができる。さらに、遠隔デバイスからの(たとえば、Bluetooth（登録商標）、AllJoyn(登録商標)、および/または遠隔デバイスを制御するのに利用される他の技術に従った)ワイヤレスビーコン(wireless beaconing)が、リストバンドまたは他の制御システムに、どの遠隔デバイスが制御に利用可能であり得るかを示すことができる。
制御に利用可能なデバイスの選択は、使用状況、ユーザ嗜好、および/または他の要因に基づいて優先順位付けされてもよい。以前に示したように、ユーザは、ハンドジェスチャを使用することによってデバイスを選択してもよい。優先順位付けされたリストにおいて、たとえば、ユーザは、親指以外の指の1本を親指に触れさせることによって、リストのどの番号を選択するかを示すことができる。いくつかの構成において、デフォルトのデバイスがあり得、かつ特定のジェスチャがデフォルトを選択し得、一方で別のジェスチャが異なるデバイスを選択し得る。利用可能なデバイスの選択は、位置ベースとすることができ、それによって、ユーザが部屋に歩み入ると、リストバンドまたは他の制御システムが、その部屋の中のどのデバイスを制御することができるかを検出することができる。デバイスが1つしかない場合、リストバンドまたは他の制御システムはそのデバイスと自動的にペアリングしてもよい。複数のデバイスが見つかった場合、ユーザが、たとえば、前述の技法(たとえば、可聴式な選択、ハンドジェスチャなど)のうちの1つを使用してリストから選択してもよい。
いくつかの実施形態は、ユーザが確保ジェスチャ(engagement gesture)を実行することを可能にしてもよく、これは、ユーザが、解放ジェスチャ(disengagement gesture)のようなトリガ事象が検出されるまで一定期間にわたって選択された遠隔デバイスを制御し続けることを可能にすることができる。たとえば、制御されるべき遠隔デバイスを指すのではなく、ユーザは、デバイスに向かって「つかむ(grabbing)」ジェスチャ(たとえば、開いた手を閉じて握り拳にする)を行ってもよく、いくつかのジェスチャを連続して実行することが可能になる。ユーザがデバイスの制御を完了すると、ユーザは、「落とす(drop)」ジェスチャ(たとえば、つかむ動きとは反対の動きで5本の指を掌から外方に拡げる)を行って、遠隔デバイスの制御を止めることができる。ユーザのデバイスの制御を終了させ得る他のトリガ事象は、一定期間の経過、一定期間の機能停止、ユーザがデバイスが位置する部屋を出ること、および/または他の事象を含んでもよい。確保および/または解放ジェスチャは、デバイス、ユーザ嗜好、および/または他の要因に応じて変化してもよい。
ステップ520において、図1および図2に示す、図3および図4の圧力センサ330のような、1つまたは複数の圧力センサを使用して、ユーザから圧力データが収集されてもよい。そのような圧力データは、ユーザの手首(または、より詳細には、ユーザの手首の裏面)および/またはユーザの手の甲から収集されてもよい。圧力データは、ユーザの手首および/または手のトポグラフィを示し得る。ユーザの手首および/またはユーザの手の甲のトポグラフィは、ユーザの手の位置によって影響を受け得る。そのため、ユーザが自身の手を用いてジェスチャを実行した場合、ユーザの(同じ手の)手首および/またはユーザの(同じ)手の甲が、実行されているジェスチャに対応し得る。ユーザの手首および/またはユーザの手の甲のトポグラフィに基づいて、ユーザの手のジェスチャを判定することができる。
任意選択のステップ530において、加速度計またはジャイロスコープを含んでもよい運動センサ(たとえば、図3および図4の運動センサ310)を使用して運動データが収集されてもよい。運動データは、ユーザの手首または手のような、ユーザの身体の一部分の動きを示し得る。運動データは、圧力データが収集されるユーザの身体上の同じ箇所において収集されてもよい。そのような運動データを使用して、ジェスチャの運動ベースの部分を識別することができる。
ステップ540において、それぞれステップ520および530において収集された圧力データおよび/または運動データに基づいてジェスチャが識別されてもよい。たとえば、特定の手の位置がステップ520において収集された圧力データを使用して識別されてもよく、一方でユーザの手の動きがステップ530において収集された運動データを使用して識別されてもよい。この一例は、カーソル移動であってもよい。ユーザは、カーソル制御を所望することを示す握り(握り拳など)を作ってもよく、ユーザは、その後、カーソルを制御するために握り拳を作ったままで自身の手を左、右、上、または下に動かしてもよい。任意で、ジェスチャはコンピュータマウスの機能を再現してもよい。たとえば、手の動きがカーソルをあちこちに動かしてもよく、つかむジェスチャが対象物を選択(「クリック」)してもよい。親指に対する親指以外の指のジェスチャ(finger-to-thumb gesture)が「右クリック」と等価であってもよい。付加的にまたは代替的に、手首を曲げることがカーソルの制御を可能にしてもよい。たとえば、握り拳が検出された後、(圧力データが示すように)手が握り拳を作ったまま手首を一定の方向に曲げることによって、カーソルがあちこちに動いてもよい。手首を曲げることを使用して、Snapkeys(登録商標)のようなテキスト選択インターフェースを使用したテキスト入力のような、他の動作を実行することもできる。以前に示したように、ジェスチャおよび機能は変化してもよい。ジェスチャ識別は、それぞれ図3および図4の処理モジュール320および/または430のような処理モジュールによって実行することができる。
ステップ550において、判定されたジェスチャに応答して遠隔デバイスが実行すべき動作を示すコマンドが、遠隔デバイスに送信されてもよい。たとえば、カーソルの実施例を参照すると、コマンドは、カーソルが上下および/または左右に動くべきであることを示してもよい。ステップ550において送信されるコマンドは、判定されたジェスチャおよび制御されている遠隔デバイス次第であってもよい。そのため、異なる遠隔デバイスについては、同じジェスチャが異なるコマンドが送信される結果を招く場合がある。コマンドは、たとえば、それぞれ図3および図4の送受信機モジュール350および/または420を使用して送信されてもよい。
1つまたは複数の遠隔デバイスを制御するために指定するための、同様の機能が使用されてもよい。図6は、一実施形態による、そのような指定を行うための方法600を示す。図6におけるステップの1つまたは複数は、図3または図4のシステムのような、ハンドジェスチャを使用して1つまたは複数の遠隔デバイスの制御を可能にするように構成されているシステムを使用して実行することができる。図5に示すステップと同様に、方法600は、ステップ610において、ユーザの身体から圧力データを収集すること、および、ステップ620において、圧力データおよび/または運動データを使用してジェスチャを判定することを含むことができる。ここでも、図1および図2に示す、図3および図4の圧力センサ330のような、1つまたは複数の圧力センサから圧力データを取得することができる。
ジェスチャは、ユーザの手および/または腕の動き、位置、および/または姿勢の任意の組合せとすることができるが、ここで、ユーザがカメラを制御されるべきデバイスに向けて方向付けることを可能にする特定のジェスチャが利用されてもよい。外向きになったカメラを有するリストバンドについて、たとえば、そのようなジェスチャは、デバイスがカメラの視野の中にあるようにデバイスを大まかに指しながら、指を鳴らすこと、指差すこと、握り拳を作ることなどを含んでもよい。ステップ630において、画像キャプチャのためのジェスチャが判定されると、カメラ(たとえば、図3のカメラ370)が、画像をキャプチャする。
ステップ640において、制御されるべきデバイスを識別するために画像が処理される。いくつかの実施形態は、デバイスの識別を容易にするために1つまたは複数の識別子(たとえば、ステッカ、エンブレム、または他の目に見えるタグ)を利用してもよい。付加的にまたは代替的に、画像の処理は、画像またはその特徴もしくはキーポイントを、先行する較正段階の間に記憶された既知の対象物のデータベースと比較することを含んでもよい。先行する較正段階は、ユーザが、デバイスの1つまたは複数の画像をキャプチャすること、および、デバイスに関する識別情報を入力することを含んでもよい。キャプチャされた画像または取り出された特徴および/もしくはキーポイントは、処理するための遠隔デバイス、たとえば、視覚検索プロバイダ(visual search provider)に送信されてもよい。画像処理を介してデバイスが識別可能でない場合、選択は、別の技法(たとえば、可聴式な確認)を使用して確認されてもよい。付加的にまたは代替的に、制御範囲内にあるデバイス(たとえば、Bluetooth（登録商標）ペアリングに利用可能なデバイス)に関する情報および/または(たとえば、ユーザの履歴を所与としてユーザが特定のデバイスを制御することを所望する可能性を示す)履歴データと組み合わせて画像を使用して、選択が確認されてもよく、または、キャプチャされた画像の曖昧さが解決されてもよい。ステップ640を実行するための手段は、それぞれ図3および図4の処理モジュール320および430を含む、ハードウェアおよびソフトウェアの任意の組合せを含んでもよい。
ステップ650において、ユーザは任意選択的に、デバイスが識別されると通知されてもよく、ユーザに、画像キャプチャが成功したことが示される。そのような通知は、ノイズまたは他の音響指示(audio indicator)(たとえば、ビープ音、(図3および図4のスピーカ/マイクロホンモジュール340を使用した)デバイスの名前を発語する音声など)、触覚フィードバック、画像(ユーザがヘッドマウントまたは他のディスプレイを有する場合)などを含んでもよい。付加的にまたは代替的に、ユーザは、デバイスが制御される準備ができると、通知を受信してもよい。
ステップ660において、システムは、識別されたデバイスと通信可能に接続する。接続は、図3および図4の送受信機モジュール350のようなワイヤレス通信インターフェースを使用して行われてもよい。接続方法は、使用される技術のタイプに応じて変化してもよい。たとえば、Bluetooth（登録商標）による接続は、利用可能なBluetooth（登録商標）デバイスの接続のリストから、ステップ640において識別されたデバイスに対応する接続を選択することを含んでもよい。その後、システムは、Bluetooth（登録商標）ペアリングプロトコルを使用して、識別されたデバイスと通信可能に接続することができる。他のワイヤレス技術は、異なる接続プロセスを含んでもよい。接続は、たとえば、それぞれ図3および図4の送受信機モジュール350および/または420を使用して行われてもよい。
任意で、ステップ670において、デバイスを制御するためのコマンドが受信されてもよい。たとえば、識別された制御されるべきデバイスに応じて、異なるジェスチャが異なる機能にマッピングされてもよい(たとえば、手を時計回りに回転させることによって、ラジオの音量を増大させ、テレビのチャンネルを変更し、表示されたリスト内を上にスクロールするなどしてもよい)。デバイスの機能に応じて、デバイス自体が、コマンドを提供してもよく、コマンドは、ジェスチャをコマンドにマッピングすることを可能にするXMLまたは別のフォーマットにおいて提供されてもよい。付加的にまたは代替的に、コマンドは、識別されたデバイスから分離しており、コマンド、プロトコル、および/または、デバイスと通信しデバイスを制御するのに必要な他の情報を提供するデータベースから取り出されてもよい。コマンドは、たとえば、それぞれ図3および図4の送受信機モジュール350および/または420を使用して受信されてもよい。
図5および図6に示す特定のステップは、それぞれ、ハンドジェスチャに基づいて1つまたは複数の遠隔デバイスを制御する例示的な方法500、および、1つまたは複数のデバイスを制御のために指定する例示的な方法600を提供することを了解されたい。代替的な実施形態は、図示されている実施形態に対する代替形態を含んでもよい。特定の用途に応じて、追加の特徴が追加され、削除され、同時に実行され、組み合わされ、かつ/または他の様態で変更されてもよい。当業者は、多くの変形、修正、および代替を認識するであろう。
図7は、図3および図4のシステムの構成要素のいくつかまたはすべてを実装してもよいコンピュータシステム700の一実施形態を示す。コンピュータシステム700は、本出願で説明されている遠隔デバイスの構成要素のうちの少なくともいくつかを表すことができる。図7は、様々な他の実施形態によって提供される方法の一部を実行することができるコンピュータシステム700の一実施形態の概略図である。図7が、いずれかまたはすべてを適宜利用することができる様々な構成要素を概略的に示すものにすぎないことに留意されたい。したがって、図7は、個々のシステム要素をどのようにすれば比較的分離された状態で実装し得るかまたは比較的より一体的に実装し得るかを広く示している。
コンピュータシステム700は、バス705を介して電気的に結合され得る(または適宜、他の何らかの形で通信しているものとしてよい)ハードウェア要素を備えるように図示されている。ハードウェア要素は、限定なしに、1つもしくは複数の汎用プロセッサおよび/または(デジタル信号処理チップ、グラフィックアクセラレーションプロセッサなど)1つもしくは複数の専用プロセッサを含む、1つまたは複数のプロセッサ710と、限定なしに、マウス、キーボード、圧力センサ、EMGセンサ、カメラ、マイクロホンなどを含むことが可能な1つまたは複数の入力デバイス715と、限定なしに、ディスプレイデバイス、プリンタ、スピーカなどを含むことが可能な、1つまたは複数の出力デバイス720とを含んでもよい。
コンピュータシステム700は、限定なしに、ローカルおよび/またはネットワークアクセス可能ストレージを含むことができ、および/または限定なしに、ディスクドライブ、ドライブアレイ、光記憶デバイス、プログラム可能、フラッシュ書換可能であるものとしてよい、ランダムアクセスメモリ(「RAM」)および/または読出し専用メモリ(「ROM」)などのソリッドステート記憶デバイス、および/または同様のものを含んでもよい、1つまたは複数の非一時的記憶デバイス725を、さらに備え(および/または通信し)てもよい。そのような記憶デバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む任意の適切なデータストアを実装するように構成されてもよい。
コンピュータシステム700は、限定はしないが、モデム、ネットワークカード(ワイヤレスまたは有線)、赤外線通信デバイス、ワイヤレス通信デバイス、および/もしくは(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備などの)チップセット、ならびに/または同様のものを含むことができる、通信サブシステム730も含んでもよい。通信サブシステム730は、ネットワーク(一例として、以下で説明されているネットワークなど)、他のコンピュータシステム、および/または本明細書で説明されている他のデバイスとデータを交換することを可能にしてもよい。多くの実施形態では、コンピュータシステム700は、上述のようにRAMデバイスまたはROMデバイスを含んでよい作業メモリ735をさらに備える。
コンピュータシステム700はまた、オペレーティングシステム740、デバイスドライバ、実行可能ライブラリ、および/または1つもしくは複数のアプリケーションプログラム745などの他のコードを含む、現在は作業メモリ735内に配置されたものとして示されている、ソフトウェア要素も備えることができ、様々な実施形態によって提供されるコンピュータプログラムを備えることができ、かつ/または本明細書で説明されるように、他の実施形態によって提供される方法を実施するように、および/もしくはシステムを構成するように設計され得る。単に例として、上述の方法に関して説明した1つまたは複数の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実装され得、したがって、一態様では、そのようなコードおよび/または命令は、説明した方法による1つまたは複数の動作を実行するために汎用コンピュータ(または他のデバイス)を構成および/または適用するために使用され得る。
1組のこれらの命令および/またはコードは、上述の非一時的記憶デバイス725のような非一時的コンピュータ可読記憶媒体上に記憶されてもよい。場合によっては、記憶媒体は、コンピュータシステム700などのコンピュータシステム内に組み込まれ得る。他の実施形態において、記憶媒体が、命令/コードを記憶された汎用コンピュータをプログラム、構成、および/または適用するために使用され得るように、記憶媒体は、コンピュータシステムから分離され得(たとえば、コンパクトディスクなどの取外し可能媒体)、かつ/またはインストールパッケージ内に備えられ得る。これらの命令は、コンピュータシステム700によって実行可能な実行可能コードの形態をとってもよいし、ならびに/または(たとえば、様々な一般に入手可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティなどのいずれかを使用して)コンピュータシステム700上でのコンパイル時および/またはインストール時に実行可能コードの形態をとるソースコードおよび/もしくはインストール可能なコードの形態をとってもよい。
特定の要件に従って実質的な変形が行われてもよいことが、当業者には明らかであろう。たとえば、カスタマイズされたハードウェアも使用されてもよく、かつ/または、特定の要素は、ハードウェア、(アプレットなどのような移植可能なソフトウェアを含む)ソフトウェア、もしくはその両方に実装されてもよい。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続が、利用されてもよい。
上述のように、一態様において、いくつかの実施形態はコンピュータシステム(コンピュータシステム700など)を使用して本発明の様々な実施形態による方法を実行してもよい。1組の実施形態によれば、そのような方法の手順のうちのいくつかまたはすべては、プロセッサ710が、作業メモリ735に含まれている(オペレーティングシステム740および/またはアプリケーションプログラム745などの他のコードに組み込むことができる)1つまたは複数の命令の1つまたは複数のシーケンスを実行したことに応答して、コンピュータシステム700によって実行される。そのような命令は、非一時的記憶デバイス725のうちの1つまたは複数のような別のコンピュータ可読媒体から作業メモリ735に読み込まれてもよい。単に例として、作業メモリ735に含まれている命令のシーケンスの実行は、プロセッサ710に、本明細書に記載された方法の1つまたは複数の手順を実行させることができる。
本明細において使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の方式で動作させるデータを与えることに関与する任意の媒体を指す。コンピュータシステム700を使用して実現される実施形態では、様々なコンピュータ可読媒体が、命令/コードを実行できるようにプロセッサ710に供給することに関与してもよく、かつ/またはそのような命令/コードを記憶しかつ/もしくは搬送するのに使用されてもよい。多くの実装形態において、コンピュータ可読媒体は物理記憶媒体および/または有形記憶媒体である。そのような媒体は不揮発性媒体または揮発性媒体の形態をとってもよい。不揮発性媒体には、たとえば、非一時的記憶デバイス725のような光ディスクおよび/または磁気ディスクが含まれる。揮発性媒体には、限定なしに、作業メモリ735などのダイナミックメモリが含まれる。
一般的な形態の物理コンピュータ可読媒体および/または有形コンピュータ可読媒体には、たとえばフロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、CD-ROM、任意の他の光媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、またはコンピュータが命令および/もしくはコードを読み取ることができる任意の他の媒体が含まれる。
様々な形態のコンピュータ可読媒体は、実行のためにプロセッサ(複数の場合もあり)710に1つまたは複数の命令の1つまたは複数のシーケンスを搬送することに関与し得る。単に例として、命令は、最初に、リモートコンピュータの磁気ディスクおよび/または光ディスク上で搬送され得る。リモートコンピュータは、命令をそのダイナミックメモリ内にロードし、コンピュータシステム700によって受信されかつ/または実行される伝送媒体上の信号として、命令を送信し得る。
通信サブシステム730(および/またはその構成要素)は、一般的に、信号を受信し、次いで、バス705が、信号(および/または信号によって搬送されるデータ、命令など)を作業メモリ735に搬送し、プロセッサ710は、その作業メモリから命令を取り出して実行する。作業メモリ735によって受信された命令は、場合によっては、プロセッサ710による実行の前または後のいずれかに、非一時的記憶デバイス725に記憶され得る。
以前に示したように、コンピュータシステム700の要素が、それぞれ図3および図4のシステム300およびシステム400内に反映されてもよい。たとえば、プロセッサ710は、図3および図4の処理モジュール320および430の処理機能のいくつかまたはすべてを実行してもよい。同様に、通信サブシステム730は、送受信機モジュール350、410、および/または420を含んでもよい。特に、送受信機モジュール350、410、および/または420は、様々な有線およびワイヤレス技術のいずれかを使用して通信するように構成することができる、通信サブシステム730の1つまたは複数の受信機および/または送信機を含むことができる。同様に、入力デバイス715は、運動センサ310、圧力センサ330、スピーカ/マイクロホンモジュール340、および/またはカメラ370を含んでもよい。付加的にまたは代替的に、運動センサ310、圧力センサ330、スピーカ/マイクロホンモジュール340、および/またはカメラ370は、通信サブシステム730を介してコンピュータシステム700と通信してもよい。
上記で論じた方法、システム、およびデバイスは、例である。様々な構成において、様々な手順または構成要素を、適宜、省略し、置換し、または加えることができる。実施形態は、「遠隔」デバイスを指定および/または制御することについて説明している場合があるが、そのようなデバイスはユーザに近接していてもよい。ユーザとデバイスとの間の距離は、異なる事例および状況については変化し得る。たとえば、代替構成では、本方法は、記載された順序とは異なる順序で実行される場合があり、かつ/または、様々な段階が追加され、省略され、かつ/もしくは組み合わされてもよい。また、いくつかの構成に関して説明される特徴が、様々な他の構成と組み合わされてもよい。構成の様々な態様および要素を同様に組み合わせることができる。また、技術は発展するものであり、したがって、要素の多くは、例であり、本開示または特許請求の範囲の範囲を限定しない。
例示的な構成(実装形態を含む)の完全な理解を与えるために、説明に具体的な詳細が与えられる。しかしながら、構成は、これらの具体的な詳細なしに実践することができる。たとえば、構成を不明瞭にすることを回避するために、よく知られている回路、プロセス、アルゴリズム、構造、および技法は、不要な詳細なしに示された。この説明は、例示的な構成のみを提供し、特許請求の範囲の範囲、適用可能性、または構成を限定しない。むしろ、これらの構成の上述の説明は、説明した技法を実装するための有効な説明を当業者に提供することになる。本開示の趣旨または範囲から逸脱することなく、要素の機能および構成に様々な変更を行うことができる。
また、構成は、流れ図またはブロック図として描写されるプロセスとして記載され得る。各々は動作を逐次プロセスとして記載する場合があるが、動作の多くは、並行して実行するか、または同時に実行することができる。加えて、動作の順序は並び替えられてもよい。プロセスは、図に含まれていない追加のステップを有していてもよい。さらに、方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実装することができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、必要なタスクを実行するプログラムコードまたはコードセグメントは、記憶媒体などの非一時的コンピュータ可読媒体に記憶され得る。プロセッサは説明したタスクを実行し得る。
本明細書において用いられるときに、「および」、および「または」という用語は、そのような用語が用いられる文脈にも少なくとも部分的に応じて決まると考えられる、様々な意味を含むことができる。通常、「または」は、A、BまたはCのように、列挙したものを関連付けるために用いられる場合、本明細書において包含的な意味で用いられる場合の、A、B、およびC、ならびに本明細書において排他的な意味で用いられる場合の、A、BまたはCを意味することが意図される。加えて、本明細書において用いられるときに、「1つまたは複数」という用語は、単数の任意の特徴、構造、もしくは特性を説明するのに用いられることがあるか、または、特徴、構造もしくは特性の何らかの組合せについて説明するのに用いられる場合がある。しかしながら、これは説明のための例にすぎず、特許請求される主題はこの例に限定されないことに留意されたい。さらに、「少なくとも1つの」という用語は、A、B、またはCのようなリストを関連付けるのに使用されている場合、A、AB、AA、AAB、AABBCCCなどのような、A、B、および/またはCの任意の組合せを意味するように解釈することができる。
いくつかの例示的な構成を記載してきたが、様々な変更、代替構造、および均等物は、本開示の趣旨から逸脱することなく使用することができる。たとえば上の要素をより大型のシステムの構成要素とすることがあり、この際に別の法則を本発明の用途に優先させ、さもなければ別の法則によりこれを修正することがある。また、上記の要素が考慮される前、間、または後に、いくつかのステップを行うことができる。したがって、上記の説明は、特許請求の範囲を制限しない。
100 実施形態
110 手の甲
120 圧力センサ
200 実施形態
210 手首
220 圧力センサ
300 システム
310 運動センサ
320 処理モジュール
330 圧力センサ
340 スピーカ/マイクロホンモジュール
350 送受信機モジュール
360 遠隔デバイス
370 カメラ
400 システム
410 送受信機モジュール
420 送受信機モジュール
430 処理モジュール
435 モバイルデバイス
700 コンピュータシステム
705 バス
710 プロセッサ
715 入力デバイス
720 出力デバイス
725 非一時的記憶デバイス
730 通信サブシステム
735 作業メモリ
740 オペレーティングシステム
745 アプリケーションプログラム

Claims (42)

  1. ハンドジェスチャに基づいてデバイスを制御するためのシステムであって、前記システムは、
    ユーザの身体の一部分のトポグラフィを検出し、圧力データを処理モジュールに提供するように構成されている感圧センサであって、
    前記処理モジュールは、前記圧力データに基づいて前記ユーザの前記身体の前記部分の前記トポグラフィに関連付けられるジェスチャを識別するように構成されている、感圧センサと、
    前記識別されたジェスチャに基づいて前記デバイスに情報を送信するように構成されている送信機と
    を備える、ハンドジェスチャに基づいてデバイスを制御するためのシステム。
  2. 前記ユーザの前記身体の前記部分は前記ユーザの手の甲であり、
    前記感圧センサは、中手骨の位置によって影響を受ける前記手の甲の前記トポグラフィを検出するように構成されている、請求項1に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  3. 前記ユーザの前記身体の前記部分は前記ユーザの手首であり、
    前記感圧センサは、前記手首の少なくとも一部分の前記トポグラフィを検出するように構成されている、請求項1に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  4. 前記ユーザの動きを検出し、前記処理モジュールに運動データを送信するように構成されている運動センサをさらに備える、請求項1に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  5. 前記処理モジュールは、前記運動データを使用して前記ジェスチャを識別するようにさらに構成されている、請求項4に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  6. 前記運動センサは、加速度計またはジャイロスコープの少なくとも1つを含む、請求項4に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  7. 前記ユーザの前記身体の前記部分は前記ユーザの前腕を含む、請求項1に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  8. 筋電センサをさらに備える、請求項1に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  9. 前記システムはカメラをさらに備え、前記処理モジュールは、前記カメラによってキャプチャされる前記デバイスの画像を使用して、前記デバイスを識別するように構成されている、請求項1に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  10. 前記処理モジュールは、前記カメラに、前記感圧センサからの特定の圧力データを使用して識別される特定のジェスチャに基づいて前記デバイスの前記画像をキャプチャさせる、請求項9に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  11. 前記デバイスから、ハンドジェスチャを使用して前記デバイスを制御するためのコマンドを示す情報を受信するように構成されている受信機をさらに備える、請求項1に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  12. 前記システムは、前記ユーザの前記身体の第2の部分のトポグラフィを検出し、前記処理モジュールに第2の圧力データを提供するように構成されている第2の感圧センサをさらに備え、前記処理モジュールは、前記第2の圧力データを使用して前記ジェスチャを識別するようにさらに構成されている、請求項1に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  13. 前記識別されるジェスチャは、握られた拳を含む、請求項1に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  14. 前記識別されるジェスチャは、親指以外の指が親指に触れることを含む、請求項1に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  15. 前記識別されるジェスチャは、手が上、下、左、または右に動くように、手首が曲げられることを含む、請求項1に記載のハンドジェスチャに基づいてデバイスを制御するためのシステム。
  16. ジェスチャに基づいてデバイスを制御するための方法であって、前記方法は、
    ユーザの身体の一部分のトポグラフィを示す圧力データを収集するステップと、
    前記圧力データに基づいて前記ユーザの前記身体の前記部分の前記トポグラフィに関連付けられるジェスチャを識別するステップと、
    前記識別されたジェスチャに基づいて前記デバイスに情報を送信するステップと
    を含む、ジェスチャに基づいてデバイスを制御するための方法。
  17. 前記ユーザの前記身体の前記部分は前記ユーザの手の甲であり、
    前記収集するステップは、中手骨の位置によって影響を受ける前記手の甲の前記トポグラフィを示す前記圧力データを収集するように構成されている感圧センサを使用して前記圧力データを収集するステップを含む、請求項16に記載のジェスチャに基づいてデバイスを制御するための方法。
  18. 前記ユーザの前記身体の前記部分は前記ユーザの手首であり、
    前記収集するステップは、前記手首の少なくとも一部分の前記トポグラフィを示す前記圧力データを収集するように構成されている感圧センサを使用して前記圧力データを収集するステップを含む、請求項16に記載のジェスチャに基づいてデバイスを制御するための方法。
  19. 前記ユーザの動きを検出するステップをさらに含む、請求項16に記載のジェスチャに基づいてデバイスを制御するための方法。
  20. 前記ジェスチャを識別するステップは、前記検出される動きにさらに基づく、請求項19に記載のジェスチャに基づいてデバイスを制御するための方法。
  21. 加速度計またはジャイロスコープの少なくとも1つを用いて前記ユーザの前記動きを検出するステップをさらに含む、請求項19に記載のジェスチャに基づいてデバイスを制御するための方法。
  22. 前記ユーザの前記身体の前記部分は前記ユーザの前腕を含む、請求項16に記載のジェスチャに基づいてデバイスを制御するための方法。
  23. 前記ジェスチャを識別するステップは、筋電センサからの情報にさらに基づく、請求項16に記載のジェスチャに基づいてデバイスを制御するための方法。
  24. カメラを用いて前記デバイスの画像をキャプチャするステップをさらに含む、請求項16に記載のジェスチャに基づいてデバイスを制御するための方法。
  25. 前記デバイスの前記画像をキャプチャするステップは、特定の圧力データを使用して識別される特定のジェスチャに基づく、請求項24に記載のジェスチャに基づいてデバイスを制御するための方法。
  26. 前記方法は、前記身体の第2の部分から第2の圧力データを収集するステップをさらに含み、前記ジェスチャを識別するステップは、前記第2の圧力データにさらに基づく、請求項16に記載のジェスチャに基づいてデバイスを制御するための方法。
  27. 前記識別されるジェスチャは、握られた拳を含む、請求項16に記載のジェスチャに基づいてデバイスを制御するための方法。
  28. 前記識別されるジェスチャは、親指以外の指が親指に触れることを含む、請求項16に記載のジェスチャに基づいてデバイスを制御するための方法。
  29. 前記識別されるジェスチャは、手が上、下、左、または右に動くように、手首が曲げられることを含む、請求項16に記載のジェスチャに基づいてデバイスを制御するための方法。
  30. ジェスチャに基づいてデバイスを制御するための命令が組み込まれている非一時的コンピュータ可読媒体であって、前記命令は、
    ユーザの身体の一部分のトポグラフィを示す圧力データを収集し、
    前記圧力データに基づいて前記ユーザの前記身体の前記部分の前記トポグラフィに関連付けられるジェスチャを識別し、
    前記識別されたジェスチャに基づいて前記デバイスに情報を送信する
    ためのコンピュータ実行可能コードを含む、非一時的コンピュータ可読媒体。
  31. ジェスチャに基づいてデバイスを制御するためのシステムであって、前記システムは、
    ユーザの身体の一部分のトポグラフィを示す圧力データを収集するための手段と、
    前記圧力データに基づいて前記ユーザの前記身体の前記部分の前記トポグラフィに関連付けられるジェスチャを識別するための手段と、
    前記識別されたジェスチャに基づいて前記デバイスに情報を送信するための手段と
    を備える、ジェスチャに基づいてデバイスを制御するためのシステム。
  32. 前記ジェスチャを識別するための前記手段は、前記ユーザの手の甲の前記トポグラフィと関連付けられる前記ジェスチャを識別するための手段を含む、請求項31に記載のジェスチャに基づいてデバイスを制御するためのシステム。
  33. 前記ジェスチャを識別するための前記手段は、前記ユーザの手首と関連付けられる前記ジェスチャを識別するための手段を含む、請求項31に記載のジェスチャに基づいてデバイスを制御するためのシステム。
  34. 前記ユーザの動きを検出するための手段と、
    前記ジェスチャの前記識別を、前記検出される動きにさらに基づかせるための手段と
    をさらに備える、請求項31に記載のジェスチャに基づいてデバイスを制御するためのシステム。
  35. 前記ジェスチャを識別するための前記手段は、前記ユーザの前腕の前記トポグラフィと関連付けられる前記ジェスチャを識別するための手段を含む、請求項31に記載のジェスチャに基づいてデバイスを制御するためのシステム。
  36. 前記ジェスチャの前記識別を、筋電センサからの情報にさらに基づかせる手段を含む、請求項31に記載のジェスチャに基づいてデバイスを制御するためのシステム。
  37. 前記デバイスの画像をキャプチャするための手段をさらに備える、請求項31に記載のジェスチャに基づいてデバイスを制御するためのシステム。
  38. 前記デバイスの前記画像の前記キャプチャを、特定の圧力データを使用して識別される特定のジェスチャに基づかせるための手段をさらに備える、請求項37に記載のジェスチャに基づいてデバイスを制御するためのシステム。
  39. 前記システムは、前記身体の第2の部分から第2の圧力データを収集するための手段をさらに備え、前記ジェスチャの前記識別は、前記第2の圧力データにさらに基づく、請求項31に記載のジェスチャに基づいてデバイスを制御するためのシステム。
  40. 前記ジェスチャを識別するための前記手段は、握られた拳を識別するための手段を含む、請求項31に記載のジェスチャに基づいてデバイスを制御するためのシステム。
  41. 前記ジェスチャを識別するための前記手段は、親指以外の指が親指に触れていることを識別するための手段を含む、請求項31に記載のジェスチャに基づいてデバイスを制御するためのシステム。
  42. 前記ジェスチャを識別するための前記手段は、手が上、下、左、または右に動くように手首が曲げられることを識別するための手段を含む、請求項31に記載のジェスチャに基づいてデバイスを制御するためのシステム。
JP2015504671A 2012-04-09 2013-04-02 ジェスチャに基づく遠隔デバイスの制御 Expired - Fee Related JP5977436B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261621833P 2012-04-09 2012-04-09
US61/621,833 2012-04-09
US13/827,709 US9170674B2 (en) 2012-04-09 2013-03-14 Gesture-based device control using pressure-sensitive sensors
US13/827,709 2013-03-14
PCT/US2013/034917 WO2013154864A1 (en) 2012-04-09 2013-04-02 Control of remote device based on gestures

Publications (3)

Publication Number Publication Date
JP2015512550A true JP2015512550A (ja) 2015-04-27
JP2015512550A5 JP2015512550A5 (ja) 2016-03-03
JP5977436B2 JP5977436B2 (ja) 2016-08-24

Family

ID=49291887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015504671A Expired - Fee Related JP5977436B2 (ja) 2012-04-09 2013-04-02 ジェスチャに基づく遠隔デバイスの制御

Country Status (6)

Country Link
US (1) US9170674B2 (ja)
EP (1) EP2836892B1 (ja)
JP (1) JP5977436B2 (ja)
CN (1) CN104205015B (ja)
IN (1) IN2014MN01850A (ja)
WO (1) WO2013154864A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101819158B1 (ko) * 2016-12-19 2018-01-16 강윤 힘줄에 의한 압력 센서의 연속적인 출력 값에 따른 로봇 관절의 동작 제어 시스템
WO2020195172A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 ウェアラブル装置、情報処理ユニット及び情報処理方法
JP2021522623A (ja) * 2018-04-19 2021-08-30 ペイマン、セルバティーＰｅｙｍａｎ Ｓｅｒｖａｔｉ 身体の少なくとも二つの部分のトポグラフィを推定する方法およびシステム
JP2022500729A (ja) * 2018-09-20 2022-01-04 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 拡張現実システムの神経筋制御
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11941176B1 (en) 2018-11-27 2024-03-26 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI498771B (zh) * 2012-07-06 2015-09-01 Pixart Imaging Inc 可辨識手勢動作的眼鏡
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US20140240103A1 (en) * 2013-02-22 2014-08-28 Thalmic Labs Inc. Methods and devices for combining muscle activity sensor signals and inertial sensor signals for gesture-based control
US10152082B2 (en) 2013-05-13 2018-12-11 North Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
KR102167384B1 (ko) * 2013-06-24 2020-10-19 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
CA2921954A1 (en) * 2013-08-23 2015-02-26 Thalmic Labs Inc. Systems, articles, and methods for human-electronics interfaces
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
KR102136836B1 (ko) * 2013-09-09 2020-08-13 삼성전자주식회사 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법
CN103777752A (zh) * 2013-11-02 2014-05-07 上海威璞电子科技有限公司 基于手臂肌肉电流检测和运动传感器的手势识别设备
US20150145653A1 (en) * 2013-11-25 2015-05-28 Invensense, Inc. Device control using a wearable device
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
CN104679229A (zh) * 2013-11-27 2015-06-03 中国移动通信集团公司 一种手势识别方法和装置
US20150153854A1 (en) * 2013-12-03 2015-06-04 Lenovo (Singapore) Pte. Ltd. Extension of wearable information handling device user interface
KR20150065336A (ko) * 2013-12-05 2015-06-15 삼성전자주식회사 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
MX2016007349A (es) * 2013-12-06 2016-08-19 Nokia Technologies Oy Aparato y metodo de entrada de usuario.
DE102013226682A1 (de) 2013-12-19 2015-06-25 Zf Friedrichshafen Ag Armbandsensor und Verfahren zum Betreiben eines Armbandsensors
US10585484B2 (en) 2013-12-30 2020-03-10 Samsung Electronics Co., Ltd. Apparatus, system, and method for transferring data from a terminal to an electromyography (EMG) device
WO2015123445A1 (en) 2014-02-14 2015-08-20 Thalmic Labs Inc. Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same
DE102014204889A1 (de) * 2014-03-17 2015-09-17 Zumtobel Lighting Gmbh System zum Ansteuern von Verbrauchern einer Haushaltsleittechnik mittels Muskelimpulsen wenigstens eines Benutzers und entsprechendes Verfahren
CN103853333A (zh) * 2014-03-21 2014-06-11 上海威璞电子科技有限公司 一种手势控制玩具的方案
US10199008B2 (en) * 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US20150279131A1 (en) * 2014-03-28 2015-10-01 Denso International America, Inc. Key fob and smartdevice gestures for vehicle functions
US9542027B2 (en) 2014-04-16 2017-01-10 At&T Intellectual Property I, L.P. Pressure-based input method for user devices
US20150325202A1 (en) * 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
CN105094301A (zh) * 2014-05-16 2015-11-25 中兴通讯股份有限公司 一种控制方法、装置及电子设备
US10782657B2 (en) * 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US10362263B2 (en) 2014-07-02 2019-07-23 Amer Sports Digital Services Oy System and method for remote activation of a storage operation of pictorial information
FI20145643A (fi) * 2014-07-02 2016-01-03 Suunto Oy Menetelmä, järjestelmä, kannettava digitaalinen laite ja tallennuslaite kuvainformaation tallentamisen etäaktivointia varten
JP6447917B2 (ja) * 2014-08-06 2019-01-09 パナソニックＩｐマネジメント株式会社 手首装着型の入力装置
US9811164B2 (en) * 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9389733B2 (en) * 2014-08-18 2016-07-12 Sony Corporation Modal body touch using ultrasound
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US9886084B2 (en) * 2014-11-11 2018-02-06 Intel Corporation User input via elastic deformation of a material
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
WO2016087902A1 (en) * 2014-12-05 2016-06-09 Audi Ag Operating device for a vehicle, in particular a passenger vehicle; as well as method for operating such an operating device
JP6516464B2 (ja) * 2014-12-15 2019-05-22 Kddi株式会社 ウェアラブル検索システム
CN107209582A (zh) * 2014-12-16 2017-09-26 肖泉 高直观性人机界面的方法和装置
US9658693B2 (en) * 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9720515B2 (en) * 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9612661B2 (en) 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
US11119565B2 (en) * 2015-01-19 2021-09-14 Samsung Electronics Company, Ltd. Optical detection and analysis of bone
JP6391486B2 (ja) * 2015-01-30 2018-09-19 アルパイン株式会社 情報処理装置、操作制御システムおよび操作制御方法
US9946395B2 (en) 2015-02-16 2018-04-17 Samsung Electronics Co., Ltd. User interface method and apparatus
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
JP6558717B2 (ja) * 2015-03-12 2019-08-14 株式会社ニコン 入力機器、入力方法及びコンピュータプログラム
CN106034161A (zh) * 2015-03-20 2016-10-19 杭州萤石网络有限公司 数据采集设备、数据采集设备之间共享数据的方法及系统
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
US20160282947A1 (en) * 2015-03-26 2016-09-29 Lenovo (Singapore) Pte. Ltd. Controlling a wearable device using gestures
CN106155300A (zh) * 2015-04-23 2016-11-23 宁波市美灵思医疗科技有限公司 一种基于肌电流和多传感器协同作用的人机交互设备及其使用方法
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
CN106073126B (zh) * 2015-04-27 2018-05-18 陈明洙 Led安全背包
KR102002112B1 (ko) 2015-04-30 2019-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
CN106325079A (zh) * 2015-06-16 2017-01-11 中兴通讯股份有限公司 家电设备的控制方法和装置
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
CN105182815A (zh) * 2015-08-11 2015-12-23 小米科技有限责任公司 设备控制方法及装置
CN105068658A (zh) * 2015-08-19 2015-11-18 天津先驱领域科技有限公司 一种可虚拟环境控制的人机互动装置
US10186086B2 (en) 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
KR102570068B1 (ko) 2015-11-20 2023-08-23 삼성전자주식회사 동작 인식 방법, 동작 인식 장치 및 웨어러블 장치
US10782790B2 (en) 2015-12-22 2020-09-22 Intel Corporation System and method to collect gesture input through wrist tendon and muscle sensing
CN105759975B (zh) * 2016-03-11 2019-04-19 深圳还是威健康科技有限公司 一种智能手环丢失提示方法以及装置
CN105955464A (zh) * 2016-04-26 2016-09-21 苏州冰格智能科技有限公司 一种基于虚拟现实的输入装置
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
US10638316B2 (en) 2016-05-25 2020-04-28 Intel Corporation Wearable computer apparatus with same hand user authentication
DE102016212240A1 (de) 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems
US10296097B2 (en) * 2016-07-15 2019-05-21 International Business Machines Corporation Controlling a computer system using epidermal electronic devices
GB2552219A (en) * 2016-07-15 2018-01-17 Sony Interactive Entertainment Inc Wearable input device
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US11216069B2 (en) * 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
JP6776067B2 (ja) * 2016-09-05 2020-10-28 東芝テック株式会社 操作入力装置及びプログラム
US10070799B2 (en) 2016-12-02 2018-09-11 Pison Technology, Inc. Detecting and using body tissue electrical signals
DE102017201236B4 (de) * 2017-01-26 2023-09-07 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Bediensystems, Bediensystem und Fahrzeug mit einem Bediensystem
JP2018124651A (ja) 2017-01-30 2018-08-09 セイコーエプソン株式会社 表示システム
WO2019067096A1 (en) * 2017-09-29 2019-04-04 Apple Inc. VEIN SCANNING DEVICE FOR AUTOMATIC RECOGNITION OF GESTURES AND FINGERS
CN107728817A (zh) * 2017-11-29 2018-02-23 哈尔滨拓博科技有限公司 基于手势控制的空中鼠标控制系统
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US10817795B2 (en) * 2018-01-25 2020-10-27 Facebook Technologies, Llc Handstate reconstruction based on multiple inputs
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN108983622A (zh) * 2018-07-06 2018-12-11 安徽超清科技股份有限公司 一种基于人体手势的智能家电控制系统
US11099647B2 (en) * 2018-08-05 2021-08-24 Pison Technology, Inc. User interface control of responsive devices
WO2020033110A1 (en) * 2018-08-05 2020-02-13 Pison Technology, Inc. User interface control of responsive devices
US10905350B2 (en) 2018-08-31 2021-02-02 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
CN109460150A (zh) * 2018-11-12 2019-03-12 北京特种机械研究所 一种虚拟现实人机交互系统及方法
CN110297546B (zh) * 2019-07-08 2022-05-03 合肥工业大学 一种用于采集腕部-手指动作同步信号的装置及其标注方法
JP2019185821A (ja) * 2019-07-19 2019-10-24 株式会社ニコン 入力機器、入力方法及びコンピュータプログラム
CN112269471B (zh) * 2020-11-06 2022-05-13 朴淳技术(深圳)有限公司 智能腕带设备及其单手控制方法、装置、系统及存储介质
US11296942B1 (en) 2021-03-11 2022-04-05 International Business Machines Corporation Relative device placement configuration
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11676311B1 (en) 2021-11-29 2023-06-13 International Business Machines Corporation Augmented reality replica of missing device interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000321013A (ja) * 1999-05-13 2000-11-24 Sony Corp 圧力検出による形状認識装置及びこれを用いたモーションキャプチャー装置
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
US20100259472A1 (en) * 2007-11-19 2010-10-14 Nokia Corporation Input device
WO2011055326A1 (en) * 2009-11-04 2011-05-12 Igal Firsov Universal input/output human user interface

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9610568D0 (en) 1996-05-18 1996-07-31 Univ Sheffield Goniometric glove and system
US6244873B1 (en) * 1998-10-16 2001-06-12 At&T Corp. Wireless myoelectric control apparatus and methods
JP2000132305A (ja) * 1998-10-23 2000-05-12 Olympus Optical Co Ltd 操作入力装置
JP2002358149A (ja) * 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
US20040125076A1 (en) * 2001-06-08 2004-07-01 David Green Method and apparatus for human interface with a computer
US20020186200A1 (en) * 2001-06-08 2002-12-12 David Green Method and apparatus for human interface with a computer
US20040063480A1 (en) * 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
EP1524586A1 (en) * 2003-10-17 2005-04-20 Sony International (Europe) GmbH Transmitting information to a user's body
ITPI20040084A1 (it) * 2004-11-18 2005-02-18 Massimo Bergamasco Interfaccia aptica portabile
KR100680023B1 (ko) 2004-12-06 2007-02-07 한국전자통신연구원 생체신호를 이용한 착용형 휴대폰 입력 장치 및 그 제어방법
EP1894086A4 (en) * 2005-06-16 2010-06-30 Ssd Co Ltd INPUT DEVICE, METHOD FOR SIMULATED EXPERIENCE AND ENTERTAINMENT SYSTEM
US8280503B2 (en) 2008-10-27 2012-10-02 Michael Linderman EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
US20080136775A1 (en) * 2006-12-08 2008-06-12 Conant Carson V Virtual input device for computing
US20090054067A1 (en) * 2007-08-23 2009-02-26 Telefonaktiebolaget Lm Ericsson (Publ) System and method for gesture-based command and control of targets in wireless network
US8620146B1 (en) * 2008-03-28 2013-12-31 Theresa Coleman Picture-in-picture video system for virtual exercise, instruction and entertainment
US8132468B2 (en) 2008-05-29 2012-03-13 Zoran Radivojevic Flexural deformation sensing device and a user interface using the same
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US8447704B2 (en) * 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US9037530B2 (en) * 2008-06-26 2015-05-19 Microsoft Technology Licensing, Llc Wearable electromyography-based human-computer interface
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
KR101694159B1 (ko) * 2010-04-21 2017-01-09 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
JP5743416B2 (ja) * 2010-03-29 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9009594B2 (en) * 2010-06-10 2015-04-14 Microsoft Technology Licensing, Llc Content gestures
KR101413539B1 (ko) * 2010-11-22 2014-07-02 한국전자통신연구원 자세인식을 이용하는 제어신호 입력장치 및 제어신호 입력방법
JP5653206B2 (ja) * 2010-12-27 2015-01-14 日立マクセル株式会社 映像処理装置
TWI454966B (zh) * 2012-04-24 2014-10-01 Wistron Corp 手勢控制方法及手勢控制裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000321013A (ja) * 1999-05-13 2000-11-24 Sony Corp 圧力検出による形状認識装置及びこれを用いたモーションキャプチャー装置
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
US20100259472A1 (en) * 2007-11-19 2010-10-14 Nokia Corporation Input device
WO2011055326A1 (en) * 2009-11-04 2011-05-12 Igal Firsov Universal input/output human user interface

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101819158B1 (ko) * 2016-12-19 2018-01-16 강윤 힘줄에 의한 압력 센서의 연속적인 출력 값에 따른 로봇 관절의 동작 제어 시스템
JP2021522623A (ja) * 2018-04-19 2021-08-30 ペイマン、セルバティーＰｅｙｍａｎ Ｓｅｒｖａｔｉ 身体の少なくとも二つの部分のトポグラフィを推定する方法およびシステム
JP7462610B2 (ja) 2018-04-19 2024-04-05 ペイマン、セルバティー 身体の少なくとも二つの部分のトポグラフィを推定する方法およびシステム
JP2022500729A (ja) * 2018-09-20 2022-01-04 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 拡張現実システムの神経筋制御
US11941176B1 (en) 2018-11-27 2024-03-26 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
WO2020195172A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 ウェアラブル装置、情報処理ユニット及び情報処理方法
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment

Also Published As

Publication number Publication date
CN104205015B (zh) 2018-02-02
EP2836892B1 (en) 2019-08-21
US9170674B2 (en) 2015-10-27
IN2014MN01850A (ja) 2015-07-03
JP5977436B2 (ja) 2016-08-24
CN104205015A (zh) 2014-12-10
WO2013154864A1 (en) 2013-10-17
US20130265229A1 (en) 2013-10-10
EP2836892A1 (en) 2015-02-18

Similar Documents

Publication Publication Date Title
JP5977436B2 (ja) ジェスチャに基づく遠隔デバイスの制御
US11861069B2 (en) Gesture operated wrist mounted camera system
JP7391102B2 (ja) ジェスチャ処理方法およびデバイス
US10528135B2 (en) Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
EP3211509B1 (en) Mobile device comprising stylus pen and operation method therefor
JP6275839B2 (ja) リモコン装置、情報処理方法およびシステム
US9639164B2 (en) Gesture input method
KR20170049280A (ko) 이동 단말기 및 이의 제어방법
JP2015041052A (ja) リストバンド型情報処理装置および記憶媒体
JP2015512550A5 (ja)
US8659546B2 (en) Method and apparatus for transferring digital content
WO2010064138A1 (en) Portable engine for entertainment, education, or communication
KR102559407B1 (ko) 영상을 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
JP2017518597A (ja) 制御方法、装置、電子機器及びコンピュータ記録媒体
KR20160039589A (ko) 손가락 센싱 방식을 이용한 무선 공간 제어 장치
JP5917999B2 (ja) 情報提供システム、情報提供方法、および電子機器
US20230076068A1 (en) Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist-wearable device worn by the user, and methods of use thereof
US20190384996A1 (en) Stylus pen, electronic device, and digital copy generating method
KR101605474B1 (ko) 손가락 제스처를 기반으로 한 3차원 포인팅 장치 및 이를 이용한 프리젠테이션 시스템
KR102251142B1 (ko) 제스처 데이터 수집 및 관리 시스템
KR102127465B1 (ko) 밴드형 광 무선 마우스
JP7331345B2 (ja) 操作支援装置、方法及びプログラム
JP2016192136A (ja) 表示制御装置
WO2022226429A1 (en) Smart watch -based control of user interface (ui) of other device(s)
WO2023034631A1 (en) Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist- wearable device worn by the user, and methods of use thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160112

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160112

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160721

R150 Certificate of patent or registration of utility model

Ref document number: 5977436

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees