JP2020524856A - 電磁放射線を用いた物体検出及び動き識別 - Google Patents

電磁放射線を用いた物体検出及び動き識別 Download PDF

Info

Publication number
JP2020524856A
JP2020524856A JP2019570851A JP2019570851A JP2020524856A JP 2020524856 A JP2020524856 A JP 2020524856A JP 2019570851 A JP2019570851 A JP 2019570851A JP 2019570851 A JP2019570851 A JP 2019570851A JP 2020524856 A JP2020524856 A JP 2020524856A
Authority
JP
Japan
Prior art keywords
electromagnetic radiation
emitters
receivers
sensing
level logic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019570851A
Other languages
English (en)
Other versions
JP7226888B2 (ja
Inventor
フアン・パブロ・フォレロ・コルテス
サンティアゴ・オルテガ・アビラ
サジド・サディ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020524856A publication Critical patent/JP2020524856A/ja
Application granted granted Critical
Publication of JP7226888B2 publication Critical patent/JP7226888B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一実施形態で、1つ以上のシステムは複数の電磁放射線エミッタ及び受信機を含むことができる。各々のエミッタ及び各々の受信機はそれぞれ異なった視野に対応できる。1つ以上のシステムは照射パターンによってエミッタの内の少なくとも一部を活性化できる。1つ以上の受信機は物体から反射される電磁放射線の少なくとも一部を検出できる。1つ以上のシステムは少なくとも照射パターン及び1つ以上の受信機によって検出された電磁放射線に基づいて、少なくとも1つの受信機の視野で物体の存在又は物体の動きを追加的に検出できる。

Description

本開示は、一般に電子的物体検出に関する。
スマートデバイス及び電子システムはユーザの健康、日常の日課、活動、習慣、好みなどをモニタリングできる。該モニタリングはスマートデバイスと電子システムの相互作用によって達成できる。かかる相互作用は衛生、セキュリティ、便宜性、機能向上などといった様々な考慮すべき事柄のために非接触式である場合がある。その結果として、任意のコントローラと接触しないイン・ザ・エアハンド(in−the−airhand)相互作用が、人間とスマートデバイス及び電子システムの間の効果的な相互作用を可能にするために好ましい場合がある。イン・ザ・エアハンド相互作用はユーザとデバイス又はシステムの間のより大きな相互作用空間、相互作用の間のユーザに対するより多くの自由性、タッチが不要なことによる衛生問題の除去、便宜性、個人情報保護、直観性などを提供することをはじめとした様々な長所を有し得る。イン・ザ・エア相互作用のためには効果的な物体感知及び位置把握、物体の動き追跡及び物体の動き識別が必要な場合がある。前述の作業のための従来のソリューションは主に超音波、レーザー、磁場、カメラ、ノンフォーカス光受信機及びレーダを含む様々なセンサの組み合わせを使用する。しかし、このようなソリューションは相対的に高コストで、多くの計算及び処理リソースを必要とするためエネルギー効率が相対的に低い。
複数の使用ケースにおける非接触感知に対する例示的なシナリオを示す図である。 非接触感知システムの例示的なプロトタイプを示す図である。 非接触感知システムの他の例示的なプロトタイプを示す図である。 物体を検出して動きを識別する非接触感知システムの例示的な構造を示す図である。 非接触感知システムの例示的なバックエンドフロー図である。 ローレベルロジックの動作に対する例示的な機能ブロック図である。 ハイレベルロジックの動作に対する例示的な機能ブロック図である。 アクションを決定するハイレベルロジックの例示的なフロー図である。 エネルギー分布を計算するハイレベルロジックの例示的なフロー図である。 物体の安定度を計算するハイレベルロジックの例示的なフロー図である。 電磁放射線に基づいて物体を感知するための例示的な方法を示す図である。 例示的なコンピュータシステムを示す図である。
本明細書で説明される非接触感知システムの特定の実施形態は、ユーザがイン・ザ・エアハンド相互作用を用いて非接触感知システムと相互作用することが可能にする。このような目的を達成するために、非接触感知システムは、電磁放射線(例えば、近赤外線)を用いて、低コスト及び低い計算負荷で手の動きを追跡し3次元(3 dimensional, 3D)相互作用空間で行われるジェスチャを検出することによってイン・ザ・エアハンド相互作用を感知できる。特定の実施形態において、非接触感知システムは1つ以上の赤外線LED(light−emitting diode, LED)及び1つ以上のフォトダイオードを用いてイン・ザ・エアハンド相互作用を感知できる。結果として、その相互作用に対応して獲得されたデータはよりコンパクトかつ処理が容易となり、これによりさらに経済的になる。一部の実施形態では、データフレームが僅か数バイトの長さを含む場合があり、これによりデータを再構成して処理するための効率的な計算技術の結合されたソリューションの使用が可能になる。一部の実施形態において、非接触感知システムは、シングルコア及びセンサのセットを有するマイクロコントローラによって実行されるアルゴリズムのセットを用いてデータを分析してイン・ザ・エア相互作用に対する正確な検出を得ることができる。
本明細書で説明される非接触感知システムの特定の実施形態は、特に相対的に最小である処理及びエネルギー要件に比べて、相対的に高い感知解像度を有することができる。非接触感知システムの特定の実施形態は、小さく適応可能な形態を取ることができ、これによって応用の要求事項に応じて必要な所に内蔵されることができる。非接触感知システムの特定の実施形態は、最小の計算コストでセンサによって得られたデータをリアルタイムで処理するための効率的なアルゴリズムを含むことができ、これはイン・ザ・エア相互作用がより広い範囲のデバイス及びシステムに適用されることを可能にする。本開示がイン・ザ・エア物体及び動きを検出、追跡及び識別するための特定非接触感知システムを説明及び図示しているが、本開示はイン・ザ・エア物体及び動きを任意の適切な方式で検出、追跡及び識別するための任意の適切な非接触感知システムを考慮する。
図1は、様々な使用ケースにおける例示的な非接触感知システムを示す図である。限定ではなく一例として、非接触感知システムは、物体(例えば、手)が非接触感知システムの1つ以上のLED又は非接触フォトダイオードの視野などの、視野内にあることを検出できる。限定ではなく他の例として、非接触感知システムは、さらに、検出された物体が存在するか及び/又は移動するか否かを推定するために確率論的(確率的)方法を使用してよい。非接触感知システムは、検出された物体の動き(例えば、ハンドジェスチャ)を識別するために1つ以上のアルゴリズムを追加的に使用することができる。結果として、ユーザからのイン・ザ・エア相互作用が検出されて識別されることができ、これは異なったアプリケーションに対する命令(例えば、VRボクシングゲームに対するパンチング命令)として用いられることもできる。非接触感知システムは、簡単な構造、低コスト及び低い電力消耗を有する複数の構成要素に基づく複数の感知モジュールを含むことができる。例えば、これらの構成要素はLED及びフォトダイオードを含むことができる。簡単かつ安価で電力効率の良い構成要素及び確率論的方法を用いて、非接触感知システムは、1つ以上の長所を持つことができる。1つの長所はバッテリ及び計算の両方に対する電力を節減することを含むことができる。他の長所は物体の発射体の飛行時間を計算する必要がないことを含み得る。他の長所はその各々の感知モジュールが1つのピクセルに対応する複数の感知モジュールが用いられることによって、カメラが不要ということを含み得る。他の長所はイン・ザ・エア物体及び動きを検出、追跡及び識別するための機械学習アルゴリズムが不要ということを含み得る。その代わりに、非接触感知システムは、相対的に簡単な数学的計算を用いることができる。本明細書で説明される非接触感知システムの特定の実施形態は、小型で、適応性があって、安価で、計算効率が良い場合がある。非接触感知システムは複数の使用ケースのために複数のデバイス及びシステムと統合されることもできる。例えば、図1に示すように、非接触感知システムは、スマートウォッチ、自動車システム、スマートフォン、公衆ディスプレイ、ラップトップ、医療機器、家電製品及び/又はスマートTVと統合され得る。本開示が非接触感知システムとのイン・ザ・エア相互作用及び複数の特定の使用ケースを含む特定のシナリオを示しているが、本開示は任意の適切な方式で任意の適切な非接触感知システムとのイン・ザ・エア相互作用及び任意の適切な使用ケースを含む任意の適切なシナリオを考慮する。
図2は、非接触感知システム200の例示的なプロトタイプを示す図である。特定の実施形態において、非接触感知システム200は、複数の電磁放射線エミッタ202を含むことができる。限定ではなく一例として、電磁放射線は近赤外線(near infrared, NIR)光を含むことができる。各々のエミッタ202は1つ以上の発光ダイオード(LED)を含むことができ、異なった視野に対応できる。例えば、各々のエミッタ202は異なった視野に向けられる、又は向かわされ得る。特定の実施形態において、非接触感知システム200は、複数の電磁放射線受信機203を含むこともできる。各々の受信機203は1つ以上のフォトダイオードを含むことができ、異なった視野に対応できる。特定の実施形態において、非接触感知システム200は、命令を具現する1つ以上の非一時的記憶媒体を含むこともできる。特定の実施形態において、非接触感知システム200は1つ以上のプロセッサを追加的に含むことができる。1つ以上のプロセッサは照射パターンによってエミッタ202の内の少なくとも一部を活性化するための命令を実行するように動作可能であり得る。1つ以上のプロセッサは、少なくとも照射パターンに基づいて、そして、1つ以上の受信機203によって受信又は検出される電磁放射線に基づいて、受信機203の内の少なくとも1つの対応する視野で物体の存在又は物体の動きを検出するための命令を実行するように動作可能である。
特定の実施形態において、非接触感知システム200は、複数の感知モジュール201を含むことができる。複数の感知モジュール201の各々は、複数の電磁放射線エミッタ202の内の1つ以上のエミッタ202を含むことができる。同じ感知モジュール201内の各々のエミッタ202は同じ視野又は異なった視野を有することができる。複数の感知モジュール201の各々は、複数の電磁放射線受信機203の内の1つ以上の受信機203を含むこともできる。複数の感知モジュール201の各々は、1つ以上のマイクロコントローラを含むこともできる。特定の実施形態において、複数の感知モジュール201の各々の1つ以上のマイクロコントローラは制御ボード205と通信するように構成されることができる。複数の感知モジュール201の各々の1つ以上のマイクロコントローラは、対応する感知モジュール201の1つ以上のエミッタ202によって放出される電磁放射線を変調するように構成されることもできる。複数の感知モジュール201の各々の1つ以上のマイクロコントローラは、対応する感知モジュール201の1つ以上のエミッタ202の放出電力を調節するように構成されることもできる。複数の感知モジュール201の各々の1つ以上のマイクロコントローラは、対応する感知モジュール201の1つ以上の受信機203によって受信される電磁放射線を処理するように構成されることもできる。本開示が感知モジュール内のセンサ、受信機及びマイクロコントローラに対する様々な態様を説明しているが、本開示は、このような構成要素が感知モジュールとは別に非接触感知システムで具現されることができ、感知モジュールがこれらの構成要素の内の一部のみを含むことができ、及び/又は感知モジュールが非接触感知システムの追加構成要素を含むことができることを考慮する。
特定の実施形態において、非接触感知システム200は、1つ以上の制御モジュール204を含むこともできる。非接触感知システム200は、モジュール式の設計であることができ、これは非接触感知システム200において感知モジュール201の異なった物理的分布及び異なった数の感知モジュール201を許容することができる。モジュール式設計はより良好な非接触感知システム200の拡張性を許容することもできる。限定ではなく一例として、非接触感知システム200は、図2に示すように非接触感知システム200の表面にわたって8つの感知モジュール201、1つの制御モジュール204及び1つの制御ボード205を含むことができる。制御モジュール204は制御ボード205の中心に位置し得る。8つの感知モジュール201の内の4つは制御ボード205のコーナーに位置することができ、特定の、予め設定された又は予め定められた角度に外部に向かって傾くことができる。残りの4つのモジュール201は制御ボード205のエッジに位置し、前方に向かうことができる。本開示が非接触感知システムの特定プロトタイプを示しているが、本開示は任意の適切な方式で非接触感知システムの任意の適切なプロトタイプを考慮する。限定ではなく一例として、図3は、非接触感知システム200の他の例示的なプロトタイプを示す図である。非接触感知システム200は、5つの感知モジュール201、1つの制御モジュール204及び1つの制御ボード205を含むことができる。4つの感知モジュール201が制御ボード205のコーナーに位置し、残りが制御ボード205の中央に位置し得る。
特定の実施形態において、非接触感知システム200は、異なった作業に基づいて複数の感知モジュール201を異なるように優先順位をつけることができる。限定ではなく一例として、制御ボード205のコーナーにある感知モジュール201のような非接触感知システムのエッジにある感知モジュールは、非接触感知システム200が物体の動き(例えば、ハンドジェスチャ)を識別する場合、他の感知モジュール201より優先されることができる。限定ではなく他の例として、複数の感知モジュール201の各々は、非接触感知システム200が物体の位置を決定する場合、同じ優先順位を有し得る。限定ではなく他の例として、非接触感知システム200は、非接触感知システム200が物体の動きを追跡する場合、前述の戦略をいずれも用いて複数の感知モジュール201に優先順位をつけることができる。特定の実施形態において、非接触感知システム200は、異なったパターン(例えば、照射パターン)で複数の感知モジュール201内のエミッタを活性化できる。限定ではなく一例として、非接触感知システム200は、図2の例示的なプロトタイプの複数の感知モジュール201内のエミッタを順に活性化できる。より具体的には、一部の実施形態において、非接触感知システム200は、一度に(例えば、同時に)1つの感知モジュール201内のエミッタを活性化し、1つの感知モジュール内のエミッタを活性化した後、全ての感知モジュールの全ての受信機を活性化できる。1つの感知モジュール201のエミッタが活性化される場合、他の感知モジュール201は非活性状態を維持する。非接触感知システム200は、全ての感知モジュール201が活性化されるまでこのような方式で他の感知モジュール201内のエミッタを活性化するように進めることができる。限定ではなく他の例として、非接触感知システム200は、図3の例示的なプロトタイプの複数の感知モジュール201内のエミッタを次のような方式で活性化できる。非接触感知システム200は、まず、制御ボード205のコーナーにある感知モジュール201のエミッタを活性化した後、制御ボード205の中心にある感知モジュール201のエミッタを活性化できる。その後、非接触感知システム200は、以前の例で示したように、全ての感知モジュール201のエミッタを順に活性化することもできる。本例が例示するように、非接触感知システムは、複数の異なった照射パターンを順に具現できる。本開示が様々な感知モジュールのエミッタを活性化する特定の方法を示しているが、本開示は感知モジュールを任意の適切な方式で活性化する任意の適切な方法を考慮する。
特定の実施形態において、非接触感知システム200は、異なった構成要素に対する特定パラメータで構成されることができる。限定ではなく一例として、複数の感知モジュール201の2つのモジュールの間の距離は特定値であり得る。例えば、該距離は2cm以下であり得る。限定ではなく他の例として、複数の感知モジュール201の隔離壁の高さは特定値であり得る。例えば、該高さは4mmであり得る。限定ではなく他の例として、複数の感知モジュール201の隔離壁の材料は特定のタイプの材料であり得る。例えば、この材料は光硬化レジンRS−F2−GPBK−04であり得る。限定ではなく他の例として、複数の感知モジュール201のエミッタによって使用される電力は特定レベルにあることができる。例えば、各々の感知モジュール201は1200μsのバーストで2.6mWで電磁放射線を放出できる。各々の感知モジュール201は1秒内に約100msの間、活性化され得る。図2に示す非接触感知システム200の例示的なプロトタイプは8つの感知モジュール201を有し得る。結果として、全ての8つの感知モジュール201は秒あたり約2mWを消耗できる。限定ではなく他の例として、複数の感知モジュール201の受信機の視野は特定の範囲であり得る。例えば、視野は150度(すなわち、センサに垂直である方向に対して−75゜〜+75゜)であり得る。エミッタが−75゜より小さい角度で配置される場合、受信機は該エミッタの電力の半分又は半分未満を受信することができる。本開示が非接触感知システムの特定パラメータを示しているが、本開示は任意の適切な方式で非接触感知システムの任意の適切なパラメータを考慮する。
特定の実施形態において、非接触感知システム200は、57.6KHzで放出されたNIR光を変調し、これを短いバーストで伝送することによって太陽光又は蛍光性室内光などの環境ノイズを減少させることができる。特定の実施形態において、受信機203のフォトダイオードは940nmの波長感度ピーク、バンドパスフィルタ及び自動利得制御モジュールを有し得る。特定の実施形態において、受信機203はNIR光のエンベロープを検出し、異なったアンビエンス光を補償するために利得を動的に調整できる。特定の実施形態において、非接触感知システム200は、デジタルポテンショメータを用いて対応するマイクロコントローラを介してそれぞれの感知モジュール201のエミッタ202の各々に対する放出電力を完全に制御できる。結果として、非接触感知システム200は、各々の感知モジュール201によって放射される総エネルギーを精密に管理できる。特定の実施形態において、制御ボード205はマイクロコントローラ、電力管理セクション及びブルートゥーストランシーバを含むことができる。制御ボード205は、全ての感知モジュール201と同期化することもできる。特定の実施形態において、制御ボード205は、非接触感知システム200のための安定した電源を提供し、全ての感知モジュール201を調整し、受信機203から収集した全ての生データサンプルをクラスタ化し、さらに、受信機203からの生データサンプルを処理してモデル化するエンティティとの通信(例えば、ブルートゥース通信)を效果的に処理できる。
感知モジュール201の物理的分布はX及びY軸によって測定される2D空間での空間解像度及び非接触感知システム200の視野に直接的な影響を及ぼすことができる。限定ではなく一例として、図2に示す感知モジュール201の物理的分布はX及びY軸に沿って2センチメートルの空間解像度及びZ軸に沿って50センチメートルの深さ範囲の解像度をサポートできる。また、非接触感知システム200はエミッタ202の放出電力を調節でき、これは非接触感知システムが物体の深さを決定することを可能にする。例えば、受信機203はより遠い距離に位置する物体からより少なく反射されるNIR光を感知できる。本開示が非接触感知システムの特定の作動メカニズムを示しているが、本開示は任意の適切な方式で非接触感知システムの任意の適切な作動メカニズムを考慮する。
図4は、非接触感知システム200が物体を検出する、及び/又は動きを識別する例示的な構造を示す図である。特定の実施形態において、非接触感知システム200は、ハードウェア及びソフトウェアのいずれも含むことができる。ハードウェアは1つ以上の制御モジュール204及び複数の感知モジュール201を含むことができる。ハードウェアは1つ以上のエミッタによって放出されるNIR光を感知できる。ソフトウェアはローレベルロジック(Low Level Logic)600及びハイレベルロジック(High Level Logic)700を含むことができる。ローレベルロジック600は、制御モジュール204及び感知モジュール201のいずれも含むハードウェアを制御できる。ローレベルロジック600は、複数の照射パターンを生成し、エミッタ202の放出電力を変調及び制御し、複数の受信機203から生データサンプルを獲得し、さらに、得られた生データサンプルに基づいて生データフレームを構成する。ハイレベルロジック700は、生データフレームを再構成し、解析して複数のタスクのためにそれを処理できる。タスクは物体の存在を決定し、X及びY軸に対する物体の位置を決定し(例えば、エミッタが分布された平面に平行する平面)、物体の動き角度を決定し、さらに、X−Y平面での物体の動き(例えば、ハンドジェスチャ)及びZ軸に沿った物体の動き(例えば、プッシュアクション)を識別することを含むことができる。本開示が非接触感知システムの特定の構造を示しているが、本開示は任意の適切な方式の非接触感知システムの任意の適切な構造を考慮する。
図5は、非接触感知システム200の例示的なバック−エンドフロー図である。特定の実施形態において、非接触感知システム200は、ステップ510から開始できる。ステップ510にて、非接触感知システム200は視野内の物体の存在に対する事前検出を行うことができる。限定ではなく一例として、非接触感知システム200の1つの感知モジュール201は所定の間隔で(例えば、毎秒)NIR光を放出して、物体の存在を検出しローレベルプロセスを開始することができる。事前検出の結果に基づいて、非接触感知システム200は1つ以上の後続のステップを具現するか否かを決定できる。特定の実施形態において、1つ以上の後続のステップはローレベルロジック600を具現しハイレベルロジック700を具現することを含むことができる。ステップ520にて、非接触感知システム200は、ステップ510にて検出された物体のタイプを識別するために初期化を行うことができる。限定ではなく一例として、物体のタイプは手、手袋又は金属を含むことができる。非接触感知システム200は、さらに、物体のタイプに基づいてNIR光に対するエミッタ202の電力レベルを追加的に調整してよい。ステップ530にて、非接触感知システム200はローレベルロジック600を具現できる。ステップ540にて、非接触感知システム200はハイレベルロジック700を具現できる。本開示が非接触感知システムの特定のバック−エンドフロー図を示しているが、本開示は任意の適切な方式の非接触感知システムに対する任意の適切なバック−エンドフロー図を考慮する。
図6は、図2に示す非接触感知システム200の例示的なプロトタイプに対応するローレベルロジック600の動作の例示的な機能ブロック図である。特定の実施形態において、ローレベルロジック600は非接触感知システム200のハードウェアを制御できる。ハードウェアは制御モジュール204及び感知モジュール201のいずれも含むことができる。図6のローレベルロジック600は異なったマイクロプロセッサで実行されるマスターロジック601及びスレーブロジック602を含むことができる。特定の実施形態において、ローレベルロジック600はシングルマイクロコントローラユニット(microcontroller unit, MCU)に内蔵されることができる。特定の実施形態において、ローレベルロジック600は、カスタマイズしたシリアル通信プロトコルを含むことができる。結果として、ローレベルロジック600の全てのモジュールの間の通信時間はしきい時間より少ない場合がある。特定の実施形態において、ローレベルロジック600は、生データベクターのバイト検出及び同期化のための余分のチャネル及び固定されたブロードキャスト命令セットを追加的に含むことができる。本開示がローレベルロジック動作に対する特定の機能ブロック図を示しているが、本開示は任意の適切な方式でローレベルロジックの動作に対する任意の適切な機能ブロック図も考慮する。
特定の実施形態において、ローレベルロジック600は、まず、ステップ603にて、互いに異なるモジュールを初期化できる。特定の実施形態において、ローレベルロジック600は複数の照射パターンを生成できる。複数の照射パターンの内の1つ以上に基づいて、マスターロジック601は、ステップ604にて、複数の電磁放射線エミッタ202に対する、複数の予め定義された電力レベルから選択される電力レベルを決定できる。マスターロジック601は、ステップ608にて、対応する命令をスレーブロジック602に伝送できる。スレーブロジック602は、ステップ609にて、かかる命令を受信して命令を実行できる。マスターロジック601は、ステップ605にて、さらに、選択された電力レベルで電磁放射線を放出するように複数の電磁放射線エミッタ202に追加的に指示してよい。同様に、マスターロジック601は、ステップ608にて、対応する命令をスレーブロジック602に伝送できる。スレーブロジック602は、ステップ609にて、命令を受信して命令を遂行できる。限定ではなく一例として、予め定義された電力レベルは低いエネルギー、中間エネルギー及び高いエネルギーを含むことができる。各々の電力レベルは個別的ステップを決定できる。各々のステップで、ローレベルロジック600は、次のような方式で複数のエミッタ202及び複数の受信機203を制御できる。特定の実施形態において、ローレベルロジック600は、複数の感知モジュール201の各々の1つ以上のエミッタ202を順に活性化することによって、決定された電力レベルで電磁放射線を放出し、これによってただ1つの感知モジュール201のエミッタ202が一度に活性化されるようにする。任意の感知モジュール201の1つ以上のエミッタ202の内のいずれかが活性化された後、非接触感知システム200は生データサンプルを感知するステップ606に進むことができる。マスターロジック601は、ステップ608にて、対応する命令をスレーブロジック602に伝送することもできる。スレーブロジック602は、ステップ609にて、命令を受信して命令を実行できる。ステップ606にて、非接触感知システム200は、1つ以上のエミッタ202が複数の感知モジュール201の各々に対して活性化された後ごとに、決定された電力レベルに対応する反射された電磁放射線を、複数の受信機203の内の1つ以上で受信することができる。複数の受信機203の内の1つ以上は反射された電磁放射線が複数の受信機203の内の1つ以上に到達したか否かに基づいて選択されることができる。
非接触感知システム200は、複数の感知モジュール201の内の1つ以上のエミッタ202を順に活性化し、生データサンプルを感知し、さらに、全ての感知モジュール201が活性化されるまで該プロセスを繰り返すことができる。例えば、該プロセスは、非接触感知システム200が8つの感知モジュール201(図2に図示)を含む場合、8回繰り返すことができる。全てのエミッタ202が活性化された後、ローレベルロジック600は他の電力レベルを決定し、それによって他のステップを始めることができる。ローレベルロジック600は全ての所定の電力レベルが選択されるまで電力レベルを決定し、エミッタ202を活性化し、受信機203で反射された電磁放射線を受信するサイクルを続けることができる。例えば、サイクルは図6に示す3つの電力レベルに対応して3回繰り返され得る。特定の実施形態において、サイクルは30Hz速度で連続的に繰り返され得る。マスターロジック601は、受信機203から受信された生データサンプルをコンパイルできる。その後、マスターロジック601は、ステップ607にて、生データサンプルをコンパイルできる。マスターロジック601は、さらに、コンパイルされた生データサンプルを生データベクター610としてハイレベルロジック700に追加的に提供してよい。特定の実施形態において、ローレベルロジック600は、複数のバイトを含む生データベクターを生成できる。複数のバイトの各々は複数の感知モジュール201の各々に対する複数の予め定義された電力レベルの各々に対応する受信電磁放射線に基づくものである。例えば、図6に示すように、ローレベルロジックは24バイトの生データを出力でき、各バイトは電力レベルの内の1つで感知モジュールによって受信される電磁放射線の電力を示す。特定の実施形態において、感知モジュールが複数の受信機を含む場合、バイトは該当感知モジュールの受信機によって受信される電磁放射線の平均電力を示すことができる。本開示が特定の照射パターンに基づいてデータサンプルを感知する特定の方法を示しているが、本開示は任意の適切な方式で任意の適切な照射パターンに基づいてデータサンプルを感知する任意の適切な方法を考慮する。
特定の実施形態において、ローレベルロジック600は前述とは異なった照射パターンを用いて複数のエミッタ202を活性化できる。限定ではなく一例として、ローレベルロジック600は、次のように図3に示す非接触感知システム200の例示的なプロトタイプの複数のエミッタ202を活性化できる。ローレベルロジック600は、さらに、まず、制御ボード205のコーナーにある複数の感知モジュール201の各々の1つ以上のエミッタ202を活性化することによって、決定された電力レベルで電磁放射線を放出し、これによってコーナーにある全ての感知モジュール201のエミッタ202が同時に活性化されることを可能にする。その後、ローレベルロジック600は、制御ボード205の中央にある感知モジュール201の1つ以上のエミッタ202を活性化することによって、決定された電力レベルで電磁放射線を放出できる。また、ローレベルロジック600は、複数の感知モジュール201の各々の1つ以上のエミッタ202を順に活性化することによって、決定された電力レベルで電磁放射線を放出し、これによってただ1つの感知モジュール201のエミッタ202が一度に活性化されることを可能にする。本開示が非接触感知システムの特定プロトタイプに対してエミッタを活性化する特定の方法を示しているが、本開示は任意の適切な方式で非接触感知システムの任意の適切なプロトタイプに対するエミッタを活性化する任意の適切な方法を考慮する。
図7は、ハイレベルロジック700の動作に対する例示的な機能ブロック図である。特定の実施形態において、ハイレベルロジック700はシングルMCUに内蔵されることができる。例えば、ハイレベルロジック700は180MHz512KBフラッシュ及び128KBRAMマイクロプロセッサでデータフレームあたり1.5ミリ秒の処理速度を達成できる。特定の実施形態において、ハイレベルロジック700はローレベルロジック600から生データ(例えば、生データベクター610)を受信することができる。生データベクターはそれぞれが1つの電力レベルでの1つの感知モジュール201の受信機に対応する複数のバイトを含む。限定ではなく一例として、図2の例示的なプロトタイプに対応する生データベクター610は、3つの電力レベルが8つの感知モジュールと共に用いられる場合、24バイトを含むことができる。特定の実施形態において、ハイレベルロジック700は複数のモジュールを含むことができる。限定ではなく一例として、図7に示すハイレベルロジック700はマップマトリックス701及びセンサロー(sensors raw)702を含むことができる。マップマトリックス701のモジュールによって、ハイレベルロジック700は生データベクター610に基づいて、複数の予め定義された電力レベルにそれぞれ対応する複数のデータマトリックスを生成できる。複数のデータマトリックスは感知モジュール201によって受信された総エネルギーを仮想物理空間にマッピングできる。例えば、それぞれのマトリックス703、704及び705は非接触感知システムの視野でX−Y空間の領域を示すことができる。図7に示すように、X−Y空間の領域は28つのセル(又は区域)に分割される。それぞれの区域は物理的空間のX−Y座標セットに対応する。マトリックス703、704及び705で表現された仮想物理的空間が特定の幾何学的構成で配列された28つの長方形区域に分割されているが、本開示は非接触感知システムの視野にある空間のX−Y領域を、任意の適切な幾何学的形状で配列される任意の適切な数の区域に分割することを考慮する。
図2の例示的なプロトタイプで引き続き説明すると、ハイレベルロジック700は低いエネルギー、中間エネルギー及び高いエネルギーの電力レベルにそれぞれ対応する、低いエネルギーマトリックス703、中間エネルギーマトリックス704及び高いエネルギーマトリックスを含む3つのデータマトリックスを生成できる。それぞれのデータマトリックスは28つの異なった区域に対応する28バイトを含むことができる。特定の実施形態において、仮想の物理的空間での区域の数、区域の位置、又はその両方は用いられた感知モジュールの数及びこれらのセンサの物理的構成に依存する場合がある。該28つの区域はそれぞれ仮想物理的空間の位置を示す。各々の感知モジュール201は非接触感知システム200で固定された物理的位置を有し得る。結果として、各々の感知モジュール201は特定の区域又は複数の区域と関連付けられることができる。センサロー702のモジュールによって、ハイレベルロジック700は、ステップ715にて、複数の予め定義された電力レベルの各々に対応する活性化されたエミッタ202の数を決定できる。図7がハイレベルロジックの動作に対する特定の機能ブロック図を示しているが、本開示は任意の適切な方式のハイレベルロジックの動作に対する任意の適切な機能ブロック図を考慮する。
特定の実施形態において、ハイレベルロジック700は、複数のステップに基づいて物体の位置を決定できる。物体は非接触感知システム200の視野内でホバリングされ得る。限定ではなく一例として、複数のステップは図7に示すようにマトリックス補償712、位置計算713及び原始位置フィルタリング714を含むことができる。特定の実施形態において、ハイレベルロジック700は次のような方式でマトリックス補償712を具現できる。ハイレベルロジック700は、まず、高いエネルギーマトリックス705をフィルタリングし、受信機203から受信された生データサンプルからノイズ情報を除去できる。限定ではなく一例として、生データサンプルは人の手及び腕の両方に関連する情報を含むことができる。しかし、腕に関連する情報は物体(例えば、手)の位置及び動きの決定に否定的な影響を及ぼし得る不規則かつノイズのある情報をもたらす場合がある。したがって、腕に関連するノイズのある情報を除去できる。腕が非接触感知システム200の視野の底又は側面から常に現れ得るという仮定に基づいて、ハイレベルロジック700はエネルギーが高いエネルギーマトリックス705の上部区域に存在する場合、高いエネルギーマトリックス705の下部区域からのエネルギーを減算できる。高いエネルギーマトリックス705の上部区域が正規化され平均化されることができ、これにより高いエネルギーマトリックス705の下部区域が減少し得る。本開示がデータサンプルからノイズのある情報を除去する特定の方法を示しているが、本開示は任意の適切な方式で任意の適切なデータサンプルからノイズのある情報を除去する任意の適切な方法を考慮する。
特定の実施形態において、ハイレベルロジック700は、高いエネルギーマトリックス705が補償された後に位置計算713を遂行できる。複数のエネルギー区域の各々は、仮想物理空間でエネルギー及び関連位置を有し得る。したがって、ハイレベルロジック700は該当ポイントで受信されたエネルギーに基づいてX−Y座標セットで各ポイントに加重値を附与できる。加重値が附与されたポイントにはノイズがあり得る。結果として、ハイレベルロジック700は、複数のフィルタを具現することによって原始位置フィルタリング706を遂行できる。限定ではなく一例として、複数のフィルタは1つがX軸上の座標用で、他の1つはY軸上の座標用である2つのフィルタを含むことができる。限定ではなく他の例として、複数のフィルタは1つのユーロ(Euro)フィルタであり得る。1つのユーロフィルタは適応的なローパスフィルタである。これらのフィルタの長所は物体の原始位置を效果的にクリーニングすることを含むことができ、さらに、これは物体の遅い又は速い動きをいずれも補償することができる。特定の実施形態において、ハイレベルロジック700はフィルタリングされた座標を決定された物体の位置とすることができる。本開示が特定の物体の位置を決定する特定の方法を示しているが、本開示は任意の適切な方式で任意の適切な物体の位置を決定する任意の適切な方法を考慮する。
特定の実施形態において、ハイレベルロジック700は、ステップ706にて、エネルギー分布を計算することによって各々の隣接した感知モジュール201によって認識されるNIR光の電力量に基づいて各区域によって受信されたエネルギー量を推定できる。該計算は複数の予め定義された電力レベルに対応する複数のエネルギー分布を招く場合がある。限定ではなく一例として、低いエネルギー、中間エネルギー、高いエネルギーの電力レベルにそれぞれ対応する低いレベルエネルギー707、中間レベルエネルギー708及び高いレベルエネルギー709を含む3つのエネルギー分布が獲得できる。特定の実施形態において、ハイレベルロジック700は、エネルギー分布に基づいて、ステップ711にて、Z軸に沿った動きを決定するために、ステップ710にて、さらに、物体の安定度を計算してもよい。限定ではなく一例として、ハイレベルロジック700は、ステップ711にて、プッシュアクションを決定するために、ステップ710にて、手の安定度を計算できる。例えば、1つ以上のエネルギーマトリックスの1つ以上の区域で検出されるエネルギーの時間的変化を分析することによって物体の安定度が決定され得る。特定の実施形態において、ハイレベルロジック700は決定された活性化エミッタ202の数及び決定された物体の位置に基づいて、ステップ716にて、X−Y平面に対するアクションを決定できる。限定ではなく一例として、ステップ716にて、アクションを決定することはジェスチャを認識し、ジェスチャの角度を決定し、物体の位置を追跡することを含むことができる。本開示がエネルギー分布及び安定度計算に対する特定の関係を例示しているが、本開示は任意の適切な方式でエネルギー分布及び安定度計算に対する任意の適切な関係を考慮する。
図8は、アクションを決定するハイレベルロジック700の例示的なフロー図である。限定ではなく一例として、図8に示すように動作を決定することは手追跡802、ジェスチャ認識803及び未定義のアクション804に分類することを含むことができる。特定の実施形態において、ハイレベルロジック700は、ステップ801にて、活性化されたエミッタ202の数がしきい値より大きいか否かをまず評価できる。その基準を満たした場合、ハイレベルロジック700は後続のステップに進むことができる。特定の実施形態において、ハイレベルロジック700は、しきい値より多い数のエミッタ202がしきい値以上の時間の間、活性化される場合、生成されたデータマトリックス(例えば、低いエネルギーマトリックス703、中間エネルギーマトリックス704及び高いエネルギーマトリックス705)及び決定された活性化されたエミッタ202の数に基づいて物体の動きを追跡できる(例えば、手追跡)。限定ではなく一例として、しきい時間は1秒であり得る。特定の実施形態において、ハイレベルロジック700は、しきい値より多い数のエミッタ202が予め定義された時間範囲内の持続期間の間、活性化される場合、生成されたデータマトリックス(例えば、低いエネルギーマトリックス703、中間エネルギーマトリックス704及び高いエネルギーマトリックス705)及び決定された活性化されたエミッタ202の数に基づいて物体の動きを識別できる(例えば、ジェスチャ認識)。限定ではなく一例として、予め定義された時間範囲は100ミリ秒以上で1秒未満であり得る。特定の実施形態において、ハイレベルロジック700は、しきい値より多い数のエミッタ202がしきい値未満の時間の間、活性化される場合、物体の動きを未定義のアクションに分類できる。限定ではなく一例として、しきい時間は100ミリ秒であり得る。特定の実施形態において、ハイレベルロジック700は、次のような方式で動き識別(例えば、ジェスチャ認識)を遂行できる。ハイレベルロジック700は、まず、ステップ805にて、X及びY軸に対する全てのデータサンプルを正規化できる。次に、ハイレベルロジック700は、ステップ806にて、X軸に沿った軌跡及びY軸に沿った軌跡を計算できる。その後、ハイレベルロジック700は、ステップ807にて、アークタンジェントを用いて2座標の間の関係を示す角度を計算できる。限定ではなく一例として、角度が45゜より小さい場合、ハイレベルロジック700は動きを水平スワイプ808であると識別でき、そうでない場合、ハイレベルロジック700は動きを垂直スワイプ810であると識別できる。動きが水平スワイプ808である場合、ハイレベルロジック700は全てのデータポイントに最も適合したラインの方程式を探すために、ステップ809にて、線形回帰を具現できる。結果として、外れ値が補正されることができ、より正確なジェスチャ認識803が達成され得る。動きが垂直スワイプ810である場合、ハイレベルロジック700は、ステップ811にて、第1サンプルがコンパイルされた第1ポイントとその後の全てのポイントの間の全ての角度を合算できる。ハイレベルロジック700は、さらに、合算された角度の平均値を最終的なジェスチャの角度として計算してもよい。したがって、本明細書に説明されるように、ハイレベルロジック700は、図7と関連付けて説明されたエネルギーマトリックスの1つ以上のエネルギー区域のエネルギーに対する時間的変化を分析することによって特定のジェスチャを決定できる。本開示がアクションを決定するハイレベルロジックの特定のフロー図を示しているが、本開示は任意の適切な方式で任意の適切なアクションを決定するハイレベルロジックの任意の適切なフロー図を考慮する。
特定の実施形態において、複数の予め定義された電力レベルは非接触感知システム200に対する複数の予め定義された深さに対応できる。結果として、ハイレベルロジック700は受信機203によって受信されるエネルギーの可変性に基づいてZ軸に沿って物体の動き(例えば、ユーザのプッシュアクション)を識別できる。限定ではなく一例として、3つの電力レベル(すなわち、低いエネルギー、中間エネルギー及び高いエネルギー)で放出されるNIR光は3つの最大感知距離、例えば10cm、20cm及び50cmに対応できる。該距離はNIR光を反射する物体の表面に基づいて異なる場合がある。したがって、特定の実施形態において、特定のエネルギーレベルと関連付けられた該距離は前述の初期化プロセスの結果に依存する場合がある。
一部の実施形態において、放出されるNIR光の電力と感知距離の間の相関関係はZ軸によるアクションを決定するために有用であり得る。一部の実施形態において、次のような理由から、かかる相関関係はアクションを決定するために追加の処理又はステップを必要とする場合がある。第一、異なったエネルギーレベルに対応する異なった感知距離を交差する手は、ユーザがZ軸に沿ってアクションを行っていることを必ずしも示すものではない。その代わりに、ユーザは単に非接触感知システム200を介して自らの手を移動している場合もある。第二、ユーザは異なったエネルギーレベルに対応する異なった感知距離を横切ることなくプッシュアクションを行うことができる。第三、異なったエネルギーレベルに対応する異なった感知距離を横切るZ軸に沿ったプッシュアクションのパターンはX及びY軸に沿う動きのパターンと類似する場合がある。最後に、Z軸に対して受信機203で受信されるデータサンプルは非常にノイズが激しい場合もある。前述の問題点を少なくとも部分的に克服するために、ハイレベルロジック700は、エネルギー分布計算706、安定度計算710及びプッシュ決定711を含む複数のステップに基づいてプッシュアクションを決定できる。
図9は、エネルギー分布を計算するハイレベルロジック700の例示的なフロー図である。特定の実施形態において、ハイレベルロジック700は、まず、マスク確率901を用いて中間エネルギーマトリックス704及び高いエネルギーマトリックス705をそれぞれマスキングできる。マスク確率901は複数の区域の各々にそれぞれ対応する複数の確率を含むことができる。限定ではなく一例として、該確率は対応する区域で検出されたエネルギーが腕の代わりに手で反射される可能性を示すことができる。特定の実施形態において、ハイレベルロジック700は、その後にマスキングされた中間エネルギーマトリックス902及びマスキングされた高いエネルギーマトリックス903を個別的に処理できる。マスキングされた高いエネルギーマトリックス903に関して、ハイレベルロジック700は、ステップ904にて、最も高いエネルギーを有する4つの領域を選択し、これらの4つの領域周囲に一領域を描くことができる。次に、ハイレベルロジック700は、ステップ906以後にマスキングされた高いエネルギーマトリックス903に対する影響領域として定義された高いエネルギー分布マトリックス908を生成できる。結果として、全ての高いエネルギーが特定領域に集中され得る。特定の実施形態において、ハイレベルロジック700はマスキングされた中間エネルギーマトリックス902を追加的に使用し、影響−領域として定義された高いエネルギー分布マトリックス908を補正及びスージングできる。マスキングされた中間エネルギーマトリックス902に関して、ハイレベルロジック700は、まず、ステップ904にて、最も高い確率を有する2つの領域を選択できる。次に、ハイレベルロジック700は、ステップ905にて、ガウス分布を用いて2つのもっとも高い確率で、マスキングされた中間エネルギーマトリックス902をマスキングできる。マスキングされた中間エネルギーマトリックス902に対する中間エネルギー分布マトリックス907がそれによって生成されることができ、2つのもっとも高い確率は2つのガウス分布のピークを表すことができる。特定の実施形態において、ハイレベルロジック700は、その後にマトリックス907及びマトリックス908に基づいて適切に分布された影響領域と個別エネルギーピークを有するエネルギーのクラスタを生成できる。また、このような生成されたエネルギークラスタは低いノイズ、低いレイテンシー及び低いドリフトを有し得る。生成されたエネルギークラスタは全ての軸における手動きによるエネルギーピークを追加的に緩やかにすることができる。特定の実施形態において、ハイレベルロジック700は、さらに、ステップ909にて、マトリックス908の総エネルギー及びマトリックス907の総エネルギーを合算でき、これが高いレベルエネルギー709を招く場合がある。特定の実施形態において、ハイレベルロジック700は、ステップ909にて、マトリックス907の総エネルギーを合算することもでき、これが中間レベルエネルギー708を招く場合がある。本開示がエネルギー分布を計算するハイレベルロジックの特定のフロー図を示しているが、本開示は任意の適切な方式で任意の適切なエネルギー分布を計算するハイレベルロジックの任意の適切なフロー図を考慮する。
図10は、物体の安定度を計算するハイレベルロジック700の例示的なフロー図である。限定ではなく一例として、ハイレベルロジック700は、ユーザの手が非常に短い時間の間安定した状態にある場合を検出できる。特定の実施形態において、ハイレベルロジック700は、例えば、1つのユーロフィルタ1001を用いて中間レベルエネルギー708をフィルタリングできる。ハイレベルロジック700は、さらに、フィルタリングされた中間レベルエネルギーをベクター化してもよいが、これがMLE(medium level energy, MLE)1002を招く場合がある。特定の実施形態において、ハイレベルロジック700は、1つのユーロフィルタ100を用いて高いレベルエネルギー709をフィルタリングできる。ハイレベルロジック700は、さらに、フィルタリングされた高いレベルエネルギーをベクター化してもよいが、これがHLE(high level energy)1003を招く場合がある。ハイレベルロジック700は、ベクターMLE1002及びベクターHLE1003を2つの異なったリストに保存することができる。特定の実施形態において、ハイレベルロジック700は、高いエネルギーマトリックス705をベクター化することもでき、これがベクターマトリックス1004を招く場合がある。ハイレベルロジック700はベクターマトリックス1004を他のリストに保存することもできる。特定の実施形態において、ハイレベルロジック700は、ステップ1005にて、ベクターMLE1002、ベクターHLE1003及びベクターマトリックス1004を含む全てのベクター化されたマトリックスの相関関係を計算できる。計算された相関値はこれらのベクター化されたマトリックスの間の類似性レベルを示すことができる。特定の実施形態において、ハイレベルロジック700は、相関値が0でない場合、動的閾値トランケーションアルゴリズム1007の入力として該相関値を用いることができる。特定の実施形態において、ハイレベルロジック700は、相関値が0である場合、動的閾値トランケーションアルゴリズム1007の入力として乱数生成器によって生成された乱数を用いることができる。特定の実施形態において、動的閾値トランケーションアルゴリズム1007は、物体の動きに対応するデータの標準偏差に基づいて物体の動きに関する情報がどれだけ変化しているかを示す可変性指数を生成できる。特定の実施形態において、動的閾値トランケーションアルゴリズム1007は、さらに、可変性指数がしきい期間の間、しきい値より低い場合は物体が安定であると決定してよい。本開示が物体の安定度を計算するハイレベルロジックの特定のフロー図を示しているが、本開示は任意の適切な方式で任意の適切な物体の任意の適切な安定度を計算するハイレベルロジックの任意の適切なフロー図を考慮する。
特定の実施形態において、物体が動的閾値トランケーションアルゴリズム1007によって安定であると決定された場合、Z軸に沿った動き識別がトリガーされ得る。限定ではなく一例として、ユーザの手が安定であると決定された場合、プッシュ決定711がトリガーされ得る。特定の実施形態において、ハイレベルロジック700はその後にエネルギーレベルを分析し、各々のエネルギーレベルのデータサンプルに対する微分を計算してデータサンプルの傾向を見出すことができる。特定の実施形態において、ハイレベルロジック700は、さらに、中間レベルエネルギー708及び高いレベルエネルギー709の傾向に対して加重化処理を行ってよく、これによって固有値を得ることができる。固有値が負数である場合、ハイレベルロジック700は、アクションがプッシュであると決定できる。本開示がプッシュアクションを決定する特定の方法について例示しているが、本開示は任意の適切な方式でプッシュアクションを決定する任意の適切な方法を考慮する。
特定の実施形態において、非接触感知システム200は、非接触感知システム200の前方に半径が略50センチメートルである3D相互作用空間を生成できる。限定ではなく一例として、非接触感知システム200は、感知空間に入る手の位置を決定し、視野で行われたハンドジェスチャを識別できる。ハンドジェスチャは水平スワイプ、垂直スワイプ及びプッシュを含むことができる。非接触感知システム200は、また、3D相互作用空間を異なった方法でモデリングし、感知モジュール201の物理的分布を変更し、感知モジュール201の数を変更し、及び/又は照射パターンを変更することによって他のハンドジェスチャを識別することもできる。非接触感知システム200の長所は、少ない感覚情報、低い計算負荷及び低コストを要求することを含むことができる。結果として、非接触感知システム200は、複数のアプリケーションのために複数のデバイス及びシステムと統合され得る。限定ではなく一例として、非接触感知システム200は、スマートウォッチ、仮想現実ヘッドセット、フィットネストラッカー、ヘッドホン、スマートグローブなどを含むウェアラブル装置と統合され得る。限定ではなく他の例として、非接触感知システム200は、電子ブックリーダ、タブレット、スマートフォン、デジタルカメラ、スポーツカメラ、ラップトップ、音楽システム、携帯用ゲーム装置などを含む携帯用装置と統合され得る。限定ではなく他の例として、非接触感知システム200は、スマートTV、コンピュータ、TV用リモコン、ゲームシステム用コントローラ、DJミキサ、キーボードなどを含む家電製品及び装置と統合され得る。限定ではなく他の例として、イン・ザ・エア相互作用は非常に衛生的なので、非接触感知システム200は、例えばモニタ、ベッド、医薬品供給スタンド、透析器、実験室装備などの、医療装置及び/又は滅菌環境と統合され得る。限定ではなく他の例として、非接触感知システム200は、直観的かつ円滑な相互作用を提供するので、自動車エンターテイメントシステム、エアコンなどを制御するために自動車に統合され得る。限定ではなく他の例として、衛生的かつ直観的な相互作用によって、非接触感知システム200は、公衆ディスプレイ、エレベータ、ATMマシン、商店ウィンドウ、チケットマシンなどを含む公共空間システムと統合され得る。限定ではなく他の例として、イン・ザ・エア相互作用は物理的痕跡を残さないので、非接触感知システム200は、ATMマシン、文字合わせ錠、金庫、公共キーボードなどを含むユーザのセキュリティ及び個人情報を侵害する可能性のある装置と統合され得る。本開示が非接触感知システムの特定の応用を示しているが、本開示は任意の適切な方式で非接触感知システムの任意の適切な応用を考慮する。
図11は、電磁放射線に基づいて物体を感知するための例示的な方法1100を示す図である。ステップ1101にて、エミッタ202の内の少なくとも一部が照射パターンによって活性化され得る。例えば、照射パターンは低いエネルギーの電力レベルに基づいて生成され得る。本方法は低いエネルギーの電力レベルで電磁放射線を放出するようにこれらのエミッタ202に指示することによって該特定の照射パターンに基づいてエミッタ202の内の少なくとも一部を活性化できる。ステップ1102にて、本方法は少なくとも照射パターン及び1つ以上の受信機203によって検出された電磁放射線に基づいて、受信機203の内の少なくとも1つの視野で物体の存在又は物体の動きを検出でき、ここで、1つ以上の受信機203によって検出された電磁放射線の少なくとも一部は物体から1つ以上の受信機203へ反射される。例えば、物体が視野内にある場合は、エミッタ202が低いエネルギーの電力レベルで電磁放射線を放出した後、該電磁放射線が物体によって再度反射され得る。反射された電磁放射線は一部の受信機203に到達できるが、他の受信機203には到達しない場合があり、これは一部の受信機203はデータサンプルを得ることができるが、一方で、他の受信機203はそうでない場合もあり得ることを意味する。本方法は受信機203の内の一部で受信されたデータサンプルに基づいて、物体の存在又は物体の動きを検出できる。
特定の実施形態は、適切な場合、図11の方法の内の1つ以上のステップを繰り返すことができる。本開示が特定の順序で発生するものであると図11の方法の特定のステップを説明及び図示しているが、本開示は任意の適切な順序で発生する図11の方法の任意の適切なステップを考慮する。また、本開示が図11の方法の特定のステップを含む、電磁放射線に基づいて物体を感知するための例示的な方法を説明及び図示しているが、本開示は電磁放射線に基づいて物体を感知するための任意の適切な方法を考慮し、これは、適切な場合、図11の方法のステップの内の全部又は一部を含むか、又はいずれも含まない場合もある。また、本開示が図11の方法の特定のステップを行う特定の構成要素、デバイス又はシステムを説明及び図示しているが、本開示は図11の方法の任意の適切なステップを行う任意の適切な構成要素、デバイス又はシステムの任意の適切な組み合わせを考慮する。
図12は、例示的なコンピュータシステム1200を示す図である。特定の実施形態において、1つ以上のコンピュータシステム1200は、本明細書で説明又は図示された1つ以上の方法の1つ以上のステップを行う。特定の実施形態において、1つ以上のコンピュータシステム1200は、本明細書で説明又は図示された機能を提供する。特定の実施形態において、1つ以上のコンピュータシステム1200で実行されるソフトウェアは、本明細書で説明又は図示された1つ以上の方法の1つ以上のステップを行うか、または本明細書で説明又は図示された機能を提供する。特定の実施形態は1つ以上のコンピュータシステム1200の1つ以上の部分を含む。本明細書で、コンピュータシステムに対する言及は、適切な場合、コンピュータデバイスを含むことができ、その逆の場合も同様である。また、コンピュータシステムに対する言及は、適切な場合、1つ以上のコンピュータシステムを含むことができる。
本開示は任意の適切な数のコンピュータシステム1200を考慮する。本開示は任意の適切な物理的形態をとるコンピュータシステム1200を考慮する。制限ではなく例として、コンピュータシステム1200は、エンベデッドコンピュータシステム、システムオンチップ(system-on-chip, SOC)、シングルボードコンピュータシステム(single-board computer system, SBC)(例えば、コンピュータオンモジュール(omputer-on-module, COM)又はシステムオンモジュール(system-on-module, SOM)、デスクトップコンピュータシステム、ラップトップ又はノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、PDA(personal digital assistant, pda)、サーバ、タブレットコンピュータシステム、拡張/仮想現実装置又はこれらの内の2つ以上の組み合わせであり得る。適切な場合、コンピュータシステム1200は、1つ以上のコンピュータシステム1200を含んでもよく;シングル型又は分散型であってもよく;複数の位置にわたって存在してもよく;複数のマシンにわたって存在してもよく;複数のデータセンターにわたって存在してもよく;又は1つ以上のネットワーク内に1つ以上のクラウド構成要素を含むことができるクラウドに常駐してよい。適切な場合、1つ以上のコンピュータシステム1200は、実質的な空間的又は時間的制限なく本明細書で説明又は図示された1つ以上の方法の1つ以上のステップを遂行できる。限定ではなく一例として、1つ以上のコンピュータシステム1200は、本明細書で説明又は図示された1つ以上の方法の1つ以上のステップをリアルタイムで又はバッチモードで遂行できる。1つ以上のコンピュータシステム1200は、適切な場合、異なった時間に又は異なった位置で本明細書に説明又は図示された1つ以上の方法の1つ以上のステップを遂行できる。
特定の実施形態において、コンピュータシステム1200は、プロセッサ1202、メモリ1204、ストレージ1206、入/出力(input/output)インタフェース1208、通信インタフェース1210及びバス1212を含む。本開示が特定の構成で特定の個数の特定の構成要素を有する特定のコンピュータシステムを説明及び図示しているが、本開示は任意の適切な構成で任意の適切な個数の任意の適切な構成要素を有する任意の適切なコンピュータシステムを考慮する。
特定の実施形態において、プロセッサ1202は、例えば、コンピュータプログラムを構成する命令などの命令を実行するためのハードウェアを含む。限定ではなく一例として、命令を実行するために、プロセッサ1202は、内部レジスタ、内部キャッシュ、メモリ1204又はストレージ1206から命令を探索(又はフェッチ)し;これをデコード及び実行した後;1つ以上の結果を内部レジスタ、内部キャッシュ、メモリ1204又はストレージ1206に記録できる。特定の実施形態において、プロセッサ1202は、データ、命令又はアドレスのための1つ以上の内部キャッシュを含むことができる。本開示は、適切な場合、任意の適切な数の任意の適切な内部キャッシュを含むプロセッサ1202を考慮する。限定ではなく一例で、プロセッサ1202は、1つ以上の命令キャッシュ、1つ以上のデータキャッシュ、及び1つ以上のTLB(translation lookaside buffer)を含むことができる。命令キャッシュ内の命令はメモリ1204又はストレージ1206内の命令のコピーであることができ、命令キャッシュはプロセッサ1202による命令の探索速度を上げることができる。データキャッシュ内のデータはプロセッサ1202で実行される命令が動作するためのメモリ1204又はストレージ1206内のデータのコピーであることができ;プロセッサ1202で実行される後続の命令のアクセスのための又はメモリ1204又はストレージ1206への記録のためのプロセッサ1202で実行された以前の命令の結果であるか;又は他の適切なデータであり得る。データキャッシュはプロセッサ1202による読み取り又は書き込み動作を加速化できる。TLBはプロセッサ1202に対する仮想アドレス変換を加速化できる。特定の実施形態において、プロセッサ1202は、データ、命令又はアドレスに対する1つ以上の内部レジスタを含むことができる。本開示は、適切な場合、任意の適切な数の任意の適切な内部レジスタを含むプロセッサ1202を考慮する。適切な場合、プロセッサ1202は、1つ以上の算術論理ユニット(arithmetic logic units ALU)を含むか;マルチコアプロセッサであるか;又は1つ以上のプロセッサ1202を含むことができる。本開示が特定のプロセッサを説明及び図示しているが、本開示は任意の適合したプロセッサを考慮する。
特定の実施形態において、メモリ1204は、プロセッサ1202が実行する命令又はプロセッサ1202が動作するデータを記憶するためのメインメモリを含む。限定ではなく一例として、コンピュータシステム1200は、ストレージ1206又は(例えば、他のコンピュータシステム1200などの)他のソースからメモリ1204に命令を読み込むことができる。プロセッサ1202は、その後、メモリ1204から内部レジスタ又は内部キャッシュに命令を読み込むことができる。命令を実行するために、プロセッサ1202は内部レジスタ又は内部キャッシュから命令を探索し、これをデコードできる。命令の実行の間又はその後に、プロセッサ1202は1つ以上の結果(中間又は最終結果であり得る)を内部レジスタ又は内部キャッシュに記録できる。その後、プロセッサ1202は、かかる結果の内の1つ以上をメモリ1204に記録できる。特定の実施形態において、プロセッサ1202は1つ以上の内部レジスタ又は内部キャッシュ内の命令又は(ストレージ1206又は他の所とは反対の)メモリ1204内の命令のみを実行し、1つ以上の内部レジスタ又は内部キャッシュ内のデータ又は(ストレージ1206又は他の所とは反対の)メモリ1204内のデータに対してのみ動作する。(アドレスバス及びデータバスをそれぞれ含むことができる)1つ以上のメモリバスがプロセッサ1202をメモリ1204にカップリングできる。バス1212は、後述のように、1つ以上のメモリバスを含むことができる。特定の実施形態において、1つ以上のメモリ管理ユニット(memory management unit, MMU)がプロセッサ1202とメモリ1204の間に常駐し、プロセッサ1202によって要求されるメモリ1204へのアクセスを容易にする。特定の実施形態において、メモリ1204はランダムアクセスメモリ(random access memory, RAM)を含む。該RAMは揮発性メモリであることができ、適切な場合、該RAMはDRAM(dynamic RAM)又はSRAM(static RAM)であり得る。また、適切な場合、該RAMはシングルポート型又はマルチポート型RAMであり得る。本開示は任意の適切なRAMを考慮する。メモリ1204は、適切な場合、1つ以上のメモリ1204を含むことができる。本開示
が特定メモリを説明及び図示しているが、本開示は任意の適切なメモリを考慮する。
特定の実施形態において、ストレージ1206は、データ又は命令のための大容量ストレージを含む。限定ではなく一例として、ストレージ1206は、ハードディスクドライブ(hard disk drive、HDD)、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ又は汎用シリアルバス(Universal Serial Bus、USB)ドライブ又はこれらの内の2つ以上の組み合わせを含むことができる。ストレージ1206は、適切な場合、着脱可能型又は着脱不可型(又は固定型)媒体を含むことができる。ストレージ1206は、適切な場合、コンピュータシステム1200の内部又は外部に存在できる。特定の実施形態において、ストレージ1206は、不揮発性、ソリッドステートメモリである。特定の実施形態において、ストレージ1206は、読み出し専用メモリ(read−only memory、ROM)を含む。適切な場合、該ROMは、マスク−プログラミングROM、プログラマブルROM(programmable ROM、PROM)、消去可能なPROM(erasable PROM、EPROM)、電気的に消去可能なPROM(electrically erasable PROM、EEPROM)、電気的に書き換え可能なROM(electrically alterable ROM、EAROM)又はフラッシュメモリ又はこれらの内の2つ以上の組み合わせであり得る。本開示は任意の適切な物理的形態をとる大容量ストレージ1206を考慮する。ストレージ1206は、適切な場合、プロセッサ1202とストレージ1206の間の通信を容易にする1つ以上のストレージ制御ユニットを含むことができる。適切な場合、ストレージ1206は、1つ以上のストレージ1206を含むことができる。本開示が特定ストレージを説明及び図示しているが、本開示は任意の適切なストレージを考慮する。
特定の実施形態において、I/Oインタフェース1208は、コンピュータシステム1200と1つ以上のI/Oデバイスの間の通信のための1つ以上のインタフェースを提供するハードウェア、ソフトウェア又はその両方を含む。コンピュータシステム1200は、適切な場合、これらのI/Oデバイスの内の1つ以上を含むことができる。I/Oデバイスの内の1つ以上は人とコンピュータシステム1200の間の通信を可能にできる。限定ではなく一例として、I/Oデバイスはキーボード、キーパッド、マイクロホン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、他の適切なI/Oデバイス又はこれらの内の2つ以上の組み合わせを含むことができる。I/Oデバイスは1つ以上のセンサを含むことができる。本開示は任意の適切なI/Oデバイス及びこれらのための任意の適切なI/Oインタフェース1208を考慮する。適切な場合、I/Oインタフェース1208はプロセッサ1202がこれらのI/Oデバイスの内の1つ以上を駆動できるようにする1つ以上のデバイス又はソフトウェアドライバを含むことができる。I/Oインタフェース1208は、適切な場合、1つ以上のI/Oインタフェース1208を含むことができる。本開示は特定のI/Oインタフェースを説明及び図示しているが、本開示は任意の適切なI/Oインタフェースを考慮する。
特定の実施形態において、通信インタフェース1210は、コンピュータシステム1200と1つ以上の他のコンピュータシステム1200又は1つ以上のネットワークの間の通信(例えば、パケットベースの通信)のための1つ以上のインタフェースを提供するハードウェア、ソフトウェア又はその両方を含む。限定ではなく一例として、通信インタフェース1210は、イーサネット又は他の有線ベースのネットワークと通信するためのネットワークインタフェースコントローラ(network interface controller、NIC)又はネットワークアダプタ又はWI−FIネットワークなどの無線ネットワークと通信するための無線NIC(wireless NIC、WNIC)又は無線アダプタを含むことができる。本開示は任意の適切なネットワーク及びこれに対する任意の適切な通信インタフェース1210を考慮する。限定ではなく一例として、コンピュータシステム1200は、アドホックネットワーク、パーソナルエリアネットワーク(personal area network、PAN)、ローカルエリアネットワーク(local area network、LAN)、ワイドエリアネットワーク(wide area network、WAN)、メトロポリタンエリアネットワーク(metropolitan area network、MAN)又はインターネットの1つ以上の部分又はこれらの内の2つ以上の組み合わせと通信できる。これらのネットワークの内の1つ以上の部分が有線又は無線であり得る。一例として、コンピュータシステム1200は、無線PAN(wireless PAN、WPAN)(例えば、BLUETOOTH WPAN)、WI−FIネットワーク、WI−MAXネットワーク、セルラー電話ネットワーク(例えば、グローバル移動通信システム(Global System for Mobile Communications、GSM)ネットワーク)、又は他の適切な無線ネットワーク又はこれらの内の2つ以上の組み合わせと通信できる。コンピュータシステム1200は、適切な場合、これらのネットワークの内の任意のものに対する任意の適切な通信インタフェース1210を含むことができる。通信インタフェース1210は、適切な場合、1つ以上の通信インタフェース1210を含むことができる。本開示が特定の通信インタフェースを説明及び図示しているが、本開示は任意の適切な通信インタフェースを考慮する。
特定の実施形態において、バス1212は、コンピュータシステム1200の構成要素を互いにカップリングするハードウェア、ソフトウェア又はその両方を含む。限定ではなく一例として、バス1212は、AGP(Accelerated Graphics Port)又は他のグラフィックバス、EISA(Enhanced Industry Standard Architecture)バス、FSB(front−side bus)、HT(HYPERTRANSPORT)インターコネクト、ISA(Industry Standard Architecture)バス、INFINIBANDインターコネクト、LPC(low−pin−count)バス、メモリバス、MCA(Micro Channel Architecture)バス、PCI(Peripheral Component Interconnect)バス、PCIe(PCI−Express)バス、SATA(serial advanced technology attachment)バス、VLB(Video Electronics Standards Association local)バス、又は他の適切なバス又はこれらの内の2つ以上の組み合わせを含むことができる。バス1212は、適切な場合、1つ以上のバス1212を含むことができる。本開示が特定バスを説明及び図示しているが、本開示は任意の適切なバス又はインターコネクトを考慮する。
本明細書で、コンピュータ可読な非一時的記憶媒体又は媒体らは1つ以上の半導体ベース又は他の集積回路(IC)(例えば、FPGA(field−programmable gate array)又はASIC(application−specific IC))、HDD(hard disk drive)、HHD(hybrid hard drive)、光ディスク、ODD(optical disc drive)、光磁気ディスク、光磁気ドライブ、フロッピーディスク、FDD(floppy disk drive)、磁気テープ、SSD(solid−state drive)、RAM−ドライブ、SECURE DIGITALカード又はドライブ、任意の他の適切なコンピュータ可読な非一時的記憶媒体又は、適切な場合、これらの内の2つ以上の任意の適切な組み合わせを含むことができる。コンピュータ可読な非一時的記憶媒体は、適切な場合、揮発性、不揮発性、又は揮発性と不揮発性の組み合わせであり得る。
本明細書で、「又は」は明確に特に示されない、又は文脈により特に示されない限り、排他的ではなく包括的なものである。したがって、本明細書で、「A又はB」は明確に特に示されない、又は文脈により特に示されない限り「A、B又はその両方」を意味する。また、「及び」は 明確に特に示されない、又は文脈により特に示されない限り、共同的及び個別的なものである。したがって、本明細書で、「A及びB」は明確に特に示されない、又は文脈により特に示されない限り、共同的に又は個別的に、「A及びB」を意味する。
本明細書で、「自動的に」及びその派生語は明確に特に示されない、又は文脈により特に示されない限り、「人間の介入なしで」を意味する。
本開示の範囲は当業者が理解できる本明細書で説明又は図示された例示的な実施形態らに対する全ての変更、代替、変形、改造及び修正を含む。本開示の範囲は本明細書で説明又は図示された例示的な実施形態らに制限されない。また、本開示がここで特定の構成要素、要素、特徴、機能、動作又はステップを含むものとして各々の実施形態を説明及び図示しているが、これらの実施形態の内の任意のものは当業者が理解できる本明細書のどこかで説明又は図示された任意の構成要素、要素、特徴、機能、動作又はステップの任意の組み合わせ又は置換を含むことができる。また、添付の請求範囲で、特定の機能を遂行するように適応、配列、可能、構成、イネーブル、作動又は動作可能な装置、システム、又は装置もしくはシステムの構成要素に対する言及は、該当の装置、システム又は構成要素がそのように適応、配列、可能、構成、イネーブル、動作又は作動可能であれば、特定の機能が活性化されたか、ターンオンされたか、又はロック解除されたかにかかわらず、該当の装置、システム、構成要素を含む。また、本開示が特定の長所を提供するものとして特定の実施形態を説明又は図示しているが、特定の実施形態はこれらの長所を提供しないか、その一部又は全部を提供することもできる。
200 非接触感知システム
201 感知モジュール
202 電磁放射線エミッタ
203 電磁放射線受信機
204 制御モジュール
205 制御ボード

Claims (15)

  1. 複数の電磁放射線エミッタであって、各々のエミッタは異なった視野に対応する、エミッタ;
    複数の電磁放射線受信機であって、各々の受信機は異なった視野に対応する、前記受信機;及び
    命令を具現する1つ以上の非一時的記憶媒体と、1つ以上のプロセッサであって、
    照射パターンによって、前記複数のエミッタの内の少なくとも一部を活性化し;かつ
    少なくとも前記照射パターン及び1つ以上の受信機によって検出された電磁放射線に基づいて、前記複数の受信機の内の少なくとも1つの視野で物体の存在又は前記物体の動きを検出するように、前記命令を実行するよう動作可能であり、前記1つ以上の受信機によって検出された前記電磁放射線の少なくとも一部は前記物体から前記1つ以上の受信機に反射される、1つ以上のプロセッサ
    を含む装置。
  2. 前記1つ以上のプロセッサは、前記命令を実行して前記物体の位置を決定するか、前記命令を実行して前記物体の動きを追跡するか、前記命令を実行して前記物体の動きを識別するか、又は前記命令を実行して複数の照射パターンを生成するようにさらに構成される、請求項1に記載の装置。
  3. 前記電磁放射線は、近赤外線を含む、請求項1に記載の装置。
  4. 各々のエミッタは、1つ以上の発光ダイオード(light-emitting diode, LED)を含む、請求項1に記載の装置。
  5. 各々の受信機は、1つ以上のフォトダイオードを含む、請求項1に記載の装置。
  6. 前記照射パターンによって、前記複数のエミッタの内の少なくとも一部を活性化することは、
    複数の予め定義された電力レベルから電力レベルを選択し;かつ
    前記選択された電力レベルで電磁放射線を放出するように前記複数の電磁放射線エミッタに指示することを含む、請求項1に記載の装置。
  7. 前記複数の予め定義された電力レベルは、前記装置に対する複数の予め定義された深さに対応する、請求項6に記載の装置。
  8. 複数の感知モジュールをさらに含み、前記複数の感知モジュールの各々は、
    前記複数の電磁放射線エミッタの内の1つ以上のエミッタであって、感知モジュール内の各々 のエミッタは同じ視野を有する、前記1つ以上のエミッタ;
    前記複数の電磁放射線受信機の内の1つ以上の受信機;及び
    1つ以上のマイクロコントローラ
    を含む、請求項1に記載の装置。
  9. 前記1つ以上のマイクロコントローラは、
    前記1つ以上のプロセッサと通信し;
    対応する感知モジュールの前記1つ以上のエミッタによって放出される前記電磁放射線を変調し;
    対応する感知モジュールの前記1つ以上のエミッタの放出電力を調節し;かつ
    対応する感知モジュールの前記1つ以上の受信機によって受信される前記電磁放射線を処理するように構成される請求項8に記載の装置。
  10. 前記1つ以上のプロセッサは、
    前記複数の電磁放射線エミッタに対する電力レベルを決定し、前記決定された電力レベルは複数の予め定義された電力レベルから選択され、;
    1つの感知モジュールの前記エミッタが一度に活性化されるように、前記決定された電力レベルで電磁放射線を放出するように前記複数の感知モジュールの各々の前記1つ以上のエミッタを順に活性化し;また
    任意の感知モジュールの前記1つ以上のエミッタの内のいずれかが活性化された後、
    前記1つ以上のエミッタが前記複数の感知モジュールの各々に対して活性化された後ごとに前記決定された電力レベルに対応する反射された電磁放射線を前記複数の受信機の内の1つ以上の受信機で受信するようにさらに構成され、前記複数の受信機の内の前記1つ以上の受信機は、前記反射された電磁放射線が前記複数の受信機の内の前記1つ以上の受信機に到達したか否かに基づいて選択される、請求項8に記載の装置。
  11. 前記1つ以上のプロセッサは、
    複数のバイトを含むデータベクターを生成し、前記複数のバイトの各々は、前記複数の感知モジュールの各々に対する前記複数の予め定義された電力レベルの各々に対応する受信電磁放射線に基づき;
    前記生成されたデータベクターに基づいて、前記複数の予め定義された電力レベルにそれぞれ対応する複数のデータマトリックスを生成し;かつ
    前記複数の予め定義された電力レベルの各々にそれぞれ対応する活性化されたエミッタの数を決定するようにさらに構成される、請求項10に記載の装置。
  12. 前記1つ以上のプロセッサは、
    前記命令を実行し、前記生成されたデータマトリックス及び前記決定された活性化されたエミッタの数に基づいて前記物体の位置を決定するか、又は
    前記命令を実行し、しきい値より多い数のエミッタがしきい値より多い時間の間、活性化された場合、前記生成されたデータマトリックス及び前記決定された活性化されたエミッタの数に基づいて前記物体の動きを追跡するか、又は
    前記命令を実行し、しきい値より多い数のエミッタが予め決められた時間範囲内の持続期間の間、活性化された場合、前記生成されたデータマトリックス及び前記決定された活性化されたエミッタの数に基づいて物体の動きを識別するようにさらに構成される、請求項11に記載の装置。
  13. 1つ以上のプロセッサによって実行される場合に、前記1つ以上のプロセッサが動作を行うようにする命令を具現する1つ以上の非一時的コンピュータ可読な記憶媒体であって、前記動作は、
    照射パターンによって、複数の電磁放射線エミッタの内の少なくとも一部を活性化する動作であって、各々のエミッタは異なった視野に対応する、動作;及び
    少なくとも前記照射パターン及び複数の電磁放射線受信機の内の1つ以上の受信機によって受信された電磁放射線に基づいて、前記1つ以上の受信機の視野で物体の存在又は前記物体の動きを検出する動作であって、前記受信機の各々は異なった視野に対応する、動作
    を含む、非一時的コンピュータ可読記憶媒体。
  14. 前記動作は、複数の照射パターンを生成する動作をさらに含む、請求項13に記載の非一時的コンピュータ可読記憶媒体。
  15. 照射パターンによって、複数の電磁放射線エミッタの内の少なくとも一部を活性化するステップであって、各々のエミッタは異なった視野に対応する、ステップ;及び
    少なくとも前記照射パターン及び複数の電磁放射線受信機の内の1つ以上の受信機によって受信された電磁放射線に基づいて、前記1つ以上の受信機の視野で物体の存在又は前記物体の動きを検出するステップであって、前記受信機の各々は異なった視野に対応する、ステップ
    を含む方法。
JP2019570851A 2017-06-21 2018-05-21 電磁放射線を用いた物体検出及び動き識別 Active JP7226888B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762523153P 2017-06-21 2017-06-21
US62/523,153 2017-06-21
US15/885,497 2018-01-31
US15/885,497 US10481736B2 (en) 2017-06-21 2018-01-31 Object detection and motion identification using electromagnetic radiation
PCT/KR2018/005768 WO2018236056A1 (en) 2017-06-21 2018-05-21 OBJECT DETECTION AND MOTION IDENTIFICATION USING ELECTROMAGNETIC RADIATION

Publications (2)

Publication Number Publication Date
JP2020524856A true JP2020524856A (ja) 2020-08-20
JP7226888B2 JP7226888B2 (ja) 2023-02-21

Family

ID=64693180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019570851A Active JP7226888B2 (ja) 2017-06-21 2018-05-21 電磁放射線を用いた物体検出及び動き識別

Country Status (5)

Country Link
US (1) US10481736B2 (ja)
EP (1) EP3639122B1 (ja)
JP (1) JP7226888B2 (ja)
CN (1) CN110785728B (ja)
WO (1) WO2018236056A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107788992B (zh) * 2016-08-29 2022-03-08 松下知识产权经营株式会社 识别生物体的装置以及识别生物体的方法
US11461907B2 (en) * 2019-02-15 2022-10-04 EchoPixel, Inc. Glasses-free determination of absolute motion
JP7457625B2 (ja) * 2020-10-07 2024-03-28 パラマウントベッド株式会社 ベッドシステム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120293404A1 (en) * 2011-05-19 2012-11-22 Panasonic Corporation Low Cost Embedded Touchless Gesture Sensor
US8515128B1 (en) * 2009-10-07 2013-08-20 Qualcomm Incorporated Hover detection
US20140101620A1 (en) * 2012-10-08 2014-04-10 Pixart Imaging Inc. Method and system for gesture identification based on object tracing
US20150062087A1 (en) * 2013-08-27 2015-03-05 Lg Electronics Inc. Electronic device having proximity touch function and control method thereof
US20150258432A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
US20150301591A1 (en) * 2012-10-31 2015-10-22 Audi Ag Method for inputting a control command for a component of a motor vehicle

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US4672364A (en) * 1984-06-18 1987-06-09 Carroll Touch Inc Touch input device having power profiling
DE69122782T2 (de) * 1990-01-16 1997-02-20 Carroll Touch Inc Infrarotberührungsempfindliche Eingabevorrichtung und Lichterzeugeraktivierungsschaltung
US7876424B2 (en) * 2008-08-20 2011-01-25 Microsoft Corporation Distance estimation based on image contrast
CN101609647A (zh) * 2009-07-30 2009-12-23 友达光电股份有限公司 触控式有机发光二极管显示装置及影像单元
EP2475182A3 (en) * 2011-01-04 2013-04-03 Samsung Electronics Co., Ltd. Display apparatus, 3D glasses, and control method thereof
US20140035812A1 (en) 2011-05-05 2014-02-06 Maxim Integrated Products, Inc. Gesture sensing device
US9679215B2 (en) * 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US9674436B2 (en) 2012-06-18 2017-06-06 Microsoft Technology Licensing, Llc Selective imaging zones of an imaging sensor
US9733717B2 (en) 2012-07-12 2017-08-15 Dual Aperture International Co. Ltd. Gesture-based user interface
GB2504291A (en) * 2012-07-24 2014-01-29 St Microelectronics Ltd A proximity and gesture detection module
US9285893B2 (en) * 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
EP2738647B1 (en) 2012-11-30 2018-08-29 BlackBerry Limited Method And Device For Identifying Contactless Gestures
US9405376B2 (en) * 2012-12-10 2016-08-02 Invisage Technologies, Inc. Sensors and systems for the capture of scenes and events in space and time
US9304594B2 (en) 2013-04-12 2016-04-05 Microsoft Technology Licensing, Llc Near-plane segmentation using pulsed light source
US20140376773A1 (en) 2013-06-21 2014-12-25 Leap Motion, Inc. Tunable operational parameters in motion-capture and touchless interface operation
JP2015032101A (ja) * 2013-08-01 2015-02-16 株式会社東芝 情報端末装置
US9213102B2 (en) 2013-09-11 2015-12-15 Google Technology Holdings LLC Electronic device with gesture detection system and methods for using the gesture detection system
US20150139483A1 (en) * 2013-11-15 2015-05-21 David Shen Interactive Controls For Operating Devices and Systems
EP3525524B1 (en) * 2014-05-30 2021-03-10 Apple Inc. Determination of device body location
KR102294945B1 (ko) 2014-06-11 2021-08-30 삼성전자주식회사 기능 제어 방법 및 그 전자 장치
KR102278880B1 (ko) 2014-11-14 2021-07-20 삼성디스플레이 주식회사 백라이트 유닛, 이를 포함하는 표시 장치, 및 영상 표시 시스템
US10175768B2 (en) * 2014-12-01 2019-01-08 Singapore University Of Technology And Design Gesture recognition devices, gesture recognition methods, and computer readable media
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US10168193B2 (en) * 2015-01-07 2019-01-01 Infineon Technologies Ag Sensor with switching matrix switch
US9652047B2 (en) 2015-02-25 2017-05-16 Daqri, Llc Visual gestures for a head mounted device
US9910275B2 (en) 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515128B1 (en) * 2009-10-07 2013-08-20 Qualcomm Incorporated Hover detection
US20120293404A1 (en) * 2011-05-19 2012-11-22 Panasonic Corporation Low Cost Embedded Touchless Gesture Sensor
US20140101620A1 (en) * 2012-10-08 2014-04-10 Pixart Imaging Inc. Method and system for gesture identification based on object tracing
US20150301591A1 (en) * 2012-10-31 2015-10-22 Audi Ag Method for inputting a control command for a component of a motor vehicle
US20150062087A1 (en) * 2013-08-27 2015-03-05 Lg Electronics Inc. Electronic device having proximity touch function and control method thereof
US20150258432A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing

Also Published As

Publication number Publication date
CN110785728A (zh) 2020-02-11
CN110785728B (zh) 2022-04-29
WO2018236056A1 (en) 2018-12-27
US10481736B2 (en) 2019-11-19
EP3639122A4 (en) 2020-04-22
US20180373391A1 (en) 2018-12-27
EP3639122A1 (en) 2020-04-22
JP7226888B2 (ja) 2023-02-21
EP3639122B1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
US11237625B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US20240168602A1 (en) Throwable interface for augmented reality and virtual reality environments
US20230205321A1 (en) Systems and Methods of Tracking Moving Hands and Recognizing Gestural Interactions
US20210181857A1 (en) Systems and Methods of Creating a Realistic Displacement of a Virtual Object in Virtual Reality/Augmented Reality Environments
Zhang et al. Extending mobile interaction through near-field visible light sensing
KR102510402B1 (ko) 터치 및 인-더-에어 인터랙션들을 위한 레이더 기반 감지 시스템
TWI509274B (zh) 被動紅外測距接近偵測器
TWI635415B (zh) 以雷達為基礎的手勢辨識
JP7226888B2 (ja) 電磁放射線を用いた物体検出及び動き識別
JP2021510893A (ja) 追跡デバイスを用いた対話型システム及び方法
US20140320408A1 (en) Non-tactile interface systems and methods
CN104969148A (zh) 基于深度的用户界面手势控制
US9552073B2 (en) Electronic device
KR101976605B1 (ko) 전자기기 및 그 동작 방법
US20150153835A1 (en) Initializing predictive information for free space gesture control and communication
WO2015065341A1 (en) Gesture based human computer interaction
CN105824411A (zh) 基于虚拟现实的交互控制方法及装置
JP2023509291A (ja) ジョイント赤外および可視光視覚慣性オブジェクト追跡
Tsun et al. A human orientation tracking system using Template Matching and active Infrared marker
Zhang et al. Rofin: 3d hand pose reconstructing via 2d rolling fingertips
KR20220074317A (ko) 전자장치 및 라이다 센서를 이용한 전자장치 제어 방법
US20190196019A1 (en) Method and device for determining position of a target
CN115768708A (zh) 电梯系统的控制
US20240119604A1 (en) Method of controlling electronic device by using spatial information and electronic device using spatial information
Chu et al. A study of motion recognition system using a smart phone

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230203

R150 Certificate of patent or registration of utility model

Ref document number: 7226888

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150