JP2021099348A - センサを用いたジェスチャ認識 - Google Patents

センサを用いたジェスチャ認識 Download PDF

Info

Publication number
JP2021099348A
JP2021099348A JP2021018023A JP2021018023A JP2021099348A JP 2021099348 A JP2021099348 A JP 2021099348A JP 2021018023 A JP2021018023 A JP 2021018023A JP 2021018023 A JP2021018023 A JP 2021018023A JP 2021099348 A JP2021099348 A JP 2021099348A
Authority
JP
Japan
Prior art keywords
signal
sensor
processor
phase
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021018023A
Other languages
English (en)
Other versions
JP7162088B2 (ja
Inventor
マクマホン,スティーヴン
Mcmahon Stephen
ミード,エマ・マリー
Marie Meade Emma
ショルディス,レドモンド
Shouldice Redmond
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Resmed Sensor Technologies Ltd
Original Assignee
Resmed Sensor Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Resmed Sensor Technologies Ltd filed Critical Resmed Sensor Technologies Ltd
Publication of JP2021099348A publication Critical patent/JP2021099348A/ja
Priority to JP2022166155A priority Critical patent/JP2023021967A/ja
Application granted granted Critical
Publication of JP7162088B2 publication Critical patent/JP7162088B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/0507Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  using microwaves or terahertz waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1102Ballistocardiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/62Sense-of-movement determination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Cardiology (AREA)
  • Pulmonology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

【課題】特定の動作やジェスチャの検出または認識のためなど、無線周波数センシングのためのセンサと処理を改善する。【解決手段】動作またはジェスチャ感知用のセンサは、パルスを放射するように構成される無線周波数送信機と、該放射された信号のうち反射信号を受信するように構成された受信機とを含み得る。該受信されたパルスは、モーションチャネル及びまたはジェスチャチャネルによって処理され得る。該ジェスチャチャネルは、1つ以上の異なる動作ジェスチャの識別のためのさらなる処理のために、信号を発生し得る。感知装置は、ユーザ行動を評価するためのモニターの役割を任意選択的に果たしてもよい。センサは1つ以上の異なる動作ジェスチャの識別に基づいて制御信号を生成することによって多くの異なるデバイスのためのユーザコントロール・インターフェースの役割を任意選択的に果たしてもよい。【選択図】図3

Description

[関連出願の相互参照]
本出願は、2015年4月20日出願の米国仮特許出願第62/150,086号の出
願日の利益を主張するものである。この米国仮特許出願の開示内容は本明細書の一部をな
すものとする。
[発明の分野]
本技術は、移動物体及び生体被験者の特性を検出するための方法及び装置に関する。よ
り具体的には、無線周波数センサなどのジェスチャまたは他の身体動作を感知または認識
することに関する。
連続波(CW)ドップラレーダ・モーションセンサは、連続波無線周波数(RF)キャ
リアを放射し、送信されたRFと復帰エコーを混合して、移動目標物によって生成される
ドップラーシフトに等しい差周波数を生成する。これらのセンサは、一定の範囲限界(す
なわち、近距離物体と遠距離物体の両方の信号を受信することができ、受信信号はレーダ
断面の関数である)を有していない。これは誤トリガー(誤作動)、すなわちモーション
アーチファクト干渉につながる可能性がある。また、それらのセンサはまた、誤トリガー
につながる近距離における望ましくない高い感度を有することがある
パルスドップラー・モーションセンサについては、Follenらの米国特許明細書第
4,197,537号に記載されている。短パルスが送信され、そのエコーは該送信され
たパルスと自己混合される。パルス幅はレンジゲート(range-gated)領域を規定する。
伝送パルスが終了すると、混合が終了し、伝送パルスの終了後に到着するターゲットリタ
ーンは混合されず、よってゲートアウトされる。
McEwanの米国特許明細書第5,966,090号「差動パルスレーダ・モーショ
ンセンサ」(“Differential Pulse Radar Motion”)
に開示されている差動パルスドップラ・モーションセンサは、2つのパルス幅を交互に送
信する。次に、該センサは各幅からドップラー応答を差し引いて、かなり一定の応答対距
離を有するレンジ・ゲート型ドップラ感知領域を生成する。
McEwanの米国特許明細書第5,361,070号「超広帯域レーダモーションセ
ンサ(“Ultra−Wideband Radar Motion Sensor”)
」に記載されているようなインパルスレーダは、送信されたインパルス幅に関連する非常
に狭い感知領域を生成する。McEwanの米国特許明細書第5,682,164号「パ
ルスホモダイン・フィールド外乱センサ(“Pulse Homodyne Field
Disturbance Sensor”)」に記載されているように、2パルス・ド
ップラレーダ・モーションセンサは、第1のパルスを送信し、遅延後に第1のパルスから
のエコーと混合する第2のパルスを生成する。こうして、レンジ・ゲート型感知帯域が、
規定された最小及び最大距離を有して形成される。UWBレーダモーションセンサには、
インテンショナル放射器としての世界的なRF規制認可を有していないという欠点がある
。該センサは、中程度の距離において物体を感知することも困難であり、いくつかの実施
形態では、RF干渉を起こしやすい。
変調パルス・ドップラー・センサについては、McEwanの米国特許明細書第6,4
26,716号に記載されている。レンジ・ゲート型マイクロ波モーションセンサは、調
整可能な最小及び最大検出距離を含む。この装置は、ミキサ及びエコーパルスからレンジ
・ゲート型ドップラー信号を生成するために、フィルタリング、増幅素子及び復調素子を
有する検出器/ミキサーをはじめとして、送信及びミキサーパルスを生成するために関連
パルス発生及び遅延素子を有するRF発振器、単一の送信(TX)/受信(RX)アンテ
ナまたは一対の別々のTX、並びにRXアンテナを含む。
米国特許明細書第7,952,515号では、McEwanは特定のホログラフィック
レーダを開示している。応答を特定の低周波域に制限するためにホログラフィックレーダ
にレンジ・ゲートを追加する。McEwanは、特に内部の画像平面、またはスライスを
画像化するために材料を透過させるとき、被画像化表面のよりクリーンでよりクラッタの
ないレーダ・ホログラムを得ることができると述べている。レンジ・ゲーティングは積層
ホログラム技術を可能にし、複数の被画像化表面をダウンレンジ方向に積み重ねることが
できる。
米国特許出願公開明細書第2010/0214158号には、McEwanは0214
158号において、McEwanは、ホログラフィックレーダ用のRFマグニチュード・
サンプラーを開示している。McEwanは、RFマグニチュード・サンプラーが狭帯域
ホログラフィック・パルスレーダによって生成される干渉パターンを細かく解像できるこ
とを説明している。
McMahonらの米国特許出願公開明細書第2014/0024917号には、レン
ジ・ゲート型感知のための無線周波数パルスを放射するための発振信号を生成するように
構成され得る生理学的感知のためのセンサが記載されている。該センサは、パルスを放射
するように構成された無線周波数送信機と、放射された無線周波数パルスの反射波を受信
するように構成された受信機とを含み得る。該受信されたパルスは、動作、睡眠、呼吸及
び/または心拍などの生理学的特性を検出するために処理されてもよい。
特定の動作やジェスチャの検出または認識のためなど、無線周波数センシングのための
センサと処理を改善する必要があるかもしれない。
本技術のいくつかの実施形態の一態様は、ジェスチャまたは特定の身体動作を検出する
ためのセンサに関する。
本技術のいくつかの実施形態の一態様は、無線周波数信号によるジェスチャまたは身体
動作を検出するためのセンサに関する。
本技術のいくつかの実施形態の別の態様は、ジェスチャ認識または身体運動タイプ認識
などのパルス型無線周波数(RF)信号を生成するように構成された回路を備えたこのよ
うなセンサに関する。
本技術のいくつかのバージョンは、無線周波数動作感知装置を含み得る。該装置は、無
線周波数信号を放射するように構成された無線周波数送信機を含み得る。該装置は、放射
された無線周波数信号の反射波を受信するように構成された受信機を含み得る。この装置
は、放射された無線周波数信号の受信された反射信号を処理して動作出力信号を生成する
ように構成されたモーションチャネル回路を含み得る。該装置は、動作出力信号を評価し
、動作出力信号の振幅、位相及び周波数のうちの任意の1つ以上に基づいて動作を識別す
るように構成されたプロセッサを含み得る。
場合によっては、該識別された動作は、手ジェスチャ、腕ジェスチャ、または手と腕の
合成ジェスチャのうちの少なくとも1つを含み得る。該識別された動作は、寝返り動作を
含み得る。識別された動作は行動を含み得る。該識別された動作は、シェービング行動を
含み得る。
場合によっては、動作出力信号は、同相信号及び直角位相信号を含み得る。該放射され
た無線周波数信号は、パルス状の無線周波数発振信号を含み得る。モーションチャネル回
路は、バンドパスフィルタを含み得る。装置、またはその処理回路は、放射された無線周
波信号の受信された反射信号を、放射された無線周波数信号を表す信号で復調するように
構成され得る。装置またはその処理回路は、放射された無線周波数信号と、放射された無
線周波数信号の受信された反射波との間の時間差及び/または位相差を算出し、算出され
た時間差及び/または位相差に基づいて動作を識別するように構成され得る。
場合によっては、モーションチャネルはアンチ・エイリアシングフィルタを含み得る。
プロセッサは、動作出力信号の振幅、位相及び周波数のうちの任意の2つから算出された
複数の特徴に基づいて動作を分類するように構成されてもよい。プロセッサは、動作出力
信号の振幅、位相及び周波数のうちの任意の1つまたは複数で算出された持続時間に基づ
いて動作を分類または識別するように構成されてもよい。プロセッサは、動作出力信号の
振幅、位相及び周波数のそれぞれから複数の特徴を算出するように構成されてもよい。該
複数の特徴は、動作出力信号の振幅、位相及び周波数のうちの任意の1つ以上の分析から
導出された決まった持続時間を含み得る。
場合によっては、算出された複数の特徴は、以下の1つ以上を含み得る:
(a)停止周波数から動作中のジェスチャを経ていくつかの最大周波数まで、その後再
び停止に戻ることから導出される周波数特性;
(b)短時間フーリエ変換、ピーク及び高調波追跡及び/またはI及び/またはQチャ
ネルのチャネル処理のいずれをも含む信号の時間及び周波数分析;
(b)I信号とQ信号との間の位相差及び特性変化の平均の標準偏差の一定数以内の反
復信号の評価のいずれをも含む位相特性;
(c)ピーク及びトラフ検出、ゼロクロス検出、及び信号検出の包絡線のいずれをも含
む振幅特性;そして
(d)周波数、位相、振幅、平均及び/または標準偏差における偏った歪度、尖度、広
がり具合。
任意選択的に、プロセッサは、算出された複数の特徴を1つ以上の閾値と比較するよう
に構成されてもよい。プロセッサは、複数の所定の動作から1つを選択することによって
動作を識別するように構成されてもよい。プロセッサは、識別された動作の発生回数を計
数するように構成されてもよい。プロセッサは、識別された動作に基づいてデバイスの操
作のための制御信号を生成するようにさらに構成されてもよい。プロセッサは、異なる識
別された動作に基づいてデバイスの異なる操作のための異なる制御信号を生成するように
さらに構成されてもよい。プロセッサは、動作出力信号を評価し、複数のセンサからの動
作出力信号に基づいて動作を識別するように構成されてもよい。複数のセンサは、第1の
センサ及び第2のセンサを含み、プロセッサは、第1のセンサ及び第2のセンサからのI
及びQ信号を評価して動作を識別する。プロセッサは、第1のセンサ及び第2のセンサか
らのI信号及びQ信号のI微分及びQ微分を決定し得る。複数のセンサは、第1のセンサ
、第2のセンサ、及び第3のセンサを含み得る、プロセッサは、該第1のセンサ、該第2
のセンサ及び該第3のセンサからのI信号及びQ信号を評価して動作を識別し得る。装置
のいくつかのケースでは、3つのセンサのうちの少なくとも2つが互いに直交するように
配置されてもよい。評価されたI信号及びQ信号は、プロセッサによって使用されて、1
次元以上の運動特性を識別し得る。プロセッサは、移動物体の次のパラメータ:速度、速
度の変化、距離、距離の変化、方向及び方向の変化のうちの1つ以上を抽出するように構
成され得る。
本技術のいくつかのバージョンは、無線周波数動作感知ための方法を伴い得る。該方法
は、無線周波数送信機を用いて、無線周波数信号を放射することを含み得る。該方法は、
受信機を用いて、放射された無線周波数信号の反射波を受信することを含み得る。該方法
は、モーションチャネル回路を用いて動作出力信号を生成するために放射された無線周波
数信号の受信された反射信号を処理することを含み得る。該方法は、プロセッサにおいて
、動作出力信号を評価すること及び動作出力信号の振幅、位相、及び周波数のいずれか1
つ以上に基づいて動作を識別することを含み得る。
場合によっては、識別された動作は、手ジェスチャ、腕ジェスチャ、及び手と腕の合成
ジェスチャのうちのいずれか1つを含み得る。識別された動作は、寝返り動作を含み得る
。識別された動作は行動を含み得る。識別された動作は、シェービング行動を含み得る。
この方法の動作出力信号は、同相信号及び直角位相信号を含み得る。放射された無線周波
数信号は、パルス状の無線周波数発振信号を含み得る。モーションチャネル回路は、バン
ドパスフィルタを含み得る。
場合によっては、この方法は、放射された無線周波信号の受信された反射信号を、放射
された無線周波数信号を表す信号で復調することを伴い得る。この方法は、放射された無
線周波数信号と、無線周波信号の受信された反射波との間の時間差及び/または位相差を
算出すること及び算出された時間差及び/または位相差に基づいて運動を識別することを
含み得る。モーションチャネルは、アンチ・エイリアシングフィルタを含み得る。
場合によっては、この方法は、プロセッサを用いてまたはプロセッサ内で、動作出力信
号の振幅、位相及び周波数のいずれか2つから算出された複数の特徴に基づいて動作を分
類することを含み得る。プロセッサは、動作出力信号の振幅、位相及び周波数のうちの任
意の1つ以上で算出された持続時間に基づいて動作を分類または識別し得る。この方法は
、プロセッサにおいて、動作出力信号の振幅、位相及び周波数のそれぞれから複数の特徴
を算出することを伴い得る。複数の特徴は、動作出力信号の振幅、位相及び周波数のうち
の任意の1つ以上の解析から導かれた決定持続時間を含み得る。
場合によっては、算出された複数の特徴は、以下のうちの1つ以上を含み得る:
(a)停止周波数から動作中のジェスチャを経ていくつかの最大周波数まで、その後再
び停止に戻ることから導出される周波数特性;
(b)短時間フーリエ変換、ピーク及び高調波追跡、及びI及び/またはQチャネルの
処理のいずれをも含む信号の時間及び周波数分析;
(b)I信号とQ信号との間の位相差または特性変化の平均の標準偏差の一定数以内の
反復信号の評価のいずれをも含む位相特性
(c)ピーク及びトラフ検出、ゼロ交差検出、及び信号検出の包絡線のいずれをも含む
振幅特性;そして
(d)周波数、位相、振幅、平均及び/または標準偏差における偏った歪度、尖度、広
がり具合。
任意選択的に、この方法は、プロセッサにおいて、算出された特徴を1つ以上の閾値と
比較することを伴ない得る。この方法は、プロセッサにおいて、複数の所定の動作から1
つを選択することによって動作を識別することを伴い得る。この方法は、プロセッサにお
いて、識別された動作の発生回数を計数することを伴い得る。この方法は、プロセッサを
用いて、識別された動作に基づいてデバイスの操作のための制御信号を生成することを伴
ない得る。この方法は、プロセッサを用いて、異なる識別された動作に基づいてデバイス
の異なる操作のための異なる制御信号を生成することを伴い得る。
場合によっては、プロセッサは複数のセンサからの動作出力信号を評価し、評価された
動作出力信号に基づいて動作を識別し得る。該複数のセンサは、第1のセンサ及び第2の
センサを含み得、かつプロセッサは、該第1のセンサ及び該第2のセンサからのI信号及
びQ信号を評価して動作を識別し得る。プロセッサは、該第1のセンサ及び該第2のセン
サからのI信号及びQ信号のI微分及びQ微分を決定し得る。任意選択的に、複数のセン
サは、該第1のセンサ、該第2のセンサ、及び該第3のセンサを含み得、プロセッサは、
動作を識別するために第1のセンサ、第2のセンサ、及び第3のセンサからのI及びQ信
号を評価することができる。場合によっては、3つのセンサのうちの少なくとも2つが、
互いに直交するように配置されてもよい。評価されたI信号及びQ信号は、プロセッサに
よって使用されて、1次元以上の運動特性を識別し得る。
この技術の他の態様、特徴及び利点は、本開示の一部であり、例として本技術の原理を
示す添付の図面と併せて、以下の詳細な説明から明らかになるであろう。本技術のさらな
る態様は、添付の特許請求の範囲から明らかになるであろう。
以下、添付の図面を参照して、本技術のさらなる例示的な実施形態を説明する:
図1は本技術の無線周波数生理センサを用いた実施に適した例示的な検出装置のイラストである; 図2は本技術のいくつかの実施形態に適したセンサ信号の評価のための概念的構造及びプロセスフローを示す図である; 図3は本技術のいくつかのバージョンにおけるセンサ装置の処理を示すブロック図である; 図4は本技術に適した例示的なジェスチャ伝達関数の位相応答を示す図である; 図5aはセンサに対する距離による運動チャネル出力の大きさを示すグラフである; 図5bは別のセンサの距離に対する出力の大きさに対するモーションチャネルとジェスチャチャネルとを比較するグラフを含む; 図6aはセンサのバージョンに対するジェスチャチャネルの周波数応答を示す図である; 図7は例示的なセンサに関する動作ジェスチャを示す図である; 図8は図7の単一の動作ジェスチャと反復された動作ジェスチャそれぞれについての振幅、周波数及び位相応答を示す図である; 図9は図7の単一の動作ジェスチャと反復された動作ジェスチャそれぞれについての振幅、周波数及び位相応答を示す図である; 図10は図7の動作ジェスチャに関連付けられた位相応答の別のプロットである; 図11は例示的なセンサに関する別の動作ジェスチャを示す図である; 図12は図11の反復動作ジェスチャに対する振幅、周波数及び位相応答を示す図である; 図13はI信号とQ信号の差から動作方向の変化を検出する様子を示す図である; 図14はゼロ交差検出を用いるような計数行動ストローク方法論を示す; 図15はブロックベース分類を伴う行動検出のトレーニング処理方法を示す; 図16はジェスチャ行動信号のブロックごとの分類を示す図である; 図17はストローク検出及びストロークレート検出の信号グラフを示す; 図18aは1つの動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図18bは1つの動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図18cは1つの動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図19aは別の動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図19bは別の動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図19cは別の動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図20aはさらなる動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図20bはさらなる動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図20cはさらなる動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図21aはその上さらなる異なる動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相、及び周波数応答を示す; 図21bはその上さらなる異なる動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相、及び周波数応答を示す; 図21cはその上さらなる異なる動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相、及び周波数応答を示す; 図22aはさらに別の異なる動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相、及び周波数応答を示す; 図22bはさらに別の異なる動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相、及び周波数応答を示す; 図22cはさらに別の異なる動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相、及び周波数応答を示す; 図23aは別の動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相、及び周波数応答を示す; 図23bは別の動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相、及び周波数応答を示す; 図23cは別の動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相、及び周波数応答を示す; 図24aはその上異なる動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図24bはその上異なる動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図24cはその上異なる動作ジェスチャ及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図25aは寝返り動作及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図25bは寝返り動作及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図26aは別の寝返り動作及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図26bは別の寝返り動作及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図27aはさらなる寝返り動作及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図27bはさらなる寝返り動作及びその反復及び単一運動に対する適切なセンサによる振幅、位相及び周波数応答を示す; 図28aさらに別の寝返り動作及びその反復及び単一運動に対する適切なセンサによる振幅、位相、及び周波数応答を示す; 図28bさらに別の寝返り動作及びその反復及び単一運動に対する適切なセンサによる振幅、位相、及び周波数応答を示す; 図29aはマルチセンサ(例えば、ステレオセンサシステム)セットアップにおける最大直角(I/Q)位相検出を示す。常に最大位相を得るために、センサは互いに直交して設置されてもよい(動作が下方向に向いていない限り、この方向は図に示されていない)。 図29bはマルチセンサ(例えば、ステレオセンサシステムのセットアップ)の別の例を示す。図中の「スイートスポット」と記された区域は、曲がりビームパターンのために、両方のセンサにとって最適フォーカスである領域を示している。これは、センサが直交である必要はないことを示している。 図30はスペクトログラムからのカラーデータをRGBチャネルに分割し、主バイナリ・ラージ・オブジェクト(blob)領域を選択することによる画像データの処理を示す。
図1に示すように、本技術のいくつかの実施形態は、装置の近傍にいるユーザまたは患
者(患者は、検出装置100のユーザと同一又は異なる人物であってよい)の特定の動作
を検出するのに有用な、特別な処理方法論で構成されるようなものである、感知または検
出装置100を実装することができる。センサは、独立型センサであってもよく、または
呼吸治療装置または睡眠評価装置などの、他の装置と結合されてもよい。例えば、この装
置は同装置のセンサによって検出されたジェスチャまたは動作の分析に基づいた自動化治
療応答をオプションとして提供することができる。例えば、コントローラ及び流れ発生器
を備えた呼吸治療装置は、そのようなセンサを備えて構成されてもよく、また、そのセン
サによって検出された特定の動作またはジェスチャに応答して、患者インターフェース(
例えば、マスク)において発生される血圧治療を調整するように構成されてよい。該呼吸
治療装置は、例えば、国際特許公開第WO2013/152403号に記載されているよ
うな、呼吸療法またはPAP装置であってもよく、その開示全体は、参照により本明細書
に組み込まれている。
一般に、そのような動作またはジェスチャは、本質的に非自発的に周期的な生理学的特
徴(すなわち、呼吸または心臓行動による胸部の運動)ではなく、意図的にまたは潜在意
識の中で人によって作られたものであると理解され得る。この点で、特定の人間ジェスチ
ャによって発生されるセンサによって感知された運動信号を処理して、その特定の運動ま
たはジェスチャを識別または特徴付けることができる。例えば、手の動き、または特定の
手の動きでも検出することが可能である。
ベッドで寝返りする人により作られる運動(寝返り)などの大きな運動も認識できる。
そのような運動事象の特定された検出は、それらを計数するか、または(例えば、システ
ムをオンまたはオフにする、または他の制御信号を提供するように実装される)装置の制
御として機能することを可能にし得る。該技術はまた、揺すり、呼吸、及びより速い動作
(例えば、剃るまたは引っかく)のような生理学的な運動を分類するために実装されても
よい。呼吸数検出のためのそのような揺すり及びジェスチャ動作を特定及び排除すること
によるなどして、被験者が立っているかまたは座っているときの呼吸数検出の頑健性を改
善するように実装することが可能であろう。この技術は、例えば、かゆみ関連または不快
感関連動作の定量化のための皮膚科学的クリームの臨床試験において、持続的かゆみ、刺
激または不快感を有する被験者をモニターするために実装されてもよい。場合によっては
、剃刀刃やシェービングクリーム/ゲルなどの動作に依存する消費者製品の有効性を評価
し、シェービング動作などを理解するために実装することさえ可能であろう。
適切な処理回路(例えば、1つ以上のプロセッサ)を備えたセンサは、多くの異なるタ
イプの装置の構成部品(例えば、制御構成部品)として実装され得るジェスチャ検出装置
として構成され得る。例えば、テレビジョンまたはテレビジョン受信機は、異なるジェス
チャ(例えば、オン/オフ、音量変更、チャンネル変更など)を有するテレビまたはテレ
ビジョン受信機の操作を制御するためのセンサを含んでもよい。同様に、ジェスチャ検出
装置は、ゲームまたはコンピュータの操作を制御するためなど、ゲーム装置またはコンピ
ュータのユーザインターフェースの一部として構成されてもよい。このようなジェスチャ
検出装置は、ユーザインターフェースを使用する他の多くの装置に実装されてよく、それ
によって該ユーザインターフェースをジェスチャ制御ユーザインターフェースとして実装
されてよい。例えば、プロセッサまたはコントローラは、1つ以上のセンサからの信号を
評価し、該プロセッサまたはコントローラにおいて、特定の運動またはジェスチャを識別
し、かつ応答して、表示されたユーザインターフェース(例えば、LCDまたはLED画
面のような表示装置上に表示されるものなど)に対して可視(または可聴)変更の生成を
起動する。識別されたジェスチャまたは起動された変更は、1つ以上の制御信号を送出し
て、該プロセッサまたはコントローラに連結されるかまたは通信する、デバイス(例えば
、コンピュータ、テレビ、コンピュータゲーム・コンソール、ユーザ機器、自動機械、ロ
ボットなどを制御するために、使用されてもよい。
このような装置のレーダーセンサのような典型的なセンサは、距離ゲートセンシングの
ための高周波パルスのような、高周波を放射するために送信機を使用してもよい。受信機
は、該送信機との結合されたデバイスにオプションとして含まれてもよく、高周波の反射
バージョンを受信し処理するように構成されてもよい。該受信された反射信号に基づいて
ジェスチャまたは動作認識のために、センサを起動させる装置のプロセッサを用いるなど
して信号処理を使用してもよい。
例えば、図2に示すように、送信機は、被験者、例えば人間の方へ高周波信号を送信す
る。一般に、RF信号源は局部発振器(LO)である。反射された信号は、次いで、受信
され、増幅され、元の信号の一部と混合され、このミキサーの出力が次いでフィルタリン
グされ得る。場合によっては、受信信号/反射信号は、送信信号によって復調されてもよ
く、あるいは受信信号と反射信号との間の位相または時間差が決定されてもよい。例えば
、米国特許明細書第2014−0163343−A1号に記載されているように、その開
示全体が参照により本明細書に組み込まれている。
結果得られた信号は、人の運動(例えば、ジェスチャ)、呼吸及び心臓アクティビティ
に関する情報を含み、また生モーションセンサ信号と呼ばれている。場合によっては、信
号の運動情報がその特定のジェスチャまたは運動タイプについて分類されるように、無意
識な周期的アクティビティ(例えば、呼吸及び/または心臓アクティビティ)を排除する
ために信号が処理されてよい。場合によっては、センサは、米国特許出願公開明細書第2
014/0024917号に記載されているセンサであってもよく、その全体の開示は参
照により本明細書に組み込まれている。
センサは、検出された信号を処理するための様々なモーションチャネルを含んでもよい
、例えば、そのようなセンサは、ジェスチャチャネル出力信号を提供するためにジェスチ
ャプロセッサを備えて実装されてもよい。これは、モーションチャネル出力信号を提供す
る運動プロセッサとは異なることがある。複数のプロセッサを有することにより、異なる
動作評価に対して異なる特性(例えば、異なる帯域幅、異なるサンプリングレートなど)
を有する信号の出力を可能にすることができる。例えば、呼吸または心臓の信号ではなく
、ジェスチャ信号に、より多くの情報が存在する可能性がある。例えば、ジェスチャ信号
は、より広い範囲の動作速度の検出を表す情報を含み得る。例えば、毎秒1メートルの運
動があると、10.525GHzの受信機で70Hzのベースバンド信号が発生する可能
性がある。典型的なセンシングシナリオは、1mm/秒から5m/秒の間の速度を検出す
ることができる。ジェスチャ検出については、10Hz(1cm/秒から5m/秒まで)
を超える周波数を評価することができる。呼吸については、検出は1mm/秒から約1m
/秒までの範囲の速度に対応する周波数の評価を伴うことがある。したがって、運動プロ
セッサは、よりゆっくりした運動に焦点を当てた信号を生成することができ、ジェスチャ
プロセッサは、ゆっくりとした運動とともにより速い運動の両方を含み得るはるかに広い
帯域の信号を生成することができる。したがって、センサは、受信したセンサ信号の信号
処理のために、アナログ及び/またはデジタル回路構成要素を実装することができる。こ
のセンサは、少なくとも部分的に、1つ以上のデジタル信号プロセッサまたは他の特定用
途向け集積チップにオプションとして実装することができる。したがって、図3に示すよ
うに、センサは、特定の伝達関数(Hg)を実装するためのジェスチャプロセッサととも
に、特定の伝達関数(Hm)を実装するための追加の運動プロセッサを備えて実装されて
もよく、それらのいずれかが動作出力信号を生成するための動作プロセッサまたはチャネ
ル回路と考えられ得る。
例えば、ある場合には、センサは、振幅、周波数及び位相が次式によって与えられる直
角位相出力信号(I及びQ)を提供するジェスチャチャネルを有することができる:
Figure 2021099348
Hg(jω)は、ベースバンド回路またはベースバンドプロセッサにおけるようなセン
サジェスチャチャネルの伝達関数であり;
A(x)は復調された受信信号強度であり、したがって目標レーダ断面積(サイズ)及
び目標距離(x)に依存する;
x(t)は時間経過とともに目標の変位、
λは、10.525GHz周波数信号(例えば、28.5mmの波長)に対応するRF
信号(自由空間の波長の波長であり、そして
Jωは、システムの周波数応答であり、ここにωは角速度、jは複素数(0+√−1)
であり、位相情報を提供する)。
ジェスチャチャネルは、運動に対する周波数応答を有する。t0で開始しt1で終了す
る時間間隔dtにおいて、センサに近づいて又は離れて位置x0から位置x1までの距離
dxを移動する線速度vを有する帯域内移動信号に対して、ジェスチャチャネル出力信号
周波数fが次式によって与えられる、
Figure 2021099348
10.525GHz、28.5mmλセンサの場合
f〜70.17v............ここにf(Hz)及びv(m/s)))
ここで、1/s)、v (m/s)及び2/175 (m ^ -1)となるように単位は両辺で整合す
る。ここで、λを考慮して、wf(1/s)、v(m/s)及び2/λ=70.175(
m^−1)。70の一定値は、実際には1/(2λ)であり、m−1の次元を有する。
一般に:
2 v(t) /f(t)=2v(t)/λ
典型的には、任意の特定の周波数における出力信号の振幅は、ジェスチャチャネル伝達
関数の周波数応答に依存する。
ジェスチャチャネルはまた、目標物(例えば、人の手など)の運動に対する位相応答を
有することになる。IチャネルとQチャネル間の位相差は90度である。その結果、図4
に示すように、IとQ信号のリサージュ曲線は円である。周波数(サイクル時間)は目標
速度によって決定される。振幅は、目標距離、目標断面によって及びジェスチャチャネル
伝達関数によって決定される。位相器の方向は、時計回りまたは反時計回りのいずれかで
あり、センサに向かうまたは離れる動作の方向に依存する。
ジェスチャチャネルまたは別の、一般的な運動専用、チャネルはまた、非ジェスチャ関
連運動に対する振幅応答も有することができる。そのI及びQ対応チャネルの振幅は、目
標距離、目標断面によって及びモーションチャネル伝達関数によって決定される。一例と
して、固定目標及び帯域内目標速度に関するモーションチャネル信号振幅対目標距離の対
数プロットは図5aに示すとおりである。
図5bは、図5aとは異なるセンサの距離にわたる特定の運動に応答する2つのチャネ
ル(モーションチャネル及びジェスチャチャネル)のマグニチュード応答を比較する。ジ
ェスチャチャネルは、モーションチャネルと同様の特性を有する。図5bは、図5aのも
のと比較して、異なるアンチエイリアシング・フィルタリングを備えたような、バージョ
ンのセンサのチャンネル振幅応答を示す。レーダー方程式と関連アンテナ利得伝達関数と
ともに、反射信号の非線形散乱に原因して、距離(例えば、1/XN、1.5<N<3)
の関数として受信信号レベルが低下する。
したがって、ジェスチャチャネルからのジェスチャ出力信号及び/または(ジェスチャ
チャネルと同じであってもなくてもよい)モーションチャネルからの運動信号の処理によ
って、特定のジェスチャまたは運動が1つ以上のプロセッサにおいて検出され得る。これ
は、信号から特徴を算出し、特徴及び/またはの特徴の変化を1つ以上の閾値と比較する
ことによって、または信号のパターンを識別することによって達成され得る。信号のその
ような特徴は、例えば、信号の位相、振幅及び/または周波数の平均値または中央値、こ
れらの値のいずれかの標準偏差など、信号に関連付けられたパラメータの統計値であって
もよい。
適切な特徴は、分類器のトレーニングによって決定され得る。算出された特徴の分類は
、次いで、トレーニングされた分類器を用いたジェスチャ検出の基準として役立つ。例え
ば、1つ以上のプロセッサは、ジェスチャ信号の位相、振幅及び/または周波数特性のう
ちの任意の1つ以上を評価して、特定のジェスチャまたは運動に関連付けられた信号にお
けるパターンまたは他の指標を検出し得る。場合によっては、該特性は、振幅リズム(a
mplitude cadence)(例えば、振幅及び側波帯)及びジェスチャが持続
する間の時間を含み得る。この点に関して、信号の分析は、センサを基準としたある特定
の動作(例えば、該センサに近づくまたは離れる)に関して生成される信号特性の識別を
可能にする。これは異なる動作が、定義の異なる振幅、周波数及び/または位相特性を生
成し得るからだである。そのような分析は、いくつかのジェスチャ(例えば、異なる所定
のトレーニングされたジェスチャのグループから1つを選択する)を区別するように特定
のジェスチャのパターンを選択することを含み得る。場合によっては、システムはまた、
運動またはジェスチャ信号の認識された正しいまたは誤った検出に基づいてユーザからの
フィードバックを処理し得る。システムは、この入力に基づいて分類を随意に更新するこ
とができ、パフォーマンス/認識を最適化するために、特定のジェスチャの1回以上の繰
り返しを行うようユーザに随意に促すことができる。このようにして、システムは、特定
のユーザのジェスチャに適合(パーソナライズ)し、異なるユーザのジェスチャを識別し
分離(区別)するように構成され得る。
この点に関して、センサに向かうまたはセンサから離れる速いまたはゆっくりした及び
または長いまたは短い手ジェスチャチャは、明確に検出可能な信号を生成することができ
る。センサを横切る動作は、センサに向かう及び離れる運動成分を生成するが、この動作
成分は小さい。したがって、センサを横切る動作は、顕著な特性を生成するが、より小さ
い振幅、より低い周波数においてであり、かつ中心線に基づく位相変化を生じる。
センサに向かう動作は、動作がセンサから離れるときに反転される特定の位相回転を常
に有する。従って、位相はジェスチャの方向情報を提供することができる。周波数スペク
トログラムは、特定のジェスチャに関して特徴的な動作速度を明確に示し得、スペクトロ
グラムの特徴を処理することによって識別され得る。
振幅特性は、振幅が位置(センサからの距離)とともに目標断面/サイズによって変化
することが見られるので、使用前に信号調整が必要な場合がある。
目標の半径方向の速度と方向を抽出することが可能である。センサ範囲(例えば、1.
8〜2m)内では、それは、近くにある小さな目標またはさらに離れた目標であってもよ
い。したがって、ジェスチャチャネルから抽出された、速度、速度の変化、距離、距離の
変化、方向、方向の変化などは、特定のジェスチャの検出のための特性としても機能し得
る。
一般に、ジェスチャ及びモーションチャネルから出力される信号の周波数及び振幅は、
ベースバンド回路の増幅及びフィルタリングに依存する。1つのバージョンでは、ジェス
チャ/運動伝達関数を実装する回路は、所望の範囲(例えば、約0.86Hz〜161H
z)における利得(例えば、9.5)及び周波数BW(帯域幅)(例えば、約160Hz
)を有する帯域通過濾波増幅器(band pass filtered amplif
ier)で構成されてよい。そのような例は、図6aの伝達関数シミュレーショングラフ
に示されている。これは、オプションとして、ローパスフィルタとハイパスフィルタの両
方で実装されてもよい。
いくつかのバージョンでは、ジェスチャチャネルは、アンチエイリアス・フィルタを含
み得る。ジェスチャチャネル周波数特性は、より大きいまたはより小さいアンチエイリア
シング・フィルタリングを含み得る。この特定の例に示されているように、160Hzの
帯域端において信号レベルが10%未満(利得が6.7から6.1に低下)である。場合
によっては、アンチエイリアシング・フィルタリングは、上記の段落で説明したバンドパ
スフィルタによって実装されてよい。
場合によっては、プロセッサは、センサの放出された信号と受信された信号との間の時
間差または位相差を算出し、該算出された時間差及び/または位相差に基づいて特定の動
作/ジェスチャを識別し得る。
以下では、例示的なジェスチャ検出について、プロセッサによって実行される分類器に
よる検出のためのように、システムにおいてトレーニングされてよい手及び/又は腕の動
きなどの、ある特定のジェスチャ/動作を参考にして説明する。他のジェスチャもトレー
ニングされてよい。
例えば、いくつかのバージョンでは、処理方法(例えば、アルゴリズム処理ステップ)
のグループ及び関連デジタル信号処理は、呼吸による胸部の運動、揺すり検出及び除去、
並びに手や腕の動き、剃る(例えば顔の)または掻く(例えば、物理的刺激又は不快によ
る)などの多数の行為に起因する身体全体及び微少運動検出(ジェスチャ検出)によって
引き起こされるものを含む、生理的繰返し及び/又は変化する動作を決定するために実施
され得る。そのようなシステムへのキー入力特徴は、検出された信号の振幅(時間)、周
波数及び位相特性のいずれか1つ以上から導出される。
本質的には、適用される処理は、大きなノイズ及び交絡成分(センサ固有のノイズ、セ
ンサ信号「フォールドオーバー」(周波数依存)、センサ位相不均衡(存在する場合)、
異なるタイプの生理的運動、及び他の動作源と背景クラッタに起因した)の存在下で同相
(I)及び直角位相(Q)信号からの方向変更情報の解明を可能にする。処理されたチャ
ネル信号(同相及び直角位相)は、無線周波数RADARによって記録され得る、そして
適切なADCモジュールを使用してデジタル化され得る。これらのRF信号は、パルス状
(例えば、10.525GHzのセンサ等に適用)の連続波、すなわちパルス連続波にな
ることができる。
信号はフィルタバンクに供給又は入力され得る。該フィルタバンクでは、バンドパスフ
ィルタリングを含む一連のデジタルフィルタが低周波揺すり情報を検出して除去するため
に適用される。
2つのチャネルの位相情報は、時計回り/反時計回りのパターンを生成するために比較
され得る。ヒステリシスとグリッチ検出は、信号折り返しを抑制するために適用され得る
、そして結果得られた信号は、基準のセンサフレームへの運動源の相対的な方向を表す。
ピーク/トラフ検出及び信号追従は、この処理を支援するために追加的に実施され得る。
したがって、システムは、運動がセンサに向けられているか又は離れているか及び方向を
変えているかどうかを判断することができる。
センサ上のアナログフィルタリングは、いくつかのバージョンにおいてサンプリング前
に帯域幅を広げるように修正することができる。
例示的なジェスチャ/運動
ジェスチャA:
検出可能なジェスチャAは、図7〜図10を参照して考察され得る。実施例Aにおいて
は、ジェスチャは人がセンサの前方約70cmに着座するときなど、手の動きに基づいて
いる。この運動はセンサから約40cmで手のひら(上向きにまたはセンサの前方を向い
ている)手のひらから始まる。これは、全体動作中の最も遠く離れた点であった。最も近
い点は、約15cmかもしれない。手をセンサに向かって伸ばして(動かせて)(1秒か
かる)短い休止後引き戻す(1秒かかる)。この運動は、正弦波の繰り返しと考えてもよ
い。完全なジェスチャは約2秒かかる。ジェスチャチャネルからのセンサ記録は、単一の
ジェスチャ(図8では10回と図9では1回)の繰り返しに関して示されている。図8は
、変化する振幅対時間、周波数(スペクトログラム)、及びジェスチャチャネルからセン
サ記録の時間に対する変化する位相データのプロットを示している。位相方向は、図8,
図9及び図10に示すように、異なる軸にI及びQ信号出力を適用することにより、時間
に対してプロットされてもよい。
図8〜図10は、センサに向かう動作が固有の位相回転を有し、これは動作がセンサか
ら離れているときに反転されることを、ジェスチャAに関連して示している。したがって
、この位相の分析は、ジェスチャの方向性情報を提供することができる。
周波数スペクトログラムは、ジェスチャに関する特徴的動作速度を明確に示す。この周
波数「チャープ」は独特なパーソナリティ(すなわち、プロセッサにおいて分類すること
ができる)を有している。図9は、図7に概略示された動作/ジェスチャのクローズアッ
プ図を描写している。図8は、このジェスチャの複数のインスタンスを描写している;時
間ドメイン信号振幅がされるとともに、スペクトログラム及び位相もプロットされている
。該スペクトログラムは、x軸上に時間、y軸上に周波数、そして特定の周波数に関して
特定の時間における強度を異なる色として示している。この例では、被験者はセンサの前
方約70cm着座した。この運動は全体動作中で最も遠く離れた点である、センサから4
0cmにおいて手のひら(上向き)で始まる。最も近い点は15cmであった。手をセン
サに向かって伸ばして(1秒)、短い休止後引き戻す(1秒)。その意図は、正弦波を繰
り返すことであった。完全なジェスチャは2秒かかった。完全なジェスチャは10回繰り
返された(図8による)。図9は、運動がセンサに向かっている、センサに接近している
、次にセンサから離れている場合を示している。この場合について、最大周波数は90〜
100Hzの範囲にあることが見られる。位相はセンサに向かって動作中に時計回りに、
離れるときにび反時計回りに動くことが見られる。図10において、I及びQ(同相及び
直交位相)チャネルが、位相方向のための分析の第2の方法として、MATLAB(登録商標)(Mathworks社、Natick)を使用して3D図形上の時間に対してプロットされた。
振幅が位置(センサからの距離)とともに目標物断面/サイズに応じて変化するように
見られるので、振幅特性が使用前に信号調整を採用してもよい。
目標物の半径方向速度及び方向も抽出され得る。センサ距離(例えば、2m)内では、
それ(目標物)は接近した小さな目標物またはより離れたより大きな目標物であるかもし
れない。
ジェスチャB
別の検出可能なジェスチャB(腕及び手)は、図11及び図12を参照して考察するこ
とができる。運動は一杯に伸ばした腕で始まる。図11に示すように、手は次いで身体を
横切って完全にスイングされる。腕がセンサ近傍(5cm)からセンサから最も離れる(
135cm)まで動かされるにつれて、手のひらは自然に上向きから下向きまで変化する
。ジェスチャの途中点で(頭の上方での腕のスイングアークのピークにおいて)手のひら
方向が変化する。
完全なジェスチャは4秒未満かかり、また例えば着座位置で行うことができる。
約2m/秒の速度を有するジェスチャBは、140Hzの周波数を生成する。これは、
0m/秒の開始及び終了速度で1秒の周期にわたって1mの距離内で生じる。
センサは検出のために人のほぼ近くに配置されてもよい(例えば、胸の中心から95c
m)。例えば、ジェスチャの全体運動の間中最も遠くに離れた点は、センサから約135
cmであってよい、かつ最も近い点は約5cmであってもよい。そのような最も近い及び
最も遠くに離れた点は指の先端からの測定を基準にして考慮されてよい。図12は、ジェ
スチャの検出のために処理されてよい振幅、周波数及び位相特性を示す。
シェービング動作
システムは多くのタイプの行動に適用されてよいが、好ましくは、反復動作に関連した
ものがよい。例としては、水洗い、髪をとかす、ブラシをかけるまたは磨く(例えば、毛
髪または歯)またはシェービングストロークなどの行動を検出及び分類することが挙げら
れる。場合によっては、システムは、記録された一次動作が特定の行動(例えば、シェー
ビング情報及び/または水洗い情報)を含むと仮定してもよい。ジェスチャチャネルを分
析することによって、例えば、ストローク総数の推定、動作の方向の変化の検出を求める
ことができる。同様に、ストロークの相対的な方向‐アップ/ダウンまたはダウン/その
他、等を求めることができる。動作源の相対的な方向を検出することができる。ストロー
クレート(ストローク数)を求めることができる。
起こりそうなストロークイベントを検出することにより、毎分当たりストロークレート
の推定値を算出し、提供することが可能である。高いピークレートのイベントは、起こり
得る水洗いイベントとして標示されている。
システムのいくつかのバージョンでは行動タイプまたはジェスチャプロセッサは、以下
の処理工程のいずれか一つ以上を実施し得る:
‐ジェスチャ信号のスペクトル成分を算出する
‐高速フーリエ変換を適用してローリング・ウィンドウでのピーク(周波数ドメイン)
見つける
‐各正弦波様ピーク間の距離を算出する
‐信号のゼロ交差を算出する(時間ドメイン)
‐運動及び持続時間の相対的な方向を推定する
‐2つのチャネル間の位相シフトを抽出する。
短時間フーリエ変換またはウェーブレットのような代替的な時間周波数解析も実現され
得る。
一般に、複合型センサ信号は、腕の動き、頭の動き、胴体の動き等に基づいている。他
の動きも検出することができる。
いくつかのバージョンでは、時計回り/反時計回り方向変更情報は、方向の変化を表す
ためにインパルスを生成するようにクロックされてもよい。これらのパルスはカウンタに
対して実装され得る、そして異なる発生回数にグループ化され得る。図13は、I/Q位
相信号差が変化するにつれて検出のための方向の変化を示している。
したがって、シェービングの行為と整合の取れた典型的な回数は記録されることができ
、よってシェービングの周期が推測されることができる。超高周波数情報に関連付けられ
た回数の増加は、顔への腕の動き、またはカミソリ刃の水洗いとして推論されることがで
きる。
シェービングまたは他の動作及びジェスチャ検出用のRFセンサを使用することの利点
は、ユーザまたはユーザグループからの写真/ビデオをキャプチャ及び処理する、例えば
ビデオベースのシステムに対するプライバシーの向上である。
レートの減少及び方向の変化は、呼吸を検出するために使用することができる。加えて
、時間ドメインと周波数ドメイン処理は、特定の帯域を局在化するために信号に適用され
る。
呼吸は、予期しない方向変化挙動特性とともにレートの相対的な変化を検出することに
よって交絡人体揺すりからさらに区別されることができる。図13は、I/Q位相差が変
化するにつれての方向変化検出を示している。図13において、左上パネルのIQプロッ
トは、時計回り方向に動いているトレースを表している、また左上パネルは反時計方向に
動いているトレースを示している。時計回りから反時計回り方向(またはその逆)への変
化は、その中のトップラインによって左下及び右のパネルに示されている方向変更トレー
スを生じさせる。中間及びボトムラインは、この例では、I又はQチャネルのいずれかを
それぞれ表している。
一実施例バージョンにおいて、行動のストローク(例えば、シェービングストローク)
は、以下に挙げる処理を適用して計数することができる:
‐バンドパスdフィルタリング
‐時計回り/反時計回りから状態の変化を算出する。
‐ヒステリシスを付与する(信号の小さなブリップ上に不リッピング状態、例えば、折
り返しを避ける)。
‐ゼロ点の周りの特徴更新を抑制する
‐結果得られた信号を微分する。
‐(例えば、戻りストロークを識別するために)遷移回数を計数する。
このような検出処理を示す信号グラフを図14に示す。
このようなジェスチャ/行動検出トレーニングを実行する際に、図15に示すように、
分類は次のように行われてもよい。センサからの一組の記録が読み出しステップ1502
においてアクセスされてよく、トレーニングセットとして使用されてよい。(位相、周波
数及び振幅を有する)適切な検出特徴は、例えば特徴生成ステップ1504において生成
されてよい。トレーニング・セットアップ・ステップ1506において、分類器の構成は
、特定の動作/ジェスチャに関して作成されてもよい。その後、ある動作を、算出された
特徴の最も関連するものに関連付けるために、特徴がトレーニング分類ステップ1508
においてを処理されてよい。さらなるトレーニングがチェックステップ1512において
所望される場合、例えば改善された分類トレーニングが所望される場合、トレーニング分
類を繰り返してもよい。事前テスト・セットアップ・ステップ1505において、分類器
の構成は、先に分類された動作/ジェスチャの特徴を評価するためにアクセスされてよい
。これらの事前分類された動作は、その後、分類ステップ1507において新たに生成さ
れた特徴と比較して、その特徴に基づいて、事前分類された動作の1つを識別してもよい
。任意選択的に、トレーニングやテストからの分類器の性能を、識別された特徴を用いて
ビデオ性能ステップ1510、1509において評価して、ビデオを利用したアノテーシ
ョン(すなわち、同時ビデオが既知のジェスチャのパフォーマンス(実行)中に記録され
て動作信号の後からのアノテーションのためのタイムスタンプ基準として作用する:これ
は信号の人間の採点及び/または実行される対象の動作/ジェスチャ・イベントの別々の
ログを必要とする)と比較してよい、そして比較の結果に基づいて、特徴を微調整する必
要があり得る。独立したテストセットを次いで使用して、結果得られた特徴の構成をテス
トしてもよい。この種の教師あり学習(教師なし学習も他の技術を使用して可能である)
については、独立したテスト・セットは、システムの見込みのある現実世界のパフォーマ
ンス(すなわち、未知のデータのパフォーマンス)をチェックするためにトレーニングセ
ットに使うにはためらわれている。開発プロセスの間に、反復はパフォーマンスを最大化
するためにトレーニングセット上で行われ、可能な限りパフォーマンスをの最大化する最
小数の特徴を使用することを目指している。主成分分析(PCA)または他の次元削減は
、このような特徴を選択するために実装されてもよい。ステップ1502、1504、1
505と1507は、トレーニング及び試験を実施しいない場合に、前述したように動作
識別を行う目的のために、検出装置100内のまたは関連付けられた、プロセッサまたは
コントローラによって実施されてよいことが認識されるであろう。
例えば、コルモゴロフ−スミルノフ(Kolgomorov−Smirnov:KS)
の適合性度仮説の統計的検定は、データの目標ブロックの累積分布関数をトレーニングデ
ータと比較するために実施されてもよい。そのようなブロック毎の分類は図16の例に示
されている。この分類は、以下のプロセスのいずれか一つ以上を用いて実施してもよい。
(1)バイオモーション(生き物の運動)ブロック分割
I信号及びQ信号のデータが連続非重なりブロックまたは部分重なりブロックのいずれ
かのに分割することができる。例えば、50%の重なりを有する1160サンプル(1
60Hzで1秒)のブロック長さ、またはなにか他の組み合わせが使用できるかもしれな
い。計算の複雑さは、ブロックの長さを変えることによって、及び/または重なりの量を
変化させることにより精度に代えることができる。
(2)ブロック前処理
データのブロックをチェックして、データが存在または不在セクション内に入るかどう
かを確認することができる(すなわち、1つのセンサまたは複数のセンサの範囲内の呼吸
数及び/または心拍を持つユーザが存在するか;15秒と60秒間で呼吸数検出について
は、複数の呼吸サイクルを検出するためにデータの追加が必要になることがある。さらに
、ブロックをチェックして可能なRF干渉信号が検出されないことを確認してもよい(す
なわち、動作/ジェスチャ信号をRFトランシーバによって検出されるかもしれないRF
干渉の強いソースから区別するために;また、ファンのような他の非バイオモーションソ
ースがこの段階で検出され、拒否されてもよい)。検討中のブロックがこれらの基準を満
たしていない場合、それは任意選択的に、それ以上分類されないでもよい。ユーザが実際
にセンサの近傍にいる可能性を確認するために、1つのブロックまたは複数のブロックは
また、ユーザや部屋環境の他の情報源と相互参照及び/または相関されてよい;例えば、
ウェアラブルデバイスからのデータ、携帯電話からの場所や動作データ、室内環境のセン
サ、ホームオートメーションやその他のセキュリティセンサからのデータ。
(3)特徴抽出
考慮中のブロックについては、時間ドメイン(時間的)及び周波数ドメインまたは時間
/周波数特徴の数(すべてまたはサブセット)を次のように算出することができる。異な
るブロックの長さを同時に考慮することができることに留意されたい。
‐I&Q信号の(または導出された特徴の)変換されたトリム平均及び中央値(当該変
換は、例えば、平方根、2乗または対数であるがこれらに限定されない)
‐規定された範囲(例えば、5%から95%までのレンジまたは四分位範囲のレンジで
あるがこれに限定されない)をカバーして、補間または他の方法を用いては算出された、
信号における変換された広がり具合(当該変換は、例えば、平方根、2乗または対数であ
るがこれらに限定されない)。
− ヒルベルト変換を使用した信号(I&Q)のエンベロープ
− 信号の周囲の例に対する信号(I&Q)の相対振幅
− 信号(I&Q)のゼロ交差
− 移動窓内のピーク周波数
− ピーク周波数対2倍波及び3倍波の比
− 位相方向(時計回りまたは反時計回り)
− 位相速度
− 信号内の呼吸信号及び/または心臓信号の存在(またはその欠如)(すなわち、動
作をバイオモーション、例えば、人によって作られたもの動作に関連づける)
− I&Qチャネルにおける類似の動作信号または動作信号の差の存在
(4)ブロック分類
一例として、特性分布を有する入力特徴集合について、Kolgomorov−Smi
rnov(KS)2サンプル・ノンパラメトリック適合性(goodness of f
it)検定を使用してこの基準サンプル(例えば、時間、周波数、位相等から導出された
シェービング運動、特定の手のジェスチャの特徴)を、センサ(単数または複数)によっ
て捕捉された新たなサンプル分布(例えば、検出された新たなサンプルの経験分布関数と
基準分布の累積分布関数との間の距離を定量化すること)と比較してもよい。KSの多変
量バージョンが実装されてもよいが、これは複数の累積密度関数の比較を行うことが必要
になり得る。
別の例として、Fisherの線形判別ルールに基づく線形判別分類器(LDC)が、
各非重なり(non−overlapped)または重なり(overlapped)ブ
ロックに適用される。供給されるデータの各ブロック毎に、複数の所定の出力クラス−例
えば、異なる動作又はジェスチャ状態が存在する。分類器は、入力特徴の集合に応答して
、各クラスの確率推定値を表す数字の集合を出力する。線形判別式は、超平面の集合を使
用して、特徴空間を異なるクラスに分割する。モデルの最適化は、直接計算によって達成
され、ニューラルネットワークのように他のモデルを基準にして非常に速い。
LDCのトレーニングが次のように進行する。xをデータ集合から算出した特徴値を含
むdx1列ベクトルとする。xをcの可能なクラス(我々のケースではc=2)の1つに
割り当てたい。合計N個の特徴ベクトルは分類器をトレーニングするために利用可能であ
り、特徴ベクトルの数がNに等しいクラスkを表す、すなわち:
Figure 2021099348
クラスkにおけるn番目のトレーニングベクトルが、xk,nとして表される。クラス
条件付き平均ベクトルμが以下のように定義される:
Figure 2021099348
ここで、すべてのクラスにわたって定義された共通共分散行列を定義する(つまり、各
クラスがその平均値においてのみ異なり、その高次統計量においては異ならないと想定す
る)。共通共分散行列は次のように定義される:
Figure 2021099348
μ及びΣはトレーニングデータを使用して算出される。いったんこれらの値が算出さ
れると、任意のデータベクトルxについての判別値yが次式を用いて算出することがで
きる:
Figure 2021099348
ここに、πはクラスkからのものであるベクトルxの事前確率である。次式を用いて
判別値を事後確率に変換するのは簡単である:
Figure 2021099348
この公式化は、判別値から事後確率へのマッピングを提供する。xに割り当てられた最
終的なクラスは最高の事後確率を持つクラスである。これはブロック出力となる。
しかし、このシステムはまたニューラルネットワーク、深層学習分析等の方法を採用す
ることができる‐特に合理的な計算能力が利用可能である場合。(例えば、画像処理に使
用し得るような)形態素信号処理を含むより複雑な方法は、より複雑な分類方法を使用す
るとき特徴分析を増強することができる:これらは、複雑な動作/ジェスチャで見られる
パターンを検出するのにより適切であり得る。
行動の周期的性質は、行動に関してIチャネル、Qチャネル、ストロークとストローク
レートを示す、図17の信号のグラフにさらに示されている。シェービング行動を想定し
ているこの例では、4番目の(一番下の)軸が、黒ドット(一番下のパネルに「ストロー
クレート」とラベル付けされた図17中に「DD」とラベル付けされた−高レート区域が
これらのリンス点を示している)で予想カミソリ洗い周期を示している。これはシェービ
ング行動の周期的性質の検出を明らか に示している。
さらなる例示的ジェスチャ/運動
図18〜図25にさらに示しているように、追加の動作ジェスチャがセンサ・ジェスチ
ャ・チャネル信号の位相、周波数及び/または振幅の分析によって検出され得る。センサ
から一定の距離が設けられているが、これらの距離は、センサの構成された検出範囲に応
じて変更され得ることが認識されるであろう
ジェスチャ1:
ジェスチャ1は、図18a〜図18cを参照して考察することができる。この例では、
センサは、胸の中心からのある距離(例えば、70cm)に配置することができる。セン
サは、(図18aの視聴者の方向にジェスチャ被験者から離間されている(これはまた、
後続の図19a、図20a、図21a、図22a、図23a及び図24aにも当てはまる
)。全体動作の間中で最も遠く離れた点がセンサから約55cmのものであってもよいし
、最も近い点が約45cmであってもよい。最も遠く離れた点は、指の先端を基準にして
測定されてよい。図18aに示すように、腕をセンサに平行にして手の運動が行われる。
手だけがセンサに鉛直に前後に動く。完全なジェスチャ1は、約2秒かかる。この運動は
、着座位置または立ち位置から行われてよい。図18b(ジェスチャの10回の反復)及
び図18c(単一のジェスチャ)に示すように、位相、周波数及び振幅のうちの任意の1
つ以上の特徴が、ジェスチャまたは繰り返しジェスチャの検出のために分類されてよい。
ジェスチャ2:
ジェスチャ2は、図19a〜図19cを参照して考察することができる。この例では、
センサは、胸の中心から約70cmに位置付けられた。ジェスチャは、センサの前で手を
振ると考えてもよい。全体動作中で最も遠く離れた点がセンサから約50cmであった、
最も近い点が約45cmであった。最も遠く離れた点は、センサから約24度の角度で指
の先端まで測定された。図19aに示すように、運動はセンサに平行な腕で始まる。手の
みがセンサに平行に前後に動く。完全なジェスチャは約2秒未満かかる。この動作は立っ
たまま横たわったまま、若しくは着座位置から行ってもよい。
図19b(ジェスチャの10回の繰り返し)及び図19c(単一のジェスチャ)に示す
ように。位相、周波数及び振幅のうちの任意の1つ以上の特徴がジェスチャまたは繰り返
しジェスチャの検出のために分類されてよい。
ジェスチャ3:
ジェスチャ3は、図20a〜図20cを参照して考察することができる。この例では、
センサは胸部の中心から70cmに位置付けられた。全体動作中で最も遠く離れた点がセ
ンサから約85cm、最も近い点が45cmであった。最も遠く離れた点が指の先端を基
準にして測定される。最も近い点は、センサから腕までの最短距離であって、指の先端で
はない。図20aに示すように、腕と手の運動は、センサに平行な腕で始まる。腕はその
後、元の位置に戻る前に、人体に交差する。完全なジェスチャは約2秒かかる。この動作
は立ったまま横たわったまま、若しくは着座位置から行ってもよい。
図20b(ジェスチャの10回の繰り返し)及び図20c(単一ジェスチャ)に示すよ
うに、位相、周波数及び振幅のうちの任意の1つ以上の特徴は、ジェスチャまたは繰り返
しジェスチャの検出のために分類されてよい。
ジェスチャ4:
ジェスチャ4は、図21a〜図21cを参照して考察することができる。この例では、
センサは胸部の中心から約70cmに位置付けられた。全体動作中の最も遠く離れた点は
、センサから約60cm、最も近い点が約45cmであった。最も遠く離れた点は、指の
先端を基準に測定される。最も近い点は、アームのセンサから腕までの最短距離であって
、指の先端ではない。図21aに示すように、腕と手の運動はセンサに平行に、腕をに上
げて、指の先端が上方向を向いた状態から始まる。腕はセンサに平行に動く。完全なジェ
スチャは約2秒未満かかる。この動作は立ったまま横たわったまま、若しくは着座位置か
ら行ってもよい。
図21b(10回繰り返しのジェスチャ)及び図21c(単一のジェスチャ)に示すよ
うに。位相、周波数及び振幅のうちの任意の1つ以上の特徴が、ジェスチャまたは繰り返
しジェスチャの検出のために分類されてよい。
ジェスチャ5:
ジェスチャ5は、図22a〜図22cを参照して考察することができる。この例では、
センサは胸部の中心から約95cmに位置付けられた。全体動作中の最も遠く離れた点は
、センサから約135cm、最も近い点が約5cmであった。最も近い点と最も遠く離れ
た点は指の先端を基準に測定される。図22aに示すように、運動は一杯に伸ばした腕か
ら始まる。手はその後、人体を横切って一杯に振られる。完全なジェスチャは約4秒未満
かかる。この動作は立ったまま横たわったまま、若しくは着座位置から行ってもよい。
図22b(10回繰り返しのジェスチャ)及び図22c(単一のジェスチャ)に示すよ
うに。位相、周波数及び振幅のうちの任意の1つ以上の特徴は、ジェスチャまたは反復ジ
ェスチャの検出のために分類されてよい。
ジェスチャ6:
ジェスチャ6は、図23a〜図23cを参照して考察することができる。この例では、
センサが胸部の中心から約70cmに位置付けられた。全体動作中の最も遠く離れた点が
センサから約95cmと最も近い点が約50cmであった。最も遠く離れた点が指の先端
を基準にして測定される。最も近い点は、センサから肩部までの最短距離であって、指の
先端ではない。図23aに示すように、腕と手の運動は頭の上に腕を一杯に伸ばした状態
から始まる。手はその後、90度の角度で振り下ろされる。完全なジェスチャは約3秒か
かる。この動作は立ったまま横たわったまま、若しくは着座位置から行ってもよい。
図23b(10回繰り返しのジェスチャ)及び図23c(単一のジェスチャ)に示すよ
うに。位相、周波数及び振幅のうちの任意の1つ以上の特徴は、ジェスチャまたは繰り返
しジェスチャの検出のために分類されてよい。
ジェスチャ7:
ジェスチャ7は、図24a〜図24cを参照して考察することができる。この例では、
センサは、胸部の中心から約70cmに位置付けられた。全体動作中の最も遠く離れた点
はセンサから約52cmと最も近い点が約50cmであった。図24aに示すように、腕
と手の運動は、腕をセンサに平行にして手のひらを上向きにした状態から始まる。手はそ
の後、元の位置決幅に戻る前に約15cm引き上げられる。完全なジェスチャは約2秒か
かる。この動作は立ったまま横たわったまま、若しくは着座位置から行ってもよい。
図24b(10回繰り返しのジェスチャ)及び図24c(単一のジェスチャ)に示すよ
うに。位相、周波数及び振幅のうちの任意の1つ以上の特徴は、ジェスチャまたは繰り返
しジェスチャの検出のために分類されてよい。
寝返り運動1
寝返り検出は、図25a及び図24bを参照して考察することができる。睡眠情報検出
のために、寝返りは人が眠りにつけないことの徴候であると見なされている。この例では
、運動は例えば、人が仰向けになっている状態から始まる。人はセンサに向けて横に転が
り、これに約2秒かかり得る。その後休止があり得る(例えばテスト例で約1秒など)。
人は次いで、センサから離れて初期位置まで転がり、これに約2秒かかり得る。図面の信
号データでは、完全な運動に5秒かかる(2回の寝返り)。これはデータでは10回繰り
返される。
図25a(10回繰り返しの寝返り動作)及び図25b(寝返り)に示すように、位相
、周波数及び振幅のうちの任意の1つ以上の特徴は、動作または反復動作の検出のために
分類されてよい。
寝返り運動2
寝返り検出は、図26a及び図26bを参照してさらに考察することができる。この例
では、運動は例えば、被験者が仰向けになっている状態から始まる。その人は次いで、セ
ンサから離れて自分の横に転がり、これに約2秒かかり得る。その後休止があり得る(例
えばテスト例で約1秒など)。その人は次いで、センサに向けて最初の位置まで転がり戻
る。これは約2秒かかり得る。図面の信号データでは、完全な運動には5秒(2回の寝返
り)かかる。これはデータでは10回繰り返される。
図26a(10回繰り返しの寝返り運動)及び図26b(寝返り)に示すように、位相
、周波数及び振幅のうちの任意の1つ以上の特徴は、運動または反復運動の検出のために
分類されてよい。
寝返り運動3
寝返り検出は、図27a及び図27bを参照してさらに考察することができる。この例
では、運動が図26(寝返り運動2)の寝返り運動よりも少し長い。該運動は、例えば被
験者が仰向けになっている状態から始まる。その人は次いで、センサから離れてうつ伏せ
まで転がり、これに約3秒かかり得る。その後休止があり得る(例えばテスト例で約1秒
など)。その人は次いで、センサに向けて転がり最初の位置まで戻ってよい。これに約3
秒かかり得る。図面の信号データでは、完全な運動に7秒(2回の寝返り)かかる。これ
はデータでは10回繰り返される。
図27a(10回繰り返しの寝返り動作)及び図27b(寝返り)に示すように、位相
、周波数及び振幅のうちの任意の1つ以上の特徴は、動作または反復動作の検出のために
分類されてよい。
寝返り運動4
寝返り検出は、図28a及び28bを参照してさらに考察することができる。この例で
は、この運動が図25(寝返り運動1)の寝返りの運動よりも少し長い。該運動は、例え
ば被験者が仰向けになっている状態から始まる。その人は次いで、センサに向かって仰向
けになるまで転転がり、これにる約3秒かかり得る。その後休止があり得る(例えばテス
ト例で約1秒など)。その人はその後、センサから離れる方に転がって元の位置に戻るこ
とができる。これには約3秒かかり得る。図面の信号データでは、完全な運動に7秒(2
回の寝返り)かかる。これはデータでは10回繰り返される。図27a(10回繰り返し
の寝返り動作)及び図27b(寝返り)に示すように、位相、周波数及び振幅のうちの任
意の1つ以上の特徴は、動作または反復動作の検出のために分類されてよい。
一つの代替のアプローチでは、レファレンスシグネチャを提供するために、グローバル
な特徴がスペクトログラムから直接抽出され得る。ジェスチャと寝返り形態から描写され
るように、各ジェスチャのための特徴的なパターンは、カラースペクトログラムに見るこ
とができる。そのようなアプローチは‐例えば、ブロック毎に若しくは領域アプローチに
おいて、スペクトログラム画素の色情報を処理及び解析することによって実行され得る。
任意選択的に、エッジ検出を含む及び特定パターンを囲むなどの、エンハンスメントが実
行されてもよい;これは、周囲の画素内のノイズを除去または低減するのに有効にするこ
とができる。色は色空間に応じて、例えばRBG(赤、緑、青)またはCMYK(シアン
、マゼンタ、黄、黒)において処理され得る;それぞれが別個のチャンネルとして扱われ
てよい。色強度は強度値(例えば、低、低−中、中、中−高、高または他の何らかの組合
せ)によって区別され、その後にニューラルネットワークなどの分類器に送ることができ
る。例えば、図22cとカラースペクトログラム及び図30の処理画像を考察する。ここ
でエッジエンハンスメントは、赤色ブロッブ(集合体)の輪郭を捕捉し、斑点状の青/紫
領域を拒絶することに向けられる。黄色の縞を有する赤色領域の形状は、このようにこの
ジェスチャタイプのイニシアルシグネチャ(テンプレート)を提供し、教師あり学習分類
器で使用することができる。このジェスチャ(運動)の複数の反復の可変性は、図22b
に示されているが、同じ基本形状と色が持続する。このパターンはこの繰り返し運動から
平均化されることができ、この目標ジェスチャ(運動)のためのトレーニング入力を提供
することができる。
図30は、画像を示す。トップからボトムまでのパネル:トップパネルは、RGB色空
間チャネルを含み、第2のパネルはR(赤)チャンネルだけを示し、第3はG(緑)を示
し、第4はB(青)を示し、且つボトムB−Dは青色チャネルであり、ブロッブ検出が強
度値に適用され、まさに左の周波数成分を除去するために左にわずかにずれている(パネ
ル1−4に示す)。最大周波数は170Hz(右端の「ブロッブ」)から210Hz(左
端の「ブロッブ」)に及ぶ。このように、図30(ボトムから上へ2番目の画像)を参照
して例示したように、画像データはトップ画像RGBのカラーデータを離散的な赤、緑、
青のカラーチャネル(それぞれトップ−中央画像R(赤)、中央画像G(緑)及びボトム
2つの画像B(青)チャネル)のうちのいずれか一つ以上に分割(図22[C]のオリジ
ナル(トップ)を参照)してメインブロッブ領域を選択するために処理されてもよい。人
間の目にとって、最も明瞭なシグネチャはブルーチャネル(ボトム)において明らかであ
る;すなわち、黒領域を考慮する(画像の左側への縦ストライプを無視する)。ボトム画
像B−Dは単離された青色チャネルの重ね合わされたブロッブ検出を示す。そのような分
割/色分解及びブロッブ検出は、本明細書でより詳細に説明するように、特徴検出及び/
又は分類を伴うプロセスの一部のような、システムの1つ以上のプロセッサの適切なアル
ゴリズム(複数可)によって行われ得る。
複数のRFセンサ(例えば、ステレオセンサシステム):
模範単一のRFセンサについては、ユーザがセンサに向かってまたはそれから離れて移
動するときにI及びQ位相を検出することができる。単一のセンサに垂直な(センサの面
を横切って)動きは、はるかに小さい相対位相変化(例えば、センサの検出面を横切る円
弧状に動きは、非常に低い測定可能な相変化を有するか若しくは全く有しないであろう。
付加的なセンサ(例えば、第1のセンサ(例えば、互いからある角度の傾斜を持って)に
隣接して配置された第2の(及びそれに続く)センサ(単数または複数)を備えたシステ
ム)を使用して、入って来る及び出ていくオブジェクトの信号を検出できる。例えば、第
2のセンサは、第1のセンサの円弧に位置決めされ得る(例えば、センサは、第1のセン
サに対して45度であってよい若しくは第1のセンサに対して直交(90度)または他の
適切な微分角度であってよい)。したがって、効果的なステレオセンサシステムは、セン
サに対応する種々の検出平面を横切る動き(例えば、第1のセンサに垂直な動きは、第2
のセンサの信号の分析によってより明瞭に特徴付けることができる)をより効率的に検出
及び特徴付けることができる。このような場合には、運動/ジェスチャの分類は、考慮で
きる両方のセンサからの信号情報(例えば、両方のセンサから出力された位相から導出さ
れた特徴)を考慮に入れてもよい。そのようなシステムは、例えば、このように運動の方
向に基づいて異なる制御信号を返してもよい。シェービング分析については、顔(又は身
体の他の部位)の象限を決定することができるだろう。ゲームの実装については、特定の
局所化された動きを決定することができるだろう。
したがって、2つのセンサは2次元(2D)におけるジェスチャを検出及び認識するた
めに「ステレオ」システムとして協働して機能することができる。また、3つのセンサは
を例えば、レンジ・ゲート型RFセンサを使ってジェスチャの動きの三次元特性(3D)
を識別するために使用することができる。したがって、複数のセンサからの検出信号を取
得することによって単一のジェスチャを特徴づけてもよい。2センサ2次元の場合(すな
わち、2D)、センサ1及びセンサ2のそれぞれからのI/Q信号(2つのセンサの場合
ではI1、I2、Q1、Q2の差分‐左と右)、プロセッサにより分析することができる
。結果得られた振幅と位相の差が「x」、「y」出力を与える。場合によっては、結果得
られたセンサフィールドに細粒度3次元ジェスチャ認識データを提供するために、3つの
センサを協働システムに実装して「z」軸を追加してもよい。このような場合において、
I1、I2、I3、Q1、Q2、Q3の差分を3センサケースからの信号を用いてプロセ
ッサにより評価して単一のジェスチャを判別してもよい。いくつかの実施形態では、3つ
のセンサのうち少なくとも2つを互いに直交するように設置することにより最大位相を得
ることができる。
いくつかのバージョンでは、アンテナが分離されている場合、マルチレイアンテナ(位
相アレイアンテナ)は、1つのセンサ上に実装されてもよい。これによって、第2のセン
サを不要にし得る。
いくつかの場合において、ジェスチャが特定のオーディオ・シグネチャによって(例え
ば、アップコンバートされた信号を有するスピーカから音を発生することによって)検出
(認識)できるように、RFセンサ動作信号が、例えばオーディオ周波数にアップコンバ
ートされてもよい。これによって、人間が異なるタイプのジェスチャを区別することが可
能になる、若しくは既知の音声認識アプローチを利用して分類及び/またはデバイス・ト
レーニングを増強することが可能になる。
本明細書では、用語「備える(comprising)」はそれの「オープン」な意味
合いで、すなわち「含む(including)」の意味合いで理解されるべきであり、
したがって、その「クローズド」の意味合い、すなわち「のみから成る(consist
ing only of)」の意味合いに限定されるべきでない。対応する意味は、対応
する用語「comprise」「comprised」、及び「comprises」が
どこに現れるかに依るものである。
本技術の特定の実施形態が記載されてきたが、本技術がその本質的な特徴から逸脱する
ことなく他の特定の形態で実施できることが本技術分野の当業者には明らかであろう。本
実施形態及び実施例は、したがって、すべての態様において例示的であって制限的なもの
ではないと見なされるべきである。例えば、本開示は、手/腕に基づいたジェスチャ及び
寝返りのような運動の検出について説明してきた一方で、同じ原理が他の大規模な動作に
も適用可能である。例えば、ユーザがベッドで横臥位置と着座位置との間で動く(及びそ
の逆も同様)、特定の目標物(テーブルランプ、または呼吸装置)等に手を伸ばすなどで
ある。
本技術分野において知られている事柄に対する本明細書での言及は、特段の説明がない
限り、その事柄が本技術に関係する分野における当業者に一般に知られていることを認め
るものではないということをさらに理解されたい。
パーツリスト:
検出装置 100
読み取りステップ 1502
特徴生成ステップ 1504
事前テスト セットアップ ステップ 1505
トレーニング セットアップ ステップ 1506
分類ステップ 1507
トレーニング分類ステップ 1508
ビデオ・パフォーマンス・ステップ 1509
ビデオ・パフォーマンス・ステップ 1510
チェックステップ 1512

Claims (56)

  1. 無線周波数送信機、無線周波数信号を放射するように構成された該送信機と;
    前記放射された無線周波数信号のうち反射信号を受信するように構成された受信機と;
    前記放射された無線周波数信号のうち前記受信された反射信号を処理し、動作出力信号
    を生成するように構成されたモーションチャネル回路と;
    前記動作出力信号を評価し、前記動作出力信号の振幅、位相及び周波数の任意の一つ以
    上に基づいて動作を識別するように構成されたプロセッサとを備える無線周波数の運動セ
    ンシング装置。
  2. 前記識別された動作が、手のジェスチャ、腕のジェスチャまたは手及び腕の合成ジェス
    チャのうちの少なくとも1つを含む、請求項1に記載の装置。
  3. 前記識別された動作が寝返り動作を含む、請求項1に記載の装置。
  4. 前記識別された動作が行動を含む、請求項1に記載の装置。
  5. 前記識別された動作がシェービング行動を含む、請求項4に記載の装置。
  6. 前記動作出力信号が、同相及び直角位相信号を含む、請求項1〜5のいずれか一項に記
    載の装置。
  7. 前記放射された無線周波数信号が、パルス無線周波数発振信号を含む、請求項1〜6の
    いずれか一項に記載の装置。
  8. 前記モーションチャネル回路がバンドパスフィルタを含む、請求項1〜7のいずれか一
    項に記載の装置。
  9. 前記装置が前記放射された無線周波数信号を代表する信号とともに前記放射された無線
    周波数信号の前記受信された反射信号を復調する、請求項1〜8のいずれか一項に記載の
    装置。
  10. 前記装置が前記放射された無線周波数信号と前記放射された無線周波数信号の前記受信
    された反射信号との間の時間差及び/または位相差を算出し、該算出した時間差及び/ま
    たは位相差に基づいて前記動作を識別する、請求項1〜9のいずれか一項に記載の装置。
  11. 前記モーションチャネルがアンチエイリアシング・フィルタを備える、請求項1〜10
    のいずれか一項に記載の装置。
  12. 前記プロセッサが、前記動作出力信号の前記振幅、位相及び周波数の任意の2つから算
    出された複数の特徴に基づいて動作を分類するように構成されている、請求項1〜11の
    いずれか一項に記載の装置。
  13. 前記プロセッサが、前記動作出力信号の前記振幅、位相及び周波数の任意の1つ以上を
    用いて算出された持続時間に基づいて動作を分類または識別するように構成されている、
    請求項1〜11のいずれか一項に記載の装置。
  14. 前記プロセッサが、前記動作出力信号の振幅、位相及び周波数のそれぞれから前記複数
    の特徴を算出するように構成されている、請求項12に記載の装置。
  15. 前記複数の特徴が、前記動作出力信号の振幅、位相及び周波数の任意の一つ以上の分析
    から導出された決定持続時間を含む、請求項12及び14のいずれか一項に記載の装置。
  16. 前記算出された複数の特徴が:
    (a)停止周波数から動作中のジェスチャを経てある最大周波数まで、次に再び停止に
    戻ることから導出された周波数特性;
    (b)短時間フーリエ変換、I及び/またはQチャネルのピーク及び高調波トラッキン
    グ及び/またはチャネル処理のいずれかを含む前記信号の時間及び周波数分析;
    (b)I信号とQ信号間の位相差及び特性変化の平均値の標準偏差の一定数以内の繰り
    返し信号の評価:のいずれかを含む位相特性;
    (c)ピーク(山)及びトラフ(谷)検出、ゼロ交差検出、及び信号検出の包絡線:の
    いずれかを含む振幅特性;及び
    (d)学習歪度、尖度、周波数の広がり、位相、振幅、平均値、及び/又は標準偏差:
    の1つ以上を含む、請求項15に記載の装置。
  17. 前期プロセッサが、前期産出された複数の特徴を1つ以上の閾値と比較するように構成
    されている、請求項14〜16のいずれか一項に記載の装置。
  18. 前記プロセッサが、複数の所定の動作から1つを選択することにより前記動作を識別す
    るように構成されている、請求項1〜17のいずれか一項に記載の装置。
  19. 前記プロセッサが、前記識別された動作の発生回数を計数するように構成されている、
    請求項1〜18のいずれか一項に記載の装置。
  20. 前記プロセッサが、前記識別された動作に基づいてデバイスの操作のための制御信号を
    生成するようにさらに構成されている、請求項1〜19のいずれか一項に記載の装置。
  21. 前記プロセッサが、異なる識別された動作に基づいてデバイスの異なる操作のために異
    なる制御信号を生成するように構成されている、請求項1〜20のいずれか一項に記載の
    装置。
  22. 前記プロセッサが、前記動作出力信号を評価し、かつ複数のセンサからの動作出力信号
    に基づいて動作を識別するように構成されている、請求項1〜21のいずれか一項に記載
    の装置。
  23. 前記複数のセンサが、第1センサ及び第2センサを含み、前記プロセッサが該第1セン
    サ及び該第2センサからのI及びQ信号を評価し、前記動作を識別する、請求項22に記
    載の装置。
  24. 前記プロセッサが、前記第1センサ及び前記第2センサから前記I及びQ信号のI差動
    及びQ差動を決定する、請求項23に記載の装置。
  25. 前記複数のセンサが、第1センサ、第2センサ及び第3センサを含み、前記プロセッサ
    が該第1センサ、該第2センサ及び該第3センサからのI信号及びQ信号を評価し、前記
    動作を識別する、請求項22に記載の装置。
  26. 前記3つのセンサのうち少なくとも2つが互いに直交するように位置決めされている、
    請求項23〜26のいずれか一項に記載の装置。
  27. 前記評価されたI及びQ信号が、前記プロセッサによって使用されて1次元以上で運動
    特性を識別する、請求項23〜27のいずれか一項に記載の装置。
  28. 前記プロセッサが、次の、速度、速度の変化、距離、距離の変化、方向及び方向の変化
    、一つ以上を抽出するように構成されている、先行する請求項1〜27のいずれか一項に
    記載の装置。
  29. 高周波モーションセンシング方法であって:
    無線周波数送信機を用いて、無線周波数信号を放射することと;
    受信機を用いて、前記放射された無線周波数信号のうち反射信号を受信することと、
    運動・チャネル回路を用いて動作出力信号を生成するために前記放射された無線周波数
    信号の前記受信された反射信号を処理することと;
    プロセッサにおいて、前記動作出力信号を評価すること、及び前記動作出力信号の振幅
    、位相及び周波数の任意の一つ以上に基づいて動作を識別することとを含む方法。
  30. 前記識別された動作が手ジェスチャ、腕ジェスチャ及び手と腕の合成ジェスチャのいず
    れか1つを含む、請求項29に記載の方法。
  31. 前記識別された動作が、寝返り動作を含むことを特徴とする、請求項29に記載の方法
  32. 前記識別された動作が、行動を含む、請求項29に記載の方法。
  33. 前記識別された動作が、シェービング行動を含む、請求項32に記載の方法。
  34. 前記動作出力信号が、同相及び直角位相信号を含む、請求項29〜33のいずれか一項
    に記載の方法。
  35. 前記放射された無線周波数信号が、パルス無線周波数発振信号を含む、請求項29〜3
    4のいずれか一項に記載の方法。
  36. 前記モーションチャネル回路が、バンドパスフィルタを含む、請求項29〜35のいずれ
    か一項に記載の方法。
  37. 前記放射された無線周波数信号代表すを代表する信号で前記放射された無線周波数信号
    の前記受信された反射信号を復調すること、をさらに含む、請求項29〜36のいずれか
    一項に記載の方法。
  38. 前記放射された無線周波数信号と前記無線周波数信号の前記受信された反射信号との間
    の時間差及び/または位相差を算出すること及び該算出された時間差及び/または位相差
    に基づいて前記動作を識別すること、をさらに含む、請求項29〜37のいずれか一項に
    記載の方法。
  39. 前記モーションチャネルが、アンチエイリアシング・フィルタを備える、請求項29〜
    38のいずれか一項に記載の方法。
  40. 前記プロセッサで、前記動作出力信号の前記振幅、位相及び周波数の任意の2つから算
    出された複数の特徴に基づいて動作を分類すること、をさらに含む、請求項29〜39の
    いずれか一項に記載の方法。
  41. 前記プロセッサが、前記動作出力信号の前記振幅、位相及び周波数の任意の1つ以上で
    算出された持続時間に基づいて動作を分類または識別する、請求項29〜40のいずれか
    一項に記載の方法。
  42. 前記動作出力信号の前記振幅、位相及び周波数のそれぞれから前記複数の特徴を前記プ
    ロセッサにおいて算出すること、をさらに含む、請求項40に記載の方法。
  43. 前記複数の特徴が、前記動作出力信号の前記振幅、位相及び周波数の任意の1つ以上の
    分析から導出された決定持続時間を含む、請求項40及び42のいずれか一方に記載の方
    法。
  44. 前記算出された複数の特徴が:
    (a)停止周波数から動作中のジェスチャを経てある最大周波数まで、次に再び停止に
    戻ることから導出された周波数特性;
    (b)短時間フーリエ変換、I及び/またはQチャネルのピーク及び高調波トラッキン
    グ及び/またはチャネル処理のいずれかを含む前記信号の時間及び周波数分析;
    (b)I信号とQ信号間の位相差及び特性変化の平均値の標準偏差の一定数以内の繰り
    返し信号の評価:のいずれかを含む位相特性;
    (c)ピーク(山)及びトラフ(谷)検出、ゼロクロス検出、及び信号検出の包絡線:
    のいずれかを含む振幅特性;及び
    (d)学習歪度、尖度、周波数の広がり、位相、振幅、平均値、及び/又は標準偏差:
    の1つ以上を含む、請求項42に記載の方法。
  45. 前記プロセッサにおいて、前記算出された特徴を1つ以上の閾値と比較することを、さ
    らに含む、請求項42〜44のいずれか一項に記載の方法。
  46. 前記プロセッサにおいて、複数の所定の動作から1つを選択することによって前記動作
    を識別すること、をさらに含む、請求項29〜45のいずれか一項に記載の方法。
  47. 前記プロセッサにおいて、前記識別された動作の発生回数を計数すること、をさらに含
    む、請求項29〜46のいずれか一項に記載の方法。
  48. 前記プロセッサで、前記識別された動作に基づいて、デバイスの操作のための制御信号
    を生成すること、をさらに含む、請求項29〜47のいずれか一項に記載の方法。
  49. 前記プロセッサで、異なる識別された動作に基づいてデバイスの異なる操作のために異
    なる制御信号を生成することをさらに含む、請求項29〜48のいずれか一項に記載の方
    法。
  50. 前記プロセッサが、複数のセンサから前記動作出力信号を評価し、かつ前記評価された
    動作出力信号に基づいて動作を識別する、請求項29〜49のいずれか一項に記載の方法
  51. 前記複数のセンサが、第1センサ及び第2センサを含み、前記プロセッサが前記動作を
    識別するために該第1センサ及び該第2センサからI及びQ信号を評価する、請求項50
    に記載の方法。
  52. 前記プロセッサが、前記第1センサ及び前記第2センサからの前記I及びQ信号のI差
    動及びQ差動を決定する、請求項51に記載の方法。
  53. 前記複数のセンサが、第1センサ、第2センサ及び第3センサを含み、前記プロセッサ
    が前記動作を識別するために、該第1センサ、該第2センサ及び該第3センサからI及び
    Q信号を評価する、請求項50に記載の方法。
  54. 前記3つのセンサのうち少なくとも2つが互いに直交するように位置決めされている、
    請求項53に記載の方法。
  55. 1次元以上の移動特性を識別するために前記評価されたI及びQ信号が、前記プロセッ
    サによって使用される、請求項49〜54のいずれか一項に記載の方法。
  56. 前記方法が、前記プロセッサで、次の、速度、速度の変化、距離、距離の変化、方向及
    び方向の変化のうち1つ以上を抽出することを含む、請求項29〜55のいずれか一項に
    記載の方法。
JP2021018023A 2015-04-20 2021-02-08 センサを用いたジェスチャ認識 Active JP7162088B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022166155A JP2023021967A (ja) 2015-04-20 2022-10-17 センサを用いたジェスチャ認識

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562150086P 2015-04-20 2015-04-20
US62/150,086 2015-04-20
JP2017554454A JP6837005B2 (ja) 2015-04-20 2016-04-20 センサを用いたジェスチャ認識

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017554454A Division JP6837005B2 (ja) 2015-04-20 2016-04-20 センサを用いたジェスチャ認識

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022166155A Division JP2023021967A (ja) 2015-04-20 2022-10-17 センサを用いたジェスチャ認識

Publications (2)

Publication Number Publication Date
JP2021099348A true JP2021099348A (ja) 2021-07-01
JP7162088B2 JP7162088B2 (ja) 2022-10-27

Family

ID=55967211

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017554454A Active JP6837005B2 (ja) 2015-04-20 2016-04-20 センサを用いたジェスチャ認識
JP2021018023A Active JP7162088B2 (ja) 2015-04-20 2021-02-08 センサを用いたジェスチャ認識
JP2022166155A Pending JP2023021967A (ja) 2015-04-20 2022-10-17 センサを用いたジェスチャ認識

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017554454A Active JP6837005B2 (ja) 2015-04-20 2016-04-20 センサを用いたジェスチャ認識

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022166155A Pending JP2023021967A (ja) 2015-04-20 2022-10-17 センサを用いたジェスチャ認識

Country Status (5)

Country Link
US (3) US10859675B2 (ja)
EP (2) EP3286579B1 (ja)
JP (3) JP6837005B2 (ja)
CN (2) CN107645922B (ja)
WO (1) WO2016170011A1 (ja)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2901408B1 (en) * 2012-09-25 2021-08-25 Scoot Rides, Inc. Systems and methods for regulating vehicle access
KR102033077B1 (ko) 2013-08-07 2019-10-16 나이키 이노베이트 씨.브이. 제스처 인식 및 전력 관리를 갖는 손목 착용 운동 디바이스
US10628664B2 (en) * 2016-06-04 2020-04-21 KinTrans, Inc. Automatic body movement recognition and association system
JP6597490B2 (ja) * 2016-06-21 2019-10-30 オムロン株式会社 電波式生体センサ
RU2641269C1 (ru) * 2017-03-02 2018-01-16 Самсунг Электроникс Ко., Лтд. Устройство и способ для распознавания жестов с использованием радиочастотного датчика
US10684693B2 (en) 2017-03-02 2020-06-16 Samsung Electronics Co., Ltd. Method for recognizing a gesture and an electronic device thereof
US11030540B2 (en) * 2017-05-12 2021-06-08 Fuji Xerox Co., Ltd. User activity recognition through work surfaces using radio-frequency sensors
CN107241150B (zh) * 2017-06-15 2018-02-09 西安科技大学 一种两径无线信道相关时间的测量装置及测量方法
US10602548B2 (en) * 2017-06-22 2020-03-24 Infineon Technologies Ag System and method for gesture sensing
KR102671859B1 (ko) * 2017-08-02 2024-06-03 레드 밴드 리미티드 차량 탑승자의 생체 신호의 무접촉 검출 및 모니터링 시스템
JP6959793B2 (ja) * 2017-08-09 2021-11-05 データソリューションズ株式会社 瞬き検出システム、瞬き検出方法
US10852411B2 (en) 2017-12-06 2020-12-01 Cognitive Systems Corp. Motion detection and localization based on bi-directional channel sounding
JP7510346B2 (ja) 2017-12-22 2024-07-03 レスメッド センサー テクノロジーズ リミテッド 車両内生理学的感知のための装置、システムおよび方法
EP3727135B1 (en) * 2017-12-22 2024-02-28 ResMed Sensor Technologies Limited Apparatus, system, and method for motion sensing
US10775482B2 (en) * 2018-04-11 2020-09-15 Infineon Technologies Ag Human detection and identification in a setting using millimeter-wave radar
WO2019204144A1 (en) 2018-04-16 2019-10-24 Bird Rides, Inc. On-demand rental of electric vehicles
WO2019202670A1 (ja) * 2018-04-17 2019-10-24 株式会社ソシオネクスト ジェスチャ認識方法及びジェスチャ認識装置
US11579703B2 (en) * 2018-06-18 2023-02-14 Cognitive Systems Corp. Recognizing gestures based on wireless signals
EP3598651B1 (en) * 2018-07-19 2023-08-30 Rohde & Schwarz GmbH & Co. KG Method and apparatus for signal matching
CN110088643B (zh) * 2018-08-31 2021-12-07 深圳迈睿智能科技有限公司 人体存在探测器及其人体存在探测方法
US11183772B2 (en) 2018-09-13 2021-11-23 Infineon Technologies Ag Embedded downlight and radar system
CN113710151A (zh) 2018-11-19 2021-11-26 瑞思迈传感器技术有限公司 用于检测呼吸障碍的方法和设备
US11927665B2 (en) 2018-12-18 2024-03-12 Movano Inc. Methods for operating stepped frequency radar systems with digitally controlled spectral agility
US11576586B2 (en) 2018-12-18 2023-02-14 Movano Inc. Methods for radio wave based health monitoring that utilize data derived from amplitude and/or phase data
US11992299B2 (en) 2018-12-18 2024-05-28 Movano Inc. Wearable devices for health monitoring using radio waves that include signal isolation
US20200187867A1 (en) 2018-12-18 2020-06-18 Movano Inc. Methods for radio wave based health monitoring that involve determining an alignment
CN111580086B (zh) * 2019-02-19 2023-08-25 富士通株式会社 生命体检测方法、检测装置和电子设备
CN110051355B (zh) * 2019-03-13 2021-08-31 西北大学 一种基于rf技术的呼吸频率检测方法
CN110069134B (zh) * 2019-03-29 2020-11-27 北京大学 一种利用无线电射频信号还原手部空中移动轨迹的方法
US20200341133A1 (en) * 2019-04-01 2020-10-29 Richwave Technology Corp. Methods, circuits, and apparatus for motion detection, doppler shift detection, and positioning by self-envelope modulation
KR102191007B1 (ko) * 2019-04-19 2020-12-14 한국과학기술원 3 차원 이미지 생성 방법 및 장치
US10798529B1 (en) 2019-04-30 2020-10-06 Cognitive Systems Corp. Controlling wireless connections in wireless sensing systems
US11442550B2 (en) * 2019-05-06 2022-09-13 Samsung Electronics Co., Ltd. Methods for gesture recognition and control
US10743143B1 (en) 2019-05-15 2020-08-11 Cognitive Systems Corp. Determining a motion zone for a location of motion detected by wireless signals
US20200411161A1 (en) 2019-06-25 2020-12-31 L'oreal User signaling through a personal care device
CN112386237B (zh) * 2019-08-16 2024-04-16 富士通株式会社 生命体的检测装置、方法及系统
US11006245B2 (en) 2019-09-30 2021-05-11 Cognitive Systems Corp. Detecting a location of motion using wireless signals and topologies of wireless connectivity
TWI730436B (zh) * 2019-10-02 2021-06-11 立積電子股份有限公司 辨識物體的方法、物體辨識系統及更新物體辨識系統中主要分類器的方法
CN110850968A (zh) * 2019-10-23 2020-02-28 引力(深圳)智能机器人有限公司 一种基于手势操控的人机交互系统
US11570712B2 (en) 2019-10-31 2023-01-31 Cognitive Systems Corp. Varying a rate of eliciting MIMO transmissions from wireless communication devices
CA3152900A1 (en) 2019-10-31 2021-05-06 Christopher Beg Eliciting mimo transmissions from wireless communication devices
EP4052065A4 (en) 2019-10-31 2022-12-07 Cognitive Systems Corp. USING MIMO TRAINING AREAS FOR MOTION DETECTION
EP3839811B1 (en) * 2019-12-18 2024-03-13 Tata Consultancy Services Limited Systems and methods for shapelet decomposition based gesture recognition using radar
EP4078212A1 (en) * 2019-12-19 2022-10-26 Google LLC Smart-device-based radar system performing symmetric doppler interference mitigation
US11513603B2 (en) 2020-01-30 2022-11-29 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for interpreting gestures
CN113253832B (zh) * 2020-02-13 2023-10-13 Oppo广东移动通信有限公司 手势识别方法、装置、终端和计算机可读存储介质
US10928503B1 (en) 2020-03-03 2021-02-23 Cognitive Systems Corp. Using over-the-air signals for passive motion detection
US12019143B2 (en) 2020-03-03 2024-06-25 Cognitive Systems Corp. Using high-efficiency PHY frames for motion detection
CN113495619B (zh) * 2020-04-03 2023-11-10 北京金坤科创技术有限公司 一种基于Wi-Fi信道状态信息相位的手势识别方法
WO2021219574A1 (en) * 2020-04-28 2021-11-04 Interdigital Ce Patent Holdings Method and apparatus for recognizing a gesture
US20230190140A1 (en) 2020-05-19 2023-06-22 Resmed Sensor Technologies Limited Methods and apparatus for detection and monitoring of health parameters
US20230188275A1 (en) * 2020-05-25 2023-06-15 Qualcomm Incorporated Environment sensing using radio frequencies
WO2021237393A1 (en) * 2020-05-25 2021-12-02 Qualcomm Incorporated Environment sensing using radio frequencies configured for wireless communication
DE102020207975A1 (de) * 2020-06-26 2022-01-13 Deep Care Gmbh Verfahren und Vorrichtung zur Verminderung der durch das Sitz- und Bewegungsverhalten eines Nutzers verursachten gesundheitlichen Belastung
TWI756728B (zh) * 2020-07-01 2022-03-01 立積電子股份有限公司 物體辨識方法及物體辨識裝置
CN111887818A (zh) * 2020-08-27 2020-11-06 南京工业职业技术学院 一种基于微波雷达的生命体征智能监测控制系统和方法
CA3188465A1 (en) 2020-08-31 2022-03-03 Mohammad Omer Controlling motion topology in a standardized wireless communication network
CN114515146B (zh) * 2020-11-17 2024-03-22 北京机械设备研究所 基于电学测量的智能手势识别方法及系统
US20220155435A1 (en) * 2020-11-19 2022-05-19 Huawei Technologies Co., Ltd. Environment sensing assisted by user equipment
US11070399B1 (en) 2020-11-30 2021-07-20 Cognitive Systems Corp. Filtering channel responses for motion detection
US11832919B2 (en) 2020-12-18 2023-12-05 Movano Inc. Method for generating training data for use in monitoring the blood pressure of a person that utilizes a pulse wave signal generated from radio frequency scanning
US11786133B2 (en) 2020-12-18 2023-10-17 Movano Inc. System for monitoring a health parameter of a person utilizing a pulse wave signal
US11883134B2 (en) 2020-12-18 2024-01-30 Movano Inc. System for monitoring a physiological parameter in a person that involves coherently combining data generated from an RF-based sensor system
US11864861B2 (en) 2020-12-18 2024-01-09 Movano Inc. Method for monitoring a physiological parameter in a person that involves spectral agility
DE102021201968B4 (de) * 2021-03-02 2022-09-22 Continental Automotive Technologies GmbH Verfahren zum Betreiben einer Ultrabreitbandvorrichtung, Ultrabreitbandvorrichtung und Fahrzeug umfassend eine Ultrabreitbandvorrichtung
CN113238222B (zh) * 2021-05-13 2022-05-13 天津大学 一种基于包络密度特征的人体动作识别方法
CN114576840B (zh) * 2021-11-25 2023-06-23 珠海格力电器股份有限公司 基于wifi信道状态检测进行关机的方法、电子设备和介质
WO2023150799A1 (en) * 2022-02-07 2023-08-10 The Regents Of The University Of California Ultra-high resolution displacement-sensing doppler radar
CN114594857B (zh) * 2022-02-24 2023-11-21 北京大学 一种利用无线射频信号识别空中手势的方法
CN114998996B (zh) * 2022-06-14 2024-04-05 中国电信股份有限公司 具有运动属性信息的信号处理方法、装置、设备及存储
CN117519474B (zh) * 2023-11-06 2024-05-14 中国人民解放军陆军工程大学 一种考虑运动先验的雷达手势特征获取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011015887A (ja) * 2009-07-10 2011-01-27 Mitsubishi Electric Corp 生体状態取得装置、生体状態取得プログラム、生体状態取得装置を備えた機器及び空気調和機
US20110181509A1 (en) * 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US20110181510A1 (en) * 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US20140024917A1 (en) * 2012-07-20 2014-01-23 Resmed Sensor Technologies Limited Range gated radio frequency physiology sensor

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4197537A (en) 1976-08-19 1980-04-08 Honeywell Inc. Intruder detection system
GB2149991A (en) * 1983-10-18 1985-06-19 Modules Limited H B Doppler radar systems
US5361070B1 (en) 1993-04-12 2000-05-16 Univ California Ultra-wideband radar motion sensor
US5682164A (en) 1994-09-06 1997-10-28 The Regents Of The University Of California Pulse homodyne field disturbance sensor
US5966090A (en) 1998-03-16 1999-10-12 Mcewan; Thomas E. Differential pulse radar motion sensor
US6426716B1 (en) 2001-02-27 2002-07-30 Mcewan Technologies, Llc Modulated pulse doppler sensor
US8684922B2 (en) * 2006-05-12 2014-04-01 Bao Tran Health monitoring system
WO2007143535A2 (en) 2006-06-01 2007-12-13 Biancamed Ltd. Apparatus, system, and method for monitoring physiological signs
CN102027440A (zh) * 2008-03-18 2011-04-20 艾利普提克实验室股份有限公司 对象与运动检测
US7952515B2 (en) 2009-02-26 2011-05-31 Mcewan Technologies, Llc Range gated holographic radar
US7994968B2 (en) 2009-02-26 2011-08-09 Mcewan Technologies, Llc RF magnitude sampler for holographic radar
US9069067B2 (en) * 2010-09-17 2015-06-30 The Invention Science Fund I, Llc Control of an electronic apparatus using micro-impulse radar
JP5456599B2 (ja) * 2010-06-28 2014-04-02 株式会社立山システム研究所 寝床看護システム
US8907929B2 (en) * 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
US20120245479A1 (en) * 2011-03-23 2012-09-27 Meena Ganesh Physiology Monitoring and Alerting System and Process
US8749485B2 (en) 2011-12-20 2014-06-10 Microsoft Corporation User control gesture detection
US8942881B2 (en) 2012-04-02 2015-01-27 Google Inc. Gesture-based automotive controls
AU2013247403B2 (en) 2012-04-13 2015-07-16 ResMed Pty Ltd Apparatus and methods for ventilatory treatment
AU2013318046B2 (en) * 2012-09-19 2016-07-21 Resmed Sensor Technologies Limited System and method for determining sleep stage
US10492720B2 (en) * 2012-09-19 2019-12-03 Resmed Sensor Technologies Limited System and method for determining sleep stage
JP6273662B2 (ja) * 2012-10-05 2018-02-07 トランスロボティックス,インク. 高分解能距離感知のためのシステム及び方法、並びにその適用
US9519351B2 (en) 2013-03-08 2016-12-13 Google Inc. Providing a gesture-based interface
WO2014165476A1 (en) * 2013-04-01 2014-10-09 Gollakota Shyamnath Devices, systems, and methods for detecting gestures using wireless communication signals
CN206021193U (zh) 2013-07-18 2017-03-15 谷歌公司 用于处理超声输入的系统
WO2015054419A1 (en) * 2013-10-08 2015-04-16 University Of Washington Through Its Center For Commercialization Devices, systems, and methods for controlling devices using gestures
US20150242024A1 (en) * 2014-02-21 2015-08-27 Polar Electro Oy Radio Frequency Sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011015887A (ja) * 2009-07-10 2011-01-27 Mitsubishi Electric Corp 生体状態取得装置、生体状態取得プログラム、生体状態取得装置を備えた機器及び空気調和機
US20110181509A1 (en) * 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US20110181510A1 (en) * 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US20140024917A1 (en) * 2012-07-20 2014-01-23 Resmed Sensor Technologies Limited Range gated radio frequency physiology sensor

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ADITYA SINGH ET AL.: ""Activity Monitoring and Motion Classification of the Lizard Chamaeleo jacksonii Using Multiple Dopp", 34TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY, JPN6020019178, 2012, pages 4525 - 4528, XP032463945, ISSN: 0004670234, DOI: 10.1109/EMBC.2012.6346973 *
QIAN WAN ET AL.: ""Gesture Recognition for Smart Home Applications using Portable Radar Sensors"", 2014 36TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY, JPN6020019176, 2014, pages 6414 - 6417, XP032675228, ISSN: 0004670235, DOI: 10.1109/EMBC.2014.6945096 *

Also Published As

Publication number Publication date
US10859675B2 (en) 2020-12-08
JP2018516365A (ja) 2018-06-21
JP7162088B2 (ja) 2022-10-27
EP3286579B1 (en) 2021-06-02
US20210165076A1 (en) 2021-06-03
JP2023021967A (ja) 2023-02-14
CN113940655A (zh) 2022-01-18
JP6837005B2 (ja) 2021-03-03
EP3913397A1 (en) 2021-11-24
US11360193B2 (en) 2022-06-14
CN107645922A (zh) 2018-01-30
US20180120420A1 (en) 2018-05-03
CN107645922B (zh) 2021-11-09
WO2016170011A1 (en) 2016-10-27
US11860303B2 (en) 2024-01-02
US20220299603A1 (en) 2022-09-22
EP3286579A1 (en) 2018-02-28

Similar Documents

Publication Publication Date Title
JP7162088B2 (ja) センサを用いたジェスチャ認識
Li et al. Passive WiFi radar for human sensing using a stand-alone access point
Li et al. WiFinger: Talk to your smart devices with finger-grained gesture
Geng et al. Enlighten wearable physiological monitoring systems: On-body rf characteristics based human motion classification using a support vector machine
JP6716466B2 (ja) 無線反射によるバイタルサインの監視
Adib et al. See through walls with WiFi!
Kim Detection of eye blinking using Doppler sensor with principal component analysis
Lim et al. Detection and localization of people inside vehicle using impulse radio ultra-wideband radar sensor
Amin et al. Human gait recognition with cane assistive device using quadratic time–frequency distributions
Khamis et al. CardioFi: Enabling heart rate monitoring on unmodified COTS WiFi devices
EP3839811B1 (en) Systems and methods for shapelet decomposition based gesture recognition using radar
Mokhtari et al. Non-wearable UWB sensor to detect falls in smart home environment
Sarkar et al. Accurate sensing of multiple humans buried under rubble using IR-UWB SISO radar during search and rescue
KR20180088019A (ko) 레이더를 이용한 생체 신호 측정 방법 및 장치
Singh et al. Wi-vi and li-fi based framework for human identification and vital signs detection through walls
Cheraghinia et al. A Comprehensive Overview on UWB Radar: Applications, Standards, Signal Processing Techniques, Datasets, Radio Chips, Trends and Future Research Directions
Gao et al. A new direction for biosensing: RF sensors for monitoring cardio-pulmonary function
Xie et al. A real-time respiration monitoring system using wifi sensing based on the concentric circle model
CN110738130A (zh) 基于Wi-Fi的路径独立的步态识别方法
Farsaei et al. An IEEE 802.15. 4z-Compliant IR-UWB Radar System for In-Cabin Monitoring
Kim et al. Experimental Monitoring of Different Human Vital Signal Simultaneously using Novelda Xe-Thru X4M202 IR-UWB RADAR
Savvidou et al. Passive Radar Sensing for Human Activity Recognition: A Survey
Park et al. A method for detecting human presence and movement using impulse radar
Zhou Ultra-wideband radar based human motion analysis
Xu et al. Soli-enabled noncontact heart rate detection for sleep and meditation tracking

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220916

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221017

R150 Certificate of patent or registration of utility model

Ref document number: 7162088

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150