JP2017508149A - 無線の反射による物体追跡 - Google Patents

無線の反射による物体追跡 Download PDF

Info

Publication number
JP2017508149A
JP2017508149A JP2016553542A JP2016553542A JP2017508149A JP 2017508149 A JP2017508149 A JP 2017508149A JP 2016553542 A JP2016553542 A JP 2016553542A JP 2016553542 A JP2016553542 A JP 2016553542A JP 2017508149 A JP2017508149 A JP 2017508149A
Authority
JP
Japan
Prior art keywords
antennas
time
antenna
reflection
transmit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016553542A
Other languages
English (en)
Inventor
ファデル アディブ
ファデル アディブ
ザカリー エドワード カベラーチ
ザカリー エドワード カベラーチ
ディナ カタビ
ディナ カタビ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Massachusetts Institute of Technology
Original Assignee
Massachusetts Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Massachusetts Institute of Technology filed Critical Massachusetts Institute of Technology
Publication of JP2017508149A publication Critical patent/JP2017508149A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/003Bistatic radar systems; Multistatic radar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • G01S13/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/878Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • G01S7/352Receivers
    • G01S7/354Extracting wanted echo-signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一態様においては、基準送信信号が、1又は2以上の送信アンテナのそれぞれに分配され、送信アンテナからの送信の前に複数の異なる時間だけ遅延される。基準送信信号(又は基準信号の遅延されたバージョン)は、送信アンテナのそれぞれから受信アンテナへの体から反射される伝播(飛行時間(time of flight))時間を決定するために受信アンテナのそれぞれにおいてやはり使用される。別の態様においては、複数の物体の位置が、反復的に(a)複数の送信機−受信機の対の間の決定された伝播時間に基づいて体の位置を決定し、(b)位置を決定した後、その位置からの反射の影響を残りの信号から効果的に取り除くことによって決定される。

Description

関連出願の相互参照
本出願は、
・2014年10月9日に出願した「MOTION TRACKING VIA BODY RADIO REFLECTIONS」と題した米国特許出願第14/510,263号
の継続出願であり、
・2014年2月24日に出願した「MULTI-PERSON MOTION TRACKING VIA BODY RADIO REFLECTIONS」と題した米国仮出願第61/943,957号、及び
・2014年4月28日に出願した「MULTI-PERSON MOTION TRACKING VIA BODY RADIO REFLECTIONS」と題した米国仮出願第61/985,066号
の利益を主張するものである。
上で参照された出願は、参照によって本明細書に組み込まれる。
連邦政府による資金提供を受けた研究の記載
本発明は、国立科学財団(National Science Foundation)によって与えられたCNS−1117194の下での政府の支援によってなされた。政府は、本発明に特定の権利を有する。
本発明は、無線反射によって物体を追跡することに関する。
近年、純粋に人の体からの無線反射に基づいてユーザの場所を突き止めることができる技術が登場してきた。そのような技術に関連する課題は、複数の人へとスケーリングすること、正確にそれらの人の場所を突き止め、それらの人のジェスチャを追跡すること、及び検出可能であるように動くことをユーザに要求することと対照的に動かないユーザの場所を突き止めることを含む。
屋内環境内の人の存在を検出し及び/又は追跡するための代替的な技術は、撮影された画像又は動画が処理されるカメラに基づく手法と、超音波又は赤外線パッシブモーションセンサとを含む。これらの代替的な技術のそれぞれは、限られた精度、計算の複雑さ、プライバシーに関する懸念、及び/又は展開のコストに悩まされる。
一態様においては、概して、基準送信信号が、1又は2以上の送信アンテナのそれぞれに分配され、送信アンテナからの送信の前に複数の異なる時間だけ遅延される。基準送信信号(又は基準信号の遅延されたバージョン)は、送信アンテナのそれぞれから受信アンテナへの体から反射される伝播(飛行時間(time of flight))時間を決定するために受信アンテナのそれぞれにおいてやはり使用される。一部の例において、これらの伝播時間は、受信された信号を基準送信信号によって変調することによって決定される。一部の例において、変調された受信された信号は、平均された受信された信号を得るためにいくつかの掃引サイクルにわたって平均される(振幅及び位相を有する複素信号としてか、又は代替的に2乗された振幅の大きさだけを平均するかのどちらか)。一部の例においては、各送信及び受信アンテナ局に基準送信信号を分配するのではなく、基準タイミング信号が局に分配され、基準送信信号が各局で別々に合成される。そして、複数の体の位置が、送信アンテナ及び受信アンテナに関する複数の対の間の決定された伝播時間から決定され得る。
別の態様においては、物体が、時間とともに変化する周波数を有する第1の成分を含む第1の基準信号を形成することによって環境内で追跡される。第1の基準信号に対応する複数の修正された基準信号が、それぞれの修正された基準信号が周波数及び/又は時間における第1の成分のシフトである修正された成分を含むように形成される。これらの修正された基準信号は、1又は2以上の送信アンテナから送信されるか又は送信されるようにされる。1又は2以上の受信された信号は、それぞれの受信された信号が1又は2以上の受信アンテナのうちの異なる受信アンテナに対応するようにして処理される。1又は2以上の受信された信号のそれぞれは、対応する1又は2以上の処理された受信された信号を形成するために第1の基準信号に応じて処理される。そして、複数の伝播遅延が、処理された受信された信号から決定される。それぞれの伝播時間遅延は、1又は2以上の受信アンテナのうちの1つの受信アンテナ及び1又は2以上の送信アンテナのうちの1つの送信アンテナに対応する。処理は、それぞれの処理された受信された信号から複数の伝播遅延のうちの1又は2以上を決定することを含む。一部の例において、複数の伝播遅延は、1又は2以上の物体の位置からの送信された修正された基準信号の反射の伝播遅延に従って環境内の1又は2以上の物体を追跡する(例えば、それらの物体の位置を特定する及び/又はモーションを監視する)ためのものである。
態様は、以下の特徴のうちの1又は2以上を含み得る。
修正された基準信号を送信させることは、少なくとも2つの異なる送信アンテナからの異なる修正された基準信号の同時送信を引き起こすことを含む。
異なる修正された基準信号のそれぞれは、第1の基準信号の異なる時間遅延を含む。
時間とともに変化する周波数を有する第1の成分を含む第1の基準信号を形成することは、第1の成分が第1の時間から第2の時間までの第1の周波数から第2の周波数までの周波数掃引を含むように前記基準信号を形成することを含む。一部の例において、周波数掃引は、線形掃引を含む。
複数の修正された基準信号を形成することは、少なくとも第1の修正された基準信号を第1の基準信号の時間遅延として形成することを含む。
複数の修正された基準信号を形成することは、少なくとも第1の修正された基準信号を搬送波信号(例えば、正弦波)を用いた第1の基準信号の変調として形成することを含む。
1又は2以上の受信された信号を処理することは、少なくとも第1の処理された受信された信号を第1の基準信号を用いた受信された信号の変調として形成することを含む。
複数の伝播遅延を決定することは、受信された信号の変調のスペクトル分析を実行することを含む。
複数の伝播遅延を決定することは、スペクトル分析において複数のスペクトルのピークを特定することを含み、それぞれのスペクトルのピークは、伝播遅延に対応する。
上で説明された方法のいずれかのステップは、1又は2以上の物体のモーションを追跡するために繰り返される。
各繰り返しに関して複数のアンテナから1又は2以上の送信アンテナが選択され、1又は2以上の送信アンテナは少なくとも一部の繰り返しにおいて異なる。
少なくとも1つのアンテナは、ある繰り返しにおいて受信アンテナであり、別の繰り返しにおいて送信アンテナである。
別の態様においては、概して、非一時的機械可読媒体上に記憶されたソフトウェアが、位置特定システムのプロセッサで実行されたときに前記システムに上で説明された方法のいずれかのすべてのステップを実行させる命令を含む。
別の態様においては、概して、位置特定システムが、1又は2以上の送信アンテナ及び1又は2以上の受信アンテナを含む複数のアンテナを含む。信号プロセッサが、上で説明された方法のいずれかのすべてのステップを実行するように構成される。別の態様においては、概して、複数の物体の位置が、反復的に(a)複数の送信機−受信機の対の間の決定された伝播時間に基づいて体の位置を決定し、(b)位置を決定した後、その位置からの反射の影響を残りの信号から効果的に取り除くことによって決定される。一部の例において、位置からの反射の影響を取り除くステップは、位置の周りの領域から反射の影響を取り除くことを含み、その領域は、反射を引き起こす物体の空間的なモデル(例えば、人間の体のモデル)に従って決定される。一部の例において、この反復は、それぞれの反復において、受信された信号内のその他のN−1個の体の影響を取り除いた第nの体に関する位置を決定することによって領域内のN個の体を特定した後で繰り返される。
別の態様においては、概して、環境(例えば、屋内環境)内の複数の物体の位置特定のための方法が、1又は2以上の送信アンテナから(例えば、同時に)発せられ、環境内の複数の物体(例えば、移動する物体、人)からの反射後に1又は2以上の受信アンテナにおいて受信された信号の無線周波数の反射を表す受信された信号に順応する。受信された信号は、複数の時間プロファイルを決定するために使用される。各時間プロファイルは、送信アンテナ及び受信アンテナの異なる対に関連付けられる。各時間プロファイルは、送信アンテナから受信アンテナまでの異なる伝播時間の間の反射の度合い(例えば、反射された電力)を特徴付ける。それによって、複数の時間プロファイルが、各時間プロファイルが対応する送信アンテナ及び対応する受信アンテナに関連付けられるようにして形成される。複数の時間プロファイル、並びに前記時間プロファイルに対応する送信アンテナ及び受信アンテナの環境内の位置が、環境内の複数の位置のうちの反射の第1の位置を特定するために使用される。そして、各繰り返しが時間プロファイルのうちの1又は2以上のそれぞれの反射の既に特定された位置からの反射の影響を打ち消すこと、並びに1又は2以上の特定された位置からの反射の影響が打ち消された時間プロファイル、並びに前記時間プロファイルに対応する送信アンテナ及び受信アンテナの位置を使用して、環境内の複数の反射のうちの反射のさらなる位置を特定することを含むようにして、1又は2以上の繰り返しが実行される。そして、環境内で特定された反射の複数の位置が、提供される。
態様は、以下の特徴のうちの1又は2以上を含み得る。
方法は、反射の特定された位置に関して、反射の特定された位置からの反射に対応する受信された信号の複数の時間の部分を決定することをさらに含む。一部の例において、受信された信号の決定された複数の時間の部分は、特定された位置の物体のモーションの特徴を決定するためにさらに処理される。
方法は、複数のアンテナのうちの1又は2以上の送信アンテナからの信号の同時放出を引き起こすことをさらに含む。
送信アンテナ及び受信アンテナの対に関する時間プロファイルを決定することは、反射されたエネルギーの分布を送信アンテナから受信アンテナへの伝播時間の関数として特徴付けるために前記時間プロファイルを決定することを含む。
時間プロファイルを使用して反射の位置を特定することは、各時間プロファイルに関して、前記時間プロファイル内に表された反射の潜在的な位置の空間的な分布を形成することと、複数の時間プロファイルに関する空間的な分布を組み合わせて組み合わされた空間的な分布を形成することと、組み合わされた空間的な分布に従って環境内の位置を決定することとを含む。
組み合わされた空間的な分布に従って位置を決定することは、組み合わされた分布内の極値の位置を決定することを含む。
空間的な分布は、2次元の空間的な分布を含み、決定された位置は、環境内の2次元座標に対応する。
送信アンテナ及び受信アンテナの位置は、同一平面内にない。
空間的な分布は、3次元の空間的な分布を含み、決定された位置は、環境内の3次元座標に対応する。
時間プロファイルの反射の既に特定された位置からの反射の影響を打ち消すことは、送信アンテナの位置から特定された位置を経由して受信アンテナの位置までの伝播時間に対応する時間プロファイルの部分を弱めることを含む。
時間プロファイルの部分を弱めることは、伝播時間に対応する前記プロファイルの部分の時間プロファイルをゼロにすることを含む。
時間プロファイルの部分を弱めることは、送信アンテナの位置から特定された位置を経由して受信アンテナの位置までの伝播時間の推定値の推定された平均及び標準偏差を使用することを含む。
方法は、複数の時間プロファイル内の静的な物体からの反射の影響を取り除くことをさらに含む。
方法は、静的な物体からやはり反射する複数の反射の少なくとも1つの位置からの多重反射(multipath reflection)の影響を取り除くことをさらに含む。
別の態様においては、概して、非一時的機械可読媒体上に記憶されたソフトウェアが、位置特定システムのプロセッサで実行されたときに前記システムに上で説明された方法のいずれかのすべてのステップを実行させる記憶された命令を含む。
別の態様においては、概して、位置特定システムが、複数のアンテナと、アンテナのうちの複数に接続された1又は2以上の信号ジェネレータであって、複数のアンテナからの同時送信のための信号を提供するように構成される、1又は2以上の信号ジェネレータと、同時に送信された信号の反射を含む信号を受信するように構成された対応するアンテナに接続された1又は2以上の受信機とを含む。システムは、受信された信号に基づいて複数の物体の位置を推測するように構成された受信信号プロセッサも含む。受信信号プロセッサは、上で説明された方法のいずれかのすべてのステップを実行するように構成される。
態様は、以下の特徴のうちの1又は2以上を含み得る。
(例えば、壁などからの)反射の決まったパターンの影響が、例えば、受信信号の長期的な平均を差し引くことによって、又は連続する周波数掃引からの受信信号の差を取ることによって受信信号から効果的に取り除かれる。
送信アンテナ及び/又は受信アンテナは、指向性アンテナである。
アンテナは、直線に沿った決まった配列で、2次元のパターンで(例えば、体が追跡される領域の面の「T」パターンで)、又は3次元の配列で配列される。一部の例においては、決まった配列が知られており、一方、その他の例においては、アンテナの位置の幾何学的関係が位置の間の無線伝播時間を用いて推測される。
一部の例において、アンテナは、例えば、壁又は天井に沿って室内に配列される。その他の例において、アンテナは、マルチルーム空間(例えば、病棟又は小売店)の複数の部屋にわたって配列される。別の態様においては、概して、比較的動作の少ない体(例えば、人間、ペットなど)の呼吸が、呼吸の周波数の検出される体の位置からの反射される電力の振動を用いて検出される。一部の例においては、基準の時間における体に関する基準電力とその体に関するその後の電力との間の差が、呼吸に関連する振動を検出するために使用される。一部の実施形態においては、複数の削除窓(subtraction window)が、異なる速度の反射体を特定し及び/又は反射体の位置を特定するために使用される。1又は2以上の人が、それらの人の呼吸に基づいて位置を特定され得る。一部の例において、システムは、1又は2以上の人の呼吸を数え、1又は2以上の人が呼吸を止める場合を検出することができる。
別の態様においては、概して、マルチシフト周波数変調搬送波(FMCW)と呼ばれる技法が使用される。技法は、異なるソースから生じさせられたFMCW信号を時間的に又は周波数的にシフトすることによってそれらのFMCW信号を区別することを許容する。この区別することができる能力は、時間的、周波数的、又は符号的にシフトすること(例えば、異なるアンテナから送信された信号に異なる拡散符号を掛けること)によって実現され得る。
別の態様においては、概して、異なるソースから送信された周波数変調搬送波(FMCW)信号を区別するための方法及び装置が、使用される。異なるソースは、同じ又は複数の異なるデバイスに接続され得る。一部の例において、区別することができる能力は、周波数領域で互いに対してFMCW信号をシフトすることによって実現される。一部の実施形態において、周波数領域でシフトすることは、信号と混合することによって実現され、一方、その他の実施形態において、周波数領域でシフトすることは、遅延線を追加することによって実現される。一部の代替的な実施形態において、区別することができる能力は、FMCW信号に異なる符号を掛けることによってそれらのFMCW信号を互いに対してシフトすることによって実現される。
1又は2以上の態様の利点は、以下を含み得る。
呼吸の検出が、別のやり方では背景と取り違えられる可能性がある比較的動かない体を検出する方法を提供する。例えば、室内の人の存在を監視する応用においては、超音波動作ディテクタが動作のない人を見逃す可能性がある一方、それにもかかわらず、それらの人の呼吸が検出される。
送信アンテナのすべての(又はそれよりも少ない複数の組)からの同時送信は、位置の変化が送信時間の間で著しい単一アンテナからの逐次送信よりも体の動作によって影響されにくい可能性がある(例えば、推定された位置のより少ない「不明瞭化(smearing)」)。
狭帯域信号(つまり、掃引されたトーン)の使用は、受信信号内の異なる送信機からの送信を分ける直接的な方法を提供し、位相雑音に対する堅牢性を提供することができる。
人を追跡するための上述の手法は、以下を含む応用に使用され得る。
建物内の又は建物内の特定の経路を通る人を検出するためのセキュリティの応用(例えば、侵入の検出);
検出された人及び建物内の人の往来の長期的なパターンに基づくエネルギー効率の手法(例えば、エネルギー使用は、単なる人の存在ではなく室内の人の数に基づく可能性がある);
例えば、個々の人が店内で止まるときにそれらの人の往来のパターンを決定するための小売りスペース内の往来の追跡;
空間内の検出された人の人数に応じて建物のサービス(例えば、暖房)を調整すること;
例えば、指を指す又は手を振るジェスチャによる電化製品又はその他のデバイスの制御;
ゲーム及び仮想現実アプリケーションのために人を追跡すること;
高齢者のモニタリング及び転倒の検出;並びに
捜索及び救助任務。
睡眠のパターンの監視、睡眠時無呼吸の検出、赤ん坊の監視、及びバイタルサインの監視のその他の応用は、物理的なセンサ又は人への接続を必要としないという利点を有する。
本発明のその他の特徴及び利点は、以下の説明及び請求項から明らかである。
モーショントラッキングシステムの第1の実施形態の概略構成図である。 経時的な送信及び受信周波数のグラフである。 図2Aに対応する周波数に対する受信エネルギーのグラフである。 1つの送信及びアンテナの対に関するスペクトログラム(時間に対するスペクトルのプロファイル)である。 背景部分を除いた後のスペクトログラムである。 図3Bのスペクトログラムに対応する第1の往復遅延時間の推定値のグラフである。 複数の送信アンテナからの同時送信によるモーショントラッキングシステムの第2の実施形態の概略構成図である。 2つの送信アンテナからの送信周波数及び1つのアンテナにおける受信周波数のグラフである。 図5Aに対応する周波数に対する受信エネルギーのグラフである。 飛行時間(TOF)プロファイルの図である。 図6Aに対応する異なるTOFプロファイルの図である。 それぞれ、1〜5個の送信−受信アンテナの対に関する異なるTOFプロファイルから形成された「ヒートマップ」である。 初期ヒートマップである。 シルエット(silhouette)キャンセル手順の連続的反復後のヒートマップである。 それぞれ、図8A〜Dに示されたヒートマップを使用して推定された位置を用いる焦点を合わせる手順によって生じさせられたヒートマップである。 歩くこと、(椅子及び地面に)座ること、並びに地面に転倒することに関する時間に対する推定された高度のグラフである。 指さしジェスチャのスペクトログラムである。 アンテナアレイの概略図である。
図1を参照すると、モーショントラッキングシステム100の第1の実施形態は、番号アンテナ150を利用し、建物の1又は2以上の部屋、車両の内部などを含む可能性があり、例えば、実質的に無線を透過する障壁、例えば、建物の壁又は敷布によって仕切られる可能性があるシステムの環境内の物体(例えば、人)から反射される無線周波数信号を送信及び受信する。概して、環境内の物体は、椅子、壁などの固定された物体と、人などであるがこれに限定されない動く物体との両方を含む。システムは、部屋の中を動き回っていることも、比較的動かず、例えば、椅子に座っているか若しくはベッドに寝ていることもあるが、それでもやはり、以下で説明される1若しくは2以上の実施形態によって検出され得る呼吸動作を呈する可能性がある人を追跡することができる。システムは、無線周波数信号に基づく動作分析結果130を提供する。さまざまな実施形態において、これらの結果は、環境内の1又は2以上の人の位置、環境内の人によって行われた検出された体又は手足のジェスチャ、及び転倒の検出を含む検出された身体活動を含む。
概して、システム100は、アンテナ150のさまざまな対に関して導出された飛行時間(TOF)(「往復遅延時間」とも呼ばれる)情報を利用する。図1の概略図に関しては、代表点物体180から反射する3つの経路185A〜Cが、送信アンテナと3つの受信アンテナとの間に示されており、各経路は、概して、異なるTOFを有する。一定の信号伝播速度c(すなわち、光の速度)を仮定すると、座標(x,y,z)の物体から反射され、座標(x,y,z)のアンテナにおいて受信される座標(x,y,z)のアンテナからのTOFは、
と表され得る。特定の経路に関して、例えば、経路185Aに関連するTOFは、物体180の位置を、経路の送信アンテナ及び受信アンテナの3次元座標と、TOFから決定される経路の距離とによって画定される楕円体上にあるように拘束する。例示のために、楕円体の一部が、楕円の線190Aとして示される。同様に、経路185B〜Cに関連する楕円体が、線190B〜Cとして示される。物体180は、3つの楕円体の交点にある。
図1を引き続き参照すると、システム100は、送信アンテナ150から放射される信号パターンの繰り返しを生じさせる信号ジェネレータを含む。この実施形態において、信号ジェネレータは、超広帯域周波数変調搬送波(FMCW)ジェネレータ120である。その他の実施形態においては、以下で説明される信号パターン及び帯域幅以外の信号パターン及び帯域幅が、説明される実施形態のその他の態様に従いながら使用され得ることを理解されたい。
図2Aを参照すると、TOFの推定が、周波数変調搬送波(FMCW)の手法を用いて行われる。単一の送信アンテナ及び受信アンテナの対を考えると、一連の継続時間Tの繰り返し時間間隔212のそれぞれにおいて、送信周波数が、実線210によって示される周波数範囲で掃引される。一部の実施形態において、周波数範囲は、2.5ミリ秒の掃引継続時間及び繰り返しレートで5.46〜7.25GHz(すなわち、およそ1.8GHzの周波数範囲)である。受信アンテナは、破線220に示される周波数で、TOF222の後に(つまり、単一の物体から反射された)信号を受信する。TOF222は、送信された周波数及び受信された周波数における差224に対応し、この差224は、TOFと送信アンテナの掃引される搬送波の周波数の変化のレートとの積であることに留意されたい。
図2Bを参照すると、受信された反射された信号(図2Aの破線220)が送信された信号(図2Aの実線210)に従ってシフトされた周波数である場合、結果は、TOFに対応する周波数の差224に集中されたエネルギーを有する。(我々は、図において誇張されている間隔212の端を無視していることに留意されたい)。再び図1を参照すると、周波数シフト構成要素160(「ダウンコンバータ」又は「ミキサ」とも呼ばれる)が、周波数のシフトを実施し、例えば、送信された信号を用いて受信された信号を変調する変調器を含み、環境の物理的な大きさに合ったTOFの継続時間を表す低い周波数範囲を維持する。
周波数シフタの出力は、異なるTOFにそれぞれが関連する周波数成分を分離するためにスペクトル分析(例えば、フーリエ変換)にかけられる。この実施形態において、周波数シフタの出力は、サンプルであり、高速フーリエ変換(FFT)として実施される離散時間フーリエ変換が、各間隔212に関して計算される。FFTの各複素数値は、周波数分解能Δf=1/Tsweepで周波数サンプルを提供し、ここで、Tsweepは、掃引の継続時間(例えば、2.5ミリ秒)である。
図2Bを引き続き参照すると、周波数に対する(及び等価的にTOFに対する)エネルギーの分布が、図に示されるように概して集中されないことが認められるに違いない。むしろ、環境内の反射する物体からの反射の重ね合わせの結果として生じるエネルギーの分布が存在する。ある反射は直接的であり、経路が反射する物体と送信アンテナ及び受信アンテナとの間で直接的である。その他の反射は、特定の反射する物体を経由する送信アンテナから受信アンテナまでの複数の経路が存在するマルチパス効果を呈する。一部のマルチパス効果は、送信された信号が壁、家具、及び環境内のその他の動かない物体から反射されることが原因である。その他のマルチパス効果は、動く体からの反射を含み、経路は、送信アンテナから動く物体まで及び受信アンテナに戻るまで直接ではなく、むしろ、送信アンテナから動く物体まで、又は動く物体から受信アンテナに戻るまで、又はこれらの両方の経路のいずれかで1又は2以上の動かない物体から反射される。
システムは、動く物体の反射を家具及び壁のような環境内の動かない物体からの反射と区別するために時間差アプローチ(time differencing approach)を使用して、静的マルチパスと呼ばれる第1のマルチパス効果に対処する。通常、壁及び家具からの反射は、特に人間が壁の後ろにいる場合、人間からの反射よりもずっと強い。これらの反射が取り除かれない限り、これらの反射は、人間から来る信号を隠し、人間の動作を感知することを妨げてしまう。この挙動は、「フラッシュ効果(Flash Effect)」と呼ばれる。
これらの動かない物体(壁、家具)のすべてからの反射を取り除くために、我々は、これらの反射体が動かないので、アンテナアレイまでのこれらの反射体の距離が経時的に変化せず、したがって、これらの反射体の引き起こされる周波数シフトが経時的に一定であるという事実を利用する。我々は、掃引窓毎に受信された信号のFFTを取得し、前の掃引における信号のFFTから所与の掃引におけるFFTの(複素)出力を差し引くことによってこれらの動かない反射体からの電力を除去する。このプロセスは、背景のすべての動かない反射体を除去するので背景削除と呼ばれる。一部の実施形態においては、直前の掃引が使用される可能性があり(つまり、2.5ミリ秒前)、一方、その他の実施形態においては、より大きな遅延が使用される可能性がある(例えば、12.5ミリ秒、又はさらには2.5秒など1秒を超える)。
動かない物体からのすべての反射を除去することによって、システムは、理想的に、動く物体からの反射だけを残される。しかし、上で紹介されたように、これらの反射は、送信アンテナから動く物体まで(動かない物体に跳ね返ることなく)直接進み、物体に反射し、それから受信アンテナまで直接戻る信号と、動かない物体からの反射を含み、動く物体を形成する間接的な経路を進む信号との両方を含む。我々は、これらの間接的な反射を動的マルチパスと呼ぶ。側壁に跳ね返る間接的な経路に沿って到着する動く物体の反射は、遮蔽(occlusion)を避けることができる可能性があるので、(壁を越えた後、大きく減衰させられる可能性がある)人の直接的な反射よりも強いことが大いにあり得る。
動的マルチパスを除去する通常の手法は、任意の時点で、動く物体への直接的な信号経路及び動く物体からの直接的な信号経路が間接的な反射よりも短い経路を進んだという観測に基づく。距離はTOFに直接関連し、ひいては周波数に関連するので、これは、動く物体から反射された直接的な信号が背景削除後にすべての強い反射体の中で最も小さな周波数シフトを生じることを意味する。我々は、すべての強い反射体の最も低い周波数(つまり、不足させられた飛行時間)の外形をたどることによって最も短い経路を進んだ反射を追跡することができる。
図3A〜Cを参照すると、各図の横軸は、約20秒の時間間隔を表し、縦軸は、一番下の距離/遅延ゼロに対応する周波数範囲から一番上の約30メートルの範囲に対応する周波数までを表す。図3A及び3Bは、背景削除前のFFT電力(図3A)及び背景削除後のFFT電力(図3B)を示す。図3Cは、連続する掃引に関する最も短い飛行距離(distance of flight)(又は等価的に時間)の連続する推定値と「雑音除去された」(例えば、平滑化された、異常値除去されたなど)外形とを示す。
動く物体によって引き起こされる第1の極大値を決定するために、我々は、その第1の極大値を雑音のピークが原因である極大値と区別することができなければならない。我々は、複数の掃引にわたってスペクトログラムを平均することによってこの区別することができる能力を実現する。この実施形態において、我々は、まとめて12.5ミリ秒の継続時間にわたる5回の連続する掃引にわたってFFT電力の第1の極大値の位置特定を平均する。すべての実用的な目的のために、人間は、この継続時間にわたって動かない物と考えられる可能性があり、したがって、スペクトログラム(すなわち、経時的なスペクトル分布)は、この継続時間にわたって一貫している。平均することは、我々が雑音が原因であるピークを薄めながら動く体からの反射の電力を高めることを可能にする。これは、人間の反射が一貫しており、したがって、一貫して足し合わされる一方、雑音はランダムであり、したがって、一貫性なく足し合わされる。平均した後、我々は、ノイズフロアを実質的に超える第1の極大値を決定し、その第1の極大値を動く体(例えば、動く人間)への直接的な経路であると宣言することができる。
実際のところ、動く物体とアンテナとの間の最も近い経路を追跡する外形とは異なり、最大の反射の点は、環境内の異なる間接的な経路、又はさらには人が異なる活動を行うときの人間の異なる部分の動きのランダム性が原因で突然シフトする可能性があるので、最も強い反射ではなく第1の反射時間を使用するこの手法は、より堅牢であることが分かる。
最も短い飛行時間の外形を追跡するプロセスは、送信アンテナ及び受信アンテナの対のそれぞれに関して、この実施形態においては、それぞれ共通の送信アンテナと3つの別々の受信アンテナとの間の3つの対に関して実行されることに留意されたい。各受信アンテナに関する最も短い往復遅延時間の外形を取得した後、システムは、人間の動作についての通常の知識を利用して雑音の影響を和らげ、そのシステムの追跡の精度を改善する。使用される技法は、以下を含む。
・異常値の拒絶:システムは、非常に短い期間にわたって不自然な人間の動作に対応する距離の推定値の非現実的な飛びを拒絶する。例えば、図2Cにおいては、物体からの距離が、数ミリ秒の期間に5メートルを超えて繰り返し飛んでいる。距離のそのような変化は、そのような小さな時間間隔ではあり得ず、したがって、システムは、そのような異常値を拒絶する。
・補間:システムは、そのシステムの追跡の履歴を用いて、人が動くことを止めたときにその人の場所を突き止める。特に、人が部屋の中を歩き回り、それから椅子に座り、動かないままである場合、背景を差し引かれた信号は、いかなる強い反射体も示さない。そのような筋書きにおいて、我々は、人がまだ同じ位置にいると仮定し、我々がいかなる動作も観測しない期間全体を通じて最新の位置の推定値を補間し、その人が動くことを止めた後でさえも対象の位置を我々が追跡することを可能にする。
・フィルタリング:人の動作が連続しているので、各受信アンテナまでの物体の距離の変化は経時的に滑らかなままであるべきである。したがって、システムは、カルマンフィルタを用いて距離の推定値を平滑化する。
推定値の外形の追跡及び雑音除去の後、システムは、送信アンテナから動く物体まで及び受信アンテナのうちの1つに戻るまで信号によって進まれる距離(すなわち、往復距離)のきれいな推定値を得る。1つの送信アンテナ及び3つの受信アンテナを使用するこの実施形態においては、いつでも、3つの受信アンテナに対応する3つのそのような往復距離が存在する。システムは、これらの3つの推定値を使用して、それぞれの時間の段階に関して、動く物体の3次元位置を特定する。
システムは、アンテナの配置のそのシステム知識を利用する。この実施形態において、アンテナは、「T」形に配置され、送信アンテナは、「T」の交差点に配置され、受信アンテナは、辺に配置され、送信アンテナと受信アンテナのそれぞれとの間は1メートルの距離である。参考までに、z軸は垂直軸を指し、x軸は水平方向に沿っており、「T」形のアンテナアレイが壁に取り付けられ、y軸は室内に延伸する。3次元の場所の特定は、それぞれが送信アンテナ及び受信アンテナのうちの1つの知られている位置と往復距離とによって画定される3つの楕円体の交点を使用する。
代替的な実施形態においては、例えば、すべてのアンテナが水平の線に沿って配置されるようにして2つの受信アンテナのみが使用される可能性があることに留意されたい。そのような実施形態においては、2次元の位置が、楕円体の交点ではなく楕円の交点を用いて決定され得る。その他の代替的な実施形態においては、4つ以上の受信アンテナ(つまり、4つ以上の送信アンテナ−受信アンテナの対)が使用される可能性がある。4つ以上の楕円体は必ずしも1点で交差しないが、さまざまな手法が、例えば、それらの楕円体のすべてに最も近い点に基づいて楕円体を組み合わせるために使用され得る。
図4を参照すると、第2の実施形態が、複数の送信アンテナからの同時送信を用い、さらに、複数の体を追跡するために適用可能である技法を導入する。同時送信の手法は、その他の技法とは独立していることを理解されたい。例えば、複数の同時送信が、例えば、各アンテナの対に関する第1の飛行時間を追跡して上述のように動的マルチパスを軽減するために、第1の実施形態において説明されたように使用され得る。
図4においては、左の3つのアンテナ150が、送信アンテナとして示され、右の3つのアンテナ150が、受信アンテナとして示されている。好ましい実施形態において、アンテナは、時には送信アンテナとして働き、時には受信アンテナとして働くように動作中に構成される可能性がある。したがって、N個のアンテナに関して、アンテナで最大でN(N−1)/2個の異なる対が、特定の物体に関する別々のTOF情報を決定するために使用され得る。以下でより完全に説明されるように、システムは、概して、複数のアンテナがそれぞれの間隔において無線信号を同時に放射し、概して、複数のアンテナがそれらの信号の反射を同時に受信するようにして連続する送信間隔において動作させられる。概して、送信アンテナの組は、送信間隔毎に変わり、すべての異なるアンテナの対のサンプリングを許す。一部の例においては、それぞれの間隔においてm個のアンテナが送信するために使用され、(N−m)個のアンテナが受信するために使用され、1つの時間間隔において最大でm(N−m)個の経路が評価され得る。一部の例においては、
であり、間隔毎に少なくともN個の経路が評価される。一部の例においては、m=N/2であり、間隔毎に最大でN/4個の経路が評価される。
図5Aを参照すると、間隔212の一部にわたる2つの送信アンテナからの同時送信が、示される(つまり、図5Aは、図2Aに示されたよりも短い時間軸上の継続時間を示す)。第1のアンテナ150(図4参照)が、図2Aの線210に対応する実線510Aによって示される掃引周波数で送信される。第2のアンテナは、(τと呼ばれる)遅延510を有する同じ掃引された信号を送信し、この遅延された信号は、実線510Cによって示される。受信アンテナは、第1の送信アンテナからの1つの反射された信号と、第2の送信アンテナからの1つの反射された信号との、物体からの2つの異なる反射された信号を受信する。第1の送信アンテナからの信号の反射は、図2Aを参照して上で検討されたように、TOF522Aを有する。第2の送信アンテナからの信号の反射は、遅延τと第2の送信アンテナから受信アンテナまでの実際のTOFとによって構成される522Cの見かけ上のTOFを有する。図5Aを参照すると、受信された信号が(図5Aにおいて線510Aとして示される)第1のアンテナからの送信信号によってシフトされた(つまり、変調された)周波数であるとき、第1の信号の反射のエネルギーは、第1の送信アンテナからのTOF522Aに対応する周波数524Aにあり、第2のアンテナからの反射のエネルギーは、第2の送信アンテナからのTOFと遅延τ5310との和に等しい時間522Cに対応する周波数524Cにある。環境内の直接的な反射に関する最も大きなTOFよりも大きなτを選択することによって、第2の送信アンテナからの反射されたエネルギーが、第1のアンテナの反射されたエネルギーと区別される。
図1を参照すると、それぞれが異なる遅延(つまり、τの整数倍)を有する遅延要素440が、選択された送信アンテナのそれぞれのための異なる遅延を導入するために、FMCWジェネレータ120によって生じさせられる掃引された搬送波信号と送信のために選択された対応するアンテナとの間に導入される。
再び図2Bを参照すると、周波数に対する(及び等価的にTOFに対する)エネルギーの分布が、図に示されるように概して集中されないことが認められるに違いない。むしろ、環境内のすべての反射する物体からの反射の重ね合わせの結果として生じるエネルギーの分布が存在する。TOFに応じたより典型的なエネルギー分布が、図4Aに示され、「TOFプロファイル」と呼ばれる。TOFプロファイルを計算する1つの方法は、周波数シフト160(すなわち、変調器)の出力を周波数掃引の帯域幅に帯域制限し、それから、帯域制限された信号を時間サンプリングし、その後に、FFTを計算することである。(複素)FFT値の2乗された大きさが、TOFプロファイルを与え、各FFTサンプルが、異なる周波数範囲に対応し、したがって、異なるTOFの範囲に対応する。
図6Aにおいて、人の位置に対応するTOF(およそ28ナノ秒)のエネルギー610は、周囲の反射されたエネルギーの中ではっきりと区別可能でない。しかし、周囲の反射されたエネルギーの多くは、動かない物体から来る。上で検討されたように、動かない物体からの反射の影響を軽減する手法は、概して、動く物体に対応する反射されたエネルギーの時間変動を特定することである。この時間変動を特定する1つの手法は、現在時間に取得されたTOFプロファイル(例えば、FFTの複素出力)をTOFプロファイルの遅延されたバージョンと比較することである。環境内の動く人に関して、12.5ミリ秒の遅延(例えば、5回の2.5ミリ秒の掃引の遅延)が使用され得る。現在のTOFプロファイルと遅延されたTOFプロファイルとの間のこの(複素数の)差が、一連の掃引にわたって、例えば、5回の掃引(例えば、12.5ミリ秒)にわたって平均される可能性がある。図6Bを参照すると、そのような差し引きの手法の応用の例が、異なるTOFプロファイル内のエネルギーのピーク620を示す。
上で導入されたように、アンテナのそれぞれの送信−受信の対が、1つのTOFプロファイルを生じる。TOFプロファイルの各点は、3次元の1つの楕円体又は同等に2次元の楕円(例えば、アンテナ及び物体が1つの平面内にあると仮定される場合)に対応する。したがって、TOFプロファイル全体が、TOFプロファイルの各点に応じて各楕円(又は楕円体)に沿って強さ(intensity)を設定することによって、以下で「ヒートマップ」と呼ばれる推定された位置の空間的分布にマッピングされ得る。5メートル×7メートルの部屋内に2人の人が示されるようにして生じさせられた例において、1つの送信アンテナ−受信アンテナの対を使用する差のTOFプロファイルが、図7Aに示される。この例において、すべてのアンテナは、y=0軸に沿って離間されており、したがって、ヒートマップは、楕円の焦点がTOFプロファイルを形成するために使用されるアンテナの位置にあるようにして1組の半楕円として変動を呈する可能性がある。
図7Aに示されるように1つのアンテナの対だけを用いると、ヒートマップは、2人の人の位置のかなりの曖昧性を示すことに留意されたい。図7B〜7Eは、それぞれ、2つから5つまでのアンテナの対からのヒートマップを合計することによる組み合わされたヒートマップの形成を示す。図7Eに示されるように5つのアンテナの対を用いると、2つの体の位置が、組み合わされたヒートマップ内ではっきり分かることに留意されたい。この例は、(例えば、基本的にアンテナ及びすべての物体が同じ高さにあると仮定して)2次元ヒートマップの手法を用いる。代替的に、2次元ヒートマップに似ている3次元の点群(point cloud)(概して、用語「ヒートマップ」、「点群」、及び「ポイントマップ(point map)」は、以下で交換可能なように使用される)が、アンテナの3次元座標を考慮に入れて同じ手法を用いて計算され得る。
実際のところ、上述のような異なるアンテナの対からのヒートマップの組合せ(すなわち、重ね合わせ)は、システムの環境内の体(すなわち、人)の位置を正確に区別するには十分でない可能性がある。1つの理由は、異なるユーザが「遠近」問題を呈する可能性がある。特に、近くの人の反射は、概して、遠く離れた人又は障害物の裏の人の反射よりもずっと強い。
図8Aは、遠近問題の課題を示し、環境内に4人の人がいるところで取得された2次元ヒートマップを示す。ヒートマップは、我々がこれらの人のうちの2人だけの場所を突き止めることを可能にし、1人は、(0.5,2)にはっきりと見え、もう1人は、(−0.5,1.3)によく見える。たまたまアンテナアレイからずっと遠くにいるその他の2人は、初めの2人の電力によって完全に圧倒される。この遠近問題に対処するために、1つのショット(shot)内のすべての人の場所を突き止めるのではなく、システムは、連続シルエットキャンセル(SSC,Successive Silhouette Cancellation)を実行する。SSC手順は、以下の4つの主なステップからなる。
1.検出:複数の(例えば、すべての)送信アンテナ−受信アンテナの対に関する差のTOFプロファイルから導出されたヒートマップを重ねることによって最も強い反射体の位置を見つける。
2.再マッピング:それぞれの送信アンテナ−受信アンテナの対に関するその位置を生じさせた可能性があるTOF(又はTOFの範囲)に検出された位置をマッピングする。
3.キャンセル:すべての送信−受信の対のTOFプロファイルに対する人の影響をキャンセルする。
4.反復:キャンセルされたTOFプロファイルを用いてヒートマップを再計算し、それらのヒートマップを重ね、次の最も強い反射体の位置を見つけるためにステップ1に進む。
以下で、我々は、図8A〜Dに示される4人の人がいる例を段階的に見ることによってこれらの4つのステップのそれぞれを詳細に説明する。
第1のステップ、検出において、図8Aの2次元ヒートマップ内の最も高い電力の反射体の位置。この例において、最も高い電力は、(0.5,2)にあり、その位置に人がいることを示す。
検出ステップで決定された人の(x,y)座標が与えられると、再マッピングステップにおいて、我々は、この位置を、それぞれの送信−受信の対に関して別々に、対応するTOFの範囲にマッピングし返す。ヒートマップは2次元で計算されるが、各人は、点反射体ではなく、むしろ、垂直(z)方向の広がりを有する。したがって、それぞれの送信−受信の対のTOFプロファイルに対する人の体全体からの反射の影響が推定される。3次元座標(x,y,z)及び(x,y,z)のアンテナの対に関して、(x,y)の物体に関する最も短いTOFは、3次元の点(x,y,(z−z)/2)からの反射による。このTOF(min)は、伝播速度cを用いて計算される。基本的に、床の高さの点がアンテナから最も遠いと仮定して、(x,y)の物体に関する最も大きなTOFは、3次元の点(x,y,0)からの反射に対応すると仮定される。このTOF(max)も、伝播速度cを用いて計算される。それぞれのアンテナの対に関する範囲[TOF(min),TOF(max)]が、再マッピングステップの結果である。その他の実施形態においては、TOFの推定された平均及び標準偏差の推定値を使用する、それぞれのアンテナの対に関するTOF上の範囲又はその他の分布に(x,y)をマッピングするその他の手法が、使用され得る。
キャンセルステップが、それぞれのアンテナの対に関して実行される。一実施形態において、アンテナの対に関する現在のTOFプロファイルは、人の推定値(x,y)に対応するTOFの推定された範囲でゼロにされる(又はそうでなければ弱められる)。それから、組み合わされたヒートマップが、キャンセルの後のTOFプロファイルから決定されたヒートマップを合計することによって計算される。図7Bは、位置(0.5,2.0)にいると推定された第1の人に対して手順を実行した後の結果を示す。
第2のサイクルで、図8Bのヒートマップを用いるステップ1において、第2の人が位置(−0.5,1.3)にいると特定され、ステップが繰り返され、図8Cのヒートマップを生じる。第3の人はこのヒートマップ内で位置(0.8,2.7)にいると特定され、ステップが繰り返され、図8Dのヒートマップを生じ、図8Dのヒートマップ内で、第4の人は(1.0,4.0)にいると特定される。
一部の例においては、さらなる焦点を合わせ直すステップが、図8A〜Dに示された上述の反復で発見された人の位置の推定値を改善するために実行される。物体(例えば、人)が検出された各位置に関して、それぞれの元の(つまり、SSC手順のいかなるキャンセルよりも前の)TOFプロファイルが、物体の推定された位置に対応するその元のTOFプロファイルの[TOFmin,TOFmax]の範囲の外でゼロにされ(又はそうでなければ弱められ)、これらのヒートマップが、各人に関する組み合わされたヒートマップを形成するために組み合わされる。図8A〜Dにおいて位置特定された4人の人に関するこれらの焦点を合わせ直されたヒートマップが、図9A〜Dに示される。
一部の例においては、推定された(x,y)位置の時間シーケンス、又は位置の組が、さらに処理される可能性がある。例えば、軌跡の平滑化及び/又は個人への位置の割り振りが、例えば、カルマンフィルタリング又はその他のモデルに基づく若しくは発見的な技法を用いて実行される可能性がある。
一部の例において、システムは、人の手がその人の体全体よりもずっと小さな反射面を有するという事実を利用することによって手の動作を(歩行のような)体全体の動作と区別することができる。上述のキャンセル及び焦点を合わせる手法を用いて、システムは、ジェスチャが複数のユーザによって同時に実行されるときでさえもそれらの動作を追跡することができる。特に、焦点を合わせるステップを利用することによって、システムは、各人の個々に焦点を合わせ、その人のジェスチャを追跡する。例えば、異なるユーザが異なる方向を同時に指さす可能性がある指を指すジェスチャが検出され得る。その後、それぞれの動く手の軌跡を追跡することによって、システムは、ユーザのそれぞれが指を指している方向を決定する。ユーザが、3次元でこれらの指さしジェスチャを実行し、システムが、異なる送信アンテナ−受信アンテナの対からのTOFを用いて焦点を合わせ直すステップにおいて2次元ヒートマップではなく3次元の点群を構築することによって手の動作を追跡することに留意されたい。
上述の手法は、動く体の位置を検出及び推定するのに効果的である。一部の実施形態においては、第2の手法が、(例えば、椅子に座っているか又はベッドに寝ている)比較的動かない人をそれらの人の周期的な呼吸動作に基づいて検出するために代わりに又は追加で使用される。上述の手法においては、それぞれのアンテナの対に関する異なるTOFプロファイルが、比較的短い時間間隔にわたって、例えば、12.5ミリ秒にわたって差を取ることによって決定される。呼吸は、ずっと遅いレートで、例えば、数秒の呼吸時間で行われる。概して、環境内の呼吸する人の検出の手法は、呼吸に合った特徴的な周波数を有する経時的なTOFプロファイルの変調を検出することに基づく。例えば、変調を検出するのに十分な時間の尺度にわたる一連のTOFプロファイルの分析によって、異なるTOFに関するそのような変調を検出するためにさまざまな手法が使用され得る。これを行うための1つの方法は、上述の手法を適用することであるが、短い時間差(例えば、12.5ミリ秒)で異なるTOFプロファイルを計算するのではなく、より長い時間差(例えば、1秒を超えて、例えば、2.5秒)が、使用される。
上述のSSC手順は、すべてのその他のユーザからの干渉を除去しながら各人に焦点を合わせることを可能にする。アルゴリズムは、環境内にその他の人がいるときに各人の呼吸を監視するのに非常に効果的であることが分かる。SSCの焦点を合わせるステップは、(図9A〜Dに示されたように)我々がシーン内のすべてのその他の人からの干渉を除去しながら各人に焦点を合わせることを可能にすることを思い出されたい。したがって、SSCの焦点を合わせるステップは、我々が各人に個々に焦点を合わせ、各人の焦点を合わせられたヒートマップの最大電力を時間に応じて監視することを可能にする。各人のヒートマップからの最大電力は、周期的に上下する。これは、呼吸が息を吸うことと息を吐くこととを交互に繰り返す律動的な動作であるからである。最大電力は、人の胸が最初の差し引きのフレーム内の胸の位置に戻るときに最も低くなり、人の胸がその最初の位置から最も遠い位置にあるときに最も高くなる。我々は、1人の人のピークトゥピーク信号(peak-to-peak signal)が別の人のピークトゥピーク信号よりも複数桁大きい可能性があることを観測した。それにもかかわらず、SSC手順は、より弱い反射を検出し、環境内のその他の人からの干渉を除去し、各人に個々に焦点を合わせること及び人の呼吸を監視することを許容する際の手順の有用性を示す図9A〜Dに示されたヒートマップのシーケンスを生成する。この手法は、ユーザが呼吸を止める(例えば、息を止めるか、又は睡眠時無呼吸の結果としての)期間の検出を許容する。
上記の及び以下の「システム」への言及は、上述の技法のうちの1又は2以上を組み込むシステムの1又は2以上の実施形態に向けられていることを理解した上で、上述の手法のうちの1又は2以上を使用するシステムの極めて多くのその他の潜在的な応用がある。例えば、すべてのシステムが、位相に基づく処理のために、短い時間の尺度の差を付けること、より長い時間の尺度の差を付けること、SCC、焦点を合わせ直すことのそれぞれを利用するわけではない。また、文脈から明らかであるように、一部の応用においては、システムが、大きな環境を監視するためにそれぞれが独自のアンテナアレイを備えた複数のユニットを有する可能性がある。
1つの潜在的な応用は、エネルギーの節約及びビルディングオートメーションに関する。システムは、部屋又は家の中の人の数及びそれらの人の位置を特定することができる。したがって、システムは、人の数に基づいて室内の温度を先を見越して調節し、空いた部屋のための照明/HVACをオフにするビルディングオートメーションシステムの要素として利用され得る。これは、エネルギーを節約するのに役立ち、人が建物をどのように歩き回るかについての理解を高めることができる。また、システムは、人が入ってくるとき及び人が出て行くときを知り、照明/HVAC/温度システムを断定的にオンにするか、オフにするか、又は調節する可能性がある。
従業員及び訪問者が企業の環境をどのように使用するか、つまり、従業員及び訪問者がどこでほとんどの時間を過ごすか、チーム/グループがどのようにしてアイデアを形成し、生じさせるか、どの空間が未使用か、並びにどの空間が過剰に使用されているかなどを理解することにも、大きな関心が寄せられている。システム(又は企業の環境に分散された複数のシステム)は、従業員及び訪問者が空間を歩き回るときに従業員及び訪問者の動きを追跡することによって深い洞察を与えることができる。したがって、システムは、使用されない空間を減らすか又は再編成するために使用され得る。代替的に、システムは、概して人が会合し、アイデアを考えつく空間を再編成するために使用され得る。
ホームオートメーションの場面では、システムは、ジェスチャに基づくインターフェースのために使用される可能性があり、それによって、人は、ジェスチャを実行することによって異なる家庭用電化製品を自動化する。システムは、ジェスチャを追跡し、そのジェスチャをコマンドとして解釈することができ、これは、人がTVをオン及びオフにすること、空中で文字又は単語を書くこと、その他の家庭用電化製品をオフにすることなど、電化製品を制御することを可能にする。加えて、システムは、人の毎日の行為を知り、タスクを自動化することができる。例えば、システムは、人が起きるときを知り(又はその人がベッドから出るときを検出し)、直ちにシャワーをオンにし、それから、その人がシャワーから出るときにコーヒーメーカーをオンにすることができる。システムは、人がいるときを知ることができ、したがって、その人がその人の家に入るときを決定することができる。したがって、システムは、(異なる日にまたがってこれらのパターンを追跡することによって)人が通常家に戻る時間を知り、以前のパターンに基づいて暖房/HVAC/照明を自動的に調節することができる。
小売の場面では、顧客の追跡が、購買行動の理解を向上させるために使用され得る。システムは、小売店内の買い物客を非常に高い精度で追跡して、それらの買い物客の行動に対する深い洞察を与えることができる。システムは、買い物客がスマートフォンを持つことを必要とせずにそれらの買い物客の体からの無線反射に依拠することによってそれらの買い物客の場所を突き止める。システムは、店に入る/店を出る人の数、それらの人がたどる経路、それらの人が止まる位置、及びそれらの人が支払いのための列に並んで待つ時間などの幅広い店内の分析論を生じさせる。また、システムは、手の動きを追跡し、ユーザが品物を持ち上げるか又は品物を棚に戻すときを特定する。これらの洞察は、店に顧客の行動への深い理解を与え、例えば、店は、店の販売促進キャンペーンへの顧客の反応を分析し、これらのキャンペーンをリアルタイムで適合させることができる。さらに、顧客の軌跡を理解することによって、店は、製品をより近づきやすくし、それらの店のスタッフをより効率的に配し、したがって、顧客満足及びひいては維持を向上させることができる。概して、これらの分析論は、店が販売を増やし、顧客経験価値及び顧客ロイヤルティを高め、店内のマーケティングを最適化する機会を特定することを可能にする。
システムがリテールアナリティクス(Retail Analytics)のために生成することができる洞察の少なくとも2人の潜在的なユーザが存在する。第1は、小売マーチャンダイジングの指揮者であり、それらの指揮者は、製品の最も利益を生む製品構成、値付け、及びディスプレイなどの店内プロモーション、販売サポート、割引などを決定するためにますますデータに依拠する。実店舗型の小売はEコマースから仕掛けられる競争に直面して悪戦苦闘しているが、主導的な小売業者は、顧客の行動のより深い理解を出血を止めるための方法と見ており、したがって、支出は、リテールアナリティクスにシフトしており、今後10年にわたってそうし続けると予測されている。
リテールアナリティクスの顧客の第2の組は、消費財供給業者(主としてCPG会社)である。今日、CPG会社内の市場調査の指揮者は、販売時点データ及びACNielsen社などの調査会社によってまとめられた顧客パネル調査からの洞察を含む市場調査に1年当たりおよそ56億ドルを費やす。ロケーションアナリティクス(Location Analytics)の洞察は、CPGのブランドマネージャ(市場調査の消費者)が小売業者における販売促進費用でより効率的になることを助けることができる。
医療では、システムは、患者が病院内を動き回るときにそれらの患者を追跡することができる。例えば、患者はそれらの患者の部屋及びトイレで転倒し、それらの患者が転倒するときを検出することが重要である。患者がそれらの患者の部屋を出るときを検出し、それらの患者が病院内を動き回るときにそれらの患者を追跡することも、重要である可能性がある。これは、精神科又は精神病院においてより一層重要になる。さらに、システムは、広く人を監視することができるので、訪問者の待ち時間に情報を提供することもできる。加えて、システムは、看護師又は別の介護者が部屋に入り、それらの看護師又は介護者の義務を果たした(例えば、患者のバイタルを調べた/変えた)かどうかを追跡することができる。
高齢者住宅及び介護付き住宅施設は、それらの住民に自由にしてもらい、ビクビクするのではなく生活を楽しむことに焦点を合わせられた雰囲気を作り出そうと努力しており、したがって、いかなる監視技術を採用することにも慎重である傾向がある。これは、介護の必要性がより大きい養護老人ホーム又は認知症の患者専用の介護付き住宅施設を含む。システムは、高齢者住宅施設内で人(主に高齢者)を追跡するために使用され得る。システムは、転倒を検出し、人が何回トイレを使ったか又はそれらの人の部屋若しくはベッドを出たか、それらの人が窓のそばに行き、十分な日光を浴びたかどうかを追跡するために使用され得る。システムは、訪問者が施設に入るときのそれらの訪問者(例えば、それらの訪問者の数及び行為)と、住民を介護する(又は介護しない)ときの介護者を追跡することもできる。
システムは、家又は企業のセキュリティのために使用される可能性もある。特に、システムは、人の動作を追跡することができるので、侵入者が建物に入ったかどうか、又はその侵入者が家の外を歩き回っているかどうかさえも知ることができる。例えば、システムは、自動的に警報をオフにするか、又はセキュリティシステムがオンのときに誰かが建物に入るときに警告を送る可能性がある。さらに、家又は企業の中に住民がおり、システムが施設の外を歩き回る人を感知した場合でさえも、システムは、それらの存在を検出し、それらの動きを追跡し、及び/又はそれらの存在について警告することができる。
説明される手法が上で概略を示されたさまざまな応用に適用され得ることを理解した上で、2つの応用に関するさらなる詳細が例として以下で与えられる。これらの2つの応用は、転倒の検出及び指さしジェスチャの検出である。
転倒の検出に関して、目的は、地面に座ること、椅子に座ること、及び歩行することなどのその他の活動と転倒を自動的に区別することである。そのようにするために、我々は、z次元に沿ったシステムの高度追跡を足がかりにする。概して、単に人の高度を調べることは、床に座ることと転倒を区別するのに十分でないことに留意されたい。転倒を検出するために、システムは、2つの条件が満たされることを必要とし、第1は、z軸に沿った人の高度が大きく(その値の3分の1を超えるだけ)変わらなければならず、人の高度の最終的な値が、地面の高さに近くなければならない。第2の条件は、人が座るよりも速く転倒することを反映するために高度の変化が非常に短い期間内に起こらなければならないことである。
図10は、4つの活動、すなわち、人が歩行すること、椅子に座ること、地面に座ること、及び(シミュレーションされた)地面に転倒することに関する垂直の(z)次元に沿った高度のシステムの推定値を示す。図は、歩行すること及び椅子に座ることが、最終的な高度がz=0から遠いので高度に基づいて転ぶこと及び床に座ることから特定され得ることを確認する。しかし、地面への転倒を地面に座ることから区別するためには、人が床に自発的に座るときよりも速く人が転倒中にその人の高度を変化させることを利用しなければならない。
指さしジェスチャを利用するアプリケーションにおいて、システムは、指さしの角度を推定することができ、それから、指さしジェスチャが、電気デバイス又は電子デバイスなどのデバイスを制御するために使用され得る。概して、システムは、最初に、体の部分の動作のおおざっぱな推定を行い、それから、おおざっぱな推定値をさらに処理して指さしの角度を決定する。我々は、次の動作、つまり、ユーザがそのユーザの体の横にそのユーザの腕が置かれている状態から動き出すことを考える。ユーザは、デバイス又は電化製品の方を指さすことを意図してそのユーザの選択した方向に腕を上げ、次にその腕を第1の位置に下ろす。ユーザは、動き回り、ランダムな時間に指さしジェスチャを実行する可能性がある。しかし、我々は、ユーザが指さしジェスチャを実行するときに立っている(つまり、歩いていない)ことを必要とする。目的は、指さしの方向を検出することである。
そのような指さしジェスチャを追跡するために、システムは、体全体の動きと腕の動作とを区別する。この目的を達成するために、我々は、腕の反射面が人間の体全体の反射面よりもずっと小さいという事実を利用する。我々は、アンテナのそれぞれにおいて受信された信号のスペクトログラムから反射面のサイズを推定する。図11は、体全体の動作が存在するときの1つのアンテナの対に関するスペクトログラム(時間に対するスペクトルのプロファイル)と指を指す腕のスペクトログラムとの間の差を示す。図11において、人は、動いていて、それから停止し、指さしジェスチャを実行した。18秒及び21秒辺りの2つの明るい部分は、それぞれ、腕が持ち上げられたこと及び腕が下ろされたことを表す。図は、垂直軸に沿った信号の変化が、反射体が腕の動作だけであるときよりも反射体が人間の体全体であるときに著しく大きいことを示す。反射体が大きい場合、その反射体の部分が互いにわずかに異なる位置を有し、したがって、任意の時点で、y軸に沿ったその反射体の反射の変化は、腕の動きの反射の変化よりも大きい。システムは、この空間的な変化を用いて体全体の動作から体の一部の動作を検出する。
我々がそれが体の一部であることを検出すると、システムは、指さしの方向を特定するために動作の方向を推定し、これは、以下のステップを含む。
・セグメント分け:セグメント分けの目的は、指さしジェスチャの開始及び終了を判定することである。図11は、システムが各受信アンテナから得られた往復距離のスペクトログラムをどのようにしてセグメント分けするかを示す。我々の指さしの実験において、我々は、ユーザに指さしジェスチャを実行する前に1秒間動かずにいるように求める。したがって、我々は、常に指さしジェスチャの開始前に動作のない期間があるので指さしジェスチャの開始を検出することができる。同様に、人が指さしの方向にその人の腕を上げた後、我々は、その人にその人の腕をその開始位置に再び置く前に1秒間待つように求める。システムが2.5ms毎に周波数掃引を実行するので、我々は、ジェスチャの始まり及び終わりの沈黙を容易に区別することができる。
・雑音除去:体全体の動作の場合のように、セグメント分けされたスペクトログラムの外形が、各受信アンテナに関して、腕の動作の往復距離のきれいな推定値を時間に応じて得るために雑音除去され、補間される。
・指さしの方向の決定:我々は、動く手の位置の推定値に対する堅牢な回帰(regression)を実行し、アンテナのすべてからの回帰の開始点及び終了点を用いて手の最初の位置及び最後の位置を求める。システムは、手の最初の状態から最後の延伸された状態への方向として指さしの方向を推定する。ユーザが指さしの後に手を下ろすので、システムは、この下ろす動作に関して上記のステップを繰り返し、指さしの方向の第2の推定値を得る。そして、システムは、指さしの方向を2つの間の中間の方向として推定する。腕を上げる動作と腕を下ろす動作との間の近似的ミラーリング効果(approximate mirroring effect)を利用することができることは、指さしの角度の推定に高い堅牢性を付け加える。
指さしの方向を推定するシステムの例は、ユーザが単に家庭用電化製品を指さすことによってそれらの家庭用電化製品を制御することを可能にすることである可能性がある。機器を搭載したデバイス及びそれらのデバイス位置のリストが与えられると、システムは、ユーザの手の動作を追跡し、そのユーザが指さす方向を決定し、デバイスにそのデバイスのモードを変更する(例えば、照明をオン若しくはオフにするか、又は我々のブラインドを制御する)ように命令することができる。
上述のシステムは、さまざまな構成で具現化され得る。例えば、アンテナアレイは、直線アレイ、(例えば、「H」形の「T」又は逆「T」形の水平アレイ及び垂直アレイを有する)複数の直線アレイを形成する可能性がある。その他の例においては、複数の直線アレイが、環境のあちこちに配置される可能性がある。図12は、床の高さより上の平面に(例えば、壁に)据え付けられる1組の直線状の支持物1520に沿ってアンテナ1510が配置される「H」形のアンテナアレイ1500を示す。一部の例において、アンテナは、指向性であり、例えば、それらのアンテナの感度が監視されている部屋又は領域内に向けられるように据え付けられる。一部の例においては、システムがシステムの設置者によって構成されるときにアンテナの相対的な位置及び環境内のアンテナアレイの位置が、システムに知られる。一部の例において、システムは、直接的なアンテナ間のTOFを監視してアンテナの相対的な位置を推測し、環境内のアレイの位置を推測する際に静的な反射を監視する可能性がある。一部の例において、システムは、電子的な経路(例えば、配線、増幅器など)における遅延が、反射する体の位置を推定するために使用される無線伝播時間をもたらすように測定された遅延から差し引かれ得るようにそのような遅延をやはり推定するために伝播時間を監視する。
異なる送信アンテナからの反射が受信アンテナにおいて区別され得るように、送信される信号を時間/周波数的にシフトすることがただ1つのあり得る手法であることを理解されたい。例えば、異なる符号(例えば、直交する擬似ランダムシーケンス)の乗算が、送信機において使用される可能性があり、そして、これらの符号が、受信機において信号を分けるために使用される可能性がある。
上述の手法は、概して、図1に示された信号分析モジュール170及び図4のモジュール470の一部として実装される。信号分析モジュールの動作は、コントローラ110又は410によって制御され、コントローラ110又は410は、信号分析モジュール170及び470の動作を調整することに加えて、送信アンテナ及び受信アンテナの選択、FMCWジェネレータ120による掃引されたキャリア信号の生成を調整する。一部の実施形態において、信号分析モジュール及び/又はコントローラは、例えば、システムの非一時的媒体(例えば、半導体メモリ)に記憶された命令を実行する1又は2以上のプログラミング可能なプロセッサを含め、ソフトウェアで実装される。周波数シフトモジュール160の実施形態は、例えば、アナログ変調ユニットを用いてハードウェアにあることも、(記憶されたソフトウェア命令によってやはり制御される)ソフトウェアで定義された無線の構成要素を用いて実装されることもある。一部の実施形態において、分析は、処理の一部が特定のアンテナアレイに関連する電子機器の1又は2以上のプロセッサ上で実行されるようにして分散される可能性があり、一方、例えば、複数のアレイからの情報を融合させるその他の処理は、例えば、別個の(例えば、中央サーバ)コンピュータにおいて実行される可能性がある。
上述の説明は、添付の請求項の範囲によって定義される本発明の範囲を例示するように意図されており、限定するように意図されていないことを理解されたい。その他の実施形態は、以下の請求項の範囲内にある。

Claims (37)

  1. 環境内の物体追跡のための方法であって、
    時間とともに変化する周波数を有する第1の成分を含む第1の基準信号を形成するステップと、
    前記第1の基準信号に対応する複数の修正された基準信号を形成するステップであって、それぞれの修正された基準信号が、周波数及び時間のうちの少なくとも1つにおける前記第1の成分のシフトである修正された成分を含む、ステップと、
    前記複数の修正された基準信号を1又は2以上の送信アンテナから送信させるステップと、
    1又は2以上の受信された信号を処理するステップであって、それぞれの受信された信号が、1又は2以上の受信アンテナのうちの異なる受信アンテナに対応する、ステップと、
    前記1又は2以上の受信された信号のそれぞれを前記第1の基準信号に応じて処理して、対応する1又は2以上の処理された受信された信号を形成するステップと、
    複数の伝播遅延を決定するステップであって、前記1又は2以上の処理された受信された信号のそれぞれの処理された受信された信号から前記複数の伝播遅延のうちの1又は2以上を決定することを含み、それぞれの伝播時間遅延が、前記1又は2以上の受信アンテナのうちの1つの受信アンテナ及び前記1又は2以上の送信アンテナのうちの1つの送信アンテナに対応する、ステップと、
    前記複数の伝播遅延を使用して、1又は2以上の物体の位置からの送信された修正された基準信号の反射の伝播遅延に従って前記環境内の前記1又は2以上の物体を追跡するステップとを含む、前記方法。
  2. 複数の伝播遅延を使用して1又は2以上の物体を追跡するステップが、前記物体の位置を特定すること及び前記物体のモーションを監視することのうちの少なくとも1つを含む請求項1に記載の方法。
  3. 修正された基準信号を送信させるステップが、少なくとも2つの異なる送信アンテナからの異なる修正された基準信号の同時送信を引き起こすことを含む請求項1に記載の方法。
  4. 異なる修正された基準信号のそれぞれが、第1の基準信号の異なる時間遅延を含む請求項2に記載の方法。
  5. 時間とともに変化する周波数を有する第1の成分を含む第1の基準信号を形成するステップが、前記第1の成分が第1の時間から第2の時間までの第1の周波数から第2の周波数までの周波数掃引を含むように前記基準信号を形成することを含む請求項1に記載の方法。
  6. 周波数掃引が、線形掃引を含む請求項5に記載の方法。
  7. 複数の修正された基準信号を形成するステップが、少なくとも第1の修正された基準信号を第1の基準信号の時間遅延として形成することを含む請求項1に記載の方法。
  8. 複数の修正された基準信号を形成するステップが、少なくとも第1の修正された基準信号を搬送波信号を用いた第1の基準信号の変調として形成することを含む請求項1に記載の方法。
  9. 1又は2以上の受信された信号を処理するステップが、少なくとも第1の処理された受信された信号を第1の基準信号を用いた受信された信号の変調として形成することを含む請求項1に記載の方法。
  10. 複数の伝播遅延を決定するステップが、受信された信号の変調のスペクトル分析を実行することを含む請求項9に記載の方法。
  11. 複数の伝播遅延を決定するステップが、スペクトル分析において複数のスペクトルのピークを特定することを含み、それぞれのスペクトルのピークが、伝播遅延に対応する請求項10に記載の方法。
  12. 電化製品の制御、ゲーム又は仮想現実システムへの入力、高齢者のモニタリング、転倒の検出、侵入の検出、及びセキュリティシステムのうちの1又は2以上に適用される請求項1〜11のいずれかに記載の方法。
  13. 1又は2以上の物体のモーションを追跡するために繰り返される請求項1〜11のいずれかに記載の方法。
  14. 各繰り返しに関して複数のアンテナから1又は2以上の送信アンテナを選択するステップであって、前記1又は2以上の送信アンテナが、少なくとも一部の繰り返しの間で変わる、ステップをさらに含む請求項13に記載の方法。
  15. 少なくとも1つのアンテナが、ある繰り返しにおいて受信アンテナであり、別の繰り返しにおいて送信アンテナである請求項14に記載の方法。
  16. 位置特定システムのプロセッサで実行されたときに前記システムに請求項1〜15のいずれかのすべてのステップを実行させる、記憶された命令を含む非一時的機械可読媒体上に記憶されたソフトウェア。
  17. 1又は2以上の送信アンテナ及び1又は2以上の受信アンテナを含む複数のアンテナ、
    請求項1〜15のいずれかのすべてのステップを実行するように構成された信号プロセッサを含む位置特定システム。
  18. 環境内の複数の物体の位置特定のための方法であって、
    複数のアンテナのうちの1又は2以上の送信アンテナから発せられ、前記環境内の複数の物体からの反射後に前記複数のアンテナのうちの1又は2以上の受信アンテナにおいて受信された信号の無線周波数の反射を表す信号を受信するステップと、
    受信された信号から、送信アンテナ及び受信アンテナの複数の異なる対の複数の送信アンテナのうちの送信アンテナ及び複数の受信アンテナのうちの受信アンテナの各対に関して、前記送信アンテナから前記受信アンテナまでの異なる伝播時間の間の反射の度合いを特徴付ける時間プロファイルを決定し、それによって、複数の時間プロファイルを形成するステップであって、各時間プロファイルが、対応する送信アンテナ及び対応する受信アンテナに関連付けられる、ステップと、
    前記複数の時間プロファイル、並びに前記時間プロファイルに対応する前記送信アンテナ及び前記受信アンテナの前記環境内の位置を用いて、前記環境内の複数の位置のうちの反射の第1の位置を特定するステップと、
    前記時間プロファイルのうちの1又は2以上のそれぞれの反射の既に特定された位置からの反射の影響を打ち消すこと、並びに
    1又は2以上の特定された位置からの反射の影響が打ち消された前記時間プロファイル、並びに前記時間プロファイルに対応する前記送信アンテナ及び前記受信アンテナの位置を使用して、前記環境内の複数の反射のうちの反射のさらなる位置を特定すること
    の1又は2以上の繰り返しを実行するステップと、
    前記環境内で特定された反射の複数の位置を提供するステップとを含む、前記方法。
  19. 送信アンテナから発せられた信号が、同時に発せられる請求項18に記載の方法。
  20. 環境内の物体が、移動する物体を含む請求項18に記載の方法。
  21. 反射の特定された位置に関して、反射の前記特定された位置からの反射に対応する受信された信号の複数の時間の部分を決定するステップをさらに含む請求項18に記載の方法。
  22. 受信された信号の決定された複数の時間の部分を処理して、特定された位置の物体のモーションの特徴を決定するステップをさらに含む請求項21に記載の方法。
  23. 複数のアンテナのうちの1又は2以上の送信アンテナからの無線周波数信号の同時放出を引き起こすステップをさらに含む請求項18に記載の方法。
  24. 送信アンテナ及び受信アンテナの対に関する時間プロファイルを決定するステップが、反射されたエネルギーの分布を前記送信アンテナから前記受信アンテナへの伝播時間の関数として特徴付けるために前記時間プロファイルを決定することを含む請求項18に記載の方法。
  25. 時間プロファイルを使用して反射の位置を特定することが、各時間プロファイルに関して、前記時間プロファイル内に表された反射の潜在的な位置の空間的な分布を形成することと、複数の時間プロファイルに関する前記空間的な分布を組み合わせて組み合わされた空間的な分布を形成することと、前記組み合わされた空間的な分布に従って環境内の位置を決定することとを含む請求項18に記載の方法。
  26. 組み合わされた空間的な分布に従って位置を決定することが、前記組み合わされた分布内の極値の位置を決定することを含む請求項25に記載の方法。
  27. 空間的な分布が、2次元の空間的な分布を含み、決定された位置が、環境内の2次元座標に対応する請求項25に記載の方法。
  28. 送信アンテナ及び受信アンテナの位置が、同一平面内にない請求項27に記載の方法。
  29. 空間的な分布が、3次元の空間的な分布を含み、決定された位置が、環境内の3次元座標に対応する請求項25に記載の方法。
  30. 時間プロファイルの反射の既に特定された位置からの反射の影響を打ち消すことが、送信アンテナの位置から特定された位置を経由して受信アンテナの位置までの伝播時間に対応する前記時間プロファイルの部分を弱めることを含む請求項18に記載の方法。
  31. 時間プロファイルの部分を弱めることが、伝播時間に対応する前記プロファイルの部分の時間プロファイルをゼロにすることを含む請求項30に記載の方法。
  32. 時間プロファイルの部分を弱めることが、送信アンテナの位置から特定された位置を経由して受信アンテナの位置までの伝播時間の推定値の推定された平均及び標準偏差を使用することを含む請求項30に記載の方法。
  33. 複数の時間プロファイル内の静的な物体からの反射の影響を取り除くステップをさらに含む請求項18に記載の方法。
  34. 静的な物体からやはり反射する複数の反射の少なくとも1つの位置からの多重反射の影響を取り除くステップをさらに含む請求項33に記載の方法。
  35. 位置特定システムのプロセッサで実行されたときに前記システムに請求項18〜34のいずれかのすべてのステップを実行させる、記憶された命令を含む非一時的機械可読媒体上に記憶されたソフトウェア。
  36. 位置特定システムのプロセッサで実行されたときに前記システムに
    複数のアンテナのうちの1又は2以上の送信アンテナから発せられ、環境内の複数の物体からの反射後に前記複数のアンテナのうちの1又は2以上の受信アンテナにおいて受信された信号の無線周波数の反射を表す信号を受信することと、
    受信された信号から、送信アンテナ及び受信アンテナの複数の異なる対の複数の送信アンテナのうちの送信アンテナ及び複数の受信アンテナのうちの受信アンテナの各対に関して、前記送信アンテナから前記受信アンテナまでの異なる伝播時間の間の反射の度合いを特徴付ける時間プロファイルを決定し、それによって、複数の時間プロファイルを形成することであって、各時間プロファイルが、対応する送信アンテナ及び対応する受信アンテナに関連付けられる、形成することと、
    前記複数の時間プロファイル、並びに前記時間プロファイルに対応する前記送信アンテナ及び前記受信アンテナの位置を用いて、前記環境内の複数の位置のうちの反射の第1の位置を特定することと、
    前記時間プロファイルのうちの1又は2以上のそれぞれの反射の既に特定された位置からの反射の影響を打ち消すこと、並びに
    1又は2以上の特定された位置からの反射の影響が打ち消された前記時間プロファイル、並びに前記時間プロファイルに対応する前記送信アンテナ及び前記受信アンテナの位置を使用して、前記環境内の複数の反射のうちの反射のさらなる位置を特定すること
    の1又は2以上の繰り返しを実行することとを行わせる、記憶された命令を含む非一時的機械可読媒体上に記憶されたソフトウェア。
  37. 複数のアンテナと、
    前記アンテナのうちの複数に接続された1又は2以上の信号ジェネレータであって、前記複数のアンテナからの同時送信のための信号を提供するように構成される、1又は2以上の信号ジェネレータと、
    同時に送信された信号の反射を含む信号を受信するように構成された対応するアンテナに接続された1又は2以上の受信機と、
    受信された信号に基づいて複数の物体の位置を推測するように構成された受信信号プロセッサとを含み、
    前記受信信号プロセッサが、
    前記受信された信号から、送信アンテナ及び受信アンテナの複数の異なる対の複数の送信アンテナのうちの送信アンテナ及び複数の受信アンテナのうちの受信アンテナの各対に関して、前記送信アンテナから前記受信アンテナまでの異なる伝播時間の間の反射の度合いを特徴付ける時間プロファイルを決定し、それによって、複数の時間プロファイルを形成することであって、各時間プロファイルが、対応する送信アンテナ及び対応する受信アンテナに関連付けられる、形成することと、
    前記複数の時間プロファイル、並びに前記時間プロファイルに対応する前記送信アンテナ及び前記受信アンテナの位置を用いて、環境内の複数の位置のうちの反射の第1の位置を特定することと、
    前記時間プロファイルのうちの1又は2以上のそれぞれの反射の既に特定された位置からの反射の影響を打ち消すこと、並びに
    1又は2以上の特定された位置からの反射の影響が打ち消された前記時間プロファイル、並びに前記時間プロファイルに対応する前記送信アンテナ及び前記受信アンテナの位置を使用して、前記環境内の複数の反射のうちの反射のさらなる位置を特定すること
    の1又は2以上の繰り返しを実行することとを行うように構成される位置特定システム。
JP2016553542A 2014-02-24 2015-02-24 無線の反射による物体追跡 Pending JP2017508149A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201461943957P 2014-02-24 2014-02-24
US61/943,957 2014-02-24
US201461985066P 2014-04-28 2014-04-28
US61/985,066 2014-04-28
US14/510,263 2014-10-09
US14/510,263 US9753131B2 (en) 2013-10-09 2014-10-09 Motion tracking via body radio reflections
PCT/US2015/017239 WO2015175078A2 (en) 2014-02-24 2015-02-24 Object tracking via radio reflections

Publications (1)

Publication Number Publication Date
JP2017508149A true JP2017508149A (ja) 2017-03-23

Family

ID=54064563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016553542A Pending JP2017508149A (ja) 2014-02-24 2015-02-24 無線の反射による物体追跡

Country Status (5)

Country Link
US (2) US9753131B2 (ja)
EP (1) EP3111248A2 (ja)
JP (1) JP2017508149A (ja)
CN (2) CN106233155A (ja)
WO (1) WO2015175078A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020156668A (ja) * 2019-03-26 2020-10-01 株式会社タムラ製作所 生体情報検出装置
JP6797339B1 (ja) * 2020-03-13 2020-12-09 三菱電機株式会社 レーダ装置
US11515949B2 (en) 2018-12-28 2022-11-29 Panasonic Intellectual Property Management Co., Ltd. Estimation method and device to identify next position of a living body
WO2024161856A1 (ja) * 2023-01-31 2024-08-08 オムロン株式会社 生体情報処理方法

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928894B2 (en) * 2012-09-18 2024-03-12 Origin Wireless, Inc. Method, apparatus, and system for wireless gait recognition
US9753131B2 (en) * 2013-10-09 2017-09-05 Massachusetts Institute Of Technology Motion tracking via body radio reflections
US12046040B2 (en) * 2015-07-17 2024-07-23 Origin Research Wireless, Inc. Method, apparatus, and system for people counting and recognition based on rhythmic motion monitoring
US11500056B2 (en) * 2015-07-17 2022-11-15 Origin Wireless, Inc. Method, apparatus, and system for wireless tracking with graph-based particle filtering
KR102364593B1 (ko) * 2015-01-30 2022-02-18 현대모비스 주식회사 차량용 레이더 시스템
US11639981B2 (en) * 2015-07-17 2023-05-02 Origin Wireless, Inc. Method, apparatus, and system for movement tracking
US12036948B2 (en) * 2015-07-17 2024-07-16 Origin Research Wireless, Inc. Method, apparatus, and system for vehicle wireless monitoring
US11940550B2 (en) * 2015-07-17 2024-03-26 Origin Wireless, Inc. Method, apparatus, and system for wireless monitoring to ensure security
US11448727B2 (en) * 2015-07-17 2022-09-20 Origin Wireless, Inc. Method, apparatus, and system for human recognition based on gait features
US11340328B2 (en) * 2015-07-17 2022-05-24 Origin Wireless, Inc. Method, apparatus, and system for wireless vital monitoring using high frequency signals
US20200408875A1 (en) * 2015-07-17 2020-12-31 Chao-Lun Mai Method, apparatus, and system for positioning and powering a wireless monitoring system
EP3136290A1 (en) * 2015-08-28 2017-03-01 Thomson Licensing Method and device for determining the shape of an object represented in an image, corresponding computer program product and computer readable medium
US10605920B2 (en) * 2016-01-13 2020-03-31 Ams Sensors Singapore Pte. Ltd. Power savings through refresh control for distance sensing devices
US9689967B1 (en) 2016-04-07 2017-06-27 Uhnder, Inc. Adaptive transmission and interference cancellation for MIMO radar
US9846228B2 (en) 2016-04-07 2017-12-19 Uhnder, Inc. Software defined automotive radar systems
US10261179B2 (en) 2016-04-07 2019-04-16 Uhnder, Inc. Software defined automotive radar
US9791551B1 (en) * 2016-04-25 2017-10-17 Uhnder, Inc. Vehicular radar system with self-interference cancellation
US9806914B1 (en) 2016-04-25 2017-10-31 Uhnder, Inc. Successive signal interference mitigation
EP3449275A4 (en) 2016-04-25 2020-01-01 Uhnder, Inc. REDUCTION OF PMCW-PCMW INTERFERENCE
US10573959B2 (en) 2016-04-25 2020-02-25 Uhnder, Inc. Vehicle radar system using shaped antenna patterns
US9575160B1 (en) 2016-04-25 2017-02-21 Uhnder, Inc. Vehicular radar sensing system utilizing high rate true random number generator
US9954955B2 (en) 2016-04-25 2018-04-24 Uhnder, Inc. Vehicle radar system with a shared radar and communication system
WO2017187242A1 (en) 2016-04-25 2017-11-02 Uhnder, Inc. On-demand multi-scan micro doppler for vehicle
WO2017187306A1 (en) 2016-04-25 2017-11-02 Uhnder, Inc. Adaptive filtering for fmcw interference mitigation in pmcw radar systems
WO2017187304A2 (en) 2016-04-25 2017-11-02 Uhnder, Inc. Digital frequency modulated continuous wave radar using handcrafted constant envelope modulation
US9753121B1 (en) 2016-06-20 2017-09-05 Uhnder, Inc. Power control for improved near-far performance of radar systems
US10181653B2 (en) 2016-07-21 2019-01-15 Infineon Technologies Ag Radio frequency system for wearable device
US10218407B2 (en) * 2016-08-08 2019-02-26 Infineon Technologies Ag Radio frequency system and method for wearable device
WO2018051288A1 (en) 2016-09-16 2018-03-22 Uhnder, Inc. Virtual radar configuration for 2d array
CN106530619A (zh) * 2016-12-16 2017-03-22 北京囡宝科技有限公司 智能终端以及用其进行人体位置识别和跌倒检测的方法
US10466772B2 (en) 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10505255B2 (en) 2017-01-30 2019-12-10 Infineon Technologies Ag Radio frequency device packages and methods of formation thereof
US10908272B2 (en) 2017-02-10 2021-02-02 Uhnder, Inc. Reduced complexity FFT-based correlation for automotive radar
US11454697B2 (en) 2017-02-10 2022-09-27 Uhnder, Inc. Increasing performance of a receive pipeline of a radar with memory optimization
WO2018146634A1 (en) 2017-02-10 2018-08-16 Uhnder, Inc. Increasing performance of a receive pipeline of a radar with memory optimization
JP7001069B2 (ja) * 2017-02-10 2022-01-19 日本電気株式会社 推論用知識生成装置、推論用知識生成方法、及びプログラム
US11073611B2 (en) * 2017-03-20 2021-07-27 International Business Machines Corporation High spatial resolution 3D radar based on a single sensor
CA3057315A1 (en) 2017-03-26 2018-10-04 Massachussetts Institute Of Technology Learning sleep stages from radio signals
US10145935B1 (en) * 2017-05-30 2018-12-04 Polaris Wireless, Inc. Estimating the location of a wireless terminal in the purview of a distributed-antenna system
CN111031903B (zh) 2017-06-16 2023-08-04 康奈尔大学 电磁近场相干传感的方法和系统
US10602548B2 (en) 2017-06-22 2020-03-24 Infineon Technologies Ag System and method for gesture sensing
CN107359948B (zh) * 2017-07-11 2019-06-14 北京邮电大学 一种认知无线网络的频谱预测方法、装置及计算机可读存储介质
US10014913B1 (en) 2017-07-24 2018-07-03 Polaris Wireless, Inc. Estimating the location of a wireless terminal in the purview of a distributed-antenna system
US20190049558A1 (en) * 2017-08-08 2019-02-14 KC Sense Limited Hand Gesture Recognition System and Method
US10444322B2 (en) * 2017-08-09 2019-10-15 Swfl, Inc. Systems and methods for coherence based positioning
US10989803B1 (en) 2017-08-21 2021-04-27 Massachusetts Institute Of Technology Security protocol for motion tracking systems
JP2020535862A (ja) * 2017-10-06 2020-12-10 テルース ユー ケア インコーポレーションTellus You Care, Inc. 高齢者介護のための非接触活動検出ネットワーク
DE102017128369A1 (de) * 2017-11-30 2019-06-06 Infineon Technologies Ag Vorrichtung und verfahren zum lokalisieren eines ersten bauelements, lokalisierungsvorrichtung und verfahren zur lokalisierung
US11105890B2 (en) 2017-12-14 2021-08-31 Uhnder, Inc. Frequency modulated signal cancellation in variable power mode for radar applications
US10746625B2 (en) 2017-12-22 2020-08-18 Infineon Technologies Ag System and method of monitoring a structural object using a millimeter-wave radar sensor
US11346936B2 (en) 2018-01-16 2022-05-31 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
US11278241B2 (en) 2018-01-16 2022-03-22 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
US10795012B2 (en) 2018-01-22 2020-10-06 Infineon Technologies Ag System and method for human behavior modelling and power control using a millimeter-wave radar sensor
US10576328B2 (en) 2018-02-06 2020-03-03 Infineon Technologies Ag System and method for contactless sensing on a treadmill
WO2019166354A1 (en) 2018-03-02 2019-09-06 Signify Holding B.V. Systems and methods using multiple modalities for occupancy sensing
US10261168B1 (en) * 2018-03-09 2019-04-16 King Abdulaziz City For Science And Technology Remote localization and radio-frequency identification using a combination of structural and antenna modes scattering responses
US10705198B2 (en) 2018-03-27 2020-07-07 Infineon Technologies Ag System and method of monitoring an air flow using a millimeter-wave radar sensor
CN113196283A (zh) 2018-03-30 2021-07-30 麻省理工学院 使用射频信号的姿态估计
US10775482B2 (en) * 2018-04-11 2020-09-15 Infineon Technologies Ag Human detection and identification in a setting using millimeter-wave radar
US10761187B2 (en) 2018-04-11 2020-09-01 Infineon Technologies Ag Liquid detection using millimeter-wave radar sensor
US10794841B2 (en) 2018-05-07 2020-10-06 Infineon Technologies Ag Composite material structure monitoring system
EP3794497B1 (en) 2018-05-14 2023-07-05 Cornell University Collaborative rfid reader using code divisional multiple access (cdma) and methods for same
US10399393B1 (en) 2018-05-29 2019-09-03 Infineon Technologies Ag Radar sensor system for tire monitoring
US10903567B2 (en) 2018-06-04 2021-01-26 Infineon Technologies Ag Calibrating a phased array system
US11416077B2 (en) 2018-07-19 2022-08-16 Infineon Technologies Ag Gesture detection system and method using a radar sensor
EP3841358A4 (en) 2018-08-21 2022-06-08 Moonshot Health Inc. SYSTEMS AND METHODS FOR MAPPING A GIVEN ENVIRONMENT
US10928501B2 (en) 2018-08-28 2021-02-23 Infineon Technologies Ag Target detection in rainfall and snowfall conditions using mmWave radar
US11183772B2 (en) 2018-09-13 2021-11-23 Infineon Technologies Ag Embedded downlight and radar system
US11879967B2 (en) 2018-09-20 2024-01-23 Bluecats Australia Pty Ltd. Radar for tracking or generating radar images of passive objects
US11125869B2 (en) 2018-10-16 2021-09-21 Infineon Technologies Ag Estimating angle of human target using mmWave radar
US11031978B2 (en) * 2018-10-16 2021-06-08 Samsung Electronics Co., Ltd. Detection and ranging using multi-radio mobile devices
US11397239B2 (en) 2018-10-24 2022-07-26 Infineon Technologies Ag Radar sensor FSM low power mode
US11360185B2 (en) 2018-10-24 2022-06-14 Infineon Technologies Ag Phase coded FMCW radar
US11474225B2 (en) 2018-11-09 2022-10-18 Uhnder, Inc. Pulse digital mimo radar system
EP3654053A1 (en) 2018-11-14 2020-05-20 Infineon Technologies AG Package with acoustic sensing device(s) and millimeter wave sensing elements
US20200155038A1 (en) 2018-11-20 2020-05-21 Massachusetts Institute Of Technology Therapy monitoring system
CN109633632B (zh) * 2018-12-26 2021-11-30 青岛小鸟看看科技有限公司 一种头戴显示设备,手柄及其定位追踪方法
CN109557520B (zh) * 2018-12-26 2022-07-01 苏州天必佑科技有限公司 一种基于多方法融合的人体微弱呼吸信号增强方法
US11087115B2 (en) 2019-01-22 2021-08-10 Infineon Technologies Ag User authentication using mm-Wave sensor for automotive radar systems
CN109917909B (zh) 2019-02-01 2022-05-31 成都思悟革科技有限公司 基于非传播电磁场的多点接收阵列的动作捕捉装置及方法
US11681017B2 (en) 2019-03-12 2023-06-20 Uhnder, Inc. Method and apparatus for mitigation of low frequency noise in radar systems
US11355838B2 (en) 2019-03-18 2022-06-07 Infineon Technologies Ag Integration of EBG structures (single layer/multi-layer) for isolation enhancement in multilayer embedded packaging technology at mmWave
US11126885B2 (en) 2019-03-21 2021-09-21 Infineon Technologies Ag Character recognition in air-writing based on network of radars
US20220175254A1 (en) * 2019-03-26 2022-06-09 Cornell University Near-field coherent sensing methods and systems
WO2020202159A1 (en) * 2019-04-02 2020-10-08 Neteera Technologies Ltd. System for determining object status and method thereof
US11454696B2 (en) 2019-04-05 2022-09-27 Infineon Technologies Ag FMCW radar integration with communication system
CN114175120A (zh) * 2019-07-25 2022-03-11 昕诺飞控股有限公司 一种用于检测空间中的存在的监控设备及其方法
US11320517B2 (en) * 2019-08-22 2022-05-03 Qualcomm Incorporated Wireless communication with enhanced maximum permissible exposure (MPE) compliance
US11327167B2 (en) 2019-09-13 2022-05-10 Infineon Technologies Ag Human target tracking system and method
US11774592B2 (en) 2019-09-18 2023-10-03 Infineon Technologies Ag Multimode communication and radar system resource allocation
FI20195844A1 (en) * 2019-10-03 2021-04-04 Koherent Oy SYSTEM AND METHOD FOR MONITORING STRUCTURAL DEFORMATIONS
US11435443B2 (en) 2019-10-22 2022-09-06 Infineon Technologies Ag Integration of tracking with classifier in mmwave radar
EP3816647B1 (en) * 2019-10-28 2024-06-26 Siemens Healthineers AG Method and system for monitoring a motion of a subject, and corresponding computer program product
TWI720711B (zh) * 2019-11-29 2021-03-01 財團法人金屬工業研究發展中心 量測收發器位置的射頻定位方法
US12078748B2 (en) 2020-01-13 2024-09-03 Uhnder, Inc. Method and system for intefrence management for digital radars
US11808883B2 (en) 2020-01-31 2023-11-07 Infineon Technologies Ag Synchronization of multiple mmWave devices
US11614516B2 (en) 2020-02-19 2023-03-28 Infineon Technologies Ag Radar vital signal tracking using a Kalman filter
WO2021202395A1 (en) * 2020-03-30 2021-10-07 Yongxin Wang Time of flight ranging system using multi-valued signals
US11585891B2 (en) 2020-04-20 2023-02-21 Infineon Technologies Ag Radar-based vital sign estimation
US11832933B2 (en) 2020-04-20 2023-12-05 Emerald Innovations Inc. System and method for wireless detection and measurement of a subject rising from rest
US11567185B2 (en) 2020-05-05 2023-01-31 Infineon Technologies Ag Radar-based target tracking using motion detection
GB202007587D0 (en) 2020-05-21 2020-07-08 Essence Smartcare Ltd A device for determining a status of a person
GB202008326D0 (en) 2020-06-03 2020-07-15 Essence Smartcare Ltd Controlling frame rate of active reflected wave detector
US11774553B2 (en) 2020-06-18 2023-10-03 Infineon Technologies Ag Parametric CNN for radar processing
CN113820704A (zh) * 2020-06-19 2021-12-21 富士通株式会社 检测运动目标的方法、装置和电子设备
US11850026B2 (en) 2020-06-24 2023-12-26 The Governing Council Of The University Of Toronto Remote portable vital signs monitoring
US11704917B2 (en) 2020-07-09 2023-07-18 Infineon Technologies Ag Multi-sensor analysis of food
US11614511B2 (en) 2020-09-17 2023-03-28 Infineon Technologies Ag Radar interference mitigation
US11719787B2 (en) 2020-10-30 2023-08-08 Infineon Technologies Ag Radar-based target set generation
WO2022099651A1 (zh) * 2020-11-13 2022-05-19 南京瑞祥信息技术有限公司 一种搜寻目标物品的装置
US11719805B2 (en) 2020-11-18 2023-08-08 Infineon Technologies Ag Radar based tracker using empirical mode decomposition (EMD) and invariant feature transform (IFT)
FR3117966B1 (fr) * 2020-12-17 2023-06-02 Faurecia Interieur Ind Système de détection d’intrusion pour un véhicule et véhicule et procédé associés
TWI774224B (zh) * 2021-02-03 2022-08-11 緯創資通股份有限公司 特徵強化與資料擴增方法及其動作偵測裝置
WO2022182933A1 (en) 2021-02-25 2022-09-01 Nagpal Sumit Kumar Technologies for tracking objects within defined areas
US11582511B2 (en) 2021-03-15 2023-02-14 Qualcomm Incorporated Radio frequency sensing in a television environment
US11662430B2 (en) 2021-03-17 2023-05-30 Infineon Technologies Ag MmWave radar testing
RU2759977C1 (ru) * 2021-04-20 2021-11-19 Акционерное общество "Научно-производственный комплекс "Дедал" Мобильный быстроустанавливаемый автономный пост технического наблюдения для контроля обстановки на охраняемой территории на базе аэромодуля на привязи
US11950895B2 (en) 2021-05-28 2024-04-09 Infineon Technologies Ag Radar sensor system for blood pressure sensing, and associated method
US11302032B1 (en) * 2021-06-17 2022-04-12 GBT Technologies, Inc. Systems and methods of real-time movement, position detection, and imaging
SE545649C2 (en) * 2022-02-17 2023-11-21 Topgolf Sweden Ab Doppler radar coexistence

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11271430A (ja) * 1998-03-25 1999-10-08 Toyota Central Res & Dev Lab Inc 自動車レーダ装置
JP2000338231A (ja) * 1999-05-31 2000-12-08 Mitsubishi Electric Corp 侵入者検知装置
WO2009047546A1 (en) * 2007-10-12 2009-04-16 Qinetiq Limited Radar method and apparatus suitable for use in multipath environments
JP2009541725A (ja) * 2006-07-13 2009-11-26 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 角度分解型レーダセンサ
JP2011033498A (ja) * 2009-08-03 2011-02-17 Fujitsu Ten Ltd レーダ装置
WO2012115518A1 (en) * 2011-02-25 2012-08-30 Nederlandse Organisatie Voor Toegepast- Natuurwetenschappelijk Onderzoek Tno Fmcw radar system with multiple transmitters and beat frequency multiplex
JP2013068433A (ja) * 2011-09-20 2013-04-18 Fujitsu Ltd 探知測距装置および探知測距方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738697B2 (en) * 1995-06-07 2004-05-18 Automotive Technologies International Inc. Telematics system for vehicle diagnostics
US5473332A (en) * 1994-08-10 1995-12-05 Mcdonnell Douglas Corporation RFI suppression circuit and method
US7889096B2 (en) * 2000-09-08 2011-02-15 Automotive Technologies International, Inc. Vehicular component control using wireless switch assemblies
MXPA03000506A (es) * 2000-07-18 2004-09-10 Correlogic Systems Inc Proceso para discriminiar entre estados biologicos basados en patrones escondidos de datos biologicos.
US6618128B2 (en) 2002-01-23 2003-09-09 Csi Technology, Inc. Optical speed sensing system
DE10321749B4 (de) * 2003-05-09 2018-05-30 Trimble Jena Gmbh Verfahren und Anordnung zur Bestimmung der räumlichen Lage und Position eines Reflektorstabes in Bezug zu einem Aufhaltepunkt
JP2005265461A (ja) * 2004-03-16 2005-09-29 Fujitsu Ten Ltd レーダ装置
NZ535322A (en) * 2004-09-13 2006-07-28 Univ Waikato Range sensing system
GB0523676D0 (en) * 2005-11-21 2005-12-28 Plextek Ltd Radar system
FI118787B (fi) * 2005-12-07 2008-03-14 Ekahau Oy Paikanmääritystekniikoita
US7916066B1 (en) 2006-04-27 2011-03-29 Josef Osterweil Method and apparatus for a body position monitor and fall detector using radar
US8323189B2 (en) * 2006-05-12 2012-12-04 Bao Tran Health monitoring appliance
US20080119716A1 (en) 2006-05-17 2008-05-22 Olga Boric-Lubecke Determining presence and/or physiological motion of one or more subjects with quadrature doppler radar receiver systems
US20090017910A1 (en) 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
JP5139744B2 (ja) * 2007-08-09 2013-02-06 本田技研工業株式会社 車両用物体検知装置
JP4548477B2 (ja) * 2007-11-30 2010-09-22 ブラザー工業株式会社 画像形成装置
US8342027B2 (en) 2007-12-07 2013-01-01 The Ohio State University Determining physical properties of objects or fluids in multi-path clutter environments
US7753849B2 (en) 2008-05-09 2010-07-13 Alcatel-Lucent Usa Inc. Doppler radar cardiopulmonary sensor and signal processing system and method for use therewith
US8520502B2 (en) * 2008-06-02 2013-08-27 Qualcomm Incorporated Systems and methods for managing RRC connections in wireless communications
US7916006B2 (en) * 2008-06-25 2011-03-29 GM Global Technology Operations LLC Judgment line calculations for a vehicle safety system
EP2391905B1 (en) * 2009-01-27 2019-11-20 Xyz Interactive Technologies Inc. A method and apparatus for ranging finding, orienting, and/or positioning of single and/or multiple devices
US8905928B2 (en) 2009-07-17 2014-12-09 Oregon Health & Science University Method and apparatus for assessment of sleep disorders
US8935005B2 (en) * 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
US8174931B2 (en) * 2010-10-08 2012-05-08 HJ Laboratories, LLC Apparatus and method for providing indoor location, position, or tracking of a mobile computer using building information
FR2973614B1 (fr) * 2011-04-01 2013-05-10 Commissariat Energie Atomique Procede d'evaluation de la qualite des liens radio pour un reseau corporel sans fil, procede de transmission de messages pour un reseau corporel sans fil et dispositifs pour la mise en oeuvre de ces procedes
US8884809B2 (en) * 2011-04-29 2014-11-11 The Invention Science Fund I, Llc Personal electronic device providing enhanced user environmental awareness
US20130182539A1 (en) * 2012-01-13 2013-07-18 Texas Instruments Incorporated Multipath reflection processing in ultrasonic gesture recognition systems
WO2013177431A1 (en) 2012-05-23 2013-11-28 University Of Florida Research Foundation, Inc. Method and apparatus for detecting and/or analyzing motion using radar and multiple identifiable reflectors
CN102928840A (zh) * 2012-10-29 2013-02-13 中国人民解放军空军装备研究院侦察情报装备研究所 多通道sar地面慢动目标检测方法及装置
US20140247148A1 (en) * 2013-03-04 2014-09-04 Hello Inc. Monitoring device with wireless communication using cdma
US9971414B2 (en) * 2013-04-01 2018-05-15 University Of Washington Through Its Center For Commercialization Devices, systems, and methods for detecting gestures using wireless communication signals
US9753131B2 (en) * 2013-10-09 2017-09-05 Massachusetts Institute Of Technology Motion tracking via body radio reflections
US9542749B2 (en) * 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
US20150269825A1 (en) * 2014-03-20 2015-09-24 Bao Tran Patient monitoring appliance
US9253592B1 (en) * 2014-06-19 2016-02-02 Amazon Technologies, Inc. Inter-device bearing estimation based on beamforming and motion data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11271430A (ja) * 1998-03-25 1999-10-08 Toyota Central Res & Dev Lab Inc 自動車レーダ装置
JP2000338231A (ja) * 1999-05-31 2000-12-08 Mitsubishi Electric Corp 侵入者検知装置
JP2009541725A (ja) * 2006-07-13 2009-11-26 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 角度分解型レーダセンサ
WO2009047546A1 (en) * 2007-10-12 2009-04-16 Qinetiq Limited Radar method and apparatus suitable for use in multipath environments
JP2011033498A (ja) * 2009-08-03 2011-02-17 Fujitsu Ten Ltd レーダ装置
WO2012115518A1 (en) * 2011-02-25 2012-08-30 Nederlandse Organisatie Voor Toegepast- Natuurwetenschappelijk Onderzoek Tno Fmcw radar system with multiple transmitters and beat frequency multiplex
JP2014517253A (ja) * 2011-02-25 2014-07-17 ネーデルランツ オルガニサティー フォール トゥーゲパストナトゥールヴェテンシャッペリーク オンデルズーク テーエンオー 複数の送信器とビート周波数マルチプレックスを有するfmcwレーダシステム
JP2013068433A (ja) * 2011-09-20 2013-04-18 Fujitsu Ltd 探知測距装置および探知測距方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11515949B2 (en) 2018-12-28 2022-11-29 Panasonic Intellectual Property Management Co., Ltd. Estimation method and device to identify next position of a living body
JP2020156668A (ja) * 2019-03-26 2020-10-01 株式会社タムラ製作所 生体情報検出装置
JP7294845B2 (ja) 2019-03-26 2023-06-20 株式会社タムラ製作所 生体情報検出装置
JP6797339B1 (ja) * 2020-03-13 2020-12-09 三菱電機株式会社 レーダ装置
WO2024161856A1 (ja) * 2023-01-31 2024-08-08 オムロン株式会社 生体情報処理方法

Also Published As

Publication number Publication date
CN110082736A (zh) 2019-08-02
US20170082741A1 (en) 2017-03-23
US20170074980A1 (en) 2017-03-16
WO2015175078A3 (en) 2016-03-10
WO2015175078A2 (en) 2015-11-19
WO2015175078A9 (en) 2015-12-17
US9753131B2 (en) 2017-09-05
CN106233155A (zh) 2016-12-14
EP3111248A2 (en) 2017-01-04

Similar Documents

Publication Publication Date Title
JP6796485B2 (ja) 体の無線反射によるモーショントラッキング
JP2017508149A (ja) 無線の反射による物体追跡
US10845463B2 (en) Method, apparatus, and system for wireless object scanning
US10742475B2 (en) Method, apparatus, and system for object tracking sensing using broadcasting
JP7278682B2 (ja) 周期的な動き検出とモニタのためのシステム及び方法
Adib et al. 3D tracking via body radio reflections
Palipana et al. Recent advances in RF-based passive device-free localisation for indoor applications
Wang et al. Literature review on wireless sensing-Wi-Fi signal-based recognition of human activities
JP6260004B2 (ja) レーダシステム及びターゲット検知方法
JP2020203075A (ja) 無線追跡、スキャニング、及び監視のための方法、装置及びシステム
Jiang et al. Design and evaluation of a wireless magnetic-based proximity detection platform for indoor applications
KR20120045929A (ko) 로봇의 리로케이션 장치 및 방법
KR20210089144A (ko) 수동 객체들의 레이더 이미지들을 추적 또는 생성하기 위한 레이더
Lian et al. EchoSpot: Spotting your locations via acoustic sensing
WO2021137220A2 (en) State detection
US8772724B2 (en) Low power, inexpensive velocity detection using a PIR array
Hadian et al. Development and Evaluation of BLE‐Based Room‐Level Localization to Improve Hand Hygiene Performance Estimation
US11832933B2 (en) System and method for wireless detection and measurement of a subject rising from rest
Wilson Device-free localization with received signal strength measurements in wireless networks
Pandey et al. Localization in wireless sensor networks using visible light in non-line of sight conditions
Hammoud et al. Enhanced still presence sensing with supervised learning over segmented ultrasonic reflections
Moriya et al. Indoor localization based on distance-illuminance model and active control of lighting devices
Yamazaki et al. Accurate two-dimensional imaging of a human body in motion using multiple ultra-wideband Doppler radar systems in a multipath environment
Zhu et al. NotiFi: Non-Invasive Abnormal Activity Detection Using Fine-grained WiFi Signals
Saha et al. Heart-rate detection and tracking human body movements through walls at home

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190708

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191002

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200213

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200424

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200707

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201026