JP2022191191A - サウンドセンシング及び無線センシングのための方法、装置及びシステム - Google Patents

サウンドセンシング及び無線センシングのための方法、装置及びシステム Download PDF

Info

Publication number
JP2022191191A
JP2022191191A JP2022095307A JP2022095307A JP2022191191A JP 2022191191 A JP2022191191 A JP 2022191191A JP 2022095307 A JP2022095307 A JP 2022095307A JP 2022095307 A JP2022095307 A JP 2022095307A JP 2022191191 A JP2022191191 A JP 2022191191A
Authority
JP
Japan
Prior art keywords
signal
radio
filter
baseband
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022095307A
Other languages
English (en)
Inventor
ベイベイ ワン,
Beibei Wang
ムハメッド ザヒド オストゥルク,
Zahid Ozturk Muhammed
チェンシュー ウー,
Chenshu Wu
シャオリュ ゼン,
Xiaolu Zeng
サイ ディーピカ レガニ,
Deepika Regani Sai
ユキアン フー,
Yuqian Hu
ケー. ジェイ. レイ リウ,
J Ray Liu K
オスカー チ-リム オウ,
Chi-Lim Au Oscar
イ ハン,
Yi Han
ハン-コック, デュック ライ,
Lai Hung-Quoc Duc
ディビッド エヌ. クラッフィー,
N Claffey David
チュン-イ チェン,
Chun-I Chen
ダン バゴス,
Bugos Dan
ペン ザン,
Peng Zan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Origin Wireless Inc
Original Assignee
Origin Wireless Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/352,185 external-priority patent/US11906659B2/en
Priority claimed from US17/827,902 external-priority patent/US20220291328A1/en
Priority claimed from US17/838,244 external-priority patent/US20220299619A1/en
Priority claimed from US17/838,231 external-priority patent/US20220303167A1/en
Priority claimed from US17/838,228 external-priority patent/US20220308195A1/en
Application filed by Origin Wireless Inc filed Critical Origin Wireless Inc
Publication of JP2022191191A publication Critical patent/JP2022191191A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/56Discriminating between fixed and moving objects or between objects moving at different speeds for presence detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • G01S7/006Transmission of data between radar, sonar or lidar systems and remote stations using shared front-end circuitry, e.g. antennas
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/292Extracting wanted echo-signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/003Bistatic radar systems; Multistatic radar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862Combination of radar systems with sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28Details of pulse systems
    • G01S7/285Receivers
    • G01S7/288Coherent receivers
    • G01S7/2883Coherent receivers using FFT processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414Discriminating targets with respect to background clutter
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】サウンドセンシング及び無線センシングのための方法、装置及びシステムを提供する。【解決手段】ベニューにおいてベースバンドミクスチャ信号を取得するように構成されたセンサと、ベニューの無線チャネルを通じて第1の無線信号を送信するように構成された送信機と、無線チャネルを通じて第2の無線信号を受信するように構成された受信機と、プロセッサとを備える。ベースバンドミクスチャ信号は、第1のソース信号と追加の信号とのミクスチャを含む。第1のソース信号は、ベニューにおける第1の物体の第1の動きによって生成される。第2の無線信号は、無線チャネルとベニューにおける第1の物体の第1の動きとに起因して、第1の無線信号とは異なる。プロセッサは、第2の無線信号の無線特徴に基づいて、ベースバンドミクスチャ信号のための第1の適応フィルタを構築してフィルタリングすることで、第1のソース信号を推定する。【選択図】なし

Description

本教示は、概して、サウンドセンシング及び無線センシングに関するものである。より具体的には、本教示は、オーディオ信号及び無線信号の両方に基づく音声強調及び分離、チャネル情報に基づく無線センシング、リンクワイズ動き統計値に基づく無線センシング、並びに無線センシングのための無線信号に基づくデバイス識別及び資格認定に関するものである。
人間は、集合的にSESと称され、カクテルパーティ問題として知られている、雑音の多い音声を理解すること(別名、音声強調(SE:speech enhancement))又は1つのスピーカを別のスピーカから分離すること(別名、音声分離(SS:speech separation))が、大いに可能である。マシンのSES能力は、音声コマンド、ライブスピーチ録音等の多くの用途に対して非常に需要があるが、マイクロフォンを使用する難しい問題が残っている。
モノラルSES法は、特に背景雑音があまりない場合、深層学習(ディープラーニング)の助けを借りて近年著しい進歩を遂げた。しかしながら、ミクスチャ中のソースの個数を推定すること、出力ソースを所望のスピーカと関連付けること(別名、ラベル置換問題)、及びスピーカを長期間追跡することには、根本的な問題が依然として存在する。これらの問題は、クラスタリングベースの方法及び置換不変トレーニング(PIT:permutation invariant training)によって、クリーンなミクスチャについて解決することができるが、それらの性能は雑音の多いミクスチャで低下する可能性がある。全体的に、オーディオのみのアプローチは本質的に、これらの悪い問題に悩まされる。
この問題を克服し、SESを改善するために、ビデオ等のオーディオ以外の容易に利用可能な情報を活用するマルチモーダルシステムが導入されている。唇の動き及び顔の情報も使用する人間の知覚と同様に、オーディオビジュアルシステムは、特に同一スピーカ・ミクスチャ等の、困難なケースにおいてSES性能を改善することが示されている。同一スピーカ・ミクスチャ及び類似スピーカ・ミクスチャは、2つのソースの区別が最小であるため、オーディオのみの方法では特に困難である。スピーカに関する追加の視覚情報、例えば、ユーザのビデオ若しくは更には顔写真、又は音声アクティビティ検出若しくはピッチ等の他の情報は、SES性能を改善する。しかしながら、カメラベースの方法は、良好な照明条件を必要とし、潜在的なプライバシー問題を引き起こす。
無線センシングタスクは、ターゲット検出、動きターゲット検出、静止ターゲット検出、遷移ターゲット検出、動き検出、人間/木の動き検出、存在検出、子供存在検出(CPD:child presence detection)、車内監視(in vehicle monitoring)、車内CPD、バイタルサイン監視、呼吸検出、呼吸監視、睡眠監視、運転者監視、運転者挙動解析、運転者疲労検出、不注意運転者検出、占有検出、人間/乗客カウント等を含みうる。例えば、CPDは、子供が無人車両に単独で放置されるときに子供の生命を救うための規制要件になりつつある。しかしながら、既存の作業の大部分は、専用の装置を必要とし、精度及びカバレッジの制限を受ける。
自動車の普及に伴い、車内に放置されたことによる子どもの熱中症や死亡が世界中で注目されている。密閉型車両からの熱ストレス及び最新の更新によると、882人の子供が死亡しており(平均年間38人)、米国では1998年以降、小児車両熱中症(PVH:Pediatric Vehicular Heatstroke)によって引き起こされた臓器又は脳の損傷により、より多くの子供が障害を被っている。報告された子供の97%以上が6歳未満で、自分で車を出ることができないので、CPDは、特に車内の温度が数分以内に致命的になる可能性がある暑い気候において、車の安全性を改善するために必要な機能になりつつある。この目的のために、2022年から、欧州新車評価プログラム(NCAP:New Car Assessment Programme)は、CPDシステムのソリューションに報いることになり、これは更に、2023年から始まる、全ての新しく製造される乗用車に対する規制要件として検討されている。CPDが備えられると、無人車に放置された子供を検出することができ、介護者又は緊急サービスは、熱中症による死亡を避けるように警告される。
初期のCPDシステムは、光学/重量/熱/圧力センサ等の、ベビーシートに備えられた様々なセンサからの情報を活用することによって実装される。しかしながら、センサベースの方法は、ベビーシートの外側の子供を検出することを困難にする制限されたカバレッジ、高い誤警報率(例えば、子供は、体重センサを使用して同様の体重の無生物アイテムから容易に区別することができない)、及び異なる子供及び自動車に対応するアドホックパラメータ等、いくつかの欠点を有する。その後、検出エリアがまだベビーシート内/隣に限定されている一方で誤警報率を低減するために、無線トランシーバ及び容量/電気センサが導入された。焦電型赤外線(PIR:Pyroelectric Infrared)センサベースのアプローチは、子供の動きを検出することによってカバレッジを拡大できることが判明した。しかしながら、PIRセンサは、周囲環境の温度に非常にセンシティブであり、実際にその信頼性を低下させる。視覚ベースのCPDシステムは、画像/ビデオ処理を使用することによって、検出精度においてより信頼性が高い。しかし、それらは、通常、専用のハードウェア/カメラを必要とし、それ故に、自動車のコスト及びエネルギー消費を増加させる。更に、画像/ビデオの品質は、光の状態の影響を受ける。最新の機械学習ベースの技術は、より良好な検出精度を達成しているが、依然として入力画像品質に大きく依存し、それ故に、それらの実用的な展開を妨げている。
物体の動き検出は、最近、ますます重要になっている。例えば、セキュリティ及び/又は管理の目的のために、ユーザが、当該ユーザの家の中の任意の物体の動きを検出することを望むことがありうる。スーパーマーケットのマネージャが、当該スーパーマーケットの中の任意の物体の動きを検出することを望むことがありうる。病院の看護師が、病院内の患者の任意の動きを検出することを望むことがありうる。
物体の動きを検出するための既存のシステム及び方法は、十分な精度を提供することができず、しばしば誤警報につながる。既存のアプローチは、パッシブ赤外線(PIR)、アクティブ赤外線(AIR)及び超音波に基づくアプローチを含む。PIRセンサは、ホームセキュリティシステムにおいて最も広く使用されている動きセンサであり、これは、背景熱と移動中の人によって放出される熱との間の差をセンシングすることによって人間の動きを検出する。しかしながら、PIRセンサに基づくソリューションは、高温/低温の空気流及び太陽光のような環境変化に対する感度に起因して、誤警報を起こしやすい。これらのソリューションは、例えば、断熱フルボディスーツを着用する等、身体の熱放出を遮断することによって容易に無効化される。加えて、これらのソリューションは、検出レンジが限られており、見通し(LOS:line-of-sight)を必要とする。AIRベースのアプローチでは、赤外線(IR)エミッタが、IR受信機によって受信されるIRのビームを送信する。ビームが遮ぎられると、動きが検出される。しかしながら、この種類のアプローチは、通常のカメラ又は任意のIR検出機構を使用するものと容易に見なすことができ、また、限られたレンジを有し、それ故に、LOSを必要とする。超音波センサは、空間に超音波を送り、それらが戻る速度を測定することによって、人間の動きを検出し、周波数変化がある場合には動きを検出できる。しかしながら、この種類のアプローチは、無響スーツを着用することによって無効化されうる。加えて、超音波は、家具又は箱等の固体を貫通することができず、それ故に、検出フィールドにギャップを生じさせる。更に、強盗によるゆっくりとした移動は、超音波ベースの検出システムにおいて警報をトリガしないことがありうる。
現実世界の用途では、動きの存在だけでなく、動きがどこで起こるかということも重要である。例えば、スマートホーム技術は、照明、暖房、及び屋内監視カメラのようなユーティリティの自動制御のための潜在的なエネルギー節約を、狭いレンジ内の動きの存在下でのみ完全に実現することができる。更に、エリア認識(area-aware)動き検出は、日常生活の更なるアクティビティ認識のための重要なロケーション関連コンテキストを提供しうる。しかしながら、ほとんどの既存のアプローチは、ターゲット動作がどこ(例えば、建物内のどの部屋)であるかを調査することなく、予め定義された(例えば、大きな建物)エリアにおける動きを検出することを目的とするにすぎない。以前のアプローチも、フィンガープリンティングベースの方法又は幾何学的マッピングベースの方法を使用して、人間ターゲットの位置特定を試みている。しかしながら、それらは、通常、特定の幾何学的構成を有する複数のトランシーバ、又は正確な位置特定を達成する前に専用のキャリブレーション及びトレーニング等の高いセットアップの努力を必要とし、したがって、動き位置特定( motion localization)には実用的ではない。このため、無線センシング及び位置特定のための既存のシステム及び方法は、全く満足のいくものではない。
Internet of Things(IoT)アプリケーションの急増に伴い、何十億もの家庭電化製品、電話機、スマートデバイス、セキュリティシステム、環境センサ、車両及び建物、並びに他の無線接続型デバイスが、データを送信し、互いに通信又は人と通信し、全てのものが、常に測定され、追跡されるようになる。周囲環境で起こっていることを測定するための様々なアプローチの中で、無線センシングは、近年、ワイヤレス無線デバイスのユビキタスな展開を理由として、ますます注目を集めている。加えて、人間のアクティビティは、無線信号の伝搬に影響を及ぼし、したがって、無線信号が人間のアクティビティにどのように反応するかを理解及び分析することは、当該アクティビティに関する豊富な情報を明らかにしうる。新しい世代の無線システムにおいてより多くの帯域幅が利用可能になるにつれて、無線センシングは、近い将来、今日想像されるだけの多くのスマートフォンIoTアプリケーションを可能なものにするであろう。これの理由は、帯域幅が増加すると、屋内又は都市エリア等の豊富な散乱環境において、より多くのマルチパスを見ることができることであり、これは数百の仮想アンテナ/センサとして扱われうる。IoTデバイス又は任意のスマートデバイスが資格付与され(qualied)、かつ、無線センシングに使用するように構成される前に、当該デバイスは、システムによって識別される必要がある。したがって、無線センシングシステムのデバイス識別のための効率的かつ有効な方法が望ましい。
本教示は、概して、サウンドセンシング及び無線センシングに関するものである。より具体的には、本教示は、オーディオ信号及び無線信号の両方に基づく音声強調及び分離、チャネル情報に基づく無線センシング、リンクワイズ動き統計値に基づく無線センシング、並びに無線センシングのための無線信号に基づくデバイス識別及び資格認定に関するものである。
一実施形態では、無線支援信号推定のためのシステムが説明される。システムは、ベニューにおいてベースバンドミクスチャ信号を取得するように構成されたセンサと、ベニューの無線チャネルを通じて第1の無線信号を送信するように構成された送信機と、無線チャネルを通じて第2の無線信号を受信するように構成された受信機と、プロセッサと、を備える。ベースバンドミクスチャ信号は、第1のソース信号と追加の信号とのミクスチャを含む。第1のソース信号は、ベニューにおける第1の物体の第1の動きによって生成される。第2の無線信号は、無線チャネルと、ベニューにおける第1の物体の少なくとも第1の動きとに起因して、第1の無線信号とは異なる。プロセッサは、第2の無線信号の無線特徴を取得し、当該無線特徴に基づいて、ベースバンドミクスチャ信号のための第1の適応フィルタを構築し、第1の適応フィルタを用いてベースバンドミクスチャ信号をフィルタリングすることで、第1の出力信号を取得し、第1の出力信号に基づいて、第1のソース信号の推定を生成するように構成される。
別の実施形態では、無線支援信号推定のための方法が説明される。本方法は、第1のソース信号と追加の信号とのミクスチャを含む、ベニューにおけるベースバンドミクスチャ信号を取得することであって、第1のソース信号は、ベニューにおける第1の物体の第1の動きによって生成される、ことと、ベニューにおいて送信機から受信機へ送信された無線信号の無線特徴を取得することであって、受信される無線信号は、ベニューの無線チャネルと、少なくともベニューにおける第1の物体の第1の動きとに起因して、送信された無線信号とは異なる、ことと、無線特徴に基づいて、ベースバンドミクスチャ信号のための第1の適応フィルタを構築することと、第1の適応フィルタを用いてベースバンドミクスチャ信号をフィルタリングすることで、第1の出力信号を取得することと、第1の出力信号に基づいて、第1のソース信号の推定を生成することと、を含む。
一実施形態では、無線センシングのためのシステムが説明される。システムは、ベニューの無線マルチパスチャネルを通じて無線信号を送信するように構成された送信機であって、無線マルチパスチャネルは、ベニューにおける物体の動きによって影響を受ける、送信機と、無線マルチパスチャネルを通じて無線信号を受信するように構成された受信機であって、受信される無線信号は、無線マルチパスチャネル及び物体の動きに起因して、送信された無線信号とは異なる、受信機と、プロセッサと、を備える。プロセッサは、受信された無線信号に基づいて、無線マルチパスチャネルのN1個の時系列のチャネル情報(TSCI)を取得することであって、N1=N2*N3であり、N2は送信機上の送信アンテナの量であり、N3は受信機上の受信アンテナの量であり、各TSCIは送信機の個別の送信アンテナ及び受信機の個別の受信アンテナと関連付けられている、ことと、N1個のTSCIに基づいて、N4個の選択された投影を演算することであって、N4は正の整数である、ことと、N4個の選択された投影に基づいて、物体の動きと関連付けられたセンシングタスクを実行することと、を行うように構成される。
別の実施形態では、無線センシングのためのシステムの無線デバイスが説明される。無線デバイスは、プロセッサと、通信可能にプロセッサに接続されたメモリと、通信可能にプロセッサに接続された受信機と、を備える。システムの追加の無線デバイスは、ベニューの無線マルチパスチャネルを通じて無線信号を送信するように構成される。無線マルチパスチャネルは、ベニューにおける物体の動きによって影響を受ける。受信機は、無線マルチパスチャネルを通じて無線信号を受信するように構成される。受信される無線信号は、無線マルチパスチャネル及び物体の動きに起因して、送信された無線信号とは異なる。プロセッサは、受信された無線信号に基づいて、無線マルチパスチャネルのN1個の時系列のチャネル情報(TSCI)を取得することであって、N1=N2*N3であり、N2は送信機上の送信アンテナの量であり、N3は受信機上の受信アンテナの量であり、各TSCIは送信機の個別の送信アンテナ及び受信機の個別の受信アンテナと関連付けられている、ことと、N1個のTSCIに基づいて、N4個の選択された投影を演算することであって、N4は正の整数である、ことと、N4個の選択された投影に基づいて、物体の動きと関連付けられたセンシングタスクを実行することと、を行うように構成される。
更に別の実施形態では、無線センシングのための方法が説明される。本方法は、無線信号を、送信機からベニューの無線マルチパスチャネルを通じて送信することであって、無線マルチパスチャネルは、ベニューにおける物体の動きによって影響を受ける、ことと、無線マルチパスチャネルを通じて受信機によって無線信号を受信することであって、受信される無線信号は、無線マルチパスチャネル及び物体の動きに起因して、送信された無線信号とは異なる、ことと、受信された無線信号に基づいて、無線マルチパスチャネルのN1個の時系列のチャネル情報(TSCI)を取得することであって、N1=N2*N3であり、N2は送信機上の送信アンテナの量であり、N3は受信機上の受信アンテナの量であり、各TSCIは送信機の個別の送信アンテナ及び受信機の個別の受信アンテナと関連付けられる、ことと、N1個のTSCIに基づいて、N4個の選択された投影を演算することであって、N4は正の整数である、ことと、N4個の選択された投影に基づいて、物体の動きと関連付けられたセンシングタスクを実行することと、を含む。
一実施形態では、無線センシングシステムの方法が説明される。本方法は、ベニューにおける無線センシングシステムの複数のヘテロジニアス無線デバイスを決定することと、それぞれが複数のヘテロジニアス無線デバイスのうちの2つを含む複数のデバイスリンクを決定することであって、2つのヘテロジニアス無線デバイスのうちの一方が送信機として機能し、2つのヘテロジニアス無線デバイスのうちの他方が受信機として機能する、ことと、複数のデバイスリンクのそれぞれの個別のデバイスリンクについて、個別のデバイスリンクの個別の送信機から、ベニューの無線マルチパスチャネルを通じて個別の無線信号を送信することであって、無線マルチパスチャネルはベニュー内の物体の動きによって影響を受ける、ことと、無線マルチパスチャネルを通じて個別のデバイスリンクの個別の受信機によって個別の無線信号を受信することであって、個別の受信される無線信号は、ベニューの無線マルチパスチャネル及び物体の動きに起因して、個別の送信された無線信号とは異なる、ことと、個別のデバイスリンクの個別の受信された無線信号に基づいて、無線マルチパスチャネルの個別の時系列のチャネル情報(TSCI)を取得することと、個別のTSCIに基づいて、個別のデバイスリンクについてのリンクワイズ動き統計値(リンクMS)を演算することと、全てのTSCI又は全てのリンクMSのうちの少なくとも1つに基づいて、物体の動きと関連付けられたセンシングタスクを実行することと、全てのリンクMSに基づいて、センシングタスクと関連付けられたベニュー内のロケーション(位置)を演算することと、を含む。
別の実施形態では、無線センシングのためのシステムが説明される。システムは、ベニューにおいて複数のデバイスリンクを形成する複数のヘテロジニアス無線デバイスであって、複数のデバイスリンクのそれぞれが、ヘテロジニアス無線デバイスのうちの2つを含み、2つのヘテロジニアス無線デバイスのうちの一方が送信機として機能し、2つのヘテロジニアス無線デバイスのうちの他方が受信機として機能する、複数のヘテロジニアス無線デバイスと、少なくとも1つのプロセッサと、を備える。複数のデバイスリンクのそれぞれの個別のデバイスリンクについて、個別のデバイスリンクの個別の送信機は、ベニューの無線マルチパスチャネルを通じて個別の無線信号を送信するように構成され、無線マルチパスチャネルは、ベニュー内の物体の動きによって影響を受け、個別のデバイスリンクの個別の受信機は、無線マルチパスチャネルを通じて個別の無線信号を受信するように構成され、個別の受信される無線信号は、ベニューの無線マルチパスチャネル及び物体の動きに起因して、個別の送信された無線信号とは異なり、少なくとも1つのプロセッサは、個別のデバイスリンクの個別の受信された無線信号に基づいて、無線マルチパスチャネルの個別の時系列のチャネル情報(TSCI)を取得し、個別のTSCIに基づいて、個別のデバイスリンクの個別のリンクワイズ動き統計値(リンクMS)を演算するように構成される。少なくとも1つのプロセッサは更に、全てのTSCI又は全てのリンクMSのうちの少なくとも1つに基づいて、物体の動きと関連付けられたセンシングタスクを実行することと、全てのリンクMSに基づいて、センシングタスクと関連付けられたベニュー内のロケーションを演算することと、を行うように構成される。
一実施形態では、無線センシングのためのシステムが説明される。システムは、ベニューの無線マルチパスチャネルを通じて無線信号を送信するように構成された送信機であって、無線マルチパスチャネルは、ベニューにおける物体の移動によって影響を受ける、送信機と、無線マルチパスチャネルを通じて無線信号を受信するように構成された受信機であって、受信される無線信号は、無線マルチパスチャネル及び物体の移動に起因して、送信された無線信号とは異なる、受信機と、プロセッサと、を備える。プロセッサは、受信された無線信号に基づいて、無線マルチパスチャネルの、ある個数の時系列のチャネル情報(TSCI)を取得することと、当該個数のTSCIに基づいて、時系列の動き分析(TSMA)を演算することと、TSMAに基づいて、ターゲットデバイスの情報を演算することと、を行うように構成され、ターゲットデバイスは、ベニュー内の送信機、受信機又は追加のデバイスのうちの1つであり、ターゲットデバイスの情報は、アイデンティティ、名前、ラベル、タグ、又はロケーションのうちの少なくとも1つを含む。
別の実施形態では、無線センシングのためのシステムの無線デバイスが説明される。無線デバイスは、プロセッサと、通信可能にプロセッサに接続されたメモリと、通信可能にプロセッサに接続された受信機と、を備える。システムの追加の無線デバイスは、ベニューの無線マルチパスチャネルを通じて無線信号を送信するように構成される。無線マルチパスチャネルは、ベニュー内の物体の移動によって影響を受ける。受信機は、無線マルチパスチャネルを通じて無線信号を受信するように構成される。受信される無線信号は、無線マルチパスチャネル及び物体の移動に起因して、送信された無線信号とは異なる。プロセッサは、受信された無線信号に基づいて、無線マルチパスチャネルの、ある個数の時系列のチャネル情報(TSCI)を取得することと、当該個数のTSCIに基づいて、時系列の動き分析(TSMA)を演算することと、TSMAに基づいて、ターゲットデバイスの情報を演算することと、を行うように構成される。ターゲットデバイスは、ベニュー内の送信機、受信機又は追加のデバイスのうちの1つであり、ターゲットデバイスの情報は、アイデンティティ、名前、ラベル、タグ、又はロケーションのうちの少なくとも1つを含む。
更に別の実施形態では、無線センシングのための方法が説明される。本方法は、無線信号を、送信機からベニューの無線マルチパスチャネルを通じて送信することであって、無線マルチパスチャネルは、ベニューにおける物体の移動によって影響を受ける、ことと、無線マルチパスチャネルを通じて受信機によって無線信号を受信することであって、受信される無線信号は、無線マルチパスチャネル及び物体の移動に起因して、送信された無線信号とは異なる、ことと、受信された無線信号に基づいて、無線マルチパスチャネルの、ある個数の時系列のチャネル情報(TSCI)を取得することと、当該個数のTSCIに基づいて、時系列の動き分析(TSMA)を演算することと、TSMAに基づいて、ターゲットデバイスの情報を演算することと、を含む。ターゲットデバイスは、ベニュー内の送信機、受信機又は追加のデバイスのうちの1つであり、ターゲットデバイスの情報は、アイデンティティ、名前、ラベル、タグ、又はロケーションのうちの少なくとも1つを含む。
他の概念は、サウンドセンシング及び無線センシングに関する本教示を実装するためのソフトウェアに関するものである。追加の新規な特徴は、以下の説明に部分的に記載され、部分的には添付の図面を検討することによって当業者に明らかになるか、又は例の作成又は操作によって学習されうる。本教示の新規な特徴は、以下で論じられる詳細な例に記載される方法論、手段、及び組み合わせについての様々な態様の実施又は使用によって実現及び達成されうる。
本明細書で説明される方法、システム、及び/又はデバイスは、例示的な実施形態に関して更に説明される。これらの例示的な実施形態は、図面を参照して詳細に説明される。これらの実施形態は、非限定的な例示的実施形態であり、同様の参照符号は、図面のいくつかの図を通じて同様の構成を表す。
図1は、本開示のいくつかの実施形態による、オーディオ及び無線信号を使用する、音声強調及び分離システムの概要を示す。
図2は、本開示のいくつかの実施形態による、音声強調及び分離システムの例示的なブロック図を示す。
図3は、本開示のいくつかの実施形態による、無線特徴抽出のための一定の誤警報率(CFAR)ウィンドウを示す。
図4は、本開示のいくつかの実施形態による、無線特徴抽出のための振幅マップを示す。
図5は、本開示のいくつかの実施形態による、無線特徴抽出のための分散マップを示す。
図6は、本開示のいくつかの実施形態による、無線特徴抽出のための検出マップを示す。
図7は、本開示のいくつかの実施形態による、無線特徴抽出のためのクラスタリング出力を示す。
図8A及び図8Bは、本開示のいくつかの実施形態による、ユニモーダルシステム及びマルチモーダルシステムをそれぞれ示す。
図9は、本開示のいくつかの実施形態による、音声強調及び分離システムの詳細な構成を示す。
図10は、本開示のいくつかの実施形態による、デュアルパス回帰型ニューラルネットワーク(DPRNN:dual-path recurrent neural network)の再整形動作及びワークフローを示す。
図11は、本開示のいくつかの実施形態による、オーディオオンリー(AO)及びオーディオラジオ(AR)システムのための学習曲線を示す。
図12は、本開示のいくつかの実施形態による、オーディオオンリー(AO)システムとオーディオラジオ(AR)システムとの間の性能比較を示す。
図13は、本開示のいくつかの実施形態による、オーディオオンリー(AO)システムと比較したオーディオラジオ(AR)システムのための差動利得を示す。
図14A~図14Cは、本開示のいくつかの実施形態による、音声強調及び分離システムのための異なる実験設定を示す。
図15は、本開示のいくつかの実施形態による、無線支援信号推定のための例示的な方法のフローチャートを示す。
図16は、本開示のいくつかの実施形態による、無線支援信号推定のためのシステムを示す。
図17は、本開示のいくつかの実施形態による、無線支援信号推定のためのシステムにおける第1の適応フィルタを示す。
図18は、本開示のいくつかの実施形態による、無線支援信号推定のためのシステムにおける第1の適応フィルタの詳細図を示す。
図19は、本開示のいくつかの実施形態による、車内のマルチパス伝搬の例示的状況を示す。
図20は、本開示のいくつかの実施形態による、無線センシングシステムの例示的な図を示す。
図21は、本開示のいくつかの実施形態による、呼吸信号のブーストACFを伴う及び伴わない例示的な呼吸数推定を示す。
図22は、本開示のいくつかの実施形態による、無線センシングのための異なるシナリオにおける例示的な動き統計値を示す。
図23A~図23Bは、本開示のいくつかの実施形態による、無線センシングシステムの例示的な性能を示す。
図24A~図24Bは、本開示のいくつかの実施形態による、サンプルレートに関する無線センシングシステムの例示的な性能を示す。
図25は、本開示のいくつかの実施形態による、帯域幅に関する無線センシングシステムの例示的な性能を示す。
図26は、本開示のいくつかの実施形態による、無線センシングのための例示的な方法のフローチャートを示す。
図27A及び図27Bは、本開示のいくつかの実施形態による、無線センシングのための例示的なシングルウェイ構成を示す。
図28は、本開示のいくつかの実施形態による、無線センシングのための例示的なマルチウェイ構成を示す。
図29は、本開示のいくつかの実施形態による、マルチウェイセンシングのためのセットアップを示す例示的な図を示す。
図30は、本開示のいくつかの実施形態による、マルチウェイセンシングのための例示的な部屋セットアップを示す。
図31は、本開示のいくつかの実施形態による、マルチウェイセンシングのための別の例示的な部屋セットアップを示す。
図32は、本開示のいくつかの実施形態による、無線センシングのための例示的な方法を示す例示的な図を示す。
図33は、本開示のいくつかの実施形態による、マルチウェイセンシングのための例示的な方法を示す例示的な図を示す。
図34は、本開示のいくつかの実施形態による、反復テストに基づく無線センシングのための応答時間の例示的性能を示す。
図35は、本開示のいくつかの実施形態による、反復テストに基づく無線センシングのための種々の比率の例示的な性能を示す。
図36は、本開示のいくつかの実施形態による、遷移テストに基づく無線センシングのための応答時間の例示的性能を示す。
図37は、本開示のいくつかの実施形態による、遷移テストに基づく無線センシングのための種々の比率の例示的な性能を示す。
図38は、本開示のいくつかの実施形態による、無線センシングのための例示的な方法のフローチャートを示す。
図39は、本開示のいくつかの実施形態による、無線センシングのためのADL(日常生活動作)融合エンジンの例示的な概略を図示する。
図40~図41は、本開示のいくつかの実施形態による、ADLベースの無線センシングシステムのリンク検出のための例示的な図を示す。
図42~図45は、本開示のいくつかの実施形態による、ADLベースの無線センシングシステムのロケーション検出のための例示的な図を示す。
図46は、本開示のいくつかの実施形態による、ADLベースの無線センシングシステムの選択動作のための例示的な図を示す。
図47は、本開示のいくつかの実施形態による、無線センシングのためのアプリのグラフィックユーザインタフェースの例示的な画像を示す。
図48は、本開示のいくつかの実施形態による、無線センシングのために展開されたデバイスを伴う例示的なフロアプランを示す。
図49は、本開示のいくつかの実施形態による、無線センシングのためのデバイス識別のために使用される例示的な動き統計値応答を示す。
図50は、本開示のいくつかの実施形態による、無線センシングのためのデバイスを追加するためのアプリのグラフィックユーザインタフェースの例示的な画像を示す。
図51は、本開示のいくつかの実施形態による、無線センシングのためのデバイスを削除するためのアプリのグラフィックユーザインタフェースの例示的な画像を示す。
図52は、本開示のいくつかの実施形態による、無線センシングのために使用されるデバイスを識別するための例示的なフロアプランを示す。
図53は、本開示のいくつかの実施形態による、無線センシングのために使用されるデバイスを識別するための異なる例示的なフロアプランを示す。
図54は、本開示のいくつかの実施形態による、例示的な動き統計値及び無線センシングのために使用される第1のデバイスを識別するために行われる例示的な決定を示す。
図55は、本開示のいくつかの実施形態による、例示的な動き統計値及び無線センシングのために使用される第2のデバイスを識別するために行われる例示的な決定を示す。
図56は、本開示のいくつかの実施形態による、無線センシングのために使用されるデバイスを識別するための例示的な方法のフローチャートを示す。
図57は、本開示のいくつかの実施形態による、無線センシング又はサウンドセンシングのためのシステムの第1の無線デバイスの例示的なブロック図を示す。
図58は、本開示のいくつかの実施形態による、無線センシング又はサウンドセンシングのためのシステムの第2の無線デバイスの例示的なブロック図を示す。
以下の詳細な説明では、関連する教示の完全な理解を提供するために、例として多数の具体的な詳細が記載される。しかしながら、本教示がそのような詳細なしに実施されうることは、当業者には明らかであろう。他の例では、周知の方法、手順、コンポーネント、及び/又は回路は、本教示の態様を不必要に不明瞭にすることを避けるために、詳細なしに比較的高レベルで説明される。
一実施形態では、本教示は、無線監視システムの、方法、装置、デバイス、システム、及び/又はソフトウェア(方法/装置/デバイス/システム/ソフトウェア)を開示する。無線マルチパスチャネル(チャネル)の時系列のチャネル情報(CI)は、プロセッサと、通信可能に当該プロセッサと接続されたメモリと、当該メモリに格納された命令のセットとを使用して(例えば、動的に)取得されうる。時系列のCI(TSCI)は、チャネルを通じてベニュー内のタイプ1ヘテロジニアス無線デバイス(例えば、無線信号機、TX)とタイプ2ヘテロジニアス無線デバイス(例えば、無線受信機、RX)との間で送信される無線信号(信号)から抽出されうる。チャネルは、ベニュー内の物体の表現(例えば、動き、移動、表現、及び/又は、位置/ポーズ/形状/表現の変化)によって影響を受けうる。物体の特性及び/又は空間‐時間情報(STI(spatial-temporal information)、例えば、動き情報)及び/又は物体の動きは、TSCIに基づいて監視されうる。タスクは、特性及び/又はSTIに基づいて実行されうる。タスクと関連付けられたプレゼンテーションは、ユーザのデバイス上のユーザインタフェース(UI)内に生成されうる。TSCIは、無線信号ストリームでありうる。TSCI又は各CIは、前処理されうる。デバイスは、ステーション(STA)でありうる。記号「A/B」は、本教示において「A及び/又はB」を意味する。
表現(expression)は、配置、可動部の配置、ロケーション、位置、向き、識別可能な場所、領域、空間座標、プレゼンテーション、状態、静的表現、サイズ、長さ、幅、高さ、角度、スケール、形状、曲線、表面、面積、体積、ポーズ、姿勢、明示、ボディランゲージ、動的表現、動き、動きシーケンス、ジェスチャ、伸張、収縮、変形、身体表現(例えば、頭、顔、目、口、舌、髪、声、首、手足、腕、手、脚、足、筋肉、可動部)、表面表現(例えば、形状、質感、材質、色、電磁(EM)特性、視覚パターン、湿り度、反射率、半透明性、柔軟)、材料特性(例えば、生体組織、髪、布、金属、木、革、プラスチック、人工材料、固体、液体、気体、温度)、移動、アクティビティ、挙動、表現の変化、及び/又は何らかの組み合わせを含みうる。
無線信号は、送信/受信信号、EM放射、RF信号/送信、ライセンス/アンライセンス/ISM帯の信号、帯域制限信号、ベースバンド信号、無線/モバイル/セルラ通信信号、メッシュ信号、光信号/通信、ダウンリンク/アップリンク信号、ユニキャスト/マルチキャスト/ブロードキャスト信号、規格(例えば、WLAN、WWAN、WBAN、国際、業界、デファクト、IEEE802、802.11/15/16、WiFi、802.11n/ac/ax/be、3G/4G/LTE/5G/7G/8G、3GPP(登録商標)、Bluetooth、BLE、Zigbee、RFID、UWB、WiMax)準拠の信号、標準フレーム、ビーコン/パイロット/プローブ/問い合わせ/ハンドシェイク/同期信号、管理/制御/データフレーム、管理/制御/データ信号、標準化された無線/セルラ通信プロトコル、参照信号、ソース信号、動作プローブ/検出/センシング信号、及び/又は信号の系列を含みうる。無線信号は、見通し(LOS)成分及び/又は非LOS成分(又はパス/リンク)を含みうる。各CIは、タイプ2デバイスのレイヤ(例えば、OSIモデルにおけるPHY/MACレイヤ)において抽出/生成/演算/センシングされうる、及びアプリケーション(例えば、ソフトウェア、ファームウェア、ドライバ、アプリ、無線監視ソフトウェア/システム)によって取得されうる。
無線マルチパスチャネルは、通信チャネル、アナログ周波数チャネル(例えば、700/800/900MHz、1.8/1.8/2.4/3/5/6/27/60GHz付近のアナログキャリア周波数を有する)、符号化チャネル(例えば、CDMAにおける)、及び/又は無線ネットワーク/システム(例えば、WLAN、WiFi、メッシュ、LTE、4G/5G、Bluetooth、Zigbee、UWB、RFID、マイクロ波)のチャネルを含みうる。それは、2つ以上のチャネルを含んでもよい。チャネルは連続的(例えば、隣接する/重複する帯域を有する)又は非連続的チャネル(例えば、重複しないWiFiチャネル、1つは2.4GHzであり、1つは5GHzである)であってもよい。
TSCIは、タイプ2デバイスのレイヤ(例えば、OSI参照モデルのレイヤ、物理レイヤ、データリンクレイヤ、論理リンク制御レイヤ、メディアアクセス制御(MAC)レイヤ、ネットワーク層、トランスポートレイヤ、セッションレイヤ、プレゼンテーションレイヤ、アプリケーションレイヤ、TCP/IPレイヤ、インターネットレイヤ、リンクレイヤ)において無線信号から抽出されうる。TSCIは、無線信号(例えば、RF信号)から導出された導出信号(例えば、ベースバンド信号、動き検出信号、動きセンシング信号)から抽出されうる。それは、既存のメカニズム(例えば、無線/セルラ通信標準/ネットワーク、3G/LTE/4G/5G/6G/7G/8G、WiFi、IEEE802.11/15/16)を使用して通信プロトコル(例えば、標準化されたプロトコル)によってセンシングされた(無線)測定値であってもよい。出信号は、(例えば、無線リンク/ネットワークにおけるデータ/制御/管理のための)プリアンブル、ヘッダ、及びペイロードのうちの少なくとも1つを有するパケットを含んでもよい。TSCIは、パケット内のプローブ信号(例えば、トレーニングシーケンス、STF、LTF、L-STF、L-LTF、L-SIG、HE-STF、HE-LTF、HE-SIG-A、HE-SIG-B、CEF)から抽出されてもよい。動き検出/センシング信号は、プローブ信号に基づいて認識/識別されうる。パケットは、規格準拠プロトコルフレーム、管理フレーム、制御フレーム、データフレーム、サウンディングフレーム、励起フレーム、照明フレーム、ヌルデータフレーム、ビーコンフレーム、パイロットフレーム、プローブフレーム、要求フレーム、応答フレーム、関連付けフレーム、再関連付けフレーム、関連付け解除フレーム、認証フレーム、アクションフレーム、レポートフレーム、ポールフレーム、アナウンスメントフレーム、拡張フレーム、問い合わせフレーム、肯定応答フレーム、RTSフレーム、CTSフレーム、QoSフレーム、CF-Pollフレーム、CF-Ackフレーム、ブロック肯定応答フレーム、リファレンスフレーム、トレーニングフレーム、及び/又は同期フレームでありうる。
パケットは、制御データ及び/又は動き検出プローブを含みうる。データ(例えば、タイプ1デバイスのID/パラメータ/特性/設定/制御信号/コマンド/命令/通知/ブロードキャスト関連情報)は、ペイロードから取得されうる。無線信号は、タイプ1デバイスによって送信されうる。それは、タイプ2デバイスによって受信されうる。(例えば、ローカルサーバ、ハブデバイス、クラウドサーバ、ストレージネットワーク内の)データベースが、TSCI、特性、STI、署名、パターン、挙動、傾向、パラメータ、分析、出力応答、識別情報、ユーザ情報、デバイス情報、チャネル情報、ベニュー(例えば、マップ、環境モデル、ネットワーク、近接デバイス/ネットワーク)情報、タスク情報、クラス/カテゴリ情報、プレゼンテーション(例えば、UI)情報、及び/又は他の情報を格納するために使用されうる。
タイプ1/タイプ2デバイスは、電子機器、回路、送信機(TX)/受信機(RX)/トランシーバ、RFインタフェース、「Origin Satellite」/「Tracker Bot」、ユニキャスト/マルチキャスト/ブロードキャストデバイス、無線ソースデバイス、ソース/宛先デバイス、無線ノード、ハブデバイス、ターゲットデバイス、動き検出デバイス、センサデバイス、リモート/無線センサデバイス、無線通信デバイス、無線対応デバイス、規格準拠デバイス、及び/又は受信機のうちの少なくとも1つを含みうる。タイプ1(又はタイプ2)デバイスは、ヘテロジニアスであってよく、この理由は、タイプ1(又はタイプ2)デバイスの複数のインスタンスが存在する場合に、異なる回路、エンクロージャ、構造、目的、補助機能、チップ/IC、プロセッサ、メモリ、メモリ、ソフトウェア、ファームウェア、ネットワーク接続性、アンテナ、ブランド、モデル、外観、形態、形状、色、材料、及び/又は仕様を有しうることである。タイプ1/タイプ2デバイスは、アクセスポイント、ルータ、メッシュルータ、インターネット・オブ・シングス(IoT)デバイス、無線端末、1つ以上の無線/RFサブシステム/無線インタフェース(例えば、2.4GHz無線機、5GHz無線機、フロントホール無線機、バックホール無線機)、モデム、RFフロントエンド、RF/無線チップ、又は集積回路(IC)を備えうる。
タイプ1デバイス、タイプ2デバイス、それらの間のリンク、物体、特性、STI、動きの監視、及びタスクのうちの少なくとも1つは、UUID等の識別情報(ID)と関連付けられうる。タイプ1/タイプ2/その他のデバイスは、TSCIを取得/記憶/検索/アクセス/前処理/条件/処理付け/分析/監視/適用しうる。タイプ1及びタイプ2デバイスは、無線信号と並列に、他のチャネル(例えば、イーサネット、HDMI(登録商標)、USB、Bluetooth、BLE、WiFi、LTE、他のネットワーク、無線マルチパスチャネル)でネットワークトラフィックをやりとりしうる。タイプ2デバイスは、タイプ1デバイスとの接続(例えば、関連/認証)を確立することなく、又はタイプ1デバイスからのサービスを要求することなく、無線マルチパスチャネルでタイプ1デバイスからの無線信号を受動的に観測/監視/受信しうる。
送信機(即ち、タイプ1デバイス)は、一時的に、散発的に、連続的に、反復的に、交換可能に、交互に、同時に(simultaneously)、同時に(concurrently)、及び/又は同時に(contemporaneously)、受信機(即ち、タイプ2デバイス)として機能することができ、逆もまた同様である。デバイスは、一時的に、散発的に、連続的に、反復的に、同時に、同時に、及び/又は同時に、タイプ1デバイス(送信機)及び/又はタイプ2デバイス(受信機)として機能しうる。それぞれタイプ1(TX)及び/又はタイプ2(RX)デバイスである複数の無線ノードが存在してもよい。TSCIは、無線信号を交換/やりとりする際に、2つのノードごとに取得されうる。物体の特性及び/又はSTIは、TSCIに基づいて個別に、又は2つ以上の(例えば、全ての)TSCIに基づいて一緒に監視されうる。
物体の動きは、能動的に(タイプ1デバイス、タイプ2デバイス、又はその両方において、物体のウェアラブルである/物体と関連付けられている)及び/又は受動的に(タイプ1デバイスとタイプ2デバイスの両方が物体のウェアラブルでない/物体と関連付けられている)監視されうる。物体がタイプ1デバイス及び/又はタイプ2デバイスと関連付けられていない可能性があるため、それは受動的でありうる。物体(例えば、ユーザ、無人搬送車両(automated guided vehicle)又はAGV)は、任意のウェアラブル/固定具を持ち運ぶ/取り付ける必要がない場合がある(即ち、タイプ1デバイス及びタイプ2デバイスは、タスクを実行するために物体が持ち運ぶ必要があるウェアラブル/取り付けデバイスではない)。物体は、タイプ1デバイス及び/又はタイプ2デバイスのいずれかと関連付けられうるので、能動的でありうる。物体は、ウェアラブル/固定具(例えば、タイプ1デバイス、タイプ2デバイス、タイプ1デバイス又はタイプ2デバイスのいずれかと通信可能に結合されたデバイス)を運ぶ(又は設置する)ことがありうる。
プレゼンテーションは、ビジュアル、オーディオ、画像、ビデオ、アニメーション、グラフィカルプレゼンテーション、テキスト等でありうる。タスクの演算は、タイプ1デバイスのプロセッサ(又はロジックユニット)、タイプ1デバイスのICのプロセッサ(又はロジックユニット)、タイプ2デバイスのプロセッサ(又はロジックユニット)、タイプ2デバイスのICのプロセッサ(又はロジックユニット)、ローカルサーバ、クラウドサーバ、データ分析サブシステム、信号分析サブシステム、及び/又は別のプロセッサによって実行されうる。タスクは、無線フィンガープリント又はベースライン(例えば、トレーニングフェーズ/調査/現在の調査/以前の調査/最近の調査/初期の無線調査において収集、処理、演算、送信及び/又は保存、パッシブフィンガープリント)、トレーニング、プロファイル、トレーニング済みプロファイル、静的プロファイル、調査、初期の無線調査、初期設定、インストール、再トレーニング、更新及びリセットを参照して/参照せずに、実行されうる。
タイプ1デバイス(TXデバイス)は、少なくとも1つのヘテロジニアス無線送信機を備えうる。タイプ2デバイス(RXデバイス)は、少なくとも1つのヘテロジニアス無線受信機を備えうる。タイプ1デバイス及びタイプ2デバイスは、コロケーションされうる。タイプ1デバイス及びタイプ2デバイスは、同じデバイスでありうる。任意のデバイスは、データ処理ユニット/装置、コンピューティングユニット/システム、ネットワークユニット/システム、プロセッサ(例えば、論理ユニット)、プロセッサと通信可能に接続されたメモリ、及びプロセッサによって実行される、メモリに格納された命令のセットを有しうる。いくつかのプロセッサ、メモリ、及び命令セットは協調されうる。
同じタイプ2デバイス(又は複数のタイプ2デバイス)とインタラクションを行う(例えば、通信する、信号/制御/通知/他のデータを交換する)複数のタイプ1デバイスがありうる、及び/又は同じタイプ1デバイスとインタラクションを行う複数のタイプ2デバイスがありうる。複数のタイプ1デバイス/タイプ2デバイスは、同じ/異なるウィンドウ幅/サイズ及び/又は時間シフト、同じ/異なる同期開始時間、同期終了時間等で、同期及び/又は非同期でありうる。複数のタイプ1デバイスによって送信される無線信号は、散発的、一時的、連続的、反復的、同期的、同時、同時、及び/又は同時でありうる。複数のタイプ1デバイス/タイプ2デバイスは、独立して及び/又は協働して動作してもよい。タイプ1及び/又はタイプ2デバイスは、ヘテロジニアスハードウェア回路(例えば、無線信号を生成/受信すること、受信された信号からCIを抽出すること、又はCIを利用可能にすることが可能なヘテロジニアスチップ又はヘテロジニアスIC)を有しうる/備えうる/それらでありうる。それらは、同じ又は異なるサーバ(例えば、クラウドサーバ、エッジサーバ、ローカルサーバ、ハブデバイス)と通信可能に接続されてもよい。
1つのデバイスの動作は、動作、状態、内部状態、ストレージ、プロセッサ、メモリ出力、物理的ロケーション、コンピューティングリソース、別のデバイスのネットワークに基づきうる。差分デバイスは、直接、及び/又は別のデバイス/サーバ/ハブデバイス/クラウドサーバを介して通信しうる。デバイスは、関連する設定を有する1人以上のユーザと関連付けられてもよい。設定は、一旦選択され、予めプログラムされ、及び/又は変更され(例えば、調整され、変更され、修正され)/経時的に変更されてもよい。方法には追加のステップがあってもよい。方法のステップ及び/又は追加のステップは、示された順序で、又は別の順序で実行されうる。任意のステップは、並行して、反復して、又は他の方法で反復して、又は他の方法で実行されてもよい。ユーザは、ヒト、成人、高齢者、男性、女性、若者、子供、赤ちゃん、ペット、動物、生物、機械、コンピュータモジュール/ソフトウェア等でありうる。
1つ以上のタイプ2デバイスとインタラクションを行う1つ以上のタイプ1デバイスの場合、任意の処理(例えば、時間領域、周波数領域)は、異なるデバイスについて異なりうる。処理は、ロケーション、向き、方向、役割、ユーザ関連特性、設定、構成、利用可能なリソース、利用可能な帯域幅、ネットワーク接続、ハードウェア、ソフトウェア、プロセッサ、コプロセッサ、メモリ、バッテリ寿命、利用可能な電力、アンテナ、アンテナタイプ、アンテナの指向性/無指向性特性、電力設定、及び/又は、デバイスの他のパラメータ/特性に基づきうる。
無線受信機(例えば、タイプ2デバイス)は、無線送信機(例えば、タイプ1デバイス)から信号及び/又は別の信号を受信しうる。無線受信機は、別の無線送信機(例えば、第2のタイプ1デバイス)から別の信号を受信しうる。無線送信機は、信号及び/又は別の信号を別の無線受信機(例えば、第2のタイプ2デバイス)に送信しうる。無線送信機、無線受信機、別の無線受信機、及び/又は別の無線送信機は、物体及び/又は別の物体とともに移動している場合がある。別の物体は追跡されうる。
タイプ1及び/又はタイプ2デバイスは、少なくとも2つのタイプ2及び/又はタイプ1デバイスと、無線接続することが可能でありうる。タイプ1デバイスは、ベニュー内の別のロケーションにおいて、タイプ2デバイスから第2のタイプ2デバイスへ無線接続(例えば、関連付け、認証)を切り替え/確立するようにさせられうる/制御されうる。同様に、タイプ2デバイスは、ベニュー内の更に別のロケーションにおいて、タイプ1デバイスから第2のタイプ1デバイスへ無線接続を切り替え/確立するようにさせられうる/制御されうる。スイッチングは、サーバ(又はハブデバイス)、プロセッサ、タイプ1デバイス、タイプ2デバイス、及び/又は別のデバイスによって制御されうる。スイッチングの前後で使用する無線が異なる場合がある。第2の無線信号(第2の信号)は、チャネルを介して、タイプ1デバイスと第2のタイプ2デバイスとの間(又はタイプ2デバイスと第2のタイプ1デバイスとの間)で送信されうる。第2の信号から抽出されたチャネルの第2のTSCIが取得されうる。第2の信号は、第1の信号であってもよい。物体の特性、STI、及び/又は別の量が、第2のTSCIに基づいて監視されうる。タイプ1デバイスとタイプ2デバイスは同じであってもよい。異なるタイムスタンプを有する特性、STI及び/又は別の量が、波形を形成してもよい。波形は、プレゼンテーションにおいて表示されてもよい。
無線信号及び/又は別の信号は、埋め込まれたデータを有しうる。無線信号は、プローブ信号の系列(例えば、プローブ信号の反復送信、1つ以上のプローブ信号の再使用)でありうる。プローブ信号は、経時的に変化/変動しうる。プローブ信号は、規格準拠信号、プロトコル信号、標準化された無線プロトコル信号、制御信号、データ信号、無線通信ネットワーク信号、セルラネットワーク信号、WiFi信号、LTE/5G/6G/7G信号、参照信号、ビーコン信号、動き検出信号、及び/又は動きセンシング信号でありうる。プローブ信号は、無線ネットワーク規格(例えば、WiFi)、セルラネットワーク規格(例えば、LTE/5G/6G)、又は別の規格に従ってフォーマットされうる。プローブ信号は、ヘッダ及びペイロードを有するパケットを含みうる。プローブ信号は、埋め込まれたデータを有しうる。ペイロードは、データを含みうる。プローブ信号は、データ信号によって置き換えられてもよい。プローブ信号は、データ信号に埋め込まれてもよい。無線受信機、無線送信機、別の無線受信機、及び/又は別の無線送信機は、少なくとも1つのプロセッサ、個別のプロセッサと通信可能に接続されたメモリ、及び/又はメモリに格納された命令の個別のセットと関連付けられてよく、当該命令は、実行されるとプロセッサに、物体のSTI(例えば、動き情報)、初期STI、初期時間、方向、瞬時ロケーション、瞬時角度、及び/又は速度を特定するために必要とされる任意のステップ及び/又は全てのステップを実行させる。
プロセッサ、メモリ、及び/又は命令のセットは、タイプ1デバイス、少なくとも1つのタイプ2デバイスのうちの1つ、物体、物体と関連付けられたデバイス、ベニューと関連付けられた別のデバイス、クラウドサーバ、ハブデバイス、及び/又は別のサーバと関連付けられうる。
タイプ1デバイスは、ベニュー内のチャネルを通じて少なくとも1つのタイプ2デバイスへブロードキャスト方式で信号を送信しうる。信号は、タイプ1デバイスが任意のタイプ2デバイスとの無線接続(例えば、関連付け、認証)を確立することなく、かつ、タイプ2デバイスがタイプ1デバイスからサービスを要求することなく、送信される。タイプ1デバイスは、2つ以上のタイプ2デバイスに共通の特定のメディアアクセス制御(MAC)アドレスへの送信を行いうる。各タイプ2デバイスは、当該デバイスのMACアドレスを特定のMACアドレスに調整しうる。特定のMACアドレスは、ベニューと関連付けられうる。当該関連付けは、関連付けサーバ(例えば、ハブデバイス)の関連付けテーブルに記録されうる。ベニューは、特定のMACアドレス、プローブ信号の系列、及び/又はプローブ信号から抽出された少なくとも1つのTSCIに基づいて、タイプ1デバイス、タイプ2デバイス、及び/又は別のデバイスによって識別されうる。
例えば、タイプ2デバイスは、ベニュー内の新しいロケーションに(例えば、別のベニューから)移動されうる。タイプ1デバイスは、タイプ1デバイスとタイプ2デバイスとが互いに気付かないように、ベニューにおいて新たにセットアップされうる。セットアップ中に、タイプ1デバイスは、特定のMACアドレスにプローブ信号の系列を送信するように(例えば、ダミー受信機を使用して、ハードウェアピン設定/コネクションを使用して、保存された設定を使用して、ローカル設定を使用して、リモート設定を使用して、ダウンロードされた設定を使用して、ハブデバイスを使用して、又はサーバを使用して)命令/誘導/制御されうる。電源投入時に、タイプ2デバイスは、異なるロケーション(例えば、住宅、オフィス、エンクロージャ、フロア、多階建てビルディング、店舗、空港、モール、スタジアム、ホール、駅、地下鉄、区画、エリア、ゾーン、地域、地方、都市、国、大陸)におけるブロードキャストを行うために使用されうる(例えば、指定されたソース、サーバ、ハブデバイス、クラウドサーバに保存されている)MACアドレスのテーブルに従って、プローブ信号をスキャンしうる。タイプ2デバイスが、特定のMACアドレスに送信されたプローブ信号を検出すると、タイプ2デバイスは、当該MACアドレスに基づいてベニューを識別するために当該テーブルを使用できる。
ベニューにおけるタイプ2デバイスのロケーションは、特定のMACアドレス、プローブ信号の系列、及び/又はプローブ信号からタイプ2デバイスによって取得された少なくとも1つのTSCIに基づいて演算されうる。当該演算は、タイプ2デバイスによって実行されうる。
特定のMACアドレスは、時間的に変更(例えば、調整、変化、修正)されうる。それは、時間テーブル、ルール、ポリシー、モード、条件、状況、及び/又は変更に従って変更されうる。特定のMACアドレスは、MACアドレスの利用可能性、予め選択されたリスト、衝突パターン、トラフィックパターン、タイプ1デバイスと別のデバイスとの間のデータトラフィック、有効帯域幅、ランダム選択、及び/又はMACアドレス切り替えプランに基づいて選択されうる。特定のMACアドレスは、第2の無線デバイス(例えば、ダミー受信機、又はダミー受信機として機能する受信機)のMACアドレスでありうる。
タイプ1デバイスは、チャネルのセットから選択されたチャネルでプローブ信号を送信しうる。選択されたチャネルの少なくとも1つのCIは、選択されたチャネルにおいて送信されたプローブ信号から、それぞれのタイプ2デバイスによって取得されうる。
選択されたチャネルは、時間的に変更(例えば、調整、変化、修正)されうる。当該変更は、時間テーブル、ルール、ポリシー、モード、条件、状況、及び/又は変更に従いうる。選択されたチャネルは、チャネルの利用可能性、ランダム選択、予め選択されたリスト、同一チャネル干渉、チャネル間干渉、チャネルトラフィックパターン、タイプ1デバイスと別のデバイスとの間のデータトラフィック、チャネルと関連付けられた有効帯域幅、セキュリティ基準、チャネル切り替えプラン、基準、品質基準、信号品質条件、及び/又は考慮事項に基づいて選択されうる。
特定のMACアドレス及び/又は選択されたチャネルの情報は、ネットワークを通じてタイプ1デバイスとサーバ(例えば、ハブデバイス)との間で伝達されうる。特定のMACアドレス及び/又は選択されたチャネルの情報は更に、別のネットワークを通じてタイプ2デバイスとサーバ(例えば、ハブデバイス)との間で伝達されうる。タイプ2デバイスは、特定のMACアドレス及び/又は選択されたチャネルの情報を別のタイプ2デバイスに(例えば、メッシュネットワーク、Bluetooth、WiFi、NFC、ZigBee等を介して)伝達しうる。特定のMACアドレス及び/又は選択されたチャネルはサーバ(例えば、ハブデバイス)によって選択されうる。特定のMACアドレス及び/又は選択されたチャネルは、タイプ1デバイス、タイプ2デバイス、及び/又はサーバ(例えば、ハブデバイス)によってアナウンスメントチャネでシグナリングされうる。通信が行われる前に、任意の情報が前処理されうる。
タイプ1デバイスと別の無線デバイスとの間の無線接続(例えば、関連付け、認証)が(例えば、信号ハンドシェイクを用いて)確立されうる。タイプ1デバイスは第、1のハンドシェイク信号(例えば、サウンディングフレーム、プローブ信号、送信要求RTS(request-to-send))を別のデバイスに送りうる。別のデバイスは、第2のハンドシェイク信号(例えば、コマンド、又は送信可CTS(clear-to-send))をタイプ1デバイスに送信することによって応答し、タイプ2デバイスとの接続を確立することなく、ブロードキャスト方式で信号(例えば、プローブ信号の系列)を複数のタイプ2デバイスに送信するようにタイプ1デバイスをトリガしうる。第2のハンドシェイク信号は、第1のハンドシェイク信号に対する応答又は肯定応答(例えば、ACK)でありうる。第2のハンドシェイク信号は、ベニュー及び/又はタイプ1デバイスの情報を有するデータを含みうる。別のデバイスは、タイプ1デバイスとの無線接続を確立し、第1の信号を受信し、及び/又は第2の信号を送信するための目的(例えば、一次目的、二次目的)を有するダミーデバイスでありうる。別のデバイスは、タイプ1デバイスに物理的に取り付けられてもよい。
別の例では、別のデバイスが任意のタイプ2デバイスとの接続(例えば、関連付け、認証)を確立することなく、信号(例えば、プローブ信号の系列)を複数のタイプ2デバイスにブロードキャストするために、タイプ1デバイスをトリガする第3のハンドシェイク信号をタイプ1デバイスに送りうる。タイプ1デバイスは、第4のハンドシェイク信号を別のデバイスに送信することによって、第3の特別な信号に応答しうる。別のデバイスは、ブロードキャストするための2つ以上のタイプ1デバイスをトリガするために使用されうる。トリガは、連続的、部分的に連続的、部分的に並列、又は完全に並列であってもよい。別のデバイスは、複数の送信機を並列にトリガするための2つ以上の無線回路を有しうる。並列トリガは更に、(別のデバイスが行うのと同様の)トリガを別のデバイスと並列に実行するために、少なくとも1つの更に別のデバイスを使用して達成されうる。他のデバイスは、タイプ1デバイスとの接続を確立した後、タイプ1デバイスと通信しなくてもよい(又は通信を中断してもよい)。中断された通信は再開されてもよい。別のデバイスは、タイプ1デバイスとの接続を確立した後、非アクティブモード、休止モード、スリープモード、スタンバイモード、低電力モード、オフモード、及び/又はパワーダウンモードに移行してもよい。別のデバイスは、タイプ1デバイスが特定のMACアドレスに信号を送信するように、特定のMACアドレスを有しうる。タイプ1デバイス及び/又は別のデバイスは、タイプ1デバイスに関する第1のプロセッサ、別のデバイスに関連する第2のプロセッサ、指定されたソースに関連する第3のプロセッサ、及び/又は別のデバイスに関連する第4のプロセッサによって制御及び/又は調整されうる。第1及び第2のプロセッサは、互いに協調してもよい。
プローブ信号の第1の系列は、タイプ1デバイスの第1のアンテナによって、第1のベニューにおける第1のチャネルを通じて少なくとも1つの第1のタイプ2デバイスへ送信されうる。プローブ信号の第2の系列は、タイプ1デバイスの第2のアンテナによって、第2のベニューにおける第2のチャネルを通じて少なくとも1つの第2のタイプ2デバイスへ送信されうる。第1の系列と第2の系列は異なっていてもよいし、異なっていなくてもよい。少なくとも1つの第1のタイプ2デバイスは、少なくとも1つの第2のタイプ2デバイスと異なりうる/異なりえない。プローブ信号の第1及び/又は第2の系列は、タイプ1デバイスと任意のタイプ2デバイスとの間に確立された接続(例えば、関連付け、認証)無しでブロードキャストされてもよい。第1及び第2のアンテナは、同じであっても/異なっていてもよい。
2つのベニューは、異なるサイズ、形状、マルチパス特性を有しうる。第1及び第2のベニューは、オーバラップしてもよい。第1のアンテナ及び第2のアンテナの周りのそれぞれの周辺エリアは、オーバラップしてもよい。第1及び第2のチャネルは、同じであっても/異なっていてもよい。例えば、第1のものはWiFiであってよく、第2のものはLTEであってよい。あるいは、両方がWiFiであってもよいが、第1のものは2.4GHzのWiFiであってもよく、第2のものは5GHzのWiFiであってもよい。あるいは、両方とも2.4GHzのWiFiであってもよいが、異なるチャネル番号、SSID名、及び/又はWiFi設定を有しうる。
各タイプ2デバイスは、それぞれのプローブ信号の系列から少なくとも1つのTSCIを取得してうる。当該CIは、タイプ2デバイスとタイプ1デバイスとの間の個別のチャネルのものである。いくつかの第1のタイプ2デバイス及びいくつかの第2のタイプ2デバイスは、同じでありうる。プローブ信号の第1及び第2の系列は、同期/非同期でありうる。プローブ信号は、データとともに送信されてもよく、又はデータ信号によって置き換えられてもよい。第1及び第2のアンテナは、同じであってもよい。
プローブ信号の第1の系列は、第1のレート(例えば、30Hz)で送信されうる。プローブ信号の第2の系列は、第2のレート(例えば、200Hz)で送信されうる。第1及び第2のレートは、同じであっても/異なっていてもよい。第1のレート及び/又は第2のレートは、時間的に変更(例えば、調整、変化、修正)されうる。変更は、時間テーブル、ルール、ポリシー、モード、条件、状況、及び/又は変更に従いうる。任意のレートは、時間的に変更(例えば、調整、変更、修正)されうる。
プローブ信号の第1及び/又は第2の系列は、それぞれ第1のMACアドレス及び/又は第2のMACアドレスに送信されうる。2つのMACアドレスは、同じであっても、異なっていてもよい。プローブ信号の第1の系列は、第1のチャネルで送信されうる。プローブ信号の第2の系列は、第2のチャネルで送信されうる。2つのチャネルは、同じであってもよい/異なっていてもよい。第1又は第2のMACアドレス、第1又は第2のチャネルは、時間的に変更されてもよい。任意の変更は、時間テーブル、ルール、ポリシー、モード、条件、状況、及び/又は変更に従いうる。
タイプ1デバイス及び別のデバイスは、制御及び/又は調整されてもよく、物理的に取り付けられてもよく、又は共通のデバイスであってもよい/共通のデバイス内にあってもよい。それらは、共通のデータプロセッサによって制御/接続されてもよく、又は共通のバス相互接続/ネットワーク/LAN/Bluetoothネットワーク/NFCネットワーク/BLEネットワーク/有線ネットワーク/無線ネットワーク/メッシュネットワーク/モバイルネットワーク/クラウドに接続されてもよい。それらは、共通のメモリを共有するか、又は共通のユーザ、ユーザデバイス、プロファイル、アカウント、識別情報(ID)、識別子、家庭、家、物理的アドレス、ロケーション、地理的座標、IPサブネット、SSID、ホームデバイス、オフィスデバイス、及び/又は製造デバイスと関連付けられうる。
各タイプ1デバイスは、それぞれのタイプ2デバイスのセットの信号ソースでありうる(即ち、それぞれの信号(例えば、プローブ信号のそれぞれの系列)をそれぞれのタイプ2デバイスのセットに送信する)。それぞれの個別のタイプ2デバイスは、その信号ソースとして、全てのタイプ1デバイスの中からタイプ1デバイスを選択する。各タイプ2デバイスは、非同期的に選択しうる。少なくとも1つのTSCIは、それぞれの個別のタイプ2デバイスによって、タイプ1デバイスからのプローブ信号の個別の系列から取得されうる。当該CIは、タイプ2デバイスとタイプ1デバイスとの間のチャネルである。
個別のタイプ2デバイスは、全てのタイプ1デバイスの中から、その信号ソースとして、タイプ1/タイプ2デバイスの識別情報(ID)又は識別子、実行されるタスク、過去の信号ソース、(例えば、過去の信号ソース、タイプ1デバイス、別のタイプ1デバイス、個別のタイプ2受信機、及び/又は別のタイプ2受信機の)履歴、スイッチング信号ソースの閾値、及び/又はユーザの情報、アカウント、アクセス情報、パラメータ、特性、及び/又は信号強度(例えば、タイプ1デバイス及び/又は個別のタイプ2受信機と関連付けられた)に基づいて、タイプ1デバイスを選択する。
最初に、タイプ1デバイスは、初期の個別のタイプ2デバイスのセットの信号ソースでありうる(即ち、タイプ1デバイスは、初期の個別のタイプ2デバイスのセットへ個別の信号(プローブ信号の系列)を送信する)。初期の個別の各タイプ2デバイスは、その信号ソースとして、全てのタイプ1デバイスの中からタイプ1デバイスを選択する。
特定のタイプ2デバイスの信号ソース(タイプ1デバイス)は、(1)タイプ2デバイスの現在の信号ソースから受信される2つの隣接するプローブ信号(例えば、現在のプローブ信号と直近のプローブ信号との間、又は次のプローブ信号と現在のプローブ信号との間)の時間間隔が第1の閾値を超える場合、(2)タイプ2デバイスの現在の信号ソースに関連する信号強度が第2の閾値を下回る場合、(3)タイプ2デバイスの現在の信号ソースに関連する処理された信号強度が第3の閾値を下回る場合、ここで、当該信号強度は、ローパスフィルタ、バンドパスフィルタ、メディアンフィルタ、移動平均フィルタ、重み付け平均フィルタ、線形フィルタ及び/又は非線形フィルタで処理されている、及び/又は、(4)タイプ2デバイスの現在の信号ソースに関連する信号強度(又は処理された信号強度)が最近の時間窓(例えば)のかなりのパーセンテージ(70%、80%、90%))で第4の閾値を下回る場合に、変更(例えば、調整、変更、修正)されうる。当該パーセンテージは、第5の閾値を超えてもよい。第1、第2、第3、第4、及び/又は第5の閾値は、時間的に変化してもよい。
条件(1)は、タイプ1デバイス及びタイプ2デバイスが互いから徐々に遠ざかるようになり、その結果、タイプ1デバイスからのいくつかのプローブ信号が弱くなりすぎ、タイプ2デバイスによって受信されないときに生じうる。条件(2)~(4)は、信号強度が非常に弱くなるように、2つのデバイスが互いから遠くなるときに生じうる。
タイプ2デバイスの信号ソースは、他のタイプ1デバイスが現在の信号ソースの係数(例えば、1、1.1、1.2、又は1.5)よりも弱い信号強度を有する場合、変化しないことがある。
信号ソースが変更(例えば、調整、変更、修正)される場合、新しい信号ソースは、近い将来の時間(例えば、それぞれの次の時間)に有効になりうる。新しい信号ソースは、最も強い信号強度及び/又は処理された信号強度を有するタイプ1デバイスであってもよい。現在の及び新しい信号ソースは、同じであってもよい/異なっていてもよい。
利用可能なタイプ1デバイスのリストは、各タイプ2デバイスによって初期化されて維持されうる。当該リストは、タイプ1デバイスのそれぞれのセットに関連する信号強度及び/又は処理された信号強度を検査することによって更新されうる。タイプ2デバイスは、個別のプローブ信号レート、MACアドレス、チャネル、特性/特性/状態、タイプ2デバイスによって実行されるタスク、第1及び第2の系列の信号強度、及び/又は別の考慮事項に基づいて、第1のタイプ1デバイスからのプローブ信号の第1の系列と、第2のタイプ1デバイスからのプローブ信号の第2の系列との間で選択しうる。
プローブ信号の系列は、規則的なレート(例えば、100Hz)で送信されうる。プローブ信号の系列は、定期的な間隔(例えば、100Hzに対して0.01秒)でスケーリングされることもあるが、各プローブ信号は、おそらく、タイミング要件、タイミング制御、ネットワーク制御、ハンドシェイク、メッセージパッシング、衝突回避、キャリアセンシング、輻輳、リソースの利用可能性、及び/又はその他の考慮事項に起因して、小規模な時間の摂動を経験しうる。
速度は、変更(例えば、調整、変更、修正)されてもよい。当該変更は、時間テーブル(例えば、1時間ごとに変更される)、ルール、ポリシー、モード、条件、及び/又は変更(例えば、何らかのイベントが発生するたびに変更される)に従いうる。例えば、レートは、通常100Hzでありうるが、要求の厳しい状況では1000Hzに、低電力/待機状態では1Hzに変更される場合がある。プローブ信号は、バーストで送信されうる。
プローブ信号レートは、タイプ1デバイス又はタイプ2デバイスによって実行されるタスクに基づいて変化しうる(例えば、タスクは、20秒間、瞬間的に100Hz通常及び1000Hzを必要としうる)。一例では、送信機(タイプ1デバイス)、受信機(タイプ2デバイス)、及び関連するタスクはクラス(例えば、低優先度、高優先度、緊急、クリティカル、規則的、特権付き、非サブスクリプション、サブスクリプション、支払い、及び/又は非支払いであるクラス)に適応的に(及び/又は動的に)関連付けられうる。(送信機の)レートはいくつかのクラス(例えば、高優先度クラス)のために調整されうる。そのクラスの必要性が変化するとき、レートは変更(例えば、調整、変更、修正)されうる。受信機が非常に低い電力を有する場合、レートは、プローブ信号に応答するよう受信機の電力消費を低減するために低減されうる。一例では、プローブ信号は、電力を受信機(タイプ2デバイス)に無線転送するために使用されてよく、レートは、受信機に転送される電力の量を制御するために調整されうる。
レートは、サーバ(例えば、ハブデバイス)、タイプ1デバイス、及び/又はタイプ2デバイスによって(又はそれに基づいて)変更されうる。制御信号は、それらの間で通信されうる。サーバは、タイプ2デバイス及び/又はタイプ2デバイスによって実行されるタスクの必要性を監視、追跡、予測、及び/又は予期してもよく、レートを変更するようにタイプ1デバイスを制御してもよい。サーバは、時間テーブルに従って、レートに対するスケジューリングされた変更を行ってもよい。サーバは、緊急状況を検出し、即座にレートを変更してもよい。サーバは、発展条件を検出し、レートを徐々に調整してもよい。
特性及び/又はSTI(例えば、動き情報)は、特定のタイプ1デバイス及び特定のタイプ2デバイスに関連するTSCIに基づいて、個別に監視され、及び/又は特定のタイプ1デバイス及び任意のタイプ2デバイスに関連する任意のTSCIに基づいて、共同で監視され、及び/又は特定のタイプ2デバイス及び任意のタイプ1デバイスに関連する任意のTSCIに基づいて、共同で監視され、及び/又は任意のタイプ1デバイス及び任意のタイプ2デバイスに関連する任意のTSCIに基づいて、グローバルに監視されうる。任意の共同監視は、ユーザ、ユーザアカウント、プロファイル、世帯、ベニューのマップ、ベニューの環境モデル、及び/又はユーザ履歴等と関連付けられうる。
タイプ1デバイスとタイプ2デバイスとの間の第1のチャネルは、別のタイプ1デバイスと別のタイプ2デバイスとの間の第2のチャネルとは異なりうる。2つのチャネルは、異なる周波数帯域、帯域幅、キャリア周波数、変調、無線規格、符号化、暗号化、ペイロード特性、ネットワーク、ネットワークID、SSID、ネットワーク特性、ネットワーク設定、及び/又はネットワークパラメータ等と関連付けられうる。
2つのチャネルは、異なる種類の無線システム(例えば、WiFi、LTE、LTE-A、LTE-U、2.5G、3G、3.5G、4G、ビヨンド4G、5G、6G、7G、セルラネットワーク規格、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA、802.11システム、802.15システム、802.16システム、メッシュネットワーク、Zigbee、NFC、WiMax、Bluetooth、BLE、RFID、UWB、マイクロ波システム、レーダのようなシステム)と関連付けられうる。例えば、一方はWiFiであり、他方はLTEである。
2つのチャネルは、同様の種類の無線システムと関連付けられうるが、異なるネットワーク内にありうる。例えば、第1のチャネルは、20MHzの帯域幅を有する2.4GHz帯域における「Pizza and Pizza」と呼ばれるWiFiネットワークと関連付けられてよく、第2のチャネルは、40MHzの帯域幅を有する5GHz帯域における「StarBud hotspot」のSSIDを有するWiFiネットワークと関連付けられうる。2つのチャネルは、同じネットワーク(例えば、「StarBud hotspot」ネットワーク)内の異なるチャネルでありうる。
一実施形態では、無線監視システムが複数のイベントと関連付けられたトレーニングTSCIに基づいて、ベニュー内の複数のイベントの分類器をトレーニングすることを含みうる。イベントと関連付けられたCI又はTSCIは、イベントと関連付けられた無線サンプル/特性/指紋(及び/又は、ベニュー、環境、物体、物体の動き、状態/感情状態/心理状態/状況/段階/ジェスチャ/歩行/行動/移動/活動/日常活動/履歴/物体のイベント等)を含むと考えられうる/構成されうる。
既知のイベントに関連する個別のトレーニング(例えば、調査、無線調査、初期無線調査)期間内にベニューで発生する複数の既知のイベントの各々について、個別のトレーニング無線信号(例えば、トレーニングプローブ信号の個別の系列)は、プロセッサ、メモリ、及び第1のタイプ1デバイスの命令のセットを使用して、第1のタイプ1ヘテロジニアス無線デバイスアンテナによって、個別のトレーニング期間内にベニューにおいて無線マルチパスチャネルを通じて少なくとも1つの第1のタイプ2ヘテロジニアス無線デバイスへ送信されうる。
トレーニングCI(トレーニングTSCI)の少なくとも1つの個別の時系列は、(個別の)トレーニング信号から、少なくとも1つの第1のタイプ2デバイスの各々によって非同期に取得されうる。CIは、既知のイベントと関連付けられたトレーニング期間における第1のタイプ2デバイスと第1のタイプ1デバイスとの間のチャネルのCIでありうる。少なくとも1つのトレーニングTSCIは、前処理されうる。トレーニングは、(例えば、タイプ1デバイス及び/又はタイプ2デバイスの設置中の)無線調査でありうる。
現在の期間においてベニューで発生している現在のイベントについて、現在の無線信号(例えば、現在のプローブ信号の系列)は、プロセッサ、メモリ、及び第2のタイプ1デバイスの命令のセットを使用して、現在のイベントに関連する現在の期間におけるベニューのチャネルを介して少なくとも1つの第2のタイプ2ヘテロジニアス無線デバイス、第2のタイプ1ヘテロジニアス無線デバイスのアンテナによって送信されうる。
現在のCI(現在のTSCI)の少なくとも1つの時系列は、現在の信号(例えば、現在のプローブ信号の系列)から、少なくとも1つの第2のタイプ2デバイスの各々によって非同期に取得されうる。CIは、現在のイベントと関連付けられた現在の期間における第2のタイプ2デバイスと第2のタイプ1デバイスとの間のチャネルのCIでありうる。少なくとも1つの現在のTSCIは、前処理されうる。
分類器は、少なくとも1つの第2のタイプ2デバイスによって現在のプローブ信号の系列から取得された少なくとも1つの現在のTSCIを分類するために、特定の現在のTSCIの少なくとも1つの部分を分類するために、及び/又は特定の現在のTSCIの少なくとも1つの部分と別のTSCIの別の部分との組み合わせを分類するために適用されうる。分類器は、TSCI(又は特性/STI又は他の分析値又は出力応答)をクラスタに分割し、当該クラスタを、特定のイベント/物体/対象/ロケーション/移動/アクティビティと関連付けうる。ラベル/タグは、クラスタに対して生成されうる。クラスタは、記憶され、取り出されうる。分類器は、現在のTSCI(又は特性/STI又は他の分析/出力応答、おそらく現在のイベントに関連するもの)を、クラスタ、既知/特定のイベント、クラス/カテゴリ/グループ/グループ/クラスタ/既知のイベント/対象/ロケーション/移動/アクティビティのセット、未知のイベント、クラス/カテゴリ/グループ/グループ/リスト/クラスタ/未知のイベント/対象/ロケーション/移動/アクティビティのセット、及び/又は別のイベント/対象/ロケーション/移動/アクティビティ/クラス/カテゴリ/グループ/グループ/リスト/クラスタ/セットと関連付けるために適用されうる。各TSCIは、それぞれのタイムスタンプにそれぞれ関連する少なくとも1つのCIを含みうる。2つのタイプ2デバイスと関連付けられた2つのTSCIは、開始時間、持続時間、停止時間、CIの量、サンプリング周波数、サンプリング期間、という異なるものであってもよい。それらのCIは、異なる特徴を有しうる。第1及び第2のタイプ1デバイスは、ベニュー内の同じロケットにあってもよい。それらは、同じデバイスであってもよい。少なくとも1つの第2のタイプ2デバイス(又はそれらのロケーション)は、少なくとも1つの第1のタイプ2デバイス(又はそれらのロケーション)の置換であってもよい。特定の第2のタイプ2デバイス及び特定の第1のタイプ2デバイスは、同じデバイスであってもよい。
第1のタイプ2デバイスのサブセットと第2のタイプ2デバイスのサブセットとは同じでありうる。少なくとも1つの第2のタイプ2デバイス及び/又は少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットでありうる。少なくとも1つの第1のタイプ2デバイス及び/又は少なくとも1つの第1のタイプ2デバイスのサブセットは、少なくとも1つの第2のタイプ2デバイスのサブセットの置換でありうる。少なくとも1つの第2のタイプ2デバイス及び/又は少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットの置換でありうる。少なくとも1つの第2のタイプ2デバイス及び/又は少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットと同じそれぞれのロケーションにありうる。少なくとも1つの第1のタイプ2デバイス及び/又は少なくとも1つの第1のタイプ2デバイスのサブセットは、少なくとも1つの第2のタイプ2デバイスのサブセットと同じそれぞれのロケーションにありうる。
タイプ1デバイスのアンテナと、第2のタイプ1デバイスのアンテナとは、ベニュー内の同じロケーションにあってもよい。少なくとも1つの第2のタイプ2デバイスのアンテナ及び/又は少なくとも1つの第2のタイプ2デバイスのサブセットのアンテナは、少なくとも1つの第1のタイプ2デバイスのサブセットのそれぞれのアンテナと同じそれぞれのロケーションにあってもよい。少なくとも1つの第1のタイプ2デバイスのアンテナ及び/又は少なくとも1つの第1のタイプ2デバイスのサブセットのアンテナは、少なくとも1つの第2のタイプ2デバイスのサブセットのそれぞれのアンテナと同じそれぞれのロケーションにあってもよい。
第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2のセクションの第2の持続時間の第2のセクションとは、整合されうる。第1のセクションのアイテムと第2のセクションのアイテムとの間のマップが演算されうる。第1のセクションは第1の開始/終了時間を有する第1のTSCIの第1のセグメント(例えば、サブセット)、及び/又は処理された第1のTSCIの別のセグメント(例えば、サブセット)を含みうる。処理された第1のTSCIは、第1の動作によって処理された第1のTSCIでありうる。第2のセクションは第2の開始時間及び第2の終了時間を有する第2のTSCIの第2のセグメント(例えば、サブセット)と、処理された第2のTSCIの別のセグメント(例えば、サブセット)とを含みうる。処理された第2のTSCIは、第2の動作によって処理された第2のTSCIでありうる。第1の動作及び/又は第2の動作は、サブサンプリング、再サンプリング、補間、フィルタリング、変換、特徴抽出、前処理、及び/又は別の動作を含みうる。
第1のセクションの第1のアイテムは、第2のセクションの第2のアイテムにマッピングされうる。第1のセクションの第1のアイテムはまた、第2のセクションの別のアイテムにマッピングされうる。第1のセクションの別のアイテムはまた、第2のセクションの第2のアイテムにマッピングされうる。マッピングは、1対1、1対多、多対1、多対多であってもよい。第1のTSCIの第1のセクションの第1のアイテム、第1のTSCIの別のアイテム、第1のアイテムのタイムスタンプ、第1のアイテムの時間差、第1のアイテムの隣接タイムスタンプ、第1のアイテムの隣接タイムスタンプ、第1のアイテムと関連付けられた別のタイムスタンプ、第2のTSCIの第2のセクションの第2のアイテム、第2のアイテムのタイムスタンプ、第2のアイテムの時間差、第2のアイテムの時間差、第2のアイテムの隣接タイムスタンプ、及び第2のアイテムと関連付けられた別のタイムスタンプのうちの少なくとも1つの機能は、少なくとも1つの制約を満たしうる。
1つの制約は、第1のアイテムのタイムスタンプと第2のアイテムのタイムスタンプとの間の差が適応的な(及び/又は動的に調整された)上限閾値によって上限が与えられ、適応的な下限閾値によって下限が与えられることでありうる。
第1のセクションは、第1のTSCI全体でありうる。第2のセクションは、第2のTSCI全体でありうる。第1の持続時間は、第2の持続時間に等しくてもよい。TSCIの持続時間のセクションは、適応的に(及び/又は動的に)決定されうる。TSCIの暫定的なセクションが演算されうる。セクション(例えば、暫定的なセクション、セクション)の開始時間及び終了時間を決定することができる。このセクションは、暫定的なセクションの開始部分及び終了部分を除去することによって決定されてもよい。暫定的なセクションの先頭部分は、次のようにして決定することができる。反復的に、タイムスタンプが増加する暫定的なセクションのアイテムは、一度に1つのアイテムである現在のアイテムと見なすことができる。
各反復において、少なくとも1つのアクティビティ尺度/指標が演算及び/又は考慮されうる。少なくとも1つのアクティビティ測定は、現在のタイムスタンプと関連付けられた現在のアイテム、現在のタイムスタンプよりも大きくないタイムスタンプを有する暫定的なセクションの過去のアイテム、及び/又は現在のタイムスタンプよりも小さくないタイムスタンプを有する暫定的なセクションの将来のアイテムのうちの少なくとも1つと関連付けられうる。現在のアイテムは少なくとも1つのアクティビティ尺度に関連する少なくとも1つの基準(例えば、品質基準、信号品質条件)が満たされる場合、暫定的なセクションの開始部分に追加されうる。
アクティビティ尺度に関連する少なくとも1つの基準は(a)アクティビティ尺度が適応的(例えば、動的に調整された)上限閾値よりも小さい、(b)アクティビティ尺度が適応的下限閾値よりも大きい、(c)アクティビティ尺度が少なくとも所定量の連続するタイムスタンプについて連続的に適応的上限閾値よりも小さい、(d)アクティビティ尺度が少なくとも別の所定量の連続するタイムスタンプについて連続的に適応的下限閾値よりも大きい、(e)アクティビティ尺度が少なくとも所定量の連続するタイムスタンプのうちの所定量について連続的に適応的上限閾値よりも小さい、(f)アクティビティ尺度が別の所定量の連続するタイムスタンプのうちの少なくとも別の所定量について連続的に適応的下限閾値よりも大きい、(g)現在のタイムスタンプに関連する別のタイムスタンプに関連する別のアクティビティ尺度が別の適応的上限閾値よりも小さく、別の適応的下限閾値よりも大きい、(h)現在のタイムスタンプと関連付けられた少なくとも1つのそれぞれのタイムスタンプと関連付けられた少なくとも1つのアクティビティ尺度が、それぞれの上側閾値よりも小さく、それぞれの下側閾値よりも大きい、(i)現在のタイムスタンプと関連付けられたタイムスタンプのセットにおいて、それぞれの上側閾値よりも小さく、それぞれの下側閾値よりも大きいアクティビティ尺度と関連付けられたタイムスタンプのパーセンテージが閾値を超える、及び(j)別の基準(例えば、品質基準、信号品質条件)。
時間T1におけるアイテムに関連するアクティビティ尺度/インデックスは、(1)時間T1におけるアイテムの第1の関数及び時間T1-D1におけるアイテムであって、D1は所定の正の量(例えば、一定の時間オフセット)であり、(2)時間T1におけるアイテムの第2の関数及び時間T1+D1におけるアイテムであり、(3)時間T1におけるアイテムの第3の関数及び時間T2におけるアイテムであって、T2は所定の量(例えば、固定の初期基準時間;T2は経時的に変更(例えば、調整、変更、修正)されてもよく;T2は周期的に更新されてもよく;T2が期間の始まりであってもよく、T1は期間におけるスライド時間であってもよい)及び(4)時間T1におけるアイテムの第4の関数及び別のアイテムのうちの少なくとも1つを備えてもよい。
第1の関数、第2の関数、第3の関数、及び/又は第4の関数のうちの少なくとも1つは、少なくとも2つの引数X及びYを有する関数(例えば、F(X,Y,...))であってもよい。2つの引数はスカラーであってもよい。関数(例えば、F)は、X、Y、(X-Y)、(Y-X)、abs(X-Y)、X^a、Y^b、abs(X^a-Y^b)、(X-Y)^a、(X/Y)、(X+a)/(Y+b)、(X^a/Y^b)、及び((X/Y)^a-b)のうちの少なくとも1つの関数であってよく、a及びbはいくつかの所定の量でありうる。例えば、関数は単にabs(X-Y)又は(X-Y)^2、(X-Y)^4であってもよい。関数は、ロバスト関数であってもよい。例えば、関数は、abs(X-Y)が閾値T未満である場合には(X-Y)^2であり、abs(X-Y)がTより大きい場合には(X-Y)+aであってもよい。代替的に、関数はabs(X-Y)がTよりも大きい場合の定数でありうる。関数はまた、abs(X-y)がTよりも大きい場合のゆっくりと増加する関数によって制限されてよく、したがって、外れ値は結果に深刻な影響を及ぼすことができない。関数の別の例は、(abs(X/Y)-a)であってもよく、ここでa=1である。このようにして、X=Y(即ち、変化がないか、又は活動がない)の場合、関数は0の値を与える。XがYより大きい場合、(X/Y)は1より大きくなり(XとYが正の場合)、関数は正になる。そして、XがYよりも小さい場合、(X/Y)は1よりも小さくなり、関数は負になる。別の例では、関数がX=(X_1-X_2-...-Y_1-...-Y_n)、X_i、(Y_i)、abs_X_i-Y_i、X_i^b、abs_X_i^a-Y_i ^b、(X_i-Y_i)^a、(X_i+a)/(Y_i+b)、(X_i^a/Y_i^b)、及び((X_i/Y_i)^a-b)のうちの少なくとも1つの関数であってよく、ここで、iはnタプルX及びY、並びに1≦i≦n、例えば、X_1の成分インデックスはi=1であり、X_2の成分インデックスはi=2である。関数は、X_i、Y_i、(Y_i-i)、(X_i-Y_i)、X_i、Y_i ^b、abs_X_i^a-Y_i ^b、(X_i-Y_i)^a、(X_i+a)/(Y_i +b)、(X_i^a/Y_i ^b)、及び((X_i/Y_i)^a-b)のうちの少なくとも1つの別の関数の成分ごとの加算を含むことができ、ここで、iはnタプルX及びYの成分インデックスである。関数がsum_{i=1}^n(abs(X_i/Y_i)-1)/n、又はsum_{i=1}^n w_i*(abs(X_i/Y_i)-1)の形式であってよく、ここで、w_iはコンポーネントiに対する何らかの重みである。
マップは、動的時間伸縮(DTW)を使用して演算されうる。DTWは、マップ、第1のTSCIのアイテム、第2のTSCIのアイテム、第1の持続時間、第2の持続時間、第1のセクション、及び/又は第2のセクションのうちの少なくとも1つに対する制約を備えうる。マップ内で、i番目の領域アイテムがj番目のレンジアイテムにマップされているとする。制約は、iとjとの許容可能な組み合わせ(iとjとの間の関係に関する制約)であってもよい。第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2の持続時間の第2のセクションとの間のミスマッチコストが演算されうる。
第1のセクション及び第2のセクションは、2つ以上のリンクを含むマップが第1のTSCIの第1のアイテムと第2のTSCIの第2のアイテムとの間で確立されうるように整列されうる。各リンクで、第1のタイムスタンプを有する第1のアイテムのうちの1つは、第2のタイムスタンプを有する第2のアイテムのうちの1つと関連付けられうる。整列された第1のセクションと整列された第2のセクションとの間のミスマッチコストが演算されうる。ミスマッチコストは、マップの特定のリンクによって関連付けられた第1のアイテムと第2のアイテムとの間のアイテムワイズコストと、マップの特定のリンクと関連付けられたリンクワイズコストとの機能を備えうる。
整列された第1のセクション及び整列された第2のセクションは、それぞれ、同じベクトル長の第1のベクトル及び第2のベクトルとして表されうる。ミスマッチコストは内積、内積様量、相関に基づく量、相関指標、共分散に基づく量、識別スコア、距離、ユークリッド距離、絶対距離、Lk距離(例えば、L1、L2、...)、重み付けされた距離、距離様量、及び/又は第1のベクトルと第2のベクトルとの間の別の類似性値のうちの少なくとも1つを含むことができる。ミスマッチコストは、それぞれのベクトル長によって正規化することができる。
第1のTSCIの第1の持続時間の第1のセクションと第2のTSCIの第2の持続時間の第2のセクションとの間のミスマッチコストから導出されるパラメータは、統計的分布を用いてモデル化されうる。統計的分布のスケールパラメータ、ロケーションパラメータ、及び/又は別のパラメータのうちの少なくとも1つが推定されうる。
第1のTSCIの第1の持続時間の第1のセクションは、第1のTSCIのスライディングセクションでありうる。第2のTSCIの第2の持続時間の第2のセクションは、第2のTSCIのスライディングセクションでありうる。
第1のスライディングウィンドウが第1のTSCIに適用されてよく、対応する第2のスライディングウィンドウが第2のTSCIに適用されてよい。第1のTSCIの第1のスライディングウィンドウと、第2のTSCIの対応する第2のスライディングウィンドウとは、位置合わせされうる。
第1のTSCIの整列された第1のスライディングウィンドウと第2のTSCIの対応する整列された第2のスライディングウィンドウとの間のミスマッチコストが演算されうる。現在のイベントは、ミスマッチコストに基づいて、既知のイベント、未知のイベント、及び/又は別のイベントのうちの少なくとも1つと関連付けられうる。
分類器は、少なくとも1つの暫定的な分類結果を取得するために、第1のTSCIの第1の持続時間の各第1のセクション、及び/又は第2のTSCIの第2の持続時間の各第2のセクションのうちの少なくとも1つに適用されうる。各暫定的な分類結果は、それぞれの第1のセクション及びそれぞれの第2のセクションと関連付けられうる。
現在のイベントは、ミスマッチコストに基づいて、既知のイベント、未知のイベント、クラス/カテゴリ/グループ/グループ化/リスト/未知のイベントのセット、及び/又は別のイベントのうちの少なくとも1つと関連付けられうる。現在のイベントは、第1のTSCIの2つ以上のセクションと、第2のTSCIの2つ以上のセクションに対応する暫定的分類結果の最大数に基づいて、既知のイベント、未知のイベント、及び/又は別のイベントのうちの少なくとも1つと関連付けられうる。例えば、現在のイベントはミスマッチコストがN回連続して特定の既知のイベントを指し示す場合(例えば、N=10)、特定の既知のイベントと関連付けられうる。別の例では、現在のイベントが特定の既知のイベントを指す直近の過去N連続N内のミスマッチコストのパーセンテージが特定の閾値(例えば、>80%)を超える場合、特定の既知のイベントと関連付けられうる。
別の例では、現在のイベントがある期間内のほとんどの時間について最小のミスマッチコストを達成する既知のイベントと関連付けられうる。現在のイベントは、少なくとも1つの第1のセクションと関連付けられた少なくとも1つのミスマッチコストの重み付け平均で最小の全体的なミスマッチコストを達成する既知のイベントと関連付けられうる。現在のイベントは、別の全体的なコストのうちの最小を達成する特定の既知のイベントと関連付けられうる。少なくとも1つの第1のセクションの十分なパーセンテージにおいて第1の閾値T1よりも低いミスマッチコストを達成する既知のイベントがない場合、現在のイベントは「未知のイベント」と関連付けられうる。現在のイベントはまた、いずれのイベントも第2の閾値T2よりも低い全体的なミスマッチコストを達成しない場合、「未知のイベント」と関連付けられうる。現在のイベントは、第1のTSCIの少なくとも1つの追加のセクション及び第2のTSCIの少なくとも1つの追加のセクションに関連するミスマッチコスト及び追加のミスマッチコストに基づいて、既知のイベント、未知のイベント、及び/又は別のイベントのうちの少なくとも1つと関連付けられうる。既知のイベントは、ドア閉イベント、ドア開イベント、ウィンドウ閉イベント、ウィンドウ開イベント、多状態イベント、オン状態イベント、オフ状態イベント、中間状態イベント、連続状態イベント、離散状態イベント、人間存在イベント、人間不在イベント、生体存在の兆候イベント、及び/又は生体不在の兆候のイベント、のうちの少なくとも1つを含むことができる。
各CIのための射影は、トレーニングTSCIに基づく次元削減方法を使用してトレーニングされうる。次元削減方法は、主成分分析(PCA)、異なるカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判別、ベクトル量子化、教師あり学習、教師なし学習、自己組織化マップ、自動エンコーダ、ニューラルネットワーク、ディープニューラルネットワーク、及び/又は別の方法のうちの少なくとも1つを含みうる。投影は、分類器のための、少なくとも1つのイベントと関連付けられたトレーニングTSCI、及び/又は現在のTSCIのうちの少なくとも1つに適用されうる。
少なくとも1つのイベントの分類器は、少なくとも1つのイベントと関連付けられた投影及びトレーニングTSCIに基づいてトレーニングされうる。少なくとも1つの現在のTSCIは、投影及び現在のTSCIに基づいて分類/分類されうる。投影は、トレーニングTSCI、投影を再トレーニングする前の少なくとも1つの現在のTSCI、及び/又は追加のトレーニングTSCIのうちの少なくとも1つに基づいて、次元削減方法、及び別の次元削減方法のうちの少なくとも1つを使用して再トレーニングされうる。別の次元削減方法は、主成分分析(PCA)、異なるカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判別、ベクトル量子化、教師あり学習、教師なし学習、自己組織化マップ、自動エンコーダ、ニューラルネットワーク、ディープニューラルネットワーク、及び/又は更に別の方法のうちの少なくとも1つを含みうる。少なくとも1つのイベントの分類器は、再トレーニングされた投影、少なくとも1つのイベントと関連付けられたトレーニングTSCI、及び/又は少なくとも1つの現在のTSCIのうちの少なくとも1つに基づいて再トレーニングされうる。少なくとも1つの現在のTSCIは、再トレーニングされた投影、再トレーニングされた分類器、及び/又は現在のTSCIに基づいて分類されうる。
各CIは、複素値のベクトルを含みうる。各複素値は、複素値の大きさを与えるために前処理されうる。各CIは、対応する複素数値の大きさを含む非負の実数のベクトルを与えるために前処理されうる。各トレーニングTSCIは、投影のトレーニングにおいて重み付けされうる。投影は、2つ以上の投影成分を含みうる。投影は、少なくとも1つの最上位の投影成分を含みうる。投影は、分類器にとって有益でありうる少なくとも1つの投影成分を含みうる。
チャネル/チャネル情報/ベニュー/時空間情報/動き/物体
チャネル情報(CI)は、以下のものとと関連付けられうる/含みうる:
信号強度、信号振幅、信号位相、スペクトル電力測定、モデムパラメータ(例えば、WiFi、4G/LTE等のデジタル通信システムにおける変調/復調に関連して使用される)、動的ビームフォーミング情報(例えば、IEEE802.11、又は別の規格等の標準化されたプロセスに従って、無線通信デバイスによって生成されるフィードバック又はステアリング行列を含む)、伝達関数成分、無線状態(例えば、デジタルデータを復号するためにデジタル通信システムにおいて使用される)、測定可能変数、センシングデータ、レイヤの粗粒度/細粒度情報(例えば、物理レイヤ、データリンクレイヤ、MACレイヤ等)、デジタル設定、利得設定、RFフィルタ設定、RFフロントエンドスイッチ設定、DCオフセット設定、DC補正設定、IQ補償設定、伝搬中の環境(例えばベニュー)による無線信号に対する効果、入力信号(タイプ1デバイスによって送信された無線信号)の出力信号(タイプ2デバイスによって受信される無線信号)への変換、環境の安定した挙動、状態プロファイル、無線チャネル測定値、受信信号強度インジケータ(RSSI)、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、帯域幅における周波数成分(例えば、サブキャリア)の特性、チャネルフィルタ応答、タイムスタンプ、補助情報、データ、メタデータ、ユーザデータ、アカウントデータ、アクセスデータ、セキュリティデータ、セッションデータ、ステータスデータ、監督データ、家庭データ、アイデンティティ(ID)、デバイスデータ、ネットワークデータ、近隣データ、環境データ、リアルタイムデータ、センサデータ、保存データ、暗号化データ、圧縮データ、保護データ、及び/又は、その他のチャネル情報。
各CIは、タイムスタンプ、及び/又は到着時間と関連付けられうる。CSIはマルチパスチャネルを介して送信機によって送信される信号と同様の信号を復調するために、(送信チャネルの)マルチパスチャネル効果を等化/取り消し/最小化/低減するために使用されうる。CIは、チャネルを通る信号の周波数帯域、周波数シグネチャ、周波数位相、周波数振幅、周波数トレンド、周波数特性、周波数類似特性、時間領域要素、周波数領域要素、時間周波数領域要素、直交分解特性、及び/又は非直交分解特性に関連する情報と関連付けられうる。TSCIは無線信号のストリーム(例えば、CI)でありうる。
CIは、前処理され、処理され、後処理され、記憶され(例えば、ローカルメモリ、ポータブル/モバイルメモリ、リムーバブルメモリ、ストレージネットワーク、クラウドメモリ内に、揮発性方法で、不揮発性方法で)、検索され、送信され、及び/又は受信されうる。1つ以上のモデムパラメータ及び/又は無線状態パラメータは、一定に保持されうる。モデムパラメータは、無線サブシステムに適用されうる。モデムパラメータは、無線状態を表しうる。動き検出信号(例えば、ベースバンド信号、及び/又はベースバンド信号から復号/復調されたパケット等)は記憶されたモデムパラメータによって表される無線状態を使用して、無線サブシステムによって第1の無線信号(例えば、RF/WiFi/LTE/5G信号)を処理(例えば、ダウンコンバート)することによって取得されうる。モデムパラメータ/無線状態は、(例えば、以前のモデムパラメータ又は以前の無線状態を使用して)更新されうる。以前のモデムパラメータ/無線状態及び更新されたモデムパラメータ/無線状態の両方が、デジタル通信システム内の無線サブシステムに適用されうる。以前のモデムパラメータ/無線状態及び更新されたモデムパラメータ/無線状態の両方が、タスクにおいて比較/分析/処理/監視されうる。
チャネル情報はまた、無線信号を処理するために使用されるモデムパラメータ(例えば、記憶された、又は新たに演算された)でありうる。無線信号は、複数のプローブ信号を含みうる。同じモデムパラメータを使用して、2つ以上のプローブ信号を処理することができる。同じモデムパラメータを使用して、2つ以上の無線信号を処理することもできる。モデムパラメータは、無線センサデバイスの無線サブシステム又はベースバンドサブシステム(又は両方)の動作のための設定又は全体的構成を示すパラメータを含みうる。モデムパラメータは無線サブシステムのためのゲイン設定、RFフィルタ設定、RFフロントエンドスイッチ設定、DCオフセット設定、又はIQ補償設定、又はデジタルDC補正設定、デジタルゲイン設定、及び/又はデジタルフィルタリング設定(例えば、ベースバンドサブシステムのための)のうちの1つ以上を含みうる。CIはまた、信号の期間、時間シグネチャ、タイムスタンプ、時間振幅、時間位相、時間傾向、及び/又は時間特性に関連する情報と関連付けられうる。CIは、信号の時間周波数区分、シグネチャ、振幅、位相、傾向、及び/又は特性に関連する情報と関連付けられうる。CIは、信号の分解と関連付けられうる。CIは、チャネルを通る信号の方向、到来角(AoA)、指向性アンテナの角度、及び/又は位相に関連する情報と関連付けられうる。CIは、チャネルを通る信号の減衰パターンと関連付けられうる。各CIは、タイプ1デバイス及びタイプ2デバイスと関連付けられうる。各CIは、タイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナと関連付けられうる。
CIは、CIを提供することができる通信ハードウェア(例えば、タイプ2デバイス、又はタイプ1デバイス)から取得されうる。通信ハードウェアはWiFi対応チップ/IC(集積回路)、802.11又は802.16又は別の無線/無線規格に準拠するチップ、次世代WiFi対応チップ、LTE対応チップ、5G対応チップ、6G/7G/8G対応チップ、Bluetooth対応チップ、NFC(近距離通信)対応チップ、BLE(Bluetooth低電力)対応チップ、UWBチップ、別の通信チップ(例えば、Zigbee、WiMax、メッシュネットワーク)等でありうる。通信ハードウェアは、CIを演算し、CIをバッファメモリに格納し、CIを抽出のために利用可能にする。CIは、チャネル状態情報(CSI)に関係するデータ及び/又は少なくとも1つの行列を備えうる。少なくとも1つの行列は、チャネル等化、及び/又はビームフォーミング等のために使用されうる。チャネルは、ベニューと関連付けられうる。減衰は、ベニューでの信号伝搬、空気(例えば、ベニューの空気)を通る/空気の周囲での信号伝搬/反射/屈折/回折、壁、ドア、家具、障害物及び/又は障壁等の屈折媒体/反射面に起因しうる。減衰は床、天井、家具、備品、物体、人、ペット等の表面及び障害物(例えば、反射表面、障害物)における反射に起因しうる。各CIは、タイムスタンプと関連付けられうる。各CIはN1個の成分(例えば、CFR中のN1個の周波数領域成分、CIR中のN1個の時間領域成分、又はN1個の分解成分)を含みうる。各成分は、成分インデックスと関連付けられうる。各成分は、実数、虚数、又は複素数、大きさ、位相、フラグ、及び/又はセットでありうる。各CIは、複素数のベクトル又は行列、混合量(mixed quantities)のセット、及び/又は少なくとも1つの複素数の多次元集合を備えうる。
特定の成分インデックスと関連付けられたTSCIの成分は、それぞれのインデックスと関連付けられたそれぞれの成分時系列を形成しうる。TSCIは、N1個の成分時系列に分割されうる。各成分時系列は、それぞれの成分インデックスと関連付けられる。物体の動きの特性/STIは、成分時系列に基づいて監視されてもよい。一例では、CI成分の1つ以上の範囲(例えば、成分11から成分23までの1つの範囲、成分44から成分50までの第2の範囲、及び1つの成分のみを有する第3の範囲)は更なる処理のために、いくつかの基準/コスト関数/信号品質メトリックに基づいて(例えば、信号対雑音比、及び/又は干渉レベルに基づいて)選択されうる。
TSCIの成分特徴時系列の成分ごとの特性が演算されうる。成分ごとの特性はスカラ(例えば、エネルギー)又は領域及び範囲を有する関数(例えば、自己相関関数、変換、逆変換)であってもよい。物体の動きの特性/STIは、成分ごとの特性に基づいて監視することができる。TSCIの全特性(例えば、総合特性)は、TSCIの各成分時系列の成分ごとの特性に基づいて演算されうる。全体の特性は、成分ごとの特性の重み付け平均であってもよい。物体の動きの特性/STIは、全特性に基づいて監視されてもよい。総量は、個々の量の重み付け平均であってもよい。
タイプ1デバイス及びタイプ2デバイスは、WiFi、WiMax、3Gを超える、4G/4G、LTE、LTE-A、5G、6G、7G、Bluetooth、NFC、BLE、Zigbee、UWB、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA、メッシュネットワーク、独自の無線システム、IEEE802.11規格、802.15規格、802.16規格、3GPP規格、及び/又は別の無線システムをサポートしうる。
共通無線システム及び/又は共通無線チャネルは、タイプ1トランシーバ及び/又は少なくとも1つのタイプ2トランシーバによって共有されうる。少なくとも1つのタイプ2トランシーバは共通無線システム及び/又は共通無線チャネルを使用して、それぞれの信号を同時に(又は、非同期的に、同期的に、散発的に、連続的に、反復的に、同時に、同時期に、及び/又は一時的に)送信しうる。タイプ1トランシーバは、共通無線システム及び/又は共通無線チャネルを使用して、少なくとも1つのタイプ2トランシーバに信号を送信しうる。
各タイプ1デバイス及びタイプ2デバイスは、少なくとも1つの送信/受信アンテナを有しうる。各CIは、タイプ1デバイスの送信アンテナのうちの1つと、タイプ2デバイスの受信アンテナのうちの1つと関連付けられうる。送信アンテナ及び受信アンテナの各ペアは、リンク、経路、通信経路、信号ハードウェア経路等と関連付けられうる。例えば、タイプ1デバイスがM(例えば、3)個の送信アンテナを有し、タイプ2デバイスがN(例えば、2)個の受信アンテナを有する場合、MxN(例えば、3x2=6)個のリンク又は経路が存在しうる。各リンク又はパスは、TSCIと関連付けられうる。
少なくとも1つのTSCIは、タイプ1デバイスとタイプ2デバイスとの間の様々なアンテナペアに対応しうる。タイプ1デバイスは、少なくとも1つのアンテナを有しうる。タイプ2デバイスはまた、少なくとも1つのアンテナを有しうる。各TSCIは、タイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナと関連付けられうる。アンテナリンクにわたる平均化又は重み付け平均化が実行されうる。平均化又は重み付け平均化は、少なくとも1つのTSCIにわたって行われうる。平均化は、任意選択で、アンテナ対のサブセットに対応する少なくとも1つのTSCIのサブセットに対して実行されうる。
TSCIの一部のCIのタイムスタンプは、不規則であってよく、時間補正されたCIの補正されたタイムスタンプが時間的に均一に離間されうるように補正されうる。複数のタイプ1デバイス及び/又は複数のタイプ2デバイスの場合、訂正されたタイムスタンプは、同じ又は異なるクロックに関するものでありうる。CIの各々と関連付けられた原稿のタイムスタンプが決定されうる。原稿のタイムスタンプは、時間的に一様に離間されないことがある。現在のスライディングタイムウィンドウ内の特定のTSCIの特定の部分の全てのCIの原稿のタイムスタンプは、時間補正されたCIの補正されたタイムスタンプが時間的に均一に離間されうるように補正されうる。
特性及び/又はSTI(例えば、動き情報)は、以下を含む:位置、位置、変更位置、新しい位置、新しい位置、位置、垂直位置、距離、距離、移動、加速度、加速度、回転速度、加速度、運動の方向、方位角、回転、運動の方向、回転、経路、変形、縮小、拡大、歩行、拡大、歩行、周期運動、頭部運動、反復運動、周期運動、擬似周期運動、衝撃運動、突然運動、転倒運動、転倒運動、過渡的運動、過渡的挙動、運動の周期、運動の周波数、時間的プロファイル、時間的特性、時間的特性、発生、変化、時間的変化、CIの変化、周波数の変化、タイミングの変化、歩行周期の変化、タイミングの変化、歩行周期の変化、タイミング、開始時間、開始時間、終了時間、持続時間、運動の履歴、運動タイプ、運動分類、周波数、周波数スペクトル 、物体の構成、物体の構成、接近、接近、識別、接近、接近、頭部運動速度、頭部運動、呼吸数、呼吸数、呼吸時間、呼吸深さ、呼気時間、吸入時間、呼気時間、呼気時間、換気時間、換気間隔、心拍数変動、手の運動方向、手の運動、脚の運動、歩行速度、手の運動速度、手の運動速度、位置の特徴、物体の運動に関連する特徴(例えば、位置/位置の変化)、ツールの運動、機械の運動、複雑な運動、及び/又は複数の運動の組み合わせ、イベント、信号の統計、信号の動態、異常、動き統計、運動パラメータ、運動の指示、運動の大きさ、運動位相、類似性スコア、距離スコア、ユークリッド距離、重み付け距離、L_1ノルム、L_2ノルム、k>2についてのL_kノルム、統計的距離、相関、相関インジケータ、、自己相関、自己共分散、相互共分散、運動特徴、運動特徴、運動、運動識別、運動、物体の存在、運動識別、運動、物体の移動、物体の出入り、物体の存在、運動サイクル、運動サイクル、運動カウント、歩行サイクル、運動周期、運動リズム、運動、動きリズム、運動、手書き運動、頭部運動、心臓運動、動向、動向、大きさ、容積、容積、形状、形状、タグ、開始/開始位置、終了位置、開始/開始量、終了量、イベント、転倒イベント、セキュリティイベント、事故イベント、ホームイベント、事務所イベント、工場イベント、倉庫イベント、製造イベント、ラインアセンブリイベント、保守イベント、カー関連イベント、ナビゲーションイベント、イベント追跡イベント、ドアイベント、ドア開イベント、ドア閉イベント、ウィンドウイベント、ウィンドウ開イベント、ウィンドウ閉イベント、動作識別、反復可能イベント、ワンタイムイベント、消費量、未消費量、状態、物理状態、健康状態、福祉状態、感情状態、精神状態、別のイベント、分析、出力応答、及び/又は別の情報。特性及び/又はSTIは、CI又はTSCIから演算された特徴(例えば、特徴演算/抽出)に基づいて演算/監視されうる。静的セグメント又はプロファイル(及び/又は動的セグメント/プロファイル)は、特徴の分析に基づいて、識別/演算/分析/監視/抽出/取得/取得/マーク/提示/強調表示/格納/通信されてもよい。分析は、動き検出/動き評価/存在検出を含むことができる。演算ワークロードは、タイプ1デバイス、タイプ2デバイス、及び別のプロセッサの間で共有されうる。
タイプ1デバイス及び/又はタイプ2デバイスは、ローカルデバイスでありうる。ローカルデバイスは、スマートフォン、スマートデバイス、TV、セットトップボックス、アクセスポイント、ルータ、無線リピータ、リピータ、ルータ、リピータ、無線信号リピータ/エクステンダ、スピーカ、ファン、冷蔵庫、ファン、マイクロ波、オーブン、コーヒーマシン、温水ポット、テーブル、椅子、照明、ランプ、ドアロック、カメラ、動きセンサ、動きセンサ、防火栓、ガレージドア、スイッチ、電源アダプタ、コンピュータ、ドングル、コンピュータ、ドングル、電子パッド、ソファ、タイル、アクセサリ、ホームデバイス、車両デバイス、オフィスデバイス、ビルディングデバイス、製造デバイス、時計、時計、テレビ、オーブン、空調、アクセサリ、ユーティリティ、アプライアンス、スマートマシン、スマート車両、インターネット対応デバイス、コンピュータ、ポータブルコンピュータ、タブレット、スマートハウス、スマートオフィス、スマート駐車場、スマートシステム、及び/又は他のデバイスでありうる。
各タイプ1デバイスは、それぞれの識別子(例えば、ID)と関連付けられうる。各タイプ2デバイスはまた、それぞれのアイデンティティ(ID)と関連付けられうる。IDは、符号、テキストと符号の組み合わせ、名前、パスワード、口座、口座ID、ウェブリンク、ウェブアドレス、何らかの情報へのインデックス、及び/又は別のIDを含みうる。IDは割り当てられうる。IDは、ハードウェア(例えば、ハードワイヤード、ドングル及び/又は他のハードウェアを介して)、ソフトウェア及び/又はファームウェアによって割り当てられうる。IDは、(例えば、データベースに、メモリに、サーバ(例えば、ハブデバイス)に、クラウドに、ローカルに記憶され、リモートに記憶され、永続的に記憶され、一時的に記憶され)、検索されうる。IDは、少なくとも1つのレコード、口座、ユーザ、世帯、住所、電話番号、社会保障番号、顧客番号、別のID、別の識別子、タイムスタンプ、及び/又はデータの収集と関連付けられうる。タイプ1デバイスのID及び/又はIDの一部は、タイプ2デバイスに利用可能にされうる。IDは、タイプ1デバイス及び/又はタイプ2デバイスによる、登録、初期化、通信、識別情報、検証、検出、認識、認証、アクセス制御、クラウドアクセス、ネットワーキング、ソーシャルネットワーキング、ロギング、記録、カタログ化、分類、タグ付け、関連付け、ペアリング、トランザクション、電子トランザクション、及び/又は知的財産管理のために使用されうる。
物体は、人、ユーザ、対象物、乗客、子供、高齢者、赤ちゃん、眠っている赤ちゃん、車内の赤ちゃん、患者、労働者、高付加価値労働者、専門家、専門家、ウェイター、ショッピングモールの顧客、空港/駅/バスターミナル/出荷ターミナルの旅行者、工場/モール/スーパー/オフィス/職場のスタッフ/労働者/顧客サービス員、下水/換気システム/リフトウェル内のサービス員、リフトウェル内のリフト、エレベーター、であってもよい。受刑者、追跡・監視対象者、動物、植物、生物、ペット、犬、猫、スマートフォン、電話アクセサリー、コンピュータ、タブレット、携帯コンピュータ、ドングル、コンピュータアクセサリー、ネットワークデバイス、WiFiデバイス、IoTデバイス、スマートウォッチ、スマートグラス、スマートデバイス、スピーカー、キー、スマートキー、財布、ハンドバッグ、バックパック、商品、貨物、荷物、機器、モータ、機械、エアコン、ファン、空調機器、照明器具。可動式照明器具、テレビ、カメラ、音響・映像機器、据え置き型、監視装置、部品、看板、工具、カート、チケット、駐車券、有料道路通行券、航空券、クレジットカード、プラスチックカード、アクセスカード、食品包装、調理器具、テーブル、椅子、清掃器具・道具、車両、自動車、駐車場内車両、倉庫・店舗・スーパー・配送センター内商品、ボート、自転車、航空機、ドローン、リモコン車・飛行機・ボート、リモコン飛行機・ボート、リモコン車・飛行機・ボート、リモコン飛行機・飛行機・ボート、リモコン飛行機・飛行機、ドローン、ドローン、ドローン、ドローン、リモコン飛行機・飛行機・ボート、リモコン車・飛行機・ボート、遠隔操作車/飛行機/ボート、ロボット、製造装置、組立ライン、工場内の材料/未完成部品/ロボット/ワゴン/運搬物、空港/ショッピングマート/スーパー内の追跡対象物、非物体、物体の不在、物体の存在、形を有する物体、形を変える物体、形のない物体、液体の質量、ガスの質量/煙、火災、炎、電磁(EM)ソース、電磁媒体、および/または別の物体、でありうる。
物体自体が、WiFi、MiFi、3G/4G/LTE/5G/6G/7G、Bluetooth、NFC、BLE、WiMax、Zigbee、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA、メッシュネットワーク、アドホックネットワーク、及び/又は他のネットワーク等の、いくつかのネットワークに通信接続されうる。物体自体はAC電源によってかさばる可能性があるが、設置、清掃、保守、改修等の間に移動される。それはまた、リフト、パッド、可動、プラットフォーム、エレベータ、コンベヤベルト、ロボット、ドローン、フォークリフト、かご、ボート、車両等の可動プラットフォームに設置されてもよい。物体は、複数の部分を有することができ、各部分は異なる動き(例えば、位置/位置の変化)を有する。例えば、物体は、前方に歩いている人であってもよい。歩行中、彼の左手及び右手は、異なる瞬間速度、加速度、運動等を伴って、異なる方向に移動しうる。
無線送信機(例えば、タイプ1デバイス)、無線受信機(例えば、タイプ2デバイス)、別の無線送信機及び/又は別の無線受信機は、(例えば、以前の移動、現在の移動、及び/又は将来の移動において)物体及び/又は別の物体とともに移動しうる。それらは1つ以上の近くのデバイスに通信可能に結合されうる。それらはTSCI及び/又はTSCIに関連する情報を近くのデバイスに、及び/又は互いに送信しうる。それらは近くのデバイスとともにありうる。無線送信機及び/又は無線受信機が小さい(例えば、コインサイズ、タバコボックスサイズ、又は更により小さい)、軽量のポータブルデバイスの一部でありうる。ポータブルデバイスは、近くのデバイスと無線に結合されうる。
近くのデバイスは、スマートフォン、iPhone(登録商標)、Androidフォン、スマートデバイス、スマート家電、スマート車両、スマートガジェット、スマートTV、スマート冷蔵庫、スマートスピーカ、スマートウォッチ、スマートグラス、スマートパッド、iPad(登録商標)、コンピュータ、ウェアラブルコンピュータ、ノートブックコンピュータ、ゲートウェイでありうる。近くのデバイスはインターネット、有線インターネット接続、及び/又は無線インターネット接続を介して、クラウドサーバ、ローカルサーバ(例えば、ハブデバイス)、及び/又は他のサーバに接続されうる。近くのデバイスは、携帯型であってもよい。ポータブルデバイス、近くのデバイス、ローカルサーバ(ハブデバイス等)、及び/又はクラウドサーバは、タスクのための演算及び/又は記憶を共有することができ(例えば、TSCIを取得し、物体の動き(例えば、位置/位置の変化)に関連する物体の特性/STIを決定し、電力(例えば、信号強度)情報の時系列の演算、特定の機能の決定/演算、局所的な極値の探索、分類、時間オフセットの特定の値の識別、ノイズ除去、処理、単純化、クリーニング、無線スマートセンシングタスク、信号からのCI抽出、切替、セグメント化、推定軌道/経路/軌道、マップの処理、環境モデル/制約/制限に基づく軌道/経路/軌道の処理、修正、修正、調整、マップベース(又は、モデルベース)の修正、誤り検知、境界ヒット、閾値処理)及び情報。近くのデバイスは、物体と共に動くことができる/動かないことができる。近くのデバイスは、ポータブル/非ポータブル/ムーバブル/ムーバブルではない場合がある。近くのデバイスは、バッテリ電力、太陽光電力、AC電力、及び/又は他の電源を使用しうる。近くのデバイスは、交換可能/非交換可能バッテリ、及び/又は再充電可能/非再充電可能バッテリを有しうる。近くのデバイスは、物体と同様であってもよい。近くのデバイスは、物体と同一の(及び/又は同様の)ハードウェア及び/又はソフトウェアを有しうる。近くのデバイスは、スマートデバイス、ネットワーク対応デバイス、WiFi/3G/4G/5G/6G/Zigbee/Bluetooth/NFC/UMTS/3GPP/GSM/EDGE/TDMA/FDMA/CDMA/WCDMA/TD-SCDMA/アドホックネットワーク/他のネットワークに対する接続を有するデバイス、スマートスピーカ、スマートウォッチ、スマートクロック、スマートアプライアンス、スマートマシン、スマート機器、スマートツール、スマート車両、インターネット対応デバイス、インターネット対応デバイス、コンピュータ、ポータブルコンピュータ、タブレット、及び別のデバイスでありうる。近くのデバイス及び/又は無線受信機、無線送信機、別の無線受信機、別の無線送信機、及び/又は(クラウド内の)クラウドサーバと関連付けられた少なくとも1つのプロセッサは、物体の初期STIを決定しうる。それらのうちの2つ以上は、初期空間-時間情報を一緒に決定しうる。それらのうちの2つ以上は初期STI(例えば、初期位置)の判定において中間情報を共有しうる。
一例では無線送信機(例えば、タイプ1デバイス、又はトラッカーBot)は、物体とともに移動しうる。無線送信機は、信号を無線受信機(例えば、タイプ2デバイス、又はOriginレジスタ)に送るか、又は物体の初期STI(例えば、初期位置)を決定しうる。無線送信機はまた、物体の動き(空間-時間情報)を監視するために、信号及び/又は別の信号を別の無線受信機(例えば、別のタイプ2デバイス、又は別のOrigin登録)に送りうる。無線受信機はまた、物体の動きを監視するために、無線送信機及び/又は別の無線送信機から信号及び/又は別の信号を受信しうる。無線受信機及び/又は別の無線受信機の位置は、知られている場合がある。別の例では無線受信機(例えば、タイプ2デバイス、又はトラッカーBot)は、物体とともに移動しうる。無線受信機は物体の初期空間-時間情報(例えば、初期位置)を決定するために、無線送信機(例えば、タイプ1デバイス、又はOriginレジスタ)から送信された信号を受信しうる。無線受信機はまた、物体の現在の動き(例えば、空間-時間情報)を監視するために、別の無線送信機(例えば、別のタイプ1デバイス、又は別のOrigin登録)から信号及び/又は別の信号を受信しうる。無線送信機はまた、物体の動きを監視するために、信号及び/又は別の信号を無線受信機及び/又は別の無線受信機(例えば、別のタイプ2デバイス、又は別のトラッカーBot)に送信しうる。無線送信機及び/又は別の無線送信機の位置は、知られている場合がある。
ベニューは、センシングエリア、センシングエリア、部屋、家、オフィス、物件、職場、廊下、通路、リフト、リフトウェル、エスカレーター、エレベーター、下水道、換気システム、階段、集会場、ダクト、エアダクト、パイプ、チューブ、密閉空間、閉鎖構造、半密閉構造、閉鎖領域、少なくとも一つの壁を持つ領域、プラント、機械、エンジン、木を使った構造、ガラスの構造、金属の構造、壁のある構造、ドアのある構造、隙間のある構造、反射面のある構造、流体のある構造、建物、屋上、店舗、工場、組立ライン、ホテルの部屋、博物館、教室、学校、大学、政府の建物、倉庫、ガレージ、モール、空港、駅、バスターミナル、ハブ、輸送拠点、輸送ターミナル、政府施設、公共施設、学校、大学、娯楽施設。娯楽施設、病院、小児・新生児病棟、老人ホーム、老人介護施設、公民館、競技場、公園、グラウンド、スポーツ施設、水泳施設、陸上競技場、バスケットボールコート、テニスコート、サッカースタジアム、野球場、体育館、ホール、ガレージ、ショッピングモール、モール、スーパー、製造施設、駐車施設、建設現場、鉱山施設、など。交通施設、高速道路、道路、谷、森林、木材、地形、景観、書斎、中庭、土地、道、遊園地、都市部、農村部、郊外、大都市圏、庭園、広場、音楽ホール、都心施設、上空施設、半開放施設、閉鎖空間、駅、物流センター、倉庫、店舗、物流センター、貯蔵施設、地下施設、空間(例えば、地上の外部空間)、屋内施設、屋外施設、壁・ドア・反射板を有する屋外施設、開放施設、半開放施設、自動車、トラック、バス、バン、コンテナ、船・ボート、潜水艇、列車、路面電車、飛行機、車両、移動式住居、洞窟、トンネル、パイプ、水路、都市圏、など。比較的高い建物のある繁華街、谷、井戸、ダクト、通路、ガス管、石油管、水道管、相互に接続する通路/通路/道路/管/洞窟/パイプ状構造/空気空間/流体空間、人体、動物体、体腔、器官、骨、歯、軟組織、硬組織、剛組織、非剛組織、血液/体液容器、風管、エアダクト等の、空間でありうる。ベニューは、屋内空間、屋外空間であってもよく、ベニューは空間の内側及び外側の両方を含んでもよい。例えば、ベニューは、建物の内側と建物の外側の両方を含むことができる。例えば、ベニューは、1つの床又は複数の床を有する建物であってもよく、建物の一部は地下であってもよい。建物の形状は、例えば、円形、正方形、長方形、三角形、又は不規則形状でありうる。これらは単なる例である。本開示は、他のタイプのベニュー又は空間におけるイベントを検出するために使用しうる。
無線送信機(例えば、タイプ1デバイス)及び/又は無線受信機(例えば、タイプ2デバイス)は物体とともに(例えば、以前の移動及び/又は現在の移動において)移動しうるポータブルデバイス(例えば、モジュール、又はモジュールを伴うデバイス)に埋め込まれうる。ポータブルデバイスは、有線接続(例えば、USB、microUSB、Firewire、HDMI(登録商標)、シリアルポート、パラレルポート、及び他のコネクタを介して)、及び/又は接続(例えば、Bluetooth、Bluetooth Low Energy(BLE)。ポータブルデバイスは、軽量デバイスであってもよい。ポータブルは、蓄電池、充電式蓄電池、及び/又はAC電源供給されてもよい。ポータブルデバイスは非常に小さく(例えば、サブミリメートルスケール及び/又はサブセンチメートルスケールで)、及び/又は小さく(例えば、コインサイズ、カードサイズ、ポケットサイズ、又はより大きく)てもよい。ポータブルデバイスは大型、大型、及び/又は大型(例えば、設置される重機)でありうる。ポータブルデバイスは、WiFiホットスポット、モバイルWiFi(MiFi)、アクセスポイント/マイクロUSB/スマートフォン、タブレット、コンピュータ、スマートデバイス、WiFi対応デバイス、LTE対応デバイス、スマートミラー、スマートミラー、スマートバッテリ、スマートライト、スマートペン、スマートリング、スマートドア、スマートクロック、スマートバッテリ、スマートベルト、スマートハンドバッグ、スマート衣服、スマートパッケージング、スマートペーパー/ブック/マガジン/印刷物/標識/表示/照明システム、スマートキー/ツール、スマートブレスレット/チェーン/ネックレス/ウェアラブル/アクセサリ、スマートパッド/クッション/ブロック、レンガ/建材、スマートゴミ箱、スマートフードキャリッジ/ストレージ、スマートボール/ラケット、スマートチェア/ソファ/ベッド、スマートシュー/カーペット/マット/ハンドハット/ハンドウェア、スマートハット/メイクアップ/ステッカー/タトゥー、スマートミラー、スマートピル、スマートピル、スマートボトル/食品容器、スマートデバイス、IoTデバイス、WiFi対応デバイス、3G/4G/6G対応デバイス、UMTSデバイス、3GPPデバイス、EDGEデバイス、TDMAデバイス、CDMAデバイス、WCDMAデバイス、埋め込み可能デバイス、空調、冷蔵庫、炉、オーブン、調理デバイス、テレビ/セットトップボックス(STB)/DVDプレーヤ/ビデオプレーヤ/リモートコントロール、ハイファイ、オーディオデバイス、スピーカ、照明、ドア、瓦・屋根・屋根・構造物・機器・据付・芝刈機・庭用具、機械器具/ガレージ缶/40ft/コンテナ、20ft/ガレージ容器、工場/製造装置、修理用具、工場/生産用具、機械、機械、機械、車両、カート、ワゴン、倉庫、車両、自動車、自転車、船、船、バスケット/ボックス/バケット/バケット/コンテナ、スマートプレート/カップ/ボウル/ポット/マット/マット/調理器具/キッチンツール/キッチン用品/キャビネット/テーブル/チェア/タイル/照明/水道管/蛇口/ガスレンジ/オーブン/食器洗い機/等、であってもよい。ポータブルデバイスは、交換可能、交換不可能、再充電可能、及び/又は再充電不可能でありうる蓄電池を有しうる。ポータブルデバイスは、無線充電されうる。ポータブルデバイスは、スマートペイメントカードであってもよい。ポータブルデバイスは、駐車場、高速道路、エンターテインメントパーク、又は支払いを必要とする他の場所/施設で使用される支払いカードであってもよい。ポータブルデバイスは、上述のように、アイデンティティ(ID)/識別子を有しうる。
イベントは、TSCIに基づいて監視されうる。イベントは、物体(例えば、人及び/又は病人)の転倒、回転、一時停止、衝撃(例えば、サンドバッグ、ドア、ベッド、ベッド、椅子、テーブル、机、キャビネット、ボックス、他の人、動物、鳥、テーブル、フライ、テーブル、椅子、ボール、ボウリングボール、テニスボール、サッカーボール、野球、バスケットボール、バスケットボール、ボレーボール)、2人の体の動作(例えば、風船を放す人、魚を捕らえる人、粘土を成型する人、紙を書く人、コンピュータ上でタイピングする人)、車庫内を移動する人、スマートフォンを携帯する人、空港/モール/政府/ビル/オフィス/等の周りを歩く人、自律移動可能な物体/機械が周りを動くこと(例:掃除機、実用車、自動車、ドローン、自動運転車)でありうる。
タスク又は無線スマートセンシングタスクは、以下のものを含みうる:物体検出、存在検出、物体検出、近接検出、物体認識、物体認識、日常的活動モニタリング、日常的活動モニタリング、日常的活動モニタリング、日常的活動モニタリング、日常的活動モニタリング、バイタルモニタリング、バイタルモニタリング、ベビーモニタリング、ベビーモニタリング、睡眠モニタリング、睡眠モニタリング、歩行モニタリング、運動モニタリング、運動モニタリング、運動モニタリング、運動モニタリング、運動モニタリング、運動モニタリング、ツール認識、検出ツール、患者検証、患者検出、患者検証、患者検出、患者検証、患者検証、機械検出、人間認識、人間認識、人間認識、人間認識、乳児検出、人間認識、乳児認識、人間呼吸検出、人間呼吸検出、人間呼吸検出、人間心拍認識、人間心拍推定、転倒検出、転倒認識、転倒検証、転倒検証、感情検出、感情認識、感情推定、感情検証、動き検証、定常動き検出、周期的動き検出、周期的動き検出、定常動き検出、過渡動き検出、過渡動き検証、トレンド検出、トレンド検出、呼吸検出、呼吸推定、人間生体認証、人間生体認証、人間生体認証、環境情報学的検出、環境情報学的検出、環境情報学的検出、歩行検出、歩行認証、ジェスチャー検出、ジェスチャー推定、ジェスチャー検証、機械学習、教師なし学習、半教師あり学習、特徴抽出、特徴トレーニング、主成分分析、固有値分解、周波数分解、時間分解、時間-周波数分解、トレーニング、半教師トレーニング、分別トレーニング、教師なしトレーニング、機能分解、教師なしトレーニング、神経ネットワーク、半教師なしトレーニング、転倒検出、転倒検出、危険検出、生命脅威検出、定常動き検出、サイクロ静止動き検出、侵入検出、侵入動き検出、セキュリティ、安全監視、安全監視、ナビゲーション、誘導、マップベースの処理、マップベースの補正、モデルベースの処理/修正、不規則性検出、位置検出、位置検出、追跡、複数の物体追跡、室内追跡、室内位置追跡、室内ナビゲーション、エネルギー管理、電力伝達、無線電力伝達、駐車場での物体計数、駐車場での車両追跡、装置/システム(例えば、セキュリティシステム、アクセスシステム、アラーム、サイレン、スピーカ、テレビ、エンターテインメントシステム、カメラ、ヒータ/空調(HVAC)システム、換気システム、照明システム、ゲームシステム、コーヒーマシン、調理装置、清掃装置、ハウスキーピング装置)、形状推定、拡張現実、無線通信、データ通信、信号ブロードキャスト、ネットワーキング、調整、管理、暗号化、保護、クラウドコンピューティング、他の処理及び/又は他のタスク。タスクは、タイプ1デバイス、タイプ2デバイス、別のタイプ1デバイス、別のタイプ2デバイス、近くのデバイス、ローカルサーバ(例えば、ハブデバイス)、エッジサーバ、クラウドサーバ、及び/又は別のデバイスによって実行されうる。タスクは、タイプ1デバイスとタイプ2デバイスとの任意のペア間のTSCIに基づきうる。タイプ2デバイスは、タイプ1デバイスであってもよく、逆もまた同様である。タイプ2デバイスは一時的に、連続的に、散発的に、同時に、及び/又は同時に、タイプ1デバイスの役割(例えば、機能性)を果たす/実行することができ、逆もまた同様である。タスクの第1の部分は、以下をうちの少なくとも1つを含みうる:前処理、信号処理、信号処理、条件付け、信号処理、信号処理、調整、信号処理、マッピング/連続的/マッピング/連続的/適応的/マッピング/要求、調整、特徴抽出、符号化、符号化、変更、符号化、変更、動き検出、動き検出、動き変化検出、動き検出パターン、動き検出パターン、動き認識パターン、バイタルサイン検出、バイタルサイン推定、バイタルサイン推定、周期的動き検出、周期的動き検出、反復動き検出/呼吸数検出、呼吸数検出、呼吸パターン検出、呼吸パターン推定、呼吸パターン認識、心拍検出、心拍検出パターン、心検出パターン、心検出パターン認識、アクション検出、アクション推定、アクション認識、アクション認識、速度検出、速度推定、物体位置推定、物体追跡、ナビゲーション、加速度推定、加速、ベビー監視、患者監視、物体認識、無線電力伝送、及び/又は無線充電。
タスクの第2の部分は、スマートホームタスク、スマートオフィスタスク、スマートオフィスタスク、スマートファクトリタスク(例えば、機械又は組立ラインを使用する製造)、スマートインターネット(IoT)タスク、スマートホームオペレーション、スマートオフィスオペレーション、スマートオフィスオペレーション、スマートビルオペレーション(例えば、機械/組立ラインに供給品/部品/原材料を移動させること)、IoTオペレーション、スマートシステムオペレーション、ライトをオンにすること、部屋、領域、及び/又はベニューのうちの少なくとも1つにおいてライトを制御すること、サウンドクリップを再生すること、部屋、領域、及び/又はベニューのうちの少なくとも1つにおいてサウンドクリップを再生すること、ウェルカム、挨拶、福祉、第1のメッセージ、及び/又はタスクの第1の部分と関連付けられた第2のメッセージのうちの少なくとも1つを再生すること、電化製品をオンにすること、部屋、領域、及び/又はベニュー内の機器を制御すること、部屋、領域、及び/又はベニュー内の機器を制御すること、電気システムを制御すること、部屋、電気システムをオンにすること、部屋、領域、及び/又はベニュー内の電気システムを制御すること、セキュリティシステムをオンにすること、セキュリティシステムをオフにすること、部屋、領域、及び/又はベニュー内のセキュリティシステムを制御すること、機械システムをオンにすること、機械システムを制御すること、部屋、領域、及び/又はベニュー内の機械システムを制御すること、及び/又は、空調システム、暖房システム、換気システム、照明システム、照明装置、ストーブ、娯楽システム、ドア、フェンス、窓、ガレージ、コンピュータシステム、ネットワーク化された装置、ネットワーク化された装置、システム、家電、家電、事務機器、照明装置、ロボット(ロボットアーム等)、スマートビークル、スマートマシン、アセンブリライン、スマートデバイス、モノのインターネット(IoT)デバイス、スマートホームデバイス、及び/又はスマートオフィスデバイスのうちの少なくとも1つを制御すること。
タスクは、以下を含みうる:ユーザが帰宅を検出すること、ある部屋から別の部屋へ移動することを検出すること、窓/ガレージドア/ブラインド/カーテン/パネル/ソーラーパネル/サンシェードを検出すること、ユーザが何かをすることを検出し/監視し(例えば、ソファで眠ること、寝室で走ること、ソファで調理すること、テレビで見ること、台所で食べること、階段を上ること/下ること、休憩室で帰ること、ユーザ/ペットの位置を監視し/検出すること、ユーザが検出すると自動的に何かをすること、ライトをオン/オフすること、音楽/ラジオ/ホームエンターテインメントシステムをオンにすること、テレビ/HiFi/セット-STB/ホームエンターテインメントシステム/スマートスピーカ/スマートデバイスをオン/オフ/調整/制御すること、エアコンシステムをオン/オフ/調整すること、換気システムをオン/オフ/調整すること、暖房システムをオン/オフ/調整すること、カーテン/ライトシェードを調整/制御すること、コンピュータをオン/オフ/ウェイクアップすること、コーヒーマシン/温水ポットをオン/オフ/予熱制御すること、調理器/オーブン/電子レンジ/他の調理デバイスのオン/オフ/制御/予熱制御、オーブン/電子レンジ/他の調理デバイスのオン/オフ/調整、温度予測のチェック/調整、電話メッセージボックスのチェック、メールのチェック、システムのチェック/調整、システムのチェック/調整/制御/アーム/安全保護システム/ベビーモニタのチェック/制御冷蔵庫のチェック/制御(例えば、Googleホーム、Amazon Echo等のスピーカを介して、ディスプレイ/画面上で、ウェブページ/電子メールを介して)。
例えば、ユーザが自分の車に自宅に到着すると、タスクは、自動的に、ユーザ又は自分の車が接近していることを検出し、検出時にガレージドアを開き、ユーザがガレージに近づくにつれて、ドライブウェイ/ガレージライトをオンにし、エアコン/ヒータ/ファン等をオンにすることであってもよい。ユーザが家に入ると、タスクは自動的に入り口ライトをオンにし、ドライブウェイ/ガレージライトをオフにし、ユーザを歓迎するグリーティングメッセージを再生し、音楽をオンにし、ユーザの好みのラジオニュースチャンネルをオンにし、カーテン/ブラインドを開き、ユーザの気分を監視し、ユーザの気分又は現在の/切迫したイベントに従って照明及びサウンド環境を調整し(例えば、ユーザが1時間以内にガールフレンドと夕食を食べるようにスケジューリングされているので、ロマンティックな照明及び音楽を行う)、ユーザが朝に用意したマイクロ波中の食物を温め、家の中の全てのシステムの診断チェックを行い、明日の作業の天気予報をチェックし、ユーザの関心のあるニュースをチェックし、ユーザのカレンダー及び実行リストをチェックし、リマインダを再生し、電話応答システム/メッセージングシステム/電子メールをチェックし、対話システム/音声合成を使用して口頭報告を与える(例えば、TV/エンターテインメントシステム/コンピュータ/ノートブック/ディスプレイ/ライト/明るさ/パターン/シンボル、ハプティックツール/仮想現実ツール/ジェスチャ/ツールの使用、スマートデバイス/家電/材料/器具/器具の使用、ウェブツール/サーバ/サーバハブデバイス/クラウドサーバ/クラウドサーバ/エッジサーバ/ホームネットワーク/メッシュネットワークの使用、メッセージングツール/通知ツール/コミュニケーションツール/スケジューリングツール/電子メールの使用、ユーザインタフェース/GUIの使用、香り/匂い/芳香/味の使用、ニューラルツール/神経系ツールの使用、組み合わせの使用)、母親の誕生日のユーザ及び彼女に電話をかけ、報告を作成し、報告を与え(例えば、上述のように想起するためのツールの使用)、報告を与える。タスクは、空調/暖房/換気システムを事前にオンにするか、又はスマートサーモスタットの温度設定を事前に調整すること等ができる。ユーザがリビングへの入口から移動するとき、タスクはリビングライトをオンにすること、リビングカーテンを開くこと、ウィンドウを開くこと、ユーザの後ろの入口ライトをオフにすること、TV及びセットトップボックスをオンにすること、TVをユーザの好みのチャネルにセットすること、ユーザの好み及び条件/状態に従ってアプライアンスを調整すること(例えば、照明を調整し、ロマンチックな雰囲気を構築するために音楽を選択/再生すること)等であってもよい。
別の例は、ユーザが朝に目覚めるとき、タスクはユーザが寝室内を動き回っていることを検出すること、ブラインド/カーテンを開くこと、窓を開くこと、目覚まし時計をオフにすること、夜間温度プロファイルから昼間温度プロファイルに屋内温度を調整すること、寝室光をオンにすること、ユーザがトイレに近づくにつれてトイレ光をオンにすること、無線又はストリーミングチャネルをチェックし、朝のニュースを再生すること、コーヒーマシンをオンにして水を予熱すること、セキュリティシステムをオフにすること等でありうる。ユーザがベッドルームからキッチンまで歩くとき、タスクはキッチン及び廊下の光をオンにし、ベッドルーム及びトイレの光をオフにし、ベッドルームからキッチンに音楽/メッセージ/リマインダを移動し、キッチンTVをオンにし、TVを朝のニュースチャンネルに変更し、キッチンのブラインドを下げ、キッチンウィンドウを開いて新鮮な空気を取り込み、ユーザがバックヤードをチェックするためのバックドアのロックを解除し、キッチンの温度設定を調整すること等であってもよい。別の例はユーザが仕事のために家を離れるとき、タスクはユーザが出て行くことを検出すること、別れのメッセージを再生すること、ガレージドアを開閉すること、ガレージライト及びドライブウェイライトをオン/オフにすること、エネルギーを節約するために光をオフ/ディムにすること(ユーザが忘れた場合にのみ)、全ての窓/ドアを閉じる/ロックすること(ユーザが忘れた場合にのみ)、アプライアンス(特に、ストーブ、オーブン、電子レンジ)をオフにすること、侵入者から家を保護するために家庭用セキュリティシステムをオン/アームにすること、エネルギーを節約するために空調/暖房/換気システムを「家から離れた」プロファイルに調整すること、ユーザのスマートフォンに警告/報告/更新を送ること等でありうる。
動き(motion(動き、動作、運動))は、以下のうちの少なくとも1つを含みうる:無動作、静止動作、非動作、移動、場所/ロケーションの変化、決定論的動作、過渡動作、転倒動作、繰り返し動作、周期動作、擬似周期動作、呼吸に伴う周期的/反復動作、心拍に伴う周期的/反復動作、生物に伴う周期的/反復運動、機械に伴う周期的/反復運動、人工物に伴う周期的/反復運動、自然に伴う周期的/反復運動、過渡的要素と周期的要素を有する複合運動、繰り返し運動、非決定論的運動、確率的運動、カオス運動、ランダム運動、非決定的要素と決定論的要素を有する複合運動、定常ランダム運動、擬似定常ランダム運動、サイクロ定常ランダム運動、非定常ランダム運動、周期的自己相関関数(ACF)を有する定常ランダム運動、周期的なACFを有するランダム運動、周期的な疑似定常運動、瞬時ACFが周期的な疑似周期的要素を有するランダム運動、機械運動、機械運動、車両運動、ドローン運動、大気関連運動、風関連運動、気象関連運動、水関連運動、流体関連運動、地盤関連運動、電磁気特性変化、地中運動、地震動、植物運動、動物運動、人間運動、正常運動、異常運動、危険運動、雨、火災、洪水、津波、津波、爆発、衝突、衝突寸前、人体運動、頭部運動、顔面運動、眼球運動、口運動、舌運動、首運動、指運動、手運動、腕運動、肩運動、体動、胸運動、腹運動、腰運動、脚運動、足運動、身体関節運動、膝運動、肘運動、上体運動、下体運動、皮膚運動、皮膚下運動、皮下組織運動。血管運動、静脈運動、臓器運動、心臓運動、肺運動、胃運動、腸運動、腸運動、食事運動、呼吸運動、顔の表情、目の表情、口の表情、話す運動、歌う運動、食べる運動、身振り、手振り、腕振り、キーストローク、タイピングストローク、ユーザインタフェースジェスチャー、マンマシンインタラクション、歩行、ダンス運動、協調運動、及び/又は協調的身体運動。
タイプ1デバイス及び/又は任意のタイプ2受信機のヘテロジニアスICは、低雑音増幅器(LNA)、電力増幅器、送受信スイッチ、メディアアクセスコントローラ、ベースバンド無線機、2.4GHz無線機、3.65GHz無線機、4.9GHz無線機、5GHz無線機、5.9GHz無線機、6GHz無線機未満、60GHz無線機未満及び/又は別の無線機を備えうる。ヘテロジニアスICは、プロセッサと、プロセッサと通信可能に結合されたメモリと、プロセッサによって実行されるべきメモリに記憶された命令のセットとを備えうる。IC及び/又は任意のプロセッサは、汎用プロセッサ、専用プロセッサ、マイクロプロセッサ、マルチプロセッサ、マルチコアプロセッサ、並列プロセッサ、CISCプロセッサ、RISCプロセッサ、マイクロコントローラ、中央処理装置(CPU)、グラフィカルプロセッサユニット(GPU)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、組み込みプロセッサ(例えばARM)、論理回路、他のプログラマブル論理デバイス、個別論理、及び/又は組み合わせのうちの少なくとも1つを備えうる。ヘテロジニアスICは、ブロードバンドネットワーク、無線ネットワーク、セルラネットワーク、無線ローカルエリアネットワーク(WLAN)、ワイドエリアネットワーク(MAN)、WLAN標準、WiFi、LTE-A、LTE-U、802.11標準、802.11a、802.11g、802.11g、802.11ac、802.11ad、802.11ah、802.11ax、802.11ay、ネットワークメッシュ標準、802.16標準、セルラネットワーク標準、3G、3.5G、4G、5G、6G、7G、8G、9G、UMTS、3GPP、GSM、EDGE、TDMA、CDMA、WCDMA、TD-SCDMA、Bluetooth Low Energy(BLE)、NFC、Zigbee、WiMax、及び/又は別の無線ネットワークプロトコルをサポートすることができる。
プロセッサは、汎用プロセッサ、専用プロセッサ、マイクロプロセッサ、マイクロコントローラ、組み込みプロセッサ、デジタル信号プロセッサ、中央処理装置(CPU)、グラフィカル処理ユニット(GPU)、マルチプロセッサ、マルチコアプロセッサ、及び/又はグラフィックス能力を有するプロセッサ、及び/又は組み合わせを備えうる。メモリは、揮発性、不揮発性、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、ハードディスク、フラッシュメモリ、CD-ROM、DVD-ROM、磁気記憶装置、光学記憶装置、有機記憶装置、記憶システム、記憶ネットワーク、ネットワーク記憶装置、クラウド記憶装置、エッジ記憶装置、ローカル記憶装置、外部記憶装置、内部記憶装置、又は当業者で知られている他の形成の非一時的記憶媒体でありうる。方法ステップに対応する命令のセット(機械実行可能コード)は、ハードウェアで、ソフトウェアで、ファームウェアで、又はそれらの組み合わせで直接具現化されうる。命令のセットは、埋め込まれ、プリロードされ、起動時にロードされ、オンザフライでロードされ、オンデマンドでロードされ、プリインストールされ、インストールされ、及び/又はダウンロードされうる。
プレゼンテーションは、オーディオビジュアル方法(例えば、ビジュアル、グラフィックス、テキスト、シンボル、カラー、シェード、ビデオ、アニメーション、サウンド、スピーチ、オーディオ等の組み合わせを使用する)、グラフィカル方法(例えば、GUI、アニメーション、ビデオを使用する)、テキスト方法(例えば、テキスト、メッセージ、アニメーション化されたテキストを有するウェブページ)、シンボリック方法(例えば、エモーティコン、サイン、ハンドジェスチャ)、又は機械的方法(例えば、振動、アクチュエータの動き、ハプティック等)でのプレゼンテーションでありうる。
基本演算
方法に関連する演算作業負荷は、プロセッサ、タイプ1ヘテロジニアス無線デバイス、タイプ2ヘテロジニアス無線デバイス、ローカルサーバ(例えば、ハブデバイス)、クラウドサーバ、及び別のプロセッサの間で共有される。
演算、前処理、処理、及び/又は後処理は、データ(例えば、TSCI、自己相関、TSCIの特徴)に適用されうる。動作は、前処理、処理、及び/又は後処理であってもよい。前処理、処理、及び/又は後処理は、動作であってもよい。動作は、前処理、後処理、スケーリング、見通し線(LOS)量を演算すること、LOS及びNLOSを含む量を演算すること、単一リンク(例えば、経路、通信経路、送信アンテナと受信アンテナとの間のリンク)量を演算すること、複数のリンクを含む量を演算すること、オペランドの関数を演算すること、線形フィルタリング、非線形フィルタリング、フォールディング、エネルギー演算、ローパスフィルタリング、帯域通過フィルタリング、メディアンフィルタリング、四分位フィルタリング、モードフィルタリング、有限インパルス応答(FIR)サブサンプリング、アップサンプリング、時間補正、時間ベース補正、振幅補正、位相補正、位相クリーニング、振幅クリーニング、整合フィルタリング、強調、復元、ノイズ除去、平滑化、信号調整、強調、復元、スペクトル解析、線形変換、非線形変換、逆変換、周波数変換、逆変換、フーリエ変換(FT)、離散時間FT(DFT)、高速FT(FFT)、ウェーブレット変換、ヒルベルト変換、三角変換、サイン変換、コサイン変換、DCT、パワー2変換、スパース変換、グラフベースの変換、高速変換、ゼロパディング、巡回パディング、ゼロパディング、特徴抽出、分解、直交射影、非完全射影、固有値分解(SVD)、主成分分析(ICA)、グループ化、閾値処理、ハード閾値処理、クリッピング、一次導関数、高次微分、畳み込み、乗算、、最小二乗法、局所偏差最小化、ニューラルネットワーク、認識、ラベリング、教師なし学習、半教師あり学習、別のTSCIとの比較、類似性スコア演算、量子化、マッチング追跡、圧縮、暗号化、送信、正規化、時間正規化、周波数領域正規化、分類、ラベリング、ラベリング、学習、学習、マッピング、再マッピング、記憶、検索、受信、表現、マージ、結合、追跡、整合フィルタリング、カルマンフィルタリング、内挿誤り訂正、実行 何もせず、時変処理、調整平均、重み付け平均、算術平均、幾何平均、調和平均、選択された周波数にわたる平均、アンテナリンクにわたる平均、論理演算、置換、組み合わせ、ソート、AND、OR、XOR、和集合、交差、ベクトル加算、ベクトル減算、ベクトル乗算、ベクトル除算、逆、ノルム、距離、及び/又は別の演算を含みうる。動作は、前処理、処理、及び/又は後処理であってもよい。動作は、複数の時系列又は関数に一緒に適用されうる。
関数(例えば、オペランドの関数)は、以下を含みうる:スカラー関数、ベクトル関数、連続関数、大きさ関数、三角関数、論理関数、三角関数、線形関数、区分関数、実関数、ベクトル値関数、逆関数、積分の導関数、関数の導関数、一対一関数、多対一関数、多対多関数、ゼロ交差、絶対関数、標識関数、平均、モード、中央値、範囲、統計、ヒストグラム、分散、偏差、発散、範囲、全変動、絶対偏差、全偏差、算術平均、幾何平均、トリミング平均、パーセンタイル、平方根、乗数、余弦、余弦 、タンジェント、コタンジェント、セカント、楕円関数、放物線関数、ゲーム関数、ゼータ関数、絶対値、閾値関数、フロア関数、丸め関数、量子化、区分定数関数、複合関数、演算で処理される時間関数(例:確率関数、エルゴード関数、確率関数、周期関数、確率関数、逆周波数変換、離散時間変換、ラプラス変換、サイン変換、コサイン変換、三角変換、ウェーブレット変換、整数変換、電力2変換、スパース変換、分解、原成分分析(PCA)、独立成分分析(ICA)、ニューラルネットワーク、特徴抽出、時系列の移動窓関数、フィルタリング関数、畳み込み関数、平均関数、ヒストグラム、分散/標準偏差関数、短時間変換、離散変換 、離散フーリエ変換、離散コサイン変換、固有値分解(SVD)、特異値、整合追跡、スパース変換、グラフベース変換、グラフ処理、分類、グラフ信号処理、分類、ラベリング、機械学習、検出、特徴抽出、ネットワーク特徴抽出、雑音除去、符号化、暗号化、再マッピング、ベクトル量子化、ハイパスフィルタリング、整合フィルタリング、カルマンフィルタリング、前処理、パーティクルフィルタリング、FIRフィルタリング、自己回帰(AR)フィルタリング、適応フィルタリング、高次微分、積分、ゼロ交差、平滑化、モードフィルタリング、サンプリング、ランダムサンプリング、リサンプリング関数、ダウンサンプリング、アップサンプリング、補間、重要度サンプリング、モンテカルロ・サンプリング、圧縮センシング、統計、短期統計、長期統計、自己相関関数、相互相関、モーメント生成関数、時間平均、重み付け平均、特殊関数、ベッセル関数、誤差関数、補誤差関数、ベータ関数、ガンマ関数、積分関数、ガウス関数、ポアソン関数等。
GPU/DSP/コプロセッサ/マルチコア/マルチプロセッシングを使用する、機械学習、トレーニング、弁別トレーニング、深層学習、ニューラルネットワーク、連続時間処理、分散コンピューティング、分散ストレージ、アクセラレーションは、本開示のステップ(又は各ステップ)に適用されうる。
周波数変換は、フーリエ変換、ラプラス変換、アダマール変換、ヒルベルト変換、サイン変換、コサイン変換、三角変換、ウェーブレット変換、整数変換、2乗変換、結合されたゼロパッディング及び変換、ゼロパッディングを用いたフーリエ変換、並びに/又は別の変換を含みうる。変換の高速バージョン及び/又は近似バージョンが実行されうる。変換は、浮動小数点及び/又は固定小数点算術を使用して実行されうる。
逆周波数変換は、逆フーリエ変換、逆ラプラス変換、逆アダマール変換、逆ヒルベルト変換、逆正弦変換、逆コサイン変換、逆三角変換、逆ウェーブレット変換、逆整数変換、逆2乗変換、結合されたゼロパディング及び変換、ゼロパディングを伴う逆フーリエ変換、並びに/又は別の変換を含みうる。変換の高速バージョン及び/又は近似バージョンが実行されうる。変換は、浮動小数点及び/又は固定小数点算術を使用して実行されうる。
TSCIからの量/特徴が演算されうる。量は、以下のうちの少なくとも1つを含みうる:動き、位置、位置、座標、速度、移動角度、移動量、移動量、パターン、時間、トレンド、パターン、時間パターン、反復パターン、時間パターン、相互に排除するパターン、関連/相関、原因/相関、短期/影響、相関、短期/影響、相関、傾向、傾向、統計、典型的挙動、典型的挙動、時間トレンド、時間プロファイル、周期的動き、周期的動き、反復、反復、動き、反復、傾向、変化、急激な変化、頻度、過渡的変化、頻度、過渡的変化、呼吸、行動、イベント、危険イベント、警報、警報、警告、近接、衝突、電力、信号、信号電力、信号強度、信号強度、受信信号強度インジケータ(RSSI)、信号振幅、信号、位相信号、周波数成分、信号周波数成分、非直交統計、心肺統計、出力統計、心拍、統計/分析、日々の活動統計、追跡、心拍、統計/分析、医療統計/分析、早期(又は即時若しくは同時の)指標/示唆/指標/検証者/示唆/示唆/兆候/検出/症状、疾患/状態/状況、バイオメトリック、ベビー、患者、機械、装置、温度、車両、駐車場、場所、昇降路、昇降路、空間、流体の流れ、ホーム、部屋、オフィス、オフィス、ハウス、建物、倉庫、貯蔵、システム、換気、ファン、ダクト、人、ヒト、自動車、ボート、トラック、飛行機、ドローン、ダウンタウン、群衆、衝動的イベント、サイクロ静止、環境、振動、材料、表面、3次元、2次元、局所、グローバル、存在、及び/又は別の測定可能な量/変数。
スライディングウィンドウ/アルゴリズム
スライディング時間ウィンドウは、時間変化するウィンドウ幅を有しうる。それは、高速取得を可能にするために、最初はより小さくてもよく、定常状態のサイズまで経時的に増加してもよい。定常状態サイズは、監視される周波数、反復運動、過渡運動、及び/又はSTIに関連しうる。定常状態であっても、ウィンドウサイズはバッテリ寿命、電力消費、利用可能なコンピューティング電力、ターゲットの量の変化、監視されるべき動きの性質等に基づいて、適応的に(及び/又は動的に)変更(例えば、調整、変更、修正)されうる。
隣接する時間インスタンスにおける2つのスライディング時間ウィンドウ間の時間シフトは、時間にわたって一定/可変/局所的に適応/動的に調整されうる。より短い時間シフトが使用されるとき、任意のモニタリングの更新はより頻繁であってよく、これは、急速に変化する状況、物体の動き、及び/又は物体のために使用されうる。より長い時間シフトはより遅い状況、物体の動き、及び/又は物体のために使用されうる。
ウィンドウ幅/サイズ及び/又は時間シフトはユーザの要求/選択に応じて変更(例えば、調整、変更、修正)しうる。時間シフトは自動的に(例えば、プロセッサ/コンピュータ/サーバ/ハブデバイス/クラウドサーバによって制御されるように)及び/又は適応的に(及び/又は動的に)変更されうる。
関数(例えば、自己相関関数、自己共分散関数、相互相関関数、相互共分散関数、電力スペクトル密度、時間関数、周波数領域関数、周波数変換)の少なくとも1つの特性(例えば、特性値又は特性点)は、(例えば、物体追跡サーバ、プロセッサ、タイプ1ヘテロジニアスデバイス、タイプ2ヘテロジニアスデバイス、及び/又は別のデバイスによって)決定されうる。関数の少なくとも1つの特性は、以下のものを含みうる:最大、最小、極値、極限、正の時間オフセットを伴うローカル極値、正の時間オフセットを伴う第1の極値、負の時間オフセットを伴うローカル極値、n番目の極値、拘束された極値、拘束された最大、有意な極値、傾き、微分、最大傾き、正の時間オフセットを伴うローカル極値、ローカル最大傾き、拘束された最大傾き、最大高次微分、拘束された高次微分、拘束された高次微分、正の時間オフセットを伴うゼロクロス、負の時間オフセットを伴うn番目ののゼロクロス、n番目の負の時間オフセットを伴うゼロクロス、制約付きゼロクロス、傾きのゼロクロス、高次微分のゼロクロス、及び/又は別の特性。関数の少なくとも1つの特性に関連する関数の少なくとも1つの引数が、識別されうる。いくつかの量(例えば、物体の空間時間情報)は、関数の少なくとも1つの引数に基づいて決定されうる。
特性(例えば、ベニューにおける物体の運きの特性)は、以下のうちの少なくとも1を含みうる:瞬時特性、短期特性、繰返し特性、経時特性、振幅特性、経時特性、変動特性、直交分解特性、確率特性、確率特性、自己相関関数(ACF)、平均、分散値、分散値、広がり、偏差、ダイバージェンス、範囲、絶対偏差、全偏差、統計、持続時間、時期、トレンド、周期特性、長期特性、歴史特性、電流特性、過去特性、予測特性、位置、距離、速度、速度、加速度、角速度、角速度の変化、物体の変化、角加速度、物体の方向、回転の角度、物体の変形、物体の形状、物体の形状の変化、物体の大きさの変化、物体の構造の変化、及び/又は物体の特性の変化。
関数の少なくとも1つの極大値及び少なくとも1つの最小値が識別されうる。少なくとも1つのローカル信号対雑音比類似の(SNR類似の)パラメータが、隣接する極大値及び最小値の各ペアについて演算されうる。SNR類似のパラメータは、局所最小値の同じ量にわたる局所最大値の量(例えば、電力、大きさ)の一部の関数(例えば、線形、対数、指数関数、単調関数)であってもよい。それは、極大値の量と最小値の同じ量との間の差の関数であってもよい。有意な局所ピークを同定又は選択しうる。各有意な局所ピークは、閾値T1よりも大きいSNR類似のパラメータを有する極大、及び/又は閾値T2よりも大きい振幅を有する極大でありうる。周波数領域における少なくとも1つの最小値及び少なくとも1つの最小値は、持続性ベースのアプローチを使用して識別/演算されうる。
選択された有意な局所ピークのセットは、選択基準(例えば、品質基準、信号品質条件)に基づいて、識別された有意な局所ピークのセットから選択されうる。物体の特性/STIは、選択された有意な局所ピークのセットと、選択された有意な局所ピークのセットに関連する周波数値とに基づいて演算されうる。一例では、選択基準が常に、範囲内の最も強いピークを選択することに対応しうる。最も強いピークが選択されうるが、選択されていないピークは依然として有意(かなり強い)でありうる。
未選択の有意なピークは将来のスライディング時間ウィンドウにおける将来の選択において使用するために、「予約された」ピークとして記憶及び/又は監視されうる。一例として、(特定の周波数における)特定のピークが時間一貫して現れることがある。最初は、それは有意であるが選択されない場合がある(他のピークがより強い場合があるため)。しかし、後になると、ピークはより強く、より支配的になり、選択されうる。それが「選択された」とき、それは、それが有意であったが選択されなかった初期の時間に、時間的に遡って「選択された」とされうる。そのような場合、バックトレースされたピークは、以前に選択されたピークを早い時間に置き換えることができる。置換されたピークは比較的弱いピーク、又は時間的に単独で現れる(即ち、時間的に短時間しか現れない)ピークであってもよい。
別の例では、選択基準が範囲内の最も強いピークを選択することに対応しなくてもよい。代わりに、それは、ピークの「強度」だけでなく、ピークの「トレース」(過去に起こった可能性があるピーク、特に、長い間同定されたピーク)も考慮しうる。
例えば、有限状態機械(FSM)が使用される場合、それは、FSMの状態に基づいて(1つ以上の)ピークを選択しうる。決定閾値は、FSMの状態に基づいて適応的に(及び/又は動的に)演算されうる。
類似性スコア及び/又はコンポーネント類似性スコアはTSCIの時間的に隣接するCIのペアに基づいて(例えば、サーバ(例えば、ハブデバイス)、プロセッサ、タイプ1デバイス、タイプ2デバイス、ローカルサーバ、クラウドサーバ、及び/又は別のデバイスによって)演算されうる。ペアは、同じスライド窓又は2つの異なるスライド窓から来てもよい。類似性スコアはまた、2つの異なるTSCIからのペアの、時間的に隣接する、又はそのように隣接しないCIに基づいてもよい。類似性スコア及び/又はコンポーネント類似スコアは、時間反転共鳴強度(TRRS)、相関、相互相関、自己相関、相関指標、共分散、相互共分散、自己共分散、2つのベクトルの内積、距離スコア、ノルム、メトリック、品質メトリック、信号品質条件、統計的特性、識別スコア、ニューラルネットワーク、深層学習ネットワーク、機械学習、トレーニング、識別、重み付け平均、前処理、ノイズ除去、信号調整、フィルタリング、時間補正、タイミング補償、位相オフセット補償、変換、コンポーネントごとの動作、特徴抽出、有限状態機械、及び/又は別のスコアであってもよい。特性及び/又はSTIは、類似性スコアに基づいて決定/演算されうる。
任意の閾値は、有限状態機械によって予め決定され、適応的に(及び/又は動的に)決定され、及び/又は決定されうる。適応的な決定は、時間、空間、位置、アンテナ、経路、リンク、状態、バッテリ寿命、バッテリ残存寿命、利用可能電力、利用可能な演算リソース、利用可能なネットワーク帯域幅等に基づきうる。
2つのイベント(又は2つの条件、又は2つの状況、又は2つの状態)A及びBを区別するために試験統計に適用される閾値を決定しうる。データ(例えば、CI、チャネル状態情報(CSI)、電力パラメータ)は、トレーニング状況においてAの下及び/又はBの下で収集されうる。試験統計は、データに基づいて演算されてもよい。Aの下の試験統計の分布はBの下の試験統計の分布(基準分布)と比較されてよく、閾値は、いくつかの基準に従って選択されうる。基準は最大尤度(ML)、最大アポステリオ確率(MAP)、識別トレーニング、所与のタイプ2エラーに対する最小タイプ1エラー、所与のタイプ1エラーに対する最小タイプ2エラー、及び/又は他の基準(例えば、品質基準、信号品質条件)を含みうる。閾値は、A、B及び/又は別のイベント/条件/状況/状態に対する異なる感度を達成するように調整されうる。閾値調整は、自動、半自動、及び/又は手動であってもよい。閾値調整は一度、時々、しばしば、定期的に、繰り返し、時々、散発的に、及び/又はオンデマンドで適用されうる。閾値調整は、適応的(及び/又は動的に調整される)であってもよい。閾値調整は、物体、物体の移動/位置/方向/アクション、物体特性/STI/サイズ/特性/特性/習慣/挙動、ベニュー、特徴/フィクスチャ/家具/バリア/材料/機械/生き物/物体境界/表面/媒体、マップ、マップ(又は環境モデル)の制約、イベント/状態/状況/条件、時間、タイミング、持続時間、現在の状態、過去の履歴、ユーザ、及び/又は個人用の好み等に依存しうる。
反復アルゴリズムの停止基準(又は、スキップ、バイパス、ブロッキング、一時停止、通過、拒絶基準)は、反復における更新における現在のパラメータ(例えば、オフセット値)の変化が閾値未満であることであってもよい。閾値は、0.5、1、1.5、2、又は別の個数でありうる。閾値は、適応的(及び/又は動的に調整される)であってもよい。反復が進むにつれて変化することがある。オフセット値について、適応閾値は、タスク、第1の時間の特定の値、現在の時間オフセット値、回帰ウィンドウ、回帰分析、回帰関数、回帰誤差、回帰関数の凸性、及び/又は反復回数に基づいて決定されうる。
局所極値は、回帰窓における回帰関数の対応する極値として決定されてもよい。局所極値は、回帰ウィンドウ内の時間オフセット値のセットと、関連する回帰関数値のセットとに基づいて決定されうる。時間オフセット値のセットに関連する関連する回帰関数値のセットの各々は、回帰ウィンドウ内の回帰関数の対応する極値からの範囲内にありうる。
ローカル極値の探索は、以下を含みうる:ロバスト探索、最小化、最大化、最適化、統計的最適化、二元最適化、制約条件最適化、凸最適化、大域的最適化、局所最適化、エネルギー最小化、線形回帰、二次回帰、高次回帰、線形計画、非線形計画、確率計画、組み合わせ最適化、制約計画、制約充足、変分法、最適制御、動的計画、数理計画、凸最適化、凸最適化、局所最適化、凸最適化、局所最適化、線形回帰、二次回帰 変分法、最適制御、動的計画法、数理計画法、多目的最適化、多次元最適化、分離型計画法、空間写像、無限次元最適化、ヒューリスティクス、メタヒューリスティクス、凸計画法、半正定値計画、円錐計画、整数計画、2次計画、フラクショナル計画法、数値解析、シンプレックス法、反復法、勾配降下法、劣勾配法、座標降下法、共役勾配法、ニュートン法、逐次二次計画法、内点法、楕円体法、縮小勾配法、擬似ニュートン法、同時摂動確率近似、内挿法、パターンサーチ法、ラインサーチ、非微分最適化、遺伝的アルゴリズム、進化的アルゴリズム、動的緩和、ヒルクライミング、粒子群最適化、重力探索アルゴリズム、シミュレーテッドアニーリング、ミメティックアルゴリズム、微分進化、動的緩和、確率的トンネル、タブーサーチ、反応探索最適化、曲線フィット、最小二乗、シミュレーションベースの最適化、変分、および/または変量。局所極値の探索は、目的関数、損失関数、コスト関数、効用関数、適応度関数、エネルギー関数、及び/又はエネルギー関数と関連付けられうる。
回帰は、回帰関数を使用して実行されて、サンプリングされたデータ(例えば、CI、CIの特徴、CIのコンポーネント)又は別の関数(例えば、自己相関関数)を回帰ウィンドウに適合させることができる。少なくとも1回の反復において、回帰ウィンドウの長さ及び/又は回帰ウィンドウの位置は変化しうる。回帰関数は、線形関数、二次関数、三次関数、多項式関数、及び/又は別の関数であってもよい。
回帰分析は、誤差、総計誤差、コンポーネント誤差、投影ドメインにおける誤差、選択された直交軸における誤差、選択された直交軸における誤差、絶対誤差、二乗誤差、絶対偏差、二乗偏差、二乗偏差、高次誤差(例えば、3次、4次)、ロバスト誤差(例えば、より小さい誤差の二乗誤差、より大きい誤差の大きさに対する絶対誤差、又はより小さい誤差の大きさに対する第1の種類の誤差、及びより大きい誤差の大きさに対する第2の種類の誤差)、別の誤差、絶対/二乗誤差の重み付けされた和(又は重み付けされた平均)(例えば、複数のアンテナを有する無線送信機及び複数のアンテナを有する無線受信機、送信機アンテナ及び受信機アンテナの各ペアがリンクを形成する)、平均絶対誤差、平均二乗誤差、平均絶対偏差。異なるリンクに関連する誤差は、異なる重みを有しうる。1つの可能性は、いくつかのリンク及び/又はより大きい雑音又はより低い信号品質メトリックを有するいくつかのコンポーネントがより小さい又はより大きい重みを有しうることである。二乗誤差の重み付け和、高次誤差の重み付け和、ロバスト誤差の重み付け和、別の誤差の重み付け和、絶対コスト、二乗コスト、高次コスト、ロバストコスト、別のコスト、絶対コストの重み付け和、二乗コストの重み付け和、高次コストの重み付け和、ロバストコストの重み付け和、及び/又は別のコストの重み付け和。
決定される回帰誤差は、絶対誤差、二乗誤差、高次誤差、ロバスト誤差、更に別の誤差、絶対誤差の重み付け和、二乗誤差の重み付け和、高次誤差の重み付け和、ロバスト誤差の重み付け和、及び/又は更に別の誤差の重み付け和であってもよい。
回帰ウィンドウ内の特定の関数に対する回帰関数の最大回帰誤差(又は最小回帰誤差)に関連する時間オフセットは、反復において更新された現在の時間オフセットになりうる。
局所極値は、2つの異なる誤差の差(例えば、絶対誤差と二乗誤差との差)を含む量に基づいて探索されうる。2つの異なる誤差の各々は、絶対誤差、二乗誤差、高次誤差、ロバスト誤差、別の誤差、絶対誤差の重み付け和、二乗誤差の重み付け和、高次誤差の重み付け和、ロバスト誤差の重み付け和、及び/又は別の誤差の重み付け和を含むことができる。
量は、F分布、セントラルF分布、別の統計的分布、閾値、確率/ヒストグラムに関連する閾値、偽ピークを発見する確率/ヒストグラムに関連する閾値、F分布に関連する閾値、セントラルF分布に関連する閾値、及び/又は別の統計的分布に関連する閾値等の基準データ又は基準分布と比較されうる。
回帰ウィンドウは、以下のうちの少なくとも1つに基づいて決定されうる:物体の動き(例えば、位置/場所の変化)、物体に関連する量、物体の動きに関連する物体の少なくとも1つの特性及び/又はSTI、局所極値の推定位置、ノイズ特性、推定ノイズ特性、物体の動き(例えば、位置/場所の変化)、物体に関連する量、物体の動きに関連する物体の少なくとも1つの特性および/またはSTI、局所極値の推定位置、ノイズ特性、推定ノイズ特性、信号品質メトリック、F分布、中心F分布、別の統計分布、閾値、プリセット閾値、確率/ヒストグラムに関連する閾値、望ましい確率に関連する閾値、誤ったピークが見つかる確立に関連する閾値、F分布に関連する閾値、中心F分布に関連する閾値、別の統計分布に関連する閾値。F分布に関連する閾値、中心F分布に関連する閾値、別の統計分布に関連する閾値、ウィンドウ中心での量が回帰ウィンドウ内で最大であるという条件、ウィンドウ中心での量が回帰ウィンドウ内で最大であるという条件、回帰ウィンドウ内の最初の時間の特定の値に対する特定の関数の局所極値、別の回帰ウィンドウ、および/または別の条件のうちの1つだけが存在するという条件。
回帰ウィンドウの幅は、検索されるべき特定の極値に基づいて決定されうる。極値は、以下のものを含みうる:第1の極値、第2の極値、最大極値、最大極値正オフセット値を有する第1の極値、最大極値正オフセット値を有する第2の極値、最大極値正オフセット値を有する第2の極値、最大極値負オフセット値を有する第1の極値、最大極値負オフセット値を有する第2の極値、最大極値負オフセット値を有する第1の極値、最大極値負オフセット値を有する第2の極値、最大極値負オフセット値を有する第1の極値、最大極値負オフセット値を有する第2の極値、最大極値負オフセット値を有する第2の極値、最大極値正オフセット値を有する第1の極値、第2の極値正オフセット値を有する第1の極値、正オフセット値を有する第2の極値、正オフセット値を有する第2の極値、正オフセット値を有する第1の負の時間オフセット値を有する極値。
現在のパラメータ(例えば、時間オフセット値)は、目標値、目標プロファイル、トレンド、過去のトレンド、現在のトレンド、目標速度、目標速度プロファイル、目標速度プロファイル、過去の速度トレンド、物体の動き又は移動(例えば、位置/位置の変化)、物体の動きに関連する物体の少なくとも1つの特徴及び/又はSTI、物体の位置量、物体の動きに関連する物体の初期速度、予め定義された値、回帰ウィンドウの初期幅、時間持続時間、信号のキャリア周波数に基づく値、信号のサブキャリア周波数に基づく値、信号の帯域幅、チャネルに関連するアンテナの量、雑音特性、信号hメトリック、及び/又は適応(及び/又は動的に調整された)値に基づいて初期化されうる。現在の時間オフセットは、回帰ウィンドウのセンタ、左側、右側、及び/又は別の固定された相対位置にありうる。
プレゼンテーションにおいて、情報は、ベニューのマップ(又は環境モデル)と共に表示されてもよい。情報は、以下のものを含みうる:位置、ゾーン、領域、カバレッジエリア、修正された位置、おおよその位置、ベニューのマップに関する位置、ベニューのセグメンテーションに関する位置、方向、経路、に関する経路、トレース(例えば、過去5秒又は過去10秒のような時間ウィンドウ内の位置;時間ウィンドウ持続時間は適応的に(及び/又は動的に)調整されてもよい;時間ウィンドウ持続時間は適応的に(及び/又は動的に)速度、加速度等に関して調整されてもよい)、経路の履歴、経路に沿った近似領域/ゾーン、過去の位置の履歴/要約、関心のある過去の位置の履歴、頻繁に訪れた領域、顧客トラフィック、群集分布、群集行動、群集制御情報、速度、加速度、動き統計、呼吸数、心拍数、存在/不存在を含みうる、人やペットや物の動き、バイタルサインの有無、動作、ジェスチャー制御(ジェスチャーを利用した機器の制御)、位置ベースのジェスチャー制御(ジェスチャーを利用した機器の制御)、ロケーションベースの動作、尊重対象の識別情報(ID)又は識別子(ペット、人、自走式機械/装置、車両、ドローン、車、車両、ボート、自転車、自転車、ファン付き機械、空調機、テレビ、可動部付き機械)、ユーザの識別情報(人等)、ユーザの位置/速度/加速度/方向/動き/ジェスチャー/ジェスチャー制御/動作トレース、ユーザのID又は識別子、ユーザの活動、ユーザの状態、ユーザの睡眠/休憩特性、ユーザの感情状態、ユーザのバイタルサイン、ベニューの環境情報、ベニューの天候情報、地震、爆発、暴風雨、雨、火災、温度、衝突、イベントオープン、ドアイベント、イベントクローズ、ドアイベント、イベントオープン、衝撃、イベントウィンドウクローズ、イベントフォールダウン、バーニングイベント、凍結イベント、水関連イベント、風関連イベント、空気移動イベント、事故イベント、疑似周期的イベント(例えば、トレッドミル上でのランニング、上下へのジャンプ、ロープの飛び降り、人為的な飛び降り等)、繰り返しイベント、群衆イベント、車両イベント、ユーザのジェスチャ(例えば、手のジェスチャ、腕のジェスチャ、足のジェスチャ、脚のジェスチャ、身体のジェスチャ、頭のジェスチャ、顔のジェスチャ、口のジェスチャ、目のジェスチャ等)。
位置は、2次元(例えば、2D座標を有する)、3次元(例えば、3D座標を有する)であってもよい。位置は相対的(例えば、マップ又は環境モデル)又は関係的(例えば、ポイントAとポイントBとの中間、コーナーの周り、階段の上、テーブルの上、天井、床、ソファ、ポイントAに近い、ポイントAからの距離R、ポイントAからの半径R内等)であってもよい。ロケーションは、矩形座標、極座標、及び/又は別の表現で表現されうる。
情報(例えば、位置)は、少なくとも1つのシンボルでマークされてもよい。シンボルは、時変であってもよい。記号は、色/強度を変化させて又は変化させずに点滅及び/又は脈動させることができる。サイズは、経時的に変化してもよい。シンボルの向きは、経時的に変化してもよい。シンボルは、瞬間量(例えば、バイタルサイン/呼吸数/心拍数/ジェスチャ/状態/ユーザの状態/アクション/動作、温度、ネットワークトラフィック、ネットワーク接続性、デバイス/マシンの状態、デバイスの残りの電力、デバイスの状態等)を反映する数でありうる。変化率、サイズ、向き、色、強度、及び/又は記号は、それぞれの動きを反映しうる。情報は、視覚的に提示され、及び/又は口頭で(例えば、事前に記録された音声又は音声合成を使用して)記述されうる。情報は、テキストで記述しうる。情報はまた、機械的な方法(例えば、動画化されたガジェット、可動部分の移動)で提示されてもよい。
ユーザインタフェース(UI)デバイスは、スマートフォン(例えば、iPhone(登録商標)、Android電話)、タブレット(例えば、iPad(登録商標))、ラップトップ(例えば、ノートブックコンピュータ)、パーソナルコンピュータ(PC)、グラフィカルユーザインタフェース(GUI)を伴うデバイス、スマートスピーカ、音声/オーディオ/スピーカ機能を伴うデバイス、仮想現実(VR)デバイス、拡張現実(AR)デバイス、スマートカー、自動車内のディスプレイ、音声アシスタント、自動車内の音声アシスタント等でありうる。
マップ(又は環境モデル)は、2次元、3次元、及び/又はより高次元であってもよい。(例えば、時変2D/3Dマップ/環境モデル)壁、窓、ドア、入口、出口、禁止エリアは、マップ又はモデル上にマークされうる。マップは、施設の間取り図を含むことができる。マップ又はモデルは、1つ以上のレイヤ(オーバーレイ)を有しうる。マップ/モデルは、水道管、ガス管、ケーブル、ケーブル、エアダクト、クロール空間、天井レイアウト、及び/又は地下レイアウトを含む保守マップ/モデルであってもよい。ベニューは複数のゾーン/領域/地理的領域/セクタ/セクション/地域/地域/地区/地区/地域/地域/区域/広域/広域、例えば、寝室、リビング、貯蔵室、歩道、台所、食堂、飼い主、ガレージ、1階、2階、休憩室、オフィス、会議室、受付エリア、様々なオフィスエリア、様々な倉庫エリア、様々な施設エリア等にセグメント化/分割/細分化/グループ化しうる。セグメント/領域/エリアは、マップ/モデルで提示されてもよい。異なる領域は、色分けされてもよい。異なる領域には、特性(例えば、色、輝度、色強度、テクスチャ、アニメーション、点滅、点滅速度等)が提示されてもよい。ベニューの論理的セグメント化は少なくとも1つのヘテロジニアスタイプ2デバイス、又はサーバ(例えば、ハブデバイス)、又はクラウドサーバ等を使用して行われうる。
ここでは、開示されたシステム、装置、及び方法の例を示す。Stephenと彼の家族は、開示された無線動作検出システムを、ワシントン州シアトルの2000平方フィートの2階建ての町家の動作を検出するためにインストールしたいと考えている。彼の家には2つの階段があるので、スティーブンは、1つのタイプ2デバイス(Aと名付けられた)と2つのタイプ1デバイス(BとCと名付けられた)を1階に使用することにした。1階は主にキッチン、ダイニングルーム、リビングの3つの部屋が直線状に並んでおり、ダイニングルームは中央にある。台所と居間は家の反対側にある。彼は、タイプ2デバイス(A)をダイニングルームに入れ、一方のタイプ1デバイス(B)をキッチンに入れ、他方のタイプ1デバイス(C)をリビングに入れた。この装置の配置により、彼は、実際には動き検出システムを使用して、地上階を3つのゾーン(ダイニングルーム、リビングルーム、及びキッチン)に分割している。動作がABペア及びACペアによって検出されると、システムは動作情報を分析し、動作を3つのゾーンのうちの1つと関連付ける。
Stephenとその家族が週末に外出すると(例えば、長い週末にキャンプに行くために)、Stephenは携帯電話アプリ(例えば、Android電話アプリ又はiPhone(登録商標)アプリ)を使用して、動き検出システムをオンにする。システムが動きを検出すると、警告信号(例えば、SMSテキストメッセージ、電子メール、携帯電話アプリへのプッシュメッセージ等)がスティーブンに送信される。Stephenが月額料金(例:10ドル/月)を支払うと、サービス会社(例:セキュリティ会社)は有線ネットワーク(例:ブロードバンド)又は無線ネットワーク(例:ホームWiFi、LTE、3G、2.5G等)を通じて警告信号を受け取り、Stephenにセキュリティ手順を実行する(例:問題を確認するために彼に電話をかけたり、家にチェックを入れたり、Stephenに代わって警察に連絡を取ったり、等)Stephenは自分の高齢の母親を愛し、自分だけが家にいるときは彼女の幸福を気にかける。家族の残りが外出している間(例えば、仕事に行く、買い物に行く、又は休暇に行く)、母親が自分のモバイルアプリを使用して動き検出システムをオンにし、母親がokであることを保証する。次いで、彼は、モバイルアプリを使用して、自分の母親の家での動きを監視する。Stephenがモバイルアプリを使って、3つの領域の中で母親が家の周りを移動しているのを見ると、彼女の日常的なルーチンによれば、Stephenは、彼の母親がうまくいっていることを知っている。スティーブンは、彼が家から離れている間、動き検出システムが彼の母親の幸福を監視するのを助けることができることに感謝している。
典型的な日には、母親は午前7時頃に目を覚ました。彼女は台所で朝食を約20分間調理した。それから彼女は食堂で朝食を約30分間食べた。そして、リビングで毎日運動をし、リビングのソファに座って、好きなテレビ番組を見る。動き検出システムは、Stephenが家の3つの領域のそれぞれにおける動きのタイミングを見ることを可能にする。動きが日常のルーチンと一致すると、スティーブンはおおよそ母さんが元気になるはずだということを知っている。しかし、動きパターンが異常に見える場合(例えば、午前10時まで動きがない、長い間キッチンに滞在した、又は長く動きが止まらない等)、スティーブンは何か間違っていると疑い、母親に彼女をチェックするように呼びかける。スティーブンは誰か(例えば、家族、近所の人、有料の人、友人、ソーシャルワーカー、サービスプロバイダ)に母親をチェックさせることさえできる。
時には、Stephen、タイプ2デバイスの位置を変更するように感じる。原稿のAC電源プラグからデバイスを抜き、別のAC電源プラグに差し込むだけである。彼は無線動作検出システムがプラグアンドプレイであり、再配置がシステムの動作に影響を及ぼさないことを喜んでいる。電源を入れるとすぐに動作する。
後になると、Stephenは我々の無線動き検出システムが非常に高い精度と非常に低いアラームで実際に動きを検出することができ、彼は地上階の動きを監視するためにモバイルアプリを実際に使用することができると確信している。彼は2階の寝室を監視するために、同様の設備(即ち、1つのタイプ2デバイス及び2つのタイプ1装置)を2階に設置することを決定する。もう一度言うと、システムのセットアップは非常に容易であり、タイプ2のデバイスとタイプ1のデバイスを2階のAC電源プラグに接続するだけでよい。特別なインストールは必要ない。また、同じモバイルアプリを使用して、1階と2階の動きを監視しうる。1階/2階の各タイプ2デバイスは、1階と2階の両方のタイプ1デバイスと相互作用しうる。Stephenは、タイプ1及びタイプ2のデバイスへの投資を2倍にすると、複合システムの能力が2倍以上になることを喜んで見ている。
様々な実施形態によれば、各CI(CI)は、チャネル状態情報(CSI)、周波数領域CSI、少なくとも1つのサブバンドに関連する周波数領域CSI、周波数領域CSI、時間領域CSI、チャネル応答、推定チャネル応答、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、チャネル特性、チャネルフィルタ応答、無線マルチパスチャネルのCSI、無線マルチパスチャネルの情報、タイムスタンプ、補助情報、データ、メタデータ、ユーザデータ、アカウントデータ、アクセスデータ、セキュリティデータ、セッションデータ、ステータスデータ、監督データ、家庭データ、識別情報(ID)、識別子、デバイスデータ、ネットワークデータ、近傍データ、環境データ、リアルタイムデータ、センサデータ、記憶データ、暗号化データ、圧縮データ、保護データ、及び/又は別のCIのうちの少なくとも1つを含みうる。一実施形態では、開示されるシステムは、ハードウェアコンポーネント(例えば、アンテナを有する無線送信機/受信機、アナログ回路、電力供給、プロセッサ、メモリ)及び対応するソフトウェアコンポーネントを有する。本教示の様々な実施形態によれば、開示されるシステムは、バイタルサインの検出及び監視のためのボット(タイプ1デバイスと呼ばれる)及びOrigin(タイプ2デバイスと呼ばれる)を含む。各デバイスは、トランシーバと、プロセッサと、メモリとを備える。
開示されたシステムは、多くの場合に適用しうる。一例では、タイプ1デバイス(送信機)がテーブル上にある小型WiFi対応デバイスでありうる。それはまた、WiFi対応テレビ(TV)、セットトップボックス(STB)、スマートスピーカ(例えば、Amazonエコー)、スマート冷蔵庫、スマート電子レンジ、メッシュネットワークルータ、メッシュネットワーク衛星、スマートフォン、コンピュータ、タブレット、スマートプラグ等であってもよい。一例では、タイプ2(受信機)がテーブル上にあるWiFi対応デバイスでありうる。それはまた、WiFi対応テレビ(TV)、セットトップボックス(STB)、スマートスピーカ(例えば、Amazonエコー)、スマート冷蔵庫、スマート電子レンジ、メッシュネットワークルータ、メッシュネットワーク衛星、スマートフォン、コンピュータ、タブレット、スマートプラグ等であってもよい。タイプ1デバイス及びタイプ2デバイスは、人数を数えるために会議室内/近くに配置されうる。1型デバイス及び2型デバイスは日常活動及び症状の任意の徴候(例えば、認知症、アルツハイマー病)をモニタリングするための、高齢者のための健康状態モニタリングシステム内にあってもよい。タイプ1デバイス及びタイプ2デバイスは生きている乳児のバイタルサイン(呼吸)を監視するために、乳児モニタにおいて使用されうる。タイプ1デバイス及びタイプ2デバイスは睡眠の質及び任意の睡眠時無呼吸を監視するために、寝室内に配置されうる。タイプ1デバイス及びタイプ2デバイスは乗客及び運転者の健康状態を監視し、運転者の睡眠を検出し、車内に残っている乳児を検出するために、車内に配置されうる。タイプ1デバイス及びタイプ2デバイスはトラック及びコンテナに隠された人を監視することによって人身取引を防止するために、物流において使用されうる。タイプ1装置及びタイプ2デバイスは破片に捕捉された被害者を探すために、災害地域における緊急サービスによって配備されてもよい。タイプ1デバイス及びタイプ2デバイスは任意の侵入者の呼吸を検出するために、ある領域に展開されうる。ウェアラブルなしの無線呼吸モニタリングの多くの用途がある。
ハードウェアモジュールは、タイプ1トランシーバ及び/又はタイプ2トランシーバを含むように構築されうる。ハードウェアモジュールは最終的な市販製品を設計、構築、及び販売するために、可変ブランドに販売/使用されうる。開示されるシステム及び/又は方法に使用する製品は、ホーム/オフィスセキュリティ製品、WiFi製品、STB、エンターテインメント製品、TV、エンターテインメント製品、HiFi、スピーカ、家電製品、オーブン、テーブル、椅子、ベッド、道具、トーチ、電気掃除機、ソファ、ファン、ドア、窓、ドアハンドル、ロック、煙検出器、カーアクセサリ、コンピューティングデバイス、オフィスデバイス、エアコンディショナ、ヒータ、コネクタ、監視カメラ、アクセスポイント、モバイルデバイス、LTEデバイス、3G/4G/6Gデバイス、UMTSデバイス、GSMデバイス、EDGEデバイス、TDMAデバイス、CDMAデバイス、WCDMAデバイス、TD-SCDMAデバイス、ゲームデバイス、眼鏡、VRゴーグル、ネックレス、腕時計、ウエストバンド、ベルト、財布、ペン、帽子、ウェアラブル、埋め込み型デバイス、タグ、駐車券、スマートフォン等でありうる。
発明の概要は、分析、出力応答、選択された時間ウィンドウ、サブサンプリング、変換、及び/又は投影を含みうる。提示することは、月/週/日ビュー、簡略化/詳細ビュー、断面ビュー、小/大フォームファクタビュー、色分けビュー、比較ビュー、要約ビュー、アニメーション、ウェブビュー、音声アナウンス、及び反復動作の周期的/反復特性に関連する別のプレゼンテーション、のうちの少なくとも1つを提示することを含みうる。
タイプ1/タイプ2デバイスは、以下のものでありうる:
アンテナ、アンテナを有するデバイス、アンテナを有するデバイス、筐体(無線機、アンテナ、データ・信号処理装置、無線IC、回路等のための)筐体を有するデバイス、アンテナを取り付ける/接続する/リンクするインターフェイスを有するデバイス、他のデバイス/システム/コンピュータ/電話/ネットワーク/データアグリゲータとインターフェイスする/取り付ける/接続する/リンクするデバイス、ユーザーインターフェース(UI)/グラフィカルUI/ディスプレイを有するデバイス、無線トランシーバーを有するデバイス、無線送信機を有するデバイス、無線受信機を有するデバイス、IoTデバイス、無線ネットワークを有するデバイス、有線ネットワークと無線ネットワーク機能を有するデバイス、無線集積回路(IC)を有するデバイス、Wi-Fiデバイス、Wi-Fiチップ搭載デバイス(例:802.11a/b/g/n/ac/ax規格準拠)、Wi-Fiアクセスポイント(AP)、Wi-Fiクライアント、Wi-Fiルータ、Wi-Fiリピータ、Wi-Fiハブ、無線メッシュネットワークルータ/ハブ/AP、アドホックネットワークルータ、無線メッシュネットワーク装置、モバイルデバイス(例:2G/2.5G/3G/3.5G/4G/LTE/5G/6G/7G、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA(登録商標)、TD-SCDMA)、携帯端末、基地局、モバイルネットワーク基地局、モバイルネットワークハブ、モバイルネットワーク互換端末、LTE端末、LTEモジュール搭載端末、モバイルモジュール(例:Wi-Fiチップ、LTEチップ、BLEチップなどのモバイルイネーブルチップ(IC)搭載基板)、Wi-Fiチップ(IC)、LTEチップ、BLEチップ、モバイルモジュール搭載機器、スマートフォン、スマートフォン用コンパニオンデバイス(ドングル、アタッチメント、プラグイン等)、専用デバイス、プラグインデバイス、AC電源デバイス、バッテリー駆動デバイス、プロセッサ/メモリ/命令セットを持つデバイス、スマートデバイス/ガジェット/アイテム。時計、文房具、ペン、ユーザーインターフェース、紙、マット、カメラ、テレビ、セットトップボックス、マイク、スピーカー、冷蔵庫、オーブン、機械、電話、財布、家具、ドア、窓、天井、床、壁、テーブル、椅子、ベッド、ナイトスタンド、エアコン、ヒーター、パイプ、ダクト、ケーブル、カーペット、装飾品。ガジェット、USBデバイス、プラグ、ドングル、ランプ/ライト、タイル、装飾品、ボトル、車両、自動車、無人搬送車、ロボット、ラップトップ、タブレット、コンピュータ、ハードディスク、ネットワークカード、楽器、ラケット、ボール、靴、ウェアラブル、衣類、眼鏡、帽子、ネックレス、食品、丸薬、生物の体内(例:血管内、リンパ液内、消化器官内)で動く小型デバイス、及び/又は他のデバイス。タイプ1デバイス及び/又はタイプ2デバイスは、インターネット、インターネットへのアクセスを有する別のデバイス(例えば、スマートフォン)、クラウドサーバ(例えば、ハブデバイス)、エッジサーバ、ローカルサーバ、及び/又はストレージと通信可能に接続されうる。タイプ1デバイス及び/又はタイプ2デバイスは、ローカル制御で動作してもよく、有線/無線接続を介して別のデバイスによって制御されてもよく、自動的に動作してもよく、又は遠隔(例えば、ホームから離れた)中央システムによって制御されてもよい。
一実施形態では、タイプBデバイスは、Origin(タイプ2デバイス、Rxデバイス)及びBot(タイプ1デバイス、Txデバイス)の両方として実行することができるトランシーバとすることができ、即ち、タイプBデバイスはタイプ1(Tx)及びタイプ2(Rx)デバイスの両方(例えば、同時に又は代替的に)、例えば、メッシュデバイス、メッシュルータ等としうる。一実施形態では、タイプAデバイスがBot(Txデバイス)としてのみ、即ち、タイプ1デバイスのみ、又はTxのみ、例えば、単純なIoTデバイスとして機能しうるトランシーバでありうる。これはOrigin(タイプ2デバイス、Rxデバイス)の能力を有することができるが、実施形態では何らかの形でBotとしてのみ機能している。タイプA及びタイプBデバイスは、全てツリー構造を形成する。ルートは、ネットワーク(例えば、インターネット)アクセスを有するタイプBデバイスであってもよい。例えば、それは、有線接続(例えば、イーサネット、ケーブルモデム、ADSL/HDSLモデム)接続又は無線接続(例えば、LTE、3G/4G/5G、WiFi、Bluetooth、マイクロ波リンク、衛星リンク等)を通じてブロードキャストサービスと接続されうる。一実施形態では、タイプAデバイスは全てリーフノードである。各タイプBデバイスは、ルートノード、非リーフノード、又はリーフノードでありうる。
タイプ1デバイス(送信機、又はTx)及びタイプ2デバイス(受信機、又はRx)は同じデバイス(例えば、RFチップ/IC)上にあってもよく、又は単に同じデバイス上にあってもよい。デバイスは、28GHz、60GHz、77GHz等の高周波数帯域で動作しうる。RFチップは専用Txアンテナ(例えば、32個のアンテナ)と専用Rxアンテナ(例えば、別の32個のアンテナ)とを有しうる。
1つのTxアンテナは、無線信号を送ることができる(例えば、おそらく100Hzでの一連のプローブシグナル)。代替的に、全てのTxアンテナは(Txにおいて)ビームフォーミングを用いて無線信号を送信するために使用されてよく、その結果、無線信号は(例えば、エネルギー効率のために、又はその方向における信号対雑音比をブーストするために、又はその方向を「スキャンする」ときの低電力動作、又は物体がその方向にあることが知られている場合の低電力動作のために)ある方向に集束される。
無線信号は、ベニュー(例えば、部屋)内の物体(例えば、Tx/Rxアンテナから4フィート離れたベッド上に横たわっている生きている人間、呼吸及び心拍)に当たる。物体の動き(例えば、呼吸数に応じた肺の動き、又は心拍に応じた血管の動き)は、無線信号に影響を与える/変調しうる。全てのRxアンテナは、無線信号を受信するために使用されうる。
(Rx及び/又はTxにおける)ビーム形成は、異なる方向を「スキャン」するために(デジタル的に)適用されうる。多くの方向を同時にスキャン又は監視しうる。ビームフォーミングでは、「セクタ」(例えば、方向、配向、ベアリング、ゾーン、領域、セグメント)は(例えば、アンテナアレイの中心位置に対する)タイプ2デバイスに関連して定義されうる。各プローブ信号(例えば、パルス、ACK、制御パケット等)について、チャネル情報又はCI(例えば、チャネルインパルス応答/CIR、CSI、CFR)がセクタごとに(例えば、RFチップから)取得/演算される。吹き付け検出では、スライディングウィンドウでCIRを収集することができる(例えば30秒、100Hzサウンディング/プロービングレートでは30秒を超える3000 CIRがある場合がある)。
CIRは、多くのタップ(例えば、N1コンポーネント/タップ)を有しうる。各タップはタイムラグ、又は飛行時間(tof、例えば、人間の4フィート離れて背中を打つ時間)と関連付けられうる。ある距離(例えば、4ft)である方向に人が呼吸しているとき、「ある方向」のCIRを探索しうる。次いで、「ある距離」に対応するタップを探索しうる。次いで、そのCIRのタップから呼吸数及び心拍数を演算しうる。
スライディングウィンドウ内の各タップ(例えば、「コンポーネント時系列」の30時間ウィンドウ)を、時関数(例えば、「タップ関数」、「コンポーネント時系列」)と考えることができる。強い周期的挙動(例えば、おそらく10bpm~40bpmの範囲の呼吸に対応する)を探索する際に、各タップ機能を調べることができる。
タイプ1デバイス及び/又はタイプ2デバイスは、外部接続/リンク及び/又は内部接続/リンクを有しうる。外部接続(例えば、接続1110)は、2G/2.5G/3G/3.5G/4G/LTE/5G/6G/7G/NBIoT、UWB、WiMax、Zigbee、802.16等と関連付けられうる。内部接続(例えば、1114A及び1114B、1118、11120)は、WiFi、IEEE 802.11規格、802.11a/b/g/n/ac/ag/af/ah/ai/aj/ax/ay、Bluetooth、Bluetooth 1.0/1.1/1.2/2.0/2.1/3.0/4.0/4.0/4.1/4.2/5、BLE、メッシュネットワーク、IEEE 802.16/1/1a/1b/2/2a/b/b/c/d/e/f/g/h/i/j/k/l/m/n/o/p規格等と関連付けられうる。。
タイプ1デバイス及び/又はタイプ2デバイスは、バッテリ(例えば、AAバッテリ、AAAバッテリ、コインセル電池、ボタン電池、小型電池、電池バンク、電力バンク、車載電池、ハイブリッド電池、車載電池、コンテナ電池、非充電電池、二次電池、NiCd電池、NiMH電池、リチウムイオン電池、亜鉛炭素電池、塩化亜鉛電池、鉛酸電池、アルカリ電池、無線充電器付き電池、スマート電池、太陽電池、ボート電池、プレーン電池、その他の電池、一時エネルギー蓄積装置、キャパシタ、フライホイール)。によって電力供給される
任意のデバイスは、DC又は直流(例えば、上述したように、1.2V、1.5V、3V、5V、6V、9V、12V、24V、40V、42V、48V、110V、220V、380V等の様々な電圧を有する、バッテリ、発電機、電力変換器、ソーラーパネル、整流器、DC-DCコンバータからの)によって給電されてもよく、したがって、DCコネクタ又は少なくとも1つのDC電力用ピンを有するコネクタを有しうる。
任意のデバイスは、AC又は交流(例えば、100V、110V、120V、100~127V、200V、220V、230V、240V、220~240V、100~240V、250V、380V、50Hz、60Hz等の様々な電圧を有する、家庭内の壁コンセント、変圧器、インバータ、リシャワー)によって給電されてもよく、したがって、ACコネクタ又はAC電力用の少なくとも1つのピンを有するコネクタを有しうる。タイプ1デバイス及び/又はタイプ2デバイスは、ベニュー内又はベニュー外に配置(例えば、設置、位置付け、移動)されてもよい。
例えば、車両(例えば、自動車、トラック、ローリー、バス、特殊車両、トラクタ、掘削機、掘削機、ショベル、テレポータ、ブルドーザ、クレーン、フォークリフト、電気トロリー、AGV、緊急車両、貨物、貨車、貨車、トレーラ、コンテナ、ボート、フェリー、船舶、潜水艦、航空機、航空機、揚力、モノレール、列車、鉄道車両、鉄道車両等)において、タイプ1デバイス及び/又はタイプ2デバイスは車両に埋め込まれた埋め込みデバイス、又は車両のポート(例えば、OBDポート/ソケット、USBポート/ソケット、アクセサリポート/ソケット、12V補助電源コンセント、及び/又は12Vシガレットライタポート/ソケット)に差し込まれたアドオンデバイス(例えば、アフターマーケットデバイス)であってもよい。
例えば、一方のデバイス(例えば、タイプ2デバイス)は12Vシガレットライタ/アクセサリポート又はOBDポート又はUSBポート(例えば、自動車/トラック/車両の)に差し込まれてもよく、他方のデバイス(例えば、タイプ1デバイス)は、12Vシガレットライタ/アクセサリポート又はOBDポート又はUSBポートに差し込まれてもよい。OBDポート及び/又はUSBポートは、(自動車/トラック/車両の)電力、信号及び/又はネットワークを提供しうる。2つのデバイスは、車内の子供/赤ちゃんを含む乗客を共同で監視しうる。それらは、乗客をカウントし、運転者を認識し、車両内の特定の座席/位置に乗客が存在することを検出するために使用されうる。
別の例では一方のデバイスが12Vシガレットライタ/アクセサリポート又はOBDポート又は自動車/トラック/車両のUSBポートに差し込まれてもよく、他方のデバイスは12Vシガレットライタ/アクセサリポート又はOBDポート又は別である。
別の例では、多くのヘテロジニアス車両/ポータブルデバイス/スマートガジェット(例えば、自動誘導車両/AGV、買い物/荷物/移動カート、駐車券、ゴルフカート、自転車、スマートフォン、タブレット、カメラ、記録デバイス、スマートウォッチ、ローラースケート、シューズ、ジャケット、ゴーグル、帽子、アイウェア、ウェアラブル、セグウェイ、スクータ、荷物タグ、清掃機、掃除機、ペットタグ/カラー/ウェアラブル/インプラント)に、多くのタイプA(例えば、タイプ1又はタイプ2)のデバイスが存在してよく、各デバイスは、
車両の12Vアクセサリーポート/OBDポート/USBポートに接続、または車両に内蔵される。ガソリンスタンド、街灯、街角、トンネル、立体駐車場、工場/スタジアム/駅/ショッピングモール/建設現場等を広範囲をカバーするために点在する場所に、もう一つのタイプB(例えば、Aがタイプ2ならBはタイプ1、Aがタイプ1ならBはタイプ2)のデバイスが1つ以上設置されていてもよい。タイプAのデバイスは、TSCIに基づき、位置特定、追跡、監視が行われうる。
エリア/ベニューは、ローカル接続性、例えば、ブロードバンドサービス、WiFi等を有さないことがある。タイプ1及び/又はタイプ2デバイスは、ポータブルであってもよい。タイプ1及び/又はタイプ2デバイスは、プラグアンドプレイをサポートしてもよい。
ペアワイズ無線リンクは、ツリー構造を形成するデバイスの多くのペアの間で確立されうる。各ペア(及び関連するリンク)において、デバイス(第2のデバイス)は、非リーフ(タイプB)でありうる。他のデバイス(第1のデバイス)は、リーフ(タイプA又はタイプB)又は非リーフ(タイプB)でありうる。リンクにおいて、第1のデバイスは、無線マルチパスチャネルを介して第2のデバイスに無線信号(例えば、プローブ信号)を送信するためのbot(ボット)(タイプ1デバイス又はTxデバイス)として機能する。第2のデバイスは、無線信号を受信し、TSCIを取得し、TSCIに基づいて「リンクワイズ分析値(linkwise analytics)」を演算するためのOrigin(Origin)(タイプ2デバイス又はRxデバイス)として機能しうる。
音声強調及び分離は、単一のマイクロフォンを使用する最近の進歩にもかかわらず、長年の問題であった。マイクロフォンは制約された設定ではうまく機能するが、雑音(ノイズ)の多い状況では音声分離の性能が低下する。本教示は、オーディオオンリーシステムにおける固有の問題を克服する、オーディオラジオ音声強調及び分離システム(RadioSES)を開示する。相補的な無線モダリティを融合することによって、RadioSESは、スピーカの個数を推定し、ソースアソシエーション問題を解決し、雑音の多いミクスチャ音声を分離し、強調し、明瞭度と知覚品質の両方を改善しうる。本システムは、ミリ波センシングを実行して、スピーカを検出し、位置を特定し、オーディオラジオ深層学習フレームワークを導入して、別個の無線特徴を混合オーディオ特徴と融合させることができる。市販の既製のデバイスを用いた広範な実験は、RadioSESが様々な最新のベースラインを上回り、様々な環境設定における一貫した性能の向上を示す。オーディオビジュアル方法と比較して、RadioSESは、演算の複雑度が低く、プライバシーの懸念が少ないという利点とともに、同様の改善を提供する。
開示されたRadioSESシステムは、直交無線モダリティとしてミリ波(mmWave)センシングを共同で活用することによって、SES問題に対処する。カメラと比較して、無線デバイスはより低い電力を有し、暗い、壁を通る設定で動作することができ、プライバシー侵害がより低い。スピーカからの電波反射は、複数のスピーカの分離を可能にするだけでなく、SESのための調音動作も捕捉しうる。ミリ波無線を選択する理由は2つある:一方では、ますます多くのスマートデバイスが今や、Google Soli電話機及びNest Hub、Amazon Alexa等、ミリ波レーダ及びマイクロフォンを含み、ミリ波センシングは将来、よりユビキタスになることが期待される。一方、ミリ波センシングは、心拍数モニタリング、機械及び物体振動の測定、又は声帯振動の抽出等、運動及び振動に関連する多くのアプリケーションを可能にしている。特に、それは、ピッチを推定し、音声アクティビティを検出し、ある程度音声を再構成し、並びに単一のスピーカのための音声認識を強化するために使用されてきた。しかし、共同SESタスクのために両方のモダリティを利用することを検討した既存の研究はない。
このような動機から、上述の問題を解決し、全体的な性能を改善するために、オーディオラジオ音声強調及び分離システム(RadioSES)を開発した。オーディオラジオSESシステムを構築することは複数の課題に直面する。第1に、ソース個数問題を解決するために、ロバストで効率的なソース検出及び追跡方法が必要とされ、これは、システムの性能が、ミス検出の場合に著しく低下しうるためである。第2に、無線信号は、通常、環境の影響を受けやすく、新しいロケーションでテストすると性能が著しく低下することがある。物体からの戻り信号は、振動だけでなく、運動からの影響も受け、通常は運動の方が強く影響する。第3に、オーディオビジュアル深層学習法における豊富な文献とは異なり、無線モダリティは、SESのコンテキストにおいて検討されていない。実用に適した効率的な深層学習モデルを設計することは、自明ではない。最後に、深層学習システムは、広範なデータ収集及びロバストなトレーニング方法を必要とし、これは、無線信号に対して特に困難である。
開示されたRadioSESシステムは、これらの課題を克服しうる。図1に示すように、RadioSESシステム100は、環境内のソースの個数を検出し、位置特定し、推定し、見えない(unseen)/困難な条件においてもSES性能を改善しうる。ロバストな検出及び位置特定を達成するために、システムは、スピーカについての無線特徴を別々に抽出可能な信号処理の演算的に効率的なパイプラインを使用しうる。加えて、システムは、オーディオ信号及び無線信号の両方を入力とし、スピーカごとに分離及び強調された音声を出力する、オーディオラジオ深層学習フレームワークを使用しうる。モノラルSESにおける最近の進歩を受けて、RadioSESNetと呼ばれる深層学習モジュールは、古典的な短時間フーリエ変換(STFT)表現に依存するのではなく、適応エンコーダを利用する。RadioSESシステムは更に、見えない環境及びユーザに対するRadioSESNetのロバスト性及び一般化可能性を改善するために、オーディオビジュアルSESから学習された様々な技術を導入する。
いくつかの実施形態では、合成及び実世界データを使用して、市販の既製(COTS:commercial off-the-shelf)ミリ波レーダを使用して、RadioSESを評価しうる。いくつかの実施形態では、トレーニングのためのデータ収集をブーストするために、データ収集プラットフォームを構築し、19人のユーザから5700文をキャプチャしうる。いくつかの実施形態では、テスト結果は、無線モダリティがオーディオを補完し、視覚的プライバシー問題を課さずにビデオモダリティの改善と同様の改善をもたらすことができることを示す。異なる数のミクスチャ及び様々な環境設定でRadioSESを広範囲にテストしうる。最新のオーディオオンリーの方法(例えば、DPRNN-TasNet)と比較すると、RadioSESは、ソースの個数を推定し、出力ストリームを関連付ける利点とともに、雑音の多いミクスチャを分離するための3dBの改善をもたらすことができる。この改善は、SDRだけでなく、明瞭性と知覚品質も改善している。いくつかの実施形態では、テスト結果は、オーディオラジオの方法がオーディオオンリー又はビジョンベースの方法に対する低複雑度、有効性、プライバシー保護の代替を可能にすることから、SESタスクに対して非常に大きな可能性を有することを示す。したがって、RadioSESは、この方向における重要なステップを探求し、フォローアップ研究を刺激するものである。
本教示は、RadioSES、同時音声強調及び分離のためにミリ波無線信号及びオーディオ信号を共同で活用する新規なオーディオラジオシステムを開示する。本教示は、マルチモーダル音声分離及び強調のためにオーディオ信号と無線信号とを融合するオーディオラジオ深層学習フレームワークを導入する。本教示は、広範なオーディオ無線データセットを構築し、種々の条件におけるRadioSESの性能を最新の方法と比較する。いくつかの例では、RadioSESが、2人及び3人のミクスチャをそれぞれ分離することにおいて、3~6dBのSiSDRの改善を達成する。
いくつかの実施形態では、RadioSESは、ミリ波センシング能力を有するデバイスと、マイクロフォンとを必要とする。例えば、音声信号が調査される場合、モノラルマイクロホンは、周囲の音を記録し、ミリ波レーダは、音源ごとに別々のストリームを出力することが期待される。レーダを別の場所に配置することが可能であるが、レーダとマイクロフォンとが同じ場所に配置されていると仮定しうる。いくつかの実施形態では、発話物体(speaking objects)がレーダの前にあることを予期しうる。加えて、レーダはNLOS条件においてセンシングしうるが、いくつかの実施形態においてのみLOSを調査しうる。例えば、RadioSESのアプリケーションシナリオは、LOSを有する、コンピュータ、スマートハブ、又は電話機の前で話す1人以上の人間でありうる。
いくつかの実施形態では、視野(FoV:field-of-view)内に話している人間を有し、RadioSESは、近傍の静止体を検出し、その出力を使用して、ソースを推定し、抽出された音信号と関連付ける。マイクロフォンアレイとは異なり、ミリ波センシングを使用することにより、異なる方位角からだけでなく様々な距離からも、個々のデータストリームを捕捉することが可能になる。これらのタスクの後、効率的なマルチモーダル深層学習モジュールを使用して、(1つ以上の)クリーン音声を推定でき、クリーン音声として使用できるか、又は音声・トゥ・テキスト(speech-to-text)エンジンを通じてコマンドに変換できる。
図2に示すように、RadioSESシステム200は、ミリ波レーダと、スマートフォンスピーカ211と、ソース検出及び位置特定のための第1のブロック201と、RadioSESNetと呼ばれる深層学習モジュールのための第2のブロック202とを含む。
いくつかの実施形態では、図2に示すように、ミリ波レーダは、送信機(Tx)アンテナアレイ211及び受信機(Rx)アンテナアレイ212を有するデバイスを含みうる。いくつかの実施形態では、送信機(Tx)及び受信機(Rx)アレイの各々が複数のアンテナを有する。環境内の音をセンシングするために、Tx211は、ミリ波信号を送信しうる。当該ミリ波信号は、ベニュー内の音源又は振動源及び同じベニュー内の他の物体によって反射された後に、異なるRxアンテナ212によって順次受信されうる。いくつかの実施形態では、Tx 211は、上述のようにBotであり、Rx212は、上述のようにOriginである。図2ではTx211及びRx212は互いに物理的に結合されているが、他の実施形態では異なるデバイスに分離されうる。いくつかの実施形態では、Tx211及びRx212を含むデバイスがミリ波レーダとして機能する。他の実施形態では、ミリ波レーダは更に、Rx212において受信されたレーダ信号を処理するためのプロセッサを含むか、又は当該プロセッサと接続される。種々の実施形態において、プロセッサは、Tx211に物理的に接続されるか、Rx212に物理的に接続されるか、その両方に物理的に接続されるか、又はいずれにも物理的に接続されないことがある。
図2に示すように、無線特徴抽出モジュールの目的は、環境内のソースからの個々の無線ストリームを出力することである。これを達成するために、本システムは、効率的なパイプラインにおいて様々な方法を採用して、ターゲットを検出し、位置特定しうる。既存の研究とは異なり、RadioSESは、環境中の人々を位置特定するためにスペクトログラムベースのメトリックに依存せず、対応するレンジ-方位角ビンを抽出するために古典的で効率的な方法を利用する。
いくつかの実施形態では、図2のチャネル情報モジュールにおいて、RadioSESは、チャネルインパルス応答(CIR)報告可能な任意のタイプのレーダ、例えば、周波数変調連続波(FMCW:frequency modulated continuous wave)レーダ、を用いて動作しうる。FMCWレーダを使用する場合、CIRを抽出することは、レンジFFTと呼ばれる動作を適用することを含む。ミリ波デバイスは、通常、複数アンテナを有するので、m番目のアンテナhm(τ)におけるCIRが次のように定義されうる:
Figure 2022191191000001
ここで、RはCIRレンジビンの個数であり、δ(・)は対応するロケーション(位置)における物体の存在を表すデルタ関数であり、αm, r及びτr はそれぞれ、r番目のレンジビンの複素振幅及び伝搬遅延を表し、εは加法性雑音を表す。ここで、レンジ解像度ΔRは、帯域幅(開示された装置の4.26cmに対応)に反比例する時間解像度Δτから推測できる。したがって、非常に近いターゲットからの別個のストリームを抽出できる。CIRは、センシング中に繰り返し捕捉され、時間に依存する。CIR式を単純化するために、m番目のアンテナからのCIRを、r番目のレンジビンにおいて、時間tにおいて、hm, r(t)として表せる。したがって、hm, r(t)は、時間、レンジビン、及びアンテナインデックスに関して量子化される。
いくつかの実施形態では、図2のデジタルビームフォーミングモジュールにおいて、各アンテナからの個々の受信ストリームを使用して、RadioSESは、古典的ビームフォーミングを用いたレンジ-方位角情報を抽出する。レンジ-方位角CIRは、hr,θ(t)によって表されうる。ここで、θは方位角を表す。いくつかの例では、仮想アンテナアレイ素子がD=λ/2離れて配置され、ここで、λは波長であり、hr,θ(t)は:
Figure 2022191191000002
ここで、sH(θ)は角度θのステアリングベクトルであり、εは加法性雑音である。ステアリングベクトルの係数は:
Figure 2022191191000003
チャネルベクトルは
Figure 2022191191000004
であり、Mはアンテナ素子の総数である。
いくつかの実施形態では、図2のターゲット検出モジュールにおいて、環境内の人体を検出するために、RadioSESはまず、環境内の反射物体を抽出する。CIR式によって示唆されるように、物体の存在は強い戻り信号を生成するが、物体が存在しないとき、戻り信号は雑音のみを含む。ターゲット検出のために、レーダ文献における古典的なアプローチ、即ち、異なるビンの背景雑音を適応的に推定し、それに応じて各レンジ-方位角ビンを閾値処理する、一定誤警報率(CFAR:constant false alarm rate)検出器を利用しうる。いくつかの実施形態では、図3に示される2D CFARウィンドウがCで示され、CFAR閾値はγで示される。このウィンドウは、レンジ-方位角平面の大きさに適用されてもよく、対応するレンジ-方位角平面が図4に示されている。したがって、レンジ-方位角平面上のCFAR検出ルールは、次のように与えられる:
Figure 2022191191000005
ここで、★及び
Figure 2022191191000006
は、それぞれ畳み込み演算及びインジケータ関数を表す。
いくつかの実施形態では、図2の散乱除去モジュールにおいて、前のモジュールは、静止物体を含みうる、反射物体を有するビンを有するバイナリマップを抽出する。一方、人が静止しているときであっても、レーダ信号は、呼吸及び心拍からの固有の身体運動、ミリ波ベースの人の検出において広く使用される現象に起因して、人の位置における変動を依然として捕捉する。したがって、静止物体を除去し、人体を検出するために、システムは、各レンジ-方位角ビンにおける分散を抽出し、閾値を使用して静止物体を識別しうる。hr,θ(t)の分散値をVr,θ(t)と表すことができ、図5において例が見られる。したがって、人体検出器の出力は
Figure 2022191191000007
となる。更に、過度の動きを有する物体も、同様のアプローチを用いてフィルタリングされうる。システムは
Figure 2022191191000008
によってそれらを拒絶しうる。ここで
Figure 2022191191000009
は経験的に見出された閾値である。最小及び最大の分散は、角度及び距離に関する反射エネルギーの変化に対応するために、(r、θ)に関して定義される。得られたバイナリ検出マップBr,θ(t)は、図6に示すように、全てのバイナリマップ、即ち
Figure 2022191191000010
の交点を抽出することによって求められる。
いくつかの実施形態では、図2のスピーカ推定モジュールの個数において、バイナリ検出マップBr,θ(t)の各ビンは、2次元空間内の距離(Δr、Δθ)に及ぶ。高レンジ及び角度分解能を考慮すると、人体は、B(r、θ)内の複数のビンに及びうる。人数を推定するために、RadioSESは、ノンパラメトリッククラスタリング法、DBSCANを使用して、バイナリ検出マップをクラスタリングする。DBSCANのためのパラメータは、経験的に設定され、例示的なクラスタリングが図7に示されている。更に、サイズWのウィンドウに対して、人数推定及び中心抽出が繰り返し行われるので、異なる時間インデックスにおける身体の位置を一致させる必要がある。本システムは、ユーザの位置を連続的に追跡するために、Munkresのアルゴリズムを使用しうる。
いくつかの実施形態では、人数及び対応するレンジ-方位角ビンを抽出した、図2の無線特徴抽出モジュールにおいて、RadioSESは、いくつかの未加工データベースのアプローチに従って、それぞれの人の中心からの複素レーダ信号を直接抽出する。同じ人間に関連する多くのレンジ-方位角ビンがあるので、RadioSESは、テストのために中央値ビンを抽出するが、複数の近くのビンがトレーニングのために使用され、これはデータセットサイズをブーストし、オーバーフィッティングを軽減するのに役立つ。いくつかの例では、レーダ信号の出力次元は、1秒ストリームに対して16ビットで2×1000であり、これはマイクロフォン及び典型的なビデオストリームよりも低い。
通常、SESモデルは、エンコーダ、マスカ、及びデコーダブロックを有する図8Aのアーキテクチャに従う。入力エンコーディングは、推定マスクと乗算され、推定マスクは、デコーダを使用して時間領域信号を再構成する。理想的なバイナリマスクをトレーニング物体として、STFTはエンコーダとして使用されうる。性能は、より最適なマスクを使用することによって増加させることができるが、これらは、STFTベースのエンコーディングが音声分離に必ずしも最適ではないという事実に依然として悩まされている。STFTを適応エンコーダに置き換える方法は、より最適であることが分かっている。
いくつかの実施形態では、開示されるRadioSESは、図8Bの構成を使用して、無線モダリティを導入する図2のRadioSESNetモジュール202を実現する。無線ストリームは、エンコーディングされ、マスクを推定するためにオーディオストリームと連結される。ただし、これには次のようないくつかの設計選択肢が含まれる。オーディオ信号とは異なり、無線信号は複素数値である。無線信号の実数部と虚数部の両方が、動きと振動に関して変化する。スペクトログラム表現が入力として使用される場合、それは、ニューラルネットワークにとって最適ではない場合があり、通常、振幅、又はスペクトログラムの半分(例えば、正のドップラーシフトのみ)を抽出することによって、いくつかの信号コンテンツを捨てることを伴う。信号の実数部又は虚数部のいずれかを使用すること、又は両方の部分を線形投影と最適に組み合わせることも、重要な信号コンテンツを失う。これに基づいて、RadioSESは、無線ストリームのための適応フロントエンドを使用しうる。
RadioSESを未加工の無線入力で動作させるために、システムは、IQ平面においてランダム回転を適用しうる。例えば、システムは、体の動きの影響を低減するために、戻り信号にハイパスフィルタを適用しうる。ハイパスフィルタは、未処理のレーダ入力で動作するために、図2のRadioSESNetモジュール202によって使用される。いくつかの例では、ボーカルフォールド高調波をフィルタリングしないために、90Hzでハイパスフィルタのカットオフ周波数を選択しうる。その後、無線信号は、適応エンコーダでエンコーディングされる。
エンコーダの後、システムは、各モダリティ内の長期間の依存性を利用するために、個々のブロックを用いてオーディオストリームと無線ストリームとを別々に処理しうる。そのために、システムは、効率的なデュアルパスRNNブロック(DPRNN)を介して各モダリティを処理する。DPRNNブロックは、完全畳み込みモデルの主な問題で制限されたコンテキストに悩まされない。その後、システムは、特徴次元のサイズ変更及び連結を介して2つのモダリティを合成しうる。これらのモデルは、出力の前に、DPRNNブロック及び1Dデコーダで更に処理される。
RadioSESNetの例示的な設計を図9に示す。いくつかの例では、RadioSESNetのオーディオエンコーダは、カーネルサイズ16を有する1D畳み込みレイヤと、カーネル数256と、それに続くReLU非線形性及びレイヤ正規化とを含む。RadioSESNetの無線チャネルは、より低いサンプリングレートに起因して、フィルタの数が64であることを除いて、同じパラメータを用いて、別の1D畳み込みレイヤ、非線形性、及び正規化を使用する。ストライドサイズは、カーネル幅の1/2に設定され、畳み込みブロック間で50%の重複をもたらす。第1のレイヤの後、第2の1D畳み込みは、次元を、オーディオについては64に、無線については16に低減する。各無線ストリームは、同じエンコーダブロックを使用して、STFTのような表現を作成する。歪んだ入力オーディオを
Figure 2022191191000011
で、無線ストリームをriで表すことができる。ここでiはi番目の無線ストリームを表す。オーディオ及びラジオ・エンコーダの出力は
Figure 2022191191000012
で表され、オーディオ及びラジオ・ストリームに対しては★∈(a、r)で表され、簡単にするためにインデックスiを削除しうる。ここで、Nは特徴の個数を表し、Lはエンコーディングされた表現のタイムサンプルの個数を表す。
図9のマスカに示されるように、両方のエンコーディングされたモダリティが合成されることで、各ソースのマスクが推定される。各モダリティは、個々のDPRNNブロックを通過し、次いで、ベクトル連結によって融合され、更に4つのDPRNNブロックを通過し、その後、出力を、期待されるマスク数及びサイズと一致させる2D畳み込みレイヤを用いて、マスクを推定する。
Figure 2022191191000013
ベニューにおいて同時に話す人が2人いる場合、図9の入力には2つのレーダ出力がある。(例えば、スピーカ1及びスピーカ2の)2つのレーダ出力は、同じ適応エンコーダを通過する。あるいは、それらは異なるようにエンコーディングされうる。全ての無線DPRNNは、全ての無線信号及びスピーカに対して同じであってもよい。しかし、無線DPRNNは、代替の実施形態では異なるスピーカに対して異なっていてもよい。
他の実施形態では、図9の構成が、3人、4人、5人又はそれ以上の人々に一般化されうる。そのような場合、より多くの無線ストリームが存在することになる。
いくつかの実施形態では、エンコーディングされたデータを処理するために、システムは、DPRNNブロックを使用でき、例示的なDPRNNワークフローが図10に提示される。DPRNN処理は、重複ブロックを抽出する手段を通じて、入力データを3D表現に再整形することと、別の次元を通じて連結することと、入力ブロックの異なる次元に2つの連続するRNNレイヤを適用することとを含みうる。再整形演算の出力は
Figure 2022191191000014
として表すことができ、Ka及びSaは、ブロックの長さ及びブロックの個数を表す。入力、出力表現
Figure 2022191191000015
及び次元数
Figure 2022191191000016
は無線チャネルについて同様に定義され、表1に与えられるが、単一のDPRNN処理のためのフローも図10に与えられる。
いくつかの実施形態では、適切な再整形動作の後、入力ブロックは、RNNモジュールに供給され、RNNモジュールは3D入力のS次元に沿って動作され、完全接続レイヤ、及びレイヤ正規化が続く。間のスキップコネクションの後、ブロック間のより大きな距離関係を捕捉するために、K次元を通じて同様の動作が繰り返される。各RNNブロックは、深さ1を有し、完全接続レイヤは、入力サイズを出力サイズに一致させるために使用され、これはサイズ不一致なしに複数のDPRNNブロックを繰り返すことを可能にする。
いくつかの実施形態では、マスカの出力において、人の数に等しい数のマスクが推定され、次いで、それが、時間領域オーディオ信号を抽出するために信号を復号するために使用される。DPRNNブロックは、オーバラップ加算(overlap-add)法によって、入力におけるものと同様の表現に変換される。信号は、転置畳み込み演算を適用するデコーダを介して供給される。出力は、対称性を維持するためにエンコーダ内で同じ次元数及び同じ数のフィルタを有する単一チャネル表現であり、また、適応的である。
いくつかの実施形態ではRadioSESNetをトレーニングするために、システムは、次式で与えられる時間領域信号間の損失関数として、スケール不変信号対歪み(SiSDR:scale-invariant signal-to-distortion)を使用しうる:
Figure 2022191191000017
ここで、
Figure 2022191191000018
は、ターゲット及び推定される音信号を表す。SiSDRの使用は、抽出された音声の振幅が関心対象ではないので、誤差演算を支配するためのスケーリング効果を防止する。重みのL2ノルム正則化と組み合わされ、減衰係数は、1e-6に設定される。異なる数のユーザのための別個のモデルがトレーニングされているので、RadioSESは、ソースの個数を推定することによって適切なモデルにスイッチする。
複雑性及び因果関係は、設計において特に考慮される。
いくつかの実施形態では、RadioSESNetは、わずか2.1Mのパラメータを有するコンパクトな設計を有する。このうち、無線ストリームは、320kのパラメータを占めており、これは小さなデバイスに容易にフィットしうる。RadioSESNetによる3秒入力のフォワードパスは、バッチ処理を伴う最新のGPUで4msかかり、これは、対応するオーディオのみの方法よりもわずか0.4ms遅い。
いくつかの実施形態では、RadioSESNetは、ブロック間処理の反復レイヤにおいて一方向LSTMを使用するが、イントラブロックはS次元において完全なブロックを有することを必要とするBLSTMに依存する。したがって、RadioSESNetは、約150msの遅延で、因果関係をもって機能しうる。したがって、RadioSESはすでにリアルタイム処理に近い。
開示されたRadioSESシステムの実験及び実装のために、RadioSESをトレーニングし、検証し、評価するための大規模データを取得するためのデータ収集プラットフォームを構築できる。クリーンで残響のないグラウンドトゥルースサンプルを抽出することが重要であるので、吸音パッドによって部屋のエコーを低減できる。いくつかの実施形態では、システムが48kHzでサンプリングされたBlue Snowball iCEマイクロフォンを用いてクリーンオーディオデータ、Texas Instruments(TI)IWR1443ミリ波レーダを用いてレーダデータ、及びiPhone(登録商標)11 Proの前面カメラを用いてビデオデータを収集しうる。レーダは、1000Hzのサンプリングレートで3.52GHzの帯域幅で動作するように設定される。システムは、それらのエネルギーの相関を使用して、時間領域において無線信号及びオーディオ信号を整列させることができる。また、添付の音声ファイルはトレーニングに使用されているが、1080psと30fpsで捕捉されたビデオデータも収集されている。
いくつかの実施形態では、ネイティブスピーカと、異なるアクセントを有するスピーカとを含む19人のユーザが、TIMITコーパスから発音的に豊富な文を読むように指示されている。ユーザは、9人の中国人、2人のインド人、2人のトルコ人、1人の韓国人のアクセントとともに、5人のネイティブ英語スピーカがいる多様な背景から来ている。データセット内の25文字より短い文が除されうる。TIMITコーパスのサイズは限られているため、各参加者は200個の共通文及び100個の固有文を読む。参加者は、合計2100の異なる文及び5762の固有の単語を読む。文は、混在した順序で提示され、データセットは通常は専門のスピーカを含む公的に利用可能なデータセットとは対照的に、多くの休止、及び充填語を含む。データ収集の間、ユーザは無線デバイスから約40cm離れて座り、過度に移動しない間、通常の話し声で各材料を読む。
いくつかの実施形態では雑音の多いサウンド信号及びミクスチャサウンド信号を生成するために、システムは、WHAMデータセットからの雑音ファイルとともにLibriMixで使用されるレシピに従いうる。トレーニングのための13人のユーザ、及び評価のための4人のユーザ(男性2人、女性2人)を無作為に選択しうる。検証セットは、残りの2人のユーザと、トレーニングセット内のユーザの未使用の音声とを含む。全てのオーディオファイルを8kHzにダウンサンプリングした後、システムは、3秒の最小持続時間の制約で、組み合わされたファイルのうちの最も短いものに基づいて合成ミクスチャを作成しうる。各ユーザの録音は、平均10回繰り返され、結果として25,826発話(≒30時間)になる。音声信号と雑音信号のラウドネスを正規化し、[-5,5]dBの信号対雑音比で雑音ミクスチャを生成することによって、ゲイン係数が求められる。システムは、2つの評価セット、即ち、i)見えるユーザからのミクスチャ、しかし聞こえない文、ii)見えないユーザからのミクスチャ、を生成しうる。これは、異なるユーザの無線信号が、それらの発話だけでなくそれらの身体動作及び物理特性に起因して異なる可能性があるので、RadioSESにおける見える/見えないユーザへの依存性を説明するのに役立つ。
いくつかの実施形態では、マルチモーダルシステムが容易に故障し、モード故障として知られる単一のモダリティを使用することに焦点を合わうる。これを防止し、ロバスト性を更に改善するために、データセット作成手順は、以下を含む。第1に、同一スピーカ・ミクスチャ:データセットは、オーディオビジュアル領域において有効であることが示されているモード障害を防止するために、同一スピーカ・ミクスチャを含む。第2に、マルチマイクロフォンミクスチャ:データ収集手順が2つのマイクロフォンを含むので、各ミクスチャを生成するときに1つをランダムに選択しうる。評価は、より良好なマイクロフォンを用いて行われてもよいが、これはより多くのデータを収集することなく、データセットサイズを何倍にもブーストする。第3に、クリーンで雑音の多いミクスチャ:LibriMixデータセットとは異なり、複数スピーカの雑音の多いミクスチャとクリーンなミクスチャとの両方を生成し、それらを使用して単一のモデルをトレーニングしうる。したがって、RadioSESは、環境がクリーンであるか雑音が多いかにかかわらず、単一のモデルを使用する。
いくつかの実施形態では、MATLAB(登録商標)においてRadioSESのデータ収集及び未加工データ処理モジュールを実装してもよく、一方、深層学習モデルは、モノオーラルSESにおける標準的なトレーニング及び評価プロトコルに従い、ConvTasNet又はDPRNNTasNet等の既存の方法の実装を借りるために、Asteroidライブラリの助けを借りて、PyTorchにおいて実装される。いくつかの実施形態では、1e-3の開始学習率を使用して、60エポックの間、RadioSESNet及びDPRNNTasNetをトレーニングしてもよく、これは5つの連続するエポックの間、検証ロスが改善しなかったときに半分になる。更に、学習率は、2エポックごとに0.98だけスケーリングされる。早期停止基準は、15エポックに設定される。トレーニングを加速するために、混合精度トレーニング(mixed-precision training)を使用してもよい。RadioSESNetの複雑度の低さのおかげで、単一のエポックは、単一のNVIDIA RTX 2080S GPUを使用して、24のバッチサイズでトレーニングに約10分を要する。
前述のように、マイクロフォン信号は、ほとんど音声信号に対応するが、レーダ信号は動き、振動、及び環境要因によって影響されうる。更に、通常、マルチモーダルシステムを容易に動作させることは単純ではない。無線信号のロバスト性を改善するために、以下を実施しうる。第1に、複数のスナップショットを捕捉すること:同じ人間の複数のレンジ-方位角ビンからの無線信号が変化しうるので、複数のレンジ-方位角データをデータセットに記録しうる。各エポックにおいて、8つの候補の中からトレーニングのためのレンジ-方位角ビンを無作為に選択してもよく、一方、検証及びテストは中央値ビンを使用してもよい。これは、合成方法に依存することなく、データセットサイズを大幅にブーストし、最も最適なビンを検索する代わりに、より広いレンジのビンを使用することを可能にする。第2に、入力歪み:入力無線ストリームは、異なる方法で歪められる。これらは、ランダム回転を導入すること、異なる分散レベルで雑音を追加すること、無線信号の一部をゼロに置き換えること(データ損失を模倣するため)、又はモード障害を低減するために一部の無線信号を完全に除去することを含む。
いくつかの実施形態では、RadioSESの性能を評価するために、以下のメトリックを報告しうる:(a)SiSDR:信号レベルのインジケータであるスケール不変信号対雑音比;(b)SIR:複数のスピーカが存在場合に1人から別の人への漏れを測定し、SSタスクについてのみ報告する信号対干渉比;(c)STOI:短時間明瞭度メトリック(Short time intelligibility metric)、0から1まで報告されたワード誤り率と相関する;(d)PESQ:0から5までの測定された音質の知覚的評価。人間の知覚を測定することは、ユーザ研究を必要とするので、ユーザ研究が実行可能でないとき、PESQが代替として使用される。
Figure 2022191191000019
ベースライン法:様々なタスクのために、いくつかのラジオ(無線)オンリー及びオーディオオンリーの方法が文字どおりに含められうる。第1に、無線のみの方法として、WaveEarにおいてWaveVoiceNetを実装しうる。このアプローチは、無線モダリティのみを使用して、声帯振動からの音信号を(再)構成し、利用可能なマイクロフォンを仮定しない。それは、オーディオスペクトログラムの大きさを再構成し、Griffin-Limベースの位相再構成を用いる。代わりに、クリーンオーディオ信号のオラクル位相を使用してもよく、これは、その性能に上限をもたらす。
RadioSESの性能を他のオーディオのみのベースラインと比較して、無線モダリティからのゲイン及びRadioSESの持続的な性能を示すことができる。第1に、STFTベースのマスクを上回る性能を有する第1の適応エンコーダベースのシステムのうち1つであるConvTasNetを含めうる。第2に、RadioSESのオーディオオンリー・ベースラインであるDPRNNTasNetを含めうる。DPRNNTasNetは、ConvTasNetを大幅に上回る性能を示しており、最新技術と見なすことができる。第3に、SudoRMRFを使用しうる。これは、RNNブロックをダウンサンプリングブロック及びアップサンプリングブロックに置き換えることによってDPRNNTasNetを単純化し、同様の性能を達成することが示される。最後に、超音波モダリティ、及び異なるスピーカ及び雑音データセットを使用するため、UltraSEと比較することはできない。データセットの変更及び異なるサンプリングレート(16kHz)のために、それらの結果をコピーし、直接比較を描くことは不可能である。一方、UltraSEは、2人のミクスチャにおけるConvTasNetと同様に機能する。これは研究のベンチマークとして含まれている。
音声強調において、RadioSESは、表2に示されるように、オーディオオンリー・ベースライン法に改善をもたらす。背景信号は音声信号とは統計的に異なるので、比較的小さな改善を見ることができる。この観測はオーディオビジュアル法(例えば、0.1dB改善)と一致し、RadioSESが無線情報を利用することを学習することを示す。一方、WaveVoiceNetからの結果は、無線モダリティが雑音の少ないオーディオを(再)構成するのに十分ではなく、実験設定内では実現可能ではない可能性があることを示唆している。これは、ハードウェア、音声的に豊富な多様なデータセット(5762個の一意の単語)、及びユーザにおける相違に起因しうる。結果が悪いので、実験でWaveVoiceNetを更に調査する必要はない。ConvTasNetの性能はわずかに向上するが、実装ではもっと大きなデータセットにあらかじめ定義されたConvTasNetが使用されていることに注意されたい。また、ConvTasNetは因果関係がなく、1.5秒の先読みが必要である。これらの欠点にもかかわらず、RadioSESは、ConvTasNetと同様の性能を達成する。
RadioSESによる音声分離結果を、前述のベースラインと共に表3に示す。単一スピーチタスクとノイズの多いスピーチタスクの両方を分離するために、RadioSESは、DPRNNTasNetを含む、オーディオオンリー領域における様々な最新技術の方法よりも優れている。DPRNNTasNet実装は、LibriMixデータセット16.0において報告された値に近い2人のクリーンなミクスチャにおいて13.5のSiSDRを達成する。SIR比に関する有意な改善は、クリーンな場合と雑音の多い場合の両方で観察することができ、これは、ミクスチャを分離するための無線チャネルの有用性を示しうる。更に、無線入力にはより多様性がある(例えば、無線チャネル入力は音によって影響されるだけでなく、周囲の動き及び物理的特性によっても影響される)にもかかわらず、RadioSESは、基本的なDPRNNTasNetが被る場合に、見えないユーザに対してより良く一般化しうる。RadioSESは、信号メトリックだけでなく、明瞭度及び知覚品質メトリック(PESQ:perceptual quality metrics)も改善する。オーディオオンリーのベースライン間の差は、特に入力ミクスチャが雑音で壊れている場合、及び複数の人がいる場合に大きくなる。そのために、RadioSESを3人のミクスチャでトレーニングすることも可能である。表4に示すように、無線は各ユーザから個々のストリームを抽出するのに役立つので、RadioSESからの改善は、3人のミクスチャについて更に大きい。RadioSESからの性能利得は、より多くのユーザと共に増加するので、それは4人以上のユーザに対して良好に機能することを期待しうる。
Figure 2022191191000020
Figure 2022191191000021
Figure 2022191191000022
前述のように、別のモダリティを導入することは、置換問題を解決するためのトレーニングの開始時に損失関数を導き、ソースの数を推定すること等、多くの利点を有する。そのために、図11では、トレーニングセット及び検証セットの損失値を比較できる。図11に示すように、オーディオ無線システムは、より良好な収束点と共に、最初にはるかに急峻な学習曲線を有する。
更に、図12では、RadioSESの出力SiSDRをそのオーディオオンリーのベースラインと比較できる。図12に示されるように、開示されるRadioSES法は、オーディオオンリーのベースラインよりも優れており、性能ゲインは、異なる入力SiSDRレベルを通じて一貫している。オーディオに対するオーディオラジオシステムの一貫性を調査するために、図13のように、無線チャネルからのSiSDRに関して差動ゲインをプロットしうる。誤った関連性を特徴づけるために、Δ(DBi)<-3のサンプルの量は1.03%であり、これは、時間の98.97%についての正しい物理的関連性を示している。
いくつかの実施形態では、元のデータ収集場所とは異なる場所で行われる、様々な設定におけるRadioSESの性能を更に評価しうる。異なる環境シナリオから抽出された無線信号をシミュレートすることは困難であるので、様々な設定でデータを収集しうる。例えば、距離の影響をテストするために、異なる距離(例えば、75cm)で複数のユーザデータを収集し、その位置からミクスチャを作り出すことができる。各設定間のわずかな差異は避けられないが、入力データストリームを同じラウドネスレベルに正規化して、公平な比較を行いうる。改善を示すために、オーディオオンリーのベースラインと共に各設定の性能を提示し、それらの設定においてRadioSESがどのように良好な性能を維持するかを示しうる。提示のために、図11は、RadioSESをオーディオラジオ(AR)法として参照し、ベースラインDPRNNTasNetは、オーディオオンリー(AO)法として注記される。図11に示されるように、RadioSESは、ほとんどが、オーディオオンリーのベースラインを上回り、データセットは4dB改善され、これは見えないスピーカのミクスチャ及び同一スピーカのミクスチャを含む。この評価は、一貫性のためにクリーンなミクスチャを用いて行われるが、雑音の多いミクスチャでも同様の利得を観察しうる。
第1に、図14Aに示すように、信号分離タスクに対する距離の影響を評価しうる。表5に示すように、RadioSESは、スピーカがデバイスから1m離れるまでロバストに動作し、オーディオオンリーのベースラインと比較して利得を維持しうる。両方の場合の性能は低下し、これは、トレーニングデータセットが短い距離からのみ捕捉されることに起因する。距離が増加することにつれて、受信されたオーディオ信号は、室内インパルス応答及びマイクロフォン非線形性に起因して変化し、これは、最近、マイクロフォンを用いた粗ソース距離推定に使用される現象である。いくつかの例では、無線チャネルからの性能ゲインが0.5m及び1mからあまり減少せず、より低い性能のための主なボトルネックは様々なオーディオデータである。より多様なオーディオデータを取り込むことで、高性能なシステムを構築できる。
第2に、ユーザは、図14Bに示されるように、デバイスから0.75m離れて座り、実際のセンシングエリアを探索するために、ユーザの向きを変更するように求められる。RadioSESは、表5の向き欄に示されるように、性能を低下させることなく、45°まで動作しうる。オーディオラジオシステムからのゲインは、各設定を通じて一貫しており(例えば、SiSDRにおいて~4dB)、無線ストリームのモデリングにおける有効性を示している。更に、この観測は、マイクロフォンからの異なる偏差角度が無線反射SNRを低減するが、いかなる距離ベースの非線形性も作り出さないので、距離の観測と一致する。
第3に、ユーザは、図14Cに示すように、0.55mに座り、0度から15度及び30度まで頭部を回転させるように求められる。例えば、ユーザがラップトップ又はモニタの前に座った場合、ユーザは画面上で異なるコンテンツを見るために頭を自然に振ることになり、0.5mでの30度の頭回転は、大きな画面の全領域を見ることを可能にする。更に、RadioSESが、声帯の振動の代わりに、口唇運動を使用している場合、結果が急速に劣化することが期待される。結果、は表5の頭の向き欄に提示され、これはトレーニング手順が明示的な頭部回転データを含まない場合であっても、RadioSESが頭の向きの変化に対してロバストであることを示す。
第4に、ユーザは、様々な歪みを実行するように求められる。例えば、ユーザは、発話中にレーダの前で動作を行うするように求められる。実験を制御するために、ユーザは、発話中に起こりうるように、頭を上下に、左右に、及び前後に自然に動かすように求められる。次に、オクルージョンとしての役割を果たすマスクを装着したユーザについてデータを収集する。表6に示すように、RadioSESは、頭部運動の影響を受けない。更に、オクルージョンを有する利点を失う特定の視覚強化方法とは異なり、RadioSESは、マスクの装着に対してロバストであり、オーディオオンリー法と比較して改善を維持できる。これは、声帯の振動が、顔からではなく身体及び咽喉から抽出されるという事実に起因する。
Figure 2022191191000023
Figure 2022191191000024
例示的な実験では、複数のユーザが同じ部屋の中に座って、野生での音声強調及び分離をテストするように求められる。ユーザは、Rainbow及びArthurのパッセージを読むように求められ、一方、背景雑音はスピーカのペアから再生される。この実験は、グラウンドトゥルース・クリーン信号を有しないため、単語誤り率及び文字誤り率に関してのみ性能を評価できる。公平に比較するために、ユーザは、そのセットの性能を捕捉するために、別の静かな環境で同じデータを読むよう求められる。Googleの音声・トゥ・テキスト・エンジンを、トランスクリプトを構築するためのモデル適応なしで使用してもよい。スピーカはネイティブスピーカではなく、RadioSESは電話品質のスピーチ(8kHz)で実装されているため、全体的なエラーレートは高くなる。一方、表7に示されるように、RadioSESは、多人数ミクスチャを強調及び分離することができ、音声分離のためのオーディオオンリーのベースラインを上回る性能を発揮しうる。
他の例示的な実験では、雑音及びゼロ・パディングを追加することによって入力信号を破損させてよく、これは、人々が更に離れている場合、又はシステム内にパッケージ損失がある場合、性能変化に対する洞察を得るのに役立つ。これらの実験は、オーディオストリームの最初の3秒間で行われる。なぜなら、より長いオーディオストリームは、すでに何らかのゼロパッド又は重複ブロック処理を必要とするからである。白色ガウス雑音を加えて、20~-10dBレベルの様々なSNRでレーダデータを取得し、表8の性能メトリックを報告しうる。より長い距離では無線信号は雑音が多いと予想され、この実験は無線信号がまだ有用であるときまで探索する。RadioSESは、-5dBの無線SNRまでオーディオベースラインよりも優れている。無線信号が更なる雑音を有する場合、オーディオベースラインと同様の性能が達成される。この実験は、より大きな距離でのRadioSESの大きな可能性があることを示している。
Figure 2022191191000025
Figure 2022191191000026
別の実験では、無線ストリームをゼロパッドして、利用可能なレーダストリーム持続時間を低減し、2秒、1.5秒、1秒、及び0.5秒の入力無線持続時間をテストしうる。そのような構成は、無線ストリームに電力要件又はパッケージ損失がある場合に使用されうる。表9に示されるように、RadioSESは、知覚品質に関して、少なくとも1秒の信号(即ち、33%)が存在する場合、オーディオオンリーのベースラインと比較して、音声分離タスクを依然として支援し、性能を改善しうる。RadioSESシステムは、1.5秒の入力後の全ての入力に関して、オーディオオンリーのベースラインよりも良好に機能する。これは、電力制約設定の場合、RadioSESは、33%未満のデューティサイクルで動作することができ、依然として、ソース関連付けの前述の利点とともに、性能改善をもたらすことができることを示す。
レーダのFoVの外側にスピーカを有することは、RadioSESにおける重要な焦点ではないが、1つのスピーカがFoVの外側にあることを可能にすることによって、そのような動作モードにおけるRadioSESの限界を探求しうる。この設定では、無線ベースの方法で出力される人数が少なくなるため、スピーカの数を見積もるために代替アプローチを使用する必要がある。実際には、時間情報を活用することによって、依然として無線ベースの推定を使用しうる。外部ユーザからの情報をシミュレートせずに、RadioSESが部分的な情報を有することから利益をうることができるかどうかを理解するために、無線ストリームをゼロパッドしうる。単一の人間が欠如しているケースを調査することができるが、2人の人間の欠如への拡張も、置換ベースの方法を用いて可能である。表10に示されるように、RadioSESは依然として、大きなマージンでオーディオベースラインを上回り、人が欠けると性能を改善しうる。1人が外にいる場合、2人の騒音のあるミクスチャでは、あまり性能が低下しない。3人のミクスチャの場合、より多くの減少があるが、オーディオオンリーシステム間のギャップはより大きく、2つの他の無線信号を有することの利点は明らかである。
別の実験では、各コンポーネントの効果を理解するために、いくつかのブロックなしでRadioSESNetをトレーニングしうる。アブレーションテストには、クリーンな2人ミクスチャを使用しうる。表11に示すように、マスク推定から、i)無線DPRNNブロック、ii)オーディオDPRNNブロック、及びi)ハイパス(HP)フィルタ、を除去しうる。最後のケースでは、オーディオストリームは、RadioSESの主要な構成を変更しないよう、信号をエンコーディングするために依然として使用されるが、いかなるDPRNNブロックも通過しない。
Figure 2022191191000027
Figure 2022191191000028
本教示では、無線モダリティを使用してSESタスクのロバスト性及び性能を改善するために、RadioSESが開示される。無線デバイスの視野内の振動源は声帯のみからであると仮定しうるが、無線はギター又は機械等の他のソースの振動も測定しうる。これらの振動源は、通常、いくつかのサウンドシグネチャを生成し、それらは、カメラを使用して行われるように、各ソースからのサウンドを別々に推定するために使用されうる。
マイクロフォンアレイ:いくつかの実施形態では、RadioSESは、ミリ波センシングデバイスとともに単一のマイクロフォンを使用する。一方、RadioSESは、マイクロフォンアレイと共に動作することも可能であり、無線モダリティは、全体的な性能を更に改善できる。マイクロフォンアレイにおけるビームフォーミングは、無線モダリティが不要であることを示しうるが、雑音が多い環境又は残響が多い環境では失敗しうる。RadioSESは、ソースの振動をセンシングするので、ロバストなビームステアリングのために音の方向を推定してもよく、又は更なる改善のために残響なしにソースの振動を抽出してもよい。
移動スピーカ:いくつかの実施形態では、RadioSESがそれらは、著しく移動しないという固有の仮定を伴って身体を追跡するように設計される。これは通常、関連するバイタルサインモニタリング文献(呼吸、心拍数)における一般的な制約であるが、いくつかの最近の研究は、呼吸についての動きに対処し始めた。より完全なシステムは、中レベル及び高レベルのソースの動きをサポートする必要がある。そのために、人のポイントクラウドからの複数のバイタルサインビンのコヒーレントな合成、又は深層学習は、複数の移動ターゲットをサポートするためのいくつかの興味深いアイデアでありうる。
センシング距離:実験は、RadioSESがスピーカがデバイスから1m離れるまでロバストに動作し、オーディオのみのベースラインと比較して利得を維持できることを示す。両方の場合の性能は低下し、これは、トレーニングオーディオデータセットが短い距離からキャプチャされるためである。しかしながら、RadioSESからの性能改善は、距離とともにあまり減少しない。実験の間、未加工信号のSNRは、低いピッチを有する人々(例えば、男性)のために、大きい距離(例えば、2.5m)において依然として高い。全てのユーザをサポートするために、実用的なレンジを1mに制限することができ、これは超音波を使用するレンジよりもはるかに大きい。これらの物体が更に離れているときに、これらの物体から多くのレーダシグネチャを捕捉することはできないが、(例えば、バイタルサインモニタリングのように)依然としてロバストに検出することができ、高品質の無線ストリームの個数を減らすことさえも、性能を改善するのに役立つことができる。更に、異なるハードウェアは、7m又は50mからの声帯振動を捕捉しうる。RadioSESはより優れたハードウェアの恩恵を受けることができ、より実用的なシステムを構築しうる。
マルチパス効果:実験では、レーダの前に複数のソースがある場合を考慮してもよく、トレーニングデータは各人について完全にクリーンな無線ストリームを仮定する。しかしながら、困難な状況では、無線センシングベースのシステムが強力なマルチパス効果を有しうる。ミリ波帯では、効果は2.4/5GHzほどの弊害はないが、それでも性能を低下させる可能性がある。この問題は、短距離実験では存在しないかもしれないが、長距離屋内センシングのための制限要因となりうる。
いくつかの実施形態では、評価ボード及び単一のミリ波デバイスのコストは低くなりうる。これらのデバイスのサイズは、電話機に適合するように6mm×6mmと小さくすることができ、電力消費は1mWと低くしうる。更に、RadioSESは、100%のデューティサイクルで動作する必要がない。アプリケーションに基づいて、より低い電力消費を達成しうる。連続的なミリ波センシング能力を有するデバイスが既に存在するので、RadioSESは、スマートデバイスと一体化されることが可能である。
開示されたRadioSESは、ミリ波センシングを使用する共同オーディオラジオ音声強調及び分離システムである。それは、無線モダリティの助けを借りて、既存のオーディオオンリーの方法の性能を改善し、オーディオビジュアルシステムと同様の改善を達成し、演算の複雑度及びプライバシーにおける更なる利点を有する。更に、RadioSESは、環境内のソースの数を検出し、出力を物理的なスピーカ位置と関連付けることができ、全て、オーディオオンリー領域において困難な問題である。現実世界の実験は、RadioSESが最先端の方法を大幅に上回ることを示し、オーディオラジオSESの大きな可能性を実証している。
図15は、本開示のいくつかの実施形態による、無線支援信号推定のための例示的な方法1500のフローチャートを示す。種々の実施形態において、方法1500は、上記で開示したシステムによって実行されうる。動作1502において、ベニューにおけるベースバンドミクスチャ信号が取得される。ベースバンドミクスチャ信号は、第1のソース信号と追加の信号とのミクスチャを含む。第1のソース信号は、ベニューにおける第1の物体の第1の動きによって生成される。動作1504において、無線信号の無線特徴が取得される。無線信号は、ベニューにおいて送信機から受信機に送信される。受信された無線信号は、ベニューの無線チャネルと、少なくともベニューにおける第1の物体の第1の動きとに起因して、送信された無線信号とは異なる。動作1506において、第1の適応フィルタが、無線特徴に基づいてベースバンドミクスチャ信号のために構築される。動作1508において、ベースバンドミクスチャ信号が、第1の適応フィルタを使用してフィルタリングされることで、第1の出力信号が取得される。動作1510において、第1のソース信号の推定が、第1の出力信号に基づいて生成される。図15の動作の順序は、本教示の種々の実施形態に従って変更されうる。
図16は、本開示のいくつかの実施形態による、ベニュー1601における無線支援信号推定のためのシステム1600を示す。図16に示すように、システム1600は、ベニュー1601内のベースバンドミクスチャ信号1619を取得するように構成されたセンサ1610を含む。いくつかの実施形態では、センサ1610は、音響センシングのためのマイクロフォン(例えば、スマートスピーカ上のマイクロフォン)でありうる。いくつかの実施形態では、ベースバンドミクスチャ信号1619は、第1のソース信号1611と追加の信号1612とのミクスチャを含む。いくつかの実施形態では、第1のソース信号1611は、ベニュー1601内の第1の物体1650の第1の動きによって生成される。
図16に示すように、システム1600は更に、ベニュー1601の無線チャネル1640を通じて第1の無線信号1622を送信するように構成された送信機1620と、無線チャネル1640を通じて第2の無線信号1632を受信するように構成された受信機1630とを含む。いくつかの実施形態では、第2の無線信号1632は、無線チャネル1640及び少なくともベニュー1601内の第1の物体1650の第1の動きに起因して、第1の無線信号1622とは異なる。いくつかの実施形態では、送信機1620は、図2に示されるような無線送信機又はBotでありうる。いくつかの実施形態では、受信機1630は、図2に示されるように、無線受信機又はOriginでありうる。
図16に示されるように、システム1600は更に、センサ1610からのベースバンドミクスチャ信号1619と、受信機1630からの第2の無線信号1632とに基づいて、例えば、図15に開示される方法に従って、第1のソース信号の推定を生成するように構成されたプロセッサ1635を含む。いくつかの実施形態では、プロセッサ1635は、受信機1630とは別個のデバイスでありうる。他の実施形態では、プロセッサ1635は、受信機1630と接続された、又は一体化されたデバイスでありうる。
図17は、本開示のいくつかの実施形態による、無線支援信号推定のためのシステム(例えば、図16のシステム1600)における第1の適応フィルタ1700を示す。他の実施形態では、第1の適応フィルタ1700は、第2の無線信号1632の無線特徴に基づいて、ベースバンドミクスチャ信号1619のためにプロセッサ1635によって構築されうる。第1の適応フィルタ1700は、システムのプロセッサ1635が、第1の出力信号1709に基づいて第1のソース信号1611の推定を生成することができるように、ベースバンドミクスチャ信号1619をフィルタリングすることによって第1の出力信号1709を取得するために使用されうる。
図17に示すように、第1適応フィルタ1700は、第1ベースバンドフィルタ1710と、第2ベースバンドフィルタ1720と、第3フィルタ1730と、第4フィルタ1740とを含む。第1のベースバンドフィルタ1710は、第2の無線信号1632の無線特徴を使用せずに構築されうる。第2のベースバンドフィルタ1720は、第2の無線信号1632の無線特徴に基づいて構築されうる。
図18は、本開示のいくつかの実施形態による、第1の適応フィルタ1700の詳細図を示す。この例では、図18に示すように、第1のベースバンドフィルタ1710は、第1の信号領域においてベースバンドミクスチャ信号1619を処理するための第1の前処理モジュール1811と、第1の信号領域から第1の変換領域に信号を変換するための第1の変換モジュール1812と、第1の変換領域において信号をフィルタリングするための第1の変換領域フィルタ1813とを更に含む。この例では、図18に示すように、第2のベースバンドフィルタ1720は、第2の信号領域において第2の無線信号1632を処理するための第2の前処理モジュール1821と、第2の信号領域から第2の変換領域に信号を変換するための第2の変換モジュール1822と、第2の変換領域において信号をフィルタリングするための第2の変換領域フィルタ1823とを更に含む。
図18に示されるように、この例における第3のフィルタ1730は、第1のベースバンドフィルタ1710及び第2のベースバンドフィルタ1720の出力を処理するための第3の前処理モジュール1831と、第3の信号領域において信号をフィルタリングするための第3の変換領域フィルタ1832とを含む。図18に示すように、この例の第4のフィルタ1740は、第3の変換領域フィルタ1832の出力に基づいて第1の変換領域の信号をフィルタリングするための第4の変換領域フィルタ1841と、第1の変換領域から第1の信号領域に信号を変換するための第1の逆変換モジュール1842と、第1のソース信号1611を推定するための、第1の信号領域の信号を処理して第1の出力信号1709を生成するための後処理モジュール1843とを含む。
いくつかの実施形態では、送信機と受信機との間の無線信号(例えば、ミリ波、28GHz又は60GHz、又はレーダ信号、又はUWB信号)は、受信された無線信号から取得されたチャネル情報(例えば、チャネルインパルス応答/CIR、チャネル周波数応答/CFR、及び/又はチャネル状態情報/CSI、RSSI等)に基づいて、信号(例えば、音声)強調(例えば、ノイズ除去)及び/又は信号分離を支援するために使用されうる。送信機及び受信機は同じ場所に(例えば、同じデバイス上に、又は同じ回路基板上に)、又は異なる場所に配置されうる。
いくつかの実施形態では、送信機(タイプ1デバイス)及び/又は受信機(タイプ2デバイス)はそれぞれ、アンテナアレイ、分散アンテナを有しうる。各々が送信機から無線信号を受信する複数の受信機が存在しうる。各々がそれぞれ無線信号を受信機に送信する複数の送信機があってもよい。複数の送信機及び複数の受信機が存在してもよく、各送信機は、1つ以上の受信機にそれぞれ無線信号を送信する。
いくつかの実施形態では、開示されたシステムを実装するデバイスがレーダモードで動作しうるコモディティ無線ネットワーキング又は通信チップ/チップセットを有しうる。レーダモードは、追加のアンテナアレイをチップセットに取り付けることによって有効にされうる。チップ/チップセットを使用して、送信無線機を使用して無線信号を送信し、受信無線機を使用して反射された無線信号を受信しうる。チップは同時に又は同時期に送信/受信しうる。チップは「同時」送信/受信をシミュレート又は模倣するために、送信と受信との間で迅速に切り替えうる。
いくつかの実施形態では、送信機及び受信機が同じベニュー(例えば、家、部屋、オフィス、歩道、共通エリア、施設)に存在してもよい。送信機は、受信機に物理的に隣り合っていても、受信機に隣接していても、受信機から距離を置いていてもよい。少なくとも1つの物体又は「ソース」物体(例えば、人、2人以上の人)がベニューに存在してもよく、個別のソース信号(例えば、各人からの音声信号、話すこと、歌うこと、対話すること、一度に1つの発話、同時の2人以上の人が話すこと)を生成する。ミクスチャ信号が取得されてもよい(例えば、2人の同時対話/歌唱を含むマイクロフォンによって捕捉された音)。ミクスチャ信号は、少なくとも1つのソースからの信号のミクスチャ(例えば、和、重み付け和、積、重み付け積等)を含みうる。ソース信号は、背景雑音の存在下で生成されてもよい(例えば、電車の駅、空港、又は家庭/オフィス等の騒音環境で話す2人の人々;背景雑音は、群衆音、機械音、モータ/エンジン音、掃除機/ファン/機械/冷蔵庫/ヒータ/エアコンであってもよい)。
いくつかの実施形態では、信号分離の目標は、ミクスチャ信号内で/から2つ以上のソース信号(例えば、音信号)を分離することである。信号強調の目標は、個々のソース信号を強調することである(例えば、明瞭度を改善し、音声品質を改善し、ノイズを低減/除去する)。
いくつかの実施形態では、無線支援信号推定のための方法が以下で説明するステップs1~s5を含む。
ステップs1において、ベニュー内の少なくとも1つの物体に関連する少なくとも1つのソース信号のミクスチャを含む、センサとっ関連付けられたミクスチャ信号(例えば、マイクロフォンによって捕捉された音信号)を取得し、各ソース信号は、ベニュー内のそれぞれの物体からのものである/それに関連付けられたものである。
ステップs2において、タイプ1デバイスからタイプ2デバイスに無線信号(例えば、ミリ波信号又はレーダ信号、又はUWB信号)を送信し、受信された無線信号から、2つ以上の時系列のチャネル情報(TSCI、CIはCIR、CFR、又はCSI、又はRSSI等のうちの1つ以上である/含む)を取得し、各CIは、個別の送信機アンテナ及び個別の受信機アンテナと関連付けられる。送信機アンテナ及び/又は受信機アンテナは、既知の位置(ロケーション)にあってもよい。各CI(例えば、CIR)は、2つ以上の成分を含み、各成分は、伝搬遅延又はレンジ又はレンジビンと関連付けられる。各成分は複素数であってもよい。
ステップs3:TSCIにデジタルビームフォーミングを適用することで、2つ以上のレンジ-方位角CIRを取得し、各CIRは、レンジ及び方位角と関連付けられる。
ステップs4:以下のステップs4a~s4eによって、少なくとも1つの無線信号CIR Tap(t)を生成し、各無線信号は、ベニュー内のそれぞれの物体(スピーカ)と関連付けられる。ステップs4aにおいて、CFAR(一定誤警報率)検出器がターゲット検出のために使用され、例えば、CIR>t1のタップ時にターゲットが検出される。ステップs4bにおいて、散乱除去のために、T2<CIRタップの分散(経時的)<T3、である場合、CIPタップを保持しうる。ここで、T2及びT3の両方が空間的に{r,θ}に対して変化する。ステップs4cにおいて、物体(例えば、人々)の数の推定のために、ノンパラメトリッククラスタリング(DBSCAN)が使用されうる。ステップs4dにおいて、ユーザ位置{r、θ}の連続的な追跡が実行されうる。ステップs4eにおいて、無線特徴抽出のために、{r,θ}におけるCIRタップ(時間関数)が、ユーザ位置{r,θ}と関連付けられてよく、ここで、中央値ビニングが実行される。
ステップs5:SESと無線特徴との合成(組み合わせ)に基づいて、ミクスチャ信号を同時に分離及び強調する。基本SESは、エンコーダ(STFT等)、演算マスク(フィルタ)、適用マスク(フィルタ)、及びデコーダ(ISTFT等)を含みうる。無線特徴に対するフロントエンド処理(即ち、{r,θ}におけるCIRタップ(時間関数))は、以下のステップs5a~s5hを含みうる。ステップs5aにおいて、IQ平面におけるCIRタップ(t)のランダム回転が、オプションとして実行されうる。ステップs5bにおいて、ハイパスフィルタが、身体運動の影響を低減するために使用される(声帯高調波をフィルタリングしないために、90Hzにおけるカットオフ周波数)。ステップs5cにおいて、(STFTのような)適応エンコーダが構築されて使用される。
ステップs5dにおいて、各モダリティ内の長期依存性を利用するために、個々のブロックを用いてオーディオ及び無線ストリームを別々に処理し、各モダリティは、デュアルパスRNNブロック(DPRNN)深層学習を通じて処理されうる。サイズ変更後、音声信号と無線信号をベクトル連結で融合する。次いで、2D畳み込みレイヤを用いてマスクを推定する前に、更に4つのDPRNNブロックを用いた処理が適用されうる。DPRNN処理は、重複ブロックを抽出する手段を通じて、重複ブロックを抽出する手段を通じて、入力データを3D表現に再整形することと、別の次元を通じて連結することと、入力ブロックの異なる次元に2つの連続するRNNレイヤを適用することとを含みうる。
ステップs5eでは、推定された人数に基づいて、各人についてマスクをトレーニングする。ステップs5fにおいて、例えば、マスク1を適用してスピーカ1の音声を抽出し、マスク2を適用してスピーカ2の音声を抽出することによって、マスクをオーディオに適用する。ステップs5gにおいて、(ブロックごとに)デコーダが適用される。ステップs5hでは、重複(オーバラップ)及び加算が行われる。
以下の番号付けされた項は、オーディオ及び無線信号に基づくサウンドセンシングの実装例を提供する。
項1.無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、ベニューにおけるベースバンドミクスチャ信号を取得することであって、ベースバンドミクスチャ信号は、第1のソース信号と別の信号とのミクスチャを含み、第1のソース信号のソースは、ベニューにおける物体の動きである、ことと、ベニューにおける第1のヘテロジニアス無線デバイスから第2のヘテロジニアス無線デバイスへ送信される無線信号の無線特徴に基づいて、ベースバンドミクスチャ信号のための第1の適応フィルタを構築することであって、受信される無線信号は、物体の動き及びベニューの無線マルチパスチャネルに起因して、送信された無線信号とは異なる、ことと、第1の適応フィルタを使用してベースバンドミクスチャ信号をフィルタリングすることで、第1のソース信号の推定である第1の出力信号を取得することと、を含む。
いくつかの実施形態では、全処理/フィルタリングは、(1)ステージ-1フィルタリング、(2)ステージ-2フィルタリング、及び(3)ステージ-3フィルタリングを含みうる。図9を参照すると、ステージ1フィルタは、2つの部分、即ち、ベースバンドミクスチャ(例えば、音)信号をフィルタリングするための1つの部分(「1a」と呼ばれる)と、図9の「レーダ出力」をフィルタリングするための1つの部分(「1b」と呼ばれる)とを有する。
(1a)ステージ1aフィルタは、図9のベースバンドミクスチャ信号(例えば、音)を処理するための3つの下部ブロック、即ち、「マイク出力」ブロック、「適応エンコーダ(オーディオ機能)」ブロック、及び「オーディオ前処理(オーディオDPRNN(x2))」ブロックに対応する。ステージ1aフィルタによる処理は、前処理(例えば、何も行わない、フィルタリング、ダウンサンプリング)、時間領域から変換領域(例えば、STFT様領域、周波数領域)への変換(例えば、変換、畳み込み、投影)、及び変換領域処理(例えば、データ再編成又は再整形、オーディオDPRNN(x2))を含む。
(1b)ステージ1bフィルタは、図9のベースバンド無線導出信号(例えば、レーダ出力、請求項1の無線信号の無線特徴(例えば、CSI、CIR、CFR)から導出された信号)を処理するための3つの上部ブロック、即ち、「レーダ出力」ブロック、「適応エンコーダ(無線特徴)」ブロック、及び「無線前処理(無線DPRNN(x2))」ブロックに対応する。ステージ1bフィルタによる処理は、信号領域(例えば、時間領域)における前処理(例えば、ランダム位相回転、ハイパスフィルタ)、時間領域から変換領域(例えば、STFT様領域、周波数領域)への変換(例えば、変換、畳み込み、投影)、及び変換領域処理(例えば、データ再編成/再整形、無線DPRNN(x2))を含む。
ステージ1aフィルタ及びステージ1bフィルタは、同様の信号処理要素、即ち、時間領域、変換、変換領域、及び変換領域処理を有する。ベースバンド無線導出信号は、物体に対応する特定の{レンジ、方位角}におけるCIRのタブを含みうる。ベースバンド無線導出信号を導出するために、物体検出が、2D(又は3D)CIRにおけるビームフォーミング、CFAR検出(例えば、閾値処理、C*h>T1)、散乱除去(例えば、閾値処理、T2>分散>T3)、クラスタリング、人数推定、中心抽出、及び/又は無線特徴抽出、を実行することによって、特定の{範囲、方位角}を演算するために実行されうる。
(2)ステージ2フィルタは、図9の「マスカ」ブロックの右半分、「マルチモーダルマスカ(融合+DPRNN(x4))」に対応する。ステージ2フィルタによる処理は、前処理(例えば、マルチモーダルデータ(例えば、サウンドデータ+ラジオデータ)の融合)、ステージ1a及びステージ1bフィルタの出力の融合、データ連結、変換領域処理(例えば、データ再編成/再整形、DPRNN(x4))、ベースバンドミクスチャ信号中のソース信号の各々に対する変換領域「ターゲット」フィルタ(例えば、「マスク」、「オーディオマスク1」、「オーディオマスク2」)の生成(例えば、第1の音信号に対するオーディオマスク1、第2の音信号に対するオーディオマスク2)を含む。
(3)ステージ3フィルタは、ベースバンドソース信号の推定値として第1の出力信号を生成するための図9の最後の3つの上部ブロック、即ち、「出力(オーディオマスク1)」ブロック、マスクのアプリケーション(ブロックとして機能するが、図9ではブロック形式で示されていない)、及び「適応デコーダ」ブロックに対応する。ステージ3フィルタによる処理は、変換領域「ターゲット」フィルタを使用してベースバンドミクスチャ信号をフィルタリングし、逆変換し、ベースバンドソース信号の推定値として時間領域出力を再構成するためのオーバラップ及び加算することを含む。
項2.項1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、無線信号の無線特徴を使用することなく、第1のベースバンドステージ1フィルタを構築することと、無線信号の無線特徴に基づいて、第2のベースバンドステージ1フィルタを構築することと、第1のベースバンドステージ1フィルタ、第2のベースバンドステージ1フィルタ、ステージ2フィルタ、及びステージ3フィルタに基づいて、第1の適応フィルタを構築することと、を更に含む。
項3.項2の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第2のベースバンドステージ1フィルタは、第1のベースバンドステージ1フィルタと同様の少なくとも1つの信号処理要素を含む。
項4.項2の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1のベースバンドステージ1フィルタは、第1の信号領域における第1の前処理と、第1の信号領域から第1の変換領域への第1の変換と、第1の変換領域における第1の変換領域フィルタとを含み、第2のベースバンドステージ1フィルタは、第2の信号領域における第2の前処理と、第2の信号領域から第2の変換領域への第2の変換と、第2の変換領域における第2の変換領域フィルタとを含み、ステージ2フィルタは、ステージ1フィルタの出力に基づく第3の前処理と、第3の領域における第3の変換領域フィルタとを含み、ステージ3フィルタは、第3の変換領域フィルタの出力に基づく第1の変換領域における第4の変換領域フィルタと、第1の変換領域から第1の信号領域への第1の逆変換と、第1の信号領域における第1の後処理とを含む。
項5.項4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の適応ベースバンドフィルタ及び第2の適応ベースバンドフィルタの信号処理要素の以下のペアのうちの少なくとも1つは類似している:
第1の信号領域と第2の信号領域のペア、第1の変換領域と第2の変換領域のペア、第1の変換と第2の変化のペア、及び第1の変換領域フィルタと第2の変換領域フィルタのペア。
項6.項4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の前処理、第2の前処理、又は第3の前処理のうちの少なくとも1つは、以下のうちの少なくとも1つを含む:
特徴抽出、振幅演算、位相演算、距離演算、変動演算、ノルム演算、量子化、ベクトル量子化、ヒストグラム、分解、投影、直交投影、過完了投影、固有分解、特異値分解(SVD)。主成分分析(PCA)、独立成分分析(ICA)、圧縮センシング、スペクトル分析、変換、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、線形フィルタ、非線形フィルタ、有限インパルス応答(FIR)フィルタ、無限インパルス応答(IIR)フィルタ、移動平均(MA)フィルタ、自己回帰(AR)フィルタ、ARMAフィルタ、適応フィルタ、補間、デシメーション、リサンプリング、サブサンプリング、アップサンプリング、フォールディング、グルーピング、ソート、並び替え、順列、合成、閾値処理、クリッピング、微分、統合、最大化、最小化、特徴抽出、平均フィルタ、重み付け平均、中央値フィルタ、モードフィルタ、ランクフィルタ、四分位値フィルタ、パーセンタイルフィルタ、畳み込み、時間補正、位相補正、大きさ補正、IQ平面のランダム回転、ランダム位相シフト。モードフィルタ、ランクフィルタ、四分位フィルタ、パーセンタイルフィルタ、畳み込み、時間補正、位相補正、振幅補正、IQ平面内のランダム回転、ランダム位相シフト、正規化、位相クリーニング、振幅クリーニング、マッチドフィルタ、強調、復元、ノイズ除去、平滑化、信号調節。
項7.項4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の信号領域又は第2の信号領域のうちの少なくとも1つは時間領域であり、第1の変換領域又は第2の変換領域のうちの少なくとも1つは周波数類似領域である(時間‐周波数領域)。
項8.項4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の変換又は第2の変換のうちの少なくとも1つは、以下の少なくとも1つを含む:
離散時間変換、適応変換、エンコーダ、適応エンコーダ、トリゴノメトリック変換、フーリエ変換、サイン変換、コサイン変換、アダマール変換、短時間変換、STFT、ウェーブレット変換、高速変換、STFT様変換、固有分解、主成分分析(PCA)、独立成分分析(ICA)、特異値分解(SVD)、時間分解、周波数分解、時間周波数分解、圧縮センシング、グラフベース変換、スペクトル分析、マッチング追跡、投影、直交投影、非直交投影、オーバーコンプリート投影、周波数様領域への投影、周波数にそれぞれ関連付けられた、ある数の投影フィルタの数、ある数のカーネル、ある数の畳み込みフィルタ、又はある数の畳み込みフィルタに続く、別の数の畳み込みフィルタ。
項9.項4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の変換領域フィルタ、第2の変換領域フィルタ、第3の変換領域フィルタ、又は第4の変換領域フィルタのうちの少なくとも1つは、以下のうちの少なくとも1を含む:
線形フィルタ、非線形フィルタ、有限インパルス応答フィルタ、移動平均フィルタ、自己回帰フィルタ、適応フィルタ、間引き、リサンプリング、アップサンプリング、再整形、結、時間領域フィルタリング、周波数領域フィルタリング、入力層、処理層および出力層を有する相互接続された処理ノードの層、時間領域フィルタリング、相互接続された処理ノード、処理層及び出力層、ファジー論理、サポートベクトルマシン、テンソル製品ネットワーク、シミュレートされた現実、自己組織化マップ、遺伝的アルゴリズム、進化的アルゴリズム、生成的敵対的ネットワーク、並列分散処理、生物学的インスパイアードコンピューティング、ネットワーク学習、クラスタリング、機械学習、層正規化、ニューラルネットワーク(NN)、多重NN、人工NN(ANN)、フィードフォワードNN、多層パーセプトロン(MLP)、変換器ベースのNN、注意ベースのNN、畳み込みNN、進化型NN、セルラNN、モジューNN、リカレントホップフィールドネットワーク、リカレントNN、RNN、デュアルパスRNN、DPRNN、DPRNN(x2)、DPRNN(x4)、DPRNN(x8)、時間遅延NN、長期記憶(LSTM)を伴うNN、双方向短期記憶(BLSTM)を伴うNN、ブロック内のNN、ブロック間のNN、完全に接続されたNN、逆伝搬を伴うNN、ディープニューラルネットワーク、又は深層学習ネットワーク。
項10.項4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の逆変換は、第1の変換の逆、転置畳み込み演算のうちの少なくとも1つを含み、後処理は、連結、オーバラップ加算(OLA)、同期型オーバラップ加算(SOLA)、オーバラップ保存、オーバラップ・ディスカード、オーバラップ・スクラップのうちの少なくとも1つを含む。
項11.項4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1のベースバンドステージ1フィルタを使用して第1のベースバンドミクスチャ信号をフィルタリングすることで、第1の変換領域において第1の中間信号を生成することと、第2のベースバンドステージ1フィルタを使用して、第2のベースバンド無線導出信号をフィルタリングすることで、第2の変換領域において第2の中間信号を生成することであって、ベースバンド無線導出信号は、無線特徴に基づいて無線信号から導出される、ことと、ステージ2フィルタを使用して、第1の中間信号と第2の中間信号との合成をフィルタリングすることで、ステージ3フィルタの第4の変換領域フィルタを構築することと、ステージ3フィルタを使用して、変換されたベースバンドミクスチャ信号をフィルタリングすることで、第1のソース信号の推定である第1の出力信号を取得することであって、変換されたベースバンドミクスチャ信号は、第1の前処理を使用して、ベースバンドミクスチャ信号を前処理し、その後、第1の信号領域から第1の変換領域に変換することによって取得される、ことと、を更に含む。
項12.項1、2、4又は11の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、別の信号は、第2のソース信号と更に別の信号とのミクスチャを含み、無線信号の無線特徴に基づいて、ベースバンドミクスチャ信号のための第2の適応フィルタを構築することと、第2のソース信号の推定である第2の出力信号を得るために、第2の適応フィルタを用いてベースバンドミクスチャ信号をフィルタリングすることとを更に含む。
項13.項12の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1のベースバンドステージ1フィルタ、第2のベースバンドステージ1フィルタ、別のステージ2フィルタ、及び別のステージ3フィルタに基づいて、第2の適応フィルタを構築することを更に含む。
項14.項13の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、別のステージ2フィルタは、ステージ1フィルタの出力に基づく別の第3の前処理と、第3の領域における別の第3の変換領域フィルタとを含み、別のステージ3フィルタは、別の第3の変換領域フィルタの出力に基づく第1の変換領域における別の第4の変換領域フィルタと、第1の変換領域から第1の信号領域への第1の逆変換と、第1の信号領域における後処理とを含む。
項15.項14の無線支援信号処理システムの方法/デバイス/システム/ソフトウェア第2のベースバンドステージ1フィルタを用いて第2の信号領域内の別のベースバンド無線導出信号をフィルタリングして第2の変換領域内の別の第2の中間信号を生成することであって、別のベースバンド無線導出信号は、無線特徴に基づいて無線信号から導出される、ことと、別のステージ2フィルタを用いて第1の中間信号と別のステージ2の中間信号との合成をフィルタリングすることで、別のステージ3フィルタの別の第4の変換領域フィルタを構築することと、別のステージ3フィルタを用いて変換されたベースバンドミクスチャ信号をフィルタリングすることで、第2のソース信号の推定値である第2の出力信号を取得することと、を更に含む。
項16.項15の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の中間信号と、第2の中間信号と、別の第2の中間信号との合成を、別のステージ2フィルタを使用してフィルタリングすることで、ステージ3フィルタの第4の変換領域フィルタと、別のステージ3フィルタの別の第4の変換領域フィルタとを構築構成することを更に含む。
項17.項11の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、プロセッサと、メモリと、命令のセットとを使用して、受信された無線信号に基づいて、無線マルチパスチャネルのある個数の時系列のチャネル情報(TSCI)である無線特徴を取得することであって、各TSCIは、タイプ1デバイスのTxアンテナ及びタイプ2デバイスのRxアンテナと関連付けられ、無線信号は、各チャネル情報(CI)が対応するサウンディング信号と関連付けられるように、サウンディング信号の系列を含み、各CIは、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、又は受信信号強度インデックス(RSSI)のうちの少なくとも1つを含むる、ことと、上記個数のTSCIに基づいて、無線信号からベースバンド無線導出信号を導出することと、を更に含む。
項18.項17の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、上記個数のTSCIに基づいてビームフォーミングを実行することと、物体のロケーションを検出することであって、ロケーションは、レンジ及び方向と関連付けられる、ことと、方向と関連付けられる特定のビームフォーミングされたTSCIを決定することと、レンジと関連付けられる特定のビームフォーミングされたTSCIの各CIの特定のタブを決定することと、特定のビームフォーミングされたTSCIの各CIの特定のタブに基づいて、無線信号からベースバンド無線導出信号を導出することと、を更に含む。
項19.項18の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、別の信号は、ベニュー内の別の物体に関連する第2のソース信号と、更に別の信号とのミクスチャを含み、別の物体の別のロケーションを検出することであって、別のロケーションは、別の範囲及び/又は別の方向に関連する、ことと、別の方向に関連する別の特定のビームフォーミングされたTSCIを決定することと、別のレンジに関連する別の特定のビームフォーミングされたTSCIの各CIの別の特定のタブを決定することと、別の特定のビームフォーミングされたTSCIの各CIの別の特定のタブに基づいて、無線信号から別のベースバンド無線導出信号を導出することと、別のベースバンド無線導出信号に基づいて、ベースバンドミクスチャ信号のための第2の適応フィルタを構築することと、第2のソース信号の推定である第2の出力信号を取得するために、第2の適応フィルタを使用してベースバンドミクスチャ信号をフィルタリングすることと、を更に含む。
項20.項1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の前処理を使用して、ベースバンドミクスチャ信号を第1の信号領域において前処理することと、ベースバンドミクスチャ信号を第1の信号領域から第1の変換領域に変換して、第1の変換を使用して、変換されたベースバンドミクスチャ信号を取得することと、第1の変換領域における変換されたベースバンドミクスチャ信号をフィルタリングして、第1の変換領域フィルタを使用して、第1の中間信号を取得することと、第2の前処理を使用して、第2の信号領域におけるベースバンド無線導出信号を前処理することであって、ベースバンド無線導出信号は無線特徴に基づいて、無線信号から導出される、ことと、第2の信号領域からのベースバンド無線導出信号を第2の変換領域に変換して、第2の変換を使用して、変換されたベースバンド無線導出信号を取得することと、第2の変換領域における変換されたベースバンド無線導出信号をフィルタリングして、第2の変換領域フィルタを使用して、第2の中間信号を取得することと、変換されたベースバンドミクスチャ信号を前処理することと、第3の前処理を使用して、第3の変換領域内の融合信号を取得するために、変換されたベースバンド無線導出信号を取得することと、第3の変換領域フィルタを使用して、第3の領域内の融合信号をフィルタリングして、第3の変換領域フィルタを使用して、第4の変換領域内の変換されたベースバンドミクスチャ信号をフィルタリングして、第4の変換領域フィルタを使用して、フィルタリングされて変換されたベースバンドミクスチャ信号を取得することと、フィルタリングされて変換されたベースバンドミクスチャ信号を、第1の変換の逆を使用して、第1の変換領域から第1の信号領域に変換して、第1のソース信号の推定である第1の出力信号を取得することと、第1の出力信号を後処理することと、を更に含む。
項21.項4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の信号領域は、第1のサンプリングレートに関連する時間領域であり、第2の信号領域は、第2のサンプリングレートに関連する時間領域である。
項22.項1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、無線信号は、10GHzよりも大きいキャリア周波数を有する無線信号、ミリ波無線信号、200MHzよりも大きい帯域幅を有する無線信号、WLAN信号、WiFi信号、無線通信信号、超広帯域(UWB)無線信号、レーダ信号のうちの少なくとも1つである。
項23.第1の物体は、第1の人間であり、第1のソース信号は、音、対話信号、音声信号、歌唱音、活動音、音楽音、楽器音、人工音、機械音、機械音、再生音、スピーカ音、合成音、オーディオ信号、視覚信号、光強度信号、画像、ビデオ、撮像、マイクロフォンに基づいてキャプチャされたベースバンド音信号、カメラセンサに基づいてキャプチャされた視覚信号、撮像センサに基づいてキャプチャされた撮像信号、又はセンサに基づいて取得されたベースバンドセンシング信号のうちの少なくとも1つを含む。
項24.項1の無線支援信号処理システムの方法/装置/システム/ソフトウェアであって、別の信号は、背景雑音、複数の信号の混合、家庭音、機械音、デバイス音、機械音、機械音、電気掃除機音、ファン音、ヒーター音、空調音、テレビ音、ラジオ音、オーディオ、スピーカ音、再生バック音、楽音、環境音、空気音、風通し音、木音、窓音、ドア音、人間活動音、調理音、作業音、再生音、ツール音、玩具音、人間チャタリング、笑い、第2の物体によって生成されたベースバンド信号。第2の人間の第2の動きと関連付けられたベースバンド音信号、のうちの少なくとも1つを含む。
項25.項1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、物体と関連付けられたタスクのために第1の出力信号を処理することを更に含む。
項26.項1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、無線信号は、タイプ2デバイスの無線受信機を用いて取得され、ベースバンドミクスチャ信号は、無線受信機とは異なる種類のセンサを用いて取得される。
項27.項1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、無線信号は、タイプ2デバイスの無線受信機を用いて取得され、ベースバンドミクスチャ信号は、無線受信機ではないセンサを用いて取得される。
項28.項1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、無線信号は、タイプ2デバイスの無線受信機を使用して取得され、ベースバンドミクスチャ信号は、無線コンポーネントを含まないセンサを使用して取得される。
項29.項1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、ベースバンドミクスチャ信号は、ベースバンドセンサを使用して取得され、無線信号は、ベースバンドセンサとは異なる種類のセンサを使用して取得される。
項30.項1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、ベースバンドミクスチャ信号は、ベースバンドセンサを使用して取得され、無線信号は、ベースバンドセンサではないセンサを使用して取得される。
項31.項26から30の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の適応フィルタは、無線信号とベースバンドミクスチャ信号とのマルチモーダル融合を含む。
バイタルサイン検出、ロケーション(位置)推定等に基づく、無線周波数(RF)ベースの車両内の人センシングは、プライバシーを保護し、ウェアラブルセンサを必要としないという優位性のために、広く探求されてきた。しかしながら、胸部運動(4~12mm)及び心拍変位量(0.2~0.5mm)等のバイタルサインに対応する微妙な動きを検出し、更に人間の存在を識別するために、それらの大部分は、今日、ほとんどの車両内で容易に利用可能ではないミリ波(mmWave)信号に依存する。インターネット・オブ・シングスにおけるWi-Fiのユビキタスな展開により、余分なスペクトル電力なしに通信データパケットのプリアンブルにおいて予め定義されたシンボルを再利用することによって、Wi-Fiセンシングは、統合センシング及び通信(ISAC:integrated sensing and communication)における重要なコンポーネントとして浮上してきた。すでに多数の車両がWi-Fi機器を有する予定であるため、以下の質問がなされている:子供存在検出(CPD)を行うためにWi-Fiセンシングを使用することができるか?実用的なCPDは、理想的には以下の要件を満たすべきである。
精度:全てのミス検出が悲惨なことになる可能性があるため、100%に近い検出率を達成するのに十分な感度を有する必要がある。高感度に付随して、潜在的に増大する誤警報率があるが、誤警報率が合理的に低い場合、子供がよりよく保護されることを安心させながら、親/介護者が誤警報アラートをオフにするのにあまり努力を払わない。
反応性:2つの態様において、子供(もし存在すれば)の存在に反応するべきである。第1に、22℃(73°F)の周囲温度は、5分ごとに3.47℃(6.25°F)で自動車の内部の温度を上昇させることが可能であり、熱消耗は40℃で始まり、54℃を超えると、しばしば熱中症を引き起こす。更に、親/介護者は、車から遠く離れすぎる前に、できるだけ早くアラートを受信したいと考えている。
大きなカバレッジ:座席の上と下の両方を含め、死角のない車の内部全体を覆うことができるはずである。なぜなら、子供がもがいている場合、足元に落ちる可能性があるからである。
キャリブレーションフリー:全ての気象/気温/環境において、キャリブレーションなしで、異なる車種、異なる年齢/性別/体重の子供にロバストに機能することが期待される。
低コスト:CPDの設置は非常に低い努力を必要とし、理想的には、追加のハードウェア変更なしに現在の車載Wi-Fiシステムを再利用すべきである。
車載Wi-Fiセンシングは、占有レベル推定、ドライバアクティビティモニタリング、感情センシング等において広範に研究されているが、本明細書に開示される技術は、CPDに直接適用可能ではない。上述の全ての要件を満たしながら、商用WiFiを使用してCPDを有効にすることは、以下のようないくつかの課題を伴う。第1に、既存の研究は、静止した成人を検出するために、無線信号を使用して、成人の動き及び呼吸数推定を検出する実現可能性を示しているが、子供のサイズは成人よりもはるかに小さく、その運動/呼吸強度もはるかに弱い。したがって、子供は、大人よりもはるかに弱い影響を無線信号に与え、検出することをより困難にする。ミリ波ベースの方法は、その短い波長及びより大きい帯域幅に起因して、アクティビティ動作(頭/腕/胴体の移動)及び呼吸動作(静止した小児の胸部移動)の両方を捕捉できることが実証されている。しかしながら、ミリ波ベースの方法のカバレッジは、対応するミリ波レーダに関して視野(FOV)内に制限される。第2に、CPDにおいて迅速な応答を達成することは、自明ではない。既存の動き検出器は、一般的な動き検出アプリケーションにおいて機能することができるが、それらのほとんどはチャネルプロファイルの変化検出、例えば、分散値、位相差等に依存する。それらは、全ての動的散乱からの反射信号を積極的には利用しないので、それらの大部分は、サンプルの長いウィンドウを必要とし、それ故に、大きな検出遅延を引き起こす。
これらの課題に対処するために、本教示は、無線センシングシステムを開示する。本システムは、以下の検出、即ち、ターゲット検出、動きターゲット検出、静止ターゲット検出、遷移ターゲット検出、動き検出、人間/木の動き検出、存在検出、子供存在検出(CPD)、車両内監視、車両内CPD、バイタルサイン監視、呼吸検出、呼吸監視、睡眠監視、運転者監視、運転者挙動分析、運転者疲労検出、不注意運転者検出、占有検出、人/乗客カウント、のうちのいずれかを実行しうる。
開示されたシステムは、無線信号(例えばWi-Fi)に基づくCPDのために利用される場合、WiCPDと呼ぶことができる。WiCPDは、コモディティWi-Fiを用いた初の車内子供存在検出システムであり、死角なしで車全体をカバーできる。車内の全てのマルチパスへの動作の影響を考慮するための統計的電磁気(EM)モデル、周囲動き強度を示す動き統計値メトリック、及び動き統計値を使用する信号対雑音比ブースティング方式に基づいて、統合CPDフレームワークは、3つのターゲット検出器モジュール、即ち、動作/覚醒中の子供を検出する動きターゲット検出器、静止/睡眠中の子供を検出する静止ターゲット検出器、及び動き及び静止ターゲット検出器の両方によって見落とされた散発的動作を有する睡眠中の子供を検出する遷移ターゲット検出器、を含むように設計される。市販のWi-Fiチップセットを使用してリアルタイムWiCPDシステムを実装し、20台以上の異なる車を配備し、4~50ヶ月齢の複数の子供のためのデータを収集しうる。その結果は、WiCPDが、子供が目覚めている/動いている場合には8秒以内に100%の検出率を、静止している/眠っている子供の場合には20秒以内に96.56%の検出率を達成できることを示した。広範な実験は更に、WiCPDが、キャリブレーション無しで数分で容易に展開でき、非常に低いCPU及びメモリ消費を享受し、それ故に、CPDアプリケーションのための実用的な候補を期待することを実証した。
いくつかの実施形態では、開示されるシステムは、全てのマルチパス成分を含むチャネル状態情報(CSI)測定値の自己相関関数(ACF)を演算する統計的電磁気(EM)モデルに基づいて、無線センシングを実行する。また、動き統計値メトリックが、周囲の動きの動き強度を定量化するために構成され、これは各動的散乱体がその位置にかかわらず、全体的な動き統計値に積極的に寄与することを保証することができ、一方、異なる位置における動的散乱体は積極的又は破壊的のいずれかでCSI変動に寄与しうる。結果として、開示されたシステムの動き検出は、ほとんどの従来のバリエーションベースの方法よりも感度が高い。
いくつかの実施形態では、子供の状態、即ち、動作/覚醒、静止/睡眠中、又はその間(時折の動きを伴う睡眠中)にかかわらず、子供を正確に検出するために、3つのターゲット検出器が設計される:1)動き統計値に基づいて、動作/覚醒中の子供を検出するための動きターゲット検出器;2)睡眠中等の動きが非常に少ない静止した子供を識別するための静止ターゲット検出器。システムは、最大比合成(MRC)方式を利用して、各サブキャリアにおける動き強度をチャネル利得として使用してACFのSNRを改善し、子供の微小呼吸パターン/胸部運動を抽出しうる。ブーストされたACFは、次いで、子供の呼吸数を推定するために活用され、その後、連続呼吸数が検出されうるとともに、呼吸数が静止子供検出のために子供の正常範囲内に入るべきかどうかをチェックし、3)動き及び静止ターゲット検出器が、遷移状態にある子供を検出することに失敗したケースを処理するための、ナイーブベイズ分類器ベースの遷移ターゲット検出器。例えば、眠っている子供は、わずかな頭部の回転又は腕の動き等の軽微な動きを有しうる。この種の動きは、動きターゲット検出器によって検出されるには弱すぎて、かつ、短すぎる。一方、それは、呼吸数推定の連続性を損ない、静止ターゲット検出器によっても見逃される。このような遷移状態がCPDデザインにおいて考慮されるのは初めて、検出精度の約5%の改善に寄与できる。
WiCPDは、全ての動的散乱体からの反射信号を積極的に利用するので、動きターゲット検出器は、2Δtの最短遅延に対応する2つの連続するCSIサンプル/測定内の動きを検出することができ、Δt=1/Fsであり、Fsはサンプル周波数を示す。一方、MRC方式は、サブキャリアを単純に平均化するよりもACFのSNRを大幅に高めることができ、それ故に、95%の検出率で成人を検出するために、20パケット内の静止した子供に対して96.56%の検出率を達成する。
市販のNXP Wi-Fiチップセットを使用してWiCPDのリアルタイムプロトタイプシステムを構築することができ、自動車が様々な場所に駐車されているとき、異なる年齢及び性別の5人の子供を検出するために、20台の異なる自動車にわたって広範な実験を行うことができる。リアルタイムWiCPDシステムのCPU及びメモリ消費を評価するために、長期テストを実行しうる。1GHzまでのデュアルコアARM Cortex‐A7 CPUの11%と40MBのランダムアクセスメモリ(RAM)を消費するだけで、WiCPDは、その状態に関係なく、車内の子供を検出するのに20秒よりも短い応答時間で96.5%以上の検出精度を達成することを示した。
WiCPDは、高い検出率、高速応答時間、及び大きなカバレッジを有する、その種の商用WiFiベースのCPDシステムである。これは、CSIが利用可能である限り、インストールコストがほぼゼロの現在及び将来の車内Wi-Fiシステムに容易に組み込むことができる。本教示は、全ての可能性のある状態において子供を検出するための3つのターゲット検出器モジュールを含む、統合CPDフレームワークを開示した。WiCPDは、≦4.37%の誤警報で≧96.5%の検出精度を示し、≦8秒が動作中の子供を検出するために使用され、≦20秒が静止/睡眠中の子供を検出するために使用される。様々な天候/温度/環境下で、様々な年齢/性別/体重の実際の乳児を用いて広範な実験を行った。実験は、WiCPDが安価なCPU及びメモリ消費で、正確で、ロバストで、応答性のある検出を達成することができ、それを世界的な展開のための有力な候補にすることを実証した。
いくつかの実施形態では、商用Wi-Fi上でCSIを測定するために、X(t,f)及びY(t,f)は、時間tにおいて周波数fを有するサブキャリアを介して送信及び受信された信号を示すものとする。そして、対応するCSIは
Figure 2022191191000029
と推定されうる。マルチパス効果に起因して、H(t,f)は
Figure 2022191191000030
と表現されうる。ここで、s(t,f)は、全ての伝搬路で構成されるチャンネル情報を表し、n(t,f)は、時間t及び周波数fにおける電力密度σn 2(f)の加法性白色ガウス雑音(AWGN)を表す。Lは、経路数を表し、αl及びτlは、それぞれl番目の経路の複素ゲイン及び伝搬遅延を表す。
いくつかの実施形態では、本教示は、EMフィールドの重ね合わせ特性に基づく(1)におけるs(t,f)の統計モデルを開示する。ここでは、より良い呼吸数推定のためにACFを高めるために、統計モデル、動き統計値、及びMRCを使用することを利用して、車内環境及びCPDに対するそれらの性能/信頼性を探求することに焦点を当てる。統計モデルの直観/原理は、各散乱がその受信EM波を全ての方向に送信する「仮想アンテナ」として扱われうることである。これらのEM波は、車内散乱体から跳ね返った後、受信アンテナで合計される。したがって、s(t,f)は、
Figure 2022191191000031
と書き直すことができる。ここで、Ω(t)及びΩd(t)は、それぞれ静的散乱体及び動的散乱体のセットを表し、sk(t,f)及びsm(t,f)は、それぞれ、k番目の静的散乱体及びm番目の動的散乱体によって透過/反射されるEM波を表す。図19は、本開示のいくつかの実施形態による、静的散乱体及び動的散乱体を含む、車内のマルチパス伝搬の例示的状況100を図示する。
実際には、非常に短い期間に、Ωs(t)及びsk(t,f)、k∈Ωs(t)がほとんど変化しないと仮定することが合理的である。結果として、全ての静的散乱の寄与は定数、即ち、
Figure 2022191191000032
で近似されうる。
チャネル相反性が与えられると、両方向に進行するEM波は、同じ変化を受ける。したがって、受信機(RX)がEM波を送信している場合、m番目の散乱/仮想アンテナにおける受信EM波は、sm(t,f)と同じである。これにより、sm(t,f)は
Figure 2022191191000033
と表され、ここで、
Figure 2022191191000034
はm番目の散乱の動き速度を示す。F(Θ)は、方向Θ=(α,β)から到来する複素ゲインを表し、α及びβは、それぞれ仰角及び方位角を表す。
Figure 2022191191000035
は自由空間波数を表し、cは光速である。
いくつかの実施形態では、WiCPDの設計は、商用Wi-Fiを使用して、正確で応答性のある車内子供存在検出を可能にすることを目的とする。一般に、子供を以下の3つの異なる状態に分類し、対応する検出器モジュールを設計しうる。まず、動作状態では、目覚めている子供が、自分の腕/脚/胴体を振る等の頻繁/実質的な動き、赤ちゃんの座席から出るのに苦労している間のランダムな身体の動き等を有する。通常、この種の動きは、多数の動的散乱体を誘発し、動きターゲット検出器によって検出されうる。第2に、静止状態では、睡眠中の子供は、無視できる動きを有する。静止ターゲット検出器は子供の連続呼吸数を捕捉し、それにより子供の存在を識別するように設計される。第3に、遷移状態では、子供は眠っているが、睡眠中に時折ヘッドを動かす等、わずかで断続的な動きをしている。この種の動きは、子供の身体の非常に小さな部分(即ち、少数の動的散乱体)の運動にのみ対応するので、CSIに検出可能な変化をもたらすことができず、それ故に、動きターゲット検出器によって捕捉することができない。しかし、それは、微小胸部運動に関連する微小呼吸運動を破損させ、連続呼吸数推定に失敗する。この場合に対処するために、遷移ターゲット検出器を設計しうる。
図20は、WiCPDシステム2000の概要を示す。図20の左側は、車内環境の図を示し、点線は、車内のマルチパス信号伝搬を示す。受信機(RX)2012は、送信機(TX)2011によって送信された着信パケットからCSIを測定する。CSI測定値は、まずハンペルフィルタを通過して、位相ロックループ(PLL)のジッタのような実用的な歪みによって誘発される外れ値を除去する。その後、CSIは、動きターゲット検出器2002によって処理されて、車両内部に運動中の子供がいるかどうかを検出する。決定がYESである場合、WiCPDは、「子供が車両内にいる」ことを報告する。例外の場合、静止ターゲット検出器2004が、静止した子供の存在を検出するようにトリガされる。動きターゲット検出器2002も静止ターゲット検出器2004も子供の存在を検出しない場合、遷移ターゲット検出器2006が、子供が遷移状態にあるかどうか、即ち、わずかな/断続的な動きで眠っているかどうかを更に確認する。WiCPDは、前述の3つの検出器のいずれもが車両内の子供を検出しない場合にのみ、「車両内に子供がいない」を出力する。
いくつかの実施形態では、送信機(TX)2011及び受信機(RX)2012の各々が複数のアンテナを有する。いくつかの実施形態ではTX2011は、上述のBotであり、RX2012は上述のOriginである。種々の実施形態では、プロセッサがTX2011、RX2012、又はその両方に物理的に接続されうるか、又はいずれにも物理的に接続されないことがある。
車両内で動作中の子供を検出するために、システムは、Wi-Fi CSI測定値の統計的ACF及び動き統計値メトリックを活用でき、これは、動作状態における周囲のターゲットの瞬間的な周囲運動強度を反映するために、全ての動的散乱からの反射信号を積極的に利用する。
静止した子供を検出するために、システムはまず、各サブキャリア上の動き統計値を活用して、呼吸運動が子供の胸部運動に対応するので、運動に敏感なサブキャリアを選択することができ、これは、子供の胸部運動が微妙であり、雑音によって容易に沈められるためである。次いで、それらの選択されたサブキャリア上の動き統計値は、最大比合成(MRC)方式で呼吸動作のSNRを更にブーストするための重みとして利用される。その後、呼吸数が推定され、瞬間的な呼吸数が雑音によって損なわれる可能性があるため、正常な呼吸数が推定されて一定の期間持続する場合にのみ「車両内の子供」が検出される。
遷移状態の子供を検出するために、システムは以下の3つの観察を利用しうる:1)連続的ではなくとも断続的な呼吸数を推定できる;2)子供が存在する場合の動き統計値は、動作ターゲット検出のみを使用することによって区別することができないにもかかわらず、実際の空車におけるものとは異なり;3)CSIの共分散行列RHの上位k個の最大固有値は、現在のターゲットのマルチパスプロファイル(より具体的には到来角(AoA))を表し、遷移状態の子供の断続的なわずかな動きによって生じるAoA上のCSI変化を抽出するための特徴として探求されうる。最終的に、動き統計値、呼吸数推定、及びRHの上位k個の最大固有値は、特徴ベクトルを形成し、特徴ベクトルは、その後、遷移状態にない子供が存在するかどうかを検出するためにネイティブベイズ分類器に供給される。
動作中の子供を検出するために、CSIのACFと周囲のダイナミクス散乱体/物体の動きとの間のリンクが確立され、動き統計値は、周囲の運きの強度を定量化するために定義され、動き統計値に基づいて動きターゲット検出器が提示される。車内環境を評価するために、ACFが演算される。(1)を想起すると、測定されたCSIのACFは
Figure 2022191191000036
で与えられ、ここで、cov[AB]は、AとBの共分散を表し、
Figure 2022191191000037
は、H(t,f)とH(t+τ,f)の分散を表す。(1)及び(2)を(5)に置き換えると、以下を有することができる
Figure 2022191191000038
ここで、deδ(・)は、ディラック・デルタ関数である。Ed 2(f)は、全ての動的散乱体によって反射される電力を測定するs(t,f)の分散値である。ρs(τ、f)は
Figure 2022191191000039
ここで、
Figure 2022191191000040
は、{x,y,z}方向における受信EMフィールドの自己相関を表し、
Figure 2022191191000041
は、m番目の動的散乱の反射電力を表す。
Figure 2022191191000042
は、τ=0の連続関数であることが認められる。したがって、(7)において、動的な散乱、即ち
Figure 2022191191000043
が存在する場合、τ→0のときにρs(τ,f) → 1を有しうる。(7)を(6)に代入すると
Figure 2022191191000044
を有しうる。
それ以外の場合、動的散乱体が存在しなければ、
Figure 2022191191000045
を有しうる。このため
Figure 2022191191000046
である。
その結果、
Figure 2022191191000047
は、周囲の動的散乱/動きターゲットのインジケータとして機能しうる。より重要なことには、全ての動的散乱の散乱電力が(7)において積極的な方法で追加され、したがって、ターゲット運きに対してより敏感になる。
実際には
Figure 2022191191000048

Figure 2022191191000049
によって近似されうるとともに、
Figure 2022191191000050
は、全てのサブキャリアにわたって平均されうることで、より信頼できる動きインジケータを得ることができ、これは、以下では動き統計値と呼ばれ、即ち、
Figure 2022191191000051
である。ここで、Fsは、サンプリングレートであり、Nfは、サブキャリアの個数を表し、fiは、i番目のサブキャリアの周波数を表す。瞬時の歪み/雑音に起因した動き統計値の外れ値を回避するために、2秒のスライディングウィンドウを使用して、実用的な実験/アプリケーションにおける平均化された動き統計値を演算しうる。
当然の問題は、動き統計値が、通過する車や歩行者等の車両の外側の動き/動的ターゲットによって容易に影響を受けるかどうかである。閉鎖車両は、外部の無線/無線推論を遮蔽しながら、車内の無線信号の大部分を境界付ける金属キャビティと見なすことができるので、動き統計値は、車両の外部の運きに対してロバストである。
動き統計値が与えられると、動きターゲット検出器の主要なものは、動き統計値が以下で導出される閾値η0よりも大きい場合に、車内の子供が検出されることである。
車内に動きがない場合、(1)及び(3)によれば、CSI H(t, fi)は、静的散乱信号Es(f)及び白色雑音n(t,f)のみを含み、即ち、H(t,fi)=Es(f)+n(t,f)であり、Es(f)は、空車における定数と仮定されうる。これにより、
Figure 2022191191000052
は、十分に多くのサンプル数NTを与えられた場合、平均1/NT及び分散1/NTを有するガウス変数、即ち
Figure 2022191191000053
として近似されうる。したがって、空車における動き統計値
Figure 2022191191000054
の分布は、次式で近似されうる
Figure 2022191191000055
(11)が与えられると、予め定義された誤警報率pFを有する動き検出閾値η0、即ち、
Figure 2022191191000056
を導出でき、ここで、Q-1(・)は
Figure 2022191191000057
を有するQ関数の逆関数である。
子供の呼吸数を推定することは、子供のサイズが成人よりもはるかに小さく、その運動/呼吸強度もはるかに弱いので、成人よりも困難でありうる。その結果、子供の呼吸信号のSNRは、胸部運動のわずかな動きに起因して非常に低い。この問題に対処するために、システムは最初に、最上位Ns(デフォルトでは10)個の最大の動き統計値を有するサブキャリアを選択することで、わずかな胸部/呼吸運動に対して最も感度を有するサブキャリアを抽出しようとしてもよい。更に、最大比合成(MRC)方式を活用して、呼吸数推定のためのACFのSNRを最大化してもよい。
MRC技術を考慮すると、ブーストされたACFは、以下のように表されうる。
Figure 2022191191000058
ここで、ω(fi)は、サブキャリアfiの呼吸強度のチャネルゲインである。(6)を想起すると、サブキャリアfiのACFにおけるチャネルゲインは
Figure 2022191191000059
であり、
Figure 2022191191000060
で推定できる(詳細は(7)~(9)式を参照)。これにより、WiCPDは
Figure 2022191191000061
を最適ω(fi)として取得し、これにより、呼吸シグナルのACFは、
Figure 2022191191000062
によってブーストされうる。
図21は、赤ちゃん人形が27.5BPMの真の呼吸数で車内で眠っている場合の例を示す。図21に示すように、MRCブーストACFから推定される呼吸数は、より正確で連続的である。呼吸信号のチャネルゲインはCSI測定値から直接抽出されることができないので、呼吸信号/動きを直接最大化することはできない。しかしながら、この問題は、各サブキャリアの動き統計値を最適重みとしてACFにMRCを適用することによって回避しうる。
いったんブーストされたACF
Figure 2022191191000063
を得ると、子供の呼吸数は
Figure 2022191191000064
によって推定することができ、ここで
Figure 2022191191000065

Figure 2022191191000066
における最初のピークのタイムラグに対応する。その後、静止ターゲット検出器は、正常な子供の呼吸数が検出され、かつ、一定の期間、継続する場合、「車両内に子供がいる」ことを報告する。
動きターゲット検出器も静止ターゲット検出器も「車両内の子供」を検出しない場合、遷移ターゲット検出器がトリガされる。遷移状態にある子供は、動きターゲット検出器又は静止ターゲット検出器のみによって検出することができなくとも、実際の空車とは異なるパターンを示す、あるレベルの動き統計値及び断続的呼吸数推定を誘発しうる。遷移状態にあるターゲットの存在を検出するために、本システムは、子供のわずかな/間欠的な動きがマルチパス信号の一部のAoAを変化させることができるという事実を利用する。このような変更は、ターゲットのAoAを直接推定するために使用することができないが、測定されたCSIに本質的に埋め込まれ、新しい特徴として活用しうる。本システムは、CSIの共分散行列RHの上位k個の最大固有値を用いて断続的な動き情報を抽出し、動き統計値、呼吸数、及びRHの上位k個の最大固有値を含む特徴ベクトルを構築しうる。これらの特徴は全て、ナイーブベイズ分類器において一緒に融合されうる。
WiCPDを包括的に評価するために、市販のWiFiチップセット(例えば、2.4GHz及び5GHzの両方で動作するデュアルバンドである市販のNXP Wi-Fiチップセット)を使用してリアルタイムシステムを構築し、様々な自動車モデルにおいて広範な実験を行い、実際の赤ちゃん及び赤ちゃん人形を使用してCPD検出性能を検証しうる。Wi-Fiチップセットには、外部PCBアンテナ又は車載アンテナに便利に接続可能なコネクタインタフェースを有する2つのアンテナが含まれている。RXは特に言及しない限り、TXから送信されたパケットを受信し、30Hzのサンプルレートを有する58個のサブキャリアを含むCSIをキャプチャする。TXとRXの両方は2つの無指向性PCBアンテナを有する。システムは、40MHzの帯域幅を有する5.805GHzチャネル上で動作する。
データ収集には、主に以下の3つの部分が含まれる:1)異なるシナリオでの20台以上の異なる車の空きケース、2)Lifelike Ashley赤ちゃん人形の実験、3)本物の赤ちゃんの実験。ほとんどの場合、自動車は通常空であるので、20台を超える異なる自動車からデータを収集することによって、誤警報の広範な評価を実行できる。赤ちゃん人形テストのために、4つの異なるファミリーカーにWiCPDを配備しうる。各車について、TXは最初にダッシュボードの中央に位置し、次いでグローブボックス内に位置する。RXは、後部カーシートの上部に隣接するカーライナー上の3つと、後部ドアのカップホルダー内の1つとを含む4つの異なる位置に取り付けられる。各構成について、子供が車にくっついたときに可能性のある全ての場所を探索するために、車の座席とフットウェル領域の両方を含む赤ちゃん人形の11個の異なる場所をテストしうる。各場所で、赤ちゃん人形は3つの異なる姿勢、即ち、上向きの座席上に横たわる姿勢、下向きの姿勢、及び座席上に座る姿勢でテストされる。更に、子供がチャイルドシートに拘束されているときの実際のケースを模倣するために、赤ちゃん人形がカーシートに固定されているときのケースをテストしうる。実験は、トレードセンターの隣の屋外駐車場、ショッピングモールの地下ガレージ、ストリートパーキング、及び家族用の個人用ガレージを含む異なる環境において、13ヶ月にわたって異なる日数にわたって行われうる。車内環境は、スタッフ及び対応する変位量のような、そのような長時間の間に正常な変化を有する。車内環境は、この間、いかなる制限もなく自由に変更しうる。WiCPDは非実用的な仮定/制約なしに、異なる現実世界の環境におけるキャリブレーションフリーシステムである。
表12に示すように、異なる年齢及び性別の5人の実際の赤ちゃんを検出する際のWiCPDの性能を更にテストできる。全体として、実験は4カ月の乳児から、異なる身長及び体重を有する5歳の幼児までの範囲である。
Figure 2022191191000067
次に、動き統計値メトリック及び遷移ターゲット検出器を独立して評価して、全体的な性能及びサンプルレート、帯域幅、アンテナの個数を含む重要なパラメータの影響に関してWiCPDの性能を実証する。
動き統計値は、周囲の動きに非常にセンシティブであり、CSI分散値よりも空の場合と動きの場合との間でより区別可能である。動き統計値に及ぼす側面の外の運きの影響を理解することが重要である。検証するために、8つの異なるシナリオ、即ち、1)周囲に動きのない屋外駐車場における空車、2)隣接する駐車スペースを通過する、例えば、周囲を走行する車、3)空車の周りを歩く歩行者、4)車庫内の空車、5)風の強い天候の空車、6)車が一時間に一度通過する路上駐車の空車、7)屋外駐車場、及び8)雨天、の場合に空車データ収集を行いうる。図22に見られるように、動き統計値は、「0」を中心とし、移動するターゲットが全くない純粋な空車のものと非常に類似した分布を有する。図22は、閉鎖車両が外部の無線/無線推論を良好に遮蔽する金属キャビティと見なすことができ、したがって、開示された動きターゲット検出器のロバストな性能を期待させるので、動き統計値が車外の運きに対してロバストであることを示す。
遷移ターゲット検出器がCPD検出にどのように役立つかも研究できる。遷移検出器の性能を独立してテストするために、車両内に実際の睡眠中の子供がいるが、動きターゲット検出器又は静止ターゲット検出器によって検出されていない場合に、データのセグメントを選択しうる。いくつかの例では、睡眠中の子供は遷移状態にある時間の約6.5%がある。赤ちゃん人形は、本物の赤ちゃんよりも良好な呼吸周期性を示しうるため、赤ちゃん人形からデータを除外しうる。その結果、赤ちゃん人形の検出率はほぼ100%となり、遷移状態の実際の子供の情報が不足する。ナイーブベイズ分類器をトレーニングするために、遷移データと空データを混合し、一方、特徴ベクトルは、動き統計値、呼吸数、及びCSI測定の共分散行列の上位数個の最大固有値から構成され、ウィンドウ長は5秒である。全データセットは2つの等しい部分、即ち、トレーニングについては50%、テストについては別の50%に分割される。遷移ターゲット検出器の性能を表13に示す。見られるように、遷移ターゲット検出器は、遷移状態にある子供について、約87.3%の真陽性率(TP、別名、検出率)及び12.7%の偽陰性率(FN、別名、ミス検出率)の検出率を達成でき、全体的なWiCPDシステムにおける約5.5%の検出率改善に寄与する。
Figure 2022191191000068
WiCPDの全体的な性能を評価するために、応答時間、検出率、及び誤警報率を含む3つの重要なメトリックが実証されるが、それは、それらが、タイムリーに車両に放置された子供を検出/救助するための重要な要件であるためである。遷移状態の子供を検出する性能は、遷移状態は通常、睡眠/静止状態とマージされるので、独立して評価されない。以下、「睡眠」とは眠っている静止した子供を指し、「覚醒」とは子供が覚醒しており、動きを生じやすいことを意味する。
図23A~図23Bは、WiCPDが、自動車から出るためにがいている等の通常の活動を伴う、動作中の覚醒した子供について、8秒応答期間未満で100%の検出率を達成することを示す。また、就寝児の20秒以内の検出率は96.56%である。図23Bは、WiCPDの受信者動作特性曲線(ROC)を示し、検出率≧99.6%で、覚醒及び睡眠中の子供についてそれぞれ1.04%及び4.37%の誤警報率を示す。
比較のために、CSI分散値を使用して動きを検出するベンチマーク法と、呼吸数を推定するためのサブキャリアにわたる平均CSIとを実施することもできる。図23A~図23Bに見られるように、WiCPDは主に、以下の理由から、ベンチマーク法よりも優れている:1)それは、全てのマルチパス成分を考慮する統計的EMモデルに基づく動き統計値を活用し、したがって、より良好な感度及びロバスト性を獲得する;2)WiCPDは、動き統計値をチャネル利得として利用して、まず、呼吸動作に敏感なサブキャリアを選択し、次いで、MRC法でそれらを合成する。結果として、WiCPDは、ACFに埋め込まれた呼吸運動のSNRを大幅に上昇させることができ、呼吸数の、より速くより良い推定を達成することができ、3)ナイーブべーズ分類器ベースの遷移ターゲット検出器が、動きターゲット検出器及び静止ターゲット検出器の見落としケースを更に検出するために利用される。
より高いサンプリングレートFsはより良好な動き統計値及び呼吸推定をWiCPDに提供することができ、それにより全体的な性能を改善する。しかしながら、実際には、より高いサンプルレートがハードウェアシステムのオーバヘッドを増加させ、周囲のWi-Fiネットワークへの干渉を引き起こしうる。結果として、異なるサンプルレートで性能を評価することができ、これは、実際の設定を導くことができる。図24A、は10Hz、20Hz、30Hzのサンプリングレートに対応する、覚醒している子供の検出のための100%の検出精度を達成するために、WiCPDが13秒、8秒、8秒の応答時間を要していることを示す。更に、静止した子供を検出する際に、10Hz、20Hz、30Hzの全てのケースに対して、応答20秒で≧96.18%の検出率を達成している。更に、図24Bは、サンプルレートが10Hzから30Hzに増加されるとき、誤警報率が、覚醒及び睡眠中の子供について、それぞれ、2.03%から0.625%、及び6.89%から2.36%に減少されることを示す。
また、アンテナ及び帯域幅によってもたらされる有効帯域幅の影響を一緒に研究することもできる。具体的には、実効帯域幅Neは、Ne=NsBと定義され、Ns=NTXRXは、TXとRXの個数を表すNTX及びNRXを用いて、TXとRXの間の空間リンクを示す。Bは、Wi-Fiシステムの帯域幅であり、Wi-CPDシステムでは、5GHzチャネルについては40MHz、2.4GHzチャネルについては20MHzである。図25は、応答時間を8秒に設定すると、覚醒している子供を検出するために、実効帯域幅が40MHzから160MHzに増加した状態で、検出率が85.46%、92.86%、100%となることを示している。睡眠中の子供の存在下では、Neが40MHzから160MHzになると、検出率は75.62%から86.68%に増加し、これは8秒の応答時間にも相当する。
世界的なCPDシステムとなるためには、異なる自動車、異なる年齢の子供、及び性別等の異なる環境におけるそのロバスト性を評価することが重要である。その結果、WiCPDの検出率を、以下の観点で評価しうる:1)異なる車種、2)異なる子供、3)子供の異なる姿勢、4)異なる中心周波数と帯域で動作する異なる商用アンテナ。WiCPDは、96.3%以上の検出率を達成し、自動車間の限界差は2.47%以下であった。性能のわずかな差は主に、異なる車両が異なる材料、構造、及びサイズを有するためである。異なる大きさは、無線信号の異なる伝搬経路長/損失を引き起こし、それにより、動的散乱体から跳ね返される受信エネルギEd 2(f)の差を誘発する。他方、異なる材料/構造の自動車は、車内信号を反射し、車外信号も遮蔽することに対して異なる影響を有する。
車内に放置されることを被る子供は、新生児から6歳まで年を取りうるため、様々な年齢及び性別の子供を検出するWiCPDの性能を評価しうる。表12に示されるように、4ヶ月~4歳及び10ヶ月齢の5人の小児を、両親からの許可を得てテストした。WiCPDは、少なくとも97.25%の検出率で異なる子供をうまく検出できることが分かった。異なる子供の間の検出率は、最大1.01%でわずかに偏差を有し、これは、年齢及び性別にかかわらず子供の存在を検出するWiCPDの大きな能力を示す。
また、例えば、姿勢制御の便宜のために子供を模倣するために成人を使用する既存の作品とは異なる赤ちゃん人形を使用して、子供の姿勢の影響を研究することもできる。その理由は、成人が赤ちゃんよりも体の大きさが大きく、胸の動きが強いからである。これにより、赤ん坊と成人から反射された受信エネルギEd 2(f)(式(6)参照)は、全く異なっている。フェイスアップ、フェイスダウン、座った姿勢は、カーシートが法律によりカーシートに固定されている本物の赤ちゃんから撮影されている間に赤ちゃん人形によって収集されたデータに対応する。WiCPDは、全ての姿勢に対して96.97%以上を達成し、実用的なアプリケーションにおいてWiCPDの展開を容易にすることが分かった。
また、2.4GHz帯と5GHz帯の両方で動作する異なる商用アンテナ上のWiCPDの検出性能を評価することができ、これは異なるアンテナを装備した異なる車と統合する可能性を調べるためである。WiCPDは、5GHzを中心としたアンテナ#1と#2を用いて、受信的に98.13%と98.78%に達することが分かった。2つのアンテナの両方について、2.4GHzは約4%の検出率を劣化させる。主な理由は2.4GHzのWi-Fiシステムは20MHz帯域幅で動作し、5GHzのWi-Fiシステムは40MHz帯域幅で動作するためである。結果として、5GHzはより大きな有効帯域幅を有し、したがって、2.4GHzのWi-Fiシステムを上回る性能を有する。更に、WiCPDは、将来、アンテナ及び帯域幅の増加とともに、より効果的な帯域幅を取り入れることによって、その性能を改善することが期待されている。
WiCPDは、子供の存在の検出に焦点を当てているが、全てのマルチパス成分を説明する統計的モデリングは、Wi-Fi検知に基づく車内アプリケーションの新たな機会をもたらす。第1に、直接の拡張は、推定された呼吸数に基づくバイタルサイン監視、疲労及び不注意運転行動検出等の運転者の挙動分析を含む車内監視であってよく、これは人気のある先進運転者支援システム(ADAS)研究を促進しうる。それにもかかわらず、運転者の挙動を監視することは、駐車車両においてWiCPDがターゲットとする間の運転中の振動のために、より困難である。デトレンド技術によって、不要な動きを検出/補償/抑制することが可能である。第2に、運転中の運転者及び乗客の両方の呼吸数を推定することができる場合、WiCPDの応答時間を更に短縮するための事前情報としうる。第3に、受信されたCSIは、もしあれば、異なる個人から来る呼吸信号の重ね合わせと見なすことができるので、占有検出(自動車乗客カウントにおける別名)は、Wi-Fi検知を使用して有効にしうる。Variational Mode Decomposition(VMD)及びMultivariate Variational Mode Decomposition(MVMD)等の、いくつかの分解技術を適用して、信号のモードを推定し、車内の人数を示すことができる。
本教示は、市販のWi-Fiチップセットから抽出されたCSI測定値を使用する新規の子供存在検出システムであるWiCPDの設計、実装、及び評価を開示する。統計的EM理論モデリングを利用して、全てのマルチパス伝搬に対するターゲットの影響を考慮し、3つの検出器モジュールを設計して、運動、静止、及びその間の遷移を含む子供の状態にかかわらずWiCPDを可能にしうる。市販のWi-Fiチップセットを使用してシステムを実装し、異なる年齢及び性別の異なる子供を検出するために、異なる車内にそれを配備しうる。広範な成果は、WiCPDが20秒以下の応答時間で≧96.5%の精度を達成できることを示した。リアルタイムテストは、WiCPDが手頃な演算オーバヘッドで動作し、世界的なCPDアプリケーションの有力な候補となることを示している。
図26は、本開示のいくつかの実施形態による、無線センシングのための例示的な方法2600のフローチャートを示す。種々の実施形態において、方法2600は、上記で開示したシステムによって実行されうる。動作2602において、無線信号は、ベニューの無線マルチパスチャネルを介して送信機から送信される。無線マルチパスチャネルは、ベニュー内の物体の動きによって影響を受ける。動作2604において、無線信号は、無線マルチパスチャネルを介して受信機によって受信される。受信された無線信号は、無線マルチパスチャネル及び物体の動きに起因して、送信された無線信号とは異なる。動作2606において、無線マルチパスチャネルのN1個の時系列のチャネル情報(TSCI)が、受信された無線信号に基づいて取得される。N1=N2*N3であり、N2は送信機上の送信アンテナの量であり、N3は受信機上の受信アンテナの量であり、各TSCIは、送信機の個別の送信アンテナ及び受信機の個別の受信アンテナと関連付けられる。動作2608において、N4個の選択された投影が、N1個のTSCIに基づいて演算され、ここで、N4は正の整数である。動作2610において、N4個の選択された投影に基づいて、物体の動きと関連付けられたセンシングタスクが実行される。図26の動作の順序は、本教示の様々な実施形態に従って変更されうる。
いくつかの実施形態では、本教示は、(a)ベニュー内の無線マルチパスチャネルのセンシング測定値と、(b)センシング測定値に基づいて演算された選択された投影(例えば、固有値の分布から選択されたN4個の最大固有値)とに基づいて、ベニュー内の物体の動きを監視するために無線センシングタスクを実行する無線センシングシステムを開示する。
無線センシングタスクは、ターゲット検出、動きターゲット検出、静止ターゲット検出、遷移ターゲット検出、動き検出、人間/木の動き検出、存在検出、子供存在検出(CPD)、車両内監視、車両内CPD、バイタルサイン監視、呼吸検出、呼吸監視、睡眠監視、運転者監視、運転者挙動解析、運転者疲労検出、不注意運転者検出、占有検出、人/乗客カウント等を含みうる。ベニューは、車、車両、家、部屋、オフィス、施設、閉鎖施設、開放施設、半開放施設等であってもよい。センシング測定値は、チャネル情報(CI)、TSCI、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、(例えば、802.11、802.11bf等のプロトコルに基づく)センシング測定手順の結果等でありうる。
タイプ1ヘテロジニアス無線デバイス(無線送信機)は、無線サウンディング信号の系列をタイプ2ヘテロジニアス無線デバイス(無線受信機)に送信しうる。タイプ1デバイスは、M1個のアンテナを有しうる。タイプ2デバイスは、M2アンテナを有しうる。タイプ2デバイスは、受信された無線サウンディング信号に基づいて、ある個数(M=M1*M2)の時系列のチャネル情報(CI、例えば、CSI、CFR、CIR等)を取得しうる。各CIは、個別のの受信されたサウンディング信号に基づいている。各TSCIは、(タイプ1デバイスの送信アンテナとタイプ2デバイスの受信機アンテナとの間のリンクでありうる)リンクと関連付けられうる。M個のリンクが存在しうる。各CIは、N個の成分(例えば、CFRのためのN個のサブキャリア)を有しうる。各成分(CI成分)は、複素数でありうる。
サウンディング信号は、TSCIが毎秒F1サンプルで取得されうるように、F1のサウンディング周波数(例えば、0.01/0.1/1/10/100/1000Hz)で送信されうる。上記個数のTSCIは、前処理(例えば、ノイズ除去、位相クリーニング、時間ベース補正)されてもよい。ステップ1における共分散行列は、CSI/前処理されたCSIの(特定の幅、例えば0.01/0.1/1/10/100秒を有する)スライディングウィンドウに基づいて演算されうる。ステップ1における共分散行列は、低減された周波数(例えば、0.001/0.01/0.1/*F1)で演算されうる。
いくつかの実施形態では、遷移ターゲット検出アルゴリズムは、以下のステップを含みうる。ステップ1において、CI(例えば、CSI、CFR、CIR)の行列(例えば、共分散行列)を演算する。各CIが(1リンクについて)N個の成分を有する場合、共分散行列はサイズN*Nでありうる。M個のリンク(Tx-RxアンテナのM個のペア)がある場合、共分散行列は、サイズMN*MNでありうる。ステップ2において、行列の演算投影(例えば、固有値)(固有値は実数であってもよく、非負であってもよい)を演算する。ステップ3では、K個の最上位の最大投影(例えば、固有値)を維持する。ステップ4において、CIのL個のサンプルに対するK個の最大投影(例えば、固有値)を組み合わせて、KL個の投影(例えば、固有値)を有する特徴ベクトルを取得する。ステップ5において、トレーニングフェーズ中にトレーニングのために特徴ベクトルを使用し、動作フェーズ中に分類/検出のために特徴ベクトルを使用する。
いくつかの実施形態では、システムは、検出タスクの複数のステージを有しうる(例えば、検出は、ターゲットの検出、存在の検出、人の存在の検出、車両内の子供の存在の検出でありうる)。各ステージは、それぞれのアルゴリズムに基づいて検出を実行しうる。ターゲットが任意のステージで検出された場合、次のステージはスキップ/実行されなくてもよい。ターゲットが1つのステージで検出されない場合、検出の次のステージが実行されうる。ステージは、選択/実行されてもよく、又は選択/実行されなくてもよい。実施される場合、ステージは、任意の順序でありうる。一例では、順序は、動きターゲット検出と、それに続く、静止ターゲット検出と、それに続く、遷移ターゲット検出としてもよい。第2の例では、動きターゲット検出、静止ターゲット検出、又は遷移ターゲット検出のうちの1つのみが(単独で)実行されうる。第3の例では、順序は、静止ターゲット検出と、それに続く遷移ターゲット検出としてもよく、逆もまた同様である。第4の例では、順序は、動きターゲット検出と、それに続く遷移ターゲット検出としてもよく、逆もまた同様である。第5の例では、順序は、動きターゲット検出と、それに続く静止ターゲット検出としてもよく、逆もまた同様である。等々。
1つのステージは、動きターゲット検出であってもよい。動きターゲット検出は、ターゲット/物体(例えば、人、子供)による動きを検出しようとしてもよい。第1の動き統計値は、上記個数のTSCIに基づいて演算されうる。第1の動き統計値は、時間的に隣接するCIの1つ(又は複数)のペアに基づいて演算されうる。第1の動き統計値は、CSIのペアの相関、共分散、積、ドット積のいずれかを含みうる。第1の動き統計値は、第1の閾値と比較されうる。ターゲットは、第1の動き統計値が閾値よりも大きい場合に検出されうる。第1の閾値は、第1の予め定義された量であってもよく、又はTSCIに基づいて適応的に演算されてもよい。
1つのステージは、静止ターゲット検出であってもよい。静止ターゲット検出は、(ターゲットによる)TSCIの周期的特性(例えば、人/子供の呼吸に関連する)を検出しようとしてもよい。第2の動き統計値は、上記個数のTSCIに基づいて演算されうる。第2の動き統計値は、TSCIの自己相関関数(ACF)に基づいて演算されうる。ACFの第1の最大値/ピークが演算されうる。ACFの第1の最大値/ピークに関連するタイムラグが演算されうる。第2の動き統計値は、ACFのタイムラグ及び/又は第1の最大/ピーク値に基づいて演算されうる。第2の動き統計値は、期間的特性(例えば、周波数、期間)の推定値でありうる。周期的特性は、第2の動き統計値が許容範囲内にあり、かつ/又は、ACFが別の十分な挙動(例えば、第1の最大値/ピークの大きさが閾値よりも大きい)を有する場合に検出されうる。周期的特性は、持続時間(例えば、1/10/100秒、又は過去/現在の挙動に基づいて演算された適応的な時間持続時間)にわたって検出された場合、ターゲットが検出されうる。
1つのステージは、遷移ターゲット検出であってもよい。遷移ターゲット検出は、繊維中のターゲット(例えば、人/子供)を、検出可能な動きがほとんどなく(例えば、睡眠中)、周期的な特性が中断された(例えば、身体の動きによって中断された呼吸検出)状態で検出しようとしうる。特徴ベクトルは、上記のステップ4で説明したように構築されうる。ターゲットは、動作フェーズにおける分類/検出において(トレーニングフェーズにおけるトレーニングTSCIに基づいて構築された特徴ベクトルを使用してトレーニングされた分類器/検出器を使用して)検出される。
いくつかの実施形態では、N1個のリンク(即ち、Txアンテナ及びRxアンテナのN1個のペア)が存在する。投影は、スカラ(例えば複素数、実数)である。投影は、特定の基底ベクトル(例えば、固有値)に対するベクトルの線形投影でありうる。典型的には、Nタプルベクトルは、N個の基底ベクトルのセット(又はN個を超えるオーバーコンプリート基底ベクトル)によるN次元空間スパン内のベクトルである。N個の基底ベクトルは直交しており、1の大きさを有する。したがって、ベクトルは、それぞれの基底ベクトルに対するN個の投影を有する。N個の投影のうちのいくつかは、いくつかの基準(例えば、最大の大きさ)に基づいて選択され、それ故に「選択された投影」と呼ばれる。例えば、特定の基底ベクトルyに対するベクトルxの線形射影は、ベクトルx及びyのドット積として演算されうる。数学的には、ベクトル空間(例えば、N次元ベクトル空間)は「基底ベクトル」のセットによってスパンされる。基底ベクトルの多くの可能性のあるセットがありうる。このため、基底ベクトルの第1のセット(例えば、I_1、I_2、...、I_n)に関するベクトルの第1の表現は、基底ベクトル(例えば、以下のうちのいずれかの及び/又はいずれかと関連付けられる基底ベクトル:フーリエ変換、正弦変換、コサイン変換、アダマール変換、スラント変換、任意の三角変換、任意の線形変換、直交変換、非直交変換、オーバーコンプリート投影、固有値分解、固有ベクトル空間、特異値分解(SVD)、主成分分析、任意の線形分解。)の第2のセットに関する第2の表現に変更可能である。数学的には、第2の表現は、第1の表現に線形変換を適用することによって、又は式形式でy=Ax(式中、xは第1の表現であるNタプルベクトルであり、yは第2の表現であるNタプルベクトルであり、AはサイズNxNの行列である)で演算されうる。投影は、ベクトルの非線形投影であってもよい。例えば、ベクトルの大きさは、非線形射影である。他の例は、ベクトルの要素の多項式/非線形関数、又は非線形演算による線形射影の構成を含む。
以下の番号付けされた項は、無線センシングの例を提供する。
項A1.無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、無線センシングシステムの第1のヘテロジニアス無線デバイスから、ベニューの無線マルチパスチャネルを通じて無線信号を送信することであって、無線マルチパスチャネルはベニューの物体の動きによって影響を受ける、ことと、無線マルチパスチャネルを通じてシステムの第2のヘテロジニアス無線デバイスによって無線信号を受信することであって、受信される無線信号は、ベニューの無線マルチパスチャネル及び物体の動きに起因して、送信された無線信号とは異なる、ことと、プロセッサ、メモリ、及び命令のセットを使用して、無線マルチパスチャネルのN1個の時系列のチャネル情報(TSCI)を取得することであって、第1のデバイスはN2個のアンテナを備え、第2のデバイスはN1=N2*N3であるようにN3個のアンテナを備え、各TSCIは第1のデバイスの個別のアンテナ及び第2のデバイスの個別のアンテナと関連付けられる、ことと、N1個のTSCIに基づいて、N4個の選択された投影を演算することと、N4個の選択された投影に基づいて、物体の動きと関連付けられたセンシングタスクを実行することと、を含む。
動きの分類(例えば、人間/木の動き)又は動きの検出(例えば、存在検出、CPD)のために、N4個の選択された投影に基づいて、分類器又は検出器をトレーニングする必要がある。検出器は、単純な分類器である。
項A2.項A1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、トレーニングフェーズにおいて取得されたN1個のTSCIに基づいて演算されたN4個の選択された投影に基づいて、分類器をトレーニングすることを含む。
N4個の選択された投影に基づいて、トレーニングされた分類器を使用する。
項A3.項A2の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N4個の選択された投影に基づいて、動作フェーズにおいて分類器に基づいて物体の動きを分類することを含む。
特殊なケース:分類は、物体(子供)の存在の検出である。
項A4.項A3の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N4個の選択された投影に基づいて、動作フェーズにおいて分類器に基づいて物体の存在を検出することを含む。
マルチステージ存在検出。「動きターゲット検出」手順において、物体のアクティブな動き(即ち、物体がアクティブである場合の比較的大きな動き)を検出する。「静止ターゲット検出」手順において、物体の小さな周期的な動き(つまり、物体がアクティブでない場合の呼吸)を検出する。「遷移ターゲット検出」手順において、物体の遷移動作(即ち、物体がアクティブでない場合の、呼吸+小規模な身体動作)を検出する。
項A5.項A4の無線センシングシステムの方法/デバイス/ソフトウェアであって、動作フェーズにおいて、ある個数の存在検出手順を順に実行することと、いずれかの存在検出手順において物体の存在が検出された場合、後続の全ての存在検出手順をスキップすることと、存在検出手順の1つにおいて、N4個の選択された投影に基づく分類器に基づいて物体の遷移動作を検出することにより、物体の存在を検出することと、存在検出手順の1つにおいて、N1個のTSCIからのCIのペアに基づいて演算された第1の動き統計に基づいて、物体の動きを検出することにより、物体の存在を検出することと、存在検出手順の更に別の1つにおいて、N1個のTSCIに基づいて演算された第2の動き統計に基づいて、ある持続時間にわたって物体の周期的な動きを検出することにより、物体の存在を検出することと、を含む。
ケース1.シンプルなケース。1つの行列(1つのタイムスタンプ)からN4個の投影を選択する。ケース2.一般的なケース。N5個の行列(N5個のタイムスタンプ) らN4個の射影を選択する。ケース1.シンプルなケース。1つのタイムスタンプと関連付けられたN4個の固有値を選択する。行列(共分散行列)を演算する。
項A6.項A1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、上記個数のTSCIに基づいて行列を演算することであって、当該行列は、共分散行列、相関行列、エルミート行列、対称行列、正の半定値行列、複数の行列のうちの行列、又は拡張行列、のうちの少なくとも1つを含む、ことと、当該行列に基づいてセンシングタスクを実行することと、を含む。
共分散行列の全ての投影を演算する。
項A7.項A6の無線センシングシステムの方法/デバイス/ソフトウェアであって、行列の複数の投影を演算することであって、各射影はスカラであり、行列の固有値分解から得られる固有値、行列の特異値分解(SVD)から得られる特異値、行列の主成分分析(PCA)から得られる主成分値、行列の独立成分分析から得られる独立成分値、又は行列の別の分解から得られる値のうちの1つであり、当該別の分解は、LU分解、LU分解、ランク分解、コレスキー分解、QR分解、補間分解、ジョルダン分解、シュール分解、実シュール分解。QZ分解、Takagiの分解、スケール不変分解、極分解、代数的極分解、Mostow分解、Sinkhorn正規形、セクター分解、Williamson正規形、行列平方根のうちの1つである、ことと、複数の投影からN4個の選択された投影を選択することと、を含む。
マグニチュードに基づいて共分散行列の全ての投影の中からN4を演算する。
項A8.項A7の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、投影の大きさに基づいてN4個の選択された投影を選択することを含む。
N4個の最大投影を選択する。
項A9.項A8の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N4個の選択された投影は、最大の大きさを有するN4個の投影である。
(1つの行列ではなく)N5個の行列を演算する
項A10.項A1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、上記個数のTSCIに基づいてN5個の行列を演算することであって、各行列は、個別のタイムスタンプと関連付けられ、N5個の行列の各々は、共分散行列、相関行列、エルミート行列、対称行列、正の半定値行列、複数の行列のうちの行列、又は拡張行列、のうちの少なくとも1つを含む、ことと、N5個の行列に基づいてセンシングタスクを実行することと、を含む。
全ての行列の全ての投影を演算する。
項A11.項A10の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N5個の行列の各々の複数の投影を演算することと、N5個の行列の各々の複数の投影からN4個の選択された投影を選択することと、を含む。
大きさに基づいてN4個の投影を選択する。
項A12.項A11の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、投影の大きさに基づいて、N4個の選択された投影を選択することを含む。
全ての投影の中からN4個の全体的に最大の投影を選択する。
項A13.項A12の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N4個の選択された投影は、N5個の行列の全ての投影の中で最大の大きさを有するN4個の投影である。
各行列のN6個の最大の投影を選択する。これらを組み合わせて、N4個の選択された投影を形成する。
項A14.項A12の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N4個の選択された投影は、N5個の行列の各々のN6個の最大投影を含み、N4=N6*N5である。
タイムスタンプは、時間的に均等な間隔で配置される。
項A15.項A10の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N5個の行列と関連付けられたN5個のタイムスタンプは、時間的に均等に離間されている。
サンプリングベクトルを形成し、かつ、共分散行列を演算することにより、1つの行列を演算する。ケース1.シンプルなケース。1つのタイムスタンプにおけるCIに基づいて、サンプリングベクトルを形成する。(CIの時間的/動的挙動なし)。ケース2.一般的なケース。(CIの時間的/動的挙動を捕捉するために)N8個のタイムスタンプにおけるCIに基づいて、サンプルベクトルを形成する。ケース1.1つの共通タイムスタンプにおけるCIに基づいてサンプリングベクトルを形成する。
項A16.項A6の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N1個のチャネル情報(CI)の連結としてサンプリングベクトルを決定することであって、各CIが個別のTSCIからのCIである、ことと、サンプリングベクトルの共分散行列として行列を演算することと、を含む。
スライディング時間ウィンドウ内のCIに基づいて統計的共分散を推定する。
項A17.項A16の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N1個のTSCIのスライディング時間ウィンドウに基づいて、共分散行列を演算することを含む。
CI=CFRの場合、各成分はCFRのサブキャリアでありうる。CI=CIRの場合、各成分はCIRのタブでありうる。
項A18.項A17の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、各CIは、N7個の成分を含み、サンプリングベクトルは、N7*N1個の要素を有し、共分散行列は、サイズ(N7*N1)×(N7*N1)である。
共通のタイムスタンプ。
項A19.項A16に記載の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、サンプリングベクトルの全てのN1個のCIが、共通のタイムスタンプを有する。
ケース2.N8個のタイムスタンプにおけるCIに基づいてサンプルベクトルを形成する。
項A20.項A6の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N1個のTSCIの各々からN8個のCIの連結としてサンプリングベクトルを、当該ベクトルが(N8*N1)個のチャネル情報(CI)を含むように決定することと、サンプリングベクトルの共分散行列として行列を演算することと、を含む。
項A21.項A20の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N1個のTSCIのスライディング時間ウィンドウに基づいて共分散行列を演算することを含む。
項A22.項A21の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、各CIはN7個の成分を含み、サンプリングベクトルはN7*N8*N1個の要素を有し、共分散行列は、サイズ(N7*N8*N1)x(N7*N8*N1)である。
全てのTSCIからの全てのN8個のCIは、同じN8個の共通タイムスタンプでサンプリングされる。即ち、全てのTSCIからのN8個のCIのうちの第1のものは、第1の共通タイムスタンプでサンプリングされる。同様に、全てのTSCIからのN8個のCIの第i番目のものは、第i番目の共通タイムスタンプでサンプリングされる。N8個の共通タイムスタンプは、(それらがサンプリング周波数/周期と関連付けられているかのように)均等に離間されうる。あるいは、N8個の共通タイムスタンプが均等に離間されなくてもよい。
項A23.項A20の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N8個の共通タイムスタンプは、N1個のTSCIのいずれかからのN8個のCIと関連付けられる。
項A24.項A23の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N8個の共通タイムスタンプは、時間的に等間隔である。
以下の番号付けされた項は、無線センシングのための他の例を提供する。
項B1.無線センシングのためのシステムであって、ベニューの無線マルチパスチャネルを介して無線信号を送信するように構成された送信機であって、無線マルチパスチャネルはベニューにおける物体の動きによって影響を受ける、送信機と、無線マルチパスチャネルを介して無線信号を受信するように構成された受信機であって、受信される無線信号は、無線マルチパスチャネル及び物体の動きに起因して、送信された無線信号とは異なる、受信機と、プロセッサと、を備え、当該プロセッサは、受信された無線信号に基づいて無線マルチパスチャネルのN1個の時系列チャネル情報(TSCI)を取得することであって、N1=N2*N3であり、N2は送信機上の送信アンテナの量であり、N3は受信機上の受信アンテナの量であり、各TSCIは送信機の個別の送信アンテナ及び受信機の個別の受信アンテナと関連付けられている、ことと、N1個のTSCIに基づいて、N4個の選択された投影を演算することであって、N4は正の整数である、ことと、N4個の選択された投影に基づいて、物体の動きと関連付けられたセンシングタスクを実行することと、を行うように構成される。
項B2.項B1のシステムであって、プロセッサは、トレーニングフェーズにおいて取得されたN1個のTSCIに基づいて演算されたN4個の選択された投影に基づいて、分類器をトレーニングするように更に構成される。
項B3.項B2のシステムであって、プロセッサは、N4個の選択された投影に基づいて、動作フェーズにおいて分類器に基づいて物体の動きを分類するように更に構成される。
項B4.項B3のシステムであって、プロセッサは、N4個の選択された投影に基づいて、動作フェーズにおいて分類器に基づいて物体の存在を検出するように更に構成される。
項B5.項B4のシステムであって、プロセッサは、動作フェーズにおいて順に、ある個数の存在検出手順を実行することと、いずれかの存在検出手順において物体の存在が検出された場合に、全ての後続の存在検出手順をスキップすることと、を行うように更に構成される。
項B6.項B5のシステムであって、プロセッサは、存在検出手順のうちの第1のものにおいて、分類器及びN4個の選択された投影に基づいて物体の遷移動作を検出することによって、物体の存在を検出することと、存在検出手順のうちの第2のものにおいて、N1個のTSCIからのCIのペアに基づいて演算された第1の動き統計値に基づいて、物体の運きを検出することによって、物体の存在を検出することと、存在検出手順のうちの第3のものにおいて、N1個のTSCIの自己相関関数(ACF)に基づいて演算された第2の動き統計値に基づいて、持続時間にわたって物体の周期的な動きを検出することによって、物体の存在を検出することと、を更に行うように構成される。
項B7.項B1のシステムであって、プロセッサは、N1個のTSCIに基づいて行列を演算することと、当該行列に基づいてセンシングタスクを実行することと、を行うように更に構成される。
項B8.項B7のシステムであって、プロセッサは、行列の複数の投影を演算することであって、複数の投影の各々はスカラであり、行列の固有値分解から得られる固有値、行列の特異値分解(SVD)から得られる特異値、行列の主成分分析(PCA)から得られる主成分値、行列の独立成分分析から得られる独立成分値、又は行列の別の分解から得られる値のうちの1つである、複数の投影からN4個の選択された投影を選択することと、を行うように更に構成される。
項B9.項B8のシステムであって、N4個の選択された投影は、複数の投影の各々の大きさに基づいて選択される。
項B10.項B9のシステムであって、N4個の選択された投影は、行列の複数の投影の中で最大の大きさを有するN4個の投影である。
項B11.項B7のシステムであって、プロセッサは、N1個のチャネル情報(CI)の連結としてサンプリングベクトルを決定することであって、N1個のCIの各々が、N1個のTSCIの個別のTSCIに由来する、ことと、サンプリングベクトルの共分散行列として行列を演算することと、を行うように更に構成される、。
項B12.項B11のシステムであって、共分散行列は、N1個のTSCIのスライディング時間ウィンドウに基づいて演算される。
項B13.項B12のシステムであって、N1個のCIの各々がN5個の成分を含み、N5が正の整数であり、サンプリングベクトルがN5*N1個の要素を有し、共分散行列がサイズ(N5*N1)x(N5*N1)である。
項B14.項B11のシステムであって、サンプリングベクトルのN1個のCIの全てが共通のタイムスタンプを有する。
項B15.、項B7のシステムプロセッサは、サンプリングベクトルが(N6*N1)CIを含むように、N1個のTSCIの各々からN6個のチャネル情報(CI)の連結としてサンプリングベクトルを決定することと、サンプリングベクトルの共分散行列として行列を演算することと、を行うように更に構成される。
項B16.項B15のシステムであって、共分散行列は、N1個のTSCIのスライディング時間ウィンドウに基づいて演算される。
項B17.項B16のシステムであって、N6個のCIの各々がN5’個の成分を含み、N5’が正の整数であり、サンプリングベクトルがN5’*N6*N1要素を有し、共分散行列がサイズ(N5’*N6*N1)x(N5’*N6*N1)である。
項B18.項B15のシステムであって、N6個の共通タイムスタンプが、N1個のTSCIのいずれかからのN6個のCIと関連付けられる。
項B19.項B18のシステムであって、N6個の共通タイムスタンプは、時間的に等間隔である。
項B20.項B1のシステムであって、プロセッサは、N1個のTSCIに基づいてN7個の行列を演算することであって、N7個の行列の各々は、個別のタイムスタンプと関連付けられ、共分散行列、相関行列、エルミート行列、対称行列、正の半定値行列、複数の行列のうちの行列、又は拡張行列のうちの少なくとも1つを含む、ことと、N7個の行列に基づいてセンシングタスクを実行することであって、N7が1よりも大きい整数である、ことと、を行うように更に構成される。
項B21.項B20のシステムであって、プロセッサは、N7個の行列の各々に基づいて複数の投影を演算することと、複数の投影からN4個の選択された投影を選択することと、を行うように更に構成される。
項B22.項B21のシステムであって、N4個の選択された投影は、複数の投影の各々の大きさに基づいて選択される。
項B23.項B22のシステムであって、N4個の選択された投影は、N7個の行列の全ての投影の中で最大の大きさを有するN4個の投影である。
項B24.項B22のシステムであって、N4個の選択された投影は、N7個の行列の各々のN8個の最大投影を含み、N8は正の整数であり、N4=N8*N7である。
項B25.項B20のシステムであって、N7個の行列と関連付けられたN7個のタイムスタンプは、時間的に均等に離間される。
項B26.無線センシングのためのシステムの無線デバイスであって、プロセッサと、通信可能にプロセッサと接続されたメモリと、通信可能にプロセッサと接続された受信機と、を備え、システムの追加の無線デバイスは、ベニューの無線マルチパスチャネルを通じて無線信号を送信するように構成され、無線マルチパスチャネルはベニュー内の物体の動きによって影響を受け、受信機は、無線マルチパスチャネルを通じて無線信号を受信するように構成され、受信される無線信号は、無線マルチパスチャネル及び物体の動きに起因して、送信された無線信号とは異なり、プロセッサは、受信された無線信号に基づいて、無線マルチパスチャネルのN1個の時系列チャネル情報(TSCI)を取得することであって、N1=N2*N3であり、N2は送信機上の送信アンテナの量であり、N3は受信機上の受信アンテナの量であり、各TSCIは送信機の個別の送信アンテナ及び受信機の個別の受信アンテナと関連付けられる、ことと、N1個のTSCIに基づいて、N4個の選択された投影を演算することであって、N4は正の整数である、ことと、N4個の選択された投影に基づいて、物体の動きに関連するセンシングタスクを実行することと、を行うように構成される。
項B27.項B26の無線デバイスであって、プロセッサは、トレーニングフェーズにおいて取得されたN1個のTSCIに基づいて演算されたN4個の選択された投影に基づいて、分類器をトレーニングすることと、N4個の選択された投影に基づいて、動作フェーズにおいて分類器に基づいて物体の動きを分類することと、N4個の選択された投影に基づいて、動作フェーズにおいて分類器に基づいて物体の存在を検出することと、を行うように更に構成される。
項B28.項B27の無線デバイスであって、プロセッサは、動作フェーズにおいて、ある個数の存在検出手順を順に実行することと、いずれかの存在検出手順において物体の存在が検出された場合に、後続の全ての存在検出手順をスキップすることと、存在検出手順の第1のものにおいて、分類器及びN4個の選択された投影に基づいて、物体の遷移動作を検出することにより、物体の存在を検出することと、存在検出手順の第2のものにおいて、N1個のTSCIからのCIのペアに基づいて演算された第1の動き統計値に基づいて、物体の動きを検出することにより、物体の存在を検出することと、存在検出手順の第3のものにおいて、N1個のTSCIの自己相関関数(ACF)に基づいて演算された第2の動き統計値に基づいて、ある持続時間にわたって物体の周期的な動きを検出することにより、物体の存在を検出することと、を更に行うように構成される。
項B29.無線センシングのための方法であって、ベニューの無線マルチパスチャネルを介して送信機から無線信号を送信することであって、無線マルチパスチャネルは、ベニューにおける物体の動きによって影響を受ける、ことと、無線マルチパスチャネルを介して受信機によって無線信号を受信することであって、受信される無線信号は、無線マルチパスチャネル及び物体の動きに起因して、送信された無線信号とは異なる、ことと、受信された無線信号に基づいて、無線マルチパスチャネルのN1個の時系列のチャネル情報(TSCI)を取得することであって、N1=N2*N3であり、N2は送信機上の送信アンテナの量であり、N3は受信機上の受信アンテナの量であり、各TSCIは、送信機の個別の送信アンテナ及び受信機の個別の受信アンテナと関連付けられる、ことと、N1個のTSCIに基づいて、N4個の選択された投影を演算することであって、N4は正の整数である、ことと、N4個の選択された投影に基づいて、物体の動きと関連付けられたセンシングタスクを実行することと、を含む。
項B30.項B29の方法であって、トレーニングフェーズにおいて得られたN1個のTSCIに基づいて演算されたN4個の選択された投影に基づいて、分類器をトレーニングすることと、N4個の選択された投影に基づいて、動作フェーズにおいて分類器に基づいて物体の動きを分類することと、N4個の選択された投影に基づいて、動作フェーズにおいて分類器に基づいて物体の存在を検出することと、を更に含む。
いくつかの実施形態では、本教示は、ベニュー内の物体の動きを監視する無線センシングシステムを開示する。本システムは、動き検出、存在検出、動き位置特定、呼吸検出、睡眠監視、転倒検出、人物認識、歩行検出、人数カウント、日常生活動作(ADL:activity of daily living)監視等の1つ以上の無線センシングタスクを実行しうる。いくつかの実施形態では、本教示は、独立型無線センシングタスクでありうる動き位置特定を開示する。それは更に、別のタスク(例えば、動き検出)と併せて実行されるコンパニオン無線センシングタスクであってもよい。例えば、ベニューにおいて動きが検出された場合に、動き位置特定は、ベニューにおけるリビングにおいて動きが検出されたことを検出するために実行されうる。
図27A及び図27Bは、本開示のいくつかの実施形態による、無線センシングのための例示的なシングルウェイ構成を示す。図27Bは、図27Aのデバイスの図表現である。図27A及び図27Bに示すように、デスクランプ2701は、Origin(RX)として機能する超電球であってもよく、2つのBot2702、2703があり、各Bot(TX)は、通常の電球であってもよい。いくつかの実施形態では、各TX 2702、2703は特定のCSIレートでサウンディング信号をブロードキャストしてもよい。即ち、TX1 2702によって送信されるサウンディング信号1及びTX2 2703によって送信されるサウンディング信号2は、異なるCSIレートと関連付けられうる。
いくつかの実施形態では、WiFiキャリアセンス多元接続(CSMA)が、各TXのための送信をスケジューリングするために使用される。Origin2701は、CSIを受信した後、TXの動き統計値(MS)を演算し、電球(TX1又はTX2)をオン又はオフにすべきかどうかを決定しうる。
図28は、本開示のいくつかの実施形態による、無線センシングのための例示的なマルチウェイ構成を示す。いくつかの実施形態では、図28のセンシングネットワーク内の全てのデバイスがセンシングに関して同一である。各デバイスは、特定のCSIレートでサウンディング信号をブロードキャストし、他のデバイスからCSIを取得しうる。WiFi CSMAが、各TXのための送信をスケジューリングするために使用されうる。各デバイスは、それ自体と他のデバイスとの間のリンクのセンシングデータ(例えば、動き統計値)を演算しうる。図28に示す図では、3つの位置1、2、3が存在する。したがって、各位置は、個別の送信機(TX)と個別の受信機(RX)とを有する。例えば、TX1 2811は位置1にあり、サウンディング信号1を位置2及び3にブロードキャストし、TX2 2821は位置2にあり、サウンディング信号2を位置1及び2にブロードキャストし、TX3 2831は位置3にあり、サウンディング信号3を位置1及び2にブロードキャストしうる。受信機側では、RX1 2812が位置1にあり、位置2及び3からサウンディング信号2及び3を受信し、RX2 2822は位置2にあり、位置1及び3からサウンディング信号1及び3を受信し、RX3 2832は位置3にあり、位置1及び2からサウンディング信号1及び2を受信しう。無線サウンディング信号に基づいて、システムは、様々な動き統計値ms):ms12、ms13、ms21、ms23、ms31、ms32を有しうる。ここで、msXYは、位置Xから位置Yに送信されるサウンディング信号に基づいてmsを表す。いくつかの実施形態では、全てのセンシングデータ(即ち、動き統計値)が、動き位置を決定するための更なる分析のために共通ノードに送り返される。いくつかの実施形態では、同じ位置におけるTX及びRXがトランシーバを形成するために、同じデバイスに物理的に結合されうる。他の実施形態では、同じ位置におけるTX及びRXが、2つの別個のデバイスに位置しうる。
図29は、マルチウェイセンシング、例えば、図28に示されるマルチウェイセンシングのためのセットアップを示す例示的な図を示す。図29に示されるように、3つの位置1、2、3は、同じ建物の3つの部屋1、2、3とされうる。リンク(デバイスリンク又は無線リンク)は、部屋の各ペアの間に確立される。例えば、リンク12は部屋1と部屋2との間に確立され、リンク23は部屋2と部屋3との間に確立され、リンク13は部屋1と部屋3との間に確立される。
図30は、本開示のいくつかの実施形態による、マルチウェイセンシングのための例示的な部屋セットアップを示す。図30に示すように、無線センシングのためのセンシングデバイスと共に展開される3つの部屋(Loc1、Loc2、Loc3)がある。各部屋には、Origin(受信機)とBot(送信機)の3つのデバイスがある。他の実施形態では、Origin及びBotの個数が図30とは異なり得、任意の正の個数でありうる。図30のマルチウェイセンシング設定は、3組のシングルウェイセンシング構造を統合することによって形成しうる。例えば、Loc2のBot 3021、Loc3のBot 3031、及びLoc1のOrigin 3015はシングルウェイセンシング構造の第1のセット(セット1)を形成し、Loc1のBot 3011、Loc3のBot 3032、及びLoc2のOrigin 3025はシングルウェイセンシング構造の第2のセット(セット2)を形成し、Loc1のBot 3012、Loc2のBot 3022、及びLoc3のOrigin 3035は、シングルウェイセンシング構造の第3のセット(セット3)を形成しうる。いくつかの実施形態では、同じ場所にあるBot及びOriginが同じデバイスに統合される場合、トランシーバは、図30に示されるように、3つのデバイスがマルチウェイセンシングを実行するのに十分である。
いくつかの実施形態では、反復テストを実行するために、ユーザ又はテスト目的は開始点から部屋Loc1に移動し、次いで、開始点に戻り、次いで、再び部屋Loc1に戻ることができる。ユーザは次いで、開始点に戻り、次いで、部屋Loc2に移動し、開始点に戻り、再び部屋Loc2に移動し、次いで、開始点に戻りうる。ユーザは次いで、開始点から部屋Loc3に移動し、次いで、開始点に戻り、次いで、部屋Loc3に戻り、次いで、開始点に戻りうる。反復テストは、ユーザが何らかの部屋に入り、次いでその部屋を出て、いかなる隣接する部屋にも入らずに開始点に戻ることができる現実世界のケースを模倣することである。理想的には、ユーザが部屋LocXに入った場合、LocX内のBotによってセンシングされる動き統計値が増加し、LocX内のOrigin付近の動きもまた、そのOriginに関連する全てのBotの動き統計値の増加をもたらす。
いくつかの実施形態では、遷移テストを実行するために、ユーザ又はテスト物体は開始点から部屋Loc1に移動し、次いで、部屋Loc2に移動し、次いで、部屋Loc3に移動し、次いで、開始点に戻りうる。遷移テストは、ユーザが1つの部屋に次々に入りうる現実世界のケースを模倣することである。理想的にはユーザが1つの部屋LocXから別の部屋LocYに移動する場合、LocXにおけるBotの動き統計値は減少するが、LocYにおけるBotの動き統計値は増加し、遷移が起こっていることを示す。
図31は、本開示のいくつかの実施形態による、マルチウェイセンシングのための別の例示的な部屋セットアップを示す。図31に示されるように、無線センシングのためのセンシングデバイスと共に展開される3つの部屋(Loc1、Loc2、Loc3)がある。各部屋には、Origin(受信機)とBots(送信機)の3つのデバイスがある。この場合も、反復テスト及び遷移テストは、図31のセットアップに従って、マルチウェイセンシングを使用して実行されうる。
図32は、本開示のいくつかの実施形態による、無線センシングのための例示的な方法を示す例示的な図を示す。いくつかの実施形態では、図32に示されるように、システムは、例えば、第1のタイミングウィンドウに基づいて、各Botについて平均動き統計値(MS')を演算し、次いで、MS閾値1(th1)に基づいてMS'を量子化しうる。次いで、システムは量子化されたMS'に基づいて各Botの尤度Lを演算し、次いで、第2のタイミングウィンドウに基づいて各Botの平均尤度L’を演算しうる。次いで、各Botについて、システムはL''=min(L'+a*max(MS'-th1,0),1)を演算し、次いで、L'''=L''-th2を演算しうる。ここで、th2は、Lについての第2の閾値である。いくつかの例では、全てのL''が0よりも大きく、システムはOrigin側で動きが起こったと判定しうる。他の実施例では、L''が0よりも大きくない場合、システムはL''>0であるBot側で動きが起こったと判定しうる。
図33は、本開示のいくつかの実施形態による、マルチウェイセンシングのための例示的な方法を示す例示的な図を示す。図33に示される方法のための例示的なセットアップが図29に示され、ここでは、それぞれ位置loc1、loc2、loc3に対応する、部屋1、2、3の各ペアの間にリンクが確立される。図33に示すように、システムは、リンクごとにMSを取得しうる。次いで、システムは、個々のリンク上のMSに基づいて、各位置のMSを演算する。例えば、ms(loc1)=ms(loc1)-ms(link12)+ms(link12)=0.5*(ms(1->2)+ms(1->2)+ms(1->3)-ms(3->1)-ms(3->2); ms(loc2)=ms(link12)+ms(link12)-23)=0.5*(ms(1->2)+ms(1->2)+ms(2->3)+ms(3->1)-ms(3->1)); ms(loc3)=ms(link13)+ms(link12)=0.5 ms(1->2)-ms(2->1))。リンク(リンク12、リンク23、リンク13)は、図29に戻って参照されうる。MS ms(X->Y)は、locXからlocYに送信される無線信号に基づいて演算されたMSを意味する。
いずれかの位置にあるMSが第1の閾値(th1)より大きい場合、全ての位置の中で最大のMSを有する位置であるmax(MS(Loc))に基づいて、動き位置(loc)が検出される。
図34は、本開示のいくつかの実施形態による、反復テストに基づく無線センシングのための応答時間の例示的性能を図示する。図34は、異なる部屋における3組のシングルウェイ構成及びマルチウェイ構成のMSを示す。更に、図34はマルチウェイ構造のための異なる部屋における、近接統計値(PS)、例えば、CSIの自己相関関数(ACF)又は自己共分散関数を示す。更に、図34は、マルチウェイ構造のための異なる部屋における最大比合成(MRC)ベースのMSを示す。
いくつかの実施形態では、MRCはサブキャリアを選択するが、近接統計値はサブキャリアの連続性に依存するので、MRCは動き統計値(近接統計値ではない)に適用される。MRCは、2つの方法で適用しうる。MRC1:リンクにMRCを別々に適用し、それらを平均して双方向リンクを形成し、例えば、loc1->loc2及びloc2->loc1にそれぞれMRCを適用し、それらを平均してloc1<->loc2を形成する。MRC2:2つの位置間の2つのリンク(例えば、loc1->loc2及びloc2->loc1)を一緒に合成し、全てのサブキャリア上にMRCを適用する、例えば、Tx/Rxの各ペアについて、52個のサブキャリアが存在し、したがって、loc1<->loc2について、104個のサブキャリアが存在する。
図35は、本開示のいくつかの実施形態による、反復テストに基づく無線センシングのための様々な比率の例示的な性能を示す。重複率は、重複時間とグラウンドトゥルースとの比率である。検出率は、正しく検出された時間とグラウンドトゥルースの全ての正の時間との比率である。誤警報率は、誤って検出された時間と、グラウンドトゥルースの全ての負の時間との比である。
いくつかの実施形態では、別のメトリックが動的信号の比率
Figure 2022191191000069
に基づいて考慮されうる。ダイナミック信号(x)の比率を得るために、システムは、Hd及びHsを最初に得るための振幅正規化及び位相クリーニングを行いうる。移動中の物体が近いほど、xは大きくなる。時間の経過に伴うウィンドウは演算に関与しないため、ウィンドウは適用されない。
図36は、図34と同様のパラメータ定義を有する、本開示のいくつかの実施形態による、遷移テストに基づく無線センシングのための応答時間の例示的性能を図示する。図37は、図35と同様のパラメータ定義を有する、本開示のいくつかの実施形態による、遷移テストに基づく無線センシングのための様々な比率の例示的な性能を図示する。いくつかの実施形態では、システムが異なる評価指標に異なる重みを付け、特徴の最終ランクをうることができる。例えば、(例えば、応答時間に基づく)検出遅延(DD)及び検出率(DR)を考慮し、DDがより重要である場合、0.8をDDランクに、0.2をDRランクに与える。
いくつかの実施形態では、システムにおいて、タイプ1ヘテロジニアス無線デバイス(無線送信機)は、無線サウンディング信号の系列を、タイプ2ヘテロジニアス無線デバイス(無線受信機)に送信しうる。タイプ1デバイスとタイプ2デバイスは、デバイスリンクを形成する。タイプ1デバイスは、M1個のアンテナを有しうる。タイプ2デバイスは、M2個のアンテナを有しうる。タイプ2デバイスは、受信された無線サウンディング信号に基づいて、チャネル情報(CI、例えば、CSI、CFR、CIR等)の個数(M3=M1*M2)の時系列を取得しうる。各CIは、それぞれの受信されたサウンディング信号に基づいている。各TSCIは、アンテナリンク(タイプ1デバイスの送信アンテナとタイプ2デバイスの受信アンテナとの間のリンクでありうる)と関連付けられうる。デバイスリンクと関連付けられたM個のアンテナリンクが存在しうる。各CIは、N個の成分(例えば、CFRの場合はN個のサブキャリア、又はCIRの場合はN個のタップ)を有しうる。各成分(CI成分)は複素数であってもよい。
動作位置特定:ベニューは、いくつかの領域(例えば、リビング、ダイニングルーム、キッチン、ベッドルーム1、ベッドルーム2、ベッドルーム3、レストルーム1、レストルーム2、1階、2階、地下、車庫、パティオ、デッキ等)に分割されうる。動き位置特定はTSCIに基づいて、物体動作が検出/関連付けられる位置(即ち、ベニュー内の領域のうちの1つ)を決定するための無線センシングタスクである。
システムセットアップ:ゼロ、1つ以上のタイプ1ヘテロジニアス無線デバイス(無線送信機、Tx、無線サウンディング信号をタイプ2デバイスに送信する)、又はタイプ2ヘテロジニアス無線デバイス(無線受信機、Rx、タイプ1デバイスから無線サウンディング信号を受信する)が、領域の各々に存在/インストールされうる。各領域は、システムのデバイス(タイプ1又はタイプ2)と関連付けられうる。
デバイス(システムのセンシングデバイス)は、タイプ1デバイス及びタイプ2デバイスのいずれか又は両方の役割を果しうる。デバイスのペアの間で、無線サウンディング信号は(例えば、802.11、802.11bf等のプロトコル又は標準に基づいて)一方向(タイプ1デバイスからタイプ2デバイス、s.t、TSCIはタイプ2デバイスで取得される)又は二方向(即ち、デバイスAからデバイスBへ、及びその逆に、結果として得られるTSCIが両方のデバイスで取得されうる)のいずれかで送信されうる。
ネットワーク構成:1つのケースでは、ほとんど(又は全て)のタイプ1デバイス及び/又はタイプ2デバイスが無線ネットワーク(インフラストラクチャモード)において無線アクセスポイント(AP)と関連付けられた/接続された非APデバイスでありうる。APは無線サウンディング信号がAPデバイスと非APデバイスとの間で送信されうるように、タイプ1又はタイプ2デバイスのうちの1つでありうる。無線サウンディング信号はまた、非APデバイスのペアの間で送信されうる。
別のケースでは、タイプ1及び/又はタイプ2デバイスは、アドホックネットワーク/ピアツーピアネットワーク中の非インフラストラクチャ中で動作していることがある。各デバイスは、近隣の関連付けられた/接続された/リンクされたデバイスに無線サウンディング信号を送信するためのタイプ1デバイスとして機能し、又は近隣のデバイスから無線サウンディング信号を受信するためのタイプ2デバイスとして機能しうる。
いくつかの実施形態では、ベニューの各領域がセンシングデバイスと関連付けられる。動き位置特定のターゲットは、ターゲットの検出(例えば、運動の検出、存在の検出、呼吸の検出、転倒の検出、睡眠の検出等)に関連する位置(領域)を見つけることである。
いくつかの実施形態では、本教示は、(検出されたターゲットの位置を決定するために)動き位置特定を実行するための基本アルゴリズムを開示する。
アルゴリズムのステップ1では、各デバイスリンクについて、リンクごとの動き統計値(リンクMS、又はLMS)を演算する。リンクMSは、ターゲットの検出を実行するための動き統計値(MS)でありうる。デバイスリンクの場合、大きなリンクMSは、ターゲットが検出される可能性/傾向がより大きいことを示唆しうる。単純なターゲット検出のために、システムが単にターゲットを検出することを望む場合、全てのLMSを組み合わせ/融合/集約させて、集約MSを形成しうる。ターゲットは、集約MSが閾値よりも大きい場合に検出しうる。リンクMSのいくつかの形成を次に示す。
リンクMSの第1の形式は、MRCを有するTRRSである。リンクMSは、2つのCIベクトルの時間相関、時間共分散、又はドット積でありうる。CIベクトルはベクトルの形で配置されたCIの成分(CI成分、例えば、CSIの成分、CFRのサブキャリア、CIRのタップ)を含む。リンクMSは、時間反転共振強度(TRRS:time reversal resonance strength)でありうる。2つのCIは、2つの時間的に隣接するCIでありうる。成分ごとの時間的相関、時間的共分散、又はドット積が演算されうる。リンクMSは、成分ごとの値の和、重み付き和、平均、及び/又は重み付き平均でありうる。最大比合成(MRC)が適用され得、各成分は、リンクMSを演算するために重み付けされる。成分の重みは、2つの隣接するCI間の成分の相関又は積に基づきうる。MRCは、(1)各アンテナリンクについて、それぞれのTSCIが取得されうるという2つの方法で適用されうる。MSは、それぞれのTSCIに基づいて各アンテナリンクについて演算されうる。各アンテナリンクについて、2つのCIベクトルの相関、共分散、又はドット積は、MRCを使用して重み付けされた成分ごとの値を用いて演算されうる。次いで、全ての相関、共分散、又はドット積を平均(又は重み付け平均)しうる。(2)全てのアンテナリンクは一緒に考慮される。全ての成分ごとの値は、全ての成分ごとの値に適用されるMRCと共に考慮される。
リンクMSの第2の形式は、尤度である。MSを、2つの時間的に隣接するCSIベクトルの相関、共分散、又はドット積とする。MSは、スライディング時間ウィンドウにわたって平均化/平滑化されうる。リンクMSは平滑化されたMSであってもよい。リンクMSが閾値(例えば、閾値より大きい場合は1であり、閾値より小さい場合は0(又は-1)である)でゲートされたMSであってもよい。
リンクMSの第3の形式は、新しいメトリックである。リンクMSは、全エネルギーにわたる動的エネルギーの一部であってもよい。総エネルギーは、動的成分(動的エネルギー)及び静的成分(静的/静的エネルギー)を含んでもよい。動的エネルギーは、総エネルギーから推定静的/定常エネルギーを引いたものとして推定しうる。静的/定常エネルギーは、いくらかの補正を伴って、長期間にわたって最小エネルギーとして推定されうる。補正は、スケーリング倍数又は加算オフセット又は組み合わせであってもよい。動的/静的エネルギー推定は、CSIの各成分に対して実行されうる。成分ごとの動的/静的エネルギー推定値は総動的/静的エネルギーを推定するために、(例えば、和、重み付け和、平均/算術平均、重み付け平均、幾何平均、調和平均として)結合/集約されうる。最大比合成(MRC)が適用されてよく、各成分は、総動的/静的エネルギーを演算するために重み付けされる。重みは、2つの隣接するCSI間の推定された相関に基づきうる。
リンクMSの第4の形式は、成分間統計値である。リンクMSは、成分間統計値であってもよい。例えば、全てのiについて、k個のインデックスが離れている任意の2つの成分、即ちi番目の成分と(i+k)番目の成分との間の相関又は共分散。例えば、成分間相関(k)は、sum_i[x(i)*x(i+k)]でありうる。重み付けは、成分間相関(k)がsum_i[w(i)*x(i)*x(i+k)]でありうるように適用されうる。重みw(i)は、MRCによって決定されてもよい。
アルゴリズムのステップ2において、各候補位置(候補領域)について、リンクMSのALLに基づいて、それぞれの位置に関する動き統計値(loc-MS)を演算する。loc-MSのいくつかの可能性のある形態を以下に示す。
loc-MSの第1の形式は、重み付け重み付け和である。loc-MSは、全てのリンクMSの重み付け和(線形結合)であってもよく、各リンクMSはスカラー乗算器によってスケーリングされてもよい(即ち、重みはスカラー乗算器であってもよい)。
loc-MSの第2の形式は、重み付け積である。loc-MSはまた、全てのリンクMSの重み付けされた積であってもよく、各リンクMSは電力まで上げられてもよい(即ち、重みは電力であってもよい)。
loc-MSの第3の形式は、多項式/電力の重み付き和であり、loc-MSはまた、各リンクMSの多項式(例えば、x^p、又は一般に、f(x)=sum_i(A_i*x^i))の重み付き和でありうる。ms(i)をi番目のデバイスリンクのリンクMSとする。i番目の候補位置に対するloc-MSは、f(ms(i))/{sum_k f(ms(k))}であってもよい。特殊なケースは{ms(i)}^p/sum_k{ms(k)^p}である。loc-MSは、スライディング時間ウィンドウにわたって平滑化/重み平均化されうる。
近傍に基づく重み決定:候補位置の「近傍」内の各デバイスリンクについて、loc-MS演算における関連するリンクMSの重みは正でありうる。候補位置の「近傍」の外側の各デバイスリンクについて、loc-MS演算における関連するリンクMSの重みは負でありうる。例えば、近傍には、候補位置を「含む」全てのデバイスリンクが含まれうる。デバイスリンクは、候補位置と関連付けられたセンシングデバイスがデバイスリンク内のタイプ1又はタイプ2デバイスのいずれかである場合、候補位置を「含み」うる。
距離に基づく重み決定:「距離」は、候補位置と各デバイスリンクとの間で定義されうる。距離は、デバイスリンクが候補位置に「より近い」ときに、より小さくなりうる。距離はデバイスリンクが候補位置からより遠く離れているとき、より大きくてもよい。デバイスリンクは2つのセンシングデバイス、例えば、A及びBを一緒に接続/リンクすることを思い出されたい。候補位置は、デバイスCと関連付けられる。例えば、「距離A」は、デバイスAがデバイスリンクを介して(例えば、アドホックネットワークにおいて)無線でデバイスCに到達することができる前に横断されるべき、ある個数(例えば、最小個数)の「ホップ」又はデバイスリンクのでありうる。同様に、「距離B」は、デバイスBがデバイスリンクを介して無線でデバイスCに到達することができる前に横断されるべき、ある個数(例えば、最小個数)の「ホップ」又はデバイスリンクのでありうる。候補位置とデバイスリンクとの間の距離は、距離A及び距離Bのうちの小さい方でありうる。デバイスCは、タイプ1又はタイプ2デバイスのうちの1つデバイスリンクがゼロの距離を有しうる。
特定の候補位置のloc-MSに対する2つのリンクMSの「相対的寄与」を考える。それらの相対的寄与はloc-MSが全てのリンクMSの線形結合(即ち、重み付けされた和)である場合、それらの重みでありうる。相対的寄与は、loc-MSが全リンクMSの重み付き積である場合、それらの重み/累乗でありうる。その関連デバイスリンクが候補位置までのより小さい距離を有する(即ち、より近い)リンクMSの相対的寄与はその関連デバイスリンクが候補位置までのより大きい距離を有するリンクMSの相対的寄与よりも大きい(例えば、より正であるか、又はより負である)場合がある。
アルゴリズムのステップ3では、ターゲット検出が実行される。いずれかのloc-MSが閾値よりも大きい場合、ターゲットが検出される。アルゴリズムのステップ4において、ターゲット位置決定が実行される。ターゲットが検出された場合、ターゲットの位置は、最大のloc-MSと関連付けられた候補位置として演算される。複数のターゲットが存在する場合、残りの候補位置について、いずれかの残りのloc-MSが別の閾値よりも大きい場合、第2のターゲットが検出されうる。第2のターゲットの位置は、残りの最大loc-MSに関連する残りの候補位置として演算されうる。3番目、4番目、...のターゲットは、同様の方法で検出しうる。
ヘテロジニアスデバイスリンクの補正訂正:デバイスリンクは、ヘテロジニアス/異なってもよい(例えば、それぞれ20/40/80/160/320/640MHzのもの、又はそれぞれ1/2/3/4/6/8/10/12アンテナペア、サウンディング周波数が1/10/100/1000Hz等のもの)ので、それぞれの(例えば、調整/適応決定された)ヘテロジニアス補正(例えば、単変量補正、多変量補正、加法性オフセット、スカラー多重、線形又は非線形マッピング/関数、適応非線形関数、フィルタリング、周波数ベース補正、時間補正、又は組み合わせ)が、各リンクMSに適用されてもよい。ヘテロジニアス補正は、loc-MSにおける重み付け(即ち、重み付けされた和又は重み付けされた積に使用される重み)と統合されても、統合されなくてもよい。
欠落リンク補償:無線ネットワークはアドホックネットワークでありうる。理想的なアドホックネットワークを完全に接続されたネットワークとする。いくつかの状況では、実際のアドホックネットワークが理想的なアドホックネットワークでありうる。より可能性の高い状況では、実際のアドホックネットワークは理想的でない場合があり、「理想的である」デバイスリンクの一部が欠落している。「欠落しているリンク」を、理想的な完全に接続されたネットワーク内に存在するが、実際のアドホックネットワーク内には欠落しているデバイスリンクとする。
loc-MSのためのリンクMSのための重みは、近傍において正であり、近傍の外側において負でありうることを想起されたい。異なる候補位置のloc-MSがターゲットの位置の判定のために適切に比較されうることを確実にするために、近隣内の欠落リンクは一方向に補償され得(欠落リンク補償)、近隣外の欠落リンクは他方向に補償されうる。欠落リンクを補償する1つの方法は、同じ種類の非欠落リンクにその重みを割り当てることでありうる。例えば、近隣内の欠落リンクの重みは、戦略に基づいて近隣内の非欠落リンクの間で(例えば、均等に又は不均等に)分散されうる。近隣外の欠落リンクの重みは、別の戦略に基づいて、近隣外の非欠落リンクの間で(例えば、均等に又は不均等に)分配されうる。代替的に、近隣の内側(又は外側)の欠落リンクの重みは、近隣の外側及び/又は内側の非欠落リンクの間で(例えば、戦略に基づいて均等に又は不均等に)分散されうる。
そのため、各候補位置の近傍は異なる。近傍の内側(又は外側)の欠落したリンクの集合は、異なっていてもよい。したがって、欠落リンク補償は、異なる候補位置に対して異なる可能性がある。
ツーウェイ/マルチウェイセンシング:2つのデバイス、例えば、デバイスAとデバイスBとの間のデバイスリンクの場合、2つのサウンディング信号は2つのTSCIが取得されうるように、両方向(AからBへ、及びBからAへ)で送信されうる。2つのTSCI(例えば、TSCI-1及びTSCI-2)は、デバイスリンクと関連付けられたリンクMSの演算において平均化されうる。2つのサウンディング信号のセンシング条件/設定/パラメータが異なる場合。2つの動き統計値、例えば、MS-1及びMS-2を演算してもよく、MS-1はTSCI-1に基づき、MS-2はTSCI-2に基づく。このデバイスリンクのためのリンクMSは、MS-1及びMS-2の重み付け平均でありうる。重みは、2つのサウンディング信号間の差を部分的に補償しうる。
図38は、本開示のいくつかの実施形態による、無線センシングのための例示的な方法3800のフローチャートを示す。様々な実施形態では、方法3800が上記及び本明細書に開示されるシステムによって実行されうる。動作3802において、複数のヘテロジニアス無線デバイスが決定され、ヘテロジニアス無線デバイスのうちの2つを各々が含む複数のデバイスリンクも決定される。2つのデバイスのうちの一方は送信機として機能し、他方は受信機として機能する。動作3804において、複数のデバイスリンクのそれぞれのデバイスリンクごとに、それぞれの無線信号が、ベニューの無線マルチパスチャネルを通じてそれぞれのデバイスリンクのそれぞれの送信機から送信される。無線マルチパスチャネルは、ベニュー内の物体の動きによって影響を受ける。動作3806において、それぞれの無線信号は、無線マルチパスチャネルを介してそれぞれのデバイスリンクのそれぞれの受信機によって受信される。それぞれの受信された無線信号は、ベニューの無線マルチパスチャネル及び物体の動きに起因して、それぞれの送信された無線信号とは異なる。動作3808において、それぞれのデバイスリンクのそれぞれの受信された無線信号に基づいて、無線マルチパスチャネルのそれぞれの時系列のチャネル情報(TSCI)が取得される。動作3810において、それぞれのTSCIに基づいて、それぞれのデバイスリンクについてそれぞれのリンクワイズ動き統計値(リンクMS)が演算される。動作3812において、全てのTSCI又は全てのリンクMSのうちの少なくとも1つに基づいて、物体の動きに関連するセンシングタスクが実行される。動作3814において、センシングタスクに関連するベニュー内の位置(ロケーション)が、全てのリンクMSに基づいて演算又は決定される。図38の動作の順序は、本教示の様々な実施形態に従って変更されうる。
いくつかの実施形態では、2つ以上のデバイスリンクが存在しうる(例えば、インフラストラクチャモードにおけるスターネットワーク/構成、又は非インフラストラクチャモードにおけるアドホック/ピアツーピアネットワーク)。各デバイスリンクにおいて、デバイス(タイプ1デバイス)は、TSCIが別のデバイスにおいて取得されるように、別のデバイス(タイプ2)にそれぞれの無線信号を送信する。デバイスは、2つ以上のデバイスリンクと関連付けられうる。デバイスは1つのデバイスリンクにおいてタイプ1デバイスとして機能し、別のデバイスリンクにおいてタイプ2デバイスとして機能しうる。リンクMSは、デバイスリンクごとに演算されうる。センシングタスク(例えば、呼吸検出、動き推定、転倒検出、歩行検出等)は、2つ以上のリンクMSに基づいて実行されうる。センシングタスクと関連付けられた位置は、リンクMSに基づいて演算されうる。
以下の番号付けされた項は、無線センシングの例を提供する。
項C1.無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ベニューにおける無線センシングシステムの複数のヘテロジニアス無線デバイスを決定することと、ある個数のデバイスリンクを決定することであって、各デバイスリンクは、ヘテロジニアス無線デバイスのうちの2つを含み、一方が、タイプ1デバイス(無線送信機)として機能し、他方がタイプ2デバイス(無線受信機)として機能する、ことと、ベニューの無線マルチパスチャネルを通じて、各デバイスのそれぞれのタイプ1デバイスからそれぞれの無線信号を送信することであって、無線マルチパスチャネルはベニューにおける物体の動きによって影響を受ける、送信することと、複数のデバイスリンクのそれぞれの個別のデバイスリンクについて、個別のデバイスリンクの個別の送信機から、ベニューの無線マルチパスチャネルを通じて個別の無線信号を送信することであって、無線マルチパスチャネルはベニュー内の物体の動きによって影響を受ける、ことと、無線マルチパスチャネルを通じて個別のデバイスリンクの個別の受信機によって個別の無線信号を受信することであって、個別の受信される無線信号は、ベニューの無線マルチパスチャネル及び物体の動きに起因して、個別の送信された無線信号とは異なる、ことと、個別のデバイスリンクの個別の受信された無線信号に基づいて、無線マルチパスチャネルの個別の時系列のチャネル情報(TSCI)を取得することと、個別のTSCIに基づいて、個別のデバイスリンクについてのリンクワイズ動き統計値(リンクMS)を演算することと、全てのTSCI又は全てのリンクMSのうちの少なくとも1つに基づいて、物体の動きと関連付けられたセンシングタスクを実行することと、全てのリンクMSに基づいて、センシングタスクと関連付けられたベニュー内のロケーション(位置)を演算することと、を含む。
項C2.項C1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、センシングタスクは、以下のうちの少なくとも1つを含む:物体の動きの検出、物体の動きシーケンスの検出、物体の動きのモニタリング、物体の動きの分類、物体の検出、物体の存在、出入り、物体のターゲット動きの検出、物体のターゲット動きの検出、物体の位置のモニタリング、物体の速度又は加速度の検出、物体の転倒の検出、物体の周期的動きの検出、物体の呼吸の検出、物体の心拍の検出、物体の呼吸のモニタリング、物体の睡眠の検出、物体の睡眠状態の検出、物体の睡眠状態の検出、迅速眼球運動(REM)、非REM(NREM)、又は物体の覚醒状態、物体の睡眠の監視、音声の検出、物体の発話又は音の検出、スピーチの監視、物体の発話又は音の監視、スピーチの発話又は音の強調、スピーチの発話又は音の強調、物体の発話又は音の検出、物体の歩行の検出、物体の歩行の検出、物体のジェスチャの検出、物体の手書きの検出、物体のカウント、物体のユーザ入力の検出。いくつかの可能性のあるリンクMS。異なるセンシングタスクは、異なるリンクMSを必要としうる。
項C3.項C1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、個別のTSCIに基づいて演算されるリンクMSは、以下のうちの少なくとも1つを含む:時間反転共振強度(TRRS)、特徴、大きさ、位相、平均、移動平均、中央値、平均、移動平均、モード、統計的特性、分散、標準偏差、分散、絶対変動、二乗変動、分散、分散、変動、分散、変動、システム歪み、歪み、システム歪み、公差、エントロピー、規則性、類似性、確率分布関数、モーメント生成関数、相関、相互相関、自己相関、相関指標、相関係数、相関係数、成分ごとの相関、自己相関関数(ACF)の特徴、共分散、相互共分散、自己共分散、自己共分散、コンポーネントごとの共分散、コンポーネントごとの共分散、2つのベクトルの内積、外積、内積、射影、類似性スコア、距離スコア、距離スコア、ユークリッド距離、絶対距離、グラフ距離、識別スコア、ノルム、メトリック、品質メトリック、信号品質条件、周期性、反復性、衝動性、変化、再発、周期、期間、時間、持続時間、タイミング、時間傾向、リズム、周波数、スペクトル、総エネルギー、静的エネルギー、総エネルギーの時間的最小値、補正を伴う総エネルギーの時間的最小値、動的エネルギー、総エネルギーと静的エネルギーの差。
項C4.項C1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、個別のTSCIを前処理することと、平滑化フィルタに基づいて個別のリンクMSを時間平滑化することと、を含む。
リンクMSに対して補正を行う(例えば、リンクMSのオフセットを加算するリンクMSを倍率でスケーリングする、loc-MSの演算においてリンクMSの重みを調整する等)。デバイスリンクにおいて経験されるヘテロジニアスの特性(例えば、異なる帯域幅、異なるアンテナ特性、異なるゲイン設定、異なるハードウェア/ソフトウェア/ファームウェア、異なる無線ハードウェア/モジュール/チップ/IC、異なる干渉露光、異なる雑音レベル等)を考慮することが、補正でありうる。
項C5.項C1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、タイプ1デバイス、タイプ2デバイス、及び特定のデバイスリンクと関連付けられた無線信号の特性に基づいて、特定のデバイスリンクと関連付けられた特定のリンクMSに補正を適用することを含む。
項C6.項C1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、補正は、事前決定されるか、又は適応的に決定されるかのうちの少なくとも1つである。
リンクMSは、複数の候補リンクMSを集約すること(例えば、重み付け和、平均、トリミングされた平均、二乗平均平方根、重み付け積等)によって演算されうる。それぞれの候補リンクMSは、個別のTSCIに基づいて演算されうる。
項C7.項C1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、特定のデバイスリンクと関連付けられた特定のタイプ1デバイス及び特定のタイプ2デバイスのうちの少なくとも1つが、2つ以上のアンテナを備えることと、特定のデバイスリンクの特定の受信無線信号に基づいて、無線マルチパスチャネルの2つ以上の特定のTSCIを取得することと、個別の特定のTSCIに基づいて、2つ以上の候補リンクMSを演算することと、2つ以上の候補リンクMSを集約して、特定のデバイスリンクと関連付けられた特定のリンクMSを演算することと、のうちの少なくとも1つを含む。
各CIは、2つ以上の成分(例えば、CFR中のサブキャリア、CIR中のタップ)を有してよく、候補/成分リンクMSは、2つ以上の成分に基づいて演算されうる。1つの成分/候補リンクMSは、1つの成分、又は2つ以上の成分に基づいて演算されうる。成分リンクMSは、成分間統計、例えば、2つの成分間の相関(成分指数の差が1、2、3、...等)であってもよい。リンクMSは、複数の成分/候補リンクMSを集約する(例えば、重み付け和、平均、トリム平均、二乗平均平方根、重み付け積等)ことによって演算されうる。
項C8.項C1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、特定のデバイスリンクと関連付けられた特定のTSCIの各チャネル情報(CI)は、2つ以上の成分を含むことと、特定のTSCIのCIの2つ以上の成分に基づいて、2つ以上の候補リンクMSを演算することと、特定のTSCIに基づいて、特定のデバイスリンクのための特定のリンクMSを演算するために、2つ以上の候補リンクMSを集約することとを、を含む。
項C9.項C1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、特定のデバイスリンクの特定の受信された無線信号に基づいて、無線マルチパスチャネルの2つ以上の特定のTSCIを取得することであって、各特定のTSCIの各チャネル情報(CI)は2つ以上の成分を含むことと、1つ以上の特定のTSCIの各々について、個別の特定のTSCIのCIの2つ以上の成分に基づいて、2つ以上の個別の成分リンクMSを演算することと、特定のデバイスリンクの個別の候補リンクMSを演算するために、2つ以上の候補リンクMSを集約することと、特定のデバイスリンクと関連付けられた特定のリンクMSを演算するために、2つ以上の候補リンクMSを集約することと、を含む。
成分/候補リンクMSを合成する際に、MRCが使用されうる。
項C10.項C7、8又は9の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、最大比合成(MRC)に基づいて、2つ以上の候補リンクMSを集約することを含む。
ベニューは、複数の領域に区分/分割されうる。領域は、重複していても、重複していなくてもよい。位置(ロケーション)は、センシングタスクがどの領域で検出されるかのインジケーションであってもよい。
項C11.項C1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ベニューを複数の領域に分割することであって、各領域は、センシングタスクと関連付けられた候補位置である、ことと、各領域をヘテロジニアス無線デバイス関連付けることと、複数の候補位置のうちの1つとして、センシングタスクと関連付けられた位置を演算することと、を含む。
リンクMSに基づいて、各候補位置について位置ワイズMS(loc-MS)を演算する。
項C12.項C11の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、全てのリンクMSに基づいて各候補位置のそれぞれのロケーションワイズ動き統計値(loc-MS)を演算することと、全てのloc-MSに基づいて位置を演算することと、を含む。
最大のloc-MSを有する候補位置として位置(ロケーション)を演算する。
項C13.項C12の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、複数のloc-MSの測度を比較することと、少なくとも1つのloc-MSが閾値よりも大きい測度を有する場合、センシングタスクと関連付けられたターゲットを検出することと、を含む。
最大のloc-MSを有する候補位置として位置(ロケーション)を演算する。
項C14.項C13の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、複数のloc-MSの中で最大値である速度を有するloc-MSを有する候補位置として、ターゲットの位置を演算することを含む。
最大のloc-MSを有する候補位置として位置(ロケーション)を演算する。
項C15.項C14の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、複数の候補位置からターゲットの位置を除去することと、残りの候補位置と関連付けられた少なくとも1つのloc-MSが第2の閾値よりも大きい測定を有する場合、センシングタスクと関連付けられた第2のターゲットを検出することと、loc-MSが複数のloc-MSの中で最大である測定を有する、残りの候補位置のうちの1つとして、第2のターゲットの第2の位置を演算することと、を含む。
項C16.項C12の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、loc-MSは、以下のうちの少なくとも1つを含む:全てのリンクMSの、和、重み付けされた積、一般化、重み付けされた和、一般化、重み付けされた差、線形結合、四分位一般化、重み付けされた一般化、算術一般化、調和一般化、算術調和一般化、セサロ一般化、カイシニ一般化、コントラ調和一般化、要素調和一般化、幾何調和一般化、ハインツ一般化、ヘロニアン一般化、アイデントリック一般化、対数一般化、移動一般化、ニューマン・サンダー一般化、準算術一般化 重み付き調和一般化、中央値、重み付き中央値、モード、重み付きモード、関数の重み付き和、関数の重み付き積、関数の重み付き一般化、関数の重み付き一般化、関数の重み付き算術一般化、関数の重み付き算術一般化、関数の重み付き幾何一般化、関数の重み付き調和一般化、二乗一般化、二乗一般化、又は重み付き二乗一般化平方根。
loc-MSの定義のための可能性のある関数。
項C17.項C16の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、関数は、以下のうちの少なくとも1つを含む:線形関数、区分線形関数、二次関数、多項関数、再帰関数、多項関数、基本関数、対数関数、指数関数、三角関数、双曲線関数、連続関数、微分関数、因子関数、閾値関数、インジケータ関数、定数関数、射影関数、関数、単変量関数、多変量関数、補関数、誤差関数、ガンマ関数、系列、テイラー系列、多項式系列、超幾何系列、分布関数、累積分布関数、尤度関数、サンプリング関数、量子化関数、単調関数、単調非増加関数、又は単調非減少関数。
loc-MSは、重み付けされた量(重み付けされた和、重み付けされた積等)でありうる。全てのデバイスリンクを2つのグループに分割する(例えば、正の重みを持つグループと負の重みを持つグループ)。グループ1の重みは、グループ2の重みよりも大きくてもよい。グループ1の重みは、全て等しいものとしうる。グループ2の重みは、全て等しくてもよい。異なる候補位置の場合、分割は異なることがある。
項C18.項C12の無線センシングシステムの方法/装置/システム/ソフトウェアであって、loc-MSは、全リンクMSの重み付け和、各リンクMSの関数の重み付け和、全リンクMSの重み付け積、又は各リンクMSの関数の重み付け積のうちの1つを含み、重み付け和において、各リンクMS又は各リンクMSの関数はそれぞれの重みによってスケーリングされ、重み付け積において、各リンクMS又は各リンクMSの関数は、それぞれの重み付け電力に上昇され、特定のヘテロジニアス無線デバイスと関連付けられた特定の候補位置について、全デバイスリンクを第1のグループ及び第2のグループに分割し、重み付け和において第1のグループと関連付けられた各リンクMSの重みが、第2のグループと関連付けられた任意のリンクMSの重みよりも大きくなるように、特定の候補位置について軌跡MSを演算することを含む。
グループ1についての正の重み。グループ2についての負の重み。
項C19.項C18の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、特定の候補位置について、特定の候補位置についてのloc-MSを、第1のグループと関連付けられた各リンクMSについての正の重みと、第2のグループと関連付けられた各リンクMSについての負の重みとを用いて演算することを含む。
距離1のデバイスリンクは、グループ1にありうる。他のデバイスリンクは、グループ2にありうる。
項C20.項C18の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、第1のグループが、タイプ1デバイス又はタイプ2デバイスのうちのいずれか1つが特定のヘテロジニアス無線デバイス任意のデバイスリンクを含む。
距離1及び距離2のデバイスリンクは、グループ1にありうる。他のデバイスリンクは、グループ2にありうる。
項C21.項C20の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、第1のグループは、特定の候補位置のための任意の距離1のデバイスリンクを含み、第1のグループは、タイプ1デバイス及びタイプ2デバイスのうちの一方は、特定のヘテロジニアス無線デバイスリンクであり、タイプ1デバイス及びタイプ2デバイスのうちの他方は、特定の候補位置のための距離1のデバイスと見なされ、第1のグループは更に、特定の候補位置のための、追加のデバイスリンクである任意の距離2のデバイスリンクを含み、追加のデバイスリンクの、タイプ1デバイス及びタイプ2デバイスのうちの一方は、特定の候補位置のための距離1のデバイスであり、タイプ1デバイス及びタイプ2デバイスのうちの他方は、特定の候補位置のための距離2のデバイスと見なされる。
距離1のデバイスは、距離2のデバイスよりも大きい重みを有しうる。距離1のデバイスは、距離2デバイスよりも特定の候補位置に近くてもよい。
項C22.項C21の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、距離1のデバイスリンクの重みは、距離2のデバイスリンクの重み以上である。
グループ1デバイスは、再帰的により多くの距離kデバイスリンクを有しうる。他のデバイスリンクは、グループ2にあってもよい。
項C23.項C21の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、第1のグループは更に、任意の追加のデバイスリンクを再帰的に含み、当該リンクの、タイプ1デバイス及びタイプ2デバイスのうちの一方が、特定の候補位置のための距離kのデバイスであり、タイプ1デバイス及びタイプ2デバイスのうちの他方が、特定の候補位置のための、距離(k+1)のデバイスと見なされる。
距離kのデバイスは、距離(k+1)のデバイスよりも大きい重みを有しうる。距離kのデバイスは、距離(k+1)デバイスよりも、特定の候補位置に近くてもよい。
項C24.項C23の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、距離kのデバイスリンクの重みは、距離(k+1)のデバイスリンクの重み以上である。
デバイスリンクは3つのグループ、即ち、正の重みを有する1つのグループ、負の重みを有する1つのグループ、ゼロの重みを有する1つのグループに区分されうる。
項C25.項C18の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、特定の候補位置について、全てのデバイスリンクを第1のグループ、第2のグループ、及び第3のグループに区分することと、重み付けされた和中の第1のグループに関連する各リンクMSについての重みが、第2のグループ及び第3のグループに関連する任意のリンクMSについての重みよりも大きく、重み付けされた和中の第3のグループに関連する各リンクMSについての重みが、第2のグループに関連する任意のリンクMSについての重みよりも大きくなるように、特定の候補位置についてのloc-MSを演算することと、を含む。
項C26.項C25の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、特定の候補位置について、第1のグループと関連付けられた各リンクMSについての正の重みと、第2のグループと関連付けられた各リンクMSについての負の重みと、第3のグループと関連付けられた各リンクMSについてのゼロの重みとを用いて、特定の候補位置についてのloc-MSを演算することを含む。
二方向サウンディング(AからBへ、またBからAへ送信される無線信号)を有する特定のリンクの場合、2つのデバイスリンクがありうる。2つの関連するリンクMSの重みは、loc-MSの演算において同一であっても、同一でなくてもよい。2つのそれぞれのリンクMSは、二重カウントを回避するために集約されうる(例えば、平均、重み付け平均、二乗平均平方根、幾何平均、重み付け幾何平均)。
項C27.項C18の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、2つのデバイスリンクが無線信号が両方向に送られるように2つの特定のヘテロジニアス無線デバイスと関連付けられ、TSCIが両方のデバイスで取得されることを含み、2つのデバイスリンクと関連付けられた2つのリンクMSが、特定の候補位置についてのloc-MSの演算において同一の重みを有する。
2つのそれぞれのリンクMSは二重カウントを回避するために、2つのリンクMSの集約(例えば、平均、重み付け平均、二乗平均平方根、幾何平均、重み付け幾何平均)によって置き換えられうる。
項C28.項C18の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、特定の候補位置のためのloc-MSの演算における2つのリンクMSのアグリゲーションに等しい単一のリンクMSによって2つのリンクMSを置き換えることを含む。
項C29.項C18の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、
システム内の全てのデバイスリンクの第1の集合を、複数のヘテロジニアス無線デバイスの完全に接続された構成における全ての可能なデバイスリンクの第2の集合と比較することと、第2の集合内に存在するが第1の集合内には存在しないデバイスリンクである少なくとも1つの欠落デバイスリンクを決定することと、各欠落デバイスリンクについての仮想重みに基づいて、loc-MSの演算における第1の集合内のデバイスリンクの重みに補正を適用することと、を含む。
項C30.項C29の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、全ての可能なデバイスリンクの第2の集合を拡張された第1のグループと拡張された第2のグループとに区分することであって、第1のグループは拡張された第1のグループのサブセットであり、第2のグループは、拡張された第2のグループのサブセットである、ことと、第1のグループ内のデバイスリンクに第1の欠落デバイスリンクの仮想重みを分配することによって、拡張された第1のグループ内の第1の欠落デバイスリンクに関連する補正を適用することと、第2のグループ内のデバイスリンクに第2の欠落デバイスリンクの仮想重みを分配することによって、拡張された第2のグループ内の第2の欠落デバイスリンクに関連する補正を適用することと、を含む。
いくつかの実施形態では、無線センシングを用いて日常生活動作(ADL)を監視するためのシステム及び方法が開示される。無線センシングでは、システムが人の動き及び動きの位置を検出することができ、そのような情報に基づいて、人の活動を推測しうる。いくつかの実施形態では、1つのOrigin及びN個のBotを有するシステムについて、日常生活動作を監視するための以下のステップを含む例示的なアルゴリズムが以下のように説明される。
ステップ1:全てのOrigin-BotペアのCSI時系列、及び各時間インスタンスt及び各Bot iに基づいて、動き統計値MS(t,i)、微小動き統計値MM(t,i)、及び呼吸数BR(t,i)を演算する。
ステップ2:ステップ1から得られた値に基づいて、動作及び呼吸検出を実行する。人の動きは強くても弱くてもよく、又は呼吸のみが検出されうるほど弱くてもよいので、複数の特徴が考慮されうる。例えば、(マクロセル)動き検出から、比較的強い運動をセンシングすることができ、微小動き統計値から、中/低運動をセンシングすることができ、呼吸検出から、ほとんど運動していない静止している人の存在を推測しうる。アルゴリズムの入力は、MS(t,i)、MM(t,i)、及びBR(t,i)を含みうる。出力は、[Loc、Level]として示される動き位置及び動きレベルであってもよい。Originに近い動きは、2つ以上のBotに対して非負のMS(t,i)をもたらす可能性があり、動きがない可能性があるので、Loc又はレベルのベクトルは、N+2の次元を有する。このステップは、サブステップS2a~S2cを含みうる。
ステップS2aにおいて、少なくとも1つのBot iについてMS(t,i)>=Th0である場合、動き検出及び位置特定を実行する。監視領域に1人の人がいる場合、システムはその人がBot i*に近いか、又はBot i*に関連する領域にいると決定することができ、MS(t,i*)が全ての{MS(t,j)}、j=1、2..Nの中で最大である場合、MS(t,i)>=Th0がN/2以上のBotについて成り立つ場合、動きはOriginに近い。動き位置に加えて、システムは、人の動きの強度を反映しうるMS(t,i)の関数として動きレベルを定義することもできる。例えば、強/中/低動作は、それぞれ[0.7,1]、[0.45,0.7]、[0.2,0.45]におけるMSに対応する。
ステップS2b:全てのN個のBotに対してMS(t,i)<Th0である場合、微小動作検出及び位置特定を実行する。微小動き統計値MM(t,i)を定義する1つの方法は微小動作(MM)についての付録Vに記載されている。MM(t,i)>=Th1である場合、微小動作が検出され、これは、人がBot iに近いか、又はBot iに関連する領域内にいることを意味する。MMはまた、人の軽度の動きの強度を反映し、動きレベルはステップS2aにおけるものと同様に定義することができ、おそらく異なる閾値を有する。
ステップS2cにおいて、全てのN個のBotについてMM(t,i)<Th1である場合、即ち、監視領域がほとんど動きを伴わずに静止している場合、呼吸検出及び位置特定を実行する。BR(t,i)は、呼吸推定方法に基づく呼吸数推定値を示す。BR(t,i)が[BR_min,BR_max](人間の呼吸数範囲を意味する)内にある場合、Bot iに関連する領域において人が検出される。動きレベルと同様に、システムは、呼吸レベルを、呼吸強度又は静止性を反映する「重い」又は「軽い」と定義しうる。呼吸レベルは、時間窓において呼吸を検出することができる時間比に依存する。例えば、10秒のウィンドウにおいて、呼吸が5秒を超えて検出された場合、呼吸レベルは「高」であり、そうでない場合、「低」である。ヒューリスティック又はマルコフ連鎖モデリングに基づく状態機械が、活動監視のロバスト性を改善するために導入されうる。例えば、1人の場合、tにおいて、BR(t,i)は[BR_min,BR_max]内にあり、t+1において、BR(t+1,j)は[BR_min,BR_max]内にあり、jは、tとt+1との間で動きが検出されることなく、Iに等しくない。
ステップ3:ステップ2の出力は、(Loc、レベル)又は(0、0)として示しうる動き位置及びレベルである。各サンプルにおいて、方法が検出結果を出力する場合、ハードウェアの不完全性又は伝搬のダイナミクスのため、出力はノイズが多く、真の連続的な活動を反映することができない。非連続的なアクティビティを除去する可能な方法は、結果を平滑化するためにアクティビティ位置検出及びレベル推定を追加することである。例えば、30秒のウィンドウごとに、状態変化オン(Loc、Level)が少なくとも5秒間連続して維持され、次いで、システムはそれを、監視されるエリアにおける実際の変化として扱うことができ、そうでない場合、状態は変化されない。
精度を向上させるために、状態機械を定義することができ、可能性の低い遷移をフィルタリングしうる。例えば、以下の表記を使用する: B:呼吸、N:信号なし、MM:微小動作、2つの隣接するタイムスロットにおける様々な状態間の以下の遷移が起こりにくい:(loc_i、B)->(no_loc、N);(loc_i、B)->(loc_j、B);(loc_i、B)->(loc_j、MM);(loc_i、MM)->(loc_j、MM);(loc_MM)->(loc_j、B);(loc_M)->(loc_j、B)、ここで、loc_i及びloc_jはそれぞれ、位置i及び位置jを示す。
図39は、無線センシングのために使用される3つのBot及び1つのOriginがあると仮定した場合の、無線センシングのためのADL(日常生活動作)融合エンジンの例示的な概略を示す。図40~図41は、本開示のいくつかの実施形態による、ADLベースの無線センシングシステムのリンク検出のための例示的な図を示す。図40は、通常動作(RM)及び微小動作(MM)リンク検出の動作を示す。図41は、呼吸(BR)リンク検出の動作を示す。
図42~図45は、本開示のいくつかの実施形態による、ADLベースの無線センシングシステムの位置検出のための例示的な図を示す。図42~図43は、RM位置検出の動作を示す。図44は、MM位置検出の動作を示す。図45は、BR位置検出の動作を示す。図46は、本開示のいくつかの実施形態による、ADLベースの無線センシングシステムの選択動作のための例示的な図を図示する。
いくつかの実施形態では、本教示がスター構成で配置された2つ以上のデバイスリンクでキャプチャされたTSCIに基づいて、ベニュー内の物体の位置及び/又は動きを演算する無線センシングシステムを開示する。例えば、センタデバイスはWiFiネットワーク中のAP、又はモバイル通信中の基地局(例えば、4G/5G/6G/7G/8G)でありうる。
いくつかの実施形態では、N1+1個の無線デバイスがN1個のデバイスリンクを有する、システム内のスター構成を形成しうる。各デバイスリンクは、2つのデバイスを無線でリンクし、一方はタイプ1デバイス(送信機)であり、他方は受信機である。スター構成の中心にあるデバイス(中央デバイス)は、いくつかのデバイスリンクではタイプ1として機能し、他のデバイスリンクではタイプ2として機能しうる。
N1個のデバイスリンクの各々について、タイプ1デバイスは、無線信号(サウンディング信号)をタイプ2デバイスに送信する。TSCIは、タイプ2デバイスで取得される。リンクMSは、TSCIに基づいて演算されうる。リンクMSは、タイプ2デバイスにおいてローカルで、又は別のデバイスにおいて非ローカルで、又はリモートで、演算されうる。リンクMSは、N1+1個のデバイス(例えば、中央デバイス)、別のデバイス、ローカルサーバ、又はクラウドサーバのうちの別のものに送信されうる。あるいは、TSCIは、タイプ1デバイス(例えば、11bfに基づく中央デバイス)に報告されてもよく、リンクMSは、タイプ1デバイスにおいて非ローカルに演算されてもよい。ベニューにおける物体の動きの位置は、N1リンクMSに基づいて決定されうる。
以下の番号付けされた項は、無線センシングのための追加の例を提供する。
項D1.無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ベニュー内の無線センシングシステムのN1+1個のヘテロジニアス無線デバイスをスター構成でN1個のデバイスリンクを形成するように構成することであって、各デバイスリンクは無線でリンクされた2つのデバイスを備え、一方はタイプ1デバイス(無線送信機)として機能し、他方はタイプ2デバイス(無線受信機)として機能し、1つのデバイスはスター構成の中央位置にあり、一方のデバイスは全てのN個のデバイスリンクにあり、一方、残りのN1個のデバイスの各々はN1個のデバイスリンクのうちの1つにおいて、スター構成の非中央位置にあり、N1>1である、ことと、N1個の無線信号を、それぞれのデバイスリンクのそれぞれのタイプ1デバイスから送信される、ベニューの無線マルチパスチャネルを通じて送信することであって、無線マルチパスチャネルはベニュー内の物体の動きによって影響を受ける、ことと、無線マルチパスチャネルを通じてN1個の無線信号を受信することと、それぞれのデバイスリンクのそれぞれのタイプ2デバイスによって受信された信号であって、それぞれの受信された無線信号はベニューの無線マルチパスチャネル及び物体の動きによって、それぞれの送信された無線信号とは異なり、それぞれのプロセッサ、それぞれのメモリ及びそれぞれの命令のセットを使用して、それぞれのデバイスリンクのそれぞれの受信された無線信号に基づいて、N1受信された無線信号に基づいて、無線マルチパスチャネルのN1個の時系列のチャネル情報(TSCI)を取得することと、N1デバイスリンクに関連するN1リンクごとの動き統計値(リンクMS)を、それぞれのTSCIに基づいて演算されたそれぞれのデバイスリンクに関連するそれぞれのリンクMSで演算することと;N1リンクMSに基づいて、物体に関連する位置を演算することと、を含む。
ベニューは、無線デバイスに基づいてN1+1個の領域に区分されうる。各無線デバイスは、領域と関連付けられる。ベニューにおける物体の動きの位置は、リンクMSに基づいて、N1+1個の領域(「候補位置」と呼ばれる)のうちのいずれか1つとして演算されうる。
項D2.項D1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ベニューをN1+1個の領域に区分することであって、各領域は物体と関連付けられた候補位置で区分することと、N1+1個の領域をN1+1個のデバイスと関連付けることであって、各領域はそれぞれのデバイスと関連付けることと、N1個のリンクMSに基づいて、N1+1個の候補位置のうちの1つとして位置を演算することと、を含む。
可能性のあるリンクMS。リンクMSは、これらのうちの1つ、又は2つ、又は3つ、又はそれ以上を含むことができる。リンクMSは、3つのアイテム、即ち、動き統計値(TRRS、又はCIの時間的相関(又はCIの特徴)、又は2つのCIベクトル(又はCI特徴の2つのベクトル)の内積、又は大きい動き統計値)、微小動き統計値(平均化又は重み付け平均化を使用して集約されたCI(又はCI特徴)と、場合によってはMRCとの相関)、呼吸統計(CIの自己相関関数の特徴に基づいて演算された)を含みうる。特性特徴は、最大であってもよい。
項D3.項D2の無線センシングシステム方法/システム/ソフトウェアであって、それぞれのTSCIの各チャネル情報(CI)は、少なくとも1つの成分を含み、リンクMSの各チャネル情報は、以下のうちの少なくとも1つを含む:動き統計値、微動統計、成分ごとの動き統計値、ブリージング統計、時間反転共振強度(TRRS)、特性、大きさ、位相、平均、移動平均、中央値、分散、変動、微分、傾き、絶対変動、二乗変動、分散、偏差、偏差、範囲、歪度、尖度、正則性、確率分布関数、モーメント母関数、相関、自己相関、相関係数、成分ごとの相関、共分散、自己共分散、自己共分散の特性、成分ごとの共分散、2つのベクトルの内積、ユークリッド距離、距離スコア、距離スコア、投影、相似性スコア、内積、絶対距離、グラフ距離、識別スコア、ノルム、指標、質、指標、信号品質条件、周期性、反復性、衝動性、変化、周期、期間、持続時間、時間、タイミング、時間トレンド、リズム、周波数、スペクトル、全エネルギー、静的エネルギー、全エネルギーの時間的最小、補正を行った全エネルギーの時間的最小、動的エネルギー、全エネルギー又は静的エネルギーの差。
位置をN1+1個の候補位置の1つとして選択する方法。位置は、N1リンクMSの大多数がそれぞれ選択基準を満たしている(例えば、それぞれのリンクMSが第2の閾値よりも大きい)場合、中央候補位置として選択される。有意な過半数は、第1の閾値(例えば、100%、90%、80%等)以上のパーセンテージとして表されうる。位置は、選択基準を満たすN1リンクMSの大多数が存在しない場合、N1個の非中央候補位置のうちの1つとして選択される。選択された非中央候補位置は、リンクMSが全てのリンクMSの中で最大である位置であってもよい。
項D4.項D2の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、選択基準を満たす全てのN1個のデバイスリンクと関連付けられた全てのN1個のリンクMSのパーセンテージが第1の閾値以上である場合、セントラルデバイスと関連付けられたセントラル候補位置として位置を選択することを含む。
項D5.項D4の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、第1の閾値が100%である。
項D6.項D4の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、デバイスリンクに関連する選択基準が、デバイスリンクに関連するリンクMSが第2の閾値を超えることである。
項D7.項D4の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、選択基準を満たす全てのN1個のデバイスリンクと関連付けられた全てのN1個のリンクMSのパーセンテージが、第1の閾値未満であり、かつ、特定の非中央候補位置と関連付けられた特定のリンクMSが、適格基準を満たし、かつ、最大程度まで選択基準も満たす場合、特定の非中央デバイスと関連付けられたN1個の非中央候補位置のうちの特定の1つとして位置を選択することを含む。
項D8.項D7の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、特定のリンクMSが全てのN1個のリンクMSの中で最大である場合、最大程度まで選択基準を満たし、適格基準が、特定のリンクMSが第3の閾値よりも大きいことである。
単一の「動きスコア」/「レベル」を演算し、最も高い動きスコアを有する候補位置を選択することによって、請求項4及び7に記載のルールベースの選択を実施する数値的方法。
項D9.項D2の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N1リンクMSに基づいて、N1+1個の候補位置に関連するN1+1個の動きスコアを演算することと、N1+1個の動きスコアのうちの最大値に関連する特定の候補位置として位置を選択することとを含む。
N1+1個の候補位置に対するN1+1個の動きスコアを演算する方法は?少なくとも1つのデフォルト値(例えば、0)及びレベル値のセット(例えば、MSについては{5,6,7}、微小動き統計値については{4,5,6}、呼吸については{2,3})を動きスコアについて定義しうる。デフォルト値は、候補位置における物体(又は物体の動き)の検出を表さなくてもよい。レベル値はリンクMSのレベル/度合い/有意性(例えば、MSについて{5、6、7}、5がより小さく、7がより大きいMS)を反映するように、値の範囲に及んでもよい。リンクMSのいずれも選択条件(例えば、リンクMS>閾値)も適格条件(例えば、リンクMS>別の閾値)も満たさない場合、全ての動きスコアはデフォルト値(例えば、0)に設定されてもよい。全てのリンクMSが選択条件及び適格条件を満たす場合、動きスコアを全てのN1個の非中央候補位置についてゼロに設定し、動きスコアを中央候補位置についてのレベル値のうちの1つに設定する。各候補位置について、動きスコアがデフォルト値をとる場合、それは、IDLE(即ち、動きなし)状態にありうる。動きスコアがデフォルト値以外の任意の値をとる場合、候補位置は、MOTION状態でありうる。
項D10.項D9の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、動きスコアのための少なくとも1つのデフォルト値及びレベル値のセットを定義することであって、少なくとも1つのデフォルト値は物体の動きの不在(即ち、なし又はヌル検出)を表し、候補位置の動きスコアのレベル値の各々は、候補位置における物体の動きの検出レベル(又は検出度合い/有意)を表し、任意のデフォルト値は全てのレベル値よりも小さい、ことと、N1リンクMSのいずれも選択基準を満たさず、N1リンクMSのいずれもが適格基準を満たさない場合、全ての候補位置に関連するN1+1動きスコアの各々をデフォルト値に設定することと、N1リンクMSの全てが選択基準を満たし、N1リンクMSの全てが適格基準を満たす場合、N1非中心位置に関連するN1動きスコアの各々をデフォルト値に設定することと、を含み、N1リンクMSの集合体に基づくレベル値に中心候補位置に関連する動きスコアを設定し、ここでレベル値は集合体に関して単調で非減少であり、そうでない場合、N1非中心位置に関連するN1動きスコアの各々を、それぞれのリンクMSに基づくそれぞれのレベル値に設定し、それぞれのレベル値はそれぞれのリンクMSに関して単調で非減少であり、中心候補位置に関連する動きスコアをデフォルト値に設定し、>リンクMSが2つのアイテム(例えば、動き統計値+微小動き統計値)を含むときの選択基準。第1のアイテムは、第2のアイテムよりも重要でありうる。
項D11.項D4の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N1個のTSCIに基づいて、N1個のデバイスリンクと関連付けられたN1個の二次リンクワイズ動き統計値(第2のリンクMS)を演算することであって、それぞれのデバイスリンクと関連付けられたそれぞれの第2のリンクMSは、それぞれのTSCIに基づいて演算される、ことと、第2の選択基準を満たす全てのN1個のデバイスリンクと関連付けられた全てのN1個の第2のリンクMSの第2のパーセンテージが第4の閾値以上である場合、セントラルデバイスと関連付けられたセントラル候補位置として位置を選択することと、を含む。
項D12.項D11の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、第4の閾値が100%である。
項D13.項D11の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、デバイスリンクに関連する第2の選択基準が、デバイスリンクに関連する第2のリンクMSが第5の閾値を超えることである。
項D14.項D11の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、選択基準を満たす全てのN1個のデバイスリンクに関連する全てのN1リンクMSのパーセンテージが、第1の閾値未満であり、第2の選択基準を満たす全てのN1個のデバイスリンクに関連する全てのN1第2リンクMSの第2のパーセンテージが、第4の閾値未満であり、以下の2つのケースのうちの1つが真である場合、又は(ケース1)特定の非中央候補位置に関連する特定のリンクMSが適格基準を満たし、かつ最大度まで選択基準を満たす場合、又は(ケース2)N1リンクMSのいずれも適格基準を満たさないが、特定の非中央候補位置に関連する特定の第2のリンクMSが第2の適格基準を満たし、かつ第2の最大度まで第2の選択基準を満たす場合、特定の非中央デバイスに関連するN1非中央候補位置の特定の1つとして位置を選択することを含む。
項D15.項D14の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、特定のリンクMSが全てのN1リンクMSの中で最大である場合、選択基準を最大度まで満たし、特定の第2のリンクMSが全てのN1第2のリンクMSの中で最大である場合、第2の最大度まで第2の選択基準を満たし、資格基準は特定のリンクMSが資格範囲内にあることであり、第2の資格基準は、特定の第2のリンクMSが第2の資格範囲内にある。
リンクMS(例えば、動き統計値)及び第2のリンクMS(微小動き統計値)の両方が存在する。検出を表すのに同じデフォルト値(例えば、0)。動きスコアのレベル値の2つのセット(第1のセット及び第2のセット)。第1のセット(例えば、動き統計値のための{5,6,7})は、第2のセット(微小動き統計値のための{4,5,6})よりも支配的である。デフォルト値は、候補位置における物体(又は物体の動き)の検出を表さなくてもよい。レベル値はリンクMSのレベル/度合い/有意性(例えば、MSについて{5、6、7}、5がより小さく、7がより大きいMS)を反映するように、値の範囲に及んでもよい。リンクMSのいずれも選択条件(例えば、リンクMS>閾値)も適格条件(例えば、リンクMS>別の閾値)も満たさない場合、全ての動きスコアはデフォルト値(例えば、0)に設定されてもよい。全てのリンクMSが選択条件及び適格条件を満たす場合、動きスコアを全てのN1個の非中央候補位置についてゼロに設定し、動きスコアを中央候補位置についてのレベル値のうちの1つに設定する。
項D16.項D9の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N1個のTSCIに基づいてN1個のデバイスリンクに関連するN1個の二次リンクワイズ動き統計値(第2のリンクワイズ動き統計値)を演算することと、それぞれのTSCIに基づいて演算されたそれぞれのデバイスリンクに関連するそれぞれの第2のリンクMSを用いてN1個の二次リンクワイズ動き統計値(第2のリンクMS)を演算することと、少なくとも1つのデフォルト値、レベル値の第1のセット、及び動きスコアのためのレベル値の第2のセットを定義することであって、少なくとも1つのデフォルト値は物体の動きの不在(即ち、なし又はヌル検出)を表し、第1のセット内の各レベル値は候補位置におけるリンクMSに基づいて物体の動きの検出レベル(又は検出度/有意)を表し、第2のセット内の各レベル値は候補位置におけるそれぞれの第2のリンクMSの動きの検出レベル(又は検出度/有意)を表し、任意のデフォルト値は全てよりも小さい レベル値(ここで、第1のセット内の各レベル値は第2のセット内の全てのレベル値よりも大きいか又は等しい、(注:第1のセットが第2のセットよりも「優勢」である)N1個のリンクMSのいずれも選択基準も資格基準も満たさず、N1個の第2のリンクMSのいずれもが第2の選択基準も第2の資格基準も満たさない場合、(注:検出なし)全ての候補位置に関連するN1+1個の動きスコアのそれぞれをデフォルト値に設定する;そうでない場合、N1個のリンクMSの全てが選択基準を満たし、N1個のリンクMSの全てが資格基準を満たす場合、N1個の非中心位置に関連するN1個の動きスコアのそれぞれをデフォルト値に設定し、N1個のリンクMSの集約に基づいて、中心候補位置に関連する動きスコアを第1のセット内のレベル値に設定する、それ以外の場合、N1個の第2のリンクMSの全てが第2の選択基準を満たし、N1個の第2のリンクMSの全てが第2の適格基準を満たす場合、N1個の非中央位置に関連するN1個の動きスコアの各々をデフォルト値に設定し、中央候補位置に関連する動きスコアを、N1個の第2のリンクMSの第2の集約に基づいて、第2のセット内のレベル値に設定し、ここで、レベル値は第2の集約に関して単調非減少であり、各リンクMSが選択基準及び適格基準を満たす場合、それぞれの動きスコアを、それぞれのリンクMSに基づいて、第1のセット内のレベル値に設定し、ここで、それぞれのレベル値はそれぞれのリンクMSに関して単調非減少であり、そうでない場合、それぞれの第2のリンクMSが第2の選択基準及び第2の適格基準を満たす場合、それぞれの第2のリンクMSに基づいて、それぞれの動きスコアを、第2のセット内のレベル値に設定する、第2のセットにおけるレベル値はそれぞれの第2のリンクMSに関して単調で非減少であり、それ以外の場合、それぞれの動きスコアをデフォルト値に設定する。
各候補位置について、動きスコアがデフォルト値をとる場合、それは、IDLE(即ち、動きなし)状態にありうる。動きスコアがデフォルト値以外の任意の値をとる場合、候補位置は、MOTION状態でありうる。全ての動きスコアがデフォルト値をとるように、物体動きが全ての候補位置で検出されない場合、システムは、IDLE状態にありうる。物体の動きが少なくとも1つの候補位置で検出される場合、システムは、MOTION状態でありうる。いつでも、「現在」状態と呼ばれる位置ごとの状態、又は「現在」動きスコアと呼ばれる位置ごとの動きスコアは、候補位置ごとの状態変数のように維持されうる。「current」という名前は、「immediate past」又は「latest」であってもよい。代替として、位置ごとの状態履歴又は位置ごとの動きスコア履歴(例えば、N個の最近のサンプリングインスタンスにおけるN個の最近の状態又は動きスコア)が、候補位置ごとに維持されうる。次の瞬間に、新たに演算された動きスコア(「次の」動きスコアと呼ばれる)及び暗黙の状態(「次の」状態と呼ばれる)は、ノイズ又は干渉のために信頼できないことがある。現在の動きスコア又は現在の状態を更新するために、次の状態又は次の動きスコアが使用される前に、いくつかの平滑化/チェックが必要とされうる。ノイズや干渉の影響を抑えるためのスムージングがある。システムが現在IDLE状態にあるが、最近、かなり/増加する動きの兆候(例えば、最近30秒間に10%を超える検出のパーセンテージ、又は最近20秒間に20%を超える検出のパーセンテージ等、一貫した及び/又はかなりの数の最近の検出)があり、特定の候補位置の次の動きスコアがデフォルト値ではない(即ち、特定の候補位置で検出された物体の動き)場合、次の動きスコアは信頼できると見なされ得、特定の候補位置の「現在の」動きスコアを更新するために使用されうる。そうでない場合、次の動きスコアは信頼できないと見なされ得、特定の候補位置の「現在の」動きスコアを更新するために使用される前に、デフォルト値によって置き換えられうる。システムが現在、MOTION状態にあるが、動きアクティビティが減少する兆候(例えば、最近の30秒での検出のパーセンテージ<50%、又は最近の20秒での検出のパーセンテージ<30%等、一貫した及び/又はかなり少ない最近の検出の個数)があった場合、候補位置の次の動きスコア(どの値をとるかにかかわらず)は物体動きが候補位置で検出されないことを示すために、デフォルト値に強制/変更されうる。
項D17.項D9の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、各候補位置について:(a)第1の期間におけるシステムによる物体の動きの検出の第1のパーセンテージが第1の閾値よりも大きく、(b)候補位置の動きスコア(「次の」動きスコア)が少なくとも1つのデフォルト値よりも大きい場合、候補位置の現在の動きスコアを更新して動きスコアとし、それ以外の場合、候補位置の現在の動きスコアをデフォルト値に更新し、システムがMOTION状態にある場合:第2の期間における候補位置における物体の動きの検出の第2のパーセンテージが第2の閾値よりも小さい場合、候補位置の現在の動きスコアをデフォルト値に更新し、そうでない場合、候補位置の現在の動きスコアを更新して動きスコアとすることを含む。
物体の動きの「信頼できる」又は信頼できる検出は物体の動きの検出のパーセンテージがある期間内に閾値を超える場合(例えば、1分で検出パーセンテージ>40%)、達成されうる。全ての候補位置が、時間tにおいて信頼できる検出を有さない場合(時間tにおいて検出された動きがないことを示唆する)...
項D18.項D9の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、候補位置は直近の過去の期間における物体の動きの検出のパーセンテージが閾値を超える場合、時間tにおいて信頼できる検出を有し、候補位置のうちのいずれも時間tにおいて信頼できる検出を有しない場合、少なくとも1つの候補位置が時間ウィンドウにおいて少なくとも1つの時間インスタンスを信頼できる検出を有する場合、時間ウィンドウにおいて最大の動きスコアを有する特定の候補位置において物体の動きを検出し、時間tにおける特定の候補位置の動きスコアを最大の動きスコアに設定し、時間tにおける残りの全ての候補位置の動きスコアをデフォルト値に設定し、そうでない場合、時間tにおいて物体の動きスコアを検出せず、時間tにおける候補位置のそれぞれの動きスコアをデフォルト値に設定し、時間tにおいて少なくとも1つの候補位置が信頼できる検出を有する場合、候補位置を降順にソートすることを含む、各候補位置について、候補位置が時間tにおいて信頼できる検出を有する場合、現在の動きスコアを動きスコアで更新し、そうでない場合、直近の過去の期間において少なくとも1つの検出がある場合、現在の動きスコアを動きスコアで更新し、そうでない場合、現在の動きスコアをデフォルト値に設定し、時間ウィンドウにおいて最大のソートされた動きスコアを有する特定の候補位置において物体の動きを検出し、時間tにおける特定の候補位置の動きスコアを最大の動きスコアに設定する。
項D19.項D18の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ベニュー内に合計N2個の物体が存在し、候補位置のうちのいずれも、時間tにおいて信頼できる検出を有しない場合、少なくともN2個の候補位置が時間ウィンドウ内の少なくとも1つの時間インスタンスにおいて信頼できる検出を有する場合、時間ウィンドウ内のN2個の最大動きスコアを有するN2個の候補位置におけるN2個の物体の動きを検出し、時間tにおけるN2個の候補位置の動きスコアをN2個の最大動きスコアに設定し、時間tにおける残りの全ての候補位置の動きスコアをデフォルト値に設定することと、少なくとも1つの候補位置が、時間tにおける信頼できる検出を有する場合、時間ウィンドウ内のN2個の最大ソートされた動きスコアを有するN2個の候補位置におけるN2個の物体の動きを検出することと、時間tにおけるN2個の候補位置の動きスコアを最大動きスコアに設定することとを含む。
可能性のある(リンクMS、第2のリンクMS)ペア。
項D20.項D11の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、(リンクMS、第2のリンクMS)ペアは、(大動き統計値、微小動き統計値)、(RM、MM)、(MS、MM)、(相関、コンポーネントごとの相関)、(相関、コンポーネントごとの相関の集約)、(CIベクトルの相関、CIコンポーネントの相関の集約)、(CIベクトルの内部積、MRCとのCIコンポーネントの相関の集約)、(TRRS、呼吸統計)、(CIベクトルの相関、呼吸数)、(CIベクトルの内部積、呼吸インジケータ)、(CIベクトルの補正、呼吸検出器)、(微小動き統計値、呼吸統計)の対のうちの1つを含む。
項D21.項D9の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N1個のリンクMSに基づいて、N1+1個の候補位置に関連するN1+1個の暫定的なスコアを演算することであって、各第1の暫定的なスコアは第1の値の範囲からの値をとる、ことと、N1個の第2のリンクMSに基づいて、N1+1個の候補位置に関連するN1+1個の第2の暫定的なスコアを演算することであって、各第2の暫定的なスコアは第2の値の範囲からの値をとる、ことと、N1+1個の暫定的なスコア及びN1+1個の第2の暫定的なスコアに基づいて、N1+1個の動きスコアを演算することと、を含む。
項D22.項D11の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N1個のTSCIに基づいて、N1個のデバイスリンクに関連するN1個の第3のリンクワイズ動き統計値(第3のリンクMS)を演算することであって、それぞれのデバイスリンクに関連するそれぞれの第3のリンクMSは、それぞれのTSCIに基づいて演算される、演算することと、第3の選択基準を満たす全てのN1個のデバイスリンクに関連する全てのN1個の第3のリンクMSの第3のパーセンテージが第7の閾値以上である場合、セントラルデバイスに関連するセントラル候補位置として位置を選択することと、を含む。
項D23.項D22の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、選択基準を満たす全てのN1個のデバイスリンクに関連する全てのN1リンクMSのパーセンテージが第1の閾値未満であり、第2の選択基準を満たす全てのN1個のデバイスリンクに関連する全てのN1第2リンクMSの第2のパーセンテージが第4の閾値未満であり、第3の選択基準を満たす全てのN1個のデバイスリンクに関連する全てのN1第3リンクMSの第3のパーセンテージが第7の閾値未満であり、以下の3つのケースのうちの1つが真である場合、即ち(ケース1)特定の非中央候補位置に関連する特定のリンクMSが適格基準を満たし、かつ選択基準も最大度まで満たす場合、又は(ケース2)N1リンクMSのいずれも適格基準を満たさないが特定の第2のリンクである場合、を含み、特定の非中央候補位置に関連する特定の非中央候補位置は第2の適格基準を満たし、第2の最大度まで第2の選択基準も満たすか、又は(ケース3)N1リンクMSのいずれも適格基準を満たさず、N1の第2のリンクMSのいずれも第2の適格基準を満たさないが、特定の非中央候補位置に関連する特定の第3のリンクMSは第3の適格基準を満たし、第3の最大度まで第3の選択基準も満たす。
項D24.項D23の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、リンクMSがTRRSを含み、第2のリンクMSが微小動き統計値を含み、第3のリンクMSが呼吸統計を含む。
以下の番号付けされた項は、無線センシングのための他の例を提供する。
項E1.無線センシングシステムの方法であって、ベニューにおける無線センシングシステムの複数のヘテロジニアス無線デバイスを決定することと、ヘテロジニアス無線デバイスのうちの各々がヘテロジニアス無線デバイスのうちの2つを備える複数のデバイスリンクを決定することであって、2つのヘテロジニアス無線デバイスのうちの一方が送信機として機能し、2つのヘテロジニアス無線デバイスのうちの他方が受信機として機能する、ことと、複数のデバイスリンクのそれぞれのデバイスリンクについて、ベニューの無線マルチパスチャネルを通じてそれぞれのデバイスリンクのそれぞれの送信機からそれぞれの無線信号を送信することであって、無線マルチパスチャネルが、ベニューにおける物体の動きによって影響を受ける、ことと、無線マルチパスチャネルを通じてそれぞれのデバイスリンクのそれぞれの受信機によってそれぞれの無線信号を受信することであって、それぞれの受信された無線信号が、ベニューの無線マルチパスチャネル及び物体の動きに起因してそれぞれの送信された無線信号とは異なる、ことと、無線マルチパスチャネルのそれぞれの受信された無線信号に基づいて、無線マルチパスチャネルのそれぞれの、個別の時系列のチャネル情報(TSCI)を取得することと、個別のTSCIに基づいて、それぞれのデバイスリンクに関するそれぞれのリンクワイズ動き統計値(リンクMS)を演算することと、全てのTSCI又は全てのリンクMSのうちの少なくとも1つに基づいて、物体の動きと関連付けられたセンシングタスクを実行することと、全てのリンクMSに基づいて、センシングタスクと関連付けられたベニュー内の位置を演算することと、を含む。
項E2.項E1の方法であって、個別のリンクMSは、時間反転共振強度(TRRS)、相関、相互相関、自己相関、内積、又はドット積のうちの少なくとも1つを含む。
項E3.項E2の方法であって、個別のTSCIを前処理することと、平滑化フィルタに基づいて、時間にわたってそれぞれのリンクMSを平滑化することと、を更に含む。
項E4.項E3の方法であって、送信機、受信機、及び特定のデバイスリンクと関連付けられた無線信号の特性に基づいて、複数のデバイスリンクのうちの特定のデバイスリンクと関連付けられた特定のリンクMSへの補正を適用することを更に含み、当該補正は、事前に決定されるか、又は適応的に決定される。
項E5.項E4の方法であって、第1のデバイスリンクの第1の受信された無線信号に基づいて、無線マルチパスチャネルの複数のTSCIを取得することであって、第1のデバイスリンクと関連付けられた送信機又は受信機のうちの少なくとも1つが複数のアンテナを備える、ことと、複数のTSCIに基づいて複数の第1の候補リンクMSを演算することであって、各第1の候補リンクMSは、複数のTSCIのうちのそれぞれの1つに基づいて演算される、ことと、最大比合成(MRC)方式を使用して、第1のデバイスリンクと関連付けられた第1のリンクMSを演算するために、複数の第1の候補リンクMSを集約することと、を更に含む。
項E6.項E5の方法であって、第2のデバイスリンクと関連付けられた特定のTSCIの各チャネル情報(CI)は、複数の成分を備え、本方法は、特定のTSCIの各CIの複数の成分に基づいて複数の第2の候補リンクMSを演算することと、最大比合成(MRC)方式を使用して、特定のTSCIに基づいて第2のデバイスリンクのための第2のリンクMSを演算するために、複数の第2の候補リンクMSを集約することとを更に含む。
項E7.項E6の方法であって、ベニューを複数の領域に区分することであって、各領域は、センシングタスクと関連付けられた候補位置である、ことと、各領域をヘテロジニアス無線デバイスのうちの1つと関連付けることと、複数の候補位置のうちの1つとして、センシングタスクと関連付けられた位置を演算することと、を更に含む。
項E8.項E7の方法であって、複数のloc-MSを取得するために、全てのリンクMSに基づいて、各候補位置のそれぞれの位置ワイズ動き統計値(loc-MS)を演算することと、複数のloc-MSの全てに基づいて、位置を演算することと、を更に含む。
項E9.項E8の方法であって、複数のloc-MSの各々についての測定値に基づいて測定値を演算することと、複数のloc-MSのうちの少なくとも1つが第1の閾値よりも大きい測定値を有する場合に、センシングタスクと関連付けられたターゲットを検出することと、を更に含む。
項E10.項E9の方法であって、複数のloc-MSの中でloc-MSが最大測定値を有する候補位置としてターゲットの位置を演算することを更に含む。
項E11.項E10の方法であって、残りの候補位置を取得するために、複数の候補位置からターゲットの位置を除去することと、残りの候補位置と関連付けられた少なくとも1つのloc-MSが第2の閾値よりも大きい測定値を有する場合に、センシングタスクと関連付けられた第2のターゲットを検出することと、残りの候補位置と関連付けられた全てのloc-MSの中でloc-MSが最大測定値を有する、残りの候補位置のうちの1つとして、第2のターゲットの第2の位置を演算することと、を更に含む。
項E12.項E11の方法の方法であって、各loc-MSが、関数の和、重み付き和、咳、重み付き積、平均、中央値、関数の重み付き和、又は重み付き積のうちの少なくとも1つを含む。
項E13.項E12の方法であって、特定のヘテロジニアス無線デバイスに関連する特定の候補位置について、複数のデバイスリンクの全てを第1のグループ及び第2のグループに区分することと、第1のグループに関連する各リンクMSについての第1の重みが、第2のグループに関連する任意のリンクMSについての第2の重みよりも大きいように、全てのリンクMSの重み付き和又は全てのリンクMSの重み付き積に基づいて、特定の候補位置についてのloc-MSを演算することと、を更に含む。
項E14.項E13の方法であって、特定の候補位置について、第1のグループと関連付けられた各リンクMSについての正の重みと、第2のグループと関連付けられた各リンクMSについての負の重みとを用いて、特定の候補位置についてのloc-MSを演算することを更に含む。
項E15.項E14の方法であって、第1のグループが、送信機又は受信機のうちの1つが特定のヘテロジニアス無線デバイスである任意のデバイスリンクを含む。
項E16.項E15の方法であって、第1のグループが、特定の候補位置のための任意の距離1のデバイスリンクを含み、距離1のデバイスリンクが、送信機又は受信機のうちの一方が特定のヘテロジニアス無線デバイスであり、送信機又は受信機のうちの他方が特定の候補位置のための距離1のデバイスである、デバイスリンクであり、第1のグループが、特定の候補位置のための任意の距離2のデバイス-リンクを更に備え、距離2のデバイスリンクが、送信機又は受信機のうちの一方が特定の候補位置のための距離1のデバイスであり、送信機又は受信機のうちの他方が特定の候補位置のための距離2のデバイスである、追加のデバイス-リンクである。
項E17.項E16の方法であって、距離1のデバイスリンクの重みは、距離2のデバイスリンクの重み以上である。
項E18.第1のグループは更に、送信機又は受信機のうちの一方が特定の候補位置のための距離kのデバイスであり、かつ、送信機又は受信機のうちの他方が特定の候補位置のための距離(k+1)のデバイスである、任意の追加のデバイスリンクを再帰的に含む。
項E19.項E18の方法であって、距離kのデバイスリンクの重みは、距離(k+1)のデバイスリンクの重み以上である。
項E20.項E19の方法であって、2つのデバイスリンクが無線信号が両方向に送られ、TSCIが2つの特定のヘテロジニアス無線デバイスの両方において取得されるように、2つの特定のヘテロジニアス無線デバイスリンクと関連付けられた2つのリンクMSが、特定の候補位置のloc-MSの演算において同一の重みを有する。
項E21.項E20の方法であって、特定の候補位置のloc-MSの演算において、2つのリンクMSの集約に等しい単一のリンクMSによって2つのリンクMSを置き換えることを更に含む。
項E22.項E21の方法であって、無線センシングシステム内の全てのデバイスリンクの第1の集合を、複数のヘテロジニアス無線デバイスの完全に接続された構成内の全ての可能なデバイスリンクの第2の集合と比較することと、第2の集合内に存在するが第1の集合内には存在しないデバイスリンクである少なくとも1つの欠落デバイスリンクを決定することと、各欠落デバイスリンクの仮想重みに基づいて、loc-MSの演算における第1の集合内のデバイスリンクの重みに補正を適用することと、を更に含む方法。
項E23.複数のデバイスリンクを形成する複数のヘテロジニアス無線デバイスであって、複数のデバイスリンクの各々はヘテロジニアス無線デバイスのうちの2つを含み、2つのヘテロジニアス無線デバイスのうちの一方は送信機として機能し、2つのヘテロジニアス無線デバイスのうちの他方は受信機として機能する、複数のヘテロジニアス無線デバイスと、少なくとも1つのプロセッサと、を備え、複数のデバイスリンクのそれぞれのデバイスリンクのそれぞれについて、それぞれのデバイスリンクのそれぞれの送信機は、ベニューの無線マルチパスチャネルを通じてそれぞれの無線信号を送信するように構成され、無線マルチパスチャネルは、ベニュー内の物体の動きによって影響を受け、それぞれのデバイスリンクのそれぞれの受信機は、無線マルチパスチャネルを通じてそれぞれの無線信号を受信し、それぞれの受信される無線信号は、ベニューの無線マルチパスチャネル及び物体の動きに起因して、それぞれの送信された無線信号とは異なり、少なくとも1つのプロセッサは、それぞれのデバイスリンクのそれぞれの受信された無線信号に基づいて、個別の時系列のチャネル情報(TSCI)を取得し、個別のTSCIに基づいて、無線マルチパスチャネルのそれぞれのリンクワイズ動き統計値(リンクMS)を演算するように構成され、少なくとも1つのプロセッサは、全てのTSCI又は全てのリンクMSのうちの少なくとも1つに基づいて、物体の動きと関連付けられたセンシングタスクを実行することと、全てのリンクMSに基づいて、センシングタスクと関連付けられたベニュー内の位置を演算することとのうちの少なくとも1つに基づいて、物体の動きと関連付けられたセンシングタスクを実行するように更に構成される。
本教示は、無線センシングパートナー識別情報及び認定(ID&Q)システムを開示する。いくつかの実施形態では、タイプ2デバイスは、多くのスマートフォン無線デバイス(例えば、IoTデバイス、WiFi対応デバイス、WiFiダイレクト対応デバイス、WiFi P2P対応デバイス、5Gデバイス、Zigbeeデバイス)を有するベニューにインストールされうる。スマートデバイスのうちのいくつかは、(潜在的に)無線センシングネットワーク内のタイプ2デバイスにサウンディング無線信号を送るためのタイプ1デバイスとして機能しうる。デバイスのうちの1つは、プロトコル(例えば、802.11bf)に基づいて、スマートデバイスの一部/全部にプローブ/スキャン/発見/識別/探索/探索/要求/認証/関連付け/ネゴシエート/接続/ペア/登録/接続し、タイプ1デバイス、又はタイプ2デバイスのいずれか、又は両方として機能するようにそれらを構成して、無線センシングネットワーク/システムを共同で形成しうる。タイプ1デバイスとタイプ2デバイスとの間の接続は、P2P(例えば、WiFi Direct)接続でありうる。
いくつかの実施形態では、ID&Qシステムは、無線センシングネットワーク/システムがユーザとインタラクティブに動作して、(タイプ1/タイプ2デバイスとして、又は潜在的なタイプ1/タイプ2デバイスとして)スマートデバイスを識別すること、及び/又はユーザ又は無線センシングシステムが当該識別に基づいてタイプ1/タイプ2デバイスを構成することを可能にすることを支援/可能にする。ID&Qシステムは、ユーザに、ターゲットタイプ1又はタイプ2デバイスに近づく(又は非常に近い)ように指示し、いくつかの特定のユーザアクションを行い(例えば、動き回り、周期的な動き、繰り返しの動き、タップ、N回タップ、一時停止を伴うタップ等、これは、ターゲットデバイスのセンシング結果に認識可能なパターンを生じさせるが、他のデバイスのセンシング結果には生じさせない)、ユーザアクションを監視するために無線センシングシステムを使用し、無線センシングシステム内の利用可能な全ての(ALL)タイプ1/タイプ2デバイス(スマートデバイス)からの無線センシング結果(例えば、動き統計値)を表示/提示し、ユーザが、その動き統計値がユーザアクションに「従う」、(利用可能な全てのデバイスのうちの)1つ以上の特定の(PARTICULAR)デバイスを見つける/選択することを可能にし、ユーザが特定のデバイスの何らかの識別情報(例えば、名前)又は何らかの役割若しくは何らかの設定を入力することを可能にしうる。
2つ以上のタイプ1/タイプ2デバイスがユーザアクション(おそらく様々な範囲)に「従う」動き統計値を有する場合、ユーザは、それらの全てを、それに応じて(おそらく無線センシングシステムの特定のセンシングタスクのために)マークしてもよく、これにより、それらを、無線センシングシステムによってサポートされるセンシングタスクのうちの1つ以上と関連付ける/割り当ててもよい。個々の動き統計値は、タイプ1及びタイプ2デバイスの各ペアから別々に演算され、次いで、個々の動き統計値を一緒に融合して、共同動き統計値(joint motion statistics)を形成しうる。あるいは、全てのデバイスに基づいて、共同で動き統計値を演算しうる。
スマートデバイス(例えば、命名されるべき候補無線デバイス)は、ベニュー内の異なる位置にある複数のスマートTV、スマートスピーカ、スマートセットトップボックス(STB)、スマートライト、スマートバルブ、スマート冷蔵庫、スマート家電、スマート家具、スマートフィクスチャ、スマートソケット、スマートプラグ、スマート充電器、スマート装飾、スマート時計、スマート時計、スマート煙検出器、スマートドアベル、スマートカメラ、スマートサーモスタット、スマート真空掃除機、コンピュータ、タブレット、フォン、ルータ、基地局等を含みうる。
タイプ2デバイスは、Origin、ルータ、リピータ/メッシュルータ/メッシュデバイス、基地局、4G/5Gミニ/マイクロ/ナノ/ピコセル基地局、Hexコマンド、無線クライアント、WiFiクライアント、IoTデバイス、又はスマートデバイス/アプライアンス/マシンのうちの1つでありうる。スマートデバイスは、タイプ1デバイス及びタイプ2デバイスの両方として機能しうる。
ベニューは、家庭、オフィス、建物、倉庫、施設、構造物等であってもよい。ベニューは、2つ以上のゾーン/領域(例えば、ベッドルーム1、ベッドルーム2、ベッドルーム3、ホイヤー、家族室、リビング、レストルーム1、レストルーム2、ダイニングルーム、キッチン、ガレージ、1階、2階、地下室、階段、屋根裏等)を含んでもよい。
複数のゾーン/領域の間で分散された、無線センシングシステムにおけるタイプ1/タイプ2デバイスとして機能する多くの無線デバイスが、ベニュー内に存在しうる。いくつかの無線デバイス(例えば、IoTデバイス、スマートデバイス/アプライアンス/マシン、スマートフォン、コンピュータ、ノートブック、タブレット、ルータ、ゲートウェイ、リピータ、基地局等)は、有線(例えば、イーサネット、USB、ファイアワイヤ)によってインターネット(例えば、ブロードバンドサービス)に接続されうる。いくつかの無線デバイスは、(例えば、WiFi、Bluetooth、4G/5G/6G/7G/8G、UWB等を介して)インターネットに無線に接続されうる。各ゾーン/領域について、ゼロ、1つ以上の無線デバイスが存在しうる。
無線センシングシステムは、ある個数の無線デバイス(例えば、そのリスト)を有してもよく、各々は、(潜在的に)無線センシングシステム内のタイプ1/タイプ2デバイスである。例えば、システムは、標準プロトコル(例えば、802.11bf)に基づいてセンシングセッションセットアップを実行してもよく、それらのデバイスは、センシングセッション(又はセンシング手順)に参加しうる。システムは、何らかの形で無線デバイスを「発見」しうる(例えば、システムの無線デバイスは無線アクセスポイント(AP)から、又は無線アクセスポイントを介して、上記個数の無線デバイスの情報を取得してもよく、又はAPにそれらを発見するように要求してもよく、又はシステムは、無線デバイスを制御して、センシングイニシエータとして機能してセンシング手順を開始し、上記個数の無線デバイスが、センシングレスポンダとしてセンシング手順に参加するように応答する)。
無線デバイスの中には、システム内で互いに動作するように設計されたそれらのサブセットがありうる(例えば、それらは同じソースからの同一のデバイス又は互換性のあるデバイス、又はいくつかの協調ソースでありうる)。ユーザは、無線センシングネットワークを確立するようにそれらを構成することを望むことができる。ユーザは、センシングネットワークに参加するために、ベニュー内のいくつかの追加の無線デバイスを選択しうる。
問題/課題は、無線デバイスが無線センシングシステムにおいて、ユーザフレンドリーではなく、ユーザによって認識できないことが多い、いくつかの暗号名(例えば、「device_152971」)を伴って現れることがあることである。認識不可能な名前は、ユーザが無線センシングネットワーク/システム内の無線デバイスの構成及び相互接続を設定することを困難にすることがある。ユーザは、無線センシングネットワーク/システムに搭載する(例えば、ネットワーク/システムにデバイスを追加し、それらを構成し、それらに無線センシングタスクを割り当て、それらの間の相互接続を指定する(相互接続又はセンシングネットワーク構成は、異なるタスクに対して異なることがある)等)ために、無線デバイスのアイデンティティ(例えば、どの物理デバイスが「device_152971」にマッピングされているか)を知る必要があるかもしれない。
ユーザは、無線センシングシステムにおいてタイプ1又はタイプ2デバイスとして機能しうる、又は機能しない、又は両方として機能しうる、センシングイニシエータとして機能する、無線アクセスポイント(AP、例えば、WiFiルータ、リピータ、基地局)又は非AP無線デバイス(例えば、インフラストラクチャモードの)又は非インフラストラクチャモードの無線デバイス(アドホックネットワーク設定)を有しうる。開示された無線ID&Qシステムは、無線センシングシステムの一部でありうる(又は無線センシングシステムと協働して動作しうる)。開示されたID&Qシステムの目的/使用/機能は、以下のステップを含むことができる。
ステップ1では、システムが以下のサブステップによって、ユーザがベニュー内の特定のゾーン/領域内の無線センシングシステム内の特定のタイプ1又はタイプ2デバイスを識別/ラベル/タグ/名前することを支援/可能にしうる。
サブステップ1において、システムは、ユーザが特定のデバイスの近く(特定のゾーン/領域又は特定のデバイスのすぐ近く)で特定のユーザアクションを実行するためのリアルタイムプロンプト又は命令を生成/提示しうる。例えば、ユーザは、無線センシングネットワーク/システム内の何らかの謎の/認識不可能な名前への未知の/識別不可能なマッピングを有する、ベニュー内のデバイス(例えば、寝室1内のスマートフォンスピーカ、又は寝室2内のスマートフォンアラームクロック、又は家族室内のTV)を選択してもよく、ユーザは、開示されたID&Qシステムをオンボードにする/ネットワーク/システム内のデバイスを識別するように関与させることができるが、これは「device_13950465」のような謎の/認識不可能な名前がユーザフレンドリーでない場合があり、それ以外の場合、ユーザは無線システム内の「device_13950465」が何であるかを知らないからである。別の例では、ユーザは、ベニュー内の様々なゾーン/領域にいくつかのタイプ1/タイプ2デバイスをインストールしていてもよい。(例えば、AP等の1つのデバイスは、既知の位置にあってよく、無線センシングを実行するためにベニュー内の他のデバイスとペアリングするために使用されうる。)開示されたID&Qシステムは、無線センシングシステムによって監視されるべき特定のゾーン/領域(例えば、寝室の部屋)に進む/行き、そこで特定のタイプ1/タイプ2デバイスを選択するようにユーザに促してもよい。システムは、特定のデバイスに近づき、インタラクティブに識別される(例えば、名前が付けられる)ように、近隣で何らかのユーザアクションを行う(例えば、デバイスの周りをすぐに移動する、デバイスをタップする、繰り返しタップする(タップ+ポーズ)、N時間タップする、動きを描く、円を描く)ようにユーザに促してもよい。
サブステップ2において、システムは、ユーザ動作を実行するユーザを監視するために、無線センシングシステムを使用して無線センシング(例えば、動作検出/監視/呼吸監視/転倒検出等)を実行しうる。
サブステップ3において、システムは、ユーザアクション、特に同じゾーン/領域内で互いに近いものに応答して、タイプ1/タイプ2デバイスのグループの無線センシング結果のリアルタイムフィードバック(例えば、視覚フィードバック、グラフィカルフィードバック、オーディオフィードバック、機械的フィードバック、振動、プレゼンテーション、ディスプレイ、GUI、アニメーション、図、プロット、メータ、テキスト等)を提示しうる。
ステップ2において、システムは、ユーザが、識別された/ラベル付けされたデバイスが存在するゾーン/領域を識別する/ラベル付けする/タグ付けすることを支援/可能にしうる。
ステップ3において、システムは、識別/ラベル付けされたデバイスを、そのアイデンティティ及びその位置、並びに無線センシングにおけるその役割に基づいて、構成しうる(例えば、構成パラメータの一部又は全てがユーザによって指定され、又はいずれも指定されず、残りは、ID&Qシステム又は無線センシングシステムによって選択されうる)。次いで、識別されたデバイスは、名前変更されるか、再ラベル付けされるか、再タグ付けされるか、又は再識別されうる。
いくつかの実施形態では、互換性のあるデバイスのユーザフレンドリ名が、ルータホスト名においてフレンドリに見えない。デバイスフィンガープリンティング無では、アプリがユーザがセンシングのための良好なIoTデバイスを有するかどうかを知っているにもかかわらず、選択するためのフレンドリーな名前をユーザに提示することができない。図47は、本開示のいくつかの実施形態による、無線センシングのためのアプリのグラフィックユーザインタフェースの例示的な画像を示す。図47のHexアプリは、単に説明のために示されており、本教示を実施するために他のアプリを使用することもできる。
いくつかの実施形態では、本教示が以下のステップに基づいて、ユーザ名デバイスを支援するために命名ツールを使用する方法を開示する。
ステップ(1)で、アプリケーションは、Botオンボーディングを開始する。ステップ(2)で、アプリケーションは、レストアプリケーションプログラミングインタフェース(RAPI:Rest Application Programming Interface)を呼び出して、リスト1をフェッチする。ステップ(3)で、BCSは、以下のサブステップを含みうる、リスト2cを得るためのフィルタリングを適用する。サブステップ(3.1)で、アプリケーションは、イーサネットデバイスをフィルタリングしてリスト2aを取得する。サブステップ(3.2)で、アプリケーションは、ホスト名パターンに基づいて、互換性のないリスト内のデバイスをフィルタリングして、リスト2bを取得する。サブステップ(3.3)で、アプリケーションは、ホスト名パターンに基づいて、互換リスト内のデバイスをフィルタリングして、リスト2cを取得する。リスト2cは、大きなリストでありうる。ユーザは、互換性のあるリストに多くのIoTデバイスを含めることができる。ユーザは、互換性のあるデバイスと同じホスト名パターンを持つ他のIoTデバイスを有している場合がある。
ステップ(4)において、BCSは、パラメータ「csiScanning」を有する「Set User Selected Devices」APIを使用して、リスト2cのmacアドレスをSSを介してコンテナに送信する。ステップ(5)において、コンテナ内のInitはリスト2eを取得し、sounder.confファイルをビルドするために、CSI走査を。サブステップ(5.1)において、CSIスキャナは、リスト2cデバイスからCSIをキャプチャし、CSIを提供しないデバイスをフィルタ除去してリスト2dを取得し、CSI損失が閾値を上回るデバイスをフィルタ除去してリスト2eを取得する。サブステップ(5.2)において、Initは、リスト2eからsounder.confを構築する。
ステップ(6)で、マスターOrigin(MO)は、リスト2eをMOネットワーク上のアプリに返す。アプリケーションは命名プロセスを開始しうる。フィンガープリンティングを使用しない場合、次のような状況がある。1つの状況では、リスト2eは、互換性のあるリスト内のデバイスのホスト名パターンが同じであるため、互換性のないリスト内のデバイスを含みうる。例えば、Mi9スマートフォンのホストネームは「unknown_xx:xx:xx:xx:xx:xx」であり、第3世代エコードット及び互換性のある他の装置を有する。別の状況では、リスト2eがデバイスがパワーオフされてよく、したがって、CSIを得ることができないか、又はCSI損失が干渉のために多すぎるため、互換性リストにデバイスを含まないことがある。更に別の状況では、リスト2eは、CSIをキャプチャするためにドライバがサポートできるものよりも多くの多数のデバイスを含みうる。したがって、命名処理は、10個のデバイスのバッチで処理されるべきである。
ユーザがデバイスに命名するのを助けるために命名ツールを使用する方法が、いくつかの実施形態による以下のステップにおいて開示される。図48は、本開示のいくつかの実施形態による、無線センシングのために展開されたデバイスを伴う例示的なフロアプランを図示する。図48に示すように、各Bot4811(番号1~9)とOrigin4812との間の動きカバレッジは、関連する楕円によって表される。楕円の大きさは「感度レベル」で決まる。感度レベルが高いほど、楕円は大きくなる。いくつかの実施形態では重複領域は区別されず、非重複領域のみが、対応するBotによって一意に識別されうる。
ステップ(1)において、命名プロセスを開始するために、アプリケーションは、ユーザが監視したい部屋(例えば、図48に示される部屋のうちの1つ)に入り、互換性のあるデバイスを有するようにユーザに指示する。いくつかの実施形態では、互換性のあるデバイスはBot4811である。アプリケーションは、良好な動き位置特定を達成するために部屋を選択する方法をユーザに指示しうる。ステップ(2)において、ユーザが部屋にいるとき、アプリケーションは、ユーザに命名を開始するように依頼する。
ステップ(3)において、アプリケーションは、リスト2eの最初の(最大)10個のデバイスのリストでエンジンを開始する。最大10個のデバイスの理由は、ドライバがインタフェースごとに最大10個のデバイスのCSIを提供でき、リスト2eには多くのデバイスがあるためである。これらの実施形態では、各デバイスがBot4811として機能しうる。
ステップ(4)において、アプリケーションは、エンジンから動き統計値を受信すると、ユーザに、デバイスの近くを移動し、可能であれば、近くのIoTデバイスに影響を与えないように、他の大きな身体動作を行わずに、デバイスを繰り返しタップ(又は他のローカルスロー動作)するように要求する。図49は、本開示のいくつかの実施形態による、無線センシングのためのデバイス識別のために使用される例示的な動き統計値応答を示す。動き統計値は、ユーザのアクションに従う必要がある。これにより、ユーザは、ユーザアクションに応答するアプリ上のデバイスIDを識別できる。観察を用いて同定することは、検出を用いるよりも優れている。時には、ユーザがデバイスに近づくことができず、それ故に、検出が行われないことがある。しかしながら、ユーザは自分の動きが、デバイスの動き統計値を追従させうるかどうかを依然として観察しうる。ステップ(5)において、ユーザは、デバイス名/IDをタップして、デバイスフレンドリ名及び位置名を入力する。それはその部屋の命名を完成させる。
次に、ステップ(6)において、ユーザは、別の部屋に行くように指示される。部屋にいる場合、ユーザは、その部屋の命名プロセスを再開する。ステップ(7)において、全ての部屋が識別される。アプリにはリスト3デバイスがあり、エンジンを起動する準備ができている。
ステップ(8)では、部屋(ステップ4)においてユーザが動作に従わない動作統計を観察する場合、部屋内のデバイスは、ステップ(3)においてアプリがエンジンで動作する10個のデバイスのリストに含まれない。その後、ユーザは次の(最大)10個のデバイスのチェックを開始できる。
ステップ(9)において、アプリケーションは、エンジンを停止する。ステップ(10)において、次に、Appは、リスト2e内の次の(最大10個の)デバイスでエンジンを開始する。ステップ(11)において、ステップ(4)、(5)、(6)を繰り返す。ステップ(12)において、リスト2eが使い尽くされ、ユーザがデバイスに命名することができない場合、部屋はカバーされない。これは、CSIスキャナによって互換性のあるデバイスを排除できるからである。
最後に、全ての部屋が識別される。アプリにはリスト3デバイスがある。アプリケーションは「Set User Selected Devices」APIを使用して、パラメータ「csiScanning」を使用せずに、リスト3のmacアドレスをSS経由でコンテナに送信できる。コンテナ内のInitは、リスト3とbuild sounder.confを受信する。MOは、MOネットワーク内のリスト3デバイスを返す。アプリケーションは、リスト3内のデバイスでエンジンを開始する。エンジンは、MOネットワークトポロジを正しく解析し、動き位置特定を実行するために、正しいリスト3を必要とする。
図50は、本開示のいくつかの実施形態による、無線センシングのためのデバイスを追加するためのアプリのグラフィックユーザインタフェースの例示的な画像を示す。いくつかの実施形態では、デバイスを追加するにはリスト2を取得するためにフィルタリングリスト1を用いてオンボーディングプロセスを必要とし、デバイスを識別するために命名ツールを使用する。以下のステップでは、デバイスを追加する例を説明する。
ステップ(1)において、BCSは、リスト1をフェッチするためにRAPI呼び出しを行う。ステップ(2)において、BCSは、リスト2cをうるためにフィルタリングを適用する。ステップ(3)において、BCSは、パラメータ「csiScanning」を有する「Set User Selected Devices」APIを使用して、リスト2c macアドレスをSSを介してコンテナに送信する。ステップ(4)において、コンテナ内のInitはリスト2eを取得し、sounder.confファイルをビルドする。ステップ(5)において、MOは、MOネットワーク上のアプリにリスト2eを返す。アプリケーションは、命名プロセスを開始しうる。ステップ(6)において、命名プロセスを開始するために、アプリケーションは、ユーザが監視したい部屋に入り、デバイスを有するようにユーザに指示する。ステップ(7)において、ユーザが部屋にいるとき、アプリケーションは、ユーザに命名を開始するように依頼する。ステップ(8)で、アプリケーションは、前のリスト3にない最大10個のデバイスのリストでエンジンを開始する。ステップ(9)において、アプリケーションは、エンジンから動き統計値を受信すると、ユーザに、デバイスの近くを移動し、可能であれば、デバイスを繰り返しタップするように依頼する。動き統計値は、ユーザのアクションに従う必要がある。これにより、ユーザは、ユーザアクションに応答するアプリ上のデバイスIDを識別できる。ステップ(10)において、ユーザは、デバイス名/IDをタップして、デバイスフレンドリ名及び位置名を入力する。その部屋の命名と、デバイスの追加が完了する。ステップ(11)において、アプリケーションは、パラメータ「csiScanning」を有することなく、「Set User Selected devices」APIを使用して、既存のデバイス及び新たに追加されたデバイスを含むリスト3 macアドレスをSSを介してコンテナに送信し、コンテナ内のInitは、リスト3及びsounder.confをビルドする。MOは、MOネットワークの新しいリスト3のデバイスを返す。アプリケーションは、新しいリスト3 のデバイスでエンジンを開始する。エンジンはMOネットワークトポロジを正しく解析し、動き位置特定を実行するために、右側のリスト3を必要とする。
図51は、本開示のいくつかの実施形態による、無線センシングのためのデバイスを削除するためのアプリのグラフィックユーザインタフェースの例示的な画像を図示する。以下のステップでは、デバイスを削除する例を説明する。
ステップ(1)において、ユーザはデバイスを削除するために、設定->デバイスに進む。ステップ(2)で、ユーザが「はい、削除」をクリックすると、アプリケーションはエンジンを停止する。ステップ(3)で、アプリケーションはパラメータ「csiScanning」を持たずに「Set User Selected Devices」APIを使用して、新しいリスト3のmacアドレス(デバイスmacアドレスなし)をSS経由でコンテナに送信する。コンテナ内のInitはリスト3とbuild sounder.confを受信する。MOは、MOネットワーク内のリスト3デバイスを返す。アプリケーションは、リスト3のデバイスでエンジンを開始する。
いくつかの実施形態では、コロケートされたデバイスを識別するために、各Botの近くで動き(例えば、指先を有する3回のタップ)を実行し、CSIパターンを分析して、タッチされたデバイスを他のタッチされていないデバイスと区別しうる。
いくつかの実施形態では、アプリケーションは、WiFiセンシング対応デバイスをフレンドリーな名前に名前変更するために、参照アプリに能力を追加する。デバイスは、事前にペアリングされ、参照システム内のアカウントに事前登録されうる。CSIサービスが有効になると、動作強度バーは、これらのデバイスの各々を表すように見える。ユーザがデバイスの1つに向かって歩くと、その動作バーが増加する。これは、ユーザが意図されたデバイスを見つけるのに役立つ。システムは、ユーザが意図されたデバイスを確認するのを助けるために、CSIがオン/オフされうる場合、デバイスを探し出した後に調査しうる。ユーザが、意図したデバイスの名前をわかりやすい名前に変更できるようになった。
いくつかの実施形態では、システムは、休業時間及び/又は勤務時間中における、開示された方法を実行しうる。ユーザは、各Botの近くで動作を行う(例えば、指先で3回タップする、又は丸いような動作を描く)。Botは、互いに近接して配置される。TypeE Botは2個、HexBotは2個ある。図52は、これらの実施形態による、無線センシングのために使用されるデバイスを識別するための例示的フロアプランを示す。ユーザが実行するローカル動作が特定のBotの近くにあるとき、その特定のBotの動き統計値は、残りのBotの動き統計値よりも高くなる。
異なる動きについて、各Botの動き統計値を分析しうる。動き統計値が動き閾値よりも高い場合、最大の動き統計値がデバイスの識別に使用される。
他の実施形態では、システムは、開示された方法を休業時間中に実行しうる。Originは、Botからより遠くに置かれる。図53は、これらの実施形態による、無線センシングのために使用されるデバイスを識別するための異なる例示的フロアプランを図示する。Bot1(H1)、Bot2(H2)の2つのBotは、部屋A(会議室1)に配置され、Bot3(H3)は、部屋Bに配置される。ユーザBがBot3の近くの部屋Bを歩いており、ユーザAはBot1/2の近くで描画動作を行う。図54は、これらの実施形態による、無線センシングに使用されるBot1を識別するために行われる例示的な動き統計値及び決定を示す。図55は、これらの実施形態による、無線センシングに使用されるBot2を識別するために行われる例示的な動き統計値及び決定を示す。
図56は、本開示のいくつかの実施形態による、無線センシングに使用されるデバイスを識別するための例示的な方法5600のフローチャートを示す。様々な実施形態では、方法5600は、上記で開示したシステムによって実行しうる。動作5602において、無線信号は、ベニューの無線マルチパスチャネルを介して送信機から送信される。無線マルチパスチャネルは、ベニュー内の物体の動きによって影響を受ける。動作5604において、無線信号は、無線マルチパスチャネルを介して受信機によって受信される。受信された無線信号は、無線マルチパスチャネル及び物体の動きに起因して、送信された無線信号とは異なる。動作5606において、無線マルチパスチャネルの、ある個数の時系列のチャネル情報(TSCI)が、受信された無線信号に基づいて取得される。動作5608において、上記個数のTSCIに基づいて、時系列の動き分析値(TSMA:time series of channel information)が演算される。動作5610において、TSMAに基づいてターゲットデバイスの情報が演算される。ターゲットデバイスは、送信機、受信機、又はベニュー内の追加のデバイスのうちの1つでありうる。ターゲットデバイスの情報は、アイデンティティ、名前、ラベル、タグ、又は位置(ロケーション)のうちの少なくとも1つを含みうる。図56の動作の順序は、本教示の様々な実施形態に従って変更されうる。
図57は、本開示のいくつかの実施形態による、サウンドセンシング又は無線センシングのためのシステムの第1の無線デバイス(例えば、Bot5700)の例示的なブロック図を示す。Bot5700は、本明細書で説明する様々な方法を実装するように構成されうるデバイスの一例である。図57に示されるように、Bot5700は、プロセッサ5702と、メモリ5704と、送信機5712及び受信機5714を備えるトランシーバ5710と、同期コントローラ5706と、電力モジュール5708と、オプションのキャリアコンフィギュレータ5720と、無線信号生成器5722とを含むハウジング5740を備える。
この実施形態では、プロセッサ5702は、Bot5700の全般的な動作を制御し、中央処理装置(CPU)、及び/又は汎用マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブル論理デバイス(PLD)、コントローラ、状態機械、ゲート論理、個別ハードウェアコンポーネント、専用ハードウェア有限状態機械、又はデータの演算若しくは他の操作を実行することができる任意の他の適切な回路、デバイス及び/若しくは構造等の1つ以上の処理回路又はモジュールを含みうる。
読取り専用メモリ(ROM)とランダムアクセスメモリ(RAM)の両方を含みうるメモリ5704は、命令とデータとをプロセッサ5702に与えうる。メモリ5704の一部は、不揮発性ランダムアクセスメモリ(NVRAM)を含んでもよい。プロセッサ5702は、典型的には、メモリ5704内に記憶されたプログラム命令に基づいて論理演算及び算術演算を実行する。メモリ5704に記憶された命令(別名、ソフトウェア)は、本明細書で説明する方法を実行するためにプロセッサ5702によって実行されうる。プロセッサ5702及びメモリ5704は一緒に、ソフトウェアを格納して実行する処理システムを形成する。本明細書で使用される場合、「ソフトウェア」は、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード等と呼ばれるかどうかにかかわらず、1つ以上の所望の機能又はプロセスを実行するようにマシン又はデバイスを構成しうる任意のタイプの命令を意味する。命令は、(例えば、ソースコード形式、バイナリコード形式、実行可能コード形式、又は任意の他の適切なコード形式の)コードを含みうる。命令は、1つ以上のプロセッサによって実行されると、処理システムに、本明細書で説明する様々な機能を実行させる。
送信機5712及び受信機5714を含むトランシーバ5710はBot5700が遠隔デバイス(例えば、Origin又は別のBot)との間でデータを送受信することを可能にする。アンテナ5750は、典型的にはハウジング5740に取り付けられ、トランシーバ5710に電気的に接続される。様々な実施形態では、Bot5700は、複数の送信機、複数の受信機、及び複数のトランシーバを含む(図示せず)。一実施形態では、アンテナ5750は、それぞれが別個の方向を向く複数のビームを形成しうるマルチアンテナアレイ5750と置き換えられる。送信機5712は、異なるタイプ又は機能を有する信号を無線に送信するように構成されてよく、そのような信号はプロセッサ5702によって生成される。同様に、受信機5714は、異なるタイプ又は機能を有する無線信号を受信するように構成され、プロセッサ5702は複数の異なるタイプの信号を処理するように構成される。
この例におけるBot5700は、本明細書に開示される任意のシステムにおけるBot又は送信機として機能してもよく、例えば、ベニューにおける無線支援信号推定のための図2のBot211、無線センシングのための図20のBot2011、無線センシングのために使用されるデバイスを識別するための図48のBot4811、又は、図1~図56のいずれか1つにおけるBotである。例えば、無線信号生成器5722は、送信機5712を介して、ベニュー内の無線チャネルを通じて無線信号を生成し、送信しうる。無線信号は、チャネルの情報を搬送する。無線信号は、ベニューにおける物体又はユーザの動きによって影響を受けるので、チャネル情報は、物体又はユーザからの情報を含む。したがって、動きは、無線信号に基づいてセンシングされ、検出されうる。あるいは、無線信号がチャネル情報が物体からの音情報を含むように、ベニュー内のサウンディング又は振動物体によって反射されてもよい。したがって、音声又は他の表現は、無線信号に基づいて検出又は再構成されうる。無線信号生成器5722における無線信号の生成は、別のデバイス、例えば、Originからのサウンドセンシングの要求に基づいてもよく、又はシステム事前構成に基づもよい。即ち、Bot5700は、送信された無線信号が無線サウンドセンシングのために使用されることを知っていても知っていなくてもよい。
この例における同期コントローラ5706は、Bot5700の動作を、別のデバイス、例えば、Origin又は別のBotと同期又は非同期になるように制御するように構成されうる。一実施形態では、同期コントローラ5706は、Bot5700を、Bot5700によって送信された無線信号を受信するOriginと同期させるように制御しうる。別の実施形態では、同期コントローラ5706は、他のBotと非同期に無線信号を送信するようにBot5700を制御しうる。別の実施形態では、Bot5700及び他のBotの各々は、無線信号を個別に及び非同期に送信しうる。
キャリアコンフィギュレータ5720は、無線信号生成器5722によって生成された無線信号を送信するための送信リソース、例えば、時間及びキャリアを構成するための、Bot5700内のオプションのコンポーネントである。一実施形態では、時系列のCIの各CIは、無線信号の送信のキャリア又はサブキャリアにそれぞれ対応する1つ以上の成分を有する。無線サウンドセンシングは、成分の任意の1つ又は任意の組み合わせに基づきうる。
電力モジュール5708は、図57の上述のモジュールの各々に調整された電力を提供するために、1つ以上の蓄電池等の電源と、電力調整器とを含みうる。いくつかの実施形態では、Bot5700は、専用の外部電源(例えば、壁コンセント)に接続される場合、電力モジュール5708は、変圧器及び電力調整器を含みうる。
上述の様々なモジュールは、バスシステム5730によって互いに接続される。バスシステム5730は、データバスと、データバスに加えて、例えば、電力バス、制御信号バス、及び/又はステータス信号バスとを含みうる。Bot5700のモジュールは、任意の適切な技術及び媒体を使用して、互いに動作可能に接続されうることが理解される。
いくつかの別個のモジュール又はコンポーネントが図57に示されているが、モジュールのうちの1つ以上が組み合わせられうるか、又は一般に実装されうることが、当業者には理解されよう。例えば、プロセッサ5702は、プロセッサ5702に関して上記で説明した機能を実装するだけでなく、無線信号生成器5722に関して上記で説明した機能も実装しうる。逆に、図57に示されるモジュールの各々は、複数の別個のコンポーネント又は要素を使用して実装されうる。
図58は、本教示の一実施形態による、無線センシングのためのシステムの第2の無線デバイス(例えば、Origin5800)の例示的なブロック図を示す。Origin5800は、本明細書で説明する様々な方法を実装するように構成されうるデバイスの一例である。この例におけるOrigin5800は、本明細書に開示される任意のシステムにおけるOrigin又は受信機として機能してもよく、例えば、ベニューにおける無線支援信号推定のための図2におけるOrigin212、無線センシングのための図20におけるOrigin2012、無線センシングのために使用されるデバイスを識別するための図48におけるOrigin4812、又は、図1~図56のいずれか1つにおけるOriginである。図58に示されるように、Origin5800は、プロセッサ5802と、メモリ5804と、送信機5812及び受信機5814を備えるトランシーバ5810と、電力モジュール5808と、同期コントローラ5806と、チャネル情報抽出器5820と、オプションの動き検出器5822とを含むハウジング5840を備える。
この実施形態では、プロセッサ5802、メモリ5804、トランシーバ5810、及び電力モジュール5808は、Bot5700内のプロセッサ5702、メモリ5704、トランシーバ5710、及び電力モジュール5708と同様に動作する。アンテナ5850又はマルチアンテナアレイ5850は、通常、ハウジング5840に取り付けられ、トランシーバ5810に電気的に接続される。
Origin5800は、第1の無線デバイス(例えば、Bot5700)のタイプとは異なるタイプを有する第2の無線デバイスでありうる。特に、Origin5800内のチャネル情報抽出器5820は、無線チャネルを介して無線信号を受信し、無線信号に基づいて、時系列の無線チャネルのチャネル情報(CI)を取得するように構成される。チャネル情報抽出器5820は、抽出されたCIを、オプションの動き検出器5822に、又はベニューにおける無線サウンドセンシングのためにOrigin5800の外部の動き検出器に送信しうる。
動き検出器5822は、Origin5800におけるオプションのコンポーネントである。一実施形態では、それは図58に示すように、Origin5800内にある。別の実施形態では、それはOrigin5800の外側にあり、別のデバイス内にあり、これは、Bot、別のOrigin、クラウドサーバ、フォグサーバ、ローカルサーバ、及びエッジサーバでありうる。オプションの動き検出器5822は、動き情報に基づいて、ベニュー内の振動する物体又はソースからの音情報を検出するように構成されうる。動き情報は、動き検出器5822又はOrigin5800の外側の別の動き検出器によるCIの時系列に基づいて演算されうる。
この例における同期コントローラ5806は、例えば、Bot、別のOrigin、又は独立した動き検出器等の別のデバイスと同期又は非同期になるように、Origin5800の動作を制御するように構成されうる。一実施形態では、同期コントローラ5806は、無線信号を送信するBotと同期するようにOrigin5800を制御しうる。別の実施形態では、同期コントローラ5806は、他のOriginと非同期に無線信号を受信するようにOrigin5800を制御しうる。別の実施形態では、Origin5800及び他のOriginの各々は、無線信号を個別に及び非同期に受信しうる。一実施形態では、オプションの動き検出器5822又はOrigin5800の外側の動き検出器は、個別の時系列のCIに基づいて、個別のヘテロジニアス動き情報を非同期に演算するように構成される。
上述の様々なモジュールは、バスシステム5830によって互いに結合される。バスシステム5830はデータバスと、データバスに加えて、例えば、電力バス、制御信号バス、及び/又はステータス信号バスとを含みうる。Origin5800のモジュールは、任意の適切な技術及び媒体を使用して、互いに動作可能に結合されうることが理解される。
いくつかの別個のモジュール又はコンポーネントが図58に示されているが、モジュールのうちの1つ以上が組み合わせられうるか、又は一般に実装されうることが、当業者には理解されよう。例えば、プロセッサ5802は、プロセッサ5802に関して上記で説明した機能を実装するだけでなく、チャネル情報抽出器5820に関して上記で説明した機能も実装しうる。逆に、図58に示されるモジュールの各々は、複数の別個のコンポーネント又は要素を使用して実装されうる。
以下の番号付けされた項は、無線センシングの例を提供する。
項F1.無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、無線センシングシステムの第1のヘテロジニアス無線デバイスから、ベニューの無線マルチパスチャネルを通じて無線信号を送信することであって、無線マルチパスチャネルは、ベニューにおける物体の動きによって影響を受ける、ことと、システムの第2のヘテロジニアス無線デバイスによって無線信号を受信することであって、受信される無線信号は、ベニューの無線マルチパスチャネル及び物体の動きに起因して、送信された無線信号とは異なる、ことと、プロセッサとメモリと命令のセットとを使用して、受信された無線信号に基づいて、無線マルチパスチャネルの、ある個数の時系列のチャネル情報(TSCI)を取得することと、当該個数のTSCIに基づいて、時系列の動き分析(TSMA)を演算することと、TSMAに基づいて、ターゲットデバイスの情報を演算することであって、当該ターゲットデバイスは、第1のデバイス及び第2のデバイスのうちの1つであり、当該情報は、アイデンティティ、名前、ラベル、タグ、又は位置のうちの少なくとも1つを含む、ことと、を含む。
TSCIに基づく動き分析は、(a)ターゲットデバイス情報の情報(例えば、アイデンティティ又は位置)を演算すること、及び(b)無線センシング、の両方のために使用されうる。TSMAは、(i)ターゲットデバイスの情報を演算すること、及び(ii)物体の動きを監視すること、の両方のために使用されうる。
項F2.項F1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、TSMA又はTSCIのうちの少なくとも1つは、無線センシングタスクにおいてベニューにおける物体の動きを監視するためにも使用される。
ターゲットデバイス情報の演算は、ユーザデバイス上でのユーザ入力無しで、物体(例えば、ユーザ、ペット)がトレーニング移動(例えば、ターゲットデバイスに向かう移動)>予測/推定/推測/提案された情報の自動演算を行うことを必要しうる。ユーザデバイス上に予測情報を提示し、ユーザが予測情報を確認/拒絶することを可能にする。
項F3.項F1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、物体は、計画された移動を行うトレーニング物体であり、TSMAの挙動を分析することと、計画された移動に関連する予測された挙動、又はターゲットデバイスの予測されたアイデンティティのうちの少なくとも1つに基づいて、TSMAを分析することと、比較に基づいて、ターゲットデバイスの予測情報を演算することと、予測情報をユーザのユーザデバイス上で提示することと、ユーザデバイス上のユーザ入力に基づいて、ターゲットデバイスの情報をインタラクティブに演算することと、を含み、ユーザ入力は、予測情報の確認又は拒絶である。
ターゲットデバイス情報の演算は、物体(例えば、ユーザ、ペット)がトレーニング移動(例えば、ターゲットデバイスに向かう移動)を行うことを必要としうる。ユーザデバイス上のユーザ入力に基づく、情報のユーザ支援演算。
項F4.項F1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、物体は、システムのユーザであり、移動は、トレーニング移動であり、ユーザに、ターゲットデバイスの近くでトレーニング移動を行うように命令し、ユーザのユーザデバイス上にTSMAを提示し、ユーザデバイス上でユーザ入力を受信し、ユーザ入力に基づいて、ターゲットデバイスの情報をインタラクティブに演算することによって、ターゲットデバイスの情報をインタラクティブに演算することを更に含む。
物体(例えば、ユーザ、ペット)は、トレーニング移動を実行するように促されてもよい。当該促すことは、視覚的、聴覚的、機械的等であってもよい。トレーニング移動は、関連するタイミングを有する一連の運動であってもよい。例えば、ターゲットデバイスに向かって移動し、5秒間休止し、ターゲットデバイスから離れて移動し、5秒間休止し、N回、シーケンスを繰り返す。例えば、N回、手を円運動で動かす。10秒間一時停止し、M回、円運動を行う。
項F5.項F4の方法/デバイス/システム/ソフトウェアであって、トレーニング物体に対して、トレーニング移動を行うよう促すプロンプトを生成することを更に含み、プロンプトは、シグナリング、ガイダンス、命令、ステップバイステップ命令、タイミング、リズム、物体とのインタラクション、インタラクティブ命令、マルチモーダルプロンプト、メディアプロンプト、マルチメディアプロンプト、視覚的プロンプト、プレゼンテーション、テキスト、画像、グラフィックス、図、ビデオ、アニメーション、再生、オーディオプロンプト、オーディオ再生、音声記録、合成音声、記録音声、機械的プロンプト、振動、又は機械的動作、のうちの少なくとも1つを含む。
ユーザは、TSMAのプレゼンテーション/音声プレゼンテーション/視覚的プレゼンテーション/機械的プレゼンテーション/視覚的表示/アニメーションを見る/聞く/受ける。
項F6.項F4の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ターゲットデバイスの近くのユーザのトレーニング移動を反映する、ユーザデバイス上のTSMAのリアルタイムプレゼンテーションを生成することを更に含み、リアルタイムプレゼンテーションは、視覚的プレゼンテーション、アニメーションプレゼンテーション、マルチメディアプレゼンテーション、オーディオプレゼンテーション、又は機械的プレゼンテーション、のうちの少なくとも1つを含む。
トレーニング物体の位置は、ユーザによって入力されてもよい。
項F7.項F4の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、トレーニング物体の位置は、システムには知られていないがユーザに知られており、ユーザデバイス上の別のユーザ入力に基づいて、トレーニング物体の位置の別の情報をインタラクティブにインタラクティブに演算することを更に含み、当該別の情報は、ベニューの領域のアイデンティティ、名前、ラベル、又はタグのうちの少なくとも1つを含む。
(1以上の)追加のTSMAは、追加のタイプ1又はタイプ2デバイスと関連付けられた個別のTSCIに基づいて演算されうる。TSMAは、(1つ以上の)追加のTSMAと一緒に表示/提示/再生/アニメーション化されうる。ユーザは、全てのTSMAを見る/聞く/観察し、トレーニング物体の移動に従うもの(例えば、トレーニング物体=ユーザ)を見つけることができる。ターゲットデバイス(タイプ1又はタイプ2デバイスのいずれか)が、無線センシングシステムにおいて認識不可能な名前で現れる場合であっても、ユーザは、システムプロンプトに従い、ターゲットデバイスの近くでトレーニング移動を行うことができる。その後、ユーザは、表示された(1つ以上の)TSMAを比較し、(認識できない名前を依然として有する場合であっても)ターゲットデバイスを識別でき、これはターゲットデバイスと関連付けられたTSMAがトレーニング移動に密接に関連する挙動を示すことになるためである。
項F8.項F4の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ターゲットデバイスは、タイプ2デバイスであり、ベニュー内に少なくとも1つの追加のタイプ2デバイスがあり、ベニューの無線マルチパスチャネルを通じて、タイプ1デバイスから、追加の各タイプ2デバイスに個別の追加の無線信号を送信することと、追加の各タイプ2デバイスによって個別の追加の無線信号を受信することであって、個別の受信された追加の無線信号は、ベニューの無線マルチパスチャネル及び物体の動きに起因して、個別の送信された追加の無線信号とは異なる、ことと、追加の各タイプ2デバイスによって、それぞれの個別の受信された追加の無線信号に基づいて、無線マルチパスチャネルの、ある個数の個別の追加のTSCIを取得することと、追加の各タイプ2デバイスのための当該個数の個別の追加のTSCIに基づいて、個別の追加のTSMAを演算することと、追加のTSMAの少なくとも一部に基づいて、ターゲットデバイスの情報を演算することと、を更に含む。
ベニュー内に多数の無線デバイスが存在しうるので、それらのTSMAは、プレゼンテーション/ディスプレイがよりユーザフレンドリーであるように、グループで表示されうる(即ち、それらのうちのいくつかのみが同時に表示される)。多数のTSMAが同時に表示される場合、デバイスのためのディスプレイは小さすぎることがある。
項F9.項F8の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ユーザデバイス上でTSMA及び少なくともいくつかの追加のTSMAのリアルタイムプレゼンテーションを生成することを更に含み、TSMA及び少なくともいくつかの追加のTSMAは、ユーザによる視覚的な比較を可能にするように並べてユーザデバイス上に視覚的に提示される。
項F10.項F4の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ターゲットデバイスはタイプ1デバイスであり、ベニューに少なくとも1つの追加のタイプ1デバイスがあり、ベニューの無線マルチパスチャネルを通じて、追加の各タイプ1デバイスからタイプ2デバイスへ個別の追加の無線信号を送信することと、タイプ2デバイスによって、追加の各タイプ1デバイスから個別の追加の無線信号を受信することであって、個別の受信された追加の無線信号は、ベニューの無線マルチパスチャネル及び物体の動きに起因して、個別の送信された追加の無線信号とは異なる、ことと、タイプ2デバイスによって、個別の受信された追加の各無線信号に基づいて、無線マルチパスチャネルの、ある個数の個別の追加のTSCIを取得することと、追加の各タイプ1デバイスと関連付けられた、当該個数の個別の追加のTSCIに基づいて、個別の追加のTSMAを演算することと、追加のTSMAの少なくとも一部に基づいて、ターゲットデバイスの情報を演算することと、を更に含む。
項F11.項F10の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ユーザデバイス上でTSMA及び少なくともいくつかの追加のTSMAのリアルタイムプレゼンテーションを生成することを更に含み、、TSMA及び少なくともいくつかの追加のTSMAは、ユーザによる視覚的な比較を可能にするように並べてユーザデバイス上に視覚的に提示される。
いくつかの可能性のあるトレーニング物体。いくつかの可能性のあるトレーニング移動。
項F12.項F1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、物体は、システムのユーザ、生物、植物、動物、ペット、人間、又は機械のうちの少なくとも1つを含み、移動は、ターゲットデバイスに触れること、ターゲットデバイスをタップすること、ターゲットデバイスに向かう移動、ターゲットデバイスから離れる移動、ターゲットデバイスに対する半径方向の移動、ターゲットデバイスに対する接線方向の移動、タップする動き、反復する移動、反復される移動、周期的な移動、過渡的な移動、タイミングを伴う移動、カウントを伴う移動、間欠的な移動、又は時限的な休止を伴う移動、のうちの少なくとも1つを含む。
いくつかのタスクは、ターゲットデバイスを識別すると実行されうる。
項F13.項F9の無線センシングシステムの方法/デバイス/ソフトウェアであって、ターゲットデバイスの情報に基づいて以下のうちの少なくとも1つを実行することを更に含む:推奨構成を生成すること、ユーザデバイス上で推奨構成を提示すること、ユーザデバイス上のユーザ入力に基づいて推奨構成の確認又は拒絶又は修正を受信すること、ターゲットデバイスをカスタマイズ又は構成すること、システムのネットワーク又は相互接続をカスタマイズ又は構成すること、システムのサーバをカスタマイズ又は構成すること、ユーザデバイス上のアプリケーションをカスタマイズ又は構成すること、システムのプレゼンテーションをカスタマイズ又は構成すること、無線センシングタスク、無線センシングアルゴリズム、融合アルゴリズム、又はシステムに関連する集約アルゴリズムをカスタマイズ又は構成すること、ターゲットデバイスの承認性、容認性、十分性、適合性、又は適格性を確認すること、システム内のターゲットデバイスの役割を確認すること、ターゲットデバイスとTSCIと無線信号と無線信号の送信と無線信号の受信とTSCIの取得とのうちの少なくとも1つに資格付与すること、ターゲットデバイスの位置特定を行うこと、マップに対するターゲットデバイスの座標を演算すること、ターゲットデバイスを命名すること、ターゲットデバイスの名前変更を行うこと、ユーザからシステムのネットワーク構成又は相互接続を取得すること、及び、ユーザから無線センシングタスクの構成、無線センシングアルゴリズム、融合アルゴリズム又は集約アルゴリズムを取得すること。
パターン認識がTSMAに適用されうる。
項F14.項F3の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、TSMAのパターンを認識することであって、当該パターンは、物体がターゲットデバイスの近傍でターゲットデバイスに向かって移動することに従った、TSMAにおける動き分析の特徴の単調増加傾向と、物体がターゲットデバイスの近傍でターゲットデバイスから離れることに従った、TSMAにおける動き分析の特徴の単調減少傾向と、ターゲットデバイスの近傍で物体の最も近い接近点におけるTSMAにおける動き分析の特徴の極大値と、物体がターゲットデバイスの近傍でターゲットデバイスに向かって移動すること従った、TSMAにおける動き分析の特徴の正の微分又は差分と、物体がターゲットデバイスの近傍でターゲットデバイスから離れることに従った、TSMAにおける動き分析の特徴の負の微分又は差分と、最も近い接近点におけるTSMAにおける動き分析の特徴のゼロ微分又は差分と、最も近い接近点におけるTSMAにおける動き分析の特徴の負の二次微分(又は差分の差分)と、TSMAにおける動き分析の特徴の繰り返しと、TSMAにおける動き分析の特徴の緩和振動、及びTSMAにおける動き分析の特徴の減衰と、のうちの少なくとも1つを含む、ことと、TSMAのパターンの認識に基づいてターゲットデバイスの情報を演算することと、を更に含む。
項F15.項F1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、動き分析は、大きさ、位相、積、二乗、平方根、和、重み付け和、逆数、平均、重み付け平均、切り捨て平均、条件付き平均、幾何平均、調和平均、閾値、ソフト閾値、ハード閾値、量子化、論理値、集合、コレクション、時間、発生、イベント、イベント統計、ラベル、マッピング、時間継続時間、タイミング、期間、規則性、周期性、繰り返し、再発、変化、差分、衝動性、異常、時間平均、スライディングウィンドウ、フィルタリング出力、ローパスフィルタリング、バンドパスフィルタリング、ハイパスフィルタリング、最大、最小、局所最大、局所最小、条件付き最大、条件付き最小、変形、変換、線形変換、非線形変換、フーリエ変換、ラプラス変換、アダマール変換、三角変換、スパース変換、グラフベース変換、成分、スペクトル成分、スペクトル特徴、スペクトル特性、主成分分析、独立成分分析、固有分解、特異値分解、直交投影、非直交投影、過完全投影、ヒストグラム、標本平均、標準偏差、分散、高次統計量、セントロイド、クラスタ中心、パーセンタイル、中央値、最頻値、正規化、相関、共分散、自己相関、自己共分散、相互相関、相互共分散、尤度、確率分布関数、標本分布、モーメント生成関数、期待値、期待関数、長さ、面積、体積、形状、輪郭、陰影、位置、位置、定位、座標、距離、方向、変位、速度、速度、加速度、積分、微分、傾き、2次微分、高次微分、角、角度、角度距離、距離、角速度、加速度、積分、微分、傾き、高次微分、高次微分、角度、角距離、角速度、角加速度、全変動、絶対変動、二乗変動、広がり、分散、変動、偏差、絶対偏差、二乗偏差、全偏差、発散、範囲、四分位範囲、歪度、尖度、Lモーメント、変動係数、四分位分散係数、平均絶対差、ジニ係数、相対的平均差、相対的平均差、ジニ係数、ジニ係数、平均差分係数、差分係数、ジニ係数、相対平均差、中央値絶対偏差、平均値絶対偏差、距離標準偏差、分散係数、エントロピー、分散対平均比、最大・最小比、変動尺度、規則性尺度、類似度尺度、類似度スコア、距離、L-1距離、絶対距離、L-2距離、ユークリッド距離、L-k距離、ノルム、メドイド距離、分類、動作分類、認識、歩行、歩行周期、ジェスチャー、手書き、存在、不在、接近、後退、呼吸数、心拍数、潮量、呼吸深度、吸気時間、呼気時間、吸気時間/呼気時間比、気流量、心拍発熱間隔、心拍変動、及びその他の分析値、のうちの少なくとも1つを含む。
いくつかの実施形態では、本教示は、無線センシングパートナーの識別及び資格付与システムを開示する。タイプ2デバイスは、タイプ2デバイスとの無線センシングネットワークを形成するために潜在的にタイプ1デバイスとして機能する、、多くのスマートデバイス(例えば、IoTデバイス、WiFi対応デバイス、WiFi Direct対応デバイス、WiFi P2P対応デバイス、5Gデバイス、Zigbeeデバイス)を有するベニューにインストールされうる。タイプ2デバイスは、無線センシングネットワーク/システムを共同で形成するように、タイプ1デバイスとして機能するために、いくつかのスマートデバイスを探索/スキャン/発見/識別/位置特定/探索/要求/認証/関連付け/ネゴシエート/接続/ペアリング/登録/接続しうる。タイプ1デバイスとタイプ2デバイスとの間の接続は、P2P(例えば、WiFi Direct)接続でありうる。
スマートデバイス(候補タイプ1デバイス)は、ベニュー内の異なる位置にある複数のスマートTV、スマートスピーカ、スマートセットトップボックス(STB)、スマートライト、スマートバルブ、スマート冷蔵庫、スマート家電、スマート家具、スマートフィクスチャ、スマートソケット、スマートプラグ、スマート充電器、スマート装飾品、スマート時計、スマート時計、スマート煙検出器、スマートドアベル、スマートカメラ、スマートサーモスタット、スマート真空掃除機、コンピュータ、タブレット、フォン、ルータ、基地局等を含みうる。タイプ2デバイスは、Origin、ルータ、リピータ/メッシュルータ/メッシュデバイス、基地局、4G/5Gミニ/マイクロ/ナノ/ピコセル基地局、Hex Command、クライアント、WiFiクライアント、IoTデバイス、又はスマートデバイスのうちの1つでありうる。スマートデバイスは、タイプ1デバイス及びタイプ2デバイスの両方として機能してもよい。ベニューは、住居、オフィス、建物、倉庫、施設、構造物等でありうる。いくつかの実施形態では、物体の移動中にタイプ1/タイプ2デバイスによって取得/キャプチャされたTSCIから演算された動き分析に基づいて、ターゲットデバイス(例えば、タイプ1又はタイプ2デバイス)の情報を演算する。
以下の番号付けされた項は、無線センシングのための他の例を提供する。
項G1.無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、N1個の送信アンテナを有する、システムの第1のヘテロジニアス無線デバイスから、ベニューの無線マルチパスチャネルを通じて無線信号を送信することであって、無線マルチパスチャネルは、ベニューにおける物体の動きによって影響を受ける、ことと、無線マルチパスチャネルを通じて、N2個の受信アンテナを有する、システムの第2のヘテロジニアス無線デバイスによって無線信号を受信することであって、受信される無線信号は、ベニューの無線マルチパスチャネルに起因して、送信された無線信号とは異なる、ことと、プロセッサとメモリと命令のセットとを使用して、受信された無線信号に基づいて、無線マルチパスチャネルの、ある個数のチャネル情報(TSCI)を取得することであって、各TSCIは、N1個の送信アンテナのうちの1つ及びN2個の受信アンテナのうちの1つと関連付けられている、ことと、上記個数のTSCIに基づいて、上記物体の時系列の動き分析(TSMA)を演算することと、TSMAに基づいて、ターゲットデバイスの情報を演算することであって、当該ターゲットデバイスは、第1のデバイス及び第2のデバイスのうちの1つである、ことと、を含む。TSCIに基づく動き分析は、(a)ターゲットデバイス情報の情報(例えば、アイデンティティ又は位置)を演算すること、及び(b)無線センシング、の両方のために使用されうる。
項G2.項G1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、TSMAに基づいて物体の動きを監視することを更に含む。
項G2b.項G1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、上記個数のTSCIが取得でき、かつ、TSMA、ひいてはターゲットデバイスの情報が演算できるように、無線マルチパスチャネルに影響を与えるためにトレーニング移動を行うようにトレーニング物体に促すことを更に含む。ターゲットデバイス情報の演算は、物体(例えば、ユーザ、ペット)がトレーニング移動(例えば、ターゲットデバイスに向かう移動)を行うことを必要としうる。
項G3.項G1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、物体は、トレーニング移動を行うトレーニング物体である。
項G3b.項G3の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、物体は、システムによるプロンプトに基づいてトレーニング移動を行う。
項G3c.項G3bの無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、物体は、システムによるプロンプトに応答してトレーニング移動を行う。トレーニング物体の位置が必要になる場合がある。
項G4.項G3の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、トレーニング物体は既知の位置にある。いくつかの可能性のあるトレーニング物体。
項G5.項G3の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、トレーニング物体は、システムのユーザ、生物、植物、動物、ペット、人間、又は機械のうちの少なくとも1つを含む。いくつかの可能性のあるトレーニング移動。
項G6.項G3の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、トレーニング移動は、ターゲットデバイスに向かう又はターゲットデバイスから離れる移動、ターゲットデバイスに対する半径方向の移動、ターゲットデバイスに対する接線方向の移動、反復する移動、周期的な移動、及び過渡的な移動、のうちの少なくとも1つを含む。可能性のあるセットアップ:ユーザは、ターゲットデバイスを識別/確認するためにトレーニング動作を行う。
項G7.項G3の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、トレーニング物体は、無線センシングシステムのユーザであり、ユーザは、ターゲットデバイスを識別又は確認するためにトレーニング移動を行う。ユーザは、ターゲットデバイスに向かって又はターゲットデバイスから離れるように移動しうる。
項G8.項G7の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ユーザは、トレーニング移動において、ターゲットデバイスに向かって又はターゲットデバイスから離れるように移動する。ターゲットデバイスが識別されうる。
項G9.項G8に記載の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、TSMA及びトレーニング移動に基づいて、ターゲットデバイスのアイデンティティ(ID)を演算することによって、ターゲットデバイスを識別することを更に含み、上記情報はIDである。デバイスのIDの推測/予測/予期がありうる。ターゲットデバイスは、推測/予測/予期に基づいて確認されうる。
項G10.項G9の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ターゲットデバイスのIDの予測に基づいて、ターゲットデバイスのIDを確認することを更に含む。いくつかのタスクは、ターゲットデバイスを識別することに応じて実行されうる。
項G11.項G9の無線センシングシステムの方法/デバイス/ソフトウェアであって、ターゲットデバイスのIDに基づいて以下のうちの少なくとも1つを実行することを更に含む:ターゲットデバイスをカスタマイズ又は構成すること、システムのネットワーク又は相互接続をカスタマイズ又は構成すること、システムのサーバをカスタマイズ又は構成すること、ユーザデバイス上でアプリをカスタマイズ又は構成すること、システムのプレゼンテーションをカスタマイズ又は構成すること、無線センシングタスクをカスタマイズ又は構成すること、無線センシングアルゴリズム、無線センシングアルゴリズム、融合アルゴリズム、又はシステムに関連する集約アルゴリズムをカスタマイズ又は構成すること、ターゲットデバイスの承認性、容認性、十分性、適合性、又は適格性を確認すること、システム内のターゲットデバイスの役割を確認すること、ターゲットデバイス、TSCI、無線信号、無線信号の送信、無線信号の受信、及びTSCIの取得のうちの少なくとも1つに資格付与すること、ターゲットデバイスの位置を演算すること、マップに対するターゲットデバイスの座標を演算すること、ターゲットデバイスを命名すること、ターゲットデバイスを名前変更を行うこと、ターゲットデバイスの位置をユーザから取得すること、ターゲットデバイスの名前又はラベルをユーザから取得すること、システムのネットワーク構成又は相互接続をユーザから取得すること、及び、無線センシングタスクの構成、無線センシングアルゴリズム、融合アルゴリズム、又は集約アルゴリズムをユーザから取得すること。
項G12.項G1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、物体の移動と関連付けられたTSMAの挙動を分析することと、TSMAの挙動の分析に基づいて、ターゲットデバイスの情報を演算することと、を更に含む。TSMAの挙動は、ターゲットデバイスのアイデンティティの予測に基づいて分析されうる。
項G13.項G12の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ターゲットデバイスのアイデンティティの予測に基づいて、TSMAの挙動を分析することを更に含む。パターン認識がTSMAに適用されうる。
項G14.項G12の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、TSMAのパターンを認識することと、TSMAのパターンの認識に基づいて、ターゲットデバイスの情報を演算することと、を更に含む。パターン認識は、ターゲットデバイスのアイデンティティの予測に基づいてTSMAに適用されうる。
項G15.項G14の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、トレーニング移動とターゲットデバイスの情報の予測とに基づいて、TSMAのパターンを認識することと、TSMAの認識されたパターンに基づいて、ターゲットデバイスの情報を確認することと、を更に含む。ターゲットデバイスと関連付けられたTSMAの、いくつかの可能性のあるパターン。
項G16.項G14の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、パターンは、物体がターゲットデバイスの近傍でターゲットデバイスに向かって移動することに従った、TSMAにおける動き分析の特徴の単調増加傾向と、物体がターゲットデバイスの近傍でターゲットデバイスから離れることに従った、TSMAにおける動き分析の特徴の単調減少傾向と、ターゲットデバイスの近傍で物体の最も近い接近点におけるTSMAにおける動き分析の特徴の極大値と、物体がターゲットデバイスの近傍でターゲットデバイスに向かって移動すること従った、TSMAにおける動き分析の特徴の正の微分又は差分と、物体がターゲットデバイスの近傍でターゲットデバイスから離れることに従った、TSMAにおける動き分析の特徴の負の微分又は差分と、最も近い接近点におけるTSMAにおける動き分析の特徴のゼロ微分又は差分と、最も近い接近点におけるTSMAにおける動き分析の特徴の負の二次微分(又は差分の差分)と、TSMAにおける動き分析の特徴の繰り返しと、TSMAにおける動き分析の特徴の緩和振動、及びTSMAにおける動き分析の特徴の減衰と、のうちの少なくとも1つを含む、ことと、TSMAのパターンの認識に基づいてターゲットデバイスの情報を演算することと、を更に含む。いくつかの可能性のある動き分析。
項G17.項G1の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、動き分析は、大きさ、位相、積、二乗、平方根、和、重み付け和、逆数、平均、重み付け平均、切り捨て平均、条件付き平均、幾何平均、調和平均、閾値、ソフト閾値、ハード閾値、量子化、論理値、集合、コレクション、時間、発生、イベント、イベント統計、ラベル、マッピング、時間継続時間、タイミング、期間、規則性、周期性、繰り返し、再発、変化、差分、衝動性、異常、時間平均、スライディングウィンドウ、フィルタリング出力、ローパスフィルタリング、バンドパスフィルタリング、ハイパスフィルタリング、最大、最小、局所最大、局所最小、条件付き最大、条件付き最小、変形、変換、線形変換、非線形変換、フーリエ変換、ラプラス変換、アダマール変換、三角変換、スパース変換、グラフベース変換、成分、スペクトル成分、スペクトル特徴、スペクトル特性、主成分分析、独立成分分析、固有分解、特異値分解、直交投影、非直交投影、過完全投影、ヒストグラム、標本平均、標準偏差、分散、高次統計量、セントロイド、クラスタ中心、パーセンタイル、中央値、最頻値、正規化、相関、共分散、自己相関、自己共分散、相互相関、相互共分散、尤度、確率分布関数、標本分布、モーメント生成関数、期待値、期待関数、長さ、面積、体積、形状、輪郭、陰影、位置、位置、定位、座標、距離、方向、変位、速度、速度、加速度、積分、微分、傾き、2次微分、高次微分、角、角度、角度距離、距離、角速度、加速度、積分、微分、傾き、高次微分、高次微分。角度、角距離、角速度、角加速度、全変動、絶対変動、二乗変動、広がり、分散、変動、偏差、絶対偏差、二乗偏差、全偏差、発散、範囲、四分位範囲、歪度、尖度、Lモーメント、変動係数、四分位分散係数、平均絶対差、ジニ係数、相対的平均差、相対的平均差、ジニ係数、ジニ係数、平均差分係数、差分係数。ジニ係数、相対平均差、中央値絶対偏差、平均値絶対偏差、距離標準偏差、分散係数、エントロピー、分散対平均比、最大対最小比、変動尺度、規則性尺度、類似度尺度、類似度スコア、距離、L-1距離、絶対距離、L-2距離、ユークリッド距離、L-k距離、ノルム、メドイド距離、分類、動作分類、認識、歩行、歩行周期、ジェスチャー、手書き、存在、不在、接近、後退、呼吸数、心拍数、潮量、呼吸深度、吸気時間、呼気時間、吸気時間/呼気時間比、通気量、心拍数/拍間隔、心拍変動、及びその他の分析値、のうちの少なくとも1つを含む。N個の既知の位置にN個のタイプ1デバイスが存在しうるが、それぞれのアイデンティティは未知でありうるとともに、決定される必要がありうる。
項G18.無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、システムのタイプ1ヘテロジニアス無線デバイスのセットから無線信号のセットを送信することであって、各無線信号は、ベニューの無線マルチパスチャネルを通じて、個別の量の送信アンテナを有する個別のタイプ1デバイスから送信され、無線マルチパスチャネルは、ベニューの特定のタイプ1デバイスの近傍における物体の動きによって影響を受ける、ことと、無線マルチパスチャネルを通じて、システムのタイプ2ヘテロジニアス無線デバイスによって無線信号のセットを受信することであって、受信される無線信号は、ベニューの無線マルチパスチャネルに起因して、送信された無線信号とは異なる、ことと、プロセッサとメモリと命令のセットとを使用して、個別のタイプ1デバイスと関連付けられた個別の受信された無線信号に基づいて、無線マルチパスチャネルの、ある数の個別の時系列のチャネル情報(TSCI)取得することであって、各TSCIは、N1個の送信アンテナのうちの1つ及びN2個の受信アンテナのうちの1つと関連付けられる、ことと、上記物体の時系列の動き分析(GSMA)のセットを演算することであって、
各TSMAが、個別のタイプ1デバイスと関連付けられた、上記個数の個別のTSCIのセットに基づいている、ことと、TSMAのセットに基づいて、ターゲットデバイスの情報を演算することであって、ターゲットデバイスは、特定のタイプ1デバイスである、ことと、を含む。TSCIに基づく動き分析は、(a)ターゲットデバイス情報(例えば、アイデンティティ又は位置)を演算すること、及び(b)無線センシング、の両方のために使用されうる。
項G19.項G18の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、TSMAに基づいて物体の動きを監視することを更に含む。ターゲットデバイス情報の演算は、物体(例えば、ユーザ、ペット)がトレーニング移動(例えば、ターゲットデバイスに向かう移動)を行うことを必要としうる。
項G20.項G18の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、物体は、トレーニング移動を行うトレーニング物体である。
項G21.項G18の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、物体は、無線センシングシステムのユーザであり、ユーザは、ターゲットデバイスの近傍において、ターゲットデバイスに向かって又はターゲットデバイスから離れるように移動する。ターゲットデバイスが識別されうる。
項G22.項G21の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、TSMAのセット及びトレーニング移動に基づいて、ターゲットデバイスのアイデンティティ(ID)を演算することによって、ターゲットデバイスを識別することを更に含み、上記情報はIDである。いくつかのタスクは、ターゲットデバイスを識別することに応じて実行されうる。
項G23.項G22の無線センシングシステムの方法/デバイス/ソフトウェアであって、ターゲットデバイスのIDに基づいて以下のうちの少なくとも1つを実行することを更に含む:ターゲットデバイスをカスタマイズ又は構成すること、システムのネットワーク又は相互接続をカスタマイズ又は構成すること、システムのサーバをカスタマイズ又は構成すること、ユーザデバイス上でアプリをカスタマイズ又は構成すること、システムのプレゼンテーションをカスタマイズ又は構成すること、無線センシングタスクをカスタマイズ又は構成すること、無線センシングアルゴリズム、無線センシングアルゴリズム、融合アルゴリズム、又はシステムに関連する集約アルゴリズムをカスタマイズ又は構成すること、ターゲットデバイスの承認性、容認性、十分性、適合性、又は適格性を確認すること、システム内のターゲットデバイスの役割を確認すること、ターゲットデバイス、TSCI、無線信号、無線信号の送信、無線信号の受信、及びTSCIの取得のうちの少なくとも1つに資格付与すること、ターゲットデバイスの位置を演算すること、マップに対するターゲットデバイスの座標を演算すること、ターゲットデバイスを命名すること、ターゲットデバイスを名前変更を行うこと、ターゲットデバイスの位置をユーザから取得すること、ターゲットデバイスの名前又はラベルをユーザから取得すること、システムのネットワーク構成又は相互接続をユーザから取得すること、及び、無線センシングタスクの構成、無線センシングアルゴリズム、融合アルゴリズム、又は集約アルゴリズムをユーザから取得すること。TSMAの挙動が分析されうる。
項G24.項G22の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、物体の移動と関連付けられたTSMAのセットの挙動を分析することと、TSMAのセットの挙動の分析に基づいて、ターゲットデバイスのアイデンティティを演算することと、を更に含む。TSMAの挙動は、ターゲットデバイスのアイデンティティの予測に基づいて分析されうる。
項G25.項G24の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ターゲットデバイスのアイデンティティの予測に基づいて、TSMAのセットのアイデンティティを分析することを更に含む。パターン認識がTSMAに適用されうる。
項G26.項G24の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、TSMAのパターンを認識することと、TSMAのパターンの認識に基づいて、ターゲットデバイスのアイデンティティを演算することと、を更に含む。パターン認識は、ターゲットデバイスのアイデンティティの予測に基づいてTSMAに適用されうる。
項G27.項G26の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、トレーニング移動とターゲットデバイスのアイデンティティの予測とに基づいて、TSMAのパターンを認識することと、TSMAの認識されたパターンに基づいて、ターゲットデバイスのアイデンティティを確認することと、を更に含む。ターゲットデバイスと関連付けられたTSMAの、いくつかの可能性のあるパターン。例えば、いくつかの挙動(接近時に増加、最も近い接近時に最大、又は後退時に減少)は、ターゲットTSMAでは起こりうるが、非ターゲットTSMAでは起こらない。当該挙動は、ターゲットTSMAと非ターゲットTSMAとの両方で起こることがあり、その場合、特徴は、非ターゲットTSMAにおけるよりもターゲットTSMAにおいて大きい。
項G28.項G26の無線センシングシステムの方法/デバイス/システム/ソフトウェアであって、ターゲットTSMAは、ターゲットデバイスと関連付けられたTSMAであり、非ターゲットTSMAは、ターゲットTSMAではないTSMAのセットのうちの1つであり、上記パターンは、以下のうちの少なくとも1つを含む:物体がターゲットデバイスの近傍でターゲットデバイスに向かって移動することに従った、ターゲットTSMAにおける動き分析値の特徴の単調増加傾向と、物体がターゲットデバイスの近傍でターゲットデバイスに向かって移動することに従った、非ターゲットTSMAではなくターゲットTSMAにおける動き分析値の特徴の単調増加傾向と、物体がターゲットデバイスの近傍でターゲットデバイスに向かって移動することに従った、ターゲットTSMA及び非ターゲットTSMAの両方における動き分析値の特徴の単調増加傾向であって、当該特徴は、非ターゲットTSMAよりもターゲットTSMAにおける特徴の方が大きい、単調増加傾向と、物体がターゲットデバイスの近傍でターゲットデバイスから離れるように移動することに従った、ターゲットTSMAにおける動き分析値の特徴の単調減少傾向と、物体がターゲットデバイスの近傍でターゲットデバイスから離れるように移動することに従った、非ターゲットTSMAではなくターゲットTSMAにおける動き分析値の特徴の単調減少傾向と、物体がターゲットデバイスの近傍でターゲットデバイスから離れるように移動することに従った、ターゲットTSMA及び非ターゲットTSMAの両方における動き分析値の特徴の単調減少傾向であって、当該特徴は、非ターゲットTSMAよりもターゲットTSMAにおける特徴の方が大きい、単調減少傾向と、ターゲットデバイスの近傍の物体の最接近点における、ターゲットTSMAの動き分析値の特徴の最大値と、ターゲットデバイスの近傍の物体の最接近点における、非ターゲットTSMAではなくターゲットTSMAの動き分析値の特徴の最大値と、ターゲットデバイスの近傍の物体の最接近点における、ターゲットTSMAと非ターゲットTSMAの両方の動き分析値の特徴の最大値と、物体がターゲットデバイスの近傍でターゲットデバイスに向かって移動することに従った、ターゲットTSMAの動き分析値の特徴の正の微分又は差分と、物体がターゲットデバイスの近傍でターゲットデバイスに向かって移動することに従った、非ターゲットTSMAではなくターゲットTSMAの動き分析値の特徴の正の微分又は差分と、物体がターゲットデバイスの近傍でターゲットデバイスに向かって移動することに従った、ターゲットTSMAと非ターゲットTSMAの両方の動き分析値の特徴の正の微分又は差分であって、当該特徴は、非ターゲットTSMAよりもターゲットTSMAにおける特徴の方が大きい、正の微分又は差分と、物体がターゲットデバイスの近傍でターゲットデバイスから離れるように移動することに従った、ターゲットTSMAの動き分析値の特徴の負の微分又は差分と、物体がターゲットデバイスの近傍でターゲットデバイスから離れるように移動することに従った、非ターゲットTSMAではなくターゲットTSMAの動き分析値の特徴の負の微分又は差分と、物体がターゲットデバイスの近傍でターゲットデバイスから離れるように移動することに従った、ターゲットTSMAと非ターゲットTSMAの両方の動き分析値の特徴の負の微分又は差分であって、当該特徴は、非ターゲットTSMAよりもターゲットTSMAにおける特徴の方が大きい、負の微分又は差分と、最接近点におけるターゲットTSMAの動き分析値の特徴のゼロ微分又は差分と、最接近点における非ターゲットTSMAではなくターゲットTSMAの動き分析値の特徴のゼロ微分又は差分と、最接近点におけるターゲットTSMAと非ターゲットTSMAの両方の動き分析値の特徴のゼロ微分又は差分であって、当該特徴は、非ターゲットTSMAよりもターゲットTSMAにおける特徴の方が大きい、ゼロ微分又は差分と、最接近点におけるターゲットTSMAの動き分析値の特徴の負の二次微分(又は差分の差分)と、最接近点における非ターゲットTSMAではなくターゲットTSMAの動き分析値の特徴の負の二次微分(又は差分の差分)と、最接近点におけるターゲットTSMAと非ターゲットTSMAの両方の動き分析値の特徴の負の二次微分(又は差分の差分)であって、当該特徴は、非ターゲットTSMAよりもターゲットTSMAにおける特徴の方が大きい、負の二次微分(又は差分の差分)。
別の実施形態では、無線動作センシングは、他のセンシング/センサ情報と組み合わされて、動き統計値をより意味のあるものにしうる。例えば、長い間建てられていた家屋では、壁/屋根は、近くの環境におけるダイナミクスが、より新しい材料で最近建設された家屋よりも、電磁波の伝搬に大きな影響を及ぼす可能性があるような材料で作られている。家屋/壁/屋根の近くに多数の葉/枝を有する大きな木があり、風の強い日中/夜に葉/枝が激しく波動する場合、たとえ家屋の内部で動きが起こっていないとしても、無線動作センシングは、木/葉/枝の動きを依然として検出し、検出がトリガされうる。気象/風センサが、本教示で開示される動作センシングシステムに接続された別のIoTデバイスである場合、誤警報が発生すると、動作センシングシステムは、気象/風センサをチェックし、センサ測定値を融合し、家屋内の動作センシングのより良い決定を行いうる。
別の実施形態では、そのような誤警報が、開示された動きセンシングシステムが配置された近傍で頻繁に発生し、ユーザは、誰も動きを引き起こさないので、実際に誤警報であることを報告/フィードバックする場合、それは、地震等の異常な自然活動/動きがあることを示してもよく、地震の早期検出が可能である。
以下の番号付けされた項は、無線センシングのための他の例を提供する。
項H1.無線センシングのためのシステムであって、ベニューの無線マルチパスチャネルを介して無線信号を送信するように構成された送信機であって、無線マルチパスチャネルはベニューにおける物体の動きによって影響を受ける、送信機と、無線マルチパスチャネルを介して無線信号を受信するように構成された受信機であって、受信される無線信号は、無線マルチパスチャネル及び物体の動きによって送信された無線信号とは異なる、受信機と、受信された無線信号に基づいて、無線マルチパスチャネルの、ある個数の時系列のチャネル情報(TSCI)を取得することと、上記個数のTSCIに基づいて、時系列の動き分析値(TSMA)を演算することと、TSMAに基づいて、ターゲットデバイスの情報を演算することと、を行うように構成されたプロセッサと、を備え、ターゲットデバイスは、ベニューにおける送信機、受信機、又は追加デバイスのうちの1つであり、ターゲットデバイスの情報は、アイデンティティ、名前、ラベル、タグ、又は位置(ロケーション)のうちの少なくとも1つを含む。
項H2.項H1のシステムであって、プロセッサは、TSMA又はTSCIのうちの少なくとも1つに基づいて、無線センシングタスクにおけるベニューにおける物体の動きを監視するように更に構成される。
項H3.項H1のシステムであって、プロセッサは、TSMAの挙動を分析することであって、物体は、計画された動きを受けるトレーニング物体である、ことと、計画された動きに関連する予測された挙動、又はターゲットデバイスの予測されたアイデンティティのうちの少なくとも1つに基づいて、TSMAの分析を実行することと、TSMAの分析に基づいて、ターゲットデバイスの予測された情報を演算することと、ユーザのユーザデバイス上に予測された情報を提示することと、ユーザデバイス上のユーザ入力に基づいて、ターゲットデバイスの情報をインタラクティブに演算することであって、ユーザ入力が予測された情報の確認又は拒絶である、ことと、を行うように更に構成される。
項H4.H1のシステムであって、物体はシステムのユーザであり、動きはトレーニング移動であり、プロセッサは、ターゲットデバイスの近くでトレーニング移動を行うようにユーザに指示することと、ユーザのユーザデバイス上にTSMAを提示することと、ユーザデバイス上で少なくとも1つのユーザ入力を受信することと、少なくとも1つのユーザ入力に基づいて、ターゲットデバイスの情報をインタラクティブに演算するように更に構成される。
項H5.H4のシステムであって、プロセッサは、トレーニング移動を受けるように物体に促すプロンプトを生成するように更に構成され、促すことは、シグナリング、ガイダンス、命令、視覚的プロンプト、音声プロンプト、機械的プロンプト、振動、又は機械的動作のうちの少なくとも1つを含む。
項H6.H5のシステムであって、プロセッサは、ターゲットデバイスの近くでのユーザのトレーニング動作を反映するユーザデバイス上のTSMAのリアルタイム提示を生成するように更に構成され、リアルタイム提示は、視覚的提示、アニメーション提示、マルチメディア提示、オーディオ提示、又は機械的提示のうちの少なくとも1つを含む。
項H7.項H6のシステムであって、物体の位置は、システムには知られていないが、ユーザには知られている。
項H8.項H7のシステムであって、プロセッサは、ユーザデバイス上の追加のユーザ入力に基づいて、物体の位置の追加の情報をインタラクティブにかつ動的に演算するように更に構成され、追加の情報は、ベニューの領域のアイデンティティ、名前、ラベル、又はタグのうちの少なくとも1つを含む。
項H9.項H8のシステムであって、ターゲットデバイスは受信機であり、ベニュー内に少なくとも1つの追加の受信機があり、送信機はベニューの無線マルチパスチャネルを介して各追加の受信機にそれぞれの追加の無線信号を送信するように構成され、各追加の受信機は、個別の追加の無線信号を受信するように構成され、個別の受信された追加の無線信号は、ベニューの無線マルチパスチャネル及び物体の移動に起因して、個別の送信された追加の無線信号とは異なり、プロセッサは、個別の受信された追加の無線信号に基づいて、追加の各受信機から無線マルチパスチャネルの、個別のある個数の追加のTSCIを取得することと、追加の各受信機についての上記個別の個数の追加のTSCIに基づいて、個別の追加のTSMAを演算することと、追加のTSMAの少なくともいくつかに基づいて、ターゲットデバイスの情報を演算することと、を行うように更に構成される。
項H10.項H9のシステムであって、プロセッサは、ユーザデバイス上でTSMA及び少なくともいくつかの追加のTSMAのリアルタイム提示を生成するように更に構成され、TSMA及び少なくともいくつかの追加のTSMAは、ユーザによる視覚的比較を可能にするように、ユーザデバイス上で並べて視覚的に提示される。
項H11.項H8のシステムであって、ターゲットデバイスは送信機であり、ベニューに少なくとも1つの追加の送信機があり、各追加の送信機は、ベニューの無線マルチパスチャネルを通じて受信機にそれぞれの追加の無線信号を送信するように構成され、受信機は、各追加の送信機から個別の追加の無線信号を受信するように構成され、受信機は、ベニューの無線マルチパスチャネル及び物体の移動に起因して、個別の送信された追加の無線信号とは異なり、プロセッサは、個別の受信された追加の無線信号に基づいて、受信機から無線マルチパスチャネルの個別のある個数の追加のTSCIを取得し、各追加の送信機と関連付けられた上記個別の個数の追加のTSCIに基づいて、個別の追加のTSMAを演算し、追加のTSMAの少なくともいくつかに基づいて、ターゲットデバイスの情報を演算するように更に構成される。
項H12.項H11のシステムであって、プロセッサは、ユーザデバイス上でTSMA及び少なくともいくつかの追加のTSMAのリアルタイム提示を生成するように更に構成され、TSMA及び少なくともいくつかの追加のTSMAは、ユーザデバイス上で、ユーザによる視覚的比較を可能にするように並べて視覚的に提示される。
項H13.H1のシステムであって、物体はシステムのユーザ、生きている物体、植物、動物、ペット、人間、又は機械のうちの少なくとも1つを含み、移動は、ターゲットデバイスに触れること、ターゲットデバイスをタップすること、ターゲットデバイスに向かって移動すること、ターゲットデバイスから離れる移動、ターゲットデバイスに対する半径方向移動、ターゲットデバイスに対する接線方向移動、タップ動作、反復している移動、反復される移動、周期的移動、過渡的移動、タイミングを伴う移動、カウントを伴う移動、又は断続的移動、又は時限停止を伴う移動のうちの少なくとも1つを含む。
項H14.H1のシステムであって、プロセッサは、ターゲットデバイスの情報に基づいて、以下のうちの少なくとも1つを実行することを更に含む:推奨構成を生成することと、ユーザデバイス上で推奨構成を提示することと、ユーザデバイス上でユーザ入力に基づいて推奨構成の確認又は拒絶又は修正を受信することと、ターゲットデバイスをカスタマイズ又は構成することと、システムをカスタマイズ又は構成することと、システムのネットワーク又は相互接続をカスタマイズ又は構成することと、システムのサーバをカスタマイズ又は構成することと、システムのプレゼンテーションをカスタマイズ又は構成することと、システムと関連付けられた無線センシングタスク、無線センシングアルゴリズム、融合アルゴリズム、又は集約アルゴリズムをカスタマイズ又は構成することと、ターゲットデバイスの承認性、容認性、十分性、適合性、又は適格性を確認することと、システム内のターゲットデバイスの役割を確認することと、ターゲットデバイス、TSCI、無線信号、無線信号の送信、無線信号の受信、及びTSCIの取得のうちの少なくとも1つに資格付与することと、ターゲットデバイスの位置を特定すること、マップに対するターゲットデバイスの座標を演算することと、ターゲットデバイスを命名することと、ターゲットデバイスの名前変更を行うことと、ターゲットデバイスのネットワーク構成又は相互接続をユーザから取得すること、無線センシングタスクの構成、無線センシングアルゴリズム、融合アルゴリズム、又は集約アルゴリズムをユーザから取得することと。
項H15.項H1のシステムであって、プロセッサは、TSMAのパターンを認識することと、TSMAのパターンの認識に基づいてターゲットデバイスの情報を演算することと、を行うように更に構成される。
項H16.項H15のシステムであって、パターンは以下のうちの少なくとも1つを含む:物体が物体デバイスの近傍において物体デバイスに向かって移動するときのTSMAにおける動き分析の特徴の単調増加傾向、物体が物体デバイスの近傍において物体デバイスから離れるときのTSMAにおける動き分析の特徴の単調減少傾向、物体デバイスの近傍における物体の最も近い接近点におけるTSMAにおける動き分析の特徴の極大値、物体が物体デバイスの近傍において物体デバイスに向かって移動するときのTSMAにおける動き分析の特徴の正の微分又は微分、物体が物体デバイスの近傍において物体デバイスから離れるときのTSMAにおける動き分析の特徴の負の微分又は微分、最も近い接近点におけるTSMAにおける動き分析の特徴のゼロ微分又は微分、負の微分(又は微分の微分))、最接近点におけるTSMAにおける動き分析の特徴、TSMAにおける動き分析の特徴の反復、TSMAにおける動き分析の特徴の緩和振動、又は、TSMAにおける動き分析の特徴の減衰。
項H17.項H1のシステムであって、動き分析値、以下のうちの少なくとも1を含む:大きさ、位相、時間、発生、変換、ヒストグラム、サンプル平均、標準偏差、分散値、長さ、面積、体積、類似性スコア、距離、分類、呼吸数、又は心拍数。
項H18.無線センシングのためのシステムの無線デバイスであって、プロセッサと、通信可能にプロセッサに接続されたメモリと、通信可能にプロセッサに接続された受信機とを備え、システムの追加の無線デバイスは、ベニューの無線マルチパスチャネルを通じて無線信号を送信するように構成され、無線マルチパスチャネルは、ベニュー内の物体の動きによって影響を受け、受信機は、無線マルチパスチャネルを通じて無線信号を受信するように構成され、受信される無線信号は、無線マルチパスチャネル及び物体の動きに起因して、送信された無線信号とは異なり、プロセッサはは、受信された無線信号に基づいて、無線マルチパスチャネルの、ある個数の時系列のチャネル情報(TSCI)を取得することと、上記個数のTSCIに基づいて、時系列の動き分析値(TSMA)を演算することと、TSMAに基づいて、ターゲットデバイスの情報を演算することと、を行うように構成され、ターゲットデバイスは、ベニューにおける送信機、受信機、又は追加デバイスのうちの1つであり、ターゲットデバイスの情報は、アイデンティティ、名前、ラベル、タグ、又は位置(ロケーション)のうちの少なくとも1つを含む。
項H19.項H1の無線デバイスであって、物体はシステムのユーザであり、移動はトレーニング移動であり、プロセッサは、ターゲットデバイスの近くでトレーニング移動を行うようにユーザに指示することと、ユーザのユーザデバイス上にTSMAを提示することと、ユーザデバイス上で少なくとも1つのユーザ入力を受信することと、少なくとも1つのユーザ入力に基づいて、ターゲットデバイスの情報をインタラクティブに演算することと、に基づいて、ターゲットデバイスの情報をインタラクティブに演算するように更に構成される。
項H20.無線センシングのための方法であって、ベニューの無線マルチパスチャネルを介して送信機から無線信号を送信することであって、無線マルチパスチャネルはベニューにおける物体の動きによって影響を受ける、ことと、無線マルチパスチャネルを介して受信機によって無線信号を受信することであって、受信される無線信号は、無線マルチパスチャネル及び物体の動きによって送信された無線信号とは異なる、ことと、受信された無線信号に基づいて、無線マルチパスチャネルの、ある個数の時系列のチャネル情報(TSCI)を取得することと、上記個数のTSCIに基づいて、時系列の動き分析値(TSMA)を演算することと、TSMAに基づいて、ターゲットデバイスの情報を演算することと、を含み、ターゲットデバイスは、ベニューにおける送信機、受信機、又は追加デバイスのうちの1つであり、ターゲットデバイスの情報は、アイデンティティ、名前、ラベル、タグ、又は位置(ロケーション)のうちの少なくとも1つを含む。
上述の特徴は、データ及び命令を受信し、データ及び命令をデータ記憶システム、少なくとも1つの入力デバイス、及び少なくとも1つの出力装置から送信するように結合された少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能な1つ以上のコンピュータプログラムにおいて有利に実現されてもよい。コンピュータプログラムは、特定の活動を実行するために、又は特定の結果をもたらすために、コンピュータにおいて直接的又は間接的に使用されうる命令のセットである。コンピュータプログラムは、コンパイルされた又は解釈された言語を含む、任意の形態のプログラミング言語(例えば、C、Java)で書かれてもよく、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、ブラウザベースのウェブアプリケーション、又はコンピューティング環境での使用に適した他のユニットとしてを含む、任意の形態で展開されてもよい。
命令のプログラムの実行に適したプロセッサは、例えば、汎用及び専用マイクロプロセッサ、デジタル信号プロセッサ、並びに任意の種類のコンピュータの単一のプロセッサ又は複数のプロセッサ若しくはコアのうちの1つを含む。一般に、プロセッサは、読み出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを記憶するための1つ以上のメモリとである。一般に、コンピュータはまた、データファイルを記憶するための1つ以上の大容量記憶デバイスを含むか、又はそれと通信するように動作可能に結合され、そのようなデバイスは、内蔵ハードディスク及びリムーバブルディスク等の磁気ディスク、光磁気ディスク、及び光ディスクを含む。コンピュータプログラム命令及びデータを有形に具現化するのに適した記憶装置は、例として、EPROM、EEPROM、及びフラッシュメモリデバイス等の半導体メモリデバイス、内部ハードディスク及びリムーバブルディスク等の磁気ディスク、光磁気ディスク、並びにCD-ROM及びDVD-ROMディスクを含む、全ての形態の不揮発性メモリを含む。プロセッサ及びメモリは、ASIC(特定用途向け集積回路)によって補足されるか、又はASICに組み込まれうる。
本教示は多くの特定の実装の詳細を含むが、これらは本教示の範囲又は特許請求されうるもの限定として解釈されるべきではなく、むしろ、本教示の特定の実施形態に特有の特徴の説明として解釈されるべきである。別々の実施形態のコンテキストにおいて本明細書に記載される特定の特徴は、単一の実施形態において組み合わせて実施されてもよい。逆に、単一の実施形態のコンテキストで説明される様々な特徴は複数の実施形態において別々に、又は任意の適切な組み合わせで実装されてもよい。
同様に、動作が特定の順序で図面に描かれているが、これは所望の結果を達成するために、そのような動作が示された特定の順序で、又は連続的な順序で実行されること、又は全ての図示された動作が実行されることを必要とするものとして理解されるべきではない。特定の状況では、マルチタスク処理及び並列処理が有利でありうる。更に、上記の実施形態における様々なシステムコンポーネントの分離は全ての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、説明されるプログラムコンポーネント及びシステムは概して、単一のソフトウェア製品に一緒に統合されうるか、又は複数のソフトウェア製品にパッケージ化されうることを理解されたい。
本主題の特定の実施形態について説明した。上記の特徴及びアーキテクチャの任意の組み合わせは、以下の特許請求の範囲内にあることが意図される。他の実施形態もまた、以下の特許請求の範囲内である。場合によっては、特許請求の範囲に列挙された動作が異なる順序で実行され、依然として望ましい結果を達成しうる。加えて、添付の図面に示されるプロセスは所望の結果を達成するために、必ずしも示される特定の順序、又は連続的な順序を必要としない。いくつかの実装形態では、マルチタスク処理及び並列処理が有利でありうる。

Claims (20)

  1. 無線支援信号推定のためのシステムであって、
    ベニューにおいてベースバンドミクスチャ信号を取得するように構成されたセンサであって、前記ベースバンドミクスチャ信号は、第1のソース信号と追加の信号とのミクスチャを含み、前記第1のソース信号は、前記ベニューにおける第1の物体の第1の動きによって生成される、前記センサと、
    前記ベニューの無線チャネルを通じて第1の無線信号を送信するように構成された送信機と、
    前記無線チャネルを通じて第2の無線信号を受信するように構成された受信機であって、前記第2の無線信号は、前記無線チャネルと、前記ベニューにおける前記第1の物体の少なくとも前記第1の動きとに起因して、前記第1の無線信号とは異なる、前記受信機と、
    プロセッサと、を備え、当該プロセッサは、
    前記第2の無線信号の無線特徴を取得することと、
    前記無線特徴に基づいて、前記ベースバンドミクスチャ信号のための第1の適応フィルタを構築することと、
    前記第1の適応フィルタを用いて前記ベースバンドミクスチャ信号をフィルタリングすることで、第1の出力信号を取得することと、
    前記第1の出力信号に基づいて、前記第1のソース信号の推定を生成することと、
    を行うように構成される、システム。
  2. 請求項1に記載のシステムであって、前記第1の適応フィルタを構築することは、
    前記第2の無線信号の前記無線特徴を使用せずに第1のベースバンドフィルタを構築することと、
    前記第2の無線信号の前記無線特徴に基づいて第2のベースバンドフィルタを構築することであって、前記第2のベースバンドフィルタは、前記第1のベースバンドフィルタのものと同様の少なくとも1つの信号処理要素を含む、ことと、
    前記第1のベースバンドフィルタと前記第2のベースバンドフィルタと第3のフィルタと第4のフィルタとに基づいて、前記第1の適応フィルタを構築することと、
    を含む、システム。
  3. 請求項2に記載のシステムであって、
    前記第1のベースバンドフィルタは、第1の信号領域における第1の前処理と、前記第1の信号領域から第1の変換領域への第1の変換と、前記第1の変換領域における第1の変換領域フィルタと、を含み、
    前記第2のベースバンドフィルタは、第2の信号領域における第2の前処理と、前記第2の信号領域から第2の変換領域への第2の変換と、前記第2の変換領域における第2の変換領域フィルタと、を含み、
    前記第3のフィルタは、前記第1のベースバンドフィルタの出力及び前記第2のベースバンドフィルタの出力に基づく第3の前処理と、第3の信号領域における第3の変換領域フィルタと、を含み、
    前記第4のフィルタは、前記第3の変換領域フィルタの出力に基づく、前記第1の変換領域における第4の変換領域フィルタと、前記第1の変換領域から前記第1の信号領域への第1の逆変換と、前記第1の信号領域における後処理と、を含む、システム。
  4. 請求項3に記載のシステムであって、
    前記第1の前処理、前記第2の前処理、又は前記第3の前処理のうちの少なくとも1つは、特徴抽出、振幅演算、ハイパスフィルタ、IQ平面内のランダム回転、位相クリーニング、又は振幅クリーニングのうちの少なくとも1つを含み、
    前記第1の信号領域又は前記第2の信号領域のうちの少なくとも1つは、時間領域であり、
    前記第1の変換領域又は前記第2の変換領域のうちの少なくとも1つは、時間‐周波数領域である、システム。
  5. 請求項4に記載のシステムであって、
    前記第1の変換又は前記第2の変換のうちの少なくとも1つは、適応エンコーダ、短時間フーリエ変換、前記時間‐周波数領域への射影、ある個数のカーネル、ある個数の畳み込みフィルタ、又は他の個数の畳み込みフィルタが後に続く、前記個数の畳み込みフィルタ、のうちの少なくとも1つを含み、
    前記第1の変換領域フィルタ、前記第2の変換領域フィルタ、前記第3の変換領域フィルタ、又は前記第4の変換領域フィルタのうちの少なくとも1つは、再整形、連結、ニューラルネットワーク、デュアルパス回帰型ニューラルネットワーク、双方向の長・短期記憶を有するニューラルネットワーク、又はディープニューラルネットワーク、のうちの少なくとも1つを含み、
    前記第1の逆変換は、第1の変換の逆、又は転置畳み込み演算、のうちの少なくとも1つを含み、
    前記後処理は、連結、オーバラップ加算(OLA)、同期型オーバラップ加算(SOLA)、オーバラップ保存、オーバラップ・ディスカード、又はオーバラップ・スクラップ、のうちの少なくとも1つを含む、システム。
  6. 請求項5に記載のシステムであって、前記第1の適応フィルタを用いて前記ベースバンドミクスチャ信号をフィルタリングすることは、
    前記ベースバンドミクスチャ信号を、前記第1のベースバンドフィルタを用いて前記第1の信号領域においてフィルタリングすることで、前記第1の変換領域における第1の中間信号を生成することと、
    前記無線特徴に基づいて前記第2の無線信号から導出されるベースバンド無線導出信号を、前記第2のベースバンドフィルタを用いて前記第2の信号領域においてフィルタリングすることで、前記第2の変換領域における第2の中間信号を生成することと、
    前記第1の中間信号と前記第2の中間信号との合成を、前記第3のフィルタを用いてフィルタリングすることで、前記第4のフィルタの前記第4の変換領域フィルタを構築することと、
    変換ベースバンドミクスチャ信号を、前記第4のフィルタを用いてフィルタリングすることで、第1の出力信号を取得することであって、前記変換ベースバンドミクスチャ信号は、前記第1の前処理を用いて前記ベースバンドミクスチャ信号を前処理し、その後、前記第1の変換を用いて前記第1の信号領域から前記第1の変換領域に変換することによって取得される、ことと、
    を含む、システム。
  7. 請求項6に記載のシステムであって、
    前記追加の信号は、第2のソース信号と第3の信号とのミクスチャを含み、
    前記第2のソース信号は、前記ベニューにおける第2の物体の第2の動きによって生成され、
    前記第2の無線信号は、前記無線チャネル、前記第1の物体の前記第1の動き、及び前記第2の物体の前記第2の動きに起因して、前記第1の無線信号とは異なっており、
    前記プロセッサは更に、
    前記無線特徴に基づいて前記ベースバンドミクスチャ信号のための第2の適応フィルタを構築することと、
    前記第2の適応フィルタを用いて前記ベースバンドミクスチャ信号をフィルタリングすることで、第2の出力信号を取得することと、
    前記第2の出力信号に基づいて、前記第2のソース信号の推定を生成することと、
    を行うように構成される、システム。
  8. 請求項7に記載のシステムであって、
    前記プロセッサは更に、前記第1のベースバンドフィルタ、前記第2のベースバンドフィルタ、追加の第3のフィルタ、及び追加の第4のフィルタに基づいて、前記第2の適応フィルタを構築するように構成されており、
    前記追加の第3のフィルタは、前記第1のベースバンドフィルタの出力及び前記第2のベースバンドフィルタの出力に基づく追加の第3の前処理と、前記第3の信号領域における追加の第3の変換領域フィルタとを含み、
    前記追加の第4のフィルタは、前記追加の第3の変換領域フィルタの出力に基づく前記第1の変換領域における追加の第4の変換領域フィルタと、前記第1の変換領域から前記第1の信号領域への前記第1の逆変換と、前記第1の信号領域における前記後処理とを含む、システム。
  9. 請求項8に記載のシステムであって、前記第2の適応フィルタを用いて前記ベースバンドミクスチャ信号をフィルタリングすることは、
    前記無線特徴に基づいて前記第2の無線信号から導出される追加のベースバンド無線導出信号を、前記第2のベースバンドフィルタを用いて前記第2の信号領域においてフィルタリングすることで、前記第2の変換領域における追加の第2の中間信号を生成することと、
    前記第1の中間信号と前記追加の第2の中間信号との合成を、前記追加の第3のフィルタを用いてフィルタリングすることで、前記追加の第4のフィルタの前記追加の第4の変換領域フィルタを構築することと、
    前記変換ベースバンドミクスチャ信号を、前記追加の第4のフィルタを用いてフィルタリングすることで、前記第2の出力信号を取得することと、
    を含む、システム。
  10. 請求項9に記載のシステムであって、前記プロセッサは更に、
    前記第1の中間信号と前記第2の中間信号と前記追加の第2の中間信号との合成を、前記追加の第3のフィルタを用いてフィルタリングすることで、前記第4のフィルタの前記第4の変換領域フィルタと前記追加の第4のフィルタの前記追加の第4の変換領域フィルタとを構築するように構成される、システム。
  11. 請求項10に記載のシステムであって、前記プロセッサは更に、
    前記第2の無線信号に基づいて、前記無線チャネルの、ある個数の時系列のチャネル情報(TSCI)を含む前記無線特徴を取得することと、ここで、
    各TSCIは、前記送信機の送信アンテナ及び前記受信機の受信アンテナと関連付けられており、
    前記第2の無線信号は、各チャネル情報(CI)が対応するサウンディング信号と関連付けられるように、サウンディング信号の系列を含み、
    各CIは、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、又は受信信号強度インデックス(RSSI)のうちの少なくとも1つを含み、
    前記個数のTSCIに基づいて、前記第2の無線信号から前記ベースバンド無線導出信号を導出することと、
    を行うように構成される、システム。
  12. 請求項11に記載のシステムであって、前記プロセッサは更に、
    前記個数のTSCIに基づいてビームフォーミングを実行することと、
    前記第1の物体の第1の位置であって、第1の範囲及び第1の方向と関連付けられた前記第1の位置を検出することと、
    前記第1の方向と関連付けられた第1のビームフォーミング済みTSCIを決定することと、
    前記第1の範囲と関連付けられた前記第1のビームフォーミング済みTSCIの各CIの第1のタブを決定することと、
    前記第1のビームフォーミング済みTSCIの各CIの前記第1のタブに基づいて、前記第2の無線信号から前記ベースバンド無線導出信号を導出することと、
    を行うように構成される、システム。
  13. 請求項12に記載のシステムであって、前記プロセッサは更に、
    前記第2の物体の第2の位置であって、第2の範囲及び/又は第2の方向と関連付けられた前記第2の位置を検出することと、
    前記第2の方向と関連付けられた第2のビームフォーミング済みTSCIを決定することと、
    前記第2の範囲と関連付けられた前記第2のビームフォーミング済みTSCIの各CIの第2のタブを決定することと、
    前記第2のビームフォーミング済みTSCIの各CIの前記第2のタブに基づいて、前記第2の無線信号から前記追加のベースバンド無線導出信号を導出することと、
    前記追加のベースバンド無線導出信号に基づいて、前記ベースバンドミクスチャ信号のための前記第2の適応フィルタを構築することと、
    を行うように構成される、システム。
  14. 請求項13に記載のシステムであって、
    前記第1の信号領域は、第1のサンプリングレートと関連付けられた時間領域であり、
    前記第2の信号領域は、第2のサンプリングレートと関連付けられた時間領域であり、
    前記第2の無線信号は、キャリア周波数が10GHzよりも大きい無線信号、ミリ波無線信号、帯域幅が200MHzよりも大きい無線信号、WLAN信号、WiFi信号、無線通信信号、超広帯域(UWB)無線信号、又はレーダ信号、のうちの少なくとも1つである、システム。
  15. 請求項14に記載のシステムであって、
    前記第1の物体は、前記第1のソース信号を能動的に発生させる第1の人間、前記第1のソース信号を能動的に出力する第1のデバイス、又は前記第1のソース信号に従って受動的に振動する物体、のうちの少なくとも1つであり、
    前記第1のソース信号は、音、音声信号、楽音、楽器音、人工音、機械音、合成音、オーディオ信号、視覚信号、画像信号、又はベースバンドセンシング信号、のうちの少なくとも1つを含む、システム。
  16. 請求項15に記載のシステムであって、前記プロセッサは更に、
    前記第1の物体と関連付けられたタスクのために前記第1の出力信号を処理するように構成される、システム。
  17. 請求項16に記載のシステムであって、
    前記センサは無線コンポーネントを含まない、システム。
  18. 請求項16に記載のシステムであって、
    前記センサはベースバンドセンサであり、
    前記受信機は、前記ベースバンドセンサとは異なる種類の他のセンサを備え、かつ、前記第2の無線信号を受信するように構成される、システム。
  19. 請求項16に記載のシステムであって、
    前記第1の適応フィルタは、前記第2の無線信号と前記ベースバンドミクスチャ信号とのマルチモーダル融合を含む、システム。
  20. 無線支援信号推定のための方法であって、
    ベニューにおいてベースバンドミクスチャ信号を取得することであって、前記ベースバンドミクスチャ信号は、第1のソース信号と追加の信号とのミクスチャを含み、前記第1のソース信号は、前記ベニューにおける第1の物体の第1の動きによって生成される、ことと、
    前記ベニューにおいて送信機から受信機へ送信された無線信号の無線特徴を取得することであって、受信される前記無線信号は、前記ベニューの無線チャネルと、少なくとも前記ベニューにおける前記第1の物体の前記第1の動きとに起因して、前記送信された無線信号とは異なる、ことと、
    前記無線特徴に基づいて、前記ベースバンドミクスチャ信号のための第1の適応フィルタの構築することと、
    前記第1の適応フィルタを用いて前記ベースバンドミクスチャ信号をフィルタリングすることで、第1の出力信号を取得することと、
    前記第1の出力信号に基づいて、前記第1のソース信号の推定を生成することと、
    を含む、方法。
JP2022095307A 2021-06-11 2022-06-13 サウンドセンシング及び無線センシングのための方法、装置及びシステム Pending JP2022191191A (ja)

Applications Claiming Priority (18)

Application Number Priority Date Filing Date Title
US202163209907P 2021-06-11 2021-06-11
US63/209,907 2021-06-11
US17/352,185 US11906659B2 (en) 2015-07-17 2021-06-18 Method, apparatus, and system for wireless micro motion monitoring
US17/352,185 2021-06-18
US202163235103P 2021-08-19 2021-08-19
US63/235,103 2021-08-19
US202163253083P 2021-10-06 2021-10-06
US63/253,083 2021-10-06
US202163293065P 2021-12-22 2021-12-22
US63/293,065 2021-12-22
US17/827,902 2022-05-30
US17/827,902 US20220291328A1 (en) 2015-07-17 2022-05-30 Method, apparatus, and system for speech enhancement and separation based on audio and radio signals
US17/838,244 US20220299619A1 (en) 2015-07-17 2022-06-12 Method, apparatus, and system for wireless sensing based on linkwise motion statistics
US17/838,231 2022-06-12
US17/838,228 2022-06-12
US17/838,231 US20220303167A1 (en) 2012-12-05 2022-06-12 Method, apparatus, and system for identifying and qualifying devices for wireless sensing
US17/838,244 2022-06-12
US17/838,228 US20220308195A1 (en) 2015-07-17 2022-06-12 Method, apparatus, and system for wireless sensing based on channel information

Publications (1)

Publication Number Publication Date
JP2022191191A true JP2022191191A (ja) 2022-12-27

Family

ID=81984826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022095307A Pending JP2022191191A (ja) 2021-06-11 2022-06-13 サウンドセンシング及び無線センシングのための方法、装置及びシステム

Country Status (2)

Country Link
EP (1) EP4102247A1 (ja)
JP (1) JP2022191191A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115969339B (zh) * 2023-02-13 2024-09-27 山东师范大学 非接触的心率监测方法、系统、存储介质及设备
CN116866321B (zh) * 2023-09-04 2023-12-08 中科融信科技有限公司 一种无中心多路声音一致性选择方法及系统
CN117672007B (zh) * 2024-02-03 2024-04-26 福建省高速公路科技创新研究院有限公司 一种基于雷视融合的道路施工区域安全预警系统
CN118131222B (zh) * 2024-02-23 2024-10-11 哈尔滨工业大学(威海) 一种自适应权重决策融合行人步态识别方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11448728B2 (en) * 2015-07-17 2022-09-20 Origin Wireless, Inc. Method, apparatus, and system for sound sensing based on wireless signals
EP4052067A4 (en) * 2019-11-01 2022-12-21 Arizona Board of Regents on behalf of Arizona State University REMOTE RECOVERY OF ACOUSTIC SIGNALS FROM PASSIVE SOURCES

Also Published As

Publication number Publication date
EP4102247A1 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
EP3492945B1 (en) Method, apparatus, and system for periodic motion detection and monitoring
US11408978B2 (en) Method, apparatus, and system for vital signs monitoring using high frequency wireless signals
US12046040B2 (en) Method, apparatus, and system for people counting and recognition based on rhythmic motion monitoring
US10845463B2 (en) Method, apparatus, and system for wireless object scanning
US12066572B2 (en) Method, apparatus, and system for human identification based on human radio biometric information
US11439344B2 (en) Method, apparatus, and system for wireless sleep monitoring
US10742475B2 (en) Method, apparatus, and system for object tracking sensing using broadcasting
US11770197B2 (en) Method, apparatus, and system for accurate wireless monitoring
US11500058B2 (en) Method, apparatus, and system for wireless proximity sensing
US11448728B2 (en) Method, apparatus, and system for sound sensing based on wireless signals
EP3869223A1 (en) System and method for wireless material sensing based on multipath channel information
US11448727B2 (en) Method, apparatus, and system for human recognition based on gait features
US11592913B2 (en) Method, apparatus, and system for wireless writing tracking
US11181486B2 (en) Method, apparatus, and system for wireless material sensing
US20220308195A1 (en) Method, apparatus, and system for wireless sensing based on channel information
JP2021166704A (ja) 高周波信号を使用した無線バイタル監視の方法、装置、およびシステム
US20220291328A1 (en) Method, apparatus, and system for speech enhancement and separation based on audio and radio signals
US11953618B2 (en) Method, apparatus, and system for wireless motion recognition
US20220303167A1 (en) Method, apparatus, and system for identifying and qualifying devices for wireless sensing
US20230090763A1 (en) Method, apparatus, and system for voice activity detection based on radio signals
US11444710B2 (en) Method, apparatus, and system for processing and presenting life log based on a wireless signal
EP4102247A1 (en) System and method for radio-assisted sound sensing
JP2023058446A (ja) 無線センシング、モニタリング及びトラッキングのための方法、装置及びシステム
EP4295760A1 (en) Method, apparatus, and system for wireless motion monitoring based on classified sliding time windows
US20230021342A1 (en) Method, apparatus, and system for enhanced wireless monitoring of vital signs

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240613