一実施形態では、本教示は、無線モニタリングシステムの、方法、装置、デバイス、システム、及び/又はソフトウェア(方法/装置/デバイス/システム/ソフトウェア)を開示する。無線マルチパスチャネル(チャネル)の時系列のチャネル情報(CI)は、プロセッサと、通信可能に当該プロセッサと接続されたメモリと、当該メモリに格納された命令のセットとを使用して(例えば、動的に)取得されうる。時系列のCI(TSCI)は、チャネルを通じてベニュー内のタイプ1ヘテロジニアス無線デバイス(例えば、無線信号機、TX)とタイプ2ヘテロジニアス無線デバイス(例えば、無線受信機、RX)との間で送信される無線信号(信号)から抽出されうる。チャネルは、ベニュー内の物体の表現(例えば、動き、移動、表現、及び/又は、位置/ポーズ/形状/表現の変化)によって影響を受けうる。物体の特性及び/又は空間‐時間情報(STI(spatial-temporal information)、例えば、動き情報)及び/又は物体の動きは、TSCIに基づいてモニタリングされうる。タスクは、特性及び/又はSTIに基づいて実行されうる。タスクと関連付けられたプレゼンテーションは、ユーザのデバイス上のユーザインタフェース(UI)内に生成されうる。TSCIは、無線信号ストリームでありうる。TSCI又は各CIは、前処理されうる。デバイスは、ステーション(STA)でありうる。記号「A/B」は、本教示において「A及び/又はB」を意味する。
表現(expression)は、配置、可動部の配置、ロケーション、位置、向き、識別可能な場所、領域、空間座標、プレゼンテーション、状態、静的表現、サイズ、長さ、幅、高さ、角度、スケール、形状、曲線、表面、面積、体積、ポーズ、姿勢、明示、ボディランゲージ、動的表現、動き、動きシーケンス、ジェスチャ、伸張、収縮、変形、身体表現(例えば、頭、顔、目、口、舌、髪、声、首、手足、腕、手、脚、足、筋肉、可動部)、表面表現(例えば、形状、質感、材質、色、電磁(EM)特性、視覚パターン、湿り度、反射率、半透明性、柔軟)、材料特性(例えば、生体組織、髪、布、金属、木、革、プラスチック、人工材料、固体、液体、気体、温度)、移動、アクティビティ、挙動、表現の変化、及び/又は何らかの組み合わせを含みうる。
無線信号は、送信/受信信号、EM放射、RF信号/送信、ライセンス/アンライセンス/ISM帯の信号、帯域制限信号、ベースバンド信号、無線/モバイル/セルラ通信信号、メッシュ信号、光信号/通信、ダウンリンク/アップリンク信号、ユニキャスト/マルチキャスト/ブロードキャスト信号、規格(例えば、WLAN、WWAN、WBAN、国際、業界、デファクト、IEEE802、802.11/15/16、WiFi、802.11n/ac/ax/be、3G/4G/LTE/5G/7G/8G、3GPP(登録商標)、Bluetooth、BLE、Zigbee、RFID、UWB、WiMax)準拠の信号、標準フレーム、ビーコン/パイロット/プローブ/問い合わせ/ハンドシェイク/同期信号、管理/制御/データフレーム、管理/制御/データ信号、標準化された無線/セルラ通信プロトコル、参照信号、ソース信号、動作プローブ/検出/センシング信号、及び/又は信号の系列を含みうる。無線信号は、見通し(LOS)成分及び/又は非LOS成分(又はパス/リンク)を含みうる。各CIは、タイプ2デバイスのレイヤ(例えば、OSIモデルにおけるPHY/MACレイヤ)において抽出/生成/演算/センシングされうる、及びアプリケーション(例えば、ソフトウェア、ファームウェア、運転者、アプリ、無線モニタリングソフトウェア/システム)によって取得されうる。
無線マルチパスチャネルは、通信チャネル、アナログ周波数チャネル(例えば、700/800/900MHz、1.8/1.8/2.4/3/5/6/27/60GHz付近のアナログキャリア周波数を有する)、符号化チャネル(例えば、CDMAにおける)、及び/又は無線ネットワーク/システム(例えば、WLAN、WiFi、メッシュ、LTE、4G/5G、Bluetooth、Zigbee、UWB、RFID、マイクロ波)のチャネルを含みうる。それは、2つ以上のチャネルを含んでもよい。チャネルは連続的(例えば、隣接する/重複する帯域を有する)又は非連続的チャネル(例えば、重複しないWiFiチャネル、1つは2.4GHzであり、1つは5GHzである)であってもよい。
TSCIは、タイプ2デバイスのレイヤ(例えば、OSI参照モデルのレイヤ、物理レイヤ、データリンクレイヤ、論理リンク制御レイヤ、メディアアクセス制御(MAC)レイヤ、ネットワーク層、トランスポートレイヤ、セッションレイヤ、プレゼンテーションレイヤ、アプリケーションレイヤ、TCP/IPレイヤ、インターネットレイヤ、リンクレイヤ)において無線信号から抽出されうる。TSCIは、無線信号(例えば、RF信号)から導出された導出信号(例えば、ベースバンド信号、動き検出信号、動きセンシング信号)から抽出されうる。それは、既存のメカニズム(例えば、無線/セルラ通信標準/ネットワーク、3G/LTE/4G/5G/6G/7G/8G、WiFi、IEEE802.11/15/16)を使用して通信プロトコル(例えば、標準化されたプロトコル)によってセンシングされた(無線)測定値であってもよい。出信号は、(例えば、無線リンク/ネットワークにおけるデータ/制御/管理のための)プリアンブル、ヘッダ、及びペイロードのうちの少なくとも1つを有するパケットを含んでもよい。TSCIは、パケット内のプローブ信号(例えば、トレーニングシーケンス、STF、LTF、L-STF、L-LTF、L-SIG、HE-STF、HE-LTF、HE-SIG-A、HE-SIG-B、CEF)から抽出されてもよい。動き検出/センシング信号は、プローブ信号に基づいて認識/識別されうる。パケットは、規格準拠プロトコルフレーム、管理フレーム、制御フレーム、データフレーム、サウンディングフレーム、励起フレーム、照明フレーム、ヌルデータフレーム、ビーコンフレーム、パイロットフレーム、プローブフレーム、要求フレーム、応答フレーム、関連付けフレーム、再関連付けフレーム、関連付け解除フレーム、認証フレーム、アクションフレーム、レポートフレーム、ポールフレーム、アナウンスメントフレーム、拡張フレーム、問い合わせフレーム、肯定応答フレーム、RTSフレーム、CTSフレーム、QoSフレーム、CF-Pollフレーム、CF-Ackフレーム、ブロック肯定応答フレーム、リファレンスフレーム、トレーニングフレーム、及び/又は同期フレームでありうる。
パケットは、制御データ及び/又は動き検出プローブを含みうる。データ(例えば、タイプ1デバイスのID/パラメータ/特性/設定/制御信号/コマンド/命令/通知/ブロードキャスト関連情報)は、ペイロードから取得されうる。無線信号は、タイプ1デバイスによって送信されうる。それは、タイプ2デバイスによって受信されうる。(例えば、ローカルサーバ、ハブデバイス、クラウドサーバ、ストレージネットワーク内の)データベースが、TSCI、特性、STI、署名、パターン、挙動、傾向、パラメータ、分析、出力応答、識別情報、ユーザ情報、デバイス情報、チャネル情報、ベニュー(例えば、マップ、環境モデル、ネットワーク、近接デバイス/ネットワーク)情報、タスク情報、クラス/カテゴリ情報、プレゼンテーション(例えば、UI)情報、及び/又は他の情報を格納するために使用されうる。
タイプ1/タイプ2デバイスは、電子機器、回路、送信機(TX)/受信機(RX)/トランシーバ、RFインタフェース、「Origin Satellite」/「Tracker Bot」、ユニキャスト/マルチキャスト/ブロードキャストデバイス、無線ソースデバイス、ソース/宛先デバイス、無線ノード、ハブデバイス、ターゲットデバイス、動き検出デバイス、センサデバイス、リモート/無線センサデバイス、無線通信デバイス、無線対応デバイス、規格準拠デバイス、及び/又は受信機のうちの少なくとも1つを含みうる。タイプ1(又はタイプ2)デバイスは、ヘテロジニアスであってよく、この理由は、タイプ1(又はタイプ2)デバイスの複数のインスタンスが存在する場合に、異なる回路、エンクロージャ、構造、目的、補助機能、チップ/IC、プロセッサ、メモリ、メモリ、ソフトウェア、ファームウェア、ネットワーク接続性、アンテナ、ブランド、モデル、外観、形態、形状、色、材料、及び/又は仕様を有しうることである。タイプ1/タイプ2デバイスは、アクセスポイント、ルータ、メッシュルータ、インターネット・オブ・シングス(IoT)デバイス、無線端末、1つ以上の無線/RFサブシステム/無線インタフェース(例えば、2.4GHz無線機、5GHz無線機、フロントホール無線機、バックホール無線機)、モデム、RFフロントエンド、RF/無線チップ、又は集積回路(IC)を備えうる。
タイプ1デバイス、タイプ2デバイス、それらの間のリンク、物体、特性、STI、動きのモニタリング、及びタスクのうちの少なくとも1つは、UUID等の識別情報(ID)と関連付けられうる。タイプ1/タイプ2/その他のデバイスは、TSCIを取得/記憶/検索/アクセス/前処理/条件/処理付け/分析/モニタリング/適用しうる。タイプ1及びタイプ2デバイスは、無線信号と並列に、他のチャネル(例えば、イーサネット、HDMI(登録商標)、USB、Bluetooth、BLE、WiFi、LTE、他のネットワーク、無線マルチパスチャネル)でネットワークトラフィックをやりとりしうる。タイプ2デバイスは、タイプ1デバイスとの接続(例えば、関連/認証)を確立することなく、又はタイプ1デバイスからのサービスを要求することなく、無線マルチパスチャネルでタイプ1デバイスからの無線信号を受動的に観測/モニタリング/受信しうる。
送信機(即ち、タイプ1デバイス)は、一時的に、散発的に、連続的に、反復的に、交換可能に、交互に、同時に(simultaneously)、同時に(concurrently)、及び/又は同時に(contemporaneously)、受信機(即ち、タイプ2デバイス)として機能することができ、逆もまた同様である。デバイスは、一時的に、散発的に、連続的に、反復的に、同時に、同時に、及び/又は同時に、タイプ1デバイス(送信機)及び/又はタイプ2デバイス(受信機)として機能しうる。それぞれタイプ1(TX)及び/又はタイプ2(RX)デバイスである複数の無線ノードが存在してもよい。TSCIは、無線信号を交換/やりとりする際に、2つのノードごとに取得されうる。物体の特性及び/又はSTIは、TSCIに基づいて個別に、又は2つ以上の(例えば、全ての)TSCIに基づいて一緒にモニタリングされうる。
物体の動きは、能動的に(タイプ1デバイス、タイプ2デバイス、又はその両方において、物体のウェアラブルである/物体と関連付けられている)及び/又は受動的に(タイプ1デバイスとタイプ2デバイスの両方が物体のウェアラブルでない/物体と関連付けられている)モニタリングされうる。物体がタイプ1デバイス及び/又はタイプ2デバイスと関連付けられていない可能性があるため、それは受動的でありうる。物体(例えば、ユーザ、無人搬送車両(automated guided vehicle)又はAGV)は、任意のウェアラブル/固定具を持ち運ぶ/取り付ける必要がない場合がある(即ち、タイプ1デバイス及びタイプ2デバイスは、タスクを実行するために物体が持ち運ぶ必要があるウェアラブル/取り付けデバイスではない)。物体は、タイプ1デバイス及び/又はタイプ2デバイスのいずれかと関連付けられうるので、能動的でありうる。物体は、ウェアラブル/固定具(例えば、タイプ1デバイス、タイプ2デバイス、タイプ1デバイス又はタイプ2デバイスのいずれかと通信可能に結合されたデバイス)を運ぶ(又は設置する)ことがありうる。
プレゼンテーションは、ビジュアル、オーディオ、画像、ビデオ、アニメーション、グラフィカルプレゼンテーション、テキスト等でありうる。タスクの演算は、タイプ1デバイスのプロセッサ(又はロジックユニット)、タイプ1デバイスのICのプロセッサ(又はロジックユニット)、タイプ2デバイスのプロセッサ(又はロジックユニット)、タイプ2デバイスのICのプロセッサ(又はロジックユニット)、ローカルサーバ、クラウドサーバ、データ分析サブシステム、信号分析サブシステム、及び/又は別のプロセッサによって実行されうる。タスクは、無線フィンガープリント又はベースライン(例えば、トレーニングフェーズ/調査/現在の調査/以前の調査/最近の調査/初期の無線調査において収集、処理、演算、送信及び/又は保存、パッシブフィンガープリント)、トレーニング、プロファイル、トレーニング済みプロファイル、静的プロファイル、調査、初期の無線調査、初期設定、インストール、再トレーニング、更新及びリセットを参照して/参照せずに、実行されうる。
タイプ1デバイス(TXデバイス)は、少なくとも1つのヘテロジニアス無線送信機を備えうる。タイプ2デバイス(RXデバイス)は、少なくとも1つのヘテロジニアス無線受信機を備えうる。タイプ1デバイス及びタイプ2デバイスは、コロケーションされうる。タイプ1デバイス及びタイプ2デバイスは、同じデバイスでありうる。任意のデバイスは、データ処理ユニット/装置、コンピューティングユニット/システム、ネットワークユニット/システム、プロセッサ(例えば、論理ユニット)、プロセッサと通信可能に接続されたメモリ、及びプロセッサによって実行される、メモリに格納された命令のセットを有しうる。いくつかのプロセッサ、メモリ、及び命令セットは協調されうる。
同じタイプ2デバイス(又は複数のタイプ2デバイス)とインタラクションを行う(例えば、通信する、信号/制御/通知/他のデータを交換する)複数のタイプ1デバイスがありうる、及び/又は同じタイプ1デバイスとインタラクションを行う複数のタイプ2デバイスがありうる。複数のタイプ1デバイス/タイプ2デバイスは、同じ/異なるウィンドウ幅/サイズ及び/又は時間シフト、同じ/異なる同期開始時間、同期終了時間等で、同期及び/又は非同期でありうる。複数のタイプ1デバイスによって送信される無線信号は、散発的、一時的、連続的、反復的、同期的、同時、同時、及び/又は同時でありうる。複数のタイプ1デバイス/タイプ2デバイスは、独立して及び/又は協働して動作してもよい。タイプ1及び/又はタイプ2デバイスは、ヘテロジニアスハードウェア回路(例えば、無線信号を生成/受信すること、受信された信号からCIを抽出すること、又はCIを利用可能にすることが可能なヘテロジニアスチップ又はヘテロジニアスIC)を有しうる/備えうる/それらでありうる。それらは、同じ又は異なるサーバ(例えば、クラウドサーバ、エッジサーバ、ローカルサーバ、ハブデバイス)と通信可能に接続されてもよい。
1つのデバイスの動作は、動作、状態、内部状態、ストレージ、プロセッサ、メモリ出力、物理的ロケーション、コンピューティングリソース、別のデバイスのネットワークに基づきうる。差分デバイスは、直接、及び/又は別のデバイス/サーバ/ハブデバイス/クラウドサーバを介して通信しうる。デバイスは、関連する設定を有する1人以上のユーザと関連付けられてもよい。設定は、一旦選択され、予めプログラムされ、及び/又は変更され(例えば、調整され、変更され、修正され)/経時的に変更されてもよい。方法には追加のステップがあってもよい。方法のステップ及び/又は追加のステップは、示された順序で、又は別の順序で実行されうる。任意のステップは、並行して、反復して、又は他の方法で反復して、又は他の方法で実行されてもよい。ユーザは、ヒト、成人、高齢者、男性、女性、若者、子供、赤ちゃん、ペット、動物、生物、機械、コンピュータモジュール/ソフトウェア等でありうる。
1つ以上のタイプ2デバイスとインタラクションを行う1つ以上のタイプ1デバイスの場合、任意の処理(例えば、時間領域、周波数領域)は、異なるデバイスについて異なりうる。処理は、ロケーション、向き、方向、役割、ユーザ関連特性、設定、構成、利用可能なリソース、利用可能な帯域幅、ネットワーク接続、ハードウェア、ソフトウェア、プロセッサ、コプロセッサ、メモリ、バッテリ寿命、利用可能な電力、アンテナ、アンテナタイプ、アンテナの指向性/無指向性特性、電力設定、及び/又は、デバイスの他のパラメータ/特性に基づきうる。
無線受信機(例えば、タイプ2デバイス)は、無線送信機(例えば、タイプ1デバイス)から信号及び/又は別の信号を受信しうる。無線受信機は、別の無線送信機(例えば、第2のタイプ1デバイス)から別の信号を受信しうる。無線送信機は、信号及び/又は別の信号を別の無線受信機(例えば、第2のタイプ2デバイス)に送信しうる。無線送信機、無線受信機、別の無線受信機、及び/又は別の無線送信機は、物体及び/又は別の物体とともに移動している場合がある。別の物体は追跡されうる。
タイプ1及び/又はタイプ2デバイスは、少なくとも2つのタイプ2及び/又はタイプ1デバイスと、無線接続することが可能でありうる。タイプ1デバイスは、ベニュー内の別のロケーションにおいて、タイプ2デバイスから第2のタイプ2デバイスへ無線接続(例えば、関連付け、認証)を切り替え/確立するようにさせられうる/制御されうる。同様に、タイプ2デバイスは、ベニュー内の更に別のロケーションにおいて、タイプ1デバイスから第2のタイプ1デバイスへ無線接続を切り替え/確立するようにさせられうる/制御されうる。スイッチングは、サーバ(又はハブデバイス)、プロセッサ、タイプ1デバイス、タイプ2デバイス、及び/又は別のデバイスによって制御されうる。スイッチングの前後で使用する無線が異なる場合がある。第2の無線信号(第2の信号)は、チャネルを介して、タイプ1デバイスと第2のタイプ2デバイスとの間(又はタイプ2デバイスと第2のタイプ1デバイスとの間)で送信されうる。第2の信号から抽出されたチャネルの第2のTSCIが取得されうる。第2の信号は、第1の信号であってもよい。物体の特性、STI、及び/又は別の量が、第2のTSCIに基づいてモニタリングされうる。タイプ1デバイスとタイプ2デバイスは同じであってもよい。異なるタイムスタンプを有する特性、STI及び/又は別の量が、波形を形成してもよい。波形は、プレゼンテーションにおいて表示されてもよい。
無線信号及び/又は別の信号は、埋め込まれたデータを有しうる。無線信号は、プローブ信号の系列(例えば、プローブ信号の反復送信、1つ以上のプローブ信号の再使用)でありうる。プローブ信号は、経時的に変化/変動しうる。プローブ信号は、規格準拠信号、プロトコル信号、標準化された無線プロトコル信号、制御信号、データ信号、無線通信ネットワーク信号、セルラネットワーク信号、WiFi信号、LTE/5G/6G/7G信号、参照信号、ビーコン信号、動き検出信号、及び/又は動きセンシング信号でありうる。プローブ信号は、無線ネットワーク規格(例えば、WiFi)、セルラネットワーク規格(例えば、LTE/5G/6G)、又は別の規格に従ってフォーマットされうる。プローブ信号は、ヘッダ及びペイロードを有するパケットを含みうる。プローブ信号は、埋め込まれたデータを有しうる。ペイロードは、データを含みうる。プローブ信号は、データ信号によって置き換えられてもよい。プローブ信号は、データ信号に埋め込まれてもよい。無線受信機、無線送信機、別の無線受信機、及び/又は別の無線送信機は、少なくとも1つのプロセッサ、個別のプロセッサと通信可能に接続されたメモリ、及び/又はメモリに格納された命令の個別のセットと関連付けられてよく、当該命令は、実行されるとプロセッサに、物体のSTI(例えば、動き情報)、初期STI、初期時間、方向、瞬時ロケーション、瞬時角度、及び/又は速度を特定するために必要とされる任意のステップ及び/又は全てのステップを実行させる。
プロセッサ、メモリ、及び/又は命令のセットは、タイプ1デバイス、少なくとも1つのタイプ2デバイスのうちの1つ、物体、物体と関連付けられたデバイス、ベニューと関連付けられた別のデバイス、クラウドサーバ、ハブデバイス、及び/又は別のサーバと関連付けられうる。
タイプ1デバイスは、ベニュー内のチャネルを通じて少なくとも1つのタイプ2デバイスへブロードキャスト方式で信号を送信しうる。信号は、タイプ1デバイスが任意のタイプ2デバイスとの無線接続(例えば、関連付け、認証)を確立することなく、かつ、タイプ2デバイスがタイプ1デバイスからサービスを要求することなく、送信される。タイプ1デバイスは、2つ以上のタイプ2デバイスに共通の特定のメディアアクセス制御(MAC)アドレスへの送信を行いうる。各タイプ2デバイスは、当該デバイスのMACアドレスを特定のMACアドレスに調整しうる。特定のMACアドレスは、ベニューと関連付けられうる。当該関連付けは、関連付けサーバ(例えば、ハブデバイス)の関連付けテーブルに記録されうる。ベニューは、特定のMACアドレス、プローブ信号の系列、及び/又はプローブ信号から抽出された少なくとも1つのTSCIに基づいて、タイプ1デバイス、タイプ2デバイス、及び/又は別のデバイスによって識別されうる。
例えば、タイプ2デバイスは、ベニュー内の新しいロケーションに(例えば、別のベニューから)移動されうる。タイプ1デバイスは、タイプ1デバイスとタイプ2デバイスとが互いに気付かないように、ベニューにおいて新たにセットアップされうる。セットアップ中に、タイプ1デバイスは、特定のMACアドレスにプローブ信号の系列を送信するように(例えば、ダミー受信機を使用して、ハードウェアピン設定/コネクションを使用して、保存された設定を使用して、ローカル設定を使用して、リモート設定を使用して、ダウンロードされた設定を使用して、ハブデバイスを使用して、又はサーバを使用して)命令/誘導/制御されうる。電源投入時に、タイプ2デバイスは、異なるロケーション(例えば、住宅、オフィス、エンクロージャ、フロア、多階建てビルディング、店舗、空港、モール、スタジアム、ホール、駅、地下鉄、区画、エリア、ゾーン、地域、地方、都市、国、大陸)におけるブロードキャストを行うために使用されうる(例えば、指定されたソース、サーバ、ハブデバイス、クラウドサーバに保存されている)MACアドレスのテーブルに従って、プローブ信号をスキャンしうる。タイプ2デバイスが、特定のMACアドレスに送信されたプローブ信号を検出すると、タイプ2デバイスは、当該MACアドレスに基づいてベニューを識別するために当該テーブルを使用できる。
ベニューにおけるタイプ2デバイスのロケーションは、特定のMACアドレス、プローブ信号の系列、及び/又はプローブ信号からタイプ2デバイスによって取得された少なくとも1つのTSCIに基づいて演算されうる。当該演算は、タイプ2デバイスによって実行されうる。
特定のMACアドレスは、時間的に変更(例えば、調整、変化、修正)されうる。それは、時間テーブル、ルール、ポリシー、モード、条件、状況、及び/又は変更に従って変更されうる。特定のMACアドレスは、MACアドレスの利用可能性、予め選択されたリスト、衝突パターン、トラフィックパターン、タイプ1デバイスと別のデバイスとの間のデータトラフィック、有効帯域幅、ランダム選択、及び/又はMACアドレス切り替えプランに基づいて選択されうる。特定のMACアドレスは、第2の無線デバイス(例えば、ダミー受信機、又はダミー受信機として機能する受信機)のMACアドレスでありうる。
タイプ1デバイスは、チャネルのセットから選択されたチャネルでプローブ信号を送信しうる。選択されたチャネルの少なくとも1つのCIは、選択されたチャネルにおいて送信されたプローブ信号から、それぞれのタイプ2デバイスによって取得されうる。
選択されたチャネルは、時間的に変更(例えば、調整、変化、修正)されうる。当該変更は、時間テーブル、ルール、ポリシー、モード、条件、状況、及び/又は変更に従いうる。選択されたチャネルは、チャネルの利用可能性、ランダム選択、予め選択されたリスト、同一チャネル干渉、チャネル間干渉、チャネルトラフィックパターン、タイプ1デバイスと別のデバイスとの間のデータトラフィック、チャネルと関連付けられた有効帯域幅、セキュリティ基準、チャネル切り替えプラン、基準、品質基準、信号品質条件、及び/又は考慮事項に基づいて選択されうる。
特定のMACアドレス及び/又は選択されたチャネルの情報は、ネットワークを通じてタイプ1デバイスとサーバ(例えば、ハブデバイス)との間で伝達されうる。特定のMACアドレス及び/又は選択されたチャネルの情報は更に、別のネットワークを通じてタイプ2デバイスとサーバ(例えば、ハブデバイス)との間で伝達されうる。タイプ2デバイスは、特定のMACアドレス及び/又は選択されたチャネルの情報を別のタイプ2デバイスに(例えば、メッシュネットワーク、Bluetooth、WiFi、NFC、ZigBee等を介して)伝達しうる。特定のMACアドレス及び/又は選択されたチャネルはサーバ(例えば、ハブデバイス)によって選択されうる。特定のMACアドレス及び/又は選択されたチャネルは、タイプ1デバイス、タイプ2デバイス、及び/又はサーバ(例えば、ハブデバイス)によってアナウンスメントチャネでシグナリングされうる。通信が行われる前に、任意の情報が前処理されうる。
タイプ1デバイスと別の無線デバイスとの間の無線接続(例えば、関連付け、認証)が(例えば、信号ハンドシェイクを用いて)確立されうる。タイプ1デバイスは第、1のハンドシェイク信号(例えば、サウンディングフレーム、プローブ信号、送信要求RTS(request-to-send))を別のデバイスに送りうる。別のデバイスは、第2のハンドシェイク信号(例えば、コマンド、又は送信可CTS(clear-to-send))をタイプ1デバイスに送信することによって応答し、タイプ2デバイスとの接続を確立することなく、ブロードキャスト方式で信号(例えば、プローブ信号の系列)を複数のタイプ2デバイスに送信するようにタイプ1デバイスをトリガしうる。第2のハンドシェイク信号は、第1のハンドシェイク信号に対する応答又は肯定応答(例えば、ACK)でありうる。第2のハンドシェイク信号は、ベニュー及び/又はタイプ1デバイスの情報を有するデータを含みうる。別のデバイスは、タイプ1デバイスとの無線接続を確立し、第1の信号を受信し、及び/又は第2の信号を送信するための目的(例えば、一次目的、二次目的)を有するダミーデバイスでありうる。別のデバイスは、タイプ1デバイスに物理的に取り付けられてもよい。
別の例では、別のデバイスが任意のタイプ2デバイスとの接続(例えば、関連付け、認証)を確立することなく、信号(例えば、プローブ信号の系列)を複数のタイプ2デバイスにブロードキャストするために、タイプ1デバイスをトリガする第3のハンドシェイク信号をタイプ1デバイスに送りうる。タイプ1デバイスは、第4のハンドシェイク信号を別のデバイスに送信することによって、第3の特別な信号に応答しうる。別のデバイスは、ブロードキャストするための2つ以上のタイプ1デバイスをトリガするために使用されうる。トリガは、連続的、部分的に連続的、部分的に並列、又は完全に並列であってもよい。別のデバイスは、複数の送信機を並列にトリガするための2つ以上の無線回路を有しうる。並列トリガは更に、(別のデバイスが行うのと同様の)トリガを別のデバイスと並列に実行するために、少なくとも1つの更に別のデバイスを使用して達成されうる。他のデバイスは、タイプ1デバイスとの接続を確立した後、タイプ1デバイスと通信しなくてもよい(又は通信を中断してもよい)。中断された通信は再開されてもよい。別のデバイスは、タイプ1デバイスとの接続を確立した後、非アクティブモード、休止モード、スリープモード、スタンバイモード、低電力モード、オフモード、及び/又はパワーダウンモードに移行してもよい。別のデバイスは、タイプ1デバイスが特定のMACアドレスに信号を送信するように、特定のMACアドレスを有しうる。タイプ1デバイス及び/又は別のデバイスは、タイプ1デバイスに関する第1のプロセッサ、別のデバイスに関連する第2のプロセッサ、指定されたソースに関連する第3のプロセッサ、及び/又は別のデバイスに関連する第4のプロセッサによって制御及び/又は調整されうる。第1及び第2のプロセッサは、互いに協調してもよい。
プローブ信号の第1の系列は、タイプ1デバイスの第1のアンテナによって、第1のベニューにおける第1のチャネルを通じて少なくとも1つの第1のタイプ2デバイスへ送信されうる。プローブ信号の第2の系列は、タイプ1デバイスの第2のアンテナによって、第2のベニューにおける第2のチャネルを通じて少なくとも1つの第2のタイプ2デバイスへ送信されうる。第1の系列と第2の系列は異なっていてもよいし、異なっていなくてもよい。少なくとも1つの第1のタイプ2デバイスは、少なくとも1つの第2のタイプ2デバイスと異なりうる/異なりえない。プローブ信号の第1及び/又は第2の系列は、タイプ1デバイスと任意のタイプ2デバイスとの間に確立された接続(例えば、関連付け、認証)無しでブロードキャストされてもよい。第1及び第2のアンテナは、同じであっても/異なっていてもよい。
2つのベニューは、異なるサイズ、形状、マルチパス特性を有しうる。第1及び第2のベニューは、オーバラップしてもよい。第1のアンテナ及び第2のアンテナ周辺のそれぞれの周辺エリアは、オーバラップしてもよい。第1及び第2のチャネルは、同じであっても/異なっていてもよい。例えば、第1のものはWiFiであってよく、第2のものはLTEであってよい。あるいは、両方がWiFiであってもよいが、第1のものは2.4GHzのWiFiであってもよく、第2のものは5GHzのWiFiであってもよい。あるいは、両方とも2.4GHzのWiFiであってもよいが、異なるチャネル番号、SSID名、及び/又はWiFi設定を有しうる。
各タイプ2デバイスは、それぞれのプローブ信号の系列から少なくとも1つのTSCIを取得してうる。当該CIは、タイプ2デバイスとタイプ1デバイスとの間の個別のチャネルのものである。いくつかの第1のタイプ2デバイス及びいくつかの第2のタイプ2デバイスは、同じでありうる。プローブ信号の第1及び第2の系列は、同期/非同期でありうる。プローブ信号は、データとともに送信されてもよく、又はデータ信号によって置き換えられてもよい。第1及び第2のアンテナは、同じであってもよい。
プローブ信号の第1の系列は、第1のレート(例えば、30Hz)で送信されうる。プローブ信号の第2の系列は、第2のレート(例えば、200Hz)で送信されうる。第1及び第2のレートは、同じであっても/異なっていてもよい。第1のレート及び/又は第2のレートは、時間的に変更(例えば、調整、変化、修正)されうる。変更は、時間テーブル、ルール、ポリシー、モード、条件、状況、及び/又は変更に従いうる。任意のレートは、時間的に変更(例えば、調整、変更、修正)されうる。
プローブ信号の第1及び/又は第2の系列は、それぞれ第1のMACアドレス及び/又は第2のMACアドレスに送信されうる。2つのMACアドレスは、同じであっても、異なっていてもよい。プローブ信号の第1の系列は、第1のチャネルで送信されうる。プローブ信号の第2の系列は、第2のチャネルで送信されうる。2つのチャネルは、同じであってもよい/異なっていてもよい。第1又は第2のMACアドレス、第1又は第2のチャネルは、時間的に変更されてもよい。任意の変更は、時間テーブル、ルール、ポリシー、モード、条件、状況、及び/又は変更に従いうる。
タイプ1デバイス及び別のデバイスは、制御及び/又は調整されてもよく、物理的に取り付けられてもよく、又は共通のデバイスであってもよい/共通のデバイス内にあってもよい。それらは、共通のデータプロセッサによって制御/接続されてもよく、又は共通のバス相互接続/ネットワーク/LAN/Bluetoothネットワーク/NFCネットワーク/BLEネットワーク/有線ネットワーク/無線ネットワーク/メッシュネットワーク/モバイルネットワーク/クラウドに接続されてもよい。それらは、共通のメモリを共有するか、又は共通のユーザ、ユーザデバイス、プロファイル、アカウント、識別情報(ID)、識別子、家庭、家、物理的アドレス、ロケーション、地理的座標、IPサブネット、SSID、ホームデバイス、オフィスデバイス、及び/又は製造デバイスと関連付けられうる。
各タイプ1デバイスは、それぞれのタイプ2デバイスのセットの信号ソースでありうる(即ち、それぞれの信号(例えば、プローブ信号のそれぞれの系列)をそれぞれのタイプ2デバイスのセットに送信する)。それぞれの個別のタイプ2デバイスは、その信号ソースとして、全てのタイプ1デバイスの中からタイプ1デバイスを選択する。各タイプ2デバイスは、非同期的に選択しうる。少なくとも1つのTSCIは、それぞれの個別のタイプ2デバイスによって、タイプ1デバイスからのプローブ信号の個別の系列から取得されうる。当該CIは、タイプ2デバイスとタイプ1デバイスとの間のチャネルである。
個別のタイプ2デバイスは、全てのタイプ1デバイスの中から、その信号ソースとして、タイプ1/タイプ2デバイスの識別情報(ID)又は識別子、実行されるタスク、過去の信号ソース、(例えば、過去の信号ソース、タイプ1デバイス、別のタイプ1デバイス、個別のタイプ2受信機、及び/又は別のタイプ2受信機の)履歴、スイッチング信号ソースの閾値、及び/又はユーザの情報、アカウント、アクセス情報、パラメータ、特性、及び/又は信号強度(例えば、タイプ1デバイス及び/又は個別のタイプ2受信機と関連付けられた)に基づいて、タイプ1デバイスを選択する。
最初に、タイプ1デバイスは、初期の個別のタイプ2デバイスのセットの信号ソースでありうる(即ち、タイプ1デバイスは、初期の個別のタイプ2デバイスのセットへ個別の信号(プローブ信号の系列)を送信する)。初期の個別の各タイプ2デバイスは、その信号ソースとして、全てのタイプ1デバイスの中からタイプ1デバイスを選択する。
特定のタイプ2デバイスの信号ソース(タイプ1デバイス)は、(1)タイプ2デバイスの現在の信号ソースから受信される2つの隣接するプローブ信号(例えば、現在のプローブ信号と直近のプローブ信号との間、又は次のプローブ信号と現在のプローブ信号との間)の時間間隔が第1の閾値を超える場合、(2)タイプ2デバイスの現在の信号ソースに関連する信号強度が第2の閾値を下回る場合、(3)タイプ2デバイスの現在の信号ソースに関連する処理された信号強度が第3の閾値を下回る場合、ここで、当該信号強度は、ローパスフィルタ、バンドパスフィルタ、メディアンフィルタ、移動平均フィルタ、重み付け平均フィルタ、線形フィルタ及び/又は非線形フィルタで処理されている、及び/又は、(4)タイプ2デバイスの現在の信号ソースに関連する信号強度(又は処理された信号強度)が最近の時間ウィンドウ(例えば)のかなりのパーセンテージ(70%、80%、90%))で第4の閾値を下回る場合に、変更(例えば、調整、変更、修正)されうる。当該パーセンテージは、第5の閾値を超えてもよい。第1、第2、第3、第4、及び/又は第5の閾値は、時間的に変化してもよい。
条件(1)は、タイプ1デバイス及びタイプ2デバイスが互いから徐々に遠ざかるようになり、その結果、タイプ1デバイスからのいくつかのプローブ信号が弱くなりすぎ、タイプ2デバイスによって受信されないときに生じうる。条件(2)~(4)は、信号強度が非常に弱くなるように、2つのデバイスが互いから遠くなるときに生じうる。
タイプ2デバイスの信号ソースは、他のタイプ1デバイスが現在の信号ソースの係数(例えば、1、1.1、1.2、又は1.5)よりも弱い信号強度を有する場合、変化しないことがある。
信号ソースが変更(例えば、調整、変更、修正)される場合、新しい信号ソースは、近い将来の時間(例えば、それぞれの次の時間)に有効になりうる。新しい信号ソースは、最も強い信号強度及び/又は処理された信号強度を有するタイプ1デバイスであってもよい。現在の及び新しい信号ソースは、同じであってもよい/異なっていてもよい。
利用可能なタイプ1デバイスのリストは、各タイプ2デバイスによって初期化されて維持されうる。当該リストは、タイプ1デバイスのそれぞれのセットに関連する信号強度及び/又は処理された信号強度を検査することによって更新されうる。タイプ2デバイスは、個別のプローブ信号レート、MACアドレス、チャネル、特性/特性/状態、タイプ2デバイスによって実行されるタスク、第1及び第2の系列の信号強度、及び/又は別の考慮事項に基づいて、第1のタイプ1デバイスからのプローブ信号の第1の系列と、第2のタイプ1デバイスからのプローブ信号の第2の系列との間で選択しうる。
プローブ信号の系列は、規則的なレート(例えば、100Hz)で送信されうる。プローブ信号の系列は、定期的な間隔(例えば、100Hzに対して0.01秒)でスケーリングされることもあるが、各プローブ信号は、おそらく、タイミング要件、タイミング制御、ネットワーク制御、ハンドシェイク、メッセージパッシング、衝突回避、キャリアセンシング、輻輳、リソースの利用可能性、及び/又はその他の考慮事項に起因して、小規模な時間の摂動を経験しうる。
速度は、変更(例えば、調整、変更、修正)されてもよい。当該変更は、時間テーブル(例えば、1時間ごとに変更される)、ルール、ポリシー、モード、条件、及び/又は変更(例えば、何らかのイベントが発生するたびに変更される)に従いうる。例えば、レートは、通常100Hzでありうるが、要求の厳しい状況では1000Hzに、低電力/待機状態では1Hzに変更される場合がある。プローブ信号は、バーストで送信されうる。
プローブ信号レートは、タイプ1デバイス又はタイプ2デバイスによって実行されるタスクに基づいて変化しうる(例えば、タスクは、20秒間、瞬間的に100Hz通常及び1000Hzを必要としうる)。一例では、送信機(タイプ1デバイス)、受信機(タイプ2デバイス)、及び関連するタスクはクラス(例えば、低優先度、高優先度、緊急、クリティカル、規則的、特権付き、非サブスクリプション、サブスクリプション、支払い、及び/又は非支払いであるクラス)に適応的に(及び/又は動的に)関連付けられうる。(送信機の)レートはいくつかのクラス(例えば、高優先度クラス)のために調整されうる。そのクラスの必要性が変化するとき、レートは変更(例えば、調整、変更、修正)されうる。受信機が非常に低い電力を有する場合、レートは、プローブ信号に応答するよう受信機の電力消費を低減するために低減されうる。一例では、プローブ信号は、電力を受信機(タイプ2デバイス)に無線転送するために使用されてよく、レートは、受信機に転送される電力の量を制御するために調整されうる。
レートは、サーバ(例えば、ハブデバイス)、タイプ1デバイス、及び/又はタイプ2デバイスによって(又はそれに基づいて)変更されうる。制御信号は、それらの間で通信されうる。サーバは、タイプ2デバイス及び/又はタイプ2デバイスによって実行されるタスクの必要性をモニタリング、追跡、予測、及び/又は予期してもよく、レートを変更するようにタイプ1デバイスを制御してもよい。サーバは、時間テーブルに従って、レートに対するスケジューリングされた変更を行ってもよい。サーバは、緊急状況を検出し、即座にレートを変更してもよい。サーバは、発展条件を検出し、レートを徐々に調整してもよい。
特性及び/又はSTI(例えば、動き情報)は、特定のタイプ1デバイス及び特定のタイプ2デバイスに関連するTSCIに基づいて、個別にモニタリングされ、及び/又は特定のタイプ1デバイス及び任意のタイプ2デバイスに関連する任意のTSCIに基づいて、共同でモニタリングされ、及び/又は特定のタイプ2デバイス及び任意のタイプ1デバイスに関連する任意のTSCIに基づいて、共同でモニタリングされ、及び/又は任意のタイプ1デバイス及び任意のタイプ2デバイスに関連する任意のTSCIに基づいて、グローバルにモニタリングされうる。任意の共同モニタリングは、ユーザ、ユーザアカウント、プロファイル、世帯、ベニューのマップ、ベニューの環境モデル、及び/又はユーザ履歴等と関連付けられうる。
タイプ1デバイスとタイプ2デバイスとの間の第1のチャネルは、別のタイプ1デバイスと別のタイプ2デバイスとの間の第2のチャネルとは異なりうる。2つのチャネルは、異なる周波数帯域、帯域幅、キャリア周波数、変調、無線規格、符号化、暗号化、ペイロード特性、ネットワーク、ネットワークID、SSID、ネットワーク特性、ネットワーク設定、及び/又はネットワークパラメータ等と関連付けられうる。
2つのチャネルは、異なる種類の無線システム(例えば、WiFi、LTE、LTE-A、LTE-U、2.5G、3G、3.5G、4G、ビヨンド4G、5G、6G、7G、セルラネットワーク規格、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA(登録商標)、TD-SCDMA、802.11システム、802.15システム、802.16システム、メッシュネットワーク、Zigbee、NFC、WiMax、Bluetooth、BLE、RFID、UWB、マイクロ波システム、レーダのようなシステム)と関連付けられうる。例えば、一方はWiFiであり、他方はLTEである。
2つのチャネルは、同様の種類の無線システムと関連付けられうるが、異なるネットワーク内にありうる。例えば、第1のチャネルは、20MHzの帯域幅を有する2.4GHz帯域における「Pizza and Pizza」と呼ばれるWiFiネットワークと関連付けられてよく、第2のチャネルは、40MHzの帯域幅を有する5GHz帯域における「StarBud hotspot」のSSIDを有するWiFiネットワークと関連付けられうる。2つのチャネルは、同じネットワーク(例えば、「StarBud hotspot」ネットワーク)内の異なるチャネルでありうる。
一実施形態では、無線モニタリングシステムが複数のイベントと関連付けられたトレーニングTSCIに基づいて、ベニュー内の複数のイベントの分類器をトレーニングすることを含みうる。イベントと関連付けられたCI又はTSCIは、イベントと関連付けられた無線サンプル/特性/指紋(及び/又は、ベニュー、環境、物体、物体の動き、状態/感情状態/心理状態/状況/段階/ジェスチャ/歩行/行動/移動/活動/日常活動/履歴/物体のイベント等)を含むと考えられうる/構成されうる。
既知のイベントに関連する個別のトレーニング(例えば、調査、無線調査、初期無線調査)期間内にベニューで発生する複数の既知のイベントの各々について、個別のトレーニング無線信号(例えば、トレーニングプローブ信号の個別の系列)は、プロセッサ、メモリ、及び第1のタイプ1デバイスの命令のセットを使用して、第1のタイプ1ヘテロジニアス無線デバイスアンテナによって、個別のトレーニング期間内にベニューにおいて無線マルチパスチャネルを通じて少なくとも1つの第1のタイプ2ヘテロジニアス無線デバイスへ送信されうる。
トレーニングCI(トレーニングTSCI)の少なくとも1つの個別の時系列は、(個別の)トレーニング信号から、少なくとも1つの第1のタイプ2デバイスの各々によって非同期に取得されうる。CIは、既知のイベントと関連付けられたトレーニング期間における第1のタイプ2デバイスと第1のタイプ1デバイスとの間のチャネルのCIでありうる。少なくとも1つのトレーニングTSCIは、前処理されうる。トレーニングは、(例えば、タイプ1デバイス及び/又はタイプ2デバイスの設置中の)無線調査でありうる。
現在の期間においてベニューで発生している現在のイベントについて、現在の無線信号(例えば、現在のプローブ信号の系列)は、プロセッサ、メモリ、及び第2のタイプ1デバイスの命令のセットを使用して、現在のイベントに関連する現在の期間におけるベニューのチャネルを介して少なくとも1つの第2のタイプ2ヘテロジニアス無線デバイス、第2のタイプ1ヘテロジニアス無線デバイスのアンテナによって送信されうる。
現在のCI(現在のTSCI)の少なくとも1つの時系列は、現在の信号(例えば、現在のプローブ信号の系列)から、少なくとも1つの第2のタイプ2デバイスの各々によって非同期に取得されうる。CIは、現在のイベントと関連付けられた現在の期間における第2のタイプ2デバイスと第2のタイプ1デバイスとの間のチャネルのCIでありうる。少なくとも1つの現在のTSCIは、前処理されうる。
分類器は、少なくとも1つの第2のタイプ2デバイスによって現在のプローブ信号の系列から取得された少なくとも1つの現在のTSCIを分類するために、特定の現在のTSCIの少なくとも1つの部分を分類するために、及び/又は特定の現在のTSCIの少なくとも1つの部分と別のTSCIの別の部分との組み合わせを分類するために適用されうる。分類器は、TSCI(又は特性/STI又は他の分析値又は出力応答)をクラスタに分割し、当該クラスタを、特定のイベント/物体/対象/ロケーション/移動/アクティビティと関連付けうる。ラベル/タグは、クラスタに対して生成されうる。クラスタは、記憶され、取り出されうる。分類器は、現在のTSCI(又は特性/STI又は他の分析/出力応答、おそらく現在のイベントに関連するもの)を、クラスタ、既知/特定のイベント、クラス/カテゴリ/グループ/グループ/クラスタ/既知のイベント/対象/ロケーション/移動/アクティビティのセット、未知のイベント、クラス/カテゴリ/グループ/グループ/リスト/クラスタ/未知のイベント/対象/ロケーション/移動/アクティビティのセット、及び/又は別のイベント/対象/ロケーション/移動/アクティビティ/クラス/カテゴリ/グループ/グループ/リスト/クラスタ/セットと関連付けるために適用されうる。各TSCIは、それぞれのタイムスタンプにそれぞれ関連する少なくとも1つのCIを含みうる。2つのタイプ2デバイスと関連付けられた2つのTSCIは、開始時間、持続時間、停止時間、CIの量、サンプリング周波数、サンプリング期間、という異なるものであってもよい。それらのCIは、異なる特徴を有しうる。第1及び第2のタイプ1デバイスは、ベニュー内の同じロケットにあってもよい。それらは、同じデバイスであってもよい。少なくとも1つの第2のタイプ2デバイス(又はそれらのロケーション)は、少なくとも1つの第1のタイプ2デバイス(又はそれらのロケーション)の置換であってもよい。特定の第2のタイプ2デバイス及び特定の第1のタイプ2デバイスは、同じデバイスであってもよい。
第1のタイプ2デバイスのサブセットと第2のタイプ2デバイスのサブセットとは同じでありうる。少なくとも1つの第2のタイプ2デバイス及び/又は少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットでありうる。少なくとも1つの第1のタイプ2デバイス及び/又は少なくとも1つの第1のタイプ2デバイスのサブセットは、少なくとも1つの第2のタイプ2デバイスのサブセットの置換でありうる。少なくとも1つの第2のタイプ2デバイス及び/又は少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットの置換でありうる。少なくとも1つの第2のタイプ2デバイス及び/又は少なくとも1つの第2のタイプ2デバイスのサブセットは、少なくとも1つの第1のタイプ2デバイスのサブセットと同じそれぞれのロケーションにありうる。少なくとも1つの第1のタイプ2デバイス及び/又は少なくとも1つの第1のタイプ2デバイスのサブセットは、少なくとも1つの第2のタイプ2デバイスのサブセットと同じそれぞれのロケーションにありうる。
タイプ1デバイスのアンテナと、第2のタイプ1デバイスのアンテナとは、ベニュー内の同じロケーションにあってもよい。少なくとも1つの第2のタイプ2デバイスのアンテナ及び/又は少なくとも1つの第2のタイプ2デバイスのサブセットのアンテナは、少なくとも1つの第1のタイプ2デバイスのサブセットのそれぞれのアンテナと同じそれぞれのロケーションにあってもよい。少なくとも1つの第1のタイプ2デバイスのアンテナ及び/又は少なくとも1つの第1のタイプ2デバイスのサブセットのアンテナは、少なくとも1つの第2のタイプ2デバイスのサブセットのそれぞれのアンテナと同じそれぞれのロケーションにあってもよい。
第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2のセクションの第2の持続時間の第2のセクションとは、アライメントされうる。第1のセクションのアイテムと第2のセクションのアイテムとの間のマップが演算されうる。第1のセクションは第1の開始/終了時間を有する第1のTSCIの第1のセグメント(例えば、サブセット)、及び/又は処理された第1のTSCIの別のセグメント(例えば、サブセット)を含みうる。処理された第1のTSCIは、第1の動作によって処理された第1のTSCIでありうる。第2のセクションは第2の開始時間及び第2の終了時間を有する第2のTSCIの第2のセグメント(例えば、サブセット)と、処理された第2のTSCIの別のセグメント(例えば、サブセット)とを含みうる。処理された第2のTSCIは、第2の動作によって処理された第2のTSCIでありうる。第1の動作及び/又は第2の動作は、サブサンプリング、再サンプリング、補間、フィルタリング、変換、特徴抽出、前処理、及び/又は別の動作を含みうる。
第1のセクションの第1のアイテムは、第2のセクションの第2のアイテムにマッピングされうる。第1のセクションの第1のアイテムはまた、第2のセクションの別のアイテムにマッピングされうる。第1のセクションの別のアイテムはまた、第2のセクションの第2のアイテムにマッピングされうる。マッピングは、1対1、1対多、多対1、多対多であってもよい。第1のTSCIの第1のセクションの第1のアイテム、第1のTSCIの別のアイテム、第1のアイテムのタイムスタンプ、第1のアイテムの時間差、第1のアイテムの隣接タイムスタンプ、第1のアイテムの隣接タイムスタンプ、第1のアイテムと関連付けられた別のタイムスタンプ、第2のTSCIの第2のセクションの第2のアイテム、第2のアイテムのタイムスタンプ、第2のアイテムの時間差、第2のアイテムの時間差、第2のアイテムの隣接タイムスタンプ、及び第2のアイテムと関連付けられた別のタイムスタンプのうちの少なくとも1つの機能は、少なくとも1つの制約を満たしうる。
1つの制約は、第1のアイテムのタイムスタンプと第2のアイテムのタイムスタンプとの間の差が適応的な(及び/又は動的に調整された)上限閾値によって上限が与えられ、適応的な下限閾値によって下限が与えられることでありうる。
第1のセクションは、第1のTSCI全体でありうる。第2のセクションは、第2のTSCI全体でありうる。第1の持続時間は、第2の持続時間に等しくてもよい。TSCIの持続時間のセクションは、適応的に(及び/又は動的に)決定されうる。TSCIの暫定的なセクションが演算されうる。セクション(例えば、暫定的なセクション、セクション)の開始時間及び終了時間を決定しうる。このセクションは、暫定的なセクションの開始部分及び終了部分を除去することによって決定されてもよい。暫定的なセクションの先頭部分は、次のようにして決定しうる。反復的に、タイムスタンプが増加する暫定的なセクションのアイテムは、一度に1つのアイテムである現在のアイテムと見なすことができる。
各反復において、少なくとも1つのアクティビティ測度/指標が演算及び/又は考慮されうる。少なくとも1つのアクティビティ測定は、現在のタイムスタンプと関連付けられた現在のアイテム、現在のタイムスタンプよりも大きくないタイムスタンプを有する暫定的なセクションの過去のアイテム、及び/又は現在のタイムスタンプよりも小さくないタイムスタンプを有する暫定的なセクションの将来のアイテムのうちの少なくとも1つと関連付けられうる。現在のアイテムは少なくとも1つのアクティビティ測度に関連する少なくとも1つの基準(例えば、品質基準、信号品質条件)が満たされる場合、暫定的なセクションの開始部分に追加されうる。
アクティビティ測度に関連する少なくとも1つの基準は(a)アクティビティ測度が適応的(例えば、動的に調整された)上限閾値よりも小さい、(b)アクティビティ測度が適応的下限閾値よりも大きい、(c)アクティビティ測度が少なくとも所定量の連続するタイムスタンプについて連続的に適応的上限閾値よりも小さい、(d)アクティビティ測度が少なくとも別の所定量の連続するタイムスタンプについて連続的に適応的下限閾値よりも大きい、(e)アクティビティ測度が少なくとも所定量の連続するタイムスタンプのうちの所定量について連続的に適応的上限閾値よりも小さい、(f)アクティビティ測度が別の所定量の連続するタイムスタンプのうちの少なくとも別の所定量について連続的に適応的下限閾値よりも大きい、(g)現在のタイムスタンプに関連する別のタイムスタンプに関連する別のアクティビティ測度が別の適応的上限閾値よりも小さく、別の適応的下限閾値よりも大きい、(h)現在のタイムスタンプと関連付けられた少なくとも1つの個別のタイムスタンプと関連付けられた少なくとも1つのアクティビティ測度が、それぞれの上側閾値よりも小さく、それぞれの下側閾値よりも大きい、(i)現在のタイムスタンプと関連付けられたタイムスタンプのセットにおいて、それぞれの上側閾値よりも小さく、それぞれの下側閾値よりも大きいアクティビティ測度と関連付けられたタイムスタンプのパーセンテージが閾値を超える、及び(j)別の基準(例えば、品質基準、信号品質条件)。
時間T1におけるアイテムに関連するアクティビティ測度/インデックスは、(1)時間T1におけるアイテムの第1の関数及び時間T1-D1におけるアイテムであって、D1は所定の正の量(例えば、一定の時間オフセット)であり、(2)時間T1におけるアイテムの第2の関数及び時間T1+D1におけるアイテムであり、(3)時間T1におけるアイテムの第3の関数及び時間T2におけるアイテムであって、T2は所定の量(例えば、固定の初期基準時間;T2は経時的に変更(例えば、調整、変更、修正)されてもよく;T2は周期的に更新されてもよく;T2が期間の始まりであってもよく、T1は期間におけるスライド時間であってもよい)及び(4)時間T1におけるアイテムの第4の関数及び別のアイテムのうちの少なくとも1つを備えてもよい。
第1の関数、第2の関数、第3の関数、及び/又は第4の関数のうちの少なくとも1つは、少なくとも2つの引数X及びYを有する関数(例えば、F(X,Y,...))であってもよい。2つの引数はスカラーであってもよい。関数(例えば、F)は、X、Y、(X-Y)、(Y-X)、abs(X-Y)、X^a、Y^b、abs(X^a-Y^b)、(X-Y)^a、(X/Y)、(X+a)/(Y+b)、(X^a/Y^b)、及び((X/Y)^a-b)のうちの少なくとも1つの関数であってよく、a及びbはいくつかの所定の量でありうる。例えば、関数は単にabs(X-Y)又は(X-Y)^2、(X-Y)^4であってもよい。関数は、ロバスト関数であってもよい。例えば、関数は、abs(X-Y)が閾値T未満である場合には(X-Y)^2であり、abs(X-Y)がTより大きい場合には(X-Y)+aであってもよい。代替的に、関数はabs(X-Y)がTよりも大きい場合の定数でありうる。関数はまた、abs(X-y)がTよりも大きい場合のゆっくりと増加する関数によって制限されてよく、したがって、外れ値は結果に深刻な影響を及ぼすことができない。関数の別の例は、(abs(X/Y)-a)であってもよく、ここでa=1である。このようにして、X=Y(即ち、変化がないか、又は活動がない)の場合、関数は0の値を与える。XがYより大きい場合、(X/Y)は1より大きくなり(XとYが正の場合)、関数は正になる。そして、XがYよりも小さい場合、(X/Y)は1よりも小さくなり、関数は負になる。別の例では、関数がX=(X_1-X_2-...-Y_1-...-Y_n)、X_i、(Y_i)、abs_X_i-Y_i、X_i^b、abs_X_i^a-Y_i ^b、(X_i-Y_i)^a、(X_i+a)/(Y_i+b)、(X_i^a/Y_i^b)、及び((X_i/Y_i)^a-b)のうちの少なくとも1つの関数であってよく、ここで、iはnタプルX及びY、並びに1≦i≦n、例えば、X_1の成分インデックスはi=1であり、X_2の成分インデックスはi=2である。関数は、X_i、Y_i、(Y_i-i)、(X_i-Y_i)、X_i、Y_i ^b、abs_X_i^a-Y_i ^b、(X_i-Y_i)^a、(X_i+a)/(Y_i +b)、(X_i^a/Y_i ^b)、及び((X_i/Y_i)^a-b)のうちの少なくとも1つの別の関数の成分ごとの加算を含むことができ、ここで、iはnタプルX及びYの成分インデックスである。関数がsum_{i=1}^n(abs(X_i/Y_i)-1)/n、又はsum_{i=1}^n w_i*(abs(X_i/Y_i)-1)の形式であってよく、ここで、w_iはコンポーネントiに対する何らかの重みである。
マップは、動的時間伸縮(DTW:dynamic time warping)を使用して演算されうる。DTWは、マップ、第1のTSCIのアイテム、第2のTSCIのアイテム、第1の持続時間、第2の持続時間、第1のセクション、及び/又は第2のセクションのうちの少なくとも1つに対する制約を備えうる。マップ内で、i番目の領域アイテムがj番目のレンジアイテムにマップされているとする。制約は、iとjとの許容可能な組み合わせ(iとjとの間の関係に関する制約)であってもよい。第1のTSCIの第1の持続時間の第1のセクションと、第2のTSCIの第2の持続時間の第2のセクションとの間のミスマッチコストが演算されうる。
第1のセクション及び第2のセクションは、2つ以上のリンクを含むマップが第1のTSCIの第1のアイテムと第2のTSCIの第2のアイテムとの間で確立されうるように整列されうる。各リンクで、第1のタイムスタンプを有する第1のアイテムのうちの1つは、第2のタイムスタンプを有する第2のアイテムのうちの1つと関連付けられうる。整列された第1のセクションと整列された第2のセクションとの間のミスマッチコストが演算されうる。ミスマッチコストは、マップの特定のリンクによって関連付けられた第1のアイテムと第2のアイテムとの間のアイテムワイズコストと、マップの特定のリンクと関連付けられたリンクワイズコストとの機能を備えうる。
整列された第1のセクション及び整列された第2のセクションは、それぞれ、同じベクトル長の第1のベクトル及び第2のベクトルとして表されうる。ミスマッチコストは内積、内積様量、相関に基づく量、相関指標、共分散に基づく量、識別スコア、距離、ユークリッド距離、絶対距離、Lk距離(例えば、L1、L2、...)、重み付けされた距離、距離様量、及び/又は第1のベクトルと第2のベクトルとの間の別の類似性値のうちの少なくとも1つを含みうる。ミスマッチコストは、それぞれのベクトル長によって正規化しうる。
第1のTSCIの第1の持続時間の第1のセクションと第2のTSCIの第2の持続時間の第2のセクションとの間のミスマッチコストから導出されるパラメータは、統計的分布を用いてモデル化されうる。統計的分布のスケールパラメータ、ロケーションパラメータ、及び/又は別のパラメータのうちの少なくとも1つが推定されうる。
第1のTSCIの第1の持続時間の第1のセクションは、第1のTSCIのスライディングセクションでありうる。第2のTSCIの第2の持続時間の第2のセクションは、第2のTSCIのスライディングセクションでありうる。
第1のスライディングウィンドウが第1のTSCIに適用されてよく、対応する第2のスライディングウィンドウが第2のTSCIに適用されてよい。第1のTSCIの第1のスライディングウィンドウと、第2のTSCIの対応する第2のスライディングウィンドウとは、位置合わせされうる。
第1のTSCIのアライメントされた第1のスライディングウィンドウと第2のTSCIの対応するアライメントされた第2のスライディングウィンドウとの間のミスマッチコストが演算されうる。現在のイベントは、ミスマッチコストに基づいて、既知のイベント、未知のイベント、及び/又は別のイベントのうちの少なくとも1つと関連付けられうる。
分類器は、少なくとも1つの暫定的な分類結果を取得するために、第1のTSCIの第1の持続時間の各第1のセクション、及び/又は第2のTSCIの第2の持続時間の各第2のセクションのうちの少なくとも1つに適用されうる。各暫定的な分類結果は、それぞれの第1のセクション及びそれぞれの第2のセクションと関連付けられうる。
現在のイベントは、ミスマッチコストに基づいて、既知のイベント、未知のイベント、クラス/カテゴリ/グループ/グループ化/リスト/未知のイベントのセット、及び/又は別のイベントのうちの少なくとも1つと関連付けられうる。現在のイベントは、第1のTSCIの2つ以上のセクションと、第2のTSCIの2つ以上のセクションに対応する暫定的分類結果の最大数に基づいて、既知のイベント、未知のイベント、及び/又は別のイベントのうちの少なくとも1つと関連付けられうる。例えば、現在のイベントはミスマッチコストがN回連続して特定の既知のイベントを指し示す場合(例えば、N=10)、特定の既知のイベントと関連付けられうる。別の例では、現在のイベントが特定の既知のイベントを指す直近の過去N連続N内のミスマッチコストのパーセンテージが特定の閾値(例えば、>80%)を超える場合、特定の既知のイベントと関連付けられうる。
別の例では、現在のイベントがある期間内のほとんどの時間について最小のミスマッチコストを達成する既知のイベントと関連付けられうる。現在のイベントは、少なくとも1つの第1のセクションと関連付けられた少なくとも1つのミスマッチコストの重み付け平均で最小の全体的なミスマッチコストを達成する既知のイベントと関連付けられうる。現在のイベントは、別の全体的なコストのうちの最小を達成する特定の既知のイベントと関連付けられうる。少なくとも1つの第1のセクションの十分なパーセンテージにおいて第1の閾値T1よりも低いミスマッチコストを達成する既知のイベントがない場合、現在のイベントは「未知のイベント」と関連付けられうる。現在のイベントはまた、いずれのイベントも第2の閾値T2よりも低い全体的なミスマッチコストを達成しない場合、「未知のイベント」と関連付けられうる。現在のイベントは、第1のTSCIの少なくとも1つの追加のセクション及び第2のTSCIの少なくとも1つの追加のセクションに関連するミスマッチコスト及び追加のミスマッチコストに基づいて、既知のイベント、未知のイベント、及び/又は別のイベントのうちの少なくとも1つと関連付けられうる。既知のイベントは、ドア閉イベント、ドア開イベント、ウィンドウ閉イベント、ウィンドウ開イベント、多状態イベント、オン状態イベント、オフ状態イベント、中間状態イベント、連続状態イベント、離散状態イベント、人間存在イベント、人間不在イベント、生体存在の兆候イベント、及び/又は生体不在の兆候のイベント、のうちの少なくとも1つを含みうる。
各CIのための射影は、トレーニングTSCIに基づく次元削減方法を使用してトレーニングされうる。次元削減方法は、主成分分析(PCA)、異なるカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判別、ベクトル量子化、教師あり学習、教師なし学習、自己組織化マップ、自動エンコーダ、ニューラルネットワーク、ディープニューラルネットワーク、及び/又は別の方法のうちの少なくとも1つを含みうる。投影は、分類器のための、少なくとも1つのイベントと関連付けられたトレーニングTSCI、及び/又は現在のTSCIのうちの少なくとも1つに適用されうる。
少なくとも1つのイベントの分類器は、少なくとも1つのイベントと関連付けられた投影及びトレーニングTSCIに基づいてトレーニングされうる。少なくとも1つの現在のTSCIは、投影及び現在のTSCIに基づいて分類/分類されうる。投影は、トレーニングTSCI、投影を再トレーニングする前の少なくとも1つの現在のTSCI、及び/又は追加のトレーニングTSCIのうちの少なくとも1つに基づいて、次元削減方法、及び別の次元削減方法のうちの少なくとも1つを使用して再トレーニングされうる。別の次元削減方法は、主成分分析(PCA)、異なるカーネルを有するPCA、独立成分分析(ICA)、フィッシャー線形判別、ベクトル量子化、教師あり学習、教師なし学習、自己組織化マップ、自動エンコーダ、ニューラルネットワーク、ディープニューラルネットワーク、及び/又は更に別の方法のうちの少なくとも1つを含みうる。少なくとも1つのイベントの分類器は、再トレーニングされた投影、少なくとも1つのイベントと関連付けられたトレーニングTSCI、及び/又は少なくとも1つの現在のTSCIのうちの少なくとも1つに基づいて再トレーニングされうる。少なくとも1つの現在のTSCIは、再トレーニングされた投影、再トレーニングされた分類器、及び/又は現在のTSCIに基づいて分類されうる。
各CIは、複素値のベクトルを含みうる。各複素値は、複素値の大きさを与えるために前処理されうる。各CIは、対応する複素数値の大きさを含む非負の実数のベクトルを与えるために前処理されうる。各トレーニングTSCIは、投影のトレーニングにおいて重み付けされうる。投影は、2つ以上の投影成分を含みうる。投影は、少なくとも1つの最上位の投影成分を含みうる。投影は、分類器にとって有益でありうる少なくとも1つの投影成分を含みうる。
チャネル/チャネル情報/ベニュー/時空間情報/動き/物体
チャネル情報(CI)は、以下のものとと関連付けられうる/含みうる:
信号強度、信号振幅、信号位相、スペクトル電力測定、モデムパラメータ(例えば、WiFi、4G/LTE等のデジタル通信システムにおける変調/復調に関連して使用される)、動的ビームフォーミング情報(例えば、IEEE802.11、又は別の規格等の標準化されたプロセスに従って、無線通信デバイスによって生成されるフィードバック又はステアリング行列を含む)、伝達関数成分、無線状態(例えば、デジタルデータを復号するためにデジタル通信システムにおいて使用される)、測定可能変数、センシングデータ、レイヤの粗粒度/細粒度情報(例えば、物理レイヤ、データリンクレイヤ、MACレイヤ等)、デジタル設定、利得設定、RFフィルタ設定、RFフロントエンドスイッチ設定、DCオフセット設定、DC補正設定、IQ補償設定、伝搬中の環境(例えばベニュー)による無線信号に対する効果、入力信号(タイプ1デバイスによって送信された無線信号)の出力信号(タイプ2デバイスによって受信される無線信号)への変換、環境の安定した挙動、状態プロファイル、無線チャネル測定値、受信信号強度インジケータ(RSSI)、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、帯域幅における周波数成分(例えば、サブキャリア)の特性、チャネルフィルタ応答、タイムスタンプ、補助情報、データ、メタデータ、ユーザデータ、アカウントデータ、アクセスデータ、セキュリティデータ、セッションデータ、ステータスデータ、監督データ、家庭データ、アイデンティティ(ID)、デバイスデータ、ネットワークデータ、近隣データ、環境データ、リアルタイムデータ、センサデータ、保存データ、暗号化データ、圧縮データ、保護データ、及び/又は、その他のチャネル情報。
各CIは、タイムスタンプ、及び/又は到着時間と関連付けられうる。CSIはマルチパスチャネルを介して送信機によって送信される信号と同様の信号を復調するために、(送信チャネルの)マルチパスチャネル効果を等化/取り消し/最小化/低減するために使用されうる。CIは、チャネルを通る信号の周波数帯域、周波数シグネチャ、周波数位相、周波数振幅、周波数トレンド、周波数特性、周波数類似特性、時間領域要素、周波数領域要素、時間周波数領域要素、直交分解特性、及び/又は非直交分解特性に関連する情報と関連付けられうる。TSCIは無線信号のストリーム(例えば、CI)でありうる。
CIは、前処理され、処理され、後処理され、記憶され(例えば、ローカルメモリ、ポータブル/モバイルメモリ、リムーバブルメモリ、ストレージネットワーク、クラウドメモリ内に、揮発性方法で、不揮発性方法で)、検索され、送信され、及び/又は受信されうる。1つ以上のモデムパラメータ及び/又は無線状態パラメータは、一定に保持されうる。モデムパラメータは、無線サブシステムに適用されうる。モデムパラメータは、無線状態を表しうる。動き検出信号(例えば、ベースバンド信号、及び/又はベースバンド信号から復号/復調されたパケット等)は記憶されたモデムパラメータによって表される無線状態を使用して、無線サブシステムによって第1の無線信号(例えば、RF/WiFi/LTE/5G信号)を処理(例えば、ダウンコンバート)することによって取得されうる。モデムパラメータ/無線状態は、(例えば、以前のモデムパラメータ又は以前の無線状態を使用して)更新されうる。以前のモデムパラメータ/無線状態及び更新されたモデムパラメータ/無線状態の両方が、デジタル通信システム内の無線サブシステムに適用されうる。以前のモデムパラメータ/無線状態及び更新されたモデムパラメータ/無線状態の両方が、タスクにおいて比較/分析/処理/モニタリングされうる。
チャネル情報はまた、無線信号を処理するために使用されるモデムパラメータ(例えば、記憶された、又は新たに演算された)でありうる。無線信号は、複数のプローブ信号を含みうる。同じモデムパラメータを使用して、2つ以上のプローブ信号を処理しうる。同じモデムパラメータを使用して、2つ以上の無線信号を処理することもできる。モデムパラメータは、無線センサデバイスの無線サブシステム又はベースバンドサブシステム(又は両方)の動作のための設定又は全体的構成を示すパラメータを含みうる。モデムパラメータは無線サブシステムのためのゲイン設定、RFフィルタ設定、RFフロントエンドスイッチ設定、DCオフセット設定、又はIQ補償設定、又はデジタルDC補正設定、デジタルゲイン設定、及び/又はデジタルフィルタリング設定(例えば、ベースバンドサブシステムのための)のうちの1つ以上を含みうる。CIはまた、信号の期間、時間シグネチャ、タイムスタンプ、時間振幅、時間位相、時間傾向、及び/又は時間特性に関連する情報と関連付けられうる。CIは、信号の時間周波数区分、シグネチャ、振幅、位相、傾向、及び/又は特性に関連する情報と関連付けられうる。CIは、信号の分解と関連付けられうる。CIは、チャネルを通る信号の方向、到来角(AoA)、指向性アンテナの角度、及び/又は位相に関連する情報と関連付けられうる。CIは、チャネルを通る信号の減衰パターンと関連付けられうる。各CIは、タイプ1デバイス及びタイプ2デバイスと関連付けられうる。各CIは、タイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナと関連付けられうる。
CIは、CIを提供しうる通信ハードウェア(例えば、タイプ2デバイス、又はタイプ1デバイス)から取得されうる。通信ハードウェアはWiFi対応チップ/IC(集積回路)、802.11又は802.16又は別の無線/無線規格に準拠するチップ、次世代WiFi対応チップ、LTE対応チップ、5G対応チップ、6G/7G/8G対応チップ、Bluetooth対応チップ、NFC(近距離通信)対応チップ、BLE(Bluetooth低電力)対応チップ、UWBチップ、別の通信チップ(例えば、Zigbee、WiMax、メッシュネットワーク)等でありうる。通信ハードウェアは、CIを演算し、CIをバッファメモリに格納し、CIを抽出のために利用可能にする。CIは、チャネル状態情報(CSI)に関係するデータ及び/又は少なくとも1つの行列を備えうる。少なくとも1つの行列は、チャネル等化、及び/又はビームフォーミング等のために使用されうる。チャネルは、ベニューと関連付けられうる。減衰は、ベニューでの信号伝搬、空気(例えば、ベニューの空気)を通る/空気の周囲での信号伝搬/反射/屈折/回折、壁、ドア、家具、障害物及び/又は障壁等の屈折媒体/反射面に起因しうる。減衰は床、天井、家具、備品、物体、人、ペット等の表面及び障害物(例えば、反射表面、障害物)における反射に起因しうる。各CIは、タイムスタンプと関連付けられうる。各CIはN1個の成分(例えば、CFR中のN1個の周波数領域成分、CIR中のN1個の時間領域成分、又はN1個の分解成分)を含みうる。各成分は、成分インデックスと関連付けられうる。各成分は、実数、虚数、又は複素数、大きさ、位相、フラグ、及び/又はセットでありうる。各CIは、複素数のベクトル又は行列、混合量(mixed quantities)のセット、及び/又は少なくとも1つの複素数の多次元集合を備えうる。
特定の成分インデックスと関連付けられたTSCIの成分は、それぞれのインデックスと関連付けられたそれぞれの成分時系列を形成しうる。TSCIは、N1個の成分時系列に分割されうる。各成分時系列は、それぞれの成分インデックスと関連付けられる。物体の動きの特性/STIは、成分時系列に基づいてモニタリングされてもよい。一例では、CI成分の1つ以上の範囲(例えば、成分11から成分23までの1つの範囲、成分44から成分50までの第2の範囲、及び1つの成分のみを有する第3の範囲)は更なる処理のために、いくつかの基準/コスト関数/信号品質メトリックに基づいて(例えば、信号対雑音比、及び/又は干渉レベルに基づいて)選択されうる。
TSCIの成分特徴時系列の成分ごとの特性が演算されうる。成分ごとの特性はスカラ(例えば、エネルギー)又は領域及び範囲を有する関数(例えば、自己相関関数、変換、逆変換)であってもよい。物体の動きの特性/STIは、成分ごとの特性に基づいてモニタリングしうる。TSCIの全特性(例えば、総合特性)は、TSCIの各成分時系列の成分ごとの特性に基づいて演算されうる。全体の特性は、成分ごとの特性の重み付け平均であってもよい。物体の動きの特性/STIは、全特性に基づいてモニタリングされてもよい。総量は、個々の量の重み付け平均であってもよい。
タイプ1デバイス及びタイプ2デバイスは、WiFi、WiMax、3Gを超える、4G/4G、LTE、LTE-A、5G、6G、7G、Bluetooth、NFC、BLE、Zigbee、UWB、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA、メッシュネットワーク、独自の無線システム、IEEE802.11規格、802.15規格、802.16規格、3GPP規格、及び/又は別の無線システムをサポートしうる。
共通無線システム及び/又は共通無線チャネルは、タイプ1トランシーバ及び/又は少なくとも1つのタイプ2トランシーバによって共有されうる。少なくとも1つのタイプ2トランシーバは共通無線システム及び/又は共通無線チャネルを使用して、それぞれの信号を同時に(又は、非同期的に、同期的に、散発的に、連続的に、反復的に、同時に、同時期に、及び/又は一時的に)送信しうる。タイプ1トランシーバは、共通無線システム及び/又は共通無線チャネルを使用して、少なくとも1つのタイプ2トランシーバに信号を送信しうる。
各タイプ1デバイス及びタイプ2デバイスは、少なくとも1つの送信/受信アンテナを有しうる。各CIは、タイプ1デバイスの送信アンテナのうちの1つと、タイプ2デバイスの受信アンテナのうちの1つと関連付けられうる。送信アンテナ及び受信アンテナの各ペアは、リンク、経路、通信経路、信号ハードウェア経路等と関連付けられうる。例えば、タイプ1デバイスがM(例えば、3)個の送信アンテナを有し、タイプ2デバイスがN(例えば、2)個の受信アンテナを有する場合、MxN(例えば、3x2=6)個のリンク又は経路が存在しうる。各リンク又はパスは、TSCIと関連付けられうる。
少なくとも1つのTSCIは、タイプ1デバイスとタイプ2デバイスとの間の様々なアンテナペアに対応しうる。タイプ1デバイスは、少なくとも1つのアンテナを有しうる。タイプ2デバイスはまた、少なくとも1つのアンテナを有しうる。各TSCIは、タイプ1デバイスのアンテナ及びタイプ2デバイスのアンテナと関連付けられうる。アンテナリンクにわたる平均化又は重み付け平均化が実行されうる。平均化又は重み付け平均化は、少なくとも1つのTSCIにわたって行われうる。平均化は、オプションで、アンテナ対のサブセットに対応する少なくとも1つのTSCIのサブセットに対して実行されうる。
TSCIの一部のCIのタイムスタンプは、不規則であってよく、時間補正されたCIの補正されたタイムスタンプが時間的に均一に離間されうるように補正されうる。複数のタイプ1デバイス及び/又は複数のタイプ2デバイスの場合、訂正されたタイムスタンプは、同じ又は異なるクロックに関するものでありうる。CIの各々と関連付けられたオリジナルのタイムスタンプが決定されうる。オリジナルのタイムスタンプは、時間的に一様に離間されないことがある。現在のスライディング時間ウィンドウ内の特定のTSCIの特定の部分の全てのCIのオリジナルのタイムスタンプは、時間補正されたCIの補正されたタイムスタンプが時間的に均一に離間されうるように補正されうる。
特性及び/又はSTI(例えば、動き情報)は、以下を含む:
位置、位置、変更位置、新しい位置、新しい位置、位置、垂直位置、距離、距離、移動、加速度、加速度、回転速度、加速度、運動の方向、方位角、回転、運動の方向、回転、経路、変形、縮小、拡大、歩行、拡大、歩行、周期運動、頭部運動、反復運動、周期運動、擬似周期運動、衝撃運動、突然運動、転倒運動、転倒運動、過渡的動作、過渡的挙動、運動の周期、運動の周波数、時間的プロファイル、時間的特性、時間的特性、発生、変化、時間的変化、CIの変化、周波数の変化、タイミングの変化、歩行周期の変化、タイミングの変化、歩行周期の変化、タイミング、開始時間、開始時間、終了時間、持続時間、運動の履歴、運動タイプ、運動分類、周波数、周波数スペクトル、物体の構成、物体の構成、接近、接近、識別、接近、接近、頭部運動速度、頭部運動、呼吸数、呼吸数、呼吸時間、呼吸深さ、呼気時間、吸入時間、呼気時間、呼気時間、換気時間、換気間隔、心拍数変動、手の運動方向、手の運動、脚の運動、歩行速度、手の運動速度、手の運動速度、位置の特徴、物体の運動に関連する特徴(例えば、位置/位置の変化)、ツールの運動、機械の運動、複雑な運動、及び/又は複数の運動の組み合わせ、イベント、信号の統計、信号の動態、異常、動き統計、運動パラメータ、運動の指示、運動の大きさ、運動位相、類似性スコア、距離スコア、ユークリッド距離、重み付け距離、L_1ノルム、L_2ノルム、k>2についてのL_kノルム、統計的距離、相関、相関インジケータ、自己相関、自己共分散、相互共分散、内積、外積、動き信号変換、動き特徴、動きの存在、動きの不存在、動き位置特定、動き識別、動き認識、物体の存在、物体の不存在、物体の出入り、物体の変化、動きサイクル、動きカウント、歩行サイクル、動き周期、運動リズム、運動、動きリズム、変形動作、ジェスチャ、下書き、頭部の動き、口の動き、心臓動作、内臓動作、動作傾向、大きさ、容積、容積、形状、形状、タグ、開始/開始位置、終了位置、開始/開始量、終了量、イベント、転倒イベント、セキュリティイベント、事故イベント、ホームイベント、事務所イベント、工場イベント、倉庫イベント、製造イベント、ラインアセンブリイベント、保守イベント、カー関連イベント、ナビゲーションイベント、イベント追跡イベント、ドアイベント、ドア開イベント、ドア閉イベント、ウィンドウイベント、ウィンドウ開イベント、ウィンドウ閉イベント、反復可能イベント、ワンタイムイベント、消費量、未消費量、状態、物理状態、健康状態、福祉状態、感情状態、精神状態、別のイベント、分析、出力応答、及び/又は別の情報。特性及び/又はSTIは、CI又はTSCIから演算された特徴(例えば、特徴演算/抽出)に基づいて演算/モニタリングされうる。静的セグメント又はプロファイル(及び/又は動的セグメント/プロファイル)は、特徴の分析に基づいて、識別/演算/分析/モニタリング/抽出/取得/取得/マーク/提示/強調表示/格納/通信されてもよい。分析は、動き検出/動き評価/存在検出を含みうる。演算ワークロードは、タイプ1デバイス、タイプ2デバイス、及び別のプロセッサの間で共有されうる。
タイプ1デバイス及び/又はタイプ2デバイスは、ローカルデバイスでありうる。ローカルデバイスは、スマートフォン、スマートデバイス、TV、セットトップボックス、アクセスポイント、ルータ、無線リピータ、リピータ、ルータ、リピータ、無線信号リピータ/エクステンダ、スピーカ、ファン、冷蔵庫、ファン、マイクロ波、オーブン、コーヒーマシン、温水ポット、テーブル、椅子、照明、ランプ、ドアロック、カメラ、動きセンサ、動きセンサ、防火栓、ガレージドア、スイッチ、電源アダプタ、コンピュータ、ドングル、コンピュータ、ドングル、電子パッド、ソファ、タイル、アクセサリ、ホームデバイス、車両デバイス、オフィスデバイス、ビルディングデバイス、製造デバイス、時計、時計、テレビ、オーブン、空調、アクセサリ、ユーティリティ、アプライアンス、スマートマシン、スマート車両、インターネット対応デバイス、コンピュータ、ポータブルコンピュータ、タブレット、スマートハウス、スマートオフィス、スマート駐車場、スマートシステム、及び/又は他のデバイスでありうる。
各タイプ1デバイスは、それぞれの識別子(例えば、ID)と関連付けられうる。各タイプ2デバイスはまた、それぞれのアイデンティティ(ID)と関連付けられうる。IDは、符号、テキストと符号の組み合わせ、名前、パスワード、口座、口座ID、ウェブリンク、ウェブアドレス、何らかの情報へのインデックス、及び/又は別のIDを含みうる。IDは割り当てられうる。IDは、ハードウェア(例えば、ハードワイヤード、ドングル及び/又は他のハードウェアを介して)、ソフトウェア及び/又はファームウェアによって割り当てられうる。IDは、(例えば、データベースに、メモリに、サーバ(例えば、ハブデバイス)に、クラウドに、ローカルに記憶され、リモートに記憶され、永続的に記憶され、一時的に記憶され)、検索されうる。IDは、少なくとも1つのレコード、口座、ユーザ、世帯、住所、電話番号、社会保障番号、顧客番号、別のID、別の識別子、タイムスタンプ、及び/又はデータの収集と関連付けられうる。タイプ1デバイスのID及び/又はIDの一部は、タイプ2デバイスに利用可能にされうる。IDは、タイプ1デバイス及び/又はタイプ2デバイスによる、登録、初期化、通信、識別情報、検証、検出、認識、認証、アクセス制御、クラウドアクセス、ネットワーキング、ソーシャルネットワーキング、ロギング、記録、カタログ化、分類、タグ付け、関連付け、ペアリング、トランザクション、電子トランザクション、及び/又は知的財産管理のために使用されうる。
物体は、人、ユーザ、物体、乗客、子供、高齢者、赤ちゃん、眠っている赤ちゃん、車内の赤ちゃん、患者、労働者、高付加価値労働者、専門家、専門家、ウェイター、ショッピングモールの顧客、空港/駅/バスターミナル/出荷ターミナルの旅行者、工場/モール/スーパー/オフィス/職場のスタッフ/労働者/顧客サービス員、下水/換気システム/リフトウェル内のサービス員、リフトウェル内のリフト、エレベーター、であってもよい。受刑者、追跡・モニタリング対象者、動物、植物、生物、ペット、犬、猫、スマートフォン、電話アクセサリー、コンピュータ、タブレット、携帯コンピュータ、ドングル、コンピュータアクセサリー、ネットワークデバイス、WiFiデバイス、IoTデバイス、スマートウォッチ、スマートグラス、スマートデバイス、スピーカ、キー、スマートキー、財布、ハンドバッグ、バックパック、商品、貨物、荷物、機器、モータ、機械、エアコン、ファン、空調機器、照明器具。可動式照明器具、テレビ、カメラ、音響・映像機器、据え置き型、モニタリング装置、部品、看板、工具、カート、チケット、駐車券、有料道路通行券、航空券、クレジットカード、プラスチックカード、アクセスカード、食品包装、調理器具、テーブル、椅子、清掃器具・道具、車両、自動車、駐車場内車両、倉庫・店舗・スーパー・配送センター内商品、ボート、自転車、航空機、ドローン、リモコン車・飛行機・ボート、リモコン飛行機・ボート、リモコン車・飛行機・ボート、リモコン飛行機・飛行機・ボート、リモコン飛行機・飛行機、ドローン、ドローン、ドローン、ドローン、リモコン飛行機・飛行機・ボート、リモコン車・飛行機・ボート、遠隔操作車/飛行機/ボート、ロボット、製造装置、組立ライン、工場内の材料/未完成部品/ロボット/ワゴン/運搬物、空港/ショッピングマート/スーパー内の追跡物体、非物体、物体の不在、物体の存在、形を有する物体、形を変える物体、形のない物体、液体の質量、ガスの質量/煙、火災、炎、電磁(EM)ソース、電磁媒体、及び/又は別の物体、でありうる。
物体自体が、WiFi、MiFi、3G/4G/LTE/5G/6G/7G、Bluetooth、NFC、BLE、WiMax、Zigbee、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA、メッシュネットワーク、アドホックネットワーク、及び/又は他のネットワーク等の、いくつかのネットワークに通信接続されうる。物体自体はAC電源によってかさばる可能性があるが、設置、清掃、保守、改修等の間に移動される。それはまた、リフト、パッド、可動、プラットフォーム、エレベータ、コンベヤベルト、ロボット、ドローン、フォークリフト、かご、ボート、車両等の可動プラットフォームに設置されてもよい。物体は、複数の部分を有することができ、各部分は異なる動き(例えば、位置/位置の変化)を有する。例えば、物体は、前方に歩いている人であってもよい。歩行中、彼の左手及び右手は、異なる瞬間速度、加速度、動き等を伴って、異なる方向に移動しうる。
無線送信機(例えば、タイプ1デバイス)、無線受信機(例えば、タイプ2デバイス)、別の無線送信機及び/又は別の無線受信機は、(例えば、以前の移動、現在の移動、及び/又は将来の移動において)物体及び/又は別の物体とともに移動しうる。それらは1つ以上の近くのデバイスに通信可能に結合されうる。それらはTSCI及び/又はTSCIに関連する情報を近くのデバイスに、及び/又は互いに送信しうる。それらは近くのデバイスとともにありうる。無線送信機及び/又は無線受信機が小さい(例えば、コインサイズ、タバコボックスサイズ、又は更により小さい)、軽量のポータブルデバイスの一部でありうる。ポータブルデバイスは、近くのデバイスと無線に結合されうる。
近くのデバイスは、スマートフォン、iPhone(登録商標)、Androidフォン、スマートデバイス、スマート家電、スマート車両、スマートガジェット、スマートTV、スマート冷蔵庫、スマートスピーカ、スマートウォッチ、スマートグラス、スマートパッド、iPad(登録商標)、コンピュータ、ウェアラブルコンピュータ、ノートブックコンピュータ、ゲートウェイでありうる。近くのデバイスはインターネット、有線インターネット接続、及び/又は無線インターネット接続を介して、クラウドサーバ、ローカルサーバ(例えば、ハブデバイス)、及び/又は他のサーバに接続されうる。近くのデバイスは、携帯型であってもよい。ポータブルデバイス、近くのデバイス、ローカルサーバ(ハブデバイス等)、及び/又はクラウドサーバは、タスクのための演算及び/又は記憶を共有することができ(例えば、TSCIを取得し、物体の動き(例えば、位置/位置の変化)に関連する物体の特性/STIを決定し、電力(例えば、信号強度)情報の時系列の演算、特定の機能の決定/演算、局所的な極値の探索、分類、時間オフセットの特定の値の識別、雑音除去、処理、単純化、クリーニング、無線スマートセンシングタスク、信号からのCI抽出、切替、セグメント化、推定軌跡/経路/軌跡、マップの処理、環境モデル/制約/制限に基づく軌跡/経路/軌跡の処理、修正、修正、調整、マップベース(又は、モデルベース)の修正、誤り検知、境界ヒット、閾値処理)及び情報。近くのデバイスは、物体と共に動くことができる/動かないことができる。近くのデバイスは、ポータブル/非ポータブル/ムーバブル/ムーバブルではない場合がある。近くのデバイスは、バッテリ電力、太陽光電力、AC電力、及び/又は他の電源を使用しうる。近くのデバイスは、交換可能/非交換可能バッテリ、及び/又は再充電可能/非再充電可能バッテリを有しうる。近くのデバイスは、物体と同様であってもよい。近くのデバイスは、物体と同一の(及び/又は同様の)ハードウェア及び/又はソフトウェアを有しうる。近くのデバイスは、スマートデバイス、ネットワーク対応デバイス、WiFi/3G/4G/5G/6G/Zigbee/Bluetooth/NFC/UMTS/3GPP/GSM/EDGE/TDMA/FDMA/CDMA/WCDMA/TD-SCDMA/アドホックネットワーク/他のネットワークに対する接続を有するデバイス、スマートスピーカ、スマートウォッチ、スマートクロック、スマートアプライアンス、スマートマシン、スマート機器、スマートツール、スマート車両、インターネット対応デバイス、インターネット対応デバイス、コンピュータ、ポータブルコンピュータ、タブレット、及び別のデバイスでありうる。近くのデバイス及び/又は無線受信機、無線送信機、別の無線受信機、別の無線送信機、及び/又は(クラウド内の)クラウドサーバと関連付けられた少なくとも1つのプロセッサは、物体の初期STIを決定しうる。それらのうちの2つ以上は、初期空間-時間情報を一緒に決定しうる。それらのうちの2つ以上は初期STI(例えば、初期位置)の判定において中間情報を共有しうる。
一例では無線送信機(例えば、タイプ1デバイス、又はトラッカーBot)は、物体とともに移動しうる。無線送信機は、信号を無線受信機(例えば、タイプ2デバイス、又はOriginレジスタ)に送るか、又は物体の初期STI(例えば、初期位置)を決定しうる。無線送信機はまた、物体の動き(空間-時間情報)をモニタリングするために、信号及び/又は別の信号を別の無線受信機(例えば、別のタイプ2デバイス、又は別のOrigin登録)に送りうる。無線受信機はまた、物体の動きをモニタリングするために、無線送信機及び/又は別の無線送信機から信号及び/又は別の信号を受信しうる。無線受信機及び/又は別の無線受信機の位置は、知られている場合がある。別の例では無線受信機(例えば、タイプ2デバイス、又はトラッカーBot)は、物体とともに移動しうる。無線受信機は物体の初期空間-時間情報(例えば、初期位置)を決定するために、無線送信機(例えば、タイプ1デバイス、又はOriginレジスタ)から送信された信号を受信しうる。無線受信機はまた、物体の現在の動き(例えば、空間-時間情報)をモニタリングするために、別の無線送信機(例えば、別のタイプ1デバイス、又は別のOrigin登録)から信号及び/又は別の信号を受信しうる。無線送信機はまた、物体の動きをモニタリングするために、信号及び/又は別の信号を無線受信機及び/又は別の無線受信機(例えば、別のタイプ2デバイス、又は別のトラッカーBot)に送信しうる。無線送信機及び/又は別の無線送信機の位置は、知られている場合がある。
ベニューは、センシングエリア、センシングエリア、部屋、家、オフィス、物件、職場、廊下、通路、リフト、リフトウェル、エスカレーター、エレベーター、下水道、換気システム、階段、集ベニュー、ダクト、エアダクト、パイプ、チューブ、密閉空間、閉鎖構造、半密閉構造、閉鎖領域、少なくとも一つの壁を持つ領域、プラント、機械、エンジン、木を使った構造、ガラスの構造、金属の構造、壁のある構造、ドアのある構造、隙間のある構造、反射面のある構造、流体のある構造、建物、屋上、店舗、工場、組立ライン、ホテルの部屋、博物館、教室、学校、大学、政府の建物、倉庫、ガレージ、モール、空港、駅、バスターミナル、ハブ、輸送拠点、輸送ターミナル、政府施設、公共施設、学校、大学、娯楽施設。娯楽施設、病院、小児・新生児病棟、老人ホーム、老人介護施設、公民館、競技場、公園、グラウンド、スポーツ施設、水泳施設、陸上競技場、バスケットボールコート、テニスコート、サッカースタジアム、野球場、体育館、ホール、ガレージ、ショッピングモール、モール、スーパー、製造施設、駐車施設、建設現場、鉱山施設、等。交通施設、高速道路、道路、谷、森林、木材、地形、景観、書斎、中庭、土地、道、遊園地、都市部、農村部、郊外、大都市圏、庭園、広場、音楽ホール、都心施設、上空施設、半開放施設、閉鎖空間、駅、物流センター、倉庫、店舗、物流センター、貯蔵施設、地下施設、空間(例えば、地上の外部空間)、屋内施設、屋外施設、壁・ドア・反射板を有する屋外施設、開放施設、半開放施設、自動車、トラック、バス、バン、コンテナ、船・ボート、潜水艇、列車、路面電車、飛行機、車両、移動式住居、洞窟、トンネル、パイプ、水路、都市圏、等。比較的高い建物のある繁華街、谷、井戸、ダクト、通路、ガス管、石油管、水道管、相互に接続する通路/通路/道路/管/洞窟/パイプ状構造/空気空間/流体空間、人体、動物体、体腔、器官、骨、歯、軟組織、硬組織、剛組織、非剛組織、血液/体液容器、風管、エアダクト等の、空間でありうる。ベニューは、屋内空間、屋外空間であってもよく、ベニューは空間の内側及び外側の両方を含んでもよい。例えば、ベニューは、建物の内側と建物の外側の両方を含みうる。例えば、ベニューは、1つの床又は複数の床を有する建物であってもよく、建物の一部は地下であってもよい。建物の形状は、例えば、円形、正方形、長方形、三角形、又は不規則形状でありうる。これらは単なる例である。本開示は、他のタイプのベニュー又は空間におけるイベントを検出するために使用しうる。
無線送信機(例えば、タイプ1デバイス)及び/又は無線受信機(例えば、タイプ2デバイス)は物体とともに(例えば、以前の移動及び/又は現在の移動において)移動しうるポータブルデバイス(例えば、モジュール、又はモジュールを伴うデバイス)に埋め込まれうる。ポータブルデバイスは、有線接続(例えば、USB、microUSB、Firewire、HDMI(登録商標)、シリアルポート、パラレルポート、及び他のコネクタを介して)、及び/又は接続(例えば、Bluetooth、Bluetooth Low Energy(BLE)。ポータブルデバイスは、軽量デバイスであってもよい。ポータブルは、蓄電池、充電式蓄電池、及び/又はAC電源供給されてもよい。ポータブルデバイスは非常に小さく(例えば、サブミリメートルスケール及び/又はサブセンチメートルスケールで)、及び/又は小さく(例えば、コインサイズ、カードサイズ、ポケットサイズ、又はより大きく)てもよい。ポータブルデバイスは大型、大型、及び/又は大型(例えば、設置される重機)でありうる。ポータブルデバイスは、WiFiホットスポット、モバイルWiFi(MiFi)、アクセスポイント/マイクロUSB/スマートフォン、タブレット、コンピュータ、スマートデバイス、WiFi対応デバイス、LTE対応デバイス、スマートミラー、スマートミラー、スマートバッテリ、スマートライト、スマートペン、スマートリング、スマートドア、スマートクロック、スマートバッテリ、スマートベルト、スマートハンドバッグ、スマート衣服、スマートパッケージング、スマートペーパー/ブック/マガジン/印刷物/標識/表示/照明システム、スマートキー/ツール、スマートブレスレット/チェーン/ネックレス/ウェアラブル/アクセサリ、スマートパッド/クッション/ブロック、レンガ/建材、スマートゴミ箱、スマートフードキャリッジ/ストレージ、スマートボール/ラケット、スマートチェア/ソファ/ベッド、スマートシュー/カーペット/マット/ハンドハット/ハンドウェア、スマートハット/メイクアップ/ステッカー/タトゥー、スマートミラー、スマートピル、スマートピル、スマートボトル/食品容器、スマートデバイス、IoTデバイス、WiFi対応デバイス、3G/4G/6G対応デバイス、UMTSデバイス、3GPPデバイス、EDGEデバイス、TDMAデバイス、CDMAデバイス、WCDMAデバイス、埋め込み可能デバイス、空調、冷蔵庫、炉、オーブン、調理デバイス、テレビ/セットトップボックス(STB)/DVDプレーヤ/ビデオプレーヤ/リモートコントロール、ハイファイ、オーディオデバイス、スピーカ、照明、ドア、瓦・屋根・屋根・構造物・機器・据付・芝刈機・庭用具、機械器具/ガレージ缶/40ft/コンテナ、20ft/ガレージ容器、工場/製造装置、修理用具、工場/生産用具、機械、機械、機械、車両、カート、ワゴン、倉庫、車両、自動車、自転車、船、船、バスケット/ボックス/バケット/バケット/コンテナ、スマートプレート/カップ/ボウル/ポット/マット/マット/調理器具/キッチンツール/キッチン用品/キャビネット/テーブル/チェア/タイル/照明/水道管/蛇口/ガスレンジ/オーブン/食器洗い機/等、であってもよい。ポータブルデバイスは、交換可能、交換不可能、再充電可能、及び/又は再充電不可能でありうる蓄電池を有しうる。ポータブルデバイスは、無線充電されうる。ポータブルデバイスは、スマートペイメントカードであってもよい。ポータブルデバイスは、駐車場、高速道路、エンターテインメントパーク、又は支払いを必要とする他の場所/施設で使用される支払いカードであってもよい。ポータブルデバイスは、上述のように、アイデンティティ(ID)/識別子を有しうる。
イベントは、TSCIに基づいてモニタリングされうる。イベントは、物体(例えば、人及び/又は病人)の転倒、回転、一時停止、衝撃(例えば、サンドバッグ、ドア、ベッド、ベッド、椅子、テーブル、机、キャビネット、ボックス、他の人、動物、鳥、テーブル、フライ、テーブル、椅子、ボール、ボウリングボール、テニスボール、サッカーボール、野球、バスケットボール、バスケットボール、ボレーボール)、2人の体の動作(例えば、人が風船を放す、人が魚を捕らえる、人が粘土を成型する、人が紙に書く、人がコンピュータ上でタイピングする)、車が車庫内を移動する、人がスマートフォンを携帯して、空港/モール/政府/ビル/オフィス/等の周辺を歩く、自律移動可能な物体/機械が周辺を動く(例:掃除機、実用車、自動車、ドローン、自動運転車)ことでありうる。
タスク又は無線スマートセンシングタスクは、以下のものを含みうる:物体検出、存在検出、近接検出、物体認識、アクティビティ認識、物体検証、日常的活動モニタリング、日常的活動モニタリング、日常的活動モニタリング、日常的活動モニタリング、ウェルビーイング・モニタリング、バイタルサイン・モニタリング、健康状態モニタリング、ベビーモニタリング、高齢者モニタリング、睡眠モニタリング、睡眠状態モニタリング、歩行モニタリング、運動モニタリング、ツール検出、ツール認識、ツール検証、患者検出、患者モニタリング、患者検証、機械検出、機械認識、機械検証、人間検出、人間認識、ベビー検出、ベビー認識、ベビー検証、人間呼吸検出、人間呼吸認識、人間呼吸推定、人間呼吸検証、人間心拍検出、人間心拍認識、人間心拍推定、転倒検出、転倒認識、転倒検証、転倒検証、感情検出、感情認識、感情推定、感情検証、動き認識、動き推定、動き検証、動き度合い推定、周期的動作検出、周期的動作認識、周期的動作推定、周期的動作検証、反復動作検出、反復動作認識、反復動作推定、反復動作検証、定常動作検出、定常動作認識、定常動作推定、定常動作検証、サイクロ定常動作検出、サイクロ定常動作認識、サイクロ定常動作推定、サイクロ定常動作検証、過渡的動作検出、過渡的動作認識、過渡的動作推定、過渡的動作検証、トレンド検出、トレンド検証、呼吸検出、呼吸認識、呼吸推定、人間生体認証検出、人間生体認証認識、人間生体認証推定、人間生体認証検証、環境情報学的検出、環境情報学的認識、環境情報学的推定、環境情報学的検証、歩行検出、歩行認識、歩行推定、歩行検証、ジェスチャ検出、ジェスチャ認識、ジェスチャ推定、ジェスチャ検証、機械学習、教師なし学習、半教師あり学習、クラスタリング、特徴抽出、特徴トレーニング、主成分分析、固有値分解、周波数分解、時間分解、時間-周波数分解、機能分解、他の分解、トレーニング、分別トレーニング、半教師ありトレーニング、教師なしトレーニング、半教師ありトレーニング、神経ネットワーク、突然の動作の検出、転倒検出、危険検出、生命脅威検出、定常動作検出、定常動作検出、サイクロ定常動作検出、侵入検出、侵入動作検出、不審動作検出、セキュリティ、安全モニタリング、ナビゲーション、誘導、マップベースの処理、マップベースの補正、モデルベースの処理/補正、不規則性検出、位置検出、室内センシング、追跡、複数の物体追跡、室内追跡、室内位置追跡、室内ナビゲーション、エネルギー管理、電力伝達、無線電力伝達、物体のカウント、駐車場での車両追跡、装置/システム(例えば、セキュリティシステム、アクセスシステム、アラーム、サイレン、スピーカ、テレビ、エンターテインメントシステム、カメラ、ヒータ/空調(HVAC)システム、換気システム、照明システム、ゲームシステム、コーヒーマシン、調理装置、清掃装置、ハウスキーピング装置)のアクティブ化、形状推定、拡張現実、無線通信、データ通信、信号ブロードキャスト、ネットワーキング、調整、管理、暗号化、保護、クラウドコンピューティング、他の処理及び/又は他のタスク。
タスクは、タイプ1デバイス、タイプ2デバイス、別のタイプ1デバイス、別のタイプ2デバイス、近くのデバイス、ローカルサーバ(例えば、ハブデバイス)、エッジサーバ、クラウドサーバ、及び/又は別のデバイスによって実行されうる。タスクは、タイプ1デバイスとタイプ2デバイスとの任意のペア間のTSCIに基づきうる。タイプ2デバイスは、タイプ1デバイスであってもよく、逆もまた同様である。タイプ2デバイスは一時的に、連続的に、散発的に、同時に、及び/又は同時に、タイプ1デバイスの役割(例えば、機能性)を果たす/実行することができ、逆もまた同様である。タスクの第1の部分は、以下をうちの少なくとも1つを含みうる:前処理、信号処理、信号処理、条件付け、信号処理、信号処理、調整、信号処理、マッピング/連続的/マッピング/連続的/適応的/マッピング/要求、調整、特徴抽出、符号化、符号化、変更、符号化、変更、動き検出、動き検出、動き変化検出、動き検出パターン、動き検出パターン、動き認識パターン、バイタルサイン検出、バイタルサイン推定、バイタルサイン認識、周期的動き検出、周期的動き推定、反復動き検出/呼吸数検出、呼吸数検出、呼吸パターン検出、呼吸パターン推定、呼吸パターン認識、心拍検出、心拍推定、心拍パターン検出、心拍パターン推定、心拍パターン認識、ジェスチャ検出、ジェスチャ推定、ジェスチャ認識、速度検出、速度推定、物体位置推定、物体追跡、ナビゲーション、加速度推定、加速度検出、転倒検出、変化検出、侵入者(及び/又は不法行為)検出、ベビー検出、ベビーモニタリング、患者モニタリング、物体認識、無線電力伝送、及び/又は無線充電。
タスクの第2の部分は、スマートホームタスク、スマートオフィスタスク、スマートオフィスタスク、スマートファクトリタスク(例えば、機械又は組立ラインを使用する製造)、スマートインターネット(IoT)タスク、スマートホームオペレーション、スマートオフィスオペレーション、スマートオフィスオペレーション、スマートビルオペレーション(例えば、機械/組立ラインに供給品/部品/原材料を移動させること)、IoTオペレーション、スマートシステムオペレーション、ライトをオンにすること、部屋、領域、及び/又はベニューのうちの少なくとも1つにおいてライトを制御すること、サウンドクリップを再生すること、部屋、領域、及び/又はベニューのうちの少なくとも1つにおいてサウンドクリップを再生すること、ウェルカム、挨拶、福祉、第1のメッセージ、及び/又はタスクの第1の部分と関連付けられた第2のメッセージのうちの少なくとも1つを再生すること、電化製品をオンにすること、部屋、領域、及び/又はベニュー内の機器を制御すること、部屋、領域、及び/又はベニュー内の機器を制御すること、電気システムを制御すること、部屋、電気システムをオンにすること、部屋、領域、及び/又はベニュー内の電気システムを制御すること、セキュリティシステムをオンにすること、セキュリティシステムをオフにすること、部屋、領域、及び/又はベニュー内のセキュリティシステムを制御すること、機械システムをオンにすること、機械システムを制御すること、部屋、領域、及び/又はベニュー内の機械システムを制御すること、及び/又は、空調システム、暖房システム、換気システム、照明システム、照明装置、ストーブ、娯楽システム、ドア、フェンス、窓、ガレージ、コンピュータシステム、ネットワーク化された装置、ネットワーク化された装置、システム、家電、家電、事務機器、照明装置、ロボット(ロボットアーム等)、スマートビークル、スマートマシン、アセンブリライン、スマートデバイス、モノのインターネット(IoT)デバイス、スマートホームデバイス、及び/又はスマートオフィスデバイスのうちの少なくとも1つを制御すること。
タスクは、以下を含みうる:ユーザが帰宅を検出すること、ある部屋から別の部屋へ移動することを検出すること、窓/ガレージドア/ブラインド/カーテン/パネル/ソーラーパネル/サンシェードを検出すること、ユーザが何かをすることを検出し/モニタリングし(例えば、ソファで眠ること、寝室で走ること、ソファで調理すること、テレビで見ること、台所で食べること、階段を上ること/下ること、休憩室で帰ること、ユーザ/ペットの位置をモニタリングし/検出すること、ユーザが検出すると自動的に何かをすること、ライトをオン/オフすること、音楽/ラジオ/ホームエンターテインメントシステムをオンにすること、テレビ/HiFi/セット-STB/ホームエンターテインメントシステム/スマートスピーカ/スマートデバイスをオン/オフ/調整/制御すること、エアコンシステムをオン/オフ/調整すること、換気システムをオン/オフ/調整すること、暖房システムをオン/オフ/調整すること、カーテン/ライトシェードを調整/制御すること、コンピュータをオン/オフ/ウェイクアップすること、コーヒーマシン/温水ポットをオン/オフ/予熱制御すること、調理器/オーブン/電子レンジ/他の調理デバイスのオン/オフ/制御/予熱制御、オーブン/電子レンジ/他の調理デバイスのオン/オフ/調整、温度予測のチェック/調整、電話メッセージボックスのチェック、メールのチェック、システムのチェック/調整、システムのチェック/調整/制御/アーム/安全保護システム/ベビーモニタのチェック/制御冷蔵庫のチェック/制御(例えば、Googleホーム、Amazon Echo等のスピーカを介して、ディスプレイ/画面上で、ウェブページ/電子メールを介して)。
例えば、ユーザが自分の車に自宅に到着すると、タスクは、自動的に、ユーザ又は自分の車が接近していることを検出し、検出時にガレージドアを開き、ユーザがガレージに近づくにつれて、ドライブウェイ/ガレージライトをオンにし、エアコン/ヒータ/ファン等をオンにすることであってもよい。ユーザが家に入ると、タスクは自動的に入り口ライトをオンにし、ドライブウェイ/ガレージライトをオフにし、ユーザを歓迎するグリーティングメッセージを再生し、音楽をオンにし、ユーザの好みのラジオニュースチャンネルをオンにし、カーテン/ブラインドを開き、ユーザの気分をモニタリングし、ユーザの気分又は現在の/切迫したイベントに従って照明及びサウンド環境を調整し(例えば、ユーザが1時間以内にガールフレンドと夕食を食べるようにスケジューリングされているので、ロマンティックな照明及び音楽を行う)、ユーザが朝に用意したマイクロ波中の食物を温め、家の中の全てのシステムの診断チェックを行い、明日の作業の天気予報をチェックし、ユーザの関心のあるニュースをチェックし、ユーザのカレンダー及び実行リストをチェックし、リマインダを再生し、電話応答システム/メッセージングシステム/電子メールをチェックし、対話システム/音声合成を使用して口頭報告を与える(例えば、TV/エンターテインメントシステム/コンピュータ/ノートブック/ディスプレイ/ライト/明るさ/パターン/シンボル、ハプティックツール/仮想現実ツール/ジェスチャ/ツールの使用、スマートデバイス/家電/材料/器具/器具の使用、ウェブツール/サーバ/サーバハブデバイス/クラウドサーバ/クラウドサーバ/エッジサーバ/ホームネットワーク/メッシュネットワークの使用、メッセージングツール/通知ツール/コミュニケーションツール/スケジューリングツール/電子メールの使用、ユーザインタフェース/GUIの使用、香り/匂い/芳香/味の使用、ニューラルツール/神経系ツールの使用、組み合わせの使用)、母親の誕生日のユーザ及び彼女に電話をかけ、報告を作成し、報告を与え(例えば、上述のように想起するためのツールの使用)、報告を与える。タスクは、空調/暖房/換気システムを事前にオンにするか、又はスマートサーモスタットの温度設定を事前に調整すること等ができる。ユーザがリビングへの入口から移動するとき、タスクはリビングライトをオンにすること、リビングカーテンを開くこと、ウィンドウを開くこと、ユーザの後ろの入口ライトをオフにすること、TV及びセットトップボックスをオンにすること、TVをユーザの好みのチャネルにセットすること、ユーザの好み及び条件/状態に従ってアプライアンスを調整すること(例えば、照明を調整し、ロマンチックな雰囲気を構築するために音楽を選択/再生すること)等であってもよい。
別の例は、ユーザが朝に目覚めるとき、タスクはユーザが寝室内を動き回っていることを検出すること、ブラインド/カーテンを開くこと、窓を開くこと、目覚まし時計をオフにすること、夜間温度プロファイルから昼間温度プロファイルに屋内温度を調整すること、寝室光をオンにすること、ユーザがトイレに近づくにつれてトイレ光をオンにすること、無線又はストリーミングチャネルをチェックし、朝のニュースを再生すること、コーヒーマシンをオンにして水を予熱すること、セキュリティシステムをオフにすること等でありうる。ユーザがベッドルームからキッチンまで歩くとき、タスクはキッチン及び廊下の光をオンにし、ベッドルーム及びトイレの光をオフにし、ベッドルームからキッチンに音楽/メッセージ/リマインダを移動し、キッチンTVをオンにし、TVを朝のニュースチャンネルに変更し、キッチンのブラインドを下げ、キッチンウィンドウを開いて新鮮な空気を取り込み、ユーザがバックヤードをチェックするためのバックドアのロックを解除し、キッチンの温度設定を調整すること等であってもよい。別の例はユーザが仕事のために家を離れるとき、タスクはユーザが出て行くことを検出すること、別れのメッセージを再生すること、ガレージドアを開閉すること、ガレージライト及びドライブウェイライトをオン/オフにすること、エネルギーを節約するために光をオフ/ディムにすること(ユーザが忘れた場合にのみ)、全ての窓/ドアを閉じる/ロックすること(ユーザが忘れた場合にのみ)、アプライアンス(特に、ストーブ、オーブン、電子レンジ)をオフにすること、侵入者から家を保護するために家庭用セキュリティシステムをオン/アームにすること、エネルギーを節約するために空調/暖房/換気システムを「家から離れた」プロファイルに調整すること、ユーザのスマートフォンに警告/報告/更新を送ること等でありうる。
動き(motion(動き、動作、運動))は、以下のうちの少なくとも1つを含みうる:無動作、静止動作、非動作、移動、場所/ロケーションの変化、決定論的動作、過渡動作、転倒動作、繰り返し動作、周期動作、擬似周期動作、呼吸に伴う周期的/反復動作、心拍に伴う周期的/反復動作、生物に伴う周期的/反復運動、機械に伴う周期的/反復運動、人工物に伴う周期的/反復運動、自然に伴う周期的/反復運動、過渡的要素と周期的要素を有する複合運動、繰り返し運動、非決定論的運動、確率的運動、カオス運動、ランダム運動、非決定的要素と決定論的要素を有する複合運動、定常ランダム運動、擬似定常ランダム運動、サイクロ定常ランダム運動、非定常ランダム運動、周期的自己相関関数(ACF)を有する定常ランダム運動、周期的なACFを有するランダム運動、周期的な疑似定常運動、瞬時ACFが周期的な疑似周期的要素を有するランダム運動、機械運動、機械運動、車両運動、ドローン運動、大気関連運動、風関連運動、気象関連運動、水関連運動、流体関連運動、地盤関連運動、電磁気特性変化、地中運動、地震動、植物運動、動物運動、人間運動、正常運動、異常運動、危険運動、雨、火災、洪水、津波、津波、爆発、衝突、衝突寸前、人体運動、頭部運動、顔面運動、眼球運動、口運動、舌運動、首運動、指運動、手運動、腕運動、肩運動、体動、胸運動、腹運動、腰運動、脚運動、足運動、身体関節運動、膝運動、肘運動、上体運動、下体運動、皮膚運動、皮膚下運動、皮下組織運動。血管運動、静脈運動、臓器運動、心臓運動、肺運動、胃運動、腸運動、腸運動、食事運動、呼吸運動、顔の表情、目の表情、口の表情、話す運動、歌う運動、食べる運動、身振り、手振り、腕振り、キーストローク、タイピングストローク、ユーザインタフェースジェスチャ、マンマシンインタラクション、歩行、ダンス運動、協調運動、及び/又は協調的体動。
タイプ1デバイス及び/又は任意のタイプ2受信機のヘテロジニアスICは、低雑音増幅器(LNA)、電力増幅器、送受信スイッチ、メディアアクセスコントローラ、ベースバンド無線機、2.4GHz無線機、3.65GHz無線機、4.9GHz無線機、5GHz無線機、5.9GHz無線機、6GHz無線機未満、60GHz無線機未満及び/又は別の無線機を備えうる。ヘテロジニアスICは、プロセッサと、プロセッサと通信可能に結合されたメモリと、プロセッサによって実行されるべきメモリに記憶された命令のセットとを備えうる。IC及び/又は任意のプロセッサは、汎用プロセッサ、専用プロセッサ、マイクロプロセッサ、マルチプロセッサ、マルチコアプロセッサ、並列プロセッサ、CISCプロセッサ、RISCプロセッサ、マイクロコントローラ、中央処理装置(CPU)、グラフィカルプロセッサユニット(GPU)、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、組み込みプロセッサ(例えばARM)、論理回路、他のプログラマブル論理デバイス、個別論理、及び/又は組み合わせのうちの少なくとも1つを備えうる。ヘテロジニアスICは、ブロードバンドネットワーク、無線ネットワーク、セルラネットワーク、無線ローカルエリアネットワーク(WLAN)、ワイドエリアネットワーク(MAN)、WLAN標準、WiFi、LTE-A、LTE-U、802.11標準、802.11a、802.11g、802.11g、802.11ac、802.11ad、802.11ah、802.11ax、802.11ay、ネットワークメッシュ標準、802.16標準、セルラネットワーク標準、3G、3.5G、4G、5G、6G、7G、8G、9G、UMTS、3GPP、GSM、EDGE、TDMA、CDMA、WCDMA、TD-SCDMA、Bluetooth Low Energy(BLE)、NFC、Zigbee、WiMax、及び/又は別の無線ネットワークプロトコルをサポートしうる。
プロセッサは、汎用プロセッサ、専用プロセッサ、マイクロプロセッサ、マイクロコントローラ、組み込みプロセッサ、デジタル信号プロセッサ、中央処理装置(CPU)、グラフィカル処理ユニット(GPU)、マルチプロセッサ、マルチコアプロセッサ、及び/又はグラフィックス能力を有するプロセッサ、及び/又は組み合わせを備えうる。メモリは、揮発性、不揮発性、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、電気的プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、ハードディスク、フラッシュメモリ、CD-ROM、DVD-ROM、磁気記憶装置、光学記憶装置、有機記憶装置、記憶システム、記憶ネットワーク、ネットワーク記憶装置、クラウド記憶装置、エッジ記憶装置、ローカル記憶装置、外部記憶装置、内部記憶装置、又は当業者で知られている他の形成の非一時的記憶媒体でありうる。方法ステップに対応する命令のセット(機械実行可能コード)は、ハードウェアで、ソフトウェアで、ファームウェアで、又はそれらの組み合わせで直接具現化されうる。命令のセットは、埋め込まれ、プリロードされ、起動時にロードされ、オンザフライでロードされ、オンデマンドでロードされ、プリインストールされ、インストールされ、及び/又はダウンロードされうる。
プレゼンテーションは、オーディオビジュアル方法(例えば、ビジュアル、グラフィックス、テキスト、シンボル、カラー、シェード、ビデオ、アニメーション、サウンド、スピーチ、オーディオ等の組み合わせを使用する)、グラフィカル方法(例えば、GUI、アニメーション、ビデオを使用する)、テキスト方法(例えば、テキスト、メッセージ、アニメーション化されたテキストを有するウェブページ)、シンボリック方法(例えば、エモーティコン、サイン、ハンドジェスチャ)、又は機械的方法(例えば、振動、アクチュエータの動き、ハプティック等)でのプレゼンテーションでありうる。
基本演算
方法に関連する演算作業負荷は、プロセッサ、タイプ1ヘテロジニアス無線デバイス、タイプ2ヘテロジニアス無線デバイス、ローカルサーバ(例えば、ハブデバイス)、クラウドサーバ、及び別のプロセッサの間で共有される。
演算、前処理、処理、及び/又は後処理は、データ(例えば、TSCI、自己相関、TSCIの特徴)に適用されうる。動作は、前処理、処理、及び/又は後処理であってもよい。前処理、処理、及び/又は後処理は、動作であってもよい。動作は、前処理、後処理、スケーリング、見通し線(LOS)量を演算すること、LOS及びNLOSを含む量を演算すること、単一リンク(例えば、経路、通信経路、送信アンテナと受信アンテナとの間のリンク)量を演算すること、複数のリンクを含む量を演算すること、オペランドの関数を演算すること、線形フィルタリング、非線形フィルタリング、フォールディング、エネルギー演算、ローパスフィルタリング、帯域通過フィルタリング、メディアンフィルタリング、四分位フィルタリング、モードフィルタリング、有限インパルス応答(FIR)サブサンプリング、アップサンプリング、時間補正、時間ベース補正、振幅補正、位相補正、位相クリーニング、振幅クリーニング、整合フィルタリング、強調、復元、雑音除去、平滑化、信号調整、強調、復元、スペクトル解析、線形変換、非線形変換、逆変換、周波数変換、逆変換、フーリエ変換(FT)、離散時間FT(DFT)、高速FT(FFT)、ウェーブレット変換、ヒルベルト変換、三角変換、サイン変換、コサイン変換、DCT、パワー2変換、スパース変換、グラフベースの変換、高速変換、ゼロパディング、巡回パディング、ゼロパディング、特徴抽出、分解、直交射影、非完全射影、固有値分解(SVD)、主成分分析(ICA)、グループ化、閾値処理、ハード閾値処理、クリッピング、一次導関数、高次微分、畳み込み、乗算、最小二乗法、局所偏差最小化、ニューラルネットワーク、認識、ラベリング、教師なし学習、半教師あり学習、別のTSCIとの比較、類似性スコア演算、量子化、マッチング追跡、圧縮、暗号化、送信、正規化、時間正規化、周波数領域正規化、分類、ラベリング、ラベリング、学習、学習、マッピング、再マッピング、記憶、検索、受信、表現、マージ、結合、追跡、整合フィルタリング、カルマンフィルタリング、内挿誤り訂正、実行、何もせず、時変処理、調整平均、重み付け平均、算術平均、幾何平均、調和平均、選択された周波数にわたる平均、アンテナリンクにわたる平均、論理演算、置換、組み合わせ、ソート、AND、OR、XOR、和集合、交差、ベクトル加算、ベクトル減算、ベクトル乗算、ベクトル除算、逆、ノルム、距離、及び/又は別の演算を含みうる。動作は、前処理、処理、及び/又は後処理であってもよい。動作は、複数の時系列又は関数に一緒に適用されうる。
関数(例えば、オペランドの関数)は、以下を含みうる:スカラー関数、ベクトル関数、連続関数、大きさ関数、三角関数、論理関数、三角関数、線形関数、区分関数、実関数、ベクトル値関数、逆関数、積分の導関数、関数の導関数、一対一関数、多対一関数、多対多関数、ゼロクロス、絶対関数、標識関数、平均、モード、中央値、範囲、統計、ヒストグラム、分散、偏差、発散、範囲、全変動、絶対偏差、全偏差、算術平均、幾何平均、トリミング平均、パーセンタイル、平方根、乗数、余弦、余弦 、タンジェント、コタンジェント、セカント、楕円関数、放物線関数、ゲーム関数、ゼータ関数、絶対値、閾値関数、フロア関数、丸め関数、量子化、区分定数関数、複合関数、演算で処理される時間関数(例:確率関数、エルゴード関数、確率関数、周期関数、確率関数、逆周波数変換、離散時間変換、ラプラス変換、サイン変換、コサイン変換、三角変換、ウェーブレット変換、整数変換、電力2変換、スパース変換、分解、原成分分析(PCA)、独立成分分析(ICA)、ニューラルネットワーク、特徴抽出、時系列の移動窓関数、フィルタリング関数、畳み込み関数、平均関数、ヒストグラム、分散/標準偏差関数、短時間変換、離散変換 、離散フーリエ変換、離散コサイン変換、固有値分解(SVD)、特異値、整合追跡、スパース変換、グラフベース変換、グラフ処理、分類、グラフ信号処理、分類、ラベリング、機械学習、検出、特徴抽出、ネットワーク特徴抽出、雑音除去、符号化、暗号化、再マッピング、ベクトル量子化、ハイパスフィルタリング、整合フィルタリング、カルマンフィルタリング、前処理、パーティクルフィルタリング、FIRフィルタリング、自己回帰(AR)フィルタリング、適応フィルタリング、高次微分、積分、ゼロクロス、平滑化、モードフィルタリング、サンプリング、ランダムサンプリング、リサンプリング関数、ダウンサンプリング、アップサンプリング、補間、重要度サンプリング、モンテカルロ・サンプリング、圧縮センシング、統計、短期統計、長期統計、自己相関関数、相互相関、モーメント生成関数、時間平均、重み付け平均、特殊関数、ベッセル関数、誤差関数、補誤差関数、ベータ関数、ガンマ関数、積分関数、ガウス関数、ポアソン関数等。
GPU/DSP/コプロセッサ/マルチコア/マルチプロセッシングを使用する、機械学習、トレーニング、弁別トレーニング、深層学習、ニューラルネットワーク、連続時間処理、分散コンピューティング、分散ストレージ、アクセラレーションは、本開示のステップ(又は各ステップ)に適用されうる。
周波数変換は、フーリエ変換、ラプラス変換、アダマール変換、ヒルベルト変換、サイン変換、コサイン変換、三角変換、ウェーブレット変換、整数変換、2乗変換、結合されたゼロパッディング及び変換、ゼロパッディングを用いたフーリエ変換、並びに/又は別の変換を含みうる。変換の高速バージョン及び/又は近似バージョンが実行されうる。変換は、浮動小数点及び/又は固定小数点算術を使用して実行されうる。
逆周波数変換は、逆フーリエ変換、逆ラプラス変換、逆アダマール変換、逆ヒルベルト変換、逆正弦変換、逆コサイン変換、逆三角変換、逆ウェーブレット変換、逆整数変換、逆2乗変換、結合されたゼロパディング及び変換、ゼロパディングを伴う逆フーリエ変換、並びに/又は別の変換を含みうる。変換の高速バージョン及び/又は近似バージョンが実行されうる。変換は、浮動小数点及び/又は固定小数点算術を使用して実行されうる。
TSCIからの量/特徴が演算されうる。量は、以下のうちの少なくとも1つを含みうる:動き、位置、位置、座標、速度、移動角度、移動量、移動量、パターン、時間、トレンド、パターン、時間パターン、反復パターン、時間パターン、相互に排除するパターン、関連/相関、原因/相関、短期/影響、相関、短期/影響、相関、傾向、傾向、統計、典型的挙動、典型的挙動、時間トレンド、時間プロファイル、周期的動き、周期的動き、反復、反復、動き、反復、傾向、変化、急激な変化、頻度、過渡的変化、頻度、過渡的変化、呼吸、行動、イベント、危険イベント、警報、警報、警告、近接、衝突、電力、信号、信号電力、信号強度、信号強度、受信信号強度インジケータ(RSSI)、信号振幅、信号、位相信号、周波数成分、信号周波数成分、非直交統計、心肺統計、出力統計、心拍、統計/分析、日々の活動統計、追跡、心拍、統計/分析、医療統計/分析、早期(又は即時若しくは同時の)指標/示唆/指標/検証者/示唆/示唆/兆候/検出/症状、疾患/状態/状況、バイオメトリック、ベビー、患者、機械、装置、温度、車両、駐車場、場所、昇降路、昇降路、空間、流体の流れ、ホーム、部屋、オフィス、オフィス、ハウス、建物、倉庫、貯蔵、システム、換気、ファン、ダクト、人、ヒト、自動車、ボート、トラック、飛行機、ドローン、ダウンタウン、群衆、衝動的イベント、サイクロ静止、環境、振動、材料、表面、3次元、2次元、局所、グローバル、存在、及び/又は別の測定可能な量/変数。
スライディングウィンドウ/アルゴリズム
スライディング時間ウィンドウは、時間変化するウィンドウ幅を有しうる。それは、高速取得を可能にするために、最初はより小さくてもよく、定常状態のサイズまで経時的に増加してもよい。定常状態サイズは、モニタリングされる周波数、反復運動、過渡運動、及び/又はSTIに関連しうる。定常状態であっても、ウィンドウサイズはバッテリ寿命、電力消費、利用可能なコンピューティング電力、ターゲットの量の変化、モニタリングされるべき動きの性質等に基づいて、適応的に(及び/又は動的に)変更(例えば、調整、変更、修正)されうる。
隣接する時間インスタンスにおける2つのスライディング時間ウィンドウ間の時間シフトは、時間にわたって一定/可変/局所的に適応/動的に調整されうる。より短い時間シフトが使用されるとき、任意のモニタリングの更新はより頻繁であってよく、これは、急速に変化する状況、物体の動き、及び/又は物体のために使用されうる。より長い時間シフトはより遅い状況、物体の動き、及び/又は物体のために使用されうる。
ウィンドウ幅/サイズ及び/又は時間シフトはユーザの要求/選択に応じて変更(例えば、調整、変更、修正)しうる。時間シフトは自動的に(例えば、プロセッサ/コンピュータ/サーバ/ハブデバイス/クラウドサーバによって制御されるように)及び/又は適応的に(及び/又は動的に)変更されうる。
関数(例えば、自己相関関数、自己共分散関数、相互相関関数、相互共分散関数、電力スペクトル密度、時間関数、周波数領域関数、周波数変換)の少なくとも1つの特性(例えば、特性値又は特性点)は、(例えば、物体追跡サーバ、プロセッサ、タイプ1ヘテロジニアスデバイス、タイプ2ヘテロジニアスデバイス、及び/又は別のデバイスによって)決定されうる。関数の少なくとも1つの特性は、以下のものを含みうる:最大、最小、極値、極限、正の時間オフセットを伴うローカル極値、正の時間オフセットを伴う第1の極値、負の時間オフセットを伴うローカル極値、n番目の極値、拘束された極値、拘束された最大、有意な極値、傾き、微分、最大傾き、正の時間オフセットを伴うローカル極値、ローカル最大傾き、拘束された最大傾き、最大高次微分、拘束された高次微分、拘束された高次微分、正の時間オフセットを伴うゼロクロス、負の時間オフセットを伴うn番目のゼロクロス、n番目の負の時間オフセットを伴うゼロクロス、制約付きゼロクロス、傾きのゼロクロス、高次微分のゼロクロス、及び/又は別の特性。関数の少なくとも1つの特性に関連する関数の少なくとも1つの引数が、識別されうる。いくつかの量(例えば、物体の空間時間情報)は、関数の少なくとも1つの引数に基づいて決定されうる。
特性(例えば、ベニューにおける物体の運きの特性)は、以下のうちの少なくとも1を含みうる:瞬時特性、短期特性、繰返し特性、経時特性、振幅特性、経時特性、変動特性、直交分解特性、確率特性、確率特性、自己相関関数(ACF)、平均、分散値、分散値、広がり、偏差、ダイバージェンス、範囲、絶対偏差、全偏差、統計、持続時間、時期、トレンド、周期特性、長期特性、歴史特性、電流特性、過去特性、予測特性、位置、距離、速度、速度、加速度、角速度、角速度の変化、物体の変化、角加速度、物体の方向、回転の角度、物体の変形、物体の形状、物体の形状の変化、物体の大きさの変化、物体の構造の変化、及び/又は物体の特性の変化。
関数の少なくとも1つの極大値及び少なくとも1つの最小値が識別されうる。少なくとも1つのローカル信号対雑音比類似の(SNR類似の)パラメータが、隣接する極大値及び最小値の各ペアについて演算されうる。SNR類似のパラメータは、局所最小値の同じ量にわたる局所最大値の量(例えば、電力、大きさ)の一部の関数(例えば、線形、対数、指数関数、単調関数)であってもよい。それは、極大値の量と最小値の同じ量との間の差の関数であってもよい。有意な局所ピークを同定又は選択しうる。各有意な局所ピークは、閾値T1よりも大きいSNR類似のパラメータを有する極大、及び/又は閾値T2よりも大きい振幅を有する極大でありうる。周波数領域における少なくとも1つの最小値及び少なくとも1つの最小値は、持続性ベースのアプローチを使用して識別/演算されうる。
選択された有意な局所ピークのセットは、選択基準(例えば、品質基準、信号品質条件)に基づいて、識別された有意な局所ピークのセットから選択されうる。物体の特性/STIは、選択された有意な局所ピークのセットと、選択された有意な局所ピークのセットに関連する周波数値とに基づいて演算されうる。一例では、選択基準が常に、範囲内の最も強いピークを選択することに対応しうる。最も強いピークが選択されうるが、選択されていないピークは依然として有意(かなり強い)でありうる。
未選択の有意なピークは将来のスライディング時間ウィンドウにおける将来の選択において使用するために、「予約された」ピークとして記憶及び/又はモニタリングされうる。一例として、(特定の周波数における)特定のピークが時間一貫して現れることがある。最初は、それは有意であるが選択されない場合がある(他のピークがより強い場合があるため)。しかし、後になると、ピークはより強く、より支配的になり、選択されうる。それが「選択された」とき、それは、それが有意であったが選択されなかった初期の時間に、時間的に遡って「選択された」とされうる。そのような場合、バックトレースされたピークは、以前に選択されたピークを早い時間に置き換えることができる。置換されたピークは比較的弱いピーク、又は時間的に単独で現れる(即ち、時間的に短時間しか現れない)ピークであってもよい。
別の例では、選択基準が範囲内の最も強いピークを選択することに対応しなくてもよい。代わりに、それは、ピークの「強度」だけでなく、ピークの「トレース」(過去に起こった可能性があるピーク、特に、長い間同定されたピーク)も考慮しうる。
例えば、有限状態機械(FSM)が使用される場合、それは、FSMの状態に基づいて(1つ以上の)ピークを選択しうる。決定閾値は、FSMの状態に基づいて適応的に(及び/又は動的に)演算されうる。
類似性スコア及び/又はコンポーネント類似性スコアはTSCIの時間的に隣接するCIのペアに基づいて(例えば、サーバ(例えば、ハブデバイス)、プロセッサ、タイプ1デバイス、タイプ2デバイス、ローカルサーバ、クラウドサーバ、及び/又は別のデバイスによって)演算されうる。ペアは、同じスライド窓又は2つの異なるスライド窓から来てもよい。類似性スコアはまた、2つの異なるTSCIからのペアの、時間的に隣接する、又はそのように隣接しないCIに基づいてもよい。類似性スコア及び/又はコンポーネント類似スコアは、時間反転共鳴強度(TRRS)、相関、相互相関、自己相関、相関指標、共分散、相互共分散、自己共分散、2つのベクトルの内積、距離スコア、ノルム、メトリック、品質メトリック、信号品質条件、統計的特性、識別スコア、ニューラルネットワーク、深層学習ネットワーク、機械学習、トレーニング、識別、重み付け平均、前処理、雑音除去、信号調整、フィルタリング、時間補正、タイミング補償、位相オフセット補償、変換、コンポーネントごとの動作、特徴抽出、有限状態機械、及び/又は別のスコアであってもよい。特性及び/又はSTIは、類似性スコアに基づいて決定/演算されうる。
任意の閾値は、有限状態機械によって予め決定され、適応的に(及び/又は動的に)決定され、及び/又は決定されうる。適応的な決定は、時間、空間、位置、アンテナ、経路、リンク、状態、バッテリ寿命、バッテリ残存寿命、利用可能電力、利用可能な演算リソース、利用可能なネットワーク帯域幅等に基づきうる。
2つのイベント(又は2つの条件、又は2つの状況、又は2つの状態)A及びBを区別するためにテスト統計に適用される閾値を決定しうる。データ(例えば、CI、チャネル状態情報(CSI)、電力パラメータ)は、トレーニング状況においてAの下及び/又はBの下で収集されうる。テスト統計は、データに基づいて演算されてもよい。Aの下のテスト統計の分布はBの下のテスト統計の分布(基準分布)と比較されてよく、閾値は、いくつかの基準に従って選択されうる。基準は最大尤度(ML)、最大アポステリオ確率(MAP)、識別トレーニング、所与のタイプ2エラーに対する最小タイプ1エラー、所与のタイプ1エラーに対する最小タイプ2エラー、及び/又は他の基準(例えば、品質基準、信号品質条件)を含みうる。閾値は、A、B及び/又は別のイベント/条件/状況/状態に対する異なる感度を達成するように調整されうる。閾値調整は、自動、半自動、及び/又は手動であってもよい。閾値調整は一度、時々、しばしば、定期的に、繰り返し、時々、散発的に、及び/又はオンデマンドで適用されうる。閾値調整は、適応的(及び/又は動的に調整される)であってもよい。閾値調整は、物体、物体の移動/位置/方向/アクション、物体特性/STI/サイズ/特性/特性/習慣/挙動、ベニュー、特徴/フィクスチャ/家具/バリア/材料/機械/生き物/物体境界/表面/媒体、マップ、マップ(又は環境モデル)の制約、イベント/状態/状況/条件、時間、タイミング、持続時間、現在の状態、過去の履歴、ユーザ、及び/又は個人用の好み等に依存しうる。
反復アルゴリズムの停止基準(又は、スキップ、バイパス、ブロッキング、一時停止、通過、拒絶基準)は、反復における更新における現在のパラメータ(例えば、オフセット値)の変化が閾値未満であることであってもよい。閾値は、0.5、1、1.5、2、又は別の個数でありうる。閾値は、適応的(及び/又は動的に調整される)であってもよい。反復が進むにつれて変化することがある。オフセット値について、適応閾値は、タスク、第1の時間の特定の値、現在の時間オフセット値、回帰ウィンドウ、回帰分析、回帰関数、回帰誤差、回帰関数の凸性、及び/又は反復回数に基づいて決定されうる。
局所極値は、回帰窓における回帰関数の対応する極値として決定されてもよい。局所極値は、回帰ウィンドウ内の時間オフセット値のセットと、関連する回帰関数値のセットとに基づいて決定されうる。時間オフセット値のセットに関連する関連する回帰関数値のセットの各々は、回帰ウィンドウ内の回帰関数の対応する極値からの範囲内にありうる。
ローカル極値の探索は、以下を含みうる:ロバスト探索、最小化、最大化、最適化、統計的最適化、二元最適化、制約条件最適化、凸最適化、大域的最適化、局所最適化、エネルギー最小化、線形回帰、二次回帰、高次回帰、線形計画、非線形計画、確率計画、組み合わせ最適化、制約計画、制約充足、変分法、最適制御、動的計画、数理計画、凸最適化、凸最適化、局所最適化、凸最適化、局所最適化、線形回帰、二次回帰 変分法、最適制御、動的計画法、数理計画法、多目的最適化、多次元最適化、分離型計画法、空間写像、無限次元最適化、ヒューリスティクス、メタヒューリスティクス、凸計画法、半正定値計画、円錐計画、整数計画、2次計画、フラクショナル計画法、数値解析、シンプレックス法、反復法、勾配降下法、劣勾配法、座標降下法、共役勾配法、ニュートン法、逐次二次計画法、内点法、楕円体法、縮小勾配法、擬似ニュートン法、同時摂動確率近似、内挿法、パターンサーチ法、ラインサーチ、非微分最適化、遺伝的アルゴリズム、進化的アルゴリズム、動的緩和、ヒルクライミング、粒子群最適化、重力探索アルゴリズム、シミュレーテッドアニーリング、ミメティックアルゴリズム、微分進化、動的緩和、確率的トンネル、タブーサーチ、反応探索最適化、曲線フィット、最小二乗、シミュレーションベースの最適化、変分、及び/又は変量。局所極値の探索は、目的関数、損失関数、コスト関数、効用関数、適応度関数、エネルギー関数、及び/又はエネルギー関数と関連付けられうる。
回帰は、回帰関数を使用して実行されて、サンプリングされたデータ(例えば、CI、CIの特徴、CIのコンポーネント)又は別の関数(例えば、自己相関関数)を回帰ウィンドウに適合させることができる。少なくとも1回の反復において、回帰ウィンドウの長さ及び/又は回帰ウィンドウの位置は変化しうる。回帰関数は、線形関数、二次関数、三次関数、多項式関数、及び/又は別の関数であってもよい。
回帰分析は、誤差、総計誤差、コンポーネント誤差、投影ドメインにおける誤差、選択された直交軸における誤差、選択された直交軸における誤差、絶対誤差、二乗誤差、絶対偏差、二乗偏差、二乗偏差、高次誤差(例えば、3次、4次)、ロバスト誤差(例えば、より小さい誤差の二乗誤差、より大きい誤差の大きさに対する絶対誤差、又はより小さい誤差の大きさに対する第1の種類の誤差、及びより大きい誤差の大きさに対する第2の種類の誤差)、別の誤差、絶対/二乗誤差の重み付けされた和(又は重み付けされた平均)(例えば、複数のアンテナを有する無線送信機及び複数のアンテナを有する無線受信機、送信機アンテナ及び受信機アンテナの各ペアがリンクを形成する)、平均絶対誤差、平均二乗誤差、平均絶対偏差。異なるリンクに関連する誤差は、異なる重みを有しうる。1つの可能性は、いくつかのリンク及び/又はより大きい雑音又はより低い信号品質メトリックを有するいくつかのコンポーネントがより小さい又はより大きい重みを有しうることである。二乗誤差の重み付け和、高次誤差の重み付け和、ロバスト誤差の重み付け和、別の誤差の重み付け和、絶対コスト、二乗コスト、高次コスト、ロバストコスト、別のコスト、絶対コストの重み付け和、二乗コストの重み付け和、高次コストの重み付け和、ロバストコストの重み付け和、及び/又は別のコストの重み付け和。
決定される回帰誤差は、絶対誤差、二乗誤差、高次誤差、ロバスト誤差、更に別の誤差、絶対誤差の重み付け和、二乗誤差の重み付け和、高次誤差の重み付け和、ロバスト誤差の重み付け和、及び/又は更に別の誤差の重み付け和であってもよい。
回帰ウィンドウ内の特定の関数に対する回帰関数の最大回帰誤差(又は最小回帰誤差)に関連する時間オフセットは、反復において更新された現在の時間オフセットになりうる。
局所極値は、2つの異なる誤差の差(例えば、絶対誤差と二乗誤差との差)を含む量に基づいて探索されうる。2つの異なる誤差の各々は、絶対誤差、二乗誤差、高次誤差、ロバスト誤差、別の誤差、絶対誤差の重み付け和、二乗誤差の重み付け和、高次誤差の重み付け和、ロバスト誤差の重み付け和、及び/又は別の誤差の重み付け和を含みうる。
量は、F分布、セントラルF分布、別の統計的分布、閾値、確率/ヒストグラムに関連する閾値、偽ピークを発見する確率/ヒストグラムに関連する閾値、F分布に関連する閾値、セントラルF分布に関連する閾値、及び/又は別の統計的分布に関連する閾値等の基準データ又は基準分布と比較されうる。
回帰ウィンドウは、以下のうちの少なくとも1つに基づいて決定されうる:物体の動き(例えば、位置/場所の変化)、物体に関連する量、物体の動きに関連する物体の少なくとも1つの特性及び/又はSTI、局所極値の推定位置、雑音特性、推定雑音特性、物体の動き(例えば、位置/場所の変化)、物体に関連する量、物体の動きに関連する物体の少なくとも1つの特性及び/又はSTI、局所極値の推定位置、雑音特性、推定雑音特性、信号品質メトリック、F分布、中心F分布、別の統計分布、閾値、プリセット閾値、確率/ヒストグラムに関連する閾値、望ましい確率に関連する閾値、誤ったピークが見つかる確立に関連する閾値、F分布に関連する閾値、中心F分布に関連する閾値、別の統計分布に関連する閾値。F分布に関連する閾値、中心F分布に関連する閾値、別の統計分布に関連する閾値、ウィンドウ中心での量が回帰ウィンドウ内で最大であるという条件、ウィンドウ中心での量が回帰ウィンドウ内で最大であるという条件、回帰ウィンドウ内の最初の時間の特定の値に対する特定の関数の局所極値、別の回帰ウィンドウ、及び/又は別の条件のうちの1つだけが存在するという条件。
回帰ウィンドウの幅は、検索されるべき特定の極値に基づいて決定されうる。極値は、以下のものを含みうる:第1の極値、第2の極値、最大極値、最大極値正オフセット値を有する第1の極値、最大極値正オフセット値を有する第2の極値、最大極値正オフセット値を有する第2の極値、最大極値負オフセット値を有する第1の極値、最大極値負オフセット値を有する第2の極値、最大極値負オフセット値を有する第1の極値、最大極値負オフセット値を有する第2の極値、最大極値負オフセット値を有する第1の極値、最大極値負オフセット値を有する第2の極値、最大極値負オフセット値を有する第2の極値、最大極値正オフセット値を有する第1の極値、第2の極値正オフセット値を有する第1の極値、正オフセット値を有する第2の極値、正オフセット値を有する第2の極値、正オフセット値を有する第1の負の時間オフセット値を有する極値。
現在のパラメータ(例えば、時間オフセット値)は、目標値、目標プロファイル、トレンド、過去のトレンド、現在のトレンド、目標速度、目標速度プロファイル、目標速度プロファイル、過去の速度トレンド、物体の動き又は移動(例えば、位置/位置の変化)、物体の動きに関連する物体の少なくとも1つの特徴及び/又はSTI、物体の位置量、物体の動きに関連する物体の初期速度、予め定義された値、回帰ウィンドウの初期幅、時間持続時間、信号のキャリア周波数に基づく値、信号のサブキャリア周波数に基づく値、信号の帯域幅、チャネルに関連するアンテナの量、雑音特性、信号hメトリック、及び/又は適応(及び/又は動的に調整された)値に基づいて初期化されうる。現在の時間オフセットは、回帰ウィンドウのセンタ、左側、右側、及び/又は別の固定された相対位置にありうる。
プレゼンテーションにおいて、情報は、ベニューのマップ(又は環境モデル)と共に表示されてもよい。情報は、以下のものを含みうる:位置、ゾーン、領域、カバレッジエリア、修正された位置、おおよその位置、ベニューのマップに関する位置、ベニューのセグメンテーションに関する位置、方向、経路、に関する経路、トレース(例えば、過去5秒又は過去10秒のような時間ウィンドウ内の位置;時間ウィンドウ持続時間は適応的に(及び/又は動的に)調整されてもよい;時間ウィンドウ持続時間は適応的に(及び/又は動的に)速度、加速度等に関して調整されてもよい)、経路の履歴、経路に沿った近似領域/ゾーン、過去の位置の履歴/要約、関心のある過去の位置の履歴、頻繁に訪れた領域、顧客トラフィック、群集分布、群集行動、群集制御情報、速度、加速度、動き統計値、呼吸数、心拍数、存在/不存在を含みうる、人やペットや物の動き、バイタルサインの有無、動作、ジェスチャ制御(ジェスチャを利用した機器の制御)、位置ベースのジェスチャ制御(ジェスチャを利用した機器の制御)、ロケーションベースの動作、尊重対象の識別情報(ID)又は識別子(ペット、人、自走式機械/装置、車両、ドローン、車、車両、ボート、自転車、自転車、ファン付き機械、空調機、テレビ、可動部付き機械)、ユーザの識別情報(人等)、ユーザの位置/速度/加速度/方向/動き/ジェスチャ/ジェスチャ制御/動作トレース、ユーザのID又は識別子、ユーザの活動、ユーザの状態、ユーザの睡眠/休憩特性、ユーザの感情状態、ユーザのバイタルサイン、ベニューの環境情報、ベニューの天候情報、地震、爆発、暴風雨、雨、火災、温度、衝突、イベントオープン、ドアイベント、イベントクローズ、ドアイベント、イベントオープン、衝撃、イベントウィンドウクローズ、イベントフォールダウン、バーニングイベント、凍結イベント、水関連イベント、風関連イベント、空気移動イベント、事故イベント、疑似周期的イベント(例えば、トレッドミル上でのランニング、上下へのジャンプ、ロープの飛び降り、人為的な飛び降り等)、繰り返しイベント、群衆イベント、車両イベント、ユーザのジェスチャ(例えば、手のジェスチャ、腕のジェスチャ、足のジェスチャ、脚のジェスチャ、身体のジェスチャ、頭のジェスチャ、顔のジェスチャ、口のジェスチャ、目のジェスチャ等)。
位置は、2次元(例えば、2D座標を有する)、3次元(例えば、3D座標を有する)であってもよい。位置は相対的(例えば、マップ又は環境モデル)又は関係的(例えば、ポイントAとポイントBとの中間、コーナーの周り、階段の上、テーブルの上、天井、床、ソファ、ポイントAに近い、ポイントAからの距離R、ポイントAからの半径R内等)であってもよい。ロケーションは、矩形座標、極座標、及び/又は別の表現で表現されうる。
情報(例えば、位置)は、少なくとも1つのシンボルでマークされてもよい。シンボルは、時変であってもよい。記号は、色/強度を変化させて又は変化させずに点滅及び/又は脈動させることができる。サイズは、経時的に変化してもよい。シンボルの向きは、経時的に変化してもよい。シンボルは、瞬間量(例えば、バイタルサイン/呼吸数/心拍数/ジェスチャ/状態/ユーザの状態/アクション/動作、温度、ネットワークトラフィック、ネットワーク接続性、デバイス/マシンの状態、デバイスの残りの電力、デバイスの状態等)を反映する数でありうる。変化率、サイズ、向き、色、強度、及び/又は記号は、それぞれの動きを反映しうる。情報は、視覚的に提示され、及び/又は口頭で(例えば、事前に記録された音声又は音声合成を使用して)記述されうる。情報は、テキストで記述しうる。情報はまた、機械的な方法(例えば、動画化されたガジェット、可動部分の移動)で提示されてもよい。
ユーザインタフェース(UI)デバイスは、スマートフォン(例えば、iPhone(登録商標)、Android電話)、タブレット(例えば、iPad(登録商標))、ラップトップ(例えば、ノートブックコンピュータ)、パーソナルコンピュータ(PC)、グラフィカルユーザインタフェース(GUI)を伴うデバイス、スマートスピーカ、音声/オーディオ/スピーカ機能を伴うデバイス、仮想現実(VR)デバイス、拡張現実(AR)デバイス、スマートカー、自動車内のディスプレイ、音声アシスタント、自動車内の音声アシスタント等でありうる。
マップ(又は環境モデル)は、2次元、3次元、及び/又はより高次元であってもよい。(例えば、時変2D/3Dマップ/環境モデル)壁、窓、ドア、入口、出口、禁止エリアは、マップ又はモデル上にマークされうる。マップは、施設の間取り図を含みうる。マップ又はモデルは、1つ以上のレイヤ(オーバレイ)を有しうる。マップ/モデルは、水道管、ガス管、ケーブル、ケーブル、エアダクト、クロール空間、天井レイアウト、及び/又は地下レイアウトを含む保守マップ/モデルであってもよい。ベニューは複数のゾーン/領域/地理的領域/セクタ/セクション/地域/地域/地区/地区/地域/地域/区域/広域/広域、例えば、寝室、リビング、貯蔵室、歩道、台所、食堂、飼い主、ガレージ、1階、2階、休憩室、オフィス、会議室、受付エリア、様々なオフィスエリア、様々な倉庫エリア、様々な施設エリア等にセグメント化/分割/細分化/グループ化しうる。セグメント/領域/エリアは、マップ/モデルで提示されてもよい。異なる領域は、色分けされてもよい。異なる領域には、特性(例えば、色、輝度、色強度、テクスチャ、アニメーション、点滅、点滅速度等)が提示されてもよい。ベニューの論理的セグメント化は少なくとも1つのヘテロジニアスタイプ2デバイス、又はサーバ(例えば、ハブデバイス)、又はクラウドサーバ等を使用して行われうる。
ここでは、開示されたシステム、装置、及び方法の例を示す。Stephenと彼の家族は、開示された無線動作検出システムを、ワシントン州シアトルの2000平方フィートの2階建ての町家の動作を検出するためにインストールしたいと考えている。彼の家には2つの階段があるので、スティーブンは、1つのタイプ2デバイス(Aと名付けられた)と2つのタイプ1デバイス(BとCと名付けられた)を1階に使用することにした。1階は主にキッチン、ダイニングルーム、リビングの3つの部屋が直線状に並んでおり、ダイニングルームは中央にある。台所と居間は家の反対側にある。彼は、タイプ2デバイス(A)をダイニングルームに入れ、一方のタイプ1デバイス(B)をキッチンに入れ、他方のタイプ1デバイス(C)をリビングに入れた。この装置の配置により、彼は、実際には動き検出システムを使用して、地上階を3つのゾーン(ダイニングルーム、リビングルーム、及びキッチン)に分割している。動作がABペア及びACペアによって検出されると、システムは動作情報を分析し、動作を3つのゾーンのうちの1つと関連付ける。
Stephenとその家族が週末に外出すると(例えば、長い週末にキャンプに行くために)、Stephenは携帯電話アプリ(例えば、Android電話アプリ又はiPhone(登録商標)アプリ)を使用して、動き検出システムをオンにする。システムが動きを検出すると、警告信号(例えば、SMSテキストメッセージ、電子メール、携帯電話アプリへのプッシュメッセージ等)がスティーブンに送信される。Stephenが月額料金(例:10ドル/月)を支払うと、サービス会社(例:セキュリティ会社)は有線ネットワーク(例:ブロードバンド)又は無線ネットワーク(例:ホームWiFi、LTE、3G、2.5G等)を通じて警告信号を受け取り、Stephenにセキュリティ手順を実行する(例:問題を確認するために彼に電話をかけたり、家にチェックを入れたり、Stephenに代わって警察に連絡を取ったり、等)Stephenは自分の高齢の母親を愛し、自分だけが家にいるときは彼女の幸福を気にかける。家族の残りが外出している間(例えば、仕事に行く、買い物に行く、又は休暇に行く)、母親が自分のモバイルアプリを使用して動き検出システムをオンにし、母親がokであることを保証する。次いで、彼は、モバイルアプリを使用して、自分の母親の家での動きをモニタリングする。Stephenがモバイルアプリを使って、3つの領域の中で母親が家の周りを移動しているのを見ると、彼女の日常的なルーチンによれば、Stephenは、彼の母親がうまくいっていることを知っている。スティーブンは、彼が家から離れている間、動き検出システムが彼の母親の幸福をモニタリングするのを助けることができることに感謝している。
典型的な日には、母親は午前7時頃に目を覚ました。彼女は台所で朝食を約20分間調理した。それから彼女は食堂で朝食を約30分間食べた。そして、リビングで毎日運動をし、リビングのソファに座って、好きなテレビ番組を見る。動き検出システムは、Stephenが家の3つの領域のそれぞれにおける動きのタイミングを見ることを可能にする。動きが日常のルーチンと一致すると、スティーブンはおおよそ母さんが元気になるはずだということを知っている。しかし、動きパターンが異常に見える場合(例えば、午前10時まで動きがない、長い間キッチンに滞在した、又は長く動きが止まらない等)、スティーブンは何か間違っていると疑い、母親に彼女をチェックするように呼びかける。スティーブンは誰か(例えば、家族、近所の人、有料の人、友人、ソーシャルワーカー、サービスプロバイダ)に母親をチェックさせることさえできる。
時には、Stephen、タイプ2デバイスの位置を変更するように感じる。オリジナルのAC電源プラグからデバイスを抜き、別のAC電源プラグに差し込むだけである。彼は無線動作検出システムがプラグアンドプレイであり、再配置がシステムの動作に影響を及ぼさないことを喜んでいる。電源を入れるとすぐに動作する。
後になると、Stephenは我々の無線動き検出システムが非常に高い精度と非常に低いアラームで実際に動きを検出することができ、彼は地上階の動きをモニタリングするためにモバイルアプリを実際に使用しうると確信している。彼は2階の寝室をモニタリングするために、同様の設備(即ち、1つのタイプ2デバイス及び2つのタイプ1装置)を2階に設置することを決定する。もう一度言うと、システムのセットアップは非常に容易であり、タイプ2のデバイスとタイプ1のデバイスを2階のAC電源プラグに接続するだけでよい。特別なインストールは必要ない。また、同じモバイルアプリを使用して、1階と2階の動きをモニタリングしうる。1階/2階の各タイプ2デバイスは、1階と2階の両方のタイプ1デバイスと相互作用しうる。Stephenは、タイプ1及びタイプ2のデバイスへの投資を2倍にすると、複合システムの能力が2倍以上になることを喜んで見ている。
様々な実施形態によれば、各CI(CI)は、チャネル状態情報(CSI)、周波数領域CSI、少なくとも1つのサブバンドに関連する周波数領域CSI、周波数領域CSI、時間領域CSI、チャネル応答、推定チャネル応答、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、チャネル特性、チャネルフィルタ応答、無線マルチパスチャネルのCSI、無線マルチパスチャネルの情報、タイムスタンプ、補助情報、データ、メタデータ、ユーザデータ、アカウントデータ、アクセスデータ、セキュリティデータ、セッションデータ、ステータスデータ、監督データ、家庭データ、識別情報(ID)、識別子、デバイスデータ、ネットワークデータ、近傍データ、環境データ、リアルタイムデータ、センサデータ、記憶データ、暗号化データ、圧縮データ、保護データ、及び/又は別のCIのうちの少なくとも1つを含みうる。一実施形態では、開示されるシステムは、ハードウェアコンポーネント(例えば、アンテナを有する無線送信機/受信機、アナログ回路、電力供給、プロセッサ、メモリ)及び対応するソフトウェアコンポーネントを有する。本教示の様々な実施形態によれば、開示されるシステムは、バイタルサインの検出及びモニタリングのためのボット(タイプ1デバイスと呼ばれる)及びOrigin(タイプ2デバイスと呼ばれる)を含む。各デバイスは、トランシーバと、プロセッサと、メモリとを備える。
開示されたシステムは、多くの場合に適用しうる。一例では、タイプ1デバイス(送信機)がテーブル上にある小型WiFi対応デバイスでありうる。それはまた、WiFi対応テレビ(TV)、セットトップボックス(STB)、スマートスピーカ(例えば、Amazonエコー)、スマート冷蔵庫、スマート電子レンジ、メッシュネットワークルータ、メッシュネットワーク衛星、スマートフォン、コンピュータ、タブレット、スマートプラグ等であってもよい。一例では、タイプ2(受信機)がテーブル上にあるWiFi対応デバイスでありうる。それはまた、WiFi対応テレビ(TV)、セットトップボックス(STB)、スマートスピーカ(例えば、Amazonエコー)、スマート冷蔵庫、スマート電子レンジ、メッシュネットワークルータ、メッシュネットワーク衛星、スマートフォン、コンピュータ、タブレット、スマートプラグ等であってもよい。タイプ1デバイス及びタイプ2デバイスは、人数を数えるために会議室内/近くに配置されうる。1型デバイス及び2型デバイスは日常活動及び症状の任意の徴候(例えば、認知症、アルツハイマー病)をモニタリングするための、高齢者のための健康状態モニタリングシステム内にあってもよい。タイプ1デバイス及びタイプ2デバイスは生きている乳児のバイタルサイン(呼吸)をモニタリングするために、乳児モニタにおいて使用されうる。タイプ1デバイス及びタイプ2デバイスは睡眠の質及び任意の睡眠時無呼吸をモニタリングするために、寝室内に配置されうる。タイプ1デバイス及びタイプ2デバイスは乗客及び運転者の健康状態をモニタリングし、運転者の睡眠を検出し、車内に残っている乳児を検出するために、車内に配置されうる。タイプ1デバイス及びタイプ2デバイスはトラック及びコンテナに隠された人をモニタリングすることによって人身取引を防止するために、物流において使用されうる。タイプ1装置及びタイプ2デバイスは破片に捕捉された被害者を探すために、災害地域における緊急サービスによって配備されてもよい。タイプ1デバイス及びタイプ2デバイスは任意の侵入者の呼吸を検出するために、ある領域に展開されうる。ウェアラブルなしの無線呼吸モニタリングの多くの用途がある。
ハードウェアモジュールは、タイプ1トランシーバ及び/又はタイプ2トランシーバを含むように構築されうる。ハードウェアモジュールは最終的な市販製品を設計、構築、及び販売するために、可変ブランドに販売/使用されうる。開示されるシステム及び/又は方法に使用する製品は、ホーム/オフィスセキュリティ製品、WiFi製品、STB、エンターテインメント製品、TV、エンターテインメント製品、HiFi、スピーカ、家電製品、オーブン、テーブル、椅子、ベッド、道具、トーチ、電気掃除機、ソファ、ファン、ドア、窓、ドアハンドル、ロック、煙検出器、カーアクセサリ、コンピューティングデバイス、オフィスデバイス、エアコンディショナ、ヒータ、コネクタ、モニタリングカメラ、アクセスポイント、モバイルデバイス、LTEデバイス、3G/4G/6Gデバイス、UMTSデバイス、GSMデバイス、EDGEデバイス、TDMAデバイス、CDMAデバイス、WCDMAデバイス、TD-SCDMAデバイス、ゲームデバイス、眼鏡、VRゴーグル、ネックレス、腕時計、ウエストバンド、ベルト、財布、ペン、帽子、ウェアラブル、埋め込み型デバイス、タグ、駐車券、スマートフォン等でありうる。
サマリは、分析、出力応答、選択された時間ウィンドウ、サブサンプリング、変換、及び/又は投影を含みうる。提示することは、月/週/日ビュー、簡略化/詳細ビュー、断面ビュー、小/大フォームファクタビュー、色分けビュー、比較ビュー、要約ビュー、アニメーション、ウェブビュー、音声アナウンス、及び反復動作の周期的/反復特性に関連する別のプレゼンテーション、のうちの少なくとも1つを提示することを含みうる。
タイプ1/タイプ2デバイスは、以下のものでありうる:
アンテナ、アンテナを有するデバイス、アンテナを有するデバイス、筐体(無線機、アンテナ、データ信号処理装置、無線IC、回路等のための)筐体を有するデバイス、アンテナを取り付ける/接続する/リンクするインタフェースを有するデバイス、他のデバイス/システム/コンピュータ/電話/ネットワーク/データアグリゲータとインタフェースする/取り付ける/接続する/リンクするデバイス、ユーザーインタフェース(UI)/グラフィカルUI/ディスプレイを有するデバイス、無線トランシーバーを有するデバイス、無線送信機を有するデバイス、無線受信機を有するデバイス、IoTデバイス、無線ネットワークを有するデバイス、有線ネットワークと無線ネットワーク機能を有するデバイス、無線集積回路(IC)を有するデバイス、Wi-Fiデバイス、Wi-Fiチップ搭載デバイス(例:802.11a/b/g/n/ac/ax規格準拠)、Wi-Fiアクセスポイント(AP)、Wi-Fiクライアント、Wi-Fiルータ、Wi-Fiリピータ、Wi-Fiハブ、無線メッシュネットワークルータ/ハブ/AP、アドホックネットワークルータ、無線メッシュネットワーク装置、モバイルデバイス(例:2G/2.5G/3G/3.5G/4G/LTE/5G/6G/7G、UMTS、3GPP、GSM、EDGE、TDMA、FDMA、CDMA、WCDMA、TD-SCDMA)、携帯端末、基地局、モバイルネットワーク基地局、モバイルネットワークハブ、モバイルネットワーク互換端末、LTE端末、LTEモジュール搭載端末、モバイルモジュール(例:Wi-Fiチップ、LTEチップ、BLEチップ等のモバイルイネーブルチップ(IC)搭載基板)、Wi-Fiチップ(IC)、LTEチップ、BLEチップ、モバイルモジュール搭載機器、スマートフォン、スマートフォン用コンパニオンデバイス(ドングル、アタッチメント、プラグイン等)、専用デバイス、プラグインデバイス、AC電源デバイス、バッテリー駆動デバイス、プロセッサ/メモリ/命令セットを持つデバイス、スマートデバイス/ガジェット/アイテム。時計、文房具、ペン、ユーザーインタフェース、紙、マット、カメラ、テレビ、セットトップボックス、マイク、スピーカ、冷蔵庫、オーブン、機械、電話、財布、家具、ドア、窓、天井、床、壁、テーブル、椅子、ベッド、ナイトスタンド、エアコン、ヒーター、パイプ、ダクト、ケーブル、カーペット、装飾品。ガジェット、USBデバイス、プラグ、ドングル、ランプ/ライト、タイル、装飾品、ボトル、車両、自動車、無人搬送車、ロボット、ラップトップ、タブレット、コンピュータ、ハードディスク、ネットワークカード、楽器、ラケット、ボール、靴、ウェアラブル、衣類、眼鏡、帽子、ネックレス、食品、丸薬、生物の体内(例:血管内、リンパ液内、消化器官内)で動く小型デバイス、及び/又は他のデバイス。タイプ1デバイス及び/又はタイプ2デバイスは、インターネット、インターネットへのアクセスを有する別のデバイス(例えば、スマートフォン)、クラウドサーバ(例えば、ハブデバイス)、エッジサーバ、ローカルサーバ、及び/又はストレージと通信可能に接続されうる。タイプ1デバイス及び/又はタイプ2デバイスは、ローカル制御で動作してもよく、有線/無線接続を介して別のデバイスによって制御されてもよく、自動的に動作してもよく、又は遠隔(例えば、ホームから離れた)中央システムによって制御されてもよい。
一実施形態では、タイプBデバイスは、Origin(タイプ2デバイス、Rxデバイス)及びBot(タイプ1デバイス、Txデバイス)の両方として実行しうるトランシーバとすることができ、即ち、タイプBデバイスはタイプ1(Tx)及びタイプ2(Rx)デバイスの両方(例えば、同時に又は代替的に)、例えば、メッシュデバイス、メッシュルータ等としうる。一実施形態では、タイプAデバイスがBot(Txデバイス)としてのみ、即ち、タイプ1デバイスのみ、又はTxのみ、例えば、単純なIoTデバイスとして機能しうるトランシーバでありうる。これはOrigin(タイプ2デバイス、Rxデバイス)の能力を有しうるが、実施形態では何らかの形でBotとしてのみ機能している。タイプA及びタイプBデバイスは、全てツリー構造を形成する。ルートは、ネットワーク(例えば、インターネット)アクセスを有するタイプBデバイスであってもよい。例えば、それは、有線接続(例えば、イーサネット、ケーブルモデム、ADSL/HDSLモデム)接続又は無線接続(例えば、LTE、3G/4G/5G、WiFi、Bluetooth、マイクロ波リンク、衛星リンク等)を通じてブロードキャストサービスと接続されうる。一実施形態では、タイプAデバイスは全てリーフノードである。各タイプBデバイスは、ルートノード、非リーフノード、又はリーフノードでありうる。
タイプ1デバイス(送信機、又はTx)及びタイプ2デバイス(受信機、又はRx)は同じデバイス(例えば、RFチップ/IC)上にあってもよく、又は単に同じデバイス上にあってもよい。デバイスは、28GHz、60GHz、77GHz等の高周波数帯域で動作しうる。RFチップは専用Txアンテナ(例えば、32個のアンテナ)と専用Rxアンテナ(例えば、別の32個のアンテナ)とを有しうる。
1つのTxアンテナは、無線信号を送ることができる(例えば、おそらく100Hzでのプローブ信号の系列)。代替的に、全てのTxアンテナは(Txにおいて)ビームフォーミングを用いて無線信号を送信するために使用されてよく、その結果、無線信号は(例えば、エネルギー効率のために、又はその方向における信号対雑音比をブーストするために、又はその方向を「スキャンする」ときの低電力動作、又は物体がその方向にあることが知られている場合の低電力動作のために)ある方向に集束される。
無線信号は、ベニュー(例えば、部屋)内の物体(例えば、Tx/Rxアンテナから4フィート離れたベッド上に横たわっている生きている人間、呼吸及び心拍)に当たる。物体の動き(例えば、呼吸数に応じた肺の動き、又は心拍に応じた血管の動き)は、無線信号に影響を与える/変調しうる。全てのRxアンテナは、無線信号を受信するために使用されうる。
(Rx及び/又はTxにおける)ビーム形成は、異なる方向を「スキャン」するために(デジタル的に)適用されうる。多くの方向を同時にスキャン又はモニタリングしうる。ビームフォーミングでは、「セクタ」(例えば、方向、配向、ベアリング、ゾーン、領域、セグメント)は(例えば、アンテナアレイの中心位置に対する)タイプ2デバイスに関連して定義されうる。各プローブ信号(例えば、パルス、ACK、制御パケット等)について、チャネル情報又はCI(例えば、チャネルインパルス応答/CIR、CSI、CFR)がセクタごとに(例えば、RFチップから)取得/演算される。吹き付け検出では、スライディングウィンドウでCIRを収集しうる(例えば30秒、100Hzサウンディング/プロービングレートでは30秒を超える3000 CIRがある場合がある)。
CIRは、多くのタップ(例えば、N1コンポーネント/タップ)を有しうる。各タップはタイムラグ、又は飛行時間(tof、例えば、人間の4フィート離れて背中を打つ時間)と関連付けられうる。ある距離(例えば、4ft)である方向に人が呼吸しているとき、「ある方向」のCIRを探索しうる。次いで、「ある距離」に対応するタップを探索しうる。次いで、そのCIRのタップから呼吸数及び心拍数を演算しうる。
スライディングウィンドウ内の各タップ(例えば、「コンポーネント時系列」の30時間ウィンドウ)を、時関数(例えば、「タップ関数」、「コンポーネント時系列」)と考えることができる。強い周期的挙動(例えば、おそらく10bpm~40bpmの範囲の呼吸に対応する)を探索する際に、各タップ機能を調べることができる。
タイプ1デバイス及び/又はタイプ2デバイスは、外部接続/リンク及び/又は内部接続/リンクを有しうる。外部接続(例えば、接続1110)は、2G/2.5G/3G/3.5G/4G/LTE/5G/6G/7G/NBIoT、UWB、WiMax、Zigbee、802.16等と関連付けられうる。内部接続(例えば、1114A及び1114B、1118、11120)は、WiFi、IEEE 802.11規格、802.11a/b/g/n/ac/ag/af/ah/ai/aj/ax/ay、Bluetooth、Bluetooth 1.0/1.1/1.2/2.0/2.1/3.0/4.0/4.0/4.1/4.2/5、BLE、メッシュネットワーク、IEEE 802.16/1/1a/1b/2/2a/b/b/c/d/e/f/g/h/i/j/k/l/m/n/o/p規格等と関連付けられうる。。
タイプ1デバイス及び/又はタイプ2デバイスは、バッテリ(例えば、AAバッテリ、AAAバッテリ、コインセル電池、ボタン電池、小型電池、電池バンク、電力バンク、車載電池、ハイブリッド電池、車載電池、コンテナ電池、非充電電池、二次電池、NiCd電池、NiMH電池、リチウムイオン電池、亜鉛炭素電池、塩化亜鉛電池、鉛酸電池、アルカリ電池、無線充電器付き電池、スマート電池、太陽電池、ボート電池、プレーン電池、その他の電池、一時エネルギー蓄積装置、キャパシタ、フライホイール)によって電力供給される
任意のデバイスは、DC又は直流(例えば、上述したように、1.2V、1.5V、3V、5V、6V、9V、12V、24V、40V、42V、48V、110V、220V、380V等の様々な電圧を有する、バッテリ、発電機、電力変換器、ソーラーパネル、整流器、DC-DCコンバータからの)によって給電されてもよく、したがって、DCコネクタ又は少なくとも1つのDC電力用ピンを有するコネクタを有しうる。
任意のデバイスは、AC又は交流(例えば、100V、110V、120V、100~127V、200V、220V、230V、240V、220~240V、100~240V、250V、380V、50Hz、60Hz等の様々な電圧を有する、家庭内の壁コンセント、変圧器、インバータ、リシャワー)によって給電されてもよく、したがって、ACコネクタ又はAC電力用の少なくとも1つのピンを有するコネクタを有しうる。タイプ1デバイス及び/又はタイプ2デバイスは、ベニュー内又はベニュー外に配置(例えば、設置、位置付け、移動)されてもよい。
例えば、車両(例えば、自動車、トラック、ローリー、バス、特殊車両、トラクタ、掘削機、掘削機、ショベル、テレポータ、ブルドーザ、クレーン、フォークリフト、電気トロリー、AGV、緊急車両、貨物、貨車、貨車、トレーラ、コンテナ、ボート、フェリー、船舶、潜水艦、航空機、航空機、揚力、モノレール、列車、鉄道車両、鉄道車両等)において、タイプ1デバイス及び/又はタイプ2デバイスは車両に埋め込まれた埋め込みデバイス、又は車両のポート(例えば、OBDポート/ソケット、USBポート/ソケット、アクセサリポート/ソケット、12V補助電源コンセント、及び/又は12Vシガレットライタポート/ソケット)に差し込まれたアドオンデバイス(例えば、アフターマーケットデバイス)であってもよい。
例えば、一方のデバイス(例えば、タイプ2デバイス)は12Vシガレットライタ/アクセサリポート又はOBDポート又はUSBポート(例えば、自動車/トラック/車両の)に差し込まれてもよく、他方のデバイス(例えば、タイプ1デバイス)は、12Vシガレットライタ/アクセサリポート又はOBDポート又はUSBポートに差し込まれてもよい。OBDポート及び/又はUSBポートは、(自動車/トラック/車両の)電力、信号及び/又はネットワークを提供しうる。2つのデバイスは、車内の子供/赤ちゃんを含む乗客を共同でモニタリングしうる。それらは、乗客をカウントし、運転者を認識し、車両内の特定の座席/位置に乗客が存在することを検出するために使用されうる。
別の例では一方のデバイスが12Vシガレットライタ/アクセサリポート又はOBDポート又は自動車/トラック/車両のUSBポートに差し込まれてもよく、他方のデバイスは12Vシガレットライタ/アクセサリポート又はOBDポート又は別である。
別の例では、多くのヘテロジニアス車両/ポータブルデバイス/スマートガジェット(例えば、自動誘導車両/AGV、買い物/荷物/移動カート、駐車券、ゴルフカート、自転車、スマートフォン、タブレット、カメラ、記録デバイス、スマートウォッチ、ローラースケート、シューズ、ジャケット、ゴーグル、帽子、アイウェア、ウェアラブル、セグウェイ、スクータ、荷物タグ、清掃機、掃除機、ペットタグ/カラー/ウェアラブル/インプラント)に、多くのタイプA(例えば、タイプ1又はタイプ2)のデバイスが存在してよく、各デバイスは、車両の12Vアクセサリーポート/OBDポート/USBポートに接続、又は車両に内蔵される。ガソリンスタンド、街灯、街角、トンネル、立体駐車場、工場/スタジアム/駅/ショッピングモール/建設現場等の、大きいエリアをカバーするために点在する場所に、もう一つのタイプB(例えば、Aがタイプ2ならBはタイプ1、Aがタイプ1ならBはタイプ2)のデバイスが1つ以上設置されていてもよい。タイプAのデバイスは、TSCIに基づき、位置特定、トラッキング(追跡)、モニタリングが行われうる。
エリア/ベニューは、ローカル接続性、例えば、ブロードバンドサービス、WiFi等を有さないことがある。タイプ1及び/又はタイプ2デバイスは、ポータブルであってもよい。タイプ1及び/又はタイプ2デバイスは、プラグアンドプレイをサポートしてもよい。
ペアワイズ無線リンクは、ツリー構造を形成するデバイスの多くのペアの間で確立されうる。各ペア(及び関連するリンク)において、デバイス(第2のデバイス)は、非リーフ(タイプB)でありうる。他のデバイス(第1のデバイス)は、リーフ(タイプA又はタイプB)又は非リーフ(タイプB)でありうる。リンクにおいて、第1のデバイスは、無線マルチパスチャネルを介して第2のデバイスに無線信号(例えば、プローブ信号)を送信するためのbot(ボット)(タイプ1デバイス又はTxデバイス)として機能する。第2のデバイスは、無線信号を受信し、TSCIを取得し、TSCIに基づいて「リンクワイズ分析値(linkwise analytics)」を演算するためのOrigin(Origin)(タイプ2デバイス又はRxデバイス)として機能しうる。
本教示の1つの目的は、単一のアンテナのみを有し、20MHzの2.4GHzチャネル上にあるものを含む、任意の低コストのWi-Fi対応IoTデバイス上で非接触睡眠モニタリングを可能にすることである。最新の睡眠モニタリングアルゴリズムは睡眠を推測し、段階的にするために、動き及び呼吸数を推定する。しかしながら、睡眠推定は、40MHz以上の帯域幅を有する5GHzチャネルに対してのみ確実に機能し、20MHzの2.4GHzチャネルに対してはほとんど機能しない。いくつかの実施形態では、本教示は、動き検出のみに頼り、睡眠モニタリングのための呼吸推定の必要性を回避する。動き検出は、極めて効率的かつ正確であり、任意のIoT上で実行可能であることが実証されている。重要な洞察は、ポスターの変化、肢の動き、頭の動き等、不随意の睡眠中運動(BMS)を起こすことである。これらの運動は、日中の随意運動とは異なる挙動パターンを示す。時折、瞬間的、及び弱いが、これらのBMSは、Wi-Fiベースの動き検出によって、依然として正確に捕捉されうる。この観察に基づいて、本教示は、任意のWi-Fi IoTデバイス上で動作しうる、睡眠中体動に基づく睡眠モニタリングシステム、AnySleepを開示する。
いくつかの実施形態では、AnySleepは、最初に、微小動き(微動)と呼ばれるブーストされた動きインジケータを導入し、これは無視できる演算オーバヘッドを生じさせながら、既存の動き統計値よりもより確実に微小BMS動きを捕捉しうる。検出された動きの時系列に基づいて、AnySleepは、まず、ユーザの存在及び活動性を分析する。次いで、それは、夜間の典型的なBMSの独特の挙動パターンを調査することによってBMSを検出する。次いで、システムは、推定された存在及び活動性情報に基づいて睡眠尤度として更に洗練されるBMSスコアを演算しうる。最後に、反復探索アルゴリズムは最も可能性の高い睡眠期間を認識し、発見的指標を使用して睡眠の質を評価するように設計される。
挙動静止、即ち随意運動挙動の欠如は、睡眠の本質的な特徴である。しかしながら、人々は睡眠中に(非常に多くの)動き、これは、わかりにくく、幾分直観に反する事実である。睡眠姿勢を変えるだけでなく、頭、手・腕、足等を動かす。これらは全て、睡眠中体動(BMS)と呼ばれることがあるかなりの量の運動をもたらす。臨床研究によれば、健康な成人は通常、平均して、10倍の大きな姿勢変化、及び1晩又は更に数百回の小さな体の動きを経験し、これは、夜間及び被験者間で確かに変動する。
いくつかの実施形態では、開示される動き検出が実際の製品として商業化されているWiFi信号を使用する最も感度が高くロバストな動き検出器であるWiDetectに基づくことができる。しかし、睡眠中の小さな不随意運動を捕捉するために、システムは、運動感度を最適化することによって微小動き検出のためのWiDetectを強化した。
Wi-Fiデバイスのペア間の無線チャンネルが与えられると、時間tにおいて測定された周波数fを有するサブキャリアのための理想的なCSI推定は
と表すことができ、ここで、
l(t)及びτ(t)は、それぞれ、l番目のマルチパス成分の複素振幅及び伝搬遅延を表す。実際のWi-Fiシステムにおけるタイミング及び周波数同期誤差のために、測定されたCSIは有意な位相オフセットを含み、
となり、ここで、α(t)及びβ(t)は、それぞれ、時間tにおけるランダムな初期位相オフセット及び線形位相オフセットである。簡潔にするために、H(t,f)は、以下では
の実測値に依然として使用される。
位相情報は、ひどく歪んでおり、キャリブレーションすることは自明ではないので、主に、動き検出のために測定されたCSI振幅を利用しうる。それにもかかわらず、導出された動き統計値は、それが適切にクリーニングされる場合、位相情報を組み込むように直接拡張されうる。CSI測定H(t,f)の電力応答を
と表記する。WiDetectは動き統計値(motion statistic)と呼ばれ、CSIの自己相関関数(ACF)から演算しうる、周囲の動きの存在及び強度を示すために、[0,1]の範囲内の新規メトリックを定義する。具体的には、サブキャリアf上の動き統計値が(簡潔にするために時間tの概念を省略して)以下で定義される:
簡単に言えば、動きの存在下では
を有することができ、一方、環境中に動きがない場合は
を有しうる。したがって
は、動作の電力応答と測定雑音によってのみ決定され、環境、場所、方向、及び物体等とは無関係で動作の存在の良好な指標を実用的に証明可能に具現化する。上記の式では、チャネルサンプリングレートが実際には制限されているため、
の近似としてACFの最初のサンプル
を使用できる。いくつかの実施形態では、動き検出のための適切な閾値を理論的に決定しうるように、全てのサブキャリアにわたる平均が、全体の動き統計値
とみなされる。
デバイスの配置及び被験者からトランシーバまでの距離に応じて、平均化された動き統計値は、CSI測定雑音のために、非常に小さな動き(例えば、睡眠中の小さな身体の動き)にセンシティブでないことがある。したがって、システムは、AnySleepシステムが睡眠中に身体の動きを確実にセンシングしうるように、動き信号を最大化しうる。いくつかの実施形態では、最大比合成(MRC)が等ゲイン平均化の代わりに、個々のサブキャリア上で演算された動き統計値を最適に合成するために実行されうる。MRCは複数の受信信号を最適な方法で合成することによって、SNRを最大化する一般的なダイバーシティ融合方法であり、これは、無線通信、最近では無線センシングにおいて広く使用されている。特に、異なるサブキャリア上のACFは本質的に同期され、時間起点から独立しており、異なるサブキャリアの雑音分散は同じであり、したがって、MRCを適用するための条件を満たす。固定数のF個のサブキャリアが与えられると、動き信号は、以下のように動き統計値を組み合わせることによって最大化される:
、ここでw(f)はチャネル利得に依存する、複数のサブキャリアを組み合わせるための最適な重みを表す。演算された動き統計値自体は各サブキャリアに対するチャネル利得としての役割を果たすことができ、したがって、合成のための最適重み、即ち
として使用されることができる。
次に、微小動き検出のためのブーストされた動き統計値を、最大化ACF
の第1のサンプルとして再度推定しうる。実際には、全てのF個のサブキャリアを融合する代わりに、全ての
をソートし、MRCのための最大動き統計値のK個のサブキャリアを選択しうる。これは、
の組み合わせの値を更に増加させる。
ブーストされた信号の1つの問題は、動きがない場合の雑音レベルに関するものである。前述のように、動きが存在しない場合、平均化された動き統計値φは0に近似し、したがって、動き検出のために理論的閾値を効果的に得ることができる。しかしながら、最適化された微小動き統計値
は、運動信号をブーストするだけでなく、雑音(非関心の環境ダイナミクスを含む)をある程度拡大する。このため、
のレベルは空の環境では必ずしも0に近づくとは限らないが、機器の雑音や環境条件によっては0以上のレベルになる場合がある。幸いにも、雑音レベルを自動的かつ適応的に推定し、微小動き検出のための適切な閾値を決定する機構を考案しうる。
図1は、開示された微小動きが正規の動き統計値と比較して動き値をブーストし、信頼できる連続的なBMS検出のための基礎を支えることを示す、睡眠データの例を図示する。
睡眠期間をトラッキングするための1つの開示されたアプローチは、睡眠中の身体の動きを識別することである。睡眠中体動は、日中のアクティビティ動作と区別しうる明確なパターンを示すことができる。したがって、システムは、BMSパターンを用いて時間帯を検出することによって、睡眠期間を認識しうる。しかしながら、重要な課題はBMSを正確に、ロバストに、かつ効率的に検出する方法である。
図2は、睡眠中体動の例を示す。見られるように、日常の動きと比較して、BMSは(1)一過性であるように見える:動きがBMSに起因して生じるが、通常、非常に短時間しか持続せず、環境は、さもなければ、動きなしで静かである;(2)有意な:BMSに起因する動きはほとんど静かな睡眠時間において顕著であり、日中の大きな動きに匹敵する、かなり高い動き統計値を主に生じさせる;及び(3)まばらな:睡眠中体動を伴うモーメントは睡眠期間全体を通じてまばらである。その結果、BMSによる動きはスパイクで疎なパターンを示し、これはBMS検出のための独特の特性であることが分かった。
BMS検出をスパイキーピーク検出問題として定式化しうる。BMSの上記特性を考慮して、BMS動作ピーク検出のための以下の制約を考案しうる。第1に、最小ピーク高さは、最大動作が最小ピーク高さよりも大きいことが要求されることを意味する。第2に、最大ピーク幅は、BMSの1回に起因する形成された動作ピークが狭く、スパイキーであることを意味する。言い換えれば、ピークはw秒の短時間内に現れ、次いで消失することはずであり、ここで、wは、最大ピーク幅を示す。第3に、分離は、BMSが疎で非連続的であるので、時間ただ1つのピークが存在すべきであることを意味する。第4に、潜在的なピークを超える動作レベルは、理想的には雑音レベル付近で、低くあるべきである。これは、睡眠中の身体の動きを除いて、動きがないという事実を反映している。
図2は、それぞれ、空の状態、睡眠、及び毎日の活動的な動きのケースにおける考えられるピークを示す。見られるように、睡眠時間におけるBMSは、空及び動きのケースと比較して、独特のパターンを示す。
演算を最小限に抑えるために、開示されたBMS検出のための反復アプローチを採用しうる。具体的には、一度に1つの条件を調べることができ、基準が満たされないと停止する。開示されたピーク検出アルゴリズムは完全ではないかもしれないが、BMS検出には十分である。第1に、全ての可能なBMSが検出されるわけではない。例えば、極端に小さいBMS(例えば、口の動き)が欠けている可能性がある。第2に、昼間の活動によって引き起こされるいくつかの動きも検出されうる。しかしながら、目的は、睡眠の全ての単一の体動を検出することではなく、睡眠期間を検出することである。開示されたBMS検出は、いくつかの欠落及び誤検出があっても、この目標を裏付ける。
いくつかの実施形態では、システムが両方とも(微小)動き統計値に基づいて、存在検出及びアクティビティ検出を実行することもできる。その目的は、人間の存在しない、又は睡眠を考慮するためのアクティビティを伴う期間を排除することである。明らかに、睡眠は、被験者が自発的なアクティビティなしに静かなままであるときにのみ起こりうる。
存在検出は、ユーザが空間内に存在するか否かを検出することである。これは、人間の被験者が長時間完全に静止することができないので、捕捉された動きレベルを検査することによって行うことができる。自発的な動きがあるときはいつでも、それらは、動き統計値によって反映される。ユーザが眠っているときには、潜在的な無意識のBMSが同様に微小動きをトリガしうる。これは移動するターゲットがない環境が空である場合とは異なり、その場合、動き及び微小動き推定の両方はゼロ付近になる。
存在検出のための単純であるが効果的なルールを用いることができる。第1に、システムは、動きと微小動きとを融合することによって動き検出を実行しうる。具体的には、任意の時間tに対して
を有することができ、η及びζはそれぞれ、動き及び微小動き検出のための閾値である。そして、存在インジケータは、動き検出の単純な拡張である。スライディング・ウィンドウ・W
pを時間適用することができ、その中で何らかの動きが検出された場合には、ウィンドウ全体について存在が主張される。これは、人間が突然出現/消失することができず、したがってW
pが数分、例えば10分と決定されるという経験的観測に基づく。
アクティビティは、ユーザがアクティブであるときに定義され、比較的集中的な動きをもたらす。したがって、アクティビティ検出は、特定の時間ウィンドウW
A内の検出動作の比率に基づく。具体的には、動作比
が閾値比より大きい限り、アクティビティは、ウィンドウに対してマークされる。|W
A|は、通常、数分(例えば、5分)として選択しうるウィンドウ長を示す。
図4は、24時間の全日にわたる推定された存在及びアクティビティの例である。
いくつかの実施形態では、睡眠の最小単位をWUとして定義して、通常、最も短い仮眠をとることを示すことができる。WUの値は例えば、有意な睡眠が少なくともそのような長い間持続すると仮定して、15分のように、経験的かつ全く任意に決定しうる。次いで、システムは時間をそのようなユニットの多くに分解し、これらのユニットの各々の睡眠尤度を調べることができる。BMSのような動きが多いほど、また、高い動きと連続した動きが少ないほど、睡眠が発生する可能性が高くなる。それに対応して、睡眠尤度推定はまた、動き統計値及びBMS検出に基づく。
単位時間
が時間Tで終了することを考慮すると、システムは最初に、単位についてのBMSスコアを
として演算することができ、ここで、|W
U|
及び
は、ウィンドウ
のN
U秒内に検出されたBMSの長さを表す。図3は、算出されたBMSスコアの実例を示す。見られるように、日中に非ゼロBMSスコアが存在時間が実際の睡眠期間に対応するBMSスコアは、より高密度のBMSのおかげで、他の期間よりも著しく高い。
次に、睡眠尤度
を演算することができ、ここで、M
I(t)は、あるウィンドウにわたる動き統計値φ(t)の平均値で時間tにおける動きの強さである。全時間ウィンドウ
は、各時点tについて同じBMSスコアB
U(t)を特徴とする。重要なことに、BMSスコアは活動の有無にかかわらず、何時でもゼロに設定されるが、それは再び、睡眠、したがって、ユーザが自発的に活動しているか、又は不在である場合、BMSは起こりそうにないからである。
図5は、推定された睡眠尤度の例示を示す。更に、より良い推定のために2つのファクタを組み込むことができる。まず、最小尤度値を適応閾値として用いることにより、睡眠尤度を2値として量子化しうる:
、ここで
は指標関数である。
は量子化のための睡眠尤度閾値を示し、
は時間Tで終了し、潜在的に実際の睡眠期間全体をカバーする、より大きな観測ウィンドウである。第2に、動き検出結果に基づいて動きペナルティを定義しうる。動きペナルティは動きが検出された瞬間(即ち、φ(t)>η)にのみ前者が適用されるので、動き強度とは異なり、後者は、全ての単一の時点tについて常に存在する平均動き統計値φ(t)である。上記の2つの追加的なファクタを用いると、各時点tについての最終的な睡眠尤度は
となり、ここで、pは運動の存在下での一定の運動ペナルティであり、
は、運動の存在の指標関数である。図5は、最終的な睡眠尤度推定の例示を示す。簡潔にするために、L(t)は、今後もL'(t)に対して使用される。
観察窓
が与えられると、睡眠尤度値
の時系列を有しうる。ウィンドウ
は潜在的な睡眠期間があればそれをカバーしうるように、より大きいもの、例えば、1日の動きデータである。残りのタスクは、推定された睡眠尤度に基づいて睡眠期間全体を認識することである。これは
内で、積分睡眠の可能性を最大にする周期P
*を見つけることで実現できる。最初に、最大積分睡眠尤度値を特徴とする1時間セグメントの各々がk個の初期期間を識別しうる。次いで、睡眠認識アルゴリズムは識別されたセグメントの各々から開始し、ステップサイズsで、前及び後の時間に反復的に拡張する。システムが最初に探索のために上位k個のセグメントを選択する理由はまれに最大のセグメントが誤った高い値であり、実際の睡眠期間から外れる可能性があるからである。期間P
iの総睡眠尤度は、時間睡眠尤度の合計、即ち
として演算される。
大多数の人々の睡眠時間は、一般的な範囲、例えば、1日当たり約7~8時間である。したがって、非現実的な長い又は短い睡眠期間を回避するために、システムは、通常の睡眠の典型的な分布を考慮することによって、オリジナルの総睡眠尤度Qを調整しうる。具体的には、システムが医学文献において報告された通常の睡眠時間に基づいてガウス分布を構築しうる。そして、検討中の期間Piが正規分布の3σ帯外である場合には、算出された総スコアQ(P*)に対して、対応する確率の減弱係数が適用される。
最後に、最も可能性の高い周期P
*は、総スコアQ(P
*)を最大化するものとして見出される。P
*は、総スコアQ(P
*)がある閾値よりも大きい場合、検出された睡眠時間として主張される。AnySleepのいくつかの実施形態では、所与のウィンドウ
に対して最大1つの睡眠期間が検出される。ユーザが睡眠中に目覚め、次いで再び睡眠する場合、2つの睡眠期間は、1つの睡眠として自動的に組み合わされ、起床時間は、次に詳述するように、対応する睡眠サマリに反映される。睡眠認識の実例は、図5に示される。
認識された睡眠期間について、いくつかの睡眠関連特性が評価され、報告される。これらは、開始時間(即ち、ベッド/睡眠までの時間)、終了時間(即ち、起床時間)、睡眠持続時間、睡眠中の起床時間、睡眠中の起床時間等を含む。ほとんどの特性は、検出された睡眠期間に基づいて演算するのに簡単である。覚醒時間は、睡眠中の活動を観察する持続時間として推定され、起床回数は、検出された非連続活動期間の数である。睡眠の質を示すために睡眠スコアを演算することもできる。睡眠スコアを演算することは、複雑なタスクであり、これは1つだけが動き情報を有する場合には更に困難である。BMSに関する豊富な研究にもかかわらず、BMSから睡眠スコアを演算するための確立された公式が欠けている。AnySleepでは、より長い1つの睡眠及びより静かな(即ち、より少ない動き)1つの経験があるという直感に基づいて、本教示は以下のような経験式を開示する:
ここで、Dは時間単位の睡眠時間であり、
は動作インジケート覚醒度であり、
は動作活性度である。動き統計値は、大部分が環境に依存しないので、低運動閾値η
low=0.35、高運動閾値η
high=0.5を経験的に設定しうる。αは、演算された睡眠スコアが特に健康な被験者の正常な睡眠について、大抵は妥当な範囲にあるように、経験的に決定される一定の重み係数である。
上記は特定の時間ウィンドウが与えられたときに、動き観察を用いて、可能な睡眠期間を検出する方法を示す。実際には、動きデータはリアルタイムで入力され、したがって、アルゴリズムは睡眠トラッキング結果を更新するために、しばらくごとに(例えば、ユーザの好みに応じて10分ごとに)実行する必要がある。そのためには、観測ウインドウのWOを時間的にスライドさせ、現時点で終わる最新のデータをインプットとして取り込むことができる。任意のウィンドウWOが与えられると、開示された睡眠トラッキングアルゴリズムは、潜在的な睡眠周期を検出して出力するか、又はその中で睡眠なしをアナウンスする。スライディングステップがウィンドウサイズよりもはるかに小さいので、スライディングウィンドウは重なり合い、潜在的に競合する検出結果をもたらす。言い換えれば、同じ睡眠期間をカバーする複数の時間ウィンドウは完全に又は部分的に、異なる睡眠情報を出力しうる。
リアルタイムシステムでの睡眠トラッキングを扱い、上記の問題に対処するために、時間Tで終了するウィンドウ
を考慮し、睡眠期間
が検出されると仮定する。前述のように、
は検出された就寝までの時間(即ち、開始時間)、起床までの時間(即ち、終了時間)、他の睡眠サマリー情報、特に、検出された睡眠期間の睡眠尤度スコアを含むべきである。開示されたAnySleepシステムは
として示される、検出された睡眠期間のリストを維持することができ、ここで、
は、観測ウィンドウ
が与えられた検出された睡眠期間である。いくつかの実施形態では、次いで、AnySleepは、オンライン更新を実行して、所与の時間期間の間、1つのみの最も可能性の高い睡眠期間を確認する。
具体的には新たな睡眠期間
が検出されるたびに、例えば、現時点の時間T
Cで終了する直近の時間ウインドウについて、睡眠期間は
と重複する、以前に検出された全ての期間と比較される。
は、その睡眠尤度スコアがその重複する全ての睡眠期間の中で最大である場合にのみ、履歴リスト
に追加される。このような場合、
の重複する睡眠期間は全て古くなり、
から外れることになる。それ以外の場合、
は破棄され、
は変更されない。このようにすることで、
で維持される期間はこれまで最も可能性の高い検出となり、リアルタイムのユーザクエリにユーザに反映されることになる。最後に、
の睡眠セグメントは対応する終了時間が現在の観測ウィンドウの開始時間よりも早くなると、最終的に確認され、更新されなくなる。
は当該時間の間、それ以上の睡眠期間を検出することができないためである。
いくつかの実施形態では、AnySleepシステムは、非常にいくつかのパラメータ及び閾値を含むが、システムはいくつかの主要なパラメータを自動的に適応的に決定しうる。
第1に、空のレベルの微動の場合、十分に長い観測時間(例えば、一日中)にわたって、ユーザが存在しないか、又は依然として/準静止している時間が少なくともあると安全に仮定しうる。そのような期間は空の場合として扱うことができ、対応する動き測定値は、微小動きのための基準空レベルを推定するために利用しうる。そうするために、システムは最低の動きを経験し、動き統計値のいずれも閾値を超えない(即ち、動きが発生しない)1日を通じて特定の期間を見つけることになる。次いで、システムは、この期間内の平均運動を空の微小動きレベルとして推定することができ、空の微小動きレベルは、次いで、オリジナルの微小動き推定値から減算される。
第2に、モーション/微動閾値について、システムはユーザが存在しない場合に、モーションレベルを参照して適応モーション/微動閾値を決定しうる。したがって、システムは、一日を通じて最も可能性の高い「空の」期間を依然として見つけることができる。平均運動レベルを使用する代わりに、システムは、ここで、空のウィンドウの最大動き統計値/微小動きを、動き/微小動きのための適応閾値として検出する。
第3に、履歴を活用するために、空の環境内の動き/微動レベルは異なる環境内及び異なるデバイス上でわずかに変化しうるが、特定のシステムが特定のサイトに展開されると、値は一貫しているべきである。したがって、実際の展開では推定された空のレベル、閾値、及び他のパラメータは、時間とともにあまりにも大きく変化すべきではない。この観測結果から、過去の推定値を考慮することにより、より保守的な方法でパラメータを更新しうる。具体的には、どのパラメータγについても、
のように最新の値を更新しうる。ここで、γ
iは現時点の観測値に基づく推定値、γ
i-1は以前に決定された値、β
γはローパス平均係数である。そうすることによって、システムはまた、自動パラメータ選択によって生成される外れ値を回避しうる(例えば、ユーザがある日を通じて非常にアクティブである場合、間違った動き閾値が推定されうる)。
図6は、本教示の一実施形態による、物体の動き又は睡眠の動きがベニューで検出される例示的なシナリオを示す。図6は、WiDetect、AnySleep、又は本明細書で説明される任意の動き検出システムに使用されうるセットアップを示す。例えば、図6に示すように、2ベッドルームのアパートメント600において、オリジン601は、リビングエリア602に配置され、ボット1 610は、ベッドルーム1エリア612に配置され、ボット2 620は、ダイニングルームエリア622に配置される。ボット1 610及びボット2 620の各々は、無線信号に基づいて無線マルチパスチャネルのチャネル情報を取得しうる無線信号を、オリジン601に送信しうる。オリジン601はそれ自体で、又は動き検出器のような第3のデバイスを通じて、チャネル情報に基づいて動き情報を演算し、動き情報に基づいて物体/ユーザの動き/アクティビティを検出しうる。即ち、オリジン601は、それ自体で、又は動き検出器のような第3のデバイスを通じて、ボット1 610及び/又はボット2 620によって送信された無線信号に基づいて、物体/ユーザの動き/アクティビティを検出しうる。
いくつかの実施形態では、物体の動きが、ボット1 610及びボット2 620の両方によって送信された無線信号に基づいて検出される場合、活動/動き又は物体(例えば、人/ユーザ)はリビングルームエリア602内にありうる。物体の動き、例えば、睡眠の動きが、ボット1 610によって送信された無線信号のみに基づいて検出される場合、活動/動き又は物体(例えば、人/ユーザ)は寝室1エリア612内にありうる。物体の動き/アクティビティがボット2 620によって送信された無線信号のみに基づいて検出される場合、アクティビティ/動き又は物体(例えば、人/ユーザ)は、食堂エリア622内にありうる。ボット1 610又はボット2 620のいずれかによって送信された無線信号に基づいて、物体の動き/アクティビティを検出することができない場合、誰も、アパートメント600内に物体がないと決定されうる。
図7は、本開示のいくつかの実施形態による、無線ベースの睡眠トラッキングのための例示的な方法700を示す。図7に示すように、方法700は、自動閾値選択モジュール710と、体動検出モジュール720と、睡眠尤度推定モジュール730と、睡眠期間認識モジュール740と、睡眠スコア演算モジュール750と、睡眠ステージングモジュール760とを含む睡眠トラッキングモジュール701によって実行される。
自動閾値選択モジュール710は、例えば、図6に示されるように、無線動き検出に基づいて、動き統計、微小動きデータ、及びオプションで呼吸数の入力を取得できる。いくつかの実施形態では、睡眠トラッキングモジュール701は、任意の時間長を有する入力をとることができるが、入力が睡眠期間全体をカバーする場合、最良の結果を生成する。いくつかの実施形態では、開示された方法は、ユーザからのいかなる入力(例えば、定期就寝時刻、人数)も必要としない。体動検出モジュール720及び睡眠尤度推定モジュール730の後、睡眠期間認識モジュール740において睡眠期間を認識しうる。いくつかの実施形態では、睡眠期間認識モジュール740は、ベッドに行く時間、起床時間、及びモニタリング及びトラッキングされた睡眠中動作の睡眠持続時間を含む出力を生成しうる。睡眠スコア演算モジュール750は、例えば睡眠の質を示すために、睡眠スコアを演算し、出力として生成しうる。いくつかの実施形態では、睡眠ステージングモジュール760は、覚醒時間及びライト/ディープ睡眠ステージを含む出力を生成することによって睡眠ステージングを決定しうる。
いくつかの実施形態では、2人の睡眠が無差別に治療することができ、方法700は、1つの共有された就寝までの時間及び起床までの時間のみを出力しうる。いくつかの実施形態では、方法700が動き検出のために5GHz及び2.4GHz無線信号の両方をサポートすることができ、一方、5GHz無線信号はより良好な性能を有する。
図8は、本開示のいくつかの実施形態による、睡眠モニタリング及びトラッキングのための例示的な統合された方法800を示す。図7の方法700と比較して、方法800は、特定の期間における呼吸数推定(bratio)が動き統計値、モクロモーションデータ、及びオプションで呼吸数の入力に基づいて演算され、次いで閾値bratio_thと比較される、決定ステップ802を含む。bratio>bratio_th である場合、即ち、呼吸数が良好である場合、方法800は、睡眠モニタリングプロセス804に進む。そうではない場合、方法800は、図7の方法700に関して上述したように実行されうる睡眠トラッキングプロセスに進む。
図9は、本開示のいくつかの実施形態による、無線ベースの睡眠トラッキングのための例示的な方法900のフローチャートを示す。様々な実施形態では、方法900が上記及び本明細書に開示されるシステムによって実行されうる。動作902において、第1の無線信号が、ベニュー内の無線マルチパスチャネルを介して送信される。動作904において、第2の無線信号が無線マルチパスチャネルを介して受信され、第2の無線信号は、ベニュー内の物体の睡眠中動作による影響を受ける無線マルチパスチャネルに起因して、第1の無線信号とは異なる。動作906において、第2の無線信号に基づいて、無線マルチパスチャネルの時系列のチャネル情報(TSCI)が取得され、TSCIの各チャネル情報(CI)はN1個のコンポーネントを備え、N1は1よりも大きい正の整数である。動作908において、TSCIのN1個の成分のうちの1つにそれぞれ関連付けられたN1個の成分ごとの分析が演算される。動作910において、N1個のコンポーネントワイズ分析値の中から、大きさ上位N2個のコンポーネントワイズ分析値が識別され、ここで、N2は、N1未満の正の整数である。動作912において、少なくとも1つの第1の動き統計値が、TSCIの大きさ上位N2個の成分ごとの分析に基づいて演算される。動作914において、少なくとも1つの第1の動き統計値に基づいて、物体の睡眠中動作がモニタリングされる。図9の動作の順序は、本教示の様々な実施形態に従って変更しうる。
いくつかの実施形態では、本教示が2つの動き統計値を使用するが、呼吸統計を使用しない睡眠トラッキングのためのシステム及び方法を開示する。例示的な方法は、以下のステップを含む。第1に、システムは、TX-RXの各ペアについて、動き統計(MS)を演算しうる。次いで、システムは、各TX-RXリンクについて、微小動き統計値(MM)を演算しうる。システムはMS及びMMのための閾値の自動(例えば、動的、適応的、又は周期的)選択を実行しうる。いつでも、システムはMMからL1を減算することによってMM残差を演算することができ、ここで、L1又は「MM空-mrc-動きレベル」は物体(例えば、人又はユーザ)が存在せず、ベニューがMMに関して「静か」であるときのMMのDCレベルの推定値でありうる。これは、物体の存在の予備スクリーンにおいて使用されてもよい。これはmin{mean(MM[w]):期間内の全てのウィンドウw}であってもよく、ここで、ウィンドウサイズは30分、60分、又は90分であってもよく、ここで、「mean」は重み付け平均であってもよい。いくつかの実施形態では、L1が定期的に(例えば、1日に1回)更新されうる。それは、現在の値と過去の(又は将来の)いくつかの値との重み付き平均でありうる(例えば、おそらく雑音を抑制するために、連続性のためにローパスフィルタリングされうる)。
いくつかの実施形態では、例えば、システムはMS>T1又はMM>T2のいずれかである場合、動きを検出しうる。T1又は「MS閾値」又は「T_MS」は、物体が存在しないときのMSレベルの推定値でありうる。これは、max{MS[arg min(mean(MS[w]))]}でありうる。期間(例えば、24時間)におけるMSの各スライディングウィンドウの平均(例えば、5、10、15、20、25、又は30分等)を演算し、人/ユーザが存在しない「静かである」ウィンドウであるべき最小の平均を有するスライディングウィンドウを識別し、ウィンドウ内のMSの最大値を演算しうる。T_MSは、数量を減算又は加算することによって調整されうる。T2又は「MM閾値」又は「T_MM」は、物体が存在しないときのMMレベルの推定値でありうる。max{MM[arg min(mean(MM[w]))]}であってもよい。
任意のスライディング時間ウィンドウについて、システムは、動きがスライディングウィンドウ内の任意の時間スタンスで検出される場合、スライディングウィンドウ内の物体の存在を演算しうる。任意のスライディング時間ウィンドウについて、システムは動きが検出されたスライディングウィンドウ内の時間インスタンスの量が閾値(例えば、スライディングウィンドウ内の全ての時間インスタンスの30%)を超える場合、スライディングウィンドウ内の活動を検出しうる。システムは、(i)ピークMM>T3、(ii)「right_base」-「left_base」<T4となるようにMMのピークを識別しうる。(即ち、全てのピークを識別し、次いで、(i)及び(ii)の両方を満たさないピークを排除する)目的は睡眠中に自然に生じる動き、又は「睡眠中体動」(即ち、体の回転/回転又は手/頭/体の動き等の体の動き)に対応するピークを見つけることである。
T3又は「min_peak_height」は、睡眠動作を認定するための閾値である。基本的に、正当な睡眠動作は、小さすぎることはない。それは、min[mean(sorted_MM_res[1:k]),0.5]であってもよく、kは50であってもよい。ある期間(例えば、24時間)内に、閾値は最大のk個(例えば、50個)のMMの平均でありうる。「right_min」又は「right_base」は、T3の下の隣接MMの右側の第1の最小点の時間である。「left_min」又は「left_base」は、T3の下の隣接MMの左側の最初の最小点の時間である。T4又は「min_base_gap」は、睡眠動作を認定するための別の閾値である。基本的に、正当な睡眠動作は、持続時間が長すぎることができない(例えば、2秒以内に終了する)。right_min-left_minは、MMピークに関連する動きの「持続時間」の測度である。
オプションで、システムは、ピークを除去することができ、ピーク突出測定値(最低輪郭に対するピークの高さの測定値)は、閾値よりも大きい。オプションで、システムは互いに近い(例えば、10分以内の)隣接ピークを排除又はマージしうる。いくつかの実施形態では、システムが(上記で定義された)物体の存在がピークの周りの(小さい)窓において検出されない場合、ピークを除去しうる。いくつかの実施形態では、システムが(上記で定義された)活動が(t-デルタ)から(t+デルタ)まで、ピークの周りの(より大きい)ウィンドウ内の「left_base」及び「right_base」を超えて検出された場合、ピーク、例えば、時間tにおけるピークの周りのウィンドウを除去しうる。いくつかの実施形態では、システムがそれが長期間(例えば、90分、2時間、3時間)内の唯一のピーク(例えば、特異なピーク)である場合、ピークを排除しうる。
残りのピークの各時間インスタンスについて、システムは、残りのピークが時間に発生する場合は1として、残りのピークが時間に発生しない場合は0として、睡眠中体動インジケータ(BMS)を演算しうる。各スライディングウィンドウ(例えば、30分の長さ)について、システムはスライディングウィンドウ内の残りのピークをカウントし、残りのピークであるスライディングウィンドウ内の時間インスタンスのパーセンテージとしてBMSスコア(「BMS_score」)を演算しうる。それは、sum(BMS[w])/wであってもよい。各時間インスタンスについて、システムは、BMS及び運動強度測定値に基づいて睡眠尤度スコア(SL)を演算しうる。これは、(1-motion_intensity)*BMS_scoreであってもよい。BMSが多ければ、可能性は高くなるはずである。
各時間インスタンスについて、システムはSL>T5であれば1として睡眠インジケータ(SI)を演算することができ、さもなければ0として、T5はmin(SL(SL>0))、即ち、非ゼロSLの中で最小でありうる。各時間インスタンスについて、システムは、SL及びSIに基づいてテストスコアを演算しうる。それは、SL+SI-motion_penaltyでありうる。1日以内に、システムは、睡眠期間の初期推定値としてテストスコアの最も高い和を有する1時間の期間を見つけることができる。
システムはDelta_Tの増分ステップを用いて、睡眠期間を左及び右に再帰的に(例えば、右に拡張し、次いで左に拡張し、次いで右に拡張する等)拡張しうる。睡眠期間の合計持続時間が正常範囲(例えば、8/9時間;値はユーザの認識に基づいて適応的に調整されてもよく、例えば、小児については8/9/10時間、成人については7/8/9時間、又は高齢者については5/6時間である;値は週の日に基づいて調整されてもよく、例えば、週末又は休日については長く、週の日については短くてもよい)、テストスコアは例えば、デルタ_tは、5、10、15、又はその他(分)であってもよい。再発はテストスコアの合計が減少し始めるとき(即ち、テストスコアが陰性であるとき)に停止しうる。
いくつかの実施形態では、システムが睡眠開始時間(睡眠持続時間の開始時間)、睡眠終了時間(睡眠持続時間の終了時間)、睡眠持続時間(睡眠持続時間の長さ)、睡眠中の中断(睡眠持続時間中に中断が発生する回数)、睡眠中の中断持続時間(又は活動が検出される睡眠持続時間中の時間量である「awake_time_inhor_sleep」)、覚醒時間、及び/又は活動時間等の睡眠分析を演算しうる。
以下の番号付けされた項は、無線ベースの睡眠トラッキングの実装例を提供する。
項1.無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、システムのタイプ1ヘテロジニアス無線デバイスからベニューにおける無線マルチパスチャネルを通じて無線信号を送信することであって、無線マルチパスチャネルはベニュー内の物体の睡眠中動作による影響を受ける、ことと、システムのタイプ2ヘテロジニアス無線デバイスによって無線マルチパスチャネルを通じて無線信号を受信することであって、受信される無線信号は、無線マルチパスチャネル及び物体の睡眠中動作に起因して、送信された無線信号とは異なる、ことと、プロセス、メモリ、及び命令のセットを使用して、受信された無線信号に基づいて、無線マルチパスチャネルの時系列のチャネル情報(TSCI:time series of channel information)を取得することであって、TSCIの各チャネル情報(CI:channel information)はN1個の成分を含む、ことと、TSCIのN1個の成分のうちの1つにそれぞれ関連付けられたN1個のコンポーネントワイズ分析値を演算することと、大きさ上位N2個のコンポーネントワイズ分析値を識別することと、TSCIの大きさ上位N2個のコンポーネントワイズ分析値に基づいて、第1の動き統計値を演算することと、第1の動き統計値に基づいて、物体の睡眠中動作をモニタリングすることと、を含む。
いくつかの実施形態では、CIは、CSI、CFR、CIRでありうる。N1個の成分は、CFRのサブキャリア値、又はCIRのタップ値でありうる。コンポーネントワイズ分析値は、対応する成分の項ごとの乗算であってもよく、例えば、X(t1)及びX(t2)を、時間t1及びt2における2つのCIとし、各CIはN1タプルである。i番目のコンポーネントワイズ分析値は、X1(i)*X2(i)であってよく、ここで、x(i)及びy(i)は、X(t1)及びX(t2)のi番目の成分である。それは、成分ごとの自己相関関数の推定値であってもよい。分析値は、X1(i)*X2(i)の大きさ、又は大きさ特徴(例えば、大きさの関数)であってもよい。それは、同じ時間差(即ち、t2-t1)を有する(t1,t2)、例えば(1,2)、(2,3)、(3,4)の複数のペアの重み付け平均であってもよい。いくつかの実施形態では、第1の動き分析値は、「微小動き(微動)」(MM:micro motion)であってもよい。それは、大きさ上位N2個の成分ごとの分析値の特徴の平均又は重み付け平均であってもよい。当該特徴は、絶対値、大きさ、大きさの二乗等であってもよい。物体は、人であってもよい。「睡眠中動作」は、人が眠っている際の動作を含んでよく、人が眠っていない際の動作も含んでよく、又はベニュー内に人が不在である場合さえも含んでよい。人が不在である場合、動きは存在しなくてもよく、即ち、睡眠中動作はNIL又はゼロであってもよい。
項2.項1の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、(a)閾値に基づいてN1個のコンポーネントワイズ分析値を閾値処理すること、又は(b)N1個のコンポーネントワイズ分析値をソートして大きさ上位N2個のコンポーネントワイズ分析値を見つけること、のうちの1つによって、大きさ上位N2個のコンポーネントワイズ分析値を識別することを更に含む。
項3.項1の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、それぞれタイムスタンプと関連付けられた時系列の第1の動き統計値を演算することと、潜在的な睡眠中体動(BMS:body-motion-during sleep)のセットを演算することであって、各潜在的BMS(PBMS:potential BMS)は、時系列の第1の動き統計値の局大点又は局所ピークである、ことと、PBMSのセットに基づいて、物体の睡眠中動作をモニタリングすることと、を更に含む。
項4.項3の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、PBMS及び時系列の第1の動き統計値に対してBMSテストを実行することと、PBMSがBMSテストに失敗した場合に、当該PBMSを、PBMSのセットから除去することと、を更に含む。
項5.項4の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、大きさ特徴に基づいてBMSテストを実行することを更に含み、PBMSは、PBMSと関連付けられた第1の動き統計値の局所ピークが閾値未満の大きさ特徴を有する場合にBMSテストに失敗する。
項6.項5の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、ある期間における大きさ上位のある個数の第1の動き統計値の大きさ特徴の重み付け平均と、所定の量とのうちの少なくとも1つに基づいて、上記閾値を適応的に演算することを更に含む。
項7.項4の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、PBMSと関連付けられた幅測度に基づいてBMSテストを実行することを更に含み、幅測度が閾値より大きい場合に、PBMSはBMSテストに失敗する。
項8.項7の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、時系列の第1の動き統計値においてPBMSの左に最も近い最小点である左最小点を演算することと、時系列の第1の動き統計値においてPBMSの右に最も近い最小点である右最小点を演算することと、左最小点と右最小点との間の時間差として幅測度を演算することと、を更に含む。
項9.項7の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、第1の動き統計値が第1の目標値を下回る大きさ特徴を有する場合に、時系列の第1の動き統計値におけるPBMSの左に最も近い点である左降下点を演算することと、第1の動き統計値が第2の目標値を下回る大きさ特徴を有する場合に、時系列の第1の動き統計値におけるPBMSの右に最も近い点である右降下点を演算することと、左降下点と右降下点との間の時間差として幅測度を演算することと、を更に含む。
項10.項9の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、第1の目標値及び第2の目標値のうちの少なくとも1つは、所定の閾値、又はPBMSにおける第1の動き統計値のピーク大きさ特徴に基づく適応閾値である。
項11.項10の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、適応閾値は、ピーク大きさ特徴と所定の量との差分、又はピーク大きさ特徴のある割合である。
項12.項4の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、PBMSと関連づけられた高さ測度に基づいてBMSテストを実行することを更に含み、当該高さ測度が閾値未満である場合にPBMSはBMSテストに失敗する。
項13.項12の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、左最小点又は右最小点のうちの少なくとも1つを演算することであって、左最小点は、時系列の第1の動き統計値におけるPBMSの左に隣接する第1の最小点であり、右最小点は、時系列の第1の動き統計値におけるPBMSの右に隣接する第1の最小点である、ことと、PBMSと左最小点との間の第1の動き統計値の大きさ特徴の差分、PBMSと右最小点との間の第1の動き統計値の大きさ特徴の差分、PBMSと左最小点との間の第1の動き統計値の別の大きさ特徴の商、PBMSと右最小点との間の第1の動き統計値の別の大きさ特徴の商、のうちの少なくとも1つに基づいて、高さ測度を演算することと、を更に含む。
項14.項12の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、PBMSからの第1の時間差における、時系列の第1の動き統計値におけるPBMSの左の点である左降下点を演算することと、PBMSからの第2の時間差における、時系列の第1の動き統計値におけるPBMSの右への点である右降下点を演算することと、PBMSと左降下点との間の第1の動き統計値の大きさ特徴の差分、PBMSと右降下点との間の第1の動き統計値の大きさ特徴の差分、左降下点とPBMSとの別の大きさ特徴の商、又は右降下点とPBMSとの別の大きさ特徴の商、のうちの少なくとも1つに基づいて、高さ測度を演算することと、を更に含む。
項15.項4の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、PBMSと関連付けられた幅測度及び高さ測度を演算することと、高さ測度の増加関数及び幅測度の減少関数に基づいて、プロミネンス測度を演算することと、を更に含み、プロミネンス測度が閾値未満である場合にPBMSはBMSテストに失敗する。
項16.項15の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、高さ測度と幅測度との商、差、又は比のうちの少なくとも1つに基づいて、プロミネンス測度を演算することを更に含む。
項17.項4の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、PBMSからの第1の時間差における、時系列の第1の動き統計値におけるPBMSの左の点である左の降下点を演算することと、PBMSからの第2の時間差における、時系列の第1の動き統計値におけるPBMSの左の点である左の境界点を演算することと、PBMSからの第3の時間差における、時系列の第1の動き統計値におけるPBMSの右の点である右の降下点を演算することと、PBMSからの第4の時間差における時系列の第1の動き統計値におけるPBMSの右の点である右の境界点を演算することと、左の降下点、左の境界点、右の降下点、右の降下点、及び右の境界点に基づいて演算された近傍優勢測度に基づいてBMSテストを実行することであって、近傍優勢測度が閾値よりも大きい場合にPBMSはBMSテストに失敗する、ことと、を更に含む。
項18.項17の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、以下のうちの少なくとも1つに基づいて、近傍支配測度を演算することを更に含む:左降下点と左境界点との間の第1の動き統計値の大きさ特徴の最大値、右降下点と右境界点との間の第1の動き統計値の大きさ特徴の最大値、左降下点と左境界点との間の第1の動き統計値の大きさ特徴のパーセンタイル点、右降下点と右境界点との間の第1の動き統計値の大きさ特徴のパーセンタイル点、左降下点と左境界点との間の第1の動き統計値の大きさ特徴のパーセンタイル点の、ある個数の重み付け平均、右降下点と右境界点との間の第1の動き統計値の大きさ特徴の、ある個数のパーセンタイル点の重み付け平均。
項19.項17の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、以下のうちの少なくとも1つが真である:第2の時間差が第4の時間差に等しい、第1の時間差が第3の時間差に等しい、第1の時間差と第3の時間差の両方が所定の量である、第2の時間差と第4の時間差の両方が所定の量である、第2の時間差と第4の時間差の両方が所定の量である、左の降下点が、時系列の第1の動き統計値においてPBMSの左に最も近い最小点である、右の降下点が、時系列の第1の動き統計値においてPBMSの右に最も近い最小点である、左の境界点が、ローパスフィルタリングされた時系列の第1の動き統計値においてPBMSの左に最も近い最小点である、
右の境界点が、ローパスフィルタリングされた時系列の第1の動き統計値においてPBMSの右に最も近い最小点である。
項20.項4の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、上記期間における第1の動き統計値に基づいて、PBMSの周りの期間における物体の存在を検出することと、物体の存在検出に基づいてBMSテストを実行することと、を更に含み、上記期間において物体の存在が検出されない場合にPBMSはBMSテストに失敗する。
項21.項20の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、第1の動き統計値に基づいて、上記期間中の各時間における物体の動きを検出することを更に含み、上記期間中の任意の時間において物体の動きが検出された場合に、上記期間中に物体の存在が検出される。
項22.項21の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、物体の動きは、ある時間の第1の動き統計値が第1の閾値よりも大きいか、又はTSCIに基づいて演算された当該時間の第2の動き統計値が第2の閾値よりも大きい場合に、当該時間に検出される。
項23.項22の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、第1又は第2の動き統計値のいずれかについて、時系列の動き統計値のフィルタリング、動き統計値の重み付け平均化、フィルタリング後の最小化、重み付け平均化後の最小化、フィルタリング後の最小化、又は、重み付け平均化後の最小化、特定のスライディング時間ウィンドウ内の動き統計値の最大値のうちの少なくとも1つに関連付けられた特定のスライディング時間ウィンドウ、のうちの少なくとも1つに基づいて、それぞれの閾値を演算する。
項24.項4の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、上記期間における第1の動き統計値に基づいて、PBMSの周辺の期間における物体の非睡眠アクティビティを検出することと、物体の非睡眠アクティビティの検出に基づいて、BMSテストを実行することと、を更に含み、上記期間において物体の非睡眠アクティビティが検出された場合にPBMSはBMSテストに失敗する。
項25.項24の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、第1の動き統計値に基づいて、上記期間中の各時間における物体の動きを検出することであって、当該時間における第1の動き統計値が第1の閾値よりも大きいか、又はTSCIに基づいて演算された当該時間における第2の動き統計値が第2の閾値よりも大きい場合に、物体の動きが当該時間において検出される、ことと、物体の動きが検出される上記期間における時間のパーセンテージを演算することであって、当該パーセンテージが閾値よりも大きい場合に、物体の非睡眠アクティビティが上記期間において検出される、ことと、を更に含む。
項26.項4の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、PBMSと直近の過去のPBMSとの間の時間差に基づいてBMSテストを実行することを更に含み、当該時間差が閾値未満である場合に、PBMSはBMSテストに失敗する。
項27.項4の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、PBMSと隣接PBMSとの間の時間差に基づいてBMSテストを実行することと、当該時間差が閾値未満である場合に、PBMSと隣接PBMSとをマージすることと、を更に含む。
項28.項4の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、ある期間の時系列の睡眠尤度(TSSL:time series of sleep likelihood)を演算することであって、各睡眠尤度(SL)はある時間と関連付けられ、各SLは当該時間における動き強度と、当該時間と関連付けられた期間におけるPBMSのカウントとに基づいて演算される、ことと、上記期間の時系列の睡眠インジケータ(TSSI:time series of sleep indicator)を演算することであって、各睡眠インジケータ(SI)はそれぞれのSLと閾値との比較に基づいて演算され、TSSL及びTSSIに基づいて物体の睡眠中動作をモニタリングする、こととを更に含む。
項29.項28の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、上記期間にわたる時系列のテストスコア(TS:testing score)を演算することであって、各TSが、SLと、SIと、大きな動き強度に対するペナルティとに基づいている、ことと、上記期間を、ある個数の重複しない時間単位に分割することと、各時間単位にわたるテストスコアの総和を演算することと、時間単位のうちで、テストスコアの総和が最も大きい時間単位を識別し、睡眠期間を時間単位として初期化し、総テストスコア(TTS:total testing score)を、テストスコアの関連する最大の総和として初期化することと、睡眠期間の右又は左のいずれかに、隣接するインクリメント時間ウィンドウを追加することによって、睡眠期間を反復的に拡張し、インクリメント時間ウィンドウと関連付けられたTSをTTSに追加することによって、TTSを反復的に更新することと、各反復において、睡眠期間が、物体の典型的な睡眠持続時間に近づく又はそれを超える持続時間を有する場合に、TTSにペナルティを追加することと、停止基準に基づいて反復を停止することと、睡眠期間と、TTSと、TSと、PBMSと、睡眠期間における第1の動き統計値とに基づいて、物体の睡眠中動作をモニタリングすることと、を更に含む。
項30.項29の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、睡眠期間、TTS、及びTS、睡眠期間におけるPBMS及び第1の動き統計値に基づいて、睡眠分析値を演算することを更に含み、睡眠分析値は、睡眠開始時間、睡眠期間の開始時間、睡眠覚醒時間、睡眠期間の終了時間、睡眠持続時間、睡眠期間の総持続時間、睡眠中の中断の量、睡眠期間中の非睡眠アクティビティのカウント、睡眠期間中のトイレ訪問のカウント、睡眠中の中断の総持続時間、睡眠期間中のトイレ訪問の総持続時間、体動の量、睡眠期間中のPBMSのカウント、睡眠中の覚醒時間の量、睡眠中の覚醒時間の持続時間、睡眠スコア、睡眠品質スコア、動きファクタ、動き覚醒度、
第1の動き分析値、TSCIに基づいて演算された第2の動き分析値、SL、SI、TS、導関数又は積分が、睡眠期間中の閾値より大きい時間のパーセンテージ又は量、
第1の動き分析値、第2の動き分析値、SL、SI、TS、導関数又は積分が、睡眠期間中の閾値未満である時間のパーセンテージ又は量、
のうちの少なくとも1つを含む。
項31.項1の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、N1個のコンポーネントワイズ分析値の各々は、TCSIのCIのペアに基づくペアワイズ分析値であり、TSCIのCIのペアのそれぞれの成分に基づいて、N1個のコンポーネントワイズ分析値の各々を演算することを含む。
項32.項31の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって。CIのペアのそれぞれの成分の乗算に基づいて、各コンポーネントワイズ分析値を演算することを含む。
項33.項32の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、各コンポーネントワイズ分析値は、CIのペアのそれぞれの成分の、コンポーネントワイズ相関の推定値である。
項34.項31の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、N1個のコンポーネントワイズ分析値の各々は、TCSIのCIの複数のペアに基づくペアワイズ分析値であり、CIの複数のペアに基づいてN1個のコンポーネントワイズ分析値の各々を演算することを含む。
項35.項34の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、CIの複数のペアの各々に含まれるそれぞれの成分の、ある個数の乗算積の重み付け平均に基づいて、各コンポーネントワイズ分析値を演算することを含む。
項36.項35の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、CIの複数のペアの全てが、CIのペア間の共通の時間差を有し、各コンポーネントワイズ分析値は、共通の時間差と関連付けられたCIのペアのそれぞれの成分のコンポーネントワイズ相関の推定値である。
項37.項34の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、CIの複数のペアは、時間的に連続しているか又は隣接している。
項38.項1の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、時系列の第1の動き統計値を演算することと、ある期間における時系列の第1の動き統計値に基づいて、当該期間における第1の動き統計値のベースライン値を演算することと、当該期間におけるそれぞれの第1の動き統計値からベースライン値を減算することと、を更に含む。
項39.項38の無線ベースの睡眠トラッキングシステムの方法/デバイス/システム/ソフトウェアであって、2つ以上の期間が存在しており、更に、第1の動き統計値のベースライン値のうちの2つ以上を、各期間に対して1つずつ演算することと、2つ以上のベースライン値のアグリゲーションに基づいて、特定の期間と関連付けられたアグリゲーションベースライン値を演算することと、特定の期間におけるそれぞれの第1の動き統計値から、アグリゲーションベースライン値を減算することと、を含む。
以下の番号付けされた項は、無線ベースの睡眠トラッキングのためのいくつかの例を提供する。
項A1.無線ベースの睡眠トラッキングのためのシステムであって、無線ベースの睡眠トラッキングのための送信機と、無線マルチパスチャネルを通じて第1の無線信号を送信するように構成された受信機と、無線マルチパスチャネルを通じて第2の無線信号を受信するように構成された受信機であって、第2の無線信号は、ベニューにおける物体の睡眠中動作による影響を受ける無線マルチパスチャネルに起因して、第1の無線信号とは異なる、受信機と、プロセッサとを備え、当該プロセッサは、第2の無線信号に基づいて無線マルチパスチャネルの時系列のチャネル情報(TSCI)を取得することであって、TSCIの各チャネル情報(CI)はN1個の成分を備え、N1は1より大きい正の整数である、ことと、TSCIのN1個の成分のうちの1つにそれぞれ関連付けられたN1個のコンポーネントワイズ分析値を演算することと、N1個のコンポーネントワイズ分析値のうちの大きさ上位N2個のコンポーネントワイズ分析値を識別することであって、N2はN1より小さい正の整数である、ことと、TSCIの大きさ上位N2個のコンポーネントワイズ分析値に基づいて、少なくとも1つの第1の動き統計値を演算することと、少なくとも1つの第1の動き統計値に基づいて、物体の睡眠中動作をモニタリングすることと、を行うように構成される。
項A2.項A1のシステムであって、N1個のコンポーネントワイズ分析値の各々を閾値と比較すること、又はN1個のコンポーネントワイズ分析値をソートして大きさ上位N2個のコンポーネントワイズ分析値を見つけること、のうちの1つによって、大きさ上位N2個のコンポーネントワイズ分析値が、以下のうちの1つによって識別される。
項A3.項A2のシステムであって、プロセッサは更に、タイムスタンプと関連付けられた時系列の第1の動き統計値を演算することと、潜在的な睡眠中体動(BMS)のセットを演算することであって、各潜在的BMS(PBMS)は、時系列の第1の動き統計値の局所最大点又は局所ピークである、ことと、PBMSのセットに基づいて物体の睡眠中動作をモニタリングすることと、を行うように構成される。
項A4.項A3のシステムであって、プロセッサは更に、PBMSのセット内の各PBMS及び時系列の第1の動き統計値に対してBMSテストを実行することと、PBMSがBMSテストに失敗した場合に、当該PBMSを、PBMSのセットから除去することと、を行うように構成される。
項A5.項A4のシステムであって、BMSテストは、各PBMSの大きさ特徴に基づいて実行され、PBMSと関連付けられた第1の動き統計値の局所ピークが第1の閾値未満の大きさ特徴を有する場合に、PBMSはBMSテストに失敗し、第1の閾値は、ある期間における大きさ上位のある個数の第1の動き統計値の大きさ特徴の重み付け平均と、所定の量とのうちの少なくとも1つに基づいて、適応的に演算される。
項A6.項A5のシステムであって、BMSテストは、各PBMSと関連付けられた幅測度に基づいて実行され、幅測度が第2の閾値よりも大きい場合にPBMSはBMSテストに失敗する。
項A7.項A6のシステムであって、第1の動き統計値が第1の目標値未満の大きさ特徴を有する場合に、時系列の第1の動き統計値におけるPBMSの左に最も近い点である左降下点を演算することと、第1の動き統計値が第2の目標値未満の大きさ特徴を有する場合に、時系列の第1の動き統計値におけるPBMSの右に最も近い点である右降下点を演算することと、左降下点と右降下点との間の時間差として幅測度を演算することとに基づいて、幅測度が演算される、システム。
項A8.項A7のシステムであって、第1の目標値又は第2の目標値のうちの少なくとも1つは、PBMSにおける第1の動き統計値のピーク大きさ特徴に基づく適応閾値である。
項A9.条A8のシステムであって、BMSテストは、各PBMSと関連付けられたる高さ測度に基づいて実行され、当該高さ測度が第3の閾値未満である場合にPBMSはBMSテストに失敗する。
項A10.項A9のシステムであって、左最小点又は右最小点のうちの少なくとも1つを演算することであって、左最小点は、時系列の第1の動き統計値におけるPBMSの左に隣接する第1の最小点であり、右最小点は、時系列の第1の動き統計値におけるPBMSの右に隣接する第1の最小点である、ことと、PBMSと左最小点との間の第1の動き統計値の第1の大きさ特徴の差分、PBMSと右最小点との間の第1の動き統計値の第1の大きさ特徴の差分、PBMSと左最小点との間の第1の動き統計値の第2の大きさ特徴の商、PBMSと右最小点との間の第1の動き統計値の第2の大きさ特徴の商、のうちの少なくとも1つに基づいて、高さ測度を演算することと、のうちの少なくとも1つに基づいて、高さ測度が演算される。
項A11.項A10のシステムであって、プロセッサは更に、高さ測度の増加関数及び幅測度の減少関数に基づいて、プロミネンス測度を演算することを行うように構成され、プロミネンス測度が第4の閾値未満である場合にPBMSはBMSテストに失敗する。
項A12.項A11のシステムであって、PBMSからの第1の時間差における、時系列の第1の動き統計値におけるPBMSの左の点である左の降下点を演算することと、PBMSからの第2の時間差における、時系列の第1の動き統計値におけるPBMSの左の点である左の境界点を演算することと、PBMSからの第3の時間差における、時系列の第1の動き統計値におけるPBMSの右の点である右の降下点を演算することと、PBMSからの第4の時間差における時系列の第1の動き統計値におけるPBMSの右の点である右の境界点を演算することと、左の降下点、左の境界点、右の降下点、右の降下点、及び右の境界点に基づいて演算された近傍優勢測度に基づいてBMSテストを実行することであって、近傍優勢測度が第5の閾値よりも大きい場合にPBMSはBMSテストに失敗する、ことと、を行うように構成される。
項A13.項A12のシステムであって、プロセッサは更に、上記期間における第1の動き統計値に基づいて、PBMSの周りの期間における物体の存在を検出することと、当該検出に基づいてBMSテストを実行することと、を更に含み、上記期間において物体の存在が検出されない場合にPBMSはBMSテストに失敗する。
項A14.A13のシステムであって、プロセッサは更に、第1の動き統計値に基づいて、上記期間の各時間における物体の動きを検出するように構成され、上記期間中の任意の時間において物体の動きが検出された場合に、上記期間中に物体の存在が検出され、物体の動きは、ある時間の第1の動き統計値が第6の閾値よりも大きいか、又はTSCIに基づいて演算された当該時間の第2の動き統計値が第7の閾値よりも大きい場合に、当該時間に検出される。
項A15.項A14のシステムであって、プロセッサは更に、上記期間における第1の動き統計値に基づいて、PBMSの周辺の期間における物体の非睡眠アクティビティを検出することであって、物体の動きが検出される上記期間における時間のパーセンテージが第8の閾値よりも大きい場合に、物体の非睡眠アクティビティが検出される、ことと、物体の非睡眠アクティビティの検出に基づいて、BMSテストを実行することであって、上記期間において物体の非睡眠アクティビティが検出された場合にPBMSはBMSテストに失敗する、ことと、を行うように構成される、
項A16.項A15のシステムであって、プロセッサは更に、PBMSと隣接PBMSとの間の時間差に基づいてBMSテストを実行することであって、当該時間差が第9の閾値未満である場合にPBMSはBMSテストに失敗する、ことと、当該時間差が第10の閾値未満である場合に、PBMSと隣接PBMSとをマージすることと、を行うように構成される。
項A17.項A16のシステムであって、プロセッサは更に、ある期間の時系列の睡眠尤度(TSSL)を演算することであって、各睡眠尤度(SL)はある時間と関連付けられ、各SLは当該時間における動き強度と、当該時間と関連付けられた期間におけるPBMSのカウントとに基づいて演算される、ことと、上記期間の時系列の睡眠インジケータ(TSSI)を演算することであって、各睡眠インジケータ(SI)はそれぞれのSLと閾値との比較に基づいて演算される、ことと、TSSL及びTSSIに基づいて物体の睡眠中動作をモニタリングする、ことと、を行うように構成される。
項A18.プロセッサは更に、上記期間にわたる時系列のテストスコア(TS)を演算することであって、各TSが、SLと、SIと、大きな動き強度に対するペナルティとに基づいている、ことと、上記期間を、ある個数の重複しない時間単位に分割することと、各時間単位にわたるテストスコアの総和を演算することと、重複しない時間単位のうちで、テストスコアの総和が最も大きい時間単位を識別し、睡眠期間を時間単位として初期化し、総テストスコア(TTS)を、テストスコアの関連する最大の総和として初期化することと、睡眠期間の右又は左のいずれかに、隣接するインクリメント時間ウィンドウを追加することによって、睡眠期間を反復的に拡張し、インクリメント時間ウィンドウと関連付けられたTSをTTSに追加することによって、TTSを反復的に更新することと、各反復において、睡眠期間が、物体の典型的な睡眠持続時間に近づく又はそれを超える持続時間を有する場合に、TTSにペナルティを追加することと、停止基準に基づいて反復を停止することと、睡眠期間と、TTSと、TSと、PBMSと、睡眠期間における第1の動き統計値とに基づいて、物体の睡眠中動作をモニタリングすることと、を行うように構成される。
項A19.項A18のシステムであって、プロセッサは更に、睡眠期間、TTS、TS、PBMS、及び睡眠期間における第1の動き統計値に基づいて、睡眠分析値を演算するように構成される。
項A20.項A19のシステムであって、N1個のコンポーネントワイズ分析値の各々は、TCSIのCIのペアに基づくペアワイズ分析値であり、N1個のコンポーネントワイズ分析値の各々は、TSCIのCIのペアのそれぞれの成分に基づいて演算される。
項A21.項A20のシステムであって、プロセッサは更に、CIのペアのそれぞれの成分の乗算に基づいて、各コンポーネントワイズ分析値を演算するように構成される。
項A22.項A21のシステムであって、各コンポーネントワイズ分析値は、CIのペアのそれぞれの成分の、コンポーネントワイズ相関の推定値である。
項A23.項A22のシステムであって、N1個のコンポーネントワイズ分析値の各々は、TCSIのCIの複数のペアに基づくペアペアワイズ分析値であり、N1個のコンポーネントワイズ分析値の各々は、CIの複数のペアに基づいて演算される。
項A24.項A23のシステムであって、プロセッサは更に、CIの複数のペアの各々に含まれるそれぞれの成分の、ある個数の乗算積の重み付け平均に基づいて、各コンポーネントワイズ分析値を演算するように構成される。
項A25.項A24のシステムであって、CIの複数のペアの全てが、CIのペア間で共通の時間差を有し、各コンポーネントワイズ分析値は、共通の時間差と関連付けられたCIのペアのそれぞれの成分のコンポーネントワイズ相関の推定値であり、CIの複数のペアは、時間的に連続しているか又は隣接している。
項A26.項A25のシステムであって、プロセッサ更に、第1の期間における時系列の第1の動き統計値に基づいて、第1の期間のベースライン値を演算することと、第1の期間におけるそれぞれの第1の動き統計値からベースライン値を減算することと、を行うように構成される。
項A27.項A26のシステムであって、プロセッサは更に、それぞれが対応する期間について演算される複数のベースライン値を演算することと、複数のベースライン値のアグリゲーションに基づいて、特定の期間と関連付けられたアグリゲーションベースライン値を演算することと、特定の期間におけるそれぞれの第1の動き統計値から、アグリゲーションベースライン値を減算することと、を行うように構成される。
項A28.無線ベースの睡眠トラッキングのためのシステムの無線デバイスであって、プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合された受信機と、を備え、システムの追加の無線デバイスは、ベニュー内の無線マルチパスチャネルを介して第1の無線信号を送信するように構成され、受信機は、無線マルチパスチャネルを介して第2の無線信号を受信するように構成され、第2の無線信号は、ベニュー内の物体の睡眠中動作による影響を受ける無線マルチパスチャネルに起因して、第1の無線信号とは異なり、プロセッサは、第2の無線信号に基づいて無線マルチパスチャネルの時系列のチャネル情報(TSCI)を取得することであって、TSCIの各チャネル情報(CI)はN1個の成分を含み、N1は1より大きい正の整数である、ことと、TSCIのN1個の成分のうちの1つにそれぞれ関連付けられたN1個のコンポーネントワイズ分析値を演算することと、N1個のコンポーネントワイズ分析値のうちで大きさ上位N2個のコンポーネントワイズ分析値を識別することと、TSCIの大きさ上位N2個のコンポーネントワイズ分析値に基づいて、少なくとも1つの第1の動き統計値を演算することと、少なくとも1つの第1の動き統計値に基づいて、物体の睡眠中動作をモニタリングすることと、を行うように構成される。
項A29.項A28の無線デバイスであって、プロセッサは更に、タイムスタンプと関連付けられた時系列の第1の動き統計値を演算することと、睡眠中の潜在的体動(BMS)のセットを演算することであって、各潜在的BMS(PBMS)は、時系列の第1の動き統計値の局所最大点又は局所ピークである、ことと、PBMSのセットに基づいて、物体の睡眠中動作をモニタリングすることと、PBMSのセット内の各PBMSに対してBMSテストを実行することと、PBMSがBMSテストに失敗した場合に、当該PBMSをPBMSのセットから除去することと、を行うように構成される。
項A30.無線ベースの睡眠トラッキングのための方法であって、ベニューにおいて無線マルチパスチャネルを通じて第1の無線信号を送信することと、無線マルチパスチャネルを通じて第2の無線信号を受信することであって、第2の無線信号は、ベニュー内の物体の睡眠中動作による影響を受ける無線マルチパスチャネルに起因して、第1の無線信号とは異なる、ことと、第2の無線信号に基づいて、無線マルチパスチャネルの時系列のチャネル情報(TSCI)を取得することであって、TSCIの各チャネル情報(CI)はN1個の成分を含み、N1は1より大きい正の整数である、ことと、TSCIのN1個のコンポーネントのうちの1つとそれぞれ関連付けられたN1個のコンポーネントワイズ分析値を演算することと、N1個のコンポーネントワイズ分析値のうちの大きさ上位N2個のコンポーネントワイズ分析値を識別することであって、N2はN1より小さい正の整数である、ことと、TSCIの大きさ上位N2個のコンポーネントワイズ分析値に基づいて、少なくとも1つの第1の動き統計値を演算することと、少なくとも1つの第1の動き統計値に基づいて、物体の睡眠中動作をモニタリングすることと、を含む。
人間の被験者の存在はRF信号伝搬に影響を及ぼし、例えば、人間の身体から反射されたRF信号、呼吸及び心拍によって引き起こされる胸部の動き等の身体の動きによって変調されるので、チャネル伝搬特性を分析することによって、人間の被験者のバイタル情報を明らかにしうる。RF信号、呼吸数(RR)及び心拍数(HR)を推定するために使用されうるが、各心拍の正確なタイミングなしに、RR及びHRから心拍数変動(HRV)を取得することはできない。正確なHRV推定は、HR推定よりもはるかに困難である。HR推定システムは通常、より高いHR推定精度を達成するために、時間領域において複数のサンプルを採取し、これは、特定の時間ウィンドウにわたって心拍を平均化することに等しい。しかしながら、それらは、各心拍の正確な時間を必要とし、以下の課題を伴うHRV推定には適用できない。第1に、人間の胸部によって反射されたRF信号、呼吸及び心拍の両方によって変調され、呼吸によって引き起こされる距離変化は、心拍によって引き起こされる距離変化よりも大きい。信号処理の用語では、信号対干渉プラス雑音比(SINR)が、複合信号から心拍波を再生して分離するためには非常に低い。第2に、心臓ポンピング運動は、最初に骨及び組織を通って胸壁に到達し、次いでRF信号検出されなければならない。その結果、人体の骨及び組織はフィルタとして作用し、したがって信号を減衰させる。したがって、RF信号捕捉される心拍波は、ECG信号におけるものと同様に鋭いピークを欠き、IBIを識別することをより困難にする。更に、HRV推定のためのロバストなシステムを提供するために、各人間の被験者についてHRVを推定する前に、ターゲットの数及びそれらの位置を決定することが必要であり、これもまた、自明ではない。
本教示は、COTS(Commodity Off-The-Shelf)ミリ波(mmWave)無線を用いた多人数HRV推定システム(multi-person HRV estimation system)(以下、「mmHRV」という)を開示する。いくつかの実施形態では、ターゲット検出器が事前のキャリブレーションなしに、ユーザの数及びユーザの位置を識別するように考案される。ミリ波RF信号の速い減衰のために、信号の強度は、より長い距離をトラバースすることにつれて減少する。様々な距離で人間の被験者を検出するために、mmHRVは距離-方位面において2次元定数偽警報検出器を使用して雑音レベルを推定し、したがって、ターゲット検出のための適応閾値を提供しうる。位相情報は更に、静止物体(例えば、壁、家具)をフィルタ除去するために使用される。単一の人間の被験者について2つ以上の反射点が存在しうる。結果として、ターゲットの個数を決定するために、mmHRVは更に、ノンパラメトリッククラスタリングを使用して、各人間の被験者に対応するレンジ-方位角ビンを識別しうる。
いくつかの実施形態では、ターゲット検出後、HRVを推定するために、心拍波は呼吸及び心拍運動の両方を含む胸部運動全体をその位相が含む複合受信信号から抽出される必要がある。いくつかの実施形態では、呼吸運動が6~30呼吸毎分(BPM)の周波数で4~12mmの範囲であり、一方、心拍運動は50~120BPMの周波数で0.2~0.5mmの範囲であり、両方とも準周期的信号である。この特性を利用して、mmHRVは、いくつかの帯域制限信号成分への複合信号の分解を最適化する心拍波抽出器を利用しうる。分解された信号成分の中で、心拍波は、その振幅及び周波数が典型的な心拍信号の要件を満たすものとなる。合成信号を連続的に分解するアプローチと比較して、mmHRVは、信号成分を同時に分解することによって、誤り伝搬問題を回避しうる。加えて、mmHRVシステムは複数の人の心拍信号のHRV及び/又は他の統計を同時にモニタリングするために、ターゲット検出によってマルチユーザケースで動作しうる。
推定された心拍波のピークは、各心拍の正確な時間を識別するために認識される。その結果、IBIを更に導出して、一般的に使用されるHRVメトリック、例えば、連続差分の二乗平均平方根(RMSSD:Root Mean Square of Successive Difference)、全てのIBIの標準偏差(SDRR)、及び50msを超えて異なる連続するIBIのパーセンテージ(pNN50)を演算するために使用しうる。
図10Aは本開示のいくつかの実施形態による、無線バイタルモニタリングシステム、例えば、mmHRVシステムのための例示的なセットアップを図示する。図10Aに示すように、mmHRVシステムは、送信機(Tx)アンテナアレイ1001及び受信機(Rx)アンテナアレイ1002を有するデバイス1000を含む。いくつかの実施形態では、デバイス1000が3~5GHzの帯域幅で、28GHz、60GHz、77GHz等の高周波数帯域で動作する。チャネル情報を取得するために、Tx 1001は1つ以上のアンテナを使用して、無線信号を送信することができ、無線信号は図10Aに示されるベニュー内の物体及び人間によって反射された後に、異なるRxアンテナ1002によって受信される。
図10Aに示されるように、デバイス1000が位置する場所に、静止物体1008及び人間の被験者1005、1006、1007を含む複数の物体が存在しうる。mmHRVシステムは、Rx 1002によって反射された信号から得られるチャネル情報に基づいて、ベニュー内の他の静止物体1008の有無にかかわらず、ベニュー内の複数の人物1005、1006、1007について同時にHRVをモニタリングしうる。異なる物体は、mmHRVシステムの効果的な動作に影響を及ぼすことなく、デバイス1000から異なる方向に配置されうる。例えば、人間の被験者1007、人間の被験者1005、及び椅子1008は、装置1000とは異なる方位角に配置される。mmHRVシステムの効果的な動作に影響を及ぼすことなく、異なる物体をデバイス1000から異なる距離に配置することもできる。例えば、人間の被験者1005及び人間の被験者1006は、装置1000から異なる距離レンジ(しかし同じ方位角)に位置する。異なる人間の被験者は、mmHRVシステムの効果的な動作に影響を与えることなく、ベニューにおいて異なる方向を向いてもよい。例えば、人間の被験者1005、1006、1007は図10Aに示されるように、異なる方向を向いている。
いくつかの実施形態では、Tx 1001が上述のようにボットであり、Rx 1002は上述のようにオリジンである。図10AではTx 1001及びRx 1002は互いに物理的に結合されているが、他の実施形態では異なるデバイスにおいて分離されうる。いくつかの実施形態では、デバイス1000がレーダのように機能する。
いくつかの実施形態では、mmHRVシステムの性能を評価するために、20~60歳になった11人の参加者に、異なる距離、向き、及び入射角を含む異なる設定下で広範な実験を実施するように依頼する。ノンライトオブサイト(NLOS)シナリオとマルチパーソンシナリオも調べた。いくつかの実施形態では、実験結果は、mmHRVがIBI推定に対して(96.16%精度に関して)約28msの媒体誤差で正確な推定を達成することを示す。NLOSの二乗平均平方根誤差(RMSE)及びマルチユーザケースは、それぞれ、32ms及び69ms以内である。HRVメトリックも評価され、最先端の作品と比較してより良好な性能を示す。mmHRVは、平均値IBIの3.89ms平均値誤差、RMSSDの6.43ms平均値誤差、SDRRの6.44ms平均値誤差、及びユーザがデバイスから1メートル離れて座ったときのpNN50の2.52%平均値誤差を達成しうる。
mmHRVシステムは被検者の心拍信号を正確に検出し、ユーザの身体から反射されるRF信号純粋に使用することによって、被検者のHRVを推定しうる無線システムである。図10Bは、本開示のいくつかの実施形態による、mmHRVシステムの例示的な処理ワークフローを示す。いくつかの実施形態では、mmHRVシステムが周波数変調連続波(FMCW)レーダを利用して、RF信号を送信し、人間の被験者及び静止物体の反射を捕捉する。
図10Bに示されるように、チャネル情報は、動作1010において、Rxによって捕捉された反射に基づいて取得される。異なる位置で人間の被験者を検出するために、動作1020において、例えばバートレット(Bartlett)ビームフォーマによってビームフォーミングが実行され、異なる方位角-レンジビンでチャネル情報が得られる。次いで、動作1030において、例えば、ターゲット検出器によってターゲット検出が実行されて、様々な距離及び方位角における雑音レベルを適応的に推定し、したがって、反射物体の存在を検出する。位相の分散値は更に、人間の被験者と静止物体とを区別するために利用される。ターゲットの数及びそれらの位置を識別するために、ノンパラメトリッククラスタリングアルゴリズムが使用されうる。
動作1040において、呼吸及び心拍の両方によって変調される位相情報から心拍信号を抽出するために、mmHRVは位相信号をいくつかの狭帯域信号に同時に分解し、心拍波の推定値を与えることができる心拍信号抽出器を考案しうる。検出された人間の被験者のHRVは、動作1050において、推定された心拍信号から導出された心拍間隔(IBI)に基づいて更に分析されうる。
信号モデル:いくつかの実施形態では、チャープ信号がFMCWレーダによって送信され、瞬時送信周波数は図11に示されるような周期的線形増加信号であり、以下のように表すことができる。
ここで、f
cはチャープ開始周波数であり、T
cはチャープ持続時間であり、Bは帯域幅である。周波数変調(FM)によれば、送信信号x
T(t)は、以下のように表すことができる。
ここで、A
Tは送信電力である。電磁波が人間の胸部によって距離d(t)で反射される場合、反射信号x
R(t)は次式のように表すことができる。
ここで、A
Rは受信信号の振幅であり、t
dは往復遅延を表し、
と表すことができ、cは光速である。
受信信号を送信信号のレプリカと混合し、ローパスフィルタに続いて、チャネル情報h(t)は
である。
という用語は、特に短距離シナリオではごくわずかであることに注意されたい。したがって、h(t)は
である。これは、周波数
がターゲットの距離に依存する正弦波信号である。各チャープについて、ベースバンド信号h(t)は、アナログ-デジタル変換器(ADC)によってデジタル化され、ファスト時間と呼ばれる、チップ当たりN個のサンプルを生成する。チャープの送信に対応する時間は図11に示すように、スロータイムと呼ばれる。したがって、n番目のADCサンプル及びm番目のチャープに対するデジタル化されたチャネル情報は、以下のように表すことができる。
ここで、T
f及びT
sは、それぞれ、ファスト時間及びスロー時間における時間隔である。λ
cは、チャープの波長を示す。
mmHRVのいくつかの実施形態では、図12に示すように、チップセットの複数のアンテナを利用し、2つのTxアンテナ及び4つのRxアンテナを使用しうる。方位分解能を高めるために、チャープは、2つのTxアンテナを通じて順次送信することによって時分割多重化(TDM)モードで送信される。これは、図12に示すような8要素仮想アレイに相当する。したがって、チャネルlについて、チャネル情報は、次のように書き換えることができる。
ここで、d
lは仮想アンテナlによって導入される相対的な距離である。θが図12に示されるように、ターゲットの方位角である。
チャネル情報の位相は、呼吸及び心拍の周期的動作に起因して、スロー時間で周期的に変化する。図14Aは、システムによって収集されたバイタルサインを含む典型的な位相信号を示す。
実際の応用では、ターゲット検出がバイタルサイン検出の前に実行される必要がある。特に、EM波の強い反射を伴う様々な物体(例えば、壁、机、金属物体等)が存在する屋内シナリオでは、ターゲット検出を達成することは困難である。
レンジ-FFT及びデジタルビームフォーミング:いくつかの実施形態では、静止物体が存在する場合のチャネル情報は、
である。ここで、d
0は物体と装置との間の距離であり、これは、低速時において一定のままである。
反射物体に対応するチャネル情報はファスト時間の周期信号であり、周期性は、式(6)及び(8)に示されるように、距離に関係する。反射物体のレンジ情報を決定するために、高速フーリエ変換(FFT)がチャープ時間に、即ち、レンジFFTに対して高速に実行されてもよく、チャンネル情報は、hr(l,m)として書かれてもよく、ここで、rはレンジタップインデックスである。反射物体に対応するレンジタップは、反射物体がない場合と比較して、より大きなエネルギーを観察する。
反射物体の方位角を更に決定するために、デジタルビームフォーミングが、各レンジタップについて全てのアンテナ素子にわたって実行され、レンジr及び方位角θに対応するチャネル情報は
と表されうる。ここで、s
H(θ)は角度θに向かうステアリングベクトルである。mmHRVのいくつかの実施形態では、バートレットビームフォーマが採用され、l番目のアンテナの係数は
である。ε(m)は、異なるレンジ-方位角ビンに対して独立で同一に分布する(I.I.D)と仮定される加法的白色ガウス雑音である。
は、全アンテナ素子全体のレンジタップrにおけるチャネル情報ベクトルである。したがって、スロー時間における各サンプルmについて、チャネル情報行列h(r,θ)を有し、これは、範囲r及び方位角θを有する異なるロケーションビンにおけるチャネル情報を含む。図13Bがレンジ-方位平面におけるチャネル情報の振幅を示す。
反射物体検出器:いくつかの実施形態では、人間の被験者の位置を特定するために、最初に、反射物体を有するレンジ-角度ビンを識別する必要がある。反射物体がないビンのチャネル情報は雑音のみを含み、したがって、式(6)及び(8)にそれぞれ示されるように、反射物体があるビンのチャネル情報のエネルギーは、反射物体がないビンのエネルギーよりも大きい。しかしながら、ターゲット検出のための汎用の事前定義された閾値を見つけることは困難である。EM波の伝搬法則によれば、同じ反射物体に対して、より大きな反射エネルギーに対応するより短い距離が得られる。mmHRVのいくつかの実施形態では、一定誤警報率(CFAR)検出器を利用することができ、これはCFARウィンドウ(図13Aに示す)を、レンジ-方位角平面(図13Bに示す)におけるチャネル情報と畳み込むことによって、雑音レベルを推定することができ、反射物体を伴うロケーションビンは図13Cに示すように、そのエネルギーが雑音レベルを上回るものである。図13Dは範囲領域におけるCFAR検出の例を示し、閾値は破線で示される。
被験者検出器(Human Subjects Detector):いくつかの実施形態では、反射物体検出器が空タップをフィルタ除去しうるが、人間の被験者を静的反射物体から区別することはできない。静止物体とは異なり、人間の被験者とデバイスとの間の距離は動き(例えば、呼吸及び心拍)のためにスロー時間にわたって変化し、したがって、図14Aに示されるような位相変化をもたらす。したがって、静的反射物体を更にフィルタ除去するために、反射物体検出器によって選択された候補ビンの位相情報を活用しうる。
図14A~14Dは、被験者検出器の一例を示す。グラウンドトゥルースは3人間の被験者が存在し、そのうちの1人間は方位角0°でデバイスから1.5m離れて位置し、他の2人間は、方位角30°及び-30°でそれぞれデバイスから1m離れて位置することである。図14Aは人間の被験者に対応する位相情報であり、図14Bは静的反射物体に対応する位相情報であり、図14Cは被験者検出器の結果であり、黒点は人間の被験者に対応し、図14Dは、各ターゲットについてのクラスタリング結果を示す。
EM波が人間の被験者によって反射されるとき、位相は、人間の動きの変調に起因して、スロー時間にわたって変化する。したがって、人間の被験者に対応するビンには大きな位相分散が存在する。しかしながら、静止物体(例えば、机、壁等)に対応するビンの場合、図14A及び図14Bに示されるように、位相分散はるかに小さくなる。したがって、mmHRVのいくつかの実施形態では、静止物体をフィルタ除去するために、スロー時間にわたる位相情報の分散をチェックすることができ、人間の被験者に対応するビンはある閾値を超える位相分散を有するビンである。
図14Cに示されるように、人間の被験者の体積を考慮して、人間の被験者に対応する2つ以上のビンが存在する。ターゲット番号を識別するために、mmHRVはいくつかの実施形態では、クラスタ番号の事前知識なしに候補ビンをクラスタリングするために、ノンパラメトリッククラスタリング方法、雑音を伴うアプリケーションの密度ベース空間クラスタリング(DBSCAN)アルゴリズムを利用する。クラスタリング結果を図14Dに示す。各クラスタの代表は、最良の周期性を有するビンでありうる。例えば、自己相関の第1のピークについて最も高いピークを有するビンが選択され、これはバイタルサインの最も高いSNRを有するビンに対応する。
心拍抽出及びHRV推定:いくつかの実施形態では、HRVを推定することは心拍間隔(IBI)の正確な推定を必要とする。したがって、mmHRVは胸壁の複合変位変化から心拍(別名、心拍波)に起因する変位変化を抽出し、心拍が発生するモーメントを検出しうる。
心拍抽出アルゴリズム:位相情報は、バイタルサインによって引き起こされる距離変化を反映する。簡単にするために、信号のアナログ形態を直接使用することができ、人間の胸部の距離変化は
y(t) = sm(t)+sr(t)+sh(t)+n(t) (11)
と記述することができ、sm(t)は、体動によって引き起こされる距離変化を表し、sr(t)及びsh(t)は、それぞれ呼吸及び心拍によって引き起こされる距離変化を表し、n(t)は、バイタルサインによって引き起こされる位相変化とは無関係で雑音によって導入されるランダム位相オフセットである。
s
r(t)及びs
h(t)は、いずれも準周期的信号であり、期間は、経時的にわずかに変化時間。加えて、体動はほとんど振動を導入しない、即ちベースバンド信号を導入すると仮定しうる。したがって、人間の被験者に関連する信号はスペクトル領域においてまばらであり、いくつかの帯域制限された信号を用いてこれらの信号を再構成しうる。例えば、成分u
k(t)は、分解に伴って決定されるべきセンタ脈動ω
kをセンタとして小型であるとする。更に、分解はスペクトルスパース性(spectrum sparsity)及びデータ忠実度を同時に達成すべきであり、これは、以下のようにモデル化される。
ここで、第1の用語は各成分に関連する分析信号の帯域幅を評価し、第2の用語は、データ忠実度を評価する。Kは分解成分の総数であり、
は、全ての成分及びそれらの中心周波数のそれぞれに対する設定である。αは、帯域幅制約とデータ忠実度とのバランスをとるためのパラメータである。
ハイパーパラメータが知られると、式(12)の最適化問題が生じる。u
k(t)及びω
kを収束まで交互に又は反復的に更新することによって解くことができる。u
kをアップデートするには、次のようにサブ問題を記述する。
パーセバル(Parseval)定理を用いることにより、問題は次のように書き換えることができる。
ここで、
は、それぞれu
k(t)とy(t)のフーリエ変換である。周波数に対する積分をとり、変数の変更を行った後、更新式を得ることができる
中心周波数ω
kは帯域幅制約にのみ現れ、したがって、副問題は次のように書くことができる。
前述のように、フーリエ領域において最適値を見つけることができ、
を有しうる。
図15A~図15Bは、元の位相情報が4つのコンポーネントに分解された、実験からの典型的な1分位相信号の分解を示す。図15Aは時間領域における分解結果であり、図15Bは、各成分の対応するスペクトルである。いくつかの実施形態では、第1のコンポーネント1501が人間の被験者の体動を反映し、第2のコンポーネント1502は呼吸運動であり、第3のコンポーネント1503は心拍波である。雑音はバイタル信号として異なる振動特性を有するので、図15A~図15Bに示されるように、信号の分解の残差1504と同様に、異なるモードに入る。
分解問題は、ハイパーパラメータが適切に定義されると解くことができる。しかしながら、心拍波抽出のための実際のアプリケーションにおいて、これらのハイパーパラメータを予め定義することは困難である。第1に、人間の動きは必ずしも存在せず、人間の呼吸は強い第2高調波成分を有することがあり、成分数を決定することを更に困難にする。更に、ハイパーパラメータαも分解性能に影響を与える。ハイパーパラメータの選択方法を議論する前に、分解結果に対するそれらの影響を以下のように開示する。
αが小さすぎる場合、即ち、帯域幅制約が緩すぎる場合、Kが小さすぎる場合、2つの信号が単一の分解されたコンポーネントにマージされうるように、混合問題が生じる。Kが大きすぎると、分解されたコンポーネントの一部に雑音が含まれる場合がある。αが大きすぎる場合、即ち、帯域幅制約が狭すぎる場合、Kが小さすぎる場合、いくつかのターゲット信号は、雑音中で破棄されうる。Kが大きすぎる場合、信号のいくつかの重要な部分は、2つ以上の分解されたコンポーネントに分離されうる。
mmHRVのいくつかの実施形態では、信号を正確に分解し、関心のある成分、即ち心拍波をうるために、異なるデータセットについて成分数K及びαを適応的に変更しうる。ここでは、適切な分解結果をうるために、反復が進むにつれてK及びαを変更する発見的方法が開示される。心拍によって引き起こされる距離変化は、呼吸及び人間の動きによって引き起こされる距離変化よりもはるかに小さいので、心拍に対応する成分が分解されると、呼吸及び動きに対応する成分も、目的関数におけるデータ忠実度制約を考慮して分解されるべきである。したがって、アルゴリズムは、心拍に対応するコンポーネントを取得すると終了する。
HRV推定:いくつかの実施形態では、心拍波が抽出されると、各心拍に対応する正確な時間が心拍波のピークによって識別されうる。精度を更に高めるために、ピーク抽出の前に正規化を行ってもよい。
いくつかの実施形態では、心拍波のエンベロープが図16Aに破線として示される、心拍成分の絶対値までの移動平均を取ることによって推定される。雑音を低減するために、オリジナルの心拍波に対して移動平均フィルタを更に実行しうる。正規化された波は、フィルタリングされた心拍波と推定された包絡線との間の比である。したがって、IBIは、2つの隣接する心拍間の持続時間を演算することによって導出しうる。図16Bは心拍波のセグメント及びそのECGグラウンドトゥルースを示し、破線は、市販のECGセンサからの各心拍の正確な時間を示す。正規化された心拍波のピークはグラウンドトゥルースと一致し、図16Cは、推定されたIBI及びECGグラウンドトゥルースを示す。
HRV特徴は、IBIシーケンスから更に得ることができる。mmHRVのいくつかの実施形態では、HRVを評価するために以下の3つのメトリックを使用しうる。1つは、連続するIBI変更を測定する連続差の二乗平均平方根(RMSSD)であり、次式によって演算しうる。
ここで、N
IBIは、測定のIBIの総数である。全てのIBI(SDRR)の標準偏差はIBIの変動を測定し、これは、以下のように演算しうる。
ここで、
は各測定のIBIの経験的平均である。指標pNN50は50ミリ秒(ms)を超えて異なる連続するIBIのパーセンテージを測定し、これは
によって演算されうる。ここで、1{・}はインジケータ関数である。
実験評価:いくつかの実施形態では、3.5m×3.2mのサイズの典型的なオフィスにおいて、商品ミリ波FMCWレーダーを利用することによって、mmHRVシステムを試作しうる。2つのTxアンテナ及び4つのRxアンテナをTDM-MIMOモードに構成することによって、システムは、15°の理論的方位分解能を達成しうる。視野(FoV:field-of-view)は、約4mの半径を有する水平面において100°であり、これは、典型的な部屋を覆うのに十分である。真の心拍信号をうるために、ECGセンサが、実験中にmmHRVと同時にグラウンドトゥルースを収集するために使用される。20~60歳の参加者11名(男性6名、女性5名)を対象に、LOSとNLOSの両シナリオで実験を行った。実験は、人間の被験者とレーダとの間の異なる距離、入射角、配向、及び遮断を含む様々な設定で行われる。
開示されたシステムの性能を更に評価するために、mmHRVシステムは、帯域通過フィルタバンク(BPFB)を使用してHRV推定技法と比較されうる。図17は、mmHRV及びBPFB法の全体的なIBI推定精度を示す。実験は11人の参加者を含み、15の異なる実験設定(例えば、異なる距離、入射角、配向、及び閉塞)が、各参加者に対して行われる。図17に示されるように、BPFBは約44msの媒体誤差を生じ、一方、90パーセンタイル誤差は約200msである。mmHRVは約28msの媒体誤差を達成し、90パーセンタイル誤差の80msは、BPFBを約60%上回る性能を示す。HRV推定精度を完全に評価するために、以下の表Iは11人の参加者の平均IBI、RMSSD、SDRR、及びpNN50に関して推定されたHRV特徴を示し、ここで、ユーザとデバイスとの間の距離は約1mである。mmHRVは平均値IBIの3.89ms平均値誤差、RMSSDの6.43ms平均値誤差、SDRRの6.44ms平均値誤差及びpNN50の2.52%平均値誤差を達成できることを示した。それに対応して、BPFBの平均推定誤差は、平均IBIの15.33ms、RMSSDの41.94ms、SDRRの32.59ms、及びpNN50推定の12.17%である。
図18は、本開示のいくつかの実施形態による、無線バイタルモニタリングのための例示的な方法1800のフローチャートを示す。動作1802において、第1の無線信号が、ベニューの無線チャネルを通じて送信される。動作1804において、第2の無線信号が無線チャネルを介して受信され、第2の無線信号は、ベニューにおいて少なくとも1つの反復動作を有する少なくとも1つの生物による第1の無線信号の反射を含む。動作1806において、第2の無線信号に基づいて、無線チャネルの時系列のチャネル情報(CI)が取得され、各CIは、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、又は受信信号強度インデックス(RSSI)のうちの少なくとも1つを含む。動作1808において、少なくとも1つの生物の各々について、複数のTSCIに基づいて、生物の全ての反復動作を表すバイタル信号が生成される。バイタル信号は、心拍又は呼吸のようなバイタルサインを表しうる。動作1810において、心拍信号が、各生物のバイタル信号から抽出される。動作1812では、ベニュー内の各生物について、心拍数変動が心拍信号に基づいてモニタリングされる。図18の動作の順序は、本教示の様々な実施形態に従って変更されうる。
いくつかの実施形態では、無線バイタルモニタリング方法が以下で説明するステップs1~s8を含む。
ステップs1において、複数の送信(Tx)アンテナ及び複数の受信(Rx)アンテナを使用してCSIをキャプチャする。ステップs2において、指向性のCSI(例えば、CIR)をうるためにビームフォーミングを適用する。これは、CSIに方向及び距離を関連付けることができる。ステップs3において、各方向について実行されるステップs3a及びs3bを含む各方向における物体の存在を検出することによって、関心方向(DoI)を決定する。
ステップs3a:CSIの大きさを演算する(例えば|h(θ、距離)|CIR)の各時間インスタンスについて、時間ウインドウにわたって時間平均する。ステップs3bにおいて、時間平均化された大きさ応答が閾値T1より大きい場合、物体が方向に存在する(したがって、方向はDoIである)と決定し、ここで、閾値T1は、|の2次元CFARフィルタリングでありうるh|シータ方向及び距離方向に。
ステップs4:各DoI(即ち、物体存在が検出される方向)について、物体を、(a)静止物体(例えば、家具)、(b)静止人間(呼吸及び心拍を伴う)、及び(c)ステップs4a~s4eを含むランダムな体動に分類することによって、動き検出を実行する。
ステップs4aでは、時間ウィンドウにおける時間に対するCSIの位相(例えば、h(θ、距離)の位相)の分散値(V)を演算する。いくつかの実施形態では、より大きい位相分散が、ターゲットが心拍を有する生物であることを意味する。ステップs4bにおいて、Vが閾値T2未満である場合、動きを「静止物体」として分類する。ステップs4cにおいて、V>T2である場合、自己相関関数(ACF)を演算し、有意な特徴点(例えば、第1のピーク)P1を見つける。ステップs4d:V>T2であり、P1>T3である場合、動作を「静止人間」として分類する。ステップs4eにおいて、V>T2及びP1<T3である場合、動作を「ランダム体動」として分類する。いくつかの実施形態では、より大きいP1がより周期的な特徴を意味する。
ステップs5:ステップs5a~s5bを含む、静止している人間の被験者の数及びそれらの対応するバイタル動作(バイタルモーション)を決定する。
ステップs5aでは、関心点(PoI)のセット(即ち、ステップs4における静止人間に対応する(θ、距離))をクラスタリングし、ここで、PoIはクラスタ番号の事前知識、即ち、ノンパラメトリッククラスタリングなしにクラスタリングされる。PoIは密度ベースの方法(例えば、DBSCAN)に基づいて分類されうるか、又は距離に基づいて分類されうる(例えば、2つのPoI間の距離>人体の共通サイズである場合、それらは異なるクラスタに属する)。
ステップs5b:各人間の被験者に対応するバイタル動作を生成する。2つ以上のPoIが人間の被験者に対応する場合、対応する動きは例えば、PoIの位相測定値を重み付け平均することによって組み合わせることができ、又は優勢PoIを識別することができ、バイタル動作は優勢なタップと関連付けられる。
ステップs6:各人間の被験者について、ステップs6aにおけるように分解を共同で最適化するか、又はステップs6bにおけるように連続分解するかのいずれかによって、いくつかの帯域制限信号を用いてバイタル信号を分解することによって、心拍信号を抽出する。
ステップs6aにおいて、ステップs6a1、s6a2、及びs6a3を使用してモデル化された生信号の分解を共同で最適化する。
ステップs6a1では、帯域幅制約とデータ忠実度とのバランスをとるために、コンポーネント番号Kとパラメータαとのデフォルト設定が与えられ、代替的に、コンポーネントとそれらの中心周波数とを最適化する。
ステップs6a2:いくつかの特徴によって、心拍に対応する成分があるかどうかをチェックし、ここで、成分は信号の振幅が範囲[T4、T5]に位置し、その中心周波数が範囲[T6、T7]に位置する場合、心拍波に対応する。いくつかの実施形態では、ステップs6a2において呼吸/呼吸信号を抽出することもできる。
ステップs6a3において、心拍に対応する分解された成分がある場合、ステップs7において心拍信号を正規化し、そうではない場合、成分個数K及びトレードオフ係数αの値を更新し、ステップs6a1~s6a3を繰り返す。
ステップs6b:ステップs6b1、s6b2、及びs6b3を使用して、生信号を連続的に分解して心拍波をうる。
ステップs6b1において、ドミナント(より大きい大きさ)周期信号の影響を除去/抑制することによって、生信号を処理し(例えば、生信号をフィルタリングするか、又はドミナント周期信号を推定し、生信号からそれを減算する)、ここで、ドミナント周期信号は生信号に対する演算(例えば、平滑化、ローパスフィルタリング、スプライン補間、B-スプライン、キュービックスプライン補間、多項式フィッティング、距離/タップに基づいて適応的に選択された次数による多項式フィッティング等)によって推定されうる。
ステップs6b2:処理された生信号に基づいて、次の支配的な周期信号の特性を演算する。特性は、周波数変換、三角変換、高速フーリエ変換(FFT)、ウェーブレット変換、ACF等に基づいて演算されうる。特性はまた、制約付き最適化(例えば、平滑性制約を受けるエネルギー関数の最小化)によって演算されてもよい。エネルギー関数は周波数のエネルギー(例えば、信号が融合/クラスタ化された信号でありうる、コンポーネント除去信号のFFTのエネルギー)でありうる。
ステップs6b3:成分がいくつかの特徴によって心拍に対応するかどうかをチェックし、ここで、成分は信号の振幅が範囲[T4、T5]に位置し、その中心周波数が範囲[T6、T7]に位置する場合、心拍波に対応する。心拍に対応する場合はステップs7で心拍信号を正規化する。対応しない場合がコンポーネントを削除し、ステップs6b2 とs6b3 を繰り返す。
いくつかの実施形態では、他のモード分解方法をステップs6に適用することができ、モードは例えば、アンサンブル経験的モード分解によって、周波数成分、信号等と見なすことができる。いくつかの実施形態では、心拍を抽出するための入力として位相情報を使用する代わりに、心拍信号/波を抽出するためにCIR振幅に依存することもできる。
ステップs7:推定された心拍波を、推定された波を信号のエンベロープで除算することによって正規化し、エンベロープは生信号に対する演算(例えば、平滑化、ローパスフィルタリング、スプライン補間、B-スプライン、3次スプライン補間、多項式フィッティング、及び移動平均)によって推定しうる。
ステップs8:各心拍の正確な時間を特定し、次いで、心拍数変動(HRV)及び/又は心拍間隔の他の統計を推定するために心拍間隔を演算し、ここで、各心拍の正確な時間はいくつかの方法によって、例えば、心拍波のピークを特定すること、ゼロクロス点を特定すること、又は連続ウェーブレット変換を行った後にいくつかの特徴点を見つけることによって、特定しうる。
以下の番号付けされた節は、無線バイタルモニタリングの実装例を提供する。
項B1.無線モニタリングのためのシステムであって、N1個の送信アンテナを使用して、ベニューの無線チャネルを通じて第1の無線信号を送信するように構成された送信機と、N2個の受信アンテナを使用して、無線チャネルを通じて第2の無線信号を受信するように構成された受信機であって、N1及びN2は正の整数であり、第2の無線信号は、ベニューにおける少なくとも1つの反復動作を有する少なくとも1つの生物による第1の無線信号の反射を含む、受信機と、プロセッサとを備え、当該プロセッサは、第2の無線信号に基づいて、無線チャネルの複数の時系列のチャネル情報(TSCI)を取得することであって、複数のTSCIの各々は、送信機のそれぞれの送信アンテナ及び受信機のそれぞれの受信アンテナと関連付けられる、ことと、少なくとも1つの生物のうちの各生物について、複数のTSCIに基づいて、当該生物の全ての反復動作を表すバイタル信号を生成することと、各生物のバイタル信号から、心拍信号を抽出することと、ベニュー内の各生物について、心拍信号に基づいて、心拍数変動をモニタリングすることと、を行うように構成される。
項B2.項B1のシステムであって、少なくとも1つの生物は、人間又は動物を含み、第1の無線信号は、ミリ波で搬送され、ベニュー内の各物体は、ベニュー内の複数の空間ビンに基づいて定められる位置を有し、複数の空間ビンの各々は、受信機から生じる方向及び距離レンジによって決定され、各方向は、角度、方位角、又は仰角のうちの少なくとも1つと関連付けられる。
項B3.項B2のシステムであって、各生物についてバイタル信号を生成することは、複数のTSCIに基づいてビームフォーミングを演算することと、ビームフォーミングに基づいて方向にそれぞれ関連付けられた、時系列の指向性チャネル情報(CI)のセットを演算することと、を更に含む。
項B4.項B3のシステムであって、各生物についてバイタル信号を生成することは、それぞれの方向と関連付けられた各指向性CIについて、時間インスタンスごとに、それぞれの方向についての指向性CI及び距離レンジに基づいて、CI振幅を演算することで、CI振幅を経時的に取得することと、時間ウィンドウに基づいてCI振幅の時間平均を演算することと、時間平均が第1の閾値よりも大きい場合に、それぞれの方向の距離レンジにおける物体の存在を検出することと、物体の存在が検出された方向をそれぞれ含む、関心方向(DoI:direction-of-interest)のセットを決定することと、を更に含む。
項B5.項B4のシステムであって、第1の閾値は、2次元の一定誤警報率(CFAR:constant false alarm rate)に基づいて、それぞれの方向の距離レンジにおいてCI振幅をフィルタリングするように適応的に決定される。
項B6.項B4のシステムであって、各生物についてバイタル信号を生成することは、DoIのセット内のDoIごとに、かつ、距離レンジごとに、時間ウィンドウ内の時間にわたるDoIと関連付けられた指向性CIの位相分散を演算することと、位相分散が第2の閾値未満である場合に、距離レンジ及びDoIにおいて検出された物体を、反復動作の無い静止物体として分類することと、位相分散が第2の閾値以上である場合に、距離レンジ及びDoIにおいて検出された物体を、反復動作のある生物として分類することと、を更に含む。
項B7.項B6のシステムであって、各生物についてバイタル信号を生成することは、検出された生物ごとに複数のターゲット空間ビンを決定することであって、当該複数のターゲット空間ビンの各々は、ターゲットDoI及びターゲット距離レンジによって決定される、ことと、各ターゲット空間ビンについて、当該ターゲット空間ビンと関連付けられた指向性CIに基づいて自己相関関数を演算することと、自己相関関数の第1のピークを決定することと、第1のピークが第3の閾値よりも大きい場合に、当該ターゲット空間ビンにある検出された生物の動きを反復動作として分類することと、第1のピークが第3の閾値以下である場合に、当該ターゲット空間ビンにある検出された生物の動きを、ランダムな体動として分類することと、を更に含む。
項B8.項B7のシステムであって、各生物についてバイタル信号を生成することは、関心ポイント(PoI:point-of-interest)のセットを演算することであって、PoIのセット内の各PoIは、当該PoIに存在する検出された生物と関連付けられ、当該PoIに存在する検出された生物の反復動作と関連付けられた、ベニュー内のターゲット空間ビンである、ことと、PoIのセットをクラスタリングすることで、総クラスタ数を有する少なくとも1つのPoIクラスタを生成することであって、PoIのセットは、クラスタリング後の総クラスタ数の事前知識なしにクラスタリングされ、PoIのセットは、PoIのセットに関連する密度、PoIのセットの任意の2つのPoI間の距離、又は生物のサイズに関連する閾値のうちの少なくとも1つに基づいてクラスタリングされる、ことと、総クラスタ数に基づいて、ベニュー内のターゲット生物の量を決定することと、を更に含む。
項B9.項B8のシステムであって、各生物についてバイタル信号を生成することは、少なくとも1つのPoIクラスタの各々について、PoIで測定されたCI位相の重み付け平均、又はPoIと関連付けられた自己相関関数の第1のピークの中で最も高いピークを有する支配的PoI、のうちの少なくとも1つに基づいて、当該PoIクラスタ内のPoIを合成することで、合成PoIを生成することと、合成PoIに対応するCI位相信号に基づいて、PoIクラスタに対応するターゲット生物についてのバイタル信号を生成することであって、CI位相信号は、ターゲット生物の全ての反復動作と関連付けられる、ことと、を更に含む。
項B10.項B9のシステムであって、バイタル生体信号から心拍信号を抽出することは、生物ごとに、CI位相信号の分解の共同最適化、又はCI位相信号の連続的分解、のうちの少なくとも1つに基づいて、生物と関連付けられた当該CI位相信号を分解することで心拍信号を生成することを含む。
項B11.項B10のシステムであって、共同最適化は、CI位相信号の可能性のある信号成分の量を表す個数Kを決定することであって、Kはベニューに存在する生物の量以上である、ことと、帯域幅制約とデータ忠実度とのバランスをとるためのトレードオフファクタを決定することと、トレードオフファクタに基づいて、CI位相信号のK個の信号成分と当該K個の信号成分の中心周波数とを、CI位相信号のスペクトルスパース性とデータ忠実度とを同時に最大化する目的個数に基づいて、当該目的関数の収束まで反復的に最適化することと、当該反復的に最適化することに基づいて、CI位相信号のK個の分解成分を同時に生成することと、を含む。
項B12.項B11のシステムであって、共同最適化は、K個の分解成分が、第1の値範囲内に位置する振幅を有し、かつ、第2の値範囲内に位置する中心周波数を有する心拍成分を含むかどうかを判定することを更に含み、第1の値範囲及び第2の値範囲の各々は、心拍統計値に基づいて予め決定される。
項B13.項B12のシステムであって、共同最適化は、K個の分解成分に心拍成分が存在する場合、平滑化、ローパスフィルタリング、スプライン補間、B-スプライン、3次スプライン補間、多項式フィッティング、又は移動平均のうちの少なくとも1つに基づいて、心拍成分のエンベロープを推定することと、心拍成分を当該心拍成分のエンベロープで除算することによって、当該心拍成分を正規化して、生物についての正規化された心拍信号を生成することと、を更に含む。
項B14.項B12のシステムであって、共同最適化は、K個の分解成分に心拍成分が存在しない場合、CI位相信号の可能性のある信号成分の更新された量を表すために更新された個数Kを生成するために個数Kを更新することと、トレードオフファクタを更新することで、帯域幅制約とデータ忠実度とのバランスをとるために更新されたトレードオフファクタを生成することと、CI位相信号のK'個の信号成分と当該K'個の信号成分の中心周波個数とを、CI位相信号のスペクトルスパース性とデータ忠実度とを同時に最大化する目的関数に基づいて、CI位相信号のK'個の分解成分を同時に生成するために、更新されたトレードオフファクタに基づいて反復的に最適化することと、を更に含む。
項B15.項B10のシステムであって、連続的分解は、平滑化、ローパスフィルタリング、スプライン補間、又は多項式フィッティングのうちの少なくとも1つに基づいて、CI位相信号の主成分を推定することと、CI位相信号から主成分を除去することで、処理されたCI位相信号を生成することと、周波数変換、三角変換、高速フーリエ変換(FFT)、又はウェーブレット変換のうちの少なくとも1つを利用して、処理されたCI位相信号に基づいて、CI位相信号の第2の主成分の特性を演算することと、当該特性に基づいて、第2の主成分が第1の値範囲内に位置する振幅を有し、かつ、第2の値範囲内に位置する中心周波数を有する心拍成分であるかどうかを判定することと、を含み、第1の値範囲及び第2の値範囲の各々は、心拍に関連する。当該特性は更に、平滑性制約を受けるエネルギー関数の最小化によって演算されてもよい。
項B16.項B15のシステムであって、連続的分解は、第2の主成分が心拍成分である場合、平滑化、ローパスフィルタリング、スプライン補間、B-スプライン、3次スプライン補間、多項式フィッティング、又は移動平均のうちの少なくとも1つに基づいて、心拍成分のエンベロープを推定することと、心拍成分を当該心拍成分のエンベロープで除算することによって、当該心拍成分を正規化して、生物についての正規化された心拍信号を生成することと、を更に含む。
項B17.項B15のシステムであって、連続的分解は、第2の主成分が心拍成分でない場合、CI位相信号から第2の主成分を除去することで、追加の処理されたCI位相信号を生成することと、追加の処理されたCI位相信号に基づいて、CI位相信号の次の主成分の追加の特性を演算することと、当該追加の特性に基づいて、次の主成分が心拍成分であるかどうかを判定することと、を更に含み、当該次の主成分は、第1の値範囲内に位置する振幅を有し、かつ、第2の値範囲内に位置する中心周波数を有する。追加の特性は、周波数変換によって、又は平滑性制約を受けるエネルギー関数の最小化によって演算されてもよい。
項B18.項B10のシステムであって、心拍数変動をモニタリングすることは、生物ごとに、心拍信号のピークを識別すること、心拍信号のゼロクロス点を識別すること、又は心拍信号に対して連続ウェーブレット変換を実行すること、のうちの少なくとも1つに基づいて、各時間インスタンスにおいて当該生物についての心拍時間を決定することで、心拍時間を演算することと、心拍時間に基づいて、複数の心拍間隔を演算することと、心拍間隔の統計値に基づいて、当該生物についての心拍数変動を推定することと、を更に含む。
項B19.項B2のシステムであって、バイタル信号から心拍信号を抽出することは、生物ごとに、バイタル信号の周波数成分に基づくバイタル信号の分解、又は当該生物と関連付けられたCI振幅信号の分解のうちの少なくとも1つに基づいて、心拍信号を生成することを含む。
項B20.項B1のシステムであって、送信機及び受信機は、互いに物理的に結合される。
項B21.無線モニタリングシステムの無線デバイスであって、プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合された受信機とを備え、無線モニタリングシステムの追加の無線デバイスは、ベニューの無線チャネルを通じて第1の無線信号を送信するように構成され、受信機は。無線チャネルを通じて第2の無線信号を受信するように構成され、第2の無線信号は、ベニューにおける少なくとも1つの反復動作を有する少なくとも1つの生物による第1の無線信号の反射を含み、プロセッサは、第2の無線信号に基づいて無線チャネルの時系列のチャネル情報(TSCI)を取得することと、少なくとも1つの生物のうちの各生物について、TSCIに基づいて当該生物の全ての反復動作を表すバイタル信号を生成することと、各生物のバイタル信号から心拍信号を抽出することと、ベニュー内の各生物について、心拍信号に基づく心拍数変動をモニタリングすることと、を行うように構成される。
項B22.項B21の無線デバイスであって、少なくとも1つの生物は、人間又は動物を含み、第1の無線信号は、ミリ波で搬送され、ベニュー内の各物体は、ベニュー内の複数の空間ビンに基づいて定められる位置を有し、複数の空間ビンの各々は、受信機から生じる方向及び距離レンジによって決定され、各方向は、角度、方位角、又は仰角のうちの少なくとも1つと関連付けられる。
項B23.項22の無線デバイスであって、各生物についてバイタル信号を生成することは、TSCIに基づいてビームフォーミングを演算することと、ビームフォーミングに基づいて方向にそれぞれ関連付けられた、時系列の指向性チャネル情報(CI)のセットを演算することと、それぞれの方向と関連付けられた各指向性のCIについて、時間インスタンスごとに、それぞれの方向についての指向性CI及び距離レンジに基づいて、CI振幅を演算することで、CI振幅を経時的に取得することと、時間ウィンドウに基づいてCI振幅の時間平均を演算することと、時間平均が第1の閾値よりも大きい場合に、それぞれの方向の距離レンジにおける物体の存在を検出することであって、第1の閾値は、2次元の一定誤警報率(CFAR)に基づいて、それぞれの方向の距離レンジにおいてCI振幅をフィルタリングするように適応的に決定される、ことと、物体の存在が検出された方向をそれぞれ含む、関心方向(DoI)のセットを決定することと、を含む。
項B24.項B23の無線デバイスであって、各生物についてバイタル信号を生成することは、DoIのセット内のDoIごとに、かつ、距離レンジごとに、時間ウィンドウ内の時間にわたるDoIと関連付けられた指向性CIの位相分散を演算することと、位相分散が第2の閾値未満である場合に、距離レンジ及びDoIにおいて検出された物体を、反復動作の無い静止物体として分類することと、位相分散が第2の閾値以上である場合に、距離レンジ及びDoIにおいて検出された物体を、反復動作のある生物として分類することと、検出された生物ごとに複数のターゲット空間ビンを決定することであって、当該複数のターゲット空間ビンの各々は、ターゲットDoI及びターゲット距離レンジによって決定される、ことと、各ターゲット空間ビンについて、当該ターゲット空間ビンと関連付けられた指向性CIに基づいて自己相関関数を演算することと、自己相関関数の第1のピークを決定することと、第1のピークが第3の閾値よりも大きい場合に、当該ターゲット空間ビンにある検出された生物の動きを反復動作として分類することと、第1のピークが第3の閾値以下である場合に、当該ターゲット空間ビンにある検出された生物の動きを、ランダムな体動として分類することと、を含む。
項B25.項B24の無線デバイスであって、各生物についてバイタル信号を生成することは、関心ポイント(PoI)のセットを演算することであって、PoIのセット内の各PoIは、当該PoIに存在する検出された生物と関連付けられ、当該PoIに存在する検出された生物の反復動作と関連付けられた、ベニュー内のターゲット空間ビンである、ことと、PoIのセットをクラスタリングすることで、総クラスタ数を有する少なくとも1つのPoIクラスタを生成することと、総クラスタ数に基づいて、ベニュー内のターゲット生物の量を決定することと、少なくとも1つのPoIクラスタの各々について、PoIで測定されたCI位相の重み付け平均、又はPoIと関連付けられた自己相関関数の第1のピークの中で最も高いピークを有する支配的PoI、のうちの少なくとも1つに基づいて、当該PoIクラスタ内のPoIを合成することで、合成PoIを生成することと、合成PoIに対応するCI位相信号に基づいて、PoIクラスタに対応するターゲット生物についてのバイタル信号を生成することであって、CI位相信号は、ターゲット生物の全ての反復動作と関連付けられる、ことと、を更に含む。
項B26.項B21の無線デバイスであって、バイタル信号から心拍信号を抽出することは、生物ごとに、CI位相信号の分解の共同最適化に基づいて、生物と関連付けられた当該CI位相信号を分解することで心拍信号を生成することを含み、共同最適化は、CI位相信号の可能性のある信号成分の量を表す個数Kを決定することであって、Kはベニューに存在する生物の量以上である、ことと、帯域幅制約とデータ忠実度とのバランスをとるためのトレードオフファクタを決定することと、トレードオフファクタに基づいて、CI位相信号のK個の信号成分と当該K個の信号成分の中心周波数とを、CI位相信号のスペクトルスパース性とデータ忠実度とを同時に最大化する目的個数に基づいて、当該目的関数の収束まで反復的に最適化することと、当該反復的に最適化することに基づいて、CI位相信号のK個の分解成分を同時に生成することと、を含む。
項B27.項B26の無線デバイスであって、共同最適化は、K個の分解成分が、第1の値範囲内に位置する振幅を有し、かつ、第2の値範囲内に位置する中心周波数を有する心拍成分を含むかどうかを判定することを更に含み、第1の値範囲及び第2の値範囲の各々は、心拍統計値に基づいて予め決定される。
項B28.項B27の無線デバイスであって、共同最適化は、K個の分解成分に心拍成分が存在する場合、平滑化、ローパスフィルタリング、スプライン補間、B-スプライン、3次スプライン補間、多項式フィッティング、又は移動平均のうちの少なくとも1つに基づいて、心拍成分のエンベロープを推定することと、心拍成分を当該心拍成分のエンベロープで除算することによって、当該心拍成分を正規化して、生物についての正規化された心拍信号を生成することと、を更に含む。
項B29.項B27の無線デバイスであって、共同最適化は、K個の分解成分に心拍成分が存在しない場合、CI位相信号の可能性のある信号成分の更新された量を表すために更新された個数Kを生成するために個数Kを更新することと、トレードオフファクタを更新することで、帯域幅制約とデータ忠実度とのバランスをとるために更新されたトレードオフファクタを生成することと、CI位相信号のK'個の信号成分と当該K'個の信号成分の中心周波個数とを、CI位相信号のスペクトルスパース性とデータ忠実度とを同時に最大化する目的関数に基づいて、CI位相信号のK'個の分解成分を同時に生成するために、更新されたトレードオフファクタに基づいて反復的に最適化することと、を更に含む。
項B30.無線モニタリングシステムの方法であって、ベニューの無線チャネルを通じて第1の無線信号を送信することと、無線チャネルを通じて第2の無線信号を受信することであって、第2の無線信号は、ベニューにおける複数の人間による第1の無線信号の反射を含む、ことと、第2の無線信号に基づいて、無線チャネルの時系列のチャネル情報(TSCI)を取得することであって、各CIは、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、又は受信信号強度インデックス(RSSI)のうちの少なくとも1つを含む、ことと、複数の人間の各々について、TSCIに基づいて、当該人間の全ての反復動作を表すバイタル信号を生成することと、各人間のバイタル信号から心拍信号を抽出することと、数の人間の各々について、心拍信号に基づいて、心拍数変動を同時にモニタリングすることと、を含む。
自動車はそのモビリティ、便利さ、及び快適さのために、現在の速いペースの世界において日常的な必要性になっている。2015年までに、世界の自動車の路上走行台数は12億台に達した。一方、世界保健機関によると、道路交通事故は毎年世界中で約135万人が死亡し、20人から5000万人が死亡している。自動車メーカーや研究者は交通事故の発生件数を減らし、運転の安全性を高めるために、先進運転支援システム(ADAS:Advanced Driver Assistance System)に取り組んできた。自動運転における多くの一般的なトピックの中で、運転者のバイタルサインモニタリングは、必須のコンポーネントの1つ。運転者の状態を継続的にモニタリングすることにより、運転者が突然の心臓発作、脳卒中、又は疲労に遭遇したとき等、緊急時にADASが自動車を制御することを可能にすることができ、これは、運転者の心拍数変動(HRV)、即ち心拍間隔(IBI)の変動を使用することによって予測又は指示しうる。心拍数(HR)及び呼吸数(RR)と組み合わせたHRVは心不整脈、アルコール使用、精神的ストレス及び眠気の良好な指標として十分に確立されており、したがって、人間の覚醒を良好に予測する。
従来の運転者バイタルサインモニタリングソリューションは、主に2つのカテゴリ、即ち、センサベースの方法及び視覚ベースの方法を含む。センサベースの方法はバイタルサインをモニタリングするために、フォトプレチスモグラフィ(PPG)、心電図(ECG)、及び脳波記録(EEG)等の生理学的センサを装着する運転者を必要とする。しかしながら、これらの専用センサを日常通勤で着用することは、面倒であり、不快である。更に、センサを装着することは、運転者の注意をそらし、安全性及びユーザ体験を低下させる可能性がある。侵入性の低いソリューションとして、視覚ベースの方法は、画像シーケンスを利用して、RR、HR、及びHRVを含むバイタルサインを検出する。しかしながら、低光量シナリオにおけるその不十分な性能、及びプライバシーの懸念等の主な欠点は、ビジョンベースのシステムの広範な展開を妨げる。
無線センシングの発展に伴い、無線周波数(RF)ベースの方法が最も有力な候補の1つになっている。直観的には、人間の被験者の存在がRF伝搬に影響を及ぼし、即ち、人間の被験者から反射されたRF信号、呼吸及び心拍による胸部の動きを含む身体の動きによって変調される。結果として、RFベースのシステムはいかなる物理的接触もなしにバイタルサインを推定することができ、一方で、ユーザのプライバシーを維持し、光の状態にかかわらず堅牢に動作する。多くの研究が、RF信号RR、HR及びHRVモニタリングの実現可能性を検証している。しかしながら、これらのソリューションのほとんどは、エンジン振動、道路振動、及び人体運動を伴う騒音のある車内環境に対処することができない、静止している人間の被験者を伴う屋内シナリオに焦点を当てている。したがって、正確なRFベースの運転者バイタルサインモニタリングを更に調査する必要がある。
技術的には、RFベースの運転者バイタルサインモニタリングを可能にすることは自明ではない。第1に、運転中、運転者は頻繁かつ予測不可能な動き(例えば、ハンドルの制御、自動車のトラッキングを維持するための頭部の動き、及び加速又はブレーキ等による身体のローミング)を示し、これは、呼吸及び心拍よりも大きな支配的な動きを頻繁に引き起こし、バイタル信号によって誘発される周期的な変動を容易に損なう可能性がある。したがって、生のRF信号、バイタル信号に起因する微小な動きを蒸留することは困難である。
この問題を克服するために、本教示は、いくつかの実施形態による、2ステップ動き補償アルゴリズムを開示する。運転者の反射プロファイルは、システムの解像度及びターゲットのサイズを考慮すると、同様のままである。そのような観測が与えられると、第1のステップにおいて、運転者の位置変化は、連続チャネルインパルス応答(CIR)間の相互相関に基づいて補償される。その後、人体の同じ部分に対応する反射は、時間同じレンジ-方位角ビンに位置合わせされる。微細な動きアーチファクトを更に除去し、位相測定において明らかにされたバイタル信号の周期性を回復するために、第2のステップにおいて、動きトレンドは、スプラインを平滑化することによって更に推定され、次いで除去される。第2に、体動の影響の大部分を排除した後でさえ、複合生体信号から個々の心拍を抽出することは依然として困難である。これは、心拍に起因する距離変化が呼吸に起因する距離変化よりも一桁小さく、心拍信号が水没しやすいためである。更に、これらのわずかな心原性体動はECG信号におけるような鋭いピーク特徴を欠き、HRV推定のための心拍の正確なタイミングを正確に特定することをより困難にする。
これらの課題に対処し、RF反射からの心拍信号と同様に呼吸信号を再構成するために、本教示は、バイタル信号の以下の特性を探索することによる関節分解方法を開示する。(1)呼吸及び心拍信号の両方は準周期的信号であり、呼吸及び心拍の通常の周波数は、それぞれ、6~30呼吸毎分(RPM)及び50~120拍毎分(BPM)である。(2)人間の胸部からの反射はデバイスのレンジ-方位分解能及び人体のサイズを考慮して、異なるレンジタップ及び方位角(図19に示されるように、レンジ-方位角ビンとして知られる)を占めることになる。したがって、複数のレンジ-方位角ビンに含まれるバイタル情報は、推定精度を改善するために共同で最適化しうる。(3)人間の胸部の異なる部分(異なるレンジ-方位角ビンに対応する)によって反射されるバイタル信号の周波数は、反射が同じ人間の被検体から来るので、同じままである。しかし、図19に示すような生理学的構造により、呼吸及び心拍によって引き起こされる距離変化は、人体の異なる部分で区別しうる。したがって、バイタル信号を含む全てのレンジ-方位角ビンについて、位相測定において同じ周波数であるが異なる振幅を有する周期的信号を観測する。
上述の特性を利用して、開示されたシステムは、帯域制限信号の集合として、異なるレンジ-方位角ビンにおけるバイタル信号の分解を共同で最適化しうる。呼吸及び心拍信号は、RR、HR及びIBI推定のための全てのレンジ-方位角ビンにわたる対応するコンポーネントの経験的平均を使用することによって、更に再構成されうる。
いくつかの実施形態では、開示されるシステムが単一の市販のオフザシェルフ(COTS)ミリ波ラジオを使用してプロトタイプ化されてよく、その性能を評価するために広範なオンロードテストが行われる。いくつかの実施形態では、4人のボランティア(男性2人及び女性2人)がデータ収集を支援し、テスト経路は異なる道路状況を有するローカルルート及び高速道路を含む50.7マイルのサイクルである。舗装条件、装置位置、ユーザ不均一性を含む種々のファクタの影響を調べた。実験結果は、開示されたシステムがRR、HR、及びIBI推定の中央値誤差がそれぞれ0.16 RPM、0.82 BPM、及び46msで正確な推定を達成できることを示す。開示されるシステムは、動きアーチファクトを用いて正確なHRV推定を達成しうる第1のRFベースの運転者バイタルサインモニタリングシステムである。開示されたシステムはRR、HR、及びより重要なことには既存の作品では達成できないモーションアーチファクトにかかわらずHRVを含む運転者のバイタルサインを推定しうる。
いくつかの実施形態では、開示されるシステムが単一の商品周波数変調連続波(FMCW)レーダを使用することによって、不可避のランダム運動を伴う実際の運転シナリオにおける非接触運転者のバイタルサインモニタリングを目的とする。いくつかの実施形態によれば、システムのパイプラインは図20に示され、これは、2つの主要モジュール、即ち、バイタル動作抽出モジュール2010及びバイタルサイン推定モジュール2020を含む。
送信機(Tx)2001及び受信機(Rx)2002は、無線信号に基づいて無線チャネルのチャネル情報を取得するために使用されうる。無線信号は、Tx 2001によって送信され、無線チャネルを通じて物体及び/又は人間によって反射された後にRx 2002によって受信されうる。無線信号は、28GHz、60GHz、77GHz等の高周波数帯域でありうる。いくつかの実施形態では、Tx 2001が上述のようなボットであり、図9に示されるような構造を有し、Rx 2002は上述のようなオリジンであり、図10に示されるような構造を有する。
第1の段階では、バイタル動作抽出モジュール2010がチャネル情報からバイタル信号を含むビンを抽出する。異なるレンジ-方位角ビンでチャネルインパルス応答(CIR)をうるために、チャネル情報に対してビームフォーミングが実行されうる。次に、バックグラウンド反射を減算するためにクラッタ除去が実行される。しかしながら、レーダに関する運転者の位置は、運転中に経時的に変化しうる(例えば、加速又はブレーキによる身体ローミング)ため、バックグラウンド減算後であっても、バイタル信号を直接抽出することはできない。その結果、バイタル信号は、複数のレンジビンにわたって拡散される。したがって、大きな体動の影響を除去するために、動き補償アルゴリズムが考案される。運転者の位置変化は最初に、CIR振幅の相関に基づいて、連続するCIR間で大まかに補償される。次いで、範囲ビン内の微妙な動きが、平滑化スプラインを利用してCIR位相から推定され、除去される。動き補償の後、バイタル信号を含むレンジ-方位角ビン(別名バイタルビン)は周期的なパターンを示し、これらのビンのCIRは、更なるバイタルサイン推定のためにエクスポートされる。
第2の段階では、バイタルサイン推定モジュール2020がバイタル動作抽出モジュール2010によってエクスポートされたバイタル信号を使用して、運転者のRR、HR、及びHRVを推定する。HRV分析を可能にするために、心拍波は、各心拍の正確な時間をうるために再構成される必要がある。しかしながら、呼吸及び心拍運動の両方を含む複合バイタル信号から心拍信号を抽出することは、自明ではない。呼吸及び心拍信号を正確に回復するために、開示されたシステムは、複数の帯域制限信号を同時に有する全てのバイタルビンにおけるバイタル信号の分解を最適化しうる。全てのバイタルビンにおける抽出された呼吸及び心拍信号は、RR、HR及びIBI推定のための呼吸及び心拍波の推定値を与えるために更に結合される。
いくつかの実施形態では、開示されるシステムが図21に示されるように、周期的に線形に増加する周波数ランプを有する信号を送信するFMCWレーダ上に構築される。図21のチャープは単一の送信であり、m番目のチャープの送信信号は
と表されうる。ここで、f
cはチャープ開始周波数であり、T
cはチャープ持続時間であり、Bは帯域幅であり、A
Tは送信電力である。反射信号x
R
m(τ)は
と表されうる。ここで、A
Rは受信信号の振幅であり、τ
pはp番目の反射経路の往復遅延であり、
と表されうる。ここで、d
pは反射物体と装置との間の距離であり、cisは光速であり、Pは周囲の反射点の総数である。
受信信号を送信信号のレプリカと混合し、ローパスフィルタに続いて、時間インスタンスmにおけるチャネル情報は
と表されうる。ここで、Aはチャンネルゲインを表し、τ
pは短距離の用途ではナノ秒であり、
の用語は無視できる。したがって、h
m(τ)は
と記述されうる。これはP個の正弦波信号の和であり、その周波数
はターゲットの距離に依存する。更に、チップセットの複数のアンテナを活用して角度分解能を増加させることによって、チャネル情報は更に、次のように表すことができる。
ここで、λ
cはチャープの波長を表し、d
lはl番目のアンテナによって導入される相対距離であり、θはターゲットの方位角である。このチャンネル情報はh
m(τ、l)の高速フーリエ変換(FFT)(レンジRRFとしても知られる)によってCIRに変換することができ、これは以下のように表すことができる。
ここで、h
r, l(m)は時刻mにおけるl番目のアンテナ素子及びr番目のレンジタップrのCIRを示し、nはファスト時間τにわたってh
m(τ,l)をデジタル化した後のサンプル指標を示し、Nは、チャープ当たりのサンプルの総数である。
現実世界の設定では、RF信号バイタル動作を抽出することは自明ではない。車内に様々なクラッタ(例えば、椅子、金属物体、天井等)が存在するため、RF反射を人体からフィルタリングすることは困難である。更に、運転中に体動が関与するため、バイタル動作によって引き起こされる反射信号の周期性が損なわれる可能性があり、バイタル信号の検出を複雑にする。
いくつかの実施形態では、反射物体の範囲及び方向を決定するために、開示されるシステムは各レンジタップについて全アンテナにわたってデジタルビームフォーミングを使用する。例えば、バートレットビームフォーマを使用することができ、ここで、方位角θに対するl番目のアンテナの係数は、以下のとおりである
範囲r及び方位角θに対応するビームフォーミングされたCIRは、以下のように表すことができる。
ここで、
は角度θに向かうステアリングベクトルであり、
はレンジタップrにおけるチャネル情報ベクトルであり、ε(m)は、異なるレンジ-方位角ビンに対して独立かつ同一に分布される(I.I.D)と仮定される加法的な白色ガウス雑音である。
いくつかの実施形態では、運転者に対応するレンジ-方位角ビンを位置特定し、車両内の静止物体からの反射の影響を低減するために、開示されるシステムはバックグラウンドからCIRを減算するためにクラッタ除去アルゴリズムを展開する。静止物体からの反射はある期間内に不変であると合理的に仮定され、一方、運転者からの反射は人間の動き(バイタル信号によって引き起こされる身体の動き及び動きを含む)によって経時的に変化する。バックグラウンドプロファイルはスロー時間にわたるCIRの平均値をとることによって推定することができ、キャリブレーションされたCIRは
と表記されうる。ここで、Mは、クラッタ除去のために使用されるサンプルの数である。図22A及び22Bはバックグラウンドキャンセルの効果を示し、クラッタ除去前の未加工CIRが図22Aに示され、クラッタ除去後の対応するキャリブレーションされたCIRが図22Bに示される。図22A及び図22Bに示すように、クラッタ除去は、バックグラウンド雑音を著しく低減する。
いくつかの実施形態では、運転者に対応する動的CIRを抽出した後、システムはバイタル信号(別名、バイタルビン)によって与えられるレンジ-方位角ビンを取得しうる。人間の被験者が静止している場合、位相信号の周期性をチェックすることによって、バイタルビンを容易に識別しうる。しかしながら、静止している人間の被験者の仮定は、運転シナリオにおいてほとんど成り立たない。人間の動きを含むCIRから周期的なバイタル信号を回復するために、開示されたシステムは、2ステップの動き補償アルゴリズムを使用する。
大きな体動がある場合、図23に示されるように、人間の被験者に対応するレンジ-方位角ビンの位置は変化し、ここで、人間の被験者は、方位角0°でデバイスから約0.5m離れて座る。被験者が身体を前後に揺らし、反射位置が変更する。CIR測定の振幅は例えば、15sごとに示される。図23に示すように、人間の反射のプロファイルは同様のままである。したがって、体動を除去するために、連続するCIR間の2次元相互相関が演算される。次いで、各時間インスタンスにおけるCIRは、最大相互相関に対応する点に循環的にシフトされる。
図24は、体動対価前後の1分CIRの振幅を示す。可視化のために、CIRは、範囲[0,0.9]mにわたって方位角0°でプロットされる。上の図は[0、0.9]mの範囲での方位角0°における1分間のCIR振幅を示しており、人間の被験者とデバイスとの間の距離は、経時的に変化する。下の図は、人間の被験者のレンジタップが同じままで大きな体動対価後の対応するCIR振幅を示す。大きな体動対価の後、ビンは人間の被験者に対応することが示されている。2D一定誤警報率(CFAR)検出器は更に、人間の被験者をアライメント(整列)させた後にCIR上に適用され、候補ビンは図25A及び図25Bに示されるように、人間の被験者と選択されうる。
人間の被験者に対応する候補レンジ-方位角ビンは第1のステップで位置合わせされ選択されているが、周期的なバイタル信号を用いて胸部によって反射されたビンを見つけることは依然として困難である。その理由は第1のステップがレンジ-方位分解能よりも大きい動きアーチファクトを除去することしかできないが、レンジ-方位分解能内の微細な動きに対処することができないからである。図26Aは、細かい動きによってゆっくりとした傾向が引き起こされる、実線における大きな体動対価後の候補レンジ-方位角ビンのアンラップ位相測定の例を示す。バイタル信号の周期性を回復するために、システムは、これらの微動の影響を更に排除しうる。
いくつかの実施形態では、
を、観測窓における範囲r及び方位角θに対応するアンラップ位相シーケンスとする(式中、Mはサンプルの総数である)。
は各観測に対応する時間を示す。微動除去の動作は、スロー時間にわたって同じレンジ-方位角ビン内で実行される。
いくつかの実施形態では、バイタル動作と比較してより大きい距離変更及びより低い周波数を有するモーションアーチファクトを除去するために、モーションアーチファクトによって引き起こされる位相変化の推定値は
によって取得されうる。ここで、λ≧0は平滑化パラメータである。第2項は、関数の滑らかさを評価する。
は、以下のように定義される、運動によって引き起こされる位相変化の推定値である
ここで、f
m(t)は、スプライン基底関数の集合である。いくつかの実施形態では、B-スプラインがスプライン基底として使用される。
とすると、粗さペナルティは次のようになる
ここで、Aの要素は
である。したがって、式(31)として書き換えることができる。
ここで、式(34)の最小化器は
として取得される。
動きの推定値は
によって取得されうる。ここで、f(t)はスプライン基底関数のベクトル形式である。次いで、推定されたモーションアーチファクトを除去して、クリーン位相を取得し、バイタル情報を明らかにしうる。図26A~図26Cは細かい動きの相殺の効果を示し、図26Aの破線は、身体の動きによって引き起こされる推定された位相測定を示す。図26Bはモーションアーチファクトが除去された後の位相測定を示し、ここでは、バイタル信号によって引き起こされる周期性が現れる。上記の微動除去はCFAR検出器によって選択された全ての候補ビンにわたって実行され、各候補ビンのクリーニングされた位相は更なる分析のために保存される。
いくつかの実施形態では、動き補償の後、図26Bに示されるように、人間の胸部に対応する位相情報は呼吸及び心拍の両方の変調による周期性を示す。人体の他の部分によって反射されたビン(即ち、動きによって支配されるビン)をフィルタリングするために、システムは、それらの自動相関関数(ACF)を調べることによって、スロー時間にわたって位相信号の周期性をチェックしうる。その理由は、位相計測がバイタル信号を含む場合、その対応するACFのτ*にピークが観測され、呼吸周期の持続時間が明らかになるからである。図26Cは人間の胸部に対応する位相測定のACFの例を示し、呼吸サイクルの持続時間は約3.7sであり、16.1 RPMに対応する。システムは、人間の被験者に対応する全ての候補ビン、及び正常な人間のRRの範囲内に位置するピークが更なる分析のためにバイタルビンとして識別されるビンにわたって周期性をチェックしうる。
いくつかの実施形態では、前のモジュールによって識別されたバイタルビンが呼吸及び心拍によって引き起こされる複合距離変化のみを反映しうる。RR、HR、及びHRVを含むバイタルサインを更に推定するために、システムは、それぞれ呼吸及び心拍によって引き起こされる距離変化を再構成しうる。簡単にするために、以下の分析では、信号モデルのアナログ形式が直接使用される。
いくつかの実施形態では、
が全てのB個のバイタルビンの位相信号のベクトルを示すものとする。移動消去後の位相信号は、バイタル信号の混合であるので、次式を得ることができる
r(t)及びs
h(t)はそれぞれ呼吸及び心拍信号のベクトルを表し、n(t)は、バイタルサインによって引き起こされる位相変化とは無関係である雑音によって導入されるランダム位相オフセットである。位相を分解し、バイタルサインの推定値をうるために、以下の特性を利用しうる。第1に、呼吸及び心拍の両方は、時間とともに周期性がわずかに変化する準周期的信号である。第2に、呼吸及び心拍に対応する信号の周期性は、これらの信号が同じ人によって変調されるので、異なるバイタルビンにおいて同じままであるべきである。第3に、呼吸及び心拍によって引き起こされる距離変化は生理学的構造に起因して人体の異なる部分において異なる可能性がある(即ち、異なるバイタルビンにおける距離変化は、異なる可能性がある)。
したがって、位相信号は
として表される帯域制限信号の集合として分解することができ、成分
ごとに、全てのバイタルビンに関する分解された信号は、同じ中心周波数ω
k(特性a及びbに対応する)の周りで小型であるべきである。更に、異なるバイタルビンにおける距離変化は、別々に最適化されるべきである(財産権cに対応する)。分解は、以下のようにモデル化しうる。
ここで、
は、全ての成分及びそれらの中心周波数のセットをそれぞれ示す。式(38)の第1項は帯域幅制約を表し、これは、それぞれの成分に対応する解析信号の勾配のL
2ノルムの和によって測定される。第2項は、再構成に関する二次ペナルティによって評価される忠実度制約である。αは、帯域幅制約とデータ忠実度とのバランスをとるためのパラメータである。式(38)の中の最適化問題は、
を収束まで交互に更新することで解決できる。
次に、u
k, bに関する最小化を演算しうる。いくつかの実施形態では、バイタルビンbのk番目のコンポーネントを更新するために、下位問題は
と記述されうる。
パーセバル定理を用いることにより、問題は
と等価であり、ここで、
は、それぞれu
k, b(t)とy
b(t)のフーリエ転送である。第1項の変数ω←ω-ω
kの変更を行い、第2項のスペクトルにおける実信号のエルミションシンメトリを用いた後、上記の問題は
と記述されうる。
更新されたソリューションは、以下のように表すことができる
このとき、システムは、ω
kに関する最小化を演算しうる。中心周波数ω
kは帯域幅制約にのみ現れ、したがって、更新機能は次のように書くことができる。
上述のように、フーリエ領域において最適値を見つけることができ、
を有する。
図27A及び図27Bはバイタル信号分解の例を示し、元の位相の時間領域及び周波数領域並びに分解成分は、それぞれ、図27A及び図27Bに示される。図27Aの第1のサブ図は、動きキャンセル後の位相測定を示す。呼吸及び心拍成分は、図27Aの第2及び第3のサブ図にそれぞれ示されている。図27Aの第4のサブ図は分解残渣を示す。3つの異なるバイタルビンの情報が示されている。異なるバイタルビンの距離変化は別個であるが、図27Aに示されるように、各成分の信号の周期性は図27Bに示されるように同じままである。言い換えれば、バイタル信号に対応するコンポーネントは全てのバイタルビンにわたって完全にアライメントされ、例えば、第1のコンポーネントは異なるバイタルビンにわたる呼吸によって引き起こされる別個変位量を表し、第2のコンポーネントは、異なるバイタルビンにわたる心拍によって引き起こされる別個変位量を表す。分解の残渣は図27A及び図27Bに示されるように、車の振動を含む雑音を含む。いくつかの実施形態では、雑音の影響を更に低減するために、システムは経験的平均、即ち
を使用して全てのバイタルビンの信号を組み合わせることによってバイタル信号を再構成することができ、ここで、i番目及びj番目のコンポーネントはそれぞれ呼吸信号及び心拍信号に対応する。RRは図26Cに示されるように、推定された呼吸信号のACFの第1のピークを見つけることによって推定される。更に、HRの推定をうるために、推定された心拍信号に対してFFTが更に実行される。更に、各心拍の正確な時間を再構成された心拍波から更に抽出して、IBIを推定しうる。
図28A~28Cは2分間のデータセットの推定バイタルサイン対それらのグラウンドトゥルースを示し、ここで、時間-周波数領域変換(即ち、ACF及びFFT)のために1分間のウィンドウが使用される。推定されたRR及びHRは図28Aに実線で示され、これは図28Aに破線で示されるグラウンドトゥルースと一致する。図28Bは推定された心拍波のセグメントを示し、各心拍の正確な時間のグラウンドトゥルースは、垂直破線としてマークされる。データ全体の推定IBI及びそれらの対応するグラウンドトゥルースを図28Cに示す。明らかに、開示されたシステムはバイタルサイン推定において高い精度を達成し、図28CにおけるIBI推定の二乗平均平方根誤差(RMSE)は、96%の相対精度に対応する40.77msである。
いくつかの実施形態によれば、広範な実験が、開示されるシステムの性能を評価するために実行される。異なる実験設定下で、性能を最先端の研究と比較しうる。いくつかの実施形態では、COTSミリ波レーダを使用して実験を行うことができ、2つのTxアンテナ及び4つのRxアンテナがTDM-MIMOモードで構成される。装置は15°の理論的方位分解能を達成することができ、視野(FoV)は水平面において100°であり、これは、運転者を覆うのに十分に大きい。FMCWレーダセットに対応するパラメータをテーブルIIに示す。心拍のグラウンドトゥルースは市販のECGセンサによって捕捉され、呼吸のグラウンドトゥルースは呼吸ベルトによって測定される。
いくつかの実施形態では、4人のボランティア(2人の男性及び2人の女性)が2つの異なるデバイス位置を含むデータ収集を助けるために募集される。全ての参加者は、心臓の病歴を有さず、試験者についてのより多くの情報が表IIIに示される。走行経路はローカル路線や高速道路を含む50.7マイルの周期であり、道路状況はGISデータセットと呼ぶことができる。データ収集の間、運転者は更なる制約なしに自身の習慣に従い運転しており、副操縦士がデータを収集する責任を負う。
開示されたシステムの性能を更に評価するために、それを、UWBレーダのCIRを使用して運転者のバイタルサインを推定する最新の作品、OOBiFと比較しうる。バイタル信号によって引き起こされる距離変化は様々なバイタルビンにおいて同一であると仮定して、V2iFiはマルチシーケンス変動モード分解(MS-VMD)によって呼吸及び心拍信号を推定する。V2iFiは、運転者が体動している場合、バイタルサインを推定できない。ここに開示された動き補正は動きアーチファクトを除去してバイタル信号を推定するために、OOBi-Fiにも適用される。
図30A~図30Cは、開示された装置及びOOBi-Fiの総合的な性能を示す。実験には、異なる舗装条件、装置位置を用いた道路試験、並びに4人の異なるユーザのための静止、頭部動作、手の動作及び前後の胴体動作を含む、異なる運動タイプを用いた制御実験が含まれる。図30Aは絶対RR推定誤差の経験的累積分布関数(CDF)をプロットし、ここで、開示されたシステム及びV2iFiについての90パーセンタイル誤差は、それぞれ、0.64 RPM及び0.86 RPMである。図30Bに示すように、開示された系が0.82 BPMの中央値誤差を達成し、V2iFiの中央値誤差が5.12 BPMである場合、性能向上は、HR推定に対してより有意である。図30CはV2iFiが約84msの中程度の誤差を生じる一方で、開示されたシステムが46msの中程度の誤差を達成し、V2iFiを約45.2%上回る、2つのシステムについてのIBI推定の性能を示す。Bland-Altmanプロットを図29に示し、実線は推定値とグラウンドトゥルースとの差の平均を示し、破線は差の標準偏差の±1.96時間を示す。推定値は、グラウンドトゥルースと比較して、ほとんど偏りがない。
いくつかの実施形態では、バイタルサイン推定に対するデバイス位置の影響を調査しうる。レーダは、フロントガラスの上部(「Up」と表示される)に配置され、ステアリングホイールの下(「Down」と表示される)に配置される。図31A~図31CはRR、HR及びIBI推定値の絶対誤差のCDFをプロットしたものであり、四角でマークされた線は「Down」設定に対応し、菱形でマークされた線は「Up」設定に対応する。
「Down」設定は、全ての推定に対してより良い性能を達成することが示されている。具体的には開示されたシステムについて、RR、HR、及びIBI推定の中央値誤差は「Down」設定についてそれぞれ0.2 RPM、0.65 BPM、及び38msである。ただし、「Up」設定では0.28 RPM、1.91 BPM、56msに増加し、それぞれ40%、193.85%、47.37% の性能劣化に対応する。類似31A~類似31Cに破線で示されるように、デバイスが「Up」設定として配置されているときに、3つのメトリック全ての中央値誤差が増加する、V2iFiにおける同様の事象を観察しうる。その理由はデバイスがフロントガラスに取り付けられるとき、バイタルビンは主に胸部に対応し、一方、「Down」設定の場合、バイタルビンは主に下胸部及び腹部に対応するからである。同じシナリオ(例えば、ブレーキ機構により車が減速する)では、腹部よりも大きな動きが上胸部に関与する。したがって、「Down」設定に対するバイタル信号のSNRは、「Up」設定よりも大きい。しかしながら、開示されたシステムと比較して、V2iFiは、雑音に対してロバスト性が低いので、3つのメトリック全てに対してより大きな推定誤差をもたらす。
いくつかの実施形態では、運転がサイドミラーを見るときの頭部、手、及び身体の異なる種類の運動、又は異なる運動タイプの衝撃をよりよく理解するためにステアリングホイール等を制御することを伴うので、図32A~32Cに示されるように、制御された実験を実施し、それらの対応する衝撃を分析しうる。実験中、運転者は座っている静止しているか、周囲をチェックするための頭部の動き、ハンドルを操作するための手の動き、及び加速及び減速によって引き起こされる身体の動きをエミュレートするために、その身体を前後にランダムに揺らすことを含む、駐車された自動車における特定のタイプの動きを連続的に実行するように求められる。全てのデータ収集は「Up」設定及び「Down」設定の両方で2分間続き、32セットのデータが分析のために収集される。
図32Aは異なる運動タイプを有するRR推定誤差のCDFを示し、運転者が頭部動作を行うときの中央値推定誤差は、静止状態の場合とほぼ同じであることが分かる。運転者が手を動かすと、性能はわずかに低下し、中央値誤差は0.11 RPMから0.12 RPMに増加し、静止セットと比較する。しかしながら、大きな前後運動については、厳しい性能劣化を観察することができ、RR推定のその中央値誤差は0.19 RPMであり、静止セットよりも72.73%悪い。同様の性能劣化は、HR及びIBI推定に関して観察しうる。
図32Bは、HR推定の中央値誤差が運転者がそれぞれ手及び前後運動を行うときに、静止セットに対応する0.35 BPMから0.68 BPM及び0.75 BPMに増加することを示す。IBI推定については図32Cに示すように、運転者が座位静止、頭部の動き、手の動き、及びランダムな前後動作を行うときの中央値誤差はそれぞれ37ms、41ms、45ms、及び68msである。
V2iFiの推定性能も、同様の性能劣化が観察されうる図32A~32Cにおいて破線でプロットされる。OOBi-Fiはモーションアーチファクトに対してより脆弱であり、手及び前後のモーションの性能劣化は、開示されたシステムと比較してより深刻であることが分かる。具体的には、往復設定のHR推定の中央値誤差は10 BPMよりも大きく、運転者のHR推定にはほとんど役に立たないことが分かる。
いくつかの実施形態では、HRV演算に対するウィンドウ長の影響を調べることができる。HRVメトリックがIBIシーケンスから導出されうることが知られており、図33A~33Dは、15s~120sの範囲のウィンドウ長を有する4つの異なる一般的に使用されるHRVメトリックを示す。異なる時間ウィンドウ下でのIBIの平均及びIBIの標準偏差(SDRR)を、それぞれ図33A及び図33Bに示す。連続差分の二乗平均平方根(RMSSD)が図33Cに示されており、これは
によって演算されうる。ここで、N
IBIは、所与の時間ウィンドウ内のIBIの総数である。図33Dは50ms(pNN50)を超えて異なる連続するIBIのパーセンテージを示し、これは
によって演算されうる。ここで、1{・}はインジケータ関数である。図33Aに示されるように、IBIの平均は、ウィンドウ長にわたってほとんど変化しない。しかしながら、他の3つのメトリック(即ち、SDRR、RMSSD、及びpNN50)は図33B~33Dに示されるように、推定及びグラウンドトゥルースの両方のためのウィンドウ長とともに増加する。更に、ウィンドウ長が15sから120sに増加すると、SDRRの推定誤差は6.5msから8.7msに増加する。RMSSDでも同様の性能/傾向を観測でき、ウィンドウ長が15sから120sに増加すると推定誤差は1.5msから4.1msに増加した。
図34は、本開示のいくつかの実施形態による、無線バイタルサインモニタリングのための例示的な方法3400のフローチャートを示す。動作3402において、無線信号は、ベニューの無線チャネルを介して送信機によって送信される。動作3404において、無線信号は無線チャネルを通じて受信機によって受信され、無線チャネルはベニューにおける物体の物体動作によって影響を受けており、物体動作は物体の少なくとも1つの非周期的体動と、少なくとも1つの周期的バイタルサイン動作とを含む。動作3406において、ベニューの周りの空間は、ビームフォーミング及び受信された無線信号に基づいて複数のセクタにセグメント化され、各セクタは送信機及び/又は受信機上のアンテナのアレイに対する空間方向と関連付けられる。動作3408において、無線チャネルの複数の時系列のチャネル情報(CI)がビームフォーミングに基づいて取得され、各時系列のCI(TSCI)は、複数のセクタのそれぞれのセクタと関連付けられる。動作3410において、物体の物体動作は、複数のTSCIにおいて分離されて、複数の分離されたTSCIを生成する。動作3412において、物体の少なくとも1つの非周期的体動が、複数の絶縁TSCIにおいて補償されて、複数の補償TSCIを生成する。動作3414において、物体の少なくとも1つの周期的バイタルサイン動作が、複数の補償されたTSCIに基づいてモニタリングされる。図34の動作の順序は、本教示の様々な実施形態に従って変更されうる。
したがって、本教示は、人間の被験者のみからのRF信号反射を使用して、実際の運転動作の存在下で運転者のバイタルサインを正確に検出しうる新規なシステムを開示する。これは、市販のミリ波ラジオを用いて運転者のモーションアーチファクトを考慮して運転者のHRVを検出できる最初の非接触運転者バイタルサインモニタリングシステムである。システムは、事前のキャリブレーションなしに運転者のバイタルサインを検出しうる。新しい2ステップ動き補償モジュールが考案され、レンジ-方位角分解能より大きい動きアーチファクトが、CIRの2D相互相関を使用することによって最初に除去される。次に、レンジ-方位角ビンよりも小さい微細な動きアーチファクトが、スプラインを平滑化することによって補償される。バイタル信号はバイタル運動を含む全ての反射の位相測定値を、いくつかの帯域制限されたコンポーネントと一緒に分解することによって得られ、ここで、呼吸及び心拍はその振幅及び中心周波数が典型的な呼吸及び心拍信号を満たすコンポーネントである。
例えば、運転者からの反射を見つけるために、システムはまず、異なるレンジ-方位角ビンを有するCIRをうるためにビームフォーミングを実行し、続いて、バックグラウンドから反射を除去するためのクラッタ除去モジュールを実行する。次に、異なるCIRサンプル間の2次元相関を使用して、身体ローミングによって引き起こされる大きな変位を排除した。より細かい動きアーチファクトは、多項式フィッティングにおけるようなハイパーパラメータの専用選択なしに動きアーチファクトを正確に推定しうる平滑化スプラインによって更に除去される。次いで、呼吸及び心拍によって引き起こされる変位量は全てのバイタルビンにおけるバイタル信号の分解を共同で最適化することによって推定され、RR、HR及びIBIは再構成された呼吸及び心拍波から抽出されうる。
このシステムは実走行シナリオで実験を行って性能を評価するために、市販のミリ波ラジオを使用してプロトタイプ化しうる。実験結果は、開示されたシステムが最新の作品を上回る運転動作アーチファクトを用いてバイタルサインを正確に推定できることを示す。
いくつかの実施形態では、時間ウィンドウにおける平均CIRを使用して、クラッタ除去のためのバックグラウンドからの反射を推定するが、他の実施形態ではスロー時間領域におけるCIR差等の他のクラッタ除去方法を使用しうる。いくつかの実施形態では、多項式フィッティング等のトレンド除去方法を使用して、微細な動きアーチファクトを推定しうる。
いくつかの実施形態では、無線バイタルサインモニタリング方法は、以下に説明するステップs1~s8を含む。
ステップs1において、複数の送信(Tx)アンテナ及び複数の受信(Rx)アンテナを使用してCSIをキャプチャする。ステップs2において、指向性のCSI(例えば、CIR)をうるためにビームフォーミングを適用する。ステップs3:ステップs3a及びs3bを含む静的反射物体の影響を低減するためにクラッタを除去する。
ステップs3aにおいて、時間ウィンドウにわたるCIRの平均値を取ることによって、各(θ、距離、時間インデックス)におけるバックグラウンドプロファイルを演算する。ステップs3b:CIRからバックグラウンドプロファイルを減算する。
ステップs4:ステップs4a~s4cを含む、各時間ウィンドウに対するドライブの反射に対応する関心点(PoI)(即ち、(θ、距離))を決定する。ステップs4aにおいて、連続するCIRとステップs4a2との間の2次元(2D)相互相関を演算するステップs4a1を含む、レンジ-方位分解能よりも大きい大きな体動を補償し、各時間インスタンスにおけるCIRを最大相互相関に対応する点(即ち、(θ、距離))に循環的にシフトさせる。ステップs4bにおいて、時間平均化された大きさ応答が閾値T1より大きい場合、被験者が方向に存在すると判定し、ここで、閾値T1は、シータ及び距離方向において、CIR大きさ|h|の2次元CFARフィルタリングであってもよい。ステップs4cにおいて、レンジ-方位角分解能よりも小さい細かい体動を補償し、細かい体動は、運転者からの反射に対応する位相測定値の平滑化スプラインによって推定されうる。
ステップs5:各PoIについて、ステップs5aを含むバイタル動作を含むPoIを決定し、位相のACFを演算し、有意な特徴点(例えば、第1のピーク)P1を見つけ、ステップs5b、P1が閾値T2より大きい場合、PoIをバイタルビンとして分類する。
ステップs6:ステップs6a~s6cを含む、いくつかの帯域制限信号を有する全てのバイタルビン内のバイタル信号を共同で分解することによって、呼吸信号及び心拍信号を抽出する。
ステップs6aでは、コンポーネント数K及びバランシングのためのパラメータαのデフォルト設定が与えられ、帯域幅制約及びデータ忠実度が代替的に、コンポーネント及びそれらの中心周波数を最適化する。ステップs6b:いくつかの特徴による呼吸に対応する成分が存在するかどうかをチェックし、ここで、成分は信号の振幅が範囲[T3、T4]内に位置し、その中心周波数が範囲[T5、T6]内に位置するべきである場合、呼吸波に対応する。ステップs6c:いくつかの特徴によって、心拍に対応する成分があるかどうかをチェックし、ここで、成分は信号の振幅が範囲[T7、T8]内に位置し、その中心周波数が範囲[T9、T10]内に位置するべきである場合、心拍波に対応する。
ステップs7:全てのバイタルビンにわたって呼吸及び心拍波を平均化することによって呼吸波及び心拍波を再構成し、再構成された呼吸及び心拍信号は、雑音を低減するためにそれらのエンベロープを使用することによって更に正規化されてもよい。
ステップs8:ステップs8a~s8cを含む再構成されたバイタル信号を使用することによってバイタルサインを算出する。ステップs8aにおいて、呼吸数(例えば、ACFの第1のピーク位置)を算出する。ステップs8b:心拍数(例えば、範囲[T9、T10]におけるスペクトルの最高ピーク)を演算する。ステップs8c:各心拍の正確な時間を識別し、次いで心拍数変動(HRV)を推定するために心拍間隔を演算し、ここで各心拍の正確な時間はいくつかの方法によって識別することができ、例えば、心拍波のピークを識別するか、又はゼロクロス点を識別する。
以下の番号付けされた項は、無線ビームフォーミングに基づくバイタルサインモニタリングの例を提供する。
項C1.無線ビームフォーミングバイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、タイプ2ヘテロジニアス無線デバイスによって無線信号を受信することであって、当該無線信号は、タイプ1ヘテロジニアス無線デバイスによって、ベニューの無線マルチパスチャネルを通じてタイプ2デバイスに送信され、タイプ1デバイス及びタイプ2デバイスのうちの少なくとも1つは、無線信号の送信又は受信のためのアンテナのアレイを備え、無線マルチパスチャネルは、ベニューにおける物体の物体動作によって影響を受け、物体動作は、物体の非周期的体動と、物体の少なくとも1つの周期的バイタルサイン動作とを含む、ことと、プロセッサ、メモリ、及び命令のセットとを使用して、ビームフォーミング及び受信された無線信号とに基づいて、空間を複数のセクタにセグメント化することであって、各セクタは、アンテナのアレイに対する空間方向と関連付けられる、ことと、ビームフォーミングに基づいて、無線マルチパスチャネルの複数の時系列のチャネル情報(CI)を取得することであって、各時系列のCI(TSCI)は、個別のセクタと関連付けられている、ことと、複数のTSCIにおける物体の物体動作を分離することと、分離された複数のTSCIのける物体の非周期的体動を補償することと、複数の補償されたTSCIに基づいて、物体の少なくとも1つの周期的バイタルサイン動作をモニタリングすることと、を含む。
ステップs3は、いくつかの実施形態によれば、以下の項に反映されうる。各TSCI内の物体の物体動作を分離するために、ベニューのバックグラウンドの影響を除去するためのクラッタ除去。クラッタ除去は、現在のCSIから過去のいくつかのCSIの平均値を差し引くことによって達成される。物体(人物)がランダムに動き回っていると仮定すると、(特に周期的バイタルサイン動作に対する)物体の動きの効果は、平均化においてそれ自体を打ち消す傾向がある。したがって、平均化は、バックグラウンドCSIの推定である。減算は、一種のフィルタリング(MAフィルタリング)である。
項C2.項C1の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、TSCI内の物体の物体動作を分離するために各TSCIをフィルタリングすることを更に含む。
項C3.項C2の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、フィルタは、移動平均(MA)フィルタ、自己回帰(AR)フィルタ、又は自己回帰移動平均(ARMA)フィルタのうちの1つである。
項C4.項C2の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、フィルタは、現在のCIから過去のある個数のCIの重み付け平均を減算することによって、フィルタリングされたCIを演算する。
ステップs4は、ステップs4a、s4b、及びs4cを含み、いくつかの実施形態による以下の項に反映されうる。ステップs4aは、大きな体動を補償するために、相互相関及びシフト連続CIRを演算する。第1のCIと第2のCIとの間の持続時間中の大きな体動を補償するために、第2のCIを基準に第1のCIをシフトする。
項C5.項C2の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、第1のTSCIの第1のCIをシフトすることと、第2のTSCIの第2のCIを、シフトされた第1のCIで置き換えることで、物体の大きな非周期的体動を補償することと、を更に含む。
いくつかの実施形態によれば、以下の項は、第1のCIと第2のCIとの間の相互相関を演算することと、シフト量を見つけるために最大ポイントを見つけることとを反映しうる。
項C6.項C5の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、第1のCIと第2のCIとの両方が共通タイムスタンプと関連付けられており、第2のTSCIの第3のCIを基準CIとして決定することであって、第3のCIは、第1のCIと第2のCIとの両方の共通タイムスタンプに時間的に隣接している、ことと、複数のTSCIの各々について、基準CIの時間プロファイルとそれぞれのTSCIのそれぞれのCIの時間プロファイルとの間のそれぞれの相互相関関数を演算することであって、それぞれのCIは、共通タイムスタンプと関連付けられている、ことと、それぞれの相互相関関数のそれぞれの最大点を演算することと、シフト量を演算することと、全ての最大点のうちの支配的最大点を演算することと、支配的最大点と関連付けられたTSCIを第1のTSCIとして決定することと、第1のTSCIの第1のCIの時間プロファイルを、支配的最大点と関連付けられた時間シフトに等しい量だけシフトすることと、第2のTSCIの第2のCIを、シフトした第1のCIで置き換えることと、を更に含む。
いくつかの実施形態によれば、以下の項は、物体が半径方向に移動する(又は半径方向体動、即ち、距離の変化に伴う方向/セクタの変化がない)際の特殊なケースを反映しうる。関与するTSCIは1つだけである。
項C7.項C5の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、第1のTSCI及び第2のTSCIは、共通TSCIであり、第1のCIは、第2のCIであり、各CIは、時間プロファイルを含み、第1のCIをシフトすることは、第1のCIの時間プロファイルをシフトすることであり、第1のCIの時間プロファイルと共通TSCIの第3のCIの時間プロファイルとの間の相互相関関数を演算することであって、第3のCIは第1のCIに時間的に隣接している、ことと、相互相関関数の最大ポイントを演算することと、第1のCIの時間プロファイルを、最大ポイントに関連する時間シフトに等しい量だけシフトすることと、第1のTSCIの第1のCIをシフトされた第1のCIで置き換えることと、を更に含む。
項C8.項C5の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、循環シフト又は非循環シフトのうちの1つを使用して、第1のCIをシフトすることを更に含む。
ステップs4bは、いくつかの実施形態によれば、小さな体動を補償するための平滑化スプラインを使用するために以下の項において反映されうる。
項C9.項C5の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、複数のTSCIの各々について、時間ウィンドウにおけるそれぞれのTSCIのそれぞれのCIの重み付け平均の大きさ特徴を演算することと、当該大きさ特徴が閾値よりも大きい場合に、それぞれのTSCIと、それぞれの関連付けられたセクタとを物体と関連付けることと、を更に含む。
ステップs4cは、いくつかの実施形態によれば、小さな体動を補償するための平滑化スプラインを使用するために以下の項において反映されうる。
項C10.項C9の無線バイタルサインモニタリングシステムの時間/デバイス/システム/ソフトウェアであって、少なくとも1つの時系列のCI特徴(CIF:CI feature)を演算することであって、それぞれの時系列のCIF(TSCIF:time series of CIF)は、物体と関連付けられた個別のTSCIと関連付けられており、CIFの各々は、当該個別のTSCIの個別のCIの特徴である、ことと、平滑化スプラインに基づいて、物体の小さい非周期的体動の推定値を演算することと、物体の小さい非周期的体動を補償するために、TSCIFから推定値を減算することと、を更に含む。
項C11.項C10の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、CIの特徴は、位相、大きさ、位相の機能、大きさの関数、位相及び大きさの関数、又はCI、のうちの少なくとも1つを含む。
ステップs5は、いくつかの実施形態によれば、バイタルサインビン/セクタを識別するために以下の項に反映されうる。
項C12.項C10の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、関連付けられたTSCIFに基づいて、セクタをバイタルサインセクタとして分類することを更に含み、当該バイタルサインセクタは、物体の少なくとも1つの周期的バイタルサイン動作と関連付けられる。
項C13.項C12の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、各TSCIFの自己相関関数(ACF)を演算することと、ACFの第2の特徴を演算することと、第2の特徴が閾値を超える場合、TSCIFと関連付けられたTSCIに関連するセクタを、バイタルサインセクタとして分類することと、を更に含む。
項C14.項C13の方法/デバイス/システム/ソフトウェアであって、第2の特徴は、最大点、極大点、第1の正の極大点、第2の極大点、グローバル最大点、最大点の大きさ、最大点に関連する時間、最大点に関連するタイミング、最小点、極小点、極小点、第1の正の極小点、第2の極小点、グローバル最小点、極小点の大きさ、最小点に関連する時間、最小点に関連するタイミング、ゼロクロス点に関連するタイミング、第1の正のゼロクロス点に関連する時間、ゼロクロス点に関連する時間、2つのゼロクロス点間の持続時間、又はゼロクロス点に関連するタイミング、のうちの少なくとも1つを含む、。
いくつかの実施形態によれば、ステップs6aは、TSCIの位相を呼吸信号と心拍信号との和に分解するために、以下の項に反映されうる。
項C15.項C12の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、少なくとも1つのバイタルサインセクションが存在しており、それぞれのバイタルサインセクションと関連付けられた各TSCIFを、少なくとも1つの個別の周期的成分に分解することを更に含み、各周期的成分は、物体の周期的バイタルサイン動作に対応し、各周期的成分は、個別の周波数と関連付けられる。
項C16.項C15の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、反復最適化に基づいて、各TSCIFを少なくとも1つの個別の周期的成分に分解することを更に含む。
ステップs6b及びs6cは、振幅レンジ及び周波数レンジ制約に関するいくつかの実施形態によれば、以下の項に反映されうる。
項C17.項C15の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、少なくとも1つの個別の周期的成分の各々は、それぞれの周波数レンジ内のそれぞれの周波数、又はそれぞれの振幅レンジ内のそれぞれの振幅のうちの少なくとも1つを有するように制約される。
項C18.項C17の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、少なくとも1つの個別の周期的成分の各々は、それぞれの周波数レンジ内のそれぞれの尤度関数と関連付けられる。
ステップs7はいくつかの実施形態によれば、複数のバイタルサインセクタを平均化することによって集約(アグリゲーション)するために、以下の項に反映されうる。
項C19.項C15の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、少なくとも1つのアグリゲーション周期的成分を演算することであって、各集約周期的成分は、少なくとも1つのバイタルサインセクタに関連付けられた個別の分解された周期的成分の重み付け平均を含む、ことと、対応する集約周期的成分を分析することによって、各周期的バイタルサイン動作をモニタリングすることと、を更に含む。
ステップs8は、いくつかの実施形態によれば、様々な統計値/分析値を演算するために以下の項において反映されうる。
項C20.項C19の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、以下のうちの少なくとも1つを演算することによって、集約周期的成分を解析することを更に含む:
瞬時周波数、瞬時期間、瞬時タイミング、最大ゼロクロス、瞬時バイタルサイン間隔、瞬時拍子間隔、平均周波数、平均周期、平均移動間隔、統計、周波数の統計、間隔の統計、平均、モード、分散、標準偏差、偏差、スロープ、全変動、スプレッド、分散、偏差、絶対偏差、平方偏差、全偏差、ダイバージェンス、範囲、四分位範囲、尖度、Lモーメント、変動係数、四分位数、ジニ係数、相対平均差、中央絶対偏差、平均絶対偏差、分散係数、エントロピー、平均値、類似度測度、確率分布、確率分布関数、期待値、相関係数、相関係数、自己相関係数(ACF)、内積、内積、共分散、相互共分散、類似度スコア、類似度測度、二つのCI間の類似度、二つのCI間の類似度、二つのウィンドウ間のCI間の類似度、二つのDI間の類似度、DIの2つのベクトル間の類似度、DIの二つのウィンドウ間の類似度、等しくないウィンドウ長を有するDIの2つのウィンドウ間の類似度、距離、距離スコア、2つのCI間の距離測度、2つのCI間の距離測度、アライメント及びマッピングされたCIの2つのウィンドウ間の距離測度、動的時間伸縮(DTW)を使用してアライメントさせたCIの2つのウィンドウ間の距離測度、DIの2つのウィンドウ間の距離測度、動的時間伸縮(DTW)を使用してアライメントさせたDIの2つのウィンドウ間の距離測定、絶対距離、L-1距離、L-k距離、重み付け距離、距離測定、ノルム、L-1ノルム、L-2ノルム、L-kノルム、位置、座標、位置の変更、マップの位置、高さ、水平位置、距離、変位、速度、加速度、回転加速度、方向、方位、回転方向、経路、変形、縮小、位置特性、歩行周期、ジェスチャ、手書き、頭部の動き、口の動き、手の動き、脚の動き、体動、心拍動作、内臓動作、ツール動作、機械動作、複合動作、複数の動きの合成、動きトレンド、反復性、周期性、準周期性、衝動性、突発性、転倒発生、再発、一過性イベント、行動、一過性行動、期間、時間傾向、時間プロファイル、時間特性、発生、時間、タイミング、開始時間、開始時間、終了時間、持続時間、履歴、動作分類、動作タイプ、変化、時間変化、周波数変化、CI変化、DI、変化、タイミング変化、歩行周期変化、以下のうちの少なくとも1つの測度:
反復性、周期性、変動の速度、周波数スペクトル、周波数特性、周波数、存在、不存在、近接、後退、物体識別子、物体識別子、組成、口関連速度、眼関連速度、歩行速度、心拍数、呼吸量、一回換気量、呼吸時間、呼気時間、呼気時間に対する時間比、空気流量、心拍数、心拍数、動拍数、動きの統計、動きの統計、動きの特徴、動きの変化、動きの特徴、動きの特徴、対象の出口、動きの周期、動きの周期、リズム、動きの周期、動きの周期、変形、大きさ、領域、容量、容量、形状、タグ、開始/開始位置、終了位置、開始/終了量、イベント発生量、イベント発生、イベントの発生、フォールダウンイベント、イベント、セキュリティイベント、イベント、ホームイベント、イベント、工場イベント、倉庫イベント、イベント、組み立てラインイベント、イベント、車両関連イベント、ナビゲーションイベント、トラッキングイベント、ドアイベント、ドアオープンイベント、ドアクローズイベント、ウィンドウイベント、オープンイベント、ウィンドウオープンイベント、未消費量、状態、物理的状態、健康状態、幸福状態、情緒状態、精神状態、別の事象、分析、又は出力応答。
以下の番号付けされた項は、無線ビームフォーミングに基づくバイタルサインモニタリングの例を提供する。
項D1.無線ビームフォーミングに基づくバイタルサインモニタリングのためのシステムであって、ベニューの無線チャネルを通じて無線信号を送信するように構成された送信機と、ベニュー内の物体の物体動作による影響を受ける無線チャネルを通じて無線信号を受信するように構成された受信機であって、送信機又は受信機のうちの少なくとも1つは、無線信号を送信又は受信するために使用されるアンテナのアレイを備え、当該物体動作は、物体の少なくとも1つの非周期的体動と、物体の少なくとも1つの周期的バイタルサイン動作とを含む、受信機と、プロセッサとを備え、当該プロセッサは、ビームフォーミング及び受信された無線信号に基づいて、ベニュー周辺の空間を複数のセクタにセグメント化することであって、複数のセクタのうちの各セクタは、アンテナのアレイに対する空間方向と関連付けられている、ことと、ビームフォーミングに基づいて、無線チャネルの複数の時系列のチャネル情報(CI)を取得することであって、複数の時系列のCI(TSCI)のうちの各TSCIは、複数のセクタのうちの個別のセクタと関連付けられる、ことと、複数のTSCIにおける物体の物体動作を分離することで、複数の分離されたTSCIを生成することと、複数の分離されたTSCIにおける物体の少なくとも1つの非周期的体動を補償することで、複数の補償されたTSCIを生成することと、複数の補償されたTSCIに基づいて、物体の少なくとも1つの周期的バイタルサイン動作をモニタリングすることと、を行うように構成される。
項D2.項D1のシステムであって、物体の物体動作を分離することは、TSCI内の物体の物体動作を分離するためのフィルタに基づいて、複数のTSCIの各TSCIをフィルタリングすることを含む。
項D3.項D2のシステムであって、フィルタは、移動平均(MA)フィルタ、自己回帰(AR)フィルタ、又は自己回帰移動平均(ARMA)フィルタのうちの1つである。
項D4.項D3のシステムであって、各TSCIをフィルタリングすることは、TSCI内の現在のCIからいくつかの過去のCIの重み付け平均を減算することで、フィルタリングされたCIを生成することを含む。
項D5.項D4のシステムであって、物体の少なくとも1つの非周期的体動を補償することは、複数の分離されたTSCIにおける第1のTSCIの第1のCIをシフトすることと、第1の非周期的体動がレンジ-方位角分解能よりも大きい場合に、複数の分離されたTSCIにおける第2のTSCIの第2のCIを、シフトされた第1のCIで置き換えるで、物体の第1の非周期的体動を補償することと、を含む。
項D6.項D5のシステムであって、物体の少なくとも1つの非周期的体動を補償することは、第2のTSCIの第3のCIを基準CIとして決定することであって、第1のCI及び第2のCIの両方が共通のタイムスタンプと関連付けられ、第3のCIが第1のCI及び第2のCIの両方の共通のタイムスタンプに時間的に隣接する、ことと、複数のTSCIのそれぞれのTSCIについて、基準CIの時間プロファイルとそれぞれのTSCIの個別のCIの時間プロファイルとの間の個別の相互相関関数を演算することであって、個別のCIが共通のタイムスタンプと関連付けられている、ことと、個別の相互相関関数の個別の最大点を演算することと、最大点のうちの支配的最大点を演算することと、支配的最大点と関連付けられたTSCIを第1のTSCIとして決定することと、支配的最大点と関連付けられた時間シフトに等しい量だけ第1のCIの時間プロファイルをシフトすることに基づいて、第1のTSCIの第1のCIをシフトすることと、シフトされた第1のCIで第2のTSCIの第2のCIを置き換えることと、を更に含む。
項D7.項D5のシステムであって、第1のTSCI及び第2のTSCIは共通TSCIであり、第1のCIは第2のCIであり、各CIは時間的プロファイルを含み、第1のCIをシフトすることは、第1のCIの時間プロファイルをシフトすることを含み、物体の少なくとも1つの非周期的体動を補償することは、第1のCIの時間プロファイルと共通TSCIの第3のCIの時間プロファイルとの間の相互相関関数を演算することであって、第3のCIは第1のCIに時間的に隣接している、ことと、相互相関関数の最大点を演算することと、最大点と関連付けられた時間シフトに等しい量だけ第1のCIの時間プロファイルをシフトすることと、第1のTSCIの第1のCIを、シフトされた第1のCIで置き換えることと、を更に含む。
項D8.項D6のシステムであって、第1のCIは、循環シフト又は非循環シフトのうちの1つを使用してシフトされ、物体の少なくとも1つの非周期的体動を補償することは、複数のTSCIのそれぞれのTSCIについて、時間ウィンドウ内のそれぞれのTSCIの個別のCIの重み付け平均の大きさ特徴を演算することと、複数のTSCIのそれぞれのTSCIについて、大きさ特徴が閾値よりも大きい場合に、それぞれのTSCIと関連付けられた個別のセクタと物体とを関連付けることと、を含む。
項D9.項D8のシステムであって、物体の少なくとも1つの非周期的体動を補償することは、少なくとも1つの時系列のCI特徴(CIF)を演算することであって、少なくとも1つの時系列のCIF(TSCIF)のそれぞれの個別のTSCIFは、物体と関連付けられた対応するTSCIと関連付けられ、個別のTSCIFのそれぞれのCIFは、対応するTSCIの個別のCIの特徴である、ことと、平滑化スプラインに基づいて、物体の第2の非周期的体動の推定値を演算することであって、第2の非周期的体動は、レンジ-方位角分解能よりも小さい、ことと、当該推定値を少なくとも1つのTSCIFから減算するで、物体の第2の非周期的体動を補償することと、を更に含む。
項D10.項D8のシステムであって、個別のCIの上記特徴は、当該個別のCIの位相、大きさ、位相の関数、大きさの関数、又は位相及び大きさの関数のうちの少なくとも1つを含む。
項D11.項D10のシステムであって、物体の少なくとも1つの周期的バイタルサイン動作をモニタリングすることは、少なくとも1つのTSCIFに基づいて、複数のセクタのうちの特定のセクタを、バイタルサインセクタとして分類することを含み、当該バイタルサインセクタは、物体の少なくとも1つの周期的バイタルサイン動作と関連付けられる。
項D12.項D11のシステムであって、セクタを分類することは、少なくとも1つのTSCIFに基づいて、少なくとも1つの自己相関関数(ACF)を演算することであって、各ACFは、個別のセクタの個別のTSCIと関連付けられた個別のTSCIFのACFである、ことと、少なくとも1つのACFの少なくとも1つの特徴点を演算することであって、各特徴点は、個別のセクタと関連付けられた個別のACFのものである、ことと、特定の特徴点が閾値を超える場合に、特定の特徴点と関連付けられた特定のセクタを、バイタルサインセクタとして分類することと、を含む。
項D13.項D12のシステムであって、上記特徴点は、最大点、最大点の大きさ、最大点に関連するタイミング、最小点、最小点の大きさ、最小点に関連するタイミング、ゼロクロス点、2つのゼロクロス点間の持続時間、又はゼロクロス点に関連するタイミングのうちの少なくとも1つを含む。
項D14.項D13のシステムであって、物体の少なくとも1つの周期的バイタルサイン動作をモニタリングすることは、任意のバイタルサインセクタと関連付けられた各TSCIFを、少なくとも1つの個別の周期的成分に分解することを更に含み、各周期的成分は、物体の個別の周期的バイタルサイン動作に対応し、各周期的成分は、個別の周波数と関連付けられる。
項D15.項D14のシステムであって、各TSCIFは、反復最適化に基づいて、少なくとも1つの個別の周期成分に分解される。
項D16.項D15のシステムであって、少なくとも1つの個別の周期的成分の各々は、個別の周波数レンジ内の個別の周波数、又は個別の振幅レンジ内の個別の振幅のうちの少なくとも1つを有するように制約される。
項D17.少なくとも1つの個別の周期的成分の各々が、それぞれの周波数範囲内のそれぞれの尤度関数と関連付けられる、項D16のシステム。
項D18.項D17のシステムであって、物体の少なくとも1つの周期的バイタルサイン動作をモニタリングすることは、任意のバイタルサインセクタと関連付けられた複数のTSCIFの少なくとも1つの周期的成分に基づいて、少なくとも1つの集約周期的成分を演算することであって、少なくとも1つの集約周期的成分の各々は、複数のTSCIFと関連付けられた個別の周期的成分の重み付け平均を含む、ことと、周期的バイタルサイン動作に対応する集約周期的成分を分析することに基づいて、各周期的バイタルサイン動作をモニタリングすることであって、集約周期的成分は、瞬時周波数、瞬時期間、バイタルサインタイミング、平均、レンジ、ヒストグラム、分散、相関、変動、偏差、又は周期性、のうちの少なくとも1つに基づいて分析される、ことと、を更に含む。
項D19.バイタルサインモニタリングシステムの方法であって、送信機によって、ベニューの無線チャネルを通じて無線信号を送信することと、受信機によって、ベニュー内の物体の物体動作による影響を受ける無線チャネルを通じて無線信号を受信することであって、送信機又は受信機のうちの少なくとも1つは、無線信号を送信又は受信するために使用されるアンテナのアレイを備え、物体動作は、物体の少なくとも1つの非周期的体動と、物体の少なくとも1つの周期的バイタルサイン動作とを含む、ことと、ビームフォーミング及び受信された無線信号に基づいて、ベニュー周辺の空間を複数のセクタにセグメント化することであって、複数のセクタのうちの各セクタは、アンテナのアレイに対する空間方向と関連付けられている、ことと、ビームフォーミングに基づいて、無線チャネルの複数の時系列のチャネル情報(CI)を取得することであって、複数の時系列のCI(TSCI)のうちの各TSCIは、複数のセクタのうちの個別のセクタと関連付けられる、ことと、複数のTSCIにおける物体の物体動作を分離することで、複数の分離されたTSCIを生成することと、複数の分離されたTSCIにおける物体の少なくとも1つの非周期的体動を補償することで、複数の補償されたTSCIを生成することと、複数の補償されたTSCIに基づいて、物体の少なくとも1つの周期的バイタルサイン動作をモニタリングすることと、を含む。
項D20.バイタルサインモニタリングシステムの無線デバイスであって、プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合された受信機とを備え、バイタルサインモニタリングシステムの追加の無線デバイスは、ベニューの無線チャネルを通じて無線信号を送信するように構成され、受信機は、ベニュー内の物体の物体動作による影響を受ける無線チャネルを通じて無線信号を受信するように構成され、送信機又は受信機のうちの少なくとも1つは、無線信号を送信又は受信するために使用されるアンテナのアレイを備え、物体動作は、物体の少なくとも1つの非周期的体動と、物体の少なくとも1つの周期的バイタルサイン動作とを含み、プロセッサは、ビームフォーミング及び受信された無線信号に基づいて、ベニュー周辺の空間を複数のセクタにセグメント化することであって、複数のセクタのうちの各セクタは、アンテナのアレイに対する空間方向と関連付けられている、ことと、ビームフォーミングに基づいて、無線チャネルの複数の時系列のチャネル情報(CI)を取得することであって、複数の時系列のCI(TSCI)のうちの各TSCIは、複数のセクタのうちの個別のセクタと関連付けられる、ことと、複数のTSCIにおける物体の物体動作を分離することで、複数の分離されたTSCIを生成することと、複数の分離されたTSCIにおける物体の少なくとも1つの非周期的体動を補償することで、複数の補償されたTSCIを生成することと、複数の補償されたTSCIに基づいて、物体の少なくとも1つの周期的バイタルサイン動作をモニタリングすることと、を行うように構成される。
音声強調及び分離は、単一のマイクロフォンを使用する最近の進歩にもかかわらず、長年の問題であった。マイクロフォンは制約された設定ではうまく機能するが、雑音(雑音)の多い状況では音声分離の性能が低下する。本教示は、オーディオオンリーシステムにおける固有の問題を克服する、オーディオラジオ音声強調及び分離システム(RadioSES)を開示する。相補的な無線モダリティを融合することによって、RadioSESは、スピーカの個数を推定し、ソースアソシエーション問題を解決し、雑音の多いミクスチャ音声を分離し、強調し、明瞭度と知覚品質の両方を改善しうる。本システムは、ミリ波センシングを実行して、スピーカを検出し、位置を特定し、オーディオラジオ深層学習フレームワークを導入して、別個の無線特徴を混合オーディオ特徴と融合させることができる。市販の既製のデバイスを用いた広範な実験は、RadioSESが様々な最新のベースラインを上回り、様々な環境設定における一貫した性能の向上を示す。オーディオビジュアル方法と比較して、RadioSESは、演算の複雑度が低く、プライバシーの懸念が少ないという利点とともに、同様の改善を提供する。
開示されたRadioSESシステムは、直交無線モダリティとしてミリ波センシングを共同で活用することによって、SES問題に対処する。カメラと比較して、無線デバイスはより低い電力を有し、暗い、壁を通る設定で動作することができ、プライバシー侵害がより低い。スピーカからの電波反射は、複数のスピーカの分離を可能にするだけでなく、SESのための調音動作も捕捉しうる。ミリ波無線を選択する理由は2つある:一方では、ますます多くのスマートデバイスが今や、Google Soli電話機及びNest Hub、Amazon Alexa等、ミリ波レーダ及びマイクロフォンを含み、ミリ波センシングは将来、よりユビキタスになることが期待される。一方、ミリ波センシングは、心拍数モニタリング、機械及び物体振動の測定、又は声帯振動の抽出等、運動及び振動に関連する多くのアプリケーションを可能にしている。特に、それは、ピッチを推定し、音声アクティビティを検出し、ある程度音声を再構成し、並びに単一のスピーカのための音声認識を強化するために使用されてきた。しかし、共同SESタスクのために両方のモダリティを利用することを検討した既存の研究はない。
このような動機から、上述の問題を解決し、全体的な性能を改善するために、オーディオラジオ音声強調及び分離システム(RadioSES)を開発した。オーディオラジオSESシステムを構築することは複数の課題に直面する。第1に、ソース個数問題を解決するために、ロバストで効率的なソース検出及びトラッキング方法が必要とされ、これは、システムの性能が、ミス検出の場合に著しく低下しうるためである。第2に、無線信号は、通常、環境の影響を受けやすく、新しいロケーションでテストすると性能が著しく低下することがある。物体からの戻り信号は、振動だけでなく、運動からの影響も受け、通常は運動の方が強く影響する。第3に、オーディオビジュアル深層学習法における豊富な文献とは異なり、無線モダリティは、SESのコンテキストにおいて検討されていない。実用に適した効率的な深層学習モデルを設計することは、自明ではない。最後に、深層学習システムは、広範なデータ収集及びロバストなトレーニング方法を必要とし、これは、無線信号に対して特に困難である。
開示されたRadioSESシステムは、これらの課題を克服しうる。図35に示すように、RadioSESシステム3500は、環境内のソースの個数を検出し、位置特定し、推定し、見えない(unseen)/困難な条件においてもSES性能を改善しうる。ロバストな検出及び位置特定を達成するために、システムは、スピーカについての無線特徴を別々に抽出可能な信号処理の演算的に効率的なパイプラインを使用しうる。加えて、システムは、オーディオ信号及び無線信号の両方を入力とし、スピーカごとに分離及び強調された音声を出力する、オーディオラジオ深層学習フレームワークを使用しうる。モノラルSESにおける最近の進歩を受けて、RadioSESNetと呼ばれる深層学習モジュールは、古典的な短時間フーリエ変換(STFT)表現に依存するのではなく、適応エンコーダを利用する。RadioSESシステムは更に、見えない環境及びユーザに対するRadioSESNetのロバスト性及び一般化可能性を改善するために、オーディオビジュアルSESから学習された様々な技術を導入する。
いくつかの実施形態では、合成及び実世界データを使用して、市販の既製(COTS:commercial off-the-shelf)ミリ波レーダを使用して、RadioSESを評価しうる。いくつかの実施形態では、トレーニングのためのデータ収集をブーストするために、データ収集プラットフォームを構築し、19人のユーザから5700文をキャプチャしうる。いくつかの実施形態では、テスト結果は、無線モダリティがオーディオを補完し、視覚的プライバシー問題を課さずにビデオモダリティの改善と同様の改善をもたらすことができることを示す。異なる数のミクスチャ及び様々な環境設定でRadioSESを広範囲にテストしうる。最新のオーディオオンリーの方法(例えば、DPRNN-TasNet)と比較すると、RadioSESは、ソースの個数を推定し、出力ストリームを関連付ける利点とともに、雑音の多いミクスチャを分離するための3dBの改善をもたらすことができる。この改善は、SDRだけでなく、明瞭性と知覚品質も改善している。いくつかの実施形態では、テスト結果は、オーディオラジオの方法がオーディオオンリー又はビジョンベースの方法に対する低複雑度、有効性、プライバシー保護の代替を可能にすることから、SESタスクに対して非常に大きな可能性を有することを示す。したがって、RadioSESは、この方向における重要なステップを探求し、フォローアップ研究を刺激するものである。
本教示は、RadioSES、同時音声強調及び分離のためにミリ波無線信号及びオーディオ信号を共同で活用する新規なオーディオラジオシステムを開示する。本教示は、マルチモーダル音声分離及び強調のためにオーディオ信号と無線信号とを融合するオーディオラジオ深層学習フレームワークを導入する。本教示は、広範なオーディオ無線データセットを構築し、種々の条件におけるRadioSESの性能を最新の方法と比較する。いくつかの例では、RadioSESが、2人及び3人のミクスチャをそれぞれ分離することにおいて、3~6dBのSiSDRの改善を達成する。
いくつかの実施形態では、RadioSESは、ミリ波センシング能力を有するデバイスと、マイクロフォンとを必要とする。例えば、音声信号が調査される場合、モノラルマイクロホンは、周囲の音を記録し、ミリ波レーダは、音源ごとに別々のストリームを出力することが期待される。レーダを別の場所に配置することが可能であるが、レーダとマイクロフォンとが同じ場所に配置されていると仮定しうる。いくつかの実施形態では、発話物体(speaking objects)がレーダの前にあることを予期しうる。加えて、レーダはNLOS条件においてセンシングしうるが、いくつかの実施形態においてのみLOSを調査しうる。例えば、RadioSESのアプリケーションシナリオは、LOSを有する、コンピュータ、スマートハブ、又は電話機の前で話す1人以上の人間でありうる。
いくつかの実施形態では、視野(FoV)内に話している人間を有し、RadioSESは、近傍の静止体を検出し、その出力を使用して、ソースを推定し、抽出された音信号と関連付ける。マイクロフォンアレイとは異なり、ミリ波センシングを使用することにより、異なる方位角からだけでなく様々な距離からも、個々のデータストリームを捕捉することが可能になる。これらのタスクの後、効率的なマルチモーダル深層学習モジュールを使用して、(1つ以上の)クリーン音声を推定でき、クリーン音声として使用できるか、又は音声・トゥ・テキスト(speech-to-text)エンジンを通じてコマンドに変換できる。
図36に示すように、RadioSESシステム3600は、ミリ波レーダと、スマートフォンスピーカ3611と、ソース検出及び位置特定のための第1のブロック3601と、RadioSESNetと呼ばれる深層学習モジュールのための第2のブロック3602とを含む。
いくつかの実施形態では、図36に示すように、ミリ波レーダは、送信機(Tx)アンテナアレイ3611及び受信機(Rx)アンテナアレイ3612を有するデバイスを含みうる。いくつかの実施形態では、送信機(Tx)及び受信機(Rx)アレイの各々が複数のアンテナを有する。環境内の音をセンシングするために、Tx3611は、ミリ波信号を送信しうる。当該ミリ波信号は、ベニュー内の音源又は振動源及び同じベニュー内の他の物体によって反射された後に、異なるRxアンテナ3612によって順次受信されうる。いくつかの実施形態では、Tx 3611は、上述のようにBotであり、Rx3612は、上述のようにOriginである。図36ではTx3611及びRx3612は互いに物理的に結合されているが、他の実施形態では異なるデバイスに分離されうる。いくつかの実施形態では、Tx3611及びRx3612を含むデバイスがミリ波レーダとして機能する。他の実施形態では、ミリ波レーダは更に、Rx3612において受信されたレーダ信号を処理するためのプロセッサを含むか、又は当該プロセッサと接続される。種々の実施形態において、プロセッサは、Tx3611に物理的に接続されるか、Rx3612に物理的に接続されるか、その両方に物理的に接続されるか、又はいずれにも物理的に接続されないことがある。
図36に示すように、無線特徴抽出モジュールの目的は、環境内のソースからの個々の無線ストリームを出力することである。これを達成するために、本システムは、効率的なパイプラインにおいて様々な方法を採用して、ターゲットを検出し、位置特定しうる。既存の研究とは異なり、RadioSESは、環境中の人々を位置特定するためにスペクトログラムベースのメトリックに依存せず、対応するレンジ-方位角ビンを抽出するために古典的で効率的な方法を利用する。
いくつかの実施形態では、図36のチャネル情報モジュールにおいて、RadioSESは、チャネルインパルス応答(CIR)報告可能な任意のタイプのレーダ、例えば、周波数変調連続波(FMCW:frequency modulated continuous wave)レーダ、を用いて動作しうる。FMCWレーダを使用する場合、CIRを抽出することは、レンジFFTと呼ばれる動作を適用することを含む。ミリ波デバイスは、通常、複数アンテナを有するので、m番目のアンテナh
m(τ)におけるCIRが次のように定義されうる:
ここで、RはCIRレンジビンの個数であり、δ(・)は対応するロケーション(位置)における物体の存在を表すデルタ関数であり、α
m, r及びτ
r はそれぞれ、r番目のレンジビンの複素振幅及び伝搬遅延を表し、εは加法性雑音を表す。ここで、レンジ解像度ΔRは、帯域幅(開示された装置の4.26cmに対応)に反比例する時間解像度Δτから推測できる。したがって、非常に近いターゲットからの別個のストリームを抽出できる。CIRは、センシング中に繰り返し捕捉され、時間に依存する。CIR式を単純化するために、m番目のアンテナからのCIRを、r番目のレンジビンにおいて、時間tにおいて、h
m, r(t)として表せる。したがって、h
m, r(t)は、時間、レンジビン、及びアンテナインデックスに関して量子化される。
いくつかの実施形態では、図36のデジタルビームフォーミングモジュールにおいて、各アンテナからの個々の受信ストリームを使用して、RadioSESは、古典的ビームフォーミングを用いたレンジ-方位角情報を抽出する。レンジ-方位角CIRは、h
r,θ(t)によって表されうる。ここで、θは方位角を表す。いくつかの例では、仮想アンテナアレイ素子がD=λ/2離れて配置され、ここで、λは波長であり、h
r,θ(t)は:
ここで、s
H(θ)は角度θのステアリングベクトルであり、εは加法性雑音である。ステアリングベクトルの係数は:
チャネルベクトルは
であり、Mはアンテナ素子の総数である。
いくつかの実施形態では、図36のターゲット検出モジュールにおいて、環境内の人体を検出するために、RadioSESはまず、環境内の反射物体を抽出する。CIR式によって示唆されるように、物体の存在は強い戻り信号を生成するが、物体が存在しないとき、戻り信号は雑音のみを含む。ターゲット検出のために、レーダ文献における古典的なアプローチ、即ち、異なるビンのバックグラウンド雑音を適応的に推定し、それに応じて各レンジ-方位角ビンを閾値処理する、一定誤警報率(CFAR)検出器を利用しうる。いくつかの実施形態では、37に示される2D CFARウィンドウがCで示され、CFAR閾値はγで示される。このウィンドウは、レンジ-方位角平面の大きさに適用されてもよく、対応するレンジ-方位角平面が図38に示されている。したがって、レンジ-方位角平面上のCFAR検出ルールは、次のように与えられる:
ここで、★及び
は、それぞれ畳み込み演算及びインジケータ関数を表す。
いくつかの実施形態では、図36の散乱除去モジュールにおいて、前のモジュールは、静止物体を含みうる、反射物体を有するビンを有するバイナリマップを抽出する。一方、人が静止しているときであっても、レーダ信号は、呼吸及び心拍からの固有の体動、ミリ波ベースの人の検出において広く使用される現象に起因して、人の位置における変動を依然として捕捉する。したがって、静止物体を除去し、人体を検出するために、システムは、各レンジ-方位角ビンにおける分散を抽出し、閾値を使用して静止物体を識別しうる。h
r,θ(t)の分散値をV
r,θ(t)と表すことができ、図39において例が見られる。したがって、人体検出器の出力は
となる。更に、過度の動きを有する物体も、同様のアプローチを用いてフィルタリングされうる。システムは
によってそれらを拒絶しうる。ここで
は経験的に見出された閾値である。最小及び最大の分散は、角度及び距離に関する反射エネルギーの変化に対応するために、(r,θ)に関して定義される。得られたバイナリ検出マップB
r,θ(t)は、図40に示すように、全てのバイナリマップ、即ち
の交点を抽出することによって求められる。
いくつかの実施形態では、図36のスピーカ推定モジュールの個数において、バイナリ検出マップBr,θ(t)の各ビンは、2次元空間内の距離(Δr、Δθ)に及ぶ。高レンジ及び角度分解能を考慮すると、人体は、B(r,θ)内の複数のビンに及びうる。人数を推定するために、RadioSESは、ノンパラメトリッククラスタリング法、DBSCANを使用して、バイナリ検出マップをクラスタリングする。DBSCANのためのパラメータは、経験的に設定され、例示的なクラスタリングが図41に示されている。更に、サイズWのウィンドウに対して、人数推定及び中心抽出が繰り返し行われるので、異なる時間インデックスにおける身体の位置を一致させる必要がある。本システムは、ユーザの位置を連続的にトラッキングするために、Munkresのアルゴリズムを使用しうる。
いくつかの実施形態では、人数及び対応するレンジ-方位角ビンを抽出した、図36の無線特徴抽出モジュールにおいて、RadioSESは、いくつかの未加工データベースのアプローチに従って、それぞれの人の中心からの複素レーダ信号を直接抽出する。同じ人間に関連する多くのレンジ-方位角ビンがあるので、RadioSESは、テストのために中央値ビンを抽出するが、複数の近くのビンがトレーニングのために使用され、これはデータセットサイズをブーストし、オーバーフィッティングを軽減するのに役立つ。いくつかの例では、レーダ信号の出力次元は、1秒ストリームに対して16ビットで2×1000であり、これはマイクロフォン及び典型的なビデオストリームよりも低い。
通常、SESモデルは、エンコーダ、マスカ、及びデコーダブロックを有する図42Aのアーキテクチャに従う。入力エンコーディングは、推定マスクと乗算され、推定マスクは、デコーダを使用して時間領域信号を再構成する。理想的なバイナリマスクをトレーニング物体として、STFTはエンコーダとして使用されうる。性能は、より最適なマスクを使用することによって増加させることができるが、これらは、STFTベースのエンコーディングが音声分離に必ずしも最適ではないという事実に依然として悩まされている。STFTを適応エンコーダに置き換える方法は、より最適であることが分かっている。
いくつかの実施形態では、開示されるRadioSESは、図42Bの構成を使用して、無線モダリティを導入する図36のRadioSESNetモジュール3602を実現する。無線ストリームは、エンコーディングされ、マスクを推定するためにオーディオストリームと連結される。ただし、これには次のようないくつかの設計選択肢が含まれる。オーディオ信号とは異なり、無線信号は複素数値である。無線信号の実数部と虚数部の両方が、動きと振動に関して変化する。スペクトログラム表現が入力として使用される場合、それは、ニューラルネットワークにとって最適ではない場合があり、通常、振幅、又はスペクトログラムの半分(例えば、正のドップラーシフトのみ)を抽出することによって、いくつかの信号コンテンツを捨てることを伴う。信号の実数部又は虚数部のいずれかを使用すること、又は両方の部分を線形投影と最適に組み合わせることも、重要な信号コンテンツを失う。これに基づいて、RadioSESは、無線ストリームのための適応フロントエンドを使用しうる。
RadioSESを未加工の無線入力で動作させるために、システムは、IQ平面においてランダム回転を適用しうる。例えば、システムは、体の動きの影響を低減するために、戻り信号にハイパスフィルタを適用しうる。ハイパスフィルタは、未処理のレーダ入力で動作するために、図36のRadioSESNetモジュール3602によって使用される。いくつかの例では、ボーカルフォールド高調波をフィルタリングしないために、90Hzでハイパスフィルタのカットオフ周波数を選択しうる。その後、無線信号は、適応エンコーダでエンコーディングされる。
エンコーダの後、システムは、各モダリティ内の長期間の依存性を利用するために、個々のブロックを用いてオーディオストリームと無線ストリームとを別々に処理しうる。そのために、システムは、効率的なデュアルパスRNNブロック(DPRNN)を介して各モダリティを処理する。DPRNNブロックは、完全畳み込みモデルの主な問題で制限されたコンテキストに悩まされない。その後、システムは、特徴次元のサイズ変更及び連結を介して2つのモダリティを合成しうる。これらのモデルは、出力の前に、DPRNNブロック及び1Dデコーダで更に処理される。
RadioSESNetの例示的な設計を図43に示す。いくつかの例では、RadioSESNetのオーディオエンコーダは、カーネルサイズ16を有する1D畳み込みレイヤと、カーネル数256と、それに続くReLU非線形性及びレイヤ正規化とを含む。RadioSESNetの無線チャネルは、より低いサンプリングレートに起因して、フィルタの数が64であることを除いて、同じパラメータを用いて、別の1D畳み込みレイヤ、非線形性、及び正規化を使用する。ストライドサイズは、カーネル幅の1/2に設定され、畳み込みブロック間で50%の重複をもたらす。第1のレイヤの後、第2の1D畳み込みは、次元を、オーディオについては64に、無線については16に低減する。各無線ストリームは、同じエンコーダブロックを使用して、STFTのような表現を作成する。歪んだ入力オーディオを
で、無線ストリームをr
iで表すことができる。ここでiはi番目の無線ストリームを表す。オーディオ及びラジオ・エンコーダの出力は
で表され、オーディオ及びラジオ・ストリームに対しては★∈(a、r)で表され、簡単にするためにインデックスiを削除しうる。ここで、N
★は特徴の個数を表し、L
★はエンコーディングされた表現のタイムサンプルの個数を表す。
図43のマスカに示されるように、両方のエンコーディングされたモダリティが合成されることで、各ソースのマスクが推定される。各モダリティは、個々のDPRNNブロックを通過し、次いで、ベクトル連結によって融合され、更に4つのDPRNNブロックを通過し、その後、出力を、期待されるマスク数及びサイズと一致させる2D畳み込みレイヤを用いて、マスクを推定する。
ベニューにおいて同時に話す人が2人いる場合、図43の入力には2つのレーダ出力がある。(例えば、スピーカ1及びスピーカ2の)2つのレーダ出力は、同じ適応エンコーダを通過する。あるいは、それらは異なるようにエンコーディングされうる。全ての無線DPRNNは、全ての無線信号及びスピーカに対して同じであってもよい。しかし、無線DPRNNは、代替の実施形態では異なるスピーカに対して異なっていてもよい。
他の実施形態では、図43の構成が、3人、4人、5人又はそれ以上の人々に一般化されうる。そのような場合、より多くの無線ストリームが存在することになる。
いくつかの実施形態では、エンコーディングされたデータを処理するために、システムは、DPRNNブロックを使用でき、例示的なDPRNNワークフローが図44に提示される。DPRNN処理は、重複ブロックを抽出する手段を通じて、入力データを3D表現に再整形することと、別の次元を通じて連結することと、入力ブロックの異なる次元に2つの連続するRNNレイヤを適用することとを含みうる。再整形演算の出力は
として表すことができ、K
a及びS
aは、ブロックの長さ及びブロックの個数を表す。入力、出力表現
及び次元数
は無線チャネルについて同様に定義され、表1に与えられるが、単一のDPRNN処理のためのフローも図44に与えられる。
いくつかの実施形態では、適切な再整形動作の後、入力ブロックは、RNNモジュールに供給され、RNNモジュールは3D入力のS次元に沿って動作され、完全接続レイヤ、及びレイヤ正規化が続く。間のスキップコネクションの後、ブロック間のより大きな距離関係を捕捉するために、K次元を通じて同様の動作が繰り返される。各RNNブロックは、深さ1を有し、完全接続レイヤは、入力サイズを出力サイズに一致させるために使用され、これはサイズ不一致なしに複数のDPRNNブロックを繰り返すことを可能にする。
いくつかの実施形態では、マスカの出力において、人の数に等しい数のマスクが推定され、次いで、それが、時間領域オーディオ信号を抽出するために信号を復号するために使用される。DPRNNブロックは、オーバラップ加算(overlap-add)法によって、入力におけるものと同様の表現に変換される。信号は、転置畳み込み演算を適用するデコーダを介して供給される。出力は、対称性を維持するためにエンコーダ内で同じ次元数及び同じ数のフィルタを有する単一チャネル表現であり、また、適応的である。
いくつかの実施形態では、RadioSESNetをトレーニングするために、システムは、次式で与えられる時間領域信号間の損失関数として、スケール不変信号対歪み(SiSDR:scale-invariant signal-to-distortion)を使用しうる:
ここで、
は、ターゲット及び推定される音信号を表す。SiSDRの使用は、抽出された音声の振幅が関心対象ではないので、誤差演算を支配するためのスケーリング効果を防止する。重みのL
2ノルム正則化と組み合わされ、減衰係数は、1e
-6に設定される。異なる数のユーザのための別個のモデルがトレーニングされているので、RadioSESは、ソースの個数を推定することによって適切なモデルにスイッチする。
複雑性及び因果関係は、設計において特に考慮される。
いくつかの実施形態では、RadioSESNetは、わずか2.1Mのパラメータを有するコンパクトな設計を有する。このうち、無線ストリームは、320kのパラメータを占めており、これは小さなデバイスに容易にフィットしうる。RadioSESNetによる3秒入力のフォワードパスは、バッチ処理を伴う最新のGPUで4msかかり、これは、対応するオーディオのみの方法よりもわずか0.4ms遅い。
いくつかの実施形態では、RadioSESNetは、ブロック間処理の反復レイヤにおいて一方向LSTMを使用するが、イントラブロックはS次元において完全なブロックを有することを必要とするBLSTMに依存する。したがって、RadioSESNetは、約150msの遅延で、因果関係をもって機能しうる。したがって、RadioSESはすでにリアルタイム処理に近い。
開示されたRadioSESシステムの実験及び実装のために、RadioSESをトレーニングし、検証し、評価するための大規模データを取得するためのデータ収集プラットフォームを構築できる。クリーンで残響のないグラウンドトゥルースサンプルを抽出することが重要であるので、吸音パッドによって部屋のエコーを低減できる。いくつかの実施形態では、システムが48kHzでサンプリングされたBlue Snowball iCEマイクロフォンを用いてクリーンオーディオデータ、Texas Instruments(TI)IWR1443ミリ波レーダを用いてレーダデータ、及びiPhone(登録商標)11 Proの前面カメラを用いてビデオデータを収集しうる。レーダは、1000Hzのサンプリングレートで3.52GHzの帯域幅で動作するように設定される。システムは、それらのエネルギーの相関を使用して、時間領域において無線信号及びオーディオ信号をアライメントさせることができる。また、添付の音声ファイルはトレーニングに使用されているが、1080psと30fpsで捕捉されたビデオデータも収集されている。
いくつかの実施形態では、ネイティブスピーカと、異なるアクセントを有するスピーカとを含む19人のユーザが、TIMITコーパスから発音的に豊富な文を読むように指示されている。ユーザは、9人の中国人、2人のインド人、2人のトルコ人、1人の韓国人のアクセントとともに、5人のネイティブ英語スピーカがいる多様なバックグラウンドから来ている。データセット内の25文字より短い文が除されうる。TIMITコーパスのサイズは限られているため、各参加者は200個の共通文及び100個の固有文を読む。参加者は、合計2100の異なる文及び5762の固有の単語を読む。文は、混在した順序で提示され、データセットは通常は専門のスピーカを含む公的に利用可能なデータセットとは対照的に、多くの休止、及び充填語を含む。データ収集の間、ユーザは無線デバイスから約40cm離れて座り、過度に移動しない間、通常の話し声で各材料を読む。
いくつかの実施形態では、雑音の多いサウンド信号及びミクスチャサウンド信号を生成するために、システムは、WHAMデータセットからの雑音ファイルとともにLibriMixで使用されるレシピに従いうる。トレーニングのための13人のユーザ、及び評価のための4人のユーザ(男性2人、女性2人)を無作為に選択しうる。検証セットは、残りの2人のユーザと、トレーニングセット内のユーザの未使用の音声とを含む。全てのオーディオファイルを8kHzにダウンサンプリングした後、システムは、3秒の最小持続時間の制約で、組み合わされたファイルのうちの最も短いものに基づいて合成ミクスチャを作成しうる。各ユーザの録音は、平均10回繰り返され、結果として25,826発話(≒30時間)になる。音声信号と雑音信号のラウドネスを正規化し、[-5,5]dBの信号対雑音比で雑音ミクスチャを生成することによって、ゲイン係数が求められる。システムは、2つの評価セット、即ち、i)見えるユーザからのミクスチャ、しかし聞こえない文、ii)見えないユーザからのミクスチャ、を生成しうる。これは、異なるユーザの無線信号が、それらの発話だけでなくそれらの体動及び物理特性に起因して異なる可能性があるので、RadioSESにおける見える/見えないユーザへの依存性を説明するのに役立つ。
いくつかの実施形態では、マルチモーダルシステムが容易に故障し、モード故障として知られる単一のモダリティを使用することに焦点を合わせうる。これを防止し、ロバスト性を更に改善するために、データセット作成手順は、以下を含む。第1に、同一スピーカ・ミクスチャ:データセットは、オーディオビジュアル領域において有効であることが示されているモード障害を防止するために、同一スピーカ・ミクスチャを含む。第2に、マルチマイクロフォンミクスチャ:データ収集手順が2つのマイクロフォンを含むので、各ミクスチャを生成するときに1つをランダムに選択しうる。評価は、より良好なマイクロフォンを用いて行われてもよいが、これはより多くのデータを収集することなく、データセットサイズを何倍にもブーストする。第3に、クリーンで雑音の多いミクスチャ:LibriMixデータセットとは異なり、複数スピーカの雑音の多いミクスチャとクリーンなミクスチャとの両方を生成し、それらを使用して単一のモデルをトレーニングしうる。したがって、RadioSESは、環境がクリーンであるか雑音が多いかにかかわらず、単一のモデルを使用する。
いくつかの実施形態では、MATLAB(登録商標)においてRadioSESのデータ収集及び未加工データ処理モジュールを実装してもよく、一方、深層学習モデルは、モノオーラルSESにおける標準的なトレーニング及び評価プロトコルに従い、ConvTasNet又はDPRNNTasNet等の既存の方法の実装を借りるために、Asteroidライブラリの助けを借りて、PyTorchにおいて実装される。いくつかの実施形態では、1e-3の開始学習率を使用して、60エポックの間、RadioSESNet及びDPRNNTasNetをトレーニングしてもよく、これは5つの連続するエポックの間、検証ロスが改善しなかったときに半分になる。更に、学習率は、2エポックごとに0.98だけスケーリングされる。早期停止基準は、15エポックに設定される。トレーニングを加速するために、混合精度トレーニング(mixed-precision training)を使用してもよい。RadioSESNetの複雑度の低さのおかげで、単一のエポックは、単一のNVIDIA RTX 2080S GPUを使用して、24のバッチサイズでトレーニングに約10分を要する。
前述のように、マイクロフォン信号は、ほとんど音声信号に対応するが、レーダ信号は動き、振動、及び環境ファクタによって影響されうる。更に、通常、マルチモーダルシステムを容易に動作させることは単純ではない。無線信号のロバスト性を改善するために、以下を実施しうる。第1に、複数のスナップショットを捕捉すること:同じ人間の複数のレンジ-方位角ビンからの無線信号が変化しうるので、複数のレンジ-方位角データをデータセットに記録しうる。各エポックにおいて、8つの候補の中からトレーニングのためのレンジ-方位角ビンを無作為に選択してもよく、一方、検証及びテストは中央値ビンを使用してもよい。これは、合成方法に依存することなく、データセットサイズを大幅にブーストし、最も最適なビンを検索する代わりに、より広いレンジのビンを使用することを可能にする。第2に、入力歪み:入力無線ストリームは、異なる方法で歪められる。これらは、ランダム回転を導入すること、異なる分散レベルで雑音を追加すること、無線信号の一部をゼロに置き換えること(データ損失を模倣するため)、又はモード障害を低減するために一部の無線信号を完全に除去することを含む。
いくつかの実施形態では、RadioSESの性能を評価するために、以下のメトリックを報告しうる:(a)SiSDR:信号レベルのインジケータであるスケール不変信号対雑音比;(b)SIR:複数のスピーカが存在場合に1人から別の人への漏れを測定し、SSタスクについてのみ報告する信号対干渉比;(c)STOI:短時間明瞭度メトリック(Short time intelligibility metric)、0から1まで報告されたワード誤り率と相関する;(d)PESQ:0から5までの測定された音質の知覚的評価。人間の知覚を測定することは、ユーザ研究を必要とするので、ユーザ研究が実行可能でないとき、PESQが代替として提案される。
ベースライン法:様々なタスクのために、いくつかのラジオ(無線)オンリー及びオーディオオンリーの方法が文字どおりに含められうる。第1に、無線のみの方法として、WaveEarにおいてWaveVoiceNetを実装しうる。このアプローチは、無線モダリティのみを使用して、声帯振動からの音信号を(再)構成し、利用可能なマイクロフォンを仮定しない。それは、オーディオスペクトログラムの大きさを再構成し、Griffin-Limベースの位相再構成を用いる。代わりに、クリーンオーディオ信号のオラクル位相を使用してもよく、これは、その性能に上限をもたらす。
RadioSESの性能を他のオーディオのみのベースラインと比較して、無線モダリティからのゲイン及びRadioSESの持続的な性能を示すことができる。第1に、STFTベースのマスクを上回る性能を有する第1の適応エンコーダベースのシステムのうち1つであるConvTasNetを含めうる。第2に、RadioSESのオーディオオンリー・ベースラインであるDPRNNTasNetを含めうる。DPRNNTasNetは、ConvTasNetを大幅に上回る性能を示しており、最新技術と見なすことができる。第3に、SudoRMRFを使用しうる。これは、RNNブロックをダウンサンプリングブロック及びアップサンプリングブロックに置き換えることによってDPRNNTasNetを単純化し、同様の性能を達成することが示される。最後に、超音波モダリティ、及び異なるスピーカ及び雑音データセットを使用するため、UltraSEと比較することはできない。データセットの変更及び異なるサンプリングレート(16kHz)のために、それらの結果をコピーし、直接比較を描くことは不可能である。一方、UltraSEは、2人のミクスチャにおけるConvTasNetと同様に機能する。これは研究のベンチマークとして含まれている。
音声強調において、RadioSESは、表2に示されるように、オーディオオンリー・ベースライン法に改善をもたらす。バックグラウンド信号は音声信号とは統計的に異なるので、比較的小さな改善を見ることができる。この観測はオーディオビジュアル法(例えば、0.1dB改善)と一致し、RadioSESが無線情報を利用することを学習することを示す。一方、WaveVoiceNetからの結果は、無線モダリティが雑音の少ないオーディオを(再)構成するのに十分ではなく、実験設定内では実現可能ではない可能性があることを示唆している。これは、ハードウェア、音声的に豊富な多様なデータセット(5762個の一意の単語)、及びユーザにおける相違に起因しうる。結果が悪いので、実験でWaveVoiceNetを更に調査する必要はない。ConvTasNetの性能はわずかに向上するが、実装ではもっと大きなデータセットにあらかじめ定義されたConvTasNetが使用されていることに注意されたい。また、ConvTasNetは因果関係がなく、1.5秒の先読みが必要である。これらの欠点にもかかわらず、RadioSESは、ConvTasNetと同様の性能を達成する。
RadioSESによる音声分離結果を、前述のベースラインと共に表3に示す。単一スピーチタスクと雑音の多いスピーチタスクの両方を分離するために、RadioSESは、DPRNNTasNetを含む、オーディオオンリー領域における様々な最新技術の方法よりも優れている。DPRNNTasNet実装は、LibriMixデータセット16.0において報告された値に近い2人のクリーンなミクスチャにおいて13.5のSiSDRを達成する。SIR比に関する有意な改善は、クリーンな場合と雑音の多い場合の両方で観察することができ、これは、ミクスチャを分離するための無線チャネルの有用性を示しうる。更に、無線入力にはより多様性がある(例えば、無線チャネル入力は音によって影響されるだけでなく、周囲の動き及び物理的特性によっても影響される)にもかかわらず、RadioSESは、基本的なDPRNNTasNetが被る場合に、見えないユーザに対してより良く一般化しうる。RadioSESは、信号メトリックだけでなく、明瞭度及び知覚品質メトリック(PESQ:perceptual quality metrics)も改善する。オーディオオンリーのベースライン間の差は、特に入力ミクスチャが雑音で壊れている場合、及び複数の人がいる場合に大きくなる。そのために、RadioSESを3人のミクスチャでトレーニングすることも可能である。表4に示すように、無線は各ユーザから個々のストリームを抽出するのに役立つので、RadioSESからの改善は、3人のミクスチャについて更に大きい。RadioSESからの性能利得は、より多くのユーザと共に増加するので、それは4人以上のユーザに対して良好に機能することを期待しうる。
前述のように、別のモダリティを導入することは、置換問題を解決するためのトレーニングの開始時に損失関数を導き、ソースの数を推定すること等、多くの利点を有する。そのために、図45では、トレーニングセット及び検証セットの損失値を比較できる。図45に示すように、オーディオ無線システムは、より良好な収束点と共に、最初にはるかに急峻な学習曲線を有する。
更に、図46では、RadioSESの出力SiSDRをそのオーディオオンリーのベースラインと比較できる。図46に示されるように、開示されるRadioSES法は、オーディオオンリーのベースラインよりも優れており、性能ゲインは、異なる入力SiSDRレベルを通じて一貫している。オーディオに対するオーディオラジオシステムの一貫性を調査するために、図47のように、無線チャネルからのSiSDRに関して差動ゲインをプロットしうる。誤った関連性を特徴づけるために、Δ(DBi)<-3のサンプルの量は1.03%であり、これは、時間の98.97%についての正しい物理的関連性を示している。
いくつかの実施形態では、元のデータ収集場所とは異なる場所で行われる、様々な設定におけるRadioSESの性能を更に評価しうる。異なる環境シナリオから抽出された無線信号をシミュレートすることは困難であるので、様々な設定でデータを収集しうる。例えば、距離の影響をテストするために、異なる距離(例えば、75cm)で複数のユーザデータを収集し、その位置からミクスチャを作り出すことができる。各設定間のわずかな差異は避けられないが、入力データストリームを同じラウドネスレベルに正規化して、公平な比較を行いうる。改善を示すために、オーディオオンリーのベースラインと共に各設定の性能を提示し、それらの設定においてRadioSESがどのように良好な性能を維持するかを示しうる。提示のために、図45は、RadioSESをオーディオラジオ(AR)法として参照し、ベースラインDPRNNTasNetは、オーディオオンリー(AO)法として注記される。図45に示されるように、RadioSESは、ほとんどが、オーディオオンリーのベースラインを上回り、データセットは4dB改善され、これは見えないスピーカのミクスチャ及び同一スピーカのミクスチャを含む。この評価は、一貫性のためにクリーンなミクスチャを用いて行われるが、雑音の多いミクスチャでも同様の利得を観察しうる。
第1に、図48Aに示すように、信号分離タスクに対する距離の影響を評価しうる。表5に示すように、RadioSESは、スピーカがデバイスから1m離れるまでロバストに動作し、オーディオオンリーのベースラインと比較して利得を維持しうる。両方の場合の性能は低下し、これは、トレーニングデータセットが短い距離からのみ捕捉されることに起因する。距離が増加することにつれて、受信されたオーディオ信号は、室内インパルス応答及びマイクロフォン非線形性に起因して変化し、これは、最近、マイクロフォンを用いた粗ソース距離推定に使用される現象である。いくつかの例では、無線チャネルからの性能ゲインが0.5m及び1mからあまり減少せず、より低い性能のための主なボトルネックは様々なオーディオデータである。より多様なオーディオデータを取り込むことで、高性能なシステムを構築できる。
第2に、ユーザは、図48Bに示されるように、デバイスから0.75m離れて座り、実際のセンシングエリアを探索するために、ユーザの向きを変更するように求められる。RadioSESは、表5の向き欄に示されるように、性能を低下させることなく、45°まで動作しうる。オーディオラジオシステムからのゲインは、各設定を通じて一貫しており(例えば、SiSDRにおいて~4dB)、無線ストリームのモデリングにおける有効性を示している。更に、この観測は、マイクロフォンからの異なる偏差角度が無線反射SNRを低減するが、いかなる距離ベースの非線形性も作り出さないので、距離の観測と一致する。
第3に、ユーザは、図48Cに示すように、0.55mに座り、0度から15度及び30度まで頭部を回転させるように求められる。例えば、ユーザがラップトップ又はモニタの前に座った場合、ユーザは画面上で異なるコンテンツを見るために頭を自然に振ることになり、0.5mでの30度の頭回転は、大きな画面の全領域を見ることを可能にする。更に、RadioSESが、声帯の振動の代わりに、口唇運動を使用している場合、結果が急速に劣化することが期待される。結果、は表5の頭の向き欄に提示され、これはトレーニング手順が明示的な頭部回転データを含まない場合であっても、RadioSESが頭の向きの変化に対してロバストであることを示す。
第4に、ユーザは、様々な歪みを実行するように求められる。例えば、ユーザは、発話中にレーダの前で動作を行うように求められる。実験を制御するために、ユーザは、発話中に起こりうるように、頭を上下に、左右に、及び前後に自然に動かすように求められる。次に、オクルージョンとしての役割を果たすマスクを装着したユーザについてデータを収集する。表6に示すように、RadioSESは、頭部運動の影響を受けない。更に、オクルージョンを有する利点を失う特定の視覚強化方法とは異なり、RadioSESは、マスクの装着に対してロバストであり、オーディオオンリー法と比較して改善を維持できる。これは、声帯の振動が、顔からではなく身体及び咽喉から抽出されるという事実に起因する。
例示的な実験では、複数のユーザが同じ部屋の中に座って、野生での音声強調及び分離をテストするように求められる。ユーザは、Rainbow及びArthurのパッセージを読むように求められ、一方、バックグラウンド雑音はスピーカのペアから再生される。この実験は、グラウンドトゥルース・クリーン信号を有しないため、単語誤り率及び文字誤り率に関してのみ性能を評価できる。公平に比較するために、ユーザは、そのセットの性能を捕捉するために、別の静かな環境で同じデータを読むよう求められる。Googleの音声・トゥ・テキスト・エンジンを、トランスクリプトを構築するためのモデル適応なしで使用してもよい。スピーカはネイティブスピーカではなく、RadioSESは電話品質のスピーチ(8kHz)で実装されているため、全体的なエラーレートは高くなる。一方、表7に示されるように、RadioSESは、多人数ミクスチャを強調及び分離することができ、音声分離のためのオーディオオンリーのベースラインを上回る性能を発揮しうる。
他の例示的な実験では、雑音及びゼロ・パディングを追加することによって入力信号を破損させてよく、これは、人々が更に離れている場合、又はシステム内にパッケージ損失がある場合、性能変化に対する洞察をうるのに役立つ。これらの実験は、オーディオストリームの最初の3秒間で行われる。なぜなら、より長いオーディオストリームは、すでに何らかのゼロパッド又は重複ブロック処理を必要とするからである。白色ガウス雑音を加えて、20~-10dBレベルの様々なSNRでレーダデータを取得し、表8の性能メトリックを報告しうる。より長い距離では無線信号は雑音が多いと予想され、この実験は無線信号がまだ有用であるときまで探索する。RadioSESは、-5dBの無線SNRまでオーディオベースラインよりも優れている。無線信号が更なる雑音を有する場合、オーディオベースラインと同様の性能が達成される。この実験は、より大きな距離でのRadioSESの大きな可能性があることを示している。
別の実験では、無線ストリームをゼロパッドして、利用可能なレーダストリーム持続時間を低減し、2秒、1.5秒、1秒、及び0.5秒の入力無線持続時間をテストしうる。そのような構成は、無線ストリームに電力要件又はパッケージ損失がある場合に使用されうる。表9に示されるように、RadioSESは、知覚品質に関して、少なくとも1秒の信号(即ち、33%)が存在する場合、オーディオオンリーのベースラインと比較して、音声分離タスクを依然として支援し、性能を改善しうる。RadioSESシステムは、1.5秒の入力後の全ての入力に関して、オーディオオンリーのベースラインよりも良好に機能する。これは、電力制約設定の場合、RadioSESは、33%未満のデューティサイクルで動作することができ、依然として、ソース関連付けの前述の利点とともに、性能改善をもたらすことができることを示す。
レーダのFoVの外側にスピーカを有することは、RadioSESにおける重要な焦点ではないが、1つのスピーカがFoVの外側にあることを可能にすることによって、そのような動作モードにおけるRadioSESの限界を探求しうる。この設定では、無線ベースの方法で出力される人数が少なくなるため、スピーカの数を見積もるために代替アプローチを使用する必要がある。実際には、時間情報を活用することによって、依然として無線ベースの推定を使用しうる。外部ユーザからの情報をシミュレートせずに、RadioSESが部分的な情報を有することから利益を得ることができるかどうかを理解するために、無線ストリームをゼロパッドしうる。単一の人間が欠如しているケースを調査しうるが、2人の人間の欠如への拡張も、置換ベースの方法を用いて可能である。表10に示されるように、RadioSESは依然として、大きなマージンでオーディオベースラインを上回り、人が欠けると性能を改善しうる。1人が外にいる場合、2人の騒音のあるミクスチャでは、あまり性能が低下しない。3人のミクスチャの場合、より多くの減少があるが、オーディオオンリーシステム間のギャップはより大きく、2つの他の無線信号を有することの利点は明らかである。
別の実験では、各コンポーネントの効果を理解するために、いくつかのブロックなしでRadioSESNetをトレーニングしうる。アブレーションテストには、クリーンな2人ミクスチャを使用しうる。表11に示すように、マスク推定から、i)無線DPRNNブロック、ii)オーディオDPRNNブロック、及びi)ハイパス(HP)フィルタ、を除去しうる。最後のケースでは、オーディオストリームは、RadioSESの主要な構成を変更しないよう、信号をエンコーディングするために依然として使用されるが、いかなるDPRNNブロックも通過しない。
本教示では、無線モダリティを使用してSESタスクのロバスト性及び性能を改善するために、RadioSESが開示される。無線デバイスの視野内の振動源は声帯のみからであると仮定しうるが、無線はギター又は機械等の他のソースの振動も測定しうる。これらの振動源は、通常、いくつかのサウンドシグネチャを生成し、それらは、カメラを使用して行われるように、各ソースからのサウンドを別々に推定するために使用されうる。
マイクロフォンアレイ:いくつかの実施形態では、RadioSESは、ミリ波センシングデバイスとともに単一のマイクロフォンを使用する。一方、RadioSESは、マイクロフォンアレイと共に動作することも可能であり、無線モダリティは、全体的な性能を更に改善できる。マイクロフォンアレイにおけるビームフォーミングは、無線モダリティが不要であることを示しうるが、雑音が多い環境又は残響が多い環境では失敗しうる。RadioSESは、ソースの振動をセンシングするので、ロバストなビームステアリングのために音の方向を推定してもよく、又は更なる改善のために残響なしにソースの振動を抽出してもよい。
移動スピーカ:いくつかの実施形態では、RadioSESがそれらは、著しく移動しないという固有の仮定を伴って身体をトラッキングするように設計される。これは通常、関連するバイタルサインモニタリング文献(呼吸、心拍数)における一般的な制約であるが、いくつかの最近の研究は、呼吸についての動きに対処し始めた。より完全なシステムは、中レベル及び高レベルのソースの動きをサポートする必要がある。そのために、人のポイントクラウドからの複数のバイタルサインビンのコヒーレントな合成、又は深層学習は、複数の移動ターゲットをサポートするためのいくつかの興味深いアイデアでありうる。
センシング距離:実験は、RadioSESが、スピーカがデバイスから1m離れるまでロバストに動作し、オーディオのみのベースラインと比較して利得を維持できることを示す。両方の場合の性能は低下し、これは、トレーニングオーディオデータセットが短い距離からキャプチャされるためである。しかしながら、RadioSESからの性能改善は、距離とともにあまり減少しない。実験の間、未加工信号のSNRは、低いピッチを有する人々(例えば、男性)のために、大きい距離(例えば、2.5m)において依然として高い。全てのユーザをサポートするために、実用的なレンジを1mに制限することができ、これは超音波を使用するレンジよりもはるかに大きい。これらの物体が更に離れているときに、これらの物体から多くのレーダシグネチャを捕捉することはできないが、(例えば、バイタルサインモニタリングのように)依然としてロバストに検出することができ、高品質の無線ストリームの個数を減らすことさえも、性能を改善するのに役立つことができる。更に、異なるハードウェアは、7m又は50mからの声帯振動を捕捉しうる。RadioSESはより優れたハードウェアの恩恵を受けることができ、より実用的なシステムを構築しうる。
マルチパス効果:実験では、レーダの前に複数のソースがある場合を考慮してもよく、トレーニングデータは各人について完全にクリーンな無線ストリームを仮定する。しかしながら、困難な状況では、無線センシングベースのシステムが強力なマルチパス効果を有しうる。ミリ波帯では、効果は2.4/5GHzほどの弊害はないが、それでも性能を低下させる可能性がある。この問題は、短距離実験では存在しないかもしれないが、長距離屋内センシングのための制限ファクタとなりうる。
いくつかの実施形態では、評価ボード及び単一のミリ波デバイスのコストは低くなりうる。これらのデバイスのサイズは、電話機に適合するように6mm×6mmと小さくすることができ、電力消費は1mWと低くしうる。更に、RadioSESは、100%のデューティサイクルで動作する必要がない。アプリケーションに基づいて、より低い電力消費を達成しうる。連続的なミリ波センシング能力を有するデバイスが既に存在するので、RadioSESは、スマートデバイスと一体化されることが可能である。
開示されたRadioSESは、ミリ波センシングを使用する共同オーディオラジオ音声強調及び分離システムである。それは、無線モダリティの助けを借りて、既存のオーディオオンリーの方法の性能を改善し、オーディオビジュアルシステムと同様の改善を達成し、演算の複雑度及びプライバシーにおける更なる利点を有する。更に、RadioSESは、環境内のソースの数を検出し、出力を物理的なスピーカ位置と関連付けることができ、全て、オーディオオンリー領域において困難な問題である。現実世界の実験は、RadioSESが最先端の方法を大幅に上回ることを示し、オーディオラジオSESの大きな可能性を実証している。
図49は、本開示のいくつかの実施形態による、無線支援信号推定のための例示的な方法4900のフローチャートを示す。種々の実施形態において、方法4900は、上記で開示したシステムによって実行されうる。動作4902において、ベニューにおけるベースバンドミクスチャ信号が取得される。ベースバンドミクスチャ信号は、第1のソース信号と追加の信号とのミクスチャを含む。第1のソース信号は、ベニューにおける第1の物体の第1の動きによって生成される。動作4904において、無線信号の無線特徴が取得される。無線信号は、ベニューにおいて送信機から受信機に送信される。受信された無線信号は、ベニューの無線チャネルと、少なくともベニューにおける第1の物体の第1の動きとに起因して、送信された無線信号とは異なる。動作4906において、第1の適応フィルタが、無線特徴に基づいてベースバンドミクスチャ信号のために構築される。動作4908において、ベースバンドミクスチャ信号が、第1の適応フィルタを使用してフィルタリングされることで、第1の出力信号が取得される。動作4910において、第1のソース信号の推定が、第1の出力信号に基づいて生成される。図49の動作の順序は、本教示の種々の実施形態に従って変更されうる。
図50は、本開示のいくつかの実施形態による、ベニュー5001における無線支援信号推定のためのシステム5000を示す。図50に示すように、システム5000は、ベニュー5001内のベースバンドミクスチャ信号5019を取得するように構成されたセンサ5010を含む。いくつかの実施形態では、センサ5010は、音響センシングのためのマイクロフォン(例えば、スマートスピーカ上のマイクロフォン)でありうる。いくつかの実施形態では、ベースバンドミクスチャ信号5019は、第1のソース信号5011と追加の信号5012とのミクスチャを含む。いくつかの実施形態では、第1のソース信号5011は、ベニュー5001内の第1の物体5050の第1の動きによって生成される。
図50に示すように、システム5000は更に、ベニュー5001の無線チャネル5040を通じて第1の無線信号5022を送信するように構成された送信機5020と、無線チャネル5040を通じて第2の無線信号5032を受信するように構成された受信機5030とを含む。いくつかの実施形態では、第2の無線信号5032は、無線チャネル5040及び少なくともベニュー5001内の第1の物体5050の第1の動きに起因して、第1の無線信号5022とは異なる。いくつかの実施形態では、送信機5020は、図2に示されるような無線送信機又はBotでありうる。いくつかの実施形態では、受信機5030は、図2に示されるように、無線受信機又はOriginでありうる。
図50に示されるように、システム5000は更に、センサ5010からのベースバンドミクスチャ信号5019と、受信機5030からの第2の無線信号5032とに基づいて、例えば、図49に開示される方法に従って、第1のソース信号の推定を生成するように構成されたプロセッサ5035を含む。いくつかの実施形態では、プロセッサ5035は、受信機5030とは別個のデバイスでありうる。他の実施形態では、プロセッサ5035は、受信機5030と接続された、又は一体化されたデバイスでありうる。
図51は、本開示のいくつかの実施形態による、無線支援信号推定のためのシステム(例えば、図50のシステム5000)における第1の適応フィルタ5100を示す。他の実施形態では、第1の適応フィルタ5100は、第2の無線信号5032の無線特徴に基づいて、ベースバンドミクスチャ信号5019のためにプロセッサ5035によって構築されうる。第1の適応フィルタ5100は、システムのプロセッサ5035が、第1の出力信号5109に基づいて第1のソース信号5011の推定を生成しうるように、ベースバンドミクスチャ信号5019をフィルタリングすることによって第1の出力信号5109を取得するために使用されうる。
図51に示すように、第1適応フィルタ5100は、第1ベースバンドフィルタ5110と、第2ベースバンドフィルタ5120と、第3フィルタ5130と、第4フィルタ5140とを含む。第1のベースバンドフィルタ5110は、第2の無線信号5032の無線特徴を使用せずに構築されうる。第2のベースバンドフィルタ5120は、第2の無線信号5032の無線特徴に基づいて構築されうる。
図52は、本開示のいくつかの実施形態による、第1の適応フィルタ5100の詳細図を示す。この例では、図52に示すように、第1のベースバンドフィルタ5110は、第1の信号領域においてベースバンドミクスチャ信号5019を処理するための第1の前処理モジュール5211と、第1の信号領域から第1の変換領域に信号を変換するための第1の変換モジュール5212と、第1の変換領域において信号をフィルタリングするための第1の変換領域フィルタ5213とを更に含む。この例では、図52に示すように、第2のベースバンドフィルタ5120は、第2の信号領域において第2の無線信号5032を処理するための第2の前処理モジュール5221と、第2の信号領域から第2の変換領域に信号を変換するための第2の変換モジュール5222と、第2の変換領域において信号をフィルタリングするための第2の変換領域フィルタ5223とを更に含む。
図52に示されるように、この例における第3のフィルタ5130は、第1のベースバンドフィルタ5110及び第2のベースバンドフィルタ5120の出力を処理するための第3の前処理モジュール5231と、第3の信号領域において信号をフィルタリングするための第3の変換領域フィルタ5232とを含む。図52に示すように、この例の第4のフィルタ5140は、第3の変換領域フィルタ5232の出力に基づいて第1の変換領域の信号をフィルタリングするための第4の変換領域フィルタ5241と、第1の変換領域から第1の信号領域に信号を変換するための第1の逆変換モジュール5242と、第1のソース信号5011を推定するための、第1の信号領域の信号を処理して第1の出力信号5109を生成するための後処理モジュール5243とを含む。
いくつかの実施形態では、送信機と受信機との間の無線信号(例えば、ミリ波、28GHz又は60GHz、又はレーダ信号、又はUWB信号)は、受信された無線信号から取得されたチャネル情報(例えば、チャネルインパルス応答/CIR、チャネル周波数応答/CFR、及び/又はチャネル状態情報/CSI、RSSI等)に基づいて、信号(例えば、音声)強調(例えば、雑音除去)及び/又は信号分離を支援するために使用されうる。送信機及び受信機は同じ場所に(例えば、同じデバイス上に、又は同じ回路基板上に)、又は異なる場所に配置されうる。
いくつかの実施形態では、送信機(タイプ1デバイス)及び/又は受信機(タイプ2デバイス)はそれぞれ、アンテナアレイ、分散アンテナを有しうる。各々が送信機から無線信号を受信する複数の受信機が存在しうる。各々がそれぞれ無線信号を受信機に送信する複数の送信機があってもよい。複数の送信機及び複数の受信機が存在してもよく、各送信機は、1つ以上の受信機にそれぞれ無線信号を送信する。
いくつかの実施形態では、開示されたシステムを実装するデバイスがレーダモードで動作しうるコモディティ無線ネットワーキング又は通信チップ/チップセットを有しうる。レーダモードは、追加のアンテナアレイをチップセットに取り付けることによって有効にされうる。チップ/チップセットを使用して、送信無線機を使用して無線信号を送信し、受信無線機を使用して反射された無線信号を受信しうる。チップは同時に又は同時期に送信/受信しうる。チップは「同時」送信/受信をシミュレート又は模倣するために、送信と受信との間で迅速に切り替えうる。
いくつかの実施形態では、送信機及び受信機が同じベニュー(例えば、家、部屋、オフィス、歩道、共通エリア、施設)に存在してもよい。送信機は、受信機に物理的に隣り合っていても、受信機に隣接していても、受信機から距離を置いていてもよい。少なくとも1つの物体又は「ソース」物体(例えば、人、2人以上の人)がベニューに存在してもよく、個別のソース信号(例えば、各人からの音声信号、話すこと、歌うこと、対話すること、一度に1つの発話、同時の2人以上の人が話すこと)を生成する。ミクスチャ信号が取得されてもよい(例えば、2人の同時対話/歌唱を含むマイクロフォンによって捕捉された音)。ミクスチャ信号は、少なくとも1つのソースからの信号のミクスチャ(例えば、和、重み付け和、積、重み付け積等)を含みうる。ソース信号は、バックグラウンド雑音の存在下で生成されてもよい(例えば、電車の駅、空港、又は家庭/オフィス等の騒音環境で話す2人の人々;バックグラウンド雑音は、群衆音、機械音、モータ/エンジン音、掃除機/ファン/機械/冷蔵庫/ヒータ/エアコンであってもよい)。
いくつかの実施形態では、信号分離の目標は、ミクスチャ信号内で/から2つ以上のソース信号(例えば、音信号)を分離することである。信号強調の目標は、個々のソース信号を強調することである(例えば、明瞭度を改善し、音声品質を改善し、雑音を低減/除去する)。
いくつかの実施形態では、無線支援信号推定のための方法が以下で説明するステップs1~s5を含む。
ステップs1において、ベニュー内の少なくとも1つの物体に関連する少なくとも1つのソース信号のミクスチャを含む、センサと関連付けられたミクスチャ信号(例えば、マイクロフォンによって捕捉された音信号)を取得し、各ソース信号は、ベニュー内のそれぞれの物体からのものである/それと関連付けられたものである。
ステップs2において、タイプ1デバイスからタイプ2デバイスに無線信号(例えば、ミリ波信号又はレーダ信号、又はUWB信号)を送信し、受信された無線信号から、2つ以上の時系列のチャネル情報(TSCI、CIはCIR、CFR、又はCSI、又はRSSI等のうちの1つ以上である/含む)を取得し、各CIは、個別の送信機アンテナ及び個別の受信機アンテナと関連付けられる。送信機アンテナ及び/又は受信機アンテナは、既知の位置(ロケーション)にあってもよい。各CI(例えば、CIR)は、2つ以上の成分を含み、各成分は、伝搬遅延又はレンジ又はレンジビンと関連付けられる。各成分は複素数であってもよい。
ステップs3:TSCIにデジタルビームフォーミングを適用することで、2つ以上のレンジ-方位角CIRを取得し、各CIRは、レンジ及び方位角と関連付けられる。
ステップs4:以下のステップs4a~s4eによって、少なくとも1つの無線信号CIR Tap(t)を生成し、各無線信号は、ベニュー内のそれぞれの物体(スピーカ)と関連付けられる。ステップs4aにおいて、CFAR検出器がターゲット検出のために使用され、例えば、CIR>t1のタップ時にターゲットが検出される。ステップs4bにおいて、散乱除去のために、T2<CIRタップの分散(経時的)<T3、である場合、CIPタップを保持しうる。ここで、T2及びT3の両方が空間的に{r,θ}に対して変化する。ステップs4cにおいて、物体(例えば、人々)の数の推定のために、ノンパラメトリッククラスタリング(DBSCAN)が使用されうる。ステップs4dにおいて、ユーザ位置{r,θ}の連続的なトラッキングが実行されうる。ステップs4eにおいて、無線特徴抽出のために、{r,θ}におけるCIRタップ(時間関数)が、ユーザ位置{r,θ}と関連付けられてよく、ここで、中央値ビニングが実行される。
ステップs5:SESと無線特徴との合成(組み合わせ)に基づいて、ミクスチャ信号を同時に分離及び強調する。基本SESは、エンコーダ(STFT等)、演算マスク(フィルタ)、適用マスク(フィルタ)、及びデコーダ(ISTFT等)を含みうる。無線特徴に対するフロントエンド処理(即ち、{r,θ}におけるCIRタップ(時間関数))は、以下のステップs5a~s5hを含みうる。ステップs5aにおいて、IQ平面におけるCIRタップ(t)のランダム回転が、オプションとして実行されうる。ステップs5bにおいて、ハイパスフィルタが、体動の影響を低減するために使用される(声帯高調波をフィルタリングしないために、90Hzにおけるカットオフ周波数)。ステップs5cにおいて、(STFTのような)適応エンコーダが構築されて使用される。
ステップs5dにおいて、各モダリティ内の長期依存性を利用するために、個々のブロックを用いてオーディオ及び無線ストリームを別々に処理し、各モダリティは、デュアルパスRNNブロック(DPRNN)深層学習を通じて処理されうる。サイズ変更後、音声信号と無線信号をベクトル連結で融合する。次いで、2D畳み込みレイヤを用いてマスクを推定する前に、更に4つのDPRNNブロックを用いた処理が適用されうる。DPRNN処理は、重複ブロックを抽出する手段を通じて、重複ブロックを抽出する手段を通じて、入力データを3D表現に再整形することと、別の次元を通じて連結することと、入力ブロックの異なる次元に2つの連続するRNNレイヤを適用することとを含みうる。
ステップs5eでは、推定された人数に基づいて、各人についてマスクをトレーニングする。ステップs5fにおいて、例えば、マスク1を適用してスピーカ1の音声を抽出し、マスク2を適用してスピーカ2の音声を抽出することによって、マスクをオーディオに適用する。ステップs5gにおいて、(ブロックごとに)デコーダが適用される。ステップs5hでは、重複(オーバラップ)及び加算が行われる。
以下の番号付けされた項Eは、オーディオ及び無線信号に基づくサウンドセンシングの実装例を提供する。
項E1.無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、ベニューにおけるベースバンドミクスチャ信号を取得することであって、ベースバンドミクスチャ信号は、第1のソース信号と別の信号とのミクスチャを含み、第1のソース信号のソースは、ベニューにおける物体の動きである、ことと、ベニューにおけるタイプ1のヘテロジニアス無線デバイスから第2のヘテロジニアス無線デバイスへ送信される無線信号の無線特徴に基づいて、ベースバンドミクスチャ信号のための第1の適応フィルタを構築することであって、受信される無線信号は、物体の動き及びベニューの無線マルチパスチャネルに起因して、送信された無線信号とは異なる、ことと、第1の適応フィルタを使用してベースバンドミクスチャ信号をフィルタリングすることで、第1のソース信号の推定である第1の出力信号を取得することと、を含む。
いくつかの実施形態では、全処理/フィルタリングは、(1)ステージ-1フィルタリング、(2)ステージ-2フィルタリング、及び(3)ステージ-3フィルタリングを含みうる。図43を参照すると、ステージ1フィルタは、2つの部分、即ち、ベースバンドミクスチャ(例えば、音)信号をフィルタリングするための1つの部分(「1a」と呼ばれる)と、図43の「レーダ出力」をフィルタリングするための1つの部分(「1b」と呼ばれる)とを有する。
(1a)ステージ1aフィルタは、図43のベースバンドミクスチャ信号(例えば、音)を処理するための3つの下部ブロック、即ち、「マイク出力」ブロック、「適応エンコーダ(オーディオ機能)」ブロック、及び「オーディオ前処理(オーディオDPRNN(x2))」ブロックに対応する。ステージ1aフィルタによる処理は、前処理(例えば、何も行わない、フィルタリング、ダウンサンプリング)、時間領域から変換領域(例えば、STFT様領域、周波数領域)への変換(例えば、変換、畳み込み、投影)、及び変換領域処理(例えば、データ再編成又は再整形、オーディオDPRNN(x2))を含む。
(1b)ステージ1bフィルタは、図43のベースバンド無線導出信号(例えば、レーダ出力、請求項E1の無線信号の無線特徴(例えば、CSI、CIR、CFR)から導出された信号)を処理するための3つの上部ブロック、即ち、「レーダ出力」ブロック、「適応エンコーダ(無線特徴)」ブロック、及び「無線前処理(無線DPRNN(x2))」ブロックに対応する。ステージ1bフィルタによる処理は、信号領域(例えば、時間領域)における前処理(例えば、ランダム位相回転、ハイパスフィルタ)、時間領域から変換領域(例えば、STFT様領域、周波数領域)への変換(例えば、変換、畳み込み、投影)、及び変換領域処理(例えば、データ再編成/再整形、無線DPRNN(x2))を含む。
ステージ1aフィルタ及びステージ1bフィルタは、同様の信号処理要素、即ち、時間領域、変換、変換領域、及び変換領域処理を有する。ベースバンド無線導出信号は、物体に対応する特定の{レンジ、方位角}におけるCIRのタブを含みうる。ベースバンド無線導出信号を導出するために、物体検出が、2D(又は3D)CIRにおけるビームフォーミング、CFAR検出(例えば、閾値処理、C*h>T1)、散乱除去(例えば、閾値処理、T2>分散>T3)、クラスタリング、人数推定、中心抽出、及び/又は無線特徴抽出、を実行することによって、特定の{範囲、方位角}を演算するために実行されうる。
(2)ステージ2フィルタは、図43の「マスカ」ブロックの右半分、「マルチモーダルマスカ(融合+DPRNN(x4))」に対応する。ステージ2フィルタによる処理は、前処理(例えば、マルチモーダルデータ(例えば、サウンドデータ+ラジオデータ)の融合)、ステージ1a及びステージ1bフィルタの出力の融合、データ連結、変換領域処理(例えば、データ再編成/再整形、DPRNN(x4))、ベースバンドミクスチャ信号中のソース信号の各々に対する変換領域「ターゲット」フィルタ(例えば、「マスク」、「オーディオマスク1」、「オーディオマスク2」)の生成(例えば、第1の音信号に対するオーディオマスク1、第2の音信号に対するオーディオマスク2)を含む。
(3)ステージ3フィルタは、ベースバンドソース信号の推定値として第1の出力信号を生成するための図43の最後の3つの上部ブロック、即ち、「出力(オーディオマスク1)」ブロック、マスクのアプリケーション(ブロックとして機能するが、図43ではブロック形式で示されていない)、及び「適応デコーダ」ブロックに対応する。ステージ3フィルタによる処理は、変換領域「ターゲット」フィルタを使用してベースバンドミクスチャ信号をフィルタリングし、逆変換し、ベースバンドソース信号の推定値として時間領域出力を再構成するためのオーバラップ及び加算することを含む。
項E2.項E1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、無線信号の無線特徴を使用することなく、第1のベースバンドステージ1フィルタを構築することと、無線信号の無線特徴に基づいて、第2のベースバンドステージ1フィルタを構築することと、第1のベースバンドステージ1フィルタ、第2のベースバンドステージ1フィルタ、ステージ2フィルタ、及びステージ3フィルタに基づいて、第1の適応フィルタを構築することと、を更に含む。
項E3.項E2の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第2のベースバンドステージ1フィルタは、第1のベースバンドステージ1フィルタと同様の少なくとも1つの信号処理要素を含む。
項E4.項E2の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1のベースバンドステージ1フィルタは、第1の信号領域における第1の前処理と、第1の信号領域から第1の変換領域への第1の変換と、第1の変換領域における第1の変換領域フィルタとを含み、第2のベースバンドステージ1フィルタは、第2の信号領域における第2の前処理と、第2の信号領域から第2の変換領域への第2の変換と、第2の変換領域における第2の変換領域フィルタとを含み、ステージ2フィルタは、ステージ1フィルタの出力に基づく第3の前処理と、第3の領域における第3の変換領域フィルタとを含み、ステージ3フィルタは、第3の変換領域フィルタの出力に基づく第1の変換領域における第4の変換領域フィルタと、第1の変換領域から第1の信号領域への第1の逆変換と、第1の信号領域における第1の後処理とを含む。
項E5.項E4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の適応ベースバンドフィルタ及び第2の適応ベースバンドフィルタの信号処理要素の以下のペアのうちの少なくとも1つは類似している:
第1の信号領域と第2の信号領域のペア、第1の変換領域と第2の変換領域のペア、第1の変換と第2の変化のペア、及び第1の変換領域フィルタと第2の変換領域フィルタのペア。
項E6.項E4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の前処理、第2の前処理、又は第3の前処理のうちの少なくとも1つは、以下のうちの少なくとも1つを含む:
特徴抽出、振幅演算、位相演算、距離演算、変動演算、ノルム演算、量子化、ベクトル量子化、ヒストグラム、分解、投影、直交投影、過完了投影、固有分解、特異値分解(SVD)。主成分分析(PCA)、独立成分分析(ICA)、圧縮センシング、スペクトル分析、変換、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、線形フィルタ、非線形フィルタ、有限インパルス応答(FIR)フィルタ、無限インパルス応答(IIR)フィルタ、移動平均(MA)フィルタ、自己回帰(AR)フィルタ、ARMAフィルタ、適応フィルタ、補間、デシメーション、リサンプリング、サブサンプリング、アップサンプリング、フォールディング、グルーピング、ソート、並び替え、順列、合成、閾値処理、クリッピング、微分、統合、最大化、最小化、特徴抽出、平均フィルタ、重み付け平均、中央値フィルタ、モードフィルタ、ランクフィルタ、四分位値フィルタ、パーセンタイルフィルタ、畳み込み、時間補正、位相補正、大きさ補正、IQ平面のランダム回転、ランダム位相シフト。モードフィルタ、ランクフィルタ、四分位フィルタ、パーセンタイルフィルタ、畳み込み、時間補正、位相補正、振幅補正、IQ平面内のランダム回転、ランダム位相シフト、正規化、位相クリーニング、振幅クリーニング、マッチドフィルタ、強調、復元、雑音除去、平滑化、信号調節。
項E7.項E4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の信号領域又は第2の信号領域のうちの少なくとも1つは時間領域であり、第1の変換領域又は第2の変換領域のうちの少なくとも1つは周波数類似領域である(時間‐周波数領域)。
項E8.項E4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の変換又は第2の変換のうちの少なくとも1つは、以下の少なくとも1つを含む:
離散時間変換、適応変換、エンコーダ、適応エンコーダ、トリゴノメトリック変換、フーリエ変換、サイン変換、コサイン変換、アダマール変換、短時間変換、STFT、ウェーブレット変換、高速変換、STFT様変換、固有分解、主成分分析(PCA)、独立成分分析(ICA)、特異値分解(SVD)、時間分解、周波数分解、時間周波数分解、圧縮センシング、グラフベース変換、スペクトル分析、マッチング追跡、投影、直交投影、非直交投影、オーバーコンプリート投影、周波数様領域への投影、周波数にそれぞれ関連付けられた、ある数の投影フィルタの数、ある数のカーネル、ある数の畳み込みフィルタ、又はある数の畳み込みフィルタに続く、別の数の畳み込みフィルタ。
項E9.項E4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の変換領域フィルタ、第2の変換領域フィルタ、第3の変換領域フィルタ、又は第4の変換領域フィルタのうちの少なくとも1つは、以下のうちの少なくとも1を含む:
線形フィルタ、非線形フィルタ、有限インパルス応答フィルタ、移動平均フィルタ、自己回帰フィルタ、適応フィルタ、間引き、リサンプリング、アップサンプリング、再整形、結、時間領域フィルタリング、周波数領域フィルタリング、入力層、処理層及び出力層を有する相互接続された処理ノードの層、時間領域フィルタリング、相互接続された処理ノード、処理層及び出力層、ファジー論理、サポートベクトルマシン、テンソル製品ネットワーク、シミュレートされた現実、自己組織化マップ、遺伝的アルゴリズム、進化的アルゴリズム、生成的敵対的ネットワーク、並列分散処理、生物学的インスパイアードコンピューティング、ネットワーク学習、クラスタリング、機械学習、層正規化、ニューラルネットワーク(NN)、多重NN、人工NN(ANN)、フィードフォワードNN、多層パーセプトロン(MLP)、変換器ベースのNN、注意ベースのNN、畳み込みNN、進化型NN、セルラNN、モジューNN、リカレントホップフィールドネットワーク、リカレントNN、RNN、デュアルパスRNN、DPRNN、DPRNN(x2)、DPRNN(x4)、DPRNN(x8)、時間遅延NN、長期記憶(LSTM)を伴うNN、双方向短期記憶(BLSTM)を伴うNN、ブロック内のNN、ブロック間のNN、完全に接続されたNN、逆伝搬を伴うNN、ディープニューラルネットワーク、又は深層学習ネットワーク。
項E10.項E4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の逆変換は、第1の変換の逆、転置畳み込み演算のうちの少なくとも1つを含み、後処理は、連結、オーバラップ加算(OLA)、同期型オーバラップ加算(SOLA)、オーバラップ保存、オーバラップ・ディスカード、オーバラップ・スクラップのうちの少なくとも1つを含む。
項E11.項E4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1のベースバンドステージ1フィルタを使用して第1のベースバンドミクスチャ信号をフィルタリングすることで、第1の変換領域において第1の中間信号を生成することと、第2のベースバンドステージ1フィルタを使用して、第2のベースバンド無線導出信号をフィルタリングすることで、第2の変換領域において第2の中間信号を生成することであって、ベースバンド無線導出信号は、無線特徴に基づいて無線信号から導出される、ことと、ステージ2フィルタを使用して、第1の中間信号と第2の中間信号との合成をフィルタリングすることで、ステージ3フィルタの第4の変換領域フィルタを構築することと、ステージ3フィルタを使用して、変換されたベースバンドミクスチャ信号をフィルタリングすることで、第1のソース信号の推定である第1の出力信号を取得することであって、変換されたベースバンドミクスチャ信号は、第1の前処理を使用して、ベースバンドミクスチャ信号を前処理し、その後、第1の信号領域から第1の変換領域に変換することによって取得される、ことと、を更に含む。
項E12.項E1、2、4又は11の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、別の信号は、第2のソース信号と更に別の信号とのミクスチャを含み、無線信号の無線特徴に基づいて、ベースバンドミクスチャ信号のための第2の適応フィルタを構築することと、第2のソース信号の推定である第2の出力信号をうるために、第2の適応フィルタを用いてベースバンドミクスチャ信号をフィルタリングすることとを更に含む。
項E13.項E12の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1のベースバンドステージ1フィルタ、第2のベースバンドステージ1フィルタ、別のステージ2フィルタ、及び別のステージ3フィルタに基づいて、第2の適応フィルタを構築することを更に含む。
項E14.項E13の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、別のステージ2フィルタは、ステージ1フィルタの出力に基づく別の第3の前処理と、第3の領域における別の第3の変換領域フィルタとを含み、別のステージ3フィルタは、別の第3の変換領域フィルタの出力に基づく第1の変換領域における別の第4の変換領域フィルタと、第1の変換領域から第1の信号領域への第1の逆変換と、第1の信号領域における後処理とを含む。
項E15.項E14の無線支援信号処理システムの方法/デバイス/システム/ソフトウェア第2のベースバンドステージ1フィルタを用いて第2の信号領域内の別のベースバンド無線導出信号をフィルタリングして第2の変換領域内の別の第2の中間信号を生成することであって、別のベースバンド無線導出信号は、無線特徴に基づいて無線信号から導出される、ことと、別のステージ2フィルタを用いて第1の中間信号と別のステージ2の中間信号との合成をフィルタリングすることで、別のステージ3フィルタの別の第4の変換領域フィルタを構築することと、別のステージ3フィルタを用いて変換されたベースバンドミクスチャ信号をフィルタリングすることで、第2のソース信号の推定値である第2の出力信号を取得することと、を更に含む。
項E16.項E15の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の中間信号と、第2の中間信号と、別の第2の中間信号との合成を、別のステージ2フィルタを使用してフィルタリングすることで、ステージ3フィルタの第4の変換領域フィルタと、別のステージ3フィルタの別の第4の変換領域フィルタとを構築構成することを更に含む。
項E17.項E11の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、プロセッサと、メモリと、命令のセットとを使用して、受信された無線信号に基づいて、無線マルチパスチャネルのある個数の時系列のチャネル情報(TSCI)である無線特徴を取得することであって、各TSCIは、タイプ1デバイスのTxアンテナ及びタイプ2デバイスのRxアンテナと関連付けられ、無線信号は、各チャネル情報(CI)が対応するサウンディング信号と関連付けられるように、サウンディング信号の系列を含み、各CIは、チャネル状態情報(CSI)、チャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、又は受信信号強度インデックス(RSSI)のうちの少なくとも1つを含むる、ことと、上記個数のTSCIに基づいて、無線信号からベースバンド無線導出信号を導出することと、を更に含む。
項E18.項E17の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、上記個数のTSCIに基づいてビームフォーミングを実行することと、物体のロケーションを検出することであって、ロケーションは、レンジ及び方向と関連付けられる、ことと、方向と関連付けられる特定のビームフォーミングされたTSCIを決定することと、レンジと関連付けられる特定のビームフォーミングされたTSCIの各CIの特定のタブを決定することと、特定のビームフォーミングされたTSCIの各CIの特定のタブに基づいて、無線信号からベースバンド無線導出信号を導出することと、を更に含む。
項E19.項E18の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、別の信号は、ベニュー内の別の物体に関連する第2のソース信号と、更に別の信号とのミクスチャを含み、別の物体の別のロケーションを検出することであって、別のロケーションは、別の範囲及び/又は別の方向に関連する、ことと、別の方向に関連する別の特定のビームフォーミングされたTSCIを決定することと、別のレンジに関連する別の特定のビームフォーミングされたTSCIの各CIの別の特定のタブを決定することと、別の特定のビームフォーミングされたTSCIの各CIの別の特定のタブに基づいて、無線信号から別のベースバンド無線導出信号を導出することと、別のベースバンド無線導出信号に基づいて、ベースバンドミクスチャ信号のための第2の適応フィルタを構築することと、第2のソース信号の推定である第2の出力信号を取得するために、第2の適応フィルタを使用してベースバンドミクスチャ信号をフィルタリングすることと、を更に含む。
項E20.項E1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の前処理を使用して、ベースバンドミクスチャ信号を第1の信号領域において前処理することと、ベースバンドミクスチャ信号を第1の信号領域から第1の変換領域に変換して、第1の変換を使用して、変換されたベースバンドミクスチャ信号を取得することと、第1の変換領域における変換されたベースバンドミクスチャ信号をフィルタリングして、第1の変換領域フィルタを使用して、第1の中間信号を取得することと、第2の前処理を使用して、第2の信号領域におけるベースバンド無線導出信号を前処理することであって、ベースバンド無線導出信号は無線特徴に基づいて、無線信号から導出される、ことと、第2の信号領域からのベースバンド無線導出信号を第2の変換領域に変換して、第2の変換を使用して、変換されたベースバンド無線導出信号を取得することと、第2の変換領域における変換されたベースバンド無線導出信号をフィルタリングして、第2の変換領域フィルタを使用して、第2の中間信号を取得することと、変換されたベースバンドミクスチャ信号を前処理することと、第3の前処理を使用して、第3の変換領域内の融合信号を取得するために、変換されたベースバンド無線導出信号を取得することと、第3の変換領域フィルタを使用して、第3の領域内の融合信号をフィルタリングして、第3の変換領域フィルタを使用して、第4の変換領域内の変換されたベースバンドミクスチャ信号をフィルタリングして、第4の変換領域フィルタを使用して、フィルタリングされて変換されたベースバンドミクスチャ信号を取得することと、フィルタリングされて変換されたベースバンドミクスチャ信号を、第1の変換の逆を使用して、第1の変換領域から第1の信号領域に変換して、第1のソース信号の推定である第1の出力信号を取得することと、第1の出力信号を後処理することと、を更に含む。
項E21.項E4の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の信号領域は、第1のサンプリングレートに関連する時間領域であり、第2の信号領域は、第2のサンプリングレートに関連する時間領域である。
項E22.項E1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、無線信号は、10GHzよりも大きいキャリア周波数を有する無線信号、ミリ波無線信号、200MHzよりも大きい帯域幅を有する無線信号、WLAN信号、WiFi信号、無線通信信号、超広帯域(UWB)無線信号、レーダ信号のうちの少なくとも1つである。
項E23.第1の物体は、第1の人間であり、第1のソース信号は、音、対話信号、音声信号、歌唱音、活動音、音楽音、楽器音、人工音、機械音、機械音、再生音、スピーカ音、合成音、オーディオ信号、視覚信号、光強度信号、画像、ビデオ、撮像、マイクロフォンに基づいてキャプチャされたベースバンド音信号、カメラセンサに基づいてキャプチャされた視覚信号、撮像センサに基づいてキャプチャされた撮像信号、又はセンサに基づいて取得されたベースバンドセンシング信号のうちの少なくとも1つを含む。
項E24.項E1の無線支援信号処理システムの方法/装置/システム/ソフトウェアであって、別の信号は、バックグラウンド雑音、複数の信号の混合、家庭音、機械音、デバイス音、機械音、機械音、電気掃除機音、ファン音、ヒーター音、空調音、テレビ音、ラジオ音、オーディオ、スピーカ音、再生バック音、楽音、環境音、空気音、風通し音、木音、窓音、ドア音、人間活動音、調理音、作業音、再生音、ツール音、玩具音、人間チャタリング、笑い、第2の物体によって生成されたベースバンド信号。第2の人間の第2の動きと関連付けられたベースバンド音信号、のうちの少なくとも1つを含む。
項E25.項E1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、物体と関連付けられたタスクのために第1の出力信号を処理することを更に含む。
項E26.項E1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、無線信号は、タイプ2デバイスの無線受信機を用いて取得され、ベースバンドミクスチャ信号は、無線受信機とは異なる種類のセンサを用いて取得される。
項E27.項E1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、無線信号は、タイプ2デバイスの無線受信機を用いて取得され、ベースバンドミクスチャ信号は、無線受信機ではないセンサを用いて取得される。
項E28.項E1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、無線信号は、タイプ2デバイスの無線受信機を使用して取得され、ベースバンドミクスチャ信号は、無線コンポーネントを含まないセンサを使用して取得される。
項E29.項E1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、ベースバンドミクスチャ信号は、ベースバンドセンサを使用して取得され、無線信号は、ベースバンドセンサとは異なる種類のセンサを使用して取得される。
項E30.項E1の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、ベースバンドミクスチャ信号は、ベースバンドセンサを使用して取得され、無線信号は、ベースバンドセンサではないセンサを使用して取得される。
項E31.項E26から30の無線支援信号処理システムの方法/デバイス/システム/ソフトウェアであって、第1の適応フィルタは、無線信号とベースバンドミクスチャ信号とのマルチモーダル融合を含む。
例えば、ヒューマンマシンインタラクションシステムの音声インタフェースにおけるロバスト音声アクティビティ検出(VAD)システムは送信及び処理の前に、無音及び無関係の音声セグメントの除去を可能にし、したがって、演算の複雑さ及び電力消費を低減するのに役立つ。高性能VADは特に、会議や会議通話等で音声が別の人間のパーティに送信されるときに、多くのユースケースを有する。騒々しく、干渉を受けやすい環境(例えば、複数の近くの人々がいる開いた作業空間にいる人々)の会議参加者は、干渉が相手側で聞くパーティーに不快感を作り出すので、マイクロフォンのオン/オフを手動で切り替える必要があることが多い。運転中の遠隔会議等の困難な環境では、スピーカが一般に、通常は違法で危険な物理的相互作用(例えば、タッチ又はジェスチャ)によってデバイスを中断する必要がある。スマートフォンアシスタント及びハンズフリーシステムは音声データがすでにアクティブであり、送信されているので、そのようなシナリオにも適用可能ではない。言い換えれば、ユーザは、マイクロフォンが他方のリスニングパーティに音声コマンドを能動的に送信しているので、スマートスピーカにマイクロフォンをオフにするように要求することができない。異なるシナリオでは、スマートフォンスピーカが特定のユーザによってのみアクティブ化される必要があり、他の干渉スピーカが存在するときに非アクティブ化されたままであることがある。例えば、オープンスペース環境では、特定のユーザのスマートフォンスピーカが他のデスク内のユーザによって起動されうる。更に、部屋内に複数のスマートフォンアシスタントがある場合、例えば、複数のスマートフォンアシスタントが同時にトリガするのを防ぐために、部屋の異なるエリアを特定のスマートフォンデバイスに割り当てることができる。空間センシング能力を有する自動化された高性能VADシステムはユーザインタラクションの必要性を最小限にし、音声通話の品質を著しく改善するので、これらの実用的なシナリオに非常に大きな利点をもたらす。
実際のシナリオに理想的なVADは、以下の特性を有するべきである。第1に、VADシステムは、干渉及び雑音に対してロバストであるべきである。前述のように、理想的なVADシステムは、任意のバックグラウンド雑音及び干渉信号に対してロバストであるべきである。システムは実用的なシステムとなるために、任意の信号と戦うことができるべきである。第2に、VADシステムは、低い演算量を有するべきである。VADシステムは、通常、バックグラウンドで(ホットワード検出を用いて、又は用いずに)連続的に動作するので、演算効率が高く、低電力消費を有する必要がある。第3に、VADシステムは、低い検出遅延を有するべきである。実用的なアプリケーションを可能にするために、理想的なVADは、最小限の処理遅延で応答性であるべきである。第4に、目標話者に焦点を合わせるために、理想的なVADシステムは、所望のユーザの音声アクティビティを選択的に抽出することができなければならない。
これらの能力を有する次世代VADシステムは、irVADと呼ばれることがあり、ここで、その名称は、干渉及び雑音耐性音声アクティビティ検出システムを表す。irVADを開発するために、マイクロフォンは本質的に干渉を受けやすいので、システムはソースに関する補助情報を使用する必要がある。irVADはこれらが演算上複雑なタスクであり、複数のソースがある場合、特定のソースについての追加の情報を提供しないので、通常、雑音及び干渉除去を用いて実装することはできない。スピーカ条件付き音声アクティビティ検出は、特定のスピーカの発話に基づいてのみトリガされる。しかし、これは先験的なデータの収集を必要とする。システムはユーザの身体的特徴に関する発話を調整することができ、例えば、ユーザのビデオを使用して、音声アクティビティを選択的に検出しうる。しかし、この方法は、特にユーザがフェイスマスクを着用しているときには利用できないことがある、唇の動きに依存する。更に、これは、完全な照明条件を必要とし、潜在的にプライバシーの懸念を引き起こす可能性がある。
本教示は、マイクロフォン、無線又はレーダ信号、例えばミリ波信号を越えて第2のモダリティを探索することによるirVADシステムを開示した。ミリ波を使う動機は複数ある。第1に、周囲の音を捕捉するマイクロフォンとは異なり、ミリ波レーダは、それらの距離及び角度に関して環境内のソースを分離しうる。第2に、ミリ波信号を使用して、音声のサイドチャネル、声帯の振動を遠隔で測定しうる。第3に、ミリ波信号は広い帯域幅及び高周波数を有し、これは、振動源の正確な位置特定を可能にし、したがって空間センシングを可能にする。第4に、ミリ波レーダはジェスチャ認識、呼吸及び睡眠モニタリング等の多くの興味深いセンシングアプリケーションを実行するために、いくつかのスマートデバイスにすでに存在し、演算効率がよい(モバイル端末内に展開可能である)。
ミリ波ベースのセンシングを用いて、システムは高精度で(声帯ひだからの)振動源を位置特定し、この情報を使用して、干渉弾性法としてVADを抽出しうる。声帯は有声音声のための励振信号を生成するので、それは個々の音声アクティビティの良好な指標である。超音波、WiFi、及び超広帯域等の他のモダリティとは対照的に、ミリ波は、高精度でソースを分離しうる。それらは、カメラほどプライバシーの懸念を引き起こさない。ライダや赤外線とは異なり、多くのデバイスに存在するため、ミリ波はirVADの理想的な候補となる。
ミリ波ベースの音声アクティビティ検出システムはソース固有のVAD方法によってirVADを構築するために、上述の問題を緩和しうる。振動源がレーダの前にあると仮定すると(おそらく、車の運転席のような特定の位置の有無にかかわらず)、ミリ波ベースのシステムは話者の音声アクティビティを抽出し、マイクロフォンを自動的に制御しうる。以下の教示はirVADのための無線ベースのVADシステムを開示し、複数のサイレントデータセットを構築し、音声データセットを使用することによってそれを評価することによって、ミリ波センシングを介したVADのための無線モダリティの有用性を例示する。結果はオーディオベースの方法との広範な比較を提供するために、制約されていない設定において物理的に異なる位置を有する異なる領域において評価される。
いくつかの実施形態では、設計上の考慮事項のために、VADは入力としての時系列データに基づくバイナリ分類タスクである。入力は通常、短い持続時間(例えば、32ms)を有するウィンドウとみなされ、潜在的に重複するウィンドウについて集約決定が行われる。自動VADは、追加のユーザ入力及び最小限の制約なしで、特定のユーザの音声の存在を検出することができなければならない。ユーザ入力を最小化することは、訓練を必要とする事前のユーザデータを仮定する可能性を排除する。したがって、話者の埋め込みデータ又は顔データに依存する話者条件付きVADシステムは、ソリューションとはならない。別の潜在的な補助情報はソース位置であり、システムは、特定の方向に従って起動しうる。マイクロフォンアレイはビームフォーミングの助けを借りて、それらの入射角に従ってソースをフィルタリングすることを可能にするが、それらはバックグラウンドユーザによって近くのターゲットユーザを区別することができない。更に、ビームフォーミングは、雑音の多い又は残響のある状態では容易に失敗する可能性がある。したがって、開示されたシステムは、ビームフォーミングのみに依存しない方がよい。VADをソース振動に制約するためにはソースの距離(レンジ)と入射角(方位角)を高精度で捕捉することが必要であり、これはオーディオシステム単独では更なる仮定なしでは不可能である。これらに加えて、VADシステムは、通常、多くの用途のための前処理ブロックであるので、ロバストで、演算効率が良く、リアルタイムで、応答性があることが要求される。
ミリ波ベースのシステムが上述の制限をどのように解決しうるかを説明する前に、図53A~図53Cは無線ベースのVADの実現可能性及び可能性を示し、ここでは、20秒の長いオーディオ信号及び無線信号が環境から捕捉され、いくつかのバックグラウンド雑音が外部スピーカによって再生され、その後、ターゲット及び干渉スピーカがそれぞれ再生される。
図53Aは、雑音(0~6s)、ターゲットスピーカ(6s~15s)、及び干渉(15s~20s)を有するマイクロフォンスペクトログラムを示す。図53Aに示されるように、単一のマイクロフォンは、異なるソースを分離しうることなく、周囲信号を捕捉する。
図53Bは、ターゲット音声中のみの活動を示すレーダスペクトログラムを示す。図53Bでは、無線スペクトログラムが特定のユーザからの振動のみを含み、バックグラウンド雑音又は干渉の影響を受けない。
図53Cは、トレーニングされたオーディオVAD、基準オーディオVAD(Silero-VAD)、及び開示された無線ベースのVADからの検出結果を更に表示する。図53Cに示されるように、2つのオーディオVADシステムのみが誤警報を有するが、開示される無線ベースのシステムは誤警報をトリガしない。即ち、2つのオーディオVADシステムは、干渉があるときにトリガされ、一方、無線ベースのシステムは干渉に対してロバストであり、ターゲットユーザによってのみトリガされうる。したがって、無線ベースの検出は、同時通話があるときでさえ、正しい決定を保存しうる。
本教示のいくつかの実施形態では、VADシステムがマイクロフォン及びミリ波レーダを有するスマートデバイスを含む。ターゲットスピーカがレーダーの視野(FoV)にあると仮定しうる。図54はVADシステム5400の設計を示し、これは、無線モダリティを通じてターゲットユーザ(例えば、ターゲットスピーカ)の活動を検出し、更なる処理のためにマイクロフォンをアクティブ化するマルチセンサデバイス5410(無線及びマイクロフォン)を含む。それは、他の雑音源及び干渉源(例えば、干渉スピーカ)に対してロバストである。
図54に示すように、VADシステム5400における音声アクティビティ検出は無線ベースのVAD5420のみに依存し、これは、(潜在的に他のセンシングアプリケーションとともに)バックグラウンドで連続的に動作し、VAD後の更なる処理のためにマイクロフォン記録5430をトリガする。これらの更なるタスクは音声認識、音声-テキスト変換、及びスピーカエンハンスメントを含むことができ、これらの全ては、ロバストなVADから利益を得られ、このシステムの自然な拡張である。
irVADを達成するために、無線ベースのVAD 5420は2つの主要モジュール、即ち、ソース振動上のスピーカ調整を保証しうる特徴抽出モジュールと、リアルタイムで低演算量の要件を満たすように設計された、VADタスクのためのニューラルネットワークモジュールとを含みうる。
本教示のいくつかの実施形態では、開示された無線ベースのVAD(RadioVAD)がRadioSESと同様に、複素数値時系列データである生レーダ信号に依存する。ビームフォーミング及び周波数変調搬送波(FMCW)技法に基づいて、レーダはいくつかの粒度(即ち、距離分解能)に基づいて各距離(即ち、距離ビン)から、及びアンテナアレイに応じた分解能を有する異なる角度(即ち、方位角ビン)から、時系列データを抽出しうる。レーダ信号のレンジ-方位面は、適切なレーダ処理動作を通じて利用可能であると仮定しうる。
レンジ-方位角データに基づいて、システムは、候補レンジ-方位角ビンのソース検出及び位置特定を実行しうる。その限りにおいて、システムは呼吸によって引き起こされる体動のために存在の良好な指標であり、位置特定のためにバイタルサインモニタリング文献において広く使用される、デバイスに最も近いユーザを見つけるために、分散ベースの検出スキームを使用しうる。いくつかの実施形態では、時系列データが人間の胸部及び咽喉から抽出される。
システムの性能は、図55に示されるニューラルネットワーク(NN)を使用して評価しうる。RadioSESに基づいてRadioVADのためのニューラルネットワークの構造を選択しうる。例えば、RadioSESでは、わずかな変更で同じNNを使用しうる。いくつかの実施形態において、NNの構造は以下の通りである。最初に、入力ラジオ(及びオーディオ)信号の時間-周波数表現が、1D畳み込みレイヤを用いて得られる。オーバラップ連結(overlap-and-concatenate)演算を介して、入力の4D表現を得ることができる。次いで、4D構造は、BiLSTM、完全接続レイヤ、及び正規化レイヤを通過する。時間後に、LSTM、完全接続レイヤ、及び正規化レイヤの別のセットが続き、同じ構造が4回繰り返される。これらのレイヤは全て、入力の次元数を保持する。出力は、完全接続レイヤ及びオーバラップ加算メソッドを介して、入力データの次元に一致するように再形成される。最後に、出力は、平均化によってVADサンプリングレートにダウンサンプリングされる。
オーディオのみのベースラインと提案されたシステムとの間で、同じNNを使用して、実現可能性を例示するための様々なデータセットと比較しうる。オーディオオンリーシステムを使用する場合、入力のサンプリングレートは8時間に増加し、これはモデルサイズ及び演算の複雑さを増加させる。したがって、オーディオモデルとラジオモデルが同じ性能に一致する場合でも、無線ベースのシステムはより低いサンプリングレートのために、8倍低い演算量を有する。比較の観点から、開示された無線ベースのニューラルネットワークは25.8kのパラメータを含み、これは非常にコンパクトである。対照的に、オーディオのみのベースラインは、8kHzのサンプリングレートで、360kのパラメータを含んだ。したがって、無線モダリティを用いてオーディオベースラインと同様の性能を達成することは、演算効率の良い方法を示し、無線モダリティの大いなる見込みを示す。
マルチモーダルシステムを調査して、システムの性能を更に改善し、RadioVADの利点を示すことができる。いくつかの実施形態では、RadioSESで説明されたデータセットを使用し、これは5700文からの19人のユーザの共同オーディオ及びレーダ記録を有する、ほとんど有声オーディオ及びラジオファイルを含む。このデータセットは、音声中に自然に移動することを許可された静的ユーザを含むだけで、それほど多くは含まないため、VADの性能を評価することは十分ではない。更に、それはまた、データが文の始まり及び終わりに関して切り取られたので、無音のオーディオ及びレーダー記録を欠いている。
これらの制限を克服するために、システムは、実験エリア内の11人の参加者から追加のデータを収集しうる。いくつかの実施形態では、ユーザがレーダから約0.5m離れた指定エリアに座るように求められる。ユーザは静かなままであることを除いて、どのように動作するかについての更なる指示なしに、環境内で自由に動作する。それらの作業ルーチンは別個のラップトップを使用すること、及び提供されたモニタリング、紙文書からの読み取り/書き込み、携帯電話のチェック、及びキーボード上での入力を含んだ。各ユーザは、所与の場所で1時間作業するように求められた。データキャプチャからオーバヘッドを差し引いた後、各ユーザからのデータは約35分になり、合計データは約6時間になった。更に、システムはロバスト性を改善するために、他の場所で追加のレーダ及びオーディオデータを収集している。1つのデータセットはシステムの更なる一般化可能性をテストするために、30分の新しい位置データを含む。これらに加えて、システムは、より困難なシナリオでデータを更に収集する。これらの困難なシナリオのいくつかは、駆動し、デバイスを意図的に動かし、口で他の動き、例えば、ウィスパリング又はガミングを行うことである。
基準ラベルを生成するために、システムはオーディオファイルをクリーニングするために、高性能の既製のVADを使用しうる。いくつかの実施形態では、システムが32msの長さの決定ウィンドウを有するSilero VADから生の検出決定を抽出し、0.25sの最小音声持続時間及び0.1sの最小無音持続時間を設定することによって決定を平滑化しうる。システムは開始閾値及びオフセット閾値を0.5及び0.35に設定し、データを因果的に処理しうる。静音データセットでは、ユーザが静音であることを求められるので、全ての基準ラベルをゼロにセットしうる。バックグラウンド雑音を用いてオーディオオンリーシステムをトレーニングするために、RadioSESと同じ音声強調データセットが作成される。雑音ファイルとクリーンオーディオファイルの両方を雑音と共に破損させることにより、NNは異なるシナリオで環境を区別することを容易に学習しうるので、システムは過度に適合する問題を軽減しうる。
無線(ラジオ)処理の場合、システムは、複素値信号のハイパスフィルタリング及びランダム位相回転等の様々な前処理方法を使用しうる。決定ウィンドウは32msの長さであるが、システムはコンテキスト情報を活用するためにより長い持続時間のサンプルを使用しうる。
いくつかの実施形態では、トレーニングプロシージャが基準値と推定値との間の修正されたF1スコア(F
β)ロスを使用しうる。F
β スコアは修正されたF1スコアであり、精度のコストとリコール率とのバランスをとるために使用され、以下のように与えられる:
ここで、TP、FN、FPはそれぞれ真陽性、偽陰性、偽陽性率を示す。
トレーニングのために、システムは、両方のデータセットのためのトレーニング及びテストセットにおいて異なるユーザを利用しうる。性能メトリックは一般化性能をより良く理解するために、トレーニング・セット(閉状態)内のユーザに提供される。F1スコアは総計メトリックであるので、実験において追加の評価メトリックを提供することもできる。
いくつかの実施形態では、NNモデル及びトレーニングプロセスがPyTorchにおいて実装される。RadioVADの性能は、様々な測定基準及び実験に関して、異なるシナリオで評価しうる。RadioVADの全体的な性能は、様々な毎日のシナリオにおける誤警報の評価と共に提示される。2つのモダリティとマルチモーダルシステムの比較を用いて、運動干渉と様々な雑音源の影響を調べることができる。
いくつかの実施形態では、正確度、精度、リコール、F1スコア、及び曲線下面積(AUC)等のメトリックに関する性能を評価しうる。これらのメトリックのいくつかは、以下のように与えられる:
いくつかの実施形態では、距離、配向、閉塞、及び任意の動き等の様々な環境ファクタに関して性能を更に評価しうる。更に、検出遅延等の重要なメトリックを提供し、ユーザダイバーシティの影響を調査しうる。
性能メトリックは、それぞれ図56A及び図56Bの2つのテストケースで提示される。開示されたRadioVAD、Audio-VADベースラインに加えて、別のベースラインを提供するために、この設定で既製のVAD検出器Silero VADを使用することもできる。Silero VADはより大きなデータセットでトレーニングされるが、オーディオベースラインは単一の(又はいくつかの場所の) データでトレーニングされ、バックグラウンドにいくつかのオーバーフィッティングの問題がある場合がある。
図56AはテストセットI(閉状態を見たユーザを伴う)における、Audio VAD及びSileroとのRadioVADの性能比較を示す。図56BはテストセットII(開状態を見ていないユーザを伴う)における、Audio VAD及びSileroとのRadioVADの性能比較を示す。テストセットIではトレーニング中に使用されるユーザからの見えないテキストを評価しうるが、テストセットIIは見えないユーザのみを構成する。第1に、レーダが二次情報を捕捉しても、それは、テストセットIにおいて、正確さ及びF1スコアに関して、オーディオオンリー方法の性能に依然として一致しうることを観察しうる。テストセットIIにおいて、提案されたシステムはオーディオVADよりも性能が優れており、無線ベースのシステムの有望性を示している。加えて、RadioVADはSilero VADよりもはるかに高い性能を提供し、オーディオベースラインと非常に類似した性能を与える。オーディオ・トレーニング・パイプラインは特定のデータセットからの雑音ファイルのみを含み、その性能は、より幅広い種類の雑音ファイルで低下する可能性がある。RadioVAD とSilero VADの間の性能ギャップは明確である。更に、RadioVADは、無線ベースのVAD方法の一般化能力のインジケータで見えない条件においてオーディオベースラインよりも性能が優れていることを観察しうる。要約すると、サイドチャネル情報を使用して、ミリ波ベースのシステムはマイクロフォンベースのシステムの性能に一致し、それを上回ることができる。
また、どのような条件で、RadioVADがオーディオベースのシステムよりも良好であるかを調査し、焦点を検出遅延に変更しうる。高性能VADシステムの場合、検出遅延は、オーディオ信号の捕捉をトリガするので、最も重要である。RadioVADの検出の85%以上は64ms未満の遅延を有し、検出遅延の中央値は0msである。更に、RadioVADはSilero VADよりも優れており、ほとんどの時間にわたってオーディオベースラインの性能に一致する。
また、様々な動作タイプの間に、RadioVADの誤警報率をテストするための追加の実験を行うこともできる。運動に対するロバスト性を更に検証するために、試験者が食事、飲酒、ガミング、又は無音の発話をしているときに実験を行うことができる。実験は誤警報率が低い(3%未満)ことを示し、一方、食事及び無音の発話は、いくつかの誤警報を導入しうる。RadioVADはある程度唇の動きを使用することができ、これらの動きのうちのいくつかは、口の開放(例えば、無音の発話又は食事)に起因する誤った警報をトリガすることを含む。いくつかの実施形態では、RadioVADの全体的な誤警報傾向がSilero VADのものと同等である。
無線信号は環境内の物体の動き(即ち、変位量)を捕捉するので、それらは、デバイスとソースとの間の相対的な動きによっても影響を受ける。動作シグネチャの効果をテストするために、試験者がデバイスを手に持って、デバイスを手に動かし、デバイスの前に紙を持って、手のジェスチャで話し、体を動かし、話すときにフェイスマスクを着用しているときに、実験を行うことができる。実験はソース又はターゲットの動きが、RadioVADの性能に最小限の影響を与えることを示している。
また、無線信号に対する信号対雑音比の影響を調査して、距離及び雑音ロバスト性の観点からRadioVADをより良く理解しうる。評価は、推定された無線SNRに関して性能メトリックを検査することによって実行されうる。評価は、RadioVADの性能がより高い無線SNR値とともに増加することを示す。いくつかの実施形態では、無線SNRが約8dBよりも高いとき、RadioVADは、オーディオベースのVADを上回り始める。更に、音声ベースの性能の性能と無線SNRとの間には弱い相関があり、これは発話強度を示すはずであるが、この関係は非常に小さい。無線SNRが約8dBよりも大きいとき、RadioVADはその前述の演算上の利点と共に、オーディオVADよりも良好に機能する。オーディオ信号の基礎となるデータセットがより多くの雑音を有する場合、RadioVADは、より低い無線SNRポイントにおいてより好ましい。
更に、複数の環境ファクタに関するRadioVADの性能を評価しうる。これらには、距離、向き、及び顔の向きの変化に対してシステムをテストすることが含まれる。また、様々な距離におけるRadioVADの性能を評価することもできる。いくつかの実施形態では、RadioVADが75cm前にその性能を維持しうる。
環境内の人体の向きを用いて実験を行うことができる。RadioVADは、様々な角度で同様に機能する。広い視野を有することは重要であり、RadioVADは、著しい性能低下なしに45度の角度で動作しうる。
実際のシナリオでは、ユーザが必ずしも無線デバイスを見るとは限らず、見回すために自分の頭を回転させてもよい。一例として、自動車の運転者は潜在的にミラーをチェックすることができ、又はユーザは、画面を見回して異なる材料を見ることができる。したがって、ヘッドの回転に対してRadioVADをテストしうる。いくつかの実施形態では、30度未満の小さいヘッド回転が高性能VADを可能にするRadioVADの性能に影響を与えない。
RadioVADの自然な拡張は、オーディオ無線フレームワークによって、2つのモダリティを使用している。そのようなシステムの性能を探索するために、同じニューラルネットワークモデルを使用しうるが、エンコーダレイヤの後に無線チャネルとオーディオチャネルを連結しうる。出力において、出力方向性をマッピングして、入力オーディオストリームの次元性に一致させ、それに応じて信号をデコードしうる。図57には、図57がラジオとオーディオの両方の2つの入力を有することを除いて、図55のNNと同様の構造を有する高レベル処理の概要が示されている。
この設定では、マルチモーダルシステムの性能メトリックを提供し、提案されたシステムと比較しうる。オーディオ無線モデルは、正確度、精度、リコール、及びF1スコアを更に改善する。様々なSNRレベルでオーディオ信号が破損すると、RadioVADの性能はオーディオベースラインの性能と一致し、他のケース(例えば、Silero VAD)ではそれらを上回る。この現象をより良く理解するために、オーディオ信号に対して予め定義されたSNR値を使用し、性能メトリックを抽出しうる。いくつかの実施形態では、-10dB~+10dBのオーディオSNRを使用し、オーディオベースライン及びSilero VADを実行しうる。全ての場合において、RadioVADはオーディオSNRが0dB以下であるとき、両方のオーディオベースのアプローチよりも良好に機能する。一方、リコールレート、及びf1スコアは5dBでオーディオベースラインのものと一致し、精度は10dBで同等である。その結果、オーディオSNRが5dBよりも低いときはいつでも、無線ベースのVADシステムを使用することがより有利になる。これは、無線信号SNR分布がデータセットにおけるものと同じであり、マッチングポイントが更に高くなりうることを仮定している。例えば、より高いSNRのラジオは、10dB以上のオーディオSNRの性能に適合しうる。
本教示は、音源振動に焦点を合わせることができるミリ波ベースの干渉弾性音声アクティビティ検出器でRadioVADを探索する。ミリ波ベースのセンシングの空間分離能力に基づいて、他の音源からの干渉に対してロバストな音声アクティビティ検出器を構築しうる。広範な実験は、低い演算複雑性、プライバシー保護、及びオクルージョン耐性等のミリ波の固有の利点を有する、音声アクティビティ検出のためのミリ波を使用する大きな可能性を示している。RadioVADは干渉源に著しく対抗することができ、マイクロフォンベースのVADの性能に一致しうる。
図58は、本開示のいくつかの実施形態による、無線ベースの音声アクティビティ検出のための例示的な方法5800のフローチャートを示す。様々な実施形態では、方法5800が上記で開示したシステムによって実行しうる。動作5802において、無線信号が取得される。無線は、ベニューの無線チャネルを介して送信機から受信機に送信される。無線チャネルは、ベニュー内のターゲット音声ソースの音声アクティビティによる影響を受ける。動作5804において、無線信号に基づいて、無線チャネルの時系列のチャネル情報(CI)が演算される。動作5806において、無線信号以外の信号を使用することなく、無線チャネルのCIの時系列に基づいて、ターゲット音声ソースの音声アクティビティが検出される。図58の動作の順序は、本教示の様々な実施形態に従って変更されうる。
いくつかの実施形態では、本教示が無線ベースの音声アクティビティ検出(VAD)のためのシステムを開示する。システムは送信機から送信され、受信機によって受信された無線信号(例えば、WiFi信号、ミリ波、28GHz又は60GHz、又はレーダ信号、又はUWB信号)から取得されたチャネル情報(CI)を使用して、ターゲット(又は「選択された」)ユーザの音声アクティビティを(選択的に)検出し、音声入力を使用せずに(即ち、マイクロフォン入力なしに)、1人又は複数の非ターゲットユーザの音声アクティビティの存在下でさえ、ベニューにおいて「RadioVAD」(無線ベースのVAD)と呼ばれるバイナリVAD出力を出力しうる。RadioVADに基づいて、ユーザインタフェースをアクティブ化すること、音声インタフェースをアクティブ化/非アクティブ化すること、音声入力のオン/オフを切り替えること、マイクロフォンをミュート/ミュート解除すること、マイクロフォンを使用して音声をキャプチャすること、音声を記録すること、キャプチャされた音声を送信/非送信すること、キャプチャされた/記録された/送信された音声から無音及び/又は無関係の(例えば、他の非ターゲットユーザ)音声セグメントを除去すること、音声認識を実行すること、認識された音声に基づいて別のタスクを実行すること、発話認識を実行すること、認識された話者に基づいて別のタスクを実行すること等。
いくつかの実施形態では、チャネル情報(CI)が受信された無線信号から取得されたチャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、及び/又はチャネル状態情報(CSI)、RSSI等でありうる。無線信号は、ミリ波/UWB/レーダ信号であってもよい。送信機及び受信機は同じ場所に(例えば、同じデバイス上に、又はレーダの場合等、同じ回路基板上に)、又は異なる場所に配置されうる。
いくつかの実施形態では、送信機(Type1デバイス、TX)及び/又は受信機(Type2デバイス、RX)はそれぞれ、アンテナアレイ、又は分散アンテナを有しうる。各々が送信機から無線信号を受信する複数の受信機が存在しうる。各々がそれぞれ無線信号を受信機に送信する複数の送信機があってもよい。複数の送信機及び複数の受信機があってよく、各送信機は、1つ以上の受信機にそれぞれ無線信号を送信する。TX/RXデバイスは、レーダモードで動作しうる商品無線ネットワーク又は通信チップ/チップセットを有しうる。レーダモードは、追加のアンテナアレイをチップセットに取り付けることによって有効にしうる。チップ/チップセットを使用して、送信無線を使用して無線信号を送信し、受信無線を使用して反射された無線信号を受信しうる。チップは同時に、又は同時に送信/受信しうる。チップは「同時」送信/受信をシミュレート又は模倣するために、送信と受信との間で迅速に切り替えることができる。
いくつかの実施形態では、送信機及び受信機が同じベニュー(例えば、家、部屋、オフィス、歩道、共通エリア、又は施設)内にありうる。送信機は、受信機に物理的に隣接していても、受信機に隣接していても、受信機から距離を置いていてもよい。少なくとも1つの物体又は「ソース」物体(例えば、人、2人又は2人以上の人)がそれぞれのソース信号(例えば、各人からの音声又は音声信号、会話、歌唱、対話、一度の発話、同時の2人以上の人が会話)を生成するベニューに存在してもよい。混合信号が取得されてもよい(例えば、2人の同時対話/歌唱/発話/音声を含むマイクロフォンによって捕捉された音)。混合信号は少なくとも1つのソースからの信号の混合(例えば、和、加重和、積、加重積等)を含む。ソース信号は、バックグラウンド雑音の存在下で生成されうる。例えば、2人の人々は騒がしい環境、例えば、局、空港、又は家庭/オフィスで話すことができる。バックグラウンド雑音は、群衆音、機械音、モータ/エンジン音、掃除機/ファン/機械/冷蔵庫/ヒータ/空調機であってもよい。
いくつかの実施形態では、音声アクティビティ検出(VAD)の1つの目標が音声信号を使用することなく、無線(無線)信号のみを使用して音声の存在を検出すること(例えば、音声アクティビティを検出すること)である。干渉耐性VAD(irVAD)の目標は干渉(例えば、非ターゲットユーザの音声アクティビティ)及び雑音の存在下で、ターゲット音声(例えば、ターゲットユーザの音声アクティビティ)の存在を検出することである。いくつかの実施形態では、開示されるシステムがいかなるメディア入力(例えば、ビデオ、又は画像/ビジュアル、又はオーディオ若しくはスピーチ若しくはサウンドの入力)も、送信機(タイプ1デバイス)によって無線信号中で送信されるいかなるデータも使用することなく、無線信号に基づいて(例えば、受信された無線信号から取得されたCIに基づいて)音声アクティビティを検出しうる。
以下の番号付けされた項は、無線ベースの音声アクティビティ検出の実装例を提供する。
項F1.無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、プロセッサ、メモリ、及びシステムのデバイスの命令セットを使用して、いかなるメディア信号も使用することなく、無線信号に基づいて音声アクティビティを検出することを含む。無線信号は、タイプ1デバイスによって送信され、タイプ2デバイスによって受信されうる。TSCIは、受信された無線信号に基づいてタイプ2デバイスにおいて取得されうる。
項F2.F1の無線ベースの音声アクティビティ検出システムの方法/装置/システム/ソフトウェアであって、無線信号は、ベニュー内のシステムのタイプ1のヘテロジニアス無線デバイス送信される無線信号であり、無線信号は、当該ベニューの無線マルチパスチャネルを通じてシステムのタイプ2のヘテロジニアス無線デバイスによって受信され、無線マルチパスチャネルは、当該ベニュー内の音声アクティビティによる影響を受け、受信された無線信号に基づいて無線マルチパスチャネルの時系列のチャネル情報(CI)を取得し、無線マルチパスチャネルの時系列のCI(TSCI)に基づいて音声アクティビティを検出する。
項F3.項F2の無線ベース音声アクティビティ検出システムの方法/システム/ソフトウェアであって、
無線信号は、データ通信信号、無線ネットワーク信号、標準準拠信号、無線ローカルエリアネットワーク(WLAN)信号、WiFi信号、IEEE 802信号、IEEE 802.11信号、IEEE 802.11bf信号、IEEE 802指向性マルチギガビット(DMG:directional multi-gigabit)信号、無線通信ネットワーク信号、3GPP信号、4G/LTE/5G/6G/7G/8G信号、無線センシング信号、無線サウンディング信号、レーダ信号、ミリ波信号、UWB信号、又は40kHzを超える電磁信号のうちの少なくとも1つを含み、
メディア信号は、マイクロフォン信号、音声(speech)信号、音声(vocal)信号、オーディオ信号、40kHz未満の信号、音響信号、可聴信号、テレフォニー信号、電話会議信号、音声電話信号、会議呼信号、映像信号、ビデオ信号、ビデオ電話信号、ビデオ会議信号、メディアストリーミング信号、又はマルチメディア信号のうちの少なくとも1つを含む。
項F4.項F3の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、無線信号はデータ通信信号であり、データ通信信号において伝達されるデータペイロードを使用することなく音声アクティビティを検出することを含む。
項F5.項F4の無線ベース音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、データ通信信号において伝達されるメディア信号データを使用することなく音声アクティビティを検出することを含む。
項F6.項F5の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、ベニュー内のターゲット音声ソースの音声アクティビティを検出することを含み、無線マルチパスチャネルは、ターゲット音声ソースの音声生成動作による影響を受ける。
いくつかの実施形態では、音声関連無線機能(TSRF)は帯域制限される。電話音声信号は、帯域制限された4kHzでありうる。音声信号は、7kHzに帯域制限されうる。音声は、20kHzに帯域制限されうる。TSRFは、1/10/100/1000/10000/100000/1000000Hzの半分でありうるサウンディング周波数の半分に帯域制限されうる。ここで安全に再生するために、TSRFは、1MHzに帯域制限されうる。また、100kHz又は10kHzに帯域制限されてもよい。
項F7.項F6の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、TSCIに基づいて時系列の無線特徴(TSRF:time series of radio feature)を演算することであって、TSRFの各無線特徴(RF)は、TSCIの個別のスライディングウィンドウに基づいて演算され、TSRFは、1MHzに帯域制限されたベースバンド信号である、ことと、TSRFに基づいて音声アクティビティを検出することと、を含む。
いくつかの実施形態では、システムは、音声(voice/speech)の存在を示唆する音声関連特性(例えば、ピッチ、ピッチの高調波、ピッチの時間プロファイル)を検出することによって、音声アクティビティを検出しうる。
項F8.項F7の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、TSRFにおける音声関連特性を検出することと、TSRFにおける検出された音声関連特性に基づいて音声アクティビティを検出することと、を含む。
いくつかの実施形態では、TSRF(例えば、ピッチ、ピッチプロファイル、混合音声/無声音声等)において現れうる、本明細書に列挙される多くの音声関連特性がある。これらの音声特性は、音声と非音声(例えば、機械音、風音、環境音等)とを区別する。特に、有声音声(例えば、母音、一部の子音、液体等)はピッチを有する。無声音声(例えば、ほとんどの子音、摩擦音、破裂音)はピッチを有さない。母音は有声音である。一般的な人間のピッチは、50Hzから250Hzの間である。
項F9.項F8の方法/デバイス/システム/ソフトウェアであって、音声関連特性は、音声特徴、母音、子音、摩擦音、摩擦音、破裂音、鼻、近似音、液体、側方、双唇音、口蓋音、歯槽音、フォン、音素、有声音、無声音、有声音のピッチ、基礎無線、音声関連無線範囲、音声関連無線範囲、音声の少なくとも1つの高調波、音声の少なくとも1つのフォルマント、時変ピッチ、ピッチプロファイル、音声関連時間トレンドのピッチ、トーン、音のトーン、プロソディック特徴、断続的有声音及び無声音のシーケンス、音楽特徴、発話タイミング、発話ペーシング、音楽タイミング、音楽ペーシング、又は環境音、のうちの少なくとも1つの特性を更に含む。
いくつかの実施形態では、専用の音声関連特性:TSRFにおいて観測可能でありうる、現時点の瞬時ピッチ。
項F10.項F9の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、TSRFにおける現在の時間インスタンスに関連する瞬時ピッチを検出することであって、瞬時ピッチに関連する瞬時基本周波数は、下限閾値よりも大きく、上限閾値よりも小さい、ことと、検出された瞬時ピッチに基づいて音声アクティビティを検出することと、を更に含む。
人間の音声は多くの高調波を有することが多い。一部の高調波はTSRFにおいて観測可能でありうる。
項F11.項F10の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、TSRFにおける現在の時間インスタンスに関連する瞬時ピッチの少なくとも1つの瞬時高調波を検出することであって、それぞれの個別の高調波に関連する周波数は、瞬時ピッチの瞬時基本周波数の整数倍である、ことと、ピッチの検出された瞬時高調波に基づいて音声アクティビティを検出することと、を更に含む。
いくつかの実施形態では、瞬時ピッチを有することに加えて、人間の音声は時変ピッチを有する。人間の音声は、時変ピッチを使用して、トーン言語のトーン、発音、母音発音、子音発音等、多くのものを表現しうる。時変ピッチは、特定の時間ウィンドウ内のピッチを含む。
項F12.項F11の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、TSRFにおける複数の個別の時間インスタンスに関連する複数の瞬時ピッチを含むピッチプロファイルを検出することであって、個別の時間インスタンスに関連する各瞬時ピッチは、下側閾値よりも大きく、上部閾値よりも小さい個別の瞬時基本周波数に関連する、ことと、ピッチプロファイルにおける複数の瞬時ピッチの音声関連時間トレンドを検出することと、検出されたピッチプロファイルと瞬時ピッチの検出された音声関連時間トレンドとに基づいて、音声アクティビティを検出することと、を更に含む。
項F13.項F12の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、時間トレンドは、瞬時ピッチの局所連続性、瞬時周波数の局所連続性、瞬時高調波の周波数の局所連続性、習慣的ピッチ、長期ピッチ、習慣的ピッチの周辺のピッチの変化、ピッチ変化のタイミング又はペーシング、トーン内の高速ピッチ変化、又はプロソディを反映する低速ピッチ変化、のうちの少なくとも1つを含む。音声関連特性は、ニューラルネットワークを使用して時間領域で検出されうる。
項F14.項F13の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、ニューラルネットワークを用いてTSRFを処理することと、TSFRのニューラルネットワーク処理に基づいて音声関連特性を検出することと、を更に含む。
いくつかの実施形態では、TSRFの周波数分解を実行するために、音声関連特性が周波数領域で検出されうる。
項F15.項F13の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、スペクトログラム、短時間フーリエ変換(STFT)、ウェーブレット変換、フィルタバンク表現、高調波分析、フーリエ分析、多重解像度分析、時間-周波数分解、時間-周波数表現、ソノグラフ、ボイスプリント、ボイスグラム、又はウォーターフォールディスプレイ、のうちの少なくとも1つを演算することによって、TSRFの周波数分解を演算することと、周波数分解に基づいて、音声関連特性を検出することと、を更に含む。
いくつかの実施形態では、音声関連特性は、ニューラルネットワークを使用して周波数領域で検出されうる。オプション機能は、ニューラルネットワークへの入力を生成するために、周波数分解に「重複及び連結(overlap and concatenate)」を適用することである。
項F16.項F15の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、ニューラルネットワークを用いてTSRFの周波数分解を処理することと、TSRFの周波数分解のニューラルネットワーク処理に基づいて、音声関連特性を検出することと、を更に含む。
いくつかの実施形態では、音声関連特性は、いくつかのアルゴリズムを使用して(即ち、ニューラルネットワークを使用せずに)周波数領域において検出されうる。当該アルゴリズムは、TSRFにおける音声関連特性の発現(例えば、ピッチ、高調波、局所連続性)を検出しうる。
項F17.項F15の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、音声関連特性は、音声アクティビティのピッチを含み、現在の時間インスタンスと関連付けられた時間ウィンドウ内のTSRFの周波数分解に基づいて瞬時ピッチを検出することとを更に含む。
いくつかの実施形態では、音声信号は、ピッチに加えて高調波を有しうる。高調波の一部は、TSRFにおいて観測可能でありうる。
項F18.項17Fの無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、音声関連特性は、音声アクティビティのピッチの高調波を更に含み、現在の時間インスタンスと関連付けられた時間ウィンドウ内のTSRFの周波数分解に基づいて、瞬時高調波を検出することを更に含む。
いくつかの実施形態では、ビームフォーミングに基づいてターゲット音声ソースを識別する。第1のTSCIは、未加工のTSCIである。第2のTSCIは、未加工のTSCIのセットに対して実行されるビームフォーミングに基づいて演算される。
項F19.項F13の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、タイプ1デバイス又はタイプ2デバイスは、アンテナのアレイを有し、受信された無線信号に基づいて、無線マルチパスチャネルの未加工のTSCIのセットを取得することであって、各未加工のTSCIは、個別のアンテナと関連付けられる、ことと、アンテナのアレイと関連付けられた、受信された無線信号に基づいて取得された未加工のTSCIのセットに基づいて実行されるビームフォーミングに基づいて、指向性TSCIのセットを取得することであって、各指向性TSCIは、アンテナのアレイに対する方向と関連付けられ、TSCIは特定の指向性TSCIである、ことと、を更に含む。
項F20.項F19の無線ベースの音声アクティビティ検出システムの方法/デバイス/システム/ソフトウェアであって、ターゲット音声ソースをTSCIの成分と関連付けることであって、個別の非同期音声生成動作を受ける少なくとも1つの非ターゲット音声ソースが存在し、無線マルチパスチャネルが、少なくとも1つの非ターゲット音声ソースの個別の非同期音声生成動作によって非同期的に影響を受ける、ことと、各非ターゲット音声ソースを、TSCIの別の成分又は別の指向性TSCIと関連付けることと、TSCIの成分に基づいてTSRFを演算することによって、少なくとも1つの非ターゲット音声ソースを拒絶することと、を更に含む。
以下の番号付けされた項は、無線ベースの音声アクティビティ検出の例を提供する。
項G1.無線ベースの音声アクティビティ検出のためのシステムであって、当該システムは、ベニューの無線チャネルを通じて無線信号を送信するように構成された送信機と、無線チャネルを通じて無線信号を受信するように構成された受信機であって、無線チャネルは、ベニューにおけるターゲット音声ソースの音声アクティビティによる影響を受ける、受信機と、無線信号に基づいて無線チャネルの時系列のチャネル情報(CI)を演算し、メディア信号を使用することなく、無線チャネルの時系列のCI(TSCI)に基づいてターゲット音声ソースの音声アクティビティを検出するように構成されたプロセッサとを備える。
項G2.項G1のシステムであって、
無線信号は、データ通信信号、無線ネットワーク信号、標準準拠信号、無線ローカルエリアネットワーク(WLAN)信号、WiFi信号、IEEE 802信号、IEEE 802.11信号、IEEE 802.11bf信号、IEEE 802指向性マルチギガビット(DMG:directional multi-gigabit)信号、無線通信ネットワーク信号、3GPP信号、4G/LTE/5G/6G/7G/8G信号、無線センシング信号、無線サウンディング信号、レーダ信号、ミリ波信号、UWB信号、又は40kHzを超える電磁信号のうちの少なくとも1つを含み、
メディア信号は、マイクロフォン信号、音声(speech)信号、音声(vocal)信号、オーディオ信号、40kHz未満の信号、音響信号、可聴信号、テレフォニー信号、電話会議信号、音声電話信号、会議呼信号、映像信号、ビデオ信号、ビデオ電話信号、ビデオ会議信号、メディアストリーミング信号、又はマルチメディア信号のうちの少なくとも1つを含む。
項G3.項G2のシステムであって、無線信号は、データ通信信号であり、音声アクティビティは、データ通信信号において伝達されるデータペイロードを使用せずに検出される。
項G4.項G3のシステムであって、音声アクティビティは、データ通信信号において伝達されるメディア信号データを使用せずに検出される。
項G5.項G4のシステムであって、音声アクティビティは、ターゲット音声ソースの音声生成動作と関連付けられる。
項G6.項G5のシステムであって、音声アクティビティを検出することは、TSCIに基づいて時系列の無線特徴(TSRF)を演算することであって、TSRFの各無線特徴(RF)はTSCIのそれぞれのスライディングウィンドウに基づいて演算され、TSRFは1MHzに帯域制限されたベースバンド信号である、ことと、TSRFに基づいて音声アクティビティを検出することと、を含む。
項G7.項G6のシステムであって、音声アクティビティを検出することは、TSRFにおける音声関連特性を検出することと、TSRFにおける検出された音声関連特性に基づいて音声アクティビティを検出することと、を更に含む。
項G8.項G7のシステムであって、音声関連特性は、音声特徴、母音、子音、摩擦音、摩擦音、破裂音、鼻、近似音、液体、側方、双唇音、口蓋音、歯槽音、フォン、音素、有声音、無声音、有声音のピッチ、基礎無線、音声関連無線範囲、音声関連無線範囲、音声の少なくとも1つの高調波、音声の少なくとも1つのフォルマント、時変ピッチ、ピッチプロファイル、音声関連時間トレンドのピッチ、トーン、音のトーン、プロソディック特徴、断続的有声音及び無声音のシーケンス、音楽特徴、発話タイミング、発話ペーシング、音楽タイミング、音楽ペーシング、又は環境音、のうちの少なくとも1つの特性を更に含む。
項G9.項G8のシステムであって、音声アクティビティを検出することは、TSRFにおける現在の時間インスタンスに関連する瞬時ピッチを検出することであって、瞬時ピッチに関連する瞬時基本周波数は、下限閾値よりも大きく、上限閾値よりも小さい、ことと、検出された瞬時ピッチに基づいて音声アクティビティを検出することと、を更に含む。
項G10.項G9のシステムであって、音声アクティビティを検出することは、TSRFにおける現在の時間インスタンスに関連する瞬時ピッチの少なくとも1つの瞬時高調波を検出することであって、それぞれの個別の高調波に関連する周波数は、瞬時ピッチに関連する瞬時基本周波数の整数倍である、ことと、瞬時ピッチの少なくとも1つの瞬時高調波に基づいて音声アクティビティを検出することと、を更に含む。
項G11.項G10のシステムであって、音声アクティビティを検出することは、TSRFにおける複数の個別の時間インスタンスに関連する複数の瞬時ピッチを含むピッチプロファイルを検出することであって、個別の時間インスタンスに関連する各瞬時ピッチは、下側閾値よりも大きく、上部閾値よりも小さい個別の瞬時基本周波数に関連する、ことと、ピッチプロファイルにおける複数の瞬時ピッチの音声関連時間トレンドを検出することと、ピッチプロファイルと複数の瞬時ピッチの音声関連時間トレンドとに基づいて、音声アクティビティを検出することと、を更に含む。。
項G12.項G11のシステムであって、音声関連時間トレンドは、瞬時ピッチの局所連続性、瞬時基本周波数の局所連続性、少なくとも1つの瞬時高調波の周波数の局所連続性、習慣的ピッチ、長期ピッチ、習慣的ピッチの周辺のピッチの変化、ピッチ変化のタイミング又はペーシング、トーン内の高速ピッチ変化、又はプロソディを反映する低速ピッチ変化、のうちの少なくとも1つを含む。
項G13.項G12のシステムであって、プロセッサは更に、ニューラルネットワークを用いてTSRFを処理することと、TSRFの処理に基づいて音声関連特性を検出することと、を行うように構成される。
項G14.項G12のシステムであって、プロセッサは更に、スペクトログラム、短時間フーリエ変換(STFT)、ウェーブレット変換、フィルタバンク表現、高調波分析、フーリエ分析、多重解像度分析、時間-周波数分解、時間-周波数表現、ソノグラフ、ボイスプリント、ボイスグラム、又はウォーターフォールディスプレイ、のうちの少なくとも1つを演算することによって、TSRFの周波数分解を演算することと、周波数分解に基づいて、音声関連特性を検出することを行うように構成される。
項G15.項G14のシステムであって、音声関連特性を検出することは、ニューラルネットワークを用いてTSRFの周波数分解を処理することと、TSRFの周波数分解の処理に基づいて音声関連特性を検出することと、を含む。
項G16.項G15のシステムであって、音声関連特性は、音声アクティビティのピッチを含み、プロセッサは更に、現在の時間インスタンスと関連付けられた時間ウィンドウにおけるTSRFの周波数分解に基づいて、瞬時ピッチを検出するように構成される。
項G17.項G16のシステムであって、音声関連特性は、音声アクティビティのピッチの高調波を更に含み、プロセッサは更に、現在の時間インスタンスと関連付けられた時間ウィンドウ内のTSRFの周波数分解に基づいて、瞬時高調波を検出するように構成される、。
項G18.項G17のシステムであって、送信機又は受信機は、アンテナのアレイを有し、プロセッサは更に、受信された無線信号に基づいて、無線マルチパスチャネルの未加工のTSCIのセットを取得することであって、各未加工のTSCIは、アンテナのアレイに含まれる個別のアンテナと関連付けられる、ことと、アンテナのアレイと関連付けられた、受信された無線信号に基づいて取得された未加工のTSCIのセットに基づいて実行されるビームフォーミングに基づいて、指向性TSCIのセットを取得することであって、各指向性TSCIは、アンテナのアレイに対する方向と関連付けられ、TSCIは、指向性TSCIセットに含まれる特定の指向性TSCIである、ことと、を行うように構成される。
項G19.項G18のシステムであって、プロセッサは更に、ターゲット音声ソースをTSCIの成分と関連付けることであって、個別の非同期音声生成動作を受ける少なくとも1つの非ターゲット音声ソースが存在し、無線チャネルが、少なくとも1つの非ターゲット音声ソースの個別の非同期音声生成動作によって非同期的に影響を受ける、ことと、各非ターゲット音声ソースを、TSCIの異なるの成分又は異なるの指向性TSCIと関連付けることと、TSCIの成分を選択することと、選択されたTSCIの成分に基づいてTSRFを演算することによって、少なくとも1つの非ターゲット音声ソースを拒絶することと、を行うように構成される。
項G20.無線ベースの音声アクティビティ検出のための方法であって、送信機から受信機にベニューの無線チャネルを通じて送信される無線信号を取得することであって、無線チャネルは、ベニューにおけるターゲット音声ソースの音声アクティビティによる影響を受ける、ことと、無線信号に基づいて、無線チャネルの時系列のチャネル情報(CI)を演算することと、無線信号以外の信号を使用することなく、無線チャネルの時系列のCI(TSCI)に基づいて、ターゲット音声ソースの音声アクティビティを検出することと、を含む。
RFベースのトラッキングにおける最近の進歩は高精度の軌跡トラッキングを可能にし、広範な様々な環境のために、コスト効率の高いWiFiクライアント及び単一のAPを用いて高精度の軌跡を収集することを可能にする。しかしながら、高精度のフロアプラン構築のためにRFベースのトラッキングを活用することは、大きな課題を伴う。第1に、単一のAPのみが使用される場合、異なる軌跡を接続し、フロアプランを構築するために必要なグローバル基準(リファレンス)情報を有することができない。第2に、利用可能な距離推定のみでは、方向情報のための不正確なセンサに依拠する必要が依然としてある。第3に、不完全な情報を考慮すると、フロアプランを回復するためにロボットによって収集された軌跡を融合することは自明ではない。
いくつかの実施形態では、本教示が上記の課題を克服し、屋内フロアプランの自動構築を高めるための新規なシステムであるEZMAPを開示する。いくつかの実施形態では、EZMAPがWiFi及び慣性センサを装備した商品ホームロボットを使用して、環境の周りを移動し、データを収集する。それは単一のAPのみを必要とし、モールやオフィスビル等の公共空間だけでなく、既存の作品によってほとんど探索されない家庭環境もマッピングできる。再構成されたマップは廊下構造、部屋レイアウト、並びにそれらのサイズ(即ち、廊下幅及び部屋サイズ)を表す。いくつかの実施形態では、EZMAPシステムが新規のパイプラインを使用して、3つの異なる方法でそのようなマップを生成する。EZMAPシステムは最初に、任意の長さのクラウドソース軌跡を原子セグメントに分解することができ、これは、潜在的な累積配向誤差を回避し、軌跡マッチングを支える。第2に、EZMAPシステムは、アトミックセグメントをグループ化するためにロバストな階層的マッチングスキームを使用しうる。高精度距離推定を利用して、EZMAPシステムは最初に、それらの固有の幾何学的制約によって原子セグメントをマッチングしうる。次いで、EZMAPシステムは各セグメントに沿って受信信号強度インジケータ(RSSI)及び磁場強度(MFS)情報を調べることによってそれらを更に分類することができ、実際の位置についてのグローバル情報を提供する。第3に、EZMAPシステムはクラスタ化されたセグメントをロバストに埋め込むために、即ち、互いに対するそれらの位置を決定し、したがってフロアプランを再構成するために、軌跡バンドリング及び融合技法を利用しうる。
いくつかの実施形態では、EZMAPシステムがロボットに取り付けられた商品WiFiチップセット及び慣性センサを使用して実装しうる。EZMAPシステムは3つの異なるシナリオ、即ち、キャンパス格納、オフィスビル、及び家庭に配備しうる。少数のクラウドソーシング軌跡を利用して、システムはオフィスビル、ホーム環境、及びキャンパスビルに実装されるとき、高精度で詳細なマップを生成する。実証された高精度であるが、最低限のインフラストラクチャ要件により、EZMAPはインテリジェントビル及びスマートホームのための多くの重要な屋内用途のための道を開く。
いくつかの実施形態では、本教示は、多数のWiFi APを有さない、ホーム等のプライベート環境を含む様々な屋内環境に適用される、正確な自動屋内マップ再構成システムを開示する。いくつかの実施形態では、本教示は、ロボット収集軌跡を正確かつロバストに分類し、バンドリングし、埋め込んで、1つのAPのみで動作する屋内マップを再構成するアルゴリズムを開示する。開示されたシステムは、様々な建物におけるその性能を検証するために商品ハードウェア上で実装することができ、オフィス、店舗、及び家庭における優れた性能を実証する。他のシステムとは異なり、開示されたシステムは、データ収集のためにますます人気のあるホームロボットを使用し、範囲をホーム環境に拡張する。
図59は、本開示のいくつかの実施形態による、マップ再構成システム5900の例示的な図を示す。図59に示されるように、マップ再構成システム5900は、軌跡取得モジュール5910、軌跡セグメント化モジュール5920、軌跡照合モジュール5930、軌跡バンドリングモジュール5940、及び軌跡融合及び整形モジュール5950を含む。
いくつかの実施形態では、システムがロボット、人が押したカート、フォン、タブレット、コンピュータ等に実装されうるトラッキングデバイス5905を使用して、軌跡を収集しうる。いくつかの実施形態では、トラッキングデバイス5905が起点/衛星又は送信機5906から無線信号を受信するように構成されたボット又は受信機を含むか、又はその役割を果たすことができる。軌跡又はトレースは、無線チャネル及びトラッキングデバイス5905の動きによる影響を受ける、受信された無線信号に基づいて、システムの軌跡取得モジュール5910によって取得されうる。
いくつかの実施形態では、トレースが、環境内に配置された1つのAPを有する人間又はロボットによって収集しうる。トレースは、RFベースの慣性測定システムによって得られた距離情報と、慣性センサから導出された方向情報とを含みうる。AP及びMFSのRSSIも記録される。次いで、任意の長さでありうる収集された軌跡は正確な距離推定(軌跡セグメンテーション)を活用しながら、配向において蓄積された潜在的な誤差を克服するために、原子セグメントと呼ばれる短いセグメントに分割される。次いで、原子セグメントは、それらの固有の幾何学的制約、並びにRSSI及びMFS(セグメントマッチング)の付随する時系列によってクラスタ化される。次いで、クラスタ化されたセグメントは、長い軌跡をバンドリングし(束ね)、それによって、それらの相対位置を推測することによって、位置決めされる(軌跡バンドリング)。次に、全ての軌跡が、それらの元の形状を口座に入れて融合され、回廊幅及び部屋サイズ(軌跡融合及び整形)を有する再構成されたマップを出力する。
いくつかの実施形態では、クラウドソーシング軌跡トラッキングが距離推定のためのRFベースの慣性測定システムであるRIMと、方位推定のための慣性センサとに基づく。RIMは開示されたマップ構築システムのサブシステムとしての役割を果たすことができ、車輪付きプラットフォーム及びロボットの移動距離を推定しうる。超解像仮想アンテナアライメントアルゴリズムを用いた仮想アンテナとしての位置合わせパスプロファイルを利用して、RIMは位置合わせパスリッチエリア上の移動距離のセンチメートル精度を達成した。RIMは単一のAPのみを必要とし、移動距離演算のためにデータパケットからチャネル状態情報(CSI)をキャプチャする。いくつかの実施形態では、EZMAPがRIMのアルゴリズムを利用して、高い精度で移動距離を推定する一方で、慣性センサを使用して、幾何学的特性を一緒に整形する回転角度及び機首方位情報を測定しうる。装置のセットアップのために、トラッキング装置を運ぶために、押しカート又はロボットのいずれかを使用しうる。両方の場合において、トラッキング装置は、商品WiFiチップセット及びその上のIMUを有するカスタマイズされたハードウェアを含みうる。いくつかの実施形態では、EZMAPがハードウェアに変更を加えないソフトウェアソリューションを含みうる。
取得された軌跡は、メータから数十メータ又はそれ以上の様々な長さである。いくつかの実施形態では、EZMAPがより広いエリアをカバーし、接続する可能性があり、したがって、一意に識別されるべきより多くの情報を含むので、一般に長い軌跡を好む。しかしながら、長い軌跡は、特に配向において大きな累積誤差を被る。この問題を克服するために、システムは、軌跡セグメント化モジュール5920を使用して、収集された全ての軌跡を、正確な幾何学的形状情報をより良好に保存する、原子セグメントの新規な形態の短い部分に分解しうる。
いくつかの実施形態では、システムが図60に示されるように、各長い軌跡を、2つの端部に2つのターンを有する直線セグメントを含む構造に分割しうる。そのような構造を原子セグメントと名付け、それをEZMAPにおける軌跡の基本単位として使用しうる。このような霧化は、慣性センサの読み取り値に基づく単純な旋回検出によって達成しうる。いくつかの実施形態では、EZMAPシステムが回転を検出するための加速度計及びジャイロスコープデータの角度の変化率(時間に対する角度の順序逆数)を演算しうる。
原子セグメントの設計は以下の洞察によってインスパイアされる:第1に、原子セグメントは、(図61の例に見られるように)ターン中に配向誤差が容易に蓄積するので、各ターンにおいてオリジナルの軌跡を切り離す。結果として、それは、正確な距離情報を保存し、一方で、それらが複数のターンにわたって累積しうる前に、重大な配向誤差をリセットする。第2に、2つのターンは、類似の長さを有するセグメントをクラスタ化するためにより多くの情報を提供するので、各原子セグメントの一部として保持される。図60のセグメントを例にとると、左巻き及び右巻きでそれぞれ終わる2つの原子セグメントは、それらが同じ長さを有する場合であっても分離しうる。第3に、現実世界の建物レイアウトを考慮すると、そのような原子セグメントを頻繁に得ることができる。後で実証されるように、そのようなセグメントに関連するグローバルロケーション情報(即ち、RSSI及びMFS時系列)はセグメントの正確な幾何学的形状を一緒に考慮して、それらを一意にクラスタリングし、再接続するのに十分である。
いくつかの実施形態では、いくつかの軌跡が噴霧化によってセグメント化されない。例えば、ターゲット円が曲がった経路の周りを回り、それに沿って移動する場合、結果として生じる軌跡は連続的に「回転」し、決して切断されない。これらの曲線セグメントはいくつかの開放空間及び/又は部屋についての情報を提供する可能性があり、別々に取り扱われるので、依然として有用である。
トラッキングトレースを有する正確なフロアプランを生成するためには各軌跡の相対位置を正確に推定する必要があり、これはグローバルな基準又は各軌跡の開始ポイントなしに非常に困難である。前述のように、システムは長い軌跡を原子セグメントに分割し、各原子セグメントの相対位置を決定することに頼ることができる。各セグメントの相対位置を正確に予測するために、システムは2つのステップをとることができる。いくつかの実施形態では、システムが最初に、同じ位置に属する原子セグメントをクラスタリングしうる。次いで、同じクラスタ内の原子セグメントは、長い軌跡からその相対位置を推測することによって位置決めされ、バンドリングされる。
同じ位置にあるセグメントを識別し、異なる位置にあるセグメントを区別するために、システムは軌跡マッチングモジュール5930で軌跡マッチングアルゴリズムを利用して、同じ位置に属するセグメントを認識し、異なる位置に属するセグメントを、それらの幾何学的形状及びRSSI及びMFSの時系列によって区別しうる。例示的なマッチングプロセスを図62に示す。
セグメントのために設計された独特の構造では、各原子セグメントが2つのターンの角度情報と、その間の道路区間の距離情報とを含む幾何学的形状を有する。同じ経路に関連する原子セグメントは類似の幾何学的形状を示す。幾何学的制約は、それらの幾何学的形状情報に基づいて、類似の形状を有するセグメントを一緒にソートするように設計される。同じ経路に属する原子セグメントの例を図60に示す。
幾何学的形状の制約は、距離制約と角度制約の2つの部分を有する。距離制約に関しては実験観察及びトラッキングクライアントの距離トラッキング精度に基づいて、いくつかの実施形態では、同じ経路上のセグメント間の距離差を3m以下に制限しうる。言い換えれば、2つの道路区間の推定距離の差が3mよりも大きい場合、これらの2つの区間は、同じ位置にある可能性が低い。角度制約についてはある角度誤差を考慮すると、同じターン間の角度差はいくつかの実施形態では、30度以下に制限される。いくつかの実施形態では、異なる回転(左及び右)を有する同じ位置からの原子セグメントが一緒にクラスタ化されない。しかし、これは、後に認識され、一緒にマージされるので、最終的な再構成されたマップに影響を与えない。
幾何学的制約の有効性を検証するために、幾何学的制約の有無にかかわらずマッチング精度を比較するために200以上の原子セグメントが使用される比較実験を行うことができる。実験結果は、軌跡制約が後に示されるセグメントマッチングの精度を効果的に改善できることを立証する。
いくつかの実施形態では、幾何学的制約だけではセグメントを異なる経路から分離することはできないが、類似の幾何学的形状を有するので、セグメントマッチングを高精度でサポートするには不十分である。したがって、ロバストなグローバル基準は、マッチング精度及び再構成性能にとって重要である。いくつかの実施形態では、EZMAPシステムがグローバル基準情報のための周囲特性として示される、セグメントに沿ったMFS及びRSSIの時系列を活用し、それらを一致させるためにロバストアルゴリズムを利用しうる。
屋内経路上の強磁性構造材料(例えば、鉄筋)によって引き起こされる磁場の異常は一般に、静止しており、時間独特である。MFSの時系列は、ユーザ又はロボットが特定の屋内経路に沿って歩行するときに収集され、対応する経路の代表的な特徴として使用される。図63Aに示されるように、同じ屋内経路に沿ったMFSデータの時系列は類似しているが、異なる屋内経路に沿ったものはかなり異なる。図63Bに示すように、単一のAPについて測定されたRSSI値の時系列にも同様の特性が現れる。単一の位置におけるRSSI値は非常に限られた空間分解能に悩まされるが、経路に沿った一連のRSSIはより特有の情報を提供する。
いくつかの実施形態では、MFS及びRSSIの時系列に基づく2つの原子セグメントの類似性値が閾値を下回るとき、クラスタを生成しうる。類似性ベクトルは原子セグメントについて演算することができ、それ自体と原子セグメントの各既存のクラスタとの間の類似性を測定する。アトミックセグメントjについては、動的時間伸縮(DTW)を適用して、そのRSSI類似性ベクトルD
j, R及びMFS類似性ベクトルD
j,Mをそれぞれ演算しうる。D
j, R及びD
j,RMは、min-max正規化で正規化され、一緒に合計されて、以下のように類似度ベクトルが得られる:
ここで、d
j, iはi番目のクラスタに対する原子セグメントjの類似度を示し、Nは、クラスタの総数を示す。d
j, iが所定の閾値(例えば、0.2)を下回る場合、このアトミックセグメントは、i番目のクラスタにクラスタ化され、i番目のクラスタからの他のセグメントとマッチングされうる。アトミックセグメントを既存のクラスタと一致させることができない場合、システムは、そのための新しいクラスタを生成しうる。いくつかの実験的観察に基づいて、0.2未満の類似性値を有する2つのセグメントは、一致すると見なすことができる。システムは融合中にRSSIベクトル及びMFSベクトルを正規化したので、閾値は様々な環境に一般化しうる。
場合によっては、閾値がうまく機能しないことがある。例えば、1)2つのマッチしたセグメント(即ち、同じ位置からの2つのセグメント)の類似性値が0.2よりも大きい場合、及び2)0.2よりも低い複数の類似性値があるが、1つのセグメントのみがマッチされるべきである。第1のケースではセグメントは誤って2つのクラスタに属するものとして扱われるが、システムはそれらを一緒にマージしうる。第2のケースに関しては、システムが最も類似するセグメント、即ち、最小の類似値を有するセグメントと、ターゲットセグメントとを一致させる。閾値は、3つのシナリオにおける実験において有効であることがテストされる。
同じクラスタ内のマッチしたセグメントについて、システムはそれらが同じ位置から来るべきであることを知ることができるだけでなく、セグメントの各ペア間のアライメント情報も有することができ、例えば、システムは、原子セグメント上の各ターンが他のマッチしたセグメント上でどのように互いに対応するかについての情報を有しうる。
同じ位置に属するセグメントを識別した後、これらのセグメントを用いて正確なフロアプランを再構成するために、システムは、それらの相対位置を識別することもできる。いくつかの実施形態では、システムが原子セグメントの位置を決定するために、軌跡バンドリングモジュール5940において軌跡バンドリングアルゴリズムを利用しうる。
いくつかの実施形態では、長い軌跡がそれらの一致した原子セグメントを活用してバンドリングされる。マッチしたセグメントを有する2つの長い軌跡ごとに、それらは、以下の2つのステップ、即ち、1)2つのマッチしたセグメントの最初のターニングポイントが一緒に縫い合わされる、で束にされる。2)長い軌跡は、2つの一致した原子セグメントの経路セクションの方向が一致するように回転される。全ての長い軌跡は、それらの一致したセグメントをアライメントさせることによって、他の軌跡にバンドリングされる。長い軌跡がバンドリングされた後、システムは、それらのオリジナルの長い軌跡上のそれらの空間関係を利用することによって、原子セグメントの座標を決定しうる。軌跡バンドリングの一例が図64に示されており、2つの軌跡は、それらの一致したセグメントをアライメントさせることによってバンドリングされる。
長い軌跡は軌跡バンドリングのための剛体として扱われるが、図61に示されるように、大きな累積方向誤差を含む長い軌跡は生成されるマップの精度を低下させることができる。したがって、システムは例えば、軌跡融合及び整形モジュール5950によって、生成されたマップ上の累積誤差の影響を回避するために、長い軌跡上の原子セグメントの位置を調整しうる。
原子セグメントの大まかな位置は長い軌跡をバンドリングすることによって推測しうるが、同じ経路に属する原子セグメントは図65に示されるように、厳しい座標偏差を有する可能性があり、これは望ましくない。したがって、システムは軌跡融合アルゴリズムを利用して、次に、例えば、軌跡融合整形モジュール5950において、より正確でよく整形されたマップを生成しうる。
マッチしたセグメントの特性を利用して、システムはマッチした原子セグメントを2ステップで融合しうる。第1に、同じ経路におけるマッチした原子セグメントに対して、それらのターンの角度及び位置を含む内部クラスタ制約が、それらの位置を更新するために利用される。システムは同じターンにおけるそれらのエンドポイントの媒体座標を演算し、各エンドポイントの座標を以下によって更新しうる:
ここで、b∈(0、1)は、クラスタ中央位置と元の位置とのバランスをとるパラメータである。
次に、クラスタ内グローバル情報を活用して、誤って分離されたターンをマージすることができ、これは、同じ経路上のアトミックセグメントが異なるクラスタに分類されるときに起こる。DTWは、誤って分離されたターンをマージするために再度適用しうる。軌跡がバンドリンさられた後、システムは、小さな領域内のターンを探索しうる。いくつかの実施形態では、システムがDTWを互いに近接するターンにのみ適用しうる。2ターンのMFS及びRSSIのDTW距離が閾値(例えば、実験によると0.05)を下回る場合、2つのターンは、同じ位置にあるとみなされ、一緒にマージされる。これにより、同一パスに属する誤って分離されたセグメントが正しくマージされる。
次に、2つのエンドポイントの新しい座標を用いて、各原子セグメントはヘルメット変換によってその新しい位置に変換される。これは地理学において頻繁に使用される類似性変換であり、データ間のデータ変換を生成する。ここでは二次元ヘルマート(Helmert)変換を行った。2つのターニングポイントの元の座標及びセグメント上の各ポイントの更新された座標を知ることにより、ヘルマート変換は、セグメント上の各ポイントの更新された座標を演算する。変換されたセグメントは、オリジナルの原子セグメントの形状及び2D情報を保持する。図65は、ヘルマート変換が4つの軌跡に対して実行される、軌跡融合プロセスの例を示す。
長い軌跡をセグメント化するとき、その間に直線経路セクションのない原子セグメントが存在する。代わりに、それらは、連続的な「ターニング(turning)」を有する曲線セクションを含む。前述のように、直線セグメントは建物の主要なレイアウトを反映するが、曲線セグメントは部屋、曲線廊下、及びオープンスペースに関する有用な情報も含む。したがって、システムは、それらを別々に処理して、回復されたフロアプランに更なる詳細を追加しうる。
いくつかの実施形態では、曲線セグメントの位置が、直線セグメントとのその空間的関係から推定される。システムは最初に、曲線セグメントと直接接続する直線セグメントを見つけることができる。次に、直線セグメントの位置を利用して、曲線セグメントの位置を推定し、次いで、ヘルメット変換を曲線セグメントに対して実行する。この処理を図66に示す。形状情報を失うことなく、曲線セグメントは曲線通路、部屋、及び開放空間を再構成するために、直線セグメントでグループ化される。したがって、マップ構築アルゴリズムは直線状廊下を生成するだけでなく、部屋の位置及びエリアを推定することができ、フロアプランをより詳細かつ包括的にする。いくつかの実施形態では、良好な形状のフロアプランを提供するために、アルファ形状の方法が軌跡の輪郭を抽出するために利用される。
いくつかの実施形態では、開示されるシステム及び方法が3つのシナリオで評価される:シナリオIが図67Aに示されるように、廊下、部屋、ドア、及びエレベータを含む、22.0m×36.5mのエリアを有するオフィスであり、シナリオIIは図67Bに示されるように、キッチン及びリビングを含む、5。8m×12.2mのエリアを有するタウンハウスの2階であり、シナリオIIIは図67Cに示されるように、49.0m×12.5mのエリアを有するキャンパスビルのダイニングコートであり、ダイニングホール及びその周りの廊下を含む。目標は、開示されたシステムを使用して詳細なフロアプランを再構成することである。
シナリオIでは、トラッキング装置が人間によって押されたカート上に設置される。トレースは、5ヶ月で12の異なる日に収集され、合計64のクラウドソーシング軌跡が収集される。異なる回転方向が考慮されるので、このデータセットには18個のクラスタが存在する。シナリオII及びIIIでは、トラッキング装置はロボットに装備され、シナリオIIでは5ヶ月で16日間にわたり8つのクラスタを有する49個の軌跡を収集し、シナリオIIIでは2ヶ月で7日間にわたり19個のクラスタを有する54個の軌跡を収集する。環境ダイナミクスに対するEZMAPのロバスト性を検証するために、長い経過にわたってデータを収集することができ、又は開示されるシステムの有効性を実証するために、少量の軌跡のみを取得しうる。
いくつかの実施形態では、EZMAPが省力かつ効率的であるので、データを収集するために商品ホームロボットを使用する。更に、ホームロボットは、今日広く利用可能である。EZMAPは、RIMに基づく高精度ロボットトラッキングに限定されない。開示されたマップ構築アルゴリズムは、高精度歩行者トラッキングにも適用可能である。
3つのシナリオの結果をそれぞれ図68~図70に示す。3つのシナリオ全てについて、第1の部分図(即ち、図68A、図69A、及び図70A)は、バンドリングされた軌跡を示す。シナリオIの再構成されたフロアプランは図68Bに示されており、ここでは、部屋及び開放空間のアクセス可能な領域が曲線した軌跡で良好に再構成されている。シナリオIの再構成された廊下計画が図68Cに示され、アルファ形状によって抽出されたグラウンドトゥルース廊下計画が図68Dに示されている。シナリオIIでは再構成されたフロアプランが図69Cに示されており、キッチンのオープンスペースは開示されたシステムによって良好に再構成されている。ほとんどの関連する作業によって必要とされるアンカーポイントを必要とせずに、開示されたシステムは、大規模で公共的な領域だけでなく、家庭のような小規模で私的な環境のためのフロアプランを再構成する能力を実証する。図70Cは、シナリオIIIの十分に再構成されたフロアプランを示す。結果は、開示されたシステムが単一のAPのみを用いて、様々なエリアの間の間取り図を正確に再構成しうることを示す。
EZMAPのマッチング性能、部屋サイズ精度、廊下形状精度、施工効率を評価した。廊下形状及び部屋サイズに関しては、開示されたシステムをSenseWit及びCorwdInsideと比較しうる。
いくつかの実施形態では、マッチング性能が純度測定及び正規化相互情報(NMI)スコアによって評価される。純度スコアs
cは
と定義される。ここで、C
iは、それぞれのクラスタ内の最大クラスにおける原子セグメントの個数であり、cはクラスタの個数であり、Mは、原子セグメントの総個数である。NMIは、
と定義される。ここで、Yは、クラスラベルを表し、Cは、クラスタラベルを表し、H(.)はエントロピーであり、I(Y;C)は、YとCとの間の相互情報である。
いくつかの実施形態による1つの実験では、18個の真のクラスタに属する206個の原子セグメントを収集することができ、それらは20個のクラスタにクラスタ化される。全ての原子セグメントは1を除いて、クラスタ内の最大クラスに属し、純度スコア99.51%及び正規化相互情報スコア95.05%をもたらす。
幾何学的制約が原子軌跡マッチングに非常に有益であることを正当化するために、幾何学的制約を採用せずにマッチング性能を演算する比較実験を行った。純度スコアは87.38%に低下し、NMIスコアは81.80%になり、幾何学的制約がマッチング性能を著しく改善できることを証明した。一方、驚くべきことに、セグメントマッチングの80%を超える妥当な精度が、単一のAPの磁気及びRSSIを使用することによって達成されうることも実証する。
部屋サイズは、再構成された部屋サイズとグラウンドトゥルースエリアとの間の誤差によって評価され、これは、
と演算される。
開示されたシステムの誤差を、SenseWit及びCrowdInsideとオフィスで収集されたデータと比較しうる。SenseWitの平均誤差は31.4%、CrowdInsideの平均誤差は40.6%である。開示されたシステムは36.1%の平均誤差を有し、これは、CrowdInsideよりも低く、SenseWitよりも高い。SenseWitとして多くのアンカーポイントを必要とすることなく、開示されるシステムの精度は、依然として同等である。推定誤差は主に、台車やロボットが部屋全体を歩くのを妨げる、オフィスのテーブル、引き出し、椅子等の障害物によるものである。
また、SenseWitと同じメトリックで廊下形状を評価することもでき、これは以下に示される。
ここで、
は、廊下形状の精度である。
は、リコールである。
は、精度とリコールの調和平均である。
は、再構成された廊下エリアによって分割された重複エリアとして定義される。
は、グラウンドトゥルース廊下エリアで分割された重複エリアとして定義される。
評価結果を表12に示す。グラウンドトゥルース廊下の起点と向き、及び生成された廊下がアライメントされる。表12は開示されたシステムの
がCrowdInsideよりも良好であり、SenseWitと同等であることを示す。開示されたシステムの精度はSenseWitよりも高いが、想起率はSenseWitよりも低く、これは開示されたシステムが廊下の幅が地上の真実よりも狭くなるように、多軌跡融合を実行するためである。SenseWitは開示されたシステムと同等の性能を達成するために様々なアンカーを必要とし、開示されたシステムが、様々な環境、特にホーム等のアンカーポイントのないプライベート環境のための正確な廊下計画を生成しうることを示す。
ほとんどのクラウドソーシングベースの屋内マップ構築システムとは異なり、EZMAPは比較可能な精度を達成しながら、はるかに少ない軌跡で廊下マップを生成しうる。シナリオIにおけるEZMAPの構築効率を評価しうる。図71A~図71Eは、それぞれ24、35、46、52、及び61の軌跡を有する再構成された廊下を示す。軌跡数の異なる廊下の施工精度は、それぞれ53.76%、67.44%、71.99%、73.46%、76.61%である。EZMAP、SenseWit及びCrowdInsideの比較を表13に示す。SenseWitは300以上の軌跡を使って464m2のキャンパスライブラリーをカバーし、CrowdInsideは150以上の軌跡を使って448m2の環境をカバーした。表13は、開示されたシステムEZMAPが2倍大きい環境で使用される軌跡の数のわずか4分の1でSenseWitに匹敵する精度を達成し、EZMAPがはるかに少ない軌跡でCrowdInsideよりも正確であることを示す。効率評価結果は、EZMAPが正確な廊下を迅速に再構成できることを示した。加えて、EZMAPの設計は低コストのホームロボットを採用し、データ収集のためのかなりの人員を節約する。
いくつかの実施形態では、本教示が事前に建物の前提知識を必要としない、汎用自動フロアプラン構築システムであるEZMAPを開示する。EZMAPは、高度なRFベースの慣性トラッキングを活用した高精度で低コストのフロアプラン再構成システムである。開示されたシステムは正確なマップのために、RFトラッキングからのローカル情報を、慣性センシング(例えば、磁場強度)からのグローバルコンテキストと組み合わせる。EZMAPは、RF信号センチメートル精度の屋内トラッキングの恩恵を受ける。それは、商品WiFiを活用して正確な移動距離を推定し、方位演算のために慣性センサを使用する。次に、EZMAPは軌跡分割、マッチング、バンドリング、及びシェーピングの新しいパイプラインを用いてクラウドソース軌跡を処理し、最終的に、骨格レイアウトだけでなく、直線状/曲線の廊下、開放空間、及び部屋の詳細なエリアサイズを用いてフロアプランを再構成する。最小限のインフラストラクチャと少量のデータを必要とするEZMAPは、パブリックモール、オフィス、及び家庭環境を含む多くの様々なビルに拡張しうる。
EZMAPは、プライベート環境のマップを正確に再構成できる最初のRFベースのシステムである。性能はオフィスビル又は家庭内の商品WiFiを用いて検証することができ、これは、開示されたシステムが対象領域のための忠実なマップを効率的に生成しうることを示す。WiFiデバイスのユビキタス展開により、開示されたシステムは、屋内ロケーションベースのサービスの開発を進める。
図72は、本開示のいくつかの実施形態による、マップ生成のための例示的な方法7200のフローチャートを示す。様々な実施形態では、方法7200が上記で開示したシステムによって実行しうる。動作7202において、ベニューにおけるセンシングデータ及び複数の軌跡が取得される。各軌跡は、ベニュー内のそれぞれの物体によってトラバースされる経路を表す時系列の空間座標(TSSC)である。各TSSCは収集された少なくとも1つの個別の時系列のセンシングデータ(TSSD)を伴うが、それぞれの物体はベニュー内の経路をトラバースする。いくつかの例では、センシングデータ及び軌跡が(例えば、WiFi、4G/5G/6G/7G等による信号に基づいて)受信無線信号からキャプチャされたチャネル情報(例えば、CSI、CIR、CFR)を使用して収集されうる。他の例では、センシングデータ及び軌跡がレーダ、センサ、スマートフォン内のセンサ、ナビゲーションシステム等の他の手段によって収集されうる。
動作7204において、各TSSC及びそれに付随する少なくとも1つのTSSDは、セグメントにセグメント化される。動作7206において、複数の軌跡は、セグメントの対の間の類似性測度に基づいてバンドリングされる。動作7208において、バンドリングされた軌跡は、融合された軌跡を生成するために融合される。動作7210において、融合軌跡の形状が演算される。動作7212において、演算された形状に基づいて、ベニューのマップが生成される。図72の動作の順序は、本教示の様々な実施形態に従って変更されうる。
いくつかの実施形態では、2D(又は3D)マップが2D(又は3D)軌跡の個数(例えば、100、1000又はそれ以上)に基づいて生成され、それぞれが補助センサ情報(例えば、RSSI、磁場強度/MFS)とともに生成される。各軌跡はベニュー(例えば、建物、自宅、倉庫、駐車場等)における物体の移動の経路を表す。3D軌跡の例は、人が建物/施設の複数の階を上下に歩くときの人の経路であってもよい。
いくつかの2D/3D軌跡は受信された無線信号(例えば、WiFi、4G/5G/6G/7G等)からキャプチャされたチャネル情報(例えば、CSI、CIR、CFR)を使用して収集されうる。それらはまた、レーダ、センサ、スマートフォンのセンサ、ナビゲーションシステム等の他の手段によって収集されてもよい。クラウドソースであるかもしれない。
生成されるべき2D/3Dマップは、ベニュー内の全ての到達可能なエリアを含みうる。例えば、広い廊下は、より厚く見えるべきである。狭い廊下は薄く見えるはずである。障害物によって遮られた(したがって、到達可能でない)廊下の一部は、2D/3Dマップに現れてはならない。アクセス可能な部屋は通常、おおよそ長方形のように見えるべきであるが、内部空間が障害物(例えば、壁固定具、ソファ、テーブル、キャビネット、ストーブ、冷蔵庫、照明、器具、箱等)によって遮られるべきではない。
例示的な方法は、以下のステップを含む。
第1のステップは、軌跡セグメンテーションである。各軌跡は分析され、原子セグメントにセグメント化/分解される。各原子セグメントは、両端に2ターンを有する直線セグメントを含む。
第2のステップはセグメントマッチングである。原子セグメント及び付随するセンサ情報は軌跡の「類似の」又は「一致した」原子セグメントに対応する密集クラスタを見つけるためにクラスタリングが実行されうるように、いくつかの空間において表される。
第3のステップは、軌跡バンドリングである。様々な軌跡は、マッチング済み原子セグメントに基づいて、一緒に「アライメントされる」又は「バンドリングされる」。
第4のステップは、軌跡融合及び整形である。バンドリング/アライメントされた軌跡は融合され、2D/3Dマップを構築するように整形される。
「距離」は、2つのセグメント間で定義されうる。距離はいくつかのコンポーネント、即ち、それらの長さ間の差、両端におけるそれらの2つのターン間の差、それらのRSSI間の差(DTWを使用してマッチングされる)、それらのMFS間の差(DTWを使用してマッチングされる)を有しうる。いくつかの軌跡は、微細化(atomization)によってセグメント化されない(例えば、円、曲線経路等)。
いくつかの実施形態では、複数の軌跡を取得することができ、各軌跡は異なる開始ポイント(例えば、1つの軌跡がリビングで開始し、別の軌跡がベッドルームで開始してもよい)、異なる開始日/日/時間、異なる経路(例えば、1つの軌跡がリビングからダイニングルームに行き、別の軌跡がリビングからベッドルームに行きうる)、異なるターン(例えば、異なるペースの移動)、異なる停止/一時停止パターン(例えば、ユーザが2時間リビングで停止してからダイニングルームに行き、一方、ユーザは短時間、例えば、1分、ベッドルームに行く前にリビングで一時停止してもよい)を有する可能性がある。
各軌跡は、ベニュー内/ベニューを通る経路をともに記述する一連の空間座標であってもよい。空間座標は、2次元、又は3次元等でありうる。経路は第1のサンプリング周波数、例えば、毎秒0.01/0.1/1/10/100/1000サンプルでサンプリングされてもよい。
各軌跡は、それぞれのデバイスで捕捉されてもよい。例えば、1つの軌跡は、ユーザによって携帯されるiPhone又はAndroidフォンで捕捉されてもよく、一方、別の軌跡はタブレットデバイス(例えば、iPad)で捕捉されてもよい。別のものは、iRobotを使用してキャプチャされうる。別のものは、プッシュカート(例えば、ジャニタのカート)に設置されたデバイスを使用して捕捉されてもよい。別のものは、受信された無線信号に基づいて導出され/キャプチャされたチャネル情報(例えば、CSI、CIR、CFR、RSSI等)に基づいてタイプ1デバイスからタイプ2デバイスに送信されている無線信号(例えば、WiFi、4G/5G/6G/7G/8G、レーダ信号等)を使用してキャプチャされうる。軌跡は、RIMアルゴリズムを使用して生成されうる。
各軌跡はいくつかのセンシングデータ(例えば、RSSI、加速度計、磁力計、ジャイロスコープ等)を伴うことができる。各センシングデータ(SD)はそれぞれのサンプリング周波数でサンプリングされうる(例えば、毎秒100サンプルのRSSI、毎秒10サンプルの加速度計、毎秒1サンプルの磁力計、毎秒10サンプルのジャイロ)。センシングデータ及び軌跡は同じ時間軸を共有しうる(即ち、それらは全て経時的にサンプリングされる)が、それらのサンプリングインスタンス(タイミング)は異なりうる。したがって、時間同期は(例えば、タイムスタンプに基づいて)軌跡とそれに付随するTSSDとをマッチングさせるために実行されうる。
典型的にはベニュー(例えば、単一の家族の家)では有限数の可能な歩道又は経路セグメントが存在しうる。多くの場合、「オープンスペース」の部屋(即ち、空の部屋、空のホール)は可能な歩道又は経路セグメントを制限する障害物(例えば、テーブル、椅子、テーブル、机、棚等)で満たされうる。したがって、通常、同じ/同様の歩道又は経路セグメントは、異なる軌跡で、異なるタイミングで、異なる順序で、異なる持続時間で、異なるペースで現れうる。
システムは各軌跡を複数のセグメント(セグメント化)に分割することができ、各セグメントは基本的に/ほぼ直線状経路セグメントを有し、直線状経路セグメントの2つの端部で2回の回転を有する。次いで、軌跡間の同様のセグメントが(例えば、付随するTSSDに適用される動的時間伸縮に基づいて)識別/アライメント/マッチングされうる。軌跡の類似性を分析しうる。
一致したセグメントは幾何学的制約を満たす必要がありうる(例えば、長さ差又は長さ差のパーセンテージが閾値未満でなければならないという長さ制約、又は、対応する角度差が別の閾値未満でなければならないという角度制約)。関心のある任意のセグメント(「現在のセグメント」)について、マッチングのための多くの候補セグメントが存在しうる。候補セグメントは、幾何学的制約を満たすことができない場合、拒絶されうる。拒絶されていない候補セグメントのうち、現在のセグメントについて選択されたセグメント(一致セグメント)は、現在のセグメントからの最小距離(又は一致コスト)を有する候補セグメントである。候補セグメント及び現在のセグメントは、異なる量のサンプルを有する異なる長さ/持続時間を有しうるので、距離を直接演算することはできない。したがって、動的時間伸縮(DTW)は、現在のセグメントと各候補セグメントとの間の正規化された距離が演算(サンプルの、長さ/量に関して正規化)されうるように(TSSDの)個々のサンプルをアライメントさせるために適用されうる。
次いで、全ての軌跡のマッチング/アライメントされたセグメントをバンドリングし、グループ化/結合して、より長いセグメントを形成しうる(例えば、調整/補正/回転/並進が適用された後)。再帰的に、2つの隣接するマッチング済みセグメント、又はそれぞれマッチング済みセグメントを有する2つの隣接する「より長い接合」セグメント(例えば、接合セグメント)はいくつかの調整/補正/回転/並進に基づいて、組み合わされ/グループ化され/接合されて、2つの隣接セグメントにおけるマッチング済みセグメントが一貫するように、より長い接合セグメントを形成しうる。バンドリング/結合は、個々のマッチしたセグメントがおおよそ正しい位置を有することを可能にする。
第1の軌跡T1のセグメントS1aが第2の軌跡T2のセグメントS2aに一致すると仮定する。更に、T1のセグメントS1bがT2のセグメントS2bに一致すると仮定する。そして、S1a及びS1bは、T1における隣接セグメントであってもよく、一方、S2a及びS2bは隣接セグメントであってもよい(例えば、直接隣接していてもよく、又はある程度隣接していてもよく、1つ以上の他のセグメントによって分離されていてもよい)。
バンドリングにおいて、S1a及びS1bはより長い/接合されたセグメントを形成するように組み合わされてもよく、S2a及びS2bはより長い/接合されたセグメントを形成するように組み合わされてもよい。補正/調整はS1a及びS1b(例えば、特に角度に対する補正)に適用されて、より長い接合セグメントL1を形成し、更にS2a及びS2bに適用されて、L1がL2に一致するように、より長い接合セグメントL2を形成してもよい。T1及びT2は、同じ軌跡であってもよい。
S1aはS2aにマッチし、S1bはS2bにマッチするが、S1aとS1bとの間の相対角度がS2aとS2bとの間の相対角度からあまりにも逸脱しうるので、S1aとS1bとの未処理の結合/結合セグメントはS2aとS2bとの間の未処理の結合/結合セグメントとマッチし得ないことに留意されたい。バンドリング処理において、S1aとS1bとの間のターニングポイントは、S2aとS2bとの間のターニングポイントとロック/ステッチング/アライメントされうる。次いで、S1a及びS2aはそれらがアライメントされるように、調整/補正/回転/並進/スケーリング/長さ調整/補償されうる。次いで、セグメントS1b及びS2bは、調整されたS1a及びS1bが調整されたS2a及びS2bと一致するように、S1a及びS2aに対して(又は、に関して)それぞれ調整/補正/回転/翻訳/スケーリング/長さ調整/補償されてもよい。
第1の軌跡T1の長区間L1aの区間S1aを、第2の軌跡T2の長区間L2aの区間S2aと一致させるものとする。更に、T1のロングセグメントL1bのセグメントS1bが、T2のロングセグメントL2bのセグメントS2bに一致するとする。また、L1a及びL1bはT1中の隣接するロングセグメントであってよく、L2a及びL2bはT2中の隣接するロングセグメントでありうる(「隣接する」は、直接隣接する/連続することを意味しうるか、又は1つ以上の他のセグメントによって分離されている、いくらか隣接することを意味しうる)。ロングセグメントは1つ以上のセグメント(例えば、連続するセグメント、又は連続するセグメントのいくつかの「列(train)」)を備えうる。
バンドリングにおいて、L1a及びL1bは別の長セグメントL1cを形成するために組み合わされてもよく、L2a及びL2bは更に別の長セグメントL2cを形成するために組み合わされてもよい。補正/調整はL1cを形成するためにL1a及びL1bに適用され得(例えば、特に角度に対する補正)、L1cがL2cにマッチングされるように、L1cを形成するためにL2a及びL2bにも適用されうる。T1及びT2は同じ軌跡でありうる。
S1aはS2aと一致してもよいが、未処理のL1aは未処理のL2aと一致しなくてもよい。したがって、L1aとL2aとの何らかの種類の処理(例えば、角度/長さの補正又は調整)が、L1aがL2aと一致するために必要とされうる。同様に、S1bはS2bにマッチングされうるが、未処理のL1bは未処理のL2bとマッチングされ得ない。したがって、L1bがL2bと一致するために、L1b及びL2bの何らかの種類の処理(例えば、角度/長さの補正又は調整)が必要とされうる。更に、L1aとL1bとの間の相対角度がL2aとL2bとの間の相対角度からあまりにも大きく逸脱しうるので、未処理のL1c(結合されたL1aとL1b)は、未処理のL2c(結合されたL2aとL2b)と一致しないことがある。
バンドリング処理では、L1aとL1bとの間のターニングポイントがL2aとL2bとの間のターニングポイントとロック/ステッチング/位置合わせされうる。次いで、L1a及びL2aはそれらがアライメントされるように、調整/補正/回転/長さ調整/補償されうる。次いで、長セグメントL1b及びL2bは調整されたL1cが調整されたL2cと一致するように、それぞれ長セグメントL1a及びL2aに対して(又は、に関して)調整/補正/回転/長さ調整/補償されうる。
一例では、長セグメントL1a、L1b、L2a、及びL2bはそれぞれ、4つの長セグメントのそれぞれにセグメントの「内部」処理/調整が存在しないように、剛体として扱われてもよい。しかし、L1aとL1bとの間の相対角度、及びL2aとL2bとの間の相対角度は、処理/調整されうる。
次いで、マッチング済みセグメント/軌跡が融合されうる。マッチしたセグメントのセット(パスセグメントに関連する)については、セグメントエンドポイントをいくつかの「クラスタ中心」に向けて調整するために、クラスタ内制約又はクラスタ内制約を適用しうる。
個々のセグメントの微調整。一致したセグメントのグループのエンドポイントの座標を考える。グループ内には、各軌跡からの0個、1個、又は1個以上のマッチしたセグメントがあってもよい。セグメントは前のバンドリングステップにおいてマッチングされ、いくらか調整されうるが、セグメントは完全にアライメントされない(即ち、一致しない)ことがある。特に、一致する代わりに、エンドポイントは互いに近接し、クラスタを形成してもよい。クラスタリングは、クラスタの「中心」を見つけるために適用されうる。次いで、エンドポイントの各々は、クラスタ中心に向かって/クラスタ中心に近づくように調整されうる。例えば、各エンドポイントは、エンドポイント及びクラスタ中心の重み付け平均によって置き換えられてもよい。セグメントのエンドポイントが調整されると、その長さもそれに応じて変更される。
マッチング済みセグメント/軌跡の融合において、クラスタ間制約は、見逃された(又は誤って分離された)ターン/エンドポイントを捕捉/識別/発見するために適用されうる。時折、マッチングされるべきいくつかのターンは誤って分離されうる(即ち、マッチングされない)。ターンは第1のセグメントに隣接する第2のセグメント(例えば、第2のバンドリングされたセグメント)の第2のエンドポイントと一致する第1のセグメント(例えば、第1のバンドリングされたセグメント)の第1のエンドポイントである。結束段階では、第1のセグメントが第2のセグメントと組み合わされ/接合されていなければならない。しかし、時には、それらは合成/結合されない。第1のエンドポイントが第2のエンドポイントにマッチングされるべきかどうかを決定するために、(TSSDの)DTWが、第1のエンドポイントに近い第1のセグメントの第1のセクションと、第2のエンドポイントに近い第2のセグメントの第2のセクションとに適用されうる。例えば、第1のセクションは第1のエンドポイント付近の第1のセグメントの第1のパーセンテージ(例えば、50%、40%、30%、20%、10%等)を含んでもよい。同様に、第2のセクションは第2のエンドポイント付近の第2のセグメントの第2のパーセンテージ(例えば、50%、40%、30%、20%、10%等)を含んでもよい。DTWは、1つの軌跡の第1及び第2のセクションと別の軌跡の第1及び第2のセクションとの最適なマッチングスコア(又は距離)を見つけるために適用されうる。最適マッチングスコアが閾値よりも小さい場合、第1のエンドポイントを第2のエンドポイントにマッチングしうる。
更新されたエンドポイント位置(例えば、座標)を用いて、各セグメントは変換(例えば、ヘルマート変換、類似性変換、データ変換、2D変換、3D変換、並進、回転、スケーリング)によって変換/調整されうる。セグメントの各ポイントは、変換によって変換/調整されうる。
次いで、エリア整形が、軌跡に基づいてエリア/体積を生成するために適用されうる。長い軌跡をセグメント化するとき、直線経路セクションを有さないいくつかの曲線セグメントが存在しうる。このような曲線したセグメントは、部屋、曲線した廊下、及び開放空間に関する有用な情報を含みうる。曲線セグメントの位置は、直線セグメントとのその空間的関係から推定しうる。次いで、曲線セグメント上の各ポイントは変換(例えば、ヘルメット変換)によって変換/調整されうる。曲線セグメントは曲線通路、部屋、及び開放空間を再構成するために、直線セグメントでグループ化されてもよい。エリアシェーピングは、Delaunay三角形分割のアルファ形状、アルファ複合体/サブコンプレックス、凸包、最小スパニングツリー、形態学的動作、又は形態学的拡張のうちの少なくとも1つを含む手順を使用して、セグメント/軌跡上の各ポイントをエリア/ボリュームに拡張しうる。
軌跡は幅のない1次元の線であってもよいが、マップ生成システムによって生成されるマップは2Dエリア又は3Dボリュームであってもよい。
以下の番号付けされた項は、マップ生成の例を示している。
項H1.マップ生成システムの方法/デバイス/システム/ソフトウェアであって、ベニュー内のセンシングデータをそれぞれが伴う複数の軌跡を取得することであって、各軌跡が、ベニュー内の個別の物体によってトラバースされる経路を表す時系列の空間座標(TSSC:time series of spatial coordinates)であり、各軌跡が、個別の物体がベニュー内の経路をトラバースする間に収集される少なくとも1つの個別の時系列のセンシングデータ(TSSD:time series of sensing data)を伴う、ことと、各TSSC及びその付随する少なくとも1つのTSSDをセグメント化することと、付随するTSSDに基づいて、セグメントのペア間の類似性を演算することと、演算された類似性に基づいて、複数の軌跡をバンドリングすることと、バンドリングされた軌跡を融合することと、融合された軌跡の形状を演算することと、演算された形状に基づいて、ベニューのマップを生成することと、を含む。
項H2.項H1のマップ生成システムの方法/デバイス/ソフトウェア生成システムの方法/システム/ソフトウェアであって、少なくとも1つの個別のTSSDは、時系列のスマートフォンセンサデータ、時系列のポータブルデバイスセンサデータ、時系列の加速度計データ、時系列のジャイロスコープデータ、時系列の磁力計データ、時系列のホールセンサデータ、時系列の全地球測位システム(GPS)データ、時系列の近接センサデータ、時系列の周囲光センサデータ、時系列の光度計データ、時系列の歩数計データ、時系列の歩数計データ、時系列の気圧計データ、時系列の気温計データ、時系列の空気湿度センサデータ、時系列のガイガーカウンタデータ、時系列のソリセンサデータ、時系列の重力センサデータ、時系列の有害放射線センサデータ、時系列のマイクロフォンデータ、時系列のタッチスクリーンセンサデータ、時系列の心拍数モニタデータ、時系列の近距離無線通信(NFC)センサデータ、時系列のBluetoothデータ、時系列のRFIDデータ、時系列のLiDARセンサデータ、時系列のバーコード/QRコード(登録商標)センサデータ、時系列の無線信号強度、時系列の全地球測位データ、時系列の磁場強度(MFS)、又は時系列の受信信号強度インジケータ(RSSI)、のうちの少なくとも1つを含む。
TSSC及びTSSCは、同じ時間軸に基づいてサンプリングされてよく、このため、時間同期されてもよい。
項H3.項H1のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、各軌跡は、当該軌跡に付随する少なくとも1つの個別のTSSDと時間同期される。
TSSC及びTSSDのサンプリング周波数/期間/タイミングは異なってもよい。TSSC及び/又はTSSDは、一部又は全てのSD及びSCサンプルが時間アライメントされうるように補間されてもよい。
項H4.項H1のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、特定の軌跡のポイントがタイムスタンプと関連付けられ、当該特定の軌跡に付随する特定のTSSDの補間に基づいて、当該ポイントと時間アライメントするように、当該タイムスタンプにおいて補間されたセンシングデータ(SD)を演算することを含む。
セグメント化が各軌跡のTSSCに適用されることで、直線セグメント及び2ターンにそれぞれ関連付けられたTSSCセグメントが識別されうる。TSSCのセグメント化に基づいて、付随するTSSDが、(TSSC及びTSSDが時間同期されうるので)対応するタイムスタンプに基づいてセグメント化されうる。
項H5.項H1のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、各軌跡のTSSCをTSSCセグメントのセットにセグメント化することであって、各TSSCセグメントは、直線セグメントと、直線セグメントの2つの端部における2つのターンとを含む、ことと、各TSSDセグメントがそれぞれのTSSCセグメントと時間同期されるように、軌跡に付随する各TSSDを、TSSCセグメントのセットに基づいてTSSDセグメントのセットにセグメント化することと、を含む。
TSSCのセグメント化を実行するために、直線セグメントが検出されうる。あるいは、ターンが検出されうる。
項H6.項H5のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、軌跡のTSSCにおける直線セグメント又はターンのうちの少なくとも1つを検出することと、検出された直線セグメント又は検出されたターンのうちの少なくとも1つに基づいて、TSSCのTSSCセグメントをセグメント化することと、を含む。
ターンは、TSSD(例えば、加速度計及び/又はジャイロスコープデータ)によって提供される角度/方向の変化を分析/検出することによって検出されうる。
項H7.項H6のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、軌跡に付随する少なくとも1つのTSSDに基づいて、TSSCにおけるターンを検出することを含む。
角度/方向の変化率が閾値を超える場合、ターンが検出されうる。
項H8.項H7のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、少なくとも1つのTSSDの角度の変化率を演算することと、角度の変化率に基づいて、TSSCにおけるターンを検出することと、を含む。
軌跡の個々のセグメントは、(類似性測度を演算/最大化することによって)マッチングされうる。類似性測度を演算するために、異なる長さの2つのセグメントのサンプルをマッピングするための動的時間伸縮が必要とされる。類似性測度は、長さ、サンプリング周波数、持続時間に関して正規化されてもよい。
項H9.項H5のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、第1の軌跡に付随する第1のTSSDの第1のTSSDセグメントと、第2の軌跡に付随する第2のTSSDの第2のTSSDセグメントとの間の類似性測度を演算することと、類似性測度に基づいて、第1の軌跡の第1のTSSCの第1のTSSCセグメントと、第2の軌跡の第2のTSSCの第2のTSSCセグメントとをマッチングすることと、を含む。
個々のサンプルのマッピング。類似性測度は、サンプルレベル距離のアグリゲーション(正規化)であってもよい。
項H10.項H9のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、第1のTSSDセグメント内の各センシングデータ(SD)を第2のTSSDセグメント内の少なくとも1つのSDにマッピングすることと、第1のTSSDセグメント内のSDと第2のTSSDセグメント内のそのマッピングされたSDの各々との間の距離に基づいて、第1のTSSDセグメントと第2のTSSDセグメントとの間の類似性測度を演算することと、を含む。
DTWが、マッピングを行うために使用されうる。
項H11.項H10のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、動的時間伸縮(DTW:dynamic time warping)を実行することによって2つのTSSDセグメント内のSDをマッピングすることを含む。
類似性測度が正規化されてもよい。
項H12.項H9のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、類似性測度が、TSSDセグメントの長さ、TSSCセグメントの長さ、TSSDセグメント内のSDのカウント、TSSCセグメント内のSCのカウント、TSSDセグメントのサンプリングタイミング、TSSCセグメントのサンプリングタイミング、TSSDセグメントのサンプリング周波数、又はTSSCセグメントのサンプリング周波数、のうちの少なくとも1つに関して正規化される。
各TSSCセグメントについて、候補TSSCセグメントのセットが識別される。候補TSSCセグメントは、長さの差が閾値を超える場合、又は角度の差が別の閾値を超える場合、拒絶されうる。類似性測度は、拒絶されない候補TSSCセグメントについてのみ演算されうる。
項H13.項H9のマップ生成システムの方法/デバイス/ソフトウェアであって、各TSSCセグメントは、個別の直線セグメントと関連する長さ、及び2つの個別のターンに関連する2つのターン角と関連付けられており、第1のTSSCセグメントについて、複数の候補TSSCセグメントを決定し、第1のTSSCの第1のターン角と各候補TSSCセグメントの第1のターン角との間の第1の角度微分を演算し、第1のTSSCの第2のターン角と各候補TSSCセグメントの第2のターン角との間の第2の角度微分を演算し、第1の角度微分が第1の閾値よりも大きいか、又は第2の角度微分が第2の閾値よりも大きいか、又は第1の角度微分と第2の角度微分のアグリゲーションが第3の閾値よりも大きい場合、任意の候補TSSCセグメントを拒絶し、第1のTSSCの長さと各候補TSSCセグメントの長さとの間の長さ微分を演算し、第4の閾値よりも大きい長さ微分を有する任意の候補TSSCセグメントを拒絶することを含み、任意の微分は、差分、パーセンテージ差分、比率、分数、パーセンテージ分数、又は上記の組み合わせのうちの少なくとも1つであり、アグリゲーションは、総和、線形結合、平均、重み付け平均、幾何平均、又は調和平均のうちの少なくとも1つを含み、第2のTSSCセグメントは、拒絶されていない候補TSSCセグメントである。
いくつかのTSSCセグメントは、反対方向でありうる。したがって、反対方向を考慮するために、いくつかの追加の角度マッチングが必要とされる。
項H14.項H13のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、第1のTSSCセグメントについて、各候補TSSCセグメントの第1の回転角度と第2の回転角度との間の第3の角度差別化を演算することと、各候補TSSCセグメントの第2の回転角度と第1の回転角度との間の第4の角度差別化を演算することと、条件(a)及び条件(b)の両方が真である場合に、任意の候補TSSCセグメントを拒絶することと、を含み、
条件(a)は、第1の角度差別化が第1の閾値より大きいか、又は第2の角度差別化が第2の閾値より大きいか、又は第1及び第2の角度差別化のアグリゲーションが第3の閾値より大きいことであり、
条件(b)は、第3の角度差別化が第5の閾値より大きいか、又は第4の角度差別化が第6の閾値より大きいか、又は第3及び第4の角度差別化のアグリゲーションが第7の閾値より大きいことである。
軌跡のバンドリングが、軌跡の個々のセグメントのマッチング後に実行されてもよい。
項H15.項H9のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、マッチング済み第1のTSSCセグメント及びマッチング済み第2のTSSCセグメントに基づいて、第1の軌跡及び第2の軌跡をバンドリングすることを含む。
項H16.項H15のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、マッチング済み第1のTSSCセグメント及びマッチング済み第2のTSSCセグメントの、個別の直線セグメント及び2つのターンに基づいて、第1の軌跡及び第2の軌跡をバンドリングすることを含む。
バンドリングでは、軌跡のグローバル幾何学的特性が調整されうる。幾何学的特性は、全軌跡のグローバル(軌跡対軌跡)角度を含みうる。
項H17.項H15のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、第1のTSSC及び第2のTSSCの幾何学的特性を調整することによって、第1の軌跡及び第2の軌跡をバンドリングすることを含む、。
項H18.項H17のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、幾何学的特性は、長さ、スケール、角度、配向、方位、相対的幾何学的特性、相対的長さ、相対的スケール、又は相対的角度を含む。
グローバル幾何学的特性は、軌跡間のいくつかのグローバル類似性を増加/最大化するように調整されうる。
項H19.項H17のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、第1の軌跡(即ち、第1のTSSC)と第2の軌跡との間の第2の類似性測度を増加させるために、第1のTSSC及び第2のTSSCの幾何学的特性を調整することを含む。
バンドリングにおいて:グローバル幾何学的特性を調整することは、軌跡の平行移動(translation)、回転、及びスケーリングを含みうる。ポイントは、平行移動後にロック/アライメント/一致させられうる。その後、ポイントを中心に回転し、スケーリングする。
項H20.項H17のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、第1の軌跡のマッチング済み第1のTSSCセグメントの第1のポイントが、第2の軌跡のマッチング済み第2のTSSCセグメントの第2のポイントと空間的に一致するように、第1のTSSC及び第2のTSSCの幾何学的特性を空間的に平行移動させること、及び、平行移動された第1のTSSCを第1のポイントの周りで、平行移動された第2のTSSCを第2のポイントの周りで回転及びスケーリングすることによって、2つのTSSCの幾何学的特性を調整することを含む。
アライメントポイントは、マッチング済みTSSCセグメントの直線セグメントのエンドポイントであってもよい。
項H21.項H20のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、第1のポイントは、マッチング済み第1のTSSCセグメントの直線セグメントの中心ポイント、非エンドポイント、又は2つのエンドポイントのうちの1つを含み、第2のポイントは、マッチング済み第2のTSSCセグメントの直線セグメントの中心ポイント、非エンドポイント、又は2つのエンドポイントのうちの1つを含む。
アライメントポイントは、TSSCの2つの隣接するマッチング済みTSSCセグメント間のターニングポイントであってもよい。
項H22.項H20のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、第1のポイントは、第1のTSSCセグメントの共通のエンドポイント及び第1の軌跡の第3のTSSCセグメントであり、第2のポイントは、第2のTSSCセグメントの共通のエンドポイント及び第2の軌跡の第4のTSSCセグメントであり、第3のTSSCセグメントは、第1のTSSDの第3のTSSDセグメントと第2のTSSDの第4のTSSDセグメントとの間の類似度に基づいて、第4のTSSCセグメントにマッチングされる。
バンドリングでは、軌跡の隣接するTSSCセグメント間の局所的な幾何学的特性が調整されうる。第3のTSSCセグメントは、第1の軌跡において第1のTSSCセグメントに隣接する。第4のTSSCセグメントは、第2の軌跡において第2のTSSCセグメントに隣接する。第2の幾何学的特性は、2つの隣接する待ち時間セグメント(TSSCセグメント)間の局所(セグメント間)角度を含みうる。
項H23.項H22のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、第1のTSSCセグメントと第1の軌跡の隣接する第3のTSSCセグメントとの間、及び第2のTSSCセグメントと第2の軌跡の隣接する第4のTSSCセグメントとの間で第2の幾何学的特性を調整することを含み、第1の軌跡の第3のTSSCセグメントは、第2の軌跡の第4のTSSCセグメントにマッチングしている。
局所的な幾何学的特性を調整して、局所的な類似性測度を最大化/増加させる。(2つの隣接するTSSCセグメントにわたる)一時的TSSCセグメントが、2つの隣接するTSSCセグメント間の局所的な幾何学的特性を捕捉するように構築されうる。例えば、2つの隣接する直線セグメント間の角度は、1つの軌跡における2つの調整された隣接する直線セグメントが別の軌跡における2つの調整された隣接する直線セグメントとマッチングするように調整されうる。
項H24.項H23のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、第1のTSSCの第1の一時的TSSCセグメントと第2のTSSCの第2の一時的TSSCセグメントとの間の第3の類似性測度を演算することであって、第1の一時的TSSCセグメントは、第1のTSSCセグメントのサブセグメントと第1のTSSCの第3のTSSCセグメントの隣接するサブセグメントとを含み、第2の一時的TSSCセグメントは、第2のTSSCセグメントのサブセグメントと第2のTSSCの第4のTSSCセグメントの隣接するサブセグメントとを含む、ことと、第2の幾何学的特性を調整して、第3の類似性測度を増加させることと、を含む。
第3の類似性測度を演算するために、一時的TSSCセグメント内のSCをアライメントさせる必要がある。
項H25.項H24のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、第1の一時的TSSCセグメント内の各空間座標(SC)を、第2の一時的TSSCセグメント内の少なくとも1つのSCにマッピングすることと、第1の一時的TSSCセグメント内のSCと第2の一時的TSSCセグメント内のそのマッピングされたSCの各々との間の空間距離に基づいて、第1の一時的TSSCセグメントと第2の一時的TSSCセグメントとの間の第3の類似性測度を演算することと、を含む。
項H26.項H25のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、動的時間伸縮(DTW)を実行することによって、2つの一時的TSSCセグメント内のSCをマッピングすることを含む。
軌跡のバンドリング後に、バンドリングされた軌跡が融合されてもよい。何らかの調整が必要とされる。
(1)マッチング済みセグメントのマッチング済みエンドポイントの位置の微調整(エンドポイントのクラスタ内の各エンドポイントをクラスタ中心に向けて移動させる)
(2)マッチングされるべきであったいくつかのマッチングされていないターニングポイント(エンドポイント)を識別する。空間的に隣接し、時間的に隣接していない、マッチング済みセグメントを識別する。(注:時間的に隣接するマッチング済みセグメントは、空間的に隣接していなければならない。しかし、時間的に隣接していないマッチング済みセグメントは、ユーザが軌跡内のパス又はターニングポイントに再び訪れる場合に、空間的に隣接している可能性がある。このステップは、それらを識別し、それらを空間的に隣接しているとマークすることである。)
項H27.項H17のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、バンドリングされた軌跡のマッチング済みTSSCセグメントのエンドポイントを調整することによって、及び時間的に隣接していない、空間的に隣接するマッチング済みセグメントを識別することによって、バンドリングされた軌跡を融合することを含む。
マッチング済みセグメントの、マッチング済みエンドポイントの位置の微調整(エンドポイントのクラスタ内の各エンドポイントをクラスタ中心に向けて移動させる)。
項H28.項H27のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、個別の軌跡の各々の複数のマッチング済みTSSCセグメントを決定することと、マッチング済みTSSCセグメントと関連付けられた、マッチング済みエンドポイントのクラスタを決定することと、複数のマッチング済みエンドポイントのクラスタ中心を演算することと、クラスタ内のマッチング済み各エンドポイントをクラスタ中心に向けて調整することと、を含む。
エンドポイントとクラスタ中心の重み付け平均でエンドポイントを置き換えることによってエンドを調整する。
項H29.項H28のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、クラスタ内の各マッチング済みエンドポイントを、マッチング済みエンドポイントとクラスタ中心との重み付け平均で置き換えることを含む。
エンドポイントをクラスタ中心で置き換えることによってエンドポイントを調整する。
項H30.項H29のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、クラスタ内の各マッチング済みエンドポイントをクラスタ中心によって置き換えることを含む。
調整されていないエンドポイントの残りは、ヘルマート変換を使用してそれに応じて処理される必要がある。
項H31.項H30のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、変換に基づいて、軌跡の調整されていないエンドポイントを変換することを含み、当該変換は、ヘルマート変換、類似性変換、データ変換、2D変換、3D変換、変換、回転、又はスケーリングのうちの少なくとも1つを含む。
マッチングされるべきであった、マッチングされていないターニングポイント(エンドポイント)を識別する。空間的に隣接する、時間的に隣接していないマッチング済みセグメントを識別する。(注:時間的に隣接するマッチング済みセグメントは、空間的に隣接していなければならない。しかし、時間的に隣接していないマッチング済みセグメントは、ユーザが軌跡内のパス又は転ターニングポイントを再び訪れる場合に、空間的に隣接していてもよい。このステップは、それらを識別し、それらを空間的に隣接しているとマークすることである。)-時間的に隣接していないセグメントは、TSSDマッチングに基づいて空間的に接続されてもよい。
項H32.項H27のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、第1のTSSCの第5のTSSCセグメントと第2のTSSCの第6のTSSCセグメントとがマッチングされており、第5のTSSCセグメントが、第1のTSSCの第1のTSSCセグメントに時間的に隣接していないか、又は第6のTSSCセグメントが、第2のTSSCの第2のTSSCセグメントに時間的に隣接しておらず、
第1のTSSDセグメントのサブセグメントと第1のTSSDの第5のTSSDセグメントのサブセグメントとの連結に基づいて、第1の一時的TSSDセグメントを構築することであって、第5のTSSDセグメントは第5のTSSCセグメントと関連付けられている、ことと、第2のTSSDセグメントのサブセグメントと第2のTSSDの第6のTSSDセグメントのサブセグメントとの連結に基づいて、第2の一時的TSSDセグメントを構築することであって、第6のTSSDセグメントは第2のTSSDセグメントに関連付けられている、ことと、第1の一時的TSSDセグメントと第2の一時的TSSDセグメントとの間の類似性測定を演算することと、マップにおいて第1のTSSCセグメントと、時間的に隣接しない第5のTSSCセグメントとの間の空間的に隣接する関係を演算することと、マップにおいて第2のTSSCセグメントと、時間的に隣接しない第6のTSSCセグメントとの間の空間的に隣接する関係を演算することと、を含む。
2つの時間的に隣接していないセグメントが空間的に隣接している場合、それらはマップ内で接続されるべきである。
項H33.項H31のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、マップにおいて第1のTSSCセグメントと、時間的に隣接しない第5のTSSCセグメントとを、それらの空間的に隣接する関係に基づいて空間的に接続することと、マップにおいて第2のTSSCセグメントと、時間的に隣接しない第6のTSSCセグメントとを、それらの空間的に隣接する関係に基づいて空間的に接続することとを含む。
類似性測度は、DTWに基づいて演算されうる。
項H34.項H31のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、動的時間伸縮(DTW)に基づいて、第1の一時的TSSDセグメントと第2の一時的TSSDセグメントとの間の類似性測度を演算することを含む。
融合された軌跡上の各SCを拡張して、それに幅/長さ、面積、又は体積を与えることによって、形状を演算する。
項H35.項H27のマップ生成システムの方法/デバイス/システム/ソフトウェアは、融合軌跡の各ポイントをエリア又はボリュームに拡張することによって、融合軌跡の形状を演算することを含む。
アルファシェーピングに基づいてシェイプを演算する。
項H36.項H35のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、整形に基づいて、融合軌跡の形状を演算することを含み、当該整形は、アルファ形状、ドロネー三角形分割(Delaunay triangulation)のアルファ複合体若しくはサブ複合体、凸包、最小スパニングツリー、形態学的(morphological)操作、又は形態学的拡張のうちの少なくとも1つを含む。
曲線セグメントを含む(即ち、直線セグメントではない)。
項H37.項H27のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、融合軌跡は、直線セグメントと関連しない、軌跡の曲線セグメントを含む。
曲線セグメントは、幾何学的に調整される必要がある。
項H38.項H37のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、直線セグメントと関連付けられたTSSCセグメントとの空間関係に基づいて、曲線セグメントの幾何学的特性を調整することを含み、幾何学的特性は、位置、角度、及びサイズのうちの少なくとも1つを含む。
曲線セグメントは、平行移動、回転、及びスケーリングに基づいて幾何学的に調整される必要がある。
項H39.項H38のマップ生成システムの方法/デバイス/システム/ソフトウェアであって、並行移動に基づいて曲線セグメントの位置を調整することと、回転に基づいて曲線セグメントの角度を調整することと、スケーリングに基づいて曲線セグメントのサイズを調整することとを含む。
いくつかの実施形態では、非人間認識のための、非人間(例えば、ペット、ファン、電気機器、機械振動、又はiRobot)に起因した人間対動作による動きを区別するためのシステム及び方法が開示される。
ステップ1において、システムは、タイプ1デバイスによって送信され、タイプ2デバイスによって受信された無線信号からTSCIを取得しうる。動きは、物体(例えば、人間、非人間、ペット、又はロボット真空掃除機)によるものでありうる。
ステップ2において、システムはTSCIに基づいて(例えば、各CIの大きさ又は位相等の第1の特徴に基づいて)自己相関関数(ACF)を演算し、ACFの第2の特徴(例えば、ピーク又は局所的な最大値、谷又は局所的な最小値)を識別しうる。
ステップ3において、システムは、ACFピーク平均、ACF谷平均、ACFピーク間隔距離、及びACF谷間隔距離を含む、いくつかのACFベースの統計を演算しうる。
ACFピーク/谷平均は各時間インスタンスについてACFの局所最大値(ACFピーク平均について)又は局所最小値(ACF谷平均について)の個数を演算し、時間インスタンスについての局所最大値/最小値の個数の「第1の平均」(例えば、重み付け平均、算術平均、幾何平均、調和平均、パーセンタイル、中央値、最大、最小、モード)を演算し、次いで、時間ウィンドウにおける時間インスタンスの全ての第1の平均の「第2の平均」(例えば、「第1の平均」、又はフィルタリング、又はローパスフィルタリング)を演算することによって演算されうる。代替的に、ACFピーク/谷平均は各時間インスタンスについてACFのグローバル最大値(ACFピーク平均について)又はグローバル最小値(ACF谷平均について)を演算し、次いで、時間ウィンドウ内の時間インスタンスの全てのグローバル最大値/最小値の「第2の平均」を演算することによって演算されうる。これは(a)の特別な場合であり、「第1の平均」は最大(ACFピーク平均について)又は最小(ACF谷平均について)である。
ACFピーク/谷間隔距離は、各時間インスタンスについてACFの局所最大値(ACFピーク間隔距離について)又は局所最小値(ACF谷間隔距離について)の個数を演算すること、時間インスタンスについてACFの隣接/隣接局所最大値/最小値の対の間の時間的距離又は時間的間隔である間隔の個数を演算すること、時間インスタンスについての間隔の個数の「第1の平均」を演算すること、及び時間ウィンドウ内の時間インスタンスの全ての第1の平均の「第2の平均」(重み付け平均化、又はフィルタリング、又はローパスフィルタリング等)を演算することによって演算されうる。
ステップ4において、システムは各時間インスタンスについてACF(例えば、固定時間遅延T1におけるACF)に基づいて動き統計(MS)を演算しうる。例えば、T1=1の場合、MSは、TRRS、内積、又はTSCIに基づきうる。あるいは、T1=kの係数でダウンサンプリングされたTSCIに基づくTRRSのためのkである。システムは、MS平均、及び時間ウィンドウにおけるMS分散等、いくつかのMSベースの統計を演算しうる。
動き統計平均は、時間ウィンドウ内の時間インスタンスの全ての動き統計値の「第2の平均」(第1の平均、フィルタリング、又はローパスフィルタリング等)を演算することによって演算されうる。運動統計分散は、時間ウィンドウ内の時間インスタンスの全ての運動統計の「分散、標準偏差、変動、微分、全偏差、二乗変動、スプレッド、分散、分散、絶対偏差、二乗偏差、二乗偏差、全偏差、全偏差、分岐、範囲、四分位範囲、歪度、尖度、Lモーメント、分散係数、四分位係数、平均絶対差、ジニ係数、相対平均差、中央絶対偏差、平均絶対偏差、距離標準偏差、分散係数、エントロピー、分散対平均比、最大対最小比、変動測度、規則性測度、類似性測度、尤度、確率分布関数、サンプル分布、モーメント生成機能、期待値、期待関数」等の「変動測度」を演算することによって演算しうる。
ステップ5において、システムは、いくつかの時間インスタンスについてCSIのACFに基づいて物体の動きの速度を演算しうる。システムは、速度の時系列(TSSP)を取得しうる。TSSPのサンプリング周波数は、TSCIのサンプリング周波数よりも低くてもよい。次いで、システムはいくつかの歩行統計(例えば、歩行の存在、歩行サイクル時間、ステップサイクル時間、Nサイクル時間、歩行サイクル距離、ステップサイクル距離、TSSPに基づくNサイクル距離)、及びいくつかの単純な速度統計(例えば、速度平均、速度変動測定、速度パーセンタイル、速度ヒストグラム)を含む速度ベースの統計を演算しうる。
ステップ6において、システムはTSSPのピーク(局所最大値)、谷(局所最小値)及び/又はゼロクロスを識別し、「偽ピーク」、「偽谷」及び/又は「偽ゼロクロス」を除去することによって、ピーク、谷及びゼロクロスを処理しうる。誤ったピーク及び誤った谷は対で除去されうる(即ち、1つの誤ったピークは、1つの隣接する/隣接する誤った谷と共に除去されうる)。誤ったゼロクロスは対で除去されうる(即ち、2つの直接隣接するゼロクロスは、一緒に除去されうる)。ゼロクロスは、平均減算TSSPのゼロクロスとして演算されうる。
ステップ7において、システムは、TSSP(又は単にTSSP)のピーク、谷、及び/又はゼロクロスに基づいて、物体の動きの歩行挙動の存在を演算しうる。歩行挙動の有効な存在のために、山、谷、又はゼロクロスのカウントは、上限(第1の閾値によって)及び/又は下限(第2の閾値によって)されうる。
ステップ8において、歩行挙動が検出された場合(即ち、歩行が存在する場合)、システムは歩行統計(例えば、歩行サイクル時間、ステップサイクル時間、歩行長、ステップ長)を演算しうる。これは、以下のサブステップを含みうる。
サブステップ8aにおいて、システムは複数の「間隔」を演算することができ、各々は、隣接する/隣接するピーク又は谷又はゼロクロスの対の間の時間的距離又は時間的間隔である。
サブステップ8bにおいて、システムは「間隔」の個数に対応するTSSPに基づいて、いくつかの「間隔距離」を演算することができ、各「間隔距離」は、対応する間隔において物体がトラバースする距離である。間隔距離は対応する間隔と、その間隔における「代表速度」(例えば、速度の「第1の平均」又は「第2の平均」)との積として演算されうる。あるいは、間隔が2つ以上の互いに素なサブ間隔に細分されてもよい。サブインターバル距離は、サブインターバルにおける「代表速度」とサブインターバルとの積として演算されうる。間隔距離は、2つ以上の対応するサブ間隔距離の「第1の平均」又は「第2の平均」として演算しうる。
サブステップ8cにおいて、システムはすぐ隣接するピークの対の間の間隔の第1の「第2の平均」、又はすぐ隣接する谷の対の間の間隔の第2の「第2の平均」、又は1つおきのゼロクロスの対の間の間隔の第3の「第2の平均」(即ち、第1と第3のゼロクロスの間、又はk番目と(k+2)番目のゼロクロスの間)、又は第1の「第2の平均」、第2の「第2の平均」及び/又は第3の「第2の平均」の重み付け平均として、歩行サイクル時間を演算しうる。
サブステップ8dにおいて、システムは、歩幅サイクル時間の半分としてステップサイクル時間を演算しうる。代替的に、ステップサイクル時間は直接隣接するゼロクロスの対間(即ち、第1のゼロクロスと第2のゼロクロスとの間、又はk番目と(k+1)番目のゼロクロスとの間)の間隔の第4の「第2の平均」に基づいて演算されうる。
サブステップ8eにおいて、Nサイクル時間は、N個のピーク、又はN個の谷、又は2N個のゼロクロスに及ぶ間隔として演算されうる。
サブステップ8fにおいて、システムは、間隔距離に基づいて、ステップサイクル距離、歩幅サイクル距離、及び/又はNサイクル距離を演算しうる。ステップサイクル距離、ストライドサイクル距離、又はNサイクル距離は、ステップサイクル時間、ストライドサイクル時間、又はNサイクル時間において物体の動きによってトラバースされる距離として定義されうる。ステップサイクル距離、歩幅サイクル距離、又はNサイクル距離は、対応するステップサイクル時間、歩幅サイクル時間、又はNサイクル時間内の全ての間隔に関連する間隔距離の合計に基づいて演算されうる。ステップサイクル距離、歩幅サイクル距離、又はNサイクル距離は、第1の平均又は第2の平均を使用して、ある期間にわたって平均化されうる。
ステップ9において、システムはある期間にわたって、いくつかの単純な速度統計値(例えば、上記で定義されたような速度の第2の平均、上記で定義されたような速度の「変動測定」、速度25パーセンタイル、速度50パーセンタイル/中央速度、速度75パーセンタイル)を演算しうる。期間内の速度のヒストグラムを演算しうる。任意の速度パーセンタイル又は変動測度が、ヒストグラムに基づいて演算されうる。
ステップ10において、システムは、ACFベースの統計、MSベースの統計、速度ベースの統計(歩行統計及び単純速度統計の両方を含む)に基づいてモニタリングタスクを実行しうる。モニタリングタスクは、人間、人間の成人、高齢者、小児、乳児、非人間、非人間のペット、非人間のロボット、非人間の機械のうちの少なくとも2つの分類/検出/認識/識別情報/存在/不在/出現/消失/ADL(日常生活動作)のうちの少なくとも1つを含む。タスクは、ジェスチャ認識、トラッキング、位置特定、位置特定、ナビゲーションを含みうる。タスクは、機械学習、分類器、教師あり学習、教師なし学習、半教師あり学習、クラスタリング、特徴抽出、特徴トレーニング、特徴トレーニング、主成分分析、固有分解、周波数分解、時間分解、時間周波数分解、トレーニング、弁別トレーニング、教師ありトレーニング、教師なしトレーニング、半教師ありトレーニング、ニューラルネットワーク、ディープラーニングに基づいて実行されうる。
次の番号付き節は、マップ生成の例を示している。
項I1.マップ生成のためのシステムであって、ベニュー内でセンシングデータを収集し、複数の軌跡を取得するように構成されたセンサであって、各軌跡は、ベニュー内の個別の物体によってトラバースされる経路を表す、時系列の空間座標(TSSC)であり、各TSSCは、収集された少なくとも1つの個別の時系列のセンシングデータ(TSSD)を伴う一方で、個別の物体は、ベニュー内の経路をトラバースする、センサと、プロセッサとを備え、当該プロセッサは、各TSSC及びそれに付随する少なくとも1つのTSSDを複数のセグメントにセグメント化することと、セグメントのペア間の類似性測度に基づいて、複数の軌跡をバンドリングすることと、バンドリングされた軌跡を融合することで融合軌跡を生成することと、融合軌跡の形状を演算することと、演算された形状に基づいてベニューのマップを生成することと、を行うように構成される。
項I2.項I1のシステムであって、各軌跡は、当該軌跡に付随する少なくとも1つの個別のTSSDと時間同期され、少なくとも1つの個別のTSSDは、時系列のスマートフォンセンサデータ、時系列のポータブルデバイスセンサデータ、時系列の加速度計データ、時系列のジャイロスコープデータ、時系列の磁力計データ、時系列の無線信号強度、時系列の全地球測位データ、時系列の磁場強度(MFS)、又は時系列の受信信号強度インジケータ(RSSI)、のうちの少なくとも1つを含む。
項I3.項I2のシステムであって、プロセッサは更に、各軌跡のTSSCをTSSCセグメントのセットにセグメント化することであって、各TSSCセグメントは、直線セグメントと、直線セグメントの2つの端部における2つのターンとを含む、ことと、各TSSDセグメントがそれぞれのTSSCセグメントと時間同期されるように、軌跡に付随する各TSSDを、TSSCセグメントのセットに基づいてTSSDセグメントのセットにセグメント化することと、を行うように構成される。
項I4.項I3のシステムであって、各軌跡のTSSCをセグメント化することは、当該軌跡のTSSCにおける直線セグメント及びターンを検出することであって、TSSCにおけるターンは当該軌跡に付随する少なくとも1つのTSSDの角度の変化率に基づいて検出される、ことと、検出された直線セグメント又は検出されたターンのうちの少なくとも1つに基づいて、TSSCのTSSCセグメントを生成するようにTSSCをセグメント化することと、を含む。
項I5.項I4のシステムであって、プロセッサは更に、第1の軌跡に付随する第1のTSSDの第1のTSSDセグメントと、第2の軌跡に付随する第2のTSSDの第2のTSSDセグメントとの間の類似性測度を演算することと、類似性測度に基づいて、第1の軌跡の第1のTSSCの第1のTSSCセグメントと、第2の軌跡の第2のTSSCの第2のTSSCセグメントとをマッチングすることで、マッチングされた第1のTSSCセグメントとマッチングされた第2のTSSCセグメントとを生成することと、を行うように構成される。
項I6.項I6のシステムであって、プロセッサは更に、動的時間伸縮(DTW)に基づいて、第1のTSSDセグメント内の各センシングデータ(SD)を第2のTSSDセグメント内の少なくとも1つのSDにマッピングすることと、第1のTSSDセグメント内の各SDと第2のTSSDセグメント内のそのマッピングされたSDの各々との間の距離に基づいて、第1のTSSDセグメントと第2のTSSDセグメントとの間の類似性測度を演算することと、を行うように構成される。
項I7.項I6のシステムであって、
類似性測度が、TSSDセグメントの長さ、TSSCセグメントの長さ、TSSDセグメント内のSDのカウント、TSSCセグメント内のSCのカウント、TSSDセグメントのサンプリングタイミング、TSSCセグメントのサンプリングタイミング、TSSDセグメントのサンプリング周波数、又はTSSCセグメントのサンプリング周波数、のうちの少なくとも1つに関して正規化され、
各TSSCセグメントは、個別の直線セグメントと関連する長さ、及び2つの個別のターンに関連する2つのターン角と関連付けられている。
項I8.項7のシステムであって、第1のTSSCセグメントについて、プロセッサは更に、複数の候補TSSCセグメントを決定し、第1のTSSCの第1のターン角と各候補TSSCセグメントの第1のターン角との間の第1の角度微分を演算し、第1のTSSCの第2のターン角と各候補TSSCセグメントの第2のターン角との間の第2の角度微分を演算し、第1の角度微分が第1の閾値よりも大きいか、又は第2の角度微分が第2の閾値よりも大きいか、又は第1の角度微分と第2の角度微分のアグリゲーションが第3の閾値よりも大きい場合、任意の候補TSSCセグメントを拒絶し、第1のTSSCの長さと各候補TSSCセグメントの長さとの間の長さ微分を演算し、第4の閾値よりも大きい長さ微分を有する任意の候補TSSCセグメントを拒絶することを行うように構成され、第2のTSSCセグメントは、拒絶されていない候補TSSCセグメントである。
項I9.項I8のシステムであって、
第1のTSSCセグメントについて、各候補TSSCセグメントの第1の回転角度と第2の回転角度との間の第3の角度差別化を演算することと、各候補TSSCセグメントの第2の回転角度と第1の回転角度との間の第4の角度差別化を演算することと、
(a)第1の角度差別化が第1の閾値より大きいか、又は第2の角度差別化が第2の閾値より大きいか、又は第1及び第2の角度差別化のアグリゲーションが第3の閾値より大きいこと、かつ、(b)第3の角度差別化が第5の閾値より大きいか、又は第4の角度差別化が第6の閾値より大きいか、又は第3及び第4の角度差別化のアグリゲーションが第7の閾値より大きいこと、の両方である場合に、任意の候補TSSCセグメントを拒絶することと、を行うように構成される。
項I10.項I9のシステムであって、プロセッサは更に、マッチング済み第1のTSSCセグメント及びマッチング済み第2のTSSCセグメントの、個別の直線セグメント及び個別の2つのターンに基づいて、第1の軌跡及び第2の軌跡をバンドリングするように構成され、第1のTSSC及び第2のTSSCの幾何学的特性を調整することによって、第1の軌跡と第2の軌跡との間の第2の類似性測度を増加させるように、第1の軌跡及び第2の軌跡がバンドリンクされる。
項I11.項10のシステムであって、第1のTSSC及び第2のTSSCの幾何学的特性を調整することは、第1の軌跡のマッチング済み第1のTSSCセグメントの第1のポイントが、第2の軌跡のマッチング済み第2のTSSCセグメントの第2のポイントと空間的に一致するように、第1のTSSC及び第2のTSSCの幾何学的特性を空間的に平行移動させること、及び、平行移動された第1のTSSCを第1のポイントの周りで、平行移動された第2のTSSCを第2のポイントの周りで回転及びスケーリングすることを含む。
項I12.項I11のシステムであって、第1のポイントは、第1のTSSCセグメントの共通のエンドポイント及び第1の軌跡の第3のTSSCセグメントであり、第2のポイントは、第2のTSSCセグメントの共通のエンドポイント及び第2の軌跡の第4のTSSCセグメントであり、第3のTSSCセグメントは、第1のTSSDの第3のTSSDセグメントと第2のTSSDの第4のTSSDセグメントとの間の類似度に基づいて、第4のTSSCセグメントにマッチングされる。
項I13.項I12のシステムであって、プロセッサは更に、第1のTSSCセグメントと第1の軌跡の第3のTSSCセグメントとの間の第1の幾何学的特性を調整することと、第2のTSSCセグメントと第2の軌跡の第4のTSSCセグメントとの間の第2の幾何学的特性を調整することと、を行うように構成される。
項I14.項13のシステムであって、第1のTSSCの第1の一時的TSSCセグメントと第2のTSSCの第2の一時的TSSCセグメントとの間の第3の類似性測度を演算することであって、第1の一時的TSSCセグメントは、第1のTSSCセグメントのサブセグメントと第1のTSSCの第3のTSSCセグメントの隣接するサブセグメントとを含み、第2の一時的TSSCセグメントは、第2のTSSCセグメントのサブセグメントと第2のTSSCの第4のTSSCセグメントの隣接するサブセグメントとを含む、ことと、を含み、第1の幾何学特性及び第2の幾何学的特性が調整されることで、第3の類似性測度が増加させられる。
項I15.項I14のシステムであって、第3の類似性測度を演算することは、動的時間伸縮(DTW)に基づいて、第1の一時的TSSCセグメント内の各空間座標(SC)を、第2の一時的TSSCセグメント内の少なくとも1つのSCにマッピングすることと、第1の一時的TSSCセグメント内の各SCと第2の一時的TSSCセグメント内のそのマッピングされたSCの各々との間の空間距離に基づいて、第1の一時的TSSCセグメントと第2の一時的TSSCセグメントとの間の第3の類似性測度を演算することと、を含む。
項I16.項I15のシステムであって、プロセッサは更に、バンドリングされた軌跡のマッチング済みTSSCセグメントのエンドポイントを調整することと、時間的に隣接していない、空間的に隣接するマッチング済みセグメントを識別することと、に基づいて、バンドリングされた軌跡を融合するように構成される。
項I17.項16のシステムであって、エンドポイントを調整することは、個別の軌跡から複数のマッチング済みTSSCセグメントを決定することと、複数のマッチング済みTSSCセグメントと関連付けられた、マッチング済みエンドポイントのクラスタを決定することと、マッチング済みエンドポイントのクラスタのクラスタ中心を演算することと、当該クラスタ内の各マッチング済みエンドポイントをクラスタ中心に向けて調整することと、を含む。
項I18.項17のシステムであって、エンドポイントを調整することは、クラスタ内の各マッチング済みエンドポイントを、マッチング済みエンドポイントとクラスタ中心との重み付け平均で置き換えること、又はクラスタ内の各マッチしたエンドポイントを、クラスタ中心で置き換えること、のうちの少なくとも1つを更に含む。
項I19.項I18のシステムであって、第1のTSSCの第5のTSSCセグメントと第2のTSSCの第6のTSSCセグメントとがマッチングされており、第5のTSSCセグメントが、第1のTSSCの第1のTSSCセグメントに時間的に隣接していないか、又は第6のTSSCセグメントが、第2のTSSCの第2のTSSCセグメントに時間的に隣接していない。
項I20.項I19のシステムであって、プロセッサは更に、第1のTSSDセグメントのサブセグメントと第1のTSSDの第5のTSSDセグメントのサブセグメントとの連結に基づいて、第1の一時的TSSDセグメントを構築することであって、第5のTSSDセグメントは第5のTSSCセグメントと関連付けられている、ことと、第2のTSSDセグメントのサブセグメントと第2のTSSDの第6のTSSDセグメントのサブセグメントとの連結に基づいて、第2の一時的TSSDセグメントを構築することであって、第6のTSSDセグメントは第6のTSSDセグメントに関連付けられている、ことと、第1の一時的TSSDセグメントと第2の一時的TSSDセグメントとの間の類似性測定を演算することと、マップにおいて第1のTSSCセグメントと、時間的に隣接しない第5のTSSCセグメントとの間の第1の隣接する関係を演算することと、マップにおいて第2のTSSCセグメントと、時間的に隣接しない第6のTSSCセグメントとの間の第2の隣接する関係を演算することと、を行うように構成される。
項I21.項I20のシステムであって、プロセッサは更に、マップにおいて第1のTSSCセグメントと、時間的に隣接しない第5のTSSCセグメントとを、第1の隣接する関係に基づいて空間的に接続することと、マップにおいて第2のTSSCセグメントと、時間的に隣接しない第6のTSSCセグメントとを、第2の空間的に隣接する関係に基づいて空間的に接続することと、を行うように構成される。
項I22.項I21のシステムであって、プロセッサは更に、融合軌跡の各ポイントをエリア又はボリュームに拡張することによって、融合軌跡の形状を演算することであって、融合軌跡は、直線セグメントと関連しない、軌跡の曲線セグメントを含む、ことと、直線セグメントと関連付けられたTSSCセグメントとの空間関係に基づいて、曲線セグメントの幾何学的特性を調整することと、を行うように構成される。
項I23.項I22のシステムであって、曲線セグメントの幾何学的特性を調整することは、並行移動に基づいて曲線セグメントの位置を調整することと、回転に基づいて曲線セグメントの角度を調整することと、スケーリングに基づいて曲線セグメントのサイズを調整することと、のうちの少なくとも1つを含む。
項I24.マップ生成のための装置であって、ベニュー内のセンシングデータを収集し、複数の軌跡を取得するように構成されたセンサであって、各軌跡は、ベニュー内の個別の物体によってトラバースされる経路を表す時系列の空間座標(TSSC)であり、各TSSCは、個別の物体がベニュー内の経路をトラバースする間に収集される少なくとも1つの個別の時系列のセンシングデータ(TSSD)を伴う、センサと、センサに通信可能に結合され、各TSSC及びそれに付随する少なくとも1つのTSSDをセグメントにセグメント化し、セグメントのペア間の類似性測度に基づいて複数の軌跡をバンドリングし、バンドリングされた軌跡を融合して融合軌跡を生成し、融合軌跡の形状を演算し、演算された形状に基づいてベニューのマップを生成するように構成されたプロセッサと、を備える。
項I25.マップ生成のための方法であって、センシングデータ及びベニュー内の複数の軌跡を取得することであって、各軌跡は、ベニュー内の個別の物体によってトラバースされる経路を表す時系列の空間座標(TSSC)であり、各TSSCは、個別の物体がベニュー内の経路をトラバースする間に収集される少なくとも1つの個別の時系列のセンシングデータ(TSSD)を伴う、ことと、各TSSC及びそれに付随する少なくとも1つのTSSDをセグメントにセグメント化することと、セグメントのペア間の類似性測度に基づいて複数の軌跡をバンドリングすることと、バンドリングされた軌跡を融合して融合された軌跡を生成することと、融合された軌跡の形状を演算することと、演算された形状に基づいてベニューのマップを生成することと、を含む。
いくつかの実施形態では、例えばACFエンハンスメントを用いて、無線バイタルサインモニタリングを実行するためのシステムが開示される。システムは送信機から受信機に送信される無線信号から得られる時系列のチャネル情報(TSCI)を使用して、TSCIに基づいて、ベニュー内の物体(例えば、人、ユーザ、ベビー)のバイタルサイン(例えば、呼吸又は心拍又は周期的動作)を検出しうる。
チャネル情報(CI)は、受信された無線信号から取得されたチャネルインパルス応答(CIR)、チャネル周波数応答(CFR)、及び/又はチャネル状態情報(CSI)、RSSI等でありうる。無線信号は、ミリ波/UWB/レーダ信号であってもよい。送信機及び受信機は同じ場所に(例えば、同じデバイス上に、又はレーダの場合等の同じ回路基板上に)、又は異なる場所に配置されうる。
いくつかの実施形態では、バイタルサインが、画像処理フィルタリングを使用してエンハンスされるTSCIの2次元(2D)分解に基づいて検出される。2D分解の構築を実行するために、各CIについて、CI特徴ベクトルが構築される。CI特徴ベクトルは、CIの第1の基本特徴と、対応する雑音除去されたCIの第2の基本特徴との連結によって構築されうる。雑音除去されたCIは例えば、位相(CI_1~CI_2)に基づいて、いくつかの単純な雑音除去を使用して取得されてよく、ここで、1及び2は、ここでは2つの異なる空間ストリームを指す。CIの任意の基本的特徴は、CI自体、CIの大きさ、CIの位相、CIのコンポーネントの大きさ、CIのコンポーネントの位相、又は任意の大きさ/位相の機能を含みうる。対応する雑音除去されたCIの第2の基本特徴は、2つの時間的に隣接するCIの位相間の差を含みうる。
いくつかの実施形態では、2D分解がTSCIのスライディング時間ウィンドウにおいて実行される。スライディング時間ウィンドウは、タイムスタンプ(時間スタンプ)又は時間インデックスと関連付けられる。i番目のスライディングウィンドウの時間インデックスをiとし、これを「リアルタイム」と呼ぶ。スライディングウィンドウ及び次のスライディングウィンドウは2つの直接隣接するスライディングウィンドウ時間インデックス間の時間差(即ち、時間インデックスkとk+1との間の時間差)に対応する重複(例えば、10%重複、50%重複、90%重複)を有しうる。スライディング時間ウィンドウのサイズは、経時的に調整されうる。サイズは、センシングタスクの開始時に小さくてもよく、経時的に増加してもよい。
いくつかの実施形態では、各スライディングウィンドウにおいて、特性関数は変換に基づいて演算される。特性関数は時間ウィンドウ内のCI特徴の時間関数(例えば、変換は、自己相関関数(ACF)、又は自己共分散関数等でありうる)でありうる。ACFの時間インデックス(即ち、時間シフト)をjとする。バイタルサイン信号は周期信号である。i番目のスライディング時間ウィンドウでは、特性(時間)関数が周期的バイタルサイン信号の期間(又は周波数)に対応する、ある時間シフトにおけるピーク(極大)を有する。それはまた、時間シフトにおいて、周期の整数倍である追加のピークを有する可能性がある。
いくつかの実施形態では、サイズMxNの2D行列Aがスライドする時間ウィンドウの時間インデックスに従って時間関数を一緒にすることによって形成される。a(i,j)を列i及び行jにおけるAの要素とすると、i=1、..、M、j=1,..、Nである。Aのi番目の列(即ち、a(i,*))は、i番目のスライディング時間ウィンドウにおけるスライディング時間関数を表す。a(i,j)のインデックスjはi番目のスライディング時間ウィンドウにおける時間関数の時間シフトであり、a(i,j)は、その時間シフトにおける時間関数(例えばACF)の値である。2D行列Aは、(I,j)番目の画素における画像強度である(I,j)を用いて画像として扱うことができる。
いくつかの実施形態では、バイタルサインの周波数/周期が非常にゆっくりと変更する(即ち、短い時間変更内でほとんど変更しない)につれて、ピーク(局所最大値)は、画像内で水平線又はほぼ水平線を形成すべきである。しかし、以下で説明するエンハンスメントなしでは、水平線が雑音のために現実世界の状況ではほとんど見えないか、又は検出可能ではない場合がある。このエンハンスメントにより、水平線は、より目に見えるようになるか、又は検出可能になりうる。
いくつかの実施形態では、特性関数がスライディング時間ウィンドウ内のCI特徴の周波数関数(例えば、スペクトル/パワースペクトル密度/短時間フーリエ変換/ウェーブレット変換/三角変換/正弦波変換/周波数分解/フィルタバンク)であってもよい。摺動周波数関数の周波数インデックスをjとする。バイタルサイン信号は周期信号である。i番目のスライディング時間ウィンドウでは、スライディング機能が周期的バイタルサインの基本周波数(又は期間)に対応する特定の周波数でピーク(極大)を有する。基本周波数の整数倍で高調波に追加のピークが存在複数。
いくつかの実施形態では、サイズMxNの2D行列Bがスライディング時間ウィンドウの時間インデックスに従って周波数関数を一緒にすることによって形成される。b(i,j)を列iにおけるBの要素とし、行j、i=1、..、M、j=1,..、Nとすると、Bのi番目の列(即ち、b(i,*))は、i番目のスライディング時間ウィンドウにおけるスライディング周波数関数を表す。b(i,j)のインデックスjは、i番目のスライディング時間ウィンドウにおける周波数関数の周波数インデックスであり、b(i,j)は、その周波数インデックスにおける値である。2D行列Aと同様に、2D行列Bは画像として扱うことができ、b(i,j)は、(i,j)番目の画素における画像強度である。バイタルサインの周波数/周期が非常にゆっくりと変化する(即ち、短い時間変化内にほとんど変化しない)ので、ピーク(局所最大値)は、画像内に1つ以上の水平線、又はほぼ水平線を形成すべきである。しかし、以下で説明するエンハンスメントなしでは、水平線が雑音のために現実世界の状況ではほとんど見えないか、又は検出可能ではない場合がある。このエンハンスメントにより、水平線は、より目に見えるようになるか、又は検出可能になりうる。
バイタルサインは2D行列A又はBにおける水平線を検出することによって検出されうる。しかし、雑音のために、多くの場合、ピーク及び/又は水平線は、明白ではない場合がある。したがって、システムは特に、画像処理フィルタを適用することによって、2D分解、ピークをエンハンスしうる。
いくつかの実施形態では、2D分解の強調を実行するために、画像処理フィルタは垂直ハイパスフィルタ及び水平ローパスフィルタを備えうる。水平ローパスフィルタは、2D分解における水平線構造を利用するために使用されうる。垂直ハイパスフィルタリング及び水平ローパスフィルタリングは、一緒に又は別々に行うことができる。別個の垂直ハイパスフィルタ、別個の水平ローパスフィルタ、及び/又はジョイント垂直ハイパス水平ローパスフィルタは、線形(例えば、FIRフィルタ)又は非線形(例えば、中央値フィルタ、パーセンタイル、ソーティング)でありうる。複数のフィルタリング順序が可能であり、例えば、垂直ハイパスが最初に、続いて水平ローパス、又は水平ローパスが最初に、続いて垂直ハイパスが可能である。例えば、最初に垂直ハイパス、次に水平ローパス、次に垂直ハイパス、又は最初に水平ローパス、次に別の水平ローパス、次に垂直ハイパスといった一連のフィルタリングが存在しうる。
垂直フィルタリングの場合、フィルタリングは、各列、又は3列若しくは5列若しくはk列等の列のグループに適用されうる。1列フィルタリング(即ち、各列に適用されるフィルタリング)のために、システムは2D行列の各列(A又はB)をタイミング信号x(t)として考慮し、1次元ハイパスフィルタ(例えば、[-1]、[1 -1]、又は[-1-2-1]、又は[-2-4-2]、又は[-1-1 3 -3 1]、又は[-1 0 2 0 -1]、又は[-1-1 4 0 2 0 -1]、又は[-1-1 4 -6 4 -1]等)を適用して、フィルタリングされた信号y(t)を得ることができる。フィルタリングされた信号y(t)は、エンハンスされた列(即ち、x_enhanced(t)=x(t)+y(t))を取得するために、タイミング信号に加算して戻されうる。一実施形態では、同じ垂直フィルタリングを全ての列に適用しうる。別の実施形態では、異なる垂直フィルタを異なるカラムに適用しうる。そのような垂直フィルタは、適応的に選択/決定されうる。
いくつかの実施形態では、3列(又は一般にk列)垂直フィルタリングの場合、x(t)を中心列(3列のうちの中心にある)とする。システムは、3つの列(又はk個の列)に2Dハイパスフィルタを適用して、フィルタリングされた中心列y(t)を得ることができる。例えば、システムは[0 -1 0; 0 2 0; 0 -1 0]が垂直に印加される[-1 2 -1]、[-1 0 0; 0 2 0; 0 0 -1]は対角方向に印加される[-1 2 -1]、又は[0 0 -1; 0 2 0; -1 0 0 0]は対角方向に印加される[-1 2 -1]、又はそれぞれのスケーリング係数によってスケーリングされる、1つ以上のハイパスフィルタ。斜め方向は、垂直線に対して45度である。30度、20度、10度等の他の角度も可能である。フィルタリングされた中央列y(t)は中央列x(t)に加算して、エンハンスされた中央列(即ち、x_enhanced(t)=x(t)+y(t)、あるいは、x_enhanced(t)=x(t)+alpha*y(t)(ここで、alphaは、スケーリングファクタである))を得ることができる。一実施形態では、同じk列垂直フィルタリングが全ての列に適用されうる。別の実施形態では、異なるk列垂直フィルタリングを異なる列に適用しうる。そのようなk列垂直フィルタは、適応的に選択/決定されうる。例えば、1つの列を3列垂直フィルタリングによって処理し、別の列を5列垂直フィルタリングによって処理しうる。
いくつかの実施形態では、水平フィルタリングのために、フィルタリングは3行又は5行又はk行等、各行又は行のグループに適用されうる。1行フィルタリング(即ち、各行に適用されるフィルタリング)の場合、システムは2D行列A又はBの各行を時間信号X(t)として考慮し、1次元ローパスフィルタ(例えば、[1 1]/2、[1 1 1]/3、[1 2 1]/4、[1 3 1 3 1]/8、[1 4 6 4 1 1]/16、[1 1 1 1]/5、3ポイントメジアンフィルタ、3ポイントパーセンタイルフィルタ(x %、例えば、メジアンフィルタの場合は50%)、3ポイントモードフィルタ等、又はフィルタリングされた信号y(t)。フィルタリングされた信号y(t)はエンハンスされた行(即ち、x_enhanced(t)=x(t)+y(t)を取得するために、タイミング信号に加算して戻されうる。一実施形態では、全ての行に同じ水平フィルタリングを適用しうる。別の実施形態では、異なる水平フィルタを異なる行に適用しうる。そのような水平フィルタは、適応的に選択/決定されうる。
いくつかの実施形態では、3行(又は一般にk行)水平フィルタリングの場合、x(t)をセンタ行(3行の中でセンタにある)とする。システムは、3行(又はk行)に2Dローパスフィルタを適用して、エンハンスされた中心行y(t)を得ることができる。例えば、システムは、水平方向に適用される[0 0; 1 2 1; 0 0]/4、対角方向に適用される[1 0; 0 2 0; 0 1]/4、又は反対方向に適用される[1 2 1]の[0 1; 0 1; 0 2 0; 1 0]、又は複数のローパスフィルタを連続して適用する[1 2 1]である[0 0 0 1; 0 2 0]を適用しうる。対角方向は水平線に対して45度である。30度、20度、10度等の他の角度も可能である。一実施形態では、同じk行水平フィルタリングが全ての行に適用されうる。別の実施形態では、異なるk行水平フィルタを異なる行に適用しうる。そのようなk行水平フィルタは、適応的に選択/決定されうる。例えば、1つの行は3行水平フィルタリングによって処理されうるとともに、別の行は5行水平フィルタリングによって処理されうる。
垂直ハイパス及び水平ローパスフィルタリングの後、ヒストグラム等化又は他のヒストグラム動作(例えば、ヒストグラム伸張又はコントラスト伸張)が、いくつかの連続する列(連続するスライディング時間ウィンドウの個数に対応する)に適用されうる。
次いで、バイタル信号検出は、次いで2D分解のエンハンスメントに基づいて実行されうる。時間インデックス(及び関連するスライディング時間ウィンドウ及び2D分解の対応する列)ごとに、システムは、バイタルサインが存在するか否かの暫定的な(最終ではない)決定を行うことができる。バイタルサインが暫定的であれば、バイタルサインが存在するという最終決定がなされる。バイタルサインが存在するか否かにかかわらず、エンハンスされた2D分解には常にピークが存在する。したがって、システムは、仮決定を行うために以下のテストを行うことができる。
テスト1の場合、システムは2D分解の特定の列である特定の特性関数(例えば、ACF等の時間関数、STFT等の周波数関数)に関連する特定の時間インデックスを考慮しうる。システムは特定の特性関数(例えば、未知のバイタルサイン周波数を有するACF)と基準特性関数(例えば、固定トレーニング済みバイタルサイン周波数を有するトレーニング済みACF)との間の、例えば、正規化された距離測度に関して、動的時間伸縮(DTW)を実行することによって、特定の時間におけるバイタルサインの存在をテストしうる。DTWは、2つの特性関数間のバイタルサイン周波数の起こりうる不一致を説明するために適用されうる。基準バイタルサインは、トレーニングフェーズにおいて、DTWに基づいてマッチングされたトレーニング特性関個数の個数、バイタルサインを有するトレーニング被験者が存在したときに取得されたトレーニング特性関個数の個数をクラスタリングすることに基づいて演算されうる。基準バイタルサインはまた、トレーニングなしで、成人、子供等からの経験的バイタルサインデータからであってもよい。正規化された距離測度が第1の閾値よりも大きい場合、仮の決定はバイタルサインが存在しない(即ち、バイタルサインが検出されない)ことである。そうではない場合、システムはテスト2を実行しうる。
テスト2については、x(t)をエンハンスト特性関数とする。システムはbのいくつかの値(例えば、0.6、0.5、0.4、0等)についてx(t)-bを演算し、x(t)-bのゼロクロスの個数を演算する(即ち、x(t)がbの値を何回交差するかを演算/カウントする)ことができる。ゼロクロスの個数が(おそらく雑音による)第2の閾値よりも大きい場合、仮の決定はバイタルサインが存在しない(即ち、バイタルサインが検出されない)ことである。そうではない場合、システムはテスト3を実行しうる。
テスト3では、システムは、エンハンスト特性関数のピーク(極大)を見つけることができる。例えば、システムはピーク間距離(例えば、第1のピークと第2のピークとの間、又は第2のピークと第3のピークとの間等の距離、又は隣接ピーク距離の重み付け平均)を演算しうる。ピーク間距離が許容範囲(バイタルサイン、例えば、呼吸、又は心拍に関連する)にある場合、暫定的な決定はバイタルサインが存在する(即ち、バイタルサインが検出される)ことであり、ピーク間距離は、バイタルサイン期間(特性関数が時間関数である場合)又はバイタルサイン周波数(特性関数が周波数関数である場合)である。そうではない場合、バイタルサインが存在しない(即ち、バイタルサインが検出されない)と決定される。
いくつかの実施形態では、Aが第3の閾値(例えば、0.9、0.5、0.1)よりも大きい場合、時間最終決定/結論のために、バイタルサインが存在すると結論付けられる(即ち、バイタルサインが最終決定として検出されると宣言される)。Aは特定の期間(例えば、1時間、30分、15分、5分、3分、1分)において暫定的に検出されるバイタルサインのパーセンテージである。
無線バイタルサインモニタリングの1つの用途は、図73A及び図73Bに示されるような、無線ベースの車内人間存在検出システム7300である。システム7300は、自動車に結合されたアクセスポイント(AP)デバイス7310及び局(STA)デバイス7320を含む。STAデバイス7320は、送信機(又はボット、又はタイプ1デバイス)としての役割を果たしてよく、受信機(又はオリジン、又はタイプ2デバイス)としての役割を果たすAPデバイス7310に、車内の無線チャネルを通じて無線信号を送信する。受信された無線信号は車内の人間(例えば、子供)の任意のバイタルサイン動作によって影響を受けうる無線チャネルのために、送信された無線信号とは異なる。したがって、受信された無線信号は、自動車内に存在する場合、バイタルサイン動作の情報を搬送する。いくつかの実施形態では、無線信号はWi-Fi信号でありうる。検出は受信された無線信号から取得されたチャネル情報に基づいて、ベニュー(例えば、車両)における物体(例えば、人、ユーザ、ベビー)の任意のバイタルサイン(例えば、呼吸又は心拍又は周期的動作)を検出するために適用されうる。
図73Aは本開示のいくつかの実施形態による、システム7300を含む自動車の側面斜視図を図示し、図73Bは、システム7300を含む自動車の上面斜視図を図示する。図73A及び図73Bに示されるように、APデバイス7310はギア領域の近くに配置されうるか、又はダッシュボードに結合されてよく、STAデバイス7320は後部座席の左側に配置されうる。この設定により、車内に完全なカバレッジを生成しうる。他の実施形態では、APデバイス7310及びSTAデバイス7320の各々が無線バイタルサインモニタリングのために適用される同じ検出及び動作方法を用いて、車内の異なる位置に配置されうる。
図74は本開示のいくつかの実施形態による、無線バイタルサイン検出システム、例えば、図73A及び図73Bに示されるシステム7300の例示的な方法7400を示すフローチャートを示す。図74に示されるように、動作7410において、APアンテナ及びSTAアンテナが車内に配置され、システムのいくつかの初期セットアップが行われた後、STAアンテナは車内の無線チャネルを通じて、無線信号、例えば、Wi-Fi信号をAPアンテナに送信しうる。受信された無線信号は、動作7420において、車内の無線チャネルのチャネル状態情報(CSI)をキャプチャするために使用されうる。車内に生きている物体(例えば、子供)が存在する場合、捕捉されたCSIは生きている物体の周期的バイタルサイン動作(例えば、呼吸又は心拍)の情報を含む。更に、キャプチャされたCSIは車内の任意の他の動き(例えば、子供の非バイタルサインの動き)の情報も含む。
図74に示される例では、取得されたCSIが自動車内の呼吸を検出及びモニタリングするために呼吸エンジン7430に送信され、また、自動車内の任意の非バイタルサイン動作を検出するためにモーションエンジン7440にも送信される。
この例における呼吸エンジン7430は、一連の動作7431~7437を実行する。動作7431において、取得されたCSIに対して位相ブースティングが適用される。例えば、呼吸エンジン7430は、クリーン位相=
を演算しうる。清浄化された位相は、位相ブースティングのためにCSIベクトルに追加の次元として追加されうる。いくつかの実施形態では、振幅クリーニングが必要な情報を除去するので、実行されない。
次いで、呼吸エンジン7430は、動作7432において、(時間)ウィンドウサイズ選択及び自己相関関数(ACF)演算を実行しうる。ウィンドウサイズの選択は、初期検出遅延に直接関連するので、重要である。呼吸数を正確に検出するためには、かなり長いウィンドウサイズが望ましい。一方、より長いウィンドウサイズは、より長い検出遅延を引き起こす。
いくつかの実施形態では、高い性能並びに低い検出遅延を達成するために、ウィンドウサイズの変更又は変化が呼吸エンジン7430において使用される。初期遅延を低減するために、エンジン7430の始動時に小さなウィンドウサイズが使用される。ウィンドウサイズは、エンジン7430が安定した後、必要な長さまで増大される。
次いで、呼吸エンジン7430は、動作7433において、検出を改善するためにエンハンス技法を実行しうる。エンハンスメント技法は、呼吸トレースをエンハンスするためにACFスペクトルに適用されうる。これらのエンハンスメント技法はコントラスト伸張、スライシング、ヒストグラム等化、及び網膜に基づくいくつかのアルゴリズムを含むが、これらに限定されない画像エンハンスメント技法でありうる。動き及び呼吸検出に基づく子供存在検出(CPD)の場合、ACFのピークをより顕著にするために、画像強調をACFに適用することもでき、したがって、呼吸数をより連続的にし、したがって、CPDの検出速度を改善しうる。いくつかの実施形態では、画像強調がチャネル情報の時系列のスペクトル解析/周波数成分解析後に呼吸推定トレースに直接適用することもできる。例えば、異なる送受信機リンク上のスペクトログラムは、それぞれ、異なるサブキャリアにわたってエンハンスされ、次いで、合成されうる。
図74に示す例では、エンハンスメント技法が以下を含む。まず、ACFスペクトルに対してピークエンハンスメントを行う。値kは
のように実験から選択され、ここでdiff(ACF)はACF信号の隣接する値間の差を意味する。エンハンスメント後、信号は[0,1]範囲に正規化される。次いで、ヒストグラム等化が、正規化されたピークエンハンスされた信号に対して実行されうる。
次いで、呼吸エンジン7430は、動作7434において誤警報除去を実行しうる。いくつかの実施形態では、2つの技法を使用する2つのタイプの誤警報除去がある。動的時間伸縮(DTW)は、所与の呼吸信号とエンジン7430から抽出された呼吸信号との間の類似性を測定するために使用されうる。抽出された呼吸信号が真の呼吸に対応する場合、DTW値は、偽呼吸と比較して低くなる。図75は、本開示のいくつかの実施形態による、真呼吸及び偽呼吸についてのDTW値分布7500を示す。図75は、DTW閾値を決定するために使用されうる。
更に、雑音レベルを評価するために、抽出された信号に対するゼロクロスの個数が演算されうる。誤呼吸が真の呼吸信号よりも高い振動を示すので、誤呼吸信号に対しては多数のゼロクロスが予想される。いくつかの実施形態では、抽出された呼吸信号が0~1の範囲内である。したがって、ゼロクロスの個数を演算するとき、0.5を0番目のレベルと考えることができる。
次いで、呼吸エンジン7430は、動作7435においてピーク検出を実行しうる。いくつかの実施形態では、2つの連続するピーク間の差が呼吸サイクルの範囲内にある場合、それらのピークは呼吸数を演算するための潜在的なピークと見なされる。
次いで、呼吸エンジン7430は、動作7436において呼吸数演算を実行しうる。いくつかの実施形態では、呼吸数が動作7435からの2つの検出ピーク間の差によって演算される。
次いで、呼吸エンジン7430は、動作7437において呼吸インジケータを生成しうる。いくつかの実施形態では、10秒のウィンドウ内に2/3/5を超える呼吸数が検出された場合、呼吸が検出されたことが示される。
呼吸インジケータは、動作子供存在検出(CPD:child presence detection)インジケータ7450に送信されて、車内に子供存在があるかどうかを判定しうる。CPDインジケータ7450は、呼吸エンジン7430からの呼吸検出結果、並びにモーションエンジン7440からの動き検出結果に基づいて生成されうる。モーションエンジン7440は、取得されたCSIに基づいてモーション検出動作7442を実行して、車内の任意の非呼吸又は非バイタル動作(モーション)を検出しうる。いくつかの実施形態では、呼吸及び/又は動作(モーション)が検出された場合、システムは、車内のベビーの存在を知らせる。
上述の方法を利用するこのWi-Fiベースの車内CPDシステムは、他のWi-FiベースのCPDシステムよりも高い性能能力を有する。このアプローチは、大雨、車の周りの混雑したトラフィック等の厳しい環境条件に対してロバストである。いくつかの画像強調方法は検出能力を高めるために利用され、一方、誤警報除去方法はシステムを誤検出から解放しうる。
いくつかの実施形態では、固定ウィンドウ長の代わりに、可変ウィンドウ長を使用して呼吸スペクトルを演算する。ACFスペクトルを直接使用する代わりに、システムは検知性能を改善するために、ピークエンハンスメント及びヒストグラム等化を含む画像エンハンスメント技法を使用しうる。誤警報除去ステップ中、システムは真の呼吸信号と推定信号との間の構造的類似性を評価するためにDTWを利用し、雑音レベルを決定するためにゼロクロスの個数を利用しうる。
図76は、本開示のいくつかの実施形態による、無線支援信号推定のためのシステムの第1の無線デバイス、例えば、ボット7600の例示的なブロック図を示す。ボット7600は、本明細書で説明する様々な方法を実装するように構成されうるデバイスの一例である。図76に示すように、ボット7600は、プロセッサ7602と、メモリ7604と、送信機7612及び受信機7614を備えるトランシーバ7610と、同期コントローラ7606と、電力モジュール7608と、オプションのキャリアコンフィギュレータ7620と、無線信号発生器7622とを含むハウジング7640を含む。
この実施形態では、プロセッサ7602がボット7600の全般的な動作を制御し、中央処理装置(CPU)、及び/又は汎用マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブル論理デバイス(PLD)、コントローラ、状態機械、ゲート論理、個別ハードウェアコンポーネント、専用ハードウェア有限状態機械、又はデータの演算若しくは他の操作を実行しうる任意の他の適切な回路、デバイス及び/若しくは構造等の1つ以上の処理回路又はモジュールを含みうる。
読取り専用メモリ(ROM)とランダムアクセスメモリ(RAM)の両方を含みうるメモリ7604は、命令とデータとをプロセッサ7602に与えることができる。メモリ7604の一部は、不揮発性ランダムアクセスメモリ(NVRAM)を含むこともできる。プロセッサ7602は一般に、メモリ7604内に記憶されたプログラム命令に基づいて論理演算及び算術演算を実行する。メモリ7604に記憶された命令(別名、ソフトウェア)は、本明細書で説明する方法を実行するためにプロセッサ7602によって実行されうる。プロセッサ7602及びメモリ7604は共に、ソフトウェアを格納し実行する処理システムを形成する。本明細書で使用される場合、「ソフトウェア」は、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード等と呼ばれるかどうかにかかわらず、1つ以上の所望の機能又はプロセスを実行するようにマシン又はデバイスを構成しうる任意のタイプの命令を意味する。命令は(例えば、ソースコード形式、バイナリコード形式、実行可能コード形式、又は任意の他の適切なコード形式の)コードを含みうる。命令は1つ以上のプロセッサによって実行されると、処理システムに、本明細書で説明する様々な機能を実行させる。
送信機7612及び受信機7614を含むトランシーバ7610は、ボット7600が遠隔デバイス(例えば、起点又は別のボット)との間でデータを送受信することを可能にする。アンテナ7650は、典型的にはハウジング7640に取り付けられ、トランシーバ7610に電気的に結合される。様々な実施形態では、ボット7600が複数の送信機、複数の受信機、及び複数のトランシーバを含む(図示せず)。一実施形態では、アンテナ7650は、それぞれが別個の方向を向く複数のビームを形成しうるマルチアンテナアレイ7650と置き換えられる。送信機7612は、異なるタイプ又は機能を有する信号を無線に送信するように構成されてよく、そのような信号はプロセッサ7602によって生成される。同様に、受信機7614は、異なるタイプ又は機能を有する無線信号を受信するように構成され、プロセッサ7602は、複数の異なるタイプの信号を処理するように構成される。
この例におけるボット7600は、本明細書に開示されるシステムにおいて、ボット、タイプ1デバイス、送信機、又はSTAとして機能しうる。例えば、無線信号生成器7622は送信機7612を介して、ベニュー内の無線チャネルを通じて無線信号を生成し、送信しうる。受信された無線信号は、無線チャネルのチャネル情報を搬送する。無線チャネルはベニュー内の物体の任意のバイタルサイン動作(例えば、呼吸、心拍等)による影響を受けるので、チャネル情報は、物体からのバイタルサイン情報を含む。したがって、バイタルサインは、受信された無線信号から取得されたチャネル情報に基づいて検出及びモニタリングされうる。無線信号生成器7622における無線信号の生成は別のデバイス、例えば、オリジンからの無線バイタルサインモニタリングの要求に基づくか、又はシステム事前構成に基づくことができる。即ち、ボット7600は、送信された無線信号が無線バイタルサインモニタリングのために使用されることを知っても知らなくてもよい。無線センシング、モニタリング、及びトラッキングの他のアプリケーションは、同様に実行されうる。
この例における同期コントローラ7606は、ボット7600の動作を、別のデバイス、例えば、起点又は別のボットと同期又は非同期になるように制御するように構成されうる。一実施形態では、同期コントローラ7606がボット7600を、ボット7600によって送信された無線信号を受信する起点と同期させるように制御しうる。別の実施形態では、同期コントローラ7606が他のボットと非同期に無線信号を送信するようにボット7600を制御しうる。別の実施形態では、ボット7600及び他のボットの各々が無線信号を個別に及び非同期に送信しうる。
キャリアコンフィギュレータ7620は、無線信号生成器7622によって生成された無線信号を送信するための送信リソース、例えば、時間及びキャリアを構成するための、ボット7600内のオプションのコンポーネントである。一実施形態では、CIの時系列の各CIが無線信号の送信のキャリア又はサブキャリアにそれぞれ対応する1つ以上のコンポーネントを有する。無線サウンドセンシングは、コンポーネントの任意の1つ又は任意の組合せに基づきうる。
電力モジュール7608は、図76の上述のモジュールの各々に調整された電力を提供するために、1つ以上の蓄電池等の電源と、電力調整器とを含みうる。いくつかの実施形態では、ボット7600が専用外部電源(例えば、壁コンセント)に結合される場合、電力モジュール7608は変圧器及び電力調整器を含みうる。
上述の様々なモジュールは、バスシステム7630によって互いに結合される。バスシステム7630はデータバスと、データバスに加えて、例えば、電力バス、制御信号バス、及び/又はステータス信号バスとを含みうる。ボット7600のモジュールは、任意の適切な技術及び媒体を使用して、互いに動作可能に結合されうることが理解される。
図76には、いくつかの別個のモジュール又はコンポーネントが示されているが、モジュールのうちの1つ以上が組み合わされうるか、又は一般に実装されうることを、当業者は理解されよう。例えば、プロセッサ7602は、プロセッサ7602に関して上記で説明した機能を実装するだけでなく、無線信号生成器7622に関して上記で説明した機能も実装しうる。逆に、図76に示されるモジュールの各々は、複数の別個のコンポーネント又は要素を使用して実装されうる。
図77は、本教示の一実施形態による、無線支援信号推定のためのシステムの第2の無線デバイス、例えば、起点7700の例示的なブロック図を示す。オリジン7700は、本明細書で説明する様々な方法を実装するように構成されうるデバイスの一例である。この例におけるオリジン7700は、本明細書で開示されるシステムにおいて、オリジン、受信機、タイプ2デバイス、又はAPとして機能しうる。図77に示されるように、起点7700は、プロセッサ7702と、メモリ7704と、送信機7712及び受信機7714を備えるトランシーバ7710と、電力モジュール7708と、同期コントローラ7706と、チャネル情報抽出器7720と、オプションの動き検出器7722とを含むハウジング7740を含む。
この実施形態ではプロセッサ7702、メモリ7704、トランシーバ7710、及び電力モジュール7708はボット7600内のプロセッサ7602、メモリ7604、トランシーバ7610、及び電力モジュール7608と同様に動作する。アンテナ7750又はマルチアンテナアレイ7750は、通常、ハウジング7740に取り付けられ、トランシーバ7710に電気的に結合される。
オリジン7700は、第1の無線デバイス(例えば、ボット7600)のタイプとは異なるタイプを有する第2の無線デバイスでありうる。特に、起点7700内のチャネル情報抽出器7720は無線チャネルを介して無線信号を受信し、無線信号に基づいて無線チャネルの時系列のチャネル情報(CI)を取得するように構成される。チャネル情報抽出器7720は抽出されたCIを、オプションの動き検出器7722に、又はベニューにおける無線サウンドセンシングのために起点7700の外部の動き検出器に送信しうる。
動き検出器7722は、原点7700における任意のコンポーネントである。一実施形態では、それは図77に示すように、起点7700内にある。別の実施形態では、それは起点7700の外側にあり、別のデバイス内にあり、ボット、別の起点、クラウドサーバ、フォグサーバ、ローカルサーバ、及びエッジサーバでありうる。オプションの動き検出器7722は、動き情報に基づいて、ベニュー内の振動する物体又は音源からの音情報を検出するように構成されうる。動き情報は、動き検出器7722又は原点7700の外側の別の動き検出器によるCIの時系列に基づいて演算されうる。
この例における同期コントローラ7706は例えば、ボット、別の起点、又は独立した動き検出器等の別のデバイスと同期又は非同期になるように、起点7700の動作を制御するように構成されうる。一実施形態では、同期コントローラ7706が無線信号を送信するボットと同期するようにオリジン7700を制御しうる。別の実施形態では、同期コントローラ7706が他のオリジンと非同期に無線信号を受信するようにオリジン7700を制御しうる。別の実施形態では、オリジン7700及び他のオリジンの各々が無線信号を個別に及び非同期に受信しうる。一実施形態では、オプションの動き検出器7722又は原点7700の外側の動き検出器がそれぞれの時系列のCIに基づいてそれぞれのヘテロジニアス動き情報を非同期に演算するように構成される。
上述の様々なモジュールは、バスシステム7730によって互いに結合される。バスシステム7730はデータバスと、データバスに加えて、例えば、電力バス、制御信号バス、及び/又はステータス信号バスとを含みうる。起点7700のモジュールは、任意の適切な技術及び媒体を使用して、互いに動作可能に結合されうることが理解される。
図77には、いくつかの別個のモジュール又はコンポーネントが示されているが、モジュールのうちの1つ以上が組み合わされうるか、又は一般に実装されうることを、当業者は理解されよう。例えば、プロセッサ7702は、プロセッサ7702に関して上記で説明した機能を実装するだけでなく、チャネル情報抽出器7720に関して上記で説明した機能も実装しうる。逆に、図77に示されるモジュールの各々は、複数の別個のコンポーネント又は要素を使用して実装されうる。
図78は、本開示のいくつかの実施形態による、無線支援信号推定のための例示的な方法7800のフローチャートを示す。様々な実施形態では、方法7800が上記で開示したシステムによって実行しうる。動作7802において、無線信号がベニューの無線チャネルを介して送信される。動作7804において、無線信号が無線チャネルを介して受信される。受信された無線信号はベニューにおける物体のバイタルサインの周期的動作による影響を受ける無線チャネルにより、送信された無線信号とは異なる。動作7806において、無線チャネルの時系列のチャネル情報(CI)が、受信された無線信号に基づいて取得される。動作7808において、CIの時系列(TSCI)の2次元(2D)分解が演算される。次に、動作7810において、2D分解がエンハンスされる。動作7812において、エンハンスされた2D分解に基づいて、バイタルサインの周期的動作がモニタリングされる。図78の動作の順序は、本教示の様々な実施形態に従って変更されうる。
いくつかの実施形態では、バイタルサイン検出は、タイプ1デバイスからタイプ2デバイスへの無線サウンディング信号から取得されたTSCIの2D分解に基づく。
以下の番号付けされた項は、無線バイタルサインモニタリングの例を示している。
項J1.無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、無線センシングシステムのタイプ1のヘテロジニアス無線デバイスから、ベニューの無線マルチパスチャネルを通じて無線信号を送信することであって、無線マルチパスチャネルは、ベニュー内の物体のバイタルサイン動作による影響を受ける、ことと、当該システムのタイプ2ヘテロジニアス無線デバイスによって、無線マルチパスチャネルを通じて無線信号を受信することであって、受信される無線信号は、ベニューの無線マルチパスチャネル及び物体の周期的バイタルサイン動作に起因して、送信された無線信号とは異なる、ことと、プロセッサ、メモリ及び命令のセットを使用して、受信された無線信号に基づいて、無線マルチパスチャネルの時系列のチャネル情報(CI)を取得することと、時系列のCI(TSCI)の2次元(2D)分解を演算することと、2D分解をエンハンスすることと、エンハンスされた2D分解に基づいて、バイタルサイン動作をモニタすることと、を含む。
項J2.項J1の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、
TSCIに基づいて、時系列のCI特徴(TSCF)を演算することであって、各CI特徴(CF)は、個別のCIの基本特徴と、対応する雑音除去されたCIの別の基本特徴との連結を含み、任意のCIの基本特徴は、CI、CIの大きさ、CIの位相、CIの成分の大きさ、CIの成分の大きさ、CIの成分の位相、大きさの関数、又は位相の関数のうちの少なくとも1つを含み、雑音除去されたCIは、TSCIを、第1の雑音除去フィルタで処理することによって演算され、第1の雑音除去フィルタは、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、重み付け和、重み付け差、重み付け平均、中央値フィルタ、パーセンタイルフィルタ、CIコンポーネントワイズ雑音除去フィルタのうちの少なくとも1つを含む、ことと、
TSCFに基づいて、2D分解を演算することと、を含む。
いくつかの実施形態では、システムは、スライディング時間ウィンドウごとに1D特性関数を演算し、1D特性関数に基づいて2D分解を構築しうる。
項J3.項J2の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、各スライディング時間ウィンドウがタイムスタンプと関連付けられた、スライディング時間ウィンドウの系列を決定することと、各スライディング時間ウィンドウにおけるTSCFのCFの個別の1次元(1D)特性関数を演算することと、各スライディング時間ウィンドウにおける個別の1D特性関数に基づいて、2D分解を構築することと、を含む。
いくつかの実施形態では、システムは、ACF又はSTFT等の変換に基づいて、1D特性関数を演算しうる。
項J4.項J3の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、個別のスライディング時間ウィンドウにおけるTSCFのCFの変換に基づいて、個別の1D特性関数を演算することを含み、当該変換は、周波数変換、周波数領域への変換、短時間フーリエ変換(STFT)、ウェーブレット変換、フィルタバンク表現、スペクトル分析、高調波分析、フーリエ分析、多分解能分析、時間変換、時間シフト領域への変換、自己相関関数(ACF)、自己共分散関数、時間周波数分解、時間周波数表現、又はスペクトログラムのうちの少なくとも1つを含む。
いくつかの実施形態では、システムは、1D特性関数を整列させてアライメントさせることで、2D分解である2D行列を構築できる。
項J5.項J4の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、関連付けられたタイムスタンプに従って時間順に1D特性関数を整列させることによって、それらをアライメントさせることによって2D行列を構築することを含み、当該2D行列のi番目の列は、i番目のスライディング時間ウィンドウと関連付けられた1D特性関数であり、当該2D行列のj番目の行は、j個の時間単位の時間シフトと関連付けられ、i番目の列及びj番目の行における行列要素は、j個の時間単位の時間シフトを伴うi番目のスライディング時間ウィンドウにおける1D特性関数の値であり、当該2D行列は2D分解である。
いくつかの実施形態では、システムは、垂直ハイパスフィルタリング及び水平ローパスフィルタを用いて2D行列をエンハンス(処理)しうる。
項J6.項J5の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、2D行列の各行列要素に、垂直ハイパスフィルタリング又は水平ローパスフィルタリングのいずれか又はその両方を適用することによって2D分解をエンハンスすることを含む。
いくつかの実施形態では、フィルタは、1D垂直フィルタと1D水平フィルタとに分離可能でありうる2Dフィルタでありうる。異なる行列要素は、異なるフィルタを有しうる。
項J7.項J6の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、2D行列の各行列要素を、個別の2D垂直ハイパス水平ローパスフィルタでフィルタリングすることを含み、2Dフィルタは、分離可能又は非分離可能のうちの1つであり、2Dフィルタは、線形又は非線形のいずれかである。
いくつかの実施形態では、フィルタは、1D垂直ハイパスフィルタ及び1D水平ローパスフィルタに分解されるように分離可能でありうる。
項J8.項J7の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、2D行列の各行列要素を個別の垂直ハイパスフィルタでフィルタリングすること、又は2D行列の各行列要素を個別の水平ローパスフィルタでフィルタリングすることのうちの少なくとも1つによって、2D分解をエンハンスすることを含み、任意のフィルタは線形又は非線形のいずれかである。
いくつかの実施形態では、同じ垂直ハイパスフィルタが列の全体/一部、又は行の全体/一部に対するものであり、又は同じ水平ローパスフィルタが列の全体/一部、又は全体行/一部に対するものである。
項J9.項J8の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、2D行列の各列の一部を個別の第1の共通垂直ハイパスフィルタでフィルタリングすること、又は2D行列の各行の一部を個別の第2の共通垂直ハイパスフィルタでフィルタリングすること、又は2D行列の各列の一部を個別の第1の共通水平ローパスフィルタでフィルタリングすること、又は2D行列の各行の一部を個別の第2の共通水平ローパスフィルタでフィルタリングすることのうちの少なくとも1つによって、2D分解をエンハンスすることを含む。
いくつかの実施形態では、垂直ハイパスフィルタは、垂直方向又はほぼ垂直方向のいずれかに適用される1Dフィルタである。
項J10.項J8の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、垂直ハイパスフィルタは、垂直方向又はほぼ垂直方向に適用される指向性1Dハイパスフィルタである。
いくつかの実施形態では、水平ローパスフィルタは、水平方向又はほぼ水平方向のいずれかに適用される1Dフィルタである。
項J11.項J8の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、水平ローパスフィルタは、水平方向又はほぼ水平方向に適用される指向性1Dローパスフィルタである。
いくつかの実施形態では、それぞれが垂直ハイパス又は水平ローパスのいずれかである、一連の2つ以上のフィルタが存在しうる。
項J12.項J8の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、それぞれが垂直ハイパスフィルタ又は水平ローパスフィルタのいずれかである、一連の少なくとも2つの1Dフィルタで、2D行列の各行列要素をフィルタリングすることを含む。
いくつかの実施形態では、ヒストグラム等化が実行される。
項J13.項J8の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、2D行列のいくつかの連続する列にヒストグラム等化を適用することによって2D分解をエンハンスすることを含む。
いくつかの実施形態では、システムは、DTWに基づいてマッチングスコアを演算しうる。マッチングスコアが閾値よりも大きい(即ち、マッチングが不良である)場合、バイタルサインは存在しない。
項J14.項J13の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、基準列と、特定の時間と関連付けられたエンハンスされた2D行列の特定の列との間の動的時間伸縮(DTW)に基づいて、距離スコアを演算することであって、基準列は、DTWに基づいてマッチングされた、ある個数のトレーニング列をクラスタリングすることによって、トレーニングセッションにおいて演算され、トレーニング列は、バイタルサインを有するトレーニング物体が存在する場合に送信され、受信されたトレーニング無線信号から取得されたトレーニングTSCIに基づいて演算される、ことを含み、距離スコアが第1の閾値よりも大きい場合、物体のバイタルサイン動作は特定の時間において暫定的に検出されない。
いくつかの実施形態では、システムはゼロクロススコアを演算しうる。ゼロクロススコアが閾値より大きい(即ち、雑音が多い)場合、バイタルサインは存在しない。
項J15.項J14の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、エンハンスされた2D行列の特定の列の各行列要素から、ある量を減算することと、当該特定の列のゼロクロスカウントを演算することと、を含み、ゼロクロスカウントが第2の閾値より大きい場合、物体のバイタルサイン動作は当該特定の時間に暫定的に検出されない。
いくつかの実施形態において、システムは、ピーク間距離を演算しうる。ピーク間距離が許容レンジ内にない場合、バイタルサインは存在しない。ピーク間距離が許容レンジ内にある場合、バイタルサインが検出される。検出されたバイタルサインの周期/周波数は、ピーク間距離に基づいて演算されうる。
項J16.J15節の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、エンハンスされた2D行列の特定の列の2つ以上のピーク(極大値)を演算することと、2つ以上のピークに基づいてピーク間距離を演算することと、を含み、ピーク間距離が許容レンジ内にある場合、物体のバイタルサイン動作は特定の時間に暫定的に検出され、バイタルサインの周波数又は期間のうちの1つは、ピーク間距離に等しく、ピーク間距離が許容レンジ内にない場合、物体のバイタルサイン動作は特定の時間に暫定的に検出されない。
いくつかの実施形態では、バイタルサインが閾値より高いパーセンテージで暫定的に検出される場合に、バイタルサインは検出される。
項J17.項J16の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、Aが第3の閾値よりも大きい場合に、物体のバイタルサイン動作を検出することを含み、Aは、ある期間において暫定的に検出されるバイタルサインのパーセンテージである。
いくつかの実施形態では、システムは、いかなるメディア入力(例えば、ビデオ、又は画像/ビジュアル、又はオーディオ若しくは音声若しくはサウンド)も、送信機(タイプ1デバイス)によって無線信号で送信されるいかなるデータも使用することなく、無線信号に基づいて(即ち、受信された無線信号から取得されたCIに基づいて)音声アクティビティを検出いうる。
項J18.無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、プロセッサ、メモリ及びシステムのデバイスの命令セットを使用して、いかなるメディア信号も使用することなく、無線信号に基づいて音声アクティビティを検出することを含む。
いくつかの実施形態では、無線信号が、タイプ1デバイスによって送信され、タイプ2デバイスによって受信される。TSCIは、受信された無線信号に基づいてタイプ2デバイスにおいて取得される。
項J19.項J18の無線バイタルサインモニタリングシステムの時間/デバイス/システム/ソフトウェアであって、無線信号は、ベニューにおいてシステムのタイプ1ヘテロジニアス無線デバイスによって送信される無線信号であり、当該無線信号は、ベニューの無線マルチパスチャネルを通じてシステムのタイプ2ヘテロジニアス無線デバイスによって受信され、当該無線マルチパスチャネルは、ベニューにおける音声アクティビティによる影響を受け、受信された無線信号に基づいて、無線マルチパスチャネルの時系列のチャネル情報(CI)を取得することと、無線マルチパスチャネルの時系列のCI(TSCI)に基づいて、音声アクティビティを検出することと、を含む。
項J20.J19の無線バイタルサインモニタリングシステムの方法/システム/ソフトウェアであって、
無線信号は、データ通信信号、無線ネットワーク信号、標準準拠信号、無線ローカルエリアネットワーク(WLAN)信号、WiFi信号、IEEE 802信号、IEEE 802.11信号、IEEE 802.11bf信号、IEEE 802指向性マルチギガビット(DMG)信号、無線通信ネットワーク信号、3GPP信号、4G/LTE/5G/6G/7G/8G信号、無線センシング信号、無線サウンディング信号、レーダ信号、ミリ波信号、UWB信号、又は40kHzを超える電磁信号のうちの少なくとも1つを含み、
メディア信号は、マイクロフォン信号、音声(speech)信号、音声(vocal)信号、オーディオ信号、40kHz未満の信号、音響信号、可聴信号、テレフォニー信号、電話会議信号、音声電話信号、会議呼信号、映像信号、ビデオ信号、ビデオ電話信号、ビデオ会議信号、メディアストリーミング信号、又はマルチメディア信号のうちの少なくとも1つを含む。
いくつかの実施形態では、無線信号内のデータペイロードは使用されない。
項J21.項J20の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、無線信号はデータ通信信号であり、データ通信信号において伝達されるデータペイロードを使用することなく音声アクティビティを検出することを含む。
いくつかの実施形態では、無線信号内のメディアデータは使用されない。
項J22.第J21条の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、データ通信信号において伝達されるいかなるメディア信号データも使用することなく音声アクティビティを検出することを含む。
いくつかの実施形態では、音声アクティビティは、ターゲット音声ソースによって生成される。
項J23.項J22の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、無線信号に基づいて、ベニュー内のターゲット音声ソースの音声アクティビティを検出することを含み、無線マルチパスチャネルは、ターゲット音声ソースの音声生成動作による影響を受ける。
いくつかの実施形態では、音声関連無線機能(TSRF)は帯域制限される。電話音声信号は、帯域制限された4kHzでありうる。音声信号は、7kHzに帯域制限されうる。音声は、20kHzに帯域制限されうる。TSRFは、1/10/100/1000/10000/100000/1000000Hzの半分でありうるサウンディング周波数の半分に帯域制限されうる。ここで安全に再生するために、TSRFは、1MHzに帯域制限されうる。また、100kHz又は10kHzに帯域制限されてもよい。
項J24.項J23の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、TSCIに基づいて時系列の無線特徴(TSRF)を演算することであって、TSRFの各無線特徴(RF)は、TSCIの個別のスライディングウィンドウに基づいて演算され、TSRFは、1MHzに帯域制限されたベースバンド信号である、ことと、TSRFに基づいて音声アクティビティを検出することと、を含む。
いくつかの実施形態では、システムは、音声(voice/speech)の存在を示唆する音声関連特性(例えば、ピッチ、ピッチの高調波、ピッチの時間プロファイル)を検出することによって、音声アクティビティを検出しうる。
項J25.項J24の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、TSRFにおける音声関連特性を検出することと、TSRFにおける検出された音声関連特性に基づいて音声アクティビティを検出することと、を含む。
いくつかの実施形態では、TSRF(例えば、ピッチ、ピッチプロファイル、混合音声/無声音声等)において現れうる、本明細書に列挙される多くの音声関連特性がある。これらの音声特性は、音声と非音声(例えば、機械音、風音、環境音等)とを区別する。特に、有声音声(例えば、母音、一部の子音、液体等)はピッチを有する。無声音声(例えば、ほとんどの子音、摩擦音、破裂音)はピッチを有さない。母音は有声音である。一般的な人間のピッチは、50Hzから250Hzの間である。
項J26.項J25の無線バイタルサインモニタリングシステムの方法/デバイス/ソフトウェアであって、音声関連特性は、音声特徴、母音、子音、摩擦音、摩擦音、破裂音、鼻、近似音、液体、側方、双唇音、口蓋音、歯槽音、フォン、音素、有声音、無声音、有声音のピッチ、基礎無線、音声関連無線範囲、音声関連無線範囲、音声の少なくとも1つの高調波、音声の少なくとも1つのフォルマント、時変ピッチ、ピッチプロファイル、音声関連時間トレンドのピッチ、トーン、音のトーン、プロソディック特徴、断続的有声音及び無声音のシーケンス、音楽特徴、発話タイミング、発話ペーシング、音楽タイミング、音楽ペーシング、又は環境音、のうちの少なくとも1つの特性を更に含む。
いくつかの実施形態では、TSRFにおいて観測可能でありうる、現時点の瞬時ピッチが存在する。
項J27.項J26の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、TSRFにおける現在の時間インスタンスに関連する瞬時ピッチを検出することであって、瞬時ピッチに関連する瞬時基本周波数は、下限閾値よりも大きく、上限閾値よりも小さい、ことと、検出された瞬時ピッチに基づいて音声アクティビティを検出することと、を更に含む。
人間の音声は多くの高調波を有することが多い。一部の高調波はTSRFにおいて観測可能でありうる。
項J28.項J27の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、TSRFにおける現在の時間インスタンスに関連する瞬時ピッチの少なくとも1つの瞬時高調波を検出することであって、それぞれの個別の高調波に関連する周波数は、瞬時ピッチの瞬時基本周波数の整数倍である、ことと、ピッチの検出された瞬時高調波に基づいて音声アクティビティを検出することと、を更に含む。
瞬時ピッチを有することに加えて、人間の音声は時変ピッチを有する。人間の音声は、時変ピッチを使用して、トーン言語のトーン、発音、母音発音、子音発音等、多くのものを表現しうる。時変ピッチは、特定の時間ウィンドウ内のピッチを含む。
項J29.項J28の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、TSRFにおける複数の個別の時間インスタンスに関連する複数の瞬時ピッチを含むピッチプロファイルを検出することであって、個別の時間インスタンスに関連する各瞬時ピッチは、下側閾値よりも大きく、上部閾値よりも小さい個別の瞬時基本周波数に関連する、ことと、ピッチプロファイルにおける複数の瞬時ピッチの音声関連時間トレンドを検出することと、検出されたピッチプロファイルと瞬時ピッチの検出された音声関連時間トレンドとに基づいて、音声アクティビティを検出することと、を更に含む。
いくつかの実施形態では、時変ピッチのいくつかの言語的/音声的に意味のある時間トレンドが存在する。
項J30.J29節の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、時間トレンドは、瞬時ピッチの局所連続性、瞬時周波数の局所連続性、瞬時高調波の周波数の局所連続性、習慣的ピッチ、長期ピッチ、習慣的ピッチの周辺のピッチの変化、ピッチ変化のタイミング又はペーシング、トーン内の高速ピッチ変化、又はプロソディを反映する低速ピッチ変化、のうちの少なくとも1つを含む。
いくつかの実施形態では、音声関連特性が、ニューラルネットワークを使用して時間領域で検出されうる。
項J31.項J30の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、ニューラルネットワークを用いてTSRFを処理することと、TSFRのニューラルネットワーク処理に基づいて音声関連特性を検出することと、を更に含む。
いくつかの実施形態では、TSRFの周波数分解を実行するために、音声関連特性が周波数領域で検出されうる。
項J32.項J30の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、スペクトログラム、短時間フーリエ変換(STFT)、ウェーブレット変換、フィルタバンク表現、高調波分析、フーリエ分析、多重解像度分析、時間-周波数分解、時間-周波数表現、ソノグラフ、ボイスプリント、ボイスグラム、又はウォーターフォールディスプレイ、のうちの少なくとも1つを演算することによって、TSRFの周波数分解を演算することと、周波数分解に基づいて、音声関連特性を検出することと、を更に含む。
いくつかの実施形態では、音声関連特性は、ニューラルネットワークを使用して周波数領域で検出されうる。オプション機能は、ニューラルネットワークへの入力を生成するために、周波数分解に「重複及び連結(overlap and concatenate)」を適用することである。
項J33.項J32の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、ニューラルネットワークを用いてTSRFの周波数分解を処理することと、TSRFの周波数分解のニューラルネットワーク処理に基づいて、音声関連特性を検出することと、を更に含む。
いくつかの実施形態では、音声関連特性は、いくつかのアルゴリズムを使用して(即ち、ニューラルネットワークを使用せずに)周波数領域において検出されうる。当該アルゴリズムは、TSRFにおける音声関連特性の発現(例えば、ピッチ、高調波、局所連続性)を検出しうる。
項J34.項J32の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、音声関連特性は、音声アクティビティのピッチを含み、現在の時間インスタンスと関連付けられた時間ウィンドウ内のTSRFの周波数分解に基づいて瞬時ピッチを検出することとを更に含む。
いくつかの実施形態では、音声信号は、ピッチに加えて高調波を有しうる。高調波の一部は、TSRFにおいて観測可能でありうる。
項J35.項J34の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、音声関連特性は、音声アクティビティのピッチの高調波を更に含み、現在の時間インスタンスと関連付けられた時間ウィンドウ内のTSRFの周波数分解に基づいて、瞬時高調波を検出することを更に含む。
いくつかの実施形態では、システムは、ビームフォーミングに基づいてターゲット音声ソースを識別しうる。第1のTSCIは、未加工のTSCIである。第2のTSCIは、未加工のTSCIのセットに対して実行されるビームフォーミングに基づいて演算される。
項J36.項J30の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、タイプ1デバイス又はタイプ2デバイスは、アンテナのアレイを有し、受信された無線信号に基づいて、無線マルチパスチャネルの未加工のTSCIのセットを取得することであって、各未加工のTSCIは、個別のアンテナと関連付けられる、ことと、アンテナのアレイと関連付けられた、受信された無線信号に基づいて取得された未加工のTSCIのセットに基づいて実行されるビームフォーミングに基づいて、指向性TSCIのセットを取得することであって、各指向性TSCIは、アンテナのアレイに対する方向と関連付けられ、TSCIは特定の指向性TSCIである、ことと、を更に含む。
いくつかの実施形態では、システムは、ビームフォーミングに基づいて非ターゲット音声ソースを抑制しうる。
項J37.項J36の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、ターゲット音声ソースをTSCIの成分と関連付けることであって、個別の非同期音声生成動作を受ける少なくとも1つの非ターゲット音声ソースが存在し、無線チャネルが、少なくとも1つの非ターゲット音声ソースの個別の非同期音声生成動作によって非同期的に影響を受ける、ことと、各非ターゲット音声ソースを、TSCIの異なる成分又は異なるの指向性TSCIと関連付けることと、TSCIの成分を選択することと、TSCIの選択された成分に基づいてTSRFを演算することによって、少なくとも1つの非ターゲット音声ソースを拒絶することと、を更に含む。
項J38.項J37の無線バイタルサインモニタリングシステムの方法/デバイス/システム/ソフトウェアであって、TSCIに基づいて演算されたTSRFに基づいて、ターゲット音声ソースの音声アクティビティを検出することと、別の指向性のTSCIに基づいて演算された別のTSRFに基づいて、非ターゲット音声ソースの別の音声アクティビティを検出することと、を更に含む。
以下の番号付けされた項は、無線バイタルサインモニタリングの例を示している。
項K1.無線バイタルサインモニタリングリングのためのシステムであって、ベニューの無線チャネルを通じて無線信号を送信するように構成された送信機と、無線チャネルを通じて無線信号を受信するように構成された受信機であって、受信される無線信号は、ベニュー内の物体のバイタルサインの周期的動作による影響を受ける無線チャネルに起因して、送信された無線信号とは異なる、受信機と、プロセッサとを備え、当該プロセッサは、受信された無線信号に基づいて、無線チャネルの時系列のCI(チャネル情報)を取得することと、TSCI(時系列のCI)の2D(2次元)分解を演算することと、2D分解をエンハンスすることと、エンハンスされた2D分解に基づいて、バイタルサインの周期的動作をモニタリングすることと、行うように構成される。
項K2.項K1のシステムであって、プロセッサは、TSCIに基づいてTSCF(時系列のCI特徴)を演算することであって、各CF(CI特徴)は、それぞれのCIの基本特徴と、対応する雑音除去されたCIの基本特徴との連結を含み、任意のCIの基本特徴は、CI、CIの大きさ、CIの位相、CIの成分の大きさ、又はCIの成分の位相、のうちの少なくとも1つを含み、雑音除去されたCIは、TSCIを第1の雑音除去フィルタで処理することによって演算され、第1の雑音除去フィルタは、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、メディアンフィルタ、又はパーセンタイルフィルタ、のうちの少なくとも1つを含む、ことと、TSCFに基づいて2D分解を演算することと、を行うように更に構成される。
項K3.項2のシステムであって、プロセッサは、スライディング時間ウィンドウの系列を決定することであって、各スライディング時間ウィンドウはタイムスタンプと関連付けられている、ことと、各スライディング時間ウィンドウにおけるTSCFのCFのそれぞれの1D(1次元)特性関数を演算することと、各スライディング時間ウィンドウにおけるそれぞれの1D特性関数に基づいて、2D分解を構築することと、を行うように更に構成される。
項K4.項K3のシステムであって、それぞれの1D特性関数は、各スライディング時間ウィンドウにおけるTSCFのCFの変換に基づいて演算され、当該変換は、周波数変換、周波数領域への変換、短時間フーリエ変換(STFT)、ウェーブレット変換、フィルタバンク表現、時間変換、時間シフト領域への変換、自己相関関数(ACF)、自己共分散関数、又は時間周波数分解、のうちの少なくとも1つを含む。
項K5.項K4のシステムであって、プロセッサは更に、関連付けられたタイムスタンプに従って時間順に、スライディング時間ウィンドウの1D特性関数を整列及びアライメントさせることによって2D行列を構築するように構成され、2D行列のi番目の列は、i番目のスライディング時間ウィンドウと関連付けられた1D特性関数を表し、2D行列のj番目の行は、j個の時間単位の時間シフトと関連付けられ、2D行列のi番目の列及びj番目の行における行列要素は、j個の時間単位の時間シフトを伴う、i番目のスライディング時間ウィンドウにおける1D特性関数の値であり、2D行列は2D分解の結果である。
項K6.項K5のシステムであって、プロセッサは更に、2D行列の各行列要素に、垂直ハイパスフィルタリング、水平ローパスフィルタリング、又はその両方を適用することによって、2D分解をエンハンスするように構成される。
項K7.項K6のシステムであって、プロセッサは更に、2D行列の各行列要素を、線形又は非線形のいずれかの、分離可能又は非分離可能なそれぞれの2D垂直ハイパス水平ローパスフィルタでフィルタリングするように構成される。
項K8.項K7のシステムであって、プロセッサは更に、個別の垂直ハイパスフィルタ又は個別の水平ローパスフィルタのうちの少なくとも1つで2D行列の各行列要素をフィルタリングすることによって、2D分解をエンハンスするように構成され、個別の垂直ハイパスフィルタ及び個別の水平ローパスフィルタの各々は線形又は非線形のいずれかである。
項K9.項K8のシステムであって、2D行列の各列の一部を個別の第1の共通垂直ハイパスフィルタでフィルタリングすること、2D行列の各行の一部を個別の第2の共通垂直ハイパスフィルタでフィルタリングすること、2D行列の各列の一部を個別の第1の共通水平ローパスフィルタでフィルタリングすること、又は2D行列の各行の一部を個別の第2の共通水平ローパスフィルタでフィルタリングすることのうちの少なくとも1つによって、2D分解をエンハンスすることを行うように構成される。
項K10.項K9のシステムであって、垂直ハイパスフィルタは、垂直方向又はほぼ垂直方向に適用される指向性1Dハイパスフィルタである。
項K11.項K10のシステムであって、水平ローパスフィルタは、水平方向又はほぼ水平方向に適用される指向性1Dローパスフィルタである。
項K12.項K11のシステムであって、プロセッサは更に、それぞれが垂直ハイパスフィルタ又は水平ローパスフィルタのいずれかである、一連の少なくとも2つの1Dフィルタで、2D行列の各行列要素をフィルタリングするように構成される。
項K13.項K12のシステムであって、プロセッサは更に、2D行列のいくつかの連続する列にヒストグラム等化を適用することによって2D分解をエンハンスすることで、エンハンスされた2D行列を生成するように構成される。
項K14.項K13のシステムであって、プロセッサは更に、基準列と、特定の時間と関連付けられたエンハンスされた2D行列の特定の列との間の動的時間伸縮(DTW)に基づいて、距離スコアを演算するように構成され、基準列は、DTWに基づいてマッチングされた、ある御数のトレーニング列をクラスタリングすることによって、トレーニングセッションにおいて演算され、トレーニング列は、バイタルサインを有するトレーニング物体が存在し、かつ、無線チャネルに影響を与える場合に無線チャネルを通じて受信されるトレーニング無線信号から取得される、トレーニングTSCIに基づいて演算され、距離スコアが第1の閾値よりも大きい場合、物体のバイタルサインの周期的動作は特定の時間において暫定的に検出されない。
項K15.項K14のシステムであって、プロセッサは更に、エンハンスされた2D行列の特定の列の各行列要素からある量を減算することと、当該特定の列のゼロクロスカウントを演算することと、を行うように構成され、ゼロクロスカウントが第2の閾値よりも大きい場合、物体のバイタルサインの周期的動作は当該特定の時間において暫定的に検出されない。
項K16.項K15のシステムであって、プロセッサは更に、エンハンスされた2D行列の特定の列の複数のピークを演算することと、当該複数のピークに基づいてピーク間距離を演算することと、を行うように構成される。
項K17.項K16のシステムであって、ピーク間距離が許容レンジ内にある場合、物体のバイタルサインの周期的動作は特定の時間に暫定的に検出され、ピーク間距離は、バイタルサインの周波数又は周期に等しいと判定され、ピーク間距離が許容レンジ内にない場合、物体のバイタルサインの周期的動作は当該特定の時間に暫定的に検出されない。
項K18.項K17のシステムであって、プロセッサは更に、Pが第3の閾値よりも大きい場合に、物体のバイタルサインを検出するように構成され、Pは、ある期間においてバイタルサインの周期的動作が暫定的に検出されるパーセンテージである。
項K19.無線バイタルサインモニタリングのためのシステムの無線デバイスであって、プロセッサと、プロセッサに通信可能に結合されたメモリと、プロセッサに通信可能に結合された受信機と、を備え、システム内の追加の無線デバイスは、ベニューの無線チャネルを通じて無線信号を送信するように構成され、受信機は、無線チャネルを通じて無線信号を受信するように構成され、受信される無線信号は、ベニュー内の物体のバイタルサインの周期的動作による影響を受ける無線チャネルに起因して、送信された無線信号とは異なり、プロセッサは、受信された無線信号に基づいて、無線チャネルの時系列のチャネル情報(CI)を取得することと、時系列のCI(TSCI)の2次元(2D)分解を演算することと、2D分解をエンハンスすることと、エンハンスされた2D分解に基づいて、バイタルサインの周期的動作をモニタリングすることと、を行うように構成される。
項K20.無線バイタルサインモニタリングリングのための方法であって、ベニューの無線チャネルを通じて無線信号を送信することと、無線チャネルを通じて無線信号を受信することであって、受信される無線信号は、ベニュー内の物体のバイタルサインの周期的動作による影響を受ける無線チャネルに起因して、送信された無線信号とは異なる、ことと、受信された無線信号に基づいて、無線チャネルの時系列のチャネル情報(CI)を取得することと、時系列のCI(TSCI)の2次元(2D)分解を演算することと、2D分解をエンハンスすることと、エンハンスされた2D分解に基づいて、バイタルサインの周期的動作をモニタリングすることと、を含む。
上述の特徴は、データ及び命令を受信し、データ及び命令をデータ記憶システム、少なくとも1つの入力デバイス、及び少なくとも1つの出力装置から送信するように結合された少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能な1つ以上のコンピュータプログラムにおいて有利に実現されてもよい。コンピュータプログラムは、特定の活動を実行するために、又は特定の結果をもたらすために、コンピュータにおいて直接的又は間接的に使用されうる命令のセットである。コンピュータプログラムは、コンパイルされた又は解釈された言語を含む、任意の形態のプログラミング言語(例えば、C、Java)で書かれてもよく、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、ブラウザベースのウェブアプリケーション、又はコンピューティング環境での使用に適した他のユニットとしてを含む、任意の形態で展開されてもよい。
命令のプログラムの実行に適したプロセッサは、例えば、汎用及び専用マイクロプロセッサ、デジタル信号プロセッサ、並びに任意の種類のコンピュータの単一のプロセッサ又は複数のプロセッサ若しくはコアのうちの1つを含む。一般に、プロセッサは、読み出し専用メモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを記憶するための1つ以上のメモリとである。一般に、コンピュータはまた、データファイルを記憶するための1つ以上の大容量記憶デバイスを含むか、又はそれと通信するように動作可能に結合され、そのようなデバイスは、内蔵ハードディスク及びリムーバブルディスク等の磁気ディスク、光磁気ディスク、及び光ディスクを含む。コンピュータプログラム命令及びデータを有形に具現化するのに適した記憶装置は、例として、EPROM、EEPROM、及びフラッシュメモリデバイス等の半導体メモリデバイス、内部ハードディスク及びリムーバブルディスク等の磁気ディスク、光磁気ディスク、並びにCD-ROM及びDVD-ROMディスクを含む、全ての形態の不揮発性メモリを含む。プロセッサ及びメモリは、ASIC(特定用途向け集積回路)によって補足されるか、又はASICに組み込まれうる。
本教示は多くの特定の実装の詳細を含むが、これらは本教示の範囲又は特許請求されうるもの限定として解釈されるべきではなく、むしろ、本教示の特定の実施形態に特有の特徴の説明として解釈されるべきである。別々の実施形態のコンテキストにおいて本明細書に記載される特定の特徴は、単一の実施形態において組み合わせて実施されてもよい。逆に、単一の実施形態のコンテキストで説明される様々な特徴は複数の実施形態において別々に、又は任意の適切な組み合わせで実装されてもよい。
同様に、動作が特定の順序で図面に描かれているが、これは所望の結果を達成するために、そのような動作が示された特定の順序で、又は連続的な順序で実行されること、又は全ての図示された動作が実行されることを必要とするものとして理解されるべきではない。特定の状況では、マルチタスク処理及び並列処理が有利でありうる。更に、上記の実施形態における様々なシステムコンポーネントの分離は全ての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、説明されるプログラムコンポーネント及びシステムは概して、単一のソフトウェア製品に一緒に統合されうるか、又は複数のソフトウェア製品にパッケージ化されうることを理解されたい。
本主題の特定の実施形態について説明した。上記の特徴及びアーキテクチャの任意の組み合わせは、以下の特許請求の範囲内にあることが意図される。他の実施形態もまた、以下の特許請求の範囲内である。場合によっては、特許請求の範囲に列挙された動作が異なる順序で実行され、依然として望ましい結果を達成しうる。加えて、添付の図面に示されるプロセスは所望の結果を達成するために、必ずしも示される特定の順序、又は連続的な順序を必要としない。いくつかの実装形態では、マルチタスク処理及び並列処理が有利でありうる。