JP2019515730A - 生理学的信号からの特徴の抽出 - Google Patents

Abstract

対象者の感情の状態を判定するための方法が、対象者に関連する運動に基づく生理学的信号を受信するステップであって、運動に基づく生理学的信号が、対象者のバイタルサインに関連する成分を含む、ステップと、対象者のバイタルサインに関連する成分に少なくとも部分的に基づいて対象者の感情の状態を判定するステップとを含む。

Description

関連出願の相互参照
本出願は、２０１６年１０月４日に出願した米国仮出願第６２／４０３，８０８号明細書及び２０１６年４月１８日に出願した米国仮出願第６２／３２３，９２８号明細書の優先日の利益を主張するものであり、これらの仮出願の内容は、参照により本明細書に組み込まれる。

連邦政府による資金提供を受けた研究の記載
本発明は、米国空軍によって与えられた契約番号ＦＡ８７２１−０５−Ｃ−０００２の下での政府支援によってなされた。政府は、本発明に特定の権利を有する。

本発明は、生理学的信号及び特に生理学的運動を表す信号からの特徴の抽出に関する。

対象者の感情を推測し、場合によっては推測された感情に反応することができるシステムに対する関心が高まっている。そのようなシステムは、ゲーム、映画、広告、オンラインコンテンツ、及びヒューマン−コンピュータインターフェースを設計し、試験するために使用され得る。

一部の例において、対象者の感情を推測するためのシステムは、２つの段階で動作する。つまり、第１の段階において、それらのシステムは、感情に関連する信号（視聴覚的手掛かり（audio-visual cue）又は生理学的信号）を抽出し、第２の段階において、それらのシステムは、感情に関連する信号を、感情を認識するために分類器に与える。感情に関連する信号を抽出するための既存の手法は、２つのカテゴリ、すなわち、視聴覚的技術及び生理学的技術に分かれる。

視聴覚的技術は、概して、視聴覚的記録又はストリームの中に存在する表情、発話、及びジェスチャーに依拠する。視聴覚的手法は、ユーザがそれらのユーザの体にいかなるセンサを付けることも必要としない。しかし、それらの手法は、外面に現れた状態に依拠するので、微妙な感情を見逃すことが多く、対象者が感情を表に出すことを制御又は抑制するとき、失敗させられる可能性がある。さらに、多くの映像に基づく技術は、それらの技術が正しく働くためにユーザがカメラの方を向くことを必要とする。

生理学的技術は、ＥＣＧ及びＥＥＧ信号などの生理学的測定値に依拠する。生理学的測定値は、自律神経系（ＡＮＳ，autonomic nervous system）の不随意の活性化によって制御されるので、概して、対象者が制御するのがより難しい。これらの信号を抽出することができる既存のセンサは、人の体に物理的に接触することを必要とし、したがって、対象者の体験を邪魔し、その対象者の感情の状態に影響を与える可能性がある。

感情に関連する信号に基づいて感情を認識するための既存の手法は、測定された信号から感情に関連する特徴を抽出し、それから、対象者の感情の状態を特定するために分類器を使用して抽出された特徴を処理する。いくつかの既存の分類手法は、各感情に別々のラベル（例えば、満悦（pleasure）、悲しみ（sadness）、又は怒り（anger））を割り当てる。その他の既存の分類手法は、感情価（valence）（つまり、肯定的感情対否定的感情）軸及び覚醒度（arousal）（つまり、平静対高揚）軸によって張られる２Ｄ平面内に感情を表現する多次元モデルを使用する。例えば、怒り及び悲しみは、両方とも否定的感情であるが、怒りはより高い覚醒度をともなう。同様に、歓喜（joy）及び満悦は、両方とも肯定的感情であるが、前者が興奮に関連付けられる一方、後者は満足の状態を指す。

包括的な態様においては、対象者からの信号の反射を使用して、対象者の運動を表す運動に基づく生理学的信号を処理するための方法が、送信要素から１又は２以上の送信信号パターンを含む無線周波数送信信号を放射するステップを含む。送信信号のいくつかの反射の組合せを含む無線周波数受信信号が、１又は２以上の受信要素において受信され、送信信号のいくつかの反射のうちの少なくとも一部の反射が、対象者に関連付けられる。送信信号パターンの反射の時間的に連続したパターンが、１又は２以上の運動に基づく生理学的信号を形成するために処理され、いくつかの反射のうちの少なくとも一部の反射に関して、受信信号内の送信信号の反射の経時的な変動から対象者の生理学的運動を表す運動に基づく生理学的信号を形成することを含む。１又は２以上の運動に基づく生理学的信号のサブセットのそれぞれの運動に基づく生理学的信号が、運動に基づく生理学的信号の心拍成分のセグメンテーションを決定するために処理され、処理は、心拍成分を決定すること、心拍成分内の心拍に関するテンプレートの時間パターンを決定すること、及び決定されたテンプレートの時間パターンに基づいて心拍成分のセグメンテーションを決定することを含む。

態様は、以下の特徴のうちの１又は２以上を含み得る。

送信信号は、単一の信号パターンの繰り返しを含む周波数変調連続波（ＦＭＣＷ，frequency modulated continuous wave）信号である可能性がある。１又は２以上の送信信号パターンは、１又は２以上の擬似ランダム雑音シーケンスを含む可能性がある。心拍成分を決定することは、運動に基づく生理学的信号の２次導関数を決定することを含む、運動に基づく生理学的信号に対する呼吸の影響を軽減することを含む可能性がある。心拍成分を決定することは、帯域通過フィルタを使用して運動に基づく生理学的信号をフィルタリングすることを含む、運動に基づく生理学的信号に対する呼吸の影響を軽減することを含む。心拍成分内の心拍に関するテンプレートの時間パターンを決定すること、及び心拍成分のセグメンテーションを決定することは、心拍に関する時間パターン及び心拍成分のセグメンテーションを一緒に最適化することを含む可能性がある。

方法は、対象者に関連する運動に基づく生理学的信号の心拍成分の決定されたセグメンテーションに少なくとも部分的に基づいて対象者の認知状態を判定するステップを含む可能性がある。対象者の認知状態は、困惑（confusion）の状態、注意散漫（distraction）の状態、及び注意深さ（attention）の状態のうちの１又は２以上を含む可能性がある。方法は、運動に基づく生理学的信号の各々の心拍成分から特徴を抽出するステップと、抽出された特徴を１又は２以上の心機能にマッピングするステップとを含む可能性があり、特徴は、ピーク、谷、又は変曲点を含む。

方法は、対象者に関連する運動に基づく生理学的信号の心拍成分の決定されたセグメンテーションに少なくとも部分的に基づいて対象者の感情の状態を判定するステップを含む可能性がある。対象者の感情の状態を判定するステップは、１又は２以上の運動に基づく生理学的信号の呼吸成分にさらに基づく可能性がある。方法は、１又は２以上の運動に基づく生理学的信号に低域通過フィルタを適用することを含む、１又は２以上の運動に基づく生理学的信号の呼吸成分を決定するステップを含む可能性がある。対象者の感情の状態を判定するステップは、運動に基づく生理学的信号の心拍成分の決定されたセグメンテーションから決定された１又は２以上の特徴に感情分類器を適用することを含む可能性がある。

対象者の感情の状態を判定するステップは、運動に基づく生理学的信号の心拍成分の決定されたセグメンテーションから決定された１又は２以上の特徴と、１又は２以上の運動に基づく生理学的信号の呼吸成分から決定された１又は２以上の特徴とに感情分類器を適用することを含む可能性がある。方法は、第１の覚醒度の次元及び第２の感情価の次元を含む２次元グリッド内に感情の状態を提示するステップを含む可能性がある。運動に基づく生理学的信号は、受信信号内の送信信号の反射の位相角の経時的な変動から対象者の生理学的運動を表す可能性がある。

別の包括的な態様においては、対象者の感情の状態を判定するための方法が、対象者に関連する運動に基づく生理学的信号を受信するステップであって、運動に基づく生理学的信号が、対象者のバイタルサインに関連する成分を含む、ステップと、対象者のバイタルサインに関連する成分に少なくとも部分的に基づいて対象者の感情の状態を判定するステップとを含む。

態様は、以下の特徴のうちの１又は２以上を含み得る。

対象者のバイタルサインに関連する成分は、周期的成分を含む可能性があり、方法は、周期的成分のセグメンテーションを決定するステップをさらに含む。周期的成分のセグメンテーションを決定するステップは、周期的成分内の周期の間のテンプレートの時間パターンを決定することと、決定されたテンプレートの時間パターンに基づいて周期的成分のセグメンテーションを決定することとを含む可能性がある。対象者の感情の状態を判定するステップは、周期的成分のセグメンテーションに少なくとも部分的に基づく可能性がある。周期的成分は、心拍成分及び呼吸成分のうちの少なくとも一方を含む可能性がある。

心拍成分を決定することは、運動に基づく生理学的信号の２次導関数を決定することを含む可能性がある。方法は、運動に基づく生理学的信号に帯域通過フィルタを適用することを含む、心拍成分を決定するステップを含む可能性がある。方法は、運動に基づく生理学的信号に低域通過フィルタを適用することを含む、呼吸成分を決定するステップを含む可能性がある。対象者の感情の状態を判定するステップは、対象者に関連する運動に基づく生理学的信号から決定された１又は２以上の特徴に感情分類器を適用することを含む可能性がある。対象者の感情の状態を判定するステップは、周期的成分の決定されたセグメンテーションから決定された１又は２以上の特徴に感情分類器を適用することを含む可能性がある。

方法は、第１の覚醒度の次元及び第２の感情価の次元を含む２次元グリッド内に感情の状態を提示するステップを含む可能性がある。対象者に関連する運動に基づく生理学的信号は、加速度計の測定に関連付けられる可能性がある。対象者に関連する運動に基づく生理学的信号は、超音波測定に関連付けられる可能性がある。対象者に関連する運動に基づく生理学的信号は、無線周波数に基づく測定に関連付けられる可能性がある。対象者に関連する運動に基づく生理学的信号は、ビデオに基づく測定に関連付けられる可能性がある。

上述のように、人の感情を推測するための既存の手法は、概して、画像及びオーディオクリップなどの視聴覚的手掛かりに依拠するか、又は人がＥＣＧモニタのような生理学的センサを身につけることを必要とする。これらの既存の手法の両方に関連する制限が存在する。

特に、現在の視聴覚的技術は、感情の表出を利用するが、内面の感情を測定しない。例えば、人は、たとえ笑っていないとしても幸せである可能性があり、又はたとえ幸せでないとしても笑っている可能性がある。また、人々は、それらの人の内面の感情を示す際にどれだけ表現豊かかに大きな違いがあり、このことがこの問題をさらに複雑にしている。体に付けるセンサを使用して生理学的信号（例えば、心拍）を監視することは、手法が自律神経系と心拍リズムとの間の相互作用を考慮に入れるので、対象者の内面の感情を測定する改善された手法である。しかし、これらの信号を測定するために体に付けるセンサ（例えば、ＥＣＧモニタ）を使用することは、煩わしく、ユーザの活動及び感情を妨げる可能性があり、この手法を常用に適さなくする。

本明細書において説明される態様は、対象者がそれらの対象者の体にセンサを付けることを必要とせずに生理学的信号を直接測定し、それから、測定された生理学的信号を使用して対象者の感情を推定する。一部の態様において、手法は、生理学的信号（及び生理学的信号に関連する感情）を感知するために無線周波数（ＲＦ，radio frequency）信号を使用する。特に、ＲＦ反射信号は、人の体に反射し、呼吸に関連する動き及び心拍に関連する動きを含む体の動きによって変調される。

ＲＦ反射信号の心拍成分の個々の心拍が抽出され得る場合、個々の鼓動の長さ及び／又は形状の微小な変動が、対象者の感情を推定するために使用される。しかし、ＲＦ反射信号から個々の心拍を抽出することに関連するいくつかの課題がある。例えば、ＲＦ反射信号は、対象者の呼吸と対象者の心拍との両方によって変調され、概して、呼吸の影響は、呼吸に関連する運動が個々の心拍をマスクするように心拍の影響よりも数桁大きい。呼吸を心拍数と分けるために、過去のシステムは、周波数領域において数秒にわたって動作し、鼓動毎の変動性を測定する能力なしで済ませる。

さらに、ＲＦ反射信号内の心拍に関連する特徴（本明細書においては概して「心拍」と呼ばれる）は、ＥＣＧ信号を特徴づける鋭いピークがなく、鼓動の境界を正確に特定することをより難しくする。

最後に、心拍間隔（ＩＢＩ，inter-beat interval）の違いは、数十ミリ秒に過ぎない。したがって、個々の鼓動が、数ミリ秒以内にセグメント分けされなければならない。そのような精度を得ることは、心拍の始まり又は終わりを特定する鋭いピークがない場合、特に難しい。

態様は、これらの課題に対処して、人の体からのＲＦの反射を使用して感情認識を実行するワイヤレスシステムを可能にする。態様は、ＲＦ反射信号から個々の心拍及び個々の心拍の間の変動を抽出するためのアルゴリズムを利用する。一部の態様において、アルゴリズムは、まず、ＲＦ反射信号内の呼吸の影響を軽減する。一部の例において、軽減メカニズムは、息を吸う−息を吐くプロセスが原因である胸の変位が心拍によって引き起こされる微小な振動よりも数桁大きい一方、呼吸が原因である運動の加速度は心拍が原因である運動の加速度よりも著しく小さいという認識に基づく。つまり、呼吸が通常ゆっくりで安定している一方で、心拍は局所的な瞬間の心筋の速い収縮をともなう。したがって、態様は、呼吸信号を抑制し、心拍を強調するためにＲＦ反射信号の加速度によって動作する。

そして、態様は、ＲＦ反射信号を個々の心拍にセグメント分けする。知られている予想される形状を有するＥＣＧ信号とは対照的に、ＲＦ反射信号内の心拍の形状は、未知であり、対象者の体及びデバイスに対する厳密な姿勢に依存して変わる。したがって、態様は、セグメンテーションが行われるとき、鼓動の形状を学習することを求められる。そのようにするために、同時最適化（joint optimization）アルゴリズムが２つの部分問題の間で反復され、第１の部分問題が、特定のセグメンテーションを前提として心拍のテンプレートを学習し、一方、第２の部分問題は、学習されたテンプレートとの類似性を最大化するセグメンテーションを見つける。最適化アルゴリズムは、最適な鼓動のテンプレート及びテンプレートとの類似性を最大化する最適なセグメンテーションに収束するまで２つの部分問題の間の反復を継続する。

セグメンテーションは、鼓動が縮む及び伸びる可能性があり、したがって、鼓動の長さが変動する可能性があることを考慮に入れる。したがって、アルゴリズムは、鼓動信号の柔軟なワーピング（warping）（収縮又は伸張）を許容しながら、連続した鼓動の間の心拍信号の形態の類似度を最大化する鼓動のセグメンテーションを見つける。

特定の態様は、決定されたセグメンテーションを感情分類サブシステムに与える。感情分類サブシステムは、心拍に基づく特徴及び呼吸に基づく特徴を計算し、サポートベクターマシン（ＳＶＭ，support vector machine）分類器を使用してさまざまな感情の状態を区別する。

態様は、以下の利点のうちの１又は２以上を有する可能性がある。

その他の利点の中でもとりわけ、態様は、有利なことに、ＲＦ反射信号から心拍を正確に抽出することができる。特に、心拍間隔を推定する際の４０〜５０ミリ秒の誤差でさえも、感情認識の正確さを大きく損なう。対照的に、態様は、３．２ミリ秒の心拍間隔（ＩＢＩ）の平均誤差を達成することができ、この平均誤差は、平均的な鼓動の長さの０．４％未満である。

態様は、対象者の体から反射されたワイヤレス信号に頼ることによって対象者の感情を認識する。

態様は、ＲＦの反射から人の心拍全体を復元し、したがって、非侵襲的な健康状態の監視及び診断に関連して使用され得る。

態様は、純粋にユーザの体から反射されたワイヤレス信号に頼ることによって、ユーザがいかなるセンサを身につけることも必要とせずに生理学的信号を捕捉する。

感情認識システムのブロック図である。 図１のシステムの運動信号獲得モジュールのブロック図である。 対象者の生理学的運動を表す信号の例の図である。 図１のシステムの運動信号処理モジュールのブロック図である。 図３の信号の心拍成分の例の図である。 図３の信号の呼吸成分の例の図である。 心拍セグメンテーションアルゴリズムの擬似コードの記述の図である。 図５の心拍成分のセグメンテーションの図である。 図５の心拍成分から決定された心拍のテンプレートの図である。 ２次元感情グリッドの図である。

図１を参照すると、感情認識システム１００が、対象者１０４の生理学的運動を表す信号を獲得し、獲得された信号を処理して対象者の感情の状態１１２を推測する。システム１００は、対象者１０４の生理学的運動に関連する信号の獲得のための運動信号獲得モジュール１０２と、運動信号処理モジュール１０６と、心拍セグメンテーションモジュール１０７と、特徴抽出モジュール１０８と、対象者の感情の状態１１２を分類するための感情分類モジュール１１０とを含む。

１ 信号の獲得
図１の例において、対象者の体は、対象者の呼吸と対象者の心臓の鼓動との両方が原因で動く。運動信号獲得モジュール１０２は、対象者の体の運動（又は任意のその他の生理学的運動）を感知し、対象者の体の運動を表す信号（例えば、電気信号）φ（ｔ）を生じさせる１又は２以上のトランスデューサ（図示せず）を含む。

図２を参照すると、一部の例において、運動信号獲得モジュール１０２は、ワイヤレス感知技術を使用して対象者の体の運動を表す信号を生じさせる。ワイヤレス感知技術は、息を吸うこと及び息を吐くことによる胸の動き並びに心拍による体の振動を含む環境内の運動によってワイヤレス信号の特徴が影響を受けるという事実を利用する。特に、ワイヤレス感知システムは、環境内の対象者１０４を含む対象者に反射するワイヤレス信号を放つ（環境内に２人以上の対象者がいる可能性があることに留意されたい）。そして、反射された信号が、運動感知獲得モジュール１０２において受信される。環境内の対象者１０４が呼吸をするので、及びそれらの対象者１０４の心臓が鼓動するので、ワイヤレス感知システムによって受信される反射されたワイヤレス信号によって移動される距離が変化する。ワイヤレス感知システムは、飛行時間（ＴＯＦ，time-of-flight）（「往復遅延時間」とも呼ばれる）を使用してシステムのアンテナと（１又は２以上の）対象者１０４との間の距離を監視する。

図２において、運動信号獲得モジュール１０２は、周波数変調連続波（ＦＭＣＷ）ワイヤレス感知と呼ばれる特定のワイヤレス感知技術を実装する。運動感知信号獲得モジュールは、送信アンテナ１１４と、受信アンテナ１１６と、コントローラ１１８、ＦＭＣＷ信号ジェネレータ１２０、周波数シフトモジュール１２２、及び位相信号抽出モジュール１２４を含むいくつかの信号処理構成要素とを含む。

動作中、コントローラ１１８は、ＦＭＣＷ信号ジェネレータ１２０に信号パターン（例えば、周波数掃引信号パターン）の繰り返しを生じさせる。繰り返される信号パターンが、送信アンテナ１１４に与えられ、送信アンテナ１１４からモジュール１０２の周りの環境に送信される。送信された信号は、１又は２以上の対象者１０４並びに／又は環境内の壁及び家具などのその他の物体１０５に反射し、それから、受信アンテナ１１６によって受信される。受信された反射された信号は、ＦＭＣＷ信号ジェネレータ１２０によって生じさせられた送信された信号と一緒に周波数シフトモジュール１２２に与えられる。周波数シフトモジュール１２２は、（例えば、信号を乗算することによって）送信された信号に応じて受信された信号を周波数シフト（例えば、「ダウンコンバート」又は「ダウンミックス」）し、（例えば、高速フーリエ変換（ＦＦＴ，Fast Fourier Transform）によって）周波数シフトされた受信された信号を周波数領域の表現に変換し、周波数の離散的な組ωにおける周波数シフトされた受信された信号の周波数領域の表現Ｓ（ω）_ｉをもたらす。

周波数シフトされた信号の周波数領域の表現Ｓ（ω）_ｉは、Ｓ（ω）_ｉを処理して１又は２以上の位相信号φ（ｔ）を抽出する位相信号抽出モジュール１２４に与えられる。一部の例において、位相信号抽出モジュール１２４は、周波数シフトされた信号Ｓ（ω）_ｉを処理して、それらの信号の反射時間に基づいて環境内の物体及び／又は対象者からの反射信号を空間的に分ける。一部の例において、位相信号抽出モジュール１２４は、静的なオブジェクト（つまり、時間の経過とともに動かない物体）からの反射を除去する。

図２に示される例においては、代表的な対象者１０４に反射する、送信アンテナ１０４と受信アンテナ１０６との間の経路１１２が示される。一定の信号伝播速度ｃ（すなわち、光速）を仮定して、座標（ｘ_ｏ，ｙ_ｏ，ｚ_ｏ）の対象者に反射し、座標（ｘ_ｒ，ｙ_ｒ，ｚ_ｒ）の受信アンテナにおいて受信された座標（ｘ_ｔ，ｙ_ｔ，ｚ_ｔ）の送信アンテナからの飛行時間（ＴＯＦ）は、

のように表され得る。この場合、アンテナの単一のペアによって、経路１１２に関連するＴＯＦは、対象者１０４の位置を、経路の送信アンテナ及び受信アンテナの３次元座標とＴＯＦから決定される経路の距離とによって定義される楕円体上にあるように拘束する。

上述のように、送信アンテナ及び受信アンテナのペアからの楕円体の距離は、息を吸うこと及び息を吐くことによる対象者の胸の動き並びに心拍による体の振動とともに変わる。アンテナ１１４、１１６と対象者１０４との間の変化する距離は、次のように、時間とともに変わる位相として反射された信号に表される。

ここで、φ（ｔ）は、信号の位相であり、λは、波長であり、ｄ（ｔ）は、移動される距離であり、ｔは、時間変数である。信号の位相φ（ｔ）は、対象者の体の運動を表す信号として運動信号獲得モジュール１０２から出力される。

上述のＦＭＣＷに基づく運動感知技術のさらなる詳細は、２０１５年４月２８日に出願し、国際公開第２０１５１６８０９３号パンフレットとして公開された、ＶＩＴＡＬ ＳＩＧＮＳ ＭＯＮＩＴＯＲＩＮＧ ＶＩＡ ＲＡＤＩＯ ＲＥＦＬＥＣＴＩＯＮＳと題したＰＣＴ出願ＰＣＴ／ＵＳ２０１５／０２７９４５号明細書に見つけられる可能性があり、この出願は、参照により本明細書に組み込まれる。

図３を参照すると、信号獲得モジュール１０２によって獲得された対象者の体の運動を表す信号φ（ｔ）の一例は、対象者が息を吸い、息を吐くときのその対象者の胸の変位が原因である比較的大きな呼吸成分（つまり、約０．２５Ｈｚの周波数の正弦波成分）を有する。位相信号の心拍成分は、呼吸成分を変調する小さな変動として現れ、小さな変動は、対象者の心拍及び血液の脈動に関連する微小な体の振動によって引き起こされる。

２ 運動信号の処理
再び図１を参照すると、運動信号処理モジュール１０６は、運動信号獲得モジュール１０２から対象者の運動を表す信号φ（ｔ）を受信し、対象者の運動を表す信号を処理して信号の心拍成分φ″（ｔ）を信号の呼吸成分φ_ｂ（ｔ）と分ける。

図４を参照すると、運動信号処理モジュールは、対象者の運動を表す信号φ（ｔ）を処理して信号の心拍成分φ″（ｔ）を分離する微分器４４２と、信号の呼吸成分φ_ｂ（ｔ）を分離するための低域通過フィルタ４４０とを含む。

呼吸成分は心拍成分よりも数桁大きいので、心拍成分との呼吸成分の分離。心拍成分φ″（ｔ）を分離するために、運動信号処理モジュール１０６は、呼吸運動の加速度が心拍運動の加速度よりも小さいという事実を利用する。これは、呼吸が通常ゆっくりで安定している一方で、心拍が心筋の速い収縮をともなうためである。したがって、運動信号処理モジュール１０６は、加速度信号を決定することによって心拍成分に対して相対的な信号の呼吸成分の影響を小さくするための微分器４４２を含む。特に、微分器４４２は、対象者の運動を表す信号の２次導関数φ″（ｔ）を計算する。

一部の例においては、φ（ｔ）の解析的表現が利用可能でなく、２次導関数φ″（ｔ）を計算するために数値的方法が使用される。一部の例においては、雑音に対するその堅牢性のために、微分器４４２は、次の２階微分器を実装する。

ここで、

は、特定のサンプルにおける２次導関数を指し、ｆ_ｉは、ｉサンプル離れた時系列の値を指し、ｈは、連続するサンプルの間の時間間隔である。

図５を参照すると、微分器４４２によって出力される加速度信号φ″（ｔ）の一例が、微分器４４２に、上述の２階微分器を対象者の運動を表す信号φ（ｔ）に適用させることによって決定される。結果として得られる加速度信号φ″（ｔ）において、心拍が原因である信号成分は、心拍に関連する運動の加速度が対象者の呼吸に関連する運動の加速度よりもかなり大きいために突出している。一部の例において、運動信号処理モジュール１０６は、信号内にある雑音をやはり削減しながら心拍に関連する信号成分を分離するために帯域通過フィルタを使用する。

再び図４を参照すると、低域通過フィルタ４４０は、対象者の運動を表す信号φ（ｔ）の呼吸成分φ_ｂ（ｔ）を分離するために使用される。特に、呼吸成分は心拍成分と比べて圧倒的に周波数が低いので、呼吸成分φ_ｂ（ｔ）を実質的にそのまま残しながら対象者の運動を表す信号φ（ｔ）から心拍成分を実質的に除去するために低域通過フィルタが使用され得る。

信号の心拍成分（すなわち、加速度信号）φ″（ｔ）及び信号の呼吸成分φ_ｂ（ｔ）は、運動信号処理モジュール１０６から出力として提供される。図６を参照すると、低域通過フィルタ４４０によって出力される呼吸成分φ_ｂ（ｔ）の一例において、比較的高い周波数の心拍成分が、対象者の運動を表す信号φ（ｔ）から実質的に取り除かれる一方、呼吸成分φ_ｂ（ｔ）は、実質的にそのままである。

３ 心拍のセグメンテーション
再び図１を参照すると、信号の心拍成分φ″（ｔ）が、心拍成分に関する最適なセグメンテーションを決定する心拍セグメンテーションモジュール１０７に与えられる。上述のように、感情を分類する一部の手法は、対象者の感情の状態を分類するために対象者の心拍間隔の小さな変動を利用する。心拍信号内の心拍の形態（例えば、時間パターン又は形状）は、（システム１００に対する対象者の位置及び姿勢などの要因が原因で）未知であるので、心拍セグメンテーションモジュール１０７は、心拍の形態を一緒に決定し、心拍をセグメント分けする最適化アルゴリズムを使用する。結果として得られるセグメンテーション

は、特徴の中でもとりわけ、上述の心拍間隔の小さな変動を特定するために使用される。

最適化アルゴリズムは、連続する人の心拍が同じ形態を有するという仮定に基づく。つまり、個々の心拍運動は、異なる鼓動の長さが原因で伸びるか又は縮む可能性があるが、すべて似た全体の形状を有する。この仮定を念頭に置いて、アルゴリズムは、心拍の形状が事前に知られておらず、心拍が縮むか又は伸びる可能性があるという事実を考慮しながら心拍の間の形状の違いを最小化するセグメンテーションを決定する。アルゴリズムは、以下で説明されるように、加速度信号φ″（ｔ）のすべての可能なセグメンテーションに関する最適化問題として定式化される。

x = (x₁, x₂,…, x_n)が長さｎのシーケンスを表すものとする。ｘのセグメンテーションS = {s₁, s₂,…}は、重なり合わない切れ目のない部分シーケンス（つまり、セグメント）へのｘの区分けであり、各セグメントｓ_ｉは、｜ｓ_ｉ｜個の点を含む。各心拍を特定するために、セグメントが互いに最も似ているセグメンテーションが特定される（つまり、セグメント間の変動が最小化される）。統計的な分散はスカラ又は同じ次元を有するベクトルに関してのみ定義されるので、異なる長さを有するベクトルに関する定義が、セグメントS = {s₁, s₂,…}の分散が

であるように拡張され、ここで、ω（μ，｜ｓ_ｉ｜）は、長さ｜ｓ_ｉ｜へのμの（例えば、３次スプライン補間による）線形ワーピングである。

上述の定義は、すべてのセグメントが同じ長さを有するとき、統計的な分散と同じであることに留意されたい。上の定義において、μは、すべてのセグメントの中心傾向（central tendency）（つまり、鼓動の形状又は形態に関するテンプレート）を表す。

アルゴリズムは、セグメントの分散を最小化する最適なセグメンテーションＳ^＊を決定し、正式には次のように示され得る。

最適なセグメンテーションの上述の表現に基づいて、最適化問題は、
b_min ≦ |s_i| ≦ b_max, s_i ∈ S
という制約条件の下での

のように書き換えられ、ここで、ｂ_ｍｉｎ及びｂ_ｍａｘは、各心拍サイクルの長さに対する制約である。

最適化問題は、セグメントとテンプレートとの間の２乗差の合計を最小化する最適なセグメンテーションＳ及びテンプレート（つまり、形態）μを決定しようと試みる。この最適化問題は、Ｓに対する組合せ最適化とμに対する数値最適化との両方を含む。すべての可能なセグメンテーションを網羅的に探索することは、指数関数的複雑性を有する。

この指数関数的複雑性を避けるために、アルゴリズムは、セグメンテーションＳ及びテンプレートμを同時に推定するのではなく、セグメンテーションの更新とテンプレートの更新とを交互に行う。各反復の間に、アルゴリズムは、現在のテンプレートを前提としてセグメンテーションを更新し、それから、新しいセグメンテーションを前提としてテンプレートを更新する。これらの２つの部分問題の各々に関して、アルゴリズムは、線形の時間計算量（time complexity）で大域的最適条件を得る。

図７を参照すると、心拍セグメンテーションアルゴリズムの擬似コードの記述は、ｎ個のデータサンプルのシーケンスｘ及び許容される心拍数の範囲Ｂを入力として受け取る。心拍セグメンテーションアルゴリズムは、いくつかのセグメントＳ及び長さｍのテンプレートμを含む出力を生じさせる。

擬似コードの記述の１行目において、μを表すベクトルが、すべてゼロを含むように初期化される。擬似コードの記述の２行目において、反復の数ｌがゼロに初期化される。擬似コードの記述の３〜７行目において、アルゴリズムが収束するまでセグメンテーションＳ及びテンプレートμが反復して更新されるループが実行される。特に、擬似コードの記述の４行目において、更新されたセグメンテーションＳ^ｌ＋１が、データサンプルのシーケンスｘ及びテンプレートの最も最近更新されたバージョンμ^ｌに対してＵＰＤＡＴＥＳＥＧＭＥＮＴＡＴＩＯＮプロシージャを呼び出すことによって決定される。擬似コードの記述の５行目において、テンプレートの更新されたバージョンμ^ｌ＋１が、データサンプルのシーケンスｘ及びセグメンテーションの最も最近更新されたバージョンＳ^ｌ＋１に対してＵＰＤＡＴＥＴＥＭＰＬＡＴＥプロシージャを呼び出すことによって決定される。擬似コードの記述の５行目において、反復の数ｌがインクリメントされる。アルゴリズムが収束するまで、ＵＰＤＡＴＥＳＥＧＭＥＮＴＡＴＩＯＮプロシージャ及びＵＰＤＡＴＥＴＥＭＰＬＡＴＥプロシージャが繰り返し呼び出される。アルゴリズムが収束すると、最終的なセグメンテーションＳ^ｌ及び最終的なテンプレートμ^ｌが、擬似コードの記述の８行目において返される。

擬似コードの記述の９〜１６行目を参照すると、ＵＰＤＡＴＥＳＥＧＭＥＮＴＡＴＩＯＮプロシージャが、ｎ個のデータサンプルのシーケンスｘ及びテンプレートμを入力として受け取る。プロシージャは、次のように決定される第ｎのセグメンテーションＳ_ｎを返す。

可能なセグメンテーションの数はｘの長さとともに指数関数的に増えるが、上述の最適化問題は、動的プログラミングを使用して効率的に解かれる。動的プログラムのための再帰的関係は、次の通りである。Ｄ_ｔが、セグメンテーションシーケンスｘ_１：ｔの最小コストを表す場合、

であり、ここで、τ_ｔ，Ｂは、セグメントの長さの制約に基づくτの可能な選択肢を規定する。式６に基づく動的プログラムの時間計算量はＯ（ｎ）であり、大域的最適条件が保証される。

擬似コードの記述の１７〜１９行目を参照すると、ＵＰＤＡＴＥＴＥＭＰＬＡＴＥプロシージャが、ｎ個のデータサンプルのシーケンスｘ及びセグメンテーションＳを入力として受け取る。プロシージャは、更新されたテンプレートμを返す。更新されたテンプレートは、

として決定され、ここで、ｍは、テンプレートの必要とされる長さである。上述の最適化問題は、次の閉形式解を有する加重最小自乗である。

図８を参照すると、加速度信号に上述のアルゴリズムを適用した結果は、セグメント分けされた加速度信号Ｓ^＊である。図９を参照すると、上述のアルゴリズムによって加速度信号から発見された心拍の形態が示される。

４ 特徴の抽出
セグメント分けされた加速度信号及び呼吸信号は、特徴抽出モジュール１０８に与えられ、特徴抽出モジュール１０８が、心拍信号の決定された形態及びセグメンテーション並びに呼吸信号を使用して感情分類モジュール１１０による使用のために特徴を決定する。

一部の例において、特徴抽出モジュール１０８は、Ｍｅａｎ、Ｍｅｄｉａｎ、ＳＤＮＮ、ＰＮＮ５０、ＲＭＳＳＤ、ＳＤＮＮｉ、ｍｅａｎＲａｔｅ、ｓｄＲａｔｅ、ＨＲＶＴｉ、及びＴＩＮＮなどの時間領域の特徴を抽出する。一部の例において、特徴抽出モジュール１０８は、Ｗｅｌｃｈ ＰＳＤ（ＬＨ／ＨＦ、ｐｅａｋＬＦ、ｐｅａｋＨＦ）、ＢｕｒｇＰＳＤ（ＬＦ／ＨＦ、ｐｅａｋＬＦ、ｐｅａｋＨＦ）、Ｌｏｍｂ−Ｓｃａｒｇｌｅ ＰＳＤ：ＬＦ／ＨＦ、ｐｅａｋＬＦ、ｐｅａｋＨＦ）などの周波数領域の特徴を抽出する。一部の例において、特徴抽出モジュール１０８は、ＳＤ_１、ＳＤ_２、ＳＤ_２／ＳＤ_１などのポアンカレの特徴（Poincare feature）を抽出する。一部の例において、特徴抽出モジュール１０８は、ＳａｍｐＥｎ_１、ＳａｍｐＥｎ_２、ＤＦＡ_ａｌｌ、ＤＦＡ_１、及びＤＦＡ_２などの非線形の特徴を抽出する。

一部の例において、特徴抽出モジュール１０８は、呼吸の不規則さなどの呼吸の特徴を抽出する。そのようにするために、特徴抽出モジュール１０８は、呼吸成分φ_ｂ（ｔ）内のピーク検出によって各呼吸サイクルを特定する。それから、特徴抽出モジュール１０８は、上述の特徴の一部又はすべてを使用して呼吸の変動性を測定する。

５ 感情の分類
再び図１を参照すると、特徴抽出モジュール１０８によって抽出される特徴が、感情分類モジュール１１０に与えられ、感情分類モジュール１１０は、例えば、対象者の感情１１２の分類を生じさせるための感情モデルによって特徴を処理する。

一部の例において、感情分類モジュール１１０は、感情価軸及び覚醒度軸を有する感情モデルを実装する。非常に広く言えば、感情モデルは、４つの基本的な感情の状態、すなわち、悲しみ（否定的感情価及び否定的覚醒度）、怒り（否定的感情価及び肯定的覚醒度）、満悦（肯定的感情価及び否定的覚醒度）、並びに歓喜（肯定的感情価及び肯定的覚醒度）に分類する。例えば、図８を参照すると、２Ｄ感情グリッド８３０が、感情モデルによって生じさせられたいくつかの例示的な感情分類結果を含む。第１の感情分類結果８３２は、肯定的覚醒度値及び否定的感情価を有し、したがって、怒りの感情の状態を有する対象者を示す。第２の感情分類結果８３４は、肯定的覚醒度値及び肯定的感情価値を有し、したがって、歓喜の感情の状態を有する対象者を示す。第３の感情分類結果８３６は、否定的覚醒度値及び否定的感情価値を有し、したがって、悲しみの感情の状態を有する対象者を示す。第４の感情分類結果８３８は、否定的覚醒度値及び肯定的感情価値を有し、したがって、満悦の感情の状態を有する対象者を示す。

一部の例において、感情分類モジュール１１０の感情モデルは、１組の訓練データを使用して対象者の感情を２Ｄ感情グリッドに分類するように訓練される。一部の例において、１組の訓練データは、いくつかの対象者から測定された特徴のいくつかの組を含み、特徴の各組は、２Ｄ感情グリッド内の知られている感情の状態に関連付けられる。感情分類モジュール１１０は、機械学習技術を使用して、訓練データを分析し、特徴の組と感情の状態との間の統計的な関係に基づいて感情モデル（例えば、サポートベクターマシン（ＳＶＭ）分類器モデル）を訓練する。感情モデルが訓練されると、感情分類モジュール１１０は、特徴抽出モジュール１０８から対象者に関する抽出された特徴を受け取り、抽出された特徴に感情モデルを適用することによって対象者の感情を予測することができる。感情分類システム及び方法に関連するさらなる詳細は、例えば、J. Kim and E. Andre. “Emotion recognition based on physiological changes in music listening. Pattern Analysis and Machine Intelligence,” IEEE Transactions on, 30(12):2067-2083, 2008及びP. J. Lang. “The emotion probe: studies of motivation and attention.” American psychologist, 50(5):372, 1995に見つけられる可能性があり、これらの文献の内容は、参照により本明細書に組み込まれる。

一部の例において、特徴抽出モジュール１０８によって抽出される特徴は、同じ感情の状態に関して対象者毎に異なる。さらに、それらの特徴は、異なる日の同じ対象者に関して異なる可能性がある。そのような変動は、その日のカフェインの摂取、睡眠、及び基本的な気分を含む複数の要因によって引き起こされる可能性がある。モデルがユーザに依存せず、時間に依存しないことを保証するために、感情分類モジュール１１０は、基本的な感情の状態、中立を組み込む。つまり、感情分類モジュール１１０は、絶対的な値ではなく生理学的特徴の変化を利用する。したがって、一部の例において、感情分類モジュール１１０は、各特徴に関して、所与の日に所与の人に関して中立の状態で計算されたその特徴の対応する値を引くことによって、計算された特徴を較正する。この較正は、感情分類モジュール１１０によって使用される感情モデルに組み込まれる可能性があり、及び／又は抽出された特徴が感情モデルに供給される前にそれらの抽出された特徴に適用される前処理ステップの一部である可能性がある。

一部の例において、限られた量の訓練データとともに上で列挙された特徴のすべてを使用することは、過学習につながる可能性がある。この理由により、一部の例において、感情分類モジュール１１０は、感情に最も関連性がある１組の特徴を選択する。この選択は、訓練のために必要とされるデータの量を減らすだけでなく、試験データに対する分類の正確さも高められる。一部の例において、感情分類モジュール１１０は、感情モデルを訓練しながら、どの特徴が感情モデルの正確さに最も寄与するのかを学習する。一部の例において、この学習は、感情モデルを訓練しながら関連する特徴のサブセットを選択するｌ１−ＳＶＭを使用して達成される。

６ 代替実施形態
上述の実施形態は対象者の体（例えば、皮膚若しくは内部構造、又は皮膚を覆う衣服）の運動を感知するために非接触ＲＦ感知を使用するが、その他の例において、信号獲得モジュール１０２は、対象者の体の運動を感知するために（直接、又は対象者の体の上の衣服若しくは身につけられるアクセサリを介して）対象者の体に接続された加速度計を使用することが留意される。さらにその他の例において、信号獲得モジュール１０２は、運動（例えば、対象者の血管系内の血液の運動）を感知するために超音波測定技術を使用する。任意の数のその他の好適な手法が、対象者の生理機能に関連する運動を感知するために使用され得ることを理解されたい。概して、運動信号獲得モジュール１０２は、運動信号獲得モジュール１０２によって出力された信号がシステム１００の下流のモジュールによって使用され得るように、例えば、信号をフィルタリング、増幅、及びサンプリングすることによって対象者の体の運動を表す信号を整える。

上述のシステムは、単一の信号パターン（例えば、周波数掃引信号パターン）の繰り返しを送信することを含むＦＭＣＷワイヤレス感知技術を使用する。しかし、一部の例において、システムは、各送信が（システムに事前に知られている）異なる信号パターンを含むようにして繰り返し送信を実行することが留意される。例えば、各送信は、事前に知られている擬似ランダム雑音信号パターンを含む可能性がある。各信号パターンがシステムに事前に知られているので、システムは、送信された事前に知られている信号を送信された信号の受信された反射と比較することによって（例えば、知られている信号と送信された信号の受信された反射との相互相関によって）飛行時間などの情報を決定することができる。

生理学的運動を表す信号は、任意の数の異なる種類の生理学的運動を表す可能性があることが留意される。例えば、信号は、対象者の皮膚の動きなどの巨視的な生理学的運動を表す可能性がある。信号は、対象者の血管系を通じた血液の動きなどのより小さな生理学的運動を表す可能性もある。例えば、対象者の皮膚の中及び対象者の皮膚に近い血管系への及び血管系からの血液の動きが原因である対象者の皮膚の色合いの小さな変化を特定するために、対象者のビデオ記録（つまり、ビデオカメラを使用して撮影された記録）が分析され得る。そして、対象者の皮膚の色合いの観察された変化が、対象者の感情を推測するために使用され得る。

一部の例において、システムは、認知状態分類器（例えば、サポートベクターマシンに基づく認知状態分類器）を使用して対象者の認知状態（例えば、困惑、注意散漫、注意深さなどの度合い）を判定するように構成される。認知状態分類器は、対象者に関連する運動に基づく生理学的信号の心拍成分の決定されたセグメンテーションに少なくとも部分的に基づいて対象者の認知状態を分類する。

一部の例において、対象者の心拍の特徴は、対象者に関連する運動に基づく生理学的信号の心拍成分から抽出され、心機能にマッピングされる。一部の例において、特徴は、心拍成分のピーク、谷、及び変曲点のうちの１又は２以上を含む。

７ 実施形態
上述の技術を実装するシステムは、ソフトウェア、ファームウェア、デジタル電子回路、若しくはコンピュータハードウェア、又はそれらの組合せに実装され得る。システムは、プログラミング可能なプロセッサによって実行するために機械可読ストレージデバイス内に有形で具現化されたコンピュータプログラム製品を含む可能性があり、方法のステップは、入力データに対して演算を行い、出力を生じさせることによって機能を実行する命令のプログラムをプログラミング可能なプロセッサが実行することによって実行される可能性がある。システムは、データストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受信し、それらにデータ及び命令を送信するために接続された少なくとも１つのプログラミング可能なプロセッサを含むプログラミング可能なシステム上で実行可能な１又は２以上のコンピュータプログラムに実装される可能性がある。各コンピュータプログラムは、必要に応じて、高水準手続型若しくはオブジェクト指向プログラミング言語で、又はアセンブリ若しくは機械語で実装される可能性があり、いずれの場合も、言語は、コンパイル型又はインタープリタ型言語である可能性がある。好適なプロセッサは、例として、汎用マイクロプロセッサと専用マイクロプロセッサとの両方を含む。概して、プロセッサは、読み出し専用メモリ及び／又はランダムアクセスメモリから命令及びデータを受け取る。概して、コンピュータは、データファイルを記憶するための１又は２以上の大容量ストレージデバイスを含み、そのようなデバイスは、内蔵ハードディスク及びリムーバブルディスクなどの磁気ディスク、光磁気ディスク、並びに光ディスクを含む。コンピュータプログラム命令及びデータを有形で具現化するのに好適なストレージデバイスは、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスなどの半導体メモリデバイス、内蔵ハードディスク及び取り外し可能なディスクなどの磁気ディスク、光磁気ディスク、並びにＣＤ−ＲＯＭディスクを含むすべての形態の不揮発性メモリを含む。上記のいずれも、特定用途向け集積回路（ＡＳＩＣ，application-specific integrated circuit）によって補完されるか、又はＡＳＩＣに組み込まれ得る。

上記の説明は本発明の範囲を例示するように意図されており、限定するように意図されておらず、本発明の範囲は、添付の請求項の範囲によって画定されることを理解されたい。その他の実施形態は、添付の請求項の範囲内にある。

Claims (31)

1. 対象者からの信号の反射を使用して、前記対象者の運動を表す運動に基づく生理学的信号を処理するための方法であって、
   送信要素から１又は２以上の送信信号パターンを含む無線周波数送信信号を放射するステップと、
   前記送信信号の複数の反射の組合せを含む無線周波数受信信号を１又は２以上の受信要素において受信するステップであって、前記送信信号の前記複数の反射のうちの少なくとも一部の反射が、前記対象者に関連付けられる、ステップと、
   １又は２以上の運動に基づく生理学的信号を形成するために前記送信信号パターンの反射の時間的に連続したパターンを処理するステップであって、前記複数の反射のうちの少なくとも一部の反射に関して、前記受信信号内の前記送信信号の反射の経時的な変動から対象者の生理学的運動を表す運動に基づく生理学的信号を形成することを含む、ステップと、
   前記運動に基づく生理学的信号の心拍成分のセグメンテーションを決定するために前記１又は２以上の運動に基づく生理学的信号のサブセットのそれぞれの運動に基づく生理学的信号を処理するステップであって、
   前記心拍成分を決定すること、
   前記心拍成分内の心拍に関するテンプレートの時間パターンを決定すること、及び
   決定されたテンプレートの時間パターンに基づいて前記心拍成分のセグメンテーションを決定することを含む、ステップとを含む、方法。
2. 送信信号が、単一の信号パターンの繰り返しを含む周波数変調連続波（ＦＭＣＷ）信号である請求項１に記載の方法。
3. １又は２以上の送信信号パターンが、１又は２以上の擬似ランダム雑音シーケンスを含む請求項１に記載の方法。
4. 心拍成分を決定することが、運動に基づく生理学的信号の２次導関数を決定することを含む、前記運動に基づく生理学的信号に対する呼吸の影響を軽減することを含む請求項１に記載の方法。
5. 心拍成分を決定することが、帯域通過フィルタを使用して運動に基づく生理学的信号をフィルタリングすることを含む、前記運動に基づく生理学的信号に対する呼吸の影響を軽減することを含む請求項１に記載の方法。
6. 心拍成分内の心拍に関するテンプレートの時間パターンを決定すること、及び前記心拍成分のセグメンテーションを決定することが、前記心拍に関する前記時間パターン及び前記心拍成分の前記セグメンテーションを一緒に最適化することを含む請求項１に記載の方法。
7. 対象者に関連する運動に基づく生理学的信号の心拍成分の決定されたセグメンテーションに少なくとも部分的に基づいて前記対象者の認知状態を判定するステップをさらに含む請求項１に記載の方法。
8. 対象者の認知状態が、困惑の状態、注意散漫の状態、及び注意深さの状態のうちの１又は２以上を含む請求項７に記載の方法。
9. 対象者に関連する運動に基づく生理学的信号の心拍成分の決定されたセグメンテーションに少なくとも部分的に基づいて前記対象者の感情の状態を判定するステップをさらに含む請求項１に記載の方法。
10. 対象者の感情の状態を判定するステップが、１又は２以上の運動に基づく生理学的信号の呼吸成分にさらに基づく請求項９に記載の方法。
11. １又は２以上の運動に基づく生理学的信号に低域通過フィルタを適用することを含む、前記１又は２以上の運動に基づく生理学的信号の呼吸成分を決定するステップをさらに含む請求項９に記載の方法。
12. 対象者の感情の状態を判定するステップが、運動に基づく生理学的信号の心拍成分の決定されたセグメンテーションから決定された１又は２以上の特徴に感情分類器を適用することを含む請求項９に記載の方法。
13. 対象者の感情の状態を判定するステップが、運動に基づく生理学的信号の心拍成分の決定されたセグメンテーションから決定された１又は２以上の特徴と、１又は２以上の運動に基づく生理学的信号の呼吸成分から決定された１又は２以上の特徴とに感情分類器を適用することを含む請求項１０に記載の方法。
14. 第１の覚醒度の次元及び第２の感情価の次元を含む２次元グリッド内に感情の状態を提示するステップをさらに含む請求項９に記載の方法。
15. 運動に基づく生理学的信号が、受信信号内の送信信号の反射の位相角の経時的な変動から対象者の生理学的運動を表す請求項１に記載の方法。
16. 運動に基づく生理学的信号の各々の心拍成分から特徴を抽出するステップと、抽出された特徴を１又は２以上の心機能にマッピングするステップとをさらに含み、前記特徴が、ピーク、谷、又は変曲点を含む請求項１に記載の方法。
17. 対象者の感情の状態を判定するための方法であって、
    対象者に関連する運動に基づく生理学的信号を受信するステップであって、前記運動に基づく生理学的信号が、前記対象者のバイタルサインに関連する成分を含む、ステップと、
    前記対象者のバイタルサインに関連する前記成分に少なくとも部分的に基づいて前記対象者の感情の状態を判定するステップとを含む、方法。
18. 対象者のバイタルサインに関連する成分が、周期的成分を含み、方法が、前記周期的成分のセグメンテーションを決定するステップをさらに含む請求項１７に記載の方法。
19. 周期的成分のセグメンテーションを決定するステップが、前記周期的成分内の周期の間のテンプレートの時間パターンを決定することと、決定されたテンプレートの時間パターンに基づいて前記周期的成分の前記セグメンテーションを決定することとを含む請求項１８に記載の方法。
20. 対象者の感情の状態を判定するステップが、周期的成分のセグメンテーションに少なくとも部分的に基づく請求項１８に記載の方法。
21. 周期的成分が、心拍成分及び呼吸成分のうちの少なくとも一方を含む請求項１８に記載の方法。
22. 運動に基づく生理学的信号の２次導関数を決定することを含む、心拍成分を決定するステップをさらに含む請求項２１に記載の方法。
23. 運動に基づく生理学的信号に帯域通過フィルタを適用することを含む、心拍成分を決定するステップをさらに含む請求項２１に記載の方法。
24. 運動に基づく生理学的信号に低域通過フィルタを適用することを含む、呼吸成分を決定するステップをさらに含む請求項２１に記載の方法。
25. 対象者の感情の状態を判定するステップが、前記対象者に関連する運動に基づく生理学的信号から決定された１又は２以上の特徴に感情分類器を適用することを含む請求項１７に記載の方法。
26. 対象者の感情の状態を判定するステップが、周期的成分の決定されたセグメンテーションから決定された１又は２以上の特徴に感情分類器を適用することを含む請求項２０に記載の方法。
27. 第１の覚醒度の次元及び第２の感情価の次元を含む２次元グリッド内に感情の状態を提示するステップをさらに含む請求項１７に記載の方法。
28. 対象者に関連する運動に基づく生理学的信号が、加速度計の測定に関連付けられる請求項１７に記載の方法。
29. 対象者に関連する運動に基づく生理学的信号が、超音波測定に関連付けられる請求項１７に記載の方法。
30. 対象者に関連する運動に基づく生理学的信号が、無線周波数に基づく測定に関連付けられる請求項１７に記載の方法。
31. 対象者に関連する運動に基づく生理学的信号が、ビデオに基づく測定に関連付けられる請求項１７に記載の方法。