JP2015207179A - 行動理解システムおよびプログラム - Google Patents

Abstract

【課題】教師信号なしに行動に関連する特徴を抽出する従来技術においては、焦電センサやスイッチセンサ等の情報量の乏しいセンサデータの部分系列の情報を最大限に活用できておらず、比較的少量のデータから低コストに行動のモデルを構築することができていない。【解決手段】本発明は、センサデータの部分系列の出現頻度をノイズに頑健かつ効率良く分析することで行動に関連する特徴を行動素として抽出し、行動のモデルを、教師信号を用いずに、システム導入の負担が軽減され、再導入に柔軟性のある低コストで構築する行動認識技術を提案する。【選択図】図１

Description

本発明は、センサネットワーク環境の下で人間の行動を認識し、異常行動の検知や行動の識別などの行動分析を行う技術に関する。

従来、住居やオフィスに多様かつ多数のセンサを設置し、ネットワーク経由でそれら情報を収集・分析することで人間の行動を認識する技術（以下、「行動認識技術」と呼ぶ）が用いられてきた。
例えば、特許文献１においては、独居高齢者宅に人体の動きを検知するモーションセンサーを多数設置し、センサ情報の分析に基づいて居住者の行動を認識し、異常な行動が検知された場合には、遠隔にいる家族や介助者に通報する技術が開示されている。
このような技術において用いられるセンサは多種多様であり、動画像に基づいて人間の行動を監視する技術、人間に加速度センサを着装し行動を推定する技術、物体にＲＦＩＤを接着し物体を持ったことを認識する技術、床圧センサを用いて動線を推定する技術等、多種多様なセンサに基づく行動認識技術が知られている。

しかし、個人の住居において日常生活行動を分析する場合等は特に、利用者のプライバシー漏えいの危険性を考えるとカメラやマイクの設置は難しい。また、ウェアラブルセンサの着装は利用者にとって煩わしく、日常的に使用してもらえない場合が多い。さらに、物体一つ一つにセンサ付けたり、床圧センサを後付けで設置したりすることは設置コストが大きい。このような制約から、行動に関して多くの情報をもたらすセンサが利用できない場合も多く、焦電センサやドアスイッチセンサ等、設置・維持コストが低く利用者負担が小さいものの得られる情報が乏しいセンサしか利用できない場合が多い。

このような情報量が小さいセンサを用いる場合、個人毎に大きく異なる居住環境や行動様式の違いを捨象した汎用的な行動のモデルを構築することは困難である。そこで、個人毎に取得したデータから個人に特化した行動のモデルを学習することになるが、行動に該当するデータ区間の切り出しや、その区間がどのような行動に対応するのかを表すラベルの付与等、行動に関する教師信号付きの個人データを、システムの導入前に用意することはコスト的に許容できない場合が多い。また、生活環境や行動様式は時間とともに変化するので、その都度教師信号付きのデータを用意することはさらに非現実的である。

こうしたシステム導入の負担軽減と再導入の柔軟性の現実的な要請から、個人のデータから教師信号を用いずに行動のモデルを構築する教師なし学習技術が用いられている。例えば、特許文献１では、各時点のセンサ発火パターンを特徴ベクトルとし、画像分割の手法を応用して特徴ベクトル列を分割し、行動のローカルテンプレートを抽出する技術が開示されている。特許文献２では、移動速度をモニタリングすることで、移動開始から移動停止までの区間に動線を分割し行動のブロックを抽出する技術が開示されている。いずれの技術でも、得られた行動ブロックごとに、センサデータを生成する行動モデルが、隠れマルコフモデルを用いてデータから学習される。

その他、センサデータ系列から教師信号を用いずに行動に関連するパターンを抽出する手法として、例えば非特許文献２のようにＬａｔｅｎｔ Ｄｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ等の文書のトピック分類技術を応用した方法や、非特許文献３のように頻出パターンマイニング法を用いた方法も提案されている。
また、行動認識技術ではないが、特許文献３および非特許文献４では、音声コンテンツを教師信号なしでトピック毎に分割する技術が開示されている。

特開２００３−２５６９５７号公報 特開２００７−２４９９２２号公報 特開２０１１−１７５３４９号公報

H.Lodhi et al.:Text classification using string kernes, Journal of Machine Learning Research, Vol.2,pp.419-444(2002). T.Huynh et al.:Discovery of activity patterns using topic models, Proc.of Internat. Conf.on Ubiquitous Computing,pp.10-19(2008). D.Cook et al.:Activity discovery and activity recognition:a new partnership, IEEE Transactions on Systems, Man, and Cybernetics Part B,Vol.43,No.3,pp.820-824(2013). K.Sadohara:Kernel topic segmentation for informal multi-party meetings and performance degradation caused by insufficient lexicon, In Proceedings of IEEE Workshop on Spoken Language Technology,pp.418-423(2010). M. Girolami:Mercer kernel-based clustering in feature space, IEEE Trans. on Neural Networks,vol.13,no.3,pp.780-784(2002).

しかしながら、上述したような教師信号なしに行動に関連する特徴を抽出する既存技術においては、行動に対応する時区間の切り出しや行動の識別等の分析において、焦電センサやスイッチセンサ等単独では情報量の乏しいセンサの系列に関わる情報を最大限活用できておらず、少量の個人データから低コストに個人に特化した行動のモデルを構築することができていない。

特定の行動の認識には、特徴的なセンサデータの部分系列が重要な役割を果たす。しかし、通常そのような部分系列には、ノイズにより本来無関係なセンサの発火が割り込んだり、あるセンサの発火の代わりに近接するセンサが発火したりするので、このようなノイズによる部分系列の変形に頑健な分析が求められる。
また同時に、長さｌのデータ列に含まれる長さｐの不連続な部分列は_lＣ_p個存在するので、大きなｌとｐに対して効率の良い分析法が必要になる。

このような問題点に鑑み、本発明は、センサデータの部分系列の出現頻度をノイズに頑健かつ効率良く分析することで行動に関連する特徴を教師信号なしで抽出し、行動のモデルを自動的に構築することができ、システム導入時の負担が軽減され再導入に柔軟性のある低コストな行動認識技術を提案する。

センサデータの部分系列の分析を効率よく行う目的で文字列カーネル（非特許文献１参照）を用いる。
発明者らは、文字列カーネルを用いた音声区間の類似性に基づいて、音声コンテンツを意味的に等質な部分に分割するトピック分割技術（特許文献３参照）を開示している。

本発明は、この技術を行動認識のために拡張し、データ系列を、部分系列の出現頻度に基づく類似性が高い部分毎に分割する。
その際、利用頻度の高い行動のチャンク（行動素と呼ぶ）が所与の場合は、行動素を再利用するような分割を計算し、得られた分割から利用頻度が高い分割を新たな行動素とする。
このようなプロセスを繰り返すことで、個人毎の行動履歴であるセンサデータ系列だけから、この個人に典型的な行動素を抽出することが可能になる。

このように抽出された行動素に基づいて、異常な行動を検知したり、行動を分類したり、行動を可視化したり、類似した過去の行動を検索したり、行動毎の頻度・累積時間を計量したりといった個人毎の行動の分析が可能になる。

本発明の一形態によれば、センサデータに行動ラベルを付与する等の作業が不要となり、センサを設置する以外の作業を必要としないシステム導入の負担が軽減され再導入に柔軟性のある低コストな異常行動検知が可能となる。
また、別の一形態において、特定の行動にラベルを振り行動の識別を行う場合には、ラベルが付与されていないその他多数の行動との誤認識が問題となるが、本発明では、その個人の典型的な行動を網羅的に記述する行動素に基づいて識別を行うことで高い識別精度を実現することができる。

さらに、別の一形態において、例えば１日分の行動を行動素毎に分割し可視化したり、特定の行動素に類似した過去の行動を検索し時間や回数を計量して提示したりすることにより、利用者の行動パターンを分析する手段を、高コストな行動ラベルの付与なしでも提供することが可能になる。

日常生活異常監視装置の全体図である。 異常検知方法の処理手順の概略を表す図である。 センサ生データ（例）をあらわすリストである。 前処理済センサデータ列（例）をあらわすリストである。 行動素抽出部の処理手順の概略を表す図である。 行動素登録手段の処理手順の１例を表す図である。 行動素登録手段の処理手順の別の例を表す図である。 図６に示された行動素登録手段に対応するシード選択手段の処理手順を表す図である。 図７に示された行動素登録手段に対応するシード選択手段の処理手順を表す図である。 日常生活行動識別装置の全体図である。 行動識別方法の処理手順の概略を表す図である。 行動識別実験の結果を表す図である。 日常行動可視化技術の処理手順の概略を表す図である。 日常行動可視化装置における日常行動可視化の例を説明する図である。

次に、図面を参照して、本発明の実施形態を説明する。

（日常生活異常監視技術・日常生活異常監視システム）
（全体構成例）
図１を用いて日常生活異常監視技術の全体構成例を説明する。利用者の居宅に、人間感知センサ（焦電センサ等）や、スイッチセンサ（磁気近接型ドア開閉センサ等）のようなプライバシー侵襲度が低くいセンサを複数設置する。
これらのセンサとしては、電池で１年以上動作し、有線・無線で親機に情報を伝達可能な安価なセンサが利用可能である。
焦電センサについては、理想的には、検知範囲を狭めて天井に設置することで、利用者のおおまかな動線を取得できるように設置することが望ましい。天井に設置できない場合は、壁面にグリッド状に設置し、センサＸとセンサＹが同時に発火することを以てＸとＹの検知範囲の交わる領域で動作が行われたことを検知できる。
これらセンサからの情報を受信装置で一括して受信し、行動素抽出装置において日常行動に典型的にみられるセンサの発火の部分系列（以後、行動素と呼ぶ）を抽出する。

行動素を抽出する際には、過去に抽出された行動素を記録した行動素ＤＢのデータが参照され、新たに得られた行動素は行動素ＤＢに記録される。次に異常検出装置において、抽出された行動素が行動素ＤＢに記録されている過去の行動素と比較され、類似度が計算される。

この際、過去のどの行動素とも類似していない行動素が検出された場合、異常性の高い行動と判断され異常警報装置が警報を発報する。

この警報はインターネット等の居宅外のネットワークを通じて伝搬され、監視センター、あるいは遠隔地で見守る家族やケアワーカーの元へ伝達される。

（異常検知方法）
次に、図２を用いて異常検知方法の処理手順を説明する。センサから得られるデータは、まずデータ前処理部で分析に適した単位・形式に変換された後、行動素抽出部において抽出した行動素の系列に変換される。
続いて異常検出部では、行動素毎に、過去に記録された行動素との類似度が計算され、過去のどの行動素とも類似度が低い行動素には高い異常度が付与される。
最後に異常警報部では各行動素の異常度が、与えられた閾値を超える場合に警報を発報する。
以下、各部をより詳細に説明する。

（データ前処理部）
センサから得られる生データは、典型的には図３に示すように、センサの名前（３列目）と、センサの状態（４列目）が変化した日時（１・２列目）が間欠的に記録されたものである。
センサの状態が変化したという情報同様、センサの情報が変化していないという情報も行動を理解するために重要な情報源であるので、データ前処理部は、間欠的な情報を連続する時区間の情報に変換する。

具体的には、ある定められた幅の時間窓（以後フレームと呼ぶ）を動かし、窓内で発火したセンサのＩＤを発火した時間順に１行に並べる。

図４は、図３の生データに対して、幅３０秒の窓を１０秒ずつシフトさせて得られるフレームの列を表している。例えば、ドアセンサＤ００１のＩＤは６３であり、図４において最初の３フレームの間で発火した（ドアが開いた）ことが分かる。

また、１つのフレームに同じＩＤが複数回現れることは、当該フレームの間に同じセンサが複数回発火したことを示している。

さらに、あるフレームの間にどのセンサも発火しない場合は、図４最後のフレームのように特別なＩＤ、０が記録される。

また、データ前処理部においては、行動の周期性を考慮してセンサデータを１日（２４時間）毎に分割する。

分析の単位は、必ずしも１日に限る必要はなく、１週間あるいは１か月でも良いが、分析の単位が、後続する行動素抽出部において抽出される行動素の粒度に影響を与えることに留意すべきである。

（行動素抽出部）
図５を用いて行動素抽出部をさらに詳細に説明する。まず、シード選択部において、行動素抽出のシードとなる過去の行動素を行動素ＤＢからＮ個選択する。選択されたＮ個のシードを参照して、フレーム列分節手段は与えられたフレーム列を複数の行動素に分節する。続いて行動素登録手段は、新たに得られた行動素とそれら行動素を抽出する際に参照したシードを行動素ＤＢに登録する。以下、フレーム列分節手段、行動素登録手段、シード選択手段の順に説明する。

（フレーム列分節手段）
本発明では、フレームを行動素に分節する際、フレームに含まれるセンサＩＤの部分列が行動を特徴づけるために有用であると考え、フレームに出現するセンサＩＤの部分列の頻度に基づく類似性を文字列カーネルを用いて計算する。
各フレームｆに含まれるセンサＩＤの列に対して、長さがｐ以下で不連続なものも許容した任意の部分列の頻度を成分とする特徴ベクトルφ(ｆ)を考える。

例えば、ｆがａ ｂ ａ ｃ ｂというセンサ列を持つ場合、長さ２の部分列は、ａａが１回、ａｂが２回、ａｃが１回、ｂａが１回、ｂｂが１回、ｂｃが１回、ｃｂが１回出現する。しかし、例えばａｂの２度目の出現には、間にｂａｃが挟まっている。

このような場合、λ(０≦λ≦１)を用いてλ³と１より小さい頻度を与える。つまり、この例の場合、ａｂの頻度はλ⁰＋λ³と数える。
このように不連続な部分列の頻度を考慮することで、ノイズにより無関係なセンサの発火が割り込むような場合でも、行動に特徴的なセンサの発火部分列を考慮した分析を行うことができる。

しかし、長さｌの文字列に含まれる長さｐの不連続な部分文字列は_lＣ_p個存在するので、ｌとｐが大きな値をとる場合には、上記特徴ベクトルφ(ｆ)を陽に取り扱うことは計算量的に現実的ではない。幸い、非特許文献１で示されているように、二つのフレームｆ、ｇの特徴ベクトルの内積＜φ(ｆ)・φ(ｇ)＞は、動的計画法を用いてＯ(ｐＬ_f Ｌ_g)の計算量で計算できることが知られている。ただし、Ｌ_f、Ｌ_gはそれぞれｆ、ｇに現れる文字の数、すなわち発火したセンサの数である。動的計画法を用いて効率良く計算可能な文字列の特徴ベクトル間の内積Ｋ(ｆ，ｇ)＝＜φ(ｆ)・φ(ｇ)＞は文字列カーネルと呼ばれる。本発明で用いる文字列カーネルの計算手続きは、本発明者による特許文献３記載の計算手続きと同じであるため詳細は特許文献３を参照する。ただし、本発明に関連する点を２点再掲する。

まず、フレーム列ｕ＝ｆ₁…ｆ_nの特徴ベクトルをフレームの特徴ベクトルφ(ｆ_i)の和と定義すると、フレーム列ｕ，ｖ間の文字列カーネルは以下のように計算できる。

次に、文字列カーネルはセンサの近接性を織り込むことも可能である。
特定の行動を特徴付けるセンサの発火列を分析する際、あるセンサの代わりに近接する別のセンサが発火する状況もしばしば起こり得る。
このような場合、２つのセンサａ，ｂの近さＡ_abを定義し、文字列カーネルの計算に織り込むことができる。

Ａ_abを考慮した文字列カーネルの計算については、特許文献３を参照されたいが、得られる文字列カーネルが特徴ベクトルの内積であることを保証するためには行列｛Ａ_ab｝_{a∈Θ，b∈Θ}が対称かつ半正定値でなければならない。
これを満たす行列の例としては以下を用いることができる。

ただし、Θはセンサ集合、Ｐ(θ)はセンサθの発火確率、Ｐ(ａ｜θ)はθの代わりにａが発火する確率とする。
特許文献３では、文字列カーネルを用いてフレーム列を分節する方法が示されている。ここで示された方法では、分節されたフレーム部分列に対応する特徴ベクトルの２乗ノルムの和が最大になるように分節する。

二つのベクトルの挟み角の余弦が正であれば、２乗ノルムの和より和の２乗ノルムが大きくなるという単純な事実により

２乗のノルムを最大化することで、類似した（余弦が正である）フレームを一つにまとめるような分節を行うことができる。
本発明では、この方法を拡張し、既に典型的な行動素が知られている場合には、典型的な行動素に類似したフレーム部分列を選好するような分節を計算する。具体的には、分節のシードとなる行動素ｓ₁，…，ｓ_Nが与えられるとき、以下のような分節Ｂ^*を計算する。

ここで、Ｐ_s(ｂ)はｂの特徴ベクトルのｓへの射影を表す。最適な分割は特許文献３同様、動的計画法を用いて計算できる。違いは上記ｓｃｏｒｅ関数の部分が特徴ベクトルの２乗ノルムか、射影の２乗ノルムの最大値になっているかどうかだけである。
特許文献３同様、このような分節を行う前には、特徴ベクトルのセンタリングを行うことが望ましい。フレーム列ｆ₁，…，ｆ_Lの重心ｇを原点とするセンタリングを用いる場合、

任意の行動素ｂ、ｓに対して、センタリング後の特徴ベクトルの内積は以下のように計算できる。

あるいは、重心ベクトルｇの直交補空間に射影するセンタリングを用いる場合、

センタリング後の特徴ベクトルの内積は以下のように計算できる。

（行動素登録手段）
続いて行動素登録手段では、フレーム列分節手段で得られた行動素とそれら行動素を抽出する際に参照されたシードが行動素ＤＢに登録される。
図６は、単純に行動素を保存し、行動素が参照される度に頻度を１増やし、頻度が多い上位Ｎ個の行動素を次の分節のためのシードとして用意する行動素登録手段の１例が示されている。

あるいは図７のように、行動素が保存される度にＮ個のクラスタに分割するクラスタリングをカーネルｋ−ｍｅａｎｓ法（非特許文献５参照）を用いて行い、各クラスタの中で最も重心に近い行動素を次の分節のためのシード候補として用意する行動素登録手段の別の例が示されている。

（シード選択手段）
続いてシード選択手段について説明する。図８は、図６記載の行動素登録手段に対応するシード選択手段を示している。

図９は、図７記載の行動素登録手段に対応するシード選択手段の１例を示しており、各クラスタの重心に最も近い行動素をシードとして選択する。
いずれの場合でも、もし行動素ＤＢにシードが存在しない場合は、任意の１日のすべてのフレームをシードとする初期化を行うことができる。

（異常検出部）
行動素抽出部において抽出された行動素は、異常検出部において、行動素ＤＢに格納された行動素に対して類似度が計算され、最も大きな類似度が当該行動素に付与される。
その際、行動素ＤＢに格納された行動素の量が膨大で計算時間が許容できない場合は、シード選択部で選ばれた典型的行動素であるシードに対して類似度を計算することができる。

類似度としては、様々な尺度を用いることができるが、例えば、以下の式で示される行動素ｕ，ｖの特徴ベクトルのコサイン類似度を用いることができる。

この場合、類似性を計算する対象をシードに限ると仮定すると、行動素抽出部でシードに対する射影の２乗ノルムを最大にするシードが参照されることを考えれば、参照されたシードが最も大きな類似度を持つことが分かるので、最大類似度を持つシードを改めて探索する必要はないことに注意されたい。

（異常警報部）
図１４では、一日分のデータから行動素を抽出した例を示している。破線で囲まれた時区間が抽出された行動素を表している。
各行動素には、抽出時に参照されたシードとの類似度（表の表示は通常度）が示されている。この値が与えられた閾値よりも低い場合に異常警報部において異常が警報される。

以上、これまでに述べた方法で異常を検出すれば、機器の異常や普段とは違う行動を検出することができる。

（変形例）
以上述べた方法は、行動素の抽出と行動素ＤＢの更新を日々行う手順を示したが、例えば最初の１週間を行動素の学習期間と位置づけ、７日分のデータに対して、行動素の抽出と行動素ＤＢの更新を複数回繰り返すことで、行動素ＤＢに含まれる行動素を精製することも効果的である。

その場合、学習期間以降、次の学習期間までの間は、シード選択手段で選択される行動素は固定されることが望ましい。

また、フレーム列分節手段において、行動素の粒度をより小さくする目的で、得られた一つ一つの分節に対して再帰的に分節を適用する方法も効果的である。

さらに、一の周期の開始時刻から現在時刻までのデータに対して、上述した行動素の抽出と異常の検出を一定時間毎（監視の目的にあわせて、たとえば３０分）に繰り返し適用することで、リアルタイム的に日常生活異常監視装置を実現することができる。

上の実施例では構成のし易さから手段ごとに独立した各装置で構成したが、必ずしも独立している必要はなく、装置に当該手段が備わっていれば、例えば、一台のパーソナルコンピュータを以って代用することができる。
また、各処理部を有する装置は任意の組み合わせの装置とすることができる。
さらには、行動素抽出部のような計算量が大きな処理をクラウド上で動作させることも現実的な選択肢である。
また異常の警報とは、バッチ処理、リアルタイム処理の別を問わないし、近接地・遠隔地への警報を問わないし、表示、警報音、または両方による警報であってもよい。

（その他の実施形態）

（日常行動識別技術・日常行動識別システム）
図１０を用いて、日常行動識別技術の全体構成例を説明する。センサの構成、受信装置および行動素抽出装置については図１記載の日常生活異常監視装置と同じである。
行動識別装置は、フレーム列および行動素列を入力とし、フレーム部分列あるいは行動素部分列にあらかじめ与えられた行動ラベルを付与する。

行動識別装置について図１１を用いてさらに説明する。本発明の行動識別装置は、主に、特徴ベクトル計算部、行動モデル学習部および行動識別部から構成される。
図１１中、データ前処理部および行動素抽出部については図２記載のデータ前処理部および行動素抽出部と同じ情報処理を行う。

（特徴ベクトル計算部）
センサデータはデータ前処理部、行動素抽出部を経て行動素の列に変換される。
特徴ベクトル計算部では、フレーム部分列が別途指定される場合において、対応する時区間の行動ラベルを推定するために用いる特徴ベクトルを計算する。
なお、フレーム部分列の代わりに行動素部分列を指定することも当然可能であり、その場合対応するフレーム部分列が指定されたとみなして特徴ベクトルの計算が行われる。

フレームはセンサの発火系列であり、センサの発火を「単語」とみなすと、フレーム列の行動ラベルを推定する問題は、文書（単語列）の分類と同じ問題とみなせ、様々な文書分類技術の適用が可能である。文書分類技術においては、単語の出現確率に注目したｂａｇ−ｏｆ−ｗｏｒｄ特徴が分類に有効であることが知られている。

本発明でも、フレーム列中で発火したセンサをｂａｇ−ｏｆ−ｗｏｒｄ特徴として用いるが、それに加えて典型的な行動素に対する類似性も特徴として用いる。

具体的には、図５記載のシード選択手段と同じ手続きを用いて典型的なＮ個の行動素ｓ₁，…，ｓ_Nが与えられる時、任意のフレーム列ｕに対して、以下の式で示されるコサイン類似度を成分とするＮ次元ベクトルを対応させる。

結果的に、特徴ベクトル計算部において、指定されたフレーム部分列ｕに対して、ｕで発火するセンサ系列に加えて、典型的な行動素毎の類似度を成分とするＮ次元の特徴ベクトルが計算され、同時に指定された行動ラベルとの対が学習サンプルＤＢに蓄積される。

（行動モデル学習部）
利用者からの直接の指示、あるいは一定量の学習データが付加される毎に、行動ラベル毎のモデルが行動モデル学習部において学習サンプルＤＢを参照しつつ学習され、行動モデルＤＢに保存される。

行動モデルは、学習データｘを所与とする行動ラベルＢの確率モデルＰ(Ｂ｜ｘ)∝Ｐ(Ｂ)Ｐ(ｘ｜Ｂ)であり、学習データから統計的に学習される。
Ｐ(ｘ｜Ｂ)のモデル化においては単純ベイズ法用い、さらにｘのフレーム列ｕにおいてセンサθが独立に発火すると仮定し以下のようにモデル化する。

ここで、Ｐ(θ｜Ｂ)はセンサθのＢにおける発火確率であり、Ｐ(ｕ_s｜Ｂ)はＢにおける行動素ｓに対するコサイン類似度の確率分布である。
なお、コサイン類似度の分布は適切なビン数（例えば１０）で離散化するものとする。
なお、ここでは一つのセンサ（センサｕｎｉ−ｇｒａｍ）の発火確率Ｐ(θ｜Ｂ)を用いたモデル化を例示したが、連続するｎ個のセンサθ₁…θ_nの発火確率Ｐ(θ₁…θ_n｜Ｂ)を用いたモデル化に容易に拡張できる。

（行動識別部）
特徴ベクトル計算部で得られた特徴ベクトルが与えられる時、行動識別部において、行動モデルＤＢを参照しつつ、以下のような式に基づいて行動ラベルＢ^*の推定が行われる。

ここで、Ｐ(Ｂ)は行動ラベルＢの事前確率を表す。この際、Ｐ(Ｂ)Ｐ(ｘ｜Ｂ)を適当なＰ(ｘ)で正規化しＰ(Ｂ｜ｘ)を計算することで、ｘが行動Ｂであることの確信度として用いることができる。

このような行動識別における行動素の効果について、あるデータに対する実験結果を示した図１２を用いて説明する。
この実験では、睡眠や食事等１１種類の行動とそれ以外の行動、合計１２種類の行動の識別率を、およそ１か月分の日常生活データを用いて測定したものである。
識別に用いる行動モデルは、センサ発火のｂｉ−ｇｒａｍを用いるモデル、行動素を用いるモデル、ｂｉ−ｇｒａｍと行動素を組み合わせたモデルの３種類のモデルを比較している。

なお、行動モデルは評価に用いたデータより前の１か月分のデータから学習されており、この学習データから、長さ最大４のセンサ発火部分系列を考慮して、Ｎ＝６２４個の行動素を抽出している。

図１２から分かるように、行動素の利用は識別率向上に寄与するが、特に、１１行動以外の行動も識別する場合には有意に識別性能が向上する。
これは、日常生活にはあらかじめ想定し得る行動以外にさまざま行動が存在し、しかもその割合は大きく（このデータでは５０％以上）、そのような想定しえない行動を行動素として抽出することで識別率が向上しているためと考えられる。

（日常行動可視化技術・日常行動可視化システム）
図１３を用いて、日常行動可視化技術の全体構成例を説明する。センサの構成、受信装置、行動素抽出装置、異常検出装置および異常警報装置については図１記載の日常生活異常監視装置と同じである。

また、行動識別装置は図１０記載の行動識別装置と同じである。
以下、残る行動可視化装置および行動素検索装置について説明する。

（行動可視化装置）
異常検出装置から得られる異常度（あるいは逆に通常度）が付与された行動素の列に基づいて、行動可視化装置において日常行動の可視化が行われ、接続されたディスプレイ等の表示装置に表示される。

図１４には、ある１日分のデータの可視化の例が示されている。破線で囲まれた時区間が抽出された行動素を表しており、各行動素には抽出時に参照されたシードとの類似度が「通常度」として表示されている。

また、一群の行動素には、行動識別装置により付与された行動ラベル「睡眠」が表示されている。
このラベルは、行動可視化装置において、様々な行動素列を自動的に生成し、行動識別装置を用いて行動ラベルの推定を行わせ、確信度がある閾値を越えた場合にのみ表示させることで実現される。

あるいは、利用者がマウス等のポインティングデバイスを用いてフレーム列（行動素列）を選択し、識別ボタンを押すことで、最もあり得る行動ラベルを推定・表示させることができる。

さらに、フレーム列を選択後、ラベルを入力しラベリングボタンを押すことで、新しい学習データを行動識別装置の学習サンプルＤＢに登録することができる。
また、学習ボタンを押すことで、新しい学習データを用いて行動モデルの再学習を強制的に行わせることもできる。

（行動素検索装置）
図中、ポインタで選択された行動素は、睡眠中ベッドから抜け出してトイレに行ってベッドに戻るまでの一連の行動に対応している。
この状態で検索ボタンを押すことで、行動素検索装置において、選択された行動素に類似した行動素を行動素ＤＢ中で検索させることができる。
この検索は、図２の異常検出部と同様に、行動素ＤＢに蓄積された行動素に対してコサイン類似度を計算し、一定の閾値を越えて類似した行動素を抽出することで実現される。

図では、このような検索の結果、過去１か月の間に睡眠中に起きてトイレに行った回数が２０回であること、それにより睡眠が中断された時間がおよそ１００分であることが表示されている。
このような情報は利用者の健康管理に役立てることができる。

Claims (12)

1. センサと受信装置と行動素抽出装置と異常検出装置と異常警報装置を備えた居住空間における人間の日常生活異常監視システムであって、
   居住空間には少なくとも人間感知センサとスイッチセンサとを含むセンサが複数個配置され、
   受信装置において、各センサから送信された各センサ情報は時系列的に少なくともセンサの名前、センサの状態およびその状態が変化した日時を含むセンサデータ列に変換され、
   行動素抽出装置において、変換されたセンサデータ列は所定の時間間隔ごとに所定の幅の時間窓において発火したセンサ文字列と時間窓情報からなるフレームに変換され、
   前記フレームは所定の周期を構成するように所定の時間毎に分割されて各フレーム列を構成し、
   前記フレームの部分列からなる行動素を要素とする行動素ＤＢは所与の周期のフレーム列で初期化され、
   一の周期のフレーム列は、行動素ＤＢから所定の基準で選択されたＮ個のシードを参照して、シードに類似したフレーム部分列を選好するよう文字列カーネルにより計算して複数の行動素に分節し、
   前記分節された複数の行動素は所定の基準に対応して行動素ＤＢに登録され、
   異常検出装置において、一の周期において当該登録された行動素ＤＢの各行動素に関し、前記分節手段において参照されたシードとの類似度が計算され、
   異常警報装置において、前記類似度が所定の閾値より低い場合に当該行動素に関し異常警報を発することを特徴とする日常生活異常監視システム。
2. 前記所定の規準は、参照頻度が多い上位Ｎ個の行動素であり、
   分節された行動素が参照された行動素である時は当該行動素の参照頻度を１増やし参照されたシードと合わせて行動素ＤＢに登録することを特徴とする日常生活異常監視システム。
3. 前記所定の規準は、Ｎ個の各クラスタにおいてその重心に最も近い行動素Ｎ個であり、
   分節された行動素をＮ個のクラスタに分割して行動素ＤＢに登録することを特徴とする日常生活異常監視システム。
4. センサと受信装置と行動素抽出装置と行動識別装置を備えた居住空間における人間の日常生活行動識別システムであって、
   居住空間には少なくとも人間感知センサとスイッチセンサとを含むセンサが複数個配置され、
   受信装置において、各センサから送信された各センサ情報は時系列的に少なくともセンサの名前、センサの状態およびその状態が変化した日時を含むセンサデータ列に変換され、
   行動素抽出装置において、変換されたセンサデータ列は所定の時間間隔ごとに所定の幅の時間窓において発火したセンサ文字列と時間窓情報からなるフレームに変換され、
   前記フレームは所定の周期を構成するように所定の時間毎に分割されて各フレーム列を構成し、
   前記フレームの部分列からなる行動素を要素とする行動素ＤＢは所与の周期のフレーム列で初期化され、
   一の周期のフレーム列は、行動素ＤＢから所定の基準で選択されたＮ個のシードを参照して、シードに類似したフレーム部分列を選好するよう文字列カーネルにより計算して複数の行動素に分節し、
   前記分節された複数の行動素は所定の基準に対応して行動素ＤＢに登録され、
   行動識別装置は、特徴ベクトル計算部、行動モデル学習部および行動識別部から構成され、
   特徴ベクトル計算部において、指定された行動ラベルに対応するフレーム部分列ｕに対して、Ｎ次元の特徴ベクトルが計算され、同時に指定された行動ラベルとの対とｕのセンサ発火系列が学習サンプルＤＢに蓄積され
   行動モデル学習部において、
   行動モデルは、前記学習サンプルＤＢの学習データを所与とする行動ラベルの確率モデルであり、前記学習データから統計的に学習されて、行動モデルＤＢに保存され
   行動識別部において、前記行動モデルＤＢの前記行動ラベルの確率モデルおよびその事前確率に基づいて、前記登録された行動素の当該行動ラベルを推定することを特徴とする日常生活行動識別システム。
5. 請求項４に記載する日常生活行動識別システムに、さらに、行動素検索装置、表示装置を有する行動可視化装置、を備えた日常行動可視化システムであって、
   前記表示装置に前記一の周期について、前記抽出された行動素を、横軸を一の周期を時系列として、縦軸を前記参照されたシードとの類似度（通常度）として、当該行動素の属すべき行動ラベルの確信度に基づいて行動素列として表示し、
   行動素検索装置において、前記一の行動素列を指定すると、全周期において類似する行動素列を検索して、
   行動可視化装置において、全周期における当該行動素列の発現回数と当該累積行動時間を前記表示装置に表示することを特徴とする日常行動可視化システム。
6. 請求項５に記載する日常行動可視化システムに、さらに、異常検出装置、および異常警報装置を備えた日常行動可視化システムであって、
   異常検出装置において、前記一の周期の表示において、前記分節手段において参照されたシードとの類似度が所定の閾値より低い行動素を検出し、
   異常警報装置において、前記一の周期の当該行動素に関し異常警報を発することを特徴とする日常行動可視化システム。
7. 請求項１に記載する日常生活異常監視システムを実行するプログラムを記録した記録媒体。
8. 請求項２に記載する日常生活異常監視システムを実行するプログラムを記録した記録媒体。
9. 請求項３に記載する日常生活異常監視システムを実行するプログラムを記録した記録媒体。
10. 請求項４に記載する日常生活行動識別システムを実行するプログラムを記録した記録媒体。
11. 請求項５に記載する日常行動可視化システムを実行するプログラムを記録した記録媒体。
12. 請求項６に記載する日常行動可視化システムを実行するプログラムを記録した記録媒体。
    
    

Images