JP2017167878A

JP2017167878A - 行動分析システムおよびプログラム

Info

Publication number: JP2017167878A
Application number: JP2016053465A
Authority: JP
Inventors: 健佐土原; Takeshi Sadohara
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2016-03-17
Filing date: 2016-03-17
Publication date: 2017-09-21
Anticipated expiration: 2036-03-17
Also published as: JP6650305B2

Abstract

【課題】教師信号なしに行動をモデル化する従来技術においては、センサや行動のマルコフ性を考慮に入れた予測精度の高い行動のモデルを構築することができていない。
【解決手段】本発明は、トピックモデリングを参照モデルとして、センサと行動にマルコフ性を仮定した混合ディリクレ分布で行動をモデル化し、ギブスサンプリングを用いたマルコフ連鎖モンテカルロ法により、効率の良いモデルの学習と予測精度の高い行動の推定を行う行動認識技術を提案する。
【選択図】図１

Description

本発明は、センサネットワーク環境下で人間の行動を認識し、異常行動の検知や行動の識別などの行動分析を行う技術に関する。

従来、住居やオフィスに多様かつ多数のセンサを設置し、ネットワーク経由でそれら情報を収集・分析することで人間の行動を認識する技術(以下、「行動認識技術」と呼ぶ)が用いられてきた。
例えば、特許文献１においては、独居高齢者宅に人体の動きを検知するモーションセンサーを多数設置し、センサ情報の分析に基づいて居住者の行動を認識し、異常な行動が検知された場合には遠隔にいる家族や介助者に通報する技術が開示されている。

このような技術において用いられるセンサは多種多様であり、動画像に基づいて人間の行動を監視する技術、人間に加速度センサを着装し行動を推定する技術、物体にＲＦＩＤを接着し物体を持ったことを認識する技術、床圧センサを用いて動線を推定する技術等、多種多様なセンサに基づく行動認識技術が知られている。

しかし、個人の住居において日常生活行動を分析する場合等は特に、利用者のプライバシー漏えいの危険性を考えるとカメラやマイクの設置は難しい。
また、ウェアラブルセンサの着装は利用者にとって煩わしく、日常的に使用してもらえない場合が多い。

さらに、物体一つ一つにセンサ付けたり、床圧センサを後付けで設置したりすることは設置コストが大きい。
このような制約から、行動に関して多くの情報をもたらすセンサが利用できない場合も多く、焦電センサやドアスイッチセンサ等、設置・維持コストが低く利用者負担が小さいものの得られる情報が乏しいセンサしか利用できない場合が多い。
このような情報量が小さいセンサを用いる場合、個人毎に大きく異なる居住環境や行動様式の違いのため、汎用的な行動のモデルを構築することは困難である。

そこで、個人毎に取得したデータから個人に特化した行動のモデルを学習することになるが、行動に該当するデータ区間の切り出しや、その区間がどのような行動に対応するのかを表すラベルの付与等、行動に関する教師信号付きの個人データを、システムの導入前に用意することはコスト的に許容できない場合が多い。
また、生活環境や行動様式は時間とともに変化するので、その都度教師信号付きのデータを用意することはさらに非現実的である。

こうしたシステム導入の負担軽減と再導入の柔軟性の現実的な要請から、個人のデータから教師信号を用いずに行動のモデルを構築する教師なし学習技術が用いることが望ましい。

例えば、特許文献２では、移動速度をモニタリングすることで、移動開始から移動停止までの区間に動線を分割して行動のブロックを自動的に抽出し、得られた行動ブロック毎に、隠れマルコフモデルを用いて観測データの生成モデルをデータから学習させる技術が開示されている。

また、発明者による先行発明(特許文献４)では、センサの発火系列を文字列と見做し、部分文字列の網羅的分析を効率良く行うことができる文字列カーネルを用いる技術が開示されている。

この発明では、センサ発火系列中の部分系列の分析を行うことにより、部分系列の頻度パターンが類似した区間を一つの行動として自動的に分節し、分節された区間から計算される特徴量を用いて異常検知や行動識別を行っている。
ただし、分節そのものは教師なし学習で得られるものの、行動識別を行う際は教師信号を必要とする。

その他、センサデータ系列から教師信号を用いずに行動をモデリングする手法として、非特許文献１のようにLatent Dirichlet Allocation(ＬＤＡ)(非特許文献２)と呼ばれる、文書のトピックモデリング法を応用した技術が知られている。

トピックモデリングでは、単語が外部からは観測されない文書のトピックに依存して生成されるという確率モデルを仮定し、与えられた文書集合に含まれる単語列だけから、潜在するトピック群を推定した上で、新たな文書に対しても、その単語列からトピックを推定することができる。

単語列をセンサ系列、トピック系列を行動系列に対応させると、トピックモデリング法を用いて行動をモデル化でき、ヒューリスティクスを用いることなく行動モデルの教師なし学習や行動系列の推定を実現できる。

ただし、文書のためのトピックモデルが、行動のモデル化に最適であるかどうかは自明ではない。

特に、ＬＤＡをはじめとする文書のトピックモデルにおいては、トピックの多重性、すなわち、一つの文書が複数のトピックを持ち得ることを仮定することが望ましいが、行動モデルの場合には、そのような仮定が適切でない可能性があり、その場合、いたずらに複雑なモデルは学習や推論の精度低下をもたらす危険性がある。

また、行動のモデル化においては、マルコフ性を仮定することが望ましい。すなわち、あるセンサが発火するかどうかは、それ以前、特に直前のセンサの発火に依存するし、ある行動が生じるかどうかは、それ以前、特に直前の行動に依存する。

センサ発火のマルコフ性を導入するためには、非特許文献３で用いられるような単語のマルコフ性を仮定したＬＤＡの拡張モデルを用いることができる。
一方、行動のマルコフ性の導入は、ＬＤＡが多重トピックモデルであり、文書中の単語が複数のトピックから生成されることを仮定しているので文書レベルのトピックのマルコフ性の導入は単純ではない。

非特許文献４においては、トピックの上位階層に、文書におけるストーリー展開に対応するより抽象的なトピックの階層を設け、この階層にマルコフ性を導入している。
このようなモデル化をHierarchical Poison-Dirichlet Process(ＨＰＤＰ)を用いて実現しているが、パラメータ数が増大し、学習・推論が複雑化してしまうという問題が生じる。

特開２００３−２５６９５７号公報特開２００７−２４９９２２号公報特開２０１１−１７５３４９号公報特開２０１４−０８７８３３号公報

T.Huynh et al.: Discovery of activity patterns using topic models, Proc. of Internat. Conf. on Ubiquitous Computing, pp.10-19 (2008). D.M.Blei et al.: Latent Dirichlet Allocation, Journal of Machine Learning Research,No.3,pp.993-1022(2003). H.M.Wallach: Topic Modeling: Beyond Bag-of-words, Proceedings of the internat. Conf. on Machine Learning, pp.977-984(2006). D.Lan et al.: Sequential Latent Dirichlet Allocation, Knowledge and Information Systems, Vol.31, No.3,pp.475-503(2012). 貞光九月他：混合ディリクレ分布を用いたトピックに基づく言語モデル，電子情報通信学会論文誌 D-II,J88-D-II(9), pp.1771-1779(2005). 帖佐悦男：ロコモティブシンドローム：運動器疾患を取り囲む新たな概念，Jpn.J.Rehabil.Med.,Vol.50,No.1,pp.48-54(2013). J.Verghese et al.: Abnormality of Gait as a Predictor of Non-Alzheimer’s Dementia, New England Journal of Medicine, Vol.347, No.22,pp.1761-1768(2002).

文書のトピックモデルであるＬＤＡおよびその拡張モデルは、文書の多重トピック性をモデル化しているが、行動をモデル化する場合には、センサ系列が複数の行動から生成されると仮定することは現実的ではなく、モデルと学習・推論アルゴリズムを不必要に複雑化し、ひいては行動の予測の精度を劣化させてしまいかねないという課題がある。

実際、後に述べるように、行動をモデル化する場合には、多重トピックを仮定せず、単一のトピックからセンサ系列が出力されていると仮定する方が、行動の予測精度が良くなることが確認されている。
また、センサや行動のマルコフ性をできるだけモデルを複雑化せずに導入することも課題である。

本発明では、文書中の単語が単一のトピックから、ディリクレ分布を事前分布として生成されると仮定し、そのような生成分布のトピック混合として文書をモデル化する混合ディリクレモデル(非特許文献５)を行動のモデル化法として採用する。
ただし、センサと行動のマルコフ性を導入するために混合ディリクレモデルを拡張し、拡張されたモデルを効率良くかつ精度良く学習・推論するために、ギブスサンプラーを構成し、マルコフ連鎖モンテカルロ法により学習と推論を行う。

本発明の一形態によれば、センサデータに行動ラベルを付与する等の作業が不要となり、センサを設置する以外の作業を必要としないシステム導入の負担が軽減され再導入に柔軟性のある低コストな異常監視が可能となる。
また、センサ系列から直接異常を検出するのではなく、一度行動のレベルに抽象化した上で、推定された行動が日常的に良く観察されるか否かに基づいて異常を検出することができる。

さらに、センサの日常的な誤作動を一つの行動として学習し異常とは見做さないような異常監視が実現できるので、ペットや暖房器具などの熱による誤ったセンサの発火に基づく誤報を減らす効果も有する。

また、別の一形態において、推定された行動列と行動毎に計算される特徴量を分析者に分かり易く提示することにより、居住者の日常行動パターンや問題行動の分析が可能になる。
この際、行動の分節や行動の識別に係る教師信号を与えることなく、センサの発火系列のみから行動列が推定されるので、分析に必要なコストを大幅に低減できる。
さらに、別の一形態において、センサ活動そのものからではなく、行動に基づいて計算される信頼性の高い、活動量、睡眠の質や歩行速度に基づいて、日常的に居住者の健康をモニタリングし、定期的あるいは特定のイベントが発生した時に、健康レポートを自動的に遠隔地の家族や施設スタッフに通知する、低コストで信頼性の高い遠隔健康見守りシステムが実現できる。

異常監視システムの全体図である。行動モデル学習部をより詳細に説明する図である。行動モデル推定部をより詳細に説明する図である。受信部で受信するセンサ生データ(例)を表す図である。センサ生データから抽出されたフレーム列(例)を表す図である。行動モデルの構造を表す図である。カウンタ初期化手段(InitializeCounter)を説明する図である。フレーム列初期化手段(Initialize)を説明する図である。カウンタ更新手段(Estimate)を説明する図である。行動予測精度を比較した実験結果を説明する図である。行動分析システムの全体図である。行動分析システムにおける日常行動可視化の例を説明する図である。健康管理システムの全体図である。

次に、図面を参照して、本発明の実施形態を説明する。

（異常監視システム）
（全体構成例）

図１を用いて異常監視システムの全体構成例を説明する。
利用者の居宅に、人体感知センサ(焦電センサ等)や、スイッチセンサ(磁気近接型ドア開閉センサ等)のようなプライバシー侵襲度が低くいセンサを複数設置する。
これらのセンサとしては、電池で１年以上動作し、有線・無線で親機に情報を伝達可能な安価なセンサが利用可能である。

焦電センサについては、理想的には、検知範囲を狭めて天井に設置することで、利用者のおおまかな動線を取得できるように設置することが望ましい。
天井に設置できない場合は、壁面にグリッド状に設置し、センサＸとセンサＹが同時に発火することを以てＸとＹの検知範囲の交わる領域で動作が行われたことを検知できる。

これらセンサからの情報を受信部(１１)で受信し、センサの発火系列(センサデータ列)が行動モデル学習部あるいは行動モデル推定部に送られる。

学習モードにおいては、センサ発火列は行動モデル学習部(１２)に送られ、利用者の行動モデルが学習され、学習されたモデルは行動ＤＢ(１４)に保存される。

推定モードにおいては、センサ発火系列は行動モデル推定部(１３)に送られ、行動ＤＢ(１４)に保存された行動モデルを参照して、行動の系列が抽出される。

続いて、行動の系列は異常検出部(１５)に送られ、行動モデルを参照しながら、抽出された行動毎に、モデルから当該行動が生起し得る確率が計算される。

この確率が一定の閾値よりも低い場合、異常な行動と判断され、異常警報部(１６)が警報を発報する。
この警報はインターネット等の居宅外のネットワークを通じて伝搬され、監視センター(１７)、あるいは遠隔地で見守る家族やケアワーカーの元へ伝達される。

図２を用いて学習モードで用いられる行動モデル学習部について説明する。
まず、学習に用いるセンサの発火系列からフレームの系列を抽出する(Ｐ２１)。

図４に示すように、センサの発火系列は、典型的にはセンサの名前(３列目)と、センサの状態(４列目)が変化した日時(１・２列目)が間欠的に記録されたものである。
センサの状態が変化したという情報同様、センサの情報が変化していないという情報も行動を理解するために重要な情報源であるので、データ前処理部は、間欠的な情報を連続する時区間の情報に変換する。

具体的には、ある定められた幅の時間窓(以後フレームと呼ぶ)を動かし、窓内で発火したセンサのＩＤを発火した時間順に１行に並べる。

図５は、図４の生データに対して、幅３０秒の窓を１０秒ずつシフトさせて得られるフレームの列を表している。
例えば、ドアセンサＤ００１のＩＤは６３であり、図５において最初の３フレームの間で発火した(ドアが開いた)ことが分かる。

また、１つのフレームに同じＩＤが複数回現れることは、当該フレームの間に同じセンサが複数回発火したことを示している。
さらに、あるフレームの間にどのセンサも発火しない場合は、図５最後のフレームのように特別なＩＤ、０が記録される。

抽出されたフレーム列に基づいて、Ｐ２２、Ｐ２３およびＰ２４において、行動モデルが学習される。
本発明では、混合ディリクレ分布を用いた階層的な確率モデルを用いて行動をモデル化するが、行動およびセンサにマルコフ性を仮定する。

図６は、それぞれに１次マルコフ性を仮定した場合のモデルの構造を示している。
ただし、図中、網掛けされた丸は観測できる確率変数を、網掛けされていない丸は潜在する確率変数を表している。
もちろん、マルコフ性は一次に限定する必要はなく、また、場合によれば、どちらかあるいは両方を０次と仮定しても同様な議論を行うことができる。

以降、一次マルコフ性を仮定して説明を行う。
図６では、各フレームの行動を表す確率変数ｚは、直前の行動ｔに依存して、θ^tをパラメータとするカテゴリカル分布から生成される。

また、各フレームのセンサの発火を表す確率変数ｗは、フレームに割り当てられた行動ｔと直前のセンサの発火ｕに依存して、φ^t,uをパラメータとするカテゴリカル分布から生成される。また、行動、センサ、それぞれのカテゴリカル分布の事前分布として、それぞれαとβをハイパーパラメータとするディリクレ分布を事前分布として仮定している。

このとき、行動系列Ｚと発火系列Ｗの同時分布は以下のように書ける。

ここで、Ｃａｔはカテゴリカル分布を表し、

と書ける。ただし、Ｔは行動の種類を表し、Σ_tθ^q _t＝１であり、ｎ_q,tは、行動ｑの直後に行動ｔが現れる頻度を表す。一方、Ｗについては、

と書ける。ただし、Ｖはセンサの種類の数を表し、Σ_wφ_w ^t,u＝１であり、ｎ^t _u,wは、行動ｔにおいてセンサｕが発火した直後にセンサｗが発火する頻度を表す。

Ｄｉｒはディリクレ分布を表し、

と書けるが、最初の学習時のように事前情報が全くない場合は、ハイパーパラメータαが一様であると仮定することができる。すなわち、

である場合は、ディリクレ分布は以下のように書ける。

記述の煩雑さを避けるため、以降、ディリクレ分布のハイパーパラメータは一様である場合で説明を行う。
βについても一様性を仮定する場合、すなわち、

の場合、

と書ける。
このようなモデル化を行うと、数式２、数式４、数式８より、

を得る。ここで、ｎ_q,・＝Σ_ｔｎ_q,tである。
一方で、数式３、数式５、数式１０より、

を得る。ここで、ｎ^t _u,・＝Σ_ｗｎ^t _u,wである。
行動モデルの学習には、これら頻度ｎ_q,tやｎ^t _u,wを推定することが必要になる。

以下にその手順を示す。まず、一連のカウンタを初期化する(Ｐ２２)。
図７では、行動が直前の行動に依存し、ある行動におけるセンサの発火が直前のセンサの発火に依存するというように、行動とセンサが共に一次マルコフ性を有すると仮定する場合に用いるカウンタの初期化法が示されている。

次に、Ｐ２１において抽出されたフレーム列を入力として、各フレームにランダムに行動を割り当てる初期化を行う(Ｐ２３)。図８は、やはり一次マルコフ性を仮定する場合の初期化法が示されている。
このとき、各フレームで発火するセンサの頻度を数え上げ、主記憶上に保存し、これをｓ_u,w(ｍ)と表す。

続いて、行動モデルのパラメータを計算するためのカウンタを、各フレーム毎にＮ回更新する(Ｐ２４)。
図９は、一次マルコフ性を仮定した行動モデルのパラメータを計算するためのカウンタを、ギブスサンプラーを用いたマルコフ連鎖モンテカルロ法で計算する方法が示されている。

今、統計量ｃから、ｍ番目のフレームの寄与分ｃ(ｍ)を除いた統計量をｃ(−ｍ)と表すことにすれば、ｍ番目以外のフレームの統計量が与えられるとき、ｍ番目のフレームの行動の条件付き確率は、次式の右辺に比例する。

ｍ−１番目のフレームの行動をｑ、ｍ＋１番目のフレームの行動をｒとするとき、数式１１より、右辺第１項は以下のように書ける。

また、右辺第２項は、数式１２より以下のように書ける。

数式１３に従って、ｍ番目のフレームの行動をランダムにギブスサンプリングし、その結果に基づいて頻度カウンタを更新する。
最後に、カウンタを行動ＤＢに保存する(Ｐ２５)。
一次マルコフ性を仮定する場合、カウンタから、行動モデルのパラメータは以下のように計算できる。

続いて、図３を用いて、行動系列推定部を説明する。
まず、行動モデル学習部(図２)のＰ２１と同様な方法で、推定したいセンサ発火系列からフレーム列を抽出する(Ｐ３１)。

次に、行動ＤＢからカウンタを読み出した(Ｐ３２)後、行動モデル学習部(Ｐ２３)と同様にフレーム列にランダムに行動の初期値を割り当てる(Ｐ３３)。

さらに、行動モデル学習部(Ｐ２４)と同様に、各フレームの行動をランダムにサンプリングしてカウンタを更新する(Ｐ３４)。
そして最後に、得られたフレーム列に対する行動列Ｚを行動ＤＢに保存する(Ｐ３５)。

したがって、行動モデル学習部(図２)と行動モデル推定部(図３)の基本的な違いは、カウンタをゼロに初期化するか否かとカウンタを上書きするか否かの違いである。

一度行動モデルを学習した後に、追加のデータを用いてモデルを再学習させたい場合は、カウンタをゼロに初期化せずに更新し、更新されたカウンタを上書きすれば良い。
つまり、図２、Ｐ２２のカウンタの初期化を行う代わりに、図３、Ｐ３２と同様に、行動ＤＢから既に保存されているカウンタを呼び出した後に、カウンタの更新(Ｐ２３およびＰ２４)を行い、新しいカウンタを行動ＤＢに保存(Ｐ２５)すれば良い。

最後に、図１の異常検出部(１５)について補足する。
行動モデルの下で、あるフレームが日常的にありふれたものであるか否かを判定するためには、そのフレームの尤度を用いれば良い。
例えば、推定された行動列Ｚと観測されたセンサ発火列Ｗを所与として、数式１８、数式１９と数式２０を用いてｍ番目のフレームの尤度を計算することができる。

また、より単純に、数式２０を尤度として用いることもできる。
尤度が、あらかじめ決められた閾値、あるいは学習データから決定された閾値、例えば学習の結果得られた尤度の最小値よりも低い場合に、非日常的な行動、すなわち異常と判断することができる。
なお、ここで計算された尤度は、各フレームの属性の１つとして行動ＤＢに保存され、後の分析等に利用される。

図１０は、公開されたデータを用いて、本発明で用いる行動モデル化方法に基づいて、行動の推定を行った結果を、他のモデル化方法と比較した図である。
図１０の縦軸は、予測された行動列を人間が付与した行動列に照合して一致していた時間の割合を表しており、横軸は、モデル化の際に仮定した行動の種類の数Ｔである。

図１０では、本発明で用いたモデル化方法を、非特許文献２記載のLatent Dirichlet Allocationを用いたモデル化方法(ＬＤＡ)と、非特許文献５記載の混合ディリクレ分布を用いたモデル化方法(ＤＭ)と比較している。

図１０から明らかなように、本発明によれば、行動予測精度の大幅な向上が実現でき、この精度向上に依拠して、日常的な行動か否かに基づく異常検知の精度を向上させることが可能になる。

（その他の実施形態）
（行動分析システム）
図１１を用いて、行動分析システムの全体構成例を説明する。
センサの構成、受信部(１１１)、行動モデル学習部(１１２)、行動モデル推定部(１１３)および異常検出部(１１５)については図１記載の異常監視システムと同じである。

これら各部に加えて、行動分析システムは、行動ＤＢ(１１４)に保存された行動モデルを参照して、行動の分析を行う、検索部(１１８)、頻度計測部(１１７)および速度計測部(１１６)を備え、各部の分析結果を表示する行動可視化部(１１９)を有する。

以下、各部を説明する。
速度計測部(１１６)では、各行動におけるセンサの発火速度が計算される。今、ある行動の時区間内ｂで発火したセンサをｓ₁，…，ｓ_L、各々の発火時刻をｔ(ｓ_i)(１≦ｉ≦Ｌ)とすると、発火速度の計算のために、

の他、センサ間の距離ｄ(ｓ_i，ｓ_j)が分かっている場合には、

を用いることができる。
ただし、［Ｐ］は、Ｐが真のとき１、偽のとき０の値を取るとする。

これら計測値は、行動毎に行動ＤＢ(１１４)内に保存される。
頻度計測部(１１７)では、特定の条件下の特定の行動を、検索部(１１８)を用いて行動ＤＢ(１１４)から抽出し、その頻度を、行動可視化部(１１９)を介してユーザに提示可能にする。

例えば、トイレに該当する行動の内、前後に睡眠に該当する行動がある場合の頻度が計測できる。
条件や行動の指定は、行動可視化部(１１９)を介してユーザからの指示に従う場合の他、あらかじめ決められた条件を埋め込んでおくこともできる。

検索部(１１８)では、行動可視化部に備わったインタフェースを介したユーザからの指示、あるいは頻度計測部(１１７)からの要求に応じて、行動ＤＢ(１１４)を参照して特定条件下の特定の行動を検索する。

検索のキーとしても用いることができるのは、時刻・時間、センサの発火情報や推定された行動の他、異常検出部(１１５)で計測した異常度、速度計測部(１１６)で計測したセンサ発火速度や頻度計測部(１１７)で計測した行動頻度などを用いることができる。

行動可視化部(１１９)では、行動ＤＢが保持する情報や、各部で計測した値などを分かり易くユーザに提示し、居住者の行動パターンの把握や問題行動の分析に利用される。

分かり易い情報提示のためには、行動モデル推定部(１１３)が出力する行動系列に平滑化処理を施した方が良い場合がある。
例えば、行動列ｂ₁，…，ｂ_Lにおいて同一の行動ｂ(ｂ_i＝ｂ，１≦ｉ≦Ｌ)が連続している場合には、これらを１つの行動ｂとしてマージして提示することは最も単純な平滑化の１つである。

さらに、抽出された行動をクラスタリングし、類似した行動を一つの行動としてマージするような平滑化を考えることができる。
クラスタリング法としては、ｋ−平均法などの既知の手法を用いることができるが、いずれの方法を使う場合でも行動と行動の距離あるいは類似度を定める必要がある。

本発明における行動のモデル化においては、数式１６で示される行動の遷移確率分布や数式１７で示されるセンサの発火確率分布が得られるので、これらの分布を用いて与えられた２つの行動に対して距離を定義することができる。例えば、Jensen-Shannon Divergenceを用いて、以下のように行動ａとｂの距離を定義できる。

ただし、ｒ_k＝(ｐ_k＋ｑ_k)／２である。もちろん、距離の定義にはθを用いないなど、様々なバリエーションがあり得る。
平滑化を行った結果、複数の連続するフレームが一つの行動としてマージされる場合、新たに得られた時区間を一つのフレームとして再び行動推定部１１３に入力し、新たなフレーム列に対する行動の推定と尤度の計算を行うことでより精度を高めることができる。

図１２は、行動可視化部(１１９)に接続されたディスプレイ等に表示された、ある１日分のデータの可視化の例が示されている。
最上部には、センサの発火時刻に合わせて縦線がセンサ毎に色分けされて表示されている。
その下には、センサの発火系列から推定された行動列が、破線で囲まれた時区間として表示されている。
また、各行動には異常検出部(１１５)で計算された尤度が「通常度」として表示されている。

さらに、一群の行動には、行動可視化部(１１９)に接続されたキーボードやマウス等の入力デバイスを用いてユーザにより付与された行動ラベル「睡眠」および「外出」が表示されている。

図中、ポインタで選択された行動は、睡眠中ベッドから抜け出してトレイに行ってベッドに戻るまでの一連の行動に対応している。
この行動をポイントすることで、この日に行われた複数のトイレ行動がハイライトされて表示されている。

この状態で検索ボタンを押すことで、選択された行動を行動ＤＢ中から、検索部(１１８)を用い検索し表示させることができる。
図では、このような検索の結果、１１月中の午後９時から午前６時の間にトイレに行った回数が２０回であること、その総時間がおよそ１００分であることが表示されている。

また、選択された行動に対して、速度計測部(１１６)で数式２２を用いて計算されたセンサの発火速度が表示されている。
この値は、トイレに行って帰ってくるまでの移動速度が反映されている。

（健康管理システム）
図１３を用いて健康管理システムを説明する。
センサの構成、受信部(１３１)、行動モデル学習部(１３２)、行動モデル推定部(１３３)、異常検出部(１３５)、速度計測部(１３６)、頻度計測部(１３７)、検索部(１３８)については図２記載の行動分析システムと同じである。

健康レポート生成部(１３９)は、日常行動のモニタリングの結果得られた日常行動に係る指標を用いた健康レポートを、あらかじめ用意されたテンプレートに従って自動的に生成し、一定間隔あるいはあらかじめ定められたイベントの発生時に、家族や施設スタッフ等にインターネット回線網等を介して送信する。

用いる指標としては、異常検出部(１３５)で計算された行動の異常度を用いることができる。

その他、例えば、居室内の歩行速度も重要な指標となり得る。
歩行速度の低下はロコモティブ症候群(非特許文献６)や認知症(非特許文献７)の早期発見の指標となるからである。

数式２２で計算されるセンサの発火速度を歩行速度と見做すためには、居室内の移動行動を識別する必要がある。

そのために、本発明で推定された行動列の内、歩行行動を識別する識別器を健康管理システムに組み込む方法もあるが、より簡便な方法として、数式２２で計算したセンサ発火速度の行動毎の平均値の最大値を歩行速度と見做すことができる。この最大値が居室内移動行動に該当している蓋然性が高いからである。例えば、行動ｔの時区間の集合をＤ_ｔとするとき、以下のように計算されるｖを歩行速度と見做すことができる。

また、睡眠の質も有用な指標となるが、その計算のために、睡眠行動の時間、トイレ等で睡眠が妨げられた頻度、寝返りの頻度の計測値を用いることができる。指標として、例えば、一定時間の中断を許容した睡眠行動系列ｓ₁，…，ｓ_Lに対して、以下で計算される睡眠効率を考えることができる。

ただし、ｔ_e(ｓ)は行動ｓの開始時刻、ｔ_b(ｓ)は終了時刻とする。
この計算のためには、睡眠やトイレという行動が識別されている必要があるが、これら場所に強く結びついた行動の識別は、単純なルールベースの識別器で実現できる。例えば、ベッド周辺のセンサの活動を含み１時間以上継続する行動を睡眠行動と判定すれば、それ以外の時刻に現れる同一の行動全体で睡眠行動を識別できる。

また、寝返りの頻度は、睡眠行動中のベッド周辺のセンサ活動回数でカウントすることができる。
その際、例えば、ベッド周辺のセンサは、日中ベッド周辺に近づいただけでも活動するが、本発明の行動推定を用いれば、前後のセンサ活動の違いから、同じベッド周辺センサの活動でも、睡眠中のものと日中の活動中のものと区別できるので、より信頼性の高い指標となり得る。

さらに、１日の活動量も有用な指標となり得る。
本発明では、センサの発火活動より上位の行動列を取得できるので、１日の中で観察された行動の頻度、時間や種類を活動量として用いることができる。例えば、１日に現れるＴ種類の行動ｂの累積時間をｔ(ｂ)と表すことにすると、以下の平均エントロピーを活動量の指標とすることができる。

ただし、Ｌ＝Σ_bｔ(ｂ)とする。
また、活動量の指標として、数式２１で計算されるセンサの発火頻度の総和を用いることもできる。この場合、外出、睡眠やトイレを除いた行動におけるセンサ発火頻度の総和を計算することができるので、より信頼性の高い活動量が計算できる。

外出行動の識別は、センサの活動が全く現れないことが特徴であるが、睡眠中などのセンサ活動が全くない時間帯と区別されなければならない。
本発明の行動推定法によれば、外出前後の玄関周辺のセンサや玄関のドアスイッチセンサの活動などの文脈が考慮されるので、外出行動は部屋の中でじっとしている行動とは区別されて抽出される。

本発明は、センサを設置して発火し得る閉空間または開空間における人のみならず動物等の動体の行動・挙動を識別・分析することを目的とするシステムであって、実施例と同一環境または類似環境において幅広く利用することができる。

１行動
２センサ
３フレーム
４フレーム数
５ｍ番目のフレームのセンサ発火数
６行動の種類の数
７センサの種類の数
８１日の回数
９発火速度
１０行動ラベル付与
２１検索範囲
２２頻度／月
２３総時間／月
１１，１１１，１３１受信部
１２，１１２，１３２行動モデル学習部
１３，１１３，１３３行動モデル推定部
１４、１１４，１３４行動ＤＢ
１５，１１５、１３５異常検出部
１６異常警報部
１７監視センター
１１６、１３６速度計測部
１１７、１３７頻度計測部
１１８，１３８検索部
１１９行動可視化部
１３９健康レポート生成部

Claims

少なくともセンサと受信部と行動モデル学習部と行動モデル推定部と行動ＤＢと異常検出部を備えた閉空間または開空間の所定の領域における人の行動の異常監視システムであって、
前記行動とセンサが共にマルコフ性を有するものとし、
前記所定の領域には少なくとも人体感知センサとスイッチセンサとを含むセンサが複数個配置され、
前記受信部において前記各センサから送信された各センサ情報は時系列的に少なくともセンサの名前、センサの状態およびその状態が変化した日時を含むセンサデータ列に変換され行動モデル学習部と行動モデル推定部に送られ、
前記行動モデル学習部において前記一のセンサデータ列に基づいて前記人の行動が学習されて得られる行動系列からなる初期化行動モデルは、前記一のセンサデータ列に含まれるセンサの初期化された発火頻度(以後頻度カウンタと呼ぶ)ともに行動ＤＢに格納され、
前記行動モデル推定部において前記他のセンサデータ列に基づいて前記人の行動が推定されて得られる行動系列は、前記他のセンサデータ列に含まれる当該センサの発火頻度で更新された当該頻度カウンタとともに行動ＤＢに格納され、かつ、前記推定された行動系列が抽出されて異常検出部に送られ、
前記異常検出部において前記抽出された行動系列に関し前記頻度カウンタに基づいて当該行動が生起し得る確率が計算され、
前記確率に基づいて前記他のセンサデータ列に係る行動の異常を判断する事を特徴とする異常監視システム。
前記行動モデルは、前記行動がディリクレ分布を事前分布とするカテゴリカル分布に従い生成され、前記センサは前記行動に依存してディリクレ分布を事前分布とするカテゴリカル分布に従い生成される、階層的な確率モデルであることを特徴とする請求項１に記載の異常監視システム。
前記センサデータ列は所定の幅の時間窓(フレームと呼ぶ)におけるセンサデータ列(フレーム列と呼ぶ)(次数Ｍ)であって、
前記一のセンサデータ列からフレーム列(学習用フレーム列)が行動モデル学習用に抽出され、
前記他のセンサデータ列からフレーム列(推定用フレーム列)が行動モデル推定用に抽出され、
前記各フレームの行動を表す確率変数ｚはそれ以前の行動に依存してカテゴリカル分布に従い生成され、
前記各フレームのセンサの発火を表す確率変数ｗは当該フレームに割り当てられた行動ｚとそれ以前のセンサの発火に依存してカテゴリカル分布に従い生成され、
前記カテゴリカル分布の各事前分布は前記ディリクレ分布であることを特徴とする請求項２に記載の異常監視システム。
前記行動モデル学習部および前記行動モデル推定部における前記頻度カウンタはｎ_q,t、ｎ_q,・、ｎ^t _u,・、ｎ^t _u,vであって、前記学習用フレーム列または前記推定用フレーム列からギブスサンプリングを用いたマルコフ連鎖モンテカルロ法により初期化または更新されたことを特徴とする請求項３に記載の異常監視システム。
ただし、ｎ_q,tは、前記各学習用フレーム列において行動列ｑの直後に行動ｔが現れる頻度、ｎ^t _u,vは、前記各学習用フレーム列において行動ｔにおいてセンサ列ｕが発火した直後にセンサｗが発火する頻度であって、ｎ_q,・＝Σ_tｎ_q,tであり、ｎ^t _u,・＝Σ_vｎ^t _u,vとする。
前記行動モデル推定部における前記行動系列の抽出は、前記推定されて前記ＤＢに保存された前記各頻度カウンタを前記ＤＢから読み出して初期値とし、
前記各頻度カウンタを前記各推定用フレーム列に基づいて前記マルコフ連鎖モンテカルロ法により更新し、
推定された当該各推定用フレーム列に対応する行動列Ｚを前記行動ＤＢに格納することを特徴とする請求項４に記載の異常監視システム。
前記異常検出部において前記推定用フレーム列の各フレームに係る行動について当該フレームの尤度に基づいて異常を判断することを特徴とする請求項５に記載の異常監視システム。
請求項６に記載の異常監視システムにさらに検索部、頻度計測部、速度計測部、および検索部の検索結果を表示する行動可視化部を備え、
前記速度計測部において前記推定用フレームに係る行動におけるセンサの発火速度が計算され当該行動毎に行動ＤＢに格納され、
頻度計測部において行動ＤＢから特定の行動を抽出してその頻度を前記行動ＤＢに格納し、
前記検索部において前記センサの発火情報、前記異常と判断された前記尤度、前記推定された行動、前記センサ発火速度または前記特定の行動およびその頻度等を索引として前記行動ＤＢの前記行動の検索を可能とし、
前記一の索引が与えられた場合に前記検索部において前記行動ＤＢから所定の期間(日、週、月、年等)の前記行動を検索して当該行動を行動可視化部において表示することを特徴とする行動分析システム。
請求項７において前記行動可視化部に代わって健康レポート生成部を備え、前記特定の行動の当該頻度、時間や種類に基づいた活動量を記載した健康レポートを提供することを特徴とする健康管理システム。
請求項８に記載する健康管理システムであって、
前記計算された前記センサの発火速度を当該発火センサに係る前記領域の移動に係る前記特定行動の速さと看做して、
前記所定の期間における前記行動の平均発火速度の最大値を当該人の歩行速度と記載した健康レポートを提供することを特徴とする健康管理システム。
請求項８に記載する健康管理システムであって、
さらに特定の前記センサの発火を含み所定時間以上継続する前記行動を睡眠行動と識別し得る識別器を備え、
前記所定の期間に前記識別器が識別した前記睡眠行動からなる睡眠行動列の中断時間に基づいて前記睡眠行動列に係る睡眠の質と記載した健康レポートを提供することを特徴とする健康管理システム。
請求項１乃至請求項１０のいずれか１項に記載の健康管理システム、行動分析システム、異常監視システムに係る前記センサデータおよび関連データを当該処理する事を特徴とするプログラムを記録した記憶媒体。