JP2008097472A - 個人のふるまい検知システム及び方法、個人のふるまいを検知するための行動パターンの生成方法並びにプログラム - Google Patents

Abstract

【課題】 複雑な人間の行動を高い精度で検知できるシステム／方法を提供する。
【解決手段】 空間内に存在する複数のオブジェクトにそれぞれ設けられた複数のRFIDタグと、前記空間内を移動するユーザが携帯する携帯装置と、前記携帯装置から前記RFIDタグの情報を受けて処理を行う処理部とを備え、前記処理部は、ユーザの特定のふるまいに対応する行動パターンを予め記憶し、前記処理部は、前記行動パターンに含まれる順序対（特徴）がユーザの行動ログに含まれている回数を計数し、その回数に基づき特徴ポイントを算出し、前記特徴ポイントを閾値と比較することにより、前記行動パターンに対応する前記特定のふるまいを検知する。
【選択図】 図２

Description

この発明は、タグ付けられた世界（Tagged World）において個人のふるまいを検知するためのシステム及び方法、個人のふるまいを検知するための行動パターンの生成方法並びに当該方法をコンピュータで実行するためのプログラムに関する。

ネットワーク技術の進歩や組み込み型計算機の開発によりユビキタスな環境が整いつつあると言われているが、実際にはユビキタス環境を使いこなすのは、小型計算機やネットワーク・システムを熟知している者に限られる。真にユビキタスな世界が実現化するためには、計算機やネットワークに不慣れなユーザがいつものようにある意図に従ってふるまったときに、そのふるまいをユビキタス環境側で認識して、そのユーザの意図に適合したサービスが提供されなければならない。例えば、ユーザが外出しようとしたときには、切り忘れたエアコン電源を切り、キッチンの火の元を確認し、エレベータをユーザの住む階に遠隔で呼び出してくれるようなサービスを、特別なコマンドの送出がなくとも提供してくれるシステムが望まれる。

人間の行動を認識するために、RFIDタグを利用すること及びRFIDタグを用いたシステムが知られている（RFIDとはRadio Frequency Identificationの略語であり、微小な無線チップにより人やモノを識別・管理すること）。また、RFIDタグを用いた環境において人間のふるまいを正確に認識することで、その行動を支援することが可能であることも知られている。

特開２００１−９２８８５号公報 特開２００３−４４９７０号公報 特開２００６−２０９４２１号公報

青木 茂樹, 大西 正輝, 小島 篤博, 福永 邦雄, "独居高齢者の行動パターンに注目した非日常状態の検出," 電学論(E), vol.125-E, no.6, pp.259-265, 2005. T. Mori, H. Noguchi, A. Takada, and T. Sato, "Sensing room: Distributed sensor environment for measurement of human daily behavior," Proc. INSS2004, pp.40-43, 2004. T. Fukuda, Y. Nakauchi, K. Noguchi, and T. Matsubara, "Time series action support by mobile robot in intelligent environment," Proc. ICRA2005, pp.2908-2913, 2005. M. Perkowitz, M. Philipose, D.J. Patterson, and K. Fishkin, "Mining Models of Human activities from the web," Proc. WWW2004, pp.573-582, 2004.

特許文献１〜３に記載の技術は、RFIDタグを使用して人間の行動を測定するものであるが、前述したような、真にユビキタスな世界を実現するためのものではない。すなわち、ユーザがある意図に従ってふるまったときに、そのふるまいをユビキタス環境側で認識して、そのユーザの意図に適合したサービスを提供するものではなかった。

非特許文献１〜４に記載の技術は、ユビキタス環境において人間のふるまいを正確に認識することで、行動を適切に支援するためのものであるが、以下のような問題がある。

非特許文献１〜４では、時間軸に沿った人間の行動パターン生成にHidden Markov Modelが用いられている。Hidden Markov Model では、時間的に連続である2 状態間の遷移確率を考慮して行動パターンが生成される。実際の人間の行動を局所的に見れば、同じ行動をとっても毎回順序が細かく入れ替わっていることが多いが、大局的に見れば行動順序の規則性が存在することは明らかである。このような、行動順序に規則性のある部分とない部分が混在する複雑な人間の行動を、時間的に連続な2 状態に注目した行動パターンでは表現することは難しい。

Hidden Markov Modelによる問題点を列挙すると次のようになる。
（１）パターンを個別化するための学習に多数の学習用サンプルが必要で、個人への適応に時間がかかる。
（２）処理の負荷が重い。
（３）同じふるまいでも規則性のある部分と、ない部分が混在する複雑な人間の行動を時間的に連続した状態間に注目した行動パターンでは表現することは難しい。
（４）2状態間の遷移確率を積で求めているために稀な行動が含まれた場合に認識率が極端に下がってしまう。

本発明は、上記問題点を解決するためになされたもので、多くのサンプルを必要とせず行動パターンを短期間で個別化でき、処理の負荷が軽く、複雑な人間の行動を高い認識率で認識できる個人のふるまい検知システム及び方法、個人のふるまいを検知するための行動パターンの生成方法並びにプログラムを提供することを目的とする。

この発明に係る個人のふるまい検知システムは、オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、
前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯装置と、
前記携帯装置から前記RFIDタグの情報を受けて処理を行う処理部とを備え、
前記処理部は、ユーザの特定のふるまいに対応する行動パターンを予め記憶し、前記行動パターンは、ユーザが前記特定のふるまいを行うときに触れる２つ以上の前記オブジェクトの組み合わせであって、触れる順序に並べられたものである順序対を少なくともひとつ含み、
前記処理部は、前記RFIDリーダで読み取った前記RFIDタグの情報に基づきユーザが触れた前記オブジェクトの情報をユーザの行動ログとして蓄積し、前記行動パターンに含まれる前記順序対が前記行動ログに現れる回数を計数し、前記行動ログに現れた前記順序対の回数に基づき特徴ポイントを算出し、前記特徴ポイントを予め定められた閾値と比較することにより、前記行動パターンに対応する前記特定のふるまいを検知したかどうか判定する、ものである。

なお、前記処理部は、前記携帯装置に組み込まれていてもよい。あるいは、前記携帯装置が、前記処理部の機能を実現するものであってもよい。前記処理部の機能を、前記携帯装置で実現すること、前記携帯装置とは別のコンピュータ（サーバ）で実現することのいずれも可能である。

例えば、前記処理部は、前記順序対が前記行動ログに合計k回繰り返し現れるとき、i回目に現れたときに加算される予め定められたポイントをpoint(i)として、i=1からi=kまでのpoint(i)の合計を求めることにより前記特徴ポイントを算出する。

例えば、前記処理部は、前記行動ログに同じ順序対が繰り返し現れたときに、その出現回数によらず、前記特徴ポイントを下記の式に従って算出する。
（特徴ポイント）＝（１回以上出現した順序対の数）×（予め定められたポイント）

例えば、前記処理部は、過去に算出された前記特徴ポイントの平均値を求め、前記予め定められた閾値を前記平均値の略半分に設定する。

この発明は、オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯装置と、前記携帯装置から前記RFIDタグの情報を受けて処理を行う処理部とを備え、前記処理部は、ユーザの特定のふるまいに対応する行動パターンを予め記憶し、前記行動パターンは、ユーザが前記特定のふるまいを行うときに触れる２つ以上の前記オブジェクトの組み合わせであって、触れる順序に並べられた順序対を少なくともひとつ含む、システムにおいて個人のふるまいを検知する方法であって、
前記RFIDリーダで読み取った前記RFIDタグの情報に基づきユーザが触れた前記オブジェクトの情報をユーザの行動ログとして蓄積するステップと、
前記行動パターンに含まれる前記順序対が前記行動ログに現れる回数を計数するステップと、
前記行動ログに現れた前記順序対の回数に基づき特徴ポイントを算出するステップと、
前記特徴ポイントを予め定められた閾値と比較することにより、前記行動パターンに対応する前記特定のふるまいを検知したかどうか判定するステップと、を備えるものである。

この発明は、オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯装置と、前記携帯装置から前記RFIDタグの情報を受けて処理を行う処理部とを備えるシステムにおいて個人のふるまいを検知するための行動パターンを生成する方法であって、
ユーザが特定のふるまいを行ったときにその行動ログを収集することを複数回行うステップと、
複数回の収集を行うことで得られた複数の行動ログに現れる、ユーザが前記特定のふるまいを行うときに触れる２つ以上の前記オブジェクトの組み合わせであって、触れる順序に並べられたものである順序対を抽出するステップと、
前記複数の行動ログに現れる前記順序対それぞれについてその出現回数を計数するステップと、
前記順序対それぞれの前記出現回数に基づき、予め定められた閾値に基づいて前記順序対の一部を抽出し、、前記行動パターンに入れるステップと、を備えるものである。

例えば、前記出現回数を計数するステップにおいて、特定の行動ログで特定の順序対が１回出現したときに当該行動ログにおける当該順序対の出現回数を１とするとともに、同じ行動ログで同じ順序対が複数回出現したときでも当該行動ログにおける当該順序対の出現回数を１とする、ようにしてもよい。

この発明は、オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯装置と、前記携帯装置から前記RFIDタグの情報を受けて処理を行う処理部とを備え、前記処理部は、ユーザの特定のふるまいに対応する行動パターンを予め記憶し、前記行動パターンは、ユーザが前記特定のふるまいを行うときに触れる２つ以上の前記オブジェクトの組み合わせであって、触れる順序に並べられた順序対を少なくともひとつ含む、システムにおいて個人のふるまいを検知する方法をコンピュータに実行させるためのプログラムであって、
前記RFIDリーダで読み取った前記RFIDタグの情報に基づきユーザが触れた前記オブジェクトの情報をユーザの行動ログとして蓄積するステップと、
前記行動パターンに含まれる前記順序対が前記行動ログに現れる回数を計数するステップと、
前記行動ログに現れた前記順序対の回数に基づき特徴ポイントを算出するステップと、
前記特徴ポイントを予め定められた閾値と比較することにより、前記行動パターンに対応する前記特定のふるまいを検知したかどうか判定するステップと、を実行させるためのものである。

この発明は、オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯装置と、前記携帯装置から前記RFIDタグの情報を受けて処理を行う処理部とを備えるシステムにおいて個人のふるまいを検知するための行動パターンを生成する方法をコンピュータに実行させるためのプログラムであって、
ユーザが特定のふるまいを行ったときにその行動ログを収集することを複数回行うステップと、
複数回の収集を行うことで得られた複数の行動ログに現れる、ユーザが前記特定のふるまいを行うときに触れる２つ以上の前記オブジェクトの組み合わせであって、触れる順序に並べられたものである順序対を抽出するステップと、
前記複数の行動ログに現れる前記順序対それぞれについてその出現回数を計数するステップと、
前記順序対それぞれの前記出現回数に基づき、予め定められた閾値に基づいて前記順序対の一部を抽出し、、前記行動パターンに入れるステップと、を実行させるためのものである。

この発明に係るプログラムは、例えば、記録媒体に記録される。
媒体には、例えば、ＥＰＲＯＭデバイス、フラッシュメモリデバイス、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、ＣＤ（ＣＤ−ＲＯＭ、Ｖｉｄｅｏ−ＣＤを含む）、ＤＶＤ（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭを含む）、ＲＯＭカートリッジ、バッテリバックアップ付きのＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。

媒体とは、何等かの物理的手段により情報（主にデジタルデータ、プログラム）が記録されているものであって、コンピュータ、専用プロセッサ等の処理装置に所定の機能を行わせることができるものである。

本発明は、アクセスオブジェクトの順序対に着目したふるまい検知（Detection of Human Behavior Using Ordered Pairs in Access Object Sequence）に関する。
ユビキタス環境において人間のふるまいを正確に認識することができれば、行動を適切に支援できる（非特許文献１〜４）。本明細書は、特定状況における人間の行動パターンを生成する手法および行動パターンを実際の人間の行動と照合することでふるまいを検知する手法を開示する。当該手法は、人間が触れたオブジェクトの種類と、複数のオブジェクトにどのような順序で触れたかという情報を行動ログとして記録し、特徴的なパターンを抽出する。本手法は、連続して触れたオブジェクトだけではなく、連続で触れていないが順序関係を持つオブジェクトにも着目し、順序照合と確率モデルを分離することで、次のような特徴を備える。
・規則性と不規則性が混在する人間の複雑な行動を表現できる。
・確率的に稀な行動を含んでいる場合でも正しくふるまいを検知することができる。

発明の実施の形態に係るシステムでカバーする空間の例を図１に示す。
図１はマンションの一室の平面図を示し、この部屋に置かれたパソコンPC、テーブルTable、テレビ受像機TVのスイッチ、キッチンKitchenのレンジのつまみ、玄関の靴箱などの複数のオブジェクトそれぞれに又はそれらの近傍にRFID タグが埋め込まれている。ユーザは携帯装置（ポケットアシスタント）を携帯していて、それで各オブジェクトのRFID タグの情報、すなわち各オブジェクトへのユーザのアクセスの有無及びその順序（時刻）を行動の記録（行動ログ）として蓄積する。必要に応じてサーバ（処理部）を設けてもよい。サーバは、無線LANで携帯装置と通信を行う。

図１の世界をTagged Wor1dと呼ぶことにする。Tagged Worldとは、人間の行動を認識するために家庭内に存在するオブジェクトに13.56MHz帯の近接型RFID タグが埋め込まれ、その中をRFID リーダを携えたユーザが行動する世界である。認識距離が2cm程の近接型RFlDシステムを利用するため、ユーザが触ったオブジェクトを正確に記録できる。RFID リーダを含みユーザが携帯するサーバを携帯端末（ポケットアシスタント）と呼ぶことにする。

人間は日常生活において、さまざまなオブジェクトに近付き、利用する。このとき、人間が装着したRFID リーダがオブジェクトに貼り付けられたRFID タグのタグID を読み取る。その結果、タグID とそのRFIDタグへのアクセス時刻を示す時刻印の組を、時系列で取得することができる。この時系列は人間の動作の対象を表しており、どのようなオブジェクトを利用したかを示す詳細な行動ログである。Tagged World では、人間の行動を認識するために行動ログをポケットアシスタントに蓄積する。

人間は日常生活の特定の状況において、習慣的な行動をとる。これは、特定の状況において習慣的に同じオブジェクトに触れることを意味する。たとえば、外出する状況における人間のふるまいには“財布を持つ”“腕時計を着ける”“トイレに行く”“携帯電話を持つ”というさまざまな行動が含まれる。腕時計を着けない人やトイレに行かない人もいるため、外出のふるまいにどの行動が含まれるかは個人の習慣に依存する。また、これらの行動の順序も個人の習慣によってさまざまである。

Tagged World ではこの考えに基づいて、人間が触れたオブジェクトの種類を行動ログとして取得し、特定の状況における人間のふるまいを検知する。既存の研究では、知的空間における人間のジェスチャや移動経路など、動作そのものを計測対象としている。ジェスチャや移動経路は、あいまい性を多く含む連続量として計測される。そのため、似た動作をした異なる意味の行動を区別するために負荷の大きな処理が必要となる。これに対して、Tagged World では動作の対象であるオブジェクトへのアクセスに着目することで、人間の行動が離散値として計測される。よって、認識処理の負荷は軽い。

ポケットアシスタントの性能を考慮して、ふるまいの検知は以下の2 点に着目して段階的に行う。
・触れたオブジェクトの種類
・オブジェクトに触れた順序

第1 段階ではオブジェクトの種類のみに着目する。たとえば、外出のふるまいを検知することを考える。外出時に触れるオブジェクトと食事や料理をしているときに触れるオブジェクトは全く異なる。ゆえに、触れたオブジェクトの種類に着目するだけで、その人間の状況が外出の可能性が高いと判断できる。しかし、外出時と帰宅時には触れるオブジェクトの種類が似ていることから、第1 段階だけで外出のふるまいであると確定することはできない。その後、第2 段階ではオブジェクトに触れた順序に着目し、第1 段階よりも詳細に行動ログを検証する。常に詳細な順序の検証を行うのではなく、第1 段階で粗く判別することにより、ポケットアシスタントの負荷を軽減することができる。本明細書では、第2 段階における人間が触れたオブジェクトの順序関係からふるまいを検知する手法について提案する。

図２は、Tagged Wor1dを構築する際に組み込まれる機能の説明図（機能ブロック図）である。これらの機能は、例えばコンピュータシステムとソフトウエアで実現される。

図２において、Ｄ１は、ポケットアシスタントＰＡにより実際に収集された個人の行動ログである（図４を参照）。具体的には、個人の行動ログＤ１は、操作又は接近したオブジェクトの情報、その時刻、順番などの情報を含んでいる。発明の実施の形態においては、行動ログＤ１は、少なくとも、ポケットアシスタントＰＡを携帯する個人が触れたオブジェクトの種類と触れた順序を記録したものである。Ｄ２は、行動ログＤ１から生成された順序対行動パターンである。本明細書における行動パターンの定義、及び、その具体的な生成手順は後述するが、順序対行動パターンＤ２は、ユーザの特定のふるまいに対応する少なくともひとつの順序対を含むものである。行動パターンＤ２は、例えば処理部（サーバ）ＰＲＣの図示しない記憶部に予め記憶されている。ここで、順序対とは２つ以上（基本は２つ）のオブジェクトの組み合わせであって、これらオブジェクトに触れた順序に並べられたものである。

１０は、個人の行動ログＤ１に基づいて順序対行動パターンＤ２を生成する順序対行動パターン生成機能（プログラム、装置乃至処理）である。
１２は、順序対行動パターンＤ２を基に個人の行動ログＤ１から個人のふるまいを検知するパターン照合機能（プログラム、装置乃至処理）である。
１３は、RFID リーダ（図２の符号READER）で読み取ったRFIDタグの情報を時刻順に蓄積する行動ログ収集機能（プログラム、装置乃至処理）である。
なお、図２において、処理部ＰＲＣとポケットアシスタントＰＡを分離したシステムを示しているが、これらを一緒にすることもできる。例えば、ポケットアシスタントＰＡで順序対行動パターン生成機能１０を実現するようにしてもよい。また、順序対行動パターンをポケットアシスタントＰＡで記憶するようにしてもよい。

Tagged Worldで用いられる行動ログＤ１は、行動ログ収集機能１３によって取得される。行動ログ収集機能１３は、ポケットアシスタントを携帯するユーザがオブジェクトに触れると、オブジェクトに貼り付けられたRFID タグをポケットアシスタントＰＡに接続されたRFID リーダが読み取り、個人の行動ログとして記憶する。

例えば、図３のフローチャートに示すように、ポケットアシスタントがRFID リーダに対してRFIDタグの読み取りコマンドを送り（Ｓ１）、RFIDタグが読み取り範囲内に入ったら、RFID タグを読み取る（Ｓ２）。そして、読み取ったデータをユーザの行動ログとして蓄積する（Ｓ３）。

もう少し詳しく説明すると、電池を内蔵しないパッシブタグの場合は次のようになる。
・コンピュータなどの上位システムから、リーダ/ライタにコマンド[タグIDの連続読取]を送る。
・タグがリーダ/ライタの発生する無線フィールド内に入ってくる。
・無線信号により、タグに電力が供給される。
・無線信号を介してコマンドが送信され、タグはコマンドを受け取る。
・タグがコマンドを解釈し、自分の持っているIDデータを無線信号で送信する。
・リーダ/ライタはIDデータを受け取り、コンピュータに送信する。
・コンピュータでは、そのIDデータを内部のテーブル（あるいはネットワーク上のデータベース）に蓄積することで、個人の行動ログＤ１を生成する。

＜離散順序関係に着目したふるまい検知＞
1 離散順序対集合で表現した行動パターン
本明細書では、特定の状況における習慣的行動を含むふるまいが示す特徴的なパターンを行動パターンと呼ぶ。行動パターンは個人ごとに異なる。提案手法では、人間が触れたオブジェクトの順序関係からふるまいを検知するために、あらかじめ特定の状況における行動パターンを生成しておく。行動パターンは、オブジェクトの順序対で表現される。外出の行動パターンを例に挙げて、行動パターン生成の流れを図５及び図６に示す。図６は、発明の実施の形態に係る行動パターン生成処理の説明図である。図７は、発明の実施の形態に係るふるまい検知処理のフローチャートである。以下、図５及び図６を参照して行動パターン生成について説明を加える。

Ｓ１１：特定の状況における行動ログを収集する
まず標本ケースとして、外出時の個人の行動ログをw ケース収集する。本明細書では、行動パターンの生成に用いる標本ケース数w をウィンドウサイズと呼ぶ。ポケットアシスタントに蓄積された行動ログの中から外出時の一定期間の行動ログを切り出すことで、外出の行動ログを収集するものとする。複数ケースの行動ログを収集した場合、各ケースの行動ログに含まれるオブジェクトは異なる。行動ログ中でm 個のオブジェクトoi(i=1,2, ... , m)に順に触れていた場合、行動ログl は連接{o1, o2, ..., om}で表現される。ただし，oi-1 ≠oi (1 ＜ i ≦m)である。なお、oiのoとはオブジェクトを示す。

Ｓ１２：順序対を列挙する
次に、収集した行動ログから2 つのオブジェクト間の順序対を列挙する。あるオブジェクトoi に触れてからオブジェクトoj に触れていた場合、順序対p を{oi →oj}と表記する。このとき、oi = oj の場合も除外しない。また、行動ログ中で連続して触れられたオブジェクトの対だけでなく、隣りあっていないオブジェクトの組も順序対として列挙する。たとえば、行動ログ{o1、 o2、 o3}から列挙される順序対は、p1:{o1 →o2}、p2:{o1 →o3}、p3:{o2 →o3}となる。

Ｓ１３：各順序対の出現回数をカウントする
すべての標本ケースにおける順序対を列挙した後に、各順序対の出現回数をカウントする。1 つの標本ケースにおいて同一の順序対が何回出現しているかには注目せず、各順序対がw 個の標本ケースのうち何ケースに出現しているかをカウントする。
Ｓ１４：出現回数が閾値以上の順序対を抽出する

最後に、列挙された順序対集合の中から、出現ケース数が閾値e よりも多い順序対のみを抽出する。抽出されたn個の順序対の集合で表現される行動パターンπ は以下のように定義できる。

ここで、関数occur(pi)は順序対pi のw 個の標本ケース中の何ケースに出現したかを返す。

提案手法は、行動ログ中で隣りあった2 つのオブジェクトの順序対だけでなく、隣りあっていないオブジェクトの順序対も考慮して行動パターンを生成することで、複雑な人間の行動を柔軟に、かつ簡潔に表現できるという利点を持つ。実際の人間の行動を局所的に見れば、同じ行動をとっても毎回順序が細かく入れ替わっていることが多いが、大局的に見れば行動順序の規則性が存在することは明らかである。このような、行動順序に規則性のある部分とない部分が混在する複雑な人間の行動を、的確に検知できる。

2 ふるまいの検知
提案手法では、人間の行動から特定のふるまいを検知するために、あらかじめ生成した順序対集合の行動パターンと、実際の人間の行動から得られる行動ログを照合する。本明細書では、照合対象の行動ログが行動パターンに適応している度合いを示す値を特徴ポイントと呼ぶ。

照合手法を図７及び図８を用いて説明する。図８の右上には、あらかじめ生成した行動パターンＤ２が示されている。これに対して図８の左側に示されているのは、現在行動している人間から得られた行動ログＤ１である。

Ｓ２１：まず最初に、行動パターンに含まれる各順序対が照合対象の行動ログに含まれている回数をカウントする。図８では、順序対p1:{ズボンハンガー→洗面所のコップ}は照合対象の行動ログ中に4 回出現する。同様に、順序対p2:{ズボンハンガー →携帯電話}は0回、順序対p3:{携帯電話 →牛乳パック}は1 回、というようにカウントする。

Ｓ２２：次に、順序対の出現回数から特徴ポイントを求める。行動パターンπ :{p1, p2, ..., pn}に対して、特徴ポイントCP は以下の計算式で求める。

とする。

本手法では、同じ順序対が複数回出現した場合、出現するたびに異なるポイントが加算される。point(k)は同じ順序対がk 回目に出現したときに加算されるポイントを示す。たとえば、ある順序対が行動ログ中に3 回出現した場合、その順序対によって加算される特徴ポイントの値は、calcAddedPoint(3) = point(1) + point(2) + point(3)である。加算されるポイントは、順序対の種類には依存しない。

Ｓ２３：行動パターンと行動ログを照合した結果、得られた特徴ポイントがあらかじめ設定した検知閾値以上であれば（Ｓ２３でＹＥＳ）、ふるまいを検知したとする（Ｓ２４）。得られた特徴ポイントが前記閾値を超えなければ（Ｓ２３でＮＯ）、ふるまいを検知しなかったとする（Ｓ２５）。

既存研究で用いられているHidden Markov Model は、2状態間の遷移確率と各状態における記号出力確率の積を計算することで、観測した記号列が出力される確率を求める（非特許文献１と３）。そのため、出力確率が稀な記号が観測記号列の一部に存在した場合、観測記号列が出力される確率が低くなる。図６の行動パターンの生成実際の人間の行動を例に考えると、“外出時に玄関ドアを開けるさい、ドアノブに手をかけてからチェーンがかかっていることに気付き、チェーンをはずした”というような、普段はあまり現れない動作の順序が一部に存在しただけで、Hidden Markov Model は外出のふるまいを上手く検知できない可能性がある。

これに対して提案手法は、順序対の出現回数に応じて特徴ポイントを加算することで、特徴的な行動順序が存在することのみを基準にふるまいを検知する。出現確率の低い順序対は、行動パターンを生成する時点で排除されている。提案手法は、行動パターンの照合において、あえて確率モデルを排除することで、確率的には稀な行動が出現した場合でも、柔軟にふるまいを検知することができる。

＜実験＞
1 実験概要
提案手法の有効性を検証するために、被験者15 人に対してふるまいを検知する実験を行った。本明細書では、検知すべきふるまいの行動ログを正の事例、検知すべきでないふるまいの行動ログを負の事例と呼ぶ。実験では、住宅を模した実験空間にTagged World を構築し、正の事例と負の事例の両方を収集した。正の事例として「外出のふるまい」を、負の事例としては、外出のふるまいと触れるオブジェクトが似ているために、誤って検知してしまう可能性がある「帰宅のふるまい」を収集した。またその他に、外出時に行われる可能性がある行動や外出時と移動経路が似ていると考えられる行動も、負の事例として収集した。被験者1 人あたりに収集した行動ログは、正の事例20 ケース、負の事例10 ケースである。合計で、正の事例300 ケース、負の事例150 ケースを収集した。

本明細書では、2 つの実験を行った。第1 実験では、行動パターン照合時の特徴ポイント加算方式および行動パターン生成時の検知閾値の設定方法に関する評価実験を行った。第2 実験では、提案手法が正の事例を正しく検知し、負の事例を誤って検知しないことを実証するために、行動パターンの生成と照合を繰り返してふるまいの認識率を評価した。実験結果はすべて被験者15 人の結果の平均値である。以下、それぞれの実験について順に述べる。

2 特徴ポイント加算方式と検知閾値の設定
第1 実験では、行動パターン照合時の特徴ポイント加算方式として、12 個のアルゴリズムを比較評価した。図９は、algorithm-0 からalgorithm-11 までの12 個のアルゴリズムに関して、照合対象の行動ログ中に同じ順序対が1 回目から4 回目に出現したときに特徴ポイントに加算されるポイントを示している。point(k)は順序対がk 回目に出現したときの加算ポイントである。各アルゴリズムは、行動パターン照合時に同じ順序対が複数回出現した場合、それを行動の特徴として考慮する度合いの違いを表現するために、2 回目以降の出現で加算されるポイントの値が異なる。たとえばalgorithm-3 は、同じ順序対が複数回出現しても、それを特徴とみなさない。どのアルゴリズムも5 回目以降の出現に対してはポイントを加算しない。

検知閾値は過去の特徴ポイントの値から計算する。第1実験では、検知閾値の設定に関して、以下のように複数の計算方法を比較評価した。

[最大値タイプ] 過去の特徴ポイントの中から最大値Maxを選び、その値の90%から10%の値を検知閾値に設定する。この最大値タイプによって得た検知閾値をMax*90%乃至Max*10%と記述する。図１０中の記号はこれを意味する（以下同様）。

[平均値タイプ] 過去の特徴ポイントの平均値Avg を計算し、その値の90%から10%の値を検知閾値に設定する。この平均値タイプによって得た検知閾値をAvg*90%乃至Avg*10%と記述する。

[標準偏差タイプ] 過去の特徴ポイントの平均値Avg および標準偏差σ を計算し，平均値から−σ，−2 σ の値を検知閾値に設定する。この標準偏差タイプによって得た検知閾値をAvg-σ,Avg-2σと記述する。

以上3 つのタイプの閾値設定では、正の事例から得られる特徴ポイントのみから検知閾値を設定する。正の事例と負の事例の両方から得られる特徴ポイントを組み合わせると、より望ましい検知閾値が計算できる可能性も考えられる。実験では、両方の事例から得られる特徴ポイントを組み合わせた場合の検知閾値設定も比較した。

[最小最大中間値タイプ] 過去の正の事例の特徴ポイントの最小値と負の事例の特徴ポイントの最大値の平均値を検知閾値に設定する。この最小最大中間値タイプによって得た検知閾値をMid Of MinMaxと記述する。

[平均中間値タイプ] 過去の正の事例の特徴ポイントの平均値と負の事例の特徴ポイントの平均値の中間値を検知閾値に設定する。この平均中間値タイプによって得た検知閾値をMid Of Avgと記述する。

[標準偏差中間値タイプ] 過去の正の事例の特徴ポイントの平均値をM として、M −σ，M −2 σ の値を求める。同じく、過去の負の事例の特徴ポイントの平均値をm として、m ＋σ、m ＋2 σ の値を求める。M −σ とm ＋σ の中間値、M −2 σ とm ＋2 σ の中間値を検知閾値として設定する。この標準偏差中間値タイプによって得た検知閾値をMid of Avg-σ、Mid of Avg -2σと記述する。

3 検知手法の評価
第1 実験では、行動パターン生成時のウィンドウサイズを5 に設定した。以下に、実験の流れを示す。
(1) 正の事例20 ケースから任意に10 ケースを選ぶ。
(2) 選び出した10 ケースの中から任意に5 ケースを選び、行動パターンを生成する。
(3) 生成した行動パターンを、残りの正の事例5 ケースと負の事例10 ケースと照合し、特徴ポイントを求める。
(4) (2)(3)を5 回繰り返し、正の事例25 ケースの特徴ポイントと負の事例50 ケースの特徴ポイントを用いて、検知閾値を設定する。
(5) 設定した検知閾値を、正負の事例を合わせて75 ケースから計算した特徴ポイントと比較し、認識率を求める。

以上の操作を、特徴ポイント加算アルゴリズムと検知閾値設定のすべての組み合わせに対して行った。

図１０は、特徴ポイント加算アルゴリズムと検知閾値設定のすべての組み合わせに関して、実験結果として得られた認識率の値を示したグラフである。横軸は検知閾値の設定（Setting of Detection Threshold）、縦軸は認識率（RecognitionRate）を示す。図１０は、12 個のうち認識率の高い上位3 つのアルゴリズムの、認識率90%以上の部分のみを示している。検知閾値の設定に関しては、Avg*50%，Mid ofAvg ，Mid of Avg −σ の場合に最も高い認識率を示している。正負の事例から得られる特徴ポイントを組み合わせると、正の事例の特徴ポイントのみを用いた場合よりも望ましい検知閾値が計算できる可能性があることを考慮したが、実験の結果、正の事例の特徴ポイントのみから検知閾値を計算した場合と同程度の認識率であった。むしろ、負の事例はケースごとの特徴ポイントのばらつきが大きく、負の事例から得られる特徴ポイントが最適でない場合、正の事例の特徴ポイントのみから検知閾値を計算した場合よりも認識率は低い。よって、最適な検知閾値の設定はAvg*50%であると考えられる。

また図１０から、最も認識率の高いalgorithm-3 が性能の良いアルゴリズムであると言える。algorithm-3 は同じ順序対が複数回出現した場合でも、2 回目以降の出現に関しては特徴ポイントを加算しない。2 回目以降の出現に関しても特徴ポイントを加算する他のアルゴリズムでは、正の事例の特徴ポイントがより高くなり、結果として正の事例の中でもケースごとに特徴ポイントのばらつきが発生した。そのため、検知閾値の値が不安定になり、認識率を下げていた。

4 ふるまいの認識率
第2 実験では、提案手法が正の事例を正しく検知し、負の事例を誤って検知しないことを実証するために、行動パターンの生成と照合を繰り返してふるまいの認識率を評価した。また、ウィンドウサイズの変化に伴う認識率の変化も考察した。未知の行動ログに対する性能を評価するために、第1 実験では用いなかった10 ケースを照合対象の行動ログとして用いた。以下に実験の流れを示す。

(1) 第1 実験で生成した5 つの行動パターンから1 つを選ぶ。第1 実験の結果から初期検知閾値を設定する。
(2) 第1 実験では用いなかった正の事例10 ケースの中からまだ照合対象に選ばれていない1 ケースを選んで照合する。同時に、負の事例10 ケースとも照合を行う。
(3) 照合した1 ケースの行動ログをウィンドウに加えて、行動パターンを学習する。
(4) (2)(3)を10 回繰り返して正の事例、負の事例それぞれの認識率を求める。
(5) (1)〜(4)を5 回繰り返して、平均認識率を求める。
以上の操作を、ウィンドウサイズを3 〜10 に設定して、それぞれ行った。

5 考 察
第2 実験の結果として得られたウィンドウサイズごとの認識率を図１１に示す。図１１は、発明の実施の形態に係るウインドウサイズと認識率の相関関係を示すグラフである。正の事例は98%以上、負の事例は95%以上の高い認識率を示した。提案手法は既存の手法と異なり、人間の動作の対象であるオブジェクトの順序関係に注目することで、少ないパラメータで高い認識率を示したことから、その有効性が実証された。実験の結果、ウィンドウサイズを変化させても認識率にほとんど差は出ず、ウィンドウサイズ3 の場合でも高い認識率を示した。一般に、記号列パターンの生成と照合に良く用いられているHMM などの既存手法は、パターンを生成するためにはあらかじめ多数の学習用サンプルが必要とされている。これに対して、提案手法は少ないサンプルからパターンを生成することができる点において有効だと言える。

外出以外のふるまいを検知する例として、帰宅のふるまいに関して同様の実験を行った。ウィンドウサイズは4 に設定した。実験の結果、正の事例は93。20%、負の事例は92。28%の認識率を示した。帰宅のふるまいは外出のふるまいに比べて、触れるオブジェクトの数が少ないことから、正の事例の特徴ポイントと負の事例の特徴ポイントの値の差が小さくなり、やや認識率が下がったと考えられる。また同様の理由から、最適な検知閾値の設定が外出と異なる結果になったと言える。

発明の実施の形態によれば、ユーザがある意図に従ってふるまったときに、そのふるまいをユビキタス環境側で認識して、そのユーザの意図に適合したサービスを提供することのできるユビキタスな世界を実現することができる。しかも、次のような特徴を備える。

（１）多くのサンプルを必要とせず、行動パターンを短期間で個別化できる。
（２）処理の負荷が軽い。携帯小型計算機上でふるまいを認識するために不可欠である単純さを持っている。
（３）行動ログ中に隣り合った2つのオブジェクトの順序対だけではなく、隣り合っていないオブジェトの順序対も考慮して行動パターンを生成することで、複雑な人間の行動を柔軟にかつ簡潔に表現できる。
（４）出現確率の低い順序対は、行動パターンを生成する時点ですでに排除されているため、計算コストと検知精度の両面において既存手法より実用的である。

本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

発明の実施の形態に係るシステムでカバーする空間の説明図である。 発明の実施の形態に係るTagged Wor1dを構築する際に組み込まれる機能の説明図（機能ブロック図）である。 発明の実施の形態に係るシステムの概略処理フローチャートである。 発明の実施の形態に係る行動ログの説明図である。 発明の実施の形態に係る行動パターン生成処理のフローチャートである。 発明の実施の形態に係る行動パターン生成処理の説明図である。 発明の実施の形態に係るふるまい検知処理のフローチャートである。 発明の実施の形態に係るふるまい検知処理の説明図である。 発明の実施の形態に係る特徴ポイント計算関数の説明図である。 発明の実施の形態に係る特徴ポイント加算方式と検知閾値設定の比較結果を示すグラフである。 発明の実施の形態に係るウインドウサイズと認識率の相関関係を示すグラフである。

符号の説明

１０ 順序対行動パターン生成機能（装置）
１２ パターン照合機能（装置）
１３ 行動ログ収集機能（装置）
ＰＡ ポケットアシスタント（携帯装置）
ＰＲＣ サーバ（処理部）

Claims (9)

1. オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFID（Radio Frequency Identification）タグと、
   前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯装置と、
   前記携帯装置から前記RFIDタグの情報を受けて処理を行う処理部とを備え、
   前記処理部は、ユーザの特定のふるまいに対応する行動パターンを予め記憶し、前記行動パターンは、ユーザが前記特定のふるまいを行うときに触れる２つ以上の前記オブジェクトの組み合わせであって、触れる順序に並べられたものである順序対を少なくともひとつ含み、
   前記処理部は、前記RFIDリーダで読み取った前記RFIDタグの情報に基づきユーザが触れた前記オブジェクトの情報をユーザの行動ログとして蓄積し、前記行動パターンに含まれる前記順序対が前記行動ログに現れる回数を計数し、前記行動ログに現れた前記順序対の回数に基づき特徴ポイントを算出し、前記特徴ポイントを予め定められた閾値と比較することにより、前記行動パターンに対応する前記特定のふるまいを検知したかどうか判定する、ことを特徴とする個人のふるまい検知システム。
2. 前記処理部は、前記順序対が前記行動ログに合計k回繰り返し現れるとき、i回目に現れたときに加算される予め定められたポイントをpoint(i)として、i=1からi=kまでのpoint(i)の合計を求めることにより前記特徴ポイントを算出することを特徴とする請求項１記載の個人のふるまい検知システム。
3. 前記処理部は、前記行動ログに同じ順序対が繰り返し現れたときに、その出現回数によらず、前記特徴ポイントを下記の式に従って算出することを特徴とする請求項１記載の個人のふるまい検知システム。
   （特徴ポイント）＝（１回以上出現した順序対の数）×（予め定められたポイント）
4. 前記処理部は、過去に算出された前記特徴ポイントの平均値を求め、前記予め定められた閾値を前記平均値の略半分に設定することを特徴とする請求項１記載の個人のふるまい検知システム。
5. オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯装置と、前記携帯装置から前記RFIDタグの情報を受けて処理を行う処理部とを備え、前記処理部は、ユーザの特定のふるまいに対応する行動パターンを予め記憶し、前記行動パターンは、ユーザが前記特定のふるまいを行うときに触れる２つ以上の前記オブジェクトの組み合わせであって、触れる順序に並べられた順序対を少なくともひとつ含む、システムにおいて個人のふるまいを検知する方法であって、
   前記RFIDリーダで読み取った前記RFIDタグの情報に基づきユーザが触れた前記オブジェクトの情報をユーザの行動ログとして蓄積するステップと、
   前記行動パターンに含まれる前記順序対が前記行動ログに現れる回数を計数するステップと、
   前記行動ログに現れた前記順序対の回数に基づき特徴ポイントを算出するステップと、
   前記特徴ポイントを予め定められた閾値と比較することにより、前記行動パターンに対応する前記特定のふるまいを検知したかどうか判定するステップと、を備える個人のふるまい検知方法。
6. オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯装置と、前記携帯装置から前記RFIDタグの情報を受けて処理を行う処理部とを備えるシステムにおいて個人のふるまいを検知するための行動パターンを生成する方法であって、
   ユーザが特定のふるまいを行ったときにその行動ログを収集することを複数回行うステップと、
   複数回の収集を行うことで得られた複数の行動ログに現れる、ユーザが前記特定のふるまいを行うときに触れる２つ以上の前記オブジェクトの組み合わせであって、触れる順序に並べられたものである順序対を抽出するステップと、
   前記複数の行動ログに現れる前記順序対それぞれについてその出現回数を計数するステップと、
   前記順序対それぞれの前記出現回数に基づき、予め定められた閾値に基づいて前記順序対の一部を抽出し、前記行動パターンに入れるステップと、を備える個人のふるまいを検知するための行動パターンの生成方法。
7. 前記出現回数を計数するステップにおいて、特定の行動ログで特定の順序対が１回出現したときに当該行動ログにおける当該順序対の出現回数を１とするとともに、同じ行動ログで同じ順序対が複数回出現したときでも当該行動ログにおける当該順序対の出現回数を１とする、ことを特徴とする請求項６記載の個人のふるまいを検知するための行動パターンの生成方法。
8. オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯装置と、前記携帯装置から前記RFIDタグの情報を受けて処理を行う処理部とを備え、前記処理部は、ユーザの特定のふるまいに対応する行動パターンを予め記憶し、前記行動パターンは、ユーザが前記特定のふるまいを行うときに触れる２つ以上の前記オブジェクトの組み合わせであって、触れる順序に並べられた順序対を少なくともひとつ含む、システムにおいて個人のふるまいを検知する方法をコンピュータに実行させるためのプログラムであって、
   前記RFIDリーダで読み取った前記RFIDタグの情報に基づきユーザが触れた前記オブジェクトの情報をユーザの行動ログとして蓄積するステップと、
   前記行動パターンに含まれる前記順序対が前記行動ログに現れる回数を計数するステップと、
   前記行動ログに現れた前記順序対の回数に基づき特徴ポイントを算出するステップと、
   前記特徴ポイントを予め定められた閾値と比較することにより、前記行動パターンに対応する前記特定のふるまいを検知したかどうか判定するステップと、を実行させるためのプログラム。
9. オフィス空間、学校、店舗空間、家庭などの空間内に存在する電気製品や照明などのスイッチ、かばん、携帯電話機、財布などのユーザが触れる複数のオブジェクトにそれぞれ設けられ、前記複数のオブジェクトを識別するための情報をそれぞれ予め記録した複数のRFIDタグと、前記空間内を移動するユーザが携帯する、RFIDリーダを含む携帯装置と、前記携帯装置から前記RFIDタグの情報を受けて処理を行う処理部とを備えるシステムにおいて個人のふるまいを検知するための行動パターンを生成する方法をコンピュータに実行させるためのプログラムであって、
   ユーザが特定のふるまいを行ったときにその行動ログを収集することを複数回行うステップと、
   複数回の収集を行うことで得られた複数の行動ログに現れる、ユーザが前記特定のふるまいを行うときに触れる２つ以上の前記オブジェクトの組み合わせであって、触れる順序に並べられたものである順序対を抽出するステップと、
   前記複数の行動ログに現れる前記順序対それぞれについてその出現回数を計数するステップと、
   前記順序対それぞれの前記出現回数に基づき、予め定められた閾値に基づいて前記順序対の一部を抽出し、、前記行動パターンに入れるステップと、を実行させるためのプログラム。

Images