JP2003233625A - 状況認識装置、状況認識方法 - Google Patents

Abstract

(57)【要約】 【課題】 時間的粒度の異なる状況情報を同時に認識す
ると共に、より正確に認識することのできる、状況認識
を実現する。 【解決手段】 対象者に装着されたセンサ部１１によ
り、ユーザの状況を電気情報として検出する。このセン
サ部１１の出力データを、データ分割部１２によって時
間粒度毎に分割する。この分割されたデータ毎に特徴抽
出と状況識別とを状況識別部１３において行い、ユーザ
の状況情報を獲得し、この状況識別により得られた状況
情報を状況情報蓄積部１４に蓄積する。この蓄積された
状況情報を、状況補正部１５において異なる時間粒度間
で補正して、より精度の高い状況情報を獲得する。 【効果】 時間粒度毎にデータを分割して異なる時間粒
度の状況情報を独立に同時に獲得し、時間粒度の階層間
で補正を掛けるので、誤認識を修正できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は状況認識装置、及
び、状況認識方法に関し、特に広告や案内、スケジュー
リングなど、利用者が置かれている状況に応じたサービ
スを提供するための状況認識装置、及び、状況認識方法
に関する。

【０００２】

【従来の技術】一般に、ユーザが何を行っているのか、
何処にいるのかというユーザの状況を認識する技術は、
ユーザのおかれている状況に応じた新しいサービスを提
供する上で重要である。例えば、遠隔地に住む家族の安
否確認やユーザの嗜好に応じた広告配信、ユーザの現在
位置を利用したヒューマンナビケーションなど、新たな
サービス形態の拡大が期待できる。

【０００３】状況情報を利用したサービスとしては、現
在ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ
Ｓｙｓｔｅｍ）のＣＳ（Ｃｅｌｌ Ｓｔａｔｉｏｎ）局
を利用して位置情報を獲得する「いまどこサービス」
や、電気ポットの利用状態から、安否情報を獲得するサ
ービスなどがある。また、このような状況獲得方法に関
する研究報告としては例えば、「Ｐｒｏｃｅｅｄｉｎｇ
ｓ ｏｆ ｔｈｅ ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏ
ｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｗｅａｒａｂｌｅ
Ｃｏｍｐｕｔｅｒｓ，１９９９」の「Ｉｎｄｏｏｒ
ｎａｖｉｇａｔｉｏｎ ｕｓｉｎｇ ａ ｄｉｖｅｒｓ
ｅｓｅｔ ｏｆ ｃｈｅａｐ， ｗｅａｒａｂｌｅ ｓ
ｅｎｓｏｒｓ」（Ａｎｄｒｅｗ Ｒ．Ｇｏｌｄｉｎｇ，
Ｎｅａｌ Ｌｅｓｈ著）や「ＩＣＡＳＳＰ’９９」の
「Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｃｌｕｓｔｅｒｉｎｇ
ｏｆ Ａｍｂｕｌａｔｏｒｙ Ａｕｄｉｏ ａｎｄ Ｖ
ｉｄｅｏ」（Ｃｌａｒｋｓｏｎ Ｂ．，Ａ．Ｐｅｎｔｌ
ａｎｄ著）等がある。Ｇｏｌｄｉｎｇらの手法では、多
数センサを組み合わせ、室内のロケーションを獲得して
いる。

【０００４】また、Ｃｌａｒｋｓｏｎらの提案は、短時
間での細かい場所を認識して、長時間に渡る大まかな場
所を推定している。このＣｌａｒｋｓｏｎらの提案につ
いて、図１３を参照して説明する。同図において、時間
粒度には、細かいものＳから粗いものＭまでの２つの階
層がある。例えば、位置Ｓ１、Ｓ２、Ｓ３は時間粒度が
細かいカテゴリであるのに対し、位置Ｍ１、Ｍ２は時間
粒度が粗いカテゴリである。ここで、数字は異なる位置
を表す識別子である。この提案においては、例えば、時
間粒度の細かい位置を識別することによって、より時間
粒度の粗い位置を推定する。

【０００５】

【発明が解決しようとする課題】ところで、必要とされ
る状況には、タスクによって異なる時間的粒度が求めら
れる。例えば、Ａ氏がＢ氏に連絡を取る際に、Ａ氏がＢ
氏からの返事を急いでいるならば、現在Ｂ氏がおかれて
いる細かい状況、例えば１１時まで会議中であるといっ
た情報が必要となる。一方、１週間以内に返事がもらえ
れば良い場合、Ｂ氏の細かい状況より、一週間にわたる
大まかな状況、例えば長期出張中なのかどうかという情
報が分かればよい。

【０００６】しかしながら、上記従来の状況抽出手法で
はタスク毎に求められる、異なる時間粒度の状況を十分
考慮して、獲得を行っていなかった。ほとんどの状況認
識手法ではこのような状況の特徴に対応することができ
ないが、Ｃｌａｒｋｓｏｎらの手法は時間粒度に対応し
た状況を獲得できる例である。しかしながら、先に述べ
たように、彼らの手法は短時間での細かい位置を認識し
て、長時間に渡る大まかな位置を推定するので、短時間
での位置の誤認識が、他の粒度での位置を推定する上で
悪影響を及ぼしてしまうという問題がある。

【０００７】本発明は上述した従来技術の欠点を解決す
るためになされたものであり、その目的は従来の状況認
識では困難であった、時間的粒度の異なる状況情報を同
時に認識すると共に、より正確に認識することのでき
る、状況認識装置、及び、状況認識方法を提供すること
である。

【０００８】

【課題を解決するための手段】本発明の請求項１による
状況認識装置は、ユーザの状況を検出する状況検出手段
と、この状況検出手段によって得られるデータを時間粒
度毎に分割するデータ分割手段と、このデータ分割手段
により分割されたデータ毎に特徴抽出と状況識別とを行
い、ユーザの状況情報を獲得する状況識別手段と、この
状況識別手段により得られた状況情報を蓄積する状況蓄
積手段と、前記状況蓄積手段に蓄積された状況情報を異
なる時間粒度間で補正して、より精度の高い状況情報を
獲得する状況補正手段とを含むことを特徴とする。

【０００９】本発明の請求項２による状況認識装置は、
請求項１において、前記状況検出手段は、前記ユーザに
装着されたセンサ及び前記ユーザの近傍に配置されたセ
ンサの少なくとも一方を含むことを特徴とする。本発明
の請求項３による状況認識装置は、請求項１又は２にお
いて、前記データ分割手段は、前記状況検出手段によっ
て得られたデータについて、所定時間粒度に基づいて、
ある一定の長さの時間幅を決定して、その時間幅毎にデ
ータを切り取ることを特徴とする。

【００１０】本発明の請求項４による状況認識装置は、
請求項１乃至３のいずれか１項において、前記状況識別
手段は、前記データ分割手段によって分割された時間粒
度毎のデータに対して、それぞれ独立に、状況を表す特
徴量を算出して特徴ベクトルを求め、この特徴ベクトル
に基づき予め用意しておいた状況の教師データに関する
特徴ベクトルとの類似度をとって、最も類似する状況を
正解とすることで状況情報を獲得することを特徴とす
る。

【００１１】本発明の請求項５による状況認識装置は、
請求項４において、前記状況補正手段は、各階層間での
状況情報が本来もつ相関関係を基に、予め用意しておい
た状況の教師データから、時間粒度間の全ての状況情報
の組み合わせについて、その相関関係を生起確率の形で
求めておき、前記状況識別手段によって得られた類似度
を用いて、この生起確率を考慮に入れた新たな類似度を
求めて、最も類似する状況を正解とすることで補正を掛
けることを特徴とする。

【００１２】本発明の請求項６による状況認識装置は、
請求項５において、前記状況補正手段は、更に、ある時
間粒度での状況情報の変化に対応する他の時間粒度で起
こる状況情報の組み合わせについても、予め用意してお
いた状況の教師データから前記生起確率を算出すること
を特徴とする。本発明の請求項７による状況認識装置
は、請求項１乃至６のいずれか１項において、前記状況
蓄積手段は、各時間階層毎に得られた状況情報を各階層
毎に蓄積し、この蓄積されている状況情報を前記状況補
正手段によって補正することを特徴とする。

【００１３】本発明の請求項８による状況認識装置は、
請求項１乃至７のいずれか１項において、前記状況補正
手段によって補正され前記状況蓄積手段に蓄積されてい
る状況情報を取得し、この取得した状況情報を外部に提
示する状況提示手段を更に含むことを特徴とする。本発
明の請求項９による状況認識方法は、ユーザの状況を検
出する状況検出ステップと、前記状況検出ステップにお
いて得られるデータを時間粒度毎に分割するデータ分割
ステップと、前記データ分割ステップにおいて分割され
たデータ毎に特徴抽出と状況識別とを行い、ユーザの状
況情報を獲得する状況識別ステップと、前記状況識別ス
テップにおいて得られた結果を基に異なる時間粒度間で
補正を掛け、誤認識部分を修正し、より精度の高い状況
情報を獲得する状況補正ステップとを含むことを特徴と
する。

【００１４】本発明の請求項１０による状況認識方法
は、請求項９において、前記状況検出ステップにおいて
は、前記ユーザに装着されたセンサ及び前記ユーザの近
傍に配置されたセンサの少なくとも一方によりユーザの
状況を検出することを特徴とする。本発明の請求項１１
による状況認識方法は、請求項９又は１０において、前
記データ分割ステップにおいては、前記状況検出ステッ
プにおいて得られるデータについて、所定時間粒度に基
づいて、ある一定の長さの時間幅を決定して、その時間
幅毎にデータを切り取ることを特徴とする。

【００１５】本発明の請求項１２による状況認識方法
は、請求項９乃至１１のいずれか１項において、前記デ
ータ分割ステップにおいては、前記状況検出ステップに
おいて得られるデータについて時間粒度に基づいて複数
の時間幅毎に分割し、このデータ分割ステップにおいて
分割されたデータに対して、各々独立に状況を表す特徴
量を算出し、この特徴量に基づき各々異なる時間粒度の
状況を識別するようにしたことを特徴とする。

【００１６】本発明の請求項１３による状況認識方法
は、請求項１２において、前記状況識別ステップにおい
ては、前記データ分割ステップにおいて分割された時間
粒度毎のデータについて、それぞれ独立に、状況を表す
特徴量を算出して特徴ベクトルを求め、この特徴ベクト
ルに基づき予め用意しておいた状況の教師データに関す
る特徴ベクトルとの類似度をとって、最も類似する状況
を正解とすることで状況情報を獲得することを特徴とす
る。

【００１７】本発明の請求項１４による状況認識方法
は、請求項９乃至１３のいずれか１項において、前記状
況補正ステップにおいては、前記各階層間での状況情報
が本来もつ相関関係を基に、予め用意しておいた状況の
教師データから、時間粒間の全ての状況情報の組み合わ
せについて、その相関関係を生起確率の形で求めてお
き、状況識別ステップにおいて得られた類似度を用い
て、この生起確率を考慮に入れた新たな類似度を求め
て、最も類似する状況を正解とすることで補正を掛ける
ことを特徴とする。

【００１８】本発明の請求項１５による状況認識方法
は、請求項１４において、前記状況補正ステップにおい
ては、更に、ある時間粒度での状況情報の変化に対応す
る他の時間粒度で起こる状況情報の組み合わせについて
も、予め用意しておいた状況の教師データから前記生起
確率を算出することを特徴とする。本発明の請求項１６
による状況認識方法は、請求項９乃至１５のいずれか１
項において、前記状況補正ステップにおいて補正された
状況情報を取得し、この取得した状況情報を外部に提示
する状況提示ステップを更に含むことを特徴とする。

【００１９】要するに、本発明では、ユーザの状況を、
状況検出手法を用いて信号データとして獲得し、さらに
データ分割手法を用いて時間粒度毎に信号データを複数
に分割し、状況識別手法を用いて、分割されたデータ毎
に特徴抽出と識別を行って、ユーザの状況情報を時間粒
度毎に独立に獲得する。さらに、獲得した状況情報につ
いて、状況補正手法において、各階層間での状況情報が
本来もつ相関関係を基に、得られた状況情報を異なる時
間粒度間で補正を掛け、誤識別を起こした状況情報を修
正する。

【００２０】

【発明の実施の形態】次に、図面を参照して本発明の実
施の形態について説明する。なお、以下の説明において
参照する各図においては、他の図と同等部分に同一符号
が付されている。図１は本発明による状況認識装置の実
施の一形態を示すブロック図である。同図に示されてい
るように、本実施形態による状況認識装置は、ユーザの
状況を電気情報として検出するセンサ部１１と、このセ
ンサ部１１の出力データを時間粒度毎に分割するデータ
分割部１２と、このデータ分割部１２により分割された
データ毎に特徴抽出と識別を行い、ユーザの状況情報を
獲得する状況識別部１３と、この状況識別部１３により
得られた状況情報を蓄積する状況情報蓄積部１４と、状
況識別部１３により得られた状況情報について異なる時
間粒度間で補正を掛けて、より精度の高い状況情報を得
るための補正部１５と、状況情報蓄積部１４に蓄積され
た状況情報を外部（人あるいはサービス）に提示する状
況提示部１６とを含んで構成されている。

【００２１】状況情報蓄積部１４は、状況情報を、時間
粒度毎に階層的に記憶するため、ｎ個の状況蓄積部Ｇ
１、Ｇ２、…、Ｇｎによって構成されている。状況提示
部１６は、状況情報蓄積部１４に対しリクエストを投げ
て、蓄積されている状況情報を取得するか、あるいは状
況情報蓄積部１４から定期的に状況情報を取得する。そ
して、この取得した状況情報を、人あるいはサービスに
提示する。

【００２２】以下、センサ部１１に加速度センサを用い
て人間の活動を獲得する場合について説明する。 （１．認識対象）人間の行為すべてを人間の活動とする
と、人間の活動とは極めて多種多様であるので、これを
全て扱うことは困難である。今回の対象としたのは、オ
フィスワークでの体の動きから得られる活動である。例
えば、「起立」や「歩く」といった活動である。オフィ
スワークでの活動を粒度毎に分類した例が図２に示され
ている。同図には、「時間」を単位とする粗い時間粒
度、「秒」を単位とする細かい時間粒度、「分」を単位
とする両者の中間となる時間粒度、の３種類が示されて
いる。

【００２３】「時間」を単位とする時間粒度には、例え
ば「勤務」や「休憩」という項目が含まれる。「分」を
単位とする時間粒度には、「自席作業」、「移動」、
「通話」、「ミーティング」という項目が含まれる。こ
れらは、上記の「時間」を単位とする時間粒度の「勤
務」を構成している。

【００２４】「秒」を単位とする時間粒度には、「ＰＣ
操作」、「書類整理」、「起立」、「歩行」、「発
話」、「走行」、「着席」という項目が含まれている。
「ＰＣ操作」及び「書類整理」は、上記の「分」を単位
とする時間粒度の「自席作業」を構成している。同様
に、「起立」及び「歩行」は「移動」を構成し、「発
話」は「通話」に対応し、「走行」及び「着席」は「移
動」を構成している。

【００２５】同図に示されているように、時間粒度は、
時間、分、秒単位毎に階層をなしている。そして、時間
粒度が細かくなるにつれ、より詳細な状況が記述される
構造になっている。また、同じ時間帯では階層間の状況
群はそれぞれ相関関係がある。例えば、分粒度の「移
動」という状況に対しては、秒粒度において、「歩行」
や「走行」といった状況が強い相関があるといえる。 （２．使用センサ）センサ部１１として用いるセンサ
は、状況情報を獲得する手段であり、例えば体の全体の
動きを測定する加速度センサを用いる。また、いつどの
ような活動を行ったかを記録して、教師データを作成す
るための全方位カメラも併せて用いても良い。なお、使
用する加速度データは、例えば体軸方向１軸の加速度デ
ータである。

【００２６】このセンサの装着方法は、例えば図３に示
されているとおりである。すなわち、同図において、ユ
ーザである対象者１の身体において、胸部に全方位カメ
ラ１１Ａを装着する。また、腰部に加速度センサ１１Ｂ
を装着する。ただし、同図に示されている装着箇所は例
示にすぎず、これらの装着箇所に限定されるものではな
い。

【００２７】なお、本例では体軸方向１軸の加速度セン
サを使用したが、体の前後方向や左右方向を加えた多軸
の加速度センサを使用できることは容易に想像しうる。
また、加速度センサ以外にもマイクロフォン、カメラ、
圧電素子を用いたベンドセンサなど多種のセンサを用い
て、状況情報を獲得することは容易に想像しうる。これ
らセンサの種類によっては、対象者に装着せず、対象者
の近傍に配置しても良い。これら装着するセンサ及び近
傍に配置するセンサの少なくとも一方を用いる。 （３．処理方法） （３．１処理の大まかな流れ）認識処理は、入力される
加速度データを分割するデータ分割部１２と、特徴抽出
処理及び識別処理を行って時間粒度ごとに独立に状況を
識別する状況識別部１３と、この識別結果から補正をか
けて、誤識別を減らす補正部１５との３つの部分によっ
て実現される。これらの構成例が図４に示されている。
なお、ここでは、認識処理のアルゴリズムについて述べ
ているので、同図には、状況識別部と補正部との間にあ
る状況情報蓄積部が記載されていない。

【００２８】同図に示されているように、分割部１２
は、時間粒度毎にデータを分割する。本例では、細かい
時間粒度、粗い時間粒度の２つにデータを分割する。状
況識別部１３は、分割された２つのデータについて特徴
パターンをそれぞれ抽出し、それぞれについて識別処理
を行う。この識別処理は、細かい時間粒度、粗い時間粒
度、それぞれの辞書パターンを用いて行う。

【００２９】補正部１５は、識別処理後のデータについ
て、階層間補正を行う。この補正後のデータは、細かい
時間粒度状況、粗い時間粒度状況となり、状況情報蓄積
部に蓄積される。なお、階層数は本例では２つとした
が、多階層に拡張してもよい。 （３．２データ分割部）入力されたデータの分割するパ
ラメータとして、分割境界の時刻をあらわすｔ _L と時間
粒度を表すパラメータでデータを分割する窓サイズを意
味するｗ_L との２つを用意する。ここで、添え字のＬは
時間粒度のレベルを表し、今回の２階層を表現するため
にＬ＝｛ｍ、ｓ｝とした。例えば、Ｌ＝ｍは時間粒度の
レベルが「分」であり、Ｌ＝ｓは時間粒度のレベルが
「秒」である。以下ではｗ_L を時間粒度パラメータと呼
ぶ。

【００３０】分割境界の時刻ｔ_L は、時間粒度パラメー
タｗ_L を用いて、式（１）で与えられる値とする。 ｔ_L ＝ｗ_L ＊ｋ／２ （ｋ＝１，２，…，ｎ） …（１） 本例では図５に示されているように、データの分割境界
の時刻ｔ_L はｗ_L ／２ずつずらして算出する。

【００３１】同図には、センサ部１１から入力される電
気信号の波形が示されている。そして、同図には、この
信号の時間軸方向に、粗い時間粒度の時間粒度パラメー
タｗ _m と、細かい時間粒度の時間粒度パラメータｗ_s と
が示されている。式（１）に従い、同図中の時間粒度パ
ラメータｗ_m の両端の時刻が分割境界の時刻となる他、
時間粒度パラメータｗ_m ／２の時刻も分割境界の時刻と
なる。そして、同図中の時間粒度パラメータｗ_s の両端
の時刻が分割境界の時刻となる他、時間粒度パラメータ
ｗ_s ／２の時刻も分割境界の時刻となる。

【００３２】これらのパラメータを使って、分割境界の
時刻においてデータの分割を行う。この分割処理につい
て図６を参照して説明する。同図において、まず、セン
サ部１１から出力されるデータを蓄積する（ステップＳ
１０１）。このデータを蓄積する処理は、現在時刻がｔ
_L に達するまで行う（ステップＳ１０２）。現在時刻が
ｔ_L に達したら、蓄積したデータを掃き出す（ステップ
Ｓ１０３）。このように、蓄積したデータを、一定時刻
毎に掃き出すことにより、データの分割を行う。このよ
うに分割されたデータは、状況識別部１３に送られる。

【００３３】以上のように、データ分割部１２は、セン
サ部１１からのデータを一時的に蓄積し、現在時刻がｔ
_L となったら、蓄積していたデータを掃き出して状況識
別部１３に送る。 （３．３特徴抽出）特徴抽出においては、時間領域での
特徴量と周波数領域での特徴量との２種類を用いる。 （３．３．１時間領域の特徴量）加速度センサには、振
動等による動的加速度に加えて重力等による静的加速度
も計測するものがある。動的加速度からはセンサの運動
状態を、静的加速度からはセンサの傾きを抽出すること
ができる。

【００３４】よって、体軸加速度データからは、人間の
運動状態と、体の姿勢に関する情報を得ることが可能で
ある。加速度データは、動的加速度と静的加速度の２つ
が混ざった状態で出力され、そのままでは分離できな
い。しかしながら、人に加速度センサを装着した場合、
動的加速度は静的加速度と比較して早い周期で、±の振
幅を繰返す傾向があるため、ある一定期間内の加速度デ
ータの平均を取ると、動的加速度成分はほぼ０となり、
静的加速度成分のみが残る。

【００３５】また、運動の仕方によって、動的加速度は
変化するので、運動を表す代表値としては分散が考えら
れる。よって、加速度データの分散と平均を運動状態と
体の姿勢を表す特徴量とする。 （３．３．２周波数領域の特徴量）周波数領域の特徴
は、より詳細に体の動きを区別するために用いる。活動
の中には、平均と分散とでは全く差がないが、周期性に
差が出るものがあるので、ピッチの変動を除いた、平滑
化した周波数スペクトルであるスペクトル包絡を特徴量
として用いる。 （３．４識別）識別では入力データごとに上記の特徴量
からなる特徴ベクトルと、予め認識する活動力テゴリご
とに用意しておいた教師データの特徴ベクトルとの類似
度をとり、この類似度を最大とする活動を活動カテゴリ
とする。時間粒度Ｌにおける各活動ｉ（ｉ＝１，２，
…，ｎ）に対して時間領域での類似度ｄ_T ^(Li)、周波数
領域での類似度ｄ_F ^(Li)を個別に計算し、これらを式
（２）に基づいて、足し併せて複合類似度ｄ^(Li)を識別
の際の類似度とする。

【００３６】 ｄ^(Li)＝（ｄ_T ^(Li)＋ｄ_F ^(Li)）／２ …（２） 以上説明した（３．２データ分割部）乃至（３．３．２
周波数領域の特徴量）の処理を、全ての時間粒度に対し
て行うことで、時間粒度毎の状況の判別を行う。この状
況識別処理について図７を参照して説明する。同図にお
いて、データ分割部１２から出力される、分割後のデー
タについて、その平均、分散と、スペクトル包絡とを算
出する（ステップＳ２０１）。次に、時間粒度のレベ
ル、すなわちＬ＝ｓかＬ＝ｍかを判定する（ステップＳ
２０２）。

【００３７】この判定の結果、細かい時間粒度レベルで
ある場合（Ｌ＝ｓ）、予め作成しておいた辞書を用い
（ステップＳ２０３Ａ）、時間領域での類似度、周波数
領域での類似度、をそれぞれ算出する（ステップＳ２０
４Ａ）。次に、これらの類似度から式（２）に従って複
合類似度を算出する（ステップＳ２０５Ａ）。そして、
類似度が最大となる活動カテゴリを探索し（ステップＳ
２０６Ａ）、これを状況蓄積部に蓄積する。ここでは、
例えば、状況蓄積部Ｇ１に蓄積することとする。

【００３８】一方、ステップＳ２０２の判定の結果、粗
い時間粒度レベルである場合（Ｌ＝ｍ）、予め作成して
おいた辞書を用い（ステップＳ２０３Ｂ）、時間領域で
の類似度、周波数領域での類似度、をそれぞれ算出する
（ステップＳ２０４Ｂ）。次に、これらの類似度から式
（２）に従って複合類似度を算出する（ステップＳ２０
５Ｂ）。そして、類似度が最大となる活動カテゴリを探
索し（ステップＳ２０６Ｂ）、これを状況蓄積部に蓄積
する。ここでは、例えば、状況蓄積部Ｇ２に蓄積するこ
ととする。 （３．５補正）補正部１５における補正処理について図
８を参照して説明する。

【００３９】同図において、まずは予め教師データを使
って、実際に状況の判別を行い、その結果から各状況情
報の信頼度Ｐ（ａ_Li）を算出する（ステップＳ３０
１）。次に、時間粒度ｍにおける活動ａ_m1が起こったと
きに時間粒度ｓにおける全ての活動ａ_siが起こるであろ
う確率、すなわち生起確率Ｐ（ａ_si｜ａ_m1）（ｉ＝１，
２，…，ｎ）を求める。

【００４０】これを時間粒度ｍにおける全ての活動ａ_mj
（ｊ＝１，２，…，ｎ）について、時間粒度ｓにおける
全ての活動ａ_siが起こるであろう生起確率Ｐ（ａ_si｜ａ
_mj）（ｉ，ｊ＝１，２，…，ｎ）を求める。加えて、時
間粒度ｍにおける活動がａ_mjからａ_mk（ｋ＝１，２，
…，ｎ）に変わった時、この活動カテゴリの境界部分に
関して、次のような方法で生起確率を求める。

【００４１】活動カテゴリの境界部分に関して仮想的な
カテゴリａ_mjkを新たに設定する。このカテゴリの時間
幅は境界を中心に前後Ｗ_m ／２ずつ延びている。この間
に発生する時間粒度ｓの活動ａ_siについて、先に述べた
方法と同様にして、生起確率Ｐ（ａ_si｜ａ_mjk）を求め
る。例えば、図９（ａ）に示されている状況ｍ１と状況
ｍ２との境界部分について、同図（ｂ）に示されている
ように仮想的なカテゴリの状況ｍ１２を新たに設定す
る。このカテゴリの状況ｍ１２の時間幅は、状況ｍ１と
状況ｍ２との境界を中心に前後Ｗ_m ／２ずつ延びてい
る。この間に発生する時間粒度ｓの活動ａ_siについて、
確率Ｐ（ａ_si｜ａ_mjk）を求める。

【００４２】同様にして、今度は時間粒度ｓにおける活
動が起こったときに時間粒度ｍにおける全ての活動の生
起確率Ｐ（ａ_mj｜ａ_si）（ｉ，ｊ＝１，２，…，ｎ）と
カテゴリ境界部分における生起確率Ｐ（ａ_mj｜ａ_sih）
（ｈ＝１，２，…，ｎ）を求める。次に、入力データの
ある時刻において、得られた各時間粒度での状況情報に
対して、信頼度を比較し、信頼度の高い方の時間粒度情
報を基に、別の粒度の状況を補正する。

【００４３】この補正を行う場合、まず細かい時間粒度
についての信頼度Ｐ（ａ_si）と粗い時間粒度についての
信頼度Ｐ（ａ_mj）との大小関係を判定する（ステップＳ
３０３）。この判定の結果、時間粒度ｍの状況情報の信
頼度Ｐ（ａ_mj）の方が高い場合、すなわち粗い時間粒度
の識別が正しいと判断した場合、情報識別部で算出した
複合類似度ｄ^(si)に対して、生起確率Ｐ（ａ_si｜ａ_mj）
を掛け合わせて新たな類似度ｄ_p ^(si)とする（ステップ
Ｓ３０３→Ｓ３０４）。この新たな類似度ｄ_p ^(si)は式
（３）で表される。

【００４４】 ｄ_p ^(si)＝（ｄ^(si)×Ｐ（ａ_si｜ａ_mj）） …（３） この類似度ｄ_p ^(si)を最大とする活動を探索し（ステッ
プＳ３０６）、その活動を正解とすることで補正を行
う。そして、状況情報と類似度を修正する（ステップＳ
３０７）。この修正結果を状況蓄積部Ｇ１に戻して、蓄
積する。一方、ステップＳ３０３の判定の結果、時間粒
度ｓの状況情報の信頼度Ｐ（ａ _sj）の方が高い場合、す
なわち細かい時間粒度の識別が正しいと判断した場合、
状況識別部で算出した複合類似度ｄ^(mj)に対して、生起
確率Ｐ（ａ_mj｜ａ_si）を掛け合わせて新たな類似度ｄ_p
^(mj)とする（ステップＳ３０３→Ｓ３０５）。この新た
な類似度ｄ_p ^(mj)は式（４）で表される。

【００４５】 ｄ_p ^(mj)＝（ｄ^(mj)×Ｐ（ａ_mj｜ａ_si）） …（４） この類似度ｄ_p ^(mj)を最大とする活動を探索し（ステッ
プＳ３０６）、その活動を正解とすることで補正を行
う。そして、状況情報と類似度を修正する（ステップＳ
３０７）。この修正結果を状況蓄積部Ｇ２に戻して、蓄
積する。つまり、各階層間での状況情報が本来もつ相関
関係を基に、予め用意しておいた状況の教師データか
ら、時間粒度間の全ての状況情報の組み合わせについ
て、その相関関係を生起確率の形で求めておき、上記類
似度を用いて、この生起確率を考慮に入れた新たな類似
度を求めて、最も類似する状況を正解とすることで補正
を掛ける。更に、ある時間粒度での状況情報の変化に対
応する他の時間粒度で起こる状況情報の組み合わせにつ
いても、予め用意しておいた状況の教師データから生起
確率を算出する。

【００４６】以上の処理を全ての入力データに対して行
って、状況情報の補正を行う。 （４．辞書） （４．１辞書作成）辞書作成では、例えば、カメラ映像
をもとに人の手で、いつ、どのような活動を行っていた
かという正解活動表を作成する。これをもとに、各カテ
ゴリ毎に加速度データを集め特徴ベクトルに変換し、そ
の平均を辞書パターンとして作成する。

【００４７】この辞書パターンの作成処理について図１
０を参照して説明する。同図に示されているように、対
象者１の胸部に装着された全方位カメラ１１Ａから得ら
れる映像データについて、正解活動表１００を作成す
る。この正解活動表１００は、時刻データと、その時刻
データに対応する活動の内容を示す、粗い時間粒度活動
ｍ１、ｍ２…の各データと、細かい時間粒度活動ｓ１、
ｓ２、ｓ３の各データとを項目としている。

【００４８】この正解活動表１００を参照し、各カテゴ
リ毎に加速度データ１０１を集め、特徴を抽出すること
で、特徴ベクトル１０２に変換する。そして、これら特
徴ベクトル１０２の平均を辞書データ１０３とする。こ
れら辞書データ１０３を辞書パターンとして記憶してお
き、上述した状況識別部１３における識別処理に用い
る。

【００４９】以上の説明においては、辞書作成にあた
り、ユーザ本人に身につけたカメラからの映像データを
用いたが、第三者がユーザの近傍に居て、ユーザがい
つ、どのような活動を行っているのかを、書き取ること
も容易に想像しうる。 （４．２信頼度算出）状況情報を補正する際に、基準と
なる活動を決める必要がある。ここでは、予め、教師デ
ータを入力データとして、状況識別を行い、状況情報を
得る。教師データは正解が分かるので得られた状況情報
の識別率（得られた状況情報数／入力数）もとめること
ができる。この認識率をこの状況情報の信頼度とする。
これを全ての状況情報カテゴリについて求める。 （４．３相関テーブル作成）異なる時間粒度間の活動の
相関関係を生起確率で表現する。正解活動表を元に時間
粒度ｍの活動ａ_m1が起こったときに生じる他の時間粒度
ｓの活動群ａ_siを集める。時間粒度ｍの活動活動ａ_m1が
起こったときに生じる他の時間粒度ｓの活動ａ_s1が起こ
る生起確率Ｐ（ａ_s1｜ａ_m1）は次式で求められる。

【００５０】Ｐ（ａ_s1｜ａ_m1）＝集められたａ_s1の総数
／集められたａ_siの総数 同様にして、全てのａ_si（ｉ＝１，２，…，ｎ）につい
てｍ１が起こった際の生起確率Ｐ（ａ_si｜ａ_m1）を求め
る。これを全てのａ_mjについても同様にして、生起確率
Ｐ（ａ_si｜ａ_mj）を求める。さらに、同じ方法を用いて
時間粒度ｓの活動ａ_siが起こったときに生じる他の時間
粒度ｍの活動ａ_mjが起こる生起確率Ｐ（ａ_mj｜ａ_si）を
算出する。 （５．状況認識方法）以上説明した本装置においては、
図１１に示されているような状況認識方法が実現されて
いる。

【００５１】すなわち、同図において、ユーザの状況を
観測する状況検出ステップ（ステップＳ９０１）と、上
記状況検出ステップにおいて得られるデータを時間粒度
毎に分割するデータ分割ステップ（ステップＳ９０２）
と、上記データ分割ステップにおいて分割されたデータ
毎に特徴抽出と識別とを行い、ユーザの状況情報を獲得
する状況識別ステップ（ステップＳ９０３）と、上記状
況識別ステップにおいて得られた結果を基に異なる時間
粒度間で補正を掛け、誤認識部分を修正し、より精度の
高い状況情報を獲得する状況補正ステップ（ステップＳ
９０４）とを含む状況認識方法が実現されている。ま
た、同図に示されている状況認識方法は、蓄積された状
況情報を外部に提示する状況提示ステップ（ステップＳ
９０５）を更に含んでいる。

【００５２】この状況認識方法は、ユーザの状況を検出
する状況検出ステップと、上記状況検出ステップにおい
て得られるデータを時間粒度毎に分割するデータ分割ス
テップと、上記データ分割ステップにおいて分割された
データ毎に特徴抽出と状況識別とを行い、ユーザの状況
情報を獲得する状況識別ステップと、上記状況識別ステ
ップにおいて得られた結果を基に異なる時間粒度間で補
正を掛け、誤認識部分を修正し、より精度の高い状況情
報を獲得する状況補正ステップとを含んでいる。

【００５３】そして、上記状況検出ステップにおいて
は、上記ユーザに装着されたセンサ及び上記ユーザの近
傍に配置されたセンサの少なくとも一方によりユーザの
状況を検出している。また、上記データ分割ステップに
おいては、上記状況検出ステップにおいて得られるデー
タについて、所定時間粒度に基づいて、ある一定の長さ
の時間幅を決定して、その時間幅毎にデータを切り取
る。

【００５４】さらに、上記データ分割ステップにおいて
は、上記状況検出ステップにおいて得られるデータにつ
いて時間粒度に基づいて複数の時間幅毎に分割し、この
データ分割ステップにおいて分割されたデータに対し
て、各々独立に状況を表す特徴量を算出し、この特徴量
に基づき各々異なる時間粒度の状況を識別する。なお、
上記状況識別ステップにおいては、上記データ分割ステ
ップにおいて分割された時間粒度毎のデータについて、
それぞれ独立に、状況を表す特徴量を算出して特徴ベク
トルを求め、この特徴ベクトルに基づき予め用意してお
いた状況の教師データに関する特徴ベクトルとの類似度
をとって、最も類似する状況を正解とすることで状況情
報を獲得する。

【００５５】また、上記状況補正ステップにおいては、
上記各階層間での状況情報が本来もつ相関関係を基に、
予め用意しておいた状況の教師データから、時間粒間の
全ての状況情報の組み合わせについて、その相関関係を
生起確率の形で求めておき、状況識別ステップにおいて
得られた類似度を用いて、この生起確率を考慮に入れた
新たな類似度を求めて、最も類似する状況を正解とする
ことで補正を掛ける。上記状況補正ステップにおいて
は、更に、ある時間粒度での状況情報の変化に対応する
他の時間粒度で起こる状況情報の組み合わせについて
も、予め用意しておいた状況の教師データから上記生起
確率を算出するようにしても良い。そして、上記状況補
正ステップにおいて補正された状況情報を取得し、この
取得した状況情報を外部に提示する。

【００５６】このような状況認識方法を採用すれば、セ
ンサデータを異なる時間粒度に基づいた時間長で分割
し、分割された各々のデータに対して認識を行うので、
時間粒度毎に異なる状況情報を独立に獲得できる。ま
た、時間粒度毎に異なる状況を個別に独立して獲得する
ので、Ｃｌａｒｋｓｏｎらの手法と異なり、たとえ細か
い時間粒度での認識が失敗しても、他の階層も同時に誤
認識する可能性を抑えられる。さらに、各時間粒度間の
認識結果をもとに階層間で補正を掛けるので、より誤認
識を減らすことができる。そして、状況の階層毎の独立
認識と階層間補正とを行うので、全体として短時間での
データの欠損等に対する頑強性を持つ。 （６．まとめ）以上説明したように、本発明において
は、ユーザの状況を検出するためのセンサなどの状況検
出手法と状況検出手法により得られるデータを時間粒度
毎に分割するデータ分割手法と分割されたデータ毎に独
立に、特徴抽出を行い、ユーザの状況情報を識別する状
況識別手法とより精度の高い状況情報を獲得するために
各階層間での状況情報が本来もつ相関関係を基に、得ら
れた状況情報を異なる時間粒度間で補正を掛ける状況補
正方法を備えるものである。本発明が従来の技術と異な
る点は、（１）時間粒度毎にデータを分割して異なる時
間粒度の状況情報を独立に同時に獲得し、（２）時間粒
度の階層間で補正を掛けて、誤認識を修正する、点であ
る。

【００５７】すなわち図１２に示されているように、細
かい時間粒度の状況ｓ１、ｓ２、ｓ３が存在する階層と
粗い時間粒度の状況ｍ１、ｍ２が存在する階層の２つが
あり、各階層の状況情報を独立に識別し、その後各階層
間において補正を掛ける。このように処理することで、
誤認識を修正することができる。なお、同図には時間粒
度が２階層である場合が示されているが、この場合に限
らずより多階層についても、独立に識別しその後階層間
で補正を掛けることで、同様に誤認識を修正することが
できる。

【００５８】

【発明の効果】以上説明したように本発明は、センサデ
ータを異なる時間粒度に基づいた時間長で分割し、分割
された各々のデータに対して認識を行うので、時間粒度
毎に異なる状況情報を独立に獲得できるという効果があ
る。また、本発明では、時間粒度毎に異なる状況を個別
に独立して獲得するので、従来の手法と異なり、たとえ
細かい時間粒度での認識が失敗しても、他の階層も同時
に誤認識する可能性を抑えられるという効果がある。

【００５９】さらに、本発明では、各時間粒度間の認識
結果をもとに階層間で補正を掛けるので、より誤認識を
減らすことができるという効果がある。そして、本発明
では、状況の階層毎の独立認識と階層間補正とを行うの
で、全体として短時間でのデータの欠損等に対する頑強
性を持つという効果がある。

【図面の簡単な説明】

【図１】本発明による状況認識装置の実施の一形態を示
すブロック図である。

【図２】オフィスワーク内の活動に関する時間粒度毎の
階層構造を示す図である。

【図３】対象者に対するセンサの装着例を示す図であ
る。

【図４】データ分割部、状況識別部、補正部の構成例を
示す図である。

【図５】データの分割手法を示す波形図である。

【図６】データ分割部による分割処理を示すフローチャ
ートである。

【図７】状況識別部による状況識別処理を示すフローチ
ャートである。

【図８】補正部による補正処理を示すフローチャートで
ある。

【図９】活動カテゴリの境界部分についての処理を示す
図であり、（ａ）は境界部分を示す図、（ｂ）は境界部
分に新たに設ける仮想的カテゴリを示す図である。

【図１０】辞書パターンの作成手法を概念的に示す図で
ある。

【図１１】本発明による状況認識方法の処理を示すフロ
ーチャートである。

【図１２】本発明による状況認識の特徴を概念的に示す
図である。

【図１３】Ｃｌａｒｋｓｏｎらによる従来の状況認識手
法の特徴を概念的に示す図である。

【符号の説明】

１ 対象者 １１Ａ 全方位カメラ １１Ｂ 加速度センサ １１ センサ部 １２ データ分割部 １３ 状況識別部 １４ 状況情報蓄積部 １５ 補正部 １６ 状況提示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉村 利明 東京都千代田区永田町二丁目11番１号 株 式会社エヌ・ティ・ティ・ドコモ内 Ｆターム(参考） 5B075 ND20 NK06 NK31 PR06 QM08

Claims (16)

【特許請求の範囲】
1. 【請求項１】 ユーザの状況を検出する状況検出手段
   と、この状況検出手段によって得られるデータを時間粒
   度毎に分割するデータ分割手段と、このデータ分割手段
   により分割されたデータ毎に特徴抽出と状況識別とを行
   い、ユーザの状況情報を獲得する状況識別手段と、この
   状況識別手段により得られた状況情報を蓄積する状況蓄
   積手段と、前記状況蓄積手段に蓄積された状況情報を異
   なる時間粒度間で補正して、より精度の高い状況情報を
   獲得する状況補正手段とを含むことを特徴とする状況認
   識装置。
2. 【請求項２】 前記状況検出手段は、前記ユーザに装着
   されたセンサ及び前記ユーザの近傍に配置されたセンサ
   の少なくとも一方を含むことを特徴とする請求項１記載
   の状況認識装置。
3. 【請求項３】 前記データ分割手段は、前記状況検出手
   段によって得られたデータについて、所定時間粒度に基
   づいて、ある一定の長さの時間幅を決定して、その時間
   幅毎にデータを切り取ることを特徴とする請求項１又は
   ２記載の状況認識装置。
4. 【請求項４】 前記状況識別手段は、前記データ分割手
   段によって分割された時間粒度毎のデータに対して、そ
   れぞれ独立に、状況を表す特徴量を算出して特徴ベクト
   ルを求め、この特徴ベクトルに基づき予め用意しておい
   た状況の教師データに関する特徴ベクトルとの類似度を
   とって、最も類似する状況を正解とすることで状況情報
   を獲得することを特徴とする請求項１乃至３のいずれか
   １項に記載の状況認識装置。
5. 【請求項５】 前記状況補正手段は、各階層間での状況
   情報が本来もつ相関関係を基に、予め用意しておいた状
   況の教師データから、時間粒度間の全ての状況情報の組
   み合わせについて、その相関関係を生起確率の形で求め
   ておき、前記状況識別手段によって得られた類似度を用
   いて、この生起確率を考慮に入れた新たな類似度を求め
   て、最も類似する状況を正解とすることで補正を掛ける
   ことを特徴とする請求項４記載の状況認識装置。
6. 【請求項６】 前記状況補正手段は、更に、ある時間粒
   度での状況情報の変化に対応する他の時間粒度で起こる
   状況情報の組み合わせについても、予め用意しておいた
   状況の教師データから前記生起確率を算出することを特
   徴とする請求項５記載の状況認識装置。
7. 【請求項７】 前記状況蓄積手段は、各時間階層毎に得
   られた状況情報を各階層毎に蓄積し、この蓄積されてい
   る状況情報を前記状況補正手段によって補正することを
   特徴とする請求項１乃至６のいずれか１項に記載の状況
   認識装置。
8. 【請求項８】 前記状況補正手段によって補正され前記
   状況蓄積手段に蓄積されている状況情報を取得し、この
   取得した状況情報を外部に提示する状況提示手段を更に
   含むことを特徴とする請求項１乃至７のいずれか１項に
   記載の状況認識装置。
9. 【請求項９】 ユーザの状況を検出する状況検出ステッ
   プと、前記状況検出ステップにおいて得られるデータを
   時間粒度毎に分割するデータ分割ステップと、前記デー
   タ分割ステップにおいて分割されたデータ毎に特徴抽出
   と状況識別とを行い、ユーザの状況情報を獲得する状況
   識別ステップと、前記状況識別ステップにおいて得られ
   た結果を基に異なる時間粒度間で補正を掛け、誤認識部
   分を修正し、より精度の高い状況情報を獲得する状況補
   正ステップとを含むことを特徴とする状況認識方法。
10. 【請求項１０】 前記状況検出ステップにおいては、前
    記ユーザに装着されたセンサ及び前記ユーザの近傍に配
    置されたセンサの少なくとも一方によりユーザの状況を
    検出することを特徴とする請求項９記載の状況認識方
    法。
11. 【請求項１１】 前記データ分割ステップにおいては、
    前記状況検出ステップにおいて得られるデータについ
    て、所定時間粒度に基づいて、ある一定の長さの時間幅
    を決定して、その時間幅毎にデータを切り取ることを特
    徴とする請求項９又は１０記載の状況認識方法。
12. 【請求項１２】 前記データ分割ステップにおいては、
    前記状況検出ステップにおいて得られるデータについて
    時間粒度に基づいて複数の時間幅毎に分割し、このデー
    タ分割ステップにおいて分割されたデータに対して、各
    々独立に状況を表す特徴量を算出し、この特徴量に基づ
    き各々異なる時間粒度の状況を識別するようにしたこと
    を特徴とする請求項９乃至１１のいずれか１項に記載の
    状況認識方法。
13. 【請求項１３】 前記状況識別ステップにおいては、前
    記データ分割ステップにおいて分割された時間粒度毎の
    データについて、それぞれ独立に、状況を表す特徴量を
    算出して特徴ベクトルを求め、この特徴ベクトルに基づ
    き予め用意しておいた状況の教師データに関する特徴ベ
    クトルとの類似度をとって、最も類似する状況を正解と
    することで状況情報を獲得することを特徴とする請求項
    １２記載の状況認識方法。
14. 【請求項１４】 前記状況補正ステップにおいては、前
    記各階層間での状況情報が本来もつ相関関係を基に、予
    め用意しておいた状況の教師データから、時間粒間の全
    ての状況情報の組み合わせについて、その相関関係を生
    起確率の形で求めておき、状況識別ステップにおいて得
    られた類似度を用いて、この生起確率を考慮に入れた新
    たな類似度を求めて、最も類似する状況を正解とするこ
    とで補正を掛けることを特徴とする請求項９乃至１３の
    いずれか１項に記載の状況認識方法。
15. 【請求項１５】 前記状況補正ステップにおいては、更
    に、ある時間粒度での状況情報の変化に対応する他の時
    間粒度で起こる状況情報の組み合わせについても、予め
    用意しておいた状況の教師データから前記生起確率を算
    出することを特徴とする請求項１４記載の状況認識方
    法。
16. 【請求項１６】 前記状況補正ステップにおいて補正さ
    れた状況情報を取得し、この取得した状況情報を外部に
    提示する状況提示ステップを更に含むことを特徴とする
    請求項９乃至１５のいずれか１項に記載の状況認識方
    法。