JP2009089633A

JP2009089633A - 状態推定システム及び方法

Info

Publication number: JP2009089633A
Application number: JP2007261720A
Authority: JP
Inventors: Masayuki Nakamura; 雅之中村; Takumi Yamada; 巧山田; Jiro Nakamura; 二朗中村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2007-10-05
Filing date: 2007-10-05
Publication date: 2009-04-30

Abstract

【課題】人などのユーザの行動状態やこの行動により操作される物体の状態などが推定できるようにする。
【解決手段】状態推定部１０１は、取り出したユーザの状態及び物体ＩＤより、ユーザセンサ部１２０が装着されているユーザを含むこのユーザの環境の状態を推定する。状態推定部１０１のユーザ行動状態推定部１０２は、ユーザの状態及び物体ＩＤと、状態記憶部１０４に記憶されているユーザ行動結果とより、ユーザの行動の状態を推定する。また、状態推定部１０２の物体状態推定部１０３は、ユーザの状態及び物体ＩＤと、状態記憶部１０４に記憶されている操作結果とより、物体センサ部１３０が設けられている物体の状態を推定する。
【選択図】図１

Description

本発明は、ユーザに装着したユーザセンサより得られるユーザ状態と、ユーザに操作される物体に設けられた物体センサより得られる物体が受けた操作状態とより、ユーザの行動状態などを推定する状態推定システム及び方法に関するものである。

近年では、牛や馬などの動物（個体）における体温及び動作などの状態を、対象となる個体に所定のセンサを装着して計測した結果を用い、リアルタイムに測定及び推定を行うことが可能となっている。さらに、測定対象の個体だけでなく、当該個体の近傍に存在する他の個体に装着されたセンサが発する通信電波などを感知し、近傍のセンサで計測された値を用い、測定対象の個体の状態推定をより精度良く行うものがある（特許文献１参照）。

特開２００６−３２０２９０号公報 R.O.Duda, P.E.Hart, and D.G.Stork, John Wiley&Sons 2001.

しかしながら、上述した従来の技術では、次に示すような問題があった。まず、上述した従来の技術では、習性として群れをなし、各個体間の動作や状態が高い相関を持つ家畜などを測定対象とし、ある個体の異常を検知する場合は有効である。しかしながら、従来の技術では、個体群の種類や装着するセンサの種類が異なる場合や、各個体間で動作や状態の相関が元々高くない測定対象、例えば、人とその周りの物体を測定する場合は、状態を高い精度で推定することができない。

また、叙述した従来の技術では、センサによる通信電波などの強度を利用して各個体間の近傍性を判断しているが、この技術では、人が道具を操作しているなどの状態を推定することが困難である。

本発明は、以上のような問題点を解消するためになされたものであり、人などのユーザの行動状態やこの行動により操作される物体の状態などが推定できるようにすることを目的とする。

本発明に係る状態推定方法は、物体が受けた操作を検出するために物体に設けられた物体センサ部から送信された物体センサ部を識別するための物体ＩＤを受信する第１ステップと、物体ＩＤを受信したことにより、ユーザに装着されたユーザセンサ部が測定しているユーザ状態をユーザセンサ部に送信させる指示をユーザセンサ部に送信する第２ステップと、ユーザセンサ部から送信されたユーザ状態を受信する第３ステップと、予め用意されているユーザ状態と物体ＩＤとの組みに、ユーザの行動状態及び物体が受けた操作状態の少なくとも１つが対応付けられているデータベースより、受信した物体ＩＤとユーザ状態との組みに対応するユーザの行動状態及び物体が受けた操作状態の少なくとも１つを取り出して推定結果とする第４ステップとを少なくとも備えるようにしたものである。

上記状態推定方法において、第４ステップでは、ユーザ状態と物体ＩＤとを特徴ベクトルとしたパターン認識により、データベースより、受信した物体ＩＤとユーザ状態との組みに対応するユーザの行動状態及び物体が受けた操作状態の少なくとも１つを取り出すようにすればよい。また、ユーザセンサ部は、ユーザ状態としてユーザの筋電位を測定するものであればよい。

また、上記状態推定方法において、ユーザの行動状態及び物体が受けた操作状態の少なくとも１つと対応するアドバイスを備えたアドバイスデータベースより、推定結果として取り出したユーザの行動状態及び物体が受けた操作状態の少なくとも１つに対応するアドバイスを取り出し、ユーザに提示する第５ステップを備えるようにしてもよい。また、推定結果として取り出したユーザの行動状態及び物体が受けた操作状態の少なくとも１つを、予め設定されている通信対象に送信する第５ステップを備えるようにしてもよい。

本発明に係る状態推定システムは、物体に設けられて物体が受けた操作を検出して物体センサ部を識別するための物体ＩＤを送信する物体センサ部と、ユーザに装着されてユーザの状態を測定して送信するユーザセンサ部と、物体ＩＤを受信する送受信部と、物体ＩＤを受信したことにより、ユーザセンサ部が測定しているユーザ状態をユーザセンサ部に送信させる指示を送受信部からユーザセンサ部に送信させる通信制御部と、送受信部が受信した物体ＩＤ及びユーザセンサ部から送信されたユーザ状態を記憶する受信データ記憶部と、予め用意されているユーザ状態と物体ＩＤとの組みに、ユーザの行動状態及び物体が受けた操作状態の少なくとも１つが対応付けられているデータベースと、受信データ記憶部に記憶されている物体ＩＤとユーザ状態との組みに対応するユーザの行動状態及び物体が受けた操作状態の少なくとも１つをデータベースより取り出して推定結果とする状態推定部とを少なくとも備えるものである。

上記状態推定システムにおいて、状態推定部は、ユーザ状態と物体ＩＤとを特徴ベクトルとしたパターン認識により、データベースより、受信した物体ＩＤとユーザ状態との組みに対応するユーザの行動状態及び物体が受けた操作状態の少なくとも１つを取り出すものであればよい。また、ユーザセンサ部は、ユーザ状態としてユーザの筋電位を測定するものであればよい。

上記状態推定システムにおいて、ユーザの行動状態及び物体が受けた操作状態の少なくとも１つと対応するアドバイスを備えたアドバイスデータベースと、推定結果として取り出したユーザの行動状態及び物体が受けた操作状態の少なくとも１つに対応するアドバイスを取り出すアドバイス生成部と、アドバイス生成部が取り出したアドバイスをユーザに提示する情報提示部とを備えるようにしてもよい。また、通信制御部は、推定結果として取り出したユーザの行動状態及び物体が受けた操作状態の少なくとも１つを、予め設定されている通信対象に送信するようにしてもよい。

以上説明したように、本発明によれば、予め用意されているユーザ状態と物体ＩＤとの組みに、ユーザの行動状態及び物体が受けた操作状態の少なくとも１つが対応付けられているデータベースより、受信した物体ＩＤとユーザ状態との組みに対応するユーザの行動状態及び物体が受けた操作状態の少なくとも１つを取り出して推定結果とするようにしたので、人などのユーザの行動状態やこの行動により操作される物体の状態などが推定できるようになるという優れた効果が得られる。

以下、本発明の実施の形態について図を参照して説明する。図１は、本発明の実施の形態における状態推定システムの構成例を示す構成図である。この状態推定システムは、状態推定装置１００と、ユーザセンサ部１２０と、物体センサ部１３０Ａ，１３０Ｂ，１３０Ｃを備える。ユーザセンサ部１２０は、行動などの推定対象となるユーザに装着される。また、物体センサ部は、ユーザの周囲に配置されている物体に取り付けられている。なお、本例では、３つの物体センサ部１３０を備える場合を示しているが、これに限るものではなく、物体センサ部１３０は、４つ以上備えられいてもよく、また、１つであっても良い。

本状態推定システムを構成している状態推定装置１００は、状態推定部１０１，状態記憶部１０４，送受信部１０５，受信データ記憶部１０６，通信制御部１０７，及び入力部１０８を備えている。また、状態推定部１０１は、ユーザ行動状態推定部１０２と物体状態推定部１０３とを備えている。また、ユーザセンサ部１２０は、ユーザ状態測定部１２１，記憶部１２２，送受信部１２３，及び制御部１２４を備えている。また、物体センサ部１３０Ａは、操作状態検出部１３１，記憶部１３２，送受信部１３３，及び制御部１３４を備えている。なお、物体センサ部１３０Ｂ及び物体センサ部１３０Ｃも、物体センサ部１３０Ａと同様の構成である。

次に、各構成について、より詳細に説明する。

まず、送受信部１０５では、無線通信により受信したデータを受信データ記憶部１０６に記憶する。また、送受信部１０５は、通信制御部１０７の制御により、必要とするデータの送出の指示を送信し、この指示の結果送信されたデータを受信して、受信データ記憶部１０６に記憶する。このようにして受信データ記憶部１０６に記憶されたデータの中より、状態推定部１０１が、ユーザの状態を示すデータ（ユーザ状態）及び操作を受けた物体を示すデータ（物体ＩＤ）を取り出す。

以上のようにして各データが取り出されると、状態推定部１０１は、取り出したユーザの状態及び物体ＩＤより、ユーザセンサ部１２０が装着されているユーザを含むこのユーザの環境の状態を推定する。状態推定部１０１のユーザ行動状態推定部１０２は、上記ユーザの状態及び上記物体ＩＤと、状態記憶部１０４に記憶されているユーザ行動結果とより、ユーザの行動の状態を推定する。また、状態推定部１０２の物体状態推定部１０３は、上記ユーザの状態及び上記物体ＩＤと、状態記憶部１０４に記憶されている操作結果とより、物体センサ部１３０が設けられている物体の状態を推定する。また、入力部１０８よりユーザ行動の状態が入力されると、状態推定部１０１が、入力されたユーザ行動の状態を状態記憶部１０４に記憶する。

状態推定装置１００は、例えば、ＣＰＵと主記憶装置と外部記憶装置とネットワーク接続装置となどを備えたサーバ（コンピュータ機器）であり、主記憶装置に展開されたプログラムによりＣＰＵが動作することで、上述した各機能が実現される。また、各機能は、複数のコンピュータ機器に分散させるようにしてもよい。例えば、送受信部１０５は、シリアルポート，パラレルポート，ＬＡＮ（Local Area Network），ＵＳＢ（Universal Serial Bus），ＣＦ（Compact Flash）インタフェースなどのインタフェースを介して接続されていても良い。

次に、ユーザセンサ部１２０において、ユーザ状態測定部１２１は、例えば、ユーザの腕の筋肉が発生する電位（筋電位）などのユーザ（人体）の状態を測定する。ユーザ状態測定部１２１に測定されたユーザの状態（ユーザ状態）は、制御部１２４に制御されている送受信部１２３により、状態推定装置１００に対して送出される。また、記憶部１２２には、ユーザセンサ部１２０及びユーザセンサ部１２０が装着されているユーザを識別するための識別情報などが記憶されている。ユーザセンサ部１２０は、例えば、状態推定装置１００からのデータ送出指示を送受信部１２３が受け付けると、制御部１２４の制御により、記憶部１２２に記憶されている識別情報と共に、ユーザ状態測定部１２１が測定しているユーザ状態を、状態推定装置１００に対して送信する。

なお、ユーザ状態測定部１２１は、筋電位の測定に限るものではなく、対象となる（装着されている）ユーザの心拍，脈拍，血流，血中飽和酸素濃度，心電，皮膚温度，皮膚導電率，脳波などの生体情報を測定するセンサであればよい。また、ユーザ状態測定部１２１は、例えば、加速度センサや、足の裏に加わる圧力の分布を測定する足圧センサであっても良い。

また、ユーザセンサ部１２０は、例えば衣服に取り付けられている状態，リストバンド型，腕時計型などの、可能な範囲で違和感の低減された状態で装着可能な形態（形状）であることが望ましい。また、ユーザセンサ部１２０は、ユーザに装着されて携帯されるため、図示していないが、電池を備え、電池により駆動される。また、送受信部１２３は、無線通信により状態推定装置１００（送受信部１０５）と通信を行うものであり、無線通信としては、例えば、無線ＬＡＮ，特定小電力無線，微弱無線，「ＺｉｇＢｅｅ」（登録商標），及び「Ｂｌｕｅｔｏｏｔｈ」（登録商標）などを用いればよい。

次に、物体センサ部１３０Ａにおいて、操作状態検出部１３１は、例えば、物体センサ部１３０Ａが設けられている物体をユーザが持つなど、ユーザにより当該物体が操作を受けた状態（操作状態）を検出する。操作状態検出部１３１に操作状態が検出されると、制御部１３４は、記憶部１３２に記憶されている物体ＩＤを、送受信部１３３により状態推定装置１００に対して送出する。なお、記憶部１３２には、物体センサ部１３０Ａ及び物体センサ部１３０Ａが設置されている物体を識別するための識別情報（物体ＩＤ）が記憶されている。

ここで、操作状態検出部１３１は、対象となる物体に対するユーザの接触を検出する接触センサや、当該物体の振動を検出する振動センサなどであればよい。また、対象となる物体が、例えば家庭で用いられる電気機器や電子機器の場合、これらの操作の状態を検出するセンサであっても良い。また、送受信部１３３は、前述同様であり、無線通信により状態推定装置１００（送受信部１０５）と通信を行うものであり、無線通信としては、例えば、無線ＬＡＮ，特定小電力無線，微弱無線，「ＺｉｇＢｅｅ」（登録商標），及び「Ｂｌｕｅｔｏｏｔｈ」（登録商標）などを用いればよい。なお、物体センサ部１３０Ａは、設置される物体が移動する場合は、電池により駆動されるようにすればよい。また、物体センサ部１３０Ａは、設置される物体が、上記電気機器など家庭内に固定されて配置されている場合、商用電源により駆動するようにしても良い。なお、物体センサ部１３０Ｂ，物体センサ部１３０Ｃも、物体センサ部１３０Ａと同様である。

ここで、状態記憶部１０４について説明する。状態記憶部１０４は、ユーザセンサ部１２０により測定されたユーザ状態及び操作状態が物体センサ部１３０Ａに検出された物体の物体ＩＤと、これらに対応するユーザの行動とが関連付けられた参照データを予め記憶している。参照データは、図２に例示するように、ユーザ状態測定部１２１に測定されたユーザのある部位の筋肉の筋電位１（第１測定値），他の部位の筋肉の筋電位２（第２測定値），及び操作状態が操作状態検出部１３１に検出された物体ＩＤに対し、これらが測定及び検出されたときに観測されたユーザの行動とが関連付けられている。

例えば、筋電位１の値「ａ１」、筋電位２の値「ａ２」，及び物体ＩＤが「ｙ」に対し、ユーザは該当する物体を「手に取る」という行動が関連付けられている。ここで、例えば、物体ＩＤ「ｙ」は、物体センサ部１３０Ａの識別子であり、物体ＩＤ「ｚ」は、物体センサ部１３０Ｂの識別子であり、物体ＩＤ「ｑ」は、物体センサ部１３０Ｃの識別子である。なお、筋電位の値は、平滑フィルタ処理された筋電位センサの値をアナログデジタル変換し、ある一定のサンプリング周期でサンプリングし、得られた筋電位データをある一定期間で積分したものであり、ある一定期間における筋力の大きさと考えることができる。

次に、状態推定システムの動作例について、図３の説明図を用いて説明する。例えば、物体センサ部１３０Ａが取り付けられている物体が、持ち上げられるなどの所定の操作を受けると、物体センサ部１３０Ａの操作状態検出部１３１が、受けた操作を検出する（ステップＳ３０１）。操作状態検出部１３１が操作を検出すると、制御部１３４の制御により、送受信部１３３が、記憶部１３２に記憶されている物体ＩＤを、状態推定装置１００（送受信部１０５）に送信する（ステップＳ３０２）。

物体センサ部１３０Ａより送信された物体ＩＤが状態推定装置１００の送受信部１０５に受信されると（ステップＳ３０３）、この状態を検出した通信制御部１０７の制御により、受信した物体ＩＤを受信した時刻の情報と共に受信データ記憶部１０６に記憶する（ステップＳ３０４）。また、通信制御部１０７は、上記データを受信データ記憶部１０６に記憶すると、送受信部１０５を制御し、ユーザセンサ部１２０に対して測定値の送信の指示を送信する（ステップＳ３０５）。

測定値送信の指示がユーザセンサ部１２０の送受信部１２３で受け付けられると、制御部１２４は、ユーザ状態測定部１２１で測定されているユーザ状態の測定値（筋電位）を、送受信部１２３より状態推定装置１００に対して送信する（ステップＳ３０６）。ユーザセンサ部１２０より送信された測定値が状態推定装置１００の送受信部１０５に受信されると（ステップＳ３０７）、この状態を検出した通信制御部１０７の制御により、受信した測定値を受信データ記憶部１０６に記憶する（ステップＳ３０８）。

以上のようにして、物体ＩＤ及び測定値が受信データ記憶部１０６に記憶されると、状態推定部１０１では、これら測定値と物体ＩＤとの情報をもとに、ユーザ行動状態推定部１０２が、状態記憶部１０４に記憶されている参照データを参照することで、ユーザの行動状態を推定する（ステップＳ３０９）。得られた測定値と物体ＩＤとをもとに、この組みに対応するものとして状態記憶部１０４より取り出したユーザの行動が、ユーザ状態を推定した結果となる。

ここで、状態記憶部１０４に記憶してある参照データの作成について簡単に説明する。まず、状態推定装置１００を、参照データの作成モードとしておく。この状態で、ユーザセンサ部１２０が装着されているユーザにより、例えば、物体センサ部１３０Ａが取り付けられている物体を持ち上げなどの所定の操作を行う。この操作により、物体センサ部１３０Ａの操作状態検出部１３１が、受けた操作を検出する（ステップＳ４０１）。操作状態検出部１３１が操作を検出すると、制御部１３４の制御により、送受信部１３３が、記憶部１３２に記憶されている物体ＩＤを、状態推定装置１００（送受信部１０５）に送信する（ステップＳ４０２）。

物体センサ部１３０Ａより送信された物体ＩＤが状態推定装置１００の送受信部１０５に受信されると（ステップＳ４０３）、この状態を検出した通信制御部１０７の制御により、受信した物体ＩＤを受信した時刻の情報と共に受信データ記憶部１０６に記憶する（ステップＳ４０４）。また、通信制御部１０７は、上記データを受信データ記憶部１０６に記憶すると、送受信部１０５を制御し、ユーザセンサ部１２０に対して測定値の送信の指示を送信する（ステップＳ４０５）。

測定値送信の指示がユーザセンサ部１２０の送受信部１２３で受け付けられると、制御部１２４は、ユーザ状態測定部１２１で測定されているユーザ状態の測定値を、送受信部１２３より状態推定装置１００に対して送信する（ステップＳ４０６）。ユーザセンサ部１２０より送信された測定値が状態推定装置１００の送受信部１０５に受信されると（ステップＳ４０７）、この状態を検出した通信制御部１０７の制御により、受信した測定値を受信データ記憶部１０６に記憶する（ステップＳ４０８）。

以上のようにして、物体ＩＤ及び測定値が受信データ記憶部１０６に記憶されると、状態推定部１０１が測定値及び物体ＩＤを取り出する。このようにして測定値と物体ＩＤとが取り出されると、前述したように参照データの作成モードとされている状態推定部１０１では、入力部１０８に対するユーザ行動の状態の入力を待つ。上述した物体ＩＤ及び測定値の生成の元となるユーザの行動状態が、入力部１０８に入力されると（ステップＳ４０９）、状態推定部１０１は、既に取り出してある測定値及び物体ＩＤの組みに、入力された行動状態を組み合わせ、状態記憶部１０４に参照データとして記憶する（ステップＳ４１０）。

次に、得られた物体ＩＤや測定値などと、状態記憶部１０４に記憶されている参照データとを用いたユーザの行動状態の推定について、より詳細に説明する。例えば、ユーザ行動状態推定部１０２は、得られた物体ＩＤと測定値とを特徴ベクトルとしたパターン認識により、参照データよりユーザの行動状態を推定する。このパターン認識には、最近隣法，ニューラルネットワーク，及びサポートベクトルマシンなどの方法を用いればよい（非特許文献１参照）。

パターン認識の例としてニューラルネットワークを利用した場合について説明する。まず、ユーザの行動状態やユーザに操作された物体の物体ＩＤによるカテゴリｃを、「ｃ~＝ｆ（Ｘ，Ｗ），Ｘ＝（ａ₁，ａ₂，・・・，ａ_i，ｙ）^T，Ｗ＝（ｗ₁，ｗ₂，・・・，ｗ_i）^T・・・（１）」と定める。これは、カテゴリｃを非線形関数で構成する場合である。ここで、ｃ~は、ユーザの行動状態やユーザにより操作された物体ＩＤのカテゴリを数値化したものであり、例えば、「ユーザｘが物体ｙを手に取る」という行動は１、「ユーザｘが物体ｙを置く」という行動は２とするなど、ｆ（Ｘ，Ｗ）は、ＸとＷの非線形関数、Ｗは係数ベクトル，ａ₁，ａ₂，・・・，ａ_iは、ｉ個のユーザセンサ部による測定値及び物体センサ部により得られる値、ｙは数値化された物体ＩＤである。ここでは、操作される物体は１つとしたが、複数でもよく、この場合は、物体ＩＤが複数となる。

係数ベクトルＷは、ある期間のトレーニングデータＸ，ｃ，ｃ~を用いて決定する。この決定について図５のフローチャートを用いて説明する。まず、ユーザセンサ部による測定値（ユーザ状態データ）及び物体センサ部により得られる値（物体ＩＤ）によりベクトルＸを構成する（ステップＳ５０１）。

次に、ニューラルネットワークによって推定したカテゴリ値ｃ~と実際のカテゴリ値ｃとの誤差としてこれら差を自乗和した「Ｅ＝１／２Σ（ｃ~−ｃ）²・・・（２）」を算出し（ステップＳ５０２）、算出した誤差を用いて「ｄΕ／ｄＷ＝Σ（ｃ~−ｃ），∂ｆ（Ｘ，Ｗ）／∂Ｗ・・・（３）」を計算し（ステップＳ５０３）、「Ｗ＝Ｗ＋ΔＷ，ΔＷ＝−αｄΕ／ｄＷ・・・（４）」により、係数ベクトルＷを更新する（ステップＳ５０４）。なお、αは正の実数であり、ΔＷはＷの更新量である。

次いで、ステップＳ５０２で算出したΕが、予め設定されている値εよりも小さい場合、ステップＳ５０４で更新された係数ベクトルＷを、状態推定のために用いるユーザの行動状態及び物体ＩＤによるカテゴリｃの係数ベクトルＷと決定する。このようにして決定された係数ベクトルＷを用いた式（１）により、ニューラルネットワークによりカテゴリ値ｃ~を推定すればよい。

ところで、同じ物体を対象とした操作を行う場合でも、物体に設置された物体センサ部より送信されるデータは同じ物体ＩＤとなるが、この物体ＩＤの送信の結果、ユーザセンサ部より得られる測定値、例えば筋電位は、物体に対する異なる操作の状態を反映したものとなる。従って、ユーザセンサ部より得られるユーザ状態の測定値（筋電位）のパターンにより、ユーザがどの物体をどの様に操作したかを示す行動が、本実施の形態における状態推定装置により推定できる。

例えば、図６に示すように、ユーザセンサからの筋電位１及び筋電位２の測定結果（ａ１，ａ２）と、物体センサからの物体ＩＤ（ｙ）との組み合わせを特徴ベクトルとし、データベースを用いたパターン認識により、「ユーザが物体ｙを手に取った」という行動が推定できる。また、同じ物体ｙを対象とした行動であっても、ユーザセンサで測定される筋電位１及び筋電位２の測定結果の違い（ａ３，ａ４）により、「ユーザが物体ｙを置いた」という行動が推定できる。また、これらのことが、物体センサからの物体ＩＤを受け付けた時刻の情報をもとにすることで、どの時刻でなされたかも推定できる。

ところで、上述では、ユーザの行動を推定するようにしたが、これに限るものではなく、本実施の形態の状態推定装置によれば、ユーザにより操作された物体の状態を推定することもできる。物体の状態を推定する場合、まず、図７に例示するように、ユーザ状態測定部１２１（図１）に測定されたユーザのある部位の筋肉の筋電位１（第１測定値），他の部位の筋肉の筋電位２（第２測定値），及び操作状態が操作状態検出部１３１に検出された物体ＩＤに対し、これらが測定及び検出されたときに観測された物体の状態が関連付けられた参照データを、状態記憶部１０４（図１）に記憶しておく。

以下、物体の状態を推定する場合の状態推定システムの動作例について、図３の説明図を用いて説明する。例えば、物体センサ部１３０Ａが取り付けられている物体が、持ち上げられるなどの所定の操作を受けると、物体センサ部１３０Ａの操作状態検出部１３１が、受けた操作を検出する（ステップＳ３０１）。操作状態検出部１３１が操作を検出すると、制御部１３４の制御により、送受信部１３３が、記憶部１３２に記憶されている物体ＩＤを、状態推定装置１００（送受信部１０５）に送信する（ステップＳ３０２）。

測定値送信の指示がユーザセンサ部１２０の送受信部１２３で受け付けられると、制御部１２４は、ユーザ状態測定部１２１で測定されているユーザ状態の測定値を、送受信部１２３より状態推定装置１００に対して送信する（ステップＳ３０６）。ユーザセンサ部１２０より送信された測定値が状態推定装置１００の送受信部１０５に受信されると（ステップＳ３０７）、この状態を検出した通信制御部１０７の制御により、受信した測定値を受信データ記憶部１０６に記憶する（ステップＳ３０８）。

以上のようにして、物体ＩＤ及び測定値が受信データ記憶部１０６に記憶されると、状態推定部１０１では、測定値と物体ＩＤとの情報をもとに、ユーザ行動状態推定部１０２が、状態記憶部１０４に記憶されている参照データを参照することで、物体の状態を推定する（ステップＳ３０９）。得られた測定値と物体ＩＤとをもとに、この組みに対応するものとして状態記憶部１０４より取り出した物体状態が、物体の状態を推定した結果となる。

例えば、ユーザが手に取った物体ｒは、高い所にあった（ユーザは高い所にある物体ｒを取った）と言うような状態が推定できる。また、同じ物体ｒに対する操作であっても、測定されたユーザ状態の測定値（筋電位）のパターンの違いにより、ユーザが手に取った物体ｒは、低い所にあった（ユーザは低い所にある物体ｒを取った）と言うような状態が推定できる。同様に、空の軽いコップを操作する場合と、飲料水を収容した重いコップを操作する場合との、腕の筋肉の筋電位パターンの違いにより、これらコップの状態が推定できる。

上述したような本実施の形態における状態推定システムは、次に示すように、ユーザに対する行動支援にも利用可能である。例えば、図８に示すように、状態推定装置１００に、情報提示部８０１を接続し、また、状態推定装置１００をインターネットなどのネットワーク８０２を介してアドバイス生成部８０３に接続する。状態推定装置１００により推定されたユーザの行動状態や物体の状態を、ネットワーク８０２を介してアドバイス生成部８０３に送信すると、アドバイス生成部８０３では、受信したユーザの行動状態や物体の状態の推定結果をもとに、対応する行動アドバイスをアドバイスデータベース８０４より取り出す。

アドバイスを取り出したアドバイス生成部８０３は、これをネットワーク８０２を介して状態推定装置１００に送信する。このようにして行動アドバイスを受信した状態推定装置１００は、受信した行動アドバイスを情報提示部８０１に提示し、ユーザに視認可能な状態とする。行動アドバイスとしては、例えば、受信したユーザの行動状態や物体の状態の推定結果より、この状態が体に負担をかける無理な動作をしているとの注意や、操作対象の物体が危険な所に配置されているなどの注意を喚起するものであり、文字表示や音声出力などにより、ユーザに認識可能な状態とする。

また、本実施の形態における状態推定システムは、次に示すように、遠隔地のユーザ（独居高齢者など）に対する見守りシステムにも利用可能である。例えば、図９に示すように、状態推定装置１００をインターネットなどのネットワーク９０１を介して情報受信部９０２に接続する。情報受信部９０２は、予め設定されている通信対象である。状態推定装置１００は、ユーザの行動状態や物体の状態を推定すると、通信制御部１０７の制御により、ネットワーク９０１を介して情報受信部９０２に送信する。情報受信部９０２では、受信したユーザの行動状態や物体の状態の推定結果を、情報提示部９０３に出力する。この結果、情報提示部９０３に出力された推定結果により、見守り対象のユーザの行動状態や、当該ユーザの所在している居室内の物体の状態が、担当者に認識されるようになり、ユーザが体に負担をかける無理な行動をしている状態や、物体が危険な所に置かれている状態などが、担当者に容易に把握できるようになる。

上述したように、本発明によれば、ユーザ及び環境や物体の状態を高精度に推定し、ユーザにアラームなどの行動支援メッセージを提供することや、あるいは、遠隔地から通信ネットワークにより独居高齢者の見守りなどすることが可能となる。

本発明の実施の形態における状態推定システムの構成例を示す構成図である。状態記憶部１０４に記憶されている参照データの構成例を示す構成図である。実施の形態における状態推定システムの動作例について説明する説明図である。実施の形態における状態推定システムの動作例について説明する説明図である。ユーザの行動状態及び物体ＩＤによるカテゴリｃを示す式における係数ベクトルＷの決定について説明するフローチャートである。状態推定の例を示す説明図である。物体の状態を推定するときに用いる参照データの構成を示す構成図である。本実施の形態における状態推定システムをユーザの行動支援のためのシステムに適用した場合の構成例を示す構成図である。本実施の形態における状態推定システムをユーザの見守りのためのシステムに適用した場合の構成例を示す構成図である。

符号の説明

１００…状態推定装置、１０１…状態推定部、１０２…ユーザ行動状態推定部、１０３…物体状態推定部、１０４…状態記憶部、１０５…送受信部、１０６…受信データ記憶部、１０７…通信制御部、１０８…入力部、１２０…ユーザセンサ部、１２１…ユーザ状態測定部、１２２…記憶部、１２３…送受信部、１３０Ａ，１３０Ｂ，１３０Ｃ…物体センサ部、１３１…操作状態検出部、１３２…記憶部、１３３…送受信部、１３４…制御部。

Claims

物体が受けた操作を検出するために前記物体に設けられた物体センサ部から送信された前記物体センサ部を識別するための物体ＩＤを受信する第１ステップと、
前記物体ＩＤを受信したことにより、ユーザに装着されたユーザセンサ部が測定しているユーザ状態を前記ユーザセンサ部に送信させる指示を前記ユーザセンサ部に送信する第２ステップと、
前記ユーザセンサ部から送信された前記ユーザ状態を受信する第３ステップと、
予め用意されているユーザ状態と物体ＩＤとの組みに、ユーザの行動状態及び物体が受けた操作状態の少なくとも１つが対応付けられているデータベースより、受信した前記物体ＩＤと前記ユーザ状態との組みに対応する前記ユーザの行動状態及び前記物体が受けた操作状態の少なくとも１つを取り出して推定結果とする第４ステップと
を少なくとも備えることを特徴とする状態推定方法。
請求項１記載の状態推定方法において、
前記第４ステップでは、ユーザ状態と物体ＩＤとを特徴ベクトルとしたパターン認識により、前記データベースより、受信した前記物体ＩＤと前記ユーザ状態との組みに対応する前記ユーザの行動状態及び前記物体が受けた操作状態の少なくとも１つを取り出す
ことを特徴とする状態推定方法。
請求項１又は２記載の状態推定方法において、
前記ユーザセンサ部は、前記ユーザ状態として前記ユーザの筋電位を測定する
ことを特徴とする状態推定方法。
請求項１〜３のいずれか１項に記載の状態推定方法において、
前記ユーザの行動状態及び前記物体が受けた操作状態の少なくとも１つと対応するアドバイスを備えたアドバイスデータベースより、前記推定結果として取り出した前記ユーザの行動状態及び前記物体が受けた操作状態の少なくとも１つに対応するアドバイスを取り出し、前記ユーザに提示する第５ステップ
を備えることを特徴とする状態推定方法。
請求項１〜３のいずれか１項に記載の状態推定方法において、
前記推定結果として取り出した前記ユーザの行動状態及び前記物体が受けた操作状態の少なくとも１つを、予め設定されている通信対象に送信する第５ステップ
を備えることを特徴とする状態推定方法。
物体に設けられて前記物体が受けた操作を検出して前記物体センサ部を識別するための物体ＩＤを送信する物体センサ部と、
ユーザに装着されて前記ユーザの状態を測定して送信するユーザセンサ部と、
前記物体ＩＤを受信する送受信部と、
前記物体ＩＤを受信したことにより、前記ユーザセンサ部が測定しているユーザ状態を前記ユーザセンサ部に送信させる指示を前記送受信部から前記ユーザセンサ部に送信させる通信制御部と、
前記送受信部が受信した前記物体ＩＤ及び前記ユーザセンサ部から送信された前記ユーザ状態を記憶する受信データ記憶部と、
予め用意されているユーザ状態と物体ＩＤとの組みに、ユーザの行動状態及び物体が受けた操作状態の少なくとも１つが対応付けられているデータベースと、
前記受信データ記憶部に記憶されている前記物体ＩＤと前記ユーザ状態との組みに対応する前記ユーザの行動状態及び前記物体が受けた操作状態の少なくとも１つを前記データベースより取り出して推定結果とする状態推定部と
を少なくとも備えることを特徴とする状態推定システム。
請求項６記載の状態推定システムにおいて、
前記状態推定部は、ユーザ状態と物体ＩＤとを特徴ベクトルとしたパターン認識により、前記データベースより、受信した前記物体ＩＤと前記ユーザ状態との組みに対応する前記ユーザの行動状態及び前記物体が受けた操作状態の少なくとも１つを取り出す
ことを特徴とする状態推定システム。
請求項６又は７記載の状態推定システムにおいて、
前記ユーザセンサ部は、前記ユーザ状態として前記ユーザの筋電位を測定する
ことを特徴とする状態推定システム。
請求項６〜８のいずれか１項に記載の状態推定システムにおいて、
前記ユーザの行動状態及び前記物体が受けた操作状態の少なくとも１つと対応するアドバイスを備えたアドバイスデータベースと、
前記推定結果として取り出した前記ユーザの行動状態及び前記物体が受けた操作状態の少なくとも１つに対応するアドバイスを取り出すアドバイス生成部と、
前記アドバイス生成部が取り出した前記アドバイスを前記ユーザに提示する情報提示部と
を備えることを特徴とする状態推定システム。
請求項６〜８のいずれか１項に記載の状態推定システムにおいて、
前記通信制御部は、前記推定結果として取り出した前記ユーザの行動状態及び前記物体が受けた操作状態の少なくとも１つを、予め設定されている通信対象に送信する
ことを特徴とする状態推定システム。