JP7241499B2 - 情報処理方法、情報処理装置及び情報処理プログラム - Google Patents

Description

本開示は、ユーザが忘れてしまった行動を通知する情報処理方法、情報処理装置及び情報処理プログラムに関するものである。

人がある目的を達成するための行動を思い付き、その行動を実行しようとしたとき、短時間にその思い付いた行動が何であったかを忘れてしまい、最終的に目的を達成することができない場合がある。

例えば、特許文献１では、行動パターンが入力される行動パターン入力部と、行動パターン入力部に入力された行動パターン及び当該行動パターンの入力時間を一組として複数組記憶する記憶部と、行動パターン及び入力時間の何れか１つに関連するキーワードが音声により入力される音声入力部と、音声入力部から入力された音声を解析し、キーワードを認識する音声認識部と、記憶部内の行動パターンを音声として合成する音声合成部と、音声合成部で合成された音声を出力する音声出力部と、音声認識部で認識したキーワードに対応する行動パターンを、記憶部内の複数の行動パターンから選択して、当該選択された行動パターンを基に音声合成部を制御して、音声として合成する制御部とを備える生活補助装置が開示されている。

特開２００７－２１３３１５号公報

しかしながら、上記従来の技術では、ユーザが直近に思い付いた行動を忘れてしまった場合には、当該行動をユーザに思い出させることができず、更なる改善が必要とされていた。

本開示は、上記の問題を解決するためになされたもので、ユーザが直近に思い付いた行動を忘れてしまった場合に、当該行動をユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる情報処理方法、情報処理装置及び情報処理プログラムを提供することを目的とするものである。

本開示の一態様に係る情報処理方法は、コンピュータが、ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得し、前記ユーザの移動動作を検出し、前記ユーザの静止動作を検出し、前記ユーザが静止した状態で所定時間が経過したか否かを判断し、前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知する。

本開示によれば、ユーザが直近に思い付いた行動を忘れてしまった場合に、当該行動をユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。

本開示の実施の形態１における行動通知装置の構成を示す図である。 センサからの出力波形に対するユーザの動作を説明するための図である。 本実施の形態１における行動通知装置の動作について説明するためのフローチャートである。 本開示の実施の形態２における行動通知装置の構成を示す図である。 本実施の形態２における行動通知装置の動作について説明するためのフローチャートである。 本開示の実施の形態３における行動通知装置の構成を示す図である。 本実施の形態３における行動通知装置の動作について説明するための第１のフローチャートである。 本実施の形態３における行動通知装置の動作について説明するための第２のフローチャートである。 本開示の実施の形態４における行動通知装置の構成を示す図である。 本実施の形態４における行動通知装置の動作について説明するための第１のフローチャートである。 本実施の形態４における行動通知装置の動作について説明するための第２のフローチャートである。

（本開示の基礎となった知見）
上記の従来の生活補助装置では、習慣となっている日常的な行動をユーザが物忘れしてしまったとしても、その行動内容を思い出させるきっかけをユーザに与えることで、ユーザの精神的負担の軽減化を図っている。

しかしながら、従来の生活補助装置では、予め行動パターンとして記憶されている日常的な行動をユーザが忘れてしまった場合には、ユーザに思い出させることはできるが、ユーザが直近に思い付いた行動を忘れてしまった場合には、当該行動をユーザに思い出させることが困難であり、ユーザの精神的な負担を軽減することが困難である。

以上の課題を解決するために、本開示の一態様に係る情報処理方法は、コンピュータが、ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得し、前記ユーザの移動動作を検出し、前記ユーザの静止動作を検出し、前記ユーザが静止した状態で所定時間が経過したか否かを判断し、前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知する。

ここで、人は直近に思い付いた行動を忘れてしまった場合、忘れてしまった行動を思い出すために一旦静止する傾向にある。この構成によれば、ユーザの行動を示し、ユーザによって発話された発話音声データが取得され、ユーザの移動動作が検出された後、ユーザの静止動作が検出され、ユーザが静止した状態で所定時間が経過したと判断された場合、発話音声データに基づいて、ユーザの行動の内容が通知される。そのため、ユーザが直近に思い付いた行動を忘れてしまった場合に、当該行動をユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。

また、上記の情報処理方法において、さらに、周辺の音声データを取得し、さらに、前記音声データをメモリに記憶し、さらに、前記ユーザの所定の動作を検出し、前記発話音声データの取得は、前記ユーザの前記所定の動作が検出されると、前記メモリに記憶されている前記音声データの中から、前記ユーザの前記所定の動作が検出された時点を含む所定の期間内における前記ユーザが発話した音声データを前記発話音声データとして抽出してもよい。

この構成によれば、ユーザからの特別な指示を受け付けることなく、ユーザの所定の動作が検出されたことをトリガーにして、メモリに記憶されている音声データの中から発話音声データを取得することができる。

また、上記の情報処理方法において、前記所定の動作は、前記ユーザの立ち上がり動作であってもよい。

この構成によれば、ユーザの立ち上がり動作が検出されたことをトリガーにして、メモリに記憶されている音声データの中から発話音声データを取得することができる。

また、上記の情報処理方法において、前記所定の動作は、前記ユーザの移動動作であってもよい。

この構成によれば、ユーザの移動動作が検出されたことをトリガーにして、メモリに記憶されている音声データの中から発話音声データを取得することができる。

また、上記の情報処理方法において、さらに、周辺の音声データを取得し、さらに、前記音声データをメモリに記憶し、さらに、前記音声データを音声認識し、前記発話音声データの取得は、音声認識した前記音声データの中に前記ユーザの行動を示す前記発話音声データが含まれている場合、前記メモリに記憶されている前記音声データの中から前記発話音声データを抽出してもよい。

この構成によれば、ユーザからの特別な指示を受け付けることなく、音声データが音声認識され、音声認識された音声データの中にユーザの行動を示す発話音声データが含まれていることをトリガーにして、メモリに記憶されている音声データの中から発話音声データを取得することができる。

また、上記の情報処理方法において、前記行動の内容の通知は、前記発話音声データをスピーカに出力させてもよい。

この構成によれば、発話音声データがスピーカから出力されるので、当該発話音声データを聞いたユーザは、忘れてしまった行動を思い出すことができる。

また、上記の情報処理方法において、前記行動の内容の通知は、前記発話音声データを文字データに変換し、変換した前記文字データを表示部に表示させてもよい。

この構成によれば、発話音声データが文字データに変換され、変換された文字データが表示部に表示されるので、当該文字データを見たユーザは、忘れてしまった行動を思い出すことができる。

また、上記の情報処理方法において、さらに、前記発話音声データが、前記ユーザに通知すべき発話音声データであるか否かを判断し、前記行動の内容の通知は、前記ユーザが静止した状態で前記所定時間が経過したと判断され、かつ前記発話音声データが、前記ユーザに通知すべき発話音声データであると判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知してもよい。

この構成によれば、ユーザが静止した状態で所定時間が経過したと判断され、かつ発話音声データが、ユーザに通知すべき発話音声データであると判断された場合、発話音声データに基づいて、ユーザの行動の内容が通知されるので、不要な情報がユーザに通知されるのを防止することができ、必要な情報のみをユーザに通知することができる。

また、上記の情報処理方法において、前記移動動作の検出は、加速度センサからの出力波形を用いて前記ユーザの前記移動動作を検出し、前記静止動作の検出は、前記加速度センサからの出力波形を用いて前記ユーザの前記静止動作を検出してもよい。

この構成によれば、ユーザの移動動作及び静止動作を示す加速度センサの出力波形モデルが予め記憶され、加速度センサからの出力波形と、記憶されている出力波形モデルとが比較されることにより、容易かつ正確にユーザの移動動作及び静止動作を検出することができる。

本開示の他の態様に係る情報処理装置は、ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得する取得部と、前記ユーザの移動動作を検出する移動動作検出部と、前記ユーザの静止動作を検出する静止動作検出部と、前記ユーザが静止した状態で所定時間が経過したか否かを判断する判断部と、前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知する通知部と、を備える。

ここで、人は直近に思い付いた行動を忘れてしまった場合、忘れてしまった行動を思い出すために一旦静止する傾向にある。この構成によれば、ユーザの行動を示し、ユーザによって発話された発話音声データが取得され、ユーザの移動動作が検出された後、ユーザの静止動作が検出され、ユーザが静止した状態で所定時間が経過したと判断された場合、発話音声データに基づいて、ユーザの行動の内容が通知される。そのため、ユーザが直近に思い付いた行動を忘れてしまった場合に、当該行動をユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。

本開示の他の態様に係る情報処理プログラムは、ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得し、前記ユーザの移動動作を検出し、前記ユーザの静止動作を検出し、前記ユーザが静止した状態で所定時間が経過したか否かを判断し、前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知するようにコンピュータを機能させる。

ここで、人は直近に思い付いた行動を忘れてしまった場合、忘れてしまった行動を思い出すために一旦静止する傾向にある。この構成によれば、ユーザの行動を示し、ユーザによって発話された発話音声データが取得され、ユーザの移動動作が検出された後、ユーザの静止動作が検出され、ユーザが静止した状態で所定時間が経過したと判断された場合、発話音声データに基づいて、ユーザの行動の内容が通知される。そのため、ユーザが直近に思い付いた行動を忘れてしまった場合に、当該行動をユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。

以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。

（実施の形態１）
図１は、本開示の実施の形態１における行動通知装置の構成を示す図である。図１に示す行動通知装置１は、マイク１０、センサ２０、メモリ３０、プロセッサ４０及びスピーカ５０を備える。

行動通知装置１は、例えばスマートフォンであり、ユーザに所持される。

メモリ３０は、例えば、半導体メモリであり、種々の情報を記憶する。メモリ３０は、音声記憶部２０１、動作モデル記憶部２０２及び発話音声記憶部２０３を備える。

マイク１０は、周辺の音声データを取得し、取得した音声データを音声記憶部２０１に記憶する。マイク１０は、周辺の音声を収音し、収音したアナログデータをデジタルデータに変換し、デジタルデータ化された音声データを音声記憶部２０１に記憶する。マイク１０は、例えばパルス符号変調（ＰＣＭ：Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）等を用いてアナログの音声をデジタル化する。なお、本実施の形態１におけるマイク１０は、常時周辺の音声データを取得している。例えば、音声記憶部２０１の記憶容量は、予め決められており、音声記憶部２０１の記憶容量が一杯になると、古い音声データから順に新たな音声データに上書きされることが好ましい。

センサ２０は、例えば、３軸加速度センサであり、ユーザの前後方向であるＸ軸方向の加速度、ユーザの左右方向であるＹ軸方向の加速度及びユーザの上下方向であるＺ軸方向の加速度を測定する。ユーザは行動通知装置１を所持しているため、センサ２０は、ユーザのＸ軸方向の加速度、Ｙ軸方向の加速度及びＺ軸方向の加速度を検出することができる。

プロセッサ４０は、動作検出部１０１、発話音声取得部１０２、静止状態判断部１０３及び通知制御部１０４を備える。

動作検出部１０１は、センサ２０からの出力波形を用いて、ユーザの移動動作、ユーザの静止動作及びユーザの所定の動作を検出する。なお、本実施の形態１における所定の動作は、ユーザが座っている状態から立ち上がる立ち上がり動作である。動作検出部１０１は、立ち上がり動作検出部１１１、移動動作検出部１１２及び静止動作検出部１１３を備える。

立ち上がり動作検出部１１１は、センサ２０からの出力波形を用いてユーザの立ち上がり動作を検出する。

移動動作検出部１１２は、センサ２０からの出力波形を用いてユーザの移動動作を検出する。

静止動作検出部１１３は、センサ２０からの出力波形を用いてユーザの静止動作を検出する。

動作モデル記憶部２０２は、ユーザの移動動作を表す加速度の出力波形モデルと、ユーザの静止動作を表す加速度の出力波形モデルと、ユーザの立ち上がり動作を表す加速度の出力波形モデルとを予め記憶する。動作検出部１０１は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている出力波形モデルとを比較することにより、ユーザの動作を検出する。すなわち、立ち上がり動作検出部１１１は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている立ち上がり動作を表す出力波形モデルとを比較することにより、ユーザの立ち上がり動作を検出する。また、移動動作検出部１１２は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている移動動作を表す出力波形モデルとを比較することにより、ユーザの移動動作を検出する。さらに、静止動作検出部１１３は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている静止動作を表す出力波形モデルとを比較することにより、ユーザの静止動作を検出する。

発話音声取得部１０２は、ユーザの行動を示し、ユーザによって発話された発話音声データを取得する。発話音声取得部１０２は、ユーザが発話した発話音声データを音声記憶部２０１から取得し、取得した発話音声データを発話音声記憶部２０３に記憶する。発話音声取得部１０２は、ユーザの所定の動作が検出されると、メモリ３０の音声記憶部２０１に記憶されている音声データの中から、ユーザの所定の動作が検出された時点を含む所定の期間内におけるユーザが発話した音声データを発話音声データとして抽出する。なお、本実施の形態１における所定の動作は、ユーザが座っている状態から立ち上がる立ち上がり動作である。

発話音声記憶部２０３は、発話音声取得部１０２によって取得された発話音声データを記憶する。

静止状態判断部１０３は、ユーザが静止した状態で所定時間が経過したか否かを判断する。所定時間は、例えば５秒であり、ユーザが度忘れしてしまった行動を思い出そうと試みるための時間である。

通知制御部１０４は、静止状態判断部１０３によってユーザが静止した状態で所定時間が経過したと判断された場合、発話音声データに基づいて、ユーザの行動の内容を通知する。通知制御部１０４は、発話音声記憶部２０３に記憶されている発話音声データを読み出し、発話音声データをスピーカ５０に出力させる。

スピーカ５０は、通知制御部１０４からの指示に従い、発話音声データを出力する。

ユーザが座っている状態から何らかの行動を行う際には、まず、ユーザは、次に行う行動の内容を発話し、立ち上がる動作を行う。例えば、椅子に座っているユーザが冷蔵庫にジュースを飲みに行く場合、ユーザは、「ジュースを飲みに行こう」と発話し、立ち上がる。そして、ユーザは、立ち上がった場所から目的の場所まで移動する。例えば、ユーザが冷蔵庫にジュースを飲みに行く場合、ユーザは、立ち上がった場所から冷蔵庫まで移動する。そして、ユーザは、目的の場所に到着すると、目的の場所で目的の行動を行う。例えば、ユーザが冷蔵庫にジュースを飲みに行く場合、ユーザは、冷蔵庫の前に到着すると、冷蔵庫からジュースを取り出し、取り出したジュースを飲む。このとき、ユーザは、冷蔵庫の前に到着した段階で、自身が何をするために冷蔵庫の前に来たのかを忘れてしまうことがある。特に、目的の行動を忘れてしまったユーザは、目的の場所に到着した時点で、自身が何をするために冷蔵庫の前に来たのかを思い出すため、しばらく静止する。そのため、ユーザが移動した後、所定時間静止した場合、ユーザが目的の行動を忘れてしまったと推定することができる。

このように、本実施の形態１の行動通知装置１は、ユーザが立ち上がった動作をトリガーとして、ユーザが立ち上がった時点の前後に発話した音声を記憶する。これは、ユーザが立ち上がった時点の前後に発話した音声が、ユーザが次に行う行動の内容を表している音声であると推定することができるためである。そして、行動通知装置１は、直近に考えた行動を忘れてしまったユーザの一連の動作を検出し、記憶しているユーザの発話した音声を出力することにより、ユーザが忘れてしまった行動の内容を通知する。

図２は、センサからの出力波形に対するユーザの動作を説明するための図である。

図２において、加速度センサであるセンサ２０は、Ｘ軸加速度、Ｙ軸加速度及びＺ軸加速度を出力する。図２に示すように、Ｘ軸加速度、Ｙ軸加速度及びＺ軸加速度の出力波形は、ユーザが立ち上がり動作を行った場合、ユーザが移動動作を行った場合及びユーザが静止動作を行った場合でそれぞれ異なる。

動作モデル記憶部２０２は、ユーザの移動動作を表すＸ軸加速度、Ｙ軸加速度及びＺ軸加速度の出力波形モデルと、ユーザの静止動作を表すＸ軸加速度、Ｙ軸加速度及びＺ軸加速度の出力波形モデルと、ユーザの立ち上がり動作を表すＸ軸加速度、Ｙ軸加速度及びＺ軸加速度の出力波形モデルとを予め記憶する。動作検出部１０１は、センサ２０からのＸ軸加速度、Ｙ軸加速度及びＺ軸加速度の出力波形と、動作モデル記憶部２０２に予め記憶されているＸ軸加速度、Ｙ軸加速度及びＺ軸加速度の出力波形モデルとを比較することにより、ユーザの立ち上がり動作、移動動作及び静止動作をそれぞれ検出することができる。

続いて、本実施の形態１における行動通知装置１の動作について説明する。

図３は、本実施の形態１における行動通知装置の動作について説明するためのフローチャートである。

まず、ステップＳ１において、マイク１０は、周辺の音声データを取得する。マイク１０は、収音したアナログデータの音声をデジタルデータに変換し、デジタル化された音声データを音声記憶部２０１に記憶する。

次に、ステップＳ２において、立ち上がり動作検出部１１１は、ユーザの立ち上がり動作を検出したか否かを判断する。立ち上がり動作検出部１１１は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている立ち上がり動作の出力波形モデルとを比較する。そして、立ち上がり動作検出部１１１は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている立ち上がり動作の出力波形モデルとが一致する場合、ユーザの立ち上がり動作を検出する。ここで、ユーザの立ち上がり動作を検出していないと判断された場合（ステップＳ２でＮＯ）、ステップＳ１に処理が戻る。

一方、ユーザの立ち上がり動作を検出したと判断された場合（ステップＳ２でＹＥＳ）、ステップＳ３において、発話音声取得部１０２は、ユーザの行動を示し、ユーザによって発話された発話音声データを取得する。このとき、発話音声取得部１０２は、メモリ３０の音声記憶部２０１に記憶されている音声データの中から、立ち上がり動作が検出された検出時点から所定時間前の第１時点から、当該検出時点から所定時間後の第２時点までの間の期間内におけるユーザが発話した発話区間を検出し、検出した発話区間の音声データを発話音声データとして抽出する。立ち上がり動作が行われたときに発せられたユーザの発話は、次に行うユーザの行動を示していると推定される。

次に、ステップＳ４において、発話音声取得部１０２は、取得した発話音声データを発話音声記憶部２０３に記憶する。

次に、ステップＳ５において、移動動作検出部１１２は、ユーザの移動動作を検出したか否かを判断する。移動動作検出部１１２は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている移動動作の出力波形モデルとを比較する。そして、移動動作検出部１１２は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている移動動作の出力波形モデルとが一致する場合、ユーザの移動動作を検出する。

ここで、ユーザの移動動作を検出したと判断された場合（ステップＳ５でＹＥＳ）、ステップＳ６において、静止動作検出部１１３は、ユーザの静止動作を検出したか否かを判断する。静止動作検出部１１３は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている静止動作の出力波形モデルとを比較する。そして、静止動作検出部１１３は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている静止動作の出力波形モデルとが一致する場合、ユーザの静止動作を検出する。

ここで、ユーザの移動動作を検出していないと判断された場合（ステップＳ５でＮＯ）、又はユーザの静止動作を検出していないと判断された場合（ステップＳ６でＮＯ）、ステップＳ７において、移動動作検出部１１２は、ユーザの立ち上がり動作が検出された時刻から所定時間が経過したか否かを判断する。なお、ユーザの立ち上がり動作が検出された時刻は、メモリ３０に記憶されている。ここで、ユーザの立ち上がり動作が検出された時刻から所定時間が経過していないと判断された場合（ステップＳ７でＮＯ）、ステップＳ５に処理が戻る。

一方、ユーザの立ち上がり動作が検出された時刻から所定時間が経過したと判断された場合（ステップＳ７でＹＥＳ）、ステップＳ１に処理が戻る。

ステップＳ７の処理における所定時間は、タイムアウト時間である。ユーザの立ち上がり動作が検出されてから、所定時間が経過してもユーザの移動動作が検出されない場合、ステップＳ１に処理が戻る。また、ユーザの立ち上がり動作が検出されてから、所定時間が経過しても、ユーザの静止動作が検出されずにユーザの移動動作が検出され続けている場合、ステップＳ１に処理が戻る。

また、ユーザの静止動作を検出したと判断された場合（ステップＳ６でＹＥＳ）、ステップＳ８において、静止状態判断部１０３は、ユーザが静止した状態で所定時間が経過したか否かを判断する。なお、静止状態判断部１０３は、ユーザの静止動作が検出された時点から、ユーザの静止動作が検出され続けている時間を計測する。

ユーザが静止した状態で所定時間が経過していないと判断された場合（ステップＳ８でＮＯ）、すなわち、ユーザの静止動作が検出されてから所定時間が経過する前にユーザが動き出したと判断された場合、ステップＳ１に処理が戻る。

一方、ユーザが静止した状態で所定時間が経過したと判断された場合（ステップＳ８でＹＥＳ）、ステップＳ９において、通知制御部１０４は、発話音声記憶部２０３から発話音声データを読み出す。

次に、ステップＳ１０において、通知制御部１０４は、発話音声データをスピーカ５０から出力する。ユーザは、直近に思い付いた行動を度忘れした場合であっても、スピーカ５０から出力される発話音声を聞くことで、度忘れした行動を思い出すことができる。

このように、本実施の形態１では、ユーザが直近に思い付いた行動を忘れてしまった場合に、ユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。

なお、本実施の形態１では、通知制御部１０４は、発話音声データをスピーカ５０に出力させているが、本開示は特にこれに限定されず、通知制御部１０４は、発話音声データを文字データに変換し、変換した文字データを表示部に表示させてもよい。この場合、行動通知装置１は、スピーカ５０に替えて表示部を備える。

また、行動通知装置１は、スピーカ５０と表示部とを備えてもよく、通知制御部１０４は、発話音声データをスピーカ５０から出力するとともに、発話音声データから生成した文字データを表示部に表示してもよい。

また、本実施の形態１では、通知制御部１０４は、ユーザが発話した発話音声データをそのままスピーカ５０に出力させているが、本開示は特にこれに限定されず、通知制御部１０４は、発話音声データから名詞及び動詞の単語を抽出し、抽出した単語を組み合わせてユーザが次に行う予定の行動を通知する通知音声データを生成し、生成した通知音声データをスピーカ５０に出力させてもよい。例えば、発話音声データが「ジュースを飲みに行こう」であった場合、通知制御部１０４は、「ジュースを飲みに行くのではないですか」という通知音声データを生成してもよい。

また、本実施の形態１では、センサ２０は、加速度センサであるが、本開示は特にこれに限定されず、ユーザの動作、特に、ユーザの立ち上がり動作、移動動作及び静止動作を検出することが可能なセンサであれば、加速度センサに限定されない。センサ２０は、例えば、ユーザを撮影する画像センサであってもよい。この場合、動作検出部１０１は、画像センサによって取得された画像から、ユーザの動作を検出する。

（実施の形態２）
実施の形態１では、ユーザの立ち上がり動作が検出されたことをトリガーにして、発話音声データが取得されているが、ユーザが次に行う行動を思い付いた時点で、ユーザが必ずしも座っているとは限らない。そこで、実施の形態２では、ユーザの移動が開始されたことをトリガーにして、発話音声データが取得される。

図４は、本開示の実施の形態２における行動通知装置の構成を示す図である。図４に示す行動通知装置１Ａは、マイク１０、センサ２０、メモリ３０、プロセッサ４０Ａ及びスピーカ５０を備える。なお、本実施の形態２において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。

プロセッサ４０Ａは、動作検出部１０１Ａ、発話音声取得部１０２Ａ、静止状態判断部１０３及び通知制御部１０４を備える。

動作検出部１０１Ａは、センサ２０からの出力波形を用いて、ユーザの移動動作、ユーザの静止動作及びユーザの所定の動作を検出する。なお、本実施の形態２における所定の動作は、ユーザの移動動作である。動作検出部１０１Ａは、移動動作検出部１１２及び静止動作検出部１１３を備える。

発話音声取得部１０２Ａは、ユーザの行動を示し、ユーザによって発話された発話音声データを取得する。発話音声取得部１０２Ａは、ユーザが発話した発話音声データを音声記憶部２０１から取得し、取得した発話音声データを発話音声記憶部２０３に記憶する。発話音声取得部１０２Ａは、ユーザの所定の動作が検出されると、メモリ３０の音声記憶部２０１に記憶されている音声データの中から、ユーザの所定の動作が検出された時点を含む所定の期間内におけるユーザが発話した音声データを発話音声データとして抽出する。なお、本実施の形態２における所定の動作は、ユーザが移動する移動動作である。

続いて、本実施の形態２における行動通知装置１Ａの動作について説明する。

図５は、本実施の形態２における行動通知装置の動作について説明するためのフローチャートである。

まず、ステップＳ２１の処理は、図３のステップＳ１の処理と同じであるので、説明を省略する。

次に、ステップＳ２２において、移動動作検出部１１２は、ユーザの移動動作を検出したか否かを判断する。移動動作検出部１１２は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている移動動作の出力波形モデルとを比較する。そして、移動動作検出部１１２は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている移動動作の出力波形モデルとが一致する場合、ユーザの移動動作を検出する。

ここで、ユーザの移動動作を検出していないと判断された場合（ステップＳ２２でＮＯ）、ステップＳ２１に処理が戻る。

一方、ユーザの移動動作を検出したと判断された場合（ステップＳ２２でＹＥＳ）、ステップＳ２３において、発話音声取得部１０２Ａは、ユーザの行動を示し、ユーザによって発話された発話音声データを取得する。このとき、発話音声取得部１０２Ａは、メモリ３０の音声記憶部２０１に記憶されている音声データの中から、移動動作が検出された検出時点から所定時間前の第１時点から、当該検出時点から所定時間後の第２時点までの間の期間内におけるユーザが発話した発話区間を検出し、検出した発話区間の音声データを発話音声データとして抽出する。移動動作が行われたときに発せられたユーザの発話は、次に行うユーザの行動を示していると推定される。

なお、ステップＳ２３及びステップＳ２４の処理は、図３のステップＳ３及びステップＳ４の処理と同じであるので、説明を省略する。

次に、ステップＳ２５において、静止動作検出部１１３は、ユーザの静止動作を検出したか否かを判断する。静止動作検出部１１３は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている静止動作の出力波形モデルとを比較する。そして、静止動作検出部１１３は、センサ２０からの出力波形と、動作モデル記憶部２０２に記憶されている静止動作の出力波形モデルとが一致する場合、ユーザの静止動作を検出する。

ここで、ユーザの静止動作を検出していないと判断された場合（ステップＳ２５でＮＯ）、ステップＳ２６において、移動動作検出部１１２は、ユーザの移動動作が検出された時刻から所定時間が経過したか否かを判断する。なお、ユーザの移動動作が検出された時刻は、メモリ３０に記憶されている。ここで、ユーザの移動動作が検出された時刻から所定時間が経過していないと判断された場合（ステップＳ２６でＮＯ）、ステップＳ２５に処理が戻る。

一方、ユーザの移動動作が検出された時刻から所定時間が経過したと判断された場合（ステップＳ２６でＹＥＳ）、ステップＳ２１に処理が戻る。

ステップＳ２６の処理における所定時間は、タイムアウト時間である。ユーザの移動動作が検出されてから、所定時間が経過しても、ユーザの静止動作が検出されずにユーザの移動動作が検出され続けている場合、ステップＳ２１に処理が戻る。なお、本実施の形態２では、ステップＳ２２でユーザの移動動作が既に検出されているので、ステップＳ２５でユーザの静止動作が検出されるまでは、ユーザの移動動作が検出され続けている。

また、ユーザの静止動作を検出したと判断された場合（ステップＳ２５でＹＥＳ）、ステップＳ２７において、静止状態判断部１０３は、ユーザが静止した状態で所定時間が経過したか否かを判断する。

なお、ステップＳ２７～ステップＳ２９の処理は、図３のステップＳ８～ステップＳ１０の処理と同じであるので、説明を省略する。

このように、本実施の形態２では、ユーザが直近に思い付いた行動を忘れてしまった場合に、ユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。また、本実施の形態２では、ユーザの移動が開始されたことをトリガーにして、発話音声データを取得することができる。

（実施の形態３）
実施の形態１及び２では、ユーザの立ち上がり動作及び移動動作が検出されたことをトリガーにして、発話音声データが取得されているが、実施の形態３では、音声データが音声認識され、音声認識された音声データの中にユーザの行動を示す発話音声データが含まれていることをトリガーにして、発話音声データが取得される。

図６は、本開示の実施の形態３における行動通知装置の構成を示す図である。図６に示す行動通知装置１Ｂは、マイク１０、センサ２０、メモリ３０、プロセッサ４０Ｂ及びスピーカ５０を備える。なお、本実施の形態３において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。

プロセッサ４０Ｂは、動作検出部１０１Ｂ、発話音声取得部１０２Ｂ、静止状態判断部１０３、通知制御部１０４及び音声認識部１０５を備える。

動作検出部１０１Ｂは、センサ２０からの出力波形を用いて、ユーザの移動動作及びユーザの静止動作を検出する。動作検出部１０１Ｂは、移動動作検出部１１２及び静止動作検出部１１３を備える。

音声認識部１０５は、音声記憶部２０１に記憶されている音声データを音声認識する。音声認識部１０５は、デジタル化された音声データに対してメモリ３０内に記憶された音響モデル及び言語モデルを用いた公知の音声認識処理を実行することにより、音声データが示す音声に含まれている人物の発話の音声を検知し、音声データを当該発話の内容を表すテキストデータに変換する。なお、音声認識部１０５は、クラウドサーバ上に記憶された音響モデル及び言語モデルを利用してもよい。音響モデルは、音の波形サンプルを保持しており、言語モデルは、所定の言語の単語の並び方といった言葉の情報を保持している。クラウドサーバ上に記憶された音響モデル及び言語モデルを利用する場合は、行動通知装置１Ｂは、デジタル化された音声データをクラウドサーバに送信し、クラウドサーバ上で変換されたテキストデータを受信する。

発話音声取得部１０２Ｂは、ユーザの行動を示し、ユーザによって発話された発話音声データを取得する。発話音声取得部１０２Ｂは、ユーザが発話した発話音声データを音声記憶部２０１から取得し、取得した発話音声データを発話音声記憶部２０３に記憶する。

より具体的には、発話音声取得部１０２Ｂは、音声認識部１０５によって音声認識された音声データの中にユーザの行動を示す発話音声データが含まれている場合、メモリ３０に記憶されている音声データの中から発話音声データを抽出する。ここで、メモリ３０は、ユーザがこれから何らかの目的を達成するための行動を行おうとしていることを表す複数の文言を含むデータベースを記憶している。発話音声取得部１０２Ｂは、音声認識部１０５によって音声データから変換したテキストデータと、メモリ３０が記憶しているデータベース内の文言とを比較する。発話音声取得部１０２Ｂは、データベース内の文言と一致する文言を含むテキストデータが存在する場合、当該テキストデータに対応する音声データを発話音声データとして抽出する。

例えば、データベースが「行こう」という文言を記憶しており、ユーザが「ジュースを飲みに行こう」と発話した場合、「ジュースを飲みに行こう」というテキストデータには「行こう」という文言が含まれているので、発話音声取得部１０２Ｂは、「ジュースを飲みに行こう」という音声データを発話音声データとして抽出する。

続いて、本実施の形態３における行動通知装置１Ｂの動作について説明する。

図７は、本実施の形態３における行動通知装置の動作について説明するための第１のフローチャートであり、図８は、本実施の形態３における行動通知装置の動作について説明するための第２のフローチャートである。

まず、ステップＳ４１の処理は、図３のステップＳ１の処理と同じであるので、説明を省略する。

次に、ステップＳ４２において、音声認識部１０５は、メモリ３０の音声記憶部２０１に記憶されている音声データを音声認識する。

次に、ステップＳ４３において、発話音声取得部１０２Ｂは、音声認識部１０５によって音声認識された音声データの中にユーザの行動を示す発話音声データが含まれているか否かを判断する。ここで、音声データの中にユーザの行動を示す発話音声データが含まれていないと判断された場合（ステップＳ４３でＮＯ）、ステップＳ４１に処理が戻る。

一方、音声データの中にユーザの行動を示す発話音声データが含まれていると判断された場合（ステップＳ４３でＹＥＳ）、ステップＳ４４において、発話音声取得部１０２Ｂは、音声記憶部２０１に記憶されている音声データの中から、ユーザの行動を示す発話音声データを取得する。

次に、ステップＳ４５において、発話音声取得部１０２Ｂは、取得した発話音声データを発話音声記憶部２０３に記憶する。

なお、ステップＳ４６～ステップＳ５１の処理は、図３のステップＳ５～ステップＳ１０の処理と同じであるので、説明を省略する。

このように、本実施の形態３では、ユーザが直近に思い付いた行動を忘れてしまった場合に、ユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。また、本実施の形態３では、音声認識された音声データの中にユーザの行動を示す発話音声データが含まれていることをトリガーにして、発話音声データを取得することができる。

（実施の形態４）
実施の形態１では、ユーザの立ち上がり動作が検出された時点で取得された発話音声データがスピーカから出力されるが、本実施の形態４では、ユーザが静止した状態で所定時間が経過したと判断された場合に、ユーザの立ち上がり動作が検出された時点で取得された発話音声データが音声認識され、音声認識された発話音声データがユーザに通知すべき発話音声データである場合に、当該発話音声データがスピーカから出力される。

図９は、本開示の実施の形態４における行動通知装置の構成を示す図である。図９に示す行動通知装置１Ｃは、マイク１０、センサ２０、メモリ３０、プロセッサ４０Ｃ及びスピーカ５０を備える。なお、本実施の形態４において、実施の形態１と同じ構成については同じ符号を付し、説明を省略する。

プロセッサ４０Ｃは、動作検出部１０１、発話音声取得部１０２、静止状態判断部１０３、通知制御部１０４Ｃ、音声認識部１０６及び発話音声判断部１０７を備える。

音声認識部１０６は、発話音声記憶部２０３に記憶されている発話音声データを音声認識する。音声認識部１０６は、デジタル化された発話音声データに対してメモリ３０内に記憶された音響モデル及び言語モデルを用いた公知の音声認識処理を実行することにより、発話音声データが示す音声に含まれている人物の発話の音声を検知し、発話音声データを当該発話の内容を表すテキストデータに変換する。なお、音声認識部１０６は、クラウドサーバ上に記憶された音響モデル及び言語モデルを利用してもよい。音響モデルは、音の波形サンプルを保持しており、言語モデルは、所定の言語の単語の並び方といった言葉の情報を保持している。クラウドサーバ上に記憶された音響モデル及び言語モデルを利用する場合は、行動通知装置１Ｃは、デジタル化された発話音声データをクラウドサーバに送信し、クラウドサーバ上で変換されたテキストデータを受信する。

発話音声判断部１０７は、発話音声データが、ユーザに通知すべき発話音声データであるか否かを判断する。

より具体的には、メモリ３０は、ユーザがこれから何らかの目的を達成するための行動を行おうとしていることを表す複数の文言を含むデータベースを記憶している。発話音声判断部１０７は、音声認識部１０６によって発話音声データから変換したテキストデータと、メモリ３０が記憶しているデータベース内の文言とを比較する。発話音声判断部１０７は、テキストデータに含まれる文言がデータベース内の文言と一致する場合、発話音声データが、ユーザに通知すべき発話音声データであると判断する。一方、発話音声判断部１０７は、テキストデータに含まれる文言がデータベース内の文言と一致しない場合、発話音声データが、ユーザに通知すべき発話音声データではないと判断する。

例えば、データベースが「行こう」という文言を記憶しており、ユーザが「ジュースを飲みに行こう」と発話した場合、「ジュースを飲みに行こう」というテキストデータには「行こう」という文言が含まれているので、発話音声判断部１０７は、「ジュースを飲みに行こう」という発話音声データが、ユーザに通知すべき発話音声データであると判断する。

通知制御部１０４Ｃは、静止状態判断部１０３によってユーザが静止した状態で所定時間が経過したと判断され、かつ発話音声判断部１０７によって発話音声データが、ユーザに通知すべき発話音声データであると判断された場合、発話音声データに基づいて、ユーザの行動の内容を通知する。この場合、通知制御部１０４Ｃは、発話音声データをスピーカ５０に出力させる。

続いて、本実施の形態４における行動通知装置１Ｃの動作について説明する。

図１０は、本実施の形態４における行動通知装置の動作について説明するための第１のフローチャートであり、図１１は、本実施の形態４における行動通知装置の動作について説明するための第２のフローチャートである。

まず、ステップＳ６１～ステップＳ６８の処理は、図３のステップＳ１～ステップＳ８の処理と同じであるので、説明を省略する。

ユーザが静止した状態で所定時間が経過したと判断された場合（ステップＳ６８でＹＥＳ）、ステップＳ６９において、音声認識部１０６は、発話音声記憶部２０３から発話音声データを読み出す。

次に、ステップＳ７０において、音声認識部１０６は、発話音声記憶部２０３から読み出した発話音声データを音声認識する。

次に、ステップＳ７１において、発話音声判断部１０７は、音声認識部１０６によって音声認識された発話音声データが、ユーザに通知すべき発話音声データであるか否かを判断する。ここで、音声認識された発話音声データが、ユーザに通知すべき発話音声データではないと判断された場合（ステップＳ７１でＮＯ）、ステップＳ１に処理が戻る。

一方、音声認識された発話音声データが、ユーザに通知すべき発話音声データであると判断された場合（ステップＳ７１でＹＥＳ）、ステップＳ７２において、通知制御部１０４Ｃは、発話音声データをスピーカ５０から出力する。

このように、本実施の形態４では、ユーザが直近に思い付いた行動を忘れてしまった場合に、ユーザに思い出させることができ、ユーザの精神的な負担を軽減することができる。また、本実施の形態４では、ユーザの所定の動作が検出されたことをトリガーにして取得された発話音声データが、ユーザに通知すべき発話音声データである場合に、発話音声データに基づいて、ユーザの行動の内容が通知されるので、不要な情報がユーザに通知されるのを防止することができ、必要な情報のみをユーザに通知することができる。

なお、本実施の形態４では、ユーザが静止した状態で所定時間が経過したと判断された場合に、発話音声記憶部２０３に記憶されている発話音声データが音声認識され、音声認識された発話音声データが、ユーザに通知すべき発話音声データであるか否かが判断されるが、本開示は特にこれに限定されず、ユーザの立ち上がり動作が検出された場合に、取得された発話音声データが音声認識され、音声認識された発話音声データが、ユーザに通知すべき発話音声データであるか否かが判断されてもよい。そして、音声認識された発話音声データが、ユーザに通知すべき発話音声データであると判断された場合に、当該発話データが発話音声記憶部２０３に記憶され、音声認識された発話音声データが、ユーザに通知すべき発話音声データではないと判断された場合に、ステップＳ１に処理が戻ってもよい。

また、本実施の形態１～４では、行動通知装置１，１Ａ，１Ｂ，１Ｃは、例えばスマートフォンであり、全ての構成を備えているが、本開示は特にこれに限定されず、行動通知システムが、マイク１０、スピーカ５０及び通信部を備える端末装置と、メモリ３０、プロセッサ４０，４０Ａ，４０Ｂ，４０Ｃ及び通信部を備えるサーバと、センサ２０及び通信部を備える測定装置とを備えてもよい。この場合、サーバは、端末装置及び測定装置と互いに通信可能に接続されてもよい。また、端末装置は、ユーザの住居内に設置され、マイク１０によって取得された音声データをサーバへ送信する。測定装置は、ユーザによって所持され、センサ２０によって測定されたセンシングデータをサーバへ送信する。サーバは、発話音声データを端末装置へ送信する。端末装置は、受信した発話音声データをスピーカ５０から出力する。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

本開示に係る情報処理方法、情報処理装置及び情報処理プログラムは、ユーザが直近に思い付いた行動を忘れてしまった場合に、当該行動をユーザに思い出させることができ、ユーザの精神的な負担を軽減することができるので、ユーザが忘れてしまった行動を通知する情報処理方法、情報処理装置及び情報処理プログラムとして有用である。

１，１Ａ，１Ｂ，１Ｃ 行動通知装置
１０ マイク
２０ センサ
３０ メモリ
４０，４０Ａ，４０Ｂ，４０Ｃ プロセッサ
５０ スピーカ
１０１，１０１Ａ，１０１Ｂ 動作検出部
１０２，１０２Ａ，１０２Ｂ 発話音声取得部
１０３ 静止状態判断部
１０４，１０４Ｃ 通知制御部
１０５，１０６ 音声認識部
１０７ 発話音声判断部
１１１ 立ち上がり動作検出部
１１２ 移動動作検出部
１１３ 静止動作検出部
２０１ 音声記憶部
２０２ 動作モデル記憶部
２０３ 発話音声記憶部

Claims (9)

1. コンピュータが、
   ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得し、
   前記ユーザの移動動作を検出し、
   前記ユーザの静止動作を検出し、
   前記ユーザが静止した状態で所定時間が経過したか否かを判断し、
   前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知し、
   周辺の音声データを取得し、
   前記音声データをメモリに記憶し、
   前記ユーザの所定の動作を検出し、
   前記発話音声データの取得は、前記ユーザの前記所定の動作が検出されると、前記メモリに記憶されている前記音声データの中から、前記ユーザの前記所定の動作が検出された時点を含む所定の期間内における前記ユーザが発話した音声データを前記発話音声データとして抽出する、
   情報処理方法。
2. 前記所定の動作は、前記ユーザの立ち上がり動作である、
   請求項１記載の情報処理方法。
3. 前記所定の動作は、前記ユーザの移動動作である、
   請求項１記載の情報処理方法。
4. 前記行動の内容の通知は、前記発話音声データをスピーカに出力させる、
   請求項１～３のいずれか１項に記載の情報処理方法。
5. 前記行動の内容の通知は、前記発話音声データを文字データに変換し、変換した前記文字データを表示部に表示させる、
   請求項１～３のいずれか１項に記載の情報処理方法。
6. さらに、前記発話音声データが、前記ユーザに通知すべき発話音声データであるか否かを判断し、
   前記行動の内容の通知は、前記ユーザが静止した状態で前記所定時間が経過したと判断され、かつ前記発話音声データが、前記ユーザに通知すべき発話音声データであると判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知する、
   請求項１～５のいずれか１項に記載の情報処理方法。
7. 前記移動動作の検出は、加速度センサからの出力波形を用いて前記ユーザの前記移動動作を検出し、
   前記静止動作の検出は、前記加速度センサからの出力波形を用いて前記ユーザの前記静止動作を検出する、
   請求項１～６のいずれか１項に記載の情報処理方法。
8. ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得する取得部と、
   前記ユーザの移動動作を検出する移動動作検出部と、
   前記ユーザの静止動作を検出する静止動作検出部と、
   前記ユーザが静止した状態で所定時間が経過したか否かを判断する判断部と、
   前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知する通知部と、
   周辺の音声データを取得し、前記音声データをメモリに記憶する音声データ取得部と、
   前記ユーザの所定の動作を検出する所定動作検出部と、
   を備え、
   前記取得部は、前記ユーザの前記所定の動作が検出されると、前記メモリに記憶されている前記音声データの中から、前記ユーザの前記所定の動作が検出された時点を含む所定の期間内における前記ユーザが発話した音声データを前記発話音声データとして抽出する、
   情報処理装置。
9. ユーザの行動を示し、前記ユーザによって発話された発話音声データを取得し、
   前記ユーザの移動動作を検出し、
   前記ユーザの静止動作を検出し、
   前記ユーザが静止した状態で所定時間が経過したか否かを判断し、
   前記ユーザが静止した状態で前記所定時間が経過したと判断された場合、前記発話音声データに基づいて、前記ユーザの前記行動の内容を通知し、
   周辺の音声データを取得し、
   前記音声データをメモリに記憶し、
   前記ユーザの所定の動作を検出するようにコンピュータを機能させ、
   前記発話音声データの取得は、前記ユーザの前記所定の動作が検出されると、前記メモリに記憶されている前記音声データの中から、前記ユーザの前記所定の動作が検出された時点を含む所定の期間内における前記ユーザが発話した音声データを前記発話音声データとして抽出する、
   情報処理プログラム。

Images