JP2018173763A - 行動支援システム、行動支援方法 - Google Patents

Abstract

【課題】見守り対象者に対して好ましい行動を促すことができる行動支援システムを提供することにある。【解決手段】居住空間における対象者を撮像する撮像部と、前記撮像された結果に基づいて対象者の行動を検出する行動検出部と、前記検出された行動に基づく感情がポジティブであるかネガティブであるかを判定する感情判定部と、前記感情の判定結果に応じたメッセージを出力する出力部と、を有する。【選択図】図１

Description

本発明は、行動支援システム、行動支援方法に関する。

近年、日本において高齢者の比率が増加傾向にある。高齢者がいる世帯においては、高齢者が単独または高齢者どうしの夫婦のみである世帯が、５０％を超えており、その比率も増加傾向にある。このような高齢者に対する施策は、例えば、在宅および地域包括ケアの方向に向かっている。また、独居高齢者の生活行動をコンピュータシステムを利用して検知する各種方法も提案されている。例えば、特許文献１には、カメラ画像により表情認識を行い、ポジティブな感情とネガティブな感情を分類し、健康状態を推定するシステムが開示されている。

特開２０１６−１４７００６号公報 特開２００９−２９４６４７号公報 特開２０１６−１０３０８１号公報

しかしながら、上述したコンピュータシステムを用いた場合には、健康状態であるか否かを推定することはできるが、健康であるか否かという現在の状況を判定，把握するに留まるものである。そこで、現状ではなく、これからどのように過ごせばよいか、日常的な生活習慣について、好ましい行動を増やしていくという観点から、健康につながる可能性を向上させていくことも必要であると考えられる。

本発明は、このような事情に鑑みてなされたもので、その目的は、見守り対象者に対して好ましい行動を促すことができる行動支援システムを提供することにある。

上述した課題を解決するために、本発明は、行動空間における対象者を撮像する撮像部と、前記撮像された結果に基づいて対象者の行動を検出する行動検出部と、前記検出された行動に基づく感情がポジティブであるかネガティブであるかを判定する感情判定部と、前記感情の判定結果に応じてポジティブな感情を肯定するためのメッセージを出力する出力部と、を有する。
また、本発明は、行動空間に設けられたセンサからの検出結果に基づいて対象者の行動を検出する行動検出部と、前記行動検出部で検出された結果に基づいて対象者の感情がポジティブであるかネガティブであるかを判定する感情判定部と、前記感情の判定結果に応じてポジティブな感情を肯定するためのメッセージを出力する出力部と、を有する。

また、本発明は、撮像部が、居住空間における対象者を撮像し、行動検出部が、前記撮像された結果に基づいて対象者の行動を検出し、感情判定部が、前記検出された行動に基づく感情がポジティブであるかネガティブであるかを判定し、出力部と、前記感情の判定結果に応じたメッセージを出力する行動支援方法である。

以上説明したように、この発明によれば、対象者のポジティブな感情が検出された場合にメッセージを送信するようにしたので、対象者に対して好ましい行動を促すことができる。

この発明の一実施形態による行動支援システムの構成を示す概略ブロック図である。 行動支援装置１４０の構成を示す機能ブロック図である。 記憶部１４５３に記憶される行動情報データの一例を表す図である。 宅内サブシステム１０の動作を説明するフローチャートである。

以下、本発明の一実施形態による行動支援システムについて図面を参照して説明する。
図１は、この発明の一実施形態による行動支援システムの構成を示す概略ブロック図である。行動支援システム１は、宅内サブシステム１０、行動支援装置２０、報知端末３０がネットワーク４０を介して接続される。

宅内サブシステム１０において、センサ（例えば、圧力センサ１１０、温度・湿度センサ１２０、照度センサ１３０）は、カメラ１００が撮像する撮像領域における各種環境（音、圧力、温度、湿度、照度等）を計測する。

宅内サブシステム１０は、１または複数のカメラ１００（この実施形態においては、一例として２台）、マイク１０５、圧力センサ１１０、温度・湿度センサ１２０、照度センサ１３０、行動支援装置１４０、報知端末１５０を含んで構成される。
カメラ１００やマイク１０５は、有線ＬＡＮ（ローカルエリアネットワーク）または無線ＬＡＮ等を介して行動支援装置１４０に接続される。これらカメラ１００、マイク１０５は、リビング、玄関、寝室、台所、浴室、トイレ、階段等の行動空間（ここで、居住空間）の各部位に配置される。１つのカメラ１００の撮像可能領域が１つの評価対象領域全てを撮像できない場合には、複数のカメラ１００によって１つの評価対象領域を撮像するようにしてもよい。

圧力センサ１１０、温度・湿度センサ１２０、照度センサ１３０は、カメラ１００の撮像範囲やマイク１０５の集音対象の範囲における環境に関する測定を行なう。例えば、圧力センサ１１０、温度・湿度センサ１２０、照度センサ１３０は、各カメラ１００の配置された空間毎に設置され、有線または無線によって行動支援装置１４０に接続される。
温度・湿度センサ１２０、照度センサ１３０は、カメラ１００と一体となった１つの装置として構成するようにしてもよいし、より体感に近い場所、例えば、床面から１ｍ程度の高さの壁面に取り付けるようにしてもよい。

圧力センサ１１０は、移動経路上の床面に設置され、その検出結果から、歩行状態の検出や移動ルートの検出を行なうことが可能である。評価対象領域が階段である場合、圧力センサ１１０は、階段の踏面に設置され、評価対象領域が玄関である場合には、上がり框や、ポーチの床面に設置される。この検出結果を用いることで、框に設置した圧力センサ１１０の検出結果から、靴の着脱における体への負担について評価したり、ポーチに設置した圧力センサ１１０の検出結果から、ポーチを移動する際の足への負担を計測、評価したりすることが可能となる。また、圧力センサ１１０は、階段や廊下に設けられた手すりに設置することもできる。

ここでは、圧力センサ１１０、温度・湿度センサ１２０、照度センサ１３０の他に、振動センサ、接触センサなどを用いるようにしてもよい。

報知端末１５０は、画面上に情報を出力したり、スピーカから音声を出力することで、視覚と音声とのうち少なくともいずれか一方により利用者に対するメッセージを出力したりすることで、注意を喚起する等、各種通知をする機能を有する。
また、報知端末１５０は、カメラ１００の撮像対象となる評価対象領域に配置することで、その評価対象領域においてメッセージを出力して注意を喚起することもできる。例えば、良好な位置としては、天井面であれば階段灯の付近であり、壁面であれば、踊り場のある壁の天井近くの位置があげられる。報知端末１５０は、有線または無線によって接続される。報知端末１５０は、可搬型の端末装置（携帯電話等）であってもよく、タブレットやスマートフォンで、その機能を代用してもよい。また、報知端末１５０として携帯電話、タブレット、スマートフォン等のいずれかの機器を用いる場合、その機器に搭載されたカメラをカメラ１００として用いるようにしてもよい。

行動支援装置１４０は、居住空間における生活者（対象者）の行動をカメラ１００とマイク１０５、およびセンサ（圧力センサ１１０、温度・湿度センサ１２０、照度センサ１３０）で計測・測定をし、カメラ１００の撮像結果またはマイク１０５の音声によって対象者を識別し、カメラの撮像画像から行動や表情から対象者の感情がポジティブであるかネガティブであるかを識別し、識別した結果に応じて、ポジティブな行動を増やすためのメッセージを出力するものである。

行動支援装置１４０は、例えば、ポジティブ行動が観測（検出）された場合に、その行動と行動から判断したポジティブ指数を記録する。また、記録されたデータは、広域ネットワーク（ネットワーク４０）で接続された行動支援サーバに送る。ポジティブ行動が観測（検出）された場合には、直ちに報知端末１５０が、音声または（／および）視覚情報または（／および）振動等の感覚刺激により、対象者に対して発生を知らせる。

また、この報知端末１５０は、スマートフォン等の個人用携帯端末であってもよい。また、行動支援サーバ２０は、報知端末１５０に送信された同じ情報を、予め登録されたこの対象者に関係する関係者の報知端末３０に送信し、この情報を受信した報知端末３０を受信した報知端末３０の関係者は直ちに応答（ポジティブ行動を確認した旨やその応援）を本人に伝えることができる。

所定の行動がなされたか否かに関する記録は、行動支援装置１４０がセンサデータ（カメラ１００、マイク１０５、圧力センサ１１０、温度・湿度センサ１２０、照度センサ１３０等からの得られる結果）とともに内部の記憶部に記録する。

行動支援サーバ２０は、行動支援装置１４０からメッセージを受信するとともに当該メッセージの送信の要求があると、メッセージの送信先となる報知端末３０に対してメッセージを送信する。また、行動支援サーバ２０は、行動支援装置１４０から送信される各種情報を記憶することもできる。ここで、行動支援サーバ２０は、宅内サブシステム１０から得られるセンサデータのうち、画像データは、収集せず、記憶しないようにすることで、対象者のプライバシーを確保することができる。ただし、必要に応じて、外部の所定の端末装置からの指示等にしたがって宅内サブシステム１０にアクセスし、カメラ１００の撮像画像を収集し、利用者の関係者が利用する報知端末３０等に送信する機能を設けるようにしてもよい。この場合、セキュリティを確保したうえで、報知端末３０に対して当該カメラ画像を提供することが好ましい。

また、行動支援サーバは、各センサによって取得した複数のデータから対象者の傾向データを作成し、登録された見守り情報として報知端末３０に配信するとともに対象者の日常データのサマリとアラームを報知端末３０に報知する。
必要に応じ、外部から宅内サブシステムにアクセスして画像を収集し、セキュリティを確保したうえで提供してもよい。

図２は、行動支援装置１４０の構成を示す機能ブロック図である。行動支援装置１４０において、カメラインタフェース部１４１は、各カメラ１００から得られる画像データ等を取得する。センサインタフェース１４２は、マイク１０５から得られる音声信号を取得する。
センサインタフェース１４３は、圧力センサ１１０、温度・湿度センサ１２０、照度センサ１３０から得られる検出結果を受信する。
高域通信モジュール１４４は、ネットワーク４０を介して行動支援サーバ２０と各種情報の送受信を行なう。宅内通信モジュール１４５は、報知端末１５０と通信を行なう。

情報処理モジュール１４５は、行動支援装置１４０内の各部の制御や各種情報処理を行なう。
画像処理部１４５１は、カメラ１００によって撮像された結果に基づいて対象者の行動を検出する。例えば、画像処理部は、例えば、各カメラ１００によって得られる画像に対象者が含まれているか否かを検出する。対象者が含まれているか否かについては、予め対象者の顔画像を登録しておき、この顔画像とカメラ１００によって得られた画像とのマッチングを行ない、所定以上のマッチングの度合があった場合には、対象者であると判定する。また、画像処理部１４５１は、カメラ１００によって得られた画像に対象者が含まれていると検出された場合には、カメラ１００によって撮像された対象者の顔画像領域を抽出し、この顔画像領域に含まれる画像に基づいて、ポジティブ指数を算出する。

画像処理部１４５１は、検出された行動の継続時間を検出する。この行動の継続時間は、所定の動作が開始された時点から所定の動作が終了した時点までの時間を計測することで得られる。
また、この行動の継続時間の検出は、マイク１０５の検出結果に基づいて、制御部１４５６が検出するようにしてもよい。

感情判定部１４５２は、検出された行動に基づく感情がポジティブであるかネガティブであるかを判定する。感情判定部１４５２は、撮像結果と音声とに基づいて感情の判定を行なう。
感情判定部１４５２は、撮像結果または音声に基づいて、感情の判定を行なうとともに、当該ポジティブまたはネガティブの度合を判定する。

ここで、顔画像からポジティブを表す表情であるか否かを判定する技術については、例えば、「ＵＮＭＡＳＫING THE FACE by Paul Ekman and Wallace V. Friesen 1975 by PRENTICE=HALL, INC.」（表情分析入門 Ｐ．エクマン・Ｘ．Ｖ．フリーセン 株式会社 誠信書房 1987）において開示されている。この表情判定技術は、額、眉、瞼、頬、鼻、唇、顎の変わり具合に応じて感情の表出を読み取るものであり、例えば、顔画像から感情を、「驚き」、「恐怖」、「嫌悪」、「怒り」、「幸福」、「悲しみ」、「無表情」の７つに分類することができる。ここでは、顔画像の分類は、この７分類であってもよいが、ポジティブを表す表情をさらに５分類した１２分類としてもよい。
また、この表情判定技術は、例えば、「唇の両端は後ろに引かれ、多少上がっている」、「頬は持ち上げられている」という特徴量を含む画像が、顔画像領域から検出されると「幸福」であると判定される。また、「笑いの表情」は、明らかに「幸福」として分類するとしても、幸福の表情の判定には、瞼や顔の下部に特徴のある表情が現れる一方で、眉と額は、幸福の表情に必ずしも関与しないとされている。しかしながら、これらの部位の変化も同時に検出される。その結果、驚きの特徴と幸福の特徴が同時に検出されるケースは多い。実際に幸福の表情の表出は、「幸福と驚きの混合」、「幸福と軽蔑の混合」、「幸福と怒りの混合」、「幸福と恐怖の混合」のパターンに分類することもできるとされている。

また、表出する特徴の強度に基づいて分類することができる。例えば、「かすかな幸福」、「中程度の幸福」、「極端な幸福」と分類したり、特徴量の検出部位の数と、その確率の高さによってスコアリングしたりする等の方法も考えられる。
ここで、「ポジティブ指数」は、「ポジティブ」と「それ以外」を表す２値によって表すようにしてもよいが、多段階によって表すようにしてみよい。つまり、ポジティブな感情を表す特徴検出ができれば「ポジティブ」とし、ポジティブな感情を表す特徴検出ができなかった場合には「それ以外」とすることもできるし、スコアリングすることもできる。「ポジティブ指数」は、例えば、ポジティブな感情を表す特徴量に応じて点数を付与し、さらに、ポジティブな感情が継続した継続時間を測定し、この点数と時間とに基づいて決めることができる。例えば、このような決め方は、特許文献１に記載された方法を用いることができる。

また、感情判定部１４５２は、画像処理部１４５１において所定の行動が検出された場合に、この検出された行動を行なった際における対象者の音声を、マイク１０５から取得し、取得した音声から対象者の声がポジティブであるか否かを判定する。判定部１４５２は、ポジティブであると判定された音声に基づいてポジティブである度合を表すポジティブ指数を求める。

ポジティブな音声であるか否かの判定は、例えば、次のように行なうことができる。すなわち、あらかじめ対象者について、発話単位毎に感じ取れる感情と、発話の音声パラメータと感情を関連付けて記憶部１４５７に記憶しておく。この記憶は、発話された際における感情が何であったかを実験を行なうことで関連性を確認し、その結果を発話された際の音声の特徴パラメータと、確認された感情とを対応づけることで音声感情データとして記憶する。そして、画像認識の場合と同様に、マイク１０５によって得られた音声から音声の特徴パラメータを取得し、その特徴パラメータから、いずれの感情に属するかを予め記憶された音声感情データを参照することで、感情のカテゴリーが「幸福」であることを検出した場合にポジティブな音声であると判定する。ポジティブな音声であるか否かの判定を行なう際には、感情判定部１４５２は、記憶部１４５７に記憶された音声の特徴パラメータと、マイク１０５から得られた音声データとを比較し、その一致度合に応じて点数を付与し、この点数を「ポジティブ指数」として用いることができる。

また、ポジティブであるか否かの判定基準として、検出した行動が行なわれている期間内において、感情のカテゴリーが「幸福」であることを発生した回数を判定基準として用いることができる。例えば、判定基準として「３回」を記憶されている場合、画像処理部１４５１において対象となる行動が検出されている期間内において、マイク１０５から入力された音声から、感情のカテゴリーが「幸福」であることが３回以上発生した場合に、ポジティブな音声であると判定する。例えばこのような技術は、特許文献２に記載されている。
なお、ここで関連づける音声パラメータは、会話の調子（トーンおよび／またはテンポ）を特徴パラメータとして用いるようにしてもよいし、音声スペクトラムの分析を行なって得られた分析結果を用いるようにしてもよい。例えば、このような技術は特許文献３に記載されている。

出力タイミング決定部１４５３は、感情判定部１４５２の判定結果に応じてポジティブな感情を肯定するためのメッセージを出力する。

出力部１４５４は、出力タイミング決定部１４５３によって決定されたタイミングでメッセージを出力する。出力するタイミングとしては、例えば、検出された行動が行なわれてから所定の時間内においてメッセージを出力するようなタイミングであってもよいし、検出された行動が終了してから所定の時間内においてメッセージを出力するようなタイミングであってもよい。
出力部１４５４は、感情の判定結果と行動の継続時間とに応じたメッセージを出力する。また、出力部１４５４は、感情の判定結果とポジティブの度合の判定結果に応じたメッセージを出力するようにしてもよい。

出力部１４５４は、感情判定部１４５２の判定結果に基づいてポジティブである場合に、検出された行動に対して肯定する意味を含むメッセージを報知端末１５０に対して出力する。メッセージとしては、判定結果に基づくメッセージや、報知端末３０から報知端末１５０に対して送信されるメッセージがある。この出力部１４５４は、判定結果がポジティブである場合に、検出された行動に対して肯定する意味を含むメッセージを対象者に対して出力する。このメッセージの出力は、検出された行動に対して肯定する意味を含むものであればよく、例えば、音声や、文字、画像、振動によって対象者に伝えることができる。
この出力部１４５４としては、表示パネルやスピーカの他に、メッセージを出力することができるものであれば、種々の装置を利用することができ、例えばロボットを適用することもできる。このロボットとしては、例えばタスク対応型ロボットを複数設け、これらの少なくとも１つからメッセージを出力させるようにしてもよい。また、出力部１４５４としては、例えば、家電機器、設備機器、AV機器のいずれかの機器に所定の動作させることで、メッセージを出力するようにしてもよい。

送信部１４５５は、感情判定部１４５２がポジティブな感情を判定した場合に、その判定結果と出力部１４５４から出力したメッセージを行動支援サーバ２０や報知端末３０に送信する。これにより、対象者以外の人（例えば見守りの担当者）に、対象者の様子を伝えることができる。
制御部１４５６は、情報処理モジュール１４５内の各部を制御する。
記憶部１４５７は、感情判定部１４５２による判定結果がポジティブである場合に、ポジティブと判定された表情や音声が検出された行動と各センサによって測定された測定結果とを記憶する。

図３は、記憶部１４５３に記憶される行動情報データの一例を表す図である。
行動情報データは、カメラ１００や各種センサによって得られたセンサデータ、情報処理モジュール１４５において用いられた各種情報が含まれる時系列の情報である。
日時は、各種センサから検出結果が得られた日付と時刻を表す情報である。
場所は、センサが設置された場所を表す情報であり、行動の判定が行なわれた画像を撮像したカメラ１００の撮像対象領域に対応している。すなわち、各センサがどの場所に設置されたかを特定可能な情報である。
対象者は、カメラ１００によって得られた画像またはマイク１０５によって得られた音声データを基に特定された人物（利用者）を表す情報である。
行動は、カメラ１００によって撮像され、画像処理部１４５１によって検出された、対象者の行動の種別を表す情報であり、撮像されたカメラ１００と、そのカメラが設置された場所（評価対象領域識別情報）との組み合わせから決まる情報である。例えば、カメラ１００が階段の天井に設置された場合には、行動として「移動」や、階段の昇降を表す行動として「上る」または「下る」がある。「上る」または「下る」のどちらの行動であるかについては、例えば、撮像された画像から、移動方向を特定し、予め決められた第１の方向（画像の変化領域が撮像領域の下側から上側に向かう場合）であれば、「階段を上る」行動であるとして特定され、予め決められた第２の方向（画像の変化領域が撮像領域の上側から下側に向かう場合）であれば、「階段を下る」行動であるとして特定される。この行動の特定は、画像処理部１４５１によって行なわれ、その検出結果が記憶される。

ポジティブ指数は、カメラ１００の撮像結果から行動が判定された際において、ポジティブな表情であるか、またはポジティブな音声であるかの判定が行なわれた際に得られたポジティブ指数を表す。
センサは、行動が検出された際において、その行動が行なわれた領域に設置されたセンサから得られたセンサデータであり、例えば、温度データや湿度データ、圧力データ等が用いられる。

このような構成を有することで、本実施形態における行動支援装置１４０は、周期的または定期的に実行される好ましい行動であるポジティブ行動（ポジティブ基本行動、ポジティブを表す表情、ポジティブな音声）を検出し、検出結果に応じたメッセージを対象者に対して出力することで、このようなポジティブな行動の維持を促す機能と、好ましい行動を発見し、メッセージを出力することでこれを習慣化し維持させる機能を提供する。具体的な方法としては居住空間内で生活者の行動をカメラとマイクで計測し、カメラまたは音声によって対象者を識別し、カメラによって行動を識別し、行動の好ましさを表すポジティブ指数を付加しセンサ情報と同時に記録するものである。

好ましい行動としては、事前に定義された行動（ポジティブ基本行動）と、所定の行動が行なわれた際の画像から検出される顔画像から、「リラックスしている」、「うれしい」等のポジティブに相当する表情であると定義された顔画像が検出された場合と、集音された音声データからポジティブな音声が検出された際の行動がある。

送信部１４５５は、感情判定部１４５２の判定結果がポジティブである場合に、ポジティブと判定されたことを表す通知情報をポジティブと判定された行動とともに報知端末３０に送信する。

次に、上述した行動支援システム１の動作について説明する。
図４は、宅内サブシステム１０の動作を説明するフローチャートである。
まず、画像処理部１４５１は、各カメラ１００から得られる画像から対象者の顔画像が含まれるか否かまたは、マイク１０５から得られる音声から対象者の音声が含まれるか否かに基づいて、対象者を検出したか否かを判定する（ステップＳ１０１−ＮＯ）。対象者を検出していな場合、画像処理部１４５１は、一定時間のウエイトの後、再度ステップＳ１０１の処理を実行する。一方、対象者の顔画像を検出した場合、または対象者の音声を検出した場合には（ステップＳ１０１−ＹＥＳ）、カメラ１００から得られる画像から所定の動作が検出されたか否かを判定する（ステップＳ１０２）。ここで、マイク１０５によって得られる集音領域とカメラ１００によって撮像可能な領域はなるべく同じとなるように設置条件等が調整されている。そのため、マイク１０５によって対象者の音声が検出されたが、カメラ１００によって対象者の顔画像が検出されなかった場合には、カメラ１００によって対象者は撮影されているが、対象者の向きがカメラ１００に対して真横あるいは後ろ向きとなっている可能性があるため、音声のみを元に対象者がいることを検出するようにしてもよい。

所定の動作が検出されていない場合（ステップＳ１０２−ＮＯ）、画像処理部１４５１は、処理をステップＳ１０４に移行する。

所定の動作が検出された場合（ステップＳ１０２−ＹＥＳ）、検出された所定の行動が検出された時点を開始として行動の継続時間の測定を開始をし（ステップＳ１０３）、ステップＳ１０４に移行する。

次に、感情判定部１４５２は、対象者の感情がポジティブであるか否かを判定する（ステップＳ１０４）。ここでは感情判定部１４５２は、画像処理部１４５１から得られる顔画像またはマイク１０５から得られる音声を元に、対象者の感情がポジティブであるか否かを判定する。感情判定部１４５２は、顔画像からポジティブであるか否かを判定する場合、画像処理部１４５１によって得られた対象者の顔画像から当該対象者の感情がポジティブであるか否かを判定する。また、感情判定部１４５２は、音声からポジティブであるか否かを判定する場合、マイク１０５から得られた対象者の音声から当該対象者の感情がポジティブであるか否かを判定する。ここで、感情判定部１４５２は、顔画像に基づく感情の判定結果と音声に基づく感情の判定結果の両方においてポジティブであると判定された場合に、対象者の感情がポジティブであると判定してもよいし、顔画像または音声のいずれかにおいて、ポジティブであることが検出された場合に対象者の感情がポジティブであると判定してもよい。

感情判定部１４５２は、感情の判定結果において、ポジティブではないと判定された場合には、ステップＳ１０２に移行する。ここで、ステップＳ１０３において、行動の継続時間の測定が行なわれている場合、行動の継続時間の測定を開始してから一定時間が経過している場合には、継続時間の測定をリセットしてもよい。これにより、所定動作を行なっているにもかかわらず、ポジティブな感情が検出されない状態が一定時間継続した場合には、別の所定の行動を検出するようにしてもよい。一方、一定時間が経過してなければ、画像処理部１４５１は、行動の継続時間の測定を継続しつつ、ステップＳ１０２に移行する。

感情判定部１４５２は、感情の判定結果において、ポジティブであると判定された場合には、行動履歴を記憶部１４５７に記憶する（ステップＳ１０５）。ここでは、感情判定部１４５２は、ステップＳ１０２において、所定の行動が検出されていない場合には、所定の行動が検出されなかったことと、感情の判定結果がポジティブであることを対応づけて記憶し、所定の行動が検出され行動の継続時間の測定が行なわれていた場合には、その測定開始からポジティブであることが検出されるまでの時間と、感情の判定結果がポジティブであることを対応づけて記憶する（ステップＳ１０５）。

次に、出力タイミング決定部１４５３は、行動の検出結果と感情の判定結果とを基に、メッセージの出力タイミングを決定する（ステップＳ１０６）。
例えば、出力タイミング決定部１４５３は、ポジティブな表情が検出された行動が終了した時点でメッセージを出力するようにしたタイミングとして決定してもよいし、ポジティブな表情が検出された行動が継続中であってもポジティブな表情が検出された段階でメッセージを出力するようにしたタイミングとして決定してもよいし、ポジティブな表情とポジティブな音声が検出された時点でメッセージを出力するようにすることもできる。例えば、ポジティブな表情、ポジティブな音声、メッセージを出力するタイミングを対応付けた出力タイミングルール情報を予め記憶しておくようにし、この出力タイミングルール情報に応じて出力タイミングを決定するようにしてもよい。

次に、出力部３０６は、行動の検出結果と感情の判定結果とに応じたメッセージを、ステップＳ１０６において決定されたタイミングで出力する（ステップＳ１０７）。

以上説明した実施形態によれば、対象者の感情がポジティブであることを検出したことに応じて、ポジティブな行動を維持あるいは今後も行なうように促すような、ポジティブな行動を肯定するメッセージを出力するようにした。これにより、対象者に対し、ポジティブな行動が行なわれたことに応じて、ポジティブな行動を肯定するメッセージを出力するようにしたので、対象者に対し、ポジティブな行動をしたことに応じて、肯定されたことを認識させることで、ポジティブな行動を今後も積極的に行なうように意識させることができる。

これは、学習心理学の基礎的理論のオペラント条件付けに基づいて、行動に対する「正の強化子」が与えられる環境を整えることができるため、ポジティブな行動が定着することによるものと考えられる。また、この場合、ポジティブな行動を肯定するメッセージは、ポジティブな行動が行なわれてから所定の時間内（例えば、すぐに）に出力することで、強化子がすぐに与えられため、効果をより高めることが可能となる。

ここで、マーティン・セリグマン（Martin E. P. Seligman, PhD）の理論として、「ポジティブ心理学」の理論がある（文献：Flourish, Martin E. P. Seligman, 2011, c/o Ink Well Management, LLC, New York、(日本語翻訳：ポジティブ心理学の挑戦、株式会社ディスカバリー・トゥエンティワン,2014)）。この理論においてWellbeingの評価方法については、幅広い分野で議論がなされているが、幸福について測定できる尺度を与えている。そして、Wellbeingの目標としては、「持続的幸福度の増大」としており、高齢期に健康的に長く暮し続けることを目標としたときに大きな関連性があると解釈できる。この文献で定義されている５つの評価尺度は、概ね以下のとおりである。
１．ポジティブな感情（主観的な快の感情とされている）
２．エンゲージメント（主観的に物事に熱中しているような状態ともいえる）
３．意味・意義（主観的に自分にとって意味があり、有意義であるという状態や感情とも表せる）
４．ポジティブな関係性（他者との関係の中で得られる、ポジティブな感情）
５．達成感（何かを達成したという思いや感覚とも表せる）
そして、これらの評価は、質問紙に対して回答する主観的評価によって行われるものではあるが、心理学の学問的には手法について厳密ではなくても、その主要な意味を理解して応用することは可能と考えられる。そこで、本実施形態では、上記の評価尺度のうち、「１．ポジティブな感情」の一部を「顔画像と音声」から判断し、「２．エンゲージメント」について、行動の継続時間と、その行動中の「顔画像と音声」から判断するという方法をとり、この２点について行動支援装置２０を利用することで、一部自動評価適用可能な事項を評価している。
なお、「３．意味、意義」の確認を行う為には、ロボットとのコミュニケーションで、言語化して行うようにしてもよい。

次に、具体的な場面について説明する。
《食事の準備》
台所に設置されたカメラ１００によって撮像された画像から、画像処理部１４５１は、調理場周辺において対象者の顔画像が検出され、包丁、まな板、ボウル等の道具を利用した所定の動作が検出されたか否かを判定する。包丁、まな板、ボウル等の道具については予め画像を登録しておくことで、カメラ１００によってこれらの道具が検出され、かつ、対象者が一定時間以上触れていると判定された場合に、所定の動作として「食事の準備」をしていると判定する。この際、対象者の顔画像から笑顔であることが判定された場合には、ポジティブな感情であると判定し、例えば「食事の準備、がんばっていますね」等のメッセージを台所に設置された表示パネルやスピーカから画像や音声によって出力する。メッセージの出力は、食事の準備をしている途中に行なうことで、ポジティブな感情を維持し引き続き食事の準備を行なうようにさせることもできる。継続時間としては、例えば、対象者が台所に設置されたカメラ１００によって撮像され包丁、まな板、ボウル等の道具を利用し始めた時点から、それらの道具をいずれも利用しなくなった時点まで、あるいは、台所から別の場所に移動した時点まで（その後、所定時間経過しても台所に戻って来なかった場合に確定）を計測することができる。

《掃除》
リビング、和室、洋室等のいずれかの場所に設置されたカメラ１００によって撮像された画像から、画像処理部１４５１は、対象者の顔画像が検出され、掃除機、ぞうきん等の道具を利用した所定の動作が検出されたか否かを判定する。掃除機、ぞうきん等の道具については予め画像を登録しておくことで、カメラ１００によってこれらの道具が検出され、かつ、対象者が一定時間以上触れていると判定された場合に、所定の動作として「掃除」をしていると判定する。また、掃除機を稼動させている間に発生する掃除機からの音をマイク１０５によって検出するようにしてもよい。この際、対象者の顔画像から笑顔であることが判定された場合には、ポジティブな感情であると判定し、例えば「部屋がきれいになっていますよ」等のメッセージをその部屋に設置された表示パネルやスピーカから画像や音声によって出力する。
メッセージの出力は、掃除をしている途中に行なうことで、ポジティブな感情を維持し引き続き掃除を行なうようにさせることもできる。
なお、継続時間としては、掃除機、ぞうきんなどの道具の利用を開始してから利用を終了するまでの時間を計測するようにしてもよい。また、掃除機であれば、掃除機を稼動させている際に発生する掃除機からの音をマイク１０５によって集音されていた時間を測定することで継続時間としてもよい。

《外出・帰宅》
玄関に設置されたカメラ１００によって撮像された画像から、画像処理部１４５１は、対象者の顔画像が検出され、靴を利用した所定の動作が検出されたか否かを判定する。靴については予め画像を登録しておくことで、カメラ１００によって検出された場合であって、対象者が靴を履く動作をしたと判定された場合には所定の動作として「外出」、対象者が靴を脱ぐ動作をしたと判定された場合には所定の動作として「帰宅」であると判定する。この際、対象者の顔画像から笑顔であることが判定された場合には、ポジティブな感情であると判定する。そして、「外出」が検出されていた場合には、「いってらっしゃいませ、今日は天気がよく気持ちいいですよ。」等のメッセージ、「帰宅」が検出されていた場合には、外出した時点から帰宅までの時間を継続時間として測定しておき、「お帰りなさいませ。外でゆっくり過ごすことができましたね。」等と時間を考慮したメッセージを玄関に設けられた表示パネルやスピーカから画像や音声によって出力することもできる。このようなメッセージの出力は、玄関において靴を脱ぐ、あるいは履く動作をしている途中に行なうことで、外出するあるいは外出した動作に対するメッセージであることをより印象深く伝えることができ、ポジティブな感情を維持し今度も外出しようという気分にさせることができる。

また、対象者がポジティブな感情であるか否かを顔画像を元に判定するようにしたが、各種センサと連動することにより、センサの検出結果に基づいて、ポジティブであることの可能性を検出し、ポジティブな行動を誘導することもできる。
例えば、「外出・帰宅」においては、玄関までのアプローチに対応する床、つまり廊下や階段の床に設置された圧力センサ１１０から、対象者の左足と右足に相当する検出領域の検出結果を得て、それぞれの検出結果を比較し、右足と左足の圧力のずれの量が所定の基準値よりも少ない場合は、歩行時の膝などの関節の痛みが少ないと推定することができる（関節の痛みがある場合には、いずれか一方の足の方が他方に比べてある程度高い圧力が検出される）。また、右足と左足に相当する検出領域の距離から、歩幅が所定の基準値よりも広い場合には、より軽快に行動ができているものと推定することができる。これらの観測結果（推定結果）も、ポジティブな感情が生じている要因の可能性として評価し、顔画像からの判断に加えて、各種センサからの出力も加味したメッセージを出力してもよい。
出力されるメッセージとしては、例えば、「今日は、体のバランスがいいですよ。お天気もいいですし、気持ちいいですね。」、また、「足取りが軽そうですね。気持ちよく外出ができそうですね」等のメッセージを出力することができる。これらのメッセージの作成のためには、天気予報サーバから得られる天気情報の参照も有効であり、降水確率が高い場合であって、まだ雨が降っていない場合には「傘を持っていったほうがいいです」とか「3時ごろから雨が降りそうです。帰りが遅くなるようでしたら、傘を持っていって下さいね」というメッセージも、ポジティブな感情が検出されたか否かとは関係なく出力することも有効である。このように、センサから行動の差異情報（右足と左足の圧力差異、歩幅の基準値からの差異の度合）を検出することを起点としてメッセージを流すこともできる。この場合、玄関先までコミュニケーションロボットが移動してからメッセージを出力することで対象者と会話をするようにしてもよい。
例えば、ロボットが「今日は、足取りがかるいですよ、ひざの具合がいいのですか？」とのメッセージを出力し、これに対応して対象者が「そうかもしれないね。」と発話すると、これをマイク１０５で検出したロボットが、「調子がいいですよ。気持ちよく外出ができそうですね」というメッセージを出力することで、会話を実現することができ、センサの差異情報対応づけてポジティブな要素があったこと（ポジティブな感情であると判定された結果）と対応付けて記憶していくこともできる。

具体例としては、食事の準備、掃除、外出・帰宅について例示したが、その他に、手芸や写経等の趣味に関する行動を行なった際のポジティブな表情が検出された場合には、エンゲージメントを観測し、この趣味を行なっている時間が予め決められた一定以上継続している場合に、物事に熱中している状態であると判定し、これをもってポジティブな行動であると判定するようにすることもできる。

なお、以上説明した実施形態において、感情判定部１４５２において感情がポジティブであると判定した場合において、ポジティブな行動を肯定するためのメッセージを出力するようにしたが、ネガティブな行動（ネガティブを表す表情や音声）が検出された場合には、ポジティブな行動に誘引するためのメッセージを出力するようにしてもよい。
例えば、感情判定部１４５２は、一定時間内にため息の回数が所定回数に到達したと判定した場合、「一休みしてみてはどうでしょうか」、「気分転換をしてみてはどうでしょうか」等のメッセージを出力するようにしてもよい。

また以上説明した実施形態において、出力部１４５４として、表示パネルやスピーカを用いる場合について説明したが、これらの出力に加えて、家電機器やタスクロボットを駆動させることによる出力を行なってもよいし、ユーザインタフェースと連動するようにしてもよい。
例えば、家電機器としてＤＶＤ（digital versatile disk）プレーヤを用いる場合、感情連携モードを付加して、次のような動作を行ってもいい。例えば、ポジティブな感情を検出した際、出力されるメッセージをより印象的にする為に、ＤＶＤによって再生する音楽の種類に応じて、ジャズやロック、ポップスでは、音量を上げることでダイナミックな強調をすることもできる。また、音楽の種類がバラードや環境音楽である場合には、照明装置との連携を実施し、音楽の再生とともに音楽の種類に応じて照明の演色性を変えて照明装置による照明を行うようにしてもよい。

また、出力部１４５４としてＤＶＤプレーヤ等の画像再生機能を持つ家電機器を用いる場合、ポジティブ行動を検出した検出結果（反応情報）に応じて、再生中の画像に関連付けすることができ、関連付けの関連度もマッチングが高い状況で、自動再生することもできる。
また、出力部１４５４として調理機器を用いる場合には、対象者の行動として調理を楽しんでいる状態を検出した場合、表示器の色が度合いに応じて変化するようにしてもよい。

また、出力部１４５４としてコミュニケーションロボットを用いる場合について説明する。コミュニケーションロボットとしてタスクロボット（掃除ロボット、介助ロボット等）を用いる場合、掃除ロボットは、ポジティブな感情が検出された場合には、対象者の楽しい気分を盛り上げる音楽を流すようにし、さらに、「私も、一緒にお掃除しましょうか？」、「音楽を再生しましょうか？」等のメッセージを音声や画像によって出力する、介助ロボットを用いる場合、介助ロボットが、対象者のお気に入りの写真を再生（表示パネル等に表示）し、スピーカから、「今日はおでかけしますか？ 予定を予約しますか？」等メッセージを出力し、対象者から「3時頃声をかけてくれ」等の応答をマイク１０５から得るようにすることで、対象者との間におけるコミュニケーションを増やすタイミングを作ることもできる。

また、出力部１４５４として、学習支援ロボット、認知症予防支援・回復支援ロボットを用いることもできる。ポジティブな感情が検出された場合、対象者のポジティブな感情（顔の表情や行動）に対する出力内容の関係を学習する学習タイミングであると検出し、対象者に対して積極的に声掛けするような出力をしたり、動作のトリガとしてもよい。これらの情報は、サーバで処理することもできるが、連携するロボットや、家電機器が、情報を要約整理してもいいし、複数の個性を持ったロボットが処理をしてもよい。対象者は、自身が気に入った反応をする物だけを残すことによって、より好ましい環境を構築することができる。

なお、上述の実施形態において、居住空間は、対象者の行動を検出する対象の空間（例えば「行動空間」）であればよい。行動空間は、人が居住する空間であってもよいし、また、移動や滞在など、対象者の行動を把握することができる空間であってもよい。例えば、「行動空間」には、住居内等である「居住空間」、仕事場等の仕事をする空間である「仕事場の空間」、歩道、道路、通路等の移動可能な空間である「移動空間」、百貨店等における買い物をしたり体育館等のスポーツをする空間である「活動空間」であってもよい。このような空間のいては、例えば、歩きながら対象者自身のスマートフォンで撮影したり、街の監視カメラによって撮像された撮像結果から、行動を検出するようにしてもよい。この場合、メッセージは、スマートフォンから出力したり、商店街に設置された電子広告板（ディスプレイ）等に表示させることで商店街にいる人に声を掛けるメッセージを出力するようにしてもよい。

上述した実施形態における行動支援装置１４０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 行動支援システム
１０ 宅内サブシステム
２０ 行動支援装置
３０、１５０ 報知端末
４０ ネットワーク
１００ カメラ
１１０ 圧力センサ
１２０ 温度・湿度センサ
１３０ 照度センサ
１４０ 行動支援装置
１４５１ 画像処理部
１４５２ 感情判定部
１４５３ 出力タイミング決定部

Claims (8)

1. 行動空間における対象者を撮像する撮像部と、
   前記撮像された結果に基づいて対象者の行動を検出する行動検出部と、
   前記検出された行動に基づく感情がポジティブであるかネガティブであるかを判定する感情判定部と、
   前記感情の判定結果に応じてポジティブな感情を肯定するためのメッセージを出力する出力部と、
   を有する行動支援システム。
2. 行動検出部は、前記行動空間に設けられたセンサからの検出結果に基づいて対象者の行動を検出し、
   前記感情判定部は、前記行動検出部で検出された結果に基づいて対象者の感情がポジティブであるかネガティブであるかを判定する
   請求項１記載の行動支援システム。
3. 行動空間に設けられたセンサからの検出結果に基づいて対象者の行動を検出する行動検出部と、
   前記行動検出部で検出された結果に基づいて対象者の感情がポジティブであるかネガティブであるかを判定する感情判定部と、
   前記感情の判定結果に応じてポジティブな感情を肯定するためのメッセージを出力する出力部と、
   を有する行動支援システム。
4. 前記行動空間における対象者の音声を検出する検出部を有し、
   前記感情判定部は、前記撮像結果と前記音声とに基づいて前記感情の判定を行なう
   請求項１から請求項３のうちいずれか１項に記載の行動支援システム。
5. 前記出力部は、検出された行動が行なわれてから所定の時間内において前記メッセージを出力する
   請求項１から請求項４のうちいずれか１項に記載の行動支援システム。
6. 前記行動検出部は、前記行動の継続時間を検出し、
   前記出力部は、前記感情の判定結果と前記行動の継続時間とに応じたメッセージを出力する
   請求項１から請求項５のうちいずれか１項に記載の行動支援システム。
7. 前記感情判定部の判定結果に基づいて、メッセージを出力するタイミングを決定する出力タイミング決定部を有し、
   前記出力部は、前記決定されたタイミングでメッセージを出力する
   請求項１から請求項６のうちいずれか１項に記載の行動支援システム。
8. 撮像部が、行動空間における対象者を撮像し、
   行動検出部が、前記撮像された結果に基づいて対象者の行動を検出し、
   感情判定部が、前記検出された行動に基づく感情がポジティブであるかネガティブであるかを判定し、
   出力部と、前記感情の判定結果に応じたメッセージを出力する
   行動支援方法。

Images