JP2015133611A - 通知システム、通知プログラム、通知方法および通知装置 - Google Patents

Abstract

【構成】通知システム（１００）は、天井に設けられた複数の距離画像センサ１２および壁などに設けられた複数のマイク１４などを含む。空間内の子どもの位置情報は距離画像センサ１２から出力される奥行情報から得ることができ、空間内で発生する音の音情報はマイク１４を利用して取得される。通知システムの中央制御装置（１６）は、子どもの位置情報および空間内で発生した音の音情報などに基づいて、子どもの泣き行動を予測および認識する。そして、泣き行動が予測または認識されると、その結果は保育者が所持する携帯端末１０に通知される。
【効果】保育者は子どもが泣き行動を行う前に子どもをなだめることが可能になるため、保育者の負担を軽減することが出来る。
【選択図】図１

Description

この発明は、通知システム、通知プログラム、通知方法および通知装置に関し、特にたとえば、子どもの行動に関する情報を通知する、通知システム、通知プログラム、通知方法および通知装置に関する。

背景技術の一例が特許文献１に開示されている。この特許文献１の情報処理装置は、ユーザが視聴しているコンテンツのメタ情報からユーザの感情を予測し、予測結果とユーザの表情やジェスチャーなどとから、ユーザの感情が認識される。そして、認識されたユーザの感情に基づいて、ユーザには情報が推薦される。

特開2007-41988号公報[G06T 7/20]

ところが、特許文献１の情報処理装置では、ユーザの感情を認識するためには、ユーザにコンテンツを視聴させ続けなければならない。たとえば、この情報処理装置によって子どもの感情を認識しようとしても、子どもの興味対象は変化しやすいため、子どもの感情が適切に認識されにくい。

それゆえに、この発明の主たる目的は、新規な、通知システム、通知プログラム、通知方法および通知装置を提供することである。

この発明の他の目的は、子どもの感情の変化による保育者の負担を軽減することが出来る、通知システム、通知プログラム、通知方法および通知装置を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、子どもが居る空間内で発生する音の音情報を取得する第１取得手段、音情報に基づいて子どもが泣き行動を行うかを予測する予測手段、および子どもが泣き行動を行うと予測されたとき、予測結果を通知する第１通知手段を備える、通知システムである。

第１の発明では、通知システム（１００：実施例において対応する部分を例示する参照符号。以下、同じ。）では、第１取得手段（８０，Ｓ５）は、たとえば自宅などの子どもが居る空間の中に設けられたマイク（１４）などを利用して、その空間内で発生する音の音情報を取得する。予測手段（８０，Ｓ４３）は、空間の中で発生した音の音情報のうち、たとえば音の音量の最大値などに基づいて、子どもが泣き行動を行うかを予測する。たとえば、大きな音に驚いて泣くなどの泣き行動が予測されると、第１通知手段（８０，Ｓ４７）は予測結果を通知する。

第１の発明によれば、保育者は子どもが泣き行動を行う前に子どもをなだめることが可能になるため、保育者の負担を軽減することが出来る。

第２の発明は、第１の発明に従属し、空間内の子どもの位置情報を取得する第２取得手段をさらに備え、予測手段は、子どもの位置情報および音情報に基づいて子どもの泣き行動を予測する、請求項１記載の通知システムである。

第２の発明では、第２取得手段（８０，Ｓ４１）は、空間の天井に設けられる複数の距離画像センサ（１２）を利用して、空間内の子どもの位置情報を取得する。そして、子どもの位置情報および空間内で発生した音の音情報に基づいて、予測手段は子どもが泣き行動を行うかを予測する。

第２の発明によれば、子どもの位置情報も利用して子どもの泣き行動が予測されるため、予測の精度が向上する。

第３の発明は、第１の発明または第２の発明に従属し、音情報は、空間内で発生した音の音量の最大値を含み、予測手段は、音量の最大値に基づいて、子どもが泣き行動を行うかを予測する。

第３の発明では、たとえば、急に大きな音が発生すると子どもが泣き行動を行う可能性が高くなる。そのため、予測手段は、空間内で発生した音の最大値に基づいて、子どもが泣き行動を行うかを予測する。

第３の発明によれば、空間内で発生した音の最大値を利用して、子どもの泣き行動を予測することが出来る。

第４の発明は、第１の発明ないし第３の発明のいずれかに従属し、音情報に基づいて子どもが行う泣き行動を認識する認識手段、および、子どもの泣き行動が認識されたとき、認識結果を通知する第２通知手段をさらに備える。

第４の発明では、認識手段（８０，Ｓ３５）は、空間の中で発生している音の音情報のうち、たとえば音の音量の平均および周波数などに基づいて、泣き行動を認識する。泣き行動が認識されると、第２通知手段（８０，Ｓ３９）は泣き行動の認識結果を通知する。

第４の発明によれば、保育者が泣き行動を行っている子どもを認識できていない状態でも、保育者は子どもの元にすぐに向かうことが出来る。

第５の発明は、第４の発明に従属し、認識手段は、子どもの泣き行動と共に、その泣き行動の原因も認識し、通知手段は、子どもの泣き行動が認識されたとき、泣き行動の原因を通知する。

第５の発明では、子どもが泣き行動を行うと、認識手段はその泣き行動の原因を認識する。そして、子どもの泣き行動が認識されると、通知手段は泣き行動の原因も通知する。

第５の発明によれば、保育者は、子どもが泣き行動を行う原因を知ることが出来るため、子どもの気持ちに寄り添って子どもをなだめることが可能となる。

第６の発明は、通知システムのプロセッサ（８０）を、子どもが居る空間内で発生する音の音情報を取得する取得手段（Ｓ５）、音情報に基づいて子どもが泣き行動を行うかを予測する予測手段（Ｓ４３）、および子どもが泣き行動を行うと予測されたとき、予測結果を通知する通知手段（Ｓ４７）として機能させる、通知プログラムである。

第６の発明でも、第１の発明と同様、保育者は子どもが泣き行動を行う前に子どもをなだめることが可能になるため、保育者の負担を軽減することが出来る。

第７の発明は、通知システムのプロセッサ（８０）が、子どもが居る空間内で発生する音の音情報を取得する取得ステップ（Ｓ５）、音情報に基づいて子どもが泣き行動を行うかを予測する予測ステップ（Ｓ４３）、および子どもが泣き行動を行うと予測されたとき、予測結果を通知する通知ステップ（Ｓ４７）を実行する、通知方法である。

第７の発明でも、第１の発明と同様、保育者は子どもが泣き行動を行う前に子どもをなだめることが可能になるため、保育者の負担を軽減することが出来る。

第８の発明は、子どもが居る空間内で発生する音の音情報を取得する取得手段（８０，Ｓ５）、音情報に基づいて子どもが泣き行動を行うかを予測する予測手段（８０，Ｓ４３）、および子どもが泣き行動を行うと予測されたとき、予測結果を通知する通知手段（８０，Ｓ４７）を備える、通知装置である。

第８の発明でも、第１の発明と同様、保育者は子どもが泣き行動を行う前に子どもをなだめることが可能になるため、保育者の負担を軽減することが出来る。

第９の発明は、子どもが居る空間内で発生する音の音情報を取得する取得手段（８０，Ｓ５）、音情報に基づいて子どもが行う泣き行動を認識する認識手段（８０，Ｓ３５）、および子どもの泣き行動が認識されたとき、認識結果を通知する通知手段（８０，Ｓ３９）を備える、通知システムである。

第９の発明でも、第４の発明と同様、保育者が泣き行動を行っている子どもを認識できていなくても、保育者は子どもの元にすぐに向かうことが出来る。

第１０の発明は、第９の発明に従属し、認識手段は、子どもの泣き行動と共に、その泣き行動の原因も認識し、通知手段は、子どもの泣き行動が認識されたとき、泣き行動の原因を通知する。

第１０の発明でも、第５の発明と同様、保育者は、子どもが泣き行動を行う原因を知ることが出来るため、子どもの気持ちに寄り添って子どもをなだめることが可能となる。

第１１の発明は、第１０の発明に従属し、音情報は、空間内で発生する音の周波数をさらに含み、認識手段は、周波数が所定値より大きいとき、子どもの泣き行動は痛みを感じたため行われたと認識する。

第１１の発明では、音の周波数は、たとえば、子どもが泣き行動を行うときに生じる泣き声の周波数である。泣き声の周波数は、子どもが泣き行動を行う原因によって変化する。そして、認識手段は、周波数が所定値より大きいとき、子どもの泣き行動は痛みを感じたため行われたと認識する。

第１１の発明によれば、空間内で発生する音の周波数を利用して、子どもの泣き行動を認識することが出来る。

この発明によれば、保育者の負担を軽減することが出来る。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の通知システムの概要を示す図解図である。 図２は図１に示す通知システムの構成の一例を示す図解図である。 図３は図１に示す距離画像センサの電気的な構成の一例を示すブロック図である。 図４は図２に示す中央制御装置の電気的な構成の一例を示すブロック図である。 図５は図１に示す通知システムが利用される空間の地図の一例を示す図解図である。 図６は図４に示す中央制御装置のメモリに記憶される環境データテーブルの構成の一例を示す図解図である。 図７は図４に示す中央制御装置によって認識される泣き行動の原因の一覧を示す図解図である。 図８は図４に示す中央制御装置から通知されるメッセージの一例を示す図解図であり、図８（Ａ）は泣き行動が認識されたときに通知されるメッセージの一例を示し、図８（Ｂ）は泣き行動が予測されたときに通知されるメッセージの一例を示す。 図９は図４に示す中央制御装置のメモリのメモリマップの一例を示す図解図である。 図１０は図４に示す中央制御装置のプロセッサの取得処理の一例を示すフロー図である。 図１１は図４に示す中央制御装置のプロセッサの通知処理の一例を示すフロー図である。

図１を参照して、この実施例の通知システム１００は、子どもが自由に移動する家や保育園などの空間（環境）で利用される。空間内には、テレビやソファおよびテーブルセットなどの家具が置かれており、子どもは空間の中を自由に移動することが出来る。親や保育士などの保育者も空間内におり、子どもを保育したり、家事などを行ったりしている。また、保育者は携帯端末１０を所持しており、空間内の天井には複数の距離画像センサ１２（１２ａ，１２ｂ，…）が設けられ、壁には複数のマイク１４（１４ａ，１４ｂ，…）が設けられている。

携帯端末１０は、スマートフォン（smartphone）とも呼ばれる携帯電話機である。通知システム１００は、携帯端末１０に対してメッセージを送信（通知）し、携帯端末１０はメッセージを受信すると、音声または振動によってメッセージの受信を保育者に知らせる。そして、保育者は通知システム１００からのメッセージを、携帯端末１０を利用して確認することが出来る。なお、他の実施例では、ipod touch（登録商標）やＰＤＡなどのデータ端末が、携帯端末１０として採用されてもよい。

複数の距離画像センサ１２は、子どもの位置情報を検出することを目的として、空間の天井に設けられている。複数のマイク１４は、空間内で発生する音（雑音）を集音することを目的として、空間の壁に設けられている。

通知システム１００は、各距離画像センサ１２および各マイク１４を利用して、子どもが行う泣き行動を予測および認識する。そして、予測および認識の結果が、携帯端末１０に対して通知される。

なお、実施例の空間は保育者と子どもとが居る家であるが、これに限らず幼稚園、学童保育所などでも通知システム１００は利用可能である。

また、図１では簡単のため、マイク１４は２つしか示していないが、さらに多くのマイク１４が空間内に置かれてもよいし、マイク１４が１つであってもよい。そして、保育者（携帯端末１０）は１人しか示していないが、空間内には２人以上の保育者が居てもよい。

また、距離画像センサ１２ａ，１２ｂ，…を区別する必要がない場合、単に「距離画像センサ１２」と言う。そして、マイク１４ａ，１４ｂ，…を区別する必要が無い場合、単に「マイク１４」と言う。

図２を参照して、通知システム１００の中央制御装置１６は、通知装置とも呼ばれ、距離画像センサ１２およびマイク１４などが接続される。また、中央制御装置１６は、ネットワーク１０００を介して携帯端末１０と無線通信を行う。中央制御装置１６は、第１時間（たとえば、０．０５秒）毎に、距離画像センサ１２およびマイク１４が出力するセンサ情報を取得する。そして、中央制御装置１６は、取得した各センサの情報から、子どもの位置情報および空間内で発生した音の音情報などを含む環境データ（図６参照）をテーブルに記憶する。

図３は距離画像センサ１２の電気的な構成を示すブロック図である。図３を参照して、距離画像センサ１２は制御ＩＣ６０などを含む。制御ＩＣ６０には、Ａ／Ｄ変換器６２、カメラ６６、深度センサ６８、深度カメラ７０およびＩ／Ｏ７２などが接続される。

制御ＩＣ６０は、キャッシュメモリなどを有し、距離画像センサ１２の動作を制御する。たとえば、制御ＩＣ６０は、中央制御装置１６からの命令に従って動作し、検出した結果を中央制御装置１６に送信する。

Ａ／Ｄ変換機６２にはマイク６４が接続され、マイク６４からの音声信号はＡ／Ｄ変換機６２でディジタル音声信号に変換され、制御ＩＣ６０に入力される。また、マイク６４によって集音された音は、マイク１４によって集音された音と共に、空間内の雑音などの音量を計測するために利用される。

カメラ６６は、距離画像センサ１２が設置された空間のＲＧＢ情報、つまりカラー画像を撮影するためのカメラである。また、カメラ６６は、後述する深度カメラ７０が撮影している空間と略同じ空間を撮影することが可能なように、距離画像センサ１２に設けられている。

深度センサ６８は、たとえば赤外線プロジェクタであり、深度カメラ７０は、たとえば赤外線カメラである。深度センサ６８は、たとえば赤外線によるレーザ光を距離画像センサ１２の正面に照射する。空間には照射されたレーザ光によって特殊なパターンが描画され、深度カメラ７０は描画されたパターンを撮影する。そして、撮影された画像は制御ＩＣ６０に入力され、制御ＩＣ６０はその画像を解析することで、レーザ光が照射された空間の奥行(depth)情報を計測する。

Ｉ／Ｏ７２は、入力／出力の制御が可能なディジタルポートであり、出力ポートからは音声信号、ＲＧＢ情報および奥行情報が出力され、中央制御装置１６に与えられる。一方、中央制御装置１６からは制御信号が出力され、入力ポートに与えられる。

なお、距離画像センサ１２は、ＲＧＢ情報および奥行情報を出力することからＲＧＢ−Ｄセンサと呼ばれることもある。

また、実施例の距離画像センサ１２には、Ｍｉｃｒｏｓｏｆｔ（登録商標）社製のＫｉｎｅｃｔ（登録商標）センサと呼ばれる製品が採用されている。ただし、他の実施例では、ＡＳＵＳ（登録商標）社製のＸｔｉｏｎ、パナソニック（登録商標）社製の３次元距離画像センサであるＤ−ＩＭａｇｅｒ（登録商標）などが距離画像センサ１２として採用されてもよい。

図４は中央制御装置１６の電気的な構成を示すブロック図である。図４を参照して、中央制御装置１６は、距離画像センサ１２およびプロセッサ８０などを含む。プロセッサ８０は、マイクロコンピュータ或いはＣＰＵと呼ばれることもある。プロセッサ８０には、複数の距離画像センサ１２、メモリ８２、Ａ／Ｄ変換機８４、出力装置８６、入力装置８８および通信ＬＡＮボード９０などが接続される。

距離画像センサ１２は、上述したように奥行情報などを出力する。この奥行情報には、空間に居る子ども（人）の形状および人までの距離が含まれている。たとえば、人が天井に設けられた距離画像センサ１２によってセンシングされると、人を上から見た状態の頭部および両肩の形状と、頭部および両肩までの距離が奥行情報として得られる。

また、空間には３５個の距離画像センサ１２が所定の位置（既知）に設置されており、プロセッサ８０は、各々から奥行情報を取得して、空間（ワールド座標系）における人の位置情報（たとえば、重心など特徴点の位置座標（Ｘ，Ｙ，Ｚ））を計算することが出来る。

また、距離画像センサ１２はマイク６４を有するため、中央制御装置１６では、音情報が入力される距離画像センサ１２の位置から、音の発生源を推定することも出来る。

なお、他の実施例では、距離画像センサ１２ではなく、２次元または３次元のＬＲＦを利用して、人の位置および姿勢が検出されてもよい。

プロセッサ８０は中央制御装置１６の動作を制御し、日時情報を出力するＲＴＣを含む。メモリ８２は、ＲＯＭ，ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、中央制御装置１６の動作を制御するための制御プログラムなどが予め記憶される。また、ＲＡＭは、プロセッサ８０のワークメモリやバッファメモリとして用いられる。

Ａ／Ｄ変換機８４には、複数のマイク１４ａ，１４ｂが接続される。各マイク１４からの音声信号はＡ／Ｄ変換機８４でディジタル音声信号に変換され、プロセッサ８０に入力される。そして、マイク１４によって集音された音は、マイク６４によって集音された音と共に、空間内の雑音などの音量を計測するために利用される。なお、他の実施例では、各マイク１４がそれぞれ独立して、プロセッサ８０に接続されてもよい。この場合、プロセッサ８０は、音が入力されるマイク１４を特定することが可能となる。

出力装置８６は、たとえばディスプレイなどであり、入力装置８８は、たとえばマウスやキーボードである。そして、保育者や、空間の管理人（たとえば、園長）は、中央制御装置１６の状態を、出力装置８６および入力装置８８を利用して確認および利用することが出来る。

通信ＬＡＮボード９０は、たとえばＤＳＰで構成され、プロセッサ８０から与えられた送信データを無線通信装置９２に与え、無線通信装置９２は送信データを、ネットワーク１０００を介して携帯端末１０に送信する。また、通信ＬＡＮボード９０は、無線通信装置９２を介してデータを受信し、受信したデータをプロセッサ８０に与える。

図５は空間の地図の一例を示す図解図である。この地図は、図１に示す空間と対応しており、テレビ（テレビ台を含む）、ソファおよびテーブルセットが配置されている位置を示している。また、地図上には示されていないが、各家具には高さ情報（Ｚ）が付与されている。たとえば、テレビには床からテレビ台の表面までの距離が高さ情報として付与され、ソファには床から座面までの距離が高さ情報として付与され、テーブルセットには床から椅子の座面までの高さと床からテーブル面までの高さとが付与される。そして、これらの情報は、地図データとして中央制御装置１６のメモリ８２に記憶される。

図６は環境データテーブルの構成の一例を示す図解図である。環境データとは、ある日時における子どもの位置情報と、空間内で発生した音の分析結果と、子どもの行動に関する時間とを含むデータである。そして、環境データテーブルには、１行毎にこれらの情報を含む環境データが記憶される。図６を参照して、環境データテーブルは、日時、子ども、音声、食事をしていない時間および起き続けている時間の列を含む。また、音情報の列には、平均、最大および周波数の列が含まれる。

日時の列には、環境データが取得された日時が記憶される。また、記憶される日時の形式としては、「ｙｙ」が「年」を示し、「ｍｍ」が「月」を示し、「ｄｄ」が「日」を示し、「Ｈ」が「時」を示し、「Ｍ」が「分」を示し、「Ｓ」が「秒」を示す。

子どもの列には、子どもの位置として「Ｘ，Ｙ，Ｚ」が記憶される。たとえば、地図上で子どもの位置情報を確認することで、子どもが人や物と衝突したり、落下したりしたかを判断することが可能となる。また、子どもの位置情報から、子どもが眠っているなどの理由で動きが無いことを判断することも出来る。

音情報の列における平均の列には、各距離画像センサ１２および各マイク１４から取得される音の音量の平均として「ＡＢ」が記憶される。また、音情報の列における最大の列には、各距離画像センサ１２および各マイク１４から取得された音声の音量の最大として「ＭＢ」が記憶される。そして、音情報の列における周波数の列には、音量の平均における周波数として「ｆ」が記憶される。

音の平均「ＡＢ」は空間内の雑音の音量の平均または子どもの泣き声の音量の平均を示すことになる。たとえば、常にうるさい状況では子どもが怖がり泣き行動を起こしやすくなるため、そのような状況であるかを判断するために利用される。また、子どもが泣き行動を行っている場合は、泣き行動の原因によって泣き声の音量が変化するため、泣き行動の原因を判断するために利用される。

音の最大「ＭＢ」は空間内の雑音の音量の最大または子どもの泣き声の音量の最大を示すことになる。たとえば、急に大きな音が発生すると子どもが泣き行動を行いやすくなるため、そのような状況であるかを判断するために利用される。また、子どもが泣き行動を行っている場合は、泣き行動の原因によって泣き声の音量が変化するため、音の最大「ＭＢ」は泣き行動の原因を判断するために利用される。

音の周波数「ｆ」は子どもが泣き行動を行っている際の泣き声の周波数を示す。たとえば、子どもの泣き声は泣き行動の原因によって周波数が異なることがある。そのため、音の周波数「ｆ」は泣き行動の原因を判断するために利用される。

なお、音量の平均「ＡＢ」および音の最大「ＭＢ」の単位は「ｄＢ」であり、音の周波数「ｆ」の単位は「Ｈｚ」である。

食事をしていない時間の列には、子どもが最後に食事をしてからの時間として「ＦＴ」が記憶される。時間「ＦＴ」は子どもが食事を行ったと判断されるまでは、対応する変数がカウントされ続け、時間「ＦＴ」を環境データテーブルに記憶するときに、対応する変数に基づいて時間「ＦＴ」が記憶される。また、実施例では、子どもが食事を行ったかは、保育者から通知され、この通知がされたときに上述した変数が初期化される。なお、他の実施例では、中央制御装置１６が、子どもの位置情報および時刻などから、子どもが食事を行ったかを判断してもよい。

起き続けている時間の列には、子どもが起きてからの時間として「ＷＴ」が記憶される。時間「ＷＴ」は子どもが寝たと判断されるまでは、対応する変数がカウントされ続け、時間「ＷＴ」を環境データテーブルに記憶するときに、対応する変数に基づいて時間「ＷＴ」が記憶される。また、実施例では、子どもが寝たかは、子どもの位置情報の変化に基づいて判断され、寝たと判断されたときに上述した変数が初期化される。なお、他の実施例では、子どもが寝たことは保育者からの通知に基づいて判断されてもよい。

ここで、子どもの位置情報と、音情報における音の平均および周波数と、食事をしていない時間と、起き続けている時間とは、子どもの泣き行動を認識するための情報であり、第１判定情報と呼ばれることがある。また、子どもの位置情報および音情報における音の最大は、子どもの泣き行動を予測するための情報であるため、第２判定情報と呼ばれることがある。

中央制御装置１６は、環境データテーブルに対して、第１時間毎にこのような環境データを記憶する。そして、中央制御装置１６は、第２時間毎に子どもの泣き行動の認識および予測を行う。

図７は泣き行動の具体的な原因を示す図解図である。図７を参照して、実施例では泣き行動と共に、泣き行動の原因も認識される。そして、子どもの泣き行動の原因としては、「空腹」、「眠たい」、「驚いた」および「痛い」などが含まれる。泣き行動の原因が「空腹」と認識されている場合、子どもはお腹を空かせたため泣き行動を行っている可能性が高い。泣き行動の原因が「眠たい」と認識されている場合、子どもは眠たくなったため泣き行動を行っている可能性が高い。泣き行動の原因が「驚いた」と認識されている場合、子どもは驚いたため泣き行動を行っている可能性が高い。泣き行動の原因が「痛い」の場合、子どもは痛みを感じているため泣き行動を行っている可能性が高い。

実施例では、子どもが泣き行動が行ったときの第１判定情報に対して原因をラベル付けして教師データとし、ＳＶＭ(Support vector machine)などの機械学習手法によって教師データを学習する。その結果、泣き行動を認識する判別モデルが作成される。この判別モデルに対して、第２時間分の未知の第１判別情報を入力すると、泣き行動の原因と、泣き行動を行っているかを示す確率とが少なくとも１つ以上得られる。そして、確率が第１閾値より大きいとき、泣き行動が行われていると認識され、その泣き行動の原因が出力される。

たとえば、泣き行動の判別モデルに対して、泣き行動が行われているときの第１判定情報が未知データとして入力されたときに、確率が９０％の「空腹」と確率が８０％の「痛い」とが出力された場合、第１閾値が８５％であれば、確率が第１閾値よりも大きい「空腹」が原因で泣き行動が行われていると認識される。また、第１閾値が７５％であれば、確率が最も高い「空腹」が原因で泣き行動が行われていると認識される。そして、また、第１閾値が９５％であれば、それぞれの確率は第１閾値よりも小さいので、泣き行動は行われていないとの認識結果が出力される。

図８（Ａ）を参照して、たとえば「空腹」が原因で泣き行動が行われているとの認識結果が出力された場合、中央制御装置１６は保育者が所持する携帯端末１０に対して、子どもが「空腹」で泣き行動を行っている旨を伝えるメッセージを送信する。これにより、たとえば保育者が子どもの近くにおらず、泣き行動を行っている子どもを認識できていない状態でも、保育者は子どもの元にすぐに向かうことが出来る。特に、保育者は、子どもが泣き行動を行う原因を知ることが出来るため、子どもの気持ちに寄り添って子どもをなだめることが可能となる。

また、実施例では、子どもが泣き行動が行われる所定時間前の第２判定情報を教師データとし、ＳＶＭなどの機械学習手法によって教師データを学習する。その結果、所定時間内に起きる泣き行動を予測する判別モデルが作成される。この判別モデルに対して第２時間分の未知の第２判定情報を入力すると、所定時間内に泣き行動が行われる確率が予測結果として出力される。

図８（Ｂ）を参照して、たとえば予測結果として出力された確率が第２閾値より大きい場合、中央制御装置１６は、保育者が所持する携帯端末１０に対して、所定時間内に泣き行動が行われることを伝えるメッセージを送信する。これにより、保育者は、子どもが泣き行動を行う前に子どもをなだめることが可能になるため、保育者の負担を軽減することが出来る。特に、実施例では、空間内で発生する音の音情報に加えて、子どもの位置情報も利用して子どもの泣き行動が予測されるため、予測の精度が向上する。

なお、実施例では、泣き行動の認識および予測は、環境データを取得するために必要な第１時間よりも長い第２時間毎に認識される。つまり、泣き行動を認識および予測するために必要な環境データ（第１判定情報および第２判定情報）が取得されてから泣き行動が認識および予測される。これにより、子どもの泣き行動を正確に認識および予測することが出来る。

上述では実施例の特徴を概説した。以下では、図９に示すメモリマップ、図１０および図１１に示すフロー図を用いて、実施例について詳細に説明する。

図９は図４に示す中央制御装置１６のメモリ８２のメモリマップの一例を示す図解図である。図９に示すように、メモリ８２はプログラム領域３０２およびデータ記憶領域３０４を含む。プログラム記憶領域３０２には、中央制御装置１６を動作させるためのプログラムとして、各センサから情報を取得し、環境データテーブルに環境データを記憶するための取得プログラム３１０および泣き行動を認識および予測しそれらの結果を通知するための通知プログラム３１２などが記憶される。なお、図示は省略するが、中央制御装置１６を動作させるためのプログラムには、通知するメッセージを作成するためのプログラムなども含まれる。

データ記憶領域３０４には、環境データテーブル３３０および地図データ３３２などが記憶されると共に、食事フラグ３３４および睡眠フラグ３３６などが設けられる。環境データテーブル３３０は、たとえば図６に示す構成のテーブルであり、環境データが記憶される。地図データ３３２は、たとえば図５に示すように家具が配置される位置を示す地図のデータである。

食事フラグ３３４は、食事をしていない時間「ＦＴ」を計測するときに利用されるフラグである。たとえば、食事フラグ３３４は、１ビットのレジスタで構成される。食事フラグ３３４がオン（成立）されると、レジスタにはデータ値「１」が設定される。一方、食事フラグ３３４がオフ（不成立）されると、レジスタにはデータ値「０」が設定される。食事フラグ３３４は、たとえば保育者によって子どもが食事を行ったと通知されるとオンとなる。食事フラグ３３４がオンにされると、食事をしていない時間「ＦＴ」をカウントするための変数が初期化され、食事をしていない時間「ＦＴ」の計測が開始される。

睡眠フラグ３３６は、起き続けている時間「ＷＴ」を計測するときに利用されるフラグである。睡眠フラグ３３６は、たとえば子どもが就寝したと判断されるとオンとなる。睡眠フラグ３３６がオンにされると、起き続けている時間「ＷＴ」と対応する変数のカウントが停止する。そして、子どもが起床したと判断されるとオフとなり、起き続けている時間「ＷＴ」と対応する変数が初期化され、起き続けている時間の計測が開始される。

なお、図示は省略するが、データ記憶領域３０４には、様々な計算の結果を一時的に格納するバッファや、中央制御装置１６の動作に必要な他のカウンタやフラグなども設けられる。

中央制御装置１６のプロセッサ８０は、Ｌｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図１０に示す取得処理および図１１に示す通知処理などを含む、複数のタスクを処理する。

図１０は取得処理のフロー図である。中央制御装置１６の電源がオンにされ、取得処理の実行命令が出されると、取得処理が実行される。なお、取得処理の実行命令は、第１時間毎に出される。

取得処理が実行されると、プロセッサ８０はステップＳ１で、現在時刻を取得する。たとえば、プロセッサ８０が有するＲＴＣから現在時刻を取得する。続いて、ステップＳ３でプロセッサ８０は、距離画像センサ１２の情報を取得する。つまり、プロセッサ８０は、距離画像センサ１２が出力する奥行情報および音声信号を取得する。

続いて、ステップＳ５でプロセッサ８０は、マイク１４から音声信号を取得する。つまり、プロセッサ８０は、音情報を算出するために、マイク１４によって集音された音声の音声信号を取得する。続いて、ステップＳ７でプロセッサ８０は、各時間を算出する。つまり、食事をしていない時間「ＦＴ」および起き続けている時間「ＷＴ」のそれぞれが、対応する変数に基づいて算出される。なお、ステップＳ５の処理を実行するプロセッサ８０は第１取得手段として機能する。

続いて、ステップＳ９でプロセッサ８０は、環境データを作成する。つまり、奥行き情報から子どもの位置情報が計算され、複数のマイク１４および距離画像センサ１２のマイク６４から音声（雑音）の音量の平均、最大および周波数が計算される。そして、これらの値とステップＳ７で算出された各時間とが１つの環境データとされる。

続いて、ステップＳ１１でプロセッサ８０は、現在時刻および環境データを記憶する。つまり、ステップＳ１で取得された現在時刻の情報に環境データが関連付けられ、環境データテーブル３３０に記憶される。そして、ステップＳ１１の処理が終了すると、プロセッサ８０は取得処理を終了する。

図１１は通知処理のフロー図である。中央制御装置１６の電源がオンにされ、通知処理の実行命令が出されると、通知処理が実行される。なお、通知処理の実行命令は、第２時間毎に出される。

通知処理が実行されると、ステップＳ３１でプロセッサ８０は、空間に子どもが居るか否かを判断する。つまり、距離画像センサ１２によって子どもの位置が検出されているかが判断される。ステップＳ３１で“ＮＯ”であれば、つまり空間に子どもがいなければ、プロセッサ８０は通知処理を終了する。

ステップＳ３１で“ＹＥＳ”であれば、つまり空間の中で子どもの位置が検出されていれば、ステップＳ３３でプロセッサ８０は、現在時刻から第２時間分の第１判定情報を取得する。つまり、子どもの位置情報と、音情報における音の平均および周波数と、食事をしていない時間と、起き続けている時間とが、環境データテーブル３３０から読み出される。続いて、ステップＳ３５でプロセッサ８０は、泣き行動認識処理を実行する。つまり、第２時間分の第１判定情報が、泣き行動を認識する判定モデルに入力される。なお、ステップＳ３５の処理を実行するプロセッサ８０は認識手段として機能する。

続いて、ステップＳ３７でプロセッサ８０は、泣き行動が行われているか否かを判断する。つまり、プロセッサ８０は、第１閾値よりも大きい確率の泣き行動の原因が上記判定モデルから出力されたかを判断する。ステップＳ３７で“ＹＥＳ”であれば、つまり子どもが泣き行動を行っていると認識されると、ステップＳ３９でプロセッサ８０は、泣き行動が行われていることを通知する。たとえば、図８（Ａ）に示すように、泣き行動の原因を知らせるメッセージが、中央制御装置１６から携帯端末１０に送信される。なお、ステップＳ３９の処理を実行するプロセッサ８０は第２通知手段として機能する。

一方、ステップＳ３７で“ＮＯ”であれば、たとえば泣き行動が行われていないとの認識結果が出力されると、ステップＳ４１でプロセッサ８０は、現在時刻から第２時間分の第２判定情報を取得する。つまり、子どもの位置情報および音情報における音の最大が環境データテーブル３３０から読み出される。続いて、ステップＳ４３でプロセッサ８０は、泣き行動予測処理を実行する。たとえば、第２時間分の第２判定情報が、泣き行動を予測する判定モデルに入力される。なお、ステップＳ４１の処理を実行するプロセッサ８０は第２取得手段として機能する。また、ステップＳ４３の処理を実行するプロセッサ８０は予測手段として機能する。

続いて、ステップＳ４５でプロセッサ８０は、予測結果の確率が第２閾値よりも大きいか否かを判断する。つまり、所定時間後に泣き行動が行われる確率が、第２閾値よりも大きいかが判断される。ステップＳ４５で“ＹＥＳ”であれば、つまり所定時間後に泣き行動が行われる確率が第２閾値よりも大きければ、ステップＳ４７でプロセッサ８０は、所定時間内に泣き行動が行われることを通知する。たとえば、図８（Ｂ）に示すように、所定時間内に泣き行動が行われることを知らせるメッセージが、中央制御装置１６から携帯端末１０に送信される。なお、ステップＳ４７の処理を実行するプロセッサ８０は第１通知手段として機能する。

そして、ステップＳ４５で“ＮＯ”、つまり予測結果の確率が第２閾値よりも小さいか、ステップＳ４７の処理が終了すると、プロセッサ８０は通知処理を終了する。

なお、実施例では、機械学習手法としてＳＶＭを採用したが、他の実施例では、重回帰分析、ニューラルネットワークまたはＣ４．５などのアルゴリズムが採用されてもよい。たとえば、重回帰分析が採用された場合、第１判定情報または第２判定情報の各値を説明変数として係数が計算される。この場合に、泣き行動の認識結果の確率をＰとし、子どもが落下したり衝突したりした際の音の音量をＸとした場合、重回帰分析によって数１の数式が得られる。

[数１]
Ｐ＝ａＸ
このとき、音量Ｘが「８０ｄＢ」の場合、係数ａは「ａ＝１／８０」となり、音量Ｘが「８０」のときに、「Ｐ＝１」つまり「１００％」となる。

また、その他の実施例では、機械学習は利用せずに、単純な閾値処理としてもよい。空間の中の音の平均が高い状態では、子どもが怖がって泣き行動を行う可能性が高い。そのため、音の平均が第１所定値よりも高い場合は、所定時間内に泣き行動が行われると予測するようにしてもよい。つまり、空間内で発生した音の最大値を利用して、子どもの泣き行動を予測することが出来る。

さらに、子どもが痛みを感じているときの泣き声の周波数は第２所定値より大きいことが多い。そのため、音の周波数が第２所定よりも大きい場合は、痛みを感じて泣き行動が行われていると認識されるようにしてもよい。つまり、空間内で発生した音の周波数を利用して、子どもの泣き行動を認識することが出来る。

なお、さらにその他の実施例では、子どもの位置情報に加えて、子どもの姿勢（たとえば、頭部の向き（θ_Ｈ）および両肩の向き（θ_Ｂ））が算出されてもよい。

また、他の実施例の環境データには、子どもの顔認識の結果（表情）、音の低音の強度、テレビなどから出力されるコンテンツの内容および子どもの姿勢などが含まれていてもよい。また、空間内で発生する衝突や落下などを識別可能である場合は、そのときの音の音情報などが含まれていてもよい。そして、泣き行動を認識する際には、子どもの表情、子どもの姿勢、音の最大なども利用されてもよい。また、泣き行動を予測する際には、子どもの表情、子どもの位置情報の変化（落下による、高さ方向の変化）、音の平均、低音の強度、衝突・落下時の音の音量、コンテンツの内容なども利用されてもよい。

また、泣き行動を認識するための第１閾値および泣き行動を予測するための第２閾値は、保育者によって任意に設定されてもよいし、中央制御装置１６によって自動的に設定されてもよい。

また、携帯端末１０に送信されるメッセージは、Ｅメールによって送信されてよいし、専用のソフトウェアを利用して送信されてもよい。また、メッセージを送信する先は、携帯端末１０だけに限らずＰＣなどの端末などに送信されてもよい。また、文字によるメッセージに代えて、泣き行動が認識または予測された時間から第２時間前までの状況を伝える映像や音声が、携帯端末１０に送信されてもよい。

また、泣き行動の原因は、実施例のものとは異なっていてもよいし、数が異なっていてもよい。

また、その他の実施例では、空間の音情報だけを利用して、泣き行動が認識または予測されてもよい。また、通知処理では、泣き行動を予測して通知するだけでもよいし、泣き行動を認識して通知するだけでもよい。さらに、泣き行動が予測された後に、泣き行動が認識されるようにしてもよい。

また、上述の実施例では、閾値に対して「より大きい」の言葉を用いたが「閾値より大きい」とは「閾値以上」の意味も含まれる。また、「閾値よりも小さい」とは「閾値以下」および「閾値未満」の意味も含まれる。

また、本実施例で説明した複数のプログラムは、データ配信用のサーバのHDDに記憶され、ネットワークを介して本実施例と同等の構成のシステムに配信されてもよい。また、CD, DVD, BD (Blu-ray（登録商標） Disc)などの光学ディスク、USBメモリおよびメモリカードなどの記憶媒体にこれらのプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、上記複数のプログラムが、本実施例と同等の構成のシステムに適用された場合、本実施例と同等の効果が得られる。

そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。

１０ …携帯端末
１２ａ，１２ｂ …距離画像センサ
１４ａ，１４ｂ …マイク
１６ …中央制御装置
６４ …マイク
８０ …プロセッサ
８２ …メモリ
１００ …通知システム
１０００ …ネットワーク

Claims (11)

1. 子どもが居る空間内で発生する音の音情報を取得する第１取得手段、
   前記音情報に基づいて前記子どもが泣き行動を行うかを予測する予測手段、および
   前記子どもが泣き行動を行うと予測されたとき、予測結果を通知する第１通知手段を備える、通知システム。
2. 前記空間内の子どもの位置情報を取得する第２取得手段をさらに備え、
   前記予測手段は、前記子どもの位置情報および前記音情報に基づいて前記子どもが泣き行動を行うかを予測する、請求項１記載の通知システム。
3. 前記音情報は、前記空間内で発生した音の音量の最大値を含み、
   前記予測手段は、前記音量の最大値に基づいて、前記子どもが泣き行動を行うかを予測する、請求項１または２記載の通知システム。
4. 前記音情報に基づいて前記子どもが行う泣き行動を認識する認識手段、および、
   前記子どもの泣き行動が認識されたとき、認識結果を通知する第２通知手段をさらに備える、請求項１ないし３のいずれかに記載の通知システム。
5. 前記認識手段は、前記子どもの泣き行動と共に、その泣き行動の原因も認識し、
   前記通知手段は、前記子どもの泣き行動が認識されたとき、前記泣き行動の原因を通知する、請求項４記載の通知システム。
6. 通知システムのプロセッサを、
   子どもが居る空間内で発生する音の音情報を取得する取得手段、
   前記音情報に基づいて前記子どもが泣き行動を行うかを予測する予測手段、および
   前記子どもが泣き行動を行うと予測されたとき、予測結果を通知する通知手段として機能させる、通知プログラム。
7. 通知システムのプロセッサが、
   子どもが居る空間内で発生する音の音情報を取得する取得ステップ、
   前記音情報に基づいて前記子どもが泣き行動を行うかを予測する予測ステップ、および
   前記子どもが泣き行動を行うと予測されたとき、予測結果を通知する通知ステップを実行する、通知方法。
8. 子どもが居る空間内で発生する音の音情報を取得する取得手段、
   前記音情報に基づいて前記子どもが泣き行動を行うかを予測する予測手段、および
   前記子どもが泣き行動を行うと予測されたとき、予測結果を通知する通知手段を備える、通知装置。
9. 子どもが居る空間内で発生する音の音情報を取得する取得手段、
   前記音情報に基づいて前記子どもが行う泣き行動を認識する認識手段、および
   前記子どもの泣き行動が認識されたとき、認識結果を通知する通知手段を備える、通知システム。
10. 前記認識手段は、前記子どもの泣き行動と共に、その泣き行動の原因も認識し、
    前記通知手段は、前記子どもの泣き行動が認識されたとき、前記泣き行動の原因を通知する、請求項９記載の通知システム。
11. 前記音情報は、前記空間内で発生する音の周波数をさらに含み、
    前記認識手段は、前記音の周波数に基づいて、前記子どもの泣き行動が痛みを感じたため行われたと認識する、請求項１０記載の通知システム。

Images