JP2015122004A

JP2015122004A - 保育行動認識システム、保育行動認識プログラム、保育行動認識方法および保育行動認識装置

Info

Publication number: JP2015122004A
Application number: JP2013266287A
Authority: JP
Inventors: 昌裕塩見; Masahiro Shiomi; 敬宏宮下; Takahiro Miyashita; 萩田　紀博; Norihiro Hagita; 紀博萩田
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2013-12-25
Filing date: 2013-12-25
Publication date: 2015-07-02

Abstract

【解決手段】保育行動認識システム１００は、保育者によって所持され、保育者の加速度を出力する携帯端末１０および天井に設けられた複数の距離画像センサ１２ａ、１２ｂなどを含む。空間には子どもおよび保育者がおり、子どもと保育者との位置および姿勢は、距離画像センサ１２ａ、１２ｂから出力される奥行情報から得ることが出来る。そして、保育行動認識システムの中央制御装置１６は、保育者の加速度と、保育者の位置および姿勢と、子どもの位置および姿勢とを利用して、保育者の保育行動を認識する。そして、認識された保育行動は、データベースに記憶される。【効果】保育者はデータベースを参照することで自身の保育行動を確認することが出来るため、自身の保育日誌などの書類を作成に役立てることが出来る。したがって、保育者が日常的に行う業務の負担が軽減される。【選択図】図２

Description

この発明は、保育行動認識システム、保育行動認識プログラム、保育行動認識方法および保育行動認識装置に関し、特にたとえば、子どもを保育する保育者に対して利用される、保育行動認識システム、保育行動認識プログラム、保育行動認識方法および保育行動認識装置に関する。

背景技術の一例が特許文献１に開示されている。この特許文献１の子供確認監視システムでは、保育園の中には発信機が装着された子供と子供を捜査・補足する複数のセンサとが存在している。センサはカメラの機能を有しており、発信機の位置を捜査・補足することで子供をカメラで捉え、子供の状態を示す動画像を生成することが出来る。そして、或る子供の状態を示す動画像が要求されると、ターゲットとなる子供が捜査され、その子どもに最も隣接するセンサにより撮影された動画像が配信される。

特開2002-26904号公報[H04L 12/18, H04L 12/28, H04N 7/173, H04N 7/18]

ところが、特許文献１の子供確認監視システムでは、子供を対象としたシステムであるため、保育士などの保育者の行動については確認することが出来ない。また、子供に代えて保育者の行動が撮影されるように仕様を変更したとしても、保育者の行動を確認するためには、配信された動画像を全て見なければならず、確認する者の負担が大きい。また、保育者の動画像の一部を確認しただけでは、保育者がどのような行動をしていたかを適切に把握しにくい。

それゆえに、この発明の主たる目的は、新規な、保育行動認識システム、保育行動認識プログラム、保育行動認識方法および保育行動認識装置を提供することである。

この発明の他の目的は、保育者の業務の負担を軽減することが出来る、保育行動認識システム、保育行動認識プログラム、保育行動認識方法および保育行動認識装置を提供することである。

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。

第１の発明は、空間内の保育者の加速度を出力する出力手段、出力手段が出力する加速度を取得する第１取得手段、空間内の子どもの位置および姿勢を取得する第２取得手段、保育者の位置および姿勢を取得する第３取得手段、および保育者の加速度ならびに位置および姿勢と、子どもの位置および姿勢とに基づいて、保育者の保育行動を認識する認識手段を備える、保育行動認識システムである。

第１の発明では、保育行動認識システム（１００：実施例において対応する部分を例示する参照符号。以下、同じ。）が利用される空間内には保育者および子どもが居る。出力手段（１０）は、空間内内を動く保育者の加速度を計測して出力する。第１取得手段（８０，Ｓ５）は、出力された保育者の加速度を取得する。第２取得手段（８０，Ｓ３３）は、距離画像センサ（１２）から得らえる奥行情報を利用して、空間内の子どもの位置および姿勢を取得する。同様に、第３取得手段（８０，Ｓ３５）は保育者の位置および姿勢を取得する。そして、認識手段（８０，Ｓ３７）は、保育者の加速度ならびに位置および姿勢と、子どもの位置および姿勢とに基づいて保育者が行った保育行動を認識する。

第１の発明によれば、保育者は認識された自身の保育行動を確認することで、保育日誌などの書類を作成に役立てることが出来る。したがって、保育者が日常的に行う業務の負担が軽減される。

また、保育者の管理者（園長など）は、保育者の保育行動を容易に把握することが出来るため、認識された保育行動を保育者の指導等に役立てることが出来る。

第２の発明は、第１の発明に従属し、出力手段は、保育者によって所持され、加速度センサを有する携帯端末を含む。

第２の発明では、携帯端末は加速度センサを有する。また、保育者は、携帯端末を装着したりポケットに入れたりする。

第２の発明によれば、保育者は加速度センサを有する携帯端末を所持すればよいので、保育行動認識システムを導入する際の保育者への負担が軽減される。

第３の発明は、第１の発明または第２の発明に従属し、第１取得手段、第２取得手段および第３取得手段は、第１時間毎に保育者の加速度と、保育者の位置および姿勢と、子どもの位置および姿勢とを取得し、認識手段は、第１時間よりも長い第２時間毎に保育者の保育行動を認識する。

第３の発明では、保育者の加速度と、保育者の位置および姿勢と、子どもの位置および姿勢とは、第１時間毎に取得される。そして、第１時間よりも長い第２時間毎に、保育者の保育行動が認識される。

第３の発明によれば、保育行動を認識するために必要なデータが取得されてから保育行動が認識される。これにより、保育行動を正確に認識することが出来る。

第４の発明は、空間内の保育者の加速度を出力する出力手段（１０）を有する、保育行動認識システム（１００）のプロセッサ（８０）を、出力手段が出力する加速度を取得する第１取得手段（Ｓ５）、空間内の子どもの位置および姿勢を取得する第２取得手段（Ｓ３３）、保育者の位置および姿勢を取得する第３取得手段（Ｓ３５）、および保育者の加速度ならびに位置および姿勢と、子どもの位置および姿勢とに基づいて、保育者の保育行動を認識する認識手段（Ｓ３７）として機能させる、保育行動認識プログラムである。

第４の発明でも、第１の発明と同様、保育者が日常的に行う業務の負担が軽減される。

第５の発明は、空間内の保育者の加速度を出力する出力手段（１０）を有する、保育行動認識システム（１００）のプロセッサ（８０）が、出力手段が出力する加速度を取得する第１取得ステップ（Ｓ５）、空間内の子どもの位置および姿勢を取得する第２取得ステップ（Ｓ３３）、保育者の位置および姿勢を取得する第３取得ステップ（Ｓ３５）、および保育者の加速度ならびに位置および姿勢と、子どもの位置および姿勢とに基づいて、保育者の保育行動を認識する認識ステップ（Ｓ３７）を実行する、保育行動認識方法である。

第５の発明でも、第１の発明と同様、保育者が日常的に行う業務の負担が軽減される。

第６の発明は、空間内の保育者によって所持される出力手段（１０）が出力する加速度を取得する第１取得手段（８０，Ｓ５）、空間内の子どもの位置および姿勢を取得する第２取得手段（８０，Ｓ３３）、保育者の位置および姿勢を取得する第３取得手段（８０，Ｓ３５）、および保育者の加速度ならびに位置および姿勢と、子どもの位置および姿勢とに基づいて、保育者の保育行動を認識する認識手段（８０，Ｓ３７）を備える、保育行動認識装置である。

第６の発明でも、第１の発明と同様、保育者が日常的に行う業務の負担が軽減される。

この発明によれば、保育者の業務の負担を軽減することが出来る。

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１はこの発明の一実施例の保育行動認識システムの概要を示す図解図である。図２は図１に示す保育行動認識システムの構成の一例を示す図解図である。図３は図２に示す携帯端末を所持する保育者の一例を示す図解図である。図４は図１に示す携帯端末の電気的な構成の一例を示すブロック図である。図５は図１に示す距離画像センサの電気的な構成の一例を示すブロック図である。図６は図２に示す中央制御装置の電気的な構成の一例を示すブロック図である。図７は図６に示す中央制御装置のメモリに記憶される環境データテーブルの構成の一例を示す図解図である。図８は図６に示す中央制御装置によって認識される保育行動の一覧を示す図解図である。図９は図８に示す保育行動が行われたときの加速度の平均の変化の一例を示す図解図である。図１０は図６に示す保育行動ＤＢの構成の一例を示す図解図である。図１１は図６に示す中央制御装置のメモリのメモリマップの一例を示す図解図である。図１２は図６に示す中央制御装置のプロセッサの取得処理の一例を示すフロー図である。図１３は図６に示す中央制御装置のプロセッサの保育行動認識処理の一例を示すフロー図である。

図１を参照して、この実施例の保育行動認識システム１００は、子どもが保育されている保育園などの空間（環境）で利用される。保育園内では、子どもが自由に移動して遊ぶことが可能であり、保育士などの保育者が子どもを保育している。保育者は携帯端末１０を所持している。保育園内の天井には複数の距離画像センサ１２（１２ａ，１２ｂ，…）が設けられ、壁には複数のマイク１４（１４ａ，１４ｂ，…）が設けられている。

携帯端末１０は出力手段とも呼ばれ、保育行動を行う保育者の加速度を出力するために、複数の加速度センサ３４（図３および図４参照）などを有している。複数の距離画像センサ１２は、保育者の位置および姿勢と、子どもの位置および姿勢とを検出することを目的として、保育園内の天井に設けられている。複数のマイク１４は、保育園内の雑音、特に床周辺の音の音量を計測することを目的として、保育園内の壁に設けられている。

そして、保育行動認識システム１００は、携帯端末１０、各距離画像センサ１２および各マイク１４を利用して、保育者の保育行動を認識する。

なお、実施例の空間は保育者と子どもとが居る保育園であるが、これに限らず幼稚園、学童保育所などでも保育行動認識システム１００は利用可能である。

また、図１では簡単のため、子どもは２人しか示していないが、保育園内にはさらに多くの子どもが保育されていてもよいし、保育される子どもが１でもよい。同様に、マイク１４も２つしか示していないが、さらに多くのマイク１４が保育園内に置かれてもよいし、マイク１４が１つであってもよい。そして、保育者は１人しか示していないが、保育園内には２人以上の保育者が居てもよい。

また、距離画像センサ１２ａ，１２ｂ，…を区別する必要がない場合、単に「距離画像センサ１２」と言う。そして、マイク１４ａ，１４ｂ，…を区別する必要が無い場合、単に「マイク１４」と言う。

図２を参照して、保育行動認識システム１００の中央制御装置１６は、保育行動認識装置とも呼ばれ、距離画像センサ１２およびマイク１４などが接続される。また、中央制御装置１６は、ネットワーク１０００を介して携帯端末１０と無線通信を行う。中央制御装置１６は、第１時間（たとえば、０．０５秒）毎に、距離画像センサ１２およびマイク１４が出力するセンサ情報を取得すると共に、携帯端末１０が出力する加速度センサ３４の加速度情報も取得する。そして、中央制御装置１６は、取得した各センサの情報から、保育者の加速度ならびに位置および姿勢と、子どもの位置および姿勢と、保育園内の音の音量とを含む環境データ（図７参照）をテーブルに記憶する。

また、保育園の中で位置が検出された子どもには、子どもＩＤ（以下、Ｃ−ＩＤ）が付与される。また、保育園内の子どもは、専用のタグ、登園の順番（空間に入る順番）および出欠確認を行うときの位置などを利用して識別され、それぞれの子どもに対して専用のＣ−ＩＤが付与される。

同様に、保育園の中で検出された保育者には、保育者ＩＤ（以下、Ｎ−ＩＤ）が付与される。また、保育者は、勤怠記録を付けるときの位置や、専用のタグなどを利用して識別され、専用のＮ−ＩＤが付与される。

図３は携帯端末１０を所持する保育者の状態の一例を示す図解図である。図３を参照して、実施例では、保育者は携帯端末１０を所持するために、腰部（ベルト部分）の背面に装着している。また、携帯端末１０が有する複数の加速度センサ３４の内、第１加速度センサ３４ａは保育者の右上腕部に取り付けられ、第２加速度センサ３４ｂは保育者の左上腕部に取り付けられ、第３加速度センサ３４ｃは保育者の腰部の表面に取り付けられる。第１加速度センサ３４ａ−第３加速度センサ３４は、シールなどを利用して保育者の服に張り付けられ、配線（図示せず）によって携帯端末１０に接続されている。

なお、他の実施例では、保育者は、携帯端末１０を服のポケットなどに入れるなどして所持してもよい。また、加速度センサ３４の数は１つないし２つであってもよいし、４つ以上であってもよい。特に、携帯端末１０が４つ以上の加速度センサを有する場合、頭部や胸部に加速度センサが張り付けられる。

図４は携帯端末１０の電気的な構成を示すブロック図である。図４を参照して、携帯端末１０はプロセッサ３０などを含む。プロセッサ３０は、マイクロコンピュータ或いはＣＰＵと呼ばれることもある。プロセッサ３０には、メモリ３２、第１加速度センサ３４ａ−第３加速度センサ３４ｃおよび無線ＬＡＮモジュール３６などが接続される。

プロセッサ３０は、携帯端末１０の全体を制御する。メモリ３２はＲＯＭおよびＲＡＭを含む。ＲＯＭには、回路の動作を制御するための制御プログラムが予め記憶される。また、ＲＡＭはプロセッサ３０のワークメモリやバッファメモリとして用いられる。たとえば、ＲＡＭのバッファには、後述する音声情報および加速度情報が一時的に記憶される。

第１加速度センサ３４ａ−第３加速度センサ３４ｃは、それぞれがセンサに対してある方向にどの程度の加速度がかかっているかを検知するものであり、たとえば、一度に３つの軸方向の加速度を検知することができる３軸の加速度センサである。この３つの加速度センサ３４によれば、たとえば子どもに対して保育行動を行っているときに、保育者がどのような動きをしているかを検出することが出来る。

無線ＬＡＮモジュール３６は、プロセッサ３０から与えられた送信データを、ネットワーク１０００を介して中央制御装置１６に送信する。たとえば、送信データは、３つの加速度センサ３４のそれぞれによって検出された保育者の加速度情報などである。

図５は距離画像センサ１２の電気的な構成を示すブロック図である。図５を参照して、距離画像センサ１２は制御ＩＣ６０などを含む。制御ＩＣ６０には、Ａ／Ｄ変換器６２、カメラ６６、深度センサ６８、深度カメラ７０およびＩ／Ｏ７２などが接続される。

制御ＩＣ６０は、キャッシュメモリなどを有し、距離画像センサ１２の動作を制御する。たとえば、制御ＩＣ６０は、中央制御装置１６からの命令に従って動作し、検出した結果を中央制御装置１６に送信する。

Ａ／Ｄ変換機６２にはマイク６４が接続され、マイク６４からの音声信号はＡ／Ｄ変換機６２でディジタル音声情報に変換され、制御ＩＣ６０に入力される。また、マイク６４によって集音された音声は、マイク１４によって集音された音声と共に、保育園内の雑音の音量を計測するために利用される。

カメラ６６は、距離画像センサ１２が設置された空間のＲＧＢ情報、つまりカラー画像を撮影するためのカメラである。また、カメラ６６は、後述する深度カメラ７０が撮影している空間と略同じ空間を撮影することが可能なように、距離画像センサ１２に設けられている。

深度センサ６８は、たとえば赤外線プロジェクタであり、深度カメラ７０は、たとえば赤外線カメラである。深度センサ６８は、たとえば赤外線によるレーザ光を距離画像センサ１２の正面に照射する。空間には照射されたレーザ光によって特殊なパターンが描画され、深度カメラ７０は描画されたパターンを撮影する。そして、撮影された画像は制御ＩＣ６０に入力され、制御ＩＣ６０はその画像を解析することで、レーザ光が照射された空間の奥行(depth)情報を計測する。

Ｉ／Ｏ７２は、入力／出力の制御が可能なディジタルポートであり、出力ポートからは音声情報、ＲＧＢ情報および奥行情報が出力され、中央送制御装置１６に与えられる。一方、中央制御装置１６からは制御信号が出力され、入力ポートに与えられる。

なお、距離画像センサ１２は、ＲＧＢ情報および奥行情報を出力することからＲＧＢ−Ｄセンサと呼ばれることもある。

また、実施例の距離画像センサ１２には、Ｍｉｃｒｏｓｏｆｔ（登録商標）社製のＫｉｎｅｃｔ（登録商標）センサと呼ばれる製品が採用されている。ただし、他の実施例では、ＡＳＵＳ（登録商標）社製のＸｔｉｏｎ、パナソニック（登録商標）社製の３次元距離画像センサであるＤ−ＩＭａｇｅｒ（登録商標）などが距離画像センサ１２として採用されてもよい。

図６は中央制御装置１６の電気的な構成を示すブロック図である。図６を参照して、中央制御装置１６は、距離画像センサ１２およびプロセッサ８０などを含む。プロセッサ８０は、マイクロコンピュータ或いはＣＰＵと呼ばれることもある。プロセッサ８０には、複数の距離画像センサ１２、メモリ８２、Ａ／Ｄ変換機８４、出力装置８６、入力装置８８、保育行動データベース（ＤＢ：Ｄａｔａｂａｓｅ）９０および通信ＬＡＮボード９２などが接続される。

距離画像センサ１２は、上述したように奥行情報などを出力する。この奥行情報には、空間に居る人（子ども、保育者）の形状および人までの距離が含まれている。たとえば、人が天井に設けられた距離画像センサ１２によってセンシングされると、人を上から見た状態の頭部および両肩の形状と、頭部および両肩までの距離が奥行情報として得られる。

また、保育園には３５個の距離画像センサ１２が所定の位置（既知）に設置されており、プロセッサ８０は、各々から奥行情報を取得して、空間（ワールド座標系）における人の位置（たとえば、重心など特徴点の位置座標（ｘ，ｙ））および人の姿勢（たとえば、頭部の向き（θ_Ｈ）および両肩の向き（θ_Ｂ））を計算することが出来る。

また、距離画像センサ１２はマイク６４を有するため、中央制御装置１６では、音声情報が入力される距離画像センサ１２の位置から、音の発生源を推定することも出来る。

なお、他の実施例では、距離画像センサ１２ではなく、２次元または３次元のＬＲＦを利用して、人の位置および姿勢が検出されてもよい。

プロセッサ８０は中央制御装置１６の動作を制御し、日時情報を出力するＲＴＣを含む。メモリ８２は、ＲＯＭ，ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、中央制御装置１６の動作を制御するための制御プログラムなどが予め記憶される。また、ＲＡＭは、プロセッサ８０のワークメモリやバッファメモリとして用いられる。

Ａ／Ｄ変換機８４には、複数のマイク１４ａ，１４ｂが接続される。各マイク１４からの音声信号はＡ／Ｄ変換機８４でディジタル音声情報に変換され、プロセッサ８０に入力される。そして、マイク１４によって集音された音声は、マイク６４によって集音された音声と共に、保育園内の雑音の音量を計測するために利用される。なお、他の実施例では、各マイク１４がそれぞれ独立して、プロセッサ８０に接続されてもよい。この場合、プロセッサ８０は、音声情報が入力されるマイク１４を特定することが可能となる。

出力装置８６は、たとえばディスプレイなどであり、入力装置８８は、たとえばマウスやキーボードである。そして、保育者や、保育園の管理人（たとえば、園長）は、このシステムによって認識された結果を、出力装置８６および入力装置８８を利用して確認および利用することが出来る。保育行動ＤＢ９０には、保育者の認識された保育行動が時系列順に記憶される。

通信ＬＡＮボード９２は、たとえばＤＳＰで構成され、プロセッサ８０から与えられた送信データを無線通信装置９４に与え、無線通信装置９４は送信データを、ネットワーク１０００を介して他の装置に送信する。また、通信ＬＡＮボード９２は、無線通信装置９４を介してデータを受信し、受信したデータをプロセッサ８０に与える。

図７は環境データテーブルの構成の一例を示す図解図である。環境データとは、ある日時における各子どもの位置および姿勢と、保育者の位置および姿勢と、携帯端末１０が出力する加速度の分析結果と、各距離画像センサ１２および各マイク１４によって取得された音声の音量とを含むデータである。そして、環境データテーブルには、１行毎にこれらの情報を含む環境データが記憶される。図７を参照して、環境データテーブルは日時、子ども、保育者、携帯端末およびマイクの列を含む。子どもの列には、保育園の中にいる子どもと対応するＣ−ＩＤ（「００１」、「００２」、…）の列が含まれる。保育者の列には、保育園の中にいる保育者と対応するＮ−ＩＤ（「００１」）の列が含まれる。携帯端末の列には、加速度、分散および波形数の列が含まれる。

日時の列には、環境データが取得された日時が記憶される。また、記憶される日時の形式としては、「ｙｙ」が「年」を示し、「ｍｍ」が「月」を示し、「ｄｄ」が「日」を示し、「Ｈ」が「時」を示し、「Ｍ」が「分」を示し、「Ｓ」が「秒」を示す。

子どもの列におけるＣ−ＩＤの列には、たとえば「Ｃ−ＩＤ：００１」と対応する子どもの位置として「Ｘ_１，Ｙ_１」が記憶され、姿勢として「θ_Ｈ１（頭の向き）」および「θ_Ｂ１（体の向き）」が記憶される。同様に、保育者の列におけるＮ−ＩＤの列には、たとえば「Ｎ−ＩＤ：００１」と対応する保育者の位置として、「Ｘ_３，Ｙ_３」が記憶され、姿勢として「θ_Ｈ３（頭の向き）」および「θ_Ｂ３（体の向き）」が記憶される。たとえば、子どもおよび保育者の位置および姿勢から、子ども同士が一緒に遊んでいるかどうか、保育者と子どもとの位置関係などを判別することが可能となる。なお、ここではＮ−ＩＤが１つだけしか示されていないが、より多くの保育者が保育園内に居る場合は、保育者の列には、各保育者のＮ−ＩＤと対応する列が含まれることになる。

携帯端末の列における加速度の列には、携帯端末１０が有する３つの加速度センサ３４から出力される複数の加速度の平均値として「Ａａ」が記憶される。携帯端末の列における分散の列には、３つの加速度センサ３４から出力される加速度の分散として「σ^２」が記憶される。携帯端末の列における波形数の列には、３つの加速度センサ３４の値を二次元平面上に配置して繋ぐことによって描かれる波形が、加速度の平均（「Ａａ」）によって定義される直線を跨いだ回数が「波形数」として記憶される。そして、携帯端末１０におけるこれらの情報から、保育行動を行う保育者がどのような動きをしていたかを判断することが出来る。なお、携帯端末１０が有する加速度センサ３４が１つの場合は、加速度の平均は１つの加速度センサ３４から出力された値となり、分散および波形数は「０」とされる。また、複数の保育者が居る場合は、各保育者が所持する携帯端末の列がテーブルに追加される。

マイクの列には、各距離画像センサ１２および各マイク１４から取得される音声の音量の平均として「ＡＢ」が記憶される。ここで、「ＡＢ」は保育園内の雑音の音量の平均を示すことになる。たとえば、子どもの遊び行動においては、遊び行動によって空間内の雑音の音量が変化する。そのため、各マイクの音声の音量を利用することで、各遊び行動を判別するための要素として利用できる。なお、音量の平均である「ＡＢ」の単位は「ｄＢ」である。

そして、中央制御装置１６は、環境データテーブルに対して、第１時間毎にこのような環境データを記憶する。なお、子どもの位置および姿勢と各マイクの音量の平均とは、保育者の周囲の状態を示す情報であるため、まとめて周辺情報と呼ばれることがある。また、保育者の位置および姿勢と、加速度の平均、分散および波形数とは、保育者自身の情報を示す情報であるため、まとめて保育者情報と呼ばれることがある。

図８は保育行動の具体的な内容を示す図解図である。図８を参照して、実施例の保育行動には、「抱っこしている」、「なだめている」、「食事をさせている」、「おむつを交換している」、「一緒に遊んでいる」、「休憩」および「事務処理」などが含まれる。

図９は保育行動が行われている状態と行われていない状態とにおける、３つの加速度センサ３４が出力する加速度の平均の変化を示す図解図である。保育者が「抱っこしている」の保育行動を行っている状態では、加速度の平均は１０００ｍｓｅｃが経過するまでは緩やかに変化し、１０００−２０００ｍｓｅｃの間は激しく変化している。一方、保育行動が行われていない（インタラクション無し）の状態では、加速度の平均はほとんど変化していない。このように、保育者が保育行動を行った場合、加速度の平均は特徴的な変化を見せるため、加速度の平均を保育行動の認識に利用することが可能となる。

また、実施例では、或る保育者が保育行動を行ったときの周辺情報および或る保育者の保育者情報を教師データとし、ＳＶＭ(Support vector machine)などの機械学習手法によって教師データを学習する。その結果、保育行動の判別モデルが作成される。この判別モデルに対して、或る保育行動を行った保育者における、第２時間（たとえば、５秒）分の未知の周辺情報と保育者情報とを入力すると、保育行動とその保育行動が似ている割合を示す尤度とが少なくとも１つ以上得られる。そして、判別モデルは、尤度が最も高い保育行動を認識結果として出力する。

たとえば、保育行動の判別モデルに対して、或る保育行動が行われたときの周辺情報と保育者情報とを未知データとして入力した際に、尤度が８０％の「抱っこしている」と尤度が７０％の「なだめている」とが得られた場合、この判別モデルは尤度が最も高い「抱っこしている」を、保育行動の認識結果として出力する。

図１０は保育行動ＤＢ９０の構成の一例を示す図解図である。図１０を参照して、保育行動ＤＢ９０は、日付、番号および保育行動の列を含み、認識された保育行動は時系列順に記憶される。たとえば、或る保育者は、２０１３年３月５日に「抱っこしている」の保育行動が認識された後に、「なだめている」の保育行動が２回認識され、その後に「一緒に遊んでいる」の保育行動が認識される。

なお、保育園内に複数の保育者が居る場合は、図９に示すデータベースが１人の保育者に対応するテーブルとされ、保育行動ＤＢ９０は各保育者に対応するテーブルを含むことになる。

このように、中央制御装置１６では、保育園内の保育者の保育行動が認識され、その認識結果がデータベースに記憶される。たとえば、保育者は、そのデータベースを参照することで自身の保育行動を客観的に確認することが出来るため、保育日誌などの書類を作成に役立てることが出来る。したがって、保育者が日常的に行う業務の負担が軽減される。また、保育園の管理者（園長など）は、保育者の保育行動を容易に把握することが出来るため、保育行動ＤＢ９０の内容を保育者の指導等に役立てることが出来る。

また、他の実施例では、保育行動ＤＢ９０の内容に基づいて、保育者の保育日誌などが自動的に作成されるようにしてもよい。

なお、実施例では、保育行動は、環境データを取得するために必要な第１時間よりも長い第２時間毎に認識される。つまり、保育行動を認識するために必要な環境データが取得されてから保育行動が認識される。これにより、保育者の保育行動を正確に認識することが出来る。

上述では実施例の特徴を概説した。以下では、図１１に示すメモリマップ、図１２および図１３に示すフロー図を用いて、実施例について詳細に説明する。

図１３は図６に示す中央制御装置１６のメモリ８２のメモリマップの一例を示す図解図である。図１３に示すように、メモリ８２はプログラム領域３０２およびデータ記憶領域３０４を含む。プログラム記憶領域３０２には、中央制御装置１６を動作させるためのプログラムとして、各センサから情報を取得し、環境テーブルに環境データを記憶するための取得プログラム３１０および保育行動を認識するための保育行動認識プログラム３１２などが記憶される。なお、図示は省略するが、中央制御装置１６を動作させるためのプログラムには、データベースの内容を確認するためのプログラムなども含まれる。

データ記憶領域３０４には、環境データテーブル３３０などが記憶される。環境データテーブル３３０は、たとえば図７に示す構成のテーブルであり、環境データが記憶される。なお、図示は省略するが、データ記憶領域３０４には、様々な計算の結果を一時的に格納するバッファや、中央制御装置１６の動作に必要な他のカウンタやフラグなども設けられる。

中央制御装置１６のプロセッサ８０は、Ｌｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図１２に示す取得処理および図１３に示す保育行動認識処理などを含む、複数のタスクを処理する。

図１２は取得処理のフロー図である。中央制御装置１６の電源がオンにされ、取得処理の実行命令が出されると、取得処理が実行される。なお、取得処理の実行命令は、第１時間毎に出される。

取得処理が実行されると、プロセッサ８０はステップＳ１で、現在時刻を取得する。たとえば、プロセッサ８０が有するＲＴＣから現在時刻を取得する。続いて、ステップＳ３でプロセッサ８０は、距離画像センサ１２の情報を取得する。つまり、プロセッサ８０は、距離画像センサ１２が出力する奥行情報および音声情報を取得する。

続いて、ステップＳ５でプロセッサ８０は、保育者の加速度情報を取得する。つまり、プロセッサ８０は、３つの加速度センサ３４のそれぞれによって計測された加速度情報を、携帯端末１０から受信する。続いて、ステップＳ７でプロセッサ８０は、マイク１４から音声情報を取得する。つまり、プロセッサ８０は、マイク１４によって集音された音声の音声情報を取得する。なお、ステップＳ５の処理を実行するプロセッサ８０は第１取得手段として機能する。

続いて、ステップＳ９でプロセッサ８０は、各センサの情報から環境データを作成する。つまり、奥行き情報から子どもの位置および姿勢と保育者の位置および姿勢とが計算され、加速度情報から加速度の平均、分散および波形数が計算され、複数のマイク１４および距離画像センサ１２のマイク６４から音声（雑音）の音量の平均が計算される。そして、これらの値が１つの環境データとされる。

続いて、ステップＳ１１でプロセッサ８０は、現在時刻および環境データを記憶する。つまり、ステップＳ１で取得された現在時刻の情報に環境データが関連付けられ、環境データテーブル３３０に記憶される。

図１３は遊び行動認識処理のフロー図である。中央制御装置１６の電源がオンにされ、保育行動認識処理の実行命令が出されると、保育行動認識処理が実行される。なお、保育行動認識処理の実行命令は、第２時間毎に出される。

保育行動認識処理が実行されると、ステップＳ３１でプロセッサ８０は、変数Ｎｉを初期化する。変数Ｎｉは、任意のＮ−ＩＤを指定するための変数である。そして、ステップＳ３１で変数Ｎｉの値は「１」とされる。続いて、ステップＳ３３でプロセッサ８０は、現在時刻から第２時間分の周辺情報を取得する。具体的には、子どもの位置および姿勢と各マイクの音量の平均とが、環境データテーブル３３０から読み出される。なお、ステップＳ３３の処理を実行するプロセッサ８０は第２取得手段として機能する。

続いて、ステップＳ３５でプロセッサ８０は、Ｎｉ番目の保育者と対応する、現在時刻から第２時間分の保育者情報を取得する。具体的には、保育者の位置および姿勢と、３つの加速度センサの平均、分散および波形数とが、環境データテーブルから読み出される。続いて、ステップＳ３７でプロセッサ８０は、保育行動を認識する。つまり、プロセッサ８０は、取得された周辺情報および保育者情報をＳＶＭに入力し、そのＳＶＭによる認識結果を得る。なお、ステップＳ３５の処理を実行するプロセッサ８０は第３取得手段として機能する。また、ステップＳ３７の処理を実行するプロセッサ８０は認識手段として機能する。

続いて、ステップＳ３９でプロセッサ８０は、保育行動をデータベースに記憶する。たとえば、保育行動として「抱っこしている」が認識された場合、保育行動ＤＢ９０には「抱っこしている」の保育行動が記憶される。

続いて、ステップＳ４１でプロセッサ８０は、変数Ｎｉをインクリメントする。つまり、次の保育者を指定するために、変数Ｎｉの値がインクリメントされる。続いて、ステップＳ４３でプロセッサ８０は、変数Ｎｉが最大値より大きいか否かを判断する。最大値とは、保育者の総数である。したがって、ステップＳ４３では、全ての保育者の保育行動が認識されたかが判断される。ステップＳ４３で“ＮＯ”であれば、つまり全ての保育者の保育行動が認識されていなければ、プロセッサ８０はステップＳ３５の処理に戻る。一方、ステップＳ４３で“ＹＥＳ”であれば、全ての保育者の保育行動が認識されると、プロセッサ８０は保育行動認識処理を終了する。

なお、他の実施例では、携帯端末１０として、加速度センサ３４を有するスマートフォン（smartphone）が利用されてもよい。この場合、保育者は加速度センサ３４を有するスマートフォンを所持すればよいので、保育行動認識システム１００を導入する際の保育者への負担が軽減される。また、市販のものを利用して保育者の加速度を取得することが可能になるため、保育行動認識システム１００の構築が容易となる。

また、保育行動の種類は、実施例のものとは異なっていてもよいし、数が異なっていてもよい。

また、実施例では、機械学習手法としてＳＶＭを採用したが、他の実施例では、ニューラルネットワークまたはＣ４．５などのアルゴリズムが採用されてもよい。

また、その他の実施例では、マイク１４および距離画像センサ１２のマイク６４の音量の平均を使わずに、保育行動が認識されてもよい。

また、さらにその他の実施例では、メモリ８２には、空間の地図が記憶されていてもよい。そして、保育者の地図上の位置を考慮して保育行動が認識されるようにしてもよい。

また、本実施例で説明した複数のプログラムは、データ配信用のサーバのHDDに記憶され、ネットワークを介して本実施例と同等の構成のシステムに配信されてもよい。また、CD, DVD, BD (Blu-ray（登録商標） Disc)などの光学ディスク、USBメモリおよびメモリカードなどの記憶媒体にこれらのプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、上記複数のプログラムが、本実施例と同等の構成のシステムに適用された場合、本実施例と同等の効果が得られる。

そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。

１０ …携帯端末
１２ａ，１２ｂ …距離画像センサ
１４ａ，１４ｂ …マイク
１６ …中央制御装置
３０ …プロセッサ
３４ …加速度センサ
６４ …マイク
８０ …プロセッサ
８２ …メモリ
９０ …保育行動ＤＢ
１００ …保育行動認識システム
１０００ …ネットワーク

Claims

空間内の保育者の加速度を出力する出力手段、
前記出力手段が出力する加速度を取得する第１取得手段、
前記空間内の子どもの位置および姿勢を取得する第２取得手段、
前記保育者の位置および姿勢を取得する第３取得手段、および
前記保育者の加速度ならびに位置および姿勢と、前記子どもの位置および姿勢とに基づいて、前記保育者の保育行動を認識する認識手段を備える、保育行動認識システム。
前記出力手段は、前記保育者によって所持され、加速度センサを有する携帯端末を含む、請求項１記載の保育行動認識システム。
前記第１取得手段、前記第２取得手段および前記第３取得手段は、第１時間毎に前記保育者の加速度と、前記保育者の位置および姿勢と、前記子どもの位置および姿勢とを取得し、
前記認識手段は、前記第１時間よりも長い第２時間毎に前記保育者の保育行動を認識する、請求項１または２記載の保育行動認識システム。
空間内の保育者の加速度を出力する出力手段を有する、保育行動認識システムのプロセッサを、
前記出力手段が出力する加速度を取得する第１取得手段、
前記空間内の子どもの位置および姿勢を取得する第２取得手段、
前記保育者の位置および姿勢を取得する第３取得手段、および
前記保育者の加速度ならびに位置および姿勢と、前記子どもの位置および姿勢とに基づいて、前記保育者の保育行動を認識する認識手段として機能させる、保育行動認識プログラム。
空間内の保育者の加速度を出力する出力手段を有する、保育行動認識システムのプロセッサが、
前記出力手段が出力する加速度を取得する第１取得ステップ、
前記空間内の子どもの位置および姿勢を取得する第２取得ステップ、
前記保育者の位置および姿勢を取得する第３取得ステップ、および
前記保育者の加速度ならびに位置および姿勢と、前記子どもの位置および姿勢とに基づいて、前記保育者の保育行動を認識する認識ステップを実行する、保育行動認識方法。
空間内の保育者によって所持される出力手段が出力する加速度を取得する第１取得手段、
前記空間内の子どもの位置および姿勢を取得する第２取得手段、
前記保育者の位置および姿勢を取得する第３取得手段、および
前記保育者の加速度ならびに位置および姿勢と、前記子どもの位置および姿勢とに基づいて、前記保育者の保育行動を認識する認識手段を備える、保育行動認識装置。