JP2021005207A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】睡眠中の乳幼児の動画像からうつぶせ寝を判別することのできる情報処理装置、情報処理方法、及びプログラムを提供する。【解決手段】カメラから、睡眠中の乳幼児を上方から写した動画像を取得する受信部と、前記動画像から、前記乳幼児の寝姿勢を識別する寝姿勢識別部と、前記寝姿勢がうつぶせ寝である場合に、端末に対して警告通知を送信する送信部と、を有する、情報処理装置。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

乳幼児突然死症候群(SIDS)は、何の予兆や既往歴もないまま乳幼児が死に至る病気である。乳幼児突然死症候群の原因は特定されていないものの、寝かせる時にうつぶせに寝かせたときの方が乳幼児突然死症候群の発生率が高いということが分かっている。このような乳幼児突然死症候群の発症リスクを低減させるため、従来、預かり保育施設等では、５分に1回の睡眠チェックを行うことが推奨されている。

特許文献１には、乳幼児の身体の下に敷いて用いる無呼吸症候群判定装置が開示されており、この無呼吸症候群判定装置では、心拍信号検出手段が乳幼児の心拍信号を検出することにより、乳幼児の呼吸の正常性を監視する。

特開2005-160650号公報

従来型の乳幼児の身体の下に敷いて用いるタイプの装置や、乳幼児の身体に取り付けて用いるタイプのセンサーは、乳幼児毎に設置する必要がある。しかしながら、複数の乳幼児の睡眠を見守る預かり保育では、このような装置やセンサーを乳幼児毎に設置するのに相応の手間がかかる。そのため、乳幼児にセンサーやデバイスを装着することなく、乳幼児の睡眠時の姿勢からうつぶせ寝を判別できるような仕組みの実現が望まれる。

また、預かり保育施設において推奨されているチェックについても、複数の乳幼児の寝姿勢の判別結果を定期的に自動記録できるような仕組みの実現が望まれる。

本発明は、かかる事情に鑑みてなされたものであり、睡眠中の乳幼児の動画像からうつぶせ寝を判別することのできる情報処理装置、情報処理方法、及びプログラムを提供することを一つの目的とする。

本発明の実施形態に係る情報処理装置は、カメラから、睡眠中の乳幼児を上方から写した動画像を取得する受信部と、動画像から、乳幼児の寝姿勢を識別する寝姿勢識別部と、寝姿勢がうつぶせ寝である場合に、端末に対して警告通知を送信する送信部と、を有する。

この構成によれば、乳幼児にセンサーやデバイスを装着することなく、動画像から乳幼児のうつぶせ寝を検出し警告を発することが可能となる。また、乳幼児毎に寝姿勢の検出手段を設けることなく、複数の乳幼児が写る一つの動画像により、複数の乳幼児の寝姿勢を一度に識別することが可能となる。

さらに、乳幼児の身体の下に敷いて用いるタイプの装置では、乳幼児が移動して、装置の検出範囲から外れるという問題や、乳幼児の身体に取り付けて用いるタイプのセンサーでは、乳幼児の寝相によりセンサーが外れたりするという問題が生じ、警告の誤作動が生じ得る。しかし、上記構成では動画像を用いるため、乳幼児にセンサーやデバイスを装着することに起因する警告の誤作動を回避することができる。

また、上記情報処理装置において、寝姿勢識別部は、動画像に写る乳幼児の顔を検出し、顔の検出ができなくなった場合に、乳幼児の寝姿勢がうつぶせ寝であると識別するように構成することができる。

睡眠中の乳幼児を上方から写した動画像において顔検出がされていたにもかかわらず途中から顔検出ができなくなった場合には、乳幼児がうつぶせ寝になっている可能性が高いと考えられる。そのため、上記構成とすることにより、より適切に乳幼児の寝姿勢を識別することが可能となる。また、上記構成によれば顔に毛布等がかかっており、呼吸が妨げられるような状況も検出することが可能となるほか、乳幼児が起きて動画像の視野から外れたり、または乳幼児が寝がえりで大幅に動いたりするような場合も検出することができる。これにより、うつぶせ寝以外に保育士が注意するべき状態についても警告を発することが可能となる。

また、上記情報処理装置において、寝姿勢識別部は、動画像に写る乳幼児の顔パーツ、例えば、目、耳、鼻、口を検出し、顔パーツの検出スコアに基づいて、乳幼児の寝姿勢を識別するように構成することもできる。

肩や手足など体全体を使用した寝姿勢の識別方法では、肩や手足などが布団に隠れている場合に適切に乳幼児の寝姿勢を識別できない可能性があるが、上記のように顔パーツを使用した寝姿勢の識別方法を用いることにより、体の一部が布団により隠れた状態であっても、適切に乳幼児の寝姿勢を識別することが可能となる。

さらに、上記情報処理装置において、寝姿勢識別部は、動画像のフレームを回転させることにより得られる複数の画像を用いて、顔パーツの検出処理を実行するように構成することもできる。

これにより、動画像のフレームを回転させることにより得られた複数の画像のうち、乳幼児の顔を正対した位置で撮影した画像から、顔パーツの検出処理を実行することができる。特に、複数の乳幼児を上方から写した動画像において各乳幼児が異なる方向を向いて寝ているような場合であっても、それぞれの乳幼児について顔を正対した位置で撮影した画像を得ることができ、顔パーツの検出処理を実行することができる。

また、上記情報処理装置において、寝姿勢識別部は、顔パーツのうち、鼻の検出スコアに基づいて、乳幼児の寝姿勢を識別するように構成することもできる。

これにより、例えば、鼻が見えている状態であれば完全にうつぶせ寝の状態とはなっておらず呼吸するための気道が確保されており、鼻が見えていない或いは見えにくい状態であればうつぶせ寝の状態である可能性が高いという判断を行うことが可能となる。

さらに、上記情報処理装置は、動画像に写る乳幼児の個人を識別する個人識別部をさらに有するように構成することもできる。

これにより、複数の乳幼児が写る一つの動画像において、各乳幼児の寝姿勢に関する情報を個人と結びつけて管理することが可能となる。

また、上記情報処理装置において、受信部は、端末から、所定のフレーム中に写る乳幼児の個人を特定する情報を取得するものであり、個人識別部は、所定のフレームから乳幼児の位置を経時的に追跡することで、動画像における乳幼児の個人を識別するように構成することもできる。

これにより、各乳幼児が寝ながら移動したとしても、動画像に写る乳幼児の個人を識別することができる。

さらに、上記情報処理装置は、寝姿勢識別部が識別した乳幼児の寝姿勢を経時的に記録する記録部をさらに有するように構成することもできる。

これにより、保育士が行う５分に１回の睡眠チェックに代えて又は加えて、経時的な寝姿勢の記録を自動でつけることが可能となる。そのため、保育士の睡眠チェックの負荷を軽減し、寝姿勢の記録作成の負荷も軽減することが可能となる。

また、上記情報処理装置において、受信部は、警告通知を送信した端末から、うつぶせ寝を解消した旨の通知を受信し、記録部は、うつぶせ寝を解消したことを記録するように構成することもできる。

これにより、警告を受けて保育士がうつぶせ寝に対応したことを記録として残すことが可能となる。

さらに、上記情報処理装置において、送信部は、端末に対して、寝姿勢の記録を送信するように構成することもできる。

これにより、保育士は寝姿勢の記録を端末の画面で閲覧することができる。

また、上記情報処理装置において、送信部は、端末に対して、受信部が取得した動画像に、乳幼児の個人を識別する情報と、乳幼児の寝姿勢に関する情報と、を付加して送信するように構成することもできる。

これにより、保育士は動画像と寝姿勢に関する情報を端末の画面で閲覧することができる。例えば、寝姿勢識別部がうつぶせ寝を検知して警告が発せられた場合には、保育士は動画像からうつぶせ寝を疑われる乳幼児を容易に特定することが可能となる。

また、本発明の実施形態に係る情報処理方法は、情報処理装置が、カメラから、睡眠中の乳幼児を上方から写した動画像を取得するステップと、動画像から、乳幼児の寝姿勢を識別するステップと、寝姿勢がうつぶせ寝である場合に、端末に対して警告通知を送信するステップと、を実行する。

この構成によれば、乳幼児にセンサーやデバイスを装着することなく、動画像から乳幼児のうつぶせ寝を検出し警告を発することが可能となる。また、乳幼児毎に寝姿勢の検出手段を設けることなく、複数の乳幼児が写る一つの動画像により、複数の乳幼児の寝姿勢を一度に識別することが可能となる。

さらに、本発明の実施形態に係るプログラムは、情報処理装置に、カメラから、睡眠中の乳幼児を上方から写した動画像を取得するステップと、動画像から、乳幼児の寝姿勢を識別するステップと、寝姿勢がうつぶせ寝である場合に、端末に対して警告通知を送信するステップと、を実行させる。

この構成によれば、乳幼児にセンサーやデバイスを装着することなく、動画像から乳幼児のうつぶせ寝を検出し警告を発することが可能となる。また、乳幼児毎に寝姿勢の検出手段を設けることなく、複数の乳幼児が写る一つの動画像により、複数の乳幼児の寝姿勢を一度に識別することが可能となる。

また、本発明の実施形態に係る情報処理方法は、カメラと、情報処理装置と、端末と、を備え、情報処理装置が、カメラから、睡眠中の乳幼児を上方から写した動画像を取得するステップと、動画像から、乳幼児の寝姿勢を識別するステップと、寝姿勢がうつぶせ寝である場合に、端末に対して警告通知を送信するステップと、を実行するうつぶせ寝監視システムにおいて、端末が、警告通知を受信するステップと、ユーザの操作に応じて、情報処理装置に対して、うつぶせ寝を解消した旨の通知を送信するステップと、を実行する。

この構成によれば、警告を受けて保育士がうつぶせ寝に対応したことを記録として残すことが可能となる。

本発明によれば、睡眠中の乳幼児の動画像からうつぶせ寝を判別することのできる情報処理装置、情報処理方法、及びプログラムを提供することができる。

本発明の一実施形態に係るサーバ１０を含むネットワークの構成を概略的に示す構成図である。 寝姿勢判定テーブルＴＡ１において管理される情報を例示する図である。 寝姿勢レコードＴＡ２において管理される情報を例示する図である。 寝姿勢識別部１１１が、動画像のフレームを回転させることにより得られる複数の画像を用いて、顔又は顔パーツの検出処理を実行する概念図である。 個人識別部１１２が、所定のフレームから乳幼児の位置を経時的に追跡することで、動画像における乳幼児の個人を識別する処理を実行する概念図である。 本発明の一実施形態に係るうつ伏せ寝監視システムの処理を表すシーケンス図である。 利用者端末３０の寝姿勢の記録の表示画面を表す模式図である。 利用者端末３０の動画像の表示画面を表す模式図である。

以下、図面を参照しながら、本発明の実施の形態について詳細に説明するが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で様々な変形が可能である。

図１は、本発明の一実施形態に係るサーバ１０を含むネットワークの構成を概略的に示す構成図である。サーバ１０は、図示するように、インターネット等の通信ネットワークＮＷを介して、カメラ２０と、利用者端末３０と通信可能に接続されている。サーバ１０は、カメラ２０から受信した動画像に基づいて乳幼児のうつぶせ寝を検知したときに、利用者端末３０に警告通知を送信し、利用者端末３０を介して保育士に対して警告を行う、うつぶせ寝監視システムを提供する。サーバ１０は、本発明のうつぶせ寝監視システムの全部又は一部を実装する情報処理装置の一例である。

＜サーバ＞
サーバ１０は、一般的なコンピュータとしての構成を有する。具体的には、サーバ１０は、図１に示すように、ＣＰＵ又はＧＰＵとして構成されるコンピュータプロセッサ１１と、ＤＲＡＭ等によって構成されデータやプログラムを一時的に記憶するメモリ１２と、ユーザ等との間で情報のやり取りを行う入出力インタフェース１３と、有線又は無線の通信を制御する通信インタフェース１４と、磁気ディスク又はフラッシュメモリ等によって構成され、寝姿勢判定テーブＴＡ１、寝姿勢レコードＲ１、及びプログラムＰ等を記憶するストレージ１５とを備える。コンピュータプロセッサ１１は、ストレージ１５等に記憶されているプログラムＰをメモリ１２に読み込んで、当該プログラムＰに含まれる命令を実行する。

入出力インタフェース１３は、サーバ１０に対する各種操作を入力する入力装置、および、サーバ１０で処理された処理結果を出力する出力装置を含む。例えば、入出力インタフェース１３は、キーボード、マウス、及びタッチパネル等の情報入力装置、マイクロフォン等の音声入力装置、カメラ等の画像入力装置、ディスプレイ等の画像出力装置、及びスピーカ等の音声出力装置を含む。

通信Ｉ／Ｆ１４は、ネットワークＮＷを介して他の情報処理装置と各種データの送受信を行う。当該通信は、有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。例えば、通信Ｉ／Ｆ１４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、又はこれらの組み合わせとして実装される。

サーバ１０の通信Ｉ／Ｆ１４は、カメラ２０から動画像を受信したり、利用者端末３０から各種情報を受信したりする受信部としての機能を有する。また、サーバ１０の通信Ｉ／Ｆ１４は、カメラ２０へ動画像の撮影の制御に関する情報を送信したり、利用者端末３０へ動画像や寝姿勢の記録に関する情報を送信したりする送信部としての機能を有する。

本実施形態において、ストレージ１５は、例えば、寝姿勢判定テーブＴＡ１、寝姿勢レコードＲ１、及びプログラムＰを有する。

図２は、寝姿勢判定テーブルＴＡ１において管理される情報を例示する。寝姿勢判定テーブルＴＡ１は、図示するように、「寝姿勢」に対応付けて、寝姿勢を示す「記号」や、各寝姿勢を判定するために用いられる「顔パーツ検出スコア」等の情報を管理する。このように、本実施形態では、顔パーツ検出スコアに応じた寝姿勢の識別が可能となっている。

図３は、寝姿勢レコードＲ１において管理される情報を例示する。寝姿勢レコードＲ１は、図示するように、動画像に写る乳幼児の寝姿勢に関する情報が記録される。寝姿勢レコードＲ１は、各乳幼児を特定する「個人情報」に対応付けて、動画像内の各乳幼児の「位置情報」や、時間ごとの「寝姿勢」等の情報を管理する。「個人情報」としては、保育士が動画像に写る乳幼児を特定できる情報であれば特に制限されず、例えば名前を用いることができる。また、「位置情報」としては、例えば、動画像内の乳幼児の位置（ｘ，ｙ）と、その乳幼児の顔を正対した位置で映す場合の画像の回転角度に関する情報（ｒ）が格納される。「寝姿勢」としては、寝姿勢判定テーブルＴＡ１の記号や寝姿勢を格納することができる。

本実施形態において、サーバ１０は、ストレージ１５等に記憶されているプログラムＰに含まれる命令をコンピュータプロセッサ１１が実行することによって、図１に示すように、寝姿勢識別部１１１、個人識別部１１２、及び記録部１１３として機能するように構成されている。

寝姿勢識別部１１１は、動画像から乳幼児の寝姿勢を識別する処理を実行する。例えば、寝姿勢識別部１１１は、動画像に写る乳幼児の顔を検出し、顔の検出ができなくなった場合に、乳幼児の寝姿勢がうつぶせ寝であると識別することができる。

また、寝姿勢識別部１１１は取得した動画像から乳幼児の顔パーツを検出し、寝姿勢判定テーブルＴＡ１を参照して、鼻、目、耳、口等の顔パーツの検出スコアから乳幼児の寝姿勢を識別することもできる。このなかでも、鼻の検出スコアに基づいて、乳幼児の寝姿勢を識別することが好ましい。

ここで、各顔パーツの「検出スコア」としては、顔が映っている画像からあるパーツを検出した時に、例えばそれが鼻と識別される確率（スコア）を用いることができる。

図４は、寝姿勢識別部１１１が、動画像のフレームを回転させることにより得られる複数の画像を用いて、顔又は顔パーツの検出処理を実行する概念図を示す。ここで、「フレーム」とは、動画のもとになる静止画像の１コマ１コマのことをいう。例えば、寝姿勢識別部１１１は、動画像のフレームを１０度ずつ回転させた計３６個の画像を生成し、生成した画像ごとに乳幼児の顔又は顔パーツの検出処理を実行する。これにより、正対した位置で撮影した顔を認識しやすいアルゴリズムを用いた場合には、アルゴリズムによる顔の認識及び顔パーツの検出処理を実行することができる。

個人識別部１１２は、動画像に写る乳幼児の個人を識別する処理を実行する。個人の識別方法は、特に制限されず、個人の顔認識により行ってもよいし、オプティカルフローなどの追跡アルゴリズムを用いて行ってもよい。こなかでも、寝姿勢は横向きやうつぶせなど顔認識による個人識別に適さない姿勢を含むため、追跡アルゴリズムを用いた個人識別法を利用することが好ましい。

図５は、個人識別部１１２が、所定のフレームから乳幼児の位置を経時的に追跡することで、動画像における乳幼児の個人を識別する処理を実行する概念図を示す。例えば、受信部は、利用者端末３０から、所定のフレーム中に写る乳幼児の個人を特定する情報を取得する。そして、個人識別部１１２は、ｎ番目のフレームとｎ＋１番目のフレームを比較して、乳幼児の位置を経時的に追跡する。この際に、個人識別部１１２は、画像内での位置（ｘ，ｙ座標）が最も近い位置の人物を、同一人物と識別することができる。

記録部１１３は、寝姿勢識別部１１１が識別した乳幼児の寝姿勢を経時的に記録する処理を実行する。例えば、記録部１１３は、寝姿勢識別部１１１が識別した乳幼児の寝姿勢を５分おきなど定期的に寝姿勢レコードＲ１に記録する。

送信部は、寝姿勢識別部１１１がうつぶせ寝を検知した場合には、利用者端末３０に対して、警告通知を送信し、利用者端末３０を介して保育士に警告を行う。また、送信部は、利用者端末３０に対して、寝姿勢レコードＲ１に記録された乳幼児毎の寝姿勢の記録することができる。これにより、保育士は、寝姿勢の経時記録を利用者端末３０で閲覧することができる。

また、送信部は、利用者端末３０に対して、受信部が取得した動画像を送信することができる。この際、動画像には、乳幼児の個人を識別する情報と、寝姿勢識別部１１１が識別した乳幼児の寝姿勢に関する情報と、を付加することができる。これにより、保育士は、寝姿勢の識別情報が付加された動画像を利用者端末３０で閲覧することが可能となる。

さらに、送信部は、利用者端末３０から受信する撮影開始要求や撮影停止要求に応じて、カメラ２０に対して、動画像の撮影の開始及び停止の指示を送信することができる。

受信部は、カメラ２０から、睡眠中の乳幼児を上方から写した動画像を受信したり、利用者端末３０から、撮影開始要求や撮影停止要求を受信したりすることができる。

また、受信部は、警告通知を送信した利用者端末３０から、うつぶせ寝を解消した旨の通知を受信することができる。この場合、サーバ１０の記録部１１３は、うつぶせ寝を解消したことを記録するように構成することができる。これにより、警告を受けて保育士がうつぶせ寝に対応したことを記録として残すことが可能となる。

＜カメラ＞
カメラ２０は、優先または無線でネットワークＮＷに接続された、一般的な動画像記録装置としての構成を有する。具体的には、カメラ２０は、動画像を撮影するための撮影部２１と、撮影のＯｎ／Ｏｆｆを制御する制御部２２と、有線又は無線の通信を制御する通信インタフェース２３とを備える。

カメラ２０は、睡眠中の乳幼児を上方から写すため、例えば、天井又は壁等に設置することができる。撮影部２１は、制御部２２からの指示に応じて、睡眠中の乳幼児の動画像の撮影を実行する。

カメラ２０の通信Ｉ／Ｆ２３は、サーバ１０から動画像の撮影の制御に関する情報を受信する受信部としての機能を有する。また、カメラ２０の通信Ｉ／Ｆ２３は、サーバ１０へ動画像を送信する送信部としての機能を有する。

＜利用者端末＞
利用者端末３０は、一般的なコンピュータとしての構成を有する。具体的には、利用者端末３０は、図１に示すように、ＣＰＵ又はＧＰＵとして構成されるコンピュータプロセッサ３１と、ＤＲＡＭ等によって構成されデータやプログラムを一時的に記憶するメモリ３２と、情報のやり取りを行う入出力インタフェース３３と、有線又は無線の通信を制御する通信インタフェース３４と、磁気ディスク又はフラッシュメモリ等によって構成され、データやプログラムを記憶するストレージ３５とを備える。コンピュータプロセッサ３１は、ストレージ３５等に記憶されているプログラムをメモリ３２に読み込んで、当該プログラムに含まれる命令を実行する。

入出力インタフェース３３は、例えば、キーボード、マウス、及びタッチパネル等の情報入力装置、マイクロフォン等の音声入力装置、カメラ等の画像入力装置、ディスプレイ等の画像出力装置、及びスピーカ等の音声出力装置を含む。通信Ｉ／Ｆ３４は、ネットワークアダプタ等のハードウェア、各種の通信用ソフトウェア、又はこれらの組み合わせとして実装される。

本実施形態において、利用者端末３０は、ストレージ３５等に記憶されているプログラムＰに含まれる命令をコンピュータプロセッサ３１が実行することによって、寝姿勢確認部３１１として機能するように構成されている。

寝姿勢確認部３１１は、サーバ１０から受信した動画像や寝姿勢の記録の確認に関する様々な処理を実行する。例えば、寝姿勢確認部３１１は、サーバ１０から受信した警告通知を端末の画面に表示させたり、端末のスピーカからアラート音を発したりすることができる。また、寝姿勢確認部３１１は、利用者端末３０を介した保育士からの要求に応答して、動画像や寝姿勢の記録を画面に表示させる（図７、８参照）。さらに、寝姿勢確認部３１１は、保育士の操作に応じて、うつぶせ寝を解消した旨の通知をサーバ１０に送信するよう通信Ｉ／Ｆ３４に指示をすることができる。

利用者端末３０は、例えば、スマートフォン、タブレット端末、又はパーソナルコンピュータ等として構成される。利用者端末３０は、ストレージ３５等にインストールされているウェブブラウザ又はその他のアプリケーションを介したサーバ１０との間の通信を伴って各種の画面を表示する。

＜動作処理＞
次に、このように構成された本実施形態のサーバ１０の動作について説明する。図６は、利用者端末３０からの撮影開始要求に応じて、サーバ１０が実行する処理を例示するフローチャートである。お昼寝時間の開始に伴い、利用者端末３０からの撮影開始要求を受信すると、サーバ１０は、まず、カメラ２０に撮影開始要求を送信する（ステップＳ１０１、Ｓ１０２）。

続いて、カメラ２０の制御部２２は、サーバ１０からの撮影開始要求を受けて、撮影部２１による撮影を開始する。そして、カメラ２０は、撮影停止要求を受けるまで、撮影部２１により得られた睡眠中の乳幼児を上方から写した動画像をサーバ１０に随時送信する（ステップＳ１０３）。また、サーバ１０は、撮影停止要求を受けるまで、カメラ２０から受信した動画像を利用者端末３０に随時送信する（ステップＳ１０４）。

このとき、サーバ１０の個人識別部１１２は、動画像に写る乳幼児を認識して、各乳幼児に対して番号を付与することができる。保育士の操作に応じて、利用者端末３０は、付された番号に対応した乳幼児の個人を識別する情報をサーバ１０に送信する（ステップＳ１０５）。これにより、乳幼児の寝姿勢の記録や利用者端末３０の表示において、例えば、動画像の「1番」に当たる乳幼児を「A君」と表示させることができる（図８参照）。

また、動画像に写る乳幼児を最初に認識する処理において、個人識別部１１２は、動画像のフレームを回転させることにより得られる複数の画像を用いて、顔の検出処理を実行し、顔の検出ができた位置に乳幼児が写っていると認識することができる。これにより、動画像の任意の位置に任意の向きで複数の乳幼児が写っている場合においても、各乳幼児の初期認識を適切に実行することができる。

サーバ１０の個人識別部１１２は、認識した乳幼児の動画像中における位置を随時追跡することができる（ステップＳ１０６）。例えば、ｎ番フレームとｎ＋１番フレームの間における乳幼児の位置の変化量に基づいて、ｎ番フレームに写る「Ａ君」の位置からｎ＋１番フレームに写る「Ａ君」の位置を推定予測する。例えば、ｎ番フレームとｎ＋１番フレームを比較した時に最も近い位置に写る乳幼児を同一人物と識別することができる。これにより、睡眠中の乳幼児が移動したり、回転したりした場合であっても、一度識別した乳幼児を見失うことなく追跡することができる。

上記個人識別と前後して又は並行して、サーバ１０の寝姿勢識別部１１１は、動画像から乳幼児の寝姿勢を識別する（ステップＳ１０７）。例えば、寝姿勢識別部１１１は取得した動画像から乳幼児の顔パーツを検出し、寝姿勢判定テーブルＴＡ１を参照して、鼻、目、耳、口等の顔パーツの検出スコアから乳幼児の寝姿勢を識別することができる。

寝姿勢を識別する処理において、寝姿勢識別部１１１は、動画像のフレームを回転させることにより得られる複数の画像を用いて、顔パーツの検出処理を実行することができる。これにより、正対した位置で撮影した顔を認識しやすいアルゴリズムを用いた場合には、アルゴリズムによる顔の認識及び顔パーツの検出処理を実行することができる。

サーバ１０の記録部１１３は、乳幼児の寝姿勢を経時的に記録する（ステップＳ１０８）。記録方式は、特に制限されないが、例えば、預かり保育における睡眠チェックのガイドラインに従うことができる。具体的には、図３で示すように、所定の時間間隔ごとに、乳幼児の寝姿勢を上向き、右向き、左向き、うつぶせ寝の何れかであるかを記録する。

また、サーバ１０の送信部は、利用者端末３０に対して、乳幼児の寝姿勢の記録を随時送信する（ステップＳ１０９）。これにより、保育士は、利用者端末３０の画面により各乳幼児の寝姿勢の識別結果をリアルタイムで確認することができる。具体的には、利用者端末３０の画面では、各乳幼児の名前と寝姿勢の識別結果が表示された動画像を表示することや、各乳幼児の名前と所定の時間間隔ごとの寝姿勢の識別結果を一覧として表示することができる。

サーバ１０の寝姿勢識別部１１１がある乳幼児の寝姿勢がうつぶせ寝であると識別した場合には、サーバ１０の送信部は、利用者端末３０に対して警告通知を送信する（ステップＳ１１０）。これにより、警告通知を受信した利用者端末３０は、警告音を発したり、画面に警告を表示したりすることができる。警告を認知した保育士は、利用者端末３０の画面から寝姿勢がうつぶせ寝であると識別された乳幼児の名前を確認し、速やかに乳幼児の睡眠チェックを行うことができる。

図７は、利用者端末３０において表示される寝姿勢の記録の表示画面７０を例示する。当該表示画面７０は、図示するように、記録日を表示する記録日表示領域７１と、記録（撮影）の終了をサーバ１０に指示するボタン７２と、寝姿勢の記録を表示する表示領域７３とを有する。

表示領域７３は、図示するように、所定の時間間隔ごとに、乳幼児の寝姿勢を上向き、右向き、左向き、うつぶせ寝の何れかであるかを表示する領域７３１と、乳幼児毎に寝姿勢の判定を行うか行わないかを指示するボタンを表示する領域７３２とを表示するように構成されている。領域７３２のボタンにより乳幼児毎に寝姿勢の判定の停止及び開始を制御することができる。これにより、目が覚めた乳幼児については寝姿勢の判定を停止することが可能となり、不要な警告の発生を回避することができる。

なお、ボタン７２は、動画像の記録の終了を指示するものであり、領域７３２に表示されたボタンは、動画像の記録は行いつつ、乳幼児毎に寝姿勢の判定の停止及び開始を制御するものである。例えば、領域７３２に表示されたボタンにより、保育士が抱っこをして乳幼児を動画像の視野外へ移動させたり、目が覚めた乳幼児が動画像の視野から外れたりした場合に、その乳幼児の寝姿勢の判定を停止することができる。これにより、保育士が認識した上で動画像から子供がいなくなるケースにおいて、警告が頻出してしまうことを回避することができる。

利用者端末３０の寝姿勢確認部３１１は、サーバ１０から警告通知を受信すると、表示領域７３にうつぶせ寝を強調するオブジェクト７３３を表示させることができる。そして、乳幼児の睡眠チェックを行いうつぶせ寝を解消した保育士の操作に応じて、利用者端末３０の寝姿勢確認部３１１は、うつぶせ寝を解消した旨の通知をサーバ１０に送信するとともに、表示領域７３にうつぶせ寝を解消したことを示すオブジェクト７３４を表示させることができる（ステップＳ１１２）。

例えば、Ｃ君が１３：３０の時点でうつぶせ寝の状態であるという警告を受けた場合、保育士は利用者端末３０の画面上でＣ君が１３：３０の寝姿勢を指定し、上向き寝に変更する操作を行う。当該操作により、利用者端末３０は、Ｃ君の１３：３０の寝姿勢を、うつぶせ寝から上向き寝に変更したという寝姿勢の変更に関する情報をサーバ１０に送信するとともに、その変更を記録する。

寝姿勢の変更に関する情報を受信したサーバ１０の記録部１１３は、寝姿勢レコードＴＸ２のＣ君の１３：３０の寝姿勢をうつぶせ寝から上向き寝に変更したという記録を残す。この際、サーバ１０の記録部１１３が、寝姿勢レコードＴＸ２に、変更前と変更後の寝姿勢を共に記録させることにより、サーバ１０の発した警告に対して、保育士が適切に対応したという記録を残すことができる。

図８は、利用者端末３０において表示される寝姿勢の動画像の表示画面８０を例示する。当該表示画面８０は、図示するように、記録日時を表示する記録日時表示領域８１と、記録（撮影）の終了をサーバ１０に指示するボタン８２と、動画像を表示する表示領域８３とを有する。

表示領域８３は、図示するように、乳幼児毎に寝姿勢の状態を表示する領域８３１を表示するように構成されている。これにより、リアルタイムの動画像と寝姿勢の識別結果を同時に確認することが可能となる。

最後に、お昼寝時間の終了に伴い、利用者端末３０からの撮影停止要求を受信すると、サーバ１０は、カメラ２０に撮影停止要求を送信する（ステップＳ１１３、Ｓ１１４）。これにより、お昼寝時間以外において、うつぶせ寝監視システムが稼働しないようにすることができる。

以上説明した本発明の実施形態に係るサーバ１０が提供するうつぶせ寝監視システムでは、乳幼児にセンサーやデバイスを装着することなく、乳幼児の睡眠時の姿勢からうつぶせ寝を判別することが可能となる。このように、サーバ１０は、預かり保育施設等における、睡眠チェック負担を軽減する。

なお、上述したとおり、本発明は、上記の実施形態及び実施例に限定されるものではなく、その要旨を逸脱しない範囲内において様々な変形が可能である。すなわち、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上記うつぶせ寝監視システムは預かり保育施設で使用されるものに限定されず、病院や個人の家庭で使用されるものであってもよい。また、同様に利用者端末を使用する者は、保育士に限られるものではない。

１０…サーバ、１１…コンピュータプロセッサ、１２…メモリ、１３…入出力インタフェース、１４…通信インタフェース、１５…ストレージ、２０…カメラ、２１…撮影部、２２…制御部、２３…通信インタフェース、３０…利用者端末、３１…コンピュータプロセッサ、３２…メモリ、３３…入出力インタフェース、３４…通信インタフェース、３５…ストレージ、７０…表示画面、７１…記録日表示領域、７２…ボタン、７３…表示領域、８０…表示画面、８１…記録日時表示領域、８２…ボタン、８３…表示領域、１１１…寝姿勢識別部、１１２…個人識別部、１１３…記録部、３１１…寝姿勢確認部、７３１…領域、７３２…領域、７３３…オブジェクト、７３４…オブジェクト、８３１…領域

Claims (14)

1. カメラから、睡眠中の乳幼児を上方から写した動画像を取得する受信部と、
   前記動画像から、前記乳幼児の寝姿勢を識別する寝姿勢識別部と、
   前記寝姿勢がうつぶせ寝である場合に、端末に対して警告通知を送信する送信部と、
   を有する、情報処理装置。
2. 前記寝姿勢識別部は、前記動画像に写る前記乳幼児の顔を検出し、前記顔の検出ができなくなった場合に、前記乳幼児の寝姿勢がうつぶせ寝であると識別するものである、
   請求項１に記載の情報処理装置。
3. 前記寝姿勢識別部は、前記動画像に写る前記乳幼児の顔パーツを検出し、前記顔パーツの検出スコアに基づいて、前記乳幼児の寝姿勢を識別するものである、
   請求項１に記載の情報処理装置。
4. 前記寝姿勢識別部は、前記動画像のフレームを回転させることにより得られる複数の画像を用いて、前記顔パーツの検出処理を実行するものである、
   請求項３に記載の情報処理装置。
5. 前記寝姿勢識別部は、前記顔パーツのうち、鼻の検出スコアに基づいて、前記乳幼児の寝姿勢を識別するものである、
   請求項３又は４に記載の情報処理装置。
6. 前記動画像に写る前記乳幼児の個人を識別する個人識別部をさらに有する、
   請求項１〜５のいずれか一項に記載の情報処理装置。
7. 前記受信部は、前記端末から、所定のフレーム中に写る前記乳幼児の個人を特定する情報を取得するものであり、
   前記個人識別部は、前記所定のフレームから前記乳幼児の位置を経時的に追跡することで、前記動画像における前記乳幼児の個人を識別するものである、
   請求項６に記載の情報処理装置。
8. 前記寝姿勢識別部が識別した前記乳幼児の前記寝姿勢を経時的に記録する記録部をさらに有する、
   請求項１〜７のいずれか一項に記載の情報処理装置。
9. 前記受信部は、前記警告通知を送信した前記端末から、前記うつぶせ寝を解消した旨の通知を受信するものであり、
   前記記録部は、前記うつぶせ寝を解消したことを記録するものである、
   請求項８に記載の情報処理装置。
10. 前記送信部は、端末に対して、前記寝姿勢の記録を送信するものである、
    請求項１〜９のいずれか一項に記載の情報処理装置。
11. 前記送信部は、端末に対して、前記受信部が取得した前記動画像に、前記乳幼児の個人を識別する情報と、前記乳幼児の前記寝姿勢に関する情報と、を付加して送信するものである、
    請求項１〜１０のいずれか一項に記載の情報処理装置。
12. 情報処理装置が、
    カメラから、睡眠中の乳幼児を上方から写した動画像を取得するステップと、
    前記動画像から、前記乳幼児の寝姿勢を識別するステップと、
    前記寝姿勢がうつぶせ寝である場合に、端末に対して警告通知を送信するステップと、
    を実行する、
    情報処理方法。
13. 情報処理装置に、
    カメラから、睡眠中の乳幼児を上方から写した動画像を取得するステップと、
    前記動画像から、前記乳幼児の寝姿勢を識別するステップと、
    前記寝姿勢がうつぶせ寝である場合に、端末に対して警告通知を送信するステップと、を実行させる、
    プログラム。
14. カメラと、情報処理装置と、端末と、を備え、
    前記情報処理装置が、
    前記カメラから、睡眠中の乳幼児を上方から写した動画像を取得するステップと、
    前記動画像から、前記乳幼児の寝姿勢を識別するステップと、
    前記寝姿勢がうつぶせ寝である場合に、端末に対して警告通知を送信するステップと、を実行するうつぶせ寝監視システムにおいて、
    前記端末が、
    前記警告通知を受信するステップと、
    ユーザの操作に応じて、前記情報処理装置に対して、前記うつぶせ寝を解消した旨の通知を送信するステップと、を実行する、
    情報処理方法。