JP2014151120A - 睡眠状態監視システムおよび睡眠状態監視プログラム - Google Patents

Abstract

【課題】利用者の睡眠状態をカメラにより撮像し、その間随時、撮像データに基づいて睡眠状態を判定して記録するとともに、睡眠状態が所定の条件に合致した場合に、通知等の所定の処理を行う。
【解決手段】利用者の睡眠状態を監視する睡眠状態監視システム１０であって、赤外線により睡眠している利用者を撮像する機能と、利用者に対する赤外線の投射位置の深度を検知する深度センサ機能と、を備えた赤外線カメラ１１と、赤外線カメラ１１により撮像された映像データを取得して記録し、また、赤外線カメラ１１により取得された深度の情報に基づいて、利用者の各部位の位置を算出して記録する画像処理部１２と、画像処理部１２により算出された位置の情報に基づいて、利用者の睡眠状態を判定して記録する状態判定部１４と、状態判定部１４により判定された睡眠状態が、予め定められた条件に合致する場合は、対応する処理を実行する通知部１６と、を有する。
【選択図】図１

Description

本発明は、睡眠状態を監視する技術に関し、特に、睡眠状態を撮像して撮像データに基づいた解析を可能とする睡眠状態監視システムおよび睡眠状態監視プログラムに適用して有効な技術に関するものである。

睡眠に関連する疾病を発見するために、睡眠状態を監視して把握する方法としては、患者に各種センサを取り付けた上で睡眠時の状態を測定したり、赤外線カメラや超音波センサなどにより睡眠時の動きを撮影・取得したりし、その後、専門家がデータを分析するなどの手法がとられる。これらの手法では、多くの場合、病室や施設など対応可能な設備を有する特殊な場所で行われ、また、睡眠状態の測定に際して睡眠時間分の時間を要することから負担が大きい。患者にセンサを取り付けるような手法ではさらに負担が大きい。

睡眠状態の測定と評価に関連する技術として、例えば、特開２０１２−１７０６２４号公報（特許文献１）には、被験者の身体の動きを検出するためのセンサやカメラと、表示データを生成する処理を実行するためのＣＰＵとを備え、ＣＰＵは、センサからのセンサ信号やカメラで撮像した画像データの解析結果に基づいて、単位期間ごとの被験者の睡眠状態を判別するための第１判別部と、単位期間ごとの睡眠状態に基づいて、単位期間が所定数連続してなる所定期間の睡眠状態のレベルを判別する第２判別部と、所定期間の睡眠状態のレベルに応じて、当該所定期間ごとの表示態様を決定するための決定部と、所定期間の被験者の睡眠状態のレベルを時間軸に沿ったグラフで表示装置に表示させる表示データを生成するための生成部とを含む測定装置を有する睡眠評価装置に係る技術が記載されている。

特開２０１２−１７０６２４号公報

上記の特許文献１に記載されたような技術を用いることで、患者にセンサを取り付けるなどの負担をかけず、自宅等で睡眠状態を監視し、事後的に評価することが可能である。一方で、睡眠中に所定の状態となった場合には即時にアクションをとりたいという要望がある。例えば、乳児が睡眠中に泣きだした場合や、寝返りによってうつ伏せになったり異常な場所に移動してしまったりした場合、また、要介護者が何らかの動きを起こした場合などでは、他の者に対して通知をして欲しいという要望がある。

そこで本発明の目的は、利用者の睡眠状態をカメラにより撮像し、その間随時、撮像データに基づいて睡眠状態を判定して記録するとともに、睡眠状態が所定の条件に合致した場合に、通知等の所定の処理を行うことを可能とする睡眠状態監視システムおよび睡眠状態監視プログラムを提供することにある。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明の代表的な実施の形態による睡眠状態監視システムは、利用者の睡眠状態を監視する睡眠状態監視システムであって、赤外線により睡眠している前記利用者を撮像する機能と、前記利用者に対する赤外線の投射位置の深度を検知する深度センサ機能と、を備えた赤外線カメラと、前記赤外線カメラにより撮像された映像データを取得して記録し、また、前記赤外線カメラにより取得された前記深度の情報に基づいて、前記利用者の各部位の位置を算出して記録する画像処理部と、前記画像処理部により算出された前記位置の情報に基づいて、前記利用者の睡眠状態を判定して記録する状態判定部と、前記状態判定部により判定された睡眠状態が、予め定められた条件に合致する場合は、対応する予め定められた処理を実行する通知部と、を有するものである。

また、本発明は、コンピュータを上記のような睡眠状態監視システムとして動作させるプログラムにも適用することができる。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

すなわち、本発明の代表的な実施の形態によれば、利用者の睡眠状態をカメラにより撮像し、その間随時、撮像データに基づいて睡眠状態を判定して記録するとともに、睡眠状態が所定の条件に合致した場合に、通知等の所定の処理を行うことが可能となる。

本発明の一実施の形態である睡眠状態監視システムの構成例について概要を示した図である。 本発明の一実施の形態における睡眠状態を監視する処理の流れの例について概要を示したフローチャートである。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。

本発明の一実施の形態である睡眠状態監視システムは、利用者の睡眠状態を、暗い寝室でも撮影が可能な赤外線カメラ等により撮像・録画し、得られた撮像データを随時解析することによって、頭の動きや寝返り、寝相などの睡眠状態を解析・判定してこれを記録するものである。また、睡眠状態についての条件を予め設定しておき、利用者の睡眠中に睡眠状態が当該条件に合致した場合には、他の者に通知したり、他の機器を動作させる指示を出力したり等の所定の処理を行う。

近年では、コンシューマ向けのセンサデバイスが入手可能となっており、例えば、Ｋｉｎｅｃｔ（登録商標）センサなどでは、ＲＧＢカメラに加えて、投射した赤外線の反射光を捉える赤外線深度センサを有することで、暗室であっても３次元で対象物の位置（奥行き）や動きを把握することが可能となっている。本実施の形態では、利用者の睡眠状態を撮影するデバイスとして、Ｋｉｎｅｃｔ（登録商標）のようなコンシューマ向けのセンサデバイスを用いることで、機器構成を簡略化することを図るものとする。

＜システム構成＞
図１は、本発明の一実施の形態である睡眠状態監視システムの構成例について概要を示した図である。睡眠状態監視システム１０は、利用者３０の睡眠状態を監視するシステムであり、例えば、ＰＣ（Personal Computer）等の情報処理装置により実装され、対象物を赤外線により撮像するためのカメラ機能や、対象物の位置や動きなどを赤外線により測定するための深度センサ機能などを有するデバイス（以下ではこれらを総称して単に「赤外線カメラ」と記載する場合がある）からなる赤外線カメラ１１が接続された構成を有する。

この睡眠状態監視システム１０は、例えば、利用者３０の居宅の家電製品５０等の機器と、有線・無線のＬＡＮ（Local Area Network）やＰＬＣ（Power Line Communications：電力線通信）等により構成される家庭内ネットワーク４０を介して通信可能となっていてもよい。また、インターネット等のネットワーク６０を介して、睡眠状態解析の専門家等が使用する他システム７０に対して睡眠状態のデータを出力することが可能な構成となっていてもよい。

睡眠状態監視システム１０は、例えば、図示しないＯＳ（Operating System）やＤＢＭＳ（DataBase Management System）などのミドルウェア上で稼働するソフトウェアプログラムとして実装される、画像処理部１２、状態判定部１４、通知部１６、集計部１８、および再生部１９などの各部を有する。また、データベースやファイルなどの形式で保持する映像データ１３、状態データ１５、および通知条件１７などの各データを有する。

画像処理部１２は、赤外線カメラ１１を制御して、カメラ機能により利用者３０の睡眠状態を撮影し、また、深度センサ機能により得られた測定結果から利用者３０の各部位の３次元での位置の情報（深度情報）をリアルタイムで計算する機能を有する。得られた映像のストリームデータや、計算した深度情報などは、映像データ１３としてストレージに蓄積しておく。

赤外線カメラ１１として、Ｋｉｎｅｃｔ（登録商標）センサを用いる場合は、Ｋｉｎｅｃｔ（登録商標）自体が赤外線カメラ１１の機能に加えて専用のＣＰＵ（Central Processing Unit）を有して画像処理部１２における上記の計算機能をも有している。従って、睡眠状態監視システム１０の画像処理部１２では上記の計算機能を別途実装する必要はなく、開発の負荷を大きく低減させることができる。なお、画像処理部１２では、赤外線カメラ１１により撮像された映像のストリームデータや、計算した深度情報などを、映像データ１３としてストレージに蓄積しておく。

状態判定部１４は、画像処理部１２によって計算された利用者３０の各部位の深度情報に基づいて、リアルタイムでこれを解析し、利用者３０の睡眠状態を数値に基づいて定量的に判定する機能を有する。解析の内容としては、例えば、利用者３０の睡眠中の頭の動きや、寝返りの有無、寝相・体勢や寝ている位置の良否やそれらの程度などを対象とすることができる。また、必要に応じて、赤外線カメラ１１の機能で音声データも取得することで、例えば、睡眠中のいびきや寝言の有無なども対象とすることができる。睡眠状態を判定した結果は、状態データ１５としてデータベース等に蓄積する。状態データ１５には、例えば、対象の睡眠状態となっている、もしくは状態の程度が不良であると判定された場合のその状態を識別するコード値と、程度を示す値、当該状態の睡眠中における時刻の情報などが含まれる。

通知部１６は、状態データ１５の内容を定期的にチェックし、通知条件１７のファイルに予め設定された条件に合致する睡眠状態を検知した場合に、当該条件において指定された処理を行う機能を有する。検知対象とする睡眠状態としては、例えば、一定時間以上寝返りを続けていたり、泣いていたりする場合や、所定の位置（もしくは最初の位置）から一定距離以上移動したという場合などとすることができる。

条件に合致する睡眠状態を検知した場合の処理としては、例えば、睡眠状態監視システム１０の画面や、家庭内ネットワーク４０を介して通信可能な他の情報処理端末の画面にメッセージや音声を出力することによって通知したり、家庭内ネットワーク４０を介して家電製品５０の動作を制御する指示を出力したりすることができる。例えば、乳児が泣いたりうつ伏せになったりしたことを別室の親に通知したり、暑さで寝苦しいために継続的に寝返りをうったり動いたりしている場合にエアコンの動作を調整する指示を出力したりすることが考えられる。また、目覚ましのためのアラーム音を、利用者３０が動いており眠りが浅いと思われる状態のときに出力するよう制御するというようなことも可能である。

このように、本実施の形態では、睡眠中に睡眠状態に応じて即時に対応をとることが可能となる。また、睡眠状態の監視にとどまらず、睡眠状態が悪化した場合に、睡眠環境を改善するための処置を即時に行えるようにすることで、睡眠状態の向上にも資することができる。

集計部１８は、例えば、利用者３０が起床後に自身の睡眠状態のサマリーを参照可能とするために、状態データ１５の内容を集計してレポート２０として出力する機能を有する。例えば、状態判定部１４により検知された各睡眠状態について、「○○時○○分から○○分間、寝返りをうっていた」などのような情報として集計して出力する。数値データ等として出力してもよいし、時系列でのグラフ等により画面出力や印刷出力してもよく、出力形式は特に限定されない。専門家等が使用する他システム７０に対してレポート２０のデータを出力し、解析してもらうようにすることも可能である。この場合は、他システム７０が許容可能なデータ項目やレイアウトに加工して出力する必要がある。

再生部１９は、利用者３０や専門家などが事後的に睡眠状態の詳細を確認するために、映像データ１３に蓄積された撮像データを動画として再生出力する機能を有する。このとき、例えば、利用者３０等が集計部１８によって出力されたレポート２０を参照して、再生対象の時刻を指定できるようにすることで、長時間の睡眠中の映像全てを再生して目視する必要をなくし、所望の箇所を直接的に特定して再生することが可能となるため、効率的に睡眠状態を確認・分析することが可能となる。

＜処理の流れ＞
図２は、睡眠状態監視システム１０における睡眠状態を監視する処理の流れの例について概要を示したフローチャートである。まず、事前に、利用者３０により、通知部１６による通知等の処理を行う条件となる睡眠状態を特定する情報と、当該条件に合致する睡眠状態を検知した場合の処理内容を通知条件１７に設定しておく（Ｓ０１）。以前の睡眠状態の監視の際に既に設定済みであり特に変更がない場合は、当該処理は不要である。また、初回の監視であっても、通知条件１７に条件のデフォルト値を設定しておき、これを利用可能とすることで、設定に係る負荷を低減させることができる。

利用者３０が睡眠に入ると、睡眠の間継続して行う一連の処理を開始する（Ｓ０２）。まず、赤外線カメラ１１による撮像を行い、データを取得する（Ｓ０３）。実際には、睡眠に入る前に利用者３０が撮像を開始するものとしてもよい。画像処理部１２は、赤外線カメラ１１からの映像ストリームデータを取得し、映像データ１３として蓄積する（Ｓ０４）。また、赤外線カメラ１１の深度センサにより得られた測定結果を取得し、これに基づいて解析を行い、利用者３０の各部位の３次元での位置の情報（深度情報）を計算するとともに、映像データ１３として蓄積する（Ｓ０５）。なお、深度情報の計算は、所定の間隔で定期的に行うようにしてもよい。

次に、状態判定部１４は、ステップＳ０５で得られた深度情報に基づいて、利用者３０の睡眠中の寝相や位置などの体勢の情報（静的情報）、および頭の動きや寝返りなどの活動量の情報（動的情報）を算出・判定する（Ｓ０６）。なお、活動量の情報（動的情報）を算出する場合は、過去の画像フレームにおいて算出した体勢の情報（静的情報）との比較により判定することになる。当該処理は、所定の間隔で定期的に行うようにしてもよい。

次に、ステップＳ０６での判定結果に基づいて、所定の睡眠状態が検知できるか否かを判定する（Ｓ０７）。例えば、利用者３０の頭として検出された部位が所定の距離以上動いている場合は、頭が動いたという睡眠状態を検知したとして、状態データ１５に記録する。

次に、通知部１６は、通知条件１７を参照し、ここに予め指定されている条件に合致する睡眠状態が検知されたか否かを判定する（Ｓ０８）。条件に合致する睡眠状態が検知されなかった場合は、最初に戻って、赤外線カメラ１１による撮像（Ｓ０３）以降の一連の処理を繰り返す（Ｓ１０、Ｓ０２）。一方、ステップＳ０８で、条件に合致する睡眠状態が検知された場合は、これに対応する通知処理（例えば、睡眠状態監視システム１０の画面上へのメッセージの通知や、家電製品５０の制御など）を行い（Ｓ０９）、最初に戻って、赤外線カメラ１１による撮像（Ｓ０３）以降の一連の処理を繰り返す（Ｓ１０、Ｓ０２）。

なお、ステップＳ０３以降の一連の処理の繰り返しにおいて、実際は、ステップＳ０３およびＳ０４での画像処理部１２による赤外線カメラ１１での撮像と映像データ１３の蓄積は、ステップＳ０５〜Ｓ０９の処理とは並行的に、睡眠中常時行われるが、説明の便宜上このように記載している。

利用者３０が睡眠を終了して起床すると（Ｓ１０）、赤外線カメラ１１による撮像を停止する。その後、利用者３０等からの指示に基づいて、集計部１８は、蓄積された状態データ１５に基づいてレポート２０を作成し、画面表示や印刷出力、データ出力等により利用者３０に提示する（Ｓ１１）。専門家等が使用する他システム７０に対して、当該システムで利用可能な形式でレポート２０のデータを出力してもよい。

その後、利用者３０等からの指示に基づいて、再生部１９は、映像データ１３に蓄積された録画データを動画として再生出力する（Ｓ１３）。このとき、例えば、利用者３０等がステップＳ１１で出力されたレポート２０を参照して、再生対象箇所の時刻を指定できるようにすることで、所望の箇所を直接的に特定して効率的に再生し、睡眠状態を確認・分析することが可能となる。

以上に説明したように、本発明の一実施の形態である睡眠状態監視システム１０によれば、利用者３０の睡眠状態を、暗室でも撮影が可能な赤外線カメラ１１等により撮像・録画し、得られた撮像データを随時解析することによって、頭の動きや寝返り、寝相などの睡眠状態を数値に基づいて定量的に解析・判定してこれを記録することが可能となる。また、睡眠状態についての条件を予め通知条件１７として設定しておき、利用者３０の睡眠中に睡眠状態が当該条件に合致した場合には、他の者に通知したり、他の機器を動作させる指示を出力したり等の所定の処理を行うことで、睡眠環境を改善するための処置を即時に行って睡眠状態の向上に資することも可能となる。

また、睡眠状態について集計したレポート２０を出力することで、利用者３０や専門家などが事後的にサマリーとして睡眠状態を容易に確認することができ、さらに睡眠状態の詳細を確認する場合には、レポート２０の内容に基づいて、映像データ１３に蓄積された録画データにおける所望の箇所を直接的に特定して動画再生することができるため、効率的に睡眠状態を確認・分析することが可能となる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

本発明は、睡眠状態を撮像して撮像データに基づいた解析を可能とする睡眠状態監視システムおよび睡眠状態監視プログラムに利用可能である。

１０…睡眠状態監視システム、１１…赤外線カメラ、１２…画像処理部、１３…映像データ、１４…状態判定部、１５…状態データ、１６…再生部、１７…通知条件、１８…集計部、１９…再生部、２０…レポート、３０…利用者、４０…家庭内ネットワーク、５０…家電製品、６０…ネットワーク、７０…他システム。

Claims (6)

1. 利用者の睡眠状態を監視する睡眠状態監視システムであって、
   赤外線により睡眠している前記利用者を撮像する機能と、前記利用者に対する赤外線の投射位置の深度を検知する深度センサ機能と、を備えた赤外線カメラと、
   前記赤外線カメラにより撮像された映像データを取得して記録し、また、前記赤外線カメラにより取得された前記深度の情報に基づいて、前記利用者の各部位の位置を算出して記録する画像処理部と、
   前記画像処理部により算出された前記位置の情報に基づいて、前記利用者の睡眠状態を判定して記録する状態判定部と、
   前記状態判定部により判定された睡眠状態が、予め定められた条件に合致する場合は、対応する予め定められた処理を実行する通知部と、を有する、睡眠状態監視システム。
2. 請求項１に記載の睡眠状態監視システムにおいて、
   前記通知部は、前記予め定められた処理として、睡眠状態が前記条件に合致したことを所定の手段により通知する、睡眠状態監視システム。
3. 請求項１または２に記載の睡眠状態監視システムにおいて、
   前記通知部は、前記予め定められた処理として、他の機器に対して所定の動作を行う旨の指示を出力する、睡眠状態監視システム。
4. 請求項１〜３のいずれか１項に記載の睡眠状態監視システムにおいて、
   さらに、前記状態判定部によって判定および記録された睡眠状態の情報を集計してレポートを出力する集計部を有する、睡眠状態監視システム。
5. 請求項１〜４のいずれか１項に記載の睡眠状態監視システムにおいて、
   さらに、前記画像処理部により記録された、前記利用者の睡眠に係る前記映像データのうち、前記利用者により指定された箇所の前記映像データを再生して出力する再生部を有する、睡眠状態監視システム。
6. 利用者の睡眠状態を監視する睡眠状態監視システムとしてコンピュータを動作させる睡眠状態監視プログラムであって、
   赤外線により睡眠している前記利用者を撮像する機能と、前記利用者に対する赤外線の投射位置の深度を検知する深度センサ機能と、を備えた赤外線カメラにより撮像された映像データを取得して記録し、また、前記赤外線カメラにより取得された前記深度の情報に基づいて、前記利用者の各部位の位置を算出して記録する画像処理と、
   前記画像処理により算出された前記位置の情報に基づいて、前記利用者の睡眠状態を判定して記録する状態判定処理と、
   前記状態判定処理により判定された睡眠状態が、予め定められた条件に合致する場合は、対応する予め定められた処理を実行する通知処理と、を実行させる、睡眠状態監視プログラム。

Images