JP2009157780A

JP2009157780A - 監視システム

Info

Publication number: JP2009157780A
Application number: JP2007337163A
Authority: JP
Inventors: Masaru Tokuda; 勝徳田
Original assignee: Car Mate Manufacturing Co Ltd
Current assignee: Car Mate Manufacturing Co Ltd
Priority date: 2007-12-27
Filing date: 2007-12-27
Publication date: 2009-07-16
Anticipated expiration: 2027-12-27
Also published as: JP5133677B2

Abstract

【課題】乳幼児の状態を監視者が常に見なくても同等の判断を監視者に情報提供するための監視システムを提供する。
【解決手段】監視者が携帯する携帯端末と、監視対象の近くに設置された携帯端末と無線で相互に通信可能な異常通報装置とで構成され、前記異常通報装置が、監視対象の顔を検知する顔検知手段と、検知した顔から顔の状態を判断する顔状態判断手段と、周辺の音を収集する音収集手段と検知した音から周囲の音の異常を判断する手段とを備え、顔状態の異常若しくは周囲の音の異常を予め記憶された所定値に基づき判断し、異常があると判断したときに異常通報信号を前記携帯端末に送信する制御手段とを備え、前記携帯端末は、表示手段に異常通報を表示し音声手段より警告音を発生させる制御手段とを備える。
【選択図】図１

Description

本発明は、遠隔監視システムに関し、特に、赤ちゃんや乳幼児あるいは高齢者の表情をカメラから取り込んだ画像を画像認識により状態を判断し、乳幼児の状態を監視者が常に見なくても同等の判断を監視者に逐次情報提供するための監視システムに関する。

従来、監視者が離れた場所から監視対象の監視を行うための種々の技術が開示されている。このような遠隔監視システムでは、監視対象の近くに監視カメラを設置し、監視者が離れた場所に設置したモニタで監視対象を監視するのが最も基本的であるが、さらに、たとえば特開平１-１２９５９０号公報では、周囲の音を収集しその音圧や周波数が異常と判断されると、監視カメラを旋回させて異常音が発生したポイントの画像情報を監視者が監視するモニタに送信し表示を行わせるようにして監視者に異常を通報するようにしている。

また、特開昭５５−１３２１６５号公報では、監視対象の近くに設置した集音装置と監視者に近くに設置した拡声装置とを電話の内線を介して監視対象の周辺の音を聞けるようにしている。

また、特開平１０−１１６７４号公報の異常通報システムは、音、温度、マイク、体温等のセンサにより、異常値に対する閾値を設けて、設定値との比較を行って異常があった場合、監視者に通報するシステムであった。

また、本発明に関する類似の従来技術として顔照合技術としては、特開２００１−９２９６３があるが、本発明は照合ではなく、表情の分析であるので、若干異なる。また、表情認識技術として、特開２００１−４３３４５がある。これは、笑い、怒り、喜び、悲しみといった表情的にも、感情的にも大きく異なるものではなく、つらさといった人物の所定の表情に対する強さ、激しさといった度合いを認識するものであり、表情の遷移といった時系列データを使用する。また、顔の検出に関しては、正面画像を得ることが認識精度に関わり、そのための手法として、特開２００６−２５９９００号や、特開２００４−４６３９９号が挙げられる。

また、動画像処理およびパターンマッチングを使って顔の動きの異常を感知して、通報するものとして、就寝状態以上検知装置の特開平１１−９９１４０号があげられる。
特開平１-１２９５９０号特開昭５５−１３２１６５号特開平１０−１１６７４号特開２００１−９２９６３号特開２００１−４３３４５号特開２００６−２５９９００号特開２００４−４６３９９号特開平１１−９９１４０号 P. Viola and M.Jones: Rapid object detection using a boosted cascade of simple features, Proc.On CVPR, Vol. 1.Pp 511-520 2001 Paul Ekman,Wallace V.Friesen, 工藤力訳："表情分析入門"，誠信書房, 1987

上述した従来技術では、音や、温度、マイク、体温等のセンサ等の個々の使用または、複合した使用により異常監視の精度を高めるように努めているが、通常状態では、温度や体温が急激に変化するのか考えにくく、実際に機能するのは、音の情報に依存するところが大きい。
また、音の情報に依存した場合、周囲情報やテレビの音などの影響も大きく、精度を高めるのは難しい。さらに音が出ない場合も想定できる。
このように異常通報の状態の精度をあまり細かく設定できないため、誤報が多く監視者の負担は依然多くなってしまう。

顔認証に関する従来技術に関しては、本システムは表情に関する認識ではあるが、遷移状態を見るものではなく、逐次処理を行うものである。また、正面画像を得るために使用する手段としては、本手法は、音やものの動きにより、監視対象者の注意を引くところにある。
また、就寝状態の異常を検知するシステムは、動画像により監視対象者の動きと時間を検知して、それにより動きが異常かどうかを判断するものであるが、限られた条件の下に判定するのであり、乳幼児の状態を判定するのには不十分といえる。

しかし、画像認識を用いて、顔の表情により状態を判別することにより、監視対象者の状態を判別することが出来れば、そこで表情に異常があるときだけ映像とともに通報すれば、精度の高い情報をおくることができる。

本発明の目的は、画像認識および学習により監視者の顔の表情を高精度に判断し、監視者に異常がある場合のみ通報する監視システムを提供することにある。

本発明の監視システムは、監視者が携帯する携帯端末と、監視対象の近くに設置された携帯端末と無線で相互に通信可能な異常通報装置とで構成され、
前記異常通報装置が、監視対象の顔を検知する顔検知手段と、検知した顔から顔の状態を判断する顔状態判断手段と、周辺の音を収集する音収集手段と検知した音から周囲の音の異常を判断する手段とを備え、顔状態の異常若しくは周囲の音の異常を予め記憶された所定値に基づき判断し
異常があると判断したときに異常通報信号を前記携帯端末に送信する制御手段とを備え、
前記携帯端末が、映像および状態表示手段と音声出力手段と、前記異常通報装置から受信した異常通報信号に基づき該表示手段に異常通報を表示し該音声手段より警告音を発生させる制御手段とを備えた事を特徴とする。

更に、前記携帯端末が、異常通報装置からの通報の履歴を映像および音で、設定可能な間隔で定期的に取得し、監視対象者の状態として表あるいはグラフ化して監視対象者の健康状態、食事状態、排泄状態のうち少なくともひとつの状態を把握することが出来る手段を備えると良い。

また、前記携帯端末が、異常通報装置からの通報時、または、任意のときに以前の履歴を確認して、検出状態の学習を行えるようにして状態判断の精度を高める手段を備えると良い。

また、前記顔検知手段が１軸、あるいは２軸のモータで制御する手段をもち、監視対象者の顔の位置および方向を検知し、常にカメラの中に捉えるように制御し顔トラッキング手段を備えると良い。

また、前記顔検知手段が、顔検知状態により、「存在状態」、「不在状態」、「布団かぶり状態」、「うつぶせ寝状態」のうちの少なくとも１つの状態である事を判断する手段を備え、監視対象者の状態が好ましくない状態であるときに異常通報する手段を備えると良い。

また、前記顔状態判断手段が、前期顔検知手段により「存在状態」の場合、顔の「覚醒状態」、「睡眠状態」、「泣いている状態」、「機嫌がいい状態」、「普通の状態」、「笑っている状態」、「吐しゃ状態」、などの基本状態を推定して顔の動きの情報とあわせて監視対象者の状態を推定する手段を備え、監視対象者の状態が好ましくない状態であるときに異常通報する手段を備えると良い。

また、前記携帯端末が、監視対象者の状態を定期的な一日のリズムで把握し、お昼寝などの睡眠時間の管理を統計的に表示し、ずれた場合の注意を促す手段を備えると良い。

また、前記前記異常通報装置が、顔検知の際、監視対象者の顔が、カメラからの死角になっているときに、監視対象者の注意を引き、正面画像を取得する手段を備えると良い。

また、前記前記異常通報装置が、睡眠中の監視対象者の呼吸を画面中の動き部分により検知すると良い。

本発明は、監視者が、監視したい情報である顔情報を自動的に判断し、監視者が監視対象者を注視しなくても、注視したときと同等の安心感を与え、注視する労力や負担を軽減する効果がある。また、学習機能を備えていることにより、監視対象者の個体の差による状態推定エラーを使用するたびに軽減することが出来、精度を向上することが可能である。

以下、本発明の一実施の形態について、図を踏まえて具体的に説明する。

図１、図２は本発明による監視システムの一実施の形態を示すブロック図である。図１は監視対象者である乳幼児もしくは、高齢者の近くに設置する異常通報装置である。また、図２は監視者が手元においておく携帯端末装置である。

図１の異常通報装置は、カメラ５が監視対象者の向きを向くように設置しておく。監視対象者の動ける状態によって、撮影の範囲３５は調整する。たとえば、新生児でほとんど動きが少ない場合は、顔が画面の半分を占めるくらいのサイズにしてもよい。カメラ５からの入力はビデオ入力部４によりデジタル信号で所定の形式に変換されて、メモリ３に取り込まれる。ここで、ＣＰＵ２により、画像内に顔があるかどうかの判定がなされる。

顔検知の手法は、参考文献１のような、代表的なＡｄａｂｏｏｓｔ手法を用いた顔検知手法によって行う。顔検知を行い、初期状態では、かならず顔が入るように設置し検知を行う。
検知が完了したら、その後、その顔の位置が画面上どこにあるのか追従し、常に画面の中央になるように、ＣＰＵ２からカメラコントローラ６を通じてカメラ制御台を調整しカメラ５の姿勢を制御するようにしてもよいし、モータ制御を省略して、画面から顔を検知できなければ、警告を出すようにしてもよい。ここで、監視対象者の顔の向きがカメラの向きと同じ場合、カメラから顔を検出することが出来なくなる。

この場合は検出を喪失した位置により、それがカメラの視野から外れたのか、カメラ視野内で顔の向きが同一方向により顔が検知できないのか判断する。前者の場合は、カメラコントローラ６を駆動することによりカメラ制御台７をコントロールして、カメラ中心から前回顔を検知した方向にカメラを動作させてもよいし、カメラの視野から外れたと認識しているだけでもよい。これらの流れを図３に示す。画像入力２３のたびに、図４の(ａ)のように顔検知２４を行い、カメラ視野内、あるいは、指定した顔検出範囲内に顔が検知されれば（顔検知？２５）、顔中心座標３６を取得２６する。このとき、顔が検出されているので、顔が画面中に存在し、「存在」状態２７と確認して正常状態と判断２８する。また、顔検知が不可能な場合、前回および前々回などの顔中心座標の履歴を判断し、顔の移動ベクトル量を計算２９し、移動量が多く、今回の位置が検出範囲外に移動したことが推定される場合は、「不在３０」と判断する。図４の（ｃ）にあたる。移動量が少ない場合は、顔の周りの動き３１を動き検知エリア４４内で検知して、図５のように動き検知エリアの動画像処理によるオプティカルフローを検出し動きが多い場合（図４（ｃ）の４１−４２−４３）は、「布団かぶり３２」状態と判定し、動きが少ない場合図４（ｂ）の３８−３９−４０）は、「寝返り３３」状態と判定する。「不在」「布団かぶり」、「寝返り」状態の場合、異常状態と判断３４し、顔検出が行えない状態が一定時間続くようであれば、別途予め時間を設定しておき、端末に「不在」「布団かぶり」、「寝返り」の状態であると通報するようにする。

後者の場合、異常通報装置に接続してあるがらがらの動作による動きや、スピーカーからのお母さんの呼びかけなどの登録もしくは、携帯端末からの呼びかけ音やものの動きにより、監視対象者の注意を引くことによって、監視対象者をカメラの方向に向ける。また、そのときの反応により、監視対象者の状態を判定する。

顔検知手段にて、顔の検知ができ、「存在」状態と判断した場合、さらに、図５のようなフローにより、その状態を判定する。顔の位置を検出すると顔の範囲内で、各器官の状態をチェックする。口検知を行い、口の周辺の状態を見て、口の周りに、異常がないかをチェックする。何か通常の状態と異なる場合は、異物検知と判断し、「吐しゃ状態」と判断する。「吐しゃ状態」の場合、異常状態と判断し、端末に通報する。
各器官を検出する場合、図８の特徴点６４を探し、その位置関係を特徴ベクトル６５から計算し、表情や状態を分析する。また、図７のように目の縦長さ５８と横長さ５９の比率やや口の縦長さ６２、横長さ６１による比率や口と目の矩形の作り縦長さ６２と横長さ６３の比率や位置関係を見てもよい。

口周辺にものがない場合は、図７の目の部分の特徴量から、目の開閉状態を調べる。目の特徴ベクトルの縦横比などで検出してもよい。ここで、目が閉じていると出た場合、「睡眠状態」と判定し、それ以外は「覚醒状態」と判断し、笑顔であるかどうか判定する。その他の「泣いている状態」、「機嫌がいい状態」、「普通の状態」についても、
図８の特徴点の各ベクトルの関係から判断する。これは、事前に、不特定多数の被験者からのデータをとり、特徴量と「状態」の関係の相関をとっておく。使用時は、監視者により状態を学習させる。このデータをフィードバックして、顔状態検知の精度を高めていく。

端末側では、これまでのデータ履歴を例えば１日単位で、図９のように表示して確認することができる。週単位や、月単位で確認できるようにしてもよい。図９の例では状態の表示項目６６は、「不在」「起きた状態」「睡眠中」布団かぶり」「吐しゃ」「うつぶせ」となっているが、これは、任意に設定可能にする。イベントの項目も「ミルク」「オムツ」となっているが、これも任意に設定可能にすることも可能である。状態はグラフ化６８四手表示可能で、あり、イベントも時間と回数が表示６９可能である。このようにミルクや、おむつ交換の情報を入れておくと次回の目安とすることもできる。入力はい端末の入力モードにて７１のように入れることが出来る。また、状態表示が間違っている場合は、学習入力７０することが出来る。

就寝状態では、対象者の呼吸をみることにより、以上がないかを確認することができる。図１０のように幼児の場合、腹式呼吸が主であるので、顔の位置を検知した後、一定距離位置の胸部腹部の付近となる位置の動き７２を調べることのより呼吸を見ることができる。呼吸をしているかどうかの判断は単に動画像処理により動きが一定に動いているかを判定すればよい。

顔検知以外でも動画像解析により、監視対象者の動きおよび顔の向きを検知して、監視対象者である乳幼児が、活動状態にあるのか、休止状態にあるのかを判断する。休止状態の場合は、特に問題がないが、活動状態のときに怪我などの注意が必要であるので、活動状態に入ったことを通知する。

また、同時に音声信号を検知しておき、周囲の音が急激に変化した場合の通報するようにしておく。

尚、本実施例の携帯端末は、携帯電話等の既存の通信手段を有する機器を利用しても良い。また、実施例においては、乳幼児に関する監視システムとして記述したが、病人や、要介護者などの監視システムとして使用する事が出来、更に、例えば、パソコンのモニタにカメラをセットして、勤務中の社員の状態の様子を検査することも可能でこの場合は、疲労度などのチェックを行い、一定時間で休憩を促すシステムにしてもよいし、運転中のドライバーの状態をチェックしてもよいし、工場の作業者の状態をチェックしてもよいし、テレビを見ている自動の状態をチェックしてもよいし、人間の疲労や状態のチェックなど様々シーンに利用する事が出来る。

本発明は、乳幼児等の状態を離れた場所から容易に確認出来、必要に応じて異常状態を監視者に知らせる事が出来る監視システムに利用する事が出来る。

一実施の形態の異常通報装置の構成部品一実施の形態の異常受信端末の構成部品一実施の形態の顔検知状態の流れ一実施の形態の顔の位置履歴ベクトル一実施の形態の顔の周りの動き検出エリア一実施の形態の顔検知状態の流れ一実施の形態の顔の器官の特徴量一実施の形態の顔の器官の特徴量れ一実施の形態の情報端末の表示例一実施の形態の胸部動き検知範囲

符号の説明

１異常通報装置
２ CPU
３メモリ
４ビデオ入力
５カメラ
６カメラコントローラ
７カメラ制御台
８音声入力
９マイク
１０送受信部
１１アンテナ
１２異常通報装置
１３ CPU
１４メモリ
１５ビデオ入力
１６カメラ
１７カメラコントローラ
１８カメラ制御台
１９音声入力
２０マイク
２１送受信部
２２アンテナ
２３画像入力
２４顔検知
２５顔検知?
２６顔中心座標取得
２７存在
２８正常状態判断
２９顔座標履歴移動ベクトル大？
３０不在
３１顔回りの動き？
３２布団かぶり
３３寝返り
３４異常状態判断
３５顔検出エリア
３６顔中心座標
３７検出顔エリア
３８ｎ−１枚目検出顔中心位置履歴
３９ｎ枚目検出顔中心位置履歴
４０ｎ＋１枚目検出顔中心位置履歴
４１ｎ−１枚目検出顔中心位置履歴
４２ｎ枚目検出顔中心位置履歴
４３ｎ＋１枚目検出顔中心位置履歴
４４動き検知エリア
４５存在
４６口検知
４７口周辺にもの？
４８異物検知
４９吐しゃ状態
５０異常状態判断
５１目の開平状態
５２睡眠状態
５３笑顔か？
５４笑っている状態
５５その他の状態
５６特徴量学習
５７正常状態判断
５８目の縦の長さ
５９目の横の長さ
６０口の縦長さ
６１口の横長さ
６２目と口のつくる矩形の縦長さ
６３目と口のつくる矩形の横長さ
６４特徴点
６５特徴ベクトル
６６状態表示項目
６７イベント表示項目
６８状態グラフ
６９イベントグラフ
７０状態学習入力
７１イベント入力
７２胸部の動き

Claims

監視者が携帯する携帯端末と、監視対象の近くに設置された携帯端末と無線で相互に通信可能な異常通報装置とで構成され、
前記異常通報装置が、監視対象の顔を検知する顔検知手段と、検知した顔から顔の状態を判断する顔状態判断手段と、周辺の音を収集する音収集手段と検知した音から周囲の音の異常を判断する手段とを備え、顔状態の異常若しくは周囲の音の異常を予め記憶された所定値に基づき判断し
異常があると判断したときに異常通報信号を前記携帯端末に送信する制御手段とを備え、
前記携帯端末が、映像および状態表示手段と音声出力手段と、前記異常通報装置から受信した異常通報信号に基づき該表示手段に異常通報を表示し該音声手段より警告音を発生させる制御手段とを備えた監視システム。
前記携帯端末が、異常通報装置からの通報の履歴を映像および音で、設定可能な間隔で定期的に取得し、監視対象者の状態として表あるいはグラフ化して監視対象者の健康状態、食事状態、排泄状態のうち少なくともひとつの状態を把握することが出来る手段を備えた、請求項1に記載の監視システム。
前記携帯端末が、異常通報装置からの通報時、または、任意のときに以前の履歴を確認して、検出状態の学習を行えるようにして状態判断の精度を高める手段を備えた、請求項１または２に記載の監視システム。
前記顔検知手段が１軸、あるいは２軸のモータで制御する手段をもち、監視対象者の顔の位置および方向を検知し、常にカメラの中に捉えるように制御し顔トラッキング手段を備えた、請求項１に記載の監視システム。
前記顔検知手段が、顔検知状態により、「存在状態」、「不在状態」、「布団かぶり状態」、「うつぶせ寝状態」のうちの少なくとも１つの状態である事を判断する顔状態判断手段を備え、監視対象者の状態が好ましくない状態であるときに異常通報する手段を備えた、請求項１または４に記載の監視システム。
前記顔状態判断手段が、前期顔検知手段により「存在状態」の場合、顔の「覚醒状態」、「睡眠状態」、「泣いている状態」、「機嫌がいい状態」、「普通の状態」、「笑っている状態」、「吐しゃ状態」、などの基本状態を推定して顔の動きの情報とあわせて監視対象者の状態を推定する手段を備え、監視対象者の状態が好ましくない状態であるときに異常通報する手段を備えた、請求項５に記載の監視システム。
前記携帯端末が、監視対象者の状態を定期的な一日のリズムで把握し、お昼寝などの睡眠時間の管理を統計的に表示し、ずれた場合の注意を促す手段を備えた請求項１〜３の何れか１項に記載の監視システム。
前記前記異常通報装置が、顔検知の際、監視対象者の顔が、カメラからの死角になっているときに、監視対象者の注意を引き、正面画像を取得する手段を備えた、請求項１に記載の監視システム。
前記前記異常通報装置が、睡眠中の監視対象者の呼吸を画面中の動き部分により検知することを特徴とする請求項１または８に記載の監視システム。