JP3697286B2 - Condition monitoring device - Google Patents

Description

と定義できる。
【００３３】
なお、この重み定数は実験等によって、予め求められているとする。上に挙げた評価関数は体全体の動きの評価関数である。
【００３４】
例えば、右腕のみの動作を評価する関数として、
【数２】

のように定義でき、個別の関節の動きをそれぞれ監視するのではなく、その評価関数の定量化した動作値を持って肢体の動作判定を行う。
【００３５】
［顔検出機能部１５］
顔検出機能部１５について述べる。顔検出機能は人間の顔を検出し、人間が向いている方向を推定する機能で、図５に示す。
【００３６】
先に述べた姿勢検出によって、取得した画像のどの辺りに顔が存在するかを仮定することができる。
【００３７】
画像メモリ３１に蓄えられた画像から、姿勢検出機能部１４で検出された姿勢から頭部を推定し顔部分推定切出部３２で部分画像を生成する。
【００３８】
その部分画像に対して、色相彩度画像生成部３３では、色相、彩度画像を作成し、肌色領域を検出する。
【００３９】
検出した領域が顔であるかどうかを判定するためにモデルデータベース３４に蓄えられた顔モデルに基いて顔部分抽出部３５でマッチングを行う。
【００４０】
次に、その結果から顔部品抽出部３６で顔の部品の検索を行う。
【００４１】
目や口といった特徴のある部品の抽出を行った後、それぞれの部品が存在する顔領域に対する相対的な存在位置から、顔の向き判定部３７で、人間の対軸方向に対して何度向いているか、また室内のどの方向を向いているかなど、顔の向いている方向の推定を行う。
【００４２】
例えば、顔の縦方向の回転をθｘ、顔の横方向の回転をθｙとし、重み係数をそれぞれｗｘ，ｗｙとすると、評価関数ｆは、
ｆ＝ｗｘ・θｘ＋ｗｙ・θｙ
となる。
【００４３】
そして、この評価関数の定量化した動作値を持って顔の動作判定を行う。
【００４４】
ここで、暗い室内の場合について述べる。
【００４５】
本実施例では、赤外線カメラを使う方法を取る。すなわち、色情報は利用できない。よって形状情報、輝度情報を利用した検出を行う。これらの処理をすべての観測カメラ、すなわち、それぞれのカメラ板から投影した画像から推定を行い、それらの推定結果をまとめて一つの結果を算出する。
【００４６】
［目部分観測機能部１６］
目部分観測機能部１６は、人間が目を開けている、閉じているといった情報や、睡眠状態における眼球運動を観測する機能で、図６に示す。
【００４７】
顔検出機能部１５によって、目の位置はわかっており、画像メモリ４１の画像から、目部分検出部４２で、目の部分を含むようにトリミングした矩形の部分画像を作成する。
【００４８】
部分画像中では、必ず目の部分が矩形に対して平行になっているとは限らないので、後処理のために回転画像生成部４３によって、画像を回転させる。
【００４９】
その画像に対し、瞳検出部４４では、瞳（虹彩と瞳孔）と白眼のモデルによって検出を行う。
【００５０】
これに失敗する場合として、（１）部分画像の生成時に失敗していること、すなわち目の部分が画像内に存在しない場合、（２）目を閉じている場合である。
【００５１】
（１） 何か別のものに隠されており検出できない場合がある。再抽出を試みて、取得が不可能な場合、さらに別の視点から抽出を行い、どこからも取得が不可能な場合は処理を中止する。この時、検出モジュールでは別の物体によって「隠されている」と判定する。
【００５２】
（２） 目を閉じている場合については、目をつぶった状態では目を閉じた時にできるまぶたの線を抽出することによって目を閉じているかどうかを判定する。まぶたの線の検出は、まぶた検出部４５で検出する。目を閉じている場合まぶたの線は、顔の表面色に比べると輝度が低く観測され、比較的安定して画像上のエッジとして検出される。
【００５３】
図７に基づいて説明する。
【００５４】
ステップａ１において、画像からエッジ検出を行う。
【００５５】
ステップａ２において、２値化を行う。
【００５６】
ステップａ３において、そのエッジ画像から、ハフ変換(H.K.Yuen, J.Illingworth, J.Kittler,“Ellipse detection using the Hough Transform ”, Alvey Vision Conference, Manchester, (1988))などを用いた円弧の抽出を行う。
【００５７】
ステップａ４において、円弧の位置、組合せ検出から複数の候補として抽出された円弧の組合せ、相対的な位置関係を考慮し、まぶたを検出する。
【００５８】
次に、睡眠状態について次のことを考える。
【００５９】
睡眠中に眼球が急速に動く現象であるＲＥＭ(Rapid Eye Movement)を起こす睡眠状態をレム睡眠と呼ぶ。この状態は浅い眠りの状態であるということが知られている。これらの睡眠の状態検出を行うために、まぶた痙攣検出を画像情報を用いて取得する方法について図８(a)(b)(c) に基づいて述べる。
【００６０】
眼球運動検出部４６では、人間を撮影した時系列画像から図８(a) のような処理を行う。
【００６１】
図８(a) のステップｂ１において、目の回りの部分画像（図８(b) ）に対しての差分画像を生成する。
【００６２】
目の部分の差分画像が細かく変化している場合は眼球運動と判断する。
【００６３】
図８(a) のステップｂ２において、その差分画像の各画素値から評価関数ｍを図８(c) のようにまぶたの部分（肌色領域Ｈ）とまぶたの線（低輝度領域Ｌ）の部分があるため、
【数３】

（Ｉｉは部分画像中のある画素値）のように設定する。
【００６４】
図８(a) のステップｂ３，４において、閾値以上の変化が数十秒間認められた場合、眼球運動があると判断する。各重み定数（ｗ２，ｗ２）また閾値については、多くのサンプルから実験によって求めるものとする。各検出結果は結果を結果統合部４７に送り、その結果をまとめる。
【００６５】
［口部分観測機能部１７］
口部分観測機能部１７は、人間が会話している状態か、そうでないか、また、
あくびをしたかどうかを観測する機能である。
【００６６】
ここでは、口を開けているかどうかの判定が必要となるので、図９(a)(b)(c) に基づいて説明する。
【００６７】
図９(a) のステップｃ１において、まず口を探すために、位置情報、色情報を用いることによって、口の部分を探索し、目部分観測機能部１６と同様に、矩形に切り取り部分画像を生成する。本実施例では図９(b) のような、唇の形状モデルとの照合を行う。
【００６８】
図９(a) のステップｃ２において、明度情報などから唇部分の抽出、２値化を行う。
【００６９】
図９(a) のステップｃ３において、上唇、下唇のモデルを２値化した画像の大きさに合わせ、モデルをマッチングする。
【００７０】
図９(a) のステップｃ４において、図９(c) のように、口全体の縦横、開口時の大きさを計測する。
【００７１】
次に、会話、あくびの検出について図１０(a)(b)(c) に基づいて説明する。
【００７２】
会話の場合、時間的な軸での変化を考えた場合、口の開閉の変化が大きい。
【００７３】
また、あくびは、初めに緩やかな長い呼吸を行うために、大きく口を開け、次にしばらく開けた状態が続き、そして閉める。
【００７４】
このような図１０(a) で示されるような「会話モデル」「あくびモデル」を用意し、時間的な変化系列をパターンとして認識する方法を図１０(b) に示す。
【００７５】
図１０(b) のステップｄ１において、図１０(a) に示すような口形状の変化を表すグラフを生成する。
【００７６】
図１０(b) のステップｄ２において、それを図１０(c) に示すように、曲線の微分を行い、変曲点で時間を区切り、一次元のパターンに投影する。
【００７７】
図１０(b) のステップｄ３において、一定区間内での変化の系列を次のように識別する。区切った時間系列（ｔ_ｓｅｐ ）中に、いくつ分節が存在するか（上の例１６、下の例３）各分節の時間の長さ等のパターンマッチングを行い、判定する。
【００７８】
［判断部２］
次に、図１の判断部２について、図１１で説明する。
【００７９】
判断部２は、検出部１から受けとった情報に基づいて、機器をどのように制御すればよいか、また、どのような指示を人間に与えるかを決定し、状態統合判断機能、制御指示機能、会話機能を有する。
【００８０】
［状態統合判断機能部５０］
状態統合判断機能部５０は、検出位置から得られる各種情報の識別、履歴、統合を行い、各種の指示を出すための中枢機能を司る。
【００８１】
まず、人間に対する状態について次のような幾つかの状態を設定する。
【００８２】
・活動状態（起きている状態）
静止状態（テレビ等を見ている、本を読んでいる等）
会話状態（話しをしている）
運動状態（歩行等も含む）
・就眠状態（寝ている状態）
入眠状態（いまにも眠たそうな状態）
睡眠状態（普通に目をつむって寝ている状態）
熟睡状態（少々のことでは起きない状態）
ＲＥＭ睡眠状態（眼球運動が観測される睡眠状態）
目覚状態（起きてから数分までの状態）
観測情報受取部５１では、各検出機能から得られた情報を受け、それぞれの情報を数段階の度合に変換する。姿勢については細かい動きを行う場合が多いため、動きがないとするものは設けていない。よって、それぞれの状態において、注視する動作を変える必要がある。
【００８３】
判断決定部５２では、表１のようなテーブルを状態情報データベース管理部５３より参照し、状態を決定する。
【００８４】
【表１】

ここで、テーブルを用いた方法では、検出装置の失敗などによっていずれの状態にも識別できない場合について述べる。例えば、顔の検出ができない場合、眠っているかどうかを判定することが困難となる。これを補助するものとして、姿勢の変化の度合いから、動きが少ない場合には「寝ている」と判断する。
【００８５】
あくびの場合、通常人間は手で口を覆い隠す。この場合は図１２に示すように、口形状の認識のみでは失敗する。よって、前述した腕の動きの評価関数等と組み合わせた統合的な判断が必要となる。
【００８６】
判断決定部５２は、制御装置へどのような指示を出すかを決め、制御情報データベース管理部５４に登録されているデータに基づき、制御装置への指示を送る。このとき、制御する機器の状態も管理し、無駄な制御（例えば、照明が消えているのに消そうとしない等）をしない等や、エアコンの温度調整の必要性の有無等を行う。
【００８７】
制御情報データベース管理部５４には次のようなデータを登録されている。
【００８８】
活動状態時に対する処理をまとめる。
【００８９】
状態が判定された場合、次のような環境に設定する。入退室時、すなわち室内での人間の存在の有無を確かめた後、室内照明の入切、その他のテレビ等の器具の電源の入切を行う。移動の方向によっては、移動した場所（ホテルの室内等ではユニットバス等）の照明の入切を行う。また判断装置はあくびの回数をカウントし、履歴を保存する。時間的な頻度を観測し、多くなってきた場合には、就寝を促すメッセージを流す。
【００９０】
睡眠状態時に対する処理をまとめる。
【００９１】
入眠時には、テレビの電源切、オーディオの音量調節や電源の切、照明の入切を行う。
就眠時には主にエアコンの温度風向調節を行う。起床時はテレビの電源入、オーディオの音量調節や電源の入、照明の入切を行う。また、起床時間をユーザによって設定するが、本装置では必ずしも、その時間通りには起こさない。設定時間よりも早い時点で、ＲＥＭ睡眠のように睡眠が浅いと判断できる場合、そちらの方が「目覚めがよい」と判断して起床を促す。
【００９２】
［会話機能部５５］
会話機能部５５は、会話認識モジュール５６と音声合成警報モジュール５７を有し、ユーザとのインターフェースとして働き、ユーザからの機能選択の受付、
また、ユーザへの指示を行うための機能である。例えば、目覚しの時刻設定、人間からの機器制御の指示を受ける。システムからは人間に対する指示（あくびが多い時に「寝た方がよい」等）、起床時、挨拶等を行う。
【００９３】
［制御部３］
図１の制御部３は、機器制御を行う機能を持ち、図１３に示す。
【００９４】
指示選択部６１では、判断部２からの制御機器情報を選別し、指示変換部６２に送る。
指示変換部６２は、制御指示を具体的な操作（スイッチを入れる電気信号等）へ変換する。各種の電気製品の赤外線リモートコントロールを行うための送信機能６３や照明器具のように直接電源のＯＮ／ＯＦＦを行うための附属装置６４を取付けることによるスイッチング機能を持つ。これらは現在の室内設備に対して容易に対応可能であることを特徴とする。
【００９５】
なお、本発明は上述した実施例に限定されるものではない。
【００９６】
(1) 姿勢検出機能部１４の変形例
姿勢検出機能部１４により複雑な動作を扱うために次のことが考えられる。
【００９７】
最近のＣＧの研究では、人物のモデルを動かすために人間の動作を記述するための言語処理系を構築し、その言語を用いて動作系列の生成を行っている。この記述系を表現形式として、画像から得られた特徴量からこのような言語へと変換する方法を考え、その言語を用いた構文的なマッチング方法をとる。
【００９８】
(2) 口部分観測機能部１７の変形例
口部分観測機能部１７において、エネルギー最小化原理に基づいた、動的な輪郭抽出法であるスネーク（M. Kass, A. Witkin, D. Terzopouls,“Snakes: Active Contour Models ”, In Proc. 1st Int. Conf. on Computer Vision, pp.259-268(1987)）を利用することが考えられる。スネークによって唇の輪郭形状を抽出し、追跡することによって形状情報を得る。
【００９９】
(3) 顔検出機能部１５等の変形例
顔検出機能部１５等の色情報を利用するモジュールについては、暗くなった場合、赤外線カメラを利用する方法を述べたが、人間が寝ている場合、数秒間だけ照明をつけ、撮影することによって、より確実な情報を得るという変形例も挙げられる。
【０１００】
(4) 判断部２の変形例
判断部２の変形例を図１４(a) に挙げる。
【０１０１】
人間だけでなく物体認識部７１を採り入れ、布団、服装等の認識を行い、温度調節等に対する有益な情報を得るように拡張することが挙げられる。
【０１０２】
音声認識部７２を付け加えることにより、会話状態や就寝時のいびき等の状態を監視するために用いられ、画像情報によって得られた情報を補助するために使う。例えば、画像情報として会話をしているかどうか、不確かな場合、音声情報を組み合わせることによって判断が可能になる。
【０１０３】
各認識モジュールが情報の取得に失敗した場合、失敗することによって新たな情報が得られる場合がある。
【０１０４】
例えば、姿勢検出が失敗する例としては、図１４(b) のように、睡眠中に布団を掛けている場合では、体全体が見えなくなってしまうため、うまく画像から姿勢が取得できない。しかし、時間が経ち、暑さのために布団を外した場合は、これまで失敗していた姿勢の取得が可能になる。ここで、判断装置は「暑い、寝づらい」等と判断することができ、時間的な観測結果の変化を考慮することで、状態の判定が可能となる。
【０１０５】
このような、失敗に基づく推論を採り入れたモジュール７３を採り入れる。このモジュール７３の構成は、図１４(c) に図示する。すなわち、失敗例データベース８２，マッチング部８３，履歴蓄積部７１とよりなる。
【０１０６】
また、制御情報についても、ある方向をずっと見ているという情報が取得可能であるため、テレビの方向をずっと見るだけで、電源を入れる等の操作拡張を、データベースの拡張によって可能である。
【０１０７】
(5) 本実施例では、人間の就寝時の場面を想定したものであるが、「あくび」「まばたき」といった無意識な行動の検出とそれに伴う機器の制御については、他の場面においても有効である。
【０１０８】
例えば、次のような通常の行動時におこる無意識な行動の検出を行うような変形例も考えられる。
【０１０９】
劇場や会場の観客個々について、あくび、まばたき等の回数、会話の頻度を調べることにより、観客全体の状態判断を行い、照明、空調等を制御するといったもの。
【０１１０】
会議の出席者の状態として、あくび、まばたきの回数等を記録することによって、出席者の集中度を把握するといったもの。
【０１１１】
ＶＤＴ作業者のまばたき等の回数を記録し、疲労度を判断し注意を促すといったもの。
【０１１２】
この際、姿勢検出機能の変形例として、顔の向き、首の動き、手足の動き等を検出することにより、「腰に手をやる」「肩を叩く」「伸びをする」「首のコリをほぐす」といった無意識的な身体の動きを検出することが考えられる。これらの動作は、同じ動作を繰り返し行うことを特徴としており、それぞれの動作の大きさ、回数等記録しておくことにより、人間の状態を把握できるようになる。
【０１１３】
(6) 上記実施例では、被検体を人間としたが、これに代えてライオンや象などの動物を被検体としてシステムを用いてもよい。この場合には、例えば、動物園の檻の中にいる動物の監視に使用することができ、この動物が就寝中か、起床状態にあるかを判断できて、飼育係の仕事の負担を軽減できる。また、サファリパークにおいても。本システムを使用して動物の監視を行うことができる。
【０１１４】
以上、本発明はその趣旨を逸脱しない範囲で種々変形して実施することが可能である。
【０１１５】
【発明の効果】
本発明の状態監視装置は、人間や動物などの被検体の行動状態を数種類の状態に分類し、被検体が無意識に起こす行動を判定できる。
【図面の簡単な説明】
【図１】 システムのブロック図である。
【図２】 検出部のブロック図である。
【図３】 姿勢検出機能部のブロック図である。
【図４】 姿勢モデルの説明図である。
【図５】 顔検出機能部のブロック図である。
【図６】 目部分観測機能部のブロック図である。
【図７】 まぶた検出のフローチャートである。
【図８】 ＲＥＭ睡眠検出のフローチャートと説明図である。
【図９】 口検出のフローチャートと説明図である。
【図１０】 口形状の時間的推移モデルと検出のフローチャートと説明図である。
【図１１】 判断部のブロック図である。
【図１２】 あくびの統合判断の例を示す図である。
【図１３】 制御部のブロック図である。
【図１４】 判断部の変形例のブロック図である。[0001]
[Industrial application fields]
The present invention relates to a state monitoring device that monitors the behavior of a human or animal subject in a living space or behavior space.
[0002]
[Prior art]
Conventional user interfaces have been designed for the purpose of recognizing actions that humans intentionally cause and performing control reflecting their intentions.
[0003]
For example, pointing to a target object and detecting the direction of the finger by image recognition, or using it for pointing (Masahiro Fukumoto, Kenji Mase, Yasuhito Suenaga: Experimental system for detecting pointing action using image processing, 1991 The IEICE Spring National Conference Proceedings A-251 (1991)).
[0004]
In this case, it is necessary to always pay attention to the device. For example, when a person is not consciously acting, such as at bedtime, the conventional method cannot convey a human intention. If you go to sleep with the lights on at this time, you cannot tell your intention to turn off the lights.
[0005]
Even if a human is not conscious, it is necessary to think about how to control the device by recognizing the human state. For example, in order to detect actions that humans are not aware of such as turning over at bedtime, yawning, opening and closing eyelids, and controlling devices based on the information, it is necessary to accurately grasp the state of the person.
[0006]
In order to judge the human condition, various measurement is performed by attaching a special measurement device (eg, electroencephalogram measurement, blood pressure measurement device, data glove, data suit, etc.) to a human, and based on the result, an electric device, etc. There are also things like manipulating. However, wearing such a device on the body is troublesome and troublesome for humans, and there is a problem that it is difficult to grasp the state at bedtime. To that end, it is considered appropriate to recognize the state using image information.
[0007]
Also, various types of monitoring devices are known to perform the same function, and information is acquired using image information and used for security in conjunction with an alarm device or the like. However, the current situation is that they do not manage the detailed movements of human beings but manage the entry and exit of people near the door.
[0008]
[Problems to be solved by the invention]
As described above, a method for controlling a device by recognizing the state of the person without being conscious of the person has not been realized.
[0009]
Therefore, the present invention provides a state monitoring device that detects unconscious behavior of a human or animal and recognizes the state.
[0010]
[Means for Solving the Problems]
The state monitoring apparatus of the present invention includes an image input means for observing a subject, a motion detection means for detecting a motion of the subject from an image observed by the image input means, and a motion of the subject detected by the motion detection means. Motion value converting means for converting the motion value into a quantitative motion value, and determination means for determining the state of the subject from the motion value converted by the motion value conversion means, the motion value conversion means comprising the motion detection The value of the evaluation function consisting of the product of the bending angle of each part of the subject detected by the means and the weight coefficient of each part obtained in advance is used as the quantitative motion value of the movement of the subject.
[0011]
[Operation]
The state monitoring apparatus of the present invention will be described.
[0012]
The image input means observes the subject and inputs the movement as an image.
[0013]
The motion detection means detects the motion of the subject from the image observed by the image input means .
[0014]
The motion value conversion means converts the motion of the subject detected by the motion detection means into a quantitative motion value .
[0015]
【Example】
An embodiment of the present invention will be described with reference to the drawings. In this embodiment, the setting is made such that the subject is a human and there is one human in the environment monitored by the system. “Subject” refers to humans and animals such as lions, elephants, and dogs.
[0016]
FIG. 1 shows the configuration of the entire system.
[0017]
The system apparatus is composed of a detection unit 1, a determination unit 2, and a control unit 3.
[0018]
The detection unit 1 is for detecting a room or a human condition, and sends the information to the determination unit 2.
[0019]
The determination unit 2 determines the human state based on the information received from the detection unit 1.
[0020]
The control unit 3 has an interface for controlling the device and controls the device.
[0021]
[Detection unit 1]
First, the detection unit 1 will be described with reference to FIG.
[0022]
The detection unit 1 has a plurality of cameras, microphones, temperature, and humidity sensors as input devices. The input control unit 11 processes these inputs, the detection function units 14, 1516, and 17, and various model databases. 12 includes a result collection unit 13 that integrates the results and summarizes the output to the determination unit 2.
[0023]
The functions of the detection unit 1 include a posture detection function, a face detection function, an eye part observation function, and a mouth part observation function.
[0024]
[Attitude detection function unit 14]
The posture detection function unit 14 detects a human posture existing in images taken by a plurality of cameras. This will be described with reference to FIG.
[0025]
The moving object is narrowed down by obtaining a differential image of the moving images (time-series images).
[0026]
First, the difference image generation unit 22 generates a difference image from the images stored in the image memory 21.
[0027]
The labeling unit 23 labels the area of the moving object.
[0028]
For each labeled region, an edge extraction unit 24 newly extracts an edge from the original image.
[0029]
The contour information is obtained from the obtained edge image by the contour information generation unit 25, and the model matching unit 27 is used by using a three-dimensional model as shown in FIGS. 4 (a) and 4 (b) stored in the model database 26. Matching is performed to determine the posture.
[0030]
If it is possible to quantify what kind of motion a human has done, it is possible to determine the motion using the value of the evaluation function.
[0031]
In this embodiment, the following evaluation function is defined and calculated by the evaluation function calculator 28. This result is an operation value obtained by quantifying the movement of the posture.
[0032]
The bending angle of each joint, such as the movement of the hand, foot, neck, etc., rotation in the body axis direction, and bending of the waist, does not represent an angle in a three-dimensional space, but on a two-dimensional plane (image). The angle at the time of projection is taken, the difference between FIGS. 4B and 4C is taken, and θx (where x is the number of joints to be watched 1 to n) as shown in (d). When each weighting factor is wx, the evaluation function f is given by

Can be defined.
[0033]
It is assumed that this weight constant is obtained in advance by experiments or the like. The evaluation functions listed above are evaluation functions for the movement of the whole body.
[0034]
For example, as a function to evaluate the movement of only the right arm,
[Expression 2]

The movement of the limbs is determined using the quantified movement value of the evaluation function instead of monitoring the movements of individual joints.
[0035]
[Face detection function unit 15]
The face detection function unit 15 will be described. The face detection function is a function for detecting a human face and estimating the direction in which the person is facing, as shown in FIG.
[0036]
By the posture detection described above, it is possible to assume where the face is present in the acquired image.
[0037]
From the image stored in the image memory 31, the head is estimated from the posture detected by the posture detection function unit 14, and a partial image is generated by the face portion estimation cutout unit 32.
[0038]
For the partial image, the hue / saturation image generation unit 33 creates a hue / saturation image and detects a skin color region.
[0039]
In order to determine whether or not the detected region is a face, matching is performed by the face portion extraction unit 35 based on the face model stored in the model database 34.
[0040]
Next, the facial part extraction unit 36 searches for facial parts from the result.
[0041]
After extracting characteristic parts such as eyes and mouth, the face orientation determination unit 37 determines how many times it faces the human opposite axis from the relative position of the face area where each part exists. The direction in which the face is facing is estimated, such as whether the person is facing and in which direction the room is facing.
[0042]
For example, assuming that the vertical rotation of the face is θx, the horizontal rotation of the face is θy, and the weighting coefficients are wx and wy, respectively, the evaluation function f is
f = wx · θx + wy · θy
It becomes.
[0043]
Then, the movement determination of the face is performed with the movement value quantified by the evaluation function.
[0044]
Here, the case of a dark room will be described.
[0045]
In this embodiment, a method using an infrared camera is used. That is, color information cannot be used. Therefore, detection using shape information and luminance information is performed. These processes are estimated from all the observation cameras, that is, images projected from the respective camera plates, and the results of the estimation are combined to calculate one result.
[0046]
[Eye observation function 16]
The eye part observing function unit 16 is a function for observing information that a human is opening and closing eyes and eye movements in a sleeping state, and is shown in FIG.
[0047]
The face detection function unit 15 knows the position of the eyes, and the eye part detection unit 42 creates a rectangular partial image trimmed so as to include the eye part from the image in the image memory 41.
[0048]
In the partial image, the eye portion is not always parallel to the rectangle, so the image is rotated by the rotated image generation unit 43 for post-processing.
[0049]
The pupil detection unit 44 detects the image based on the pupil (iris and pupil) and white eye models.
[0050]
The cases where this fails are (1) failure when generating a partial image, that is, when the eye portion does not exist in the image, and (2) when the eye is closed.
[0051]
(1) There are cases where it is hidden behind something and cannot be detected. If re-extraction is attempted and acquisition is impossible, extraction is performed from another viewpoint, and if acquisition is impossible from anywhere, processing is stopped. At this time, the detection module determines that it is “hidden” by another object.
[0052]
(2) In the case where the eyes are closed, it is determined whether or not the eyes are closed by extracting the eyelid line formed when the eyes are closed when the eyes are closed. The eyelid line 45 is detected by the eyelid detection unit 45. When the eyes are closed, the eyelid line is observed to have a lower luminance than the face surface color, and is detected as an edge on the image relatively stably.
[0053]
This will be described with reference to FIG.
[0054]
In step a1, edge detection is performed from the image.
[0055]
In step a2, binarization is performed.
[0056]
In step a3, an arc is extracted from the edge image using Hough transform (HKYuen, J. Illingworth, J. Kittler, “Ellipse detection using the Hough Transform”, Alvey Vision Conference, Manchester, (1988)). .
[0057]
In step a4, the eyelid is detected in consideration of the position of the arc, the combination of arcs extracted as a plurality of candidates from the combination detection, and the relative positional relationship.
[0058]
Next, consider the following about the sleep state.
[0059]
A sleep state that causes REM (Rapid Eye Movement), which is a phenomenon in which the eyeball moves rapidly during sleep, is called REM sleep. It is known that this state is a light sleep state. In order to detect these sleep states, a method for acquiring eyelid spasm detection using image information will be described with reference to FIGS. 8 (a), (b), and (c).
[0060]
The eye movement detection unit 46 performs processing as shown in FIG. 8A from a time-series image obtained by photographing a person.
[0061]
In step b1 of FIG. 8A, a difference image is generated for the partial image around the eye (FIG. 8B).
[0062]
When the difference image of the eye portion is finely changed, it is determined as eye movement.
[0063]
In step b2 of FIG. 8 (a), the evaluation function m is determined from the respective pixel values of the difference image as shown in FIG. 8 (c) by the eyelid part (skin color area H) and the eyelid line (low luminance area L). Because there is
[Equation 3]

(Ii is a certain pixel value in the partial image).
[0064]
In steps b3 and b4 of FIG. 8 (a), if a change equal to or greater than the threshold is recognized for several tens of seconds, it is determined that there is eye movement. Each weight constant (w2, w2) and threshold value are obtained from many samples by experiments. Each detection result is sent to the result integration unit 47, and the results are collected.
[0065]
[Mouth observation unit 17]
The mouth portion observation function unit 17 is in a state where a human is talking or not,
It is a function to observe whether yawning.
[0066]
Here, since it is necessary to determine whether or not the mouth is open, description will be made based on FIGS. 9 (a), 9 (b), and 9 (c).
[0067]
In step c1 of FIG. 9 (a), first, in order to search for a mouth, the mouth part is searched by using position information and color information, and the cut partial image is cut into a rectangle like the eye part observation function unit 16. Generate. In the present embodiment, collation with a lip shape model as shown in FIG.
[0068]
In step c2 of FIG. 9A, the lip portion is extracted from the brightness information and binarized.
[0069]
In step c3 of FIG. 9A, the models of the upper lip and lower lip are matched with the size of the binarized image to match the models.
[0070]
In step c4 of FIG. 9 (a), as shown in FIG. 9 (c), the vertical and horizontal dimensions of the entire mouth and the size at the time of opening are measured.
[0071]
Next, detection of conversation and yawn will be described based on FIGS. 10 (a), (b), and (c).
[0072]
In the case of conversation, the change in opening and closing of the mouth is large when considering changes in the time axis.
[0073]
Also, yawns open their mouths for a long, long breath first, then open for a while and then close.
[0074]
FIG. 10B shows a method of preparing such a “conversation model” and “yawn model” as shown in FIG. 10A and recognizing a temporal change sequence as a pattern.
[0075]
In step d1 of FIG. 10 (b), a graph representing the mouth shape change as shown in FIG. 10 (a) is generated.
[0076]
In step d2 of FIG. 10 (b), as shown in FIG. 10 (c), the curve is differentiated, the time is divided at the inflection points, and projected onto a one-dimensional pattern.
[0077]
In step d3 of FIG. 10 (b), a series of changes within a certain section is identified as follows. The number of segments in the divided time series (t _sep ) (example 16 above, example 3 below) is determined by performing pattern matching such as the length of time of each segment.
[0078]
[Judgment unit 2]
Next, the determination unit 2 in FIG. 1 will be described with reference to FIG.
[0079]
The determination unit 2 determines how to control the device based on the information received from the detection unit 1 and what kind of instruction is given to the person. , Have conversation function.
[0080]
[State integration determination function unit 50]
The state integration determination function unit 50 performs identification, history, and integration of various pieces of information obtained from the detection position, and manages a central function for issuing various instructions.
[0081]
First, the following several states are set for human states.
[0082]
・ Activity (Waking up)
Still state (watching TV, reading books, etc.)
Conversation state (speaking)
Exercise state (including walking)
-Sleeping state (sleeping state)
Sleeping state (the state that seems to have fallen asleep)
Sleeping state (normally sleeping with your eyes closed)
Deep sleep (state that doesn't happen a little)
REM sleep state (sleep state where eye movement is observed)
Awake state (up to several minutes after waking up)
The observation information receiving unit 51 receives the information obtained from each detection function and converts each information into several levels. Since there are many cases where fine movements are made with respect to the posture, there is no provision for no movement. Therefore, it is necessary to change the gaze operation in each state.
[0083]
The determination / determination unit 52 refers to the table shown in Table 1 from the state information database management unit 53 to determine the state.
[0084]
[Table 1]

Here, a case where the state using the table cannot be identified in any state due to a failure of the detection device will be described. For example, when the face cannot be detected, it is difficult to determine whether or not the user is sleeping. As an aid to this, it is determined that the person is “sleeping” when there is little movement from the degree of change in posture.
[0085]
When yawning, humans usually cover their mouths with their hands. In this case, as shown in FIG. 12, only the mouth shape recognition fails. Therefore, it is necessary to make an integrated judgment in combination with the arm movement evaluation function described above.
[0086]
The determination / determination unit 52 determines what instruction is issued to the control device, and sends an instruction to the control device based on the data registered in the control information database management unit 54. At this time, the state of the device to be controlled is also managed, and useless control (for example, the lighting is turned off but it is not tried to turn it off) or the necessity of temperature adjustment of the air conditioner is performed.
[0087]
The following information is registered in the control information database management unit 54.
[0088]
Summarize the processing for when active.
[0089]
If the status is determined, the following environment is set. When entering or leaving the room, that is, after confirming the presence or absence of a person in the room, turn on / off room lighting and turn on / off the power of other appliances such as a television. Depending on the direction of movement, the lighting of the moved place (such as a unit bath in a hotel room) is turned on and off. The determination device counts the number of yawns and saves the history. Observe the frequency over time, and if it increases, send a message prompting you to go to bed.
[0090]
Summarize the process for sleeping.
[0091]
When you go to sleep, turn off the TV, adjust the audio volume, turn off the power, and turn on and off the lights.
When sleeping, the air temperature of the air conditioner is mainly adjusted. When getting up, turn on the TV, adjust the volume of the audio, turn on the power, and turn on / off the lights. In addition, the user sets the wake-up time, but the device does not necessarily wake up on time. When it can be determined that sleep is shallow like REM sleep at a time earlier than the set time, it is determined that the user is “awake” and prompts to wake up.
[0092]
[Conversation Function Unit 55]
The conversation function unit 55 includes a conversation recognition module 56 and a speech synthesis alarm module 57, which functions as an interface with the user, accepts function selection from the user,
It is also a function for giving instructions to the user. For example, it receives an instruction to set a wake-up time and control a device from a human. The system gives instructions to humans (such as “You should sleep when you have a lot of yawns”), greetings, etc.
[0093]
[Control unit 3]
The control unit 3 in FIG. 1 has a function of performing device control and is shown in FIG.
[0094]
The instruction selection unit 61 selects control device information from the determination unit 2 and sends it to the instruction conversion unit 62.
The instruction conversion unit 62 converts the control instruction into a specific operation (such as an electrical signal for switching on). It has a transmission function 63 for performing infrared remote control of various electric products and a switching function by attaching an auxiliary device 64 for directly turning on / off the power supply like a lighting fixture. These are characterized by being easily adaptable to the current indoor facilities.
[0095]
In addition, this invention is not limited to the Example mentioned above.
[0096]
(1) Modification of Attitude Detection Function Unit 14 In order to handle a complicated operation by the attitude detection function unit 14, the following can be considered.
[0097]
In recent CG research, a language processing system for describing a human motion is constructed to move a human model, and a motion sequence is generated using the language. Using this description system as an expression format, we consider a method of converting a feature quantity obtained from an image into such a language, and take a syntactic matching method using that language.
[0098]
(2) Modified Example of Mouth Portion Observation Function Unit 17 In the mouth portion observation function unit 17, a snake (M. Kass, A. Witkin, D. Terzopouls, which is a dynamic contour extraction method based on the energy minimization principle). “Snakes: Active Contour Models”, In Proc. 1st Int. Conf. On Computer Vision, pp. 259-268 (1987)). Shape information is obtained by extracting and tracking the contour shape of the lips by snake.
[0099]
(3) Modified example of the face detection function unit 15 etc. As for the module using the color information such as the face detection function unit 15 etc., the method of using the infrared camera is described when it becomes dark. There is also a modification in which more reliable information is obtained by lighting and photographing for a few seconds.
[0100]
(4) Modified Example of Judgment Unit 2 A modified example of the judgment unit 2 is shown in FIG.
[0101]
Incorporating not only human beings but also the object recognizing unit 71, recognizing futons, clothes, etc., and expanding to obtain useful information on temperature control and the like.
[0102]
By adding the voice recognition unit 72, the voice recognition unit 72 is used to monitor the state of conversation, the state of snoring at bedtime, and the like, and is used to assist information obtained from image information. For example, if it is uncertain whether or not a conversation is being performed as image information, it can be determined by combining audio information.
[0103]
If each recognition module fails to acquire information, new information may be obtained due to the failure.
[0104]
For example, as an example in which posture detection fails, as shown in FIG. 14B, when a futon is put on during sleep, the entire body becomes invisible, so the posture cannot be acquired from the image well. However, if time passes and the futon is removed due to the heat, it will be possible to acquire postures that have failed so far. Here, the determination device can determine “hot, hard to sleep” or the like, and the state can be determined by taking into account changes in observation results over time.
[0105]
A module 73 incorporating such inference based on failure is adopted. The configuration of this module 73 is illustrated in FIG. That is, it includes a failure example database 82, a matching unit 83, and a history storage unit 71.
[0106]
In addition, since it is possible to acquire information indicating that a certain direction is being viewed all the time for control information, it is possible to expand operations such as turning on the power by simply looking at the direction of the television by expanding the database.
[0107]
(5) In this example, it is assumed that humans are sleeping, but the detection of unconscious behavior such as `` yawning '' and `` blinks '' and the control of the associated devices are also effective in other situations. is there.
[0108]
For example, a modified example in which unconscious behavior that occurs during normal behavior is detected as follows.
[0109]
For each audience at a theater or venue, the number of yawns, blinks, etc., and the frequency of conversations are examined to determine the state of the entire audience, and lighting, air conditioning, etc. are controlled.
[0110]
By recording the number of yawns, blinks, etc. as the status of attendees at the meeting, the concentration of attendees is grasped.
[0111]
Record the number of blinks of VDT workers, etc., judge the degree of fatigue and call attention.
[0112]
At this time, as a modified example of the posture detection function, by detecting the direction of the face, the movement of the neck, the movement of the limbs, etc., “hand on the waist” “slap on the shoulder” “stretch” “collar of the neck” It is conceivable to detect unconscious body movements such as “unraveling”. These operations are characterized by repeatedly performing the same operations, and by recording the size and number of times of each operation, it becomes possible to grasp the human state.
[0113]
(6) In the above embodiment, the subject is a human, but instead, the system may be used with animals such as lions and elephants as the subject. In this case, for example, it can be used to monitor an animal in the cage of a zoo, and it can be judged whether this animal is sleeping or in the wake-up state, thereby reducing the burden on the keeper. . Also at Safari Park. The system can be used to monitor animals.
[0114]
As described above, the present invention can be implemented with various modifications without departing from the spirit of the present invention.
[0115]
【The invention's effect】
The state monitoring apparatus of the present invention classifies the behavioral state of a subject such as a human being or an animal into several types of states, and can determine the behavior that the subject causes unconsciously.
[Brief description of the drawings]
FIG. 1 is a block diagram of a system.
FIG. 2 is a block diagram of a detection unit.
FIG. 3 is a block diagram of an attitude detection function unit.
FIG. 4 is an explanatory diagram of a posture model.
FIG. 5 is a block diagram of a face detection function unit.
FIG. 6 is a block diagram of an eye portion observation function unit.
FIG. 7 is a flowchart of eyelid detection.
FIG. 8 is a flowchart and explanatory diagram of REM sleep detection.
FIG. 9 is a flowchart and an explanatory diagram of mouth detection.
FIG. 10 is a flow chart and explanatory diagram of a mouth shape temporal transition model and detection;
FIG. 11 is a block diagram of a determination unit.
FIG. 12 is a diagram showing an example of yawn integration judgment;
FIG. 13 is a block diagram of a control unit.
FIG. 14 is a block diagram of a modification of the determination unit.

Claims (4)

An image input means for observing the subject;
Movement detecting means for detecting the movement of the subject from the image observed by the image input means;
Motion value conversion means for converting the motion of the subject detected by the motion detection means into a quantitative motion value;
A judgment means for judging the state of the subject from the motion value converted by the motion value conversion means;
The operation value conversion means includes:
The value of the evaluation function comprising the sum of the product of the bending angle of each part of the subject detected by the motion detection means and the weighting coefficient of each part obtained in advance is used as a quantitative motion value of the motion of the subject. A characteristic state monitoring device. The state monitoring apparatus according to claim 1, further comprising a control unit that controls an external device based on the state of the subject determined by the determination unit. The determination means includes
Storage means for storing an item indicating the state of the subject corresponding to the motion value;
The state monitoring apparatus according to claim 1, further comprising a determination / determination unit that calls an item corresponding to an operation value from the operation value conversion unit from the storage unit and sets the called item to a state of a subject. The motion detection means includes
Posture detection means for detecting the state of the posture of the subject from the image observed by the image input means;
Or
The state monitoring apparatus according to claim 1, further comprising at least one of face detection means for detecting a face state of the subject from an image observed by the image input means.

Images