JP2004523849A - 不定期的に補助を要する一人暮らしの人を監視する自動システム - Google Patents

Abstract

警報システムは、一人暮らしの老人のような、ある監督を必要とする単独人の状態を監視する。システムは、種々の独立した信号を監視し、これらを結合して、監督者による介入が必要であることを示す微妙な手掛かりを認識する。

Description

【０００１】
本発明は、監督されていない人を取り巻く条件が、人が補助を必要としていると示すときに、警報信号を生成する装置に関する。
【０００２】
ビデオカメラが関心の対象若しくは領域に向けられ、訓練された観測者によって観測される、遠隔安全監視システムは、本分野で知られている。また、携帯可能な受信機へ音声の送信を行う病人や乳幼児の監視装置は、市場にて入手可能である。しかしながら、これらの装置は、子供や乳幼児のような、関心の対象や領域への保護を供給するために不断の注意を必要とする。
【０００３】
顔の機械識別は、広く開発されている技術である。顔を写真撮影若しくは認識するためのシステムに対するＧＢ２３４３９４５号では、コントローラは、風景中の動く顔を認識し、それらを追従して、顔若しくはその識別可能な特徴を識別するのに十分な画像の捕捉を可能とする。例えば、このシステムは、宝石店のセキュリティシステムにおいてプルダウン式の帽子やフェースマスクを認識すると同時にアラームを発令することができうる。
【０００４】
監視される人の身体的若しくは精神的な状態は、医療診断目的のためにコンピューターにより決定することもできる。例えば、この参照により本明細書の開示に含められる、米国特許第５，６１７，８５５号は、診断を補助するために、脳電図及び他の診断データと共に顔及び声の特徴をクラス分けするシステムを開示する。この装置は、精神療法及び神経学の分野に目標が向けられている。しかしながら、この及び他のかかる装置は、通常の環境内で人を監視するために設計されていない。
【０００５】
ＥＰ０７１６４０２Ｂ１号は、赤外線センサ及びファジー推理システムを用いて訓練スペース若しくは他のスペースに入る人の数を検出する方法を開示する。人の数が所望の限界値を超えたか若しくはアンバランスになったとき、システムは、当該作用への注意の喚起をすることができ、その条件を補正する装置にリンクされてよい。
【０００６】
ＵＫ２０２７３１２Ａ号は、標準的な映像信号を生成する赤外線カメラを用いて魚の動きを検出する方法を開示する。
【０００７】
ＵＳ４５２４２４３号は、ユーザが特別な間隔でスイッチを操作することを必要とするシステムを開示する。それを行わない場合、非活動のアラームが生成されることになる。
【０００８】
ＵＳ５９０５４３６号は、トリガされるべき家庭内の種々のセンサの欠陥が、中央監視部でかかる状態を指示する信号の生成をもたらす、システムを開示する。この開示は、家に暮らす老人の監督に向けられている。
【０００９】
ＵＫ２１７９１８６Ａ号は、動きが所定の時間検出されない場合にアラームがトリガされるシステムを開示する。警報は、ユーザがスイッチをリセットできるように付与される。
【００１０】
ＵＳ６００２９９４号は、家の中の戦略的な位置に置かれた送信機が、人が送信機をトリガするセンサの位置に存在するときはいつでも、トリガされるシステムを開示する。また、このシステムは、ユーザが使用すると予測される機器及び装置に取り付けられる他の入力を採用する。このシステムは、通常の使用パターンを認識するように訓練される。送信機は、通常パターンが検出されない場合に中央監視装置に信号を送信する。
【００１１】
この参照において、生理学的な測定値は、ユーザの血圧、心拍数、体温、体重及び血糖値を含んでよい。非生理学的な測定値は、室温、尿から出るアンモニア、痛んだ食物からのメタン、煙の存在、電気尿使用頻度、水の使用頻度、蛇口からの流れる水の温度、動きセンサにより指示されるような選択された領域における人の動き、トイレ、電話、ストーブ、電子レンジ、トースター、オーブン、冷蔵庫、冷凍庫、食器洗い機、フロ、シャワー、生ごみ処理手段、洗濯機、乾燥機、郵便箱、ドア及び乗り物のような機器の使用を含む。
【００１２】
他の適用範囲では、機械が、機械認証及び確認若しくは利便性のために、自動的に占有者の存在や占有者の特別な特徴を検出する。この目的のため、幾つかの先行技術のシステムは、生物測定的なセンシング、近接検出器、無線認識タグや他の装置を採用する。
【００１３】
老人の活動を監視する自動システムが提案されているが、かかるシステムのロバストネスの増大及び誤検出を防止する能力、更に重要なことには、より迅速な介入に対する必要性が存在する。例えば、長期間センサ範囲から逸脱した老人は、ＵＳ６００２９９４号に提案されているようなシステムによる逸脱検出にもかかわらず、生命を脅かす問題から無能力にされうる。問題が生ずる前に当該問題を指示しうる、人間が検出できる微妙な手掛かりは、先行技術のシステムによっては検出不能である。また、警報情報は、十分に情報的なものでない。これら及び他の欠点の結果として、一人でいる人の機械監視は、生体の付き添い人により提供される水準までには至っていない。
【００１４】
要約すると、警報システムは、家に一人で暮らす老人のようなある監督を要する人であるが、人に頼らない単独人の状態を監視する。このシステムは、多種多様な独立した信号を監視し、これらを組み合わせて、監督者による介入が必要であることを示しうる微妙な手がかりを認識する。
【００１５】
コンピューターがより広範に使用され、処理能力により低価格のセンサの使用が可能されるに従って、人間の介在の無い制御能力が広く議論されるようになっている。例えば、将来の家では、加熱システム、照明、音楽システム、機器等は、すべて一の体制に移行しうり、そこでは、それらは、ユーザに制御を要求するのではなく、自身で制御を行う。これらのモデルでは、ユーザの意図は、その者の行動により推測される。存在は、暖房若しくは照明の起動をトリガしうる。テレビジョンの起動は、光の減光及びカーテンを閉めることをトリガする。かかる環境では、安価なセンサ技術は、システムにおける有用な反応を生成するためにパワーを算出することによって、活用される。将来の家は、ソフトウェアの変更のみにより多くの機能を実現可能とするセンサで満たされうる。かかる環境では、センサデータのリッチアレイは、今まで認識されない多くの目的のために利用することができる。本出願は、このデータを組み合わせて、有用なパターンを、人間の観測者が微妙なパターンを検出できるような態様で検出できるようにする。この場合の、出願の目的は、病人や老人のような単独人の監視である。
【００１６】
本発明は、人工知能技術の適用により、映像及び音声を含む普及したセンサを採用する環境を考察し、ムードの揺れ、不規則な行為、及び不認識の人、物若しくは動物の存在のような微妙な手掛かりの認識を可能とする。条件が介入の必要を要求若しくは提案しているとクラス分けされたとき、状況に関する情報を含む情報的な警報信号若しくはメッセージが、送信され、送信を受けたものが何が起きているかを理解できるよう補助する。一実施例では、警報信号は、介護人に向けられたカメラから供給される生の映像及び／又は音声である。その他の実施例では、警報信号は、アラームが発される状態及び条件に関する象徴的なデータセットであり、例えば、“介護を必要とする人がＮ時間なにもしていません”、“認識されない顔が存在します”、“人相が困窮を示しています”、若しくは“異常に高いレベルの活動です”のようなメッセージである。
【００１７】
人工知能及びロボットの分野は、機械によるその周辺の十分な検出を可能とする技術が生まれており、これにより、例えば、機械により、所定の条件が認識され、乗り物が案内され、対象及びそれらの向きが識別される。自律型観測者と称されるシステムの構成要素は、工場で製造され、機械が領域内で観測者に追従し、非常経路を追跡することを可能とする。類似の技術の他の用途は、プレゼンテーションをする話者に追従し、話者のジェスチャコマンドに応答するビデオ追跡システムを含む。本発明の実施例では、画像及び映像認識、音声認識の技術、及び他の入力が、監視される介護者の条件を推測するために使用されてよい。
【００１８】
人工知能（ＡＩ）原理は、現在の状態をモデル化するため、ビデオ、音声、及び／又は他の入力を受信するクラス化エンジンにより使用される。条件が注意を必要とするもの（窮迫イベント）としてクラス化されるとき、窮迫イベントまで記憶されてよいビデオ、音声及び他のデータは、生のデータと共に、認識されたイベントの属するクラスの指示と共に監視装置に送信されてよい。例えば、泣いている人により生成される音声信号は、“人が泣いている”状態として、単独で若しくは泣いている介護を必要とする人の映像データのような他のデータのクラス化と共に、クラス化されてよい。監視システムに対する条件クラスは、次のようなイベントを含んでよい。
１．ストラップ式の心臓監視器、呼吸センサ、若しくはオーディオセンサのような生理学的センサによるトリガ
２．認識されない声、顔、体若しくは対象の検出
３．例えば足を引きずるというような、怪我を示すような人の異常な動き
４．落下、走り、通常的な歩き、腹ばいでの進行に対応する突然の動き
５．麻痺のような通常的な動きの欠如、協同の欠如、緊急事態に対処する際のような異常に早い、若しくは、異常に遅い動き
６．スペース内の介護人若しくは他の人の存在及びその数
７．所定時間に亘るスペース内の占有者の服、顔の特徴等の整合性
８．音の特性（シグニチャ）に基づく、大きな音、通常の音及び異常な音
９．音源の異常な位置
１０．不許可スペースの占有
１１．介護人が介護必要人から異常な時間離れているか否か、若しくは、介護人が、異常な時間、特定のスペース内にいるか若しくは特定のスペースから離れているかどうかのような、占有パターン
１２．監視システム、若しくは占有スペース内の対象への損傷に一致するパターン
１３．不法占有者の声のシグニチャ若しくは認識されない声のシグニチャ
１４．被監視人若しくは他の占有者の人相及び体質
１５．スペース内のセキュリティシステムの状態
１６．占有スペース内の非認識対象、若しくは、予期しない位置で移動し若しくは発見される認識対象
１７．通常範囲からの逸脱した、温度、湿度、音のレベル、若しくは他の周囲変数
１８．非認識の顔若しくは体のパターンの存在。
【００１９】
警報条件をトリガするイベントは、呼吸や泣くことを検出する先行技術のセンサのような唯一の簡易なものであってよく、若しくは、複数の入力をソフトウェア（若しくはハードウェア）ネットワーク（例えば、神経回路網、ベイズ）へと統合するより複雑なものであってよく、当該ネットワークは、環境、若しくは、特定可能（知られた）環境の存在を特定若しくは認識するようにプログラム若しくは構成される。かかるネットワーク装置は、神経回路網、ベイズのネットワークの形態のクラス化器、及び、物理的な対象及び習性の機械認識のための他の技術を含んでよい。本分野は、豊富で高速に成長しており、現在の発明を実現するための改善手段が連続的に利用可能となることが予測される。
【００２０】
好ましくは、クラス化エンジンは、訓練可能であって、パターンマッチング用の所定のテンプレートパターンのみに依存する必要が無いようにされる。しかしながら、一実施例では、生データは、映像クラス化器のようなＡＩクラス化器により抽出されて、警報条件が存在するか否かに関する明示規則の定義をクラス化の更なる段階で可能とする抽出信号とされる。
【００２１】
システムは、訓練の補助を提供するため、模擬ダイアログを生成する能力を備えてよく、例えば、占有者が監視スペースを観測できるとき、一度に監視スペースに存在する多くの条件クラスの中から占有者に選択することを求める。これは、システムによりその結合信号の曖昧さを低減するために利用されて良い。例えば、模擬ダイアログは、この参照により本明細書の開示に含められる以下の各文献に開示されるような機械生成ペルソナによる“チャタボット（chatterbot）”技術を用いて生成されてよい。
−個人の対話を模擬する環境応答ユーザインターフェース／娯楽装置に対する米国特許出願第０９／６９９，６０６号、
−テレビジョンに表示される仮想の生き物に対する米国特許出願第０９／６８６，８３１号、及び、
−個人の対話を模擬し占有者の精神状態及び／又は個性に応答するユーザインターフェース／娯楽装置に対する米国特許出願第０９／６９９、５７７号。
【００２２】
ペルソナは、特定の条件に応答して（目立つ条件のあいまいなクラス分けや単にランダム的なもの若しくは期間ベースのもの）、現在の環境についての占有者からの情報を要求する。受信されたフィードバックは、クラス化エンジンにより使用され、目立つ条件が更に推測され、及び／又は、環境についての他の情報と共に責任者に中継される。上述の出願は、また、占有者についての決定をなすため入力のリッチアレイをクラス化するトピックスを議論する。
【００２３】
本発明は、より完全な理解のため、次の例示的な図面を参照しつつ、ある好ましい実施例と関連されて説明される。図面を参照するに、強調すべきことは、示された詳細は、例として本発明の好ましい実施例の例示的な議論のためにのみのものであり、また、最も有用であると信じるものを供給し、本発明の原理及び概念的局面の説明が容易に理解される理由で示されている。この点に関して、本発明の基本的理解に必要以上の本発明の構造的な詳細を示すための試みがなされておらず、図面と共に本説明は、当業者にどのようにして本発明の幾つかの形態を実施するかを明らかにするだろう。
【００２４】
図１を参照するに、本発明の一実施例を実現するためのハードウェア装置において、プログラム可能なコントローラ１００は、例えばカメラ１３５，１３６に接続された接続された画像プロセッサ３０５、マイクロフォン１１２、及びセンサ１４１のような種々の源から入力を受信する。センサ１４１は、呼吸監視器のような警報センサ、若しくは、温度センサ、位置センサ、セキュリティスイッチ、近接センサ、電気負荷センサ、周囲光センサ等のような如何なる他の種のセンサを含んでよい。コントローラ１００のソフトウェアを更新するためのデータ、若しくは、その環境をモデル化するためのテンプレートのような、他の必要とされるデータを供給するためのデータは、雲印１１０によって記号化されたローカル若しくはワイドエリア若しくはインターネットネットワークを介して収集されてよい。遠隔の観測者は、システムからの警報信号の追従を続け、若しくは、ＵＩ１２２（例えば、端末）を介して同警報信号を受信する。コントローラは、スピーカー１１４若しくは如何なる他のモダリティの装置を介して音声信号（例えば、合成スピーチや遠隔の話者からのスピーチ）を出力してよい。占有者の入力をプログラミング及び要求するため、端末１１６が設けられてよい。
【００２５】
図２は、図１のコントローラ１００により収集される情報がどのように使用されて、特定の条件が識別され、これらの条件に対応する警報が発生されるかを示す。映像データ、音声データ、温度、音のレベル、セキュリティシステムの状態等のような環境条件のような種々のモダリティの入力５００が、訓練されたクラス化器５１０に印加され、監視される環境の識別可能な特徴が区別されクラス分けされる。例えば、クラス化器５１０は、顔を判別し、それらを認識セットの一に属するもの若しくは認識セットの何れにも属さないものとしてクラス分けするように訓練されてよい。その他の例では、クラス化器５１０は、グラスの割れや物体の落下のような突然のノイズをクラス分けするように訓練されてよい。更なる他の例では、クラス化器５１０は、映像信号内のデータから、監視される人の精神状態及び健康を、顔の表情、人相、体質、習性等により認識するよう訓練される。例えば、クラス化器は、非認識の顔が後続する大きな音を警報条件として識別するように訓練されてよい。
【００２６】
５１０のようなクラス化器を訓練する技術は、広く開発され、急速に成長している。かかるクラス化器は、例えばベイズのクラス化器を形成するための規則を用いて明示的に訓練されてよい。或いは、神経回路網を訓練するためのような例を用いて訓練されてよい。どのように異なる種のクラス化器が設計され訓練されたかは、ここで議論されるのを除いて、本発明の焦点でなく、また、かかるクラス化器を設計及び訓練する技術は、広く開発され、非常に多様であるので、細部はここでは詳細には議論されない。クラス化器５１０をプログラミング及び／又は訓練するための幾つかのインターフェースが、５３０により指示される。クラス化器５１０の最終目標は、警報出力５２０に状態若しくは警報情報を出力することである。５３０及び５２０の双方は、ネットワーク化された端末、携帯電話機、ＰＤＡや他の適切なＵＩ装置であってよい。
【００２７】
図３を参照するに、占有領域を監視するために利用されてよいイベント駆動アーキテクチャの機能図は、単一のクラス化器５１０の“ブラックボックス”により図示される対象を、警報条件をクラス分けするために組み合わされる出力を持つ複数の対象に分離してよい。音声入力２４５、映像入力２５５、他のユーザインターフェース装置（図示せず）は、各々のクラス化器２１０，２４０に印加される信号を発生する。マイクロフォン（分離して図示せず）若しくは音及びその方向の双方を示す指向性音声検出器（分離して図示せず）により、又は他の適切なオーディオトランスデューサにより受信されてよい音声入力２４５は、音声クラス化器２１０に入力されてよい。後者のデータは、実時間信号を形成し、音声クラス化器２１０により、適切なデジタル若しくはアナログ手段又はそれらの組み合わせによってクラス分けされる。次いで、音声クラス化器２１０は、精神状態／健康状態クラス化器２９０及びイベント／クラスプロセッサ２０７の双方に入力される現在の状態情報信号を生成する。
【００２８】
音声信号クラス化器は、次の構成要素を含むベクトルを出力してよい。
１．話者のＩＤ
２．話者の数
３．音の種類（衝突音、打撃音、周期的な音、コツコツ音等）
４．音の強度レベル
５．認識音の持続時間、時刻
６．スピーチの質（ささやき、叫び、早い等）
７．声の質（男性、女性、子供、弱、強、粗、クリア等）
８．照明のスイッチングの音、いびき、ラジオ若しくはＴＶの小さな音、真空掃除機等のような音から特定可能なイベント。
【００２９】
離散的な音のイベント及び／又は状態の各例は、その開始時及びある場合には終了時を指示するタイムスタンプが結合されてよく、結合された信号は、イベント／クラスプロセッサ２０７に入力される。
【００３０】
ビデオ画像クラス化器２４０は、映像入力２５５を受信し、画像データをクラス分けし、精神状態／健康状態クラス化器２９０及びイベント／クラスプロセッサ２０７に入力される状態情報信号を生成する。ビデオ画像クラス化器２４０は、ジェスチャ、速い動き、視野内の占有者の数のようなあるイベントを識別するようにプログラムされてよい。音声クラス化器２１０と同様、その出力は、ベクトルであってよく、説明の目的から、次の構成要素を含む。
１．占有者の数
２．体、顔の特徴、動き等からの情報から得られうる占有者（非識別を含む）のＩＤ
３．各占有者の体の位置／ジェスチャ（例えば、立っている、座っている、飲んでいる、食べている）
４．風景内の非常駐の対象のサイズ
５．風景内の非常駐の対象の本質（例えば、テレビジョン、食器、洗濯籠等）
６．走ること若しくはカオスの指示として占有者の画像中心の移動の敏捷性
７．カメラアングルの変化等。
【００３１】
真贋鑑定、機械のジェスチャ制御等のような種々の分野からの映像処理技術は、システム設計者の特定の目的に応じて現在のシステムに採用されてよい。
【００３２】
クラス化器２３５に関連する他の入力装置は、イベント／クラスプロセッサ２０７にその出力信号を入力する。他のＵＩクラス化器２３５は、周囲光レベル、時刻、室温、ビルのセキュリティ状態のような環境を監視する計測器を含んでよい。
【００３３】
文字データは、音声入力２４５を受信しそれを文字に変換する音声−文字変換器２１５から得られてよい。音声から得られるとき、文字は、音声−文字変換器２１５によりタイムスタンプされる。音声−文字変換器２１５は、自然言語サーチエンジンで使用されるように、新たな若しくは先行技術の会話シミュレーターで使用されるような文法的若しくは構造的規則又は他の適切な手段を用いて文字を構文解析する。この構文解析の結果は、精神状態／健康状態クラス化器２９０が認識しうる発言特徴若しくは単語の抽出であってよい。構文解析は、従来のシミュレーターにおいてのように規則ベースのテンプレートマッチングを用いて、若しくは、より緻密な自然言語法を用いて実行されてよい。ムードを指示する単語は、次いで、話者のムードのクラス分けのために精神状態／健康状態クラス化器２９０に送られる。
【００３４】
精神状態／健康状態クラス化器２９０は、種々のクラス化器から信号を受信し、これらを処理して、ムード／個性状態信号を生成する。精神状態／健康状態クラス化器２９０は、訓練された神経回路網、ベイズのネットワーク、単純な規則ベースのシステム、若しくは、異なる多くの入力を取ることができ、所与の感情的な状態にあり所与の個性を有する占有者の可能性を予測することができる如何なるクラス化器であってよい。簡易型から複雑型のものまで、種々の個性及びムードタイポロジーが使用されてよい。おもしろくない人のような占有者をクラス分けする規則のセットの一例は、
−少ない文／語句単語数（占有者の文は、少ない数の単語を含む）（反応単語数を指示する入力構文解析器４１０の信号）
−最高のような熱狂を提案する単語の低い出現率（形容詞を指示する入力構文解析器４１０の信号）
−声の静かでフラットな調子（変調抑揚強度を指示する音声クラス化器２１０の信号）
−物理的な動きの欠落（等を示すビデオ画像クラス化器２４０の信号）
−ほとんど無い頭や体の動き
−ため息音等
−時計を見ること、及び、
−風景内のテレビジョン若しくは本のような対象とのアイコンタクトの欠落、である。
【００３５】
これらのそれぞれは、対応するクラス化器によりクラス化される。占有者の服の色、占有者の声のピッチ、占有者の単一の風景を出入りする回数、占有者のジェスチャの方法等はすべて、占有者の感情的な状態及び／又は個性への手がかりを供給する。出力ベクトルは、あらゆる適切な精神状態クラス化であってよい。例えば、米国特許第５，９８７，４１５号に提案される誘意性／強度感情状態タイポロジーが使用されてよい。
【００３６】
次の表は、メイヤー・ブリッグス（Ｍｙｅｒｓ−Ｂｒｉｇｇｓ）のタイポロジーの進化産物であるＢｉｇ Ｆｉｖｅを要約化したものである。感情状態及び個性をモデル化することを主題とした学術論文が多数有り、これらの多くは、声、顔の表情、姿勢、及び多くの他の機械入力を基礎とした機械クラス化の問題を扱う。インターネット上の業者を用いて、若しくは、１日の間の日照のような基礎天気データを測定する装置を介して得られてよい天気さえも、精神的感情状態を推測するために使用されてよい。
【００３７】
連続の２つの極限に対するアンカーによるマイナス気分の６つの局面（Ｃｏｓｔａ＆ＭｃＣｒａｅ，１９９２からの改作）
【００３８】
【表１】

連続の２つの極限に対するアンカーによる外向性の６つの局面（Ｃｏｓｔａ＆ＭｃＣｒａｅ，１９９２からの改作）
【００３９】
【表２】

連続の２つの極限に対するアンカーによる開放性の６つの局面（Ｃｏｓｔａ＆ＭｃＣｒａｅ，１９９２からの改作）
【００４０】
【表３】

連続の２つの極限に対するアンカーによる従順性の６つの局面（Ｃｏｓｔａ＆ＭｃＣｒａｅ，１９９９からの改作）
【００４１】
【表４】

連続の２つの極限に対するアンカーによる良心性の６つの局面（Ｃｏｓｔａ＆ＭｃＣｒａｅ，１９９２からの改作）
【００４２】
【表５】

精神状態／健康状態クラス化器２９０は、多数の自由度を備える状態ベクトルであって、設計者により選択された精神状態及び個性のモデルに対応する状態ベクトルを出力する。精神状態／健康状態クラス化器２９０は、個性をモデル化する際に期間に亘って連続的なデータを積み重ねる。これは、個性が永続的な状態であるからである。精神状態は、より一時的な要素を有するだろう。
【００４３】
健康状態は、クラス化器を、顔の表情及び顔に現れる病状のようなある特徴；体質、体の動きや姿勢、例えば動きの遅さや、足の引きずり、麻痺等の示すような他の異常な動きを認識するように訓練することによって、クラス分けされてよい。健康及び精神状態のクラス化は、治療問題のようなある物理的な問題と同様に寂しさや落胆のシグナルとなりうる、老人がパジャマを着ない若しくは服を着替えないようなイベントに応じるものであって良い。電話からの音声入力が、問題を知らせる単語の選択のために観測されても良い。
【００４４】
プライバシーは、単に、発言の内容以外の複合パラメータを指示することによって保護されて良い。もっとも、警報信号は、プライバシーを保護するように調整されてよい。例えば、警報信号の内容は、条件が緊急でないか、若しくは、監視されている人の状態が完全に明確でない場合、詳細なものでなくてよい。
【００４５】
精神状態／健康状態クラス化器２９０は、認識するように訓練された病状のリストを含む健康状態クラス化器を出力してよい。これは、純粋に臨床的若しくは医療的に認識される病状若しくは明確な病状と一致してもしなくても良い。また、システムは、変化に反応するように、ある病状クラスや病状レベルを排除するよう訓練されてよい。例えば、それは、目立つ度合いの麻痺に無反応であってよいが、それの増加若しくは減少に反応してよい。
【００４６】
イベント／クラスプロセッサ２０７は、複数のクラス化器からの状態情報を組み合わせて、占有者、特に監視される人を含むシステムの環境の現在の状態を指示する環境／占有者状態信号を生成するクラス化器である。イベント／クラスプロセッサは、また、例えば、緊急条件に一致しうるイベントのような、あるイベントがクラス化器により識別されたときの即応性を保証するためにイベント信号を生成してよい。イベントの認識は、複数のクラス化器からの状態情報を必要としうり、従って、イベント／クラスプロセッサ２０７は、複数のクラス化器からの状態情報を組み合わせて、組み合わせ状態信号及び組み合わせイベント信号を生成する。環境／状態信号は、種々のクラス化器が識別することができるすべての考えられるイベントクラスの指示を含んでよく、若しくは、確度の閾値レベルを越えるイベントクラスの指示のみを含んでよい。
【００４７】
出力発生器４１５は、精神状態／健康状態クラス化器２９０からムード／個性状態ベクトル及び健康状態ベクトルを受信し、入力構文解析器４１０から、構文解析された応答データをそれぞれに受信する。応答発生器４１５は、また、イベント／クラスプロセッサ２０７から環境／占有者状態信号及びイベント信号を受信する。出力発生器４１５は、精神状態、環境／占有者状態、及び、イベント信号に対応する種の反応を内部データベースから選択し、必要とされる場合には警報出力を生成する。或いは、出力発生器は、端末１１６（図１）のようなユーザインターフェースを介して占有者からの更なるデータを誘起する出力テンプレートを選択するようにプログラムされてもよい。例えば、種々のクラス化器の出力構成要素が、低い確度レベルを指示する場合、システムは、占有スペースの現在の状態についての情報を求める音声をスピーカー１１４を介して生成しうる。例えば、“誰かいますか”は、大人の明確な存在が検出できない場合に発生されうる。システムは、次いで、映像入力２５５のようなその他の入力装置を使用し、その状態及びイベント信号のあいまいさを低減する。尚、これらの特徴は、米国特許出願番号０９／６９９，６０６号、０９／６８６，８３１号及び０９／６９９，５７７号に開示されるような従来のシュミュレーターにより実現されてよく、機械補助として動作するために組み込まれてよい。
【００４８】
映像入力２５５から開始するデータフローをたどると、映像入力２５５の信号は、ビデオ画像クラス化器２４０に入力される。例えば、それは、座っている人と寝ている人とを、及び、静止して座っている人と動揺して移動している人若しくは特定領域を離れる人とを区別するようにプログラムされてよい。これらのクラスのそれぞれに対する可能性は、信号として生成及び出力されてよい。或いは、単一の最も可能性のあるクラスが、信号として生成及び出力されてよい。この信号は、イベント／クラスプロセッサ２０７に入力され、イベント／クラスプロセッサ２０７は、このデータを他のクラスデータと組み合わせて、環境／占有者状態信号を生成する。イベント／クラスプロセッサ２０７が、ビデオ画像クラス化器２４０から、例えば非監視人若しくは他の占有者が起き上がり部屋を出たというような、突然で重要な何かが起こったという指示を受信した場合、イベント／クラスプロセッサ２０７は、イベント信号を生成するだろう。精神状態／健康状態クラス化器２９０が、占有者が動揺した態様で移動していることを示す信号をビデオ画像クラス化器２４０から受信した場合、精神状態／健康状態クラス化器２９０は、この情報を他のクラス化器信号の信号に結合して、不安の高まった感情状態を示すムード／個性状態ベクトルを生成する。例えば、音声クラス化器２１０は、話者の声が通常よりも高くなったことを同時に指示していてもよく、入力構文解析器４１０は、直近の発話の単語数が低いことを指示してよい。
【００４９】
尚、現在のクラス若しくは状態が前の時間からの変化を表わしているかをシステムが決定できるようにするため、イベント／クラスプロセッサ２０７及び精神状態／健康状態クラス化器２９０は、対応する履歴を異なる占有者に対して記憶できるようにデータ記憶能力及び現在の占有者を決定する手段を備えてよい。占有者の識別は、上述の如く、ビデオ画像クラス化器２４０による顔識別、若しくは、声特性によるものであってよい。それは、また、無線周波数認識（ＲＦＩＤ）トークン、スマートカード、若しくは、占有者が自己を指紋のような生物測定指示で特定できる単純なユーザインターフェース、又は単なるＰＩＮコードにより確証されてよい。このようにして、精神状態／健康状態クラス化器２９０及びイベント／クラスプロセッサ２０７の双方は、それぞれ履歴データを特定の占有者に関連付け、出力発生器４１５へ傾向を特定及び信号化する際にそれを採用する。
【００５０】
イベント／クラスプロセッサ２０７は、音声クラス化器２１０及び他のクラス化器からのクラス情報を受信し、認識するために訓練されたメタクラスによりこれらを特定しようとする。即ち、それは、状態のクラスを組み合わせて、当該複数の状態に一致するオーバーアーチング状態を定義する。ここで開示するアーキテクチャは、本発明の種々の特徴を実行するための唯一の方法ではなく、イベント／クラスプロセッサ２０７が単に省略され、その機能が出力発生器４１５により取って代わられてよい。しかしながら、機能を分離することの一の有利な点は、イベント／クラスプロセッサ２０７が、出力発生器４１５により使用されるものと異なる種類のクラス化器を採用しうることにある。例えば、出力発生器４１５は、規則ベースのテンプレート整合器を使用しうる一方、イベント／クラスプロセッサ２０７は、訓練された神経回路網タイプのクラス化器を使用しうる。これらの機能の割り当ては、より適切でありうる。というのは、出力発生器４１５の出力数が、イベント／クラスプロセッサ２０７（若しくは他のクラス化器）が認識するように訓練されるクラス数よりも非常に多くなりうるからである。これは、ネットワークタイプのクラス化器（神経回路網及びベイズのネットワーククラス化器のような）は、考えられる多数の出力状態を有するときに訓練するのが難しいという事実から分かる。
【００５１】
ビデオ画像クラス化器２４０の処理は、ビデオ情報を受信するカメラ（映像入力２５５により指示）を制御する能力を含んでよい。ビデオ画像クラス化器２４０は、個人であってもなくてもよい室内の対象を規則的に識別し、これらの個人の種々の特徴を拡大（ズーム）しようとする処理を含んでよい。例えば、ビデオ画像クラス化器が、新たな個人を識別する毎に、ビデオ画像クラス化器は、個人を識別するため若しくは個人のムード及び／又は健康を識別するために使用できる顔の表情の情報を得るべく、顔が視野のどこにあるかを識別しようとし、顔を規則的にズームしようとしてよい。
【００５２】
尚、本発明は、上述のような人工知能（ＡＩ）技術を使用することなく設計されてよいが、ＡＩ技術のロバストネスはそのように実行するのを非常に望ましいものとする。例えば、音声信号は、大きい衝突音の検出のため、及び、フィルタ出力があるレベルを超えるときに時間ラッチ出力をセットする検出器のために設定されたバンドパスフィルタによりフィルタ処理されてよい。同時に、ビデオ輝度信号は、ローパスフィルタ処理され、そのエネルギがあるレベルを超えるときに、時間ラッチをセットする。双方のラッチされた信号がポジティブの場合（大きな音及び一時的な近接度における大きな活性）、システムは警報を発してよい。
【００５３】
警報信号は、単に、幾つかの種の警報状態の通知を含んでよい。しかしながら、警報は、好ましくは、特定の設計基準内で可能な限り情報的なものであるべきである。例えば、警報信号は、警報状態をトリガしたイベント（複数を含む）の前後の音声及び／又は映像データを含んでよい。これらは、出力発生器４１５により記憶され、ｅ−メールにより送信され、映像能力のある携帯電話接続若しくは無線コンバージェンス装置若しくは他の手段を介して流される。警報状態のメタ−クラス化を生む最も重要な状態クラスの記号的表現も送信されてよい。例えば、“大きな騒音”を指示する記号及び／又は未認識の占有者が、責任者の携帯無線呼出し器に送信されてよい。
【００５４】
図４を参照するに、任意の数の信号が、ステップ１０（Ｓ１０）により指示されるように連続的にバッファに格納される。警報条件が指示された場合、ステップ１５において、特定の警報条件が以前に無効にされているかどうかが判断される。該当する場合、信号のバッファ格納は、再開され、更なる動作は取られない。警報条件が無効にされていない場合、メッセージがステップ２０で生成され、ステップ３０でバッファ格納された信号１．．Ｎが付加される。警報メッセージは、次いで、ステップ４０で例えばｅ−メールにより送信され、ステップ５０で、適切な場合には、選択的な生の供給が生成される。生の供給は、ｅ−メール送信に含まれるＵＲＬにて利用可能とされてよく、若しくは、自動電話呼び出しによりデジタルビデオ電話に送信されるメッセージ内の信号の一部として利用可能とされてもよい。
【００５５】
バッファ格納された信号は、時間に亘り一若しくはそれ以上のセンサの状態を指示する時間シーケンスに過ぎないものであってよい。バッファ格納された信号は、警報条件の指示を与える信号である必要はない。例えば、本発明の一実施例では、ビデオカメラは、人のベッド上に向けられてよい。警報は、呼吸を検出する機械的なセンサ（胸のストラップ）により生成されてよい。映像信号は、人の呼吸の休止の検出の瞬間まで格納された信号は、警報メッセージの部分として送信される信号であってよい。バッファの長さは任意であってよい。
【００５６】
各警報は、特有のイベントであってよいが、それぞれは、例えば子供や乳幼児の所定時間の呼吸の欠落のような、同一の永続的な条件により生成されてよい。所与の警報が確認応答されることは望ましく、異なる環境から生ずる新たな警報条件が、現にある既存の警報と混同されないようにする。これを扱う一方法は、警報条件を引き起こす構成要素のベクトルに基づいて各警報にシグニチャを割り当てることである。同一の警報条件の認識は、新たな警報が既に無効とされているかを調べる（ステップ１５）ために既存の警報のテーブルと比較されてよいその他のベクトルを生むだろう。構成要素は、ベクトル構成要素の小さな差異が異なるものとして認識されることを保証するために量子化されてよく、若しくは、低感度の比較が、同一の作用を達成するために使用されてもよい。
【００５７】
警報信号は、次の何れかの手段により送信されてよい。
１．警報条件の記号的な指示を提供する合成音声（予め記録された語句若しくは合成スピーチ）による自動電話呼び出し及び／又は監視スペースから供給される記憶された音声及び／又は生の音声
２．ビデオを備える無線機器は、上述に加えて、記録されたデータ及び／又は生のデータ、更に同一の情報を供給する文字メッセージを含んでよい。
３．ｅ−メールメッセージは、生若しくは記録されたデータを備えるＵＲＬへのリンクを含んでよく、若しくは、静止画若しくは動画を供給する埋め込みＭＩＭＥ付加を有してよい。
４．放送：無線メッセージ、音声メッセージ、有線コンソール上でのディスプレイ等。
【００５８】
次は、幾つかの例のアプリケーション及び使用シナリオである。
【００５９】
［例１］
カメラ１３５，１３６は、ベビーベッド内の子供に向けられる。マイクロフォン１１２は、ベビーベッド近傍の音を検出するための所定の位置に配置される。コントローラ１００は、カメラ及びマイクロフォンから生の映像及び音声信号を受信し、それらを各々のクラス化器２４０，２１０及び信号を結合する他のクラス化器２９０，２０７へとフィルタ処理する。コントローラ１００は、赤ちゃんの通常の顔を認識するようにプログラムされている。それは、顔が存在することを指示する信号及び顔が期待値に如何に良好に整合するかを示す信頼度推定値を生成する。コントローラ１００は、赤ちゃん及び子供の血縁者及びペットのような他の顔を同様に認識するようにプログラムされてよい。コントローラ１００は、更に、泣き声を認識し、泣き声が存在することを指示する信号を生成するようにプログラムされる。更に、コントローラ１００は、次のイベントを認識し、対応する信号を生成するようにプログラムされる。乳幼児の通常及び異常な体質、泣くこと、満足、困惑、早い若しくは遅い動きのような悪いムードを示す乳幼児の顔の表情、存在する個体数、部屋内の新たな対象の存在、それらの“小さな塊（ｂｌｏｂ）”サイズ（“小さな塊”とは、画像プロセッサが映像画像内に定義できるあらゆる閉形状を特徴付ける用語）、介護人の認識した顔のムード。
【００６０】
上述の例では、次のイベントが生じうる。乳幼児が泣き、警報信号が生成される。乳幼児は、病気（熱）を示唆する落ち着きの無い様子である。乳幼児のムードは、乳幼児が通常的に寝ていることを示す受信音声及び映像信号により検出される。
【００６１】
警報条件のイベントにおいて、合成音声は、スピーカー１１４を介して介護人を呼び出し、乳幼児に対する介助を要求する。警報信号は、文字メッセージ、警報イベントの以前からの記憶された音声及び映像を含む。警報信号は、インターコムにより送信される。
【００６２】
［例２］
老人が家で暮らしている。システムは、家中に配置された複数のビデオ及び音声カメラを有する。これらのセンサを用いて、システムは、精神状態／健康状態クラス化器２９０により出力される一般化された負の健康クラス化信号の増加を引き起こす、人の活動レベルが低いことを、認識することができる。それは、また、関節炎病状状態に対応する確度レベルの増加を引き起こす、老人の臀部の関節炎のようなある病状の増大を、認識することができる。それは、また、負のムードを示す単語を用いた周期的に途切れたスピーチの老人の発話を検出する際に苛立ち感を認識するように訓練される。これにより、精神状態／健康状態クラス化器２９０により、悪いムードに対応するその出力信号に高い確度レベルが生成される。それは、また、異常な量の睡眠を認識し、精神状態／健康状態クラス化器２９０は、高い確度の落胆を示す。
【００６３】
［例３］
例２の物理的な構成（プログラミングを含む）が、本例に組み込まれる。認識されない顔が、位置のカメラの視野内に現れる。これにより、イベント／クラスプロセッサ２０７により、老人の家に見知らぬ人が侵入したことの指示が出力される。精神状態／健康状態クラス化器２９０は、音声クラス化器の叫び声の指示に応答して感情的な苦悩を指示する信号を出力する。出力発生器は、精神状態／健康状態クラス化器２９０及びイベント／クラスプロセッサ２０７の信号を結合し、警報信号を生成する。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施例による監視システムを支援できるハードウェアシステムの概略図である。
【図２】種々のモダリティの入力がどのようにしてフィルタ処理され本発明の幾つかの実施例に対応する警報信号が生成されるかを示す高レベル流れ図である。
【図３】本発明の一実施例による監視システムを実現するソフトウェアシステムの機能図である。
【図４】本発明の一実施例による警報信号の生成を示すフローチャートである。

Claims (16)

1. 断続的に監視が必要とされうる領域内の第１の人を監視する装置であって、
   監視領域内に位置する環境監視器から少なくとも１つの監視信号を受信するようにプログラムされたコントローラを含み、
   該監視信号は、画像データ、映像信号及び音声信号のうちの少なくとも１つを含み、
   前記コントローラは、該監視信号内で検出可能な身体的な病状及び精神状態の少なくとも一方に反応し、それに応じて警報信号を生成するようにプログラムされている、装置。
2. 前記コントローラは、複数の身体的な病状に対する各々の出力を生成するのに反応してネットワークモデルを構築するようにプログラムされている、請求項１記載の装置。
3. 少なくとも１つの監視信号は、前記第１の人の顔の画像を含む、請求項１記載の装置。
4. 前記少なくとも１つの監視信号は、発言を表わす音声信号を含み、前記コントローラは、該発言内の単語パターンを検出するようにプログラムされており、前記警報信号は、該単語パターンに応じるものである、請求項１記載の装置。
5. 前記コントローラは、前記人の通常の声と異常の声とを識別し、それに応じて前記警報信号を生成するようにプログラムされている、請求項１記載の装置。
6. 前記警報信号は、少なくとも警報条件の出現直前及び出現直後の前記監視信号の部分を含む、請求項１記載の装置。
7. 前記警報信号は、音声信号、文字データ信号及び映像信号の少なくとも１つを含む、請求項１記載の装置。
8. 前記領域は、前記人の居住空間である、請求項１記載の装置。
9. 不定期的に監視を要する人を監視する方法であって、
   前記人の精神状態及び健康状態の少なくとも一方を、映像、画像及び音声信号の少なくとも１つに反応してクラス分けするため、ネットワークモデルをプログラミングするステップと、
   前記ネットワークモデルを用いて、前記精神状態及び健康状態の少なくとも一方を示唆する第１の信号を生成して、クラス信号を生成するステップと、
   前記クラス信号を他のクラスデータと結合し、それに応じた警報条件を決定する決定ステップと、
   前記決定ステップの結果に基づいて、前記クラス信号に応じた信号を遠隔地にいる監視者に送信するステップとを含む、方法。
10. 信号を出力し、前記人から行動を引き出して、前記他のクラスデータを生成するステップを更に含む、請求項９記載の方法。
11. 家の中の個人を監視する方法であって、
    映像信号を受信するステップと、
    ある時間に亘って前記映像信号に応じた前記家の中の個人の動きのパターンを決定する決定ステップと、
    前記決定ステップの結果に基づいて前記動きのパターン内の異常を検出する検出ステップと、
    前記検出ステップの結果に基づいて警報信号を生成するステップとを含む、方法。
12. 一人で暮らす人を監視する方法であって、
    第１及び第２の信号を検出するステップと、
    前記第１及び第２の信号を各々のクラス化器にそれぞれ通し、イベントを検出するフィルタリングステップと、
    前記フィルタリングステップの結果に基づいて警報信号を生成するステップとを含む、方法。
13. 人の監視方法であって、
    前記人の環境内に起こるイベントであって、前記人の状態若しくは行動に応じた第１及び第２のイベントを検出して、第１及び第２の信号をそれぞれに生成するステップと、
    第１及び第２のイベントは、出現の時間以外の方法で区別されるものであり、
    ネットワーククラス化器に前記第１及び第２の信号を通すフィルタリングステップと、
    前記フィルタリングステップの結果に基づいてイベントを検出する検出ステップとを含む、方法。
14. 前記検出ステップの結果に基づいて警報信号を生成するステップを更に含む、請求項１３記載の方法。
15. 前記第１のイベントを検出するステップは、画像を捕捉し該画像を処理する処理ステップを含み、前記第１の信号は、前記処理ステップの結果に応じるものである、請求項１３記載の方法。
16. 家に住む監視されていない人を監視する方法であって、
    精神状態及び健康状態の一方を検出するため画像データをクラス化するクラス化ステップと、
    前記精神状態及び健康状態の一方を更に検出するため音声データをクラス化するクラス化ステップと、
    前記両クラス化ステップに基づいて警報状態をクラス化する第３クラス化ステップと、
    前記第３クラス化ステップに応じて警報信号を生成するステップとを含む、方法。

Images