JP2005004787A - 行動計測装置、電子的装置及び記録媒体 - Google Patents

Abstract

【課題】行動の習性を基に観測対象を容易に識別できる行動計測装置を提供する。
【解決手段】観測対象に発光手段により光を照射し、観測対象からの反射光を受光手段で受光することにより、各画素値が当該受光手段で受光された反射光の強度を示し、各画素値が示す反射光の強度により観測対象までの距離を表す距離画像を取得する距離画像取得手段と、行動を行っている予め定められた複数の観測対象のそれぞれについて、当該観測対象の距離画像から得られる当該観測対象までの距離、重心位置及び時間帯を含む、当該観測対象が当該行動を行っているときの行動の習性の特徴量を記憶する記憶手段とを有し、距離画像取得手段で取得された距離画像及びそのときの時刻から、記憶された複数の観測対象のうちのいずれかに対応する特徴量と類似する行動を検出することにより、観測対象を識別する。
【選択図】 図１０

Description

本発明は、距離画像を用いて、観測対象を識別する行動計測装置に関する。

高齢化社会といわれて久しいが、２０００年には６５歳以上が２，１７０万人、２０２０年には、３，２００万人となると言われている。しかも、２０２０年には、１，０００万件の独居老人世帯が存在すると予測されている。

独居老人世帯で心配なのは、風邪を引いたりして体が弱り、寝込んだりしていないか、脳卒中などで倒れたりしていないかといった健康状態である。介護の必要な高齢者に対しては、訪問看護婦の制度や、介護保険などケアが法制化されている。が、通常、健康である場合のケアに関しては、特別に制度化など検討されていない。

このような独居老人のケアをおこなうために、直通電話の設置や、保健婦などの定期訪問などを行っている自治体もある。が、直通電話は、脳卒中など発作を起こしたときには、使うことができないという問題がある。

病人や老人のケアを行う老人ホームやケアハウスなどでは、各人の健康管理を行うために、体温や血圧などの測定を行っている。が、十分な人手がなく、行動全般を管理することが出来ないという問題を抱えている。例えば、痴呆症の老人など、昼間グーグー寝ている。が、夜中に徘徊しているせいで、昼間寝ているのかどうかを確認したい。が、夜の行動を計測するところまでの人手がなく、原因究明ができないという問題がある。また、骨粗鬆症などで歩行が次第に困難になってきている。が、老人は痛みを比較的感じにくいので、本人から愁訴があったときには、かなり病状が進み、手後れになってしまっているなどの問題もある。

このような問題に対し、日ごろから、ホームやケアハウスにいる各老人の行動を観測し、平常状態と異なった状況になったときに、看護者に警告を発せられるようになれば、少ない人手で、充実したケアを実現出来る。

そこで、老人の日常行動を所定時間毎に取得して、その取得した画像を基に老人の行動計測を行い、その結果、脳卒中などの発作により倒れたりして、独居老人自身が連絡出来ないような異状事態を検知したら、介護センター等に通報する画像監視装置が用いられるようになった。

このような画像監視装置で用いられるＣＣＤカメラ等で取得された画像の画像認識では、例えば、人の動きをとらえたい場合には、顔や手の色が肌色なので、それ以外の背景などの余計な部分を取り除き、障害物となる物体など認識したい対象のみを切り出すという前処理を行う。そして、その処理後の画像を用いることで、人がどのあたりにいるかを推定し、前のフレームとの差分をとり、動いているかどうかを抽出している。

まず、この認識対象の切り出しという前処理部分について説明する。従来の手法では、カメラで撮影した画像から、取得したい対象物の部分のみを切り出す作業手段として、対象物と、それ以外の部分の何らかの相違点を手がかりとして対象物の切り出しが行われていた。

この手掛かりとして、色相の変化を利用する方法、差分画像を利用する方法などが用いられている。色を使って切り出す場合、色相差の大きな部分を抜き出し、細線化などの処理を行い、エッジを抽出する。人間を対象にする場合には、顔や手の部分の肌色に注目し、その色相部分のみを抽出しようとするものである。が、色相差を用いる方法は、照明の色や角度などにより、肌色といっても変化し、また、背景の色相が肌色に近いと、人間の肌色と識別するのが難しいなどの問題があり、定常的に切り出すことは困難である。また、照明が全くない状態では、撮像画像は全部暗くなってしまうので、人間でも暗闇で撮影した写真から物体を判別することは難しい。

あるいは、ビデオ画像のフレーム間の動きベクトルを算出し、動いている物体を解析する方式もある。この場合、動いている物体が少ないうちは問題ないが、動いている物体が多いと、動きベクトルの数が急に増え、フレーム間で動きベクトルを算出の負荷が増し、算出が追いつかなくなる。

また、上述のように、肌色を抽出するのでなく、例えば、ＣＣＤカメラなどで撮像した画像中にある布団などのしわをもとに、寝ている老人や病人の胸が呼吸するために動いているかどうかを検知することも行われている。

この場合、ＣＣＤカメラにて取得した画像に対し、画像処理を行い、しわの部分をエッジ処理により切り出す。この切り出したしわが変動することで、呼吸していることを検知している。が、この方法では、布団の表面がつるつるしていてしわができない材質であると、検出ができない。また、ＣＣＤカメラを使っているので、画像を取得するのに一定の光量が必要であり、夜間など無人で特に監視したいときの要求に応えられない、寝返りをうったりすると、大きく画像が変動し、対応出来ないなどの問題があった。

このように従来の画像処理による方法では、認識したい対象を切り出すことが難しい。

また、従来の画像処理ではＣＣＤカメラを使用するので、人間が目で見るのと同じ画像を用いることになる。が、例えば、家庭内で脳卒中などを起こす危険性が高いのは、浴室、その脱衣所、洗面所、トイレなどである。このような場所では、家庭内での他の場所に比べてもプライバシーを特に守りたい場所であり、ここに人間が直接目で見ることの出来る画像を撮像するＣＣＤカメラなどを設置することには、心理的に大きな抵抗があることが予想される。つまり、技術的にＣＣＤカメラにより画像を取得し、画像処理により計測することが可能になったとしても、ユーザ側から心理的に受け入れられず、実際の設置ができないという問題がある。

一方、コンピュータの低価格化により、ＴＶと合体した形など（情報家電）で、一般家庭に家電として普及することが真剣に考えられ始めている。例えば、ＴＶでインターネットのＷＷＷ（Ｗｏｒｄ Ｗｉｄｅ Ｗｅｂ）が見られるようなＷｅｂ ＴＶといわれる新しい商品が出てきている。さらに、放送業界もデジタル放送に向け、種々の技術の開発を行っている。これが実現すれば、ＴＶがＰＣと同様にデジタル情報を呈示出来るようになる（デジタルＴＶ）。

このような情報家電において、問題になるのが、表示文字サイズである。従来のＰＣでは、モニタの解像度があがるにつれ、相対的に表示される文字が小さくなり、どんどん多くの文字が表示されるようになってきている。が、これをそのまま例えば、デジタルＴＶに適用すると次のような問題が生じる。

ＰＣは一人が１台を占有して使っているので、表示に使う文字サイズやその他表示パラメータは、その占有者の好みに合わせて、設定しておけばよい。が、通常ＴＶは、居間などに１台おかれ、数人が共有して見るものである。デジタルＴＶとなっても通常のドラマや映画などは、複数人でみる形になる。したがって、複数人でＷｅｂなどの情報を共有してみることとなる。これに対し、昼間、主婦や老人など、家庭にいるユーザ（ここではかりに家庭人と呼ぶ）が、一人で画面を占有して、情報をみる場合もある。このような場合には、その家庭人が好む文字サイズや表示パラメータにして使いたい。が、現在のＰＣで行われているように、家庭人各人が使いはじめる前にログインネームとパスワードを指定して、各人の設定にするというような方法では、いちいち入力が面倒くさいという問題がある。

また、情報家電以外にも、例えばエアコンにあっては、そのエアコンの設置されている部屋にいる人によって設定したい温度がまちまちであるが、このような場合に、わざわざ設定温度を変える操作を行う必要なく、エアコン自体が、そのエアコンの設置されている部屋にいる人（人数、あるいは、各人を識別して、その識別された個人および個人の集まり）に応じて調整温度を変更することができれば便利である。

以上説明したように、従来の画像処理による行動計測では、人の動きなどをリアルタイムで確実に検出することが困難である。また、夜間など光量が不足して使用できないという問題がある。

さらに、上記のような問題が技術的に解決できたとしても、従来の画像処理で用いるＣＣＤカメラ等で撮像された画像は、人間が目に見ることのできるものなので、プライバシーを守りたい家庭内あるいは生活場所に設置することへの心理的な大きな抵抗がある。

また、ＴＶ、その他の情報家電を含む、特に家庭内で一般的に用いられる電気機器は、それを使用するユーザを識別して、そのユーザに合わせて、表示パラメータ等の詳細設定を容易に（ユーザに負担をかけることなく）行えることができないという問題点もある。

そこで、本発明は、上記問題点に鑑み、個人のプライバシーを守りながら人の実生活上の行動を環境条件に影響を受けずにリアルタイムで確実に計測でき、この行動の習性を基に人物を容易に識別することのできる行動計測装置を提供することを目的とする。

また、観測対象の行動を計測して、該観測対象を識別し、その識別された観測対象に応じて、家電等の予め定められた固有の機能を有する電子的装置を制御することのできる制御装置を提供することを目的とする。

さらに、上記制御装置を用いた予め定められた固有の機能を有する電子的装置を提供することを目的とする。

（１）本発明は、観測対象に発光手段により光を照射し、観測対象からの反射光を受光手段で受光することにより、各画素値が当該受光手段で受光された反射光の強度を示し、各画素値が示す反射光の強度により観測対象までの距離を表す距離画像を取得する距離画像取得手段と、行動を行っている予め定められた複数の観測対象のそれぞれについて、当該観測対象の前記距離画像から得られる当該観測対象までの距離、重心位置及び時間帯を含む、当該観測対象が前記行動を行っているときの行動の習性の特徴量を記憶する記憶手段と、前記距離画像取得手段で取得された距離画像及びそのときの時刻から、前記記憶手段で記憶された前記複数の観測対象のうちのいずれかに対応する特徴量と類似する行動を検出することにより、観測対象を認識する認識手段とを有する。

また、前記複数の観測対象のそれぞれについて、予め定められた固有の機能を有する電子的装置を当該観測対象の所望の状態に設定するための設定パラメータが登録されたテーブルを記憶する第２の記憶手段と、前記認識手段で認識された観測対象に対応する設定パラメータを前記テーブルから読みとって、前記電子的装置を当該観測対象の所望の状態に設定するために当該電子的装置へ出力する出力手段とをさらに有する。

（２）本発明の予め定められた固有の機能を有する電子的装置は、観測対象に発光手段により光を照射し、観測対象からの反射光を受光手段で受光することにより、各画素値が当該受光手段で受光された反射光の強度を示し、各画素値が示す反射光の強度により観測対象までの距離を表す距離画像を取得する距離画像取得手段と、行動を行っている予め定められた複数の観測対象のそれぞれについて、当該観測対象の前記距離画像から得られる当該観測対象までの距離、重心位置基及び時間帯を含む、当該観測対象が前記行動を行っているときの行動の習性の特徴量を記憶する第１の記憶手段と、前記距離画像取得手段で取得された距離画像から、前記第１の記憶手段で記憶された前記複数の観測対象のうちのいずれかに対応する特徴量と類似する行動を検出することにより、観測対象を認識する認識手段と、前記複数の観測対象のそれぞれについて、当該電子的装置を当該観測対象の所望の状態に設定するための設定パラメータが登録されたテーブルを第２の記憶手段と、前記認識手段で認識された観測対象に対応する設定パラメータを前記テーブルから読みとって、当該電子的装置を当該観測対象の所望の状態に設定する手段とを有する。

本発明によれば、個人のプライバシーを守りながら人の実生活上の行動を環境条件に影響を受けずにリアルタイムで確実に計測できる。また、行動の習性を基に観測対象を容易に識別することができる。

また、観測対象の行動を計測して、該観測対象を識別し、その識別された観測対象に応じて、家電等の予め定められた固有の機能を有する電子的装置を制御することができる。

以下、本発明の実施の形態について図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る行動計測装置の構成例を示したもので、例えば、老人の日常的な行動を観測して、例えば、当該観測対象が、いつ、どのような行動を行っているのかを計測するためのものである。

図１に示すように、本実施形態に係る行動計測装置は、反射光を受光し、距離画像を取得する、例えば特願平９−２９９６４８号に記載されている距離画像取得部１と、取得された距離画像を解析し、対象物の輪郭、重心の抽出や対象物までの距離の算出、対象物の移動速度、移動ベクトルの算出等を行う画像処理部２と、画像処理部２の解析結果と、当該距離画像の取得時刻とに基づき、当該対象物の行動を分析する行動分析部４と、行動分析部４の分析結果を記録する行動記録部５とから構成されている。

ここで、距離画像取得部１および、距離画像取得部１にて取得される距離画像について簡単に説明する。距離画像取得部１は、観測対象としての人物の行動を撮像するためのものである。この距離画像取得部１は、例えば、寝室、浴室、脱衣所等の当該観測対象者の行動範囲にある各所に１または複数設置されていることが望ましい。

距離画像取得部１の外観を図２に示す。中央部には円形レンズとその後部にあるエリアセンサ（図示せず）から構成される受光部１０３が配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するＬＥＤから構成される発光部１０１が複数個（例えば８個）等間隔に配置されている。

発光部１０１から照射された光が物体に反射され、受光部１０３のレンズにより集光され、レンズの後部にあるエリアセンサで受光される。エリアセンサは、例えば２５６×２５６のマトリックス状に配列されたセンサで、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。このようにして取得された画像が、図４に示すような反射光の強度分布としての距離画像である。

図３は、距離画像取得部１の構成例を示したもので、主に、発光部１０２、受光部１０３、反射光抽出部１０２、タイミング信号生成部１０４から構成される。

発光部１０１は、タイミング信号生成部１０４にて生成されたタイミング信号に従って時間的に強度変動する光を発光する。この光は発光部前方にある対象物体に照射される。

受光部１０３は、発光部１０１が発した光の対象物体による反射光の量を検出する。

反射光抽出部１０２は、受光部１０３にて受光された反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることができるので、以下、これを距離画像と呼ぶ。

受光部１０３は一般的に発光部１０１から発せられる光の対象物による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで、反射光抽出部１０２は発光部１０１が発光しているときに受光した光の量と、発光部１０１が発光していないときに受光した光の量の差をとることによって、発光部１０１からの光の対象物体による反射光成分だけを取り出す。

反射光抽出部１０２では、受光部１０３にて受光された反射光から、その強度分布、すなわち、図４に示すような距離画像を抽出する。

図４では、簡単のため、２５６×２５６画素の距離画像の一部である８×８画素の距離画像の場合について示している。

物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、距離画像１画素あたりの受光量は物体までの距離の２乗に反比例して小さくなる。

図４において、行列中のセルの値（画素値）は、取得した反射光の強さを２５６階調（８ビット）で示したものである。例えば、「２５５」の値があるセルは、距離画像取得部１に最も接近した状態、「０」の値があるセルは、距離画像取得部１から遠くにあり、反射光が距離画像取得部１にまで到達しないことを示している。

距離画像の各画素値は、その画素に対応する単位受光部で受光した反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などは、このような性質をもつため、距離画像取得部１の前方に手を差し出した場合の距離画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する図５に示したような３次元的なイメージを得ることができる。

次に、図７に示すフローチャートを参照して、図１に示すような構成の行動計測装置の処理動作について説明する。

まず、電源の投入あるいは動作の開始指示にて起動されると、以後の処理に用いる変数Ｉを「０」にセットするなどして、初期化処理を行う（ステップＳ１）。

その後、距離画像取得部１は、図２に示したような発光部１０１、受光部１０３を用いて、例えば、１秒間に１枚あるいは２枚程度の速度で距離画像を取得する（ステップＳ２）。図４に示すようなマトリックス形式の距離画像データは、画像処理部３に送られる。

画像処理部３では、距離画像取得部１から送られてきた距離画像データに対し、エッジ切り出し（撮像体の輪郭抽出）、重心抽出、面積算出、撮像物体までの距離の算出、動きベクトルの算出など、少なくとも撮像体の行動の特徴を表す情報を抽出するための種々の画像処理を行う（ステップＳ３）。

画像処理部３では、まず、画素値が予め定められた所定値以下のセルを除き、例えば、図６に示すような撮像された物体の輪郭情報を抽出する。

図６のような輪郭情報を抽出するには、隣り合う画素の画素値を比較し、画素値が一定値α以上のところだけに定数値を入れて、同じ定数値が割り振られた連続した画像領域の画素を抽出すればよい。

すなわち、マトリックス上の座標位置（ｉ、ｊ）にある画素値をＰ（ｉ、ｊ）とし、輪郭情報の画素値をＲ（ｉ、ｊ）とすると、
・｛Ｐ（ｉ、ｊ）−Ｐ（ｉ−１、ｊ）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ、ｊ−１）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ＋１、ｊ）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ、ｊ＋１）｝＞α
のとき、Ｒ（ｉ、ｊ）＝２５５
・ 上記以外のとき、Ｒ（ｉ、ｊ）＝０
とすることにより、図６のような物体の輪郭情報を得ることができる。

また、画像処理部３は、図６に示したような輪郭情報を基に、当該物体の重心を計算する。この重心位置と直前のフレームから抽出された重心位置とを比較して物体が動いているかどうかが判断できる。動いていると判断したときは、重心の変化量と変化方向とを表す動きベクトルを算出する。また、重心位置のみに限らず、連続する距離画像のそれぞれから抽出された輪郭情報を互いに比較しあって、輪郭上の任意の点の動きベクトルを求めてもよい。

輪郭の抽出された物体までの距離ｄの算定は、当該物体の重心位置近傍の画像の代表画素値を求める。代表画素値としては、平均値、最近傍値などいくつかあるが、ここでは、最近傍値を使うとする。当該物体からの反射光の強さは物体までの距離の２乗に反比例して小さくなる。すなわち、当該物体の画像の代表画素値をＱ（ｉ、ｊ）とすると、
Ｑ（ｉ、ｊ）＝Ｋ／ｄ^２ …（１）
と表すことができる。

ここで、Ｋは、例えば、ｄ＝０．５ｍのときに、画素値Ｒ（ｉ、ｊ）の値が「２５５」になるように調整された係数である。式（１）をｄについて解くことで、距離値ｄを求めることができる。

なお、距離画像からは撮像体までの距離が読みとれるという特徴から、距離画像取得部１で連続して取得された一連の距離画像のそれぞれから抽出された撮像体の輪郭情報（輪郭情報全体、あるいは輪郭情報から求まる重心位置）を比較して得られる動きベクトルから、当該撮像体の近づき方（歩行時の歩幅、よたつき方等）等も判別できる。

次に、行動分析部４は、画像処理部３が解析した結果に基づいて、観測対象の人物の行動を分析する。その際、例えば、図８に示すようなテーブルを参照する。

図８は、行動分析部４に記憶されている、観測対象の人物の行動を識別するための規則の一例を示したもので、例えば、観測対象の人物の徘徊時間や起床時間、就床時間などを計測するときに用いる、起床、就床の各行動時における特徴パターンである。識別すべき行動を適当な段階に分けて、その各段階における特徴パターン（少なくとも当該観測対象の人物の当該行動時の特徴が表現されている情報（特徴量）であればよく、例えば、予め距離画像取得部１で取得した、当該行動時の代表的な距離画像から抽出された輪郭情報や、動きベクトル、当該観測対象の人物までの距離等である。）を当該観測すべき行動を識別するための規則としている。なお、図８では、各段階の特徴パターンとして、距離画像から抽出された輪郭情報（イメージ）を用いているものとする。

図８において、「起床」したかどうかを分析するための特徴パターンは、大きく３つの段階から構成されている。第１の段階は、起床する前にベッドに横になっている状態で、その状態を表す特徴量として、輪郭情報（イメージ）が登録されている。

第２の段階は、「起きあがる」状態で、ベッド上に人が起きあがり座っている状態の輪郭情報を、その状態を表す特徴量として登録されている。

第３の段階は、観測対象の人物がベッドからおりて「ベッドが空である」状態で、ベッドに人が横になっていない状態の輪郭情報を、その状態を表す特徴量として登録されている。

以上３つの段階が順次観測されたとき、ベッドで横になっていた人が、ベッドの上で起きあがり、その後、ベッドを後にしたという行動、すなわち、「起床」という行動が識別できたことになる。

第２の規則「就床」に関しては、上記第１の規則「起床」を逆にしたものである。

行動分析部４は、距離画像取得部１で取得される距離画像から抽出された観測対象の人物の輪郭情報、動きベクトル情報等の特徴量と、図８に示したような各行動の特徴パターンとを照らし合わせて、観測対象の人物の行動を識別する。

図８に示したような行動を識別するため、距離画像取得部１は、ベッド脇に据え付けられており、丁度、ベッドとそこに横になっている人を横からとらえるようになっている。行動分析部４は、図８に示したようなテーブルに、このような距離画像取得部１で取得された距離画像から抽出された輪郭情報等と一致する特徴パターンを検出すると、当該一致した特徴パターンに対応する行動、すなわち、例えば、「横になっている」という識別結果とそのときの時刻とを、行動分析部４に具備されている一時記憶用バッファメモリに記憶する。さらに、一致したパターンの数を計数するためのカウンタ変数Ｉを「１」だけインクリメントする（ステップＳ４〜ステップＳ６）。

続いて、距離画像取得部１で距離画像を取得し、画像処理部３で輪郭情報等の抽出を行い、上記同様図８に示したような特徴パターンと照合し、一致する特徴パターンがあれば、その特徴パターンに対応する行動、例えば、「起きあがる」という識別結果とそのときの時刻とを一時記憶用バッファメモリに記憶するとともに、カウンタ変数Ｉの値を「１」インクリメントする。その際、既に一時記憶用バッファメモリに前回に取得された距離画像から抽出された輪郭情報等と一致した特徴パターンに対応する行動の識別結果が記憶されているときは、その行動（例えば、この場合、「起床」「就床」）を識別するための特徴パターンを検索範囲として、今回抽出された輪郭情報等に一致するものを検索するようにする。従って、今回抽出された輪郭情報等に一致する特徴パターンを含まない行動は次回の検索範囲から省かれる。このようにすれば、一致する特徴パターンが検出される度に、観測対象の行動が絞られていき、常に観測中の行動に即した特徴パターンのみが検索されるので処理時間を短縮することができる。

さて、当該観測中の行動に含まれる全ての特徴パターンが検出されるまで、上記ステップＳ２〜ステップＳ６を繰り返す（ステップＳ７）。

そして、取得した距離画像から当該観測中の行動に含まれる全ての特徴パターンが検出されたとき、当該観測対象の人物の行動が識別されたことになる。このとき、行動分析部４の一時記憶用バッファメモリに記憶されている当該観測中の行動（識別された行動）と、そのときの時刻と、当該行動の識別された距離画像（画像処理部３で当該距離画像から抽出された特徴量でもよい）とを行動記録部５に記録する（ステップＳ８）。

なお、カウンタ変数の値が所定値α（例えば、「３」）以上であるのに、全ての特徴パターンが一致する行動が検出できないときは（ステップＳ９）、ステップＳ１に戻る。

上記第１の実施形態によれば、観測対象の人物の夜間徘徊を検知したい場合には、夜間の起床時刻と、就床時刻を計測することで、徘徊時間を無人で計測できる。つまり、従来であれば、夜間、特定の患者の行動を観察する人手がなく、徘徊の有無を確認することができなかったのが、上記行動計測装置を用いれば無人で行える。徘徊していることがわかれば、夜間の徘徊に備えた処置を講じることができる。

また、上記第１の実施形態では、夜間の徘徊の有無を計測する例について述べているが、必ずしも、これに限定されるものではない。距離画像取得部１で取得される距離画像は、図５に示したように、撮像体は不鮮明なものであり、プライバシーを犯さない特殊な画像である。冬期の夜間など、入浴や排尿などの際、高血圧の症状のある高齢者が、急激な温度変化により、脳卒中などを起こす例がある。裸になる浴室や脱衣所、洗面所に、プライバシーの問題から、従来からあるＣＣＤカメラを設置することは事実上困難である。が、本発明の行動計測装置であれば、裸になっている詳細などがみえない反射光画像なので、プライバシーの問題なく、設置することが可能である。老人ホームなど多くの高齢者が集合して居住する場所だけでなく、独居老人の住居に設置することも可能である。

以上、上記第１の実施形態によれば、プライバシーを侵すことなく、かつ無人でも、夜間の徘徊などの行動を計測できるので、老人ホームなど高齢者などのケアに大いに役に立つ。

なお、上記第１の実施形態では、観測対象の人物に対し、１台の行動計測装置を設置して、その行動を計測することを仮定しているが、必ずしもこれに限定するものではない。

例えば、１台の行動計測装置で複数のベッドをまとめて計測することも可能である。画像取得部１を複数のベット全体の画像を取得できる位置に設置しておき、画像取得部１で取得される距離画像からは撮像対象までの距離情報をも抽出できることを用いれば、各ベットまでの距離に応じて画素値の違いと撮像対象の大きさが異なるので、図８に示したような特徴パターンは、各ベットまでの距離に応じた画像サイズのものを用いれば、どのベットであるかを識別して、各ベット毎に人物の行動を計測することができる。

また、１台で複数の人物の行動を計測する場合、距離以外にも、例えば、音声などを用いて個人認証を行う個人認証部をさらに具備していてもよい。例えば、複数のベットの置かれている部屋にマイクを設置し、各ベットに寝ている人物の声紋を個人認証部に予め登録しておく。マイクにて音声が収集されると、その音声の声紋と登録されている声紋とを照合し、どのベットに寝ている人物であるかを特定する。そして、距離画像取得部１で取得された距離画像中の当該特定されたベットの画像部分に対し行動計測（画像処理および行動分析）を行うようにしてもよい。

さらに、図９に示すように、異常検知部６と警告部７とをさらに具備し、異常検知部６で行動記録部５が記録する行動を比較することで、異常事態を検知して、異常事態を検知したときは警告部７で警告を発するようにしてもよい。

異常検知部６は、周期的な行動の周期の乱れ（歩行時の歩幅や就寝時の胸の上下、定例的な徘徊動作などの変更）、あるいは、一連の行動の停止（就寝時の胸の上下の停止、定例的な徘徊動作、脱衣動作などの停止）を検知する。

家庭における入浴などは家庭人各々により差はあるが、各人においては、行動は周期的なものである。その周期の乱れ、例えば、歩行の際の足の繰り出しの異常な遅れや、行動の停止、例えば、脱衣中に急に行動がとまるなどを手掛かりに異状事態を検出できる。

例えば、行動分析部４の図８に示したようなテーブルに登録された、当該観測対象者の歩行時、就寝時、脱衣動作等の各行動時における特徴パターンと距離画像取得部１で取得された距離画像から抽出された輪郭情報、動きベクトル等の特徴量から行動分析部４にて上記各行動が識別できたときは、前述したように、行動記録部５に、識別された行動とそのときの距離画像（当該距離画像そのもの、あるいは、当該距離画像から抽出された観測対象の特徴量であってもよい）と時刻とが記録される。異常検知部６では、行動記録部５に記録された距離画像あるいはその特徴量どうしを比較して、あるいは、行動記録部５に記録された距離画像の特徴量を異常検知部６に予め登録されている異常状態の特徴量と比較して、あるいは、行動記録部５に記録されている各行動の検知された時刻を比較して、異常状態を検知する。

検知した結果は、情報管理部２を経て、警告部７より出力する。例えば、病院等で、図９の行動計測装置にて観測されている人物について、行動記録部５に「起床」という行動が記録されたとする。異常検知部６は、その検知時刻が記録されてから、「就床」という行動が記録されるまでの時間を監視し、当該人物が通常１時間程度の徘徊で戻ってくるはずが２時間経っても戻ってこない場合、「通常、１時間で戻ってきますが、すでに２時間経過していますが、戻ってきません」といったような警告のメッセージをナースセンタの管理モニタに出力する。

また、独居老人宅の脱衣所などに図９の行動計測装置を設置した場合には、例えば、脱衣所に入る→脱衣する→入浴する→着衣する→脱衣所からでるという一連の行動のうち、どこかでとぎれたことを検知したら、「入浴中に問題があったようです」といった警告を、無線などで、ナースセンタなど、ケアの契約を行っているところに知らせることも可能である。

例えば、行動分析部４の図８に示したようなテーブルに登録された、当該観測対象者の「脱衣所に入る」時、脱衣時、入浴時、着衣時、「脱衣所から出る」時の各行動時における特徴パターンと、距離画像取得部１で取得された距離画像から抽出された輪郭情報、動きベクトル等から、行動分析部４にて上記各行動が識別できたときは、前述したように、行動記録部５に、識別された行動とそのときの距離画像（当該距離画像そのもの、あるいは、当該距離画像から抽出された観測対象の特徴量であってもよい）と、その行動の検知時刻とが記録される。異常検知部６は、行動記録部５に記録された行動順序、あるいは、１つの行動が検知されてから後続の行動が検知されるまでの時間間隔を監視することで、当該人物の異常状態を検知することができる。

（第２の実施形態）
ケーブルテレビ放送やデジタル放送など１台のＴＶにて選択できる番組は、１００件以上になろうとしている。このようなＴＶ番組の選択をおこなうインタフェースとして種々のＥＰＧ（電子プログラムガイド）が開発されている。

が、実際には、検索してどの番組をみるかを毎日決定するということは、ほとんど行わない。多くの場合、たとえば、「夜７：００からＸＸチャンネルでニュースをみる」とか、「土曜日の夜１０：００からは歌番組をみる」というように、習慣的にみる番組は決まっている。このように定常的にみる番組は、ＥＰＧでは、ブックマーク（しおりをはさむことに相当）することができる。が、例えば家族内で複数の人物でＴＶを共有している場合には、ブックマークも数多くなり、それを選択する操作は、特に高齢者などによっては、煩雑で使いにくいものである。

そこで、本発明の第２の実施形態では、このような問題を解決するために、例えば、家族の中の誰がＴＶをみようとしているかを、その行動から識別するための行動計測装置について説明する。さらに、このような行動計測装置にて識別された個人、あるいは、複数の個人から構成されるグループに応じて、チャンネル設定、音量設定等の詳細設定が行えるＴＶ等の主に家庭内で使われるような電化製品（家電）を含む、それぞれ固有の機能を有する電子的装置について説明する。

図１０は、第２の実施形態に係る行動計測装置の構成例を示したものである。なお、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図１０では、さらに、行動記録部５に記録された当該距離画像から抽出された行動の習性の特徴量からテンプレートを作成する学習部８と、この学習部８で作成されたテンプレートに基づき、距離画像取得部１で取得された距離画像に撮像されている人物を識別する（学習部８で作成されたテンプレートから当該人物の習性と一致するものを検索する）識別部９が追加されている。

以下、ＴＶを制御する（チャネル設定、音量設定等）ための制御装置としての行動計測装置の場合を例にとり説明する。

行動分析部４では、例えば、距離画像取得部１で取得された距離画像から、距離画像取得範囲内に人物が侵入あるいは存在するか否かを判断する。そのため、行動分析部４の図８に示したようなテーブルには、距離画像取得範囲内に人物が侵入あるいは存在しているときの特徴パターンが予め登録されている。当該テーブルを参照して、距離画像取得部１で取得された画像から抽出された輪郭情報に距離画像取得範囲内に人物が侵入あるいは存在することが検知できたときは、以後、距離画像取得部１で取得された距離画像および画像処理部３で当該距離画像から抽出された特徴量（当該人物の輪郭情報と重心、当該人物までの距離等）に基づき習性の特徴量を算出し、この習性の特徴量と当該距離画像の取得されたときの時刻等を行動記録部５に記録していく。その際、行動分析部４は、距離画像取得範囲に侵入あるいは存在する人物が、例えば、垂直に立ってＴＶ画面を正面から見ているのか、座って見ているのか、寝転がってみているのかを検知するようにしてもよい。そのため、行動分析部４の図８に示したようなテーブルには、これら各行動の特徴パターンが予め登録されている。当該テーブルを参照して、距離画像取得部１で取得された画像から抽出された輪郭情報に距離画像取得範囲内に侵入あるいは存在する人物がどんな行動をとっているか、すなわち、「立っている」「座っている」「寝転がっている」のうちどの行動であるかが検知できたときは、その旨と検知されたときの時刻とを行動記録部５に記録する。

図１１は、学習部８に記憶される、例えば、家庭内等の各個人毎の行動の習性のテンプレートの一例を示している。

テンプレートは、距離画像取得部１で取得した距離画像を分析して得られる特性を用いて作成される点が、従来の学習方法と大きく異なっている。すなわち、距離画像からは撮像体までの距離、撮像体の奥行き情報等が読みとれるため、各個人の習性の特徴をより詳細に捉えることができる。

図１１には、個人の習性の特徴量として、ＴＶ画面を基準とした人物の位置（体位置）、方向（体方向）、顔位置、顔方向、当該人物のＴＶを見る時間帯、動く速度を学習する場合を示している。

体位置は、図１２（ａ）に示すように、ＴＶ画面を基準にした、その習性を学習する対象者までの距離を用いることにする。距離画像取得部１は、距離そのものが取得できるので、距離画像取得部１の画像取得範囲の方向がＴＶ画面の法線方向に一致する位置にあるのならば、画像処理部３で抽出された距離値をそのまま、体位置として用いる。もし、距離画像取得部１の画像取得範囲の方向がＴＶ画面の法線方向からずれていれば、そのずれ位置をオフセット値として、
体位置＝取得距離＋オフセット値
のような簡単な式で、体位置を取得できる（距離画像取得部１がＴＶ画面より後方にある場合には、オフセット値は正、前方にある場合には、オフセット値は負になる）。この例では、単位は「ｃｍ」である。

体方向は、ＴＶ画面の法線に対する対象者の体（体面）がなす角度である。ここで図１３を参照して説明する。図１３は、対象者の体面（もともと長方形であるとする）を模式的に示した距離画像の一例である。対象者の体がＴＶ画面の法線に対して斜交していれば、元の体面が長方形であるとすると、図１３に示すように、距離画像取得部１にて取得される距離画像に写る対象者の対面ｍ１は、平行四辺形になる。この平行四辺形の重心を求める（画像処理部３にて抽出される）。この重心を含むＴＶ画面に平行する面ｍ２と体面ｍ１との交線をｌ１とする。重心から平行四辺形の体面ｍ１の最も手前にある（ＴＶ画面に対し最も近くにある）縦の一辺ｌ２に対し垂線をひき、その交点をｐ１とする。一方、重心から体面ｍ１の最も後方にある（ＴＶ画面に対し最も遠くにある）縦の一辺ｌ３へ垂線をひき、その交点をｐ２とする。重心位置にある画素値と交点ｐ１にある画素値との差よりその間の距離を求める。また、重心位置にある画素値と交点ｐ２にある画素値との差よりその間の距離を求める。交点ｐ１とｐ２との間の距離を求める。交点ｐ１とｐ２との間の距離に対応する体面ｍ１のＴＶ画面の法線となす角度（体方向）は予め統計的に求めておき、その対応テーブルを所定のメモリに記憶しているものとする。このテーブルを参照して、先に求めた交点ｐ１とｐ２との間の距離に対応する体方向を読み取る。なお、体方向の単位は度である。なお、以上の全ての算出処理を画像処理部３で行ってもよいし、その一部を行動分析部４にて行うようにしてもよい。

顔位置は、図１４に示すように、対象者の顔の床面からの高さである。なお、顔位置には、図１４（ａ）に示すように、対象者が床に座ってみる場合には、座高に近い値になる。また、図１４（ｂ）に示すように、寝転がってみる場合もある。顔位置の単位は、例えば「ｃｍ」である。

顔方向は、図１２に示すように、人が垂直に立ってＴＶ画面を正面から見ているときの顔の方向を顔基準線としたときに、横にどれだけ傾いているかを示すものである。図１４（ａ）のように、座ってみている場合には、顔方向は０度であるが、図１４（ｂ）のように、寝転がってみる場合には、−９０度になる。単位は度である。

なお、距離画像から人物の体部分と顔部分を判別するには、例えば、行動分析部４に、体部分と頭部分との接続位置と体部分の形状と頭部分の形状の特徴パターンを登録しておき、これと距離画像から抽出された輪郭情報を照合することにより判別できる。

時間帯は、この学習対象者を主として観察する時間帯で、距離画像取得部１が画像を取得する範囲内に、当該学習対象者がいる時間帯になるので、学習対象者がＴＶをみる時間帯と一致する。これは、行動分析部４にて距離画像取得範囲内に人物が侵入したことが検知できたときに行動記録部５に記録された時刻を用いる。

速度は、学習対象者が距離画像取得部１の画像取得範囲内を移動するときの速度である。つまり、ゆっくり歩くか、せかせかと歩くかを示す。この場合、速度の単位は、「ｃｍ／秒」である。距離画像の取得間隔は、例えば１秒あるいは２秒に１枚と予め定められているので、任意の２枚の距離画像のそれぞれから抽出された対象人物の重心位置までの距離の変化量を、その２枚の距離画像を取得するまでの時間間隔で除算すれば求めることができる。

このようなテンプレートを作成する上で必要な個人の行動の習性の特徴量は、例えば、行動分析部４にて算出され、行動記録部５に記録されるとする。

なお、行動分析部４にて算出すべき習性の特徴量の種類は、制御対象である電子的装置により異なる。

学習部８では、行動記録部５記録された習性の特徴量に基づき、図１１に示すような、例えば、体位置、体方向、顔位置、顔方向、時間帯、速度といった複数の習性の特徴量からなる１人の学習対象に対応する習性を表したテンプレートを作成する。そして、その１つ１つのテンプレートに、それぞれを識別するために、図１１に示すように、「個人Ａ」、「個人Ｂ」などのように、ラベリングする。

例えば、「個人Ａ」とラベリングされたテンプレートでは、顔位置が３０ｃｍで、体位置が４０ｃｍなので、ＴＶの画面近くで、寝転がってみるという習性がある人物を示している。同様に、「個人Ｂ」とラベリングされたテンプレートでは、顔位置が１００ｃｍで、体位置が１３０ｃｍなので、ＴＶから適正な距離で座ってみる習性がある人物を示している。

テンプレートを作成するための習性の特徴量の算出は、距離画像取得部１で取得された距離画像から、距離画像取得範囲内に人物の侵入或いは存在が検知されたときに行われる。例えば、算出された特徴量の値と、すでにテンプレートに登録されている当該特徴量の値（学習値）との差が予め定められた範囲より大きいとき、学習部８は新たな学習対象者の習性を表すテンプレートとして新規登録していく。

なお、図１０に示す行動観測装置は、例えば、本実施形態の場合、この行動計測装置にて制御されるＴＶが起動されたときに、それに連動して起動されるものであってもよい。

識別部９は、前述したように行動分析部４で求められた習性の特徴量と、学習部８に登録されている図１１に示したようなテンプレートとを比較して、現在、距離画像取得部１で取得された距離画像に撮像されている人物の習性の特徴量とほぼ一致するものを検索する。

例えば、図１１に示すテンプレートには、２名分のテンプレートしかないので、この２つのうち、どちらにより近いかを、例えば、次式（１）に示すような評価式で評価し、この評価値の小さい方のテンプレートとマッチしたと判定することになる。

式（２）で表される評価値は、体位置、体方向などの個々の特徴量ｉに関して、取得した値と学習値（テンプレート上の値）との差をとり、それを正規化のため、学習値で除算し、絶対値をとったものの合計値である。

式（２）の評価式では、どの特徴量も同等の重みであるが、この場合に限らず、例えば、次式（３）に示すように、より個性を反映する傾向の強い特徴量の値をより評価式に反映させるため、各特徴量ｉ毎に予め重み計数ｗｉを定め、個々の特徴量ｉに関して、取得した値と学習値（テンプレート上の値）との差をとって学習値で除算したものに重み計数ｗｉを乗算して絶対値をとったものを全ての特徴量ｉについて合計するようにてもよい。

識別部９にて、上記評価式を用いて、現在、距離画像取得部１で取得された距離画像に撮像されている人物の習性の特徴量とほぼ一致するテンプレートが検索できたときは、そのテンプレートに対応するラベル（例えば、「個人Ａ」）を情報管理部２へ出力する。

以上説明した観測対象を識別するための行動計測装置を実際にＴＶ、エアコン等の電子的装置の制御装置として用いる場合の全体の構成例を図１５に示す。例えば、行動計測装置にてエアコンを制御する場合、行動計測装置にて、部屋への入り方の習性の特徴を表したテンプレートを基に、距離画像から抽出された人物の習性の特徴量が、どのラベルの付されたテンプレートに対応するかを識別したら、その識別結果から当該エアコンは、その人に最適な室温や湿度となるように環境設定する。また、例えば、ＴＶを制御する場合、行動計測装置にて、ＴＶをみようと座る（あるいは、寝ころんだ）ときの習性の特徴量を表した図１１に示したようなテンプレートを基に、距離画像から抽出された人物の習性の特徴量が、どのラベルの付されたテンプレートであるかを識別したら、その識別結果から当該ＴＶは、その人が普段みる番組にチャネルを変更して、電源をいれるなどの使用時の初期設定を自動的に行う。

以下、電子的装置がＴＶである場合を例にとり説明する。図１５に示すように、ＴＶ１１は、情報管理部２に接続されている。

識別部９の識別結果に対応したＴＶ１１のパラメータは、パラメータ設定テーブル１０に予め登録されている。パラメータ設定テーブル１０は、例えば、図１６に示すように、学習部８にてテンプレートを管理する際に用いるラベルを用いて、チャネル番号、音量等のＴＶのパラメータを管理している。すなわち、「個人Ａ」というラベルに対しては、チャネル番号が「１１」で、音量の調整値が「大」と登録されている。

パラメータ設定テーブル１０への登録方法は、予めユーザが登録するようにしてもよい。また、例えば「個人Ａ」というラベルにて識別されている人物によりＴＶ１１に設定されたチャネル番号や音量等を読み取って、それを登録するようにしてもよい。

情報管理部２は、識別部９から出力されたラベルに対応するパラメータをパラメータ設定テーブル１０から読み取ると、それをパラメータ出力部１２を介してＴＶ１１へ出力する。

パラメータ出力部１２は、例えばＩｒＤＡ等の無線通信、ＩＥＥ１３９４等の有線通信を行って、あるいは、ＴＶ１１が予め備えている通信手段を用いて、ＴＶ１１へパラメータを出力する。

ＴＶ１１は、例えば、図１７に示す構成のもので、パラメータ入力部２１にてパラメータ出力部２１との間で無線通信あるいは有線通信を行ってパラメータを受け取ると、それをもとに、ＴＶ本来の固有の機能部２２を制御して、チャネル設定や音量調節等を行う。

次に、図１８に示すフローチャートを参照して、図１５の行動計測装置（制御装置）の処理動作の概略を説明する。

まず、距離画像取得部１は、図２に示したような発光部１０１、受光部１０３を用いて、例えば、１秒間に１枚あるいは２枚程度の速度で距離画像を取得する（ステップＳ２１）。図４に示すようなマトリックス形式の距離画像データは、画像処理部３に送られる。

画像処理部３では、距離画像取得部１から送られてきた距離画像データに対し、エッジ切り出し（撮像体の輪郭抽出）、重心抽出、面積算出、撮像物体までの距離の算出、動きベクトルの算出など種々の画像処理を行う（ステップＳ２２）。

行動分析部４では、画像処理部３の画像処理結果を基に、行動の習性の特徴量を算出し、行動記録部５に記録していく（ステップＳ２３）。

学習部８は、行動記録部５に記録された習性の特徴量に基づき、新たな学習対象者の習性の特徴量であれば、それに対応するテンプレートを作成する（ステップＳ２４）。

一方、識別部９は、行動分析部４で算出された習性の特徴量と、学習部８にすでに登録されている図１１に示したようなテンプレートとを比較して、現在、距離画像取得部１で取得された距離画像に撮像されている人物の習性の特徴量とほぼ一致するものを検索する。識別部９にて、例えば、式（２）、式（３）に示したような評価式を用いて、現在、距離画像取得部１で取得された距離画像に撮像されている人物の習性の特徴量とほぼ一致するテンプレートが検索できたときは、そのテンプレートに対応するラベル（例えば、「個人Ａ」）を情報管理部２へ出力する（ステップＳ２５）。

情報管理部２は、識別部９から受け取ったラベルに対応するＴＶのパラメータをパラメータ設定テーブル１０から読み取り（ステップＳ２６）、パラメータ出力部１２を介してＴＶ１１へ出力する（ステップＳ２７）。

ＴＶ１１は、当該パラメータを受け取ると、それをもとに、ＴＶ本来の固有の機能部２２を制御して、チャネル設定や音量調節等を行う。

以上説明したように、上記第２の実施形態によれば、単に、日常の行動をするだけで、例えば、家族の中の個人が識別されるので、オフィスなどで、パスワードを用いて行われているようなセキュリティシステムを、手間なく、家庭に導入することを可能とするので、家電情報処理などに大きく貢献するものである。

なお、図１５では、行動計測装置が制御する電子的装置が１台のみの場合を示したが、複数の電子的装置を制御することも可能である。この場合、複数の電子的装置のそれぞれに対応したパラメータ設定テーブルを具備すればよい。

図１５では、行動計測装置と電子的装置とが別個独立した装置である場合を示したが、この場合に限らず、ＴＶ、エアコン等の電子的装置が行動計測装置の全ての構成部を具備した一体型の電子的装置であってもよい。この場合の電子的装置の構成例は、図１５と同様である。また、電子的装置が行動計測装置の一部の構成部のみを具備するものであってもよい。例えば、距離画像取得部１以外の全ての構成部を具備する、あるいは、電子的装置の固有の機能に依存する構成部（例えば、パラメータ設定テーブル１０）のみを具備するものであってもよい。この場合においても上記説明は同様に当てはまる。

さらに、上記第２の実施形態では、パラメータ設定テーブル１０には、１つのラベルに対しパラメータが１組登録されているものであったが、この場合に限らず、複数のラベルに対し、１組のパラメータが登録されていてもよい。この場合、識別部９にて、１枚の距離画像から複数の個人が同時に識別されたとき、例えば、「個人Ａ」と「個人Ｂ」とが同時識別されたとき、それに対応したパラメータが読み出されて、ＴＶ１１が制御される。

なお、図１、図９、図１０の行動計測装置の構成において画像取得部１を除く各構成部の処理動作はコンピュータに実行させることのできるプログラムとして、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ、半導体メモリなどの記録媒体に格納して頒布することもできる。

以上説明したように、本発明の行動計測方法およびそれを用いた行動計測装置（第１の実施形態）によれば、環境条件に影響を受けずにリアルタイムで確実に観測対象の行動を計測できる。また、処理対処が距離画像であるので、観測対象のプライバシーを侵すことがない。

また、本発明の行動計測方法およびそれを用いた行動計測装置（第２の実施形態）によれば、日常生活等における行動を計測するだけで、容易に個人を識別することができる。

また、本発明の行動計測装置を用いた制御装置（第２の実施形態）によれば、日常生活等における行動を計測するだけで、容易に個人を識別することができ、その識別された観測対象に応じて、例えば、表示文字サイズ、よくみるチャンネル設定、Ｗｓｂのホームページなどが自動的に設定できるので、ユーザが当該電子的装置に行うべき面倒な設定を行う必要がなくなる。

また、本発明の行動計測装置を用いた、予め定められた固有の機能を有する電子的装置は、日常生活等における行動を計測するだけで、容易に個人を識別することができ、その識別された観測対象に応じて、例えば、表示文字サイズ、よくみるチャンネル設定、Ｗｓｂのホームページなどが自動的に設定できるので、ユーザが当該電子的装置に行うべき面倒な設定を行う必要がなくなる。

本発明の第１の実施形態に係る行動計測装置の構成例を示した図。 距離画像取得部の外観の一例を示した図。 距離画像取得部の構成例を示した図。 反射光の強度を画素値とする距離画像の一例を示した図。 図３に示した様なマトリックス形式の距離画像を３次元的な表した図。 距離画像から抽出された物体の輪郭画像の一例を示した図。 図１の行動計測装置の処理動作を説明するためのフローチャート。 観測対象の人物の行動を識別するための行動分析部に記憶されてる特徴パターンの一例を示した図。 行動計測装置の他の構成例を示した図。 本発明の第２の実施形態に係る行動計測装置の構成例を示した図。 図１の学習部で作成されるテンプレートの一例を示した図。 観測対象を識別するための行動の習性の特徴量の１例である体位置の算出方法について説明するための図。 観測対象を識別するための行動の習性の特徴量の１例である体方向の算出方法について説明するための図。 観測対象を識別するための行動の習性の特徴量の１例である顔位置の算出方法について説明するための図。 図１０に示した観測対象を識別するための行動計測装置を実際にＴＶ、エアコン等の電子的装置の制御装置として用いる場合の全体の構成例を示した図。 パラメータ設定テーブルの一例を示した図。 図１５の電子的装置の概略的な構成例を示した図。 図１５の行動計測装置（制御装置）の処理動作を説明するためのフローチャート。

符号の説明

１…距離画像取得部
２…情報管理部
３…画像処理部
４…行動分析部
５…行動記録部
６…異常検知部
７…警報部
８…学習部
９…識別部
１０…パラメータ設定テーブル
１１…ＴＶ（電子的装置）
１２…パラメータ出力部

Claims (4)

1. 観測対象に発光手段により光を照射し、観測対象からの反射光を受光手段で受光することにより、各画素値が当該受光手段で受光された反射光の強度を示し、各画素値が示す反射光の強度により観測対象までの距離を表す距離画像を取得する距離画像取得手段と、
   行動を行っている予め定められた複数の観測対象のそれぞれについて、当該観測対象の前記距離画像から得られる当該観測対象までの距離、重心位置及び時間帯を含む、当該観測対象が前記行動を行っているときの行動の習性の特徴量を記憶する記憶手段と、
   前記距離画像取得手段で取得された距離画像及びそのときの時刻から、前記記憶手段で記憶された前記複数の観測対象のうちのいずれかに対応する特徴量と類似する行動を検出することにより、観測対象を認識する認識手段と、
   を具備したことを特徴とする行動観測装置。
2. 前記複数の観測対象のそれぞれについて、予め定められた固有の機能を有する電子的装置を当該観測対象の所望の状態に設定するための設定パラメータが登録されたテーブルを記憶する第２の記憶手段と、
   前記認識手段で認識された観測対象に対応する設定パラメータを前記テーブルから読みとって、前記電子的装置を当該観測対象の所望の状態に設定するために当該電子的装置へ出力する出力手段と、
   をさらに具備したことを特徴とする請求項１記載の行動観測装置。
3. 予め定められた固有の機能を有する電子的装置であって、
   観測対象に発光手段により光を照射し、観測対象からの反射光を受光手段で受光することにより、各画素値が当該受光手段で受光された反射光の強度を示し、各画素値が示す反射光の強度により観測対象までの距離を表す距離画像を取得する距離画像取得手段と、
   行動を行っている予め定められた複数の観測対象のそれぞれについて、当該観測対象の前記距離画像から得られる当該観測対象までの距離、重心位置基及び時間帯を含む、当該観測対象が前記行動を行っているときの行動の習性の特徴量を記憶する第１の記憶手段と、
   前記距離画像取得手段で取得された距離画像から、前記第１の記憶手段で記憶された前記複数の観測対象のうちのいずれかに対応する特徴量と類似する行動を検出することにより、観測対象を認識する認識手段と、
   前記複数の観測対象のそれぞれについて、当該電子的装置を当該観測対象の所望の状態に設定するための設定パラメータが登録されたテーブルを第２の記憶手段と、
   前記認識手段で認識された観測対象に対応する設定パラメータを前記テーブルから読みとって、当該電子的装置を当該観測対象の所望の状態に設定する手段と、
   を具備したことを特徴とする電子的装置。
4. 観測対象に発光手段により光を照射し、観測対象からの反射光を受光手段で受光することにより、各画素値が当該受光手段で受光された反射光の強度を示し、各画素値が示す反射光の強度により観測対象までの距離を表す距離画像を取得する距離画像取得手段と、
   行動を行っている予め定められた複数の観測対象のそれぞれについて、当該観測対象の前記距離画像から得られる当該観測対象までの距離、重心位置及び時間帯を含む、当該観測対象が前記行動を行っているときの行動の習性の特徴量を記憶するための記憶手段と、
   を備えたコンピュータに、
   前記距離画像取得手段で取得された距離画像及びそのときの時刻から、前記記憶手段で記憶された前記複数の観測対象のうちのいずれかに対応する特徴量と類似する行動を検出することにより、観測対象を認識するステップを含む処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images