JP2004187125A

JP2004187125A - 監視装置および監視方法

Info

Publication number: JP2004187125A
Application number: JP2002353499A
Authority: JP
Inventors: Toshiji Takei; 利治武居
Original assignee: Sumitomo Osaka Cement Co Ltd
Current assignee: Sumitomo Osaka Cement Co Ltd
Priority date: 2002-12-05
Filing date: 2002-12-05
Publication date: 2004-07-02

Abstract

【課題】監視空間に位置する監視対象物の部分的な形状変化を判別し、その形状の経時的変化に対応した検出信号を生成する監視装置及び監視方法を提供する。
【解決手段】監視空間１０に向けて設置され、経時的に変化をする監視対象物１２を撮像する第１の撮像装置１６と、第１の撮像装置１６から所定の間隔だけ離して、監視空間１０に向けて設置され、経時的に変化をする監視対象物１２を撮像する第２の撮像装置１８と、第１の撮像装置１６による像の差画像と第２の撮像装置による像の差画像に基いて、監視対象物１２の位置を演算すると共に、監視対象物１２の位置と画像フレームの位置とを対応させて監視対象物１２の動作を判定する演算部３０と、演算部３０の演算結果に基いて、監視対象物１２のジェスチャを判定し検出信号を出力するジェスチャ判定部２８と、を備える。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、監視装置に係り、特にＣＣＤカメラやＣＭＯＳセンサ等の撮像装置を用いて監視空間内に位置する監視対象物を監視し、その形状変化に対応する検出信号を出力する監視装置に関するものである。
【０００２】
【従来の技術】
一般に、ファイバーグレーティング素子の中心と撮像レンズの中心を平面に平行に所定の距離だけ離して設置し、撮像レンズから撮像装置の結像面までの距離と撮像レンズから平面までの距離に基づいて、撮像対象物の点から平面までの高さを演算処理し、撮像対象物が平面上に置かれたときに、結像面上の点が離れた点に移動したことを検知していた。このような距離又は高さの相互関係を演算処理して、トイレ内の人物などの姿勢を三次元的に監視をしていた（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００２−１２２４１７号公報（段落００１６、図１）
【０００４】
【発明が解決しようとする課題】
従来の監視装置は、上述の如く、撮像対象物の姿勢を三次元的に監視することができるが、監視対象物の静的部分と動的部分を区別して認識することが困難であった。
【０００５】
そこで本発明は、監視空間に位置する監視対象物の部分的な形状変化を判別し、その形状の経時的変化に対応した検出信号を生成する監視装置及び監視方法を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による監視装置１は、例えば図１に示すように、三次元の監視空間１０を移動する監視対象物１２を検出し検出信号を出力する監視装置１であって、監視空間１０に向けて設置され、経時的に変化をする監視対象物１２を撮像する第１の撮像装置１６と、第１の撮像装置１６から所定の間隔だけ離して、監視空間１０に向けて設置され、経時的に変化をする監視対象物１２を撮像する第２の撮像装置１８と、第１の撮像装置１６と第２の撮像装置１８により同時刻に撮像された画像と所定時間遅れて撮像された画像との差画像を逐次形成する差画像形成部２４、２５と、差画像形成部２４、２５で形成された、第１の撮像装置１６による像の差画像と第２の撮像装置による像の差画像に基いて、監視対象物１２の位置を演算すると共に、監視対象物１２の位置と画像フレームの位置とを対応させて監視対象物１２の動作を判定する演算部３０と、演算部３０の演算結果に基いて、監視対象物１２のジェスチャを判定し検出信号を出力するジェスチャ判定部２８と、を備える。
【０００７】
ここで、請求項１に記載の第１の撮像装置１６と第２の撮像装置１８は、典型的にはＣＣＣＤカメラやＣＭＯＳセンサのような撮像装置を２式備え三角法で距離を測定するパッシブ型距離検出装置を用いることができる。
【０００８】
このように構成すると、第１の撮像装置１６による像の差画像と第２の撮像装置による像の差画像に基いて、監視対象物１２の位置を演算すると共に、監視対象物１２の位置と画像フレームの位置とを対応させて監視対象物１２の動作を判定する演算部３０と、演算部３０の演算結果に基いて、監視対象物１２のジェスチャを判定し検出信号を出力するジェスチャ判定部２８と、を備えるので、ジェスチャに対応する検出信号により所定の装置を制御することができる。
【０００９】
上記目的を達成するために、請求項２に係る発明による請求項１に記載の監視装置１は、例えば図１に示すように、ジェスチャ判定部２８は、経時的に変化をするジェスチャの速度或いは位置情報に応答し検出信号の値を増減させるように構成する。
【００１０】
このように構成すると、経時的に変化をするジェスチャの速度或いは位置情報に応答し検出信号の値を増減させることができる。
【００１１】
上記目的を達成するために、請求項３に係る発明による請求項１乃至請求項２の何れか１項に記載の監視装置１は、例えば図１に示すように、監視対象物１２の動作を画像フレームの中央又は右側若しくは左側の位置に対応させて、監視対象物１２のジェスチャを判定するジェスチャ判定部を備える。
【００１２】
このように構成すると、監視対象物１２の動作を画像フレームの中央又は右側若しくは左側の位置に対応させて、監視対象物１２のジェスチャを判定することができる。
【００１３】
上記目的を達成するために、請求項４に係る発明による監視方法は、例えば図３に示すように、三次元の監視空間を移動する監視対象物を検出し検出信号を出力する監視方法であって、監視空間の中で経時的に変化をする監視対象物を撮像し差画像を逐次形成する差画像生成工程Ｓ１５、Ｓ１９と、差画像に基いて、監視対象物の位置を演算Ｓ２２すると共に、監視対象物の位置と画像フレームの位置とを対応させて監視対象物の動作を判定する動作判定工程Ｓ２５と、動作判定に基いて、監視対象物のジェスチャを検知し検出信号を出力する報知工程Ｓ２６と、を備える。
【００１４】
このように構成すると、差画像に基いて、監視対象物の位置を演算Ｓ２２すると共に、監視対象物の位置と画像フレームの位置とを対応させて監視対象物の動作を判定する動作判定工程Ｓ２５と、動作判定に基いて、監視対象物のジェスチャを検知し検出信号を出力する報知工程Ｓ２６と、を備えるので、監視対象物のジェスチャに対応した検出信号を出力することができる。
【００１５】
上記目的を達成するために、請求項５に係る発明による請求項４に記載の監視方法は、例えば図３に示すように、報知工程Ｓ２６は、経時的に変化をするジェスチャの速度或いは位置情報に応答し検出信号の値を増減させるように構成する。
【００１６】
このように構成すると、ジェスチャの速度或いは位置情報に応答し検出信号の値を増減させることができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００１８】
図１は、本発明による実施の形態である監視装置１の模式的な系統図である。監視装置１は、三次元の監視空間１０に存在する監視対象物としての人物１２を監視する。
【００１９】
監視装置１は、監視空間１０に向けて設置され、経時的に形状が変化する人物１２を撮像する第１の撮像装置１６と、第１の撮像装置１６から所定の間隔Ｗだけ離して、監視空間１０に向けて設置され、経時的に形状が変化する人物１２を撮像する第２の撮像装置１８とを備え、壁又は天井に据付けられた第１と第２の撮像装置は、例えば、直立した人物１２を撮像している。
【００２０】
上記第１と第２の撮像装置は、レンズの周囲に複数の赤外線発光素子１７を有し、制御装置２に信号ケーブルで接続され、ステレオの画像信号を制御装置２のインターフェースＩ／Ｆ部１９へ送信する。制御装置２は、内部にＩ／Ｆ部１９と、Ｉ／Ｆ部１９に接続する演算部３０と、演算部３０に接続する記憶部３１と、演算部３０に接続する照度測定部２９と、演算部３０に接続するデジタルアナログＤ／Ａ変換器３２とを備える。
【００２１】
また、演算部３０は、信号ライン４１を介して赤外線発信器３６に接続され、この赤外線発信器３６を通じて赤外線方式のコントロール信号をテレビ受像機３８の赤外線受信部３７へ送信する。演算部３０は、信号ライン４２を介してＤ／Ａ変換器３２へデジタル信号を送り、Ｄ／Ａ変換器３２は、信号ライン４３を通じてアナログ信号を照明制御装置４０へ送信する。
【００２２】
照明制御装置４０は、商用のＡＣ電源に接続され、可変抵抗を手動操作することにより照明３９の照度や点灯及び消灯を制御する。同様に、演算部３０から送信されるアナログ信号により照明３９の照度や点灯及び消灯を制御することができる。
【００２３】
上記記憶部３１は、第１の撮像装置１６で撮像した撮像信号を記憶する第１の時刻Ｔ０の撮像信号記憶部２０と第２の時刻Ｔ１の撮像信号記憶部２１、第２の撮像装置１８で撮像した撮像信号を記憶する第１の時刻Ｔ０の撮像信号記憶部２２と第２の時刻Ｔ１の撮像信号記憶部２３と、複数のジェスチャパターンを記憶するジェスチャ情報記憶部３４と、第１と第２の撮像装置から人物１２までの距離を時系列的に記憶する距離情報記憶部３５が設けられている。
【００２４】
上記演算部３０は、第１の撮像装置１６による差画像を形成する第１の差画像形成部２４、第２の撮像装置１８による差画像を形成する第２の差画像形成部２５、第１の撮像装置１６による差画像と第２の撮像装置１８による差画像を相関処理し、監視対象物としての人物１２と第１と第２の撮像装置との距離を演算処理する距離演算部２６、人物１２の所定箇所が部分的に移動した方向と距離を演算処理する移動演算部２７、２つの差画像を相関処理して得られた画像とジェスチャ情報記憶部３４に予め記憶したジェスチャパターンとを比較するジェスチャ判定部２８を備える。
【００２５】
図１の系統図を参照して、監視装置１の動作について説明をする。第１の撮像装置１６と第２の撮像装置１６は、監視空間１０に存在する人物１２のステレオ画像を撮像する。例えば、監視空間１０に直立する人物１２や椅子に座っている人物１２や寝台に横たわる人物１２を被写体として撮像する。
【００２６】
ここで、第１の撮像装置１６は所定本数の走査線を有し、第２の撮像装置１８は所定本数の走査線を有し、両撮像装置１６、１８は走査線方向を共通に並列に設置されている。また、本実施の形態では、第１の撮像装置１６と第２の撮像装置１８は、別体として説明するが一体として構成してもよい。
【００２７】
また、第１と第２の撮像装置の走査線の本数は、典型的には同数であり、各撮像装置の走査線の本数は、例えば、約５００本有し、各走査線には約５００ピクセルの画素を備えている。また本実施の形態では、第１の撮像装置１６と第２の撮像装置１８は、天井又は壁に設置し、所定の角度をもたせて三次元の監視空間１０に向けて設置することができる。
【００２８】
制御装置２は、第１の撮像装置１６と第２の撮像装置１８から撮像信号を受信し、互いに対応する走査線上（水平方向）に形成された画像を同期させて抽出する。また、同期させる走査線は、各撮像装置が有する５００本の走査線を抽出してもよく。撮像領域を所定の間隔に区切る本数でもよい。
【００２９】
例えば、人物１２の全体像を検出する場合は約１００ｍｍ間隔の映像を撮像する走査線を抽出し、人物１２の形状変化を詳細に検出する場合は約５０ｍｍ間隔の映像を撮像する走査線を抽出し、その他、人物１２の細部を検出する場合は約１０ｍｍ間隔の映像を撮像する走査線を抽出するように個別に設定することもできる。例えば、人物１２の左右何れかの部位（腕）が上下方向又は遠近方向に移動したことを検知するには、少なくとも各撮像装置の走査線が約５００本としたときに、等間隔毎に１本を選択し約２０本の走査線を抽出すればよい。
【００３０】
さらに、同期させる走査線は、各走査線を時系列的に抽出するとよい。また、第１の撮像装置１６と第２の撮像装置１８から走査線を抽出する際には、外部からの同期信号で抽出処理を行うようにすると、対応する走査線を抽出して処理する回路を簡略化ができ、ソフトウエア的な処理も容易となる。
【００３１】
監視装置１は、第１の撮像装置１６が時刻Ｔ０に撮像した人物１２の画像信号をＩ／Ｆ部１９を通じて受信し、演算部３０を介して記憶部３１の第１の時刻Ｔ０の撮像信号記憶部２０へ記憶する。並行して、第２の撮像装置１８により時刻Ｔ０に撮像した人物１２の画像信号をＩ／Ｆ部１９を通じて受信し、演算部３０を介して記憶部３１の第１の時刻Ｔ０の撮像信号記憶部２２へ記憶する。
【００３２】
引き続き、第１の撮像装置１６が時刻Ｔ０より所定時間遅れて撮像された時刻Ｔ１の人物１２の画像信号をＩ／Ｆ部１９を通じて受信し、演算部３０を介して記憶部３１の第２の時刻Ｔ１の撮像信号記憶部２１へ記憶する。並行して、第２の撮像装置１８により時刻Ｔ０より所定時間遅れて撮像された時刻Ｔ１の人物１２の画像信号をＩ／Ｆ部１９を通じて受信し、演算部３０を介して記憶部３１の第２の時刻Ｔ１の撮像信号記憶部２３へ記憶する。
【００３３】
演算部３０は、各撮像信号に含まれる走査線上に形成される各画像の画像情報から差画像を形成する差画像形成手段としての機能を備えている。画像情報は、典型的には画像を構成する画素（ピクセル）の画素値である。
【００３４】
演算部３０は、第１の撮像装置１６で撮像した時刻Ｔ０の人物１２の画像と時刻Ｔ１の人物１２の画像との差画像を逐次演算処理し、第１の撮像装置１６の差画像形成部２４に差画像を一時記憶する。並行して、第２の撮像装置１８で撮像した時刻Ｔ０の人物１２の画像と時刻Ｔ１の人物１２の画像との差画像を逐次演算処理し、第２の撮像装置１８の差画像形成部２５に差画像を一時記憶する。この差画像は、人物１２の動いた部分を抽出した人物１２の輪郭（エッジ）を示す画像情報である。
【００３５】
差画像を形成するための２つの画像は、撮像時刻Ｔ０から所定の時間だけ遅れた撮像時刻Ｔ１により各々取得するが、ずらす遅延時間は、人物１２の部位の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０秒〜１／３秒）とする。このような差画像を演算して取得すると人物１２の背景が除去され動きのある人物１２の像だけを抽出することができる。
【００３６】
また、演算部３０は、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段としての機能を備えている。
【００３７】
各撮像装置の走査線上に各々形成された画像は、背景は動くことがないので、動いている人物１２の境界部はその画素値が急激に変化する。そこで、演算部３０は、第１の差画像形成部２４と第２の差画像形成部２５から各差画像を読み出し、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を人物１２の境界とみなすことができる。ここで、境界を最大の領域としたのは、人物１２が身に付けている服装、手袋等の模様の動きにより、境界部以外にも区切られた領域の中で、閾値の小さい画素値が変化する場合があるからである。
【００３８】
距離演算部２６は、差画像形成部２４と差画像形成部２５で形成し一時記憶された、第１の撮像装置１６による像の差画像と第２の撮像装置１８による像の差画像に基いて、相関処理を施すことにより第１及び第２の撮像装置と人物１２との距離を演算処理し、演算結果の距離情報を距離情報記憶部３５へ時系列に記憶する。
【００３９】
すなわち、距離演算部２６は、第１の撮像装置１６と第２の撮像装置１８により撮像された各々の画像に対応する差画像から抽出された最大の領域同士の相関出力値を算出し、その最大相関出力値を得た位置を算出する相関出力算出手段としての機能を備えている。距離演算部２６は、演算した相関出力値に基づき両撮像装置と人物１２までの距離を算出する。
【００４０】
距離演算部２６は、例えば、走査線に形成された差画像から最大の領域の画像情報を抽出し、人物１２の動きによって、コントラストの変化が激しかった点を特定する。また、第１の撮像装置１６の走査線と同様に、第２の撮像装置１８の走査線上に形成された差画像の最大領域の画像情報を抽出する。各々抽出された差画像の最大領域の画像情報を比較した場合、両撮像装置の視差の関係から僅かに差画像の最大領域の位置が異なる領域画像を抽出したことが判明する。
【００４１】
引き続き、距離演算部２６は、第１の撮像装置による差画像と第２の撮像装置による差画像との相関処理を施し、その相関ピークが最大になった位置を計測することにより、２つの差画像間の平均的な相関出力値、または、抽出された領域のほぼ中心の相関出力値を演算し距離情報記憶部３５へ記憶させる。
【００４２】
ここで相関出力値とは、第１の撮像装置１６と第２の撮像装置１８との視差により発生する相対的結像位置差のことであり、相関処理により、典型的には画素数で出力される値である。演算部３０は、この相関出力値により第１の撮像装置の走査線と第２の撮像装置の走査線との視差に基づき、三角法を用いて撮像装置と人物１２との距離を算出する。
【００４３】
また、相関処理とは、第１の撮像装置の走査線と第２の撮像装置の走査線からそれぞれ得られた画像のどちらか一方を、２つの画像がほぼ一致するまで画素単位でずらして、そのずらした量を例えば画素数により示して算出する処理である。２つの差画像が一致するか否かの判定は、一方の差画像を固定し他方の差画像をずらしながら比較したときに重なり合う信号全体の強さに基いて実行する。信号がピークになった座標が一致点であり相関ピーク位置である。
【００４４】
相関処理は、第１の撮像装置１６、第２の撮像装置１８により撮像された各々の画像に対応する差画像を適正な値で２値化し、そのエッジ部を抽出する事により、動きのある領域部分を抽出し、この抽出領域のみで相関処理を施すように構成してもよい。このように構成すると、相関処理は、２値化した差画像を用いるので、演算処理速度を向上させることができる。
【００４５】
距離演算部２６は、第１の撮像装置１６と第２の撮像装置１８により撮像された各々の画像に対応する差画像から抽出された最大の領域の中で、それぞれ所定の閾値より大きな画素の対応を求め、対応する画素の位置ずれに基づき、撮像装置と人物１２までの距離を算出するようにしてもよい。この場合、演算部３０は、前述のように差画像から抽出された最大の領域同士の相関出力値を算出せず、最大の領域の中で、それぞれ閾値より大きな画素の対応を求め、対応する画素の位置ずれを算出する。
【００４６】
距離演算部２６は、上述した三角法を用いて対応する画素の位置ずれ即ち撮像装置の視差に基づき撮像装置から人物１２までの距離を算出する。これにより、距離演算部２６は、例えば、閾値を超えた画素に対して、同じ方向から番号付けを行い、対応した番号の画素同士の位置ずれから視差を求めることができる。
【００４７】
このように構成することで、距離演算部２６は、相関処理を省略し、非常に簡単な処理で視差を算出することができる。また距離演算部２６は、例えば、抽出した領域内の模様等によるコントラストの変化によって、閾値を超える画素が多く検出された場合には、上述したエッジ部以外には番号付けを行なわないように処理する。これにより、視差による影響で対応する番号の画素が、本来対応すべき画素とずれてしまうことにより、位置ずれの値に誤差が生じてしまう現象を低減することができる。これは、人物１２までの距離が短いことで視差が大きくなった場合にも有効である。
【００４８】
監視装置１は、例えば、第１の撮像装置１６と第２の撮像装置１８を水平方向に配置した場合に、人物１２の頭部から足先までに対応する撮像装置の走査線に対応する画像が得られるため、複数の走査線の画像情報を平均化し監視精度を高めることができる。例えば、撮像装置の走査線の本数をαとした場合、このα値を平均化することで画像情報の標準偏差はルートα分の１の精度が得られ、監視装置の信頼性を向上させることができる。
【００４９】
引き続き、監視装置１は、新たな時刻Ｔ０と時刻Ｔ１の撮像信号を第１の撮像装置１６及び第２の撮像装置１８から繰り返して取得し、各々の画像に対応する差画像から抽出された最大の領域同士の相関出力値を算出し、その最大相関出力値を得た位置を算出して数秒間のステレオ画像情報に基づく複数の相関出力値を時系列にバッファリングし距離情報記憶部３５へ一時記憶する。このバッファリング処理は、距離情報記憶部３５をファーストインファーストアウトＦＩＦＯメモリの画像フレームで構成し、５秒乃至１０秒間の相関出力値の中から最大相関出力値を得た位置を算出して画像フレーム毎に記録しながら、演算部３０へ先頭の相関出力値から順番に後続の相関出力値を時系列に出力させる。
【００５０】
移動演算部２７は、距離情報記憶部３５に時系列に記憶した人物１２の最大相関出力値を得た位置に基づき、人物１２の所定箇所が部分的に移動した方向と距離を演算処理する。例えば、距離情報記憶部３５から人物１２の相関出力値を時系列に読み出しジェスチャ開始ポジションの画像フレームから人物１２の部分的な動きを演算処理する。
【００５１】
このジェスチャ開始ポジションは、人物１２の移動状態から直立又は着席若しくは寝ている静的状態に変化した段階の画像フレームに設定し、静的状態にある人物１２の画像を相関処理した人物全体の輪郭（エッジ）の距離と位置を抽出したＸ−Ｙ−Ｚ座標で示す距離情報として定めることができる。
【００５２】
移動演算部２７は、相関処理を施したジェスチャ開始ポジションの画像フレームの距離情報に基づき、人物１２の中心（中心点又は中心線）を特定する。この中心は、撮像した走査線上に形成された少なくとも２点の輪郭（エッジ）の間に存在する中点として算出し、複数の走査線から得られた中点を平均化することにより人物１２の鉛直方向の中心線を演算出力することができる。
【００５３】
引き続き、移動演算部２７は、距離情報記憶部３５にバッファリングされ時系列に記憶した画像フレームの距離情報を順次読出し、中心線に重畳する映像の距離情報、中心線より右側の映像の距離情報、中心線より左側の映像の距離情報を各々右映像、左映像、若しくは中央映像に区別して各々の移動距離と移動方向を演算出力する。
【００５４】
ジェスチャ判定部２８は、移動演算部２７の演算出力に基づきジェスチャ開始ポジションの画像フレームと逐次記憶した画像フレームとを比較し、上記右映像、左映像、中央映像に区別した人物１２の部分的な移動距離と移動方向を算出する。例えば、図示した人物１２の左手が腰高の位置から前方に弧を描きながら頭部上方に移動した場合、ジェスチャ判定部２８はジェスチャ情報記憶部３４に予め記憶した右映像のジェスチャパターンと人物１２の左手の動きとの一致を検出し、左手ジェスチャと判定処理する。また、人物１２の胴体や頭部や右手が静止又は微動の状態をも左映像のジェスチャパターンと中央映像のジェスチャパターンと比較することにより、左手だけのジェスチャと判定する。
【００５５】
演算部３０は、ジェスチャ判定部２８による右映像のジェスチャパターン検出に応答して、人物１２の動作に対応するデジタル制御信号を出力する。例えば、信号ライン４１を介して赤外線発信器３６に音量増加コードを送信し、この赤外線発信器３６からコード化された赤外線信号をテレビ受像機３８に向けて発信し、テレビ受像機３８の赤外線受信部３７で受信した赤外線信号に応答してテレビ受像機３８の音量を増加させることができる。
【００５６】
また、演算部３０は、例えば１秒乃至２秒単位でジェスチャ判定部２８の検出結果を処理するように構成し、人物１２の左手上昇（又はステレオカメラ方向への接近）に応じた音量増加信号、又はこの左手降下（又はステレオカメラ方向から遠ざかる）に応じた音量低下信号を赤外線発信器３６へ送信する。人物１２がテレビ受像機３８の音量を適量に調整した段階で、人物１２の左手を１秒以内に下げて上記ジェスチャ開始ポジションに戻ったときに音量増減処理を完了させることができる。
【００５７】
さらに、人物１２が右手を上下（又はステレオカメラ方向への接近及び遠ざかる）ジェスチャをしたときは、演算部３０からＤ／Ａ変換器３２へデジタル信号を送信し、Ｄ／Ａ変換器３２から信号ライン４３を通じてアナログ信号を照明制御装置４０へ送信することができる。例えば、人物１２の右手上昇（ステレオカメラ方向への接近）ジェスチャに伴う照度上昇制御により照明３９を明るくしたり、人物１２の右手下降（ステレオカメラ方向から遠ざかる）ジェスチャに伴う照度降下制御により照明３９を暗くすることができる。
【００５８】
このように、演算部３０は、１秒乃至２秒単位で人物１２の部分的な移動方向と移動距離を逐次演算処理し、緩やかな動きのジェスチャに対応する制御信号を出力する。また、監視装置１は、人物１２の距離を測定することができるため、１秒以下で変化をする急峻なジェスチャに対して、別の制御信号を生成することもできる。例えば、人物１２がジェスチャ開始ポジションから左手を急に前方に突き出したときは、演算部３０がテレビ受像機３８の停止制御ジェスチャとして処理し、テレビ受像機３８の電源を切る赤外線信号を赤外線発信器３６から発信させる。
【００５９】
同様に、人物１２がジェスチャ開始ポジションから右手を急に前方に突き出したときは、演算部３０が照明３９の消灯制御ジェスチャとして処理し、照明３９の電源を切るアナログ信号をＤ／Ａ変換器３２から照明制御装置４０へ送信させる。
【００６０】
制御装置２は、照明３９の照度低下を照度測定部２９で検知し、演算部３０からＩ／Ｆ部１９を介して第１の撮像装置１６と第２の撮像装置１８に設けた赤外線発光素子１７を自動点灯させる。この赤外線発光素子１７から照射される赤外線により暗闇又は可視光の照度不足状態でも人物１２の状態を監視することができる。すなわち、暗闇状態で人物１２が右手を前方に突き出したときは照明３９を再点灯させことができ、人物１２が左手を前方に突き出した場合はテレビ受像機３８をオン状態にすることができる。
【００６１】
上記実施の形態では、人物１２の直立姿勢をジェスチャ開始ポジションとして説明をしたが、他の実施形態として、人物１２が車椅子に座っている姿勢をジェスチャ開始ポジションとして設定してもよく。人物１２が寝台で就寝している姿勢をジェスチャ開始ポジションとして設定してもよい。要は、一定時間に亘って人物１２が静止している状態をジェスチャ開始ポジションに再設定することにより、１秒乃至２秒単位で緩やかな動きのジェスチャを検知させることができる。
【００６２】
図２は、本発明の実施の形態である監視装置に用いる撮像装置の模式的な斜視図である。撮像装置１６は、円筒形のケースに収納され前方にレンズ１１と、このレンズ１１の周囲を取り囲む複数の赤外線発光素子１７を備え、ケーブルによりＩ／Ｆ部１９に接続されている。
【００６３】
この複数の赤外線発光素子１７の自動点灯により、夜間又は暗闇でも人物１２を撮像することができる。監視装置は可視光撮像でも赤外線撮像でもモノクロ画像を取得し、人物１２のジェスチャを検出するように構成する。本実施の形態では、赤外線発光素子１７は赤外線発光ＬＥＤを用いることができる。
【００６４】
図３のフローチャートを参照して、監視装置の処理フローを例示する。ここで、左画像は第１の撮像装置１６で撮像された画像であり、右画像は第２の撮像装置１８で撮像された画像として説明する。処理はスタートステップＳ１０から開始し、ステップＳ１１で制御装置２は、第１の撮像装置１６と第２の撮像装置１８で撮像された左画像と右画像を、Ｉ／Ｆ部１９を介してステレオ画像として取得する。また、取得したステレオ画像はマスク処理を施し人物の監視領域外の画像情報を除去することもできる。
【００６５】
制御装置２は、監視領域内の人物１２を時点ｔに撮像した第１の画像であるｔフレームの左画像を取得する（ステップＳ１３）。次に、所定時間のΔｔが経過した時点ｔ＋Δｔに撮像された第２の画像であるｔ＋Δｔフレームの左画像を取得する（ステップＳ１４）。
【００６６】
引き続き、ｔフレームの左画像とｔ＋Δｔフレームの左画像との差画像（左）を抽出する（ステップＳ１５）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ１６）を施してから、後続のステップＳ２１の相関処理に移行する。
【００６７】
また、制御装置２は、監視領域内の人物１２を時点ｔに撮像した第３の画像であるｔフレームの右画像を取得する（ステップＳ１７）。次に、所定時間のΔｔ経過した時点ｔ＋Δｔに撮像した第４の画像であるｔ＋Δｔフレームの右画像を取得する（ステップＳ１８）。
【００６８】
引き続き、ｔフレームの右画像とｔ＋Δｔフレームの右画像との差画像（右）を抽出する（ステップＳ１９）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ２０）を施してから、後続のステップＳ２１の相関処理に移行する。
【００６９】
本実施の形態では、第１の撮像装置と第２の撮像装置は同時並列的に各時点（ｔ、ｔ＋Δｔ）で撮像を行う。この場合Δｔは、計数装置の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。
【００７０】
次に、ｔフレームの左画像のコントラストが強い人物１２の輪郭を用いてｔフレームの右画像の対応点を探索し相関処理を実行する（ステップＳ２１）。この相関処理により得られた対応点から、第１と第２の撮像装置と人物１２までの位置に対応する距離情報を算出する（ステップＳ２２）。例えば、左画像と右画像を一致させる画素数に基づき人物１２の距離を三角法に基づき演算出力する。
【００７１】
上記ステップＳ２２により得られた距離情報を時間軸に対応させてバッファリングし、人物１２の距離情報を含む時空間画像を作成し、輪郭で囲まれた人物１２の距離情報を時系列に記憶する（ステップＳ２３）。
【００７２】
引き続き、ステップ２４で、バッファリングした時空間画像の先頭から距離情報を順次読出し、１秒乃至２秒以上の静的状態に至った時空間画像を抽出しジェスチャ開始ポジションを特定する。このジェスチャ開始ポジションの時空間画像と１秒乃至２秒後の時空間画像とを比較し、時空間画像の中に存在する人物１２またはその部位が上下左右若しくは前後に移動したか否かを人物１２又はその部位の輪郭を示す画素アドレスの情報に基づいて判定する。
【００７３】
例えば、移動した輪郭の画素アドレスがジェスチャ開始ポジションと対応させて、人物１２の左映像、右映像、若しくは中央映像の中で変化したことを検出し、予め記憶したジェスチャパターンと比較する。ジェスチャーパターンと一致（ステップＳ２５がＹｅｓ）したときは、処理をステップＳ２６へ分岐させ演算部３０から制御信号としての検出信号を出力し、照明やテレビ受像機のＯＮ／ＯＦＦ制御や、音量制御若しくは照度制御を実行する。
【００７４】
また、制御装置２は、照明やテレビ受像機の制御処理を完了させてからステップＳ２７へ移行し、照明及びテレビ受像機の電源が共にＯＦＦ状態か否かを判定する。例えば、人物１２のジェスチャが両手を撮像装置に向かって急激に前方へ突き出した場合、照明とテレビ受像機は共に電源がＯＦＦ状態に移行しステップＳ２８へ分岐して監視処理を終了させることができる。
【００７５】
照明とテレビ受像機の少なくとも一方が電源ＯＮ状態のときは、判定結果は否（ＮＯ）であり、処理を節点Ｎ１２へ分岐させ照明とテレビ受像機の全ての電源がＯＦＦ状態になるまでステップＳ１３からステップＳ２７の処理を繰り返すように制御する。
【００７６】
図１に示すように制御装置２は、照度測定部２９を備えているため、第１と第２の撮像装置１６、１８へ入射する可視光線の照度又は光量を測定し、所定の照度又は光量に低下した段階で照明とテレビ受像機の全ての電源がＯＦＦ状態になったと見做して、ステップＳ２８へ分岐し処理を終了させることもできる。この照度測定機構により照明３９の遠隔消灯やテレビ受像機３８のスリープモードでの自動オフに対して有効である。
【００７７】
さらに、ステップＳ２５により人物１２の移動（動作）がジェスチャパターンと不一致となり、ジェスチャと判定されないときはステップＳ２５から節点Ｎ１２へ処理を分岐させ、照明とテレビ受像機の全ての電源がＯＦＦ状態になるまで逐次ステレオ画像を取得しながらバッファリングをするステップＳ１３からステップＳ２７の処理を繰り返すように制御する。
【００７８】
ここで、図４の模式的なブロック図を参照して、三角法を用いた撮像装置と人物１２との距離の算出方法について説明をする。人物１２を真上から観察し、第１の撮像装置１６と第２の撮像装置１８により略垂直方向から人物１２を撮像したときの距離の測定原理を例示する。
【００７９】
ここで、ｗは第１の撮像装置１６と第２の撮像装置１８との光軸間距離（基線長）、ｆは各撮像装置の受光レンズを単一レンズとしたときのレンズ焦点距離、ｄは第１の撮像装置１６と第２の撮像装置１８との結像面上の視差とする。ここでの焦点距離ｆは、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離ｆとする。これにより対象とする人物１２と撮像装置との距離ａは次式で算出できる。
ａ＝ｗ × ｆ／ｄ ………（１）
【００８０】
このようにして、第１と第２の撮像装置１６、１８からステレオ画像を取得したセンサ制御部６０は、内部の差画像形成部６２により第１の撮像装置１６の差画像と第２の撮像装置１８の差画像を形成し、この２つの差画像を相関出力演算部６４により相関処理し、相関処理信号として１つのライン同志における最大の相関出力値を得た視差情報を制御装置２へ出力することにより、撮像装置から人物１２までの距離を算出する。
【００８１】
また、予め測定した背景と撮像装置との基準距離ｈから人物１２までの距離を減算して人物１２の侵入距離値ｚを算出し、侵入距離値ｚを距離演算部２６に一時記憶する。また、センサ制御部６０を介さずに直接２台の撮像装置から映像信号を制御装置２へ送信するように構成することもできる。
【００８２】
図５の概念図を参照して、本実施の形態による監視装置で撮像した人物１２のジェスチャ検出方法を説明する。第１の撮像装置１６と第２の撮像装置１８を人物１２が存在する監視空間へ向けて設置し、監視空間に光軸を略水平に設定する。図中左端部に示した人物１２ａは、ジェスチャ開始ポジションに入った状態を示し右方向に時間軸を設定して左端部に示した人物１２ｆまでのジェスチャパターンを表示している。
【００８３】
図中の左端部に示した時空間画像フレームは、実線で示すジェスチャ開始ポジションの人物１２ａのステレオ画像信号を相関処理した距離情報を表示している。相関処理を施した人物１２ａの映像は、所定の本数毎に抽出した水平方向の走査線により検出し、各走査線に少なくとも２箇所の輪郭を形成するエッジで構成されている。この時点では、人物１２は数秒間動きを止めて演算部３０にジェスチャ開始ポジションを認識させている。
【００８４】
人物１２ａの下部に示した移動レベルメータには、ジェスチャ開始ポジションで静止状態の人物の移動距離Ｄを表示している。例えば、左映像（Ｌ）、中央映像（Ｃ）、右映像（Ｒ）の各移動距離は所定の閾値以下のレベルで示されている。ジェスチャ判定部は、これら３つの領域に区分けして人物１２ａの動作を距離情報に基づき判定する。
【００８５】
次の時空間画像フレームは、上記ジェスチャ開始ポジションから１秒乃至２秒後に撮像された人物１２ｂのステレオ画像信号を相関処理した距離情報を実線で示している。右映像（Ｒ）の区画で人物１２ｂの腕が破線で示した前回の時空間画像フレームの腕より上昇移動するのに伴い、人物１２ｂの下部に示した移動レベルメータの右画像（Ｒ）の距離情報Ｄが所定の閾値を超えて上昇している。
【００８６】
この段階でジェスチャ判定部２８は、ジェスチャーパターンと相関処理した距離情報から得た人物１２ｂのパターンとを比較し、人物１２ｂが所定のジェスチャを表現していることを判定する。この判定により、例えば、演算部３０は、人物１２ｂの左手の遥動に対応してテレビ受像機の音量ボリュームを増加させる。
【００８７】
さらに次の時空間画像フレームは、上記ジェスチャ開始から１秒乃至２秒後に撮像された人物１２ｃのステレオ画像信号を相関処理した距離情報を実線で示している。右映像（Ｒ）の区画で人物１２ｃの腕が破線で示した前回の時空間画像フレームの腕より上昇移動するのに伴い、人物１２ｃの下部に示した移動レベルメータの右画像（Ｒ）の距離情報Ｄがさらに上昇している。
【００８８】
この段階でもジェスチャ判定部２８は、ジェスチャーパターンと相関処理した距離情報から得られた人物１２ｃのパターンとを比較し、人物１２ｃが所定のジェスチャを継続していることを判定する。この判定により、例えば、演算部３０は、人物１２ｃの左手の遥動に対応してテレビ受像機の音量ボリュームをさらに増加させる。
【００８９】
次の時空間画像フレームは、上記ジェスチャから１秒乃至２秒後に撮像された人物１２ｄのステレオ画像信号を相関処理した距離情報を実線で示している。右映像（Ｒ）の区画で人物１２ｄの腕が破線で示した前回の時空間画像フレームの腕より上昇移動するのに伴い、人物１２ｄの下部に示した移動レベルメータの右画像（Ｒ）の距離情報Ｄが前回のジェスチャと同等のレベルで示されている。すなわち、前回の時空間画像フレームで得られた移動距離Ｄと同等の移動距離Ｄを示すものである。
【００９０】
この段階でもジェスチャ判定部２８は、ジェスチャーパターンと相関処理した距離情報から得られた人物１２ｄのパターンとを比較し、人物１２ｄが所定のジェスチャを継続していることを判定する。この判定により、例えば、演算部３０は、人物１２ｃの左手の遥動に対応してテレビ受像機の音量ボリュームをさらに増加させる。
【００９１】
次の時空間画像フレームは、上記ジェスチャから１秒乃至２秒後に撮像された人物１２ｅのステレオ画像信号を相関処理した距離情報を実線で示している。右映像（Ｒ）の区画で人物１２ｅの腕が破線で示した前回の時空間画像フレームの腕より若干上昇移動するのに伴い、人物１２ｅの下部に示した移動レベルメータの右画像（Ｒ）の距離情報Ｄが前回のジェスチャより低いレベルで示されている。すなわち、前回の時空間画像フレームで得られた移動距離Ｄより少ない移動距離Ｄを示すものである。
【００９２】
この段階でジェスチャ判定部２８は、ジェスチャーパターンと相関処理した距離情報から得られた人物１２ｅのパターンとを比較し、人物１２ｅが所定のジェスチャを継続しているが移動速度が前回に比して小さいことを判定する。この判定により、例えば、演算部３０は、人物１２ｃの左手の微動に対応してテレビ受像機の音量ボリュームを僅かに増加させる。
【００９３】
図中右端部に示した次の時空間画像フレームは、上記ジェスチャから１秒乃至２秒後に撮像された人物１２ｆのステレオ画像信号を相関処理した距離情報を実線で示している。右映像（Ｒ）の区画で人物１２ｆの腕が破線で示した前回の時空間画像フレームの腕より急速に上昇移動するのに伴い、人物１２ｆの下部に示した移動レベルメータの右画像（Ｒ）の距離情報Ｄが前回のジェスチャより高いレベルで示されている。すなわち、前回の時空間画像フレームで得られた移動距離Ｄより大きい移動距離Ｄを示すものである。
【００９４】
この段階でジェスチャ判定部２８は、ジェスチャーパターンと相関処理した距離情報から得られた人物１２ｆのパターンとを比較し、人物１２ｆが所定のジェスチャを継続し移動速度が前回に比して大きいことを判定する。この判定により、例えば、演算部３０は、人物１２ｃの左手の急峻な動きに対応してテレビ受像機の音量ボリュームをさらに増加させる。
【００９５】
図６の概念図を参照して、本実施の形態による監視装置で撮像した人物１２のジェスチャ検出方法を説明する。第１の撮像装置１６と第２の撮像装置１８を人物１２が存在する監視空間へ向けて設置し、監視空間に光軸を略水平に設定する。
【００９６】
各時空間画像フレームは、上述した実施の形態と同様に、１秒乃至２秒間隔で撮像した人物のジェスチャを示し、時間軸は右方向に示している。
【００９７】
図中の左端部に示した時空間画像フレームは、実線で示すジェスチャ開始ポジションの人物１２ａのステレオ画像信号を相関処理した距離情報を表示している。相関処理を施した人物１２ａの映像は、所定の本数毎に抽出した水平方向の走査線により検出し、各走査線に少なくとも２箇所の輪郭を形成するエッジで構成されている。この時点では、人物１２は数秒間動きを止めて演算部３０にジェスチャ開始ポジションを認識させている。
【００９８】
人物１２ａの下部に示した移動レベルメータには、ジェスチャ開始ポジションで静止状態の人物の移動距離Ｄを表示している。例えば、左映像（Ｌ）、中央映像（Ｃ）、右映像（Ｒ）の各移動距離は所定の閾値以下のレベルで示されている。ジェスチャ判定部は、これら３つの領域に区分けして人物１２ａの動作を距離情報に基づき判定する。
【００９９】
上述した実施の形態と同様に、監視装置は人物を監視して距離情報を演算出力し人物のジェスチャを判定するように構成している。
【０１００】
監視装置は、ジェスチャ開始ポジションの人物１２ａ、逐次変化をする人物１２ｂ、人物１２ｃ、人物１２ｄ、人物１２ｅ、及び人物１２ｆの時空間画像フレームに現れたジェスチャと予め記憶したジェスチャパターンとを比較し、人物のジェスチャを判定する。図示した人物のジェスチャは、左映像（Ｌ）の動きを中央映像（Ｃ）及び右映像（Ｒ）と区別して個別に判定することができる。
【０１０１】
演算部３０は、人物１２ｂから人物１２ｆまでの右腕の上昇移動を検知し、例えば、照明のコントロールを遂行する。右腕が上昇するに伴い照明の照度を追随させて上昇させることができる。また、照度の増加は人物のジェスチャ動作の速度に連動させることができる。
【０１０２】
また、人物１２ｂから人物１２ｆまでの右腕の上昇移動に伴い、各人物の下部にしめしたレベルメータの左映像（Ｌ）のレベルが上昇する。演算部３０は、このレベルメータのアナログ値に連動するアナログ制御信号を照度制御装置へ送信し、照明を制御する。
【０１０３】
上記第１の撮像装置１６と第２の撮像装置１８は、各々の走査線が対応するように設置することができ、または対応する走査線を選択するように構成することができる。また、予め２台の撮像装置１６、１８の各々の走査線が対応するように調整し、固定したものを監視装置に用いるようにしてもよい。このようにすると、２台の撮像装置１６、１８は、距離センサと同じような感覚で扱うことができるので、２台の撮像装置１６、１８の設置が非常に簡便になる。
【０１０４】
監視装置１は、人物１２の左映像（Ｌ）、中央映像（Ｃ）、左映像（Ｒ）を区別し、人物１２の状態がどの位置で、立っている、座っている、倒れているか、また、その人物１２は動いているか、停止しているのか、退出したか、右手を上げているか下げているか、左手を上げているか下げているか、といった一連の動きを簡単な装置で追従することができる。この場合、背景の基準距離からの差異を取得していると、距離が比較的正確でなくても状態の判断に使うことができる。
【０１０５】
また、監視装置１は、差画像を用いるため、例えば、人物１２に動きが無くなった場合には、領域の特定ができなくなるが、ジェスチャ開始パターンを記憶することにより人物１２の所定の部位に動きがあったことを検知することができ、又は画像フレームの間隔を時間的に伸ばす等の方法で、一連の動きから総合的に人物１２のジェスチャを判定することができる。
【０１０６】
したがって、静止しているまたは動きがゆっくりした人物１２のジェスチャも自動的に監視できるため、監視領域内の人物１２等が動きの少ない場合に有効である。
【０１０７】
さらに、監視領域の中に人物１２が存在していない状態の場合の背景までの距離を基準距離として設定しておき、その状態からの監視対象物の変化を追うことで、人物１２のジェスチャを判定することができる。
【０１０８】
以上のような本実施の形態によれば、監視領域の中の人物１２のジェスチャを判断して、人物１２の部位が所定方向に緩やかに移動していることや、急峻に移動しているといったジェスチャパターンの認識を正確かつ非常に容易に行うことができる。しかも、撮像装置より画像フレーム全体の情報を取得し処理することがないため、複雑かつ大容量の画像処理を必要とせず、比較的簡単なデジタル回路やアナログ回路、もしくはこれらの組み合わせで、非常に安価な装置を構築することができる。また、夜間又は暗闇の状態でも赤外線撮像により人物１２のビデオ信号を得ることができるため、人物１２を可視光線で刺激することもなく、照明やテレビ受像機等の家電製品を遠隔操作することができるシステムとしても非常に有効である。
【０１０９】
尚、本発明の監視装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、ジェスチャを人物の意思表示として説明したが、他に自律式ロボットのような機械の部位が動作して家電製品等をコントロールするように構成してもよい。
【０１１０】
【発明の効果】
以上のように本発明によれば、監視空間に位置する監視対象物の部分的な形状変化を判別し、その形状の経時的変化に対応した検出信号を生成する監視装置及び監視方法を提供する、という優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態である監視装置の模式的な系統図である。
【図２】本発明の実施の形態に用いる撮像装置の模式的な斜視図である。
【図３】本発明の実施の形態の撮像装置のフローチャート図である。
【図４】本発明の実施の形態の監視装置の模式的なブロック図である。
【図５】本発明の実施の形態のジェスチャ判定の概念図である。
【図６】本発明の実施の形態のジェスチャ判定の概念図である。
【符号の説明】
１監視装置
２制御装置
１０監視空間
１６撮像装置
１７赤外線発光素子
１８撮像装置
２０撮像信号記憶部
２１撮像信号記憶部
２２撮像信号記憶部
２３撮像信号記憶部
２４差画像形成部
２５差画像形成部
２６距離演算部
２７移動演算部
２８ジェスチャ判定部
２９照度測定部
３０演算部
３１記憶部
３２Ｄ／Ａ変換器
３４ジェスチャ情報記憶部
３５距離情報記憶部
３６赤外線発信器
３７赤外線受信部
３８テレビ受像機
３９照明
４０照明制御装置
６０センサ制御部
６２差画像形成部
６４相関出力演算部

Claims

三次元の監視空間を移動する監視対象物を検出し検出信号を出力する監視装置であって；
前記監視空間に向けて設置され、経時的に変化をする前記監視対象物を撮像する第１の撮像装置と；
前記第１の撮像装置から所定の間隔だけ離して、前記監視空間に向けて設置され、経時的に変化をする前記監視対象物を撮像する第２の撮像装置と；
前記第１の撮像装置と前記第２の撮像装置により同時刻に撮像された画像と所定時間遅れて撮像された画像との差画像を逐次形成する差画像形成部と；
前記差画像形成部で形成された、前記第１の撮像装置による像の差画像と前記第２の撮像装置による像の差画像に基いて、前記監視対象物の位置を演算すると共に、当該監視対象物の位置と画像フレームの位置とを対応させて監視対象物の動作を判定する演算部と；
前記演算部の演算結果に基いて、前記監視対象物のジェスチャを判定し前記検出信号を出力するジェスチャ判定部と；
を備える監視装置。
前記ジェスチャ判定部は、経時的に変化をする前記ジェスチャの速度或いは位置情報に応答し前記検出信号の値を増減させる請求項１に記載の監視装置。
前記監視対象物の動作を前記画像フレームの中央又は右側若しくは左側の位置に対応させて、前記監視対象物のジェスチャを判定する前記ジェスチャ判定部を備える請求項１乃至請求項２の何れか１項に記載の監視装置。
三次元の監視空間を移動する監視対象物を検出し検出信号を出力する監視方法であって；
前記監視空間の中で経時的に変化をする前記監視対象物を撮像し差画像を逐次形成する差画像生成工程と；
前記差画像に基いて、前記監視対象物の位置を演算すると共に、当該監視対象物の位置と画像フレームの位置とを対応させて監視対象物の動作を判定する動作判定工程と；
前記動作判定に基いて、前記監視対象物のジェスチャを検知し前記検出信号を出力する報知工程と；
を備える監視対象物の監視方法。
前記報知工程は、経時的に変化をする前記ジェスチャの速度或いは位置情報に応答し前記検出信号の値を増減させる請求項４に記載の監視対象物の監視方法。