JP2004069497A - 監視装置および監視方法 - Google Patents
監視装置および監視方法 Download PDFInfo
- Publication number
- JP2004069497A JP2004069497A JP2002229239A JP2002229239A JP2004069497A JP 2004069497 A JP2004069497 A JP 2004069497A JP 2002229239 A JP2002229239 A JP 2002229239A JP 2002229239 A JP2002229239 A JP 2002229239A JP 2004069497 A JP2004069497 A JP 2004069497A
- Authority
- JP
- Japan
- Prior art keywords
- monitoring
- image
- distance
- person
- ccd camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】作業スペースを占有せずに、高精度の監視物体の監視装置を提供する。
【解決手段】三次元の監視空間に侵入する監視対象物を検出し検出信号を出力する監視装置であって、第１の時刻と第２の時刻に監視対象物１２を撮像する第１の撮像装置１６と、第１の時刻と第２の時刻に監視対象物１２を撮像する第２の撮像装置１８と、第１の時刻に撮像された画像と第２の時刻とに撮像された画像との差画像を形成する差画像形成部６２と、第１の撮像装置１６による像の差画像２４と第２の撮像装置１８による像の差画像２５に基いて、監視対象物１２の位置を演算する監視対象物の位置演算部３０と、位置演算部３０の演算結果に基いて、監視対象物１２が監視空間１０方向への接近を検知し検知信号を出力する接近報知部３２と、を備える。
【選択図】 図１
【解決手段】三次元の監視空間に侵入する監視対象物を検出し検出信号を出力する監視装置であって、第１の時刻と第２の時刻に監視対象物１２を撮像する第１の撮像装置１６と、第１の時刻と第２の時刻に監視対象物１２を撮像する第２の撮像装置１８と、第１の時刻に撮像された画像と第２の時刻とに撮像された画像との差画像を形成する差画像形成部６２と、第１の撮像装置１６による像の差画像２４と第２の撮像装置１８による像の差画像２５に基いて、監視対象物１２の位置を演算する監視対象物の位置演算部３０と、位置演算部３０の演算結果に基いて、監視対象物１２が監視空間１０方向への接近を検知し検知信号を出力する接近報知部３２と、を備える。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、監視装置に係り、特にＣＣＤカメラやＣＭＯＳセンサ等を用いて監視空間内に侵入する人体の指、手、腕、胴体等の高さや移動方向の変化を監視する監視装置及び監視方法に関するものである。
【０００２】
【従来の技術】
一般に、ライトカーテン方式の監視装置は、ポール状の投光器と受光器内に複数の光電センサを連続して並べ、危険箇所に隣接したエリアへ光のカーテンのような構成をした光センサにより、人体の指、手、腕を検知していた。この光センサは、人体によって投光器からの光線が遮られると安全回路の制御出力をＯＦＦに切り換え、工作機械等を緊急停止させて作業者の安全を確保していた。
【０００３】
また、ライトカーテンの検出距離は最長２０メートル、検出幅は３０センチメートルから２メートルの範囲に設定し、各種組立て機械、大型機械、工作機械、自動車組立てライン、工業用ロボットなどにおける危険箇所への人体の指、手、腕、胴体の侵入検知に用いられている。
【０００４】
【発明が解決しようとする課題】
以上のような従来のライトカーテン方式の監視装置は、上述の如く、ポール状の投光器と受光器を危険箇所に隣接した検知エリアに設置するため、組立てラインなどの有効スペースを減少させるという課題が存在する。
【０００５】
また、検知エリアを延長する毎に追加の投光器と受光器を設置するか、投光器と受光器との間で光軸をＬ字型又はＵ字型に偏光させるミラー板を設置するため、安全機器の設置費用が増加するという課題が存在していた。
【０００６】
そこで本発明は、作業者の作業スペースを占有せずに、高精度の監視対象物の高さと移動方向の変化を監視する監視装置及び監視方法を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による監視装置１は、例えば図１及び図５に示すように、三次元の監視空間に侵入する監視対象物を検出し検出信号を出力する監視装置であって、監視空間１０に向けて設置され、第１の時刻と第１の時刻から所定の時間だけ遅れた第２の時刻とに監視対象物１２を撮像する第１の撮像装置１６と、第１の撮像装置から所定の間隔だけ離して、監視空間１０に向けて設置され、第１の時刻と第２の時刻とに監視対象物１２を撮像する第２の撮像装置１８と、第１の時刻に撮像された画像と第２の時刻とに撮像された画像との差画像を形成する差画像形成部６２と、差画像形成部６２で形成された、第１の撮像装置１６による像の差画像２４と第２の撮像装置１８による像の差画像２５に基いて、監視対象物１２の位置を演算する監視対象物の位置演算部３０と、位置演算部３０の演算結果に基いて、監視対象物１２が監視空間１０方向への接近を検知し検知信号を出力する接近報知部３２と、を備える。
【０００８】
このように構成すると、監視対象物１２の位置を演算する監視対象物の位置演算部３０と、位置演算部３０の演算結果に基いて、監視対象物１２が監視空間１０方向への接近を検知し検知信号を出力する接近報知部３２とを備えるので、監視対象物１２が監視空間１０への位置変化を判定し検知信号を出力することができる。
【０００９】
上記目的を達成するために、請求項２に係る発明による請求項１に記載の監視装置１は、例えば図２に示すように、監視空間１０に設定したマスク領域５０をマスク画像処理し、監視対象物１２の接近を検知するマスク画像処理部２８をさらに備える。
【００１０】
このように構成すると、マスク領域５０をマスク画像処理し、マスク領域５０内の画像データの変化に拘わらず監視対象物１２の接近を検知する。また、監視領域１０を見えないカーテン領域で仕切り、見えないカーテン領域内を移動している監視対象物１２の位置変化に基づき、監視対象物１２の監視空間１０方向への接近を検知する。
【００１１】
上記目的を達成するために、請求項３に係る発明による請求項１乃至請求項２の何れか１項に記載の監視装置１は、例えば図１に示すように、位置演算部３０は、監視対象物１２の位置の経時的変化を検出し監視対象物１２の移動方向を演算する。
【００１２】
このように構成すると、監視対象物１２の位置の経時的変化を検出し監視対象物１２の移動方向を演算するため、移動中の監視対象物１２の位置の検出及び停止中の監視対象物１２の位置を検出することができる。
【００１３】
上記目的を達成するために、請求項４に係る発明による監視装置１は、例えば図１に示すように、三次元の監視空間に侵入する監視対象物を検出し検出信号を出力する監視装置であって、監視空間１０に向けて設置され、監視対象物１２までの距離を検出する距離検出装置１６、１８と、距離検出装置１６，１８で検出される距離に、距離検出装置１６、１８から見た方向ごとに所定の閾値を設定することにより、監視空間１０と監視対象物１２とを仕切るカーテン領域４２、４３、Ｈ、Ｄを設定する制御装置２とを備える。
【００１４】
ここで、距離検出装置１６，１８は、典型的には撮像装置を２式備え三角法で距離を測定するパッシブ型距離検出装置を用いてもよく。また、アクティブ型距離検出装置を用いてもよい。
【００１５】
このように構成すると、監視空間１０と監視対象物１２とを仕切るカーテン領域４２、４３、Ｈ、Ｄを設定する制御装置２とを備えるので、距離検出装置１６、１８を監視空間１０に向けて設置した後でも、カーテン領域を任意の範囲で設定することができる。
【００１６】
上記目的を達成するために、請求項５に係る発明による監視方法は、例えば図１に示すように、三次元の監視空間への監視対象物の浸入を監視する監視方法であって、所定の位置から監視対象物１２までの距離を検出する距離検出工程と、検出工程で検出される距離と所定の位置から見た方向ごとに設定する複数の所定の閾値とを比較する比較工程と、比較工程で、監視対象物１２までの距離が閾値を超えたと判断されたとき検知信号１４を出力する信号出力工程とを備え、設定された複数の所定の閾値は全体として監視空間１０と監視対象物１２とを仕切るカーテン領域４２、４３、Ｈ、Ｄを設定する。
【００１７】
ここで、カーテン領域は床面に垂直方向に立設された平面又は円筒状曲面でもよく。また、設定する距離は任意であるので、カーテン領域は自由な曲面、例えば半球状に形成してもよい。
【００１８】
このように構成すると、監視空間１０と監視対象物１２とを仕切るカーテン領域４２、４３、Ｈ、Ｄに侵入した監視対象物１２の高さを検知することができる。
【００１９】
上記目的を達成するために、請求項６に係る発明による監視方法は、例えば図１に示すように、三次元の監視空間に接近する監視対象物を検知し検知信号を出力する監視方法であって、監視空間１０を撮像した複数の像に基づき差画像２４、２５を形成し、監視対象物１２の高さ及び移動方向を演算する監視対象物１２の移動演算工程と、移動演算工程の演算結果に基いて、監視対象物１２が監視領域４２、４３への接近を検知し検知信号１４を出力する接近報知工程と、を備える。
【００２０】
このように構成すると、監視対象物１２の高さ及び移動方向に基づき、監視対象物１２が監視領域４２、４３への接近を検知し検知信号１４を出力する。
【００２１】
上記目的を達成するために、請求項７に係る発明による請求項６に記載の監視方法は、例えば図１に示すように、監視空間１０に設定したマスク領域５０をマスク画像処理し、監視対象物１２の接近を検知するマスク画像処理工程をさらに備える。
【００２２】
このように構成すると、監視空間１０に設定したマスク領域５０の映像信号を除去し、監視対象物１２の接近を検知することができる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００２４】
図１は、本発明による実施の形態である監視装置１の模式的な斜視図である。図中監視対象物１２は、床面上に直立し、各種組立て機械、大型機械、工作機械、自動車組立てライン、工業用ロボットのような制御機械３６が設置されている監視領域としての危険箇所１０の方向を観察している。本実施の形態では、監視対象物１２は、人物の指、手、腕、胴体、人物が身に付けている工具や部材である。
【００２５】
制御機械３６は、矢印３８で示す右水平旋廻方向にアームを旋廻させ、矢印４０で示す左水平旋廻方向にアームを旋廻させ、アームで保持した物品を危険箇所１０内の物品装荷テーブル４４へ移送するように構成している。
【００２６】
また、危険箇所１０の中央部分にマスク領域を設定し、監視対象物１２と危険箇所１０との間に、床面上で鉛直方向に見えないカーテン領域を形成している。この見えないカーテン領域は、危険箇所１０を水平３６０度方向から包囲する外縁部４２と内縁部４３と幅Ｄと高さＨを有し、第１の撮像装置としての第１のＣＣＤカメラ１６と第２の撮像装置としての第２のＣＣＤカメラ１８により撮像されている。第１の撮像素子と第２の撮像素子は、典型的にはＣＣＤカメラを用いることができるが、ＣＭＯＳセンサを用いてもよい。
【００２７】
同時に第１と第２のＣＣＤカメラは、制御機械３６を真上から撮像し、又は所定の角度を持たせて上方から撮像する。この第１と第２のＣＣＤカメラ１６、１８は、所定の間隔ｗだけ離して設置され、両ＣＣＤカメラは所定の視差をもって見えないカーテン領域を撮像している。
【００２８】
第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、信号線を通じて制御装置２に接続され、撮像した撮像信号をシリアル方式で制御装置２に送信している。
【００２９】
制御装置２は、内部に、インターフェースＩ／Ｆ部１９、演算部３０、報知部３２、記憶装置を有し、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８から受信した撮像信号をＩ／Ｆ部１９を介して演算部３０に渡し、演算部３０が撮像信号を記憶装置へ送り記憶させる。
【００３０】
上記記憶装置には、第１のＣＣＤカメラ１６で撮像した撮像信号を記憶する第１の時刻の撮像信号記憶部２０と第２の時刻の撮像信号記憶部２１、第２のＣＣＤカメラ１８で撮像した撮像信号を記憶する第１の時刻の撮像信号記憶部２２と第２の時刻の撮像信号記憶部２３、第１のＣＣＤカメラ１６による差画像を記憶する第１の差画像記憶部２４、第２のＣＣＤカメラ１８による差画像を記憶する第２の差画像記憶部２５、見えないカーテン領域に侵入した監視対象物１２の高さ又は床面の高さを記憶する高さ記憶部２６、監視対象物１２の移動距離を記憶する移動距離記憶部２７、外部から設定する監視領域１０内のマスク領域のマスクアドレスを記憶するマスクアドレス記憶部２８を備える。
【００３１】
報知部３２は、外部の制御部３４を介して制御機械３６に接続され、報知信号１４を送信し制御機械３６の制御信号をＯＦＦにするように構成している。
【００３２】
図２の模式的な平面図を参照して、監視領域としての危険箇所１０のマスク処理について説明をする。監視装置１は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８で危険箇所１０を撮像し、同時に第１及び第２のＣＣＤカメラの画角に入る人物１２、見えないカーテン領域、制御機械３６の旋廻半径領域、物品装荷テーブル４４の高さ情報を取得する。
【００３３】
監視装置１は、制御装置２により任意の範囲を見えないカーテン領域とマスク領域に設定することができる。制御装置２は、例えば、パーソナルコンピュータやマイクロプロセッサのようなソフトウエアプログラムにより制御処理を変更できるハードウエアで構成し、制御機械３６を真上又は所定の角度から撮像する位置に第１の及び第２のＣＣＤカメラを設置し、危険箇所１０の映像をモニタで見ながら、図中破線で囲まれたマスク領域５０を任意の位置に設定することができる。
【００３４】
本実施の形態では、制御機械３６のアームが制御機械３６の据付け位置を中心軸として旋廻する旋廻半径の最大値をマスク領域５０の外周位置に設定し、第１及び第２のＣＣＤカメラで撮像しているマスク領域５０内の撮像信号を画像処理から除去することができる。
【００３５】
また、マスク領域５０を水平３６０度方向から包囲する図中ハッチングで示した見えないカーテン領域の外縁部４２と内縁部４３とを水平アドレス（ＸＹ直交座標）と垂直アドレス（Ｚ座標）で設定し、マスク領域５０を幅Ｄの見えないカーテン領域で囲み、この幅Ｄの範囲に侵入した人物１２の指、手、腕、胴体等の高さの経時的変化を測定する。
【００３６】
したがって、見えないカーテン領域の外側に直立している人物１２は、第１及び第２のＣＣＤカメラによって撮像されているが、マスク領域５０と同様に人物１２の撮像信号を画像処理から除去することができる。
【００３７】
上記実施の形態では、人物１２との距離を測定して人物１２の接近を検出する距離検出装置としての第１及び第２のＣＣＤカメラ１６、１８は、典型的には撮像装置を２式備え三角法で距離を測定するパッシブ型距離検出装置であるが、アクティブ型距離検出装置であってもよい。アクティブ型距離検出装置は、例えば、レーザービーム投射装置と、レーザービーム投射装置で投射された監視対象物上の光スポットを撮像する撮像装置とを含んで構成される。また、レーザービームを、波長が赤外線領域等の非可視光とすれば、監視対象物上の光スポットは見えないので煩わしさを排除することができる。したがって、アクティブ型距離検出装置により見えないカーテン領域を形成することもできる。
【００３８】
上記カーテン領域は、床面に垂直方向に立設された平面又は円筒状曲面として説明したが、設定する距離は任意であるので、カーテン領域は自由な曲面、例えば、半球状に形成することもできる。
【００３９】
さらに、カーテン領域は外縁部４２と内縁部４３とに挟まれた厚さＤを有する領域として説明したが、これに限らず外縁部４２と内縁部４３が一致した、又は外縁部４２のみ、又は内縁部４３のみの、厚さがゼロの領域であってもよい。そのときは監視対象物１２がカーテン領域を通過するか否かで検知信号を出力する。
【００４０】
図１及び図２を参照して、監視装置１の動作について説明をする。第１のＣＣＤカメラ１６は所定本数の走査線を有し、第２のＣＣＤカメラ１８は所定本数の走査線を有し、両ＣＣＤカメラ１６、１８は走査線方向を共通に並列に設置されている。また、本実施の形態では、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、別体として説明するが一体として構成してもよい。マスク領域５０を囲むカーテン領域は、外縁部４２と内縁部４３とに挟まれた厚さＤを有する領域であり、第１及び第２のＣＣＤカメラは、このカーテン領域内を移動する人物１２を撮像する。
【００４１】
また、第１と第２のＣＣＤカメラの走査線の本数は、典型的には同数であり、各ＣＣＤカメラの走査線の本数は、例えば、約５００本有し、各走査線には約５００ピクセルの画素を備えている。また本実施の形態では、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、天井に設置しているが、壁に角度をもたせて監視空間に向けて設置してもよい。
【００４２】
制御装置２は、演算部３０を備えており、監視装置としての監視システム１全体を制御している。また、制御装置２に接続された記憶装置は、第１及び第２のＣＣＤカメラで測定する測定距離と比較すべき基準距離を、例えば高さ記憶部２６に記憶する。この基準距離は、監視時点の過去の時点の距離であればよく、典型的には見えないカーテン領域に人物１２が存在しない状態のいわば背景（床）の距離であるが、それに限らず、例えば周期的に背景の距離を検知している場合の１コマ分だけ前の距離であってもよい。
【００４３】
制御装置２は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８から撮像信号を受信し、互いに対応する走査線上に形成された画像を同期させて抽出する。また、同期させる走査線は、各ＣＣＤカメラが有する５００本の走査線を抽出してもよく。見えないカーテン領域を所定の間隔に区切る本数でもよい。
【００４４】
例えば、人物１２の胴を検出する場合は約１００ｍｍ間隔の映像を撮像する走査線を抽出し、人物１２の手を検出する場合は約５０ｍｍ間隔の映像を撮像する走査線を抽出し、人物１２の指を検出する場合は約１０ｍｍ間隔の映像を撮像する走査線を抽出するように個別に設定することもでき、人物１２の何れかの部位が見えないカーテン領域に侵入したことを検知するには、少なくとも各ＣＣＤカメラの走査線が約５００本としたときに、等間隔毎に１本を選択し約２０本の走査線を抽出すればよい。
【００４５】
また、カーテン領域は床面に垂直方向に立設された平面又は円筒状曲面として説明したが、設定する距離は任意であるので、カーテン領域は自由な曲面、例えば半球状に形成することもできる。
【００４６】
上記カーテン領域は、外縁部４２と内縁部４３とに挟まれた厚さＤを有する領域として説明したが、これに限らず外縁部４２と内縁部４３が一致した、又は外縁部４２のみ、又は内縁部４３のみの、厚さがゼロの領域であってもよい。そのときは監視対象物がカーテン領域を通過するか否かで検知信号を出力する。
【００４７】
さらに、同期させる走査線は、各走査線を時系列的に抽出するとよい。また、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８から走査線を抽出する際には、外部からの同期信号で抽出処理を行うようにすると、対応する走査線を抽出して処理する回路を簡略化ができ、ソフトウエア的な処理も容易となる。
【００４８】
制御装置２は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の各々について、異なるＴ０とＴ１の時刻に撮像された撮像信号を受信し、第１のＣＣＤカメラ１６がＴ０時刻に撮像した撮像信号を第１の時刻の撮像信号記憶部２０へ記憶し、第２のＣＣＤカメラ１８がＴ０時刻に撮像した撮像信号を第１の時刻の撮像信号記憶部２２へ記憶する。
【００４９】
また、制御装置２は、第１のＣＣＤカメラ１６がＴ１時刻に撮像した撮像信号を第２の時刻の撮像信号記憶部２１へ記憶し、第２のＣＣＤカメラ１８がＴ１時刻に撮像した撮像信号を第２の時刻の撮像信号記憶部２３へ記憶する。
【００５０】
演算部３０は、各撮像信号に含まれる走査線上に形成される各画像の画像情報から差画像を形成する差画像形成手段としての機能を備えている。画像情報は、典型的には画像を構成する画素の画素値である。
【００５１】
演算部３０は、第１のＣＣＤカメラ１６の撮像信号を記憶する撮像信号記憶部２０と２１からＴ０とＴ１の撮像信号を各々読み出し、各撮像信号に含まれる走査線上に形成された各画像の画像情報から差画像を形成し第１の差画像記憶部２４に記憶する。また、第２のＣＣＤカメラ１８の撮像信号を記憶する撮像信号記憶部２２と２３からＴ０とＴ１の撮像信号を各々読み出し、各撮像信号に含まれる走査線上に形成された各画像の画像情報から差画像を形成し第２の差画像記憶部２５に記憶する。
【００５２】
差画像を形成するための２つの画像は、撮像時刻Ｔ０から所定の時間だけ遅れた撮像時刻Ｔ１により各々取得するが、ずらす遅延時間は、人物１２の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０秒〜１／３秒）とする。このような差画像を演算して取得すると人物１２の背景が除去され動きのある人物１２の像だけを抽出することができる。
【００５３】
また、演算部３０は、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段としての機能を備えている。
【００５４】
各ＣＣＤカメラの走査線上に各々形成された画像は、背景は動くことがないので、動いている人物１２の境界部はその画素値が急激に変化する。そこで、演算部３０は、第１の差画像記憶部２４と第２の差画像記憶部２５から各差画像を読み出し、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を人物１２の境界とみなすことができる。ここで、境界を最大の領域としたのは、人物１２が身に付けている服装、手袋等の模様の動きにより、境界部以外にも区切られた領域の中で、閾値の小さい画素値が変化する場合があるからである。
【００５５】
また、演算部３０は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８により撮像された各々の画像に対応する差画像から抽出された最大の領域同士の相関出力値を算出する相関出力算出手段としての機能を備えている。演算部３０は、演算した相関出力値に基づきＣＣＤカメラと人物１２までの距離を算出する。
【００５６】
演算部３０は、例えば、走査線により形成された差画像から抽出された最大の領域の画像情報を抽出し、人物１２の動きによって、コントラストの変化が激しかった点を特定する。また、第１のＣＣＤカメラ１６の走査線と同様に、第２のＣＣＤカメラ１８の走査線上に形成された差画像の最大領域の画像情報を抽出する。各々抽出された差画像の最大領域の画像情報を比較した場合、両ＣＣＤカメラの視差の関係から僅かに差画像の最大領域の位置が異なる領域画像を抽出したことが判明する。
【００５７】
引き続き、演算部３０は、第１のＣＣＤカメラによる差画像と第２のＣＣＤカメラによる差画像との相関処理を施し、その相関ピークが最大になった位置を計測することにより、２つの差画像間の平均的な相関出力値、または、抽出された領域のほぼ中心の相関出力値を演算し取得する。
【００５８】
ここで相関出力値とは、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８との視差により発生する相対的結像位置差のことであり、相関処理により、典型的には画素数で出力される値である。演算部３０は、この相関出力値により第１のＣＣＤカメラの走査線と第２のＣＣＤカメラの走査線との視差に基づき、三角法を用いてＣＣＤカメラと人物１２との距離を算出する。
【００５９】
また、相関処理とは、第１のＣＣＤカメラの走査線と第２のＣＣＤカメラの走査線からそれぞれ得られた画像のどちらか一方を、２つの画像がほぼ一致するまで画素単位でずらして、そのずらした量を例えば画素数により示して算出する処理である。２つの差画像が一致するか否かの判定は、一方の差画像を固定し他方の差画像をずらしながら比較したときに重なり合う信号全体の強さに基いて実行する。信号がピークになった座標が一致点であり相関ピーク位置である。
【００６０】
相関処理は、第１のＣＣＤカメラ１６、第２のＣＣＤカメラ１８により撮像された各々の画像に対応する差画像を適正な値で２値化し、そのエッジ部を抽出する事により、動きのある領域部分を抽出し、この抽出領域のみで相関処理を施すように構成してもよい。このように構成すると、相関処理は、２値化した差画像を用いるので、演算処理速度を向上させることができる。
【００６１】
演算部３０は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８により撮像された各々の画像に対応する差画像から抽出された最大の領域の中で、それぞれ閾値より大きな画素の対応を求め、対応する画素の位置ずれに基づき、ＣＣＤカメラと人物１２までの距離を算出するようにしてもよい。この場合、演算部３０は、前述のように差画像から抽出された最大の領域同士の相関出力値を算出せず、最大の領域の中で、それぞれ閾値より大きな画素の対応を求め、対応する画素の位置ずれを算出する。
【００６２】
演算部３０は、対応する画素の位置ずれ即ちＣＣＤカメラの視差から三角法を用いてＣＣＤカメラから人物１２までの距離を算出する。これにより、演算部３０は、例えば、閾値を超えた画素に対して、同じ方向から番号付けを行い、対応した番号の画素同士の位置ずれから視差を求めることができる。
【００６３】
このように構成することで、演算部３０は、相関処理を省略し、非常に簡単な処理で視差を算出することができる。また演算部３０は、例えば、抽出した領域内の模様等によるコントラストの変化によって、閾値を超える画素が多く検出された場合には、上述したエッジ部以外には番号付けを行なわないように処理する。これにより、視差による影響で対応する番号の画素が、本来対応すべき画素とずれてしまうことにより、位置ずれの値に誤差が生じてしまう現象を低減することができる。これは、人物１２までの距離が短いことで視差が大きくなった場合にも有効である。
【００６４】
図３は、本発明による他の実施の形態である監視装置１の模式的な斜視図である。図中人物１２は、床面上に直立し、昇降機としてのエレベータ５４の方向に向いている。本実施の形態でも監視対象物は、人物１２の指、手、腕、胴体等である。
【００６５】
図示したエレベータ５４は、開閉扉としてのドアに向かって右側に昇降ボタン５５と、ドアの鉛直上方の壁５２表面にエレベータ５４が停止している階数表示ランプ５３を備えている。エレベータ５４は１階の階数表示ランプ５３を点灯させ１階に停止し、ドアを閉めた状態で待機している。
【００６６】
第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は所定の間隔ｗだけ離し、天井又は壁に所定の角度をもたせてエレベータ５４前の通路方向に向けて設置されている。また、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８のビデオ出力信号は上述した実施の形態と同様に制御装置２へ送信しているので、重複する説明は省略する。
【００６７】
第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、エレベータ５４前の通路をカバーする画角を有し、見えないカーテン領域５７を監視する。見えないカーテン領域５７は、ドア近傍に設定され、高さＨと、ドア側の内縁部４３と、通路側の外縁部４２と、内縁部４３と外縁部４２に挟まれた幅Ｄで構成し、通路からドア方向に侵入する人物１２を検出する。
【００６８】
また、上記見えないカーテン領域５７に隣接する通路側にはマスク領域５０が設定され、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８から送信されるステレオビデオ出力信号は、制御装置２により除去されるように構成されている。マスク領域５０の処理は上述した実施の形態と同様の処理を用いることができるので、重複する説明は省略する。
【００６９】
制御装置２は、通路を歩行するだけの人物とエレベータ５４を利用する人物とをマスク領域５０と見えないカーテン領域５７を用いて識別する。すなわち、１階の通路を歩行中の人物１２がドア前の見えないカーテン領域５７に侵入しながら、ドアに接近する経時的な人物１２の位置変化を測定することによりエレベータ５４の利用者として判定する。判定結果に基き、人物１２の接近を探知した制御装置２はエレベータ５４へ検出信号を出力し、１階に停止しているエレベータ５４のドアを開扉させる。
【００７０】
見えないカーテン領域５７は、人物１２の手が昇降ボタン５５へ届かない程度の範囲で設定し、例えば、ドア前の６０から１００センチメートルの幅Ｄで人物１２の接近を検知するように構成する。このように構成した場合、人物１２が昇降ボタン５５を操作する前に自動的にエレベータ５４のドアを開扉させるため、人物１２が見えないカーテン領域を歩行している段階で他の階からエレベータ５４の呼出信号が送信されても、人物１２は余裕をもってエレベータ５４に搭乗させることができる。
【００７１】
マスク領域５０は、見えないカーテン領域５７に隣接した通路側に設定し、且つ、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の画角に入る三次元の監視空間をマスクするように構成する。制御装置２は、このマスク領域５６に人物１２が侵入した時点ではステレオ画像中の人物像を除去しているため、差画像の比較処理による人物１２の位置情報の演算処理を実行しない。
【００７２】
したがって、マスク領域５６内を歩行するだけの人物１２を検知しエレベータ５４のドアを誤って開扉することを防止する。また、エレベータ５４が昇降動作へ移る直前にマスク領域５０へ人物１２が侵入しても、閉まりかけたドアが開くという誤動作も防止することができる。
【００７３】
上記実施の形態では、２台のＣＣＤカメラ１６、１８を天井や壁の上方に設置し、三次元の監視空間としてのエレベータ５４を監視するように構成したが、実施の変形例として、例えば、エレベータ５４の前方を横方向に監視するように２台のＣＣＤカメラを設置することもできる。
【００７４】
典型的には、昇降ボタン５５に２台のＣＣＤカメラを図中の人物１２の方向へ角度を持たせて設置し、通路の人物１２の接近を監視するように構成し、エレベータ５４に対向する壁や窓等の背景と人物１２とのコントラストの差からエッジを抽出する。
【００７５】
このように構成すると、床面と人物１２とのコントラストの差が小さい場合に比して高い確率で背景と人物１２とのコントラストを得ることができる。しかも、人物１２の頭部から足先までに対応するＣＣＤカメラの走査線に対応する画像が得られるため、複数の走査線の画像情報を平均化し監視精度を高めることができる。
【００７６】
例えば、ＣＣＤカメラの走査線の本数をαとした場合、このα値を平均化することで画像情報の標準偏差はルートα分の１の精度が得られ、監視装置の信頼性を向上させることができる。この場合、人物１２の背景の動きや通路を歩行中の他の人物を同時に撮像することとなるが、２台のＣＣＤカメラ１６、１８で撮像した画像情報に基づき、動く背景、他の人物、及び人物１２とＣＣＤカメラとの距離を演算処理し、所定の距離以下の監視対象物である人物１２だけの接近距離を抽出し、他の動きのある画像情報を除去するように構成する。
【００７７】
このように所定の距離以下の領域５７に接近する人物の距離情報を抽出することにより、エレベータ５４から離れた距離にマスク領域５６を設定することができる。
【００７８】
図４のフローチャートを参照して、時空間画像の取得方法を例示する。ここで、左画像は第１のＣＣＤカメラ１６で撮像された画像であり、右画像は第２のＣＣＤカメラ１８で撮像された画像として説明する。処理はスタートステップＳ１０から開始し、ステップＳ１１で制御装置２は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８で撮像された左画像と右画像を、撮像装置用インターフェイスＩ／Ｆ１９を介してステレオ画像として取得する。また、取得したステレオ画像はマスク処理を施し見えないカーテン領域に囲まれたマスク領域５０と見えないカーテン領域の外側の画像情報を除去する。
【００７９】
制御装置２は、見えないカーテン領域内の人物１２を時点ｔに撮像した第１の画像であるｔフレームの左画像を取得する（ステップＳ１３）。次に、所定時間のΔｔが経過した時点ｔ＋Δｔに撮像された第２の画像であるｔ＋Δｔフレームの左画像を取得する（ステップＳ１４）。引き続き、ｔフレームの左画像とｔ＋Δｔフレームの左画像との差画像を抽出する（ステップＳ１５）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ１６）を施してから、後続のステップＳ２１の相関処理に移行する。
【００８０】
また、制御装置２は、見えないカーテン領域内の人物１２を時点ｔに撮像した第３の画像であるｔフレームの右画像を取得する（ステップＳ１７）。次に、所定時間のΔｔ経過した時点ｔ＋Δｔに撮像した第４の画像であるｔ＋Δｔフレームの右画像を取得する（ステップＳ１８）。引き続き、ｔフレームの右画像とｔ＋Δｔフレームの右画像との差画像を抽出する（ステップＳ１９）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ２０）を施してから、後続のステップＳ２１の相関処理に移行する。
【００８１】
本実施の形態では、第１のＣＣＤカメラと第２のＣＣＤカメラは同時並列的に各時点（ｔ、ｔ＋Δｔ）で撮像を行う。この場合Δｔは、計数装置の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。
【００８２】
次に、ｔフレームの左画像のコントラストが強い人物１２の輪郭を用いてｔフレームの右画像の対応点を探索し相関処理を実行する（ステップＳ２１）。この相関処理により得られた対応点から、高さ情報を算出する（ステップＳ２２）。例えば、左画像と右画像を一致させる画素数に基づき人物１２の高さを演算出力する。
【００８３】
上記ステップＳ２２により得られた高さ情報を時間軸に対応させて、人物１２又はその部位の高さ情報を含む時空間画像を作成する（ステップＳ２３）。
【００８４】
引き続き、直前の時刻に作成した時空間画像と現在の時空間画像とを比較し、現在の時空間画像の中に存在する人物１２またはその部位が危険箇所１０に接近したか否かを人物１２又はその部位の輪郭を示す画素アドレスに基づいて判定する。（ステップ２４）。例えば、人物１２の輪郭アドレスが、図１に示す見えないカーテン領域幅Ｄの外縁部４２のアドレスから遠ざかり内縁部４３のアドレスに近づく場合は（ステップ２４がＹｅｓ）、人物１２又はその部位が危険箇所１０に接近していると判定してステップ２５へ分岐し、検出信号を制御部３４へ出力し制御機械３６の制御信号をＯＦＦ状態へ遷移させ、ステップ２６へ移行して処理を終了させることができる。
【００８５】
また、エレベータ５４に応用する場合は、人物１２の輪郭アドレスが、図３に示す見えないカーテン領域幅５７の外縁部４２のアドレスから遠ざかり内縁部４３のアドレスに近づく場合は（ステップ２４がＹｅｓ）、人物１２又はその部位がエレベータ５４に接近していると判定してステップ２５へ分岐し、検出信号をエレベータ５４のドア開閉制御部（不図示）へ出力しエレベータ５４のドアを開扉させ、ステップ２６へ移行して処理を終了させることができる。
【００８６】
一方、人物１２の輪郭アドレスと、図１に示す見えないカーテン領域幅Ｄの外縁部４２のアドレス及び内縁部４３のアドレスと比較し、カーテン領域幅Ｄの中で人物１２が停止している若しくは外縁部４２のアドレスに近づく場合は（ステップ２４がＮｏ）、節点Ｎ１２へ分岐し次の時刻のフレームを取得する。さらに時空間画像を時間軸に対応させて、人物１２の高さ情報を含む時空間画像を作成する（ステップＳ２３）。
【００８７】
また、図３に示す監視装置を用いて上記ステップ２５の判断条件を説明する。人物１２がエレベータ５４のドア方向に進み、マスク領域５０を通過し見えないカーテン領域幅Ｄに侵入している場合は、人物１２の輪郭アドレスが、図３に示す見えないカーテン領域幅Ｄの外縁部４２のアドレスから遠ざかり内縁部４３のアドレスに近づく場合は（ステップ２４がＹｅｓ）、人物１２又はその部位がエレベータ５４に接近していると判定してステップＳ２５へ分岐し、検出信号をエレベータ５４へ出力しドアの開扉制御信号をＯＮ状態へ遷移させドアを開扉させる。その後ステップ２６へ移行して処理を終了させる。
【００８８】
一方、人物１２の輪郭アドレスと、図３に示す見えないカーテン領域幅Ｄの外縁部４２のアドレス及び内縁部４３のアドレスと比較し、カーテン領域幅Ｄの中で人物１２が停止している若しくは外縁部４２のアドレスに近づく場合は（ステップ２４がＮｏ）、節点Ｎ１２へ分岐し次の時刻のフレームを取得する。さらに時空間画像を時間軸に対応させて、人物１２の高さ情報を含む時空間画像を作成する（ステップＳ２３）。
【００８９】
ここで、図５の模式的なブロック図を参照して、三角法を用いたＣＣＤカメラと人物１２との距離の算出方法について、鉛直上方から人物１２を撮像したときの距離（高さ）の測定方法を例示する。ここで、ｗは第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８との光軸間距離（基線長）、ｆは各ＣＣＤカメラの受光レンズを単一レンズとしたときそのレンズの焦点距離、ｄはＣＣＤカメラの結像面上の視差とする。ここでの焦点距離ｆは、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離ｆとする。これにより対象とする人物１２とＣＣＤカメラとの距離ａは次式で算出できる。
ａ ＝ ｗ × ｆ／ｄ ………（１）
【００９０】
このようにして、第１と第２のＣＣＤカメラ１６、１８からステレオ画像を取得したセンサ制御部６０は、内部の差画像形成部６２により第１のＣＣＤカメラ１６の差画像と第２のＣＣＤカメラ１８の差画像を形成し、この２つの差画像を相関出力演算部６４により相関処理し、相関処理信号を制御装置２へ出力することにより、ＣＣＤカメラから人物１２までの距離を算出する。また、予め測定した床とＣＣＤカメラとの基準距離ｈから人物１２までの距離を減算して人物１２の高さｚを算出し、高さｚ値を高さ記憶部２６に記憶する。また、センサ制御部６０を介さずに直接２台のＣＣＤカメラから映像信号を制御装置２へ送信するように構成することもできる。
【００９１】
図１に戻って、さらに監視システム１の動作について説明する。演算部３０は、高さ記憶部２６に記憶された高さ値ｚにより、人物１２を監視することができる。
【００９２】
また、演算部３０は、高さ記憶部２６に記憶された人物１２の高さ値ｚを時系列的に記憶し、それに基づき人物１２の位置情報、移動方向、姿勢等を判断するように構成する。すなわち、基準距離ｈと、ある時点の人物１２の高さ値ｚとを比較することにより、人物１２の存在、その位置情報、移動方向、姿勢等を判断することができるように構成する。
【００９３】
さらに、演算部３０は、最終的な人物１２の存在、その位置情報、移動方向、姿勢等の判断を、ＣＣＤカメラの走査線の中から抽出した複数の走査線にそれぞれに対応する判断結果から人物１２の位置情報を演算処理する。また人物１２の移動方向は、人物１２の位置の水平的な変化だけでなく、例えば、人物１２が立ったり座ったりするような鉛直的な変化も含むものとする。
【００９４】
上記実施の形態では、人物１２の鉛直上方に設置した２台のＣＣＤカメラで危険箇所１０を監視する監視装置１について説明をしたが、別の実施の形態として２台のＣＣＤカメラを危険箇所１０の周辺に位置する壁や柱に設置し、所定の角度をもたせて危険箇所１０に向けて見えないカーテン領域を監視することができる。
【００９５】
例えば、床面から高さＨの壁又は柱に２台のＣＣＤカメラを据付け、２台のＣＣＤカメラから見えないカーテン領域までの水平方向の距離をＬとし、この見えないカーテン領域に侵入する人物１２の指、手、腕、胴等の部位と、２台のＣＣＤカメラ１６、１８との距離がＡと測定されたときは、人物１２の部位からＣＣＤカメラ１６、１８の設置位置までの鉛直方向の高さＨ１と、壁又は柱からの距離Ｌ１は、次式で求めることができる。
Ｈ１＝ＡＨ／（Ｈ２＋Ｌ２）１／２ ………（２）
Ｌ１＝ＡＬ／（Ｈ２＋Ｌ２）１／２ ………（３）
【００９６】
また、人物１２の部位が危険箇所１０に向かって移動する位置情報は、算出した高さＨ１、距離Ｌ１や２台のＣＣＤカメラ１６、１８の距離測定方向により逐次演算処理し、経時的変化の前後を比較することにより人物１２の部位が見えないカーテン領域の中で制御機械３６の方向に近づく又は停止並びに遠ざかる状態を検出することができる。
【００９７】
さらに、人物１２の部位の位置は、任意に抽出した本数の走査線の各々に対応する見えないカーテン領域の位置からも大まかに捉えることができる。このように、見えないカーテン領域に存在する人物１２の部位の位置情報を算出することができる。なお、床面に垂直な方向に２台のＣＣＤカメラ１６、１８を配置すれば、カメラの取り付けた位置そのものを、人物１２の位置とし、ＣＣＤカメラからの距離を高さとすることで、位置情報を簡単に取得することもできる。
【００９８】
演算部３０が処理する人物１２の検出処理は、同一又は同一ではないＣＣＤカメラの走査線で直前の時刻に算出した人物１２の位置情報、例えば、１つ前の位置情報と所定の時間だけ遅れた時刻の位置情報と比較し、この人物１２の移動情報である移動距離と平均移動速度を算出する。
【００９９】
例えば、移動距離は、最新の位置情報と１つ前の時刻の位置情報の高さＨ１や距離Ｌ１のデータの差により、また、平均移動速度は、このデータの差を所定の時間だけ遅れた距離の測定間隔時間で除算した値となる。さらに、演算部３０で演算出力した人物１２の移動距離、移動方向、移動速度を移動距離記憶部２７に記憶する。
【０１００】
このようにして、演算部３０は、算出した人物１２の位置情報と移動情報から、見えないカーテン領域において、人物１２の存在、その姿勢、位置、移動状態を判断することができる。
【０１０１】
例えば、人物１２の部位が停止している状態や、人物１２の部位が危険箇所１０方向に接近している状態や、人物１２が危険箇所１０から遠ざかる状態を的確に判断でき、また、人物１２が低い高さで存在し、かつ停止している場合には、この人物１２は見えないカーテン領域内で倒れている状態にあると判断できる。
【０１０２】
このようにして監視システム１は、見えないカーテン領域内に侵入した人物１２の部位や、人物１２の存在と存在状態等を画像情報を経時的に測定することで的確に監視することができる。
【０１０３】
ＣＣＤカメラは、容易に画角を広くとること可能であるので、画角の広いものを用いることで、横方向の監視対象領域を十分に大きく取ることができる。このような監視システム１を、種々の施設の監視に適用し、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の画角を増減し見えないカーテン領域を任意の幅に設定することにより、例えば、動物園の檻の前に人物１２の手が伸びた状態を検知したり、美術館の作品に人物１２の手が近づいた状態を検知したり、関係者以外立ち入り禁止区域に部外者が接近する状態を検知したり、自動ドアに接近する人物を検知することができる。
【０１０４】
監視装置１を自動ドアの鉛直上方に設置した場合、ドアに接近する人物が見えないカーテン領域に侵入しドア方向に歩行している状態を検知した時点で自動ドアの開扉制御を実行する。また、見えないカーテン領域で人物が停止している状態を検知したときは、そのままドアを開扉状態に保持するように構成することにより、無用な開閉動作を繰り返すことを防止することができる。しかも、見えないカーテン領域を包囲するマスク領域に他の人物が侵入しても自動ドアは無用な開扉動作を実行しないため、自動ドアの電力消費を低減させることができる。
【０１０５】
図６の模式的な平面図を参照して、見えないカーテン領域で撮像した人物１２の手１２ａを検出する方法を説明する。
【０１０６】
演算部３０は、走査線抽出処理により、２台のＣＣＤカメラ１６、１８の画像情報の中から見えないカーテン領域に侵入した人物の手１２ａの像を適当な間隔で配分されるような本数の走査線７１から７７を抽出する。また、手１２ａが侵入していない場合の床面までの距離を基準距離として設定しておくとよい。
【０１０７】
このように、２台のＣＣＤカメラ１６、１８を設定することで、ＣＣＤカメラと手１２ａまでの距離を測定すると同時に、どの走査線が手１２ａを検出したかにより、手１２ａの存在、床面からの高さを判断することができる。また各ＣＣＤカメラの差画像を取得し、撮像された画像上の手１２ａの像を抽出することにより、抽出された手１２ａの像の画像上の位置から、見えないカーテン領域内の位置情報も取得することができる。
【０１０８】
図中左端の画像フレーム８０は、第１の時刻に撮像された手１２ａの像を相関処理し走査線に対応させて表示している。手１２ａは、外縁部４２を通過し、内縁部４３方向に進行している。第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の走査線に各々対応させて高さ情報を得た段階の映像である。手１２ａは、例えば、第１の走査線７１と第２の走査線７２の上で結像されている。
【０１０９】
画像フレーム８０の右側に所定の時間だけ遅れた第２の時刻に撮像した画像フレーム８１を示す。手１２ａは、例えば、第１から第４の走査線７１〜７４の上で結像されているため、見えないカーテン領域の内縁部４３方向へ移動している。
【０１１０】
画像フレーム８１の右側に所定の時間だけ遅れた第３の時刻に撮像した画像フレーム８２を示す。手１２ａは、例えば、第１から第７の走査線７１〜７７の上で結像されているため、さらに見えないカーテン領域の内縁部４３方向へ移動している。演算部３０は、このような内縁部４３方向へ移動する手１２ａの位置変化を検出し、報知部３２へ検知信号を出力するよう制御信号を送信する。
【０１１１】
画像フレーム８２の右側に所定の時間だけ遅れた第４の時刻に撮像した画像フレーム８３を示す。手１２ａは、例えば、第１から第８の走査線７１〜７８の上で結像されているため、さらに見えないカーテン領域の内縁部４３方向へ移動していることがわかる。既に演算部３０は、報知部３２へ検知信号を出力するよう制御信号を送信させているが、他の実施の形態として画像フレーム８２を演算出力した時点で検知信号の送信準備処理に入り、画像フレーム８３を演算出力し手１２ａが内縁部４３方向に移動している位置変化を再度確認してから検知信号を出力されるように制御してもよい。
【０１１２】
図７の模式的な平面図を参照して、見えないカーテン領域で撮像した人物１２の手１２ａを検出する方法をさらに説明する。図中左端の画像フレーム８４は、第１の時刻に撮像された手１２ａの像を相関処理し走査線に対応させて表示している。手１２ａは、外縁部４２を通過し、内縁部４３方向に進行している。第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の走査線に各々対応させて高さ情報を得た段階の映像である。手１２ａは、例えば、第１の走査線７１と第２の走査線７２の上で結像されている。
【０１１３】
画像フレーム８４の右側に所定の時間だけ遅れた第２の時刻に撮像した画像フレーム８５を示す。手１２ａは、例えば、第１から第４の走査線７１〜７４の上で結像されているため、見えないカーテン領域の内縁部４３方向へ移動している。
【０１１４】
画像フレーム８５の右側に所定の時間だけ遅れた第３の時刻に撮像した画像フレーム８６を示す。手１２ａは上記画像フレーム８５と同様の位置に停止している。演算部３０はこの段階では検知信号を出力させないように待機している。
【０１１５】
画像フレーム８６の右側に所定の時間だけ遅れた第４の時刻に撮像した画像フレーム８７を示す。手１２ａは上記画像フレーム８６と同様の位置に停止している。演算部３０はこの段階でも検知信号を出力させないように待機し、画像フレーム８７の走査線上の画素情報と後続の画像フレームの画素情報とを比較して、手１２ａが内縁部４３へ接近するか否かを監視する。
【０１１６】
ここで、２台のＣＣＤカメラ１６、１８の設置方法について説明する。まず監視装置１は、第１のＣＣＤカメラ１６の走査線と、この走査線に対応する第２のＣＣＤカメラ１８の走査線とがおよそ同一平面上に存在するように、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８との配置関係を定めるようにする。
【０１１７】
また、演算部３０は、第１のＣＣＤカメラ１６で手１２ａを走査する走査線と、第２のＣＣＤカメラ１８で手１２ａを走査する走査線に対して、相関値を演算する。演算された相関値が最大化されるように、第１のＣＣＤカメラ１６の走査線と第２のＣＣＤカメラ１８の走査線との位置対応関係を定める対応走査線選択処理を実行し、第１の差画像記憶部２４に記憶される走査線と第２の差画像記憶部２５に記憶される走査線の各アドレスを一致させるように走査線の先頭アドレスを決定し、第１の差画像記憶部２４又は第２の差画像記憶部２５若しくは不図示の先頭アドレス記憶領域内に先頭アドレスを記憶させる。
【０１１８】
ここで、２台のＣＣＤカメラの各々の走査線上に手１２ａが結像している場合、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、わずかに違う方向から手１２ａを撮像しているので、ほとんど変わらない画像が両方の走査線上に結像する。
【０１１９】
演算部３０は、２台のＣＣＤカメラからステレオ画像を受信し、例えば、第１のＣＣＤカメラ１６の走査線の任意の１本を選択する。この選択した走査線のライン信号と、第２のＣＣＤカメラ１８の走査線の第１ライン目のライン信号との相関処理を実行する。
【０１２０】
演算部３０による相関処理は、第１のＣＣＤカメラ１６内で選択した走査線のライン信号との相関処理を、第２のＣＣＤカメラ１８の走査線の第１ライン目から順番に最終ラインまで行なう。ここでの相関処理は、全体の信号の強さである相関値を基準に判定する。また相関処理は、第１のＣＣＤカメラ１６内で選択した走査線のライン信号と、第２のＣＣＤカメラ１８の第ｎ番目の走査線のライン信号との相関値が最大となるまで相関処理を繰り返して実行するように構成してもよい。ｎは、走査線の本数が例えば５００本の場合、１〜５００の自然数である。
【０１２１】
さらに、演算部３０は、対応走査線選択処理を実行し、相関処理により相関値が最大となるライン同士が対応している走査線であると判定しながら、第１のＣＣＤカメラ１６の走査線と第２のＣＣＤカメラ１８の走査線との位置対応関係を定める。例えば、演算部３０が第１のＣＣＤカメラ１６の第４番目の走査線と第２のＣＣＤカメラ１８の走査線の第７番目が対応している走査線であると判定した場合には、双方のＣＣＤカメラの走査線の位置対応関係は、そのまま第１のＣＣＤカメラ１６の５ライン目の走査線と第２のＣＣＤカメラの８ライン目の走査線１４が対応し、第１のＣＣＤカメラ１６の走査線の１００ライン目と第２のＣＣＤカメラ１８の走査線の１０３ライン目が対応する。
【０１２２】
また、監視装置１は、第１のＣＣＤカメラ１６の走査線と第２のＣＣＤカメラ１８の走査線の同じライン、例えば、第１と第２のＣＣＤカメラの４ライン目の走査線１３の相関値が最大となるように位置関係を定めてもよい。このようにすると、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の同じラインがおよそ同一平面の走査線が対応するように設置し、さらに相関値が最大となるように位置関係を定めるので、２台のＣＣＤカメラ１６、１８を効率良く、高精度に設置することができる。
【０１２３】
また、監視装置１は、２台のＣＣＤカメラ１６、１８の位置関係または双方の走査線との位置対応関係を定めた後に、２台のＣＣＤカメラ１６、１８の基線長ｗが設定値よりもずれた場合でも、予め定めた距離Ａ１を測定すれば、走査線方向のずれ分の補正を行うこともできる。この場合には、第１のＣＣＤカメラ１６の光軸と第２のＣＣＤカメラ１８の光軸の位置が走査線方向にＳだけずれているとすると、前述の式（１）を
ａ ＝ ｗ × ｆ／（ｄ＋Ｓ） ………（４）
とすることで走査線方向のずれを補正できる。
【０１２４】
このようにすれば、監視装置１は、正確に人物の手１２ａまでの距離を測定できるだけでなく、温度変化や経時変化があってＣＣＤカメラが僅かに動いたとしても、例えば、床の模様等を使って予め定めた距離Ａ１を測定することにより、正確さを維持することができる。また、この補正は、所定期間毎に繰り返し実行するとよい。
【０１２５】
以上では、２台のＣＣＤカメラ１６、１８の各々の走査線が対応するように設置する、または対応する走査線を選択する場合で説明したが、予め２台のＣＣＤカメラ１６、１８の各々の走査線が対応するように調整し、固定したものを用いるようにしてもよい。このようにすると、２台のＣＣＤカメラ１６、１８は、距離センサと同じような感覚で扱うことができるので、２台のＣＣＤカメラ１６、１８の設置が非常に簡便になる。
【０１２６】
以上のように監視装置１は、見えないカーテン領域にどの程度の大きさの人物１２又は手１２ａが侵入し、どのような人物１２又は手１２ａの状態（どの位置で、立っている、座っている、倒れている）にあるか、また、その人物１２は動いているか、停止しているのか、退出したかといった一連の動きを簡単な装置で追従することができる。この場合、基準距離からの差異を取得しているため、距離が比較的正確でなくても状態の判断に使うことはできる。
【０１２７】
また、監視装置１は、差画像を用いるため、例えば、人物１２に動きが無くなった場合には、領域の特定ができなくなるが、画像フレームの間隔を時間的に伸ばす等の方法で、一連の動きから総合的に人物１２の状態の判定をすることができる。
【０１２８】
したがって、静止しているまたは動きがゆっくりした人物１２の存在も自動的に監視できる。例えば、見えないカーテン領域に侵入した人物１２や手１２ａ等が動きの少ない場合に有効である。
【０１２９】
さらに、見えないカーテン領域の中に人物１２又は手１２ａが存在していない状態の場合の床面や壁までの距離を基準距離として設定しておき、その状態からの監視対象物の変化を追うことで、人物１２の状態を判断することができる。
【０１３０】
以上のような本実施の形態によれば、見えないカーテン領域の中の人物１２や手１２ａの状態を判断して、人物１２又は手１２ａが所定方向に移動していることや、不法侵入者が侵入しているといった監視を正確かつ非常に容易に行うことができる。しかも、ＣＣＤカメラより画像フレーム全体の情報を取得し処理することがないため、複雑かつ大容量の画像処理を必要とせず、比較的簡単なデジタル回路やアナログ回路、もしくはこれらの組み合わせで、非常に安価な装置を構築することができる。また抽出する走査線は、人物１２や手１２ａのプライバシーを守れる程度であるので、公共の施設での状態監視において非常に有効である。
【０１３１】
【発明の効果】
以上のように本発明によれば、監視空間１０に向けて設置され、第１の時刻と第１の時刻から所定の時間だけ遅れた第２の時刻とに監視対象物１２を撮像する第１の撮像装置１６と、第１の撮像装置から所定の間隔だけ離して、監視空間１０に向けて設置され、第１の時刻と第２の時刻とに監視対象物１２を撮像する第２の撮像装置１８と、第１の時刻に撮像された画像と第２の時刻とに撮像された画像との差画像を形成する差画像形成部６２と、差画像形成部６２で形成された、第１の撮像装置１６による像の差画像２４と第２の撮像装置１８による像の差画像２５に基いて、監視対象物１２の位置を演算する監視対象物の位置演算部３０と、位置演算部３０の演算結果に基いて、監視対象物１２が監視空間１０方向への接近を検知し検知信号を出力する接近報知部３２と、を備えるため、作業者の作業スペースを占有せずに、高精度の監視対象物の高さと移動方向の変化を監視する監視装置及び監視方法を提供する、という優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態である監視装置の模式的な斜視図である。
【図２】本発明の実施の形態である監視装置の模式的平面図である。
【図３】本発明の他の実施の形態である監視装置の模式的な斜視図である。
【図４】本発明の実施の形態の監視装置のフローチャート図である。
【図５】本発明の実施の形態の監視装置のブロック図である。
【図６】本発明の実施の形態の模式的な平面図である。
【図７】本発明の実施の形態の模式的な平面図である。
【符号の説明】
１ 監視装置
２ 制御装置
１０ 監視領域
１２ａ 手
１２ 人物
１６ 撮像装置
１８ 撮像装置
１９ 撮像装置用インターフェイス
２０ 撮像信号記憶部
２１ 撮像信号記憶部
２２ 撮像信号記憶部
２３ 撮像信号記憶部
２４ 差画像記憶部
２５ 差画像記憶部
２７ 移動距離記憶部
２８ マスクアドレス記憶部
３０ 演算部
３２ 報知部
３４ 制御部
４２ 外縁部
４３ 内縁部
５０ マスク領域
５６ マスク領域
５７ カーテン領域
６０ センサ制御部
６２ 差画像形成部
６４ 相関出力演算部
【発明の属する技術分野】
本発明は、監視装置に係り、特にＣＣＤカメラやＣＭＯＳセンサ等を用いて監視空間内に侵入する人体の指、手、腕、胴体等の高さや移動方向の変化を監視する監視装置及び監視方法に関するものである。
【０００２】
【従来の技術】
一般に、ライトカーテン方式の監視装置は、ポール状の投光器と受光器内に複数の光電センサを連続して並べ、危険箇所に隣接したエリアへ光のカーテンのような構成をした光センサにより、人体の指、手、腕を検知していた。この光センサは、人体によって投光器からの光線が遮られると安全回路の制御出力をＯＦＦに切り換え、工作機械等を緊急停止させて作業者の安全を確保していた。
【０００３】
また、ライトカーテンの検出距離は最長２０メートル、検出幅は３０センチメートルから２メートルの範囲に設定し、各種組立て機械、大型機械、工作機械、自動車組立てライン、工業用ロボットなどにおける危険箇所への人体の指、手、腕、胴体の侵入検知に用いられている。
【０００４】
【発明が解決しようとする課題】
以上のような従来のライトカーテン方式の監視装置は、上述の如く、ポール状の投光器と受光器を危険箇所に隣接した検知エリアに設置するため、組立てラインなどの有効スペースを減少させるという課題が存在する。
【０００５】
また、検知エリアを延長する毎に追加の投光器と受光器を設置するか、投光器と受光器との間で光軸をＬ字型又はＵ字型に偏光させるミラー板を設置するため、安全機器の設置費用が増加するという課題が存在していた。
【０００６】
そこで本発明は、作業者の作業スペースを占有せずに、高精度の監視対象物の高さと移動方向の変化を監視する監視装置及び監視方法を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による監視装置１は、例えば図１及び図５に示すように、三次元の監視空間に侵入する監視対象物を検出し検出信号を出力する監視装置であって、監視空間１０に向けて設置され、第１の時刻と第１の時刻から所定の時間だけ遅れた第２の時刻とに監視対象物１２を撮像する第１の撮像装置１６と、第１の撮像装置から所定の間隔だけ離して、監視空間１０に向けて設置され、第１の時刻と第２の時刻とに監視対象物１２を撮像する第２の撮像装置１８と、第１の時刻に撮像された画像と第２の時刻とに撮像された画像との差画像を形成する差画像形成部６２と、差画像形成部６２で形成された、第１の撮像装置１６による像の差画像２４と第２の撮像装置１８による像の差画像２５に基いて、監視対象物１２の位置を演算する監視対象物の位置演算部３０と、位置演算部３０の演算結果に基いて、監視対象物１２が監視空間１０方向への接近を検知し検知信号を出力する接近報知部３２と、を備える。
【０００８】
このように構成すると、監視対象物１２の位置を演算する監視対象物の位置演算部３０と、位置演算部３０の演算結果に基いて、監視対象物１２が監視空間１０方向への接近を検知し検知信号を出力する接近報知部３２とを備えるので、監視対象物１２が監視空間１０への位置変化を判定し検知信号を出力することができる。
【０００９】
上記目的を達成するために、請求項２に係る発明による請求項１に記載の監視装置１は、例えば図２に示すように、監視空間１０に設定したマスク領域５０をマスク画像処理し、監視対象物１２の接近を検知するマスク画像処理部２８をさらに備える。
【００１０】
このように構成すると、マスク領域５０をマスク画像処理し、マスク領域５０内の画像データの変化に拘わらず監視対象物１２の接近を検知する。また、監視領域１０を見えないカーテン領域で仕切り、見えないカーテン領域内を移動している監視対象物１２の位置変化に基づき、監視対象物１２の監視空間１０方向への接近を検知する。
【００１１】
上記目的を達成するために、請求項３に係る発明による請求項１乃至請求項２の何れか１項に記載の監視装置１は、例えば図１に示すように、位置演算部３０は、監視対象物１２の位置の経時的変化を検出し監視対象物１２の移動方向を演算する。
【００１２】
このように構成すると、監視対象物１２の位置の経時的変化を検出し監視対象物１２の移動方向を演算するため、移動中の監視対象物１２の位置の検出及び停止中の監視対象物１２の位置を検出することができる。
【００１３】
上記目的を達成するために、請求項４に係る発明による監視装置１は、例えば図１に示すように、三次元の監視空間に侵入する監視対象物を検出し検出信号を出力する監視装置であって、監視空間１０に向けて設置され、監視対象物１２までの距離を検出する距離検出装置１６、１８と、距離検出装置１６，１８で検出される距離に、距離検出装置１６、１８から見た方向ごとに所定の閾値を設定することにより、監視空間１０と監視対象物１２とを仕切るカーテン領域４２、４３、Ｈ、Ｄを設定する制御装置２とを備える。
【００１４】
ここで、距離検出装置１６，１８は、典型的には撮像装置を２式備え三角法で距離を測定するパッシブ型距離検出装置を用いてもよく。また、アクティブ型距離検出装置を用いてもよい。
【００１５】
このように構成すると、監視空間１０と監視対象物１２とを仕切るカーテン領域４２、４３、Ｈ、Ｄを設定する制御装置２とを備えるので、距離検出装置１６、１８を監視空間１０に向けて設置した後でも、カーテン領域を任意の範囲で設定することができる。
【００１６】
上記目的を達成するために、請求項５に係る発明による監視方法は、例えば図１に示すように、三次元の監視空間への監視対象物の浸入を監視する監視方法であって、所定の位置から監視対象物１２までの距離を検出する距離検出工程と、検出工程で検出される距離と所定の位置から見た方向ごとに設定する複数の所定の閾値とを比較する比較工程と、比較工程で、監視対象物１２までの距離が閾値を超えたと判断されたとき検知信号１４を出力する信号出力工程とを備え、設定された複数の所定の閾値は全体として監視空間１０と監視対象物１２とを仕切るカーテン領域４２、４３、Ｈ、Ｄを設定する。
【００１７】
ここで、カーテン領域は床面に垂直方向に立設された平面又は円筒状曲面でもよく。また、設定する距離は任意であるので、カーテン領域は自由な曲面、例えば半球状に形成してもよい。
【００１８】
このように構成すると、監視空間１０と監視対象物１２とを仕切るカーテン領域４２、４３、Ｈ、Ｄに侵入した監視対象物１２の高さを検知することができる。
【００１９】
上記目的を達成するために、請求項６に係る発明による監視方法は、例えば図１に示すように、三次元の監視空間に接近する監視対象物を検知し検知信号を出力する監視方法であって、監視空間１０を撮像した複数の像に基づき差画像２４、２５を形成し、監視対象物１２の高さ及び移動方向を演算する監視対象物１２の移動演算工程と、移動演算工程の演算結果に基いて、監視対象物１２が監視領域４２、４３への接近を検知し検知信号１４を出力する接近報知工程と、を備える。
【００２０】
このように構成すると、監視対象物１２の高さ及び移動方向に基づき、監視対象物１２が監視領域４２、４３への接近を検知し検知信号１４を出力する。
【００２１】
上記目的を達成するために、請求項７に係る発明による請求項６に記載の監視方法は、例えば図１に示すように、監視空間１０に設定したマスク領域５０をマスク画像処理し、監視対象物１２の接近を検知するマスク画像処理工程をさらに備える。
【００２２】
このように構成すると、監視空間１０に設定したマスク領域５０の映像信号を除去し、監視対象物１２の接近を検知することができる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００２４】
図１は、本発明による実施の形態である監視装置１の模式的な斜視図である。図中監視対象物１２は、床面上に直立し、各種組立て機械、大型機械、工作機械、自動車組立てライン、工業用ロボットのような制御機械３６が設置されている監視領域としての危険箇所１０の方向を観察している。本実施の形態では、監視対象物１２は、人物の指、手、腕、胴体、人物が身に付けている工具や部材である。
【００２５】
制御機械３６は、矢印３８で示す右水平旋廻方向にアームを旋廻させ、矢印４０で示す左水平旋廻方向にアームを旋廻させ、アームで保持した物品を危険箇所１０内の物品装荷テーブル４４へ移送するように構成している。
【００２６】
また、危険箇所１０の中央部分にマスク領域を設定し、監視対象物１２と危険箇所１０との間に、床面上で鉛直方向に見えないカーテン領域を形成している。この見えないカーテン領域は、危険箇所１０を水平３６０度方向から包囲する外縁部４２と内縁部４３と幅Ｄと高さＨを有し、第１の撮像装置としての第１のＣＣＤカメラ１６と第２の撮像装置としての第２のＣＣＤカメラ１８により撮像されている。第１の撮像素子と第２の撮像素子は、典型的にはＣＣＤカメラを用いることができるが、ＣＭＯＳセンサを用いてもよい。
【００２７】
同時に第１と第２のＣＣＤカメラは、制御機械３６を真上から撮像し、又は所定の角度を持たせて上方から撮像する。この第１と第２のＣＣＤカメラ１６、１８は、所定の間隔ｗだけ離して設置され、両ＣＣＤカメラは所定の視差をもって見えないカーテン領域を撮像している。
【００２８】
第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、信号線を通じて制御装置２に接続され、撮像した撮像信号をシリアル方式で制御装置２に送信している。
【００２９】
制御装置２は、内部に、インターフェースＩ／Ｆ部１９、演算部３０、報知部３２、記憶装置を有し、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８から受信した撮像信号をＩ／Ｆ部１９を介して演算部３０に渡し、演算部３０が撮像信号を記憶装置へ送り記憶させる。
【００３０】
上記記憶装置には、第１のＣＣＤカメラ１６で撮像した撮像信号を記憶する第１の時刻の撮像信号記憶部２０と第２の時刻の撮像信号記憶部２１、第２のＣＣＤカメラ１８で撮像した撮像信号を記憶する第１の時刻の撮像信号記憶部２２と第２の時刻の撮像信号記憶部２３、第１のＣＣＤカメラ１６による差画像を記憶する第１の差画像記憶部２４、第２のＣＣＤカメラ１８による差画像を記憶する第２の差画像記憶部２５、見えないカーテン領域に侵入した監視対象物１２の高さ又は床面の高さを記憶する高さ記憶部２６、監視対象物１２の移動距離を記憶する移動距離記憶部２７、外部から設定する監視領域１０内のマスク領域のマスクアドレスを記憶するマスクアドレス記憶部２８を備える。
【００３１】
報知部３２は、外部の制御部３４を介して制御機械３６に接続され、報知信号１４を送信し制御機械３６の制御信号をＯＦＦにするように構成している。
【００３２】
図２の模式的な平面図を参照して、監視領域としての危険箇所１０のマスク処理について説明をする。監視装置１は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８で危険箇所１０を撮像し、同時に第１及び第２のＣＣＤカメラの画角に入る人物１２、見えないカーテン領域、制御機械３６の旋廻半径領域、物品装荷テーブル４４の高さ情報を取得する。
【００３３】
監視装置１は、制御装置２により任意の範囲を見えないカーテン領域とマスク領域に設定することができる。制御装置２は、例えば、パーソナルコンピュータやマイクロプロセッサのようなソフトウエアプログラムにより制御処理を変更できるハードウエアで構成し、制御機械３６を真上又は所定の角度から撮像する位置に第１の及び第２のＣＣＤカメラを設置し、危険箇所１０の映像をモニタで見ながら、図中破線で囲まれたマスク領域５０を任意の位置に設定することができる。
【００３４】
本実施の形態では、制御機械３６のアームが制御機械３６の据付け位置を中心軸として旋廻する旋廻半径の最大値をマスク領域５０の外周位置に設定し、第１及び第２のＣＣＤカメラで撮像しているマスク領域５０内の撮像信号を画像処理から除去することができる。
【００３５】
また、マスク領域５０を水平３６０度方向から包囲する図中ハッチングで示した見えないカーテン領域の外縁部４２と内縁部４３とを水平アドレス（ＸＹ直交座標）と垂直アドレス（Ｚ座標）で設定し、マスク領域５０を幅Ｄの見えないカーテン領域で囲み、この幅Ｄの範囲に侵入した人物１２の指、手、腕、胴体等の高さの経時的変化を測定する。
【００３６】
したがって、見えないカーテン領域の外側に直立している人物１２は、第１及び第２のＣＣＤカメラによって撮像されているが、マスク領域５０と同様に人物１２の撮像信号を画像処理から除去することができる。
【００３７】
上記実施の形態では、人物１２との距離を測定して人物１２の接近を検出する距離検出装置としての第１及び第２のＣＣＤカメラ１６、１８は、典型的には撮像装置を２式備え三角法で距離を測定するパッシブ型距離検出装置であるが、アクティブ型距離検出装置であってもよい。アクティブ型距離検出装置は、例えば、レーザービーム投射装置と、レーザービーム投射装置で投射された監視対象物上の光スポットを撮像する撮像装置とを含んで構成される。また、レーザービームを、波長が赤外線領域等の非可視光とすれば、監視対象物上の光スポットは見えないので煩わしさを排除することができる。したがって、アクティブ型距離検出装置により見えないカーテン領域を形成することもできる。
【００３８】
上記カーテン領域は、床面に垂直方向に立設された平面又は円筒状曲面として説明したが、設定する距離は任意であるので、カーテン領域は自由な曲面、例えば、半球状に形成することもできる。
【００３９】
さらに、カーテン領域は外縁部４２と内縁部４３とに挟まれた厚さＤを有する領域として説明したが、これに限らず外縁部４２と内縁部４３が一致した、又は外縁部４２のみ、又は内縁部４３のみの、厚さがゼロの領域であってもよい。そのときは監視対象物１２がカーテン領域を通過するか否かで検知信号を出力する。
【００４０】
図１及び図２を参照して、監視装置１の動作について説明をする。第１のＣＣＤカメラ１６は所定本数の走査線を有し、第２のＣＣＤカメラ１８は所定本数の走査線を有し、両ＣＣＤカメラ１６、１８は走査線方向を共通に並列に設置されている。また、本実施の形態では、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、別体として説明するが一体として構成してもよい。マスク領域５０を囲むカーテン領域は、外縁部４２と内縁部４３とに挟まれた厚さＤを有する領域であり、第１及び第２のＣＣＤカメラは、このカーテン領域内を移動する人物１２を撮像する。
【００４１】
また、第１と第２のＣＣＤカメラの走査線の本数は、典型的には同数であり、各ＣＣＤカメラの走査線の本数は、例えば、約５００本有し、各走査線には約５００ピクセルの画素を備えている。また本実施の形態では、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、天井に設置しているが、壁に角度をもたせて監視空間に向けて設置してもよい。
【００４２】
制御装置２は、演算部３０を備えており、監視装置としての監視システム１全体を制御している。また、制御装置２に接続された記憶装置は、第１及び第２のＣＣＤカメラで測定する測定距離と比較すべき基準距離を、例えば高さ記憶部２６に記憶する。この基準距離は、監視時点の過去の時点の距離であればよく、典型的には見えないカーテン領域に人物１２が存在しない状態のいわば背景（床）の距離であるが、それに限らず、例えば周期的に背景の距離を検知している場合の１コマ分だけ前の距離であってもよい。
【００４３】
制御装置２は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８から撮像信号を受信し、互いに対応する走査線上に形成された画像を同期させて抽出する。また、同期させる走査線は、各ＣＣＤカメラが有する５００本の走査線を抽出してもよく。見えないカーテン領域を所定の間隔に区切る本数でもよい。
【００４４】
例えば、人物１２の胴を検出する場合は約１００ｍｍ間隔の映像を撮像する走査線を抽出し、人物１２の手を検出する場合は約５０ｍｍ間隔の映像を撮像する走査線を抽出し、人物１２の指を検出する場合は約１０ｍｍ間隔の映像を撮像する走査線を抽出するように個別に設定することもでき、人物１２の何れかの部位が見えないカーテン領域に侵入したことを検知するには、少なくとも各ＣＣＤカメラの走査線が約５００本としたときに、等間隔毎に１本を選択し約２０本の走査線を抽出すればよい。
【００４５】
また、カーテン領域は床面に垂直方向に立設された平面又は円筒状曲面として説明したが、設定する距離は任意であるので、カーテン領域は自由な曲面、例えば半球状に形成することもできる。
【００４６】
上記カーテン領域は、外縁部４２と内縁部４３とに挟まれた厚さＤを有する領域として説明したが、これに限らず外縁部４２と内縁部４３が一致した、又は外縁部４２のみ、又は内縁部４３のみの、厚さがゼロの領域であってもよい。そのときは監視対象物がカーテン領域を通過するか否かで検知信号を出力する。
【００４７】
さらに、同期させる走査線は、各走査線を時系列的に抽出するとよい。また、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８から走査線を抽出する際には、外部からの同期信号で抽出処理を行うようにすると、対応する走査線を抽出して処理する回路を簡略化ができ、ソフトウエア的な処理も容易となる。
【００４８】
制御装置２は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の各々について、異なるＴ０とＴ１の時刻に撮像された撮像信号を受信し、第１のＣＣＤカメラ１６がＴ０時刻に撮像した撮像信号を第１の時刻の撮像信号記憶部２０へ記憶し、第２のＣＣＤカメラ１８がＴ０時刻に撮像した撮像信号を第１の時刻の撮像信号記憶部２２へ記憶する。
【００４９】
また、制御装置２は、第１のＣＣＤカメラ１６がＴ１時刻に撮像した撮像信号を第２の時刻の撮像信号記憶部２１へ記憶し、第２のＣＣＤカメラ１８がＴ１時刻に撮像した撮像信号を第２の時刻の撮像信号記憶部２３へ記憶する。
【００５０】
演算部３０は、各撮像信号に含まれる走査線上に形成される各画像の画像情報から差画像を形成する差画像形成手段としての機能を備えている。画像情報は、典型的には画像を構成する画素の画素値である。
【００５１】
演算部３０は、第１のＣＣＤカメラ１６の撮像信号を記憶する撮像信号記憶部２０と２１からＴ０とＴ１の撮像信号を各々読み出し、各撮像信号に含まれる走査線上に形成された各画像の画像情報から差画像を形成し第１の差画像記憶部２４に記憶する。また、第２のＣＣＤカメラ１８の撮像信号を記憶する撮像信号記憶部２２と２３からＴ０とＴ１の撮像信号を各々読み出し、各撮像信号に含まれる走査線上に形成された各画像の画像情報から差画像を形成し第２の差画像記憶部２５に記憶する。
【００５２】
差画像を形成するための２つの画像は、撮像時刻Ｔ０から所定の時間だけ遅れた撮像時刻Ｔ１により各々取得するが、ずらす遅延時間は、人物１２の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１〜１０周期（１／３０秒〜１／３秒）とする。このような差画像を演算して取得すると人物１２の背景が除去され動きのある人物１２の像だけを抽出することができる。
【００５３】
また、演算部３０は、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を抽出する領域抽出手段としての機能を備えている。
【００５４】
各ＣＣＤカメラの走査線上に各々形成された画像は、背景は動くことがないので、動いている人物１２の境界部はその画素値が急激に変化する。そこで、演算部３０は、第１の差画像記憶部２４と第２の差画像記憶部２５から各差画像を読み出し、差画像を構成する各画素値の絶対値が、所定の閾値よりも大きな画素で区切られた領域の中で、最大の領域を人物１２の境界とみなすことができる。ここで、境界を最大の領域としたのは、人物１２が身に付けている服装、手袋等の模様の動きにより、境界部以外にも区切られた領域の中で、閾値の小さい画素値が変化する場合があるからである。
【００５５】
また、演算部３０は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８により撮像された各々の画像に対応する差画像から抽出された最大の領域同士の相関出力値を算出する相関出力算出手段としての機能を備えている。演算部３０は、演算した相関出力値に基づきＣＣＤカメラと人物１２までの距離を算出する。
【００５６】
演算部３０は、例えば、走査線により形成された差画像から抽出された最大の領域の画像情報を抽出し、人物１２の動きによって、コントラストの変化が激しかった点を特定する。また、第１のＣＣＤカメラ１６の走査線と同様に、第２のＣＣＤカメラ１８の走査線上に形成された差画像の最大領域の画像情報を抽出する。各々抽出された差画像の最大領域の画像情報を比較した場合、両ＣＣＤカメラの視差の関係から僅かに差画像の最大領域の位置が異なる領域画像を抽出したことが判明する。
【００５７】
引き続き、演算部３０は、第１のＣＣＤカメラによる差画像と第２のＣＣＤカメラによる差画像との相関処理を施し、その相関ピークが最大になった位置を計測することにより、２つの差画像間の平均的な相関出力値、または、抽出された領域のほぼ中心の相関出力値を演算し取得する。
【００５８】
ここで相関出力値とは、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８との視差により発生する相対的結像位置差のことであり、相関処理により、典型的には画素数で出力される値である。演算部３０は、この相関出力値により第１のＣＣＤカメラの走査線と第２のＣＣＤカメラの走査線との視差に基づき、三角法を用いてＣＣＤカメラと人物１２との距離を算出する。
【００５９】
また、相関処理とは、第１のＣＣＤカメラの走査線と第２のＣＣＤカメラの走査線からそれぞれ得られた画像のどちらか一方を、２つの画像がほぼ一致するまで画素単位でずらして、そのずらした量を例えば画素数により示して算出する処理である。２つの差画像が一致するか否かの判定は、一方の差画像を固定し他方の差画像をずらしながら比較したときに重なり合う信号全体の強さに基いて実行する。信号がピークになった座標が一致点であり相関ピーク位置である。
【００６０】
相関処理は、第１のＣＣＤカメラ１６、第２のＣＣＤカメラ１８により撮像された各々の画像に対応する差画像を適正な値で２値化し、そのエッジ部を抽出する事により、動きのある領域部分を抽出し、この抽出領域のみで相関処理を施すように構成してもよい。このように構成すると、相関処理は、２値化した差画像を用いるので、演算処理速度を向上させることができる。
【００６１】
演算部３０は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８により撮像された各々の画像に対応する差画像から抽出された最大の領域の中で、それぞれ閾値より大きな画素の対応を求め、対応する画素の位置ずれに基づき、ＣＣＤカメラと人物１２までの距離を算出するようにしてもよい。この場合、演算部３０は、前述のように差画像から抽出された最大の領域同士の相関出力値を算出せず、最大の領域の中で、それぞれ閾値より大きな画素の対応を求め、対応する画素の位置ずれを算出する。
【００６２】
演算部３０は、対応する画素の位置ずれ即ちＣＣＤカメラの視差から三角法を用いてＣＣＤカメラから人物１２までの距離を算出する。これにより、演算部３０は、例えば、閾値を超えた画素に対して、同じ方向から番号付けを行い、対応した番号の画素同士の位置ずれから視差を求めることができる。
【００６３】
このように構成することで、演算部３０は、相関処理を省略し、非常に簡単な処理で視差を算出することができる。また演算部３０は、例えば、抽出した領域内の模様等によるコントラストの変化によって、閾値を超える画素が多く検出された場合には、上述したエッジ部以外には番号付けを行なわないように処理する。これにより、視差による影響で対応する番号の画素が、本来対応すべき画素とずれてしまうことにより、位置ずれの値に誤差が生じてしまう現象を低減することができる。これは、人物１２までの距離が短いことで視差が大きくなった場合にも有効である。
【００６４】
図３は、本発明による他の実施の形態である監視装置１の模式的な斜視図である。図中人物１２は、床面上に直立し、昇降機としてのエレベータ５４の方向に向いている。本実施の形態でも監視対象物は、人物１２の指、手、腕、胴体等である。
【００６５】
図示したエレベータ５４は、開閉扉としてのドアに向かって右側に昇降ボタン５５と、ドアの鉛直上方の壁５２表面にエレベータ５４が停止している階数表示ランプ５３を備えている。エレベータ５４は１階の階数表示ランプ５３を点灯させ１階に停止し、ドアを閉めた状態で待機している。
【００６６】
第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は所定の間隔ｗだけ離し、天井又は壁に所定の角度をもたせてエレベータ５４前の通路方向に向けて設置されている。また、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８のビデオ出力信号は上述した実施の形態と同様に制御装置２へ送信しているので、重複する説明は省略する。
【００６７】
第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、エレベータ５４前の通路をカバーする画角を有し、見えないカーテン領域５７を監視する。見えないカーテン領域５７は、ドア近傍に設定され、高さＨと、ドア側の内縁部４３と、通路側の外縁部４２と、内縁部４３と外縁部４２に挟まれた幅Ｄで構成し、通路からドア方向に侵入する人物１２を検出する。
【００６８】
また、上記見えないカーテン領域５７に隣接する通路側にはマスク領域５０が設定され、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８から送信されるステレオビデオ出力信号は、制御装置２により除去されるように構成されている。マスク領域５０の処理は上述した実施の形態と同様の処理を用いることができるので、重複する説明は省略する。
【００６９】
制御装置２は、通路を歩行するだけの人物とエレベータ５４を利用する人物とをマスク領域５０と見えないカーテン領域５７を用いて識別する。すなわち、１階の通路を歩行中の人物１２がドア前の見えないカーテン領域５７に侵入しながら、ドアに接近する経時的な人物１２の位置変化を測定することによりエレベータ５４の利用者として判定する。判定結果に基き、人物１２の接近を探知した制御装置２はエレベータ５４へ検出信号を出力し、１階に停止しているエレベータ５４のドアを開扉させる。
【００７０】
見えないカーテン領域５７は、人物１２の手が昇降ボタン５５へ届かない程度の範囲で設定し、例えば、ドア前の６０から１００センチメートルの幅Ｄで人物１２の接近を検知するように構成する。このように構成した場合、人物１２が昇降ボタン５５を操作する前に自動的にエレベータ５４のドアを開扉させるため、人物１２が見えないカーテン領域を歩行している段階で他の階からエレベータ５４の呼出信号が送信されても、人物１２は余裕をもってエレベータ５４に搭乗させることができる。
【００７１】
マスク領域５０は、見えないカーテン領域５７に隣接した通路側に設定し、且つ、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の画角に入る三次元の監視空間をマスクするように構成する。制御装置２は、このマスク領域５６に人物１２が侵入した時点ではステレオ画像中の人物像を除去しているため、差画像の比較処理による人物１２の位置情報の演算処理を実行しない。
【００７２】
したがって、マスク領域５６内を歩行するだけの人物１２を検知しエレベータ５４のドアを誤って開扉することを防止する。また、エレベータ５４が昇降動作へ移る直前にマスク領域５０へ人物１２が侵入しても、閉まりかけたドアが開くという誤動作も防止することができる。
【００７３】
上記実施の形態では、２台のＣＣＤカメラ１６、１８を天井や壁の上方に設置し、三次元の監視空間としてのエレベータ５４を監視するように構成したが、実施の変形例として、例えば、エレベータ５４の前方を横方向に監視するように２台のＣＣＤカメラを設置することもできる。
【００７４】
典型的には、昇降ボタン５５に２台のＣＣＤカメラを図中の人物１２の方向へ角度を持たせて設置し、通路の人物１２の接近を監視するように構成し、エレベータ５４に対向する壁や窓等の背景と人物１２とのコントラストの差からエッジを抽出する。
【００７５】
このように構成すると、床面と人物１２とのコントラストの差が小さい場合に比して高い確率で背景と人物１２とのコントラストを得ることができる。しかも、人物１２の頭部から足先までに対応するＣＣＤカメラの走査線に対応する画像が得られるため、複数の走査線の画像情報を平均化し監視精度を高めることができる。
【００７６】
例えば、ＣＣＤカメラの走査線の本数をαとした場合、このα値を平均化することで画像情報の標準偏差はルートα分の１の精度が得られ、監視装置の信頼性を向上させることができる。この場合、人物１２の背景の動きや通路を歩行中の他の人物を同時に撮像することとなるが、２台のＣＣＤカメラ１６、１８で撮像した画像情報に基づき、動く背景、他の人物、及び人物１２とＣＣＤカメラとの距離を演算処理し、所定の距離以下の監視対象物である人物１２だけの接近距離を抽出し、他の動きのある画像情報を除去するように構成する。
【００７７】
このように所定の距離以下の領域５７に接近する人物の距離情報を抽出することにより、エレベータ５４から離れた距離にマスク領域５６を設定することができる。
【００７８】
図４のフローチャートを参照して、時空間画像の取得方法を例示する。ここで、左画像は第１のＣＣＤカメラ１６で撮像された画像であり、右画像は第２のＣＣＤカメラ１８で撮像された画像として説明する。処理はスタートステップＳ１０から開始し、ステップＳ１１で制御装置２は、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８で撮像された左画像と右画像を、撮像装置用インターフェイスＩ／Ｆ１９を介してステレオ画像として取得する。また、取得したステレオ画像はマスク処理を施し見えないカーテン領域に囲まれたマスク領域５０と見えないカーテン領域の外側の画像情報を除去する。
【００７９】
制御装置２は、見えないカーテン領域内の人物１２を時点ｔに撮像した第１の画像であるｔフレームの左画像を取得する（ステップＳ１３）。次に、所定時間のΔｔが経過した時点ｔ＋Δｔに撮像された第２の画像であるｔ＋Δｔフレームの左画像を取得する（ステップＳ１４）。引き続き、ｔフレームの左画像とｔ＋Δｔフレームの左画像との差画像を抽出する（ステップＳ１５）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ１６）を施してから、後続のステップＳ２１の相関処理に移行する。
【００８０】
また、制御装置２は、見えないカーテン領域内の人物１２を時点ｔに撮像した第３の画像であるｔフレームの右画像を取得する（ステップＳ１７）。次に、所定時間のΔｔ経過した時点ｔ＋Δｔに撮像した第４の画像であるｔ＋Δｔフレームの右画像を取得する（ステップＳ１８）。引き続き、ｔフレームの右画像とｔ＋Δｔフレームの右画像との差画像を抽出する（ステップＳ１９）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて、抽出した差画像から背景を除去した動的領域の抽出処理（ステップＳ２０）を施してから、後続のステップＳ２１の相関処理に移行する。
【００８１】
本実施の形態では、第１のＣＣＤカメラと第２のＣＣＤカメラは同時並列的に各時点（ｔ、ｔ＋Δｔ）で撮像を行う。この場合Δｔは、計数装置の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。
【００８２】
次に、ｔフレームの左画像のコントラストが強い人物１２の輪郭を用いてｔフレームの右画像の対応点を探索し相関処理を実行する（ステップＳ２１）。この相関処理により得られた対応点から、高さ情報を算出する（ステップＳ２２）。例えば、左画像と右画像を一致させる画素数に基づき人物１２の高さを演算出力する。
【００８３】
上記ステップＳ２２により得られた高さ情報を時間軸に対応させて、人物１２又はその部位の高さ情報を含む時空間画像を作成する（ステップＳ２３）。
【００８４】
引き続き、直前の時刻に作成した時空間画像と現在の時空間画像とを比較し、現在の時空間画像の中に存在する人物１２またはその部位が危険箇所１０に接近したか否かを人物１２又はその部位の輪郭を示す画素アドレスに基づいて判定する。（ステップ２４）。例えば、人物１２の輪郭アドレスが、図１に示す見えないカーテン領域幅Ｄの外縁部４２のアドレスから遠ざかり内縁部４３のアドレスに近づく場合は（ステップ２４がＹｅｓ）、人物１２又はその部位が危険箇所１０に接近していると判定してステップ２５へ分岐し、検出信号を制御部３４へ出力し制御機械３６の制御信号をＯＦＦ状態へ遷移させ、ステップ２６へ移行して処理を終了させることができる。
【００８５】
また、エレベータ５４に応用する場合は、人物１２の輪郭アドレスが、図３に示す見えないカーテン領域幅５７の外縁部４２のアドレスから遠ざかり内縁部４３のアドレスに近づく場合は（ステップ２４がＹｅｓ）、人物１２又はその部位がエレベータ５４に接近していると判定してステップ２５へ分岐し、検出信号をエレベータ５４のドア開閉制御部（不図示）へ出力しエレベータ５４のドアを開扉させ、ステップ２６へ移行して処理を終了させることができる。
【００８６】
一方、人物１２の輪郭アドレスと、図１に示す見えないカーテン領域幅Ｄの外縁部４２のアドレス及び内縁部４３のアドレスと比較し、カーテン領域幅Ｄの中で人物１２が停止している若しくは外縁部４２のアドレスに近づく場合は（ステップ２４がＮｏ）、節点Ｎ１２へ分岐し次の時刻のフレームを取得する。さらに時空間画像を時間軸に対応させて、人物１２の高さ情報を含む時空間画像を作成する（ステップＳ２３）。
【００８７】
また、図３に示す監視装置を用いて上記ステップ２５の判断条件を説明する。人物１２がエレベータ５４のドア方向に進み、マスク領域５０を通過し見えないカーテン領域幅Ｄに侵入している場合は、人物１２の輪郭アドレスが、図３に示す見えないカーテン領域幅Ｄの外縁部４２のアドレスから遠ざかり内縁部４３のアドレスに近づく場合は（ステップ２４がＹｅｓ）、人物１２又はその部位がエレベータ５４に接近していると判定してステップＳ２５へ分岐し、検出信号をエレベータ５４へ出力しドアの開扉制御信号をＯＮ状態へ遷移させドアを開扉させる。その後ステップ２６へ移行して処理を終了させる。
【００８８】
一方、人物１２の輪郭アドレスと、図３に示す見えないカーテン領域幅Ｄの外縁部４２のアドレス及び内縁部４３のアドレスと比較し、カーテン領域幅Ｄの中で人物１２が停止している若しくは外縁部４２のアドレスに近づく場合は（ステップ２４がＮｏ）、節点Ｎ１２へ分岐し次の時刻のフレームを取得する。さらに時空間画像を時間軸に対応させて、人物１２の高さ情報を含む時空間画像を作成する（ステップＳ２３）。
【００８９】
ここで、図５の模式的なブロック図を参照して、三角法を用いたＣＣＤカメラと人物１２との距離の算出方法について、鉛直上方から人物１２を撮像したときの距離（高さ）の測定方法を例示する。ここで、ｗは第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８との光軸間距離（基線長）、ｆは各ＣＣＤカメラの受光レンズを単一レンズとしたときそのレンズの焦点距離、ｄはＣＣＤカメラの結像面上の視差とする。ここでの焦点距離ｆは、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離ｆとする。これにより対象とする人物１２とＣＣＤカメラとの距離ａは次式で算出できる。
ａ ＝ ｗ × ｆ／ｄ ………（１）
【００９０】
このようにして、第１と第２のＣＣＤカメラ１６、１８からステレオ画像を取得したセンサ制御部６０は、内部の差画像形成部６２により第１のＣＣＤカメラ１６の差画像と第２のＣＣＤカメラ１８の差画像を形成し、この２つの差画像を相関出力演算部６４により相関処理し、相関処理信号を制御装置２へ出力することにより、ＣＣＤカメラから人物１２までの距離を算出する。また、予め測定した床とＣＣＤカメラとの基準距離ｈから人物１２までの距離を減算して人物１２の高さｚを算出し、高さｚ値を高さ記憶部２６に記憶する。また、センサ制御部６０を介さずに直接２台のＣＣＤカメラから映像信号を制御装置２へ送信するように構成することもできる。
【００９１】
図１に戻って、さらに監視システム１の動作について説明する。演算部３０は、高さ記憶部２６に記憶された高さ値ｚにより、人物１２を監視することができる。
【００９２】
また、演算部３０は、高さ記憶部２６に記憶された人物１２の高さ値ｚを時系列的に記憶し、それに基づき人物１２の位置情報、移動方向、姿勢等を判断するように構成する。すなわち、基準距離ｈと、ある時点の人物１２の高さ値ｚとを比較することにより、人物１２の存在、その位置情報、移動方向、姿勢等を判断することができるように構成する。
【００９３】
さらに、演算部３０は、最終的な人物１２の存在、その位置情報、移動方向、姿勢等の判断を、ＣＣＤカメラの走査線の中から抽出した複数の走査線にそれぞれに対応する判断結果から人物１２の位置情報を演算処理する。また人物１２の移動方向は、人物１２の位置の水平的な変化だけでなく、例えば、人物１２が立ったり座ったりするような鉛直的な変化も含むものとする。
【００９４】
上記実施の形態では、人物１２の鉛直上方に設置した２台のＣＣＤカメラで危険箇所１０を監視する監視装置１について説明をしたが、別の実施の形態として２台のＣＣＤカメラを危険箇所１０の周辺に位置する壁や柱に設置し、所定の角度をもたせて危険箇所１０に向けて見えないカーテン領域を監視することができる。
【００９５】
例えば、床面から高さＨの壁又は柱に２台のＣＣＤカメラを据付け、２台のＣＣＤカメラから見えないカーテン領域までの水平方向の距離をＬとし、この見えないカーテン領域に侵入する人物１２の指、手、腕、胴等の部位と、２台のＣＣＤカメラ１６、１８との距離がＡと測定されたときは、人物１２の部位からＣＣＤカメラ１６、１８の設置位置までの鉛直方向の高さＨ１と、壁又は柱からの距離Ｌ１は、次式で求めることができる。
Ｈ１＝ＡＨ／（Ｈ２＋Ｌ２）１／２ ………（２）
Ｌ１＝ＡＬ／（Ｈ２＋Ｌ２）１／２ ………（３）
【００９６】
また、人物１２の部位が危険箇所１０に向かって移動する位置情報は、算出した高さＨ１、距離Ｌ１や２台のＣＣＤカメラ１６、１８の距離測定方向により逐次演算処理し、経時的変化の前後を比較することにより人物１２の部位が見えないカーテン領域の中で制御機械３６の方向に近づく又は停止並びに遠ざかる状態を検出することができる。
【００９７】
さらに、人物１２の部位の位置は、任意に抽出した本数の走査線の各々に対応する見えないカーテン領域の位置からも大まかに捉えることができる。このように、見えないカーテン領域に存在する人物１２の部位の位置情報を算出することができる。なお、床面に垂直な方向に２台のＣＣＤカメラ１６、１８を配置すれば、カメラの取り付けた位置そのものを、人物１２の位置とし、ＣＣＤカメラからの距離を高さとすることで、位置情報を簡単に取得することもできる。
【００９８】
演算部３０が処理する人物１２の検出処理は、同一又は同一ではないＣＣＤカメラの走査線で直前の時刻に算出した人物１２の位置情報、例えば、１つ前の位置情報と所定の時間だけ遅れた時刻の位置情報と比較し、この人物１２の移動情報である移動距離と平均移動速度を算出する。
【００９９】
例えば、移動距離は、最新の位置情報と１つ前の時刻の位置情報の高さＨ１や距離Ｌ１のデータの差により、また、平均移動速度は、このデータの差を所定の時間だけ遅れた距離の測定間隔時間で除算した値となる。さらに、演算部３０で演算出力した人物１２の移動距離、移動方向、移動速度を移動距離記憶部２７に記憶する。
【０１００】
このようにして、演算部３０は、算出した人物１２の位置情報と移動情報から、見えないカーテン領域において、人物１２の存在、その姿勢、位置、移動状態を判断することができる。
【０１０１】
例えば、人物１２の部位が停止している状態や、人物１２の部位が危険箇所１０方向に接近している状態や、人物１２が危険箇所１０から遠ざかる状態を的確に判断でき、また、人物１２が低い高さで存在し、かつ停止している場合には、この人物１２は見えないカーテン領域内で倒れている状態にあると判断できる。
【０１０２】
このようにして監視システム１は、見えないカーテン領域内に侵入した人物１２の部位や、人物１２の存在と存在状態等を画像情報を経時的に測定することで的確に監視することができる。
【０１０３】
ＣＣＤカメラは、容易に画角を広くとること可能であるので、画角の広いものを用いることで、横方向の監視対象領域を十分に大きく取ることができる。このような監視システム１を、種々の施設の監視に適用し、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の画角を増減し見えないカーテン領域を任意の幅に設定することにより、例えば、動物園の檻の前に人物１２の手が伸びた状態を検知したり、美術館の作品に人物１２の手が近づいた状態を検知したり、関係者以外立ち入り禁止区域に部外者が接近する状態を検知したり、自動ドアに接近する人物を検知することができる。
【０１０４】
監視装置１を自動ドアの鉛直上方に設置した場合、ドアに接近する人物が見えないカーテン領域に侵入しドア方向に歩行している状態を検知した時点で自動ドアの開扉制御を実行する。また、見えないカーテン領域で人物が停止している状態を検知したときは、そのままドアを開扉状態に保持するように構成することにより、無用な開閉動作を繰り返すことを防止することができる。しかも、見えないカーテン領域を包囲するマスク領域に他の人物が侵入しても自動ドアは無用な開扉動作を実行しないため、自動ドアの電力消費を低減させることができる。
【０１０５】
図６の模式的な平面図を参照して、見えないカーテン領域で撮像した人物１２の手１２ａを検出する方法を説明する。
【０１０６】
演算部３０は、走査線抽出処理により、２台のＣＣＤカメラ１６、１８の画像情報の中から見えないカーテン領域に侵入した人物の手１２ａの像を適当な間隔で配分されるような本数の走査線７１から７７を抽出する。また、手１２ａが侵入していない場合の床面までの距離を基準距離として設定しておくとよい。
【０１０７】
このように、２台のＣＣＤカメラ１６、１８を設定することで、ＣＣＤカメラと手１２ａまでの距離を測定すると同時に、どの走査線が手１２ａを検出したかにより、手１２ａの存在、床面からの高さを判断することができる。また各ＣＣＤカメラの差画像を取得し、撮像された画像上の手１２ａの像を抽出することにより、抽出された手１２ａの像の画像上の位置から、見えないカーテン領域内の位置情報も取得することができる。
【０１０８】
図中左端の画像フレーム８０は、第１の時刻に撮像された手１２ａの像を相関処理し走査線に対応させて表示している。手１２ａは、外縁部４２を通過し、内縁部４３方向に進行している。第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の走査線に各々対応させて高さ情報を得た段階の映像である。手１２ａは、例えば、第１の走査線７１と第２の走査線７２の上で結像されている。
【０１０９】
画像フレーム８０の右側に所定の時間だけ遅れた第２の時刻に撮像した画像フレーム８１を示す。手１２ａは、例えば、第１から第４の走査線７１〜７４の上で結像されているため、見えないカーテン領域の内縁部４３方向へ移動している。
【０１１０】
画像フレーム８１の右側に所定の時間だけ遅れた第３の時刻に撮像した画像フレーム８２を示す。手１２ａは、例えば、第１から第７の走査線７１〜７７の上で結像されているため、さらに見えないカーテン領域の内縁部４３方向へ移動している。演算部３０は、このような内縁部４３方向へ移動する手１２ａの位置変化を検出し、報知部３２へ検知信号を出力するよう制御信号を送信する。
【０１１１】
画像フレーム８２の右側に所定の時間だけ遅れた第４の時刻に撮像した画像フレーム８３を示す。手１２ａは、例えば、第１から第８の走査線７１〜７８の上で結像されているため、さらに見えないカーテン領域の内縁部４３方向へ移動していることがわかる。既に演算部３０は、報知部３２へ検知信号を出力するよう制御信号を送信させているが、他の実施の形態として画像フレーム８２を演算出力した時点で検知信号の送信準備処理に入り、画像フレーム８３を演算出力し手１２ａが内縁部４３方向に移動している位置変化を再度確認してから検知信号を出力されるように制御してもよい。
【０１１２】
図７の模式的な平面図を参照して、見えないカーテン領域で撮像した人物１２の手１２ａを検出する方法をさらに説明する。図中左端の画像フレーム８４は、第１の時刻に撮像された手１２ａの像を相関処理し走査線に対応させて表示している。手１２ａは、外縁部４２を通過し、内縁部４３方向に進行している。第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の走査線に各々対応させて高さ情報を得た段階の映像である。手１２ａは、例えば、第１の走査線７１と第２の走査線７２の上で結像されている。
【０１１３】
画像フレーム８４の右側に所定の時間だけ遅れた第２の時刻に撮像した画像フレーム８５を示す。手１２ａは、例えば、第１から第４の走査線７１〜７４の上で結像されているため、見えないカーテン領域の内縁部４３方向へ移動している。
【０１１４】
画像フレーム８５の右側に所定の時間だけ遅れた第３の時刻に撮像した画像フレーム８６を示す。手１２ａは上記画像フレーム８５と同様の位置に停止している。演算部３０はこの段階では検知信号を出力させないように待機している。
【０１１５】
画像フレーム８６の右側に所定の時間だけ遅れた第４の時刻に撮像した画像フレーム８７を示す。手１２ａは上記画像フレーム８６と同様の位置に停止している。演算部３０はこの段階でも検知信号を出力させないように待機し、画像フレーム８７の走査線上の画素情報と後続の画像フレームの画素情報とを比較して、手１２ａが内縁部４３へ接近するか否かを監視する。
【０１１６】
ここで、２台のＣＣＤカメラ１６、１８の設置方法について説明する。まず監視装置１は、第１のＣＣＤカメラ１６の走査線と、この走査線に対応する第２のＣＣＤカメラ１８の走査線とがおよそ同一平面上に存在するように、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８との配置関係を定めるようにする。
【０１１７】
また、演算部３０は、第１のＣＣＤカメラ１６で手１２ａを走査する走査線と、第２のＣＣＤカメラ１８で手１２ａを走査する走査線に対して、相関値を演算する。演算された相関値が最大化されるように、第１のＣＣＤカメラ１６の走査線と第２のＣＣＤカメラ１８の走査線との位置対応関係を定める対応走査線選択処理を実行し、第１の差画像記憶部２４に記憶される走査線と第２の差画像記憶部２５に記憶される走査線の各アドレスを一致させるように走査線の先頭アドレスを決定し、第１の差画像記憶部２４又は第２の差画像記憶部２５若しくは不図示の先頭アドレス記憶領域内に先頭アドレスを記憶させる。
【０１１８】
ここで、２台のＣＣＤカメラの各々の走査線上に手１２ａが結像している場合、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８は、わずかに違う方向から手１２ａを撮像しているので、ほとんど変わらない画像が両方の走査線上に結像する。
【０１１９】
演算部３０は、２台のＣＣＤカメラからステレオ画像を受信し、例えば、第１のＣＣＤカメラ１６の走査線の任意の１本を選択する。この選択した走査線のライン信号と、第２のＣＣＤカメラ１８の走査線の第１ライン目のライン信号との相関処理を実行する。
【０１２０】
演算部３０による相関処理は、第１のＣＣＤカメラ１６内で選択した走査線のライン信号との相関処理を、第２のＣＣＤカメラ１８の走査線の第１ライン目から順番に最終ラインまで行なう。ここでの相関処理は、全体の信号の強さである相関値を基準に判定する。また相関処理は、第１のＣＣＤカメラ１６内で選択した走査線のライン信号と、第２のＣＣＤカメラ１８の第ｎ番目の走査線のライン信号との相関値が最大となるまで相関処理を繰り返して実行するように構成してもよい。ｎは、走査線の本数が例えば５００本の場合、１〜５００の自然数である。
【０１２１】
さらに、演算部３０は、対応走査線選択処理を実行し、相関処理により相関値が最大となるライン同士が対応している走査線であると判定しながら、第１のＣＣＤカメラ１６の走査線と第２のＣＣＤカメラ１８の走査線との位置対応関係を定める。例えば、演算部３０が第１のＣＣＤカメラ１６の第４番目の走査線と第２のＣＣＤカメラ１８の走査線の第７番目が対応している走査線であると判定した場合には、双方のＣＣＤカメラの走査線の位置対応関係は、そのまま第１のＣＣＤカメラ１６の５ライン目の走査線と第２のＣＣＤカメラの８ライン目の走査線１４が対応し、第１のＣＣＤカメラ１６の走査線の１００ライン目と第２のＣＣＤカメラ１８の走査線の１０３ライン目が対応する。
【０１２２】
また、監視装置１は、第１のＣＣＤカメラ１６の走査線と第２のＣＣＤカメラ１８の走査線の同じライン、例えば、第１と第２のＣＣＤカメラの４ライン目の走査線１３の相関値が最大となるように位置関係を定めてもよい。このようにすると、第１のＣＣＤカメラ１６と第２のＣＣＤカメラ１８の同じラインがおよそ同一平面の走査線が対応するように設置し、さらに相関値が最大となるように位置関係を定めるので、２台のＣＣＤカメラ１６、１８を効率良く、高精度に設置することができる。
【０１２３】
また、監視装置１は、２台のＣＣＤカメラ１６、１８の位置関係または双方の走査線との位置対応関係を定めた後に、２台のＣＣＤカメラ１６、１８の基線長ｗが設定値よりもずれた場合でも、予め定めた距離Ａ１を測定すれば、走査線方向のずれ分の補正を行うこともできる。この場合には、第１のＣＣＤカメラ１６の光軸と第２のＣＣＤカメラ１８の光軸の位置が走査線方向にＳだけずれているとすると、前述の式（１）を
ａ ＝ ｗ × ｆ／（ｄ＋Ｓ） ………（４）
とすることで走査線方向のずれを補正できる。
【０１２４】
このようにすれば、監視装置１は、正確に人物の手１２ａまでの距離を測定できるだけでなく、温度変化や経時変化があってＣＣＤカメラが僅かに動いたとしても、例えば、床の模様等を使って予め定めた距離Ａ１を測定することにより、正確さを維持することができる。また、この補正は、所定期間毎に繰り返し実行するとよい。
【０１２５】
以上では、２台のＣＣＤカメラ１６、１８の各々の走査線が対応するように設置する、または対応する走査線を選択する場合で説明したが、予め２台のＣＣＤカメラ１６、１８の各々の走査線が対応するように調整し、固定したものを用いるようにしてもよい。このようにすると、２台のＣＣＤカメラ１６、１８は、距離センサと同じような感覚で扱うことができるので、２台のＣＣＤカメラ１６、１８の設置が非常に簡便になる。
【０１２６】
以上のように監視装置１は、見えないカーテン領域にどの程度の大きさの人物１２又は手１２ａが侵入し、どのような人物１２又は手１２ａの状態（どの位置で、立っている、座っている、倒れている）にあるか、また、その人物１２は動いているか、停止しているのか、退出したかといった一連の動きを簡単な装置で追従することができる。この場合、基準距離からの差異を取得しているため、距離が比較的正確でなくても状態の判断に使うことはできる。
【０１２７】
また、監視装置１は、差画像を用いるため、例えば、人物１２に動きが無くなった場合には、領域の特定ができなくなるが、画像フレームの間隔を時間的に伸ばす等の方法で、一連の動きから総合的に人物１２の状態の判定をすることができる。
【０１２８】
したがって、静止しているまたは動きがゆっくりした人物１２の存在も自動的に監視できる。例えば、見えないカーテン領域に侵入した人物１２や手１２ａ等が動きの少ない場合に有効である。
【０１２９】
さらに、見えないカーテン領域の中に人物１２又は手１２ａが存在していない状態の場合の床面や壁までの距離を基準距離として設定しておき、その状態からの監視対象物の変化を追うことで、人物１２の状態を判断することができる。
【０１３０】
以上のような本実施の形態によれば、見えないカーテン領域の中の人物１２や手１２ａの状態を判断して、人物１２又は手１２ａが所定方向に移動していることや、不法侵入者が侵入しているといった監視を正確かつ非常に容易に行うことができる。しかも、ＣＣＤカメラより画像フレーム全体の情報を取得し処理することがないため、複雑かつ大容量の画像処理を必要とせず、比較的簡単なデジタル回路やアナログ回路、もしくはこれらの組み合わせで、非常に安価な装置を構築することができる。また抽出する走査線は、人物１２や手１２ａのプライバシーを守れる程度であるので、公共の施設での状態監視において非常に有効である。
【０１３１】
【発明の効果】
以上のように本発明によれば、監視空間１０に向けて設置され、第１の時刻と第１の時刻から所定の時間だけ遅れた第２の時刻とに監視対象物１２を撮像する第１の撮像装置１６と、第１の撮像装置から所定の間隔だけ離して、監視空間１０に向けて設置され、第１の時刻と第２の時刻とに監視対象物１２を撮像する第２の撮像装置１８と、第１の時刻に撮像された画像と第２の時刻とに撮像された画像との差画像を形成する差画像形成部６２と、差画像形成部６２で形成された、第１の撮像装置１６による像の差画像２４と第２の撮像装置１８による像の差画像２５に基いて、監視対象物１２の位置を演算する監視対象物の位置演算部３０と、位置演算部３０の演算結果に基いて、監視対象物１２が監視空間１０方向への接近を検知し検知信号を出力する接近報知部３２と、を備えるため、作業者の作業スペースを占有せずに、高精度の監視対象物の高さと移動方向の変化を監視する監視装置及び監視方法を提供する、という優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態である監視装置の模式的な斜視図である。
【図２】本発明の実施の形態である監視装置の模式的平面図である。
【図３】本発明の他の実施の形態である監視装置の模式的な斜視図である。
【図４】本発明の実施の形態の監視装置のフローチャート図である。
【図５】本発明の実施の形態の監視装置のブロック図である。
【図６】本発明の実施の形態の模式的な平面図である。
【図７】本発明の実施の形態の模式的な平面図である。
【符号の説明】
１ 監視装置
２ 制御装置
１０ 監視領域
１２ａ 手
１２ 人物
１６ 撮像装置
１８ 撮像装置
１９ 撮像装置用インターフェイス
２０ 撮像信号記憶部
２１ 撮像信号記憶部
２２ 撮像信号記憶部
２３ 撮像信号記憶部
２４ 差画像記憶部
２５ 差画像記憶部
２７ 移動距離記憶部
２８ マスクアドレス記憶部
３０ 演算部
３２ 報知部
３４ 制御部
４２ 外縁部
４３ 内縁部
５０ マスク領域
５６ マスク領域
５７ カーテン領域
６０ センサ制御部
６２ 差画像形成部
６４ 相関出力演算部
Claims (7)
- 三次元の監視空間に侵入する監視対象物を検出し検出信号を出力する監視装置であって；
前記監視空間に向けて設置され、第１の時刻と前記第１の時刻から所定の時間だけ遅れた第２の時刻とに前記監視対象物を撮像する第１の撮像装置と；
前記第１の撮像装置から所定の間隔だけ離して、前記監視空間に向けて設置され、前記第１の時刻と前記第２の時刻とに前記監視対象物を撮像する第２の撮像装置と；
前記第１の時刻に撮像された画像と前記第２の時刻とに撮像された画像との差画像を形成する差画像形成部と；
前記差画像形成部で形成された、前記第１の撮像装置による像の差画像と前記第２の撮像装置による像の差画像に基いて、前記監視対象物の位置を演算する監視対象物の位置演算部と；
前記位置演算部の演算結果に基いて、前記監視対象物が前記監視空間方向への接近を検知し前記検知信号を出力する接近報知部と；
を備える監視装置。 - 前記監視空間に設定したマスク領域をマスク画像処理し、前記監視対象物の接近を検知するマスク画像処理部をさらに備える請求項１に記載の監視装置。
- 前記位置演算部は、前記監視対象物の位置の経時的変化を検出し前記監視対象物の移動方向を演算する請求項１乃至請求項２の何れか１項に記載の監視装置。
監視装置及び監視方法 - 三次元の監視空間に侵入する監視対象物を検出し検出信号を出力する監視装置であって；
前記監視空間に向けて設置され、前記監視対象物までの距離を検出する距離検出装置と；
前記距離検出装置で検出される距離に、該距離検出装置から見た方向ごとに所定の閾値を設定することにより、前記監視空間と前記監視対象物とを仕切るカーテン領域を設定する制御装置とを備える；
監視装置。 - 三次元の監視空間への監視対象物の浸入を監視する監視方法であって；
所定の位置から前記監視対象物までの距離を検出する距離検出工程と；
前記検出工程で検出される距離と前記所定の位置から見た方向ごとに設定する複数の所定の閾値とを比較する比較工程と；
前記比較工程で、前記監視対象物までの距離が前記閾値を超えたと判断されたとき検知信号を出力する信号出力工程とを備え；
前記設定された複数の所定の閾値は全体として前記監視空間と前記監視対象物とを仕切るカーテン領域を設定する；
監視方法。 - 三次元の監視空間に接近する監視対象物を検知し検知信号を出力する監視方法であって；
前記監視空間を撮像した複数の像に基づき差画像を形成し、前記監視対象物の高さ及び移動方向を演算する監視対象物の移動演算工程と；
前記移動演算工程の演算結果に基いて、前記監視対象物が監視領域への接近を検知し前記検知信号を出力する接近報知工程と；
を備える監視方法。 - 前記監視空間に設定したマスク領域をマスク画像処理し、前記監視対象物の接近を検知するマスク画像処理工程をさらに備える請求項６に記載の監視方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002229239A JP2004069497A (ja) | 2002-08-06 | 2002-08-06 | 監視装置および監視方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002229239A JP2004069497A (ja) | 2002-08-06 | 2002-08-06 | 監視装置および監視方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004069497A true JP2004069497A (ja) | 2004-03-04 |
Family
ID=32015711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002229239A Pending JP2004069497A (ja) | 2002-08-06 | 2002-08-06 | 監視装置および監視方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004069497A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007132715A (ja) * | 2005-11-08 | 2007-05-31 | Univ Chuo | 三次元計測方法、計測装置、復元方法および復元装置 |
| JP2015515613A (ja) * | 2012-03-16 | 2015-05-28 | ピルツ ゲーエムベーハー アンド コー．カーゲー | 自動機械の危険な作業区域の安全を守るための方法および装置 |
| WO2020235320A1 (ja) * | 2019-05-20 | 2020-11-26 | 株式会社Ihi | 異物検出システムおよび方法 |
| CN112530059A (zh) * | 2020-11-24 | 2021-03-19 | 厦门熵基科技有限公司 | 一种通道闸内拉杆箱判断方法、装置、设备和存储介质 |
| CN114145617A (zh) * | 2021-12-02 | 2022-03-08 | 江阴市友邦家居用品有限公司 | 窗帘用品动作触发平台 |
-
2002
- 2002-08-06 JP JP2002229239A patent/JP2004069497A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007132715A (ja) * | 2005-11-08 | 2007-05-31 | Univ Chuo | 三次元計測方法、計測装置、復元方法および復元装置 |
| JP2015515613A (ja) * | 2012-03-16 | 2015-05-28 | ピルツ ゲーエムベーハー アンド コー．カーゲー | 自動機械の危険な作業区域の安全を守るための方法および装置 |
| WO2020235320A1 (ja) * | 2019-05-20 | 2020-11-26 | 株式会社Ihi | 異物検出システムおよび方法 |
| JP2020190437A (ja) * | 2019-05-20 | 2020-11-26 | 株式会社Ihi | 異物検出システムおよび方法 |
| JP7292102B2 (ja) | 2019-05-20 | 2023-06-16 | Ｉｈｉ運搬機械株式会社 | 異物検出システムおよび方法 |
| CN112530059A (zh) * | 2020-11-24 | 2021-03-19 | 厦门熵基科技有限公司 | 一种通道闸内拉杆箱判断方法、装置、设备和存储介质 |
| CN114145617A (zh) * | 2021-12-02 | 2022-03-08 | 江阴市友邦家居用品有限公司 | 窗帘用品动作触发平台 |
| CN114145617B (zh) * | 2021-12-02 | 2022-07-08 | 江阴市友邦家居用品有限公司 | 窗帘用品动作触发平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104902246B (zh) | 视频监视方法和装置 | |
| JP3879848B2 (ja) | 自律移動装置 | |
| TWI425431B (zh) | 監視裝置與程式 | |
| KR101740231B1 (ko) | 3차원 얼굴 위치 추정 방법 및 장치 | |
| US20160110602A1 (en) | Area information estimating device, area information estimating method, and air conditioning apparatus | |
| US20060145874A1 (en) | Method and device for fall prevention and detection | |
| KR20170041636A (ko) | 표시 제어장치, 표시 제어방법 및 프로그램 | |
| US20200210733A1 (en) | Enhanced video-based driver monitoring using phase detect sensors | |
| JP6562437B1 (ja) | 監視装置、及び、監視方法 | |
| JP2003515811A (ja) | 映像危機管理カーテン | |
| JP5470111B2 (ja) | 監視カメラ端末 | |
| WO2017201663A1 (zh) | 一种运动目标的监测方法、穿戴式装置及服务器 | |
| JPH09282459A (ja) | 物体検出装置 | |
| KR20130039844A (ko) | 지능형 카메라 장치 및 이를 이용한 지능형 감시방법 | |
| WO2016042946A1 (ja) | 監視システム | |
| JP2019052889A (ja) | 画像処理装置 | |
| JPH07324792A (ja) | 人体認識装置 | |
| JP4056813B2 (ja) | 障害物検知装置 | |
| KR20170100892A (ko) | 위치 추적 장치 | |
| US9948897B2 (en) | Surveillance camera management device, surveillance camera management method, and program | |
| JP4238042B2 (ja) | 監視装置および監視方法 | |
| JP2004069497A (ja) | 監視装置および監視方法 | |
| JP6602286B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN108986407B (zh) | 一种用于独居老人的安全侦测系统及方法 | |
| JP2004187125A (ja) | 監視装置および監視方法 |