JP2002032759A - 監視装置 - Google Patents

監視装置

Info

Publication number
JP2002032759A
JP2002032759A JP2000218580A JP2000218580A JP2002032759A JP 2002032759 A JP2002032759 A JP 2002032759A JP 2000218580 A JP2000218580 A JP 2000218580A JP 2000218580 A JP2000218580 A JP 2000218580A JP 2002032759 A JP2002032759 A JP 2002032759A
Authority
JP
Japan
Prior art keywords
distance
image
data
distance distribution
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000218580A
Other languages
English (en)
Inventor
Kazuhiro Naokawa
和宏 直川
Atsushi Kijima
淳 木嶋
Manabu Hashimoto
橋本  学
Kazuhiko Washimi
和彦 鷲見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2000218580A priority Critical patent/JP2002032759A/ja
Publication of JP2002032759A publication Critical patent/JP2002032759A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 光や影などの影響を排除して監視できるとと
もに、検出物体の位置や高さなどの情報も併せて得るこ
とのできる監視装置を提供する。また、高価にならない
装置構成で短時間での処理が可能となる監視装置を提供
する。 【解決手段】 濃淡画像取得手段1により被監視領域の
濃淡画像を取得し、濃淡画像解析手段2により前記濃淡
画像から被監視領域内の侵入物体候補3を抽出し、距離
分布データ作成手段4により濃淡画像解析手段2より抽
出した侵入物体候補3に相当する領域についてのみ距離
分布を計測し、そのデータを二次元アレイ状に格納し、
距離データ解析手段5により前記距離分布データを解析
して被監視領域内の侵入物体領域を検出し、当該距離デ
ータの解析結果より被監視領域内の侵入物体の有無を判
定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、特定範囲を監視
する監視装置に関するもので、特に危険区域に侵入して
くる物体の検出などの監視の場合に、信頼性の高い監視
を可能とするものである。
【0002】
【従来の技術】図43は例えば特開平8−317373
号公報に示された従来の監視装置図であり、図におい
て、201はカメラ、202はデータバス、203はこ
のカメラ201の映像信号をデータバス202に入力す
る入力インターフェース(I/F)である。また、20
4は画像メモリ、205はワークメモリ、206はプロ
グラムメモリ、207は204〜206の各メモリを利
用して処理を行うCPUである。さらに、208は出力
I/F、209は警報ランプ、210は画像出力I/
F、211はモニタである。
【0003】次に、上記監視装置の動作について説明す
る。カメラ201で監視区域を撮像して得た画像信号
は、入力I/F203を介してデータバス202に入力
され、画像メモリ204に蓄積される。一方、CPU2
07は、プログラムメモリ206に格納されているプロ
グラムに従ってワークメモリ205内で画像解析し、物
体検出処理を実行し、その結果に応じて、出力I/F2
08を介して警報ランプ209を点灯させたり、画像出
力I/F210を介してモニタ211に画面を表示させ
たりするようになっている。
【0004】また、図44はこの場合の処理フロー図で
あり、図において、212は画像入力処理ステップ、2
13は背景画像作成に関する判定ステップ、214は背
景画像更新ステップ、215は差分処理ステップ、21
6は符号情報の保存ステップ、217は類似度の計算ス
テップ、218は符号情報に関する判断処理ステップ、
219は二値化処理ステップ、220は類似度に関する
判断処理ステップ、221は光によって明るくなった領
域、222は物体、223は二値化処理ステップ、22
4は類似度に関する判断処理ステップ、225は影によ
る領域、226は物体である。
【0005】次に、図44のフローについて説明する。
まず、画像入力処理ステップ212で、カメラ201で
撮影された画像信号が取り込まれる。次に、判定ステッ
プ213で新しい背景画像が作成できたか否かを判定す
る。背景画像更新ステップ214では、保存された画像
について各画素ごとに平均値を計算して背景画像データ
を作成する。入力画像と背景画像との濃淡レベル値の差
分を差分処理ステップ215で求め、保存ステップ21
6で濃淡レベルの差分値の符号を保存し、計算ステップ
217で入力画像と背景画像の局所的な濃淡レベル分布
形状の類似度を求めた後、判断処理ステップ218で符
号に応じて処理の分岐がなされ、正負の符号に応じて第
一の二値化処理ステップ219、又は第二の二値化処理
ステップ223のいずれかが実行される。この両ステッ
プでは、閾値が変えてあり、正確に二値化される。次
に、判断処理ステップ220、224で類似度により分
岐し、光によって明るくなった領域221や、影による
領域225と分離して、物体の検出222、226が得
られる。
【0006】また、図45は第5回画像センシングシン
ポジウム講演論文集p55−60に示された複数のカメ
ラの画像情報を処理する従来の侵入者検出システムの構
成図である。図において、227は距離計測手段、22
8は物体領域切り出し手段、229は移動体検出手段、
230は物体切り出し手段、231は統合処理手段、2
32は追跡・判定手段である。
【0007】次に、上記侵入者検出システムの動作につ
いて説明する。まず、距離計測手段227において、ス
テレオ画像から撮像されている物体までの光軸方向の距
離分布を計測する。得られた距離分布データより、物体
領域切り出し手段228において物体領域を切り出す。
一方、右画像より移動体検出手段229において、ブロ
ック単位での背景差分処理を行い輝度変化の大きいブロ
ックのみを抽出する。抽出された輝度変化ブロックに対
し、物体領域切りだし手段230において、膨張・収縮
処理を行った後、ラベリングを行うことによって個々の
物体領域の切り出しを行う。上記2つの物体領域切り出
し手段228、230によって得られた物体領域につい
て、統合処理手段231において、物体領域切り出し手
段228にて発生する散発的な誤検出を除去し、複数に
分離検出された物体を一つの物体として統合する処理を
行う。そして、統合処理手段231の後追跡・判定手段
232において物体領域それぞれについて追跡処理を行
い、移動速度、移動距離、移動追跡等から侵入者か外乱
かの判定を行い、最終的なアラーム出力を行う。
【0008】
【発明が解決しようとする課題】従来の監視装置は以上
のように構成されているので、例えば図43、図44の
ような監視装置では、ライトで明るくなった時や、影で
暗くなった時に背景画像との類似度が低い場合、物体の
ないところを物体があるように誤検出したり、逆に物体
があるところでも類似度が高いと光や影により変化した
ところであると間違った判定をして見逃したりする等の
問題がある。
【0009】また、図45のような監視装置では、画像
内の全画素について距離計測を行っている。この計測処
理は、二つの画像においてどの画素とどの画素が同じ地
点を撮像しているかを検索することで行われているが、
大量の処理時間が必要となる問題がある。また、この問
題を解決するために、処理時間の短縮化のためハードウ
エアにて処理を行うことも行われているが、高価な処理
装置となる問題がある。
【0010】この発明は上記のような課題を解決するた
めになされたものであり、光や影などの影響を排除して
監視できるとともに、検出物体の位置や高さなどの情報
も併せて得ることのできる監視装置を提供すること、お
よび、高価にならない装置構成で短時間での処理が可能
となる監視装置を提供することを目的とする。
【0011】
【課題を解決するための手段】(1)この発明の請求項
1に係る監視装置は、被監視領域の濃淡画像を取得する
濃淡画像取得手段と、前記濃淡画像から監視領域内の侵
入物体候補を抽出する濃淡画像解析手段と、前記濃淡画
像解析手段の実行後に、濃淡画像解析手段より抽出した
侵入物体候補に相当する領域についてのみ距離分布を計
測し、そのデータを二次元アレイ状に格納する距離分布
データ作成手段と、前記距離分布データを解析して被監
視領域内の侵入物体領域を検出する距離データ解析手段
とを有し、距離データの解析結果より被監視領域内の侵
入物体の有無を判定することを特徴とするものである。
【0012】(2)この発明の請求項2に係る監視装置
は、被監視領域の濃淡画像を取得する濃淡画像取得手段
と、前記濃淡画像から監視領域内の侵入物体候補を抽出
する濃淡画像解析手段と、物体までの距離分布を計測
し、そのデータを二次元アレイ状に格納する距離分布デ
ータ作成手段と、前記濃淡画像解析手段および距離分布
データ作成手段がともに実行された後に、濃淡画像解析
手段により抽出した侵入物体候補に相当する領域につい
てのみ距離分布データの解析を行い、被監視領域内の侵
入物体領域を検出する距離データ解析手段とを有し、距
離データの解析結果より被監視領域内の侵入物体の有無
を判定することを特徴とするものである。
【0013】(3)この発明の請求項3に係る監視装置
は、被監視領域の濃淡画像を取得する濃淡画像取得手段
と、物体までの距離分布を計測しそのデータを格納する
距離分布データ作成手段と、前記距離分布データを解析
して被監視領域内の侵入物体領域を検出する距離データ
解析手段と、前記距離データ解析手段より抽出した侵入
物体領域に相当する濃淡画像上の領域を設定する濃淡画
像解析領域設定手段と、前記濃淡画像取得手段および濃
淡画像解析領域設定手段がともに実行された後に、濃淡
画像解析領域設定手段にて設定した領域における濃淡画
像から監視領域内の侵入物体領域を抽出する濃淡画像解
析手段とを有し、前記濃淡画像解析手段では時間的変化
領域の大きさを判定し、その際距離データが遠い物体ほ
ど判定のしきい値を小さく、近い物体ほどしきい値を大
きくして、被監視領域内の侵入物体の有無を判定するこ
とを特徴とするものである。
【0014】(4)この発明の請求項4に係る監視装置
は、設定された被監視領域内の距離分布を計測し、その
データを二次元アレイ状に格納する距離分布データ作成
手段と、前記距離分布データを一定の区間に分割して区
間ごとの距離データの分布状態を表す分布状態特徴量を
計算する距離分布特徴量計算手段とを有し、前記特徴量
を基準値と比較して被監視領域内の異常の有無を判定す
ることを特徴とするものである。
【0015】(5)この発明の請求項5に係る監視装置
は、上記(1)〜(3)のいずれかにおいて、距離分布
データ作成手段は、ステレオ画像を入力する第一の撮像
手段および第二の撮像手段と、前記第一および第二の撮
像手段により得られる二つの画像より距離画像を生成す
る距離画像生成手段とを有し、距離分布データとして距
離画像を用いることを特徴とするものである。
【0016】(6)この発明の請求項6に係る監視装置
は、上記(5)において、距離画像生成手段は、前記第
一又は第二の一方の撮像手段の各画素を基準とし、それ
ぞれの画素が撮像しているものと同じものを撮像してい
る他方の撮像手段の画素と対応づけ、対応付けられた二
つの画素の視差を三角測量の原理から求めることにより
距離画像を生成することを特徴とするものである。
【0017】(7)この発明の請求項7に係る監視装置
は、上記(5)において、距離画像生成手段は、前記第
一又は第二の一方の撮像手段による映像を一定の大きさ
ごとに区切り、そのうちの一つの領域の代表点を選び、
その代表点と同じものを撮像している他方の撮像手段の
画素と対応づけ、対応付けられた二つの画素の視差を三
角測量の原理から求めることにより距離画像を生成する
ことを特徴とするものである。
【0018】(8)この発明の請求項8に係る監視装置
は、上記(5)において、距離画像生成手段は、前記第
一又は第二の一方の撮像手段による映像データのうちの
一部分の各画素の濃淡レベルのデータをグラフ化し、そ
の領域内の濃淡レベルのバラツキ具合を調べ、その領域
内の濃淡レベルにバラツキがある場合は距離計算処理を
行ない距離画像を生成することを特徴とするものであ
る。
【0019】(9)この発明の請求項9に係る監視装置
は、上記(4)において、距離分布データ作成手段は、
ステレオ画像を入力する第一の撮像手段および第二の撮
像手段と、前記第一および第二の撮像手段により得られ
る二つの画像より距離画像を生成する距離画像生成手段
とを有し、距離分布データとして距離画像を用いること
を特徴とするものである。
【0020】(10)この発明の請求項10に係る監視
装置は、上記(1)〜(3)のいずれかにおいて、距離
分布データ作成手段は、三つ以上の撮像手段と、前記三
つ以上の撮像手段から得られるそれぞれの画像のうち二
つの画像を選択する使用画像選択手段と、前記使用画像
選択手段によって選択された画像ペアより距離画像を生
成する距離画像生成手段とを有し、距離分布データとし
て距離画像を用いることを特徴とするものである。
【0021】(11)この発明の請求項11に係る監視
装置は、上記(4)において、距離分布データ作成手段
は、三つ以上の撮像手段と、前記三つ以上の撮像手段か
ら得られるそれぞれの画像のうち二つの画像を選択する
使用画像選択手段と、前記使用画像選択手段によって選
択された画像ペアより距離画像を生成する距離画像生成
手段とを有し、距離分布データとして距離画像を用いる
ことを特徴とするものである。
【0022】(12)この発明の請求項12に係る監視
装置は、上記(1)〜(3)のいずれかにおいて、距離
分布データ作成手段は、光学的直線上距離分布計測手段
を有し、当該計測手段により得られた計測結果を用いる
ことを特徴とするものである。
【0023】(13)この発明の請求項13に係る監視
装置は、上記(4)において、距離分布データ作成手段
は、光学的直線上距離分布計測手段を有し、当該計測手
段により得られた計測結果を用いることを特徴とするも
のである。
【0024】(14)この発明の請求項14に係る監視
装置は、上記(1)〜(3)のいずれかにおいて、距離
分布データ作成手段は、複数の光学的直線上距離分布計
測手段と、前記計測手段により得られた結果を一つの距
離分布データに統合するデータ統合手段とを有し、距離
分布データとして統合されたデータを用いることを特徴
とするものである。
【0025】(15)この発明の請求項15に係る監視
装置は、上記(4)において、距離分布データ作成手段
は、複数の光学的直線上距離分布計測手段と、前記計測
手段により得られた結果を一つの距離分布データに統合
するデータ統合手段とを有し、距離分布データとして統
合されたデータを用いることを特徴とするものである。
【0026】(16)この発明の請求項16に係る監視
装置は、上記(1)〜(3)のいずれかにおいて、距離
分布データ作成手段は、光学的平面上距離分布計測手段
を有し、当該計測手段により得られた計測結果を用いる
ことを特徴とするものである。
【0027】(17)この発明の請求項17に係る監視
装置は、上記(4)において、距離分布データ作成手段
は、光学的平面上距離分布計測手段を有し、当該計測手
段により得られた計測結果を用いることを特徴とするも
のである。
【0028】(18)この発明の請求項18に係る監視
装置は、上記(1)〜(3)および(5)〜(8)、
(10)、(12)、(14)、(16)のいずれかに
おいて、距離データ解析手段は、基準点からの距離分布
データを三次元空間座標系における分布データに変換す
る座標系変換手段と、前記三次元空間座標系の分布デー
タの比較により被監視領域内の侵入物体領域の検出を行
う比較手段を有することを特徴とするものである。
【0029】(19)この発明の請求項19に係る監視
装置は、上記(1)〜(3)および(5)〜(8)、
(10)、(12)、(14)、(16)のいずれかに
おいて、前記距離分布データ作成手段にて生成された距
離データを一定の区間に分割して区間ごとの距離データ
の分布状態を表す分布状態特徴量を計算する距離分布特
徴量計算手段とを有し、解析した状態により被監視領域
内の異常の有無を判定することを特徴とするものであ
る。
【0030】
【発明の実施の形態】実施の形態1.第1の発明に関す
る実施の形態1の監視装置について説明する。この第1
の発明は、濃淡画像解析手段の後に距離分布データ作成
手段を設けることにより、濃淡画像により得られる影や
光の影響を含んだ濃淡変化領域に対して距離分布データ
を生成し、そのデータの変化があれば侵入物体、なけれ
ば影や光によるものと判断するように作用するものであ
る。
【0031】図1は第1の発明に関する実施の形態1に
よる監視装置を示すブロック図、図2は実施の形態1に
よる動作の流れを示すフローチャートである。図1にお
いて、1は被監視領域の濃淡画像を取得する濃淡画像取
得手段、2は濃淡画像取得手段1により得られた濃淡画
像に対して侵入物体候補を抽出するための濃淡画像解析
手段、3は濃淡画像解析手段2により抽出された侵入物
体候補を示す。4は被監視領域のうち侵入物体候補3の
領域のみの距離分布を計測し、そのデータを二次元アレ
イ状に格納する距離分布データ作成手段、5は距離分布
データ作成手段4により侵入物体候補3の領域のみに対
して作成された距離分布データを解析して、被監視領域
内の侵入物体領域を検出する距離データ解析手段を示
す。
【0032】図2のフローチャートにおいて、101は
起動ステップ、102は濃淡画像取得手段1を実行する
濃淡画像取得ステップ、103は濃淡画像解析手段2を
実行する濃淡画像解析ステップを示す。104は距離分
布データ作成手段4を実行する距離分布データ生成ステ
ップ、105は距離データ解析手段5を実行する距離デ
ータ解析ステップ、106は異常判定ステップ、107
は外部出力ステップである。
【0033】次に、実施の形態1の動作について説明す
る。監視装置は起動ステップ101により起動される。
そしてまず、距離分布データを作成する領域を確定させ
るため、以下の動作が行われる。濃淡画像取得ステップ
102において、濃淡画像取得手段1により被監視領域
を撮像した濃淡画像を取得する。そして濃淡画像解析ス
テップ103において、濃淡画像取得手段1により得ら
れた濃淡画像に対して侵入物体候補を抽出するための濃
淡画像解析手段2により解析処理を行い、侵入物体候補
3を抽出する。このとき、濃淡画像解析手段2では濃淡
画像に対して画像補正、二値化、フィルタリング、ラベ
リング等の各処理を組み合わせて処理を行う。
【0034】上記により距離分布データを作成する領域
である侵入物体候補3が得られたので、続いて距離分布
データ作成ステップ104を行う。ステップ104で
は、距離分布データ作成手段4により被監視領域のうち
侵入物体候補3の領域のみの距離分布を計測し、そのデ
ータを二次元アレイ状に格納する。そして、距離データ
解析ステップ105において、距離データ解析手段5に
より、距離分布データ作成手段4により侵入物体候補3
の領域のみに対して作成された距離分布データを解析し
て、被監視領域内の侵入物体領域を検出する。
【0035】距離データ解析手段5の解析方法として
は、例えば次のような方法がある。あらかじめ侵入物体
がない時の距離分布データを基準データとして保持して
おく。その基準データと距離分布データ作成ステップ1
04で求めたデータとを差分処理などにより比較を行
う。この結果、基準データと異なる場合は侵入物体があ
る可能性があり、この領域を侵入物体領域とする。
【0036】上記距離データの解析結果より異常判定ス
テップ106において被監視領域内の侵入物体の有無を
判定する。このとき、侵入物体領域が存在することで異
常と判断してもよいし、ある条件を満たす侵入物体領域
があれば異常と判断してもよい。
【0037】異常判定ステップ106において異常があ
ると判断された場合、外部出力ステップ107により外
部に対して被監視領域内に異常が発生していることを通
報する。このとき例えば異常信号を送出し、アラームを
鳴らしたり、回転灯を起動させたり、通信装置を起動さ
せたりする。また、濃淡画像取得手段1にて取得した画
像信号を外部に送出し、監視員などに現状を確認させた
り、そのときの状況を記録できるようにしたりしてもよ
い。
【0038】なお、異常判定ステップ106の後に異常
と判断された領域の情報を保持し、次の画像における処
理で異常と判断された領域との類似性を判定し、同一物
体かどうかを判断するような追跡処理を加えてもよい。
【0039】以上のように実施の形態1では、先に濃淡
画像の処理により、影や光の影響で検出された領域を含
んだ侵入物体候補を検出して、その検出された部分に対
してのみ距離分布データを取得し、距離が変化している
部分を抽出するようにすることにより、濃淡は変化する
が距離は変化しない影や光などの影響を排除することが
できる。また、距離分布データを被監視領域の全領域に
渡って作成する必要がないので、短時間周期での処理が
可能となる。これらのことにより、監視装置の監視能力
を向上させることができる。
【0040】実施の形態2.第2の発明に関する実施の
形態2の監視装置について説明する。この第2の発明
は、濃淡画像解析手段の後に距離データ解析手段を設け
ることにより、あらかじめ作成した被監視領域全体の距
離分布データのうち、濃淡画像により得られる影や光の
影響を含んだ濃淡変化領域に対してのみ距離データ解析
を行い、そのデータの変化があれば侵入物体、なければ
影や光によるものと判断するように作用するものであ
る。
【0041】図3は第2の発明に関する実施の形態2の
監視装置を示すブロック図、図4は実施の形態2の動作
の流れを示すフローチャートである。図3において、6
は被監視領域内のすべての部分に対して距離分布を計測
し、そのデータを二次元アレイ状に格納する距離分布デ
ータ作成手段、7は距離分布データ作成手段6により被
監視領域内のすべての部分に対して作成された距離分布
データを解析して、被監視領域内の侵入物体領域を検出
する距離データ解析手段を示す。濃淡画像から侵入物体
候補を検出するまでのブロックについては、前記実施の
形態1におけるブロックと同一である。
【0042】また図4のフローチャートにおいて、10
8は被監視領域内のすべての部分に対して距離分布デー
タを作成する距離分布データ作成手段6を実行する距離
分布データ作成ステップ、109は被監視領域内のすべ
ての部分に対して作成された距離分布データを解析する
距離データ解析手段7を実行する距離データ解析ステッ
プである。濃淡画像から侵入物体を検出するまでのフロ
ーおよび異常判定から外部出力を行うまでのフローにつ
いては、前記実施の形態1における動作と同一である。
【0043】次に、実施の形態2の動作について説明す
る。まず、起動ステップ101から濃淡画像解析ステッ
プ103までの動作は、前記実施の形態1における動作
と同一である。そして、距離分布データ作成ステップ1
08において、距離分布データ作成手段6により被監視
領域内のすべての部分に対して距離分布を計測し、その
データを二次元アレイ状に格納する。距離データ解析ス
テップ109において、距離データ解析手段7により距
離分布データ作成手段6で二次元アレイ状に格納された
被監視領域内のすべての部分に対する距離分布データの
うち、先に得られている侵入物体候補3の領域のみに対
して解析を行い、被監視領域内の侵入物体領域を検出す
る。なお、距離データ解析手段7の解析方法としては、
例えば実施の形態1に記載した距離データ解析手段5の
ような解析方法により侵入物体候補を検出する。
【0044】距離データ解析ステップ109実行後、異
常判定ステップ106および外部出力ステップ107を
実行する。異常判定から外部出力を行うまでのフローに
ついては、前記実施の形態1における動作と同一であ
る。
【0045】なお、実施の形態2においても、実施の形
態1と同様に追跡処理を加えてもよい。また、図4の動
作フローチャートは一例であり、図3に示した各ブロッ
クの入出力関係が適正であれば別の動作フローであって
もよい。例えば距離分布データ作成ステップ108が濃
淡画像解析ステップ103の前に行われるようなフロー
でもよい。
【0046】以上のように実施の形態2によれば、濃淡
画像で侵入物体候補を検出して、その部分のみ距離デー
タ解析を行うようにすることで解析処理を被監視領域の
全領域に渡って行う必要がなくなり、処理の高速化を図
ることができる。これは、距離分布データ作成手段6が
安価で高速なハードウエアで実現できる場合などにおい
て有用な手段である。また、距離を用いて解析を行うこ
とで、影や光の影響を距離により排除することができ
る。
【0047】実施の形態3.第3の発明に関する実施の
形態3の監視装置について説明する。この第3の発明
は、距離データ解析手段の後に濃淡画像解析手段を設け
ることにより、濃淡画像のうち、あらかじめ生成した被
監視領域全体の距離分布データで距離データに変化のあ
った部分に対してのみ濃淡画像の解析を行い、侵入物体
の有無を判断するように作用するものである。
【0048】図5は第3の発明に関する実施の形態3の
監視装置を示すブロック図、図6は実施の形態3の動作
の流れを示すフローチャート、図7は距離と濃淡画像に
おける変化領域のしきい値との関係を示すグラフの一例
である。
【0049】図5において、8は被監視領域内のすべて
の部分に対して作成された距離分布データを解析する距
離データ解析手段、9は距離データ解析手段8により被
監視領域内のすべての部分に対して抽出された侵入物体
候補を示す。10は濃淡画像取得手段1により得られた
濃淡画像について、侵入物体候補9の領域に対してのみ
解析処理を行う濃淡画像解析手段である。また、その他
のブロックは、前記実施の形態1あるいは実施の形態2
におけるブロックと同一である。
【0050】また図6において、110は被監視領域内
のすべての部分に対して作成された距離分布データを解
析する距離データ解析手段8を実行する距離データ解析
ステップ、111は侵入物体候補9の領域に対してのみ
解析処理を行う濃淡画像解析手段10を実行する濃淡画
像解析ステップ、112は異常判定ステップである。起
動から濃淡画像を取得するまでの動作と外部出力を行う
フローは、前記実施の形態1におけるフローと同一であ
る。
【0051】また、図7において、11は距離と濃淡画
像における変化領域のしきい値との関係を示すグラフを
示す。
【0052】次に、実施の形態3の動作について説明す
る。監視装置は起動ステップ101により起動される。
そして、濃淡画像取得ステップ102により被監視領域
を撮像した濃淡画像を取得する。続いて、距離分布デー
タ作成ステップ108において、被監視領域の全領域に
渡って距離分布を計測し、そのデータを二次元アレイ状
に格納する。
【0053】次に距離データ解析ステップ110におい
て、距離データ解析手段8により被監視領域の全領域に
渡って作成された距離データの解析を行い、侵入物体候
補9の領域を確定させる。距離データ解析手段8の解析
方法としては、例えば実施の形態1に示した距離データ
解析手段5の解析方法を用いて侵入物体候補を検出する
などの方法がある。
【0054】そして、濃淡画像解析ステップ111にお
いて、濃淡画像解析手段10により濃淡画像取得手段1
で取得した濃淡画像のうち距離データ解析ステップ11
0で得られた侵入物体候補9の候補領域に対してのみ解
析を行う。このとき、濃淡画像解析手段10では時間的
変化領域の大きさを判定し、例えば図7のグラフ11に
示すように、距離データが遠い物体ほど侵入物体が存在
すると判定する領域の大きさのしきい値を小さく、近い
物体ほど侵入物体が存在すると判定する領域の大きさの
しきい値を大きくして、被監視領域内の侵入物体の有無
を判定する。
【0055】この濃淡画像解析手段10の結果より異常
判定ステップ106において被監視領域内の侵入物体の
有無を判定する。このとき、異常判定の手段としては実
施の形態1に記載の方法などを用いて判定を行う。そし
て、判定結果に従って外部出力ステップ107を実行す
る。ステップ107については実施の形態1の動作と同
一である。
【0056】なお、実施の形態3においても、実施の形
態1と同様に追跡処理を加えてもよい。また、図6の動
作フローチャートは一例であり、図5に示した各ブロッ
クの入出力関係が適正であれば別の動作フローであって
もよい。例えば距離分布データ作成ステップ108が濃
淡画像取得ステップ102の前に行われるようなフロー
でもよい。また、図7の距離と濃淡画像における変化領
域のしきい値との関係を示すグラフ11も一例であり、
ステップ関数の変化量は適切に設定されていればよく、
ステップも3段階でなくてもよい。さらにステップ関数
でなく滑らかな関数でもよい。
【0057】以上のように実施の形態3によれば、距離
分布データより侵入物体候補を検出して、その部分に対
してのみ濃淡画像解析を行うようにすることで、濃淡画
像の解析処理で検出される侵入物体領域に制限が生じ、
処理精度の向上を図ることができる。これは、距離分布
データ作成手段6と距離データ解析手段7が安価で高速
なハードウエアで実現できる場合などにおいて有用な手
段である。
【0058】実施の形態4.第4の発明に関する実施の
形態4の監視装置について説明する。この第4の発明
は、距離分布データ作成手段の後に距離分布状態特徴量
計算手段を設けることにより、距離分布データの分布状
態の特徴を求め、その変化を調べることにより侵入物体
の有無を判断するように作用するものである。
【0059】図8は第4の発明に関する実施の形態4の
監視装置を示すブロック図、図9は実施の形態4の動作
の流れを示すフローチャート、図10は距離とその距離
データの発生頻度との関係を示すヒストグラムの一例で
ある。
【0060】図8において、6は被監視領域内のすべて
の部分の距離分布を計測し、そのデータを二次元アレイ
状に格納する距離分布データ作成手段、12は距離分布
データ作成手段6により作成された距離データの分布状
態を表す分布状態特徴量を算出する距離分布特徴量計算
手段を示す。
【0061】図9において、113は距離分布特徴量計
算手段を実行する距離分布特徴量計算ステップ、114
は異常判定ステップを示す。また、その他のフローは前
記実施の形態1あるいは実施の形態2におけるフローと
同一である。
【0062】次に、実施の形態4の動作について説明す
る。監視装置は起動ステップ101により起動される。
次に距離分布データ生成ステップ108により被監視領
域の全領域に渡って距離分布を計測し、そのデータを二
次元アレイ状に格納する。続いて、距離分布特徴量計算
ステップ113において、距離分布特徴量算出手段12
により距離分布データ作成手段6により生成された距離
分布データを一定の区間に分割して区間ごとの距離デー
タの分布を、例えば図10のように距離とその距離デー
タの発生頻度との関係を表すヒストグラムに変換する。
そして、それぞれのヒストグラムを代表する中央値や平
均値、ピーク値、それらの値の発生頻度などのヒストグ
ラムの特徴量を示す数値を算出する。
【0063】なお、図10において、13は物体がない
状態の距離分布データのヒストグラム、14は物体があ
る状態の距離分布データのヒストグラムを示す。ヒスト
グラム13はどの距離に対してもほぼ一定の分布を示し
ている。物体がある状態のヒストグラム14は、ある距
離の発生頻度が非常に大きくなっている。これは、物体
がなければ奥の方のデータを示すはずの部分が物体によ
ってカメラから近い距離のデータとなっているためで、
これによりその距離に物体があることがわかる。
【0064】距離分布特徴量を求めた後、異常判定ステ
ップ114において、被監視範囲内に異常が発生してい
るかどうかの判定をする。異常の判定方法としては、次
のような方法がある。物体のないヒストグラム13と物
体のあるヒストグラム14のように、物体のないヒスト
グラム13を基準データとして二つのヒストグラムの重
ならない面積の比率が一定以上ある場合に、物体が存在
すると判断する。あるいは、それぞれのヒストグラムを
代表する中央値や平均値、ピーク値、それらの値の発生
頻度などの数値どうしの比較による一致度が一定値以下
であった場合に物体が存在すると判断するなどである。
【0065】そして、ステップ114の判定結果に従っ
て外部出力ステップ107を実行する。ステップ107
については実施の形態1の動作と同一である。
【0066】なお、距離分布特徴量を求める際、図10
のようなヒストグラムを作らずに、中間値などの特徴量
値を求めてもよい。また、中央値や平均値、ピーク値、
それらの値の発生頻度などを求めるとしたが、必ずしも
すべてを求める必要はなく、必要なパラメータのみ求め
ればよい。
【0067】以上のように実施の形態4によれば、統計
的に異常発生の判定を行うことで、個々での判定が多少
間違っている場合でも、信頼性の高い監視を行うことが
できるようになる。また、大量の距離分布データを処理
することなく、代表値で処理するので処理速度の高速化
を図ることができる。
【0068】実施の形態5.第5の発明に関する実施の
形態5は距離分布データ作成手段に係るものである。
【0069】図11はこの実施の形態5を説明するため
のブロック図、図12は実施の形態5の動作の流れを示
すフローチャート、図13は撮像手段の配置の一例を示
す。
【0070】図11において、15a、15bは監視範
囲を十分写すことができる位置に配置した二つの撮像手
段、16は距離画像生成手段を示す。その他のブロック
は、前記実施の形態1におけるブロックと同一である。
【0071】図12において、115は撮像手段15
a、15bによる撮像ステップ、116は距離画像生成
手段16を実行する距離画像生成ステップを示す。その
他のフローは、前記実施の形態1におけるフローと同一
である。
【0072】図13において、17は支持器具であり、
撮像手段15a、15bを監視範囲を十分写すことがで
きる位置に配置する役割を果す。
【0073】次に、実施の形態5の動作について説明を
する。図12において、起動ステップ101の後、撮像
ステップ115によりあらかじめ被監視領域の近くに設
置した二台の撮像手段15a、15bにより被監視領域
を撮影する。このとき、撮像手段15aおよび15bは
同性能のものを用いる。また二台の撮像手段は、図13
に示すように高さが明確である支持器具17に位置関係
等を明確にして取付けておく。また、撮像手段15a、
15bを被監視領域付近に設置した後、光軸調整を行っ
ておく。これらは以降の処理を容易にするためである。
【0074】撮像ステップ115により得られた映像の
うち撮像手段15aより得た映像については、濃淡画像
取得手段1以下の処理を行い、侵入物体候補3を抽出す
る。そして、距離画像生成ステップ116において、濃
淡画像取得手段1以下の処理により抽出された侵入物体
候補3と二台の撮像手段15a、15bから得られる映
像情報より距離画像生成手段16で距離画像を生成す
る。距離画像生成手段16において距離画像を生成する
ための距離データは、例えば撮像手段15aの各画素を
基準とし、それぞれの画素が撮像しているものと同じも
のを撮像している別の撮像手段15bの画素とを対応付
け、対応付けられた二つの画素の視差を三角測量の原理
から求める。このとき、基準とする撮像手段15aの映
像の画素のうち、侵入物体候補3の領域以外の画素は対
応付けをしないようにする。
【0075】上記、距離画像生成ステップ116により
得られた距離画像を距離画像分布データとして距離デー
タ解析ステップ105以降の処理を行い、被監視領域の
監視を行う。
【0076】なお、撮像手段15a、15bは可視カメ
ラ、赤外線カメラ、近赤外線カメラ、低照度カメラ、暗
視カメラ等、どのようなカメラを用いてもよい。また、
ここでは撮像手段15aの映像について濃淡画像解析を
行ったが、撮像手段15bでこの処理を行ってもよい
し、両方の撮像手段でそれぞれ処理を行い、統合するよ
うなことを行ってもよい。
【0077】さらに、図13では撮像手段15aを左
側、15bを右側としているが、逆であってもよい。ま
た、左右に配置しているが上下に配置したり、斜めに配
置してもよい。また、支持器具17についても特定の形
状である必要はなく、高さが明確でさえあればよい。
【0078】以上のように実施の形態5によれば、二台
の撮像手段を用いることで距離分布データ作成手段と濃
淡画像取得手段に対する入力をまとめて行うことがで
き、また、距離画像生成手段における侵入物体候補によ
る生成範囲の制限が容易に行うことができ、処理自体を
容易することができる。
【0079】実施の形態6.第5の発明に関する実施の
形態6は距離画像作成に係るものである。
【0080】図14は例えば実施の形態5に記載したよ
うに二台の撮像手段で被監視領域を撮像した映像のうち
の一方の映像18上の被監視領域19を示したものであ
る。また、20は画像内を一定の大きさごとに区切った
時のある一つの領域、21はその領域20の中の代表点
を示す。
【0081】実施の形態5では撮像手段15aより得ら
れた映像信号の各画素に対して、もう一つの撮像手段1
5bより得られた映像信号のどの画素に対応するかを調
べて対応付けを行うこととした。この実施の形態6で
は、図14のように映像信号を一定の大きさごとに区切
る。そして、例えばそのうちの一つの領域20に着目し
て、その領域20の中心の点を代表点21として選ぶ。
その選ばれた代表点21に対して映像18に選ばれてい
ない方の撮像手段より得られた映像信号のどの画素に対
応するかを調べて対応付けを行う。
【0082】そして、対応付けられた二つの画素の視差
を三角測量の原理から求める。その結果より、あらかじ
め設定した基準点と距離を測りたい各画素に撮像されて
いる対象点までの距離を計算する。
【0083】なお、図14では代表点21を区切った領
域20の中央点としているが、領域20の四隅の点など
を代表点にしてもよい。また、領域20内でいくつか代
表点を選び、それらの計算結果の平均値をその領域の距
離としてもよい。
【0084】また、図14では領域20の数を42個に
しているが、説明のために区切った一例である。この領
域の大きさを細かく区切ると、領域20内の各画素の本
来の距離との誤差は小さくなるが、処理速度の向上性は
低くなる。反対に粗く区切ると、処理速度の向上性は高
くなるが、領域20内の各画素の本来の距離との誤差は
大きくなる。よって、この監視装置を用いるそれぞれの
状況で必要とする処理性能を考慮して画面の分割数を決
める。
【0085】以上のように実施の形態6によれば、区切
られた領域内の代表点の計算結果をその領域全体の距離
計算結果とすることで、計算処理量を減らして処理の高
速化を図ることができる。
【0086】実施の形態7.第5の発明に関する実施の
形態7は距離画像作成に係るものである。図15は例え
ば実施の形態5に記載したように二台の撮像手段で被監
視領域を撮像した映像のうちの一方の映像より得られる
映像データのうちの一部分22のイメージ図、図16は
図15内の矢印23の順に画素を横軸にとった時の濃淡
レベル分布グラフの一例を示す。
【0087】なお、図16において、24は領域22内
の濃淡レベルにバラツキがある場合を示したグラフの一
例である。また、25は領域22全体が同じ程度の濃淡
レベルである場合を示したグラフの一例である。
【0088】図15にあるような映像データのうちの一
部分の各画素の濃淡レベルのデータを図16のようにグ
ラフ化する。そして、その領域22内の濃淡レベルのバ
ラツキ具合を調べ、その領域22内の濃淡レベルにバラ
ツキがある場合(グラフ24)は距離計算処理を行い、
距離画像用のデータを作成する。反対に、領域全体が同
じ程度の濃淡レベルである場合(グラフ25)について
は、明確な対応位置を探すための特徴がないため、画素
ごとの対応付けの信頼性が低くなる。よって、この場合
については計算処理を行わなず、距離画像用のデータを
作成しないようにする。
【0089】なお、図15ではグラフに一つのグラフに
する画素数を16にしているが、特に画素数に制限はな
く、いくつでグラフ化してもよい。また、矢印23の方
向は上下に進みながら左右に移動していってもよい。さ
らに、図16において各グラフは一例であり、輝度、形
状が異なっていてもよい。
【0090】以上のように実施の形態7によれば、ある
領域内の濃淡レベルのバラツキによる判定を行うこと
で、処理の精度を向上させることができる。また、デー
タ生成以降の処理を省くことができるため、効率よく処
理を行うことができる。
【0091】実施の形態8.第6の発明に関する実施の
形態8は、距離分布データ作成手段に係るものである。
図17はこの実施の形態8による監視装置を示すブロッ
ク図、図18は実施の形態8の動作の流れを示すフロー
チャートである。
【0092】図17において、26は距離画像生成手段
を示す。撮像手段15a、15bおよび距離分布特徴量
計算手段12は、前記実施の形態4および実施の形態5
におけるブロックと同一である。
【0093】図18において、117は距離画像生成手
段26を実行する距離画像生成ステップを示す。その他
のフローは前記実施の形態4あるいは実施の形態5にお
けるフローと同一である。
【0094】次に、実施の形態8の動作について説明を
する。起動ステップ101の後、撮像ステップ115に
より被監視領域を撮影するところまでは実施の形態5と
同様である。
【0095】次に、距離画像生成ステップ117におい
て、距離画像生成手段26により二台の撮像手段15
a、15bから得られる映像情報より距離画像を生成す
る。距離画像生成手段26における距離画像を生成する
ための距離データは、例えば撮像手段15aの各画素を
基準とし、それぞれの画素が撮像しているものと同じも
のを撮像している別の撮像手段15bの画素とを対応付
け、対応付けられた二つの画素の視差を三角測量の原理
から求める。距離画像生成手段26は、実施の形態5に
記載の距離画像生成手段16が侵入物体候補3の領域に
ついてのみ距離画像を作成するのに対し、撮像手段15
aのすべての領域に対して距離画像を作成する点が異な
る。
【0096】上記、距離画像生成ステップ117により
得られた距離画像を距離画像分布データとして距離分布
特徴量計算ステップ113以降の処理を行い、被監視領
域の監視を行う。この部分は実施の形態4と同様であ
る。ここで、距離分布特徴量として距離画像自体も利用
することができ、距離画像の差分を計算することでも侵
入物体の有無を判定できるようになる。
【0097】なお、撮像手段15a、15bは可視カメ
ラ、赤外線カメラ、近赤外線カメラ、低照度カメラ、暗
視カメラなどどのようなカメラを用いてもよい。また、
撮像手段15aを基準としているが15bを基準として
処理を行ってもよい。
【0098】以上のように実施の形態8によれば、二台
の撮像手段を用いて統計的に異常発生の判定を行うこと
で、距離画像生成段階で個々の距離データが間違ってい
る場合でも、信頼性の高い監視を行うことができるよう
になる。また、距離画像どうしの差分計算により異常判
定が行えることで、処理の理解を視覚的に容易にするこ
とができる。
【0099】実施の形態9.第7の発明に関する実施の
形態9は距離分布データ作成手段に係るものである。図
19はこの実施の形態9を説明するためのブロック図、
図20は実施の形態9の動作の流れを示すフローチャー
ト、図21は撮像手段の配置の一例を示す。
【0100】図19において、27a、27b、27c
は監視範囲が十分写すことができる位置に配置した三つ
の撮像手段、28は撮像手段27a、27b、27cの
うちどの映像を利用するかを選択する使用画像選択手段
を示す。その他のブロックは、前記実施の形態5におけ
るブロックと同一である。
【0101】図20において、118は使用画像選択手
段28を実行する使用画像選択ステップを示す。その他
のフローは、前記実施の形態5のフローと同一である。
【0102】図21において、17は支持器具であり、
撮像手段27a、27b、27cを監視範囲を十分写す
ことができる位置に配置する役割を果す。
【0103】次に、実施の形態9の動作について説明を
する。起動ステップ101の後、撮像ステップ115に
よりあらかじめ被監視領域の近くに設置した三台の撮像
手段27a、27b、27cにより被監視領域を撮影す
る。このとき、撮像手段27aおよび27b、27cは
同性能のものを用いる。また三台の撮像手段は、図21
に示すように高さが明確である支持器具17に位置関係
等を明確にして取付けておく。また、撮像手段27aお
よび27b、27cを被監視領域付近に設置した後、光
軸調整を行っておく。これらは以降の処理を容易にする
ためである。
【0104】次に撮像手段27aおよび27b、27c
で得られた映像のうち、使用画像選択ステップ118に
より二つの映像を選択する。選択する方法としては、各
画像の輝度分布を調べて画像内の輝度分布の差が大きい
画像を選ぶ、基本として特定の二つの画像を利用して故
障等が起きた場合に残りの画像に切替えて処理を続ける
などの方法がある。
【0105】使用画像選択ステップ118により選択さ
れた得られた映像のうちの一つについては、濃淡画像取
得手段1以下の処理を行い、侵入物体候補3を抽出す
る。そして、距離画像生成ステップ116において、抽
出された侵入物体候補3とその抽出に用いた画像と使用
画像選択手段28で選択されたもう一つの画像から得ら
れる映像情報より距離画像を生成する。距離画像を生成
するための距離データは、侵入物体候補3の抽出に用い
た画像の各画素を基準とし、それぞれの画素が撮像して
いるものと同じものを撮像しているもう一つの画像の画
素とを対応付け、対応付けられた二つの画素の視差を三
角測量の原理から求める。このとき、基準とする侵入物
体候補3の抽出に用いた画像の画素のうち、侵入物体候
補3の領域以外の画素は対応付けをしないようにする。
【0106】上記、距離画像生成ステップ116により
得られた距離画像を距離画像分布データとして距離デー
タ解析ステップ105以降の処理を行い、被監視領域の
監視を行う。
【0107】なお、撮像手段27aおよび27b、27
cは可視カメラ、赤外線カメラ、近赤外線カメラ、低照
度カメラ、暗視カメラなどどのようなカメラを用いても
よい。また、ここでは三つの画像のうち二つを選択し
て、その一組に対してのみ処理を行っているが、複数の
組み合わせを作りそれぞれ処理を行い、その結果をもと
に侵入物体の判定を行ってもよい。
【0108】さらに、図21における撮像手段27aお
よび27b、27cの配置は一例であり、この順に配置
しなくてもよい。また、横一列に配置しているが縦一列
や斜め一列に配置してもよいし、一列に並べていなくて
もよい。また、支持器具17についても特定の形状であ
る必要はなく、高さが明確でさえあればよい。
【0109】以上のように実施の形態9によれば、三台
以上の撮像手段を用いることで複数の組み合わせによる
処理が可能となり、最適な組み合わせの処理により監視
精度の向上を図ることができる。
【0110】実施の形態10.第8の発明に関する実施
の形態10は距離分布データ作成手段に係るものであ
る。図22はこの実施の形態10の監視装置を示すブロ
ック図、図23は実施の形態10の動作の流れを示すフ
ローチャートである。
【0111】図22において、29は撮像手段27a、
27b、27cのうちどの映像を利用するかを選択する
使用画像選択手段を示す。その他のブロックは、前記実
施の形態4あるいは実施の形態9におけるブロックと同
一である。
【0112】図23において、119は使用画像選択手
段29を実行する使用画像選択ステップを示す。その他
のフローは、前記実施の形態4あるいは実施の形態9に
おけるフローと同一である。
【0113】次に、実施の形態10の動作について説明
をする。起動ステップ101の後、撮像ステップ115
により被監視領域を撮影するところまでは実施の形態9
と同様である。
【0114】次に撮像手段27aおよび27b、27c
で得られた映像を使用画像選択ステップ119にて二つ
の映像を選択する。選択する方法としては、各画像の輝
度分布を調べて画像内の輝度分布の差が大きい画像を選
ぶ、基本として特定の二つの画像を利用して故障等が起
きた場合に残りの画像に切替えて処理を続けるなどの方
法がある。
【0115】次に、距離画像生成ステップ117におい
て、選択された二つの画像から得られる映像情報より距
離画像を生成する。距離画像を生成するための距離デー
タは、例えば選択された二つのうちの一つの画像の各画
素を基準とし、それぞれの画素が撮像しているものと同
じものを撮像しているもう一つの画像の画素とを対応付
け、対応付けられた二つの画素の視差を三角測量の原理
から求める。
【0116】上記、距離画像生成ステップ117により
得られた距離画像を距離画像分布データとして距離分布
特徴量計算手段113以降の処理を行い、被監視領域の
監視を行う。この部分は実施の形態4と同様である。こ
こで、距離分布特徴量として距離画像自体も利用するこ
とができ、距離画像の差分を計算することでも侵入物体
の有無を判定できるようになる。
【0117】なお、撮像手段27aおよび27b、27
cは可視カメラ、赤外線カメラ、近赤外線カメラ、低照
度カメラ、暗視カメラなどどのようなカメラを用いても
よい。また、ここでは三つの画像のうち二つを選択し
て、その一組に対してのみ処理を行っているが、複数の
組み合わせを作りそれぞれ処理を行い、その結果をもと
に侵入物体の判定を行ってもよい。
【0118】以上のように実施の形態10によれば、三
台以上の撮像手段を用いて統計的に異常発生の判定を行
うことで、複数の組み合わせによる処理が可能となり、
最適な組み合わせの処理により監視精度の向上を図るこ
とができる。また、距離画像生成段階で個々の距離デー
タが間違っている場合でも、信頼性の高い監視を行うこ
とができるようになる。また、距離画像どうしの差分計
算により異常判定が行えることで、処理の理解を視覚的
に容易にすることができる。
【0119】実施の形態11.第9の発明に関する実施
の形態11は距離分布データ作成手段に係るものであ
る。図24はこの実施の形態11を説明するためのブロ
ック図、図25は実施の形態11の動作の流れを示すフ
ローチャートである。
【0120】図24において、30は被監視範囲を撮像
する撮像手段、31は光学的直線上距離分布計測手段、
32は距離分布データ作成手段、33は距離データ解析
手段を示す。その他のブロックは、前記実施の形態1に
おけるブロックと同一である。
【0121】図25において、120は光学的直線距離
計測手段31を用い、距離分布データ作成手段32を実
行する距離分布データ作成ステップ、121は距離デー
タ解析手段33を実行する距離データ解析ステップ、1
22は異常判定ステップである。その他のフローは、前
記実施の形態1のフローと同一である。
【0122】また、図26は被監視領域19の側面図を
示す。また、図27は光学的直線上距離分布計測手段3
1を設置している高さの平面図を示す。
【0123】図26において、撮像手段30と光学的直
線上距離分布計測手段31は同一の支持器具により設置
されている。また、34は撮像手段30の撮像範囲、3
5は光学的直線上距離分布計測手段31の走査方向の一
例を示す。さらに36は被監視領域19内にある侵入物
体を示す。
【0124】次に、実施の形態11の動作について説明
する。図25において、起動ステップ101により監視
装置を起動した後、撮像ステップ115によりあらかじ
め被監視領域19の近くに設置した撮像手段30にて被
監視領域19を撮影する。撮像ステップ115により得
られた映像を用いて、濃淡画像取得手段1以下の処理を
行い、侵入物体候補3を抽出する。
【0125】次に、距離データ生成ステップ120にお
いて、光学的直線上距離分布計測手段31により走査方
向35の距離を測定する。この光学的直線上距離分布計
測手段31には、各走査方向において何か物体にぶつか
るまでの距離が測定できる、例えばレーザレーダやミリ
波レーダなどの計測機器を用いればよい。そして、各走
査線ごとに得られる距離データを順に格納していき、走
査範囲全体に渡って距離データが得られた時点で距離分
布データとする。これにより計測平面を水平にみた直線
上に距離分布データが得られる。
【0126】続いて、距離データ解析手段121におい
て、濃淡画像解析ステップ103により得られた侵入物
体候補3の方向に対する距離データ生成ステップ120
により得られた距離分布データを検索し、そのデータを
抽出する。
【0127】そして、異常判定ステップ122におい
て、抽出したデータが被監視領域19内に存在すると判
断されれば、侵入物体が被監視領域内に存在することに
なり異常と判定する。外部出力に関しては実施の形態1
と同様の処理を行えばよい。
【0128】なお、距離データに欠落や誤りがあった場
合、適切な結果を得ることができないため、例えば欠落
あるいは誤った信号部分の近傍のデータで補完したり、
何回かの測距信号情報を積算して、その結果を平均化す
るなどしてデータの安定化を図ってもよい。また、撮像
装置30と光学的直線距離計測手段31の設置関係は図
26に記載したようなものである必要はない。撮像装置
30と光学的直線距離計測手段31はそれぞれ被監視領
域19がすべて含まれるように設置されて、お互いの位
置関係などが明確になっていればどこに配置してもよ
い。
【0129】以上のように実施の形態11によれば、光
学的直線上距離測定装置を用い、この装置で監視する平
面のみのデータを用いることで、図26、図27に記載
したような高さのある侵入物体36は侵入物体として検
出するが、高さのない影あるいはライトによる監視範囲
内の状態変化などがあっても、異常とは判定することを
なくすことができ、監視精度の向上を図ることができ
る。
【0130】実施の形態12.第10の発明に関する実
施の形態12は距離分布データ作成手段に係るものであ
る。図28は実施の形態12を説明するためのブロック
図、図29は実施の形態12の動作の流れを示すフロー
チャートを図29を示す。
【0131】図28において、37は距離分布特徴量計
算手段を示す。その他のブロックは、前記実施の形態1
1におけるブロックと同一である。
【0132】図29において、123は距離分布特徴量
計算手段37を実行する距離分布特徴量計算ステップ、
124は異常判定ステップである。その他のフローは、
前記実施の形態11におけるフローと同一である。
【0133】次に、実施の形態12の動作について説明
する。図29において、起動ステップ101により監視
装置が起動した後、距離データ生成ステップ120にて
距離分布データが生成される。この生成方法については
実施の形態11に記載した方法を用いる。
【0134】次に、距離分布特徴量計算ステップ123
にて、距離分布データ生成ステップ120により得られ
た距離分布データの分布を、距離とその距離データの発
生頻度との関係を表すヒストグラムに変換する。そし
て、それぞれのヒストグラムを代表する中央値や平均
値、ピーク値、それらの値の発生頻度などのヒストグラ
ムの特徴量を示す数値を算出する。
【0135】そして、異常判定ステップ124にて、実
施の形態4と同様に図10に示すような物体がない状態
の距離分布データのヒストグラムの特徴量と物体がある
状態の距離分布データのヒストグラムの特徴量を比較す
る。これにより、二つのヒストグラムの重ならない面積
の比率が一定以上あったり、それぞれのヒストグラムを
代表する中央値や平均値、ピーク値、それらの値の発生
頻度などの数値どうしの比較による一致度が一定値以下
であった場合、これを検出することでその距離に物体が
あることがわかる。このようにして異常判定を行い、被
監視領域の監視を行う。
【0136】なお、距離分布特徴量を求める際、ヒスト
グラムを作らずに、中間値などの特徴量値を求めてもよ
い。また、中央値や平均値、ピーク値、それらの値の発
生頻度などを求めるとしたが、必ずしもすべてを求める
必要はなく、必要なパラメータのみ求めればよい。ま
た、実施の形態11に記載したような距離データの安定
化処理を加えてもよい。さらに、光学的直線距離計測手
段31の設置位置は装置の計測能力範囲内に被監視領域
19がすべて含まれていればどこに設置してもよい。
【0137】以上のように実施の形態12によれば、統
計的に異常発生の判定を行うことで、個々での判定が多
少間違っている場合でも、信頼性の高い監視を行うこと
ができるようになる。また、大量の距離分布データを処
理することなく、代表値で処理するので処理速度の高速
化を図ることができる。さらに、光学的直線距離計測手
段を用いることで、被監視領域付近に設置する装置構成
を容易に構成することができる。
【0138】実施の形態13.第11の発明に関する実
施の形態13は距離分布データ作成手段に係るものであ
る。図30は実施の形態13の監視装置を説明するため
のブロック図であり、図31はその被監視領域19の側
面図を示す。
【0139】図30において、38a、38bは光学的
直線上距離分布計測手段、39は距離分布データ作成手
段、40は距離データ解析手段を示す。その他のブロッ
クは、前記実施の形態11におけるブロックと同一であ
る。
【0140】図31において、41a、41bはそれぞ
れ異なる高さに配置された光学的直線上距離分布計測手
段38a、38bの走査方向の一例を示す。また、42
は侵入物体を示す。その他の符号は、前記実施の形態1
1における符号と同一である。なお、侵入物体42は風
船などの浮遊物体、あるいはアーチ型をした物体の接地
していない部分などである。
【0141】次に光学的直線上距離分布計測手段38
a、38bと距離分布データ作成手段39の動作につい
て説明する。図31のように、光学的直線上距離分布計
測手段38a、38bを異なる高さに設置し、走査方向
41a、41bの距離を測定する。この光学的直線上距
離分布計測手段38a、39bには、各走査方向におい
て何か物体にぶつかるまでの距離が測定できる、例えば
レーザレーダやミリ波レーダなどの計測機器をそれぞれ
用いればよい。
【0142】そして、各走査線ごとに得られる距離デー
タを順に格納していき、走査範囲全体に渡って距離デー
タが得られた時点で距離分布データとする。これにより
計測平面を水平にみた直線上に距離分布データが得られ
る。さらに光学的直線上距離分布計測手段38a、38
bそれぞれより得られた距離分布データを統合する。こ
の統合したデータを距離データ解析手段40にて解析を
行うデータとする。
【0143】なお、実施の形態11に記載した距離デー
タの安定化処理を加えてもよい。また、光学的直線上距
離分布計測手段38a、38bの距離分布データの統合
は行わずに、それぞれ単独で解析を行ってもよいし、解
析が完了してから統合を行ってもよい。さらに、光学的
直線距離計測手段を二台設置した場合について説明をし
たが、三台以上設置してもよい。また、撮像装置30と
光学的直線距離計測手段38a、38bの設置関係は図
31に記載したようなものである必要はない。撮像装置
30と光学的直線距離計測手段38a、38bはそれぞ
れ被監視領域19がすべて含まれるように設置されて、
お互いの位置関係などが明確になっていればどこに配置
してもよい。
【0144】以上のように実施の形態13によれば、複
数台の光学的直線上距離分布計測手段を設置すること
で、例えば図31に記載したような侵入物体42などが
存在する場合でも、光学的直線上距離分布計測手段38
bだけでは検出できないが、光学的直線上距離分布計測
手段38aのデータより侵入物体として検出することが
できるようになり、監視精度の向上を図ることができ
る。
【0145】実施の形態14.第11の発明に関する実
施の形態14は光学的直線上距離分布計測手段の構成に
係るものである。図32は実施の形態14を説明する図
であり、被監視領域19を上から見た場合の様子を示
す。
【0146】図32において、43a、43b、43
c、43dはそれぞれ光学的直線距離計測手段、44
a、44b、44c、44dはそれぞれ光学的直線距離
計測手段43a〜43dの距離データ作成時の走査範囲
を示す。
【0147】図32のように、被監視領域19全体の同
じ平面上を走査し距離分布データを作成することができ
るように光学的直線距離計測手段43a〜43dを設置
する。そして、各走査線ごとに得られる距離データを順
に格納していき、それぞれの走査範囲44a〜44d全
体に渡って距離データが得られた時点でそれぞれの距離
分布データとする。これにより計測平面を水平にみた直
線上に距離分布データが得られる。さらに光学的直線上
距離分布計測手段44a〜44dそれぞれより得られた
距離分布データを統合する。これにより被監視領域19
内全体の距離分布データを得る。
【0148】なお、図32では光学的直線距離計測手段
を四台設置することで被監視領域を覆うように記載して
いるが、被監視領域を覆うことができる台数であれば何
台設置していてもよい。また、図32では被監視領域を
覆う平面が一つであるが、これを実施の形態13のよう
に高さの異なる複数の走査平面を作ってもよい。
【0149】以上のように実施の形態14によれば、複
数台の光学的直線距離計測手段で距離データ作成用の走
査面の一平面を構成し、距離分布データを作成するよう
にすることで、光学的直線距離計測手段一台の走査範囲
よりも被監視領域が広い場合でも監視ができるようにす
ることができる。
【0150】実施の形態15.第12の発明に関する実
施の形態15は距離分布データ作成手段に係るものであ
る。図33は実施の形態15による監視装置を説明する
ブロック図である。
【0151】図33において、45は距離分布特徴量計
算手段を示す。その他のブロックは、前記実施の形態1
3におけるブロックと同一である。
【0152】実施の形態13に記載したように、光学的
直線上距離分布計測手段38a、38bを異なる高さに
設置し、距離を測定する。そして、距離分布データを作
成する。さらに光学的直線上距離分布計測手段38a、
38bそれぞれより得られた距離分布データを統合す
る。
【0153】次に、距離分布特徴量計算手段45にて、
距離分布データの分布を距離とその距離データの発生頻
度との関係を表すヒストグラムに変換する。そして、そ
れぞれのヒストグラムを代表する中央値や平均値、ピー
ク値、それらの値の発生頻度などのヒストグラムの特徴
量を示す数値を算出する。
【0154】そして、物体がない状態の距離分布データ
のヒストグラムの特徴量と物体がある状態の距離分布デ
ータのヒストグラムの特徴量を比較する。これにより、
二つのヒストグラムの重ならない面積の比率が一定以上
あったり、それぞれのヒストグラムを代表する中央値や
平均値、ピーク値、それらの値の発生頻度などの数値ど
うしの比較による一致度が一定値以下であった場合、こ
れを検出することでその距離に物体があることがわか
る。このようにして異常判定を行い、被監視領域の監視
を行う。
【0155】なお、距離分布特徴量を求める際、ヒスト
グラムを作らずに、中間値などの特徴量値を求めてもよ
い。また、中央値や平均値、ピーク値、それらの値の発
生頻度などを求めるとしたが、必ずしもすべてを求める
必要はなく、必要なパラメータのみ求めればよい。ま
た、実施の形態11に記載したような距離データの安定
化処理を加えてもよい。
【0156】さらに、光学的直線距離計測手段38a、
38bの設置位置は装置の計測能力範囲内に被監視領域
19がすべて含まれていればどこに設置してもよい。ま
た、光学的直線上距離分布計測手段38a、38bの距
離分布データの統合は行わずに、それぞれ単独で解析を
行ってもよいし、解析が完了してから統合を行ってもよ
い。さらに、光学的直線距離計測手段を二台設置した場
合について説明をしたが、三台以上設置してもよい。ま
た、実施の形態14に記載したように複数台で一平面を
構成した計測を行ってもよい。
【0157】以上のように実施の形態15によれば、統
計的に異常発生の判定を行うことで、個々での判定が多
少間違っている場合でも、信頼性の高い監視を行うこと
ができるようになる。また、大量の距離分布データを処
理することなく、代表値で処理するので処理速度の高速
化を図ることができる。さらに、光学的直線距離計測手
段を用いることで、被監視領域付近に設置する装置構成
を容易に構成することができる。また、複数台で距離の
計測を行うことで、広い範囲を監視できるようになった
り、複数の高さでの監視が可能となり監視性能の向上を
図ることができる。
【0158】実施の形態16.第13の発明に関する実
施の形態16は距離分布データ作成手段に係るものであ
る。図34は実施の形態16の監視装置を説明するブロ
ック図である。
【0159】図34において、46は光学的平面上距離
分布計測手段、47は距離分布データ作成手段、48は
距離データ解析手段を示す。その他のブロックは、前記
実施の形態11におけるブロックと同一である。
【0160】また、図35は被監視領域19の側面図を
示す。また、図36は光学的直線上距離分布計測手段4
6の後方から被監視領域19をみた場合の側面図を示
す。
【0161】図35において、撮像手段30と光学的平
面上距離分布計測手段46は同一の支持器具により設置
されている。また、49は光学的平面上距離分布計測手
段46の走査方向の一例を示す。さらに50は被監視領
域19内にある侵入物体を示す。
【0162】光学的平面上距離分布計測手段46と距離
分布データ取得手段47について説明をする。光学的平
面上距離分布計測手段46の走査方向49の距離を測定
する。この光学的平面上距離分布計測手段46には、各
走査方向において何か物体にぶつかるまでの距離が測定
できる、例えばレーザレーダやミリ波レーダなどの計測
機器を用いればよい。そして、各走査線ごとに得られる
距離データを順に格納していき、走査範囲全体に渡って
距離データが得られた時点で距離分布データとする。こ
のとき、図35に記載している計測方向49ごとに計測
平面を構成したとすると、それぞれに対して直線上に距
離分布データが得られる。そして、各平面ごとの距離分
布データを統合し、被監視範囲19における距離分布デ
ータを作成する。
【0163】続いて、距離データ解析手段121におい
て、侵入物体候補3の方向に対する距離分布データを検
索し、そのデータを抽出する。そして、抽出したデータ
が被監視領域19内に存在すると判断されれば、侵入物
体が被監視領域内に存在することになり異常と判定す
る。外部出力に関しては実施の形態1と同様の処理を行
えばよい。
【0164】なお、距離データに欠落や誤りがあった場
合、適切な結果を得ることができないため、例えば欠落
あるいは誤った信号部分の近傍のデータで補完したり、
何回かの測距信号情報を積算して、その結果を平均化す
るなどしてデータの安定化を図ってもよい。また、撮像
装置30と光学的平面上距離計測手段46の設置関係は
図35に記載したようなものである必要はない。撮像装
置30と光学的平面上距離計測手段46はそれぞれ被監
視領域19がすべて含まれるように設置されて、お互い
の位置関係などが明確になっていればどこにあってもよ
い。さらに、距離分布データ作成手段47において、各
平面ごとの距離分布データを統合して一つの距離分布デ
ータを作成するとしたが、それぞれ独立した距離分布デ
ータで処理を行っていってもよい。
【0165】以上のように実施の形態16によれば、光
学的平面上距離測定装置を用いることで、複数の光学的
距離計測手段を設ける必要がなく、容易な監視装置の構
成とすることができる。
【0166】実施の形態17.第14の発明に関する実
施の形態17は距離分布データ作成手段に係るものであ
る。図37は実施の形態17の監視装置を説明するブロ
ック図であり、また、図38は実施の形態17の光学的
直線上距離分布計測手段46の後方から被監視領域19
をみた場合の側面図である。
【0167】図37において、51は距離分布特徴量計
算手段を示し、その他のブロックは前記実施の形態16
におけるブロックと同一である。また、図38の符号は
実施の形態16における図36の符号と同一である。
【0168】実施の形態17の動作としては、実施の形
態12に記載した動作とほぼ同じである。ただ、実施の
形態12では、光学的直線上距離分布計測手段31を用
いていたが、ここでは光学的平面上距離分布計測手段5
1を用いるため、実施の形態12のように特徴量を求め
ることができる平面が一平面ではなく、例えば図38に
示す平面A〜平面Dのように複数の計測平面が存在す
る。
【0169】以上のように実施の形態17によれば、複
数の計測平面について特徴量を求めることにより監視精
度の向上を図ることができる。また、実施の形態14と
は異なり、一台の装置により精度の向上が実現できる。
【0170】実施の形態18.第15の発明に関する実
施の形態18は距離データの構造に係るものである。図
39は実施の形態18の監視装置を説明するためのブロ
ック図であり、図40は実施の形態18の動作の流れを
示すフローチャートである。
【0171】図39において、52は三次元空間座標変
換手段を示す。その他は実施の形態5と同様である。
【0172】図40において、125は三次元空間座標
変換手段52を実行する三次元空間座標変換ステップ、
126は距離データ解析ステップ、127は異常判定ス
テップを示す。その他は実施の形態5と同様である。
【0173】実施の形態5では、距離分布データは基準
となる撮像手段からの距離分布データにより距離データ
解析手段5において距離データの解析を行っていた。こ
こでは、三次元空間座標変換ステップ125において、
距離画像生成ステップ116で得られる基準となる撮像
手段からの距離分布データを三次元空間座標系のデータ
に変換する。
【0174】そして、変換したデータをもとに距離デー
タ解析ステップ126において、得られたデータの位置
や高さにより侵入物体候補の有無を解析する。そして、
その結果によって異常判定ステップ127により異常の
有無を判定する。なお、直前の侵入物体情報をデータと
して保持しておき、そのデータを利用した追跡処理を行
った上で異常の判断を行ってもよい。
【0175】ここで実施の形態18の処理の一例を図4
1に示す。図41において、53はカメラの近くを移動
している物体、54は物体53よりも遠くを移動してい
る物体を示す。図41(a)〜(c)は一定時間ごとの
原画像を示す。(d)〜(f)は三次元空間座標変換ス
テップ125の結果得られたそれぞれの時間における監
視領域を真上から見たときの様子を示しており、物体5
3は55、物体54は56のようになるとした。
【0176】物体53、54は、はじめ図41(a)の
ように撮像手段に撮像され、その後(b)、(c)に示
すように時間経過とともに異なる位置に撮像される。こ
の場合、三次元空間座標変換手段52より監視領域を真
上から見たときの様子は(a)のとき(d)のように基
準点に対しての遠近感を持ったデータ55、56が得ら
れるようになる。また同様に(b)のとき(e)、
(c)のとき(f)のようになる。この(d)〜(f)
の結果、たとえ(a)〜(c)で物体53と物体54が
重なっても、異なる位置55、56に存在することがわ
かる。
【0177】以上のように実施の形態18によれば、三
次元空間座標系に変換することにより、異常が無い時の
基準データの作成が容易になり、CAD等により作成す
ることが可能となる。また、比較判定処理や追跡処理が
容易になる。さらに、人が見てもわかりやすい処理結果
を得ることが可能となる。
【0178】実施の形態19.第16の発明に関する実
施の形態19は距離分布データ作成手段に係るものであ
る。図42は実施の形態19の監視装置を説明するため
のブロック図である。図42において、12は距離分布
特徴量計算手段を示す。その他のブロックは、前記実施
の形態5におけるブロックと同一である。
【0179】実施の形態5では、侵入物体候補3により
制限を与えて生成した距離画像生成手段16の後、距離
データ解析手段5によりそれぞれの距離データの比較を
行って侵入物体の有無の判定を行っていたが、この実施
の形態19では距離分布特徴量計算手段12により分布
の特徴量を抽出することにより侵入物体の有無の判定を
行う。なお、濃淡画像処理を行う映像データは撮像手段
15bより得られる映像データを用いてもよい。
【0180】以上のように実施の形態19によれば、処
理速度の向上を図って侵入物体候補領域のみの距離分布
データを作成するように制限を加えられた場合でも、そ
の分布データの特徴量から侵入物体の有無を判定するこ
とで監視装置全体の処理速度の向上をさらに図ることが
できる。
【0181】
【発明の効果】第1の発明(請求項1)に関する監視装
置によれば、先に濃淡画像で侵入物体候補を検出して、
その部分のみ距離分布データを取得するようにすること
で、影や光の影響を距離により排除することができる。
また、距離分布データを被監視領域の全領域に渡って作
成する必要がないので、短時間周期での処理が可能とな
る。これらのことにより、監視能力を向上させることが
できる。
【0182】第2の発明(請求項2)に関する監視装置
によれば、濃淡画像で侵入物体候補を検出して、その部
分のみ距離データ解析を行うようにすることで解析処理
を被監視領域の全領域に渡って行う必要がなくなり、処
理の高速化を図ることができる。これは、距離分布デー
タ作成手段が安価で高速なハードウエアで実現できる場
合などにおいて有用な手段である。また、距離を用いて
解析を行うことで、影や光の影響を距離により排除する
ことができる。
【0183】第3の発明(請求項3)に関する監視装置
によれば、距離分布データより侵入物体候補を検出し
て、その部分に対してのみ濃淡画像解析を行うようにす
ることで、濃淡画像の解析処理で検出される侵入物体領
域に制限が生じ、処理精度の向上を図ることができる。
これは、距離分布データ作成手段と距離データ解析手段
7が安価で高速なハードウエアで実現できる場合などに
おいて有用な手段である。
【0184】第4の発明(請求項4)に関する監視装置
によれば、統計的に異常発生の判定を行うことで、個々
での判定が多少間違っている場合でも、信頼性の高い監
視を行うことができるようになる。また、大量の距離分
布データを処理することなく、代表値で処理するので処
理速度の高速化を図ることができる。
【0185】第5の発明(請求項5〜8)に関する監視
装置によれば、二台の撮像手段を用いることで距離分布
データ作成手段と濃淡画像取得手段に対する入力をまと
めて行うことができ、また、距離画像生成手段における
侵入物体候補による生成範囲の制限が容易に行うことが
でき、処理自体を容易することができる。また、区切ら
れた領域内の代表点の計算結果をその領域全体の距離計
算結果とすることで、計算処理量を減らして処理の高速
化を図ることができる。さらに、ある領域内の濃淡レベ
ルのバラツキによる判定を行うことで、処理の精度を向
上させることができる。また、データ生成以降の処理を
省くことができるため、効率よく処理を行うことができ
る。
【0186】第6の発明(請求項9)に関する監視装置
によれば、二台の撮像手段を用いて統計的に異常発生の
判定を行うことで、距離画像生成段階で個々の距離デー
タが間違っている場合でも、信頼性の高い監視を行うこ
とができるようになる。また、距離画像どうしの差分計
算により異常判定が行えることで、処理の理解を視覚的
に容易にすることができる。
【0187】第7の発明(請求項10)に関する監視装
置によれば、三台以上の撮像手段を用いることで複数の
組み合わせによる処理が可能となり、最適な組み合わせ
の処理により監視精度の向上を図ることができる。
【0188】第8の発明(請求項11)に関する監視装
置によれば、三台以上の撮像手段を用いて統計的に異常
発生の判定を行うことで、複数の組み合わせによる処理
が可能となり、最適な組み合わせの処理により監視精度
の向上を図ることができる。また、距離画像生成段階で
個々の距離データが間違っている場合でも、信頼性の高
い監視を行うことができるようになる。また、距離画像
どうしの差分計算により異常判定が行えることで、処理
の理解を視覚的に容易にすることができる。
【0189】第9の発明(請求項12)に関する監視装
置によれば、光学的直線上距離測定装置を用い、この装
置で監視する平面のみのデータを用いることで、図2
6、図27に記載したような高さのある侵入物体36は
侵入物体として検出するが、高さのない影あるいはライ
トによる監視範囲内の状態変化などがあっても、異常と
は判定することをなくすことができ、監視精度の向上を
図ることができる。
【0190】第10の発明(請求項13)に関する監視
装置によれば、統計的に異常発生の判定を行うことで、
個々での判定が多少間違っている場合でも、信頼性の高
い監視を行うことができるようになる。また、大量の距
離分布データを処理することなく、代表値で処理するの
で処理速度の高速化を図ることができる。さらに、光学
的直線距離計測手段を用いることで、被監視領域付近に
設置する装置構成を容易に構成することができる。
【0191】第11の発明(請求項14)に関する監視
装置によれば、複数台の光学的直線上距離分布計測手段
を高さを変えて設置することで、例えば図31に記載し
たような侵入物体42などが存在するの場合でも、光学
的直線上距離分布計測手段38bだけでは検出できない
が、光学的直線上距離分布計測手段38aのデータより
侵入物体として検出することができるようになり、監視
精度の向上を図ることができる。また、複数台の光学的
直線距離計測手段で距離データ作成用の走査面の一平面
を構成し距離分布データを作成するようにすることで、
光学的直線距離計測手段一台の走査範囲よりも被監視領
域が広い場合でも監視ができるようにすることができ
る。
【0192】第12の発明(請求項15)に関する監視
装置によれば、統計的に異常発生の判定を行うことで、
個々での判定が多少間違っている場合でも、信頼性の高
い監視を行うことができるようになる。また、大量の距
離分布データを処理することなく、代表値で処理するの
で処理速度の高速化を図ることができる。さらに、光学
的直線距離計測手段を用いることで、被監視領域付近に
設置する装置構成を容易に構成することができる。ま
た、複数台で距離の計測を行うことで、広い範囲を監視
できるようになったり、複数の高さでの監視が可能とな
り監視性能の向上を図ることができる。
【0193】第13の発明(請求項16)に関する監視
装置によれば、光学的平面上距離測定装置を用いること
で、複数の光学的距離計測手段を設ける必要がなく、容
易な監視装置の構成とすることができる。
【0194】第14の発明(請求項17)に関する監視
装置によれば、これら複数平面について特徴量を求める
ことにより監視精度の向上を図ることができる。また、
実施の形態14とは異なり、一台の装置により精度の向
上が実現できる。
【0195】第15の発明(請求項18)に関する監視
装置によれば、三次元空間座標系に変換することによ
り、異常が無い時の基準データの作成が容易になり、C
AD等により作成することが可能となる。また、比較判
定処理や追跡処理が容易になる。さらに、人が見てもわ
かりやすい処理結果を得ることが可能である。
【0196】第16の発明(請求項19)に関する監視
装置によれば、処理速度の向上を図って侵入物体候補領
域のみの距離分布データを作成するように制限を加えら
れた場合でも、その分布データの特徴量から侵入物体の
有無を判定することで監視装置全体の処理速度の向上を
さらに図ることができる。
【図面の簡単な説明】
【図1】 この発明の実施の形態1を示すブロック図で
ある。
【図2】 この発明の実施の形態1の動作の流れを示す
フローチャートである。
【図3】 この発明の実施の形態2を示すブロック図で
ある。
【図4】 この発明の実施の形態2の動作の流れを示す
フローチャートである。
【図5】 この発明の実施の形態3を示すブロック図で
ある。
【図6】 この発明の実施の形態3の動作の流れを示す
フローチャートである。
【図7】 この発明の実施の形態3を説明する距離と濃
淡画像における変化領域のしきい値との関係を示すグラ
フである。
【図8】 この発明の実施の形態4を示すブロック図で
ある。
【図9】 この発明の実施の形態4の動作の流れを示す
フローチャートである。
【図10】 この発明の実施の形態4を説明する距離と
その距離データの発生頻度との関係を示すヒストグラム
である。
【図11】 この発明の実施の形態5を示すブロック図
である。
【図12】 この発明の実施の形態5の動作の流れを示
すフローチャートである。
【図13】 この発明の実施の形態5を説明する撮像手
段の配置図である。
【図14】 この発明の実施の形態6を説明する被監視
領域を撮像した映像の上の被監視領域のイメージ図であ
る。
【図15】 この発明の実施の形態7を説明する被監視
領域を撮像した映像データのうちの一部分のイメージ図
である。
【図16】 この発明の実施の形態7を説明する濃淡レ
ベル分布グラフである。
【図17】 この発明の実施の形態8を示すブロック図
である。
【図18】 この発明の実施の形態8の動作の流れを示
すフローチャートである。
【図19】 この発明の実施の形態9を示すブロック図
である。
【図20】 この発明の実施の形態9の動作の流れを示
すフローチャートである。
【図21】 この発明の実施の形態9を説明する撮像手
段の配置図である。
【図22】 この発明の実施の形態10を示すブロック
図である。
【図23】 この発明の実施の形態10の動作の流れを
示すフローチャートである。
【図24】 この発明の実施の形態11を示すブロック
図である。
【図25】 この発明の実施の形態11の動作の流れを
示すフローチャートである。
【図26】 この発明の実施の形態11を説明する被監
視領域の側面図である。
【図27】 この発明の実施の形態11を説明する被監
視領域の平面図である。
【図28】 この発明の実施の形態12を示すブロック
図である。
【図29】 この発明の実施の形態12の動作の流れを
示すフローチャートである。
【図30】 この発明の実施の形態13を示すブロック
図である。
【図31】 この発明の実施の形態14を説明する被監
視領域の平面図である。
【図32】 この発明の実施の形態15を示すブロック
図である。
【図33】 この発明の実施の形態16を示すブロック
図である。
【図34】 この発明の実施の形態16の動作の流れを
示すフローチャートである。
【図35】 この発明の実施の形態16を説明する被監
視領域の側面図である。
【図36】 この発明の実施の形態16を説明する被監
視領域の側面図である。
【図37】 この発明の実施の形態17を示すブロック
図である。
【図38】 この発明の実施の形態17を説明する被監
視領域の側面図である。
【図39】 この発明の実施の形態18を示すブロック
図である。
【図40】 この発明の実施の形態18の動作の流れを
示すフローチャートである。
【図41】 この発明の実施の形態18の処理を説明す
る説明図である。
【図42】 この発明の実施の形態19を示すブロック
図である。
【図43】 従来の技術を示す監視装置の構成図であ
る。
【図44】 従来の技術を示す監視装置の処理フロー図
である。
【図45】 従来の技術を示す監視装置のブロック図で
ある。
【符号の説明】
1 濃淡画像取得手段、2 濃淡画像解析手段、3 侵
入物体候補、4 距離分布データ作成手段、5 距離デ
ータ解析手段、6 距離分布データ作成手段、7 距離
データ解析手段、8 距離データ解析手段、9 侵入物
体候補、10濃淡画像解析手段、11 グラフ、12
距離分布特徴量計算手段、13 ヒストグラム、14
ヒストグラム、15a 撮像手段、15b 撮像手段、
16距離画像生成手段、17 支持器具、18 被監視
領域を撮像した映像、19被監視領域、20 領域、2
1 代表点、22 映像データのうちの一部分のイメー
ジ図、23 矢印、24 グラフ、25 グラフ、26
距離画像生成手段、27a 撮像手段、27b 撮像
手段、27c 撮像手段、28 使用画像選択手段、2
9 使用画像選択手段、30 撮像手段、31 光学的
直線上距離分布計測手段、32 距離分布データ作成手
段、33 距離データ解析手段、34撮像範囲、35
走査方向、36 侵入物体、37 距離分布特徴量計算
手段、38a 光学的直線上距離分布計測手段、38b
光学的直線上距離分布計測手段、39 距離分布デー
タ作成手段、40 距離データ解析手段、41a 走査
方向、41b 走査方向、42 侵入物体、43a 光
学的直線距離計測手段、43b 光学的直線距離計測手
段、43c 光学的直線距離計測手段、43d光学的直
線距離計測手段、44a 走査範囲、44b 走査範
囲、44c 走査範囲、44d 走査範囲、45 距離
分布特徴量計算手段、46 光学的平面上距離分布計測
手段、47 距離分布データ作成手段、48 距離デー
タ解析手段、49 走査方向、50 侵入物体、51
距離分布特徴量計算手段、52三次元空間座標変換手
段、53 物体、54 物体、55 位置、56 位
置、101 起動ステップ、102 濃淡画像取得ステ
ップ、103 濃淡画像解析ステップ、104 距離分
布データ生成ステップ、105 距離データ解析ステッ
プ、106 異常判定ステップ、107 外部出力ステ
ップ、108 距離分布データ作成ステップ、109
距離データ解析ステップ、110 距離データ解析ステ
ップ、111 濃淡画像解析ステップ、112 異常判
定ステップ、113 距離分布特徴量計算ステップ、1
14 異常判定ステップ、115 撮像ステップ、11
6 距離画像生成ステップ、117 距離画像生成ステ
ップ、118 使用画像選択ステップ、119 使用画
像選択ステップ、120 距離分布データ作成ステッ
プ、121 距離データ解析ステップ、122 異常判
定ステップ、123 距離分布特徴量計算ステップ、1
24 異常判定ステップ、125 三次元空間座標変換
ステップ、126 距離データ解析ステップ、127異
常判定ステップ。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 7/18 H04N 7/18 K (72)発明者 橋本 学 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 (72)発明者 鷲見 和彦 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 Fターム(参考) 5C054 AA01 CA04 CC03 EA01 EA05 ED17 FC05 FC12 FC15 FC16 FD03 FE17 HA18 5C084 AA02 AA07 AA08 AA13 BB06 CC19 DD12 DD14 EE02 GG52 GG56 GG57 GG78 HH01 HH08 5L096 AA06 BA02 CA05 DA03 EA43 FA35 FA66 GA08 GA34 GA55

Claims (19)

    【特許請求の範囲】
  1. 【請求項1】 被監視領域の濃淡画像を取得する濃淡画
    像取得手段と、前記濃淡画像から被監視領域内の侵入物
    体候補を抽出する濃淡画像解析手段と、前記濃淡画像解
    析手段の実行後に、濃淡画像解析手段より抽出した侵入
    物体候補に相当する領域についてのみ距離分布を計測
    し、そのデータを二次元アレイ状に格納する距離分布デ
    ータ作成手段と、前記距離分布データを解析して被監視
    領域内の侵入物体領域を検出する距離データ解析手段と
    を有し、距離データの解析結果より被監視領域内の侵入
    物体の有無を判定することを特徴とする監視装置。
  2. 【請求項2】 被監視領域の濃淡画像を取得する濃淡画
    像取得手段と、前記濃淡画像から被監視領域内の侵入物
    体候補を抽出する濃淡画像解析手段と、物体までの距離
    分布を計測し、そのデータを二次元アレイ状に格納する
    距離分布データ作成手段と、前記濃淡画像解析手段およ
    び前記距離分布データ作成手段の実行後に、濃淡画像解
    析手段により抽出した侵入物体候補に相当する領域につ
    いてのみ距離分布データの解析を行い、被監視領域内の
    侵入物体領域を検出する距離データ解析手段とを有し、
    距離データの解析結果より被監視領域内の侵入物体の有
    無を判定することを特徴とする監視装置。
  3. 【請求項3】 被監視領域の濃淡画像を取得する濃淡画
    像取得手段と、物体までの距離分布を計測しそのデータ
    を格納する距離分布データ作成手段と、前記距離分布デ
    ータを解析して被監視領域内の侵入物体領域を検出する
    距離データ解析手段と、前記距離データ解析手段より抽
    出した侵入物体領域に相当する濃淡画像上の領域を設定
    する濃淡画像解析領域設定手段と、前記濃淡画像取得手
    段および濃淡画像解析領域設定手段がともに実行された
    後に、濃淡画像解析領域設定手段にて設定した領域にお
    ける濃淡画像から監視領域内の侵入物体領域を抽出する
    濃淡画像解析手段とを有し、前記濃淡画像解析手段では
    時間的変化領域の大きさを判定し、その際距離データが
    遠い物体ほど判定のしきい値を小さく、近い物体ほどし
    きい値を大きくして、被監視領域内の侵入物体の有無を
    判定することを特徴とする監視装置。
  4. 【請求項4】 設定された被監視領域内の距離分布を計
    測し、そのデータを二次元アレイ状に格納する距離分布
    データ作成手段と、前記距離分布データを一定の区間に
    分割して区間ごとの距離データの分布状態を表す分布状
    態特徴量を計算する距離分布特徴量計算手段とを有し、
    前記特徴量を基準値と比較して被監視領域内の異常の有
    無を判定することを特徴とする監視装置。
  5. 【請求項5】 請求項1から請求項3のいずれか1項に
    記載の監視装置において、距離分布データ作成手段は、
    ステレオ画像を入力する第一の撮像手段および第二の撮
    像手段と、前記第一および第二の撮像手段により得られ
    る二つの画像より距離画像を生成する距離画像生成手段
    とを有し、距離分布データとして距離画像を用いること
    を特徴とする監視装置。
  6. 【請求項6】 請求項5に記載の監視装置において、前
    記距離画像生成手段は、前記第一又は第二の一方の撮像
    手段の各画素を基準とし、それぞれの画素が撮像してい
    るものと同じものを撮像している他方の撮像手段の画素
    と対応づけ、対応付けられた二つの画素の視差を三角測
    量の原理から求めることにより距離画像を生成すること
    を特徴とする監視装置。
  7. 【請求項7】 請求項5に記載の監視装置において、前
    記距離画像生成手段は、前記第一又は第二の一方の撮像
    手段による映像を一定の大きさごとに区切り、そのうち
    の一つの領域の代表点を選び、その代表点と同じものを
    撮像している他方の撮像手段の画素と対応づけ、対応付
    けられた二つの画素の視差を三角測量の原理から求める
    ことにより距離画像を生成することを特徴とする監視装
    置。
  8. 【請求項8】 請求項5に記載の監視装置において、前
    記距離画像生成手段は、前記第一又は第二の一方の撮像
    手段による映像データのうちの一部分の各画素の濃淡レ
    ベルのデータをグラフ化し、その領域内の濃淡レベルの
    バラツキ具合を調べ、その領域内の濃淡レベルにバラツ
    キがある場合は距離計算処理を行ない距離画像を生成す
    ることを特徴とする監視装置。
  9. 【請求項9】 請求項4に記載の監視装置において、距
    離分布データ作成手段は、ステレオ画像を入力する第一
    の撮像手段および第二の撮像手段と、前記第一および第
    二の撮像手段により得られる二つの画像より距離画像を
    生成する距離画像生成手段とを有し、距離分布データと
    して距離画像を用いることを特徴とする監視装置。
  10. 【請求項10】 請求項1から請求項3のいずれか1項
    に記載の監視装置において、距離分布データ作成手段
    は、三つ以上の撮像手段と、前記三つ以上の撮像手段か
    ら得られるそれぞれの画像のうち二つの画像を選択する
    使用画像選択手段と、前記使用画像選択手段によって選
    択された画像ペアより距離画像を生成する距離画像生成
    手段とを有し、距離分布データとして距離画像を用いる
    ことを特徴とする監視装置。
  11. 【請求項11】 請求項4に記載の監視装置において、
    距離分布データ作成手段は、三つ以上の撮像手段と、前
    記三つ以上の撮像手段から得られるそれぞれの画像のう
    ち二つの画像を選択する使用画像選択手段と、前記使用
    画像選択手段によって選択された画像ペアより距離画像
    を生成する距離画像生成手段とを有し、距離分布データ
    として距離画像を用いることを特徴とする監視装置。
  12. 【請求項12】 請求項1から請求項3のいずれか1項
    に記載の監視装置において、距離分布データ作成手段
    は、光学的直線上距離分布計測手段を有し、当該計測手
    段により得られた計測結果を用いることを特徴とする監
    視装置。
  13. 【請求項13】 請求項4に記載の監視装置において、
    距離分布データ作成手段は、光学的直線上距離分布計測
    手段を有し、当該計測手段により得られた計測結果を用
    いることを特徴とする監視装置。
  14. 【請求項14】 請求項1から請求項3のいずれか1項
    に記載の監視装置において、距離分布データ作成手段
    は、複数の光学的直線上距離分布計測手段と、前記計測
    手段により得られた結果を一つの距離分布データに統合
    するデータ統合手段とを有し、距離分布データとして統
    合されたデータを用いることを特徴とする監視装置。
  15. 【請求項15】 請求項4に記載の監視装置において、
    距離分布データ作成手段は、複数の光学的直線上距離分
    布計測手段と、前記計測手段により得られた結果を一つ
    の距離分布データに統合するデータ統合手段とを有し、
    距離分布データとして統合されたデータを用いることを
    特徴とする監視装置。
  16. 【請求項16】 請求項1から請求項3のいずれか1項
    に記載の監視装置において、距離分布データ作成手段
    は、光学的平面上距離分布計測手段を有し、当該計測手
    段により得られた計測結果を用いることを特徴とする監
    視装置。
  17. 【請求項17】 請求項4に記載の監視装置において、
    距離分布データ作成手段は、光学的平面上距離分布計測
    手段を有し、当該計測手段により得られた計測結果を用
    いることを特徴とする監視装置。
  18. 【請求項18】 請求項1〜3および5〜8、10、1
    2、14、16のいずれか1項に記載の監視装置におい
    て、距離データ解析手段は、基準点からの距離分布デー
    タを三次元空間座標系における分布データに変換する座
    標系変換手段と、前記三次元空間座標系の分布データの
    比較により被監視領域内の侵入物体領域の検出を行う比
    較手段を有することを特徴とする監視装置。
  19. 【請求項19】 請求項1〜3および5〜8、10、1
    2、14、16のいずれか1項に記載の監視装置におい
    て、前記距離分布データ作成手段にて生成された距離デ
    ータを一定の区間に分割して区間ごとの距離データの分
    布状態を表す分布状態特徴量を計算する距離分布特徴量
    計算手段とを有し、解析した状態により被監視領域内の
    異常の有無を判定することを特徴とする監視装置。
JP2000218580A 2000-07-19 2000-07-19 監視装置 Pending JP2002032759A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000218580A JP2002032759A (ja) 2000-07-19 2000-07-19 監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000218580A JP2002032759A (ja) 2000-07-19 2000-07-19 監視装置

Publications (1)

Publication Number Publication Date
JP2002032759A true JP2002032759A (ja) 2002-01-31

Family

ID=18713505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000218580A Pending JP2002032759A (ja) 2000-07-19 2000-07-19 監視装置

Country Status (1)

Country Link
JP (1) JP2002032759A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208073A (ja) * 2001-01-10 2002-07-26 Secom Co Ltd 侵入監視装置
JP2005182826A (ja) * 2003-12-23 2005-07-07 Honda Motor Co Ltd 多面体認識装置
JP2006065584A (ja) * 2004-08-26 2006-03-09 Matsushita Electric Works Ltd 異常検知装置
JP2007124269A (ja) * 2005-10-28 2007-05-17 Hitachi Eng Co Ltd 侵入者監視方法および装置
JPWO2006030633A1 (ja) * 2004-09-15 2008-05-15 松下電器産業株式会社 物体検出装置
JP2014055925A (ja) * 2012-09-14 2014-03-27 Omron Corp 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
JP2015001836A (ja) * 2013-06-14 2015-01-05 セコム株式会社 画像センサ
WO2020196513A1 (ja) * 2019-03-28 2020-10-01 株式会社デンソー 物体検出装置
CN115108425A (zh) * 2021-03-18 2022-09-27 东芝电梯株式会社 电梯的使用者检测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01140396A (ja) * 1987-11-27 1989-06-01 Hitachi Ltd セキユリテイ監視装置
JPH0431996A (ja) * 1990-05-28 1992-02-04 Matsushita Electric Works Ltd 画像認識型の防犯センサー
JPH04191607A (ja) * 1990-11-26 1992-07-09 Toshiba Corp 3次元計測方法
JPH05183901A (ja) * 1991-03-01 1993-07-23 Keisatsu Daigakukouchiyou 移動体監視装置
JPH10222665A (ja) * 1997-01-31 1998-08-21 Fujitsu Ten Ltd 画像認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01140396A (ja) * 1987-11-27 1989-06-01 Hitachi Ltd セキユリテイ監視装置
JPH0431996A (ja) * 1990-05-28 1992-02-04 Matsushita Electric Works Ltd 画像認識型の防犯センサー
JPH04191607A (ja) * 1990-11-26 1992-07-09 Toshiba Corp 3次元計測方法
JPH05183901A (ja) * 1991-03-01 1993-07-23 Keisatsu Daigakukouchiyou 移動体監視装置
JPH10222665A (ja) * 1997-01-31 1998-08-21 Fujitsu Ten Ltd 画像認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
西村拓一 外3名: "距離画像を用いた移動人物のジェスチャのスポッティング認識", 第9回 情報統合研究会資料 (SIG−CII−9803) 人工知能学会研究会資料, CSNG200000998002, 25 March 1999 (1999-03-25), JP, pages 10 - 15, ISSN: 0000742459 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002208073A (ja) * 2001-01-10 2002-07-26 Secom Co Ltd 侵入監視装置
JP2005182826A (ja) * 2003-12-23 2005-07-07 Honda Motor Co Ltd 多面体認識装置
JP4511919B2 (ja) * 2003-12-23 2010-07-28 本田技研工業株式会社 多面体認識装置
JP4543830B2 (ja) * 2004-08-26 2010-09-15 パナソニック電工株式会社 異常検知装置
JP2006065584A (ja) * 2004-08-26 2006-03-09 Matsushita Electric Works Ltd 異常検知装置
JPWO2006030633A1 (ja) * 2004-09-15 2008-05-15 松下電器産業株式会社 物体検出装置
JP2007124269A (ja) * 2005-10-28 2007-05-17 Hitachi Eng Co Ltd 侵入者監視方法および装置
JP4594209B2 (ja) * 2005-10-28 2010-12-08 株式会社日立情報制御ソリューションズ 侵入者監視方法および装置
JP2014055925A (ja) * 2012-09-14 2014-03-27 Omron Corp 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム
JP2015001836A (ja) * 2013-06-14 2015-01-05 セコム株式会社 画像センサ
WO2020196513A1 (ja) * 2019-03-28 2020-10-01 株式会社デンソー 物体検出装置
JP2020165679A (ja) * 2019-03-28 2020-10-08 株式会社デンソー 物体検出装置
JP7095640B2 (ja) 2019-03-28 2022-07-05 株式会社デンソー 物体検出装置
CN115108425A (zh) * 2021-03-18 2022-09-27 东芝电梯株式会社 电梯的使用者检测系统
CN115108425B (zh) * 2021-03-18 2024-02-27 东芝电梯株式会社 电梯的使用者检测系统

Similar Documents

Publication Publication Date Title
CN107615334B (zh) 物体识别装置以及物体识别系统
US10070053B2 (en) Method and camera for determining an image adjustment parameter
US7778445B2 (en) Method and system for the detection of removed objects in video images
KR101237089B1 (ko) 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법
KR101687530B1 (ko) 촬상 시스템에 있어서의 제어방법, 제어장치 및 컴퓨터 판독 가능한 기억매체
US20080056534A1 (en) Object Detector
US10762372B2 (en) Image processing apparatus and control method therefor
US11037014B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP3486229B2 (ja) 画像変化検出装置
US20160005156A1 (en) Infrared selecting device and method
US20220004748A1 (en) Video display method, device and system, and video camera
JP2002032759A (ja) 監視装置
KR101236223B1 (ko) 차선 검출 방법
CN109841028B (zh) 一种基于红外热像仪的热源探测方法、系统及存储介质
JP4140126B2 (ja) 領域分割および対象物抽出装置
KR101395666B1 (ko) 비디오 영상의 변화를 이용한 도난 감시 장치 및 방법
JPWO2018037479A1 (ja) 画像処理装置、ステレオカメラ装置及び画像処理方法
JP2002027449A (ja) 移動物体識別方法および移動物体識別装置
JP3544820B2 (ja) 移動目標検出装置及び検出方法
JPH0514891A (ja) 画像監視装置
JP2000125288A (ja) 物体追跡方法及び物体追跡装置
JP2001307017A (ja) 文字プレート認識装置
JP3736836B2 (ja) 物体検出方法及び物体検出装置及びプログラム
JP2008040724A (ja) 画像処理装置、及び画像処理方法
JP4617905B2 (ja) 監視装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070313