JP2002008017A - 移動体検出システム - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 従来の移動体検出システムでは、画像の輝度
そのものを比較していたので、車両のヘッドライトの光
などによって撮像画像に輝度変化が生じると、誤検出す
るなどの課題があった。 【解決手段】 画像処理ユニット２は、撮像装置１によ
り所定の空間を撮像して得た画像の記憶手段４と、撮像
装置が過去に撮像した画像あるいはその加工画像を背景
画像として記憶する手段５と、撮像画像及び背景画像の
それぞれについて画像を複数領域に分割して、各領域毎
に周囲の領域との相対輝度差を演算、累積加算し、その
加算値の差を画像差信号として演算し、これが所定の閾
値より大きい場合に、車両検出とし判定する車両検出手
段６にて構成され、車両検出を判定したとき車両監視セ
ンタに通報する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は撮像手段で捉えた
画像に基づいて移動体を検出する移動体検出システムに
係り、特に夜間やトンネル内であったとしても好適に移
動体を検出することができる移動体検出システムに関す
るものである。

【０００２】

【従来の技術】図１８は特開平９−８１８８８号公報に
開示された従来の移動体検出システムの構成を示すシス
テム構成図である。図において、３８は撮像カメラ、３
９は画像を記憶する画像入力手段、４０は画像処理手段
である。

【０００３】図１９は当該撮像カメラ３８で撮像した画
像の一例である。図において、４１は撮像画像、４２は
道路左側端部、４３は道路右側端部、４４はセンターラ
イン、４５は車両、４６は移動体検出領域、４７は検出
領域、４８は計測領域、４９は移動体移動速度判別領域
である。そして、当該車両４５は道路のセンターライン
４４に沿って移動する。

【０００４】次に動作について説明する。撮像カメラ３
８が撮像した画像が画像入力手段３９に記憶されると、
画像処理手段４０はこの撮像画像に対して車両４５の検
出処理を行う。まず、移動体検出領域４６における輝度
変化を判定し、図１９に示すように輝度が変化した検出
領域４７が生じたら車両検出と判断する。更にこの検出
領域４７の移動体検出領域４６に対する割合に基づいて
車両４５のサイズ、例えば大型車や小型車などの判定を
行う。また、小型車と判定している状態において計測領
域４８においても同時に輝度変化が生じた場合には、小
型車が連続して走行していると判断する。更に、連続す
る複数の撮像画像の移動体移動速度判別領域４９の画像
を解析し、それぞれの撮像画像において各車両４５の後
方路面に生じる陰を検出し、これら複数の影の位置変化
に基づいて各車両の移動速度を検出する。

【０００５】

【発明が解決しようとする課題】従来の移動体検出シス
テムは以上のように構成されているので、画像の輝度そ
のものを比較に用いており、車両４５のヘッドライトの
光などによって撮像画像に輝度変化が生じると、これを
誤って車両４５などの移動体による輝度変化として捉え
てしまうなどの課題があった。

【０００６】特に、当該従来の移動体検出システムで
は、輝度が変化した領域の大きさに基づいて車両４５の
大きさを判定したり、車両４５の後方に生じる影の画像
上の位置の変化に基づいて車両４５の移動速度を検出し
たりしているので、上記ヘッドライトの光による輝度変
化、太陽や雲の位置に応じた影の発生状態の変化、夜間
照明の位置に応じた影の発生状態の変化などの影響を受
けやすいなどの課題もある。

【０００７】この発明は上記のような課題を解決するた
めになされたもので、車両のヘッドライトの光などによ
る撮像画像の輝度変化があったとしても、この輝度変化
に影響されることなく移動体を好適に検出することがで
きる移動体検出システムを得ることを目的とする。

【０００８】

【課題を解決するための手段】この発明に係る移動体検
出システムは、所定の空間を撮像し、撮像画像を出力す
る撮像手段と、当該撮像手段が過去に出力した撮像画像
あるいはそれを加工した画像を背景画像として記憶する
背景画像記憶手段と、上記撮像画像と背景画像とのそれ
ぞれについて画像を複数の領域に分割して各領域毎に周
囲の領域との相対輝度差を演算し、更にこの領域毎の相
対輝度差同士を比較して上記撮像画像と背景画像との輝
度差に応じた値の画像差信号を出力する画像差演算手段
と、上記画像差信号と所定の閾値とを比較して移動体の
移動体検出判定を行う判定手段とを備えるものである。

【０００９】この発明に係る移動体検出システムは、撮
像手段は所定の経路に沿って移動する移動体を撮像し、
画像差演算手段は撮像画像に対する移動体の侵入側に設
定された移動体検出領域に基づいて画像差信号を出力
し、判定手段が移動体非検出と判定したタイミングにお
いて、上記移動体の移動方向に沿って当該移動体検出領
域に隣接する位置に設定された移動体判定領域に基づい
て移動体の特徴点抽出処理を行う特徴点抽出手段を設け
たものである。

【００１０】この発明に係る移動体検出システムは、移
動体検出領域から移動体判定領域にかけた移動体の移動
経路に対して０度あるいは９０度以外の撮像角度となる
ように撮像手段を設置するとともに、特徴点抽出手段が
抽出した特徴点と移動体検出領域との画像上の距離に基
づいて移動体のサイズを判定するサイズ判定手段を設け
たものである。

【００１１】この発明に係る移動体検出システムは、移
動体の複数の特徴点を抽出する特徴点抽出手段と、上記
特徴点抽出手段が複数の特徴点を抽出した後に、撮像画
像に対して特徴点抽出手段と同様の処理を行って各特徴
点毎にマッチング判定を行い、少なくとも１つの特徴点
においてマッチすると判定されたらその特徴点の撮像画
像上の位置に基づいて移動体の追跡位置情報を出力する
追跡手段とを設けたものである。

【００１２】この発明に係る移動体検出システムは、移
動体の１乃至複数の特徴点を抽出する特徴点抽出手段
と、上記特徴点抽出手段が特徴点を抽出した後に、撮像
画像に対して特徴点抽出手段と同様の処理を行って各特
徴点毎にマッチング判定を行い、少なくとも１つの特徴
点においてマッチすると判定されたらその特徴点の撮像
画像上の位置に基づいて移動体の追跡位置情報を出力す
る追跡手段と、追跡手段がマッチすると判定できなかっ
た特徴点について、以前の当該特徴点の軌跡あるいはマ
ッチすると判定された他の特徴点がある場合にはそれを
利用して推定位置情報を出力する推定手段とを設けたも
のである。

【００１３】この発明に係る移動体検出システムは、移
動体は車両であり、特徴点抽出手段は当該車両のテール
ランプを特徴点として抽出するものである。

【００１４】この発明に係る移動体検出システムは、撮
像手段から出力された撮像画像を２つ以上記憶する撮像
画像記憶手段と、この撮像画像記憶手段に記憶された複
数の撮像画像同士を比較し、画像の変化の少なさを判定
する安定度判定手段と、安定度判定手段において所定の
回数連続して安定と判断されたら上記撮像画像記憶手段
に記憶されている撮像画像を用いて背景画像を生成する
背景画像生成手段とを設け、背景画像記憶手段は当該背
景画像を記憶するものである。

【００１５】この発明に係る移動体検出システムは、背
景画像記憶手段の記憶する画像が更新されたら当該画像
を記憶するコピー記憶手段を設け、背景画像生成手段
は、安定度判定手段において判定に用いられた撮像画像
のうちの１つと当該コピー記憶手段に記憶されている画
像とを合成して新たな背景画像を生成するものである。

【００１６】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による移
動体検出システムの構成を示すシステム構成図である。
この移動体検出システムは道路上を走行する自動車の交
通量や移動速度を検出するために用いられるものであ
る。図において、１は所定の監視空間を一定の周期にて
撮像してデジタル方式の撮像画像を出力する監視用ＩＴ
Ｖ（産業用テレビジョン）カメラ（撮像手段）、２はこ
の撮像画像が入力され、この撮像画像に基づいて各種の
処理を行う画像処理ユニット、３はこの画像処理ユニッ
ト２の処理結果や撮像画像などが入力される車両監視セ
ンタである。

【００１７】画像処理ユニット２において、４は監視用
ＩＴＶカメラ１から入力された撮像画像を記憶する撮像
画像記憶手段、５は監視用ＩＴＶカメラ１が過去に撮像
した撮像画像あるいはそれを加工した画像を背景画像と
して記憶する背景画像記憶手段、６は撮像画像および背
景画像のそれぞれの画素毎に周囲の画素との相対輝度差
を演算し、この画素毎の相対輝度差をそれぞれに累積加
算し、その加算値の差を画像差信号として演算し、更に
この画像差信号同士の差が所定の閾値よりも大きい場合
には車両検出と判定して出力する車両検出手段（画像差
演算手段、判定手段）である。

【００１８】図２はこの発明の実施の形態１による監視
用ＩＴＶカメラ１の撮像画像の一例を示す説明図であ
る。図において、７は撮像画像、８は道路左側端部、９
は道路右側端部、１０はセンターライン、１１は車両、
１２は移動体検出領域、１３は検出領域である。そし
て、当該車両１１は道路のセンターライン１０に沿って
その左側を矢印の方向に移動するものとし、監視用ＩＴ
Ｖカメラ１は道路を斜め上方から（車両１１の移動方向
が水平方向である場合には０度よりも大きく且つ９０度
よりも小さい俯角にて）撮像していることになる。な
お、上記移動体検出領域１２は撮像画像７の車両１１が
撮像空間に進入する側に設定されている。

【００１９】次に動作について説明する。監視用ＩＴＶ
カメラ１から撮像画像が出力されると、この撮像画像は
撮像画像記憶手段４に一旦記憶される。また、背景画像
記憶手段５には図２に示す監視空間に車両１１が存在し
ない状況の背景画像が予め格納されている。この背景画
像としては、実際に車両１１が存在しない状況の撮像画
像をそのまま用いても、車両１１が存在する状況の撮像
画像から当該車両１１を削除するように加工したものを
用いてもよい。

【００２０】このように撮像画像記憶手段４に撮像画像
が記憶されると、車両検出手段６は図３に示すフローチ
ャートに従って車両１１の検出判定を行い、その判定結
果と撮像画像とを車両監視センタ３に送信する。図にお
いて、ＳＴ１は撮像画像および背景画像のそれぞれにつ
いて画素毎に周囲の画素との相対輝度差を演算し、この
画素毎の相対輝度差をそれぞれの移動体検出領域１２全
体に渡って加算し、更にその加算値の差を画像差信号と
して演算する未検出時演算ステップ、ＳＴ２はこの画像
差信号の値が所定の閾値Ａ１よりも大きいか否か判定す
る検出判定ステップ、ＳＴ３はこの車両１１の検出結果
を出力する検出判定出力ステップ、ＳＴ４は未検出時演
算ステップＳＴ１と同様の処理により画像差信号を演算
する検出時演算ステップ、ＳＴ５はこの画像差信号の値
が所定の閾値Ａ２よりも小さいか否か判定する未検出判
定ステップ、ＳＴ６はこの車両１１の検出結果を出力す
る未検出判定出力ステップである。従って、車両１１が
撮像されている場合にはその期間において車両検出を意
味する処理結果が出力され続けることになる。

【００２１】図４はこの発明の実施の形態１による相対
輝度差演算処理を説明するための説明図である。図にお
いて、（ａ）は横方向エッジ検出フィルタ、（ｂ）は縦
方向エッジ検出フィルタ、（ｃ）は画像例である。これ
らの図において、各枡は各画素に相当し、（ａ），
（ｂ）において各枡の中に記載された数値は重み付け係
数であり、また、その中央に相当する画素が注目画素と
なる。（ｃ）において各枡の中に記載された値は各画素
の輝度（値が大きいほど白くなる０から２５５までの数
値）である。ちなみに、（ｃ）に示す画像はその右半分
が白っぽく、左半分が黒っぽい画像であり、それらの領
域の境界となる画像のエッジが縦に存在している。な
お、同図に示す横方向エッジ検出フィルタおよび縦方向
エッジ検出フィルタは一例であり、同等のエッジ検出機
能をもつ手段であれば他の手段（他のフィルタ）を用い
てもよい。

【００２２】このような（ｃ）の画素群１４に対して例
えば（ａ）の横方向エッジ検出フィルタを適用した場
合、その演算式は下記式１となり注目画素の横方向エッ
ジ強度として「２４８」という値が得られる。同様に、
（ｃ）の画素群１４に対して（ｂ）の縦方向エッジ検出
フィルタを適用した場合、その演算式は下記式２となり
注目画素の縦方向エッジ強度として「５９０」という値
が得られる。また、当該注目画素の相対輝度差は下記式
３により求められ「８３８」という値になる。

【００２３】同様に画素群１５については、下記式４に
基づいて注目画素の横方向エッジ強度は「２６」、下記
式５に基づいて注目画素の縦方向エッジ強度は「８」、
下記式６に基づいて相対輝度差は「３４」となる。この
２つの注目画素と画像全体の輝度値のバランスとを比較
すれば明らかなように、この相対輝度差は車両１１や車
両１１と道路との境などの画像のエッジ部分で値が大き
くなり、道路面などの模様が無いのっぺりした部分にお
いては値が小さくなる傾向にある。

【００２４】そして、上記車両検出手段６は、この画素
毎の相対輝度差をそれぞれの移動体検出領域１２全体に
渡って加算し、その加算値の差が所定の閾値よりも大き
い場合には車両検出と判定して出力する。従って、例え
ば車両１１が進入してその結果幾つかの画素においてこ
の相対輝度差が大きくなり、その累積値が所定の閾値を
超えればこれを検出することができる。

【００２５】逆に、逆方向から向かってくる車両１１の
ヘッドライトの光などにより撮像画像の一部が明るくな
ってしまったような場合には、その画像部分および周辺
がなだらかに明るくなるので、各画素の相対輝度差は比
較的小さな値となり、それを上記移動体検出領域１２全
体に渡って累積したとしても閾値を超えてしまうことは
なく、車両１１のヘッドライトの光などを誤って車両１
１として判定してしまうことはない。

【００２６】 ７２×１＋１６１×２＋２１３×１＋５２×０＋６８×０＋２０１×０ ＋３２×（−１）＋７２×（−２）＋１８３×（−１） ＝ ２４８ ・・・式１ ７２×（−１）＋１６１×０＋２１３×１＋５２×（−２）＋６８×０ ＋２０１×２＋３２×（−１）＋７２×０＋１８３×１ ＝ ５９０ ・・・式２ ２４８＋５９０ ＝ ８３８ ・・・式３ ２５３×１＋２４５×２＋２４７×１＋２５５×０＋２１８×０ ＋２５０×０＋２４２×（−１）＋２３６×（−２）＋２５０×（−１） ＝ ２６ ・・・式４ ２５３×（−１）＋２４５×０＋２４７×１＋２５５×（−２） ＋２１８×０＋２５０×２＋２４２×（−１）＋２３６×０＋２５０×１ ＝ ８ ・・・式５ ２６＋８ ＝ ３４ ・・・式６

【００２７】以上のように、この実施の形態１によれ
ば、撮像画像と背景画像とを比較して車両１１を検出す
るに当たって車両検出手段６は、撮像画像および背景画
像のそれぞれの画素毎に周囲の画素との相対輝度差を演
算し、この画素毎の相対輝度差をそれぞれに累積加算
し、その加算値の差を画像差信号として演算し、更にこ
の画像差信号同士の差が所定の閾値よりも大きい場合に
は車両検出と判定して出力するので、撮像画像と背景画
像とは各領域毎にそれぞれの画像内での相対輝度差でも
って比較されることになり、車両１１のヘッドライトの
光などによる画像の輝度変化があったとしてもこの輝度
変化を抑制した状態で撮像画像と背景画像とを比較する
ことができ、これに影響されることなく車両１１を好適
に検出することができる効果がある。

【００２８】実施の形態２．図５はこの発明の実施の形
態２による移動体検出システムの構成を示すシステム構
成図である。図において、１６は車両検出手段６が車両
非検出と判定したタイミングの撮像画像を用いて車両１
１の画像を特徴点として抽出するとともにその特徴点の
路面からの高さを判定する車両判定手段（特徴点抽出手
段、サイズ判定手段）である。なお、この特徴点として
は例えば、２つのテールランプ、昼間屋外のナンバープ
レートなどが挙げられる。

【００２９】図６はこの発明の実施の形態２による監視
用ＩＴＶカメラ１の撮像画像の一例を示す説明図であ
る。図において、（ａ）は時刻ｔ（０）での撮像画像、
（ｂ）は時刻ｔ（１）（＝ｔ（０）＋Δｔ：但しΔｔは
監視用ＩＴＶカメラ１の撮像周期１周期分）での撮像画
像、１７は移動体検出領域１２の上（車両１１の進行方
向下流側）に隣接する位置に設定された移動体判定領
域、１８は移動体検出領域１２の車両移動方向下流側端
辺、１９はそれぞれ車両１１のテールランプである。こ
れ以外の構成は実施の形態１と同様であり説明を省略す
る。

【００３０】次に動作について説明する。図６（ａ）に
示す撮像画像では車両検出手段６から車両検出を意味す
る処理結果が出力され、これが同図（ｂ）に示す撮像画
像に変化すると、車両検出手段６から出力される処理結
果は車両検出から車両非検出に変化する。車両判定手段
１６は、この車両検出手段６の出力の処理結果が車両非
検出に変化したタイミングの撮像画像（図６（ｂ））の
移動体判定領域１７を用いて、車両１１の特徴点を抽出
するとともにその特徴点の路面からの高さを判定する。

【００３１】図７はこの発明の実施の形態２による車両
判定手段１６の処理を示すフローチャートである。図に
おいて、ＳＴ７は撮像画像を構成する各画素がマトリッ
クス状に配列されていることを前提として、移動体判定
領域１７内の各画素の相対輝度差および背景画像のもの
との輝度変化値（＝判定に用いる撮像画像における輝度
−背景画像における輝度）を各列毎に累積加算する列別
累積加算ステップ、ＳＴ８は各列の累積加算値が周囲の
列よりも特に大きい列のまとまり（１乃至複数）を抽出
する列抽出ステップ、ＳＴ９は当該各組の列のまとまり
それぞれについてそれぞれの範囲内において現画像に戻
って相対輝度差が他の部分よりも高い画素のまとまり
（以下小領域と呼ぶ）をテンプレートとして切出す切出
ステップ、ＳＴ１０は当該小領域と移動体検出領域１２
との撮像画像上の距離に基づいて当該特徴点の路面から
の高さを特定する高さ判定ステップである。

【００３２】そして、このような処理では、累積加算値
が大きくなる列において、更にその他の画素よりも相対
輝度差が大きい画素の集まりが小領域として抽出される
ことになり、この実施の形態２のように車両１１をその
後方から撮像した場合、最も撮像輝度が明るくなる例え
ばテールランプなどについてその輪郭に沿った形状の小
領域を抽出することができる。

【００３３】図８はこの発明の実施の形態２による現画
像と輝度変化値の列毎の累積加算値との関係を示す説明
図である。同図（ａ）は図６（ｂ）と同じ画像、同図
（ｂ）はそのときの輝度変化値の列毎の累積加算値グラ
フである。同図（ｂ）において横軸は画像上の列、縦軸
は累積加算値である。そして、同図に示すように、車両
を後方から撮像した場合に移動体判定領域１７の各列毎
の累積加算値は画像の２つのテールランプを含む列の輝
度が他の列の輝度よりも相対的に高くなっており、図７
においはこの性質を利用して車両の特徴点を抽出してい
る。また、同図に示すように、輝度変化値の累積加算値
が生じる（０よりも大きい値をとる）列の範囲は車両の
車幅とほぼ一致する。従って、この累積加算値が生じた
列の数に基づいて車幅、ひいては車種を判定することが
できる。

【００３４】また、図９はこの小領域と移動体検出領域
１２との撮像画像上の距離に基づいて当該小領域の路面
からの高さを特定することができる理由を説明するため
の説明図である。撮像画像としては図６（ｂ）の撮像画
像が相当する。図において、２０は車両１１が走行する
路面、２１は撮像画像においては車両移動方向下流側端
辺１８となる視野方向、２２は特徴点（テールランプ１
９）の視野方向、２３は移動体検出領域１２に相当する
路面位置である。

【００３５】そして、同図に示すように図６（ｂ）の撮
像タイミングは車両１１の後端が路面位置２３を通過し
きったタイミングに相当し、このタイミングにおいては
車両移動方向下流側端辺１８の真上に特徴点（テールラ
ンプ１９）が位置すると考えることができる。従って、
撮像画像上における車両移動方向下流側端辺１８と特徴
点（テールランプ１９）との距離を角度θに変換し、そ
のθに基づいて特徴点の路面２０からの高さｈを求める
ことができる。これ以外の動作は実施の形態１と同様で
あり説明を省略する。

【００３６】以上のように、この実施の形態２によれ
ば、一方向に沿って移動する車両１１を監視用ＩＴＶカ
メラ１にて撮像し、車両判定手段１６が移動体検出領域
１２を車両１１が通過したタイミングの撮像画像を用い
て車両１１の後方の最も輝度が高くなる小領域、すなわ
ちテールランプ１９などを特徴点として抽出しているの
で、移動体判定領域１７に確実に車両１１が存在する状
態で特徴点抽出処理を行うことができ、確実に車両１１
の特徴点を抽出することができる効果がある。

【００３７】この実施の形態２によれば、車両１１の移
動方向に沿った方向に対して、０度あるいは９０度以外
の角度にて撮像するように監視用ＩＴＶカメラ１を設置
するとともに、車両判定手段１６が抽出した特徴点と移
動体検出領域１２の車両移動方向下流側端辺１８との画
像上の距離に基づいて特徴点の路面２０からの高さを判
定するので、車両１１の特徴点（テールランプ１９）の
高さに基づいて車両１１のサイズを判定することができ
る。また、累積加算値が生じた列の数に基づいて車幅、
ひいては車種を判定することができる。

【００３８】実施の形態３．図１０はこの発明の実施の
形態３による移動体検出システムの構成を示すシステム
構成図である。図において、２４は撮像画像記憶手段４
が記憶する撮像画像が入力され、これに基づいて背景画
像を生成して背景画像記憶手段５へ出力する背景画像生
成部である。

【００３９】図１１はこの発明の実施の形態３による背
景画像生成部２４の構成を示すシステム構成図である。
図において、２５は上記撮像画像記憶手段４からの撮像
画像を最新画像として記憶する最新画像バッファ（撮像
画像記憶手段）、２６はこの最新画像バッファ２５が１
つ前に出力した画像（１フレーム前の画像）を直前画像
として記憶する直前画像バッファ（撮像画像記憶手
段）、２７はこの最新画像と直前画像とが入力され、各
画素毎にこれら２つの画像の輝度差が所定の閾値よりも
低いか否かを判定し、当該閾値よりも輝度差が小さくな
っている期間を示す輝度安定性情報を出力する安定度判
定手段、２８は背景画像記憶手段５に記憶されている背
景画像のコピーを記憶するコピー記憶手段、２９は上記
輝度安定性情報に示される期間が所定の期間以上となる
と、各画素毎の輝度安定性情報をリセットするとともに
当該画素の背景画像における輝度値を最新画像の輝度値
に置き換える背景画像生成手段である。これ以外の構成
は実施の形態２と同様であり説明を省略する。

【００４０】次に動作について説明する。撮像画像記憶
手段４に監視用ＩＴＶカメラ１から出力された最新の撮
像画像が記憶されると、最新画像バッファ２５にも同一
の画像が記憶され、直前画像バッファ２６には当該最新
画像バッファ２５が直前に記憶していた直前画像が記憶
される。なお、この実施の形態３では、これらバッファ
の画像の記憶周期は監視用ＩＴＶカメラ１から出力され
る撮像画像の出力周期と同一として説明するが、撮像画
像を適当に間引くような記憶周期であってもよい。ま
た、背景画像記憶手段５およびコピー記憶手段２８には
同一の背景画像が記憶されているものとする。

【００４１】図１２はこのように最新画像バッファ２５
および直前画像バッファ２６に撮像時間が相前後する２
つの撮像画像が記憶された状態で実施される背景画像更
新処理を示すフローチャートである。図において、ＳＴ
１１は安定度判定手段２７が撮像画像において或る座標
（画素）について最新画像における輝度と直前画像にお
ける輝度との輝度差が所定の判定値よりも小さいか否か
を判定する輝度差判定ステップ、ＳＴ１２は安定度判定
手段２７が輝度安定性情報に含まれる期間に「１」加え
る期間加算ステップ、ＳＴ１３は安定度判定手段２７が
輝度安定性情報に含まれる期間を「０」にリセットする
期間リセットステップ、ＳＴ１４は背景画像生成手段２
９がこの期間が所定の安定度判定期間よりも長いか否か
を判定する安定期間判断ステップ、ＳＴ１５は背景画像
生成手段２９が背景画像の上記座標（画素）の輝度を最
新画像の輝度に変更する輝度更新ステップ、ＳＴ１６は
背景画像生成手段２９が背景画像の上記座標（画素）の
輝度をそのままとする輝度未更新ステップ、ＳＴ１７は
背景画像の全ての座標（画素）に対して当該処理を繰り
返し実行させる繰返制御ステップである。

【００４２】そして、全ての画素について当該処理が完
了したら、背景画像記憶手段５には新たな背景画像が記
憶されることになり、コピー記憶手段２８にはこの新た
な背景画像がコピー記憶されることになる。これ以外の
動作は実施の形態３と同様であり説明を省略する。

【００４３】以上のように、この実施の形態３によれ
ば、最新画像バッファ２５および直前画像バッファ２６
に時間的に相前後する２つの撮像画像を記憶すると共
に、安定度判定手段２７が各画素毎に輝度変化量に基づ
いて安定度を判定し、更に、この安定と判定される期間
が所定の期間以上であれば背景画像生成手段２９が新た
な背景画像を生成するので、背景画像を更新することが
できる。しかも、所定の期間において殆ど変化がなかっ
た撮像画像を用いて背景画像を生成するので、車両１１
などが含まれる可能性が低い画像を用いて適切に背景画
像を生成することができ、しかも、例え含まれていたと
しても所定の期間の後にはそれを画像から削除すること
ができるので誤った移動体検出をし続けてしまうことは
ない。従って、環境の変化に追従した最適な背景画像を
用いて２４時間３６５日の監視を行うことができる。

【００４４】この実施の形態３によれば、背景画像記憶
手段５の記憶する画像が更新されたら当該画像を記憶す
るコピー記憶手段２８を設け、背景画像生成手段２９
は、安定度判定情報に基づいて各画素毎に最新画像の輝
度と背景画像の輝度とのうちから一方を選択し、これを
組み合わせることで新たな背景画像を生成するので、撮
像画像や現在の背景画像自体に車両１１などが含まれて
いたとしても、その影響を削減するように画像を合成
し、それを背景画像とすることができる。従って、単に
撮像画像を用いた場合や従来の背景画像更新処理に比べ
ても背景画像に含まれる車両１１などを誤って検出して
しまうことを抑制することができる効果がある。

【００４５】実施の形態４．図１３はこの発明の実施の
形態４による移動体検出システムの構成を示すシステム
構成図である。図において、３０は車両判定手段１６と
同様の処理をして車両１１の特徴点およびその路面２０
からの高さを求めた後に更に、それ以降の撮像画像に対
して当該特徴点に基づく車両追跡処理を行う車両追跡手
段（特徴点抽出手段、サイズ判定手段、追跡手段）であ
る。これ以外の構成は実施の形態３と同様であり説明を
省略する。

【００４６】次に動作について説明する。図１４はこの
発明の実施の形態４による車両追跡手段３０の処理を示
すフローチャートである。図において、ＳＴ１８はそれ
以降の撮像画像に対しても列別累積加算ステップＳＴ７
から切出ステップＳＴ９までの処理を行うと共にその結
果得られた各小領域とテンプレートとを比較して例えば
相似形状であると推定されるなどのマッチング判定によ
り車両１１の移動先判定を行う移動先判定ステップ、Ｓ
Ｔ１９は相前後する撮像画像において同一のテンプレー
トにマッチングすると判定された小領域の画像上の位置
変化に基づいて当該画像間における車両１１の移動速度
を判定する移動速度判定ステップである。そして、この
移動速度情報は特徴点の路面２０からの高さ情報などと
共に車両監視センタ３へ出力される。

【００４７】また、移動速度は例えば以下の手順にて求
めることができる。まず、各画像における小領域の撮像
位置と車両１１の高さ情報とを用いて当該車両１１の後
部のそれぞれの撮像タイミングにおける路面２０上の位
置を特定する。次に当該２つの撮像画像における車両後
部の位置同士の差を移動距離として求め、更に当該２つ
の画像の撮像時間間隔（これは監視用ＩＴＶカメラ１の
撮像周期に基づいて予め特定できる）で除算することで
移動速度を求めることができる。これ以外の動作は実施
の形態３と同様であり説明を省略する。

【００４８】そして、このように車両１１の移動を特徴
点の移動として捕捉するとともに、その特徴点の路面２
０からの高さを予め特定しておくことで、速度演算に用
いる２つの画像における当該車両１１の路面２０上の位
置を精度良く特定することができるので、車両１１の移
動速度を精度良く求めることができる。

【００４９】また、このように特徴点を抽出しているの
で、従来のように影の発生状態変化などの影響を受けて
しまうことなく確実に車両１１の移動を捕捉することが
でき、しかも、車両１１が横方向に移動したとしてもそ
の移動距離を確実に捕捉することができる。

【００５０】更に、車両１１を後方から捕らえると共に
輝度が高い部分を特徴点として抽出しているので、車両
１１の後部に必ず２つ設けられているテールランプ１
９，１９を特徴点として抽出することができる。このよ
うに少なくとも２つの特徴点を抽出することができるの
で、そのうちの一つの特徴点が例え支柱、電信柱、道路
標識、他の移動体などによって隠蔽されてしまったとし
ても、他の特徴点に基づいてパターンマッチング判定を
行い、車両１１を継続して追跡することができる効果が
ある。

【００５１】従って、この特徴点の画像上の位置変化に
基づく車両１１の追跡位置情報を用いることで、上記ヘ
ッドライトの光による輝度変化、太陽の位置に応じた影
の発生状態の変化、夜間照明の位置に応じた影の発生状
態の変化などの影響を受けることなく、車両１１の移動
距離や移動速度を精度良く得ることができる効果があ
る。

【００５２】実施の形態５．図１５はこの発明の実施の
形態５による移動体検出システムの構成を示すシステム
構成図である。図において、３１は実施の形態４の車両
追跡手段３０と同様の処理を行った後更に、テンプレー
トマッチング判定にて一致する小領域を特定することが
できなかったテンプレートがある場合にはそのテンプレ
ートに一致するであろう小領域の位置を推定する車両追
跡手段（特徴点抽出手段、サイズ判定手段、追跡手段、
推定手段）である。これ以外の構成は実施の形態４と同
様であり説明を省略する。

【００５３】次に動作について説明する。図１６はこの
発明の実施の形態５による車両追跡手段３１の処理を示
すフローチャートである。図において、ＳＴ２０はテン
プレートマッチング判定にて一致する小領域を特定する
ことができなかったテンプレートがある場合にはそのテ
ンプレートに一致するであろう小領域の位置を推定する
推定ステップである。そして、この推定した小領域の推
定位置情報は他のマッチングが得られた小領域の情報と
ともに車両監視センタ３へ出力される。

【００５４】また、小領域の位置推定は例えば以下の手
順にて求めることができる。マッチすると判定された他
の特徴点がある場合には、例えば他の特徴点に基づいて
得られた車両１１の後部位置情報に基づいて当該位置に
おける撮像画像上の特徴点同士の位置関係（間隔）を演
算し、次にその位置関係（間隔）、車両後部の位置情
報、特徴点の高さ情報などを用いて当該特徴点の位置を
推定すれば良い。また、マッチすると判定された特徴点
が１つも無いような場合においては、それ以前の撮像画
像における特徴点の位置変化、それに基づいて得られた
車両１１の移動速度などの情報を用いて例えば車両１１
はこれらの画像間においては直線的に移動しているなど
の推定条件の下で今回の撮像画像における車両１１の路
面上の位置を推定し、その位置における各特徴点の位置
を更に推定すれば良い。これ以外の動作は実施の形態４
と同様であり説明を省略する。

【００５５】以上のように、この実施の形態５によれ
ば、テンプレートマッチング判定においてマッチすると
判定されなかった特徴点について、車両追跡手段３１が
そのテンプレートに一致するであろう小領域の位置を推
定するので、例え全ての特徴点が例えば支柱、電信柱、
道路標識、他の移動体などによって隠蔽されてしまった
としてもその位置を推定し、その後の撮像画像に対して
も継続して追跡することができる効果がある。

【００５６】なお、以上の実施の形態では、背景画像を
生成するに当たり各画素毎に当該画素の撮像画像におけ
る輝度安定性を判定し、所定の期間以上にわたって安定
状態にある輝度を用いて更新しているが、他にも、図１
７に示すようなやり方で背景画像を生成しても良い。同
図において、３２は最新の撮像画像、３３は背景画像、
３４はそれぞれ瞬時的な変化が生じている部分、３５は
差分画像、３６は反転二値化画像、３７は新しい背景画
像である。そして、同図においては、まず、最新の撮像
画像３２と背景画像３３との差分画像３５を生成し、こ
の差分画像３５を所定の閾値に基づいて二値化し更に反
転して反転二値化画像３６を生成し、更に、最新の撮像
画像３２や背景画像３３とともにこの反転二値化画像３
６を用いて新しい背景画像３７を生成するものである。

【００５７】但し、この背景画像の生成方法では同図に
示すように、車両１１などの移動体や車両１１のヘッド
ライトの光などによって瞬時的な輝度変化が生じている
部分が背景画像に残ってしまうので、以上の実施の形態
に示すように輝度が安定していると判断された輝度のみ
を順次各画素に適用する更新方法の方が、この瞬時的な
輝度変化を取り除いたより適した背景画像を生成するこ
とができる効果がある。

【００５８】

【発明の効果】以上のように、この発明によれば、所定
の空間を撮像し、撮像画像を出力する撮像手段と、当該
撮像手段が過去に出力した撮像画像あるいはそれを加工
した画像を背景画像として記憶する背景画像記憶手段
と、上記撮像画像と背景画像とのそれぞれについて画像
を複数の領域に分割して各領域毎に周囲の領域との相対
輝度差を演算し、更にこの領域毎の相対輝度差同士を比
較して上記撮像画像と背景画像との輝度差に応じた値の
画像差信号を出力する画像差演算手段と、上記画像差信
号と所定の閾値とを比較して移動体の移動体検出判定を
行う判定手段とを備えるので、撮像画像と背景画像とは
各領域毎にそれぞれの画像内での相対輝度差でもって比
較されることになる。従って、車両のヘッドライトの光
などによる画像の輝度変化があったとしてもこの輝度変
化を抑制した状態で撮像画像と背景画像とを比較するこ
とができ、これに影響されることなく移動体を好適に検
出することができる効果がある。

【００５９】この発明によれば、撮像手段は所定の経路
に沿って移動する移動体を撮像し、画像差演算手段は撮
像画像に対する移動体の侵入側に設定された移動体検出
領域に基づいて画像差信号を出力し、判定手段が移動体
非検出と判定したタイミングにおいて、上記移動体の移
動方向に沿って当該移動体検出領域に隣接する位置に設
定された移動体判定領域に基づいて移動体の特徴点抽出
処理を行う特徴点抽出手段を設けたので、上記移動体判
定領域に移動体が存在する状態で特徴点抽出処理を行う
ことができ、確実に移動体の特徴点を抽出することがで
きる効果がある。

【００６０】この発明によれば、移動体検出領域から移
動体判定領域にかけた移動体の移動経路に対して０度あ
るいは９０度以外の撮像角度となるように撮像手段を設
置するとともに、特徴点抽出手段が抽出した特徴点と移
動体検出領域との画像上の距離に基づいて移動体のサイ
ズを判定するサイズ判定手段を設けたので、移動体のサ
イズに基づいて移動体の種類などを判別することができ
る効果がある。

【００６１】この発明によれば、移動体の複数の特徴点
を抽出する特徴点抽出手段と、上記特徴点抽出手段が複
数の特徴点を抽出した後に、撮像画像に対して特徴点抽
出手段と同様の処理を行って各特徴点毎にマッチング判
定を行い、少なくとも１つの特徴点においてマッチする
と判定されたらその特徴点の撮像画像上の位置に基づい
て移動体の追跡位置情報を出力する追跡手段とを設けた
ので、１つの特徴点が例えば支柱、電信柱、道路標識、
他の移動体などによって隠蔽されてしまったとしても、
他の特徴点に基づいて移動体を継続して追跡することが
できる効果がある。

【００６２】また、相対輝度差に基づいて複数の特徴点
を抽出しているので、車両のヘッドライトの光などに影
響されることなく、それらの相互の位置関係などに基づ
いて車両の大きさなどを判定することができる効果もあ
る。

【００６３】更に、この特徴点の画像上の位置変化に基
づく移動体の追跡位置情報を用いることで、上記ヘッド
ライトの光による輝度変化、太陽の位置に応じた影の発
生状態の変化、夜間照明の位置に応じた影の発生状態の
変化などの影響を受けることなく、移動体の移動距離や
移動速度を得ることができる効果がある。

【００６４】この発明によれば、移動体の１乃至複数の
特徴点を抽出する特徴点抽出手段と、上記特徴点抽出手
段が特徴点を抽出した後に、撮像画像に対して特徴点抽
出手段と同様の処理を行って各特徴点毎にマッチング判
定を行い、少なくとも１つの特徴点においてマッチする
と判定されたらその特徴点の撮像画像上の位置に基づい
て移動体の追跡位置情報を出力する追跡手段と、追跡手
段がマッチすると判定できなかった特徴点について、以
前の当該特徴点の軌跡あるいはマッチすると判定された
他の特徴点がある場合にはそれを利用して推定位置情報
を出力する推定手段とを設けたので、例え全ての特徴点
が例えば支柱、電信柱、道路標識、他の移動体などによ
って隠蔽されてしまったとしてもその位置を推定し、継
続して追跡することができる効果がある。

【００６５】また、相対輝度差に基づいて複数の特徴点
を抽出しているので、車両のヘッドライトの光などに影
響されることなく、それらの相互の位置関係などに基づ
いて車両の大きさなどを判定することができる効果もあ
る。

【００６６】更に、この特徴点の画像上の位置変化に基
づく移動体の追跡位置情報を用いることで、上記ヘッド
ライトの光による輝度変化、太陽の位置に応じた影の発
生状態の変化、夜間照明の位置に応じた影の発生状態の
変化などの影響を受けることなく、移動体の移動距離や
移動速度を得ることができる効果がある。

【００６７】そして、例えば、移動体は車両であり、特
徴点抽出手段は当該車両のテールランプを特徴点として
抽出するものであればよい。

【００６８】この発明によれば、撮像手段から出力され
た撮像画像を２つ以上記憶する撮像画像記憶手段と、こ
の撮像画像記憶手段に記憶された複数の撮像画像同士を
比較し、画像の変化の少なさを判定する安定度判定手段
と、安定度判定手段において所定の回数連続して安定と
判断されたら上記撮像画像記憶手段に記憶されている撮
像画像を用いて背景画像を生成する背景画像生成手段と
を設け、背景画像記憶手段は当該背景画像を記憶するの
で、背景画像を逐次更新することができる。

【００６９】しかも、所定の回数に相当する期間におい
て殆ど変化がなかった撮像画像を用いて背景画像を生成
するので、移動体などが含まれる可能性が低い画像を用
いて適切に背景画像を生成することができ、しかも、例
え含まれていたとしても所定の期間の後にはそれが更新
されるので誤った移動体検出をし続けてしまうことはな
い。従って、環境の変化に追従した最適な背景画像を用
いて２４時間３６５日の監視を行うことができる。

【００７０】この発明によれば、背景画像記憶手段の記
憶する画像が更新されたら当該画像を記憶するコピー記
憶手段を設け、背景画像生成手段は、安定度判定手段に
おいて判定に用いられた撮像画像のうちの１つと当該コ
ピー記憶手段に記憶されている画像とを合成して新たな
背景画像を生成するので、撮像画像や現在の背景画像に
移動体が含まれていたとしても、その影響を削減するよ
うに画像を合成し、それを背景画像とすることができ
る。従って、単に撮像画像を用いた場合に比べて背景画
像に含まれる移動体を誤って検出してしまうことを抑制
することができる効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による移動体検出シ
ステムの構成を示すシステム構成図である。

【図２】 この発明の実施の形態１による監視用ＩＴＶ
カメラの撮像画像の一例を示す説明図である。

【図３】 この発明の実施の形態１による両検出フロー
を示すフローチャートである。

【図４】 この発明の実施の形態１による相対輝度差演
算処理を説明するための説明図である。

【図５】 この発明の実施の形態２による移動体検出シ
ステムの構成を示すシステム構成図である。

【図６】 この発明の実施の形態２による監視用ＩＴＶ
カメラの撮像画像の一例を示す説明図である。

【図７】 この発明の実施の形態２による車両判定手段
の処理を示すフローチャートである。

【図８】 この発明の実施の形態２による現画像と輝度
変化値の列毎の累積加算値との関係を示す説明図であ
る。

【図９】 小領域と車両検出領域との撮像画像上の距離
に基づいて当該小領域の路面からの高さを特定すること
ができる理由を説明するための説明図である。

【図１０】 この発明の実施の形態３による移動体検出
システムの構成を示すシステム構成図である。

【図１１】 この発明の実施の形態３による背景画像生
成部の構成を示すシステム構成図である。

【図１２】 この発明の実施の形態３による背景画像更
新処理を示すフローチャートである。

【図１３】 この発明の実施の形態４による移動体検出
システムの構成を示すシステム構成図である。

【図１４】 この発明の実施の形態４による車両追跡手
段の処理を示すフローチャートである。

【図１５】 この発明の実施の形態５による移動体検出
システムの構成を示すシステム構成図である。

【図１６】 この発明の実施の形態５による車両追跡手
段の処理を示すフローチャートである。

【図１７】 他の背景画像生成処理を示す図である。

【図１８】 従来の移動体検出システムの構成を示すシ
ステム構成図である。

【図１９】 従来の移動体検出システムにおいて撮像カ
メラで撮像した画像の一例である。

【符号の説明】

１ 監視用ＩＴＶカメラ（撮像手段）、２ 画像処理ユ
ニット、３ 車両監視センタ、４ 撮像画像記憶手段、
５ 背景画像記憶手段、６ 車両検出手段（画像差演算
手段、判定手段）、７ 撮像画像、８ 道路左側端部、
９ 道路右側端部、１０ センターライン、１１ 車
両、１２ 移動体検出領域、１３ 検出領域、１４，１
５ 画素群、１６ 車両判定手段（特徴点抽出手段、サ
イズ判定手段）、１７ 移動体判定領域、１８ 車両移
動方向下流側端辺、１９ テールランプ、２０ 路面、
２１ 視野方向、２２ 特徴点の視野方向、２３ 移動
体検出領域に相当する路面位置、２４ 背景画像生成
部、２５ 最新画像バッファ（撮像画像記憶手段）、２
６ 直前画像バッファ（撮像画像記憶手段）、２７ 安
定度判定手段、２８ コピー記憶手段、２９ 背景画像
生成手段、３０ 車両追跡手段（特徴点抽出手段、サイ
ズ判定手段、追跡手段）、３１ 車両追跡手段（特徴点
抽出手段、サイズ判定手段、追跡手段、推定手段）、３
２ 最新の撮像画像、３３ 背景画像、３４ 瞬時的な
変化が生じている部分、３５ 差分画像、３６ 反転二
値化画像、３７ 新しい背景画像。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/14 Ｈ０４Ｎ 5/14 Ｚ 7/18 7/18 Ｋ Ｆターム(参考） 5B057 AA16 BA02 CE06 CE12 DA06 DA07 DB09 DC02 DC05 DC16 DC32 5C021 PA38 PA53 PA58 PA66 PA76 PA79 RA01 RA02 5C054 AA01 AA05 CA04 CC05 EA01 FC12 FC13 FC14 FC15 HA26 5H180 AA01 CC04 DD01 5L096 AA06 BA02 BA04 CA03 FA09 FA70 GA08 HA03 HA05

Claims (8)

【特許請求の範囲】
1. 【請求項１】 所定の空間を撮像し、撮像画像を出力す
   る撮像手段と、 当該撮像手段が過去に出力した撮像画像あるいはそれを
   加工した画像を背景画像として記憶する背景画像記憶手
   段と、 上記撮像画像と背景画像とのそれぞれについて画像を複
   数の領域に分割して各領域毎に周囲の領域との相対輝度
   差を演算し、更にこの領域毎の相対輝度差同士を比較し
   て上記撮像画像と背景画像との輝度差に応じた値の画像
   差信号を出力する画像差演算手段と、 上記画像差信号と所定の閾値とを比較して移動体の移動
   体検出判定を行う判定手段とを備える移動体検出システ
   ム。
2. 【請求項２】 撮像手段は所定の経路に沿って移動する
   移動体を撮像し、 画像差演算手段は撮像画像に対する移動体の侵入側に設
   定された移動体検出領域に基づいて画像差信号を出力
   し、 判定手段が移動体非検出と判定したタイミングにおい
   て、上記移動体の移動方向に沿って当該移動体検出領域
   に隣接する位置に設定された移動体判定領域に基づいて
   移動体の特徴点抽出処理を行う特徴点抽出手段を設けた
   ことを特徴とする請求項１記載の移動体検出システム。
3. 【請求項３】 移動体検出領域から移動体判定領域にか
   けた移動体の移動経路に対して０度あるいは９０度以外
   の撮像角度となるように撮像手段を設置するとともに、 特徴点抽出手段が抽出した特徴点と移動体検出領域との
   画像上の距離に基づいて移動体のサイズを判定するサイ
   ズ判定手段を設けたことを特徴とする請求項２記載の移
   動体検出システム。
4. 【請求項４】 移動体の複数の特徴点を抽出する特徴点
   抽出手段と、 上記特徴点抽出手段が複数の特徴点を抽出した後に、撮
   像画像に対して特徴点抽出手段と同様の処理を行って各
   特徴点毎にマッチング判定を行い、少なくとも１つの特
   徴点においてマッチすると判定されたらその特徴点の撮
   像画像上の位置に基づいて移動体の追跡位置情報を出力
   する追跡手段とを設けたことを特徴とする請求項１記載
   の移動体検出システム。
5. 【請求項５】 移動体の１乃至複数の特徴点を抽出する
   特徴点抽出手段と、上記特徴点抽出手段が特徴点を抽出
   した後に、撮像画像に対して特徴点抽出手段と同様の処
   理を行って各特徴点毎にマッチング判定を行い、少なく
   とも１つの特徴点においてマッチすると判定されたらそ
   の特徴点の撮像画像上の位置に基づいて移動体の追跡位
   置情報を出力する追跡手段と、 追跡手段がマッチすると判定できなかった特徴点につい
   て、以前の当該特徴点の軌跡あるいはマッチすると判定
   された他の特徴点がある場合にはそれを利用して推定位
   置情報を出力する推定手段とを設けたことを特徴とする
   請求項１記載の移動体検出システム。
6. 【請求項６】 移動体は車両であり、特徴点抽出手段は
   当該車両のテールランプを特徴点として抽出する請求項
   ２から請求項５のうちのいずれか１項記載の移動体検出
   システム。
7. 【請求項７】 撮像手段から出力された撮像画像を２つ
   以上記憶する撮像画像記憶手段と、 この撮像画像記憶手段に記憶された複数の撮像画像同士
   を比較し、画像の変化の少なさを判定する安定度判定手
   段と、 安定度判定手段において所定の回数連続して安定と判断
   されたら上記撮像画像記憶手段に記憶されている撮像画
   像を用いて背景画像を生成する背景画像生成手段とを設
   け、 背景画像記憶手段は当該背景画像を記憶することを特徴
   とする請求項１記載の移動体検出システム。
8. 【請求項８】 背景画像記憶手段の記憶する画像が更新
   されたら当該画像を記憶するコピー記憶手段を設け、 背景画像生成手段は、安定度判定手段において判定に用
   いられた撮像画像のうちの１つと当該コピー記憶手段に
   記憶されている画像とを合成して新たな背景画像を生成
   することを特徴とする請求項７記載の移動体検出システ
   ム。