JP2002109546A

JP2002109546A - 背景画像の取得方法および装置

Info

Publication number: JP2002109546A
Application number: JP2000301312A
Authority: JP
Inventors: Kyoichi Okamoto; 恭一岡本; Masayuki Maruyama; 昌之丸山
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-09-29
Filing date: 2000-09-29
Publication date: 2002-04-12

Abstract

(57)【要約】【課題】動画像から、自動的に動物体のない背景画像を
作成できるようにする。【解決手段】監視対象領域をとらえた動画像から、自動
的に動物体のない背景画像を作成できるようにするため
に、画像をブロックBLに分割し、分割したBL毎に背景を
学習させるようにしたものであり、入力画像からブロッ
ク画像ＰBLを切り出し、それを一定フレーム数積算して
画素毎に平均をとったＰBLを作成し、このＰBLについて
特徴量を求め、これら画像と特徴量をBL内の背景候補の
情報として保存し、学習時には入力画像の対応BLと保存
してある各背景候補とをそれぞれの持つ特徴量について
比較すると共に差が最小のものを筆頭候補とし又前記比
較の結果、差が所定閾値より大きいときは前記入力画像
の当該対応BLの画像及び特徴量の情報を背景候補の情報
として追加または乖離の大きい背景候補と入れ替えす
る。この学習を適宜に実施してBL内の背景候補が複数準
備されるようにし各BL毎に筆頭候補の背景候補を用いて
背景画像を得るようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する分野】本発明は、屋外環境にあって、車
両や人物の動きを画像で監視する画像監視装置に用いら
れる背景差分法の背景画像の取得方法に関するものであ
る。

【０００２】

【従来の技術】車両や人物の進入を検出する方式には、
主に“動き検出法”と“背景差分法”の二つの方式があ
る。これらのうち、“動き検出法”は画像の時間変化か
ら動きのある領域を検出する方式であるが、画像の動き
情報（オプティカルフロー)の計算を行わねばならない
から、計算量が大きいという問題があり、さらには動き
のあるところだけが検出される方式であるので、車両の
ボンネット中央など微小な時間間隔で画像上の動きのな
い部分が抜け、動物体の進行方向前端と後端部だけしか
検出されない、などの欠点がある。

【０００３】一方、“背景差分法”は車両や人物のいな
い背景画像を撮影しておき、背景画像と入力画像の差か
ら進入物体を検出する方式である。この方式では検出は
画像の差分を計算するだけで良いから、計算量が少なく
済み、また、進入物体全体が検出される利点がある。し
かしながら、“背景差分法”にあっては、道路上を通過
する車両の検出と云ったような用途では、背景となる道
路上を車両が頻繁に通過するため、車両のいない背景を
撮影することが困難であるという問題があった。

【０００４】すなわち、“背景差分法”で必要な背景画
像は、道路のような屋外の場合、天候や時間帯により、
明るさや影の出方、風景の状態の変化などがあるので、
そのときどきに合う背景画像を用いる必要がある。その
ため、背景画像は定期的に更新する必要があるが、背景
画像が道路の場合にはその道路上を車両が頻繁に通過す
るため、車両のいない背景を撮影することが困難である
という問題があった。

【０００５】そこで、これに対処すべく、連続して撮影
した時系列画像について、ある座標の明度ヒストグラム
をとり、その最頻値を背景とすることによって車両が頻
繁に通過する道路でも背景を作成する方法が提案されて
いる。例えば、『栗田多喜夫、梅山伸二、島井博行、
“適応的なロバスト推定を用いた背景のモデリング”,
電子情報通信学会、情報システムソサイエティ大会講演
論文集、 D-12-92、1998. 』などである。

【０００６】しかし、提案された方法では、天候の変化
によって画像全体の明度が変るような場合、画素単位の
ヒストグラムでは最頻値が変化するまでに時間がかかり
環境変動にすばやく追従できないという問題がある。

【０００７】環境が変化したにもかかわらず、用いる背
景画像が変らない場合、差分処理を施すと、従来背景で
あった部分で物体があると判定されてしまうことにな
り、異常動作が起きる原因となる。

【０００８】本発明はこのような問題に鑑みなされたも
のである。

【０００９】

【発明が解決しようとする課題】以上述べたように、車
両や人物の進入を検出する方式には、主に“動き検出
法”と“背景差分法”の二方式があるが、前者は計算量
が多く、処理系に負担が掛かるほか、動く物体の前端と
後端しか検知できないと云う問題がある。そこで、背景
画像と現画像の差分を取って変化部分を抽出することに
より、侵入物の検知を行う“背景差分法”が多く用いら
れるが、この“背景差分法”の従来方式にあっては、差
分処理を行うための背景画像を作成することが環境によ
って困難であるか、自動的に作成できたとしても天候な
どの環境変化が起きた場合、背景画像が変るまでに時間
がかかり環境変化にすばやく追従できないという問題が
ある。

【００１０】従って、この発明の目的とするところは、
監視対象が道路などである場合において、背景画像を確
実に取得できるようにすると共に、環境変化に素早く対
応できるようにして精度向上と信頼性向上を図ることが
出来るようにした背景差分法による監視装置の学習方法
を提供することにある。

【００１１】

【課題を解決する手段】上記目的を達成するため、本発
明は次のように構成する。すなわち、本発明は、動物体
が行き交う監視対象領域をとらえた動画像から、自動的
に動物体のない背景画像を作成できるようにするため
に、画像をブロックに分割し、分割したブロック毎に、
背景を学習させるようにしたものであり、入力画像から
ブロック画像を切り出し、それを一定フレーム数積算し
て画素毎に平均をとったブロック画像を作成し、この作
成したブロック画像について、特徴量を求め、これら画
像と特徴量をブロック内の背景候補の情報として保存す
るようにし、学習時には入力画像（一定フレーム数分の
平均画像）の対応ブロックと保存してある各背景候補と
をそれぞれの持つ特徴量について比較すると共に、差が
最小のものを筆頭候補とし、また、前記比較の結果、差
が所定の閾値より大きいときは前記入力画像の当該対応
ブロックの画像および特徴量の情報を背景候補の情報と
して追加または乖離の大きい背景候補と入れ替えするよ
うにする。

【００１２】そして、このような学習を適宜に実施させ
ることで、ブロック内の背景候補が複数準備されるよう
にし、各ブロック毎に筆頭候補の背景候補を用いて背景
画像を得るようにする。

【００１３】このような本発明による背景学習方法によ
れば、天候の変化など環境変動では、全体的な明度変化
に不変な特徴量を使うことから、変動前と変動後で特徴
量が類似し、類似度最大の候補（重み最大の候補）が選
択されて、背景が素早く更新される。また、信号待ち
や右折待ちで停車している車両では、背景学習で更新さ
れる候補は重みの低い候補であるので、長時間の停止に
より候補間で類似度（重み）の逆転が起きるまで元の背
景を保持することができる。

【００１４】また、長時間停車で車両が背景画像に入る
場合には、類似度（重み）の逆転が起きて車両と背景が
入れ替わるまで背景候補の内容は更新されない。そのた
め、停止車両が背景に徐々に溶け込むということもな
い。

【００１５】従って、本発明によれば、環境変動に素早
く追従でき、また、動物体が行き交う監視対象領域内の
背景画像を現在の環境状態に合うかたちで、更新できる
ようにして信頼性と検知精度の高い背景差分法を実施可
能にする背景画像の取得方法を提供できる。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明を説
明する。図１のフローチャートに沿って実施例を説明す
る。

【００１７】ここでは、入力画像を縦横一定サイズ（例
えば、８×８画素など）の矩形ブロックに分割し、この
分割したブロック毎に背景学習処理を行うようにする。

【００１８】まず、入力画像からブロック画像を切り出
し、それを一定フレーム数積算して、画素毎に平均をと
ったブロック画像を作成する。分散は、各画素毎に計算
した分散をブロック全体で平均化した一つの値を使用す
る (ステップＳ１）。

【００１９】次に前記のステップＳ１での平均処理で作
成したブロック画像について、特徴量を計算する（ステ
ップＳ２）。

【００２０】特徴量は、前記作成したブロック画像に、
図２に示す（ａ）〜（ｈ）までの８種類のフィルタをか
けた値を並べた８次元のベクトル量である。

【００２１】図２に示す（ａ）〜（ｈ）の各フィルタに
おいて、黒の部分は“１”、グレー（図ではハッチング
の部分）は“−１”を、そして、それ以外は“０”を表
す。（ａ）のフィルタは、８×８画素構成のブロックの
うち、左上４×４画素部分を左右（縦）に２分割してそ
のうちの右側の２×４画素を“１”（黒の部分）、右側
の２×４画素を“−１”（グレー）としたものであり、
（ｂ）のフィルタは、８×８画素構成のブロックのう
ち、右上４×４画素部分を左右に２分割してそのうちの
右側の２×４画素を“１”、右側の２×４画素を“−
１”としたものであり、（ｃ）のフィルタは、８×８画
素構成のブロックのうち、左下４×４画素部分を左右２
分割してそのうちの右側の２×４画素を“１”、右側の
２×４画素を“−１”としたものであり、（ｄ）のフィ
ルタは、８×８画素構成のブロックのうち、右上４×４
画素部分を左右２分割してそのうちの右側の２×４画素
を“１”、右側の２×４画素を“−１”としたものであ
り、（ｅ）のフィルタは、８×８画素構成のブロックの
うち、左上４×４画素部分を上下（横）に２分割してそ
のうちの上側の４×２画素を“１”、下側の４×２画素
を“−１”としたものであり、（ｆ）のフィルタは、８
×８画素構成のブロックのうち、右下４×４画素部分を
上下２分割してそのうちの上側の４×２画素を“１”、
下側の４×２画素を“−１”としたものあり、（ｇ）の
フィルタは、８×８画素構成のブロックのうち、左下４
×４画素部分を上下２分割してそのうちの上側の４×２
画素を“１”、下側の４×２画素を“−１”としたもの
であり、（ｈ）のフィルタは、８×８画素構成のブロッ
クのうち、右上４×４画素部分を上下２分割してそのう
ちの上側の４×２画素を“１”、下側の４×２画素を
“−１”としたものである。他の部分は“０”である。

【００２２】このような８種類のフィルタは、全てエッ
ジ抽出フィルタであるので、天候変化など、全体的な画
像の明度変化では特徴量の変化は少なく、路面に模様の
ある車両が進入して場合のように、テクスチャの変化が
起きたときに大きく変化する特徴量を用いている。

【００２３】このようにして、一定フレーム数について
の平均をとり、候補画像とすると共に、分散と特徴量を
求めてこれらを記憶する。これは次のようなデータ構造
で、ブロック単位で記憶する。

【００２４】すなわち、一つのブロックについての背景
情報は、図３に示したデータ構造であり、メモリ上に記
憶されている。この背景情報のデータには、図３（ａ）
に示すように、背景候補の個数と、候補データへのポイ
ンタで表現した候補のリストが含まれている。また、背
景候補のデータは図３（ｂ），（ｃ）に示すごときであ
り、それぞれ、重み、分散値、特徴量と、候補画像が含
まれる。

【００２５】背景情報データの背景候補リストは、背景
候補の重みの降順に並べられており、リストの先頭にあ
る（重みが最大の）背景候補がそのブロックの背景に選
ばれるようにしてある。

【００２６】図３に示されるように、リストの最大数は
あらかじめ決められており、このデータ構造では、リス
トの長さは８であるが、そのうち先頭の２つだけにポイ
ンタが格納されている。

【００２７】以下では、背景候補がｎ個あると仮定して
説明する。

【００２８】１番目からｎ番目の背景候補まで順に、あ
らかじめ計算しておいた各背景候補の特徴量と、入力画
像から作成したブロック画像の特徴量とを比較して、最
も差の小さい背景候補を選択する（ステップＳ３）。

【００２９】特徴量は８次元のベクトルであるので、特
徴量の差は、各次元毎に差の二乗和をとったその総和と
する。エッジフィルタの出力を特徴量としているので、
環境変動による全体的な明度変化が起きても、変化が起
きる前の背景が選択される確率が大きい。また、車両の
進入ではテクスチャ変化が大きいので、進入前の背景と
は異なる候補が選択される確率が大きい。

【００３０】次に、選択した背景候補と入力ブロック画
像の特徴量との差を閾値と比較する（ステップＳ４）。

【００３１】そして、比較の結果、差が閾値より大きい
場合は適当な候補がなかったものと判定して、候補の入
替を行う（ステップＳ５）。入れ替え対象となる候補
は、背景候補が既に最大数だけあればリスト最後尾の候
補を、また、候補の数が最大数に満たなければ、現在あ
る候補数の次の候補を選択する。図３の状況では、３番
目の候補が選択される。

【００３２】次に、この選択された背景候補の内容（画
像と分散、特徴量）を入力ブロック画像のものに入れ替
えて、重みを“０”に初期化する。

【００３３】アルゴリズムの初期化では、候補数を
“０”に初期化するので、最初にステップＳ５を実行し
たときには先頭の候補が選択されて初期化される。

【００３４】ステップＳ４における比較の結果、選択し
た背景候補と入力ブロック画像の特徴量との差が閾値よ
り小さい場合は、以下に示す方式で選択した背景候補の
画像を入力ブロック画像と分散値を用いて更新する
（ステップＳ６）。

【００３５】あるフレームｔでの背景の画素をＩt＾、
分散をＰt＾、入力ブロック画像の画素をＩt、分散をＲ
tとすると、更新された背景の画素Ｉt+1＾と分散Ｐt+1
＾は以下の式の１変数カルマンフィルタで表される。

【００３６】Ｋ＝Ｐt＾／（Ｐt＾＋Ｐt）Ｉt+1＾＝Ｉt＾＋Ｋ（Ｉt＋Ｉt＾）Ｐt+1＾＝（１−Ｋ）Ｐt＾＋Ｇ（ただし、Ｇは定数）この式では、背景と入力ブロック画像の分散を比べてＫ
を計算する。背景の分散が大きければＫは“１”に近づ
き、ブロック画像の分散が大きければＫは“０”に近づ
く。このＫを重みとして、本発明では背景の画素を更新
している。

【００３７】背景候補の画像を更新した後、重みを更新
する。

【００３８】まず、選択した背景候補の重みを加算する
（ステップＳ７）。候補を選択するたびに重みを加算す
るので、重みは候補の選択頻度を表す。

【００３９】次に、選択した候補がリストの先頭（重み
最大の候補）であるか否かを判定する（ステップＳ
８）。その結果、先頭の候補である場合には、加算後の
重みが閾値を超えているか否かを判定する（ステップＳ
９）。

【００４０】そして、もし、閾値を超えていれば、全て
の候補の重み値を“２”で除算して重み値が一定範囲内
にあるようにする（ステップＳ１０）。

【００４１】一方、ステップＳ８の判定において、選択
した候補がリストの先頭でなかった場合には、加算後の
重みをリスト内の他の候補と比較し、リストが重みの降
順になるように順序整列する（ステップＳ１１）。リス
トの先頭にある、重み最大の背景候補の画像をブロック
の背景に選択して出力する。

【００４２】学習時にこのように処理する。その結果、
学習後は、重み最大の背景候補がリストの先頭に来るこ
とになる。従って、定期的にあるいはランダムに学習を
行うようにし、背景差分法を実施する際の、背景画像に
は各ブロック毎に、リストの先頭にある重み最大の背景
候補を、ブロックの背景として選択することで得たもの
を用いるようにする。

【００４３】このように、本発明は、動物体が行き交う
監視対象領域をとらえた動画像から、自動的に動物体の
ない背景画像を作成できるようにするために、画像をブ
ロックに分割し、分割したブロック毎に、背景を学習さ
せるようにしたものであり、入力画像からブロック画像
を切り出し、それを一定フレーム数積算して画素毎に平
均をとったブロック画像を作成し、この作成したブロッ
ク画像について、特徴量を求め、これら画像と特徴量を
ブロック内の背景候補の情報として保存するようにし、
学習時には入力画像（一定フレーム数分の平均画像）の
対応ブロックと保存してある各背景候補とをそれぞれの
持つ特徴量について比較すると共に、差が最小のものを
筆頭候補とし、また、前記比較の結果、差が所定の閾値
より大きいときは前記入力画像の当該対応ブロックの画
像および特徴量の情報を背景候補の情報として追加また
は乖離の大きい背景候補と入れ替えする。

【００４４】このような学習を適宜に実施させること
で、ブロック内の背景候補が複数準備されるようにし、
各ブロック毎に筆頭候補の背景候補を用いて背景画像を
得るようにする。

【００４５】このような本発明による背景学習方法によ
れば、天候の変化など環境変動では、全体的な明度変化
に不変な特徴量を使うことから、変動前と変動後で特徴
量が類似し、類似度最大の候補（重み最大の候補）が選
択されて、背景が素早く更新される。また、信号待ち
や右折待ちで停車している車両では、背景学習で更新さ
れる候補は重みの低い候補であるので、長時間の停止に
より候補間で類似度（重み）の逆転が起きるまで元の背
景を保持することができる。

【００４６】また、長時間停車で車両が背景画像に入る
場合には、類似度（重み）の逆転が起きて車両と背景が
入れ替わるまで背景候補の内容は更新されない。そのた
め、停止車両が背景に徐々に溶け込むということもな
い。

【００４７】従って、本発明によれば、環境変動に素早
く追従でき、また、動物体が行き交う監視対象領域内の
背景画像を現在の環境状態に合うかたちで、更新できる
ようにして信頼性と検知精度の高い背景差分法を実施可
能にする背景画像の取得方法を提供できる。

【００４８】なお、本発明は上述した実施形態に限定さ
れるものではなく、種々変形して実施可能である。ま
た、本発明において、上記実施形態には種々の段階の発
明が含まれており、開示される複数の構成要件における
適宜な組み合わせにより種々の発明が抽出され得る。例
えば、実施形態に示される全構成要件から幾つかの構成
要件が削除されても、発明が解決しようとする課題の欄
で述べた課題の少なくとも１つが解決でき、発明の効果
の欄で述べられている効果の少なくとも１つが得られる
場合には、この構成要件が削除された構成が発明として
抽出され得る。

【００４９】また、本発明における実施形態に記載した
手法は、コンピュータに実行させることのできるプログ
ラムとして、磁気ディスク（フレキシブルディスク、ハ
ードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＭＯなど）、半導体メモリ
などの記録媒体に格納して頒布することもでき、また、
ネットワークを介しての伝送により、頒布することもで
きる。

【００５０】

【発明の効果】以上、説明したように、本発明による背
景学習方式によれば、天候の変化など環境変動では、全
体的な明度変化に不変な特徴量を使うため、変動前と変
動後で特徴量が類似し、重み最大の候補が選択され、背
景が素早く更新されるようになり、また、信号待ちや右
折待ちで停車している車両では、背景学習で更新される
候補は重みの低い候補であるので、長時間の停止により
候補間で重みの逆転が起きるまで元の背景を保持するこ
とができる他、長時間停車で車両が背景画像に入る場合
には、重みの逆転が起きて車両と背景が入れ替わるまで
背景候補の内容は更新されないから、停止車両が背景に
徐々に溶け込むということもない。

【００５１】従って、本発明によれば、環境変動に素早
く追従でき、また、動物体が行き交う監視対象領域内の
背景画像を現在の環境状態に合うかたちで、更新できる
ようにして信頼性と検知精度の高い背景差分法を実施可
能にする背景画像の取得方法を提供できる。

【図面の簡単な説明】

【図１】本発明の背景画像取得方法における背景学習ア
ルゴリズムを示すフローチャートである。

【図２】本発明の背景画像取得方法における特徴量計算
の概略を説明する図である。

【図３】本発明の背景画像取得方法に用いる一例として
の背景情報のデータ構造図である。

フロントページの続きＦターム(参考） 5C054 GB14 GB15 HA30 5H180 AA01 AA21 BB13 CC04 DD01 5L096 BA02 BA04 FA32 GA08 GA09 GA19 GA51 GA55 HA03 KA04 LA01

Claims

【特許請求の範囲】

【請求項１】監視対象領域をとらえた動画像から背景画
像を作成する背景画像取得方法であって、画像をブロッ
クに分割し、分割したブロック毎に背景を学習させるべ
く、入力画像からブロック画像を切り出し、それを一定
フレーム数積算して画素毎に平均をとったブロック画像
を作成し、この作成したブロック画像について、特徴量
を求め、これら画像と特徴量をブロック内の背景候補の
情報として保存するようにし、学習時には入力画像の対
応ブロックと保存してある各背景候補とをそれぞれの持
つ特徴量について比較すると共に、差が最小のものを筆
頭候補とし、また、前記比較の結果、差が所定の閾値よ
り大きいときは前記入力画像の当該対応ブロックの画像
および特徴量の情報を背景候補の情報として追加または
乖離の大きい背景候補と入れ替えするようにし、各ブロ
ック毎に筆頭候補の背景候補を用いて構成した画像を背
景画像として得るようにすることを特徴とする背景画像
の取得方法。
【請求項２】画像をブロックに分割し、分割したブロッ
ク毎に背景を学習して取得する取得方法であって、ブロ
ック内の背景候補として、それぞれ重みを持つ背景候補
を複数有し、入力画像を分割したブロックと背景候補間
で特徴量の比較結果により、背景候補の重みを更新し、
重みが最大となる背景候補を該ブロックの背景とするこ
とを特徴とする背景画像の取得方法。
【請求項３】請求項２記載の背景画像取得方法であっ
て、入力画像を分割したブロックと背景候補間での特徴
量比較結果により最も近いと判断した背景候補の内容を
更新することを特徴とする背景画像の取得方法。
【請求項４】請求項２記載の背景画像取得方法であっ
て、特徴量比較による候補選択の頻度により背景候補の
重みを変更することを特徴とする背景画像の取得方法。
【請求項５】請求項２記載の背景画像取得方法であっ
て、特徴量として複数のエッジ抽出フィルタの出力を用
いることを特徴とする背景画像の取得方法。
【請求項６】画像をブロックに分割し、分割したブロッ
ク毎に背景を学習して取得する取得装置であって、ブロック内の背景候補として、それぞれ重みを持つ背景
候補を複数保持する保持手段と、入力画像を分割したブロックと前記保持手段に保持され
た背景候補間で特徴量の比較結果により、背景候補の重
みを更新し、重みが最大となる背景候補を該ブロックの
背景とすべく処理する手段と、を備えることを特徴とす
る背景画像の取得装置。