JP2002150295A

JP2002150295A - 物体検出方法及び物体検出装置

Info

Publication number: JP2002150295A
Application number: JP2000341664A
Authority: JP
Inventors: Makoto Masuda; 誠増田; Naohiro Amamoto; 直弘天本
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2000-11-09
Filing date: 2000-11-09
Publication date: 2002-05-24

Abstract

(57)【要約】【課題】検出された物体領域の妥当性を判定し、その情
報を基に、より正確な背景を作成することができるよう
にする。【解決手段】撮影領域内に存在する移動物体と停止物体
とを分離して抽出し、検出された物体が妥当であるか否
かを所定の条件に基づいて判定し、判定結果から所定の
更新手順による背景更新を行い、撮影領域内の事象を検
知する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体検出方法及び
物体検出装置に関するものである。

【０００２】

【従来の技術】従来、物体検出方法においては、カメラ
によって撮影し、入力した画像（動画像）の画像信号か
ら車両等の物体を抽出する方法として、背景差分算出方
法が使用されている。

【０００３】該背景差分算出方法においては、正確な背
景を作成することが物体の抽出精度を高くするための必
要条件である。そのためには、屋外等の気象条件や時間
帯によって明るさや天気などが刻々と変化する環境にお
いては、変化に追従した背景画像更新が必要である。

【０００４】そして、背景画像更新の手段として幾つか
の方法が提供されているが、その一つに一定時間の間に
入力された複数の画像の加重平均を採り、背景に近い画
像を作る方法がある。ところが、この方法においては、
抽出する対象である物体が長時間移動しないときには、
該物体を含んだ画像が背景として作られてしまう。

【０００５】そこで、背景差分によって得られる画像を
所定の閾（しきい）値によって二値化することによって
物体の領域、すなわち、物体領域を抽出し、該物体領域
以外の領域、すなわち、背景領域だけを更新する方法が
提供されている。ところが、この方法においては、急激
な気象条件によって閾値を超える輝度変化が背景領域に
生じた場合、該背景領域を誤って物体領域と判定してし
まう。そして、その部分を除いた領域を背景領域とし
て、誤った背景画像を持ち続けてしまう。

【０００６】そこで、検出結果が妥当であるか否かの判
定を行い、問題がある場合には、背景画像を作り直す方
法が提供されている。この検出結果の判定方法として
は、抽出された物体領域が所定の面積よりも大きい場合
や、撮影画面内で物体が存在することのない領域内で大
きな背景差分値を示す画素が所定数以上現れた場合に問
題があると判定する方法がある（特開平１０−２４０９
４７号公報参照）。

【０００７】

【発明が解決しようとする課題】しかしながら、前記従
来の物体検出方法においては、移動物体が通過中の気象
変化によって生じる誤りを検出することができず、ま
た、初期背景画像の作成時に停止していた物体が動き出
した際に、当該物体の停止時の領域に生じる誤りを検出
することができない。

【０００８】次に、移動物体が通過中の気象変化による
処理への影響について説明する。

【０００９】図２は従来の物体検出方法における気象変
化が背景画像の処理に及ぼす影響を示す図である。この
図において、連続した時間ｔ０〜ｔ４における入力画
像、背景画像、及び、前記入力画像と背景画像の差分を
所定の閾値で２値化した背景差分２値画像との関係が示
される。

【００１０】図において、３０１は時刻ｔ０における入
力画像、３０２は時刻ｔ０における背景画像、３０３は
時刻ｔ０における背景差分二値画像である。また、３０
４は時刻ｔ１における入力画像、３０５は時刻ｔ１にお
ける背景画像、３０６は時刻ｔ１における背景差分二値
画像である。さらに、３０７は時刻ｔ２における入力画
像、３０８は時刻ｔ２における背景画像、３０９は時刻
ｔ２における背景差分二値画像である。さらに、３１０
は時刻ｔ３における入力画像、３１１は時刻ｔ３におけ
る背景画像、３１２は時刻ｔ３における背景差分二値画
像である。最後に、３１３は時刻ｔ４における入力画
像、３１４は時刻ｔ４における背景画像、３１５は時刻
ｔ４における背景差分二値画像である。この場合、移動
物体は道路上を走行する自動車である。

【００１１】まず、時刻ｔ０における背景画像（初期背
景画像）３０２には検出対象となる物体が含まれておら
ず、時刻ｔ０における入力画像３０１との差分を所定の
閾値で２値化した背景差分二値画像３０３には、物体領
域が正しく抽出される。

【００１２】そして、時刻ｔ１において、日差しが弱く
なり、二値化の閾値をぎりぎり超えない程度に画面全体
の輝度が低くなった場合、入力画像３０４と背景画像３
０５との差分から得られる背景差分二値画像３０６は、
依然として物体領域を正しく抽出する。ここで、前記背
景更新ルールによって物体領域の画素値はそのまま保持
し、物体領域以外の領域は環境変化に追従した画素値の
更新を行うことによって背景画像３０８が作成される。

【００１３】次に、時刻ｔ２において、更に日差しが弱
くなると、車両に隠れていない領域の画素値だけが再び
更新されて、背景画像３１１が作成される。

【００１４】そして、背景画像３１１及び３１４に示さ
れるように、時刻ｔ１と時刻ｔ２との間、車両によって
隠れていた路面に対応する部分は日差しが強い時点の背
景を保持しており、時刻ｔ３以降において路面の他の部
分との差分が閾値を超えてしまうので、背景差分２値画
像３１２及び３１５に示されるように、誤った物体領域
を抽出してしまう。

【００１５】次に、初期背景作成時に取り込まれた停止
物体が移動することによる処理への影響について説明す
る。

【００１６】図３は従来の物体検出方法における停止物
体が移動したことが背景画像の処理に及ぼす影響を示す
図である。

【００１７】図において、４０１は時刻ｔ０における入
力画像、４０２は時刻ｔ０における背景画像、４０３は
時刻ｔ０における背景差分二値画像、４０４は時刻ｔ１
における入力画像、４０５は時刻ｔ１における背景画
像、４０６は時刻ｔ１における背景差分二値画像、４０
７は時刻ｔ２における入力画像、４０８は時刻ｔ２にお
ける背景画像、４０９は時刻ｔ２における背景差分二値
画像である。

【００１８】この場合、時刻ｔ０において、初期の背景
画像４０２には停止物体が含まれている。そして、時刻
ｔ０における入力画像４０１との差分を所定の閾値で二
値化した背景差分２値画像４０３には何も検出されな
い。

【００１９】次に、入力画像４０４に示されるように、
時刻ｔ１において停止していた物体が動き出した場合、
背景差分二値画像４０６には誤った物体領域が抽出され
る。そして、背景画像４０８に示されるように、その後
もこの停止車両を含んだ背景は保持され続けるので、誤
った物体領域を抽出し続けることになる。

【００２０】これらの例の場合、誤って抽出された物体
領域は、検出対象の物体が存在し得る範囲内で、かつ、
検出対象物体と同程度の面積を有するので、前記従来の
物体検出方法において採用された検出結果の妥当性を判
定する方法によっては、誤りと判定することができな
い。

【００２１】本発明は、前記従来の物体検出方法の問題
点を解決して、検出された物体領域の妥当性を判定し、
その情報を基に、より正確な背景を作成することができ
る物体検出方法及び物体検出装置を提供することを目的
とする。

【００２２】

【課題を解決するための手段】そのために、本発明の物
体検出方法においては、撮影領域内に存在する移動物体
と停止物体とを分離して抽出し、検出された物体が妥当
であるか否かを所定の条件に基づいて判定し、判定結果
から所定の更新手順による背景更新を行い、撮影領域内
の事象を検知する。

【００２３】本発明の他の物体検出方法においては、さ
らに、背景画像と現入力画像とから得られる背景差分二
値画像、及び、前入力画像と現入力画像とから得られる
時間差分二値画像を論理積演算することによって移動物
体領域を求めるとともに、前記背景差分二値画像と時間
差分二値画像との差分によって得られる領域に前時点の
停止物体領域と現時点の移動物体の重複領域とを合わせ
た領域を停止物体領域とすることによって、前記移動物
体領域及び停止物体領域を欠くことなく分離する。

【００２４】本発明の更に他の物体検出方法において
は、さらに、移動物体領域、誤りでないと判定された停
止物体領域、移動物体との重複領域を有し、又は、移動
物体と接している誤りと判定された停止物体領域におけ
る背景画素値を保持し、移動物体との重複領域を有さ
ず、かつ、移動物体と接していない誤りと判定された停
止物体領域における背景画素値は現入力画像における当
該停止領域の画素値をコピーし、その他の画素値は現入
力画像の画素値を反映させる。

【００２５】本発明の更に他の物体検出方法において
は、さらに、移動物体が停止物体上を通過したとみなす
条件を満たした場合に、当該停止物体を誤りであると判
断する。

【００２６】本発明の更に他の物体検出方法において
は、さらに、移動物体が停止物体上を通過したとみなす
条件を満たした場合に、又は、所定領域内から出現した
移動物体に対して出現位置及び出現時刻が所定値以内で
ある停止物体に対して当該停止物体を誤りであると判断
する。

【００２７】また、本発明の物体検出装置においては、
撮影領域内に存在する移動物体と停止物体とを分離して
抽出する停止・移動物体領域抽出手段と、検出された物
体が妥当であるか否かを所定の条件に基づいて判定する
検出結果判定手段と、該検出結果判定手段の判定結果か
ら所定の更新手順による背景更新を行う背景更新手段
と、前記検出結果判定手段の判定結果から撮影領域内の
事象を検知する事象検知手段とを有する。

【００２８】本発明の他の物体検出装置においては、さ
らに、前記停止・移動物体領域抽出手段は、背景画像と
現入力画像とから背景差分二値画像を得る背景差分二値
化手段と、前入力画像と現入力画像とから時間差分二値
画像を得る時間差分二値化手段と、それらの画像の論理
積演算から移動物体領域を求める移動物体領域抽出手段
と、背景差分二値画像と時間差分二値画像の差分によっ
て得られる領域に前時点における停止物体領域と現時点
における移動物体の重複領域とを合わせた領域を停止物
体領域として求めることによって停止物体の領域を欠く
ことなく抽出する停止物体領域抽出手段とを備える。

【００２９】本発明の更に他の物体検出装置において
は、さらに、前記背景更新手段は、移動物体領域、誤り
でないと判定された停止物体領域、移動物体との重複領
域を有し、又は移動物体に接している誤りと判定された
停止物体領域における背景画素値を保持し、移動物体と
の重複領域を有さず、かつ、移動物体に接していない誤
りと判定された停止物体領域における背景画素値は現入
力画像における当該停止領域の画素値をコピーし、その
他の画素値は現入力画像の画素値を反映させる手段を備
える。

【００３０】本発明の更に他の物体検出装置において
は、さらに、前記検出結果判定手段は、移動物体が停止
物体上を通過したとみなす条件を満たした場合に、当該
停止物体を誤りであると判断する手段を備える。

【００３１】本発明の更に他の物体検出装置において
は、さらに、前記検出結果判定手段は、移動物体が停止
物体上を通過したとみなす条件を満たした場合に、又
は、所定領域内から出現した移動物体に対して出現位置
及び出現時刻が所定値以内である停止物体に対して当該
停止物体を誤りであると判断する手段を備える。

【００３２】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【００３３】図１は本発明の第１の実施の形態における
物体検出装置のブロック図である。

【００３４】図において、１１は物体及び背景を撮影す
るカメラ、１２は該カメラ１１から取り込んだ画像のア
ナログ信号をデジタル化することによってデジタル信号
に変換するＡ／Ｄ変換部である。

【００３５】ここで、前記カメラ１１は、移動物体を監
視するためのものであり、例えば、有料道路、高速道
路、橋、トンネル等車両が通行する道路において、道路
を走行する車両の走行状態を監視するために使用され
る。そして、前記カメラ１１としては、一般的に、工業
用テレビカメラを使用するが、動画を撮影する機能を有
するものであれば、放送局用のテレビカメラであって
も、家庭用のビデオカメラであってもよく、いかなる形
態のものであってもよい。また、前記カメラ１１は、例
えば、前記道路等の監視すべき区間を上方から撮影する
ために、道路脇に設置された柱等に取り付けられ、前記
Ａ／Ｄ変換部１２に通信可能に接続される。

【００３６】そして、１３は前記Ａ／Ｄ変換部１２から
送信される現在の画像、すなわち、現入力画像を蓄積す
る現入力画像蓄積部、１４は該現入力画像蓄積部１３か
ら送信される現入力画像より前のフレームの画像、すな
わち、前入力画像を蓄積する前入力画像蓄積部である。
また、１５は後述される所定の背景更新手順によって背
景画像を更新する背景更新手段としての背景更新部、１
６は該背景更新部１５において作成された背景画像を蓄
積する背景画像蓄積部である。

【００３７】さらに、１７は前記現入力画像蓄積部１３
から送信された現入力画像と、前記前入力画像蓄積部１
４から送信された前入力画像との差を取り、すなわち、
差分処理を行い、その差分処理が行われた画像信号を所
定の閾値で１又は０に二値化する時間差分二値化手段と
しての時間差分二値化部である。また、１８は前記現入
力画像蓄積部１３から送信された現入力画像と、前記背
景画像蓄積部１６から送信された背景画像との差分処理
を行い、その差分処理が行われた画像信号を所定の閾値
で１又は０に二値化する背景差分二値手段としての背景
差分二値化部である。

【００３８】そして、１９は全画像領域において移動し
ている物体の領域だけ（以下「移動物体領域」とい
う。）を抽出する移動物体領域抽出手段としての移動物
体領域抽出部、２０は該移動物体領域抽出部１９の画像
を二値化して二値画像としたもの（以下「移動物体領域
画像」という。）を保存する移動物体領域画像蓄積部で
ある。

【００３９】また、２１は全画像領域において停止して
いる物体の占める領域だけ（以下「停止物体領域」とい
う。）を抽出する停止物体領域抽出手段としての停止物
体領域抽出部、２２は該停止物体領域抽出部２１の画像
を二値化して二値画像としたもの（以下「停止物体領域
画像」という。）を保存する停止物体領域画像蓄積部で
ある。

【００４０】さらに、２３は前記移動物体領域画像蓄積
部２０から送信された移動物体領域画像、及び、前記停
止物体領域画像蓄積部から送信された停止物体領域画像
に基づいて、検出された停止物体が誤りであるか否かを
判定する検出結果判定手段としての検出結果判定部であ
る。

【００４１】そして、２４は該検出結果判定部２３の判
定結果を停止物体領域に付加した画像データを二次元の
画像としたもの（以下「停止物体領域判定画像」とい
う。）を蓄積する停止物体領域判定画像蓄積部である。
また、２５は前記検出結果判定部２３の判定結果を受け
て、前記カメラ１１が撮影した撮影範囲内の事象を所定
の手順によって検知する事象検知部である。

【００４２】次に、前記構成の物体検出装置の動作につ
いて説明する。

【００４３】まず、カメラ１１は、背景としての道路や
道路周辺及び走行物体としての前記道路上を走行する車
両等を撮影する。そして、前記カメラ１１から送信され
た画像のアナログ信号は、Ａ／Ｄ変換部１２によってデ
ジタル化されて送信され、現入力画像として、現入力画
像蓄積部１３に蓄積される。すると、前入力画像蓄積部
１４には所定のタイミングで前記現入力画像蓄積部１３
から現入力画像が転送され、次の処理における１フレー
ム前の画像、すなわち、前入力画像として蓄積される。

【００４４】なお、前記Ａ／Ｄ変換部１２から送信され
る画像の送信先を前記現画像蓄積部１３と前画像蓄積部
１４とに処理時間ごとに切り替えるようにすれば、前記
現画像蓄積部１３から前画像蓄積部１４にデータ転送を
しなくてもよい。

【００４５】そして、背景更新部１５においては、所定
の背景更新手順に従って背景画像を作成して背景画像蓄
積部１６に送る。なお、前記更新手順については後で詳
細に説明する。

【００４６】次に、時間差分二値化部１７においては、
前記現入力画像蓄積部１３から送信された現入力画像
と、前記前入力画像蓄積部１４から送信された前入力画
像との差分処理を行い、所定の閾値で１又は０に二値化
した時間差分二値画像データを出力する。なお、本実施
の形態においては、画像データはすべて同じ数の画素を
有し、また、複数の画像間の演算においては、同一の座
標位置の画素に関する数値の演算が全画素に関して行な
われる。

【００４７】図４は本発明の第１の実施の形態の時間差
分二値化部における時間差分二値化処理を示す図であ
る。

【００４８】ここでは、路上を走行する車両を撮影した
場合について説明する。まず、前記現入力画像蓄積部１
３から送信された現入力画像１０２と、前記前入力画像
蓄積部１４から送信された前入力画像１０１との差分処
理を行うと、時間差分画像１０３が生成される。そし
て、該時間差分画像１０３を所定の閾値で１又は０に二
値化して時間差分二値画像１０４を得ることができる。

【００４９】また、背景差分二値化部１８においては、
前記現入力画像蓄積部１３から送信された現入力画像
と、前記背景画像蓄積部１６から送信された背景画像と
の差分処理を行い、所定の閾値で１又は０に二値化した
背景差分二値画像データを出力する。

【００５０】図５は本発明の第１の実施の形態の背景差
分二値化部における背景差分二値化処理を示す図であ
る。

【００５１】ここでは、前記現入力画像蓄積部１３から
送信された現入力画像１０５と、前記背景画像蓄積部１
６から送信された路上に物体の存在しない背景画像１０
６との差分処理を行う。すると背景差分画像１０７が生
成される。そして、該背景差分画像１０７を所定の閾値
で１又は０に二値化して背景差分二値画像１０８を得る
ことができる。

【００５２】そして、移動物体領域抽出部１９において
は、前記時間差分二値画像と背景差分画像二値画像とを
論理積演算処理することによって移動物体領域を抽出す
る。次いで、移動物体領域の画素値を１とし、その他の
画素値を０とする二値画像である移動物体領域画像を生
成し、該移動物体領域画像を移動物体領域画像蓄積部２
０に送信して蓄積する。

【００５３】図６は本発明の第１の実施の形態の移動物
体領域抽出部における移動物体領域抽出処理を示す図で
ある。

【００５４】ここでは、停止車両と該停止車両の後方か
ら接近する移動車両とが重なる場合について説明する。

【００５５】まず、前記時間差分二値化部１７におい
て、現入力画像１１２と前入力画像１１１とを差分処理
し、次いで二値化することによって、時間差分二値画像
１１４が生成される。一方、前記背景差分二値化部１８
において、現入力画像１１２と背景画像１１３とを差分
処理し、次いで二値化することによって、背景差分二値
画像１１５が生成される。

【００５６】次に、前記時間差分二値化部１７から送信
された時間差分二値画像１１４と、前記背景差分二値化
部１８から送信された背景差分二値画像１１５とを論理
積演算することによって、移動物体の領域を正確に抽出
した移動物体領域画像１１６を得ることができる。

【００５７】次に、停止物体領域抽出部２１において
は、まず、前記背景差分画像二値画像から前記移動物体
領域画像を除いた領域を停止物体領域の一部分とする。
次いで、現時点における移動物体領域と前時点における
停止物体領域との重複領域を停止物体領域の別の部分と
する。そして、前記２つの停止物体領域の部分を合わせ
たものを停止物体領域として生成する。さらに、該停止
物体領域の画素値を１とし、その他の画素値を０とする
二値画像を停止物体領域画像蓄積部２２に送信して蓄積
する。

【００５８】図７は本発明の第１の実施の形態の停止物
体領域抽出部における停止物体領域抽出処理を示す図で
ある。ここで、図７は図６に示された例に対応するもの
である。

【００５９】まず、前記背景差分二値化部１８から送信
された背景差分二値画像１１５から、前記移動物体領域
抽出部１９から送信された移動物体領域画像１１６を除
いて、停止物体領域の一部分１１７を生成する。次い
で、前記移動物体領域抽出部１９から送信された移動物
体領域画像１１６と前記停止物体領域画像蓄積部２２か
ら送信された前時点における停止物体領域画像１１８と
の重複領域を停止物体領域の別の部分１１９として生成
する。そして、前記２つの停止物体領域の部分を合わせ
ることによって、停止物体領域画像１２０が生成され
る。

【００６０】次に、検出結果判定部２３においては、前
述の処理によって検出された停止物体が誤りでないか否
かを各物体の追跡結果を基にして判定する。

【００６１】図８は本発明の第１の実施の形態における
検出結果判定部のブロック図、図９は本発明の第１の実
施の形態におけるフレーム間対応付け処理を示す図、図
１０は本発明の第１の実施の形態における停止物体上を
通過した移動物体の判定条件を示す図である。

【００６２】図に示されるように、ラベリング処理部３
１においては、移動物体領域画像蓄積部２０から送信さ
れる二値画像である移動物体領域画像にラベリング処理
を施し、同一物体の領域ごとにラベル付けを行う。そし
て、移動物体領域情報算出部３２においては、各移動物
体のラベル付けを行った領域の情報としての重心、面
積、外接矩（く）形、及び、外接矩形下端の縦方向の座
標を求める。

【００６３】次に、ラベリング処理部３３及び停止物体
領域情報算出部３４は、前記停止物体領域蓄積部２２か
らの二値画像である停止物体領域画像に対して同様な処
理を行い、各停止物体のラベル付けを行った領域の情報
としての重心、面積、外接矩形、及び、外接矩形下端の
縦方向の座標を求める。

【００６４】そして、物体領域情報蓄積部３６には、前
時点における前述された処理結果として得られた各物体
の領域の情報としての重心、面積、外接矩形、及び、外
接矩形下端の縦方向の座標、並びに、フレーム間対応付
け処理部３５から送信される動きベクトル、重心の軌
跡、さらに、検出結果判定処理部３７によって生成され
た、前記ラベル付けされた停止物体の検出が誤りである
か否かの情報が保存されている。

【００６５】また、フレーム間対応付け処理部３５にお
いては、フレーム間対応付け手順として、図９に示され
るように、前記移動物体領域情報算出部３２及び停止物
体領域情報算出部３４で得られた物体領域の重心９５
に、動きベクトル９３を加えた座標に対する所定範囲を
対応物体の探索範囲９４として設定する。そして、該探
索領域９４内に重心９６がある現時点の物体領域の中で
面積比が最も近いものを前時点の当該物体領域と対応付
けする。

【００６６】その際に、重心の変化から動きベクトルを
算出するとともに、過去の重心の軌跡及び当該物体が誤
りであるか否かの判定情報を継承する。また、前記探索
範囲９４内に現時点における物体領域の重心が一つも存
在しない場合には、前時点における当該物体領域情報を
消去し、対応付けされない現時点における物体領域を新
たに現れた物体として、前記動きベクトルを座標（０，
０）として記録する。

【００６７】なお、９１は時刻ｔ０において検出された
移動物体領域、９２は時刻ｔ１において検出された移動
物体領域である。

【００６８】そして、検出結果判定処理部３７において
は、検出された物体が、従来の技術において説明した図
２に示される例のように、物体でない領域を物体として
誤って検出したものに相当するか否かを、後続の移動物
体の軌跡から判定する。

【００６９】この場合、検出された移動物体の軌跡に基
づいて、該移動物体が停止物体を避けて通過するのか、
あるいは、停止物体上を通過するのかを調べ、前記移動
物体が停止物体上を通過した場合には検出結果が誤りで
あると判定する。

【００７０】ここで、図１０に示されるように、前記移
動物体の外接矩形５２、５３の下端が停止物体の外接矩
形５１の下端を縦方向に超える際に、前記移動物体の下
端の変化領域内５４に停止物体の下端が掛かる場合、前
記移動物体が停止物体上を通過したと判定する。また、
掛からない場合、前記移動物体は停止物体上を通過して
いないと判定する。

【００７１】そして、検出結果判定処理部３７の判定結
果は、物体領域情報蓄積部３６、停止物体領域判定画像
作成部３８及び事象検知部２５に送信される。

【００７２】図１１は本発明の第１の実施の形態の検出
結果判定処理部における検出結果判定処理の動作を示す
フローチャートである。

【００７３】前記検出結果判定処理部３７においては、
まず、停止物体領域抽出部２１によって停止物体が検出
された場合、下端が当該停止物体の下端を縦方向に超え
る移動物体があるか否かを判定する。ある場合には、当
該移動物体の下端変化領域に当該停止物体の下端が掛か
るか否かを判定する。ここで、ある場合は当該停止物体
を誤りと判定する。そして、このような処理を、条件を
満たす未処理の移動物体及び停止物体に対して繰り返
す。

【００７４】次に、検出結果判定処理のフローチャート
について説明する。ステップＳ１停止物体があるか否かを判定する。停止
物体がある場合はステップＳ２に進み、停止物体がない
場合は処理を終了する。ステップＳ２当該停止物体の下端を超える移動物体が
あるか否かを判定する。移動物体がある場合はステップ
Ｓ３に、移動物体がない場合はステップＳ６に進む。ステップＳ３下端の変化領域に当該停止物体の下端が
掛かるか否かを判定する。掛かる場合はステップＳ４
に、掛からない場合はステップＳ５に進む。ステップＳ４当該停止物体を誤りと判定する。ステップＳ５当該停止物体の下端を超える未処理の移
動物体があるか否かを判定する。移動物体がある場合は
ステップＳ３に戻り、移動物体がない場合はステップＳ
６に進む。ステップＳ６未処理の停止物体があるか否かを判定す
る。停止物体がある場合はステップＳ２に戻り、停止物
体がない場合は処理を終了する。

【００７５】そして、停止物体領域判定画像作成部３８
においては、検出結果判定処理部３７において誤りでは
ないと判定された停止物体領域を１とし、誤りであると
判定された停止物体の中で移動物体との重複領域を有さ
ず、かつ、接していないもののラベル領域を２とし、そ
の他の誤りであると判定された停止物体のラベル領域を
３とし、その他の領域を０とする四値による画像を作成
し、停止物体領域判定画像蓄積部２４に送信する。

【００７６】また、背景更新部１５においては、現入力
画像、前時点における背景画像、移動物体領域画像、停
止物体領域判定画像の４画像を使用した背景更新処理を
行い、新しい背景画像を背景画像蓄積部１６に送る。

【００７７】次に、前記背景更新処理について説明す
る。

【００７８】図１２は本発明の第１の実施の形態におけ
る背景更新処理の動作を示すフローチャートである。

【００７９】まず、各画像の同座標位置の画素値を参照
し、移動物体領域の画素値αが１（移動物体が存在する
場合）、あるいは、停止物体領域判定画像の画素値βが
１（誤りではないと判定された停止物体が存在する場
合）又は３（移動物体と重複領域とを有し、又は移動物
体と接する誤りと判定された停止物体が存在する場合）
である画素の場合は、前時点における背景画像の画素値
をそのまま新しい背景画素値とする。

【００８０】また、前述された条件を満たさず、停止物
体領域判定画像の画素値βが２（移動物体と重複領域を
有さず、かつ、移動物体と接していない誤りと判定され
た停止物体が存在する場合）の画素の場合は、現入力画
像の画像値を新しい背景画素値とする。

【００８１】さらに、前述された条件を満たさない場合
（移動物体領域の画素値αが０、かつ、停止物体領域判
定画像の画素値βが０となる背景領域）画素の場合は、
現入力画像の画素値と前時点の背景画像の画素値に対す
る加重平均を新しい背景画素値とする。

【００８２】そして、未処理の画像が存在する場合には
前述された処理を繰り返し、画面全体の更新を行う。

【００８３】次に、背景更新処理のフローチャートにつ
いて説明する。ステップＳ１１移動物体領域画像の画素値αが１、又
は停止物体領域判定画像の画素値βが１又は３であるか
否かを判定する。移動物体領域画像の画素値αが１、又
は停止物体領域判定画像の画素値βが１又は３である場
合はステップＳ１５に、移動物体領域画像の画素値αが
１、又は停止物体領域判定画像の画素値βが１又は３で
ない場合はステップＳ１２に進む。ステップＳ１２停止物体領域判定画像の画素値βが２
であるか否かを判定する。２である場合はステップＳ１
６に、２でない場合はステップＳ１３に進む。ステップＳ１３現入力画像の画素値と前時点の背景画
像の画素値の加重平均を算出する。ステップＳ１４未処理の画素があるか否かを判断す
る。画素がある場合はステップＳ１１に戻り、画素がな
い場合は処理を終了する。ステップＳ１５前時点の背景画像の画素値をコピーす
る。ステップＳ１６現入力画像の当該停止物体領域の画素
値をコピーする。

【００８４】また、事象検知部２５においては、撮影範
囲内における事象を所定の事象検知ルールによって検知
する。ここでは、検出結果評価部２３によって停止物体
として誤りでないと判定されたものを障害物と判断し、
誤った停止物体と判定されたものは無視する。

【００８５】図１３は本発明の第１の実施の形態におけ
る背景画像の誤りの処理を示す図である。

【００８６】図において、３５１は時刻ｔ０における入
力画像、３５２は時刻ｔ０における背景画像、３５３は
時刻ｔ０における移動物体領域、３５４は時刻ｔ０にお
ける停止物体領域、３５５は時刻ｔ１における入力画
像、３５６は時刻ｔ１における背景画像、３５７は時刻
ｔ１における移動物体領域、３５８は時刻ｔ１における
停止物体領域、３５９は時刻ｔ２における入力画像、３
６０は時刻ｔ２における背景画像、３６１は時刻ｔ２に
おける移動物体領域、３６２は時刻ｔ２における停止物
体領域、３６３は時刻ｔ３における入力画像、３６４は
時刻ｔ３における背景画像、３６５は時刻ｔ３における
移動物体領域、３６６は時刻ｔ３における停止物体領域
である。

【００８７】ここでは、従来の技術において説明した図
２に示される例のように、移動物体の通過時の天候変化
によって、時刻ｔ０における背景画像３５２には誤りが
含まれている。

【００８８】そして、時刻ｔ０における段階において
は、まだ移動車両の下端は停止物体の下端を超えていな
いので、停止物体領域３５４が誤って検出されてしま
う。なお、移動物体領域３５３に描画されている矩形は
停止物体領域３５４の外接矩形を表している。

【００８９】また、時刻ｔ１において、停止物体の下端
が移動車両の下端の変化領域に掛かるので、当該停止物
体領域３５８は誤りであると判定し、事象検知部２５に
おいては当該停止物体領域３５８を無視する。そして、
背景更新部１５においては、当該停止物体領域３５８が
移動物体領域３５７と重複する領域を有するので、この
時点においては当該誤った停止物体領域３５８の背景画
素値は以前の背景画素値を保持した背景画像３６０を作
成する。

【００９０】また、時刻ｔ２においては、再び誤った停
止物体領域３６２が検出されるが、フレーム間対応付け
によって当該停止物体領域３６２が誤りであるという情
報が継承されるので、事象検知部２５においては当該停
止物体領域３６２を無視する。さらに、時刻ｔ２におい
ては、当該停止物体領域３６２と移動物体領域３６１と
の重複領域がなくなるので、背景更新部１５において、
時刻ｔ２の入力画像３５９における当該停止物体領域３
６２の画素値を時刻ｔ３の背景画像３６４の画素値とし
てコピーし、正確な背景画像３６４を作成する。

【００９１】このように、本実施の形態においては、移
動物体と停止物体とが重複した場合にも各領域を欠くこ
となく分離し、停止物体の上を移動物体が通過した場合
に当該停止物体領域を誤りと判定し、より正確な背景更
新を行うことができるので、精度の高い物体検出を行う
ことができる。

【００９２】次に、本発明の第２の実施の形態について
説明する。なお、前記第１の実施の形態と同じ構造のも
の及び同じ動作については、その説明を省略する。

【００９３】図１４は本発明の第２の実施の形態におけ
る検出結果判定処理の動作を示すフローチャート、図１
５は本発明の第２の実施の形態における出現位置判定処
理の動作を示すフローチャート、図１６は本発明の第２
の実施の形態における物体の出現位置による違いを説明
する図、図１７は本発明の第２の実施の形態における背
景画像の誤りの処理を示す図である。

【００９４】この場合、前記第１の実施の形態における
検出結果判定部２３の検出結果判定処理に、検出された
物体領域の妥当性を出現位置及び出現時刻から判定する
出現位置判定処理が追加される。該出現位置判定処理に
おいては、初期背景作成時に停止していた物体であり後
になって移動した物体を、従来の技術において説明した
図３に示される例のように、停止物体として誤って抽出
しているか否かを、停止物体を検出した後に瞬時に判定
する。

【００９５】そして、本実施の形態における検出結果判
定処理は、図１４に示されるように、前記第１の実施の
形態における検出結果判定処理に出現位置判定処理を追
加したものである。そのため、出現位置判定処理以外の
動作については、前記第１の実施の形態と同様であるの
で、説明を省略する。

【００９６】次に、検出結果判定処理のフローチャート
について説明する。ステップＳ２１停止物体があるか否かを判定する。停
止物体がある場合はステップＳ２２に進み、停止物体が
ない場合は処理を終了する。ステップＳ２２当該停止物体の下端を超える移動物体
があるか否かを判定する。移動物体がある場合はステッ
プＳ２３に、移動物体がない場合はステップＳ２６に進
む。ステップＳ２３下端の変化領域に当該停止物体の下端
が掛かるか否かを判定する。掛かる場合はステップＳ２
４に、掛からない場合はステップＳ２５に進む。ステップＳ２４当該停止物体を誤りと判定する。ステップＳ２５当該停止物体の下端を超える未処理の
移動物体があるか否かを判定する。移動物体がある場合
はステップＳ２３に戻り、移動物体がない場合はステッ
プＳ２６に進む。ステップＳ２６出現位置判定処理を行う。ステップＳ２７未処理の停止物体があるか否かを判定
する。停止物体がある場合はステップＳ２２に戻り、停
止物体がない場合は処理を終了する。

【００９７】次に、前記出現位置判定処理について説明
する。

【００９８】まず、出現位置が所定領域内である移動物
体の有無を判断する。続いて、存在する場合には当該移
動物体の出現時と当該停止物体の出現時との差が所定値
以内である否かの判断、及び、当該移動物体の出現位置
と当該停止物体の出現位置との差が所定値以内であるか
否かの判断を行う。そして、それらの条件を満たす移動
物体が存在する場合には、当該停止物体は背景に取り込
まれていた物体の移動による誤りであると判定する。

【００９９】ここで、当該移動物体の出現位置が所定領
域内であるか否かの判断においては、所定領域を画面全
体とし、出現位置が画面内であるか否かの判断を図１６
に示されるような特徴を利用して行う。

【０１００】すなわち、画面外から現れた物体は出現時
点の外接矩形６０２が画面の枠６０１と接し、画面内か
ら現れた物体は出現時点の外接矩形６０４が画面の枠６
０３とは接していない。そこで、物体の出現時の外接矩
形６０２が画面の枠６０１に接しているか否かを判定
し、接していないものを画面内から出現した物体とす
る。

【０１０１】このように、本実施の形態においては、背
景に取り込まれていた物体が移動した際には、出現時点
の外接矩形６０４は画面の枠６０３に接しておらず、そ
の後検出される誤った停止物体は当該移動物体と出現位
置及び出現時刻が近いことを利用して検出結果を判定す
る。

【０１０２】次に、出現位置判定処理のフローチャート
について説明する。ステップＳ２６−１所定領域内に出現位置を有する物
体があるか否かを判定する。物体がある場合はステップ
Ｓ２６−２に進み、物体がない場合は処理を終了する。ステップＳ２６−２停止物体と移動物体との出現時刻
の差が所定値以下であるか否かを判定する。所定値以下
である場合はステップＳ２６−３に、所定値より大きい
場合はステップＳ２６−５に進む。ステップＳ２６−３停止物体と移動物体との出現位置
の差が所定値以下であるか否かを判定する。所定値以下
である場合はステップＳ２６−４に、所定値より大きい
場合はステップＳ２６−５に進む。ステップＳ２６−４当該停止物体を誤りと判定する。ステップＳ２６−５所定領域内に出現位置を有する未
処理の移動物体があるか否かを判定する。未処理の移動
物体がある場合はステップＳ２６−２に戻り、未処理の
移動物体がない場合は処理を終了する。

【０１０３】次に、第２の実施の形態における背景画像
の誤りの処理について説明する。

【０１０４】図１７において、４５１は時刻ｔ０におけ
る入力画像、４５２は時刻ｔ０における背景画像、４５
３は時刻ｔ０における移動物体領域、４５４は時刻ｔ０
における停止物体領域、４５５は時刻ｔ１における入力
画像、４５６は時刻ｔ１における背景画像、４５７は時
刻ｔ１における移動物体領域、４５８は時刻ｔ１におけ
る停止物体領域、４５９は時刻ｔ２における入力画像、
４６０は時刻ｔ２における背景画像、４６１は時刻ｔ２
における移動物体領域、４６２は時刻ｔ２における停止
物体領域、４６３は時刻ｔ３における入力画像、４６４
は時刻ｔ３における背景画像、４６５は時刻ｔ３におけ
る移動物体領域、４６６は時刻ｔ３における停止物体領
域である。

【０１０５】ここでは、従来の技術において説明した図
３に示される例のような誤りに対する処理について説明
する。

【０１０６】この場合、初期背景作成時に停止していた
車両が、背景画像４５２に取り込まれている。そして、
時刻ｔ１においては、当該車両が動き出すことによって
移動物体領域４５７が抽出されるのと同時に、背景差分
だけから成る停止物体領域４５８が抽出されて二つの物
体が出現したことになる。

【０１０７】ここで、移動物体の出現時の外接矩形６０
４は画面の枠６０３に接していないことから、当該移動
物体は画面内から出現したと認識される。なお、この時
点の移動物体の重心を白色の丸で、停止物体の重心を灰
色の丸で示している。

【０１０８】そして、当該停止物体領域４５８は当該移
動物体領域４５７と同時刻に出現していて、かつ、停止
物体と移動物体との出現時の重心が近いことが分かる。
したがって、当該停止物体は誤りであると判定し、事象
検知部２５においては当該停止物体領域４５８を無視す
る。

【０１０９】また、背景更新部１５においては、当該停
止物体領域４５８が移動物体領域４５７と接するので、
この時点においては、誤った停止物体領域４５８の背景
画素値は以前の背景画素値を保持した背景画像４６０を
作成する。

【０１１０】そして、時刻ｔ２においては、再び誤った
停止物体領域４６２が検出されるが、フレーム間対応付
けによって当該停止物体領域４６２が誤りであるという
情報が継承されるので、事象検知部２５において停止物
体領域４６２を無視する。

【０１１１】また、時刻ｔ２においては、停止物体領域
４６２と移動物体領域４６１とが重複していなく、か
つ、接していない。したがって、背景更新部１５におい
ては、時刻ｔ２における入力画像４５９の中における当
該停止物体領域４６２の画素値を、時刻ｔ３における背
景画像４６４の画素値としてコピーして、正確な背景画
像４６４を作成する。

【０１１２】このように、本実施の形態においては、移
動物体と停止物体とを分離し、停止物体領域の上を移動
物体が通過した場合に当該停止物体領域を誤りと判定す
る。さらに、所定範囲内から出現した移動物体と出現位
置及び出現時刻が近い停止物体を誤りと判定する。

【０１１３】したがって、より正確な背景更新を行うこ
とができ、精度の高い物体検出を行うことができる。

【０１１４】また、本実施の形態における物体検出方法
及び物体検出装置を使用することによって、信頼性が高
い背景画像を作成し、より精度の高い物体検出を行うこ
とができる。例えば、障害物の検出、速度超過車両の検
出、蛇行車両の検出等の撮影領域内の環境の危険性を判
断する装置にも適用することができ、それらの性能を向
上させることもできる。

【０１１５】なお、本発明は前記実施の形態に限定され
るものではなく、本発明の趣旨に基づいて種々変形させ
ることが可能であり、それらを本発明の範囲から排除す
るものではない。

【０１１６】

【発明の効果】以上詳細に説明したように、本発明によ
れば、物体検出方法においては、撮影領域内に存在する
移動物体と停止物体とを分離して抽出し、検出された物
体が妥当であるか否かを所定の条件に基づいて判定し、
判定結果から所定の更新手順による背景更新を行い、撮
影領域内の事象を検知する。

【０１１７】また、本発明の物体検出装置においては、
撮影領域内に存在する移動物体と停止物体とを分離して
抽出する停止・移動物体領域抽出手段と、検出された物
体が妥当であるか否かを所定の条件に基づいて判定する
検出結果判定手段と、該検出結果判定手段の判定結果か
ら所定の更新手順による背景更新を行う背景更新手段
と、前記検出結果判定手段の判定結果から撮影領域内の
事象を検知する事象検知手段とを有する。

【０１１８】この場合、信頼性が高く正確な背景更新を
行うことができ、精度の高い物体検出を行うことができ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における物体検出装
置のブロック図である。

【図２】従来の物体検出方法における気象変化が背景画
像の処理に及ぼす影響を示す図である。

【図３】従来の物体検出方法における停止物体が移動し
たことが背景画像の処理に及ぼす影響を示す図である。

【図４】本発明の第１の実施の形態の時間差分二値化部
における時間差分二値化処理を示す図である。

【図５】本発明の第１の実施の形態の背景差分二値化部
における背景差分二値化処理を示す図である。

【図６】本発明の第１の実施の形態の移動物体領域抽出
部における移動物体領域抽出処理を示す図である。

【図７】本発明の第１の実施の形態の停止物体領域抽出
部における停止物体領域抽出処理を示す図である。

【図８】本発明の第１の実施の形態における検出結果判
定部のブロック図である。

【図９】本発明の第１の実施の形態におけるフレーム間
対応付け処理を示す図である。

【図１０】本発明の第１の実施の形態における停止物体
上を通過した移動物体の判定条件を示す図である。

【図１１】本発明の第１の実施の形態の検出結果判定処
理部における検出結果判定処理の動作を示すフローチャ
ートである。

【図１２】本発明の第１の実施の形態における背景更新
処理の動作を示すフローチャートである。

【図１３】本発明の第１の実施の形態における背景画像
の誤りの処理を示す図である。

【図１４】本発明の第２の実施の形態における検出結果
判定処理の動作を示すフローチャートである。

【図１５】本発明の第２の実施の形態における出現位置
判定処理の動作を示すフローチャートである。

【図１６】本発明の第２の実施の形態における物体の出
現位置による違いを説明する図である。

【図１７】本発明の第２の実施の形態における背景画像
の誤りの処理を示す図である。

【符号の説明】

９１、９２移動物体領域

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C054 AA01 CA04 CE15 CH01 EB05 EH00 FC01 FC05 FC13 HA26 5L096 BA02 BA04 CA04 EA43 GA08 GA22 GA34 HA03

Claims

【特許請求の範囲】

【請求項１】撮影領域内に存在する移動物体と停止物
体とを分離して抽出し、検出された物体が妥当であるか
否かを所定の条件に基づいて判定し、判定結果から所定
の更新手順による背景更新を行い、撮影領域内の事象を
検知することを特徴とする物体検出方法。
【請求項２】背景画像と現入力画像とから得られる背
景差分二値画像、及び、前入力画像と現入力画像とから
得られる時間差分二値画像を論理積演算することによっ
て移動物体領域を求めるとともに、前記背景差分二値画
像と時間差分二値画像との差分によって得られる領域に
前時点の停止物体領域と現時点の移動物体の重複領域と
を合わせた領域を停止物体領域とすることによって、前
記移動物体領域及び停止物体領域を欠くことなく分離す
る請求項１に記載の物体検出方法。
【請求項３】移動物体領域、誤りでないと判定された
停止物体領域、移動物体との重複領域を有し、又は、移
動物体と接している誤りと判定された停止物体領域にお
ける背景画素値を保持し、移動物体との重複領域を有さ
ず、かつ、移動物体と接していない誤りと判定された停
止物体領域における背景画素値は現入力画像における当
該停止領域の画素値をコピーし、その他の画素値は現入
力画像の画素値を反映させる請求項１又は２に記載の物
体検出方法。
【請求項４】移動物体が停止物体上を通過したとみな
す条件を満たした場合に、当該停止物体を誤りであると
判断する請求項１〜３のいずれか１項に記載の物体検出
方法。
【請求項５】移動物体が停止物体上を通過したとみな
す条件を満たした場合に、又は、所定領域内から出現し
た移動物体に対して出現位置及び出現時刻が所定値以内
である停止物体に対して当該停止物体を誤りであると判
断する請求項１〜３のいずれか１項に記載の物体検出方
法。
【請求項６】（ａ）撮影領域内に存在する移動物体と
停止物体とを分離して抽出する停止・移動物体領域抽出
手段と、（ｂ）検出された物体が妥当であるか否かを所
定の条件に基づいて判定する検出結果判定手段と、
（ｃ）該検出結果判定手段の判定結果から所定の更新手
順による背景更新を行う背景更新手段と、（ｄ）前記検
出結果判定手段の判定結果から撮影領域内の事象を検知
する事象検知手段とを有することを特徴とする物体検出
装置。
【請求項７】前記停止・移動物体領域抽出手段は、背
景画像と現入力画像とから背景差分二値画像を得る背景
差分二値化手段と、前入力画像と現入力画像とから時間
差分二値画像を得る時間差分二値化手段と、それらの画
像の論理積演算から移動物体領域を求める移動物体領域
抽出手段と、背景差分二値画像と時間差分二値画像の差
分によって得られる領域に前時点における停止物体領域
と現時点における移動物体の重複領域とを合わせた領域
を停止物体領域として求めることによって停止物体の領
域を欠くことなく抽出する停止物体領域抽出手段とを備
える請求項６に記載の物体検出装置。
【請求項８】前記背景更新手段は、移動物体領域、誤
りでないと判定された停止物体領域、移動物体との重複
領域を有し、又は移動物体に接している誤りと判定され
た停止物体領域における背景画素値を保持し、移動物体
との重複領域を有さず、かつ、移動物体に接していない
誤りと判定された停止物体領域における背景画素値は現
入力画像における当該停止領域の画素値をコピーし、そ
の他の画素値は現入力画像の画素値を反映させる手段を
備える請求項６又は７に記載の物体検出装置。
【請求項９】前記検出結果判定手段は、移動物体が停
止物体上を通過したとみなす条件を満たした場合に、当
該停止物体を誤りであると判断する手段を備える請求項
６〜８のいずれか１項に記載の物体検出装置。
【請求項１０】前記検出結果判定手段は、移動物体が
停止物体上を通過したとみなす条件を満たした場合に、
又は、所定領域内から出現した移動物体に対して出現位
置及び出現時刻が所定値以内である停止物体に対して当
該停止物体を誤りであると判断する手段を備える請求項
６〜８のいずれか１項に記載の物体検出装置。