JP2000285244A

JP2000285244A - 画像処理装置

Info

Publication number: JP2000285244A
Application number: JP11092382A
Authority: JP
Inventors: Takahiro Yamamoto; 隆洋山本; Manabu Ishida; 学石田
Original assignee: Nomura Research Institute Ltd
Current assignee: Nomura Research Institute Ltd
Priority date: 1999-03-31
Filing date: 1999-03-31
Publication date: 2000-10-13
Anticipated expiration: 2019-03-31
Also published as: JP4303351B2

Abstract

(57)【要約】【課題】調査対象領域における背景変化を適切に取込
み、領域内の移動体を正しく抽出できる画像処理装置を
提供する。【解決手段】背景画像設定手段３で入力画像を基に背
景画像を設定し、差分演算手段５で背景画像及び順次入
力される入力画像を比較演算して差分画像を出力し、画
像抽出手段６で前記差分画像を所定の閾値に基づいて２
値化し、移動部分抽出画像を得て、順次入力される入力
画像から移動体を識別することにより、撮像条件、例え
ば明るさ、物体深度等が異なる場合であっても背景画像
を用いて入力画像を処理することにより、正確且つ確実
に移動部分の抽出画像を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は特定の調査対象領域
を撮像して得た入力画像を処理する画像処理装置に関
し、特に入力画像からの移動体部分の抽出を確実に行え
る画像処理装置に関する。

【０００２】

【従来の技術】従来、この種の画像処理装置として図１
７に示すものがあった。この図１７は従来の画像処理装
置のブロック構成図である。

【０００３】同図において従来の画像処理装置１００
は、調査対象領域１０を撮像する撮像手段１０１より順
次入力される入力画像Ｓ１を格納する画像記憶手段１０
２と、この画像記憶手段１０２に格納された入力画像Ｓ
１及び新たに入力される入力画像Ｓ２を比較演算して差
分画像Ｓ３を出力する比較演算部１０３と、この差分画
像Ｓ３に基づいて調査対象領域１０に移動体を検出する
移動体検出部１０４とを備える構成である。

【０００４】次に、前記構成に基づく従来の画像処理装
置の移動体検出動作について説明する。まず、調査対象
領域１０を撮像手段１０１が撮像して得られた入力画像
Ｓ１が、画像記憶手段１０２に入力されて格納される。
比較演算部１０３は前記画像記憶手段１０２に格納され
た入力画像Ｓ１と新たに入力された入力画像Ｓ２とを比
較して差分画像Ｓ３を生成して出力する。この差分画像
Ｓ３に基づいて移動体検出部１０４が移動体を画像とし
て抽出する。

【０００５】

【発明が解決しようとする課題】従来の画像処理装置は
以上のように構成されており、ある時刻ｔに撮像手段１
０１で撮像されて画像記憶手段１０２に格納された入力
画像Ｓ１と前記時刻ｔより後の時刻ｔ’で撮像手段１０
１で撮像された入力画像Ｓ２とを比較演算部１０３で比
較して差分画像Ｓ３が出力され、移動体検出部１０４が
差分画像Ｓ３をあらかじめ設定された所定の閾値に基づ
いて解析して移動体を検出するという処理を行うが、閾
値は画像全体に対し一つだけ設定されることから、調査
対象領域１０の各部分間において明るさの差異がある場
合、若しくは各部分間において物体深度に差異がある場
合には、各部分にとっては高すぎる値あるいは低すぎる
値となっていることも少なくなく、移動体を誤って識別
させる等の課題を有した。すなわち、閾値が低すぎると
明るさが明るい（輝度が高い）場合又は物体深度が浅い
場合には過敏な検知によってノイズの影響を受けやすく
誤検出が多くなり、また閾値が高すぎると明るさが暗い
（輝度が低い）場合又は物体深度が深い場合には感度が
低下して検出漏れが多くなるという課題を有していた。

【０００６】一方、移動体を認識するためには、移動体
が含まれない背景画像と、移動体が含まれる画像との差
分を取って移動体を抽出するのが最も効果的であるが、
背景となるべき調査対象領域は、時間、天候、環境変化
に伴って徐々に状態が変ることもあり、これに追随させ
て背景画像も変えていかないと、正しく移動体を認識す
ることはできない。そのため、確実に移動体のみを抽出
するためには、調査対象領域の変化に合わせて背景画像
も更新していく必要がある。ただ、背景画像の更新頻度
が短いと、移動体の静止状態が背景画像に取込まれ、そ
の後移動体が誤って認識されたり、逆に、更新頻度が長
いと本来の移動体以外で徐々に変化している部分も移動
体として誤って認識されたりしてしまうという課題を有
していた。

【０００７】本発明は前記課題を解消するためになされ
たもので、調査対象領域における背景変化を適切に取込
み、移動体を正しく抽出できる画像処理装置を提供する
ことを目的とする。

【０００８】

【課題を解決するための手段】本発明に係る画像処理装
置は、断続的な内容変化を伴って順次入力される入力画
像を処理する画像処理装置において、前記入力画像のう
ち、所定期間変化しない画像を背景画像として設定する
背景画像設定手段と、前記設定された背景画像及び順次
入力される入力画像を比較演算して差分画像を出力する
差分演算手段と、前記差分画像を所定の閾値に基づいて
２値化し、移動部分抽出画像を得る画像抽出手段とを備
えるものである。このように本発明によれば、背景画像
設定手段で入力画像を基に背景画像を設定し、差分演算
手段で背景画像及び順次入力される入力画像を比較演算
して差分画像を出力し、画像抽出手段で前記差分画像を
所定の閾値に基づいて２値化し、移動部分抽出画像を得
て、順次入力される入力画像から移動体を識別すること
により、撮像条件、例えば明るさ、物体深度等が異なる
場合であっても背景画像を用いて入力画像を処理するこ
とにより、正確且つ確実に移動部分の抽出画像を得るこ
とができる。

【０００９】また、本発明に係る画像処理装置は必要に
応じて、前記背景画像設定手段が、少なくとも、背景画
像及び順次入力された入力画像を比較演算して輝度偏差
信号を出力する輝度偏差演算手段と、前記輝度偏差信号
に基づいて前記背景画像の輝度を調整する輝度調整手段
とを備えてなるものである。このように本発明によれ
ば、輝度偏差演算手段が背景画像及び順次入力された入
力画像を比較演算して輝度偏差信号を出力し、この輝度
偏差信号に基づいて輝度調整手段が前記背景画像の輝度
を調整し、背景画像を入力画像に近付けていくことによ
り、実際の背景が変化しても背景画像が対応でき、これ
に基づいて差分画像を処理するようにしているので、移
動部分の変化・移動等を確実に認識できることとなり、
正確な抽出を行うことができる。

【００１０】また、本発明に係る画像処理装置は必要に
応じて、前記輝度偏差演算手段が、背景画像及び順次入
力された入力画像を比較演算して画像領域全体における
輝度偏差信号を出力し、前記輝度調整手段が、前記輝度
偏差信号に基づいて背景画像全体に対し輝度調整を行う
ものである。このように本発明によれば、背景画像及び
順次入力された入力画像を比較演算して画像領域全体に
おける輝度偏差信号を出力し、且つ前記輝度偏差信号に
基づいて背景画像全体に対し輝度調整を行い、背景画像
を入力画像に近付けていくことにより、背景画像が実際
の背景変化に追従して変化し、これに基づいて差分画像
を処理することとなり、移動部分の変化・移動等を確実
に認識できることとなり、正確な抽出を行うことができ
る。

【００１１】また、本発明に係る画像処理装置は必要に
応じて、前記輝度偏差演算手段が、背景画像及び順次入
力された入力画像の画像領域を複数の区分領域に分割
し、当該分割した区分領域毎に前記背景画像及び入力画
像を比較演算して輝度偏差信号を出力し、前記輝度調整
手段が、前記各区分領域の輝度偏差信号に基づいて背景
画像の輝度を調整するものである。このように本発明に
よれば、背景画像及び順次入力された入力画像の画像領
域を複数の区分領域に分割し、当該分割した区分領域毎
に前記背景画像及び入力画像を比較演算して輝度偏差信
号を出力し、且つ前記各区分領域の輝度偏差信号に基づ
いて背景画像の輝度を調整して、背景画像を入力画像に
近付けていくことにより、背景画像が実際の背景変化に
精細に追従して変化し、これに基づいて差分画像を処理
することとなり、移動部分の変化・移動等を確実に認識
できることとなり、正確な抽出を行うことができる。

【００１２】また、本発明に係る画像処理装置は必要に
応じて、前記輝度偏差演算手段が、背景画像及び順次入
力された入力画像を比較演算して各画素毎に輝度偏差信
号を出力し、前記輝度調整手段が、前記輝度偏差信号に
基づいて背景画像に対し各画素毎に輝度調整を行うもの
である。このように本発明によれば、背景画像及び順次
入力された入力画像を比較演算して各画素毎に輝度偏差
信号を出力し、且つ前記輝度偏差信号に基づいて背景画
像に対し各画素毎に輝度調整を行い、背景画像を入力画
像に近付けていくことにより、背景画像が実際の背景変
化に一層精細に追従して変化し、これに基づいて差分画
像を処理することとなり、移動部分の変化・移動等を一
層確実に認識できることとなり、正確な抽出を行うこと
ができる。

【００１３】また、本発明に係る画像処理装置は必要に
応じて、前記背景画像設定手段が、前記輝度偏差演算手
段による比較及び輝度偏差信号の出力、並びに輝度調整
手段での背景画像の輝度調整を少なくとも所定回数繰返
し、前記背景画像を入力画像に略一致させるものであ
る。このように本発明によれば、背景画像及び入力画像
の比較及び輝度偏差信号の出力、並びに輝度偏差信号に
基づく背景画像の輝度調整を少なくとも所定回数繰返
し、背景画像を入力画像に略一致させることにより、背
景画像と入力画像の比較処理でより実際の移動体画像に
近い差分画像を得られることとなり、差分画像の処理に
よる移動部分の変化・移動等の認識が一層確実にでき、
正確な抽出を行うことができる。

【００１４】また、本発明に係る画像処理装置は必要に
応じて、前記背景画像及び入力画像の画像領域に、少な
くとも前記移動部分抽出画像位置を含む所定の矩形領域
を設定し、当該矩形領域で前記背景画像の輝度調整を行
わないものである。このように本発明によれば、移動体
抽出画像を得たら、移動部分抽出画像位置を含む所定の
矩形領域を設定し、矩形領域での前記背景画像の輝度調
整を行わないようにし、所定時間静止した移動体の存在
による画像変化が背景画像に与える影響をなくすことに
より、誤って移動体が検出されることを防げ、より正確
な移動体抽出を行うことができる。

【００１５】また、本発明に係る画像処理装置は必要に
応じて、前記少なくとも前記移動部分抽出画像位置を含
む所定の矩形領域に加えて、順次入力される入力画像に
対する背景画像の前回の輝度調整及び前々回の輝度調整
でそれぞれ前記矩形領域に設定された部分についても、
前記背景画像の輝度調整を行わないものである。このよ
うに本発明によれば、移動体抽出画像を得たら、移動部
分抽出画像位置を含む所定の矩形領域を設定し、この矩
形領域と共に、前回及び前々回の輝度調整においてそれ
ぞれ設定された矩形領域にあたる部分での前記背景画像
の輝度調整を行わないようにし、所定時間静止したり同
じ場所で少しずつ動いたりしている移動体の存在による
画像変化が背景画像に与える影響をなくすことにより、
誤って移動体が検出されることを確実に防げ、より正確
に移動体抽出を行える。

【００１６】また、本発明に係る画像処理装置は必要に
応じて、前記画像抽出手段が、前記移動部分抽出画像を
抽出するための閾値を差分画像の各画素毎に設定される
ものである。このように本発明によれば、前記画像抽出
手段で移動部分抽出画像を抽出するための閾値を差分画
像の各画素毎に設定し、画像の各部分間において明るさ
の差異がある場合や各部分間において物体深度に差異が
ある場合にも閾値を各画素の輝度値に応じて適切な値に
動的に調整できることにより、ノイズの影響を受けて誤
検出が多くなったり、また感度が低下して検出漏れが多
くなったりすることが防げ、移動体をより正確に抽出で
きる。

【００１７】

【発明の実施の形態】（本発明の第１の実施形態）以
下、本発明の第１の実施形態に係る画像処理装置を図１
ないし図９に基づいて説明する。この図１は本実施形態
に係る画像処理装置のブロック構成図、図２は本実施形
態に係る画像処理装置における背景画像確定動作フロー
チャート、図３は本実施形態に係る画像処理装置におけ
る背景画像確定過程説明図、図４は本実施形態に係る画
像処理装置における背景画像更新過程説明図、図５は本
実施形態に係る画像処理装置における移動体抽出動作フ
ローチャート、図６は本実施形態に係る画像処理装置に
おける差分画像２値化の閾値設定条件説明図、図７は本
実施形態に係る画像処理装置における差分画像２値化の
閾値設定プロセス例説明図、図８は本実施形態に係る画
像処理装置における差分画像２値化の閾値設定条件変化
例説明図、図９は本実施形態に係る画像処理装置におけ
る移動体抽出画像説明図を示す。

【００１８】前記各図において本実施形態に係る画像処
理装置は、調査対象領域１０を撮像して入力画像Ｓ１を
出力する撮像手段２と、前記入力画像の比較対象となる
背景画像を設定する背景画像設定手段３と、前記設定さ
れた背景画像を格納する画像記憶手段４と、この画像記
憶手段４に格納された背景画像及び順次入力される入力
画像を比較演算して差分画像を出力する差分演算手段５
と、前記差分画像を所定の閾値に基づいて２値化し、移
動部分抽出画像を得る画像抽出手段６とを備える構成で
ある。

【００１９】前記背景画像設定手段３は、背景画像及び
順次入力された入力画像を比較演算して輝度偏差信号を
出力する輝度偏差演算手段３ａと、前記輝度偏差信号に
基づいて前記背景画像の輝度を調整する輝度調整手段３
ｂと、背景画像の初期画像を与えると共に、前記輝度調
整手段３ｂで輝度調整された背景画像を正式な背景画像
として利用可能かどうかを判断する背景画像調整手段３
ｃとを備える構成である。輝度調整手段３ｂによる輝度
調整は、黒と白の間の所定の輝度を、黒を０、白を２５
５として０〜２５５の輝度値で表し、この輝度値１単位
分の増減を行う仕組みである。

【００２０】次に、前記構成に基づく本実施形態に係る
画像処理装置の背景画像確定並びに移動体抽出動作につ
いてそれぞれ図２及び図５に示すフローチャートを用い
て説明する。まず、あらかじめ設定された画像（図３参
照）を背景画像の初期値として導入する（ステップ１０
０）。また、撮像手段２が調査対象領域１０を撮像する
ことにより得られる入力画像を入力する（ステップ１０
１）。この入力画像と、前記背景画像とをそれぞれ画像
を構成する各画素毎に輝度偏差演算手段３ａで比較演算
して輝度偏差信号を出力する（ステップ１０２、ステッ
プ１０３）。輝度偏差信号に基づき、背景画像の各画素
において、入力画像の輝度より背景画像の輝度が小さい
場合は、輝度調整手段３ｂで背景画像の画素の輝度を前
記輝度値１単位分だけ大きく（明るく）する（ステップ
１０４）。一方、入力画像の輝度より背景画像の輝度が
大きい場合には、輝度調整手段３ｂで背景画像の画素の
輝度を輝度値１単位分だけ小さく（暗く）する（ステッ
プ１０５）。さらに、入力画像の輝度と背景画像の輝度
が等しい場合は、輝度の補正は行わない。そして、入力
画像及び背景画像の全ての画素について輝度比較・補正
処理が完了したかどうか判断し（ステップ１０６）、全
ての画素について比較・補正処理が完了したら、背景画
像の比較・補正処理回数を判断する背景画像積算値（初
期値０）に１を加える（ステップ１０７）。全ての画素
について処理が完了していない場合は、前記ステップ１
０２に戻って前記各処理を繰返す（ステップ１０２〜１
０６）。

【００２１】ステップ１０７の後、背景画像積算値があ
らかじめ与えられた所定数（本実施形態では３００）を
上回ったかどうかを判断し（ステップ１０８）、上回っ
ていれば、十分な比較・補正によりこの時点の入力画像
の背景部分にほぼ一致するこの背景画像を正式に調査対
象領域のこの時点の背景画像として、画像記憶手段４に
格納して背景画像を更新する（ステップ１０９）。背景
画像積算値が所定数に達していなければ前記ステップ１
０１に戻り、前記各処理を繰返す（ステップ１０１〜１
０８）。背景画像積算値が所定数に達するまでに、背景
画像は図３に示すように入力画像に略一致するようにな
っていく。

【００２２】背景画像更新後、調査対象領域１０の撮像
及び入力画像の入力が継続されているかどうか判断し
（ステップ１１０）、継続されていれば前記ステップ１
０１に戻って前記各処理を繰返し（ステップ１０１〜１
１０）、継続されていなければ一連の処理を終了する。
撮像が続き、日照や天候等といった調査対象領域１０の
変化に伴って撮像手段２から入力される入力画像が変わ
っても、前記処理によって図４に示すように背景画像が
入力画像に合わせて変化し、常時正しい背景を得ること
ができる。

【００２３】また、移動体抽出動作については、図５の
フローチャートに示すように、まず、撮像手段２が調査
対象領域１０を撮像することにより得られる入力画像を
入力する（ステップ１２０）。そして、前記背景画像確
定処理により得られたこの時点の背景画像を画像記憶手
段４から取得する（ステップ１２１）。前記入力された
入力画像と背景画像とを比較演算し（ステップ１２
２）、入力画像と背景画像との間に差異がある場合に
は、入力画像と背景画像の差分画像（背景差分）を抽出
する（ステップ１２３）。

【００２４】移動体抽出画像は、前記画像抽出手段６に
おいて、設定された閾値（検出感度）に対する偏差の大
小によって前記差分画像を２値化した画像として得られ
る。ただし、撮像される調査対象領域は、得られた画像
における各画素位置によって見かけの感度の差が生じた
状態で検出される。

【００２５】このような検出の際の感度差を補償するた
めに、画像の各画素単位で背景画像の輝度値に応じて閾
値が自動設定される。すなわち、明るい（輝度が高い）
ところは閾値を高く（感度を低く）、暗い（輝度が低
い）ところは閾値を低く（感度を高く）する仕組みとな
っている。図６に示すように、輝度値ＢＲが所定範囲
（ＢＲ１〜ＢＲ２）の値を取る場合に、閾値ＳＨも所定
範囲（ＳＨ１〜ＳＨ２）の値を取り、閾値を与える式
は、ＳＨ＝ＢＲ・（ＳＨ２−ＳＨ１）／（ＢＲ２−ＢＲ
１）となる。また、輝度値がＢＲ１より小さい場合には
閾値はＳＨ１、輝度値がＢＲ２より大きい場合には閾値
はＳＨ２としている。

【００２６】このような背景画像の輝度値に対応する閾
値の自動設定プロセスの例を図７、図８に基づいて説明
すると、まず、図７（Ａ）に示すように背景画像（画像
サイズ：３ピクセル×３ピクセル）の平均輝度値を求
め、平均輝度値１５０を中心に±５０の範囲でＢＲ１＝
１００、ＢＲ２＝２００をそれぞれ決定し、図７（Ｂ）
に示すような閾値設定条件を作成する。この場合、輝度
値ＢＲが１００〜２００の範囲では、閾値ＳＨを与える
式は、ＳＨ＝ＢＲ・（２０−１０）／（２００−１０
０）＝ＢＲ・０．１となり、また、輝度値が１００より
小さい場合には閾値はＳＨ１＝１０、輝度値が２００よ
り大きい場合には閾値はＳＨ２＝２０となる。これによ
り、差分画像の各ピクセル毎の閾値がそれぞれ決定され
る（図７（Ｃ）参照）。画像の明るさの変化で背景画像
の平均輝度値が大きくなったり（平均輝度値２００、図
８（Ａ）参照）、小さくなったり（平均輝度値１００、
図８（Ｂ）参照）した場合、それぞれＢＲ１〜ＢＲ２の
範囲も平均輝度値に従って変化し、閾値を与える式は前
記同様として閾値ＳＨの取りうる範囲ＳＨ１〜ＳＨ２が
ＢＲ１〜ＢＲ２の範囲に伴って変化する。

【００２７】こうしてステップ１２３の後、差分画像を
輝度値によって変化する閾値に基づいて２値化し（ステ
ップ１２４）、図９に示すような白黒２値の移動体抽出
画像を得る（ステップ１２５）。前記ステップ１２２で
入力画像と背景画像との間に差異がない場合には、前記
ステップ１２０に戻って前記処理を繰返す（ステップ１
２０〜１２２）。ステップ１２５の後、調査対象領域１
０の撮像及び入力画像の入力が継続されているかどうか
判断し（ステップ１２６）、継続されていれば前記ステ
ップ１２０に戻って前記各処理を繰返し（ステップ１２
０〜１２６）、継続されていなければ一連の処理を終了
する。

【００２８】このように、本実施の形態に係る画像処理
装置においては、背景画像及び順次入力された入力画像
を比較演算して各画素毎に輝度偏差信号を出力し、且つ
この輝度偏差信号に基づいて背景画像を各画素毎に輝度
調整することが所定回数繰返されて所定時間変化しない
入力画像に略一致する背景画像が設定されると共に、こ
の背景画像及び順次入力される入力画像を比較演算して
出力される差分画像を各画素毎に輝度値に応じて設定さ
れる閾値に基づいて２値化し、移動部分抽出画像を得る
ことから、背景画像が実際の背景変化に精細に追従して
変化し、背景画像と入力画像の比較処理でより実際の移
動体画像に近い差分画像を得られると共に、画像の各部
分間において明るさや物体深度の差異がある場合にもノ
イズの影響を受けたり感度が低下したりせず、差分画像
の処理による移動部分の変化・移動等の認識が確実にで
きることとなり、誤検出や検出漏れを防げ、正確且つ確
実に移動体の抽出画像を得ることができる。

【００２９】（本発明の第２の実施形態）本発明の第２
の実施形態に係る画像処理装置を図１０ないし図１３に
基づいて説明する。図１０は本実施形態に係る画像処理
装置のブロック構成図、図１１は本実施形態に係る画像
処理装置における背景画像確定動作フローチャート、図
１２は本実施形態に係る画像処理装置における移動体抽
出動作フローチャート、図１３は本実施形態に係る画像
処理装置における矩形領域設定状態説明図を示す。

【００３０】前記各図において本実施形態に係る画像処
理装置は、前記第１の実施形態と同様に、撮像手段２
と、背景画像設定手段３と、画像記憶手段４と、差分演
算手段５と、画像抽出手段６とを共通して備える一方、
異なる点として、移動体画像抽出時に移動体の存在位置
に基づく矩形領域を設定する矩形領域設定手段７を備
え、矩形領域に含まれる画像部分は背景画像の更新の対
象としないように処理する構成を有するものである。

【００３１】次に、前記構成に基づく本実施形態に係る
画像処理装置の背景画像確定並びに移動体抽出動作につ
いて図１１及び図１２のフローチャートを用いて説明す
る。ステップ２００からステップ２０８までは前記第１
の実施形態のステップ１００からステップ１０８と同様
である。

【００３２】ステップ２０８の後、背景画像積算値があ
らかじめ与えられた所定数（本実施形態では３００）を
上回っていれば、後述する移動体抽出動作により移動体
を含む矩形領域が設定されているかどうかを判別し（ス
テップ２０９）、矩形領域が設定されている場合は、前
記積算値が所定数を上回った背景画像から前記矩形領域
分の画像情報を除き（ステップ２１０）、除いた残りの
背景画像で背景画像を更新する（ステップ２１１）。こ
れにより、前記矩形領域にあたる部分の更新は行われな
い。

【００３３】前記ステップ２０９で矩形領域が設定され
ていない場合には、前記積算値が所定数を上回った背景
画像そのままで背景画像を更新する（ステップ２１
２）。背景画像更新後、調査対象領域１０の撮像及び入
力画像の入力が継続されているかどうか判断し（ステッ
プ２１３）、継続されていれば前記ステップ２０１に戻
って前記各処理を繰返し（ステップ２０１〜２１３）、
継続されていなければ一連の処理を終了する。

【００３４】また、移動体抽出動作についても、ステッ
プ２２０からステップ２２５までは前記第１の実施形態
のステップ１２０からステップ１２５と同様である。ス
テップ２２５の後、図１３に示すように、前記背景更新
時のために調査対象領域と一対一に対応する画面中に移
動体抽出画像を含む矩形領域を設定する（ステップ２２
６）。この後、調査対象領域１０の撮像及び入力画像の
入力が継続されているかどうか判断し（ステップ２２
７）、継続されていれば前記ステップ２２０に戻って前
記各処理を繰返し（ステップ２２０〜２２７）、継続さ
れていなければ一連の処理を終了する。

【００３５】このように、本実施の形態に係る画像処理
装置においては、移動体抽出画像を得たら、移動体抽出
画像位置を含む矩形領域を設定し、矩形領域での前記背
景画像の更新を行わないようにして、所定時間静止した
移動体の存在による画像変化が背景画像に与える影響を
なくせることから、より正確な移動体抽出を行うことが
できる。

【００３６】なお、前記実施形態に係る画像処理装置に
おいては、移動体抽出画像を得たら、移動体抽出画像位
置を含む矩形領域を設定し、この矩形領域での前記背景
画像の更新を行わないようにする構成としているが、こ
れに加えて、順次入力される入力画像に対する背景画像
の前回の更新で矩形領域を設定された部分、及び前々回
の更新で矩形領域を設定された部分についても、前記背
景画像の更新を行わない構成とすることもでき、移動体
の存在が画像変化に影響を与えた部分を広くとって前記
背景画像の更新を行わないようにし、確定される背景画
像への移動体の影響を極小とすることで、誤って移動体
が背景画像に同化する状態を確実に防げ、正しい背景画
像との比較で正確に移動体抽出を行える。

【００３７】また、前記実施形態に係る画像処理装置に
おいては、移動体抽出画像位置を含む矩形領域が設定さ
れると、この矩形領域部分での前記背景画像の更新が行
われず、元の移動体が常に抽出される構成としている
が、この他、移動体が所定の期間以上動かず、移動体抽
出画像位置を含む矩形領域の設定が所定回の背景画像更
新に際しても変化しない場合、所定回の背景画像更新
後、この矩形領域の設定をいったん解いて、矩形領域で
あった部分についても背景画像の更新を行う構成とする
こともでき、移動してきた自動車が調査対象領域に駐車
された場合など、移動体が長期間静止するような状況に
対し、静止した移動体を改めて背景として判断すること
で、静止した移動体が継続して移動体と判断されず、静
止した移動体が別の新たな移動体に与える悪影響を極小
とすることができ、誤って移動体が重なって一体化する
状態を確実に防ぐこととなり、移動する移動体の抽出を
確実に行える。

【００３８】（本発明の第３の実施形態）本発明の第３
の実施形態に係る画像処理装置を図１４ないし図１６に
基づいて説明する。図１４は本実施形態に係る画像処理
装置のブロック構成図、図１５は本実施形態に係る画像
処理装置における背景画像確定動作フローチャート、図
１６は本実施形態に係る画像処理装置における移動体抽
出動作フローチャートを示す。

【００３９】前記各図において本実施形態に係る画像処
理装置は、前記第１の実施形態と同様に、撮像手段２
と、背景画像設定手段３と、画像記憶手段４と、差分演
算手段５と、画像抽出手段６とを共通して備える一方、
輝度偏差演算手段８及び輝度調整手段９が背景画像設定
手段３から独立した状態で別個に設けられ、背景画像確
定並びに移動体抽出の各処理手順を異ならせた構成を有
するものである。

【００４０】前記輝度偏差演算手段８は、背景画像及び
順次入力された入力画像を比較演算して輝度偏差信号を
出力する構成であり、また、輝度調整手段９は、前記輝
度偏差信号に基づいて前記背景画像の輝度を調整する構
成である。輝度調整手段３ｂによる輝度調整は、前記第
１の実施形態同様、黒と白の間の所定の輝度を、黒を
０、白を２５５として０〜２５５の輝度値で表し、この
輝度値１単位分の増減を行う仕組みである。

【００４１】次に、前記構成に基づく本実施形態に係る
画像処理装置の背景画像確定並びに移動体抽出動作につ
いて図１５及び図１６のフローチャートを用いて説明す
る。まず、撮像手段２が調査対象領域１０を撮像するこ
とにより得られる入力画像を入力し（ステップ３０
１）、この入力画像と、直後に入力された入力画像とを
比較し、前後で変化があるかどうかを判断する（ステッ
プ３０２）。前後の入力画像に差異がなければ、入力画
像の継続性を判断する入力画像積算値（初期値０）に１
を加える（ステップ３０３）。ここで、前後の入力画像
に差異が認められれば、前記ステップ３０１に戻って前
記各処理を繰返す（ステップ３０１、３０２）。

【００４２】ステップ３０３の後、入力画像積算値があ
らかじめ与えられた所定数（本実施形態では３００）を
上回ったかどうかを判断し（ステップ３０４）、上回っ
ていれば、変化しなかった入力画像を正式に調査対象領
域のこの時点の背景画像として、画像記憶手段４に格納
して背景画像を更新する（ステップ３０５）。所定数に
達していなければ前記ステップ３０１に戻り、前記各処
理を繰返す（ステップ３０１〜３０４）。

【００４３】背景画像設定後、調査対象領域１０の撮像
及び入力画像の入力が継続されているかどうか判断し
（ステップ３０６）、継続されていれば前記ステップ３
０１に戻って前記各処理を繰返し（ステップ３０１〜３
０６）、継続されていなければ一連の処理を終了する。

【００４４】また、移動体抽出動作については、まず、
撮像手段２が調査対象領域１０を撮像することにより得
られる入力画像を入力する（ステップ３２０）。そし
て、前記背景画像確定処理により得られたこの時点の背
景画像を画像記憶手段４から取得する（ステップ３２
１）。

【００４５】入力された入力画像と背景画像とをそれぞ
れ画像を構成する各画素毎に輝度偏差演算手段３ａで比
較演算して輝度偏差信号を出力する（ステップ３２２、
ステップ３２３）。輝度偏差信号に基づき、各画素にお
いて、入力画像の輝度より背景画像の輝度が小さい場合
は、輝度調整手段３ｂで背景画像の輝度を前記輝度値１
単位分だけ大きくする（ステップ３２４）。一方、入力
画像の輝度より背景画像の輝度が大きい場合には、輝度
調整手段で背景画像の輝度を輝度値１単位分だけ小さく
する（ステップ３２５）。さらに、入力画像の輝度と背
景画像の輝度が等しい場合は、輝度の補正は行わない。
そして、入力画像及び背景画像の全ての画素について輝
度比較・補正処理が完了したかどうか判断し（ステップ
３２６）、全ての画素について比較・補正処理が終了し
たら、この輝度補正を行った背景画像を画像記憶手段４
に格納して背景画像を更新する（ステップ３２７）。全
ての画素について処理が完了していない場合は、前記ス
テップ３２２に戻って前記各処理を繰返す（ステップ３
２２〜３２６）。

【００４６】この後、この背景画像と前記入力された入
力画像との比較演算（ステップ３２８）処理から後のス
テップ３２８以降は、前記第１の実施形態におけるステ
ップ１２２以降と同様である。

【００４７】このように、本実施の形態に係る画像処理
装置においては、所定時間変化しない入力画像に一致す
る背景画像が設定されると共に、この背景画像及び順次
入力された入力画像を比較演算して各画素毎に輝度偏差
信号を出力し、且つこの輝度偏差信号に基づいて背景画
像を各画素毎に輝度調整して背景画像が再設定され、こ
の背景画像及び順次入力される入力画像を比較演算して
出力される差分画像を各画素毎に輝度値に応じて設定さ
れる閾値に基づいて２値化し、移動部分抽出画像を得る
ことから、前記第１の実施形態同様、背景画像が実際の
背景変化に精細に追従して変化し、背景画像と入力画像
の比較処理でより実際の移動体画像に近い差分画像を得
られると共に、画像の各部分間において明るさや物体深
度の差異がある場合にもノイズの影響を受けたり感度が
低下したりせず、差分画像の処理による移動部分の変化
・移動等の認識が確実にできることとなり、誤検出や検
出漏れを防げ、正確且つ確実に移動体の抽出画像を得る
ことができる。

【００４８】なお、前記第１ないし第３の各実施形態に
係る画像処理装置においては、輝度偏差演算手段が背景
画像及び入力画像を比較演算して各画素毎に輝度偏差信
号を出力すると共に、輝度調整手段が、前記輝度偏差信
号に基づいて背景画像に対し各画素毎に輝度調整を行う
構成としているが、この他、比較演算で画像領域全体に
おける輝度偏差信号を出力し、背景画像全体に対し輝度
調整を行う構成、又は、背景画像及び順次入力された入
力画像の画像領域を複数の区分領域に分割し、この分割
した区分領域毎に前記背景画像及び入力画像を比較演算
して輝度偏差信号を出力し、且つこの各区分領域の輝度
偏差信号に基づいて背景画像の輝度を調整する構成とす
ることもでき、前記実施の形態同様、背景画像を実際の
背景変化に追従させて変化させ、これに基づいて差分画
像を得ることとなり、移動部分の変化・移動等を確実に
認識できる。

【００４９】

【発明の効果】以上のように本発明においては、背景画
像設定手段で入力画像を基に背景画像を設定し、差分演
算手段で背景画像及び順次入力される入力画像を比較演
算して差分画像を出力し、画像抽出手段で前記差分画像
を所定の閾値に基づいて２値化し、移動部分抽出画像を
得て、順次入力される入力画像から移動体を識別するこ
とにより、撮像条件、例えば明るさ、物体深度等が異な
る場合であっても背景画像を用いて入力画像を処理する
ことにより、正確且つ確実に移動部分の抽出画像を得る
ことができるという効果を奏する。

【００５０】また、本発明においては、輝度偏差演算手
段が背景画像及び順次入力された入力画像を比較演算し
て輝度偏差信号を出力し、この輝度偏差信号に基づいて
輝度調整手段が前記背景画像の輝度を調整し、背景画像
を入力画像に近付けていくことにより、実際の背景が変
化しても背景画像が対応でき、これに基づいて差分画像
を処理するようにしているので、移動部分の変化・移動
等を確実に認識できることとなり、正確な抽出を行うこ
とができるという効果を有する。

【００５１】また、本発明においては、背景画像及び順
次入力された入力画像を比較演算して画像領域全体にお
ける輝度偏差信号を出力し、且つ前記輝度偏差信号に基
づいて背景画像全体に対し輝度調整を行い、背景画像を
入力画像に近付けていくことにより、背景画像が実際の
背景変化に追従して変化し、これに基づいて差分画像を
処理することとなり、移動部分の変化・移動等を確実に
認識できることとなり、正確な抽出を行うことができる
という効果を有する。

【００５２】また、本発明においては、背景画像及び順
次入力された入力画像の画像領域を複数の区分領域に分
割し、当該分割した区分領域毎に前記背景画像及び入力
画像を比較演算して輝度偏差信号を出力し、且つ前記各
区分領域の輝度偏差信号に基づいて背景画像の輝度を調
整して、背景画像を入力画像に近付けていくことによ
り、背景画像が実際の背景変化に精細に追従して変化
し、これに基づいて差分画像を処理することとなり、移
動部分の変化・移動等を確実に認識できることとなり、
正確な抽出を行うことができるという効果を有する。

【００５３】また、本発明においては、背景画像及び順
次入力された入力画像を比較演算して各画素毎に輝度偏
差信号を出力し、且つ前記輝度偏差信号に基づいて背景
画像に対し各画素毎に輝度調整を行い、背景画像を入力
画像に近付けていくことにより、背景画像が実際の背景
変化に一層精細に追従して変化し、これに基づいて差分
画像を処理することとなり、移動部分の変化・移動等を
一層確実に認識できることとなり、正確な抽出を行うこ
とができるという効果を有する。

【００５４】また、本発明においては、背景画像及び入
力画像の比較及び輝度偏差信号の出力、並びに輝度偏差
信号に基づく背景画像の輝度調整を少なくとも所定回数
繰返し、前記背景画像を入力画像に略一致させることに
より、背景画像と入力画像の比較処理でより実際の移動
体画像に近い差分画像を得られることとなり、差分画像
の処理による移動部分の変化・移動等の認識が一層確実
にでき、正確な抽出を行うことができるという効果を有
する。

【００５５】また、本発明においては、移動体抽出画像
を得たら、移動部分抽出画像位置を含む所定の矩形領域
を設定し、矩形領域での前記背景画像の輝度調整を行わ
ないようにし、所定時間静止した移動体の存在による画
像変化が背景画像に与える影響をなくすことにより、誤
って移動体が検出されることを防げ、より正確な移動体
抽出を行うことができるという効果を有する。

【００５６】また、本発明においては、移動体抽出画像
を得たら、移動部分抽出画像位置を含む所定の矩形領域
を設定し、この矩形領域と共に、前回及び前々回の輝度
調整においてそれぞれ設定された矩形領域にあたる部分
での前記背景画像の輝度調整を行わないようにし、所定
時間静止したり同じ場所で少しずつ動いたりしている移
動体の存在による画像変化が背景画像に与える影響をな
くすことにより、誤って移動体が検出されることを確実
に防げ、より正確に移動体抽出を行えるという効果を有
する。

【００５７】また、本発明においては、前記画像抽出手
段で移動部分抽出画像を抽出するための閾値を差分画像
の各画素毎に設定し、画像の各部分間において明るさの
差異がある場合や各部分間において物体深度に差異があ
る場合にも閾値を各画素の輝度値に応じて適切な値に動
的に調整できることにより、ノイズの影響を受けて誤検
出が多くなったり、また感度が低下して検出漏れが多く
なったりすることが防げ、移動体をより正確に抽出でき
るという効果を有する。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る画像処理装置の
ブロック構成図である。

【図２】本発明の第１の実施形態に係る画像処理装置に
おける背景画像確定動作フローチャートである。

【図３】本発明の第１の実施形態に係る画像処理装置に
おける背景画像確定過程説明図である。

【図４】本発明の第１の実施形態に係る画像処理装置に
おける背景画像更新過程説明図である。

【図５】本発明の第１の実施形態に係る画像処理装置に
おける移動体抽出動作フローチャートである。

【図６】本発明の第１の実施形態に係る画像処理装置に
おける差分画像２値化の閾値設定条件説明図である。

【図７】（Ａ）は本発明の第１の実施形態に係る画像処
理装置における差分画像２値化の閾値設定プロセスでの
背景画像平均輝度値確定状態例説明図である。（Ｂ）は
本発明の第１の実施形態に係る画像処理装置における差
分画像２値化の閾値設定プロセスでの閾値設定条件説明
図である。（Ｃ）は本発明の第１の実施形態に係る画像
処理装置における差分画像２値化の閾値設定プロセスで
の差分画像閾値確定状態説明図である。

【図８】（Ａ）は本発明の第１の実施形態に係る画像処
理装置における差分画像２値化の閾値設定プロセスでの
他の閾値設定条件説明図である。（Ｂ）は本発明の第１
の実施形態に係る画像処理装置における差分画像２値化
の閾値設定プロセスでの別の他の閾値設定条件説明図で
ある。

【図９】本発明の第１の実施形態に係る画像処理装置に
おける移動体抽出画像説明図である。

【図１０】本発明の第２の実施形態に係る画像処理装置
のブロック構成図である。

【図１１】本発明の第２の実施形態に係る画像処理装置
における背景画像確定動作フローチャートである。

【図１２】本発明の第２の実施形態に係る画像処理装置
における移動体抽出動作フローチャートである。

【図１３】本発明の第２の実施形態に係る画像処理装置
における矩形領域設定状態説明図である。

【図１４】本発明の第３の実施形態に係る画像処理装置
のブロック構成図である。

【図１５】本発明の第３の実施形態に係る画像処理装置
における背景画像確定動作フローチャートである。

【図１６】本発明の第３の実施形態に係る画像処理装置
における移動体抽出動作フローチャートである。

【図１７】従来の画像処理装置のブロック構成図であ
る。

【符号の説明】

１、１００画像処理装置２、１０１撮像手段３背景画像設定手段３ａ、８輝度偏差演算手段３ｂ、９輝度調整手段４、１０２画像記憶手段５差分演算手段６画像抽出手段７矩形領域設定手段１０調査対象領域１０３比較演算部１０４移動体検出部Ｓ１、Ｓ２入力画像Ｓ３差分画像

Claims

【特許請求の範囲】

【請求項１】断続的な内容変化を伴って順次入力され
る入力画像を処理する画像処理装置において、前記入力画像のうち、所定期間変化しない画像を背景画
像として設定する背景画像設定手段と、前記設定された背景画像及び順次入力される入力画像を
比較演算して差分画像を出力する差分演算手段と、前記差分画像を所定の閾値に基づいて２値化し、移動部
分抽出画像を得る画像抽出手段とを備えることを特徴と
する画像処理装置。
【請求項２】前記請求項１に記載の画像処理装置にお
いて、前記背景画像設定手段が、少なくとも、背景画像及び順
次入力された入力画像を比較演算して輝度偏差信号を出
力する輝度偏差演算手段と、前記輝度偏差信号に基づい
て前記背景画像の輝度を調整する輝度調整手段とを備え
てなることを特徴とする画像処理装置。
【請求項３】前記請求項２に記載の画像処理装置にお
いて、前記輝度偏差演算手段が、背景画像及び順次入力された
入力画像を比較演算して画像領域全体における輝度偏差
信号を出力し、前記輝度調整手段が、前記輝度偏差信号に基づいて背景
画像全体に対し輝度調整を行うことを特徴とする画像処
理装置。
【請求項４】前記請求項２に記載の画像処理装置にお
いて、前記輝度偏差演算手段が、背景画像及び順次入力された
入力画像の画像領域を複数の区分領域に分割し、当該分
割した区分領域毎に前記背景画像及び入力画像を比較演
算して輝度偏差信号を出力し、前記輝度調整手段が、前記各区分領域の輝度偏差信号に
基づいて背景画像の輝度を調整することを特徴とする画
像処理装置。
【請求項５】前記請求項２に記載の画像処理装置にお
いて、前記輝度偏差演算手段が、背景画像及び順次入力された
入力画像を比較演算して各画素毎に輝度偏差信号を出力
し、前記輝度調整手段が、前記輝度偏差信号に基づいて背景
画像に対し各画素毎に輝度調整を行うことを特徴とする
画像処理装置。
【請求項６】前記請求項２ないし５のいずれかに記載
の画像処理装置において、前記背景画像設定手段が、前記輝度偏差演算手段による
比較及び輝度偏差信号の出力、並びに輝度調整手段での
背景画像の輝度調整を少なくとも所定回数繰返し、前記
背景画像を入力画像に略一致させることを特徴とする画
像処理装置。
【請求項７】前記請求項２ないし６のいずれかに記載
の画像処理装置において、前記背景画像及び入力画像の画像領域に、少なくとも前
記移動部分抽出画像位置を含む所定の矩形領域を設定
し、当該矩形領域で前記背景画像の輝度調整を行わない
ことを特徴とする画像処理装置。
【請求項８】前記請求項７に記載の画像処理装置にお
いて、前記少なくとも前記移動部分抽出画像位置を含む所定の
矩形領域に加えて、順次入力される入力画像に対する背
景画像の前回の輝度調整及び前々回の輝度調整でそれぞ
れ前記矩形領域に設定された部分についても、前記背景
画像の輝度調整を行わないことを特徴とする画像処理装
置。
【請求項９】前記請求項１ないし８のいずれかに記載
の画像処理装置において、前記画像抽出手段が、前記移動部分抽出画像を抽出する
ための閾値を差分画像の各画素毎に設定されることを特
徴とする画像処理装置。