JP2000348184A - 背景画像生成装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 入力画像の輝度変化から蓄積すべき時間帯と
蓄積をすべきでない時間帯を識別することで、交差点の
近辺など車両が停止状態にある場合が多く、走行路が見
える時間が少ない場合でも、精度のよい背景画像が生成
できるようにした背景画像生成装置を提供する。 【解決手段】 入力した画像をデジタル化するＡ／Ｄ変
換器１０１と、任意の時間帯で各画素の輝度の出現頻度
の分布を生成する頻度分布生成手段１０３と、生成した
出現頻度分布から各画素の輝度代表値を抽出する代表値
抽出手段１０４に加えて、出現頻度を蓄積する時間帯を
判断する蓄積条件判断手段１０５を具備し、蓄積条件判
断手段１０５が、入力画像の輝度変化から蓄積すべき時
間帯と蓄積をすべきでない時間帯を識別することで、交
差点の近辺など車両が停止状態にある場合が多く、走行
路が見える時間が少ない場合でも、精度の良い背景画像
が生成できるようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理技術に関
し、特に道路（走行路）を撮影しその通過台数、空間占
有率、時間占有率、通過速度などを自動計測する交通流
監視システムの画像処理技術に関し、撮影画角から車両
領域を除去し車両が存在しない状態の画像（一般にこれ
を背景画像と呼ぶ）を精度よく生成するための背景画像
生成装置及びその方法に関する。

【０００２】

【従来の技術】近年、高速道路や幹線道路などの走行路
に据え付けられた監視カメラを画像処理によって交通流
を自動計測する監視システムの開発が求められている。

【０００３】目的の計測量としては通過台数、空間占有
率、時間占有率、通過速度などが代表的である。これら
の計測量を抽出するためには、まず入力画像から車両領
域を正確に切り出すことが必要になる。

【０００４】車両領域を正確に切り出すためには、背景
画像と一般的に呼ばれる「画像から車両が存在しない状
態の画像」を用意し、入力画像と背景画像の差分をとっ
て、その結果から車両領域を求める方法が、従来のほと
んどの例で使われている。

【０００５】背景差分による動物体の検出と、その背景
画像の生成方法に関しては、例えば、文献１（土川仁、
佐藤敦、伴野明：特開平７−３０２３２８号の「背景差
分による動物体領域抽出方法」）がある。

【０００６】文献１の背景画像生成方法としては、入力
画像を一定時間蓄積し各画素の輝度の出現頻度分布を作
成し、その分布を統計的に処理して、例えば各画素の最
大頻度となった輝度とその広がりを抽出して、背景画像
を再構成する方法が説明されている。

【０００７】しかし、入力画像の蓄積は等間隔に行うだ
けであり、何らかの制御方法を用いて適したタイミング
を選ぶという観点はない。

【０００８】交通量の少ない道路や高速道路など車両が
停止することがあまり無い場所では、画像中のある画素
位置に注目してみると、その画素位置に車両が存在しな
い時間の方が、車両が存在する（通過中の）時間より長
くなる。つまり輝度の出現頻度を分析すれば最頻値は走
行路輝度に相当する。

【０００９】一方、交差点近辺など車両が停止状態にな
ることが多い場所では、画像中のある画素位置に注目し
てみると、その画素位置に車両が存在する時間の方が、
車両が存在しない時間より長くなる場合がある。一般に
赤信号と青信号はほぼ等しい時間であるし、青点灯開始
から車両が流れるまでのタイムラグや、交差点内部の渋
滞による待ちなどを考えれば、車両は停止状態にある時
間の方が長い。

【００１０】したがって、輝度の出現頻度分布を解析し
ようとしても、本来の走行路の輝度の分布が、全体の分
布の中に埋もれてしまい、統計解析をしてもその走行路
輝度が抽出できない事態が発生する。

【００１１】このように、背景生成処理を行うタイミン
グを考慮していない従来の方法では、所望の背景画像を
生成できないという問題がある。

【００１２】

【発明が解決しようとする課題】このように従来は、交
差点近辺など交通量の多い道路を撮影した場合、背景画
像として、車両の存在しない状態の画像を作ることがで
きないという問題があった。

【００１３】そこで、この発明の目的とするところは、
交差点など交通量の多い道路でも、車両の存在しない状
態の画像を精度よく生成する背景画像生成装置及びその
方法を提供することにある。

【００１４】

【課題を解決するための手段】請求項１の発明は、時系
列で入力した複数の画素で構成されるデジタルの画像か
ら車両領域を除去し車両が存在しない状態の画像である
背景画像を生成するための背景画像生成装置において、
前記画像から走行路上に車両が存在しない時間帯、また
は、走行路上を車両が流れている時間帯を判断して、そ
の時間帯を前記画像の蓄積時間帯として前記画像を蓄積
する蓄積条件判断部と、前記蓄積条件判断部において蓄
積した蓄積画像から背景画像を生成する背景画像生成部
と、を具備したことを特徴とする背景画像生成装置であ
る。

【００１５】請求項２の発明は、前記背景画像生成部
は、前記蓄積条件判断部において蓄積した蓄積画像を構
成する各画素毎の輝度の出現頻度の分布を生成する頻度
分布生成部と、前記頻度分布生成部において生成した前
記各画素毎の出現輝度分布から、前記各画素の輝度代表
値を抽出する代表値抽出部と、前記代表値抽出部によっ
て抽出した前記各画素の輝度代表値に基づいて背景画像
を再構成する背景画像再構成部と、を具備したことを特
徴とする請求項１記載の背景画像生成装置である。

【００１６】請求項３の発明は、前記頻度分布生成部
は、前記頻度分布生成部の内部の蓄積回数カウンタが既
定値に到達した場合、または、いずれかの画素のいずれ
かの輝度の頻度カウンタが既定値に到達した場合にリセ
ット動作を行い、前記リセット動作において、全輝度値
の頻度カウンタを１以上の定数で一律に割ることを特徴
とする請求項２記載の背景画像生成装置である。

【００１７】請求項４の発明は、前記蓄積条件判断部の
前記蓄積時間帯を判断する基準として、前記走行路上に
おいて、車両が進行する方向に試験領域を設定し、前記
試験領域内の時間差分値の総和が大きい時間帯を蓄積時
間帯とすることを特徴とする請求項２と３記載の背景画
像生成装置である。

【００１８】請求項５の発明は、前記蓄積条件判断部の
前記蓄積時間帯を判断する基準として、前記走行路上に
おいて、車両が進行する方向に試験領域を設定し、前記
試験領域内の輝度補正された背景画像との差分値の時間
差分値の総和が大きい時間帯を蓄積時間帯とすることを
特徴とする請求項２と３記載の背景画像生成装置であ
る。

【００１９】請求項６の発明は、前記蓄積条件判断部の
前記蓄積時間帯を判断する基準として、前記走行路上に
おいて、車両が進行する方向に試験領域を設定し、前記
試験領域内のエッジ強度の絶対値の総和が小さい時間帯
を蓄積時間帯とすることを特徴とする請求項２と３記載
の背景画像生成装置である。

【００２０】請求項７の発明は、前記蓄積条件判断部の
前記蓄積時間帯を判断する基準として、前記走行路が右
折車線を有する場合に、少なくとも前記右折車線だけ
は、前記走行路の他の車線と個別に車両が進行する方向
に試験領域を設定し、前記蓄積条件判断部は、少なくと
も前記右折車線だけは個別に判断基準を判断し、前記代
表値抽出部は、少なくとも前記右折車線だけは個別に代
表値抽出を行う ことを特徴とする請求項２と３記載の
背景画像生成装置である。

【００２１】請求項８の発明は、前記蓄積条件判断部の
前記蓄積時間帯を判断する基準として、前記画面の全画
面領域が変化領域として検出された場合は、前記蓄積時
間帯としないことを特徴とする請求項２から８記載の背
景画像生成装置である。

【００２２】請求項９の発明は、前記試験領域の形状
は、前記走行路上において、車両が進行する方向に長
く、前記走行路を横断する方向に短い矩形形状とするこ
とを特徴とする請求項４から８記載の背景画像生成装置
である。

【００２３】請求項１０の発明は、前記試験領域は、前
記走行路上にペイントされた標示位置には設定しないこ
とを特徴とする請求項４から８記載の背景画像生成装置
である。

【００２４】請求項１１の発明は、前記試験領域は、前
記走行路の停止線に近い領域に設定することを特徴とす
る請求項４から８記載の背景画像生成装置である。

【００２５】請求項１２の発明は、前記試験領域は、前
記走行路の車線中心線より前記画像を入力するカメラの
遠方側に設定することを特徴とする請求項４から８記載
の背景画像生成装置である。

【００２６】請求項１３の発明は、時系列で入力した複
数の画素で構成されるデジタルの画像から車両領域を除
去し車両が存在しない状態の画像である背景画像を生成
するための背景画像生成方法において、前記画像から走
行路上に車両が存在しない時間帯、または、走行路上を
車両が流れている時間帯を判断して、その時間帯を前記
画像の蓄積時間帯として前記画像を蓄積する蓄積条件判
断ステップと、前記蓄積条件判断ステップにおいて蓄積
した蓄積画像から背景画像を生成する背景画像生成ステ
ップと、を具備したことを特徴とする背景画像生成方法
である。

【００２７】本発明では、蓄積条件判断手段が、入力画
像の輝度変化から蓄積すべき時間帯と蓄積をすべきでな
い時間帯を識別することで、交差点の近辺など車両が停
止状態にある場合が多く、走行路が見える時間が少ない
場合でも、精度のよい背景画像が生成できるようにし
た。

【００２８】これにより、交差点など交通量の多い部分
でも精度の良い背景画像をもとに、通過車両の位置や台
数を精度良く抽出することが可能となり、交通監視シス
テムや、ＩＴＳシステム、ＡＨＳシステムなど、高度交
通システムに不可欠な画像監視システムの実現に途が開
かれる。

【００２９】なお、請求項には記載はしていないが、他
の発明としては次のものがある。

【００３０】他の第１の発明は、次の通りである。

【００３１】前記頻度分布生成部は、前記頻度分布生成
部の内部の、蓄積回数カウンタが既定値に到達した場
合、または、いずれかの画素のいずれかの輝度の頻度カ
ウンタが既定値に到達した場合にリセット動作を行うこ
とを特徴とする請求項２記載の背景画像生成装置であ
る。

【００３２】他の第２の発明は、次の通りである。

【００３３】前記頻度分布生成部の内部の、蓄積回数カ
ウンタが既定値に到達した場合、または、いずれかの画
素のいずれかの輝度の頻度カウンタが既定値に到達した
場合にリセット動作を行い、前記リセット動作として全
輝度値の頻度カウンタを０に初期化することを特徴とす
る請求項２記載の背景画像生成装置である。

【００３４】他の第３の発明は、次の通りである。

【００３５】前記画像中の輝度変化量を自動絞り機構に
よって補正を行う輝度補正部を合わせて具備することを
特徴とする請求項２と３記載の背景画像生成装置であ
る。

【００３６】他の第４の発明は、次の通りである。

【００３７】前記蓄積条件判断部の前記蓄積時間帯を判
断する基準として、前記走行路上において、車両が進行
する方向に試験領域を設定し、前記試験領域内の分散値
の総和が小さい時間帯を蓄積時間帯とすることを特徴と
する請求項２と３記載の背景画像生成装置である。

【００３８】他の第５の発明は、次の通りである。

【００３９】前記蓄積条件判断部の前記蓄積時間帯を判
断する基準として、前記走行路が複数の車線を有する場
合に、各車線毎に車両が進行する方向に試験領域を設定
し、前記各車線の条件の論理積をもって全画面の条件判
断を行うことを特徴とする請求項２と３記載の背景画像
生成装置である。

【００４０】他の第６の発明は、次の通りである。

【００４１】前記蓄積条件判断部の前記蓄積時間帯を判
断する基準として、前記走行路が複数の車線を有する場
合に、各車線毎に車両が進行する方向に試験領域を設定
し、交通量が少ない環境では、前記各車線の条件の論理
和をもって全画面の条件判断を行うことを特徴とする請
求項２と３記載の背景画像生成装置である。

【００４２】他の第７の発明は、次の通りである。

【００４３】前記蓄積条件判断部の前記蓄積時間帯を判
断する基準として、前記走行路が複数の車線を有する場
合に、各車線毎に車両が進行する方向に試験領域を設定
し、前記蓄積条件判断部は、前記各車線毎に蓄積条件判
断を個別に行い、前記代表値抽出部は、前記各車線毎に
個別に代表値抽出を行うことを特徴とする請求項２と３
記載の背景画像生成装置である。

【００４４】他の第８の発明は、次の通りである。

【００４５】前記蓄積条件判断部の前記蓄積時間帯を判
断する基準として、前記走行路が右折車線を有する場
合、少なくとも前記右折車線だけは前記走行路の他の車
線と個別に車両が進行する方向に試験領域を設定し、前
記右折車線に車両が存在しない時間帯を蓄積時間帯とす
ることを特徴とする請求項２と３記載の背景画像生成装
置である。

【００４６】他の第９の発明は、次の通りである。

【００４７】前記蓄積条件判断部の前記蓄積時間帯を判
断する基準として、前記走行路内に小領域を設定し、そ
の輝度の時間変化がある時間帯を蓄積時間帯とすること
を特徴とする請求項２と３記載の背景画像生成装置であ
る。

【００４８】他の第１０の発明は、次の通りである。

【００４９】前記蓄積条件判断部の前記蓄積時間帯を判
断する基準として、前記画像の画面中のいずれかの領域
で変化が検出された場合は蓄積時間帯としないことを特
徴とする請求項２と３記載の背景画像生成装置である。

【００５０】他の第１１の発明は、次の通りである。

【００５１】前記蓄積条件判断部の前記蓄積時間帯を判
断する基準として、前記背景画像生成部によって前記背
景生成が長時間実行されていない場合に、強制的に蓄積
処理を開始することを特徴とする請求項２と３記載の背
景画像生成装置である。

【００５２】他の第１２の発明は、次の通りである。

【００５３】前記代表値抽出部は、前記輝度代表値とし
ては影の輝度を抽出しないことを特徴とする請求項２記
載の背景画像生成装置である。

【００５４】他の第１３の発明は、次の通りである。

【００５５】前記代表値抽出部は、前記輝度代表値とし
ては飽和状態の輝度を抽出しないことを特徴とする請求
項２記載の背景画像生成装置である。

【００５６】

【発明の実施の形態】以下、本発明の実施例について図
面を参照して説明する。

【００５７】（実施例１）図１は、実施例１の背景画像
生成装置１００の構成図である。

【００５８】背景画像生成装置１００は、Ａ／Ｄ変換器
１０１、輝度補正手段１０２、蓄積条件判断手段１０
３、輝度分布判断手段１０４、代表値抽出手段１０５と
より構成される。なお、基本構成には輝度補正手段１０
２はなくても良い。

【００５９】図２は基本構成の処理の手順を示したフロ
ーチャートである。

【００６０】最初に実施例１として輝度補正手段１０２
が無い場合について説明する。なお、輝度補正手段１０
２がある場合は、実施例４で説明する。

【００６１】監視領域を撮影するカメラの映像はＡ／Ｄ
変換器１０１によってフレーム毎にデジタル化されてい
る。

【００６２】なおこれ以後の説明では監視カメラから入
力される画像は白黒の濃淡画像であると仮定している。
入力画像がカラー画像の場合も、以後の説明で全ての画
素位置の輝度が赤緑青（ＲＧＢ）の３値をとるものとし
て考えれば同様に本発明の方式を適用できる。特に画素
の明るさ（輝度）に注目するときはＲＧＢの３値を輝度
値に変換して適用すれば良い。

【００６３】図１の構成で核となるのは頻度分布生成手
段１０４であり、これを制御するのが蓄積条件判断手段
１０３である。

【００６４】まず、蓄積条件判断手段１０３が最も簡単
に実現される場合について図２のフローチャートに基づ
いて説明する。

【００６５】１．ステップ２０１ 蓄積条件判断手段１０３は内部にフレームカウンタを有
する。初期操作としてフレームカウンタのリセットと頻
度分布生成手段１０４内の出現頻度カウンタを全て０に
リセットする（ステップ２０１）。

【００６６】頻度分布生成手段１０４は、デジタル化さ
れた各画素位置に対応し、画像輝度の量子化数に応じた
出現頻度カウンタを有する。例えばデジタル化された画
像のサイズが３２０×２４０画素であり、量子化段階数
が２５６段階であるとすれば、３２０×２４０×２５６
個の出現頻度カウンタで構成されている。今後の説明で
はこの解像度と量子化数を例に用いて説明する。

【００６７】今後の説明のために１画素分の出現頻度カ
ウンタ（上記の例で言えば２５６個）を集合的に「１ス
ロットのカウンタ」と呼ぶことにする。各スロットのカ
ウンタは各画素に対する輝度の出現頻度ヒストグラムに
相当する。

【００６８】実装するカウンタ数を節約するために２５
６段階を１２８段階に１／２に縮小して、頻度カウンタ
を構成することもできる。その場合は背景画像を再構成
する場合に輝度値を２倍にすることになる。

【００６９】また、画像サイズを３２０×２４０から１
６０×１２０にスロット数を１／４に縮小して構成する
こともできる。この場合は各スロットのヒストグラムか
ら背景画像の４画素の輝度値を抽出することになる。

【００７０】スロット数を縮小させると最終的に再構成
される背景画像の解像度が悪くなるが、これは背景画像
の利用目的と必要な精度によって適切に決めるべき課題
である。

【００７１】さて、まず全スロットのカウンタは、つま
り３２０×２４０×２５６個のカウンタは、全て０にリ
セットされた状態にある。

【００７２】２．ステップ２０２ 入力画像は、Ａ／Ｄ変換器１０１によりデジタル化され
る（ステップ２０２）。

【００７３】なお、デジタル化された画像が入力する場
合は、このステップは省略可能である。

【００７４】３．ステップ２０３，２０４ 蓄積条件判断手段１０３により入力画像を蓄積対象とす
るか判断される（ステップ２０３）。

【００７５】頻度分布生成手段１０４は入力画像の全画
素に対して、当該画素の位置に相当するスロットの当該
画素の輝度値に相当するカウンタを１増加させる操作
（カウントアップ）を行う。１フレームの入力画像に対
して全画素のカウンタをカウントアップする。また、こ
の操作に対応して蓄積条件判断手段１０３内部のフレー
ムカウンタを１カウントアップする。１フレームの画像
入力に対して行う以上の操作を「蓄積操作」と呼ぶこと
にする（ステップ２０４）。

【００７６】フレームカウンタが予め決めた蓄積回数に
到達するまで蓄積操作を繰り返す。

【００７７】一連のフレームに対して行う以上の操作を
「蓄積処理」と呼ぶことにする。例えば蓄積回数を２５
６フレームと決めたとすれば、およそ９秒で蓄積処理が
終了する。

【００７８】蓄積処理の蓄積回数をフレームカウンタの
値で制御する方式は、背景画像を更新する時間間隔が一
定になる効果がある。通常はこの方式で有効である。

【００７９】蓄積処理の蓄積回数をフレームカウンタの
値で制御せず、どこかのスロットのどこかのカウンタが
飽和（オーバーフロー）した時点まで蓄積操作を繰り返
すとしても良い。蓄積回数を設定する方式では予め適当
な更新間隔を経験的に値を設定する必要があるが、この
場合は経験的な値の設定が不要になるという効果があ
る。

【００８０】４．ステップ２０５ 蓄積操作の済んだ頻度分布生成手段１０４からそれぞれ
の画素の輝度代表値を抽出する処理を行う（ステップ２
０５）。

【００８１】代表値抽出手段１０５は、各スロットのヒ
ストグラム（各画素の出現頻度カウンタ）の最大頻度と
なった値を抽出し、その値を当該画素の輝度として抽出
する。このように各画素の輝度値を設定する。

【００８２】なお、ここでは、最大頻度を背景画像の示
す輝度と考えている。

【００８３】５．ステップ２０６ この輝度値を再構成すると、撮影画像から車両を除去し
た画像、すなわち背景画像が得られる。再構成された背
景画像が装置の出力である（ステップ２０６）。

【００８４】今後の説明ではステップ２０６の処理を
「背景更新処理」と呼ぶ。

【００８５】なお、最新の背景画像は輝度補正手段１０
２や頻度分布生成手段１０４の処理に使われる。また、
最新の背景更新処理の時刻は蓄積条件判断手段１０３に
送信され、条件判断データとして使われる。

【００８６】実施例１では蓄積条件判断手段１０３はほ
とんど無条件に蓄積処理を実行させた。実施例２以下で
は、様々な環境に対する適切な条件判断方法を説明す
る。

【００８７】（実施例２）実施例１では頻度分布生成手
段１０４の蓄積操作は毎フレーム実行した。これを任意
のフレーム間隔をおいて蓄積操作するように変形しても
良い。

【００８８】画像中の車両の移動速度が遅い場合、蓄積
時間を短時間にすると非走行路輝度（車体の輝度）がヒ
ストグラム中で支配的になる場合がある。

【００８９】この場合は蓄積時間は長時間に設定すれ
ば、車体の輝度の蓄積数が減少し走行路輝度の蓄積数が
増える。

【００９０】したがって、車両の速度が遅い場合は蓄積
時間を長くする方が良い。

【００９１】フレーム間隔をおく方法は、長時間の蓄積
を行ってもスロット内のカウンタが容易に飽和しなくな
る効果がある。

【００９２】（実施例３）実施例１では背景画像を出力
した後のカウンタのリセット（ステップ２０１、ただし
初期段階のリセットではなく繰り返し実行されるリセッ
ト）で全スロットの全輝度の蓄積回数カウンタを０に初
期化するとして説明した。この方法では蓄積処理の度に
背景画像が完全に更新されるので、比較的短時間に背景
画像を更新する場合に有効である。すなわち背景の状態
の変化が速い場合に有効である。

【００９３】屋外環境では短時間で背景画像の状態が変
化する状況は非常に多い。物体の影が走行路に投影され
ていて、それが太陽の動きと共に動く場合や、太陽が雲
の陰に入ったりして光量が急激に変化する場合などがそ
うである。このような環境では背景画像を頻繁に更新す
る必要がある。しかしあまり短時間で背景画像を生成す
るとノイズを拾う可能性も高くなる。

【００９４】一方、曇天の屋外環境で物体の影が明瞭で
ない場合や、トンネルなどの屋内環境の場合は、短い時
間での背景画像の変化はそれほど大きくない。曇天の屋
外環境や屋内環境の場合は、朝昼晩の光量の変化や、天
候による光量の変化など比較的長い時間の変化が多い。
この場合ノイズを除去するためには長時間の蓄積を行う
方が精度の良い背景画像が生成される。しかしある程度
の短い時間間隔で背景画像を更新しないと、環境に変化
があった場合についていけない。

【００９５】このように、蓄積時間は比較的長く設定し
たいが、更新間隔は比較的短く設定したい場合がある。
このような処理を実現する方法となるカウンタのリセッ
ト方式を説明する。

【００９６】このような状況に有効な方法は、背景画像
を出力した後のカウンタリセットで、全輝度値の頻度カ
ウンタを０に初期化するのでなく、全輝度値の頻度カウ
ンタを１以上の定数で一律に割るリセット動作である。

【００９７】具体的には、カウンタの値を１／２倍また
は１／４倍する。カウンタを１／２倍にするということ
は、ハードウェア的に言うと最下位１ビットを落として
１ビット右シフトすることに相当し、カウンタを１／４
倍にすることは同様に２ビット右シフトすることに相当
する。

【００９８】カウンタを１／２倍するリセット方式をと
ると、出現頻度カウンタに対して前サイクルの蓄積処理
の結果は５０％の寄与率で計算されることになり、前々
サイクルの蓄積結果は２５％の寄与率で計算される。さ
らにその前のサイクルは再帰的に小さな寄与率で計算さ
れる。

【００９９】すなわち、過去のデータは徐々に忘却し、
新しいデータに重みのある頻度分布を蓄積することがで
きる。

【０１００】（実施例４）実施例４では自動絞り機能に
よる輝度変化に対応する場合の装置構成及び処理方法に
ついて説明する。

【０１０１】すなわち、実施例４は、実施例１の基本構
成に輝度補正手段１０２の加えた時の構成を説明してい
る。

【０１０２】監視カメラのレンズ系に自動絞り機能が搭
載されている場合、画角内に進入した車両の明るさによ
って全体の絞り量が調整される。この結果、画面内の全
ての画素の輝度値が変化してしまう。つまり、本来同じ
輝度であるべきな走行路の輝度も変化してしまう。

【０１０３】例えば、画像中の画素で車両の進入に関係
がなかったために走行路が継続して写った画素は、本来
ならば同じ明るさの輝度値を示すはずである。しかし、
自動絞り機能が搭載されていると、走行路の輝度が変動
したために蓄積した輝度の頻度分布の形状がおかしくな
る。

【０１０４】例えば、２つの釣り鐘状の分布に分かれて
しまったり、広い輝度の範囲に分散してしまう場合があ
る。走行路の輝度値が分布形状に特徴的に現れなくなる
のである。このような場合は、正しい背景画像を再構成
できない。

【０１０５】このため画像内の一部に、基準輝度を抽出
するための小さな領域（例えば、１０×１０画素や５×
１２画素の矩形領域）を設定する。この小領域を説明上
「パイロット領域」と呼ぶ。パイロット領域は例えば建
物の屋根などに設定し、その位置に、車両、人物、それ
らの影など、移動して進入する何らかの物体が進入しな
いような場所を選ぶ（建物の影など移動しないものなら
ば進入する可能性があってもよい。）。

【０１０６】装置の構造上は、輝度補正手段１０２に蓄
積を開始したフレームのパイロット領域の輝度平均値Ｉ
ｓが記憶されている。説明上Ｉｓをパイロット領域の
「基準輝度」と呼ぶ。入力されたデジタル画像１フレー
ム毎に、入力フレームのパイロット領域の輝度平均値Ｉ
ｉと、パイロット領域の基準輝度Ｉｓの差Ｉｄを計算す
る。

【０１０７】Ｉｄ＝Ｉｉ−Ｉｓ 差があるということは、蓄積を開始した時点での画像全
体の明るさと、現フレームでの画像全体の明るさに差が
あることを示している。

【０１０８】輝度補正手段１０２は、現フレームの画素
の輝度値から輝度差Ｉｄの分を補正して蓄積条件判断手
段１０３に送信する。補正方法は加法的な補正と乗法的
な補正があるが、一般には加法的な補正でよい。

【０１０９】加法的な補正方法は、入力した画像の各画
素の輝度値をＶｉとし、補正された輝度値をＶｏとする
と、 Ｖｏ＝Ｖｉ−Ｉｄ となる。

【０１１０】また、乗法的な補正をする場合は、以下の
式に従えばよい。

【０１１１】 Ｒｄ＝Ｉｉ／Ｉｓ Ｖｏ＝Ｖｉ／Ｒｄ いずれの方法にしろ、このＶｏを入力画像の輝度値とし
て扱い背景画像を再構成したり、この後の実施例で説明
するような画像の変化の解析を行えばよい。

【０１１２】この他にも補正方法はあり、非線形な補正
方法もある。複雑な補正方法を利用する場合は、予め補
正用の数値のテーブルを作っておいて、処理中ではテー
ブルをひく処理を行えばよい。

【０１１３】なお、いずれの方法でも輝度値のオーバフ
ローや０割りが発生して処理が行き詰まらないように注
意する必要がある。

【０１１４】このようにして自動絞り機構による輝度変
化が補正できる。

【０１１５】（実施例４の変更例１）実施例４の変更例
１として、パイロット領域の基準輝度Ｉｓを蓄積を開始
したフレームから抽出せずに、前回の背景画像（前サイ
クルの背景画像）から抽出する方法がある。

【０１１６】この場合、前回の背景画像から基準輝度を
抽出し、その値が一定になるように現在処理中の背景画
像の輝度を補正するのであるから、背景更新を何度繰り
返しても基準輝度の値が変化しないことになる。

【０１１７】つまり、朝から昼への変化のように、実際
には画像全体の明るさが変化しているのに、パイロット
領域の基準輝度を一定に保たれるように、全体の明るさ
が調整されてしまうという問題が発生する。

【０１１８】したがって、この場合は、補正しない状態
のパイロット領域の平均輝度の出現頻度分布を別途生成
し、現在の時点におけるパイロット領域の輝度平均値を
計算し、再構成された背景画像をその輝度平均値に合致
するように修正する必要がある。

【０１１９】（実施例４の変更例２）実施例４の変更例
２としてパイロット領域を複数設定する方法がある。建
物の屋根などのように、進入物が入る可能性が低く、安
定して輝度を測定できる地点がある場合はよいが、その
ような地点が無い場合もある。このような場合に備え
て、パイロット領域を複数設置する。

【０１２０】複数のパイロット領域の基準輝度に対し
て、実施例４と同様に基準画像と現フレームの輝度差を
計算する。複数のパイロット領域の中で、輝度の変化が
最も少なかった領域が、物体の進入が無かった方である
と判断すればよい。その領域の輝度変化量を用いて（Ｉ
ｄまたはＲｄを使って）輝度値を補正する。

【０１２１】複数のパイロット領域を設定する場合は、
いずれの時間においても全てのパイロット領域に同時に
車両が進入することがないような場所に設定する。

【０１２２】（実施例５）実施例５では、交差点の手前
など車両が停止する確率が高い地点を監視する場合の構
成方法を説明する。

【０１２３】交差点の手前では、信号サイクルの半分は
赤信号なので車両が停止状態にある。また、信号が青に
なっても車群が動き出すにはタイムラグがあるし、交差
点内が渋滞するなど青信号の最後まで車群が流れている
とはいえない。すなわち、時間的に考えると車両が停止
している時間の方が長い。

【０１２４】このような場合、実施例１や実施例２で説
明したように、一定間隔で画像を入力して蓄積を行った
のでは、走行路の輝度よりも車両の輝度を抽出すること
になり所望の背景画像を得られない。

【０１２５】そこで車両が移動している時間帯にのみ蓄
積処理を行うように条件設定を行う。

【０１２６】まず、画面中に走行路を縦断するように
「試験領域」を設定する。試験領域としては走行路を縦
断する方向、すなわち、車両の進行方向に長いスリット
形状の領域などが有効である（図３）。このスリット形
状の試験領域を今後の説明では「サンプルスリット」と
呼ぶことにする。

【０１２７】サンプルスリットの形状や設置位置に関し
ては、この後の実施例で様々な環境に有効な方法を説明
していく。一般に形状は細長いスリット形状でよいが、
この形に限られたものではない。設置位置は環境によっ
て適切な位置が存在する。

【０１２８】車両が移動している時間帯を蓄積時間帯に
するためには、このサンプルスリット内の輝度変化を毎
フレーム観察し、サンプルスリット内の時間差分値の総
和が予め定めた閾値より大きい時間帯を蓄積時間帯とす
ればよい。

【０１２９】時間差分値（前フレームの画素値と現フレ
ームの画素値との差）は、車両が停止状態であるときに
小さな値になり、車両が移動している状態では大きな値
になる。したがって時間差分値を判断基準とすれば、車
両が移動している時間帯を検出することができる。

【０１３０】サンプルスリットの形状を走行路を縦断す
る方向に長く設定することにより、(1) 車両の移動方向
が縦方向なので車両が移動していることを連続的に検出
可能であること、(2) 同一車線の複数の車両の移動を同
時に検出できること、(3) 車両には横方向のエッジ成分
が多いために縦方向の時間差分に大きな値が検出できる
こと、などの多数の効果が発揮される。

【０１３１】実施例５の方式では蓄積時間帯が時間的に
細切れになる。蓄積時間の累積、または、頻度蓄積値の
累積、が予め設定した条件を満たした場合に代表値抽出
処理を行えば、何らかの時間間隔を空けて背景画像が更
新されることになる。

【０１３２】（実施例６）実施例５の変更例として自動
絞り機能による輝度変化に対応する方法を説明する。

【０１３３】自動絞り機能が搭載されている場合は、実
施例５のようにサンプルスリット内の時間差分値で判断
するだけでは自動絞り機能による輝度変化にも反応して
しまう場合が多い。

【０１３４】実施例４に説明したように、画像中に基準
輝度を抽出するためのパイロット領域を設定すると画像
の全体的な明るさの変化を除去した変化を検出すること
ができる。実施例４で説明した方法に従えば輝度補正さ
れた入力画像の輝度値が得られる。これから輝度補正さ
れた背景差分値が得られる。この輝度補正された背景差
分値の時間差分値は、自動絞り調整機能の影響を差し引
いた画像の時間変化量に相当する。

【０１３５】つまり、この背景差分値の時間差分値のサ
ンプルスリット内の総和が大きい時が車両が移動してい
る状態に相当し、総和が小さい時が車両停止状態に相当
する。

【０１３６】以上のように、輝度補正された背景差分値
の時間差分値のサンプルスリット内の総和を判断基準に
することで、自動絞り調整機能付の映像であっても、車
両の移動中だけで蓄積処理をすることが可能になり、精
度の良い所望の背景画像を生成することが可能になる。

【０１３７】（実施例７）実施例５と実施例６のように
領域内の車両の移動を検出して蓄積時間帯とする方法
は、交通量の多い道路では有効に作用する。一方、交通
量の少ない道路の場合は車両が映らない時間帯に積極的
に背景画像の更新を行いたい場合がある。逆にいえば、
交通量が少ない時間帯は車両が存在しない間に背景更新
をしておかないと背景更新する機会がなくなってしまう
ので、車両の非存在を検知して背景更新する機構を組み
込むことが必要なのである。実施例７ではこのような状
況に対応できる方法を説明する。

【０１３８】実施例７の方法は、サンプルスリット内の
エッジ強度の総和が大きい場合に、走行路に車両が存在
すると判断し、総和が小さい場合には車両が存在しない
と判断する。そして車両が存在しない時間帯を蓄積時間
帯とする方法である。

【０１３９】一般に舗装された走行路はエッジ成分がな
く滑らかであるが、車両が進入するとその端点にエッジ
が検出される。したがって車両が進入したことをエッジ
成分値の総和で検出できるのである。

【０１４０】（実施例８）実施例８は実施例７と同様の
効果を実現する別の実施例である。

【０１４１】実施例７と同様に交通量の少ない道路で車
両が存在しないことを検知して背景更新するための方法
である。実施例８の方法は、サンプルスリット内の分散
値の総和が小さい場合を蓄積時間とする方法である。

【０１４２】車両が存在しない状態でも舗装状態や照明
条件の変化により、走行路の分散値の大きさは変化す
る。予め車両が存在しない場合のサンプルスリット内の
分散値を算出し、随時比較する必要がある。

【０１４３】実施例７及び実施例８とも車両の移動を検
出する試験領域の形状としては、走行路を縦断する方向
に長く、走行路を横断する方向に短い矩形領域、すなわ
ちスリット形状であるとして説明した。前述の説明のよ
うにこの形状は効果的であるが、この形状に限られたも
のではない。

【０１４４】また、試験領域の設置位置に関しては、有
効な設置位置は実施例７と実施例８とも共通である。

【０１４５】まず、第１の例としては、走行車線の中心
線にスリット形状の延長方向を合わせるように設置する
方法がある。

【０１４６】中心線付近は車両の横ずれ位置に依らず車
両が通過する可能性が高く、安定した結果が得られる効
果がある。

【０１４７】試験領域の設置位置の第２の例は、走行路
にペイントされた標示類を含まない位置に設置する方法
である。

【０１４８】走行路の標示など各種のペイントの輪郭は
エッジが明瞭で強い画像特徴を持つ。このようなエッジ
部分は、日照条件の変化などで画像のコントラストが変
化した場合にはその強度が大きく変化し、エッジ強度の
総和や分散値の総和が大きく変化する場合があるからで
ある。

【０１４９】具体的には、図５に示すように、走行路に
ペイントされた標示（走行路の中心）より横方向にずら
して試験領域を設置する。

【０１５０】このように、ペイントされた標示類を含ま
ない位置に設置する方法は、画面のコントラストの変化
に強くなる効果がある。

【０１５１】ペイントを含まない位置に試験領域を設置
することができない場合は、撮影する場所や時間による
画像のコントラストの変化を考慮して、様々な条件にお
いて車両が存在しない場合のサンプルスリット内のエッ
ジ強度や分散値の総和を予め計測しておき、その値と比
較することなどが必要となる。

【０１５２】（実施例９）交差点付近を監視対象とする
場合、サンプルスリットは交差点直前の停止線付近に設
定するのがよい。

【０１５３】一般に交差点の付近では停止線の位置に停
止車両が存在する可能性が高い。先頭の車両が停止線の
位置に停止すると後続の車両はその後ろに停止するほか
ない。先頭の車両が停止状態であるときでも、後続の車
両が間隔を詰めるために移動することがあるが、先頭の
車両は停止状態にあるのだから、蓄積時間帯としては不
適切である。一方、先頭の車両が移動すれば車線全体が
流れるようになる。つまり、先頭の位置の車両が停止状
態ならば車線全体が停止状態と判断することができ、先
頭の位置の車両が移動していれば車線全体が走行状態に
あると判断することができるのである。

【０１５４】またサンプルスリットを不必要に長く設定
すると、先頭車両が停止状態にある場合にも、間隔を詰
めるために接近する後続の車両の移動を検出して、車線
全体が移動中であると誤判定する可能性がある。この意
味でも先頭車両を重視したサンプルスリットの形状を設
定することが有効である。

【０１５５】以上のように交差点付近を監視対象とする
場合には、サンプルスリットは停止線の近辺に、先頭車
両を含めるように設定するのが有効である。

【０１５６】（実施例１０）複数の車線を１つのカメラ
で監視する場合や、カメラ設置位置に制約があった場合
などは、走行車線の直上に監視カメラが設定できない場
合がある。このような場合にはサンプルスリットを車線
の中央に設置するのではなくカメラから遠い側にずらし
て設置するのが有効である。

【０１５７】走行車両は車線の中心を走行するとは限ら
ず車線幅の範囲内で左右にずれながら走行する。したが
って車線内のどの位置を走行する車両も確実に検出でき
る位置に設置することが重要である。

【０１５８】カメラを上方に設置し下に向けた場合、２
次元の画像に投影される状況を考えると、車両は車高分
の高さがカメラから遠方側に倒れ込んだ形状に投影され
る。

【０１５９】模式図を図４に示す。

【０１６０】つまり、見かけ上車両は車線の手前側から
遠方側に伸びた形になる。よって、車線の中心線より遠
方側には、手前側を走行する車両の一部も投影される
し、遠方側を走行する車両の一部も投影されるのであ
る。したがって、サンプルスリットは車線の中心線に設
置するのではなく、カメラから遠方側にずらして設置す
るのが効果的である。

【０１６１】また車線の中央には、マンホール、スプリ
ンクラー、融雪装置、エナメルのペイント、舗装の継目
など、画像特徴のある物体が埋め込まれている場合が多
い。

【０１６２】実施例７、実施例８のように画像のエッジ
成分や分散値を利用する方式ではこのような画像特徴を
ノイズとして抽出しやすい。車線中心からずれた場所は
画像特徴が少なく、画像処理上都合がよい。

【０１６３】以上のような理由で、サンプルスリットを
車線中心位置からずらしてカメラ遠方側に設置する方式
は有効である。

【０１６４】（実施例１１）実施例１１では、複数の車
線を同時に扱う方法について説明する。

【０１６５】車線を複数扱う場合はサンプルスリットを
各車線毎に個別に設置する方法が有効である。

【０１６６】交差点付近のように交通量が多く停止車線
が多い場所では、蓄積処理は全ての車線が流れている状
況だけに行うのが効果的である。なぜなら停止状態の車
線が１つでもあれば、蓄積処理を行ってもその車線の画
像から車両を除去して背景画像を作成することができな
いからである。

【０１６７】全ての車線が流れている状況だけで蓄積処
理を行うには、各車線に個別にサンプルスリットを設置
し、個別に条件判断をした上で、その条件の論理積をも
って全体の条件を判断すればよい。

【０１６８】実施例１１は、比較的交通量が多い交差
点、または時間帯に有効な方法である。

【０１６９】（実施例１２）実施例１１が比較的交通量
が多い状況に有効な方法であるのに対して、実施例１２
は比較的交通量が少ない交差点、または時間帯に有効な
方法である。

【０１７０】交通量が少ない状況では、全ての車線で車
両が移動中である状況は少なくなる。どちらかといえ
ば、複数の車線のうちの１つだけに車両が存在する場合
が多くなる。したがってこの場合は各車線毎の条件の論
理和をもって全体の条件を判断すればよい。

【０１７１】このように交通量が少ない環境では、車両
が移動中であるという条件の論理和をもって全体の条件
を判断する。

【０１７２】（実施例１３）都心部の交差点など車線が
多くなると、車線毎に車両が流れるタイミングが異なる
ことが多い。実施例１１、実施例１２などのように画面
全体を同じタイミングで蓄積処理したり、背景更新処理
を行うのは適切でないことが多い。

【０１７３】このような場合は、画像領域を複数の走行
路（車線）ごとに分割し、それぞれ個別に蓄積条件の判
断（すなわち蓄積処理）をしたり、蓄積したヒストグラ
ムから代表値を抽出して背景画像を再構成する処理をで
きるようにする方法が有効である。

【０１７４】（実施例１４）実施例１３の特殊条件とし
て右折車線の取り扱いについて説明する。右折車線は特
に本線車線と異なる特殊な流れになる場合が多いので、
本線車線と別に背景画像生成を行うことが有効である。

【０１７５】進路が複数の車線に分割されている場合、
右折車線は独立して設定されている場合が多い。また、
信号灯の制御方式でも右折矢印の信号を本線の青信号と
時差を与えられて点灯する場合が多い。そのような地点
では右折車線だけは本線とは流れるタイミングが異なる
場合が多い。このような状況では少なくとも右折車線だ
けは独立して蓄積条件の判断（すなわち蓄積処理）をし
たり、蓄積したヒストグラムから代表値を抽出して背景
画像を再構成する処理をできるようにする方法が有効で
ある。

【０１７６】一般には右折車線も車両が移動している時
間帯を蓄積時間帯とする方式でよい。

【０１７７】なお、この右折車線の特殊性については、
左側通行を行う日本国の問題であり、これが右側通行の
国やその他特別な交通規則がある国については、その国
に対応して特殊な流れになる車線について本実施例を適
用すればよい。

【０１７８】（実施例１４の変更例）実施例１４の変更
例として、右折車線は本線車線と条件判断方法を変え
て、右折車線に車両が存在しない時間帯を蓄積時間帯と
して設定する方法がある。

【０１７９】右折車線は本線信号が青の時間帯も、対向
車線に妨げられて停止状態にある場合が多い。本線信号
が赤の時間帯ももちろん停止状態にある。つまり、右折
車線は信号のサイクルに対してほとんどの時間帯は停止
状態にある。したがって右折車線が流れている時間帯は
短いので、車線内の車両が移動中である条件に輝度の頻
度蓄積を行っても、時間的にも蓄積数としても十分な量
を蓄積することができない。つまり背景を更新する間隔
が長くなってしまうのである。

【０１８０】したがって、右折車線の場合には車両が移
動していることを条件に（特に先頭車両が移動している
ことを検出するのが重要であることは既に説明した）す
る方法や、右折車線に車両が存在しないことを条件にす
る方法、または、これら２つの条件のどちらかが満たさ
れれば蓄積処理を行う方法など、本線車線とは異なる条
件判断方法で蓄積処理を行うことが有効である。

【０１８１】右折車線の条件判断方法の選択は、監視す
る地点の交通量（通過台数や密度）や待ち状態に応じて
最適な方法を選択することになる。交通量が非常に少な
い場合は、実施例８で説明したように車両が存在しない
時間帯を少なくとも１つの条件に設定して蓄積処理を実
行する方法が有効である。交通量が中程度の場合は、一
般的な条件と等しくして、車両が走行中に蓄積処理を実
行する方法が有効になる。

【０１８２】交通量が多く停止状態になることが非常に
多い場合は、処理方式自体は、車両が存在しない時間帯
に蓄積処理と背景更新を行う方式を取るのだが、右折車
線をさらに小さなブロックに分割し、ブロック毎に車両
の存在を判定し、蓄積処理と背景更新処理を実行する方
式をとることも有効である。

【０１８３】（実施例１５）これまでの実施例では、試
験領域としてサンプルスリットという進行方向に長いス
リット形状の領域を設定し、輝度の変化やエッジ強度の
変化などを利用することで、蓄積時間帯や背景更新タイ
ミングを制御し、背景画像の再構成を行ってきた。

【０１８４】輝度の変化やエッジ強度の変化を利用する
という考え方は、スリットの形状を１つに決めるもので
なく、様々な形状のサンプル領域が設定できる。一般的
な矩形の小領域を設定し同様な考え方を利用することが
できる。

【０１８５】この場合の条件としては２つある。第１
は、あまり小さな領域を設定するとエッジ強度の経んか
量の信頼度が低くなるので、ある程度大きな領域を設定
することである。第２は、進行方向にサンプル領域が多
数配置されるように設定することである。

【０１８６】また、同一車線内を複数のサンプル領域に
分けた場合は、実施例１１や実施例１２の車線ごとに分
割した場合と同様に、論理積や論理和を使い分けること
が必要となる。重要なのは蓄積する効果的な時間帯を選
択するということである。

【０１８７】試験領域として矩形の小領域を設定した場
合でも、これまで説明した実施例が応用できる。矩形の
小領域の場合には、「小領域の輝度に時間変化がある場
合に蓄積処理を行う」方法や、「小領域の補正された輝
度に時間変化がある場合に蓄積処理を行う」方法などが
有効な方法となる。

【０１８８】（実施例１６）実施例１６はサンプルスリ
ットなどの試験領域を設定せずに蓄積時間帯を制御する
方法である。

【０１８９】初期状態で理想に近い所望の背景画像が生
成でき、自動絞り機構による輝度変化の補正が効力を発
揮できている環境では、背景画像と現在の入力フレーム
との差分をとること（この差分画像を背景差分画像とい
う）で、車両など画像中の変化領域を検出できる。装置
やプログラムの実装上、輝度の変化量が比較的小さい場
合は変化領域は検出しない（ノイズと考える）。

【０１９０】このような状況では画像中のいずれかの領
域で変化領域が検出された場合には蓄積時間帯とせず、
画像中のどこにも変化領域が検出されない場合には蓄積
時間帯とすれば良い。

【０１９１】この方式は実装上、制御用パラメータの数
が少なく構成できるので、特に交通量の少ない場所に有
効である。

【０１９２】この方式でも朝、昼、晩などのゆっくりし
た背景画像の変化には十分追随できる。

【０１９３】ただし、太陽と雲の関係で、周囲の建物の
影が急激に現れたり消えたりする環境にはこの方式は向
かない。一方、トンネル内のように急激な影の変化や状
態の変化が無い環境には向く。

【０１９４】（実施例１７）実施例４で説明した自動絞
り機能の補正方法は、パイロット領域に何らかの異常変
化がった場合（鳥や人間などが入った場合や、パイロッ
ト領域に水溜りができて照明の鏡面反射を起こした場合
など）に失敗する場合がある。

【０１９５】基準輝度の抽出に失敗した場合は、画像全
体の補正量を誤るので、画面のほぼ全体が変化領域とし
て検出されることになる。

【０１９６】この場合は、走行路領域の輝度を正しく補
正できていないのだから、この瞬間は蓄積を中止するこ
とが有効である。

【０１９７】以上のように全画面領域が変化領域として
検出された場合は蓄積時間から除去することが有効であ
る。

【０１９８】（実施例１８）多くの実施例で説明したよ
うに、本発明の方法は画像輝度の変化によって導かれた
蓄積条件を満たす場合にのみ蓄積処理を始める。

【０１９９】しかし、少ない条件設定だけではデッドロ
ックに陥る可能性がある。

【０２００】例えば、設定した条件だけでは初期の蓄積
がいつまでも始まらない場合がある。また、実環境の交
通量などが予想と異なると、蓄積条件判断手段に適さな
いロジックが実装され、実環境が想定した条件を満たす
ことがなくいつまでも誤動作を続ける場合がある。ま
た、正常動作を始めた後でも、一旦誤った背景画像にな
ってしまうと、その背景画像を用いた条件判断が誤判断
を繰り返し、いつまでも背景画像が良い方向に修正され
ない場合がある。

【０２０１】このような様々なデッドロックが考えら
れ、その状況を打開する機能を盛り込む必要がある。

【０２０２】デッドロック状態に有効なのは背景更新が
長時間実行されていない場合に、蓄積処理を開始する方
法が有効である。

【０２０３】このために蓄積条件判断手段１０３の内部
にはタイマーが組み込まれ、前回の背景更新時刻が記憶
されている。

【０２０４】（実施例１９）実施例１９では、代表値抽
出手段１０５の変更例について説明する。

【０２０５】実施例１では最大累積数を示した画素値を
もって代表値とした。一般には最大累積数を示した画素
値が走行路輝度に相当する。なぜなら走行路輝度が時間
的に最も頻繁に出現するからである。しかし車両通行台
数が多くなってくると、車体の輝度や影の輝度が頻度分
布の中で出現数が増えてくる。車体の輝度（見かけ上は
色や明るさ）は様々であるから累積時間を長くすれば個
々の輝度値は分布の中に埋もれていく。一方、影の輝度
は車体の輝度に依らず一定である。したがって車両通行
台数が多い場合は影の出現頻度が多くなる。

【０２０６】影の輝度、または影の輝度範囲を何らかの
方法で特定できれば、累積ヒストグラムから影の部分を
除いた最大頻度の輝度を抽出するのが有効である。ただ
し個別の画素のヒストグラムから影の輝度、または影の
輝度範囲を特定するのは困難なので、何らかの方法で影
の輝度を抽出する必要がある。

【０２０７】影の輝度を抽出する方法としては、例えば
画角内の既知の位置に確実に影の領域を生成できるよう
な領域を設定し、その影の輝度を継続して計測し、その
輝度に近い輝度を影の輝度と設定する方法などがある。
また、画面全体の輝度出現頻度ヒストグラムを生成し、
同様に画角内の既知の位置に確実に影の領域を生成する
領域を設定し、そこの輝度に近い分布の輝度範囲をＥＭ
アルゴリズムなどで推定し影の輝度範囲とする方法など
がある。

【０２０８】画角内に確実に影の領域を設定するために
は、例えば、４方向を壁で囲まれ、その内部は上方の監
視カメラから見えるという領域を作ればよい。

【０２０９】（実施例２０）輝度の出現頻度分布を生成
すると、飽和輝度に関しては注意が必要になる。例えば
輝度の量子化を２５６段階とすると、０〜２５５の輝度
レベルに量子化される。この場合、輝度を量子化したと
きに、０以下、あるいは２５５以上の輝度レベルになる
と、全て０または２５５に値を丸められる。つまり、白
色など明るい色の車両の輝度は、見かけ上少しの差があ
ったとしても、飽和して全て２５５の輝度値になる。

【０２１０】したがって、白色など明るい色の車両が多
く通過した場合、分布としては輝度２５５の出現値が突
出して多くなり、本来の走行路の輝度より出現数が多く
なる場合がある。

【０２１１】このような現象を回避して適切な背景画像
を生成するためには、０あるいは２５５という飽和輝度
を代表輝度として抽出しない方法が有効である。

【０２１２】（本実施例の適用例）本発明の上記実施例
で説明した背景画像生成装置１００を利用して交通流監
視システムを構成する適用例について図６及び図７に基
づいて説明する。

【０２１３】図６は監視カメラの設置状況を示す模式図
である。

【０２１４】図６のようにカメラは走行路上の高い位置
から下向きに設置され、走行路を走行する車両が映るよ
うに設置されている。

【０２１５】走行路には複数の車線があっても良いし、
複数の車線の交通流を１つのカメラで撮影しても良い
し、車線毎にそれぞれ別々のカメラを設置しても良い。

【０２１６】また、カメラは横向きに（車両の進行方向
が画角の水平方向に平行になるように）設置する方法も
あるし、縦向きに（車両の進行方向が画角の垂直方向に
平行になるように）として説明する。

【０２１７】図７は、横向きに設置した監視カメラで撮
影された映像の模式図である。

【０２１８】図７のようにそれぞれの車線に車両が映っ
ている。

【０２１９】交通流監視システムの目的は、このような
画像から各時刻の車両位置を抽出し、その時間的な軌跡
を抽出し、車線毎の通過台数や各時刻のそれぞれの車両
の速度を抽出することである。

【０２２０】またそれらのデータから空間占有率や時間
占有率を求めたり、時間平均速度（例えは１分間に通過
した全ての車両の平均速度）を求めることもある。

【０２２１】あるいは走行軌跡から、停止車両の存在を
検出したり、車両の避走（車両がある領域を避けて走行
し、連続して車線変更が繰り返されること）などを検出
することもある。

【０２２２】また、検出対象は車両だけでなく、タイ
ヤ、段ボール箱などの落下物を検出して、走行路上に起
きた突発事象を検出することもある。

【０２２３】このような交通流監視システムでは、図７
のように撮影された映像から車両位置を正確に切り出す
処理の精度が、システムの精度を決めるボイントにな
る。

【０２２４】車両を正確に切り出すためには、走行路上
に車両が存在しない「背景画像」を用意して、「入力さ
れた映像」と「背景画像」の差分を取って（背景差分し
て）、差分値が検出された領域を車両であると判別すれ
ば良い。

【０２２５】そしてこのとき、背景差分した結果にはビ
ルの影などの影響が無いことが望まれる。特に、屋外の
環境にこの様な交通流監視システムを設置する揚合は、
入力画像には影が入りこむ可能性が非常に高くなる。ま
た、屋外の建物の影は天候や時間によってその位置や濃
さが大きく変化する。また、交差点近辺であれば画像内
に車両が存在しない時間帯というものはほとんど無い。
したがって背景画像を得ることは簡単ではない。

【０２２６】そこでこのような屋外環境という難しい環
境でも正確な背景画像が得られる装置１００が非常に重
要な役目を果たすことになる。

【０２２７】本発明で提案した背景画像生成装置１００
はこの様な状況で、最も効果的に利用される。

【０２２８】なお、カメラで撮影する画角はこの角度に
限られたものではなく、後追い方向（車両の走り去る方
向を撮影する角度で、車両の背面が多く映る）でも、正
面方向（車両の近付いて釆る方向を撮影する角度で、車
両の正面が多く映る）でも同様に背景画像生成装置１０
０を構成することができる。

【０２２９】

【発明の効果】以上説明したように、本発明によれば、
蓄積条件判断手段が、入力画像の輝度変化から蓄積すべ
き時間帯と蓄積をすべきでない時間帯を識別すること
で、交差点の近辺など車両が停止状態にある場合が多
く、走行路が見える時間が少ない場合でも、精度のよい
背景画像が生成できるようにした。

【０２３０】これにより、交差点など交通量の多い部分
でも精度の良い背景画像をもとに、通過車両の位置や台
数を精度良く抽出することが可能となり、交通監視シス
テムやＩＴＳシステム、ＡＨＳシステムなど、高度交通
システムに不可欠な画像監視システムの実現に途が開か
れ実用上多大な効果が奏せられる。

【図面の簡単な説明】

【図１】本発明の背景画像生成装置の構成図である。

【図２】背景画像生成装置のフローチャートである。

【図３】走行路の第１の模式図である。

【図４】走行路の第２の模式図である。

【図５】実施例８の走行路の模式図である。

【図６】監視カメラの設置状況を示す模式図である。

【図７】カメラで撮影された映像の模式図である。

【符号の説明】

１００ 背景画像生成装置 １０１ Ａ／Ｄ変換器 １０２ 輝度補正手段 １０３ 蓄積条件判断手段 １０４ 輝度分布判断手段 １０５ 代表値抽出手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/36 Ｇ０６Ｆ 15/62 ３８０ Ｈ０４Ｎ 7/18 15/66 ４７０Ａ Ｇ０９Ｇ 5/36 ５２０Ｐ ５２０Ｃ (72)発明者 武田 信之 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究センター内 Ｆターム(参考） 5B057 AA06 AA16 BA19 CA12 CB12 CE09 DA08 DB09 5C054 EB05 FC03 FC12 HA26 5C082 AA12 AA27 BA20 BA34 BA35 BA41 BB14 BB15 CA11 CA54 CB01 DA53 MM10 5H180 AA01 CC04 DD01 5L096 AA07 BA04 CA04 EA03 EA35 EA37 FA37 GA08 GA17 HA03

Claims (13)

【特許請求の範囲】
1. 【請求項１】時系列で入力した複数の画素で構成される
   デジタルの画像から車両領域を除去し車両が存在しない
   状態の画像である背景画像を生成するための背景画像生
   成装置において、 前記画像から走行路上に車両が存在しない時間帯、また
   は、走行路上を車両が流れている時間帯を判断して、そ
   の時間帯を前記画像の蓄積時間帯として前記画像を蓄積
   する蓄積条件判断部と、 前記蓄積条件判断部において蓄積した蓄積画像から背景
   画像を生成する背景画像生成部と、 を具備したことを特徴とする背景画像生成装置。
2. 【請求項２】前記背景画像生成部は、 前記蓄積条件判断部において蓄積した蓄積画像を構成す
   る各画素毎の輝度の出現頻度の分布を生成する頻度分布
   生成部と、 前記頻度分布生成部において生成した前記各画素毎の出
   現輝度分布から、前記各画素の輝度代表値を抽出する代
   表値抽出部と、 前記代表値抽出部によって抽出した前記各画素の輝度代
   表値に基づいて背景画像を再構成する背景画像再構成部
   と、 を具備したことを特徴とする請求項１記載の背景画像生
   成装置。
3. 【請求項３】前記頻度分布生成部は、 前記頻度分布生成部の内部の蓄積回数カウンタが既定値
   に到達した場合、または、いずれかの画素のいずれかの
   輝度の頻度カウンタが既定値に到達した場合にリセット
   動作を行い、 前記リセット動作において、全輝度値の頻度カウンタを
   １以上の定数で一律に割ることを特徴とする請求項２記
   載の背景画像生成装置。
4. 【請求項４】前記蓄積条件判断部の前記蓄積時間帯を判
   断する基準として、 前記走行路上において、車両が進行する方向に試験領域
   を設定し、 前記試験領域内の時間差分値の総和が大きい時間帯を蓄
   積時間帯とすることを特徴とする請求項２と３記載の背
   景画像生成装置。
5. 【請求項５】前記蓄積条件判断部の前記蓄積時間帯を判
   断する基準として、 前記走行路上において、車両が進行する方向に試験領域
   を設定し、 前記試験領域内の輝度補正された背景画像との差分値の
   時間差分値の総和が大きい時間帯を蓄積時間帯とするこ
   とを特徴とする請求項２と３記載の背景画像生成装置。
6. 【請求項６】前記蓄積条件判断部の前記蓄積時間帯を判
   断する基準として、 前記走行路上において、車両が進行する方向に試験領域
   を設定し、 前記試験領域内のエッジ強度の絶対値の総和が小さい時
   間帯を蓄積時間帯とすることを特徴とする請求項２と３
   記載の背景画像生成装置。
7. 【請求項７】前記蓄積条件判断部の前記蓄積時間帯を判
   断する基準として、 前記走行路が右折車線を有する場合に、少なくとも前記
   右折車線だけは、前記走行路の他の車線と個別に車両が
   進行する方向に試験領域を設定し、 前記蓄積条件判断部は、少なくとも前記右折車線だけは
   個別に判断基準を判断し、 前記代表値抽出部は、少なくとも前記右折車線だけは個
   別に代表値抽出を行うことを特徴とする請求項２と３記
   載の背景画像生成装置。
8. 【請求項８】前記蓄積条件判断部の前記蓄積時間帯を判
   断する基準として、 前記画面の全画面領域が変化領域として検出された場合
   は、前記蓄積時間帯としないことを特徴とする請求項２
   から８記載の背景画像生成装置。
9. 【請求項９】前記試験領域の形状は、 前記走行路上において、車両が進行する方向に長く、前
   記走行路を横断する方向に短い矩形形状とすることを特
   徴とする請求項４から８記載の背景画像生成装置。
10. 【請求項１０】前記試験領域は、 前記走行路上にペイントされた標示位置には設定しない
    ことを特徴とする請求項４から８記載の背景画像生成装
    置。
11. 【請求項１１】前記試験領域は、 前記走行路の停止線に近い領域に設定することを特徴と
    する請求項４から８記載の背景画像生成装置。
12. 【請求項１２】前記試験領域は、 前記走行路の車線中心線より前記画像を入力するカメラ
    の遠方側に設定することを特徴とする請求項４から８記
    載の背景画像生成装置。
13. 【請求項１３】時系列で入力した複数の画素で構成され
    るデジタルの画像から車両領域を除去し車両が存在しな
    い状態の画像である背景画像を生成するための背景画像
    生成方法において、 前記画像から走行路上に車両が存在しない時間帯、また
    は、走行路上を車両が流れている時間帯を判断して、そ
    の時間帯を前記画像の蓄積時間帯として前記画像を蓄積
    する蓄積条件判断ステップと、 前記蓄積条件判断ステップにおいて蓄積した蓄積画像か
    ら背景画像を生成する背景画像生成ステップと、 を具備したことを特徴とする背景画像生成方法。