JP2002163645A

JP2002163645A - 車両検出装置及びその方法

Info

Publication number: JP2002163645A
Application number: JP2000361891A
Authority: JP
Inventors: Hisashi Kazama; 久風間
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-11-28
Filing date: 2000-11-28
Publication date: 2002-06-07

Abstract

(57)【要約】【課題】屋外環境で頑健に動作して、影の影響を受け
ずに、かつ、複数の車両を正しく切り分けることの可能
な車両検出装置を提供する。【解決手段】第１の画像入力部１２の画像から基準画
像を生成する基準画像生成部１４と、第２の画像入力部
１２の画像から、車両が走行する道路面の投影位置が、
基準画像の道路面の位置に等しくなるように幾何的な変
換を行い、投影変換画像を生成する投影変換画像生成部
１６と、基準画像と投影変換画像を比較し、道路面より
高さのある対象物だけが残差となる比較画像を生成する
画像比較部１８と、車両の３次元形状または他の事前知
識に基づき、比較画像に現れることが予想される投影モ
デルを記憶する投影像記憶部２２と、比較画像から投影
像記憶部２２に記憶された投影像を検出する投影像検出
部２０と、その車両情報を出力する車両情報出力部２４
とからなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、道路を撮影しその
通過台数、空間占有率、時間占有率、通過速度などを自
動計測する交通流監視システムの画像処理技術に関し、
画像中の車両領域を高精度に検出するための、画像処理
を利用した車両検出装置及びその方法に関する。

【０００２】

【従来の技術】近年、高速道路や幹線道路などに据え付
けられた監視カメラを画像処理によって自動化し、交通
流を自動計測する監視システムの開発が求められてい
る。

【０００３】目的の計測量としては通過台数、空間占有
率、時間占有率、通過速度などが代表的である。これら
の計測量を抽出するためには、まず入力画像から車両領
域を正確に切り出すことが必要になる。

【０００４】画像中の車両領域を検出するためには、
「背景画像」と一般的に呼ばれる「画像から車両が存在
しない状態の画像」を用意し、入力画像と背景画像の差
分をとって、その結果から車両領域を求める方法が従来
のほとんどの例で使われている。

【０００５】背景画像の差分を用いる方法には多くの問
題点がある。

【０００６】(1) 第１の問題点は、朝、昼、夕等の日照
条件の変化に応じて背景画像を更新する必要があるの
で、背景画像の自動的な生成や、背景画像の自動的な更
新を行う機能を実現するのが難しいということである。

【０００７】(2) 第２の問題点は、車両に伴う影の領域
が車両領域と同様に検出されてしまうために、影を車両
領域と誤検出したり、車両領域の位置が不正確になった
り、影を介して接した複数の車両が分離できなくなると
いうことである。

【０００８】これに対して、道路を撮影する監視カメラ
を複数設置し、三角測量の原理（またはステレオ計測と
呼ばれる方法）により、車両の３次元形状を抽出する方
法が提案されている。例えば、文献１（気賀沢征二：特
開平１０−１８７９７４の「物流計測装置」）、文献２
（小野田吉博、他：特開平１１−２０３５８９の「交通
撮像装置及び交通監視装置」）がある。

【０００９】これらの方法は、画像中からエッジや角点
等の特徴点を抽出し、２つの画像間で対応関係を求め、
ステレオ計測によって特徴点の３次元位置を算出し、物
体の３次元形状を再構成することで、車両の位置を抽出
する方法である。３次元形状を利用することで、影領域
の除去が可能になる、と説明している。原理的にはその
特徴は正しい。

【００１０】しかし、実際の画像に対してステレオ計測
方法を適用すると、次の問題点がある。

【００１１】(1) 再構成した３次元形状は、画像から抽
出した特徴点の位置の誤差に非常に敏感であり、誤差が
大きい。

【００１２】(2) 特徴点の対応付けが期待するほど良い
結果が得られない。

【００１３】(3) 近年の乗用車は流線型の形状をした車
両が多く、エッジや角点がそもそも車両に存在しないの
で、エッジ抽出や特徴点抽出が困難である。

【００１４】これに対して、文献３（小野口一則：特開
平１１−３２８３６５の「画像監視装置及びその方
法」）では、２つのカメラで領域を撮影し、道路面の投
影位置を一致させた投影変換画像を利用する方法を用い
ている。

【００１５】文献３では、まず、第１のカメラで撮影さ
れた画像の道路平面が、第２のカメラの画像の道路平面
に一致するように、第１のカメラで撮影された画像を投
影変換する。次に、投影変換によって道路面の位置が一
致した画像の差分をとる。すると、道路面と高さが等し
い物体の像は相殺して残差が０になる。一方、道路面に
対して高さのある物体の像は、位置がずれるので、残差
が現れる。この効果を利用して、歩行者等を検出する方
法が文献３である。この方法は、特徴点の抽出や、特徴
点の対応付けをする必要が無いので、抽出精度や安定性
が向上する。

【００１６】しかし、文献３の方法は、路面に対して高
さのある領域を検出するだけであるので、それが車両で
あるか否かを識別できないという問題や、複数の車両を
個別に検出することができないという問題がある。

【００１７】例えば、文献３の方法では、車両が複数存
在し隣り合う車線で並走する場合は、領域同士が接続し
て１つの固まりとして抽出されてしまうために、それを
分離して検出することができない。また、トラックの荷
台の様に車両の模様が少ない場合は、検出される領域
が、複数の小さな領域に分離されることが多いので、そ
れを１台の車両として検出することができない。

【００１８】この様に、文献３の方法は、背景画像を必
要とせず影の影響を除去できる方法であるが、そのまま
では車両を検出して位置を特定することができないとい
う問題がある。

【００１９】文献３とは別の観点であるが、複数の車両
の切り分けを目的として、車両の３次元形状を利用する
方法が提案されている。例えば、文献４（紺野篤子：特
開平９−９１４３９の「物体監視装置」）がある。

【００２０】文献４では車両の３次元形状を仮想的な空
間の平面に投影し、車両の投影像を検出する方法であ
る。

【００２１】しかし、文献４では基本的に１つのカメラ
による処理しか想定されていない。また、文献４では車
両領域の検出に、まず背景差分の方法を用いる。

【００２２】従って、先に説明した日照条件の変化の問
題や影の問題に対する問題が、全く解決されない。

【００２３】また、文献４では複数カメラの利用を想定
してないので、方式を拡張しても、ステレオ計測等複数
カメラを用いる利点が全く利用できない。

【００２４】

【発明が解決しようとする課題】以上のように、従来の
交通監視システム用の画像処理方法には以下のような問
題がある。

【００２５】まず、交通監視システムは屋外環境を監視
するシステムなので日照条件の変化や、車両に伴う影は
本質的に避けられない問題である。これに対して、入力
画像と背景画像の差分を用いる方法では、抽出精度が悪
化したり、信頼性の低い結果しか得られない。また、車
両の３次元形状を仮想的な平面に投影する方法も、背景
差分の方法を用いているので、本質的にこの問題を解決
していない。

【００２６】また、画像中からエッジや角点等の特徴点
を抽出し、その対応を求めて、ステレオ計測により３次
元形状を再構成する方法は、画像中の誤差に敏感であ
り、対応を求める処理が難しく、特徴点の抽出も困難で
あり、信頼性の低い結果しか得られない。

【００２７】さらに、２台のカメラを用いて、道路平面
を投影変換によって一致させ、高さのある物体を検出す
る方法は、検出された領域が車両であることを識別した
り、複数の車両を個別に検出することができないという
問題がある。

【００２８】本発明は、このような問題に鑑みてなされ
たものであって、この発明の目的とするところは、屋外
環境を含む環境で環境変化に頑健に動作し、困難な処理
や信頼性の低い処理を必要とせずに、車両の位置を検出
できる画像処理を利用した車両検出装置及びその方法を
提供することにある。

【００２９】

【課題を解決するための手段】請求項１の発明は、車両
が走行する道路面を含む共通の撮影範囲を有する複数の
画像入力手段と、前記複数の画像入力手段のうち、第１
の画像入力手段によって入力した画像から基準画像を生
成する基準画像生成手段と、前記複数の画像入力手段の
うち、前記第１の画像入力手段とは異なる第２の画像入
力手段によって入力した画像について、この画像の道路
面の投影位置が前記基準画像の道路面の位置に等しくな
るように幾何的な変換を行い、前記画像から投影変換画
像を生成する投影変換画像生成手段と、前記基準画像と
前記投影変換画像を比較し、前記道路面より高い位置に
ある対象物だけが残差となるような比較画像を生成する
画像比較手段と、車両の３次元形状、または、その他の
知識に基づいて、前記比較画像に現れることが予想され
る車両の投影像を、投影モデルとして予め記憶する投影
像記憶手段と、前記投影モデルと前記比較画像とをマッ
チングさせて、前記比較画像において前記投影モデルが
最も適合した位置を車両の存在位置として検出する投影
像検出手段と、前記投影像検出手段における検出結果か
ら、少なくとも車両の存在位置を含む車両情報を出力す
る車両情報出力手段と、を具備したことを特徴とする車
両検出装置である。

【００３０】請求項２の発明は、前記投影像記憶手段に
記憶された投影モデルは、車両の投影像を六角形で近似
した形状であることを特徴とする請求項１記載の車両検
出装置である。

【００３１】請求項３の発明は、前記投影像検出手段
は、前記比較画像と前記投影モデルの輪郭の内部との適
合性が高く、前記比較画像と前記投影モデルの輪郭の外
部との適合性が低くなるようにマッチングさせることを
特徴とする請求項１記載の車両検出装置である。

【００３２】請求項４の発明は、前記投影像記憶手段に
記憶された投影モデルは、車両の投影像の輪郭である内
輪郭と、その内輪郭より大きい輪郭である外輪郭とから
なる二重の輪郭を持つ形状に近似したものであり、前記
投影像検出手段は、前記投影モデルの内輪郭の内部と前
記比較画像との適合性が高く、前記外輪郭と前記内輪郭
の間の領域と前記比較画像との適合性が低くなるように
マッチングさせることを特徴とする請求項１記載の車両
検出装置である。

【００３３】請求項５の発明は、前記投影像検出手段
は、投影モデルにおける車両の背面より後方の投影像領
域に基づいて、前記比較画像における車両の存在位置を
検出することを特徴とする請求項１記載の車両検出装置
である。

【００３４】請求項６の発明は、車両が走行する道路面
を含む共通の撮影範囲を有する複数の画像入力装置のう
ち、第１の画像入力装置によって入力した画像から基準
画像を生成する基準画像生成ステップと、前記複数の画
像入力装置のうち、前記第１の画像入力装置とは異なる
第２の画像入力装置によって入力した画像について、こ
の画像の道路面の投影位置が前記基準画像の道路面の位
置に等しくなるように幾何的な変換を行い、前記画像か
ら投影変換画像を生成する投影変換画像生成ステップ
と、前記基準画像と前記投影変換画像を比較し、前記道
路面より高い位置にある対象物だけが残差となるような
比較画像を生成する画像比較ステップと、車両の３次元
形状、または、その他の知識に基づいて、前記比較画像
に現れることが予想される車両の投影像を、投影モデル
として予め記憶する投影像記憶ステップと、前記投影モ
デルと前記比較画像とをマッチングさせて、前記比較画
像において前記投影モデルが最も適合した位置を車両の
存在位置として検出する投影像検出ステップと、前記投
影像検出ステップにおける検出結果から、少なくとも車
両の存在位置を含む車両情報を出力する車両情報出力ス
テップと、を具備したことを特徴とする車両検出方法で
ある。

【００３５】請求項７の発明は、車両が走行する道路面
を含む共通の撮影範囲を有する複数の画像入力装置のう
ち、第１の画像入力装置によって入力した画像から基準
画像を生成する基準画像生成機能と、前記複数の画像入
力装置のうち、前記第１の画像入力装置とは異なる第２
の画像入力装置によって入力した画像について、この画
像の道路面の投影位置が前記基準画像の道路面の位置に
等しくなるように幾何的な変換を行い、前記画像から投
影変換画像を生成する投影変換画像生成機能と、前記基
準画像と前記投影変換画像を比較し、前記道路面より高
い位置にある対象物だけが残差となるような比較画像を
生成する画像比較機能と、車両の３次元形状、または、
その他の知識に基づいて、前記比較画像に現れることが
予想される車両の投影像を、投影モデルとして予め記憶
する投影像記憶機能と、前記投影モデルと前記比較画像
とをマッチングさせて、前記比較画像において前記投影
モデルが最も適合した位置を車両の存在位置として検出
する投影像検出機能と、前記投影像検出機能における検
出結果から、少なくとも車両の存在位置を含む車両情報
を出力する車両情報出力機能と、を実現するプログラム
を記録したことを特徴とする車両検出方法の記録媒体で
ある。

【００３６】本発明では、まず、複数の画像入力手段を
具備し、道路平面の位置が第１の画像入力手段の画像の
道路平面と一致するように第２の画像入力手段の画像を
投影変換して、画像比較することにより、道路平面に対
して高さのある領域だけが残差になり物体の領域が抽出
される。

【００３７】この結果、背景画像が不要になった。ま
た、影による誤検出が無くなった。この結果、画像から
抽出される車両領域は影に影響されずに、車両形状だけ
から決まる正確な領域として抽出できるようになった。

【００３８】次に、予め画像中のそれぞれの位置に対し
て車両の投影モデルを記憶し、画像中から抽出された車
両領域と直接当てはめるようにした。

【００３９】この結果、抽出された車両領域が複雑な形
状であったり欠落があっても、１つの車両領域として検
出できるようになった。また、車両が隣り合った車線で
並走していても、それぞれの車両を個別に検出できるよ
うになった。

【００４０】以上のように、屋外環境で撮像した画像に
対して、困難な処理や不安定な中間処理を行うことな
く、確実に車両を検出できるようになり、この車両検出
装置を利用することで信頼性の高い交通流計測が可能に
なり、高度道路交通システムの実現に途が開かれる。

【００４１】

【発明の実施の形態】以下、本発明の具体例について図
面を参照して説明する。

【００４２】＜具体例１＞具体例１の車両検出装置１０
について図１から８に基づいて説明する。

【００４３】図１は、具体例１の車両検出装置１０の構
成図を示している。

【００４４】車両検出装置１０は、２つの画像入力部１
２と、基準画像生成部１４と、投影変換画像生成部１６
と、画像比較部１８と、投影像検出部２０と、投影像記
憶部２２と、車両情報出力部２４とからなる。

【００４５】図２は、車両検出装置１０の処理の手順を
示したフローチャートである。

【００４６】図３は、車両検出装置１０を用いて構成し
たシステムの設置状況の例を示している。

【００４７】図３では、片側２車線の道路を処理対象と
している。道路にガントリーを設置し、２つのカメラを
ガントリー上に左右に離して設置している。カメラの光
軸は車両を後方から撮影する方向に設置されている。こ
れは一般に「後追い方向」と呼ばれる角度である。一般
的に交通流監視装置では後追い方向にカメラが設置され
ることが多い。本具体例では実環境にならって後追い方
向に設置されたカメラに対する画像処理として説明す
る。

【００４８】但し、車両検出装置１０は、カメラの設置
位置や方向に制約のある方式では無く、カメラを交通流
の対向方向に設置しても良い。また、２つのカメラを左
右に配置する必要性も無く、上下や斜めに配置しても良
い。

【００４９】車両検出装置１０は、この２つのカメラで
撮影された画像から車両の位置と車種を検出するのが目
的である。基本的にはカメラに対して最も手前の位置に
ある車両が、それぞれの車線で個別に検出できれば良
い。車両の位置が画像中で特定できれば、車両領域を画
像中で追跡する車両追跡装置等が処理できるからであ
る。本具体例１で説明する車両検出装置１０は、その後
段に車両追跡装置が接続されることを想定している。

【００５０】まず、図１の構成図に従って、本具体例の
基本的な構成及び理論について説明する。

【００５１】（第１の画像入力部１２の説明）第１の画
像入力部１２は典型的にはカメラであり、基準となる視
点位置から基準となる方向に向けられており、検出対象
の道路を撮影している。本具体例では、図３のように左
右に２つのカメラが配置されているとし、左側のカメラ
を基準カメラとして説明する。

【００５２】（基準画像生成部１４の説明）基準画像生
成部１４は、第１の画像入力部１２（図３では左側のカ
メラ）で得られた画像の処理対象領域をＡ／Ｄ変換しデ
ィジタル画像に変換する。

【００５３】処理対象領域は典型的には画面全体であ
り、場合によっては画面中の一部の領域を対象とするこ
ともある。画面中の一部だけを対象とする例としては、
対向車線を処理対象外として進行方向（後追い方向）の
車線だけを処理対象とする場合等がある。処理対象領域
を画面中の一部領域に限定すると、データ量が削減でき
る利点がある。本具体例では画面全体が処理対象領域で
あるとして説明する。

【００５４】Ａ／Ｄ変換処理は、入力画像をディジタル
画像に変換する。一般的には入力された画像の縦横比を
保つようにＡ／Ｄ変換する。

【００５５】この他にも、縦横比を変更して変換する方
法もある。画面縦方向のデータを間引き、横方向のデー
タを密にＡ／Ｄ変換することもできる。横方向のデータ
が密になれば、横方向の位置精度が高くなる。また、逆
に横方向のデータを間引き、縦方向のデータを密にＡ／
Ｄ変換することもできる。この場合は縦方向の位置精度
が高くなる。データを間引くとデータ量が減るので処理
量を抑えることができる。図４の様に画像が撮影されて
いる場合には、路面が台形の形状になっているが、この
台形を長方形になるように幾何変換してＡ／Ｄ変換する
こともできる。この様に、画像入力方式やディジタル画
像の生成方式にはいろいろな方法があるが、これらの方
式自体は本発明の本質的な部分ではなく前処理でしかな
い。どのような方式でディジタル画像を得ても本発明は
適用できる。

【００５６】いずれにしろ、第１の画像入力部１２で得
られた画像をＡ／Ｄ変換して基準画像を作成する。

【００５７】基準画像生成部１４が出力する画像を、以
下の説明では基準画像と呼ぶ。

【００５８】（第２の画像入力部１２の説明）第２の画
像入力部１２は、第１の画像入力部１２とは別の視点か
ら、検出対象の道路を撮影している。第２の画像入力部
１２は第１の画像入力部１２と視点位置が異なることが
必要である。典型的には、第１の画像入力部１２と平行
に（同じ方向に）設置され、水平方向に（横に）移動し
た位置に設置される。

【００５９】第１の画像入力部１２と第２の画像入力部
１２の共通視野に対象となる道路が収まるようにする。

【００６０】２台のカメラの光軸方向は平行に限定され
たものではない。また、カメラの配置は横に限定された
ものではなく、縦に配置されていても良い。本発明はカ
メラの配置や角度に関係なく、一般的に利用できる。

【００６１】図３では、左のカメラが第１の画像入力部
１２であり、右のカメラが第２の画像入力部１２であ
る。

【００６２】（投影変換画像生成部１６の説明）続い
て、投影変換画像生成部１６について説明する。

【００６３】投影変換画像生成部１６は、第２の画像入
力部１２で得られた画像の道路面の位置を、基準画像の
道路面の位置に等しくなるように幾何的に変換する処理
を行う。この変換のために、投影変換画像生成部１６に
は変換パラメータが記憶されている。

【００６４】投影変換画像生成部１６で出力される画像
を以後、投影変換画像と呼ぶ。

【００６５】本発明の重要な要素の一つは、この投影変
換画像の生成方法である。投影変換は、２つの画像で道
路面の位置が等しくなるように行う、幾何学的変換であ
る。２つの画像で道路面の位置が等しくなることで、以
下に説明するように、「車両」と「路面や影」を分離す
ることができる。

【００６６】投影変換は、このような意味を持った幾何
学的な変換なので、Ａ／Ｄ変換の際に扱いやすさを目的
として画像を変形することとは本質的に異なる。また、
処理の対象となる領域だけを切り出すために画像を変形
することとも異なる。

【００６７】例えば、画像中で台形の形状になっている
車線領域を、上から見た形状に（つまり長方形に）変形
することとも異なる。なぜならば、画像を見る視点や、
画像の形状を変形させただけでは、「車両」と「路面や
影」を車両と分離することには効果がなく、２つの画像
で道路面の位置を一致させるように変形することだけ
が、「車両」と「路面や影」を分離することに効果があ
るからである。

【００６８】変換パラメータは以下に説明する方法で求
めることができる。

【００６９】（変換パラメータの説明）一般に、第２の
画像入力部１２で得られた画像の道路面の位置（画像中
の投影位置）を、第１の画像入力部１２で得られた画像
（基準画像）の道路面の位置に等しくなるように、幾何
的な変換を行うことが可能である。

【００７０】例えば、第１の画像入力部１２のカメラパ
ラメータが次式のような４×３の行列で表現できるとす
る。ここで（Ｘ，Ｙ，Ｚ）は空間座標であり、（ｘ，
ｙ）は画像座標である。

【００７１】

【数１】第２の画像入力部１２のカメラパラメータも同様に４×
３の行列で表現できる。

【００７２】

【数２】このとき、道路面上の点の拘束条件は次式で与えられ
る。

【００７３】

【数３】 (1),(2),(3) 式を連立して解くと、（ｘ_２、ｙ_２）から
（ｘ_１、ｙ_１）に変換する次式の関係が得られる。

【００７４】

【数４】この式は、道路平面上の点であれば(4) 式により、第２
の画像入力部１２の画像の位置から、第１の画像入力部
１２の画像の位置に変換できることを示している。逆に
いえば、道路平面上に無い点は、(4) 式の関係を満たさ
ないので、(4)式の変換では、同じ位置に変換されない
ことを示している。

【００７５】この変換パラメータは２つのカメラが固定
されていれば固定値になることも明らかである。従っ
て、変換パラメータとしては、ｒ_１１からｒ_３３までの
９個の値を記憶すればよい。

【００７６】ところで、(1) 式と(2) 式では、カメラパ
ラメータを４×３の行列で表現したが、実際にはもっと
簡略化されたカメラパラメータで空間と画像の投影関係
を表現することもできる。

【００７７】例えば、アフィンカメラモデルと呼ばれる
形式や、平行投影モデルと呼ばれる形式でカメラを扱う
ことができる場合、(4) 式の代わりに(5) 式のアフィン
変換で２つの画像の投影変換を表現することができる。

【００７８】

【数５】 (5) 式のアフィン変換は(4) 式の係数を簡略化したもの
に他ならないので、本具体例では(4) 式の形式で投影変
換パラメータを記憶しているものとする。

【００７９】この投影変換パラメータを求めるために
は、事前に撮影したサンプル画像から、道路平面上に存
在するサンプル点を採取し、連立方程式を形成して解け
ば良い。

【００８０】例えば、画像中の白線等のペイントの位置
等、道路平面上に存在する点を、２つの画像でそれぞれ
サンプルして(4) 式を満たす係数を連立方程式で解くの
である。カメラの設置位置や角度等のパラメータから投
影変換パラメータを解くこともできるが、誤差を含みや
すいので、画像中からサンプルして解く方法が有効であ
る。

【００８１】（画像比較部１８の説明）基準画像と投影
変換画像は画像比較部１８に送られる。画像比較部１８
の実際の処理は、最も簡単には、差分処理である。本具
体例では、画像比較部１８の処理が差分処理であるとし
て説明する。このとき画像比較部１８の出力画像を「投
影差分画像」と呼ぶ。

【００８２】基準画像の画素位置（ｘ，ｙ）に対する輝
度をＳ（ｘ，ｙ）、投影変換画像の画素位置（ｘ，ｙ）
に対する輝度をＴ（ｘ，ｙ）としたとき、投影差分画像
の画素位置（ｘ，ｙ）の画素値Ｄ（ｘ，ｙ）は以下の式
で算出する。

【００８３】

【数６】このＤ（ｘ，ｙ）を以後の説明では残差と呼ぶ。また、
残差によって生成される画像を残差画像と呼ぶ。また、
残差画像内で残差のある領域（つまり路面上より高さの
ある物体の領域）を残差領域と呼ぶ。

【００８４】前述したように、路面上に存在する点は
(4) 式により同じ位置に変換されているので、残差Ｄ
（ｘ，ｙ）は０である。高さのある物体は(4) 式により
同じ位置に変換されることは無いので、残差Ｄ（ｘ，
ｙ）は０より大きい値になる。

【００８５】画像中の物体の輝度Ｓ（ｘ，ｙ）及びＴ
（ｘ，ｙ）は、厳密に言えば、照明条件と、対象物体の
点（Ｘ，Ｙ，Ｚ）の物理的な性質と、視点の３つの条件
で決まる。今説明している状況では、照明条件と、空間
中の点は共通であり、視点位置が異なる。視点位置が異
なると輝度が異なる可能性もある。

【００８６】例えば、鏡のような鏡面反射する物体は、
視点位置によって輝度が大きく変化する可能性がある。
しかし、本発明が想定する状況は、対象物体は道路面で
あり、道路面はほぼ完全拡散面である。よって、照明条
件が等しければ、視点位置が異なっても輝度が等しくな
る。従って、道路面上の点は(6) 式により、輝度が相殺
されて０になる。

【００８７】道路面上に存在する点は(6) 式の残差は０
となるが、道路面上に無い物体は(6) 式で残差が存在す
る。道路面上に無い物体とは、高さのある物体と言い換
えても良い。高速道路の監視カメラの映像を想定する
と、高さのある物体とは車両と言って良い。一方、車両
の影は、高さの無い道路面上の点なので、(6) 式により
輝度が相殺される。このように(6) 式によって、高さの
ある物体の領域だけが抽出され、影と路面の領域は除去
できる。

【００８８】２つのカメラで道路領域を撮影し、２つの
カメラの映像を(4) 式に基づいて、路面の位置が一致す
るように幾何変換することで、このように路面領域と影
を除去し、高さのある物体だけを抽出する効果が得られ
ている。

【００８９】図４に、ここまでの処理を模式図として示
している。

【００９０】図４は図３のような状況を想定して書かれ
ている。

【００９１】図４(a) は、第１の画像入力部１２の画像
であり、すなわち左カメラの画像である。路面上にトラ
ックが存在する場合の画像である。

【００９２】図４(b) は、第２の画像入力部１２の画像
であり、すなわち右カメラの画像である。

【００９３】図４(c) は、第２の画像入力部１２の画像
を投影変換して、基準画像と道路面の位置を一致させた
投影変換画像である。

【００９４】図４(d) は、投影差分画像を示している。

【００９５】トラックの接地面は、道路平面上の高さの
無い領域に相当するので、投影差分画像でも位置が一致
する。実際には車両の後端部は若干高さがあるので、投
影差分画像では若干の位置の変化がある。トラックの高
さのある領域ほど、投影変換された画像で位置の変化が
大きくなる。投影差分画像ではその差に相当する領域が
残差領域として検出される。

【００９６】（投影像記憶部２２の説明）以上の処理
で、路面に対して高さのある物体の領域を切り出すこと
ができたが、これだけではまだ車両の位置が求められた
とは言えない。なぜなら、実際の画像では１台の車両に
対する残差領域でも、欠落があったり、細切れの小領域
に分離する場合があるからである。

【００９７】また、車両が画像の上で重なり合うと、残
差領域が接続してしまい個別に切り分けられない。前後
の車両の重なりは、車両検出装置の後段に接続する追跡
装置が機能することで個別の切り分けをするとしても、
左右方向の重なり合い、つまり隣り合った車線で並走す
る車両は個別に切り分ける必要がある。

【００９８】このために、投影差分画像から、車両の投
影像の位置を特定して検出する機能が必要になる。この
機能を投影像検出部２０と投影像記憶部２２が提供す
る。

【００９９】投影差分画像の車両の投影像は、図４(d)
で示した様に、普通のカメラで撮影された車両の投影像
とは異なり、特徴的な形状になる。本発明では、このよ
うな特徴的な形状の車両の投影像をそのまま、投影差分
画像から検出する。

【０１００】車両の投影像を投影差分画像から直接検出
するために、投影像記憶部２２には、車両の投影像を簡
略化して作成した「車両の投影モデル」が記憶されてい
る。

【０１０１】画像中に現れる車両の投影像は、車種及び
車両の位置によって変化する。しかし、数多くのパター
ンもいくつかの投影モデルで十分近似できることが多
い。

【０１０２】まず、車種による違いは、大型と小型の２
種類のモデルに分けて近似する。車種を更に細分化して
も良く、細分化する数は本発明の本質的な部分ではない
が、ここでは車種を２種類として説明する。

【０１０３】次に、車両の位置による投影像の変化は、
画像を小さなブロックに分割し、それぞれのブロックに
対してモデルを用意することで近似する。車両の左右方
向の位置の変化は、車線ごとにそれぞれ近似したモデル
を用意する。処理対象の道路が２車線の道路ならば、左
右それぞれの車線に対して投影モデルを設定する。また
車両の奥行き方向の位置の変化（走行するに従う位置の
変化）は、画像を縦に１０分割しそれぞれのブロックご
とに近似したモデルを用意する。

【０１０４】車種を近似するための細分化の数や、画像
をブロック化するときの数は、多くするほど精密な当て
はめが可能になるが、本具体例では以上のように近似し
た例を説明する。

【０１０５】実際にモデルと画像をマッチングする際
は、探索する位置に応じてモデルを交換するので、記憶
するモデルが多くても処理時間には影響ない。従って、
記憶する投影モデルの数は、投影像記憶部２２の能力に
応じて設定すれば良いことになる。

【０１０６】さて、このような車両の投影モデルは、図
４の様な手順を踏んで、近似するモデルを作成すること
になる。それぞれの車種（ここでは２種類）に対して、
画像内のそれぞれのブロックにおける投影像を生成する
のである。

【０１０７】このとき、車両の投影モデルを作るために
は、車両の外形の寸法と、カメラパラメータが必要にな
る。車両の外形の寸法はカタログ値若しくは実測値を用
いれば問題なく測定できるが、カメラパラメータはそう
ではない。

【０１０８】カメラパラメータとは、(1) 式及び(2) 式
で表されるような行列のデータである。理論上、カメラ
パラメータは、カメラの３次元位置や光軸の方向から計
算で求められる。しかし、図３のような交通監視システ
ムのカメラ設置条件では、カメラの３次元位置や光軸の
方向から計算した値では、誤差が大きくて実用に耐えな
いことが多い。しかし、図３のように、道路面が平面で
近似でき、道路の方向が直線に近似できるならば、カメ
ラの設置した高さと、カメラから画角内の最近点までの
距離と、画像中の白線の位置を測定すれば、カメラパラ
メータを幾何的に算出することができる。他にも画像中
の特徴点の位置を測定してカメラパラメータを算出する
方法がある。いずれかの方法を用いて必要なパラメータ
を求める。

【０１０９】左右のカメラのカメラパラメータがそれぞ
れ求まれば、(4) 式の係数、すなわち道路平面上の位置
を一致させる幾何変換の係数が求められる。

【０１１０】但し、前記したように(4) 式の係数をカメ
ラの設置位置や角度のパラメータから解くと誤差を含み
やすいので、基本的には(4) 式の係数は画像中のサンプ
ル点から解くほうがよい。

【０１１１】以上のように、２つのカメラのカメラパラ
メータと車両の３次元モデルを準備することができれ
ば、画像内のそれぞれのブロックにおける投影差分画像
に表れる車両の投影像が生成できる。

【０１１２】投影モデルの生成方法を模式的に説明した
図が図５である。図５では、荷台付きのトラックの投影
像を模擬して図示している。基準画像の投影像が図５
(a) の時、第２の入力画像を投影変換すると図５(b) の
様になり、この結果、投影差分画像の車両投影像は図５
(c) となる。

【０１１３】ここで、図５(c) のような投影像が生成さ
れたとする。この投影像を本具体例では、図５(c) の
「×」で示した点をサンプルすることで、６角形として
近似する。６角形で近似された投影モデルが図５(d) で
ある。このときの近似は、車両の後方ほど正確に近似さ
れるように６角形を設定するのが良い。なぜなら、車両
の位置を特定するためには、車両の後方の端点を抽出す
ることが重要だからである。

【０１１４】この位置を特定するためには、車両像の中
で路面からの高さを特定できる位置を抽出しなければな
らないが、後追い方向の画像の場合は、観測できる接地
点は車両の後方の接地点しかないからである。なお、実
際には車両の後方の端点も路面から若干の高さがある
が、前述した条件に最も近いのは後方の端点になる。そ
れ以外の点は、車両の長さや高さ等が既知でないと画像
の位置から車両の位置を特定できない。

【０１１５】図５の例では、荷台付きのトラックを模擬
して図示したが、他の形式のトラックやバスや乗用車
等、様々な形式の車両に対してもこの６角形の投影モデ
ルで概ね問題なく近似できる。もちろん、６角形の投影
モデルに拘ることなく、計算された車両の投影像をその
まま利用することも可能である。後は計算量や記憶容量
の問題になる。

【０１１６】さて、この投影モデルを投影差分画像の残
差領域に当てはめる場合、以下の２つの条件を満たすこ
とが必要になる。

【０１１７】(1) 輪郭の内部に多くの残差領域が含まれ
ること。

【０１１８】(2) 輪郭の外部には残差領域がなるべく存
在しないこと。

【０１１９】すなわち、輪郭の外部に残差領域が少ない
ことを評価しなければならないので、車両の本来の輪郭
だけでは正しく評価することができない。

【０１２０】そこで、図６の点線で示した様に、６角形
で近似された車両の投影像の輪郭（これを「内輪郭」と
呼ぶことにする）に対して、一回り大きい輪郭（これを
「外輪郭」と呼ぶことにする）を設定し、この２重輪郭
構造を持った投影モデルを使ってマッチングすることに
する。マッチング処理に当たっては、この内輪郭と外輪
郭の相対位置は保つようにする。

【０１２１】本来の車両の投影像の輪郭に対して一回り
大きい輪郭を設定することは容易である。例えば、本来
の車両の輪郭線の中心位置を求めて、６角形の頂点を本
来の頂点の位置より例えば３画素分遠くへシフトした位
置を求め、そのシフトした頂点をつないで６角形を生成
すればよい。

【０１２２】さらに、後で説明する具体例のために、図
６では、投影モデルの一部を「下部領域」と設定してい
る。用途によってはこのように下部領域を設定する必要
は無い。

【０１２３】（投影像検出部２０の説明）以上の様に、
投影像記憶部２２には、探索する画像中のそれぞれの位
置に対して、図６で示したような投影モデルが記憶され
ている。

【０１２４】投影像検出部２０は、投影モデルと投影差
分画像を当てはめるマッチング処理を実行する。マッチ
ング処理には、次の機能がある。

【０１２５】(1) 車両領域の候補となる画像中の位置を
求める。

【０１２６】(2) 車両領域の候補が車両か否かを判別す
る。

【０１２７】(3) 車両領域の候補の車種を判別する。

【０１２８】以下にマッチング処理の詳細を説明する。

【０１２９】マッチング処理は、画像内で参照位置を走
査しながら、登録された車両の投影モデルを順次読み出
して、その当てはめのよさを評価する処理を実行する。
図７はマッチング処理の内容を模式的に示した図であ
る。

【０１３０】図７は、投影モデルの走査が、実際の車両
の領域に合致する位置に達した状態を示している。実際
の車両の領域に合致した段階では、図７のように、投影
差分画像の残差領域が内輪郭の内部に当てはまった状態
になる。つまり、この状態で当てはめの良さを評価する
値が最も高くなるような評価値を設定すれば、探索によ
り車両位置が求められるのである。

【０１３１】評価値として、まず、２重輪郭構造の内輪
郭の内側を探索して、投影差分画像の残差領域に該当す
る画素数を求める。その該当する画素数を、内輪郭の面
積で正規化した値を、内輪郭の適合率Ｒ_Ｉと呼ぶことに
する。

【０１３２】次に、内輪郭と外輪郭に挟まれた領域を探
索して、投影差分画像の残差領域に「該当しない」画素
数を求める。その「該当しない」画素数を、内輪郭と外
輪郭に挟まれた領域の面積で正規化した値を、間隙領域
の適合率Ｒ_Ｇと呼ぶことにする。

【０１３３】投影モデルが正しく車両に当てはまってい
る条件は、評価値Ｒ_Ｉ及びＲ_Ｇが両方とも高い値を得た
場合である。よって、この二つの変数（線形）結合した
新しい評価値を次式で定義する。

【０１３４】

【数７】ここでａ_Ｉ，ａ_Ｇは重み変数である。この評価値Ｖを、
この投影モデルと画像中の位置に関する評価値とする。

【０１３５】このような評価値の結合を模式的に示した
のが、図８である。図８は、重み係数を決めるために、
予備実験としてマッチング処理を実行し、その時の当て
はめの評価値とマッチングの結果を示している。図８の
様に、データを集めると、それぞれの評価値だけでは、
車両と非車両と正しく識別することができないが、二つ
の評価値を組み合わせると識別線のような境界線を設定
することで車両と非車両と正しく識別することができる
データが得られることが多い。

【０１３６】このような予備実験を行い、図８で示す様
なデータが抽出できれば、(7) 式の重み係数や、評価値
Ｖのためのしきい値が数学的に簡単に設定できる。

【０１３７】以上説明した処理を画像中の必要な領域内
で走査して実行する。このとき、画像中の領域内での走
査を画像の下から上に行えば、カメラに対して最も手前
にある車両の位置が求められることになる。

【０１３８】この結果、最も良い評価値Ｖを得た位置
が、車両領域の候補位置となり（マッチング処理の第１
の機能）、評価値Ｖが予め定めたしきい値より大きいこ
とで、正しく車両であるか否かが判断でき（マッチング
処理の第２の機能）、複数の投影モデル間で評価値を比
較することで車種の判別が可能になる（マッチング処理
の第３の機能）。

【０１３９】このようにして、車両候補の位置、及びそ
れが車両であることの判別、及び車種の判別ができる。
この結果を車両情報出力部２４に送信する。

【０１４０】（車両情報出力部２４の説明）車両情報出
力部２４は、受信した情報を元に、車両の位置情報等の
データを、出力すべき形態に変換し出力する。

【０１４１】以上で一連の処理の手続きが終了する。

【０１４２】（処理手順の説明）次に、図２のフローチ
ャートを用いて、車両検出装置１０の処理手順を説明す
る。

【０１４３】今、図３の様に、処理対象とする道路を２
つのカメラが撮影するように設置されている。２つのカ
メラはガントリー上に左右に離れて配置されている。２
つのカメラは同期して画像を撮影している。

【０１４４】新しいフレームが入力されるとフローチャ
ートの手順が開始される。

【０１４５】ステップ１１で第１の画像入力部１２から
第１の画像が入力される。

【０１４６】ステップ１２で第１の画像がＡ／Ｄ変換さ
れ、基準画像が生成される。

【０１４７】ステップ１１，１２の進行と同時に、ステ
ップ２１で、第２の画像入力部１２から第２の画像が入
力される。

【０１４８】ステップ２２で、基準画像の道路面の位置
が等しい位置に変換されるように、第２の画像をＡ／Ｄ
変換しつつ、幾何変換して投影変換画像を生成する。ス
テップ２２は投影変換画像生成部１６の処理内容であ
る。

【０１４９】幾何変換のためには、(4) 式のパラメータ
が必要であり、このパラメータは第１の画像入力部１２
と第２の画像入力部１２で撮影した画像から、道路平面
上に存在するサンプルの位置を抽出して解くことで得ら
れる。パラメータ設定の詳細については、上記で説明し
た。

【０１５０】ステップ１３で、基準画像と投影変換画像
とで画像比較処理を行う。ステップ１３は画像比較部１
８の処理内容である。例えば２つの画像の差分演算を実
行し、投影差分画像を生成する。画像比較部１８の処理
の詳細は上記で説明した。

【０１５１】ステップ１４で、投影差分画像の中から、
投影差分画像で発生し得る車両の投影像をパターンマッ
チングの要領で探索する。

【０１５２】投影差分画像に発生し得る車両の投影像を
生成し記憶しておくのは、投影像記憶部２２の機能であ
る。投影モデルの生成方法やその性質については、上記
で説明した。

【０１５３】車両の投影モデルをパターンマッチングの
要領で探索するのは、投影像検出部２０の機能である。
処理の詳細は上記で説明した。

【０１５４】パターンマッチングの処理は一連の手続き
として実行されるが、機能的には上記したように次の通
りである。

【０１５５】(1) 車両領域の候補となる画像中の位置を
求めること。

【０１５６】(2) 車両領域の候補が車両か否かを判別す
ること。

【０１５７】(3) 車両領域の車種を判別すること。

【０１５８】パターンマッチングの処理には、いくつか
の具体例があるが、簡単な例を上記で説明した。

【０１５９】ステップ１５で、マッチングされた車両モ
デルやその位置から、画像中の２次元位置、又は空間中
の３次元位置に変換し出力する。

【０１６０】あるいは、車両検出装置１０に続く他の装
置、あるいは、本具体例の方法に続く他の方法が必要と
するデータ形式に変換し出力する。

【０１６１】以上の処理で１フレームの処理が終了す
る。再び新しい時間の画像が入力されるのを待つ。

【０１６２】＜変形例１＞変形例１では、画像比較部１
８の変形例について説明する。

【０１６３】基準画像の輝度と、投影変換画像の輝度を
比較し、投影差分画像の画素値Ｄを算出する式として、
具体例１では以下の式を用いた。

【０１６４】

【数８】ここで、(6) 式（(8) 式と同じ）の代わりに以下の(9)
式

【数９】もしくは、以下の(10)式

【数１０】を用いる方法がある。

【０１６５】(9) 式は、画像中の路面領域内で輝度の変
化が大きい場合に有効である。例えば、白線領域の輝度
は高く、アスファルト領域の輝度は低い。２つのカメラ
で絞りの値が異なる場合、同じ路面領域でもカメラ間で
若干の輝度の差が算出されることがある。このとき、輝
度値に対して輝度差は比例して大きくなるので、もとも
と輝度値の大きい領域では計算上の輝度差が大きくなり
やすい。従って、白線領域の様に輝度の高い領域では
(6) 式のような単純な引き算では、道路平面上の点であ
っても残差が大きくなる場合がある。このように、基準
となる位置の輝度に差がある場合、輝度差を正規化する
(9) 式は有効である。なお、(9) 式の場合、分母が０に
ならないように注意する必要がある。

【０１６６】(10)式も、(9) 式と同様に、画像中の路面
領域内で輝度の変化が大きい場合に有効である。(10)式
は(9) 式を用いた場合に特異な値で誤差が大きくなるこ
とを補正する働きがある。

【０１６７】(9) 式ではＳ（ｘ，ｙ）とＴ（ｘ，ｙ）の
小さいほうの値を分母にする。従って、Ｓ（ｘ，ｙ）も
しくはＴ（ｘ，ｙ）のどちらかが０に非常に近い値の場
合、計算上の分母が０に近くなり、残差Ｄ（ｘ，ｙ）が
極端に大きくなる場合がある。一方、(10)式の場合は、
二つの値の中間値を分母にする。従って、分母が０に近
くなる確率が小さくなる。なお、(10)式も同様に分母が
０にならないように注意する必要がある。

【０１６８】このように投影差分画像の残差を計算する
方法も複数の具体例が存在する。これらは、場合に応じ
て使い分ければよい。

【０１６９】例えば、高速道路のように複数の車線があ
る場合は、必ず白線が存在するので、白線の影響を受け
にくい(9) 式または(10)式が有効である。

【０１７０】また、一般道の場合でも、横断歩道やカー
ブの近辺ではホワイトペイントが多くなるので、(9) 式
または(10)式が有効である。

【０１７１】一方、路面にホワイトペイントが無い場合
や、ホワイトペイントの領域をマスク処理で予め除去す
ることができる場合は、(6) 式が簡単で計算コストが小
さいので有効である。

【０１７２】＜変形例２＞変形例２では画像比較部１８
の、変形例について説明する。

【０１７３】具体例１、及び、変形例１では、画像比較
部１８の処理方法は、画素ごとの輝度を比較する方法で
あった。これに対して、基準画像と投影変換画像の注目
画素を比較するのに、画素の周囲に小領域を設定し領域
内の画素値で比較する方法がある。

【０１７４】例えば、注目画素を中心として小領域Ｒを
設定し領域内の輝度の差の絶対値の総和（ＳＡＤ）で残
差Ｄ（ｘ，ｙ）を算出する方法がある。

【０１７５】

【数１１】この方法は画像にノイズが乗りやすい場合に有効にな
る。

【０１７６】(11)式は(6) 式を小領域に適用した方法で
あるが、(9) ，(10)式を小領域に適用した以下の２つの
式で表される方法もある。

【０１７７】

【数１２】

【数１３】 (12)，(13)式の特性は、(9) ，(10)式と同様である。ま
た(12)，(13)式以外にも、正規化する分母をそれぞれの
画素値で算出するのでなく、(12)式ならば領域Ｒ内の最
小値で正規化しても良いし、(13)式ならば領域Ｒ内の平
均値で正規化する方法もある。

【０１７８】小領域を比較する方法をとれば、画像の比
較方法にはさまざまな方法が応用できる。例えば、小領
域の正規化相関で比較する方法や、小領域のヒストグラ
ムを比較する方法等が応用可能である。

【０１７９】また、小領域を設定して画像を比較する場
合は、画素単位の細かい比較をしないことになるので、
注目画素を画素ごとに設定するのでなく、例えば２画素
おきにサンプリングして設定することも有効である。こ
れは、画像をブロック化して処理していることに相当す
る。

【０１８０】＜変形例３＞変形例３は変形例２の画像比
較部１８をさらに変形させた例である。

【０１８１】一般に、第２の画像を投影変換する場合、
レンズひずみや計測誤差によって、本来変換される位置
が小さくずれる場合がある。このような場合に、画素ご
とに画像を比較すると、白線の輪郭等のように輝度の変
化が大きい画素では、本来道路平面上にある点であって
も、微小な位置のずれのために、計算上、大きな輝度差
が検出される場合がある。

【０１８２】このように、道路平面上に存在する位置も
計算上、画像比較で残差が現れる場合がある。変形例３
では、このような残差を除去する方法を説明する。

【０１８３】変形例３では、変形例２と同様に注目画素
（ｘ，ｙ）に対して小領域Ｒを設定する。この小領域Ｒ
を対応する位置（ｘ，ｙ）だけでなく、その周囲Ｑの範
囲で微小に位置を変化させながら、最も残差の小さくな
る位置とその残差を抽出する処理を行う。すなわち、(1
1)式に対応した計算方式をとったとき、残差Ｄを以下の
式で計算する。

【０１８４】

【数１４】ここで、ｍｉｎの表記は、ｉ，ｊを領域Ｑの範囲で変化
させたときの最小値を意味する。例えば、−１≦ｉ≦
１、−１≦ｊ≦１、の範囲で変化させる。

【０１８５】このように画像を比較することで、微小な
画素のずれを吸収できる。

【０１８６】＜変形例４＞変形例４は基準画像生成部１
４と投影変換画像生成部１６の変形例である。

【０１８７】変形例３と別の問題であるが、第２の画像
を投影変換画像する場合、白線の近傍の画素は線形補間
して画素値を算出する必要がある。白線の近傍では白線
の輝度値とアスファルトの輝度値が大きく異なるので、
線形補間するとその中間値が算出される。このとき、画
素ごとに画像を比較すると、白線の輪郭に相当する画素
に計算上の残差が検出される。

【０１８８】この問題に対処するために、基準画像生成
部１４と、投影変換画像生成部１６は、ディジタル化し
た画像を生成した後で、画像をぼかすフィルタ処理を施
す。画像をぼかすためには、例えば、３×３の平均フィ
ルタを適用しても良いし、ガウシアンフィルタを適用し
ても良い。

【０１８９】このように、画像をあえてぼかすことで、
線形補間による計算上の残差を除去することができる。

【０１９０】＜変形例５＞変形例５は投影像検出部２０
のマッチング処理の変形例を説明する。

【０１９１】具体例１で説明したように、２つのカメラ
の映像から投影差分画像を生成し、その残差領域を求め
ると、実際には図５で説明したような、投影モデルの内
部が密に埋まった領域が求められるばかりでなく、内部
が細かい小領域に分かれていたり、一部が欠落した形状
になる場合もある。

【０１９２】図９は、そのように投影モデルの内部に欠
落がある場合の例を示している。

【０１９３】図９は、図５と同様に荷台付きトラックを
模擬して描いた模式図である。荷台付きのトラックに対
して計算される車両投影像は図９(a) である。

【０１９４】しかし荷台付きのトラックでは、例えば運
転台の屋根の部分や、幌で滑らかに覆われていた場合の
荷台の部分等は、画像的なテクスチャも無く、輝度も一
定な領域になっている場合がある。このような部分領域
は、投影変換を施した投影変換画像と基準画像では、
（２つのカメラを横に設置した場合）高さのある分だけ
画像中で左右にシフトした画像になっている。そのた
め、２つの画像を比較しても輝度的には差が無いので残
差が検出されない。このために、運転台の屋根の部分
や、幌で覆われた荷台の部分が欠落した投影像になる。
この状況を図的に示したのが、図９(b) である。

【０１９５】しかし荷台付きのトラックでも、背面の部
分には例えば、会社名の記載や、ナンバープレート、テ
ールランプ、幌の取り付け金具、排気口等、画像的なテ
クスチャを持つ要素が多い。そのために、背面の部分は
投影差分画像に残差が現れる。

【０１９６】つまり、車両によっては車両投影像の一部
に欠落が生ずる場合があるが、車両後方の領域は残差領
域として抽出される可能性が高い。

【０１９７】また、車両の速度や位置を正確に求めるに
は、車両の後方の位置が正確に求められることが重要で
ある。なぜなら後追い方向の画像では車両の前端部は隠
れて見えないので、前後方向の位置が特定できないから
である。その意味でも、車両の後端部を正確に抽出でき
るように、車両後方の部分を効果的に検出することは効
果的である。

【０１９８】変形例５では、この性質を応用して、マッ
チングを効率的に行う。

【０１９９】具体的には、図６に示したように、投影モ
デルに対して車両の背面の部分に対応する領域を「下部
領域」と設定しここを重点的にマッチングに利用する。
図６に示したように、下部領域には全体の投影モデルと
同様に内輪郭と外輪郭が設定されている。

【０２００】マッチング処理を実行するに当たっては、
画像内で参照位置を走査しながら、登録された車両の投
影モデルを順次読み出してはその当てはめの良さを評価
する処理を実行する。評価値としては、下部領域の内輪
郭の内側を探索して、投影差分画像の残差領域に該当す
る画素数を求める。

【０２０１】下部領域だけで残差領域の画素数を比較す
る場合、実際は例えば大型車両用の投影モデルと、小型
車両用の投影モデルでは、それぞれの下部領域だけしか
用いないために面積も形状もほぼ等しくなってしまう。
そこで、具体例１で行ったように、残差領域に該当する
画素数をその面積で正規化する必要がなく、画素数自体
を当てはめの長さとして評価値に利用する方法も用いる
ことができる。

【０２０２】また、下部領域だけでは大型車両と小型車
両の識別処理まで処理するのは困難である。そこで、下
部領域だけを用いるのは車両位置の特定及び車両か否か
の判別の段階までとし、車種の判別のために、全体の領
域を使う処理を適用する方法が有効である。この様に、
処理の段階によって、適用する車両モデルを変更する方
法もある。

【０２０３】具体例１では、内輪郭と外輪郭で設定され
た間隙の領域に対しても評価値を求め、内輪郭だけから
求めた評価値と（線形）結合して新しい評価値を定義し
て当てはめの良さを評価した。この様に、評価値はいろ
いろな視点から作ることができるし、それを図８で行っ
たように、データ解析することで新しい評価値に変換す
ることもできる。

【０２０４】多数の評価値と、データを解析して、有効
な識別関数や識別方法を設定する方法は、多変換解析と
して広く知られた方法がある。例えば主成分分析や、線
形識別法等を適用すればよい。

【０２０５】以上の様に、マッチングの評価方法には沢
山の変形例がある。

【０２０６】ここで、図６の様なモデルを作成した場
合、考えられるマッチングの評価値をまとめておくと、
例えば (1) 下部領域の内輪郭で計測された該当画素数 (2) 下部領域の内輪郭で計測された該当画素率（面積で
正規化した値） (3) 下部領域の２重輪郭構造で計測された該当画素数 (4) 下部領域の２重輪郭構造で計測された該当画素率 (5) 全領域の内輪郭で計測された該当画素数 (6) 全領域の内輪郭で計測された該当画素率 (7) 全領域の２重輪郭構造で計測された該当画素数 (8) 全領域の２重輪郭構造で計測された該当画素率等がある。

【０２０７】＜変形例６＞変形例６は投影像検出部２０
のマッチング処理をさらに簡単化した例である。

【０２０８】変形例５で用いた図６の下部領域の２重輪
郭構造をさらに簡略化する。図６の下部領域は２重輪郭
構造ではあるが、基本形状が６角形から台形に変更され
ているし、上部の外輪郭は無関係になる等、非常に単純
な形になっている。

【０２０９】そこで、モデルの簡略化をさらに進めて図
１０に示した様な、簡略化された投影像モデルを用い
る。すなわち、車両投影モデルの下部領域の下に、小さ
く「残差を持つ画素が存在してはいけない領域」を付け
足したモデルである。

【０２１０】このモデルでは、車種の判別を行うのは困
難なので、車両位置の特定と、車両か否かの判別の段階
までにこのモデルを使う方法が有効である。

【０２１１】実際のマッチング処理では、画像内で参照
位置を走査しながら、簡略化された投影像モデルを当て
はめてその評価を行う。その際、まず、残差が存在して
はいけない領域に残差画素が「無い」ことを判別してか
ら、車両投影モデルの下部領域の適合画素数を数える処
理を実行すればよい。

【０２１２】＜変形例７＞具体例１では、第１、第２の
画像入力部１２を２台のカメラで実現したが、これに代
えて３台以上のカメラを用意しておき、そのうち１台を
基準画像入力用のカメラとし、残りのカメラのうち１台
のカメラの画像から投影変換画像を得てもよい。

【０２１３】例えば、３台のカメラがガントリーの上に
順番に配置されている場合には、第１のカメラを基準画
像用のカメラとして、第２のカメラを大型車両用の投影
変換画像を得るためのカメラとし、第３のカメラを小型
車両用の投影変換画像を得るためのカメラとしてもよ
い。なお、このような順番にカメラを配置したのは、大
型車両の方がベースラインが小さくても視差が生じるか
らである。

【０２１４】

【発明の効果】本発明では、背景画像が不要になり、ま
た、影による誤検出が無くなった。この結果、画像から
抽出される車両領域は影に影響されずに、車両形状だけ
から決まる正確な領域として抽出できる。

【０２１５】また、抽出された車両領域が複雑な形状で
あったり欠落があっても、１つの車両領域として検出で
きる。また、車両が隣り合った車線で並走していても、
それぞれの車両を個別に検出できる。

【０２１６】これにより、屋外環境で撮像した画像に対
して、困難な処理や不安定な中間処理を行うことなく、
確実に車両を検出できるようになり、この車両検出装置
を利用することで信頼性の高い交通流計測が可能にな
り、高度道路交通システムの実現に途が開かれる。

【図面の簡単な説明】

【図１】本発明の具体例１の車両検出装置の構成図であ
る。

【図２】車両検出装置のフローチャートである。

【図３】車両検出装置のシステム設置の例である。

【図４】各画像の模式図であり、(a) は、第１の画像入
力部１２の画像であり、(b) は、第２の画像入力部１２
の画像であり、(c) は、投影変換画像であり、(d) は、
投影差分画像を示している。

【図５】投影モデルの例であり、荷台付きのトラックの
投影像を模擬して図示し、(a)が基準画像の投影像であ
り、(b) が第２の入力画像を投影変換した図であり、
(c) が投影差分画像の車両投影像である。

【図６】２重輪郭構造の投影モデルの図である。

【図７】投影像のマッチング処理の模式図である。

【図８】当てはめ評価値と識別方法の模式図である。

【図９】実際の残差領域の例の図である。

【図１０】簡略化された投影像モデルの図である。

【符号の説明】

１０車両検出装置１２画像入力部１４基準画像生成部１６投影変換画像生成部１８画像比較部２０投影像検出部２２投影像記憶部２４車両情報出力部

Claims

【特許請求の範囲】

【請求項１】車両が走行する道路面を含む共通の撮影範
囲を有する複数の画像入力手段と、前記複数の画像入力手段のうち、第１の画像入力手段に
よって入力した画像から基準画像を生成する基準画像生
成手段と、前記複数の画像入力手段のうち、前記第１の画像入力手
段とは異なる第２の画像入力手段によって入力した画像
について、この画像の道路面の投影位置が前記基準画像
の道路面の位置に等しくなるように幾何的な変換を行
い、前記画像から投影変換画像を生成する投影変換画像
生成手段と、前記基準画像と前記投影変換画像を比較し、前記道路面
より高い位置にある対象物だけが残差となるような比較
画像を生成する画像比較手段と、車両の３次元形状、または、その他の知識に基づいて、
前記比較画像に現れることが予想される車両の投影像
を、投影モデルとして予め記憶する投影像記憶手段と、前記投影モデルと前記比較画像とをマッチングさせて、
前記比較画像において前記投影モデルが最も適合した位
置を車両の存在位置として検出する投影像検出手段と、前記投影像検出手段における検出結果から、少なくとも
車両の存在位置を含む車両情報を出力する車両情報出力
手段と、を具備したことを特徴とする車両検出装置。
【請求項２】前記投影像記憶手段に記憶された投影モデ
ルは、車両の投影像を六角形で近似した形状であること
を特徴とする請求項１記載の車両検出装置。
【請求項３】前記投影像検出手段は、前記比較画像と前
記投影モデルの輪郭の内部との適合性が高く、前記比較
画像と前記投影モデルの輪郭の外部との適合性が低くな
るようにマッチングさせることを特徴とする請求項１記
載の車両検出装置。
【請求項４】前記投影像記憶手段に記憶された投影モデ
ルは、車両の投影像の輪郭である内輪郭と、その内輪郭
より大きい輪郭である外輪郭とからなる二重の輪郭を持
つ形状に近似したものであり、前記投影像検出手段は、前記投影モデルの内輪郭の内部
と前記比較画像との適合性が高く、前記外輪郭と前記内
輪郭の間の領域と前記比較画像との適合性が低くなるよ
うにマッチングさせることを特徴とする請求項１記載の
車両検出装置。
【請求項５】前記投影像検出手段は、投影モデルにおけ
る車両の背面より後方の投影像領域に基づいて、前記比
較画像における車両の存在位置を検出することを特徴と
する請求項１記載の車両検出装置。
【請求項６】車両が走行する道路面を含む共通の撮影範
囲を有する複数の画像入力装置のうち、第１の画像入力
装置によって入力した画像から基準画像を生成する基準
画像生成ステップと、前記複数の画像入力装置のうち、前記第１の画像入力装
置とは異なる第２の画像入力装置によって入力した画像
について、この画像の道路面の投影位置が前記基準画像
の道路面の位置に等しくなるように幾何的な変換を行
い、前記画像から投影変換画像を生成する投影変換画像
生成ステップと、前記基準画像と前記投影変換画像を比較し、前記道路面
より高い位置にある対象物だけが残差となるような比較
画像を生成する画像比較ステップと、車両の３次元形状、または、その他の知識に基づいて、
前記比較画像に現れることが予想される車両の投影像
を、投影モデルとして予め記憶する投影像記憶ステップ
と、前記投影モデルと前記比較画像とをマッチングさせて、
前記比較画像において前記投影モデルが最も適合した位
置を車両の存在位置として検出する投影像検出ステップ
と、前記投影像検出ステップにおける検出結果から、少なく
とも車両の存在位置を含む車両情報を出力する車両情報
出力ステップと、を具備したことを特徴とする車両検出方法。
【請求項７】車両が走行する道路面を含む共通の撮影範
囲を有する複数の画像入力装置のうち、第１の画像入力
装置によって入力した画像から基準画像を生成する基準
画像生成機能と、前記複数の画像入力装置のうち、前記第１の画像入力装
置とは異なる第２の画像入力装置によって入力した画像
について、この画像の道路面の投影位置が前記基準画像
の道路面の位置に等しくなるように幾何的な変換を行
い、前記画像から投影変換画像を生成する投影変換画像
生成機能と、前記基準画像と前記投影変換画像を比較し、前記道路面
より高い位置にある対象物だけが残差となるような比較
画像を生成する画像比較機能と、車両の３次元形状、または、その他の知識に基づいて、
前記比較画像に現れることが予想される車両の投影像
を、投影モデルとして予め記憶する投影像記憶機能と、前記投影モデルと前記比較画像とをマッチングさせて、
前記比較画像において前記投影モデルが最も適合した位
置を車両の存在位置として検出する投影像検出機能と、前記投影像検出機能における検出結果から、少なくとも
車両の存在位置を含む車両情報を出力する車両情報出力
機能と、を実現するプログラムを記録したことを特徴とする車両
検出方法の記録媒体。