JP2007265012A - フロントガラスの範囲検出装置、方法及びプログラム - Google Patents

Abstract

【課題】一台のカメラと簡単な構成の計測部を用いてフロントガラスの範囲を判定する。
【解決手段】物体が移動する場所を俯瞰するカメラにより、当該場所を周期的に撮影し、撮影した画像内に走行車両が検出された場合に、その走行車両の画像に表れる、走行車両の進行方向に垂直な走行車両の特徴ラインを検出し、前記特徴ラインを画面上で追跡することにより、当該特徴ラインの高さを算出する。これらの特徴ラインの高さ情報を用いて、フロントガラス上端及び下端となる特徴ライン位置を特定する。
【選択図】図９

Description

本発明は、画像処理により、走行車両の画像に表れる水平方向のエッジ（特徴ライン）の高さを検出することにより、フロントガラスの範囲を検出するフロントガラスの範囲検出装置、方法及びプログラムに関するものである。

犯罪捜査において、特定車両及びその搭乗者の画像は有力な情報であり、搭乗者はフロントガラスの範囲に写っているので、フロントガラスの範囲を特定することが必要である。
一方、速度違反等に対する違反警告においては、対象車両の画像を大型表示板に表示するシステムが有効な抑止力を持っているが、プライバシー対策のため、搭乗者が映っているフロントガラスの範囲はマスクする必要がある。

そこで、車両範囲内において、フロントガラスの範囲を検出し、このフロントガラスの範囲を含む画像を抽出したり、フロントガラスの範囲をマスクした画像を作成する機能が求められている。
また、この機能を低コストに実現する装置も求められる。
特開平１０−０５５４４５号公報では、ナンバープレート位置と文字認識結果による車種情報（大型車／普通車）よりフロントガラスの範囲を推測しているが、同一車種であっても車体形状は様々であり、推測範囲内にフロントガラスの範囲の一部又はすべてが含まれないおそれがある。また、特に大型車において、ナンバープレートとフロントガラスが同一画面内に収まらない場合には、この方式ではフロントガラスの範囲を抽出することは不可能である。

また、特開平１０−０９１７９８号公報では、駐車枠等の特定範囲内における明るさ分布を分析し、高輝度な車体内の低輝度範囲をフロントガラスとして検出する。しかし、黒っぽい低輝度な車体に対しては、フロントガラスの検出はできない。
また、特開平１１−０２５３９４号公報では、カメラを１ｍ程度の高さに設置し真横から車両を見ることにより、長い水平エッジが上から、屋根、フロントガラス上端、フロントガラス下端の順に検出し、車高に対してフロントガラスの縦の大きさは１／３〜１／２であると設定し、フロントガラスの範囲を検出している。しかし、カメラの設置条件が水平に限定されており、一般道路ではこのようなカメラ設置は行わない（カメラを破壊される虞がある）。路面上方からの一般のカメラ設置では、車体後部にも長い水平エッジが検出されるため、この方式では対応できない。

また、特開平１１−２５９７９２号公報では、２つのカメラを用いて３Ｄ計測を行い、その結果を横断方向に投影したシルエットにおいて、車両モデルを当てはめてフロントガラス位置を検出する。この方式では、カメラ２式を使用することによってコスト・重量が大きくなり、またすべての車両の詳細なモデルを用意することは困難である。
特開平１０−０５５４４５ 特開平１０−０９１７９８ 特開平１１−０２５３９４ 特開平１１−２５９７９２

そこで、本発明者は、一台のカメラの視野範囲を所定速度で横切る物体の高さ情報を算出することができることに着目した。
また、この物体の高さ情報を用いれば、フロントガラスの範囲の抽出も容易にできる。
本発明は、従来よりも簡単な構成の装置を用いてフロントガラスの範囲を抽出できるフロントガラスの範囲検出方法及び装置を提供することを目的とする。

本発明のフロントガラスの範囲検出装置は、カメラで路上を撮影した画像内に走行車両が検出された場合に、当該画像に含まれるその走行車両の進行方向に垂直な方向に表れる特徴ラインを検出するとともにその特徴ラインの高さを検出し、検出された最大の高さを持つ特徴ライン、又は最大の高さから低くなる方向に第１の所定範囲の高さを持つ特徴ラインのうち、最も車両の進行方向側に存在する特徴ラインをフロントガラスの上端位置とし、前記フロントガラスの上端位置から低くなる方向に第２の所定範囲の高さを持つ特徴ラインのうち、最も低い位置又は最も車両の進行方向側に存在する特徴ラインをフロントガラスの下端位置とし、前記フロントガラスの上端位置と下端位置とに挟まれた領域をフロントガラスの領域とする。

検出された最大の高さを持つ特徴ラインは、フロントガラスの上端位置である場合もあり、あるいは屋根と道路との境界エッジである場合もある。また、屋根の上にキャリアを搭載した車両では、そのキャリアのエッジである場合もある。
そこで、これらのラインの中から最大の高さを持つ特徴ライン、又は最大の高さから低くなる方向に第１の所定範囲の高さを持つ特徴ラインのうち、最も車両の進行方向側に存在する特徴ラインをフロントガラスの上端位置とすることができる。フロントガラスの上端位置が決まれば、前記フロントガラスの上端位置から低くなる方向に第２の所定範囲の高さを持つ特徴ラインのうち、最も車両の進行方向側に存在する特徴ラインをフロントガラスの下端位置とする。そしてこれらの上端位置と下端位置とに挟まれた領域をフロントガラスの領域とすることができる。

このようにして、カメラの視野範囲を横切る車両の高さ情報に基づいて、一台のカメラのみで、フロントガラスの範囲の抽出が容易に、かつ精度よくできる。
そして、検出したフロントガラスの範囲が映っている画像を抽出し、表示し、蓄積し又は送信することもでき、また、検出したフロントガラスの範囲をマスク処理した画像を作成し、表示し、蓄積し又は送信することもできるので、フロントガラスを含む画像に求められる扱いに対応することが容易となる。

前記車両の進行方向は、近づいてくる車両を撮影するカメラ画像の上から下への方向としてもよく、道路座標上で論ずる場合は車線に沿ってカメラに近づく方向としてもよい。
前記特徴ラインの高さを検出する場合、フロントガラスの範囲検出のためには、絶対的な高さを検出してもよく、相対的な高さを検出してもよい。前者の場合、実際の車両速度を求める必要がある。後者の場合、実際の車両速度を求める必要はなく、任意の車両移動速度を設定することにより、特徴ラインの相対的な高さを検出することができる。

また、２時刻間の画像同士で、同一の特徴ラインを決定し、車両移動距離を一定に設定することにより、当該特徴ラインの高さを算出することもできる。
また、前記特徴ラインの最大高さが更新された時点の画像のみを蓄積することとし、前記蓄積された画像に基づいて、上端位置と下端位置とに挟まれたフロントガラスの領域を検出することもできる。この場合、更新後の画像のみを蓄積すればよいので、画像を蓄積するメモリの容量を節約することができる。

また、本発明のフロントガラスの範囲検出方法及びプログラムは、前記フロントガラスの範囲検出装置の発明と実質同一発明に係る方法及びプログラムである。

本発明によれば、カメラの視野範囲を横切る車両の高さ情報に基づいて、フロントガラスの範囲の抽出が容易に、かつ精度よくできる。

以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
図１は、本発明のフロントガラスの範囲検出装置の構成図を示す。
道路上方に道路面を俯瞰するように、カメラ２を所定の高さに設置している。カメラ２の視野範囲５は、道路の一車線上にある。
カメラ２の撮影画像は、映像ケーブル３を通して計測部４に入力される。計測部４は、通信手段を持ち、計測結果を遠隔地の交通管制センターや警察署に提供することができる。

図２に、カメラ２で撮影した撮影画像の例を示す。カメラ２の視野範囲５は、図２のように車両のバンパーやフロントガラスなどの、走行車両の進行方向に垂直なラインである水平ラインが抽出しやすい程度の視野（左右方向２〜３ｍ、上下方向２〜３ｍ程度）とする。
図３は、計測部４の構成例を示す図である。

計測部４は、カメラ２の画像を取り込み、カメラ２の画面上に設定した車両検出用の計測範囲内での車両の有無を判定し、車両が検出された場合に、水平ラインの抽出、追跡、フロントガラスの範囲判定等の演算処理を実行する。
計測部４は、画像入力部４１、Ａ／Ｄ変換部４２、画像メモリ４３、演算部４４、通信部４５を有する。

画像入力部４１は、カメラ２の画像を取り込むためのインターフェイスを提供する。Ａ／Ｄ変換部４２は、画像信号をデジタル変換する。画像メモリ４３は、デジタル変換した画像データを一時的に格納する。演算部４４は、水平ラインの抽出、追跡、フロントガラスの範囲判定等の演算処理を実行する。通信部４５は、信号機や表示板、交通管制センター、警察署等との通信を行って、フロントガラスの写っている画像又はフロントガラスの範囲をマスクした画像等の情報を伝える。

なお、前記カメラ２と前記計測部４は一体型としても良い。
図４は、計測部４の行うフロントガラスの範囲判定処理方法を説明するためのフローチャートである。
演算部４４は、画像入力部４１を通して画像を取り込み、画像メモリ４３に記憶させる（ステップＳ１）。画像の取り込み間隔は、例えば１秒間に３０枚（１／３０秒）とする。

演算部４４は、画像メモリ４３に記憶された画像に基づいて、画面の中に車両が存在するかどうかを検出する（ステップＳ２）。
図５は、車両検出用の計測範囲Ｒを示す図である。計測範囲Ｒは、画面上に四角の太枠で示している。
この枠内において、車両有無を判定する。

例えば、予め車両が存在しない場合の路面画像を作成しておき、取り込んだ画像（以下、入力画像と呼ぶ）との明るさの差を算出し、閾値以上の変化が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとする（ステップＳ３）。
あるいは、路面模様の明るさ変化のある部分（以下、エッジと呼ぶ）の位置を予め記憶しておき、入力画像についてもエッジを算出し、それらのエッジの鋭さの差を算出し、閾値以上の差が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとすることもできる。

車両ありと判定された場合、車両の速度検出を行う（ステップＳ４）。車両の速度検出は公知の手段を用いることができる。例えば、カメラ２の下に超音波式ドップラーレーダを設置して、車両の速度を測定することができる。また、道路に埋め込み式の車両感知器を２つ設置し、車両がこれらの車両感知器を通過した時間を測定して、車両の速度を知ることができる。

なお、車両の速度検出をしない実施も可能であり、後述する。
次に、特徴ライン抽出処理を行う（ステップＳ５）。
図６は、特徴ライン抽出処理を説明するための詳細フローチャートである。
まず、各画素毎に、前時刻と現時刻の明るさの差を算出し、その差が閾値以上ある場合、時間差分変化ありとする（ステップＴ１）。これは、路面標示等の動かない路面のエッジを消すためである。

次に、時間差分変化ありの画素について、水平エッジの有無を算出する（ステップＴ２）。これは例えば、図７に示すように、注目画素及びその周辺画素の９画素に対して、ソーベルフィルタ処理を行い、計算値Ｄの絶対値が閾値以上であった場合、注目画素（＊）において水平エッジありとする。
計算式は、例えば
Ｄ＝Ｉ11×１＋Ｉ12×２+Ｉ13×１-Ｉ31×１-Ｉ32×２-Ｉ33×１
である（Ｉjkは、行列の第ｊ行第ｋ列の画素の輝度を表す）。

次に、時間差分変化があり、水平エッジを構成する画素に対して、細線化処理をする（ステップＴ３）。これは、近接するエッジを除去し、特徴ラインを抽出しやすくするための処理である。例えば、Hilditchの細線化アルゴリズム（「画像の処理と認識」、安居院他、昭晃堂参照）を用いて、水平エッジ画像を細線化する。
図８は、細線化された水平エッジ画像の一例を示す図である。

次に、この画面の水平方向に水平エッジ数を算出して、図８の右端に示すように、ヒストグラムをつくる（ステップＴ４）。
このヒストグラムに基づいて、画面の上部から下部にかけて（下部から上部でもよい）、水平エッジ数が、その水平ラインの上下に隣接する水平ラインと比較して閾値以上大きいラインを抽出する。これは図７に円で囲んだ、尖ったピークの部分に該当する。この尖ったラインを「特徴ライン」という。

このようにして特徴ラインの抽出処理が終われば、図４に戻り、車両検出回数を１加算し（ステップＳ６）、ステップＳ１に戻る。
以下、次に取り込んだ画像に基づいて、ステップＳ２以下の処理を繰り返す。
ステップＳ３で、画像内に車両がなくなったと判定された場合、ステップＳ７に移り、今までの車両検出回数をしきい値ｎと比較する。

車両検出回数の閾値ｎは、例えば「３」程度に設定する。これは、連続した車両検出が３回以下しかできなかったのであれば、本当に車両であったかどうか疑わしいので、以下の特徴ラインの高さ算出処理をやめるためである。
車両検出回数が閾値ｎを超えていたら、ステップＳ８に移り、特徴ラインの高さ算出処理に入る。

以下、特徴ラインの高さ算出処理を詳しく説明する。
図９は、検出された特徴ラインの画面上の位置を縦軸に、時刻を横軸にとったグラフである。特徴ラインが５本写った場合を例示している。
図９において、各特徴ラインの軌跡は、画面上における見かけの動きであり、各時刻における実空間上での位置を射影したものである。車両の走行に従って、特徴ラインが時間の経過とともに画面の上から下へ移動している。

ここで、実空間と撮影面上の座標の変換式を定義する。
図１０のように、実空間での座標系を（Ｘ，Ｙ，Ｚ）とし、カメラ２の撮影面上での座標系を（Ｐ，Ｑ）とする。
実空間では、垂直方向をＺ、道路の延びる方向をＹ、道路を横断する方向をＸにとる。
カメラ２は、道路の延長線上に設置されており、その撮影面では、道路横断方向Ｘと平行に横軸Ｐをとり、横軸Ｐと直角に縦軸Ｑをとる。縦軸Ｑは、道路の垂直方向Ｚに対して、俯角に相当する角度αだけ傾いているものとする。

ここでは、カメラ２が道路の延長線上に設置されていて、車両はカメラ２に向かって近づいてくることを前提にしているので、実空間での道路横断方向Ｘへの動きは考慮しない。撮影面では特徴ラインの位置座標ｑのみを考慮し、それに直交する座標ｐは無視する。従って、実空間での車両の座標は（ｙ，ｚ）となり、撮影面ではｑとなる。
撮影面上での座標ｑ（単位：画素数）と、実空間上での座標点（ｙ，ｚ）には、（１）（２）式の関係式が成立する。

ただし、カメラレンズの焦点距離ｆ、カメラ２の設置高さＨ、撮影面上のＱ軸方向の高さＳｑと、Ｓｑに相当する撮影面のＱ軸方向の画素数Ｎｑとの比（一画素のサイズ）は既知であり、定数値として扱う。
ｚ＝Ｈ−（ｆtanα−ξ）ｙ／（ξtanα＋ｆ） （１）
ξ＝（Ｓq／Ｎq）ｑ （２）
ここで、ξは特徴ラインの撮像面上の高さである。微少時間（画面上下範囲を通過する時間）内での車両の移動速度ｖは検出済みであるから、所定時刻からの経過時間に基づいて各時刻での実空間上のＹ座標ｙ(t)が算出できる。

特徴ラインの実空間上での高さｚを、ある一定値に仮定する。
すると（１）式から、前記ｙ(t)に基づいて、ξ(t)を時間の関数として算出できる。このξ(t)を使えば、（２）式からｑ(t)が時間の関数として求まる。
従って、このｑ(t)を時間の関数として、曲線Ｕを描くことができる。
特徴ラインの実空間上での高さｚを変数（パラメータ）とし、高さｚを変えていけば、複数のｑ(t)を描いた曲線群ができる。

図１１は、特徴ラインの実空間上での高さｚを変数として、これらのｑ(t)の曲線群Ｕを示すグラフである。
同図では、各曲線とも、時刻ｔ0における撮影面上の高さを同一値ｑsに統一している。また同図で、高さｚは、ｚ0＞ｚ1＞ｚ2の関係がある。
高さｚ0に対応する曲線Ｕ0は、短い時間で撮影面を上端から下端まで（撮影面の上端から下端までを「カメラ２の視野」という）通過していることがわかる。この現象は、高さの高い物体、例えば車両の屋根などは、比較的短時間でカメラ２の視野を横切るという経験則に対応している。

これとは逆に、高さの低い物体、例えば車両のバンパーなどは、同じ速度で走行していても、比較的長時間かかってカメラ２の視野を通過する。図１１のグラフでは、高さｚ2に対応する曲線Ｕ2は、長い時間をかけて撮影面を通過している。
従って、車両の移動速度が分かっているとして、特徴ラインがこのカメラ２の視野を通過する時間Ｔを測定すれば、当該物体の高さが求まる。

また、車両の移動速度が分かっているとして、特徴ラインがこのカメラ２の視野を通過する時間Ｔに代えて、特徴ラインがこのカメラ２の視野を通過する見かけ上の速度（画面の上端から下端までの距離（ｑ0−ｑ1）を前記時間Ｔで割ったもの）に基づいても、当該物体の高さを求めることができる。
例えば図１１では、特徴ラインの時々刻々の軌跡例がプロットされており、それらの点がカメラ２の視野を通過するのに時間Ｔかかっているとする。この時間Ｔをかけてカメラ２の視野を通過する曲線Ｕ^*を特定することができる。曲線Ｕ^*に対応する高さをｚ^*とすると、そのｚ^*が特徴ラインの実空間上での高さとなる。

また、前記時間Ｔや見かけ上の速度を測定する代わりに、特徴ラインの時々刻々の軌跡（つまり曲線Ｕの形）が分かるのであるから、この軌跡の形を、曲線群Ｕを構成する各曲線にフィッティングさせて最も傾きの似ている曲線を特定してもよい。すると、この曲線に対応する高さがわかる。
例えば図１１では、撮影された特徴ラインの時々刻々の軌跡がプロットされているが、それらの点は、曲線Ｕ^*にフィットしているとする。曲線Ｕ^*に対応する高さをｚ^*とすると、そのｚ^*が特徴ラインの実空間上での高さとして求まる。

なお、前記曲線群の形は、車両の移動速度が違えば違ったものになるので、車両の移動速度ごとに、曲線群を用意しなければならない。
しかし、１つの移動速度に対応する曲線群を持っておけば、他の移動速度の曲線群は、時間のスケールを延び縮みさせるだけで簡単に求めることができる。
以上の説明では、図１１に示したように、グラフ上で時間を計り、曲線形の一致を調べていたが、これらの処理は、実際には、コンピュータの計算処理機能を利用して行うことは言うまでもない。例えば、前記曲線形の一致を調べるには、最小自乗法など、公知の最尤推定法を用いればよい。

以上のようにして、特徴ラインの実空間上の高さｚが分かったならば、その画面上の時々刻々の位置ｑを用いて、（１）式により、車両からカメラ２までの距離ｙを算出できる。このように、特徴ラインの実空間上の座標（ｙ，ｚ）が分かる。
次に、フローチャート（図４）のステップＳ９に移り、フロントガラスの上端位置を検出する。

まず、算出した各特徴ラインの高さの中で最大値を算出する。
次に、実空間上で、特徴ラインの高さが最大値から所定範囲内(例えば0%〜-10%)に存在する特徴ライン位置を検出し、最も車両の進行方向側の特徴ライン位置を検出し、フロントガラス上端位置とする。
所定範囲を定めるのは、フロントガラス上端が検出されるだけでなく、走行方向後ろ側の屋根の後ろ側の部分が、道路との境界として検出されることがあるからである（図９参照）。この場合、フロントガラス上端と屋根の後ろ側の部分はほぼ同じような高さとなるので、高さだけでは判断しにくいが、走行方向を基準にすれば、フロントガラス上端が最も車両先頭側となる。したがって、前記のように最大値を含み、最大値から所定範囲内で車両先頭側の特徴ラインを検出することとしたのである。

なお、最大値を持つ特徴ラインは存在しても、最大値から所定範囲の高さを持つ特徴ラインが存在しない場合もある。これは、フロントガラス上端のみが検出され、屋根の後ろ側と道路との境界が検出されなかった場合、又は当該境界の高さが低く前記一定割合の範囲内に入らなかった場合である。このときは、最大の高さを持つ特徴ラインをフロントガラス上端とする。

次に、フロントガラス上端位置が、画面の最も上部に映っているときの時刻の画像を抽出し、この画像において、以下のように、フロントガラス下端位置を検出する（ステップＳ１０）。
すなわち、フロントガラス上端位置の、例えば実空間上での高さ及び車両進行方向の位置に対して、特徴ラインの高さがフロントガラス上端位置から所定範囲内(例えば-50cm〜-100cm)、及び車両先頭方向へ所定範囲内(例えば0cm〜100cm)に存在する特徴ライン位置を検出し、それらのうち最も低い位置又は最も車両の進行方向側にある特徴ライン位置をフロントガラス下端位置とする。

あるいは画像座標上で、最も低い位置又は車両の進行方向側（画面下方向）の所定範囲内(例えば50画素〜100画素)に存在する特徴ライン位置を検出し、最も下側にある特徴ライン位置をフロントガラス下端位置としてもよい。
このような検出方法により、複数の特徴ラインを探索範囲内に検出したとき、探索範囲内で、最も画面上でのフロントガラスの範囲が大きくなる位置、つまり最下端位置を選択することができる。

また、探索範囲内に特徴ラインが存在しないときは、探索範囲内で、探索範囲の最下端位置をフロントガラス下端位置とする。この理由は、探索範囲よりもフロントガラスが大きい場合であっても、探索範囲の最下端位置をフロントガラス下端位置としておけば、車内の人は十分カメラに映るからである。
最後に、求まったフロントガラスの範囲を含む画像に対して、フロントガラスの部分の抽出や、画像の拡大、あるいはマスク処理を行い、当該画像の情報を外部装置へ発信する。

以上の方式では、特徴ラインの実空間上の絶対位置を算出していたが、特徴ライン間の相対的な位置関係でもフロントガラスの範囲を検出可能である。このとき、図４のＳ４における速度検出は不要であり、速度に任意の値を与えることとする。これにより、速度検出する装置が不要となりシステム全体のコストを低減でき、好ましい。
詳しく言うと、速度を任意の一定値とおく。これに基づいて図１１の曲線群の形を一種類作る。測定値をこの曲線群にフィットさせることにより、各特徴ラインの高さを求める。これは、各特徴ラインの実際の高さではなく、特徴ラインの実空間上の相対的な高さとなる。つまり各特徴ラインの高さの絶対値は不明であるが、それらの比が、実際の高さの比に等しくなっているのである。

そこで、算出した各特徴ラインの高さの中で最大値を算出する。次に、前記と同様、実空間上で、特徴ラインの高さが最大値から所定範囲内(例えば0%〜-10%)に存在する特徴ラインの位置を検出し、最も車両の進行方向側の特徴ライン位置を特定し、フロントガラス上端位置とする。
次に、フロントガラス上端位置が、画面の最も上部に映っているときの時刻の画像を抽出し、この画像座標において、フロントガラス上端位置の高さに対して、特徴ラインの高さが車両の進行方向側（画面下方向）の所定範囲内（例えば５０画素〜１００画素）に存在する特徴ライン位置を検出し、最も下側にある特徴ライン位置をフロントガラス下端位置とする。

この結果、前記方式のＳ９、Ｓ１０と同様に、フロントガラス上端及び下端位置を検出できる。
以上に述べた方式では、車両が画面上を通過した始めから通過完了するまでの画像を蓄積しておく必要がある。一方で、フロントガラス上端または下端となる特徴ライン位置は、境界線が明瞭であり、ノイズの影響が少ないため、フロントガラスの範囲の検出を目的とする場合は、前述の図１１のようにフィッティングによるノイズ対策は必須ではない。

そこで、一定時間間隔の画像同士で、特徴ラインの高さを算出し、最大高さを更新した時点の画像のみを蓄積する方式を提案する。
この処理を、フローチャート（図１２）を用いて説明する。
演算部４４は、画像入力部４１を通して画像を取り込み、画像メモリ４３に記憶させる（ステップＵ１）。演算部４４は、画像メモリ４３に記憶された画像に基づいて、画面の中に車両が存在するかどうかを検出する（ステップＵ２）。例えば、予め車両が存在しない場合の路面画像を作成しておき、取り込んだ画像との明るさの差を算出し、閾値以上の変化が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとする（ステップＵ３）。

次に、前述した特徴ライン抽出処理を行う（ステップＵ４）。特徴ラインの抽出処理が終われば、車両検出回数を１加算し（ステップＵ５）、ステップＵ１に戻る。以下、次に取り込んだ画像に基づいて、ステップＵ２以下の処理を繰り返す。
ステップＵ６で、車両検出回数が２以上であれば、時刻ｔ１，ｔ２で同一の特徴ラインを特定する特徴ラインマッチング処理を行う（ステップＵ７）。

特徴ラインマッチング処理は時刻ｔ１での特徴ラインを含む矩形領域をテンプレート登録し、時刻ｔ２で検出された各特徴ラインに対して、特徴ラインを含む矩形領域との正規化相関値が最大となるものを検出すればよい。具体的には、２本の特徴ラインのそれぞれを含む矩形領域のテクスチャ（模様又は輝度分布）が類似しており、それらが車両の進行方向に沿って平行移動している関係にある場合、相関値が高いとする。

次に特徴ライン高さ算出処理を行う（ステップＵ８）。時刻ｔ１、画像座標ｑ１における特徴ラインが、時刻ｔ２において画像座標ｑ２に移動した場合で説明する。このとき、特徴ラインの時刻ｔ１、ｔ２における実空間座標を（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）とおく。車両はＹ軸方向に移動し、また同一特徴ラインの高さは不変であるため、ｘ１＝ｘ２，ｚ＝ｚ１＝ｚ２が成り立つ。移動距離（ｙ２−ｙ１）＝ｃとおくと、前記（１）式及び（２）式より、高さｚを移動距離ｃの関数式で算出できる。
さらに、画像内の複数の特徴ラインの実空間上での移動距離ｃは、同一車体内の場合は同一なので、前記関数式により、各特徴ラインの相対的な高さが算出できる（ステップＵ８）。

なお、特徴ラインの移動量（ｑ１−ｑ２）が閾値より小さいときは、特徴ライン高さの算出結果の誤差が大きくなるので、マッチングする画像同士の時間間隔を広げるとよい。
各特徴ラインの高さの最大値とともにその画像を保存しておき（蓄積画像という）、その特徴ラインの高さの最大値が、さらに所定範囲（例えば10%） 以上高くなった場合にのみ、特徴ラインの高さの最大値を更新する（ステップＵ９）。このとき、蓄積画像も更新する（ステップＵ１０）。特徴ラインの高さの最大値が高くならなかった場合は、最大値の更新も蓄積画像の更新もしない。

このような蓄積画像の更新処理の具体例を、図１３（ａ）〜（ｅ）を用いて説明する。図１３（ａ）〜（ｅ）は、カメラ２で撮影した車両の画面の時間的な推移図である。
図１３（ａ）は、バンパー上端のエッジが、最も高さの高い特徴ラインＬ２として、まず認識された状態の画像を示している。この画像が蓄積される。
図１３（ｂ）は、時間の経過に連れて、写っている車両の部分が拡大しているが、特徴ラインＬ２は、より高さの高いラインに更新されていない状態を示している。したがって、画像の更新は行われない。

図１３（ｃ）は、時間の経過に連れて、より高さの高い特徴ラインである、フロントガラスの下端のエッジＬ３が検出された状態を示している。したがって、特徴ラインの高さの最大値は更新され、蓄積画像も更新される（以前に記憶されていた特徴ラインの高さの値、画像は、例えば上書きにより消滅する）。
図１３（ｄ）は、時間の経過に連れて、写っている車両の部分がさらに拡大し、より高さの高い特徴ラインである、フロントガラスの上端のエッジＬ４が検出された状態を示している。したがって、特徴ラインの高さの最大値は更新され、蓄積画像も更新される。

図１３（ｅ）は、時間の経過に連れて、映っている車両の部分がさらに拡大し、車両の屋根の部分と道路との境界（特徴ライン）Ｌ５が検出されているが、特徴ラインＬ５の高さはＬ４より所定範囲以上高くない状態を示している。したがって、画像の更新は行われない。この画像以後は、特徴ラインの出現はなく、図１３（ｄ）の画像が、蓄積された最終の画像となる。

このような蓄積画像の更新処理により、最後に蓄積していた画像には、通過車両のフロントガラスが映っていることになる。
ステップＵ３で、画像内から車両がなくなったと判定された場合、ステップＵ１１に移り、今までの車両検出回数をしきい値ｎと比較する。車両検出回数の閾値ｎは、前述したように「３」程度に設定する。

車両検出回数が閾値ｎ以上であれば、ステップＵ１２に移り、フロントガラスの上端、下端検出処理に入る。
この処理は、前述したのと同様であり、蓄積画像において高さが最大となった特徴ラインをフロントガラス上端位置とする。
次に、フロントガラス上端位置に対して、特徴ラインの高さが一定値範囲内に存在する特徴ライン位置を検出し、最も画面下側の特徴ライン位置を検出し、フロントガラス下端位置とする。

そして、フロントガラスの範囲画像に対する処理を行う（ステップＵ１３）。すなわち、検出したフロントガラスの範囲が映っている画像を抽出し、表示し、蓄積し又は送信する。また、検出したフロントガラスの範囲をマスク処理した画像を作成し、表示し、蓄積し又は送信する。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではなく、本発明の範囲内で種々の変更を施すことが可能である。

本発明のフロントガラスの範囲判定装置の構成例を示す図である。 撮影画像例を示す図である。 計測部４の構成例を示すブロック図である。 フロントガラスの範囲判定方法を示すフローチャートである。 車両検出用の計測範囲Ｒを示す図である。 特徴ライン抽出処理を説明するための詳細フローチャートである。 水平エッジの検出用マスクを示す図である。 細線化された水平エッジ画像及び水平エッジ数ヒストグラムを示す図である。 各特徴ライン位置の時空間上での軌跡図である。 実空間と撮影面上の座標との関係を定義した図である。 特徴ラインの実空間上での高さｚを変数として、画面に写った各特徴ライン位置ｑと時間ｔとの関係ｑ(t)を示すグラフである。 一定時間間隔の画像同士で、特徴ラインの高さを算出し、最大高さを更新した時点の画像のみを蓄積する方式を説明したフローチャートである。 カメラ２で撮影した車両の画面の時間的な推移図である。

符号の説明

２ カメラ
３ 映像ケーブル
４ 計測部
４１ 画像入力部
４２ Ａ／Ｄ変換部
４３ 画像メモリ
４４ 演算部
４５ 通信部

Claims (9)

1. 路上を見下ろし撮影するカメラと、前記カメラの撮影画像を取り込み処理する計測部とを備え、前記計測部は、
   撮影した画像内に走行車両が検出された場合に、当該画像に含まれる、その走行車両の進行方向に垂直な方向に表れる特徴ラインを検出する特徴ライン検出手段と、
   前記特徴ライン検出手段により検出された特徴ラインの高さを検出する高さ検出手段と、
   検出された最大の高さを持つ特徴ライン、又は最大の高さから低くなる方向に第１の所定範囲内の高さを持つ特徴ラインのうち、最も車両の進行方向側に存在する特徴ラインをフロントガラスの上端位置とし、前記フロントガラスの上端位置から低くなる方向に第２の所定範囲内の高さを持つ特徴ラインのうち、最も低い位置又は最も車両の進行方向側に存在する特徴ラインをフロントガラスの下端位置とし、前記フロントガラスの上端位置と下端位置とに挟まれた領域をフロントガラスの領域とするフロントガラス範囲検出手段とを備える、フロントガラスの範囲検出装置。
2. 前記車両の進行方向は、近づいてくる車両を撮影する場合の、カメラ画像座標上で上から下への方向である請求項１記載のフロントガラスの範囲検出装置。
3. 前記車両の進行方向は、近づいてくる車両を撮影する場合の、道路実空間座標上でカメラに近づく方向である請求項１記載のフロントガラスの範囲検出装置。
4. 前記高さ検出手段は、車両移動速度を測定することにより、特徴ラインの絶対的な高さを検出するものである請求項１記載のフロントガラスの範囲検出装置。
5. 前記高さ検出手段は、任意の車両移動速度を設定することにより、特徴ラインの相対的な高さを検出するものである請求項１記載のフロントガラスの範囲検出装置。
6. 前記高さ検出手段は、２時刻間の画像同士で同一の特徴ラインを決定し、車両移動距離を一定に設定することにより、当該特徴ラインの高さを算出する請求項１記載のフロントガラスの範囲検出装置。
7. 特徴ラインの最大高さが更新された時点の画像のみを蓄積する蓄積手段をさらに備え、
   前記フロントガラス範囲検出手段は、前記蓄積手段により蓄積された画像に基づいて、フロントガラスの領域を検出する請求項６記載のフロントガラスの範囲検出装置。
8. カメラで路上を撮影した画像内に走行車両が検出された場合に、当該画像に含まれる、その走行車両の進行方向に垂直な方向に表れる特徴ラインを検出し、
   前記特徴ラインの高さを検出し、
   検出された最大の高さを持つ特徴ライン、又は最大の高さから低くなる方向に第１の所定範囲の高さを持つ特徴ラインのうち、最も車両の進行方向側に存在する特徴ラインをフロントガラスの上端位置とし、
   前記フロントガラスの上端位置から低くなる方向に第２の所定範囲の高さを持つ特徴ラインのうち、最も低い位置又は最も車両の進行方向側に存在する特徴ラインをフロントガラスの下端位置とし、
   前記フロントガラスの上端位置と下端位置とに挟まれた領域をフロントガラスの領域とする、フロントガラスの範囲検出方法。
9. カメラで路上を撮影した画像内に走行車両が検出された場合に、当該画像に含まれる、その走行車両の進行方向に垂直な方向に表れる特徴ラインを検出する手順と、
   前記特徴ラインの高さを検出する手順と、
   検出された最大の高さを持つ特徴ライン、又は最大の高さから低くなる方向に第１の所定範囲の高さを持つ特徴ラインのうち、最も車両の進行方向側に存在する特徴ラインをフロントガラスの上端位置とする手順と、
   前記フロントガラスの上端位置から低くなる方向に第２の所定範囲の高さを持つ特徴ラインのうち、最も低い位置又は最も車両の進行方向側に存在する特徴ラインをフロントガラスの下端位置とする手順と、
   前記フロントガラスの上端位置と下端位置とに挟まれた領域をフロントガラスの領域とする手順とを含む、フロントガラスの範囲検出プログラム。