JP2006329776A - 車両位置検出方法、並びに車両速度検出方法及び装置 - Google Patents

Abstract

【課題】カメラに写ったナンバープレート内の文字の大きさを手がかりとして、従来よりも簡単な構成の装置を用いて、車両の位置と速度を算出する。
【解決手段】車両が存在する場所を俯瞰するカメラにより、当該場所を撮影して画像を取り込み、画像内に車両が検出された場合に、当該画像に表れる、ナンバープレートを切り出し、車種に関係するナンバープレートの種類を判定し、ナンバープレートの中の文字の大きさ（ｑu−ｑl）を測定し、前記測定された文字の大きさ、及び判定されたナンバープレートの種類に対応する文字の大きさの規格値との関係に基づいて、道路空間上での、カメラから車両までの距離を算出する。
【選択図】 図７

Description

本発明は、画像処理により、車両位置情報、車両速度情報を取得することのできる車両位置検出方法、並びに車両速度検出方法及び装置に関するものである。

交通の円滑化や事故抑止のために、詳細な交通情報提供が求められている。特に交差点における事故抑止に効果のあるジレンマ制御において、高精度な車両位置・速度情報が必要である。なお、「ジレンマ制御」とは、交差点で赤信号になる前に、停止線でスムーズに（安全に）停止することも、交差点を通過することもできない速度で走行している車両を検出した場合に、青信号時間を延長したり、そのような車両を検出しない場合には青信号を打ち切ったりして、交通の安全を図り、交差点の交通の流れをスムーズにする制御をいう。

従来の車両の位置・速度を計測する方式として、画像処理を用いて車両の特徴部分、例えばナンバープレート位置を追跡する方式が多く提案されているが、これらの方法は、画面上の位置により移動量を算出しており、追跡対象の路面上の高さを考慮しておらず、正確な速度を算出出来ない。
これに対し、特許文献１，特許文献２では、ナンバープレート情報より、大型車／普通車（中・小型車）の車種を判定し、車種に応じたナンバープレートの高さ情報を用いて、位置検出精度を改善させているが、車種判定精度が不正確なこともあり、またナンバープレートの設置位置も車両に違っているため、正確な速度を算出できないという問題が残っていた。
特開平３−２７６０７０号公報 特開平３−２７６０６９号公報 特開２００５−０３０９２５号公報

そこで、本発明者は、ナンバープレート内の文字（本明細書において、「文字」とは、仮名、漢字、数字を含むものとする）の大きさを用いて、カメラとナンバープレートとの距離を算出し、これを追跡することにより高精度な速度情報を算出することができることに着目した。
ここで、ナンバープレート内の文字の大きさは、図８のように、道路運送車両法施行規則により、車種毎に規定されている。

従って、本発明は、ナンバープレート内の文字の大きさを手がかりとして、従来よりも簡単な構成の装置を用いて、車両の位置と速度を算出できる車両位置検出方法、並びに車両速度検出方法及び装置を提供することを目的とする。

本発明の車両位置検出方法は、車両が存在する場所を撮影するカメラにより、当該場所を撮影して画像を取り込み、画像内に車両が検出された場合に、当該画像に表れる、ナンバープレートを切り出し、車種に関係するナンバープレートの種類を判定し、ナンバープレートの中の文字の大きさを測定し、前記測定された文字の大きさ、及び判定されたナンバープレートの種類に対応する文字の大きさの規格値との関係に基づいて、道路空間上での、カメラから車両までの距離を算出する方法である。

この方法は、まず、車両が映し出された画像に基づき、車種に関係するナンバープレートの種類を判定する。ナンバープレート内の文字の大きさは、ナンバープレートの種類に応じて規定されているからである。そして、ナンバープレートの種類が決まると、ナンバープレートの中の、カメラに写った文字の大きさを測定し、前記測定された文字の大きさ、及び判定されたナンバープレートの対応する文字の大きさの規格値との関係に基づいて、道路空間上での、カメラから車両までの距離を算出する。

この方法により、車両におけるナンバープレートの設置高さを知らなくても、道路空間上での、カメラから車両までの距離を直接算出できる。
本発明で、ナンバープレート枠でなく、ナンバープレートの中の文字に注目し、その文字の大きさを測定する。このことにより、次のような利点がある。
一般に、ナンバープレート枠を検出しようとすると、車両フレームとの境界の識別が困難なことがある。また、日照条件などによっては、ナンバープレート枠と影の境界との識別は一般的に困難なことがある。よって、ナンバープレート枠のサイズの正確な検出は難しいところがある。

そこで本発明では、ナンバープレートの中の文字に注目し、その文字の大きさを測定する。文字の大きさの測定は、ナンバープレート枠自体の大きさを測定するのと比べて精度がよく、これにより、カメラから車両までの正確な距離の測定が行える。
前記「ナンバープレートの中の文字の大きさを測定」は、判定されたナンバープレート種類に応じて用意された文字テンプレートを用いて行うこととすれば、文字の特定が容易になり、その文字テンプレートを用いれば、当該文字の大きさがわかる。特に、ナンバープレートの中の文字の書体は、規格で定められているので、テンプレートを用いて判定すれば、正確に判定できる。

前記文字の大きさとして、ナンバープレートの中の全文字のうち、テンプレートが最大相関となった１文字を選定すればよい。これにより、カメラの画像に最も鮮明に写った文字を選定することができる。よって、文字の大きさの測定精度を上げることができる。
前記文字の大きさとして、ナンバープレートの中の各文字について、テンプレートを用いて文字の大きさと相関値を求め、各文字の大きさを、前記相関値で重み付け平均した結果を、文字の大きさとしてもよい。この方法は、相関値最大となった文字の大きさにも誤差が含まれていることがあるため、誤差を減らす目的で行う。すなわち、各文字の大きさに、相関値による重み付けを行って重み付け平均値を求め、それを文字の大きさとする方法である。

なお、本発明で、車種に関係するナンバープレートの種類を判定するためには、当該車両のナンバープレートの大きさ若しくはその中の文字の部分の大きさ、又は文字の認識結果を利用するとよい。カメラの視野が限定されているので、カメラと車両との距離は、おおむね定まっている。したがって、画像に写った前記ナンバープレートの大きさ若しくはその中の文字の部分の大きさに基づいて、そのナンバープレートの種類（たとえば大型車用／普通車（中・小型車）用）がわかる。また、ナンバープレートの中の文字の認識結果を利用しても、ナンバープレートの種類がわかる。

本発明の車両速度検出方法は、複数の時刻において前記車両位置検出方法で判明した、道路空間上でのカメラから車両までの各距離を用いて、当該距離の時間変化に基づいて車両の速度を検出する方法である。
また車両速度検出装置は、前記車両速度検出方法の同一発明にかかる装置である。

以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
図１は、本発明の車両速度検出装置の構成図を示す。
道路上方に、道路面を俯瞰するように、カメラ２を所定の高さに設置している。カメラ２の視野範囲５は、道路の一車線上にある。
カメラ２の撮影画像は、映像ケーブル３を通して計測装置４に入力される。計測装置４は、通信手段を持ち、計測結果を遠隔地の処理センターに提供することができる。

図２に、カメラ２で撮影した撮影画像の例を示す。
カメラの視野範囲は、図２のようにナンバープレート文字を認識できる程度の視野（左右方向２−３ｍ、上下方向２−３ｍ程度）とする。
図３は、計測装置４の構成例を示すブロック図である。
計測装置４は、カメラ２の画像を取り込み、カメラ２の画面上に設定した車両検出用の計測範囲内での車両の有無を判定し、車両が検出された場合に、そのナンバープレートの位置を切り出し、その中の文字の部分の大きさを概算することにより、大型車、普通車を判定し、判定結果に応じて、大型車用または普通車用のテンプレートを用意して文字の大きさを決定し、実空間（道路空間）上でのナンバープレートの位置を算出する等の演算処理を実行する。

計測装置４は、画像入力部４１、Ａ／Ｄ変換部４２、画像メモリ４３、演算部４４、通信部４５を有する。各部の機能は、次のとおりである。
画像入力部４１：画像を取り込むためのインターフェイスを提供する。
Ａ／Ｄ部４２：画像信号をデジタル変換する。
画像メモリ４３：デジタル変換した画像データを一時的に格納する。

演算部４４：プレート位置算出、文字認識、速度算出等の演算処理を実行する。
通信部４５：信号機や表示板、交通管制センター等との通信を行い、演算処理結果を送信する。
なお、前記カメラ２と前記計測装置４は一体型としても良い。
図４は、計測装置４の行う車両速度検出方法を説明するためのフローチャートである。

まず、演算部４４は、一定間隔で画像を取り込む（ステップＳ１）。取り込み枚数は例えば１秒間に３０枚とする。
次に、画像に基づいて、車両の有無を判定する。例えば、予め車両が存在しない場合の路面画像（以下、背景画像と呼ぶ）を作成しておき、取り込んだ画像（以下、入力画像と呼ぶ）との明るさの差を算出し、閾値以上の変化が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとする。

あるいは、背景画像における路面模様の明るさ変化のある部分（以下、エッジと呼ぶ）の位置を予め記憶しておき、入力画像についてもエッジを算出し、それらのエッジの鋭さの差を算出し、閾値以上の差が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとすることもできる。
車両が検出された場合、その画像の中から、ナンバープレート枠を切り出す（ステップＳ２）。この切り出し方法は、例えば、２組のエッジ線分の長さ及び間隔が一定範囲内にある組み合わせよりプレート枠候補領域を抽出した結果と、背景から抽出した各文字候補の位置の組み合わせより尤もらしい文字候補領域を抽出した結果を用いて、これらの２つの候補領域を重ねた面積が最大となるものをプレート領域とする（特開平３−２６５９８５号公報参照）。

そして、ナンバープレート内の文字の大きさを概算する（ステップＳ３）。この概算方法は、たとえば、画面の縦横方向に画像輝度のヒストグラムをとって、その存在範囲から、大きさを算出すればよい。また後述するように、文字テンプレートを適用して相関演算する方法でもよい。
そして、ナンバープレート内の文字の大きさに基づいて、大型車用／普通車用の判別をする（ステップＳ４）。ここで、この判別方法を説明すると、カメラ２とその視野範囲５との距離関係は、図１に示されるように確定している。そこで、この視野範囲５の中から切り出されたナンバープレートは、カメラ２から一定の距離あるものとみなす。もちろん、プレートの接地高さには広がりがあるので、その「一定の距離」には、ある程度の誤差はある。しかし、大型車／普通車の判定をするだけであれば、このような誤差があっても、判定に支障はないと考えている。

実際には、図８に示されるように、ナンバープレート内の文字（例えば「２」）の横幅は、大型車では６０ｍｍ、普普通車では４０ｍｍであるので、実際に検出した文字の横幅を閾値と比較することにより、十分な精度で大型車／普通車の判定を行うことができる。
なお、続く一連の文字の横幅を判定してもよい。例えば、図８に示される一連の文字「２０-４６」の横幅は、大型車では３３２．５ｍｍ、普通車では２３５ｍｍであるので、明らかに区別が付く。

また、文字の大きさ以外に、ナンバープレート枠の大きさを検出しても、前記と同様にして、大型車／普通車の判定を行うことができる。また、公知のように、ナンバープレートの中の文字を認識し、その結果（たとえば１ナンバー、３ナンバー等）を利用しても、ナンバープレートの規格がわかる。
大型車／普通車の判定が完了すれば、それぞれの文字ごとに、図５のように、大型車用／普通車用に対応する複数の大きさのテンプレートを用意しておき（ステップＳ５，Ｓ７）、切り出した各文字と各テンプレートの相関値を算出する。

図５は、文字「０」「１」のテンプレートを示している。図５（ａ）は、大型車用のテンプレートを示し、図５（ｂ）は、普通車用のテンプレートを示している。
相関値の算出方式として、例えば正規化相関方式を用いる。
このようにして、切り出した各文字についてそれぞれ相関値が求まる。
相関値が最大となる文字を選び出し、その文字のテンプレートのサイズを、画面上での当該文字の大きさとする（ステップＳ６，Ｓ８）。

なお、相関値が最大となった文字だけを参照するのではなく、ナンバープレートの中の各文字について、テンプレートを用いて文字の大きさと相関値を求め、各文字の大きさを前記相関値で重み付け平均した結果を、文字の大きさとしてもよい。この方法では、用意した各テンプレートサイズの間のサイズまで、詳細に算出することができる。たとえば、ナンバープレートの一連番号の左端より順に、文字１、２、３、４とし、各相関度をc1, c2, c3, c4とする。また、各文字の検出範囲の上端、下端をそれぞれ、qu1, ql1, qu2, ql2, qu3, ql3, qu4, ql4とする。

このとき、重み付けした平均値の上端qu*, 下端ql*は以下のように算出する。
qu*=(c1・qu1+ c2・qu2+ c3・qu3+ c4・qu4)/(c1+c2+c3+c4)
ql*=(c1・ql1+ c2・ql2+ c3・ql3+ c4・ql4)/(c1+c2+c3+c4)
重み付け平均された文字のサイズは、qu*−ql*で求められる。
次に、画面上での文字大きさから実空間上での文字の位置を算出し、車両のナンバープレート位置（車頭位置）とする（ステップＳ９）。

以下、ナンバープレート位置の算出処理を、(1)から(3)に分けて詳説する。
(1)まず、実空間と撮影面上の座標の変換式を定義する。
図６のように、実空間での座標系を（Ｘ，Ｙ，Ｚ）とし、カメラ２の撮影面上での座標系を（Ｐ，Ｑ）とする。
実空間では、垂直方向をＺ、道路の延びる方向をＹ、道路を横断する方向をＸにとる。

カメラ２は、道路の延長線上に設置されており、その撮影面では、道路横断方向Ｘと平行に横軸Ｐをとり、横軸Ｐと直角に縦軸Ｑをとる。縦軸Ｑは、道路の垂直方向Ｚに対して、俯角に相当する角度αだけ傾いているものとする。
ただし、カメラレンズの焦点距離ｆ、カメラの設置高さＨ、撮影面のＰ軸方向の実際の大きさＳｐ、撮影面のＱ軸方向の実際の大きさＳｑ、撮影面のＰ軸方向の画素数Ｎｐ、撮影面のＱ軸方向の画素数Ｎｑは既知であり、定数値として扱う。

撮影面上での座標（ｐ，ｑ）（単位：画素数）と、実空間上での座標点（Ｘ，Ｙ，Ｚ）には、（１）〜（４）式の関係式が成立する。
Ｚ＝Ｈ−（ｆtanα−ξ）Ｙ／（ξtanα＋ｆ） （１）
Ｘ＝−ζＹ／ｆ （２）
ξ＝（Ｓq／Ｎq）ｑ （３）
ζ＝（Ｓｐ／Ｎｐ）ｐ （４）
ここで、ζ，ξは撮影面上の座標（単位：長さ）である。

(2)プレート位置の算出
撮影面上に写ったナンバープレートを、図７に示す。切り出した文字１，２，３，４と各テンプレートの相関値を算出して、相関値が最大となった文字が「３」であるとする。
このときの、「３」の上端部の座標値をｑu、下端部の座標値をｑlとする。
ここで、カメラからナンバープレートまでの距離をＹとすると、ｑu，ｑlにそれぞれ対応する実空間上での高さＺu，Ｚlは式（１ａ）〜（３ｂ）のように算出できる。

Ｚu＝Ｈ−（ｆtanα−ξu）Ｙ／（ξu tanα＋ｆ）（１ａ）
ξu＝（Ｓq／Ｎq）ｑu （３ａ）
Ｚl＝Ｈ−（ｆtanα−ξl）Ｙ／（ξl tanα＋ｆ）（１ｂ）
ξl＝（Ｓq／Ｎq）ｑl （３ｂ）
大型車／普通車の判定は完了しているので、文字の高さ（Ｚu−Ｚl）は図８のように既知である。

Ｚu−Ｚl＝文字の高さ （５）
上の５つの方程式（１ａ）〜（５）を用いて、ξu，ξl，Ｚu，Ｚl，Ｙを解くことができる。したがって、距離Ｙが算出でき、さらにＺu，Ｚlも算出できる。
以上の処理では、文字の高さに基づいて、距離Ｙを算出した。しかし、文字の横幅に基づいても、距離Ｙを算出することができる。

この場合、「３」の右端部の座標値をｐu、左端部の座標値をｐlとする。
ｐu，ｐlにそれぞれ対応する実空間上での位置Ｘu，Ｘlは式（２ａ）〜（４ｂ）のように算出できる。
Ｘu＝−ζu Ｙ／ｆ （２ａ）
ζu＝（Ｓp／Ｎp）ｐu （４ａ）
Ｘl＝−ζl Ｙ／ｆ （２ｂ）
ζl＝（Ｓp／Ｎp）ｐl （４ｂ）
大型車／普通車の判定は完了しているので、文字の横幅（Ｘu−Ｘl）は図８のように既知である。

Ｘu−Ｘl＝文字の横幅 （６）
上の５つの方程式（２ａ）〜（６）を用いて、ζu，ζl，Ｘu，Ｘl，Ｙを解くことができる。したがって、距離Ｙが算出でき、さらにＸu，Ｘlも算出できる。
(3)移動速度算出
画像を取り込んだ時刻ｔ１でのナンバープレートのＹ座標をＹ１、画像を取り込んだ時刻ｔ２でのプレートのＹ座標をＹ２とすると、車両の速度は次式で算出できる。

速度＝（Ｙ１−Ｙ２）／（ｔ２−ｔ１）
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではない。例えば、ナンバープレート内の文字の大きさを算出するのに、テンプレートを用いて相関をとる方法以外の方法も採用できる。たとえば、ナンバープレートの中でＰ方向またはＱ方向に画像輝度のヒストグラムをとって、その存在範囲から、文字の大きさを算出してもよい。その他、本発明の範囲内で種々の変更を施すことが可能である。

本発明の車両速度検出装置の構成図である。 撮影画像例を示す図である。 計測装置４の構成例を示すブロック図である。 車両位置算出処理方法を示すフローチャートである。 大型車／普通車それぞれにおける複数の大きさのテンプレートを示す図である。 実空間と撮影面上の座標を定義する図である。 撮影面上に写ったナンバープレートを示す図である。 車種毎に規定されている、ナンバープレート内の文字の大きさを説明するための図である。

符号の説明

２ カメラ
３ 映像ケーブル
４ 計測装置
４１ 画像入力部
４２ Ａ／Ｄ変換部
４３ 画像メモリ
４４ 演算部
４５ 通信部

Claims (7)

1. （ａ）車両が存在する場所を撮影するカメラにより、当該場所を撮影して画像を取り込み、
   （ｂ）画像内に車両が検出された場合に、当該画像に表れる、ナンバープレートを切り出し、
   （ｃ）当該車両の車種に関係するナンバープレートの種類を判定し、
   （ｄ）ナンバープレートの中の文字の大きさを測定し、
   （ｅ）前記測定された文字の大きさ、及び判定されたナンバープレートの種類に対応する文字の大きさの規格値との関係に基づいて、道路空間上での、カメラから車両までの距離を算出する車両位置検出方法。
2. 前記（ｄ）の手順において、「ナンバープレートの中の文字の大きさを測定」は、判定されたナンバープレート種類に応じて用意された文字テンプレートを用いて行う請求項１記載の車両位置検出方法。
3. 前記文字の大きさとして、ナンバープレートの中の全文字のうち、テンプレートが最大相関となった１文字を選定する請求項２記載の車両位置検出方法。
4. 前記文字の大きさとして、ナンバープレートの中のそれぞれの文字について、テンプレートを用いて文字の大きさと相関値を求め、各文字の大きさを、前記相関値で重み付け平均した結果を、文字の大きさとする請求項２記載の車両位置検出方法。
5. 前記（ｃ）の手順において、当該車両の車種に関係するナンバープレートの種類を判定する処理において、カメラに写ったナンバープレートの大きさ若しくはその中の文字の部分の大きさ、又は文字の認識結果を利用する請求項１記載の車両位置検出方法。
6. （ａ）車両が存在する場所を撮影するカメラにより、当該場所を撮影して画像を取り込み、
   （ｂ）画像内に車両が検出された場合に、当該画像に表れる、ナンバープレートを切り出し、
   （ｃ）当該車両の車種に関係するナンバープレートの種類を判定し、
   （ｄ）ナンバープレートの中の文字の大きさを測定し、
   （ｅ）前記測定された文字の大きさ、及び判定されたナンバープレートの種類に対応する文字の大きさの規格値との関係に基づいて、道路空間上での、カメラから車両までの距離を算出し、
   （ｆ）前記距離の時間変化に基づいて車両の速度を検出する、車両速度検出方法。
7. 車両が存在する場所を撮影するカメラと、
   カメラの画像内に車両が検出された場合に、当該画像に表れる、ナンバープレートを切り出す切り出し手段と、
   当該車両の車種に関係するナンバープレートの種類を判定する判定手段と、
   ナンバープレートの中の文字の大きさを測定する測定手段と、
   前記測定された文字の大きさ、及び判定されたナンバープレートの種類に対応する文字の大きさの規格値との関係に基づいて、道路空間上での、カメラから車両までの距離を算出する算出手段と、
   前記距離の時間変化に基づいて車両の速度を検出する速度検出手段とを備える、車両速度検出装置。