JP2018147393A - 標識認識システム - Google Patents

Abstract

【課題】処理負荷を低減できる標識認識システムを提供する。【解決手段】前方画像３１において、道路側方が映っており、同じ高さを表す高さ線５１で区画されることで、消失点３４に向かうに従い高さ方向の長さが短くなる側方領域５３を、カメラから消失点３４に向かう方向に平行であって、上下方向がカメラの撮像面４１の上下方向と平行な仮想の撮像面４４に、側方領域５３の高さ方向の長さが揃うように映し出す変換であるサイドビュー変換を行うことで、前方画像３１内の側方領域５３を車両の左右方向から見た画像であるサイドビュー画像とするサイドビュー変換部２５と、サイドビュー画像内の道路標識が存在する可能性がある領域であるマッチング領域に対して、パターンマッチングを行うマッチング部２８と、パターンマッチングの結果に基づいて道路標識を認識する標識認識部２９と、を備える。【選択図】図１

Description

本発明は、道路標識を認識するための標識認識システムに関するものである。

特許文献１は、カメラで撮像された車両の前方画像を用いて道路標識を認識する標識認識システムを開示している。標識認識システムは、パターンマッチングを用いて道路標識を認識する。パターンマッチングでは、予め定められた認識対象とする道路標識をテンプレートとして用意し、テンプレートと前方画像内の道路標識とをマッチングさせることで道路標識を認識する。

特開２０１４−１５３１６７号公報

特許文献１で提案されている標識認識システムは、カメラで撮像された前方画像を用いて道路標識を認識する。同じ種類の道路標識であっても、カメラと道路標識との距離が道路標識ごとに異なる場合、前方画像内の道路標識の高さと道路標識の大きさは、道路標識ごとに異なる。上記標識認識システムでは、パターンマッチングの際、大きさが異なる道路標識のテンプレートを複数用意する必要があった。そして標識認識システムは、大きさが異なる複数のテンプレートを順番に変更させながら前方画像内の道路標識とテンプレートとをマッチングさせる。このときテンプレートごとに高さを変化させつつマッチングを行う。大きさの異なる複数のテンプレートを変更させ、かつテンプレートごとに高さを変化させるため、パターンマッチングでの処理負荷が大きくなるという問題があった。

本発明は、上記問題を鑑みてなされたもので、その目的は、処理負荷を低減できる標識認識システムを提供することにある。

ここに開示される発明は上記目的を達成するために以下の技術的手段を採用する。尚、特許請求の範囲およびこの項に記載した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものであって、発明の技術的範囲を限定するものではない。

その目的を達成するための第１の発明は、カメラ（１０）を用いて撮像した車両の前方画像（３１）を用い、パターンマッチングにより、道路側方に設置されている道路標識を認識する標識認識システムであって、パターンマッチングで用いられる道路標識のテンプレートを記憶するテンプレート記憶部（５０）と、前方画像において、道路側方が映っており、同じ高さを表す高さ線（５１）で区画されることで、消失点に向かうに従い高さ方向の長さが短くなる側方領域（５３）を、カメラから消失点に向かう方向に平行であって、上下方向がカメラの撮像面の上下方向と平行な仮想の撮像面（４４）に、側方領域の高さ方向の長さが揃うように映し出す変換であるサイドビュー変換を行うことで、前方画像内の側方領域を車両の左右方向から見た画像であるサイドビュー画像とするサイドビュー変換部（２５）と、サイドビュー画像内の一部の領域であって、道路標識が存在する可能性がある領域であるマッチング領域に対して、テンプレートを用いてパターンマッチングを行うマッチング部（２８）と、パターンマッチングの結果に基づいて道路標識を認識する標識認識部（２９）と、を備える。

第１の発明によると、同じ物体でも、前方画像内に映し出された場合は、消失点に近いほど、画像内では高さ方向の長さが短くなる。これは、消失点が決定できれば、前方画像において、同じ高さを表す高さ線を決定できることを意味する。そこで、本発明では、消失点に向かう線であって同じ高さを表す高さ線を決定する。そして、この高さ線を用いて側方領域を決定する。側方領域は、前方画像において、道路側方が映っており、高さ線で区画されることで、消失点に向かうに従い高さ方向の長さが短くなる領域である。サイドビュー変換部は、この側方領域を、カメラから消失点に向かう方向に平行であって、上下方向がカメラの撮像面の上下方向と平行な仮想の撮像面に撮像された画像に変換する。カメラから消失点に向かう方向に平行であって、上下方向がカメラの撮像面の上下方向と平行な面は、車両の左右方向に直交する面である。よって、その変換により、側方領域を車両の左右方向から見た画像であるサイドビュー画像に変換できるのである。加えて、サイドビュー変換部は、消失点に向かうに従い高さ方向の長さが短くなる側方領域を、高さ方向の長さが揃うように変換する。これにより、サイドビュー画像では、車両からの距離によらず、高さ方向の縮小率が同じになる。よって、側方領域に映っている道路標識も高さが揃うため、パターンマッチングに際して、テンプレートの高さを変化させる範囲を少なくできる。テンプレートの高さを変化させる範囲を少なくできるので、パターンマッチングの際の処理負荷を低減できる。

第２の発明は、カメラ（１０）を用いて撮像した車両の前方画像（３３１）を用い、パターンマッチングにより、道路上方に設置されている道路標識を認識する標識認識システムであって、パターンマッチングで用いられる道路標識のテンプレートを記憶するテンプレート記憶部（３５０）と、前方画像において、道路上方が映っており、同じ左右方向長さを区画する一対の左右方向長さ線（３５１）で区画されることで、消失点に向かうに従い左右方向の長さが短くなる上方領域（３５３）を、カメラから消失点に向かう方向に平行であって、左右方向がカメラの撮像面の左右方向と平行な仮想の撮像面（３４４）に、上方領域の左右方向の長さが揃うように映し出す変換であるボトムビュー変換を行うことで、前方画像内の上方領域を車両の上下方向の下側から見た画像であるボトムビュー画像とするボトムビュー変換部（３３０）と、ボトムビュー画像内の一部の領域であって、道路標識が存在する可能性がある領域であるマッチング領域に対して、テンプレートを用いてパターンマッチングを行うマッチング部（３２８）と、パターンマッチングの結果に基づいて道路標識を認識する標識認識部（３２９）と、を備える。

第１の発明がサイドビュー変換を行う発明であるのに対して、第２の発明はボトムビュー変換を行う。同じ物体でも、前方画像内に映し出された場合は、消失点に近いほど、画像内では道路幅方向すなわち左右方向の長さが短くなる。これは、消失点が決定できれば、前方画像において、同じ左右方向長さを区画する一対の左右方向長さ線を決定できることを意味する。そこで、第２の発明では、消失点に向かう線であって、同じ左右方向長さを区画する一対の左右方向長さ線を決定する。そして、この一対の左右方向長さ線を用いて上方領域を決定する。上方領域は、前方画像において、道路上方が映っており、一対の左右方向長さ線で区画されることで、消失点に向かうに従い左右方向の長さが短くなる領域である。ボトムビュー変換部は、この上方領域を、カメラから消失点に向かう方向に平行であって、左右方向がカメラの撮像面の左右方向と平行な仮想の撮像面に撮像された画像に変換する。カメラから消失点に向かう方向に平行であって、左右方向がカメラの撮像面の左右方向と平行な面は、車両の上下方向に直交する面である。よって、その変換により、上方領域を下から見上げた画像であるボトムビュー画像に変換できるのである。加えて、ボトムビュー変換部は、消失点に向かうに従い左右方向の長さが短くなる上方領域を、左右方向の長さが揃うように変換する。これにより、ボトムビュー画像では、車両からの距離によらず、左右方向の縮小率が同じになる。よって、上方領域に映っている道路標識も、左右方向の位置が揃うため、パターンマッチングに際して、テンプレートの左右方向の位置を変化させる範囲を少なくできる。テンプレートの左右方向の位置を変化させる範囲を少なくできるので、パターンマッチングの際の処理負荷を低減できる。

第１実施形態に係る標識認識システムを示すブロック図である。 第１実施形態に係る前方画像と、歪み補正後の前方画像とを示す図である。 第１実施形態に係る歪補正処理を説明するための概念図である。 第１実施形態に係るカメラ向きの検出方法を説明するための概念図である。 第１実施形態に係る前方画像とサイドビュー画像とを示す図である。 第１実施形態に係る道路標識の高さを揃える変換方法について説明するための概念図である。 第１実施形態に係る道路標識の大きさを揃える変換方法について説明するための概念図である。 第１実施形態に係る道路標識のテンプレートの一例を示す図である。 第１実施形態に係る画像処理部での処理の流れを示すフローチャートである。 第２実施形態に係る標識認識システムを示すブロック図である。 第２実施形態に係る標識認識システムが実行する処理を示すフローチャートである。 走行車線が違うことにより道路標識の大きさが異なることを説明する図である。 第２のサイドビュー変換において道路標識の形状が右上がりの楕円になることを示す図である。 変形例１において用いるテンプレートを例示する図である。 第３実施形態に係る標識認識システムの構成を示すブロック図である。 前方画像の一例である。 上方領域を説明する図である。 ボトムビュー変換を説明する図である。 第２のボトムビュー画像を例示する図である。 道路上方に存在する道路標識のテンプレートを例示する図である。

以下、図面を参照しながら発明を実施するための複数の形態を説明する。各形態において、先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において、構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を参照し適用することができる。

（第１実施形態）
以下、本発明の第１実施形態について、図面を参照しつつ説明する。図１は、本実施形態に係る標識認識システム１００を示すブロック図である。図１に示すように標識認識システム１００は、車両前方を撮像するカメラ１０と、カメラ１０から出力される画像を処理する画像処理部２０と、画像処理に必要なデータであるカメラの画角と焦点距離ｆとを記憶するカメラ記憶部３０と、道路標識の認識に用いられる道路標識のテンプレートの情報を記憶するテンプレート記憶部５０とを備えている。標識認識システム１００は、車両に搭載されている。標識認識システム１００は、図示しない検出標識活用システムに接続される。尚、標識認識システム１００は、車両に搭載されていなくてもよくドライブレコーダ等で記録した画像を、記録媒体または通信により車外に転送し、車外にて認識処理を行ってもよい。車外にて認識処理ができるシステムとしてＰＣまたはサーバを車外に設置してもよい。

検出標識活用システムは、標識認識システム１００で認識された道路標識の情報である道路標識情報を活用し、制限速度などの交通規制に基づく注意喚起や警報を行う。または、制限速度などの交通規制に基づく速度診断などの運転診断を行う。

カメラ１０は、例えば、車両のフロントガラス付近に設置される。カメラ１０は、車両の前方を撮像し、画像データを生成する。車両の前方を撮像した画像データを前方画像３１（図２参照）とする。カメラ１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子やＣＣＤ（Charge Coupled Device）撮像素子などを用いたデジタルカメラを用いることができる。さらにドライブレコーダを流用し、前方画像３１を生成するとしてもよい。尚、以降の記載については、カメラ１０はドライブレコーダが備えるカメラとする。ドライブレコーダの広角レンズを用いて車両の前方を撮像し、前方画像３１を生成する。

画像処理部２０は、歪補正処理部２１と、区画線検出部２２と、消失点検出部２３と、カメラ向き検出部２４と、サイドビュー変換部２５と、マッチング領域特定部２７と、マッチング部２８と、標識認識部２９とを備えている。

歪補正処理部２１は、カメラ１０で生成された前方画像３１の歪みを補正する。図２（Ａ）に生成された前方画像３１を示し、図２（Ｂ）に歪み補正後の前方画像３１である補正後前方画像３２を示す。特にドライブレコーダによって撮像された前方画像３１は、広角レンズで撮像されているため大きく歪みが生じる。歪みが大きい場合、後述する道路標識の認識に影響を及ぼす恐れがある。そのため、前方画像３１の歪みを補正する。ここでの歪みは、カメラへの入射角が大きいほど画像の中心に引き寄せられて撮像される現象であり、ディストーションという。広角レンズの場合、ディストーションは画像隅部ほど画像の上下中心あるいは左右中心に引き寄せられた樽型画像となる。図３（Ａ）は、カメラ１０により撮像された前方画像３１の一例である。この前方画像３１は、補正前の原画像である。尚、広角レンズにおけるディストーションには正射影、等距離射影などがある。ディストーション補正は、ディストーションに応じて正射影や等距離射影を表す式を用いて線形変換を行う処理となる。

しかし、ディストーション補正のみでは、画像の歪みをなくすことはできない。前方画像３１に対してディストーション補正を行った画像であるディストーション画像３９は、図３（Ｂ）に示すように画像の端部に映し出された立体物が画像の端方向に引っ張られるような像になる。これをボリューム歪像という。ボリューム歪像により、前方画像３１内の道路標識が映し出される位置によっては道路標識が変形してしまうため、パターンマッチングに影響を及ぼす恐れがある。

ボリューム歪像を補正するため、図３（Ｃ）に示すように、画像の周縁部ほど画像の中心に向かって近づける非線形の変換を行う式４８を用いる。この変換をボリューム歪像補正という。ボリューム歪像補正を行うことで図２（Ｂ）に示すように、道路と橋梁がほぼ直線となり、画像の周縁部に映し出されたビルがまっすぐに立っている画像である補正後前方画像３２とすることができる。歪補正処理部２１は、前方画像３１を補正後前方画像３２へと補正する。尚、以降の記載については、補正後前方画像３２を用いて説明する。

区画線検出部２２は、車両が走行可能な領域を区画する区画線３３（図４参照）を検出する。補正後前方画像３２に基づいて公知の画像処理であるエッジ抽出処理により補正後前方画像３２内の濃淡のエッジを検出する。そして抽出したエッジは点の集合（以降、エッジ点と呼ぶ）で示される。次に区画線検出部２２は、抽出したエッジ点の集合をハフ変換することで区画線３３を検出する。区画線３３は、道路の路面に書かれた線であり、例えば白線である。

消失点検出部２３は、区画線検出部２２で検出した複数の区画線３３から、補正後前方画像３２内の中心付近に延びている区画線３３を抽出する。そして区画線３３の交差する点である消失点３４を検出する。例えば、図２（Ｂ）に示すように４本の区画線３３が存在する場合、走行する車両の左右の区画線３３の交差する点を消失点３４とする。尚、車両の左右の区画線３３を用いたが、４本の区画線３３のうちどの区画線３３を用いてもよい。カメラ１０から消失点３４に向かう方向は、車両の進行方向を示している。これは、消失点３４を補正後前方画像３２内の区画線３３から抽出しており、道路の延びる方向を示す区画線３３の交差する点を消失点３４としているためである。この消失点３４が請求項に記載の消失点に相当する。

カメラ向き検出部２４は、カメラ１０の向きを検出する。カメラ１０の向きとはカメラ１０の光軸４０（図７に記載）の向きと同一である。カメラ１０はドライブレコーダが備えるカメラ１０のため、車両購入後に取り付ける場合が多く、カメラ１０の向きも変えることができるものが多い。したがって、カメラ１０ごとにカメラ１０の向きが異なる。

図４を用いてカメラ向きの検出方法について説明する。カメラ１０のヨー角を示す式を式１として以下に示す。また、カメラ１０のチルト角を示す式を式２として以下に示す。

式１と式２から検出されたカメラ１０のヨー角とチルト角は、カメラ１０の取付角度であり、カメラ１０の向きを示す。車両の進行方向に対して左右方向のカメラ１０の向きのずれをヨー角で確認し、車両の進行方向に対して上下方向のカメラ１０の向きのずれをチルト角で確認する。

カメラ１０の向きは、補正後前方画像３２の消失点３４の位置とカメラ１０の中心位置３５とカメラ１０の焦点距離から検出することができる。カメラ１０の中心位置３５は、補正後前方画像３２の中心である。つまり、ここでのカメラ１０の向きは、具体的には、消失点３４を基準としており、カメラ１０で撮像した画像の中心と消失点３４との距離を意味する。カメラ１０の焦点距離は、予め設定されており、カメラ記憶部３０に記憶されている。

ｆ：焦点距離
Δｘ：補正後前方画像３２における消失点３４と中心位置３５との水平方向の距離
Δｙ：補正後前方画像３２における消失点３４と中心位置３５との垂直方向の距離
サイドビュー変換部２５は、図５（Ａ）に示す補正後前方画像３２を、図５（Ｂ）に示す、車両の進行方向に対して左右方向から見た画像である後述する第２のサイドビュー画像３６に変換する。第２のサイドビュー画像３６は、道路標識の大きさと高さとが揃った状態となった画像である。尚、第２のサイドビュー画像３６は、車両の進行方向に対して左右方向から見た画像となるが、道路標識の向きは補正後前方画像３２のように車両の乗員が認識できる向きに変換される。サイドビュー変換部２５で行われるサイドビュー変換について図６と図７を用いて説明する。尚、サイドビュー変換は、後述する第１のサイドビュー変換と後述する第２のサイドビュー変換とがある。

図６では、補正後前方画像３２内の道路標識の高さを揃える第１のサイドビュー変換について説明する。図６（Ａ）は、車両の進行方向に対して左方向の景色を表している。この図６（Ａ）はカメラ１０で撮像した画像ではなく、実際の景色を簡略化して示している。このとき進行方向に並んだ道路標識４２と道路標識４３は高さが揃っているものとする。また、この図６（Ａ）には、説明用に縦横等間隔で格子が描かれている。尚、格子は、第１のサイドビュー変換を説明するために示しており、実際の画像に描かれる必要はない。

進行方向に伸びる格子の各線は、同じ高さを示す線である。進行方向に伸びる格子の各線を高さ線５１とする。例えば、図６（Ａ）、図６（Ｃ）に示すように、第２のサイドビュー画像３６を得るために切り出す側方領域５３の上端の高さ線５１を高さ線５１ａとする。側方領域５３の下端の高さ線５１の車両側の端点は、最も左側に検出した区画線３３、すなわち最も路側寄りに検出した区画線３３よりも補正後前方画像３２の外側の任意の位置である。たとえば、補正後前方画像３２の左辺上において、最も左側の区画線３３よりも一定距離だけ上方とした位置とする。この位置と消失点３４とを結ぶ線が、側方領域５３の下端の高さ線５１となる。

側方領域５３の上端の高さ線５１ａは、側方領域５３の下端の高さ線５１よりも画像上方に位置している。たとえば、高さ線５１ａの車両側の端点は、補正後前方画像３２の左辺上において、側方領域５３の下端の高さ線５１の車両側の端点から一定距離、上方の位置とする。この位置と消失点３４とを結ぶ線が、側方領域５３の上端の高さ線５１ａとなる。

進行方向と垂直な格子の各線は、道路標識４２や道路標識４３などの物体のカメラ１０からの距離を示している。進行方向と垂直な格子の各線を距離線５２とする。例えば、図６（Ａ）、図６（Ｃ）に示すように、側方領域５３において最も遠い距離を示す距離線５２を距離線５２ａとする。

図６（Ｂ）は、図６（Ａ）に描かれた側方領域５３を追加した補正後前方画像３２を示している。この図６（Ｂ）で描かれた側方領域５３は、道路側方を映している。側方領域５３は、台形形状であり、消失点３４に向かうに従い、上底と下底とを結ぶ一対の脚間の距離が狭くなる。

図６（Ａ）では、複数の高さ線５１および距離線５２は縦横等間隔であるのに対して、図６（Ｂ）で描かれた側方領域５３では、高さ線５１と距離線５２は縦横等間隔ではない。図６（Ｂ）は、車両の進行方向に対して左右方向から道路標識を見たときの画像ではなく、補正後前方画像３２であるためである。

複数の距離線５２は、実際の道路上の等間隔位置を表している。しかし、距離線５２は消失点３４に向かうにつれて長さが短くなり、相互の平行は維持しつつ、隣接する距離線５２との間隔が狭くなっている。これは消失点３４に向かうに従い、補正後前方画像３２内の側方領域５３の高さ方向の長さが短くなることを意味する。

尚、側方領域５３を平面と仮定すれば、側方領域５３内の位置と、車両からの距離との関係が定まる。そのため、側方領域５３において、等間隔の位置を表す複数の距離線５２の位置を決定できる。

複数の高さ線５１は、いずれも消失点３４を端点とした直線である。これは消失点３４が決定できれば、補正後前方画像３２において、同じ高さを表す高さ線５１を決定できることを意味する。

複数の高さ線５１は、いずれも消失点３４を端点とした直線であるので、消失点３４に向かうにつれて上下の高さ線５１との間隔は狭くなる。つまり、同じ高さを表す高さ線５１で区画されている側方領域５３であるが、画像内では、消失点３４に向かうに従い、高さ方向の長さが短くなっている。しかし、画像内での高さ方向の長さの相違によらず、実際の高さ方向の長さは同じである。この側方領域５３が請求項に記載の側方領域に相当する。

第１のサイドビュー変換は、図６（Ｂ）で描かれた補正後前方画像３２内の側方領域５３を、図６（Ｃ）に示すように、高さ方向の長さを揃える変換をしたものである。これにより、高さ線５１は等間隔になり、側方領域５３内の道路標識４２、４３も高さ方向に拡大される。第１のサイドビュー変換後の画像は、道路標識４２、４３を含む補正後前方画像３２を車両の進行方向に対して左右方向から見た画像に変換する一方で、道路標識４２、４３の向きは、補正後前方画像３２と同じく、車両の乗員が認識できる向きが維持された画像となる。

図６（Ｄ）は、第１のサイドビュー変換後の画像である。この画像を第１のサイドビュー画像３８とする。第１のサイドビュー画像３８は、側方領域５３に含まれる物体の相対高さが、実際の物体の相対高さとなるように映し出される。これにより、第１のサイドビュー画像３８は、道路標識４２と道路標識４３との高さが揃ったものとなる。

ただし、側方領域５３を区画する高さ線５１が等間隔となるように拡大する際、図６（Ｄ）の左右方向、すなわち、車両の前後方向の大きさは、消失点３４に近い側ほど、大きくなってしまう。そのため、図６（Ｄ）では、道路標識４２と道路標識４３との大きさに、車両の進行方向における違いが生じる。

サイドビュー変換部２５は、第１のサイドビュー変換により、補正後前方画像３２を第１のサイドビュー画像３８に変換させる。また第１のサイドビュー変換が請求項に記載の第１のサイドビュー変換に相当する。尚、車両の左側に道路標識があるとしたが、右側に道路標識があるとして消失点３４より右側に存在する側方領域５３を拡大してもよい。

図７では、第１のサイドビュー変換と、第１のサイドビュー変換によって、大きさに違いが生じた道路標識４２、４３の大きさを揃える第２のサイドビュー変換について説明する。

車両の前方に道路標識４２と道路標識４３が存在していると、それら道路標識４２、４３がカメラ１０で撮影される。補正後前方画像３２は、車両の前方に存在する道路標識４２と道路標識４３とをカメラ１０の集光レンズ４５を通して撮像面４１に映し出された原画像に対して歪みを補正した画像である。

図７で示す撮像面４１は、車両の後方に存在しているが、図７がカメラ１０の集光レンズ４５と撮像面４１との関係を拡大したものだからであり、撮像面４１は、車両に搭載されているカメラ１０の内部にある。

道路標識４２と道路標識４３の大きさが等しい場合、撮像面４１に映し出された原画像に対して歪みを補正した補正後前方画像３２は、図７に示す幾何的関係から分かるように、近くの道路標識４２を大きく映し、遠くの道路標識４３を小さく映す。撮像面４１には、側方領域５３も映し出される。この撮像面４１が請求項に記載の撮像面に相当する。

サイドビュー変換部２５は、補正後前方画像３２内の側方領域５３を、仮想の撮像面４４に映し出す。仮想の撮像面４４は、カメラ１０から消失点３４に向かう方向に平行であって、上下方向が撮像面４１の上下方向と平行な仮想の平面である。尚、ここでの平行は厳密に平行である必要はなく、ずれが生じていてもよい。例えば、仮想の撮像面４４は、カメラ１０から消失点３４に向かう方向に対して５度ずれていてもよい。

また、カメラ１０から消失点３４に向かう方向に平行な仮想の撮像面４４は、消失点３４とカメラ１０の光軸４０との関係から幾何学的に設定される。消失点３４とカメラ１０の光軸４０との関係は、カメラ向き検出部２４で検出された消失点３４と中心位置３５との水平方向の距離と、消失点３４と中心位置３５との垂直方向の距離との値から求められる。

側方領域５３を仮想の撮像面４４に映し出す際、側方領域５３を区画する高さ線５１が等間隔となるように拡大する処理を行う。この処理が上記第１のサイドビュー変換である。この仮想の撮像面４４が請求項に記載の仮想の撮像面に相当する。

仮想の撮像面４４は、換言すれば、車両の側方に存在し、車両の上下方向に平行な仮想の平面である。したがって、この仮想の撮像面４４に側方領域５３を映し出すと、側方領域５３を車両の左右方向から見た画像になるのである。

サイドビュー変換部２５は、変換式４６を用いて第１のサイドビュー画像３８内の道路標識４２と道路標識４３との大きさを揃えるために、第１のサイドビュー画像３８を縮小させる補正処理を行う。第１のサイドビュー画像３８を縮小させる補正処理を第２のサイドビュー変換とする。第２のサイドビュー変換は、第１のサイドビュー変換後に行われる。変換式４６は、図７に示すように曲線となっている。この曲線の形状は、図７に示すように、幾何的に決定できる。変換式４６は、実際には、同じ大きさの道路標識４２、４３であるにも関わらず、カメラ１０からの距離が異なることに起因して、第１のサイドビュー画像３８では、車両前後方向の大きさが異なる大きさになっている道路標識を、同じ大きさに戻す式である。

そのため、変換式４６は、仮想の撮像面４４において、カメラ１０から遠くに存在するほど縮小率を高くしている。補正後の撮像面４７には、大きさが揃えられた道路標識４２と道路標識４３とが映し出される。サイドビュー変換部２５は、第１のサイドビュー画像３８を第２のサイドビュー画像３６に変換させる。

サイドビュー変換部２５は、第１のサイドビュー変換を行うことで図５（Ａ）に示す補正後前方画像３２を、図６（Ｄ）に示す道路標識の高さが揃った第１のサイドビュー画像３８に変換させる。サイドビュー変換部２５は、第１のサイドビュー変換の後、第２のサイドビュー変換を行うことで、図６（Ｄ）に示す第１のサイドビュー画像３８を、図５（Ｂ）に示す道路標識の大きさと高さが揃った第２のサイドビュー画像３６に変換させる。尚、第１のサイドビュー変換の後、第２のサイドビュー変換のみを行うとしたが、第１のサイドビュー変換のみを行うものとしてもよい。

マッチング領域特定部２７は、サイドビュー変換部２５で変換された第２のサイドビュー画像３６から第２のサイドビュー画像３６内のマッチング領域を特定する。マッチング領域は、第２のサイドビュー画像３６において、テンプレートを用いたパターンマッチングを行う領域である。第２のサイドビュー画像３６は、道路標識の高さが揃っているので、マッチング領域を第２のサイドビュー画像３６の一部の高さ領域に絞ることができる。また、車両から遠すぎる道路標識は認識する必要がないので、左右方向も、第２のサイドビュー画像３６の一部の領域にマッチング領域を絞り込む。

マッチング領域は、カメラ１０の画角とカメラ１０の取付角度とに基づいて求められる。カメラ１０の画角により、第２のサイドビュー画像３６の左右方向において道路標識を認識すべき範囲が定まる。第２のサイドビュー画像３６において道路標識を認識すべき距離領域が映る大きさの割合は、画角が広いほど小さくなる。そのため、画角が広いほど、マッチング領域の左右方向の端は画像中心寄りになる。反対にカメラ１０の画角が狭い場合、道路標識は第２のサイドビュー画像３６の端寄りに存在する可能性がある。そこで、マッチング領域特定部２７は、カメラ１０の画角に応じてマッチング領域の左右方向の範囲を変化させる。
上記記述は車両のドライバに対して注意喚起を行うことが目的であり、注意喚起する道路標識を車両からの距離によって定めている。そのため、画角が広い場合、車両からより近い道路標識が撮像されるが、車両からの距離によっては、車両からより近い道路標識を認識する必要がない場合がある。この場合、画角が広いほど、マッチング領域の左右方向の端は画像中心寄りになる。
しかし、車両のドライバに対して注意喚起を行うことが目的でなく、車両からより近い道路標識も認識する必要がある場合、マッチング領域の左右方向の端を中心寄りにする必要はない。

また、カメラ１０の取付角度の一方であるチルト角により、第２のサイドビュー画像３６における道路標識の上下方向の位置が求められる。カメラ１０のチルト角が地面方向に傾くほど、道路標識は第２のサイドビュー画像３６の上側に存在する。カメラ１０のチルト角が地面方向と反対方向に傾くほど、道路標識は第２のサイドビュー画像３６の下側に存在する。そこで、マッチング領域特定部２７は、カメラ１０のチルト角に応じてマッチング領域の上下方向の位置を変化させる。
また、カメラの取付角度の一方であるヨー角が道路側方側または道路側を向いていたとしても、マッチング領域は変化することは少ない。カメラ１０から消失点３４に向かう方向に対して幾何学的に仮想の撮像面４４が設定され、サイドビュー変換を行う。つまり、サイドビュー変換は消失点３４を基準とする。よって、ヨー角が道路側方側を向いていた場合であっても、第２のサイドビュー画像３６内の道路標識は、ヨー角によって位置が変化することは少ない。これにより、マッチング領域特定部２７は、カメラ１０のヨー角に応じてマッチング領域の位置を変化させる必要はない。

尚、第２のサイドビュー画像３６内のマッチング領域を特定したが、第１のサイドビュー画像３８内のマッチング領域を特定するものとしてもよい。また、カメラ１０の画角とチルト角とに応じてマッチング領域を変化させたが、画角またはチルト角のいずれか１つに応じてマッチング領域を変化させてもよい。また、カメラ１０の画角とカメラ１０の取付角度であるチルト角を用いてマッチング領域を特定したが、パターンマッチングを行う中で、検出回数の多い領域を特定し、その領域をマッチング領域として定めてもよい。カメラ１０を取り付けてから初めの数回をマッチング領域を特定するために利用してもよい。このマッチング領域特定部２７が請求項に記載のマッチング領域特定部に相当する。また、このマッチング領域が請求項に記載のマッチング領域に相当する。

マッチング部２８は、マッチング領域特定部２７で検出されたマッチング領域に対して、テンプレート記憶部５０に記憶されたテンプレート情報を用いてパターンマッチングを行う。テンプレート情報は、図８に示すように道路に設置されている道路標識のテンプレートである。本実施形態においてパターンマッチングを行う第２のサイドビュー画像３６は、すでに説明したように、道路標識の大きさが揃っている。したがって、パターンマッチングにおいては、一度、テンプレートの拡大縮小率を決定できれば、その後は、テンプレートの拡大縮小率を変更する必要はない。また、当初から、拡大縮小の必要がないテンプレートを用意しておくこともできる。尚、道路標識のテンプレートは、図８に示すものだけでなく、さまざまな道路標識を用いることができる。このマッチング部２８が請求項に記載のマッチング部に相当する。

標識認識部２９は、マッチング部２８で行われたパターンマッチングにより、マッチング度の高い道路標識を、前方画像３１に映っている道路標識であると認識する。さらに認識した道路標識から、その道路標識の種類と規制情報を特定する。規制情報とは、道路標識が示す規制の表示情報であり、例えば制限速度の値などである。標識認識部２９は、特定した道路標識情報を図示しない検出標識活用システムへ出力する。この標識認識部２９が請求項に記載の標識認識部に相当する。

（フローチャート）
以降では、図９に示すフローチャートを用いて、画像処理部２０が実施する道路標識の認識処理について説明する。画像処理部２０は、この道路標識の認識処理を車両のイグニッションスイッチがＯＮとなっている間、常に行う。

まず、ステップＳ１では、カメラ１０で撮像された車両の前方画像３１が入力され、ステップＳ２へと移行する。

ステップＳ２では、歪補正処理部２１により、Ｓ１で入力された前方画像３１の歪みを補正する処理を行って補正後前方画像３２を得て、ステップＳ３へと移行する。

ステップＳ３では、区画線検出部２２により、Ｓ２で得た補正後前方画像３２から複数の区画線３３を検出し、ステップＳ４へと移行する。

ステップＳ４では、消失点検出部２３により、Ｓ３で検出した複数の区画線３３から消失点３４を検出し、ステップＳ５へと移行する。尚、すでに消失点３４を決定している場合、ステップＳ３、Ｓ４を省略してもよい。また、消失点３４を検出する前であるが、複数の区画線３３が検出できない場合には、ステップＳ５へ移行せず、ステップＳ１に戻る。

ステップＳ５では、カメラ向き検出部２４により、Ｓ４で検出された消失点３４と、カメラ１０の中心位置３５とカメラ１０の焦点距離ｆ、および、式１、２からカメラ１０の向きを検出し、ステップＳ６へと移行する。

ステップＳ６では、サイドビュー変換部２５により、ステップＳ２で得た補正後前方画像３２から、ステップＳ４で検出した消失点３４に基づいて側方領域５３を決定し、その側方領域５３に対してサイドビュー変換を行う。サイドビュー変換では、第１のサイドビュー変換を行い、第１のサイドビュー変換の後、第２のサイドビュー変換を行う。サイドビュー変換を行うことで、補正後前方画像３２の側方領域５３を第２のサイドビュー画像３６に変換し、ステップＳ７へと移行する。尚、サイドビュー変換部２５により、第１のサイドビュー変換のみを行うようにしてもよい。第１のサイドビュー変換のみを行う場合、補正後前方画像３２を第１のサイドビュー画像３８に変換し、ステップＳ７へと移行する。

ステップＳ７では、マッチング領域特定部２７により、Ｓ６で得た第２のサイドビュー画像３６から、Ｓ５で検出したカメラ１０のチルト角およびカメラ１０の画角から、第２のサイドビュー画像３６内のマッチング領域を特定し、ステップＳ８へと移行する。尚、ステップＳ６で、第１のサイドビュー変換のみを行った場合、第１のサイドビュー画像３８内のマッチング領域を特定し、ステップＳ８へと移行する。また、一度、マッチング領域を特定した後はステップＳ７を省略することもできる。

ステップＳ８では、マッチング部２８により、Ｓ７で特定されたマッチング領域に対してパターンマッチングを行い、ステップＳ９へと移行する。

ステップＳ９では、標識認識部２９により、パターンマッチングの結果に基づいて道路標識の種類と規制情報を特定し、本フローを終了する。

以上により、本実施形態では、サイドビュー変換という画像処理を行うことで、パターンマッチングの際の処理負荷を軽減させる。第１のサイドビュー変換では、補正後前方画像３２において、道路側方が映っており、同じ高さを表す高さ線５１で区画されることで、消失点３４に向かうに従い高さ方向の長さが短くなる側方領域５３を決定する。そして側方領域５３をカメラ１０の撮像面４１に対して垂直であって、上下方向が撮像面４１の上下方向と平行な仮想の撮像面４４に映し出す。これにより、側方領域５３を、車両の左右方向から見た画像である第１のサイドビュー画像３８が得られる。第１のサイドビュー画像３８とすることで、側方領域５３に含まれる物体の相対高さも、実際の物体の相対高さとなるように映し出される。つまり、第１のサイドビュー変換により、車両の左右方向から見た画像であり、かつ、側方領域５３内の道路標識の高さが揃った第１のサイドビュー画像３８に変換される。

道路標識の高さが揃っているため、パターンマッチングの際、マッチング領域を、第２のサイドビュー画像３６の一部の領域に限定することができる。したがって、１つのテンプレートに対して高さを変化させる領域が狭くなる。これにより、パターンマッチングでの処理負荷を低減することができる。

さらに、本実施形態によれば、第１のサイドビュー変換の後、第２のサイドビュー変換を行う。第２のサイドビュー変換では、第１のサイドビュー画像３８に対してカメラ１０から遠くに存在するほど車両前後方向の縮小率を高くして第１のサイドビュー画像３８を縮小させる。これにより、第１のサイドビュー画像３８は、第１のサイドビュー画像３８内の道路標識の高さと道路標識の大きさとが揃った画像である第２のサイドビュー画像３６に変換される。道路標識の高さと大きさとが揃っているため、パターンマッチングの際、同じ種類の道路標識に対して用意すべき大きさが異なるテンプレートの数を少なくし（たとえば１つ）、あるいは、テンプレートの拡大縮小率を種々変更する必要がなくなる。このことから、パターンマッチングでの処理負荷をさらに低減することができる。

さらに、パターンマッチングで用いられる大きさが異なるテンプレートの数を少なくできることは次の利点もある。パターンマッチングで用いられる大きさが異なるテンプレートの数を少なくできることは、パターンマッチングの際、サイズの小さいテンプレートを用いてマッチングをする必要がないことを意味する。テンプレートのサイズが小さいと、細かな形状まで一致しているかの判断が難しくなることから、道路標識ではない物体を道路標識と誤認識してしまう恐れが高くなる。これに対して、本実施形態では、サイズの小さいテンプレートを用いてマッチングをする必要がないので、道路標識の認識精度を向上させることができる。

（第２実施形態）
本発明の第２実施形態について、図面に基づいて説明する。図１０は、本実施形態に係る標識認識システム２００を示すブロック図である。第２実施形態では、第１実施形態の標識認識システム１００が備える構成に加え、車両の位置測位と走行道路の特定を行う車両位置計測部６０と、ＧＰＳ６１と、車速センサ６２と、ジャイロセンサ６３と、地図データ６４とをさらに備えている。そして第２実施形態の画像処理部７０は、第１実施形態の画像処理部２０が備える構成に加え、走行車線検出部７１とテンプレート選択部７２とをさらに備えている。

第２実施形態と第１実施形態との主たる違いについて説明する。第１実施形態では、サイドビュー変換により変換された第２のサイドビュー画像３６を１つのテンプレートとパターンマッチングすることで道路標識を特定した。第２のサイドビュー画像３６は、道路標識の位置が車両の前後方向に変化しても、同じ大きさに道路標識が表示される。

しかし、車両が走行する車線が路側から何番目の車線かにより、車両が走行する車線から道路標識が設けられる路側までの距離は異なる。そして、車両が走行する車線と道路標識との左右方向の距離の変化に対応して、補正後前方画像３２における道路標識の大きさが変化する。そこで、第２実施形態では、テンプレート記憶部５０は、一種類の道路標識に対して、車両が走行する走行車線が路側から何番目の走行車線であるかに応じて大きさの異なる複数種類のテンプレートを記憶している。

そして、車両が走行する走行車線が路側から何番目の走行車線であるかに応じて定まる大きさのテンプレートを、テンプレート記憶部５０から選択する。第２のサイドビュー画像３６と選択したテンプレートとをパターンマッチングすることで道路標識を特定する。

車両位置計測部６０は、ＧＰＳ６１による車両の位置計測を行う。また、車両位置計測部６０は、車速センサ６２とジャイロセンサ６３を用いた周知の推測航法や、地図データ６４を用いたマップマッチングにより、車両の位置計測と走行道路の特定を行う。車両位置計測部６０は、車両の位置計測と走行道路の特定を車両のイグニッションスイッチがＯＮとなっている間、常に行う。

車両位置計測部６０に基づいて、標識認識システム２００で検出された道路標識の設置位置を特定することができる。第２のサイドビュー画像３６において道路標識が存在する位置から、車両と道路標識との距離が分かり、車両位置計測部６０の計測結果から、車両の現在位置が分かるからである。さらに車両位置計測部６０により、車両が、路側から何番目の走行道路を走行しているかを特定できるようになっていることが好ましい。たとえば、現在位置の特定精度が良く、かつ、地図データ６４に車線の情報が含まれていれば、車両が、路側から何番目の走行道路を走行しているかを特定できる。

図示しない検出標識活用システムには、標識認識システム２００で検出された道路標識に、設置位置の情報が加えられたものが出力される。これにより、検出標識活用システムは、道路地図や道路標識データベースの生成や変化点の抽出を行う。変化点とは、地図データが持つ道路標識の設置位置の情報と標識認識システム２００で検出された道路標識の設置位置の情報とが異なる点のことである。変化点を抽出することで地図データを最新の道路状況に合わせて更新することができる。また、検出標識活用システムには、標識認識システム２００で検出された道路標識に、走行道路の情報が加えられたものが出力される。これにより、検出標識活用システムは、速度規制に応じた車両速度の制御をするなど自動運転に活用できる。

走行車線検出部７１は、車両が走行する走行車線が路側から何番目の走行車線であるか（以下、走行車線位置）を検出する。走行車線位置の検出処理は、例えば、区画線検出部２２が検出した区画線３３が補正後前方画像３２に何本存在するかに基づいて走行車線数を決定して行われる。例えば、区画線３３が５本の場合、走行可能な走行車線が片側２車線ずつ存在すると判断する。そして、同一進行方向となる走行車線の車線数が複数の場合、複数の走行車線の内、左端の走行車線から第１車線とし、左端から右端に向けて車線の番号を加算していく。

車線数に対して車両が存在する走行車線の検出は、車両の左右に存在する区画線３３の本数に基づいて行われる。例えば、区画線３３が車両の左側に１本存在すれば、第１車線に車両が存在すると判断する。区画線３３が車両の左側に２本存在すれば、第２車線に車両が存在すると判断する。この走行車線検出部７１が、請求項に記載の走行車線検出部に相当する。

尚、区画線３３に基づいて走行車線位置を検出する以外に、車両位置計測部６０が走行車線位置を計測している場合、走行車線検出部７１は、車両位置計測部６０が計測した走行車線位置を取得することもできる。

テンプレート選択部７２は、マッチング部２８で行われるパターンマッチングで用いる道路標識のテンプレートを選択する。同じ種類の道路標識であるが大きさが異なる複数のテンプレートは、テンプレート記憶部５０に記憶されている。そしてテンプレート選択部７２は、走行車線検出部７１で検出された走行車線位置に基づいてパターンマッチングで用いる道路標識のテンプレートのサイズを選択する。

路側から離れた走行車線位置ほど、パターンマッチングで用いられる道路標識のテンプレートは、小さな大きさになる。例えば、図１２（Ａ）に示すように、２車線存在する道路の第１車線を車両が走行している場合と、図１２（Ｂ）に示すように第２車線を車両が走行している場合とを比較する。尚、図１２（Ａ）、図１２（Ｂ）は、サイドビュー画像を概念的に示しているので、道路標識は道路に面する向きで設けられている。

第１車線を走行している場合、路側から車両までの距離が短いため、図１２（Ｃ）に示すように、第２のサイドビュー画像３６内の道路標識は、図１２（Ｄ）に示す、第２車線を走行している場合の道路標識に比べ大きく表示される。

テンプレート選択部７２は、車両が第１車線を走行している場合、第１車線用テンプレートを選択する。図１２（Ｅ）に示すように、第１車線用テンプレートは、第２車線用テンプレートよりも大きい。第１車線用テンプレートは、車両が第１車線を走行しているときの第２のサイドビュー画像３６内の道路標識の大きさとマッチング可能な大きさのテンプレートである。尚、各車線用のテンプレートの道路標識の大きさは、路側から各車線までの距離に基づいて予め設定されたものである。このテンプレート選択部７２が請求項に記載のテンプレート選択部に相当する。

（フローチャート）
以降では、図１１に示すフローチャートを用いて、第２実施形態に係る標識認識システム２００が実行する処理について説明する。尚、標識認識システム２００は、この道路標識の認識処理を車両のイグニッションスイッチがＯＮとなっている間、常に行う。

第２実施形態では、ステップＳ６の処理のあと、ステップＳ６Ａへと移行する。ステップＳ６Ａでは、走行車線検出部７１により、Ｓ３で検出した区画線３３に基づいて走行車線位置を検出し、ステップＳ６Ｂへと移行する。尚、ステップＳ６Ａ、６Ｂは、ステップＳ４の処理のあと、ステップＳ５と平行して処理が行われてもよい。

ステップＳ６Ｂでは、テンプレート選択部７２により、Ｓ６Ａで検出した走行車線位置に応じて定まる大きさの道路標識のテンプレートを選択し、ステップＳ７へと移行する。第２実施形態では、ステップＳ９の処理のあと、ステップＳ１０へと移行する。

ステップＳ１０では、車両位置計測部６０により、ステップＳ９で特定された道路標識が設置されている位置を、車両位置計測部６０が計測した車両位置、および、第２のサイドビュー画像３６における道路標識の位置から特定する。また、その設置位置と地図データ６４とを照合して道路標識が設置されている走行道路も特定する。これら道路標識の設置位置と、道路標識が設置されている走行道路を示す情報を検出標識活用システムへ出力し、本フローを終了する。

以上により、第２実施形態によれば、走行車線位置に応じて定まる大きさのテンプレートを選択する。第２のサイドビュー画像３６における道路標識の大きさは走行車線位置によって変化するので、走行車線位置に応じて定まる大きさのテンプレートを選択することで、適切な大きさのテンプレートを選択することができる。よって、パターンマッチングの際、大きさが異なるテンプレートを順番に変更させる必要が少なくなる。これにより、第１実施形態よりもパターンマッチングでの処理負荷を低減することができる。

（第３実施形態）
第１、第２実施形態で説明した標識認識システム１００、２００は、前方画像３１をサイドビュー変換することで、道路側方に設けられている道路標識を認識する。サイドビュー変換では、前方画像３１のうち側方領域５３を、側方領域５３と空間的に平行な仮想の撮像面４４に映し出す。

前方画像３３１（図１６参照）には、道路上方に存在する道路標識も映っている。前方画像３３１において、道路上方にある道路標識が映っている領域（以下、上方領域３５３（図１７参照））を、上方領域３５３と空間的に平行な仮想の撮像面３４４（図１８参照）に映し出すことができる。これは、サイドビュー変換では、視点を車両から道路側方に向かう視点としていたのに対して、その視点を車両から道路上方に向かう視点に置き換えた変換である。前方画像３３１を、車両から道路上方に向かう視点の画像に変換することを、以下、ボトムビュー変換と言う。第３実施形態では、このボトムビュー変換を説明する。

図１５に、第３実施形態の標識認識システム３００の構成図を示す。標識認識システム３００は、画像処理部３２０の構成およびテンプレート記憶部３５０が、第１実施形態の標識認識システム１００と相違する。

テンプレート記憶部３５０は、第１実施形態のテンプレート記憶部５０が備えるテンプレートに加えて、道路上方に設置されている道路標識のテンプレートも記憶する。道路上方に設置されている道路標識には、たとえば、案内標識がある。

画像処理部３２０は、ボトムビュー変換部３３０を備える。また、マッチング領域特定部３２７は、第１実施形態のマッチング領域特定部２７と同じ機能を備えることに加えて、ボトムビュー変換部３３０で変換されたボトムビュー画像からもマッチング領域を特定する。ボトムビュー画像は、後述する第１のボトムビュー変換で得た画像と、後述する第２のボトムビュー画像３３６（図１９参照）とを示す。マッチング領域特定部３２７は、カメラ１０のチルト角に基づいてマッチング領域を特定する。

ボトムビュー画像は、道路標識と車両との距離によらず、道路標識の画像左右方向の位置が揃った画像である。しかし、道路標識がボトムビュー画像の左右方向において揃う位置は、カメラ１０のヨー角により変化する。そこで、カメラ向き検出部２４が検出したカメラ１０のヨー角と、ヨー角からマッチング領域を決定する予め定めた関係から、ボトムビュー画像に対するマッチング領域を特定する。なお、これに加えて、第１実施形態のマッチング領域特定部２７と同様、画角に基づいてマッチング領域をさらに限定してもよい。

マッチング部３２８は、第１実施形態のマッチング部２８と同じ機能を備えることに加えて、マッチング領域特定部３２７がボトムビュー画像に対して決定したマッチング領域に対して、テンプレート記憶部３５０に記憶された、道路上方の道路標識に対するテンプレートを用いて、パターンマッチングを行う。

標識認識部３２９は、マッチング部３２８で行われたパターンマッチングにより、マッチング度の高い道路標識を、前方画像３３１に映っている道路標識であると認識する。

ボトムビュー変換部３３０は、サイドビュー変換部２５が第１のサイドビュー変換と第２のサイドビュー変換の２つのサイドビュー変換を行ったのと同様に、第１のボトムビュー変換と第２のボトムビュー変換の２つのボトムビュー変換を行う。

第１のボトムビュー変換を行う領域は、たとえば、図１６に示す前方画像３３１のうち、図１７に示す上方領域３５３である。図１６に示す前方画像３３１には、道路上方に道路標識３４２、３４３が映っている。上方領域３５３は、この道路標識３４２、３４３が含まれるような領域である。

図１７に示すように、上方領域３５３は、一対の左右方向長さ線３５１で区画される領域である。一対の左右方向長さ線３５１は消失点３４において互いに重なる。よって、一対の左右方向長さ線３５１に対して交差するように引かれている複数の距離線３５２は、画像内での距離は異なっても、対応する現実の空間において同じ距離となる。尚、各距離線３５２の一端と他端は、消失点３４から左右方向長さ線３５１上の距離が互いに一致するようになっている。

上方領域３５３は、消失点３４に向かうように引かれている一対の左右方向長さ線３５１により区画されるので、前方画像３３１内では、消失点３４に向かうに従い左右方向の長さが短くなる。しかし、上述したように、一対の左右方向長さ線３５１に対して交差するように引かれている複数の距離線３５２は、対応する現実の空間において同じ距離となる。

図１８は、ボトムビュー変換を説明する図である。図１８には、仮想の撮像面３４４が示されている。図１８と図７を比較すると、車両の向きが異なる以外は、同じ図であることが分かる。このことからも、第１実施形態で説明したサイドビュー変換と同様の考え方で、ボトムビュー変換も行えることが分かる。尚、図１８に示す仮想の撮像面３４４は、カメラの撮像面４１に対して垂直であって、左右方向がカメラ１０の撮像面４１の左右方向と平行である。

第１のボトムビュー変換は、前方画像３３１内の上方領域３５３を、仮想の撮像面３４４に映し出す変換である。また、第１のボトムビュー変換は、左右方向の長さが揃うようにする変換である。

仮想の撮像面３４４に映し出された状態では、図１８に示すように、道路標識３４２と道路標識３４３は、カメラ１０からの距離の相違に起因して、車両進行方向の大きさが異なる。第２のボトムビュー変換では、変換式３４６を用いて第１のボトムビュー変換で得た画像を変換する。変換式３４６は、サイドビュー変換における変換式４６と同様、カメラ１０からの距離の相違に起因して進行方向の大きさが異なった大きさになった道路標識を、同じ大きさに揃えるための変換式である。

図１９に、第２のボトムビュー変換を行った後の画像である第２のボトムビュー画像３３６を例示している。図１９に示す第２のボトムビュー画像３３６は、道路標識の左右方向の位置および道路標識の大きさが揃っている。したがって、パターンマッチングの処理負荷を軽減することができる。尚、道路標識の大きさが揃っているため、道路標識の前後方向の縮小率も揃っていることになる。

ところで、図１９に示す第２のボトムビュー画像３３６では、道路標識は台形になっている。この理由は、道路上方に存在する道路標識は、道路側方に設けられている道路標識よりも大きく、かつ、道路の中心に存在することが多いからである。第１のボトムビュー変換により、図１７に示す上方領域３５３の左右方向長さ線３５１と距離線３５２とからなる格子を左右等間隔に変換する。これにより、道路標識が進行方向に対して左右方向だけでなく、上下方向にも引っ張られるように引き伸ばされることで、第２のボトムビュー画像３３６で示される道路標識は台形となる。変換式３４６は、道路前後方向の位置の相違によって仮想の撮像面３４４に投影される大きさが変化することを補正するものである。しかし、図１８から分かるように、道路標識の上下方向の大きさも、仮想の撮像面３４４に投影される大きさに影響する。変換式３４６では、道路標識の上下方向の大きさに起因して生じる道路標識の大きさの違いは補正できない。その結果、図１９に示すように、第２のボトムビュー画像３３６では、実際には道路標識の上下の辺は同じ長さであるにもかかわらず、道路標識の画像上側の辺は画像下側の辺よりも短くなるのである。この特性を考慮して、道路上方に存在する道路標識のテンプレートも、図２０に示すように、台形とすることが好ましい。

以上、発明の好ましい実施形態について説明したが、発明は上述した実施形態に何ら制限されることなく、以下に例示するように種々変形して実施することが可能である。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。

（変形例１）
第１実施形態の図６（Ｄ）では、第１のサイドビュー変換後の道路標識４２、４３を、長軸が水平な楕円形状で示していた。しかし、厳密には、第１のサイドビュー変換後の道路標識４２、４３は、図１３に示すように、長軸が右側に向かうに従い上に上がる傾斜を持つ楕円になる。その理由は、図６（Ｃ）に示すように、道路標識４２、４３は、第１のサイドビュー変換で、上方に引っ張られるように引き伸ばされるからである。図６（Ｃ）から分かるように、第１のサイドビュー変換では、側方領域５３のうち消失点３４よりも上側にある部分は上方に引っ張るように引き伸ばす一方で、消失点３４よりも下側にある部分は下方に引っ張るように引き伸ばす。したがって、仮に道路標識４２、４３が消失点３４よりも下方にあれば、道路標識４２、４３は、下方に引っ張られるように引き伸ばされる。

そこで、変形例１では、道路標識が消失点３４よりも上側にあると推定できれば、テンプレートを、長軸が左下から右上に向かう方向になる楕円（以下、右上がりの楕円）に変形してパターンマッチングを行う。図１４には、この変形を行ったテンプレートを例示している。

一方、道路標識が消失点３４よりも下側であると推定できれば、テンプレートを、長軸が左上から右下に向かう方向になる楕円（以下、右下がりの楕円）に変形してパターンマッチングを行う。

図６（Ｂ）において、２つの道路標識４２、４３がともに消失点３４よりも上側にあることから分かるように、１つの側方領域５３の中では、道路標識が消失点３４よりも上側と下側の両方に存在することはない。道路標識が消失点３４よりも上側になるか下側になるかは、補正後前方画像３２内の消失点３４の高さが影響し、この高さはチルト角により変動する。もちろん、他に、道路標識の路面からの高さも影響するが、道路標識の路面からの高さは既知であるので、予め設定しておく。また、カメラ１０の設置高さも影響する。道路標識が消失点３４よりも上側になるか下側になるかは、道路標識の高さとカメラ１０の設置高さの差により変化するからである。したがって、カメラ１０の設置高さも、予め設定しておくことが好ましい。

チルト角は、カメラ向き検出部２４が検出している。このチルト角と、道路標識の高さとカメラ１０の設置高さの差により、道路標識が消失点３４よりも上側になるか下側になるかが推定できる。そして、道路標識が消失点３４よりも上側になるか下側になるかに応じて定まる楕円形状にテンプレートを変形する。この変形において、長軸の向きと、長軸と短軸との比は、いずれも、予め設定した一定値でよい。

尚、カメラ１０の設置高さが設定されていない場合には、一度、右上がりの楕円としたテンプレートと、右下がりの楕円としたテンプレートを両方用いればよい。カメラ１０の設置高さは、一度、車両に設置されれば、それ以降は変化がないと考えることができる。したがって、２度目以降は、精度よくマッチングできた側の変形を行えばよい。２度目以降は、道路標識が消失点３４よりも上側にあるか下側にあるかを推定した結果に応じて定まる変形をテンプレートに対して行っていることになる。

この変形例１では、円形のテンプレートを右上がりの楕円とする変形と、右下がりの楕円とする変形のうち、道路標識が消失点３４よりも上側にあると推定できるか、下側にあると推定できるかに応じて定まる変形をテンプレートに対して行っている。よって、マッチング精度がより向上する。

なお、円形のテンプレートを、右上がりの楕円あるいは右下がりの楕円に変形する代わりに、円形のテンプレートを右上がりの楕円に変形したテンプレートと、右下がりの楕円に変形したテンプレートとを予め記憶しておいてもよい。この場合、道路標識が消失点３４よりも上側にあると推定できるか、下側にあると推定できるかに応じて定まるテンプレートを選択することになる。

１０：カメラ ２３：消失点検出部 ２４：カメラ向き検出部 ２５：サイドビュー変換部 ２７：マッチング領域特定部 ２８：マッチング部 ２９：標識認識部 ３１：前方画像 ３２：補正後前方画像 ３３：区画線 ３４：消失点 ３６：第２のサイドビュー画像 ３８：第１のサイドビュー画像 ４１：撮像面 ４２：道路標識 ４３：道路標識 ４４：仮想の撮像面 ５０：テンプレート記憶部 ５１：高さ線 ５２：距離線 ５３：側方領域 ７１：走行車線検出部 ７２：テンプレート選択部 ３２８：マッチング部 ３２９：標識認識部 ３３０：ボトムビュー変換部 ３３１：前方画像 ３４４：仮想の撮像面 ３５０：テンプレート記憶部 ３５１：左右方向長さ線 ３５３：上方領域

Claims (7)

1. カメラ（１０）を用いて撮像した車両の前方画像（３１）を用い、パターンマッチングにより、道路側方に設置されている道路標識を認識する標識認識システムであって、
   前記パターンマッチングで用いられる前記道路標識のテンプレートを記憶するテンプレート記憶部（５０）と、
   前記前方画像において、道路側方が映っており、同じ高さを表す高さ線（５１）で区画されることで、消失点に向かうに従い高さ方向の長さが短くなる側方領域（５３）を、前記カメラから前記消失点に向かう方向に平行であって、上下方向が前記カメラの撮像面（４１）の上下方向と平行な仮想の撮像面（４４）に、前記側方領域の高さ方向の長さが揃うように映し出す変換であるサイドビュー変換を行うことで、前記前方画像内の前記側方領域を前記車両の左右方向から見た画像であるサイドビュー画像とするサイドビュー変換部（２５）と、
   前記サイドビュー画像内の一部の領域であって、前記道路標識が存在する可能性がある領域であるマッチング領域に対して、前記テンプレートを用いて前記パターンマッチングを行うマッチング部（２８）と、
   前記パターンマッチングの結果に基づいて前記道路標識を認識する標識認識部（２９）と、を備える、標識認識システム。
2. 前記サイドビュー変換部は、前記側方領域を、高さ方向の長さが揃うようにして前記仮想の撮像面に映し出す変換に加えて、前記車両の前後方向の縮小率を揃える変換を行った前記サイドビュー画像を生成する、請求項１に記載の標識認識システム。
3. 前記テンプレート記憶部は、同じ種類の前記道路標識に対する前記テンプレートとして、前記車両が走行する走行車線が路側から何番目の前記走行車線であるかに応じて大きさが異なり、前記路側から遠いほど小さい複数のテンプレートを記憶しており、
   前記車両が存在する前記走行車線の位置が前記路側から何番目の前記走行車線であるかを検出する走行車線検出部（７１）と、
   前記マッチング部で行われる前記パターンマッチングで用いる前記テンプレートを選択するテンプレート選択部（７２）と、をさらに有し、
   前記テンプレート選択部は、前記走行車線検出部が検出した前記走行車線の位置に基づいて定まる前記テンプレートを選択する、請求項１または２に記載の標識認識システム。
4. 前記消失点と前記前方画像の中心である中心位置と前記カメラの焦点距離とに基づいて前記カメラの取付角度を検出するカメラ向き検出部（２４）と、
   前記カメラの前記取付角度に基づいて前記マッチング領域を特定するマッチング領域特定部（２７）と、をさらに有す、請求項１〜３のいずれか１つに記載の標識認識システム。
5. 前記マッチング部は、前記道路標識が前記消失点よりも上側にあると推定できる場合には、円形の前記テンプレートを右上がりの楕円に変形した前記テンプレートを用いる一方、前記道路標識が前記消失点よりも下側にあると推定できる場合には、円形の前記テンプレートを右下がりの楕円に変形した前記テンプレートを用いる、請求項１〜４のいずれか１つに記載の標識認識システム。
6. カメラ（１０）を用いて撮像した車両の前方画像（３３１）を用い、パターンマッチングにより、道路上方に設置されている道路標識を認識する標識認識システムであって、
   前記パターンマッチングで用いられる前記道路標識のテンプレートを記憶するテンプレート記憶部（３５０）と、
   前記前方画像において、道路上方が映っており、同じ左右方向長さを区画する一対の左右方向長さ線（３５１）で区画されることで、消失点に向かうに従い左右方向の長さが短くなる上方領域（３５３）を、前記カメラから前記消失点に向かう方向に平行であって、左右方向が前記カメラの撮像面の左右方向と平行な仮想の撮像面（３４４）に、前記上方領域の左右方向の長さが揃うように映し出す変換であるボトムビュー変換を行うことで、前記前方画像内の前記上方領域を前記車両の上下方向の下側から見た画像であるボトムビュー画像とするボトムビュー変換部（３３０）と、
   前記ボトムビュー画像内の一部の領域であって、前記道路標識が存在する可能性がある領域であるマッチング領域に対して、前記テンプレートを用いて前記パターンマッチングを行うマッチング部（３２８）と、
   前記パターンマッチングの結果に基づいて前記道路標識を認識する標識認識部（３２９）と、を備える、標識認識システム。
7. 前記ボトムビュー変換部は、前記上方領域を、左右方向の長さが揃うようにして前記仮想の撮像面に映し出す変換に加えて、前記車両の前後方向の縮小率を揃える変換を行った前記ボトムビュー画像を生成する、請求項６に記載の標識認識システム。