JP2015191281A - 道路標識表示装置 - Google Patents

Abstract

【課題】交通標識の画像を表示部に表示するにあたって、ユーザの誤認識を防ぐととともに視認性の向上も図ることができる道路標識表示装置を提供する。
【解決手段】テンプレートマッチング処理部３４０は、カメラ１１０で撮像された画像に対してテンプレートマッチングを実行して参照テンプレートごとに類似度ポイントを求める。類似度管理部３５０は、類似度ポイントを参照テンプレートごとに累積する。閾値判定部３６０は、類似度管理部３５０に管理された類似度ポイントのなかで最大の類似度ポイントと二位以下の類似度ポイントとの差が十分に開いているかどうかを判定する。閾値判定部３６０において最大の類似度ポイントと二位以下の類似度ポイントとの差が十分に開いていると判定された場合、この最大の類似度ポイントを獲得している参照テンプレートに対応する交通標識のアイコン画像を表示部に表示させる。
【選択図】図２

Description

本発明は道路標識表示装置に関する。例えば、カーナビゲーション装置の表示画面に道路標識を表示させる技術に関する。

カーナビゲーション装置において、地図などのナビゲーション用画像とともに交通標識を表示画面に表示することが行われている。交通標識をカーナビゲーション装置に表示させるにあたっては、大規模ネットワークから情報を入手するという方法もあるが（特許文献１）、車載カメラで取得した画像情報を利用する方法もある（特許文献２、３）。特許文献２、３においては、車載カメラを利用し、カメラで撮像した画像情報を使ってカーナビゲーション装置の表示画面に交通標識の画像を表示させている。

特許文献２には、道路標識等表示装置が開示されている。特許文献２においては、カメラで車外を撮像し、撮像画像中に交通標識の部分が検出できたら、その交通標識の部分を抜き出す。そして、抜き出した画像に多少の画質修正（明度、色調、拡大縮小）を施した上で、表示画面に表示する。ただ、特許文献２のようにカメラで撮像した画像をほぼそのまま表示するだけでは、画質等の問題により、ユーザ（運転者）にとっては認識しづらい画像情報になってしまうという欠点がある。カーナビゲーション装置の表示画面はそもそもそれほど大きくはないので、画質が低い小さい画像ではユーザ（運転者）が交通標識を読み取れない場合も生じてくるであろう。

特許文献３には、速度規制標識認識結果の通知方法が開示されている。特許文献３においては、車載カメラで撮像した画像から交通標識らしきものを検出できた場合には、パターンマッチング等の画像処理によって交通標識を自動認識する。そして、自動認識の結果に従って予め用意してあった交通標識のモデル画像を表示画面に表示させる。

特許文献３のようにパターンマッチング等の画像処理によって交通標識を自動認識した上で予め用意してあった交通標識のモデル画像を表示すれば、鮮明で見やすい表示ができる。しかし、自動認識は常に１００％成功するとは限らず、誤認識が発生してしまうのは避けがたい。この点、特許文献３においては次のような対策が講じられている。撮像画像に対し、予め用意しておいた複数のテンプレートぞれぞれでマッチングをとる。それぞれのテンプレートごとにマッチング率が求まるのであるが、マッチング率の合計値が所定値（例えば７０％）を下回っているような場合は自動認識に失敗したと考えて、自動認識の結果は破棄し、撮像画像だけをほぼそのまま表示する。一方、マッチング率の合計値が所定値（例えば７０％）を超えていれば、一応、自動認識に成功したと考える。そして、自動認識の結果に基づいたモデル画像と、さらに、撮像画像と、を並べて表示する。

ここで、マッチング率の合計値が所定値を超えているような場合であってもモデル画像に加えて撮像画像も表示するのは次のような理由による。
例えば、交通標識が「８０」（時速８０キロメートル制限の意）であったとする。この「８０」を撮像した画像に対しテンプレートごとのマッチングをとる。その結果として、例えば、テンプレート「８０」に対してマッチング率が６０％であり、テンプレート「１３０」に対してマッチング率が８５％であったとする。（「８」という数字の一部が欠けてしまっており、「１」と「３」とに分離して認識されてしまった、というような場合を想定されたい。）マッチング率の合計値は１４５に達しているので画像自動認識（マッチング）で何かの検出に成功しているのは確かであるが、実際のところ、マッチング率が高く出ている「１３０」は正解ではない。そこで、特許文献３では、自動認識の結果から導かれるモデル画像と、撮像画像から切り出した画像と、をペアで並べて表示する。これにより、「運転者が上記ペア画像を比較でき、速度規制標識の内容に関して、正しい判断を行うことが出来る」という作用効果がある。

特開２０００−２４２８８７号公報 特許４３５４２１７号 特開２０１０−２０５１６０号公報

しかしながら、特許文献３にあっては次のような欠点があると思われる。
（１）マッチング率の合計値が所定値（例えば７０％）を下回っている場合には、撮像画像だけをほぼそのまま表示する、としている。
多少の修正を加えるとはいえ、そもそも画像自動認識に成功できない程度の画質の画像を表示部に表示したとしてもユーザ（運転者）には判読しづらいであろう。

（２）マッチング率の合計値が所定値を超えている場合には、自動認識の結果から導かれるモデル画像と、撮像画像から切り出した画像と、をペアで並べて表示する、としている。たしかに、ペア画像のうちの少なくとも一方（撮像画像から切り出した画像）は正しい情報を表示していると言えるだろう。しかしながら、ユーザ（運転者）にとってみれば、二つも並べて表示されると煩わしく、さらに、どちらが正しいか迷うこともあるだろう。仮に、自動認識で正しいモデル画像が選択されているとすれば、同じ標識（例えば「８０」）が二つ並べて表示されることになる。この場合、同じものが二つ並ぶことにそれほどの意味がない。仮に、誤認識でモデル画像が間違っているとすれば、誤ったモデル画像を表示することでユーザの誤認識を誘発してしまうかもしれない。また、「運転者が上記ペア画像を比較」して「速度規制標識の内容に関して、正しい判断を行うことができる」というのは、言い換えてみると、画像自動認識の精度をユーザ（運転者）が逐一評価する、ということと同義であると読み取れるが、運転支援という観点から考えるとあまり意味があるとも思えない。今回の自動認識は正しかったな、とか、今回の自動認識は間違っているな、などということが「比較」によって分かったからといって一般的なユーザ（運転者）には無益であろう。

本発明の目的は、交通標識の画像を表示部に表示するにあたって、ユーザの誤認識を防ぐととともに視認性の向上も図ることができる道路標識表示装置を提供することにある。

本発明の道路標識表示装置は、
交通標識を画像認識するための複数の参照テンプレートを有し、カメラで撮像された画像に対してテンプレートマッチングを実行して前記参照テンプレートごとに類似度ポイントを求めるテンプレートマッチング処理部と、
前記類似度ポイントを前記参照テンプレートごとに累積する類似度管理部と、
前記類似度管理部に管理された類似度ポイントのなかで最大の類似度ポイントと二位以下の類似度ポイントとの差を所定閾値と対比する閾値判定部と、
交通標識をアイコン化した画像を登録しているアイコン管理部と、を備え、
前記閾値判定部における閾値判定において最大の類似度ポイントと二位以下の類似度ポイントとの差が前記所定閾値以上であった場合、この最大の類似度ポイントを獲得している参照テンプレートに対応する交通標識のアイコン画像を表示部に表示させる
ことを特徴とする。

本発明の道路標識表示方法は、
カメラで車両前方の画像を撮像し、
交通標識を画像認識するための複数の参照テンプレートを用い、前記画像に対してテンプレートマッチングを実行して前記参照テンプレートごとに類似度ポイントを求め、
前記類似度ポイントを前記参照テンプレートごとに累積し、
累積された類似度ポイントのなかで最大の類似度ポイントと二位以下の類似度ポイントとの差を所定閾値と対比し、
最大の類似度ポイントと二位以下の類似度ポイントとの差が前記所定閾値以上であった場合、この最大の類似度ポイントを獲得している参照テンプレートに対応する交通標識のアイコン画像を表示部に表示させる
ことを特徴とする。

本発明の道路標識表示プログラムは、
コンピュータを、
交通標識を画像認識するための複数の参照テンプレートを有し、カメラで撮像された画像に対してテンプレートマッチングを実行して前記参照テンプレートごとに類似度ポイントを求めるテンプレートマッチング処理部と、
前記類似度ポイントを前記参照テンプレートごとに累積する類似度管理部と、
前記類似度管理部に管理された類似度ポイントのなかで最大の類似度ポイントと二位以下の類似度ポイントとの差を所定閾値と対比する閾値判定部と、
交通標識をアイコン化した画像を登録しているアイコン管理部として機能させ、
前記閾値判定部における閾値判定において最大の類似度ポイントと二位以下の類似度ポイントとの差が前記所定閾値以上であった場合、この最大の類似度ポイントを獲得している参照テンプレートに対応する交通標識のアイコン画像を表示部に表示させる
ことを特徴とする

本発明によれば、交通標識の画像を表示部に表示するにあたって、ユーザの誤認識を防ぐととともに視認性の向上も図ることができる。

カーナビゲーション装置の全体構成を示す図。 カメラ画像処理部の詳細な機能ブロック図。 閾値判定部の詳細ブロック図。 処理手順を説明するためのフローチャート。 処理手順を説明するためのフローチャート。 処理手順を説明するためのフローチャート。 処理手順を説明するためのフローチャート。 処理手順を説明するためのフローチャート。 処理手順を説明するためのフローチャート。 車両が走行している様子を示す図。 撮像画像の一例を示す図。 参照テンプレートと類似度ポイントとの関係を説明するための図。 類似度ポイントを累積する様子を説明するための図。 類似度管理テーブルの一例を示す図。 アイコン画像の例を示す図。 表示部における表示の一例を示す図。 類似度管理テーブルの一例を示す図。 切り出した画像の一例を示す図。 切り出された複数枚の画像の一例を示す図。 超解像画像の一例を示す図。 超解像画像の一例を示す図。 表示部における表示の一例を示す図。

本発明の実施形態を図示するとともに図中の各要素に付した符号を参照して説明する。
（第１実施形態）
本発明の道路標識表示装置に係る第１実施形態について説明する。
本実施形態においては、カーナビゲーション装置の一機能として道路標識表示装置が組み込まれているとする。図１は、カーナビゲーション装置１００の全体構成を示す図である。カーナビゲーション装置１００は、カメラ１１０と、中央演算処理部２００と、表示部１２０と、を備える。

カメラ１１０は、動画を撮影するもので、例えば３０フレーム／秒の動画を撮像して、撮像した画像データを中央演算処理部２００に出力する。カメラ１１０は、車両の前方を広角で撮像するように車両に取り付けられている。一般に交通標識は道路の脇に立っていたり道路の上方に設置されていたりするところ、カメラは車両の進行方向にあるそのような交通標識を画角内におさめるように設けられている。なお、必須ではないが、カラー画像を撮像できるカメラであることが好ましい。

中央演算処理部２００は、ナビゲーション機能部２１０と、カメラ画像処理部３００と、を有する。ナビゲーション機能部２１０は、既知のカーナビゲーション装置のことであり、ＧＰＳを利用して自車両の位置を求めたり、地図情報を利用して経路探索や経路案内をしたりする。ナビゲーション機能部２１０で得られたナビゲーション用の画像信号は表示部１２０に送られて表示される。

カメラ画像処理部３００は、カメラ１１０で撮像された画像に基づいて交通標識を検出し、交通標識の画像を見やすい形で表示部１２０に表示させるものである。図２は、カメラ画像処理部３００の詳細な機能ブロック図である。カメラ画像処理部３００の各機能部はそれぞれ専用の回路で実現されてもよい。あるいは、ＣＰＵとメモリとを有するいわゆるマイクロコンピュータにカメラ画像処理プログラム（道路標識表示プログラム）を組み込んで各機能部としての機能を実現させてもよい。カメラ画像処理プログラム（道路標識表示プログラム）は、インターネット等の有線または無線の通信手段や、ＣＤ−ＲＯＭ、メモリカード等の（不揮発性）記録媒体を介してインストールされてもよい。

カメラ画像処理部３００は、画像記憶部３１０と、標識検出部３２０と、カウンタ管理部３３０と、テンプレートマッチング処理部３４０と、類似度管理部３５０と、閾値判定部３６０と、アイコン管理部３７０と、超解像処理部３８０と、を有する。

画像記憶部３１０は、フレームバッファ３１１と、検出画像メモリ３１２と、を有する。カウンタ管理部３３０は、検出カウンタ３３１と、非検出カウンタ３３２と、を有する。

さらに、図３に閾値判定部の詳細ブロック図を示す。
閾値判定部３６０は、最大値抽出部３６１と、最大値閾値判定部３６２と、二番目抽出部３６３と、差分算出部３６４と、差分閾値判定部３６５と、を有する。

これら各機能部による処理動作を図４から図９のフローチャートを参照しながら順に説明する。
さて、例えば図１０に示すように、車両１０が道路２０を走行しているとする。この道路２０の脇には、例えば、「４０」（４０ｋｍ／ｈ制限の意）の交通標識３０が立っているとする。車両１０には前方を撮像するようにカメラ１１０が取り付けられているので、このカメラ１１０によって走行中の車両前方の様子が時々刻々と撮像される（ＳＴ１１０）。図１０中には、走行する車両の様子と、各時点T１、T２、T３で撮像される画像の一例を示している。時点Ｔ１の状態ではまだ交通標識との距離が離れているので、交通標識が鮮明に撮像されないかもしれない（Ｐ１）。時点Ｔ２、Ｔ３のように車両が徐々に交通標識に近づいていくと、交通標識が次第に鮮明に撮像できると期待できる（Ｐ２、Ｐ３）。図１１は、実際の撮像画像の例である（実際にはカラー画像である）。撮像された画像データは、時々刻々とフレームバッファ３１１に記録されていく。フレームバッファ３１１は、数秒（例えば５秒）分の画像フレームデータを蓄積できるメモリである。

標識検出部３２０は、フレームバッファ３１１から画像データを順に取り出し、画像のなかから交通標識３０に相当する領域の検出を行う（ＳＴ１２０）。交通標識にはいくつかの型があり、上三角や下三角、正方形やら菱形やら細かく言えばいろいろあるが、外縁形状のパターンとしては、円形、三角形、四角形といった単純幾何学形状である。また、交通標識は、道路交通法や道路法といった関係法規によって総て決まっているので、外形形状のパターンを用意しておけば、画像のなかから交通標識に相当する部分を検出することができる。

ここでは、速度制限の標識を例に具体的な処理の一例を説明する。
標識検出部３２０は、カメラ画像を受け取り、グレー画像への変換、さらに、ガウシアンフィルタ処理等の前処理を行う。そして、ハフ変換で円検出を行う。もし、円形が検出できたら、円の半径（例：３３）と円の中心位置とを求め、さらに、画像内におけるこの中心位置の座標（例：（１２０，４５））を求める。ここで、複数の円が検出できたような場合には、小さ過ぎたり、大き過ぎたりするものは除外する。また、中心位置が重なる複数の同心円が検出された場合には、半径が最も小さいもの以外は除外する。それでも複数残った場合には、より上方、もしくは、より右側に位置するものなどの選別を行う。選別にあたっての優先度などは予め決めておく。このようにして、交通標識（ここでは速度標識）の可能性が最も高いと評価できる一つの円を決定する。

図１０のように車両が走行しているとして、例えば、Ｔ１の時点で画角内に交通標識３０の全体が入ってきたとする。すると、この時点（Ｔ１）で撮像された画像から交通標識３０に相当する円形が検出されるであろう。画像から交通標識３０が検出された場合（ＳＴ１３０：ＹＥＳ）、交通標識が検出できた画像フレームを検出画像メモリ３１２に蓄積する（ＳＴ１４０）。この際、画像内における交通標識（ここでは円形）の中心位置の座標（例：（１２０，４５））と、円の半径（例：３３）と、をこの画像フレームに紐付けておく。

さらに、交通標識３０に相当するものが検出できたことを受けて次のようにカウンタ３３１、３３２を更新する。すなわち、画像から交通標識３０に相当するものが検出できた場合には、検出カウンタ３３１のカウント値をプラス１し、非検出カウンタ３３２のカウンタ値はリセットする（ゼロにする）。（カウンタ３３１、３３２の役割やカウンタ３３１、３３２を更新することの意味については後の説明のなかで明らかになる。）

さて、画像から交通標識３０に相当するものが検出できたので、続いて、画像認識によりその交通標識が具体的に何なのかを特定する処理を行う（ＳＴ１６０）。
ここでは、テンプレートマッチングによる画像認識を行う。
テンプレートマッチング処理部３４０には参照テンプレートメモリ３４１が付設され、予めいくつかの参照テンプレートが用意されている。図１２（Ａ）に参照テンプレートの例を示す。このように、速度標識を認識するためのテンプレートとして、「４０」、「５０」、「６０」、といった数字のテンプレートが予め用意されている。テンプレートマッチング処理部３４０は、参照テンプレートごとに画像データとのテンプレートマッチングを実行し、参照テンプレートごとに類似度ポイントを算出する。例えば、図１２（Ｂ）のように、画像中に交通標識３０に相当する円形が検出されているとする。テンプレートマッチング処理部３４０は、この円形の領域に対して各参照テンプレートを突き合わせ、参照テンプレートごとに類似度ポイント（例：最大１００）を算出していく。すると、図１２（Ｃ）のように、参照テンプレートごとの類似度ポイントが得られる。

なお、検出画像メモリ３１２において、交通標識３０に相当する領域の中心座標と半径とが画像に紐付けられている。したがって、（円の）中心位置付近の限定されたエリアに対してテンプレートマッチングを行えばよい。さらに、円の半径を基にテンプレート画像の大きさを調整してテンプレートマッチングを行う。

このようにして求められた類似度ポイントは類似度管理部３５０に送られ、類似度管理部３５０は類似度管理テーブル３５１を更新する（ＳＴ１７０）。
類似度管理部３５０は、類似度管理テーブル３５１を持っており、類似度ポイントを新たに受け取った場合には過去分に加算していくことで類似度管理テーブル３５１を更新する。例えば、図１３（Ａ）のように当初すべての参照テンプレートに対して類似度ポイントがゼロであったとする。ここに、図１２（Ｃ）のごとく参照テンプレートごとの類似度ポイントが得られたとする。すると、類似度管理部３５０は、図１３（Ｂ）のように類似度ポイントを加算し、図１３（Ｃ）のように更新後の類似度管理テーブル３５１を得る。

類似度管理テーブル３５１が更新されたことを受け、続いて、閾値判定部３６０が閾値判定を実行する（ＳＴ１８０−ＳＴ２４０）。
閾値判定にあたっては、まず、最大値抽出部３６１が類似度管理テーブル３５１のなかから一番大きな類似度ポイントを抽出する（ＳＴ１８０）。そして、最大値閾値判定部３６２は、この抽出された最大の類似度ポイントと所定の第１閾値（例えば１０００）とを対比する（ＳＴ１９０）。図１３（Ｃ）の類似度管理テーブルでいえば、参照テンプレート「４０」に類似度ポイント「２５」が付いており、これが最大の類似度ポイントである。参照テンプレート「４０」の類似度ポイント「２５」が最大値抽出部３６１によって抽出されるが、「２５」は第１閾値（例えば１０００）以上ではない（ＳＴ２００：ＮＯ）。この場合、フローは最初のカメラ画像取得（ＳＴ１１０）に戻る。

図１０のように車両が進行していれば、Ｔ１の後も引き続いて同じ交通標識が画角に入ってくる。したがって、画像からの標識検出（ＳＴ１２０）に成功し（ＳＴ１３０：ＹＥＳ）、さらに、テンプレートマッチング（ＳＴ１６０）の結果を反映して類似度管理テーブル３５１の類似度ポイントが加算されていくことになる。

ＳＴ１１０からＳＴ２００までを何度か繰り返して類似度ポイントを累積した結果、類似度管理テーブル３５１の類似度ポイントが図１４のように得られたとする。ここでは、例えば、交通標識の文字に汚れや欠けがなく、天候も良好であるというような画像認識には理想的な状況を想定されたい。この時点で類似度ポイントの最大値を抽出すると（ＳＴ１８０）、参照テンプレート「４０」の類似度ポイント「１０００」が抽出される。そして、これは、第１閾値（例えば１０００）以上である（ＳＴ２００：ＹＥＳ）。

さて、本実施形態の特徴点の一つでもあるが、第１閾値（例えば１０００）以上となる類似度ポイントが出現した場合には、二番目の類似度ポイントに着目する。第１閾値（例えば１０００）以上となる類似度ポイントが出現しているということは、通常でいえば、テンプレートマッチング（画像自動認識）で具体的な何かを認識できたと判断してもよさそうなものであるが、本実施形態では信頼度を確認する処理を行う。すなわち、二番目値抽出部３６３が類似度管理テーブル３５１のなかから二番目に大きな類似度ポイントを抽出する（ＳＴ２１０）。ここでは（図１４）、二番目に大きな類似度ポイントは、参照テンプレート「５０」が持つ５００ポイントである。これで、最大値抽出部３６１によって最大の類似度ポイントが抽出され（ＳＴ１８０）、さらに、二番目値抽出部３６３によって二番目に大きな類似度ポイントが抽出された（ＳＴ２１０）。差分算出部３６４は、前記最大の類似度ポイントと前記二番目に大きな類似度ポイントとの差分を算出する（ＳＴ２２０）。ここでは、１０００−５００で差分は５００と求まる。

差分閾値判定部３６５は、得られた差分と所定の第２閾値（例えば２００）とを対比する（ＳＴ２３０）。今回のケースでは、差分である５００は第２閾値（例えば２００）以上になっている。

今回のケース（図１４）では、最大の類似度ポイントが第１閾値（例えば１０００）以上となっており（ＳＴ２００：ＹＥＳ）、さらに、最大の類似度ポイントと二番目の類似度ポイントとの差が第２閾値（例えば２００）以上となっている（ＳＴ２４０：ＹＥＳ）。最大の類似度ポイントと二番目の類似度ポイントとの差が第２閾値（例えば２００）以上となるぐらい十分に開いているとすれば、ほぼ総ての画像で１位と二位との差が十分に開いていてその差が累積されたということであって、この場合、画像認識（テンプレートマッチング）で得られた結果は十分に信頼できると考えられる。すなわち、最大の類似度ポイントを獲得している参照テンプレートこそは実際の交通標識を正しく反映した結果である。したがって、この場合、予め用意されたアイコン画像を表示部に表示する（ＳＴ２６０）。

アイコン管理部３７０には、例えば図１５に示すように、およそ総ての交通標識をアイコン化した画像が登録されている。図１５では、交通標識のなかでも代表的な３つの速度制限標識のアイコン画像４１、４２、４３を例示している。当然のことながら、アイコン画像４１、４２、４３は、表示部１２０に表示されたときにくっきり鮮明に見えるように色やコントラストが調整されており、要は、視認性が高くなるようにデザインされている。閾値判定部３６０は、最大の類似度ポイントを獲得した参照テンプレート（ここでは「４０」）をアイコン管理部３７０に通知する。閾値判定部３６０からの通知を受けて、アイコン管理部３７０は、通知された参照テンプレート（ここでは「４０」）に対応するアイコン４１を呼び出し、表示部１２０に送る。すると、表示部１２０には、例えば図１６に示すように、ナビゲーション画面と合わせて交通標識のアイコン４１が表示される（ＳＴ２６０）。アイコンを表示する時間は予め設定されており、例えば５秒から１０秒程度にすることが例として挙げられる。

この場合、表示部１２０に表示されるのは予め用意されたアイコン画像（４１）が一つだけであるので、ユーザ（運転者）にとっては極めて読み取りやすく、一目で認識できるであろう。
さらに、画像認識（テンプレートマッチング）で得られた結果は十分に信頼できると考えられるので、アイコン画像（４１）を表示部１２０に表示することに加えて、さらに、音声でユーザ（運転者）に具体的に通知してもよい。
今回の例であれば、「時速４０ｋｍ制限です」と音声で通知してもよい。

アイコン画像の表示にまで至ったら、フローを最初に戻すため、カウンタやメモリをリセットする（ＳＴ２７０）。具体的には、検出カウンタ３３１、非検出カウンタ３３２、検出画像メモリ３１２、および類似度管理テーブル３５１をリセット（クリア）する。そして、所定の終了条件を満たすまでフローを最初に戻って繰り返す（ＳＴ２８０）。

（標識検出部３２０による標識検出処理（ＳＴ１２０）において画像内に標識に相当する領域が検出できなかった場合（ＳＴ１３０：ＮＯ）の処理）
さて、標識検出部３２０による標識検出処理（ＳＴ１２０）で画像内に標識に相当する領域が検出できた場合（ＳＴ１３０：ＹＥＳ）の処理については前述した。
次に、標識検出部３２０による標識検出処理において画像内に標識に相当する領域が検出できなかった場合（ＳＴ１３０：ＮＯ）の処理を説明する。
標識検出処理（ＳＴ１２０）において画像内に標識に相当する領域が検出できなかった場合（ＳＴ１３０：ＮＯ）の処理を図７のフローチャートに示した。

標識検出処理（ＳＴ１２０）において画像内に交通標識３０に相当する領域が検出されない場合（ＳＴ１３０：ＮＯ）、状況に応じて処理に違いがある。
標識検出処理（ＳＴ１２０）において画像内に交通標識３０に相当する領域が検出されない場合（ＳＴ１３０：ＮＯ）というのは、状況として三通り考えられる。
第１のケースは、実際に交通標識が車両進行方向に無く、当然、画像中にも交通標識は映っていない、という場合である。
この場合、撮像される動画像を時間的に追いかけていっても一貫して交通標識は検出されないのであるから、検出カウンタ３３１はゼロのままになっている。この場合、画像内に交通標識３０に相当する領域が検出されなかったことを記録しておく必要もなく、非検出カウンタ３３２はそのままゼロでよい（ＳＴ１３１：ＹＥＳ）。

第２のケースとして、実際には交通標識３０が車両１０の進行方向に存在していて撮像画像にも交通標識が映ってはいるのだが、標識検出処理（ＳＴ１２０）でうまく検出に成功しなかった、ということがある。画像検出も常に１００％の確率で成功するとは限らない。交通標識３０自体がやや汚れていたりすることもあるし、天候が雨や霧など良くないかもしれないし、夜間であれば照明の反射具合も影響するかもしれない。本当は交通標識３０が検出されてしかるべきなのだが諸般の事情で検出されなかったという場合、これは上記の第１のケースとは区別する必要がある。そこで、検出カウンタ３３１にすでに０以外の値が入っているが今回の画像については交通標識が検出できなかった場合、非検出カウンタ３３２をカウントアップする。すなわち、時間的に前の画像では交通標識３０の検出があって検出カウンタ３３１に０以外の値が入っているが（ＳＴ１３１：ＮＯ）、今回の画像では非検出だった（ＳＴ１３０：ＮＯ）、という場合には、交通標識３０の検出が途切れたことを非検出カウンタ３３２のカウント値で記録しておく（ＳＴ１３２）、ということである。

非検出カウンタ３３２をカウントアップしたら、非検出カウンタ３３２のカウント値を所定閾値（例えば５）で閾値判定する（ＳＴ１３３）。（図示は省略するが、カウンタ管理部３３０に閾値判定機能部を付設しておくことが例として挙げられる。）ここで、非検出カウンタ３３２のカウント値が所定閾値（例えば５）未満である場合（ＳＴ１３４：ＮＯ）、まさに第２のケースの可能性がある。すなわち、撮像画像に交通標識が映ってはいるのだが、たまたま（予期せぬ偶発的理由により）標識検出処理（ＳＴ１２０）でうまく検出に成功しなかった、ということになる。この場合、引き続き次の画像フレームを検証する必要があり、最初（ＳＴ１１０）に戻って次ぎの画像に対して標識検出処理（ＳＴ１２０）を行う。

一方、非検出カウンタ３３２のカウント値が所定閾値（例えば５）以上である場合（ＳＴ１３４：ＹＥＳ）、第３のケースの可能性がある。
交通標識が検出されない画像フレームが連続または断続的に所定閾値（例えば５）以上あったということになる。
この場合、連続または断続的に誤検出が所定回数続いたのではなく、実際に交通標識３０が画角から消えたと考えた方が合理的である。
したがって、非検出カウンタ３３２のカウント値が所定閾値（例えば５）以上である場合（ＳＴ１３４：ＹＥＳ）、新たな交通標識の出現に備えるためカウンタやメモリをリセットする（ＳＴ１３５）。
具体的には、検出カウンタ３３１、非検出カウンタ３３２、検出画像メモリ３１２、および類似度管理テーブル３５１をリセット（クリア）する。その上で、フローを最初（ＳＴ１１０）に戻って繰り返す。

（差分が第２閾値（例えば２００）未満であった場合（ＳＴ２４０：ＮＯ）の処理）
さて、差分閾値判定部３６５による第２閾値判定（ＳＴ２３０）で最大の類似度ポイントと二番目の類似度ポイントとの差が第２閾値（例えば２００）以上となっていた（ＳＴ２４０：ＹＥＳ）場合の処理については前述した。
次に、差分閾値判定部３６５による第２閾値判定（ＳＴ２３０）で最大の類似度ポイントと二番目の類似度ポイントとの差が第２閾値（例えば２００）未満であった場合（ＳＴ２４０：ＮＯ）の処理を説明する。
図８、図９のフローチャートにこの場合の処理手順を示した。

最大の類似度ポイントと二番目の類似度ポイントとの差分が第２閾値未満（ＳＴ２４０：ＮＯ）と判定される状況を改めて整理してみると次のようになるだろう。すなわち、類似度管理テーブル３５１のなかで最大の類似度ポイントは第１閾値（例えば１０００）を超えているのだが（ＳＴ２００：ＹＥＳ）、一位と二位との差がそれほど開いていない、ということである。例えば、図１７に類似度管理テーブルの状態の一例を示す。一位と二位との差がそれほど大きくないということは、第１閾値を超える類似度ポイントを獲得している参照テンプレートがあるからといって、その参照テンプレートが正しく交通標識を反映しているとは断定できない。交通標識自体の汚れが問題か撮像画像の画質が問題かはわからないが、いずれにしても画像認識（テンプレートマッチング）で得られた結果を単純に鵜呑みにはできない。もしかしたら、２位の類似度ポイントを獲得した参照テンプレートが実際の交通標識３０に対応するのかもしれないし、または、３位以下の参照テンプレートが正解なのかもしれない。いずれにしても各画像で同程度の類似度ポイントが出てしまう参照テンプレートが二つ以上あるということであり、画像認識（テンプレートマッチング）だけで何が正解かはわからない。しかしながら、第１閾値以上になる類似度ポイントの累積があったことも確かなので、何か交通標識があるというのも事実であろう。

このように交通標識３０の内容を画像認識（テンプレートマッチング）では特定できない場合、検出画像メモリ３１２に蓄積してある複数の画像を利用して超解像処理を行い、見やすくした画像を表示部１２０に表示させる。
具体的に順を追って説明する。
第２閾値判定（ＳＴ２３０）で最大の類似度ポイントと二番目の類似度ポイントとの差分が第２閾値未満（ＳＴ２４０：ＮＯ）であった場合、閾値判定部３６０は、超解像処理部３８０に超解像処理の実行を指令する。

図８、図９のフローチャートは超解像処理の具体的手順を示したものである。
まず、検出画像メモリ３１２に蓄積されている画像を取得する（ＳＴ２４１）。
このとき、検出カウンタ３３１のカウント値の分だけ画像フレームを取得できる。

超解像処理部３８０は、取得したすべての画像に対し、まず、交通標識３０に相当する領域の切り出し処理を行う（ＳＴ２４２）。
標識検出部３２０における検出処理（ＳＴ１２０）において円の半径（例：３３）と円の中心位置とを求め、さらに、画像内におけるこの中心位置の座標（例：（１２０，４５））を求めてあった。
（以下、円形の交通標識を例に話しを進める。）
そこで、超解像処理部３８０は、前記中心座標を中心とする正方形で画像を切り出す。
図１８は、このように切り出した画像の一例である（実際にはカラー画像である）。
この正方形の大きさは、画像内の標識部分を含むのに十分な大きさになるように予め決められているものである（例：辺の長さ８０）。

また、円の半径が一番大きいもの（例：３３）を選択し、その切り出し画像を基準画像と決定する（ＳＴ２４３）。

さて次に、基準画像以外の切り出し画像に対し、円の半径が基準画像の円の半径と同じになるように画像を拡大するという処理を行う（ＳＴ２４４）。
例えば、円の半径が２４である切り出し画像であれば、３３/２４倍に拡大するということである。

そのうえでさらに再び、拡大処理済みの画像を正方形で切り出す（ＳＴ２４５）。
なお、この正方形の中心は拡大処理済みの画像の中心と一致させる。
こうすることで、すべての切り出し画像中の円の大きさが基準画像中の円の大きさと同じになる。

そして、基準画像の輝度成分と色成分を分解し、色成分は別途に保存しておく（ＳＴ２４６）。この処理により、基準画像はグレー画像に変換されるとともに、色成分は別に保存されることになる。この処理の理由は後で明らかになる。また、他の切り出し画像については単純にグレー画像への変換を行う（ＳＴ２４７）。なお、画像をグレー画像に変換するのは、超解像処理の時間を短縮するためである。この時点で、例えば図１９のように切り出された複数枚の画像が得られる。

このようにしてできた画像をもとにして、超解像処理により超解像画像を作成する（ＳＴ２４８）。すなわち、図１９のような複数の画像を基にして図２０のような超解像画像を得る。図１９のように単に切り出しただけの画像の解像度は低く不鮮明であるが、これら低解像度の画像を複数枚用いて高解像度の画像（図２０）を得る。超解像処理としては、例えば、最大事後確率（ＭＡＰ、ＭａｘｉｍｕｍＡＰｏｓｔｅｒｉｏｒｉ）推定という方法を用いることができる。これは既知の技術であるので詳しい説明は割愛する。なお、超解像処理においては、各画像を拡大してから超解像処理を行い、これにより予め決められたサイズの超解像画像を得るようにする。

さらに、出来上がった超解像画像はグレー画像であるが、保存しておいた基準画像の色成分をマージすることによりカラー化を行う（ＳＴ２４９）。すると図２１のような画像が得られる（実際にはカラー画像である）。このようにして、交通標識の見やすい超解像画像が得られる。

超解像処理部３８０は、出来上がった超解像画像を表示部１２０に送る。すると、表示部１２０には、例えば図２２に示すように、ナビゲーション画面と合わせて交通標識の超解像画像５０が表示される（ＳＴ２５０）。超解像画像５０を表示する時間は予め設定されており、例えば５秒から１０秒程度にすることが例として挙げられる。

表示部１２０に表示される標識は超解像画像５０が一つだけであるので、ユーザ（運転者）にとっては判断に迷うことがない。
そして、超解像画像処理が施されているので、視認性が高く、ユーザ（運転者）は交通標識の内容を一目で認識できるであろう。

なお、超解像画像５０を表示部１２０に表示することに加えて、さらに、音声でユーザ（運転者）に通知することも考えられる。この場合、カメラ画像処理部３００による処理では交通標識の内容まで自動画像認識できなかったので、「交通標識が検出されました」といった注意喚起のレベルに留まることになるであろう。

このような構成を備える第１実施形態によれば次の効果を奏する。
（１）本実施形態においては、最大の類似度ポイントと二位の類似度ポイントとの差分が第２閾値以上であるか否かに関わらず、表示部に表示される画像は一つだけである。画像が一つだけなのであるから、ユーザ（運転者）が判断に迷うようなことがない。

（２）本実施形態においては、最大の類似度ポイントが第１閾値以上になったとしてもそれだけで画像認識を確定させるのではなく、二位以下の類似度ポイントの状態を考慮して画像認識が真に信頼できるものであるかどうかを判定するようにしている。
したがって、誤認識に基づく誤った交通標識のアイコン画像を表示しないようにできる。
また、画像認識が信頼できる場合には予め用意していたアイコン画像を表示部に表示させるので、ユーザ（運転者）にとって極めて見やすい表示とできる。

（３）交通標識の内容を画像認識で確定しきれないような場合にあっては、検出画像メモリに蓄積していた画像に基づいた超解像画像を表示部に表示する。これにより、高解像度で視認性が高い超解像画像が表示されるので、ユーザ（運転者）は交通標識の内容を正しく一目で認識できる。なお、複数枚の画像から超解像処理によって視認性の高い画像（超解像画像）を作成することは、単に一枚の画像から切り出した交通標識に若干の補正（明度調整、色調調整、コントラスト調整、拡大、縮小など）を施すだけのこととは違う。すなわち、本実施形態のように、超解像処理を実行することを見越し、必要になる画像を蓄積しておくことが必要である。具体的には、検出画像メモリに画像を蓄積したり、この保存の際に中心座標や半径も合わせて保存したり、検出カウンタをカウントアップしたり、必要なタイミングでカウンタやメモリの更新またはリセットを行ったり、様々な準備が必要である。このことは超解像処理自体が既知であるからといってすぐに適用できるようなことではない。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
カーナビゲーションの専用装置が車両に据え付け固定されている必要はなく、例えば、スマートフォンやタブレット端末をカーナビゲーション装置として利用することもできる。
表示部としては、液晶パネルや有機ELパネルが典型例であるが、その他、ヘッドアップディスプレイ、ヘッドマウンドディスプレイのようなものでもよいし、車両のフロントガラスに像を投影するようなプロジェクタでもよいであろう。
このように考えると、車両というのは４輪の自動車が典型的ではあるが、その他、二輪のオートバイや自転車や、倒立型同軸二輪者なども考えられるであろう。

また、本発明の道路標識表示装置をカーナビゲーション装置の一機能とする代りに、ドライブレコーダや衝突防止補助システム、安全運転支援装置の一機能としてもよい。

上記実施形態では、最大の類似度ポイントと二位の類似度ポイントとの差が十分に開いているかどうかを判定するにあたって、減算処理による差分を求め、この差分が第２閾値以上か否かを判定していた。
最大の類似度ポイントと二位以下の類似度ポイントとの差が十分に開いているかどうかを判定できればよいと考えれば、他にも変形例が考えられる。
例えば、最大の類似度ポイントと二位の類似度ポイントと比を求め、この比が所定閾値以上か否かを判定してもよいであろう。
この場合、差分算出部３６４（差分算出ＳＴ２２０）に代えて、除算部を設けるようにしてもよい。
その他、２位以下（３位、４位・・・）の類似度ポイントも使って統計的処理を行い、最大（一位）の類似度ポイントを獲得した参照テンプレートが真に交通標識を反映しているかどうかを有意に確定できるかを判定してもよいであろう。

なお、速度標識に限らず他の交通標識に対しても本発明は適用できる。
ハフ変換による円検出で標識を検出するのみならず、その他の方法で画像中の標識を検出してもよい。
四角形の標識であれば画像中の四角形を検出するようすればよい。
前処理としてガウシアンフィルタ以外を使っても良い。
1つの円を検出していたが、複数の円に対応するようにしても良い。
切り出す画像の大きさも適応的に変更するようにしても良い。
テンプレート画像は40、50などとしていたが、4、5など10の位のみにしても良い。
超解像処理をグレー画像に変換して行ったが、カラーのまま行っても良い。

１０…車両、２０…道路、３０…交通標識、４１…アイコン画像、５０…超解像画像、１００…カーナビゲーション装置、１１０…カメラ、１２０…表示部、２００…中央演算処理部、２１０…ナビゲーション機能部、３００…カメラ画像処理部、３１０…画像記憶部、３１１…フレームバッファ、３１２…検出画像メモリ、３２０…標識検出部、３３０…カウンタ管理部、３３１…検出カウンタ、３３２…非検出カウンタ、３４０…テンプレートマッチング処理部、３４１…参照テンプレートメモリ、３５０…類似度管理部、３５１…類似度管理テーブル、３６０…閾値判定部、３６１…最大値抽出部、３６２…最大値閾値判定部、３６３…二番目値抽出部、３６４…差分算出部、３６５…差分閾値判定部、３７０…アイコン管理部、３８０…超解像処理部。

Claims (6)

1. 交通標識を画像認識するための複数の参照テンプレートを有し、カメラで撮像された画像に対してテンプレートマッチングを実行して前記参照テンプレートごとに類似度ポイントを求めるテンプレートマッチング処理部と、
   前記類似度ポイントを前記参照テンプレートごとに累積する類似度管理部と、
   前記類似度管理部に管理された類似度ポイントのなかで最大の類似度ポイントと二位以下の類似度ポイントとの差を所定閾値と対比する閾値判定部と、
   交通標識をアイコン化した画像を登録しているアイコン管理部と、を備え、
   前記閾値判定部における閾値判定において最大の類似度ポイントと二位以下の類似度ポイントとの差が前記所定閾値以上であった場合、この最大の類似度ポイントを獲得している参照テンプレートに対応する交通標識のアイコン画像を表示部に表示させる
   ことを特徴とする道路標識表示装置。
2. 請求項１に記載の道路標識表示装置において、
   さらに、
   前記カメラで撮像された画像のなかから交通標識に相当する領域の検出を行う標識検出部と、
   交通標識に相当する領域が検出できた画像フレームを蓄積する検出画像メモリと、
   前記検出画像メモリに蓄積された複数の画像を用いた超解像処理によって超解像画像を作成する超解像処理部と、を備え、
   前記閾値判定部における閾値判定において最大の類似度ポイントと二位以下の類似度ポイントとの差が前記所定閾値未満であった場合、前記超解像処理部にて作成された前記超解像画像を表示部に表示させる
   ことを特徴とする道路標識表示装置。
3. 請求項２に記載の道路標識表示装置において、
   前記表示部は、
   前記アイコン画像と前記超解像画像とのいずれか一方のみを表示する
   ことを特徴とする道路標識表示装置。
4. カメラで車両前方の画像を撮像し、
   交通標識を画像認識するための複数の参照テンプレートを用い、前記画像に対してテンプレートマッチングを実行して前記参照テンプレートごとに類似度ポイントを求め、
   前記類似度ポイントを前記参照テンプレートごとに累積し、
   累積された類似度ポイントのなかで最大の類似度ポイントと二位以下の類似度ポイントとの差を所定閾値と対比し、
   最大の類似度ポイントと二位以下の類似度ポイントとの差が前記所定閾値以上であった場合、この最大の類似度ポイントを獲得している参照テンプレートに対応する交通標識のアイコン画像を表示部に表示させる
   ことを特徴とする道路標識表示方法。
5. 請求項４に記載の道路標識表示方法において、
   前記カメラで撮像された画像のなかから交通標識に相当する領域の検出を行い、
   交通標識に相当する領域が検出できた画像フレームをメモリに蓄積し、
   最大の類似度ポイントと二位以下の類似度ポイントとの差が前記所定閾値未満であった場合には、前記メモリに蓄積された複数の画像を用いた超解像画像を表示部に表示させる
   ことを特徴とする道路標識表示方法。
6. コンピュータを、
   交通標識を画像認識するための複数の参照テンプレートを有し、カメラで撮像された画像に対してテンプレートマッチングを実行して前記参照テンプレートごとに類似度ポイントを求めるテンプレートマッチング処理部と、
   前記類似度ポイントを前記参照テンプレートごとに累積する類似度管理部と、
   前記類似度管理部に管理された類似度ポイントのなかで最大の類似度ポイントと二位以下の類似度ポイントとの差を所定閾値と対比する閾値判定部と、
   交通標識をアイコン化した画像を登録しているアイコン管理部として機能させ、
   前記閾値判定部における閾値判定において最大の類似度ポイントと二位以下の類似度ポイントとの差が前記所定閾値以上であった場合、この最大の類似度ポイントを獲得している参照テンプレートに対応する交通標識のアイコン画像を表示部に表示させる
   ことを特徴とする道路標識表示プログラム。

Images