JP2007041961A - 標識提示装置及び標識提示方法 - Google Patents

Abstract

【課題】 車両の運転者が理解可能な道路標識と異なる道路標識を使用する地域の道路を車両が走行している場合でも、車両の運転者が道路標識を容易に認識することができる「標識提示装置及び標識提示方法」を提供する。
【解決手段】 カメラ１１により撮影された画像データを画像認識部４により画像認識することによって道路標識を特定して、車両の運転者が理解可能な道路標識を使用する地域の道路標識画像データとして道路標識データベース３に記憶されているものの中から、特定した道路標識と同じ意味を持つ道路標識画像データを画像抽出部５により抽出して表示するようにしているので、例えば、運転者の母国以外の道路を走行している場合でも、母国の道路標識が表示装置１２に表示され、車両の運転者が道路標識を容易に認識することができる。
【選択図】 図１

Description

本発明は、車両に取り付けられた撮像装置により撮影された画像に基づいて標識を提示する標識提示装置及び標識提示方法に関する。

従来、道路標識としては、走行中の車両に対して行動の規制を行う規制標識や、走行中の車両の前方の道路状況を知らせる警戒標識、走行中の車両の前方の工事状況を知らせる工事標識などが存在する。また、道路標識の１つである案内標識としては、フリーウェイ等のルート番号や方向、都市名、距離等の情報を知らせる、いわゆるルートガイドサインや、次の出口付近等で受けられるサービスの内容を知らせるサービスガイドサインなどが存在する。

これらの道路標識は、車両を運転する際に注意して見る必要がある。ところが、車両を運転中に周囲への注意が散漫になると、車両の運転者は、道路標識を見逃してしまうことがある。その対策として、車両に設置したカメラにより車両の前方を撮影して、撮影した画像を画像認識して、該当する道路標識を表示したり、該当する道路標識の内容を表示したり、該当する道路標識の内容を音声案内したりする技術が提案されている（例えば、特許文献１など）。
特開２００４−２０５３４９号公報

ところで、道路標識は、同じ意味でも国毎に外観が異なっていることがある。また、特定の国にしか存在しない道路標識もある。ＥＵ（European Union）や北米などのように複数の国が地続きとなっている場所では、車両を使って他国に移動することが可能である。その場合に、車両の運転者が移動した先の国の道路標識を知らないときには、車両の運転者は、道路標識を理解することができないという問題があった。

なお、特許文献１の技術は、ある特定の国において使用されることが前提となっているもので、その特定の国以外の国の道路標識には全く対応することができない。

本発明は、このような問題を解決するために成されたものであり、車両の運転者が理解可能な地域の道路標識と異なる道路標識を使用する地域の道路を車両が走行している場合でも、車両の運転者が道路標識を容易に理解することができるようにすることを目的とする。

上記した課題を解決するために、本発明では、地域毎に外観が異なる標識を表す複数の標識画像データを、意味が同じもの同士を関連付けて記憶した標識データベースを備え、カメラにより撮影された画像を画像認識することによって道路標識を特定し、特定した道路標識と同じ意味を持つ所定の地域（車両の運転者が理解可能な道路標識を使用する地域）の道路標識画像を標識データベースから抽出して提示するようにしている。

上記のように構成した本発明によれば、車両の運転者が理解可能な道路標識と異なる道路標識を使用する地域の道路を車両が走行している場合でも、車両の運転者が理解可能な道路標識画像が提示されるので、車両の運転者が道路標識を容易に理解することができる。従って、運転者は、様々な地域で車両を安全に運転することができる。

（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による標識提示装置１０の構成例を示すブロック図である。図１において、標識提示装置１０は、画像入力部１、現在位置取得部２、道路標識データベース３、画像認識部４、画像抽出部５、表示制御部６、コントローラ７、母国メモリ８を備えて構成されている。また、１１はカメラであり（特許請求の範囲の撮像装置に該当する）、車両の前方を撮影するために車両に設置されている。画像入力部１は、カメラ１１により撮影された画像データを入力する。

現在位置取得部２は、車両の現在位置を取得するものであり、自立航法センサ、ＧＰＳ（Global Positioning System）受信機、位置計算用ＣＰＵ（Central Processing Unit）等で構成されている。自立航法センサは、所定走行距離毎に１個のパルスを出力して車両の移動距離を検出する車速センサ（距離センサ）と、車両の回転角度（移動方位）を検出する振動ジャイロ等の角速度センサ（相対方位センサ）とを含む。自立航法センサは、これらの車速センサ及び角速度センサからの出力によって車両の相対位置及び方位を計算する。

位置計算用ＣＰＵは、自立航法センサから出力される車両の相対的な位置及び方位のデータに基づいて、絶対的な車両位置（推定車両位置）及び車両方位を計算する。また、ＧＰＳ受信機は、複数のＧＰＳ衛星から送られてくる電波をＧＰＳアンテナで受信して、３次元測位処理或いは２次元測位処理を行って車両の絶対位置及び方位を計算する（車両方位は、現時点における車両位置と１サンプリング時間ΔＴ前の車両位置とに基づいて計算する）。

道路標識データベース３は、例えば図２に示すようなデータベースであり、外観が異なる標識を使用する地域（例えば国など）毎に各種の道路標識画像データを記憶し、同じ意味を持つ道路標識に対して同じ道路標識ＩＤ（Identifier）を付すようにしている。

画像認識部４は、カメラ１１にて撮影された画像データを画像入力部１より入力し、画像認識することにより画像中の道路標識を特定する。具体的には、画像認識部４は、画像入力部１より入力した画像データの明暗や色調が他の部分と異なる部分を抽出し、道路標識候補の画像データとする。また、画像認識部４は、抽出した道路標識候補の画像データと道路標識データベース３に格納されている道路標識画像データとを比較して、類似度が一定値以上の道路標識画像データを道路標識候補の画像データと一致するものとして、それに対応する道路標識ＩＤを取得する。

ここで、画像認識部４は、画像データの類似度を判定する際に、現在位置取得部２から入力される車両の現在位置を利用して、比較対象とする道路標識画像データを絞り込むようにしても良い。この場合、画像認識部４は、現在位置取得部２から車両の現在位置を入力し、車両が現在走行している地域（国）を特定する。そして、画像認識部４は、車両が現在存在している地域の道路標識画像データのみを道路標識候補画像データとの比較対象として用い、類似度を判定する。このようにすれば、類似度の判定処理を高速に行うことができると共に、誤認識が生じる確率を減らすことができる。

画像抽出部５は、画像認識部４より道路標識ＩＤを入力し、入力した道路標識ＩＤに対応する道路標識画像データのうち、事前に設定された地域（国）のものを道路標識データベース３より抽出する。ここで、事前に設定された地域とは、車両の運転者が理解可能な道路標識を使用する地域であり、例えば車両の運転者の母国である。このような地域は、図示しない操作部により車両の運転者が設定し後述する母国メモリ８に記憶するようにしても良いし、図示しないナビゲーション装置などに登録された車両の運転者の自宅住所などから自動的に設定し母国メモリ８に記憶するようにしても良い。また、図示しないナビゲーション装置などに使用される言語から自動的に設定するようにしても良い。

表示制御部（特許請求の範囲の画像提示制御部に該当する）６は、画像抽出部５により抽出された道路標識画像データに基づいて道路標識画像を表示装置１２に表示する。ここで、表示装置１２としては、図示しないナビゲーション装置に使用されるディスプレイやテレビジョン放送を視聴するためのディスプレイ、車両のダッシュボードの表示パネルなどが使用される。

コントローラ７は、現在位置取得部２により取得した車両の現在位置と母国メモリ８に記憶されている車両の運転者の母国を示す情報とに応じて、画像認識部４、画像抽出部５、表示制御部６の動作を制御する。具体的には、車両の現在位置が母国であるとコントローラ７にて判断した場合に、コントローラ７は、画像認識部４、画像抽出部５、表示制御部６の動作を停止させる。また、車両の現在位置が母国ではないとコントローラ７にて判断した場合に、コントローラ７は、画像認識部４、画像抽出部５、表示制御部６を動作させる。なお、車両の現在位置が母国であるとコントローラ７にて判断した場合に、コントローラ７は、画像認識部４、画像抽出部５、表示制御部６の何れか１つ以上の動作を停止させるようにしても良い。

母国メモリ８は、図示しない操作部により車両の運転者が設定したり、図示しないナビゲーション装置などに登録された車両の運転者の自宅住所などから自動的に設定したりした母国を示す情報を記憶する。

例えば、車両の運転者の母国がイタリアであるという情報が母国メモリ８に記憶されており、現在位置取得部２により取得した現在位置情報によって車両が現在走行している地域がドイツであると特定されている場合、以下のような処理を行う。コントローラ７は、自車両が母国以外を走行中であるので、画像認識部４、画像抽出部５、表示制御部６を動作させる。画像認識部４は、道路標識データベース３に記憶されているドイツの道路標識画像データの中から、カメラ１１にて撮影された画像データ中から抽出された道路標識候補の画像データと一致する道路標識画像データを特定し、その道路標識画像データの道路標識ＩＤを取得する。画像抽出部５は、画像認識部４より道路標識ＩＤを入力し、事前に設定されたイタリアの道路標識画像データの中から、入力した道路標識ＩＤに対応する道路標識画像データを道路標識データベース３より抽出する。そして、表示制御部６は、画像抽出部５により抽出された道路標識画像データに基づいて道路標識画像を表示装置１２に表示する。

具体的には、図２に示すように、画像認識部４は、道路標識候補となった画像が道路標識画像ａ１であると判断した場合には、その道路標識ＩＤ（００１）を取得する。また、画像認識部４は、道路標識候補となった画像が道路標識画像ｂ１であると判断した場合には、その道路標識ＩＤ（００２）を取得する。画像抽出部５は、入力した道路標識ＩＤが００１である場合には、道路標識画像ａ２を抽出する。また、画像抽出部５は、入力した道路標識ＩＤが００２である場合には、道路標識画像ｂ２を抽出する。

次に、第１の実施形態による標識提示装置１０の動作及び標識提示方法について説明する。図３は、第１の実施形態による標識提示装置１０の動作及び標識提示方法を示すフローチャートである。図３において、車両に取り付けられたカメラ１１は、車両の前方を撮影し、撮影した画像を画像入力部１に常に出力している。また、母国メモリ８には、車両の運転者が理解可能な道路標識を使用する地域である母国を示す情報が予め設定されている。

コントローラ７は、自車両の現在位置が母国であるか否かを調べる（ステップＳ１）。母国であるとコントローラ７にて判断した場合には（ステップＳ１にてＹＥＳ）、車両の運転者は道路標識を理解可能であるので、処理を終了する。一方、母国ではないとコントローラ７にて判断した場合には（ステップＳ１にてＮＯ）、画像認識部４は、画像入力部１により入力された画像データ中に道路標識候補となる画像が存在するか否かを判定する（ステップＳ２）。画像入力部１より入力された画像データ中に道路標識候補となる画像が存在しないと画像認識部４にて判断した場合には（ステップＳ２にてＮＯ）、ステップＳ１の処理に戻る。一方、画像入力部１より入力された画像データ中に道路標識候補となる画像が存在すると画像認識部４にて判断した場合には（ステップＳ２にてＹＥＳ）、画像認識部４は、道路標識候補となる画像データと現在位置取得部２により取得した車両の現在位置により特定される地域の道路標識画像データ（道路標識データベース３に記憶されている）とを比較する（ステップＳ３）。

画像認識部４は、道路標識候補となる画像データと一致する道路標識画像データが道路標識データベース３内に存在するか否かを判定する（ステップＳ４）。道路標識候補となる画像データと一致する道路標識画像データが存在しないと画像認識部４にて判断した場合には（ステップＳ４にてＮＯ）、ステップＳ１の処理に戻る。一方、道路標識候補となる画像データと一致する道路標識画像データが存在すると画像認識部４にて判断した場合には（ステップＳ４にてＹＥＳ）、画像認識部４は、一致した道路標識画像データの道路標識ＩＤを取得し画像抽出部５に出力する。画像抽出部５は、画像認識部４より入力した道路標識ＩＤに対応する道路標識画像データのうち、母国メモリ８に予め設定された地域（母国）における道路標識画像データを道路標識データベース３より抽出する（ステップＳ５）。

表示制御部６は、画像抽出部５により抽出された道路標識画像データを入力し、道路標識画像を表示装置１２に表示する（ステップＳ６）。そして、コントローラ７は、車両の運転者の操作などにより表示装置１２の表示が終了したか否かを判定する（ステップＳ７）。表示装置１２の表示が終了したとコントローラ７にて判断した場合には（ステップＳ７にてＹＥＳ）、処理を終了する。一方、表示装置１２の表示が終了しないとコントローラ７にて判断した場合には（ステップＳ７にてＮＯ）、ステップＳ１の処理に戻る。

以上詳しく説明したように、第１の実施形態では、カメラ１１により撮影された画像データを画像認識部４により画像認識することによって道路標識を特定し、特定した道路標識と同じ意味を持つ母国の道路標識画像を画像抽出部５により道路標識データベース３から抽出して表示するようにしている。これにより、車両の運転者が理解可能な道路標識と異なる道路標識を使用する地域の道路を車両が走行している場合でも、車両の運転者が理解可能な道路標識が表示装置１２に表示されるので、車両の運転者が道路標識を容易に認識することができる。従って、運転者は、様々な国で車両を安全に運転することができる。

また、第１の実施形態では、車両の現在位置が母国であるとコントローラ７にて判断した場合に、コントローラ７は、画像認識部４、画像抽出部５、表示制御部６の動作を停止させる。これにより、車両が母国を走行しているときには、道路標識が表示されないので、煩わしい表示を無くすことができる。

（第２の実施形態）
次に、本発明による第２の実施形態を図面に基づいて説明する。図４は、第２の実施形態による標識提示装置２０の構成例を示すブロック図である。図４において、図１に示す第１の実施形態と同じ構成要素については、同じ符号を付し、説明を一部省略する。図４において、１３は道路標識データベースであり、例えば図５に示すように、外観が異なる標識を使用する地域毎に各種の道路標識画像データを記憶し、同じ意味を持つ道路標識に対して同じ道路標識ＩＤを付すようにしている。また、道路標識データベース１３は、それぞれの道路標識の内容を示すテキストデータ（少なくとも母国メモリ８に記憶された地域の言語によるテキストデータを含む）を記憶している。

１４はテキストデータ抽出部（特許請求の範囲のデータ抽出部に該当する）であり、車両の運転者が理解可能な道路標識を使用する地域の道路標識画像データの中に、画像認識部４にて特定した道路標識画像データと同じ意味を持つ道路標識画像データが存在しない（道路標識データベース１３に記憶されていない）場合に、画像認識部４から入力した道路標識ＩＤに対応するテキストデータを道路標識データベース１３から抽出する。ここで、テキストデータ抽出部１４は、画像抽出部５にて道路標識画像データが抽出されたか否かを判定する。

１５は表示制御部（特許請求の範囲の画像提示制御部及びデータ提示制御部に該当する）であり、画像抽出部５により道路標識画像データが抽出された場合には、その道路標識画像データに基づいて道路標識画像を表示する。また、画像抽出部５により道路標識画像データが抽出されなかった場合には、テキストデータ抽出部１４により抽出された道路標識の内容を示すテキストデータに基づいて道路標識の意味を表示装置１２に表示する。

例えば、車両の運転者の母国がイタリアであるという情報が母国メモリ８に記憶されており、現在位置取得部２により取得した現在位置情報によって車両が現在走行している地域がドイツであると特定されている場合、以下のような処理を行う。コントローラ７は、自車両が母国以外を走行中であるので、画像認識部４、画像抽出部５、表示制御部６を動作させる。画像認識部４は、道路標識データベース１３に記憶されたドイツの道路標識画像データの中から、カメラ１１にて撮影された画像データ中から抽出された道路標識候補画像データと一致する道路標識画像データを特定し、その道路標識画像データの道路標識ＩＤを取得する。

画像抽出部５は、画像認識部４より道路標識ＩＤを入力し、事前に設定されたイタリアの道路標識画像データの中から、入力した道路標識ＩＤに対応する道路標識画像データを道路標識データベース１３より抽出する。ここで、入力した道路標識ＩＤに対応する道路標識画像データが道路標識データベース１３内に存在しない場合には、テキストデータ抽出部１４は、入力した道路標識ＩＤに対応する道路標識の内容を示すテキストデータを道路標識データベース１３より抽出する。そして、表示制御部６は、画像抽出部５により道路標識画像データが抽出された場合には、その道路標識画像データに基づいて道路標識画像を表示する。また、画像抽出部５により道路画像データが抽出されなかった場合には、テキストデータ抽出部１４により抽出された道路標識の内容を示すテキストデータに基づいて道路標識の意味を表示装置１２に表示する。

具体的には、図５に示すように、画像認識部４は、道路標識候補となった画像が道路標識画像ａ１であると判断した場合には、その道路標識ＩＤ（００１）を取得する。また、画像認識部４は、道路標識候補となった画像が道路標識画像ｂ１であると判断した場合には、その道路標識ＩＤ（００２）を取得する。また、画像認識部４は、道路標識候補となった画像が道路標識画像ｃ１であると判断した場合には、その道路標識ＩＤ（００３）を取得する。

画像抽出部５は、入力した道路標識ＩＤが００１である場合には、道路標識画像ａ２を抽出する。また、画像抽出部５は、入力した道路標識ＩＤが００２である場合には、道路標識画像ｂ２を抽出する。また画像抽出部５は、入力した道路標識ＩＤが００３である場合には、道路標識画像を抽出することができない。そこで、テキストデータ抽出部１４は、その道路標識ＩＤ（００３）に対応するテキストデータ（「アウトバーン」をイタリア語で示すテキストデータ）を抽出する。

次に、第２の実施形態による標識提示装置２０の動作及び標識提示方法について説明する。図６は、第２の実施形態による標識提示装置２０の動作及び標識提示方法を示すフローチャートである。図６において、車両に取り付けられたカメラ１１は、車両の前方を撮影し、撮影した画像を画像入力部１に常に出力している。また、母国メモリ８には、車両の運転者が理解可能な道路標識を使用する地域である母国を示す情報が予め設定されている。

コントローラ７は、自車両の現在位置が母国であるか否かを調べる（ステップＳ１１）。母国であるとコントローラ７にて判断した場合には（ステップＳ１１にてＹＥＳ）、車両の運転者は道路標識を理解可能であるので、処理を終了する。一方、母国ではないとコントローラ７にて判断した場合には（ステップＳ１１にてＮＯ）、画像認識部４は、画像入力部１より入力された画像データ中に道路標識候補となる画像が存在するか否かを判定する（ステップＳ１２）。画像入力部１より入力された画像データ中に道路標識候補となる画像が存在しないと画像認識部４にて判断した場合には（ステップＳ１２にてＮＯ）、ステップＳ１１の処理に戻る。一方、画像入力部１より入力された画像データ中に道路標識候補となる画像が存在すると画像認識部４にて判断した場合には（ステップＳ１２にてＹＥＳ）、画像認識部４は、道路標識候補となる画像データと現在位置取得部２により取得した車両の現在位置により特定される地域の道路標識画像データ（道路標識データベース１３に記憶されている）とを比較する（ステップＳ１３）。

画像認識部４は、道路標識候補となる画像データと一致する道路標識画像データが道路標識データベース１３内に存在するか否かを判定する（ステップＳ１４）。道路標識候補となる画像データと一致する道路標識画像データが存在しないと画像認識部４にて判断した場合には（ステップＳ１４にてＮＯ）、ステップＳ１１の処理に戻る。一方、道路標識候補となる画像データと一致する道路標識画像データが存在すると画像認識部４にて判断した場合には（ステップＳ１４にてＹＥＳ）、画像認識部４は、一致した道路標識画像データの道路標識ＩＤを取得し画像抽出部５に出力する。画像抽出部５は、画像認識部４より入力した道路標識ＩＤに対応する道路標識画像データのうち、母国メモリ８に予め設定された地域における道路標識画像データを道路標識データベース１３より抽出する（ステップＳ１５）。

テキストデータ抽出部１４は、該当する道路標識画像データが道路標識データベース１３に存在するか否かを調べる（ステップＳ１６）。該当する道路標識画像データが道路標識データベース１３に存在しないとテキストデータ抽出部１４にて判断した場合には（ステップＳ１６にてＮＯ）、テキストデータ抽出部１４は、ステップＳ１５にて画像抽出部５に入力した道路標識ＩＤに対応するテキストデータを道路標識データベース１３から抽出する。そして、表示制御部１５は、テキストデータ抽出部１４により抽出された道路標識の内容を示すテキストデータに基づいて道路標識の意味を表示装置１２に表示する（ステップＳ１７）。そして、ステップＳ１９にジャンプする。

一方、該当する道路標識画像データが道路標識データベース１３に存在するとテキストデータ抽出部１４にて判断した場合には（ステップＳ１６にてＹＥＳ）、表示制御部６は、画像抽出部５が道路標識データベース１３から抽出した道路標識画像データを入力し、道路標識画像を表示部１２に表示する（ステップＳ１８）。そして、ステップＳ１９にジャンプする。ステップＳ１９では、コントローラ７は、車両の運転者の操作などにより表示装置１２の表示が終了したか否かを判定する。表示装置１２の表示が終了したとコントローラ７にて判断した場合には（ステップＳ１９にてＹＥＳ）、処理を終了する。一方、表示装置１２の表示が終了しないとコントローラ７にて判断した場合には（ステップＳ１９にてＮＯ）、ステップＳ１１の処理に戻る。

以上詳しく説明したように、第２の実施形態では、カメラ１１により撮影された画像データを画像認識部４により画像認識することによって道路標識を特定し、特定した道路標識と同じ意味を持つ母国の道路標識が道路標識データベース１３中に存在しない場合に、特定した道路標識の意味を示すテキストデータを道路標識データベース１３から抽出して表示するようにしている。これにより、車両の運転者が理解可能な道路標識を使用する地域の道路標識画像データの中に、特定した道路標識と同じ意味を持つ道路標識画像データが存在しない場合には、道路標識の内容を示すテキストが表示装置１２に表示されるので、前述した第１の実施形態による効果に加えて、母国には存在しない道路標識の意味も運転者が容易に認識することができる。従って、運転者は、様々な国で車両を安全に運転することができる。

なお、前述した第１の実施形態及び第２の実施形態では、カメラ１１により撮影された画像データ中に道路標識候補の画像データが１つだけ存在し、表示装置１２に道路標識画像を１つだけ表示する例について説明しているが、これに限定されない。例えば、カメラ１１により撮影された画像データ中から複数の道路標識候補の画像データを特定し、表示装置１２に複数の道路標識画像を表示するようにしても良い。

具体的には、画像認識部４は、カメラ１１により撮影された画像データの中から複数の道路標識候補の画像データを特定し、画像抽出部５は、複数の道路標識候補の画像データに対応する複数の母国の道路標識画像データを道路標識データベース３，１３から抽出する。また、テキストデータ抽出部１４は、対応する母国の道路標識画像データが道路標識データベース１３に存在しない場合には、特定した道路標識の意味を示すテキストデータを道路標識データベース１３から抽出する。そして、表示制御部６，１５は、抽出された複数の道路標識画像やテキストを表示装置１２に表示する。これにより、複数の道路標識を表示装置１２に表示することができる。

また、このような場合において、画像抽出部５やテキストデータ抽出部１４は、複数の道路標識候補の画像データの中から、優先度の高い道路標識に対応する道路標識画像データやその内容を示すテキストデータを選択して抽出するようにしても良い。また、表示制御部６，１５が複数の道路標識候補の画像の中から、優先度の高い道路標識に対応する道路標識画像データやその内容を示すテキストデータを選択して表示装置１２に表示するようにしても良い。これにより、複数の道路標識が存在する場合でも、優先的に確認する必要のある道路標識のみが表示されるので、車両の運転者は、優先的に確認すべき道路標識を複数の道路標識の中から選択する必要がなくなる。また、表示される道路標識が増えすぎて煩雑となることもなくなる。

例えば、道路標識ＩＤに関連付けて、優先度の高低を示す優先度データを道路標識データベース３，１３に記憶するようにする。ここで、地名や道路名を案内する案内標識については、優先度を低くした優先度データを記憶し、道路上の危険を知らせる警戒標識や交通のルールを知らせる規制標識、指示標識などの道路標識については、優先度を高くした優先度データを記憶する。そして、画像抽出部５やテキストデータ抽出部１４は、優先度データを参照して、画像認識部４により認識された複数の画像データ中に優先度の高いものと低いものとが混在している場合には、優先度の高い道路標識画像データやその内容を示すテキストデータを選択して抽出する。なお、画像認識部４により認識された複数の画像データ中に優先度の高いものと低いものとが混在していない場合には、該当する全ての道路標識画像データを抽出するようにしても良いし、優先度データを高低の２値で表すのではなく、多値で表し、優先度の高いものから順にｎ個（ｎは１以上の整数）のみ抽出するようにしても良い。

また、車両の種類に応じて該当する道路標識（例えば、制限速度など）が異なる場合には、車両に該当する道路標識の優先度を高くした優先度データを道路標識データベース３，１３に記憶するようにしても良い。ここで、車両の種類などを示す情報は、ナビゲーション装置などから取得することが可能である。これにより、複数の道路標識が存在する場合でも、自車両に関連する道路標識のみを選択することができる。

また、車両が走行している車線や車両の現在の速度に応じて優先度を変えるようにしても良い。例えば、車両が左車線を走行している場合には、左折に関する道路標識の優先度を高くするようにしたり、車両が加速している場合には、速度制限に関する道路標識の優先度を高くするようにしたりする。優先度の変更は、例えば、道路標識データベース３，１３から読み出した優先度データに対して重み付けをすることによって実現することができる。具体的には、車両の走行状況に応じて重みを変えればよい。これにより、複数の道路標識が存在する場合でも、自車両に関連する道路標識のみを選択して表示することができる。

また、前述した第１の実施形態及び第２の実施形態において、速度制限のような数字を含む道路標識の場合には、各国で使用している単位に合わせた数字の道路標識画像データをそれぞれ道路標識画像データベース３，１３に記憶するようにしても良いし、ある１つの単位に統一して数字を表した道路標示画像データを道路標識画像データベース３，１３に記憶しておき、表示の際に、母国で使用されている単位に合わせた数値を演算し、演算した数字を道路標識画像と共に表示するようにしても良い。

前者の場合には、車両が走行している地域において、５０mile/hの速度制限の道路標識が画像認識された場合に、母国における８０km/h（１mile/h＝約１．６km/hとする）の道路標識画像データを道路標識データベース３，１３に記憶する。また、後者の場合には、標識提示装置１０，２０に変換演算部を設ける。変換演算部は、マイル表記の速度制限の数字をキロメートル表記の速度制限の数字へ変換したり、キロメートル表記の速度制限の数字をマイル表記の速度制限の数字に変換したりする。具体的には、車両が走行している地域において、５０mile/hの速度制限の道路標識が画像認識された場合に、変換演算部は、車両が走行している地域における５０mile/hの速度制限の数字を変換して、母国における８０km/hの速度制限の数字を取得する。表示制御部６，１５は、変換演算部により取得された数字と共に、速度制限の道路標識画像を表示装置１２に表示する。これにより、車両の運転者は、道路標識に使用される数字を変換して考える必要がなくなる。

また、車両が走行している地域と母国とで形状などが類似する道路標識（例えば、駐車禁止、駐車場、優先道路などの道路標識）を使用している場合には、表示装置１２に道路標識画像やテキストを表示させないようにしても良い。例えば、道路標識データベース１３に各種の道路標識画像データを記憶する際に、同じ道路標識ＩＤを持つ各道路標識画像データに対して、類似度が所定値以上のもの同士をグルーピングして道路標識データベース３，１３に記憶しておく。そして、画像抽出部５は、車両が走行している地域の道路標識画像データと母国の道路標識画像データとが同一グループに属する場合には、道路標識画像データを抽出しないようにする。これにより、不必要な道路標識画像が表示装置１２に表示されないので、車両の運転者に煩わしさを感じさせることがなくなる。

また、前述した第２の実施形態では、テキストデータを表示装置１２に表示するようにしているが、これに限定されない。例えば、道路標識データベース１３に記憶されているテキストデータを音声データに変換する音声変換部を設け、変換された音声をスピーカなどから出力するようにしても良い。また、道路標識データベース１３に各道路標識ＩＤに対応する音声データを記憶し、スピーカなどから音声を出力するようにしても良い。

また、前述した第２の実施形態では、全ての道路標識ＩＤに対応してテキストデータを道路標識データベース１３に記憶するようにしているが、これに限定されない。例えば、異なる道路標識を使用する地域の全てに対して道路標識画像を持つもの以外についてのみテキストデータを記憶するようにしても良い。

その他、前記第１の実施形態及び第２の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明は、車両の前方に取り付けられた撮像装置により撮影した画像を画像認識して道路標識を提示する標識提示装置に有用である。

第１の実施形態による標識提示装置の構成例を示すブロック図である。 第１の実施形態による標識提示装置の道路標識データベースの例を示す図である。 第１の実施形態による標識提示装置の動作及び標識提示方法を示すフローチャートである。 第２の実施形態による標識提示装置の構成例を示すブロック図である。 第２の実施形態による標識提示装置の道路標識データベースの例を示す図である。 第２の実施形態による標識提示装置の動作及び標識提示方法を示すフローチャートである。

符号の説明

１ 画像入力部
２ 現在位置取得部
３，１３ 道路標識データベース
４ 画像認識部
５ 画像抽出部
６，１５ 表示制御部
７ コントローラ
８ 母国メモリ
１１ カメラ
１２ 表示装置
１４ テキストデータ抽出部

Claims (6)

1. 車両の進行方向の画像を撮影する撮像装置から画像データを入力する画像入力部と、
   地域毎に外観が異なる標識を表す複数の標識画像データを、意味が同じもの同士を関連付けて記憶する標識データベースと、
   前記画像入力部に入力した画像データを画像認識することにより、前記撮像装置にて撮影された標識を特定する画像認識部と、
   前記画像認識部にて特定された標識と同じ意味を持つ所定の地域の標識画像データを前記標識データベースより抽出する画像抽出部と、
   前記画像抽出部により抽出された標識画像データに基づいて標識画像を提示する画像提示制御部と、
   を備えた標識提示装置。
2. 前記車両の現在位置を取得する現在位置取得部と、
   前記現在位置取得部により取得した現在位置が所定の地域内であるか否かを判定し、前記所定の地域内であると判断した場合に、前記標識画像を提示させないように前記画像認識部、前記画像抽出部、前記画像提示制御部の少なくとも一つを動作させないように制御するコントローラと、
   を備えたことを特徴とする請求項１に記載の標識提示装置。
3. 前記車両の現在位置を取得する現在位置取得部を備え、
   前記画像抽出部は、前記現在位置取得部にて取得された前記車両の現在位置に基づいて、前記撮像装置にて撮影された標識がある地域を特定し、前記標識データベースに記憶された標識画像データのうち、特定された地域の標識画像データのみを対象として前記画像認識部にて特定された標識と同じ意味を持つ所定の地域の標識画像データを抽出することを特徴とする請求項１に記載の標識提示装置。
4. 前記標識データベースは、標識の意味を示すデータを前記標識画像データに関連付けて記憶し、
   前記画像認識部にて特定された標識と同じ意味を持つ所定の地域の標識画像データが前記標識データベースに記憶されていない場合に、前記画像認識部にて特定された標識の意味を示すデータを前記標識データベースより抽出するデータ抽出部と、
   前記画像認識部にて特定された標識と同じ意味を持つ所定の地域の標識画像データが前記標識データベースに記憶されていない場合に、前記データ抽出部により抽出されたデータに基づいて標識の意味を提示するデータ提示制御部と、
   を備えたことを特徴とする請求項１乃至請求項３の何れか一項に記載の標識提示装置。
5. 前記標識データベースは、異なる意味を持つ複数の標識に対してそれぞれ優先度を示す優先度データを関連付けて記憶し、
   前記画像抽出部は、前記画像認識部にて特定された標識が複数存在する場合に、前記優先度データに基づいて優先度の高い標識の標識画像データを抽出することを特徴とする請求項１乃至請求項４の何れか一項に記載の標識提示装置。
6. 車両の進行方向の画像を撮影する撮像装置から画像データを画像認識部に入力する第１のステップと、
   前記第１のステップにて入力した画像データを画像認識することにより、前記撮像装置にて撮影された標識を特定する第２のステップと、
   前記第２のステップにて特定した標識と同じ意味を持つ所定の地域の標識画像データを、地域毎に外観が異なる標識を表す複数の標識画像データを、意味が同じもの同士を関連付けて記憶した標識データベースから画像抽出部により抽出する第３のステップと、
   前記第３のステップにて抽出された標識画像データに基づいて標識画像を画像提示制御部により提示する第４のステップと、
   を備えた標識提示方法。

Images