JP2020038632A - 標示物認識システム及び標示物認識方法 - Google Patents

Abstract

【課題】車載カメラにより撮影された標示物が、標示物データベース中のどの標示物かを特定する処理を、簡易に実行することを可能とする。【解決手段】標示物認識システムは、車両に搭載された車載カメラにより所定の標示物を撮影し、その撮影画像データに基づいて、当該標示物を認識するシステムであって、前記撮影画像データから、標示物中の特定種類の文字のみを抽出する抽出装置と、前記抽出装置により抽出された文字列の情報をその標示物を特定するための属性情報として、当該標示物の設置位置情報及び前記属性情報が含まれる標示物データを記憶する標示物データベースとを備えている。【選択図】図１

Description

本発明は、車両に搭載された車載カメラにより道路案内用の案内標識及び看板を含む所定の標示物を撮影し、その撮影画像データに基づいて、当該標示物を認識する標示物認識システム及び標示物認識方法に関する。

自動車等の車両において、例えば走行方向前方を撮影する車載カメラを搭載し、その車載カメラの撮影画像を走行支援などに役立てることが考えられている。例えば特許文献１には、車載カメラの画像から、道路前方に案内標識が存在することを検出し、その案内標識部分の撮影画像データを処理して、文字例えば目的地方面の地名、方向、距離、交差点表示等を認識し、車内のモニタに簡略表示を行うことが提案されている。

特開２０１０−２６６３８３号公報

ところで、近年、自動車の自動運転技術に対する実現の気運が高まっており、そのための高精度の道路地図データを整備したい要望がある。この場合、車両に搭載された車載カメラにより、道路を走行しながら前方等を撮影し、その撮影画像いわゆるプローブデータに基づいて道路地図を生成したり、或いは、車載カメラの撮影画像から道路地図データと照合して車両位置を検出したりするシステムが考えられている。ここで、道路上に設けられる案内標識は、個々の表示内容が相違し、主要道路上に適度な間隔をもって設置されるため、それら案内標識を、ランドマークとして道路地図データ中に含ませることが有効となる。

しかし、多数設置されている案内標識のうち個々の案内標識を特定（識別）するために、案内標識の撮影画像データ全体を用いることは、取扱うべきデータ量が多くなり、通信や画像認識に要する処理時間が長くなってしまう。そのため、車載カメラにより撮影された案内標識をどのように特定するかが問題となり、その特定を容易に行うことが要望される。
そこで、本発明の目的は、車載カメラにより撮影された標示物が、データベース中のどの標示物かを特定する処理を、簡易に実行することを可能とする標示物認識システム及び標示物認識方法を提供するにある。尚、ここでの標示物とは、例えば道路案内用の案内標識や看板などを含む。

上記目的を達成するために、本発明の標示物認識システムは、車両に搭載された車載カメラ（４）により所定の標示物を撮影し、その撮影画像データに基づいて、当該標示物を認識するシステム（１、２１、３１）であって、前記撮影画像データから、標示物中の特定種類の文字のみを認識して抽出する抽出装置（１１、２５、３４）と、前記抽出装置（１１、２５、３４）により抽出された文字列の情報をその標示物を特定するための属性情報として、当該標示物の設置位置情報及び前記属性情報が含まれる標示物データを記憶する標示物データベース（１７、２８、３３）とを備えている。

これによれば、車両に搭載された車載カメラにより所定の標示物が撮影されると、抽出装置により、その撮影画像データから、標示物中の特定種類の文字のみが抽出されるようになる。そして、標示物データベースには、標示物データが記憶されるのであるが、抽出装置により抽出された文字列の情報が属性情報とされ、その標示物データには、標示物の設置位置情報及びその属性情報が含まれる。

このとき、属性情報として、標示物中の特定種類の文字のみを認識して抽出した文字列の情報を、個々の標示物の特定（識別）に用いることができる。従って、標示物を特定するために取扱うべきデータ量が大幅に少なくなり、通信する場合の通信時間や画像認識等のデータ処理に要する時間を短く済ませることができる。この場合、認識対象が特定種類の文字に限定されることにより、認識に利用する辞書が小さくて済み、処理の高速化が可能となる。この結果、車載カメラにより撮影された標示物が、標示物データベース中のどの標示物かを特定する処理を、簡易に実行することを可能とするという優れた効果を奏する。

第１の実施形態を示すもので、システムの全体構成を概略的に示すブロック図 制御部及び処理制御装置が実行する案内標識データの登録の処理の手順を概略的に示すフローチャート 案内標識のいくつかの具体例を示す図 撮影画像データから数字のみを抽出する処理の手法を説明するための図 案内標識データの設置位置情報を更新登録する場合を説明するための図 第２の実施形態を示すもので、システムの全体構成を概略的に示すブロック図 制御部及び処理制御装置が実行する案内標識データの照合の処理の手順を概略的に示すフローチャート 照合を行う際の手法を説明するための図 第３の実施形態を示すもので、車載装置の構成を概略的に示すブロック図 制御部が実行する案内標識データの照合の処理の手順を概略的に示すフローチャート 第４の実施形態を示すもので、制御部が実行する案内標識データの照合の処理の手順を概略的に示すフローチャート 第５の実施形態を示すもので、案内標識の具体例を示す図 第６の実施形態を示すもので、撮影画像データから数字を位置情報と共に抽出する処理の手法を説明するための図

以下、本発明を具体化したいくつかの実施形態について、図面を参照しながら説明する。尚、複数の実施形態間で共通する部分については、同一の符号を付して、新たな図示や繰り返しの説明を省略する。以下の説明でいう「案内標識」とは、道路の管理者が道路の所要位置に設置する標識で、経路案内、地点案内、付属施設案内などを行うものであり、設置位置、形状、色、文字の大きさ等、規定された様式に従って設置される。また、「看板」とは、店頭や道路沿い等に設置され、広告のため主として商業的な目的で、通行する人に見せるために作られたものであり、板に文字等により商業施設の名称、方向や距離を含む位置等を表示したものである。「標示物」とは、それら道路案内用の案内標識及び看板を含むものである。

（１）第１の実施形態
図１から図５を参照して、第１の実施形態について述べる。図１は、本実施形態に係る標示物認識システムとしての案内標識認識システム１の全体構成を概略的に示している。ここで、案内標識認識システム１は、データを収集、分析し、高精度の標示物データベースとしての案内標識データベースを生成するデータセンタ２と、道路上を走行する乗用車やトラック等の複数台の車両に夫々設けられた車載装置３（便宜上１つのみ図示）とから構成される。

前記各車両に搭載された車載装置３は、車載カメラ４、位置検出部５、各種車載センサ６、地図データ記憶部７、通信部８、検出データ記憶部９、操作表示部１０、制御部１１を備えている。そのうち車載カメラ４は、例えば車両の前部に設けられ少なくとも走行方向前方の道路状況を撮影するように構成されている。前記位置検出部５は、ＧＰＳ受信機の受信データ等に基づいて、自車位置を検出する周知構成を備える。前記各種車載センサ６は、自車の速度情報や走行方向（向き）の情報を検出するセンサ等を含んでいる。

前記地図データ記憶部７は、例えば全国の道路地図情報を記憶している。前記通信部８は、移動体通信網を介して或いは路車間通信等を用いて、前記データセンタ２との間での通信を行うものであり、送信装置及び受信装置として機能する。前記検出データ記憶部９には、後述するように、案内標識の推定される撮影位置情報及び求められた属性情報などからなる検出データが記憶される。前記操作表示部１０は、図示しないスイッチ（タッチパネル）やディスプレイを有し、車両のユーザ（ドライバ）により操作がなされたり、ナビゲーション画面等のユーザに対する必要な表示を行ったりするものである。

前記制御部１１は、コンピュータを含んで構成され、車載装置３全体を制御する。このとき、制御部１１は、車両の走行中に、前記車載カメラ４により、前方の道路状況を撮影し、その撮影画像データ中に標示物としての案内標識が検出された場合に、その案内標識の撮影画像データから、例えば周知のＯＣＲ技術を用いて、案内標識中の文字のうち、特定種類の文字に属するものを一文字単位で認識して抽出し、抽出された文字列を、その案内標識を特定するための属性情報とする。従って、制御部１１は、抽出装置としての機能を備えている。本実施形態における属性情報の詳細は後述する。

これと共に、制御部１１は、標示物としての案内標識の撮影時点における位置検出部５が検出した自車位置や走行速度、走行方向等から、案内標識が設置されている位置を推定し、その位置を撮影位置情報とする。そして、制御部１１は、案内標識の撮影位置情報及び求められた属性情報からなる検出データを、撮影日時等のデータを付して検出データ記憶部９に記憶させる。その後、前記通信部８により、前記データセンタ２に対して、検出データ記憶部９に記憶されている検出データを送信するようになっている。

一方、前記データセンタ２は、通信部１２、入力操作部１３、処理制御装置１４、検出データ記憶部１５、道路地図データベース１６、標示物データベースとしての案内標識データベース１７を備えている。そのうち前記通信部１２は、各車両の通信部８との間の通信により、前記検出データを受信するもので、受信装置及び送信装置として機能する。前記入力操作部１３は、オペレータが必要な入力操作を行うためのものである。

前記処理制御装置１４は、コンピュータを主体として構成され、データセンタ２全体の制御を行う。これと共に、後に詳述するように、処理制御装置１４は、道路地図データの生成処理等を行うと共に、標示物データとしての案内標識データ（図５参照）の生成、更新の処理等を実行する。このとき、前記検出データ記憶部１５には、各車両から送信された検出データが収集され、一時的に記憶される。このとき、例えば日本全国を走行する多数台の一般の車両から、膨大な検出データが収集されるようになる。

前記道路地図データベース１６には、前記処理制御装置１４により生成された高精度の道路地図データが記憶される。そして、案内標識データベース１７中には、ランドマーク情報等に利用される標示物データとしての案内標識データが記憶される。この案内標識データは、図５に一部示すように、全国の主要な各道路に設置される案内標識や道路近傍に設置される商業的な看板を含む標示物の設置位置情報即ち経度、緯度からなる座標情報と、その案内標識を特定するための属性情報とが含まれる。尚、道路地図データベース１６中に、標示物データベースである案内標識データベース１７を含ませるように構成しても良い。道路地図データ中に、ランドマークとしての標示物データを含ませ、各標示物データ中に属性情報を含ませることもできる。

さて、後の作用説明（フローチャート説明）でも述べるように、本実施形態では、車載装置３の制御部１１は、車載カメラ４の撮影画像データから、標示物としての案内標識中の特定種類の文字として、０から９までの数字のみを認識して抽出し（抽出工程）、抽出された文字列の情報を属性情報とする。本実施形態では、標示物として、案内標識を撮影する場合を具体例としている。このとき、制御部１１は、標示物としての案内標識中の数字の抽出処理において、案内標識の撮影画像データから、該案内標識の左から右方向に向けて数字を探索することを、上下方向に順に繰り返し、抽出した順番に数字を並べた文字列を属性情報とする。

そして、データセンタ２の処理制御装置１４は、各車両の車載装置３から検出データを受信して収集して検出データ記憶部１５に記憶させると共に、収集した検出データに基づいて前記案内標識データベース１７に案内標識データを登録、更新する（標示物データ記憶工程）。従って、処理制御装置１４が、収集装置及び登録装置としての機能も備えている。このとき、これも次の作用説明で述べるように、処理制御装置１４は案内標識データを登録するにあたり、受信して検出データ記憶部１５に記憶された複数の検出データから、同一の属性情報を有する検出データを収集し、収集した検出データの撮影位置情報を統計処理することに基づいて設置位置情報を確定し、案内標識データとするように構成されている。

図３は、標示物としての案内標識の具体例として、例えば高速道路に設置される案内標識Ａ１〜Ａ５を撮影した画像の例を示している。これら案内標識Ａ１〜Ａ５は、高速道路上で方面及び出口の予告等を案内するもので、四角形の看板に、緑色の地に主として白色の文字を記して構成される。具体的には、図３（ａ）に示す案内標識Ａ１は、インター番号「２６」の「弥富」の出口までが２ｋｍであることを示している。

図３（ｂ）に示す案内標識Ａ２は、「弥富、津島」方面の出口までが１ｋｍであり、出口が国道１５５号線につながっていることを示している。図３（ｃ）に示す案内標識Ａ３は、「弥富、津島」方面の出口までが５５０ｍであることを示している。図３（ｄ）に示す案内標識Ａ４は、「弥富、津島」方面の出口であることを示している。図３（ｅ）に示す案内標識Ａ５は、ハイウェイラジオが、１６２０ｋＨｚの周波数で、この地点から聴取が可能であることを示している。

次に、上記構成の案内標識認識システム１の作用について、図２から図５も参照して述べる。図２のフローチャートは、車載装置３側の制御部１１及びデータセンタ２側の処理制御装置１４が実行する、案内標識データの登録までの処理の手順、即ち本実施形態における表示物認識方法の各工程を示している。この図２において、ステップＳ１〜Ｓ３は、車両の走行中に車載装置３の制御部１１の実行する処理である。まず、ステップＳ１では、車載カメラ４により前方が撮影され、撮影画像中における標示物としての案内標識の有無が常に監視される。車載カメラ４により案内標識が撮影されると、ステップＳ２では、その撮影画像データ（静止画）から特定種類の文字この場合数字を認識して抽出する処理が実行される（抽出工程）。

上記したように、この抽出の処理は、撮影画像データから、該案内標識の左から右方向に向けて数字を探索することを、上下方向に順に繰り返し、抽出した順番に数字を並べることにより行われる。図４は、制御部１１において、案内標識の撮影画像データから数字のみを抽出する際の処理の手法を示している。即ち、図３（ｂ）に示した案内標識Ａ２を具体例に挙げると、まず上段において左から右にトレースすると、「１５５」の数字が認識、抽出される。上から２段目、３段目については、数字は認識されない。そして、下段においては、左側に「２６」の数字、その右側に「１」の数字が認識、抽出される。

従って、案内標識Ａ２の属性情報は、「１５５２６１」の６個の数字からなる文字列となる。同様に、図３の例では、図３（ａ）に示した案内標識Ａ１の属性情報は、「２６２」の文字列となる。図３（ｃ）に示した案内標識Ａ３の属性情報は、「１５５２６５５０」の文字列となる。図３（ｄ）に示した案内標識Ａ４の属性情報は、「１５５２６」の文字列となる。図３（ｄ）に示した案内標識Ａ５の属性情報は、「１６２０」の文字列となる。

図２に戻って、次のステップＳ３では、撮影した案内標識の位置つまり撮影位置情報を特定し、その撮影位置情報と上記ステップＳ２にて求められた文字列の情報即ち属性情報とを含む検出データとして通信部８によりデータセンタ２に送信する。この場合、撮影位置情報に関しては、案内標識を撮影した時点での位置検出部５により検出された自車位置と、撮影画像データ中の案内標識の位置や大きさ等から求められたその案内標識までの距離とに基づいて推定される。

次のステップＳ４、Ｓ５は、データセンタ２側の処理制御装置１４が実行する処理である。ステップＳ４では、データセンタ２において、車載装置３から送信された検出データを、通信部１２により受信し、検出データ記憶部１５に書込む処理が行われる。そして、ステップＳ５では、受信した多数の検出データに対して統計処理を行い、案内標識が存在する場所を特定し、案内標識の設置位置情報（位置座標）及び属性情報が含まれる案内標識データとして、案内標識データベース１７に登録する処理が行われる（標示物データ記憶工程）。この場合、登録には新規登録はもとより、更新登録も含まれる。

上記案内標識データの登録にあたっては、検出データ記憶部１５に収集された多数の検出データから同一の属性情報（数字）を有するデータを集め、それら検出データの撮影位置情報（位置座標）を統計処理して求めた位置座標を真の設置位置情報とする。その際の統計処理は、例えば外れ値（異常値）を有するデータを除外した後、設置位置情報の平均、メディアン、モード等を求めることにより行うことができる。図５は、更新登録が行われた場合の例を示しており、１番の属性情報が「１５５２６１」の案内標識の設置位置座標が、（Ｘ１，Ｙ１）から（Ｘ１１，Ｙ１１）に更新された様子を示している。

このように本実施形態の案内標識認識システム１及び認識方法によれば、以下の効果を得ることができる。即ち、車載装置３においては、車両の走行中に車載カメラ４により案内標識が撮影され、制御部１１により、その撮影画像データから案内標識中の特定種類の文字のみが抽出されて属性情報が求められ（抽出工程）、通信部８により、案内標識の撮影位置情報及び求めた属性情報からなる検出データが、データセンタ２に送信される。そして、データセンタ２においては、処理制御装置１４により、複数台の車両の車載装置３から検出データが受信されて収集され、収集した検出データに基づいて、案内標識の設置位置情報及び属性情報が含まれる案内標識データが生成され、案内標識データベース１７に登録される（標示物データ記憶工程）。

このとき、案内標識の特定のための属性情報は、案内標識中の特定種類の文字のみが抽出された文字列のデータからなるので、車載装置３側からデータセンタ２側へ送信されるデータ量を大幅に少なく済ませることができる。これにより、通信する場合の通信時間や、データの処理に要する時間を短く済ませることができる。道路地図データベース１６中の案内標識データのデータ量も少なくなり、記憶容量が少なく済み、またデータの取扱いが容易になる。

このように本実施形態案内標識認識システム１及び認識方法によれば、車両に搭載された車載カメラ４により、標示物としての道路案内用の案内標識を撮影し、その撮影画像データに基づいて、当該案内標識を認識するシステム１及び方法において、車載カメラ４により撮影された案内標識が、案内標識データベース１７中のどの案内標識かを特定する処理を、簡易に実行することを可能とするという優れた効果を奏する。

本実施形態では、データセンタ２の処理制御装置１４は、受信した複数の検出データから、同一の属性情報を有する検出データを収集し、収集した検出データの撮影位置情報を統計処理することに基づいて設置位置情報を確定して案内標識データとするように構成されている。これにより、より正確な設置位置情報を含むデータを生成することができ、高精度の案内標識データベース１７を構築することが可能となる。

更に本実施形態では、属性情報を構成する特定種類の文字として、数字を採用するようにした。これにより、文字種類の識別処理を十分な確かさで且つ短時間で行うことができながらも、０〜９の十個の文字のみを抽出、認識すれば良いので、文字認識が極めて簡易に済み、データ処理が容易になる。また、数字の抽出にあたって、案内標識の撮影画像データから、該案内標識の左から右方向に向けて数字を探索することを、上下方向に順に繰り返し、抽出した順番に数字を並べた文字列を属性情報とするといったルールを採用したので、属性情報の抽出の処理も容易に行うことができる。

尚、上記実施形態では説明しなかったが、上記車載カメラ４は、例えば１００ｍｓｅｃ毎に画像の取込みを繰返し実行しており、どの時点の撮影画像データを用いて処理を行うかを設定しておく必要がある。認識精度を高める観点から、基本的には、標示物が画面から外れる直前の、標示物が最も大きく見えている撮影画像データを用いることが好ましい。但し、遠方からのローカライズに用いるような場合には、比較的早期に撮影された撮影画像データに基づく認識の方が有用性の高いものとなる。例えば標示物から５０ｍ離れているタイミングで撮影画像データの処理を行うといった設定を行うことも可能である。ここでのローカライズとは、撮影画像データを解析することによって認識している標示物の自車両に対する相対位置と、地図データに登録されている当該標示物の位置座標とに基づいて、自車両の位置座標を特定する処理を指す。

（２）第２の実施形態
次に、図６から図８を参照して、第２の実施形態について述べる。この第２の実施形態に係る標示物認識システムとしての案内標識認識システム２１は、図６に示すように、データセンタ２２と、複数台の車両に搭載された車載装置２３との間を通信可能に接続して構成される。そのうち車載装置２３は、車載カメラ４、位置検出部５、各種車載センサ６、地図データ記憶部７、送信装置及び受信装置として機能する通信部２４、操作表示部１０、抽出装置としての機能を有する制御部２５を備えている。

前記制御部２５は、車両の走行中に、車載カメラ４により、前方の道路状況を撮影し、その撮影画像データ中に標示物としての案内標識が検出された場合に、その案内標識の撮影画像データから、案内標識中の特定種類の文字この場合数字のみを認識して抽出し、抽出された文字列を、その案内標識を特定するための属性情報とする。そして、制御部２５は、案内標識の撮影位置情報及び求められた属性情報からなる検出データを、通信部２４により、データセンタ２２に対して送信する。また後述のように、本実施形態では、通信部２４は、データセンタ２２（通信部２６）から送信された車両位置データを受信する。

一方、前記データセンタ２２は、受信装置及び送信装置として機能する通信部２６、入力操作部１３、処理制御装置２７、道路地図データベース１６、標示物データベースとしての案内標識データベース２８を備えている。前記通信部２６は、前記車載装置２３の通信部２４から送信された検出データを受信すると共に、該当車両の車載装置２３に対して車両位置データを送信するようになっている。前記案内標識データベース２８には、標示物としての案内標識の設置位置情報及び属性情報を含んだ案内標識データが記憶されている。

前記処理制御装置２７は、通信部２６により車両（車載装置２３）から検出データを受信すると、その検出データの属性情報を案内標識データベース２８の案内標識データと照合する。そして、処理制御装置２７は、前記案内標識データベース２８の案内標識データ中に一致する属性情報が存在する場合に、当該案内標識の設置位置情報から、道路地図データベース１６も参照して車両の位置を判断する。従って、処理制御装置２７は、照合装置及び車両位置判断装置としての機能を有する。

このとき、本実施形態では、処理制御装置２７は、検出データの属性情報を案内標識データベース２８の案内標識データと照合するにあたって、撮影位置情報に基づいてその撮影位置の周辺所定範囲内、例えば撮影位置情報が示す座標を中心とした半径１００ｍの円内に設置位置情報が存在する案内標識データから、属性情報の一致する案内標識を検索することにより、照合を行う。更に本実施形態では、処理制御装置２７は、判断した車両位置のデータを、当該車両（車載装置２３）に対し通信部２６により送信させる。車両（車載装置２３）側では、その車両位置の情報を受信することに基づいて、自車位置を認識したり、ナビゲーション上の自車位置を更新したりすることができる。

さて、図７のフローチャートは、車載装置２３側の制御部２５及びデータセンタ２２側の処理制御装置２７が実行する、車載カメラ４による案内標識の撮影から車両位置の判断までの処理の手順を示している。この図７において、ステップＳ１１〜Ｓ１３は、車両の走行中に車載装置２３の制御部２５の実行する処理である。上記第１の実施形態と同様に、ステップＳ１１にて、車載カメラ４により案内標識が撮影され、ステップＳ１２にて、その撮影画像データから特定種類の文字この場合数字が認識、抽出され、属性情報が求められる。ステップＳ１３では、撮影位置情報及び属性情報を含む検出データが、通信部２４によりデータセンタ２２に送信される。

ステップＳ１４〜Ｓ１６は、データセンタ２２の処理制御装置２７の実行する処理であり、ステップＳ１４では、データセンタ２２において、車載装置２３から送信された検出データが、通信部２６により受信される。そして、ステップＳ１５では、受信した検出データ中の属性情報と、案内標識データベース２８の案内標識データ中の属性情報とが照合され、撮影された標示物としての案内標識が特定される。ステップＳ１６では、上記ステップＳ１５にて特定された案内標識の設置位置情報から、車両の位置が判断され、該当車両に車両位置情報が送信され、処理が終了する。

このとき、図８には、上記ステップＳ１５で処理制御装置２７が照合を行う際の手法の例を示しており、今、検出データの撮影位置情報が例えば（Ｘ０，Ｙ０）で、属性情報が例えば「１５５２６１」であったとする。処理制御装置２７においては、まず、所定範囲として撮影位置情報（Ｘ０，Ｙ０）を中心とした半径１００ｍの円Ｒを描き、その円Ｒ内に位置する案内標識データを抽出する。この例では、番号１、２、３の３つの案内標識データが抽出される。

そして、その中で属性情報の一致するものが存在すれば、撮影された標示物としての案内標識であると判定する。この場合、番号１の案内標識データの属性情報が、「１５５２６１」で一致するので、番号１の案内標識が撮影された案内標識であると認識する。尚、所定範囲内の案内標識データに一致する属性情報が存在しない場合、及び、該当する案内標識データが２つ以上存在する場合には、特定ができなかったものとする。

このような第２の実施形態の案内標識認識システム１において、によれば、車載装置２３から検出データがデータセンタ２２に送信され、データセンタ２２の処理制御装置２７において、受信した検出データ中の属性情報と案内標識データベース２８の案内標識データ中の属性情報とが照合され、案内標識を特定することができ、その案内標識の設置位置情報から車両の位置を判断することができる。更に、判断した車両位置の情報を、車載装置２３に送信することにより、車載装置２３側で、正確な自車位置を認識することが可能となる。

この第２の実施形態の案内標識認識システム２１においても、案内標識の特定のための属性情報は、案内標識中の特定種類の文字この場合数字のみが抽出された文字列のデータからなるので、車載装置２３側からデータセンタ２２側へ送信されるデータ量を少なく済ませることができ、通信する場合の通信時間や、データの処理に要する時間を短く済ませることができる。処理制御装置２７における照合の処理も、少ないデータ量で済むので、簡易に短時間で行うことができる。

また、本実施形態では、処理制御装置２７における照合の処理は、検出データ中の撮影位置に基づいてその撮影位置の周辺所定範囲内の案内標識データから、案内標識データベース２８から属性情報の一致する案内標識を検索することにより行われるように構成した。これにより、撮影された案内標識と、案内標識データベース２８中の案内標識データとの照合の処理を、十分な確かさで、簡易に行うことができる。

（３）第３の実施形態
図９及び図１０は、第３の実施形態を示すものである。図９に示すように、本実施形態に係る標示物認識システムとしての案内標識認識システム３１は、車両に搭載された車載装置３２を備えている。車載装置３２は、車載カメラ４、位置検出部５、各種車載センサ６、地図データ記憶部７、通信部８、標示物データベースとしての案内標識データベース３３、操作表示部１０、制御部３４を備えている。前記案内標識データベース３３には、最新の高精度の標示物データとしての案内標識データが記憶されている。それらデータは、例えば上記第１の実施形態で示したデータセンタ２等において高精度のものが生成、更新され、各車載装置３１に配信される。

前記制御部３４は、車両の走行中に、車載カメラ４により前方の道路状況を撮影し、その撮影画像データ中に標示物としての案内標識が検出された場合に、その案内標識の撮影画像データから、案内標識中の特定種類の文字この場合数字のみを認識して抽出し、抽出された文字列を、その案内標識を特定するための属性情報とする。更に、制御部３４は、撮影した案内標識の撮影位置情報及び抽出した属性情報からなる検出データを、案内標識データベース３３の案内標識データと照合し、案内標識データベース３３の案内標識データ中に一致する属性情報が存在する場合に、当該案内標識の設置位置情報から自車両の位置の判断、いわゆるローカライズを行う。従って、制御部３４は、抽出装置としての機能を有すると共に、照合装置及び自車位置判定装置としての機能をも有している。

図１０のフローチャートは、車載装置３２の制御部３４が実行する、車載カメラ４による案内標識の撮影から自車両の位置の判定までの処理の手順を示している。この図１０において、ステップＳ２１にて、車載カメラ４により標示物としての案内標識が撮影され、ステップＳ２２にて、その撮影画像データから特定種類の文字この場合数字が認識、抽出され、属性情報が求められる。

そして、ステップＳ２３では、求められた属性情報と、案内標識データベース３３の案内標識データ中の属性情報とが照合され、撮影された案内標識が特定されると共に、特定された案内標識の設置位置情報から自車両の位置が判定され、処理が終了する。この場合も、照合の手法としては、上記第２の実施形態と同様に、撮影位置を中心とした周辺所定範囲内例えば半径１００ｍの円内に位置する案内標識データを案内標識データベース３３から抽出し、その中で属性情報の一致するものが存在すれば、撮影された案内標識であると判定することができる。

このような第３の実施形態においては、車載装置３２において、車両の走行中に車載カメラ４により標示物としての案内標識が撮影され、その撮影画像データから案内標識中の特定種類の文字のみが抽出されて属性情報が求められる。そして、案内標識の撮影位置情報及び求められた属性情報からなる検出データが、道路地図データベース３３の案内標識データと照合され、一致する属性情報が存在する場合に、当該案内標識の設置位置情報から自車位置が判定される。この場合、データセンタ２との通信を要することなく、車載装置３２のみにおいて自車両の位置を高精度に検出（ローカライズ）できるシステムとすることができる。これにて、似たような標示物、つまり案内標識や看板が連続して現れるような環境下、例えば高速道路や都市部の一般道において、標示物を混同せずにローカライズが可能となる。

この第３の実施形態の案内標識認識システム３１によれば、案内標識の特定のための属性情報は、案内標識中の特定種類の文字この場合数字のみが抽出された文字列のデータからなるので、照合の処理などにおいて取り扱うべきデータ量が大幅に少なくなり、データの処理を簡易に短時間で行うことができる。このとき、道路地図データベース３３の案内標識データのデータ量も少ないので、記憶容量が少なく済みながらも、十分に正確な自車位置を求めることができる。

尚、車両に組込まれる車載装置においては、車両の走行時の位置情報とその際の車載カメラの画像情報とを含むプローブデータを収集する機能を備えるものがある。そのプローブデータは、地図データ生成システムのセンタに送信され、センタにあっては、多数のプローブデータを収集しそれらを統合することに基づいて、自動運転にも適用可能な高精度の地図データが生成・更新される。この場合、プローブデータと地図データの位置合せや、プローブデータ同士の位置合せに、ランドマークとしての案内標識等の標示物の位置データを用いることが可能となる。これにより、ランドマーク同士の対応付けに伴う高精度の位置合せひいては高精度の地図データの生成が可能となる。

（４）第４の実施形態
図１１は、第４の実施形態を示すものであり、以下、上記第３の実施形態と異なる点について述べる。即ち、車両に搭載された車載装置は、車載カメラ、位置検出部、各種車載センサ、地図データ記憶部、通信部、標示物データベースとしての案内標識データベース、操作表示部、制御部を備えている。前記制御部が、抽出装置、照合装置、自車位置判定装置等として機能する。前記制御部は、車載カメラにより撮影された標示物としての案内標識の撮影画像データから、特定種類の文字のみを認識し、属性情報として抽出する。

本実施形態では、特定種類の文字として、数字に加えて漢字を採用するようにしている。そして、制御部が認識対象とする文字群のうち漢字の数が、所定数に制限されると共に、その認識対象文字群が、位置検出部の検出した自車両の位置に応じて動的に変更される。ここで、例えば交差点などに存在する標示物としては、交差点名や地点名称、施設名称等を示す案内標識があり、例えば「刈谷駅」、「刈谷駅西」のように、交差点の名称が漢字で記載されていることが多い。しかし、全ての漢字を文字認識の対象とすることは難しいので、本実施形態では、車両の現在位置及び進行方向から、案内標識に使用されていると予想される漢字を、例えば十個程度〜多くとも数十個程度に絞って認識対象文字群とするようになっている。

図１１のフローチャートは、制御部が実行する、撮影画像データから、標示物としての案内標識の文字列を認識する処理手順を示している。即ち、まずステップＳ３１では、位置検出部の検出に基づいて、現在の自車位置の大まかな位置情報が取得される。ステップＳ３２では、車両の現在位置及び進行方向に基づいて、認識対象とされる文字群が設定される。上記した例では、「刈」、「谷」、「駅」、「西」といった文字（漢字）が認識用の辞書に追加される。この場合、認識対象とされる文字群については、データセンタから配信される構成でもよく、車載装置において抽出する構成としても良い。

次のステップＳ３３では、車載カメラにより標示物としての案内標識が撮影されて撮影画像データが取得され、ステップＳ３４にて、撮影画像データ中の文字即ち漢字及び数字を認識して抽出する処理が実行される。この場合、漢字を認識する場合でも、認識対象とする文字群がごく少数に制限されているので、短時間で容易に認識処理を行うことができる。車両が案内標識部分を通過すると、次の案内標識に向けてステップＳ３１からの処理が繰り返される。

このような第４の実施形態によれば、上記第１〜第３の実施形態と同様に、車載カメラにより撮影された標示物としての案内標識が、データベース中のどの案内標識かを特定する処理を、簡易に実行することを可能とする等の効果を得ることができる。そして、本実施形態では、特定種類の文字として、漢字についても認識対象とすることが可能となり、より一層適用範囲を広げることができる。

なお、上記実施形態では、自車位置に応じて認識対象とする漢字を動的に変更する態様を開示したが、これに限らない。自車位置に応じて認識対象とする文字種類は、複数種類の文字が混在していても良い。例えば、認識対象とする文字群は、平仮名、カタカナ、及び漢字の組合せであっても良い。また、認識対象とする文字種類は自車位置に応じて動的に変更するように構成されていても良い。例えば高速道路などの自動車専用道路を走行中は数字のみを認識対象とする一方、一般道路を走行中は数字とアルファベットを認識対象とするように構成されていても良い。認識対象とする文字を、車両が使用される地域で使用される全ての文字群とするのではなく、その一部に限定することで、他の実施形態と同様に、ＣＰＵの処理負荷を低減できる。

（５）第５、第６の実施形態、その他の実施形態
図１２は、第５の実施形態を示すものである。ここでは、左右２つの標示物としての案内標識Ａ６、Ａ７が並んで設けられているが、これらはよく似ており、数字を認識する場合に、共に「２６ １／２」が抽出され、相違点は見られない。このとき、左側の案内標識Ａ６の上部には、「９５」の看板Ａ８が設けられ、右側の案内標識Ａ７の上部には、「２０」の看板Ａ９が設けられている。この場合、本来的には、案内標識Ａ６と看板Ａ８とは別のものとして取扱われ、同様に、案内標識Ａ７と看板Ａ９とは別のものとして取扱われる。

ところが、このような場合には、案内標識Ａ６と看板Ａ８とを一体の標示物として取扱い、案内標識Ａ７と看板Ａ９と一体の標示物として取扱うことにより、夫々抽出される文字列即ち属性情報が、「９５ ２６ １／２」、「２０ ２６ １／２」となり、それらの区別を容易に行うことが可能となる。即ち、上下方向（Ｚ軸方向）に並んで配置されている２つの案内標識或いは看板を、一体物として取扱うことにより、属性情報がより区別しやすくなる利点を得ることができる。更に、それら文字列のうち、「９５」、「２０」に関して、他の数字よりも優先度を高くする情報を付加するような構成とすることもできる。

図１３は、第６の実施形態を示すものである。この第６の実施形態では、標示物である例えば案内標識Ａ２の撮影画像データから特定種類の文字この場合数字のみを抽出すると共に、標示物内の文字の位置の情報、この場合、横軸をＸ軸、縦軸をＹ軸とした座標情報をも、属性情報に含ませるようにしている。これによれば、類似した特定種類の文字を有する標示物に対して、属性情報がより区別しやすくなり、認識の処理をより短時間で正確に行うことが可能となる。尚、位置情報を属性情報に含ませる場合、座標情報でなく、例えば左上、中央、右端といった大まかな位置情報とすることもできる。

それ以外にも、１つの標示物に関して複数の文字列を属性情報とする場合、全ての文字列を一律にして属性情報とするものに限らず、以下のような変更も可能である。即ち、複数の文字列のうち、大きさが最も大きい文字のみを抽出して属性情報とすることができる。１つの標示物に、複数の文字セットがある場合に、文字セット毎に、スペースやコロン、スラッシュ等の区切りを入れることもできる。また、文字列として数字だけでなく数字に付随した単位、例えば、「分」、「ｍｉｎ」、「ｋｍ」、「ｍ」などの単位も特定種類の文字として属性情報に含ませることができる。標示物内の文字の位置情報や、文字のフォントサイズ情報を、地図データに含ませるようにすれば、ローカライズにより有効となる。

尚、上記した各実施形態では、特定種類の文字として数字或いは漢字を採用するようにしたが、数字以外にも、アルファベット（大文字のみ、小文字のみ、大文字小文字の両方）、かな（かたかな、ひらがな）等を採用することも考えられる。漢字と数字との双方を用いる、或いは、アルファベットの大文字と数字との双方を用いるといった、複数種類を用いるように構成しても良い。また、数字のうち特定の数字のみ（例えば１〜９のみ）と、アルファベットのうち特定のもののみ（例えばＡ〜Ｎのみ）との組合せを特定種類の文字として用いるように構成しても良い。ランドマーク（標示物）の種類によって特定種類文字を変更するようにしても良い。例えば、方面看板ならば数字、大型商業施設の看板であればその店名の文字、交差点名の看板であれば数字＋漢字、或いは数字＋アルファベット等が考えられる。

上記実施形態では、主に高速道路における案内標識を例としたが、一般道路における案内標識に関しても同様に実施できることは勿論である。また、上記第２の実施形態では、ステップＳ１５の車両位置を判断する（把握する）までで、処理を止める（ステップＳ１６を実行しない）ようにしても良い。そして、上記各実施形態では、標示物として案内標識を例としたが、標示物として各種の看板を認識するものであっても良い。この場合、例えば、大型ショッピングセンター名とそこまでの距離を表示した看板や、ビル名や施設名を標示した看板、ガソリンスタンドやレストラン、ドライブスルーを有したファストフード店等の店名やロゴを表示した看板等があり、それら主に商業的な目的で設置される看板も対象とすることができる。

その他、車載装置（車両）やデータセンタのハードウエア構成、ソフトウエア構成等についても様々な変更が可能である。本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することにより提供された専用コンピュータにより実現されても良い。或いは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によりプロセッサを構成することにより提供された専用コンピュータにより実現されても良い。若しくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路により構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより実現されても良い。又、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていても良い。

図面中、１、２１、３１は案内標識認識システム（標示物認識システム）、２、２２はデータセンタ、３、２３、３２は車載装置、４は車載カメラ、５は位置検出部、８、２４は通信部（送信装置）、１１、２５は制御部（抽出装置）、１２は通信部（収集装置）、１４は処理制御装置（収集装置、登録装置）、１５は検出データ記憶部、１６は道路地図データベース、１７、２８、３３は案内標識データベース（標示物データベース）、２６は通信部（受信装置）、２７は処理制御装置（照合装置、車両位置判断装置）、３４は制御部（抽出装置、照合装置、自車位置判定装置）を示す。

Claims (11)

1. 車両に搭載された車載カメラ（４）により、所定の標示物を撮影し、その撮影画像データに基づいて、当該標示物を認識するシステム（１、２１、３１）であって、
   前記撮影画像データから、標示物中の特定種類の文字のみを認識して抽出する抽出装置（１１、２５、３４）と、
   前記抽出装置（１１、２５、３４）により抽出された文字列の情報をその標示物を特定するための属性情報として、当該標示物の設置位置情報及び前記属性情報が含まれる標示物データを記憶する標示物データベース（１７、２８、３３）とを備える標示物認識システム。
2. 複数台の車両に搭載された車載装置と、データセンタとの間を通信可能に接続して構成されるものであって、
   前記車載装置は、前記車載カメラと、前記抽出装置と、車両の走行中に前記車載カメラにより撮影した標示物の撮影位置情報及び前記抽出装置が抽出した属性情報からなる検出データを前記データセンタに送信する送信装置とを備え、
   前記データセンタは、前記標示物データベースと、前記各車両の車載装置から検出データを受信して収集する収集装置と、前記収集装置により収集した検出データに基づいて前記標示物データベースに前記標示物データを登録する登録装置とを備える請求項１記載の標示物認識システム。
3. 前記登録装置は、受信した複数の検出データから、同一の属性情報を有する検出データを収集し、収集した検出データの撮影位置情報を統計処理することに基づいて設置位置情報を確定して前記標示物データとする請求項２記載の標示物認識システム。
4. 複数台の車両に搭載された車載装置と、データセンタとの間を通信可能に接続して構成されるものであって、
   前記車載装置は、前記車載カメラと、前記抽出装置と、車両の走行中に前記車載カメラにより撮影した標示物の撮影位置情報及び前記抽出装置が抽出した属性情報からなる検出データを前記データセンタに送信する送信装置とを備え、
   前記データセンタは、前記標示物データベースと、前記車載装置から検出データを受信する受信装置と、前記検出データの属性情報を前記標示物データベースの標示物データと照合する照合装置と、前記標示物データベースの標示物データ中に一致する属性情報が存在する場合に、当該標示物の設置位置情報から前記車両の位置を判断する車両位置判断装置とを備える請求項１から３のいずれか一項に記載の標示物認識システム。
5. 前記車両には車載装置が搭載され、
   前記車載装置は、前記車載カメラと、前記抽出装置と、前記標示物データベースと、車両の走行中に前記車載カメラにより撮影した標示物の撮影位置情報及び前記抽出装置が抽出した属性情報からなる検出データを前記標示物データベースの標示物データと照合する照合装置と、前記標示物データベースの標示物データ中に一致する属性情報が存在する場合に、当該標示物の設置位置情報から自車位置を判定する自車位置判定装置とを備える請求項１から３のいずれか一項に記載の標示物認識システム。
6. 前記照合装置は、前記撮影位置情報に基づいてその撮影位置の周辺所定範囲内の標示物データから、属性情報の一致する標示物を検索することにより、照合を行う請求項４又は５に記載の標示物認識システム。
7. 前記特定種類の文字は、数字である請求項１から６のいずれか一項に記載の標示物認識システム。
8. 前記抽出装置は、前記標示物の撮影画像データから、該標示物の左から右方向に向けて数字を探索することを、上下方向に順に繰り返し、抽出した順番に数字を並べた文字列を属性情報とする請求項７記載の標示物認識システム。
9. 前記抽出装置が認識対象とする文字は、自車両の位置に応じて動的に変更される請求項１から６のいずれか一項に記載の標示物認識システム。
10. 前記特定種類の文字は、漢字であり、
    前記抽出装置が認識対象とする文字群が所定数に制限されると共に、前記認識対象文字群が、自車両の位置に応じて動的に変更される請求項９記載の標示物認識システム。
11. 車両に搭載された車載カメラ（４）により、所定の標示物を撮影し、その撮影画像データに基づいて、当該標示物を認識する方法であって、
    前記撮影画像データから、標示物中の特定種類の文字のみを認識して抽出する抽出工程と、
    前記抽出工程において抽出された文字列の情報をその標示物を特定するための属性情報として、当該標示物の設置位置情報及び前記属性情報が含まれる標示物データを記憶する標示物データ記憶工程とを含む標示物認識方法。

Images