以下、本発明を具体化した一実施形態について、図面を参照しながら説明する。図1は、本実施形態に係る道路地図生成システム1の全体構成を概略的に示している。ここで、道路地図生成システム1は、カメラ画像データを収集、分析し、道路地図データを生成するデータセンタ2と、道路上を走行する複数台の車両A群とから構成される。具体的には、前記車両A群は、乗用車やトラック等、一般の自動車全体を含んでいる。
前記各車両Aには、道路地図生成システム1を実現するための車載装置3が搭載されている。図2に示すように、車載装置3は、車載カメラ4、位置検出部5、各種車載センサ6、地図データベース7、通信部8、画像データ記憶部9、操作部10、制御部11を備えている。そのうち車載カメラ4は、例えば車両Aの前部に設けられ少なくとも走行方向前方の道路状況を撮影するように構成されている。前記位置検出部5は、周知のGPS受信機の受信データ等に基づいて、自車位置を検出するものである。前記各種車載センサ6は、自車の速度情報や走行方向(向き)の情報等を検出するものである。尚、前記車載カメラ4は、車両Aの前後及び左右に設けることができる。また、車載カメラ4の種類としては、広角カメラを採用することができ、特に前方カメラについては2眼式以上のカメラを採用することが望ましい。
前記地図データベース7は、例えば全国の道路地図情報を記憶している。前記通信部8は、移動体通信網を介して或いは路車間通信等を用いて、前記データセンタ2との間での通信を行うものである。前記画像データ記憶部9には、前記車載カメラ4が撮影したカメラ画像データが、その時の自車位置や走行速度、走行方向、撮影日時等のデータを付されて記憶されるようになっている。前記操作部10は、図示しないスイッチや表示部を有し、車両Aのユーザ(ドライバ)により必要な操作がなされる。
前記制御部11は、コンピュータを含んで構成され、車載装置3全体を制御する。この場合、制御部11は、車両Aの走行中に、前記車載カメラ4により、常時前方の道路状況を撮影し、そのカメラ画像データを自車位置データ等と共に前記画像データ記憶部9に記憶させる。そして、定期的に、例えば1日1回、前記通信部8により、前記データセンタ2に対して、画像データ記憶部9に記憶されているカメラ画像データを送信させるようになっている。
一方、前記データセンタ2は、図3に示すように、通信部12、入力操作部13、処理制御装置14、カメラ画像データベース15、正射画像データベース16、連結画像データベース17、道路地図データベース18、変化情報データベース19を備えている。そのうち前記通信部12は、各車両Aの通信部8との間の通信により、前記カメラ画像データを受信する。前記入力操作部13は、オペレータが必要な入力操作を行うためのものである。
前記処理制御装置14は、コンピュータを主体として構成され、データセンタ2全体の制御を行う。これと共に、後に詳述するように、処理制御装置14は、道路地図データの生成処理、道路標示の変化の蓄積記憶の処理等の処理を実行する。前記カメラ画像データベース15には、各車両Aから送信されたカメラ画像データが収集され、記憶される。このとき、例えば日本全国を走行する一般の車両Aから、膨大なカメラ画像データが収集されるようになる。
また、前記処理制御装置14の実行する道路地図データの生成処理において、前記正射画像データベース16には、正射画像のデータが記憶され、連結画像データベース17には、連結画像のデータが記憶される。更に、道路地図データベース18には、生成された高精度の道路地図データが記憶される。そして、本実施形態では、前記処理制御装置14の実行する道路標示の変化の蓄積記憶の処理において、前記変化情報データベース19には、道路標示の最新(現在)の変化情報が蓄積記憶される。
さて、後の作用説明(フローチャート説明)でも述べるように、本実施形態では、前記データセンタ2の処理制御装置14は、道路地図データの生成処理を行うにあたって、次の処理を順に実行する。即ち、まず、処理制御装置14は、前記カメラ画像データベース15に記憶されているカメラ画像データを画像処理し、真上からの正射画像に変換すると共に、複数の正射画像を連結配置して連結画像を生成する処理(画像処理工程)を実行する。
次に、処理制御装置14は、上記連結画像から道路上の道路標示の不良箇所を抽出する処理(抽出工程)を実行する。次いで、処理制御装置14は、抽出された道路標示の不良箇所が、画像処理工程におけるノイズによるものか或いは現実に不良が発生しているのかを判定する処理(判定工程)を実行する。そして、処理制御装置14は、その判定結果に基づいて、前記道路標示の不良箇所が画像処理時のノイズによるものである場合に当該道路標示の補正処理(補正工程)を実行する。
このとき、本実施形態では、連結画像から道路上の道路標示の不良箇所を抽出する処理にあっては、処理制御装置14は、道路標示として道路上にペイントされた標示線の欠損部分又は歪み部分を不良箇所として抽出する。また、道路標示の補正処理を行うにあたっては、処理制御装置14は、道路標示の不良箇所が画像処理時のノイズによるものである場合に、標示線の欠損部分又は歪み部分を、滑らかにつなぐように補正する。尚、ここでいう「標示線」とは、車道中央線、車線境界線、車道外側線、車両通行帯等の車線区画線や、停止線、歩行者や自転車の横断帯等の各種の線を含み、主として道路上に白でペイントされるものをいう。
これと共に、処理制御装置14は、道路標示の変化の蓄積記憶の処理を並行して実行する。この道路標示の変化の蓄積記憶の処理では、処理制御装置14は、カメラ画像データベース15に記憶されているカメラ画像データから、同一箇所において道路標示の時間的な変化があったことを検出する処理(検出工程)を実行する。そして、道路標示の変化が検出された場合には、その変化情報を前記変化情報データベース19に蓄積記憶する処理(記憶工程)を実行する。
このとき、処理制御装置14は、カメラ画像データから、同一箇所において道路標示の時間的な変化があったことを検出する処理においては、道路標示の変化のパターンとして、道路上におけるタイヤスリップ痕、再舗装、部分的な陥没又は隆起、ひび割れ、災害による異状の少なくともいずれかの発生を検出するようになっている。処理制御装置14は、いずれかの変化パターンに該当する道路標示の変化を検出した場合に、その変化情報を変化情報データベース19に蓄積記憶する。変化情報データベース19には、変化情報として、道路の位置、変化パターン、日時、該当するカメラ画像(図7参照)等のデータが記憶される。
そして、処理制御装置14は、道路地図データの生成処理のうち、抽出された道路標示の不良箇所が、画像処理工程におけるノイズによるものか或いは現実に不良が発生しているのかを判定する処理において、変化情報データベース19に蓄積記憶されている変化情報を参照して判定を行う。つまり、道路標示(標示線)の不良が抽出された箇所において、変化情報データベース19に変化情報が存在しない場合には、該当する道路箇所における道路標示の不良は、画像処理上のノイズによるものと判定される。変化情報データベース19に変化情報が存在する場合には、現実に不良が発生したものと判定される。
これにて、連結画像に対する必要な補正が行われた上で、その連結画像に基づいて最新の高精度の道路地図データが生成され、道路地図データベース18に記憶される。尚、図示はしないが、本実施形態の道路地図生成システム1においては、データセンタ2は、生成した最新の道路地図データ等の外部に提供することが可能に構成されている。例えば、データセンタ2から動的情報センタに交通情報を提供したり、地図サプライヤやカーメーカ等に、自動運転用の高精度の道路地図データを提供したりするようになっている。
次に、上記構成の道路地図生成システム1の作用について、図4から図7も参照して述べる。図4のフローチャートは、主としてデータセンタ2の処理制御装置14が実行する、道路地図データの生成処理の手順を示している。また、図5のフローチャートは、処理制御装置14が実行する、道路標示の変化の蓄積記憶の処理手順を示している。まず、図5のフローチャートにおいて、ステップS11にて、カメラ画像データベース15にアクセスしてカメラ画像データが読込まれる。次のステップS12では、カメラ画像データから道路標示の時間的な変化を検出する処理がなされる(検出工程)。
ここで、例えば道路の舗装時や道路標示のペイントの塗り替え時等の初期状態においては、道路標示は正常になされており、道路標示に不良が発生したとすると、初期状態から後の道路標示の時間経過に伴う何らかの変化によるものと考えられる。本実施形態では、上記したように、道路標示の変化のパターンとして、道路上におけるタイヤスリップ痕、再舗装、部分的な陥没又は隆起、ひび割れ、災害による異状の少なくともいずれかの発生を検出する。そして、道路標示の変化を検出した場合に、ステップS13にて、その変化情報を変化情報データベース19に書込む処理が行われる(記憶工程)。このようにして変化情報データベース19に変化情報が蓄積記憶される。
ここで、図7は、道路標示の変化があった場合の画像のパターンの例を示している。図7(a)は、例えば道路工事後の埋戻しによって部分的な隆起(凹凸)が発生し、標示線(車線区画線)が歪んでいる様子を示す。図7(b)は、道路上のタイヤのスリップ痕によって車線区画線が途中で消えている様子を示す。図7(c)は、災害(斜面の崩落)により土砂が堆積し標示線を含む道路の一部が埋められる異状が生じた様子を示している。これらの変化が予めパターン化されていることにより、カメラ画像から容易に検出することが可能となる。
次に、道路地図データの生成処理の手順を示す図4のフローチャートにおいて、まずステップS1では、各車両Aの車載装置3において、車載カメラ4により走行中の道路状況が撮影され、次のステップS2にて、各車両Aにおいて撮影されたカメラ画像のデータがデータセンタ2に収集されてカメラ画像データベース15に書込まれる。このときのカメラ画像の例を図6(a)に示す。この場合、前記ステップS1の処理は、各車両Aにおいて制御部10の制御により実行される。
ステップS2の処理では、各車両Aから通信部8によりカメラ画像データがデータセンタ2に送信され、データセンタ2において、通信部12を介して受信したカメラ画像データが処理制御装置14の制御によりカメラ画像データベース15に書込まれる。この場合、全国の道路を走行している多数台の一般の車両Aから、全国の道路の最新のカメラ画像データが収集されるようになる。
ステップS3〜S6は、処理制御装置14の実行する画像処理の工程であり、ステップS3では、カメラ画像データベース15からカメラ画像が読込まれ、各フレーム画像を真上から見た状態に変換し正射画像を生成する処理が実行される。ステップS4にて、生成された正射画像が正射画像データベース16に書込まれる。次のステップS5では、生成された正射画像を車両Aの走行時の走行軌跡に沿って複数配置して連結(合せ込み)することにより、連結画像を生成する処理が実行される。ステップS6では、生成された連結画像が連結画像データベース17に書込まれる。連結画像の一例を図6(b)に示す。
そして、ステップS7では、生成された連結画像から、道路上の道路標示を認識し、必要に応じて道路標示の補正を行う処理が実行される。より具体的には、連結画像から道路上の道路標示の不良箇所を抽出する抽出処理(抽出工程)、その道路標示の不良箇所が上記画像処理の工程における画像処理時のノイズによるものか或いは現実に不良が発生しているのかを判定する判定処理(判定工程)、その判定結果に基づいて、道路標示の不良箇所が画像処理時のノイズによるものである場合に当該道路標示を補正する処理(補正工程)が実行される。
ここで、図6(b)に例示しているように、道路標示の不良としては、図に符号B1で示すような、例えば本来直線であるべき停止線が途中でずれるように歪んでいたり、符号B2で示すような、例えば本来直線であるべき車線境界線がジグザグ状に設けられていたりするケースがある。道路標示の不良箇所が抽出されると、判定工程が実行されるのであるが、本実施形態では、上記変化情報データベース19に記憶されている変化情報を参照して判定が行われる。このとき、道路標示の不良が抽出された箇所において、変化情報データベース19に該当する道路箇所の変化情報が存在するときには、現実に不良が発生したものと推定することができる。この場合には、道路標示の補正は行われない。
これに対し、変化情報データベース19に該当する道路箇所における変化情報が存在しないときには、その道路標示の不良は、画像処理上のノイズによるものと推定できる。この場合には、道路標示の不良部分の補正が行われる。道路上にペイントされた標示線(道路区画線等)の欠損部分又は歪み部分が生じた場合には、その標示線の欠損部分又は歪み部分を滑らかにつなぐように補正が行われる。この後、ステップS8では、補正処理後の連結画像から道路地図データが生成され、道路地図データベース18に書込まれる。以上の処理により、最新かつ高精度の道路地図データが生成されるようになる。
以上のように、本実施形態の道路地図生成システム1によれば、次のような優れた効果を得ることができる。即ち、本実施形態においては、車載カメラ4のカメラ画像データを収集することに基づいて道路地図データを生成するものにあって、連結画像から道路上の道路標示の不良箇所が抽出されたときに、当該道路標示の不良箇所が画像処理時のノイズによるものであると判定された場合に限って補正を行うようにした。そして、判定の工程において、現実に不良が発生していると判定された場合には、補正は行われない。
この結果、実際の道路状況を忠実に反映した正確な道路地図データの生成を可能とすることができる。ひいては、自動車の自動運転用の高精度の道路地図データの整備に大いに寄与することができる。また、本実施形態の道路地図生成システム1においては、全国の道路を走行する一般の多数台の車両Aの車載カメラ4によるカメラ画像データを収集することに基づいて、地図データを生成することができるので、専用の車両を走行させてデータを得るものと異なり、安価なコストで高精度の地図データを生成できるといった利点も得ることができる。
このとき、本実施形態では、道路標示の変化の蓄積記憶の処理において、カメラ画像データから、同一箇所において道路標示の時間的な変化があったことが検出されると、変化情報データベース19にその変化情報が蓄積記憶されるようになる。そして、道路標示の不良が画像処理上のノイズによるものかどうかを判定する工程において、変化情報データベース19に記憶されている変化情報を参照して判定を行えば良いので、判断の処理を容易且つ確実に行うことができる。
また、現実の道路上におけるタイヤスリップ痕、再舗装、部分的な陥没又は隆起、ひび割れ、災害による異状の少なくともいずれかが発生することが、道路標示の不良と判断される要因、つまり現実に道路標示に欠損や歪みが発生する原因となる。本実施形態では、検出の工程において、カメラ画像データから、道路標示の変化のパターンとして、道路上におけるタイヤスリップ痕、再舗装、部分的な陥没又は隆起、ひび割れ、災害による異状の少なくともいずれかの発生を検出するように構成した。それらの変化が予めパターン化されていることにより、カメラ画像から道路標示の変化を容易に検出することが可能となる。
特に本実施形態では、道路標示として道路上にペイントされた標示線の欠損部分又は歪み部分を不良箇所として抽出し、道路標示の不良箇所が画像処理時のノイズによるものである場合に、標示線の欠損部分又は歪み部分を、滑らかにつなぐように補正する構成とした。これにより、画像処理時のノイズによる標示線の欠損部分又は歪み部分を正しく補正でき、高精度の地図データを生成することができる。
尚、上記実施形態では、データセンタ2における各種処理(工程)を、コンピュータからなる処理制御装置14が自動で行う構成としたが、オペレータからの入力指示を含めて、いわゆる半自動で処理を実行する構成としても良い。これによれば、例えば現実に道路標示の不良が発生しているかの判定を行うにあたって、カメラ画像データを表示装置に表示させ、オペレータがそのカメラ画像データを参照して判定を行うようにすれば、実際の画像を容易に確認して、正確に判定を行うことができる。
また、上記実施形態では、車両Aから無線通信によりカメラ画像データを収集するようにしたが、例えばSDカード等の記憶媒体を介してカメラ画像データを収集する構成とすることもできる。その他、車両(車載装置)やデータセンタのハードウエア構成等についても様々な変更が可能である。本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。