JP2009258651A - 路面標示地図生成方法 - Google Patents
路面標示地図生成方法 Download PDFInfo
- Publication number
- JP2009258651A JP2009258651A JP2009017528A JP2009017528A JP2009258651A JP 2009258651 A JP2009258651 A JP 2009258651A JP 2009017528 A JP2009017528 A JP 2009017528A JP 2009017528 A JP2009017528 A JP 2009017528A JP 2009258651 A JP2009258651 A JP 2009258651A
- Authority
- JP
- Japan
- Prior art keywords
- image
- road
- path
- road surface
- road marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】 道路を走行しながら路面をビデオカメラで撮影するとともに、各撮影地点の位置座標をGPS等で取得する。コンピュータは、この動画の各フレーム画像を変換して真上から見た状態の正射画像を生成し、撮影地点に配置することで、走行したパスにそった連結画像を生成する。また、パスの異なる連結画像を合成して幅広の道路画像を生成する。この道路画像において、連結画像同士が重なっていることにより、下側の連結画像の路面標示A153が隠されてしまっている部分等には、自動で透明化ポリゴンPOL15を設定する。こうすることによって、各連結画像に含まれる路面標示を有効活用して道路画像を生成することができ、路面標示の位置座標も取得しやすくなる。
【選択図】 図15
Description
特許文献1は、車輌の前後または側方に対してデジタルカメラ等により取得された画像から、路面の標示を含む静止画像を生成する技術を開示している。この技術では、目的の道路を車両で走行しながら、その車両に搭載されたデジタルカメラ等で路面の標示等を撮影する。そして、動画を構成する各フレーム画像を真上から見た状態の正射画像に変換し、撮影位置に応じて配列する。正射画像とは、道路の垂直上方の無限遠点に視点を置いた場合の道路画像を言う。複数のフレーム画像を配列することによって、1回の走行の軌跡(以下、パスと呼ぶこともある)に沿った道路面の合成画像を得ることができる。
例えば、道路内部の各地点の位置座標が詳細に得られている地図データが存在すれば、車両の現在位置に応じて、車両が道路のどの車線を走行しているかを判断して、車線変更の案内を行うことや、車両に横断歩道が接近していることを警告するなどの高機能な案内を実現することが可能となる。
例えば、特許文献2は、2つのパスで得られた画像を合成する旨の技術を開示しているが、各パスに対応する画像内の路面標示の画質に優劣があることは考慮されていない。つまり、一方の画像内の路面標示の画質が、他方の路面標示よりも劣る場合でも、低画質の路面標示が合成画像で用いられる可能性がある。
これらの課題の他、従来の地図データは、これらの高精度、高機能な案内を実現するためには不十分な精度しか有していなかったという課題もあった。仮に車両の現在位置を精度良く把握したとしても、その位置情報を活かすだけの詳細な地図データが用意されていたとは言えなかったのである。
しかし、従来技術は、いずれも道路面の合成画像を得ることを主目的としており、路面の標示の位置座標を得ることを目的としてはいなかった。
例えば、特許文献2の技術は、道路が直線か曲線かにかかわらず車両の進行方向をX軸とし、その移動距離をX座標として画像を表しているに過ぎず、このX軸に直交する方向にのみ画像をアフィン変換するに過ぎない。複数のパスで得られた画像について、このように定められたX座標が十分に一致しているという保証はないから、特許文献2の技術では路面の標示の位置座標を精度良く得ることはできない。
また、アフィン変換は、原画像の長方形領域を平行四辺形に歪ませる作用を持つ変換とも言えるから、特許文献2の技術では、アフィン変換によって画像の合成を行うことにより画質の劣化を招き、路面の標示の位置座標を一層低下させるという課題もある。
一方、特許文献1記載の技術は、1回のパスで得られる画像に対する処理を開示しているのみであり、道路全体を十分にカバーすることができない。
本発明では、まず、コンピュータは、撮影対象である道路を複数回にわたって移動しながら標示が施された道路面を撮影した連続画像の画像データと、この画像データの撮影位置を表す位置座標データとを入力する。これによって、撮影された道路を移動した際の移動軌跡である複数のパスの位置座標データと、複数のパスに沿う連続画像の画像データとが入力されることになる。
上述の画像データは、例えば、車両などの移動体に搭載した撮影装置によって撮影することができる。撮影装置としては、例えば、ディジタル・ビデオ・カメラなどを用いることができる。また、撮影装置には、撮影時の位置座標データを取得する位置計測装置を搭載しておくことが好ましい。位置計測装置は、例えば、GPS(Global Positioning System)や、ジャイロなどの慣性航法装置などを単独または組み合わせて用いることができる。また、処理の便宜上、撮影した画像と位置座標データを入力し、両者を同期させて記録する記録装置を用意しておくことが好ましい。
このようにパスの位置が異なる場合には、後述する通り、これらのパスから得られる画像を合成することによって、1つのパスで得られる範囲よりも幅広の合成画像を得ることが可能となる。
複数のパスは、第2に、異なる時期に取得したパスとしてもよい。例えば、一旦、道路の画像を撮影し、地図データを整備した後、時間が経過してから、再度、同じパスを走行して道路の画像を撮影するのである。この場合には、後述する通り、これらのパスから得られる画像を合成することによって、路面標示の変化を反映した地図を生成することが可能となる。
そして、こうして得られた正射画像を位置座標データに基づいて、パス上に配置することにより、各パスの道路面を表す連結画像を生成して表示する。この際、正射画像の一部が重なっても良い。正射画像は、例えば、その中心線がパスの進行方向に沿う状態で配置することが好ましい。こうすることで連結画像がパスの本数分だけ得られる。
また、これらの透明化ポリゴンを、所定の規則に基づき自動的に設定するため、オペレータの負荷が軽減されるとともに、オペレータのスキルによる品質のばらつきなく、安定した合成画像を得ることができるという利点もある。
かかる態様に代えて、例えば、上側または下側の連結画像しか存在しない領域に生成された透明化ポリゴンは、無効扱いとし、画像を透明化させずに合成画像を表示する方法をとってもよい。
評価方法は、合成画像を生成する目的に応じて、種々の方法を採ることができる。
例えば、標示の再現を重視する場合には、下側の連結画像に含まれる標示が、上側の連結画像に含まれる標示よりも正確さを表す評価値が高いと判断される部分に透明化ポリゴンを設定する方法を採ることができる。こうすることによって、正確に得られている標示を活かした合成画像を生成することができる。
位置精度を考慮する態様として、例えば、それぞれのパスの撮影時の位置座標データの精度を表す評価データを取得し、パスごとに位置精度の優劣を定めるようにしてもよい。この態様では、下側のパスの方が高い位置精度を有していると評価された場合には、標示が重なり合っている部分または下側の標示のみが存在する部分に対して、透明化ポリゴンを設定すればよい。こうすることにより、位置精度が高い標示を有効活用することが可能となる。
形状を考慮する態様としては、上側と下側で重なり合っている標示を比較し、標示の面積が大きい側を採用するように透明化ポリゴンを設定する方法を採ることができる。面積が大きいということは、標示が欠落なく取得されていると考えられるからである。この場合には、下側の標示の面積が、上側よりも大きい部分に透明化ポリゴンを生成すればよい。面積の比較には標示の種別を考慮してもよく、例えば、同一の種別の標示が重なり合っている場合についてのみ面積を比較するようにしてもよい。
また、コンピュータが、各連結画像に対し、画像処理によって、標示を認識し、この認識の結果に基づき透明化ポリゴンを設定するようにしてもよい。標示を自動認識するようにすれば、オペレータの負荷を軽減することができる利点がある。オペレータによる抽出と自動認識は、併用してもよい。例えば、自動認識を行わせた後、オペレータによる抽出を行って、誤認識を修正したり、認識漏れを補充したりしてもよい。
まず、コンピュータは次の手順で標示を認識するための連結画像を生成する。
処理の基準として、二次元平面において予め設定された方向に、パス上の基準点からの距離を表す直線状の距離軸を定義する。基準点は、パスの始点としてもよいし、パス上に設けられた任意の点としてもよい。距離軸は、二次元平面の任意の方向に定義できる。もっとも、x軸またはy軸と一致させておくことが、後述する各処理が簡易になるという点で好ましい。
コンピュータは、パスに沿った基準点からの距離に基づいて、正射画像を距離軸上に配置することにより、各パスの道路面を表す直前状の連結画像を生成する。この際、正射画像の一部が重なっても良い。正射画像は、例えば、その中心線が距離軸に沿う状態で配置することが好ましい。こうすることで距離軸に沿った直線状の道路を表す連結画像を得ることができる。
また、距離軸上に正射画像を配置することにより、道路がカーブしている場合でも、直線状に伸びた連結画像を得ることができる。このように連結画像を生成した場合、道路上の標示は、距離軸に対して一定の位置関係で存在することになる。例えば、横断歩道や停止線は距離軸に直交するように描かれており、車線境界線は距離軸に平行に描かれることになる。このように連結画像内で抽出すべき標示の描かれ方が、標示ごとに一定となるため、標示を抽出するための条件を明確に設定することが可能となり、安定して標示を抽出することが可能となる。
本発明では、正射画像を配置して連結画像を生成しているため、距離軸上に正射画像を配置することにより、直線状に伸びた連結画像を比較的容易に得ることができる。
例えば、上側の連結画像の側端の所定範囲を覆うように透明化ポリゴンを生成してもよい。連結画像を構成する正射画像を生成するための画像変換では、画像の側端に行くほど歪みの影響を受けやすい。また、正射画像は台形になることが通常であるため、これを配置して生成された連結画像の両側端は、のこぎり刃状のギザギザが生じることがある。この結果、連結画像の側端は、下側の連結画像に比較して、標示の位置精度が低くなるとともに、ギザギザの形状によって標示も分断された状態となることが多い。従って、側端の所定範囲に透明化ポリゴンを生成すれば、こうした領域を比較的容易に除去することができ、下側の連結画像の標示を有効活用することが可能となるのである。
また、側端の所定範囲は、任意に生成可能である。例えば、のこぎり刃状のギザギザとなっている領域を特定し、この範囲を除去するのに足りる最小幅の透明化ポリゴンを設定する方法を採ることができる。こうすれば、上側の連結画像を無用に削除することを回避できる。
まず、複数のパスのうち2本以上のパスの連結画像に共通して撮影されている領域内で、パス間で対応する対応点を特定する。例えば、2本のパスに横断歩道が共通に撮影されている場合には、それぞれの連結画像において横断歩道の縞模様のいずれかの角を対応する対応点とすることができる。
コンピュータが、複数のパス間で、抽出された標示の種別および位置関係を比較し、標示の対応関係を特定することによって、標示上のいずれかの点を対応点として自動的に特定するようにしてもよい。また、連結画像および抽出された標示をコンピュータのディスプレイ上に表示し、オペレータがこの表示を見て、対応点を指示するようにしてもよい。
こうして特定された対応点同士のずれは、位置座標の誤差を表すことになる。
この補正は、移動ベクトルに基づいて、連結画像を構成する領域ごとに平行移動することによって行う。この領域は、一旦、生成された連結画像を元の正射画像に相当するサイズまたは別の任意に設定されたサイズに分割したものでもよい。また、連結画像を生成する際に、正射画像を合成せずに配置するだけに留めておく場合には、各正射画像ごとに位置を修正するようにしてもよい。
そして、複数のパスの中から、一つを基準パスと設定し、この基準パスは固定した状態で、他のパスの位置を修正するため、基準パスの位置精度を確保した状態で、各パス間の位置精度の誤差を解消することができる。
また、各パスの合成は、連結画像を領域ごとに平行移動することによって行うため、各領域の正射画像に歪みを加えることなく位置を修正することができる。従って、この修正時には道路面の標示は、各領域の正射画像内での相対的な位置精度を保持しておくことができる。
以上の作用によって、本発明の路面標示地図生成方法によれば、位置精度を確保した状態で、道路面の標示を含む合成画像を得ることができる。
コンピュータは各パスについて、位置座標データの精度の評価データを併せて入力し、この評価データに基づいて基準パスを設定するようにしてもよい。例えば、複数のパスのうち、評価データに基づいて位置精度が最も高いと評価されるパスを基準パスと設定する方法が挙げられる。こうして設定された基準パスに他のパスを合わせるようにして合成画像を生成すれば、最も高い位置精度を確保することが可能となる。
評価データは、直接に位置精度を定量的に表すデータとしてもよいし、位置精度の算出に用いることができるデータとしてもよい。
かかる場合には、更に、生成された複数の透明化ポリゴンのうち、相互に重なり合うものを結合させてもよい。こうすることによって、透明化ポリゴンの数を減らすことができ、データ構造の簡素化、データ容量の削減を図ることができる。
本発明において複数のパスに対する連結画像を重ねる際に、いずれを上に配置するかは、オペレータが判断して決めてもよいし、自動で設定してもよい。
連結画像内の標示の量、標示以外の異物の量は、いずれか一方のみを検出してもよいし、双方を検出してもよい。ここで、「量」は、標示等の数で評価してもよいし、面積で評価してもよい。
例えば、下側の連結画像上の路面標示が隠されているところに透明化ポリゴンを生成する場合を考える。この場合には、標示の量が多い連結画像を上側に配置することにより、透明化ポリゴンを抑制することができる。また、異物の量が少ない連結画像を上側に配置することにより、見栄えを向上させることができる。
逆に、上側の標示を除く部分に透明化ポリゴンを生成する場合には、標示の量が少ない連結画像を上側に配置することにより、透明化ポリゴンが避けるべき標示が減るから、透明化ポリゴンの形状を簡略化することができる。また、下側にできるだけ異物の量が少ない連結画像を配置することにより、見栄えを向上させることができる。
更に、上述の方法では、パスの上下関係を自動的に判断させるため、オペレータの主観が入り込まなくなり、オペレータによって道路画像の見栄えが異なるという不安定さを抑制することができる。
上述の通り、異物の量は、道路画像の見栄えに影響を与える。従って、異物の量を優先的に考慮することにより、道路画像の見栄えを向上することができる。
また双方の評価を併用してもよい。双方の評価を併用する場合には。連結画像全体における量よりも、重なっている領域における量を優先的に評価することが好ましい。優先とは、重なっている領域における評価で上下関係が定まらない場合に、連結画像全体における評価を考慮することを意味する。重なっている領域以外の領域は、上下関係を入れ換えても、道路画像の見栄えには影響を与えないため、重なっている領域での評価を重視した方が、見栄えを向上させる効果が適切に得られるからである。
ゴミ画像を認識して、路面標示の認識に反映させる第1の方法は、次の通りである。
まず、コンピュータは、連続するフレーム画像間でオプティカルフローを求める。オプティカルフローとは、前のフレーム画像内の複数の特徴点から、次のフレーム画像内の対応する特徴点への移動を表すベクトルである。連続するフレーム画像とは、必ずしも連続して撮影されたフレーム画像である必要はなく、撮影されたフレーム画像を、所定の距離間隔や時間間隔などで間引いた後のフレーム画像群で定義してもよい。
CPUは、こうして得られたオプティカルフローに基づいて、標示以外の写り込み、つまりゴミ画像をフレーム画像内で抽出する。路面標示とは異なる異物が写り込んでいる場合、そのオプティカルフローも、路面標示の部分のオプティカルフローとは大きさおよび方向が異なるからである。写り込みの抽出は、オプティカルフローの大きさおよび方向の双方に基づいて評価してもよいし、いずれか一方に基づいて評価してもよい。
CPUは、距離軸上に配置された正射画像同士が重なる部分を切り出す。そして、この重複部分の正射画像間の各点の階調差分を求める。階調差分とは各点に記録されている色成分の差分である。カラー画像の場合、RGBの成分ごとに階調差分を求めても良いが、HSVの3要素に分解した上で明度(V)差分を求めることが好ましい。正射画像同士の重複部分では路面標示も重なっているはずなので、路面標示に対する階調差分は所定値以下となる。これに対し、路面標示以外の異物は、撮影時刻や撮影場所が異なれば正射画像への写り込みの形状、大きさが異なるのが通常であるため、大きな階調差分となる。従って、所定の閾値を超える階調差分が得られた点を抽出することにより、ゴミ画像を抽出することが可能となる。こうしてゴミ画像が抽出されると、連結画像内で、ゴミ画像がある領域を特定することができる。
また別の態様として、パスを含む所定範囲を除く所定領域を対象としてもよい。パスに沿って移動しながら撮影を行うため、パス周辺の領域には、路面標示以外の異物が写り込んでいる可能性は低いからである。これは、自車が走行する走行レーンにおいては、前方を走行する車両が画像作成範囲に入ってこないように車間距離を開けて走行することが可能だからである。一方、走行レーン以外のレーンは、異物の写り込みを回避する手段がないのが現状である。
更に、両者を組合せ、正射画像の生成対象となる部分のうち、パスを含む所定範囲を除く所定領域を対象としてもよい。
例えば、上述の方法などによって、上側の連結画像内において標示以外の異物が写り込んだ部分、つまりゴミ画像を抽出する場合、抽出された異物の少なくとも一部に対応する領域を覆うように透明化ポリゴンを生成してもよい。こうすることにより、道路画像の見栄えを向上させることができる。
ゴミ画像を覆う透明化ポリゴンを生成する場合も、標示の部分に透明化ポリゴンを生成する場合と同様、下側に連結画像が存在する範囲内で生成することが好ましい。連結画像がない部分に透明化ポリゴンを設定すると、その部分だけ穴があいたかのような道路画像となってしまうからである。
一体化は種々の方法で行うことができる。例えば、側端透明化ポリゴンを投影する垂線を引いて両者を結合してもよい。また、側端透明化ポリゴンから所定の距離内にある異物の透明化ポリゴンのみを結合するようにしてもよい。
つまり、上側の連結画像に含まれる路面標示を抽出した後、抽出された路面標示について、その路面標示よりも連結画像の側端側を覆う透明化ポリゴンを生成するのである。ただし、この透明化ポリゴンは、他の路面標示にかぶらない範囲で生成することが好ましい。抽出された路面標示よりも側端側の領域には、路面標示が存在していないため、必ずしも連結画像を残しておく必要はない。上述の方法では、かかる部分に透明化ポリゴンを生成し、上側の連結画像の不要な部分をまとめて削除することにより、ゴミ画像があるか否かを抽出するまでなく、簡易にゴミ画像を削除することができる。
本発明は、必ずしも上述した特徴を全て備えている必要はなく、適宜、その一部を省略してもよいし、いくつかの特徴を適宜、組み合わせて備えるようにしてもよい。
本発明は、上述の路面標示地図生成方法に限らず、この路面標示地図生成方法によって道路面に施された標示を含む路面標示地図を生成する路面標示地図生成装置として構成してもよい。
A.システム構成:
A1.道路面撮影システム:
A2.路面標示地図生成装置:
B.処理概要:
B1.中間データ構成:
B2.処理例:
B3.位置合わせ加工概要:
C.路面標示地図生成方法:
C1.連結画像生成処理:
C2.位置合わせ加工:
C3.基準パス設定処理:
C4.連結画像移動処理:
C5.透明化ポリゴン設定処理:
C6.ペイント認識処理:
C7.自動透明化ポリゴン生成処理:
D.効果:
E.変形例:
E1.優先パスの決定:
E2.自動透明化ポリゴン生成処理(1):
E3.自動透明化ポリゴン生成処理(2):
本実施例では、車両に搭載したビデオカメラで撮影した道路面の画像を用いて、路面の標示を含む地図(以下、「路面標示地図」と呼ぶ)を生成する方法を示す。
本実施例のシステムは、道路面撮影システムと路面標示地図生成装置とを備える。道路面撮影システムは、道路を走行しながら道路面の画像をビデオカメラで撮影するシステムである。本実施例では、対象となる道路を、異なる走行軌跡で複数回走行し、それぞれ画像を撮影する。
路面標示地図生成装置は、道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成する装置である。まず、上述の各走行軌跡上に、撮影された画像を正射画像に変換した上で配置することで、道路面の一部の車線についての連結画像を生成する。そして、複数の走行軌跡の画像を、位置座標が整合するように配置することで道路全体の画像を生成する。また、こうして生成された連結画像から道路面の標示を抽出する。
以下、道路面撮影システムと路面標示地図生成装置のシステム構成について説明する。
図1は実施例としての道路面撮影システムの構成を示す説明図である。
道路面撮影システム100は、車両に搭載されたシステムである。図の下方のブロック図に基づき、システム構成を説明する。
ビデオカメラ120は、走行中の道路面の画像を撮影する。
位置計測部110は、撮影中の位置座標を計測する装置である。位置計測部110は、GPS(Global Positioning System)114、IMU(Inertial
Measurement Unit)116、DMI(Distance Measuring Instrument)118およびコントローラ112を備える。GPS114は、全地球測位システムである。IMU116は、内部に3軸のジャイロおよび加速度センサを備えた慣性計測装置である。DMI118は、車輪の回転を検出して移動距離を計測する装置である。
また、これらの信号の取得後、位置座標の計測精度の評価値である自己推定位置精度σを併せて出力する。一般にGPS114は、位置座標の検出に使用される人工衛星の配置、電波の受信状況、建造物などに反射した電波を受信することによるマルチパスの有無などによって検出精度が変動することが知られている。またディファレンシャル測位では、基準局の稼働状況によっても検出精度は影響を受ける。
自己推定位置精度σは、任意に定義可能である。例えば、GPS114の人工衛星の配置によって定まる精度低下率(DOP(Dilution of Precision))を用いて自己推定位置精度σを算出するようにしてもよい。自己推定位置精度σは、取得されたデータを後述する路面標示地図生成装置で処理する際に、解析するようにしてもよい。
図の上方に、車両に搭載した状態を模式的に示した。
ビデオカメラ120は、前方画像を撮影できるよう、車両の前方に設置する。画角を広げるために広角レンズを装着してもよい。
GPS114のアンテナ114Aは、車両のルーフ上部に設置する。本実施例では、GPS用の人工衛星からの電波を確実に受信し、十分な位置精度を確保することができるよう、アンテナ114Aを車両の前後に主副の2台設置した。いずれか一台のみを用いるものとしてもよい。
IMU116、DMI118、コントローラ112は、それぞれ車両の後部に設置した。DMI118は、後輪の回転を検出可能に装着されている。
記録装置130およびハードディスク140は車室内の任意の場所に設置可能であるため、図示を省略した。
図2は実施例としての路面標示地図生成装置の構成を示す説明図である。道路面撮影システムで撮影された道路面の画像に基づいて路面標示地図を生成するための装置である。本実施例では、完全に自動で路面標示地図を生成するのではなく、適宜、オペレータからのコマンドによる指示を受けながら対話型または半自動で処理を進める方法を採用した。
図中には、路面標示地図生成装置200の機能ブロックを示した。本実施例では、路面標示地図生成装置200は、図示する各機能を実現するためのコンピュータプログラムを汎用のパーソナルコンピュータにインストールすることによってソフトウェア的に構築した。これらの機能ブロックの一部はOS(Operating System)によって提供してもよい。また、これらの機能ブロックは、それぞれハードウェア的に構成することも可能である。また、ここでは説明の便宜上、スタンドアロンで稼働する装置として説明するが、各機能ブロックをネットワークで接続された複数のコンピュータに分散して用意してもよい。
表示制御部203は、コンピュータのディスプレイに、路面標示地図生成装置200での処理結果を表示したり、オペレータが種々のコマンドを指示するための画面を表示したりする。コマンド入力部202、表示制御部203の機能は、コンピュータのOSによって提供してもよい。
もっとも、基準局からのデータを用いることは必須ではない。計測データ146で得られた位置座標をそのまま用いるものとしてもよい。かかる場合には、軌跡データ算出部205は省略することも可能である。
連結画像生成部としての1パス合成部207は、画像変換部206によって得られた各フレーム画像の正射画像を、その正射画像内の代表点が、撮影時の位置座標に基づいて定まる位置座標に来るように配置することによって、撮影時の走行軌跡(パス)に沿った道路面の画像を合成する。こうして合成された画像を、連結画像と呼ぶものとする。合成された連結画像は、処理データ記憶部210に保存される。
本実施例では、それぞれの道路に対して、異なる走行軌跡で、複数回走行して、撮影を行う。1パス画像合成部207は、それぞれのパスごとに合成画像を生成する。この結果、連結画像は、パスの本数に応じて、複数生成される。
また、撮影対象が複数車線の道路である場合、車線ごとに1回ずつ移動して撮影してもよいし、いずれかの車線上を複数回移動して撮影してもよい。前者の場合は、車線とパスが1対1に対応することになる。後者の場合は、パスと車線が複数対1に対応することになる。本実施例では、特に断らない場合には、各車線について1回ずつ走行した場合、つまり車線とパスとが1対1に対応している場合を例にとって説明する。
位置合わせで得られた道路画像は、処理データ記憶部210に保存される。
透明化ポリゴン設定部221と、自動透明化ポリゴン設定部224とは、オペレータの指示によって、いずれか一方を選択的に使用可能としてもよいし、双方を併用してもよい。併用の態様としては、例えば、自動透明化ポリゴン設定部224による処理を行った後、透明化ポリゴン設定部221によって、透明化ポリゴンの修正や追加を行う態様が挙げられる。
透明化ポリゴン設定部221、自動透明化ポリゴン設定部224によって設定された透明化ポリゴンは、所定データ記憶部210に保存される。
路面標示地図生成装置は、以上で生成された道路画像に基づいて路面標示地図を出力することができる。例えば、道路画像を印刷可能なファイルとして出力してもよい。また、路面標示地図を電子地図として生成するように、道路画像を電子データとして出力してもよい。また、これらの出力に先立って、道路画像に基づいて路面標示の位置座標や形状データを取得する処理を行うようにしてもよい。
B1.中間データ構成:
図3は路面標示地図の生成過程における中間データを示す説明図である。これらのデータは、順次、処理データ記憶部210(図2参照)に記憶される。
本実施例では、道路を走行しながらビデオカメラ120および位置計測部110で取得したデータが記録装置130としてのパーソナルコンピュータによってハードディスク140内に格納されている。格納されるデータとしては、画像データ142、計測データ146、および両者の同期をとるための同期データ144がある。
本実施例では、異なる時期に取得された複数の画像を処理対象とすることも可能ではあるが、以下では、同時期に異なる走行軌跡で撮影を行った場合を例にとって説明する。
本実施例では、各道路を複数回走行して、道路面の画像を撮影する。従って、路面軌跡データ210bおよび路線軌跡データ210bは、各道路に対して複数パス分、生成されることになる。
連結画像210dは、路面テクスチャ210cを結合した一つの画像ファイルとして生成することもできる。本実施例では、後に続く処理の便宜上、合成画像として生成するのではなく、路面テクスチャ210cを配置して連結画像210dを生成するための情報(以下、「登録データ」と呼ぶこともある)を、路面テクスチャ210cの各画像と対応づけて格納するものとした。かかる情報には、路面テクスチャ210cを配置する位置座標、配置する際の姿勢(角度)、および隣接する路面テクスチャ210cを特定する情報、隣接する路面テクスチャ210cとの上下関係などを含めることができる。
道路画像210eについても、合成画像として生成してもよいし、路面テクスチャ210cを配置して道路画像210eを生成するための情報を、路面テクスチャ210cの各画像と対応づけて格納するようにしてもよい。本実施例では、後者の方法を採用した。それぞれの路面テクスチャ210cを配置する位置座標、配置する際の姿勢(角度)などの情報は、道路画像用登録データ210fとして保存されている。また、位置合わせの過程で、路線軌跡データ210bに対して、位置誤差を修正する処理が施されるため、この原データに対する修正過程を表す情報を、軌跡用登録データ210gとして保存する。
次に、本実施例における処理の概要理解を容易にするため、処理例を示す。
図4は実施例における道路画像の生成例を示す説明図である。図4(a)には、1本のパスに沿って得られた連結画像の生成例を示し、図4(b)には、複数パスの連結画像を配置して得られた道路画像の例を示している。
図4(a)中の直線L41〜L44は、それぞれ道路面撮影システム100で走行しながら道路画像を撮影した際の走行軌跡(パス)を表している。図4(a)のPIC41は、パスL43を走行して得られた画像データに基づいて生成された連結画像である。本実施例では、広角レンズを用いて撮影しているため、1回のパスでも複数車線を覆うだけの連結画像を得ることができている。連結画像の両端が、のこぎり刃状にギザギザになっているのは、画像データの各フレームを正射投影した際に生じる形状歪みの影響である。この連結画像PIC41は、ギザギザの山数に応じたフレーム数の正射画像(路面テクスチャ)を配置して生成されているのである。
このような連結画像は、図中のパスL41〜L44のそれぞれに対して得られる。
図5は位置合わせ加工の概要を示す説明図である。本実施例では、複数の連結画像に共通して撮影されている標示に基づいてオペレータが指定した対応点の位置を合わせるように、連結画像を平行移動することによって位置合わせを行う。
図5(a)には対応点が1つだけ指定された場合の処理方法を示した。図中には、2本の連結画像PIC51、PIC52が描かれている。これらには、それぞれ菱形の標示、つまり横断歩道の予告標示が含まれている。ただし、図5(a)左側の状態では、連結画像PIC51、PIC52には相対的に位置誤差があるため、標示の位置がずれている。
この際、連結画像PIC51、PIC52の一方を基準とし、他方を平行移動する方法を採った。図の例では、連結画像PIC51を基準とし、連結画像PIC52を移動させた例を示している。このように移動することにより、予告標示のずれが解消した状態の道路画像PIC53を得ることができる。
この状態で、オペレータが、2組の対応点を指定したとする。対応点P54、P53の組と、対応点P56、P55の組である。連結画像PIC54では、連結画像PIC55に含まれる予告標示M52は全体が描かれており、連結画像PIC54に含まれる予告標示M51は一部が消えている。このような状態であっても、対応点P55、P56が対応することは明らかであるため、対応点として指定することは可能である。
このように複数組の対応点が指定されると、連結画像PIC54を基準として、それぞれの対応点が一致するように、連結画像PIC55を移動させる。ただし、対応点P53をP54に一致させるための第1の移動量と、対応点P55をP56に一致させるための第2の移動量とが同じであるとは限らない。そこで、対応点P53とP55との間の領域では、第1の移動量、第2の移動量を直線補間して、各点の移動量を設定する。こうすることにより、予告標示のずれが解消した状態の道路画像PIC56を得ることができる。
この例では、連結画像PIC54中の予告標示M51は半分が欠けている。この状態で位置合わせを行うと、この例では、連結画像PIC54をPIC55の上側に重ねるように表示しているから、連結画像PIC55の予告標示M52は、連結画像PIC54によって覆い隠されてしまう。この結果、連結画像PIC55では完全な状態で描かれている標示M52を道路画像PIC56で活かすことができない。
そこで、このような場合に、オペレータの指示によって予告標示M52を取り囲むように透明化ポリゴンTP50を設定する。透明化ポリゴンTP50が設定された箇所では、上側の連結画像が透明化され、切り取られたように表示される。この結果、透明化ポリゴンTP50の部分では、連結画像PIC54の下側に配置された連結画像PIC55に描かれている予告標示M52が表示される。
本実施例では、このように透明化ポリゴンを設定可能とすることによって、それぞれの連結画像で描かれている標示を、道路画像においても有効活用することができる。
図6の例では、縦の道路については、それぞれ単一のパスしか存在しないため、パスBP61、BP62が基準パスとなる。
横の道路については、区間D61ではパスBP63bとNP61bのうち位置精度が高い側を基準パスとし、区間D62についてはBP64bとNP61bのうち位置精度が高い側を基準パスとする。ここでは、それぞれパスBP63b、BP64bが基準パスとして設定されているものとする。更に、パスBP63b、BP64b間の位置精度を比較して、優劣を決める。パスBP63b、BP64bはそれぞれ区間D61、D62の基準パスではあるが、一本の道路に配置された連続するパスなので、これらのパス間でも位置合わせを行う必要があるからである。図6の例では、パスBP63bの方が、パスBP64bよりも位置精度が高いものとする。
この結果、横のパスについては、基準パスBP63b>基準パスBP64b>標準パスNP61bの順に位置合わせの優先度が定まる。
まず、基準パスBP63bの位置合わせを行う。オペレータの指示によって、基準パスBP63b上の対応点P63bが指定され、その本来の位置として、点P63aが指定されたとする。この結果、基準パスBP63bは、対応点P63bが、点P63aに一致するように移動され、実線で示した基準パスBP63aが得られる。
図示を省略したが、基準パスBP63bに対応した連結画像も基準パスBP63aに合わせて移動する。本実施例では、基準パスBP63bに沿って路面テクスチャを配置することによって連結画像を表示しており、これらの路面テクスチャを合成してはいない。従って、基準パスBP63aへの移動が行われた場合には、基準パスBP63aに沿うように、各路面テクスチャの位置を平行移動することによって、基準パスBP63aの連結画像を得ることができる。
対応点が指定されると、基準パスBP64bは、対応点P65b、P64bが、点P65a、P64aに一致するように移動され、実線で示した基準パスBP64aが得られる。これに合わせて、基準パスBP64bの連結画像を構成していた路面テクスチャも、それぞれ基準パスBP64a上に平行移動される。
対応点が指定されると、標準パスNP61bは、対応点P68b、P67bが、点P68a、P67aに一致するように移動されるとともに、対応点P67b、P66bが、点P67a、P66aに一致するように移動される。これらの3点は一直線上にはないから、結果として、標準パスNP61bは、折れ線状の標準パスN61aに移動される。これに合わせて、標準パスNP61bの連結画像を構成していた路面テクスチャも、それぞれ標準パスNP61a上に平行移動される。
例えば、図6の処理において、位置精度が低い順、つまり標準パスNP61b、基準パスBP64b、基準パスBP63bの順に位置合わせをしたとする。この場合には、基準パスBP64bの位置合わせは、標準パスNP61bの位置合わせの影響を受け、位置精度が低下する。基準パスBP63bの位置合わせは、標準パスNP61b、基準パスBP64bの位置合わせの影響を受け、位置精度が低下する。従って、位置精度が低い順に位置合わせを行うと、パス間の相互作用によって全体の位置精度が低下してしまう。
本実施例では、これとは逆に、位置精度が高い順に位置合わせを行う。従って、最も位置精度が高いパスの位置精度を劣化させることなく、全体の位置合わせを行うことが可能となるのである。
以下、図1〜6で説明した路面標示地図生成方法について、オペレータが必要に応じて指示を行う場合を例にとって、詳細に説明する。
まず、連結画像生成処理、つまり図3中の路面テクスチャ210c、路面軌跡データ210bに基づいて各パスの連結画像210dを得る処理について説明する。
次に、位置合わせ加工、つまり複数パスに対する連結画像210dの位置合わせを行う処理、および位置合わせ加工の中で行われる基準パス設定処理、連結画像移動処理について説明する。
また、透明化ポリゴンの設定処理について説明する。透明化ポリゴンの設定に関しては、まず、処理概要の理解を容易にするため、オペレータが指定する場合を例にとって説明する。
そして、ペイント認識処理の結果を踏まえて、透明化ポリゴンを自動設定するための自動透明ポリゴン設定処理について説明する。
図7は連結画像生成処理のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示した画像変換部206、1パス合成部207の処理に相当する。
処理を開始すると、CPUは、まずフレームデータを読み込む(ステップS10)。フレームデータとは、道路面撮影システム100(図1)のビデオカメラ120で撮影された画像データ142を構成する各フレームの画像である。
領域A71は、上述の例に限らず、任意に設定可能である。ビデオカメラ120が一定のフレームレートで画像を撮影するため、フレームデータは、道路面を間欠的に撮影した画像群となる。従って、領域A71は、間欠的に撮影された画像群を並べた時に、道路が連続画像として再現できるように範囲を決定することが好ましい。例えば、領域A71の縦幅を狭くすれば、車両の速度が速い場合には、あるフレームデータから切り出された領域と、次のフレームデータから切り出された領域との間に隙間が生じやすくなる。一方、領域A71の縦幅を広くすれば、前方車両や空、建物など、道路画像とは異なる雑多な映像が含まれやすくなる。領域A71は、これらの影響を考慮した上で、設定すればよい。
先に説明した通り、このフレームデータの一部の領域A71を切り出して使用する。
下段には、領域A71の画像を正射投影変換した状態を例示した。道路を真上から見た画像に変換するため、左右の車線規制線L71、L72は図示する通り、平行な線分に変換される。標示M7も同様に真上から見た状態の形状に変換される。
まず、道路面撮影システム100を搭載した車両は水平面上を走行しており、被写体である道路も同一水平面上にあるものとする。
この時、道路画像、即ちフレームデータの画面上の2次元座標をm=[u,v]Tとする。また、地面に固定された世界座標系の3次元座標をM=[X,Y,Z]Tとする。これらの各座標に1の要素を直積で加えたベクトルを、次式(1)の通り定義する。
[Rt]は、外部パラメータ行列;
Rは回転行列;
tは平行移動行列;
Aは内部パラメータ行列である。
内部パラメータ行列Aは、ビデオカメラ120の焦点距離等を考慮した内部的なパラメータであり、実画像座標系(xy座標系)からフレーム座標系(uv座標系)への写像パラメータを表す。
α、βはそれぞれu軸、v軸方向のスケール因子、γは2つの画像軸のスキューにより表されるパラメータ;
[u0,v0]Tは、画像の主点の座標(主点座標)である。
平行移動ベクトルtは、世界座標系において原点に対する実画像の画像主点の移動ベクトルである。
ビデオカメラ120の高さ(実画像の画像主点の高さ)をhとすると、平行移動ベクトルtは次式(5)で表される。
ヨー角φ、ピッチ角ω、ロール角κおよび画像主点の高さhは、次の手順で得られる。まず、初期状態、即ち車両が水平な地面に設置されている状態において、ヨー角φ0、ピッチ角ω0、ロール角κ0、および高さh0の基準値を計測しておく。次に、走行中には逐次、車両の姿勢角の変化および車高の変化をジャイロ、加速度センサ等で記録しておき、上述の基準値にこの変化を反映することで、各地点でのヨー角φ、ピッチ角ω、ロール角κおよび高さを得ることができる。
まず、被写体である道路面を水平面(Y=0)の画像であると仮定する。この時、式(2)より、次式(7)の関係が成立する。
まず、フレームデータを取得した各地点の位置座標データ(X0,Y0,Z0)と、被写体である道路面付近の複数点の位置座標(Xi,Yi,Zi)とから、被写体である道路面の勾配を計算する。本実施例では、勾配は一様であるものと仮定した。
具体的には、撮影地点の世界座標点(X,Y,Z)付近の位置座標データから、高さの変化Δhを求める。つまり、Δh=Y−Y0である。この時、一様な勾配を仮定すると、道路面上の世界座標系(X’,Y’,Z’)の点の奥行きZ’は次式(9)で求めることができる。
本実施例では、後に続く処理の便宜のため、正射画像(路面テクスチャ)を低解像度/高解像度の2通りで生成するものとした。高解像度の正射画像(路面テクスチャ)(以下、「高解像度画像」と呼ぶ)は、もとのフレームデータの切り出し領域A71をそのまま利用して生成された画像、即ち原画像と同じ解像度で生成された画像である。低解像度の正射画像(路面テクスチャ)(以下、「低解像度画像」と呼ぶ)は、解像度を原データよりも下げた画像である。低解像度画像の解像度は、路面標示地図生成装置200が軽い負荷で画像を表示することができる程度の値とすることが好ましく、原画像の解像度の半分など、任意に設定可能である。
各正射画像(路面テクスチャ)A72は、フレーム座標系(uv座標系)の原点に対応する点を、各フレームデータの撮影時の位置座標に基づいて配置すればよい。フレームデータは車両の位置よりも前方を写したものであるため、正射画像(路面テクスチャ)は、車両位置から一定距離だけ前方に移動させた地点に配置する必要がある。本実施例では、フレームデータ毎に車輌位置とフレーム座標系の位置関係を計算して配置する。また、正射画像(路面テクスチャ)は、時系列的に古い画像から新しい画像に順次、配置するものとした。
本実施例では、連結画像生成処理の段階では、正射画像(路面テクスチャ)を1枚の画像に結合することなく、配置して表示する状態に留めている。従って、1パス画像合成処理(ステップS14)で生成されるのは、合成画像ではなく、各正射画像(路面テクスチャ)の配置を決定する情報となる。もっとも、この処理において、正射画像(路面テクスチャ)を1枚の画像に結合する方法を採ることもできる。
図8は位置合わせ加工のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示した位置合わせ処理部220の処理に相当する。
処理を開始すると、CPUは、まず処理の対象となる道路(以下、「対象道路」と言う)についてのオペレータからの指定を入力する(ステップS20)。そして、対象道路に対応する連結画像を入力する(ステップS22)。本実施例では、それぞれの道路について、走行位置を変えながら複数回走行して、路面画像を撮影している。従って、各走行に対応するパスに基づいて、それぞれ連結画像が生成されている。ステップS22では、これらの複数の連結画像を読み込む。
次に、CPUは基準パスを設定する(ステップS30)。基準パスとは、複数のパスの位置合わせをする際に、基準となるパスである。本実施例では、対象道路に対応するパスのうち、位置精度の評価値、即ち自己推定位置精度が最も高いものを選択する。基準パスの設定方法については、後述する。
本実施例では、図中に示すように、基準パスおよび標準パスの連結画像をディスプレイに表示し、オペレータが、マウスなどのポインティングデバイスを操作して、この画面内で対応点を設定するという方法を採った。図の例では、標準パスの画像内で菱形をした横断歩道予告標示の頂点を対応点として指定し、次に、これに対応する頂点を基準パスの画像内で指定する例を示した。対応点は、1点に限らず、複数の点を指定可能である。
後述するペイント認識処理が行われており、各連結画像内の標示が抽出されている場合には、CPUは、抽出した標示をディスプレイに表示し、オペレータがこの中から対応点として用いるべき標示を選択するようにしてもよい。また、連結画像間で抽出した標示の位置関係に基づいて、対応する標示を特定し、対応点や透明化ポリゴンを自動的に設定可能としてもよい。
対応点が指定されると、CPUは、対応点同士が一致するように、標準パスの連結画像を基準パスの連結画像に合わせるよう移動する処理を行って、位置合わせ加工を終了する(ステップS50)。
先に説明した通り、本実施例では、連結画像は一枚の合成画像として生成されている訳ではなく、正射画像(路面テクスチャ)を配置して表示している。従って、ステップS50の処理では、それぞれの正射画像(路面テクスチャ)を移動することで、連結画像の移動処理が行われる。移動処理と併せて、それぞれの正射画像を低解像度画像から高解像度画像に置換する処理が行われる。高解像度画像を用いて、正射画像を再配置する処理を行うものとしてもよい。
連結画像移動処理の内容は、後で詳述する。
図9は基準パス設定処理のフローチャートである。位置合わせ加工(図8)のステップS30に相当する処理であり、複数のパスの位置合わせをする際に、自己推定位置精度が最も高いものを基準パスとして設定するための処理である。
CPUは、処理を開始すると、対象道路の各パスについて、フレーム画像が取得されている各地点での位置精度を入力する(ステップS31)。撮影時には、図中に示すように、パスにそって点P91,P92、P93等でフレーム画像を撮影するとともに、各点ごとに東西方向の位置精度AC1、南北方向の位置精度AC2が記録されている。
CPUは、各点の位置精度に基づいて、パスごとに自己推定位置精度σを算出する(ステップS32)。
各パスの自己推定位置精度σが得られると、CPUはこの値が最小となるパスを基準パスとして設定する(ステップS33)。対象道路に対して単一のパスしか存在しない場合には、無条件にそのパスが基準パスとして設定されることになる。この基準パスの自己推定位置精度をσBとする。
これに対し、自己推定位置精度σBが、所定の閾値σTH以上の場合には、エラー表示を行って(ステップS35)、処理を終了する。この場合には、基準パスの位置精度が十分確保されていないことを意味するため、位置合わせ処理を行っても、位置精度が十分に保証されないからである。
所定の閾値σTHは、上述の通り、路面標示地図として確保すべき位置精度に基づいて任意に設定可能である。
もっとも、位置合わせ処理における修正は、いずれのパスに対してもできるだけ小さい方が、より好ましいと言える。従って、ステップS34において、全てのパスの自己推定位置精度を閾値σTHと比較し、いずれか一本でも、この閾値を下回る精度のパスが存在する場合にはエラー表示を行うようにしてもよい。
ただし、標準パスにも基準パスと同等の位置精度を要求すると、エラー表示が頻繁になされるおそれがある。かかる弊害を回避するため、標準パスでは基準パスよりも高い閾値σTHを用いるようにしてもよい。つまり、標準パスについては位置精度の要求を基準パスよりも緩めるのである。こうすることによって、標準パスについても最低限の位置精度を保証しつつ、エラー表示が頻繁になされるのを回避することができる。
(1)フローチャート:
図10は連結画像移動処理のフローチャートである。位置合わせ処理(図8)のステップS50の処理に相当する。
処理を開始すると、CPUは移動対象となる標準パスのデータおよび対応点のデータを入力する(ステップS51)。標準パスのデータとは、フレーム画像が撮影された時の位置座標を順次、記録した点列からなる軌跡データである。対応点のデータは、図8のステップS20において、基準パスおよび標準パスが表示された画面内でオペレータが指定した対応点の座標値である。
図中に移動ベクトルの算出例を示した。この例では、標準パスNP10について、対応点P101、P103が指定されているものとする。標準パス上には、図中に台形で示すように正射画像(路面テクスチャ)が配置されている。
対応点P101、P103に対応する点としては、基準パス上では、対応点P102、P104が指定されているものとする。CPUは、これらの指定結果に基づき、対応点について移動ベクトルを求める。図の例では、標準パスの対応点P101からP102に向かう移動ベクトルV10と、対応点P103からP104に向かう移動ベクトルV11が得られる。
また、対応点が一つしか指定されておらず、移動ベクトルが一つしか与えられない場合は、この移動ベクトルを用いる。
この処理と併せて、標準パスNP10上の点PP10の位置も移動ベクトルVP10によって修正される。従って、ステップS53の処理では、路面テクスチャの移動と共に、標準パスNP10の軌跡も修正されることになる。
図11は位置合わせ加工の処理例(1)を示す説明図である。図11(a)〜図11(c)のそれぞれには、標準パスNP11および基準パスBP11に対する連結画像を重ねて表示した表示した状態を示している。図11(a)は標準パスNP11の連結画像を、基準パスBP11の連結画像よりも上に配置した状態である。先に説明した通り、連結画像は多数の路面テクスチャを配置することで構成されているが、図中には、説明の便宜上、一つの路面テクスチャTX11に輪郭を付して示した。
オペレータは、この画面中で、標準パスNP11における対応点P111を指定する。対応点P111は、任意に設定可能である。本実施例では、分離帯標示M11の白線の斜め縞模様の端点の一つを対応点P111として選択している。
図11(c)は、基準パスBP11の連結画像を上側にした状態で、対応点P112を指定した状態を示している。つまり、基準パスBP11を上側にした画像内で、分離帯標示M11の白線の斜め縞模様の端点を対応点P112として選択すればよい。
対応点P112が指定されると、標準パスNP11の対応点P111から基準パスBP11の対応点P112に向かうように移動ベクトルV11が求められる。この移動ベクトルV11に従って、路面テクスチャTX11を移動すれば、対応点P111は対応点P112に一致し、分離帯標示M11、M12の位置も一致させることができる。
図12は位置合わせ加工の処理例(2)を示す説明図である。標準パスNP12、基準パスBP12の連結画像を重ねた状態を示した。説明の便宜上、双方の路面標示を視認可能な状態で示している。位置合わせ前は、標準パスNP12、基準パスBP12の位置がずれているため、車線境界線などの標示の位置はずれている。
オペレータは、ここでは破線での車線境界線の端点の一つを対応点として選択している。標準パスNP12については車線境界線L122の端点を対応点P122として選択し、基準パスBP12については車線境界線L121の端点を対応点P121として選択する。この結果、標準パスNP12の対応点P122から基準パスBP12の対応点P121に向かう移動ベクトルV12が定まる。
上述の通り、標準パスNP12の連結画像を、移動ベクトルV12に従って移動することによって、車線境界線の位置を合わせることができる。位置合わせの結果が車線境界線L13である。
また、この位置合わせ加工によって、標準パスも基準パスの位置に合わせられる。本実施例は、本来、異なる位置を走行した複数のパスを位置合わせすることによって、道路面の画像を生成する。この際、図12、図13の比較から分かる通り、対応点に基づいて設定される移動ベクトルに従って、標準パスを平行移動することにより、複数のパス間で、路面標示の位置関係およびパスの位置関係を、非常によく一致させることができる。
図14は路面標示の絶対位置座標の取得方法を示す説明図である。図の例では、標準パスNP14上の路面テクスチャTX142、基準パスBP14上の路面テクスチャTX141を例示した。路面テクスチャTX141、TX142内には、それぞれ標示M141、M142が含まれている。
路面テクスチャTX141、TX142は、それぞれの代表点が、基準パスBP14上の点P141、および標準パスNP14上の点P143に一致するように配置される。
路面テクスチャTX142内も同様に、標示M142の頂点P145の位置は、代表点を原点とする相対的な座標(x145,Y145)で特定することができる。従って、代表点の絶対座標、即ち路面テクスチャTX142が配置されている位置座標(X143,Y143)が分かれば、これに、上述の相対的な座標を加えることによって、標示M142の頂点P145の絶対位置座標を取得することができる。
ここでは、路面テクスチャ内の標示M141,M142の頂点について絶対位置座標を取得する方法を示したが、路面テクスチャ内の任意の点は、それぞれ路面テクスチャの代表点を基準とする相対的な座標で特定可能であるから、同様の方法によって任意の点の絶対位置座標を取得することが可能である。
(1)処理概要:
図15は透明化ポリゴン設定処理の概要を示す説明図である。透明化ポリゴン設定処理は、重ねられた道路画像上に、オペレータの指示によって、透明化ポリゴンを設定することによって、隣接するパスに対応する正射画像同士が重なり合っている部分で、上側の正射画像の一部を透明化して、下側の正射画像を透視可能とする処理である。ここでは、まずオペレータが手動で設定する場合を例にとって処理内容を説明する。
図の中央に、正射画像P152の上に正射画像P151が重ねられている様子を斜視図的に示した。下側の正射画像P152には、横断歩道A154が分断された状態で含まれており、停止線A153が完全な状態で含まれている。上側の正射画像P151には、横断歩道A152が完全な形で含まれており、停止線A151が分断された状態で含まれている。それぞれ分断された部分を、破線で囲んで示した。
仮に、正射画像P151、P152の上下関係を変えたとすれば、今度は、停止線A153は完全な状態で表示することができるが、横断歩道A154が分断された状態で表示されることになる。このように、正射画像P151、P152の上下関係だけでは、横断歩道、停止線の双方を完全な状態で表示させることはできない。
図16は透明化ポリゴン設定処理のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示した透明化ポリゴン設定部221の処理に相当する。
処理を開始すると、CPUは、オペレータからの対象道路の指定を入力し(ステップS100)、対象道路に対応する連結画像を入力する(ステップS102)。対象道路に対して複数のパスが対応している場合には、これらのパスに対応する複数の連結画像が入力される。
本実施例では、優先パスは、オペレータが各パスの連結画像を比較しながら、任意に設定することができる。仮に、路面画像が最も粗いパスを優先パスに指定しても構わない。このような場合には、後述する透明化ポリゴンの設定数が増えるだけのことである。
図中に透明化ポリゴンの設定例を示した。この例では、優先パスに沿った路面テクスチャTX161と、その他のパスに沿った路面テクスチャTX162を示した。
撮影時には矩形の画像が、正射画像変換により、台形になるため、路面テクスチャTX161、TX162を配置すると、図示するようにのこぎり刃状になる。のこぎり刃状の部分からは、路面画像の見栄えを落とすと共に、分断された路面画像しか得られないため、完全な路面画像を得るという目的からは不要な部分となる。そこで、図の例では、路面テクスチャTX161、TX162が重なり合った部分では、のこぎり刃状になった路面テクスチャTX161の左端の部分に透明化ポリゴンPOL161を設定し、のこぎり刃状の部分が表示されないようにしている。
かかる設定は、単に路面テクスチャが重なっていない部分を避けて、オペレータが透明化ポリゴンを設定するという運用によって実現してもよいが、透明化ポリゴンの設定処理(ステップS106)において、透明化ポリゴンの設定位置を制限するようにしてもよい。つまり、路面テクスチャが重なり合っている部分についてのみ、オペレータによる透明化ポリゴンの設定操作を受け付けるようにしても良い。
このように標示を覆う透明化ポリゴンPOL162を設定するためには、一旦、路面テクスチャTX161を他の路面テクスチャよりも下側に位置するように上下関係を変更したり、路面テクスチャTX161を非表示としたりすればよい。これらの操作によって、路面テクスチャTX161に隠された標示を視認可能な状態にした上で、その標示を覆うように透明化ポリゴンPOL162を設定し、路面テクスチャTX161の表示を元に戻せばよい。
(3)処理例:
図17は透明化ポリゴンを設定する前の道路画像例を示す説明図である。この例では、パスP171、P172の2本に沿って得られた連結画像の位置合わせを行って生成された道路画像を示した。パスP172の連結画像と、パスP171の連結画像とで、のこぎり刃状の両端の形状が逆向きになっているのは、これらのパスP171,P172を道路面撮影システム100の車両が走行する方向が逆だからである。
また、パスP172の路面画像が端の方で不鮮明なため、例えば、領域A171では横断歩道の縞模様が歪んでいる。領域A172では、停止線が分断された状態となっている。領域A173では、路線バス等優先通行帯(いわゆるバスレーン)であることを示す「バス専用」の文字が読めない程に崩れている。領域A174では、破線状の車線境界線が途中で分断された状態となっている。
このように透明化ポリゴンPOL17を設定すると、パスP172側の路面テクスチャは、透明化ポリゴンPOL17の内部では透視状態となり、下側に配置されたパスP171側の路面テクスチャが視認されるようになる。
領域A183では、バス専用の文字が、はっきりと判読可能な状態となる。領域A184では、車線境界線が完全な状態で表示される。
このように、本実施例では、透明化ポリゴンを設定することにより、道路画像の画質を向上させることができるとともに、道路面の標示の画質も向上させることができる。
(1)全体処理:
図19はペイント認識処理のフローチャートである。ハードウェア的には路面標示地図生成装置200のCPUが実行する処理である。これは、図2に示したペイント認識部223の処理に相当する。
処理を開始すると、CPUは処理データ記憶部210から、処理対象となっている道路の画像、即ち路面テクスチャ、パスのデータを読み込む(ステップS300)。
次に、CPUは縦配置処理を行って(ステップS302)、縦配置画像を生成し、処理データ記憶部210に格納する。
縦配置の画像は、次の手順で生成することができる。まず、2次元座標xyの縦(y)方向に距離軸を設定する。距離軸とは、パスPA20に沿って画像を撮影する際の開始点からの移動距離を表す軸である。パスPA20が直線状の時は、パスPA20の進行方向を上向きに表示した状態となる。パスが曲線状のときには、パスを直線状に伸ばした状態となる。
縦配置処理が完了すると、CPUは横断関連ペイント抽出処理を行う(ステップS310)。これは、横断歩道、自転車横断帯、停止線など交差点近辺の標示を抽出する処理である。本実施例では、処理データ記憶部210に格納された縦配置画像を用い、そこに描かれた標示を画像処理で抽出するとともに、標示に含まれる線分の位置関係や長さなどに基づく条件判断によって標示の種別を判断するようにした。
「境界線」とは、実線および破線などで描かれた車線境界線である。
「矢印」とは、交差点内の進行方向の規制を示すために、交差点付近で各車線に示されている矢印である。
「ゼブラ」とは、横断歩道とは異なり、中央分離帯や右左折用の車線が増える箇所などに標示されている縞模様である。
「Uターン」とは、Uターン禁止道路に描かれているU字形状の矢印である。
「転回禁止」とは、Uターンの矢印とともに描かれている×印である。
「規制」とは、通行規制の時刻標示等である。例えば、バスレーンなどの標示と併せて描かれる「17−19」の標示(17時〜19時であることを意味)のような通行態様の規制等である。
「横断歩道予告」とは、横断歩道手前に描かれている菱形の記号である。
「減速帯」とは、車速の減速を促すために、路面上にパスに直交する方向の線分をパスの進行方向に沿って平行に複数本配置することで描かれている縞模様である。
「路面塗装」は、急カーブその他の運転者の注意を喚起すべき箇所に対し、通行の安全のために施されている赤色等の舗装領域である。
「バスレーン文字」とは、バスレーンとして使用される車線に付される「バスレーン」という文字である。本実施例では、バスレーンを例示しているが、バスレーンに限らず、路面に標示される文字一般を対象としてもよい。
「終わり記号」とは、バスレーンなどの終了地点を示す「0」形状の記号である。
本実施例では、これらの標示を対象としているが、これらは例示に過ぎず、更に多くの標示を対象としてもよいし、この中の一部を抽出処理の対象外としても構わない。
人工モデル画像とは、コンピュータグラフィックスによって生成されたモデルである。矢印、Uターン、転回禁止など、比較的単純な標示のマッチング用のモデルとして適している。
OCRモデル画像とは、撮影された画像から、オペレータが手作業で切り出した画像に基づいて生成されたモデルである。例えば、数字、バスレーンなどの複雑な形状をした標示のマッチング用のモデルとして適している。これらのモデルをコンピュータグラフィックスによって生成することも不可能ではないが、文字の形状を現実の道路標示に併せてモデルを生成するためには、結局、撮影した画像をトレース等する必要が生じるため、結果としてOCRモデルを利用しているのと大差ない。
認識されたペイントは、画像データとして格納してもよいが、併せて、種別と存在領域を格納してもよい。存在領域とは、認識されたペイントを包含する幾何形状を言う。例えば、横断歩道や自転車横断帯、矢印などに外接する矩形を存在領域として用いることができる。存在領域は重心位置および対角線長さで形状を表すようにしてもよいし、対角に位置する2つの頂点の座標値で表すようにしてもよい。存在領域は、矩形に限らず、種々の多角形や円形など任意の形状を利用することができる。
図21は相対座標変換処理の内容を示す説明図である。本実施例では、以上で説明した各種標示の認識結果は、全て距離軸に沿って路面テクスチャを配置した直線状の画像を用いて得られている。従って、認識結果は、この直線状の画像を表示する座標系における相対的な位置が取得されているに過ぎない。相対座標変換処理は、この相対的な位置を、撮影時の位置座標に対応する絶対座標系の位置に変換する処理である。
図の左側には、直線状の連結画像で標示を認識した状態を示している。ここでは、矩形の存在領域M391、M392を示した。これらの存在領域M391、M392の位置は、代表点としての重心G391、G392の位置座標で表される。この座標は、直線状の連結画像を表示するための座標系xn、ynで与えられる。この座標系xn、ynは、例えば、距離軸NP39をyn軸として定義することが好ましい。
図の右側には、絶対座標系XYに変換した状態を示した。道路は直線とは限らないから、絶対座標系では、撮影時に取得された位置座標に従い、パスRP39は曲線状に描かれることもある。
まず、この曲線状のパスRP39の基準点からの距離に応じて、存在領域の垂線の足R391、R392のパスRP39上での位置を求め、点R391、R392から、それぞれ法線ベクトルV391、V392を描き、その終点を重心G391、G392とする。法線ベクトルV391、V392の大きさは、直線状の連結画像における点R391、G391間の距離、および点R392、G392間の距離にそれぞれ等しい。存在領域M391、M392の方向は、長手方向が法線ベクトルV391、V392と直交するように配置する。つまり、存在領域M391、M392と、重心G391、G392、および垂線の足R391、R392の相対的な位置関係が、直線状の連結画像(図の左側)と絶対座標系(図の右側)とで同一となるように、存在領域M391、M392を配置するのである。
この変換処理により、抽出された各標示の位置を絶対座標系の位置座標で表すことが可能となる。
(1)全体処理:
図22は自動透明化ポリゴン生成処理のフローチャートである。先に説明した透明化ポリゴン設定処理(図16参照)に相当する内容をCPUが自動的に実行する処理である。
この処理を開始すると、CPUは、処理対象となる道路画像、ペイント認識結果を入力する(ステップS400)。これらの結果は、処理データ記憶部210に格納されている。そして、CPUは、道路画像において、連結画像同士の重なりの有無を判定する(ステップS402)。
これらの連結画像の重なりは、路面テクスチャTX231、TX232同士の重なりの有無を判定することによって、判定する方法を採ることも可能ではある。ただし、この場合には、パスRT231に配置される路面テクスチャTX231と、パスRT232に配置される路面テクスチャTX232の全ての組み合わせについて重なり判定を行うか、それぞれ位置座標が一定範囲内にある路面テクスチャ同士で重なり判定を行う必要がある。図示するようにパスRT231、RT232の連結画像同士が重なっている場合でも、全ての路面テクスチャTX231、TX232が相互に重なっている訳ではないからである。例えば、一番左側の路面テクスチャTX231と、一番右側の路面テクスチャTX232とは重なっていないことになる。従って、路面テクスチャ単位で、重なり判定をしようとすれば、上述した多数の組み合わせで重なりの有無を判定する必要があり、そのための処理も、判定結果の管理も非常に複雑となる。
まず、CPUは、それぞれのパスRT231、RT232について、連結画像を包含するポリゴンを設定する。図中の例では、パスRT231については、それぞれの路面テクスチャTX231の両端の頂点P23を求め、これらを線分で結ぶことによって、連結画像を包含するポリゴンA231を設定する。
同様にして、パスRT232については、それぞれの路面テクスチャTX232の両端の頂点Q23を求め、これらを線分で結ぶことによって、連結画像を包含するポリゴンA232を設定する。
そして、このようにして設定されたポリゴンA231、A232同士の重なりの有無を判定する。ポリゴン同士の重なりの有無は、種々の方法によって判定可能であるため、ここでは詳細な説明は省略する。
CPUは、図23で説明した方法によって、ポリゴンA231、A232の重なりの有無に応じて、ステップS404を判定することができる。連結画像同士が重なっていない場合には(ステップS404)、透明化ポリゴンを設定する必要はないため、CPUは自動透明化ポリゴン生成処理を終了する。
連結画像同士が重なっている場合には(ステップS404)、CPUは、優先パスを決定する(ステップS406)。優先パスとは、複数のパスのうち路面画像が最も良好なパスを言い、複数のパスの連結画像を重ねる際に最も上に位置するパスを言う。優先パスは、任意の方法で設定可能である。例えば、道路画像の合成時に基準パスとされたものを、無条件に優先パスと扱うようにしてもよい。また、それぞれの連結画像に含まれているペイント(路面標示)の数または面積が多いものを優先パスとしてもよい。
図24はルート領域の設定方法を示す説明図である。パスに沿って、路面テクスチャTa24〜Tf24が配置されている状態を示した。路面テクスチャTa24は頂点Pa1〜Pa4からなる台形である。同様にして、路面テクスチャTb24、Td24、Te24、Tf24は、頂点Pb1〜Pb4、Pd1〜Pd4、Pe1〜Pe4、Pf1〜Pf4からなる台形である。図示の煩雑化を避けるため、路面テクスチャTc24の頂点の符号は省略した。
路面テクスチャTe24とTf24との交点は、P4、Q4である。しかし、交点P4は路面テクスチャTf24の斜辺Pf1−Pf2の交点であるが、交点Q4は上底Pf2−Pf3との交点である。本実施例では、ルート領域の設定では、路面テクスチャの斜辺との交点を用いるものとするため、交点Q4は採用外とした。
CPUは、こうして得られた交点P1、P2…、P3、P4およびQ1、Q2,…Q3を結ぶことによって、図中に太線で示すルート領域RTA24を設定する。
ルート領域はこの例に限らず、種々の設定が可能であり、斜辺以外の辺との交点(図中の点Q4)を用いてルート領域を設定するようにしてもよい。
ルート領域設定が完了すると(ステップS408)、CPUはペイント用透明化ポリゴン設定処理を行う(ステップS410)。これは、連結画像内のペイント(路面標示)の重なり状態に基づいて透明化ポリゴンの設定要否を判断するとともに、その位置および形状を設定する処理である。ペイント用透明化ポリゴン設定処理の内容は後で詳述する。
そして、CPUは次に、ギザギザカット処理(ステップS430)を行う。この処理は、連結画像の両端のギザギザ領域を非表示とするように透明化ポリゴンを設定する処理である。処理内容については、後で詳述する。
こうして透明化ポリゴンが設定されると、CPUは、設定された透明化ポリゴンの結合処理を行う(ステップS450)。これは、複数の透明化ポリゴンのうち、重なる物同士を結合する処理である。この処理を行うことにより、透明化ポリゴンの数を減らすことができ、その容量を削減することが可能となる。
以下、ペイント用透明化ポリゴン設定処理(ステップS410)、ギザギザカット処理(ステップS430)、透明化ポリゴン結合処理(ステップS450)について順次説明する。
図25はペイント用透明化ポリゴン設定処理のフローチャートである。自動透明化ポリゴン生成処理(図22)のステップS410に相当する処理である。この処理では、CPUは、各連結画像のペイント認識結果に基づいて、透明化ポリゴンの設定の要否の判断、およびその位置、形状の設定を行う。
まず、CPUは、道路画像において下側に配置されているパス、即ち優先パス以外のパスから、優先パスとの重なり領域内に存在するペイントを処理対象ペイントとして抽出する(ステップS411)。また、優先パスの重なり領域に存在するペイントから、重なりペイントを抽出する(ステップS412)。重なりペイントとは、優先パスに含まれるペイントのうち、処理対象ペイントと同一種別のペイントであって、処理対象ペイントに一部でも重なるペイントを言う。
本実施例では、重なりペイントの抽出を、処理対象ペイントと同一種別のペイントに限定したが、ペイントの種別を問わず、重なり合うものを抽出するようにしてもよい。
重なりペイントが抽出されている場合には(ステップS413)、処理対象ペイントと重なりペイントの面積を比較する(ステップS414)。重なりペイントの方が大きい場合には(ステップS414)、CPUは、道路画像には重なりペイントを表示すべきと判断する。重なりペイントは優先パスに存在するから、透明化ポリゴンは不要と判断する。
CPUは、以上の処理を、全ての処理対象ペイントおよび全パスについて実行し(ステップS416)、ペイント用透明化ポリゴン設定処理を終了する。
図26(a)は、下側の路面テクスチャTX26に、優先パスのルート領域OR26を重ねた状態を示している。ルート領域OR26には、ペイントとして破線の車線境界線L261、L262が含まれている。下側の路面テクスチャTX26には、進行方向の規制を示す矢印A26が含まれている。
下側の路面テクスチャTX26からは、矢印A26が処理対象ペイントとして抽出される。これに重なり合うペイントは存在しないため、ルート領域OR26からは、重なりペイントは抽出されない。従って、重なりペイントが存在しないため(図25のステップ413)、透明化ポリゴンを設定すべきと判断される。この結果、CPUは矢印A26を包含する矩形状の透明化ポリゴンR26を設定する。
透明化ポリゴンは、この他、例えば、ペイントの輪郭を抽出し、抽出された形状を、数割、拡大することで、生成してもよい。
本実施例では、透明化ポリゴンは、存在領域を予め設定された拡大率で拡大することによって設定する。ただし、拡大した結果、透明化ポリゴンが、付近に存在する車線境界線L261、L262にかぶさってしまうと、車線境界線L261、L262が透過されてしまうことになる。そこで、拡大した透明化ポリゴンが付近に存在する他のペイントにかぶさる時には、図26(b)の透明化ポリゴンR262に示すように、CPUは、他のペイント(図の例では、車線境界線L261、L262)にかぶさらないように、パスに沿う方向または幅方向の拡大率を抑制する。図26(b)は、車線境界線L261にかぶらないよう、幅方向の拡大率を抑制した例を示している。
そこで、存在領域を拡大した結果、下側のルート領域UR26の境界線を超える可能性がある場合には、図26(c)の透明化ポリゴンR263に示すように、パスに沿う方向または幅方向の拡大率を抑制する。こうすることによって、ルート領域の重なり領域内で、透明化ポリゴンを設定することができる。
図27(a)には、下側のパスに沿った路面テクスチャTx272と、上側のパスに沿った路面テクスチャTx271を示した。下側には車線境界線L272が含まれており、上側には車線境界線L271が含まれている。これらは同種のペイントであり、重なり合っている。従って、ペイント用透明化ポリゴン設定処理(図25)では、下側の車線境界線L272が処理対象ペイント、上側の車線境界線L271が重なりペイントとして抽出される(図25のステップS411、S412)。
重なりペイントがある場合には、下側の面積が大きい時に透明化ポリゴンが設定される(図25のステップS415)。図27の例では、下側の車線境界線L272の方が面積が大きいため、ここに透明化ポリゴンを設定する。上側の車線境界線L271の面積が小さいのは、一部が欠けて認識されていることが原因と考えられるからである。このように透明化ポリゴンを設定することにより、道路画像では、車線境界線L272が表示されるため、より現実に近い形で正確なペイントを表示することが可能となる。
まず、上側のルート領域OR27に存在する他のペイント(図の例では、矢印A27)にかぶらないように、存在領域の拡大率を抑制する。図の例では、車線境界線L272よりも上側で幅方向の拡大率を抑制している。下方向には他のペイントが存在しないため、透明化ポリゴンTP27は、一例として、下側のルート領域UR27の境界まで拡大した状態を示したが、下方向の拡大率も、車線境界線L272を確実に表示できる範囲で設定すれば足りる。
パスに沿う方向(図の左右方向)は、上側のルート領域OR27と下側のルート領域UR27との重なり範囲からはみ出さないように拡大率を決めている。上側のルート領域OR27が、図示した範囲で切れているとすると、図示するように、透明化ポリゴンTP27の左側がルート領域OR27の境界からはみ出さないように拡大率が制限されることになる。
図28(a)には、下側のパスに沿った路面テクスチャTx282と、上側のパスに沿った路面テクスチャTx281を示した。下側には横断歩道CR282が含まれており、上側には横断歩道CR281が含まれている。これらは同種のペイントであり、重なり合っている。従って、ペイント用透明化ポリゴン設定処理(図25)では、下側の横断歩道CR282が処理対象ペイント、上側の横断歩道CR281が重なりペイントとして抽出される(図25のステップS411、S412)。
重なりペイントがある場合には、下側の面積が大きい時に透明化ポリゴンが設定される(図25のステップS415)。図28の例では、下側の横断歩道CR282の方が面積が大きいため、ここに透明化ポリゴンを設定する。
他の例と同様、透明化ポリゴンTP28は、下側のルート領域UR28からはみ出さない範囲で設定する。透明化ポリゴンTP28は、上側の横断歩道CR281を透過させることが目的のため、拡大率は、図示するように、横断歩道CR281を包含するように設定することが好ましい。
図29はギザギザカット処理のフローチャートである。自動透明化ポリゴン生成処理(図22)のステップS430に相当する処理である。
ギザギザカット処理とは、連結画像の両端ののこぎり刃状のギザギザ部分に透明化ポリゴンを設定する処理である。但し、本実施例では、上側、下側の連結画像の全てのギザギザ部分に透明化ポリゴンを設定するのではなく、両者が重なっている部分のみに設定するものとした。他の連結画像が存在しない部分(連結画像が重なり合っていない部分)に設定しても、画像の一部を削除するに過ぎず、連結画像に含まれるペイントを有効活用を図ることはできないからである。
側線とは、ルート領域の境界線のうち、パスに沿う方向の境界線を言う。図の例では、CPUは側線SL291、SL292を読み込むことになる。
図中には、上側の路面テクスチャTx291、下側の路面テクスチャTx292、および下側のルート領域UR29を示した。優先パスから抽出された2本の側線SL291、SL292のうち、下側のルート領域UR29に含まれるのは、側線SL292であるため、これが選択される。
図中に処理例を示した。図は上側の路面テクスチャTx291を示している。図の煩雑化を回避するため、下側の路面テクスチャは図示を省略した。CPUは、選択された側線SL292を、矢印A29で示すように外側に移動することによって、透明化ポリゴンTP29を生成することができる。
外側への移動量は、任意に設定可能である。例えば、側線292と上側の路面テクスチャTx291とが交差しなくなるまで平行移動させてもよい。この場合には、ギザギザ部分を確実に透過させるため、交差しなくなった後、所定幅だけ余分に移動させて、透明化ポリゴンTP29を設定することが好ましい。
また別の態様として、側線292を、他のペイントにかぶさるまで、または下側のルート領域の境界を超えるまで、移動させる方法をとってもよい。
図30は透明化ポリゴン結合処理の内容を示す説明図である。透明化ポリゴン結合処理とは、自動透明化ポリゴン生成処理(図22)のステップS450に相当する処理である。
図30(a)には、下側の路面テクスチャTx302、上側の路面テクスチャTx301、および透明化ポリゴンTP301〜TP303を示している。透明化ポリゴンは、このように複数設定されることがある。この例では、透明化ポリゴンTP301、TP302は一部で重なりあっている。
しかし、一部が重なっている場合には、これらの透明化ポリゴンを一つのポリゴンとして結合することにより、透明化ポリゴンの数を減らすことができ、データ容量を削減することができる。
図30(b)には、透明化ポリゴン結合処理を施した例を示している。図30(a)における透明化ポリゴンTP301、TP302が結合され、一つの透明化ポリゴンTP304となっている。ポリゴンの結合は、周知の種々の方法で行うことが可能であるため、説明を省略する。
図31は透明化ポリゴンの設定例を示す説明図である。
図31(a)は、下側のパスNP31、上側のパスBP31の連結画像を示した。図の例では、領域B31に示すように、上側のパスBP310の路面テクスチャ側端のギザギザ部分が表れており、道路画像の画質を損ねている。また、領域A31に示すように、破線の車線境界線が、上側のギザギザ部分で分断されている。
図31(c)は、透明化ポリゴンを設定した結果の表示例である。図31(a)との比較で分かる通り、上側のパスのギザギザ部分の表示が消え、路面画像の見栄えが向上している。また、分断されていた車線境界線では、ギザギザ部分が透過される結果、下側の連結画像の車線境界線のみが分断されることなく、明瞭に表示されることになる。
以上で説明した実施例の道路面撮影システム100および路面標示地図生成装置200によれば、道路を走行しながら取得したフレーム画像を正射変換して得られた路面テクスチャを配置することにより、走行軌跡(パス)に沿って位置精度のよい連結画像を得ることができる。更に、複数のパスに沿って得られた連結画像同士を、位置合わせして合成することにより、道路全体の路面画像を得ることができる。この際、画像を撮影した際の各パスの位置精度が最も高いものを基準パスとして、他のパスをこの基準パスに合わせる方法を採ることにより、全体の位置精度を確保しつつ路面画像を生成することができる。
本実施例では、各パスの連結画像は、路面テクスチャを配置するまでに留め、これらを一枚の画像として合成していない。従って、路面テクスチャ単位で配置を平行移動することによって、複数パスの連結画像を容易に合成可能である。
E1.優先パスの決定:
(1)優先パスの決定方法:
実施例では、優先パス、即ち連結画像を重ね合わせる際に、上側に配置されるパスの指定をオペレータが行う場合を例示した(図22のステップS406参照)。変形例では、優先パスを自動的に決定する例を示す。
この処理では、CPUは、処理対象パスの連結画像およびペイントの認識結果を入力する(ステップS321)。ペイントの認識結果は、図19で示した処理で得られた結果を利用できる。
次に、CPUは各パスについてゴミ画像を認識する(ステップS322)。ゴミ画像とは、連結画像内で、停止車両など、路面標示以外の異物が写り込んだ部分の画像を言う。ゴミ画像の認識方法については、後述する。
条件1:重なり領域のゴミ画像面積が大きい側のパスを下側に決定(ゴミ画像面積が小さいパスを優先パスとする);
条件2:重なり領域のペイントが少ないパスを下側に決定(ペイントが多いパスを優先パスとする);
条件3:全領域のゴミ画像面積が大きい側のパスを下側に決定(ゴミ画像面積が小さいパスを優先パスとする);
条件4:全領域のペイントが少ないパスを下側に決定(ペイントが多いパスを優先パスとする);
これらの条件は次の意図で決められている。まず、ゴミ画像については面積を評価値とし、ペイントについては数を評価値として量を評価する。そして、連結画像同士が重なる領域での評価(条件1、条件2)を、連結画像全体の評価(条件3、条件4)よりも優先している。透明化ポリゴンの生成、および道路画像の見栄えに与える影響は、重なり領域の方が大きいからである。また、重なり領域、および連結画像全体の評価内では、ゴミ画像の評価をペイントの評価よりも優先する。道路画像の見栄えに対する影響はゴミ画像の方が大きいからである。
これらの画像について、まず、上述の「条件1:重なり領域のゴミ画像面積が大きい側のパスを下側に決定(ゴミ画像面積が小さいパスを優先パスとする)」に従って、優先パスを決定する。重なり領域では、ゴミ画像G33Bが存在する分、パスP33Bの方が、ゴミ画像面積が大きいことになる。従って、右上に示すように、連結画像T33Aが優先パスと決定され、その下に連結画像T33Bを配置する状態となる。このように重ねた場合は、右上の図に示すように、ゴミ画像G33Bが連結画像T33Aに隠され、道路画像の見栄えがよくなる。
仮に、条件1、条件2で優先パスが決定できなかったとすると、「条件3:全領域のゴミ画像面積が大きい側のパスを下側に決定(ゴミ画像面積が小さいパスを優先パスとする)」に従って、優先パスを決定することになる。
連結画像全体での評価を行うのは、次の理由による。連結画像同士の重なり領域を外れる部分のゴミ画像は、実際には道路画像の見栄えには影響を与えない。しかし、実際にはゴミ画像は完全に認識できる訳ではない。従って、連結画像全体で認識されたゴミ画像の面積が大きい連結画像は、認識できていない分のゴミ画像も含めると、実質的には重なり領域のゴミ画像面積も大きくなる可能性が高い。条件3は、かかる観点から、連結画像全体のゴミ画像の量に基づいて、優先パスを決定している。
上述の通り優先パスの決定には、ゴミ画像の認識結果を用いる。また、ゴミ画像とペイントの認識結果の双方を優先パスの決定条件で用いるため、ペイントはゴミ画像の認識結果も踏まえて認識されることが好ましい。
そこで、以下では、まず、ゴミ画像を例示し、ゴミ画像の認識結果をペイントの認識に反映させる方法を示した後、具体的に2通りのゴミ画像の認識方法について説明する。
図34(a)にはフレーム画像を例示した。図中の中央当たりの枠A34内が、路面テクスチャの生成に利用される部分である(図7参照)。この例では、矢印P34cが描かれた車線を走行しているものとする。この枠内には、矢印P34cや車線境界線P34bなどのペイントが写されている他、右隣の車線を走行するトラックの後部P34aが異物として写り込んでいる。
図34(b)は、異物が写り込んだフレーム画像を用いて生成した連結画像を示している。図34(a)のように異物が写り込んだ部分は、連結画像では、図中の領域G34に示すように、ペイントとして認識不能な部分として表される。以下、フレーム画像内に写り込んだ異物や、連結画像に表された異物をゴミ画像と呼ぶ。
図35はゴミ画像の認識結果の反映方法を示すフローチャートである。ゴミ画像の認識結果は、ペイントの抽出に先立って行う前処理による反映方法と、ペイントの抽出後に行う後処理による反映方法とが可能である。
図中のフローチャートでは、左側に前処理、右側に後処理の場合の反映方法を示した。
これらの処理を実行するに当たり、別途、ゴミ認識処理(ステップS351)によって、フレーム画像または連結画像内のゴミ画像が認識されており、その結果がゴミ画像データに格納されているものとする。ゴミ認識処理(ステップS351)の内容は、後述する。
ここでは、ゴミ認識処理を独立して行う例を示しているが、前処理または後処理の過程に組み込んでも構わない。
CPUは、ゴミ画像が除去されたフレーム画像を用いて、実施例(図19参照)で説明した手順に従って、ペイントを抽出する。つまり、縦配置処理を行い(ステップS302)、横断関連ペイントを抽出し(ステップS310)、各種ペイントの抽出を行う(ステップS350)。そして、相対座標変換処理(図21参照)を行う(ステップS370)。
前処理の方法によれば、ゴミ画像が除去されたフレーム画像を用いてペイントを抽出するため、ゴミ画像による誤認識を抑制することができる。
次に、CPUはゴミ画像データを用いてゴミ画像の存在位置を読み込む(ステップS352)。ゴミ画像の存在位置とは、フレーム画像内で認識されたゴミ画像を、実施例と同様の方法で正射投影し(図7参照)、位置合わせ加工(図8参照)を施したものである。ゴミ画像はペイント抽出に使用される訳ではないので、縦配置処理は不要であり、縦配置の結果を絶対座標系の位置に変換するための相対座標変換処理は不要である。
CPUは、こうしてゴミ画像の存在領域が得られると、ペイントとゴミ画像の存在領域の位置関係を調べ、存在領域に重なるペイントを削除する(ステップS353)。かかるペイントは、ゴミ画像が誤認識されたものと判断されるからである。
図35では、前処理と後処理とを別個独立の処理として説明した。ゴミ認識結果の反映は、前処理または後処理のいずれか一方の方法で行うものとしてもよいし、前処理を行った上で、更に後処理を適用してもよい。
以下では、ステップS351のゴミ画像認識処理の内容について具体的に説明する。ゴミ画像の認識方法としては、オプティカルフローによる方法と、階調差分による方法とがある。
図36はゴミ画像認識処理(1)のフローチャートである。オプティカルフローを利用する処理例を示した。
CPUは、まず撮影位置約1m間隔で配置された2枚のフレームデータを読み込む(ステップS361)。走行しながら撮影されたフレーム画像は、1mよりも短い距離間隔で得られているが、処理負荷を軽減するため、約1m間隔でフレーム画像を間引き、その中の連続した2枚を読み込むものとした。約1mとしたのは、フレーム画像は厳密に1m間隔で撮影されている訳ではないからである。
CPUは、フレーム画像の読み込みと併せて、その位置座標に基づき、フレーム間の距離を算出する(ステップS362)。
検査領域は、フレーム画像を解析して得るものではなく、フレーム画像内に固定の領域でよい。カメラが車両に固定された状態で撮影が行われているため、フレーム画像FL36のうちテクスチャに使用可能な部分は固定されるし、ゴミ画像の認識が不要となる車両正面の領域A36Cも固定されるからである。車両正面の領域A36Cは、任意に設定可能であるが、例えば、自車が走行する車線幅に相当する領域となるよう設定することができる。
オプティカルフローの大きさは、生成に利用される2つのフレーム画像の間隔にも依存する。CPUは、フレーム画像の間隔に依存しない値に、オプティカルフローを正規化する。この例では、正規化として1m間隔のフレーム画像から得られる値相当に換算する方法を採った。正規化は、例えば、次の方法で行うことができる。
(Vx,Vy)=(OFx/DIST,OFy/DIST);
Vx,Vy…正規化移動ベクトルのx、y成分;
OFx,OFy…オプティカルフローのx、y成分;
DIST…2つのフレーム画像の間隔;
CPUは、検査領域内の各オプティカルフローを正規化して得られた正規化移動量ベクトルのそれぞれについて、次の3種類の評価値を求める(ステップS365)。
|V|…正規化移動量ベクトルの大きさ;
Vx…正規化移動量ベクトルのx成分;
Vy…正規化移動量ベクトルのy成分;
閾値範囲は評価値の絶対値の許容範囲として設定してもよい。この場合には、正規化移動量ベクトルの大きさ|V|が、予め設定された閾値|V|thを超える場合に異常と判断される。同様に、x成分、y成分についても、その絶対値|Vx|、|Vy|が、それぞれの閾値|Vx|th、|Vy|thを超える場合に異常と判断される。
ステップS366では、正規化移動量ベクトルの大きさ、x成分、y成分のいずれか一つでも異常と判断された点を抽出しているが、全ての点が異常となる点を抽出するなど、他の評価方法をとることもできる。CPUは、次に、異常と判断された点を包含する凸ポリゴンを生成し、これをゴミ画像として格納する(ステップS367)。
CPUは以上の処理を、全フレームデータについて繰り返し実行して(ステップS368)、ゴミ画像認識処理を終了する。
このオプティカルフローを正規化した上で、正規化移動量ベクトルの大きさ、x成分、y成分の分布を求めれば、その最大値、最小値に基づいて、ゴミ認識処理(図36)のステップS366で用いる閾値を設定することができる。
この結果、車両A38に該当する部分では、オプティカルフローV38の評価値(大きさ、x成分、y成分)は、予め設定された閾値を超え、異常と判断される。
異常と判断された点を包含する凸ポリゴンを生成することにより、ゴミ画像A38が認識される。車両C38の上側および左側がゴミ画像A38に含まれていないのは、これらの部分が検査領域外だからである。また、ゴミ画像A38内の曲線L38は、正規化移動量ベクトルの大きさ、x成分、y成分のうち、いずれの評価値で閾値を超えたかによる区分を表している。変形例では、いずれかの評価値が閾値を超えていれば全てゴミ画像と判断しているため、曲線L38は特に意味を持たない。
これらのオプティカルフローV39を正規化し、閾値範囲を超える異常な点を包含する凸ポリゴンを生成した結果が、ゴミ画像A39である。この例では、車両C39の全体をゴミ画像と認識することはできていないが、閾値範囲を調整することにより、全体をゴミ画像と認識することも可能である。
図40はゴミ画像認識処理(2)のフローチャートである。階調差分を利用する処理例を示した。
CPUは、まず連結画像において連続するテクスチャ画像の重なり領域を抽出する(ステップS501)。図中に処理例を示した。左側に示すように連結画像内で隣接するテクスチャT401、T402に着目する。両者は、ハッチングの部分で重複している。従って、CPUは、右側に示すように、テクスチャT401のうち、テクスチャT402と重なる領域A401を切り出す。また、同様に、テクスチャT402からは領域A401を切り出す。
平滑化を行う理由は次の通りである。このゴミ認識処理では、後述する通り、上述の重なり領域の画素ごとの階調差分に基づいてゴミ画像か否かを判断する。重なり領域では路面標示同士も重なるはずであり、ゴミ画像の部分にのみ階調差分が生じるはずだからである。しかし、実際には撮影時や処理過程で種々の誤差が含まれるため、重なり領域で路面標示の位置が完全に一致するとは限らない。かかる状態で、画素ごとに階調差分を算出すると、路面標示の部分もゴミ画像と誤認識されるおそれがある。そこで、ステップS502では、重なり領域の画像に平滑化フィルタを施し、重なり領域で路面標示の位置にずれが生じた場合でも、大きな階調差分が生じないようにした。
図中に処理例を示した。重なり画像A401の画素Pxaの色成分がH(色相)S(彩度)V(明度)系で(Ha、Sa、Va)と表されるとする。重なり画像A402内で、これに対応する画素Pxbの色成分が(Hb、Sb、Vb)と表されるとする。
そして、両者の階調差分が閾値を超える画素を抽出する。
色相については|Ha−Hb|>閾値THHとなる画素が抽出される。
彩度については|Sa−Sb|>閾値THSとなる画素が抽出される。
明度については|Va−Vb|>閾値THVとなる画素が抽出される。
ここでは、明度の差分が閾値を超える画素を抽出する方法をとった。路面標示は白または黄色が使われているため、路面標示とその他のゴミ画像とは、明度の階調差分が最も顕著に生じるからである。もっとも、色相、彩度についての階調差分が閾値を超える画素も併せて抽出してもよい。また、明度、彩度、色相の全てで閾値を超える画素のみを抽出する方法をとることもできる。
結合は、例えば、次の方法で行うことができる。まず、ゴミ画像として抽出された画素のうち、隣接する部分を結合する。次に、各画素について上下左右に所定画素ずつ太らせ処理を行う。この太らせの結果、結合された画素があれば、その部分も一つのポリゴンとして認識する。こうすることにより、CPUはゴミ画像領域を生成することができる。画素を結合して得られたポリゴンの凹部を埋め合わせて凸ポリゴン化してもよい。
最後に、CPUは閾値以下の微小面積の領域を削除する(ステップS505)。停車車両その他の異物は通常、大きなゴミ画像として認識されるからであり、また、微小面積のゴミ画像は残しておいたとしてもペイントの認識に大きな悪影響を与えないからである。もっとも、この処理は省略しても差し支えない。
図41(c)、図41(d)は、それぞれ図41(a)、図41(b)に平滑化フィルタを適用した結果である。原データに比較して、路面標示等の輪郭がぼけていることが分かる。図41(e)、図41(f)は、それぞれ図41(c)と図41(d)の間の階調差分を求めた結果である。明度の階調差分が閾値THVを超える範囲が実線で示したゴミ画像G414〜G417である。ゴミ画像G414,G416、およびG415,G417は、それぞれ同じものとなる。ここでは、図41(c)、図41(d)との対比が分かるよう、それぞれと重ね合わせて示したに過ぎない。
一方、ゴミ画像G415,G417は、異物の写り込みである。この例では、異物の写り込み全体をゴミ画像と認識できてはいないが、閾値の調整次第で全体を認識することが可能である。
図41(g)は、別のテクスチャについての認識結果である。上述の方法で階調差分を求めた結果、ゴミ画像G418が認識されている。ただし、これらのゴミ画像G418は、微小であるため、CPUはゴミ画像から除外する(図40のステップS505参照)。
また、上述の方法では、パスの上下関係を自動的に判断させるため、オペレータの主観が入り込まなくなり、オペレータによって道路画像の見栄えが異なるという不安定さを抑制することができる。
実施例では、ペイントが存在する箇所に透明化ポリゴンを生成する例を示した(図25参照)。
図42は実施例の方法による透明化ポリゴン設定例を示す説明図である。パスP42Aに対応する連結画像T42Aの上に、パスP42Bに対応する連結画像T42Bを重ね合わせた例を示している。領域A42では、透明化ポリゴンTP42を生成することによって、速度制限(50km/時)を示すペイントPT42が表れている。このように、ペイントの存在する部位に透明化ポリゴンを生成することによって、下側の連結画像に含まれるペイントを道路画像に活用することが可能となる。
しかし、この方法では、領域B42に示すように、道路画像に異物が写り込んだゴミ画像が残ることがある。このようなゴミ画像の存在は、道路画像の見栄えを損ねてしまう。
変形例では、この道路画像の見栄えを向上するため、領域B42に示すゴミ画像を透明化ポリゴンによって消去する方法を示す。このようにゴミ画像を消去するための透明化ポリゴンを、ゴミ画像消去ポリゴンと呼ぶものとする。
以下で示す処理は、自動透明化ポリゴン生成処理(図22)において、ペイント用透明化ポリゴン設定処理(ステップS410)、ギザギザカット処理(ステップS430)、および透明化ポリゴン結合処理(ステップS450)の後に行うことが好ましい。
CPUは、このゴミ画像データに基づいて、各ゴミ画像をポリゴン化する(ステップS602)。このポリゴンを、以下、ゴミポリゴンと呼ぶものとする。図中にゴミポリゴンGP431の例を示した。
グループ化は、次の手順で行うことができる。まず処理対象となるゴミポリゴンを抽出し、最も近くに位置するゴミポリゴンを抽出する。このゴミポリゴン間の距離が所定値以下であれば、両者に同一のグループIDを付す。いずれかのゴミポリゴンに既にグループIDが付されている場合には、このグループIDを共通して用いればよい。一方、所定値を超える場合には、対象のゴミポリゴン単独にグループIDを付す。以上の処理を、全てのゴミポリゴンにグループIDが付されるまで、繰り返し実行すればよい。
図中の例では、破線で示したゴミポリゴンGP431は、最も近いゴミポリゴンまでの距離が所定値以下となっている状態を示した。この結果、これらのゴミポリゴンには、順次、同一のグループIDが付されることになる。また、ゴミポリゴンGP432は、最も近いゴミポリゴンまでの距離d43が所定値を超えているため、単独でグループとされている。
こうしてグループ化が完了すると、CPUは同一のグループに存在するゴミポリゴンGP431を包含するゴミポリゴンGP433を生成する。
図44はゴミ画像消去ポリゴン生成処理のフローチャート(2)である。
CPUは、上述の処理で生成されたゴミポリゴンと、ルート領域との重なり部分を抽出する(ステップS605)。
こうすることにより、抽出されたゴミポリゴンを利用すれば、下側にルート領域が存在する部分にのみ透明化ポリゴンを生成することができるため、道路画像に穴が空いたかのような状態となることを回避できる。
図中に処理例を示した。連結画像Tx43に対して、図29で示したギザギザカット処理によって、透明化ポリゴンTP29が設定されているとする。また、この状態で、破線で示したゴミポリゴンGP435が得られているとする。ステップS606の処理では、ゴミポリゴンGP435を、透明化ポリゴンTP29に投影する。ゴミポリゴンGP435が、透明化ポリゴンTP29に沿う方向に最大幅となる点P431、P432を求め、ここから透明化ポリゴンTP29に垂線をおろせばよい。
CPUは、このようにしてゴミポリゴンGP435と透明化ポリゴンTP29とを結合するとともに、ゴミポリゴンGP435の凹部を形成している構成点P433等を間引くことによって滑らかな形に整形し、ゴミポリゴンGP436を得る。
この処理は、ゴミポリゴンGP435と透明化ポリゴンTP29の距離が所定値以下の場合にのみ適用するようにしてもよい。
また、変形例の方法では、近くにあるゴミポリゴンを包含するゴミポリゴンを生成するため、ゴミ画像の認識処理で認識できずに漏れたゴミ画像も、まとめて消去することが可能となる。更に、ゴミ画像に基づいて生成されたゴミポリゴンと、ギザギザカット処理によって生成された透明化ポリゴンとを結合するため、両者の間隙に存在するゴミ画像もまとめて消去することが可能である。
図43,44で示した処理では、ゴミ画像を認識し、そこに透明化ポリゴンを生成する方法を採った。これに対し、以下で示す態様では、上側の連結画像のうち、ペイント以外の不要な部分はゴミ画像か否かを判断するまでなく透明化ポリゴンで消去してしまう方法をとる。
図45はゴミ画像消去ポリゴン生成処理(2)の処理例を示す説明図である。
始点S45から終点E45に向かうパスPS45の連結画像の左半分を示した。ただし、図の煩雑化を回避するため、連結画像を構成するテクスチャTx45は一部のみを示し、他の部分は図示を省略した。図中で、ハッチングを付した部分は、車線境界線等のペイントを表している。また、点G45はゴミ画像を表している。
CPUはこの垂線L45[1]〜L45[18]の順に、透明化ポリゴンの構成点を次の方法で生成していく。まず、垂線L45[1]について連結画像の側端側から矢印A45に示すように、ペイントを探索する。垂線L45[1]のようにペイントが存在しない場合には、パスPS45から所定の距離OS451だけ離れた点に透明化ポリゴンの構成点P45[1]を生成する。垂線L45[2]についても同様に点P45[2]を生成する。
所定の距離OS451も任意に設定可能であり、この例では、道路の車線の半幅に基づき1.5mに設定した。パスPS45を含む車線は連結画像の撮影時に走行した車線であり、異物は存在しないと考えられるからである。
垂線L45[5]上には、ペイントは存在しない。しかし、直前の垂線L45[4]上にペイントが存在しておりパスPS45から比較的離れた位置に構成点P45[4]が設定されている。従って、垂線L45[1]等と同じようにパスPS45から距離OS451の位置に構成点を生成すると、透明化ポリゴンがいびつな形状となるおそれがある。そこで、直前の垂線L45[4]上にペイントが存在している場合には、その垂線L45[4]上の構成点P45[4]と同じだけパスPS45から離れた位置に構成点P45[5]と生成するものとした。
こうして得られた構成点P45[1]〜P45[18]を結ぶとともに、その両端をギザギザカット処理(図29)で得られる透明化ポリゴンの外側の線と結ぶことによって、透明化ポリゴンPOL45を得る。
この例では、透明化ポリゴンPOL45の境界線が、ペイントと交差のを回避するため、境界線はパスPS45に平行または垂直の線で構成した。斜めの境界線も許容しつつ、境界線とペイントが交差する場合には、ペイントを回避するよう境界線の形状を修正する方法を採っても良い。
CPUは、ペイント認識結果(図19参照)から上側のパスのペイントを読み込む(ステップS660)。そして、パスを等間隔に分割する垂線列を生成する(図S661)。図45で示した垂線L45を生成する処理である。
交点がない場合には(ステップS663)、隣接する垂線上にペイントとの交点があるか否かを判断する(ステップS665)。図45中の垂線L45[5]のように、隣接する垂線L45[4]上に交点がある場合には、隣接する垂線上の構成点と同じオフセットの点を構成点として格納する。図45中の垂線L45[1]のように、隣接する垂線上にペイントとの交点がない場合はパスから外側に距離OS451だけオフセットした点を構成点として格納する(ステップS667)。
図47は自動透明化ポリゴン生成処理(2)の適用例を示す説明図である。
図47(a)には透明化ポリゴンを生成する前の状態を示した。パスP471の連結画像の上に、パスP472の連結画像が配置されているとする。パスP472の連結画像にはペイントPT47が認識されている。この状態で、図45、図46で説明した方法で透明化ポリゴンを生成すると、ペイントPT47よりも道路側端側を覆う透明化ポリゴンPOL47が生成される。
以上で説明した処理では、連結画像内のゴミ画像を認識するまでなく非常に軽い負荷で透明化ポリゴンを生成し、ゴミ画像を消去することができる。
なお、この処理を適用する場合には、上側の連結画像については、ペイントを残して不要な部分を一括して消去するように透明化ポリゴンが設定されるから、ゴミ画像が多い連結画像を上側に配置し、透明化ポリゴンによって表される下側にゴミ画像が少ない連結画像を配置することが好ましい。従って、先に説明した優先パス決定処理(図32)の条件1、3を次の通り変更することが好ましい。
条件3:全領域のゴミ画像面積が小さい側のパスを下側に決定(ゴミ画像面積が大きいパスを優先パスとする);
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。
例えば、連結画像は、路面テクスチャを合成した一枚の画像として生成してもよい。この場合、複数パスの合成を行う際には、連結画像を路面テクスチャに相当する複数の領域に分割した上で、領域ごとに平行移動すればよい。
本実施例では、車両に搭載したビデオカメラで撮影した画像を利用する例を示したが、車両に限らず自転車その他の種々の移動体を利用可能であり、歩行しながら撮影する方法を採っても良い。
透明化ポリゴンを設定する場合も、実施例と同様の方法を適用可能である。ただし、画像を取得した時期を基準に優先パスを決定することが好ましい。新しく取得された側を優先パスとするのである。路面のペイントの変化を道路画像に反映させるという目的を考慮すると、新しく撮影された画像を優先する方が好ましいからである。こうすることによって、従前は存在しなかったペイントが新たに施された場合には、透明化ポリゴンを設定するまでなく、道路画像に反映させることができる。
110…位置計測部
110…計測データ
112…コントローラ
114…GPS
114A…アンテナ
116…IMU
118…DMI
120…ビデオカメラ
130…記録装置
140…ハードディスク
142…画像データ
144…同期データ
146…計測データ
150…基準局データ
200…路面標示地図生成装置
201…主制御部
202…コマンド入力部
203…表示制御部
204…データ入力部
205…軌跡データ算出部
206…画像変換部
207…1パス画像合成部
210a…軌跡データ
210b…路面軌跡データ
210c…路面テクスチャ
210d…連結画像
210e…道路画像
210f…道路画像用登録データ
210g…軌跡用登録データ
210c…データ(路面テクスチャ
210…処理データ記憶部
220…位置合わせ処理部
221…透明化ポリゴン設定部
Claims (18)
- 道路面に施された標示が含まれる路面標示地図をコンピュータによって生成する路面標示地図生成方法であって、
コンピュータが実行する工程として、
(a) 撮影対象である道路を複数回にわたって移動しながら前記標示が施された道路面を撮影した連続画像の画像データ、および該画像データの撮影位置を表す位置座標データを入力する工程と、
(b) 前記入力された画像データを構成する各フレーム画像を変換して、前記道路面を真上から見た状態の正射画像を得る工程と、
(c) 前記正射画像を前記位置座標データに基づいて、撮影された道路を移動した際の移動軌跡であるパス上に配置することにより、前記パスの道路面を表す連結画像を生成する工程と、
(d) 前記位置座標データに基づき、前記複数のパスを構成する連結画像を重ねて、前記複数のパスにまたがる前記道路面の合成画像を生成する工程と、
(f) 前記連結画像同士が重なっている領域において上側の連結画像を透過させて下側の連結画像を表示させるための透明化ポリゴンを、前記連結画像に応じて定まる位置および形状で生成する工程と
を備える路面標示地図生成方法。 - 請求項1記載の路面標示地図生成方法であって、
前記工程(f)では、前記下側の連結画像が存在する範囲内で前記透明化ポリゴンを生成する路面標示地図生成方法。 - 請求項1または2記載の路面標示地図生成方法であって、
前記工程(f)では、前記連結画像に含まれる標示に基づいて前記透明化ポリゴンの位置および形状を生成する路面標示地図生成方法。 - 請求項3記載の路面標示地図生成方法であって、
前記工程(f)では、下側の連結画像に含まれる標示が、上側の連結画像に含まれる標示よりも正確さを表す評価値が高いと判断される部分に前記透明化ポリゴンを生成する路面標示地図生成方法。 - 請求項3記載の路面標示地図生成方法であって、
前記工程(f)では、下側の連結画像にのみ前記標示が含まれている部分に前記透明化ポリゴンを生成する路面標示地図生成方法。 - 請求項3〜5いずれか記載の路面標示地図生成方法であって、更に、
(e) 前記各連結画像に対し、画像処理によって、前記標示を認識する工程を備え、
前記工程(f)では、前記認識の結果に基づき、前記透明化ポリゴンを生成する路面標示地図生成方法。 - 請求項1〜5いずれか記載の路面標示地図生成方法であって、
前記工程(f)では、前記上側の連結画像の側端の所定範囲を覆うように前記透明化ポリゴンを生成する路面標示地図生成方法。 - 請求項1〜7いずれか記載の路面標示地図生成方法であって、
前記工程(d)は、
(d1) 複数のパスのうち2本以上のパスの連結画像に共通して撮影されている領域内で、対応する対応点を特定する工程と、
(d2) 前記複数のパスのうち1本を基準パスとして設定する工程と、
(d3) 前記対応する対応点の位置が一致するように設定された移動ベクトルに基づいて、前記基準パス以外のパスを構成する領域ごとに平行移動して、前記複数のパスにまたがる前記道路面の合成画像を生成する工程と
を備える路面標示地図生成方法。 - 請求項1〜8いずれか記載の路面標示地図生成方法であって、更に、
(g) 前記工程(f)において生成された複数の透明化ポリゴンのうち、相互に重なり合うものを結合する工程
を備える路面標示地図生成方法。 - 請求項1〜9いずれか記載の路面標示地図生成方法であって、
前記工程(d)は、
(d4) 前記道路面の合成画像の生成に先立って、前記連結画像またはフレーム画像を用いた画像処理によって、前記連結画像内の標示の量、および標示以外の異物の量の少なくとも一方を検出する工程と、
(d5) 該検出結果に基づいて、いずれのパス上の正射画像を上側に配置するかを決定する工程と
を備える路面標示地図生成方法。 - 請求項10記載の路面標示地図生成方法であって、
前記工程(d4)では、前記標示の量および前記異物の量の双方を検出し、
前記工程(d5)では、前記異物の量に基づいて前記正射画像の配置が決定できない場合に前記標示の量に基づいて前記正射画像の配置を決定する路面標示地図生成方法。 - 請求項10または11記載の路面標示地図生成方法であって、
前記工程(d4)では、前記標示および異物の少なくとも一方について、前記連結画像全体における量と、前記連結画像同士が重なっている領域における量とを求め、
前記工程(d5)では、前記連結画像全体における量よりも、前記連結画像同士が重なっている領域における量を優先的に評価することにより、前記正射画像の配置を決定する路面標示地図生成方法。 - 請求項10〜12いずれか記載の路面標示地図生成方法であって、
前記工程(f)は、
前記上側の連結画像内において前記異物が写り込んだ部分を抽出する工程と、
前記異物の少なくとも一部に対応する領域を覆う透明化ポリゴンを生成する工程と
を備える路面標示地図生成方法。 - 請求項13記載の路面標示地図生成方法であって、
前記工程(f)は、
(f1) 前記上側の連結画像の側端の所定範囲を覆うように前記透明化ポリゴンを生成する工程と、
(f2) 前記異物の少なくとも一部を覆う透明化ポリゴンと、前記工程(f1)で生成された透明化ポリゴンとの間隙を埋めるように一体化する工程と
を備える路面標示地図生成方法。 - 請求項1〜12いずれか記載の路面標示地図生成方法であって、
前記工程(f)は、
(f3) 前記上側の連結画像に含まれる標示を抽出する工程と、
(f4) 抽出された前記上側の標示について、他の標示にかぶらない範囲で、該標示よりも前記連結画像の側端側を覆う透明化ポリゴンを生成する工程と
を備える路面標示地図生成方法。 - 請求項15記載の路面標示地図生成方法であって、
前記工程(f)は、更に、
(f5) 前記パスに対して投影可能な前記標示が存在しない部分では、該パスに交差する方向に該パスから所定の距離内にある部分を除く範囲で前記連結画像を覆う透明化ポリゴンを生成する工程
を備える路面標示地図生成方法。 - 道路面に施された標示が含まれる路面標示地図を生成する路面標示地図生成装置であって、
撮影対象である道路を複数回にわたって移動しながら前記標示が施された道路面を撮影した連続画像の画像データ、および該画像データの撮影位置を表す位置座標データを入力する入力部と、
前記入力された画像データを構成する各フレーム画像を変換して、前記道路面を真上から見た状態の正射画像を得る画像変換部と、
前記正射画像を前記位置座標データに基づいて、撮影された道路を移動した際の移動軌跡であるパス上に配置することにより、前記パスの道路面を表す連結画像を生成する連結画像生成部と、
前記位置座標データに基づき、複数のパスを構成する連結画像を重ねて、前記複数のパスにまたがる前記道路面の合成画像を生成する合成画像生成部と、
前記連結画像同士が重なっている領域において上側の連結画像を透過させて下側の連結画像を表示させるための透明化ポリゴンを、前記連結画像に応じて定まる位置および形状で生成する透明化ポリゴン生成部と
を備える路面標示地図生成装置。 - 道路面に施された標示が含まれる路面標示地図を生成するためのコンピュータプログラムであって、
撮影対象である道路を複数回にわたって移動しながら前記標示が施された道路面を撮影した連続画像の画像データ、および該画像データの撮影位置を表す位置座標データを入力する入力サブプログラムと、
前記入力された画像データを構成する各フレーム画像を変換して、前記道路面を真上から見た状態の正射画像を得る画像変換サブプログラムと、
前記正射画像を前記位置座標データに基づいて、撮影された道路を移動した際の移動軌跡であるパス上に配置することにより、前記パスの道路面を表す連結画像を生成する連結画像生成サブプログラムと、
前記位置座標データに基づき、複数のパスを構成する連結画像を重ねて、前記複数のパスにまたがる前記道路面の合成画像を生成する合成画像生成サブプログラムと、
前記連結画像同士が重なっている領域において上側の連結画像を透過させて下側の連結画像を表示させるための透明化ポリゴンを、前記連結画像に応じて定まる位置および形状で生成する透明化ポリゴン生成サブプログラムと
を備えるコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009017528A JP5281424B2 (ja) | 2008-03-18 | 2009-01-29 | 路面標示地図生成方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008070216 | 2008-03-18 | ||
JP2008070216 | 2008-03-18 | ||
JP2009017528A JP5281424B2 (ja) | 2008-03-18 | 2009-01-29 | 路面標示地図生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009258651A true JP2009258651A (ja) | 2009-11-05 |
JP5281424B2 JP5281424B2 (ja) | 2013-09-04 |
Family
ID=41386094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009017528A Expired - Fee Related JP5281424B2 (ja) | 2008-03-18 | 2009-01-29 | 路面標示地図生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5281424B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130190981A1 (en) * | 2012-01-17 | 2013-07-25 | LimnTech LLC | Roadway mark data acquisition and analysis apparatus, systems, and methods |
US9298991B2 (en) | 2012-01-17 | 2016-03-29 | LimnTech LLC | GPS-based machine vision roadway mark locator, inspection apparatus, and marker |
US9784843B2 (en) | 2012-01-17 | 2017-10-10 | Limn Tech LLC | Enhanced roadway mark locator, inspection apparatus, and marker |
CN110809779A (zh) * | 2017-06-28 | 2020-02-18 | 富士胶片株式会社 | 图像合成方法、图像合成装置及记录介质 |
KR20210043571A (ko) * | 2018-08-16 | 2021-04-21 | 소니 주식회사 | 정보 처리 장치와 정보 처리 방법과 프로그램 |
CN113989450A (zh) * | 2021-10-27 | 2022-01-28 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和介质 |
US11261571B2 (en) | 2012-01-17 | 2022-03-01 | LimnTech LLC | Roadway maintenance striping control system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000066659A (ja) * | 1998-08-21 | 2000-03-03 | Denso Corp | 画面合成装置及び方法、ナビゲーションシステム |
WO2004008744A1 (ja) * | 2002-07-12 | 2004-01-22 | Iwane Laboratories, Ltd. | 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 |
WO2005038402A1 (ja) * | 2003-10-21 | 2005-04-28 | Waro Iwane | ナビゲーション装置 |
JP3820428B2 (ja) * | 2003-02-25 | 2006-09-13 | 名古屋市 | 道路画像の合成方法と合成装置 |
JP2007249103A (ja) * | 2006-03-20 | 2007-09-27 | Zenrin Co Ltd | 道路画像作成システム及び道路画像作成方法,及び道路画像合成装置 |
WO2008130219A1 (en) * | 2007-04-19 | 2008-10-30 | Tele Atlas B.V. | Method of and apparatus for producing road information |
WO2009064172A1 (en) * | 2007-11-16 | 2009-05-22 | Tele Atlas B.V. | Method of and apparatus for producing lane information |
-
2009
- 2009-01-29 JP JP2009017528A patent/JP5281424B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000066659A (ja) * | 1998-08-21 | 2000-03-03 | Denso Corp | 画面合成装置及び方法、ナビゲーションシステム |
WO2004008744A1 (ja) * | 2002-07-12 | 2004-01-22 | Iwane Laboratories, Ltd. | 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 |
JP3820428B2 (ja) * | 2003-02-25 | 2006-09-13 | 名古屋市 | 道路画像の合成方法と合成装置 |
WO2005038402A1 (ja) * | 2003-10-21 | 2005-04-28 | Waro Iwane | ナビゲーション装置 |
JP2007249103A (ja) * | 2006-03-20 | 2007-09-27 | Zenrin Co Ltd | 道路画像作成システム及び道路画像作成方法,及び道路画像合成装置 |
WO2008130219A1 (en) * | 2007-04-19 | 2008-10-30 | Tele Atlas B.V. | Method of and apparatus for producing road information |
WO2009064172A1 (en) * | 2007-11-16 | 2009-05-22 | Tele Atlas B.V. | Method of and apparatus for producing lane information |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130190981A1 (en) * | 2012-01-17 | 2013-07-25 | LimnTech LLC | Roadway mark data acquisition and analysis apparatus, systems, and methods |
US8935057B2 (en) * | 2012-01-17 | 2015-01-13 | LimnTech LLC | Roadway mark data acquisition and analysis apparatus, systems, and methods |
US9298991B2 (en) | 2012-01-17 | 2016-03-29 | LimnTech LLC | GPS-based machine vision roadway mark locator, inspection apparatus, and marker |
US9784843B2 (en) | 2012-01-17 | 2017-10-10 | Limn Tech LLC | Enhanced roadway mark locator, inspection apparatus, and marker |
US11261571B2 (en) | 2012-01-17 | 2022-03-01 | LimnTech LLC | Roadway maintenance striping control system |
CN110809779A (zh) * | 2017-06-28 | 2020-02-18 | 富士胶片株式会社 | 图像合成方法、图像合成装置及记录介质 |
US11423511B2 (en) | 2017-06-28 | 2022-08-23 | Fujifilm Corporation | Image composition method, image composition device, and recording medium |
CN110809779B (zh) * | 2017-06-28 | 2023-07-28 | 富士胶片株式会社 | 图像合成方法、图像合成装置及记录介质 |
KR20210043571A (ko) * | 2018-08-16 | 2021-04-21 | 소니 주식회사 | 정보 처리 장치와 정보 처리 방법과 프로그램 |
KR102645368B1 (ko) * | 2018-08-16 | 2024-03-11 | 소니그룹주식회사 | 정보 처리 장치와 정보 처리 방법과 프로그램 |
CN113989450A (zh) * | 2021-10-27 | 2022-01-28 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和介质 |
CN113989450B (zh) * | 2021-10-27 | 2023-09-26 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5281424B2 (ja) | 2013-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5324240B2 (ja) | 路面標示地図生成方法及び路面標示地図生成装置 | |
JP2009237901A (ja) | 路面標示地図生成方法 | |
JP5363752B2 (ja) | 路面標示地図生成方法 | |
JP2009259215A (ja) | 路面標示地図生成方法 | |
JP5281424B2 (ja) | 路面標示地図生成方法 | |
US11333506B2 (en) | Computer-vision based positioning for augmented reality navigation | |
JP2009223817A (ja) | 路面標示地図生成方法 | |
JP5582691B2 (ja) | 計測装置、計測方法および計測プログラム | |
US20170234692A1 (en) | Birds eye view virtual imaging for real time composited wide field of view | |
US8195386B2 (en) | Movable-body navigation information display method and movable-body navigation information display unit | |
CN111373223B (zh) | 用于显示增强现实导航信息的方法、装置和系统 | |
JP2006250917A (ja) | 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 | |
JP2012018170A (ja) | 俯瞰画像生成装置、地図データ生成システム、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム | |
CA2705375A1 (en) | Method of and apparatus for producing lane information | |
JP2011052960A (ja) | ナビゲーション装置 | |
CN102037327B (zh) | 用于产生交叉点视图图像的方法及计算机实施的系统 | |
JP2012073397A (ja) | 3次元地図表示システム | |
JP7010535B2 (ja) | 情報処理装置 | |
JP2005339127A (ja) | 画像情報表示装置及び画像情報表示方法 | |
JP5544595B2 (ja) | 地図画像処理装置、地図画像処理方法、および、コンピュータプログラム | |
JP5285311B2 (ja) | 路面標示地図生成方法 | |
JP5339753B2 (ja) | 路面標示地図生成方法 | |
JP2007271568A (ja) | 自車位置認識装置及び自車位置認識方法 | |
KR102316818B1 (ko) | 도로 네트워크를 갱신하는 방법 및 장치 | |
JP2012099010A (ja) | 画像処理装置及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130524 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |