JP2010530997A - 道路情報を生成する方法及び装置 - Google Patents

Abstract

本発明は、地図データベースにおいて使用するための道路情報を生成する方法に関する。方法は、移動車両に搭載される地上カメラを使用して取得される画像シーケンスから元画像を取得することと、移動車両の前方又は後方の路面を表す元画像の事前定義済み領域と関連付けられる画素から道路色サンプルを判定することと、道路色サンプルに依存して元画像から路面画像を生成することと、路面画像、並びに元画像と関連付けられる位置及び姿勢データに依存して道路情報を生成することとを有することを特徴とする。

Description

本発明は、道路情報を生成する方法に関する。更に本発明は、道路情報を生成する装置、コンピュータプログラム製品及び前記コンピュータプログラム製品を保持するプロセッサ可読媒体に関する。

ナビゲーションシステム等において使用されるデジタル地図データベースに対して車線分離標、道路のセンターライン、道路幅等の大量の水平道路情報を収集する必要がある。道路情報の地理的位置は、絶対又は相対位置情報として格納される。例えば、センターラインは絶対地理的位置情報と共に格納され、道路幅はセンターラインの絶対地理的位置に対して相対的な相対位置情報と共に格納される。道路情報は、高解像度空中オルソ補正画像を解釈することにより取得される。そのような高解像度オルソ補正画像は、２５ｃｍ未満の画素サイズを有するべきである。そのような画像を取得するには非常にコストがかかり、全ての道路水平情報が取り込まれることが保証されない。

オルソ補正画像は、空中画像から非常に効率的に取得可能である。しかし、誤差が導入される場合が多く、その結果、地理的位置データの不正確なマッピングをもたらす。主な問題は、一般に空中画像が地上に対して完全に垂直に撮影されないことである。写真が地上近くで撮影される場合でも、完全に垂直なのは写真の中央のみである。そのような画像をオルソ補正するために、地上高情報が更に取得される必要がある。オルソ補正画像を判定するために使用される三角測量処理と組み合わせて、空中画像において物体の正確な高さ情報が無いため、最大１２ｍのそのような画像の誤差がもたらされる。精度は、重なり合う画像を利用し且つ同一の空中カメラの連続画像から得られる同一の表面を比較することにより向上される。しかし、依然として取得精度対余分なコストに対する限度がある。

更に、空中オルソ補正画像から「水平」道路情報を取得するために、画像は解析される必要がある。画像において、路面が検出される必要がある。オルソ補正画像の位置の誤差のために、地図データベース中の道路の地理的位置は、路面の位置がオルソ補正画像において特定される場所を正確に判定するために使用できない。更に、空中オルソ補正画像の解像度及び影により非常に変動する路面の照度のために、路面はセグメント化アルゴリズムに基づく色で殆ど検出されない。

近年、ナビゲーションシステム等において使用されるデジタル地図データベースに対する制限速度、方向標識等の「垂直」道路情報は、地上の移動収集デバイスにより収集される水平写真画像及び他のデータを解析及び解釈することにより取得可能である。用語「垂直」は、道路情報の情報平面が重力ベクトルにほぼ平行であることを示す。自動車又はバン等の地上車両であるモバイルマッピング車両は、デジタル地図データベースを改善するためのモバイルデータを収集するために使用される。改善例は、交通標識、進路標識、交通信号、道路名を示す道路標識等の場所である。

モバイルマッピング車両は多くのカメラを有し、その一部は立体カメラである。バンが高精度ＧＰＳ及び他の位置判定機器を搭載するため、それらの全てのカメラの地理的位置は正確に決められる。道路網を走行中、画像シーケンスが取り込まれている。それらの画像シーケンスは、映像又は静止写真画像であってもよい。

モバイルマッピング車両は、建物又は路面等の物体の画像シーケンスの２つ以上の画像を記録し、画像シーケンスの画像毎に、地理的位置が画像シーケンスの姿勢データと共に正確に判定される。対応する地理的位置情報を有する画像シーケンスをジオコーディングされた画像シーケンスと呼ぶ。カメラにより取得された画像シーケンスが「水平」道路情報の視覚的な斜視図を表すため、画像処理アルゴリズムは、画像シーケンスから道路情報を抽出する解決策を提供してもよい。

本発明は、地図データベースにおいて使用するための道路情報を生成する改善された方法を提供しようとする。

本発明によると、方法は、
移動車両に搭載される地上カメラを使用して取得される画像シーケンスから１つ以上の元画像を取得することと、
移動車両の軌跡を含む移動車両の前方又は後方の路面を表す１つ以上の元画像内の事前定義済み領域と関連付けられる画素から道路色サンプルを判定することと、
道路色サンプルに依存して１つ以上の元画像から路面画像を生成することと、
路面画像、並びに元画像と関連付けられる位置及び姿勢データに依存して道路情報を生成することとを含むことを特徴とする。

本発明は、地上を走行するモバイルマッピング車両が地上カメラにより地上収集地理的位置画像シーケンスを記録することを認識することに基づく。前記画像シーケンスの一部は、車両の前方又は後方の道路を含む。更に、一般に車両の走行方向は、車両の前方又は後方の道路の方向とほぼ同一である。また、車両及び路面に対するカメラの位置及び姿勢は周知である。車両の位置及び姿勢は、１つ以上のジャイロスコープ及び／又は加速度計等の慣性測定デバイス、並びにＧＰＳ受信機を使用して判定される。

地上カメラと記録された地上との間の距離が制限され且つカメラの地理的位置が車載位置決めシステム（例えば、ＧＰＳ受信機）、並びに他の追加の位置及び姿勢判定機器（例えば、慣性ナビゲーションシステム−ＩＮＳ）を使用して正確に認識される場合、画素が地上の表現であると仮定して、各画素の絶対地理的位置は正確に判定される。更に、車両に対するカメラの姿勢データにより、ある確実性で路面を表す画像の領域又は画素のグループを画像毎に判定できる。これにより、路面の色スペクトルサンプルを自動的に正確に取得できる。色スペクトルサンプルは、仮定された路面に対応する画素の全ての色値を含む。色スペクトルは、路面に対応してもよい画素を画像において検出するために使用される。このように取得された路面画像は道路の境界を検出するために使用され、これにより、センターラインの絶対位置又は相対位置及び道路幅等の道路情報を導出できる。道路色サンプルを取得するための事前定義済み領域は、車両が走行している車線の車線標示の間の路面に対応するのが好ましい。このように、一般に道路色サンプルは舗装材又は路面の背景色の色スペクトルに対応する。ここで、道路背景色に対応する画素のみが路面として選択され、車線標示に対応する画素は除外される。このように、道路エッジ及び道路のセンターライン、並びに車線分離標、車線幅、車線標示、車線塗装等の車線情報は、路面画像から検出され且つ位置が特定される。

本発明の一実施形態において、道路情報を生成することは、
路面画像において道路エッジ画素を判定することと、
道路エッジを表す曲線を取得するために道路エッジ画素に対して曲線フィッティングを実行することと、
路面画像内の曲線の位置、並びに対応する位置及び姿勢データに依存して道路情報を計算することとを含む。

本発明の更なる実施形態において、路面画像は、移動車両の軌跡を含む移動車両の前方又は後方の事前定義済み領域を表す１つ以上の元画像の領域から選択された。カメラにより取得される「垂直」画像の各画素は、水平面において対応する解像度を有する。解像度は、車両と路面との間の距離に伴って低下する。これらの特徴により、車両の前方又は後方の所定の距離より遠くにある地上を表す画素を考慮せずに、保証された精度で位置情報を導出できる。

本発明の更なる実施形態において、元画像を取得することは、
１つ以上の元画像を取得するために１つ以上の画像と関連付けられる位置データ及び姿勢データに依存して画像シーケンスから前記１つ以上の画像を処理することを含み、各元画像はオルソ補正画像に対応する。この特徴は、路面の斜視図が路面の上面図の画像に変換されるという利点を有する。オルソ補正画像において、道路の境界及びセンターラインは互いに対して平行である。更に、オルソ補正画像の各画素は地表の類似したサイズを表す。これらの特性により、オルソ補正画像から道路情報を効率的に正確に導出できる。２つ以上の画像を使用することにより、道路区分に対してオルソ補正画像、すなわちオルソ補正モザイクを生成でき且つ前記オルソ補正画像から前記道路区分に対する道路情報を導出できる。

本発明の一実施形態において、道路情報を生成することは、
路面画像において道路エッジ画素を判定することと、
道路エッジを表す線を取得するために線フィッティングアルゴリズムを実行することと、
線、並びに位置及び姿勢データに依存して道路情報を計算することとを含む。それらの特徴により、プログラムは道路エッジ及び地図データベースにおいて使用するための対応する道路情報を効率的に判定できる。

本発明の一実施形態において、道路情報を生成することは、
路面画像において道路エッジ画素を判定することと、
事前定義済みの幅及び路面画像と関連付けられる移動車両の走行方向に平行な方向を有するストリップに属する道路エッジ画素の数に関連する最大値を含む路面画像におけるストリップの位置を判定すること、
道路エッジを表す線を取得するためにストリップに属する道路エッジ画素に線フィッティングアルゴリズムを実行することと、
線、並びに位置及び姿勢データに依存して道路情報を計算することとを含む。本実施形態において、画像において路肩の走行方向に平行な最も可能性の高い位置が最初に判定され、その後、道路情報を導出するために前記位置に近接する道路エッジ画素のみが考慮される。路面画素の色は、１つの色を有するのではなく、種々の色の集合を有する。従って、路面画像において、路面の境界は直線ではなく、非常に雑音があるか又は波形曲線である。ストリップは、斜視図を表す元画像の四辺形に対応し、オルソ補正図を表す元画像の矩形である。本実施形態の特徴により、画像における外乱が道路情報と関連する位置情報の精度を減少させるという可能性が低減される。元画像がオルソ補正画像であり、画素の列が走行方向に平行な線に対応する場合、本実施形態の特徴は、非常に効率的に実現され、
路面画像において道路エッジ画素を判定し、
エッジ画素ヒストグラムを取得するために道路エッジ画素の数を列毎にカウントし、
道路エッジを表す列の位置を取得するためにエッジ画素ヒストグラムをフィルタリングし、
列の位置、並びに位置及び姿勢データの位置に依存して道路情報を計算することにより処理される。

これらの特徴により、路面の境界の位置を非常に容易に且つ効率的に判定できる。列が走行方向に対応するオルソ補正画像は、関連する姿勢及び位置データを使用して取得される。このように、ストリップは、走行方向に平行に方向付けられ、１つ以上の隣接する列に対応する。このように、ストリップのエッジ画素の数は、最初にエッジ画素の数を列毎にカウントし、その後１つ以上の隣接する列のエッジ画素の数を列の位置毎にカウントすることにより容易にカウントされる。

有利な一実施形態において、フィルタリングは、
１つ以上の隣接する列におけるカウントされた道路エッジ画素の数に関連する最大値を有するヒストグラムにおける列の位置を判定することを含む。更なる実施形態において、計算することは、
路面画像の左側部分において最大値を有するヒストグラムにおける列の判定した位置に隣接する１つ以上の列のエッジ画素の列の位置の平均値を算出することにより路面の左側の境界の位置を判定することと、
路面画像の右側部分において最大値を有するヒストグラムにおける列の判定した位置に隣接する１つ以上の列のエッジ画素の列の位置の平均値を算出することにより路面の右側の境界の位置を判定することと、
左側及び右側の位置に依存して道路情報を計算することとを含む。これらの特徴は、道路情報を生成する単純で高速なアルゴリズムを提供する。本発明の更なる実施形態において、道路情報は、道路の中央の位置を表すパラメータの集合を含む。ここで、計算することは、路面の左側及び右側の境界の位置の平均位置を計算することによりパラメータの集合を判定することを含む。本発明の別の更なる実施形態において、道路情報は道路幅パラメータを含む。ここで、計算することは、路面の左側及び右側の境界の位置の間の距離を計算することにより道路幅パラメータの値を導出することを含む。このように、道路の中央及び幅に対応する道路情報は容易に取得される。

本発明の一実施形態において、道路情報は、画像シーケンスの第１の画像及び第２の画像を処理することにより生成された。ここで、ある時間の第１の画像は第２の画像に後続する。この特徴により、移動物体に対応する画素を検出できる。

本発明の更なる実施形態において、方法は、
路面の同様の地域を表す２つの連続元画像内の共通の領域を判定することと、
共通の領域の画素に対して、静止画素として分類される必要があるか又は移動物体の画素として分類される必要があるかを判定することとを更に含む。これらの特徴により、移動車両の前方又は後方の地上を表す共通平面に投影される場合、同様の地理的位置を有する連続画像の画素に対して、画素が双方の画像において同一の物体を視覚化するか又は異なる物体を視覚化するかを判定できる。

更なる実施形態において、道路色サンプルは事前定義済み領域の静止画素から判定され、移動物体の画素は除外される。この特徴により、路面の色スペクトルのより適切な推定値を取得できる。

本発明の更なる実施形態において、道路色サンプルは、共通の領域の事前定義済み領域から判定される。この特徴により、本発明を実施する技術者は、道路色サンプルを判定するのに使用される画素を一般に高い確実性で路面の表現である画素に制限できる。

本発明の更なる実施形態において、路面画像は共通の領域から生成される。それらの特徴により、画素が路面を表すか否かを２つのオルソ補正画像においてチェックできる。

本発明の有利な一実施形態において、路面画像を生成することは、
共通の領域において移動物体の画素を検出することと、
路面から除外される前記画素をマークすることとを含む。

自動車の前方又は後方の路面を移動する物体は、前記特徴を使用して路面から除外される。第１の画像及び第２の画像の共通の領域は、異なる時間に記録される。路面全体にわたり移動する物体は、第１の画像及び第２の画像において異なる位置を有する。動きは周知の画像処理アルゴリズムにより検出され、その後、第１の画像及び第２の画像における移動物体の位置が判定される。これにより、オルソ補正画像の画素が路面画素に対応するものとすることを示す画像を取得できる。

本発明の別の実施形態において、道路情報を生成することは、
車線標示及び他の描かれた道路標示を記述する道路情報を検出、識別及び抽出するために路面画素を表現する指示を有さない路面画像の画素を処理することを含む。道路色サンプルが路面の背景色のみを表す画素から取得される場合、道路塗装に対応する画素は路面画素として割り当てられない。道路塗装は、路面画像において孔として考えられる。車線分離標、停止線、実線車線、点線車線及び他の標準化された道路標示等の道路情報は、孔、並びにそれらの対応する位置及び姿勢を解析することにより識別される。

本発明は、ソフトウェア、ハードウェア、あるいはソフトウェア及びハードウェアの組合せを使用して実現される。本発明の全て又は一部分がソフトウェアで実現される場合、そのソフトウェアはプロセッサ可読記憶媒体に常駐してもよい。適切なプロセッサ可読記憶媒体の例は、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ ＲＯＭ、ＤＶＤ、メモリＩＣ等を含む。システムがハードウェアを含む場合、ハードウェアは、出力装置（例えば、モニタ、スピーカ又はプリンタ）、入力装置（例えば、キーボード、ポインティングデバイス及び／又はマイク）、及び出力装置と通信するプロセッサ並びにプロセッサと通信するプロセッサ可読記憶媒体を含んでもよい。プロセッサ可読記憶媒体は、本発明を実現するための動作を実行するようにプロセッサをプログラムできるコードを格納する。本発明の処理は、電話線、あるいは他のネットワーク又はインターネット接続を介してアクセスできるサーバにおいても実現可能である。

図１は、カメラを含むＭＭＳシステムを示す図である。 図２は、場所及び姿勢パラメータを示す図である。 図３は、本発明に従って道路情報を生成する処理の例示的な一実現例を示すブロック図である。 図４は、元画像をオルソ補正タイルに変換する一般的な原理を示す側面図である。 図５は、元画像をオルソ補正タイルに変換する一般的な原理を示す上面図である。 図６は、立体画像対の２つのオルソ補正タイルへの変換を示す図である。 図７は、図６の２つのオルソ補正タイルを重畳した結果を示す図である。 図８は、道路色サンプルを取得するための領域を示す図である。 図９は、２つの後続画像を重畳した結果を示す図である。 図１０は、移動物体と関連付けられる画素を検出した結果を示す図である。 図１１は、路面、道路エッジ及び計算された道路エッジを含むオルソ補正画像を示す図である。 図１２は、道路エッジの位置を判定するためのオルソ補正画像の一列のカウントされたエッジ画素の一例を示す棒グラフである。 図１３は、センターラインの判定を示す図である。 図１４は、本発明が実行可能であるコンピュータ装置を示すブロック図である。 、 、 図１５ａ、図１５ｂ及び図１５ｃは、画像シーケンスから得られる３つの元画像の例を示す図である。 図１６は、図１５に示す元画像に対応する画像シーケンスから取得される路面のオルソ補正モザイクを示す図である。 図１７は、図１６に示すオルソ補正モザイクと重なり合う路面画像を示す図である。 図１８は、１つの画像に適用される場合の本発明を示す図である。

多くの例示的な実施形態を使用し且つ添付の図面を参照して、本発明を以下に更に詳細に説明する。添付の図面は、本発明を例示することを意図し、添付の請求の範囲及びそれに等価な実施形態により規定される本発明の範囲を限定することを意図しない。

図１は、自動車１の形態をとるＭＭＳシステムを示す。自動車１は、１つ以上のカメラ９（ｉ）、i=1, 2, 3,... Iを備える。自動車１は、関心道路に沿って運転者により運転される。

自動車１は、複数の車輪２を備える。更に自動車１は、高精度位置判定デバイスを備える。図１に示すように、位置判定デバイスは以下の構成要素を含む。

・アンテナ８に接続され、複数の衛星ＳＬｉ（i=1, 2, 3,...）と通信し且つ衛星ＳＬｉから受信される信号から位置信号を計算するように構成されるＧＰＳ（全地球測位システム）ユニット。ＧＰＳユニットは、マイクロプロセッサμＰに接続される。ＧＰＳユニットから受信される信号に基づいて、マイクロプロセッサμＰは自動車１のモニタ４に表示される適切な表示信号を判定してもよく、それにより自動車の位置が特定される場所及び可能性として自動車が移動している方向を運転者に通知する。ＧＰＳユニットの代わりに差動ＧＰＳユニットが使用されてもよい。差動全地球測位システム（ＤＧＰＳ）は、衛星システムにより示される位置と周知の固定位置との差をブロードキャストするために固定地上基準局のネットワークを使用する全地球測位システム（ＧＰＳ）を拡張したものである。それらの基準局は測定した衛星擬似距離と実際の（内部で計算された）擬似距離との差をブロードキャストし、受信機局は同一量だけ擬似距離を補正してもよい。

・ＤＭＩ（距離測定計器）。この計器は、１つ以上の車輪２の回転数を検知することにより自動車１が移動した距離を測定する走行距離計である。ＤＭＩは、マイクロプロセッサμＰに更に接続され、ＧＰＳユニットからの出力信号から表示信号を計算する一方で、マイクロプロセッサμＰがＤＭＩにより測定された距離を考慮できるようにする。

・ＩＭＵ（慣性測定ユニット）。そのようなＩＭＵは、３つの直交方向に沿って回転加速度及び並進加速度を測定するように構成される３つのジャイロユニットとして実現可能である。ＩＭＵは、マイクロプロセッサμＰに更に接続され、ＧＰＳユニットからの出力信号から表示信号を計算する一方で、マイクロプロセッサμＰがＤＭＩによる測定値を考慮できるようにする。ＩＭＵは、推測航法センサを更に含むことができる。

図１に示すシステムは、例えば自動車１に搭載された１つ以上のカメラ９（ｉ）を使用して写真を撮影することにより地理データを収集するいわゆる「モバイルマッピングシステム」である。カメラは、マイクロプロセッサμＰに接続される。自動車の前方にあるカメラ９（ｉ）は立体カメラであってもよい。カメラは、画像シーケンスを生成するように構成されてもよく、画像は事前定義済みのフレームレートで取り込まれる。例示的な一実施形態において、１つ以上のカメラは、自動車１の事前定義済みの変位毎又は時間間隔毎に写真を取り込むように構成される静止画像カメラである。事前定義済みの変位は、２つの後続写真が路面の同様の部分、すなわち同一の地理的位置を有するか又は同一の地域を表す部分を含むように選択される。例えば写真は、８ｍ移動する毎に取り込まれる。

３つの測定ユニット、ＧＰＳ、ＩＭＵ及びＤＭＩから可能な限り正確な場所及び姿勢測定値を提供することが一般的に望まれる。それらの場所及び姿勢データが測定される一方で、カメラ９（ｉ）は写真を撮影する。写真は、後で使用するために、それらの写真が撮影されるのと同時に収集された自動車１の対応する場所及び姿勢データと関連付けられてμＰの適切なメモリに格納される。写真は、道路の中央、路面エッジ及び道路幅等の道路情報に関する情報を含む。

図２は、図１に示す３つの測定ユニットＧＰＳ、ＤＭＩ及びＩＭＵから取得される位置信号を示す。図２は、マイクロプロセッサμＰが６つの異なるパラメータ、すなわち所定の座標系における原点に対する３つの距離パラメータｘ、ｙ、ｚと、それぞれｘ軸、ｙ軸及びｚ軸を中心とする回転を示す３つの角度パラメータωｘ、ωｙ及びωｚとを計算するように構成される。ｚ方向は、重力ベクトルの方向と一致する。

自動車１のマイクロプロセッサ及びメモリ９は、コンピュータ装置として実現されてもよい。そのようなコンピュータ装置の一例を図１４に示す。

図３は、本発明に従って道路情報を生成する処理の例示的な一実施形態を示すブロック図である。処理は、図１に示すモバイルマッピング車両を使用して関連する位置及び姿勢データを有する元画像のシーケンスを取り込み且つ取り込まれたデータを記憶媒体に格納することによりＭＭＳ（モバイルマッピングシステム）セッション３１から開始する。処理ブロック３２において、取り込まれたデータは処理され、関連する位置及び姿勢データを有する元画像毎にオルソ補正タイルを生成する。関連する位置及び姿勢データは、ＧＰＳ、ＤＭＩ及びＩＭＵから取得可能な位置信号と、自動車の位置及び姿勢に対する各カメラの位置及び姿勢とを含む。元画像からオルソ補正タイルを生成することについては、以下に更に詳細に説明する。位置及び姿勢データにより、同一の地理的位置を有する同一の地域を表す路面の同様の部分を含む２つの連続画像を重畳できる。更に、取り込まれたデータにおける位置及び姿勢データから自動車の軌跡が判定可能である。

オルソ補正タイルは、路面上の移動物体に対応する画素を検出し且つ道路色サンプルを導出するために使用される。ブロック３３は、移動物体の画素を検出する処理を表し、ブロック３４は、道路色サンプルを導出する処理を表す。双方の処理は、同一画像に対して同時に実行される。従って、ブロック３３は、ｎ番目の画像に対して、画素毎に画素が静止物体に対応するか又は移動物体に対応するかが示されるｎ番目のオルソ補正２値画像を生成し、ブロック３４は、ｎ番目の画像に対して関連する道路色サンプルを生成する。道路色サンプルは、１つ以上の連続する元画像において路面の色であると認識された値を有する色値の集合であり、例えばモバイルマッピング車両の走行方向に対するカメラの姿勢に基づくｎ番目の画像の画素値は、正常な状態下で路面を表すべきである。例えば道路色サンプルは、画像中の多角形の画素から得られ、多角形の領域は、車両が走行する路面に対応する。

ブロック３５において、ｎ番目の元画像の道路色サンプルは、道路色サンプルに含まれる色を有するｎ番目の元画像の全ての画素を選択するために使用される。その後、移動物体に対応すると識別されたｎ番目の画像の画素は、非静止画素としてマークされる。ブロック３５の結果、ｎ番目の画像の関連する画素が路面に対応し且つ移動物体に対応するか否かを画素毎に示す２値オルソ補正画像が得られる。

ブロック３６において、左側及び右側、あるいは道路の位置は２値オルソ補正画像から判定される。道路の左側及び右側を判定するアルゴリズムについては、以下に更に詳細に説明する。判定された位置は、ｎ番目の画像に示される路面の中央の位置及び路面の幅を導出するために使用される。ｎ番目の元画像と関連付けられる位置及び姿勢データを使用して、道路の中央の対応する地理的位置が計算される。

更にブロック３６において、２値オルソ補正画像は、車線標示及び他の描かれた道路標示を記述する道路情報を検出、識別及び抽出するために使用される。道路色サンプルが路面の背景色のみを表す画素から取得される場合、道路塗装に対応する画素は路面画素として割り当てられない。道路塗装は、２値画像における孔として考えられる。車線分離標、停止線、実線車線、点線車線及び他の標準化された道路標示等の道路情報は、孔、並びにそれらの対応する位置及び姿勢を解析することにより識別される。孔の形状及びサイズが判定され、車線標示及び他の標準化された道路塗装の周知の特徴とマッチングされる。一実施形態において、多角形が孔毎に生成される。多角形は、対応する道路塗装を識別するために使用される。画像中の道路の車線分離標を識別することにより、車線の合計数が導出される。適合する孔の位置及び姿勢は、路肩、道路のセンターライン及び隣接する道路標示の位置に対して検証され、誤って検出される道路情報項目の数を減少する。更に、孔内の画素の色値は、孔を解析して誤った検出を更に減少するために使用される。

ブロック３７において、計算された道路の中央及び道路幅、並びに他の道路情報項目は、デジタル地図データベースにおいて使用するために属性としてデータベースに格納される。そのようなデジタル地図データベースは、ナビゲーションシステム等のナビゲーションアプリケーションにおいて使用され、ユーザが運転している道路を表す斜視図又は上面図をディスプレイ上に示すか、あるいは方向提供又は安全アプリケーションと関連して情報を使用できる。図３に示す各ブロックについては、次に更に詳細に開示する。

図４は、ブロック３２において実行される元画像のオルソ補正タイルへの変換の一般的な原理を示す側面図である。カメラ又はＣＣＤカメラ２０２（図２に示す）のイメージセンサ１０１は、元画像のシーケンスを記録する。元画像は、図１に示すような自動車に搭載される地上のカメラ９（ｉ）により録画されるある程度垂直な画像を表す。元画像は、静止画像カメラを使用して録画される静止画のシーケンスであってもよい。そのカメラは、例えば８ｍの変位毎にトリガされる。イメージセンサを含むカメラは画角αを有する。画角αは、カメラのレンズの焦点距離１０２により判定される。画角αは45°＜α＜180°の範囲であってもよい。更にカメラは、画角の中央にある観察軸１０３を有する。図１において、観察軸１０３は水平面１０４に平行である。イメージセンサ１０１は、観察軸１０３に垂直に搭載される。この場合、イメージセンサ１０１は、「純粋な」垂直な元画像を録画する。更にイメージセンサの高さが地上等の水平面に対して周知である場合、イメージセンサ１０１により録画される画像は、水平面の上面図を変倍したものを表すオルソ補正タイルに変換される。水平方向に適切な解像度を有する水平画像を取得するために、イメージセンサの限定領域が使用される。図４は、水平面における一部１０８に対応するイメージセンサ１０１の一部１０６を示す。オルソ補正タイルの最低許容解像度は、水平面におけるイメージセンサと最も遠い点との間の最長距離を判定する。地上のカメラから検索される元画像は、三角法を使用して任意の仮想面に変換される。観察軸が水平面に対して周知の角度で傾けられる場合でも、オルソ補正タイルは元画像から取得可能である。

図５は、元画像のオルソ補正タイル２００への変換の一般的な原理を示す上面図である。カメラ２０２の画角α及び観察軸１０３、２１８の姿勢は、イメージセンサ１０１により録画される水平面の一部を判定する。オルソ補正タイル２００の境界線は、図中符号２２４により示される。図５において、カメラ２０２の観察軸２１８は、道路の車線標示を含む方向中央軸と一致する。ナビゲーションシステム等に必要な精度及び属性の収集には、オルソ補正タイルの事前定義済み最低解像度が必要とされる。それらの要求は、元画像から取得される水平面の一部を制限する。水平面に対するカメラの焦点２０８の位置と水平面の領域の境界との間の最長距離２０６は最低解像度を判定する。更に実際には、最長距離２０６は、特定の道路を運転する場合に２つの自動車間の最短距離により制限される。そのように最長距離を制限することにより、殆どの場合、オルソ補正タイルにおける路面がモバイルマッピング車両の前方を走行する自動車の後部を含まないという利点を有する。更に最長距離２０６と最短距離２０４との差は、カメラによる画像の後続する録画の間の最大許容距離を判定する。これにより、車両の最高走行速度を制限できる。水平面の矩形は、元画像においてほぼ台形の形状を有する領域に対応する。最短距離及び画角αにより、オルソ補正タイル２００が元画像において対応する領域を有さない小さな領域２１０を含むか否かが判定されることが図５から分かる。オルソ補正タイル２００は破線の正方形であり、小さな領域２１０は２００で示される破線の正方形の隅に近接する部分を切り離す小さな三角形である。

一実施形態において、オルソ補正タイル２００は、幅２２０が１６ｍであり且つ長さ２２２が１６ｍである領域に対応する。画像が８ｍ毎に取り込まれる場合、路面の９９％が２つの連続する画像で見られる。オルソ補正タイルを更に処理するために、矩形の形状のオルソ補正タイルを有することは有利である。元画像において関連する画素を有さないオルソ補正タイルの画素は、事前定義済み色値を与えられる。事前定義済み色値の一例は、存在しない路面の色に対応する色、あるいは一般に元画像に存在しない又はほぼ存在しない値である。これにより、オルソ補正タイルの更なる処理における誤差の可能性は低減される。

観察軸からの距離２１４及び焦点２０８からの距離２０４を有する画素２１６毎にオルソ補正タイルを取得するための元画像の変換の一実施形態において、元画像の対応する位置は、参考として本明細書に取り込まれる未公開の特許出願ＰＣＴ／ＮＬ２００６／０５０２５２において更に詳細に説明される三角法を使用して判定される。尚、元画像をオルソ補正画像に変換する場合、解像度（各画素が表す物理的なサイズ）は変更される（より大きくされる）。オルソ補正画像の画素の色値を取得するために元画像における関連する画素の色値を平均することにより、サイズは大きくなる。平均化は、処理内で路面色サンプルをクラスタ化し且つ雑音を低減する効果を有する。

一実施形態において、図６は画像の立体対を上部に示す。下部には、２つの対応する変換済みオルソ補正タイルが示される。オルソ補正タイルにおける画素値は、第１に元画像における対応する位置の三角法又は三角形分割を使用して判定し且つ第２に元画像における最近接画素の値をコピーすることにより導出される。値は、４つ又は９つの最近接画素の間の補間によっても取得可能である。破線３０２及び３０４は、オルソ補正タイルを取得するために使用される元画像の領域を示す。好適な一実施形態において、オルソ補正タイルは矩形である。立体カメラを使用すると、相対的に大きく重なり合う領域を含む２つのオルソ補正タイルシーケンスが得られる。図７は、図６における２つのオルソ補正タイルを重畳することにより取得されるオルソ補正モザイクを示す。重畳は、各オルソ補正タイルの地理的位置に基づいてもよい。各オルソ補正タイルの地理的位置は、移動車両からのＧＰＳ位置、移動車両の走行方向又は姿勢、移動車両にあるカメラの位置及び移動車両にあるカメラの姿勢を含む位置判定関数から導出される。オルソ補正タイルの地理的位置を導出するためのパラメータは、元画像と関連する位置及び姿勢データとして格納される。オルソ補正モザイクの左側領域４０２及び右側領域４０６は、図６の左側オルソ補正タイル及び右側オルソ補正タイルからそれぞれ取得される。オルソ補正モザイクの中央の領域４０４は、左側オルソ補正タイル又は右側オルソ補正タイルの対応する領域から取得される。前方の立体カメラ又は２つのカメラを使用する利点は、２つのカメラが前記カメラのうちの一方のみの場合より広い角度にわたり画像を録画できるため、より大きな／広いオルソ補正モザイクが取得されることである。同様に、側方監視カメラと組み合わせて前方監視カメラを使用することにより、歩道を含む非常に広い道路又は通りから正確なオルソ補正モザイクを取得できる。このように、完全な幅の路面を表すオルソ補正画像が生成される。

ブロック３４において、道路色サンプルがオルソ補正画像から取得され、オルソ補正画像において路面を検出する。図８は、道路色サンプルを取得するための領域の一例を示す。自動車は道路８００を走行する。矢印８０４は、自動車の走行方向を識別する。８０６で示される領域は路肩である。自動車が道路を走行する時、自動車の直前の全てのものは道路であると仮定できる。しかし、路面の画素は、１つの色を有するのではなく、いわゆる色空間の色を有する。各オルソ補正画像において、一般に路面を表す画素を含む事前定義済み領域８０２が規定される。事前定義済み領域８０２は矩形の形状であってもよく、モバイルマッピング車両の前方の車線の５〜１１ｍの領域の画素を表す。事前定義済み領域は、車両の軌跡を含み、車線標示の色を含む画素を除外し且つ路面の背景色を表す画素のみを含むように十分に狭い領域であるのが好ましい。事前定義済み領域８０２の画素の色は、道路色サンプルを生成するために使用される。道路色サンプルは、画素が路面である可能性が高いか否かを判定するために使用される。画素がオルソ補正画像の道路色サンプルに存在する色値を有する場合、画素は路面である可能性が高い。道路色サンプルは、立体カメラからの画像対の１つの画像等のモバイルマッピング車両の前方の道路を記録する画像から最適に取得される。これは、それらの画像が車両の軌跡を含み且つ軌跡が一般に路面にわたるものであるためである。道路色サンプルは、１つの画像から得られ、前記画像において路面を検出する。技術者は、色サンプルを取得する多くの方法を見つけることができ、多くのパラメータを平均してもよい。別の実施形態において、道路色サンプルは２つ以上の連続画像から得られる。道路色サンプルは、ｎ番目の画像毎に判定され、ｎ番目の画像及び（ｎ−１）個の連続画像に対して使用される。路面の色が道路の照明条件及び光度に大きく依存するため、道路色サンプルを定期的に取得することは重要である。影になっている路面は、直射日光が当たる路面とは非常に異なる道路色サンプルを有するだろう。従って、十分な処理電力がオルソ補正画像毎に利用可能である場合、対応する道路色サンプルが判定され、前記画像において路面を検出するために使用されるべきである。更に、いくつかの画像からの道路色サンプルが組み合わされて、望ましくない一時的なサンプルのフィルタリングを可能にしてもよい。

道路色サンプルは、移動車両の前方にある移動物体の色により汚染される。従って、オプションとして、ブロック３３において移動物体の画素として検出される画素の色値は道路色サンプルから除外される。このように、道路色サンプルの汚染は回避される。このオプションは、図３においてブロック３４への破線により示される。

尚、図８は元画像のオルソ補正部分を表す。観察軸が車両の走行方向に平行でない場合、その部分の輪郭は非対称的である（図示するように）。

道路の幅及び中央を判定できるように、カメラは道路の完全な幅を取り込む必要がある。一般に、自動車が道路を走行している時、自動車の前方の車間距離は最短である。この距離は、事前定義済み領域を判定して道路色サンプルを取得するために使用される。更に、画像において自動車の前方の自動車まで路面以外何も見えないことが仮定される。しかし、道路の他の車線において、自動車、オートバイ、バン等の移動物体がモバイルマッピング車両を追い越す可能性がある。移動車両に対応する画素は、路面として分類されるべきではない。

図３のブロック３３は、元画像において移動物体の画素を検出する。移動物体の画素は、２つの連続するオルソ補正画像の共通の領域において検出される。図９は、２つの後続画像を重畳した結果を示す。図中符号９０２及び９０４は、ｎ番目及び（ｎ＋１）番目の元画像から導出された画素を有するｎ番目及び（ｎ＋１）番目のオルソ補正画像の一部の境界を示す。矢印９０８は、モバイルマッピング車両の走行方向を示す。ｎ番目及び（ｎ＋１）番目のオルソ補正画像は、走行方向の道路１６ｍを含み、（ｎ＋１）番目の画像は、ｎ番目の画像を取り込んだ後にモバイルマッピング車両が８ｍ変位した時に得られる。その場合、車両の走行方向に８ｍの共通平面９０６が存在する。ｎ番目の画像の共通平面９０６に対応する画素は、（ｎ＋１）番目の画像の共通平面に対応する画素とは別の時点に対応する。移動物体がｎ番目及び（ｎ＋１）番目の画像において異なる位置を有する一方、静止物体は共通平面９０６において移動しない。移動物体の画素は、共通平面９０６において等しい位置を有する画素間の色距離を判定することにより見つけられる。

共通平面９０６におけるｎ番目の画像の画素は、ｒ_ｎ、ｇ_ｎ、ｂ_ｎにより表される。ここで、ｒ、ｇ及びｂは画素の赤色値、緑色値及び青色値に対応する。共通平面９０６における同一位置の（ｎ＋１）番目の画像の画素は、ｒ_ｎ＋１、ｇ_ｎ＋１、ｂ_ｎ＋１により表される。例示的な一実施形態において、共通平面において同一位置を有する前記画素の色距離は、以下の式により判定される：
dist=(distR+distG+distB)／3
distR = (r_N - r_N+1)²
distG = (g_N - g_N+1)²
distB = (b_N - b_N+1)²
thrが適応閾値であり、dist ＞ thr²である場合、画素は移動物体を表し、それ以外の場合、画素は静止するものを表す。一実施形態において、閾値は従来のＲＧＢ空間において１０^２〜１５^２の距離である。別の方法は、スペクトル特性に対する距離、例えば画素の平均色を使用することである。技術者は、画素が移動物体を表すか又は静止するものを表すかを判定する多くの他の方法を見つけられる。

尚、本発明において、ＲＧＢ空間の代わりに任意の他の色空間が使用できる。色空間の例は、絶対色空間、ＬＵＶ色空間、ＣＩＥＬＡＢ、ＣＩＥＸＹＺ、ＡｄｏｂｅＲＧＢ及びｓＲＧＢである。各色空間は、特定の利点及び欠点を有する。

図１０は、ｎ番目及び（ｎ＋１）番目のオルソ補正画像１００２、１００４の共通平面１００６の画素に対して移動物体に対応する画素の検出を実行した後の結果例を示す。結果として、白色画素が静止する物体と関連付けられ且つ黒色画素が移動物体と関連付けられる２値画像が得られる。移動物体は、ｎ番目及び（ｎ＋１）番目の元画像において異なる地理的位置を有する物体である。動きは、ｎ番目及び（ｎ＋１）番目のオルソ補正画像１００２、１００４の共通平面１００６において検出され、共通平面の画素は、前記画素が２つの連続画像間の閾値より大きい色ずれを有する場合に移動物体と関連付けられる。図１０の移動物体１０１０は、別の車線を走行する車両であってもよい。矢印１００８は、カメラを保持する車両の走行方向を示す。

ブロック３４により生成されるｎ番目の画像と関連付けられる道路色サンプルは、ｎ番目の画像において路面を表す画素を検出し且つ路面画像を生成するために使用される。ｎ番目の画像の共通平面９０６の画素毎に、画素の色値が道路色サンプルに存在するか、あるいは道路色サンプルの任意の色、又は道路色サンプルの１つ以上の特徴、例えば道路色サンプルの平均色又は色スペクトルから所定の距離内に存在するかのチェックが行なわれる。チェックが肯定の場合、路面画像の対応する画素は路面画素として分類される。尚、オルソ補正画像の画素は、元画像の２つ以上の画素値を処理することにより取得される。これにより、道路色サンプルの色スペクトルにおける雑音が低減され、その結果、路面画素の選択及び識別の品質が向上される。更に、テクスチャ解析及びセグメント成長又は領域成長アルゴリズムがオルソ補正画素から路面画素を選択するために使用される。画素が静止画素であるか又は移動物体に対応するかを示すブロック３３により生成されるｎ番目の画像と関連付けられる２値画像は、対応するパラメータを路面画像の各画素に割り当てるために使用される。この路面画像の２つの特性は、道路エッジ画素を選択して道路エッジ画像を生成するために使用される。第１に、路面画像の行毎に、最も左側の画素及び最も右側の画素が更なる処理のために道路エッジ画素の一部として選択、識別及び格納される。尚、道路エッジ画素を選択するために他のアルゴリズムが使用されてもよく、例えば最も左側及び最も右側の隣接する画素のチェーンを形成する路面の画素を選択する。第２に、道路エッジ画素毎に、その場所が移動物体に対応する画素に近接するかが検証される。道路エッジ画素が移動物体の画素に近接する場合、前記画素は、不確かなものとしてマークされるか又は２値画像の道路エッジ画素から除外される。道路エッジ画素と最近接する移動物体の画素との間の距離が３画素より小さい場合、道路エッジ画素は移動物体の画素に近接すると考えられる。一実施形態において、道路エッジ画素は、不確かなものとしてマークされるか又は路面の対応する画素が移動物体の画素としてマークされる場合には除外される。不確かな指示は、依然として所定の信頼性で元画像に対応する道路エッジの位置を自動的に導出できるかを判定するために使用される。存在する不確かな道路エッジ画素が多すぎる場合、方法は、ユーザが元画像又はオルソ補正元画像において左側の道路エッジ及び／又は右側の道路エッジの位置を示すことを可能にするために元画像を提供するように構成される。このようにして取得された位置は、更なる処理のためにデータベースに格納される。従って、前記画素が静止画素であり且つオルソ補正画像の関連する画素の色が道路色サンプルの色であることをブロック３３により生成される２値画像が示す場合、共通平面の画素は道路エッジ画素として分類される。この要求を満たさない任意の画素は、道路エッジ画素として分類されない。路面画像が視覚化され且つ移動物体に対応する画素が路面画素から除外される場合、移動物体は路面の孔又は路面の側部の切り抜きとして見られるだろう。

図１１は、路面１１０２、左側の道路エッジ１１０４、右側の道路エッジ１１０６及び道路に沿う芝生の境界１１０８を含む路面画像１１００の理想化された一例を示す。更に図１１は、路面画像１１０１上の重ねられるものとして、車両の走行方向１１１０と道路の計算された左側１１１２及び右側１１１４とを示す。路肩近くの路面の色が道路色サンプルと異なる可能性があるため、路面１１０２のエッジ１１０４、１１０６は平滑でない。例えば路肩は埃で覆われる。更に道路の色は、影のためにずれ過ぎる可能性がある。従って、エッジはぎざぎざになっている。ブロック３６において、第１に路面画像のエッジ画素が判定される。エッジ画素は、走行方向に垂直の線１１１６上の極限の路面画素である。このように、移動物体又は他のノイズによる路面の内部の孔により、道路エッジを誤って検出することはない。尚、図１１において、道路エッジ１１０４及び１１０６は連続する線により表される。実際には、例えば移動物体のために、不確かなものとしてマークされる道路エッジ画素が除外されるため、道路エッジは不連続である可能性がある。

第２に、エッジ点は直線に適合される。以下に説明するアルゴリズムは、道路エッジが車両の走行方向にほぼ平行であるという仮定に基づく。路面画像において路面の左側及び右側の位置の大まかな推定値を取得するために、走行方向に平行なストリップ又はウィンドウが使用される。ストリップは、事前定義済みの幅を有する。ストリップは左側から右側に移動され、ストリップの可能な位置毎に、ストリップ内の道路エッジ画素の数が判定される。各位置に対する道路エッジ画素の数は、棒グラフに表される。図１２は、路肩の位置を判定するために上述の方法が図１１のような路面画像に適用される場合に取得される棒グラフを示す。垂直軸１２０２はストリップ内の道路エッジ画素の数を示し、水平軸１２０４はストリップの位置を示す。頂点を形成するか又は局所的に最大数の画素を有する位置は、大まかな路肩の位置を示すと考えられる。路肩の厳密な位置がストリップ内にあるため、その位置は大まかなものである。路肩の位置は、ストリップ内のエッジ画素を走行方向に平行な直線に適合させることにより判定される。例えば、エッジ画素を通る走行方向に平行な最適に適合する直線を見つけるために、周知の線形最小二乗フィッティング技術が使用される。道路エッジの位置、道路幅及びセンターラインを判定するのに非常に適する多角形スケルトンアルゴリズム及び中央値に基づく線形回帰等のロバスト線形回帰アルゴリズムが見つけられている。オルソ補正画像の地理的位置が周知であるため、そのように見つけられた直線の地理的位置は非常に容易に計算される。同様に、右側の路肩の位置が判定される。尚、エッジ画素は、直線の道路エッジの代わりに曲がった路肩を取得するように任意の線フィッティングアルゴリズムに適用可能である。これは、元画像を処理するのに必要な処理電力を増加するが、道路の湾曲部において有用である。判定された道路エッジ及びセンターラインは、終点及び形状点の位置のうち少なくとも１つを含むパラメータの集合として格納される。パラメータの集合は、対応する線を表す多項式の係数を表すパラメータを含むことができる。

上記規定された路肩の位置を判定するアルゴリズムは、車両の走行方向が画像の姿勢に対して周知である任意のオルソ補正画像において使用可能である。走行方向及び姿勢により、車両が直線道路又は湾曲した道路を走行する時の車両の軌跡に対応する画像内の領域を正確に判定できる。この領域は、道路色サンプルを取得するために使用される。一般に軌跡が路面全体にわたるため、特別な画像解析アルゴリズムを実行して路面を表すことができる画像の領域を判定することなく、道路色サンプルは自動的に取得可能である。

有利な一実施形態において、ブロック３２は、オルソ補正画像の画素の列が車両の走行方向に対応するオルソ補正画像を生成するように構成される。この場合、路肩の位置は非常に容易に判定される。上述のようなストリップ中のエッジ画素の数は、隣接するｘ列のエッジ画素の合計に対応する。ここで、ｘは列数であり、ストリップの幅に対応する。ストリップの位置は、ストリップを形成する列のうち中央の列の位置に対応するのが好ましい。一実施形態において、ストリップの幅は１．５ｍ幅に対応する。

路肩の位置を判定するアルゴリズムは、以下の動作を含むことができる。

−画素の列毎にエッジ画素の数をカウントする。

−列の位置毎に隣接するｘ列のエッジ画素の数を集計する。

−隣接するｘ列の集計したエッジ画素の数の極大値を有する列の位置を判定する。

−先に判定した位置と関連付けられる隣接するｘ列に対応するエッジ画素の平均（列の）位置を判定する。

これらの全ての動作は、カウント、加算、比較及び平均化等の単純な動作により実行される。オルソ補正画像の左側部分における極大値は左側の路肩と関連付けられ、オルソ補正画像の右側部分における極大値は右側の路肩と関連付けられる。

左側及び右側の路肩に対応する直線の位置を判定した後、左側及び右側の路肩の平均位置を計算することにより道路の中心が判定される。道路の中心は、例えば緯度及び経度を有する終点の座標により特徴付けられるパラメータの集合として格納される。道路の幅は、左側及び右側の路肩の位置の間の距離を計算することにより判定される。図１３は、オルソ補正画像１３０２の一例を示す。道路の検出された右側エッジ、道路の検出された左側エッジ及び道路の算出されたセンターラインは、画像に重畳される。

尚、上述の方法は、移動物体と関連付けられる画素の検出及び色情報の双方を使用する。また、方法は前記画素を検出せずに適切に実行する。そのような場合、地図データベースにおいて使用する道路情報を生成するために、毎回１つの元画像のみが使用される。

図１５ａ、図１５ｂ及び図１５ｃは、図１に示すＭＭＳシステムにより取得される画像シーケンスから得られる３つの元画像の例を示す。画像シーケンスは、定期的に画像を得ることにより取得された。このように、３０フレーム／秒又は２５フレーム／秒等の事前定義済みフレームレートの画像シーケンスが生成される。図１５ａ〜図１５ｃに示す３つの元画像は、画像シーケンスの後続する画像ではない。画像毎に高精度位置決めデバイスを使用して、カメラの位置及び姿勢は正確に判定される。未公開の特許出願ＰＣＴ／ＮＬ２００６／０５０２５２において説明される方法を使用して、各図の画像は、オルソ補正画像に変換される。ここで、画素毎に対応する地理的位置が位置及び姿勢データから導出される。各オルソ補正画像と関連付けられる位置及び姿勢データにより、オルソ補正画像からオルソ補正モザイクが生成可能である。

図１６は、仲介画像並びに図１５ａ〜図１５ｃに示す３つの元画像に対応する画像シーケンスから取得される路面のオルソ補正モザイクを示す。オルソ補正モザイクにおいて、３つの画像に対応する領域が示される。１５１ａ、１５２ａ及び１５３ａにより示される領域は、図１５ａ、図１５ｂ及び図１５ｃにそれぞれ示される元画像のオルソ補正部分に対応する。１５１ｂ、１５２ｂ及び１５３ｂにより示される領域は、図１５ａ、図１５ｂ及び図１５ｃにそれぞれ示される元画像の対応する部分のオルソ補正により取得された領域に対応する。しかし、図１５ａ〜図１５ｃに示される元画像に後続する画像が、カメラの位置と路面との間の距離がより短いために自動車の前方の自動車が路面の視界を遮ることがより少なく且つより高い解像度を有する同一の領域を提供するため、それらの領域はオルソ補正モザイクにおいて使用されない。１５１ｂ、１５２ｂ及び１５３ｂの最も遠い部分も使用されないが、後続画像（図１６には示さない）が同様の理由により代わりに使用される。元画像の小さな領域のみがオルソ補正モザイクにおいて使用されることが分かる。使用される領域は、ＭＭＳシステムの事前定義済みの距離からフレームレートに対応する後続する時間間隔の間のＭＭＳシステムの移動速度に関連する距離までの路面に対応する。元画像の使用される領域は、移動速度の増加と共に増加する。図１６において、ＭＭＳシステムの軌跡１６０が更に示される。カメラの位置と元画像の画素により表現される路面との間の最長距離は、道路を走行する２つの車両間の最短距離より短いのが好ましい。これに当てはまる場合、ＭＭＳシステムの前方を走行する車両のために歪みを示さない道路区分の路面のオルソ補正モザイクが生成可能である。

更に、路面の各部分が少なくとも２つの画像で取り込まれることが図１６から容易に分かる。１５１ｂ、１５２ｂ及び１５３ｂにより示される領域の部分は、図１５ａ〜図１５ｃに示される画像から取得されるオルソ補正画像の範囲に含まれることが分かる。領域１５１ｂ、１５２ｂ及び１５３ｂの一部が図１５ａ〜図１５ｃに示される画像に後続する画像のオルソ補正部分であることは、図示されないが容易に推測できる。図１５ａ〜図１５ｃに示す画像シーケンスの画像において自動車は可視であるが、それらの自動車はオルソ補正モザイクにおいては可視ではない。尚、領域１５１ａは、直前の自動車の車台の暗成分を示す。先行する画像における対応する地域が前記暗成分以外のものを示すため、暗成分に対応する前記画素は移動物体の画素としてマークされ、道路色サンプルから除外される。

上述の方法は、路面の色を表す道路色サンプルを生成するために使用される。図１５に示す元画像及び図１６に示すオルソ補正モザイクから、路面が均一な色を有さないことが分かる。オルソ補正モザイクは、道路幅、車線幅等の道路情報を判定するために使用される。上記において、路面に対応する画素及び路面に対応しない画素を判定するための道路色サンプルの使用方法が開示される。更に、画素毎に静止画素であるか又は移動物体の画素であるかを判定する方法が上述される。それらの方法は、オルソ補正モザイクにおいて路面に対応する画素を判定するのに適する道路色サンプルを判定するために更に使用される。道路色サンプルは、カメラが搭載される移動車両の前方の路面を表す１つの元画像における事前定義済み領域と関連付けられる画素から判定される。しかし、前記事前定義済み領域の路面が影を含まない場合、道路色サンプルは影になっている路面に対応する画素をオルソ補正モザイクに対して生成される路面画像に割り当てない。従って、本発明の一実施形態において、道路色サンプルは２つ以上の連続画像から判定される。道路色サンプルは、オルソ補正モザイクを解釈するために使用されるオルソ補正画像の事前定義済み領域に存在する全ての画素値に対応する。別の実施形態において、道路色サンプルは、オルソ補正モザイクの事前定義済み領域に存在する全ての画素値に対応する。ここで、事前定義済み領域は、移動車両の軌跡１６０に従うストリップの全ての画素を含む。軌跡は、ストリップの中央であってもよく、ストリップのいずれかの場所に存在するべきである。そのように取得される道路色サンプルは、路面のほぼ全ての色値を含み、アプリケーションがオルソ補正モザイクにおいて路面に対応する全ての画素をほぼ正確に検出し且つ道路エッジの位置等の道路情報を判定する際に元となる路面画像を取得することを可能にする。

一実施形態において、道路色サンプルは事前定義済み領域の静止画素から判定され、移動物体の画素は除外される。本実施形態において、道路色サンプルは、移動物体の画素として分類されない所定の領域の画素の色値のみを含む。このように、道路色サンプルは路面のより適切な色を表す。

図１７は、上部に路面画像を有する図１６のオルソ補正モザイクを示す。領域１７０は、路面画素として分類されていない画素の領域を示す。路面画素として分類された画素は、図１７において透明である。図１７の領域１７０と透明な領域との間の境界を形成する画素は、道路エッジ画素として割り当てられ、道路エッジ及び道路のセンターラインの位置等の道路情報を判定するために使用される。

尚、オルソ補正モザイクは、移動車両の前方の事前定義済み領域を表す元画像の領域の合成である。従って、オルソ補正モザイクから生成される路面画像は、移動車両の前方の事前定義済み領域を表す元画像の領域の合成である。

上述の方法は、画像シーケンスを取り込む間に移動物体が移動車両の前方の事前定義済み領域に存在しないことが保証される場合に適切に動作する。しかし、これが当てはまるとは限らない。図１６において、元画像２に対応するモザイク部分は影を含む。前記影に対応する色値は、結果として路面画像の不適切な生成をもたらす。従って、上述するように、道路色サンプルを生成するために使用される画素毎に、静止画素に対応するか又は移動物体の画素に対応するかが判定される。

オルソ補正モザイクに対して、対応する画像、すなわち移動物体の画像が生成され、画素毎にオルソ補正モザイクの対応する画素が移動物体の画素の静止画素かを識別する。道路色サンプルを取得するために移動車両の軌跡に従うストリップの画素の画素値のみが使用され、移動物体の画素として分類されるストリップの全ての画素が除外される。このように、道路色サンプルを取得するために、画像シーケンスの２つの後続画像において静止画像として識別される画素の画素値のみが使用される。これにより、道路色サンプルの品質及び従って路面画像の品質が向上する。

上述の移動物体の検出を適用する場合、影に対応する画素は、画像シーケンスの先行画像と同様に移動物体の画素として識別され、オルソ補正画像の対応する画素は、移動車両の前方の車両を示す。車両の色は、影になった路面と非常に異なる。

移動物体の画像は、オルソ補正モザイクに対応する路面画像における道路エッジの位置の判定を向上するために更に使用される。向上する方法については上述した。

殆どの場合、道路区分又は軌道に沿う道路区分は直線ではない。図１６は、僅かに湾曲した道路を示す。路面画像における道路エッジの位置を判定し且つその後道路エッジの地理的位置を判定するために、周知の曲線フィッティングアルゴリズムが使用される。移動物体の画素として分類される道路エッジ画素は、曲線フィッティングアルゴリズムから除外される。

本発明に係る方法がオルソ補正画像及びオルソ補正モザイクの双方に適用可能であることが示される。双方の場合において、道路色サンプルは、移動車両の軌跡を含む移動車両の前方の路面を表す１つ以上の元画像における事前定義済み領域と関連付けられる画素から判定される。更に、路面画像は、道路色サンプルに依存して１つ以上の元画像から生成され、道路情報は、路面画像、並びに元画像に関連付けられる位置及び姿勢データに依存して生成される。

双方の種類の画像に対して、画素毎に静止画素であるか又は移動物体の画素であるかが最初に判定されるのが好ましい。このために、２つの連続する元画像内の共通の領域が使用される。ここで、共通の領域は、同一平面に投影される場合に各画像において路面の同様の地域を表す。その後、その情報は、道路色サンプルを判定することから移動物体に対応する画素のみを除外し且つ道路情報を生成する方法を向上するために使用される。

尚、道路情報を生成するために１つの元画像のみが使用される場合、元画像は道路色サンプルを判定し且つ２値路面画像を生成するために使用される。前記２値路面画像から道路エッジ画素が検索可能である。道路エッジ画素、並びに関連する位置及び姿勢データを使用して、走行方向に平行な最適な線が判定される。元画像をオルソ補正画像に変換する公式は、走行方向に平行な元画像における線を判定するために使用される。

図１８は、１つの元画像に適用される場合の本発明に係る方法の一実施形態を示す。図１８は、湾曲した道路１８０及び車両の軌跡１８１を示す。車両の軌跡は、画像シーケンスと関連付けられる位置及び姿勢データを使用して画像において判定される。軌跡１８１は、移動車両の前方の路面を表す画像における事前定義済み領域１８２を判定するために使用される。線１８３は、事前定義済み領域１８２の外側の線を示す。領域１８２は、車両の軌跡１８１に平行な両側を有する実世界の事前定義済みの幅のストリップである。領域１８２は、車両の前方に事前定義済みの距離に及ぶことが分かる。事前定義済み領域１８２の全ての画素値は、道路色サンプルを取得するために使用される。全ての色値は、各画素を路面画素又は非路面画素に分類し且つ対応する路面画像を生成するために使用される。線１８４は、路面１８０の右側に対応する道路エッジ画素を示し、線１８５は、路面１８０の左側に対応する道路エッジ画素を示す。曲線フィッティングアルゴリズムは、不図示のセンターライン曲線及び道路エッジの曲線を判定するために使用される。道路エッジ及びセンターラインに対する座標は、画像と関連付けられる位置及び姿勢データを使用して計算される。

本発明に係る方法は、車両の直前に自動車がないことが保証される場合に１つの画像に対してのみ動作する。このことが保証されない場合、移動物体に対応する画素は、後続画像の一部の共通の領域を使用して上述のように事前定義済み領域１８２の前記一部において判定される。

道路のセンターラインの絶対位置は、上述の方法を使用して判定される。更に、路肩の絶対位置及びセンターラインに対する路肩の相対位置を示す道路幅が判定される。それらの判定された道路情報は、地図データベースにおいて使用するためにデータベースに格納される。道路情報は、ナビゲーションシステムにおいて路面のより現実的な図を生成するために使用される。例えば、道路が狭くなることが視覚化される。更にデータベース中の道路の幅は、道路が狭すぎることにより妨害される例外的な移動に対する最適な経路を判定するのに非常に有用である。

図１４は、上述の方法を実行する道路情報生成器を実現するために使用されるコンピュータシステムを示す高レベルなブロック図である。

図１４のコンピュータシステムは、プロセッサユニット１４１２及び主メモリ１４１４を含む。プロセッサユニット１４１２は、単一のマイクロプロセッサを含んでもよく、あるいはマルチプロセッサシステムとしてコンピュータシステムを構成するために複数のマイクロプロセッサを含んでもよい。主メモリ１４１４は、プロセッサユニット１４１２により実行するために命令及びデータを部分的に格納する。本発明の方法が全体的又は部分的にソフトウェアで実現される場合、主メモリ１４１４は動作中に実行可能なコードを格納する。主メモリ１４１４は、高速キャッシュメモリ及びダイナミックランダムアクセスメモリ（ＤＲＡＭ）のバンクを含んでもよい。

図１４のシステムは、大容量記憶装置１４１６、周辺装置１４１８、入力装置１４２０、携帯記憶媒体ドライブ１４２２、グラフィックスサブシステム１４２４及び出力ディスプレイ１４２６を更に含む。簡潔にするために、図１４に示す構成要素は、単一のバス１４２８を介して接続されるものとして示される。しかし、それらの構成要素は、１つ以上のデータ転送手段を介して接続されてもよい。例えばプロセッサユニット１４１２及び主メモリ１４１４は、ローカルマイクロプロセッサバスを介して接続されてもよく、大容量記憶装置１４１６、周辺装置１４１８、携帯記憶媒体ドライブ１４２２及びグラフィックスサブシステム１４２４は、１つ以上の入出力（Ｉ／Ｏ）バスを介して接続されてもよい。磁気ディスクドライブ又は光ディスクドライブにより実現されてもよい大容量記憶装置１４１６は、プロセッサユニット１４１２により使用するために各カメラのジオコーディングされた画像シーケンス、カメラの校正情報、一定及び可変の位置パラメータ、一定及び可変の姿勢パラメータ、オルソ補正タイル、道路色サンプル、生成された道路情報及び命令等のデータを格納する不揮発性記憶装置である。一実施形態において、大容量記憶装置１４１６は、主メモリ１４１４にロードする目的で本発明を実現するためのシステムソフトウェア又はコンピュータプログラムを格納する。

携帯記憶媒体ドライブ１４２２は、フロッピー（登録商標）ディスク、マイクロドライブ及びフラッシュメモリ等の携帯不揮発性記憶媒体と共に動作し、図１４のコンピュータシステムに対してデータ及びコードを入出力する。一実施形態において、本発明を実現するシステムソフトウェアは、そのような携帯媒体の形態のプロセッサ可読媒体に格納され、携帯記憶媒体ドライブ１４２２を介してコンピュータシステムに入力される。周辺装置１４１８は、入出力（Ｉ／Ｏ）インタフェース等の任意の種類のコンピュータサポートデバイスを含み、追加の機能性をコンピュータシステムに追加してもよい。例えば周辺装置１４１８は、コンピュータシステムをネットワーク、モデム等にインタフェースするネットワークインタフェースカードを含んでもよい。

入力装置１４２０は、ユーザインタフェースの一部分を提供する。入力装置１４２０は、英数字及び他のキー情報を入力する英数字キーパッド、あるいはマウス、トラックボール、スタイラス又はカーソル指示キー等のポインティングデバイスを含んでもよい。テキスト及び図の情報を表示するために、図１４のコンピュータシステムは、グラフィクスサブシステム１４２４及び出力ディスプレイ１４２６を含む。

出力ディスプレイ１４２６は、陰極線管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）又は他の適切な表示装置を含んでもよい。グラフィックスサブシステム１４２４は、テキスト及び図の情報を受信し、ディスプレイ１４２６に出力するためにその情報を処理する。出力ディスプレイ１４２６は、計算したセンターライン及び道路エッジを関連するオルソ補正画像に重ね合わせることにより本発明に係る方法の結果を報告し、オルソ補正モザイクを表示し、方向を表示し、確認情報を表示し且つ／又はユーザインタフェースの一部である他の情報を表示するために使用される。図１４のシステムは、マイクを含むオーディオシステム１４２８を更に含む。一実施形態において、オーディオシステム１４２８は、マイクからオーディオ信号を受信するサウンドカードを含む。更に、図１４のシステムは出力装置１４３２を含む。適切な出力装置の例は、スピーカ、プリンタ等を含む。

図１４のコンピュータシステムに含まれる構成要素は、一般に汎用コンピュータシステムにおいて見られる構成要素であり、従来技術において周知の広範なカテゴリのコンピュータ構成要素を表すことを意図する。

従って、図１４のコンピュータシステムは、パーソナルコンピュータ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ等であってもよい。コンピュータは、種々のバス構成、ネットワーク化プラットフォーム、マルチプロセッサプラットフォーム等を更に含むことができる。UNIX（登録商標）、Solaris、Linux、Windows（登録商標）、Macintosh OS及び他の適切なオペレーティングシステムを含む種々のオペレーティングシステムが使用可能である。

上述の方法は自動的に実行されてもよい。画質は、本発明を実行する画像処理ツール及び物体認識ツールが多少の補正を必要とするような画質である可能性がある。例えば関連するオルソ補正タイル上の計算された路肩の重畳は、望ましくない視覚的なずれを示す。その場合、方法は、中間結果を確認又は適応させる可能性を可能にするある検証及び手作業の適応動作を含む。それらの動作は、道路情報生成の中間結果又は最終結果を受け入れるのに適する。更に、１つ以上の後続画像における不確かなマークの数は、検証を実行することをユーザに要求するために使用される。

本発明により生成される道路情報は、画像毎に道路情報を生成し、それをデータベースに格納する。道路情報は、情報量を減少するために更に処理される。例えば道路区分と関連付けられる画像に対応する道路情報は、前記区分の道路幅に対する１つのパラメータに減少される。更に道路区分が十分に円滑である場合、センターラインは、少なくとも前記区分に対する終点及び形状点を含むパラメータの集合により記述される。センターラインを表す線は、多項式の係数により格納される。

本発明の上記の詳細な説明は、例示及び説明の目的で提示された。本発明を網羅する意図はなく、あるいは本発明を開示された厳密な形式に限定する意図はない。多くの変更及び変形は、上記教示に鑑みて可能であることは明らかである。例えば移動車両の前方の路面を記録するカメラの代わりに、移動車両の後方の路面を記録するカメラが使用可能である。更に本発明は、オルソ補正画像における車線分離標又は他の線形道路標示の位置を判定するのに適する。

本発明の原理及び実際的な応用例を最適に説明し、当業者が考えられる特定の用途に適切な種々の変形を伴って種々の実施形態において本発明を最適に利用できるようにするために、説明した実施形態が選択された。本発明の範囲は、添付の請求の範囲により規定されることが意図される。

Claims (14)

1. 地図データベースにおいて使用するための道路情報を生成する方法であって、
   移動車両に搭載される地上カメラを使用して取得される画像シーケンスから１つ以上の元画像を取得することと、
   前記移動車両の軌跡を含む前記移動車両の前方又は後方の路面を表す前記１つ以上の元画像の事前定義済み領域と関連付けられる画素から道路色サンプルを判定することと、
   前記道路色サンプルに依存して前記１つ以上の元画像から路面画像を生成することと、
   前記路面画像、並びに前記元画像と関連付けられる位置及び姿勢データに依存して道路情報を生成すること
   とを有することを特徴とする方法。
2. 道路情報を生成することは、
   前記路面画像において道路エッジ画素を判定することと、
   道路エッジを表す曲線を取得するために前記道路エッジ画素に対して曲線フィッティングを実行することと、
   前記路面画像の前記曲線の位置、並びに対応する位置及び姿勢データに依存して前記道路情報を計算すること
   とを有することを特徴とする請求項１に記載の方法。
3. 前記路面画像は、前記移動車両の前記軌跡を含む前記移動車両の前方の事前定義済み領域を表す前記１つ以上の元画像の領域から選択されることを特徴とする請求項１又は２に記載の方法。
4. 元画像を取得することは、
   前記１つ以上の元画像を取得するために前記１つ以上の画像と関連付けられる位置データ及び姿勢データに依存して前記画像シーケンスから前記１つ以上の画像を処理することを有し、各元画像はオルソ補正画像に対応することを特徴とする請求項１乃至３の何れか１項に記載の方法。
5. 前記道路色サンプルは、２つ以上の連続画像から得られることを特徴とする請求項１乃至４の何れか１項に記載の方法。
6. 更に、
   前記路面の同様の地域を表す２つの連続元画像内の共通の領域を判定することと、
   前記共通の領域の画素に対して、静止画素として分類されるか又は移動物体の画素として分類されるかを判定すること
   とを有することを特徴とする請求項１乃至５の何れか１項に記載の方法。
7. 前記道路色サンプルは前記事前定義済み領域の前記静止画素から判定され、移動物体の画素は除外されることを特徴とする請求項６に記載の方法。
8. 前記路面画像は、シーケンス元画像から得られるオルソ補正モザイクであることを特徴とする請求項１乃至７の何れか１項に記載の方法。
9. 前記路面画像は、各々が車両の前方又は後方の所定の領域を表す複数のオルソ補正画像から取得されるオルソ補正モザイクであることを特徴とする請求項１乃至８の何れか１項に記載の方法。
10. 路面画像を生成することは、
    前記路面画像において静止画素又は移動物体の画素として画素をマークすることを有することを特徴とする請求項６及び９に記載の方法。
11. 道路情報を生成することは、
    非静止画素としてマークしたことに依存して前記路面画像の画素を道路エッジ画素として割り当てることを有することを特徴とする請求項１０に記載の方法。
12. 請求項１乃至１１の何れか１項に記載の方法を実行する装置であって、
    入力装置と、
    プロセッサ可読記憶媒体と、
    前記入力装置及び前記プロセッサ可読記憶媒体と通信するプロセッサと、
    表示ユニットとの接続を可能にする出力装置とを具備し、
    前記プロセッサ可読記憶媒体は、前記プロセッサが
    移動車両に搭載される地上カメラを使用して取得される画像シーケンスから元画像を取得する動作と、
    前記移動車両の前方又は後方の路面を表す前記元画像の事前定義済み領域と関連付けられる画素から道路色サンプルを判定する動作と、
    前記道路色サンプルに依存して前記元画像から路面画像を生成する動作と、
    前記路面画像、並びに前記元画像と関連付けられる位置及び姿勢データに依存して道路情報を生成する動作とを含む方法を実行するようにプログラムするためのコードを格納することを特徴とする装置。
13. コンピュータ装置にロードされた時に前記コンピュータ装置が請求項１乃至１１に記載の何れか１つの方法を実行することを可能にする命令を含むコンピュータプログラム製品。
14. コンピュータ装置にロードされた時に前記コンピュータ装置が請求項１乃至１１に記載の何れか１つの方法を実行することを可能にするコンピュータプログラム製品を保持するプロセッサ可読媒体。