JP2010530997A - 道路情報を生成する方法及び装置 - Google Patents
道路情報を生成する方法及び装置 Download PDFInfo
- Publication number
- JP2010530997A JP2010530997A JP2010504005A JP2010504005A JP2010530997A JP 2010530997 A JP2010530997 A JP 2010530997A JP 2010504005 A JP2010504005 A JP 2010504005A JP 2010504005 A JP2010504005 A JP 2010504005A JP 2010530997 A JP2010530997 A JP 2010530997A
- Authority
- JP
- Japan
- Prior art keywords
- road
- image
- road surface
- pixels
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 17
- 238000013507 mapping Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000001228 spectrum Methods 0.000 description 7
- 238000010422 painting Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本発明は、地図データベースにおいて使用するための道路情報を生成する方法に関する。方法は、移動車両に搭載される地上カメラを使用して取得される画像シーケンスから元画像を取得することと、移動車両の前方又は後方の路面を表す元画像の事前定義済み領域と関連付けられる画素から道路色サンプルを判定することと、道路色サンプルに依存して元画像から路面画像を生成することと、路面画像、並びに元画像と関連付けられる位置及び姿勢データに依存して道路情報を生成することとを有することを特徴とする。
Description
本発明は、道路情報を生成する方法に関する。更に本発明は、道路情報を生成する装置、コンピュータプログラム製品及び前記コンピュータプログラム製品を保持するプロセッサ可読媒体に関する。
ナビゲーションシステム等において使用されるデジタル地図データベースに対して車線分離標、道路のセンターライン、道路幅等の大量の水平道路情報を収集する必要がある。道路情報の地理的位置は、絶対又は相対位置情報として格納される。例えば、センターラインは絶対地理的位置情報と共に格納され、道路幅はセンターラインの絶対地理的位置に対して相対的な相対位置情報と共に格納される。道路情報は、高解像度空中オルソ補正画像を解釈することにより取得される。そのような高解像度オルソ補正画像は、25cm未満の画素サイズを有するべきである。そのような画像を取得するには非常にコストがかかり、全ての道路水平情報が取り込まれることが保証されない。
オルソ補正画像は、空中画像から非常に効率的に取得可能である。しかし、誤差が導入される場合が多く、その結果、地理的位置データの不正確なマッピングをもたらす。主な問題は、一般に空中画像が地上に対して完全に垂直に撮影されないことである。写真が地上近くで撮影される場合でも、完全に垂直なのは写真の中央のみである。そのような画像をオルソ補正するために、地上高情報が更に取得される必要がある。オルソ補正画像を判定するために使用される三角測量処理と組み合わせて、空中画像において物体の正確な高さ情報が無いため、最大12mのそのような画像の誤差がもたらされる。精度は、重なり合う画像を利用し且つ同一の空中カメラの連続画像から得られる同一の表面を比較することにより向上される。しかし、依然として取得精度対余分なコストに対する限度がある。
更に、空中オルソ補正画像から「水平」道路情報を取得するために、画像は解析される必要がある。画像において、路面が検出される必要がある。オルソ補正画像の位置の誤差のために、地図データベース中の道路の地理的位置は、路面の位置がオルソ補正画像において特定される場所を正確に判定するために使用できない。更に、空中オルソ補正画像の解像度及び影により非常に変動する路面の照度のために、路面はセグメント化アルゴリズムに基づく色で殆ど検出されない。
近年、ナビゲーションシステム等において使用されるデジタル地図データベースに対する制限速度、方向標識等の「垂直」道路情報は、地上の移動収集デバイスにより収集される水平写真画像及び他のデータを解析及び解釈することにより取得可能である。用語「垂直」は、道路情報の情報平面が重力ベクトルにほぼ平行であることを示す。自動車又はバン等の地上車両であるモバイルマッピング車両は、デジタル地図データベースを改善するためのモバイルデータを収集するために使用される。改善例は、交通標識、進路標識、交通信号、道路名を示す道路標識等の場所である。
モバイルマッピング車両は多くのカメラを有し、その一部は立体カメラである。バンが高精度GPS及び他の位置判定機器を搭載するため、それらの全てのカメラの地理的位置は正確に決められる。道路網を走行中、画像シーケンスが取り込まれている。それらの画像シーケンスは、映像又は静止写真画像であってもよい。
モバイルマッピング車両は、建物又は路面等の物体の画像シーケンスの2つ以上の画像を記録し、画像シーケンスの画像毎に、地理的位置が画像シーケンスの姿勢データと共に正確に判定される。対応する地理的位置情報を有する画像シーケンスをジオコーディングされた画像シーケンスと呼ぶ。カメラにより取得された画像シーケンスが「水平」道路情報の視覚的な斜視図を表すため、画像処理アルゴリズムは、画像シーケンスから道路情報を抽出する解決策を提供してもよい。
本発明は、地図データベースにおいて使用するための道路情報を生成する改善された方法を提供しようとする。
本発明によると、方法は、
移動車両に搭載される地上カメラを使用して取得される画像シーケンスから1つ以上の元画像を取得することと、
移動車両の軌跡を含む移動車両の前方又は後方の路面を表す1つ以上の元画像内の事前定義済み領域と関連付けられる画素から道路色サンプルを判定することと、
道路色サンプルに依存して1つ以上の元画像から路面画像を生成することと、
路面画像、並びに元画像と関連付けられる位置及び姿勢データに依存して道路情報を生成することとを含むことを特徴とする。
移動車両に搭載される地上カメラを使用して取得される画像シーケンスから1つ以上の元画像を取得することと、
移動車両の軌跡を含む移動車両の前方又は後方の路面を表す1つ以上の元画像内の事前定義済み領域と関連付けられる画素から道路色サンプルを判定することと、
道路色サンプルに依存して1つ以上の元画像から路面画像を生成することと、
路面画像、並びに元画像と関連付けられる位置及び姿勢データに依存して道路情報を生成することとを含むことを特徴とする。
本発明は、地上を走行するモバイルマッピング車両が地上カメラにより地上収集地理的位置画像シーケンスを記録することを認識することに基づく。前記画像シーケンスの一部は、車両の前方又は後方の道路を含む。更に、一般に車両の走行方向は、車両の前方又は後方の道路の方向とほぼ同一である。また、車両及び路面に対するカメラの位置及び姿勢は周知である。車両の位置及び姿勢は、1つ以上のジャイロスコープ及び/又は加速度計等の慣性測定デバイス、並びにGPS受信機を使用して判定される。
地上カメラと記録された地上との間の距離が制限され且つカメラの地理的位置が車載位置決めシステム(例えば、GPS受信機)、並びに他の追加の位置及び姿勢判定機器(例えば、慣性ナビゲーションシステム−INS)を使用して正確に認識される場合、画素が地上の表現であると仮定して、各画素の絶対地理的位置は正確に判定される。更に、車両に対するカメラの姿勢データにより、ある確実性で路面を表す画像の領域又は画素のグループを画像毎に判定できる。これにより、路面の色スペクトルサンプルを自動的に正確に取得できる。色スペクトルサンプルは、仮定された路面に対応する画素の全ての色値を含む。色スペクトルは、路面に対応してもよい画素を画像において検出するために使用される。このように取得された路面画像は道路の境界を検出するために使用され、これにより、センターラインの絶対位置又は相対位置及び道路幅等の道路情報を導出できる。道路色サンプルを取得するための事前定義済み領域は、車両が走行している車線の車線標示の間の路面に対応するのが好ましい。このように、一般に道路色サンプルは舗装材又は路面の背景色の色スペクトルに対応する。ここで、道路背景色に対応する画素のみが路面として選択され、車線標示に対応する画素は除外される。このように、道路エッジ及び道路のセンターライン、並びに車線分離標、車線幅、車線標示、車線塗装等の車線情報は、路面画像から検出され且つ位置が特定される。
本発明の一実施形態において、道路情報を生成することは、
路面画像において道路エッジ画素を判定することと、
道路エッジを表す曲線を取得するために道路エッジ画素に対して曲線フィッティングを実行することと、
路面画像内の曲線の位置、並びに対応する位置及び姿勢データに依存して道路情報を計算することとを含む。
路面画像において道路エッジ画素を判定することと、
道路エッジを表す曲線を取得するために道路エッジ画素に対して曲線フィッティングを実行することと、
路面画像内の曲線の位置、並びに対応する位置及び姿勢データに依存して道路情報を計算することとを含む。
本発明の更なる実施形態において、路面画像は、移動車両の軌跡を含む移動車両の前方又は後方の事前定義済み領域を表す1つ以上の元画像の領域から選択された。カメラにより取得される「垂直」画像の各画素は、水平面において対応する解像度を有する。解像度は、車両と路面との間の距離に伴って低下する。これらの特徴により、車両の前方又は後方の所定の距離より遠くにある地上を表す画素を考慮せずに、保証された精度で位置情報を導出できる。
本発明の更なる実施形態において、元画像を取得することは、
1つ以上の元画像を取得するために1つ以上の画像と関連付けられる位置データ及び姿勢データに依存して画像シーケンスから前記1つ以上の画像を処理することを含み、各元画像はオルソ補正画像に対応する。この特徴は、路面の斜視図が路面の上面図の画像に変換されるという利点を有する。オルソ補正画像において、道路の境界及びセンターラインは互いに対して平行である。更に、オルソ補正画像の各画素は地表の類似したサイズを表す。これらの特性により、オルソ補正画像から道路情報を効率的に正確に導出できる。2つ以上の画像を使用することにより、道路区分に対してオルソ補正画像、すなわちオルソ補正モザイクを生成でき且つ前記オルソ補正画像から前記道路区分に対する道路情報を導出できる。
1つ以上の元画像を取得するために1つ以上の画像と関連付けられる位置データ及び姿勢データに依存して画像シーケンスから前記1つ以上の画像を処理することを含み、各元画像はオルソ補正画像に対応する。この特徴は、路面の斜視図が路面の上面図の画像に変換されるという利点を有する。オルソ補正画像において、道路の境界及びセンターラインは互いに対して平行である。更に、オルソ補正画像の各画素は地表の類似したサイズを表す。これらの特性により、オルソ補正画像から道路情報を効率的に正確に導出できる。2つ以上の画像を使用することにより、道路区分に対してオルソ補正画像、すなわちオルソ補正モザイクを生成でき且つ前記オルソ補正画像から前記道路区分に対する道路情報を導出できる。
本発明の一実施形態において、道路情報を生成することは、
路面画像において道路エッジ画素を判定することと、
道路エッジを表す線を取得するために線フィッティングアルゴリズムを実行することと、
線、並びに位置及び姿勢データに依存して道路情報を計算することとを含む。それらの特徴により、プログラムは道路エッジ及び地図データベースにおいて使用するための対応する道路情報を効率的に判定できる。
路面画像において道路エッジ画素を判定することと、
道路エッジを表す線を取得するために線フィッティングアルゴリズムを実行することと、
線、並びに位置及び姿勢データに依存して道路情報を計算することとを含む。それらの特徴により、プログラムは道路エッジ及び地図データベースにおいて使用するための対応する道路情報を効率的に判定できる。
本発明の一実施形態において、道路情報を生成することは、
路面画像において道路エッジ画素を判定することと、
事前定義済みの幅及び路面画像と関連付けられる移動車両の走行方向に平行な方向を有するストリップに属する道路エッジ画素の数に関連する最大値を含む路面画像におけるストリップの位置を判定すること、
道路エッジを表す線を取得するためにストリップに属する道路エッジ画素に線フィッティングアルゴリズムを実行することと、
線、並びに位置及び姿勢データに依存して道路情報を計算することとを含む。本実施形態において、画像において路肩の走行方向に平行な最も可能性の高い位置が最初に判定され、その後、道路情報を導出するために前記位置に近接する道路エッジ画素のみが考慮される。路面画素の色は、1つの色を有するのではなく、種々の色の集合を有する。従って、路面画像において、路面の境界は直線ではなく、非常に雑音があるか又は波形曲線である。ストリップは、斜視図を表す元画像の四辺形に対応し、オルソ補正図を表す元画像の矩形である。本実施形態の特徴により、画像における外乱が道路情報と関連する位置情報の精度を減少させるという可能性が低減される。元画像がオルソ補正画像であり、画素の列が走行方向に平行な線に対応する場合、本実施形態の特徴は、非常に効率的に実現され、
路面画像において道路エッジ画素を判定し、
エッジ画素ヒストグラムを取得するために道路エッジ画素の数を列毎にカウントし、
道路エッジを表す列の位置を取得するためにエッジ画素ヒストグラムをフィルタリングし、
列の位置、並びに位置及び姿勢データの位置に依存して道路情報を計算することにより処理される。
路面画像において道路エッジ画素を判定することと、
事前定義済みの幅及び路面画像と関連付けられる移動車両の走行方向に平行な方向を有するストリップに属する道路エッジ画素の数に関連する最大値を含む路面画像におけるストリップの位置を判定すること、
道路エッジを表す線を取得するためにストリップに属する道路エッジ画素に線フィッティングアルゴリズムを実行することと、
線、並びに位置及び姿勢データに依存して道路情報を計算することとを含む。本実施形態において、画像において路肩の走行方向に平行な最も可能性の高い位置が最初に判定され、その後、道路情報を導出するために前記位置に近接する道路エッジ画素のみが考慮される。路面画素の色は、1つの色を有するのではなく、種々の色の集合を有する。従って、路面画像において、路面の境界は直線ではなく、非常に雑音があるか又は波形曲線である。ストリップは、斜視図を表す元画像の四辺形に対応し、オルソ補正図を表す元画像の矩形である。本実施形態の特徴により、画像における外乱が道路情報と関連する位置情報の精度を減少させるという可能性が低減される。元画像がオルソ補正画像であり、画素の列が走行方向に平行な線に対応する場合、本実施形態の特徴は、非常に効率的に実現され、
路面画像において道路エッジ画素を判定し、
エッジ画素ヒストグラムを取得するために道路エッジ画素の数を列毎にカウントし、
道路エッジを表す列の位置を取得するためにエッジ画素ヒストグラムをフィルタリングし、
列の位置、並びに位置及び姿勢データの位置に依存して道路情報を計算することにより処理される。
これらの特徴により、路面の境界の位置を非常に容易に且つ効率的に判定できる。列が走行方向に対応するオルソ補正画像は、関連する姿勢及び位置データを使用して取得される。このように、ストリップは、走行方向に平行に方向付けられ、1つ以上の隣接する列に対応する。このように、ストリップのエッジ画素の数は、最初にエッジ画素の数を列毎にカウントし、その後1つ以上の隣接する列のエッジ画素の数を列の位置毎にカウントすることにより容易にカウントされる。
有利な一実施形態において、フィルタリングは、
1つ以上の隣接する列におけるカウントされた道路エッジ画素の数に関連する最大値を有するヒストグラムにおける列の位置を判定することを含む。更なる実施形態において、計算することは、
路面画像の左側部分において最大値を有するヒストグラムにおける列の判定した位置に隣接する1つ以上の列のエッジ画素の列の位置の平均値を算出することにより路面の左側の境界の位置を判定することと、
路面画像の右側部分において最大値を有するヒストグラムにおける列の判定した位置に隣接する1つ以上の列のエッジ画素の列の位置の平均値を算出することにより路面の右側の境界の位置を判定することと、
左側及び右側の位置に依存して道路情報を計算することとを含む。これらの特徴は、道路情報を生成する単純で高速なアルゴリズムを提供する。本発明の更なる実施形態において、道路情報は、道路の中央の位置を表すパラメータの集合を含む。ここで、計算することは、路面の左側及び右側の境界の位置の平均位置を計算することによりパラメータの集合を判定することを含む。本発明の別の更なる実施形態において、道路情報は道路幅パラメータを含む。ここで、計算することは、路面の左側及び右側の境界の位置の間の距離を計算することにより道路幅パラメータの値を導出することを含む。このように、道路の中央及び幅に対応する道路情報は容易に取得される。
1つ以上の隣接する列におけるカウントされた道路エッジ画素の数に関連する最大値を有するヒストグラムにおける列の位置を判定することを含む。更なる実施形態において、計算することは、
路面画像の左側部分において最大値を有するヒストグラムにおける列の判定した位置に隣接する1つ以上の列のエッジ画素の列の位置の平均値を算出することにより路面の左側の境界の位置を判定することと、
路面画像の右側部分において最大値を有するヒストグラムにおける列の判定した位置に隣接する1つ以上の列のエッジ画素の列の位置の平均値を算出することにより路面の右側の境界の位置を判定することと、
左側及び右側の位置に依存して道路情報を計算することとを含む。これらの特徴は、道路情報を生成する単純で高速なアルゴリズムを提供する。本発明の更なる実施形態において、道路情報は、道路の中央の位置を表すパラメータの集合を含む。ここで、計算することは、路面の左側及び右側の境界の位置の平均位置を計算することによりパラメータの集合を判定することを含む。本発明の別の更なる実施形態において、道路情報は道路幅パラメータを含む。ここで、計算することは、路面の左側及び右側の境界の位置の間の距離を計算することにより道路幅パラメータの値を導出することを含む。このように、道路の中央及び幅に対応する道路情報は容易に取得される。
本発明の一実施形態において、道路情報は、画像シーケンスの第1の画像及び第2の画像を処理することにより生成された。ここで、ある時間の第1の画像は第2の画像に後続する。この特徴により、移動物体に対応する画素を検出できる。
本発明の更なる実施形態において、方法は、
路面の同様の地域を表す2つの連続元画像内の共通の領域を判定することと、
共通の領域の画素に対して、静止画素として分類される必要があるか又は移動物体の画素として分類される必要があるかを判定することとを更に含む。これらの特徴により、移動車両の前方又は後方の地上を表す共通平面に投影される場合、同様の地理的位置を有する連続画像の画素に対して、画素が双方の画像において同一の物体を視覚化するか又は異なる物体を視覚化するかを判定できる。
路面の同様の地域を表す2つの連続元画像内の共通の領域を判定することと、
共通の領域の画素に対して、静止画素として分類される必要があるか又は移動物体の画素として分類される必要があるかを判定することとを更に含む。これらの特徴により、移動車両の前方又は後方の地上を表す共通平面に投影される場合、同様の地理的位置を有する連続画像の画素に対して、画素が双方の画像において同一の物体を視覚化するか又は異なる物体を視覚化するかを判定できる。
更なる実施形態において、道路色サンプルは事前定義済み領域の静止画素から判定され、移動物体の画素は除外される。この特徴により、路面の色スペクトルのより適切な推定値を取得できる。
本発明の更なる実施形態において、道路色サンプルは、共通の領域の事前定義済み領域から判定される。この特徴により、本発明を実施する技術者は、道路色サンプルを判定するのに使用される画素を一般に高い確実性で路面の表現である画素に制限できる。
本発明の更なる実施形態において、路面画像は共通の領域から生成される。それらの特徴により、画素が路面を表すか否かを2つのオルソ補正画像においてチェックできる。
本発明の有利な一実施形態において、路面画像を生成することは、
共通の領域において移動物体の画素を検出することと、
路面から除外される前記画素をマークすることとを含む。
共通の領域において移動物体の画素を検出することと、
路面から除外される前記画素をマークすることとを含む。
自動車の前方又は後方の路面を移動する物体は、前記特徴を使用して路面から除外される。第1の画像及び第2の画像の共通の領域は、異なる時間に記録される。路面全体にわたり移動する物体は、第1の画像及び第2の画像において異なる位置を有する。動きは周知の画像処理アルゴリズムにより検出され、その後、第1の画像及び第2の画像における移動物体の位置が判定される。これにより、オルソ補正画像の画素が路面画素に対応するものとすることを示す画像を取得できる。
本発明の別の実施形態において、道路情報を生成することは、
車線標示及び他の描かれた道路標示を記述する道路情報を検出、識別及び抽出するために路面画素を表現する指示を有さない路面画像の画素を処理することを含む。道路色サンプルが路面の背景色のみを表す画素から取得される場合、道路塗装に対応する画素は路面画素として割り当てられない。道路塗装は、路面画像において孔として考えられる。車線分離標、停止線、実線車線、点線車線及び他の標準化された道路標示等の道路情報は、孔、並びにそれらの対応する位置及び姿勢を解析することにより識別される。
車線標示及び他の描かれた道路標示を記述する道路情報を検出、識別及び抽出するために路面画素を表現する指示を有さない路面画像の画素を処理することを含む。道路色サンプルが路面の背景色のみを表す画素から取得される場合、道路塗装に対応する画素は路面画素として割り当てられない。道路塗装は、路面画像において孔として考えられる。車線分離標、停止線、実線車線、点線車線及び他の標準化された道路標示等の道路情報は、孔、並びにそれらの対応する位置及び姿勢を解析することにより識別される。
本発明は、ソフトウェア、ハードウェア、あるいはソフトウェア及びハードウェアの組合せを使用して実現される。本発明の全て又は一部分がソフトウェアで実現される場合、そのソフトウェアはプロセッサ可読記憶媒体に常駐してもよい。適切なプロセッサ可読記憶媒体の例は、フロッピー(登録商標)ディスク、ハードディスク、CD ROM、DVD、メモリIC等を含む。システムがハードウェアを含む場合、ハードウェアは、出力装置(例えば、モニタ、スピーカ又はプリンタ)、入力装置(例えば、キーボード、ポインティングデバイス及び/又はマイク)、及び出力装置と通信するプロセッサ並びにプロセッサと通信するプロセッサ可読記憶媒体を含んでもよい。プロセッサ可読記憶媒体は、本発明を実現するための動作を実行するようにプロセッサをプログラムできるコードを格納する。本発明の処理は、電話線、あるいは他のネットワーク又はインターネット接続を介してアクセスできるサーバにおいても実現可能である。
多くの例示的な実施形態を使用し且つ添付の図面を参照して、本発明を以下に更に詳細に説明する。添付の図面は、本発明を例示することを意図し、添付の請求の範囲及びそれに等価な実施形態により規定される本発明の範囲を限定することを意図しない。
図1は、自動車1の形態をとるMMSシステムを示す。自動車1は、1つ以上のカメラ9(i)、i=1, 2, 3,... Iを備える。自動車1は、関心道路に沿って運転者により運転される。
自動車1は、複数の車輪2を備える。更に自動車1は、高精度位置判定デバイスを備える。図1に示すように、位置判定デバイスは以下の構成要素を含む。
・アンテナ8に接続され、複数の衛星SLi(i=1, 2, 3,...)と通信し且つ衛星SLiから受信される信号から位置信号を計算するように構成されるGPS(全地球測位システム)ユニット。GPSユニットは、マイクロプロセッサμPに接続される。GPSユニットから受信される信号に基づいて、マイクロプロセッサμPは自動車1のモニタ4に表示される適切な表示信号を判定してもよく、それにより自動車の位置が特定される場所及び可能性として自動車が移動している方向を運転者に通知する。GPSユニットの代わりに差動GPSユニットが使用されてもよい。差動全地球測位システム(DGPS)は、衛星システムにより示される位置と周知の固定位置との差をブロードキャストするために固定地上基準局のネットワークを使用する全地球測位システム(GPS)を拡張したものである。それらの基準局は測定した衛星擬似距離と実際の(内部で計算された)擬似距離との差をブロードキャストし、受信機局は同一量だけ擬似距離を補正してもよい。
・DMI(距離測定計器)。この計器は、1つ以上の車輪2の回転数を検知することにより自動車1が移動した距離を測定する走行距離計である。DMIは、マイクロプロセッサμPに更に接続され、GPSユニットからの出力信号から表示信号を計算する一方で、マイクロプロセッサμPがDMIにより測定された距離を考慮できるようにする。
・IMU(慣性測定ユニット)。そのようなIMUは、3つの直交方向に沿って回転加速度及び並進加速度を測定するように構成される3つのジャイロユニットとして実現可能である。IMUは、マイクロプロセッサμPに更に接続され、GPSユニットからの出力信号から表示信号を計算する一方で、マイクロプロセッサμPがDMIによる測定値を考慮できるようにする。IMUは、推測航法センサを更に含むことができる。
図1に示すシステムは、例えば自動車1に搭載された1つ以上のカメラ9(i)を使用して写真を撮影することにより地理データを収集するいわゆる「モバイルマッピングシステム」である。カメラは、マイクロプロセッサμPに接続される。自動車の前方にあるカメラ9(i)は立体カメラであってもよい。カメラは、画像シーケンスを生成するように構成されてもよく、画像は事前定義済みのフレームレートで取り込まれる。例示的な一実施形態において、1つ以上のカメラは、自動車1の事前定義済みの変位毎又は時間間隔毎に写真を取り込むように構成される静止画像カメラである。事前定義済みの変位は、2つの後続写真が路面の同様の部分、すなわち同一の地理的位置を有するか又は同一の地域を表す部分を含むように選択される。例えば写真は、8m移動する毎に取り込まれる。
3つの測定ユニット、GPS、IMU及びDMIから可能な限り正確な場所及び姿勢測定値を提供することが一般的に望まれる。それらの場所及び姿勢データが測定される一方で、カメラ9(i)は写真を撮影する。写真は、後で使用するために、それらの写真が撮影されるのと同時に収集された自動車1の対応する場所及び姿勢データと関連付けられてμPの適切なメモリに格納される。写真は、道路の中央、路面エッジ及び道路幅等の道路情報に関する情報を含む。
図2は、図1に示す3つの測定ユニットGPS、DMI及びIMUから取得される位置信号を示す。図2は、マイクロプロセッサμPが6つの異なるパラメータ、すなわち所定の座標系における原点に対する3つの距離パラメータx、y、zと、それぞれx軸、y軸及びz軸を中心とする回転を示す3つの角度パラメータωx、ωy及びωzとを計算するように構成される。z方向は、重力ベクトルの方向と一致する。
自動車1のマイクロプロセッサ及びメモリ9は、コンピュータ装置として実現されてもよい。そのようなコンピュータ装置の一例を図14に示す。
図3は、本発明に従って道路情報を生成する処理の例示的な一実施形態を示すブロック図である。処理は、図1に示すモバイルマッピング車両を使用して関連する位置及び姿勢データを有する元画像のシーケンスを取り込み且つ取り込まれたデータを記憶媒体に格納することによりMMS(モバイルマッピングシステム)セッション31から開始する。処理ブロック32において、取り込まれたデータは処理され、関連する位置及び姿勢データを有する元画像毎にオルソ補正タイルを生成する。関連する位置及び姿勢データは、GPS、DMI及びIMUから取得可能な位置信号と、自動車の位置及び姿勢に対する各カメラの位置及び姿勢とを含む。元画像からオルソ補正タイルを生成することについては、以下に更に詳細に説明する。位置及び姿勢データにより、同一の地理的位置を有する同一の地域を表す路面の同様の部分を含む2つの連続画像を重畳できる。更に、取り込まれたデータにおける位置及び姿勢データから自動車の軌跡が判定可能である。
オルソ補正タイルは、路面上の移動物体に対応する画素を検出し且つ道路色サンプルを導出するために使用される。ブロック33は、移動物体の画素を検出する処理を表し、ブロック34は、道路色サンプルを導出する処理を表す。双方の処理は、同一画像に対して同時に実行される。従って、ブロック33は、n番目の画像に対して、画素毎に画素が静止物体に対応するか又は移動物体に対応するかが示されるn番目のオルソ補正2値画像を生成し、ブロック34は、n番目の画像に対して関連する道路色サンプルを生成する。道路色サンプルは、1つ以上の連続する元画像において路面の色であると認識された値を有する色値の集合であり、例えばモバイルマッピング車両の走行方向に対するカメラの姿勢に基づくn番目の画像の画素値は、正常な状態下で路面を表すべきである。例えば道路色サンプルは、画像中の多角形の画素から得られ、多角形の領域は、車両が走行する路面に対応する。
ブロック35において、n番目の元画像の道路色サンプルは、道路色サンプルに含まれる色を有するn番目の元画像の全ての画素を選択するために使用される。その後、移動物体に対応すると識別されたn番目の画像の画素は、非静止画素としてマークされる。ブロック35の結果、n番目の画像の関連する画素が路面に対応し且つ移動物体に対応するか否かを画素毎に示す2値オルソ補正画像が得られる。
ブロック36において、左側及び右側、あるいは道路の位置は2値オルソ補正画像から判定される。道路の左側及び右側を判定するアルゴリズムについては、以下に更に詳細に説明する。判定された位置は、n番目の画像に示される路面の中央の位置及び路面の幅を導出するために使用される。n番目の元画像と関連付けられる位置及び姿勢データを使用して、道路の中央の対応する地理的位置が計算される。
更にブロック36において、2値オルソ補正画像は、車線標示及び他の描かれた道路標示を記述する道路情報を検出、識別及び抽出するために使用される。道路色サンプルが路面の背景色のみを表す画素から取得される場合、道路塗装に対応する画素は路面画素として割り当てられない。道路塗装は、2値画像における孔として考えられる。車線分離標、停止線、実線車線、点線車線及び他の標準化された道路標示等の道路情報は、孔、並びにそれらの対応する位置及び姿勢を解析することにより識別される。孔の形状及びサイズが判定され、車線標示及び他の標準化された道路塗装の周知の特徴とマッチングされる。一実施形態において、多角形が孔毎に生成される。多角形は、対応する道路塗装を識別するために使用される。画像中の道路の車線分離標を識別することにより、車線の合計数が導出される。適合する孔の位置及び姿勢は、路肩、道路のセンターライン及び隣接する道路標示の位置に対して検証され、誤って検出される道路情報項目の数を減少する。更に、孔内の画素の色値は、孔を解析して誤った検出を更に減少するために使用される。
ブロック37において、計算された道路の中央及び道路幅、並びに他の道路情報項目は、デジタル地図データベースにおいて使用するために属性としてデータベースに格納される。そのようなデジタル地図データベースは、ナビゲーションシステム等のナビゲーションアプリケーションにおいて使用され、ユーザが運転している道路を表す斜視図又は上面図をディスプレイ上に示すか、あるいは方向提供又は安全アプリケーションと関連して情報を使用できる。図3に示す各ブロックについては、次に更に詳細に開示する。
図4は、ブロック32において実行される元画像のオルソ補正タイルへの変換の一般的な原理を示す側面図である。カメラ又はCCDカメラ202(図2に示す)のイメージセンサ101は、元画像のシーケンスを記録する。元画像は、図1に示すような自動車に搭載される地上のカメラ9(i)により録画されるある程度垂直な画像を表す。元画像は、静止画像カメラを使用して録画される静止画のシーケンスであってもよい。そのカメラは、例えば8mの変位毎にトリガされる。イメージセンサを含むカメラは画角αを有する。画角αは、カメラのレンズの焦点距離102により判定される。画角αは45°<α<180°の範囲であってもよい。更にカメラは、画角の中央にある観察軸103を有する。図1において、観察軸103は水平面104に平行である。イメージセンサ101は、観察軸103に垂直に搭載される。この場合、イメージセンサ101は、「純粋な」垂直な元画像を録画する。更にイメージセンサの高さが地上等の水平面に対して周知である場合、イメージセンサ101により録画される画像は、水平面の上面図を変倍したものを表すオルソ補正タイルに変換される。水平方向に適切な解像度を有する水平画像を取得するために、イメージセンサの限定領域が使用される。図4は、水平面における一部108に対応するイメージセンサ101の一部106を示す。オルソ補正タイルの最低許容解像度は、水平面におけるイメージセンサと最も遠い点との間の最長距離を判定する。地上のカメラから検索される元画像は、三角法を使用して任意の仮想面に変換される。観察軸が水平面に対して周知の角度で傾けられる場合でも、オルソ補正タイルは元画像から取得可能である。
図5は、元画像のオルソ補正タイル200への変換の一般的な原理を示す上面図である。カメラ202の画角α及び観察軸103、218の姿勢は、イメージセンサ101により録画される水平面の一部を判定する。オルソ補正タイル200の境界線は、図中符号224により示される。図5において、カメラ202の観察軸218は、道路の車線標示を含む方向中央軸と一致する。ナビゲーションシステム等に必要な精度及び属性の収集には、オルソ補正タイルの事前定義済み最低解像度が必要とされる。それらの要求は、元画像から取得される水平面の一部を制限する。水平面に対するカメラの焦点208の位置と水平面の領域の境界との間の最長距離206は最低解像度を判定する。更に実際には、最長距離206は、特定の道路を運転する場合に2つの自動車間の最短距離により制限される。そのように最長距離を制限することにより、殆どの場合、オルソ補正タイルにおける路面がモバイルマッピング車両の前方を走行する自動車の後部を含まないという利点を有する。更に最長距離206と最短距離204との差は、カメラによる画像の後続する録画の間の最大許容距離を判定する。これにより、車両の最高走行速度を制限できる。水平面の矩形は、元画像においてほぼ台形の形状を有する領域に対応する。最短距離及び画角αにより、オルソ補正タイル200が元画像において対応する領域を有さない小さな領域210を含むか否かが判定されることが図5から分かる。オルソ補正タイル200は破線の正方形であり、小さな領域210は200で示される破線の正方形の隅に近接する部分を切り離す小さな三角形である。
一実施形態において、オルソ補正タイル200は、幅220が16mであり且つ長さ222が16mである領域に対応する。画像が8m毎に取り込まれる場合、路面の99%が2つの連続する画像で見られる。オルソ補正タイルを更に処理するために、矩形の形状のオルソ補正タイルを有することは有利である。元画像において関連する画素を有さないオルソ補正タイルの画素は、事前定義済み色値を与えられる。事前定義済み色値の一例は、存在しない路面の色に対応する色、あるいは一般に元画像に存在しない又はほぼ存在しない値である。これにより、オルソ補正タイルの更なる処理における誤差の可能性は低減される。
観察軸からの距離214及び焦点208からの距離204を有する画素216毎にオルソ補正タイルを取得するための元画像の変換の一実施形態において、元画像の対応する位置は、参考として本明細書に取り込まれる未公開の特許出願PCT/NL2006/050252において更に詳細に説明される三角法を使用して判定される。尚、元画像をオルソ補正画像に変換する場合、解像度(各画素が表す物理的なサイズ)は変更される(より大きくされる)。オルソ補正画像の画素の色値を取得するために元画像における関連する画素の色値を平均することにより、サイズは大きくなる。平均化は、処理内で路面色サンプルをクラスタ化し且つ雑音を低減する効果を有する。
一実施形態において、図6は画像の立体対を上部に示す。下部には、2つの対応する変換済みオルソ補正タイルが示される。オルソ補正タイルにおける画素値は、第1に元画像における対応する位置の三角法又は三角形分割を使用して判定し且つ第2に元画像における最近接画素の値をコピーすることにより導出される。値は、4つ又は9つの最近接画素の間の補間によっても取得可能である。破線302及び304は、オルソ補正タイルを取得するために使用される元画像の領域を示す。好適な一実施形態において、オルソ補正タイルは矩形である。立体カメラを使用すると、相対的に大きく重なり合う領域を含む2つのオルソ補正タイルシーケンスが得られる。図7は、図6における2つのオルソ補正タイルを重畳することにより取得されるオルソ補正モザイクを示す。重畳は、各オルソ補正タイルの地理的位置に基づいてもよい。各オルソ補正タイルの地理的位置は、移動車両からのGPS位置、移動車両の走行方向又は姿勢、移動車両にあるカメラの位置及び移動車両にあるカメラの姿勢を含む位置判定関数から導出される。オルソ補正タイルの地理的位置を導出するためのパラメータは、元画像と関連する位置及び姿勢データとして格納される。オルソ補正モザイクの左側領域402及び右側領域406は、図6の左側オルソ補正タイル及び右側オルソ補正タイルからそれぞれ取得される。オルソ補正モザイクの中央の領域404は、左側オルソ補正タイル又は右側オルソ補正タイルの対応する領域から取得される。前方の立体カメラ又は2つのカメラを使用する利点は、2つのカメラが前記カメラのうちの一方のみの場合より広い角度にわたり画像を録画できるため、より大きな/広いオルソ補正モザイクが取得されることである。同様に、側方監視カメラと組み合わせて前方監視カメラを使用することにより、歩道を含む非常に広い道路又は通りから正確なオルソ補正モザイクを取得できる。このように、完全な幅の路面を表すオルソ補正画像が生成される。
ブロック34において、道路色サンプルがオルソ補正画像から取得され、オルソ補正画像において路面を検出する。図8は、道路色サンプルを取得するための領域の一例を示す。自動車は道路800を走行する。矢印804は、自動車の走行方向を識別する。806で示される領域は路肩である。自動車が道路を走行する時、自動車の直前の全てのものは道路であると仮定できる。しかし、路面の画素は、1つの色を有するのではなく、いわゆる色空間の色を有する。各オルソ補正画像において、一般に路面を表す画素を含む事前定義済み領域802が規定される。事前定義済み領域802は矩形の形状であってもよく、モバイルマッピング車両の前方の車線の5〜11mの領域の画素を表す。事前定義済み領域は、車両の軌跡を含み、車線標示の色を含む画素を除外し且つ路面の背景色を表す画素のみを含むように十分に狭い領域であるのが好ましい。事前定義済み領域802の画素の色は、道路色サンプルを生成するために使用される。道路色サンプルは、画素が路面である可能性が高いか否かを判定するために使用される。画素がオルソ補正画像の道路色サンプルに存在する色値を有する場合、画素は路面である可能性が高い。道路色サンプルは、立体カメラからの画像対の1つの画像等のモバイルマッピング車両の前方の道路を記録する画像から最適に取得される。これは、それらの画像が車両の軌跡を含み且つ軌跡が一般に路面にわたるものであるためである。道路色サンプルは、1つの画像から得られ、前記画像において路面を検出する。技術者は、色サンプルを取得する多くの方法を見つけることができ、多くのパラメータを平均してもよい。別の実施形態において、道路色サンプルは2つ以上の連続画像から得られる。道路色サンプルは、n番目の画像毎に判定され、n番目の画像及び(n−1)個の連続画像に対して使用される。路面の色が道路の照明条件及び光度に大きく依存するため、道路色サンプルを定期的に取得することは重要である。影になっている路面は、直射日光が当たる路面とは非常に異なる道路色サンプルを有するだろう。従って、十分な処理電力がオルソ補正画像毎に利用可能である場合、対応する道路色サンプルが判定され、前記画像において路面を検出するために使用されるべきである。更に、いくつかの画像からの道路色サンプルが組み合わされて、望ましくない一時的なサンプルのフィルタリングを可能にしてもよい。
道路色サンプルは、移動車両の前方にある移動物体の色により汚染される。従って、オプションとして、ブロック33において移動物体の画素として検出される画素の色値は道路色サンプルから除外される。このように、道路色サンプルの汚染は回避される。このオプションは、図3においてブロック34への破線により示される。
尚、図8は元画像のオルソ補正部分を表す。観察軸が車両の走行方向に平行でない場合、その部分の輪郭は非対称的である(図示するように)。
道路の幅及び中央を判定できるように、カメラは道路の完全な幅を取り込む必要がある。一般に、自動車が道路を走行している時、自動車の前方の車間距離は最短である。この距離は、事前定義済み領域を判定して道路色サンプルを取得するために使用される。更に、画像において自動車の前方の自動車まで路面以外何も見えないことが仮定される。しかし、道路の他の車線において、自動車、オートバイ、バン等の移動物体がモバイルマッピング車両を追い越す可能性がある。移動車両に対応する画素は、路面として分類されるべきではない。
図3のブロック33は、元画像において移動物体の画素を検出する。移動物体の画素は、2つの連続するオルソ補正画像の共通の領域において検出される。図9は、2つの後続画像を重畳した結果を示す。図中符号902及び904は、n番目及び(n+1)番目の元画像から導出された画素を有するn番目及び(n+1)番目のオルソ補正画像の一部の境界を示す。矢印908は、モバイルマッピング車両の走行方向を示す。n番目及び(n+1)番目のオルソ補正画像は、走行方向の道路16mを含み、(n+1)番目の画像は、n番目の画像を取り込んだ後にモバイルマッピング車両が8m変位した時に得られる。その場合、車両の走行方向に8mの共通平面906が存在する。n番目の画像の共通平面906に対応する画素は、(n+1)番目の画像の共通平面に対応する画素とは別の時点に対応する。移動物体がn番目及び(n+1)番目の画像において異なる位置を有する一方、静止物体は共通平面906において移動しない。移動物体の画素は、共通平面906において等しい位置を有する画素間の色距離を判定することにより見つけられる。
共通平面906におけるn番目の画像の画素は、rn、gn、bnにより表される。ここで、r、g及びbは画素の赤色値、緑色値及び青色値に対応する。共通平面906における同一位置の(n+1)番目の画像の画素は、rn+1、gn+1、bn+1により表される。例示的な一実施形態において、共通平面において同一位置を有する前記画素の色距離は、以下の式により判定される:
dist=(distR+distG+distB)/3
distR = (rN - rN+1)2
distG = (gN - gN+1)2
distB = (bN - bN+1)2
thrが適応閾値であり、dist > thr2である場合、画素は移動物体を表し、それ以外の場合、画素は静止するものを表す。一実施形態において、閾値は従来のRGB空間において102〜152の距離である。別の方法は、スペクトル特性に対する距離、例えば画素の平均色を使用することである。技術者は、画素が移動物体を表すか又は静止するものを表すかを判定する多くの他の方法を見つけられる。
dist=(distR+distG+distB)/3
distR = (rN - rN+1)2
distG = (gN - gN+1)2
distB = (bN - bN+1)2
thrが適応閾値であり、dist > thr2である場合、画素は移動物体を表し、それ以外の場合、画素は静止するものを表す。一実施形態において、閾値は従来のRGB空間において102〜152の距離である。別の方法は、スペクトル特性に対する距離、例えば画素の平均色を使用することである。技術者は、画素が移動物体を表すか又は静止するものを表すかを判定する多くの他の方法を見つけられる。
尚、本発明において、RGB空間の代わりに任意の他の色空間が使用できる。色空間の例は、絶対色空間、LUV色空間、CIELAB、CIEXYZ、AdobeRGB及びsRGBである。各色空間は、特定の利点及び欠点を有する。
図10は、n番目及び(n+1)番目のオルソ補正画像1002、1004の共通平面1006の画素に対して移動物体に対応する画素の検出を実行した後の結果例を示す。結果として、白色画素が静止する物体と関連付けられ且つ黒色画素が移動物体と関連付けられる2値画像が得られる。移動物体は、n番目及び(n+1)番目の元画像において異なる地理的位置を有する物体である。動きは、n番目及び(n+1)番目のオルソ補正画像1002、1004の共通平面1006において検出され、共通平面の画素は、前記画素が2つの連続画像間の閾値より大きい色ずれを有する場合に移動物体と関連付けられる。図10の移動物体1010は、別の車線を走行する車両であってもよい。矢印1008は、カメラを保持する車両の走行方向を示す。
ブロック34により生成されるn番目の画像と関連付けられる道路色サンプルは、n番目の画像において路面を表す画素を検出し且つ路面画像を生成するために使用される。n番目の画像の共通平面906の画素毎に、画素の色値が道路色サンプルに存在するか、あるいは道路色サンプルの任意の色、又は道路色サンプルの1つ以上の特徴、例えば道路色サンプルの平均色又は色スペクトルから所定の距離内に存在するかのチェックが行なわれる。チェックが肯定の場合、路面画像の対応する画素は路面画素として分類される。尚、オルソ補正画像の画素は、元画像の2つ以上の画素値を処理することにより取得される。これにより、道路色サンプルの色スペクトルにおける雑音が低減され、その結果、路面画素の選択及び識別の品質が向上される。更に、テクスチャ解析及びセグメント成長又は領域成長アルゴリズムがオルソ補正画素から路面画素を選択するために使用される。画素が静止画素であるか又は移動物体に対応するかを示すブロック33により生成されるn番目の画像と関連付けられる2値画像は、対応するパラメータを路面画像の各画素に割り当てるために使用される。この路面画像の2つの特性は、道路エッジ画素を選択して道路エッジ画像を生成するために使用される。第1に、路面画像の行毎に、最も左側の画素及び最も右側の画素が更なる処理のために道路エッジ画素の一部として選択、識別及び格納される。尚、道路エッジ画素を選択するために他のアルゴリズムが使用されてもよく、例えば最も左側及び最も右側の隣接する画素のチェーンを形成する路面の画素を選択する。第2に、道路エッジ画素毎に、その場所が移動物体に対応する画素に近接するかが検証される。道路エッジ画素が移動物体の画素に近接する場合、前記画素は、不確かなものとしてマークされるか又は2値画像の道路エッジ画素から除外される。道路エッジ画素と最近接する移動物体の画素との間の距離が3画素より小さい場合、道路エッジ画素は移動物体の画素に近接すると考えられる。一実施形態において、道路エッジ画素は、不確かなものとしてマークされるか又は路面の対応する画素が移動物体の画素としてマークされる場合には除外される。不確かな指示は、依然として所定の信頼性で元画像に対応する道路エッジの位置を自動的に導出できるかを判定するために使用される。存在する不確かな道路エッジ画素が多すぎる場合、方法は、ユーザが元画像又はオルソ補正元画像において左側の道路エッジ及び/又は右側の道路エッジの位置を示すことを可能にするために元画像を提供するように構成される。このようにして取得された位置は、更なる処理のためにデータベースに格納される。従って、前記画素が静止画素であり且つオルソ補正画像の関連する画素の色が道路色サンプルの色であることをブロック33により生成される2値画像が示す場合、共通平面の画素は道路エッジ画素として分類される。この要求を満たさない任意の画素は、道路エッジ画素として分類されない。路面画像が視覚化され且つ移動物体に対応する画素が路面画素から除外される場合、移動物体は路面の孔又は路面の側部の切り抜きとして見られるだろう。
図11は、路面1102、左側の道路エッジ1104、右側の道路エッジ1106及び道路に沿う芝生の境界1108を含む路面画像1100の理想化された一例を示す。更に図11は、路面画像1101上の重ねられるものとして、車両の走行方向1110と道路の計算された左側1112及び右側1114とを示す。路肩近くの路面の色が道路色サンプルと異なる可能性があるため、路面1102のエッジ1104、1106は平滑でない。例えば路肩は埃で覆われる。更に道路の色は、影のためにずれ過ぎる可能性がある。従って、エッジはぎざぎざになっている。ブロック36において、第1に路面画像のエッジ画素が判定される。エッジ画素は、走行方向に垂直の線1116上の極限の路面画素である。このように、移動物体又は他のノイズによる路面の内部の孔により、道路エッジを誤って検出することはない。尚、図11において、道路エッジ1104及び1106は連続する線により表される。実際には、例えば移動物体のために、不確かなものとしてマークされる道路エッジ画素が除外されるため、道路エッジは不連続である可能性がある。
第2に、エッジ点は直線に適合される。以下に説明するアルゴリズムは、道路エッジが車両の走行方向にほぼ平行であるという仮定に基づく。路面画像において路面の左側及び右側の位置の大まかな推定値を取得するために、走行方向に平行なストリップ又はウィンドウが使用される。ストリップは、事前定義済みの幅を有する。ストリップは左側から右側に移動され、ストリップの可能な位置毎に、ストリップ内の道路エッジ画素の数が判定される。各位置に対する道路エッジ画素の数は、棒グラフに表される。図12は、路肩の位置を判定するために上述の方法が図11のような路面画像に適用される場合に取得される棒グラフを示す。垂直軸1202はストリップ内の道路エッジ画素の数を示し、水平軸1204はストリップの位置を示す。頂点を形成するか又は局所的に最大数の画素を有する位置は、大まかな路肩の位置を示すと考えられる。路肩の厳密な位置がストリップ内にあるため、その位置は大まかなものである。路肩の位置は、ストリップ内のエッジ画素を走行方向に平行な直線に適合させることにより判定される。例えば、エッジ画素を通る走行方向に平行な最適に適合する直線を見つけるために、周知の線形最小二乗フィッティング技術が使用される。道路エッジの位置、道路幅及びセンターラインを判定するのに非常に適する多角形スケルトンアルゴリズム及び中央値に基づく線形回帰等のロバスト線形回帰アルゴリズムが見つけられている。オルソ補正画像の地理的位置が周知であるため、そのように見つけられた直線の地理的位置は非常に容易に計算される。同様に、右側の路肩の位置が判定される。尚、エッジ画素は、直線の道路エッジの代わりに曲がった路肩を取得するように任意の線フィッティングアルゴリズムに適用可能である。これは、元画像を処理するのに必要な処理電力を増加するが、道路の湾曲部において有用である。判定された道路エッジ及びセンターラインは、終点及び形状点の位置のうち少なくとも1つを含むパラメータの集合として格納される。パラメータの集合は、対応する線を表す多項式の係数を表すパラメータを含むことができる。
上記規定された路肩の位置を判定するアルゴリズムは、車両の走行方向が画像の姿勢に対して周知である任意のオルソ補正画像において使用可能である。走行方向及び姿勢により、車両が直線道路又は湾曲した道路を走行する時の車両の軌跡に対応する画像内の領域を正確に判定できる。この領域は、道路色サンプルを取得するために使用される。一般に軌跡が路面全体にわたるため、特別な画像解析アルゴリズムを実行して路面を表すことができる画像の領域を判定することなく、道路色サンプルは自動的に取得可能である。
有利な一実施形態において、ブロック32は、オルソ補正画像の画素の列が車両の走行方向に対応するオルソ補正画像を生成するように構成される。この場合、路肩の位置は非常に容易に判定される。上述のようなストリップ中のエッジ画素の数は、隣接するx列のエッジ画素の合計に対応する。ここで、xは列数であり、ストリップの幅に対応する。ストリップの位置は、ストリップを形成する列のうち中央の列の位置に対応するのが好ましい。一実施形態において、ストリップの幅は1.5m幅に対応する。
路肩の位置を判定するアルゴリズムは、以下の動作を含むことができる。
−画素の列毎にエッジ画素の数をカウントする。
−列の位置毎に隣接するx列のエッジ画素の数を集計する。
−隣接するx列の集計したエッジ画素の数の極大値を有する列の位置を判定する。
−先に判定した位置と関連付けられる隣接するx列に対応するエッジ画素の平均(列の)位置を判定する。
これらの全ての動作は、カウント、加算、比較及び平均化等の単純な動作により実行される。オルソ補正画像の左側部分における極大値は左側の路肩と関連付けられ、オルソ補正画像の右側部分における極大値は右側の路肩と関連付けられる。
左側及び右側の路肩に対応する直線の位置を判定した後、左側及び右側の路肩の平均位置を計算することにより道路の中心が判定される。道路の中心は、例えば緯度及び経度を有する終点の座標により特徴付けられるパラメータの集合として格納される。道路の幅は、左側及び右側の路肩の位置の間の距離を計算することにより判定される。図13は、オルソ補正画像1302の一例を示す。道路の検出された右側エッジ、道路の検出された左側エッジ及び道路の算出されたセンターラインは、画像に重畳される。
尚、上述の方法は、移動物体と関連付けられる画素の検出及び色情報の双方を使用する。また、方法は前記画素を検出せずに適切に実行する。そのような場合、地図データベースにおいて使用する道路情報を生成するために、毎回1つの元画像のみが使用される。
図15a、図15b及び図15cは、図1に示すMMSシステムにより取得される画像シーケンスから得られる3つの元画像の例を示す。画像シーケンスは、定期的に画像を得ることにより取得された。このように、30フレーム/秒又は25フレーム/秒等の事前定義済みフレームレートの画像シーケンスが生成される。図15a〜図15cに示す3つの元画像は、画像シーケンスの後続する画像ではない。画像毎に高精度位置決めデバイスを使用して、カメラの位置及び姿勢は正確に判定される。未公開の特許出願PCT/NL2006/050252において説明される方法を使用して、各図の画像は、オルソ補正画像に変換される。ここで、画素毎に対応する地理的位置が位置及び姿勢データから導出される。各オルソ補正画像と関連付けられる位置及び姿勢データにより、オルソ補正画像からオルソ補正モザイクが生成可能である。
図16は、仲介画像並びに図15a〜図15cに示す3つの元画像に対応する画像シーケンスから取得される路面のオルソ補正モザイクを示す。オルソ補正モザイクにおいて、3つの画像に対応する領域が示される。151a、152a及び153aにより示される領域は、図15a、図15b及び図15cにそれぞれ示される元画像のオルソ補正部分に対応する。151b、152b及び153bにより示される領域は、図15a、図15b及び図15cにそれぞれ示される元画像の対応する部分のオルソ補正により取得された領域に対応する。しかし、図15a〜図15cに示される元画像に後続する画像が、カメラの位置と路面との間の距離がより短いために自動車の前方の自動車が路面の視界を遮ることがより少なく且つより高い解像度を有する同一の領域を提供するため、それらの領域はオルソ補正モザイクにおいて使用されない。151b、152b及び153bの最も遠い部分も使用されないが、後続画像(図16には示さない)が同様の理由により代わりに使用される。元画像の小さな領域のみがオルソ補正モザイクにおいて使用されることが分かる。使用される領域は、MMSシステムの事前定義済みの距離からフレームレートに対応する後続する時間間隔の間のMMSシステムの移動速度に関連する距離までの路面に対応する。元画像の使用される領域は、移動速度の増加と共に増加する。図16において、MMSシステムの軌跡160が更に示される。カメラの位置と元画像の画素により表現される路面との間の最長距離は、道路を走行する2つの車両間の最短距離より短いのが好ましい。これに当てはまる場合、MMSシステムの前方を走行する車両のために歪みを示さない道路区分の路面のオルソ補正モザイクが生成可能である。
更に、路面の各部分が少なくとも2つの画像で取り込まれることが図16から容易に分かる。151b、152b及び153bにより示される領域の部分は、図15a〜図15cに示される画像から取得されるオルソ補正画像の範囲に含まれることが分かる。領域151b、152b及び153bの一部が図15a〜図15cに示される画像に後続する画像のオルソ補正部分であることは、図示されないが容易に推測できる。図15a〜図15cに示す画像シーケンスの画像において自動車は可視であるが、それらの自動車はオルソ補正モザイクにおいては可視ではない。尚、領域151aは、直前の自動車の車台の暗成分を示す。先行する画像における対応する地域が前記暗成分以外のものを示すため、暗成分に対応する前記画素は移動物体の画素としてマークされ、道路色サンプルから除外される。
上述の方法は、路面の色を表す道路色サンプルを生成するために使用される。図15に示す元画像及び図16に示すオルソ補正モザイクから、路面が均一な色を有さないことが分かる。オルソ補正モザイクは、道路幅、車線幅等の道路情報を判定するために使用される。上記において、路面に対応する画素及び路面に対応しない画素を判定するための道路色サンプルの使用方法が開示される。更に、画素毎に静止画素であるか又は移動物体の画素であるかを判定する方法が上述される。それらの方法は、オルソ補正モザイクにおいて路面に対応する画素を判定するのに適する道路色サンプルを判定するために更に使用される。道路色サンプルは、カメラが搭載される移動車両の前方の路面を表す1つの元画像における事前定義済み領域と関連付けられる画素から判定される。しかし、前記事前定義済み領域の路面が影を含まない場合、道路色サンプルは影になっている路面に対応する画素をオルソ補正モザイクに対して生成される路面画像に割り当てない。従って、本発明の一実施形態において、道路色サンプルは2つ以上の連続画像から判定される。道路色サンプルは、オルソ補正モザイクを解釈するために使用されるオルソ補正画像の事前定義済み領域に存在する全ての画素値に対応する。別の実施形態において、道路色サンプルは、オルソ補正モザイクの事前定義済み領域に存在する全ての画素値に対応する。ここで、事前定義済み領域は、移動車両の軌跡160に従うストリップの全ての画素を含む。軌跡は、ストリップの中央であってもよく、ストリップのいずれかの場所に存在するべきである。そのように取得される道路色サンプルは、路面のほぼ全ての色値を含み、アプリケーションがオルソ補正モザイクにおいて路面に対応する全ての画素をほぼ正確に検出し且つ道路エッジの位置等の道路情報を判定する際に元となる路面画像を取得することを可能にする。
一実施形態において、道路色サンプルは事前定義済み領域の静止画素から判定され、移動物体の画素は除外される。本実施形態において、道路色サンプルは、移動物体の画素として分類されない所定の領域の画素の色値のみを含む。このように、道路色サンプルは路面のより適切な色を表す。
図17は、上部に路面画像を有する図16のオルソ補正モザイクを示す。領域170は、路面画素として分類されていない画素の領域を示す。路面画素として分類された画素は、図17において透明である。図17の領域170と透明な領域との間の境界を形成する画素は、道路エッジ画素として割り当てられ、道路エッジ及び道路のセンターラインの位置等の道路情報を判定するために使用される。
尚、オルソ補正モザイクは、移動車両の前方の事前定義済み領域を表す元画像の領域の合成である。従って、オルソ補正モザイクから生成される路面画像は、移動車両の前方の事前定義済み領域を表す元画像の領域の合成である。
上述の方法は、画像シーケンスを取り込む間に移動物体が移動車両の前方の事前定義済み領域に存在しないことが保証される場合に適切に動作する。しかし、これが当てはまるとは限らない。図16において、元画像2に対応するモザイク部分は影を含む。前記影に対応する色値は、結果として路面画像の不適切な生成をもたらす。従って、上述するように、道路色サンプルを生成するために使用される画素毎に、静止画素に対応するか又は移動物体の画素に対応するかが判定される。
オルソ補正モザイクに対して、対応する画像、すなわち移動物体の画像が生成され、画素毎にオルソ補正モザイクの対応する画素が移動物体の画素の静止画素かを識別する。道路色サンプルを取得するために移動車両の軌跡に従うストリップの画素の画素値のみが使用され、移動物体の画素として分類されるストリップの全ての画素が除外される。このように、道路色サンプルを取得するために、画像シーケンスの2つの後続画像において静止画像として識別される画素の画素値のみが使用される。これにより、道路色サンプルの品質及び従って路面画像の品質が向上する。
上述の移動物体の検出を適用する場合、影に対応する画素は、画像シーケンスの先行画像と同様に移動物体の画素として識別され、オルソ補正画像の対応する画素は、移動車両の前方の車両を示す。車両の色は、影になった路面と非常に異なる。
移動物体の画像は、オルソ補正モザイクに対応する路面画像における道路エッジの位置の判定を向上するために更に使用される。向上する方法については上述した。
殆どの場合、道路区分又は軌道に沿う道路区分は直線ではない。図16は、僅かに湾曲した道路を示す。路面画像における道路エッジの位置を判定し且つその後道路エッジの地理的位置を判定するために、周知の曲線フィッティングアルゴリズムが使用される。移動物体の画素として分類される道路エッジ画素は、曲線フィッティングアルゴリズムから除外される。
本発明に係る方法がオルソ補正画像及びオルソ補正モザイクの双方に適用可能であることが示される。双方の場合において、道路色サンプルは、移動車両の軌跡を含む移動車両の前方の路面を表す1つ以上の元画像における事前定義済み領域と関連付けられる画素から判定される。更に、路面画像は、道路色サンプルに依存して1つ以上の元画像から生成され、道路情報は、路面画像、並びに元画像に関連付けられる位置及び姿勢データに依存して生成される。
双方の種類の画像に対して、画素毎に静止画素であるか又は移動物体の画素であるかが最初に判定されるのが好ましい。このために、2つの連続する元画像内の共通の領域が使用される。ここで、共通の領域は、同一平面に投影される場合に各画像において路面の同様の地域を表す。その後、その情報は、道路色サンプルを判定することから移動物体に対応する画素のみを除外し且つ道路情報を生成する方法を向上するために使用される。
尚、道路情報を生成するために1つの元画像のみが使用される場合、元画像は道路色サンプルを判定し且つ2値路面画像を生成するために使用される。前記2値路面画像から道路エッジ画素が検索可能である。道路エッジ画素、並びに関連する位置及び姿勢データを使用して、走行方向に平行な最適な線が判定される。元画像をオルソ補正画像に変換する公式は、走行方向に平行な元画像における線を判定するために使用される。
図18は、1つの元画像に適用される場合の本発明に係る方法の一実施形態を示す。図18は、湾曲した道路180及び車両の軌跡181を示す。車両の軌跡は、画像シーケンスと関連付けられる位置及び姿勢データを使用して画像において判定される。軌跡181は、移動車両の前方の路面を表す画像における事前定義済み領域182を判定するために使用される。線183は、事前定義済み領域182の外側の線を示す。領域182は、車両の軌跡181に平行な両側を有する実世界の事前定義済みの幅のストリップである。領域182は、車両の前方に事前定義済みの距離に及ぶことが分かる。事前定義済み領域182の全ての画素値は、道路色サンプルを取得するために使用される。全ての色値は、各画素を路面画素又は非路面画素に分類し且つ対応する路面画像を生成するために使用される。線184は、路面180の右側に対応する道路エッジ画素を示し、線185は、路面180の左側に対応する道路エッジ画素を示す。曲線フィッティングアルゴリズムは、不図示のセンターライン曲線及び道路エッジの曲線を判定するために使用される。道路エッジ及びセンターラインに対する座標は、画像と関連付けられる位置及び姿勢データを使用して計算される。
本発明に係る方法は、車両の直前に自動車がないことが保証される場合に1つの画像に対してのみ動作する。このことが保証されない場合、移動物体に対応する画素は、後続画像の一部の共通の領域を使用して上述のように事前定義済み領域182の前記一部において判定される。
道路のセンターラインの絶対位置は、上述の方法を使用して判定される。更に、路肩の絶対位置及びセンターラインに対する路肩の相対位置を示す道路幅が判定される。それらの判定された道路情報は、地図データベースにおいて使用するためにデータベースに格納される。道路情報は、ナビゲーションシステムにおいて路面のより現実的な図を生成するために使用される。例えば、道路が狭くなることが視覚化される。更にデータベース中の道路の幅は、道路が狭すぎることにより妨害される例外的な移動に対する最適な経路を判定するのに非常に有用である。
図14は、上述の方法を実行する道路情報生成器を実現するために使用されるコンピュータシステムを示す高レベルなブロック図である。
図14のコンピュータシステムは、プロセッサユニット1412及び主メモリ1414を含む。プロセッサユニット1412は、単一のマイクロプロセッサを含んでもよく、あるいはマルチプロセッサシステムとしてコンピュータシステムを構成するために複数のマイクロプロセッサを含んでもよい。主メモリ1414は、プロセッサユニット1412により実行するために命令及びデータを部分的に格納する。本発明の方法が全体的又は部分的にソフトウェアで実現される場合、主メモリ1414は動作中に実行可能なコードを格納する。主メモリ1414は、高速キャッシュメモリ及びダイナミックランダムアクセスメモリ(DRAM)のバンクを含んでもよい。
図14のシステムは、大容量記憶装置1416、周辺装置1418、入力装置1420、携帯記憶媒体ドライブ1422、グラフィックスサブシステム1424及び出力ディスプレイ1426を更に含む。簡潔にするために、図14に示す構成要素は、単一のバス1428を介して接続されるものとして示される。しかし、それらの構成要素は、1つ以上のデータ転送手段を介して接続されてもよい。例えばプロセッサユニット1412及び主メモリ1414は、ローカルマイクロプロセッサバスを介して接続されてもよく、大容量記憶装置1416、周辺装置1418、携帯記憶媒体ドライブ1422及びグラフィックスサブシステム1424は、1つ以上の入出力(I/O)バスを介して接続されてもよい。磁気ディスクドライブ又は光ディスクドライブにより実現されてもよい大容量記憶装置1416は、プロセッサユニット1412により使用するために各カメラのジオコーディングされた画像シーケンス、カメラの校正情報、一定及び可変の位置パラメータ、一定及び可変の姿勢パラメータ、オルソ補正タイル、道路色サンプル、生成された道路情報及び命令等のデータを格納する不揮発性記憶装置である。一実施形態において、大容量記憶装置1416は、主メモリ1414にロードする目的で本発明を実現するためのシステムソフトウェア又はコンピュータプログラムを格納する。
携帯記憶媒体ドライブ1422は、フロッピー(登録商標)ディスク、マイクロドライブ及びフラッシュメモリ等の携帯不揮発性記憶媒体と共に動作し、図14のコンピュータシステムに対してデータ及びコードを入出力する。一実施形態において、本発明を実現するシステムソフトウェアは、そのような携帯媒体の形態のプロセッサ可読媒体に格納され、携帯記憶媒体ドライブ1422を介してコンピュータシステムに入力される。周辺装置1418は、入出力(I/O)インタフェース等の任意の種類のコンピュータサポートデバイスを含み、追加の機能性をコンピュータシステムに追加してもよい。例えば周辺装置1418は、コンピュータシステムをネットワーク、モデム等にインタフェースするネットワークインタフェースカードを含んでもよい。
入力装置1420は、ユーザインタフェースの一部分を提供する。入力装置1420は、英数字及び他のキー情報を入力する英数字キーパッド、あるいはマウス、トラックボール、スタイラス又はカーソル指示キー等のポインティングデバイスを含んでもよい。テキスト及び図の情報を表示するために、図14のコンピュータシステムは、グラフィクスサブシステム1424及び出力ディスプレイ1426を含む。
出力ディスプレイ1426は、陰極線管(CRT)ディスプレイ、液晶ディスプレイ(LCD)又は他の適切な表示装置を含んでもよい。グラフィックスサブシステム1424は、テキスト及び図の情報を受信し、ディスプレイ1426に出力するためにその情報を処理する。出力ディスプレイ1426は、計算したセンターライン及び道路エッジを関連するオルソ補正画像に重ね合わせることにより本発明に係る方法の結果を報告し、オルソ補正モザイクを表示し、方向を表示し、確認情報を表示し且つ/又はユーザインタフェースの一部である他の情報を表示するために使用される。図14のシステムは、マイクを含むオーディオシステム1428を更に含む。一実施形態において、オーディオシステム1428は、マイクからオーディオ信号を受信するサウンドカードを含む。更に、図14のシステムは出力装置1432を含む。適切な出力装置の例は、スピーカ、プリンタ等を含む。
図14のコンピュータシステムに含まれる構成要素は、一般に汎用コンピュータシステムにおいて見られる構成要素であり、従来技術において周知の広範なカテゴリのコンピュータ構成要素を表すことを意図する。
従って、図14のコンピュータシステムは、パーソナルコンピュータ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ等であってもよい。コンピュータは、種々のバス構成、ネットワーク化プラットフォーム、マルチプロセッサプラットフォーム等を更に含むことができる。UNIX(登録商標)、Solaris、Linux、Windows(登録商標)、Macintosh OS及び他の適切なオペレーティングシステムを含む種々のオペレーティングシステムが使用可能である。
上述の方法は自動的に実行されてもよい。画質は、本発明を実行する画像処理ツール及び物体認識ツールが多少の補正を必要とするような画質である可能性がある。例えば関連するオルソ補正タイル上の計算された路肩の重畳は、望ましくない視覚的なずれを示す。その場合、方法は、中間結果を確認又は適応させる可能性を可能にするある検証及び手作業の適応動作を含む。それらの動作は、道路情報生成の中間結果又は最終結果を受け入れるのに適する。更に、1つ以上の後続画像における不確かなマークの数は、検証を実行することをユーザに要求するために使用される。
本発明により生成される道路情報は、画像毎に道路情報を生成し、それをデータベースに格納する。道路情報は、情報量を減少するために更に処理される。例えば道路区分と関連付けられる画像に対応する道路情報は、前記区分の道路幅に対する1つのパラメータに減少される。更に道路区分が十分に円滑である場合、センターラインは、少なくとも前記区分に対する終点及び形状点を含むパラメータの集合により記述される。センターラインを表す線は、多項式の係数により格納される。
本発明の上記の詳細な説明は、例示及び説明の目的で提示された。本発明を網羅する意図はなく、あるいは本発明を開示された厳密な形式に限定する意図はない。多くの変更及び変形は、上記教示に鑑みて可能であることは明らかである。例えば移動車両の前方の路面を記録するカメラの代わりに、移動車両の後方の路面を記録するカメラが使用可能である。更に本発明は、オルソ補正画像における車線分離標又は他の線形道路標示の位置を判定するのに適する。
本発明の原理及び実際的な応用例を最適に説明し、当業者が考えられる特定の用途に適切な種々の変形を伴って種々の実施形態において本発明を最適に利用できるようにするために、説明した実施形態が選択された。本発明の範囲は、添付の請求の範囲により規定されることが意図される。
Claims (14)
- 地図データベースにおいて使用するための道路情報を生成する方法であって、
移動車両に搭載される地上カメラを使用して取得される画像シーケンスから1つ以上の元画像を取得することと、
前記移動車両の軌跡を含む前記移動車両の前方又は後方の路面を表す前記1つ以上の元画像の事前定義済み領域と関連付けられる画素から道路色サンプルを判定することと、
前記道路色サンプルに依存して前記1つ以上の元画像から路面画像を生成することと、
前記路面画像、並びに前記元画像と関連付けられる位置及び姿勢データに依存して道路情報を生成すること
とを有することを特徴とする方法。 - 道路情報を生成することは、
前記路面画像において道路エッジ画素を判定することと、
道路エッジを表す曲線を取得するために前記道路エッジ画素に対して曲線フィッティングを実行することと、
前記路面画像の前記曲線の位置、並びに対応する位置及び姿勢データに依存して前記道路情報を計算すること
とを有することを特徴とする請求項1に記載の方法。 - 前記路面画像は、前記移動車両の前記軌跡を含む前記移動車両の前方の事前定義済み領域を表す前記1つ以上の元画像の領域から選択されることを特徴とする請求項1又は2に記載の方法。
- 元画像を取得することは、
前記1つ以上の元画像を取得するために前記1つ以上の画像と関連付けられる位置データ及び姿勢データに依存して前記画像シーケンスから前記1つ以上の画像を処理することを有し、各元画像はオルソ補正画像に対応することを特徴とする請求項1乃至3の何れか1項に記載の方法。 - 前記道路色サンプルは、2つ以上の連続画像から得られることを特徴とする請求項1乃至4の何れか1項に記載の方法。
- 更に、
前記路面の同様の地域を表す2つの連続元画像内の共通の領域を判定することと、
前記共通の領域の画素に対して、静止画素として分類されるか又は移動物体の画素として分類されるかを判定すること
とを有することを特徴とする請求項1乃至5の何れか1項に記載の方法。 - 前記道路色サンプルは前記事前定義済み領域の前記静止画素から判定され、移動物体の画素は除外されることを特徴とする請求項6に記載の方法。
- 前記路面画像は、シーケンス元画像から得られるオルソ補正モザイクであることを特徴とする請求項1乃至7の何れか1項に記載の方法。
- 前記路面画像は、各々が車両の前方又は後方の所定の領域を表す複数のオルソ補正画像から取得されるオルソ補正モザイクであることを特徴とする請求項1乃至8の何れか1項に記載の方法。
- 路面画像を生成することは、
前記路面画像において静止画素又は移動物体の画素として画素をマークすることを有することを特徴とする請求項6及び9に記載の方法。 - 道路情報を生成することは、
非静止画素としてマークしたことに依存して前記路面画像の画素を道路エッジ画素として割り当てることを有することを特徴とする請求項10に記載の方法。 - 請求項1乃至11の何れか1項に記載の方法を実行する装置であって、
入力装置と、
プロセッサ可読記憶媒体と、
前記入力装置及び前記プロセッサ可読記憶媒体と通信するプロセッサと、
表示ユニットとの接続を可能にする出力装置とを具備し、
前記プロセッサ可読記憶媒体は、前記プロセッサが
移動車両に搭載される地上カメラを使用して取得される画像シーケンスから元画像を取得する動作と、
前記移動車両の前方又は後方の路面を表す前記元画像の事前定義済み領域と関連付けられる画素から道路色サンプルを判定する動作と、
前記道路色サンプルに依存して前記元画像から路面画像を生成する動作と、
前記路面画像、並びに前記元画像と関連付けられる位置及び姿勢データに依存して道路情報を生成する動作とを含む方法を実行するようにプログラムするためのコードを格納することを特徴とする装置。 - コンピュータ装置にロードされた時に前記コンピュータ装置が請求項1乃至11に記載の何れか1つの方法を実行することを可能にする命令を含むコンピュータプログラム製品。
- コンピュータ装置にロードされた時に前記コンピュータ装置が請求項1乃至11に記載の何れか1つの方法を実行することを可能にするコンピュータプログラム製品を保持するプロセッサ可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/NL2007/050159 WO2008130219A1 (en) | 2007-04-19 | 2007-04-19 | Method of and apparatus for producing road information |
PCT/NL2008/050228 WO2008130233A1 (en) | 2007-04-19 | 2008-04-18 | Method of and apparatus for producing road information |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010530997A true JP2010530997A (ja) | 2010-09-16 |
Family
ID=38969352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010504005A Withdrawn JP2010530997A (ja) | 2007-04-19 | 2008-04-18 | 道路情報を生成する方法及び装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20100086174A1 (ja) |
EP (1) | EP2137693A1 (ja) |
JP (1) | JP2010530997A (ja) |
CN (1) | CN101689296A (ja) |
AU (1) | AU2008241689A1 (ja) |
CA (1) | CA2684416A1 (ja) |
RU (1) | RU2009142604A (ja) |
WO (2) | WO2008130219A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244323A (ja) * | 2009-04-07 | 2010-10-28 | Toyota Central R&D Labs Inc | 道路領域推定装置及びプログラム |
JP2013518298A (ja) * | 2010-01-22 | 2013-05-20 | グーグル インコーポレイテッド | 交通信号マップ作成及び検出 |
US9707960B2 (en) | 2014-07-31 | 2017-07-18 | Waymo Llc | Traffic signal response for autonomous vehicles |
JP2017533482A (ja) * | 2015-09-10 | 2017-11-09 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 車線データの処理方法、装置、記憶媒体及び機器 |
JP6466038B1 (ja) * | 2018-03-01 | 2019-02-06 | 三菱電機株式会社 | 画像処理装置および画像処理方法 |
JP2020095668A (ja) * | 2018-12-14 | 2020-06-18 | 財團法人工業技術研究院Industrial Technology Research Institute | 道路画像再構成及び車両測位のための方法及びシステム |
JP2022082569A (ja) * | 2019-06-07 | 2022-06-02 | トヨタ自動車株式会社 | 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム |
JP2022159560A (ja) * | 2016-07-27 | 2022-10-17 | 株式会社エムアールサポート | 三次元測定対象物の形状測定方法、及び装置、並びにプログラム |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4531077B2 (ja) * | 2007-05-31 | 2010-08-25 | 富士通テン株式会社 | 車両の走行状態表示装置 |
WO2009064172A1 (en) | 2007-11-16 | 2009-05-22 | Tele Atlas B.V. | Method of and apparatus for producing lane information |
JP5363752B2 (ja) * | 2008-03-18 | 2013-12-11 | 株式会社ゼンリン | 路面標示地図生成方法 |
JP5285311B2 (ja) * | 2008-03-18 | 2013-09-11 | 株式会社ゼンリン | 路面標示地図生成方法 |
JP5339753B2 (ja) * | 2008-03-18 | 2013-11-13 | 株式会社ゼンリン | 路面標示地図生成方法 |
JP5281424B2 (ja) * | 2008-03-18 | 2013-09-04 | 株式会社ゼンリン | 路面標示地図生成方法 |
US8803966B2 (en) | 2008-04-24 | 2014-08-12 | GM Global Technology Operations LLC | Clear path detection using an example-based approach |
US8421859B2 (en) * | 2008-04-24 | 2013-04-16 | GM Global Technology Operations LLC | Clear path detection using a hierachical approach |
KR100886330B1 (ko) * | 2008-06-11 | 2009-03-02 | 팅크웨어(주) | 사용자 뷰 출력 시스템 및 방법 |
TW201011259A (en) * | 2008-09-12 | 2010-03-16 | Wistron Corp | Method capable of generating real-time 3D map images and navigation system thereof |
JP5324240B2 (ja) * | 2009-01-29 | 2013-10-23 | 株式会社ゼンリン | 路面標示地図生成方法及び路面標示地図生成装置 |
JP2010237797A (ja) * | 2009-03-30 | 2010-10-21 | Equos Research Co Ltd | 画像処理装置および画像処理プログラム |
WO2011047731A1 (en) * | 2009-10-22 | 2011-04-28 | Tele Atlas B.V. | Method for creating a mosaic image using masks |
WO2011051874A1 (en) * | 2009-10-28 | 2011-05-05 | Csir | Integrated sensing device for assessing integrity of a rock mass and corresponding method |
DE102010011093A1 (de) * | 2010-03-11 | 2011-09-15 | Daimler Ag | Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung |
JP4608604B1 (ja) * | 2010-03-25 | 2011-01-12 | パイオニア株式会社 | 擬似音発生装置及び擬似音発生方法 |
JP2012034196A (ja) * | 2010-07-30 | 2012-02-16 | Olympus Corp | 撮像端末、データ処理端末、撮像方法、及びデータ処理方法 |
US8612138B2 (en) * | 2010-09-15 | 2013-12-17 | The University Of Hong Kong | Lane-based road transport information generation |
WO2012034596A1 (en) * | 2010-09-16 | 2012-03-22 | Tomtom Polska Sp.Z.O.O. | Improvements in or relating to automatic detection of the number of lanes into which a road is divided |
KR20120071160A (ko) * | 2010-12-22 | 2012-07-02 | 한국전자통신연구원 | 이동체용 실외 지도 제작 방법 및 그 장치 |
WO2012089261A1 (en) * | 2010-12-29 | 2012-07-05 | Tomtom Belgium Nv | Method of automatically extracting lane markings from road imagery |
US9953618B2 (en) | 2012-11-02 | 2018-04-24 | Qualcomm Incorporated | Using a plurality of sensors for mapping and localization |
CN103106674B (zh) * | 2013-01-18 | 2016-02-10 | 昆山市智汽电子科技有限公司 | 一种全景图像合成和显示的方法及装置 |
JP2014219960A (ja) * | 2013-04-08 | 2014-11-20 | トヨタ自動車株式会社 | 走路検出装置及び走路検出方法 |
US10317231B2 (en) | 2014-06-10 | 2019-06-11 | Mobileye Vision Technologies Ltd. | Top-down refinement in lane marking navigation |
CN107111742B (zh) | 2014-08-18 | 2021-04-02 | 无比视视觉技术有限公司 | 在导航中对车道限制和施工区域的识别和预测 |
CN104504103B (zh) * | 2014-12-04 | 2018-05-15 | 中移全通系统集成有限公司 | 一种车辆轨迹点插入性能优化方法及系统、信息采集器、数据库模型 |
US9881384B2 (en) * | 2014-12-10 | 2018-01-30 | Here Global B.V. | Method and apparatus for providing one or more road conditions based on aerial imagery |
CN105590087B (zh) * | 2015-05-19 | 2019-03-12 | 中国人民解放军国防科学技术大学 | 一种道路识别方法及装置 |
JP6594039B2 (ja) * | 2015-05-20 | 2019-10-23 | 株式会社東芝 | 画像処理装置、方法及びプログラム |
WO2017057057A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US10217363B2 (en) * | 2015-10-29 | 2019-02-26 | Faraday&Future Inc. | Methods and systems for electronically assisted lane entrance |
CN105740826A (zh) * | 2016-02-02 | 2016-07-06 | 大连楼兰科技股份有限公司 | 一种基于双尺度的车道标识二值化检测方法 |
DE102016205804A1 (de) * | 2016-04-07 | 2017-10-12 | Siemens Aktiengesellschaft | Positionsbestimmungssystem |
US20170300763A1 (en) * | 2016-04-19 | 2017-10-19 | GM Global Technology Operations LLC | Road feature detection using a vehicle camera system |
US10558222B2 (en) * | 2016-07-21 | 2020-02-11 | Mobileye Vision Technologies Ltd. | Navigating a vehicle using a crowdsourced sparse map |
EP3285203A1 (en) * | 2016-08-19 | 2018-02-21 | Continental Automotive GmbH | Method for detecting a road in an environment of a vehicle |
KR101864066B1 (ko) * | 2017-01-11 | 2018-07-05 | 숭실대학교산학협력단 | 차선 인식 장치, 차선 이탈 판단 장치, 차선 인식 방법 및 차선 이탈 판단 방법 |
US10223598B2 (en) * | 2017-02-20 | 2019-03-05 | Volkswagen Aktiengesellschaft | Method of generating segmented vehicle image data, corresponding system, and vehicle |
US11200433B2 (en) * | 2017-05-03 | 2021-12-14 | Mobileye Vision Technologies Ltd. | Detection and classification systems and methods for autonomous vehicle navigation |
CN109270927B (zh) * | 2017-07-17 | 2022-03-11 | 阿里巴巴(中国)有限公司 | 道路数据的生成方法及装置 |
US10140530B1 (en) | 2017-08-09 | 2018-11-27 | Wipro Limited | Method and device for identifying path boundary for vehicle navigation |
US10373000B2 (en) * | 2017-08-15 | 2019-08-06 | GM Global Technology Operations LLC | Method of classifying a condition of a road surface |
CN109727334B (zh) * | 2017-10-30 | 2021-03-26 | 长城汽车股份有限公司 | 车辆所处地形的识别方法、装置及车辆 |
US10895460B2 (en) * | 2017-11-06 | 2021-01-19 | Cybernet Systems Corporation | System and method for generating precise road lane map data |
CN108764187B (zh) * | 2018-06-01 | 2022-03-08 | 百度在线网络技术(北京)有限公司 | 提取车道线的方法、装置、设备、存储介质以及采集实体 |
CN109064877B (zh) * | 2018-08-20 | 2020-12-29 | 武汉中海庭数据技术有限公司 | 基于高精度地图的突变中心线平滑方法、装置及存储介质 |
US11188765B2 (en) * | 2018-12-04 | 2021-11-30 | Here Global B.V. | Method and apparatus for providing real time feature triangulation |
US11288521B2 (en) * | 2019-01-31 | 2022-03-29 | Uatc, Llc | Automated road edge boundary detection |
CN111507130B (zh) * | 2019-01-31 | 2023-08-18 | 广州汽车集团股份有限公司 | 车道级定位方法及系统、计算机设备、车辆、存储介质 |
US11055543B2 (en) | 2019-07-26 | 2021-07-06 | Volkswagen Ag | Road curvature generation in real-world images as a method of data augmentation |
JP7441509B2 (ja) * | 2019-08-23 | 2024-03-01 | 株式会社エムアールサポート | オルソ画像作成方法、オルソ画像作成システム、3次元モデル作成方法、3次元モデル作成システム及びそれに使用される標識 |
CN110728723B (zh) * | 2019-09-23 | 2023-04-28 | 东南大学 | 一种面向瓦片地图的道路自动提取方法 |
CN110988888B (zh) * | 2019-11-08 | 2021-10-29 | 中科长城海洋信息系统有限公司 | 海底信息的获取方法和装置 |
US11386649B2 (en) | 2019-11-15 | 2022-07-12 | Maxar Intelligence Inc. | Automated concrete/asphalt detection based on sensor time delay |
CN111401251B (zh) * | 2020-03-17 | 2023-12-26 | 北京百度网讯科技有限公司 | 车道线提取方法、装置、电子设备及计算机可读存储介质 |
KR20210148756A (ko) * | 2020-06-01 | 2021-12-08 | 삼성전자주식회사 | 경사 추정 장치 및 이의 동작 방법 |
US20220203930A1 (en) * | 2020-12-29 | 2022-06-30 | Nvidia Corporation | Restraint device localization |
CN112732844B (zh) * | 2021-01-26 | 2022-09-23 | 腾讯科技(深圳)有限公司 | 将道路对象与道路自动关联的方法、装置、设备和介质 |
CN117853677B (zh) * | 2024-02-29 | 2024-06-21 | 腾讯科技(深圳)有限公司 | 道路边缘绘制方法、装置、电子设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6209104B1 (en) * | 1996-12-10 | 2001-03-27 | Reza Jalili | Secure data entry and visual authentication system and method |
JP4372382B2 (ja) * | 1999-08-20 | 2009-11-25 | ヒーブルー ユニバーシティ オブ エルサレム | 移動カメラにより記録された画像の修正モザイキングのためのシステムおよび方法 |
US6934860B1 (en) * | 2000-05-08 | 2005-08-23 | Xerox Corporation | System, method and article of manufacture for knowledge-based password protection of computers and other systems |
US7389181B2 (en) * | 2004-08-31 | 2008-06-17 | Visre, Inc. | Apparatus and method for producing video drive-by data corresponding to a geographic location |
US6928194B2 (en) * | 2002-09-19 | 2005-08-09 | M7 Visual Intelligence, Lp | System for mosaicing digital ortho-images |
JP4578795B2 (ja) * | 2003-03-26 | 2010-11-10 | 富士通テン株式会社 | 車両制御装置、車両制御方法および車両制御プログラム |
DE102005045017A1 (de) * | 2005-09-21 | 2007-03-22 | Robert Bosch Gmbh | Verfahren und Fahrerassistenzsystem zur sensorbasierten Anfahrtsteuerung eines Kraftfahrzeugs |
US20100169958A1 (en) * | 2006-10-13 | 2010-07-01 | Univeristy Of Idaho | Method for generating and using composite scene passcodes |
-
2007
- 2007-04-19 WO PCT/NL2007/050159 patent/WO2008130219A1/en active Application Filing
-
2008
- 2008-04-18 AU AU2008241689A patent/AU2008241689A1/en not_active Abandoned
- 2008-04-18 EP EP08741649A patent/EP2137693A1/en not_active Withdrawn
- 2008-04-18 US US12/450,907 patent/US20100086174A1/en not_active Abandoned
- 2008-04-18 JP JP2010504005A patent/JP2010530997A/ja not_active Withdrawn
- 2008-04-18 RU RU2009142604/08A patent/RU2009142604A/ru not_active Application Discontinuation
- 2008-04-18 CN CN200880017372A patent/CN101689296A/zh active Pending
- 2008-04-18 CA CA002684416A patent/CA2684416A1/en not_active Abandoned
- 2008-04-18 WO PCT/NL2008/050228 patent/WO2008130233A1/en active Application Filing
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244323A (ja) * | 2009-04-07 | 2010-10-28 | Toyota Central R&D Labs Inc | 道路領域推定装置及びプログラム |
JP2013518298A (ja) * | 2010-01-22 | 2013-05-20 | グーグル インコーポレイテッド | 交通信号マップ作成及び検出 |
US11279346B2 (en) | 2014-07-31 | 2022-03-22 | Waymo Llc | Traffic signal response for autonomous vehicles |
US10005460B2 (en) | 2014-07-31 | 2018-06-26 | Waymo Llc | Traffic signal response for autonomous vehicles |
US10377378B2 (en) | 2014-07-31 | 2019-08-13 | Waymo Llc | Traffic signal response for autonomous vehicles |
US9707960B2 (en) | 2014-07-31 | 2017-07-18 | Waymo Llc | Traffic signal response for autonomous vehicles |
US11970160B2 (en) | 2014-07-31 | 2024-04-30 | Waymo Llc | Traffic signal response for autonomous vehicles |
JP2017533482A (ja) * | 2015-09-10 | 2017-11-09 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 車線データの処理方法、装置、記憶媒体及び機器 |
JP2022159560A (ja) * | 2016-07-27 | 2022-10-17 | 株式会社エムアールサポート | 三次元測定対象物の形状測定方法、及び装置、並びにプログラム |
JP7394935B2 (ja) | 2016-07-27 | 2023-12-08 | 株式会社エムアールサポート | 三次元測定対象物の形状測定方法、及び装置、並びにプログラム |
JP6466038B1 (ja) * | 2018-03-01 | 2019-02-06 | 三菱電機株式会社 | 画像処理装置および画像処理方法 |
JP2020095668A (ja) * | 2018-12-14 | 2020-06-18 | 財團法人工業技術研究院Industrial Technology Research Institute | 道路画像再構成及び車両測位のための方法及びシステム |
CN111325753A (zh) * | 2018-12-14 | 2020-06-23 | 财团法人工业技术研究院 | 路面影像重建与载具定位的方法与系统 |
JP2022082569A (ja) * | 2019-06-07 | 2022-06-02 | トヨタ自動車株式会社 | 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム |
JP7310957B2 (ja) | 2019-06-07 | 2023-07-19 | トヨタ自動車株式会社 | 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
CA2684416A1 (en) | 2008-10-30 |
WO2008130233A1 (en) | 2008-10-30 |
CN101689296A (zh) | 2010-03-31 |
EP2137693A1 (en) | 2009-12-30 |
WO2008130219A1 (en) | 2008-10-30 |
AU2008241689A1 (en) | 2008-10-30 |
US20100086174A1 (en) | 2010-04-08 |
RU2009142604A (ru) | 2011-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010530997A (ja) | 道路情報を生成する方法及び装置 | |
US8325979B2 (en) | Method and apparatus for detecting objects from terrestrial based mobile mapping data | |
US8422736B2 (en) | Method of and apparatus for producing lane information | |
US8280107B2 (en) | Method and apparatus for identification and position determination of planar objects in images | |
EP2074379B1 (en) | Method and apparatus for generating an orthorectified tile | |
EP2458336B1 (en) | Method and system for reporting errors in a geographic database | |
US8571354B2 (en) | Method of and arrangement for blurring an image | |
US9129163B2 (en) | Detecting common geographic features in images based on invariant components | |
EP3671623B1 (en) | Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image | |
JP2010541016A (ja) | 地図データベースにおいて使用するために、表面に渡る基準線に沿う線形特徴を取り込む方法 | |
JPWO2020039937A1 (ja) | 位置座標推定装置、位置座標推定方法およびプログラム | |
JP4986883B2 (ja) | 標定装置、標定方法および標定プログラム | |
EP3452780B1 (en) | A method for improving position information associated with a collection of images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110705 |