JP2010510559A - 地上モバイルマッピングデータからオブジェクトを検出する方法及び装置 - Google Patents

Abstract

本発明は、地上モバイルマッピングデータからオブジェクトを検出する方法に関する。この場合、地上モバイルマッピングデータは、道路を走行する走行方向を有する地上モバイルマッピング車両により取り込まれており、モバイルマッピングデータは、レーザスキャナデータ、少なくとも１つのカメラにより取得されるソース画像、並びに車両の位置データ及び方位データを含み、レーザスキャナデータは、各々が関連する位置データ及び方位データを有するレーザポイントを含み、各ソース画像は、関連する位置データ及び方位データを含む。方法は、車両の位置及び方位を検索することと、注目領域に対応するレーザポイントを取得するため、車両の位置及び方位に依存してレーザスキャナデータをフィルタリングすることと、車両の位置及び方位と関連するソース画像を検索することと、認識マスクを生成するため、注目領域に対応するレーザポイントをソース画像の画像座標にマッピングすることと、注目領域内の可能なオブジェクトを表す候補３Ｄ画像を取得するため、認識マスク及びソース画像を組み合わせることと、候補３Ｄ画像からオブジェクトグループを検出することとを含むことを特徴とする。画像認識及びレーザスキャナ認識を組み合わせることにより、検出率は非常に高い割合まで増加可能であり、そのため歩行者の労力を大幅に減少する。更に、レーザデータにおいて注目領域を生成することにより、画像内のオブジェクトを検出するために必要な処理能力及び／又は処理時間を大幅に減少できる。

Description

本発明は、地上モバイルマッピングデータからオブジェクトを検出する方法に関する。この場合、地上モバイルマッピングデータは、道路を走行する走行方向を有する地上モバイルマッピング車両により取り込まれており、モバイルマッピングデータは、レーザスキャナデータ、少なくとも１つのカメラにより取得されるソース画像、並びに車両の位置データ及び方位データを含み、レーザスキャナデータは、各々が関連する位置データ及び方位データを有するレーザポイントを含み、各ソース画像は、関連する位置データ及び方位データを含む。更に本発明は、地図データベースで使用するために地上モバイルマッピングデータからオブジェクトを取り込む装置、コンピュータプログラム及びコンピュータプログラムを記憶するプロセッサ可読媒体に関する。

ナビゲーションシステム等において使用されるデジタル地図データベースのため、多くの「垂直」道路情報、例えば道路標識、制限速度、方向案内標識、看板等を収集する必要がある。用語「垂直」は、道路情報の情報平面が重力ベクトルに対してほぼ平行であることを示す。「垂直道路情報」の特性は、それらがほぼ平面であることである。現在、垂直道路情報は、移動収集デバイスにより収集される垂直な写真画像及び他のデータを解析及び解釈することにより取得可能である。自動車又はバン等の地上車両であるモバイルマッピング車両は、デジタル地図データベースを改善するためのモバイルマッピングデータを収集するために使用される。改善例は、交通標識、道路標識、交通信号、街路名を示す街路標識等の場所である。これらのオブジェクトのジオ空間場所は地図データベースに追加可能であり、画像内のこれらのオブジェクトの場所は、標識上に提示される情報を抽出するために更に使用可能である。

モバイルマッピング車両は多くのカメラを有し、その一部は立体カメラである。バンが高精度ＧＰＳ、並びに他の位置及び方位判定機器を車載するため、カメラの地理位置は正確に決められる。道路網を走行中、画像シーケンスが取り込まれる。

モバイルマッピング車両はオブジェクト、例えば建物又は路面の２つ以上の画像シーケンスを記録し、画像シーケンスの画像毎に、地理位置が画像シーケンスの方位データと共に正確に判定される。対応する地理位置情報を有する画像シーケンスをジオコーディングされた画像シーケンスと呼ぶ。他のデータも他のセンサにより収集され且つ同時に及び同様にジオコーディングされてもよい。例えば、レーザスキャナはレーザスキャナデータを収集するために使用可能である。高解像度レーザスキャナはレーザスキャナデータを提供し、それにより、技術者はレーザスキャナデータからオブジェクトを自動検出できる。高解像度レーザスキャナは、走査平面に沿って０．１°の解像度及び３００Ｈｚの走査周波数を有する。しかし、高解像度レーザスキャナは高価であるため、通常の地上測定において使用するのは困難である。

処理するデータの量が膨大なため、画像シーケンスの解析は非常に時間がかかり且つ多くの処理能力を必要とする。更に、高解像度レーザスキャナデータは、形態、形状又は位置によるオブジェクトの検出のみに適している。

本発明は、低解像度レーザスキャナ装置により取得可能なレーザスキャナデータを含む地上モバイルマッピングデータからオブジェクトを自動検出する改良された方法を提供することを目的とする。

本発明によると、方法は、
車両の位置及び方位を検索することと、
注目領域に対応するレーザポイントを取得するため、車両の位置及び方位に依存してレーザスキャナデータをフィルタリングすることと、
車両の位置及び方位と関連するソース画像を検索することと、
認識マスクを生成するため、注目領域に対応するレーザポイントをソース画像の画像座標にマッピングすることと、
注目領域を表す候補３Ｄ画像を取得するため、認識マスク及びソース画像を組み合わせることと、
候補３Ｄ画像からオブジェクトグループを検出することとを備えることを特徴とする。

本発明は、デジタルカメラにより取得される画像の画素の色がカメラの直接ビュー内に存在する各最近接表面ポイントの色に対応し且つレーザスキャナ装置からのレーザデータがレーザスキャナ装置とレーザ光線を反射する表面ポイントとの間の距離に対応するという認識に基づく。通常、現在のカメラで使用されるレンズは、画素当たり約０．０１°〜０．１°の角度解像度で写真を撮影する解像度及び焦点距離を有する。レーザスキャナ装置は、向けられた方向毎に、レーザスキャナ装置とレーザ光線を反射する障害物の表面ポイントとの間の距離を検出及び算出する。本発明のレーザスキャナ装置の角度解像度は約１°である。デジタルカメラの出力である画素の色及びレーザスキャナ装置の出力であるレーザスキャナと表面ポイントとの間の距離の双方は、表面ポイントとセンサとの間の最短経路を介して測定されている。従って、これらの出力は、レーザスキャナ装置により取得される３次元（３Ｄ）位置情報を画素毎に考慮することによりソース画像内のオブジェクトの認識を向上するために組み合わせ可能である。取り込まれた表面の３Ｄ表現はレーザスキャナデータから作成可能である。モバイルマッピング車両により取り込まれる画像及びレーザデータの双方は、座標参照系における関連する位置データ及び方位データを含む。これにより、異なる時間インスタンスに読み込まれた個別のレーザポイントから、車両が走行している道路環境の３Ｄ表現を生成できる。カメラの位置及び方位、並びに選択されたレーザポイントは同一の座標参照系を使用する。選択されたレーザポイントは、三角法により画像の座標系上に投影可能である。このように、３Ｄレーザスキャナポイントは画像空間に投影可能である。更に、道路標識、制限速度、交通信号、方向案内標識等は、道路から及び既定の道路回廊内で可視である必要がある。既定の道路回廊は、レーザデータ内の注目領域を定義する。注目領域は、注目オブジェクトに確実に関連しないレーザスキャナサンプルをレーザスキャナデータから除外することにより取得可能である。注目オブジェクトは、道路標識、交通信号、方向案内標識、看板等である。例えば道路標識は、常に地面から少なくとも０．５ｍ〜６ｍの高さにある。更に、デジタルカメラの位置に対して、注目オブジェクトは常にカメラの左側及び右側から１０ｍの位置にあり、且つソース画像内の道路標識の種類を識別するためには、道路標識はカメラの前方０．５〜３０ｍ以内に存在する必要があると言える。これを知っていることにより、探しているオブジェクトに対応する可能性のあるレーザポイントのみをレーザスキャナデータから選択するフィルタを定義できる。フィルタリングにより、更に処理されるレーザポイントの量は減少する。ソース画像内の注目領域を識別することにより、オブジェクトを認識するために解析される画像データの量は大幅に減少される。レーザデータをフィルタリングし且つ画像内の注目領域に対応する画素のみを解析することにより、モバイルマッピングセッション中に取り込まれる全データを処理する時間は短縮される。更に、レーザスキャナデータはソース画像をセグメント化するのに使用可能である。この場合、各セグメントは、連続する又は流れるような表面に対応する。これにより、認識処理は向上し且つオブジェクトが誤検出される可能性は低下する。

本発明の更なる実施形態において、組み合わせることは、
中間候補画像を取得するため、認識マスクに依存してソース画像をセグメント化することと、
候補３Ｄ画像を取得するため、注目領域のレーザポイントに対応する深さ情報を前記中間候補画像の対応する画素に追加することとを含む。

これらの特徴により、ソース画像を非常に効率的に処理できる。ソース画像は、画素量が非常に限定され且つ深さ情報を含む複数の画像に分割される。深さ情報により、候補３Ｄ画像は非常に効率的に実世界サイズに変倍可能である。更に、深さ情報により、候補３Ｄ画像により表されるオブジェクトの実世界サイズを算出できる。

本発明の更なる実施形態において、検出することは、候補３Ｄ画像毎に、
前記深さ情報に依存して、候補３Ｄ画像のサイズ及び形状を判定することと、
サイズ及び形状が既定値に従う場合、深さ情報に依存して候補３Ｄ画像の表面の深さ均一性を判定することと、
候補３Ｄ画像の表面の深さが均一な場合、深さ情報に依存して走行方向に対する候補３Ｄ画像の直角度を判定することと、
候補３Ｄ画像の表面の深さが不均一な場合、先行のソース画像に依存して走行方向に対する候補３Ｄ画像の直角度を判定することと、
直角度に依存して、候補３Ｄ画像をオブジェクトグループに追加することとを含む。

これらの特徴により、本発明を実施する技術者は、候補３Ｄ画像が道路標識に対応するか否かを非常に効率的に判定できる。

本発明の別の実施形態において、フィルタリングすることは、
走行方向及びレーザスキャナデータの局所深さ均一性に依存して、注目領域内の表面に対応するレーザポイントを選択することを含み、組み合わせることは、
中間候補画像を取得するため、認識マスクに依存してソース画像をセグメント化することと、
候補３Ｄ画像を取得するため、表面に対応するレーザポイントに対応する深さ情報を前記中間候補画像の対応する画素に追加することとを含む。これらの特徴により、レーザサンプルのクラスタが注目オブジェクトに対応するか否かを非常に早い段階で判定できるため、処理するレーザポイントを更に減少できる。これにより、中間画像の量が後に減少する。これは特に、車両の走行方向に対する注目オブジェクトの表面の直角度を考慮することにより達成される。車両の走行方向は、道路の方向に対する近似として使用される。セグメントが限定された量の画素を含み、セグメント数が減少され且つ中間画像により表されるオブジェクトの方位の検証を実行する必要がないため、計算量は更に減少される。

本発明の更なる実施形態において、検出することは、候補３Ｄ画像毎に、
前記深さ情報に依存して、候補３Ｄ画像のサイズ及び形状を判定することと、
サイズ及び形状に依存して、候補３Ｄ画像をオブジェクトグループに追加することとを含む。この特徴により、本発明を実施する技術者は、候補３Ｄ画像を効率的に変倍してオブジェクトの実世界サイズ及び形状を取得できる。その後、形状は測定され、対応する形状及びサイズを有する候補３Ｄ画像のみがオブジェクトグループに追加される。そのグループはデータベースに格納可能である。一実施形態において、平面を有するオブジェクトのみが検出される。

本発明の別の実施形態において、方法は、
車両の位置及び方位を検索することと、
第１の注目領域を取得するために対応するレーザポイントを取得するため、車両の位置及び方位に依存してレーザスキャナデータをフィルタリングすることと、
車両の位置及び方位と関連するソース画像を検索することと、
第１の認識マスクを生成するため、第１の注目領域に対応するレーザポイントをソース画像の画像座標にマッピングすることと、
第１の注目領域を表す第１の候補３Ｄ画像を取得するため、第１の認識マスク及びソース画像を組み合わせることと、
走行方向に依存して、第１の候補３Ｄ画像から第１のオブジェクトグループを検出することと、
第２の注目領域に対応するレーザポイントを取得するため、車両の位置及び方位、並びにレーザスキャナデータの局所深さ均一性に依存してレーザスキャナデータをフィルタリングすることと、
第２の認識マスクを生成するため、第２の注目領域に対応するレーザポイントをソース画像の画像座標にマッピングすることと、
第２の注目領域を表す第２の候補３Ｄ画像を取得するため、第２の認識マスク及びソース画像を組み合わせることと、
第２の候補３Ｄ画像から第２のオブジェクトグループを検出することと、
第１のオブジェクトグループ及び第２のオブジェクトグループを組み合わせることとを備えることを特徴とする。本実施形態により、モバイルマッピングデータからのオブジェクトの検出率を向上できる。

本発明は、ソフトウェア、ハードウェア又はソフトウェア及びハードウェアの組み合わせを使用して実現可能である。本発明の全部又は一部がソフトウェアで実現される場合、そのソフトウェアはプロセッサ可読記憶媒体に常駐可能である。適切なプロセッサ可読記憶媒体の例は、フロッピディスク、ハードディスク、ＣＤ ＲＯＭ、ＤＶＤ、メモリＩＣ等を含む。システムがハードウェアを含む場合、ハードウェアは、出力デバイス（例えばモニタ、スピーカ又はプリンタ）、入力デバイス（例えばキーボード、ポインティングデバイス及び／又はマイクロホン）、並びに出力デバイスと通信するプロセッサ及びプロセッサと通信するプロセッサ可読記憶媒体を含んでもよい。プロセッサ可読記憶媒体は、本発明を実現するための動作を実行するプロセッサをプログラム可能とするコードを格納する。本発明の処理は、電話線、あるいは他のネットワーク又はインターネット接続を介してアクセス可能なサーバ上でも実現可能である。

図１は、世界座標におけるレーザスキャナデータの表現を示す図である。 図２は、図１に示す表現と関連する画像を示す図である。 図３は、本発明に係る方法の一実施形態を示すフローチャートである。 図４は、カメラ空間へのレーザポイントの投影を示す上面図である。 図５は、レーザポイントから画像画素への変換を示す図である。 図６は、投影された図１のレーザポイントを重ねた図２の画像を示す図である。 図７は、投影された注目レーザポイントを拡大して重ねた図２の画像を示す図である。 図８は、図２の画像内の注目領域のみを示す図である。 図９ａは、レーザスキャナデータに対する後続の処理ステップの中間結果を示す図である。 図９ｂは、レーザスキャナデータに対する後続の処理ステップの中間結果を示す図である。 図９ｃは、レーザスキャナデータに対する後続の処理ステップの中間結果を示す図である。 図９ｄは、レーザスキャナデータに対する後続の処理ステップの中間結果を示す図である。 図９ｅは、レーザスキャナデータに対する後続の処理ステップの中間結果を示す図である。 図９ｆは、レーザスキャナデータに対する後続の処理ステップの中間結果を示す図である。 図１０は、本発明の２つの実施形態を組み合わせる利点を示す図である。 図１１は、本発明に係る方法を実現するために使用可能なコンピュータシステムを示す上位ブロック図である。 図１２は、カメラ及びレーザスキャナを有するＭＭＳシステムを示す図である。 図１３は、場所パラメータ及び方位パラメータを示す図である。

多くの例示的な実施形態を使用し且つ添付の図面を参照して、本発明を以下により詳細に説明する。

図１２は、自動車２０の形態をとるＭＭＳシステムを示す。自動車２０は、１つ以上のカメラ２９（ｉ）及び１つ以上のレーザスキャナ２３（ｊ）を備える。ｉ＝１、２、３、...Ｉであり、ｊ＝１、２、３、...Ｊである。画角又は１つ以上のカメラ２９（ｉ）は、自動車２１の走行方向に対して任意の方向にあってもよく、従って、前方観察用カメラ、側方観察用カメラ又は後方観察用カメラ等であってもよい。カメラ２９（ｉ）の観察ウィンドウは、車両前方の路面全体を範囲に含む。自動車２１の走行方向とカメラの画角との間の角度は、両側において−４５°〜４５°の範囲内にあるのが好ましい。自動車２１は、運転者により注目道路に沿って運転可能である。

自動車２１は複数の車輪２２を備える。更に、自動車２１は高精度位置判定デバイスを備える。図１２に示すように、位置判定デバイスは以下の構成要素を具備する：
・アンテナ２８に接続され、複数の衛星ＳＬｉ（ｉ＝１、２、３、...）と通信し且つ衛星ＳＬｉから受信する信号から位置信号を算出するように構成されるＧＰＳ（全地球測位システム）ユニット。ＧＰＳユニットは、マイクロプロセッサμＰに接続される。ＧＰＳユニットから受信する信号に基づいて、マイクロプロセッサμＰは、自動車１内のモニタ２４に表示され且つ自動車が位置する場所及び場合によっては自動車が移動している方向を運転者に通知する適切な表示信号を判定してもよい。ＧＰＳユニットの代わりに、ディファレンシャルＧＰＳユニットが使用可能である。ディファレンシャル全地球測位システム（ＤＧＰＳ）は全地球測位システム（ＧＰＳ）の改良版であり、固定地上参照局のネットワークを使用して、衛星システムにより示される位置と既知の固定位置との間の差分を同報通信する。これらの局は、測定された衛星の擬似距離と実際の（内部で計算された）擬似距離との間の差分を同報通信し、受信局は、自身の擬似距離を同一量分補正してもよい。
・ＤＭＩ（距離測定器）。この計器は、車輪２２のうちの１つ以上の車輪の回転数を検知することにより、自動車２１が移動した距離を測定する走行距離計である。ＧＰＳユニットからの出力信号から表示信号を算出する際にマイクロプロセッサμＰがＤＭＩにより測定された距離を考慮できるようにするため、ＤＭＩもマイクロプロセッサμＰに接続される。
・ＩＭＵ（慣性測定器）。そのようなＩＭＵは、３つの直交方向に沿った回転加速度及び並進加速度を測定するように構成される３つのジャイロユニットとして実現可能である。ＧＰＳユニットからの出力信号から表示信号を算出する際にマイクロプロセッサμＰがＤＭＩによる測定値を考慮できるようにするため、ＩＭＵもマイクロプロセッサμＰに接続される。ＩＭＵは、推測航法センサを更に含むことができる。

尚、当業者は、車両の正確な場所及び方位を提供するためにグローバルナビゲーション衛星システム、車載慣性システム及び車載推測航法システムの多くの組み合わせ、並びに機器（これらは、車両の基準位置及び基準方位を参照して、既知の位置及び方位を用いて取り付けられる）を見つけることができる。

図２１に示すようなシステムは、例えば自動車２１に取り付けた１つ以上のカメラ２９（ｉ）を用いて写真を撮影することにより地理データを収集するいわゆる「モバイルマッピングシステム」である。カメラ２９（ｉ）は、マイクロプロセッサμＰに接続される。自動車前方のカメラ２９（ｉ）は、立体カメラであってもよい。カメラは、画像が既定のフレーム速度で取り込まれた画像シーケンスを生成するように構成可能である。例示的な一実施形態において、カメラの１つ以上は、自動車２１の既定の変位毎又は時間間隔毎に写真を取り込むように構成される静止画カメラである。カメラ２９（ｉ）は、画像をμＰに送出する。一実施形態において、モバイルマッピング車両は３つのカメラを具備する。そのうちの１つは前方観察用カメラであり、両側のカメラは、車両の進行方向に対して３０〜６０°の範囲にあり且つ好ましくは４５°にある観察軸を有する。その場合、前方観察用カメラは、路面上方の道路指示を検出するのに特に適した画像を取り込み、側方観察用カメラは、道路に沿った道路標識等のオブジェクトを検出するのに特に適した画像を取り込む。

更に、レーザスキャナ２３（ｊ）は、自動車２１が注目道路に沿って走行中にレーザサンプルを読み込む。従って、レーザサンプルは、これらの注目道路と関連する環境に関するデータを含み、建物の区画、樹木、交通標識、駐車中の自動車、歩行者、方向案内標識等に関するデータを含んでもよい。レーザスキャナ２３（ｊ）もマイクロプロセッサμＰに接続され、これらのレーザサンプルをマイクロプロセッサμＰに送出する。

一般に、３つの測定ユニット、すなわちＧＰＳ、ＩＭＵ及びＤＭＩから場所及び方位を可能な限り正確に測定することが望まれる。これらの場所データ及び方位データは、カメラ２９（ｉ）が写真を撮影し且つレーザスキャナ２３（ｊ）がレーザサンプルを読み込む間に測定される。写真及びレーザサンプルの双方は、後で使用するため、これらの写真が撮影されたのと同時に収集された自動車２１の対応する場所データ及び方位データと関連付けてμＰの適切なメモリに格納される。写真は、例えば建物の区画、樹木、交通標識、駐車中の自動車、歩行者、方向案内標識等に関する視覚情報を含む。レーザスキャナ２３（ｊ）は、建物の区画、樹木、交通標識、駐車中の自動車、歩行者、方向案内標識等の道路情報に沿う３Ｄ表現において視覚化するほど十分に密なレーザスキャナポイント群を提供する。一実施形態において、レーザスキャナ２３（ｊ）は、本方法のために十分に密な出力を生成するため、最低で５０Ｈｚ及び１°の解像度を有する出力を生成するように構成される。SICKにより製造されるMODEL LMS291-S05等のレーザスキャナは、そのような出力を生成できる。

図２は、図１に示す３つの測定ユニットであるＧＰＳ、ＤＭＩ及びＩＭＵから取得可能な位置信号を示す。図２は、マイクロプロセッサμＰが６つの異なるパラメータ、すなわち所定の座標系における原点に関する３つの距離パラメータx、y、z、並びにx軸、y軸及びz軸に関する回転をそれぞれ示す３つの角度パラメータωx、ωy及びωzを算出するように構成されることを示す。z方向は、重力ベクトルの方向と一致するのが好ましい。グローバルＵＴＭ又はＷＧＳ８４座標系は、所定の座標参照系として使用可能である。尚、本発明に係る方法は、NAD 83及び他のナショナルグリッドシステム等のローカル座標参照系と共に使用可能である。６つの異なるパラメータは、車両の位置及び方位を同時に追跡するのに必要な６自由度を提供する。カメラ及びレーザスキャナは、自動車２１に対して固定位置及び固定方位を有する。これにより、画像を取得した時点での座標参照系における各レーザサンプルの位置、並びに座標参照系におけるカメラの位置及び方位を６つのパラメータから正確に判定できる。

図１は、実世界座標におけるレーザスキャナデータの表現を示す。レーザスキャナは、レーザスキャナと第１の障害物との間の距離を検出及び算出する。レーザスキャナは、レーザ光線を回転し、回転が既定の角度を超える度にサンプルを取得する。サンプリング速度と組み合わせられる回転速度は、レーザスキャナデータの角度解像度を定義する。本発明において、レーザスキャナは、走査平面に沿って１°の解像度及び７５Ｈｚの走査周波数を有する。この結果、レーザスキャナは、標識までの平均距離に対応する１５ｍの距離において２５ｃｍの垂直解像度を有する。レーザスキャナデータは、トリプレット(t,d,a)により表されるサンプルを含む。tはサンプル時間であり、dは最近接面までの距離であり、aは測定時のレーザ角度である。レーザスキャナは、モバイルマッピング車両の前方に取り付けられるのが好ましい。レーザスキャナの回転軸は、路面に対して平行であるのが好ましい。平面を有するオブジェクトを最適に検出するためには、回転軸が前記平面オブジェクトに対して４５°の角度を有するのが好ましいことが分かっている。本発明の主な目的は、モバイルマッピングデータから道路標識及び方向案内標識を抽出することである。モバイルマッピングデータは、モバイルマッピング車両内のモバイルマッピングシステムにより記録される全データを含む。道路標識及び方向案内標識は、道路の軸に対して垂直な平面を有するオブジェクトである。従って、前記注目オブジェクトを検出するためには、レーザスキャナはモバイルマッピング車両の走行方向に対して４５°に取り付けられるのが最適である。

モバイルマッピング車両は、ＧＰＳ受信機、並びに場合によっては追加の慣性センサ及び推測航法センサ等の位置決めセンサと、ジャイロスコープ、加速度計及び距離測定ユニット等の方位センサとを具備する位置決めプラットフォームを備える。これらのセンサは周知である。これらのセンサを用いて、車両の位置及び方位は非常に正確に判定され且つ記録される。更に、モバイルマッピング車両は、画像シーケンスを記録する多くのカメラを備える。２つのカメラは、車両前方の画像を記録するために車両前方に取り付け可能である。これら２つのカメラは、一連の立体画像ペアを生成するように構成可能である。更にカメラは、車両からの側方ビューを取得するために左側及び右側に取り付け可能であり、車両後方のカメラは、車両後方から見た実世界を記録する。カメラが車両の全ての側に取り付けられる場合、車両周辺の全方向における連続したビューを取得できる。前方及び後方のカメラにより、同一路面の反対方向からの２つの画像シーケンスを取得できる。

少なくとも位置決めデータ及び方位データ、レーザ走査データ、並びに画像シーケンスを含む記録データソースは全て、同一の時間基準を使用する。位置決めプラットフォームにより、モバイルマッピング車両の位置及び方位を非常に正確に判定できる。更に、レーザスキャナは、車両の走行方向に対して既知の位置に既知の方位で車両に取り付けられる。車両の位置及び方位、車両の位置に対するレーザスキャナの位置及び方位、並びにトリプレットで記録されたスキャナデータを組み合わせることにより、レーザスキャナデータは３Ｄ世界座標に変換可能である。これにより、車両の移動に対して所定の方向における最近接ポイントのメッシュが得られる。図１は、レーザスキャナデータのトリプレットを３Ｄ世界座標に変換した結果を示す。図１に示すレーザデータは、２つのレーザスキャナにより取得された。各レーザスキャナは、１８０°の測定ウィンドウ及び車両の走行方向に対して平行な回転軸を有する。本明細書内の全図面において、レーザスキャナの前記構成を使用する。本願において、走行方向は道路の方向の近似である。通常、道路標識が走行方向に対して５°の角度で配置され且つ走行方向に対して垂直ではないため、道路標識は、走行方向に対して平行な回転軸を有するレーザを用いて検出可能である（これは、図１の場合に収集されたデータの構成である）。しかし、走行方向に対して４５°の角度の回転軸を有するレーザスキャナが、道路標識及び建物の正面等のオブジェクトを検出するのにより適するレーザデータを提供することが分かっている。図１において、サンプルの濃度はレーザスキャナと反射面との間の距離を表す。

図２は、図１に示す表現と関連するソース画像を示す。ソース画像は、地上カメラにより記録されるある程度垂直な画像を表す。ソース画像は、例えば１０ｍの変位毎に作動される静止画カメラにより記録される一連の静止画であってもよい。画像センサを具備するカメラは画角αを有する。画角αは、カメラのレンズの焦点距離により判定される。画角αは４５°＜α＜１８０°であってもよい。更にカメラは、画角の中心に存在する観察軸を有する。観察軸は水平面、例えば路面に対して平行である。図２の例において、観察軸は車両の運動方向に対して平行である。通常、画像センサは、観察軸に対して垂直に取り付けられる。この場合、画像センサは、「純粋な」垂直ソース画像を記録する。更に、画像センサの高さは水平面、例えば地表に対して既知である。地上カメラから検索されるソース画像は、三角法により任意の仮想面に変換可能である。観察軸が水平面に対して既知の角度で傾斜する場合であっても、仮想面はソース画像に対して取得可能である。

静止画カメラにより取得される画像は、カメラの視野内にある最近接表面ポイントの色の表現である。画素の値は、前記画素に対する色を測定する画像センサの感光素子を介してカメラの焦点から観察される表面の色に対応する。通常、現在のカメラで使用されるレンズは、画素当たり約０．０１〜０．１°の角度解像度で写真を記録する解像度及び焦点距離を有する。

静止画カメラの角度解像度は、レーザスキャナからの角度解像度より約１０〜１００倍精細である。モバイルマッピング車両で現在使用されるカメラは、０．０５°の画素解像度を有する。これは、使用されるレーザスキャナの角度解像度より２０倍精細である。

本発明は、レーザスキャナデータ及びソース画像の双方を組み合わせて、モバイルマッピングデータから注目オブジェクトを抽出する。本発明の特性は、レーザスキャナデータが異なる時間インスタンスで取り込まれ且つソース画像が特定の時間インスタンスで取り込まれることである。車両の位置データ及び方位データは、絶対又は相対ジオグラフィック座標参照系におけるレーザサンプルの３Ｄ位置をソース画像のx,y画素位置に投影できるようにするために不可欠である。車両の位置データ及び方位データ、各ソース画像及びレーザスキャナデータと関連する時間基準により、マイクロプロセッサは、ソース画像毎に座標参照系における基準位置及び基準方位を定義するメタデータを判定し且つレーザサンプル毎に座標系における位置を判定できる。これにより、レーザスキャナサンプルを画像空間に投影できる。

本発明の第１の実施形態は、以下の動作を有する。
１．レーザ走査ポイントに対する注目領域を選択する
２．レーザ注目領域を画像にマッピングして、認識マスクを生成する
３．注目領域をセグメント化する
４．サイズ特性及び形状特性によりセグメントをフィルタリングする
５．セグメントが隠蔽されるかを判定する
５ａ．６自由度の方位系を使用して、任意の隠蔽されたセグメントの方位を算出する
５ｂ．隠蔽されないセグメントの方位をレーザデータから算出する
６．垂直なセグメントをフィルタリングにより選択する

本発明の第２の実施形態において、方法は以下の動作を有する。
１．レーザ走査ポイントの注目領域を選択する
７．注目領域から垂直な表面を抽出する
８．垂直な表面を画像にマッピングする
９．表面に対応する画像に対して色分解を実行する
１０．フィルタリングを用いて、サイズ及び形状により表面を選択する

第１の実施形態及び第２の実施形態の各動作を以下により詳細に説明する。

図３は、本発明に係る方法の第３の実施形態を示すフローチャートである。第３の実施形態において、第１の実施形態及び第２の実施形態は組み合わされている。左側のパスは第１の実施形態に対応し、右側のパスは第２の実施形態に対応する。第１の実施形態及び第２の実施形態が無相関な処理を実行することは分かっている。第１の実施形態に係る方法は、画像に基づく平面オブジェクトの認識に基づき、これにより約０．０１％の誤検出率でオブジェクトの９８％を検出できる。第２の実施形態に係る方法は、レーザスキャナデータにおける平面オブジェクトの認識に基づき、これにより同様の誤検出率でオブジェクトの８０％を検出できる。認識処理が無相関であるため、認識結果は無相関である。その結果、第２の方法は第１の方法により検出されないオブジェクトの８０％を発見し、第１の処理は第２の方法により検出されないオブジェクトの９８％を発見する。従って、第１の方法及び第２の方法の結果を組み合わせることにより、オブジェクトの９９．６％の認識を達成できる。そのような性能により、処理を自動化できる。２つの実施形態を組み合わせる利点を図１１に示す。

第１の実施形態の動作を以下により詳細に開示する。
動作１．レーザ走査ポイントに対する注目領域を選択する。

画像毎のこの動作において、レーザポイントは、注目領域を提供するためにフィルタリングされる。領域は、ポイントの集合により表されるレーザスキャナデータの一部である。各画像は、関連する位置データ及び方位データを有する。レーザポイントも、関連する位置データ及び方位データを有する。注目オブジェクトの表面に確実に対応しない全レーザスキャナポイントはフィルタリングされる。そのようなフィルタの一例は、以下を含んでもよい：
−モバイルマッピング車両の位置の左側及び／又は右側から１０ｍより遠い位置にある全ポイント；
−路面から０．５ｍ未満及び／又は６．０ｍより高い位置にある全ポイント；
−カメラ又はモバイルマッピング車両の前方０．５〜３０ｍの距離の外側にある全ポイント。

この動作により、画像毎に処理されるレーザポイントの量は大幅に制限される。従って、画像に対する注目領域に対応するレーザポイントは、フィルタリングされずに認識オブジェクトから依然として取得可能なレーザポイントのみを含む。従って、画像に対する注目領域に対応するレーザポイントは、レーザスキャナデータのサブセットである。
動作２．レーザ注目領域を画像にマッピングして、認識マスクを生成する；
この動作において、認識を実行する必要のある各画像に対する注目領域のレーザポイントは、画像座標にマッピングされる。これは、各写真の焦点の位置が既知であり且つカメラの方位が既知である場合に実行可能である。カメラの画像空間は、観察軸、並びに水平及び垂直画角により定義される。図４は、カメラ空間へのレーザポイントの投影例を示す上面図である。カメラの画角内に存在するレーザポイントのみが画像空間内に投影される。図４において、左側から１つのポイント及び右側から３つのポイントは、画像空間に投影されないポイントである。図５は、レーザポイント(Xp,Yp,Zp)から画像画素(Xs,Ys)への変換を示す。(Xp,Yp,Zp)は、世界座標におけるレーザポイントの座標であり、(Xc,Yc,Zc)は、世界座標におけるカメラの焦点の座標であり、(Xs,Ys)は、画像空間における座標である。破線はカメラの観察軸に対応する。

一実施形態において、カメラの世界座標は、取り込まれた各写真に割り当てられる。更に、モバイルマッピングプラットフォームの位置センサ及び方位センサを用いることにより、車両の基準方位に対するカメラ及びレーザスキャナの全回転は非常に正確に把握される。時間における測定位置及び走行方向を組み合わせることにより、レーザポイントの実世界座標はカメラの観察軸に対して判定可能である。これにより、レーザポイントを非常に正確に選択し且つ画像空間に投影できる。これは、本発明の重要な点である。これは、レーザスキャナからのポイントを画像が収集された時点とは異なる時点で読み込むことができ且つ本発明に必要な正確な登録のレベルを達成するためにプラットフォームの位置及び方位を正確に考慮する必要があるという点において特に重要である。図６は図２の画像を表す。図６において、レーザポイントは前記画像の画像空間に投影される。しかし、第１の動作によりフィルタリングされなかったためオブジェクトから取得可能なレーザポイントのみがマスクを生成するために使用される。マスクにより、対応する画素のみをソース画像から非常に効率的に選択できる。マスクは、ソース画像に対応する画像空間を有する。そのため、マスクの画素とソース画像の画素との間に１対１の関係を定義できる。

レーザ走査装置及びカメラの解像度が異なるため、通常、レーザポイントはマスクにおいて個別のドットになる。従って、レーザスキャナポイントは、マスクにおいて疎に出現する。マスク内に連続的な範囲を生成するため、レーザポイントに対応する画素は、周知の形態的画像ベースフィルタにより拡大される。単純な実施形態において、全レーザポイントは、固定長さ及び固定高さ（画素数において）を有し且つその解像度及び幾何学特性から概略的に求められる正方形範囲により置換される。図７は、レーザポイントに注目領域フィルタを適用し且つフィルタリングされたレーザポイントに対応するマスクの画素を拡大した後に取得された画像を表す。

実験結果は、上述の動作によりソース画像の画素の８５〜９５％を破棄し、道路案内標識を表すと考えられる「有用な」画素のみを残すことができることを示す。検査されるソース画像内の画素を有用な画素のみまで減少することにより、オブジェクトの誤検出に対応する誤検出数は、総画素に対する有用な画素の比率に比例して減少される。更に、後続の処理ステップにおける画像処理速度は、同一の比率で減少される。

尚、深さ情報は、対応するレーザスキャナサンプルを有する画素のみに添付可能である。一実施形態において、マスクのその他の画素の深さ情報の値は、「非深さ情報」に対応する。従って、深さ情報は画像空間において疎に出現する。別の実施形態において、深さ情報は、拡大処理と同時に割り当てられる。このようにして、マスクの全画素は深さ情報を有する。
動作３．注目領域をセグメント化する；
この動作において、動作２において生成されたマスクに対応するソース画像の画素が選択される。その後、選択画素をセグメント化するため、選択画素に対して「成長」アルゴリズムが実行される。成長アルゴリズムにより、当業界の技術者はセグメント又は候補３Ｄ画像を生成できる。その結果、ソース画像においてセグメントの隣接画素である全画素は既定の閾値外の色距離を有し、セグメントの全画素は既定の閾値内の色距離を有する。このステップにおいて、マスク画像は候補３Ｄ画像を生成するために使用され、この場合、各候補３Ｄ画像は１つのセグメントに対応する。例えば、８０の制限速度を示す制限速度標識は、赤色境界線に対する１つのセグメント、数字の周囲の白色背景に対する１つのセグメント、数字の８の黒色範囲に対する１つのセグメント、数字の０の黒色範囲に対する１つの範囲、数字の８の中の白色範囲に対する２つのセグメント及び数字の０の中の白色範囲に対する１つのセグメントの７つのセグメントにセグメント化され、その結果、７つの候補３Ｄ画像が得られる。候補３Ｄ画像の各画素は、ソース画像からの色情報及びマスクからの関連する深さ情報を含む。文献において、そのような画素はボクセルと呼ばれる。

一実施形態において、画素の深さ情報は、実世界座標におけるカメラの焦点と前記画素に関連付けられるレーザスキャナポイントを含むカメラの観察軸に対して垂直な平面との間の最短距離である。別の実施形態において、画素の深さ情報は、実世界座標におけるカメラの焦点と前記画素に関連付けられるレーザスキャナポイントとの間の距離である。

各候補３Ｄ画像は、後続の処理動作において処理される。尚、標識の１つの主要セグメントのみの存在を認識することは、案内標識情報の更なる処理に関連する。主要セグメントは、画素数の最も多いセグメント又は特徴的な既定の形状及びサイズを有するセグメントである。例えば、欧州の制限速度案内標識の場合、主要セグメントは内部を有する赤色円であり、警告標識の場合、内部を有する赤色三角形である。

別の実施形態において、マスクの画素は、ソース画像における開始画素として使用される。候補３Ｄ画像を取得するため、成長アルゴリズムはソース画像に対して実行される。本実施形態は、走査の一部においてレーザスキャナとの間のオブジェクトにより方向案内標識の一部が隠蔽されるが道標全体は画像内で可視である状況に対して有利である。マスク及びソース画像の組み合わせから候補３Ｄ画像を取得するために他のアルゴリズムが使用可能であることは明らかである。
動作４．サイズ特性及び形状特性によりセグメントをフィルタリングする。

この動作において、サイズ及び形状フィルタが各候補３Ｄ画像に対して適用される。深さ情報は、同様の深さ情報を有する候補３Ｄ画像の画素の範囲を対応する実世界位置において実世界サイズに変倍するために使用される。セグメントが複数の深さと関連する場合、対応する範囲のサイズは深さ毎に判定される。判定されたサイズは、候補３Ｄ画像が所定のサイズを有するかを判定するために使用される。注目オブジェクトより大きい又は小さい候補３Ｄ画像はフィルタリングされる。本発明の一実施形態において、０．５ｍ×０．５ｍより小さいサイズ及び１．２ｍ×１．２ｍより大きいサイズを有する候補３Ｄ画像は除去される。

そのため、上述の８０ｋｍの制限速度標識の例の場合、赤色境界線及び白色背景の候補３Ｄ画像は、このサイズフィルタを通過する。黒色の８、黒色の０、０内部の白色部分等、その他の候補３Ｄ画像は全て小さ過ぎるため、フィルタリングされる。最後のステップにおいて、通過した２つの候補は、同一距離及び写真の同一範囲内に存在すると認識されるため、同一標識であると考えられる。

その後、道路案内標識の検出に最適な空間形状係数、例えばBlair-Bliss及びHaralickの形状係数を判定するため、残りの候補３Ｄ画像に形状式を適用する。形状係数により、注目オブジェクトの形状に対応する形状を有さないオブジェクトをフィルタリングできる。

使用可能な形状係数は多数存在する。それらを２つのグループに分けることができる：
−算出が高速且つ容易なグループ
−オブジェクトをより正確に区別できるが、速度の遅いグループ
第２のグループからの２つの形状係数が判定されるのが好ましい。

Blair-Blissの形状係数は、次式により判定される：

式中：
S −候補３Ｄ画像の範囲
ri −形状の質量中心からのi番目の画素の距離
i −形状の画素指標
Haralickの形状係数は、次式により判定される：

式中：
di −形状の質量中心からのi番目の画素の距離
n −輪郭画素の数
i −形状の画素指標
形状係数により、円、三角形及び矩形の形態を有する形状を効果的に選択できる。

尚、セグメントを形状特性により選択することは、画像処理の分野において一般に実行される一般的な従来技術の動作である。通常、画像ソースデータのみを更に考慮せずにこの動作が実行される場合、誤検出率は、数％（１〜１０％）の範囲にある。

しかし、深さ情報を候補３Ｄ画像に添付することにより、実世界サイズを判定できることに注意する必要がある。実世界サイズの検査は追加の検証ステップであり、画像ソースデータのみが考慮される場合、これを実行するのは容易ではない。追加の検証ステップにより、誤検出数が平均で１／１０に減少される。
動作５．レーザスキャナデータにおいてセグメントが隠蔽されているかを判定する；
この動作は、候補３Ｄ画像の深さ均一性を判定するために動作４の後に実行される。候補３Ｄ画像は、異なる深さを有する画素を含んでもよく、又は深さ情報を全く含まない。異なる深さは、単純な周知のエッジ検出フィルタにより検出可能である。前記フィルタにより、深さ均一性が判定される。例えば樹木が、レーザ走査データにおいて道路標識を部分的に隠蔽するがソース画像において隠蔽しない場合、候補３Ｄ画像は異なる深さ情報を有することがある。その結果、候補３Ｄ画像の一部の範囲は深さ情報を含まないか、又は道路標識の背後のオブジェクトに対応する深さ情報を含むことがある。レーザスキャナと道路標識との間の大きな樹木によりレーザ光線が完全に遮られて道路標識に到達しない場合、候補３Ｄ画像が深さ情報を全く含まないこともある。
動作５ａ．隠蔽されたセグメントの方位を画像データから算出する；
このステップにおいて、画像処理技術は、モバイルマッピング車両の方位又は走行方向に対する候補３Ｄ画像の方位を判定するために使用される。６自由度の方位デバイスは、モバイルマッピング車両の方位及び走行方向を測定するために使用される。車両の測定された方位及び走行方向は、候補３Ｄ画像に対応するソース画像の取り込み時のカメラの方位及び絶対位置又は相対位置を算出するために使用される。オブジェクトの方位は、三角測量技術により取得可能である。候補３Ｄ画像に対応する元のソース画像が立体カメラから取得される場合、画像の立体ペアのその他の画像は、三角測量を実行し且つ候補３Ｄ画像の方位を判定するために使用可能である。別の実施形態において、元のソース画像に先行するソース画像は、距離を算出し且つオブジェクトの方位を判定するための三角測量を実行するために使用される。ソース画像は１０ｍの距離毎に取り込まれる。従って、先行のソース画像は、現在のソース画像の１０ｍ前に取り込まれる。その結果、先行のソースは、１０ｍ手前であるため現在のソース画像内の表現より小さい候補３Ｄ画像の表現を含む。候補３Ｄ画像に対応するオブジェクトの方位は、三角測量により判定可能である。
動作５ｂ．隠蔽されないセグメントの方位をレーザデータから算出する；
この動作は、候補３Ｄ画像の画素の深さ情報が平滑な表面、好ましくは既定の深さ均一性を有する平面に対応する場合に動作４の後に実行される。これは、候補３Ｄ画像の深さ情報が、モバイルマッピング車両の走行方向の方位に対するオブジェクトの方位において、隣接画素との間に深さ情報による大きな変動を含まない場合である。

その後、候補の画素の深さ情報は、モバイルマッピング車両の走行方向に対する表面の方位を判定するために使用される。方位の判定は、周知のアルゴリズムにより実行される。

動作５ａと動作５ｂとの間の主な違いは、動作５ａにおいては、関連する位置データ及び方位データ、並びに車両の移動方向と組み合わされる画像ソース情報のみを使用して、候補３Ｄ画像により表されるオブジェクトが走行方向に対して既定の方位を有するかを判定するのに対して、動作５ｂにおいては、深さ情報の形態のレーザ走査データのみを使用してオブジェクトの方位を判定することである。

更に、実際は、１００個のオブジェクトのうち約１つが隠蔽されることに注意する必要がある。そのため、主要な処理ストリームは、動作５ａではなく動作５ｂを通過する。動作５ｂにおける深さ情報に基づく候補３Ｄ画像の方位の判定はより正確であり、動作５ａにおける画像情報に基づく各候補３Ｄ画像の方位の判定より誤検出が少ない（１／１０）。更に、動作５ｂが必要とする処理能力は動作５ａより少ない。
動作６．垂直なセグメントをフィルタリングにより選択する。

最後に、動作６において、方位は、検出されたオブジェクトのより多くの特性を取得するための更なる処理のため、オブジェクトデータベースに追加する必要のある候補３Ｄ画像を選択するために使用される。更なる処理の例は、８０ｋｍ制限速度標識等の道路標識の種類の認識及び道路標識の位置の算出であり、双方は、デジタル地図データベースで使用するために判定される。

上述の注目領域内で発見される平面の方位が移動車両の方向の約＋／−１０°の範囲内にある場合、平面オブジェクトは道路標識である可能性が高いことが分かっている。

本発明の第２の実施形態の後続の動作を以下により詳細に説明する。
動作１．レーザ走査ポイントの注目領域を選択する；
第１の実施形態と同様に、第１の動作１は、レーザデータ内の注目領域を取得するために実行される。図９ａは、ある特定の絶対位置又は相対位置に対する既定の範囲内の収集された全レーザポイントの３次元表現の一例を表し、図９ｂは、動作１実行後の残りのレーザポイントを表す。地面付近の全レーザポイントが収集されたレーザポイントから除去されることが分かる。
７．注目領域から垂直な表面を抽出する；
このステップにおいて、注目領域の全レーザポイントは、隣接するレーザポイントが平滑な平面を形成するかを判定することにより深さ均一性を判定するために使用される。図９ｃは、図９ｂの結果において検出された平面に対応するレーザポイントの一例を示す。道路標識を検出する必要があるため、使用されるアルゴリズムは、モバイルマッピング車両の移動方向に対してほぼ垂直な表面を探し出す。アルゴリズムは、注目領域に割り当てられたレーザスキャナポイントにわたって実行される。ＲＡＮＳＡＣ（Random Sample Consensus）アルゴリズムは、平面を発見するために使用される。アルゴリズムは、３つのレーザポイントをランダムに選択する。これらのポイントから平面式が生成される。その後アルゴリズムは、所定の許容範囲で平面に近接するレーザポイントを探し出し、近接レーザポイントの数をカウントする。ステップを繰り返すことにより、アルゴリズムは許容範囲内で最も多くのレーザポイントを有する平面を発見できる。この手順は、最も多くのレーザポイントを有する平面に対応するレーザポイントを除去し且つ残りのレーザポイントに対してアルゴリズムを繰り返すことにより反復可能である。このようにして、レーザデータ内の全候補平面を発見できる。ＲＡＮＳＡＣアルゴリズムの有効性は、平面に属するレーザポイントと解析される注目領域に属するレーザポイントの総数との比率に依存する。関係は、次式により求められる。

式中：
p_failは、平面Ａが発見されない確率であり、
p_gは、ランダムなポイントが平面Ａに含まれる確率（全ポイントに対する平面に近接するポイントの比率）であり、
Lは、ループの反復回数である。

従って、本方法の最適な使用法は、注目領域をサブ領域に再分割し、このアルゴリズムをサブ領域に対して適用することである。本発明の一実施形態において、注目領域の空間は、移動車両の方向において１ｍの深さを有するサブ領域に分割される。

その後、アルゴリズムにより発見された候補平面毎に、車両の走行方向に対する候補平面の方位が判定される。図９ｄは、異なる方位を有する２つの異なる平面を示す。第１の平面９５０は建物の壁に対応し、第２の平面９６０は支柱を有する道路標識に対応する。最後に、注目領域を更に減少するため、既定の方位を有する平面に対応するレーザポイントは一貫性のあるブロックにグループ化される。道路標識を検出するため、平面の方位が移動車両の方向の約＋／−１０°の範囲内にある場合、平面オブジェクトは殆どの場合において道路標識であることが分かっている。図９ｅは、既定の方位を有するオブジェクト選択後の結果を示す。標識の支柱の方位が車両の走行方向に対して判定不能であるため、この支柱も画像内で可視であるが、支柱の位置は、適切に方向付けられたオブジェクトの表面に類似する。そのような状況は、表面検出アルゴリズムにより別個の表面であると判断されない表面に結び付けられる全オブジェクトに対して発生する。

この動作の結果、レーザスキャナデータにおいて発見された平面に対応する候補平面が得られる。各候補平面は、オブジェクトを検出するため、更なる動作において別個に処理される
動作８．垂直な表面を画像にマッピングする。

この動作は動作２に類似するため、更に詳細には説明しない。この動作は、候補平面に依存してマスク画像を生成する。
動作９．表面に対応する画像に対して色分解を実行する。

この動作において、動作８で生成されたマスク画像は、候補平面に対応するソース画像の画素をセグメント化するために使用される。動作３において説明したセグメント化アルゴリズムは、マスクに対応する範囲をセグメント化するために使用される。解析される画素数が先行の動作により既に大幅に減少されているため、より小さい閾値を使用してセグメントを取得できる。前に実行された動作により、候補平面が実際に所望のオブジェクトである可能性が増加されるため、色によるセグメント化は、それほど正確に実行されなくてもよい。
更に、セグメント数が限定されるため、動作９は、セグメントに対応する候補３Ｄ画像だけでなく、１つ以上のセグメントの組み合わせである候補３Ｄ画像も生成する。この動作の結果、図９ｅに示すレーザポイントに対応するマスク画像は、標識に対する１つの候補３Ｄ画像、標識上方の支柱に対する１つの候補３Ｄ画像、標識下方の支柱に対する１つの候補３Ｄ画像、標識及び標識の上方の支柱の組み合わせに対する候補３Ｄ画像、標識及び標識下方の支柱に対する候補３Ｄ画像等の候補３Ｄ画像になる。

その結果、セグメントの組み合わせである候補３Ｄ画像を生成することにより、所望のオブジェクトを含むと事前に仮定された画像の任意の不適切な色セグメント化は少なくとも部分的に補正される。このように、例えば影による標識の赤色境界線の不適切なセグメント化は、太陽光における赤色境界線のセグメント及び影における赤色境界線のセグメントの組み合わせである候補３Ｄ画像を提供することにより補正される。このように、本発明の第１の実施形態において検出不能なオブジェクトが検出される。赤色境界線の各セグメントは個別に更に処理され、その結果、誤ったサイズ又は形状により道路標識として検出されない。
動作１０．フィルタリングを用いてサイズ及び形状により選択する。

この動作において、動作４で説明したサイズ及び形状フィルタが適用される。サイズ及び形状フィルタは、支柱に関する候補３Ｄ画像をフィルタリングする。図９ｆは、選択された候補３Ｄ画像と関連するレーザポイントを示す。最後に、所望の形状及びサイズを有する候補３Ｄ画像が選択され、検出されたオブジェクトのより多くの特性を取得する更なる処理のためにオブジェクトデータベースに追加される。

尚、連続的な平面を構成するレーザポイントを選択することは、従来技術のアルゴリズムである。そのような動作後、少量の誤って選択されたレーザポイント、例えば道路標識の支柱のレーザポイントは選択ポイント群内に残される。それらの誤って選択されたレーザポイントを除去するため、更なる処理動作が必要である。使用可能な通常の従来技術の動作は、レーザデータを除去するため、形状特性によりそれらを解析することである。しかし、レーザデータの垂直及び水平解像度が低いことを考慮すると、この解析後も数％の誤検出率が存在する。レーザスキャナデータ及び画像データ処理のそのような組み合わせにより、誤検出率を平均で１００倍改善できる。

更に、レーザスキャナデータからレーザポイントを選択するために実行されるフィルタは、考慮されるいくつかのルールを含むことに注意する必要がある。動作１の一実施形態において、ルールは、検出されるオブジェクトが存在する可能性のある道路回廊を定義する。例えば、道路回廊は、モバイルマッピング車両の走路の左側から１０ｍ以内及び右側から１０ｍ以内にある全レーザポイント、並びに路面に沿って車両の走路から０．５ｍ以上及び１０．０ｍ以下にあるレーザポイントを含む。道路回廊に対応するレーザポイントは、更なる処理のために格納される。その後、道路回廊に対応するレーザポイントは、モバイルマッピング車両の走路に沿って５ｍのサブ領域に分割される。その場合、動作１の出力は一連の注目サブ領域であり、各注目サブ領域は車両の走路上の基準点を有する。基準点は、対応するサブ領域において車両の走路に沿った第１の位置であるのが好ましい。その後、ソース画像が処理される。ソース画像に対してその他の動作を実行する前に、ソース画像の関連する位置は、ソース画像の関連する位置に最近接する基準点を有するサブ領域を選択するために使用される。本実施形態において、認識マスクを取得するために、サブ領域のレーザポイントのみが画像空間上に投影される。本実施形態により、注目領域を生成するために必要な処理能力を低減できる。動作１において、全てのレーザスキャナデータは一度処理され、レーザポイントの複数の集合が注目サブ領域に対応して生成される。その後、ソース画像毎に、車両前方の道路回廊の最近接注目サブ領域を選択する必要がある。選択されるサブ領域の数は、考慮する必要のある対車両距離に依存する。例えば距離が３０ｍの場合、最初の６つの５ｍサブ領域を選択する必要がある。

図３は、本発明の一実施形態のフローチャートを示す。フローチャート内の左側のパスは上述の第１の実施形態に対応し、右側のパスは本発明の第２の実施形態に対応する。双方の実施形態の結果は、注目オブジェクトのデータベースを構成する１つのデータベースにおいて１つにグループ化可能である。

更に、画像処理の大部分をセグメント又は候補３Ｄ画像のみに対して実行することにより、処理される画素の量は大幅に減少し、その結果、フル画像に基づく処理より約５倍速い検出速度が得られる
図１１は、上述の方法を実行するオブジェクト検出器を実現するために使用可能なコンピュータシステムの上位ブロック図を示す。

図９のコンピュータシステムは、プロセッサユニット９１２及びメインメモリ９１４を含む。プロセッサユニット９１２は、単一マイクロプロセッサを含んでもよく、又はコンピュータシステムをマルチプロセッサシステムとして構成するために複数のマイクロプロセッサを含んでもよい。メインメモリ９１４は、プロセッサユニット９１２により実行する命令及びデータの一部を格納する。本発明の方法がソフトウェアにおいて完全に又は部分的に実現される場合、メインメモリ９１４は、動作時に実行可能コードを格納する。メインメモリ９１４は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）のバンク及び高速キャッシュメモリを含んでもよい。

図９のシステムは、大容量記憶装置９１６、周辺装置９１８、入力デバイス９２０、携帯記憶媒体ドライブ９２２、グラフィックスサブシステム９２４及び出力表示装置９２６を更に含む。簡潔にするため、図９に示す構成要素は、単一バス９２８を介して接続されるものとして示される。しかし、構成要素は１つ以上のデータ搬送手段を介して接続されてもよい。例えば、プロセッサユニット９１２及びメインメモリ９１４はローカルマイクロプロセッサバスを介して接続されてもよく、大容量記憶装置９１６、周辺装置９１８、携帯記憶媒体ドライブ９２２及びグラフィックスサブシステム９２４は、１つ以上の入出力（Ｉ／Ｏ）バスを介して接続されてもよい。磁気ディスクドライブ又は光ディスクドライブを用いて実現されてもよい大容量記憶装置９１６は、各カメラのジオコーディングされた画像シーケンス、カメラの較正情報、定数位置パラメータ及び変数位置パラメータ、定数方位パラメータ及び変数方位パラメータ、候補３Ｄ画像が検出されたオブジェクト、任意の中間結果、並びにプロセッサユニット９１２により使用される命令等のデータを格納する不揮発性記憶装置である。一実施形態において、大容量記憶装置９１６は、メインメモリ９１４にロードするために、本発明を実現するためのシステムソフトウェア又はコンピュータプログラムを格納する。

携帯記憶媒体ドライブ９２２は、フロッピディスク、マイクロドライブ及びフラッシュメモリ等の携帯不揮発性記憶媒体と関連して動作し、図９のコンピュータシステムとの間でデータ及びコードを入出力する。一実施形態において、本発明を実現するためのシステムソフトウェアは、そのような携帯媒体の形態のプロセッサ可読媒体に格納され、携帯記憶媒体ドライブ９２２を介してコンピュータシステムに入力される。周辺装置９１８は、更なる機能性をコンピュータシステムに追加するために、入出力（Ｉ／Ｏ）インタフェース等の任意の種類のコンピュータ支援デバイスを含んでもよい。例えば、周辺装置９１８は、コンピュータシステムをネットワークにインタフェースするためのネットワークインタフェースカード、モデム等を含んでもよい。

入力デバイス９２０は、ユーザインタフェースの一部を提供する。入力デバイス９２０は、英数字及び他のキー情報を入力するための英数字キーパッド、あるいはマウス、トラックボール、スタイラス又はカーソル方向キー等のポインティングデバイスを含んでもよい。文字情報及び図形情報を表示するため、図９のコンピュータシステムはグラフィックスサブシステム９２４及び出力表示装置９２６を含む。

出力表示装置９２６は、ブラウン管（ＣＲＴ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）又は他の適切な表示装置を含んでもよい。グラフィックスサブシステム９２４は、文字情報及び図形情報を受信し、表示装置９２６に出力するために情報を処理する。出力表示装置９２６は、オブジェクト検出処理の中間結果を報告するため及び／又はユーザインタフェースの一部である他の情報を表示するために使用可能である。図９のシステムは、マイクロホンを含むオーディオシステム９２８を更に含む。一実施形態において、オーディオシステム９２８は、マイクロホンから音声信号を受信するサウンドカードを含む。更に、図９のシステムは出力デバイス９３２を含む。適切な出力デバイスの例は、スピーカ、プリンタ等を含む。

図９のコンピュータシステムに含まれる構成要素は、汎用コンピュータシステムにおいて通常見られる構成要素であり、当業界において周知であるそのようなコンピュータ構成要素の広範な種類を表すことを意図する。

従って、図９のコンピュータシステムは、パーソナルコンピュータ、ワークステーション、ミニコンピュータ、メインフレームコンピュータ等である。コンピュータは、異なるバス構成、ネットワーク化プラットフォーム、マルチプロセッサプラットフォーム等を更に含むことができる。UNIX(登録商標)、Solaris、Linux、Windows(登録商標)、Macintosh OS及び他の適切なオペレーティングシステムを含む種々のオペレーティングシステムが使用可能である。

上述の方法は自動的に実行可能である。画像によっては、画像処理ツール及びオブジェクト認識ツールが何らかの補正を必要とする場合がある。その場合、方法は、中間結果の確認又は適合を可能にする任意の検証動作及び手動適合動作を含む。これらの動作も、検出されたオブジェクトの中間結果又は最終結果を受け入れるのに適している。

本発明の上述の詳細な説明は、例示及び説明のために与えられた。これは、全ての実施形態を含むこと又は本発明を開示される形態に限定することを意図せず、上記の教示を鑑みて多くの変更及び変形が可能であることは明らかである。例えば、本発明は、ソース画像において検出可能な任意の種類のオブジェクトの位置を正確に判定するのにも適している。説明された実施形態は、本発明の原理及びその実際の用途を最適に説明し、それによって他の当業者が、種々の実施形態において及び考えられる特定の使用に適した種々の変更を用いて本発明を最適に利用できるようにするために選択された。本発明の範囲は、添付の請求の範囲により定義されることが意図される。

Claims (12)

1. 地上モバイルマッピングデータからオブジェクトを検出する方法であり、前記地上モバイルマッピングデータは、道路を走行する走行方向を有する地上モバイルマッピング車両により取り込まれており、前記モバイルマッピングデータは、レーザスキャナデータ、少なくとも１つのカメラにより取得されるソース画像、並びに前記車両の位置データ及び方位データを含み、前記レーザスキャナデータは、各々が関連する位置データ及び方位データを有するレーザポイントを含み、各ソース画像は、関連する位置データ及び方位データを含む方法であって、
   前記車両の位置及び方位を検索することと、
   注目領域に対応するレーザポイントを取得するため、前記車両の前記位置及び前記方位に依存して前記レーザスキャナデータをフィルタリングすることと、
   前記車両の前記位置及び前記方位と関連するソース画像を検索することと、
   認識マスクを生成するため、注目領域に対応する前記レーザポイントを前記ソース画像の画像座標にマッピングすることと、
   前記注目領域内の可能なオブジェクトを表す候補３Ｄ画像を取得するため、前記認識マスク及び前記ソース画像を組み合わせることと、
   前記候補３Ｄ画像からオブジェクトグループを検出することと
   を備えることを特徴とする方法。
2. 組み合わせることは、
   中間候補画像を取得するため、前記認識マスクに依存して前記ソース画像をセグメント化することと、
   前記候補３Ｄ画像を取得するため、注目領域の前記レーザポイントに対応する深さ情報を前記中間候補画像の対応する画素に追加することと
   を備えることを特徴とする請求項１に記載の方法。
3. 深さ情報を追加することは、
   レーザポイント座標をソース画像の画像座標に正確に変換するため、前記モバイルマッピング車両の位置センサ及び方位センサにより取り込まれる前記位置データ及び前記方位データを使用することと、
   前記レーザポイント座標及び前記位置データ及び前記方位データに依存して、前記画像座標に対する深さ情報を判定することと、
   前記深さ情報を前記画像座標を有する画素に追加すること
   とを備えることを特徴とする請求項２に記載の方法。
4. 検出することは、候補３Ｄ画像毎に、
   前記深さ情報に依存して、候補３Ｄ画像のサイズ及び形状を判定することと、
   サイズ及び形状が既定値に従う場合、前記深さ情報に依存して前記候補３Ｄ画像の表面の深さ均一性を判定することと、
   候補３Ｄ画像の表面の深さが均一な場合、前記深さ情報に依存して前記走行方向に対する前記候補３Ｄ画像の前記方位を判定することと、
   候補３Ｄ画像の表面の深さが不均一な場合、先行のソース画像に依存して前記走行方向に対する前記候補３Ｄ画像の前記方位を判定することと、
   前記判定された方位に依存して、候補３Ｄ画像を前記オブジェクトグループに追加すること
   とを備えることを特徴とする請求項２又は３に記載の方法。
5. フィルタリングすることは、
   前記走行方向及び前記レーザスキャナデータの前記局所深さ均一性に依存して、前記注目領域内の表面に対応するレーザポイントを選択することを含み、組み合わせることは、
   中間候補画像を取得するため、前記認識マスクに依存して前記ソース画像をセグメント化することと、
   前記候補３Ｄ画像を取得するため、前記表面に対応する前記レーザポイントに対応する深さ情報を前記中間候補画像の対応する画素に追加すること
   とを備えることを特徴とする請求項１に記載の方法。
6. 検出することは、候補３Ｄ画像毎に、
   前記深さ情報に依存して、前記候補３Ｄ画像のサイズ及び形状を判定することと、
   サイズ及び形状に依存して、候補３Ｄ画像を前記オブジェクトグループに追加すること
   とを備えることを特徴とする請求項５に記載の方法。
7. 表面の深さ均一性は、前記表面の平面度の尺度であることを特徴とする請求項４乃至６のいずれか１項に記載の方法。
8. 地上モバイルマッピングデータからオブジェクトを検出する方法であり、前記地上モバイルマッピングデータは、道路を走行する走行方向を有する地上モバイルマッピング車両により取り込まれており、前記モバイルマッピングデータは、レーザスキャナデータ、少なくとも１つのカメラにより取得されるソース画像、並びに前記車両の位置データ及び方位データを含み、前記レーザスキャナデータは、各々が関連する位置データ及び方位データを有するレーザポイントを含み、各ソース画像は、関連する位置データ及び方位データを含む方法であって、
   前記車両の位置及び方位を検索することと、
   第１の注目領域を取得するために対応するレーザポイントを取得するため、前記車両の前記位置及び前記方位に依存して前記レーザスキャナデータをフィルタリングすることと、
   前記車両の前記位置及び前記方位と関連するソース画像を検索することと、
   第１の認識マスクを生成するため、前記第１の注目領域に対応する前記レーザポイントを前記ソース画像の画像座標にマッピングすることと、
   前記第１の注目領域を表す第１の候補３Ｄ画像を取得するため、前記第１の認識マスク及び前記ソース画像を組み合わせることと、
   前記走行方向に依存して、前記第１の候補３Ｄ画像から第１のオブジェクトグループを検出することと、
   第２の注目領域に対応するレーザポイントを取得するため、前記車両の前記位置及び前記方位、並びに前記レーザスキャナデータの局所深さ均一性に依存して前記レーザスキャナデータをフィルタリングすることと、
   第２の認識マスクを生成するため、前記第２の注目領域に対応する前記レーザポイントを前記ソース画像の画像座標にマッピングすることと、
   前記第２の注目領域を表す第２の候補３Ｄ画像を取得するため、第２の認識マスク及び前記ソース画像を組み合わせることと、
   前記第２の候補３Ｄ画像から第２のオブジェクトグループを検出することと、
   前記第１のオブジェクトグループ及び前記第２のオブジェクトグループを組み合わせること
   と備えることを特徴とする方法。
9. 前記車両の前記位置データ及び前記方位データは、位置決めプラットフォームにより事前に判定されることを特徴とする請求項１又は８に記載の方法。
10. 地図データベースで使用するためにオブジェクトを取り込む装置であって、
    入力デバイスと、
    プロセッサ可読記憶媒体と、
    前記入力デバイス及び前記プロセッサ可読記憶媒体と通信するプロセッサと、
    表示部との前記接続を可能にする出力デバイスとを具備し、
    前記プロセッサ可読記憶媒体は、地上モバイルマッピングデータからのオブジェクトの検出を実行する前記プロセッサをプログラムするコードを格納し、前記地上モバイルマッピングデータは、道路を走行する走行方向を有する地上モバイルマッピング車両により取り込まれており、前記モバイルマッピングデータは、レーザスキャナデータ、少なくとも１つのカメラにより取得されるソース画像、並びに前記車両の位置データ及び方位データを含み、前記レーザスキャナデータは、各々が関連する位置データ及び方位データを有するレーザポイントを含み、各ソース画像は、関連する位置データ及び方位データを含み、方法は、
    前記車両の位置及び方位を検索することと、
    注目領域に対応するレーザポイントを取得するため、前記車両の前記位置及び前記方位に依存して前記レーザスキャナデータをフィルタリングすることと、
    前記車両の前記位置及び前記方位と関連するソース画像を検索することと、
    認識マスクを生成するため、注目領域に対応する前記レーザポイントを前記ソース画像の画像座標にマッピングすることと、
    前記注目領域内の可能なオブジェクトを表す候補３Ｄ画像を取得するため、前記認識マスク及び前記ソース画像を組み合わせることと、
    前記候補３Ｄ画像からオブジェクトグループを検出することと、
    前記オブジェクトを特徴付けるため、前記オブジェクトグループを記憶媒体に格納すること
    とを備えることを特徴とする装置。
11. コンピュータ構成にロードされた場合に請求項１乃至９のいずれか１項に記載の方法を実行するように構成されるコンピュータプログラム。
12. コンピュータ構成にロードされた場合に請求項１乃至９のいずれか１項に記載の方法を実行するように構成されるコンピュータプログラムを記憶するプロセッサ可読媒体。