JP2020500290A - 位置特定基準データを生成及び使用する方法及びシステム - Google Patents

位置特定基準データを生成及び使用する方法及びシステム Download PDF

Info

Publication number
JP2020500290A
JP2020500290A JP2019515830A JP2019515830A JP2020500290A JP 2020500290 A JP2020500290 A JP 2020500290A JP 2019515830 A JP2019515830 A JP 2019515830A JP 2019515830 A JP2019515830 A JP 2019515830A JP 2020500290 A JP2020500290 A JP 2020500290A
Authority
JP
Japan
Prior art keywords
data
vehicle
location
depth
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019515830A
Other languages
English (en)
Other versions
JP7090597B2 (ja
Inventor
ブラシウス クビアク,
ブラシウス クビアク,
クシシュトフ クドリンスキー,
クシシュトフ クドリンスキー,
クシシュトフ ミクシャ,
クシシュトフ ミクシャ,
ラフォル, ジャン グリスザクジンスキー,
ラフォル, ジャン グリスザクジンスキー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tele Atlas BV
Original Assignee
Tele Atlas BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tele Atlas BV filed Critical Tele Atlas BV
Publication of JP2020500290A publication Critical patent/JP2020500290A/ja
Application granted granted Critical
Publication of JP7090597B2 publication Critical patent/JP7090597B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3811Point data, e.g. Point of Interest [POI]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/42Simultaneous measurement of distance and other co-ordinates
    • G01S13/426Scanning radar, e.g. 3D radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • G01S7/412Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • G06T3/073
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93273Sensor installation details on the top of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93274Sensor installation details on the side of the vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Abstract

車両の見なし現在位置に関するデジタル地図の特徴を使用することにより、車両の周囲の環境を示す点群のデータ点を分類する方法及びシステムが提供される。そのような方法及びシステムは、環境を点群として検知することができる車両の周囲の他の車両等の道路の関係物を検出するために使用でき、好ましくは高度に自動化された運転及び完全に自動化された運転の用途により使用できる。【選択図】図35

Description

特定の態様及び実施形態において、本発明は、高度に自動化された運転及び完全に自動化された運転の用途に必要とされるデジタル地図に対する向上された位置決め精度のための方法及びシステムに関する。そのような方法及びシステムは、デジタル地図に関連付けられた位置特定基準データを使用してもよい。更なる態様において、本発明は、基準データの形式を含むデジタル地図に関連付けられた位置特定基準データの生成及び基準データの使用に関する。例えば本発明の実施形態は、デジタル地図上で車両を正確に位置決めするための車両からの検知データとの比較を通じた基準データの使用に関する。他の実施形態は、他の目的のための基準データの使用に関し、必ずしも車両からの検知データを更に使用する技術におけるものではない。例えば更なる実施形態は、車両に関連付けられたカメラからのビューを再構成するための生成された基準データの使用に関する。
近年、車両内に取り外し可能に配置できるポータブルナビゲーション装置(PND)又は車両と一体型のシステムのいずれかの形態のナビゲーション装置を車両に搭載することが一般的になった。これらのナビゲーション装置は、通常はGPS又はGLONASS等の全地球航法衛星システム(GNSS)受信機である装置の現在位置を判定する手段を備える。しかし、例えば移動体通信ネットワーク又はサーフェス(surface)ビーコン等の使用である他の手段が使用されてもよいことが理解されるだろう。
また、ナビゲーション装置は、車両が走行しているナビゲート可能ネットワークを表すデジタル地図にアクセスできる。最も単純な形態のデジタル地図(又は数学的グラフと呼ばれる場合もある)は実際は、通常は道路交差点を表すノードと、それらの交差点の間の道路を表すノード間の線とを表すデータを含むデータベースである。更に詳細なデジタル地図では、線は開始ノード及び終了ノードにより定義される区分に分割されてもよい。これらのノードは、最低3つの線又は区分が交差する道路交差点を表すという意味で「リアル」であってもよく、あるいは、特に道路の特定の範囲に対する形状情報を提供するために一端又は両端が実在のノードにより定義されていない区分のアンカとして提供されるか又は例えば速度制限である道路の何らかの特徴が変化する道路に沿った位置を識別する手段として提供されるという点で「人工的」であってもよい。現在のほぼ全てのデジタル地図では、ノード及び区分は種々の属性により更に定義され、そのような属性もデータベースにおいてデータにより表される。例えば各ノードは通常、例えば緯度及び経度である実世界での位置を定義するために地理座標を有する。通常、ノードは、交差点において1つの道路から別の道路に移動することが可能であるかを示す関連付けられた操作データを更に有し、区分は、最大許容速度、車線サイズ、車線数、車線間に分離帯があるか等の関連属性を更に有する。本出願の目的のために、この形態のデジタル地図を「標準地図」と呼ぶ。
ナビゲーション装置は、判定された経路に関する案内、現在位置又は判定された経路に基づく今後の予測位置に関する交通/移動情報の提供等の多くのタスクを実行するために、標準地図と共に装置の現在位置を使用できるように構成される。
しかし、標準地図に含まれるデータは、車両が運転者からの入力なしに例えば加速、ブレーキ操作及びハンドル操作を自動的に制御できる高度に自動化された運転及び完全に自動化された「自動運転」車両等の種々の次世代の用途には不十分であることが認識されている。そのような用途には、より正確なデジタル地図が必要とされる。この更に詳細なデジタル地図は通常、道路の各車線が個別に表され且つ他の車線との接続性データを有する3次元ベクトルモデルを含む。本出願の目的のために、この形態のデジタル地図を「プランニング地図」又は「高解像度(HD)地図」と呼ぶ。
図1はプランニング地図の一部分の表現を示し、各線は車線の中心線を表す。図2は、道路網の画像に重ねられたプランニング地図の別の例示的な部分を示す。これらの地図におけるデータは、通常はメートル級以内の精度であり、種々の技術を使用して収集可能である。
そのようなプランニング地図を構築するためにデータを収集する1つの例示的な技術は移動マッピングシステムを使用することであり、その一例を図3に示す。移動マッピングシステム2は、調査車両4と、車両4の屋根8に取り付けられたデジタルカメラ40及びレーザスキャナ6とを備える。調査車両2は、プロセッサ10、メモリ12及び送受信機14を更に備える。更に、調査車両2は、GNSS受信機等の絶対測位装置2と、慣性測定装置(IMU)及び距離測定器(DMI)を含む相対測位装置22とを備える。絶対測位装置20は車両の地理座標を提供し、相対測位装置22は絶対測位装置20により測定された座標の精度を向上させる(また、ナビゲーション衛星からの信号を受信できない場合に絶対測位装置の代わりとなる)機能を有する。レーザスキャナ6、カメラ40、メモリ12、送受信機14、絶対測位装置20及び相対測位装置22は全て、プロセッサ10と通信するように構成される(線24で示すように)。レーザスキャナ6は、環境にわたりレーザビームを3Dでスキャンし、レーザビームが反射される物体の表面の位置を各点が示す環境を表す点群を作成するように構成される。レーザスキャナ6は、物体の表面へのレーザビームの各入射位置までの距離を測定するように飛行時間型レーザ測距器として更に構成される。
使用時において、図4に示すように、調査車両4は、道路標示34が塗装された表面32を含む道路30に沿って走行する。プロセッサ10は、絶対測位装置20及び相対測位装置22を使用して測定された位置/姿勢データから何らかの瞬間における車両4の位置及び姿勢を判定し、適切なタイムスタンプと共にデータをメモリ12に格納する。更に、カメラ40は、道路表面32の画像を繰り返し取り込んで複数の道路表面画像を提供し、プロセッサ10は、各画像にタイムスタンプを付加してメモリ12に格納する。レーザスキャナ6も同様に、表面32を繰り返しスキャンして少なくとも複数の測定距離値を提供し、プロセッサは、各距離値にタイムスタンプを付加してメモリ12に格納する。レーザスキャナ6から取得されるデータの例を図5及び図6に示す。図5は3Dビューを示し、図6は側面投影を示す。各写真における色は、道路までの距離を表す。これらの移動マッピング車両から取得された全てのデータを解析し、車両が移動したナビゲート可能ネットワーク(又は道路網)の部分のプランニング地図を作成するために使用することができる。
本出願人は、高度に自動化された運転及び完全に自動化された運転の用途に対してそのようなプランニング地図を使用するためには、プランニング地図に対する車両の位置を高精度で認識することが必要であることを認識している。ナビゲーション衛星又は地上ビーコンを使用して装置の現在地を判定する従来技術は、約5〜10メートルの精度で装置の絶対位置を提供する。この絶対位置は、デジタル地図上の対応する位置とマッチングされる。この精度レベルは、殆どの従来の用途には十分であるが、道路網を高速で走行している時でさえデジタル地図に対する位置のサブメートル級の精度が必要とされる次世代の用途には十分な精度ではない。従って、向上された位置決め方法が必要とされる。
本出願人は、例えば地図に対する車両の位置を判定する際及び他の状況で使用されてもよい「プランニング地図」を提供するために、デジタル地図に関連付けられた位置特定基準データを生成する向上された方法が必要であることを更に認識している。
本発明の第1の態様によると、デジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも1つのナビゲート可能要素に対して、
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも1つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも1つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
を備える方法が提供される。
デジタル地図(本発明の本態様又は本実施形態及び他の何らかの態様又は実施形態において)は、例えば道路網の道路であるナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むことが理解されるだろう。
本発明の第1の態様によると、位置特定基準データは、デジタル地図により表されるナビゲート可能ネットワークの1つ以上のナビゲート可能要素に関連して生成される。そのようなデータは、地図により表されるナビゲート可能要素のうちの少なくともいくつか及び好ましくは全てに関して生成されてもよい。生成されたデータは、ナビゲート可能要素の周囲の環境の圧縮表現を提供する。これは、ナビゲート可能要素に関して定義される基準線により定義される基準面に投影された要素の周囲の環境を示す少なくとも1つの奥行きマップを使用して達成される。奥行きマップの各画素は、基準面における位置に関連付けられ、基準面における画素の位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを含む。
次に、位置特定基準データの少なくとも1つの奥行きマップの種々の特徴を説明する。そのような特徴は、相互に排他的でない限り、本発明の特定の更なる態様又は実施形態において使用されるリアルタイムスキャンデータの少なくとも1つの奥行きマップに代替的に又は追加的に適用されてもよいことが理解されるだろう。
ナビゲート可能要素に関連し且つ基準面を定義するために使用される基準線は、ナビゲート可能要素に関して何らかの方法で設定されてもよい。基準線は、ナビゲート可能要素に関連する1つ又は複数の点により定義される。基準線は、ナビゲート可能要素に対して所定の向きを有してもよい。好適な実施形態において、基準線はナビゲート可能要素に対して平行である。これは、ナビゲート可能要素の片側又は両側の横方向環境に関する位置特定基準データ(及び/又はリアルタイムスキャンデータ)を提供するのに適しているだろう。基準線は、ナビゲート可能要素が直線か否かに依存して、線形又は非線形であってもよい。基準線は、例えばナビゲート可能要素との平行性を維持するために、直線部分と例えば湾曲部分である非線形部分とを含んでもよい。いくつかの更なる実施形態において、基準線はナビゲート可能要素に対して平行でなくてもよいことが理解されるだろう。例えば、後述するように、基準線は、例えばナビゲート可能要素上の点であるナビゲート可能要素に関連する点を中心とする半径により定義されてもよい。基準線は円形でもよい。これにより、分岐点の周囲の環境の360°表現が提供されてもよい。
基準線は、縦方向基準線であるのが好ましく、例えばナビゲート可能要素又はその車線の縁部又は境界、あるいはナビゲート可能要素の中心線であってもよい。その場合、位置特定基準データ(及び/又はリアルタイムスキャンデータ)は、要素の片側又は両側の環境の表現を提供する。基準線は要素上に存在してもよい。
実施形態において、ナビゲート可能要素の縁部又は中心線等のナビゲート可能要素の基準線及び関連する奥行き情報が線形基準線にマッピングされてもよいため、ナビゲート可能要素が湾曲している場合でも、基準線は線形であってもよい。そのようなマッピング又は変換は、その内容全体が本明細書に参考として取り入れられる国際公開第WO2009/045096A1号に更に詳細に記載される。
基準線により定義される基準面は、ナビゲート可能要素の表面に対して垂直に配向するのが好ましい。本明細書中で使用される基準面は2次元表面を示し、これは湾曲していても湾曲していなくてもよい。
基準線がナビゲート可能要素に対して平行な縦方向基準線である場合、各画素の奥行きチャネルは環境内の物体の表面までの横方向距離を表すのが好ましい。
各奥行きマップはラスタ画像の形態であってもよい。各奥行きマップは、複数の縦方向位置及び高度に対する環境内の物体の表面から基準面までの所定の方向に沿った距離、すなわち基準面に関連する各画素の位置に対応する距離を表すことが理解されるだろう。奥行きマップは複数の画素を含む。奥行きマップの各画素は、例えばラスタ画像である奥行きマップにおける特定の縦方向位置及び高度に関連付けられる。
いくつかの好適な実施形態において、基準面はナビゲート可能要素に対して平行な縦方向基準線により定義され、基準面はナビゲート可能要素の表面に対して垂直に配向する。その場合、各画素は、環境内の物体の表面までの横方向距離を表す奥行きチャネルを含む。
好適な実施形態において、少なくとも1つの奥行きマップは、固定の縦方向解像度と可変の垂直解像度及び/又は奥行き解像度とを有してもよい。
本発明の第2の態様によると、デジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも1つのナビゲート可能要素に対して、
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも1つの奥行きマップを含み、前記基準面がナビゲート可能要素に対して平行な縦方向基準線により定義され且つナビゲート可能要素の表面に対して垂直に配向し、少なくとも1つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの横方向距離を表す奥行きチャネルを画素が含み、前記少なくとも1つの奥行きマップが固定の縦方向解像度と可変の垂直解像度及び/又は奥行き解像度とを有するのが好ましい位置特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
基準線、基準面及び環境が基準面に投影される際に沿う線の向きに関係なく、種々の態様及び実施形態における本発明によると、少なくとも1つの奥行きマップは固定の縦方向解像度と可変の垂直解像度及び/又は奥行き解像度とを有するのが有利である。位置特定基準データ(及び/又はリアルタイムスキャンデータ)の少なくとも1つの奥行きマップは、固定の縦方向解像度と可変の垂直解像度及び/又は奥行き解像度とを有するのが好ましい。可変の垂直解像度及び/又は奥行き解像度は、非線形であるのが好ましい。例えばラスタ画像である奥行きマップにおいて地面に近く且つナビゲート可能要素に近い(従って、車両に近い)部分は、例えばラスタ画像である奥行きマップにおいて地面から遠く且つナビゲート可能要素(従って、車両)から遠い部分より高解像度で示されてもよい。これにより、車両センサによる検出にとって重要度が高い高さ及び奥行きにおける情報密度が最大になる。
基準線及び基準面の向き又は種々の方向に沿う奥行きマップの解像度に関係なく、基準面への環境の投影は、要望に応じて選択されてもよい所定の方向に沿う。いくつかの実施形態において、投影は直交投影である。これらの実施形態において、各画素の奥行きチャネルは、基準面に対して垂直な方向に沿った基準面における画素の関連位置から環境内の物体の表面までの距離を表す。従って、奥行きチャネルにより表される距離が横方向距離であるいくつかの実施形態において、横方向距離は基準面に対して垂直な方向に沿う(但し、非直交投影は、奥行きチャネルが横方向距離に関する場合に限定されない)。直交投影の使用は、あらゆる高さ情報が基準線(従って、基準面)からの距離に依存しないという結果が得られるため、いくつかの状況において有利な場合がある。
他の実施形態において、非直交投影を使用することが有利な場合があることが判明した。従って、いずれかの態様における本発明のいくつかの実施形態において、相互に排他的でない限り、各画素の奥行きチャネルは、基準面に対して垂直でない方向に沿った基準面における画素の関連位置から環境内の物体の表面までの距離を表す(所定の距離が横方向距離であるか否かに関係なく)。非直交投影の使用は、ナビゲート可能要素に対して垂直に配向する表面に関する情報が保存されるだろうという利点を有する(すなわち、基準線が要素に対して平行である場合に)。これは、画素に関連する追加のデータチャネルを提供する必要なく達成されてもよい。従って、記憶容量の増加を必要とせずに、ナビゲート可能要素の近傍の物体に関する情報が更に効果的且つ詳細に取り込まれるだろう。所定の方向は、基準面に対して45°等の何らかの所望の方向に沿ってもよい。
非直交投影の使用は、暗い状態で車両の1つ又は複数のカメラにより検出されてもよい物体の表面に関するより多くの情報を保存するのに有用であり、従って、基準画像又は基準点群が車両のカメラにより検知されたリアルタイムデータに基づいて取得された画像又は点群と比較される本発明のいくつかの態様及び実施形態と組み合わせた場合に特に有用であることが更に判定している。
本発明の更なる一態様によると、デジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも1つのナビゲート可能要素に対して、
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも1つの奥行きマップを含み、前記基準面がナビゲート可能要素に対して平行な基準線により定義され、少なくとも1つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含み、所定の方向が基準面に対して垂直でない位置特定基準データを生成することと、
生成された位置特定基準データをナビゲート可能要素を示すデジタル地図データに関連付けることと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
いずれかの態様又は実施形態における本発明によると、位置特定基準データ(及び/又はリアルタイムスキャンデータ)は、1つ以上のセンサを使用してナビゲート可能要素の周囲の環境をスキャンすることにより取得されるスキャンデータに基づく。1つ以上のスキャナは、レーザスキャナ、レーダスキャナ、並びに例えば単一のカメラ又は一対のステレオカメラであるカメラのうちの1つ以上を含んでもよい。
位置特定基準データ(及び/又はリアルタイムスキャンデータ)の各画素の奥行きチャネルにより表される物体の表面までの距離は、画素の位置から所定の方向に沿った物体の表面までの距離を各々が示す複数の検知データ点のグループに基づいて判定されるのが好ましい。データ点は、ナビゲート可能要素の周囲の環境のスキャンを実行時に取得されてもよい。検知データ点のグループは、1つ以上の種類のセンサから取得されてもよい。しかし、いくつかの好適な実施形態において、検知データ点は、1つ又は複数のレーザスキャナにより検知されたデータ点のグループを含むか又はそれで構成される。換言すると、検知データ点はレーザ測定値を含むか又はそれらで構成される。
所与の画素に対する奥行きチャネルの距離値を判定する際に複数の検知データ点の平均を使用することは、誤った結果をもたらす場合があることが判明している。これは、適用可能な所定の方向に沿った基準面からの物体の表面の位置を示し且つ特定の画素にマッピングされると考えられる検知データ点の少なくともいくつかが異なる物体の表面に関連する可能性があるからである。圧縮データ形式のため、環境の延在する領域が基準面における画素の領域にマッピングされる場合があることが理解されるだろう。従って、大量の検知データ、すなわち多数の検知データ点が当該画素に適用可能である場合がある。当該領域内には、基準面に対して異なる奥行きに位置する物体が存在する可能性があり、そのような物体は、樹木、街灯、壁及び移動物体等、いずれかの次元で他の物体と短い距離が重なり合う場合がある物体を含む。従って、特定の画素に適用可能なセンサデータ点により表される物体の表面に対する奥行き値は、かなりの分散を示す場合がある。
位置特定基準データ(及び/又はリアルタイムスキャンデータ)の各画素の奥行きチャネルにより表される物体の表面までの距離が画素の位置から所定の方向に沿った物体の表面までの検知距離を各々が示す複数の検知データ点のグループに基づいて判定されるいずれかの態様又は実施形態における本発明によると、画素の奥行きチャネルにより表される距離は、複数の検知データ点のグループに基づく平均値でないのが好ましい。好適な実施形態において、画素の奥行きチャネルにより表される距離は、検知データ点のグループのうち、物体の表面までの最短検知距離であるか、あるいは検知された奥行き値の分布を使用して取得される最短最頻値である。1つ又は複数の検出された最短値は、物体の表面から画素までの奥行きを最も正確に反映する可能性が高いことが理解されるだろう。例えば、樹木が建物と道路との間に位置する場合を考える。特定の画素に適用可能な異なる検知された奥行き値は、建物又は樹木のいずれかの検出に基づくだろう。平均奥行き値を提供するためにこれらの検知値の全てが考慮される場合、平均値は、画素から測定された物体の表面までの奥行きが樹木までの奥行きと建物までの奥行きとの間のいずれかの場所であることを示す。これにより、誤解を招くような値が画素の奥行き値として得られ、リアルタイムの車両検知データを基準データに相関させる際に問題が生じ、更に、道路に対する物体の近接距離を高い信頼性で認識することが非常に重要であるため、これは潜在的に危険である。これに対して、最短奥行き値又は最短最頻値は建物ではなく樹木に関するものである可能性が高く、最も近い物体の実際の位置を反映する。
本発明の更なる一態様によると、デジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも1つのナビゲート可能要素に対して、
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも1つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも1つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含み、各画素の奥行きチャネルにより表される物体の表面までの距離は、画素の位置から所定の方向に沿った物体の表面までの検知距離を各々が示す複数の検知データ点のグループに基づいて判定され、画素の奥行きチャネルにより表される物体の表面までの距離は、検知されたデータ点のグループに基づく最短距離又は最短最頻距離である特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
いずれかの態様又は実施形態における本発明によると、各画素(位置特定基準データ及び/又はリアルタイムスキャンデータにおける)は、環境内の物体の表面までの距離を表す奥行きチャネルを含む。好適な実施形態において、各画素は1つ以上の更なるチャネルを含む。これにより、1つ以上の更なる情報レイヤを有する奥行きマップが提供されてもよい。各チャネルは、好ましくは複数の検知データ点のグループである1つ以上の検知データ点に基づいて取得された特性の値を示すのが好ましい。検知データは、前述したように1つ以上のセンサから取得されてもよい。好適な実施形態において、特定の画素又は各画素は、所与の種類の検知された反射率の値を示す少なくとも1つのチャネルを含む。各画素は、検知されたレーザ反射率の値を示すチャネル及び検知されたレーダ反射率の値を示すチャネルのうちの1つ以上を含んでもよい。チャネルにより示される画素の検知された反射率値は、画素により表される環境の適用可能部分における検知された反射率に関する。画素の検知された反射率値は、画素の奥行きチャネルにより示される基準面からの画素の奥行きに対応する基準面からの距離の周囲での検知された反射率、すなわち画素の奥行き値の周囲での検知された反射率を示すのが好ましい。その場合、これは、当該奥行きに存在する物体の関連する反射率特性を示すと考えられてもよい。検知された反射率は平均反射率であるのが好ましい。検知された反射率データは、奥行き値を判定するために使用されたのと同じデータ点又はより大きなデータ点セットに関連する反射率に基づいてもよい。例えば、画素に適用可能な検知された奥行き値に関連し、奥行きチャネルに対する奥行き値を判定するのに使用されるのが好ましい最短値以外の反射率が更に考慮されてもよい。
このように、例えばラスタ画像であるマルチチャネル奥行きマップが提供される。そのような形式により、ナビゲート可能要素を包囲する環境に関する大量のデータをより効率的に圧縮することができ、格納及び処理が容易になり、異なる条件下で車両により検知されるリアルタイムデータとの向上された相関を実行する能力が提供されるだろう。この場合、車両は、基準位置特定データを生成する際に使用されるのと同じ種類のセンサを必ずしも有する必要はない。以下に更に詳細に説明するように、そのようなデータは、夜間等の特定の条件下で車両により検知されたデータ又は車両のカメラを使用して取得されたナビゲート可能要素の周囲の環境の画像を再構成するのにも役立つだろう。例えばレーダ反射率又はレーザ反射率により、夜間等の特定の条件下で可視である物体が識別できるようになってもよい。
本発明の更なる一態様によると、デジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも1つのナビゲート可能要素に対して、
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも1つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも1つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含み、各画素が検知されたレーザ反射率の値を示すチャネル及び検知されたレーダ反射率の値を示すチャネルのうちの1つ以上を更に含む位置特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
いずれかの態様又は実施形態における本発明によると、画素に関連する他のチャネルが代替的に又は追加的に使用されてもよい。例えば更なるチャネルは、画素の奥行きチャネルにより示される画素の位置からの基準面から所定の方向に沿った距離の周囲における物体の厚さ、画素の奥行きチャネルにより示される画素の位置からの基準面から所定の方向に沿った距離の周囲における反射データ点の密度、画素の奥行きチャネルにより示される画素の位置からの基準面から所定の方向に沿った距離の周囲における色、並びに画素の奥行きチャネルにより示される画素の位置からの基準面から所定の方向に沿った距離の周囲におけるテクスチャのうちの1つ以上を示してもよい。各チャネルは、関連する特性を示す値を含んでもよい。値は、取得された適用可能なセンサデータに基づき、そのようなセンサデータは、例えば色データ又はテクスチャデータ用のカメラである1つ以上の異なる種類のセンサから適宜取得されてもよい。各値は、複数の検知データ点に基づいてもよく、前記複数の検知データ点からの値の平均であってもよい。
奥行きチャネルは、所定の方向に沿った画素の位置における基準面からの物体の距離を示すが、他のチャネルは、例えば物体の反射率、色又はテクスチャである物体の他の特性を示してもよいことが理解されるだろう。これは、車両により検知されたと予想されるスキャンデータ及び/又は車両により撮影されたカメラ画像を再構成するのに有用だろう。物体の厚さを示すデータは、ナビゲート可能要素に対して垂直な物体の表面に関する情報を回復するために使用されてもよく、その場合、基準面への環境の直交投影が使用される。これは、非直交投影を使用して物体のそのような表面に関する情報を判定する上述の実施形態に対する代替手段を提供してもよい。
多くの実施形態において、位置特定基準データは、ナビゲート可能要素の片側又は両側の環境の圧縮表現を提供するために、すなわち側部奥行きマップを提供するために使用される。その場合、基準線はナビゲート可能要素に対して平行であってもよく、画素の奥行きチャネルは、基準面からの物体の表面の横方向距離を示す。しかし、奥行きマップの使用は他の状況においても有用であってもよい。本出願人は、例えば交差点である分岐点の領域において円形奥行きマップを提供することが有用であると認識している。これにより、例えば交差点である分岐点に対して車両を位置決めする能力が向上し、あるいは、要望に応じて、例えば交差点である分岐点の周囲の環境を示すデータを再構成する能力が向上する。分岐点の周囲の環境の360°表現が提供されるのが好ましいが、奥行きマップは360°延在する必要はなく、従って、360°未満で延在してもよいことが理解されるだろう。いくつかの実施形態において、基準面は、ナビゲート可能要素に関連する基準点を中心とする半径により定義される基準線により定義される。これらの実施形態において、基準線は湾曲し、円形であるのが好ましい。基準点は、分岐点におけるナビゲート可能区分上に位置するのが好ましい。例えば基準点は、例えば交差点である分岐点の中心に位置してもよい。基準線を定義する半径は、要望に応じて、例えば分岐点のサイズに依存して選択されてもよい。
本発明の更なる一態様によると、ナビゲート可能ネットワークの要素を表すデジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも1つの分岐点の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも1つの分岐点に対して、
位置特定基準データが基準面に投影された分岐点の周囲の環境を示す少なくとも1つの奥行きマップを含み、前記基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも1つの奥行きマップの各画素が分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを生成することと、
生成された位置特定基準データを分岐点を示すデジタル地図データに関連付けることと、
を備える方法が提供される。
前述の実施形態に関連して説明したように、分岐点は交差点であってもよい。基準点は、分岐点の中心に位置してもよい。基準点は、分岐点又は分岐点におけるナビゲート可能要素を表すデジタル地図のノードに関連付けられてもよい。本発明のこれらの更なる態様又は実施形態は、分岐点から離れたナビゲート可能要素の側部の環境を表す側部奥行きマップと組み合わせて使用されてもよい。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
位置特定基準データの生成に関するいずれかの態様又は実施形態における本発明によると、方法は、ナビゲート可能要素又は分岐点に関する生成された位置特定基準データを要素又は分岐点を示すデジタル地図データに関連付けることを備えてもよい。方法は、例えば関連するナビゲート可能要素又は分岐点に関連付けて、デジタル地図データに関連付けられた生成された位置特定データを格納することを備えてもよい。
いくつかの実施形態において、位置特定基準データは、例えばナビゲート可能要素の左側及びナビゲート可能要素の右側の横方向環境の基準スキャンである表現を含んでもよい。ナビゲート可能要素の各側に対する位置特定基準データは、複合データセットとして格納されてもよい。従って、ナビゲート可能ネットワークの複数の部分からのデータが効率的なデータ形式で共に格納されてもよい。複合データセットで格納されたデータは圧縮されてもよく、それによりナビゲート可能ネットワークの更に多くの部分に対するデータを同じ記憶容量で格納できる。更に、データ圧縮により、基準スキャンデータが無線ネットワーク接続を介して車両に送信される場合に使用するネットワーク帯域幅を減少できる。しかし、位置特定基準データは必ずしもナビゲート可能要素の両側の横方向環境に関する必要がないことが理解されるだろう。例えば上記の特定の実施形態で説明したように、基準データは分岐点を包囲する環境に関してもよい。
本発明は、本発明のいずれかの態様又は実施形態に従って生成された位置特定基準データを格納するデータ製品を更に含む。
本発明のそれらの更なる態様又は実施形態のいずれかにおけるデータ製品は、何らかの適切な形態であってもよい。いくつかの実施形態において、データ製品はコンピュータ可読媒体に格納されてもよい。コンピュータ可読媒体は、例えばディスケット、CD ROM、ROM、RAM、フラッシュメモリ又はハードディスクであってもよい。本発明は、いずれかの態様又は実施形態の本発明に係るデータ製品を備えるコンピュータ可読媒体を含む。
そのようなデータの生成に関するいずれかの態様又は実施形態における本発明に従って生成された位置特定基準データは、種々の方法で使用されてもよい。データの使用に関する更なる態様において、基準データを取得するステップは、データを生成することを含んでもよく、あるいは通常はデータを検索することを含む。基準データは、サーバにより生成されるのが好ましい。データを使用するステップは、車両に関連付けられてもよいナビゲーション装置又はそれに類似するもの等の装置により実行されるのが好ましい。
いくつかの好適な実施形態において、データは、デジタル地図に対する車両の位置を判定する際に使用される。従って、デジタル地図は、車両が走行しているナビゲート可能要素を表すデータを含む。方法は、ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データを取得することと、少なくとも1つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、少なくとも1つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、少なくとも1つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、奥行きマップ間の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することとを備えてもよい。取得される位置特定基準データは車両が走行しているナビゲート可能要素に関することが理解されるだろう。従って、ナビゲート可能要素の周囲の環境を示す位置特定基準データの奥行きマップは車両の周囲の環境を示す。
本発明の更なる一態様によると、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも1つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
少なくとも1つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、少なくとも1つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、少なくとも1つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、
奥行きマップ間の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
車両の位置を判定する際の位置特定基準データ及びリアルタイムスキャンデータの使用に関する本発明の更なる態様及び実施形態において、車両の現在位置は縦方向位置であってもよい。リアルタイムスキャンデータは、車両の周囲の横方向環境に関してもよい。その場合、位置特定基準データ及び/又はリアルタイムスキャンデータに対する奥行きマップは、ナビゲート可能要素に対して平行な基準線により定義され、環境内の物体の表面までの横方向距離を表す奥行きチャネルを含む。その場合、判定されたオフセットは縦方向オフセットであってもよい。
本発明の更なる一態様によると、車両が走行している分岐点を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークにおける車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、前記基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも1つの奥行きマップの各画素が、車両が走行している分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
少なくとも1つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、少なくとも1つの奥行きマップの各画素が分岐点に関連する基準面における位置に関連付けられ、少なくとも1つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、
奥行きマップ間の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
本発明の別の態様によると、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、少なくとも1つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、前記基準面がナビゲート可能要素に対して平行な縦方向基準線により定義され且つナビゲート可能要素の表面に対して垂直に配向し、各画素が環境内の物体の表面までの横方向距離を表す奥行きチャネルを含み、オプションで、前記少なくとも1つの奥行きマップが固定の縦方向解像度と可変の垂直解像度及び/又は奥行き解像度とを有する位置特定基準データを取得することと、
少なくとも1つのセンサを使用して車両の周囲の環境をスキャンすることにより、センサデータを取得することと、
センサデータを使用して、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、少なくとも1つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、各画素がセンサデータから判定された環境内の物体の表面までの横方向距離を表す奥行きチャネルを含み、オプションで、前記少なくとも1つの奥行きマップが固定の縦方向解像度と可変の垂直解像度及び/又は奥行き解像度とを有するリアルタイムスキャンデータを判定することと、
奥行きマップ間の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
位置特定された基準データの使用に関する本発明の更なる態様において、データは、本発明の前述の態様のいずれかに従って生成されてもよい。車両の位置又は別のものを判定する際に使用されるリアルタイムスキャンデータは、位置特定基準データに対応する形式である必要がある。従って、判定された奥行きマップは、リアルタイムスキャンデータ及び位置特定された基準データを互いに相関させられるように、位置特定された基準データと同じ方法でナビゲート可能要素に関連する基準線に関して定義される基準面における位置を有する画素を含む。奥行きマップの奥行きチャネルデータは、例えば検知データの平均を使用せずに、基準データの方法に対応する方法で判定されてもよく、従って、複数の検知データ点から表面までの最短距離を含んでもよい。リアルタイムスキャンデータは、何らかの更なるチャネルを含んでもよい。位置特定基準データの奥行きマップが固定の縦方向解像度と可変の垂直解像度及び/又は奥行き解像度とを有する場合、リアルタイムスキャンデータの奥行きマップもそのような解像度を有してもよい。
従って、本発明のこれらの態様又は実施形態によると、車両が走行しているナビゲート可能ネットワーク(例えば、道路網)のナビゲート可能要素(例えば、道路)を表すデータを含むデジタル地図に対する車両の位置を継続的に判定する方法が提供される。方法は、車両の周囲の環境をスキャンすることにより取得されるリアルタイムスキャンデータを受信することと、デジタル地図に関連する車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データ(例えば、位置特定基準データは、見なし現在位置の周囲の環境の基準スキャンを含む)であり、オプションで、前記基準スキャンが経路に沿って以前に移動した少なくとも1つの装置からデジタル地図全体にわたり取得されている位置特定基準データを検索することと、リアルタイムスキャンデータと位置特定基準データとの間のオフセットを判定するために、リアルタイムスキャンデータと位置特定基準データとを比較することと、前記オフセットに基づいて見なし現在位置を調整することとを備える。従って、デジタル地図に対する車両の位置を常に高精度で認識することができる。従来技術における例は、収集されたデータと経路沿いの所定の目印に対する既知の基準データとを比較することにより車両の位置を判定しようとした。しかし、目印は多くの経路上にまばらに分布している場合があり、その結果、目印間を移動時の車両の位置の推定に重大な誤差が生じる。これは、高度に自動化された運転システム等の状況において問題であり、そのような誤差は車両衝突事故等の致命的結果を引き起こし、重傷又は死亡につながる可能性がある。少なくとも特定の態様において、本発明は、デジタル地図全体にわたる基準スキャンデータを有すること及び車両の周囲の環境をリアルタイムにスキャンすることにより、本問題を解決する。このように、本発明は、デジタル地図に対する車両の位置が常に高精度で認識されるように、リアルタイムスキャンデータと基準データとを比較できるようにしてもよい。
本発明の更なる一態様によると、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の縦方向位置を判定する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境内の物体の輪郭を含み、前記基準面がナビゲート可能要素に対して平行な縦方向基準線により定義され且つナビゲート可能要素の表面に対して垂直に配向する位置特定基準データを取得することと、
少なくとも1つのセンサを使用して車両の周囲の環境をスキャンすることにより、センサデータを取得することと、
センサデータを使用して、センサデータから判定された基準面に投影された車両の周囲の環境内の物体の輪郭を含むリアルタイムスキャンデータを判定することと、
縦方向位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の縦方向位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
場所基準データは、基準面に投影された車両の周囲の環境内の物体の輪郭が既に判定されているように、例えば関連するナビゲート可能要素に関連付けられたデジタル地図に関連付けて格納されてもよい。しかし、他の実施形態において、場所基準データを異なる形式で格納することができ、格納されたデータは輪郭を判定するために処理される。例えば実施形態において、本発明の前述した態様と同様に、場所基準データは例えばラスタ画像である1つ以上の奥行きマップを含み、各奥行きマップは複数の縦方向位置及び高度に対する環境内の表面までの横方向距離を表す。奥行きマップは、前述したいずれかの態様及び実施形態に従ってもよい。換言すると、場所基準データは、車両の周囲の環境を示す例えばラスタ画像である少なくとも1つの奥行きマップを含み、少なくとも1つの奥行きマップの各画素は基準面における位置に関連付けられ、各画素は、環境内の物体の表面までの例えば基準面に対して垂直な横方向距離を表すチャネルを含む。そのような実施形態において、例えばラスタ画像である関連する奥行きマップは、環境内の物体の輪郭を生成するためにエッジ検出アルゴリズムを使用して処理される。エッジ検出アルゴリズムは、Canny演算子及びPrewitt演算子等を含むことができる。しかし、好適な実施形態において、エッジ検出はSobel演算子を使用して実行される。エッジ検出演算子は、高さ(又は高度)領域及び縦方向領域の双方又は前記領域の一方のみで適用可能である。例えば好適な一実施形態において、エッジ検出演算子は縦方向領域のみで適用される。
同様に、基準面に投影された車両の周囲の環境内の物体の輪郭は、少なくとも1つのセンサにより取得されるセンサデータから直接判定可能である。あるいは、他の実施形態において、複数の縦方向位置及び高度に対する環境内の表面までの横方向距離を各々が表す例えばラスタ画像である1つ以上の奥行きマップを判定するために、センサデータを使用できる。換言すると、リアルタイムスキャンデータは、車両の周囲の環境を示す例えばラスタ画像である少なくとも1つの奥行きマップを含み、少なくとも1つの奥行きマップの各画素は基準面における位置に関連付けられ、各画素は、少なくとも1つのセンサを使用して判定された環境内の物体の表面までの例えば基準面に対して垂直な横方向距離を表すチャネルを含む。その場合、リアルタイムスキャンデータの輪郭を判定するために、好ましくは場所基準データに適用されたのと同じエッジ検出アルゴリズムを使用して、例えばラスタ画像である関連する奥行きマップを処理できる。エッジ検出演算子は、高さ(又は高度)領域及び縦方向領域の双方又は前記領域の一方のみで適用可能である。例えば好適な一実施形態において、エッジ検出演算子は縦方向領域のみで適用される。
実施形態において、2つのデータセットが相関される前に、ぼかし演算子が位置特定基準データ及びリアルタイムスキャンデータのうちの一方の輪郭に適用される。ぼかし演算は、高さ(又は高度)領域及び縦方向領域の双方又は前記領域の一方のみで適用可能である。例えば好適な一実施形態において、ぼかし演算子は高さ領域のみで適用される。ぼかし演算は、リアルタイムスキャンデータ及び/又は位置特定基準データを取得する間に車両の何らかの傾きを考慮することができ、それにより、例えば輪郭は高さ領域において僅かに上方又は下方にシフトされる。
いずれかの態様又は実施形態の本発明によると、車両の例えば見なし縦方向現在位置は、少なくとも最初に、GPS、GLONASS、欧州のガリレオ測位システム、COMPASS測位システム又はIRNSS(インド地域航法衛生システム)等の衛星ナビゲーション装置等の絶対測位システムから取得可能である。しかし、移動体通信又はサーフェスビーコン等の使用等、他の場所判定手段が使用可能であることが理解されるだろう。
デジタル地図は、例えば道路であるナビゲート可能要素の各車線が別個に表される例えば道路網の道路であるナビゲート可能ネットワークのナビゲート可能要素を表す3次元ベクトルモデルを含んでもよい。従って、道路上の車両の横方向位置は、例えば車両に取り付けられたカメラの画像処理により車両が走行している車線を判定することにより認識されてもよい。そのような実施形態において、縦方向基準線は、例えば、ナビゲート可能要素の車線の縁部又は境界、あるいはナビゲート可能要素の車線の中心線であり得る。
リアルタイムスキャンデータは、車両の左側及び車両の右側で取得されてもよい。これは、位置推定に対する一時的特徴の影響を軽減するのに役立つ。そのような一時的特徴は、例えば駐車車両、追い越し車両又は同じ経路を反対方向に走行している車両であってもよい。従って、リアルタイムスキャンデータは、車両の両側に存在する特徴を記録できる。いくつかの実施形態において、リアルタイムスキャンデータは、車両の左側又は車両の右側のいずれかから取得されてもよい。
位置特定基準データ及びリアルタイムスキャンデータがそれぞれ車両の左側及び右側に関する実施形態において、車両の左側からのリアルタイムスキャンデータとナビゲート可能要素の左側からの位置特定基準データとの比較及び車両の右側からのリアルタイムスキャンデータとナビゲート可能要素の右側からの位置特定基準データとの比較は単一の比較であってもよい。従って、スキャンデータがナビゲート可能要素の左側からのデータとナビゲート可能要素の右側からのデータとを含む場合、スキャンデータは単一のデータセットとして比較されてもよく、ナビゲート可能要素の左側に対する比較とナビゲート可能要素の右側に対する比較とが別個に実行される場合と比較して、処理要件が大幅に減少する。
車両の左側に関するか又は右側に関するかに関係なく、リアルタイムスキャンデータと位置特定基準データとを比較することは、リアルタイムスキャンデータと位置特定基準データとの間の相互相関であり好ましくは正規化相互相関を計算することを含んでもよい。方法は、データセットが最も位置合わせされる位置を判定することを含んでもよい。判定される奥行きマップ間の位置合わせフセットは少なくとも縦方向位置合わせオフセットであり、データセットが最も位置合わせされる位置は縦方向位置であるのが好ましい。データセットが最も位置合わせされる縦方向位置を判定するステップは、奥行きマップが位置合わせされるまで、リアルタイムスキャンデータに基づく奥行きマップにより提供される例えばラスタ画像である奥行きマップと位置特定基準データに基づく奥行きマップにより提供される例えばラスタ画像である奥行きマップとを互いに対して縦方向にシフトすることを含んでもよい。これは、画像領域において実行されてもよい。
判定された縦方向位置合わせオフセットは、見なし現在位置を調整してデジタル地図に対する車両の縦方向位置を調整するために使用される。
奥行きマップ間の縦方向位置合わせオフセットを判定する代わりに又は好ましくはそれに加えて、奥行きマップ間の横方向位置合わせオフセットを判定することが望ましい。その場合、判定された横方向位置合わせオフセットは、車両の見なし横方向現在位置を調整し、従ってデジタル地図に対する車両の位置を判定するために使用されてもよい。縦方向位置合わせオフセットが判定され、横方向位置合わせオフセットが更に判定されるのが好ましい。縦方向位置合わせオフセットの判定は、上述した方法のいずれかで実行されてもよい。判定された横方向位置合わせオフセット及び縦方向位置合わせオフセットを共に使用して、デジタル地図に対する車両の縦方向位置及び横方向位置の双方を調整する。
方法は、例えば位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することにより、奥行きマップ間の縦方向位置合わせオフセットを判定することを備えてもよく、奥行きマップ間の横方向オフセットを判定することと、見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された横方向位置合わせオフセット及び縦方向位置合わせオフセットを使用することとを更に備えてもよい。
縦方向位置合わせオフセットは、横方向位置合わせオフセットの前に判定されるのが好ましい。後述する特定の実施形態によると、横方向位置合わせオフセットは、最初に奥行きマップ間の縦方向オフセットを判定し、オフセットに基づいて奥行きマップを互いに対して縦方向に位置合わせすること基づいて判定されてもよい。
横方向オフセットは、奥行きマップの対応する画素間の最も頻度の高い横方向オフセット、すなわち最頻横方向オフセットに基づいて判定されるのが好ましい。
本発明の更なる一態様によると、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも1つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
少なくとも1つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、少なくとも1つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、少なくとも1つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、
位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することにより、位置特定基準データの奥行きマップとリアルタイムスキャンデータの奥行きマップとの間の縦方向位置合わせオフセットを判定することと、
奥行きマップの対応する画素間の最も頻度の高い横方向オフセットに基づく奥行きマップ間の横方向位置合わせオフセットを判定することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された縦方向位置合わせオフセット及び横方向位置合わせオフセットを使用することと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
横方向位置合わせオフセットが判定される本発明のこれらの態様及び実施形態によると、最も頻度の高い横方向位置合わせオフセットは、奥行きマップの対応する画素の奥行きチャネルデータを考慮することにより判定されてもよい。最も頻度の高い横方向位置合わせオフセットは、奥行きマップの対応して位置する画素の各対の間で判定された横方向位置合わせオフセットに基づき、各対応画素対の横方向位置合わせオフセットに基づくのが好ましい。奥行きマップの対応する画素間の横方向位置合わせオフセットを判定するために、奥行きマップ内の対応画素対を識別する必要がある。方法は、奥行きマップ内の対応画素対を識別することを含んでもよい。縦方向位置合わせオフセットは、横方向位置合わせオフセットの前に判定されるのが好ましい。奥行きマップは、各奥行きマップ内の対応する画素を識別できるように縦方向に位置合わせされるまで、互いに対してシフトされるのが望ましい。
従って、方法は、判定された縦方向位置合わせオフセットに基づいて、奥行きマップを互いに対して縦方向に位置合わせすることを更に備えてもよい。奥行きマップを互いに対して縦方向に位置合わせするステップは、奥行きマップの一方又は双方を縦方向にシフトすることを備えてもよい。奥行きマップを互いに対して縦方向にシフトすることは、画像領域において実行されてもよい。従って、奥行きマップを位置合わせするステップは、各奥行きマップに対応するラスタ画像を互いに対して縦方向にシフトすることを備えてもよい。方法は、リアルタイムスキャンデータの奥行きマップにより提供される画像のサイズに対応するように、位置特定基準データの奥行きマップにより提供される画像のサイズをトリミングすることを更に備えてもよい。これにより、奥行きマップ間の比較が容易になる場合がある。
2つの奥行きマップにおける対応する画素が識別されると、各対応画素対の間の横方向オフセットが判定されてもよい。これは、各画素に関連する奥行きチャネルデータにより示される基準面における画素の位置から所定の方向に沿う環境内の物体の表面までの距離を比較することにより達成されてもよい。上述したように、奥行きマップは、可変の奥行き分解能を有するのが好ましい。各対応画素対の間の横方向位置合わせオフセットは、画素の奥行きチャネルデータにより示される距離の差分に基づいてもよい。方法は、奥行きマップの対応する画素間の最も頻度が高い横方向位置合わせオフセットを識別するためにヒストグラムを使用することを備えてもよい。ヒストグラムは、対応画素対間の異なる横方向位置合わせオフセットの発生頻度を示してもよい。ヒストグラムは横方向位置合わせシフトの確率密度関数を示してもよく、最頻値は最も可能性の高いシフトを反映する。
いくつかの実施形態において、各画素は、画素の奥行きチャネルの値を示す色を有する。その場合、対応する画素の奥行き値の比較は、奥行きマップの対応する画素の色を比較することを含んでもよい。例えば奥行きマップが固定の奥行き解像度を有する場合、対応する画素間の色の差異は画素間の横方向位置合わせオフセットを示してもよい。
横方向位置合わせオフセットが判定されるこれらの実施形態において、デジタル地図に対する車両の縦方向現在位置及び横方向現在位置が調整されてもよい。
車両の現在位置が調整される本発明のいずれかの態様又は実施形態によると、縦方向位置及び/又は横方向位置であるかに関係なく、調整される現在位置は、上述したような絶対位置判定システム又は他の場所判定システムの形態等の何らかの適切な方法で取得される現在位置の推定値であってもよい。例えば、GPS又は推測航法が使用されてもよい。絶対位置は、デジタル地図に対する初期位置を判定するためにデジタル地図とマッチングされるのが好ましく、その後、デジタル地図に対する位置を向上するために、縦方向及び/又は横方向の補正が初期位置に適用されることが理解されるだろう。
本出願人は、上述した技術はデジタル地図に対して車両の位置を調整するのに有用である場合があるが、車両の進行方向を補正しないことを認識している。好適な実施形態において、方法は、車両の見なし進行方向を調整するために、位置特定基準データの奥行きマップ及びリアルタイムスキャンデータの奥行きマップを使用することを更に備える。この更なるステップは、上述した実施形態のいずれかに従って奥行きマップの縦方向位置合わせオフセット及び横方向位置合わせオフセットを判定することに加えて実行されるのが好ましい。これらの実施形態において、車両の見なし進行方向は、車両の見なし位置の判定に関連して説明したように、例えばGPSデータ等を使用して、何らかの適切な方法で判定されてもよい。
車両の見なし進行方向が不正確である場合、奥行きマップの対応する画素間の横方向位置合わせオフセットは、奥行きマップに沿って、すなわち奥行きマップ画像に沿って縦方向に変化することが判明した。進行方向オフセットは、奥行きマップに沿う縦方向位置に対する奥行きマップの対応する画素間の横方向位置合わせオフセットの変動を示す関数に基づいて判定されてもよいことが判明した。進行方向オフセットを判定するステップは、対応する画素の横方向位置合わせオフセットを判定することに関連して前述した特徴のうちのいずれかを組み込んでもよい。従って、方法は、奥行きマップを縦方向に位置合わせするように奥行きマップを互いに対してシフトすることを最初に備えるのが好ましい。
従って、方法は、奥行きマップ間の縦方向位置合わせオフセットを判定することと、奥行きマップに沿った画素の縦方向位置に対する奥行きマップの対応する画素間の横方向位置合わせオフセットの変動を示す関数を判定することと、車両の見なし現在進行方向を調整してデジタル地図に対する車両の進行方向を判定するために、判定された関数を使用することとを更に備えてもよい。
対応する画素間の判定された横方向位置合わせオフセットは、上述したように、例えば画素の色を参照することにより、画素の奥行きチャネルデータにより示される値の差分に基づくのが好ましい。
これらの態様又は実施形態において、判定された関数は車両の進行方向オフセットを示す。
縦方向位置との横方向位置合わせオフセットの変動を示す関数を判定するステップは、奥行きマップの縦方向に沿った奥行きマップ全体にわたる複数の垂直断面の各々における奥行きマップの対応する画素の平均(average)(すなわち、平均(mean))横方向位置合わせオフセットを判定することを備えてもよい。その場合、関数は、奥行きマップの縦方向に沿う各垂直断面に対して判定された平均横方向位置合わせオフセットの変動に基づいて取得されてもよい。奥行きマップ内の対応画素対の少なくともいくつか及びオプションでそれらの各々が関数を判定する際に考慮されることが理解されるだろう。
本発明の更なる一態様によると、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも1つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
少なくとも1つのセンサを使用して車両の周囲の環境をスキャンすることにより、リアルタイムスキャンデータが車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、少なくとも1つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、少なくとも1つのセンサを使用して判定された基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含むリアルタイムスキャンデータを判定することと、
奥行きマップに沿った画素の縦方向位置に対する位置特定基準データの奥行きマップ及びリアルタイムセンサデータの奥行きマップの対応する画素間の横方向位置合わせオフセットの変動を示す関数を判定することと、
車両の現在の見なし進行方向を調整してデジタル地図に対する車両の進行方向を判定するために、判定された関数を使用することと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
本発明のこれらの態様及び実施形態において、判定された進行方向オフセットを向上するために、例えばノイズの多い画素を除去することにより、あるいは奥行きマップ又は画像の縦断面内の平均画素奥行き差分値に当該断面において考慮される有効画素の数を参照して重み付けすることにより、更なるステップが実行されてもよい。
上述したように、位置特定基準データの奥行きマップ及びリアルタイムデータの奥行きマップは、常に線形基準線に関連付けられるように変換可能である。奥行きマップのこの線形化のため、ナビゲート可能要素が湾曲している場合、判定された縦方向、横方向及び/又は進行方向の補正を直接適用できないことが判明した。本出願人は、デジタル地図に対する車両の現在位置を調整又は補正する計算効率のよい方法が、一連の漸進的な独立した線形更新ステップにおいて各補正を適用することを含むことを確認した。
従って、好適な実施形態において、判定された縦方向オフセットはデジタル地図に対する車両の現在位置に適用され、リアルタイムスキャンデータの少なくとも1つの奥行きマップは調整された位置に基づいて再計算される。その後、再計算されたリアルタイムスキャンデータを使用して判定された横方向オフセットがデジタル地図に対する車両の調整された位置に適用され、更に調整された位置に基づいて、リアルタイムスキャンデータの少なくとも1つの奥行きマップが再計算される。次に、再計算されたリアルタイムスキャンデータを使用して判定された傾き、すなわち進行方向オフセットがデジタル地図に対する車両の更に調整された位置に適用され、再度調整された位置に基づいて、リアルタイムスキャンデータの少なくとも1つの奥行きマップが再計算される。これらのステップは、縦方向オフセット、横方向オフセット及び傾きがゼロ又は略ゼロになるまで、必要な回数繰り返されるのが好ましい。
いずれかの態様又は実施形態における本発明に従って取得された生成された位置特定基準データは、車両のより正確な位置を判定するために又は実際は他の目的で、リアルタイムスキャンデータと共に他の方法で使用されてもよいことが理解されるだろう。特に、本出願人は、位置特定基準スキャンデータの奥行きマップと比較するためにリアルタイムスキャンデータを使用して対応する奥行きマップを判定することが常に可能であるとは限らず又は少なくとも好都合であるとは限らないと認識している。換言すると、画像領域においてデータセットの比較を実行することは適切ではない場合がある。これは、車両で利用可能なセンサの種類が位置特定基準データを取得するために使用されるものと異なる場合に特に当てはまるだろう。
本発明のいくつかの更なる態様及び実施形態によると、方法は、ナビゲート可能要素の周囲の環境を示す基準点群を判定するために位置特定基準データを使用することを備え、基準点群は3次元座標系における第1のデータ点のセットを含み、第1のデータ点の各々は環境内の物体の表面を表す。
本発明の更なる一態様によると、デジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも1つのナビゲート可能要素の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも1つのナビゲート可能要素に対して、
位置特定基準データが基準面に投影されたナビゲート可能要素の周囲の環境を示す少なくとも1つの奥行きマップを含み、前記基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも1つの奥行きマップの各画素がナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを生成することと、
生成された位置特定基準データをデジタル地図データに関連付けることと、
ナビゲート可能要素の周囲の環境を示し且つ第1のデータ点の各々が環境内の物体の表面を表す3次元座標系における第1のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
本発明の更なる一態様によると、ナビゲート可能ネットワークの要素を表すデジタル地図に関連付けられ且つデジタル地図により表されるナビゲート可能ネットワークの少なくとも1つの分岐点の周囲の環境の圧縮表現を提供する位置特定基準データを生成する方法であって、デジタル地図により表される少なくとも1つの分岐点に対して、
位置特定基準データが基準面に投影された分岐点の周囲の環境を示す少なくとも1つの奥行きマップを含み、前記基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも1つの奥行きマップの各画素が分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを生成することと、
生成された位置特定基準データを分岐点を示すデジタル地図データに関連付けることと、
分岐点の周囲の環境を示し且つ第1のデータ点の各々が環境内の物体の表面を表す3次元座標系における第1のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
第1のデータ点の各々が環境内の物体の表面を表す3次元座標系における第1のデータ点のセットを含む基準点群を本明細書中で「3D点群」と呼ぶ場合がある。本発明のこれらの更なる態様に従って取得される3D点群は、車両の位置決めを判定する際に使用されてもよい。
いくつかの実施形態において、方法は、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の位置を判定する際に、いずれかの態様又は実施形態における本発明の生成された位置特定基準データを使用することを備えてもよく、方法は、
ナビゲート可能ネットワークのナビゲート可能要素又は分岐点に沿った車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データを取得することと、車両の周囲の環境を示し且つ第1のデータ点の各々が環境内の物体の表面を表す3次元座標系における第1のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
少なくとも1つのセンサを使用して車両の周囲の環境をスキャンすることにより、車両の周囲の環境を示し且つ少なくとも1つのセンサを使用して判定される環境内の物体の表面を各データ点が表す3次元座標系における第2のデータ点のセットを含む点群を含むリアルタイムスキャンデータを判定することと、
点群間の位置合わせオフセットを判定するために、リアルタイムスキャンデータの点群と取得された位置特定基準データの点群との間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
本発明の更なる一態様によると、車両が走行しているナビゲート可能ネットワークのナビゲート可能要素を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも1つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
車両の周囲の環境を示し且つ第1のデータ点の各々が環境内の物体の表面を表す3次元座標系における第1のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
少なくとも1つのセンサを使用して車両の周囲の環境をスキャンすることにより、車両の周囲の環境を示し且つ少なくとも1つのセンサを使用して判定される環境内の物体の表面を各データ点が表す3次元座標系における第2のデータ点のセットを含む点群を含むリアルタイムスキャンデータを判定することと、
点群間の位置合わせオフセットを判定するために、リアルタイムスキャンデータの点群と取得された位置特定基準データの点群との間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
本発明の更なる一態様によると、車両が走行しているナビゲート可能ネットワークの分岐点を表すデータを含むデジタル地図に対する車両の位置を判定する方法であって、
ナビゲート可能ネットワークの分岐点における車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも1つの奥行きマップの各画素が、車両が走行している分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
車両の周囲の環境を示し且つ第1のデータ点の各々が環境内の物体の表面を表す3次元座標系における第1のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
少なくとも1つのセンサを使用して車両の周囲の環境をスキャンすることにより、車両の周囲の環境を示し且つ少なくとも1つのセンサを使用して判定される環境内の物体の表面を各データ点が表す3次元座標系における第2のデータ点のセットを含む点群を含むリアルタイムスキャンデータを判定することと、
点群間の位置合わせオフセットを判定するために、リアルタイムスキャンデータの点群と取得された位置特定基準データの点群との間の相関を計算することと、
見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することと、
を備える方法が提供される。
第2のデータ点の各々が環境内の物体の表面を表す3次元座標系における第2のデータ点のセットを含むこれらの更なる態様における基準点群を本明細書中で「3D点群」と呼ぶ場合がある。
本発明のこれらの更なる態様又は実施形態において、位置特定基準データは3D基準点群を取得するために使用される。これは、データが関連するナビゲート可能要素又は分岐点の周囲の環境を示し、従ってナビゲート可能要素に沿って又は分岐点を通って走行する際の車両の周囲の環境を示す。リアルタイムセンサデータの点群は車両の周囲の環境に関し、従って、車両が位置するナビゲート可能要素又は分岐点の周囲の環境に関するものであると呼ばれてもよい。いくつかの好適な実施形態において、位置特定基準データに基づいて取得された3D点群は、リアルタイムスキャンデータに基づいて取得された車両の(すなわち、関連する要素上又は分岐点を通って走行する際の)周囲の環境を示す3D点群と比較される。車両の位置は、例えばラスタ画像である奥行きマップの比較ではなく、この比較に基づいて調整されてもよい。
リアルタイムスキャンデータ点群は、車両に関連付けられた1つ以上のセンサを使用して取得される。単一のセンサ又は複数のそのようなセンサが使用されてもよく、後者の場合、センサの種類の何らかの組み合わせが使用されてもよい。センサは、1つ以上のレーザスキャナのセット、1つ以上のレーダスキャナのセット、例えば単一のカメラ又は一対のステレオカメラである1つ以上のカメラのセットのうちのいずれか1つ又は複数を含んでもよい。単一のレーザスキャナ、レーダスキャナ及び/又はカメラが使用されてもよい。車両が1つ又は複数のカメラと関連付けられる場合、1つ以上のカメラから取得された画像は、車両の周囲の環境を示す3次元シーンを構成するために使用されてもよく、3次元シーンを使用して3次元点群が取得されてもよい。例えば車両が単一のカメラを使用する場合、車両がナビゲート可能要素に沿って又は分岐点を通って走行する際にカメラから一連の2次元画像を取得し、一連の2次元画像を使用して3次元シーンを構成し、3次元シーンを使用して3次元点群を取得することにより、点群が判定されてもよい。車両がステレオカメラと関連付けられる場合、カメラから取得された画像を使用して3次元シーンを取得し、それを使用して3次元点群が取得されてもよい。
位置特定基準データの奥行きマップを3D点群に変換することにより、車両センサの種類に関係なく、そのようなセンサを使用するリアルタイムスキャンを通して取得された3D点群と比較されてもよい。例えば位置特定基準データは、レーザスキャナ、カメラ及びレーダスキャナを含む様々な種類のセンサを使用した基準スキャンに基づいてもよい。車両は、対応するセンサのセットを有しても有さなくてもよい。例えば、車両は通常は1つ以上のカメラのみを含んでもよい。
位置特定基準データは、車両の少なくとも1つのセンサにより生成されると予想される点群に対応する車両の周囲の環境を示す基準点群を判定するために使用されてもよい。基準点群が車両のセンサと同じ種類のセンサを使用して取得された場合、これは簡単であってもよく、3D基準点群を構成する際に全ての位置特定基準データが使用されてもよい。同様に、ある特定の条件下では、1つの種類のセンサにより検知されるデータが別の種類のセンサにより検知されるデータと類似する場合がある。例えば基準位置特定データを提供する際にレーザセンサにより検知される物体は、日中に車両のカメラにより同様に検知されることが予想されるだろう。しかし、方法は、車両に関連付けられた種類の1つ又は複数のセンサにより検出されることが予想され且つ/又は現在の条件下で検出されることが予想される点群のみを3D点群に含めることを備えてもよい。位置特定基準データは、適切な基準点群が生成されるようにするデータを含んでもよい。
いくつかの実施形態において、上述したように、位置特定基準データの各画素は、検知された反射率の値を示す少なくとも1つのチャネルを更に含む。各画素は、検知されたレーザ反射率の値を示すチャネル及び検知されたレーダ反射率の値を示すチャネルのうちの1つ以上を含んでもよい。レーダ反射率とレーザ反射率の双方を示すチャネルが提供されるのが好ましい。その場合、位置特定基準データに基づいて3D点群を生成するステップは、検知された反射率データを使用して実行されるのが好ましい。3D点群の生成は車両の1つ又は複数のセンサの種類に更に基づいてもよい。方法は、基準3D点群に含める3D点を選択するために、反射率データと、車両の1つ又は複数のセンサの種類を示すデータとを使用することを備えてもよい。反射率チャネルのデータは、3D点群を生成する際に使用するデータを奥行きチャネルから選択するために使用される。反射率チャネルは、関連するセンサの種類により特定の物体が検知されるか(該当する場合、現在の条件下で)の指標を与える。
例えば、基準データがレーザスキャナ及びレーダスキャナから取得されたデータに基づくものであり且つ車両がレーダスキャナのみを有する場合、車両のレーダスキャナにより検知されることが予想される点を3D点群に含めるために選択するために、レーダ反射率値が使用されてもよい。いくつかの実施形態において、各画素はレーダ反射率を示すチャネルを含み、方法は、レーダセンサにより検知される点のみを含む3D基準点群を生成するためにレーダ反射率データを使用するステップを備える。方法が、3D基準点群とリアルタイムスキャンデータに基づいて取得された3D点群とを比較することを更に備える場合、リアルタイムスキャンデータの3D点群はレーダスキャナから得られたデータに基づく。車両はレーダスキャナのみを含んでもよい。
車両はレーダスキャナ及び/又はレーザスキャナを含んでもよいが、多くの場合、自動車は1つ又は複数のカメラのみを含んでもよい。レーザ反射率データは、暗い条件下でセンサとして1つ又は複数のカメラのみを有する車両により検知されることが予想される3D点群と相関させる3D基準点群を取得する方法を提供してもよい。レーザ反射率データは、暗い状態でカメラにより検出されることが予想されてもよい複数の物体の指標を提供する。いくつかの実施形態において、各画素はレーザ反射率を示すチャネルを含み、方法は、暗い状態で車両のカメラにより検知される点のみを含む3D基準点群を生成するためにレーザ反射率データを使用するステップを備える。方法が3D基準点群とリアルタイムスキャンデータに基づいて取得された3D点群とを比較することを更に備える場合、リアルタイムスキャンデータの3D点群は暗い条件下でカメラから取得されたデータに基づいてもよい。
3次元点群の形態で基準位置特定データを取得すること、並びに例えば適用可能な条件下で車両の1つ又は複数のカメラから取得されることが予想され且つカメラにより取得された画像と比較されてもよい例えば画像である基準ビューを再構成するためにそのようなデータを使用することは、それ自体で利点があると考えられる。
いくつかの実施形態において、方法は、適用可能な条件下でデジタル地図により表されるナビゲート可能ネットワークのナビゲート可能要素に沿って又は分岐点を通って走行する車両に関連付けられた1つ以上のカメラから取得されることが予想されるビューを再構成する際にいずれかの態様又は実施形態における本発明の生成された位置特定基準データを使用することを備えてもよく、方法は、ナビゲート可能ネットワークのナビゲート可能要素又は分岐点に沿うか又は分岐点における車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データを取得することと、車両の周囲の環境を示し且つ第1のデータ点の各々が環境内の物体の表面を表す3次元座標系における第1のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、適用可能な条件下でナビゲート可能要素又は分岐点を通過する際に車両に関連付けられた1つ以上のカメラにより取得されることが予想される基準ビューを再構成するために基準点群を使用することとを備える。方法は、1つ以上のカメラを使用して車両の周囲の環境のリアルタイムビューを判定することと、基準ビューと1つ以上のカメラにより取得されたリアルタイムビューとを比較することとを更に備えてもよい。
本発明の更なる一態様によると、適用可能な条件下でデジタル地図により表されるナビゲート可能ネットワークのナビゲート可能要素に沿って走行する車両に関連付けられた1つ以上のカメラから取得されることが予想されるビューを再構成する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、基準面がナビゲート可能要素に関連する基準線により定義され、少なくとも1つの奥行きマップの各画素が、車両が走行しているナビゲート可能要素に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
車両の周囲の環境を示し且つ第1のデータ点の各々が環境内の物体の表面を表す3次元座標系における第1のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
適用可能な条件下でナビゲート可能要素を通過する際に車両に関連付けられた1つ以上のカメラにより取得されることが予想される基準ビューを再構成するために基準点群を使用することと、
1つ以上のカメラを使用して車両の周囲の環境のリアルタイムビューを判定することと、
基準ビューと1つ以上のカメラにより取得されたリアルタイムビューとを比較することと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
本発明の更なる一態様によると、適用可能な条件下でデジタル地図により表されるナビゲート可能ネットワークの分岐点を通って走行する車両に関連付けられた1つ以上のカメラから取得されることが予想されるビューを再構成する方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に対するデジタル地図に関連付けられた位置特定基準データであり、場所基準データが基準面に投影された車両の周囲の環境を示す少なくとも1つの奥行きマップを含み、基準面が分岐点に関連する基準点を中心とする半径により定義される基準線により定義され、少なくとも1つの奥行きマップの各画素が、車両が走行している分岐点に関連する基準面における位置に関連付けられ、基準面における画素の関連する位置から所定の方向に沿った環境内の物体の表面までの距離を表す奥行きチャネルを画素が含む位置特定基準データを取得することと、
車両の周囲の環境を示し且つ第1のデータ点の各々が環境内の物体の表面を表す3次元座標系における第1のデータ点のセットを含む基準点群を判定するために位置特定基準データを使用することと、
適用可能な条件下でナビゲート可能要素を通過する際に車両に関連付けられた1つ以上のカメラにより取得されることが予想される基準ビューを再構成するために基準点群を使用することと、
1つ以上のカメラを使用して車両の周囲の環境のリアルタイムビューを判定することと、
基準ビューと1つ以上のカメラにより取得されたリアルタイムビューとを比較することと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。
本発明のこれらの態様は、車両のカメラにより取得されたリアルタイムビューと比較されてもよいが異なる種類のセンサから取得されてもよい位置特定基準データに基づいてもよい基準ビューを構築できるようにする点で特に有利である。実際は、多くの車両は、基準データを取得するために使用されてもよいセンサ等のより専用の又は高度なセンサではなく、1つ又は複数のカメラのみを搭載することが認識されている。
本発明のこれらの更なる態様及び実施形態において、基準ビューとリアルタイムビューとの比較の結果は、要望に応じて使用されてもよい。例えば比較の結果は、前述した態様及び実施形態のように、車両の位置を判定する際に使用されてもよい。方法は、ビュー間の位置合わせオフセットを判定するために、リアルタイムビューと基準ビューとの間の相関を計算することと、車両の見なし現在位置を調整してデジタル地図に対する車両の位置を判定するために、判定された位置合わせオフセットを使用することとを備えてもよい。
適用可能な条件は、現在の時間に適用可能な条件であり、明るさの条件であってもよい。いくつかの実施形態において、適用可能な条件は暗さの条件である。
基準ビューは、上述した実施形態のいずれかに従って位置特定基準データから取得されてもよい3D基準点群を使用して再構成される。1つ以上のカメラにより取得されることが予想される基準ビューを再構成するステップは、位置特定基準データの奥行きマップの画素に関連する反射率データチャネルのデータを使用することを備えるのが好ましい。従って、位置特定基準データの各画素は、検知されたレーザ反射率の値を示す少なくとも1つのチャネルを更に含み、位置特定基準データに基づいて3D点群を生成するステップは、検知されたレーザ反射率データを使用して実行されるのが好ましい。レーザ反射率データは、例えば暗闇等の適用可能な条件下で見られることが意図され得る物体を含む車両の1つ以上のカメラから取得されることが予想され得るビューに対応する再構成基準ビューを結果として得るために、基準3D点群を生成する際に使用するために奥行きチャネルからデータを選択するために使用されてもよい。上述したように、車両の1つ以上のカメラは、単一のカメラであってもよく、あるいは一対のステレオカメラであってもよい。
種々の態様及び実施形態における本発明に従って実行されてもよいリアルタイムスキャンデータと位置特定基準データとの比較は、奥行きマップの比較、点群の比較又は再構成画像とリアルタイム画像との比較によるかに関係なく、データウィンドウにわたり実行されてもよい。データウィンドウは、例えば縦方向データである移動方向におけるデータウィンドウである。従って、データをウィンドウ化することにより、利用可能なデータのサブセットを比較に考慮することができる。比較は、重複ウィンドウに対して定期的に実行されてもよい。比較に使用されるデータウィンドウに少なくともある程度の重なりがあることが望ましい。例えば、これにより、隣接する計算された例えば縦方向オフセット値の間の差分がデータにわたり平滑化されることが保証されてもよい。ウィンドウは、オフセット計算の精度が一時的特徴に対して不変であるために十分な長さを有してもよく、少なくとも100mの長さを有するのが好ましい。そのような一時的特徴は、例えば駐車車両、追い越し車両又は同じ経路を反対方向に走行している車両であってもよい。いくつかの実施形態において、長さは少なくとも50mである。いくつかの実施形態において、長さは200mである。このように、検知環境データは、例えば200mである道路の範囲(例えば、縦方向範囲)、すなわち「ウィンドウ」に対して判定され、結果として得られたデータは、当該道路範囲に対する位置特定基準データと比較される。このサイズ、すなわち車両の長さより大幅に大きいサイズの道路範囲にわたる比較を実行することにより、道路上の他の車両、道路脇に停車中の車両等の非定常又は一時的な物体は通常は比較の結果に影響を与えない。
上述した態様及び実施形態のいずれかにおいて、一般に、例えばデジタル地図に対して車両を位置決めする際に使用するための位置特定基準データとリアルタイムスキャンデータとの間の位置合わせオフセットが1つ以上である場合、リアルタイムスキャンデータの点群のデータ点を分類するために地図データを更に使用できることが認識された。例えば、例えば道路であるナビゲート可能要素上の物体の表面に関するデータ点と、ナビゲート可能要素外の物体の表面に関するデータ点とを識別することが可能である。コンテキストが点群の点に既に与えられているため、この初期分類により物体認識を向上できる。例えば道路上を移動している物体は、自動車又は他の車両である可能性が高い。従って、例えば画像解析であるコンピュータビジョン技術を使用して車線区分線、車両、歩行者、道路標識、高速道路の出口ランプ、信号機、道路の危険物等の点群内の候補物体が検出される場合、この検出ステップは、デジタル地図におけるデータに基づいて既に分類されている点群に基づく。従って、この点群の事前分類により、候補物体をより高い信頼度で識別及び分類できる。それにより、例えば道路回廊に存在する点又は道路回廊の外側(道路の左側又は右側)に存在する点である点群内のデータ点のサブセットの物体認識のみが実行されるように、点群から点を除去することもできる。
従って、本発明の更なる一態様によると、デジタル地図を使用して点群のデータ点を分類する方法であり、デジタル地図が複数の区分を含み、各区分がナビゲート可能ネットワークのナビゲート可能要素を表し且つナビゲート可能要素の境界を示す複数の基準線を含み、各区分が複数の基準線の地理的場所を示す場所データに関連付けられ、各区分がナビゲート可能要素の周囲の環境内の物体の表面の地理的場所を示す位置特定基準データに更に関連付けられる方法であって、
ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に基づいて、デジタル地図の1つ以上の区分に対する位置特定基準データを取得することと、
少なくとも1つのセンサを使用して車両の周囲の環境をスキャンすることにより、車両の周囲の環境を示し且つ少なくとも1つのセンサを使用して判定された環境内の物体の表面を表す3次元座標系における場所を各データ点が有する3次元座標系における複数のデータ点を含む点群に基づくリアルタイムスキャンデータを判定することと、
1つ以上の位置合わせオフセットを判定するために、位置特定基準データとリアルタイムスキャンデータとの間の相関を計算することと、
リアルタイムスキャンデータの点群のデータ点の場所を調整するために、判定された1つ以上の位置合わせオフセットを使用することと、
複数のデータ点の各々に対して、データ点がナビゲート可能要素の境界の間に存在するかを判定するために、データ点の調整された場所と関連する区分に対する場所データとを比較することと、
比較に基づいて、複数のデータ点の各々を1つ以上のグループに分類することと、
を備える方法が提供される。
この更なる態様に係る本発明は、相互に矛盾しない限り、本発明の他の態様に関連して説明される特徴のいずれか又は全てを含んでもよい。例えば1つ以上の位置合わせオフセットは、縦方向、横方向及び/又は進行方向(又は方位)である得る。同様に、位置合わせオフセットを判定することは、位置特定基準データとリアルタイムスキャンデータ(同一の形式に変換されている)とを相関させることに基づくか、或いはリアルタイムシーンデータの点群と位置特定基準データから生成された点群とを相関させること又は本明細書中で説明される他の方法のいずれかによることができる。
ナビゲート可能要素の境界を示す複数の基準線は、道路の境界線及び/又は車線の境界線を含むことができる。各区分も同様に、道路の中心線及び/又は道路の車線の中心線を示す基準線を含んでもよい。
上述したように、方法は、1つ以上の候補物体を認識するために、データ点のグループのうちの1つ以上、すなわち点群の事前に分類された部分を解析することを更に備えてもよい。それに加えて又はその代わりに、方法は、点群から道路回廊内の点を除去することと、次の位置決めの反復を実行する際にこの「除去処理後」の点群をリアルタイムスキャンデータの一部として使用することとを更に備えてもよい。リアルタイム検知データに存在するが基準データに存在しない物体に対応する点をリアルタイム検知点群から除去する実施形態において、それらの物体は、例えば位置が判定される車両の近傍に存在する車両等の移動物体に対応してもよい。このことは、データセット間の相関を向上するのに役立ち、従って、位置判定を向上するのに役立つだろう。
いずれかの態様又は実施形態における本発明に従って使用される位置特定基準データの少なくとも一部分はリモートに格納されてもよい。車両が関係する場合、位置特定基準データの少なくとも一部分は車両にローカルに格納されるのが好ましい。従って、位置特定基準データが経路全体で利用可能であっても、それを車両に継続的に転送する必要はなく、比較は車両で実行されてもよい。
位置特定基準データは、圧縮形式で格納されてもよい。位置特定基準データは、30KB/km以下に対応するサイズを有してもよい。
位置特定基準データは、デジタル地図中に表されるナビゲート可能ネットワークのナビゲート可能要素のうちの少なくともいくつかに対して格納されてもよく、それらの全てに対して格納されるのが好ましい。従って、車両の位置は、車両が走行する経路に沿うあらゆる場所で継続的に判定可能である。
実施形態において、基準位置特定データは、車両が実際に走行するナビゲート可能要素を以前に走行した移動マッピング車両に配置された少なくとも1つの装置を使用して基準スキャンから取得されたものであってもよい。従って、基準スキャンは、位置が継続的に判定されている現在の車両とは異なる車両を使用して取得されたものであってもよい。いくつかの実施形態において、移動マッピング車両は、位置が継続的に判定されている車両と同様の設計のものである。
リアルタイムスキャンデータ及び/又は基準スキャンデータは、少なくとも1つの測距センサを使用して取得されてもよい。測距センサは、単一の軸に沿って動作するように構成されてもよい。測距センサは、垂直軸においてスキャンを実行するように構成されてもよい。スキャンが垂直軸において実行される場合、複数の高さの平面に対する距離情報が収集され、従って、結果として得られるスキャンは非常に詳細である。その代わりに又はそれに加えて、測距センサは水平軸においてスキャンを実行するように構成されてもよい。
測距センサはレーザスキャナであってもよい。レーザスキャナは、ミラーを使用して横方向環境にわたりスキャンされるレーザビームを含んでもよい。それに加えて又はその代わりに、測距センサはレーダスキャナ及び/又は一対のステレオカメラであってもよい。
本発明は、本明細書中で説明する方法のいずれかを実行するように例えばプログラムされて構成された1つ以上のプロセッサ等の手段を有する例えばナビゲーション装置、車両等の装置を含む。
本明細書中で説明する位置特定基準データを生成するステップは、サーバ又は他の同様の演算装置により実行されるのが好ましい。
方法のステップのいずれかを実行する手段は、それを行うように例えばプログラムされて構成された1つ以上のプロセッサの集合を備えてもよい。所与のステップは、他のいずれかのステップと同一又は異なるプロセッサの集合を使用して実行されてもよい。何らかの所与のステップは、プロセッサの集合の組み合わせを使用して実行されてもよい。システムは、例えばデジタル地図、位置特定基準データ及び/又はリアルタイムスキャンデータを格納するためのコンピュータメモリ等のデータ格納手段を更に備えてもよい。
好適な実施形態において、本発明の方法は、サーバ又は同様の演算装置により実現される。換言すると、提示された発明の方法は、コンピュータにより実現される方法であるのが好ましい。従って、実施形態において、本発明のシステムは、説明される種々のステップを実行する手段を備えるサーバ又は同様の演算装置を備え、本明細書中で説明する方法のステップはサーバにより実行される。
本発明は、本明細書中で説明する方法のいずれかを実行するか又は装置に実行させるように実行可能なコンピュータ可読命令を備えるコンピュータプログラムを更に含む。コンピュータプログラムは、非一時的な物理的記憶媒体に格納されるのが好ましい。
当業者には理解されるように、本発明の態様及び実施形態は、必要に応じて、本発明の他の態様のいずれかに関して本明細書中で説明される本発明の好適な特徴及びオプションの特徴のうちのいずれか1つ以上又は全てを含むことができ、それらを含むのが好ましい。
添付の図面を参照して、本発明の実施形態を単なる例として以下に説明する。
図1は、プランニング地図の一部分の表現を示す図である。 図2は、道路網の画像に重ねられたプランニング地図の一部分を示す図である。 図3及び図4は、地図を構築するためのデータを収集するために使用可能な例示的な移動マッピングシステムを示す図である。 図5は、レーザスキャナから取得されたデータの3Dビューを示す図である。 図6は、レーザスキャナから取得されたデータの側面投影を示す図である。 図7は、一実施形態に係る周囲を検知しながら道路に沿って走行する車両を示す図である。 図8は、例えば図7の車両により収集された検知環境データと位置特定基準データとの比較を示す図である。 図9は、位置特定基準データを格納できる方法の例示的な形式を示す図である。 図10Aは、道路に沿って走行する車両に取り付けられた測距センサにより取得された点群の一例を示す図である。 図10Bは、この点群データが2つの奥行きマップに変換されたものを示す図である。 図11は、一実施形態における正規化相互相関計算の後に判定されたオフセットを示す図である。 図12は、「基準」データセットと「局所測定」データセットとの間で実行される相関の別の例を示す図である。 図13は、一実施形態に係る車両内に配置されるシステムを示す図である。 図14は、一連の位置特定基準データの一部分である例示的なラスタ画像を示す図である。 図14Bは、道路の左右における2つの別個の平面として図14Aのデータを示す鳥瞰斜視図である。 図15Aは、位置特定基準データ及びリアルタイムスキャンデータの固定の縦方向解像度と可変の例えば非線形の垂直解像度及び/又は奥行き解像度とを示す図である。 図15Bは、基準線からの高さを画素Yの座標値にマッピングする関数を示す図である。 図15Cは、基準線からの距離を画素の奥行き値にマッピングする関数を示す図である。 図15Dは、3次元プロットにおける固定の縦方向画素解像度、可変の垂直画素解像度及び可変の奥行き値解像度を示す図である。 図16Aは、道路要素に関連する基準線により定義される基準面への直交投影を示す図である。 図16Bは、直交投影を使用して取得される側部奥行きマップを示す図である。 図16Cは、道路要素に関連する基準線により定義される基準面への非直交投影を示す図である。 図16Dは、非直交投影を使用して取得される側部奥行きマップを示す図である。 図17は、奥行きマップのマルチチャネルデータ形式を示す図である。 図18は、交差点における奥行きマップを構成する際に使用されてもよい円形基準線及び線形基準線を示す図である。 図19Aは、物体が異なる角度位置で円形奥行きマップに投影されてもよい方法を示す図である。 図19Bは、奥行きマップを提供するための基準面への物体の直交投影を示す図である。 図20Aは、基準奥行きマップ及び対応するリアルタイム奥行きマップを示す図である。図20Bは、基準奥行きマップ及び対応するリアルタイム奥行きマップの縦方向相関から導出される縦方向補正を示す図である。図20Cは、基準奥行きマップ及びリアルタイム奥行きマップにおける対応する画素の画素奥行き値の間のヒストグラム差から導出される横方向補正を示す図である。図20Dは、道路上の車両の縦方向位置及び横方向位置が補正されてもよい方法を示す図である。 図21Aは、基準奥行きマップの対応する部分を通る垂直スライスのセットを示す図である。図21Bは、垂直スライスの平均画素奥行き差を奥行きマップに沿った垂直スライスの縦方向距離に対して示す図である。 図22は、湾曲した道路の画像及び当該道路の対応する線形参照画像を示す図である。 図23A及び図23Bは、例えば非線形環境において車両の位置を確立する方法を示す図である。 図24は、デジタル地図に対する車両の位置を特定するためにデータ車両センサが基準データと相関される例示的なシステムを示す図である。 図25A、図25B及び図25Cは、基準奥行きマップを使用して3D点群を構成し、それと車両レーザセンサから取得された3D点群とを比較する第1の例示的な使用例を示す図である。 図26A、図26B、図26C及び図26Dは、基準奥行きマップを使用して3D点群又は3Dビューを構成し、それと複数の車両カメラ又は単一のカメラから取得された3Dシーン又は3Dビューとを比較する第2の例示的な使用例を示す図である。 図27A、図27B及び図27Cは、奥行きマップの反射率データを使用して3D点群又は3Dビューを構成し、それと車両カメラから取得された3Dシーン又は3Dビューとを比較する第3の例示的な使用例を示す図である。 図28A及び図28Bは、奥行きマップのレーダデータを使用して3D点群を構成し、それと車両レーダを使用して取得された3Dシーンとを比較する第4の例示的な使用例を示す図である。 図29は、本発明の実施形態において使用される異なる座標系を示す図である。 図30は、車両の位置を判定するために車両センサデータを基準データと相関させる場合に実行されるステップを示す図である。 図31は、図30の方法におけるレーザ点群を判定するために実行されるステップを示す図である。 図32Aは、図30の方法における相関ステップを実行するための第1の例示的な方法を示す図である。 図32Bは、図30の方法における相関ステップを実行するための第2の例示的な方法を示す図である。 図33は、車両位置がデジタル地図データと相関される前後のリアルタイムセンサデータに基づく点群の点をデジタル地図から取得された車線区分線の幾何学的配置を示す線と共に示す上面図である。 図34は、図33の分類された点群に基づいて検出された道路上に存在する移動物体を示す図である。 図35は、地図データを使用してリアルタイムセンサデータの点群内の点を事前に分類し、そのような点を使用して、次の反復における基準データとの更に適切な相関を通じて物体認識を強化し且つ/又は位置決めを向上する方法を示す図である。
デジタル地図(例えば道路網であるナビゲート可能ネットワークを表す)に対する車両等の装置の位置を判定する向上された方法が必要とされることが認識されている。特に、デジタル地図に対する装置の縦方向位置を正確に、例えばサブメートル級の精度で判定できることが必要である。本出願における用語「縦方向」は、例えば車両である装置が移動しているナビゲート可能ネットワークの一部分に沿う方向を示し、換言すると、車両が走行している道路の長さに沿う方向を示す。本出願における用語「横方向」は、縦方向に対して垂直であるという通常の意味を有し、従って、道路の幅に沿う方向を示す。
デジタル地図が、例えば道路の各車線が別個に表される(標準的な地図におけるように、道路の中心線に対して表されるのとは異なる)3次元ベクトルモデルである上述したようなプランニング地図を含む場合、例えば車両である装置の横方向位置は、単に装置が現在走行している車線を判定することを含むことが理解されるだろう。そのような判定を実行するための種々の技術が既知である。例えば判定は、全地球的航法衛星システム(GNSS)受信機から取得される情報を使用するだけで行うことができる。それに加えて又はその代わりに、装置に関連付けられたカメラ、レーザ又は他の撮像センサからの情報を使用することができる。例えば、近年、車両が走行している車線を検出及び追跡するために、例えば種々の画像処理技術を使用して車両に取り付けられた1つ以上のビデオカメラからの画像データを解析する研究が十分に行われている。1つの例示的な技術は、Junhwa Hur、Seung−Nam Kang及びSeung−Woo Seoによる論文「Multi−lane detection in urban driving environments using conditional random fields」、Intelligent Vehicles Symposiumの論文集、1297〜1302ページ、IEEE、(2013年)に記載されている。ここで、装置はビデオカメラ、レーダセンサ及び/又はLIDARセンサからのデータフィードを提供されてもよく、装置が走行している装置又は車両の現在の車線を判定するために受信データをリアルタイムで処理するために適切なアルゴリズムが使用される。あるいは、Mobileye N.V.から市販されているMobileyeシステム等の別のデバイス又は装置は、これらのデータフィードに基づいて車両の現在の車線の判定を提供し、例えば有線接続又はBluetooth接続により現在の車線の判定を装置に提供してもよい。
実施形態において、車両の縦方向位置は、好ましくは車両の片側又は両側の車両の周囲の環境のリアルタイムスキャンとデジタル地図に関連付けられた環境の基準スキャンとを比較することにより判定可能である。この比較から、縦方向オフセットが存在する場合はそれを判定することができ、判定されたオフセットを使用して、デジタル地図とマッチングされた車両の位置を判定することができる。従って、デジタル地図に対する車両の位置を常に高精度で認識できる。
車両の周囲の環境のリアルタイムスキャンは、車両上に配置された少なくとも1つの測距センサを使用して取得可能である。少なくとも1つの測距センサは何らかの適切な形態をとることができるが、好適な実施形態では、レーザスキャナ、すなわちLIDAR装置を含む。レーザスキャナは、環境にわたりレーザビームをスキャンし、レーザが反射される物体の表面の位置を各点が示す環境の点群表現を作成するように構成可能である。レーザスキャナは、物体の表面から反射された後にレーザビームがスキャナに戻るのにかかる時間を記録するように構成され、記録された時間は各点までの距離を判定するために使用され得ることが理解されるだろう。好適な実施形態において、測距センサは、70°等の例えば50°〜90°である特定の取得角度内でデータを取得するように単一の軸に沿って動作するように構成され、例えばセンサがレーザスキャナを備える場合、レーザビームは装置内の鏡を使用してスキャンされる。
一実施形態を図7に示す。図中、車両100は道路に沿って走行している。車両は、車両の各側に配置された測距センサ101、102を搭載している。センサは車両の各側に示されるが、他の実施形態において、単一のセンサのみが車両の片側で使用され得る。センサは、以下に詳細に説明するように、各センサからのデータを組み合わせることができるように適切に位置合わせされるのが好ましい。
国際公開第WO2011/146523A2号は、3次元点群の形態で基準データを取り込むために車両で使用されてもよいスキャナ又は周囲の環境に関するリアルタイムデータを取得するために自律型車両でも使用され得るスキャナの例を提供する。
上述したように、測距センサは単一の軸に沿って動作するように構成可能である。一実施形態において、センサは、水平方向に、すなわち道路の表面に対して平行な平面でスキャンを実行するように構成可能である。これを例えば図7に示す。車両が道路に沿って走行する間に環境を継続的にスキャンすることにより、図8に示すような検知環境データを収集できる。データ200は、左センサ102から収集されたデータであり、物体104を示す。データ202は、右センサ101から収集されたデータであり、物体106及び108を示す。他の実施形態において、センサは、垂直方向に、すなわち道路の表面に対して垂直な平面でスキャンを実行するように構成可能である。車両が道路に沿って走行する間に環境を継続的にスキャンすることにより、図6のように環境データを収集できる。垂直方向にスキャンを実行することにより、複数の高さの平面に対する距離情報が収集され、従って、結果として得られるスキャンが非常に詳細なものになることが理解されるだろう。要望に応じて、あらゆる軸に沿ってスキャンを実行できることが当然理解されるだろう。
環境の基準スキャンは、以前に道路に沿って移動した1つ以上の車両から取得され、適切に位置合わせされ、デジタル地図に関連付けられる。基準スキャンは、デジタル地図に関連付けられたデータベースに格納され、本明細書中、これを位置特定基準データと呼ぶ。デジタル地図とマッチングされた場合の位置特定基準データの組み合わせを位置特定マップと呼ぶことができる。位置特定マップは車両からリモートで作成され、通常は、TomTom International B.V.又はHERE、Nokia company等のデジタル地図作成会社により作成されることが理解されるだろう。
基準スキャンは、例えば図3に示すような移動マッピング車両等の専用車両から取得可能である。しかし、好適な実施形態において、基準スキャンは、車両がナビゲート可能ネットワークに沿って走行する間に車両により収集される検知環境データから判定可能である。この検知環境データは格納され、位置特定マップを作成、保守及び更新するために定期的にデジタルマッピング会社に送出され得る。
位置特定基準データは、車両にローカルに格納されるのが好ましいが、データはリモートに格納することもできることが理解されるだろう。実施形態において、特に位置特定基準データがローカルに格納される場合、データは圧縮形式で格納される。
実施形態において、位置特定基準データは、道路網内の道路の各側に対して収集される。そのような実施形態において、道路の各側の基準データは別個に格納可能であり、あるいは、複合データセットで共に格納可能である。
実施形態において、位置特定基準データは画像データとして格納できる。画像データは例えばRGB画像であるカラー画像であるか又はグレースケール画像であることができる。
図9は、位置特定基準データを格納できる方法の例示的な形式を示す。本実施形態において、道路の左側に対する基準データは画像の左側に提供され、道路の右側に対する基準データは画像の右側に提供される。データセットは、特定の縦方向位置に対する左側基準データセットが同じ縦方向位置に対する右側基準データセットの反対側に示されるように位置合わせされる。
図9の画像において、縦方向の画素サイズは0.5mであり、中心線の各側に40個の画素があるが、これは単に説明するためのものである。画像をカラー(RGB)画像としてではなくグレースケール画像として記憶できることが更に判定されている。この形式で画像を格納することにより、位置特定基準データは30KB/kmに対応するサイズを有する。
更なる一例を図10A及び図10Bに見ることができる。図10Aは、道路に沿って走行する車両に取り付けられた測距センサにより取得された点群の一例を示す。図10Bにおいて、この点群データは2つの奥行きマップに変換されており、一方は車両の左側に対する奥行きマップであり、他方は車両の右側に対する奥行きマップである。これらは、合成画像を形成するために互いに隣接して配置されている。
上述したように、車両により判定された検知環境データは、オフセットが存在するかを判定するために位置特定基準データと比較される。何らかの判定されたオフセットは、デジタル地図上の現在位置と正確に一致するように車両の位置を調整するために使用され得る。本明細書中、この判定されたオフセットを相関指数と呼ぶ。
実施形態において、検知環境データは、例えば200mである道路の縦方向範囲に対して判定され、例えば画像データである結果として得られたデータは、当該道路範囲に対する位置特定基準データと比較される。このサイズ、すなわち車両の長さより大幅に大きいサイズの道路範囲にわたる比較を実行することにより、道路上の他の車両、道路脇に停車中の車両等の非定常又は一時的な物体は通常は比較の結果に影響を与えない。
比較は、データセットが最も位置合わせされる縦方向位置を判定するように、検知環境データと位置特定基準データとの間の相互相関を計算することにより実行されるのが好ましい。最大位置合わせでの双方のデータセットの縦方向位置の間の差分から縦方向オフセットを判定できる。これは、例えば図8の検知環境データと位置特定基準データとの間に示されるオフセットに見られる。
実施形態において、データセットが画像として提供される場合、位置特定基準データと検知環境データとの間の明るさ、照明条件等の差異が低減されるように、相互相関は正規化相互相関演算を含むのが好ましい。比較は、車両が道路に沿って走行する間にあらゆるオフセットが継続的に判定されるように、例えば200mの長さの重複ウィンドウに対して定期的に実行されるのが好ましい。図11は、例示的な一実施形態において、示された位置特定基準データと示された検知環境データとの間の正規化相互相関計算の後に判定されたオフセットを示す。
図12は、「基準」データセットと「局所測定」データセット(道路に沿って走行する間に車両により取得される)との間で実行される相関の更なる一例を示す。2つの画像間の相関の結果は、「縦方向相関指数」に対する「シフト」のグラフに見ることができる。最大ピークの位置は、図示の最適合シフトを判定するために使用され、これはデジタル地図に対する車両の縦方向位置を調整するために使用することができる。
図9、図10B、図11及び図12からわかるように、位置特定基準データ及び検知環境データは、奥行きマップの形態であるのが好ましく、各要素(例えば、奥行きマップが画像として格納される場合は画素)は、縦方向位置(道路に沿う)を示す第1の値と、高度(すなわち、地面からの高さ)を示す第2の値と、(道路を横切る)横方向位置を示す第3の値とを含む。従って、例えば画素である奥行きマップの各要素は、車両の周囲の環境の表面の一部分に有効に対応する。例えば画素である各要素により表される表面のサイズは圧縮量と共に変化し、そのため、奥行きマップ(又は画像)の圧縮レベルが高い場合、例えば画素である要素は広い表面積を表すことが理解されるだろう。
位置特定基準データが装置の例えばメモリであるデータ格納手段に格納される実施形態において、比較ステップは、車両内の1つ以上のプロセッサ上で実行可能である。位置特定基準データが車両からリモートに格納される他の実施形態において、検知環境データは、例えば移動体通信ネットワークである無線接続を介してサーバに送出可能である。位置特定基準データにアクセスできるサーバは、例えば移動体通信ネットワークを再度使用して、何らかの判定されたオフセットを車両に返す。
本発明の一実施形態に係る車両内に配置された例示的なシステムを図13に示す。このシステムにおいて、相関指標提供部と呼ばれる処理装置は、車両の左側の環境を検出するように配置された測位センサ及び車両の右側の環境を検出するように配置された測距センサからデータフィードを受信する。また、処理装置は、デジタル地図(プランニング地図の形態であるのが好ましい)と、デジタル地図に適切にマッチングされる場所基準データのデータベースとにアクセスできる。処理装置は、上述した方法を実行するように構成され、従って、オプションで例えば双方のセンサからのデータを組み合わせた画像データである適切な形式にデータフィードを変換した後に、縦方向オフセット及びデジタル地図に対する車両の正確な位置を判定するために測距センサからのデータフィードと位置特定基準データとを比較するように構成される。システムは、水平線提供部を更に備える。これは、判定された車両の位置及びデジタル地図内のデータを使用して、車両が通過しようとしているナビゲート可能ネットワークの前方部分に関する情報(「水平データ」と呼ぶ)を提供する。この水平データは、例えばアダプティブクルーズコントロール、自動車線変更、エマージェンシーブレーキアシスト等である種々の運転支援操作又は自動運転操作を実行するように車両内の1つ以上のシステムを制御するために使用できる。
要約すると、本発明は、少なくとも好適な実施形態において、縦方向相関に基づく位置決め方法に関する。車両の周囲の3D空間は、道路の左右両側を範囲に含む2つの奥行きマップの形式で表され、これらを組み合わせて単一の画像にしてもよい。デジタル地図に格納された基準画像は、デジタル地図における道路の表現に沿って(すなわち、縦方向に)車両を正確に位置決めするために、車両のレーザ又は他の測距センサから導出された奥行きマップと相互相関される。実施形態において、奥行き情報は、道路を横切って(すなわち横方向に)自動車を位置決めするために使用することができる。
好適な一実現例において、車両の周囲の3D空間は道路の軌道に対して平行な2つのグリッドに投影され、投影の値はグリッドの各セル内で平均される。縦方向相関器の奥行きマップの画素の寸法は、運転方向に沿って約50cmであり、高さが約20cmである。画素値によりコード化された奥行きは、約10cmで量子化される。運転方向に沿う奥行きマップ画像の解像度は50cmであるが、位置決めの解像度ははるかに高い。相互相関画像は、レーザ点が分布されて平均化されるグリッドを表す。適切なアップサンプリングは、サブ画素係数のシフトベクトルを見つけることを可能にする。同様に、量子化誤差は全ての相関画素にわたり平均されるため、約10cmの奥行き量子化は道路を横切る10cmの位置決め精度を示すものではない。従って、実際は、位置決め精度は、主にレーザの精度及び較正により制限され、縦方向相関器の指標の量子化誤差による寄与はごくわずかである。
従って、例えば奥行きマップ(又は画像)である位置決め情報は常に利用可能であり(輪郭が鮮明な物体が周囲にない場合でも)、コンパクトであり(全世界の道路網を格納することが可能である)、他の手法と同等又はそれ以上の精度を可能にする(あらゆる場所で入手可能であり、従って、誤差平均化能力が高いため)ことが理解されるだろう。
図14Aは、一連の場所基準データの一部分である例示的なラスタ画像を示す。ラスタ画像は、収集された3Dレーザ点データを基準線により定義され且つ道路の表面に対して垂直に配向する超平面に直交投影することにより形成される。投影の直交性のため、あらゆる高さ情報は基準線からの距離に依存しない。基準線自体は通常は車線/道路の境界に対して平行に存在する。超平面の実際の表現は、固定の水平解像度及び非線形の垂直解像度を有するラスタ形式である。本方法は、車両センサによる検出にとって重要である高さに関する情報密度を最大にすることを目的とする。実験によると、5〜10mの高さのラスタ平面が、後で車両位置特定に使用するのに必要な十分な関連情報を取り込むのに十分であることが判明した。ラスタ内の個々の画素はそれぞれ、レーザ測定値のグループを反映する。垂直解像度の場合と同様に、奥行き情報における解像度も非線形で表されるが、通常は8ビット値で(すなわち、0〜255の値として)格納される。図14Aは道路の両側のデータを示す。図14Bは、道路の左右における2つの別個の平面として図14Aのデータを示す鳥瞰斜視図である。
上述したように、前部又は側部に取り付けられた水平設置レーザスキャナセンサを搭載した車両は、位置特定基準データの平面と同様の2D平面をリアルタイムに生成することができる。デジタル地図に対する車両の位置特定は、事前にマッピングされたデータとリアルタイムで検知され且つ処理されたデータとの画像空間における相関により達成される。縦方向における車両の位置特定は、高さ領域における1画素ぼかし及び縦方向領域におけるSobel演算子を用いて画像上の重複移動ウィンドウにおいて計算された平均非負正規化相互相関(NCC)演算を適用することにより取得される。
図15Aは、位置特定基準データ及びリアルタイムスキャンデータの固定の縦方向解像度と可変の例えば非線形の垂直解像度及び/又は奥行き解像度とを示す。従って、値a、b及びcにより表される縦方向距離は同一であるが、値D、E及びFにより表される高さ範囲は異なる。特に、Dにより表される高さ範囲はEにより表される高さ範囲より小さく、Eにより表される高さ範囲はFにより表される高さ範囲より小さい。同様に、値0により表される奥行き範囲、すなわち車両に最も近い表面は、値100により表される奥行き範囲より小さく、値100により表される奥行き範囲は値255により表される奥行き範囲、すなわち車両から最も遠い表面より小さい。例えば、値0は1cmの奥行きを表すことができ、値255は10cmの奥行きを表すことができる。
図15Bは、垂直解像度が変化してもよい方法を示す。本例では、垂直解像度は、基準線からの高さを画素Yの座標値にマッピングする非線形関数に基づいて変化する。図15Bに示すように、本例ではY=40である基準線に近い画素は低い高さを表す。図15Bに更に示すように、垂直解像度は基準線に近いほど大きく、すなわち、画素の位置に対する高さの変化は、基準線に近い画素ほど小さく、基準線から遠い画素ほど大きい。
図15Cは、奥行き分解能が変化してもよい方法を示す。本例では、奥行き解像度は、基準線からの距離を画素の奥行き(色)値にマッピングする非線形関数に基づいて変化する。図15Cに示すように、画素奥行き値が低いほど、基準線からの距離が短いことを表す。図15Cに更に示すように、奥行き解像度は画素奥行き値が低いほど大きく、すなわち、画素奥行き値に対する距離の変化は、画素奥行き値が低いほど小さく、画素奥行き値が高いほど大きい。
図15Dは、画素のサブセットが基準線に沿う距離にマッピングされてもよい方法を示す。図15Dに示すように、基準線に沿う各画素は同じ幅であり、そのため、縦方向の画素解像度は固定される。図15Dは、画素のサブセットが基準線からの高さにマッピングされてもよい方法を更に示す。図15Dに示すように、基準線からの距離が大きいほど画素は漸進的に広く、そのため、基準線からの高さが高いほど垂直画素解像度は低い。図15Dは、画素奥行き値のサブセットが基準線からの距離にマッピングされてもよい方法を更に示す。図15Dに示すように、画素奥行き値が範囲に含む距離は、基準線からの距離が大きいほど漸進的に広く、そのため、基準線からの奥行き距離が大きいほど奥行き解像度は低い。
本発明のいくつかの更なる実施形態及び特徴を以下に説明する。
図14Aに関連して説明したように、位置特定基準データの例えばラスタ画像である奥行きマップは、道路要素に関連する基準線により定義される基準面への直交投影により提供されてもよい。図16Aは、そのような投影を使用した結果を示す。基準面は、示される道路基準線に対して垂直である。この場合、高さ情報は基準線からの距離に依存しない。これは、いくつかの利点を提供する場合があるが、直交投影の1つの制限は、道路要素に対して垂直な表面に関する情報が失われる場合があることである。直交投影を使用して取得された図16Bの側部奥行きマップにより、これを示す。
例えば45°での非直交投影が使用される場合、道路要素に対して垂直な表面に関するそのような情報は保存されるだろう。これを図16C及び図16Dに示す。図16Cは、同様に道路基準線に対して垂直であると定義される基準面への45°投影を示す。図16Dが示すように、この投影を使用して取得された側部奥行きマップは、道路要素に対して垂直である物体の表面に関するより多くの情報を含む。非直交投影を使用することにより、追加のデータチャネルを含める必要なく又は記憶容量の増加を必要とせずに、そのような垂直な表面に関する情報が奥行きマップデータにより取り込まれるだろう。そのような非直交投影が位置特定基準データの奥行きマップデータに使用される場合、対応する投影が位置特定基準データと比較されるリアルタイム検知データに使用される必要があることが理解されるだろう。
位置特定基準データに対する奥行きマップデータの各画素は、例えばレーザ測定値である検知測定値のグループに基づく。これらの測定値は、画素の位置における関連する所定の方向に沿う基準面からの物体の距離を示すセンサ測定値に対応する。データの圧縮方法により、センサ測定値のグループが特定の画素にマッピングされる。センサ測定値のグループに従って異なる距離の平均に対応する画素に関連する奥行き値を判定するのではなく、種々のセンサ計測値に対応する距離のうち最短距離が画素奥行き値に使用される場合に、より高い精度が得られるだろうことが判明した。画素の奥行き値は、基準面から物体の最も近い表面までの距離を正確に反映することが重要である。これは、衝突危険性を最小限に抑えるように車両の位置を正確に判断する際に最も重要である。センサ測定値のグループの平均を使用して画素の奥行き値を提供する場合、奥行き値が示す物体の表面までの距離は、画素の位置における実際の距離よりも大きい可能性がある。これは、1つの物体が基準面と別のより遠い物体との間に過渡的に位置している可能性があるためであり、例えば樹木が建物の前に存在する場合がある。この状況では、センサ測定値が画素にマッピングされる領域が樹木の片側又は両側で樹木の向こうに延在するため、画素奥行き値を提供するために使用されるいくつかのセンサ測定値は建物に関するものであり、他のセンサ測定値は樹木に関するものである。本出願人は、この場合は樹木である最も近い物体の表面までの距離が確実に取り込まれることを保証するために、種々のセンサ測定値のうち最短センサ測定値を画素に関連する奥行き値とすることが最も安全であり且つ信頼性が高いと認識した。あるいは、画素の奥行きを提供するために、画素のセンサ測定値の分布を導出し、最短最頻値をとってもよい。これにより、最短距離の場合と同様に、より信頼性の高い画素の奥行きの指標が提供される。
上述したように、位置特定基準データに対する奥行きマップデータの画素は、基準面における画素の位置から物体の表面までの奥行きを示すデータを含む奥行きチャネルを含む。1つ以上の追加の画素チャネルが位置特定基準データに含まれてもよい。これにより、マルチチャネル又はマルチレイヤの奥行きマップが得られ、従って、マルチチャネル又はマルチレイヤのラスタ画像が得られる。いくつかの好適な実施形態において、第2のチャネルは画素の位置における物体のレーザ反射率を示すデータを含み、第3のチャネルは画素の位置における物体のレーダ反射率を示すデータを含む。
各画素は、道路基準線に沿う特定の距離(x方向)及び道路基準線からの高さ(y方向)に対応する位置を有する。第1のチャネルc1内の画素に関連する奥行き値は、最も近い物体の表面に対する所定の方向(使用される投影に応じて、基準面に対して直交又は非直交であってもよい)に沿った基準面における画素の距離を示す(画素の奥行き値を取得するために使用される検知測定値のグループのうちの最短距離に対応するのが好ましい)。第2のチャネルc2において、各画素は、基準面から距離c1の周辺におけるレーザ点の平均局所反射率を示すレーザ反射率値を有してもよい。第3のチャネルc3において、画素は、基準面から距離c1の周辺におけるレーダ点の平均局所反射率を示すレーダ反射率値を有してもよい。これを例えば図17に示す。マルチチャネル形式により、非常に大量のデータを奥行きマップに含めることができる。使用されてもよい更なる可能なチャネルは、物体の厚さ(直交投影が使用される場合、道路の軌道に対して垂直な表面に関する情報を復元するために使用されてもよい)、反射点密度、並びに色及び/又はテクスチャ(例えば、基準スキャンデータを提供する際に使用されるカメラから取得される)である。
位置特定基準データの奥行きマップが道路の側部に対する環境に関する実施形態に関連して本発明を説明したが、交差点における車両の位置決めを補助するために、異なる構成の奥行きマップを使用することが有用である場合があることが認識されている。これらの更なる実施形態は、交差点から離れた領域に対する側部奥行きマップと共に使用されてもよい。
いくつかの更なる実施形態において、基準線は円の形態で定義される。換言すると、基準線は非線形である。円は、デジタル地図の交差点の中心を中心とする所与の半径により定義される。円の半径は、交差点の側部に依存して選択されてもよい。基準面は、この基準線に対して垂直な2次元表面として定義されてもよい。その場合、(円形の)奥行きマップが定義されてもよく、各画素は、線形基準線が使用される場合と同様に、所定の方向に沿った基準面における画素の位置から物体の表面までの距離、すなわち奥行き値を示すチャネルを含む。同様に、基準面への投影は直交又は非直交であってもよく、各画素は複数のチャネルを有してもよい。所与の画素の奥行き値は、物体までの最短検知距離に基づくのが好ましい。
図18は、交差点における奥行きマップ及び交差点外の奥行きマップを構成する際にそれぞれ使用されてもよい円形基準線及び線形基準線を示す。図19Aは、物体が異なる角度位置で円形奥行きマップに投影されてもよい方法を示す。図19Bは、奥行きマップを提供するための基準面への各物体の直交投影を使用した投影を示す。
基準データとリアルタイム検知データとの間の縦方向位置合わせオフセットを判定するために、位置特定基準データの奥行きマップが円形であるか否かに関係なく、当該奥行きマップを車両から取得されたリアルタイムセンサデータと比較してもよい方法を説明した。いくつかの更なる実施形態において、横方向位置合わせオフセットが更に取得される。これは、画像領域において実行されてもよい一連のステップを含む。
側部奥行きマップを使用する一例を参照すると、処理の第1のステップにおいて、上述した方法で、基準データに基づく側部奥行きマップとリアルタイムセンサデータに基づく側部奥行きマップとの間の縦方向位置合わせオフセットが判定される。奥行きマップは、縦方向に位置合わせされるまで互いに対してシフトされる。次に、リアルタイムセンサデータに基づく奥行きマップにサイズが対応するように、基準奥行きマップ、すなわちラスタ画像がトリミングされる。そのように位置合わせされた基準に基づく側部奥行きマップ及びリアルタイムセンサに基づく側部奥行きマップの対応する位置における画素の奥行き値、すなわち画素の奥行きチャネルの値が比較される。対応画素対の各々の奥行き値の差分は、画素の横方向オフセットを示す。各画素の奥行き値が色により表される場合、これは画素の色差を考慮することにより評価されてもよい。対応画素対の間でこのようにして判定された最も頻度が高い横方向オフセット(最頻値差)が判定され、2つの奥行きマップの横方向位置合わせオフセットに対応するものと見なされる。最も頻度が高い横方向オフセットは、画素間の奥行き差のヒストグラムを使用して取得されてもよい。横方向オフセットが判定されると、それは道路上の車両の見なし横方向位置を補正するために使用されてもよい。
図20Aは、奥行きマップの横方向オフセット位置合わせを判定するために比較されてもよい基準奥行きマップ、すなわち画像と車両からのリアルタイムセンサデータに基づく対応する奥行きマップ又は画像とを示す。図20Bが示すように、最初に、画像を互いに対してシフトさせて縦方向に位置合わせする。次に、基準画像をトリミングした後、2つの奥行きマップにおける対応する画素の画素奥行き値の差分のヒストグラムを使用して、奥行きマップ間の横方向位置合わせオフセットを判定する(図20C)。図20Dは、これにより道路上の車両の縦方向位置が補正され、その後、横方向位置が補正されてもよい様子を示す。
基準データに基づく奥行きマップとリアルタイムデータに基づく奥行きマップとの間の横方向位置合わせオフセットが取得されると、車両の進行方向が更に補正されてもよい。車両の実際の進行方向と見なし進行方向との間にオフセットがある場合、基準データに基づく奥行きマップ及びリアルタイム検知データに基づく奥行きマップにおける対応する画素間で、一定でない横方向位置合わせオフセットが奥行きマップに沿った縦方向距離の関数として判定されることになる。
図21Aは、基準奥行きマップ画像(上)及びリアルタイムセンサに基づく奥行きマップ画像(下)の対応する部分を通る垂直スライスのセットを示す。各スライスにおける対応する画素の画素奥行き値の平均差(すなわち、横方向位置合わせオフセット)は、マップ/画像に沿う縦方向距離(x軸)に対して示される(y軸)。そのようなグラフを図21Bに示す。この場合、平均画素奥行き距離と奥行きマップに沿った縦方向距離との間の関係を記述する関数は、適切な回帰分析により導出されてもよい。この関数の傾きは、車両の進行方向オフセットを示す。
本発明の実施形態で使用される奥行きマップは、例えば国際公開第WO2009/045096A1号に記載のように、常に直線基準線に対するものであるように、すなわち線形参照画像になるように変換されてもよい。これは、図22に示すような利点を有する。図22の左側は、湾曲道路の画像である。湾曲道路の中心線を示すために、多くの印1102を配置する必要がある。図22の右側には、対応する線形参照画像が図面の左側の湾曲道路に対応して示される。線形参照画像を取得するために、湾曲道路の中心線が線形参照画像の直線基準線にマッピングされる。この変換を考慮すると、基準線を2つの端点1104及び1106により単純に定義できる。
完全に直線の道路では、基準奥行きマップとリアルタイム奥行きマップとの比較から計算されたシフトを直接適用できるが、線形参照画像を生成するために使用される線形化手順の非線形性のため、湾曲道路ではそのようなシフトを直接適用できない。図23A及び図23Bは、一連の漸進的な独立した線形更新ステップを通じて非線形環境における車両の位置を確立する計算効率のよい方法を示す。図23Aに示すように、方法は、一連の漸進的な独立した線形更新ステップにおいて、縦方向の補正を適用し、次に横方向の補正を適用し、次に進行方向の補正を適用することを含む。特に、ステップ(1)において、縦方向オフセットは、車両センサデータと、デジタル地図に対する車両の現在の見なし位置(例えば、GPSを使用して取得される)に基づく基準奥行きマップとを使用して判定される。次に、縦方向オフセットを適用して、デジタル地図に対する車両の見なし位置が調整され、調整された位置に基づいて、基準奥行きマップが再計算される。次に、ステップ(2)において、車両センサデータ及び再計算された基準奥行きマップを使用して横方向オフセットが判定される。次に、横方向オフセットを適用して、デジタル地図に対する車両の見なし位置が更に調整され、調整された位置に基づいて、基準奥行きマップが再計算される。最後に、ステップ(3)において、車両センサデータ及び再計算された基準奥行きマップを使用して、進行方向のオフセット又は斜きが判定される。次いで、進行方向オフセットを適用して、デジタル地図に対する車両の見なし位置が更に調整され、調整された位置に基づいて、基準奥行きマップが再計算される。これらのステップは、リアルタイム奥行きマップと基準奥行きマップとの間の縦方向オフセット、横方向オフセット及び進行方向オフセットが略ゼロになるのに必要な回数繰り返される。図23Bは、車両センサデータから生成された点群が基準奥行きマップから生成された点群とほぼ位置合わせされるまで、車両センサデータから生成された点群に対して縦方向オフセット、横方向オフセット及び進行方向オフセットを継続的に繰り返して適用することを示す。
位置特定基準データの一連の例示的な使用例を更に示す。
いくつかの実施形態において、リアルタイムセンサデータに基づく奥行きマップと比較するために位置特定基準データの奥行きマップを使用するのではなく、例えば各点が環境内の物体の表面を表す3次元座標系におけるデータ点のセットを含む基準点群を生成するために位置特定基準データの奥行きマップを使用する。この基準点群は、車両センサにより取得されたリアルタイムセンサデータに基づく対応する3次元点群と比較されてもよい。比較は、奥行きマップ間の位置合わせオフセットを判定するため及び車両の判定された位置を調整するために使用されてもよい。
車両が有するセンサの種類に関係なく、基準奥行きマップは、車両のリアルタイムセンサデータに基づく対応する点群と比較されてもよい基準3D点群を取得するために使用されてもよい。基準データは、レーザスキャナ、レーダスキャナ及びカメラを含む様々な種類のセンサから取得されたセンサデータに基づいてもよいが、車両は対応するセンサのセットを有さなくてもよい。3D基準点群は、車両が利用できる特定の種類のリアルタイムセンサデータに基づいて得られた3D点群と比較されてもよい基準奥行きマップから構成されてもよい。
例えば、基準位置特定データの奥行きマップがレーダ反射率を示すチャネルを含む場合、これは、レーダセンサのみを有する車両のリアルタイムセンサデータを使用して取得された3D点群と比較されてもよい基準点群を生成する際に考慮されてもよい。画素に関連するレーダ反射率データは、3D基準点群に含まれる必要があるデータ点、すなわち、車両のレーダセンサが検出することが予想される物体の表面を表すデータ点を識別するのに役立つ。
別の例において、車両は、リアルタイムセンサデータを提供するための1つ又は複数のカメラのみを有してもよい。この場合、基準奥行きマップのレーザ反射率チャネルからのデータは、現在の条件で車両のカメラにより検出されることが予想されてもよい表面のみに関するデータ点を含む3D基準点群を構成するために使用されてもよい。例えば暗い場合は、相対的に反射性の高い物体のみが含まれるべきである。
車両のリアルタイム検知データに基づく3D点群は、要望に応じて取得されてもよい。車両がセンサとして単一のカメラのみを含む場合、「structure from motion」技術が使用されてもよく、カメラからの一連の画像を使用して3Dシーンを再構成し、それから3D点群が取得されてもよい。車両がステレオカメラを含む場合、3Dシーンは直接生成され、3次元点群を提供するために使用されてもよい。これは、視差に基づく3Dモデルを使用して達成されてもよい。
更に他の実施形態において、基準点群とリアルタイムセンサデータ点群と比較するのではなく、基準点群を使用して、車両の1つ又は複数のカメラにより見られると予想される画像を再構成する。画像は比較され、画像間の位置合わせオフセットを判定するために使用されてもよく、その後、車両の見なし位置を補正するために使用されてもよい。
これらの実施形態において、車両のカメラにより検出されると予想される点のみを3次元基準点群に含むことに基づいて画像を再構成するために、基準奥行きマップの更なるチャネルを上述したように使用してもよい。例えば暗い場合、暗い状態でカメラにより検出され得る物体の表面に対応する点を3次元点群に含めるために選択するために、レーザ反射率チャネルが使用されてもよい。基準奥行きマップを判定する際に基準面への非直交投影を使用することはこの場合に特に有用であり、暗い状態でも検出可能であるだろう物体の表面に関するより多くの情報が保存されることが判明した。
図24は、レーザ、カメラ及びレーダである1つ以上の車両センサにより収集されたデータが車両から見た環境の「実際のフットプリント」を生成するために使用される本発明の実施形態に係る例示的なシステムを示す。「実際のフットプリント」は、デジタル地図に関連付けられた基準データから判定される対応する「基準フットプリント」と比較され、すなわち相関される。上述したように、基準データは少なくとも距離チャネルを含み、レーザ反射率チャネル及び/又はレーダ反射率チャネルを含んでもよい。この相関を介して、デジタル地図に対する車両の位置を正確に判定できる。
第1の例示的な使用例では、図25Aに示すように、実際のフットプリントは、例えば車両内のLIDARセンサであるレーザに基づく距離センサから判定され、基準データの距離チャネルにおけるデータから判定された基準フットプリントと相関され、それにより車両の継続的な位置決めが達成される。第1の手法を図25Bに示す。この場合、レーザに基づく距離センサにより判定されたレーザ点群は基準データと同じ形式の奥行きマップに変換され、2つの奥行きマップ画像が比較される。第2の代替手法を図25Cに示す。この場合、レーザ点群が基準データから再構成され、この再構築された点群が車両から見たレーザ点群と比較される。
第2の例示的な使用例では、図26Aに示すように、実際のフットプリントは車両内のカメラから判定され、基準データの距離チャネルにおけるデータから判定された基準フットプリントと相関され、それにより、日中のみであるが、車両の継続的な位置決めが達成される。換言すると、この例示的な使用例では、基準奥行きマップを使用して3D点群又は3Dビューを再構成し、これと複数の車両カメラ又は単一の車両カメラから取得された3Dシーン又は3Dビューとを比較する。第1の手法を図26Bに示す。この場合、ステレオ車両カメラを使用して、視差に基づく3Dモデルを構築し、それを使用して、基準奥行きマップから構成された3D点群と相関させるための3D点群を構成する。第2の手法を図26Cに示す。この場合、一連の車両カメラ画像を使用して3Dシーンを構成し、それを使用して、基準奥行きマップから構成された3D点群と相関させるための3D点群を構築する。最後に、第3の手法を図25Dに示す。この場合、車両カメラ画像が基準奥行きマップから構成された3D点群から作成されたビューと比較される。
図27Aに示すように、第3の例示的な使用例は、第2の例示的な使用例の変形であり、1つ以上のカメラにより取り込まれた画像に基づく3D点群又は3Dビューと比較されてもよい3D点群又は3Dビューを構成するために、奥行きマップのチャネル内の基準データのレーザ反射率データを使用できる。第1の手法を図27Bに示す。この場合、一連の車両カメラ画像を使用して3Dシーンを構成し、それを使用して、基準奥行きマップから構成された(距離チャネル及びレーザ反射率チャネルの双方を使用して)3D点群と相関させるための3D点群を構成する。第2の手法を図27Cに示す。この場合、車両カメラ画像は、基準奥行きマップから構成された(この場合も、距離チャネル及びレーザ反射率チャネルの双方を使用して)3D点群から作成されたビューと比較される。
第4の例示的な使用例では、図28Aに示すように、実際のフットプリントは、車両内のレーダに基づく距離センサから判定され、基準データの距離チャネル及びレーダ反射率チャネルにおけるデータから判定された基準フットプリントと相関され、それにより、車両のまばらな位置決めが達成される。第1の手法を図28Bに示す。この場合、基準データを使用して3Dシーンが再構成され、レーダ反射点のみを残すためにレーダ反射率チャネルにおけるデータが使用される。その後、この3Dシーンは、自動車から見たレーダ点群と相関される。
当然、デジタル地図に対する車両のより正確な位置特定を可能にするために、種々の使用例を共に使用すること、すなわち、それらを融合することが可能であることが理解されるだろう。
次に、図29〜図32Bを参照して、例えば上述したように、車両の位置を判定するために車両センサデータと基準データとを相関させる方法を説明する。図29は、方法において使用される種々の座標系、すなわち、局所座標系(局所CS)、自動車フレーム座標系(CF CS)及び自動車の軌跡に沿う線形参照座標系(LR CS)を示す。図示しないが、別の座標系は世界測地系(WGS)であり、当技術において既知であるように、位置は緯度座標及び経度座標の対として与えられる。全体的な方法を図30に示し、レーザ点群を判定するために実行されるステップの詳細を図31に示す。図32Aは、図30の相関ステップを実行するための第1の例示的な方法を示し、この方法において、車両の位置は、例えば基準データの奥行きマップラスタ画像と車両センサデータから作成された対応する奥行きマップラスタ画像との間の画像相関により補正される。図32Bは、図30の相関ステップを実行するための第2の例示的な方法を示し、この方法において、車両の位置は、例えば基準データから構成された3Dシーンと車両センサにより取り込まれた3Dシーンとの間の3D相関により補正される。
次に、本発明の前述した実施形態と共に使用されてもされなくてもよい更なる一実施形態を説明する。この実施形態において、車線レベルの地図等のデジタル地図及び地図に対する車両の適切な位置決めが与えられた場合、車両等の道路関係物をより効率的に且つ非常に高い信頼性で検出するために、検知された点群に対して平行な地図の特徴を使用することができる。
自律型車両は、道路上に存在する周辺の全ての関係物を迅速に検出して分類する必要があることが理解されるだろう。これを達成するために、車両は、ステレオカメラ、レーザ、レーダ等の種々のセンサを搭載している。適切な前処理の後、そのようなセンサからのデータを点群として表すことができ、当該点群内の物体を検出することができる。地図情報を用いない場合、そのような分類は不完全で信頼性がはるかに低く、非常に複雑である。
図33は、車両の位置がデジタル地図データに対して補正される前後のリアルタイムセンサデータに基づく点群の点をデジタル地図から取得された車線区分線の幾何学的配置を示す線と共に示す上面図である。特に、黒い点及び線は、位置補正前の地図の線に対する車両により登録された点群を示し、灰色の点は、位置補正後の車両により登録された点群を示す。図からわかるように、補正後、車線の印を示す点は、地図からの幾何学的配置を示す線と非常に良好に位置合わせされている。
調整された点群及び地図データに基づいて、車両の周囲の物体を効率的に検出し、それらの道路上での位置及び挙動に関して分類することができる。そのような情報は、動的な自動車環境を効率的に達成するため及び/又は地図に対する位置決めを更に向上する(基準と比較する前に、自動車のシーンから移動物体を除去することにより)ために使用することができる。図34は、図33の分類された点群に基づいて検出された道路上に存在する移動物体を示す。
図35は、地図データを使用してリアルタイムセンサデータの点群内の点を事前に分類し、そのような点を使用して、次の反復における基準データとの更に適切な相関を通じて物体認識を強化し且つ/又は位置決めを向上する方法を概略的に示す。
本発明に係る方法はいずれも、例えばコンピュータプログラムであるソフトウェアを使用して少なくとも部分的に実現されてもよい。従って、本発明は、本発明のいずれかの態様又は実施形態に係る方法を実行するため又はナビゲーション装置に実行させるために実行可能なコンピュータ可読命令を備えるコンピュータプログラムを更に含む。従って、本発明は、1つ以上のプロセッサにより実行される場合に、表示画面上に表示するための適切な画像(又は他のグラフィック情報)を1つ以上のプロセッサに生成させるコンピュータプログラムを含む。それに対応して、本発明は、データ処理手段を備えるシステム又は装置を動作させるために使用される場合に、前記データ処理手段と共に本発明の方法のステップを前記装置又はシステムに実行させるソフトウェアを備えるコンピュータソフトウェア担持体を含む。そのようなコンピュータソフトウェア担持体は、ROMチップ、CD ROM又はディスク等の非一時的な物理記憶媒体であることができ、あるいは、回線を介する電子信号、光信号又は衛星等への無線信号等の信号であることができる。本発明は、機械により読み出される場合に、機械を本発明のいずれかの態様又は実施形態の方法に従って動作させる命令を含む機械可読媒体を提供する。
明確に記載されない場合、いずれかの態様における本発明は、相互に排他的でない限り、本発明の他の態様又は実施形態に関して説明する特徴のいずれか又は全てを含んでもよいことが理解されるだろう。特に、方法において及び装置により実行されてもよい動作の種々の実施形態を説明したが、それらの動作のいずれか1つ以上又は全ては、要望に応じて適宜あらゆる組み合わせで方法において及び装置により実行されてもよいことが理解されるだろう。

Claims (13)

  1. デジタル地図を使用して点群のデータ点を分類する方法であって、前記デジタル地図が複数の区分を含み、各区分がナビゲート可能ネットワークのナビゲート可能要素を表し且つ前記ナビゲート可能要素の境界を示す複数の基準線を含み、各区分が前記複数の基準線の地理的場所を示す場所データに関連付けられ、各区分が前記ナビゲート可能要素の周囲の環境内の物体の表面の前記地理的場所を示す位置特定基準データに更に関連付けられる、前記方法であって、
    前記ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に基づいて、前記デジタル地図の1つ以上の区分に対する前記位置特定基準データを取得することと、
    少なくとも1つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりリアルタイムスキャンデータを判定することであって、前記リアルタイムスキャンデータは前記車両の周囲の前記環境を示す点群に基づくものであり、前記点群は3次元座標系における複数のデータ点を含み、各データ点は前記少なくとも1つのセンサを使用して判定された前記環境内の物体の表面を表す前記3次元座標系における場所を有する、前記判定することと、
    1つ以上の位置合わせオフセットを判定するために、前記位置特定基準データと前記リアルタイムスキャンデータとの間の相関を計算することと、
    前記リアルタイムスキャンデータの前記点群の前記データ点の前記場所を調整するために、前記判定された1つ以上の位置合わせオフセットを使用することと、
    前記複数のデータ点の各々に対して、前記データ点が前記ナビゲート可能要素の前記境界の間に存在するかを判定するために、前記データ点の前記調整された場所と前記関連する区分に対する前記場所データとを比較することと、
    前記比較に基づいて、前記複数のデータ点の各々を1つ以上のグループに分類することと、
    を備えることを特徴とする方法。
  2. 前記1つ以上の位置合わせオフセットは、縦方向オフセット、横方向オフセット、進行方向オフセット及び/又は方位オフセットであることを特徴とする請求項1記載の方法。
  3. 前記ナビゲート可能要素の境界を示す前記複数の基準線は、道路の境界及び/又は車線の境界を更に含むことを特徴とする請求項1又は2記載の方法。
  4. 前記複数の基準線の少なくとも1つは、道路の中心線及び/又は道路の車線の中心線を示す基準線であることを特徴とする請求項1から3のいずれか1項に記載の方法。
  5. 前記ナビゲート可能区分の境界の間のデータ点は、前記ナビゲート可能要素上に存在する物体の前記表面に関するデータ点であることを特徴とする請求項1から4のいずれか1項に記載の方法。
  6. 1つ以上の候補物体を認識するために、データ点のグループのうちの1つ以上を解析することを更に備えることを特徴とする請求項1から5のいずれか1項に記載の方法。
  7. 物体認識が前記点群内のデータ点のサブセットに対してのみ実行されるように、前記点群から点を除去することを更に備えることを特徴とする請求項6記載の方法。
  8. 前記除去される点は、少なくとも1つの移動物体に対応する前記点であることを特徴とする請求項7記載の方法。
  9. 前記データ点のサブセットは、道路回廊内に存在する前記点であることを特徴とする請求項7又は8記載の方法。
  10. 前記データ点のサブセットは、道路回廊の外側に存在する前記点であることを特徴とする請求項7又は8記載の方法。
  11. 前記少なくとも1つの移動物体は移動車両であることを特徴とする請求項8記載の方法。
  12. 請求項1から10のいずれか1項に記載の方法をシステムに実行させるように実行可能なコンピュータ可読命令を備え、オプションで、非一時的なコンピュータ可読媒体に格納されることを特徴とするコンピュータプログラム。
  13. デジタル地図を使用して点群のデータ点を分類するシステムであって、前記デジタル地図が複数の区分を含み、各区分がナビゲート可能ネットワークのナビゲート可能要素を表し且つ前記ナビゲート可能要素の境界を示す複数の基準線を含み、各区分が前記複数の基準線の地理的場所を示す場所データに関連付けられ、各区分が前記ナビゲート可能要素の周囲の環境内の物体の表面の前記地理的場所を示す位置特定基準データに更に関連付けられる、前記システムであって、
    前記ナビゲート可能ネットワークのナビゲート可能要素に沿う車両の見なし現在位置に基づいて、前記デジタル地図の1つ以上の区分に対する前記位置特定基準データを取得することと、
    少なくとも1つのセンサを使用して前記車両の周囲の前記環境をスキャンすることによりリアルタイムスキャンデータを判定することであって、前記リアルタイムスキャンデータは前記車両の周囲の前記環境を示す点群に基づくものであり、前記点群は3次元座標系における複数のデータ点を含み、各データ点は前記少なくとも1つのセンサを使用して判定された前記環境内の物体の表面を表す前記3次元座標系における場所を各データ点が有する、前記判定することと、
    1つ以上の位置合わせオフセットを判定するために、前記位置特定基準データと前記リアルタイムスキャンデータとの間の相関を計算することと、
    前記リアルタイムスキャンデータの前記点群の前記データ点の前記場所を調整するために、前記判定された1つ以上の位置合わせオフセットを使用することと、
    前記複数のデータ点の各々に対して、前記データ点が前記ナビゲート可能要素の前記境界の間に存在するかを判定するために、前記データ点の前記調整された場所と前記関連する区分に対する前記場所データとを比較することと、
    前記比較に基づいて、前記複数のデータ点の各々を1つ以上のグループに分類することと、
    を実行するように構成された処理回路網を備えることを特徴とするシステム。
JP2019515830A 2016-09-28 2017-09-28 位置特定基準データを生成及び使用する方法及びシステム Active JP7090597B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662401124P 2016-09-28 2016-09-28
US62/401,124 2016-09-28
PCT/EP2017/074595 WO2018060313A1 (en) 2016-09-28 2017-09-28 Methods and systems for generating and using localisation reference data

Publications (2)

Publication Number Publication Date
JP2020500290A true JP2020500290A (ja) 2020-01-09
JP7090597B2 JP7090597B2 (ja) 2022-06-24

Family

ID=60051490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019515830A Active JP7090597B2 (ja) 2016-09-28 2017-09-28 位置特定基準データを生成及び使用する方法及びシステム

Country Status (6)

Country Link
US (1) US11085775B2 (ja)
EP (1) EP3519770B1 (ja)
JP (1) JP7090597B2 (ja)
KR (1) KR102404155B1 (ja)
CN (1) CN109791052B (ja)
WO (1) WO2018060313A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016209232B4 (de) * 2016-05-27 2022-12-22 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
US10209081B2 (en) * 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
WO2018195869A1 (en) * 2017-04-27 2018-11-01 SZ DJI Technology Co., Ltd. Systems and methods for generating real-time map using movable object
JP6845117B2 (ja) * 2017-10-18 2021-03-17 株式会社Soken 移動物体認識装置
JP6859927B2 (ja) * 2017-11-06 2021-04-14 トヨタ自動車株式会社 自車位置推定装置
JP2019096072A (ja) * 2017-11-22 2019-06-20 株式会社東芝 物体検出装置、物体検出方法およびプログラム
CN108226894A (zh) * 2017-11-29 2018-06-29 北京数字绿土科技有限公司 一种点云数据处理方法及装置
WO2019107536A1 (ja) * 2017-11-30 2019-06-06 三菱電機株式会社 三次元地図生成システム、三次元地図生成方法および三次元地図生成プログラム
JP2019100942A (ja) * 2017-12-06 2019-06-24 ソニー株式会社 移動体、測位システム、測位プログラム及び測位方法
US10657388B2 (en) * 2018-03-13 2020-05-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
US10890461B2 (en) * 2018-04-30 2021-01-12 International Business Machines Corporation Map enriched by data other than metadata
US11428815B2 (en) * 2018-05-03 2022-08-30 Metawave Corporation Non-line-of-sight correction for target detection and identification in point clouds
CN108765487B (zh) 2018-06-04 2022-07-22 百度在线网络技术(北京)有限公司 重建三维场景的方法、装置、设备和计算机可读存储介质
WO2019241983A1 (en) * 2018-06-22 2019-12-26 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating highly automated driving maps
CN109285220B (zh) 2018-08-30 2022-11-15 阿波罗智能技术(北京)有限公司 一种三维场景地图的生成方法、装置、设备及存储介质
DE102018214959A1 (de) * 2018-09-04 2020-03-05 Robert Bosch Gmbh Verfahren zur Auswertung von Sensordaten mit einer erweiterten Objekterkennung
US11016175B2 (en) * 2018-10-10 2021-05-25 Ford Global Technologies, Llc Transportation infrastructure communication and control
CA3028286A1 (en) * 2018-11-09 2020-05-09 Beijing Didi Infinity Technology And Development Co., Ltd. Vehicle positioning system using lidar
TWI674393B (zh) * 2018-11-09 2019-10-11 財團法人車輛研究測試中心 多定位系統切換與融合校正方法及其裝置
CN111174777A (zh) * 2018-11-09 2020-05-19 阿里巴巴集团控股有限公司 定位方法、装置以及电子设备
US11022445B2 (en) * 2018-12-11 2021-06-01 Here Global B.V. Segmented path coordinate system
KR20210098534A (ko) * 2018-12-13 2021-08-10 콘티넨탈 오토모티브 게엠베하 포지셔닝을 위한 환경 모델을 생성하기 위한 방법 및 시스템
US11348453B2 (en) * 2018-12-21 2022-05-31 Here Global B.V. Method and apparatus for dynamic speed aggregation of probe data for high-occupancy vehicle lanes
CN111382592B (zh) * 2018-12-27 2023-09-29 杭州海康威视数字技术股份有限公司 活体检测方法和设备
CN111382768B (zh) * 2018-12-29 2023-11-14 华为技术有限公司 多传感器数据融合方法和装置
KR102334641B1 (ko) * 2019-01-30 2021-12-03 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량을 위한 맵 파티셔닝 시스템
EP3711030A4 (en) * 2019-01-30 2020-09-30 Baidu.com Times Technology (Beijing) Co., Ltd. POINT CLOUD GHOST EFFECT DETECTION SYSTEM FOR SELF-DRIVING VEHICLES
CN109974707B (zh) * 2019-03-19 2022-09-23 重庆邮电大学 一种基于改进点云匹配算法的室内移动机器人视觉导航方法
DE102019208384A1 (de) * 2019-06-07 2020-12-10 Robert Bosch Gmbh Verfahren zum Erstellen einer universell einsetzbaren Merkmalskarte
US20200408533A1 (en) * 2019-06-28 2020-12-31 DeepMap Inc. Deep learning-based detection of ground features using a high definition map
CN111936821A (zh) * 2019-07-12 2020-11-13 北京航迹科技有限公司 用于定位的系统和方法
CN110717457A (zh) * 2019-10-10 2020-01-21 郑州迈拓信息技术有限公司 用于车辆的行人位姿解算方法
CN110717007A (zh) * 2019-10-15 2020-01-21 财团法人车辆研究测试中心 应用路侧特征辨识的图资定位系统及方法
WO2021077315A1 (en) * 2019-10-23 2021-04-29 Beijing Voyager Technology Co., Ltd. Systems and methods for autonomous driving
CN110687549B (zh) * 2019-10-25 2022-02-25 阿波罗智能技术(北京)有限公司 障碍物检测方法和装置
KR20210061069A (ko) 2019-11-19 2021-05-27 삼성전자주식회사 3차원 객체를 표시하는 방법 및 장치
KR20220103962A (ko) * 2019-11-27 2022-07-25 트리나미엑스 게엠베하 디스플레이를 통한 깊이 측정
US11189007B2 (en) * 2019-12-03 2021-11-30 Imagry (Israel) Ltd Real-time generation of functional road maps
US10969232B1 (en) * 2019-12-06 2021-04-06 Ushr Inc. Alignment of standard-definition and High-Definition maps
US20230194269A1 (en) * 2020-05-22 2023-06-22 Profound Positioning Inc. Vehicle localization system and method
US20220003855A1 (en) * 2020-07-01 2022-01-06 Baidu Usa Llc Point clouds based lidar recalibration system for autonomous vehicles
US11651551B2 (en) * 2020-10-06 2023-05-16 Qualcomm Incorporated Coding of component of color attributes in geometry-based point cloud compression (G-PCC)
US11645812B2 (en) * 2020-10-06 2023-05-09 Qualcomm Incorporated Inter-component residual prediction for color attributes in geometry point cloud compression coding
KR102391655B1 (ko) 2020-11-06 2022-04-29 한국항공우주연구원 차량의 위치파악을 위한 고유식별패턴 프린팅 시스템 및 이를 이용한 고유식별패턴 프린팅 방법
DE102021126288A1 (de) 2021-10-11 2023-04-13 Cariad Se Verfahren und Vorrichtung zum Bestimmen einer Eigenposition eines Fahrzeugs
CN114419187B (zh) * 2021-12-23 2023-02-24 北京百度网讯科技有限公司 地图构建方法、装置、电子设备和可读存储介质
US20230394691A1 (en) * 2022-06-07 2023-12-07 Toyota Research Institute, Inc. Depth estimation with sparse range sensor depth and uncertainty projection
CN114782469B (zh) * 2022-06-16 2022-08-19 西南交通大学 公共交通的拥挤度识别方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010541016A (ja) * 2007-10-02 2010-12-24 テレ アトラス ベスローテン フエンノートシャップ 地図データベースにおいて使用するために、表面に渡る基準線に沿う線形特徴を取り込む方法
JP2012511697A (ja) * 2008-12-09 2012-05-24 トムトム ノース アメリカ インコーポレイテッド 測地参照データベースを生成する方法
JP2014025925A (ja) * 2012-07-24 2014-02-06 Toyota Motor Engineering & Manufacturing North America Inc 車両用コントローラ、車両システム
WO2015173034A1 (en) * 2014-04-30 2015-11-19 Tomtom Global Content B.V. Method and system for determining a position relative to a digital map

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7969558B2 (en) * 2006-07-13 2011-06-28 Velodyne Acoustics Inc. High definition lidar system
PE20080048A1 (es) * 2006-12-20 2008-02-25 Scanalyse Pty Ltd Sistema para la medicion del desplazamiento de una superficie relativa a una base de referencia
CA2712673A1 (en) * 2008-02-04 2009-08-13 Tele Atlas North America Inc. Method for map matching with sensor detected objects
US20140379254A1 (en) * 2009-08-25 2014-12-25 Tomtom Global Content B.V. Positioning system and method for use in a vehicle navigation system
EP3901653A3 (en) 2010-05-17 2022-03-02 Velodyne Lidar USA, Inc. High definition lidar system
US9404764B2 (en) * 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
US9024970B2 (en) * 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
US20130249899A1 (en) * 2012-03-07 2013-09-26 Willow Garage Inc. Point cloud data hierarchy
US9043069B1 (en) * 2012-11-07 2015-05-26 Google Inc. Methods and systems for scan matching approaches for vehicle heading estimation
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US9424672B2 (en) * 2013-11-07 2016-08-23 Here Global B.V. Method and apparatus for processing and aligning data point clouds
US9633483B1 (en) * 2014-03-27 2017-04-25 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
KR101698514B1 (ko) * 2014-12-11 2017-01-20 현대자동차주식회사 Avn 단말 및 그의 제어 방법, 웨어러블 기기 및 그의 제어 방법, 컴퓨터 판독가능 기록매체
US9715016B2 (en) * 2015-03-11 2017-07-25 The Boeing Company Real time multi dimensional image fusing
KR20180038475A (ko) * 2015-08-03 2018-04-16 톰톰 글로벌 콘텐트 비.브이. 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010541016A (ja) * 2007-10-02 2010-12-24 テレ アトラス ベスローテン フエンノートシャップ 地図データベースにおいて使用するために、表面に渡る基準線に沿う線形特徴を取り込む方法
JP2012511697A (ja) * 2008-12-09 2012-05-24 トムトム ノース アメリカ インコーポレイテッド 測地参照データベースを生成する方法
JP2014025925A (ja) * 2012-07-24 2014-02-06 Toyota Motor Engineering & Manufacturing North America Inc 車両用コントローラ、車両システム
WO2015173034A1 (en) * 2014-04-30 2015-11-19 Tomtom Global Content B.V. Method and system for determining a position relative to a digital map

Also Published As

Publication number Publication date
JP7090597B2 (ja) 2022-06-24
US11085775B2 (en) 2021-08-10
US20190226853A1 (en) 2019-07-25
KR20190053217A (ko) 2019-05-17
CN109791052A (zh) 2019-05-21
WO2018060313A1 (en) 2018-04-05
CN109791052B (zh) 2023-06-27
EP3519770B1 (en) 2021-05-05
EP3519770A1 (en) 2019-08-07
KR102404155B1 (ko) 2022-05-31

Similar Documents

Publication Publication Date Title
JP7090597B2 (ja) 位置特定基準データを生成及び使用する方法及びシステム
JP7398506B2 (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190523

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200914

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220614

R150 Certificate of patent or registration of utility model

Ref document number: 7090597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150