JP2021515282A - 自動運転車のためのリアルタイム地図生成システム - Google Patents
自動運転車のためのリアルタイム地図生成システム Download PDFInfo
- Publication number
- JP2021515282A JP2021515282A JP2019569217A JP2019569217A JP2021515282A JP 2021515282 A JP2021515282 A JP 2021515282A JP 2019569217 A JP2019569217 A JP 2019569217A JP 2019569217 A JP2019569217 A JP 2019569217A JP 2021515282 A JP2021515282 A JP 2021515282A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- point cloud
- segment
- map
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 125
- 238000004422 calculation algorithm Methods 0.000 claims description 104
- 238000012545 processing Methods 0.000 claims description 78
- 238000010801 machine learning Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 238000002379 ultrasonic velocimetry Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 abstract description 34
- 239000000284 extract Substances 0.000 abstract description 25
- 230000008569 process Effects 0.000 description 82
- 238000003860 storage Methods 0.000 description 31
- 238000000605 extraction Methods 0.000 description 30
- 238000005192 partition Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 20
- 238000005457 optimization Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 17
- 230000002547 anomalous effect Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000009466 transformation Effects 0.000 description 11
- 239000013598 vector Substances 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 241000283070 Equus zebra Species 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 238000000513 principal component analysis Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 230000002085 persistent effect Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 229920001940 conductive polymer Polymers 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009616 inductively coupled plasma Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
- G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Pure & Applied Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
ただし、tiは、平行移動であり、Riは、回転変換である)に対応するLIDARポーズ(x、y、z、(ヨー、ピッチ、ロール))は、ポイントクラウドiを相対座標系(車両に相対する)からユニバーサル横メルカトル(UTM)座標系に投影するのに用いられることができる。そして、投影方程式は、以下の式である。
ただし、xkは、1組のポイントクラウドiの中の任意のポイントであり、tiは、平行移動であり、Riは、回転変換である。
として識別し、ただし、ペア
は、ポイントクラウドiとポイントクラウドjのペアを表す。そして、二つのポイントクラウドのペアにおけるポイントを
に限定することができ、ただし、xkは、LIDARポイントクラウドインデックスiの中のポイントであり、xlは、LIDARポイントクラウドインデックスjの中のポイントであり、
は、ポイントペアを表す。そして、以上に基づく最適化すべきのバンドル調整(BA)式は、以下の通りである。
ただし、
は、ポイント
におけるノルムベクトルである。
について、m番目のフレームペアのi番目のポイントクラウドのポーズ変換マトリックスは、
であり、ここで、上付き文字は、フレームペアmのサブセットのインデックスを表し、下付き文字は、1組のポイントクラウドPの中のポイントクラウドiのインデックスを表す。そして、並行パイプラインに基づく最適化すべきのバンドル調整(BA)式は、以下の通りである。
ただし、
である。
を計算する。強度勾配とは、画像の強度値(例えば、画像の中の任意の二つの最も接近するポイント)の方向変化である。一実施態様においては、強度勾配を計算することは、路面ポイントに対してメディアンフィルタのようなフィルタを用いることを含む。メディアンフィルタ又はメディアン強度フィルタは、ポイントクラウド画像からノイズを除去することによって、画像の勾配をより良く強調するのに用いられるフィルタである。路面ポイントに対してメディアンフィルタを用いることによって、路面ポイントから塩強度ノイズ及び胡椒強度ノイズを除去することができる。例示的なメディアンフィルタは、以下のアルゴリズムを用いることができる。1)各ポイントに対し、当該ポイント周囲の所定サイズの隣接領域内にある隣接ポイントを識別する。前記隣接ポイントは、2D又は3D又は任意の次元のKDツリーを用いて識別することができる。2)それらの強度値に基づいて識別された隣接ポイントに対してソートする。3)そして、上述した強度値に基づくソート結果に基づいて当該ポイントに対してメディアン強度値を配分する。
であっても良く、なお、
のそれぞれは、所定の次元閾値、所定のクラスタ最小ポイント長さ及び所定の最小数である。
ただし、P0、P1、P2及びP3は、定数である。
は、時間tにおける観測結果に基づくボクセルが時間tにおける占有確率を示し、
は、以前の全ての観測結果を考慮した上での、時間tにおける観測結果に基づくボクセルが時間tにおける占有確率を示し、
は、以前の全ての観測結果を考慮した上での、ボクセルが時間t−1における占有確率を示す。
Claims (21)
- 自動運転車(ADV)のためのポイントクラウドを登録するコンピュータ実施方法であって、
ADVの一つ以上のLIDARセンサから、ポイントクラウドフレームストリームを受信するとともに、対応するポーズを受信するステップと、
フレームストリームの各フレームにおける点の幾何学形状又は空間属性に基づき、第1ポーズに対応する少なくとも第1フレームの一つ又は複数のセグメントを含む、前記フレームのセグメント情報を抽出するステップと、
前記セグメント情報に基づいてフレームストリームを登録するステップと、
フレームの登録に基づいて前記フレームストリームの第1ポイントクラウド地図を生成するステップと、
を含むことを特徴とするコンピュータ実施方法。 - 各フレームの各セグメントから一つ又は複数の特徴を抽出するステップであって、前記抽出された特徴に第1フレーム又は第2フレームからの特徴が含まれるステップと、
抽出された第1フレーム及び第2フレームの特徴に基づいて前記第1フレームと前記第2フレームの間のループ閉鎖を検出するステップと、
第1フレームと第2フレームの間のループ閉鎖が検出されたことに応答し、前記フレームの登録に基づいて第2フレームを位置特定し、前記位置特定及びフレームの登録に基づいて第1ポーズを更新することによって、第2ポイントクラウド地図を生成するステップと
を含む、請求項1に記載の方法。 - 前記第1フレームと前記第2フレームの間のループ閉鎖を検出するステップは、
前記第1フレーム及び前記第2フレームのセグメントの特徴に対して教師なし機械学習アルゴリズムを用いて前記第1フレームのセグメントと前記第2フレームのセグメントとがマッチするか否かを判定することを含む、請求項2に記載の方法。 - 前記第1フレームと前記第2フレームの間のループ閉鎖を検出するステップは、
前記第1フレームと前記第2フレームに対してRANSACアルゴリズムを用いて前記第1フレームのセグメントと前記第2フレームのセグメントとがマッチするか否かを判定することをを更に含む、請求項3に記載の方法。 - 前記教師なし機械学習アルゴリズムは、最近傍検索を含む、請求項4に記載の方法。
- 前記特徴は、フレームツーフレームで、各フレームの各セグメントからリアルタイムで抽出され、第2フレームは、現在のフレームを含む、請求項2に記載の方法。
- 前記フレームストリームはフレーム毎にリアルタイムで登録される、請求項1に記載の方法。
- 前記フレームのセグメント情報を抽出するステップは、
前記フレームに対して画像分割アルゴリズムを用いることで、前記フレームの一つ又は複数のセグメントを抽出し、前記フレームの一つ又は複数のセグメントを記憶するためのセグメント地図を生成することを含む、請求項1に記載の方法。 - 前記セグメント情報は、円柱体のオブジェクト、一つ又は複数の平らなパッチオブジェクト、又は一つ又は複数の滑らかな表面オブジェクトの、一つ又は複数のセグメントを含む、請求項1に記載の方法。
- 前記セグメント情報に基づいてフレームストリームを登録するステップは、
前記セグメント情報に基づいて前のフレーム及び後続フレームの複数のセグメントを識別することと、
前記複数のセグメントに対応する複数のポイントを識別することと、
前記複数のポイントに対して反復最近接点アルゴリズムを用いることで、前記フレーム登録のための複数のポイントの中の最も近いポイントの間の距離を最小化すること
を含む、請求項1に記載の方法。 - 前記ストリームの中の各フレームのポイントに対して反復最近接点アルゴリズムを用いてフレームストリームを登録することを更に含む、請求項1に記載の方法。
- 前記特徴は、前記セグメントに用いられる線形、平らさ、散乱及び/又は全分散の情報を含む、請求項1に記載の方法。
- 前記特徴は、固有値に基づく一つ又は複数の特徴を含む、請求項1に記載の方法。
- 命令を記憶している非一時性機械可読メディアであって、
前記命令は、プロセッサによって実行されると、
ADVの一つ以上のLIDARセンサから、ポイントクラウドフレームストリームを受信するとともに、対応するポーズを受信するステップと、
フレームストリームの各フレームにおける点の幾何学形状又は空間属性に基づき、第1ポーズに対応する少なくとも第1フレームの一つ又は複数のセグメントを含む、前記フレームのセグメント情報を抽出するステップと、
前記セグメント情報に基づいてフレームストリームを登録するステップと、
フレームの登録に基づいて前記フレームストリームの第1ポイントクラウド地図を生成するステップと、
を含む操作を前記プロセッサに実行させる、ことを特徴とする命令を記憶している非一時性機械可読メディア。 - 前記操作は、
各フレームの各セグメントから一つ又は複数の特徴を抽出するステップであって、前記抽出された特徴に第1フレーム又は第2フレームからの特徴が含まれるステップと、
抽出された第1フレーム及び第2フレームの特徴に基づいて前記第1フレームと前記第2フレームの間のループ閉鎖を検出するステップと、
第1フレームと第2フレームの間のループ閉鎖が検出されたことに応答し、前記フレームの登録に基づいて第2フレームを位置特定し、前記位置特定及びフレームの登録に基づいて第1ポーズを更新することによって、第2ポイントクラウド地図を生成するステップと、
を更に含む、請求項14に記載の非一時性機械可読メディア。 - 前記第1フレームと前記第2フレームの間のループ閉鎖を検出するステップは、
前記第1フレーム及び前記第2フレームのセグメントの特徴に対して教師なし機械学習アルゴリズムを用いて前記第1フレームのセグメントと前記第2フレームのセグメントとがマッチするか否かを判定することを含む、請求項15に記載の非一時性機械可読メディア。 - 前記第1フレームと前記第2フレームの間のループ閉鎖を検出するステップは、
前記第1フレームと前記第2フレームに対してRANSACアルゴリズムを用いて前記第1フレームのセグメントと前記第2フレームのセグメントとがマッチするか否かを判定することをを更に含む、請求項16に記載の非一時性機械可読メディア。 - プロセッサと、前記プロセッサに接続され命令を記憶しているメモリとを含むデータ処理システムであって、
前記命令は、前記プロセッサによって実行されると、
ADVの一つ以上のLIDARセンサから、ポイントクラウドフレームストリームを受信するとともに、対応するポーズを受信するステップと、
フレームストリームの各フレームにおける点の幾何学形状又は空間属性に基づき、第1ポーズに対応する少なくとも第1フレームの一つ又は複数のセグメントを含む、前記フレームのセグメント情報を抽出するステップと、
前記セグメント情報に基づいてフレームストリームを登録するステップと、
フレームの登録に基づいて前記フレームストリームの第1ポイントクラウド地図を生成するステップと、
を含む操作を前記プロセッサに実行させる、データ処理システム。 - 前記操作は、
各フレームの各セグメントから一つ又は複数の特徴を抽出するステップであって、前記抽出された特徴に第1フレーム又は第2フレームからの特徴が含まれるステップと、
抽出された第1フレーム及び第2フレームの特徴に基づいて前記第1フレームと前記第2フレームの間のループ閉鎖を検出するステップと、
第1フレームと第2フレームの間のループ閉鎖が検出されたことに応答し、前記フレームの登録に基づいて第2フレームを位置特定し、前記位置特定及びフレームの登録に基づいて第1ポーズを更新することによって、第2ポイントクラウド地図を生成するステップと、
を更に含む、請求項18に記載のシステム。 - 前記第1フレームと前記第2フレームの間のループ閉鎖を検出するステップは、
前記第1フレーム及び前記第2フレームのセグメントの特徴に対して教師なし機械学習アルゴリズムを用いて前記第1フレームのセグメントと前記第2フレームのセグメントとがマッチするか否かを判定することを含む、請求項19に記載のシステム。 - 前記第1フレームと前記第2フレームの間のループ閉鎖を検出するステップは、
前記第1フレームと前記第2フレームに対してRANSACアルゴリズムを用いて前記第1フレームのセグメントと前記第2フレームのセグメントとがマッチするか否かを判定することをを更に含む、請求項18に記載のシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/073969 WO2020154965A1 (en) | 2019-01-30 | 2019-01-30 | A real-time map generation system for autonomous vehicles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021515282A true JP2021515282A (ja) | 2021-06-17 |
JP7133570B2 JP7133570B2 (ja) | 2022-09-08 |
Family
ID=71840747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019569217A Active JP7133570B2 (ja) | 2019-01-30 | 2019-01-30 | 自動運転車のためのリアルタイム地図生成システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11465642B2 (ja) |
EP (1) | EP3707473A4 (ja) |
JP (1) | JP7133570B2 (ja) |
KR (1) | KR102319065B1 (ja) |
CN (1) | CN112105893B (ja) |
WO (1) | WO2020154965A1 (ja) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4296721A3 (en) | 2015-04-01 | 2024-03-20 | Vayavision Sensing Ltd. | Generating 3-dimensional maps of a scene using passive and active measurements |
CN111797650B (zh) * | 2019-04-09 | 2024-02-27 | 广州文远知行科技有限公司 | 障碍物的识别方法、装置、计算机设备和存储介质 |
CN110211151B (zh) * | 2019-04-29 | 2021-09-21 | 华为技术有限公司 | 一种运动物体的追踪方法和装置 |
US20200393253A1 (en) * | 2019-06-11 | 2020-12-17 | WeRide Corp. | Method for generating road map for autonomous vehicle navigation |
CN114365195A (zh) * | 2019-07-19 | 2022-04-15 | 法弗人工智能有限公司 | 结构注释 |
JP2021037820A (ja) * | 2019-09-02 | 2021-03-11 | 本田技研工業株式会社 | 車両制御装置 |
JP7272244B2 (ja) * | 2019-11-22 | 2023-05-12 | トヨタ自動車株式会社 | 画像データ配信システム |
EP4115348A1 (en) * | 2020-03-03 | 2023-01-11 | HRL Laboratories, LLC | Method for proving or identifying counter-examples in neural networks systems that process point cloud data |
US11794759B2 (en) * | 2020-03-26 | 2023-10-24 | Gm Cruise Holdings Llc | Automatic testing of autonomous vehicles |
US20220036745A1 (en) * | 2020-07-31 | 2022-02-03 | Aurora Flight Sciences Corporation, a subsidiary of The Boeing Company | Selection of an Alternate Destination in Response to A Contingency Event |
CN112086010B (zh) * | 2020-09-03 | 2022-03-18 | 中国第一汽车股份有限公司 | 地图生成方法、装置、设备及存储介质 |
CN112327325B (zh) * | 2020-09-16 | 2024-05-14 | 安歌智慧科技(上海)有限公司 | 一种基于特征路标的提升2d-slam精度和稳定性的方法 |
CN112462385A (zh) * | 2020-10-21 | 2021-03-09 | 南开大学 | 一种基于激光雷达的室外大环境下的地图拼接定位方法 |
CN112269847A (zh) * | 2020-10-31 | 2021-01-26 | 武汉中海庭数据技术有限公司 | 一种高精度地图数据的实时展示方法、系统及电子设备 |
US20220176985A1 (en) * | 2020-12-04 | 2022-06-09 | Rivian Ip Holdings, Llc | Extravehicular augmented reality |
US20240077586A1 (en) * | 2021-01-29 | 2024-03-07 | Sos Lab Co., Ltd. | Method for generating intensity information having extended expression range by reflecting geometric characteristic of object, and lidar apparatus performing same method |
US11808885B2 (en) * | 2021-02-03 | 2023-11-07 | Autonomous Solutions, Inc. | Localization system for autonomous vehicles using sparse radar data |
US20220269281A1 (en) * | 2021-02-23 | 2022-08-25 | Ran Cheng | Method and system for generating a topological graph map |
US11798183B2 (en) * | 2021-03-08 | 2023-10-24 | Nvidia Corporation | Machine learning techniques for predicting depth information in image data |
US20220292290A1 (en) * | 2021-03-09 | 2022-09-15 | Pony Ai Inc. | Distributed computing network to perform simultaneous localization and mapping |
US11741631B2 (en) * | 2021-07-15 | 2023-08-29 | Vilnius Gediminas Technical University | Real-time alignment of multiple point clouds to video capture |
EP4123336A1 (en) * | 2021-07-21 | 2023-01-25 | Hyundai Mobis Co., Ltd. | Apparatus and method for monitoring surrounding environment of vehicle |
US11989891B2 (en) * | 2021-08-06 | 2024-05-21 | Beijing Qingzhouzhihang Technology Co., LTD. | System and method for 3D multi-object tracking in LiDAR point clouds |
US11915436B1 (en) * | 2021-08-30 | 2024-02-27 | Zoox, Inc. | System for aligning sensor data with maps comprising covariances |
KR102621091B1 (ko) * | 2021-08-30 | 2024-01-03 | 경상국립대학교산학협력단 | 무인비행체(uav)로부터 획득한 포인트 클라우드를 이용한 하천 단면 추정 방법 |
CN113804192B (zh) * | 2021-09-29 | 2024-02-02 | 北京易航远智科技有限公司 | 地图构建方法、装置、电子设备和存储介质 |
KR102395165B1 (ko) * | 2021-10-29 | 2022-05-09 | 주식회사 딥노이드 | X-ray 영상의 예외 프레임 분류 장치 및 방법 |
US11803977B2 (en) * | 2021-12-13 | 2023-10-31 | Zoox, Inc. | LIDAR point cloud alignment validator in HD mapping |
US11999352B2 (en) * | 2021-12-15 | 2024-06-04 | Industrial Technology Research Institute | Method and system for extracting road data and method and system for controlling self-driving car |
US20230211808A1 (en) * | 2021-12-30 | 2023-07-06 | Gm Cruise Holdings Llc | Radar-based data filtering for visual and lidar odometry |
US20230236022A1 (en) * | 2022-01-26 | 2023-07-27 | Motional Ad Llc | Localization functional safety |
CN114777758A (zh) * | 2022-03-21 | 2022-07-22 | 江苏盛海智能科技有限公司 | 一种基于激光雷达建图定位的初始位置确定方法及终端 |
US11899114B1 (en) * | 2022-05-31 | 2024-02-13 | Zoox, Inc. | Secondary sensor data-based soft constraint optimization for pose graph and mapping refinement |
CN117409161A (zh) * | 2022-07-06 | 2024-01-16 | 戴尔产品有限公司 | 点云处理方法和电子设备 |
CN115164855A (zh) * | 2022-08-05 | 2022-10-11 | 珠海格力智能装备有限公司 | 一种托盘识别方法、装置、设备及可读存储介质 |
WO2024119469A1 (en) * | 2022-12-09 | 2024-06-13 | Qualcomm Technologies, Inc. | Apparatus and methods for clustering and matching feature descriptors |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3324209A1 (en) * | 2016-11-18 | 2018-05-23 | Dibotics | Methods and systems for vehicle environment map generation and updating |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8711206B2 (en) * | 2011-01-31 | 2014-04-29 | Microsoft Corporation | Mobile camera localization using depth maps |
EP4180893A1 (en) | 2015-11-04 | 2023-05-17 | Zoox, Inc. | Teleoperation system and method for trajectory modification of autonomous vehicles |
KR102506264B1 (ko) * | 2016-11-26 | 2023-03-06 | 팅크웨어(주) | 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
US10309777B2 (en) * | 2016-12-30 | 2019-06-04 | DeepMap Inc. | Visual odometry and pairwise alignment for high definition map creation |
SG10201700299QA (en) * | 2017-01-13 | 2018-08-30 | Otsaw Digital Pte Ltd | Three-dimensional mapping of an environment |
US10436595B2 (en) * | 2017-02-02 | 2019-10-08 | Baidu Usa Llc | Method and system for updating localization maps of autonomous driving vehicles |
US10262234B2 (en) * | 2017-04-24 | 2019-04-16 | Baidu Usa Llc | Automatically collecting training data for object recognition with 3D lidar and localization |
CN108961385B (zh) * | 2017-05-22 | 2023-05-02 | 中国人民解放军信息工程大学 | 一种slam构图方法及装置 |
US10474157B2 (en) * | 2017-06-06 | 2019-11-12 | Baidu Usa Llc | Data-based control error detection and parameter compensation system |
KR102399130B1 (ko) | 2017-06-28 | 2022-05-18 | 현대모비스 주식회사 | 차량의 주행 환경 인식 장치, 방법 및 시스템 |
US10671082B2 (en) * | 2017-07-03 | 2020-06-02 | Baidu Usa Llc | High resolution 3D point clouds generation based on CNN and CRF models |
US10473788B2 (en) * | 2017-12-13 | 2019-11-12 | Luminar Technologies, Inc. | Adjusting area of focus of vehicle sensors by controlling spatial distributions of scan lines |
CN108187241B (zh) | 2017-12-20 | 2019-12-17 | 西安交通大学医学院第一附属医院 | 放疗多角度自旋转多光谱成像装置 |
US10967884B2 (en) * | 2019-03-08 | 2021-04-06 | Here Global B.V. | Method and apparatus for taking an action based upon movement of a part of a vehicle into a path of travel |
US20200298858A1 (en) * | 2019-03-19 | 2020-09-24 | Here Global B.V. | Methods and systems for lane change assistance for a vehicle |
US11243085B2 (en) * | 2019-05-14 | 2022-02-08 | Here Global B.V. | Systems, methods, and a computer program product for updating map data |
US11248929B2 (en) * | 2019-05-15 | 2022-02-15 | Here Global B.V. | Methods and systems for chronicled history information in a map |
-
2019
- 2019-01-30 WO PCT/CN2019/073969 patent/WO2020154965A1/en unknown
- 2019-01-30 JP JP2019569217A patent/JP7133570B2/ja active Active
- 2019-01-30 CN CN201980002331.XA patent/CN112105893B/zh active Active
- 2019-01-30 US US16/336,867 patent/US11465642B2/en active Active
- 2019-01-30 EP EP19794868.0A patent/EP3707473A4/en active Pending
- 2019-01-30 KR KR1020197036988A patent/KR102319065B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3324209A1 (en) * | 2016-11-18 | 2018-05-23 | Dibotics | Methods and systems for vehicle environment map generation and updating |
Also Published As
Publication number | Publication date |
---|---|
JP7133570B2 (ja) | 2022-09-08 |
CN112105893B (zh) | 2023-08-22 |
WO2020154965A1 (en) | 2020-08-06 |
EP3707473A1 (en) | 2020-09-16 |
KR20200096724A (ko) | 2020-08-13 |
EP3707473A4 (en) | 2020-12-30 |
CN112105893A (zh) | 2020-12-18 |
US11465642B2 (en) | 2022-10-11 |
KR102319065B1 (ko) | 2021-10-29 |
US20210370968A1 (en) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7019731B2 (ja) | 自動運転車のためのリアルタイム地図生成システム | |
JP7029479B2 (ja) | 自動運転車のためのポイントクラウドゴースト効果検出システム | |
JP7133570B2 (ja) | 自動運転車のためのリアルタイム地図生成システム | |
JP7248208B2 (ja) | 自動運転車のためのポイントクラウド登録システム | |
JP7127071B2 (ja) | 自動運転車のための地図区画システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200214 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7133570 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |