JP2022511990A - 情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品 - Google Patents
情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品 Download PDFInfo
- Publication number
- JP2022511990A JP2022511990A JP2021539461A JP2021539461A JP2022511990A JP 2022511990 A JP2022511990 A JP 2022511990A JP 2021539461 A JP2021539461 A JP 2021539461A JP 2021539461 A JP2021539461 A JP 2021539461A JP 2022511990 A JP2022511990 A JP 2022511990A
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- cloud data
- target
- frame
- intensity map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 239000000047 product Substances 0.000 title description 7
- 239000013589 supplement Substances 0.000 title description 4
- 230000000295 complement effect Effects 0.000 claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims description 59
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 239000000463 material Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000003169 complementation method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000005945 translocation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得するステップと、
前記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも1フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、前記参照点群データに対応する目標点群データを得るステップとを含み、
前記目標点群データの深度情報は、前記参照点群データの深度情報より密であり、かつ前記目標点群データの強度情報は、前記参照点群データの強度情報より密であり、前記参照点群データは、前記マルチフレームの点群データのうちの任意の1フレームの点群データである。
道路の点群データを収集するステップと、
第1の態様に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得るステップと、
前記目標強度マップに基づいて車線を認識して、車線認識結果を得るステップとを含む。
インテリジェント走行機器の周りのシーンの点群データを収集するステップと、
第1の態様に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得るステップと、
前記目標強度マップに基づいて前記周りのシーンにおける目標物を認識するステップと、
認識結果に基づいて、前記インテリジェント走行機器の走行を制御するステップとを含む。
各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得する取得ユニットと、
前記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも1フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、前記参照点群データに対応する目標点群データを得る補完ユニットとを含み、
前記目標点群データの深度情報は、前記参照点群データの深度情報より密であり、かつ前記目標点群データの強度情報は、前記参照点群データの強度情報より密であり、前記参照点群データは、前記マルチフレームの点群データのうちの任意の1フレームの点群データである。
道路の点群データを収集する収集ユニットと、
第1の態様に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得る補完ユニットと、
前記目標強度マップに基づいて車線を認識して、車線認識結果を得る認識ユニットとを含むことを特徴とする。
周りのシーンの点群データを収集する収集ユニットと、
第1の態様に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得る補完ユニットと、
前記目標強度マップに基づいて前記周りのシーンにおける目標物を認識する認識ユニットと、
認識結果に基づいて走行を制御する制御ユニットとを含む。
における観測点は、表面材質が同じであれば、観測点からライダーまでの距離及び入射角にかかわらず、それに対応する強度情報が同じである。しかしながら、実際に収集する場合、異なる距離や異なる入射角を有する観測点の強度情報は異なる。したがって、それに対応する強度情報は異なり、強度マップを直接重畳することができれば、重畳後の強度マップにおいて同じ材質の観測点を得ることができるが、ライダーとの距離が異なり、入射角が異なれば、両者に対応する強度情報が異なり、それにより実際の強度マップを得る。したがって、目標強度マップ
ステップbでは、上記補完後のサンプルの点群データに基づいて、上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップを得て、
ステップcでは、上記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、上記ニューラルネットワークのネットワークパラメータを調整する。
該予測ネットワークブロックは、コーディングネットワークブロック、畳み込みネットワークブロック、復号化ネットワークブロックを含む。該コーディングネットワークは、4つの残差ネットワークで構成され、畳み込みネットワークブロックは、畳み込み層と膨張ネットワークで構成され、該復号化ネットワークブロックは、5つの転置畳み込みネットワークで構成される。
各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得するステップと、
上記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも1フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、上記参照点群データに対応する目標点群データを得るステップとを実行するコマンドを含み、
上記目標点群データの深度情報は、上記参照点群データの深度情報より密であり、かつ上記目標点群データの強度情報は、上記参照点群データの強度情報より密であり、上記参照点群データは、上記マルチフレームの点群データのうちの任意の1フレームの点群データである。
上記少なくとも1フレームの点群データと上記参照点群データで構成される点群データ集合における各フレームの点群データの深度情報を再投影して、上記点群データ集合における各フレームの点群データに対応する深度マップを得るステップと、
上記点群データ集合における各フレームの点群データに対応する深度マップに基づいて、上記参照点群データに対して深度情報補完を行って、上記参照点群データに対応する目標深度マップを得るステップと、
上記参照点群データに対応する目標深度マップに基づいて、上記参照点群データに対して強度情報補完を行って、上記参照点群データに対応する目標強度マップを得るステップとを実行するコマンドに用いられる。
上記少なくとも1フレームの点群データのうちの各フレームの点群データの第1のレーダ座標系と上記参照点群データに対応する参照レーダ座標系を取得するステップと、
各第1のレーダ座標系を上記参照レーダ座標系に変換する各第1の変換行列を決定するステップと、
各第1の変換行列に基づいて対応するフレームの点群データの深度マップを変換して、第1の深度マップを得るステップと、
上記少なくとも1フレームの点群データのうちの各フレームの点群データに対応する第1の深度マップを上記参照点群データの深度マップと重畳して、上記参照点群データに対応する目標深度マップを得るステップとを実行するコマンドに用いられる。
上記点群データ集合における各フレームの点群データの強度情報を再投影して、上記点群データ集合における各フレームの点群データに対応する強度マップを得るステップと、
上記点群データ集合における各フレームの点群データの強度マップに対して、強度情報への距離の影響を除去する距離補償を行って、上記点群データ集合における各フレームの点群データに対応する第1の強度マップを得るステップと、
上記参照点群データに対応する目標深度マップと上記点群データ集合における各フレームの点群データに対応する第1の強度マップに基づいて、上記参照点群データに対応する目標強度マップを決定するステップとを実行するコマンドに用いられる。
ライダーのレーダパラメータに基づいて、距離補償項を得るステップと、
上記距離補償項に基づいて、上記点群データ集合における各フレームの点群データに対応する第1の強度マップを決定するステップとを実行するコマンドに用いられる。
上記参照点群データに対応する目標深度マップに基づいて、上記点群データ集合における各フレームの点群データに対応する第1の入射角行列を得るステップと、
上記点群データ集合における各フレームの点群データに対応する第1の入射角行列に基づいて、上記点群データ集合における各フレームの点群データに対応する第1の強度マップに対して、強度情報への入射角度の影響を除去する角度補償を行って、上記点群データ集合における各フレームの点群データに対応する第2の強度マップを得るステップと、
上記少なくとも1フレームの点群データのうちの各フレームの点群データに対応する第2の深度マップを上記参照点群データに対応する第2の強度マップと重畳して、上記参照点群データに対応する目標強度マップを得るステップとを実行するコマンドに用いられる。
上記参照点群データに対応する目標深度マップにおける深度情報に基づいて平面フィッティングを行って、目標空間平面を得るステップと、
上記参照点群データを収集する時のライダーの入射光線と目標平面の法線との間の夾角に基づいて、上記参照点群データの第1の入射角行列である、上記参照点群データに対応する目標深度マップに対応する目標入射角行列を決定するステップと、
上記少なくとも1フレームの点群データのうちの各フレームの点群データの第1の変換行列に基づいて、上記参照点群データに対応する深度マップに対応する目標入射角行列に対して逆変換を行って、上記少なくとも1フレームの点群データのうちの各フレームの点群データの第1の入射角行列を得るステップとを実行するコマンドに用いられる。
上記点群データ集合における各フレームの点群データに対応する第1の入射角行列、予め設定された拘束係数、及び上記点群データ集合における各フレームの点群データの第1の強度マップに基づいて、上記点群データ集合における各フレームの点群データに対応する第2の強度マップを決定するステップを実行するコマンドに用いられる。
上記参照点群データに対応する目標強度マップに基づいて、上記参照点群データに対応する元の強度マップを決定するステップを実行するコマンドに用いられる。
上記参照点群データに対応する目標深度マップに対応する目標入射角行列及び予め設定された拘束係数に基づいて、上記参照点群データに対応する目標強度マップを処理して、上記参照点群データに対応する元の強度マップを決定するステップを実行するコマンドに用いられる。
サンプルの点群データに対して情報補完を行い、補完後のサンプルの点群データを出力するステップと、
上記補完後のサンプルの点群データに基づいて、上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップを得るステップと、
上記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、上記ニューラルネットワークのネットワークパラメータを調整するステップとを実行するコマンドに用いられる。
上記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、第1の損失値、第2の損失値及び第3の損失値を得るステップと、
上記第1の損失値、第2の損失値及び第3の損失値に対して重み付け処理を行って、目標損失値を得るステップと、
上記目標損失値に基づいて上記ニューラルネットワークのネットワークパラメータを調整するステップとを実行するコマンドに用いられ、上記第1の損失値は、上記マーキングされた目標深度マップと上記予測された目標深度マップに基づいて決定され、上記第2の損失値は、上記マーキングされた目標強度マップと上記予測された目標強度マップに基づいて決定され、上記第3の損失値は、上記マーキングされた元の強度マップと上記予測された元の強度マップに基づいて決定される。
道路の点群データを収集するステップと、
上記点群データを補完して、上記点群データに対応する目標強度マップを得るステップと、
上記目標強度マップに基づいて車線を認識して、車線認識結果を得るステップとを実行するコマンドに用いられる。
周りのシーンの点群データを収集するステップと、
上記点群データを補完して、上記点群データに対応する目標強度マップを得るステップと、
上記目標強度マップに基づいて上記周りのシーンにおける目標物を認識するステップと、
認識結果に基づいて走行を制御するステップとを実行するコマンドを含む。
各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得する取得ユニット910と、
上記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも1フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、上記参照点群データに対応する目標点群データを得る補完ユニット920とを含み、
上記目標点群データの深度情報は、上記参照点群データの深度情報より密であり、かつ上記目標点群データの強度情報は、上記参照点群データの強度情報より密であり、上記参照点群データは、上記マルチフレームの点群データのうちの任意の1フレームの点群データである。
上記少なくとも1フレームの点群データと上記参照点群データで構成される点群データ集合における各フレームの点群データの深度情報を再投影して、上記点群データ集合における各フレームの点群データに対応する深度マップを得て、
上記点群データ集合における各フレームの点群データに対応する深度マップに基づいて、上記参照点群データに対して深度情報補完を行って、上記参照点群データに対応する目標深度マップを得て、
上記参照点群データに対応する目標深度マップに基づいて、上記参照点群データに対して強度情報補完を行って、上記参照点群データに対応する目標強度マップを得る。
上記少なくとも1フレームの点群データのうちの各フレームの点群データの第1のレーダ座標系と上記参照点群データに対応する参照レーダ座標系を取得し、
各第1のレーダ座標系を上記参照レーダ座標系に変換する各第1の変換行列を決定し、
各第1の変換行列に基づいて対応するフレームの点群データの深度マップを変換して、第1の深度マップを得て、
上記少なくとも1フレームの点群データのうちの各フレームの点群データに対応する第1の深度マップを上記参照点群データの深度マップと重畳して、上記参照点群データに対応する目標深度マップを得る。
上記点群データ集合における各フレームの点群データの強度情報を再投影して、上記点群データ集合における各フレームの点群データに対応する強度マップを得て、
上記点群データ集合における各フレームの点群データの強度マップに対して、強度情報への距離の影響を除去する距離補償を行って、上記点群データ集合における各フレームの点群データに対応する第1の強度マップを得て、
上記参照点群データに対応する目標深度マップと上記点群データ集合における各フレームの点群データに対応する第1の強度マップに基づいて、上記参照点群データに対応する目標強度マップを決定する。
ライダーのレーダパラメータに基づいて、距離補償項を得て、
上記距離補償項に基づいて、上記点群データ集合における各フレームの点群データに対応する第1の強度マップを決定する。
上記参照点群データに対応する目標深度マップに基づいて、上記点群データ集合における各フレームの点群データに対応する第1の入射角行列を得て、
上記点群データ集合における各フレームの点群データに対応する第1の入射角行列に基づいて、上記点群データ集合における各フレームの点群データに対応する第1の強度マップに対して、強度情報への入射角度の影響を除去する角度補償を行って、上記点群データ集合における各フレームの点群データに対応する第2の強度マップを得て、
上記少なくとも1フレームの点群データのうちの各フレームの点群データに対応する第2の深度マップを上記参照点群データに対応する第2の強度マップと重畳して、上記参照点群データに対応する目標強度マップを得る。
上記参照点群データに対応する目標深度マップにおける深度情報に基づいて平面フィッティングを行って、目標空間平面を得て、
上記参照点群データを収集する時のライダーの入射光線と目標平面の法線との間の夾角に基づいて、上記参照点群データの第1の入射角行列である、上記参照点群データに対応する目標深度マップに対応する目標入射角行列を決定し、
上記少なくとも1フレームの点群データのうちの各フレームの点群データの第1の変換行列に基づいて、上記参照点群データに対応する深度マップに対応する目標入射角行列に対して逆変換を行って、上記少なくとも1フレームの点群データのうちの各フレームの点群データの第1の入射角行列を得る。
上記点群データ集合における各フレームの点群データに対応する第1の入射角行列、予め設定された拘束係数、及び上記点群データ集合における各フレームの点群データの第1の強度マップに基づいて、上記点群データ集合における各フレームの点群データに対応する第2の強度マップを決定する。
上記参照点群データに対応する目標深度マップに対応する目標入射角行列及び予め設定された拘束係数に基づいて、上記参照点群データに対応する目標強度マップを処理して、上記参照点群データに対応する元の強度マップを決定する。
サンプルの点群データに対して情報補完を行い、補完後のサンプルの点群データを出力するステップと、
上記補完後のサンプルの点群データに基づいて、上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップを得るステップと、
上記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、上記ニューラルネットワークのネットワークパラメータを調整するステップとを実行する。
上記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと上記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、第1の損失値、第2の損失値及び第3の損失値を得て、
上記第1の損失値、第2の損失値及び第3の損失値に対して重み付け処理を行って、目標損失値を得て、
上記目標損失値に基づいて上記ニューラルネットワークのネットワークパラメータを調整し、上記第1の損失値は、上記マーキングされた目標深度マップと上記予測された目標深度マップに基づいて決定され、上記第2の損失値は、上記マーキングされた目標強度マップと上記予測された目標強度マップに基づいて決定され、上記第3の損失値は、上記マーキングされた元の強度マップと上記予測された元の強度マップに基づいて決定される。
道路の点群データを収集する収集ユニット1100と、
第1の態様に記載の情報補完方法を用い、上記点群データを補完して、上記点群データに対応する目標強度図を得る補完ユニット1200と、
上記目標強度図に基づいて車線を認識して、車線認識結果を得る認識ユニット1300とを含む。
周りのシーンの点群データを収集する収集ユニット1110と、
第1の態様に記載の情報補完方法を用い、上記点群データを補完して、上記点群データに対応する目標強度マップを得る補完ユニット1120と、
上記目標強度マップに基づいて上記周りのシーンにおける目標物を認識する認識ユニット1130と、
認識結果に基づいて走行を制御する制御ユニット1140とを含む。
Claims (19)
- 各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得するステップと、
前記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも1フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、前記参照点群データに対応する目標点群データを得るステップとを含み、
前記目標点群データの深度情報は、前記参照点群データの深度情報より密であり、かつ前記目標点群データの強度情報は、前記参照点群データの強度情報より密であり、前記参照点群データは、前記マルチフレームの点群データのうちの任意の1フレームの点群データであることを特徴とする、情報補完方法。 - 前記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも1フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、前記参照点群データに対応する目標点群データを得る前記ステップは、
前記少なくとも1フレームの点群データと前記参照点群データで構成される点群データ集合における各フレームの点群データの深度情報を再投影して、前記点群データ集合における各フレームの点群データに対応する深度マップを得るステップと、
前記点群データ集合における各フレームの点群データに対応する深度マップに基づいて、前記参照点群データに対して深度情報補完を行って、前記参照点群データに対応する目標深度マップを得るステップと、
前記参照点群データに対応する目標深度マップに基づいて、前記参照点群データに対して強度情報補完を行って、前記参照点群データに対応する目標強度マップを得るステップとを含むことを特徴とする、請求項1に記載の方法。 - 前記点群データ集合における各フレームの点群データに対応する深度マップに基づいて、前記参照点群データに対して深度情報補完を行って、前記参照点群データに対応する目標深度マップを得る前記ステップは、
前記少なくとも1フレームの点群データのうちの各フレームの点群データの第1のレーダ座標系と前記参照点群データに対応する参照レーダ座標系を取得するステップと、
各第1のレーダ座標系を前記参照レーダ座標系に変換する各第1の変換行列を決定するステップと、
各第1の変換行列に基づいて対応するフレームの点群データの深度マップを変換して、第1の深度マップを得るステップと、
前記少なくとも1フレームの点群データのうちの各フレームの点群データに対応する第1の深度マップを前記参照点群データの深度マップと重畳して、前記参照点群データに対応する目標深度マップを得るステップとを含むことを特徴とする、請求項2に記載の方法。 - 前記参照点群データに対応する目標深度マップに基づいて、前記参照点群データに対して強度情報補完を行って、前記参照点群データに対応する目標強度マップを得る前記ステップは、
前記点群データ集合における各フレームの点群データの強度情報を再投影して、前記点群データ集合における各フレームの点群データに対応する強度マップを得るステップと、
前記点群データ集合における各フレームの点群データの強度マップに対して、強度情報への距離の影響を除去する距離補償を行って、前記点群データ集合における各フレームの点群データに対応する第1の強度マップを得るステップと、
前記参照点群データに対応する目標深度マップと前記点群データ集合における各フレームの点群データに対応する第1の強度マップに基づいて、前記参照点群データに対応する目標強度マップを決定するステップとを含むことを特徴とする、請求項2又は3に記載の方法。 - 前記点群データ集合における各フレームの点群データの強度マップに対して距離補償を行って、前記点群データ集合における各フレームの点群データに対応する第1の強度マップを得る前記ステップは、
ライダーのレーダパラメータに基づいて、距離補償項を得るステップと、
前記距離補償項に基づいて、前記点群データ集合における各フレームの点群データに対応する第1の強度マップを決定するステップとを含むことを特徴とする、請求項4に記載の方法。 - 前記目標深度マップと前記点群データ集合における各フレームの点群データに対応する第1の強度マップに基づいて、前記参照点群データに対応する目標強度マップを決定する前記ステップは、
前記参照点群データに対応する目標深度マップに基づいて、前記点群データ集合における各フレームの点群データに対応する第1の入射角行列を得るステップと、
前記点群データ集合における各フレームの点群データに対応する第1の入射角行列に基づいて、前記点群データ集合における各フレームの点群データに対応する第1の強度マップに対して、強度情報への入射角度の影響を除去する角度補償を行って、前記点群データ集合における各フレームの点群データに対応する第2の強度マップを得るステップと、
前記少なくとも1フレームの点群データのうちの各フレームの点群データに対応する第2の深度マップを前記参照点群データに対応する第2の強度マップと重畳して、前記参照点群データに対応する目標強度マップを得るステップとを含むことを特徴とする、請求項4又は5に記載の方法。 - 前記参照点群データに対応する目標深度マップに基づいて、前記点群データ集合における各フレームの点群データに対応する第1の入射角行列を得る前記ステップは、
前記参照点群データに対応する目標深度マップにおける深度情報に基づいて平面フィッティングを行って、目標空間平面を得るステップと、
前記参照点群データを収集する時のライダーの入射光線と目標平面の法線との間の夾角に基づいて、前記参照点群データの第1の入射角行列である、前記参照点群データに対応する目標深度マップに対応する目標入射角行列を決定するステップと、
前記少なくとも1フレームの点群データのうちの各フレームの点群データの第1の変換行列に基づいて、前記参照点群データに対応する目標深度マップに対応する目標入射角行列に対して逆変換を行って、前記少なくとも1フレームの点群データのうちの各フレームの点群データの第1の入射角行列を得るステップとを含むことを特徴とする、請求項6に記載の方法。 - 前記点群データ集合における各フレームの点群データに対応する第1の入射角行列に基づいて、前記点群データ集合における各フレームの点群データに対応する第1の強度マップに対して角度補償を行って、前記点群データ集合における各フレームの点群データに対応する第2の強度マップを得るステップは、
前記点群データ集合における各フレームの点群データに対応する第1の入射角行列、予め設定された拘束係数、及び前記点群データ集合における各フレームの点群データの第1の強度マップに基づいて、前記点群データ集合における各フレームの点群データに対応する第2の強度マップを決定するステップを含むことを特徴とする、請求項6又は7に記載の方法。 - 前記方法は、
前記参照点群データに対応する目標強度マップに基づいて、前記参照点群データに対応する元の強度マップを決定するステップをさらに含むことを特徴とする、請求項6~8のいずれか1項に記載の方法。 - 前記参照点群データに対応する目標強度マップに基づいて、前記参照点群データに対応する元の強度マップを決定する前記ステップは、
前記参照点群データに対応する目標深度マップに対応する目標入射角行列及び予め設定された拘束係数に基づいて、前記参照点群データに対応する目標強度マップを処理して、前記参照点群データに対応する元の強度マップを決定するステップを含むことを特徴とする、請求項9に記載の方法。 - 前記情報補完方法は、ニューラルネットワークによって実行され、前記ニューラルネットワークは、
サンプルの点群データに対して情報補完を行い、補完後のサンプルの点群データを出力するステップと、
前記補完後のサンプルの点群データに基づいて、前記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップを得るステップと、
前記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと前記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、前記ニューラルネットワークのネットワークパラメータを調整するステップとを用いてトレーニングされることを特徴とする、請求項1~10のいずれか1項に記載の方法。 - 前記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと前記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、前記ニューラルネットワークのネットワークパラメータを調整する前記ステップは、
前記サンプルの点群データのマーキングされた目標深度マップ、マーキングされた目標強度マップ及びマーキングされた元の強度マップと前記サンプルの点群データの予測された目標深度マップ、予測された目標強度マップ及び予測された元の強度マップに基づいて、第1の損失値、第2の損失値及び第3の損失値を得るステップと、
前記第1の損失値、第2の損失値及び第3の損失値に対して重み付け処理を行って、目標損失値を得るステップと、
前記目標損失値に基づいて前記ニューラルネットワークのネットワークパラメータを調整するステップとを含み、前記第1の損失値は、前記マーキングされた目標深度マップと前記予測された目標深度マップに基づいて決定され、前記第2の損失値は、前記マーキングされた目標強度マップと前記予測された目標強度マップに基づいて決定され、前記第3の損失値は、前記マーキングされた元の強度マップと前記予測された元の強度マップに基づいて決定されることを特徴とする、請求項11に記載の方法。 - 道路の点群データを収集するステップと、
請求項1~12のいずれか1項に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得るステップと、
前記目標強度マップに基づいて車線を認識して、車線認識結果を得るステップとを含むことを特徴とする、車線認識方法。 - インテリジェント走行機器の周りのシーンの点群データを収集するステップと、
請求項1~12のいずれか1項に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得るステップと、
前記目標強度マップに基づいて前記周りのシーンにおける目標物を認識するステップと、
認識結果に基づいて、前記インテリジェント走行機器の走行を制御するステップとを含むことを特徴とする、インテリジェント走行方法。 - 各フレームの点群データが深度情報及び強度情報を含むマルチフレームの点群データを取得する取得ユニットと、
前記マルチフレームの点群データのうちの、参照点群データ以外の少なくとも1フレームの点群データの深度情報及び強度情報に基づいて、参照点群データを補完して、前記参照点群データに対応する目標点群データを得る補完ユニットとを含み、
前記目標点群データの深度情報は、前記参照点群データの深度情報より密であり、かつ前記目標点群データの強度情報は、前記参照点群データの強度情報より密であり、前記参照点群データは、前記マルチフレームの点群データのうちの任意の1フレームの点群データであることを特徴とする、情報補完装置。 - 道路の点群データを収集する収集ユニットと、
請求項1~12のいずれか1項に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得る補完ユニットと、
前記目標強度マップに基づいて車線を認識して、車線認識結果を得る認識ユニットとを含むことを特徴とする、車線認識装置。 - 周りのシーンの点群データを収集する収集ユニットと、
請求項1~12のいずれか1項に記載の情報補完方法を用い、前記点群データを補完して、前記点群データに対応する目標強度マップを得る補完ユニットと、
前記目標強度マップに基づいて前記周りのシーンにおける目標物を認識する認識ユニットと、
認識結果に基づいて走行を制御する制御ユニットとを含むことを特徴とする、インテリジェント走行機器。 - 請求項1~12のいずれか1項に記載の方法、請求項13に記載の方法又は請求項14に記載の方法を実行するために、コンピュータ読み取り可能なコマンドを記憶するメモリと、前記メモリに記憶されているコマンドを呼び出すプロセッサとを含むことを特徴とする、電子装置。
- プロセッサにより実行されると、前記プロセッサが請求項1~12のいずれか1項に記載の方法、請求項13に記載の方法又は請求項14に記載の方法を実現するコンピュータプログラムが記憶されていることを特徴とする、コンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911050904.4 | 2019-10-31 | ||
CN201911050904.4A CN112749594B (zh) | 2019-10-31 | 2019-10-31 | 信息补全方法、车道线识别方法、智能行驶方法及相关产品 |
PCT/CN2020/114032 WO2021082745A1 (zh) | 2019-10-31 | 2020-09-08 | 信息补全方法、车道线识别方法、智能行驶方法及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022511990A true JP2022511990A (ja) | 2022-02-01 |
JPWO2021082745A5 JPWO2021082745A5 (ja) | 2022-09-02 |
Family
ID=75641251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021539461A Pending JP2022511990A (ja) | 2019-10-31 | 2020-09-08 | 情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP2022511990A (ja) |
KR (1) | KR102428050B1 (ja) |
CN (1) | CN112749594B (ja) |
WO (1) | WO2021082745A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113592932A (zh) * | 2021-06-28 | 2021-11-02 | 北京百度网讯科技有限公司 | 深度补全网络的训练方法、装置、电子设备及存储介质 |
CN113850914A (zh) * | 2021-08-13 | 2021-12-28 | 江苏瑞沃建设集团有限公司 | 一种线激光三维扫描点云数据的矩阵换方法 |
CN113706676B (zh) * | 2021-08-26 | 2024-01-16 | 京东鲲鹏(江苏)科技有限公司 | 用于点云数据的模型自监督训练方法和装置 |
CN114119889B (zh) * | 2021-11-12 | 2024-04-09 | 杭州师范大学 | 基于跨模态融合的360度环境深度补全和地图重建方法 |
CN114926485B (zh) * | 2022-02-22 | 2024-06-18 | 广州文远知行科技有限公司 | 图像深度标注方法、装置、设备及存储介质 |
CN115905434B (zh) * | 2022-10-26 | 2023-10-13 | 南京航空航天大学 | 一种基于学习插值预测的道路网轨迹补全方法 |
CN116047537B (zh) * | 2022-12-05 | 2023-12-26 | 北京中科东信科技有限公司 | 基于激光雷达的道路信息生成方法及系统 |
CN116299300B (zh) * | 2023-05-15 | 2023-08-08 | 北京集度科技有限公司 | 可行驶区域的确定方法、装置、计算机设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016206026A (ja) * | 2015-04-23 | 2016-12-08 | 株式会社デンソー | 物体認識装置 |
CN109900298A (zh) * | 2019-03-01 | 2019-06-18 | 武汉光庭科技有限公司 | 一种车辆定位校准方法及系统 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9972067B2 (en) * | 2016-10-11 | 2018-05-15 | The Boeing Company | System and method for upsampling of sparse point cloud for 3D registration |
CN106780590B (zh) * | 2017-01-03 | 2019-12-24 | 成都通甲优博科技有限责任公司 | 一种深度图的获取方法及系统 |
EP3429207A1 (en) * | 2017-07-13 | 2019-01-16 | Thomson Licensing | A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object |
CN108229366B (zh) * | 2017-12-28 | 2021-12-14 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
CN108230379B (zh) * | 2017-12-29 | 2020-12-04 | 百度在线网络技术(北京)有限公司 | 用于融合点云数据的方法和装置 |
KR102042343B1 (ko) * | 2018-04-13 | 2019-11-07 | 경북대학교 산학협력단 | 3차원 스캐닝을 통해 획득된 점군 데이터 기반에서 깊이 이미지를 생성하는 장치 및 방법 및 이를 이용한 3차원 객체 식별 방법 |
CN108898669A (zh) * | 2018-07-17 | 2018-11-27 | 网易(杭州)网络有限公司 | 数据处理方法、装置、介质和计算设备 |
CN109325972B (zh) * | 2018-07-25 | 2020-10-27 | 深圳市商汤科技有限公司 | 激光雷达稀疏深度图的处理方法、装置、设备及介质 |
CN109613557B (zh) * | 2018-11-28 | 2022-04-29 | 南京莱斯信息技术股份有限公司 | 一种补全激光雷达三维点云目标的系统及方法 |
CN109903372B (zh) * | 2019-01-28 | 2021-03-23 | 中国科学院自动化研究所 | 深度图超分辨率补全方法及高质量三维重建方法与系统 |
CN110047144A (zh) * | 2019-04-01 | 2019-07-23 | 西安电子科技大学 | 一种基于Kinectv2的完整物体实时三维重建方法 |
CN109766878B (zh) * | 2019-04-11 | 2019-06-28 | 深兰人工智能芯片研究院(江苏)有限公司 | 一种车道线检测的方法和设备 |
CN110232315A (zh) * | 2019-04-29 | 2019-09-13 | 华为技术有限公司 | 目标检测方法和装置 |
-
2019
- 2019-10-31 CN CN201911050904.4A patent/CN112749594B/zh active Active
-
2020
- 2020-09-08 KR KR1020217021148A patent/KR102428050B1/ko active IP Right Grant
- 2020-09-08 JP JP2021539461A patent/JP2022511990A/ja active Pending
- 2020-09-08 WO PCT/CN2020/114032 patent/WO2021082745A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016206026A (ja) * | 2015-04-23 | 2016-12-08 | 株式会社デンソー | 物体認識装置 |
CN109900298A (zh) * | 2019-03-01 | 2019-06-18 | 武汉光庭科技有限公司 | 一种车辆定位校准方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
KR20210093351A (ko) | 2021-07-27 |
WO2021082745A1 (zh) | 2021-05-06 |
KR102428050B1 (ko) | 2022-08-01 |
CN112749594A (zh) | 2021-05-04 |
CN112749594B (zh) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022511990A (ja) | 情報補完方法、車線認識方法、インテリジェント走行方法及び関連製品 | |
US12020476B2 (en) | Data synthesis for autonomous control systems | |
CN111553859B (zh) | 一种激光雷达点云反射强度补全方法及系统 | |
US10817731B2 (en) | Image-based pedestrian detection | |
US10943355B2 (en) | Systems and methods for detecting an object velocity | |
US20210142095A1 (en) | Image disparity estimation | |
CN109470254B (zh) | 地图车道线的生成方法、装置、系统及存储介质 | |
CN108764187A (zh) | 提取车道线的方法、装置、设备、存储介质以及采集实体 | |
JP2021089724A (ja) | 構造的制約及び物理的制約を伴う3d自動ラベル付け | |
CN115861601B (zh) | 一种多传感器融合感知方法及装置 | |
WO2018066352A1 (ja) | 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法 | |
CN112753038A (zh) | 识别车辆变道趋势的方法和装置 | |
CN115496923B (zh) | 一种基于不确定性感知的多模态融合目标检测方法及装置 | |
CN113835102A (zh) | 车道线生成方法和装置 | |
CN116052124A (zh) | 多相机生成局部地图模板理解加强目标检测方法及系统 | |
CN113988197A (zh) | 基于多相机、多激光雷达的联合标定及目标融合检测方法 | |
CN110727269B (zh) | 车辆控制方法及相关产品 | |
Surgailis et al. | Avoiding forward car collision using stereo vision system | |
CN117036607A (zh) | 基于隐式神经渲染的自动驾驶场景数据生成方法及系统 | |
Ahmed et al. | Lane marking detection using LiDAR sensor | |
CN113624223B (zh) | 一种室内停车场地图构建方法及装置 | |
Sari et al. | Traffic sign detection and recognition system for autonomous RC cars | |
CN112784868A (zh) | 用于训练用于对象识别设备的机器学习系统的方法、执行方法、对象识别设备及计算机程序 | |
Hellinckx | Lane Marking Detection Using LiDAR Sensor | |
CN115457538A (zh) | 一种基于红外相机的3d目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210705 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210705 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220513 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20220810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221014 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230510 |