JP2021515178A - 自動運転車両においてrnnとlstmを用いて時間平滑化を行うlidar測位 - Google Patents
自動運転車両においてrnnとlstmを用いて時間平滑化を行うlidar測位 Download PDFInfo
- Publication number
- JP2021515178A JP2021515178A JP2019567307A JP2019567307A JP2021515178A JP 2021515178 A JP2021515178 A JP 2021515178A JP 2019567307 A JP2019567307 A JP 2019567307A JP 2019567307 A JP2019567307 A JP 2019567307A JP 2021515178 A JP2021515178 A JP 2021515178A
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- probability
- offset
- lidar
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009499 grossing Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000013528 artificial neural network Methods 0.000 claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 37
- 230000000306 recurrent effect Effects 0.000 claims abstract description 21
- 230000015654 memory Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 description 38
- 238000013527 convolutional neural network Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000002085 persistent effect Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000002379 ultrasonic velocimetry Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/408—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/14—Yaw
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Abstract
Description
図1は、本発明の一実施態様にかかる自動運転車両のネットワーク構成を示すブロック図である。図1を参照すると、ネットワーク構成100は、ネットワーク102を介して1つまたは複数のサーバ103〜104に対して通信可能に接続する自動運転車両101を備える。1つの自動運転車両のみを示すが、複数の自動運転車両は、ネットワーク102を介して相互に接続し、および/またはサーバ103〜104に接続可能である。ネットワーク102は、いずれのタイプのネットワークであってもよく、例えば、有線または無線のローカルエリアネットワーク(LAN)、インターネットのような広域ネットワーク(WAN)、セルラ網、衛星ネットワークまたはそれらの組み合せである。サーバ103〜104は、いずれの形式のサーバまたはサーバークラスタであってもよく、例えば、Webサーバやクラウドサーバ、アプリケーションサーバ、バックエンドサーバまたはそれらの組み合せである。サーバ103〜104は、データ解析サーバやコンテンツサーバ、交通情報サーバ、地図・関心点(MPOI)サーバまたは位置サーバなどであってもよい。
図4は、本発明の実施形態にかかる学習に基づくLIDAR測位システムを示す図である。図4に示すように、測位モジュール301は、ポイントクラウド特徴学習ネットワーク(例えば、PointNet)409を含むことができる。このポイントクラウド特徴学習ネットワーク409は、ADVの事前作成された3Dポイントクラウド地図406と、オンラインLIDARポイントクラウド404と、予測ポーズ407とを入力として採用し、複数の選択されたLIDARポイント(キーポイントとも呼ぶ)に基づいて、複数の特徴記述子をオンラインポイントクラウド404から抽出することができる。対応するキーポイントを見つけ、ポイントクラウド特徴学習ネットワーク409により同様に対応するLIDARポイントの特徴を抽出することができる。
図8は、実施形態にかかる光検出及び測距(LIDAR)測位においてニューラルネットワークを使用したソリューション推断システムを示す。
図11は、実施形態にかかるADVの測位結果において時間平滑化を行うシステムを示す。
Claims (21)
- 自動運転車両の測位結果において時間平滑化を行うためのコンピュータ実施方法であって、
オンラインポイントクラウドにおける一連の連続する光検出および測距フレームのそれぞれに対して、前記オンラインポイントクラウドからの第1組のキーポイントと、事前作成されたポイントクラウド地図からの第2組のキーポイントとの全体的マッチングコストを表す確率オフセットを作成することと、
X次元、Y次元およびヨー次元において前記確率オフセットを複数の確率ベクトルに圧縮することと、
前記確率オフセットの各確率ベクトルを複数のリカレントニューラルネットワークに提供することと、
前記複数のリカレントニューラルネットワークによって、複数の連続する光検出および測距フレームにおいて測位結果の軌跡を生成することと
を含む、自動運転車両の測位結果において時間平滑化を行うためのコンピュータ実施方法。 - 前記確率オフセットは、前記自動運転車両の特定位置オフセットに対する前記オンラインポイントクラウドと前記事前作成されたポイントクラウド地図との全体的マッチングコストを表す複数のサブボリュームを含む請求項1に記載の方法。
- 前記リカレントニューラルネットワークのそれぞれは、複数の長・短期記憶ユニットを含む請求項1に記載の方法。
- 前記確率ベクトルのそれぞれは、入力として前記複数の長・短期記憶ユニットのうちの1つに提供される請求項3に記載の方法。
- 前記複数のリカレントニューラルネットワークは、前記複数の連続する光検出及び測距フレームからの学習された履歴情報に基づいて、前記複数の連続する光検出及び測距フレームにおいて測位結果の軌跡を平滑化する請求項1に記載の方法。
- 前記自動運転車両は、前記複数の連続する光検出及び測距フレームにおいて複数の予測ポーズを有する請求項1に記載の方法。
- 前記確率オフセットは、前記オンラインポイントクラウドから抽出された第1組の特徴記述子及び前記事前作成されたポイントクラウド地図から抽出された第2組の特徴記述子に基づいて構築されるコストボリュームに基づく請求項1に記載の方法。
- 自動運転車両の測位結果において時間平滑化を行うためのシステムであって、
プロセッサと、
前記プロセッサに接続されて命令を記憶するメモリとを備え、前記命令が前記プロセッサにより実行されると、
オンラインポイントクラウドにおける一連の連続する光検出および測距フレームのそれぞれに対して、前記オンラインポイントクラウドからの第1組のキーポイントと、事前作成されたポイントクラウド地図からの第2組のキーポイントとの全体的なマッチングコストを表す確率オフセットを作成することと、
X次元、Y次元およびヨー次元において前記確率オフセットを複数の確率ベクトルに圧縮することと、
前記確率オフセットの各確率ベクトルを複数のリカレントニューラルネットワークに提供することと、
前記複数のリカレントニューラルネットワークによって、複数の連続する光検出および測距フレームにおいて測位結果の軌跡を生成することと
を前記プロセッサに実行させる、自動運転車両の測位結果において時間平滑化を行うためのシステム。 - 前記確率オフセットは、前記自動運転車両の特定位置オフセットに対する前記オンラインポイントクラウドと前記事前作成されたポイントクラウド地図との全体的マッチングコストを表す複数のサブボリュームを含む請求項8に記載のシステム。
- 前記リカレントニューラルネットワークのそれぞれは、複数の長・短期記憶ユニットを含む請求項8に記載のシステム。
- 前記確率ベクトルのそれぞれは、入力として前記複数の長・短期記憶ユニットのうちの1つに提供される請求項10に記載のシステム。
- 前記複数のリカレントニューラルネットワークは、前記複数の連続する光検出及び測距フレームからの学習された履歴情報に基づいて、前記複数の連続する光検出及び測距フレームにおいて測位結果の軌跡を平滑化する請求項8に記載のシステム。
- 前記自動運転車両は、前記複数の連続する光検出及び測距フレームにおいて複数の予測ポーズを有する請求項8に記載のシステム。
- 前記確率オフセットは、前記オンラインポイントクラウドから抽出された第1組の特徴記述子及び前記事前作成されたポイントクラウド地図から抽出された第2組の特徴記述子に基づいて構築されるコストボリュームに基づく請求項8に記載のシステム。
- 命令が記憶されている非一時的機械可読媒体であって、前記命令がプロセッサにより実行されると、
オンラインポイントクラウドにおける一連の連続する光検出および測距フレームのそれぞれに対して、前記オンラインポイントクラウドからの第1組のキーポイントと、事前作成されたポイントクラウド地図からの第2組のキーポイントとの全体的マッチングコストを表す確率オフセットを作成することと、
X次元、Y次元およびヨー次元において前記確率オフセットを複数の確率ベクトルに圧縮することと、
前記確率オフセットの各確率ベクトルを複数のリカレントニューラルネットワークに提供することと、
前記複数のリカレントニューラルネットワークによって、複数の連続する光検出および測距フレームにおいて測位結果の軌跡を生成することと
を含む、自動運転車両の測位結果において時間平滑化を行うための操作を前記プロセッサに実行させる機械可読媒体。 - 前記確率オフセットは、前記自動運転車両の特定位置オフセットに対する前記オンラインポイントクラウドと前記事前作成されたポイントクラウド地図との全体的マッチングコストを表す複数のサブボリュームを含む請求項15に記載の機械可読媒体。
- 前記リカレントニューラルネットワークのそれぞれは、複数の長・短期記憶ユニットを含む請求項15に記載の機械可読媒体。
- 前記確率ベクトルのそれぞれは、入力として前記複数の長・短期記憶ユニットのうちの1つに提供される請求項17に記載の機械可読媒体。
- 前記複数のリカレントニューラルネットワークは、前記複数の連続する光検出及び測距フレームからの学習された履歴情報に基づいて、前記複数の連続する光検出及び測距フレームにおいて測位結果の軌跡を平滑化する請求項15に記載の機械可読媒体。
- 前記自動運転車両は、前記複数の連続する光検出及び測距フレームにおいて複数の予測ポーズを有する請求項15に記載の機械可読媒体。
- 前記確率オフセットは、前記オンラインポイントクラウドから抽出された第1組の特徴記述子及び前記事前作成されたポイントクラウド地図から抽出された第2組の特徴記述子に基づいて構築されるコストボリュームに基づく請求項15に記載の機械可読媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/073978 WO2020154973A1 (en) | 2019-01-30 | 2019-01-30 | Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021515178A true JP2021515178A (ja) | 2021-06-17 |
JP7256758B2 JP7256758B2 (ja) | 2023-04-12 |
Family
ID=71840732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019567307A Active JP7256758B2 (ja) | 2019-01-30 | 2019-01-30 | 自動運転車両においてrnnとlstmを用いて時間平滑化を行うlidar測位 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11364931B2 (ja) |
EP (1) | EP3714285B1 (ja) |
JP (1) | JP7256758B2 (ja) |
KR (1) | KR102350181B1 (ja) |
CN (1) | CN111771135B (ja) |
WO (1) | WO2020154973A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020154972A1 (en) * | 2019-01-30 | 2020-08-06 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles |
CN115298077A (zh) | 2019-08-29 | 2022-11-04 | 派珀网络公司 | 增强型交通定位系统和方法 |
CN112444785B (zh) * | 2019-08-30 | 2024-04-12 | 华为技术有限公司 | 一种目标行为识别的方法、装置和雷达系统 |
WO2021050443A1 (en) | 2019-09-09 | 2021-03-18 | Piper Networks, Inc. | Enhanced transit location systems and methods |
JP6819758B1 (ja) * | 2019-09-30 | 2021-01-27 | ダイキン工業株式会社 | 点群データ同一性推定装置及び点群データ同一性推定システム |
US11794723B2 (en) * | 2020-10-08 | 2023-10-24 | Hyundai Mobis Co., Ltd. | Apparatus and method for controlling driving of vehicle |
DE102020127051A1 (de) * | 2020-10-14 | 2022-04-14 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Verfahren zur Bestimmung von sicherheitskritischen Ausgabewerten mittels einer Datenanalyseeinrichtung für eine technische Entität |
CN112561947A (zh) * | 2020-12-10 | 2021-03-26 | 中国科学院深圳先进技术研究院 | 一种图像自适应运动估计方法及应用 |
EP4020396A1 (en) * | 2020-12-23 | 2022-06-29 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and apparatus of entropy encoding/decoding point cloud geometry data captured by a spinning sensors head |
CN113505625B (zh) * | 2021-01-12 | 2022-08-02 | 湖南师范大学 | 一种专家知识引导机制下的交通文本检测方法 |
US11403817B1 (en) * | 2021-04-14 | 2022-08-02 | Lineage Logistics, LLC | Point cloud filtering |
WO2022253428A1 (en) * | 2021-06-02 | 2022-12-08 | Huawei Technologies Co., Ltd. | Data processing apparatus and method for determining a relative pose |
CN114413881B (zh) * | 2022-01-07 | 2023-09-01 | 中国第一汽车股份有限公司 | 高精矢量地图的构建方法、装置及存储介质 |
KR102526710B1 (ko) | 2022-12-15 | 2023-04-28 | 주식회사 맥스트 | 센서 주행 거리 측정 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
CN116578088B (zh) * | 2023-05-04 | 2024-02-09 | 浙江大学 | 室外自主移动机器人连续轨迹生成方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018170472A1 (en) * | 2017-03-17 | 2018-09-20 | Honda Motor Co., Ltd. | Joint 3d object detection and orientation estimation via multimodal fusion |
JP2018197744A (ja) * | 2017-05-22 | 2018-12-13 | 本田技研工業株式会社 | 路面標示を用いた都市環境における位置特定 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9811884B2 (en) | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
US9715016B2 (en) * | 2015-03-11 | 2017-07-25 | The Boeing Company | Real time multi dimensional image fusing |
WO2016156236A1 (en) * | 2015-03-31 | 2016-10-06 | Sony Corporation | Method and electronic device |
US9802599B2 (en) * | 2016-03-08 | 2017-10-31 | Ford Global Technologies, Llc | Vehicle lane placement |
US9760806B1 (en) * | 2016-05-11 | 2017-09-12 | TCL Research America Inc. | Method and system for vision-centric deep-learning-based road situation analysis |
EP3501010B1 (en) * | 2016-08-19 | 2023-11-01 | Movidius Ltd. | Rendering operations using sparse volumetric data |
KR20180060784A (ko) * | 2016-11-29 | 2018-06-07 | 삼성전자주식회사 | 비정상 객체 판단 방법 및 장치 |
KR102471072B1 (ko) | 2016-12-21 | 2022-11-25 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
US20180211403A1 (en) | 2017-01-20 | 2018-07-26 | Ford Global Technologies, Llc | Recurrent Deep Convolutional Neural Network For Object Detection |
US10198655B2 (en) * | 2017-01-24 | 2019-02-05 | Ford Global Technologies, Llc | Object detection using recurrent neural network and concatenated feature map |
KR20180094725A (ko) | 2017-02-16 | 2018-08-24 | 삼성전자주식회사 | 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법 |
KR102183204B1 (ko) * | 2017-02-17 | 2020-11-25 | 현대자동차주식회사 | 차량 및 차량의 제어 방법 |
US11308391B2 (en) * | 2017-03-06 | 2022-04-19 | Baidu Usa Llc | Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles |
US10088559B1 (en) * | 2017-03-29 | 2018-10-02 | Luminar Technologies, Inc. | Controlling pulse timing to compensate for motor dynamics |
US10108867B1 (en) * | 2017-04-25 | 2018-10-23 | Uber Technologies, Inc. | Image-based pedestrian detection |
KR102360181B1 (ko) * | 2017-05-16 | 2022-02-08 | 삼성전자주식회사 | 차량의 동작을 제어하는 전자 장치 및 방법 |
US10809361B2 (en) * | 2017-05-31 | 2020-10-20 | Uatc, Llc | Hybrid-view LIDAR-based object detection |
US10007269B1 (en) * | 2017-06-23 | 2018-06-26 | Uber Technologies, Inc. | Collision-avoidance system for autonomous-capable vehicle |
US10671082B2 (en) * | 2017-07-03 | 2020-06-02 | Baidu Usa Llc | High resolution 3D point clouds generation based on CNN and CRF models |
US11009884B2 (en) * | 2017-09-29 | 2021-05-18 | Direct Current Capital LLC | Method for calculating nominal vehicle paths for lanes within a geographic region |
US11353559B2 (en) * | 2017-10-09 | 2022-06-07 | Luminar, Llc | Adjustable scan patterns for lidar system |
US10852146B2 (en) * | 2018-02-28 | 2020-12-01 | Ford Global Technologies, Llc | Localization technique selection |
CN108415032B (zh) * | 2018-03-05 | 2021-06-25 | 中山大学 | 一种基于深度学习与激光雷达的点云语义地图构建方法 |
US11237269B2 (en) * | 2018-04-26 | 2022-02-01 | Ford Global Technologies, Llc | Localization technique |
CN109270545B (zh) * | 2018-10-23 | 2020-08-11 | 百度在线网络技术(北京)有限公司 | 一种定位真值校验方法、装置、设备及存储介质 |
-
2019
- 2019-01-30 US US16/337,391 patent/US11364931B2/en active Active
- 2019-01-30 KR KR1020197036976A patent/KR102350181B1/ko active IP Right Grant
- 2019-01-30 WO PCT/CN2019/073978 patent/WO2020154973A1/en unknown
- 2019-01-30 JP JP2019567307A patent/JP7256758B2/ja active Active
- 2019-01-30 EP EP19795077.7A patent/EP3714285B1/en active Active
- 2019-01-30 CN CN201980002101.3A patent/CN111771135B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018170472A1 (en) * | 2017-03-17 | 2018-09-20 | Honda Motor Co., Ltd. | Joint 3d object detection and orientation estimation via multimodal fusion |
JP2018197744A (ja) * | 2017-05-22 | 2018-12-13 | 本田技研工業株式会社 | 路面標示を用いた都市環境における位置特定 |
Also Published As
Publication number | Publication date |
---|---|
CN111771135A (zh) | 2020-10-13 |
EP3714285A4 (en) | 2020-09-30 |
US11364931B2 (en) | 2022-06-21 |
EP3714285B1 (en) | 2022-07-27 |
KR102350181B1 (ko) | 2022-01-11 |
KR20200096411A (ko) | 2020-08-12 |
US20210354718A1 (en) | 2021-11-18 |
CN111771135B (zh) | 2023-03-21 |
JP7256758B2 (ja) | 2023-04-12 |
EP3714285A1 (en) | 2020-09-30 |
WO2020154973A1 (en) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7060625B2 (ja) | 自動運転車において3dcnnネットワークを用いてソリューション推断を行うlidar測位 | |
JP7086111B2 (ja) | 自動運転車のlidar測位に用いられるディープラーニングに基づく特徴抽出方法 | |
JP7256758B2 (ja) | 自動運転車両においてrnnとlstmを用いて時間平滑化を行うlidar測位 | |
JP6738932B2 (ja) | シミュレーションプラットフォームに配置された、機械学習モデルを訓練するためのシステム及び方法 | |
JP6754856B2 (ja) | 自動運転車両のためのセンサー集約フレームワーク | |
JP6644742B2 (ja) | 頑健で効率的な車両測位用のアルゴリズム及びインフラ | |
CN109937343B (zh) | 用于自动驾驶车辆交通预测中的预测轨迹的评估框架 | |
JP7086911B2 (ja) | 自動運転車両のためのリアルタイム意思決定 | |
JP7222868B2 (ja) | オブジェクト挙動のリアルタイム予測 | |
JP2021515282A (ja) | 自動運転車のためのリアルタイム地図生成システム | |
JP2021515254A (ja) | 自動運転車のためのリアルタイム地図生成システム | |
JP2021516355A (ja) | 自動運転車のための地図区画システム | |
CN110345955A (zh) | 用于自动驾驶的感知与规划协作框架 | |
CN110239562A (zh) | 自动驾驶车辆的基于周围车辆行为的实时感知调整与驾驶调适 | |
JP2021514886A (ja) | 自動運転車のためのポイントクラウド登録システム | |
JP2021516183A (ja) | 自動運転車のためのポイントクラウドゴースト効果検出システム | |
JP2020083310A (ja) | 車両挙動予測のための圧縮環境特徴の表示 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200604 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230331 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7256758 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |