CN114199223A - 提供用于创建数字地图的数据的方法和设备及程序产品 - Google Patents

提供用于创建数字地图的数据的方法和设备及程序产品 Download PDF

Info

Publication number
CN114199223A
CN114199223A CN202111094075.7A CN202111094075A CN114199223A CN 114199223 A CN114199223 A CN 114199223A CN 202111094075 A CN202111094075 A CN 202111094075A CN 114199223 A CN114199223 A CN 114199223A
Authority
CN
China
Prior art keywords
data
sensor data
environmental sensor
neural network
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111094075.7A
Other languages
English (en)
Inventor
T·纳赛尔
P·萨兰里蒂斋
C·哈斯贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN114199223A publication Critical patent/CN114199223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于提供用于创建数字地图的数据的方法，其具有以下步骤：在物理系统、优选车辆的测量行驶期间检测环境的环境传感器数据(D1,D2)，其中，环境传感器数据至少部分重叠地反映该环境，其中，第一环境传感器数据(D1)具有三维信息，第二环境传感器数据(D2)具有二维信息；借助布置在物理系统中的第一神经网络(10)从第一环境传感器数据(D1)和第二环境传感器数据(D2)中提取至少一个限定的对象成为第一提取数据；和借助布置在物理系统中的第二神经网络(20)从第一提取数据中提取带有描述符的表征性特征成为第二提取数据，其中，描述符设置用于第二提取数据在地图创建过程中的限定的配准。本发明还涉及相应的设备和计算机程序产品。

Description

提供用于创建数字地图的数据的方法和设备及程序产品
技术领域
本发明涉及一种用于提供用于创建数字地图的数据的方法。本发明还涉及一种用于提供用于创建数字地图的数据的设备。本发明还涉及一种计算机程序产品。
背景技术
可靠地创建数字地图(数字地图绘制)对于自动化方法来说非常重要。用于处理非结构化三维数据的计算架构是已知的，其中，这些架构从被用于对象分类任务的点云数据中提取特征。此类架构例如由以下文献已知：
Qi CR，Su H，Mo K，Guibas LJ.点网络：对用于3d分类和分割的点集的深度学习。在2017年IEEE计算机视觉和模式识别会议论文集第652-660页中记载。
发明内容
本发明的任务是，提供一种用于提供用于创建数字地图的数据的改进的方法。
根据第一方面，利用一种用于提供用于创建数字地图的数据的方法来解决该任务，该方法具有以下步骤：
-在物理系统、优选车辆的测量行驶期间检测环境的环境传感器数据，其中，所述环境传感器数据至少部分重叠地反映所述环境，其中，第一环境传感器数据具有三维信息，其中，第二环境传感器数据具有二维信息；
-借助布置在物理系统中的第一神经网络从第一环境传感器数据和第二环境传感器数据中提取至少一个限定的对象成为第一提取数据；和
-借助布置在物理系统中的第二神经网络从第一提取数据中提取带有描述符(Deskriptor)的表征性特征成为第二提取数据，其中，所述描述符设置用于在地图创建过程中限定地配准(ausrichten)第二提取数据。
有利地，以这种方式提供了以限定的方式被压缩的数据、即在规模方面减少的数据，用于创建数字地图。结果，由此仅需要将较小的数据量传输给地图创建单元，这可以有利地节省用于创建数字地图的传输花费和计算花费。以这种方式，提出了用于创建数字地图的过程链的一部分，该过程链优选地在测量车辆上在一个或多个测量行驶期间被执行。
在本申请的意义上，描述符是描述各个表征性特征或相应对象的语义信息。
根据第二方面，利用一种用于提供用于创建数字地图的数据的设备来解决该任务，该设备具有：
-第一神经网络，其设置为用于从第一环境传感器数据和第二环境传感器数据中提取至少一个限定的对象成为第一提取数据，其中，环境传感器数据至少部分重叠地反映环境，其中，第一环境传感器数据具有三维信息，其中，第二环境传感器数据具有二维信息；和
-第二神经网络，其设置为用于从第一提取数据中提取带有描述符的表征性特征成为第二提取数据，其中，所述描述符设置为用于在地图创建过程中限定地配准第二提取数据。
根据第三方面，利用一种具有程序代码单元的计算机程序产品来解决该任务，该程序代码单元用于在所提出的方法在所提出的电子设备上运行或存储在计算机可读的数据载体上时执行所述方法。
该方法的有利扩展方案是各个从属优选实施方式的主题。
该方法的一个有利扩展方案设置，以下中的至少一个被用作第一环境传感器数据：雷达数据、激光雷达数据、立体摄像机数据，其中，摄像机数据被用作第二环境传感器数据。有利地，以这种方式，不同类型的传感器数据可以被用于所提出的方法，其中，离散数据也可以用作三维数据。
该方法的另一有利扩展方案设置，所输送的数据的所限定的不准确性区域被用作神经网络的输入数据。有利地，以这种方式，可以例如借助高斯混合模型提供另外的参数作为第一神经网络的输入数据。该附加的参数在雷达数据的情况下尤其有用，因为在这类数据的情况下，点云数据通常不如在相应的激光雷达数据的情况下精确。
该方法的另一有利扩展方案设置，所述表征性特征和所述描述符更详细地限定所求取的对象。由此，有利地支持了可以在随后的地图创建过程中更简单地将第二提取数据彼此配准。
该方法的另一有利扩展方案设置，所述描述符限定了表征性特征的尺寸说明(Dimensionsangabe)。有利地，由此可以执行表征性特征的更详细指定(Spezifizierung)，这可以有效地减少为了创建地图所要传输的数据量。
该方法的另一有利扩展方案设置，在不同时间点提供来自所述物理系统的和/或多个物理系统的不同行驶的环境传感器数据。有利地，由此考虑了表征性特征在不同时间点和从不同的检测车辆分别看起来可以不同。以有利的方式，由此可以以有效的方式在由大的数据量创建地图的过程中配准或者说匹配所述表征性特征。
该方法的另一有利扩展方案设置，所述至少一个提取对象是以下之一：车道标记、交通标志、车道、斑马线、交通指示牌、建筑物。有利地，由此可以考虑环境的不同特定特征来创建数字地图。
该方法的另一有利扩展方案设置，将提取的第二环境传感器数据传输给地图创建单元。有利地，由此可以将与现有技术相比减小的数据量传输给地图创建单元，用于创建数字地图。
该方法的另一有利扩展方案设置，第一神经网络是深度卷积神经网络，而第二神经网络是基于点云的神经网络。有利地，由此分别良好地适合的神经网络类型被用于特征提取的特定任务。例如，为了借助第二神经网络来提取表征性特征，可以按照“Qi CR、Yi L、Su H、Guibas LJ点网络++：度量空间中点集的深层特征学习进展，神经信息处理系统，2017年第5099至5108页”或者按照“Yew ZJ、Lee GH的3DFeat-Net：用于点云配准的弱监督学习的本地3d特征，欧洲计算机视觉会议，2019年9月8日，第630至646页”来利用上述方法。利用提到的神经网络类型，以有利的方式很好地支持了通用的特征提取。
下面，根据三个附图利用另外的特征和优点来更详细地描述本发明。在此，所描述或显示的所有特征单独地或以任何组合构成本发明的主题，而与它们在各个实施方式中的概括或其引用无关，并且也与它们在说明书或附图中的表述或示出无关。
该方法的公开特征和优点以类似方式由该设备的公开特征和优点得到，并且反之亦然。
附图说明
附图示出：
图1示出了用于从传感器数据中提取对象特征的第一神经网络的功能方式的原理图；
图2示出了所提出的用于执行所提出的方法的电子设备的原理框图；和
图3示出了所提出的方法的实施方式的原理流程。
具体实施方式
本发明的核心构思尤其在于一种用于提供数据来创建高分辨率数字地图的改进的方法，尤其是用于至少部分自动化车辆的自动化行驶的目的。
在下文中，术语“自动化车辆”与术语“全自动化车辆”、“自主车辆”和“部分自主车辆”同义地使用。
利用一个或多个测量车辆，在一个或多个测量行驶的范畴内，借助环境传感器装置执行对环境数据的传感式检测，其中，作为环境传感器装置，例如激光雷达传感器和/或雷达传感器可以用于检测三维环境传感器数据D1并且摄像机可以用于检测二维环境传感器数据D2。
所检测的环境传感器数据表示对车辆周围环境的不同区段的描述，并用于创建所述周围环境的地图表示。车辆周围环境的地图表示可以通过汇总描述周围环境的不同区段的多个环境传感器数据组来实现，从而可以实现一种对周围环境的连贯的、相关联的地图表示，所述周围环境由车辆周围环境的彼此衔接区段的多个经汇总的环境传感器数据组构成。
为了汇总分别表示对周围环境的彼此邻接区段描述的环境传感器数据，各个环境传感器数据组可以这样相互连接，使得分别两个彼此邻接的环境传感器数据组的重叠区域全等，在所述重叠区域中周围环境的相同区段被表示。重叠区域在此可以由各个单个的测量点组成。
在此，地图表示和尤其是不同环境传感器数据组的汇总的前提条件是，将要汇总或相互连接的环境传感器数据组相互配准，从而可以通过连接环境传感器数据组来实现对周围环境的相关联的地图表示。不同的环境传感器数据组的配准在此对以下进行补偿：在例如在不同时间点由一个车辆和/或由多个不同车辆记录的环境传感器数据的不同组的情况下上，各个环境传感器可以相对于周围环境具有不同的配准。
提出了一种用于提供数据来进行地图创建的方法，该地图创建在使用借助两个神经网络10、20从特定周围环境特征(例如车道标记、交通指示牌、建筑物等)中提取的特征的情况下设置三维点云的配准。所基于的原始数据以二维环境传感器数据D2(例如摄像机数据)和三维环境传感器数据D1(例如激光雷达数据、雷达数据)的形式来提供，并且被输送给第一神经网络10。
利用所提出的数据提供过程尤其得到以下优点：
-有利地可以通过根据本发明的方法显著降低数据传输率，其方式是：为了使两个点云彼此配准仅执行两个点云的两个子集的配准，基于该配准能够实现两个完整点云的配准。通过观察两个点云的两个子集(所述子集分别具有比对应的点云明显小的数据容量)，可以显著减少要处理的数据容量并且与此相关地减小要传输的数据容量。结果，由此用于传输为了地图创建所需的数据而必需的带宽被显著减小并从而成本更有利。
-降低后续的计算成本：对更少的数据量的处理可以明显降低借助下游的地图创建单元创建数字地图的成本。
-改进的对象特征：被探测的对象的由神经网络求取的表征性特征和随后求取的点云表征点(所述表征点相应于该对象的各个特征)可以比点云的、被手动求取的表征点更精确地被确定。由此，可以基于两个点云的表征点相对彼此的配准来实现两个点云的更精确的配准。表征点的手动求取在此可以借助相应的软件工具来实现，该软件工具使用户能够将点云的各个点标记为表征点，基于这些表征点然后可以实现多个点云的配准，在这些点云中分别标记了表征点。
-提高鲁棒性：在机器学习的意义上为了语义目的将三维环境传感器数据与二维环境传感器数据(例如激光雷达数据和图像数据)结合，有利地得到了有益效果的组合。例如，激光雷达数据的反射度相对于变换的光线条件是稳健的，并且RGB摄像机数据的纹理丰富的信息例如在良好照明的周围环境条件下支持激光数据，。
图1示出了所提出的方法的步骤的原理功能方式。可以看出，三维环境传感器数据D1(例如激光雷达数据、雷达数据、立体摄像机数据等)和二维环境传感器数据D2(例如摄像机数据)被输送给布置在测量车辆中的第一神经网络10，这些环境传感器数据彼此以限定的方式被配属(例如，通过以下方式：相应的环境传感器至少部分重叠地检测车辆的一个环境区段或通过激光雷达测量的、到摄像机图像平面上的投影来实现车辆的一个环境区段)。
三维环境传感器数据D1可以被汇总成来自激光雷达传感器的在三维点云中的测量值，所述测量值分别表示对车辆周围环境的描述。二维环境传感器数据D2例如可以是对车辆周围环境的二维图像记录，所述二维图像记录借助于相应的摄像机系统来记录。二维环境数据D2尤其可以包括RGB数据(红-绿-蓝数据)。
激光雷达数据和图像数据或RGB摄像机数据的组合能够实现对周围环境的精确的地图表示。RGB摄像机数据在此能够实现对周围环境的尽可能详细的描述并且能够实现对周围环境的各个对象的求取。激光雷达数据还提供周围环境的对象的精确的距离信息。
下面，根据一个实施例描述根据本发明的方法。该方法不应限于下面描述的示例。
在该方法的第一步骤中，记录呈三维环境传感器数据D1的三维点云形式的、要被绘制地图的车辆周围环境的激光雷达数据，并且记录呈二维环境传感器数据D2的二维图像记录形式的、要被绘制地图的车辆周围环境的图像数据。为此，车辆配备有相应的环境传感器，并且可以位于相应的测量行驶中，在该测量行驶期间，在预先确定的时间段内记录多组三维环境传感器数据D1和二维环境传感器数据D2。
在该方法的另一步骤中，三维环境传感器数据D1的三维点云被投影到二维环境传感器数据D2的二维图像记录上。为此，三维环境传感器数据D1的三维点云和二维环境传感器数据D2的二维图像记录在相同时间被记录或者描述车辆周围环境的相同区段。
通过将三维环境传感器数据D1的三维点云投影到二维环境传感器数据D2的二维图像记录上，可以给三维点云的每一个点配属二维图像记录的一个像素。
所提到的将三维环境传感器数据D1配属于或投影到二维环境传感器数据D2的图像记录上例如可以借助被良好校准的激光雷达系统和摄像机系统来实现。两个传感器的数据因此为了基于第一神经网络10进一步实现对象分割的目的而被组合成一个单个张量(Tensor)。
图1仅示意性地示出了用于执行所述方法的另一步骤所设置的第一神经网络10的结构，其中，数字定性地限定了第一神经网络10的层深度或层结构。结果，由此仅指明，由所传输的环境传感器数据D1、D2训练的第一神经网络10产生第一提取数据OD1a...OD1n，所述第一提取数据详细说明了从环境传感器数据D1、D2获得的限定的特征(例如呈车道标记的形式)。以这种方式，由三维激光雷达点云的每个点已知该点是否配属于一个对象(例如一个行车道)。
为此，在该方法的另一步骤中，通过第一神经网络10基于二维环境传感器数据D2的二维图像记录来识别周围环境的对象。在本示例中，所识别的对象是车辆运动所在的车道或车道表面。替代地，可以选择另一对象。优选地，选择包含在所记录的所有图像记录中的对象。替代于车道表面，选择可以在所有记录中被连续被求取的车道边界或类似对象。
基于之前执行的、对三维环境传感器数据D1的三维点云到二维环境传感器数据D2的二维图像记录上的投影，可以以通过第一神经网络10选择二维环境传感器数据D2的二位图像表示的像素的方式来确定三维环境传感器数据D1的三维点云的点，所述像素表示所识别的对象，也就是说车道表面，所述点在三维环境传感器数据D1的三维点云中表示所识别的对象。在三维环境传感器数据D1的三维点云中表示所识别的对象的这些点相应于三维环境传感器数据D1的三维点云的、通过投影而被投影到二维环境传感器数据D2的二维图像记录的像素中的点，所述像素描述所识别的对象。因此，通过选择二维环境传感器数据D2的二维图像记录的各个像素，实现对在三维环境传感器数据D1的三维点云中表示所识别的对象的点的选择。
为此，三维环境传感器数据D1的三维点云的、描述所识别的对象的这些点设有值“1”，而将数值0配属于三维环境传感器数据D1的三维点云的其余点。
因此，可以求取三维环境传感器数据D1的三维点云的子集，该子集包含描述所识别的对象的点。对三维环境传感器数据D1的三维点云的这些点的子集的求取可以通过第一神经网络来执行。替代地，可以使用合适的选择算法。三维环境传感器数据D1的三维点云的点的、所求取的子集(这些点描述所识别的对象)包括第一提取数据OD1a...OD1n，所述第一提取数据相应于所求取的子集的三维环境传感器数据D1的三维点云的点。
第一神经网络10可以构造为深度卷积网络并且被训练用于识别图像记录中的相应对象(在本示例中是车道表面)，并且必要时求取图像记录的各个像素，所识别的对象由这些像素来表示。
在另一方法步骤中，将第二神经网络20应用于第一提取数据OD1a...OD1n，即应用于三维环境传感器数据Dl的三维点云的所求取的子集的点，这些点描述所识别的对象，即所识别的车道表面。第二神经网络20在此被训练用于确定由第一神经网络10所识别的对象的表征点。所识别的对象的表征点在此可以是对象边缘的点，例如角点。在将车道表面识别为所识别的对象的本实施方式中，表征点可以是车道边界的点和/或相应车道标记的点。
除了求取表征点之外，第二神经网络还针对所求取的对象即道路表面的所求取的表征点中的每一个表征点提供一个描述符，该描述符包括与所求取的表征点相关的语义信息。例如，该描述符可以包括与所识别的对象内的点的取向相关的信息或包括以下信息：对应的点属于所识别的对象的哪个部分。在本示例中，该描述符例如可以说明该对应的点属于哪个车道标记。此外，其他信息，例如关于哪些附加的点属于同一车道标记的信息，可以包含在对应的描述符中。替代地，在每个描述符中可以包括与此处列出的信息不同的附加信息。
第二个神经网络可以构造为这样一个神经网络，其设置为用于将点云，尤其是三维点云，处理为输入数据。由现有技术已知不同的解决方案：
Qi CR,Yi L,Su H,Guibas LJ.PointNet++：度量空间中点集的深层特征学习进展，神经信息处理系统，2017年第5099至5108页。
此外，第二神经网络20在相应的训练过程中被训练为用于在对象的三维点云中识别描述对应的对象的表征性特征的表征点，并为这些表征点设置相应的语义信息。为此，第二神经网络20可以在训练过程中基于呈对象的三维点云形式的训练数据来训练，其中，在所述训练数据中标记相应的表征点，并且各个点或者由表征点表示的对象特征与之有关地设有呈语义信息形式的描述符。在所述示例中，可以用呈具有标记和边界以及相应表征点的车道表面的三维点云形式的训练数据来训练第二神经网络20。
所识别的对象的、在该方法中由第二神经网络20求取的表征点可以汇总为第一提取数据OD1a，...，OD1n的子集和第二提取数据OD2a，...，OD2n。
针对二维环境传感器数据D2的不同二维图像记录和分别针对待绘制地图的车辆周围环境的邻接区段所记录的三维环境传感器数据D1的相应三维点云可以分别识别相同的对象、例如车辆行驶所在的并因此被在各个图像记录中的每一个图像记录中所映射的车道表面并且可以确定相应的第一提取数据OD1a，...，OD1n，所述第一数据分别表示三维环境传感器数据D1的三维点云的点的子集，这些点在三维环境传感器数据D1的三维点云中相应于所识别的对象。
由第一提取数据OD1a，...，OD1n，可以求取呈所求取的对象的表征点形式的第二提取数据OD2a，...，OD2n。由于针对三维环境传感器数据的不同三维点云的第一提取数据OD1a，...，OD1n的不同组记录所识别的对象的、呈第二提取数据OD2a，...，OD2n的形式的相同表征点，因此对于三维环境传感器数据D1的多个三维点云中的每一个三维点云存在一个数据点集，这些数据点可以用作用于三维环境传感器数据D1的多个三维点云相对彼此配准的参考点，因为对于这些数据点中的每一个数据点在其他三维点云中包含有相应的点。
因此，为了将三维环境传感器数据D1的不同三维点云相对彼此配准，已足够的是：实现第二提取数据OD2a，...，OD2n的不同组的配准。由于使第二提取数据OD2a，...，OD2n的不同组的彼此相应的表征点全等，也就是说由于实现了不同三维点云的这些点的配准，因此同时实现了三维环境传感器数据D1的各个三维点云相对彼此的配准。因此，为了使不同的三维点云配准，仅需要考虑在数据容量方面明显更小的第二提取数据OD2a，...，OD2n组。
第二提取数据OD2a，...，OD2n的多个组的配准可以通过合适的配准算法、例如通过RANSAC算法来执行。
图2示出了所提出的用于提供数据来创建高分辨率数字地图(未示出)的电子设备100的原理框图。
在图2中说明，呈对象点云数据形式的第一提取数据OD1a...OD1n被传输给第二神经网络20，该第二神经网络从第一提取数据OD1a...OD1n的每个对象点云中提取出具有角点或表征点以及配属的描述符的第二提取数据OD2a...OD2n。
角点或表征点在此更详细地限定了所提取的对象(例如对象的坐标，例如行车道中心、中央、边缘等)。借助描述符(例如以对象的尺寸说明的形式)可以更详细地描述所提取的对象，其中，假设同一对象的描述符至少是相似的，理想情况下是相同的。在此，描述符例如可以例如以向量的形式详细说明表征性特征的尺寸说明。第二提取数据OD2a...OD2n现在被传输给地图创建单元(未示出)，该地图创建单元例如可以布置在云中，优选地无线地或基于无线电地被传输。
在随后的地图创建过程中，借助第二提取数据OD2a...OD2n的表征性特征和描述符可以以简单的方式将第二提取数据OD2相互配准并从而以低数据成本来创建高分辨率数字地图。
因此，借助地图创建单元，以这种方式利用各个描述符来执行所提到的第二提取数据OD2a...OD2n的配准。所提到的第二提取数据OD2a...OD2n的所述配准例如可以借助基于RANSAC(英文：random sample consensus随机样本一致性)变换来执行，所述RANSAC变换利用第二提取数据OD2a...OD2n执行稳健的六自由度(DOF：自由度)变换。六自由度变换在此包括用于三个平移自由度和三个旋转自由度。在此，数据帧(Rahmen der Daten)借助六自由度变换相互转换。RANSAC方法实现了第二提取数据OD2a...OD2n的各个数据组之间的补偿，所述数据组因此可以有效地用于创建数字地图。
所提出的方法可以由单个测量车辆在不同时间点来执行或者也可以由多个测量车辆来执行，由此可以提供多样的提取数据OD1a...OD1n、OD2a...OD2n。
在无法从环境传感器数据中提取合适对象的情景中，追溯策略(Rückgriffstrategie)例如可以在于利用完整的环境传感器数据。为了在这种情况下有效地处理环境传感器数据，可以事先设置所提到的数据的降采样(downsampling)。
也可以在呈经压缩的雷达数据云形式的三维环境传感器数据的情况下考虑所提出的方法。在此，例如可以对原始雷达数据进行压缩和聚类，这些原始雷达数据体现为高斯混合模型。在这种情况下，簇(Cluster)的本地位置被用作3D位置，其中，平均值和协方差被用作这些点的特征，这些点表示一定的不确定性并且作为另外的参数被传输给第一神经网络10，用于提取第一提取数据OD1a...OD1n。
所提到的神经网络10、20的训练过程优选地借助合适的训练数据离线地进行，在所述训练数据的情况下，分别为每个神经网络10、20限定一个在训练过程中要由所述每个神经网络实现的单独的学习目标。在此，第一神经网络10优选地构造为深度卷积网络，并且第二神经网络20构造为基于点云的神经网络，例如PointNet++。相应的学习目标被限定，其中，执行对神经网络10、20的所述训练直到实现对应的学习目标。
优选地，利用两个神经网络10、20完全在车辆中执行所提出的方法。
尽管之前带有呈行车道或车道表面形式的对象地公开了该方法，然而当然也可以考虑从环境传感器数据D1、D2中提取其他的或附加的对象，例如呈车道边界、交通标志、建筑物等形式的对象。
因此，所提出的方法优选地独立于特定的特征类型和所输送的环境传感器数据的维度。
有利地，根据本发明的方法可以实现为软件，所述软件例如在车辆中的设备100上运行。以这种方式支持了该方法的可简单适应性。
图3强烈示意地示出了所提出方法的原理流程。
在步骤200中，在物理系统、优选车辆的测量行驶期间检测环境的环境传感器数据D1、D2，其中，环境传感器数据D1、D2至少部分重叠地反映所述环境，其中，第一环境传感器数据D1具有三维信息，并且其中，第二环境传感器数据D2具有二维信息。
在步骤210中，借助布置在物理系统中的第一神经网络10，从第一和第二环境传感器数据D1、D2中提取至少一个限定的对象成为第一提取数据OD1。
在步骤220中，最后借助布置在物理系统中的第二神经网络20从第一提取数据OD1中提取具有描述符的表征性特征成为第二提取数据OD2，其中，所述描述符设置用于在地图创建过程中以限定的方式配准第二提取数据OD2。
本领域技术人员将以合适的方式修改本发明的特征和/或将它们彼此组合而不偏离本发明的本质。

Claims (11)

1.一种用于提供用于创建数字地图的数据的方法，所述方法具有以下步骤：
-在物理系统的、优选车辆的测量行驶期间检测环境的环境传感器数据(D1,D2)，其中，这些环境传感器数据(D1,D2)至少部分重叠地反映所述环境，其中，第一环境传感器数据(D1)具有三维信息，并且其中，第二环境传感器数据(D2)具有二维信息；
-借助布置在所述物理系统中的第一神经网络(10)从所述第一环境传感器数据(D1)和所述第二环境传感器数据(D2)中提取至少一个限定的对象成为第一提取数据(OD1a...OD1n)；和
-借助布置在所述物理系统中的第二神经网络(20)从所述第一提取数据(OD1a...OD1n)中提取带有描述符的表征性特征成为第二提取数据(OD2a...OD2n)，其中，所述描述符设置用于在地图创建过程中限定地配准所述第二提取数据(OD2a...OD2n)。
2.根据权利要求1所述的方法，其中，以下中的至少一个被用作第一环境传感器数据(D1)：雷达数据、激光雷达数据、立体摄像机数据，并且其中，摄像机数据被用作第二环境传感器数据(D2)。
3.根据权利要求1或2所述的方法，其中，所输送的数据的限定的不准确性区域被用作神经网络(10,20)的输入数据。
4.根据上述权利要求之一所述的方法，其中，所述表征性特征和所述描述符更详细地限定所求取的对象。
5.根据权利要求4所述的方法，其中，所述描述符限定所述表征性特征的尺寸说明。
6.根据上述权利要求之一所述的方法，其中，在不同时间点提供来自所述物理系统的和/或多个物理系统的不同行驶的环境传感器数据。
7.根据上述权利要求之一所述的方法，其中，至少一个所识别的对象是以下之一：车道标记、交通标志、车道、斑马线、交通指示牌、建筑物。
8.根据上述权利要求之一所述的方法，其中，将提取的所述第二环境传感器数据(OD2a...OD2n)传输给地图创建单元。
9.根据上述权利要求之一所述的方法，其中，所述第一神经网络(10)是深度卷积神经网络，并且所述第二神经网络(20)是基于点云的神经网络。
10.一种用于提供用于创建数字地图的数据的设备(100)，所述设备具有：
-第一神经网络(10)，其设置为用于从第一环境传感器数据(D1)和第二环境传感器数据(D2)中提取至少一个限定的对象成为第一提取数据(OD1a...OD1n)，其中，所述环境传感器数据(D1,D2)至少部分重叠地反映环境，其中，第一环境传感器数据(D1)包含三维信息，并且其中，第二环境传感器数据(D2)包含二维信息；和
-第二神经网络(20)，其设置为用于从所述第一提取数据(OD1a...OD1n)中提取带有描述符的表征性特征成为第二提取数据(OD2a...OD2n)，其中，所述描述符设置为用于限定地配准所述第二提取数据(OD2a...OD2n)。
11.一种计算机程序产品，其具有程序代码单元，所述程序代码单元用于当所述计算机程序产品在用于提供用于创建数字地图的数据的电子设备(100)上运行或存储在计算机可读的数据载体上时执行根据权利要求1至9之一所述的方法。
CN202111094075.7A 2020-09-17 2021-09-17 提供用于创建数字地图的数据的方法和设备及程序产品 Pending CN114199223A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020211636.9A DE102020211636A1 (de) 2020-09-17 2020-09-17 Verfahren und Vorrichtung zum Bereitstellen von Daten zum Erstellen einer digitalen Karte
DE102020211636.9 2020-09-17

Publications (1)

Publication Number Publication Date
CN114199223A true CN114199223A (zh) 2022-03-18

Family

ID=80351319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111094075.7A Pending CN114199223A (zh) 2020-09-17 2021-09-17 提供用于创建数字地图的数据的方法和设备及程序产品

Country Status (3)

Country Link
US (1) US11941892B2 (zh)
CN (1) CN114199223A (zh)
DE (1) DE102020211636A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651012B1 (ko) * 2021-11-24 2024-03-25 (주)스마트레이더시스템 4차원 레이더 신호처리 장치
DE102022207771A1 (de) 2022-07-28 2024-02-08 Continental Autonomous Mobility Germany GmbH Verfahren und System zur dynamischen Reduzierung der Komplexität einer 3D-Karte

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
DE102017108248A1 (de) 2016-04-19 2017-10-19 GM Global Technology Operations LLC Strassenmerkmalserkennung mit einem fahrzeugkamerasystem
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US20190147255A1 (en) 2017-11-15 2019-05-16 Uber Technologies, Inc. Systems and Methods for Generating Sparse Geographic Data for Autonomous Vehicles
US10657390B2 (en) * 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
US10528054B2 (en) 2017-12-18 2020-01-07 GM Global Technology Operations LLC Detecting features from multi-modal images
DE102018109680A1 (de) 2018-04-23 2019-10-24 Connaught Electronics Ltd. Verfahren zum Unterscheiden von Fahrbahnmarkierungen und Bordsteinen durch parallele zweidimensionale und dreidimensionale Auswertung; Steuereinrichtung; Fahrassistenzsystem; sowie Computerprogrammprodukt
DE102018216172A1 (de) 2018-09-21 2020-03-26 Audi Ag Verfahren zum automatischen Erzeugen eines Labels zum Trainieren eines selbstlernenden Systems sowie Kraftfahrzeug
JP7060625B2 (ja) * 2019-01-30 2022-04-26 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 自動運転車において３ｄｃｎｎネットワークを用いてソリューション推断を行うｌｉｄａｒ測位

Also Published As

Publication number Publication date
DE102020211636A1 (de) 2022-03-17
US11941892B2 (en) 2024-03-26
US20220083792A1 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
CN110415277B (zh) 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN104778721A (zh) 一种双目图像中显著性目标的距离测量方法
CN105989334B (zh) 基于单目视觉的道路检测方法
CN112699834B (zh) 交通标识检测方法、装置、计算机设备和存储介质
CN114199223A (zh) 提供用于创建数字地图的数据的方法和设备及程序产品
CN112801236B (zh) 图像识别模型的迁移方法、装置、设备及存储介质
CN111256693B (zh) 一种计算位姿变化方法及车载终端
CN106558051A (zh) 一种改进的从单幅图像检测道路的方法
Yuan et al. Image feature based GPS trace filtering for road network generation and road segmentation
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN113255578A (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN111382870A (zh) 训练神经网络的方法以及装置
CN111928857A (zh) 一种动态环境中实现slam定位的方法及相关装置
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN112444251A (zh) 车辆行车位置确定方法、装置、存储介质及计算机设备
CN112215205B (zh) 目标识别方法、装置、计算机设备和存储介质
CN115661444A (zh) 图像处理方法、装置、设备、存储介质及产品
CN115358981A (zh) 胶水缺陷的确定方法、装置、设备及存储介质
CN114913330A (zh) 点云部件分割方法、装置、电子设备与存储介质
CN117011566A (zh) 一种目标检测方法、检测模型训练方法、装置及电子设备
CN113902047A (zh) 图像元素匹配方法、装置、设备以及存储介质
Namazi et al. Identifying and counting vehicles in multiple lanes by using a low-cost vehicle-mounted sensor for intelligent traffic management systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination