CN111639663B - 多传感器数据融合的方法 - Google Patents

多传感器数据融合的方法 Download PDF

Info

Publication number
CN111639663B
CN111639663B CN202010128041.4A CN202010128041A CN111639663B CN 111639663 B CN111639663 B CN 111639663B CN 202010128041 A CN202010128041 A CN 202010128041A CN 111639663 B CN111639663 B CN 111639663B
Authority
CN
China
Prior art keywords
coordinate system
sensor
data set
data
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010128041.4A
Other languages
English (en)
Other versions
CN111639663A (zh
Inventor
苏煜
朱维檬
M·莫伊特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN111639663A publication Critical patent/CN111639663A/zh
Application granted granted Critical
Publication of CN111639663B publication Critical patent/CN111639663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0057—Block codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • H04L7/002—Arrangements for synchronising receiver with transmitter correction of synchronization errors correction by interpolation
    • H04L7/0029—Arrangements for synchronising receiver with transmitter correction of synchronization errors correction by interpolation interpolation of received data signal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/006—Interpolation; Extrapolation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

多传感器数据融合的方法。一种多传感器数据融合的方法包括以下步骤：借助于多个传感器确定多个第一数据集，各个第一数据集与多个传感器坐标系中的相应一个相关联，并且各个传感器坐标系是根据所述传感器的多个安装位置中的相应一个定义的；借助于变换规则将第一数据集变换为多个第二数据集，各个第二数据集与统一坐标系相关联，统一坐标系是根据至少一个预定参考点定义的；以及通过融合第二数据集来确定至少一个融合数据集。

Description

多传感器数据融合的方法
技术领域
本公开涉及多传感器数据融合的方法。
背景技术
多传感器数据融合的方法包括从各种传感器收集数据，然后将所述数据合并在一起。例如，不同类型的传感器可以用于获取关于环境的传感器专用视图，其中，传感器专用视图被融合到一个单一的统一视图中。视情况而定，传感器专用视图可能会部分冗余，并且融合的目的可能是提取一个统一视图，该统一视图比单独的视图更强大。例如，统一视图可以比每个单一视图更可靠或可以承载更多信息。传感器专用视图可以用传感器专用格式表示，该格式可能偏离统一视图的所需目标格式。
在一个特定的示例中，现代汽车感知系统需要多个传感器，这些传感器的类型会有所不同，例如，可能有用于拍摄图像或视频的图像传感器(例如，摄像头)、由雷达系统形成的用于借助于雷达波拍摄“三维图像”(有时称为包括例如深度和/或速度信息的点云)的另一传感器、以及由LiDAR-(光检测和测距)系统形成的用于通过使用激光射线提供进一步图像的又一传感器。这些传感器或其他传感器安装在车辆上的不同安装位置(例如，前、后或侧面)。因此，从不同的视点(即，从不同的视角)捕获图像。通过使用多传感器数据融合，由不同传感器捕获的所有信息应被合并，以便推断出精确且鲁棒的感知结果。从本领域已知各种融合算法。
近年来，发现通过机器学习(例如神经网络等)导出的模型已广泛用于处理图像数据。特别的，深度卷积神经网络(CNN)对于各种感知任务(例如对象检测和语义分割)都取得了巨大的成功。在汽车感知系统中，神经网络的输入例如可以是多维张量，例如具有多个通道的2-D图像或在空间坐标系中定义的3-D体素。神经网络不会改变空间表示；因此，输出是在与输入相同的坐标系中定义的。
如果使用多个传感器，则通常借助于神经网络分别处理每个传感器输出。这是因为传感器输出可能具有不同的定义，并且借助于一个单一神经网络将它们一起处理会降低准确度。因此，传感器输出的融合可以包括这样的步骤：找到对象之间的对应关系或处理后的传感器输出之间的其他信息块(例如，在两个不同的特征图中识别同一对象)。尽管取得了一些成功，但也发现鲁棒性仍未达到令人满意的水平。
因此，需要提高多传感器数据融合的准确性。
发明内容
根据一个方面，一种多传感器数据融合的方法包括以下步骤：
-借助于多个传感器确定多个第一数据集，各个第一数据集与多个传感器坐标系中的相应一个相关联，并且各个所述传感器坐标系是根据所述多个传感器的多个安装位置中的相应一个来定义的；
-借助于变换规则将多个第一数据集变换为多个第二数据集，各个第二数据集与至少一个统一坐标系相关联，所述统一坐标系是根据至少一个预定参考点来定义的；以及
-通过融合第二数据集来确定至少一个融合数据集。
已经发现，传感器专用视图与融合之后的期望目标视图之间的差异是有问题的，并且需要特别注意。这至少在将神经网络技术用于处理单独的传感器数据集时是适用的，但不限于此方面。已发现神经网络不适合于处理来自不同传感器的多个输出，因为它们的坐标系是不一致的。
原则上，有可能通过将传感器数据集分开处理直到最后的融合步骤来避免所述不一致。然而，已经发现，该方法不提供公共坐标系中的中间特征。相反，例如，当使用包括各种层的神经网络时，仅相对于单独的传感器坐标系提供中间特征。因此，丢失了一些相关信息，这些信息可以通过相对于一个公共坐标系对传感器输出进行联合处理来提取。因此，即使是深度神经网络也无法发挥其全部功能。
一个方面是变换规则，变换规则形成传感器坐标系与统一坐标系之间的联系。注意，变换规则可以被视为用于相对于统一坐标系来补偿或均衡各个传感器坐标系之间的差异的手段。已经发现，该方法提高了多传感器数据融合的总体准确度。
通常，各个传感器可以具有自己的传感器坐标系，即，各个传感器与传感器坐标系中的相应一个相关联。例如，摄像头可以与投影坐标系相关联，而RADAR和/或LiDAR传感器可以与笛卡尔或极坐标系相关联。也就是说，各个传感器坐标系可以取决于传感器的类型。另外，各个传感器坐标系可以取决于对应的传感器的安装位置。换句话说，各个传感器可以根据其安装位置而具有其局部坐标系。通常，各个传感器可以被配置为捕获该传感器周围的环境。
统一坐标系也可以称为目标坐标系，该坐标系中应提供目标信息，即，融合数据集。统一坐标系可以是例如笛卡尔坐标系。尽管在一些应用中可以仅使用单一的统一坐标系，但是对于特定的感知任务可以采用多个统一坐标系。
在一个应用中，所述方法可以被结合到汽车感知系统中，其中，多个传感器被安装在车辆上。然后可以借助于神经网络来处理传感器的输出，即，第一数据集，其中，各个数据集从它们各自的传感器坐标系变换到统一坐标系。优选地，在融合变换后的数据集(即，第二数据集)之前应用该变换。应当理解，第一数据集和第二数据集中的每一个优选地与用于确定相应数据集的传感器相关联。因此，当应用变换规则时，对于各个第一数据集，已知哪个传感器坐标系是适用的。
通常，各个第一数据集和/或各个第二数据集可以包括一个或更多个数据值。这些数据值可以具有任何形式并且可以例如由标量值形成，这些标量值与指示传感器的对应坐标系中的位置的一个或更多个坐标相关联。如果例如传感器之一是图像传感器，则数据值可以由与相应位置相关联的像素值(例如，x轴和y轴上的坐标值)形成。在雷达系统的情况下，数据值可以由与雷达传感器的视场中的相应位置相关联的点形成(这些点可以携带距离和/或深度信息)。可以在极坐标中定义相应的位置，即，借助于角度和半径。
第一数据集和/或第二数据集也可以称为数据图或特征图，其中，各个图可以包括多个点(即，数据值)，这些点在一起也可以解释为点云。
在一个实施方式中，变换规则包括用于将数据值从多个传感器坐标系中的相应一个变换到统一坐标系和反之将数据值从统一坐标系变换到多个传感器坐标系中的相应一个的多个预定坐标变换，其中，多个预定坐标变换基于安装位置与至少一个参考点之间的固定关系。例如，针对各个传感器可以存在一个坐标变换。变换规则和/或坐标变换可以存储在存储装置中。
优选地，根据车辆来定义安装位置和至少一个参考点，特别是其中，参考点位于车辆的预定部件(例如，前保险杠或后轴)上并且安装位置位于车辆的可能与参考点的部件不同的多个预定部件中。固定关系可以取决于车辆，因此可以按照变换规则以预定方式进行编码。假定所述关系不随时间变化。然而，可以规定，定期地或者根据相关的变化来更新所述固定关系。例如，在所需安装位置与实际安装位置之间的微小偏差变得重要时(例如，由于制造公差或操作影响)，可能会出现这种情况。
变换规则可以包括一个或更多个变换矩阵，所述变换矩阵存储在例如车辆中的存储装置中。各个坐标变换可以与定义该坐标变换的变换矩阵相关联。
在另一实施方式中，变换规则包括映射规则，映射规则包括针对多个传感器坐标系中的相应一个的多个第一位置的至少一个定义以及针对统一坐标系的多个第二位置的定义。另外，映射规则还包括各个第二位置到至少一些第一位置的映射。各个传感器坐标系可以与第一位置和映射的相应定义相关联。第二位置的定义优选为恒定的。
进一步考虑映射规则，对第一数据集中的相应一个进行变换可包括：基于相应的第一数据集的源值，针对各个第二位置来确定相应的第二数据集的目标值，所述源值位于根据映射规则映射到相应第二位置的第一位置处。因此，根据映射，各个第二位置与第一位置中的至少一个或优选地与第一位置的子集相关联。这可以看作是定义基础(underlying)坐标系之间的空间对应关系。
可以理解，映射是在从统一坐标系到相应的传感器坐标系的方向上定义的，这具有实际的优点。然而，映射规则原则上也可以在相反的方向上定义。
源值可以由多个第一数据集中的相应一个中的数据值形成，其中，这些数据值是根据映射通过第一位置导出或定义的。如果在被映射到相应的第二位置的第一位置处没有数据值，则可以规定，选择最接近的数据值作为源值。为此，可以将一个或更多个舍入运算并入到映射规则中，以从相应的第一数据集中选择源值。
可以规定，第一位置对应于第一规则网格的单元，该第一规则网格与传感器坐标系中的相应一个适配。附加地或另选地，第二位置可以对应于第二规则网格的单元，该第二规则网格与统一坐标系适配。使用网格可以减少涉及的数据量，其中，数据集中的主要复杂度减少到有限数量的单元或点。相应的单元可以由预定区域形成，该预定区域由网格限定。
变换规则可以进一步包括插值规则，该插值规则是可微的，并且其中，确定目标值包括根据源值进行插值，特别是其中，插值为双线性插值。当使用神经网络来处理数据集时，优选地，插值规则(其可以通过插值函数形成)是可微的。因此，结合变换规则，可以确保对神经网络进行高效且明确定义的训练。
在一个示例中，第一数据集中的至少一个与作为极坐标系的传感器坐标系相关联，并且其中，统一坐标系是笛卡尔坐标系。统一坐标系可以是与预定义对象(特别是车辆)相关联的全局坐标系。如果统一坐标系与车辆关联，则该坐标系也可以称为车辆坐标系。
根据另一实施方式，确定第一数据集包括借助于多个传感器获取多个原始数据集的步骤。在另一步骤中，可以基于原始数据集提取第一数据集，其中，借助于一个或更多个神经网络、或者全局神经网络的部分，从原始数据集提取第一数据集，特别是其中，一个或更多个神经网络或者全局神经网络是卷积神经网络。已经发现，在某些情况下，不将变换规则应用于原始数据集是有益的，尽管原则上是可行的(在这种情况下，原始数据集可被视为第一数据集)。相反，优选地借助于神经网络技术从原始数据集提取第一数据集。所得的第一数据集也可以视为特征图，这是神经网络领域的常用术语。尽管原始数据是借助于神经网络处理的，但所得的第一数据集仍可以表示相对低级别的特征。因此，到统一坐标系的变换仍然可以出现在整个处理链的早期。应当理解，第二数据集也可以称为第二特征图。
在执行融合步骤之前，可以借助于一个或更多个神经网络、或者全局神经网络的部分来处理第二数据集，其中，一个或更多个神经网络或者全局神经网络优选地由一个或更多个卷积神经网络形成。可以进一步处理融合数据集以提取语义信息，例如关于对象边界的信息或常规分割数据。
通常，可以在应用的框架内根据需要使用融合数据集。例如，如果安装在车辆上的多个传感器的数据被处理，则融合数据集可以用于车辆的自动化控制。以这种方式，可以实现自动化驾驶应用，特别是自主驾驶。
原则上，有不同的方法来融合第二数据集。然而，已经发现以下两种策略与上面进一步描述的方面结合是有用的。
作为一种选择，融合可以包括将第二数据集中的至少一些堆叠在一起，然后借助于神经网络(特别是卷积神经网络)进一步处理。优选地，将所有第二数据集堆叠在一起。例如，第二数据集可以垂直于数据集的维度被连接(concatenated)。堆叠的数据集可以形成张量。
作为另一选择，可以执行特征或数据选择方法。当第二数据集与多个特征类型相关联时，可以做到这一点，即，对于给定的传感器，提供了不同的第一或第二数据集，其中，各个第一数据集对应于一个特征类型。然后，融合可以包括：通过按特征类型来堆叠第二数据集中的至少一些(优选地，所有第二数据集)或一部分，确定第二数据集的组(即子集)，其中，借助于一个或更多个神经网络、或者全局神经网络的部分来处理第二数据集的各个组。一个或更多个神经网络或者全局神经网络优选为卷积神经网络。
从上面可以明显看出，所述方法或其部分优选地借助于神经网络(特别是卷积神经网络)来执行。特别地，可以采用多个神经网络并将所述多个神经网络与变换规则相结合。这就是说，变换步骤可以在并入神经网络或与若干神经网络结合的专用变换模块中执行。如本文中所提及的，神经网络可以彼此不同。在这种情况下，可以对网络进行编号。然而，可以规定，某些网络(例如全局网络)是由一个单一网络形成的。
本公开还涉及一种通过使用基于梯度的训练方法来训练用于多传感器数据融合的神经网络的方法，该方法包括以下步骤：-借助于多个神经网络或者神经网络的部分来处理梯度；-借助于预定的变换规则在两个相邻的神经网络之间或者神经网络的部分之间变换梯度。该变换可以与上面进一步阐述的相同。
根据本公开的另一方面，提供了一种用于多传感器数据融合的装置，该装置包括：用于从多个传感器接收数据集的输入部；以及用于提供融合数据集或基于融合数据集确定的信息的输出部，其中，该装置被配置为执行根据前述实施方式之一的方法。该装置可以由具有处理器和存储单元的处理装置形成，所述方法的指令存储在该存储单元中。当执行这些指令时，使处理器执行所述方法。
根据另一方面，提供了一种被配置为执行多传感器融合的车辆。该车辆包括在安装在车辆上的不同安装位置处的多个传感器以及连接到传感器的控制单元，其中，控制单元被配置为根据借助于所述装置确定的至少一个融合数据集来对车辆进行控制。
应当理解，结合方法描述的特征可以在装置中实现，反之亦然。
附图说明
以下将参照附图更详细地描述本公开的示例性实施方式和功能。附图中：
图1示出了多传感器数据融合的方法的示例性实施方式的示意图。
图2示出了多传感器数据融合的方法的另一实施方式的示意图。
图3示出了多传感器数据融合的方法的一方面的示意图。
图4示出了多传感器数据融合的方法的另一方面的示意图。
图5示出了多传感器数据融合的方法的又一方面的示意图。
具体实施方式
在图1中，例示了多传感器数据融合的方法，其中，两个传感器10a和10b安装在装置(未示出)上的预定安装位置处。传感器10a、10b在图1中也表示为S和S'。应理解，也可以使用多于两个传感器。传感器10a可以是例如用于拍摄二维图像的摄像头。另一传感器10b可以是用于拍摄包含速度信息的雷达图像的雷达传感器。这些雷达图像有时称为点云。
借助于传感器10a和10b，分别在步骤12a和12b中获取原始数据集14a和14b。原始数据集14a、14b中的每一个可以包括多个数据点，这些点中的每一个点与空间位置相关联(例如，参见图2中的图(map)15)。数据点可以由像素值(例如，当传感器是图像传感器时)形成或者由借助于雷达(雷达传感器)或其他电磁波(例如激光(激光雷达))获取的检测点形成。
在步骤16a和16b中分别从原始数据集14a和14b提取第一特征图(feature map)18a和18b。可以通过使用预定义的计算机实现的模型来提取第一特征图18a、18b，在期望的使用之前通过机器学习来训练该模型，即，可以例如通过神经网络等形成用于提取的模型。在步骤16a、16b中使用的模型可以相同或不同。
第一特征图18a、18b表示数据集，并且通常可以包括多个数据点。第一特征图18a、18b的结构可以与原始数据集14a、14b的结构相同或相似。然而，特征图18a、18b还包括专用传感器坐标系中的特征的一种或更多种表示。特别地，特征图18a表示传感器10a的传感器坐标系中的特征数据(例如，具有某种含义或可靠性的数据点)。同样，特征图18b表示传感器10b的传感器坐标系中的特征数据。根据传感器10a、10b的相应安装位置来定义这些传感器坐标系，下面将对其进行详细说明。
在步骤22a、22b中，将特征图18a和18b变换到统一坐标系中，即，在变换之后，在同一坐标系中表示特征图18a和18b的数据。优选地独立于传感器10a、10b的传感器坐标系来定义统一坐标系。取而代之，根据对象处的预定参考点(例如，车辆上的预定位置)来定义统一坐标系。
变换后的特征图20a和20b被称为第二特征图。然后，在步骤24中将第二特征图20a、20b融合在一起。这导致至少一个融合数据集35。
在图2中，例示了传感器数据融合的方法的另一实施方式。借助于四个传感器10a、10b、10c、10d获取多个图15，这些传感器全部安装在车辆V的外侧角部处。这种布置仅仅是示例，可以选择任何合适的安装位置进行安装，即，将传感器安装在车辆V上。在图2中，图15对应于原始数据集14a、14b、14c和14d，其中，可以将图15解释为原始数据集14a、14b、14c和14d的可视化。
然后，通过卷积神经网络26中的相应一个来处理数据集14a、14b、14c、14d中的每一个。可以将该步骤解释为特征提取(参见图1中的步骤16a、16b)，这导致多个第一特征图18a、18b、18c和18d，其中，特征图18a对应于原始数据集14a的处理后的版本，特征图18b对应于原始数据集14b的处理后的版本，依此类推。
然后将多个映射28应用于第一特征图18a、18b、18c和18d。特别地，每个映射28对应于将专用映射规则应用于第一特征图18a、18b、18c、18d中的相关的一个的步骤。也就是说，按照变换规则对第一特征图18a、18b、18c、18d中的每一个进行变换，该变换规则是根据用于提供第一特征图18a至18d中的相应一个的传感器10a至10d中的相应一个而定义的。在图2的示例中，用于第一特征图18a的映射取决于传感器10a的安装位置。同样，应用于第一特征图18b的映射取决于传感器10b的安装位置。以相同的方式，用于特征图14c和14d的映射分别取决于传感器10c和10d的安装位置。如结合图1已经指出的，第一特征图18a至18d全部与相应的传感器坐标系相关联。相比之下，变换后的特征图20a至20d全部在同一统一坐标系中表示。因此，对传感器输出的处理包括传感器坐标阶段30，以及在映射28之后的统一坐标阶段32。将在下面结合图3进一步描述变换规则的示例性细节，即，映射28。
映射28的输出是第二特征图20a、20b、20c和20d。然后，借助于卷积神经网络26'进一步处理第二特征图20a、20b、20c、20d，这给出了第二特征图20a、20b、20c和20d的处理后的版本20'a、20'b、20'c和20'd。网络26被配置为进一步改善特征并且准备这些特征以借助于融合网络34将它们融合在一起。融合网络34的示例在下面结合图4和图5进一步说明。然后，借助于一个或更多个网络36(例如神经网络)进一步处理所得的融合后的特征图35，以执行预定义的感知任务，这可以包括语义分割，以便识别融合后的特征图35中的对象边界。
可以理解，在融合特征图20'a至20'd之前，对多个图15的处理一直是分开的。然而，考虑到获得期望的感知任务的高准确度，已经在融合之前应用了映射28，这允许改进的后续处理。
变换规则的示例性细节如图3所示，其基本上将图2中的映射28之一可视化。在图3的左侧，示出了传感器坐标系38，其为极坐标系。这意味着数据点的位置在坐标系38中是借助于具有尺寸角度(dimension angle)42和半径44的坐标值来描述的。在图3的右侧，示出了统一坐标系40，其为笛卡尔坐标系。统一坐标系40包括彼此正交的x轴46(纬度)和y轴48(经度)。为了进一步说明变换的本质，统一坐标系40设有网格50，该网格限定了多个单元54。这些单元54对应于具有规则尺寸的正方形，以便指示统一坐标系中的离散位置。优选地，每个单元54的位置是通过相对于x轴和y轴的一对整数坐标值描述的。
传感器坐标系38设有另一网格52，该网格与坐标系的类型(即，极坐标系)适配。网格52限定了具有梯形形状的多个单元56。单元56的大小随半径44的增加而增加。
现在针对单元54中的相应一个单元(即，目标单元58)来描述变换规则的定义。目标单元58对应于作为第二特征图14a至14d之一的一部分的数据值的位置。基于与传感器坐标系38中的源单元60相关联的数据值来确定目标单元58的特征值。在图3中，如箭头所示，目标单元58被映射到源单元60。此映射表示位于相关单元58和60处的数据值之间的一般空间关系。除了映射之外，还可以从与源单元60匹配的数据值来插值目标单元58的数据值，优选地，使用双线性插值。
从根据源单元60对目标单元58的定义可以理解，第一特征图18a至18d到第二特征图20a至20d的变换是在相反的方向上进行的。这意味着对于统一坐标系40中的各个单元54(例如，单元58)，在传感器坐标系38中识别出关联的单元60。
在传感器坐标系38和统一坐标系40与同一原点对齐的假设下，极坐标(Ri,Ai)(即，半径44和角度42)与笛卡尔坐标(Xi,Yi)(即，x轴46和y轴48)之间的关系可以表示为：
Ri＝sqrt(Xi*Xi+Yi*Yi),
Ai＝arctan(Xi/Yi),
其中，sqrt()表示平方根函数，arctan()表示反正切函数。应当理解，尽管将坐标(Xi,Yi)设置为整数值，但是所得的坐标值(Ri,Ai)通常将是浮点值。因此，可以使用插值以便提高准确度。
如上面进一步指出的，双线性插值是优选的。根据上式，确定浮点值(Ri,Ai)。然而，第一特征图18a至18d可以仅包括整数坐标值处的数据值。然后，可以通过舍入运算确定源单元60：(floor(Ri),floor(Ai))、(floor(Ri),ceil(Ai))、(ceil(Ri),floor(Ai))和(ceil(Ri),ceil(Ai))，其中，floor()和ceil()是舍入运算(floor()是向下舍入，ceil()是向上舍入)。源单元60的对应单元值表示为Vff、Vfc、Vcf、Vcc。
单元58的目标特征值的双线性插值可以用公式表示为：
V(Xi,Yi)＝V(Ri,Ai)＝1/((ceil(Ri)-floor(Ri))*(ceil(Ai)-floor(Ai)))*[ceil(Ri)-RiRi-floor(Ri)]*[VffVfc；VcfVcc]*[ceil(Ai)-Ai Ai-floor(Ai)]’,
其中，[]表示向量，并且[]'表示向量的转置。运算符*表示乘法。
转到图4，从操作的角度例示了融合网络34的实施方式。第二特征图20'a至20'd(参见图2)被堆叠在一起，这给出了堆叠62。可以将该堆叠解释为矩阵或张量矩阵。然后，借助于卷积网络34'处理堆叠62，融合数据集35形成输出。
作为图4的网络的替代，可以使用图5所示的网络结构来实现融合网络34。首先，按特征类型将第二特征图20'a至20'd分组，从而给出多个堆叠64，各个堆叠64包括与特征之一相对应的第二特征图。然后，借助于卷积神经网络(CNN)66分别处理堆叠64，然后将卷积神经网络66的输出堆叠在一起，并借助于另一卷积神经网络66'处理。神经网络66'的输出是融合后的特征图35。
应当理解，结合附图描述的示例性方面不限制在没有具体参照附图的情况下描述的一般方面。然而，可以结合一个或更多个一般方面来部分地实现附图中描述的方面。
附图标记列表
10a、10b、10c、10d 传感器
12a、12b 获取原始数据集
14a、14b、14c，14d 原始数据集
15 图
16a、16b 提取第一数据集
18a、18b、18c、18d 第一数据集
18'a、18'b、18'c、18'd 处理后的第一数据集
20a、20b、20c、20d 第二数据集
20'a、20'b、20'c、20'd 处理后的第二数据集
22a、22b 数据集的变换
24 融合
26、26' 卷积神经网络
28 坐标变换
30 传感器坐标阶段
32 统一坐标阶段
34、34' 融合网络
35 融合数据集
36 感知网络
38 传感器坐标系
40 统一坐标系
42 角度
44 半径
46 x轴
48 y轴
50、52 网格
54、56 单元
58 目标单元
60 源单元
62 第二数据集的堆叠
64 按特征类型的堆叠
66、66' 卷积神经网络
S、S' 传感器
V 车辆

Claims (17)

1.一种多传感器数据融合的方法，所述方法包括以下步骤：
借助于多个传感器(10a、10b)来确定多个第一数据集(18a、18b)，所述第一数据集(18a、18b)中的各个第一数据集与多个传感器坐标系(38)中的相应一个传感器坐标系相关联，并且所述传感器坐标系(38)中的各个传感器坐标系是根据所述传感器(10a、10b)的多个安装位置中的相应一个安装位置来定义的；
借助于变换规则将所述第一数据集(18a、18b)变换为多个第二数据集(20a、20b)，所述第二数据集(20a、20b)中的各个第二数据集与统一坐标系(40)相关联，所述统一坐标系(40)是根据至少一个预定参考点来定义的；以及
通过融合所述第二数据集(20a、20b)来确定至少一个融合数据集(35)，
其中，所述变换规则包括映射规则，所述映射规则包括：
针对所述传感器坐标系(38)中的相应一个传感器坐标系的多个第一位置(56)的至少一个定义，
针对所述统一坐标系(40)的多个第二位置(54)的定义，以及
所述第二位置中的各个第二位置(58)到所述第一位置中的至少一些第一位置(60)的映射，并且
其中，对所述第一数据集(18a、18b)中的相应一个第一数据集进行变换包括基于该相应的第一数据集(18a、18b)的多个源值，针对所述第二位置中的各个第二位置(58)来确定相应的第二数据集(20a、20b)的目标值，所述源值位于根据所述映射规则映射到相应的第二位置(58)的第一位置(60)处。
2.根据权利要求1所述的方法，其中，所述变换规则包括用于将数据值从所述传感器坐标系(38)中的相应一个传感器坐标系变换到所述统一坐标系(40)以及将数据值从所述统一坐标系(40)变换到所述传感器坐标系(38)中的相应一个传感器坐标系的多个预定坐标变换，其中，所述多个预定坐标变换基于所述安装位置与所述至少一个预定参考点之间的固定关系，
其中，所述安装位置和所述至少一个预定参考点根据车辆(V)来定义，并且其中，所述至少一个预定参考点位于所述车辆的预定部件上，并且所述安装位置位于所述车辆(V)的多个部件中。
3.根据权利要求1所述的方法，其中，所述第一位置(56)对应于第一规则网格(52)的单元，所述第一规则网格(52)被适配于所述传感器坐标系(38)中的相应一个传感器坐标系，和/或
其中，所述第二位置(54)对应于第二规则网格(50)的单元，所述第二规则网格(50)被适配于所述统一坐标系(40)。
4.根据权利要求1所述的方法，其中，所述变换规则还包括插值规则，所述插值规则是可微的，并且
其中，确定所述目标值包括从所述源值进行插值。
5.根据权利要求4所述的方法，其中，所述插值为双线性插值。
6.根据权利要求1或2所述的方法，其中，所述第一数据集(18a、18b)中的至少一个第一数据集与作为极坐标系的传感器坐标系(38)相关联，并且其中，所述统一坐标系(40)是笛卡尔坐标系。
7.根据权利要求1或2所述的方法，其中，确定所述第一数据集(18a、18b)包括：
借助于所述多个传感器(10a、10b)获取多个原始数据集(14a、14b)；以及
基于所述原始数据集(14a、14b)来提取所述第一数据集(18a、18b)，其中，所述第一数据集(18a、18b)是借助于一个或更多个第一神经网络(26)或借助于第一全局神经网络的部分而从所述原始数据集(14a、14b)提取的。
8.根据权利要求7所述的方法，其中，所述一个或更多个第一神经网络(26)或所述第一全局神经网络是第一卷积神经网络。
9.根据权利要求1或2所述的方法，
其中，在融合之前，借助于一个或更多个第二神经网络(26')或借助于第二全局神经网络的部分对所述第二数据集(20a、20b)进行处理，
并且其中，对所述至少一个融合数据集(35)进行处理，以提取语义信息。
10.根据权利要求9所述的方法，其中，所述一个或更多个第二神经网络(26')或所述第二全局神经网络为第二卷积神经网络。
11.根据权利要求1或2所述的方法，
其中，所述至少一个融合数据集(35)用于车辆(V)的自动化控制。
12.根据权利要求1或2所述的方法，
其中，融合包括将所述第二数据集(20'a、20'b)中的至少一些第二数据集堆叠在一起(62)，并且然后借助于第三神经网络(34')进一步处理。
13.根据权利要求12所述的方法，其中，所述第三神经网络是第三卷积神经网络。
14.根据权利要求1或2所述的方法，其中，所述第二数据集(20'a、20'b)与多个特征类型相关联，其中，融合包括通过按特征类型将所述第二数据集(20'a、20'b)中的至少一些或其部分进行堆叠来确定第二数据集的组(64)，其中，借助于一个或更多个第四神经网络(66)或借助于第四全局神经网络的部分对第二数据集的各个组进行处理。
15.根据权利要求14所述的方法，其中，所述一个或更多个第四神经网络(66)或所述第四全局神经网络为第四卷积神经网络。
16.一种用于多传感器数据融合的装置，所述装置包括：
输入部，其从多个传感器(10a、10b)接收数据集；
输出部，其提供融合数据集(35)或基于融合数据集(35)确定的信息，
其中，所述装置被配置为执行根据权利要求1至15中任一项所述的方法。
17.一种车辆，该车辆具有根据权利要求16所述的装置，
其中，所述车辆(V)包括安装在所述车辆(V)上的不同安装位置处的多个传感器(10a、10b)以及连接到所述传感器(10a、10b)的控制单元，
其中，所述控制单元被配置为根据借助于所述装置确定的至少一个融合数据集(35)来控制所述车辆(V)。
CN202010128041.4A 2019-03-01 2020-02-28 多传感器数据融合的方法 Active CN111639663B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19160260.6 2019-03-01
EP19160260.6A EP3702802A1 (en) 2019-03-01 2019-03-01 Method of multi-sensor data fusion

Publications (2)

Publication Number Publication Date
CN111639663A CN111639663A (zh) 2020-09-08
CN111639663B true CN111639663B (zh) 2024-04-12

Family

ID=65817715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010128041.4A Active CN111639663B (zh) 2019-03-01 2020-02-28 多传感器数据融合的方法

Country Status (3)

Country Link
US (1) US11552778B2 (zh)
EP (1) EP3702802A1 (zh)
CN (1) CN111639663B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11327178B2 (en) * 2019-09-06 2022-05-10 Volvo Car Corporation Piece-wise network structure for long range environment perception
EP3943968A1 (en) * 2020-07-24 2022-01-26 Aptiv Technologies Limited Methods and system for detection of objects in a vicinity of a vehicle
CN112149550B (zh) * 2020-09-21 2023-01-06 华南理工大学 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN112233182A (zh) * 2020-12-15 2021-01-15 北京云测网络科技有限公司 一种多激光雷达的点云数据的标注方法和装置
CN112887262B (zh) * 2020-12-28 2021-11-23 北京航空航天大学 一种基于多源信息融合的汽车信息安全防护方法及装置
CN114972935A (zh) * 2021-02-27 2022-08-30 上海华为技术有限公司 一种信息处理方法及相关设备
CN112906665A (zh) * 2021-04-06 2021-06-04 北京车和家信息技术有限公司 交通标线融合方法、装置、存储介质及电子设备
CN113392882B (zh) * 2021-05-28 2022-04-26 中国人民解放军海军工程大学 一种主被动传感器抗差数据关联方法
CN113326896A (zh) * 2021-06-25 2021-08-31 国网上海市电力公司 一种基于多类型传感器的融合感知方法
EP4194885A1 (en) 2021-12-09 2023-06-14 Aptiv Technologies Limited Method for determining the mobility status of a target object
CN114419605B (zh) * 2022-03-29 2022-07-19 之江实验室 基于多网联车空间对齐特征融合的视觉增强方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016213893A1 (de) * 2016-07-28 2018-02-01 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen der Absolutposition eines Kraftfahrzeugs, Ortsbestimmungssystem, Kraftfahrzeug
WO2018047006A1 (en) * 2016-09-08 2018-03-15 Mentor Graphics Development (Deutschland) Gmbh Low-level sensor fusion
CN107918386A (zh) * 2017-10-25 2018-04-17 北京汽车集团有限公司 用于车辆的多传感器数据融合方法、装置及车辆
DE102017011329A1 (de) * 2017-12-08 2018-07-05 Daimler Ag Signalverarbeitungsanordnung und Verfahren zum Betrieb eines Fahrzeugs
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法
CN109085570A (zh) * 2018-06-10 2018-12-25 南京理工大学 基于数据融合的车辆检测跟踪算法
EP3438872A1 (en) * 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0212748D0 (en) * 2002-05-31 2002-07-10 Qinetiq Ltd Feature mapping between data sets
US9547894B2 (en) * 2013-10-08 2017-01-17 Toshiba Medical Systems Corporation Apparatus for, and method of, processing volumetric medical image data
US11204610B2 (en) * 2016-05-30 2021-12-21 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method using correlation between attributes
US11151447B1 (en) * 2017-03-13 2021-10-19 Zoox, Inc. Network training process for hardware definition
US10509947B1 (en) * 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
US10593042B1 (en) * 2017-04-11 2020-03-17 Zoox, Inc. Perspective conversion for multi-dimensional data analysis
US10809380B2 (en) * 2017-05-15 2020-10-20 Ouster, Inc. Augmenting panoramic LIDAR results with color
US11157527B2 (en) * 2018-02-20 2021-10-26 Zoox, Inc. Creating clean maps including semantic information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016213893A1 (de) * 2016-07-28 2018-02-01 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen der Absolutposition eines Kraftfahrzeugs, Ortsbestimmungssystem, Kraftfahrzeug
WO2018047006A1 (en) * 2016-09-08 2018-03-15 Mentor Graphics Development (Deutschland) Gmbh Low-level sensor fusion
EP3438872A1 (en) * 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
CN107918386A (zh) * 2017-10-25 2018-04-17 北京汽车集团有限公司 用于车辆的多传感器数据融合方法、装置及车辆
DE102017011329A1 (de) * 2017-12-08 2018-07-05 Daimler Ag Signalverarbeitungsanordnung und Verfahren zum Betrieb eines Fahrzeugs
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法
CN109085570A (zh) * 2018-06-10 2018-12-25 南京理工大学 基于数据融合的车辆检测跟踪算法

Also Published As

Publication number Publication date
CN111639663A (zh) 2020-09-08
US11552778B2 (en) 2023-01-10
EP3702802A1 (en) 2020-09-02
US20200280429A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
CN111639663B (zh) 多传感器数据融合的方法
CN112912920B (zh) 用于2d卷积神经网络的点云数据转换方法和系统
JP2014138420A (ja) 自律車両用の奥行き検知方法及びシステム
WO2022017131A1 (zh) 点云数据的处理方法、智能行驶控制方法及装置
CN111797836B (zh) 一种基于深度学习的地外天体巡视器障碍物分割方法
EP3509036B1 (en) Position and attitude determination method and system using edge images
CN113160068A (zh) 基于图像的点云补全方法及系统
Chen et al. GPSD: generative parking spot detection using multi-clue recovery model
CN112712589A (zh) 一种基于激光雷达和深度学习的植株3d建模的方法和系统
WO2023216654A1 (zh) 多视角语义分割方法、装置、电子设备和存储介质
CN114898313A (zh) 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质
CN115116049A (zh) 目标检测的方法、装置、电子设备及存储介质
KR20220161341A (ko) 이미지 처리 시스템 및 방법
CN112270701B (zh) 基于分组距离网络的视差预测方法、系统及存储介质
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN116817891A (zh) 一种实时多模态感知的高精地图构建方法
CN114820809A (zh) 一种参数确定方法、设备以及计算机存储介质
CN113850293A (zh) 基于多源数据和方向先验联合优化的定位方法
CN112747752A (zh) 基于激光里程计的车辆定位方法、装置、设备和存储介质
Zieliński et al. 3d dense mapping with the graph of keyframe-based and view-dependent local maps
Su Vanishing points in road recognition: A review
CN116977810B (zh) 多模态后融合的长尾类别检测方法和系统
CN114972525B (zh) 一种面向机器人抓取及增强现实的空间目标姿态估计方法
CN113837270B (zh) 一种目标识别方法、装置、设备及存储介质
WO2022175057A1 (en) Apparatus, system and method for translating sensor label data between sensor domains

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20240301

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240321

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant