CN113008296A - 用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元 - Google Patents

用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元 Download PDF

Info

Publication number
CN113008296A
CN113008296A CN202010911515.2A CN202010911515A CN113008296A CN 113008296 A CN113008296 A CN 113008296A CN 202010911515 A CN202010911515 A CN 202010911515A CN 113008296 A CN113008296 A CN 113008296A
Authority
CN
China
Prior art keywords
data points
data
point cloud
points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010911515.2A
Other languages
English (en)
Other versions
CN113008296B (zh
Inventor
S·斯坦梅尔
M·穆夏尔
C·迪格
P·格莱塞尔
M·格拉夫
R·布斯奇
J·哈姆
J·马夸特
R·瓦尔德曼
I·达米安
O·比尔巴赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen Automotive Co ltd
Audi AG
Original Assignee
Volkswagen Automotive Co ltd
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Automotive Co ltd, Audi AG filed Critical Volkswagen Automotive Co ltd
Publication of CN113008296A publication Critical patent/CN113008296A/zh
Application granted granted Critical
Publication of CN113008296B publication Critical patent/CN113008296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00—Tracing profiles
    • G01C7/02—Tracing profiles of land surfaces
    • G01C7/04—Tracing profiles of land surfaces involving a vehicle which moves along the profile to be traced
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种借助布置在所述汽车(1)上的传感器单元(2、3、4)来检测汽车(1)的环境(U)的方法。为了改进对传感器数据(6)或点云(8)的分析，本发明提出以下步骤：产生第一点和第二点云数据集(10)，其中所述第一点云数据集(10)具有由所述传感器单元(2、3、4)中的第一个的传感器数据(6)得出的数据点，所述第二点云数据集(10)具有由所述传感器单元(2、3、4)中的第二个的传感器数据(6)得出的数据点，所述第一和/或第二点云数据集(10)内的数据点表示至少两个不同的采集时间点(t、tr)，将所述第一和第二点云数据集(10)的各个数据点融合成融合数据集(12)，以及通过在空间上和/或时间上分割所述融合数据集(12)的数据点而生成表示地面的基面(14)和/或针对所述环境(U)中的可能对象的对象假设(15)，所述汽车(1)在所述地面上运动。

Description

用于通过在点云平面上融合传感器数据来检测汽车环境的方 法和汽车控制单元
技术领域
本发明涉及一种借助布置在汽车上的传感器单元来检测汽车环境的方法。此外，本发明还包括一种适于实施上述方法的汽车控制单元以及一种具有这种汽车控制单元的汽车。
背景技术
如今，汽车已具有许多用于不同驾驶辅助系统、特别是此类适于提供处于自主权限级别2的驾驶辅助功能的驾驶辅助系统的传感器单元。这类传感器单元或传感器通常被构建为所谓的智能传感器，这表明这些传感器自身实施对所测得的传感器信号的预处理以及对这些传感器信号的融合特定的调理或分析。然后由这类传感器单元输出少量经分析的对象假设。这种传感器单元的示例例如是激光扫描仪或激光雷达传感器，其测量点云并且独立地对点云的多个点进行聚类或分割以形成对象或对象假设。类似地，这也适用于雷达传感器和摄像机传感器以及任何其他传感器。随后可以通过汽车的控制单元对由各个传感器单元输出的这些对象或对象假设进行融合。这也被称为所谓的“高级融合”。在根据现有技术的这种高级融合中，特别是首先对测量结果进行解释，由此推导出对象假设以及/或者在进行融合之前分割测量值。在高级融合中，可以采集各个传感器单元的对象假设，为这些对象假设设置所谓的“轨迹”并且可以将这些对象假设融合到这些轨迹中。为此通常使用卡尔曼滤波器。在此情况下，这些对象假设直接源自这些传感器单元的各个分割算法。然后，由这些传感器单元将这些对象假设二维地输出为矩形或者将其三维地输出为长方体。在此情况下，作为对象假设或轨迹，除传统意义上的对象(如障碍物、其他车辆或行人)外，也将路面标记或开放区域(即被分类为可通行的区域)考虑在内。
在此情况下，DE 10 2017 125 963 A1揭露了一种控制装置，这个控制装置接收多个传感器(例如摄像机、激光雷达传感器、雷达传感器和超声波传感器)的输出。将相当于对象的传感器输出分配给一个跟踪小片段。这些传感器中的任一个的相当于这个对象的后续输出也被分配给这个跟踪小片段。结合分配给这个跟踪小片段的传感器输出，例如通过卡尔曼滤波来计算对象的路径。
从DE 10 2017 126 877 A1已知一种用于自主车辆的控制系统。这个控制系统的控制器装置以某种方式编程，以便从第一组传感器接收第一传感器值，基于这些第一传感器值提供第一传感器融合输出，其中这个第一传感器融合输出包括所检测的对象的第一所测得的状态，以及以便从第二组传感器接收第二传感器值并且基于这些第二传感器值提供第二传感器融合输出，其中这个第二传感器融合输出包括所检测的对象的第二所测得的状态。这个控制装置还被编程为应第一所识别的状态在第二所测得的状态的预定范围之外而产生诊断信号。
DE 10 2018 112 115 A1描述了一种用于控制自主车辆的系统和一种控制自主车辆的方法。该系统和该方法基于位于自主车辆外部的场景的三维位置数据从这个自主车辆的传感器获得第一和第二时间上间隔开的点云。其中，将第一点云中的场景的静态方面与第二云中的场景的静态方面以位置相关的方式对准。通过处理器在位置对准的第一点云和第二点云中测定运动对象的速度。
发明内容
因此，本发明的目的是改进对汽车的不同传感器单元的传感器数据或点云的分析。
本发明用以达成上述目的的解决方案在于独立权利要求的主体。从属权利要求的主题是有利的实施方式和有益的进一步方案。
本发明所基于的一个理念在于，在点云平面上融合特别是具有彼此不同的检测原理的不同传感器单元的传感器数据。在此情况下，各个点云包括不同传感器单元的数据集，优选在不同时间点所记录的数据点。换句话说，每个点云数据集可以包含不同采集时间点的数据点。在融合不同传感器单元的不同点云数据集时，以这种方式将不同采集时间点和不同传感器单元的各个数据点融合成融合数据集。因此，特别是在“低级层面”上进行这种融合。
一般而言，本发明请求保护一种借助布置在汽车上的传感器单元来检测汽车环境的方法，所述方法具有以下步骤：
-产生第一点和第二点云数据集，其中所述第一点云数据集具有由所述传感器单元中的第一个的传感器数据得出的数据点，所述第二点云数据集具有由所述传感器单元中的第二个的传感器数据得出的数据点，所述第一和/或第二点云数据集内的数据点表示至少两个不同的采集时间点，
-将所述点云数据集的各个数据点融合成融合数据集，以及
-通过在空间和上/或时间上分割所述融合数据集的数据点生成表示地面的基面和/或针对环境中的可能对象的对象假设，所述汽车在所述地面上运动。
数据点的各个采集时间点可以表明采集相应数据点的时间点。这个采集时间点特别是表明采集传感器数据的时间点，由这些传感器数据得出相应的数据点。因此，这些数据点优选描述汽车在相应采集时间点上的环境。
第一点云数据集可以包含具有或表示彼此不同的采集时间点的数据点。作为替代或补充性方案，第二点云数据集可以包含具有或表示彼此不同的采集时间点的数据点。在此情况下，各个点云数据集内的数据点可以表示两个或多个不同的采集时间点。本发明提出，如上所述，两个点云数据集中的至少一个包含不同采集时间点的数据点。但在本发明的某些实施方式中，这不仅适用于第一点云数据集，也适用于第二点云数据集。
基于所包含的数据点的不同采集时间点，所述第一和/或第二点云数据集关于其中所包含的数据点具有时间延伸。与此相应地，所述第一和/或第二点云数据集或其数据点不仅包含空间信息，而且还包含时间信息。因此，所述第一和/或第二点云数据集具有关于汽车环境的空间(二维或三维)变化的历史记录。因此，各个点云数据集可被称为几何索引或关于时间的几何索引。
各个点云数据集，即第一和第二点云数据集，分别由汽车的不同传感器单元的不同传感器数据得出。两个传感器单元例如可以布置在汽车上的不同位置上。由其传感器数据得出第一点云数据集的传感器单元可被称为第一传感器单元。由其传感器数据得出第二点云数据集的传感器单元可被称为第二传感器单元。在某些实施方式中，第一传感器单元和第二传感器单元具有相同的检测原理。而在优选的实施方式中，所述第一传感器单元和所述第二传感器单元具有不同的检测原理。这个第一传感器单元例如可以是雷达传感器、激光雷达传感器或激光扫描仪、超声波传感器、摄像机传感器或立体摄像机。因此，这个第二传感器单元可以是相同类型的传感器或根据与示例性述及的检测原理中有所不同的检测原理而工作的传感器。因此，可以根据基于不同检测原理的传感器数据产生第一和第二点云数据集。
然后，将这些点云数据集的各个数据点融合成共用的融合数据集。在此情况下，这个融合数据集例如可以是包含第一点云数据集和第二点云数据集的数据点的单个点云。作为替代方案，这个融合数据集可以具有多个点云，其中每个点云仅包含所述第一和/或第二点云数据集的数据点。总体而言，在融合时，可以根据这些数据点的采集时间点在空间上和/或时间上将不同点云数据集(即第一和第二点云数据集)的各个数据点融合或彼此成扇形散开。这样一来，这个融合数据集就能与第一和/或第二点云数据集一样具有表示至少两个不同采集时间点的数据点。因此，这个融合数据集不仅具有根据特别是具有不同检测原理的不同传感器单元的传感器数据的数据点，而且具有不同采集时间点的数据点。由于不同的采集时间点，这个融合数据集具有关于第一和/或第二点云数据集的各个数据点的变化的历史记录或时间信息。
可以通过分割模块或用于动态和轮廓估算的模块对这个融合数据集进行分析。在这个框架下，可以在空间上和/或时间上对这个融合数据集的数据点进行分割。在此情况下，特别是重复或周期性地决定哪些数据点对基面和/或对象假设而言是代表性的。可以对这些数据点进行标记。在此，仅能将特定的标记预算分配给每个用于分析的模块，即特别是分割模块以及用于动态和轮廓估算的模块。因此，这些模块分别仅允许对未超过预定的最大值的最大数量的点进行标记。基于这些数据点可以生成或估算基面。作为替代或补充性方案，可以基于相应的标记数据点来生成或建立对象假设。特别是可以基于相应标记的数据点将轮廓和/或动态，特别是速度或方向变化分配给这些对象假设。
总体而言，所述方法示出如何基于这些传感器单元的传感器数据来实现有所改进的融合。基于这种有所改进的融合，也能在时间上改进对环境的检测。
根据一个进一步方案规定，所述第一和第二点云数据集的各个数据点具有至少两个空间坐标和/或一个时间坐标，其中所述数据点的时间坐标表示相应数据点的各个采集时间点。除所述至少两个空间坐标和/或所述时间坐标外，各个数据点还可以包含一个或多个有效值，例如强度值和/或径向速度值。优选地，除所述时间坐标外，所述第一和/或第二点云数据集的各个数据点还具有两个空间坐标(二维)或三个空间坐标(三维)。第一或第二点云数据集内的数据点的时间坐标根据不同的采集时间点至少部分地彼此有所偏差。通过使用时间坐标和/或空间坐标可以特别好地示出各个点云数据集内的数据点。
根据一个进一步方案，通过结合新采集的传感器数据将新的数据点重复添加到第一和/或第二点云数据集中来实现各个点云数据集的数据点的时间累积。换句话说，可以结合新采集的传感器数据，重复地，特别是周期性地将新的数据点添加到第一或第二点云数据集中。为此，所述第一和/或第二传感器特别是重复地，特别是周期性地提供新采集的传感器数据。以这种方式重复地产生具有更近的采集时间点的新数据点。
通过重复添加新的数据点，所述第一和/或第二点云数据集可能会随着时间的推移变得过大而无法进行实时处理。此外，清除较旧的数据点是有利的，特别是在这些数据点不再最佳地描述汽车的当前环境时。因此，有利的是，重复或周期性地从各个点云数据集移除或清除数据点。
根据一个进一步方案，根据预定的规则，一旦相应点云数据集中的数据点的数量超过最大值和/或接近这个最大值直至预定程度，就丢弃第一和/或第二点云数据集的选定数据点。换句话说，在此情况下，可以从相应点云数据集清除根据预定的规则而选定的数据点。这样就确保了所述方法的实时能力，因为一方面，避免了点云数据集的不受控制的增长，另一方面，确保了这些点云数据集的时效性。
特定而言，根据预定的规则，至少部分地根据这些数据点的采集时间点来选择要丢弃的数据点，其中优选特别是根据各个采集时间点相对较新的数据点而丢弃较旧的数据点。换句话说，可以根据这些数据点的采集时间点至少部分地丢弃或清除这些数据点。在这些数据点的年龄根据采集时间点超过预定程度时，则例如可以清除这些数据点。
根据一个进一步方案，在多个较旧的数据点中，优选丢弃其测量数据与较新的数据点具有较高一致性的那些数据点，并且特别是在丢弃较旧的数据点之前，将其测量数据与较新的数据点融合，特别是通过对较新和较旧的数据点的各个测量数据进行求平均。换句话说，尽管采集时间点处于相对遥远的过去，但如果这些数据点与相同或相似采集时间点的其他数据点相比，与较新的数据点的一致性较低，则可以保留这些数据点。这样就确保在当前无法采集对象或对象假设的情况下，也不会忘记这些对象或对象假设。可以首先将基于其与较新的数据点的相似性或一致性而被清除的较旧的数据点与这个较新的数据点融合。可以通过对较旧和较新的数据点的测量数据和/或空间坐标进行求平均来进行融合。这些测量数据例如可以包括上述其他值，例如强度值和/或径向速度值。在对较新和较旧的数据点进行求平均之后，由此产生的融合的数据点可以采用这个采集时间点或这个较新时间点的时间坐标。此外，可以将更高的优先级分配给这个融合的数据点，因为这个数据点已通过较旧的数据点得到验证。
根据一个进一步方案，相对密度较低的区域中的数据点，优选基于数据点的空间密度，特别是基于空间坐标来丢弃密度较高的区域中的数据点。换句话说，与密度较低的区域中的数据点相比，更大可能选择丢弃密度较高的区域中的数据点。一般而言，基于空间密度选择数据点以进行丢弃。在此情况下，区域中的数据点的空间密度越高，丢弃这些数据点的可能性就越大。由此例如使得这些数据点的空间密度尽可能接近预定的平均值。这样就能确保这些数据点的均匀分布。
根据一个进一步方案，根据在空间上和/或时间上分割数据点期间确定的优先级值来丢弃数据点，其中这个优先级值表示各个数据点对于生成基面和/或对象假设的重要性。这个优先级值的确定可以相当于数据点的标记。这个优先级值例如只能采用两个值，即标记的或未标记的。作为替代方案，这个优先级值可以采用多个不同的值，其中通过这个优先级值表示各个数据点的重要性。相反，在空间上和/或时间上进行分割时，还可以确定优选要清除的数据点。也可以借助这个优先级值，特别是通过特别低的优先级值来表达对清除的优选。
根据一个进一步方案，根据权利要求8所述的方法的特征在于，根据优先级值，优选丢弃适用以下标准中的一个或多个的数据点：
-数据点对对象假设没有贡献，
-数据点对速度测量没有贡献，
-数据点处于预定的感兴趣区域之外，
-数据点是基面的部分，汽车在这个基面上运动并且这个基面由相邻的数据点充分定义，以及/或者
-数据点位于这个基面下方。
根据本发明的一个进一步方案，根据优先级值，次要地丢弃适用以下标准中的一个或多个的数据点：
-数据点位于基面上方并且距这个基面的距离处于预定的区间内，
-数据点是对象假设的部分，就具有较近的采集时间点的数据点而言，这个对象假设处于这些传感器单元中的一个或多个的检测区域之外，
-数据点被用于对对象假设进行分类，因为较新的数据点无法实现相应的分类。
根据一个进一步方案，在生成所述基面时，使用来自所述第一点云数据集的数据点，在生成所述对象假设时，使用来自所述第二点云数据集的数据点。在具体示例中，第一传感器单元指的是激光雷达传感器，第二传感器单元指的是摄像机或摄像机传感器。在此情况下，可以基本上由第一点云数据集的数据点生成这个基面，这些数据点是根据激光雷达传感器信号而产生的。可以由第二点云数据集的数据点生成对象假设，其中所述第二点云数据集的数据点是根据摄像机的图像作为传感器信号而产生的。这个示例考虑到摄像机传感器需要对基面进行良好的估算以进行距离测量的事实。特别是在圆顶状或盆状的道路延伸中，在根据现有技术的对基准平面进行估算时可能会产生较大的误差。通过激光雷达系统可以更精确地对地平面进行估算。
根据一个进一步方案，在生成所述对象假设时，使用来自所述第一点云数据集的数据点，在将各速度值分配给所述对象假设时，使用来自所述第二点云数据集的数据点。在这个示例中，第一传感器单元例如可以是摄像机或摄像机传感器，第二传感器单元可以是雷达传感器。在此情况下，可以优先和/或完全由所述第一点云数据集生成所述对象假设或所述对象假设的轮廓。所述第二点云数据集可被用于将各速度值分配给所述对象假设。这是特别有利的，因为可以从雷达信号中提取径向速度值。
根据一个进一步方案，分别两级地生成所述基面和/或所述对象假设，其中首先仅结合具有所有数据点的最新采集时间点的最新数据点进行空间上和/或时间上的分割，然后结合较旧的数据点，特别是仅在产生的基面和/或对象假设的分区中，对所述空间上和/或时间上的分割的结果进行验证。换句话说，首先仅将最新的数据点，即所述融合数据集的那些其采集时间是融合数据集的所有数据点中最新的数据点，用于进行空间上和/或时间上的分割。在结合最新数据点进行空间上和/或时间上的分割时，可以将似真性值分配给这些片段，这个似真性值表示所估算的空间上和/或时间上的分割的误差有多大。然后，可以根据这个似真性值，对产生的基面和/或对象假设的那些分区进行验证，这些分区的似真性未达到预定的水平。这样就能将较旧的数据点用于对产生的基面和/或对象假设的不可靠的分区或整个基面和/或对象假设的进行验证。通过这个实施方式，一方面通过减少对最新数据点的分析来确保这个系统的实时性并且确保分割结果的时效性。特别是仅在空间上进行分割时，实现所述基面和/或对象假设的在此所描述的生成。
根据一个进一步方案，为计算对象假设的动态，实施霍夫变换，其中将所述霍夫变换限制在平行于各个对象假设的所测得的平面的法向矢量的霍夫空间上。换句话说，所述系统包含一个或多个速度霍夫空间，这些速度霍夫空间基于这些对象假设的片段特性而具有有所降低的维度。为了确保所述方法的实时能力，必须降低这些速度霍夫空间的维度。在所述进一步方案的框架中，将这些速度霍夫空间的维度限制在平行于所测得的平面的法向矢量的霍夫空间上。这些所测得的平面是根据共同形成对象假设的数据点的几何布置而识别出的平面。特定而言，与这些对象假设的总尺寸相比，这些所测得的平面必须具有预定的最小尺寸，以便在霍夫变换中用于测定动态。
本发明的另一方面涉及一种汽车控制单元，所述汽车控制单元适于检测汽车的环境，其中所述汽车控制单元适于实施根据上述权利要求中任一项所述的方法。为此，所述汽车控制单元例如具有计算单元，所述计算单元适于实施产生、融合和生成的步骤。所述计算单元例如可以是微处理器、可编程的逻辑门(FPGA)或计算机。
本发明还包括一种具有上述汽车控制单元的汽车。此外，所述汽车还可以具有至少两个传感器单元，特别是第一传感器单元和第二传感器单元，其中所述传感器单元布置在所述汽车上，特别是布置在所述汽车的外护罩上。
本发明的另一方面涉及一种软件程序产品和一种具有程序编码构件的计算机可读介质，在将程序编码构件加载到计算单元，特别是微处理器或计算机的存储器中时，所述程序编码构件的实施能够实施所述检测汽车环境的方法。
本发明还包括根据本发明的汽车和/或所述汽车辆控制单元的进一步方案，其具有已结合根据本发明的方法的进一步方案进行说明的特征。因此，在此不再赘述根据本发明的汽车或所述汽车控制单元的相应进一步方案。
本发明还包括所描述的实施方式的特征组合。
附图说明
下面对本发明的一个实施例进行详细说明。其中：
图1为汽车的鸟瞰示意图；
图2为用于分析不同传感器的传感器信号的系统的示例性体系结构；
图3为基面的二维检测的侧视示意图；
图4示出仅根据点云结合速度霍夫空间对对象动态的分析；以及
图5示出在采用具有所测得的径向速度的雷达传感器的情况下结合速度霍夫空间对对象动态的分析。
具体实施方式
下面所阐述的实施例是本发明的一个优选实施方式。在本实施例中，这个实施方式所描述的组分分别表示本发明的待彼此无关地进行观察的各个特征，这些特征也彼此无关地进一步改进本发明，因而也可以单独或以不同于所示组合的组合作为本发明的组成部分。此外，所描述的实施方式也可以通过本发明的已描述的其他特征进行补充。
在附图中，功能相同的元件采用相同的附图标记。
体系结构和硬件
图1示出汽车1，特别是机动车，例如乘用车、卡车或摩托车，其具有多个传感器单元2、3、4。汽车1可以构建为部分或完全自主驾驶的汽车。汽车1特别是具有汽车控制单元5，这个汽车控制单元适于分析来自各个传感器单元2、3、4的传感器数据6。汽车控制单元5可以适于将由传感器数据6得出的与汽车的环境U有关的信息转发至另一汽车控制单元。上述信息可以说明环境U中的对象和基面，这个基面指的是地面，汽车1在这个地面上运动或位于这个地面上。也可以将周围区域中可自由通行的空间看作本申请中的对象。结合上述信息，可以通过另一汽车控制单元自主或部分自主地控制汽车1。这个另一汽车控制单元特别是适于提供相应的驾驶辅助功能。
图2示出系统19的体系结构，这个系统具有多个传感器2、3、4和汽车控制单元5。传感器单元2、3、4可以是激光雷达传感器2、摄像机3、雷达传感器4、超声传感器或任何其他传感器。首先将各个传感器单元2、3、4的传感器数据6，特别是未处理的原始数据馈送至各预处理单元7。各预处理单元7优选位于各传感器单元2、3、4的传感器壳体中。作为替代方案，预处理单元7可以位于汽车控制单元5中或附近。也可以为传感器单元2、3、4中的多个设置一个共用的预处理单元7。
在预判的情况下，根据当前的传感器数据6产生单个点云8。在此情况下，在每个处理步骤中，传感器数据6以及各点云8都只恰好与一个采集时间点有关。传感器单元2、3、4例如适于在所谓的个别测量或帧中重复地，特别是周期性地采集传感器数据6。在此情况下，每帧或每个个别测量都映射了恰好一个时间点上的环境U。根据恰好一帧或一个个别测量分别产生点云8，因此这些点云分别恰好表示一个时间点。特别是重复地，优选周期性地进行上述过程。在点云8中，来自传感器单元2、3、4中的一个的二维或三维数据点分别合并在一起并且恰好与一个采集时间点有关。
然后，在聚集模块9中在时间上聚集分别根据传感器单元2、3、4中的一个的传感器数据6而产生的点云8。聚集模块9也可以被称为几何索引。在聚集模块9中，由单个的点云8产生各个点云数据集10。在此情况下，各个点云数据集10均具有由传感器单元2、3、4中的恰好一个的传感器数据6而得出的数据点。点云数据集10的数据点具有不同的采集时间点的数据点。换句话说，在各点云数据集10内，来自传感器单元2、3、4中的恰好一个的数据点合并在一起，这些数据点表示彼此不同的、例如两个以上的采集时间点。因此，点云数据集10在一定程度上提供了关于传感器单元2、3、4中的恰好一个的各个点云8的历史记录。各点云数据集10的各个数据点特别是具有两个或三个空间坐标(2D或3D)(在本示例中为x和y)以及时间坐标t。
而后在融合模块11中，在“低级层面”上融合点云数据集10，以形成融合数据集12。换句话说，在点云平面上融合来自特别是具有不同检测原理的不同传感器单元2、3、4的点云数据集10。在此情况下，点云数据集10以及由此而产生的融合数据集12具有不同采集时间点的数据点，因而在一定程度上具有历史记录。
随后，在分割模块13中，通过融合数据集12的数据点的空间上和/或时间上的分割产生表示地面的基面14和/或针对环境U中的可能对象的对象假设15，汽车1在这个地面上运动。换句话说，出于对象识别的目的，对融合数据集12或其数据点进行空间上和/或时间上的分割。在此情况下，特别是将原始源自不同传感器单元2、3、4或由不同发送单元2、3、4的传感器信号6而得出的数据点共同进行分割。其中，也可以将基面14用于分析和/或分割其他数据点。特别是可以至少部分地基于先前产生的基面14而产生对象假设15。将对象假设15和/或基面14提供给模块16以进行动态和/或轮廓估算。在动态和/或轮廓估算中，针对对象假设15确定轮廓和/或动态，特别是速度值。特别是结合下面还将详细说明的方案来确定动态。
为了消除常规的“高级融合”的缺点，使用一种新的体系结构，这个体系结构既能实现不同传感器单元2、3、4(特别是激光雷达传感器2、摄像机3和雷达传感器4)的传感器数据的“低级融合”，又能实现传感器限制范围内的共用分割。这个共用分割不仅可以通过多个传感器和测量原理做出分割决定，还可以在一个周期内对错误的分割和关联决定进行修正。
数据点的组织
由于点云数据集10中的点云8的时间上的聚集，随着持续时间的增加，这些点云数据集的规模也越来越大。为了确保系统的实时能力，需要从点云数据集10中丢弃或清除旧的或不再需要的数据点。下面将对此进行说明：及其
几何索引或点云数据集10在此用于储存随时间的推移而发展的点云8以及实现对这些点云的快速访问运算子。为此，可以使用3D-Voxel Grids(3D体素网格)、KDTrees(K维树)或Octrees(八叉树)。在当前情况下，所使用的几何索引应将时间上累积的代表性点云作为针对环境U的各个点云数据集10进行保持。这基于以下认识：最新的传感器数据6或点云8是不够用的，因为否则所覆盖的区域会很快丢失。一个重要方面是系统19的实时能力，因此几何索引可以仅储存最大数量的数据点。为此，在当前情况下使用不同的标准，以便保存遵循数据点的最大上限的代表性点云。可以将下面所揭露的标准任意地相互组合。
根据第一示例性标准，优选保持每个数据点，因为在可以可靠地产生对象假设15之前，经常需要进行累积。在此，可以通过时间窗口间接确定数据点的最大上限。
根据仅在几何索引或聚集模块9层面上实现的第二示例性标准，在与旧数据点非常相似的新数据点到达时，可以使用以下机制，以便简化数据点：
-优选保持最新的测量数据并丢弃非常相似的旧测量数据。
-对非常相似的旧的和新的测量数据进行融合并为其配设新的时间戳。在新数据点中，以计数器或存在概率属性的形式进行测量确认。对偏差进行求平均。
-触发数据点简化的优选方式是基于密度的测量。如果空间的分体积中的数据点过多(阈值)，则会将这些数据点简化至低于阈值。在此情况下，分选出仍然最相似的数据点。这个密度标准可以是动态的，即与远程区域相比，近场中储存的数据点更多。
分割模块13或用于动态和/或轮廓估算的模块16在每个周期内确定哪些数据点是重要且代表性的并且对这些数据点进行标记。在此情况下，将对数据点的各个“预算”记入每个模块，即分割模块13或模块16，不得超过这个预算。因此，各模块13、16可以仅标记特定数量的数据点。所标记的数据点不应被清除。各模块13、16还可以对特别不重要的数据点进行标记，在各个预算用完时，优选清除这些数据点。
不重要的数据点的标准如下：
-这些数据点对对象形成不会起到决定性作用。
-这些数据点对速度矢量的计算不会起到决定性作用。
-这些数据点在提取器的“感兴趣区域”之外。在[1]中，未与地面连接的悬浮对象被滤除。必须避免执行这个程序，因为在环境中显然可能存在悬浮对象，这些对象部分被覆盖，因此无法识别与地面的连接。例如存在一个障碍物，其中障碍物支架被部分覆盖或者存在与车辆无关的悬伸载荷。根据本发明，特别是应当滤除这类处于可通行的活动空间之外的数据点，例如位于护栏后面的对象、闭合轮廓内的3D数据点(例如从其他车辆内部所测得的3D点，如方向盘和头托)或处于车辆上方很远处的数据点(例如路标架)。
-这些数据点描述静态结构(例如接地区域)，并被同一片段的相邻数据点包围，因此已经达到了某一提取器特定的数据点密度。
-无效的数据点，例如低于地平面的数据点。
以下标准使得甚至旧的数据点也显得较为重要：
-数据点紧邻所估算的路面表面上方：仍需要进行累积，以便可靠地将较小的对象与传感器噪声区分开来。
-数据点描述轮廓的某些部分，但这些部分在此期间(例如因遮蔽)处于传感器可视范围外并且无法再进行更新。例如在测量停车位时会发生上述情形。
-数据点带有来自低级融合的重要分类信息或实例信息，新数据点不具有这些分类信息或实例信息。
在当前方案中，用于储存数据点的数据库由物理存储器和包含存储单元地址的逻辑列表组成。将来自一个传感器单元或点云8中的一个的到达数据点储存在存储器中。为此，检查是否有足够的存储器可供使用，然后将这些数据点储存到自由单元中。在此情况下，对数据点所在的每个单元的存储器地址进行标记并将其分类地储存到逻辑列表中。系统中可以设有多个具有不同分类策略的逻辑列表。也可以采用其他方案。但是，这个系统特别是并非仅由以下两个列表组成。第一列表(“List 1”)储存数据点存储器地址并将其分类至三维框中，其中，第一维相当于于x位置，第二维相当于y位置，第三维相当于时间。通过一个时间局部坐标对3D框进行访问，其中获得一个迭代器，这个迭代器通过迭代来实现对三维框中的所有数据点的访问。第二列表(“List 2”)储存数据点存储器地址，根据时间对这些数据点存储器地址进行分类并且根据传感器坐标系中的数据点的方位角和仰角对这些数据点存储器地址进行组织。因此，只有借助时间坐标才能访问这些数据点，其中获得一个列表，在这个列表中，传感器的数据点是根据方位角和仰角进行组织的。除了用于数据点的存储器外，这个数据库还包含其他层，这些层允许储存其他类型的数据。例如可以将产生的对象假设储存在与数据点存储器保持一致的对象层中。这表明，借助几何索引将每个对象假设与有助于产生假设的点链接。数据库中的另一层是自由空间层。这个自由空间层以可分析的表达的方式储存可通行空间(例如路面)的3D高度分布。
为了实现高度自动化的驾驶功能(3级以上)，需要对环境进行精确且可靠的测量。正如在问题描述中已提及的那样，串行的当前驾驶辅助系统具有多个系统限制。本章所涉及的问题是轮廓精确的地面估算、环境中的对象的精确动态估算以及路面上的较小对象的及时识别。
轮廓精确的地面估算
在极限情况下，需要进行轮廓精确的地面估算以区分较小的对象(例如失去的载荷)以及用于复杂的路面拓扑结构，例如螺旋坡道和斜坡。当前的现有技术例如基于单次扫描对地面点进行估算。这在环境测量技术中是有意义的，因为传感器不会发生移动，因此多次扫描不会提供任何新信息。但即使是移动系统，通常也仅使用单次扫描来进行地面估算。
根据第三实施例，在两个步骤中实现对地面点的分类，即对被分割为基面的部分的数据点的分类。为此，首先基于单次扫描针对所有数据点计算可通行性概率，即例如在传感器信号6或点云8的层面上计算深度图像(也称为“List 2”)。在第二步骤中，通过检查世界坐标系(第一列表“List 1”)中的较旧的相邻点提高不安全数据点的可通行性概率。
下面结合图3对可通行性概率的确定进行说明。为简化起见，对2D中的点云进行观察。具体的系统可以处理更多维度的点云。这个可通行性概率示例性地以如下方式定义：可通行性概率0％>＝90°角，可通行性概率100％＝0°角，可通行性概率＝100％-100％/90°角。
结合图3借助数据点a至f简要地对本方法进行说明。首先，将数据点c和d初始化为地面点。这一点可以示例性地借助“Phuong Chu；Seoungjae Cho；Sungdae Sim；Kiho Kwak；Kyungeun Cho；A Fast Ground Segmentation Method for 3D Point Cloud(3D点云的地面分割法),J Inf Process Syst,Vol.13,No.3,pp.491～499,June 2017；ISSN 2092-805X(Electronic)”中的算法而实现。计算汽车1(Ego车辆)的定向与L2之间的角度β。角度β为零度，这相当于100％的数据点e的可通行性概率，而无需进一步进行计算。然后计算角度α1。这个角度例如为10°。这相当于89％的可通行性概率。在第二步骤中，精确地表达这个可通行性概率。搜索处于数据点f的环境中的所有数据点，进而根据先前的测量识别出数据点b和g。数据点g位于线L3上方，因而可能源自动态对象，因此可能会被丢弃。数据点b位于L3线下方并且用于计算数据点f的新的可通行性概率，测定角度α2＝70°，这相当于大约22％的可通行性概率。因此，这个系统准备用于对地平面进行轮廓精确的估算。
精确的动态估算
就自动化驾驶功能而言，特别是在高速公路或快车道上，需要对其他对象进行稳定且精确的动态估算，特别是以便避免与对象发生碰撞。现有技术例如是基于每个模型的参考点对对象进行动态估算。这样一来，如果参考点在对象上是不稳定的或者在模型中在其他位置上跳跃，或者两次测量之间的参考点的关联是错误的，例如由于传感器对目标对象的视角发生变化，则会引发错误。可以借助卡尔曼滤波器来处理参考点之间的跳跃或这些参考点在一定时间内的错误关联，这会引起其他问题，例如在系统中长时间跟踪未正确识别的对象。所介绍的系统适于基于多个有标记的数据点来估算对象的动态，在一定时间段内记录这些数据点并将其转换成速度霍夫空间。
为了计算对象的动态，必须通过位置和时间正确地对这些数据点进行相互关联。针对每个采集时间点对这些数据点进行局部分割。在此情况下，借助在此所介绍的方法对地面点进行分类。就时间关联而言，对多个连续的采集时间点的数据点进行比较并且将这些数据点相互关联。为此可以使用不同方法。一个选项是扫描匹配法。作为替代方案，可以由数据点识别出每个采集时间点的具有特殊特性的片段并将其输入一个或多个速度霍夫空间。
这个系统特别是包括一个或多个速度霍夫空间，其基于这些片段的片段特性而具有有所降低的维度。速度霍夫空间的维度的降低对于确保系统的实时能力是必不可少的。在本系统中，例如按照可能的速度方向将3D空间划分成八个速度距离霍夫空间。在系统的这个方案中，朝已结合相邻数据点被识别出的数据点的周围表面的法向矢量的方向搜索xy速度矢量。在此情况下，将法向矢量投射到xy平面中并且根据xy法向矢量的方向将表面数据点分类到合适的速度霍夫空间中。
在将这些数据点分配给各个速度霍夫空间后，计算出参考时间点的每个数据点的速度。假设Ptr是参考时间tr的参考点，Pt是在时间t所记录的任一数据点，并且适用t<tr，因此，就参考点Ptr而言，适用：
Ptr＝Pt+V*(tr-t) 公式1
就速度V而言，得出
Figure BDA0002663467100000161
就参考点Ptr而言，针对速度霍夫空间中的所有数据点Pt借助公式1对所有速度V进行计算和累积。最能说明参考点Ptr的运动的所有数据点Pt都会在所累积的速度中产生积累/最大值。特别是通过时间将所有数据点以及对最大值作出贡献的所有片段相互关联并将其与参考点片段关联。
在这个方案中，系统由不同采集时间点的数据点构成，这些数据点针对每个采集时间点被合并成一个片段。根据表面法向矢量将描述这个片段的表面的数据点输入到合适的速度霍夫空间中。就参考数据点而言，在相应的速度霍夫空间中测定最大值，进而通过时间将具有参考数据点的片段与所有片段关联，这些片段的数据点对最大值作出了贡献。这一点已参照图4结合一个具体示例进行了说明：
在二维坐标系中借助其各个空间坐标x和y以与时间t相关的方式示出了第一对象30和第二对象31。对象30在时间t0上位于附图标记30的位置处，在时间t1上位于附图标记30‘的位置处并且在时间t2上位于附图标记30“的位置处。因此，对象30运动至位置30‘。对象31在时间t、t1、t2上位于附图标记31、31‘和31“的位置处，因此这个对象保持静止。
对象30、31分别具有多个数据点(在这个示例中分别具有六个数据点)，这些数据点已针对各个对象或各个对象假设15进行了分割。这两个对象30、31看起来非常相似(参见各个数据点的相对定向)，因此，在借助现有技术中的方法跟踪对象30、31时可能会发生混淆。这样就会产生错误测得的速度。
两个对象30、31分别具有两个表面或平面，其在图4中通过法向矢量38和39标识。根据这些法向矢量将对象30、31的位置划分成两个速度霍夫空间V90°和V0°。在各速度霍夫空间V90°和V0°中，测定分别平行于两个法向矢量38、39中的一个的速度。在各速度霍夫空间V90°和V0°中绘示出平行于相应速度霍夫空间的各法向矢量38、39的位置。随后在速度霍夫空间V90°中，基于对象31的在时间点t0和t1上的位置测定对象31必须具有平行于法向矢量38的何种速度，以便在时间t2上出现在对象30的位置30“上。根据所测得的速度绘示直线36、37。从t0和t1的两个点出发的两条直线36、37没有共同的交点并且会进行发散。因此，处于位置30‘上的对象无法通过从位置31和31‘移动对象31而产生。不可能会混淆两个对象30、31。
就速度霍夫空间V0°而言，类似地实施上述方案。在这个速度霍夫空间中，相对于法向矢量39输入对象30在时间点t0、t1和t2上的位置以及对象31在时间点t0和t1上的位置。对于在时间点t0和t1上的对象30而言，表示所计算出的速度的线32、33在与平行于穿过对象30在时间点t2上的数据点的速度轴的直线34的共同交点处相交。这样就能验证对象31在时间点t0、t1和t2之间的均匀运动。类似地，再次输入针对对象31的直线36‘、37‘。这些直线再次发散，因此，可以排除处于位置30‘上的对象是通过从位置31和31‘移动对象31而产生的。
如果一个片段在一个测量时间点上没有足够的面积，从而无法估算完整的速度矢量，则可以将其他特征(例如分离边缘)用于在使用适当的速度霍夫空间的情况下估算缺失的速度矢量。如果使用向数据点提供附加属性作为数据点到传感器的距离的传感器，则根据本发明将这些属性用于滤除对GHR中的最大值作出贡献的数据点或建立其他速度距离霍夫空间。
在图5所示另一示例中，这些数据点源自雷达传感器4，进而具有每个数据点的径向速度值，因为可以借助雷达传感器4测量径向速度。根据数据点的径向速度值，可以针对这个数据点建立速度距离霍夫空间，其中速度轴是正交于所测得的径向速度的速度，即所求切向分量。因此，相对于雷达传感器4，可以省去平行于径向速度的速度霍夫空间，因为已经可以由传感器数据6得出这个速度。
首先计算速度Vl1，借助
Vt1*(tr-t)＝Ptr-Pt-Vr1*(tr-t) 公式3
由此得出
Figure BDA0002663467100000181
如果Vt1和Vt1彼此正交，即如果Vl1是所求切向速度，则适用
Figure BDA0002663467100000183
Figure BDA0002663467100000184
(标积)。在此情况下，指数t描述切向速度分量，指数r描述径向速度分量。第二指数对数据点进行编号，将各值分配给特定的数据点(时间t、t+1、t+2和tr的数据点1至4)。
如果满足上述条件，则可以将数据点输入平行于Vr1的速度霍夫空间40中，但是第二数据点也具有径向速度，因此首先检查其径向速度Vr2是否证实了第一次测量。类似地，以类似于公式4的
Figure BDA0002663467100000182
来计算速度矢量Vt2并且通过
Figure BDA0002663467100000185
(标积)检查与矢量Vr2的正交性。
如果Vt2和Vr2彼此正交，则将数据点输入速度霍夫空间Vr1 tangential，即速度霍夫空间40。在此情况下，以类似于图2的方式输入相应的线42。
如果可以在速度霍夫空间Vr1 tangential中测定最大值，则通过时间t将所有对这个最大值作出贡献的数据点相互关联。
总体而言，可以以不同的方式使用融合数据集12的数据点的关联。更准确地说，可以通过所有传感器一次性地或者以多个步骤执行上述算法或类似算法。例如可以首先对激光雷达测量进行关联并为其配设速度矢量。而后在第二步骤中，将这些激光雷达测量与雷达测量关联。在此情况下，这个关联还会引起片段的速度矢量的更新。也可以采用任何其他组合和顺序，本发明公开案涵盖这些组合和顺序。结果是待通过时间和地点而相互关联的数据点以及针对每个片段的速度矢量。在线性运动的假设下，针对每个片段所测得的速度矢量指的是观察期内的平均值。这些平均值可以用作更复杂的运动建模的基础(例如借助非线性动态模型)。通过这个片段的所有数据点来描述动态片段的轮廓，首先借助片段速度将这些数据点预测到参考时间点上。
路面上的较小对象的及时识别
特别是在3级以上的系统中，没有可以在故障情形下进行干预的驾驶员，因此必须在高速度下及时识别出无法驶过的较小静态对象(例如高速公路驾驶员)。根据级别2的当前方案中的系统不会处理这种情形。为了尽早识别较小对象，使用在上述数据库中组织的随时间累积的点云数据集10或随时间累积的融合数据集12。
在此设有以下流程：
1.初始情形是一个具有多个以如上所述方式存在并被分割的点云数据集的融合数据集。
2.测定所有无法被分配给任何一个片段或不属于任何一个片段的数据点。
3.借助通过List 1进行访问来检查这些数据点在时间和空间上的邻域。
4.如果来自不同采集时间点的数据点相对彼此处于更接近的空间内并且这些数据点的数量达到一定程度，则将这些数据点合并为一个小片段。
根据所建议的流程，在系统中设有较小的静态对象、静态对象和动态对象的被分割且通过时间而关联的数据点以及地面点。如上所述，这些数据点和地面点以几何索引进行组织。此外，动态片段具有速度矢量，所有片段均由累积的数据点云组成，这个数据点云能够实现对片段轮廓的精确估算。
附图标记表
1 汽车
2 激光雷达传感器
3 摄像机
4 雷达传感器
5 汽车控制单元
6 传感器数据
7 预处理单元
8 点云
9 聚集模块
10 点云数据集
11 融合模块
12 融合数据集
13 分割模块
14 基面
15 对象假设
16 模块
19 系统
30、30‘、30“ 第一对象
31、31‘、31“ 第二对象
32…37 线
38、39 法向矢量
40 速度Hough空间(霍夫空间)
41…41“ 不同时间点的对象
42 线
x、y、t 坐标
a...f 数据点

Claims (15)

1.一种借助布置在所述汽车(1)上的传感器单元(2、3、4)来检测汽车(1)的环境(U)的方法，所述方法具有以下步骤：
-产生第一点和第二点云数据集(10)，其中所述第一点云数据集(10)具有由所述传感器单元(2、3、4)中的第一个的传感器数据(6)得出的数据点，所述第二点云数据集(10)具有由所述传感器单元(2、3、4)中的第二个的传感器数据(6)得出的数据点，所述第一和/或第二点云数据集(10)内的数据点表示至少两个不同的采集时间点(t、tr)，
-将所述第一和第二点云数据集(10)的各个数据点融合成融合数据集(12)，以及
-通过在空间上和/或时间上分割所述融合数据集(12)的数据点而生成表示地面的基面(14)和/或针对所述环境(U)中的可能对象的对象假设(15)，所述汽车(1)在所述地面上运动。
2.根据权利要求1所述的方法，
其特征在于，
所述第一和第二点云数据集(10)的各个数据点具有至少两个空间坐标(x、y)和/或一个时间坐标(t)，其中所述数据点的时间坐标(t)表示所述相应数据点的各个采集时间点。
3.根据上述权利要求中任一项所述的方法，
其特征在于，
通过结合新采集的传感器数据(6)将新的数据点重复添加到所述第一和/或第二点云数据集(10)中来实现所述各个点云数据集(10)中的数据点的时间累积。
4.根据上述权利要求中任一项所述的方法，
其特征在于，
根据预定的规则，一旦所述相应点云数据集(10)中的数据点的数量超过最大值和/或接近所述最大值直至预定程度，就丢弃所述第一和/或第二点云数据集(10)的选定数据点。
5.根据权利要求4所述的方法，
其特征在于，
根据所述预定的规则，至少部分地根据所述数据点的采集时间点来选择要丢弃的数据点，其中优选特别是根据所述各个采集时间点相对较新的数据点而丢弃较旧的数据点。
6.根据权利要求5所述的方法，
其特征在于，
在多个较旧的数据点中，优选丢弃其测量数据与较新的数据点具有较高一致性的那些数据点，并且特别是在丢弃较旧的数据点之前，将其测量数据与较新的数据点融合，特别是通过对所述较新和较旧的数据点的各个测量数据进行求平均。
7.根据权利要求4至6中任一项所述的方法，
其特征在于，
相对密度较低的区域中的数据点，优选基于所述数据点的空间密度，特别是基于所述空间坐标(x、y)来丢弃密度较高的区域中的数据点。
8.根据权利要求4至7中任一项所述的方法，
其特征在于，
根据在空间上和/或时间上分割所述数据点期间确定的优先级值来丢弃数据点，其中所述优先级值表示各个数据点对于生成所述基面和/或所述对象假设的重要性。
9.根据权利要求8所述的方法，
其特征在于，
根据所述优先级值，优选丢弃适用以下标准中的一个或多个的数据点：
-数据点对对象假设没有贡献，
-数据点对速度测量没有贡献，
-数据点处于预定的感兴趣区域之外，
-数据点是所述基面的部分，所述汽车在所述基面上运动并且所述基面由相邻的数据点充分定义，以及/或者
-数据点位于所述基面下方。
10.根据权利要求8或9所述的方法，
其特征在于，
根据所述优先级值，次要地丢弃适用以下标准中的一个或多个的数据点：
-数据点位于所述基面上方并且距所述基面的距离处于预定的区间内，
-数据点是对象假设的部分，就具有较近的采集时间点的数据点而言，所述对象假设处于所述传感器单元中的一个或多个的检测区域之外，
-数据点被用于对所述对象假设进行分类，因为较新的数据点无法实现相应的分类。
11.根据上述权利要求中任一项所述的方法，
其特征在于，
在生成所述基面(14)时，使用来自所述第一点云数据集(10)的数据点，在生成所述对象假设时，使用来自所述第二点云数据集(10)的数据点。
12.根据上述权利要求中任一项所述的方法，
其特征在于，
在生成所述对象假设(15)时，使用来自所述第一点云数据集(10)的数据点，在将各速度值分配给所述对象假设(10)时，使用来自所述第二点云数据集(10)的数据点。
13.根据上述权利要求中任一项所述的方法，
其特征在于，
-分别两级地生成所述基面(14)和/或对象假设(15)，其中
-首先仅结合具有所有数据点的最新采集时间点的最新数据点进行空间上和/或时间上的分割，并且
-随后结合较旧的数据点，特别是仅在所述产生的基面和/或对象假设的分区中，对所述空间上和/或时间上的分割的结果进行验证。
14.根据上述权利要求中任一项所述的方法，
其特征在于，
为测定所述对象假设的动态，实施霍夫变换，其中将所述霍夫变换限制在平行于所述各个对象假设(15)的所测得的平面的法向矢量(38、39)的霍夫空间上。
15.一种汽车控制单元(5)，所述汽车控制单元适于检测汽车(1)的环境(U)，其中所述汽车控制单元(5)适于实施根据上述权利要求中任一项所述的方法。
CN202010911515.2A 2019-09-02 2020-09-02 用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元 Active CN113008296B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019123483.2A DE102019123483B4 (de) 2019-09-02 2019-09-02 Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
DE102019123483.2 2019-09-02

Publications (2)

Publication Number Publication Date
CN113008296A true CN113008296A (zh) 2021-06-22
CN113008296B CN113008296B (zh) 2023-11-07

Family

ID=74565353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010911515.2A Active CN113008296B (zh) 2019-09-02 2020-09-02 用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元

Country Status (2)

Country Link
CN (1) CN113008296B (zh)
DE (1) DE102019123483B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115469312A (zh) * 2022-09-15 2022-12-13 重庆长安汽车股份有限公司 车辆的可通行区域检测方法、装置、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170476B1 (en) * 2020-10-15 2021-11-09 Aeva, Inc. Techniques for fast point cloud filtering using a series cascaded filter
CN113376638A (zh) * 2021-06-08 2021-09-10 武汉理工大学 一种无人物流小车环境感知方法及系统
DE102022212874A1 (de) 2022-11-30 2024-07-11 Zf Friedrichshafen Ag Verfahren, Steuergerät und Computerprogramm zum Vermeiden oder Vermindern einer Kollision eines autonomen Kraftfahrzeugs, und computerlesbares Speichermedium
CN116343159B (zh) * 2023-05-24 2023-08-01 之江实验室 一种非结构化场景可通行区域检测方法、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104267721A (zh) * 2014-08-29 2015-01-07 陈业军 一种智能汽车的无人驾驶系统
CN106153037A (zh) * 2016-07-21 2016-11-23 北京航空航天大学 一种机器人的室内定位方法、装置及系统
US20170318117A1 (en) * 2014-02-25 2017-11-02 Here Global B.V. Method and apparatus for providing selection and prioritization of sensor data
CN108228798A (zh) * 2017-12-29 2018-06-29 百度在线网络技术（北京）有限公司 确定点云数据之间的匹配关系的方法和装置
CN108628301A (zh) * 2017-03-20 2018-10-09 通用汽车环球科技运作有限责任公司 用于操作自动驾驶车辆的时间数据关联
CN109212542A (zh) * 2017-07-06 2019-01-15 通用汽车环球科技运作有限责任公司 用于自主车辆操作的校准方法
CN109466548A (zh) * 2017-09-07 2019-03-15 通用汽车环球科技运作有限责任公司 用于自主车辆操作的地面参照确定
CN109740628A (zh) * 2018-12-03 2019-05-10 深圳市华讯方舟太赫兹科技有限公司 点云聚类方法、图像处理设备及具有存储功能的装置
CN109919989A (zh) * 2019-03-27 2019-06-21 广东工业大学 一种雷达电力巡检的点云数据配准方法、装置及设备
CN110163270A (zh) * 2019-05-10 2019-08-23 北京易控智驾科技有限公司 多传感器数据融合方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009006113B4 (de) * 2008-03-03 2019-03-28 Volkswagen Ag Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
DE102008001672B4 (de) * 2008-05-09 2022-03-17 Robert Bosch Gmbh Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte
DE102015107392A1 (de) * 2015-05-12 2016-11-17 Valeo Schalter Und Sensoren Gmbh Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US10160448B2 (en) 2016-11-08 2018-12-25 Ford Global Technologies, Llc Object tracking using sensor fusion within a probabilistic framework
US10073456B2 (en) 2016-11-17 2018-09-11 GM Global Technology Operations LLC Automated co-pilot control for autonomous vehicles
US10365650B2 (en) 2017-05-25 2019-07-30 GM Global Technology Operations LLC Methods and systems for moving object velocity determination
DE102018004125A1 (de) * 2018-05-23 2018-11-22 Daimler Ag Verfahren zum Analysieren eines Objekts in einer Umgebung eines Kraftfahrzeugs
DE102018220024B3 (de) * 2018-11-22 2020-03-12 Audi Ag Verfahren zur Fusion von Sensordaten von mehreren Sensoren und Fusionsvorrichtung zum Fusionieren von Sensordaten von mehreren Sensoren

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170318117A1 (en) * 2014-02-25 2017-11-02 Here Global B.V. Method and apparatus for providing selection and prioritization of sensor data
CN104267721A (zh) * 2014-08-29 2015-01-07 陈业军 一种智能汽车的无人驾驶系统
CN106153037A (zh) * 2016-07-21 2016-11-23 北京航空航天大学 一种机器人的室内定位方法、装置及系统
CN108628301A (zh) * 2017-03-20 2018-10-09 通用汽车环球科技运作有限责任公司 用于操作自动驾驶车辆的时间数据关联
CN109212542A (zh) * 2017-07-06 2019-01-15 通用汽车环球科技运作有限责任公司 用于自主车辆操作的校准方法
CN109466548A (zh) * 2017-09-07 2019-03-15 通用汽车环球科技运作有限责任公司 用于自主车辆操作的地面参照确定
CN108228798A (zh) * 2017-12-29 2018-06-29 百度在线网络技术（北京）有限公司 确定点云数据之间的匹配关系的方法和装置
CN109740628A (zh) * 2018-12-03 2019-05-10 深圳市华讯方舟太赫兹科技有限公司 点云聚类方法、图像处理设备及具有存储功能的装置
CN109919989A (zh) * 2019-03-27 2019-06-21 广东工业大学 一种雷达电力巡检的点云数据配准方法、装置及设备
CN110163270A (zh) * 2019-05-10 2019-08-23 北京易控智驾科技有限公司 多传感器数据融合方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贾子永等: "视觉与激光雷达信息融合的目标领航车识别方法", 《火力与指挥控制》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115469312A (zh) * 2022-09-15 2022-12-13 重庆长安汽车股份有限公司 车辆的可通行区域检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
DE102019123483B4 (de) 2021-12-09
DE102019123483A1 (de) 2021-03-04
CN113008296B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
CN113008296B (zh) 用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元
EP3293669B1 (en) Enhanced camera object detection for automated vehicles
CN111712731B (zh) 目标检测方法、系统及可移动平台
CN110458854B (zh) 一种道路边缘检测方法和装置
WO2022099530A1 (zh) 点云数据运动分割方法、装置、计算机设备和存储介质
CN115049700A (zh) 一种目标检测方法及装置
KR102536037B1 (ko) 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛
US10748014B2 (en) Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
US20220398856A1 (en) Method for reconstruction of a feature in an environmental scene of a road
US11879992B2 (en) Method for identifying static radar targets using a radar sensor for motor vehicles
WO2022226831A1 (zh) 未定义类别障碍物的检测方法、装置和计算机设备
EP3555854B1 (en) A method of tracking objects in a scene
US20220171975A1 (en) Method for Determining a Semantic Free Space
CN114419573A (zh) 动态占据栅格估计方法及装置
KR102618680B1 (ko) 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적하는 시스템
EP4260084A1 (en) Radar perception
US20220410942A1 (en) Apparatus and method for determining lane change of surrounding objects
CN115240160A (zh) 无人清扫车贴边清扫时的避障方法、装置及设备
Seeger et al. 2-d evidential grid mapping with narrow vertical field of view sensors using multiple hypotheses and spatial neighborhoods
WO2023166700A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
US11651583B2 (en) Multi-channel object matching
Catalá-Prat et al. Image and laser scanner processing as confident cues for object detection in driving situations
임규범 Parking Line-based SLAM Approach for Localization and Parking Space Detection
WO2022157161A1 (en) Perception for point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant