CN112997093A - 用于确定关于车辆环境中的物体的信息的方法和处理单元 - Google Patents

用于确定关于车辆环境中的物体的信息的方法和处理单元 Download PDF

Info

Publication number
CN112997093A
CN112997093A CN201980073201.5A CN201980073201A CN112997093A CN 112997093 A CN112997093 A CN 112997093A CN 201980073201 A CN201980073201 A CN 201980073201A CN 112997093 A CN112997093 A CN 112997093A
Authority
CN
China
Prior art keywords
camera
vehicle
processing unit
environment
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980073201.5A
Other languages
English (en)
Other versions
CN112997093B (zh
Inventor
S·斯泰尔
G·坦兹迈斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN112997093A publication Critical patent/CN112997093A/zh
Application granted granted Critical
Publication of CN112997093B publication Critical patent/CN112997093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

描述一种用于车辆(100)的处理单元(101)，该处理单元(101)被配置用于：获取车辆(100)的相机(112)的图像数据，所述图像数据指示从参考点(305)出发的车辆(100)环境，以及基于图像数据探测在车辆(100)环境中的至少一个相机物体(250)。所述处理单元(101)还被配置用于获取车辆(100)的感测距离的环境传感器(111)的传感器数据(500)。所述相机物体(250)可以被移动到相对于参考点(305)的多个不同的距离处，并且可以针对所述多个不同的距离确定相应的相机物体(250)与传感器数据(500)的重叠度的对应多个值。此外，评估单元(101)可以被配置用于根据所述重叠度的多个值来确定相机物体(250)与参考点(305)的物体距离。

Description

用于确定关于车辆环境中的物体的信息的方法和处理单元
技术领域
本发明涉及一种方法和一种相应的处理单元，其例如使车辆能够实现基于不同类型传感器的传感器数据来识别和/或跟踪周围环境物体。
背景技术
一个车辆典型地包括多个不同的环境传感器，这些环境传感器被配置用于检测关于车辆环境的不同传感器数据。示例性的环境传感器是雷达传感器、超声传感器、激光雷达传感器、图像传感器或图像相机等。基于一个车辆的一个或多个环境传感器的传感器数据，能够探测在车辆环境中的一个或多个周围环境物体(例如一个或多个其它车辆)。
不同类型的环境传感器在车辆环境的检测方面通常分别具有不同的优点。例如，基于图像相机的图像数据能够精确地确定物体的属性，诸如物体的类型(诸如车辆、行人、骑自行车的人、骑摩托车的人等)、物体的颜色和/或物体的形状。其它示例性的属性是物体的部件(例如尾灯或闪光信号器)的状态。此外，基于图像相机的图像数据通常能够相对好地彼此区分或分割不同的物体(例如彼此相对靠近地设置的物体)。另一方面，基于图像相机的图像数据通常不能精确地确定物体与车辆的距离。雷达和/或激光雷达(光检测和测距)传感器的传感器数据能够实现精确地确定物体与车辆的距离。另一方面，基于雷达和/或激光雷达传感器的传感器数据通常仅能够确定相对少的物体属性。例如可能可以利用激光雷达传感器的传感器数据来确定物体的类型。然而，通常不能基于雷达和/或激光雷达传感器的传感器数据来确定物体的部件(例如尾灯或者闪光信号器)的状态。
发明内容
本文涉及的技术任务是，提供一种方法和一种相应的处理单元，通过所述方法和处理单元能够实现可靠地融合多个不同类型的环境传感器的传感器数据，尤其是以便精确地确定关于周围环境物体的信息。
所述任务通过独立权利要求来解决。此外在从属权利要求中描述有利的实施方式。要指出的是，从属于独立权利要求的从属权利要求的附加特征可在没有独立权利要求的特征的情况下或仅仅结合独立权利要求的部分特征形成单独的且独立于独立权利要求的所有特征的组合的发明，该发明可作为独立权利要求、分案申请或后续申请的主题。这以相同的方式适用于在说明书中说明的技术教导，所述技术教导可形成独立于独立权利要求的特征的发明。
根据一个方面，描述了一种用于车辆、尤其是用于机动车的处理单元(例如具有微处理器的控制器)。所述处理单元可被用于探测和跟踪在车辆环境中的一个或多个周围环境物体。所述处理单元还可被用于根据探测到的所述一个或多个周围环境物体至少部分自动化地驾驶车辆。
所述车辆可以包括一个或多个相机，所述相机被配置用于检测关于车辆环境的图像数据。所述图像数据可以包括一个时间序列的图像(针对对应序列的时刻)。所述车辆还可以包括一个或多个感测距离的环境传感器(例如雷达传感器和/或激光雷达传感器)，所述感测距离的环境传感器被配置用于检测关于车辆环境的传感器数据。在此，所述传感器数据可以针对特定时刻指示多个探测到的点(分别具有关于相应点至环境传感器的距离值)。
所述处理单元被配置用于获取车辆的至少一个相机的图像数据，其中，所述图像数据指示从参考点出发(例如从该相机出发)的车辆环境。所述处理单元还被配置用于(例如在使用一个或多个图像处理算法的情况下)基于所述图像数据探测在车辆环境中的至少一个相机物体。例如可以基于所述图像数据来探测物体的轮廓。此外，可选地可以基于所述图像数据确定物体的类型(例如车辆、行人、骑自行车的人等)。另一方面，基于所述图像数据通常仅能相对不精确地确定相机物体至参考点的距离。
所述处理单元还被配置用于获取车辆的至少一个感测距离的环境传感器的传感器数据，其中，所述传感器数据指示在车辆环境中的多个探测到的点。所述传感器数据还可以对于每个探测到的点指示该点的距离、尤其是该点相对于参考点的距离。感测距离的环境传感器的传感器数据和所述图像数据可以在时间上同步(例如在相同的时刻被检测)。
相机和环境传感器通常设置在车辆上的不同部位处。由此的结果是，可以在分别不同的坐标系中提供相机的图像数据和环境传感器的传感器数据。在此，相机和环境传感器的坐标系通常可以经由预先已知的转换(例如旋转和/或平移)转化到彼此的坐标系中。
所述处理单元可以被配置用于在一个共同的坐标系中表示相机物体和环境传感器的传感器数据(从而不仅相机物体而且传感器数据可以参考一个共同的参考点)。这尤其是可以通过将相机物体投射到环境传感器的坐标系中或者通过将传感器数据投射到相机的坐标系中(借助预先已知的转换)来实现。因此，能够实现图像数据和传感器数据的精确处理，以便识别周围环境物体。
所述处理单元还可以被配置成，使相机物体移动到相对于参考点的多个不同的距离处，或者说使相机物体(依次地)置于相对于参考点的多个不同的距离处。在此，尤其是可以使相机物体沿着从参考点出发的射线移动，以便改变相对于参考点的径向距离。此外，可以根据相对于参考点的相应距离缩放(即放大或缩小)相机物体。尤其是，当相机物体朝向参考点移动时，可以缩小相机物体。另一方面，当摄像物体移动远离参考点时，可以增大相机物体。因此，能够考虑关于相机物体至参考点的距离的不同假设。
所述处理单元可以被配置用于(可选地仅)基于图像数据确定相机物体至参考点的估计距离。然后可以在估计距离周围的特定距离范围内移动相机物体，以便将相机物体移动到所述多个不同的距离处。所述距离范围例如可以从所述估计距离出发来定义朝向参考点和/或远离参考点的以20％、30％或更多所述估计距离的移动。然后，可以在所述距离范围内选择不同的距离(例如20、30、50、100或更多个不同的(可选地等距的)距离)。
此外，所述处理单元被配置用于，针对所述多个不同的距离，确定相应的(经移动的和/或经缩放的)相机物体与传感器数据的探测到的点的重叠度的对应多个值。在此，所述重叠度可以指示(相应经移动的和/或经缩放的)相机物体与感测距离的环境传感器的传感器数据的探测到的点重叠多强。在此，相对强的重叠指示：感测距离的环境传感器的传感器数据的探测到的点指示与相机物体对应的周围环境物体(在相对于参考点的通过探测到的点所指示的距离中)。另一方面，相对低的重叠指示：在放置了相机物体的距离中可能不存在周围环境物体。
此外，所述处理单元可以被配置用于根据所述重叠度的所述多个值来确定相机物体与参考点的物体距离。在此，作为物体距离尤其是可以从所述多个不同的距离中选择如下距离，对于该距离，重叠度的所确定的值指示在相机物体与传感器数据的探测到的点之间的特别大的重叠。尤其是，作为物体距离可以选择对应于重叠度的最大值或最小值的距离。所确定的物体距离然后可以在确定关于在车辆环境中的周围环境物体的信息时被考虑。因此，能够有效提高周围环境物体的探测质量。
作为对物体距离确定的替代或补充，可以根据所述重叠度的所述多个值将相机物体分配给传感器数据的探测到的点中的一部分点或者说将相机物体与传感器数据的探测到的点中的一部分点关联。然后可以精确地在基于感测距离的环境传感器的传感器数据识别周围环境物体时考虑来自图像数据的与物体相关的信息。因此，能够有效提高周围环境物体的探测质量。
通过在图像相机的图像数据与感测距离的环境传感器的传感器数据重叠时改变相机物体的距离，能够可靠地补偿在图像相机与感测距离的环境传感器之间的有误差的校准和/或在图像数据与传感器数据之间时间同步时的错误。
所述处理单元可以被配置用于确定在用于相机物体的参考点周围的角度范围、尤其是方位角范围和/或俯仰角范围(
Figure BDA0003053114840000051
-Winkelbereich)。在此，所述角度范围可以被确定成，使得限定该角度范围的、从参考点出发的射线在相机物体的两个不同的侧上(准确地)界定该相机物体，可选地以附加的公差缓冲在相机物体的两个不同的侧上界定该相机物体。因此，可以界定车辆环境的部分区域，在所述部分区域中搜索探测到的点，这些探测到点可能对应于相机物体。尤其是可以使相机物体(仅仅)在车辆环境的由一个或两个角度范围(即方位角范围和/或俯仰角范围)定义的部分区域之内进行移动。在此，可以(从相机物体的估计距离出发)这样移动和缩放相机物体，使得相机物体始终保持在限定所述角度范围的射线之内。
因此，可以使相机物体在车辆环境的由一个角度范围或由多个角度范围定义的部分区域之内沿着从参考点出发的射线移动。然后可以(尤其是仅仅)利用传感器数据的从车辆环境的由一个角度范围或由多个角度范围定义的部分区域中探测到的点来确定相应的(经移动的和/或经缩放的)相机物体的重叠度的值。因此，能够提高确定物体距离的准确度和效率和/或提高将相机物体与感测距离的环境传感器的探测到的点相配设的准确度和效率。
例如，可以在水平方向上基于图像数据和/或基于传感器数据确定方位角范围。以相应的方式，可以在竖直方向上基于图像数据和/或基于传感器数据来确定俯仰角范围。通过组合地考虑方位角范围和俯仰角范围，能够进一步提高所确定的物体距离的准确度和/或提高将相机物体与用于感测距离的环境传感器的探测到的点相配设的准确度。
相机物体可以指示车辆环境中的多个相机点，相机物体设置在所述相机点上。这些相机点例如可以通过一个多边形曲线(尤其是通过方形)来描述。使相机物体移动因此可以包括使所述多个相机点中的至少一些相机点(尤其是沿着从参考点出发的射线)移动。此外，在移动的范围内可以补充或舍弃多个点(以便放大或缩小相机物体)。通过观察若干个相机点以描述相机物体，能够提高确定相机物体与传感器数据的探测到的点中的一部分点之间的重叠的准确度。
尤其是，在考虑若干个相机点以描述相机物体的情况下，确定重叠度的值可以包括：确定相机物体的所述多个相机点中的部分相机点，该部分相机点与传感器数据的探测到的点重合。替代地或补充地，确定重叠度的值可以包括确定相机物体的所述多个相机点与传感器数据的探测到的点的距离(例如平均距离)。替代地或补充地，确定重叠度的值可以包括确定相机物体的所述多个相机点与传感器数据的探测到的点的重叠的程度。因此，能够精确地确定在相机点与传感器数据的探测到的点之间的重叠。
所述处理单元可以被配置用于根据所确定的物体距离将相机物体配设给所述多个探测到的点中的一部分点。此外，所述处理单元可以被配置用于基于传感器数据在考虑经配设的相机物体的情况下确定车辆环境的占据栅格(英语为“Occupancy Grid”)。在此，所述占据栅格可以针对车辆环境的多个单元分别指示相应的单元为空(并且因此可能对于车辆可通行)或者相应的单元被物体占据(并且因此可能导致与车辆碰撞)的概率。通过提供占据栅格，能够精确地(在依次相继的时刻的序列上)探测并且跟踪周围环境物体。因此，能够进一步改进车辆的至少部分自动化的驾驶。
因此，所述处理单元可以被配置用于基于传感器数据确定车辆环境的占据栅格。此外，所述处理单元可以被配置用于基于占据栅格在考虑与参考点相距所确定的物体距离的相机物体的情况下探测在车辆环境中对应于该相机物体的周围环境物体。然后能够可靠地基于图像数据确定周围环境物体的一个或多个属性、尤其是来自多个不同物体类型中的物体类型。因此，在本文中描述的在图像数据与感测距离的环境传感器的传感器数据之间的融合能够实现可靠地确定关于周围环境物体的进一步信息。
所述处理单元可以被配置用于：基于所述重叠度的所述多个值来查明相机物体是否能配设给所述多个探测到的点中的一部分点。为此目的，可以将重叠度的值与重叠阈值进行比较，其中，所述重叠阈值指示重叠度的最小值或最大值，其必须最小或最大存在，以便可以由此出发，相机物体对应于能在感测距离的环境传感器的传感器数据中识别出的物体。所述重叠阈值可以预先(例如通过实验)确定。替代地或补充地，所述重叠阈值可以借助机器学习自动确定、也就是说学习。
评估单元还被配置用于，当查明了相机物体不能配设给所述多个探测到的点中的一部分点时，在确定车辆环境的占据栅格时不考虑该相机物体。另一方面，评估单元可以被配置用于，(尤其是仅)当查明了相机物体能配设给所述多个探测到的点中的一部分点时，在基于传感器数据根据所确定的物体距离确定车辆环境的占据栅格时考虑该相机物体。因此，能够进一步提高物体识别的鲁棒性和可靠性。
所述传感器数据的所述多个探测到的点可以包括至少一个可能的非障碍物点、尤其是可能的地面点。尤其是，感测距离的环境传感器的探测到的点可以被分类为障碍物点，其(可能)属于在车辆环境中设置的周围环境物体，该周围环境物体表示障碍物。另一方面，感测距离的环境传感器的探测到的点可被分类为非障碍物点，其(可能)不属于周围环境物体，而是归因于噪声、地面或可被驶过的物体(例如隧道或桥梁)。
可能的非障碍物点、尤其是地面点例如可以基于在感测距离的环境传感器的传感器数据中的高度信息来探测。尽管可能的非障碍物点可能不对应于在车辆环境中的周围环境物体，但是可选地可以在考虑可能的非障碍物点的情况下确定重叠度的值。这样能够进一步提高周围环境物体的识别质量(因为不能一开始就排除可能的非障碍物点)。
另一方面，当非障碍物点未配设有相机物体时，在确定占据栅格时可以保持不考虑可能的非障碍物点。此外，当非障碍物点配设了相机物体时，(尤其是仅)在确定占据栅格时可以考虑可能的非障碍物点。因此，能够进一步提高识别周围环境物体的可靠性。
如上所述，所述处理单元可以被配置用于，根据所确定的物体距离和/或根据车辆环境的与所确定的物体距离相关的占据栅格来运行车辆的至少一个车辆功能、尤其是车辆的至少部分自动化的驾驶。因此，能够有效地提供可靠的车辆功能。
根据另一个方面描述了一种用于确定关于车辆环境中的物体的信息的方法。该方法包括获取车辆的相机的图像数据，其中，所述图像数据指示从参考点出发的车辆环境。该方法还包括基于图像数据探测在车辆环境中的至少一个相机物体。该方法还包括获取车辆的感测距离的环境传感器的传感器数据。该方法还包括：使相机物体移动到相对于参考点的多个不同的距离处，以及针对所述多个不同的距离确定相应的相机物体与传感器数据的重叠度的多个值。然后可以根据所述重叠度的所述多个值来确定相机物体与参考点的物体距离。
根据另一方面描述了一种(道路)机动车(尤其是轿车或货车或公共汽车)，其包括在本文中所描述的处理单元。
根据另一方面描述一种软件(SW)程序。该SW程序可以被配置用于在处理器上(例如在车辆的控制器上)实施，并且以便由此实施在本文中所描述的方法。
根据另一方面描述一种存储介质。该存储介质可以包括SW程序，该SW程序被配置用于在处理器上实施，并且以便由此实施在本文中所描述的方法。
应当注意的是，在本文中所描述的方法、装置和系统不仅可以单独地使用，而且可以与其他在本文中所描述的方法、装置和系统组合使用。此外，在本文中所描述的方法、装置和系统的任何方面可以多样化地互相组合。尤其是，各权利要求的各特征多样化地互相组合。
附图说明
此外，借助各实施例详细描述本发明。在此：
图1示出具有多个不同的环境传感器的示例性车辆；
图2示出车辆周围环境的示例性栅格；
图3示出相机物体与基于激光雷达的占据栅格的示例性重叠；
图4示出用于确定关于周围环境物体的信息的示例性方法的流程图；以及
图5示出相机物体与感测距离的环境传感器的传感器数据的示例性重叠。
具体实施方式
如开头所述的那样，本文涉及基于多个环境传感器的传感器数据来探测和跟踪至少一个周围环境物体。就此而言，图1示出具有一个或多个用于检测传感器数据的环境传感器111、112的车辆100。车辆100还包括处理单元101，该处理单元被配置用于基于传感器数据探测在车辆100环境中的物体150。探测到的物体150然后可以在车辆功能102(例如用于车辆100的部分自动化或高度自动化的驾驶)中使用。
本文尤其是涉及车辆100的周围环境的一致的多传感器建模。在此，局部的周围环境可以被估计或示出为占据网格地图或者说栅格200(参见图2)。图2示出车辆100的周围环境的示例性栅格200，该栅格具有多个栅格单元(或简称单元)201。栅格200可以将车辆100的周围环境或者说环境划分成多个二维(2D)的或三维(3D)的单元201。二维单元201在此可以具有矩形形状(例如具有10cm、5cm、2cm、1cm或更小的边长)。
车辆100的处理单元101可以被配置用于基于传感器数据针对一个或多个单元201(尤其是针对每个单元201)确定测量数据，所述测量数据指示单元201在特定时刻t是否被占据。尤其是，一个单元c201的测量数据zc可以表示
Zc＝(m(SDz,t),m(Fz,t))，
其中，m({SD})是该单元c201被物体150(例如静态或动态的物体)占据的证据或证据信任度(Evidenzmasse)，并且m(F)是该单元c 201为空并且因此未被物体150占据的证据。单元201被物体150占据的证据可以被视为单元201被物体150占据的物体概率(尤其是在Dempster-Shafer证据理论的意义上)。
通常，基于在特定时刻t的在时间上分开的测量，可以只确定证据或证据信任度m(SD)、m(F)，因为无法确认物体是被静态的还是动态的物体150所占据。然而可以假定，在相应的时刻序列上的一序列测量(通过传感器111、112测量)之后，在当前时刻t可以提供占据栅格Mt200，该占据栅格对于不同的单元201表示用于不同假设的不同证据，
Mt＝{m(St),m(Dt),m(SDt),m(Ft),m(FDt)}，其中，m(FDt)表示用于如下假设的证据，即，在过去未被占据的单元201在时刻t可能被动态的物体150占据。此外，m(St)表示对于如下情况的证据或证据信任度，即，单元c201在时刻t被静态的物体150占据。此外，m(Dt)表示对于如下情况的证据或证据信任度，即，单元c201在时刻t被动态的物体150占据。占据栅格Mt200描述栅格200的单元201在特定时刻t的状况或状态。
占据栅格200例如可以基于一个或多个环境传感器111的传感器数据来确定，所述环境传感器在物体50与相应的环境传感器111的距离方面分别具有相对高的准确度。因此，占据栅格200的被占据的单元201与相应的环境传感器111的距离可以被视为用于待探测的物体的参考距离。具有相对精确的距离确定的示例性环境传感器111是激光雷达传感器和/或雷达传感器。
此外，至少一个图像相机112的传感器数据可被用于探测周围环境物体。图像相机112的传感器数据在本文中也被称作图像数据。处理单元101可以被配置用于基于图像数据探测一个或多个物体250。在此，基于图像数据探测到的物体250在本文中被称作相机物体。
因此，可以基于感测距离的环境传感器111的传感器数据确定第一占据栅格200并且基于图像数据确定第二占据栅格200，它们可以被重叠，以便确定一个共同的或融合的占据栅格200。由于基于图像数据通常仅能够相对不精确地查明相机物体250的距离，两个占据栅格200的重叠可能导致双重地识别出物体(以不同的距离)或可能根本无法识别出物体。因此，由不同类型的环境传感器111、112的传感器数据得到的各占据栅格200的重叠可能导致周围环境物体的相对低的识别质量。
该问题能够通过如下方式避免，即：在数据融合之前，将一个或多个探测到的相机物体250配设给基于感测距离的环境传感器111的传感器数据(例如基于激光雷达传感器数据或雷达传感器数据)所确定的占据栅格200的单元201。图3示出一种示例性的相机物体250，该相机物体已被变换或转换到基于感测距离的环境传感器111的传感器数据所确定的占据栅格200中。通常，用于检测图像数据的相机112和用于检测传感器数据的环境传感器111设置在车辆100上的不同位置处。相机112和环境传感器111的不同位置是已知的并且因此可以事先确定转换(例如具有六个自由度，三个用于平移的自由度和三个用于旋转的自由度)，所述转换能够实现将探测到的相机物体250从相机112的坐标系转换到感测距离的环境传感器111的坐标系中。
探测到的相机物体250(相对于特定的参考点305)在特定的方位角范围301上延伸。参考点305例如可以对应于传感器111、112(例如相机112和/或感测距离的环境传感器111)在基于占据栅格200的坐标系中的位置。在此，角度范围301可以对应于相机112的检测区域的相机物体250所处的角度部分。可选地，角度范围301可以在相机物体250的两侧上以特定的公差缓冲303扩展。
相机物体250至参考点305的距离可以在所确定的角度范围301之内改变(通过双箭头302示出)。在此，相机物体250可以被这样缩放，使得相机物体250(可选地在考虑两侧的公差缓冲303的情况下)在每个距离中在整个角度范围301上延伸。
对于每个距离，可以确定用于(经缩放的)相机物体250与占据栅格200的单元或点201的重叠的重叠度值。(经缩放和经移动)的相机物体250例如可以对于占据栅格200的每个单元201指示单元201是相机物体250的一部分的证据信任度。此外，占据栅格200针对每个单元201指示上述的单元201被占据的证据信任度。为了确定重叠度的值，可以：
·对于被角度范围201覆盖的各单元201，分别确定单元201是(经缩放的和经移动的)相机物体250的一部分的证据信任度与单元201被占据的证据信任度的乘积；并且
·确定所述乘积的平均绝对和或平方和。
因此，可以针对相机物体250的多个不同的距离分别确定一个重叠度的值。此外，可以基于重叠度的值来确定相机物体250的物体距离，在该物体距离中，在(经缩放的和经移动的)相机物体250与占据栅格200之间存在特别好的、尤其是最佳的重叠。该经缩放和经移动的相机物体250然后可以与占据栅格200的单元201融合，并且在识别周围环境物体时被考虑。因此能够提高周围环境物体的识别质量。
替代地或补充地，(代替在第一步骤中从不同的传感器111、112的传感器数据中分别得出各自的网格200并且随后基于单元融合所述网格)，一个或多个探测到的相机物体250可以直接与感测距离的环境传感器111(例如激光扫描器)的传感器数据融合。然后在此之后才可以可选地基于已经融合的信息得出扫描网格200。
相机物体250与感测距离的传感器100的传感器数据之间的融合或关联可以如下进行：
·相机物体250通常相对于相机112的坐标系被描述，已经利用该相机检测到用于探测相机物体250的图像数据。感测距离的环境传感器111(例如激光雷达传感器)的传感器数据然后可以通过转换(平移和/或旋转)投射或转换到相机112的3D坐标系中。替代地，如上所述，可以将相机物体250转换到感测距离的环境传感器111的坐标系中。
·然后可以确定方位角范围301，该方位角范围被相机物体250撑开(可选地分别在相机物体250的左边和右边添加有公差增量或公差缓冲303)。
·此外，可以提取感测距离的环境传感器111的位于所述方位角范围301之内的传感器数据。
·相机物体250可以被设定到不同的距离值并且相应地被缩放。对于每个距离值，可以计算质量函数的值(也就是重叠度的值)，其中，所述质量函数指示(经缩放的和经移动的)相机物体250与感测距离的环境传感器111的传感器数据有多匹配。
·相机物体250然后可以与基于感测距离的环境传感器111的传感器数据所识别到的被占据的单元201相配设，对于所述被占据的单元得到相对好的配合(即质量函数的相对好的值)。
一旦一个或多个相机物体250关联了基于感测距离的环境传感器111的传感器数据所确定的占据栅格200的点或单元201，则可以得出融合的占据栅格200，该融合的占据栅格不仅包含感测距离的环境传感器111的信息而且包含相机112的信息。
如图5所示，感测距离的环境传感器111的传感器数据500可以指示多个探测到的点501、504。在此，点501、504可以是环境传感器111的检测区域中的如下部位，在该部位上发生了对由环境传感器111发出的传感器信号(例如激光信号或雷达信号)的反射。因此，在由环境传感器111探测到的点501、504上可能设置有物体。此外，感测距离的环境传感器111的传感器数据指示大概率为空的区域502(因为在这些区域502中在传感器起点与第一障碍物探测之间没有物体)。
此外，图5示出示例性的相机物体250，该相机物体可以通过相对于参考点305在相应的角度范围301内改变距离并且通过相应的缩放而与传感器数据500的探测到的点501、504相关联。然后可以基于感测距离的环境传感器111的传感器数据500的探测到的点501、504与一个或多个相机物体250的关联来探测周围环境物体550。在此，可以基于感测距离的环境传感器111的传感器数据500精确地确定一个或多个周围环境物体550的空间位置。此外，可以基于图像数据实现对周围环境物体550的精确分类(例如分类成不同的物体类型，如车辆、行人、骑自行车的人等)。此外，基于图像数据可以精确地确定周围环境物体550的其它属性(例如颜色、形状等)。此外，基于图像数据可以可靠地将感测距离的环境传感器111的传感器数据500的探测到的点501、504聚类至一个或多个不同的周围环境物体550。
基于在图5中示出的融合的传感器数据能够精确地确定融合的占据栅格200，该融合的占据栅格除了各个单元201的占据概率之外还指示单元201与一个或多个不同的周围环境物体550的物体所属性。
借助感测距离的环境传感器111探测到的点501、504可以通过在物体550上的反射或者通过在地面上的反射引起。因此，探测到的点501、504可以是不应配设给物体550的可能的地面点。例如可以基于出现反射的高度来确定物体点501与可能的地面点504之间的差异。当反射仅在距离地面相对低的高度上发生时，则可能可以推断出探测到的点501、504是可能的地面点504。
原则上，感测距离的环境传感器111的探测到的点501、504可以被分类成不同的类别，例如雨、噪声、地面、地下交通(Unterfahrbar)(例如隧道或桥梁)等等。这些类别又可以相对粗糙地概括成“障碍物”和“非障碍物”的类别。在本文中描述的对“非障碍物”类别中的其中一个点的重新确证可以针对“非障碍物”类别的所有点(不仅仅针对地面点504)进行。因此，地面点通常可被认为是非障碍物点。
基于高度分类为物体点501和地面点504通常是有缺陷的。在本文中描述的相机物体250与感测距离的环境传感器111的传感器数据500的探测到的点501、504的关联能够实现在数据融合时首先考虑所有探测到的点501、504，尤其是也考虑被识别为可能的地面点504的点。当可能的地面点504与相机物体250相关联时，则可以推断出该点不是地面点，而是物体点。另一方面，当可能的地面点没有关联任何相机物体250时，则可能的地面点以增加的概率配设给地面。由此能够进一步提高识别周围环境物体550的质量。
图4示出用于确定关于车辆100环境中的周围环境物体的信息的示例性方法400的流程图。尤其是，该方法400可有助于融合不同传感器111、112的传感器数据，以提高物体的探测质量和/或确定关于探测到的物体的扩展信息。此外，所述方法400可被用于基于所确定的关于物体的信息至少部分自动化地驾驶车辆100。所述方法400可以由车辆100的处理单元101来执行。
所述方法400包括确定401车辆100的相机112(尤其是单目相机)的图像数据。在此，图像数据可以指示从参考点305出发的车辆100环境。参考点305例如可以对应于相机112的传感器面。
此外，所述方法400包括基于图像数据探测402在车辆100环境中的至少一个相机物体250。为此，可以使用一个或多个图像分析算法，所述图像分析算法例如被配置用于基于图像数据(例如基于图像帧的图像像素)识别至少一个物体的轮廓，其中，基于图像数据探测到的物体在本文中被称作相机物体250。
图像数据能够实现精确地确定周围环境物体550的轮廓和/或形状。此外，通常可以基于图像数据借助于分类算法来精确地确定周围环境物体550的物体类型。另一方面，基于图像数据大多仅能以相对较低的准确度确定周围环境物体550到参考点305的距离。
所述方法400还包括确定403车辆100的感测距离的环境传感器111的传感器数据500。在此，感测距离的环境传感器111的传感器数据500的确定403可以与图像数据的确定401和至少一个相机物体250的探测402并行地进行。尤其是，传感器数据500和图像数据可以涉及相同的(采样)时刻。
感测距离的环境传感器111可以是如下传感器，利用该传感器精确地确定测量点的距离。示例性的感测距离的传感器111是雷达传感器或激光雷达传感器。感测距离的环境传感器111的传感器数据500可以指示在车辆100环境中的多个探测到的点501、504。在此，探测到的点501、504可以是反射点，在所述反射点上反射了由环境传感器111发出的传感器信号。
此外，所述方法400包括使相机物体250移动404到相对于参考点305的多个不同的距离处。在此，相机物体250可以沿着从参考点305出发的射线移动，以便使相机物体250置于相对于参考点305的不同(径向)距离处。在使相机物体250移动404的范围内，也可以进行对相机物体250的缩放。在此，当相机物体250移动靠近参考点305时，可以缩小相机物体250，和/或当相机物体250移动远离参考点305时，可以放大相机物体250。
此外，所述方法400包括：针对所述多个不同的距离，确定405相应的(经移动的和/或经缩放的)相机物体250与传感器数据500的探测到的点501、504的重叠的多个重叠度值。
此外，所述方法400包括根据所述多个重叠度值来确定406相机物体250与参考点305的物体距离。在此，物体距离可以被选择为所述多个不同的距离中的如下距离，在该距离处重叠度指示相机物体250与传感器数据500的探测到的点501、504的相对最佳的重叠。尤其是，物体距离可以被选择为所述多个不同的距离中重叠度值为最大或最小的距离。
此外，相机物体250(基于所确定的物体距离)可以配设给所述多个探测到点501、504中的一部分点。这种配设性然后可以在确定占据栅格200时被考虑。在此，占据栅格200可以针对多个单元201分别指示相应的单元201被周围环境物体550占据的占据概率。占据栅格200可被用于可靠地探测和/或跟踪一个或多个周围环境物体550。车辆100然后可以根据所述一个或多个周围环境物体550至少部分自动地行驶。因此，能够提高至少部分自动化行驶的车辆100的可靠性和安全性。
所述方法400可以规律地、尤其是周期性地重复(例如以10Hz、20Hz、25Hz或更大的频率重复)。在此，可以在相应的时刻分别确定和考虑当前的图像数据和/或传感器数据500。通过重复所述方法400，能够在车辆100的行驶期间可靠地探测和跟踪周围环境物体500。
本发明不限于所示出的实施例。尤其应注意，说明书以及附图仅应阐释所提出的方法、装置和系统的原理。

Claims (16)

1.一种用于车辆(100)的处理单元(101)，该处理单元(101)被配置用于：
-获取车辆(100)的相机(112)的图像数据，所述图像数据指示从参考点(305)出发的车辆(100)环境；
-基于所述图像数据探测在车辆(100)环境中的至少一个相机物体(250)；
-获取车辆(100)的感测距离的环境传感器(111)的传感器数据(500)，所述传感器数据(500)指示在车辆(100)环境中的多个探测到的点(501、504)；
-使相机物体(250)移动到相对于参考点(305)的多个不同的距离处；
-针对所述多个不同的距离确定相应的相机物体(250)与传感器数据(500)的探测到的点(501、504)的重叠度的对应多个值；并且
-根据所述重叠度的所述多个值来确定相机物体(250)与参考点(305)的物体距离。
2.根据权利要求1所述的处理单元(101)，其中，该处理单元(101)被配置用于：
-确定在用于相机物体(250)的参考点(305)周围的角度范围(301)、尤其是方位角范围和/或俯仰角范围；
-使相机物体(250)在车辆(100)环境的由所述角度范围(301)定义的部分区域之内沿着从参考点(305)出发的射线移动；并且
-确定相应的相机物体(250)与传感器数据(500)的从车辆(100)环境的所述部分区域中探测到的点(501、504)、尤其是仅与这些点的重叠度的值。
3.根据权利要求2所述的处理单元(101)，其中，所述角度范围(301)被确定为，使得限定该角度范围(301)的、从参考点(305)出发的射线在相机物体(250)的两个不同的侧上界定该相机物体(250)，可选地以附加的公差缓冲(303)在相机物体(250)的这两个不同的侧上界定该相机物体。
4.根据权利要求2至3中任一项所述的处理单元(101)，其中，该处理单元(101)被配置用于：
-确定在用于相机物体(250)的参考点(305)周围的方位角范围(301)和俯仰角范围；
-使相机物体(250)在车辆(100)环境的由所述方位角范围(301)和俯仰角范围定义的部分区域之内沿着从参考点(305)出发的射线移动；并且
-确定相应的相机物体(250)与传感器数据(500)的从车辆(100)环境的所述部分区域中探测到的点(501、504)、尤其是仅与这些点的重叠度的值。
5.根据前述权利要求中任一项所述的处理单元(101)，其中，该处理单元(101)被配置用于根据相对于参考点(305)的距离来缩放相机物体(250)。
6.根据前述权利要求中任一项所述的处理单元(101)，其中，该处理单元(101)被配置用于：
-基于图像数据确定相机物体(250)相对于参考点(305)的估计距离；并且
-使相机物体(250)在所述估计距离周围的距离范围内移动、尤其是沿着从参考点(305)出发的射线移动，以便使相机物体(250)移动到所述多个不同的距离处。
7.根据前述权利要求中任一项所述的处理单元(101)，其中，
-所述相机(112)和环境传感器(111)设置在车辆(100)上的不同部位处；
-所述处理单元(101)被配置用于在一个共同的坐标系中表示相机物体(250)和环境传感器(111)的传感器数据(500)，尤其是通过如下方式实现：
-将相机物体(250)投射到环境传感器(111)的坐标系中；或
-将传感器数据(500)投射到相机(112)的坐标系中。
8.根据前述权利要求中任一项所述的处理单元(101)，其中，
-所述相机物体(250)指示在车辆(100)环境中的多个相机点，所述相机物体(250)设置在所述多个相机点上；并且
-使相机物体(250)移动包括使所述多个相机点中的至少一些相机点移动，尤其是沿着从参考点(305)出发的射线移动。
9.根据权利要求8所述的处理单元(101)，其中，确定重叠度的值包括：
-确定相机物体(250)的所述多个相机点中的部分相机点，所述部分相机点与传感器数据(500)的探测到的点(501、504)重合；和/或
-确定相机物体(250)的所述多个相机点与传感器数据(500)的探测到的点(501、504)的距离；和/或
-确定相机物体(250)的所述多个相机点与传感器数据(500)的探测到的点(501、504)的重叠的程度。
10.根据前述权利要求中任一项所述的处理单元(101)，其中，
-所述多个探测到的点(501、504)包括至少一个可能的非障碍物点(504)，所述非障碍物点可能不指示设置在车辆(100)环境中的周围环境物体(550)；并且
-在考虑所述可能的非障碍物点(504)的情况下确定所述重叠度的值。
11.根据前述权利要求中任一项所述的处理单元(101)，其中，该处理单元(101)被配置用于：
-根据所确定的物体距离将相机物体(250)配设给所述多个探测到点(501、504)中的一部分点；并且
-基于传感器数据(500)在考虑经配设的相机物体(250)的情况下确定车辆(100)环境的占据栅格(200)；所述占据栅格(200)针对车辆(100)环境的多个单元(201)分别指示相应的单元(201)为空或者相应的单元(201)被物体(550)占据的概率。
12.根据回引权利要求10的权利要求11所述的处理单元(101)，其中，
-当非障碍物点(504)未配设有相机物体(250)时，在确定占据栅格(200)时保持不考虑所述可能的非障碍物点(504)；和/或
-当非障碍物点(504)配设了相机物体(250)时，在确定占据栅格(200)时、尤其是仅在确定占据栅格时才考虑所述可能的非障碍物点(504)。
13.根据前述权利要求中任一项所述的处理单元(101)，其中，该处理单元(101)被配置用于：
-基于所述重叠度的所述多个值来查明相机物体(250)是否能配设给所述多个探测到的点(501、504)中的一部分点；并且
-在查明了相机物体(250)不能配设给所述多个探测到的点(501、504)中的一部分点时，在基于传感器数据(500)确定车辆(100)环境的占据栅格(200)时不考虑该相机物体(250)；和/或
-当查明了相机物体(250)能够配设给所述多个探测到的点(501、504)中的一部分点时，尤其是仅当查明了相机物体能够配设给所述多个探测到的点中的一部分点时，在基于传感器数据(500)根据所确定的物体距离确定车辆(100)环境的占据栅格(200)时考虑该相机物体(250)。
14.根据前述权利要求中任一项所述的处理单元(101)，其中，该处理单元(101)被配置用于：
-基于所述图像数据(500)确定车辆(100)环境的占据栅格(200)；
-基于所述占据栅格(200)在考虑与参考点(305)相距所确定的物体距离的相机物体(250)的情况下探测在车辆(100)环境中对应于该相机物体(200)的周围环境物体(550)；并且
-基于所述图像数据确定所述周围环境物体(550)的一个或多个属性、尤其是来自多个不同物体类型中的物体类型。
15.根据前述权利要求中任一项所述的处理单元(101)，其中，该处理单元(101)被配置用于，根据所确定的物体距离和/或根据车辆(100)环境的与所确定的物体距离相关的占据栅格(200)来运行车辆(100)的至少一个车辆功能、尤其是车辆(100)的至少部分自动化的驾驶。
16.一种用于确定关于在车辆(100)环境中的物体的信息的方法(400)，其中，该方法(400)包括：
-获取(401)车辆(100)的相机(112)的图像数据，所述图像数据指示从参考点(305)出发的车辆(100)环境；
-基于所述图像数据探测(402)在车辆(100)环境中的至少一个相机物体(250)；
-获取(403)车辆(100)的感测距离的环境传感器(111)的传感器数据(500)，所述传感器数据(500)指示在车辆(100)环境中的多个探测到的点(501、504)；
-使相机物体(250)移动(404)到相对于参考点(305)的多个不同的距离处；
-针对所述多个不同的距离确定(405)相应的相机物体(250)与传感器数据(500)的探测到的点(501、504)的重叠度的多个值；并且
-根据所述重叠度的所述多个值来确定(406)相机物体(250)与参考点(305)的物体距离。
CN201980073201.5A 2018-11-08 2019-07-12 用于确定关于车辆环境中的物体的信息的方法和处理单元 Active CN112997093B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018127990.6A DE102018127990A1 (de) 2018-11-08 2018-11-08 Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs
DE102018127990.6 2018-11-08
PCT/DE2019/100650 WO2020094170A1 (de) 2018-11-08 2019-07-12 Verfahren und verarbeitungseinheit zur ermittlung von information in bezug auf ein objekt in einem umfeld eines fahrzeugs

Publications (2)

Publication Number Publication Date
CN112997093A true CN112997093A (zh) 2021-06-18
CN112997093B CN112997093B (zh) 2024-06-11

Family

ID=67514265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980073201.5A Active CN112997093B (zh) 2018-11-08 2019-07-12 用于确定关于车辆环境中的物体的信息的方法和处理单元

Country Status (7)

Country Link
US (1) US20210394761A1 (zh)
EP (1) EP3877776A1 (zh)
JP (1) JP7273956B2 (zh)
KR (1) KR102536037B1 (zh)
CN (1) CN112997093B (zh)
DE (1) DE102018127990A1 (zh)
WO (1) WO2020094170A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019120440A1 (de) * 2019-07-29 2021-02-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs
EP3882813A1 (en) 2020-03-20 2021-09-22 Aptiv Technologies Limited Method for generating a dynamic occupancy grid
EP3905106A1 (en) 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a drivable area
EP3905105A1 (en) * 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a collision free space
US11994582B2 (en) * 2021-09-13 2024-05-28 Texas Instruments Incorporated Inverse radar sensor model and evidential grid mapping processors
US20230169781A1 (en) * 2021-11-30 2023-06-01 Texas Instruments Incorporated Free space detection and park-able free space detection for occupancy grids using sensor measurements

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003107067A2 (de) * 2002-06-18 2003-12-24 Bayerische Motoren Werke Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs mit abstandsabhängiger fusion eines infrarot- und eines visuell-abbilds
JP2009208676A (ja) * 2008-03-05 2009-09-17 Nissan Motor Co Ltd 車両周囲環境検出装置
US20090303026A1 (en) * 2008-06-04 2009-12-10 Mando Corporation Apparatus, method for detecting critical areas and pedestrian detection apparatus using the same
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
US20140035775A1 (en) * 2012-08-01 2014-02-06 GM Global Technology Operations LLC Fusion of obstacle detection using radar and camera
KR20160069847A (ko) * 2014-12-09 2016-06-17 현대자동차주식회사 라이다의 멀티 레이어 데이터를 클러스터링하는 방법
US20170085771A1 (en) * 2014-03-27 2017-03-23 Sony Corporation Camera with radar system
CN107003409A (zh) * 2015-01-27 2017-08-01 宝马股份公司 在表面上的尺寸的测量
US20170262716A1 (en) * 2014-08-18 2017-09-14 Denso Corporation Object recognition apparatus
EP3438777A1 (en) * 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701006B2 (en) * 2002-06-26 2004-03-02 Nextengine, Inc. Apparatus and method for point cloud assembly
DE10229334B4 (de) * 2002-06-29 2010-09-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung von Sensoren im Kraftfahrzeug mittels eines Kalibrierobjekts mit Triple-Spiegel als Bezugsmerkmal
DE10324895A1 (de) * 2003-05-30 2004-12-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge
JP2007004578A (ja) * 2005-06-24 2007-01-11 Nippon Telegr & Teleph Corp <Ntt> 三次元形状取得方法、三次元形状取得装置、及びプログラムの記録媒体
JP6281460B2 (ja) * 2014-09-24 2018-02-21 株式会社デンソー 物体検出装置
US10133947B2 (en) * 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
CN106296801B (zh) * 2015-06-12 2019-11-26 联想(北京)有限公司 一种建立物体三维图像模型的方法及电子设备
DE102015118874A1 (de) * 2015-11-04 2017-05-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Sensorsystems eines Kraftfahrzeugs, Fahrerassistenzsystem und System zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs
US10145951B2 (en) * 2016-03-30 2018-12-04 Aptiv Technologies Limited Object detection using radar and vision defined image detection zone
DE102016009756A1 (de) * 2016-08-10 2018-02-15 Daimler Ag Verfahren zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs sowie Sensorsystem
US20180217603A1 (en) * 2017-01-31 2018-08-02 GM Global Technology Operations LLC Efficient situational awareness from perception streams in autonomous driving systems
WO2018170472A1 (en) * 2017-03-17 2018-09-20 Honda Motor Co., Ltd. Joint 3d object detection and orientation estimation via multimodal fusion
US10574967B2 (en) * 2017-03-23 2020-02-25 The Boeing Company Autonomous performance of an operation on an object using a generated dense 3D model of the object
US20180306927A1 (en) * 2017-04-21 2018-10-25 GM Global Technology Operations LLC Method and apparatus for pulse repetition sequence with high processing gain
DE102017217212A1 (de) * 2017-09-27 2019-03-28 Robert Bosch Gmbh Verfahren zur Lokalisierung eines höher automatisierten Fahrzeugs (HAF), insbesondere eines hochautomatisierten Fahrzeugs, und ein Fahrzeugsystem
US11768292B2 (en) * 2018-03-14 2023-09-26 Uatc, Llc Three-dimensional object detection
US10551207B2 (en) * 2018-06-18 2020-02-04 Nio Usa, Inc. Autonomous vehicle sensor data and map integration
IT201800006594A1 (it) * 2018-06-22 2019-12-22 "Procedimento per la mappatura dell’ambiente di un veicolo, corrispondenti sistema, veicolo e prodotto informatico"
US11682129B2 (en) * 2018-09-12 2023-06-20 Toyota Motor Europe Electronic device, system and method for determining a semantic grid of an environment of a vehicle

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003107067A2 (de) * 2002-06-18 2003-12-24 Bayerische Motoren Werke Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs mit abstandsabhängiger fusion eines infrarot- und eines visuell-abbilds
JP2009208676A (ja) * 2008-03-05 2009-09-17 Nissan Motor Co Ltd 車両周囲環境検出装置
US20090303026A1 (en) * 2008-06-04 2009-12-10 Mando Corporation Apparatus, method for detecting critical areas and pedestrian detection apparatus using the same
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
US20140035775A1 (en) * 2012-08-01 2014-02-06 GM Global Technology Operations LLC Fusion of obstacle detection using radar and camera
CN103576154A (zh) * 2012-08-01 2014-02-12 通用汽车环球科技运作有限责任公司 使用雷达和摄像机的障碍物探测的融合
US20170085771A1 (en) * 2014-03-27 2017-03-23 Sony Corporation Camera with radar system
US20170262716A1 (en) * 2014-08-18 2017-09-14 Denso Corporation Object recognition apparatus
KR20160069847A (ko) * 2014-12-09 2016-06-17 현대자동차주식회사 라이다의 멀티 레이어 데이터를 클러스터링하는 방법
CN107003409A (zh) * 2015-01-27 2017-08-01 宝马股份公司 在表面上的尺寸的测量
EP3438777A1 (en) * 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle

Also Published As

Publication number Publication date
CN112997093B (zh) 2024-06-11
US20210394761A1 (en) 2021-12-23
WO2020094170A1 (de) 2020-05-14
JP7273956B2 (ja) 2023-05-15
JP2022506736A (ja) 2022-01-17
EP3877776A1 (de) 2021-09-15
DE102018127990A1 (de) 2020-05-14
KR102536037B1 (ko) 2023-05-26
KR20210062672A (ko) 2021-05-31

Similar Documents

Publication Publication Date Title
CN112997093B (zh) 用于确定关于车辆环境中的物体的信息的方法和处理单元
US11003921B2 (en) Apparatus and method for distinguishing false target in vehicle and vehicle including the same
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
EP3349041A1 (en) Object detection system
KR102604453B1 (ko) 레이더 데이터의 자동 라벨링 방법 및 시스템
US11935250B2 (en) Method, device and computer-readable storage medium with instructions for processing sensor data
CN110794406B (zh) 多源传感器数据融合系统和方法
US20060115113A1 (en) Method for the recognition and tracking of objects
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
JPH05265547A (ja) 車輌用車外監視装置
JP2000357233A (ja) 物体認識装置
KR102283773B1 (ko) 라이더 스캔 데이터의 누적에 의한 자율주행 자동차의 위치인식 시스템 및 그 방법
CN114724110A (zh) 目标检测方法及设备
US20220292747A1 (en) Method and system for performing gtl with advanced sensor data and camera image
JP2018048949A (ja) 物体識別装置
KR20230031344A (ko) 자동차를 둘러싼 영역 내 장애물을 검출하기 위한 시스템 및 방법
JP2011039833A (ja) 車両検出装置、車両検出プログラム、および車両検出方法
CN113008296A (zh) 用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元
JP6263453B2 (ja) 運動量推定装置及びプログラム
CN114624460B (zh) 用于映射载具环境的系统和方法
US20230094836A1 (en) Method for Detecting Moving Objects in the Surroundings of a Vehicle, and Motor Vehicle
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
KR20190056775A (ko) 차량의 객체 인식 장치 및 방법
Kotur et al. Camera and LiDAR sensor fusion for 3d object tracking in a collision avoidance system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant