CN113330448A - 用于车辆的传感器数据融合的方法和装置 - Google Patents

用于车辆的传感器数据融合的方法和装置 Download PDF

Info

Publication number
CN113330448A
CN113330448A CN201980089470.0A CN201980089470A CN113330448A CN 113330448 A CN113330448 A CN 113330448A CN 201980089470 A CN201980089470 A CN 201980089470A CN 113330448 A CN113330448 A CN 113330448A
Authority
CN
China
Prior art keywords
sensor
fusion
reference point
data
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980089470.0A
Other languages
English (en)
Inventor
M·希默尔斯巴赫
L·特伦蒂纳利亚
D·鲍奇
D·迈斯纳
J·梅林格
M·鲍姆加特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN113330448A publication Critical patent/CN113330448A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/35—Data fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

给出用于车辆的传感器数据融合的方法和装置以及计算机程序和计算机可读存储介质。车辆(F)配设有至少一个传感器装置(S1)，并且在该方法中提供融合对象数据，其代表在车辆(F)的周围环境中确定的融合对象(OF)；提供传感器对象数据，其代表通过传感器装置(S1)在车辆(F)的周围环境中所确定的传感器对象(OS)；提供代表在确定传感器对象数据时的不确定性的指示数据；根据指示数据确定传感器对象(OS)的参考点变换候选者；并且根据参考点变换候选者确定革新的融合对象。

Description

用于车辆的传感器数据融合的方法和装置
技术领域
本发明涉及用于车辆的传感器数据融合的方法和装置。本发明还涉及一种计算机程序以及一种计算机可读存储介质。
背景技术
为了识别在车辆的周围环境中的对象，尤其是为了识别其他交通参与者及其相关特性，通常使用异类的传感器装置。在车辆周边环境中所识别到的对象可以用于可靠地实现辅助功能，特别是用于进行纵向调节的功能、如主动巡航控制或交叉路口辅助，以及用于进行横向调节的功能、如侧向防撞、转向辅助和车道引导辅助。
由于所使用的传感器装置的测量原理不同，通过各传感器装置检测到的关于对象的信息可能是不同的。由于在车辆中的计算能力有限，由各传感器装置所提供的信息通常在高水平层面上融合。这意味着，各传感器装置分别借助所检测到的信息单独地识别对象并且在抽象的与传感器独立的对象代表中将所述对象作为信息提供(所谓的“传感器对象”)；然后，所提供的信息通过单独的传感器数据融合单元与每个实际对象的相应一个对象代表合并或融合(所谓的“融合对象”)。
例如考虑矩形或六面体作为对象代表(参见图1)。对于所述对象代表，为每个对象O分配多个在该对象O的轮廓上的几何参考点(这里示出为黑点)。对于这些参考点中的每个参考点，可以关于参考坐标系R(例如相对于在车辆上/中的预定参考点)确定参考点的侧向位移(x、y)、对象O的定向(例如相对于参考坐标系R的x轴的角度)以及相对于对应参考点的长度l(关于x轴)和宽度b(关于y轴)并且将它们配设给该参考点。对象O的一个参考点A在下面也被称为“状态”，该参考点用于在传感器数据融合时的对象代表并且除了作为对象O的位置的侧向位移(x、y)和宽度b、长度l和定向之外还可以配设有对象O的其它特性。例如可选地可以检测高度h(关于z轴)、速度或对象类型并且将它们保存在对象代表中。在此，对象O的每个测量参量都可以关于其它测量参量建模为具有方差和协方差的正态分布的随机变量并且同样将这些值配设给所述状态。在此，对象O的特性始终涉及在对象O的轮廓上的几何参考点A。因此，为了实施不同传感器对象的特性的融合，需要详细处理传感器对象和融合对象的参考点。
发明内容
本发明所基于的任务是，实现一种用于车辆的传感器数据融合的方法以及一种相应的装置、一种计算机程序以及一种计算机可读存储介质，其有助于传感器对象与融合对象的可靠配设并且能够实现可靠的传感器数据融合。
所述任务通过各独立权利要求来解决。有利的设计方案在各从属权利要求中得以表征。
根据第一方面，本发明涉及一种用于车辆的传感器数据融合的方法。所述车辆配设有至少一个传感器装置。
在该方法中，提供融合对象数据集。所述融合对象数据集包括多个融合对象数据，各所述融合对象数据分别代表在车辆的周围环境中确定的融合对象。各所述融合对象分别配设有一个融合参考点。
此外，提供传感器对象数据，其代表通过相应的传感器装置在车辆的周围环境中确定的传感器对象。所述传感器对象配设有传感器参考点。
此外，提供代表在确定传感器对象数据时的不确定性的指示数据。
根据所述指示数据确定传感器对象的参考点变换候选者。
此外，根据所述参考点变换候选者确定革新的融合对象。
所述融合参考点和传感器参考点也可以分别被称为融合对象和传感器对象的状态。融合参考点和传感器参考点尤其是分别用于对象代表并且优选分别包括对应的融合对象和传感器对象的相关特性。
指示数据尤其是可以包括在确定传感器对象数据时的方差和/或协方差和/或传感器装置的传感器类型和/或可见范围。指示数据例如可以由传感器装置提供。替代地或附加地，指示数据可以至少部分地例如保存在传感器数据融合单元中。这例如在传感器装置的通过安装方向固定的可见范围中是有利的。
传感器对象的如下参考点被称为参考点变换候选，所述参考点被考虑用于随后的变换以便接着与融合对象融合。
根据参考点变换候选者来确定革新的融合对象的步骤尤其是可以包括传感器对象关于参考点变换候选者之一的变换。在此例如，关于对应的参考点变换候选者确定传感器对象的涉及传感器参考点的所有特性。所确定的分配有经变换的特性的参考点变换候选者在下面也被称为变换状态。如果不仅融合参考点而且变换状态都涉及相同的参考点、亦即例如对象的角点，则可以在关联步骤中将传感器对象和融合对象的特性进行比较。如果传感器对象和融合对象代表相同的实际对象，则可以将该传感器对象分配给该融合对象(关联)并且确定革新的融合对象(融合)。
有利地，通过所提出的方法能够避免错误的参考点信息对融合结果产生不利影响并且因此有助于传感器数据融合的可靠性。
在根据第一方面的一种有利的设计方案中，传感器对象数据以及融合对象数据分别代表传感器对象和融合对象的侧向延伸尺寸和/或定向。
在此，融合参考点和传感器参考点分别位于传感器对象的轮廓上和融合对象的轮廓上。
此外，指示数据代表在确定侧向延伸尺寸和/或定向时的不确定性。
在根据第一方面的另一种有利的设计方案中，传感器对象数据以及融合对象数据分别代表传感器对象和融合对象的矩形或六面体代表。在此，相应的传感器对象和相应的融合对象分别在关于车辆的定向中侧向矩形地沿其纵轴线以一定长度并且沿其横轴线以一定宽度延伸。此外，矩形的每个角以及矩形侧边的每个中心点分别配设有一个参考点。在此，所述参考点中的相应一个参考点构成融合参考点或传感器参考点。
指示数据包括代表在确定长度时的不确定性的第一特征值。指示数据还包括代表在确定宽度时的不确定性的第二特征值。此外，指示数据包括代表在确定定向时的不确定性的第三特征值。
将第一特征值与预先给定的第一阈值进行比较；将第二特征值与分开的预先给定的第二阈值进行比较；并且将第三特征值与又分开的预先给定的第三阈值进行比较。
在第一特征值超过第一阈值并且第二特征值小于等于第二阈值并且第三特征值小于等于第三阈值的情况下，为传感器对象仅配设传感器对象沿其横轴线的参考点作为参考点变换候选者。
在第二特征值超过第二阈值并且第一特征值小于等于第一阈值并且第三特征值小于等于第三阈值的情况下，为传感器对象仅配设传感器对象沿其纵轴线的参考点作为参考点变换候选者。
在第三特征值超过第三阈值的情况下和/或在第一特征值超过第一阈值且第三特征值超过第三阈值的情况下，不为传感器对象配设传感器对象的任何参考点作为参考点变换候选者。
因此，有利地能够考虑在确定相应参量时的不确定性。尤其是，通过该设计方案能够根据长度、宽度和定向的不确定性来限制可能的变换的数量。因此，例如在不知道长度的情况下不能从后面的参考点变换到前面的参考点；此外，在不知道对象的定向的情况下完全不能实现参考点变换。
为了判断对象的延伸尺寸或定向是否是已知的，将阈值应用于相应参量的不确定性。如果所述不确定性超过特定阈值，则该参量被认为是未知的并且对应地限制用于变换的可能性。因此，例如在长度未知且宽度和定向已知的情况下，始终仍然能够实现沿对象的后侧或前侧的变换。由此确保，仅已知的参量对变换有影响。
在根据第一方面的另一种有利的设计方案中，所述指示数据代表对应的传感器装置能够检测对象的侧向延伸尺寸和/或对象的定向。
在该方法中，仅当通过能够检测对象的侧向延伸尺寸和对象的定向的传感器装置确定了传感器对象的参考点时，才为传感器对象配设传感器对象的参考点作为参考点变换候选者。
因此，有利地能够在确定相应参量时或在不知道相应参量时已经考虑已知的不确定性。根据相应的物理测量原理，不是每个安装在车辆中的传感器装置(例如RaDAR)都能够检测对象的侧向延伸尺寸。同样很少可以由每个安装的传感器装置来确定对象的定向；对象的定向对应于其运动方向的假设不适用静止的对象。就此而言，指示数据尤其是可以代表传感器装置的类型并且被保存在传感器数据融合单元中。例如，对于每个安装的、特定的传感器装置而言，可以单独地判断对应的传感器装置是否能够检测对象的侧向延伸尺寸和/或对象的定向。这通常适用于超声传感器和RaDAR传感器；而LiDAR(Light DetectionAnd Ranging，光探测和测距)传感器以及摄像机传感器通常允许检测延伸的对象及其定向。
在根据第一方面的另一种有利的设计方案中，所述指示数据代表传感器装置的可见范围。
根据传感器对象数据和指示数据确定对应的传感器对象是否位于对应的传感器装置的可见范围内的预定范围内。
接着，仅当传感器对象位于对应的传感器装置的可见范围内的预定范围内时，才为该传感器对象配设传感器对象的参考点作为参考点变换候选者。
如果传感器装置仅部分地检测到在其可见范围的边缘上的对象(并且其并不知道)，则传输所检测到的参考点的语义信息可能是错误的。如果传感器装置例如仅感测到对象的一半长度，则可能发生如下情况：例如所检测到的参考点“侧边中心”的位置不对应于对象的朝向传感器装置的侧边的实际中心，尽管作为“侧边中心”检测到的参考点位于传感器装置的检测范围中。因此，在该设计方案中，可以完全不采纳传感器对象的检测到的参考点，或者可以将对应的传感器对象如下面阐述的那样评估为点目标。
因此，当传感器对象位于传感器装置的可见范围的边缘之外或之上时，能够有利地考虑在确定传感器对象时的不确定性。所述可见范围可以由安装方向预先给定并且例如在工厂侧校准之后被保存在传感器数据融合单元中。在可见范围内的预定范围应确保传感器对象与可见范围的边缘间隔开足够的距离，但是在个别情况中可以等于整个可见范围。
在根据第一方面的另一种有利的设计方案中，检查传感器对象是否配设有参考点变换候选者。
在传感器对象配设有参考点变换候选者的情况下，根据传感器对象相应地确定传感器对象关于相应参考点变换候选者的变换状态并且将该变换状态与相应一个融合对象进行比较；此外，根据所述比较将该传感器对象配设给一个融合对象并且根据传感器对象的对应的变换状态和融合对象数据确定一个革新的融合对象。
在传感器对象未配设有参考点变换候选者的情况下，将该传感器对象评估为点目标，并且确定在传感器对象的参考点与相应的融合对象的参考点之间的相应最短距离；然后确定相应的融合对象关于融合对象的对应参考点的相应变换状态并且将该相应变换状态与传感器对象进行比较，所述融合对象的对应参考点与传感器对象的对应参考点具有最短距离；然后根据所述比较将传感器对象配设给一个融合对象并且根据该融合对象的对应的变换状态和传感器对象数据确定一个革新的融合对象。
换句话说，当传感器对象未配设有参考点变换候选者(并且因此不能变换传感器对象的当前参考点)时，寻找融合对象的变换候选者，该变换候选者最靠近传感器对象的不可变的参考点。然后，为了确定传感器对象和融合对象的关联并且为了可能的随后的融合，将融合对象的状态变换到所找到的参考点中，即进行融合对象的变换。
在传感器对象未配设有参考点变换候选者的情况下，可能出现如下情况：对于由配设的传感器对象和融合对象组成的对而言不存在共同的参考点。
因为融合对象的变换候选者的列表(例如由于延伸尺寸未知)也可能受到限制，所以为融合对象找到的参考点不必强制地与传感器对象的参考点一致。
无延展的对象或无侧向延伸尺寸的对象被称为点目标(英语：“point target”)，其位置不配设有任何参考点；而是假设点目标的位置可以对应于(矩形的)对象轮廓上的每个参考点。在这种情况下，可能会忽视对象的传感器参考点或融合参考点。
在根据第一方面的另一种有利的设计方案中，根据相应配设的传感器对象为融合对象相应配设一个可见范围特征值，所述可见范围特征值代表相应的传感器装置的可见范围。
接着，根据对应的融合对象数据和相应的可见范围特征值确定：对应的融合对象是否位于对应传感器装置的可见范围内的预定范围内。
如果所述融合对象位于所有对应传感器装置的相应可见范围内的预定范围之外，则将所述革新的融合对象评估为点目标。
因此，当融合对象位于所有传感器装置(该融合对象基于这些传感器装置的测量数据)的可见范围的边缘之外或之上时，能够有利地考虑在确定融合对象时的不确定性。
在根据第一方面的另一种有利的设计方案中，在确定所述革新的融合对象时检查融合对象或传感器对象是否被评估为点目标。
在仅传感器对象被评估为点目标的情况下，采用融合对象的融合参考点作为所述革新的融合对象的融合参考点。
在融合对象和传感器对象都没有被评估为点目标或者仅融合对象被评估为点目标的情况下，采用传感器对象的传感器参考点作为所述革新的融合对象的融合参考点。
在传感器对象和融合对象都被评估为点目标的情况下，例如可以从所有可能的参考点、即从传感器对象的参考点变换候选者和融合对象的变换候选者中确定相距最近的对。这些状态对应地变换到这两个参考点上并且然后融合。在融合之后的融合对象的新参考点是在搜索相距最近的对时为融合对象所找到的参考点。
根据第二方面，本发明涉及一种用于车辆的传感器数据融合的装置。所述装置被构造为用于执行根据第一方面的方法。所述装置也可称作传感器数据融合单元。
根据第三方面，本发明涉及一种用于车辆的传感器数据融合的计算机程序。所述计算机程序包括指令，所述指令在由计算机执行所述计算机程序时促使所述计算机执行根据第一方面的方法。
根据第四方面，本发明涉及一种计算机可读存储介质，在所述计算机可读存储介质上存储有根据第四方面的计算机程序。
附图说明
下面借助示意性的附图更详细地阐述本发明的各实施例。
在附图中：
图1示出示例性的对象代表；
图2示出根据本发明的具有用于传感器数据融合的装置的车辆的一种实施例；以及
图3示出用于传感器数据融合的方法的示例性流程图。
具体实施方式
相同结构或功能的元件在不同附图中设有相同的附图标记。
以下提出一种用于高水平对象融合的方法，该方法规定适合于相应的传感器和对象的参考点处理。借助图2的实施例示出根据本发明的车辆F，该车辆具有用于传感器数据融合的装置V以及传感器装置S1，所述传感器装置配置为用于检测对象、特别是其他交通参与者及其相关特性并且用于确定对应的传感器对象OS。在此，例如可以涉及摄像机传感器、LiDAR(Light Detection And Ranging，光探测和测距)传感器、LaDAR(Laser DetectionAnd Ranging，激光探测和测距)传感器、RaDAR(Radio Detection And Ranging，无线电探测和测距)传感器、超声传感器、点激光传感器或红外传感器。与所使用的用于高水平对象融合的方法无关，在汽车领域中作为对象融合的结果通常输出一列矩形或六面体(参见图1)作为对象代表，所述对象代表代表在车辆F的周围环境中所识别到的、尤其是可运动的对象。图2示出这样的融合对象OF，所述融合对象配设有融合参考点AF、关于融合参考点A的长度l和宽度b、融合对象OF关于车辆F的参考坐标系R的定向以及相应的指示特征值，所述指示特征值代表在确定长度l、宽度b和定向时的不确定性。所述不确定性例如可以通过方差来表示。图2还示出通过传感器装置S1确定的传感器对象OS，所述传感器对象配设有传感器参考点AS、关于传感器参考点AS的长度l和宽度b、融合对象OS关于车辆F的参考坐标系R的定向以及相应的指示特征值，所述指示特征值代表在确定长度l、宽度b和定向时的不确定性。
传感器装置S1通过其定向和其物理特性配设有可见范围，该可见范围通过围成角度α的虚线来表示。
车辆F还示例性地具有另外的传感器装置S2，所述另外的传感器装置也配置用于检测车辆F的周围环境。传感器装置S1、S2与用于传感器数据融合的装置V在信号技术上耦合。由传感器装置S1、S2所提供的传感器对象数据可以由装置V根据任意的用于高水平对象融合的方法来融合并且存储在一个融合对象数据集中。就这点而言，示例性地参见N.
Figure BDA0003168111860000091
在“激光扫描仪和视频数据的特征级融合(Feature-level fusion of laserscanner and video data)”(乌尔姆：乌尔姆大学，2007年)中；和F.Seeliger在“跨车辆的信息融合(Fahrzeugübergreifende Informationsfusion)”(乌尔姆：乌尔姆大学测量、调节和微技术研究所丛书，2017年)中的实施方案。
为了实施传感器对象与融合对象之间的关联并且为了必要时融合相关联的对象，为了使对象的特性可比较，可能必须首先找到一个共同的参考点。在此，一个对象的参考点的变换需要知道该对象的延展尺寸(长度和宽度)以及定向。然而，在实践中，例如由于传感器装置的物理测量原理或不完整的对象检测而不能总是满足所述前提条件，从而不利地影响可靠的传感器数据融合。
为了避免错误的参考点信息对融合结果产生不利影响(例如对象的错误定位)，提出扩展地、对相应的传感器和对象合适地处理对象的参考点。
就这点而言，装置V尤其是配设有数据和程序存储器，在所述数据和程序存储器中存储有计算机程序，下面借助图3的流程图更详细地阐述所述计算机程序。
在第一步骤P10中提供融合对象数据集，所述融合对象数据集包括多个融合对象数据，各所述融合对象数据代表融合对象OF。例如，所述融合对象数据集保存在装置V的数据存储器中并且已经以之前的融合方法从传感器装置S1、S2的传感器对象数据确定。
在步骤P20中继续所述程序，在该步骤中提供代表融合对象OS的传感器对象数据。
在随后的步骤P30中，提供代表在确定传感器对象数据时的不确定性的指示数据。指示数据例如可以包括上面提及的指示特征值，这些指示特征值例如通过方差描述在相应确定传感器对象OS的长度l、宽度b和定向时的不确定性。此外，指示数据可以代表传感器装置S1在技术上能够检测传感器对象OS的侧向延伸尺寸和定向。例如，为此在装置V中保存传感器类型或者在步骤P30之前的步骤P26中确定传感器类型。此外，指示数据可以代表传感器装置S1的可见范围。所述可见范围例如同样可以保存在装置V中或者在步骤P30之前的步骤P28中被确定。
随后在步骤P40中继续该方法，在该步骤中根据指示数据确定传感器对象OS的参考点变换候选者。为此在步骤P46中将指示特征值分别与一个预先给定的阈值进行比较。如果相应的不确定性超过相应的阈值，则该参量被认为是未知的并且对应地限制用于参考点变换的可能性。因此，如果长度l是未知的，而宽度b和定向是已知的，则仅将传感器对象OS沿其后侧或者前侧的参考点确定为参考点变换候选者。如果宽度b是未知的，而长度l和定向是已知的，则仅将传感器对象OS沿其纵轴线的参考点确定为参考点变换候选者。如果传感器对象OS的长度l、宽度b和/或定向均未知，则将传感器对象OS视为点目标，该点目标未被配设有参考点变换候选者。
在步骤P46之前或之后的可选步骤P42中，，根据指示数据检查：传感器装置S1在技术上是否能够检测传感器对象OS的侧向延伸尺寸和定向。如果传感装置S1例如是不满足所述前提条件的超声传感器或RaDAR传感器，则将传感对象OS视为点目标。
在步骤P46之前或之后的可选步骤P44中，根据指示数据检查：传感器对象OS是否位于传感器装置S1的可见范围之外或者是否位于可见范围的边缘上。在这种情况下同样将传感器对象OS视为点目标。
在接着步骤P46的步骤P50中，根据参考点变换候选者来确定革新的融合对象。为此，首先检查传感器对象OS究竟是否配设有参考点变换候选者或者说是否涉及点目标。此外，例如在步骤P50之前的步骤P48中检查融合对象OF是否为点目标。如果两个对象不是点目标，则实施与融合对象OF的关联，在该关联中，参考点变换被限制到参考点变换候选者，并且所变换的传感器对象OS或变换状态随后与融合对象OF融合，即确定革新的融合对象。采用传感器参考点作为革新的融合对象的融合参考点。
在传感器对象OS或融合对象OF是点目标的情况下，确定传感器对象OS和融合对象OF的在空间上相距最近的可能的一对参考点。借助传感器对象和融合对象在这些参考点中的特性来决定关联并且必要时进行融合。在此，对于两个对象而言不强制存在共同的参考点。
当融合对象OF是点目标时，革新的融合对象的融合参考点是传感器参考点，或当传感器对象OS是点目标时，革新的融合对象的融合参考点是融合参考点。
在接着的步骤P60中，仅为革新的融合对象配设更新的可见范围特征值，所述可见范围特征值代表传感器装置S1以及所有至今对融合有贡献的传感器装置的可见范围。
随后结束程序或者必要时在预给定的中断之后在步骤P10中以更新的对象数据集继续程序。
在步骤P48中，借助配设给融合对象OF的可见范围特征值检查融合对象OF是否为点目标。为此检查：融合对象OF是否位于所有对融合做出贡献的传感器装置S1、S2的可见范围之外或者是否位于所述可见范围的边缘上。如果是这种情况，则将融合对象评估为点目标。

Claims (11)

1.用于车辆(F)的传感器数据融合的方法，所述车辆(F)配设有至少一个传感器装置(S1)，并且在所述方法中：
-提供融合对象数据集，所述融合对象数据集包括多个融合对象数据，各所述融合对象数据分别代表在车辆(F)的周围环境中确定的融合对象(OF)，各所述融合对象分别配设有一个融合参考点；
-提供传感器对象数据，所述传感器对象数据代表通过相应的传感器装置(S1)在车辆(F)的周围环境中确定的传感器对象(OS)，所述传感器对象配设有传感器参考点(AS)，
-提供代表在确定传感器对象数据时的不确定性的指示数据，
-根据所述指示数据确定传感器对象(OS)的参考点变换候选者，并且
-根据所述参考点变换候选者确定革新的融合对象。
2.根据权利要求1所述的方法，在该方法中，
-所述传感器对象数据以及融合对象数据分别代表传感器对象(OS)和融合对象(OF)的侧向延伸尺寸和/或定向，
-所述融合参考点(AF)和传感器参考点(AS)分别位于传感器对象(OS)和融合对象(OF)的轮廓上，并且
-所述指示数据代表在确定侧向延伸尺寸和/或定向时的不确定性。
3.根据前述权利要求中任一项所述的方法，在该方法中，
-所述传感器对象数据以及融合对象数据分别代表传感器对象(OS)和融合对象(OF)的矩形或六面体代表，其中，相应的传感器对象(OS)和融合对象(OF)分别在关于车辆(F)的定向(α)中侧向矩形地沿其纵轴线以一定长度(l)并且沿其横轴线以一定宽度(b)延伸，并且矩形的每个角以及矩形侧边的每个中心点分别配设有一个参考点，其中，所述参考点中的相应一个参考点分别构成融合参考点(AF)或传感器参考点(AS)，
-所述指示数据包括代表在确定长度(l)时的不确定性的第一特征值、代表在确定宽度(b)时的不确定性的第二特征值和代表在确定定向(α)时的不确定性的第三特征值，
-将所述第一、第二和第三特征值分别与一个单独的、预先给定的阈值进行比较，并且
-在第一特征值超过相应的阈值并且第二和第三特征值小于等于相应的阈值的情况下，为传感器对象(OS)仅配设传感器对象(OS)沿其横轴线的参考点作为参考点变换候选者，
-在第二特征值超过相应的阈值并且第一和第三特征值小于等于相应的阈值的情况下，为传感器对象(OS)仅配设传感器对象(OS)沿其纵轴线的参考点作为参考点变换候选者，
-在第三特征值超过相应的阈值或者第一和第二特征值超过相应的阈值的情况下，不为传感器对象(OS)配设传感器对象(OS)的参考点作为参考点变换候选者。
4.根据权利要求3所述的方法，在该方法中，
-所述指示数据代表对应传感器装置(S1)能够检测对象的侧向延伸尺寸和/或对象的定向，并且
-仅当通过能够检测对象的侧向延伸尺寸和对象的定向的传感器装置(S1)确定了传感器对象的参考点时，才为传感器对象(OS)配设传感器对象(OS)的参考点作为参考点变换候选者。
5.根据前述权利要求3或4所述的方法，在该方法中，
-所述指示数据代表传感器装置(S1)的可见范围，
-根据传感器对象数据和指示数据确定对应传感器对象(OS)是否位于对应传感器装置(S1)的可见范围内的预定范围内，并且
-仅当传感器对象(OS)位于对应传感器装置(S1)的可见范围内的预定范围内时，才为传感器对象配设传感器对象(OS)的参考点作为参考点变换候选者。
6.根据前述权利要求3至5中任一项所述的方法，在该方法中，检查传感器对象(OS)是否配设有参考点变换候选者，其中，在传感器对象(OS)配设有参考点变换候选者的情况下：
-根据传感器对象(OS)相应地确定传感器对象(OS)关于相应参考点变换候选者的变换状态并且将该变换状态与相应的融合对象(OF)进行比较；
-根据所述比较将传感器对象(OS)配设给融合对象(OF)并且根据传感器对象(OS)的对应变换状态和融合对象数据确定革新的融合对象；
并且在传感器对象(OS)未配设有参考点变换候选者的情况下，将传感器对象(OS)评估为点目标，并且：
-确定在传感器对象(OS)的参考点与相应的融合对象(OF)的参考点之间的相应最短距离；
-确定相应的融合对象(OF)相对于融合对象(OF)的对应参考点的相应变换状态并且将该相应变换状态与传感器对象(OS)进行比较，所述融合对象的对应参考点与传感器对象(OS)的对应参考点具有最短距离；
-根据所述比较将传感器对象(OS)配设给融合对象(OF)并且根据融合对象(OF)的对应变换状态和传感器对象数据确定革新的融合对象。
7.根据权利要求6所述的方法，在该方法中，
-根据相应配设的传感器对象，为融合对象(OF)相应配设一个可见范围特征值，所述可见范围特征值代表相应传感器装置(S1)的可见范围，
-根据对应的融合对象数据和相应的可见范围特征值确定：融合对象(OF)是否位于对应传感器装置(S1)的可见范围内的预定范围内，并且
-如果融合对象(OF)位于所有对应的传感器装置(S1)的相应可见范围内的预定范围之外，则将所述革新的融合对象评估为点目标。
8.根据前述权利要求6或7所述的方法，在该方法中，在确定所述革新的融合对象时检查融合对象(OF)或传感器对象(OS)是否被评估为点目标，其中，
-在仅传感器对象(OS)被评估为点目标的情况下，采用融合对象(OF)的融合参考点作为所述革新的融合对象的融合参考点，并且
-在融合对象(OF)和传感器对象(OS)都没有被评估为点目标或者仅融合对象(OF)被评估为点目标的情况下，采用传感器对象(OS)的传感器参考点(AS)作为所述革新的融合对象的融合参考点。
9.用于车辆(F)的传感器数据融合的装置(V)，其中，所述装置(V)被构造为用于执行根据前述权利要求1至8中任一项所述的方法。
10.用于车辆(F)的传感器数据融合的计算机程序，所述计算机程序包括指令，所述指令在由计算机执行所述计算机程序时促使所述计算机执行根据权利要求1至8中任一项所述的方法。
11.计算机可读存储介质，在所述计算机可读存储介质上存储有根据权利要求10所述的计算机程序。
CN201980089470.0A 2019-02-05 2019-10-18 用于车辆的传感器数据融合的方法和装置 Pending CN113330448A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019102769.1 2019-02-05
DE102019102769.1A DE102019102769A1 (de) 2019-02-05 2019-02-05 Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
PCT/EP2019/078424 WO2020160795A1 (de) 2019-02-05 2019-10-18 Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug

Publications (1)

Publication Number Publication Date
CN113330448A true CN113330448A (zh) 2021-08-31

Family

ID=68296494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980089470.0A Pending CN113330448A (zh) 2019-02-05 2019-10-18 用于车辆的传感器数据融合的方法和装置

Country Status (4)

Country Link
US (1) US11756310B2 (zh)
CN (1) CN113330448A (zh)
DE (1) DE102019102769A1 (zh)
WO (1) WO2020160795A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019102769A1 (de) * 2019-02-05 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
CN112578781B (zh) * 2019-09-29 2022-12-30 华为技术有限公司 数据处理方法、装置、芯片系统及介质
DE102022111324A1 (de) 2022-05-06 2023-11-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Datenfusion für ein Kraftfahrzeug, Computerprogramm, Datenverarbeitungsvorrichtung und Kraftfahrzeug

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004031877A1 (de) * 2002-09-27 2004-04-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ermittlung des fahrzeugumfeldes
US20080300787A1 (en) * 2006-02-03 2008-12-04 Gm Global Technology Operations, Inc. Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
DE102008001672A1 (de) * 2008-05-09 2009-11-12 Robert Bosch Gmbh Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
CN102649430A (zh) * 2011-02-28 2012-08-29 通用汽车环球科技运作有限责任公司 用于容错车辆侧向控制器的冗余车道感测系统
CN104354656A (zh) * 2014-10-20 2015-02-18 同济大学 智能泊车系统的障碍物检测与库位判别方法及实现系统
CN105157699A (zh) * 2015-06-18 2015-12-16 南京邮电大学 一种基于WiFi和传感网技术融合的室内停车场导航方法
CN106922195A (zh) * 2014-08-05 2017-07-04 法雷奥开关和传感器有限责任公司 用于生成机动车辆的周围环境区域的周围环境地图的方法、驾驶员辅助系统和机动车辆
EP3248852A1 (de) * 2016-05-24 2017-11-29 Audi Ag Verfahren zum betreiben einer verarbeitungseinrichtung für sensordaten eines in einem kraftfahrzeug angeordneten sensors und kraftfahrzeug
CN108369775A (zh) * 2015-11-04 2018-08-03 祖克斯有限公司 响应于物理环境的改变自适应制图以对自主车辆进行导航
WO2018170472A1 (en) * 2017-03-17 2018-09-20 Honda Motor Co., Ltd. Joint 3d object detection and orientation estimation via multimodal fusion
CN108973579A (zh) * 2017-05-31 2018-12-11 通用汽车环球科技运作有限责任公司 传感器联动悬架
US20180356505A1 (en) * 2017-06-09 2018-12-13 Toyota Jidosha Kabushiki Kaisha Target object information acquisition apparatus
US20190033867A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated Systems and methods for determining a vehicle position

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10133945A1 (de) * 2001-07-17 2003-02-06 Bosch Gmbh Robert Verfahren und Vorrichtung zum Austausch und zur Verarbeitung von Daten
US8704887B2 (en) * 2010-12-02 2014-04-22 GM Global Technology Operations LLC Multi-object appearance-enhanced fusion of camera and range sensor data
DE102016220075A1 (de) * 2016-10-14 2018-04-19 Audi Ag Kraftfahrzeug und Verfahren zur 360°-Umfelderfassung
DE102017108107A1 (de) * 2017-04-13 2018-10-18 Volkswagen Aktiengesellschaft Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur schätzung einer pose eines kraftfahrzeugs
DE102019102769A1 (de) * 2019-02-05 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004031877A1 (de) * 2002-09-27 2004-04-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ermittlung des fahrzeugumfeldes
US20080300787A1 (en) * 2006-02-03 2008-12-04 Gm Global Technology Operations, Inc. Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
DE102008001672A1 (de) * 2008-05-09 2009-11-12 Robert Bosch Gmbh Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte
CN102649430A (zh) * 2011-02-28 2012-08-29 通用汽车环球科技运作有限责任公司 用于容错车辆侧向控制器的冗余车道感测系统
CN106922195A (zh) * 2014-08-05 2017-07-04 法雷奥开关和传感器有限责任公司 用于生成机动车辆的周围环境区域的周围环境地图的方法、驾驶员辅助系统和机动车辆
CN104354656A (zh) * 2014-10-20 2015-02-18 同济大学 智能泊车系统的障碍物检测与库位判别方法及实现系统
CN105157699A (zh) * 2015-06-18 2015-12-16 南京邮电大学 一种基于WiFi和传感网技术融合的室内停车场导航方法
CN108369775A (zh) * 2015-11-04 2018-08-03 祖克斯有限公司 响应于物理环境的改变自适应制图以对自主车辆进行导航
EP3248852A1 (de) * 2016-05-24 2017-11-29 Audi Ag Verfahren zum betreiben einer verarbeitungseinrichtung für sensordaten eines in einem kraftfahrzeug angeordneten sensors und kraftfahrzeug
WO2018170472A1 (en) * 2017-03-17 2018-09-20 Honda Motor Co., Ltd. Joint 3d object detection and orientation estimation via multimodal fusion
CN108973579A (zh) * 2017-05-31 2018-12-11 通用汽车环球科技运作有限责任公司 传感器联动悬架
US20180356505A1 (en) * 2017-06-09 2018-12-13 Toyota Jidosha Kabushiki Kaisha Target object information acquisition apparatus
US20190033867A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated Systems and methods for determining a vehicle position

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUOWEI WAN等: "Robust and Precise Vehicle Localization Based on Multi-Sensor Fusion in Diverse City Scenes", 《IEEE》, pages 4670 - 4677 *
刘定俊;蒋鑫龙;刘军发;陈益强;: "融合多模传感器的室内实时高精度轨迹生成", 计算机科学, no. 01, pages 24 - 27 *

Also Published As

Publication number Publication date
DE102019102769A1 (de) 2020-08-06
US11756310B2 (en) 2023-09-12
US20220092870A1 (en) 2022-03-24
WO2020160795A1 (de) 2020-08-13

Similar Documents

Publication Publication Date Title
CN107490794B (zh) 物体辨识处理装置、物体辨识处理方法及自动驾驶系统
KR101786237B1 (ko) 운전자보조시스템용 센서의 고장진단 및 보정을 위한 장치 및 방법
US20230079730A1 (en) Control device, scanning system, control method, and program
KR101992548B1 (ko) 주변 지도 생성 방법 및 운전자 보조 시스템
US11328516B2 (en) Apparatus and method for associating sensor data in vehicle
US9794519B2 (en) Positioning apparatus and positioning method regarding a position of mobile object
CN113330448A (zh) 用于车辆的传感器数据融合的方法和装置
US11151395B2 (en) Roadside object detection device, roadside object detection method, and roadside object detection system
JP6862465B2 (ja) センサによる間接計測によって自動車の周囲の少なくとも１つの物体の検出を向上させる方法、コントローラ、運転者支援システム、及び自動車
JP5067091B2 (ja) 衝突判定装置
US20220075053A1 (en) Method and apparatus for sensor data fusion for a vehicle
KR102371617B1 (ko) 차량의 객체 인식 장치 및 방법
US11891086B2 (en) Vehicle control system
KR102421831B1 (ko) 차량 및 차량의 제어방법
JP7378591B2 (ja) 走行経路生成装置
US20200225342A1 (en) Object recognition device and object recognition method
US20230146935A1 (en) Content capture of an environment of a vehicle using a priori confidence levels
US11654925B2 (en) Device and method for recognizing width of vehicle
US20100019951A1 (en) Method for determining a variable
CN111596288B (zh) 测量速度的方法、装置、车载终端和车载测速系统
US20240159895A1 (en) Target detection device
JP2010086418A (ja) 物体判別装置
JP6834920B2 (ja) 物標判別装置
CN113167892A (zh) 用于车辆的传感器数据融合的方法和装置
KR20230173401A (ko) 차량에서의 센서 퓨전 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination