CN113167892A - 用于车辆的传感器数据融合的方法和装置 - Google Patents
用于车辆的传感器数据融合的方法和装置 Download PDFInfo
- Publication number
- CN113167892A CN113167892A CN201980076366.8A CN201980076366A CN113167892A CN 113167892 A CN113167892 A CN 113167892A CN 201980076366 A CN201980076366 A CN 201980076366A CN 113167892 A CN113167892 A CN 113167892A
- Authority
- CN
- China
- Prior art keywords
- fusion
- sensor
- data
- vehicle
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004590 computer program Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000012854 evaluation process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/28—Details of pulse systems
- G01S7/285—Receivers
- G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
- G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
- G01S13/726—Multiple target tracking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/862—Combination of radar systems with sonar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/87—Combinations of sonar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/523—Details of pulse systems
- G01S7/526—Receivers
- G01S7/53—Means for transforming coordinates or for evaluating data, e.g. using computers
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Acoustics & Sound (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
技术领域
本发明涉及一种用于车辆的传感器数据融合的方法和一种用于车辆的传感器数据融合的装置。本发明还涉及一种计算机程序以及一种计算机可读的存储介质。
背景技术
为了识别在车辆的周围环境中的对象、特别是为了识别其他交通参与者和所述其他交通参与者的相关的特性,通常使用异类的传感器装置。在车辆周边环境中的识别的对象可用于可靠地实现辅助功能、特别是用于进行纵向调节的功能、如主动巡航控制或交叉路口辅助,以及用于进行横向调节的功能、如侧向防撞、转向辅助和车道引导辅助。
由于所使用的传感器装置的测量原理不同,通过传感器装置检测到的关于对象的信息可能是不同的。由于在车辆中的计算能力有限,由传感器装置提供的信息通常在高水平层面上融合。这意味着,传感器装置分别根据所检测的信息单独地识别对象并且在抽象的与传感器独立的对象表示中将所述对象作为信息(所谓的“传感器对象”)提供;然后,所提供的信息通过单独的传感器数据融合单元与每个实际的对象的相应一个对象表示(所谓的“融合对象”)合并或融合。
典型地,为此构造“智能的”传感器装置,所述传感器装置的识别能力除了对周围环境的在物理上的测量之外还以下游的内部的信息处理为依据。所述信息处理的主要组成部分是递归评估过程,所述递归评估过程也可以在时间上观察对象特性,所述对象特性不能直接由唯一一次测量确定。除了评估其他交通参与者的对象特性之外,递归评估过程此外还能够提供所述对象特性的不确定性的程度。
由于评估过程的递归的表达,由传感器装置提供的传感器对象数据可能在统计学上并非独立于在较早时刻的传感器对象数据。此外,因为不同的传感器装置经常以类似的评估过程为依据并且部分地获得——例如与自身车辆的运动有关的——甚至相同的输入数据,所以不同的传感器装置的传感器对象数据也可能在统计学上并非彼此独立。为了融合这样相关联的传感器对象数据,可以使用所谓的信息矩阵融合算法(IMF),在所述信息矩阵融合算法中,递归评估过程被扩展了传感器对象数据的去关联。就这点而言,参见Aeberhard,M.,Rauch,A.,Rabiega,M.,Kaempchen,N.,和Bertram,T.(2012年6月)在“Track-to-track fusion with asynchronous sensors and out-of-sequence tracksusing information matrix fusion for advanced driver assistance systems”,智能车技术论坛(IV),2012IEEE(第1-6页)中的实施方案。
不过,为了对各传感器对象数据进行去关联,IMF算法在理论上的“最坏情况”中要求所有传感器对象数据的无限长的历史,所述无限长的历史特别是由于在车辆中使用的嵌入式系统上的有限的存储器资源而无法使用。IMF算法的另一缺点是以传感器对象数据为基础的假设、特别是在所报告的不确定性方面的假设,在实践中经常违背所述假设。于是,IMF算法提供具有严重错误的对象特性的部分地不一致的评估,其中,错误没有相应地反映在所确定的不确定性中,反而输出过小的不确定性。这可能导致在融合的下游的辅助功能中的严重错误行为。
发明内容
本发明所基于的目的是,提供一种用于车辆的传感器数据融合的方法以及一种相应的装置、一种计算机程序以及一种计算机可读的存储介质,其有助于传感器对象与融合对象的可靠的配设并且能够实现可靠的传感器数据融合。
所述目的通过各独立权利要求来实现。有利的设计方案在各从属权利要求中表明。
根据第一方面,本发明涉及一种用于车辆的传感器数据融合的方法。所述车辆配设有传感器装置。
在所述方法中,提供当前的传感器对象数据。所述当前的传感器对象数据代表通过传感器装置在车辆的周围环境中在时刻t确定的传感器对象st。
此外,提供融合对象数据集。所述融合对象数据集包括融合对象数据,所述融合对象数据分别代表在车辆的周围环境中确定的融合对象j=1...p中的一个融合对象。所述融合对象分别设置为用于在时刻t的传感器数据融合。
此外,提供传感器对象数据集所述传感器对象数据集H包括历史传感器对象数据,所述历史传感器对象数据分别代表通过传感器装置在车辆的周围环境中在以前的时刻t-k确定的传感器对象i=1...q中的一个传感器对象,其中,n,q≥1。
所提出的方法能以有利的方式实现传感器对象与融合对象的可靠且高效的配设。特别是,所述方法有助于相互关联的传感器对象数据的可靠融合。
所述传感器装置构造为用于检测车辆的周围环境并且确定在车辆的周围环境中的传感器对象。特别是,所述传感器装置可以构造为用于检测对象的侧向的延伸范围和/或定向。所述传感器装置例如是摄像机传感器、LiDAR(Light Detection And Ranging,光探测和测距)传感器、LaDAR(Laser Detection And Ranging,激光探测和测距)传感器、RaDAR(Radio Detection And Ranging,无线电探测和测距)传感器、超声传感器、点激光传感器或红外传感器。
传感器对象数据集H包括同一传感器装置的历史传感器对象数据。在为车辆配设m>1个不同的传感器装置的情况下,为每个传感器装置提供一个传感器对象数据集H1...Hm并且所述方法的相应的步骤对每个传感器装置实施一次。
所述减少的传感器对象数据集特别是仅包括传感器对象数据集H的如下这样的传感器对象所述传感器对象之前已经在相应的时刻t-k与任一个融合对象关联。有利地,因此替代于记录所有的由传感器装置在时刻t确定的q个传感器对象i=1...q,仅将实际上与融合对象关联的p≤q个对象i=1...p记录到关联历史中。在此,与其它的传感器装置的关联历史无关,可以为每个传感器装置记录一个自身的关联历史。
通常在每个时刻t还将每个传感器装置的最多一个传感器对象i=1...p与同一个融合对象关联。于是足够的是,对于每个时刻t每个传感器装置而言,为相应的融合对象仅配设一个传感器对象k=1...n作为减少的传感器对象数据集H′。在为车辆配设m>1个传感器装置的情况下,可以因此对于每个融合对象注明少量的分别在最近一次与相应的融合对象关联的传感器对象k=1...n。
在根据第一方面的一种有利的设计方案中适用的是:1≤n≤5、优选n=2。
如此,可以有利地处理一次性的多义性。同时能够在资源有限的硬件上实现高效的使用。
在根据第一方面的另一种有利的设计方案中,在配设给相应的融合对象的、减少的传感器对象数据集H′没有在以前的时刻t-k,k=1...n包括相关联的传感器对象的情况下,借助互协方差算法来将传感器对象st与一个融合对象关联并且确定革新的融合对象。关于互协方差算法的使用参见S.Matzka和R.Altendorfer在“A comparison oftrack-to-track fusion algorithms for automotive sensor fusion”,2008IEEE智能系统多传感器融合与集成国际会议,首尔,2008,第189-194页中的实施方案。换句话说,在历史不足够的情况下,可以采用备选的融合方法代替IMF算法。特别是,在此仅以近似地考虑可能的关联性的方式来实施融合。
在根据第一方面的另一种有利的设计方案中,为传感器对象st-1、st配设特征数据所述特征数据代表传感器对象st-1、st的侧向延伸范围、位置和定向。此外,为所述传感器对象st-1、st配设指示数据所述指示数据代表在确定侧向延伸范围、位置或定向时的不确定性。
然后,根据所述特征融合状态所述革新的特征融合状态和所述特征数据来检查所述革新的特征融合状态是否满足方程在满足所述方程的情况下,根据所述革新的特征状态来确定革新的融合对象。否则,借助互协方差算法来将传感器对象st与一个融合对象关联并且确定革新的融合对象。
所述方程特别是代表更新的特性在融合之后处于原始的特性与已融合的传感器对象的特性之间。如果违背该方程,则将临时地中间存储的结果舍弃。
相应的特征数据可以除了相应的对象的侧向延伸范围、位置和定向之外还包括对象的其它特性、如所述对象的速度分量和加速度分量以及偏航比率。所述侧向延伸范围在此理解为对象平行于以及横向于测量方向或行驶方向或者说车辆的纵轴线的延伸尺寸。所述定向特别是表示对象的纵轴线与测量方向或行驶方向或者说车辆的纵轴线形成的角度。对象的位置可以示例性地表示对象的基准点,关于所述基准点给出所述对象的其它特性。
根据第二方面,本发明涉及一种用于车辆的传感器数据融合的装置。所述装置构造为用于实施根据第一方面的方法。所述装置也可称作传感器数据融合单元。
根据第三方面,本发明涉及一种用于车辆的传感器数据融合的计算机程序。所述计算机程序包括指令,所述指令当由计算机执行所述计算机程序时促使所述计算机实施根据第一方面的方法。
根据第四方面,本发明涉及一种计算机可读的存储介质,在所述存储介质上存储有根据第四方面的计算机程序。
附图说明
下面借助示意性的附图更详细地阐述本发明的各实施例。
图中:
图1示出具有用于传感器数据融合的装置的示例性车辆;
图2示出用于传感器数据融合的方法的示例性流程图;以及
图3示出相应的减少的传感器对象数据集与融合对象的示例性配设。
具体实施方式
结构相同或功能相同的元件在所有附图中设有相同的附图标记。
下面提出一种用于基于信息矩阵融合算法(IMF)进行高水平对象融合的方法,所述方法允许在嵌入式系统上的可靠的使用。借助图1的实施例示出根据本发明的车辆F,所述车辆具有用于传感器数据融合的装置V以及传感器装置S1,所述传感器装置配置为用于检测对象、特别是其他交通参与者和所述其他交通参与者的有关的特性并且用于确定相应的传感器对象st。在此,例如可以涉及摄像机传感器、LiDAR(Light Detection AndRanging,光探测和测距)传感器、LaDAR(Laser Detection And Ranging,激光探测和测距)传感器、RaDAR(Radio Detection And Ranging,无线电探测和测距)传感器、超声传感器、点激光传感器或红外传感器。与所使用的用于高水平对象融合的方法无关,在汽车领域中作为对象融合的结果通常输出一列矩形或六面体作为对象表示,所述对象表示代表在车辆F的周围环境中识别到的、特别是可运动的对象。图1示出这样的融合对象为所述融合对象示例性地配设有基准点A、关于基准点A的长度和宽度、融合对象关于车辆F的参考坐标系R的定向αf作为有关的特性。此外,可以为融合对象配设有指示数据,所述指示数据代表在确定所述长度、宽度和定向αs时的不确定性。所述不确定性例如可以通过方差来表示。此外,图1还示出通过传感器装置S1所确定的传感器对象st。
车辆F还示例性地具有另一个传感器装置S2,所述另一个传感器装置也配置为用于检测车辆F的周围环境。传感器装置S1、S2与用于传感器数据融合的装置V在信号技术上耦合。由传感器装置S1、S2提供的传感器对象数据可以由装置V根据任意的用于高水平对象融合的方法来融合并且存储在融合对象数据集中。
所述用于高水平对象融合的方法可以是基于信息矩阵融合算法(IMF)的递归的评估过程。
从IMF算法的形式描述中得出,对于每个具有特性及所述特性的不确定性的传感器对象(所述传感器对象应当在时刻t与融合对象j=1...p中的一个融合对象融合)而言,必须已知在最近一次融合时刻的传感器对象st-k的状态。由于理论上非常大的k>>1是可能的,所以在具有低的存储器资源的嵌入式系统上不能够无问题地为IMF算法提供所有的需要的信息。
就这点而言,装置V特别是配设有数据和程序存储器,在所述数据和程序存储器中存储有计算机程序,下面借助图2的流程图更详细地阐述所述计算机程序。
在第一步骤P10中提供当前的传感器对象数据,所述传感器对象数据代表通过传感器装置S1在车辆F的周围环境中在时刻t确定的传感器对象st。特别是,在该步骤中可以通过传感器装置S1确定多个传感器对象数据,从而提供总共q>1个不同的、通过传感器装置S1确定的传感器对象i=1...q。例如,在第一步骤P10中此外也提供所述另外的传感器装置S2的当前的传感器对象数据。
在步骤P20中继续该程序,在该步骤中提供融合对象数据集。融合对象数据集包括融合对象数据,所述融合对象数据分别代表在车辆F的周围环境中确定的融合对象j=1...p中的一个融合对象,所述融合对象分别设置为用于在时刻t的传感器数据融合。例如,所述融合对象数据集存储在装置V的数据存储器中并且已经在以前的融合方法中由传感器装置S1、S2的传感器对象数据确定。
在随后的步骤P30中提供传感器对象数据集所述传感器对象数据集H包括历史传感器对象数据,所述历史传感器对象数据分别代表通过传感器装置S1在车辆F的周围环境中在以前的时刻t-k确定的传感器对象i=1...m中的一个传感器对象,其中,n、m≥1。例如,在第一步骤P30中此外也提供所述另外的传感器装置S2的传感器对象数据集。
所述传感器对象数据集H也可以称为关联历史。融合仅由传感器对象和融合对象的之前进行了的关联得出。因此,替代于记录所有的q个由传感器装置S1在时刻t识别到的传感器对象i=1...q,足够的是仅将p≤q个实际上与融合对象关联的传感器对象i=1...p记录到关联历史中。换句话说,可以在步骤P30之前的步骤和在步骤P10(在该步骤中确定当前的传感器数据)之后的步骤中分别进行选择,将所确定的当前的传感器数据中的哪些传感器数据记录到关联历史中。在此,与在融合系统中的其它传感器装置的关联历史无关,可以为每个传感器装置S1、S2记录一个自身的关联历史。因此,下面仅考虑传感器装置S1的关联历史。
接着步骤P30,该方法在步骤P40中继续,在该步骤中根据传感器对象数据集H确定减少的传感器对象数据集其中,表示在时刻t与融合对象ft关联的传感器对象。然后将所述减少的传感器对象数据集H′相应地与融合对象配设并且将所述减少的传感器对象数据集保存到融合对象数据中。
对于传感器对象数据集H而言,n>1的必要性由不同的传感器对象在不同的时刻可能与相同的融合对象的关联才产生。但通常可能起因于传感器装置S1连续地追踪在车辆F的周围环境中的对象并且可能在密集的交通情况下导致多义的对象形成,其中,在周围环境中的实际的对象导致形成多个(在空间上或在时间上分离的)传感器对象。此外,在每个时刻,传感器装置S1的最多一个对象与同一个融合对象关联。
因此,在融合对象上注明少量的分别在最近一次与融合对象关联的传感器对象k=1...n就足够。如此,现在所述历史包含在不同的时刻的不同的传感器对象,在实践中,n=2的值已经证明是有利的,从而可以处理一次性的多义性。在图3中示出在n=2时用于实现所述关联历史所获得的模型。在此,为每个融合对象分别配设有传感器装置S1的一个减少的传感器对象数据集H′S1和所述另外的传感器装置S2的一个减少的传感器对象数据集H′S2。在此,减少的传感器对象数据集H′S1包括传感器装置S1的与时刻t-1和t-2关联的传感器对象和而减少的传感器对象数据集H′S包括所述另外的传感器装置S2的与时刻t-1和t-2关联的传感器对象和
在减少的传感器对象数据集H′没有在以前的时刻t-k,k=1...n包括相关联的传感器对象的情况下,在步骤P60中借助互协方差算法将传感器对象st与一个融合对象关联并且确定革新的融合对象。否则,在步骤P70中借助IMF(信息矩阵融合)算法基于减少的传感器对象数据集H′将传感器对象st与一个融合对象关联并且确定革新的融合对象。
如果从如上述那样有限的关联历史中无法找到在较早的时刻融合的传感器对象,例如在第一次融合传感器对象时,或者因为q的选择不能解决传感器装置的多义性,则在使用“互协方差”方法的情况下仅以近似地考虑可能的关联性的方式来使用融合。
随后结束程序或者必要时在预给定的中断之后在步骤P10中以更新的对象数据集继续程序。
在一种备选的实施方式变型方案中,步骤P70补充对革新的融合对象的可信度测试。
在用于融合多个传感器装置的传感器对象数据的IMF算法的在嵌入式系统上的实际应用中可能发生错误情况,所述错误情况导致确定了严重偏离由相应的传感器装置报告的特性的融合特性。
在这个实施方式变型方案中,为相应的传感器对象st-1,st配设特征数据所述特征数据代表通过传感器装置报告的特性、如传感器对象st-1,st的侧向延伸范围、位置和定向。此外,为相应的传感器对象st-1,st配设指示数据所述指示数据代表在确定特征时的不确定性。
最后在步骤P76中根据特征融合状态革新的特征融合状态和特征数据来检查所述革新的特征融合状态是否满足方程换句话说,在步骤P76中检查是否违背直观的假设,即,更新的特性在融合之后位于原始的特性与已融合的传感器对象的特性之间。
为了处理这种错误情况,融合对象和传感器对象的IMF融合特别是如往常那样实施,并且将结果暂时地中间存储以用于检查。如果所述结果违背上述直观的假设,则将所述临时的结果舍弃。取而代之地,在使用“互协方差”方法的情况下仅以近似地考虑可能的关联性的方式来进行融合。
Claims (9)
1.用于车辆(F)的传感器数据融合的方法,其中,所述车辆(F)配设有传感器装置(S1),并且在所述方法中
-提供当前的传感器对象数据,所述当前的传感器对象数据代表通过传感器装置(S1)在车辆(F)的周围环境中在时刻t确定的传感器对象st;
-提供传感器对象数据集所述传感器对象数据集包括历史传感器对象数据,所述历史传感器对象数据分别代表通过传感器装置(S1)在车辆(F)的周围环境中在以前的时刻t-k确定的传感器对象中的一个传感器对象,n、m≥1;
2.根据权利要求1所述的方法,其中,适用的是:1≤n≤5,优选n=2。
6.根据前述权利要求中任一项所述的方法,其中,
7.用于车辆(F)的传感器数据融合的装置(V),其中,所述装置(V)构造为用于实施根据前述权利要求1至6中任一项所述的方法。
8.用于车辆(F)的传感器数据融合的计算机程序,所述计算机程序包括指令,所述指令在由计算机执行所述计算机程序时促使所述计算机实施根据权利要求1至6中任一项所述的方法。
9.计算机可读的存储介质,在所述计算机可读的存储介质上存储有根据权利要求8所述的计算机程序。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019102920.1A DE102019102920A1 (de) | 2019-02-06 | 2019-02-06 | Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug |
DE102019102920.1 | 2019-02-06 | ||
PCT/EP2019/079224 WO2020160797A1 (de) | 2019-02-06 | 2019-10-25 | Verfahren und eine vorrichtung zur sensordatenfusion für ein fahrzeug |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113167892A true CN113167892A (zh) | 2021-07-23 |
Family
ID=68344880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980076366.8A Pending CN113167892A (zh) | 2019-02-06 | 2019-10-25 | 用于车辆的传感器数据融合的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220128680A1 (zh) |
CN (1) | CN113167892A (zh) |
DE (1) | DE102019102920A1 (zh) |
WO (1) | WO2020160797A1 (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050021201A1 (en) * | 2001-07-17 | 2005-01-27 | Albrecht Klotz | Method and device for data exchange and processing |
US20080300787A1 (en) * | 2006-02-03 | 2008-12-04 | Gm Global Technology Operations, Inc. | Method and apparatus for on-vehicle calibration and orientation of object-tracking systems |
DE102008001672A1 (de) * | 2008-05-09 | 2009-11-12 | Robert Bosch Gmbh | Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte |
CN104729506A (zh) * | 2015-03-27 | 2015-06-24 | 北京航空航天大学 | 一种视觉信息辅助的无人机自主导航定位方法 |
US20160203374A1 (en) * | 2015-01-14 | 2016-07-14 | GM Global Technology Operations LLC | Target grouping techniques for object fusion |
WO2016139580A1 (en) * | 2015-03-05 | 2016-09-09 | Thales Canada Inc. | Guideway mounted vehicle localization system |
DE102015107392A1 (de) * | 2015-05-12 | 2016-11-17 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
SE1650719A1 (en) * | 2016-05-25 | 2017-11-26 | Scania Cv Ab | Method for decentralized sensor fusion in a vehicle and sensor fusion system |
US20170372150A1 (en) * | 2015-02-06 | 2017-12-28 | Bayerische Motoren Werke Aktiengesellschaft | Processing of Sensor Data for a Driver Assistance System |
WO2018063241A1 (en) * | 2016-09-29 | 2018-04-05 | The Charles Stark Draper Laboratory, Inc. | Autonomous vehicle: object-level fusion |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7719461B1 (en) * | 2008-08-05 | 2010-05-18 | Lockheed Martin Corporation | Track fusion by optimal reduced state estimation in multi-sensor environment with limited-bandwidth communication path |
-
2019
- 2019-02-06 DE DE102019102920.1A patent/DE102019102920A1/de active Pending
- 2019-10-25 WO PCT/EP2019/079224 patent/WO2020160797A1/de active Application Filing
- 2019-10-25 US US17/427,986 patent/US20220128680A1/en active Pending
- 2019-10-25 CN CN201980076366.8A patent/CN113167892A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050021201A1 (en) * | 2001-07-17 | 2005-01-27 | Albrecht Klotz | Method and device for data exchange and processing |
US20080300787A1 (en) * | 2006-02-03 | 2008-12-04 | Gm Global Technology Operations, Inc. | Method and apparatus for on-vehicle calibration and orientation of object-tracking systems |
DE102008001672A1 (de) * | 2008-05-09 | 2009-11-12 | Robert Bosch Gmbh | Verfahren zur Fusion von Zustandsdaten erfasster Sensorobjekte |
US20160203374A1 (en) * | 2015-01-14 | 2016-07-14 | GM Global Technology Operations LLC | Target grouping techniques for object fusion |
US20170372150A1 (en) * | 2015-02-06 | 2017-12-28 | Bayerische Motoren Werke Aktiengesellschaft | Processing of Sensor Data for a Driver Assistance System |
WO2016139580A1 (en) * | 2015-03-05 | 2016-09-09 | Thales Canada Inc. | Guideway mounted vehicle localization system |
CN104729506A (zh) * | 2015-03-27 | 2015-06-24 | 北京航空航天大学 | 一种视觉信息辅助的无人机自主导航定位方法 |
DE102015107392A1 (de) * | 2015-05-12 | 2016-11-17 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Erfassen eines Objekts in einer Umgebung eines Kraftfahrzeugs anhand von fusionierten Sensordaten, Steuereinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
SE1650719A1 (en) * | 2016-05-25 | 2017-11-26 | Scania Cv Ab | Method for decentralized sensor fusion in a vehicle and sensor fusion system |
WO2018063241A1 (en) * | 2016-09-29 | 2018-04-05 | The Charles Stark Draper Laboratory, Inc. | Autonomous vehicle: object-level fusion |
Also Published As
Publication number | Publication date |
---|---|
US20220128680A1 (en) | 2022-04-28 |
WO2020160797A1 (de) | 2020-08-13 |
DE102019102920A1 (de) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10369993B2 (en) | Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free | |
CN110834642B (zh) | 车辆跑偏识别方法、装置、车辆及存储介质 | |
JP2015081083A (ja) | 予測的運転者支援システムのための、妥当性規則に基づく信頼度推定 | |
EP2657644A1 (en) | Positioning apparatus and positioning method | |
US11789141B2 (en) | Omnidirectional sensor fusion system and method and vehicle including the same | |
US20190354785A1 (en) | Method and system for improving object detection and object classification | |
US11748593B2 (en) | Sensor fusion target prediction device and method for vehicles and vehicle including the device | |
US20220144265A1 (en) | Moving Track Prediction Method and Apparatus | |
US11756310B2 (en) | Method and device for sensor data fusion for a vehicle | |
CN113743228A (zh) | 基于多数据融合结果的障碍物存在性检测方法和装置 | |
KR102664113B1 (ko) | 차량 위치 추정 장치 및 방법 | |
CN109635868B (zh) | 障碍物类别的确定方法、装置、电子设备及存储介质 | |
JP2022172444A (ja) | 原動機付き車両の走行動作を補助する方法及びアシスト装置並びに原動機付き車両 | |
US11619495B2 (en) | Position estimating apparatus and position estimating method | |
JP6959445B2 (ja) | センサ認識統合装置 | |
US20220075053A1 (en) | Method and apparatus for sensor data fusion for a vehicle | |
CN113167892A (zh) | 用于车辆的传感器数据融合的方法和装置 | |
CN108776333B (zh) | 一种数据二次级联融合方法、系统、车载设备及存储介质 | |
US20220073065A1 (en) | Apparatus for predicting risk of collision of vehicle and method of controlling the same | |
JP7476563B2 (ja) | 物体追跡装置、物体追跡方法、及び物体追跡プログラム | |
CN113971786A (zh) | 车道保持辅助系统、车道保持方法及计算机可读存储介质 | |
US11915489B2 (en) | Method, device, computer program and computer program product for operating a vehicle | |
Westenberger et al. | Multi-sensor fusion with out-of-sequence measurements for vehicle environment perception | |
US20240159895A1 (en) | Target detection device | |
EP4220601A1 (en) | Method and device for locating a traffic participant, and vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |