CN108764373A - 一种用于自动驾驶中的传感器数据过滤及融合方法 - Google Patents

一种用于自动驾驶中的传感器数据过滤及融合方法 Download PDF

Info

Publication number
CN108764373A
CN108764373A CN201810590277.2A CN201810590277A CN108764373A CN 108764373 A CN108764373 A CN 108764373A CN 201810590277 A CN201810590277 A CN 201810590277A CN 108764373 A CN108764373 A CN 108764373A
Authority
CN
China
Prior art keywords
target
cluster
point
data
thd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810590277.2A
Other languages
English (en)
Other versions
CN108764373B (zh
Inventor
王伦
陈灿平
杨文利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Leading Technology Co Ltd
Original Assignee
Beijing Leading Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Leading Technology Co Ltd filed Critical Beijing Leading Technology Co Ltd
Priority to CN201810590277.2A priority Critical patent/CN108764373B/zh
Publication of CN108764373A publication Critical patent/CN108764373A/zh
Application granted granted Critical
Publication of CN108764373B publication Critical patent/CN108764373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于自动驾驶中的传感器数据过滤及融合方法,分为空间过滤融合方法和紧随的时间过滤融合方法,所述空间过滤融合方法在自动驾驶的感知系统从传感器获得一帧原始数据后,对数据点进行空间聚类处理,认定有效的聚类结果并排除噪声;对聚类结果进行关联性跟踪,从而能够得到某一物体的位置速度信息、历史信息、预测信息;然后进行特征信息估计,计算聚类以后物体的长宽和朝向信息;再进行时间过滤融合方法将原始目标判别为确定目标、可疑目标和伪目标。本发明无需考虑传感器的类型和传感器的数量,针对任何大噪声和小噪声的传感器数据都能够使用,计算量小,简单而灵活有效。

Description

一种用于自动驾驶中的传感器数据过滤及融合方法
技术领域
本发明涉及一种自动驾驶数据处理方法,尤其涉及一种用于自动驾驶中的传感器数据过滤及融合方法。
背景技术
在自动驾驶中,感知系统作为车辆的眼睛,为决策规划控制提供可靠的周围环境情况。对感知系统而言,路上的一切事物都可以看作是障碍物,包括车辆、行人、道路隔离带、树木等。自动驾驶中常使用多种传感器来感知周围环境,能够检测到障碍物的常用传感器主要包括视觉、激光雷达、超声波、红外和毫米波雷达等等。每种传感器都有自己的特性,能够在一定程度上获得障碍物的信息,但是对于每一种传感器而言,都是不可靠的,会经常出现漏报和误报的现象,提供较大噪声的数据。漏报指当障碍物出现时,传感器没有检测到该障碍物。误报指传感器检测到障碍物,但是该障碍物实际上不存在。噪声是传感器观测数据时的测量噪声,指传感器本身或者外界环境产生的对原信号的干扰信号,易造成原始数据信号的失真。
目前,自动驾驶中的传感器数据过滤和融合方法一般包括栅格图法、八邻域区域标记法、图像雷达空间-时间融合。这些方法普遍存在计算复杂,缺乏实时性和灵活性的特点。
根据自动驾驶中现有传感器的特点,本发明提出了一种基于空间-时间的传感器数据过滤和融合方法,为车辆自动驾驶中感知系统提供简单可靠的解决方案,经过实际应用,满足自动驾驶需求。
发明内容
本发明提供了一种用于自动驾驶中的传感器数据过滤及融合方法,旨在处理传感器原始测量数据中存在大量漏报和误报的情况,从复杂的大噪声信号中提取有用的信息,然后在多个传感器之间做交叉验证,从而提高整体感知的可靠性。
其技术方案如下所述:
一种用于自动驾驶中的传感器数据过滤及融合方法,分为空间过滤融合方法和紧随的时间过滤融合方法,所述空间过滤融合方法在自动驾驶的感知系统从传感器获得一帧原始数据后,包括下列步骤:
(1)空间聚类,计算当前帧所有数据点与当前帧中其他数据点及上一帧中所有数据点的距离,如果当前帧所有数据点中存在数据点a和除a以外的某个数据点b的距离小于聚类基准值thd_base,则将距离小于聚类基准值thd_base的数据点分为一组;
(2)当所有数据点完成空间聚类之后,根据每一个聚类中所包含的当前帧数据点的个数和上一帧数据点的个数进行聚类结果的判定,认定有效的聚类结果并排除噪声;
(3)关联性跟踪,对当前帧聚类结果和上一帧聚类结果的空间距离关系的关联性进行跟踪,从而能够得到某一物体的位置速度信息及其历史信息,并且根据这些信息能够得到该物体的预测信息;
(4)特征信息估计,聚在同一个类里面的所有数据点被认为是同一个物体的数据点,这些数据点分布离散不均匀,需要结合主成分分析PCA和概率分布,计算聚类以后物体的长宽和朝向信息;
之后,进行时间过滤融合方法,包括下列步骤:
(5)将通过传感器得到的具有较完整信息的数据点或者通过空间过滤融合得到的聚类结果定义为原始目标,通过对同一目标在不同时刻被传感器检测到的情况进行计分操作,从而将原始目标判别为确定目标、可疑目标和伪目标,所述确定目标为确实存在的物体;可疑目标为可能存在的物体;伪目标为不存在的物体。
进一步的,步骤(1)中,空间聚类的判断基准如下,
1)如果不存在任何聚类或者数据点a和数据点b都不属于任何聚类,则创建一个新的聚类,将a和b归为此聚类;
2)如果a属于某个聚类,b不属于任何聚类,将b归为a所属的聚类;
3)如果a不属于任何聚类,b属于某个聚类,将a归为b所属的聚类;
4)如果a和b均已有类别归属,不进行处理。
进一步的,步骤(2)中,当聚类结果A中数据点的总个数大于总个数阈值thd_all,且聚类结果A中上一帧数据点的个数大于前帧阈值thd_last,且聚类结果A中当前帧数据点的个数大于当前帧阈值thd_now,认为聚类结果有效;否则认为是噪声,聚类结果无效,其中,总个数阈值thd_all≥前帧阈值thd_last,总个数阈值thd_all≥当前帧阈值thd_now,前帧阈值thd_last与当前帧阈值thd_now大小关系根据实际情况确定。
进一步的,步骤(3)中,聚类结果A和聚类结果B的空间距离关系的判断基准如下:
1)如果A和B的距离大于聚类间最小关联阈值thd1,则两个聚类结果没有公共的数据点,A和B独立;
2)如果A和B的距离小于聚类间最小关联阈值thd1,且A和B附近均没有相近的聚类结果,则对A和B进行关联性跟踪;
3)如果A和B的距离小于聚类间最小关联阈值thd1,若A附近没有其他距离小于聚类结果A附近最小关联阈值thd2的聚类结果,而B附近存在一个或者多个距离小于聚类结果B附近最小关联阈值thd3的聚类结果,则将A分别与B附近距离在类B附近最小关联阈值thd3以内的聚类结果进行比较,选取距离近且有较多交集的聚类结果进行关联性跟踪;
4)如果A和B的距离小于聚类间最小关联阈值thd1,若B附近没有其他距离小于聚类结果B附近最小关联阈值thd3的聚类结果,而A附近存在一个或者多个距离小于聚类结果A附近最小关联阈值thd2的聚类结果,则将B分别与A附近距离在thd2以内的聚类结果进行比较,选取距离近且有较多交集的聚类结果进行关联性跟踪;
5)如果A和B的距离小于聚类间最小关联阈值thd1,若A和B附近分别均存在其他小于聚类结果A附近最小关联阈值thd2和聚类结果B附近最小关联阈值thd3的聚类结果,将这些聚类结果分别进行比较,选取距离近且有较多交集的聚类结果进行关联性跟踪。
进一步的,步骤(4)中,PCA用于计算数据点的主朝向方向,从而确定同一物体的长和宽的方向;概率分布则对数据点分布情况分析,分别在长宽方向选取不同的标准差范围对数据点进行筛选,距离标准差较远的数据点认为是噪声信号,对其进行剔除;根据剔除以后的剩余数据点,利用长宽方向的最大值和最小值计算该物体的长和宽。
特征信息估计的计算流程及相关计算公式如下,
viii.分别计算同一个聚类结果中数据点的x方向和y方向的距离的平均值;
式(1)中,xi为每一个数据点的x方向的距离;yi为每一个数据点的y方向的距离;为x方向数据点的距离的平均值;为y方向数据点的距离的平均值;n表示同一个聚类结果中数据点的总个数;
ix.计算x和y方向的数据点的协方差矩阵
式(2)中,Cov(X,X)为x方向数据点与其自身的协方差;Cov(Y,Y)为y方向数据点与其自身的协方差;Cov(X,Y)和Cov(Y,X)分别为x方向数据点与y方向数据点的协方差和y方向数据点与x方向数据点的协方差;
式(3)中,A为x方向数据点和y方向数据点的协方差矩阵;
x.计算协方差矩阵A的特征值和特征向量
|A-λE|=0 (4)
式(4)中,λ为协方差矩阵A所对应的特征值,E为单位矩阵,此处为二维单位矩阵;
Ac=λc (5)
式(5)中,c为协方差矩阵A所对应的特征向量;
xi.计算旋转矩阵R
按照特征值的大小对特征向量进行从大到小排序,得到旋转矩阵R:
R=(cmax,cmin) (6)
式(6)中cmax为较大特征值对应的特征向量,cmin为较小特征值所对应的特征向量;
xii.对原始数据点进行旋转
RO=O×R (7)
式(7)中,O为所有原始目标数据点;RO为经过旋转以后的数据点;
xiii.根据概率分布剔除旋转以后RO中噪声较大数据点
式(8)中,σx为x方向数据点的标准差的倍数,σy为y方向数据点的标准差的倍数;
将不满足式(8)的数据剔除,满足式(8)的数据用B表示,进行下面的计算,
xiv.计算聚类完成以后物体的长宽和朝向信息
式(9)中,θ为朝向,cmax(2)和cmax(1)分别为cmax的第二个元素和第一个元素,B(:,1)和B(:,2)分别代表经过数据剔除以后x和y的所有数据点,length和width分别代表物体的长和宽。
进一步的,步骤(5)中,当目标确实存在且被检测到时,此目标的分值随着时间而增大,其存在的置信度就越高;当目标不存在但是被检测到或者目标从视距内消失时,此目标的分值随着时间而减小,其存在的置信度就减小。
进一步的,目标列表加分和目标列表减分的操作步骤如下所述,
a、目标列表加分:
1)遍历所有当前帧的原始目标,当当前帧的原始目标不属于目标列表中的任何一个目标时,将其作为目标列表中的一个新的目标,并赋予一个初始的分值,不同传感器获得的原始目标的初始分值可以相同,也可以不同;
2)当当前帧的原始目标能够和目标列表中的目标匹配时,则对目标列表中的该目标进行加分操作,加分的分值根据原始目标所属传感器的类型及所检测到原始目标的可信度来确定,将目标列表中的目标的分值设置一个上限值,即目标最大分值thd_max;
b、目标列表减分:
遍历所有目标列表,当遍历完当前帧的所有原始目标和目标列表后,若目标列表中的某目标不与当前帧的任意原始目标匹配,对目标列表中的该目标进行减分操作,减分的分值根据具体情况确定,可以相同,也可以不同。
9、根据权利要求8所述的用于自动驾驶中的传感器数据过滤及融合方法,其特征在于:在目标列表加分和目标列表减分之后,进行目标存在性判断:
遍历所有目标列表中的目标,设定thd_real代表确定目标分值,thd_dubious代表可疑目标分值,thd_virtual代表伪目标分值,
1)目标列表中的目标加分操作时,当该目标的分值超过确定目标分值thd_real时,确认此目标为确实存在,否则为可疑目标;
2)目标列表中的目标减分操作时,当该目标的分值低于目标可疑目标分值thd_dubious且大于伪目标分值时,认为此目标为可疑目标,仍然保留此目标的信息,但是不认为目标确定存在;
3)目标列表中的目标减分操作时,当该目标的分值低于伪目标分值thd_virtual时,认为此目标为伪目标,删除此目标;
其中,各个值的大小关系为:thd_max>thd_real≥thd_dubious>thd_virtual。
本发明提出的方法,无需考虑传感器的类型和传感器的数量,针对任何大噪声和小噪声的传感器数据都能够使用,计算量小,简单而灵活有效,是一种通用的传感器数据过滤及融合方法。
附图说明
图1是空间过滤融合方法整体流程图;
图2是空间过滤融合方法-空间聚类;
图3是空间过滤融合方法-关联性跟踪;
图4是空间过滤融合方法-毫米波雷达局部原始数据点示意图;
图5是空间过滤融合方法-毫米波雷达部分放大图-1;
图6是空间过滤融合方法-毫米波雷达部分放大图-2;
图7是时间过滤融合方法总体流程图;
图8是时间过滤融合方法-目标列表加分过程流程图;
图9是时间过滤融合方法-目标列表减分过程流程图;
图10是时间过滤融合方法-目标存在性判断过程流程图;
图11是时间过滤融合方法打分过程图。
具体实施方式
本发明提供的用于自动驾驶中的传感器数据过滤及融合方法,主要从空间和时间两个层面考虑,分为空间过滤融合方法和紧随的时间过滤融合方法,其中,车辆坐标系x正方向指向车头方向,y正方向垂直于x指向车体左侧,z正方向垂直于xy平面指向天,xyz符合右手螺旋定则。传感器所测量得到的原始数据信息主要包括位置(相对于车辆坐标系的位置x、y和z)、速度(相对于车辆的速度)、大小(长宽高)和朝向(相对于车辆的方向朝向)等。本发明中所述的数据点之间的空间距离指xy平面上的欧式距离。
本发明中的一些名词解释如下:
i.数据点:从传感器直接得到的所有数据;
ii.聚类:空间过滤融合方法中的空间聚类过程中得到的数据点的分组信息;
iii.聚类结果:经过空间过滤融合方法中的空间聚类之后,得到的数据点的聚类的结果;
iv.原始目标:通过传感器得到的具有较完整信息的数据点或者通过空间过滤融合得到的聚类结果;
v.确定目标:经过本发明判断为确实存在的物体;
vi.可疑目标:经过本发明判断为可能存在的物体;
vii.伪目标:经过本发明判断为不存在的物体;
viii.目标列表:确定目标、可疑目标和伪目标的集合。
1)空间过滤融合方法
空间过滤融合方法不受传感器类型的限制,针对一个或者多个传感器都适用。当被检测到的物体较小时,由于传感器本身的工作原理及外界环境干扰的影响,某些传感器通常能够得到1-3个距离较近但不稳定的数据点。对于目标较大的物体,通常能够得到更多的数据点。而同一个物体被同一个传感器或者不同传感器检测到的数据点之间的空间距离通常会在聚类基准值范围内,可以将数据点之间的空间距离作为空间过滤融合的基础。聚类基准值指在进行空间聚类时的一个预设距离值,当数据点间的空间距离小于此预设距离值时,这些数据点能够被聚为一类。空间过滤融合方法整体流程图见附图1,当自动驾驶的感知系统从传感器获得一帧原始数据后,按顺序执行以下操作:
a)空间聚类
对当前帧数据点和上一帧的数据点来说,空间聚类的距离判断可以不用考虑时间和速度的影响,由于车辆行驶速度有上限值,在一定时间内,车辆行驶的最大距离也有上限值,可以根据此选取聚类基准值。对当前帧数据点和上一帧的数据点按照距离聚类:首先计算当前帧所有数据点与当前帧中其他数据点及上一帧中所有数据点的距离,如果当前帧所有数据点中存在数据点a和除a以外的某个数据点b的距离小于聚类基准值thd_base(是需要任意两个点进行处理。目前所使用的传感器的数据量在百位级别)。则如图2所示,按照下述规则进行聚类归属。
其中,空间聚类中的聚类代表分组的意思,即将距离小于聚类基准值thd_base的数据点分为一组。具体算法如下:
i.如果不存在任何聚类或者数据点a和数据点b都不属于任何聚类,则创
建一个新的聚类,将a和b归为此聚类;
ii.如果a属于某个聚类,b不属于任何聚类,将b归为a所属的聚类;
iii.如果a不属于任何聚类,b属于某个聚类,将a归为b所属的聚类;
iv.如果a和b均已有类别归属,不进行处理。
当所有数据点按照上述聚类归属方法完成聚类之后,根据每一个聚类中所包含的当前帧数据点的个数和上一帧数据点的个数进行聚类结果的判定。当聚类结果A中数据点的总个数大于总个数阈值thd_all,且聚类结果A中上一帧数据点的个数大于前帧阈值thd_last(确认聚类结果有效时,聚类结果A中上一帧数据点的个数需大于的值),且聚类结果A中当前帧数据点的个数大于当前帧阈值thd_now(确认聚类结果有效时,聚类结果A中当前帧数据点的个数需大于的值),认为聚类结果有效;否则认为是噪声,聚类结果无效。其中,总个数阈值thd_all≥前帧阈值thd_last,总个数阈值thd_all≥当前帧阈值thd_now,前帧阈值thd_last与当前帧阈值thd_now大小关系根据实际情况确定。
b)关联性跟踪
对当前帧聚类结果和上一帧聚类结果的关联性进行跟踪,从而能够得到较为精确的某一物体的位置速度信息及其历史信息,并且根据这些信息能够得到该物体的预测信息。关联性主要指1-a)的空间聚类中当前帧聚类结果和上一帧聚类结果之间的空间距离关系,当两者的距离小于最小关联阈值thd,认为二者具有前后帧关联,否则没有关联。具有关联性的a)中的前后两帧的聚类结果被认为是同一个物体。根据具有关联性的a)中的前后两帧的聚类结果的空间距离和时间差计算得到该物体的速度信息。其中,两个聚类结果的空间距离,指两个聚类结果的中心的空间距离;时间差指接收到具有关联性的a)中的前后两帧的聚类结果所相差的时间;聚类结果的中心指聚类结果内所有数据点的位置的平均值。根据a)中的聚类结果的空间距离和数据点的特性,聚类结果A和聚类结果B跟踪流程(见附图3)如下:
i.如果A和B的距离大于聚类间最小关联阈值thd1,则两个聚类结果没有公共的数据点,A和B独立;
ii.如果A和B的距离小于聚类间最小关联阈值thd1,且A和B附近均没有相近的聚类结果,则对A和B进行关联性跟踪;
iii.如果A和B的距离小于聚类间最小关联阈值thd1,若A附近没有其他距离小于聚类结果A附近最小关联阈值thd2的聚类结果,而B附近存在一个或者多个距离小于聚类结果B附近最小关联阈值thd3的聚类结果,则将A分别与B附近距离在类B附近最小关联阈值thd3以内的聚类结果进行比较,选取距离近且有较多交集的聚类结果进行关联性跟踪;
iv.如果A和B的距离小于聚类间最小关联阈值thd1,若B附近没有其他距离小于聚类结果B附近最小关联阈值thd3的聚类结果,而A附近存在一个或者多个距离小于聚类结果A附近最小关联阈值thd2的聚类结果,则将B分别与A附近距离在thd2以内的聚类结果进行比较,选取距离近且有较多交集的聚类结果进行关联性跟踪;
v.如果A和B的距离小于聚类间最小关联阈值thd1,若A和B附近分别均存在其他小于聚类结果A附近最小关联阈值thd2和聚类结果B附近最小关联阈值thd3的聚类结果,将这些聚类结果分别进行比较,选取距离近且有较多交集的聚类结果进行关联性跟踪;
以上流程中的thd及thd1~thd3的值可以相同,也可以不同,根据具体情况而定。
c)特征信息估计
在a)和b)聚类完成以后,聚在同一个类里面的所有数据点被认为是同一个物体的数据点。这些数据点分布离散不均匀,需要结合主成分分析(PCA)和概率分布,计算聚类以后物体的长宽和朝向信息。PCA主要用于计算数据点的主朝向方向,从而确定长和宽的方向;概率分布则对数据点分布情况分析,分别在长宽方向选取不同的标准差范围对数据点进行筛选,距离标准差较远的数据点认为是噪声信号,对其进行剔除;根据剔除以后的剩余数据点,利用长宽方向的最大值和最小值计算障碍物的长和宽。计算流程及相关计算公式如下。xv.分别计算同一个聚类结果中数据点的x方向和y方向的距离的平均值。
式(1)中,xi为每一个数据点的x方向的距离;yi为每一个数据点的y方向的距离;为x方向数据点的距离的平均值;为y方向数据点的距离的平均值;n表示同一个聚类结果中数据点的总个数。
xvi.计算x和y方向的数据点的的协方差矩阵。
式(2)中,Cov(X,X)为x方向数据点与其自身的协方差;Cov(Y,Y)为y方向数据点与其自身的协方差;Cov(X,Y)和Cov(Y,X)分别为x方向数据点与y方向数据点的协方差和y方向数据点与x方向数据点的协方差。
式(3)中,A为x方向数据点和y方向数据点的协方差矩阵。
xvii.计算协方差矩阵A的特征值和特征向量
|A-λE|=0 (4)
式(4)中,λ为协方差矩阵A所对应的特征值,E为单位矩阵,此处为二维单位矩阵。
Ac=λc (5)
式(5)中,c为协方差矩阵A所对应的特征向量。
xviii.计算旋转矩阵R。
按照特征值的大小对特征向量进行从大到小排序,得到旋转矩阵R:
R=(cmax,cmin) (6)
式(6)中cmax为较大特征值对应的特征向量,cmin为较小特征值所对应的特征向量。
xix.对原始数据点进行旋转。
RO=O×R (7)
式(7)中,O为所有原始目标数据点;RO为经过旋转以后的数据点。
xx.根据概率分布剔除旋转以后RO中噪声较大数据点。
式(8)中,σx为x方向数据点的标准差的倍数,σy为y方向数据点的标准差的倍数,均根据实际情况选取。
将不满足式(8)的数据剔除,满足式(8)的数据用B表示,进行下面的计算。
xxi.计算聚类完成以后物体的长宽和朝向信息。
式(9)中,θ为朝向,cmax(2)和cmax(1)分别为cmax的第二个元素和第一个元素,B(:,1)和B(:,2)分别代表经过数据剔除以后x和y的所有数据点,length和width分别代表物体的长和宽。
d)返回a)。
以毫米波雷达为例进行分析。附图4为毫米波雷达局部原始数据点示意图,其中方框为当前帧数据点,菱形为上一帧数据点,方框内有十字和菱形内有×的数据点为使用空间过滤融合方法判别为属于某个空间聚类的数据点,空白方框和空白菱形的数据点为判别为噪声的数据点。可以看出在y=0附近的两团数据点被聚为两个物体,其他有聚类归属的数据点个数不满足上述a)中所述的条件,认为是噪声数据点,左右两组数据点分别放大见附图5和附图6。在附图5和附图6内,被虚线连接在一起的数据点被聚为同一类,实线方框为经过PCA和概率分布分析以后的物体的包络。
本发明的空间过滤融合方法,通过数据点在空间中的分布情况,能够在一定程度上滤除一些偶尔出现且周围数据点较少的噪声数据,同时能够得到较准确的物体的相关信息。
2)时间过滤融合方法
对于空间过滤融合方法,能够在一定程度上消除一些噪声的影响,例如在一些区域偶尔出现的少量数据点。但是对于有很多“闪现”噪点数据的情况,仅仅通过空间过滤是不够的,例如在某一附近区域出现大量数据点,但是在短时间内又突然消失,所以还需要通过时间上的方法进行数据点的处理。闪现指在某一位置附近数据点偶尔出现,但是在短时间内又突然消失的现象。本发明提出一种计分制的方法在时间尺度上进行数据点置信度的判断。本方法的总体流程图见附图7。下文中的目标指通过本发明的计分法得到的结果,代表真实世界中可能存在的一个物体。这里把通过传感器得到的具有较完整信息的数据点或者通过空间过滤融合得到的聚类结果定义为原始目标,根据本节的方法,将原始目标判别为确定目标,可疑目标和伪目标。其中,确定目标指经过本方法判断为确实存在的物体;可疑目标指经过本方法判断为可能存在的物体;伪目标指经过本方法判断为不存在的物体。当自动驾驶的感知系统从传感器获得一帧新的原始数据点,并完成1)中的方法处理后,得到新的空间过滤融合后的原始目标,按顺序执行以下操作:
a)目标列表加分
遍历所有当前帧的原始目标,进行目标列表的加分操作,目标列表加分
过程流程图见附图8,具体流程如下:
i.当当前帧的原始目标不属于目标列表中的任何一个目标时,将其作为目标列表中的一个新的目标,并赋予一个初始的分值,不同传感器获得的原始目标的初始分值可以相同,也可以不同;
ii.当当前帧的原始目标能够和目标列表中的目标匹配时,则对目标列表中的该目标进行加分操作,加分的分值根据原始目标所属传感器的类型及所检测到原始目标的可信度来确定,通常目标列表中的目标的分值会设置一个上限值,即目标最大分值thd_max;
b)目标列表减分
遍历所有目标列表,进行目标列表的减分操作,目标列表减分过程流程图见附图9。当遍历完当前帧的所有原始目标和目标列表后,若目标列表中的某目标不与当前帧的任意原始目标匹配,对目标列表中的该目标进行减分操作,减分的分值根据具体情况确定,可以相同,也可以不同;
c)目标存在性判断
遍历所有目标列表中的目标,根据目标列表中目标的分值判断该目标所属的情况,进行该目标的相应操作,目标存在性判断过程流程图见附图10。其中thd_real代表确定目标分值,thd_dubious代表可疑目标分值,thd_virtual代表伪目标分值,下文中的thd_real、thd_dubious和thd_virtual的含义同此。
i.目标列表中的目标加分操作时,当该目标的分值超过确定目标分值thd_real时,确认此目标为确实存在,否则为可疑目标;
ii.目标列表中的目标减分操作时,当该目标的分值低于目标可疑目标分值thd_dubious且大于伪目标分值时,认为此目标为可疑目标,仍然保留此目标的信息,但是不认为目标确定存在;
iii.目标列表中的目标减分操作时,当该目标的分值低于伪目标分值thd_virtual时,认为此目标为伪目标,删除此目标。
其中,各个值的大小关系为:thd_max>thd_real≥thd_dubious>thd_virtual,各个值的大小根据具体情况确定。
计分过程示意图见附图11,各个参数的含义同附图10。在附图11中,点画线部分代表通过本方法被判定为可疑目标的范围,实线部分代表被判定为确定目标的范围,虚线部分代表被判定为伪目标的范围,其中,t1~t5时刻分别由不同传感器在目标列表中的某同一目标附近发现当前帧原始目标,对目标列表中的该目标进行加分操作,t4之前为可疑目标区域,t4时刻确认目标存在,t4~t6时刻,在目标列表中的该目标附近一直能够有效检测到当前帧原始目标,t6~t9时刻没有在目标列表中的该目标附近发现当前帧原始目标,对目标列表中的该目标进行减分操作,t8时刻分值低于可疑目标分值thd_dubious,值的大小根据具体情况确定,目标列表中的该目标变为可疑目标,t9时刻分值低于伪目标分值thd_virtual,目标列表中的该目标消失。
本发明的时间过滤融合方法,通过对同一目标在不同时刻被传感器检测到的情况进行计分操作。当目标确实存在且被检测到时,此目标的分值随着时间而增大,其存在的置信度就越高;当目标不存在但是被检测到或者目标从视距内消失时,此目标的分值随着时间而减小,其存在的置信度就减小。因此,本时间上的计分方法能够在一定程度上滤除短暂出现但是又很快消失的数据信号;同时由于目标中包含的障碍物可能来源于不同传感器,还能够对传感器的数据进行融合操作。

Claims (9)

1.一种用于自动驾驶中的传感器数据过滤及融合方法,分为空间过滤融合方法和紧随的时间过滤融合方法,所述空间过滤融合方法在自动驾驶的感知系统从传感器获得一帧原始数据后,包括下列步骤:
(1)空间聚类,计算当前帧所有数据点与当前帧中其他数据点及上一帧中所有数据点的距离,如果当前帧所有数据点中存在数据点a和除a以外的某个数据点b的距离小于聚类基准值thd_base,则将距离小于聚类基准值thd_base的数据点分为一组;
(2)当所有数据点完成空间聚类之后,根据每一个聚类中所包含的当前帧数据点的个数和上一帧数据点的个数进行聚类结果的判定,认定有效的聚类结果并排除噪声;
(3)关联性跟踪,对当前帧聚类结果和上一帧聚类结果的空间距离关系的关联性进行跟踪,从而能够得到某一物体的位置速度信息及其历史信息,并且根据这些信息能够得到该物体的预测信息;
(4)特征信息估计,聚在同一个类里面的所有数据点被认为是同一个物体的数据点,这些数据点分布离散不均匀,需要结合主成分分析PCA和概率分布,计算聚类以后物体的长宽和朝向信息;
之后,进行时间过滤融合方法,包括下列步骤:
(5)将通过传感器得到的具有较完整信息的数据点或者通过空间过滤融合得到的聚类结果定义为原始目标,通过对同一目标在不同时刻被传感器检测到的情况进行计分操作,从而将原始目标判别为确定目标、可疑目标和伪目标,所述确定目标为确实存在的物体;可疑目标为可能存在的物体;伪目标为不存在的物体。
2.根据权利要求1所述的用于自动驾驶中的传感器数据过滤及融合方法,其特征在于:步骤(1)中,空间聚类的判断基准如下,
1)如果不存在任何聚类或者数据点a和数据点b都不属于任何聚类,则创建一个新的聚类,将a和b归为此聚类;
2)如果a属于某个聚类,b不属于任何聚类,将b归为a所属的聚类;
3)如果a不属于任何聚类,b属于某个聚类,将a归为b所属的聚类;
4)如果a和b均已有类别归属,不进行处理。
3.根据权利要求1所述的用于自动驾驶中的传感器数据过滤及融合方法,其特征在于:步骤(2)中,当聚类结果A中数据点的总个数大于总个数阈值thd_all,且聚类结果A中上一帧数据点的个数大于前帧阈值thd_last,且聚类结果A中当前帧数据点的个数大于当前帧阈值thd_now,认为聚类结果有效;否则认为是噪声,聚类结果无效,其中,总个数阈值thd_all≥前帧阈值thd_last,总个数阈值thd_all≥当前帧阈值thd_now,前帧阈值thd_last与当前帧阈值thd_now大小关系根据实际情况确定。
4.根据权利要求1所述的用于自动驾驶中的传感器数据过滤及融合方法,其特征在于:步骤(3)中,聚类结果A和聚类结果B的空间距离关系的判断基准如下:
1)如果A和B的距离大于聚类间最小关联阈值thd1,则两个聚类结果没有公共的数据点,A和B独立;
2)如果A和B的距离小于聚类间最小关联阈值thd1,且A和B附近均没有相近的聚类结果,则对A和B进行关联性跟踪;
3)如果A和B的距离小于聚类间最小关联阈值thd1,若A附近没有其他距离小于聚类结果A附近最小关联阈值thd2的聚类结果,而B附近存在一个或者多个距离小于聚类结果B附近最小关联阈值thd3的聚类结果,则将A分别与B附近距离在类B附近最小关联阈值thd3以内的聚类结果进行比较,选取距离近且有较多交集的聚类结果进行关联性跟踪;
4)如果A和B的距离小于聚类间最小关联阈值thd1,若B附近没有其他距离小于聚类结果B附近最小关联阈值thd3的聚类结果,而A附近存在一个或者多个距离小于聚类结果A附近最小关联阈值thd2的聚类结果,则将B分别与A附近距离在thd2以内的聚类结果进行比较,选取距离近且有较多交集的聚类结果进行关联性跟踪;
5)如果A和B的距离小于聚类间最小关联阈值thd1,若A和B附近分别均存在其他小于聚类结果A附近最小关联阈值thd2和聚类结果B附近最小关联阈值thd3的聚类结果,将这些聚类结果分别进行比较,选取距离近且有较多交集的聚类结果进行关联性跟踪。
5.根据权利要求1所述的用于自动驾驶中的传感器数据过滤及融合方法,其特征在于:步骤(4)中,PCA用于计算数据点的主朝向方向,从而确定同一物体的长和宽的方向;概率分布则对数据点分布情况分析,分别在长宽方向选取不同的标准差范围对数据点进行筛选,距离标准差较远的数据点认为是噪声信号,对其进行剔除;根据剔除以后的剩余数据点,利用长宽方向的最大值和最小值计算该物体的长和宽。
6.根据权利要求5所述的用于自动驾驶中的传感器数据过滤及融合方法,其特征在于:特征信息估计的计算流程及相关计算公式如下,
i.分别计算同一个聚类结果中数据点的x方向和y方向的距离的平均值;
式(1)中,xi为每一个数据点的x方向的距离;yi为每一个数据点的y方向的距离;为x方向数据点的距离的平均值;为y方向数据点的距离的平均值;n表示同一个聚类结果中数据点的总个数;
ii.计算x和y方向的数据点的协方差矩阵
式(2)中,Cov(X,X)为x方向数据点与其自身的协方差;Cov(Y,Y)为y方向数据点与其自身的协方差;Cov(X,Y)和Cov(Y,X)分别为x方向数据点与y方向数据点的协方差和y方向数据点与x方向数据点的协方差;
式(3)中,A为x方向数据点和y方向数据点的协方差矩阵;
iii.计算协方差矩阵A的特征值和特征向量
|A-λE|=0 (4)
式(4)中,λ为协方差矩阵A所对应的特征值,E为单位矩阵,此处为二维单位矩阵;
Ac=λc (5)
式(5)中,c为协方差矩阵A所对应的特征向量;
iv.计算旋转矩阵R
按照特征值的大小对特征向量进行从大到小排序,得到旋转矩阵R:
R=(cmax,cmin) (6)
式(6)中cmax为较大特征值对应的特征向量,cmin为较小特征值所对应的特征向量;
v.对原始数据点进行旋转
RO=O×R (7)
式(7)中,O为所有原始目标数据点;RO为经过旋转以后的数据点;
vi.根据概率分布剔除旋转以后RO中噪声较大数据点
式(8)中,σx为x方向数据点的标准差的倍数,σy为y方向数据点的标准差的倍数;
将不满足式(8)的数据剔除,满足式(8)的数据用B表示,进行下面的计算,
vii.计算聚类完成以后物体的长宽和朝向信息
式(9)中,θ为朝向,cmax(2)和cmax(1)分别为cmax的第二个元素和第一个元素,B(:,1)和B(:,2)分别代表经过数据剔除以后x和y的所有数据点,length和width分别代表物体的长和宽。
7.根据权利要求1所述的用于自动驾驶中的传感器数据过滤及融合方法,其特征在于:步骤(5)中,当目标确实存在且被检测到时,此目标的分值随着时间而增大,其存在的置信度就越高;当目标不存在但是被检测到或者目标从视距内消失时,此目标的分值随着时间而减小,其存在的置信度就减小。
8.根据权利要求7所述的用于自动驾驶中的传感器数据过滤及融合方法,其特征在于:目标列表加分和目标列表减分的操作步骤如下所述,
a、目标列表加分:
1)遍历所有当前帧的原始目标,当当前帧的原始目标不属于目标列表中的任何一个目标时,将其作为目标列表中的一个新的目标,并赋予一个初始的分值,不同传感器获得的原始目标的初始分值可以相同,也可以不同;
2)当当前帧的原始目标能够和目标列表中的目标匹配时,则对目标列表中的该目标进行加分操作,加分的分值根据原始目标所属传感器的类型及所检测到原始目标的可信度来确定,将目标列表中的目标的分值设置一个上限值,即目标最大分值thd_max;
b、目标列表减分:
遍历所有目标列表,当遍历完当前帧的所有原始目标和目标列表后,若目标列表中的某目标不与当前帧的任意原始目标匹配,对目标列表中的该目标进行减分操作,减分的分值根据具体情况确定,可以相同,也可以不同。
9.根据权利要求8所述的用于自动驾驶中的传感器数据过滤及融合方法,其特征在于:在目标列表加分和目标列表减分之后,进行目标存在性判断:
遍历所有目标列表中的目标,设定thd_real代表确定目标分值,thd_dubious代表可疑目标分值,thd_virtual代表伪目标分值,
1)目标列表中的目标加分操作时,当该目标的分值超过确定目标分值thd_real时,确认此目标为确实存在,否则为可疑目标;
2)目标列表中的目标减分操作时,当该目标的分值低于目标可疑目标分值thd_dubious且大于伪目标分值时,认为此目标为可疑目标,仍然保留此目标的信息,但是不认为目标确定存在;
3)目标列表中的目标减分操作时,当该目标的分值低于伪目标分值thd_virtual时,认为此目标为伪目标,删除此目标;
其中,各个值的大小关系为:thd_max>thd_real≥thd_dubious>thd_virtual。
CN201810590277.2A 2018-06-08 2018-06-08 一种用于自动驾驶中的传感器数据过滤及融合方法 Active CN108764373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810590277.2A CN108764373B (zh) 2018-06-08 2018-06-08 一种用于自动驾驶中的传感器数据过滤及融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810590277.2A CN108764373B (zh) 2018-06-08 2018-06-08 一种用于自动驾驶中的传感器数据过滤及融合方法

Publications (2)

Publication Number Publication Date
CN108764373A true CN108764373A (zh) 2018-11-06
CN108764373B CN108764373B (zh) 2021-11-30

Family

ID=64000685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810590277.2A Active CN108764373B (zh) 2018-06-08 2018-06-08 一种用于自动驾驶中的传感器数据过滤及融合方法

Country Status (1)

Country Link
CN (1) CN108764373B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210384A (zh) * 2019-05-31 2019-09-06 北京科技大学 一种道路全局信息实时提取与表示系统
CN110456321A (zh) * 2019-08-21 2019-11-15 森思泰克河北科技有限公司 滤除雷达误报的方法、终端设备及存储介质
CN112254755A (zh) * 2020-11-11 2021-01-22 北京邮电大学 测量信号处理方法、装置、电子设备及可读存储介质
CN112285714A (zh) * 2020-09-08 2021-01-29 苏州挚途科技有限公司 一种基于多传感器的障碍物速度融合方法和装置
CN112712717A (zh) * 2019-10-26 2021-04-27 华为技术有限公司 一种信息融合的方法和系统
CN112800864A (zh) * 2021-01-12 2021-05-14 北京地平线信息技术有限公司 目标跟踪方法及装置、电子设备和存储介质
WO2021097823A1 (zh) * 2019-11-22 2021-05-27 华为技术有限公司 用于确定车辆可通行空间的方法和装置
CN113093178A (zh) * 2021-04-21 2021-07-09 中国第一汽车股份有限公司 一种障碍物目标检测方法、装置、域控制器及车辆
CN113997989A (zh) * 2021-11-29 2022-02-01 中国人民解放军国防科技大学 磁浮列车单点悬浮系统安全检测方法、装置、设备及介质
CN114008571A (zh) * 2019-06-14 2022-02-01 威尔乌集团 基于聚类的传感器分配
CN117421700A (zh) * 2023-12-19 2024-01-19 湖南仕博测试技术有限公司 一种用于自动驾驶中的传感器数据过滤及融合方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065151A (zh) * 2012-11-04 2013-04-24 北京工业大学 一种基于深度信息的车辆识别方法
US20140100713A1 (en) * 2010-07-15 2014-04-10 George C. Dedes Gnss/imu positioning, communication, and computation platforms for automotive safety applications
CN104002747A (zh) * 2014-06-10 2014-08-27 北京联合大学 一种基于无人驾驶汽车的多激光雷达栅格地图融合系统
CN106080606A (zh) * 2016-07-08 2016-11-09 百度在线网络技术(北京)有限公司 用于控制无人驾驶车辆的方法和装置
CN106291736A (zh) * 2016-08-16 2017-01-04 张家港长安大学汽车工程研究院 无人驾驶汽车车道动态障碍物检测方法
CN106428000A (zh) * 2016-09-07 2017-02-22 清华大学 一种车辆速度控制装置和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140100713A1 (en) * 2010-07-15 2014-04-10 George C. Dedes Gnss/imu positioning, communication, and computation platforms for automotive safety applications
CN103065151A (zh) * 2012-11-04 2013-04-24 北京工业大学 一种基于深度信息的车辆识别方法
CN104002747A (zh) * 2014-06-10 2014-08-27 北京联合大学 一种基于无人驾驶汽车的多激光雷达栅格地图融合系统
CN106080606A (zh) * 2016-07-08 2016-11-09 百度在线网络技术(北京)有限公司 用于控制无人驾驶车辆的方法和装置
CN106291736A (zh) * 2016-08-16 2017-01-04 张家港长安大学汽车工程研究院 无人驾驶汽车车道动态障碍物检测方法
CN106428000A (zh) * 2016-09-07 2017-02-22 清华大学 一种车辆速度控制装置和方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210384A (zh) * 2019-05-31 2019-09-06 北京科技大学 一种道路全局信息实时提取与表示系统
CN114008571A (zh) * 2019-06-14 2022-02-01 威尔乌集团 基于聚类的传感器分配
CN110456321A (zh) * 2019-08-21 2019-11-15 森思泰克河北科技有限公司 滤除雷达误报的方法、终端设备及存储介质
CN110456321B (zh) * 2019-08-21 2021-07-30 森思泰克河北科技有限公司 滤除雷达误报的方法、终端设备及存储介质
CN112712717A (zh) * 2019-10-26 2021-04-27 华为技术有限公司 一种信息融合的方法和系统
WO2021097823A1 (zh) * 2019-11-22 2021-05-27 华为技术有限公司 用于确定车辆可通行空间的方法和装置
CN112285714A (zh) * 2020-09-08 2021-01-29 苏州挚途科技有限公司 一种基于多传感器的障碍物速度融合方法和装置
CN112254755A (zh) * 2020-11-11 2021-01-22 北京邮电大学 测量信号处理方法、装置、电子设备及可读存储介质
CN112800864A (zh) * 2021-01-12 2021-05-14 北京地平线信息技术有限公司 目标跟踪方法及装置、电子设备和存储介质
CN112800864B (zh) * 2021-01-12 2024-05-07 北京地平线信息技术有限公司 目标跟踪方法及装置、电子设备和存储介质
CN113093178A (zh) * 2021-04-21 2021-07-09 中国第一汽车股份有限公司 一种障碍物目标检测方法、装置、域控制器及车辆
CN113997989A (zh) * 2021-11-29 2022-02-01 中国人民解放军国防科技大学 磁浮列车单点悬浮系统安全检测方法、装置、设备及介质
CN113997989B (zh) * 2021-11-29 2024-03-29 中国人民解放军国防科技大学 磁浮列车单点悬浮系统安全检测方法、装置、设备及介质
CN117421700A (zh) * 2023-12-19 2024-01-19 湖南仕博测试技术有限公司 一种用于自动驾驶中的传感器数据过滤及融合方法及装置
CN117421700B (zh) * 2023-12-19 2024-03-19 湖南仕博测试技术有限公司 一种用于自动驾驶中的传感器数据过滤及融合方法及装置

Also Published As

Publication number Publication date
CN108764373B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN108764373A (zh) 一种用于自动驾驶中的传感器数据过滤及融合方法
CN114299417A (zh) 一种基于雷视融合的多目标跟踪方法
CN101403676B (zh) 基于d-s证据理论的绝缘子憎水性等级融合判决方法
CN109212521A (zh) 一种基于前视相机与毫米波雷达融合的目标跟踪方法
Tan et al. Color model-based real-time learning for road following
Meuter et al. A decision fusion and reasoning module for a traffic sign recognition system
CN107273816B (zh) 基于车载前视单目相机的交通限速标识检测识别方法
CN109738910A (zh) 一种基于三维激光雷达的路沿检测方法
CN105608417B (zh) 交通信号灯检测方法及装置
CN105205486A (zh) 一种车标识别方法及装置
CN109564285A (zh) 用于检测在移动单元的交通环境下的地面标志的方法和系统
CN108921873A (zh) 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法
CN110398720A (zh) 一种反无人机探测跟踪干扰系统及光电跟踪系统工作方法
CN102609934A (zh) 一种基于深度图像的多目标分割和跟踪方法
CN108596009A (zh) 一种用于农机自动驾驶的障碍物检测方法和系统
CN109840454B (zh) 目标物定位方法、装置、存储介质以及设备
CN110119726A (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN103366154A (zh) 可重配置的畅通路径检测系统
CN106570490A (zh) 一种基于快速聚类的行人实时跟踪方法
CN113807314A (zh) 一种基于微多普勒效应的毫米波雷达视频融合方法
CN110096962A (zh) 基于区域卷积网络的车辆细节识别二次结构化方法及装置
CN109697727A (zh) 基于相关滤波和度量学习的目标跟踪方法、系统及存储介质
JPH10255057A (ja) 移動物体抽出装置
CN106611165A (zh) 一种基于相关滤波和颜色匹配的汽车车窗检测方法及装置
CN116563801A (zh) 交通事故检测方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant