CN110163270B - 多传感器数据融合方法及系统 - Google Patents

多传感器数据融合方法及系统 Download PDF

Info

Publication number
CN110163270B
CN110163270B CN201910391929.4A CN201910391929A CN110163270B CN 110163270 B CN110163270 B CN 110163270B CN 201910391929 A CN201910391929 A CN 201910391929A CN 110163270 B CN110163270 B CN 110163270B
Authority
CN
China
Prior art keywords
data
sensor
object data
longitudinal
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910391929.4A
Other languages
English (en)
Other versions
CN110163270A (zh
Inventor
李机智
吕金桐
张磊
蓝水生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yikong Zhijia Technology Co Ltd
Original Assignee
Beijing Yikong Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yikong Zhijia Technology Co Ltd filed Critical Beijing Yikong Zhijia Technology Co Ltd
Priority to CN201910391929.4A priority Critical patent/CN110163270B/zh
Publication of CN110163270A publication Critical patent/CN110163270A/zh
Application granted granted Critical
Publication of CN110163270B publication Critical patent/CN110163270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一种多传感器数据融合方法及系统,方法包括:对每个传感器与当前时刻邻近的M个周期的检测数据归一化,得到每个传感器感测对象的M组对象数据,并对每组对象数据添加时间标记;基于时间标记,将其中一个传感器的对象数据与其它所有传感器的对象数据进行关联,并记录关联结果数据;对关联结果数据中关联成功的对象数据,根据该对象数据在同一传感器不同时间标记的关联关系,使用该对象数据对应的感测对象对应的最新时间标记所对应的对象数据,对该对象数据进行更新;综合不同传感器的对象数据对更新后的数据进行补充及计算。该方法基于时间标记的关联,实现不同传感器对同一目标物的数据对应,有效利用了感测目标的时空特性,增加了关联准确率。

Description

多传感器数据融合方法及系统
技术领域
本发明涉及数据处理领域,尤其涉及一种多传感器数据融合方法及系统。
背景技术
现有技术中,多传感器数据融合方法一般包括以下几种方法:其一,通过在一定阈值内不断扩大或缩小第一传感器第一对象数据区间,来寻找与第二传感器相关联的唯一对象,直至找到唯一对象或确定不存在相关联对象;其二,通过在车辆不同位置安装相应感知设备,对各自检测区域进行障碍物检测,而对重叠区域采用多个传感器分级确认的方式实现数据融合;其三,通过对比两个传感器数据元的数据类型、数据时间和数据内容,根据对比结果的不同执行不同动作,包括删除、合并或同时保存。第一种方案无法处理某传感器对同一较大目标检测出多个对象的情况,而这种情况在诸如毫米波雷达传感器中经常出现,并且还存在传感器等级难确定、目标物漏检等问题。后两种方案均通过对不同传感器数据进行逻辑判断的方式实现数据融合,对采集的冗余数据有效利用率较低。
发明内容
(一)要解决的技术问题
针对于现有的技术问题,本发明提出一种多传感器数据融合方法及系统,用于至少部分解决上述技术问题之一。
(二)技术方案
本发明提供一种多传感器数据融合方法,包括:S1,对每个传感器与当前时刻邻近的M个周期的检测数据作归一化处理,得到每个传感器感测对象的M组对象数据,并对每组对象数据添加时间标记,其中,一感测对象对应至少一组对象数据,同一感测对象对应的至少一组对象数据时间标记不同;S2,基于时间标记,将其中一个传感器的对象数据与其它所有传感器的对象数据进行关联处理,并记录关联结果数据;S3,对关联结果数据中关联成功的对象数据,根据该对象数据在同一传感器不同时间标记的关联关系,使用该对象数据对应的感测对象对应的最新时间标记所对应的对象数据对该对象数据进行更新。S4,综合不同传感器的对象数据对更新后的数据进行补充及计算。
可选地,关联处理包括:
选择每个传感器中M组对象数据对应的时间标记中最新的时间标记,得到多个最新的时间标记;选择多个最新的时间标记中最旧的时间标记,将该时间标记对应的对象数据作为基准对象数据;筛选每个传感器对象数据的时间标记与最旧时间标记差值绝对值最小的时间标记对应的对象数据与基准对象数据进行关联处理。
可选地,对象数据包括三维位置坐标数据与纵横向速度数据,通过计算不同传感器的对象数据之间三维位置坐标数据的差值与纵横向速度数据的差值对对象数据进行关联处理。
可选地,计算不同传感器的对象数据之间三维位置坐标数据的差值与纵横向速度数据的差值公式为:
Figure BDA0002055801200000021
Figure BDA0002055801200000022
其中,ΔP为三维位置坐标数据的差值,ΔV为纵横向速度数据的差值,λ为位置加权系数,μ为速度加权系数,(xi,yi,zi)为一对象数据的三维位置坐标,(vxi,vyi)为该对象数据的纵横向速度,(xj,yj,zj)为与该对象数据关联的对象数据的三维位置坐标,(vxj,vyj)与该对象数据关联的对象数据的纵横向速度。
可选地,关联处理还包括:计算一传感器一对象数据与另一传感器所有对象数据的三维位置坐标数据的差值与纵横向速度数据的差值,求取最小的三维位置坐标数据的差值ΔPmin与纵横向速度数据的差值ΔVmin;分别比较ΔPmin和ΔVmin与预设的三维位置坐标数据的差值阈值ΔP0和纵横向速度数据的差值阈值ΔV0大小,若满足ΔPmin<ΔP0且ΔVmin<ΔP0,则一传感器一对象数据与另一传感器中ΔPmin和ΔVmin对应的对象数据关联成功。
可选地,若另一传感器中ΔPmin和ΔVmin对应的对象数据与一传感器中另一对象数据已关联成功,则通过比较两组关联成功的对象数据ΔPmin及ΔVmin的大小,选取更小的ΔPmin及ΔVmin对应的一组关联成功的对象数据作为关联结果数据。
可选地,对检测数据作归一化处理包括:将所述检测据解算至对应传感器的直角坐标系;计算该传感器直角坐标系与该传感器应用对象的坐标系之间的旋转矩阵和平移矩阵;根据对应的旋转矩阵和平移矩阵,将所述检测数据转换至该传感器应用对象坐标系下。
可选地,操作S4之后还包括:S5,根据补充及计算的结果对多传感器感测的目标进行跟踪及预测。
可选地,采用无损卡尔曼滤波算法对多传感器感测的目标进行跟踪及预测。
本发明另一方面提供一种多传感器数据融合系统,包括:处理模块,用于对每个传感器最新M个周期的检测数据作归一化处理,得到每个传感器感测对象的最新M组对象数据,并对每组对象数据添加时间标记,其中,一对象对应至少一组对象数据,同一对象对应的至少一组对象数据时间标记不同;关联模块,用于基于时间标记,将其中一个传感器的对象数据与其它所有传感器的对象数据进行关联处理,并记录关联结果数据;融合模块,用于对关联结果数据中关联成功的对象数据,根据该对象数据对应的对象的最新时间标记所对应的对象数据对该对象数据进行更新,并对更新后的关联结果数据进行补充及计算。
(三)有益效果
本发明提出一种多传感器数据融合方法及系统,有益效果为:
(1)根据统一的时间标记记录数个周期数据,然后基于该时间标记的关联方式实现不同传感器对同一目标物的数据对应,有效利用了感测目标的时空特性,增加了关联准确率,消除了目标物漏检、重叠等问题,并且充分运用了数据冗余特性,数据利用率更高。
(2)根据多个传感器数据进行互相补充和计算,使得每个目标物数据均由各个传感器的优势数据组成。
(3)通过运用无损卡尔曼滤波算法对目标物进行跟踪和预测,在提高匹配算法精确度的同时大大提升了目标物数据的稳定性。
附图说明
图1示意性示出了本发明实施例多传感器数据融合方法的流程图。
图2示意性示出了本发明实施例一种多传感器融合方法的关联示意图。
图3示意性示出了本发明实施例多传感器数据融合系统框图。
图4示意性示出了本发明实施例车辆坐标定义俯视图示意图。
图5示意性示出了本发明实施例车辆上各传感器安装示意图。
图6示意性示出了本发明实施例用于车辆的多传感器数据融合方法的关联和融合处理流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明实施例提出一种多传感器数据融合方法,通过数据的归一化处理、对象数据关联及融合处理,以实现多传感器数据的准确融合和冗余数据的高效利用。请参见图1,方法包括:
S1,对每个传感器与当前时刻邻近的M个周期的检测数据作归一化处理,得到每个传感器感测对象的M组对象数据,并对每组对象数据添加时间标记。
在上述操作S1中,首先获取多传感器中每个传感器的与当前时刻邻近的M个周期的检测数据,针对于每个传感器的每一个周期的检测数据,进行如下数据处理操作:
S11,将检测数据解算至相应传感器的直角坐标系。
S12,通过精确测量或间接计算的方式,确定各个传感器相对车辆坐标系原点的位置和角度,进而确定该传感器坐标系与传感器应用对象(比如车辆)的坐标系间的旋转矩阵R和平移矩阵T。
S13,将获取的检测数据根据对应的旋转矩阵R和平移矩阵T,转换到统一的传感器应用对象坐标系下,并解算为统一数据格式,该统一数据格式包括了传感器类型、三维位置坐标、纵横向速度、属性、外形尺寸等相关信息。
检测数据中三维位置坐标数据的转换公式为
Figure BDA0002055801200000051
检测数据中纵横向速度数据转换公式为:
Figure BDA0002055801200000052
其中,(x′,y′,z′)T为三维位置坐标数据在直角坐标系中的坐标,(x,y,z)T为三维位置坐标数据在传感器应用对象坐标系中的坐标,(vx′,vy′)T为纵横向速度数据在直角坐标系中的纵横向速度,(vx,vy)T为纵横向速度数据在传感器应用对象坐标系中的纵横向速度。
重复步骤S11-S13,对所有传感器的所有检测数据进行数据处理,得到每个传感器的M个对象数据。对每个对象数据添加时间标记,由于所有的传感器数据均是接在同一个处理器上,因此均采用该处理器的系统时间,即采用包含年、月、日、时、分、秒及毫秒的时间标识,在每个传感器的每帧数据开始处理时将该时间标识与该帧数据绑定,形成统一的时间标记。其中,M值可根据传感器数据采集周期不同选取不同值,也可选择相同值。并且每个传感器对同一对象感测的对象数据为一个或多个,同一感测对象对应的多个对象数据时间标记不同。
S2,基于时间标记,将其中一个传感器的对象数据与其它所有传感器的对象数据进行关联处理,并记录关联结果数据。
在上述操作S2中,关联处理是指将一传感器的每个对象数据与其他传感器的对象数据进行关联计算。比如,定义传感器X中的某一个对象数据为XDi,其三维位置坐标为Pi(xi,yi,zi),纵横向速度为Vi(vxi,vyi);另一传感器Y的某一对象数据为YDj,其三维位置坐标为Pj(xj,yj,zj),纵横向速度为Vj(vxj,Vyj)。传感器X、Y的关联过程如图2所示,具体操作如下:
S21,根据操作S1中添加的统一时间标记,首先,选择每个传感器中M组对象数据对应的时间标记中最新的时间标记,得到多个最新的时间标记;然后,选择多个最新的时间标记中最旧的时间标记,将该时间标记对应的对象数据作为基准对象数据。以该种方式确定X、Y传感器的对象数据中最旧的时间标记T0,筛选每个传感器对象数据的时间标记与最旧时间标记差值绝对值最小的时间标记对应的对象数据与基准对象数据进行关联处理。
S22,计算不同传感器的对象数据之间三维位置坐标数据的差值与纵横向速度数据的差值对对象数据进行关联处理。具体地,计算筛选的关联处理的对象数据中,传感器X的对象数据XDi与传感器Y的所有对象数据之间三维位置坐标数据的差值ΔP与纵横向速度数据的差值ΔV,可获取多个ΔP和ΔV,根据计算结果求取绝对值最小值ΔPmin和ΔVmin及对象编号(假设YDj)。三维位置坐标数据的差值与纵横向速度数据的差值的计算公式为:
Figure BDA0002055801200000061
Figure BDA0002055801200000062
其中,ΔP为三维位置坐标数据的差值,ΔV为纵横向速度数据的差值,λ为位置加权系数,μ为速度加权系数,(xi,yi,zi)为一对象数据的三维位置坐标,(vxi,vyi)为该对象数据的纵横向速度,(xj,yj,zj)为与该对象数据关联的对象数据的三维位置坐标,(vxi,vyj)与该对象数据关联的对象数据的纵横向速度。按照该公式,计算对象数据XDi与Y传感器多有对象数据的ΔP和ΔV。
若计算得到对象数据XDi与对象数据YDj得到的ΔP和ΔV最小,分别比较ΔPmin和ΔVmin与预设的三维位置坐标数据的差值阈值ΔP0和纵横向速度数据的差值阈值ΔV0大小,若满足ΔPmin<ΔP0且ΔVmin<ΔP0,则认定对象YDj和XDj满足关联条件,两者为同一目标物。
若Y传感器中仅YDj和XDi满足关联条件时,关联成功;若Y传感器中有YDj和YDk等多个对象均与XDi满足关联条件时,取关联程度更高对象,同时忽略其他关联对象;若传感器Y中ΔPmin和ΔVmin对应的对象数据YDj与传感器X中另一对象数据XDn已关联成功,则通过比较两组关联成功的对象数据(YDj和XDi、YDj和KDn)ΔPmin及ΔVmin的大小,选取更小的作为关联结果数据,同时忽略次关联对象。
S3,对关联结果数据中关联成功的对象数据,根据该对象数据在同一传感器不同时间标记的关联关系,使用该对象数据对应的感测对象对应的最新时间标记所对应的对象数据,对该对象数据进行更新。
根据对象数据对关联结果数据进行更新是指:根据同一传感器在不同时刻对同一感测对象的时间标记,使用最新数据对关联后的数据进行更新。比如,当X传感器中To时刻的对象XDi与Y传感器中To1时刻对象YDi关联成功后,再根据Y传感器在不同时刻对同一对象YDj的标记,使用最新时刻即Tn时刻数据对关联后的数据进行更新。因为前文选择最旧的时间标记的对象数据进行关联是为了保证不同传感器关联的时候采用的是最接近同一时空的数据。但是,关联的数据并不是最新的,所以还要根据Y传感器不同时刻的相互关系对关联后的数据进行更新。
S4,综合不同传感器的对象数据对更新后的数据进行补充及计算。。
综合利用多个传感器数据进行互相补充和计算是指:当传感器X和Y为同一类型传感器时,取与对象预测值更接近的数据信息(无预测值的初始状态时取两个传感器的均值);当传感器X和传感器Y为不同类型,其中有一个为位置精确测量传感器,如激光雷达或差分GPS等时,对象的位置信息取该传感器检测值;其中有一个为速度精确测量传感器,如毫米波雷达等时,对象的速度信息取该传感器检测值;其中有一个为其他信息精确测量传感器,如对对象特征属性等精确测量的视觉传感器时,对象属性等信息取该传感器检测值。
S5,根据互补及计算的结果对多传感器感测的目标进行跟踪及预测。
在上述操作S5中,采用无损卡尔曼滤波算法(UKF)对多传感器感测的目标进行跟踪及预测,这样可以提高匹配算法精确度的同时大大提升了目标物数据的稳定性。
本发明实时例另一方面提供了一种多传感器数据融合系统300,如图3所示,该多传感器数据融合系统300包括:
获取模块310,用于获取N个传感器的检测数据,解算至相应传感器坐标系;同时,通过精确测量或间接计算的方式,确定各个传感器相对传感器感应对象坐标系原点的位置和角度,进而确定该传感器坐标系与传感器应用对象的坐标系间的旋转矩阵R和平移矩阵T。
处理模块320,用于对每个传感器与当前时刻最邻近的M个周期的检测数据作归一化处理,得到每个传感器感测对象的M组对象数据,并对每组对象数据添加时间标记。具体地,将获取的检测数据根据对应的旋转矩阵R和平移矩阵T,转换到统一的传感器应用对象的坐标系下,并解算为统一数据格式,该统一数据格式包括了传感器类型、三维坐标、纵横向速度、属性、外形尺寸等相关信息;同时,对每个传感器记录最新M个时刻的历史检测数据,并为每组数据添加统一时间标记。其中,M值可根据传感器数据采集周期不同选不同值,也可选择相同值。
关联模块330,用于基于时间标记,将其中一个传感器的对象数据与其它所有传感器的对象数据进行关联处理,并记录关联结果数据。具体地,选择每个传感器中最新的M个对象数据对应的时间标记中最新的时间标记,得到多个最新的时间标记;选择多个最新的时间标记中最旧的时间标记,将该时间标记对应的对象数据作为基准对象数据,从而从X、Y等传感器的最新数据中选择最旧时间To,筛选每个传感器记录数据中与To最近的那组数据与基准对象数据进行关联判断。例如,X传感器中对象XDi与Y传感器中对象YDj的关联判断是指,当Y传感器中仅YDj和XDi满足关联条件时,关联成功;当Y传感器中有YDi和YDk等多个对象均与XDi满足关联条件时,取关联程度更高对象,同时忽略其他关联对象;当YDj已与传感器X中的其他对象关联成功过时,需进一步判断YDj与哪个对象关联程度更高,并与关联程度更高对象进行关联,同时忽略次关联对象。
融合模块340,根据同一传感器在不同时刻对同一感测对象的标记,使用最新数据对关联后的数据进行更新,并综合利用多个传感器数据进行互相补充和计算;然后对更新的关联对象运用滤波算法进行跟踪和预测。
为更加清楚的阐述本发明,下面列举安装有传感器A、B、C、D的车载的多传感器数据融合的具体实施例。
如图4所示,本实施例的车辆坐标系定义车辆后轴中心为x、y坐标原点,地面为z轴原点,车头方向为x正轴,向左方向为y正轴,向上为z正轴,逆时针旋转为正。
如图5所示,本实施例主要包含3类传感器并集中布置在车头方向。
其中,传感器A和传感器B为Velodyne 16线激光雷达,分别布置于车辆左右车顶。
传感器C为M0bileye eq2视觉感知传感器,布置于车辆x轴方向。
首先,获取4个传感器的检测数据,解算至相应传感器坐标系;具体来讲,传感器A接收、解析、处理后的对象集合为a0、a1、a2、……,an,每个对象数据由三维位置坐标、纵横向速度和外形尺寸等组成;传感器B与传感器A相同,接收、解析、处理后的对象集合为b0、b1、b2,……bn;传感器C接收并解析后的对象集合为c0、c1、c2,……,cn,每个对象数据由三维位置坐标、纵向速度、属性、外形尺寸等组成;传感器D接收并解析后的对象集合为d0、d1、d2,……dn,每个对象数据由三维位置坐标、纵横向速度等组成。
同时,通过精确测量或间接计算的方式,确定各个传感器相对车辆坐标系原点的位置和角度,进而确定该传感器坐标系与车辆坐标系间的旋转矩阵和平移矩阵。具体来讲,对于传感器A和传感器B,首先通过直接测量得到各传感器粗略的旋转矩阵和平移矩阵;然后通过在车辆四周放置相同大小目标物并测量相对雷达距离的方式精确调整旋转矩阵和平移矩阵,记传感器A的旋转矩阵为Ra,平移矩阵为Ta;记传感器B的旋转矩阵为Rb,平移矩阵为Tb;传感器C的坐标系与车辆坐标系平行,因此其旋转矩阵全为0,平移矩阵首先通过直接测量得到粗略值,然后通过在车辆正前方放置可识别目标物的并测量相对位置的方式精确调整平移矩阵,记为Tc;传感器D与传感器C类似,因此该传感器的旋转矩阵也全为0,平移矩阵的求取方式与传感器C类似,记为Td。
其次,将获取的检测数据根据对应的旋转矩阵和平移矩阵,转换到统一的车辆坐标系下,并解算为统一数据格式,该统一数据格式包括了传感器类型、三维坐标、纵横向速度、属性、外形尺寸等相关信息;
其中,三维位置坐标计算公式为:
Figure BDA0002055801200000101
纵横向速度计算公式为:
Figure BDA0002055801200000102
同时,对每个传感器均记录最新M个时刻的历史检测数据,并为每组数据添加统一时间标记。具体为:由于传感器A和传感器B输出的为点云数据,需要二次处理,因此用于融合的数据会有一定时间的延时,因此只记录最新5个周期数据;传感器C为视觉传感器,也会存在一定延时,因此也只记录最新5个周期数据;传感器D实时性较强,记录10个周期数据。
因此,传感器A转换至车辆坐标系的对象数据记录为{Ta0,{AD0、AD1、......ADn},......Ta5,{AD0、AD1、......ADn}};传感器B转换至车辆坐标系的对象数据记录为{Tb0,{BD0、BD1、......BDn},......Tb5,{BD0、BD1、......BDn}};传感器C转换至车辆坐标系的对象数据记录为{Tc0,{CD0、CD1、......CDn},......Tc5,{CD0、CD1、......CDn}};传感器D转换至车辆坐标系的对象数据记录为{Td0,{DD0、DD1、......DDn},......Td10,{DD0、DD1、......DDn}}。
最后,将4个传感器的每个目标物数据与其他传感器的目标物数据进行关联判断,关联成功时由多个传感器数据进行互相补充和计算,并记录该目标物数据;匹配不成功时直接记录该目标物数据。
具体地,关联判断过程如图6所示,该过程在400开始,步骤401求取各传感器数据最新数据中的最旧时间标记To,通过判断Ta0、Tb0、Tc0、Td0中哪个最小实现。
步骤402筛选各传感器对象数组中与To最接近值,具体为根据传感器A、B、C、D中时间标记与To相减绝对值最小的那组对象数据;分别记为{AD0、AD1、......ADn},{BD0、BD1、......BDn},{CD0、CD1、......CDn},{DD0、DD1、......DDn}。
步骤403计算传感器B中某对象数据BDi与传感器A中所有对象数据的三维位置差值最小值和纵横向速度差值最小值。
方法为:计算BDi与{AD0、AD1、......ADn}中每一个对象数据的三维位置差值Δp和纵横向速度差值ΔV,并记录最小值ΔPmin和ΔVmin及对象编号ADk;计算公式为:
Figure BDA0002055801200000111
Figure BDA0002055801200000112
其中,由于传感器A和B均为激光雷达,对位置检测很准确,速度由位置推算得到,可靠性较低,因此λ取较小值,μ取较大值,本实施例中λ=1.05,μ=1.15。
步骤404判断记录的三维位置差值的绝对值最小值ΔPmin是否小于设定阈值ΔP0,纵横向速度差值的绝对值最小值ΔVmin是否小于设定阈值ΔV0;均满足条件时进入步骤406,否则进入步骤405。
步骤405,BDi与A中任何数据均不关联,直接记录该值为新目标。
步骤406,ADk与B中其他对象数据是否关联过,如果关联过则进入步骤408,否则进入步骤407。
步骤407ADk与BDi关联成功。
步骤408,进一步判断ADk与哪个关联程度更高,即ΔPmin和ΔVmin相较哪个更小,并确定BDi与该目标关联成功,同时,取消BDi与另一目标关联信息,直至B中所有对象数据均处理过后,进入步骤409。
步骤409进行传感器C中某对象数据CDi与上述关联结果的关联判断,方法不变;但由于传感器C为毫米波雷达,位置检测较激光雷达有一定误差,因此λ取值相应增大,改为λ=1.10,μ相同;直至C中所有对象数据均处理过后,进入步骤410。
步骤410进行传感器D中某对象数据DDi与上述关联结果的关联判断,方法不变;由于传感器D为摄像头,对距离和速度的检测均有较大误差,因此λ和μ均要相应增大,改为λ=1.15,μ=1.17;直至D中所有对象数据均处理过后,进入步骤411。
步骤411,更新上述关联结果,具体指根据同一传感器在不同时刻对同一对象的标记,使用最新数据对关联后的数据进行更新,并根据多个传感器数据进行互相补充和计算。
互相补充和计算是指:由于传感器A和传感器B的位置信息为其优势数据,因此关联后的位置和速度数据取传感器A或传感器B数据;传感器C的属性数据为其优势数据,因此关联后的属性数据取自传感器C数据;传感器D的纵横向速度数据为其优势数据,因此关联后的纵横向速度数据取自传感器D数据。
步骤412进行目标物数据的跟踪和预测。本实施例运用无损卡尔曼滤波算法(UKF)对记录的目标物数据进行跟踪和预测。
应当注意的是,上述对方法和系统的定义、描述并不仅限于实施例中提到的具体组成个数、方式,本领域普通技术人员可对其仅限简单的更改或替换,例如:
(1)可以继续增加或减少一个或多个实施例中传感器;
(2)可以在车辆任何位置布置某个传感器;
(3)实施例中的方法可在下位机或其他可进行运算的设备上进行;
(4)实施例中的匹配算法和卡尔曼算法可进行适当的参数或过程调整。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种多传感器数据融合方法,其特征在于,包括:
S1,对每个传感器与当前时刻邻近的M个周期的检测数据作归一化处理,得到每个传感器感测对象的M组对象数据,并对每组对象数据添加时间标记,其中,一感测对象对应至少一组对象数据,同一感测对象对应的至少一组对象数据时间标记不同;
S2,基于所述时间标记,将其中一个传感器的对象数据与其它所有传感器的对象数据进行关联处理,并记录关联结果数据;
S3,对所述关联结果数据中关联成功的对象数据,根据该对象数据在同一传感器不同时间标记的关联关系,使用该对象数据对应的感测对象对应的最新时间标记所对应的对象数据,对该对象数据进行更新;
S4,综合不同传感器的对象数据对更新后的数据进行补充及计算。
2.根据权利要求1所述的多传感器数据融合方法,其特征在于,所述关联处理包括:
选择每个传感器中M组对象数据对应的时间标记中最新的时间标记,得到多个最新的时间标记;
选择所述多个最新的时间标记中最旧的时间标记,将该时间标记对应的对象数据作为基准对象数据;
筛选每个传感器对象数据的时间标记与所述最旧时间标记差值绝对值最小的时间标记对应的对象数据与所述基准对象数据进行关联处理。
3.根据权利要求1或2所述的多传感器数据融合方法,其特征在于,所述对象数据包括三维位置坐标数据与纵横向速度数据,通过计算不同传感器的对象数据之间三维位置坐标数据的差值与纵横向速度数据的差值对所述对象数据进行关联处理。
4.根据权利要求3所述的多传感器数据融合方法,其特征在于,计算不同传感器的对象数据之间三维位置坐标数据的差值与纵横向速度数据的差值公式为:
Figure FDA0002055801190000011
Figure FDA0002055801190000021
其中,ΔP为三维位置坐标数据的差值,ΔV为纵横向速度数据的差值,λ为位置加权系数,μ为速度加权系数,(xi,yi,zi)为一对象数据的三维位置坐标,(vxi,vyi)为该对象数据的纵横向速度,(xj,yj,zj)为与该对象数据关联的对象数据的三维位置坐标,(vxj,vyj)与该对象数据关联的对象数据的纵横向速度。
5.根据权利要求4所述的多传感器数据融合方法,其特征在于,所述关联处理还包括:
计算一传感器一对象数据与另一传感器所有对象数据的三维位置坐标数据的差值与纵横向速度数据的差值,求取最小的三维位置坐标数据的差值ΔPmin与纵横向速度数据的差值ΔVmin
分别比较所述ΔPmin和ΔVmin与预设的三维位置坐标数据的差值阈值ΔP0和纵横向速度数据的差值阈值ΔV0大小,若满足ΔPmin<ΔP0且ΔVmin<ΔP0,则所述一传感器一对象数据与所述另一传感器中ΔPmin和ΔVmin对应的对象数据关联成功。
6.根据权利要求5所述的多传感器数据融合方法,其特征在于,若所述另一传感器中ΔPmin和ΔVmin对应的对象数据与所述一传感器中另一对象数据已关联成功,则通过比较两组关联成功的对象数据的ΔPmin及ΔVmin的大小,选取更小的ΔPmin及ΔVmin对应的一组关联成功的对象数据作为所述关联结果数据。
7.根据权利要求1所述的多传感器数据融合方法,其特征在于,对检测数据作归一化处理包括:
将所述检测数 据解算至对应传感器的直角坐标系;
计算该传感器直角坐标系与该传感器应用对象的坐标系之间的旋转矩阵和平移矩阵;
根据对应的旋转矩阵和平移矩阵,将所述检测数据转换至该传感器应用对象坐标系下。
8.根据权利要求1所述的多传感器数据融合方法,其特征在于,所述S4之后还包括:
S5,根据补充及计算的结果对所述多传感器感测的目标进行跟踪及预测。
9.根据权利要求8所述的多传感器数据融合方法,其特征在于,采用无损卡尔曼滤波算法对所述多传感器感测的目标进行跟踪及预测。
10.一种多传感器数据融合系统,其特征在于,包括:
处理模块,用于对每个传感器与当前时刻邻近的M个周期的检测数据作归一化处理,得到每个传感器感测对象的M组对象数据,并对每组对象数据添加时间标记,其中,一感测对象对应至少一组对象数据,同一感测对象对应的至少一组对象数据时间标记不同;
关联模块,用于基于所述时间标记,将其中一个传感器的对象数据与其它所有传感器的对象数据进行关联处理,并记录关联结果数据;
融合模块,用于对所述关联结果数据中关联成功的对象数据,根据该对象数据在同一传感器不同时间标记的关联关系,使用该对象数据对应的感测对象对应的最新时间标记所对应的对象数据,对该对象数据进行更新,并综合不同传感器的对象数据对更新后的数据进行补充及计算。
CN201910391929.4A 2019-05-10 2019-05-10 多传感器数据融合方法及系统 Active CN110163270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910391929.4A CN110163270B (zh) 2019-05-10 2019-05-10 多传感器数据融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910391929.4A CN110163270B (zh) 2019-05-10 2019-05-10 多传感器数据融合方法及系统

Publications (2)

Publication Number Publication Date
CN110163270A CN110163270A (zh) 2019-08-23
CN110163270B true CN110163270B (zh) 2021-11-09

Family

ID=67634330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910391929.4A Active CN110163270B (zh) 2019-05-10 2019-05-10 多传感器数据融合方法及系统

Country Status (1)

Country Link
CN (1) CN110163270B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019123483B4 (de) * 2019-09-02 2021-12-09 Audi Ag Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
CN112419712B (zh) * 2020-11-04 2021-12-10 同盾控股有限公司 道路断面车速检测方法及系统
CN115457353A (zh) * 2021-05-21 2022-12-09 魔门塔(苏州)科技有限公司 一种多传感器数据的融合方法及装置
CN114185842B (zh) * 2021-11-30 2024-01-30 电子科技大学长三角研究院(湖州) 一种基于片上网络的分布式数据级融合系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6944566B2 (en) * 2002-03-26 2005-09-13 Lockheed Martin Corporation Method and system for multi-sensor data fusion using a modified dempster-shafer theory
CN1940591A (zh) * 2005-09-26 2007-04-04 通用汽车环球科技运作公司 使用传感器融合进行目标跟踪的系统和方法
CN101655561A (zh) * 2009-09-14 2010-02-24 南京莱斯信息技术股份有限公司 基于联合卡尔曼滤波的多点定位数据与雷达数据融合方法
CN103345735A (zh) * 2013-07-16 2013-10-09 上海交通大学 一种基于Kalman滤波器的压缩时空多传感器融合跟踪方法
CN104090262A (zh) * 2014-05-23 2014-10-08 浙江工业大学 一种基于多采样率多模型融合估计的移动目标跟踪方法
CN109099920A (zh) * 2018-07-20 2018-12-28 重庆长安汽车股份有限公司 基于多传感器关联的传感器目标精确定位方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106546238B (zh) * 2016-10-26 2020-09-01 北京小鸟看看科技有限公司 可穿戴设备及在可穿戴设备中确定用户位移的方法
CN106408940B (zh) * 2016-11-02 2023-04-14 南京慧尔视智能科技有限公司 基于微波和视频数据融合的交通检测方法及装置
CN109343051A (zh) * 2018-11-15 2019-02-15 众泰新能源汽车有限公司 一种用于高级辅助驾驶的多传感器数据融合方法
CN109696172B (zh) * 2019-01-17 2022-11-01 福瑞泰克智能系统有限公司 一种多传感器航迹融合方法、装置及车辆

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6944566B2 (en) * 2002-03-26 2005-09-13 Lockheed Martin Corporation Method and system for multi-sensor data fusion using a modified dempster-shafer theory
CN1940591A (zh) * 2005-09-26 2007-04-04 通用汽车环球科技运作公司 使用传感器融合进行目标跟踪的系统和方法
CN101655561A (zh) * 2009-09-14 2010-02-24 南京莱斯信息技术股份有限公司 基于联合卡尔曼滤波的多点定位数据与雷达数据融合方法
CN103345735A (zh) * 2013-07-16 2013-10-09 上海交通大学 一种基于Kalman滤波器的压缩时空多传感器融合跟踪方法
CN104090262A (zh) * 2014-05-23 2014-10-08 浙江工业大学 一种基于多采样率多模型融合估计的移动目标跟踪方法
CN109099920A (zh) * 2018-07-20 2018-12-28 重庆长安汽车股份有限公司 基于多传感器关联的传感器目标精确定位方法

Also Published As

Publication number Publication date
CN110163270A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110163270B (zh) 多传感器数据融合方法及系统
CN110472496B (zh) 一种基于目标检测与跟踪的交通视频智能分析方法
CN109490890B (zh) 一种面向智能车的毫米波雷达与单目相机信息融合方法
CN108921873B (zh) 基于核相关滤波优化的马尔科夫决策在线多目标跟踪方法
CN109212521A (zh) 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN111505624B (zh) 一种基于机器视觉和毫米波雷达数据融合的环境感知方法
CN112562405A (zh) 一种雷达视频智能融合与预警方法及系统
CN110929796B (zh) 基于多源传感器决策层数据融合方法、系统及存储介质
CN113777600B (zh) 一种多毫米波雷达协同定位跟踪方法
JP6605176B1 (ja) 交通情報生成システム
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN110836983A (zh) 确定估计速度的不确定性估计的方法
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN115034324B (zh) 一种多传感器融合感知效能增强方法
WO2020113357A1 (zh) 目标检测方法和装置、航迹管理方法和装置以及无人机
CN115993597A (zh) 一种视觉雷达感知融合方法及终端设备
CN113740836A (zh) 一种基于毫米波雷达的静止目标跟踪优化方法
US10866307B2 (en) Method for analyzing error and existence probability of multi-sensor fusion of obstacle detection
CN113988228B (zh) 一种基于rfid和视觉融合的室内监控方法及系统
CN110398735B (zh) 一种基于多雷达的感知数据处理方法及系统
KR20200068258A (ko) 차량용 센서퓨전 타겟 예측 장치 및 그의 센서 퓨전 타겟 예측 방법과 그를 포함하는 차량
US11993289B2 (en) Vehicle control system and vehicle control method
CN113029185A (zh) 众包式高精度地图更新中道路标线变化检测方法及系统
CN116902005A (zh) 一种基于无人驾驶车辆的融合处理方法、装置及介质
KR102456151B1 (ko) 레이더 및 카메라 기반의 센서 퓨전 시스템 및 주변 차량의 위치 산출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant