CN109471096B - 多传感器目标匹配方法、装置及汽车 - Google Patents

多传感器目标匹配方法、装置及汽车 Download PDF

Info

Publication number
CN109471096B
CN109471096B CN201811289484.0A CN201811289484A CN109471096B CN 109471096 B CN109471096 B CN 109471096B CN 201811289484 A CN201811289484 A CN 201811289484A CN 109471096 B CN109471096 B CN 109471096B
Authority
CN
China
Prior art keywords
millimeter wave
wave radar
target
vision sensor
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811289484.0A
Other languages
English (en)
Other versions
CN109471096A (zh
Inventor
唐得志
苏洋
崔晓迪
赛影辉
张国兴
刘妹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chery Automobile Co Ltd
Original Assignee
Chery Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chery Automobile Co Ltd filed Critical Chery Automobile Co Ltd
Priority to CN201811289484.0A priority Critical patent/CN109471096B/zh
Publication of CN109471096A publication Critical patent/CN109471096A/zh
Application granted granted Critical
Publication of CN109471096B publication Critical patent/CN109471096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/52Discriminating between fixed and moving objects or between objects moving at different speeds

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开一种多传感器目标匹配方法、装置及汽车,属于智能车环境感知领域。方法包括:按照毫米波雷达的采集时刻序列建立毫米波雷达的探测目标库;以毫米波雷达所在坐标系为基准,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库;基于卡尔曼滤波算法估计毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,得到毫米波雷达与视觉传感器的时间同步数据;基于预设的代价函数和时间同步数据,对毫米波雷达的探测目标库和视觉传感器的探测目标库中的探测目标进行配准。本发明能够提高匹配准确率低,并能够减少匹配过程的计算量,提高匹配效率。

Description

多传感器目标匹配方法、装置及汽车
技术领域
本发明涉及智能车环境感知技术领域,特别涉及一种多传感器目标匹配方法、装置及汽车。
背景技术
随着汽车技术的发展,智能汽车的研究近些年逐渐受到广泛的关注。智能汽车自动驾驶技术作为智能汽车研究的高级目标,它不仅可以将驾驶员从繁杂的操作中解放出来,而且能够降低因人为原因造成的交通事故发生率。智能汽车自动驾驶技术可分为环境感知技术、路径规划与决策技术以及运动控制技术。其中,对外部环境的准确、实时感知是自动驾驶核心技术,它是智能汽车实现高精度定位、路径规划与决策和运动控制的关键技术。而准确环境感知包括能准确探知运动或静止目标的形状属性、位置属性和速度属性。由于视觉传感器(摄像头)能准确感知目标的形状属性,而在探测距离方面精度差一些;毫米波雷达能准确测量距离和速度,而不能识别物体的形状。因此,对多传感器信息进行融合是实现准确感知的必要条件。然而,要准确融合多传感器信息必须要进行目标在不同传感器的一一匹配对应,即进行多传感器目标匹配。完成多传感器目标匹配后通过融合即可得到目标的准确信息。
相关技术中,多传感器目标匹配通过时间同步获取同一时刻的毫米波雷达数据和视觉传感器的图像数据,再通过坐标转换将毫米波雷达探测到的障碍物位置信息投影到图像中,生成感兴趣区域;然后,采用帧间差法检测图像中的运动物体,最后计算重叠区域中的目标匹配度。
在实现本发明的过程中,发明人发现相关技术至少存在以下问题:
首先,相关技术的时间同步是创建数据融合处理线程,对线程中相同的采集时刻的数据进行融合处理,此种方法的缺点是如果两种传感器的采集周期不是倍数关系,则选取相同采集时刻的数据将非常困难,当两种传感器的采集周期不是倍数关系时,只能选择倍数关系附近的数据进行近似计算,使得目标匹配不准确,导致目标匹配的准确率不高。其次,帧间差法只能提取目标的边界,而不能对运动目标的完整区域进行提取,且帧间间隔的选取也对目标识别和匹配的结果影响较大,不仅导致探测目标的匹配度不高,降低了信息融合的效果,而且匹配过程复杂且计算量大,目标匹配过程费时、效率低等问题。
发明内容
本发明实施例提供了一种多传感器目标匹配方法、装置及汽车,以解决相关技术中的多传感器目标匹配方法存在目标匹配的准确度不高、匹配过程复杂及计算量大且费时、匹配效率低等问题。所述技术方案如下:
第一方面,提供了一种多传感器目标匹配方法,所述方法包括:
按照毫米波雷达的采集时刻序列建立毫米波雷达的探测目标库;
以毫米波雷达所在坐标系为基准,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库;
基于卡尔曼滤波算法估计所述毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,得到所述毫米波雷达与所述视觉传感器的时间同步数据;
基于预设的代价函数和所述时间同步数据,对所述毫米波雷达的探测目标库和所述视觉传感器的探测目标库中的探测目标进行配准。
可选地,所述以毫米波雷达所在坐标系为基准,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库,包括:
获取视觉传感器采集的像素坐标系下的图像数据;
将所述像素坐标系下的图像数据映射至世界坐标系下,得到所述像素坐标系下的图像数据在所述世界坐标系下的坐标,其中,所述毫米波雷达所在坐标系与世界坐标系重合;
根据所述像素坐标系下的图像数据在所述世界坐标系下的坐标,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库。
可选地,将所述像素坐标系下的图像数据映射至世界坐标系下,包括:
对于像素坐标系下的任一图像数据(xc,yc,zc),通过如下公式将(xc,yc,zc)映射至世界坐标系下:
Figure SMS_1
公式中,f表示视觉传感器的焦距,(u0,v0)表示视觉传感器的主点,dx,dy分别表示视觉传感器在x和y方向上的像素单元大小,[-a,-b,0]T表示视觉传感器与毫米波雷达的安装位置之间的平移向量,θ表示毫米波雷达与视觉传感器之间的转角,(xw,yw,zw)表示世界坐标系。
可选地,所述基于卡尔曼滤波算法估计所述毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,包括:
建立毫米波雷达的状态预测离散方程为:Xm(k)=AXm(k-1)+w(k);
Figure SMS_2
Figure SMS_3
公式中,T为单位时间,k为采集时刻,xm和ym是毫米波雷达观测到的第m个探测目标的位置坐标的估计值,
Figure SMS_4
Figure SMS_5
是毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的速度的估计值,
Figure SMS_6
Figure SMS_7
为毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的加速度的估计值;w(k)为均值为0,方差为R的高斯白噪声;
建立毫米波雷达的测量状态离散方程为:Zm(k)=HXm(k)+v(k);
Figure SMS_8
Figure SMS_9
公式中,τ为毫米波雷达的测量时延,x'm和y'm是毫米波雷达观测到的第m个探测目标的位置坐标的测量值,
Figure SMS_10
Figure SMS_11
是毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的速度的测量值;v(k)是均值为0,方差为Q的高斯白噪声;
如果k时刻未到毫米波雷达的采集时刻,则根据(k-1)时刻的估计值
Figure SMS_12
和所述状态预测离散方程通过如下公式确定k时刻的估计值
Figure SMS_13
并根据(k-1)时刻协方差的估计值
Figure SMS_14
及所述状态预测离散方程通过如下公式更新k时刻的协方差的估计值
Figure SMS_15
Figure SMS_16
Figure SMS_17
公式中,~表示测量值,^表示估计值;
如果k时刻达到毫米波雷达的采集时刻,则根据k时刻的测量值和所述测量状态离散方程通过如下公式确定k时刻的最优卡尔曼滤波估计值
Figure SMS_18
k时刻的卡尔曼增益K(k),并根据k时刻的卡尔曼增益K(k)和所述测量状态离散方程通过如下公式更新k时刻的协方差的估计值
Figure SMS_19
Figure SMS_20
Figure SMS_21
Figure SMS_22
可选地,所述基于预设的代价函数和所述时间同步数据,对所述毫米波雷达的探测目标库和所述视觉传感器的探测目标库中的探测目标进行配准,包括:
确定用于目标匹配的预设的代价函数为:
f(m,n)=Wx|xm-xn|+Wy|ym-yn|+Wv|vm-vn|;
公式中,m=1,...,mmax,n=1,...,nmax,xm,ym,vm和xn,yn,vn分别表示同一时刻毫米波雷达的探测目标库中的第m个探测目标和视觉传感器的探测目标库中的第n个探测目标的位置坐标数据和速度数据,mmax和nmax分别表示毫米波雷达的探测目标库中的探测目标总数和视觉传感器的探测目标库中的探测目标总数,Wx,Wy,Wv分别是代价函数关于位置和速度项目的权重值;
对于毫米波雷达的探测目标库中的第m*个探测目标,遍历视觉传感器的探测目标库中的探测目标,以寻找第n*个探测目标使得如下代价函数最小:
Figure SMS_23
对于视觉传感器的探测目标库中的第n*个探测目标,遍历毫米波雷达的探测目标库中的探测目标,以通过最小化如下代价函数得到与之匹配的毫米波雷达的探测目标库中的第m#个探测目标:
Figure SMS_24
判断探测目标m*和探测目标m#是否是同一探测目标;
如果探测目标m*和探测目标m#不是同一探测目标,则确定目标匹配失败;
如果探测目标m*和探测目标m#是同一探测目标,则对探测目标m*和探测目标n*进行距离验证;如果距离验证通过,则确定目标匹配成功;如果距离验证未通过,则确定目标匹配失败。
可选地,所述对探测目标m*和探测目标n*进行距离验证,包括:
确定探测目标m*和探测目标n*之间的距离是否满足如下距离验证公式:
Figure SMS_25
公式中,er和ec分别是毫米波雷达的距离测量误差和视觉传感器的距离测量误差;
如果探测目标m*和探测目标n*之间的距离满足所述距离验证公式,则确定目标匹配成功;
如果探测目标m*和探测目标n*之间的距离不满足所述距离验证公式,则确定目标匹配失败。
第二方面,提供了一种多传感器目标匹配装置,所述装置包括:
第一建立模块,用于按照毫米波雷达的采集时刻序列建立毫米波雷达的探测目标库;
第二建立模块,用于以毫米波雷达所在坐标系为基准,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库;
估计模块,用于基于卡尔曼滤波算法估计所述毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,得到所述毫米波雷达与所述视觉传感器的时间同步数据;
配准模块,用于基于预设的代价函数和所述时间同步数据,对所述毫米波雷达的探测目标库和所述视觉传感器的探测目标库中的探测目标进行配准。
可选地,所述第二建立模块包括:
获取单元,用于获取视觉传感器采集的像素坐标系下的图像数据;
映射单元,用于将所述像素坐标系下的图像数据映射至世界坐标系下,得到所述像素坐标系下的图像数据在所述世界坐标系下的坐标,其中,所述毫米波雷达所在坐标系与世界坐标系重合;
第三建立单元,用于根据所述像素坐标系下的图像数据在所述世界坐标系下的坐标,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库。
可选地,所述映射单元用于:对于像素坐标系下的任一图像数据(xc,yc,zc),通过如下公式将(xc,yc,zc)映射至世界坐标系下:
Figure SMS_26
公式中,f表示视觉传感器的焦距,(u0,v0)表示视觉传感器的主点,dx,dy分别表示视觉传感器在x和y方向上的像素单元大小,[-a,-b,0]T表示视觉传感器与毫米波雷达的安装位置之间的平移向量,θ表示毫米波雷达与视觉传感器之间的转角,(xw,yw,zw)表示世界坐标系。
可选地,所述估计模块包括:
第一建立单元,用于建立毫米波雷达的状态预测离散方程为:
Xm(k)=AXm(k-1)+w(k);
Figure SMS_27
Figure SMS_28
公式中,T为单位时间,k为采集时刻,xm和ym是毫米波雷达观测到的第m个探测目标的位置坐标的估计值,
Figure SMS_29
Figure SMS_30
是毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的速度的估计值,
Figure SMS_31
Figure SMS_32
为毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的加速度的估计值;w(k)为均值为0,方差为R的高斯白噪声;
第二建立单元,用于建立毫米波雷达的测量状态离散方程为:
Zm(k)=HXm(k)+v(k);
Figure SMS_33
Figure SMS_34
公式中,τ为毫米波雷达的测量时延,x'm和y'm是毫米波雷达观测到的第m个探测目标的位置坐标的测量值,
Figure SMS_35
Figure SMS_36
是毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的速度的测量值;v(k)是均值为0,方差为Q的高斯白噪声;
第一计算单元,用于如果k时刻未到毫米波雷达的采集时刻,则则根据(k-1)时刻的估计值
Figure SMS_37
和所述状态预测离散方程通过如下公式确定k时刻的估计值
Figure SMS_38
并根据(k-1)时刻协方差的估计值
Figure SMS_39
及所述状态预测离散方程通过如下公式更新k时刻的协方差的估计值
Figure SMS_40
Figure SMS_41
Figure SMS_42
公式中,~表示测量值,^表示估计值;
第二计算单元,用于如果k时刻达到毫米波雷达的采集时刻,则根据k时刻的测量值和所述测量状态离散方程通过如下公式确定k时刻的最优卡尔曼滤波估计值
Figure SMS_43
k时刻的卡尔曼增益K(k),并根据k时刻的卡尔曼增益K(k)和所述测量状态离散方程通过如下公式更新k时刻的协方差的估计值
Figure SMS_44
Figure SMS_45
Figure SMS_46
Figure SMS_47
可选地,所述配准模块包括:
第一确定单元,用于确定用于目标匹配的预设的代价函数为:
f(m,n)=Wx|xm-xn|+Wy|ym-yn|+Wv|vm-vn|;
公式中,m=1,...,mmax,n=1,...,nmax,xm,ym,vm和xn,yn,vn分别表示同一时刻毫米波雷达的探测目标库中的第m个探测目标和视觉传感器的探测目标库中的第n个探测目标的位置坐标数据和速度数据,mmax和nmax分别表示毫米波雷达的探测目标库中的探测目标总数和视觉传感器的探测目标库中的探测目标总数,Wx,Wy,Wv分别是代价函数关于位置和速度项目的权重值;
第一遍历单元,用于对于毫米波雷达的探测目标库中的第m*个探测目标,遍历视觉传感器的探测目标库中的探测目标,以寻找第n*个探测目标使得如下代价函数最小:
Figure SMS_48
第二遍历单元,用于对于视觉传感器的探测目标库中的第n*个探测目标,遍历毫米波雷达的探测目标库中的探测目标,以通过最小化如下代价函数得到与之匹配的毫米波雷达的探测目标库中的第m#个探测目标:
Figure SMS_49
判断单元,用于判断探测目标m*和探测目标m#是否是同一探测目标;
第二确定单元,用于如果探测目标m*和探测目标m#不是同一探测目标,则确定目标匹配失败;
距离验证单元,用于如果探测目标m*和探测目标m#是同一探测目标,则对探测目标m*和探测目标n*进行距离验证;如果距离验证通过,则确定目标匹配成功;如果距离验证未通过,则确定目标匹配失败。
可选地,所述距离验证单元用于:
确定探测目标m*和探测目标n*之间的距离是否满足如下距离验证公式:
Figure SMS_50
公式中,er和ec分别是毫米波雷达的距离测量误差和视觉传感器的距离测量误差;
如果探测目标m*和探测目标n*之间的距离满足所述距离验证公式,则确定目标匹配成功;如果探测目标m*和探测目标n*之间的距离不满足所述距离验证公式,则确定目标匹配失败。
第三方面,提供了一种汽车,所述汽车包括上述第二方面所述的多传感器目标匹配装置。
本发明实施例提供的技术方案带来的有益效果是:
通过基于卡尔曼滤波算法和代价函数优化提供了一种多传感器目标高效匹配方法。通过基于卡尔曼滤波算法估计毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,确保在视觉传感器的每个采集周期上均有与其时间同步的毫米波雷达数据,从而实现了多个传感器数据的时间同步,解决了相关技术中当多个传感器的采集周期不是倍数关系时目标匹配结果不准确,使得目标匹配的准确率不高的问题。通过基于时间同步数据和预设的代价函数进行目标匹配,不仅使得目标匹配准确率比较高,而且能够减少目标匹配时的计算量,提高目标匹配效率。因此,本发明提供的多传感器目标匹配方法,能够提高目标匹配准确率低,因而能提高后续的多传感器信息融合效果,并能够减少匹配过程的计算量,提高匹配效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的多传感器目标匹配方法的流程图;
图2为图1中步骤S2的实现方法流程图;
图3为本发明实施例中的时间同步示意图;
图4为本发明实施例中的目标匹配流程图;
图5为本发明实施例提供的多传感器目标匹配装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1为本发明实施例提供的多传感器目标匹配方法的流程图。如图1所示,本发明实施例提供的方法包括如下步骤S1至S4。
S1,按照毫米波雷达的采集时刻序列建立毫米波雷达的探测目标库。
其中,毫米波雷达的采集时刻序列与毫米波雷达的采集周期相关,相邻的采集时刻序列之间相差一个采集周期。毫米波雷达的采集周期可以根据需要设定。例如,毫米波雷达的采集周期为50ms。毫米波雷达的探测目标库包括了毫米波雷达在数据采集过程中探测到的多个探测目标。
毫米波雷达在采集到数据后,通过相关算法区分出其中的各个探测目标。关于毫米波雷达在采集到数据后,区分各个探测目标的方式,可以采用相关技术中的方式,本实施例对此不作详细解释说明。
S2,以毫米波雷达所在坐标系为基准,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库。
其中,该视觉传感器为双目立体视觉传感器。由于毫米波雷达确定的探测目标和视觉传感器确定的探测目标必须在同一坐标系下才能进行有效匹配,因此,该步骤S2的目的即为对视觉传感器采集到的数据和毫米波雷达采集到的数据进行空间配准。具体地,本发明实施例在进行空间配准时,将视觉传感器采集到的数据转换至毫米波雷达所在坐标系下。
为方便起见,本发明实施例在进行空间配准时,以毫米波雷达所在坐标系(xr,yr,zr)为基准,设定毫米波雷达所在坐标系(xr,yr,zr)与世界坐标系(xw,yw,zw)重合,如公式(1)所示。
Figure SMS_51
在此基础上,如图2所示,该步骤S2在具体实施时,可以通过如下步骤S21至S23来实现:
S21,获取视觉传感器像素坐标系下的图像数据。
其中,视觉传感器采集的数据以像素坐标系为基准且为图像数据,因此,视觉传感器按照其采集时刻序列采集的数据为像素坐标系下的图像数据。
S22,将像素坐标系下的图像数据映射至世界坐标系下,得到像素坐标系下的图像数据在世界坐标系下的坐标,其中,毫米波雷达所在坐标系与世界坐标系重合。
具体地,本发明实施例在将像素坐标系下的图像数据映射至世界坐标系下时,对于像素坐标系下的任一图像数据(xc,yc,zc),通过如下公式(2)将(xc,yc,zc)映射至世界坐标系下:
Figure SMS_52
公式(2)中,f表示视觉传感器的焦距,(u0,v0)表示视觉传感器的主点,dx,dy分别表示视觉传感器在x和y方向上的像素单元大小,[-a,-b,0]T表示视觉传感器与毫米波雷达的安装位置之间的平移向量,θ表示毫米波雷达与视觉传感器之间的转角。
S23,根据像素坐标系下的图像数据在世界坐标系下的坐标,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库。
视觉传感器的采集时刻序列与视觉传感器的采集周期相关,相邻的采集时刻序列之间相差一个采集周期。视觉传感器的采集周期可以根据需要设定。通常,视觉传感器是每1s采集15帧,平均采集周期为66ms。视觉传感器的探测目标库包括了视觉传感器在数据采集过程中探测到的探测目标。视觉传感器在采集到数据并将其映射至世界坐标系后,通过相关算法区分出各个探测目标。关于视觉传感器采集到的图像数据在映射至世界坐标系后区分各个探测目标的方式,可以采用相关技术中的方式,本实施例对此不作详细解释说明。
由于通常毫米波雷达的采集周期与视觉传感器的采集周期不是倍数关系,因此,很难通过创建数据融合处理线程来进行时间配准处理。为解决该技术问题,本发明实施例基于卡尔曼滤波算法对毫米波雷达探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据进行估计,确保在视觉传感器的每个采集周期上均有与其时间同步的毫米波雷达数据,从而实现了毫米波雷达与视觉传感器之间的时间同步,为之后的目标匹配奠定良好基础。该过程具体参见下述步骤S3。
S3,基于卡尔曼滤波算法估计毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,得到毫米波雷达与视觉传感器的时间同步数据。
其中,单位时间可以根据需要设定。优选地,该单位时间为1ms。由于本发明实施例基于卡尔曼滤波算法估计毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,即能够得到毫米波雷达的各个探测目标在每个单位时间上的位置数据和时间数据,而视觉传感器的采集周期通常会大于单位时间,因此,通过该步骤S3能够确保在视觉传感器的每个采集周期上均有与其时间同步的毫米波雷达探测目标的位置数据和速度数据。
可选地,该步骤S3在具体实施时,可以通过如下步骤S31至S34来实现:
S31,建立毫米波雷达的状态预测离散方程为:Xm(k)=AXm(k-1)+w(k);
Figure SMS_53
Figure SMS_54
公式(3)中,T为单位时间,k为采集时刻,xm和ym是毫米波雷达观测到的第m个探测目标的位置坐标的估计值,
Figure SMS_55
Figure SMS_56
是毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的速度的估计值,
Figure SMS_57
Figure SMS_58
为毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的加速度的估计值;w(k)为均值为0,方差为R的高斯白噪声。其中,T的取值优选为1ms。
其中,A为状态转移矩阵,其中的元素根据毫米波雷达的测量规律确定。通过该步骤S31,能够得到毫米波雷达的探测目标库中各个探测目标在每个单位时间上的估计值。
S32,建立毫米波雷达的测量状态离散方程为:Zm(k)=HXm(k)+v(k);
Figure SMS_59
Figure SMS_60
公式(4)中,τ为毫米波雷达的测量时延,x'm和y'm是毫米波雷达观测到的第m个探测目标的位置坐标的测量值,
Figure SMS_61
Figure SMS_62
是毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的速度的测量值;v(k)是均值为0,方差为Q的高斯白噪声。
其中,H为测量矩阵,其中的元素根据毫米波雷达的测量到的数据的规律确定。通过该步骤S32,能够得到毫米波雷达的探测目标库中各个探测目标在每个单位时间上的测量值。
S33,如果k时刻未到毫米波雷达的采集时刻,则根据(k-1)时刻的估计值
Figure SMS_63
和所述状态预测离散方程通过如下公式(5)确定k时刻的估计值
Figure SMS_64
并根据(k-1)时刻协方差的估计值
Figure SMS_65
及状态预测离散方程通过如下公式(5)更新k时刻的协方差的估计值
Figure SMS_66
Figure SMS_67
Figure SMS_68
公式中,~表示测量值,^表示估计值。
其中,k时刻是否达到毫米波雷达的采集时刻,是指k时刻是否是毫米波雷达的采集周期的倍数。如果k时刻是毫米波雷达的采集周期的倍数,则达到毫米波雷达的采集时刻;如果k时刻不是毫米波雷达的采集周期的倍数,则未到毫米波雷达的采集时刻。例如,如果毫米波雷达的采集周期为50ms,单位时间为1ms,则在第50个、100个等单位时刻时达到毫米波雷达的采集时刻,在第52个、93个等单位时刻时未到毫米波雷达的采集时刻。
具体地,本发明实施例中,如果k时刻未到毫米波雷达的采集时刻,则根据(k-1)时刻的估计值
Figure SMS_69
和状态转移矩阵A确定k时刻的估计值
Figure SMS_70
并根据根据(k-1)时刻协方差的估计值
Figure SMS_71
状态转移矩阵A和方差R更新k时刻的协方差的估计值
Figure SMS_72
其中,在具体计算时,会设定初始时刻的估计值
Figure SMS_73
和初始时刻协方差的估计值
Figure SMS_74
然后分别通过公式(3)和公式(5)进行迭代来确定后续每个单位时间的估计值和每个单位时间上协方差的估计值。
S34,如果k时刻达到毫米波雷达的采集时刻,则根据k时刻的测量值和所述测量状态离散方程通过如下公式(6)确定k时刻的最优卡尔曼滤波估计值
Figure SMS_75
k时刻的卡尔曼增益K(k),并根据k时刻的卡尔曼增益K(k)和测量状态离散方程通过如下公式(6)更新k时刻的协方差的估计值
Figure SMS_76
Figure SMS_77
Figure SMS_78
Figure SMS_79
结合公式(6),本发明实施例中,如果k时刻达到毫米波雷达的采集时刻,则先根据k时刻的协方差的测量值
Figure SMS_80
测量矩阵H和方差Q确定k时刻的卡尔曼增益K(k);然后根据根据k时刻的测量值
Figure SMS_81
测量矩阵H和k时刻的卡尔曼增益K(k)确定k时刻的估计值
Figure SMS_82
最后再根据k时刻的卡尔曼增益K(k)、测量矩阵H和k时刻的协方差的测量值
Figure SMS_83
更新k时刻协方差的估计值。
通过上述步骤S31至S34即可得到毫米波雷达的探测目标库中的各个探测目标在每单位时间上的位置数据和速度数据。
如图3所示,其为毫米波雷达和视觉传感器的时间同步示意图。图3中带实心圆的射线表示毫米波雷达的数据采集时刻,带实心正方形的射线表示视觉传感器的数据采集时刻,而不带实心圆和实心正方形直线表示估计得到的毫米波雷达在每个单位时间上的数据。
S4,基于预设的代价函数和时间同步数据,对毫米波雷达的探测目标库和视觉传感器的探测目标库中的探测目标进行配准。
从步骤S3可以得到每单位时间上毫米波雷达的探测目标的位置数据和速度数据,在步骤S3的基础上,该步骤S3为进行目标配准的过程。具体地,在进行目标配准时,本发明实施例将传感器的探测目标看成点,点位置位于探测目标宽度的中心位置,在此基础上,步骤S4在具体实施时,可以通过如下步骤S41至步骤S47来实现:
S41,确定用于目标匹配的预设的代价函数为如下公式(7):
f(m,n)=Wx|xm-xn|+Wy|ym-yn|+Wv|vm-vn| (7);
公式(7)中,m=1,...,mmax,n=1,...,nmax,xm,ym,vm和xn,yn,vn分别表示同一时刻毫米波雷达的探测目标库中的第m个探测目标和视觉传感器的探测目标库中的第n个探测目标的位置坐标数据和速度数据,mmax和nmax分别表示毫米波雷达的探测目标库中的探测目标总数和视觉传感器的探测目标库中的探测目标总数,Wx,Wy,Wv分别是代价函数关于位置和速度项目的权重值。
其中,由于视觉传感器在测量纵向距离时的误差比较大,因此,本发明实施例设置Wx,Wv的值小于Wy的值。另外,Wx,Wv也可以根据探测目标的横坐标和速度数据之间的测量误差大小设置大小关系。例如,如果横坐标的测量误差大于速度数据的测量误差,则可以设置Wx大于Wv。进一步地,为了使得三个权重值数学上更加合理,还可以对三个权重数据进行正则化处理,正则化处理方式可以参见相关技术中的方式。
本发明实施例在建立代价函数时,利用探测目标的横纵位置数据中的横坐标和纵坐标及速度数据作为代价函数的匹配因子,并充分考虑目标匹配中的影响因素设置它们具有不同的权重值,进而通过极小化代价函数值来实现高效、准确的目标匹配。
S42,对于毫米波雷达的探测目标库中的第m*个探测目标,遍历视觉传感器的探测目标库中的探测目标,以寻找第n*个探测目标使得如下公式(8)中的代价函数最小:
Figure SMS_84
S43,对于视觉传感器的探测目标库中的第n*个探测目标,遍历毫米波雷达的探测目标库中的探测目标,以通过最小化如下公式(9)中的代价函数得到与之匹配的毫米波雷达的探测目标库中的第m#个探测目标:
Figure SMS_85
S44,判断探测目标m*和探测目标m#是否是同一探测目标。
其中,判断探测目标m*和探测目标m#是否是同一探测目标时,可以通过判断探测目标m*和探测目标m#是否是毫米波雷达在同一时刻同一位置探测到的来实现。如果探测目标m*和探测目标m#是毫米波雷达在同一时刻同一位置探测到的,则可以确定探测目标m*和探测目标m#是同一探测目标;如果探测目标m*和探测目标m#是毫米波雷达在不同时刻相同位置、同一时刻不同位置或不同时刻不同位置探测到的,则均可以确定探测目标m*和探测目标m#不是同一探测目标。
S45,如果探测目标m*和探测目标m#不是同一探测目标,则确定目标匹配失败。说明毫米波雷达探测到的第m*个探测目标和视觉传感器探测到的第n*个探测目标不在两个传感器探测的共同区域。
S46,如果探测目标m*和探测目标m#是同一探测目标,则对探测目标m*和探测目标n*进行距离验证;如果距离验证通过,则确定目标匹配成功;如果距离验证未通过,则确定目标匹配失败。
由于毫米波雷达和视觉传感器在采集数据时均具有一定的距离测量误差,因此通过距离验证,能够进一步验证探测目标m*和探测目标m#是否在误差范围内,从而使得目标匹配结果更加准确。
其中,步骤S46在对探测目标m*和探测目标n*进行距离验证时,可以确定探测目标m*和探测目标n*之间的距离是否满足如下公式(10)中的距离验证公式:
Figure SMS_86
公式(10)中,er和ec分别是毫米波雷达的距离测量误差和视觉传感器的距离测量误差。
S47,如果探测目标m*和探测目标n*之间的距离满足距离验证公式,则确定目标匹配成功,即毫米波雷达探测到的第m*个探测目标和视觉传感器探测到的第n*个探测目标是同一个探测目标;如果探测目标m*和探测目标n*之间的距离不满足距离验证公式,则确定目标匹配失败,即毫米波探测到的第m*个探测目标和视觉传感器探测到的第n*个探测目标不在两个传感器探测的共同区域。
如图4所示,其为对毫米波雷达的探测目标库和视觉传感器的探测目标库中的探测目标进行配准的过程示意图。
本发明实施例提供的方法,通过基于卡尔曼滤波算法和代价函数优化提供了一种多传感器目标高效匹配方法。通过基于卡尔曼滤波算法估计毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,确保在视觉传感器的每个采集周期上均有与其时间同步的毫米波雷达数据,从而实现了多个传感器数据的时间同步,解决了相关技术中当多个传感器的采集周期不是倍数关系时目标匹配结果不准确,使得目标匹配的准确率不高的问题。通过基于时间同步数据和预设的代价函数进行目标匹配,不仅使得目标匹配准确率比较高,而且能够减少目标匹配时的计算量,提高目标匹配效率。因此,本发明提供的多传感器目标匹配方法,能够提高目标匹配准确率低,因而能提高后续的多传感器信息融合效果,并能够减少匹配过程的计算量,提高匹配效率。
本发明实施例还提供一种多传感器目标匹配装置,该多传感器目标匹配装置用于执行上述实施例提供的多传感器目标匹配方法。如图5所示,该多传感器目标匹配装置包括:
第一建立模块501,用于按照毫米波雷达的采集时刻序列建立毫米波雷达的探测目标库;
第二建立模块502,用于以毫米波雷达所在坐标系为基准,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库;
估计模块503,用于基于卡尔曼滤波算法估计毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,得到毫米波雷达与视觉传感器的时间同步数据;
配准模块504,用于基于预设的代价函数和时间同步数据,对毫米波雷达的探测目标库和视觉传感器的探测目标库中的探测目标进行配准。
可选地,第二建立模块502包括:
获取单元,用于获取视觉传感器采集的像素坐标系下的图像数据;
映射单元,用于将像素坐标系下的图像数据映射至世界坐标系下,得到像素坐标系下的图像数据在世界坐标系下的坐标,其中,毫米波雷达所在坐标系与世界坐标系重合;
第三建立单元,用于根据像素坐标系下的图像数据在世界坐标系下的坐标,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库。
可选地,映射单元用于:对于像素坐标系下的任一图像数据(xc,yc,zc),通过如下公式将(xc,yc,zc)映射至世界坐标系下:
Figure SMS_87
公式中,f表示视觉传感器的焦距,(u0,v0)表示视觉传感器的主点,dx,dy分别表示视觉传感器在x和y方向上的像素单元大小,[-a,-b,0]T表示视觉传感器与毫米波雷达的安装位置之间的平移向量,θ表示毫米波雷达与视觉传感器之间的转角,(xw,yw,zw)表示世界坐标系。
可选地,估计模块503包括:
第一建立单元,用于建立毫米波雷达的状态预测离散方程为:Xm(k)=AXm(k-1)+w(k);
Figure SMS_88
Figure SMS_89
公式中,T为单位时间,k为采集时刻,xm和ym是毫米波雷达观测到的第m个探测目标的位置坐标的估计值,
Figure SMS_90
Figure SMS_91
是毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的速度的估计值,
Figure SMS_92
Figure SMS_93
为毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的加速度的估计值;w(k)为均值为0,方差为R的高斯白噪声;
第二建立单元,用于建立毫米波雷达的测量状态离散方程为:Zm(k)=HXm(k)+v(k);
Figure SMS_94
Figure SMS_95
公式中,τ为毫米波雷达的测量时延,x'm和y'm是毫米波雷达观测到的第m个探测目标的位置坐标的测量值,
Figure SMS_96
Figure SMS_97
是毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的速度的测量值;v(k)是均值为0,方差为Q的高斯白噪声;
第一计算单元,用于如果k时刻未到毫米波雷达的采集时刻,则则根据(k-1)时刻的估计值
Figure SMS_98
和所述状态预测离散方程通过如下公式确定k时刻的估计值
Figure SMS_99
并根据(k-1)时刻协方差的估计值
Figure SMS_100
及所述状态预测离散方程通过如下公式更新k时刻的协方差的估计值
Figure SMS_101
Figure SMS_102
Figure SMS_103
公式中,~表示测量值,^表示估计值;
第二计算单元,用于如果k时刻达到毫米波雷达的采集时刻,则根据k时刻的测量值和所述测量状态离散方程通过如下公式确定k时刻的最优卡尔曼滤波估计值
Figure SMS_104
k时刻的卡尔曼增益K(k),并根据k时刻的卡尔曼增益K(k)和所述测量状态离散方程通过如下公式更新k时刻的协方差的估计值
Figure SMS_105
Figure SMS_106
Figure SMS_107
Figure SMS_108
可选地,配准模块504包括:
第一确定单元,用于确定用于目标匹配的预设的代价函数为:
f(m,n)=Wx|xm-xn|+Wy|ym-yn|+Wv|vm-vn|;
公式中,m=1,...,mmax,n=1,...,nmax,xm,ym,vm和xn,yn,vn分别表示同一时刻毫米波雷达的探测目标库中的第m个探测目标和视觉传感器的探测目标库中的第n个探测目标的位置坐标数据和速度数据,mmax和nmax分别表示毫米波雷达的探测目标库中的探测目标总数和视觉传感器的探测目标库中的探测目标总数,Wx,Wy,Wv分别是代价函数关于位置和速度项目的权重值;
第一遍历单元,用于对于毫米波雷达的探测目标库中的第m*个探测目标,遍历视觉传感器的探测目标库中的探测目标,以寻找第n*个探测目标使得如下代价函数最小:
Figure SMS_109
第二遍历单元,用于对于视觉传感器的探测目标库中的第n*个探测目标,遍历毫米波雷达的探测目标库中的探测目标,以通过最小化如下代价函数得到与之匹配的毫米波雷达的探测目标库中的第m#个探测目标:
Figure SMS_110
判断单元,用于判断探测目标m*和探测目标m#是否是同一探测目标;
第二确定单元,用于如果探测目标m*和探测目标m#不是同一探测目标,则确定目标匹配失败;
距离验证单元,用于如果探测目标m*和探测目标m#是同一探测目标,则对探测目标m*和探测目标n*进行距离验证;如果距离验证通过,则确定目标匹配成功;如果距离验证未通过,则确定目标匹配失败。
可选地,距离验证单元用于:确定探测目标m*和探测目标n*之间的距离是否满足如下距离验证公式:
Figure SMS_111
公式中,er和ec分别是毫米波雷达的距离测量误差和视觉传感器的距离测量误差;
如果探测目标m*和探测目标n*之间的距离满足距离验证公式,则确定目标匹配成功;如果探测目标m*和探测目标n*之间的距离不满足距离验证公式,则确定目标匹配失败。
本发明实施例提供的装置,通过基于卡尔曼滤波算法和代价函数优化提供了一种多传感器目标高效匹配方法。通过基于卡尔曼滤波算法估计毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,确保在视觉传感器的每个采集周期上均有与其时间同步的毫米波雷达数据,从而实现了多个传感器数据的时间同步,解决了相关技术中当多个传感器的采集周期不是倍数关系时目标匹配结果不准确,使得目标匹配的准确率不高的问题。通过基于时间同步数据和预设的代价函数进行目标匹配,不仅使得目标匹配准确率比较高,而且能够减少目标匹配时的计算量,提高目标匹配效率。因此,本发明提供的多传感器目标匹配方法,能够提高目标匹配准确率低,因而能提高后续的多传感器信息融合效果,并能够减少匹配过程的计算量,提高匹配效率。
本发明实施例还提供一种汽车,该汽车包括上述多传感器目标匹配装置,并可以通过上述多传感器目标匹配方法进行多传感器目标。关于多传感器目标匹配装置及多传感器目标匹配方法的具体内容已在上面的实施例中进行了详细说明,具体可参见上述实施例中的内容,此处不再赘述。
本发明实施例提供的汽车,通过采用上述多传感器目标匹配装置,通过基于卡尔曼滤波算法估计毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,确保在视觉传感器的每个采集周期上均有与其时间同步的毫米波雷达数据,从而实现了多个传感器数据的时间同步,解决了相关技术中当多个传感器的采集周期不是倍数关系时目标匹配结果不准确,使得目标匹配的准确率不高的问题。通过基于时间同步数据和预设的代价函数进行目标匹配,不仅使得目标匹配准确率比较高,而且能够减少目标匹配时的计算量,提高目标匹配效率。因此,本发明提供的多传感器目标匹配方法,能够提高目标匹配准确率低,因而能提高后续的多传感器信息融合效果,并能够减少匹配过程的计算量,提高匹配效率。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
需要说明的是:上述实施例提供的多传感器目标匹配方法在进行多传感器目标匹配时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的多传感器目标匹配装置与多传感器目标匹配方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种多传感器目标匹配方法,其特征在于,所述方法包括:
按照毫米波雷达的采集时刻序列建立毫米波雷达的探测目标库;
以毫米波雷达所在坐标系为基准,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库;
基于卡尔曼滤波算法估计所述毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,得到所述毫米波雷达与所述视觉传感器的时间同步数据;
基于预设的代价函数和所述时间同步数据,对所述毫米波雷达的探测目标库和所述视觉传感器的探测目标库中的探测目标进行配准;其中,所述基于预设的代价函数和所述时间同步数据,对所述毫米波雷达的探测目标库和所述视觉传感器的探测目标库中的探测目标进行配准,包括:
确定用于目标匹配的预设的代价函数为:
f(m,n)=Wx|xm-xn|+Wy|ym-yn|+Wv|vm-vn|;
公式中,m=1,...,mmax,n=1,...,nmax,xm,ym,vm和xn,yn,vn分别表示同一时刻毫米波雷达的探测目标库中的第m个探测目标和视觉传感器的探测目标库中的第n个探测目标的位置坐标数据和速度数据,mmax和nmax分别表示毫米波雷达的探测目标库中的探测目标总数和视觉传感器的探测目标库中的探测目标总数,Wx,Wy,Wv分别是代价函数关于位置和速度项目的权重值;
对于毫米波雷达的探测目标库中的第m*个探测目标,遍历视觉传感器的探测目标库中的探测目标,以寻找第n*个探测目标使得如下代价函数最小:
Figure FDA0004101773440000011
对于视觉传感器的探测目标库中的第n*个探测目标,遍历毫米波雷达的探测目标库中的探测目标,以通过最小化如下代价函数得到与之匹配的毫米波雷达的探测目标库中的第m#个探测目标:
Figure FDA0004101773440000021
判断探测目标m*和探测目标m#是否是同一探测目标;
如果探测目标m*和探测目标m#不是同一探测目标,则确定目标匹配失败;
如果探测目标m*和探测目标m#是同一探测目标,则对探测目标m*和探测目标n*进行距离验证;如果距离验证通过,则确定目标匹配成功;如果距离验证未通过,则确定目标匹配失败。
2.根据权利要求1所述的方法,其特征在于,所述以毫米波雷达所在坐标系为基准,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库,包括:
获取视觉传感器采集的像素坐标系下的图像数据;
将所述像素坐标系下的图像数据映射至世界坐标系下,得到所述像素坐标系下的图像数据在所述世界坐标系下的坐标,其中,所述毫米波雷达所在坐标系与世界坐标系重合;
根据所述像素坐标系下的图像数据在所述世界坐标系下的坐标,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库。
3.根据权利要求2所述的方法,其特征在于,所述将所述像素坐标系下的图像数据映射至世界坐标系下,包括:
对于像素坐标系下的任一图像数据(xc,yc,zc),通过如下公式将(xc,yc,zc)映射至世界坐标系下:
Figure FDA0004101773440000022
公式中,f表示视觉传感器的焦距,(u0,v0)表示视觉传感器的主点,dx,dy分别表示视觉传感器在x和y方向上的像素单元大小,[-a,-b,0]T表示视觉传感器与毫米波雷达的安装位置之间的平移向量,θ表示毫米波雷达与视觉传感器之间的转角,(xw,yw,zw)表示世界坐标系。
4.根据权利要求1所述的方法,其特征在于,所述基于卡尔曼滤波算法估计所述毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,包括:
建立毫米波雷达的状态预测离散方程为:Xm(k)=AXm(k-1)+w(k);
Figure FDA0004101773440000031
公式中,T为单位时间,k为采集时刻,xm和ym是毫米波雷达观测到的第m个探测目标的位置坐标的估计值,
Figure FDA0004101773440000032
Figure FDA0004101773440000033
是毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的速度的估计值,
Figure FDA0004101773440000034
Figure FDA0004101773440000035
为毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的加速度的估计值;w(k)为均值为0,方差为R的高斯白噪声;
建立毫米波雷达的测量状态离散方程为:Zm(k)=HXm(k)+v(k);
Figure FDA0004101773440000036
公式中,τ为毫米波雷达的测量时延,x'm和y'm是毫米波雷达观测到的第m个探测目标的位置坐标的测量值,
Figure FDA0004101773440000041
Figure FDA0004101773440000042
是毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的速度的测量值;v(k)是均值为0,方差为Q的高斯白噪声;
如果k时刻未到毫米波雷达的采集时刻,则根据(k-1)时刻的估计值
Figure FDA0004101773440000043
和所述状态预测离散方程通过如下公式确定k时刻的估计值
Figure FDA0004101773440000044
并根据(k-1)时刻协方差的估计值
Figure FDA0004101773440000045
及所述状态预测离散方程通过如下公式更新k时刻的协方差的估计值
Figure FDA0004101773440000046
Figure FDA0004101773440000047
Figure FDA0004101773440000048
公式中,~表示测量值,^表示估计值;
如果k时刻达到毫米波雷达的采集时刻,则根据k时刻的测量值和所述测量状态离散方程通过如下公式确定k时刻的最优卡尔曼滤波估计值
Figure FDA0004101773440000049
k时刻的卡尔曼增益K(k),并根据k时刻的卡尔曼增益K(k)和所述测量状态离散方程通过如下公式更新k时刻的协方差的估计值
Figure FDA00041017734400000410
Figure FDA00041017734400000411
Figure FDA00041017734400000412
Figure FDA00041017734400000413
5.根据权利要求1所述的方法,其特征在于,所述对探测目标m*和探测目标n*进行距离验证,包括:
确定探测目标m*和探测目标n*之间的距离是否满足如下距离验证公式:
Figure FDA00041017734400000414
公式中,er和ec分别是毫米波雷达的距离测量误差和视觉传感器的距离测量误差;
如果探测目标m*和探测目标n*之间的距离满足所述距离验证公式,则确定目标匹配成功;
如果探测目标m*和探测目标n*之间的距离不满足所述距离验证公式,则确定目标匹配失败。
6.一种多传感器目标匹配装置,其特征在于,所述装置包括:
第一建立模块,用于按照毫米波雷达的采集时刻序列建立毫米波雷达的探测目标库;
第二建立模块,用于以毫米波雷达所在坐标系为基准,按照视觉传感器的采集时刻序列建立视觉传感器的探测目标库;
估计模块,用于基于卡尔曼滤波算法估计所述毫米波雷达的探测目标库中各个探测目标在每个单位时间上的位置数据和速度数据,得到所述毫米波雷达与所述视觉传感器的时间同步数据;
配准模块,用于基于预设的代价函数和所述时间同步数据,对所述毫米波雷达的探测目标库和所述视觉传感器的探测目标库中的探测目标进行配准;所述配准模块包括:
第一确定单元,用于确定用于目标匹配的预设的代价函数为:
f(m,n)=Wx|xm-xn|+Wy|ym-yn|+Wv|vm-vn|;
公式中,m=1,...,mmax,n=1,...,nmax,xm,ym,vm和xn,yn,vn分别表示同一时刻毫米波雷达的探测目标库中的第m个探测目标和视觉传感器的探测目标库中的第n个探测目标的位置坐标数据和速度数据,mmax和nmax分别表示毫米波雷达的探测目标库中的探测目标总数和视觉传感器的探测目标库中的探测目标总数,Wx,Wy,Wv分别是代价函数关于位置和速度项目的权重值;
第一遍历单元,用于对于毫米波雷达的探测目标库中的第m*个探测目标,遍历视觉传感器的探测目标库中的探测目标,以寻找第n*个探测目标使得如下代价函数最小:
Figure FDA0004101773440000061
第二遍历单元,用于对于视觉传感器的探测目标库中的第n*个探测目标,遍历毫米波雷达的探测目标库中的探测目标,以通过最小化如下代价函数得到与之匹配的毫米波雷达的探测目标库中的第m#个探测目标:
Figure FDA0004101773440000062
判断单元,用于判断探测目标m*和探测目标m#是否是同一探测目标;
第二确定单元,用于如果探测目标m*和探测目标m#不是同一探测目标,则确定目标匹配失败;
距离验证单元,用于如果探测目标m*和探测目标m#是同一探测目标,则对**
探测目标m和探测目标n进行距离验证;如果距离验证通过,则确定目标匹配成功;如果距离验证未通过,则确定目标匹配失败。
7.根据权利要求6所述的装置,其特征在于,所述估计模块包括:
第一建立单元,用于建立毫米波雷达的状态预测离散方程为:
Xm(k)=AXm(k-1)+w(k);
Figure FDA0004101773440000063
公式中,T为单位时间,k为采集时刻,xm和ym是毫米波雷达观测到的第m个探测目标的位置坐标的估计值,
Figure FDA0004101773440000071
Figure FDA0004101773440000072
是毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的速度的估计值,
Figure FDA0004101773440000073
Figure FDA0004101773440000074
为毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的加速度的估计值;w(k)为均值为0,方差为R的高斯白噪声;
第二建立单元,用于建立毫米波雷达的测量状态离散方程为:
Zm(k)=HXm(k)+v(k);
Figure FDA0004101773440000075
公式中,τ为毫米波雷达的测量时延,x'm和y'm是毫米波雷达观测到的第m个探测目标的位置坐标的测量值,
Figure FDA0004101773440000076
Figure FDA0004101773440000077
是毫米波雷达观测到的第m个探测目标在x坐标方向和y坐标方向上的速度的测量值;v(k)是均值为0,方差为Q的高斯白噪声;
第一计算单元,用于如果k时刻未到毫米波雷达的采集时刻,则根据(k-1)时刻的估计值
Figure FDA0004101773440000078
和所述状态预测离散方程通过如下公式确定k时刻的估计值
Figure FDA0004101773440000079
并根据(k-1)时刻协方差的估计值
Figure FDA00041017734400000710
及所述状态预测离散方程通过如下公式更新k时刻的协方差的估计值
Figure FDA00041017734400000711
Figure FDA00041017734400000712
Figure FDA00041017734400000713
公式中,~表示测量值,^表示估计值;
第二计算单元,用于如果k时刻达到毫米波雷达的采集时刻,则根据k时刻的测量值和所述测量状态离散方程通过如下公式确定k时刻的最优卡尔曼滤波估计值
Figure FDA00041017734400000714
k时刻的卡尔曼增益K(k),并根据k时刻的卡尔曼增益K(k)和所述测量状态离散方程通过如下公式更新k时刻的协方差的估计值
Figure FDA0004101773440000081
Figure FDA0004101773440000082
Figure FDA0004101773440000083
Figure FDA0004101773440000084
8.一种汽车,其特征在于,所述汽车包括权利要求6至7中任一权利要求所述的多传感器目标匹配装置。
CN201811289484.0A 2018-10-31 2018-10-31 多传感器目标匹配方法、装置及汽车 Active CN109471096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811289484.0A CN109471096B (zh) 2018-10-31 2018-10-31 多传感器目标匹配方法、装置及汽车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811289484.0A CN109471096B (zh) 2018-10-31 2018-10-31 多传感器目标匹配方法、装置及汽车

Publications (2)

Publication Number Publication Date
CN109471096A CN109471096A (zh) 2019-03-15
CN109471096B true CN109471096B (zh) 2023-06-27

Family

ID=65666489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811289484.0A Active CN109471096B (zh) 2018-10-31 2018-10-31 多传感器目标匹配方法、装置及汽车

Country Status (1)

Country Link
CN (1) CN109471096B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264586A (zh) * 2019-05-28 2019-09-20 浙江零跑科技有限公司 L3级自动驾驶系统道路驾驶数据采集、分析及上传方法
CN110720096B (zh) * 2019-07-03 2022-07-08 深圳市速腾聚创科技有限公司 一种多传感器状态估计方法、装置及终端设备
CN110726990B (zh) * 2019-09-23 2023-04-07 江苏大学 一种基于ds-gnn算法的多传感器融合方法
CN112859659B (zh) * 2019-11-28 2022-05-13 魔门塔(苏州)科技有限公司 一种多传感器数据的获取方法、装置及系统
CN112130136B (zh) * 2020-09-11 2024-04-12 中国重汽集团济南动力有限公司 一种交通目标综合感知系统及方法
CN115457353A (zh) * 2021-05-21 2022-12-09 魔门塔(苏州)科技有限公司 一种多传感器数据的融合方法及装置
CN113611112B (zh) * 2021-07-29 2022-11-08 中国第一汽车股份有限公司 一种目标关联方法、装置、设备及存储介质
CN113673105A (zh) * 2021-08-20 2021-11-19 安徽江淮汽车集团股份有限公司 真值对比策略的设计方法
CN113466850A (zh) * 2021-09-01 2021-10-01 北京智行者科技有限公司 一种环境感知方法、装置及移动工具
CN118289038A (zh) * 2024-06-06 2024-07-05 中国第一汽车股份有限公司 车辆运行控制方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292681A (ja) * 2005-04-14 2006-10-26 Toyota Motor Corp 物体検出装置
CN103065323A (zh) * 2013-01-14 2013-04-24 北京理工大学 一种基于单应性变换矩阵的分段空间对准方法
CN103308896A (zh) * 2013-05-07 2013-09-18 北京工商大学 一种适于非引擎机动目标的高精度跟踪方法
CN103718061A (zh) * 2011-06-22 2014-04-09 罗伯特·博世有限公司 使用radar和视频的改进的驾驶员辅助系统
CN104391445A (zh) * 2014-08-06 2015-03-04 华南理工大学 基于观测器的车队协同自主控制方法
CN106874886A (zh) * 2017-03-10 2017-06-20 南京沃杨机械科技有限公司 用于农机无人驾驶的多传感器融合的农田环境感知方法
CN107966700A (zh) * 2017-11-20 2018-04-27 天津大学 一种用于无人驾驶汽车的前方障碍物检测系统及方法
CN108304612A (zh) * 2017-12-26 2018-07-20 南京邮电大学 基于噪声补偿的迭代平方根ckf的汽车雷达目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10094919B2 (en) * 2015-10-06 2018-10-09 GM Global Technology Operations LLC Radar-vision fusion for target velocity estimation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292681A (ja) * 2005-04-14 2006-10-26 Toyota Motor Corp 物体検出装置
CN103718061A (zh) * 2011-06-22 2014-04-09 罗伯特·博世有限公司 使用radar和视频的改进的驾驶员辅助系统
CN103065323A (zh) * 2013-01-14 2013-04-24 北京理工大学 一种基于单应性变换矩阵的分段空间对准方法
CN103308896A (zh) * 2013-05-07 2013-09-18 北京工商大学 一种适于非引擎机动目标的高精度跟踪方法
CN104391445A (zh) * 2014-08-06 2015-03-04 华南理工大学 基于观测器的车队协同自主控制方法
CN106874886A (zh) * 2017-03-10 2017-06-20 南京沃杨机械科技有限公司 用于农机无人驾驶的多传感器融合的农田环境感知方法
CN107966700A (zh) * 2017-11-20 2018-04-27 天津大学 一种用于无人驾驶汽车的前方障碍物检测系统及方法
CN108304612A (zh) * 2017-12-26 2018-07-20 南京邮电大学 基于噪声补偿的迭代平方根ckf的汽车雷达目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向无人驾驶汽车的雷达一视觉集成控制器研究;李墨;《中国优秀硕士学位论文全文数据库(电子期刊)》;20170915;摘要、正文第33-35、45-47页 *

Also Published As

Publication number Publication date
CN109471096A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN109471096B (zh) 多传感器目标匹配方法、装置及汽车
CN111830953B (zh) 车辆自定位方法、装置及系统
WO2018177026A1 (zh) 确定道路边沿的装置和方法
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
US11538241B2 (en) Position estimating device
CN108759823B (zh) 基于图像匹配的指定道路上低速自动驾驶车辆定位及纠偏方法
CN114755662B (zh) 一种路车融合感知的激光雷达和gps的标定方法和装置
CN102806913A (zh) 一种新型的车道线偏离检测方法及装置
CN109579868A (zh) 车外目标定位方法、装置及汽车
CN108007456A (zh) 一种室内导航方法、装置及系统
US11151729B2 (en) Mobile entity position estimation device and position estimation method
CN113034586B (zh) 道路倾角检测方法和检测系统
CN115144828A (zh) 一种智能汽车多传感器时空融合的自动在线标定方法
CN110514212A (zh) 一种融合单目视觉和差分gnss的智能车地图地标定位方法
CN112906777A (zh) 目标检测方法、装置、电子设备及存储介质
CN110794828A (zh) 一种融合语义信息的路标定位方法
CN114758504A (zh) 一种基于滤波校正的网联车超速预警方法及系统
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2019056629A (ja) 距離推定装置及び方法
CN115830142A (zh) 相机标定和相机的目标检测与定位方法、装置及电子设备
CN112862818A (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
KR20190081334A (ko) 복합 측위 기반의 이동 궤적 추적 방법 및 그 장치
KR101803340B1 (ko) 영상 기반 주행거리 측정 시스템 및 방법
JP2021081272A (ja) 位置推定装置および位置推定用コンピュータプログラム
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant