CN109886308A - 一种基于目标级别的双传感器数据融合方法和装置 - Google Patents

一种基于目标级别的双传感器数据融合方法和装置 Download PDF

Info

Publication number
CN109886308A
CN109886308A CN201910074583.5A CN201910074583A CN109886308A CN 109886308 A CN109886308 A CN 109886308A CN 201910074583 A CN201910074583 A CN 201910074583A CN 109886308 A CN109886308 A CN 109886308A
Authority
CN
China
Prior art keywords
target
point
vehicle
preset threshold
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910074583.5A
Other languages
English (en)
Other versions
CN109886308B (zh
Inventor
高博麟
张柯
刘兴亮
方锐
宋攀
张慧
周景岩
杨天栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Technology and Research Center Co Ltd
CATARC Tianjin Automotive Engineering Research Institute Co Ltd
Original Assignee
China Automotive Technology and Research Center Co Ltd
CATARC Tianjin Automotive Engineering Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Technology and Research Center Co Ltd, CATARC Tianjin Automotive Engineering Research Institute Co Ltd filed Critical China Automotive Technology and Research Center Co Ltd
Priority to CN201910074583.5A priority Critical patent/CN109886308B/zh
Publication of CN109886308A publication Critical patent/CN109886308A/zh
Application granted granted Critical
Publication of CN109886308B publication Critical patent/CN109886308B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明一种基于目标级别的双传感器数据融合方法、装置、电子设备及存储介质,涉及车辆目标特征融合技术,用于解决车辆毫米波雷达和摄像头传感器在目标级数据融合方面的目标一致性确认问题,能够简化计算过程,提高计算效率,增加对前方物体数量及位置的检测精度。本方法包括:获取第一目标点和第二目标点的数据信息;确定所述第一目标点和第二目标点之间的距离和速度差值均小于预设阈值,此时认为第一目标点和第二目标点是同一目标物;将毫米波雷达探测到的该目标物相对于本车的速度和纵向距离、摄像头探测到的该目标物的类别和横向距离组合作为该目标物的目标级数据信息。

Description

一种基于目标级别的双传感器数据融合方法和装置
技术领域
本发明属于车辆目标特征融合技术领域,尤其是涉及一种基于目标级别的双传感器数据融合方法、装置、电子设备及存储介质。
背景技术
高级驾驶辅助系统或自动驾驶系统的快速发展对车辆感知性能提出了更为严苛的要求,可以说感知性能的提升对于系统性能的提升是革命性的。但受限于技术、成本等各方面原因,目前单一传感器还难以满足复杂的车辆周边环境信息感知,因此使用多种传感器进行数据融合成为各个研究机构努力的方向。而目前车辆上使用的环境感知传感器主要有激光雷达(LiDAR)、毫米波雷达(Radar)和摄像头,激光雷达具有探测精准、分辨率高等优点,但受限于激光雷达的成本,目前以及未来一段时间在量产车上使用的主要传感器还是毫米波雷达和摄像头。毫米波雷达具有测距、测速精准、受天气影响小的特点,但是其目标分辨能力和目标角度分辨能力较弱,而摄像头对于目标类型和目标物角度分辨具有较高的辨识能力,如果能够将毫米波雷达和摄像头进行目标融合,那么对于系统感知性能的提高具有非常显著的帮助。
目前进行传感器融合感知有三大目标方向,分别是像素级数据融合、特征级数据融合和目标级数据融合。像素级数据融合在传感器原始数据端就进行数据匹配融合,需要对海量的数据进行处理,对于车载计算资源提出非常高的要求;特征级数据融合是各单一传感器对原始数据进行简单滤波后再进行目标匹配,这种融合方式处理的数据量相比原始数据量并没有减少很多,另外还有可能滤掉一些关键信息;而目标级数据融合是各单一传感器对原始数据进行滤波、特征提取之后再进行目标匹配融合,此时数据量较小,目标信息比较明确,可以由主机厂等集成方对毫米波雷达和摄像头两个厂家的传感器进行数据融合解读,提高传感器的感知性能。
现有技术中,亟待解决的技术问题是:如何实现车辆毫米波雷达和摄像头传感器在目标级数据融合方面的目标一致性确认,以很好地对同一目标物发挥二者传感器各自的优点,也即摄像头的目标分辨和角度分辨能力,毫米波雷达的测距和测速能力,提高车辆环境感知传感器对目标探测的精准度。
发明内容
有鉴于此,本发明实施例提供一种基于目标级别的双传感器数据融合方法、装置、电子设备及存储介质,能够简化毫米波雷达和摄像头融合的计算过程,提高计算效率,增加对前方物体数量及位置的检测精度。
为达到上述目的,本发明的技术方案是这样实现的:
一种基于目标级别的双传感器数据融合方法,获取第一目标点和第二目标点的数据信息,其中,数据信息包括位置信息和速度信息,第一目标点代表毫米波雷达传感器探测到的目标物,第二目标点代表摄像头探测到的目标物;
确定第一目标点和第二目标点之间的距离小于第一预设阈值,并且第一目标点的速度和第二目标点的速度之间的差值小于第二预设阈值,此时认为第一目标点和第二目标点是同一目标物;
将毫米波雷达探测到的该目标物相对于本车的速度和纵向距离、摄像头探测到的该目标物的类别和横向距离组合作为该目标物的目标级数据信息。
进一步的,第一预设阈值W分为车与车之间的阈值Wctc及人与人之间的阈值Wptp,Wctc和Wptp通过提取摄像头和毫米波雷达传感器对同一目标物的目标级数据,对目标物相对本车的距离坐标进行统计得来。
进一步的,当第一目标点的速度方向和第二目标点的速度方向不同,则第二预设阈值V设定为0;
如果相同,并且当第二目标点的类别为人,则第二预设阈值V设定为与第一目标点的速度VB满足如下关系:V=0.1VB
如果相同,并且当第二目标点的类别为车,则第二预设阈值V设定为与第一目标点的速度VB关系满足如下关系:
当VB<50km/h时,V=0.1VB
当50km/h≤VB<80km/h时,V=0.095VB
当80km/h≤VB<100km/h时,V=0.09VB
当100km/h≤VB<120km/h时,V=0.085VB
当VB≥120km/h时,V=0.08VB
进一步的,获取模块,用于获取第一目标点和第二目标点的数据信息,其中,数据信息包括位置信息和速度信息,第一目标点代表毫米波雷达传感器探测到的目标物,第二目标点代表摄像头探测到的目标物;
确定模块,用于确定第一目标点和第二目标点之间的距离小于第一预设阈值,并且第一目标点的速度和第二目标点的速度之间的差值小于第二预设阈值,此时认为第一目标点和第二目标点是同一目标物;
组合模块,用于将毫米波雷达探测到的该目标物相对于本车的速度和纵向距离、摄像头探测到的该目标物的类别和横向距离组合作为该目标物的目标级数据信息。
进一步的,第一预设阈值W分为车与车之间的阈值Wctc及人与人之间的阈值Wptp,Wctc和Wptp通过提取摄像头和毫米波雷达传感器对同一目标物的目标级数据,对目标物相对本车的距离坐标进行统计得来。
进一步的,当第一目标点的速度方向和第二目标点的速度方向不同,则第二预设阈值V设定为0;
如果相同,并且当第二目标点的类别为人,则第二预设阈值V设定为与第一目标点的速度VB满足如下关系:V=0.1VB
如果相同,并且当第二目标点的类别为车,则第二预设阈值V设定为与第一目标点的速度VB关系满足如下关系:
当VB<50km/h时,V=0.1VB
当50km/h≤VB<80km/h时,V=0.095VB
当80km/h≤VB<100km/h时,V=0.09VB
当100km/h≤VB<120km/h时,V=0.085VB
当VB≥120km/h时,V=0.08VB
一种电子设备,电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述的基于目标级别的双传感器数据融合的方法。
一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现前述的基于目标级别的双传感器数据融合的方法。
相对于现有技术,本发明基于目标级别的双传感器数据融合方法和装置,具有以下优势:
本发明基于目标级别的双传感器数据融合方法和装置,通过判断第一目标点(毫米波雷达传感器探测到的目标物)和第二目标点(摄像头探测到的目标物)之间的距离是否小于第一预设阈值,以及第一目标点的速度和第二目标点的速度之间的差值是否小于第二预设阈值,当两者都小于时认为第一目标点和第二目标点符合目标物一致性,即在位置上是同一目标物,之后将毫米波雷达探测到的该目标物相对于本车的速度和纵向距离、摄像头探测到的该目标物的类别和横向距离组合作为该目标物的目标级数据信息,本发明能够很好地对同一目标物发挥毫米波雷达传感器和摄像头两者各自的优点,也即摄像头的目标分辨和角度分辨能力,毫米波雷达的测距和测速能力,能够简化毫米波雷达和摄像头融合的计算过程,提高计算效率,增加对前方物体数量及位置的检测精度。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
在附图中:
图1为本发明基于目标级别的双传感器数据融合方法实施例一的流程图;
图2(a)-(b)为本发明基于目标级别的双传感器数据融合方法实施例一的原理图;
图3为本发明基于目标级别的双传感器数据融合方法实施例一中物体目标融合过程示意图,其中A、G为摄像头探测到的物体目标,B、H为毫米波雷达探测到的物体目标;
图4为本发明基于目标级别的双传感器数据融合装置实施例一的结构示意图;
图5为本发明电子设备一个实施例的结构示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
术语解释:
物体目标:传感器检测到的前方的物体;
目标级数据:传感器对检测到的前方物体目标进行数据滤波、特征提取等处理之后,最终简化为一个点来代表前方物体目标,该点所呈现的速度、位置等信息即为目标级数据。
如图1所示,本实施例提供一种基于目标级别的双传感器数据融合方法,包括:
步骤101:获取第一目标点和第二目标点的数据信息,其中,数据信息包括位置信息和速度信息,第一目标点代表毫米波雷达传感器探测到的目标物,第二目标点代表摄像头探测到的目标物;
步骤102:确定第一目标点和第二目标点之间的距离小于第一预设阈值,并且第一目标点的速度和第二目标点的速度之间的差值小于第二预设阈值,此时认为第一目标点和第二目标点是同一目标物;
本步骤中,第一预设阈值、第二预设阈值的大小可以根据实际情况灵活设定,具体的,可以根据目标物的尺寸/速度大小进行设定。如果本步骤中第一目标点和第二目标点之间的距离大于等于第一预设阈值,和/或第一目标点的速度和第二目标点的速度之间的差值大于等于第二预设阈值,则认为第一目标点和第二目标点不是同一目标物。
具体的,以图2(a)为例,摄像头测得物体目标A相对于本车的距离坐标为(XA,YA),相对于本车的车速为VA;毫米波雷达测得物体目标B相对于本车的距离D,偏离角α,相对于本车的车速为VB,计算得到相对坐标为(XB,YB);按照下式(1)(2)(3)(4)(5)(6)(7)计算出物体目标A和物体目标B之间的相对距离d和相对速度ΔV。
XB=D×cosα; (1)
YB=abs(D×sinα); (2)
ΔX=abs(XA-XB); (3)
ΔY=abs(YA-YB); (4)
ΔV=abs(VA-VB); (6)
VBX=Vegvx+VB; (7)
式中:θ为毫米波雷达的水平测量角度范围;
β为摄像头的水平测量角度范围;
A为摄像头识别到的目标;
B为毫米波雷达识别到的目标;
D为毫米波雷达测得的物体目标B的距离;
α为毫米波雷达测得的物体目标B的偏离角度;
XA为摄像头测量目标相对于本车的纵向距离;
YA为摄像头测量目标相对于本车的横向距离;
XB为毫米波雷达测量目标相对于本车的纵向距离;
YB为毫米波雷达测量目标相对于本车的横向距离;
VA为摄像头测得的目标速度;
VB为毫米波雷达测得的目标速度;
Vegox为本车速度;
VBX为毫米波雷达测量的目标纵向速度。
设定距离阈值W和速度阈值V,若物体目标B的相对坐标落在以物体目标A相对坐标为圆心,W为半径的圆内,进一步,相对速度满足ΔV<V,则判断物体目标A和物体目标B为同一物体。否则,判断物体目标A和物体目标B为两个不关联的独立物体,见图2(b)。如果物体目标有多个,则判断顺序可以如图3所示,首先判断A、B是否为同一物体目标,如果是,记为C,然后判断C和G是否为同一物体目标;如果A和B不为同一物体目标,则判断B和G是否为同一物体目标,依次进行。
步骤103:将毫米波雷达探测到的该目标物相对于本车的速度和纵向距离、摄像头探测到的该目标物的类别和横向距离组合作为该目标物的目标级数据信息。
在图2(a)-(b)所示的例子中,摄像头测得数据中YA精确度极高,雷达测得数据中XB和VB精确度极高,所以对于已经判断为同一物体,直接使用相对应的(XB,YA)作为其相对于本车的距离坐标,使用相对应的VB作为其相对于本车的速度。融合后的该目标物的目标级数据信息可以用作后续决策层的算法执行依据。
本实施例,通过判断第一目标点(毫米波雷达传感器探测到的目标物)和第二目标点(摄像头探测到的目标物)之间的距离是否小于第一预设阈值,以及第一目标点的速度和第二目标点的速度之间的差值是否小于第二预设阈值,当两者都小于时认为第一目标点和第二目标点符合目标物一致性,即在位置上是同一目标物,之后将毫米波雷达探测到的该目标物相对于本车的速度和纵向距离、摄像头探测到的该目标物的类别和横向距离组合作为该目标物的目标级数据信息,本发明实施例能够很好地对同一目标物发挥毫米波雷达传感器和摄像头两者各自的优点,也即摄像头的目标分辨和角度分辨能力,毫米波雷达的测距和测速能力,能够简化毫米波雷达和摄像头融合的计算过程,提高计算效率,增加对前方物体数量及位置的检测精度。
本实施例具有以下有益效果:
1)减少摄像头和雷达数据融合计算量,提高计算速率;
2)提高了车辆感知系统对前方物体数量测量的准确性;
3)提高了车辆感知系统对前方物体位置及速度测量的精确性。
上述步骤102还可以采用下述技术方案简化判断:
当第一目标点的速度大于10km/h时,认定毫米波雷达传感器探测到的目标物为车,反之则认定为人;当第一目标点和第二目标点属于不同类别时,直接判定第一目标点和第二目标点不是同一目标物。
为了进一步提高数据融合的准确率,可以对第一预设阈值和第二预设阈值分别做如下优化:
第一预设阈值W可以分为车与车之间的阈值Wctc及人与人之间的阈值Wptp,具体大小可以通过预先标定得到。例如,Wctc的标定过程:提取摄像头和毫米波雷达对同一目标物(依据车长分为小型车、中型车、大型车)的目标级数据,对目标物相对本车的距离坐标进行多次数据统计,根据统计结果,针对不同车型,分别设定Wctc,测试结果确保正确率95%以上。第一预设阈值判断时,首先通过摄像头确认目标车型,然后查表得到对应的Wctc。Wptp的标定过程同Wctc,统计得出,确保正确率95%以上。
对于第二预设阈值,当第一目标点(毫米波雷达传感器探测到的目标物)的速度方向和第二目标点(摄像头探测到的目标物)的速度方向不同,则第二预设阈值V设定为0;
如果相同,并且当第二目标点的类别(该类别信息可以直接从摄像头探测到的目标级数据中得到)为人,则第二预设阈值V设定为与第一目标点的速度VB满足如下关系:V=0.1VB
如果相同,并且当第二目标点的类别为车,则第二预设阈值V设定为与第一目标点的速度VB关系满足如下关系:
当VB<50km/h时,V=0.1VB
当50km/h≤VB<80km/h时,V=0.095VB
当80km/h≤VB<100km/h时,V=0.09VB
当100km/h≤VB<120km/h时,V=0.085VB
当VB≥120km/h时,V=0.08VB
在对第二预设阈值的优化过程中,首先判断两个目标物的速度方向是否相同,不同则明显为不同目标物;相同时,又根据摄像头探测到的目标物的类别(人或车)不同、毫米波雷达传感器探测到的目标物速度的不同,研究出各种情况下第二预设阈值V与第一目标点(毫米波雷达传感器探测到的目标物)的速度VB之间的关系,对第二预设阈值V进行了优化设定。本实施例能够极大的提高数据融合的准确率,经测定,相对于将第二预设阈值设定为固定值的情况,本实施例对目标物一致性的误判率可以从10%下降至3%以内。
图4为本发明基于目标级别的双传感器数据融合装置实施例一的结构示意图,如图4所示,本实施例的装置可以包括:
获取模块11,用于获取第一目标点和第二目标点的数据信息,其中,数据信息包括位置信息和速度信息,第一目标点代表毫米波雷达传感器探测到的目标物,第二目标点代表摄像头探测到的目标物;
确定模块12,用于确定第一目标点和第二目标点之间的距离小于第一预设阈值,并且第一目标点的速度和第二目标点的速度之间的差值小于第二预设阈值,此时认为第一目标点和第二目标点是同一目标物;
组合模块13,用于将毫米波雷达探测到的该目标物相对于本车的速度和纵向距离、摄像头探测到的该目标物的类别和横向距离组合作为该目标物的目标级数据信息。
本实施例的装置,可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
进一步的,确定模块12,还可以使用如下简化判断方式:当第一目标点的速度大于10km/h时,认定毫米波雷达传感器探测到的目标物为车,反之则认定为人;当第一目标点和第二目标点属于不同类别时,直接判定第一目标点和第二目标点不是同一目标物。
考虑到毫米波雷达的目标类型分辨能力较弱,摄像头的目标类型分辨能力较强,从毫米波雷达处获取的目标级数据通常不包括类型数据,即使包括,也不能作为有效参考;此处通过判断第一目标点的速度是否大于10km/h的方式,对毫米波雷达探测到的目标物的类型进行了简便快速的认定,而第二目标点的类别可以直接从摄像头探测到的目标级数据中得到,本实施例能够提高后续数据融合的效率并兼顾准确率。
为了进一步提高数据融合准确率,可以对第一预设阈值和第二预设阈值分别做如下优化:
第一预设阈值W分为车与车之间的阈值Wctc及人与人之间的阈值Wptp,Wctc和Wptp通过提取摄像头和毫米波雷达传感器对同一目标物的目标级数据,对目标物相对本车的距离坐标进行统计得来。
对于第二预设阈值,当第一目标点的速度方向和第二目标点的速度方向不同,则第二预设阈值V设定为0;
如果相同,并且当第二目标点的类别(该类别信息可以直接从摄像头探测到的目标级数据中得到)为人,则第二预设阈值V设定为与第一目标点的速度VB满足如下关系:V=0.1VB
如果相同,并且当第二目标点的类别为车,则第二预设阈值V设定为与第一目标点的速度VB关系满足如下关系:
当VB<50km/h时,V=0.1VB
当50km/h≤VB<80km/h时,V=0.095VB
当80km/h≤VB<100km/h时,V=0.09VB
当100km/h≤VB<120km/h时,V=0.085VB
当VB≥120km/h时,V=0.08VB
本发明实施例还提供一种电子设备,如图5所示,可以实现本发明图1所示方法实施例的流程,该电子设备可以包括:壳体41、处理器42、存储器43、电路板44和电源电路45,其中,电路板44安置在壳体41围成的空间内部,处理器42和存储器43设置在电路板44上;电源电路45,用于为上述电子设备的各个电路或器件供电;存储器43用于存储可执行程序代码;处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述任一方法实施例方法。
处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤,可以参见本发明图1所示方法实施例的描述,在此不再赘述。
该电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述任一方法实施例方法步骤。
本发明的实施例还提供一种应用程序,应用程序被执行以实现本发明任一方法实施例提供的方法。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。为了描述的方便,描述以上装置是以功能分为各种单元/模块分别描述。当然,在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于目标级别的双传感器数据融合方法,其特征在于:获取第一目标点和第二目标点的数据信息,其中,所述数据信息包括位置信息和速度信息,所述第一目标点代表毫米波雷达传感器探测到的目标物,第二目标点代表摄像头探测到的目标物;
确定所述第一目标点和第二目标点之间的距离小于第一预设阈值,并且第一目标点的速度和第二目标点的速度之间的差值小于第二预设阈值,此时认为第一目标点和第二目标点是同一目标物;
将毫米波雷达探测到的该目标物相对于本车的速度和纵向距离、摄像头探测到的该目标物的类别和横向距离组合作为该目标物的目标级数据信息。
2.根据权利要求1所述的基于目标级别的双传感器数据融合方法,其特征在于:所述第一预设阈值W分为车与车之间的阈值Wctc及人与人之间的阈值Wptp,所述Wctc和Wptp通过提取摄像头和毫米波雷达传感器对同一目标物的目标级数据,对目标物相对本车的距离坐标进行统计得来。
3.根据权利要求1所述的基于目标级别的双传感器数据融合方法,其特征在于:当所述第一目标点的速度方向和第二目标点的速度方向不同,则所述第二预设阈值V设定为0;
如果相同,并且当所述第二目标点的类别为人,则所述第二预设阈值V设定为与第一目标点的速度VB满足如下关系:V=0.1VB
如果相同,并且当所述第二目标点的类别为车,则所述第二预设阈值V设定为与第一目标点的速度VB关系满足如下关系:
当VB<50km/h时,V=0.1VB
当50km/h≤VB<80km/h时,V=0.095VB
当80km/h≤VB<100km/h时,V=0.09VB
当100km/h≤VB<120km/h时,V=0.085VB
当VB≥120km/h时,V=0.08VB
4.一种基于目标级别的双传感器数据融合装置,其特征在于:获取模块,用于获取第一目标点和第二目标点的数据信息,其中,所述数据信息包括位置信息和速度信息,所述第一目标点代表毫米波雷达传感器探测到的目标物,第二目标点代表摄像头探测到的目标物;
确定模块,用于确定所述第一目标点和第二目标点之间的距离小于第一预设阈值,并且第一目标点的速度和第二目标点的速度之间的差值小于第二预设阈值,此时认为第一目标点和第二目标点是同一目标物;
组合模块,用于将毫米波雷达探测到的该目标物相对于本车的速度和纵向距离、摄像头探测到的该目标物的类别和横向距离组合作为该目标物的目标级数据信息。
5.根据权利要求4所述的基于目标级别的双传感器数据融合装置,其特征在于:所述第一预设阈值W分为车与车之间的阈值Wctc及人与人之间的阈值Wptp,所述Wctc和Wptp通过提取摄像头和毫米波雷达传感器对同一目标物的目标级数据,对目标物相对本车的距离坐标进行统计得来。
6.根据权利要求5所述的基于目标级别的双传感器数据融合装置,其特征在于:当所述第一目标点的速度方向和第二目标点的速度方向不同,则所述第二预设阈值V设定为0;
如果相同,并且当所述第二目标点的类别为人,则所述第二预设阈值V设定为与第一目标点的速度VB满足如下关系:V=0.1VB
如果相同,并且当所述第二目标点的类别为车,则所述第二预设阈值V设定为与第一目标点的速度VB关系满足如下关系:
当VB<50km/h时,V=0.1VB
当50km/h≤VB<80km/h时,V=0.095VB
当80km/h≤VB<100km/h时,V=0.09VB
当100km/h≤VB<120km/h时,V=0.085VB
当VB≥120km/h时,V=0.08VB
7.一种电子设备,其特征在于,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述权利要求1-3中任一所述的基于目标级别的双传感器数据融合的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现前述权利要求1-3中任一所述的基于目标级别的双传感器数据融合的方法。
CN201910074583.5A 2019-01-25 2019-01-25 一种基于目标级别的双传感器数据融合方法和装置 Active CN109886308B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910074583.5A CN109886308B (zh) 2019-01-25 2019-01-25 一种基于目标级别的双传感器数据融合方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910074583.5A CN109886308B (zh) 2019-01-25 2019-01-25 一种基于目标级别的双传感器数据融合方法和装置

Publications (2)

Publication Number Publication Date
CN109886308A true CN109886308A (zh) 2019-06-14
CN109886308B CN109886308B (zh) 2023-06-23

Family

ID=66926952

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910074583.5A Active CN109886308B (zh) 2019-01-25 2019-01-25 一种基于目标级别的双传感器数据融合方法和装置

Country Status (1)

Country Link
CN (1) CN109886308B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456321A (zh) * 2019-08-21 2019-11-15 森思泰克河北科技有限公司 滤除雷达误报的方法、终端设备及存储介质
CN110488258A (zh) * 2019-08-30 2019-11-22 成都纳雷科技有限公司 一种周界区域安防中虚警抑制方法及装置
CN110865367A (zh) * 2019-11-30 2020-03-06 山西禾源科技股份有限公司 一种雷达视频数据智能融合方法
CN110979158A (zh) * 2019-12-23 2020-04-10 北京海纳川汽车部件股份有限公司 车辆及其车灯的控制方法与装置
CN111191697A (zh) * 2019-12-21 2020-05-22 武汉光庭信息技术股份有限公司 基于传感器融合的adas道路测试验证优化方法和装置
CN111507429A (zh) * 2020-05-29 2020-08-07 智慧航海(青岛)科技有限公司 智能船舶多源感知数据船端融合方法、装置和决策系统
CN111505623A (zh) * 2020-04-24 2020-08-07 中南大学 无人驾驶车辆行驶过程中的障碍物检测方法、系统、车辆
CN111695619A (zh) * 2020-06-05 2020-09-22 中国第一汽车股份有限公司 一种多传感器目标融合方法、装置、车辆及存储介质
CN112083412A (zh) * 2020-09-15 2020-12-15 纳瓦电子(上海)有限公司 毫米波雷达与c-v2x系统的融合方法及其系统和电子设备
CN113325415A (zh) * 2021-04-20 2021-08-31 武汉光庭信息技术股份有限公司 车辆雷达数据和相机数据的融合方法及系统
CN113505732A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 视觉目标的确定方法及装置、存储介质、电子装置
CN113515579A (zh) * 2021-06-17 2021-10-19 自然资源部地图技术审查中心 一种界峰数据的筛查方法及装置
CN113611112A (zh) * 2021-07-29 2021-11-05 中国第一汽车股份有限公司 一种目标关联方法、装置、设备及存储介质
CN114624711A (zh) * 2020-12-11 2022-06-14 中寰卫星导航通信有限公司 一种不同雷达信息的融合方法、装置、存储介质及设备
CN115079155A (zh) * 2022-05-27 2022-09-20 中国第一汽车股份有限公司 目标检测方法、装置和车辆

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292475A (ja) * 2005-04-07 2006-10-26 Toyota Motor Corp 物体検出装置
JP2009019914A (ja) * 2007-07-10 2009-01-29 Toyota Motor Corp 物体検出装置
US20090201192A1 (en) * 2005-11-09 2009-08-13 Toyota Jidosha Kabushiki Kaisha Object detection device
CN103324936A (zh) * 2013-05-24 2013-09-25 北京理工大学 一种基于多传感器融合的车辆下边界检测方法
CN106004659A (zh) * 2016-08-03 2016-10-12 安徽工程大学 车辆周围环境感知系统及其控制方法
WO2017116134A1 (ko) * 2015-12-30 2017-07-06 건아정보기술 주식회사 레이더 및 영상 융합 차량 단속시스템
CN109085570A (zh) * 2018-06-10 2018-12-25 南京理工大学 基于数据融合的车辆检测跟踪算法
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006292475A (ja) * 2005-04-07 2006-10-26 Toyota Motor Corp 物体検出装置
US20090201192A1 (en) * 2005-11-09 2009-08-13 Toyota Jidosha Kabushiki Kaisha Object detection device
JP2009019914A (ja) * 2007-07-10 2009-01-29 Toyota Motor Corp 物体検出装置
CN103324936A (zh) * 2013-05-24 2013-09-25 北京理工大学 一种基于多传感器融合的车辆下边界检测方法
WO2017116134A1 (ko) * 2015-12-30 2017-07-06 건아정보기술 주식회사 레이더 및 영상 융합 차량 단속시스템
CN106004659A (zh) * 2016-08-03 2016-10-12 安徽工程大学 车辆周围环境感知系统及其控制方法
CN109085570A (zh) * 2018-06-10 2018-12-25 南京理工大学 基于数据融合的车辆检测跟踪算法
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TAO WANG等: "A Method Integrating Human Visual Attention and Consciousness of Radar and Vision Fusion for Autonomous Vehicle Navigation", 《2011 IEEE FOURTH INTERNATIONAL CONFERENCE ON SPACE MISSION CHALLENGES FOR INFORMATION TECHNOLOGY》 *
程蕾: "基于毫米波雷达和机器视觉的夜间前方车辆检测研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
金立生等: "基于毫米波雷达和机器视觉的夜间前方车辆检测", 《汽车安全与节能学报》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456321B (zh) * 2019-08-21 2021-07-30 森思泰克河北科技有限公司 滤除雷达误报的方法、终端设备及存储介质
CN110456321A (zh) * 2019-08-21 2019-11-15 森思泰克河北科技有限公司 滤除雷达误报的方法、终端设备及存储介质
CN110488258A (zh) * 2019-08-30 2019-11-22 成都纳雷科技有限公司 一种周界区域安防中虚警抑制方法及装置
CN110865367A (zh) * 2019-11-30 2020-03-06 山西禾源科技股份有限公司 一种雷达视频数据智能融合方法
CN110865367B (zh) * 2019-11-30 2023-05-05 山西禾源科技股份有限公司 一种雷达视频数据智能融合方法
CN111191697B (zh) * 2019-12-21 2023-04-28 武汉光庭信息技术股份有限公司 基于传感器融合的adas道路测试验证优化方法和装置
CN111191697A (zh) * 2019-12-21 2020-05-22 武汉光庭信息技术股份有限公司 基于传感器融合的adas道路测试验证优化方法和装置
CN110979158A (zh) * 2019-12-23 2020-04-10 北京海纳川汽车部件股份有限公司 车辆及其车灯的控制方法与装置
CN111505623A (zh) * 2020-04-24 2020-08-07 中南大学 无人驾驶车辆行驶过程中的障碍物检测方法、系统、车辆
CN111507429B (zh) * 2020-05-29 2023-08-01 智慧航海(青岛)科技有限公司 智能船舶多源感知数据船端融合方法、装置和决策系统
CN111507429A (zh) * 2020-05-29 2020-08-07 智慧航海(青岛)科技有限公司 智能船舶多源感知数据船端融合方法、装置和决策系统
CN111695619A (zh) * 2020-06-05 2020-09-22 中国第一汽车股份有限公司 一种多传感器目标融合方法、装置、车辆及存储介质
CN112083412A (zh) * 2020-09-15 2020-12-15 纳瓦电子(上海)有限公司 毫米波雷达与c-v2x系统的融合方法及其系统和电子设备
CN114624711B (zh) * 2020-12-11 2024-05-17 中寰卫星导航通信有限公司 一种不同雷达信息的融合方法、装置、存储介质及设备
CN114624711A (zh) * 2020-12-11 2022-06-14 中寰卫星导航通信有限公司 一种不同雷达信息的融合方法、装置、存储介质及设备
CN113325415A (zh) * 2021-04-20 2021-08-31 武汉光庭信息技术股份有限公司 车辆雷达数据和相机数据的融合方法及系统
CN113325415B (zh) * 2021-04-20 2023-10-13 武汉光庭信息技术股份有限公司 车辆雷达数据和相机数据的融合方法及系统
CN113515579A (zh) * 2021-06-17 2021-10-19 自然资源部地图技术审查中心 一种界峰数据的筛查方法及装置
CN113515579B (zh) * 2021-06-17 2024-01-19 自然资源部地图技术审查中心 一种界峰数据的筛查方法及装置
CN113505732A (zh) * 2021-07-26 2021-10-15 浙江大华技术股份有限公司 视觉目标的确定方法及装置、存储介质、电子装置
CN113611112A (zh) * 2021-07-29 2021-11-05 中国第一汽车股份有限公司 一种目标关联方法、装置、设备及存储介质
CN115079155A (zh) * 2022-05-27 2022-09-20 中国第一汽车股份有限公司 目标检测方法、装置和车辆

Also Published As

Publication number Publication date
CN109886308B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN109886308A (zh) 一种基于目标级别的双传感器数据融合方法和装置
CN109901156A (zh) 一种车辆毫米波雷达和摄像头的目标融合方法和装置
Chen et al. Cooper: Cooperative perception for connected autonomous vehicles based on 3d point clouds
CN109271944B (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
US10867189B2 (en) Systems and methods for lane-marker detection
CN102208013B (zh) 风景匹配参考数据生成系统和位置测量系统
CN103150786B (zh) 一种非接触式无人驾驶车辆行驶状态测量系统及测量方法
CN112085952B (zh) 监控车辆数据方法、装置、计算机设备及存储介质
US20120029813A1 (en) Method for judging vehicle traveling position and vehicle traveling position judgment device
Rawashdeh et al. Collaborative automated driving: A machine learning-based method to enhance the accuracy of shared information
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
CN105185134A (zh) 电子装置、电子装置的控制方法及计算机可读记录介质
CN113033463B (zh) 减速带检测方法、装置、电子设备及存储介质
CN112884892B (zh) 基于路侧装置的无人矿车位置信息处理系统和方法
CN105654030A (zh) 电子装置、电子装置的控制方法、计算机程序及计算机可读记录介质
CN114299464A (zh) 车道定位方法、装置及设备
CN110659548A (zh) 车辆及其目标检测方法、装置
CN111256693A (zh) 一种计算位姿变化方法及车载终端
CN111856417A (zh) 车载毫米波雷达的性能分析方法、装置、终端及存储介质
CN113850867A (zh) 相机参数标定及设备的控制方法、装置、设备及存储介质
CN112861683A (zh) 一种行驶朝向检测方法、装置、计算机设备及存储介质
CN112805724B (zh) 车辆驾驶场景识别方法及装置
Liu et al. Vision‐based inter‐vehicle distance estimation for driver alarm system
CN110843772B (zh) 潜在碰撞的相对方向判断方法、装置、设备及存储介质
CN114743395B (zh) 一种信号灯检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant