CN109922439B - 多传感器数据的融合方法、基于v2x的目标检测方法及系统 - Google Patents

Abstract

本发明公开了一种多传感器数据的融合方法、基于V2X的目标检测方法及系统，本发明通过对多种传感器的优缺点进行融合，采用对同一目标多组传感器进行互检的方式，提高了检测精度，在各传感器之间建立物理层至顶层应用的协议，以确保各传感器互联互通，对共同检测的信息增加精度标识，并利用精度标识提供优先级顺序，进行信息的横向精度校正，从而得到更加准确的检测信息。同时主单元设备支持多路传感器的接入，对检测信息进行互补重组并广播出去。本发明提高了检测设备的检测能力以及精度，提高了检测效率。

Description

多传感器数据的融合方法、基于V2X的目标检测方法及系统

技术领域

本发明属于汽车车联网技术领域，具体涉及一种多传感器数据的融合方法、基于V2X的目标检测方法及系统。

背景技术

随着自动驾驶技术的高速发展，仅限于单车自动驾驶技术的弊端也越发明显。车载侧的传感器无论精度再高，融合检测性能再强，也必定会受距离影响存在盲区，为解决这一问题，便需要通过网联技术来实现非视距的信息检测，这就是V2X（车用无线通信）技术。为保障盲区的行车安全，V2X技术中行人检测技术（以下简称行人检测）得到发展，行人检测主要原理是利用路侧端检测设备（以下简称传感器）进行信息检测，得到检测信息后由路侧单元设备（以下简称RSU，Road Side Unit）将信息打包成RSM（Road Side Message, 路侧单元消息）消息集进行广播，最后由车辆端设备进行接收并通过车辆端的应用算法完成应用的实现。路侧端主流的传感器有2种：视频检测与微波检测。对于视频检测而言，通过图像处理，能够有效识别检测目标类型，可以进行实时录像处理，可推送检测画面，同时能有效计算出检测目标的相对距离，速度，经纬度等信息，但也受限于其成像特性，距离检测源越远的目标，检测精度会迅速下降，同时视频检测存在视频检测盲区无法检测重叠目标的历史轨迹以及轨迹预测。而对于微波检测而言，能有效地检测出目标的经纬度、航向角、速度等信息，且在有效范围内，不会因为目标的远近导致检测精度产生较大幅度的变化，并可以作出检测目标的历史轨迹与轨迹预测，但微波检测在检测静止目标时无法区分出检测目标类型，存在一定的缺陷。现下行人检测大多数为单一传感器提供信息检测，存在检测效率低下、局限于检测设备性能导致的检测信息过于简单、检测工况存在缺陷、检测精度较低等现象。而对于车辆端，受限于目前传感器检测的数据较为简单，大多数逻辑算法仅只根据目标检测的基本信息与车辆本身的基本信息进行距离计算，并给出一定的危险触发临界值，当车辆与目标距离小于临界值时则发出报警。由于传感检测单元的信息不足，以及精度较低，此类逻辑导致的误报率与漏报率较高，而且由于计算简单，无法应对复杂场景，像弯道盲区预警以及交叉口多路径预警，均无法满足实际的应用要求也无法与自动驾驶进行融合。

因此，有必要开发一种多传感器数据的融合方法、基于V2X的目标检测方法及系统。

发明内容

本发明的目的是提供一种多传感器数据的融合方法、基于V2X的目标检测方法及系统，能提高检测能力、精度以及检测效率。

本发明所述的一种多传感器数据的融合方法，将多传感器与主单元设备组成一系统网络，各传感器之间、传感器与主单元设备之间能互联互通，以进行数据的收发与解析；其融合方法包括以下步骤：

第一步、利用各传感器进行数据检测得到原始数据；

第二步、各传感器对原始数据添加标识信息和封装打包，并向其他传感器进行数据推送，同时接收系统网络中其他传感器发送的数据；

第三步、各传感器将接收到的其他传感器的数据进行解析，还原成最初始报文数据，再将报文拆分成K类数据元素，并对同类的数据元素进行统计；

第四步、对数据元素的统计结果进行逐一判断，若同一检测目标的同类数据元素不唯一，则对所有的此类数据元素根据其检测设备物理特性的不同，进行优先级授权，即设定置信度，若同一检测目标的同类数据元素唯一，则认为此数据元素的置信度级别最高，直至所有类型的数据元素均完成优先级授权；

第五步、根据优先级进行数据元素的筛选，得到优先级最高的数据元素，具体为：

选取每类数据元素置信度级别最高的数据作为标准，其他传感器的同类数据元素均以此进行数据校核，判断置信度最高的数据元素与同类元素的偏差值是否在预设范围内，若置信度最高的数据元素与其他同类数据元素的偏差值均处于预设范围内，则认定置信度最高的数据元素为有效数据；否则认定置信度最高的数据元素无效，改以次置信度级别的数据元素为标准，将其他传感器的同类数据元素均以此进行数据校核，以此类推，直至得到每一类数据元素置信度最高的数据；

第六步、对每一类置信度最高的数据元素进行取值，若此数据元素唯一，则该数据元素当前的值为最终值；若满足条件的数据元素有多个，则取平均值为最终值；

第七步、各类数据元素在进入主单元设备后进行互补重组并打包。

本发明所述的一种基于V2X的目标检测方法，包括以下步骤：

步骤1、车辆端获取RSM消息、MAP消息（即RSU周围的地图数据，在RSU开发过程中，将MAP数据写入到RSU中，由路侧端发给车辆端）和BSM消息（即车辆的基础安全消息，包括车辆本身的基础安全消息，以及车辆端通过V2X系统接收到的其他车辆的基础安全数据），其中，RSM消息为路侧端发送的数据，路侧端包括路侧单元设备、路侧端V2X通信设备和传感器部分，其中，传感器部分包括多个传感器，且至少包括视频检测传感器和微波检测传感器，将路侧单元设备和多种传感器组成一系统网络，各传感器之间、传感器与路侧单元设备之间能互联互通，以进行数据的收发与解析；多种传感器用于采集数据并采用如本发明所述的多传感器数据的融合方法得出各类数据元素，并由路侧单元设备互补重组成打包成BSM消息，由路侧端V2X通信设备向外广播；

步骤2、对RSM消息、MAP消息和BSM消息进行解析；

步骤3、将本车BSM消息与MAP消息进行匹配，计算MAP中本车所在位置信息；

步骤4、将RSM消息与MAP消息进行匹配，确定MAP中检测目标的位置信息，判断目标所在位置是否处于MAP的有效范围内，若在有效范围内，则进入步骤5，若不在有效范围内，则认为目标与本车无危险情况，不进行预警；

步骤5、计算车辆预测轨迹；

步骤6、判断所检测的目标是否在车辆预测轨迹范围内，若目标在车辆预测轨迹范围内，则进入步骤7，若不在车辆预测轨迹范围内，则认为检测目标与本车无危险情况，不进行预警；

步骤7、计算检测目标和车辆的碰撞轨迹；

步骤8、以碰撞点为中心，给出安全范围和碰撞范围；

步骤9、计算本车行驶至安全范围的时间TTC（即碰撞预计时间），并以TTC计算检测目标的位置，得到检测目标距离安全范围的距离以及检测目标距离碰撞范围的距离；

步骤10、当TTC时间后，若检测目标的预测位置未进入安全范围，则不进行预警；若检测目标的预测位置进入安全范围但未进入碰撞范围时，则进行目标检测预警；若检测目标的预测位置进入碰撞范围时，则进行目标碰撞警告。

进一步，所述步骤1中，数据元素包括目标类型、速度、经纬度和航向角。

进一步，所述步骤3具体为：

利用本车BSM消息，提取出车辆经纬度、航向角、加速度和速度，结合MAP消息的内容，对本车所在位置进行定位计算，得到车辆所在MAP中Link的信息，此Link从上游节点至下游节点的坐标值以及此路段Link中各个参考点列表。

进一步，所述步骤4中：

利用本车BSM消息中目标检测信息的经纬度值与MAP消息内容进行匹配计算，确定本车BSM消息中检测目标所在位置是否处于MAP的有效范围之内。

进一步，所述步骤5具体为：

利用车辆从CAN总线得到的方向盘转角和转向灯信号信息，并结合MAP消息、车辆历史轨迹路径，进行车辆预测轨迹的计算，得到车辆将从本段Link驶向下游Link的信息。

进一步，所述步骤6中，利用RSM消息中检测目标的经纬度，计算检测目标的位置是否处在本车的车辆预测轨迹范围内。

进一步，所述目标为行人。

进一步，所述步骤10中，目标检测预警具体为：推送视频检测的实时行人过街视频，对驾驶员进行预警；

目标碰撞警告具体为：推送视频检测的实时行人过街视频，车辆与目标行人的碰撞轨迹示意图，推荐行驶轨迹以及车速至HMI（人机交互界面），以提醒驾驶员，避免碰撞。

本发明所述的一种基于V2X的目标检测系统，包括车辆端和路侧端，所述车辆端包括车载控制器以及与车载控制器相连接的车辆端V2X通信设备，所述路侧端包括路侧单元设备、路侧端V2X通信设备和传感器部分，其中，传感器部分包括多个传感器，且至少包括视频检测传感器和微波检测传感器，将路侧单元设备和多种传感器组成一系统网络，各传感器之间、传感器与路侧单元设备之间能互联互通，以进行数据的收发与解析；所述车辆端和路侧端被编程为以便执行如本发明所述的基于V2X的目标检测方法的步骤。

本发明具有以下优点：路侧端的检测设备采用多种传感器进行信息融合的检测方式，根据各个检测设备的物理特性进行检测信息的横向互补，以丰富检测信息内容，并利用其共有的检测信息提高检测设备的检测能力以及精度，从而提高了检测效率。在路侧端检测信息丰富后，同步在车辆端建立基于多传感融合信息的行人检测算法，提高了场景精度，减少了误报、漏报率，提高了应用实用性。

附图说明

图1为本发明的结构框图；

图2为本发明中所述多传感器数据的融合方法的流程图；

图3为本发明中所述基于V2X的目标检测方法的流程图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图2所示，本实施例中，一种多传感器数据的融合方法，将多传感器与主单元设备组成一系统网络，具体为：建立各个传感器之间、传感器与主单元设备之间从物理层至应用层的协议标准，使得各传感器之间、传感器与主单元设备之间均能够互联互通，能够进行数据的收发与解析；其融合方法包括以下步骤：

第一步、利用各传感器进行数据检测得到原始数据。

第二步、各传感器对原始数据添加标识信息和封装打包，并向其他传感器进行数据推送，同时接收系统网络中其他传感器发送的数据。

第三步、各传感器将接收到的其他传感器的数据进行解析，还原成最初始报文数据，再将报文拆分成K类数据元素，并对同类的数据元素进行统计。例如：把得到的数据报文拆分成目标类型、速度、经纬度、航向角，然后对多个传感器的同类数据进行统计。

第四步、对数据元素的统计结果进行逐一判断，若同一检测目标的同类数据元素不唯一，则对所有的此类数据元素根据其检测设备物理特性的不同，进行优先级授权（即设定置信度）和添加时间戳，若同一检测目标的同类数据元素唯一，则认为此数据元素的置信度级别最高，直至所有类型的数据元素均完成优先级授权。例如，以5个传感器为例，5个传感器通过检测得到5个“速度”，根据传感器的设备类型对每个“速度”添加置信度等级。

第五步、根据优先级进行数据元素的筛选，得到优先级最高的数据元素，具体为：

选取每类数据元素置信度级别最高的数据作为标准，其他传感器的同类数据元素均以此进行数据校核，判断置信度最高的数据元素与同类元素的偏差值是否在预设范围内，若置信度最高的数据元素与其他同类数据元素的偏差值均处于预设范围内，则认定置信度最高的数据元素为有效数据；否则认定置信度最高的数据元素无效，改以次置信度级别的数据元素为标准，将其他传感器的同类数据元素均以此进行数据校核，以此类推，直至得到每一类数据元素置信度最高的数据。例如，上一步的5个“速度”元素在完成置信度等级的分级后，取出置信度等级最高的“速度”元素，并分别与其他“速度”元素作差值，判断差值范围是否都处于前期标定给出的范围内，如果条件满足则进入下一步的计算。不满足则再取出置信度等级第二的“速度”元素重复上述操作，以此类推。

第六步、对每一类置信度最高的数据元素进行取值，若此数据元素唯一，则该数据元素当前的值为最终值；若满足条件的数据元素有多个，则取平均值为最终值。例如，数据元素通过筛选后，“速度”元素置信度最高的数据有2个，取其平均值，为最终“速度”这个数据元素的检测值；“目标类型”元素置信度最高的数据有1个，则这个值就是“目标类型”元素的检测值。

第七步、各类数据元素在进入主单元设备后进行互补重组并打包。比如：若多个传感器检测到的同一目标对象，若传感器1检测的目标类型为“目标类型1”元素的检测值，传感器2检测的速度2为“速度”元素的检测值，传感器3检测的经纬度为“经纬度3”元素的检测值，传感器4检测的航向角4和传感器5检测的航向角5的平均值为“航向角”元素的检测值，主单元设备将该目标的互补重组后为目标类型1+速度2+经纬度3+（航向角4和航向角5的平均值），并打包成BSM消息后广播出去。

如图3所示，本发明所述的一种基于V2X的目标检测方法，包括以下步骤：

步骤1、车辆端获取RSM消息、MAP消息和BSM消息，其中，RSM消息为路侧端发送的数据，路侧端包括路侧单元设备、路侧端V2X通信设备和传感器部分，其中，传感器部分包括多个传感器，且至少包括视频检测传感器和微波检测传感器，将路侧单元设备和多种传感器组成一系统网络，各传感器之间、传感器与路侧单元设备之间能互联互通，以进行数据的收发与解析；多种传感器用于采集数据并采用如本发明所述的多传感器数据的融合方法得出各类数据元素（比如：目标类型、速度、经纬度和航向角），并由路侧单元设备互补重组成打包成BSM消息，由路侧端V2X通信设备向外广播。

步骤2、对RSM消息、MAP消息和BSM消息进行解析；

步骤3、将本车BSM消息与MAP消息进行匹配，计算MAP中本车所在位置信息；具体为： 利用本车BSM消息，提取出车辆经纬度、航向角、加速度和速度，结合MAP消息的内容，对本车所在位置进行定位计算，得到车辆所在MAP中Link的信息（即MAP消息下的Link消息体，指地图信息下相邻节点的有向线段），此Link从上游节点至下游节点（路段起点与终点）的坐标值以及此路段Link中各个参考点列表。

步骤4、将RSM消息与MAP消息进行匹配，确定MAP中检测目标的位置信息，判断目标所在位置是否处于MAP的有效范围内，具体为：利用本车BSM消息中目标检测信息的经纬度值与MAP消息内容进行匹配计算，确定本车BSM消息中检测目标所在位置是否处于MAP的有效范围之内；若在有效范围内，则进入步骤5，若不在有效范围内，则认为目标与本车无危险情况，不进行预警。

步骤5、计算车辆预测轨迹；具体为：利用车辆从CAN总线得到的方向盘转角和转向灯信号信息，并结合MAP消息、车辆历史轨迹路径，进行车辆预测轨迹的计算，得到车辆将从本段Link驶向下游Link的信息。

步骤6、判断所检测的目标是否在车辆预测轨迹范围内，具体为：利用RSM消息中检测目标的经纬度，计算检测目标的位置是否处在本车的车辆预测轨迹范围内。若目标在车辆预测轨迹范围内，则进入步骤7，若不在车辆预测轨迹范围内，则认为检测目标与本车无危险情况，不进行预警。

步骤7、计算检测目标和车辆的碰撞轨迹；具体为：以本车为原点，以本车经纬度坐标，航向角，速度，加速度等信息，建立地理坐标系，并构建物理运动轨迹方程。且以检测目标的对应信息，通过坐标系数值转换，构建检测目标的物理运动轨迹方程。并进行碰撞交叉计算，得到碰撞点的数据信息。若为弯道或者交叉口转向等场景，可以将其直线模型乘以经验系数Y（此数值应在实车测试时，根据道路弯道半径进行测试获得最优质），将直线模型转换成弯道模型计算。

步骤8、以碰撞点为中心，给出安全范围和碰撞范围；安全范围和碰撞范围可设置为可调参数，实测测试时可根据实际情况以及大量测试得到最优数值，以提供更加好的场景应用效果。

步骤9、计算本车行驶至安全范围的时间TTC，并以TTC计算检测目标的位置（利用检测目标的物理运动轨迹方程），得到检测目标距离安全范围的距离以及检测目标距离碰撞范围的距离。

步骤10、当TTC时间后，若检测目标的预测位置未进入安全范围，则不进行预警；若检测目标的预测位置进入安全范围但未进入碰撞范围时，则进行目标检测预警；若检测目标的预测位置进入碰撞范围时，则进行目标碰撞警告。

本实施例中，所述目标以行人为例。目标检测预警具体为：推送视频检测的实时行人过街视频，对驾驶员进行预警。目标碰撞警告具体为：推送视频检测的实时行人过街视频，车辆与目标行人的碰撞轨迹示意图，推荐行驶轨迹以及车速至HMI，以提醒驾驶员，避免碰撞。

本发明所述的一种基于V2X的目标检测系统，包括车辆端和路侧端，所述车辆端包括车载控制器以及与车载控制器相连接的车辆端V2X通信设备，所述路侧端包括路侧单元设备、路侧端V2X通信设备和传感器部分，其中，传感器部分包括多个传感器，且至少包括视频检测传感器和微波检测传感器，将路侧单元设备和多种传感器组成一系统网络，各传感器之间、传感器与路侧单元设备之间能互联互通，以进行数据的收发与解析；所述车辆端和路侧端被编程为以便执行如本发明所述的基于V2X的目标检测方法的步骤。

Claims (9)

1.一种基于V2X的目标检测方法，其特征在于，包括以下步骤：

步骤1、车辆端获取RSM消息、MAP消息和BSM消息，其中，RSM消息为路侧端发送的数据，路侧端包括路侧单元设备、路侧端V2X通信设备和传感器部分，其中，传感器部分包括多个传感器，且至少包括视频检测传感器和微波检测传感器，将路侧单元设备和多种传感器组成一系统网络，各传感器之间、传感器与路侧单元设备之间能互联互通，以进行数据的收发与解析；多种传感器用于采集数据并采用多传感器数据的融合方法得出各类数据元素，并由路侧单元设备互补重组成打包成BSM消息，由路侧端V2X通信设备向外广播；

步骤2、对RSM消息、MAP消息和BSM消息进行解析；

步骤3、将本车BSM消息与MAP消息进行匹配，计算MAP中本车所在位置信息；

步骤4、将RSM消息与MAP消息进行匹配，确定MAP中检测目标的位置信息，判断目标所在位置是否处于MAP的有效范围内，若在有效范围内，则进入步骤5，若不在有效范围内，则认为目标与本车无危险情况，不进行预警；

步骤5、计算车辆预测轨迹；

步骤6、判断所检测的目标是否在车辆预测轨迹范围内，若目标在车辆预测轨迹范围内，则进入步骤7，若不在车辆预测轨迹范围内，则认为检测目标与本车无危险情况，不进行预警；

步骤7、计算检测目标和车辆的碰撞轨迹；

步骤8、以碰撞点为中心，给出安全范围和碰撞范围；

步骤9、计算本车行驶至安全范围的时间TTC，并以TTC计算检测目标的位置，得到检测目标距离安全范围的距离以及检测目标距离碰撞范围的距离；

步骤10、当TTC时间后，若检测目标的预测位置未进入安全范围，则不进行预警；若检测目标的预测位置进入安全范围但未进入碰撞范围时，则进行目标检测预警；若检测目标的预测位置进入碰撞范围时，则进行目标碰撞警告；

其中，所述多传感器数据的融合方法为：将多传感器与主单元设备组成一系统网络，各传感器之间、传感器与主单元设备之间能互联互通，以进行数据的收发与解析；其融合方法包括以下步骤：

（1a）利用各传感器进行数据检测得到原始数据；

（1b）各传感器对原始数据添加标识信息和封装打包，并向其他传感器进行数据推送，同时接收系统网络中其他传感器发送的数据；

（1c）各传感器将接收到的其他传感器的数据进行解析，还原成最初始报文数据，再将报文拆分成K类数据元素，并对同类的数据元素进行统计；

（1d）对数据元素的统计结果进行逐一判断，若同一检测目标的同类数据元素不唯一，则对所有的此类数据元素根据其检测设备物理特性的不同，进行优先级授权，即设定置信度，若同一检测目标的同类数据元素唯一，则认为此数据元素的置信度级别最高，直至所有类型的数据元素均完成优先级授权；

（1e）根据优先级进行数据元素的筛选，得到优先级最高的数据元素，具体为：

选取每类数据元素置信度级别最高的数据作为标准，其他传感器的同类数据元素均以此进行数据校核，判断置信度最高的数据元素与同类元素的偏差值是否在预设范围内，若置信度最高的数据元素与其他同类数据元素的偏差值均处于预设范围内，则认定置信度最高的数据元素为有效数据；否则认定置信度最高的数据元素无效，改以次置信度级别的数据元素为标准，将其他传感器的同类数据元素均以此进行数据校核，以此类推，直至得到每一类数据元素置信度最高的数据；

（1f）对每一类置信度最高的数据元素进行取值，若此数据元素唯一，则该数据元素当前的值为最终值；若满足条件的数据元素有多个，则取平均值为最终值；

（1g）各类数据元素在进入主单元设备后进行互补重组并打包。

2.根据权利要求1所述的基于V2X的目标检测方法，其特征在于：所述步骤1中，数据元素包括目标类型、速度、经纬度和航向角。

3.根据权利要求2所述的基于V2X的目标检测方法，其特征在于：所述步骤3具体为：

利用本车BSM消息，提取出车辆经纬度、航向角、加速度和速度，结合MAP消息的内容，对本车所在位置进行定位计算，得到车辆所在MAP中Link的信息，此Link从上游节点至下游节点的坐标值以及此路段Link中各个参考点列表。

4.根据权利要求2或3所述的基于V2X的目标检测方法，其特征在于：所述步骤4中：

利用本车BSM消息中目标检测信息的经纬度值与MAP消息内容进行匹配计算，确定本车BSM消息中检测目标所在位置是否处于MAP的有效范围之内。

5.根据权利要求4所述的基于V2X的目标检测方法，其特征在于：所述步骤5具体为：

利用车辆从CAN总线得到的方向盘转角和转向灯信号信息，并结合MAP消息、车辆历史轨迹路径，进行车辆预测轨迹的计算，得到车辆将从本段Link驶向下游Link的信息。

6.根据权利要求5所述的基于V2X的目标检测方法，其特征在于：所述步骤6中，利用RSM消息中检测目标的经纬度，计算检测目标的位置是否处在本车的车辆预测轨迹范围内。

7.根据权利要求1或2或3或5或6所述的基于V2X的目标检测方法，其特征在于：所述目标为行人。

8.根据权利要求7所述的基于V2X的目标检测方法，其特征在于：所述步骤10中，目标检测预警具体为：推送视频检测的实时行人过街视频，对驾驶员进行预警；

目标碰撞警告具体为：推送视频检测的实时行人过街视频，车辆与目标行人的碰撞轨迹示意图，推荐行驶轨迹以及车速至HMI，以提醒驾驶员，避免碰撞。

9.一种基于V2X的目标检测系统，包括车辆端和路侧端，所述车辆端包括车载控制器以及与车载控制器相连接的车辆端V2X通信设备，其特征在于：所述路侧端包括路侧单元设备、路侧端V2X通信设备和传感器部分，其中，传感器部分包括多个传感器，且至少包括视频检测传感器和微波检测传感器，将路侧单元设备和多种传感器组成一系统网络，各传感器之间、传感器与路侧单元设备之间能互联互通，以进行数据的收发与解析；所述车辆端和路侧端被编程为以便执行如权利要求1至8任一所述的基于V2X的目标检测方法的步骤。

Images