CN115776506A - 车路协同的数据融合系统及方法 - Google Patents

Abstract

本申请提供一种车路协同的数据融合系统及方法，所述车路协同的数据融合系统包括：路侧通信设备、车载单元、云端平台和路况获取单元；车载单元、路况获取单元与路侧通信设备进行通信连接；路侧通信设备与云端平台通信连接；车载单元收集所搭载车辆的行车信息；路况获取单元收集道路信息和车辆信息；路侧通信设备根据行车信息、道路信息和车辆信息确定融合方式，根据融合方式判断是否发送行车信息、道路信息和车辆信息至云端平台或车载单元，使路侧通信设备、云端平台或车载单元基于行车信息、道路信息和车辆信息进行数据融合，多种融合方式，满足车行驶过程的安全需要。

Description

车路协同的数据融合系统及方法

技术领域

本申请涉及通信技术领域，尤其涉及一种车路协同的数据融合系统及方法。

背景技术

当前的车路协同的数据融合技术中，数据融合是经常被强调的一点，既然要实现车和路的协同配合，车和路的数据配合是至关重要的。车路协同的数据融合的两个重要内容，一个是进行车路感知的设备能感知到数据的多样性，一个是车端感知数据和路段感知数据的融合的融合方式。当前存在的单路路侧通信设备，车端和路端感知设备能感知到的数据受连接设备数限制较大，有些感知设备仅仅只有摄像头提供数据，感知设备获取数据来源有限，结果准确性大大降低。现存的车路数据融合方式中，主要提及了将车端的检测结果和路端的检测结果融合提高结果准确率，未考虑多种的数据融合方式各有优劣。

《[中国发明]CN102932812B 一种面向道路路况的车载传感器协同监测方法》提供了一种面向道路路况的车载传感器协同监测方法，由携带传感器的车辆节点和路侧通信设备协作共同完成。车辆节点将传感器采集的数据、经过本地数据融合得到的观察数据发送到本地路侧通信设备，路侧通信设备接收并存储该观察数据，并决策是否需要启动协同监测，若符合条件则开始基于车载传感器数据的协同事件监测过程；挖掘位置相关、时间相关和行驶行为相关的车载传感器数据，在获取这些数据相关性后，采用投票加权方式进行处理；路侧通信设备根据处理结果判定本地子小区是否有路况事件产生，若能判定事件则由路侧通信设备发布事件。该发明只考虑了一种数据融合模式，即传感器采集数据的本地数据融合，未考虑数据融合的其他方式。

《[中国发明]CN114359848A 目标检测方法、装置、车端感知设备和存储介质》本申请涉及一种目标检测方法、装置、车端感知设备和存储介质。所述方法包括：获取同一时刻的车端感知数据和路端感知数据；根据车端感知数据，获取第一检测结果；对路端感知数据进行目标检测得到第二检测结果；对第一检测结果与第二检测结果进行融合处理，获取目标检测结果。由于路侧通信设备的路侧感知设备相对于车端感知设备的安装高度高，覆盖范围广，相应得到的路端感知数据的数据量也就大，基于数据量大的路端感知数据得到的第二检测结果也就更全面和准确，将第一检测结果和第二检测结果融合得到最终的目标检测结果，进而提高了得到的目标检测结果的准确性。该发明涉及到的数据融合仅仅是目标检测结果的数据融合，未考虑到多种车路协同数据的融合，也未考虑到多种车路协同设备各层次的融合。

《[中国发明]CN110991466A 一种基于新型视觉传感设备的高速公路路面状况检测系统》描述了一种基于新型视觉传感设备的高速公路路面状况检测系统，包括控制器和均与控制器连接的多个设置于高速公路路边的可见光摄像机和红外摄像机，控制器执行所述程序时实现：路面异常检测，采用语义分类网络，捕获路面局部异常、病害的图像数据，检测出路面异常状况的分类结果。通过多源路段图像拼接，多源图像数据融合，分析不同路段图像重叠部分的差异性，最终通过融合算法实现路段图像的过渡融合。该发明只考虑了摄像机作为检测装备，只考虑了图像之间的数据融合，忽视了设备之间的数据融合以及数据融合方式带来的结果差异。

因此，基于单路场景的路侧通信设备的数据来源多样性，如何进行数据融合，满足车行驶过程中对于安全的需要是亟待解决的技术问题。

发明内容

本申请提供一种车路协同的数据融合系统及方法，旨在基于单路场景的路侧通信设备的数据来源多样性，进行数据融合，满足车行驶过程中对于安全的需要。

第一方面，本申请提供一种车路协同的数据融合系统，所述车路协同的数据融合系统包括：路侧通信设备、多个车载单元、云端平台和路况获取单元；所述车载单元、所述路况获取单元与所述路侧通信设备进行通信连接；所述路侧通信设备与所述云端平台进行通信连接；

所述车载单元用于收集所搭载车辆的行车信息；

所述路况获取单元用于收集道路信息和车辆信息；

所述路侧通信设备用于根据所述行车信息、所述道路信息和所述车辆信息确定融合方式，并根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元，以使所述路侧通信设备、所述云端平台或所述车载单元基于所述行车信息、所述道路信息和所述车辆信息进行数据融合。

第二方面，本申请提供一种车路协同的数据融合方法，应用于如上文所述车路协同的数据融合系统；所述系统包括：路侧通信设备、多个车载单元、云端平台和路况获取单元；所述车载单元、所述路况获取单元与所述路侧通信设备进行通信连接；所述路侧通信设备与所述云端平台进行通信连接；

所述车路协同的数据融合方法包括：

所述车载单元收集所搭载车辆的行车信息；

所述路况获取单元收集道路信息和车辆信息；

所述路侧通信设备根据所述行车信息、所述道路信息和所述车辆信息确定融合方式，并根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元，以使所述路侧通信设备、所述云端平台或所述车载单元基于所述行车信息、所述道路信息和所述车辆信息进行数据融合。

本申请提供的车路协同的数据融合系统，包括：路侧通信设备、多个车载单元、云端平台和路况获取单元；所述车载单元、所述路况获取单元与所述路侧通信设备进行通信连接；所述路侧通信设备与所述云端平台进行通信连接；所述车载单元用于收集所搭载车辆的行车信息；所述路况获取单元用于收集道路信息和车辆信息；所述路侧通信设备用于根据所述行车信息、所述道路信息和所述车辆信息确定融合方式，并根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元，以使所述路侧通信设备、所述云端平台或所述车载单元基于所述行车信息、所述道路信息和所述车辆信息进行数据融合，考虑到单路场景的路侧通信设备的数据来源多样性，根据路况信息选取最佳的数据融合方式，满足车行驶过程中对于安全的需要。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种车路协同的数据融合系统的结构示意图；

图2是本申请实施例提供的一种车路协同的数据融合系统的具体结构示意图；

图3是本申请实施例提供的总融合方式的流程示意图；

图4是本申请实施例提供的分路到车载融合方式的流程示意图；

图5是本申请实施例提供的云端计算后车载融合方式的流程示意图；

图6是本申请实施例提供的一种车路协同的数据融合方法的示意流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在部分实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

现有的基于单路场景的路侧通信设备数据融合技术中，通常将核心放在路面的图像数据检测和融合上。仅仅依靠道路边摄像头实现对路面异常状况的判断，准确性较低。图像数据存在多种干扰因素，存在天气、温度、烟尘等多种干扰因素，仅仅考虑图像间的数据融合，不能满足车行驶过程中对于安全的需要。

另一种改进角度是从车路两端数据融合的角度，一是车端数据直接发送给路端基站，路端基站判断是否与车端协同后，再对车端数据进行挖掘，最终仍是路端基站进行最终决策和发布事件，二是车路两边数据各自检测获取检测结果再融合取优，可以一定程度上提高目标结果的准确性。但这种融合非常有限，主要也是基于路端的检测结果更佳的结论进行融合，两种融合方式都使用单一融合方式，没有考虑多种数据融合方式的优缺点。

本申请考虑到基于单路场景的路侧通信设备的数据来源多样性，所有的设备和虚拟硬件都可以通过软总线方式形成一个超级终端，从各个设备获取对应的数据，并对这些数据进行融合。

如图1所示，本申请提供一种车路协同的数据融合系统，所述车路协同的数据融合系统包括：路侧通信设备11、多个车载单元（On board Unit，缩写OBU））12、云端平台13和路况获取单元14；所述车载单元12、所述路况获取单元14与所述路侧通信设备11进行通信连接；所述路侧通信设备11与所述云端平台13进行通信连接；所述车载单元12用于收集所搭载车辆的行车信息；

所述路况获取单元14用于收集道路信息和车辆信息；

所述路侧通信设备11用于根据所述行车信息、所述道路信息和所述车辆信息确定融合方式，并根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台13或所述车载单元12，以使所述路侧通信设备11、所述云端平台13或所述车载单元12基于所述行车信息、所述道路信息和所述车辆信息进行数据融合。

应理解的是，本实施例是基于单路路测基站的数据融合，所述融合方式包括总融合、分路到车载融合和云端计算后车载融合。基于单路场景的路侧通信设备的数据融合，对数据的广度和数据的调度及融合方式都有要求，没有足够的多种类的数据进行相互配合，检测出的目标结果存在太多干扰项，相关性大的数据来源越多，排除的干扰因素就越多。在数据融合方式上，本实施例考虑到总融合、分路到车载融合和云端计算后车载融合三种融合方式相结合的方式，考虑到不同融合方式在不同情况下各有优劣，这就需要衡量使用不同方式的最佳时机。

基于三种融合方式的利弊，所述路侧通信设备11根据所述行车信息、所述道路信息和所述车辆信息确定对当前路况最有利的融合方式。

在一些实施例中，所述车载单元、所述路况获取单元与所述路侧通信设备通过分布式软总线连接，为了解决数据来源不足的问题，采用了软总线的方式将所有设备、所有虚拟硬件都连接起来形成一个超级终端。软总线的通信方式是具备自发现、自组网、高可靠、高并发、低延迟的特性的，且软总线为近场通信，在基于单路路测基站的数据融合中有很大发挥空间。

进一步地，在一些实施例中，如图2所示，所述路侧通信设备11至少包括路侧单元（Road Side Unit，RSU）111和边缘计算单元(Mobile Edge Computing，MEC)112，所述路侧单元111和所述边缘计算单元112通过所述分布式软总线共享所述行车信息、所述道路信息和所述车辆信息。所述边缘计算单元112用于承担大量计算任务，是处理路侧通信设备11的信息的核心。所述路侧单元112根据所述车辆信息完成所述车载单元111的接入认证，在完成接入认证之后，所述边缘计算单元112根据所述行车信息、所述道路信息和所述车辆信息确定融合方式，并根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台13或所述车载单元12。

所述路侧通信设备11通过软总线与所述路况获取单元14连接在一起，所述路况获取单元14包括图像获取设备141、激光雷达设备142、提示屏143、气象传感器144、交通标示设备145、交通诱导设备146和毫米波设备147中的至少一项。所述路侧通信设备11通过软总线与上述各设备连接在一起，连接方式有有线连接和无线连接，数据量较大的设备一般采取有线连接。所述图像获取设备141可以是AI感知摄像机，通过所述AI感知摄像机收集到的路况图像是清晰度高、数据量大的图片或视频。所述AI感知摄像机具有大数据量，其通过有线连接方式与所述路侧通信设备11中的边缘计算单元112连接，能够优化车路协同的数据融合系统的信息传输的效率。所述交通标示设备145通常是交通标示灯。

可理解的是，所述路侧通信设备11和所述路况获取单元14的各设备结合形成一个超级终端，使系统的路侧感知数据来源更全面，数据更加全面使得搭载的AI处理功能运行结果更精确，最终实现对于现有情况的准确判断以及对未来一小段事件车路情况的预判。

所述路侧单元111和边缘计算单元112相结合，使所述路侧单元111本身可以实现数据融合，使提到的三种融合方式能够实现。边缘云控利用移动边缘计算（MEC）技术将计算、决策能力向网络边缘进行迁移，实现局部交通协同的分布式、本地化部署，进而可以通过分布式软总线技术为区域内行驶的车辆提供低时延车路协同服务。采用 MEC技术，可以将敏感数据或隐私信息控制在区域内部，同时降低回传网络的负载压力。

进一步地，在一些实施例中，所述路侧通信设备11用于在所述融合方式为总融合时，基于所述行车信息、所述道路信息和所述车辆信息进行数据融合，获得初步检测结果，并发送所述初步检测结果至所述云端平台13和所述车载单元12。

需要说明的是，当所述融合方式为总融合时，不发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台13或所述车载单元12，在所述路侧通信设备中先进行数据融合。如图3所示，图3为总融合方式的流程示意图，所述路侧通信设备11基于所述行车信息、所述道路信息和所述车辆信息和云端信息进行数据融合，紧急情况也可不获取云端信息，融合后获得初步检测结果。所述初步检测结果为行车辅助数据，所述初步检测结果向用户输出行车提示。

总融合的优点是可以将车端感知数据和路端感知数据迅速汇总起来，通常路侧感知数据包括路基激光雷达数据、路基毫米波达数据和信号灯数据，通常车辆感知数据包括车载摄像数据、车辆朝向数据和车辆传感器数据，整合车端和路端的感知数据，协同得出的初步检测结果将更加准确，车端和路端的信息可以配合起来，所述云端平台13也可以获取更全的数据。缺点是初步结果需要先在所述路侧通信设备11进行数据融合之后才能获得，速度较慢。因此，根据所述行车信息、所述道路信息和所述车辆信息确定当前路况信息需要准确性较高的数据时，可采用总融合方式进行数据融合。

进一步地，在一些实施例中，所述路侧通信设备11用于在所述融合方式为分路到车载融合时，分路发送所述道路信息和所述车辆信息至各所述车载单元12；所述车载单元12还用于根据所述行车信息和接收到的所述道路信息和所述车辆信息进行数据融合，获得初步检测结果，并发送所述初步检测结果至所述路侧通信设备11。

需要说明的是，如图4所示，图4为分路到车载融合方式的流程示意图，分路到OBU融合，优点是可以直接把路侧感知数据发送给OBU，云端数据分别发放给OBU，在OBU进行数据融合，获取初步检测结果，速度明显更快，云端数据针对每个车端发送相关数据，数据更细分，针对性更强。缺点是OBU算力有限，无法保持高准确性，仅能进行简单计算。因此，根据所述行车信息、所述道路信息和所述车辆信息确定当前路况信息需要车载单元更迅速获得初步检测结果时，可采用分路到车载融合方式进行数据融合。

进一步地，在一些实施例中，所述路侧通信设备11用于在所述融合方式为云端计算后车载融合时，发送所述道路信息和所述车辆信息至所述云端平台13；所述云端平台13用于根据接收的所述道路信息和所述车辆信息计算综合数据，发送所述综合数据至所述车载单元12；所述车载单元12用于根据所述行车信息和接收到的所述综合数据进行数据融合。

在具体实现中，如图5所示，图5为云端计算后车载融合方式的流程示意图，各路数据先不进行融合最后到OBU融合，把所有的数据先不融合，路侧感知数据和车侧感知数据通过所述路侧通信设备发送给所述云端平台13，得到所述云端平台13进行数据融合的计算结果后汇总到OBU，OBU车载单元执行最后决策，优点是结合云端更紧密的算力和模型对数据进行融合，可以筛选更有针对性的数据，准确性最高，缺点是总体得出最终结果时间变长。因此，根据所述行车信息、所述道路信息和所述车辆信息确定当前路况信息需要最为准确的最终结果时，可采用云端计算后车载融合方式进行数据融合。

在一些实施例中，路侧通信设备11包括控制器，路侧单元111和边缘计算单元112通过PCIe线、以太网或无线网络等方式与控制器连接。

示例性的，在路侧通信设备11还包括控制器，路侧单元111通过第一PCIe线114和控制器连接，边缘计算单元112通过第二PCIe线和控制器连接。控制器不仅能够向路侧单元111和边缘计算单元112下达控制指令，还能够作为路侧单元111和边缘计算单元112的信息中转中枢。

路侧单元111和边缘计算单元112不仅通过第一PCIe线、第二PCIe线和控制器进行连接，还通过分布式软总线进行连接，这样，利用了分布软总线数据共享的功能，有利于实现多种数据同时传输，提高了数据的传输效率，也能更多地降低数据传输的时延。

需要说明的是，本申请中，车载单元12、路侧单元111、边缘计算单元112和路况获取单元14均安装有预设的操作系统，基于预设的操作系统，车载单元12、路侧单元111、边缘计算单元112和路况获取单元14能够通过分布式软总线进行连接，以形成超级终端。该预设的操作系统包括开源鸿蒙操作系统，比如KaihongOS。

基于分布式软总线，路侧通信设备11能够快速完成车载单元12的身份识别和接入认证，车载单元12和路况获取单元14收集到的信息也能够直接被路侧通信设备11获取，生成的初步检测结果也能够直接发送给车载单元12，省去了向服务器转发和向服务器请求获取的步骤，降低了系统的时延。

本申请提供的车路协同的数据融合系统，通过分布式软总线将车载单元、路侧单元、边缘计算单元合路况获取单元进行连接，运用了分布式软总线短距离高速信息传输的特性，以使路侧单元和边缘计算单元通过分布式软总线共享行车信息、道路信息和车辆信息，通过数据线将图像获取单元和边缘计算单元进行连接，避免数据量大的信息过多占用通信资源，进而完成对车辆单元的接入认证和初步检测结果生成，降低了系统布线的难度，从而降低了运维的成本，还降低了信息交互的时延，提高了信息传输的稳定性。

为了更清晰地介绍本申请的技术方案，还通过以下实施例对本申请的车路协同的数据融合系统进行介绍，应当清楚的是，以下实施例在于对本申请的技术方案进行补充说明，而不在于限制本申请。

在一些实施例中，在车载单元12到达路侧通信设备11所在的分布式软总线的信号范围内，车载单元12与路侧通信设备11实现自动组网。

示例性的，在自动组网之前，车载单元12通过分布式软总线搜集附近的路侧通信设备11，路侧通信设备11也通过分布式软总线搜集附近的车载单元12。分布式软总线支持短距离通信，因此只有当车载单元12和路侧通信设备11进入分布式软总线的信号范围内时，才能够实现通信连接，进而实现自动组网。

通过分布式软总线实现自动组网，可支持大数量的车载单元12同时接入，自动化程度高，连接过程更高效。

在一些实施例中，路况获取单元14收集车辆信息，并将车辆信息传输给路侧通信设备11。

在一些实施例中，在路侧通信设备11所在的分布式软总线的信号范围内，路侧通信设备11通过分布式软总线的预设通信频道发送第一连接码，车载单元12通过预设通信频道发送第二连接码；路侧通信设备11通过预设通信频道接收第二连接码，通过第二连接码与车载单元12进行通信连接；车载单元12通过预设通信频道接收第一连接码，通过第一连接码与路侧通信设备11进行通信连接。

在一些实施例中，在路侧通信设备11所在的分布式软总线的信号范围内，路侧通信设备11通过分布式软总线与路况获取单元14实现自动组网。

在一些实施例中，多个路侧通信设备11在同一分布式软总线的信号范围内，多个路侧通信设备11实现自动组网，信号范围内的多个路侧通信设备11之间能够进行信息交互。

通过分布式软总线不仅有利于提高车路协同的数据融合系统中各个单元的数据传输效率，还有利于简化车路协同的数据融合系统的硬件布局。

在一些实施例中，车路协同的数据融合系统安装在道路横杆上，路侧通信设备11安装在道路横杆的中间区域，图像获取单元141紧邻路侧通信设备11，路况获取单元14安装在路侧通信设备的两侧。

示例性的，交通横杆架设在道路的上方，横杆的长度方向与道路方向垂直。所述路侧通信设备11安装在道路横杆的中间区域，这样，能够使分布式软总线的信号范围更均衡地覆盖道路，以扩大所述路侧通信设备11的服务区域，和提高与所述车载单元12的通信的稳定性。AI感知摄像机141紧邻所述路侧通信设备11，这样能够减少AI感知摄像机141和所述路侧通信设备11之间的数据线长度，减少布设的成本。激光雷达设备142、提示屏143、气象传感器144、交通标示设备145、交通诱导设备146和毫米波设备147通过分布式软总线和路侧通信设备11无线连接，无需实体的数据线，因此，可以根据道路的实际需求，布设在路侧通信设备11的两侧。

需要说明的是，上述示例用于对车路协同的数据融合系统进行解析说明，实际应用中，还可以根据交通管理的需求进行多种变换和组合，例如，AI感知摄像机141、激光雷达设备142、提示屏143、气象传感器144、交通标示设备145、交通诱导设备146和毫米波设备147均可以设置多个，其位置也可以在所述路侧通信设备11两端的道路横杆上变换，例如，将交通标示设备145设置在路侧通信设备11的旁边，以使道路上两侧的车辆能够更好地观察交通标示设备145。

其中，所述云端平台13可以为独立的服务器，也可以为服务器集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)以及大数据和人工智能平台等基础云计算服务的云服务器。

在一些实施例中，边缘计算单元112通过路侧单元111能够获取所述云端平台13中的数据，并根据所述云端平台13中的数据生成行车预警数据，并将行车预警数据发送给所述车载单元12。

示例性的，某道路连通A区域和B区域，A区域和B区域之间路程较远，远远超出分布式软总线的信号范围。A区域中的车辆A通过车载单元12收集到了行车信息和交通拥堵信息，A区域中的路况获取单元14也可以收集到行车信息，行车信息包括：落石、道路坍塌、车辆事故和突发极端天气。车辆A的车载单元12通过移动网络将行车信息和交通拥堵信息上传至云端平台，路况获取单元14通过路侧单元111使用无线网络将行车信息上传至所述云端平台13。当B区域的车辆B从B区域驶向A区域时，B区域的边缘计算单元112通过B区域的路侧单元111获取所述云端平台13中的行车信息，并根据行车信息生成行车预警信息，例如，行车预警信息为导航规避提醒。车预警信息包括文字、图像、语音和视频等形式，车辆B的车载单元12可根据行车预警信息生成多种形式的行车预警提示，以帮助车辆B用户规避风险。

在本实施例中，所述车路协同的数据融合系统包括：路侧通信设备、多个车载单元、云端平台和路况获取单元；所述车载单元、所述路况获取单元与所述路侧通信设备进行通信连接；所述路侧通信设备与所述云端平台进行通信连接；所述车载单元用于收集所搭载车辆的行车信息；所述路况获取单元用于收集道路信息和车辆信息；所述路侧通信设备用于根据所述行车信息、所述道路信息和所述车辆信息确定融合方式，并根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元，以使所述路侧通信设备、所述云端平台或所述车载单元基于所述行车信息、所述道路信息和所述车辆信息进行数据融合，考虑到单路场景的路侧通信设备的数据来源多样性，根据路况信息选取最佳的数据融合方式，满足车行驶过程中对于安全的需要。

如图6所示，本申请还提供一种车路协同的数据融合方法，该方法应用于如本申请实施例中任一项所述的车路协同的数据融合系统，所述系统包括：路侧通信设备、多个车载单元、云端平台和路况获取单元；所述车载单元、所述路况获取单元与所述路侧通信设备进行通信连接；所述路侧通信设备与所述云端平台进行通信连接。

所述方法的具体步骤包括：S101-S103。

S101、所述车载单元收集所搭载车辆的行车信息；

S102、所述路况获取单元收集道路信息和车辆信息；

S103、所述路侧通信设备根据所述行车信息、所述道路信息和所述车辆信息确定融合方式，并根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元，以使所述路侧通信设备、所述云端平台或所述车载单元基于所述行车信息、所述道路信息和所述车辆信息进行数据融合。

需要说明的是，所述路侧通信设备至少包括路侧单元和边缘计算单元，所述路侧单元和所述边缘计算单元通过分布式软总线共享所述行车信息、所述道路信息和所述车辆信息。

所述路侧单元根据所述车辆信息完成所述车载单元的接入认证，在完成接入认证之后，所述边缘计算单元根据所述行车信息、所述道路信息和所述车辆信息确定融合方式，并根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元，以使所述边缘计算单元、所述云端平台或所述车载单元基于所述行车信息、所述道路信息和所述车辆信息进行数据融合。

应理解的是，本实施例是基于单路路测基站的数据融合，所述融合方式包括总融合、分路到车载融合和云端计算后车载融合。基于单路场景的路侧通信设备的数据融合，对数据的广度和数据的调度及融合方式都有要求，没有足够的多种类的数据进行相互配合，检测出的目标结果存在太多干扰项，相关性大的数据来源越多，排除的干扰因素就越多。在数据融合方式上，本实施例考虑到总融合、分路到车载融合和云端计算后车载融合三种融合方式相结合的方式，考虑到不同融合方式在不同情况下各有优劣，这就需要衡量使用不同方式的最佳时机。

基于三种融合方式的利弊，所述路侧通信设备根据所述行车信息、所述道路信息和所述车辆信息确定对当前路况最有利的融合方式。

在一些实施例中，所述车载单元、所述路况获取单元与所述路侧通信设备通过分布式软总线连接，为了解决数据来源不足的问题，采用了软总线的方式将所有设备、所有虚拟硬件都连接起来形成一个超级终端。软总线的通信方式是具备自发现、自组网、高可靠、高并发、低延迟的特性的，且软总线为近场通信，在基于单路路测基站的数据融合中有很大发挥空间。

进一步地，在一些实施例中，如图2所示，所述路侧通信设备至少包括路侧单元（Road Side Unit，RSU）和边缘计算单元(Mobile Edge Computing，MEC)，所述路侧单元和所述边缘计算单元通过所述分布式软总线共享所述行车信息、所述道路信息和所述车辆信息。所述边缘计算单元用于承担大量计算任务，是处理路侧通信设备的信息的核心。所述路侧单元根据所述车辆信息完成所述车载单元的接入认证，在完成接入认证之后，所述边缘计算单元根据所述行车信息、所述道路信息和所述车辆信息确定融合方式，并根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元。

所述路侧通信设备通过软总线与所述路况获取单元连接在一起，所述路况获取单元包括图像获取设备、激光雷达设备、提示屏、气象传感器、交通标示设备、交通诱导设备和毫米波设备中的至少一项。所述路侧通信设备通过软总线与上述各设备连接在一起，连接方式有有线连接和无线连接，数据量较大的设备一般采取有线连接。所述图像获取设备可以是AI感知摄像机，通过所述AI感知摄像机收集到的路况图像是清晰度高、数据量大的图片或视频。所述AI感知摄像机具有大数据量，其通过有线连接方式与所述路侧通信设备中的边缘计算单元连接，能够优化车路协同的数据融合系统的信息传输的效率。所述交通标示设备通常是交通标示灯。

可理解的是，所述路侧通信设备和所述路况获取单元的各设备结合形成一个超级终端，使系统的路侧感知数据来源更全面，数据更加全面使得搭载的AI处理功能运行结果更精确，最终实现对于现有情况的准确判断以及对未来一小段事件车路情况的预判。

所述路侧单元和边缘计算单元相结合，使所述路侧单元本身可以实现数据融合，使提到的三种融合方式能够实现。边缘云控利用移动边缘计算（MEC）技术将计算、决策能力向网络边缘进行迁移，实现局部交通协同的分布式、本地化部署，进而可以通过分布式软总线技术为区域内行驶的车辆提供低时延车路协同服务。采用 MEC技术，可以将敏感数据或隐私信息控制在区域内部，同时降低回传网络的负载压力。

进一步地，在一些实施例中，所述步骤S103，包括：

所述路侧通信设备在所述融合方式为总融合时，基于所述行车信息、所述道路信息和所述车辆信息进行数据融合，获得初步检测结果，并发送所述初步检测结果至所述云端平台和所述车载单元。

需要说明的是，当所述融合方式为总融合时，不发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台13或所述车载单元12，在所述路侧通信设备中先进行数据融合。如图3所示，图3为总融合方式的流程示意图，所述路侧通信设备基于所述行车信息、所述道路信息和所述车辆信息和云端信息进行数据融合，紧急情况也可不获取云端信息，融合后获得初步检测结果。所述初步检测结果为行车辅助数据，所述初步检测结果向用户输出行车提示。

总融合的优点是可以将车端感知数据和路端感知数据迅速汇总起来，通常路侧感知数据包括路基激光雷达数据、路基毫米波达数据和信号灯数据，通常车辆感知数据包括车载摄像数据、车辆朝向数据和车辆传感器数据，整合车端和路端的感知数据，协同得出的初步检测结果将更加准确，车端和路端的信息可以配合起来，所述云端平台也可以获取更全的数据。缺点是初步结果需要先在所述路侧通信设备进行数据融合之后才能获得，速度较慢。因此，根据所述行车信息、所述道路信息和所述车辆信息确定当前路况信息需要准确性较高的数据时，可采用总融合方式进行数据融合。

进一步地，在一些实施例中，所述步骤S103，包括：

所述路侧通信设备在所述融合方式为分路到车载融合时，分路发送所述道路信息和所述车辆信息至各所述车载单元；所述车载单元还用于根据所述行车信息和接收到的所述道路信息和所述车辆信息进行数据融合，获得初步检测结果，并发送所述初步检测结果至所述路侧通信设备。

需要说明的是，如图4所示，图4为分路到车载融合方式的流程示意图，分路到OBU融合，优点是可以直接把路侧感知数据发送给OBU，云端数据分别发放给OBU，在OBU进行数据融合，获取初步检测结果，速度明显更快，云端数据针对每个车端发送相关数据，数据更细分，针对性更强。缺点是OBU算力有限，无法保持高准确性，仅能进行简单计算。因此，根据所述行车信息、所述道路信息和所述车辆信息确定当前路况信息需要车载单元更迅速获得初步检测结果时，可采用分路到车载融合方式进行数据融合。

进一步地，在一些实施例中，所述步骤S103，包括：

所述路侧通信设备用于在所述融合方式为云端计算后车载融合时，发送所述道路信息和所述车辆信息至所述云端平台；所述云端平台用于根据接收的所述道路信息和所述车辆信息计算综合数据，发送所述综合数据至所述车载单元；所述车载单元用于根据所述行车信息和接收到的所述综合数据进行数据融合。

在具体实现中，如图5所示，图5为云端计算后车载融合方式的流程示意图，各路数据先不进行融合最后到OBU融合，把所有的数据先不融合，路侧感知数据和车侧感知数据通过所述路侧通信设备发送给所述云端平台，得到所述云端平台进行数据融合计算结果后汇总到OBU，OBU车载单元执行最后决策，优点是结合云端更紧密的算力和模型对数据进行融合，可以筛选更有针对性的数据，准确性最高，缺点是总体得出最终结果时间变长。因此，根据所述行车信息、所述道路信息和所述车辆信息确定当前路况信息需要最为准确的最终结果时，可采用云端计算后车载融合方式进行数据融合。

上述方法运用于本申请实施例中中任一项所述的车路协同的数据融合系统，基于车路协同的数据融合系统的结构布局，所有的设备和虚拟硬件都可以通过软总线方式形成一个超级终端，从各个设备获取对应的数据，并对这些数据进行融合，考虑了关于车路两端的数据融合的三种方式，总融合、分路到车载融合、云端计算后车载融合，结合三种融合方式的优缺点动态选择最佳方案。

本发明所述车路协同的数据融合方法的具体实现方式或其他实施例可参照上述各系统实施例，此处不再赘述。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种车路协同的数据融合系统，其特征在于，所述车路协同的数据融合系统包括：路侧通信设备、多个车载单元、云端平台和路况获取单元；所述车载单元、所述路况获取单元与所述路侧通信设备进行通信连接；所述路侧通信设备与所述云端平台进行通信连接；

所述车载单元用于收集所搭载车辆的行车信息；

所述路况获取单元用于收集道路信息和车辆信息；

所述路侧通信设备用于根据所述行车信息、所述道路信息和所述车辆信息确定融合方式，并根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元，以使所述路侧通信设备、所述云端平台或所述车载单元基于所述行车信息、所述道路信息和所述车辆信息进行数据融合。

2.如权利要求1所述的车路协同的数据融合系统，其特征在于，所述路侧通信设备至少包括路侧单元和边缘计算单元，所述路侧单元和所述边缘计算单元通过分布式软总线共享所述行车信息、所述道路信息和所述车辆信息；

所述路侧单元根据所述车辆信息完成所述车载单元的接入认证，在完成接入认证之后，所述边缘计算单元根据所述行车信息、所述道路信息和所述车辆信息确定融合方式，并根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元，以使所述边缘计算单元、所述云端平台或所述车载单元基于所述行车信息、所述道路信息和所述车辆信息进行数据融合。

3.如权利要求2所述的车路协同的数据融合系统，其特征在于，所述路侧通信设备用于在所述融合方式为总融合时，基于所述行车信息、所述道路信息和所述车辆信息进行数据融合，获得初步检测结果，并发送所述初步检测结果至所述云端平台和所述车载单元。

4.如权利要求2所述的车路协同的数据融合系统，其特征在于，所述路侧通信设备用于在所述融合方式为分路到车载融合时，分路发送所述道路信息和所述车辆信息至各所述车载单元；所述车载单元还用于根据所述行车信息和接收到的所述道路信息和所述车辆信息进行数据融合，获得初步检测结果，并发送所述初步检测结果至所述路侧通信设备。

5.如权利要求2所述的车路协同的数据融合系统，其特征在于，所述路侧通信设备用于在所述融合方式为云端计算后车载融合时，发送所述道路信息和所述车辆信息至所述云端平台；所述云端平台用于根据接收的所述道路信息和所述车辆信息计算综合数据，发送所述综合数据至所述车载单元；所述车载单元用于根据所述行车信息和接收到的所述综合数据进行数据融合。

6.如权利要求1-5中任一项所述的车路协同的数据融合系统，其特征在于，所述路况获取单元包括图像获取设备、激光雷达设备、提示屏、气象传感器、交通标示设备、交通诱导设备和毫米波设备中的至少一项。

7.一种车路协同的数据融合方法，其特征在于，应用于权利要求1至6任一项所述车路协同的数据融合系统；所述系统包括：路侧通信设备、多个车载单元、云端平台和路况获取单元；所述车载单元、所述路况获取单元与所述路侧通信设备进行通信连接；所述路侧通信设备与所述云端平台进行通信连接；

所述车路协同的数据融合方法包括：

所述车载单元收集所搭载车辆的行车信息；

所述路况获取单元收集道路信息和车辆信息；

所述路侧通信设备根据所述行车信息、所述道路信息和所述车辆信息确定融合方式，并根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元，以使所述路侧通信设备、所述云端平台或所述车载单元基于所述行车信息、所述道路信息和所述车辆信息进行数据融合。

8.如权利要求7所述的车路协同的数据融合方法，其特征在于，所述路侧通信设备根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元，以使所述路侧通信设备、所述云端平台或所述车载单元基于所述行车信息、所述道路信息和所述车辆信息进行数据融合，包括：

所述路侧通信设备在所述融合方式为总融合时，基于所述行车信息、所述道路信息和所述车辆信息进行数据融合，获得初步检测结果，并发送所述初步检测结果至所述云端平台和所述车载单元。

9.如权利要求7所述的车路协同的数据融合方法，其特征在于，所述路侧通信设备根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元，以使所述路侧通信设备、所述云端平台或所述车载单元基于所述行车信息、所述道路信息和所述车辆信息进行数据融合，包括：

所述路侧通信设备在所述融合方式为分路到车载融合时，分路发送所述道路信息和所述车辆信息至各所述车载单元；所述车载单元还用于根据所述行车信息和接收到的所述道路信息和所述车辆信息进行数据融合，获得初步检测结果，并发送所述初步检测结果至所述路侧通信设备。

10.如权利要求7所述的车路协同的数据融合方法，其特征在于，所述路侧通信设备根据所述融合方式判断是否发送所述行车信息、所述道路信息和所述车辆信息至所述云端平台或所述车载单元，以使所述路侧通信设备、所述云端平台或所述车载单元基于所述行车信息、所述道路信息和所述车辆信息进行数据融合，包括：

所述路侧通信设备用于在所述融合方式为云端计算后车载融合时，发送所述道路信息和所述车辆信息至所述云端平台；所述云端平台用于根据接收的所述道路信息和所述车辆信息计算综合数据，发送所述综合数据至所述车载单元；所述车载单元用于根据所述行车信息和接收到的所述综合数据进行数据融合。

Images