CN115346374B - 一种路口全息感知方法、装置、边缘计算设备和存储介质 - Google Patents

Abstract

本发明公开了一种路口全息感知方法、装置、边缘计算设备和存储介质。该方法包括：获取道路路口的雷达感知目标数据和视觉感知目标数据；对视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据；将雷达感知目标数据和所述优化视觉感知目标数据关联到道路路口的历史感知目标列表中，形成全息感知目标列表；历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定；根据全息感知目标列表中的各感知目标所关联的感知目标数据，确定道路路口的全息感知数据；实现了跨多传感器的感知目标关联，充分融合了多传感器的优点，能够准确提供各类路口的大范围全息感知信息。

Description

一种路口全息感知方法、装置、边缘计算设备和存储介质

技术领域

本发明涉及路侧感知技术领域，尤其涉及一种路口全息感知方法、装置、边缘计算设备和存储介质。

背景技术

路侧感知就是利用摄像机、毫米波雷达、激光雷达等传感器，并结合路侧边缘计算，其最终目的是实现对该路段的交通参与者、路况等的瞬时智能感知。路口全息感知是基于路侧感知技术，结合高精度地图展现路口的全息视角。

目前，常用的路口全息感知方法包括：单一全息感知方法和多传感器融合全息感知方法。

单一全息感知方法，例如包括纯激光雷达全息方法和纯视觉全息方法。其中，纯激光雷达全息方法容易实现且测距精度高，但存在感知距离短的问题。纯视觉全息方法成本低且类别识别准确，但存在多各视觉传感器关联难度大、位置信息和航向角抖动剧烈大的问题。

多传感器融合全息感知方法，例如包括：毫米波视觉融合全息方案以及激光雷达和视觉融合全息方法。毫米波视觉融合全息方案一般路口中央以视觉为主，路口四周以毫米波雷达为主，依然存在不易做跨多传感器关联追踪、对路口中央的感知目标的位置信息和航向角的探测不准确以及对路口四周的感知目标识别不准确的问题。激光雷达和视觉融合全息方法，以激光雷达检测追踪为主、视觉检测为辅，依然存在纯激光雷达的缺陷，识别检测范围太小，不足以支撑全息大范围展示性。总而言之，多传感器融合全息感知方法存在难以实现跨多传感器的目标联合，不能充分融合多传感器的优点，从而无法准确提供路口的大范围全息感知信息的问题

发明内容

本发明提供了一种路口全息感知方法、装置、边缘计算设备和存储介质，以解决现有单一路口全息感知方法存在感知范围小或感知精确度差，多传感器融合全息感知方法存在跨多传感器联合实现难度高，不能充分融合多传感器的优点，从而无法准确提供路口的大范围全息感知信息的问题，实现跨多传感器的感知目标关联，充分融合多传感器的优点，能够准确提供各类路口的大范围全息感知信息。

根据本发明的一方面，提供了一种路口全息感知方法，包括：

获取道路路口的雷达感知目标数据和视觉感知目标数据；

对所述视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据；

将所述雷达感知目标数据和所述优化视觉感知目标数据关联到所述道路路口的历史感知目标列表中，形成全息感知目标列表；所述历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定；

根据所述全息感知目标列表中的各感知目标所关联的感知目标数据，确定所述道路路口的全息感知数据。

根据本发明的另一方面，提供了一种路口全息感知装置，包括：

获取模块，用于获取道路路口的雷达感知目标数据和视觉感知目标数据；

优化模块，用于对所述视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据；

关联模块，用于将所述雷达感知目标数据和所述优化视觉感知目标数据关联到所述道路路口的历史感知目标列表中，形成全息感知目标列表；所述历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定；

确定模块，用于根据所述全息感知目标列表中的各感知目标所关联的感知目标数据，确定所述道路路口的全息感知数据。

根据本发明的另一方面，提供了一种边缘计算设备，所述边缘计算设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的路口全息感知方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的路口全息感知方法。

本发明实施例的技术方案，通过获取道路路口的雷达感知目标数据和视觉感知目标数据；对视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据；将雷达感知目标数据和所述优化视觉感知目标数据关联到道路路口的历史感知目标列表中，形成全息感知目标列表；历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定；根据全息感知目标列表中的各感知目标所关联的感知目标数据，确定道路路口的全息感知数据；解决了现有单一路口全息感知方法存在感知范围小或感知精确度差，多传感器融合全息感知方法存在跨多传感器联合实现难度高，不能充分融合多传感器的优点，从而无法准确提供路口的大范围全息感知信息的问题，实现了跨多传感器的感知目标关联，充分融合了多传感器的优点，能够准确提供各类路口的大范围全息感知信息。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是一种适用于十字路口的路口全息感知系统的结构示意图；

图1B是本发明实施例一提供的一种路口全息感知方法的流程图；

图2A是本发明实施例二提供的一种路口全息感知方法的流程图；

图2B是本发明实施例二提供的一种预设平面直角坐标系的示意图；

图2C是本发明实施例二提供的一种二维速度的示意图；

图3A是本发明实施例三提供的一种路口全息感知方法的流程图；

图3B是本发明实施例三提供的一种雷达感知目标数据的关联方法的流程图；

图3C是本发明实施例三提供的一种优化视觉感知目标数据的关联方法的流程图；

图3D是本发明实施例三提供的判断优化视觉感知目标数据是否存在关联感知目标的方法的流程图；

图4是本发明实施例四提供的一种路口全息感知方法的流程图；

图5是本发明实施例五提供的一种路口全息感知装置的结构示意图；

图6是实现本发明实施例的路口全息感知方法的边缘计算设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例所提供的路口全息感知方法应用于路口全息感知系统。本发明实施例所提供的路口全息感知方法可以适用于十字、丁字、X型、Y型、立交桥以及超宽路口等多种交通路口。图1A是一种适用于十字路口的路口全息感知系统的结构示意图。如图1A所示，路口全息感知系统包括：设置在每个道路路口的四个激光雷达10和四个视觉传感器20、多个边缘计算设备30和交换机40。另外，可以理解的是路口全息感知系统中还包括：相关安装配件、网线、电源线以及标定工具。

其中，视觉传感器20可以是摄像头或者其他可以采集视觉信息的传感器，例如200万像素的相机，分别装在十字路口的四个路口，用于探测南、西、北、东四个方向的路口信息。激光雷达10可以是32线的激光雷达，分别装在十字路口的四个路口边角，尽量将激光线束覆盖整个十字路口中央。边缘计算设备30的数量可以根据道路的情况以及单个边缘计算设备的计算例所确定。交换机40可以是千兆级的交换机，用于各传感器设备和边缘计算设备的数据通信。本发明实施例对交换机、传感器和边缘计算设备的通信方式，以及各边沿计算设备之间的通信协议不作限定，例如可以采用UDP等无线协议进行通信。

各路口设置的激光雷达分别和交换机连接，每两个路口的视觉传感器与一个边缘计算设备连接(例如视觉传感器a和视觉传感器b与边缘计算设备A连接；视觉传感器c和视觉传感器d与边缘计算设备B连接)，这两个边缘计算设备可以通过交换机和边缘计算设备C连接，边缘计算设备C与边缘计算设备D连接。可以理解的是，若边缘计算设备的算力较高，可以减少边缘计算设备的数量，例如边缘计算设备C与边缘计算设备D的运算算法可以集成到一个边缘计算设备中。

具体的，四个激光雷达10分别采集所对应道路路口的雷达点云数据，并通过交换机将雷达点云数据发送到边缘计算设备C中；四个视觉传感器分别采集对应路口的视觉数据，并发送到所连接的边缘计算设备(即边缘计算设备A或B)，边缘计算设备A或B对接收到的两个视觉传感器发送的视觉数据分别进行单路目标检测追踪确定视觉感知目标数据，并通过交换机发送到边缘计算设备C。边缘计算设备C可以通过多线程接收四路视觉感知目标数据和四路雷达点云数据；并对四路雷达点云数据进行点云拼接和目标检测追踪确定雷达感知目标数据。边缘计算设备C将所确定的一路雷达感知目标数据和四路视觉感知目标数据发送到边缘计算设备D，由边缘计算设备D基于本发明实施例提供的路口全息感知方法，对一路雷达感知目标数据和四路视觉感知目标数据进行感知目标关联与数据融合，确定该道路路口的全息感知数据。

可以理解的是，上述路口全息感知系统的设置方式仅为示例，不作为对本发明的限制，本领域技术人员可以根据道路的实际情况进行设定和变化。例如可以根据道路的类型确定传感器的属性、数量和设置位置，根据实际场景的运算量确定边缘计算设备的数量和连接关系。

实施例一

图1B为本发明实施例一提供了一种路口全息感知方法的流程图，本实施例可适用于基于激光雷达和视觉传感器的融合全息感知技术，支撑各类路口的全息感知信息的情况，该方法可以由路口全息感知装置来执行，该路口全息感知装置可以采用硬件和/或软件的形式实现，该路口全息感知装置可配置于边缘计算设备中。如图1B所示，该方法包括：

S110、获取道路路口的雷达感知目标数据和视觉感知目标数据。

其中，雷达感知目标数据是根据设置在道路路口的激光雷达所采集的激光雷达数据所确定的感知目标数据；视觉感知目标数据是根据设置在道路路口的视觉传感器设备采集的视觉数据所确定的感知目标数据。感知目标数据可以理解为经过目标检测与追踪所确定的感知目标相关的数据。感知目标是在道路路口过往的车辆或行人。

示例性的，感知目标数据可以包括：感知目标标识号、速度、航向角、感知目标类型、像素坐标、经纬度坐标和采集设备标识号等。感知目标类型例如可以包括：机动车辆、非机动车辆和行人。可以理解的是，视觉感知目标数据对应的采集设备标识号为视觉传感器标识号；雷达感知目标数据对应的采集设备标识号为激光雷达标识号。

具体的，获取道路路口的雷达感知目标数据和视觉感知目标数据的方式可以周期性获取雷达感知目标数据和视觉感知目标数据，因此，每个周期的雷达感知目标数据和视觉感知目标数据可以包含预设帧数量，该预设帧数量可以根据激光雷达和视觉传感器的采样频率所确定。

需要说明的是，雷达感知目标数据一般是各激光雷达所采集的多路雷达点云数据经过点云拼接和目标检测追踪所确定，因此一般获取雷达感知目标数据的数量为一路。视觉感知目标数据一般是对每一个视觉传感器所采集的一路视觉感知数据进行目标检测追踪所确定，因此一般获取的视觉感知目标数据的数量根据道路路口所设置的视觉传感器的数量确定。例如，对于十字路口可在每个路口设置一个视觉传感器，即获取的视觉感知目标数据的数量为四路；对于丁字路口可在每个路口设置一个视觉传感器，即获取的视觉感知目标数据的数量为三路。

S120、对所述视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据。

其中，位姿信息可以包括：经纬度坐标和航向角。优化视觉感知目标数据是指感知目标的位姿信息优化后的视觉感知目标数据。

具体的，视觉传感器自身特性决定基于视觉传感器所采集的世界感知数据所确定的视觉感知目标，在位置和速度上的检测上存在严重的不稳定情况，因此，对视觉感知目标数据中的位姿信息进行优化处理，提高视觉感知目标的速度和航向角的稳定性。

示例性的，对视觉感知目标数据中的位姿信息进行优化处理的方式可以为对视觉感知目标数据进行滤波处理得到滤波后的速度信息，根据滤波后的速度信息确定优化后的航向角。滤波算法例如可以为：卡尔曼滤波算法和贝叶斯滤波算法等，本发明实施例对此不设限制。

本发明实施例，通过在雷达感知目标数据和优化视觉感知目标数据关联融合之前对视觉感知目标数据中的位姿信息进行优化处理，不仅能够提高激光雷达所探测不到的范围内感知目标的位姿信息的探测准确度，还能够提高跨传感器关联匹配的准确度，充分融合多传感器的优点。

S130、将所述雷达感知目标数据和所述优化视觉感知目标数据关联到所述道路路口的历史感知目标列表中，形成全息感知目标列表；所述历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定。

其中，感知目标列表用于存储感知目标的相关数据的列表，感知目标的相关数据可以包括列表索引号、感知目标标识号、采集设备标识号、感知目标的速度、经纬度坐标、航向角和感知目标类型等信息。历史感知目标列表是将历史感知目标数据所确定的感知目标列表，历史感知目标可以包括：历史雷达感知目标数据和/或历史优化视觉感知目标数据。全息感知目标列表是将感知目标数据关联至历史感知目标列表后形成的感知目标列表。

可以理解的是，全息感知目标列表和历史感知目标列表存在一定的转换关系，当前周期所确定的全息感知目标列表，对于下一个周期而言转化为历史感知目标列表。

具体的，将雷达感知目标数据关联到道路路口的历史感知目标列表中的方式可以为将雷达感知目标数据中关联到历史感知目标列表中具有相同的雷达感知目标标识号的雷达感知目标上；或者可以为创建新的雷达感知目标并写入历史感知目标列表中。

具体的，将优化视觉感知目标数据关联到道路路口的历史感知目标列表中的方式就可以为：根据优化视觉感知目标数据所包含的视觉感知目标标识号、采集设备标识号和位置信息等数据，基于匹配算法确定历史感知目标列表中具有关联的雷达感知目标或者视觉感知目标，将优化视觉感知目标数据关联到对应的感知目标；或者可以为根据优化视觉感知目标数据所包含的经纬度坐标、速度和航向角等数据，基于匹配算法确定历史感知目标列表中具有关联的雷达感知目标或者视觉感知目标，将优化视觉感知目标数据关联到对应的感知目标；或者可以为创建新的视觉感知目标并写入历史感知目标列表中。

S140、根据所述全息感知目标列表中的各感知目标所关联的感知目标数据，确定所述道路路口的全息感知数据。

其中，感知目标所关联的感知目标数据可以包括：雷达感知目标数据和/或视觉感知目标数据。全息感知数据是多个传感器的感知数据融合到的数据，能够反映道路路口的全部信息，可以用于生成道路路口的全息图像。

具体的，根据全息感知目标列表中的各感知目标所关联的感知目标数据，确定道路路口的全息感知数据的方式可以为：优先根据全息感知目标列表中的各感知目标所关联的雷达感知目标数据确定各感知目标的速度、经纬度坐标和航向角；其次，根据所关联的优化视觉感知目标数据定各感知目标的速度、经纬度坐标和航向角，能够延伸激光雷达所探测不到的范围，提高路口四周的感知目标的位姿信息和速度的探测准确度。根据全息感知目标列表中的各感知目标所关联的优化视觉感知目标数据确定各感知目标的感知目标类型，可以提高路口中央的感知目标的类型识别准确度。

另外，还可以根据全息感知目标列表中的各感知目标所关联的感知目标数据的数量信息和生命周期等信息，对不在关注区域内或不在生命周期有效期内的感知目标进行舍弃，减少干扰因素。

在本发明实施例中，将雷达感知目标数据和所述优化视觉感知目标数据关联到道路路口的历史感知目标列表中，不仅能够将多个视觉传感器对应的视觉感知目标进行关联，还可以将视觉感知目标与雷达感知目标进行关联，实现了跨多传感器的感知目标关联，充分融合雷达传感器感知目标的位姿信息和速度精确度高，视觉传感器确定感知目标类型准确高、感知范围广的优点，能够准确提供各类路口的大范围全息感知信息。

本发明实施例的技术方案，通过获取道路路口的雷达感知目标数据和视觉感知目标数据；对视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据；将雷达感知目标数据和所述优化视觉感知目标数据关联到道路路口的历史感知目标列表中，形成全息感知目标列表；历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定；根据全息感知目标列表中的各感知目标所关联的感知目标数据，确定道路路口的全息感知数据；解决了现有单一路口全息感知方法存在感知范围小或感知精确度差，多传感器融合全息感知方法存在跨多传感器联合实现难度高，不能充分融合多传感器的优点，从而无法准确提供路口的大范围全息感知信息的问题，实现了跨多传感器的感知目标关联，充分融合了多传感器的优点，能够准确提供各类路口的大范围全息感知信息。

实施例二

图2A为本发明实施例二提供的一种路口全息感知方法的流程图，本实施例对上述实施例之间的步骤S120进一步限定。如图2A所示，该方法包括：

S210、获取道路路口的雷达感知目标数据和视觉感知目标数据。

S220、对于视觉感知目标数据中包含的视觉感知目标，根据所述视觉感知目标的经纬度坐标和预设坐标转换算法，确定所述视觉感知目标在预设平面直角坐标系下的二维坐标。

其中，预设坐标转换算法为经纬度坐标系和预设平面直角坐标系之间的坐标转换算法；经纬度坐标系，例如可以是WGS84坐标系。预设平面直角坐标系可以是在视觉感知目标所在检测区域内所建立的坐标系。

示例性的，如图2B所示，在视觉感知目标的检测区域内选择任一点经纬度坐标作为原点，以正北方向为y轴正方向、以正东反向作为X轴正方向建立平面直角坐标系。在平面直角坐标系下选择一个已知经纬度坐标的参考点，获取该参考点的二维坐标，根据原点的经纬度坐标和二维坐标，以及参考点的经纬度坐标和二维坐标确定经纬度坐标系和预设平面直角坐标系之间的坐标转换算法，即预设坐标转换算法。本领域技术人员可以通过现有的数学知识实现预设坐标转换算法，因此，本发明实施例对预设坐标转换算法的具体实现过程不作赘述。例如预设坐标转换算法为：

y＝(P_lat-O_lat)×L_lat；

x＝(P_lot-O_lot)×L_lot。

其中，(x,y)为视觉感知目标的二维坐标，P_lat为视觉感知目标的维度坐标，P_lot为视觉感知目标的经度坐标；O_lat为原点的维度坐标，O_lot为原点的经度坐标；L_lat为单位维度在平面直角坐标系下所表示的实际距离，L_lot为单位经度在平面直角坐标系下所表示的实际距离。

具体的，将视觉感知目标的经纬度坐标输入预设坐标转换算法所确定的二维坐标，即为视觉感知目标在预设平面直角坐标系下的二维坐标，实现将视觉感知目标的经纬度坐标转化为二维坐标，便于后续的滤波和感知目标的速度的确定。

S230、将视觉感知目标的二维坐标输入卡尔曼滤波算法，得到所述视觉感知目标的优化后的二维坐标和优化后的二维速度。

其中，二维速度是指视觉感知目标的速度在预设平面直角坐标系下的横向分速度Vx和纵向分速度Vy。

具体的，将至少两帧视觉感知目标的二维坐标(x,y)输入卡尔曼滤波算法输出优化后的二维坐标(x′,y′)以及优化后的二维坐标(x′,y′)对应的横向分速度V′x和纵向分速度V′y。在卡尔曼滤波算法中，优化后的二维坐标(x′,y′)对应的横向分速度V′x和纵向分速度V′y的计算方式为：根据至少两帧视觉感知目标的优化后的二维坐标(x′,y′)以及两帧视觉感知目标的间隔时间T，确定视觉感知目标的速度在预设平面直角坐标系下的横向分速度V′x＝(x′-x)/T；纵向分速度V′y＝(y′-y)/T。

本发明实施例，通过卡尔曼滤波能够降低视觉传感器所采集视觉信息的抖动，提升视觉感知目标数据所包含的视觉感知目标的速度和位置的稳定性。

S240、根据所述预设坐标转换算法和所述优化后的二维坐标，确定所述视觉感知目标对应的优化后的经纬度坐标。

具体的，由于在全息感知场景下，一般采用经纬度坐标表示感知目标的位置信息，因此，基于上述所确定预设坐标转换算法，将视觉感知目标对应的优化后的二维坐标转换到经纬度坐标系下得到视觉感知目标对应的优化后的经纬度坐标。

S250、根据所述优化后的二维速度确定所述视觉感知目标的优化后的航向角。

其中，视觉感知目标的航向角是指视觉感知目标在正北方向的偏角。在预设平面直角坐标系下，视觉感知目标的航向角是在Y轴方向的偏角。

具体的，由于视觉传感器的特性导致在视觉感知目标的速度较小时，所确定的视觉感知目标的航向角波动较大，在视觉感知目标的速度较大时，所确定的视觉感知目标的航向角波动较小；因此，可以根据优化后的二维速度确定视觉感知目标的航向角，即对航向角进行优化，得到优化后的航向角。

S260、根据所述优化后的经纬度坐标和所述优化后的航向角更新所述视觉感知目标数据的位姿信息，得到优化视觉感知目标数据。

具体的，将视觉感知目标数据中包含的经纬度坐标更新为优化后的经纬度坐标，航向角更新为优化后的航向角，得到优化视觉感知目标数据，从而实现对视觉感知目标数据的位姿信息的优化。

S270、将所述雷达感知目标数据和所述优化视觉感知目标数据关联到所述道路路口的历史感知目标列表中，形成全息感知目标列表；所述历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定。

S280、根据所述全息感知目标列表中的各感知目标所关联的感知目标数据，确定所述道路路口的全息感知数据。

本发明实施例的技术方案，通过获取道路路口的雷达感知目标数据和视觉感知目标数据；对视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据；将雷达感知目标数据和所述优化视觉感知目标数据关联到道路路口的历史感知目标列表中，形成全息感知目标列表；历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定；根据全息感知目标列表中的各感知目标所关联的感知目标数据，确定道路路口的全息感知数据；实现了跨多传感器的感知目标关联，充分融合了多传感器的优点，提高了激光雷达传感器探测不到的区域内的感知目标的位姿信息的准确度，能够准确提供各类路口的大范围全息感知信息。

可选的，所述根据所述优化后的速度确定所述视觉感知目标的优化后的航向角，包括：

对于每个当前帧的视觉感知目标数据，确定所述视觉感知目标的优化后的二维速度对应的合速度；

若所述合速度大于或等于速度阈值，则确定根据所述优化后的二维速度确定所述优化后的航向角；其中，所述速度阈值大于零；

若所述合速度为零，则根据所述视觉感知目标在当前帧所处道路的朝向确定所述优化后的航向角；

若所述合速度小于所述速度阈值且不为零，则将所述视觉感知目标根据历史帧的视觉感知目标数据所确定的最接近航向角，确定为所述优化后的航向角；所述最接近航向角为所述视觉感知目标在合速度大于或等于所述速度阈值且与所述合速度差值最小时所对应的航向角。

其中，速度阈值可以根据视觉传感器的特性以及对视觉感知目标的速度的精确度要求所确定，且速度阈值大于零。

具体的，如图2C所示，根据卡尔曼滤波后得到的视觉感知目标的优化后的二维速度确定合速度为判断合速度是否大于速度阈值，若合速度大于或等于速度阈值，可以认为视觉传感器对视觉感知目标的速度探测具有一定稳定性，因此根据优化后的二维速度确定优化后的航向角为α＝atan(V′x/V′y)。

若合速度是否小于或等于速度阈值，可以认为视觉传感器对视觉感知目标的速度探测的稳定性较差，此时需要进一步判断合速度是否等于零，若合速度等于零，则表示视觉感知目标此时处于禁止状态，可以将视觉感知目标所处道路的朝向确定为视觉感知目标的优化后的航向角，例如视觉感知目标所处道路的朝向为正东，则在预设平面直角坐标系下，视觉感知目标的优化后的航向角为90度。

若合速度不等于零，即合速度小于速度阈值且不为零，则认为视觉感知目标正在移动中，但移动的速度很小，会导致视觉传感器所对应的视觉感知目标的速度探测的稳定性较差，此时可以采用满足稳定性要求的最接近航向角作为当前帧视觉感知目标的优化后的航向角，从而使视觉感知目标的航向角的探测稳定性得到优化。

最接近航向角为基于历史帧的视觉感知目标数据所确定的视觉感知目标的航向角中，选择的视觉感知目标在合速度大于或等于速度阈值且与合速度差值最小时所对应的航向角，也可以认为是视觉感知目标的速度即将小于速度阈值但还未小于速度阈值时所对应的航向角。

实施例三

图3A为本发明实施例三提供的一种路口全息感知方法的流程图，本实施例对上述实施例之间的步骤S130进一步限定。如图3A所示，该方法包括：

S310、获取道路路口的雷达感知目标数据和视觉感知目标数据。

S320、对所述视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据。

S330、依次将每一帧雷达感知目标数据关联到所述历史感知目标列表中得到第一感知目标关联列表；依次将每一帧的优化视觉感知目标数据关联到所述历史感知目标列表中得到第二感知目标关联列表。

其中，感知目标关联列表是指将所获取到的感知目标数据(雷达感知目标数据，或者优化视觉感知目标数据)关联到历史感知目标列表中对应的感知目标后所确定的新的感知目标列表。

第一感知目标关联列表是在历史感知目标列表的基础上，关联当前帧的雷达感知目标数据后确定的新的感知目标列表；第二感知目标关联列表是在历史感知目标列表的基础上，关联当前帧的优化视觉感知目标数据后确定的新的感知目标列表。

具体的，将每一帧雷达感知目标数据关联到历史感知目标列表中得到一感知目标关联列表，并且将每一帧的优化视觉感知目标数据关联到历史感知目标列表中得到第二感知目标关联列表。

需要说明的是，雷达感知目标数据的关联步骤和优化视觉感知目标数据的关联步骤的先后顺序本发明实施例不作限定，可以先执行雷达感知目标数据的关联步骤，再执行优化视觉感知目标数据的关联步骤；也可以先执行优化视觉感知目标数据的关联步骤，再执行雷达感知目标数据的关联步骤；或者也可以同时执行。

S340、根据每次关联雷达感知目标数据后得到的第一感知目标关联列表，以及每次关联优化视觉感知目标数据后得到的第二感知目标关联列表，分别更新所述历史感知目标列表。

具体的，在每次执行雷达感知目标数据的关联步骤得到第一感知目标关联列表后，需要基于第一感知目标关联列表更新历史感知目标列表，使历史感知目标列表包含所关联的当前帧的雷达感知目标数据；同样的，在每次执行优化视觉感知目标数据的关联步骤得到第二感知目标关联列表后，需要基于第二感知目标关联列表更新历史感知目标列表，使历史感知目标列表包含所关联的当前帧的优化视觉感知目标数据。

S350、将完成雷达感知目标数据和优化视觉感知目标数据的关联后最终更新的历史感知目标列表，确定为全息感知目标列表。

具体的，雷达感知目标数据和优化视觉感知目标数据的所有帧数据均关联到历史感知目标列表之后，此时更新得到的历史感知目标列表即为全息感知目标列表。

S360、根据所述全息感知目标列表中的各感知目标所关联的感知目标数据，确定所述道路路口的全息感知数据。

本发明实施例的技术方案，通过获取道路路口的雷达感知目标数据和视觉感知目标数据；对视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据；将雷达感知目标数据和所述优化视觉感知目标数据关联到道路路口的历史感知目标列表中，形成全息感知目标列表；历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定；根据全息感知目标列表中的各感知目标所关联的感知目标数据，确定道路路口的全息感知数据；解决了现有单一路口全息感知方法存在感知范围小或感知精确度差，多传感器融合全息感知方法存在跨多传感器联合实现难度高，不能充分融合多传感器的优点，从而无法准确提供路口的大范围全息感知信息的问题，实现了跨多传感器的感知目标关联，充分融合了多传感器的优点，能够准确提供各类路口的大范围全息感知信息。

可选的，如图3B所示，步骤S330、所述依次将每一帧雷达感知目标数据关联到所述历史感知目标列表中得到第一感知目标关联列表，包括：

S331、对于每一帧雷达感知目标数据，判断所述历史感知目标列表中是否存在关联雷达感知目标。其中，所述关联雷达感知目标是与所述雷达感知目标数据具有相同雷达感知目标标识号的雷达感知目标。

S332、若存在所述关联雷达感知目标，则将所述雷达感知目标数据与所述历史感知目标列表中的关联雷达感知目标进行关联，得到第一感知目标关联列表；

S333、若不存在所述关联雷达感知目标，则根据所述雷达感知目标数据创建第一感知目标，将所述第一感知目标写入到所述历史感知目标列表中，得到第一感知目标关联列表。

其中，关联雷达感知目标是与雷达感知目标数据具有相同雷达感知目标标识号的雷达感知目标。第一感知目标是新的雷达感知目标，该第一感知目标可以携带有该感知目标对应的雷达感知目标数据。

具体的，在将雷达感知目标数据关联到历史感知目标列表中，首先根据雷达感知目标数据包含的雷达感知目标标识号，判断历史感知目标列表中是否存在具有相同雷达感知目标标识号的雷达感知目标，即是否存在关联雷达感知目标。

若历史感知目标列表中存在关联雷达感知目标，则表示雷达感知目标数据对应的雷达感知目标与关联雷达感知目标为同一个雷达感知目标，可以将雷达感知目标数据与历史感知目标列表中的关联雷达感知目标进行关联得到第一感知目标关联列表。

若历史感知目标列表中不存在关联雷达感知目标，则表示雷达感知目标数据对应的雷达感知目标可能为首次探测的雷达感知目标，因此，根据雷达感知目标数据创建新的感知目标，即第一感知目标。将第一感知目标写入到所述历史感知目标列表中，并为第一感知目标分配新的雷达感知目标标识号，得到第一感知目标关联列表。

可选的，如图3C所示，步骤S340、所述依次将每一帧优化视觉感知目标数据关联到所述历史感知目标列表中，得到第二感知目标关联列表，包括：

S341、对于每一帧优化视觉感知目标数据，判断所述历史感知目标列表中是否存在关联感知目标。

其中，所述关联感知目标是与所述优化视觉感知目标数据对应的视觉感知目标存在关联的视觉感知目标或者雷达感知目标；

S342、若存在所述关联感知目标，则将所述优化视觉感知目标数据与所述历史感知目标列表中的所述关联感知目标进行关联，得到第二感知目标关联列表；

S343、若不存在所述关联感知目标，则判断所述优化视觉感知目标数据对应的视觉感知目标是否存在于非目标创建区域内；

S344、若所述视觉感知目标未存在于非目标创建区域内，则根据所述视觉感知目标数据创建第二感知目标，将所述第二感知目标写入到所述历史感知目标列表中，得到第二感知目标关联列表。

其中，关联感知目标是与优化视觉感知目标数据对应的视觉感知目标存在关联的视觉感知目标或者雷达感知目标。第二感知目标是新的视觉感知目标，该第一感知目标可以携带有该感知目标对应的优化视觉感知目标数据。非目标创建区域是指不关注感知目标的区域，可以道路的实际情况和实际需求确定非目标创建区域，例如将高速公路的匝道确定为非目标创建区域。

具体的，在将优化视觉感知目标数据关联到历史感知目标列表中，首先判断历史感知目标列表中是否存在与优化视觉感知目标数据具有关联的感知目标，即关联感知目标，该关联感知目标可以是视觉感知目标或者雷达感知目标。若该关联感知目标为雷达感知目标，则实现将视觉传感器与激光雷达的数据关联融合。

若历史感知目标列表中存在具有关联的感知目标，则将优化视觉感知目标数据与历史感知目标列表中的关联感知目标进行关联，即可得到第二感知目标关联列表。

若不存在关联感知目标，则判断优化视觉感知目标数据对应的视觉感知目标是否存在于非目标创建区域内。由于视觉传感器所探测的范围较广，可能探测到非目标创建区域内的感知目标，而非目标创建区域内的感知目标并不需要被关注，因此若视觉感知目标存在于非目标创建区域内，则无需创建新的感知目标。于是，步骤S341判断所述优化视觉感知目标数据对应的视觉感知目标是否存在于非目标创建区域内之后，还包括：S345、舍弃优化视觉感知目标数据。

若视觉感知目标未存在于非目标创建区域内，则需要根据视觉感知目标数据创建第二感知目标，将第二感知目标写入到历史感知目标列表中，并为第二感知目标分配新的感知目标标识号，得到第二感知目标关联列表。

示例性的，判断历史感知目标列表中是否存在与优化视觉感知目标数据具有关联的感知目标的方式可以为根据优化视觉感知目标数据包含的感知目标标识号、采集设备标识号以及位姿信息等与历史感知目标列表中的各感知目标对应的感知目标数据进行匹配，确定是否存在与优化视觉感知目标数据具有关联的感知目标。本发明实施例对匹配方式不做限定。

可选的，如图3D所示，步骤S341、所述对于每一帧优化视觉感知目标数据，判断所述历史感知目标列表中是否存在关联感知目标，包括：

S3411、基于第一级关联策略，判断所述历史感知目标列表中是否存在一级关联感知目标。

其中，所述第一级关联策略是根据所述优化视觉感知目标数据的视觉传感器标识号和视觉感知目标标识号确定的具有关联的视觉感知目标。

S3412、若不存在所述一级关联感知目标，则确定所述历史感知目标列表中未与所述优化视觉感知目标数据关联的第一未关联感知目标。

S3413、基于第二级关联策略，判断所述第一未关联感知目标中是否存在所述优化视觉感知目标数据对应的二级关联感知目标。

S3414、若不存在所述二级关联感知目标，则确定所述第一未关联感知目标中除所述二级关联感知目标之外的第二未关联感知目标。

S3415、基于第三级关联策略，判断所述第二未关联感知目标中是否存在所述优化视觉感知目标数据对应的三级关联感知目标；

S3416、若不存在所述三级关联感知目标，则确定所述历史感知目标列表中不存在所述关联感知目标。

在本发明实施例中，采用三级关联策略判断历史感知目标列表中是否存在优化视觉感知目标数据对应的关联感知目标。关联感知目标可以包括：一级关联感知目标、二级关联感知目标或者三级关联感知目标。其中，一级关联感知目标是基于第一级关联策略所确定的关联感知目标，第一未关联感知目标是执行第一级关联策略后未被关联的感知目标。二级关联感知目标是基于第二级关联策略所确定的关联感知目标；第二未关联感知目标是执行第一级关联策略后未被关联的感知目标。三级关联感知目标是基于第三级关联策略所确定的关联感知目标。

因此，步骤S341还包括：步骤S3417、若存在所述一级关联感知目标、所述二级关联感知目标或三级关联感知目标，则确定所述历史感知目标列表中存在所述关联感知目标。

具体的，首先，基于第一级关联策略判断历史感知目标列表中是否存在一级关联感知目标；第一级关联策略是根据优化视觉感知目标数据的视觉传感器标识号和视觉感知目标标识号确定具有关联的视觉感知目标。若历史感知目标列表中存在与优化视觉感知目标数据包含的视觉传感器标识号和视觉感知目标标识号相同的视觉感知目标，则该视觉感知目标确定为一级关联感知目标，确定历史感知目标列表中存在一级关联感知目标。若历史感知目标列表中不存在一级关联感知目标，则将历史感知目标列表中未与优化视觉感知目标数据关联的感知目标确定为第一未关联感知目标。

其次，基于第二级关联策略，判断第一未关联感知目标中是否存在优化视觉感知目标数据对应的二级关联感知目标。第二级关联策略能够基于匹配关系进行关联，所确定的二级关联感知目标可以是雷达感知目标或视觉感知目标。若不存在二级关联感知目标，则将第一未关联感知目标中除二级关联感知目标之外的感知目标确定为第二未关联感知目标。

然后，基于第三级关联策略，判断未关联感知目标中是否存在优化视觉感知目标数据对应的三级关联感知目标。第三级关联策略能够基于位姿信息进行关联，所确定的三级关联感知目标可以是雷达感知目标或视觉感知目标。若历史感知目标列表中不存在三级关联感知目标，则表明历史感知目标列表中不存在三级关联感知目标、三级关联感知目标和三级关联感知目标，即历史感知目标列表中不存在任何关联感知目标。

可选的，所述第二级关联策略，包括：

根据所述第一未关联感知目标对应的感知目标数据和所述优化视觉感知目标数据的交并比确定第一关联矩阵；

将所述第一关联矩阵输入匈牙利算法。

其中，第一关联矩阵是表明感知目标数据和优化视觉感知目标数据的关联关系的矩阵。匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法,本发明实施例对此不做赘述。

具体的，将历史感知目标列表中的各第一未关联感知目标对应的感知目标数据和优化视觉感知目标数据分别进行交并比的计算，根据计算结果生成第一关联矩阵，将第一关联矩阵输入匈牙利算法，经过匈牙利算法进行关联匹配，确定第一未关联感知目标中是否存在优化视觉感知目标数据对应的二级关联感知目标。

可选的，所述第三级关联策略，包括：

确定每个所述第二未关联感知目标和所述优化视觉感知目标数据对应的经纬度差值和航向角差值；

将所述纬度差值小于经纬度阈值且所述航向角差值小于航向角阈值的第二未关联感知目标，确定为备选关联感知目标；

根据各所述备选关联感知目标对应的感知目标数据确定第二关联矩阵；

将所述第二关联矩阵输入匈牙利算法。

其中，第二关联矩阵是表明感知目标数据和优化视觉感知目标数据在位信息上的关联关系的矩阵。备选关联感知目标是与优化视觉感知目标数据对应的感知目标在位姿信息上满足一定条件的感知目标。

具体的，计算历史感知目标列表中的各第二未关联感知目标对应的经纬度坐标和优化视觉感知目标数据对应的经纬度坐标之间的经纬度差值。计算历史感知目标列表中的各第二未关联感知目标对应的航向角和优化视觉感知目标数据对应的优化航向角之间的航向角差值。

由于经纬度差值较小以及航向角差值较小的优化视觉感知目标数据和第二未关联感知目标可能是同一个感知目标，因此将纬度差值小于经纬度阈值且航向角差值小于航向角阈值的第二未关联感知目标，确定为备选关联感知目标。根据各所述备选关联感知目标对应的感知目标数据生成第二关联矩阵。经过匈牙利算法进行关联匹配，确定备选关联感知目标中是否存在优化视觉感知目标数据对应的三级关联感知目标。

实施例四

图4为本发明实施例四提供的一种路口全息感知方法的流程图，本实施例对上述实施例之间的步骤S140进一步限定。如图4所示，该方法包括：

S410、获取道路路口的雷达感知目标数据和视觉感知目标数据。

S420、对所述视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据。

S430、将所述雷达感知目标数据和所述优化视觉感知目标数据关联到所述道路路口的历史感知目标列表中，形成全息感知目标列表；所述历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定。

S440、对于所述全息感知目标列表中的各雷达感知目标，根据所述雷达感知目标所关联的优化视觉感知目标数据确定目标视觉传感器标识号，所述目标视觉传感器标识号是与所述雷达感知目标的关联时间最长的视觉传感器标识号。

其中，目标视觉传感器标识号是雷达感知目标所关联的视觉感知目标数据中与雷达感知目标的关联时间最长的视觉传感器标识号，关联时间可以根据关联次数确定，即关联时间最长的视觉传感器标识号为关联次数最多的视觉传感器标识号。

具体的，对于全息感知目标列表中的每一个雷达感知目标，分别根据该雷达感知目标所关联的优化视觉感知目标数据所包含的视觉传感器标识号，确定与该雷达感知目标所关联的视觉传感器标识号的关联次数，则将关联次数最多的视觉传感器标识号确定为目标视觉传感器标识号。

S450、根据所述目标视觉传感器标识号对应的优化视觉感知目标数据中的感知目标类型，更新所述全息感知目标列表中所述雷达感知目标的感知目标类型。

具体的，确定目标视觉传感器标识号对应的优化视觉感知目标数据中包含的感知目标类型，将目标视觉传感器标识号对应的感知目标类型，作为对应的感知目标的感知目标类型，从而更新全息感知目标列表中该感知目标的感知目标类型。可以实现将全息感知目标列表中雷达感知目标的感知目标类型更新为所关联的目标视觉传感器标识号的视觉感知类型，从而弥补了激光雷达对感知目标的类型探测不准确的问题。

S460、判断所述全息感知目标列表中的视觉感知目标是否与在生命周期内的雷达感知目标数据关联。

其中，生命周期是能够反映雷达感知目标的位姿信息的预设时间，可以认为在生命周期内雷达感知目标数据的位姿信息保持不变或变化较小，能够准确表示当前雷达感知目标的位姿。

具体的，在更新全息感知目标列表中雷达感知目标的感知目标类型后，弥补了激光雷达对感知目标的类型探测不准确的问题之后，还需要更新全息感知目标列表中视觉感知目标的位姿信息，即位置、速度和航向角，以弥补了视觉光传感器对感知目标的位姿信息探测不准确的问题。但是，由于视觉传感器相比于激光雷达的探测范围较广，可能存在一些视觉传感器探测到而激光雷达并没有探测到的感知目标，从而出现雷达感知目标上没有关联到任何优化视觉感知目标数据，于是需要感知目标是否与雷达感知目标数据关联。

另外，由于道路上的目标的位姿信息随时可能发生变化，雷达感知目标数据具有一定的生命周期，在生命周期内的雷达感知目标数据才能准确表示当前雷达感知目标的位姿，因此还需要判断视觉感知目标关联的雷达感知目标数据是否在生命周期内。

S470、若是，则根据所述视觉感知目标所关联的雷达感知目标数据更新所述视觉感知目标的位姿信息。

具体的，若视觉感知目标与在生命周期内的雷达感知目标数据关联，则表示可以采用所关联的雷达感知目标数据中包含的当前位姿信息更新视觉感知目标的位姿信息，采用所关联的雷达感知目标数据包含的位姿信息弥补了视觉光传感器对感知目标的位姿信息探测不准确的问题。若视觉感知目标未在生命周期内或者未与雷达感知目标数据关联，则不用对视觉感知目标的位姿信息进行更新，依然使用优化视觉感知目标数据中包含的位姿信息即可，在本实施例中优化视觉感知目标数据中包含的位姿信息由于是经过优化的位姿信息，依然在一定程度上提升了位姿信息探测的准确度。

S480、根据更新后的全息感知目标列表中各感知目标对应的感知目标数据，确定所述道路路口的全息感知数据。

具体的，根据更新后的全息感知目标列表中各感知目标对应的感知目标数据(包括：感知目标类型、位姿信息和速度等)以及道路信息，确定道路路口的全息感知数据。

本发明实施例的技术方案，通过获取道路路口的雷达感知目标数据和视觉感知目标数据；对视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据；将雷达感知目标数据和所述优化视觉感知目标数据关联到道路路口的历史感知目标列表中，形成全息感知目标列表；历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定；根据全息感知目标列表中的各感知目标所关联的感知目标数据，确定道路路口的全息感知数据；实现了跨多传感器的感知目标关联，充分融合雷达传感器感知目标的位姿信息和速度精确度高，视觉传感器确定感知目标类型准确高、感知范围广的优点，能够准确提供各类路口的大范围全息感知信息。

可选的，所述根据更新后的全息感知目标列表中各感知目标对应的感知目标数据，确定所述道路路口的全息感知数据之前，还包括：

对于所述全息感知目标列表中的感知目标，若所述感知目标所关联的感知目标数据的生命周期不在有效期内，则将所述感知目标所关联的感知目标数据舍弃；

若所述感知目标所关联的感知目标数据为零，则将所述感知目标舍弃。

其中，与当前时间接近的历史时间内所获取的感知目标数据才是能够用于反映当前时间感知目标的位姿信息和类型的有效数据，因此，需要设定有效期，生命周期在有效期内的感知目标数据为有效数据，生命周期不在有效期内的感知目标数据为无效数据。

具体的，对于全息感知目标列表中的每个感知目标，若该感知目标所关联的感知目标数据的生命周期不在有效期内，则表示该感知目标所关联的感知目标数据已经成为无效数据，无法准确表示感知目标当前的位置信息或类型，因此可以将所述感知目标所关联的感知目标数据舍弃。通过舍弃全息感知目标列表中的无效数据，可以减少全息感知目标列表送的数据量，减少占用内存。若感知目标所关联的感知目标数据为零，则该感知目标仅在一帧数据中出现过，可以将该感知目标作为误判信息进行舍弃，提高感知目标的感知准确度。

实施例五

图5为本发明实施例五提供的一种路口全息感知装置的结构示意图。如图5所示，该装置包括：获取模块510、优化模块520、关联模块530和确定模块540；

获取模块510，用于获取道路路口的雷达感知目标数据和视觉感知目标数据；

优化模块520，用于对所述视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据；

关联模块530，用于将所述雷达感知目标数据和所述优化视觉感知目标数据关联到所述道路路口的历史感知目标列表中，形成全息感知目标列表；所述历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定；

确定模块540，用于根据所述全息感知目标列表中的各感知目标所关联的感知目标数据，确定所述道路路口的全息感知数据。

可选的，所述优化模块520，包括：

第一坐标转换单元，用于对于视觉感知目标数据中包含的视觉感知目标，根据所述视觉感知目标的经纬度坐标和预设坐标转换算法，确定所述视觉感知目标在预设平面直角坐标系下的二维坐标；其中，所述预设坐标转换算法为经纬度坐标系和预设平面直角坐标系之间的坐标转换算法；

滤波单元，用于将视觉感知目标的二维坐标输入卡尔曼滤波算法，得到所述视觉感知目标的优化后的二维坐标和优化后的二维速度；

第二坐标转换单元，用于根据所述预设坐标转换算法和所述优化后的二维坐标，确定所述视觉感知目标对应的优化后的经纬度坐标；

航向角确定单元，用于根据所述优化后的二维速度确定所述视觉感知目标的优化后的航向角；

位姿更新单元，用于根据所述优化后的经纬度坐标和所述优化后的航向角更新所述视觉感知目标数据的位姿信息，得到优化视觉感知目标数据。

可选的，所述航向角确定单元，具体用于：

对于每个当前帧的视觉感知目标数据，确定所述视觉感知目标的优化后的二维速度对应的当前合速度；

若所述当前合速度大于或等于速度阈值，则确定根据所述优化后的二维速度确定所述优化后的航向角；其中，所述速度阈值大于零；

若所述当前合速度为零，则根据所述视觉感知目标在当前帧所处道路的朝向确定所述优化后的航向角；

若所述当前合速度小于所述速度阈值且不为零，则将所述视觉感知目标根据历史帧的视觉感知目标数据所确定的最接近航向角，确定为所述优化后的航向角；所述最接近航向角为所述视觉感知目标在合速度大于或等于所述速度阈值且与所述合速度差值最小时所对应的航向角。

可选的，所述关联模块530，包括：

第一关联单元，用于依次将每一帧雷达感知目标数据关联到所述历史感知目标列表中得到第一感知目标关联列表；

第二关联单元，用于依次将每一帧的优化视觉感知目标数据关联到所述历史感知目标列表中得到第二感知目标关联列表；

更新单元，用于根据每次关联雷达感知目标数据后得到的第一感知目标关联列表，以及每次关联优化视觉感知目标数据后得到的第二感知目标关联列表，分别更新所述历史感知目标列表；

列表确定单元，用于将完成雷达感知目标数据和优化视觉感知目标数据的关联后最终更新的历史感知目标列表，确定为全息感知目标列表。

可选的，所述第一关联单元，具体用于：

对于每一帧雷达感知目标数据，判断所述历史感知目标列表中是否存在关联雷达感知目标，所述关联雷达感知目标是与所述雷达感知目标数据具有相同雷达感知目标标识号的雷达感知目标

若存在，则将所述雷达感知目标数据与所述历史感知目标列表中的关联雷达感知目标进行关联，得到第一感知目标关联列表；

若不存在，则根据所述雷达感知目标数据创建第一感知目标，将所述第一感知目标写入到所述历史感知目标列表中，得到第一感知目标关联列表。

可选的，所述第二关联单元，包括：

第一判断子单元，用于对于每一帧优化视觉感知目标数据，判断所述历史感知目标列表中是否存在关联感知目标；其中，所述关联感知目标是与所述优化视觉感知目标数据对应的视觉感知目标存在关联的视觉感知目标或者雷达感知目标；

第一关联子单元，用于若存在所述关联感知目标，则将所述优化视觉感知目标数据与所述历史感知目标列表中的所述关联感知目标进行关联，得到第二感知目标关联列表；

第二判断子单元，用于若不存在所述关联感知目标，则判断所述优化视觉感知目标数据对应的视觉感知目标是否存在于非目标创建区域内；

目标创建单元，用于若所述视觉感知目标不存在于非目标创建区域内，则根据所述视觉感知目标数据创建第二感知目标，将所述第二感知目标写入到所述历史感知目标列表中，得到第二感知目标关联列表。

可选的，所述第一判断子单元，具体用于：

基于第一级关联策略，判断所述历史感知目标列表中是否存在一级关联感知目标；所述第一级关联策略是根据所述优化视觉感知目标数据的视觉传感器标识号和视觉感知目标标识号确定具有关联的视觉感知目标；

若不存在所述一级关联感知目标，则确定所述历史感知目标列表中未与所述优化视觉感知目标数据关联的第一未关联感知目标；基于第二级关联策略，判断所述第一未关联感知目标中是否存在所述优化视觉感知目标数据对应的二级关联感知目标；

若不存在所述二级关联感知目标，则确定所述第一未关联感知目标中除所述二级关联感知目标之外的第二未关联感知目标；基于第三级关联策略，判断所述第二未关联感知目标中是否存在所述优化视觉感知目标数据对应的三级关联感知目标；

若不存在所述三级关联感知目标，则确定所述历史感知目标列表中不存在所述关联感知目标。

可选的，所述第二级关联策略，包括：

根据所述第一未关联感知目标对应的感知目标数据和所述优化视觉感知目标数据的交并比确定第一关联矩阵；

将所述第一关联矩阵输入匈牙利算法。

可选的，所述第三级关联策略，包括：

确定每个所述第二未关联感知目标和所述优化视觉感知目标数据对应的经纬度差值和航向角差值；

将所述纬度差值小于经纬度阈值且所述航向角差值小于航向角阈值的第二未关联感知目标，确定为备选关联感知目标；

根据各所述备选关联感知目标对应的感知目标数据确定第二关联矩阵；

将所述第二关联矩阵输入匈牙利算法。

可选的，所述确定模块540，具体用于：

对于所述全息感知目标列表中的各雷达感知目标，根据所述雷达感知目标所关联的优化视觉感知目标数据确定目标视觉传感器标识号，所述目标视觉传感器标识号是与所述雷达感知目标的关联时间最长的视觉传感器标识号；

根据所述目标视觉传感器标识号对应的优化视觉感知目标数据中的感知目标类型，更新所述全息感知目标列表中所述雷达感知目标的感知目标类型；

判断所述全息感知目标列表中的视觉感知目标是否与在生命周期内的雷达感知目标数据关联；

若是，则根据所述视觉感知目标所关联的雷达感知目标数据更新所述视觉感知目标的位姿信息；

根据更新后的全息感知目标列表中各感知目标对应的感知目标数据，确定所述道路路口的全息感知数据。

可选的，还包括：

第一舍弃模块，用于对于所述全息感知目标列表中的感知目标，若所述感知目标所关联的感知目标数据的生命周期不在有效期内，则将所述感知目标所关联的感知目标数据舍弃；

第二舍弃模块，用于若所述感知目标所关联的感知目标数据为零，则将所述感知目标舍弃。

本发明实施例所提供的路口全息感知装置可执行本发明任意实施例所提供的路口全息感知方法，具备执行方法相应的功能模块和有益效果。

实施例六

图6示出了可以用来实施本发明的实施例的边缘计算设备10的结构示意图。边缘计算设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。边缘计算设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图6所示，边缘计算设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储边缘计算设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

边缘计算设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许边缘计算设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如路口全息感知方法。

在一些实施例中，路口全息感知方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到边缘计算设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的路口全息感知方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行路口全息感知方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在边缘计算设备上实施此处描述的系统和技术，该边缘计算设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给边缘计算设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种路口全息感知方法，其特征在于，包括：

获取道路路口的雷达感知目标数据和视觉感知目标数据；

对所述视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据；

将所述雷达感知目标数据和所述优化视觉感知目标数据关联到所述道路路口的历史感知目标列表中，形成全息感知目标列表；所述历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定；

根据所述全息感知目标列表中的各感知目标所关联的感知目标数据，确定所述道路路口的全息感知数据；

将所述雷达感知目标数据和所述优化视觉感知目标数据关联到所述道路路口的历史感知目标列表中，形成全息感知目标列表，包括：

依次将每一帧雷达感知目标数据关联到所述历史感知目标列表中得到第一感知目标关联列表；

依次将每一帧的优化视觉感知目标数据关联到所述历史感知目标列表中得到第二感知目标关联列表；

根据每次关联雷达感知目标数据后得到的第一感知目标关联列表，以及每次关联优化视觉感知目标数据后得到的第二感知目标关联列表，分别更新所述历史感知目标列表；

将完成雷达感知目标数据和优化视觉感知目标数据的关联后最终更新的历史感知目标列表，确定为全息感知目标列表；

根据所述全息感知目标列表中的各感知目标所关联的感知目标数据，确定所述道路路口的全息感知数据，包括：

对于所述全息感知目标列表中的各雷达感知目标，根据所述雷达感知目标所关联的优化视觉感知目标数据确定目标视觉传感器标识号，所述目标视觉传感器标识号是与所述雷达感知目标的关联时间最长的视觉传感器标识号；

根据所述目标视觉传感器标识号对应的优化视觉感知目标数据中的感知目标类型，更新所述全息感知目标列表中所述雷达感知目标的感知目标类型；

判断所述全息感知目标列表中的视觉感知目标是否与在生命周期内的雷达感知目标数据关联；

若是，则根据所述视觉感知目标所关联的雷达感知目标数据更新所述视觉感知目标的位姿信息；

根据更新后的全息感知目标列表中各感知目标对应的感知目标数据，确定所述道路路口的全息感知数据。

2.根据权利要求1所述的方法，其特征在于，所述对所述视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据，包括：

对于视觉感知目标数据中包含的视觉感知目标，根据所述视觉感知目标的经纬度坐标和预设坐标转换算法，确定所述视觉感知目标在预设平面直角坐标系下的二维坐标；其中，所述预设坐标转换算法为经纬度坐标系和预设平面直角坐标系之间的坐标转换算法；

将视觉感知目标的二维坐标输入卡尔曼滤波算法，得到所述视觉感知目标的优化后的二维坐标和优化后的二维速度；

根据所述预设坐标转换算法和所述优化后的二维坐标，确定所述视觉感知目标对应的优化后的经纬度坐标；

根据所述优化后的二维速度确定所述视觉感知目标的优化后的航向角；

根据所述优化后的经纬度坐标和所述优化后的航向角更新所述视觉感知目标数据的位姿信息，得到优化视觉感知目标数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述优化后的速度确定所述视觉感知目标的优化后的航向角，包括：

对于每个当前帧的视觉感知目标数据，确定所述视觉感知目标的优化后的二维速度对应的合速度；

若所述合速度大于或等于速度阈值，则确定根据所述优化后的二维速度确定所述优化后的航向角；其中，所述速度阈值大于零；

若所述合速度为零，则根据所述视觉感知目标在当前帧所处道路的朝向确定所述优化后的航向角；

若所述合速度小于所述速度阈值且不为零，则将所述视觉感知目标根据历史帧的视觉感知目标数据所确定的最接近航向角，确定为所述优化后的航向角；所述最接近航向角为所述视觉感知目标在合速度大于或等于所述速度阈值且与所述合速度差值最小时所对应的航向角。

4.根据权利要求1所述的方法，其特征在于，所述依次将每一帧雷达感知目标数据关联到所述历史感知目标列表中得到第一感知目标关联列表，包括：

对于每一帧雷达感知目标数据，判断所述历史感知目标列表中是否存在关联雷达感知目标，所述关联雷达感知目标是与所述雷达感知目标数据具有相同雷达感知目标标识号的雷达感知目标；

若存在所述关联雷达感知目标，则将所述雷达感知目标数据与所述历史感知目标列表中的关联雷达感知目标进行关联，得到第一感知目标关联列表；

若不存在所述关联雷达感知目标，则根据所述雷达感知目标数据创建第一感知目标，将所述第一感知目标写入到所述历史感知目标列表中，得到第一感知目标关联列表。

5.根据权利要求1或4所述的方法，其特征在于，所述依次将每一帧优化视觉感知目标数据关联到所述历史感知目标列表中，得到第二感知目标关联列表，包括：

对于每一帧优化视觉感知目标数据，判断所述历史感知目标列表中是否存在关联感知目标；其中，所述关联感知目标是与所述优化视觉感知目标数据对应的视觉感知目标存在关联的视觉感知目标或者雷达感知目标；

若存在所述关联感知目标，则将所述优化视觉感知目标数据与所述历史感知目标列表中的所述关联感知目标进行关联，得到第二感知目标关联列表；

若不存在所述关联感知目标，则判断所述优化视觉感知目标数据对应的视觉感知目标是否存在于非目标创建区域内；

若所述视觉感知目标不存在于非目标创建区域内，则根据所述视觉感知目标数据创建第二感知目标，将所述第二感知目标写入到所述历史感知目标列表中，得到第二感知目标关联列表。

6.根据权利要求5所述的方法，其特征在于，判断所述历史感知目标列表中是否存在关联感知目标，包括：

基于第一级关联策略，判断所述历史感知目标列表中是否存在一级关联感知目标；所述第一级关联策略是根据所述优化视觉感知目标数据的视觉传感器标识号和视觉感知目标标识号确定具有关联的视觉感知目标；

若不存在所述一级关联感知目标，则确定所述历史感知目标列表中未与所述优化视觉感知目标数据关联的第一未关联感知目标；基于第二级关联策略，判断所述第一未关联感知目标中是否存在所述优化视觉感知目标数据对应的二级关联感知目标；

若不存在所述二级关联感知目标，则确定所述第一未关联感知目标中除所述二级关联感知目标之外的第二未关联感知目标；基于第三级关联策略，判断所述第二未关联感知目标中是否存在所述优化视觉感知目标数据对应的三级关联感知目标；

若不存在所述三级关联感知目标，则确定所述历史感知目标列表中不存在所述关联感知目标。

7.根据权利要求6所述的方法，其特征在于，所述第二级关联策略，包括：

根据所述第一未关联感知目标对应的感知目标数据和所述优化视觉感知目标数据的交并比确定第一关联矩阵；

将所述第一关联矩阵输入匈牙利算法。

8.根据权利要求6所述的方法，其特征在于，所述第三级关联策略，包括：

确定每个所述第二未关联感知目标和所述优化视觉感知目标数据对应的经纬度差值和航向角差值；

将所述纬度差值小于经纬度阈值且所述航向角差值小于航向角阈值的第二未关联感知目标，确定为备选关联感知目标；

根据各所述备选关联感知目标对应的感知目标数据确定第二关联矩阵；

将所述第二关联矩阵输入匈牙利算法。

9.根据权利要求1所述的方法，其特征在于，所述根据更新后的全息感知目标列表中各感知目标对应的感知目标数据，确定所述道路路口的全息感知数据之前，还包括：

对于所述全息感知目标列表中的感知目标，若所述感知目标所关联的感知目标数据的生命周期不在有效期内，则将所述感知目标所关联的感知目标数据舍弃；

若所述感知目标所关联的感知目标数据为零，则将所述感知目标舍弃。

10.一种路口全息感知装置，其特征在于，包括：

获取模块，用于获取道路路口的雷达感知目标数据和视觉感知目标数据；

优化模块，用于对所述视觉感知目标数据中的位姿信息进行优化处理，确定优化视觉感知目标数据；

关联模块，用于将所述雷达感知目标数据和所述优化视觉感知目标数据关联到所述道路路口的历史感知目标列表中，形成全息感知目标列表；所述历史感知目标列表根据历史雷达感知目标数据和/或历史优化视觉感知目标数据所确定；

确定模块，用于根据所述全息感知目标列表中的各感知目标所关联的感知目标数据，确定所述道路路口的全息感知数据；

第一关联单元，用于依次将每一帧雷达感知目标数据关联到所述历史感知目标列表中得到第一感知目标关联列表；

第二关联单元，用于依次将每一帧的优化视觉感知目标数据关联到所述历史感知目标列表中得到第二感知目标关联列表；

更新单元，用于根据每次关联雷达感知目标数据后得到的第一感知目标关联列表，以及每次关联优化视觉感知目标数据后得到的第二感知目标关联列表，分别更新所述历史感知目标列表；

列表确定单元，用于将完成雷达感知目标数据和优化视觉感知目标数据的关联后最终更新的历史感知目标列表，确定为全息感知目标列表；

对于所述全息感知目标列表中的各雷达感知目标，根据所述雷达感知目标所关联的优化视觉感知目标数据确定目标视觉传感器标识号，所述目标视觉传感器标识号是与所述雷达感知目标的关联时间最长的视觉传感器标识号；

根据所述目标视觉传感器标识号对应的优化视觉感知目标数据中的感知目标类型，更新所述全息感知目标列表中所述雷达感知目标的感知目标类型；

判断所述全息感知目标列表中的视觉感知目标是否与在生命周期内的雷达感知目标数据关联；

若是，则根据所述视觉感知目标所关联的雷达感知目标数据更新所述视觉感知目标的位姿信息；

根据更新后的全息感知目标列表中各感知目标对应的感知目标数据，确定所述道路路口的全息感知数据。

11.一种边缘计算设备，其特征在于，所述边缘计算设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的路口全息感知方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-9中任一项所述的路口全息感知方法。