CN117576652A - 道路对象的识别方法、装置和存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种道路对象的识别方法、装置和存储介质及电子设备。其中，该方法包括：获取车辆终端在目标时刻对目标路段采集到的点云信息以及道路图像；获取根据点云信息进行第一对象识别的第一识别结果，以及对道路图像进行第二对象识别的第二识别结果，其中，第一识别结果用于指示目标路段中包括的第一道路对象，以及各个第一道路对象的三维空间位置，第二识别结果用于指示道路图像中包括的第二道路对象，以及各个第二道路对象所在的图像区域；将第一道路对象投影至道路图像中，得到第一投影结果；根据第一投影结果和第二识别结果的匹配结果确定目标路段中包括的目标道路对象。本申请解决了相关技术识别出的道路对象不准确的技术问题。

Description

道路对象的识别方法、装置和存储介质及电子设备

技术领域

本申请涉及智能驾驶领域，具体而言，涉及一种道路对象的识别方法、装置和存储介质及电子设备。

背景技术

车辆终端道路对象识别已经成为车载智能技术领域的一个热门研究方向。通过车辆终端道路对象识别技术，车辆可以自动识别周围的道路、交通标志、行人、车辆等各种道路对象，并进行智能驾驶辅助、自动驾驶、路径规划以及真值构建等功能。

当前针对路采数据进行场景构建的时候，大多基于单一传感器，如激光雷达进行构建，其受到激光雷达本身点云密度的限制，以及不同的一些工况的影响，其静态真值不能有效的得到质量保证。同时，大多数算法是纯手工（人工标注）或者纯算法推导获取，而实际应用中，为了确保数据的精确性和准确性需要较高的数据采集频率，数据采集频率至少是25HZ，并且通常是以连续帧的形式进行采集，因而采集的数据量巨大导致人工并标注的成本增大，或者纯算法对于算法鲁棒性和性能的强依赖，现有的预标注模型准确度低、鲁棒性差，因此存在识别出的道路对象不准确的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种道路对象的识别方法、装置和存储介质及电子设备，以至少解决相技术识别道路对象不准确的技术问题。

根据本申请实施例的一个方面，提供了一种道路对象的识别方法，包括：获取车辆终端在目标时刻对目标路段采集到的点云信息以及道路图像；获取根据上述点云信息进行第一对象识别的第一识别结果，以及对上述道路图像进行第二对象识别的第二识别结果，其中，上述第一识别结果用于指示上述目标路段中包括的第一道路对象，以及各个上述第一道路对象的三维空间位置，上述第二识别结果用于指示上述道路图像中包括的第二道路对象，以及各个上述第二道路对象所在的图像区域；将上述第一道路对象投影至上述道路图像中，得到第一投影结果，其中，上述第一投影结果用于指示各个上述第一道路对象所在的图像区域；根据上述第一投影结果和上述第二识别结果的匹配结果确定上述目标路段中包括的目标道路对象。

根据本申请实施例的另一方面，还提供了一种道路对象的识别装置，包括：第一获取单元，用于获取车辆终端在目标时刻对目标路段采集到的点云信息以及道路图像；第二获取单元，用于获取根据上述点云信息进行第一对象识别的第一识别结果，以及对上述道路图像进行第二对象识别的第二识别结果，其中，上述第一识别结果用于指示上述目标路段中包括的第一道路对象，以及各个上述第一道路对象的三维空间位置，上述第二识别结果用于指示上述道路图像中包括的第二道路对象，以及各个上述第二道路对象所在的图像区域；第一确定单元，用于将上述第一道路对象投影至上述道路图像中，得到第一投影结果，其中，上述第一投影结果用于指示各个上述第一道路对象所在的图像区域；第二确定单元，用于根据上述第一投影结果和上述第二识别结果的匹配结果确定上述目标路段中包括的目标道路对象。

作为一种可选的方案，上述道路对象的识别装置，还包括：第三获取单元，用于获取上述第一投影结果指示的上述第一道路对象的第一图像区域；根据上述第二识别结果获取上述第一图像区域中包括的上述第二道路对象；在上述第一道路对象和上述第二道路对象相匹配的情况下，将上述第一道路对象确定为上述目标路段中包括的上述目标道路对象。

作为一种可选的方案，上述第三获取单元，包括：第三确定模块，用于在上述第二道路对象的对象标签与上述第一道路对象的上述对象标签指示的对象类型相同，且上述第二道路对象的对象置信度大于或等于目标阈值的情况下，确定上述第一道路对象和上述第二道路对象相匹配；在上述第二道路对象的对象标签与上述第一道路对象的上述对象标签指示的对象类型相同，且上述第二道路对象的对象置信度小于上述目标阈值的情况下，确定上述第一道路对象和上述第二道路对象不匹配；在上述第二道路对象的对象标签与上述第一道路对象的上述对象标签指示的对象类型不同的情况下，确定上述第一道路对象和上述第二道路对象不匹配。

作为一种可选的方案，上述第二确定单元包括：第四确定模块，用于获取上述点云信息中用于指示上述第一道路对象的第一坐标信息，其中，上述第一坐标信息用于指示上述第一道路对象在世界坐标系下的位置；对上述第一坐标信息进行第一坐标转化，得到车辆坐标系下的第二坐标信息；对上述第二坐标信息进行第二坐标转化，得到图像坐标系下的第三坐标信息；将上述第三坐标信息以及上述第一道路对象的对象标签确定为上述第一投影结果。

作为一种可选的方案，上述第三获取单元，还用于：获取用于表征上述第一道路对象的关键点集合对应的第一坐标集合，其中，上述第一坐标集合包括上述关键点集合中每一个对象关键点的三维坐标信息；从上述第一坐标集合中获取边界坐标集合，其中，上述边界坐标集合包括多个边界关键点的上述三维坐标信息，上述边界关键点为用于指示上述第一道路对象的对象边缘的上述对象关键点；根据上述边界坐标集合确定参考边界坐标集合，其中，上述参考边界坐标集合包括多个参考边界关键点的上述三维坐标信息，上述参考边界关键点为根据对应的上述边界关键点确定的上述对象关键点，根据上述参考边界关键点确定的上述第一道路对象的参考空间区域，大于根据上述边界关键点确定的上述第一道路对象的对象空间区域。

作为一种可选的方案，上述装置还包括：第五确定模块，用于获取根据上述第三坐标信息指示的第一投影区域；根据上述第一投影区域的区域边界确定参考投影区域，其中，上述参考投影区域的参考区域中心与上述第一投影区域的第一区域中心相匹配，上述参考投影区域的参考区域面积大于上述第一投影区域的第一区域面积；将上述参考投影区域以及上述第一道路对象的上述对象标签确定为上述第一投影结果。

作为一种可选的方案，上述第一确定单元还用于：获取上述车辆终端在参考时刻对上述目标路段采集到参考道路图像，其中，上述参考时刻为与上述目标时刻相邻的图像采样帧；获取对上述参考道路图像进行第三对象识别的第三识别结果，其中，上述第三识别结果用于指示上述参考道路图像中包括的第三道路对象，以及各个上述第三道路对象所在的上述图像区域；将上述第一道路对象投影至上述参考道路图像中，得到第二投影结果，其中，上述第二投影结果用于指示各个上述第一道路对象在上述参考道路图像中的图像区域；根据上述第一投影结果和上述第三识别结果的匹配结果，对上述目标道路对象进行校验。

作为一种可选的方案，上述第一确定单元，还用于：根据上述目标道路对象对上述目标时刻的上述目标路段进行道路场景识别；根据上述目标道路对象对应的静态场景真值进行道路场景重建。

根据本申请实施例的又一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上道路对象的识别方法。

根据本申请实施例的又一方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的道路对象的识别方法。

在本申请的上述实施例中，获取车辆终端在目标时刻对目标路段采集到的点云信息以及道路图像；获取根据点云信息进行第一对象识别的第一识别结果，以及对道路图像进行第二对象识别的第二识别结果，其中，第一识别结果用于指示目标路段中包括的第一道路对象，以及各个第一道路对象的三维空间位置，第二识别结果用于指示道路图像中包括的第二道路对象，以及各个第二道路对象所在的图像区域；将第一道路对象投影至道路图像中，得到第一投影结果，其中，第一投影结果用于指示各个第一道路对象所在的图像区域；根据第一投影结果和第二识别结果的匹配结果确定目标路段中包括的目标道路对象。

通过本申请的上述实施方式，不仅通过激光雷达结合SLAM进行场景重构，且通过深度学习模型进行包括3D空间车道线/路沿的提取；同时结合图像的语义分割模型，在图像上提取出车道线、路沿等相关信息，再将3D空间的车道线/路沿结果投影到图像上，结合语义的掩膜信息，辅助优化，更为准确的车道线，路沿等道路特征，在面对例如车道线磨损，不清晰，雨天等激光雷达等难以识别场景中对象的特殊场景，本方案可以提供更多信息帮助获得更为精确的场景信息，从而解决了现有传感器获得的数据无法准确得到场景中的对象信息，进而导致识别出的道路对象不准确的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种可选的道路对象的识别方法的应用环境的示意图；

图2是根据本申请实施例的一种可选的道路对象的识别方法的流程图；

图3是根据本申请实施例的一种可选的道路对象的识别方法的示意图；

图4是根据本申请实施例的一种可选的道路对象坐标转换过程的示意图；

图5是根据本申请实施例的另一种可选的道路对象的识别方法的示意图；

图6是根据本申请实施例的又一种可选的道路对象的识别方法的示意图；

图7是根据本申请实施例的又一种可选的道路对象的识别方法的示意图；

图8是根据本申请实施例的又一种可选的道路对象的识别方法的示意图；

图9是根据本申请实施例的另一种可选的道路对象的识别方法的流程图；

图10是根据本申请实施例的一种可选的道路对象的识别装置的示意图；

图11是根据本申请实施例的一种可选的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例的一个方面，提供了一种道路对象的识别方法，可选地，上述道路对象的识别方法可以但不限于应用于如图1所示的硬件环境中。可选地，本申请提供的上述道路对象的识别方法可以应用于一种车辆终端中。图1示出了车辆终端101的侧视图，车辆终端101可以在行进表面113上行驶。车辆终端101包括存储有机载导航系统103、数字化道路地图104的存储器102、空间监测系统117、交通工具控制器109、GPS（全球定位系统）传感器110、 HMI（人/机交互界面）装置111，还包括自主控制器112和远程信息处理控制器114。

在一个实施例中，空间监测系统117包括一个或多个空间传感器和系统，空间传感器和系统用于监测车辆终端101前方的可视区域105，空间监测系统117中还包括空间监测控制器118；用于监测可视区域105的空间传感器包括激光雷达传感器106、雷达传感器107、摄像头108等。空间监测控制器118可以用于基于来自空间传感器的数据输入生成与可视区域105相关的数据。空间监测控制器118可以根据来自空间传感器的输入，确定车辆终端101的线性范围、相对速度和轨迹，车辆所处的空间环境等。车辆终端空间监测系统117的空间传感器可包括对象定位感测装置，对象定位感测装置可以包括范围传感器，范围传感器可以用于定位前方对象例如前方交通标志对象。

摄像头108有利地被安装和定位在车辆终端101上处于允许捕获可视区域105的图像的位置中，其中，可视区域105的至少部分包括在车辆终端101前方并且包括车辆终端101的轨迹的行进表面113的部分。可视区域105还可包括周围环境。还可采用其它摄像头，例如，包括被设置在车辆终端101的后部分或侧部分上的第二摄像头，以监测车辆终端101的后方以及车辆终端101的右侧或左侧中的一个。

自主控制器112被配置成实施自主驾驶或高级驾驶员辅助系统（ADAS）车辆终端功能性。此类功能性可包括能够提供一定驾驶自动化水平的车辆终端机载控制系统。驾驶自动化可包括一系列动态驾驶和车辆终端操作。驾驶自动化可包括涉及单个车辆终端功能（例如，转向、加速和/或制动）的某种水平的自动控制或干预。例如，上述自主控制器可以用于通过执行如下步骤识别道路对象：

S102，获取车辆终端在目标时刻对目标路段采集到的点云信息以及道路图像；

S104，获取根据点云信息进行第一对象识别的第一识别结果，以及对道路图像进行第二对象识别的第二识别结果，其中，第一识别结果用于指示目标路段中包括的第一道路对象，以及各个第一道路对象的三维空间位置，第二识别结果用于指示道路图像中包括的第二道路对象，以及各个第二道路对象所在的图像区域；

S106，将第一道路对象投影至道路图像中，得到第一投影结果，其中，第一投影结果用于指示各个第一道路对象所在的图像区域；

S108，根据第一投影结果和第二识别结果的匹配结果确定目标路段中包括的目标道路对象。

HMI装置111提供人机交互，用于指导信息娱乐系统、GPS (全球定位系统）传感器110、机载导航系统103和类似的操作的目的，并且包括控制器。HMI装置111监测操作者请求，并且向操作者提供车辆终端系统的状态、服务和维护信息。HMI装置111与多个操作者界面装置通信，和/或控制多个操作者界面装置的操作。HMI装置111还可与一个或多个装置通信，所述一个或多个装置监测与车辆终端操作者相关联的生物特征数据。为了描述的简单性，HMI装置111被描绘为单一装置，但是在本文描述的系统的实施例中，可被配置为多个控制器和相关联的感测装置。

操作者控制件可被包括在车辆终端101的乘客舱中，并且通过非限制性示例的方式可包括方向盘、加速器踏板、制动踏板和操作者输入装置，所述操作者输入装置是HMI装置111的元件。操作者控制件使得车辆终端操作者能够与运行的车辆终端101交互，并且指导车辆终端101的操作，以提供乘客运输。

机载导航系统103采用数字化道路地图104，用于向车辆终端操作者提供导航支持和信息的目的。自主控制器112采用数字化道路地图104，用于控制自主车辆终端操作或ADAS车辆终端功能的目的。

车辆终端101可包括远程信息处理控制器114，远程信息处理控制器114包括能够进行车辆终端外通信（包括与具有无线和有线通信能力的通信网络115通信）的无线远程信息处理通信系统。无线远程信息处理通信系统中包括非机载服务器116，能够与移动终端短程无线通信。

通过本申请的上述实施方式，将根据点云信息得到的第一识别结果与根据道路图像得到的第二识别结果进行投影、匹配，从而判断采集道路对象的准确性，解决了相关技术识别道路对象不准确的技术问题。

作为一种可选的实施方式，如图2所示，道路对象的识别方法可以由电子设备执行，如图1所示的车辆终端中包括的电子设备，具体步骤包括：

S202，获取车辆终端在目标时刻对目标路段采集到的点云信息以及道路图像；

S204，获取根据点云信息进行第一对象识别的第一识别结果，以及对道路图像进行第二对象识别的第二识别结果，其中，第一识别结果用于指示目标路段中包括的第一道路对象，以及各个第一道路对象的三维空间位置，第二识别结果用于指示道路图像中包括的第二道路对象，以及各个第二道路对象所在的图像区域；

S206，将第一道路对象投影至道路图像中，得到第一投影结果，其中，第一投影结果用于指示各个第一道路对象所在的图像区域；

S208，根据第一投影结果和第二识别结果的匹配结果确定目标路段中包括的目标道路对象。

需要说明的是，上述点云信息可以但不限于为根据单独的一帧或连续片段帧，通过传感器、激光扫描、计算机模拟等方式获取的大量由离散点组成的三维数据集合，可以用于描述道路对象或环境的几何信息、形状信息、数据结构等特征；上述道路图像可以但不限于照片等真实道路图像或卫星图像等处理后的图像；

道路图像包含的信息可以与点云信息结合进行纹理映射，使得到的三维模型更真实、准确，此外，道路图像还可以与点云信息结合实现道路对象的匹配、对道路对象进行特征提取、以及对道路对象的标注和分类等操作，进而提高数据的准确性。

在上述实施方式中的S202中，作为一种可选的实施方式，可以通过以下方式获取上述点云信息：首先使用激光雷达设备对目标路段进行扫描，获取点云数据，然后对采集到的点云数据进行预处理，包括去噪、滤波、配准等操作，以提高数据质量和准确性，进而对点云数据进行特征提取和分割，以识别出路面、建筑物、树木等不同的物体，进行目标检测和识别，识别出路标、交通标志、车辆等目标物体，对点云数据进行分析和处理，提取出有用的信息，如路面坡度、路面状况、交通流量等，上述过程仅为一种示例，在此不做限制。

标注数据是从相应的片段数据中抽帧并标注生成的，在人工标注后，具有相对于算法更精确的真值信息，可以通过片段匹配映射，插入回原有片段。在构建真值的过程中，这些关键帧的标注真值，可以辅助真值算法进行真值构建，从而获取相对于纯算法推导更为准确的场景真值信息。在后续通过轨迹优化策略，可以更加进一步提升真值的准确性，实现较好的动态障碍物真值。

具体地，真值构建模型主要用于对于连续帧片段，包括图像/激光等传感器检测到的动态和静态障碍物，进行目标检测，跟踪，轨迹优化等，最终生成连续帧片段的所有下游算法需要的真值构建。该模块生成的真值会进行粗优化和轨迹匹配两个阶段去优化真值。粗优化真值阶段会对完全基于大模型和追踪生成的结果与有少量真值的关键帧做对比，如果该帧不为关键帧则完全运用模型结果，如果为关键帧，则会人工校验，进行漏检和误检后处理。经过粗优化阶段的真值，会进入精优化阶段，即轨迹优化。轨迹优化会将大片段和真值帧进行划分，形成小片段，然后再小片段当中进行目标追踪，重召回及轨迹优化，然后进行前后小片段串联。通过轨迹优化，可以更好的在3D空间优化目标运动的轨迹，航向角和尺寸，补充模型能力之外的目标真值信息。

在获取对应的真值后，由于图像，点云等采集频率的不同，在不同的测试任务中，会需要不同频率的真值信息。通过对上述生成的真值进行上采样/下采样，可以获得更准确的真值信息。

作为一种可选的实施方式，可以通过以下方式获取上述道路图像：选择一台高清晰度的摄像设备，如专业相机或无人机等，在此不作限制，确保采集到清晰的道路图像；在采集道路图像前，提前规划好需要采集的目标路段，确定起点和终点，以及采集的时间和天气条件；根据目标路段的特点和需要采集的信息，选择合适的角度和位置进行拍摄，确保能够全面地反映道路的情况；在采集道路图像时，要注意光线和环境条件，避免光线过强或过弱、天气影响等因素对图像质量的影响；此外，为了获取全面的道路图像，可以从不同的角度和位置进行多次采集，以确保覆盖到道路的各个部分和细节；同时，在采集道路图像时，可以结合地图和GPS定位技术，确保采集到的图像能够准确地对应到目标路段的位置；最后，采集到道路图像后，需要进行数据处理和整合，将不同角度和位置的图像整合在一起，形成完整的道路图像，上述过程仅为一种示例，在此不做限制。

可以理解的是，上述第一识别结果可以得到目标路段中的所有道路对象，如：行人、车辆等动态道路对象，交通标志、车道线等静态道路对象，在此不做限制；还可以得到各个道路对象在三维空间中的三维空间位置，例如，第一识别结果可以为直角坐标系中用三个坐标轴表示道路对象在上述三维空间中的位置，极坐标系中使用径向距离和两个角度来表示道路对象在空间中的位置，球坐标系中使用一个径向距离、一个极角和一个方位角来表示道路对象在空间中的位置，柱坐标系中使用一个径向距离、一个角度和一个z坐标来表示道路对象在空间中的位置，笛卡尔坐标系中使用一个轴向量和一个位置向量来表示道路对象在空间中的位置等。需要说明的是，上述方法可以根据具体应用场景和需求，选择合适的方法得到道路对象的三维空间位置，也可以将上述识别方法进行结合使用。

上述第二识别结果可以得到道路图像中的所有道路对象，如：行人、车辆等动态道路对象，交通标志、车道线等静态道路对象，在此不做限制；还可以得到各个道路对象在道路图像中对应的图像区域位置，例如，首先，可以使用图像处理算法来对道路图像进行预处理，例如去噪、边缘检测、图像分割等操作，以便得到道路对象的图像区域；然后，可以使用计算机视觉技术，如特征检测、特征匹配等方法来识别道路对象在图像中的位置，具体地，可以使用特征点检测算法（如SIFT、SURF等）来检测道路对象的特征点，然后利用特征匹配算法（如RANSAC、Hough变换等）来确定道路对象的位置和姿态；另外，也可以使用深度学习技术，如卷积神经网络（CNN）来进行对象检测和定位，通过训练模型来实现道路对象在图像中的定位。需要说明的是，上述方法可以根据具体应用场景和需求，选择合适的方法得到道路图像中对应的图像区域位置。

进一步地，在获取到上述目标时刻对目标路段采集到的点云信息以及道路图像之后，在上述步骤S204中，上述根据点云信息进行第一对象识别的方法可以但不限于为：利用特征点提取、特征描述和模式识别等技术，对点云中的物体进行识别和分类；通过聚类、分割和分组等方法，将点云数据中的物体进行分割，进行后续的识别和分析；利用点云数据中物体的位置和形状信息，对物体进行定位和姿态估计；利用特征点提取和描述符计算等方法，提取点云数据中的特征信息，进行后续的识别和分类；利用机器学习算法，对点云数据进行训练和学习，以实现对点云信息的识别和分类。需要说明的是，上述方法可以根据具体应用场景和需求，选择合适的方法得到第一识别结果，也可以将上述识别方法进行结合使用。

上述对道路图像进行识别的方法可以但不限于为：使用计算机视觉技术，通过图像处理算法对道路图像进行边缘检测、颜色识别等操作，以提取道路的特征信息；基于机器学习和深度学习技术，构建道路图像识别模型，通过大量标注的道路图像数据进行训练，使模型能够识别道路的各种特征和情况；利用传感器和摄像头设备获取道路图像，并通过图像识别技术实时对道路图像进行分析和识别；结合全局定位系统（GPS）和地图数据，对道路图像进行地理位置和道路类型的识别，实现精确的道路信息识别；使用图像语义分割技术，将道路图像分割成不同的区域，从而可以对道路的各个部分进行更精细的识别和分析。需要说明的是，上述方法可以根据具体应用场景和需求，选择合适的方法得到第二识别结果，也可以将上述识别方法进行结合使用。

在上述步骤S206中，在将第一道路对象投影至道路图像得到第一投影结果后，可以用第一投影结果指示第一道路对象所在的图像区域。换句话说，通过上述步骤S204和S206可以将点云信息得到的识别结果投影至道路图像上。可以理解的是，将点云信息投影至道路图像可以先将点云信息的坐标系转换为道路图像的坐标系，然后使用几何投影或者透视投影等方法将点云信息映射到道路图像上，另外还可以将投影后的点云信息和道路图像进行叠加显示，以便进行分析和识别道路上的物体和障碍物等信息。

在上述实施方式中的S208中，将上述基于点云信息得到的第一投影结果与基于道路图像得到的第二识别结果进行匹配，进而判断目标路段中的目标道路对象，进一步提高了识别结果的准确性，从而提高了道路对象识别方法的准确度。如识别道路对象的示意图图3所示，左边为激光雷达点云数据处理的流程，对应第一对象识别过程，具体每一张图片对应的步骤为：图3中的（a）图表示点云数据接收：通过UDP（用户数据报协议）的形式向网络发送数据，从而在接收端匹配激光雷达的IP地址与自身UDP端口号，从而接收原始点云数据；图3中的（b）图表示点云组帧：将多个点云数据包叠加到同一帧；图3中的（c）图表示外参变化：激光雷达的坐标系转化为车辆的坐标系；图3中的（d）图表示滤波处理；将点云数据中的噪点剔除，或以平滑的方式进行处理；图3中的（e）图表示特征提取：利用特征点提取和描述符计算等方法，提取点云数据中的特征信息，右边为图像数据经过神经网络提取Mask信息后结果，对应第二对象识别过程，具体每一张图片对应的步骤为：图3中的（f）图表示获取道路图像；图3中的（g）图表示神经网络模型处理图片；图3中的（h）图表示输出响应图，每个位置对应图片像素存在目标的概率；图3中的（i）图表示填充上采样，通过邻近方式填充上采样到图片原尺寸；最后将第一道路对象投影至道路图像中得到第一投影结果与第二识别结果进行匹配（对应图3中的（e）图与图3中的（i）图进行匹配），输出道路对象。

通过本申请的上述实施方式，将根据点云信息得到的第一识别结果与根据道路图像得到的第二识别结果，进一步将第一识别结果中包含的第一道路对象投影至道路图像中得到第一投影结果，将第一投影结果与第二识别结果进行匹配，从而判断采集道路对象的准确性，解决了相关技术识别道路对象不准确的技术问题。

在一种可选的实施方式中，上述根据第一投影结果和第二识别结果的匹配结果确定目标路段中包括的目标道路对象包括：

S1，获取第一投影结果指示的第一道路对象的第一图像区域；

S2，根据第二识别结果获取第一图像区域中包括的第二道路对象；

S3，在第一道路对象和第二道路对象相匹配的情况下，将第一道路对象确定为目标路段中包括的目标道路对象。

可以理解的是，在本申请的上述实施方式中，首获取基于点云信息得到的第一投影结果指示的第一道路对象的第一图像区域；然后根据道路图像识别的第二识别结果获取上述第一图像区域中包括的第二道路对象。需要说明的是，获取上述第一图像区域中包括的第二道路对象可以但不限于为选择合适的匹配算法，将提取的点云信息中对象的特征点和描述符与道路图像中道路对象模型进行匹配，常用的算法包括最近邻算法、RANSAC、ICP等，还可以对匹配结果进行评估，可以使用一致性检验、重投影误差等指标进行评估，以确定匹配的准确性和稳定性。

进一步地，在第一道路对象和第二道路对象相匹配的情况下，将第一道路对象确定为目标路段中包括的目标道路对象。需要说明的是，可以将将第一道路对象和第二道路对象进行配准，然后通过比对配准后的第一道路对象和第二道路对象的形状、位置等特征来判断第一道路对象和第二道路对象的匹配程度，还可以预先设定匹配最小阈值，当匹配的结果大于最小阈值时，可以判断第一道路对象和第二道路对象匹配，在此不作限制。

通过本申请的上述实施方式，通过判断第一投影结果指示的所述第一道路对象与基于第一投影结果指示的第一图像区域中包括的所述第二道路对象的是否匹配，使得识别出的道路对象更加准确，进而提高了道路对象识别的准确性。

在一种可选的实施方式中，上述在第一道路对象和第二道路对象相匹配的情况下，将第一道路对象确定为目标路段中包括的目标道路对象之前，还包括：

方式一，在第二道路对象的对象标签与第一道路对象的对象标签指示的对象类型相同，且第二道路对象的对象置信度大于或等于目标阈值的情况下，确定第一道路对象和第二道路对象相匹配；

方式二，在第二道路对象的对象标签与第一道路对象的对象标签指示的对象类型相同，且第二道路对象的对象置信度小于目标阈值的情况下，确定第一道路对象和第二道路对象不匹配；

方式三，在第二道路对象的对象标签与第一道路对象的对象标签指示的对象类型不同的情况下，确定第一道路对象和第二道路对象不匹配。

以下结合具体示例对上述获取与目标周期匹配的目标速度序列的方式进行说明。

可以理解的是，在一种情况下，例如得到的第一道路对象的对象标签为“交通标识”，第二道路对象的对象标签为“禁止转弯”标志牌（属于交通标识类型），预设目标阈值为0.6，也就是在第二道路对象的对象标签与第一道路对象的对象标签指示的对象类型相同的情况下，且第二道路对象的对象置信度为0.8，即大于目标阈值，此时可以判断第一道路对象和第二道路对象匹配，保留道路对象；而在第二道路对象的对象标签与第一道路对象的对象标签指示的对象类型相同的情况下，且第二道路对象的对象置信度为0.2，即小于目标阈值的情况下，此时可以判断第一道路对象和第二道路对象不匹配，此时可以从上述第一识别结果中将上述第一道路对象删除。

或者在另一种情况下，例如得到的第一道路对象的对象标签为“交通标识”，第二道路对象的对象标签为“行人”（不属于交通标识类型），也就是在第二道路对象的对象标签与第一道路对象的对象标签指示的对象类型不相同的情况下，第一道路对象和所述第二道路对象不匹配，此时可以从上述第一识别结果中将上述第一道路对象删除。

通过本申请的上述实施方式，通过对第二道路对象的对象标签与第一道路对象的对象标签指示的对象类型进行比较，在第二道路对象的对象标签与第一道路对象的对象标签指示的对象类型相同，且第二道路对象的对象置信度大于或等于目标阈值的情况下，确定第一道路对象和第二道路对象匹配，在置信度小于目标阈值以及第二道路对象的对象标签与第一道路对象的对象标签指示的对象类型不相同的情况下，确定第一道路对象和第二道路对象不匹配；进一步对得到的道路对象进行处理，从而提高了获取的道路对象的准确度，实现了道路对象的准确识别。

在一种可选的实施方式中，上述将第一道路对象投影至道路图像中，得到第一投影结果包括：

S1，获取点云信息中用于指示第一道路对象的第一坐标信息，其中，第一坐标信息用于指示第一道路对象在世界坐标系下的位置；

S2，对第一坐标信息进行第一坐标转化，得到车辆坐标系下的第二坐标信息；

S3，对第二坐标信息进行第二坐标转化，得到图像坐标系下的第三坐标信息；

S4，将第三坐标信息以及第一道路对象的对象标签确定为第一投影结果。

需要说明的是，世界坐标系是一个用来描述和表示物体在三维空间中位置的坐标系统。在世界坐标系中，通常使用三个轴来表示物体的位置，分别是x轴、y轴和z轴。这三个轴相互垂直，形成一个立体坐标系。在世界坐标系中，原点通常被定义为空间中的某一固定点，而所有其他点的位置都是相对于这个原点来描述的。通过指定每个点在x、y和z轴上的坐标值，可以精确地确定物体在三维空间中的位置。

上述车辆坐标系是以车辆为参考点建立的，用来描述车辆在运动中的位置和方向，车辆坐标系通常包括位置坐标和姿态角度，用来描述车辆在三维空间中的位置和朝向。

上述图像坐标系是用来描述图像中像素位置的一种坐标系，通常情况下，图像坐标系的原点位于图像的左上角，x轴向右延伸，y轴向下延伸。每个像素在图像坐标系中都有一个唯一的坐标，用(x,y)表示，其中x和y分别表示像素在水平和垂直方向上的位置。

具体地，上述投影过程可以通过如下公式进行描述：

3D点云信息在2D道路图像上的投影结果为：

其中，上述公式中

为道路对象在世界坐标系下的表示；

上述公式中

表示道路对象在世界坐标系转化到车辆坐标系下的结果；

上述公式中

表示道路对象在车辆坐标系转化到图像坐标系下的结果；

最终将第三坐标信息以及第一道路对象的对象标签确定为第一投影结果表示为；

需要说明的是，上述

为外参矩阵，上述外参矩阵是指在计算机视觉和计算机图形学中，用于描述相机的位置和方向的矩阵。外参矩阵通常包括相机的旋转矩阵和平移矩阵，用于将相机坐标系中的点映射到世界坐标系中；上述为内参矩阵，上述内参矩阵是指在摄影测量学中用来描述相机的内部参数的矩阵。它包括了相机的焦距、主点位置、畸变参数等信息，用于描述相机成像的特性。

通过本申请的上述实施方式，对基于点云信息指示的第一道路对象的第一坐标信息的转换，通过将道路对象在世界坐标系下的位置转换为车辆坐标系（相机坐标系）下的位置，再进一步转换为图像坐标系下的位置，最终得到图像坐标系下的第三坐标信息与第一道路对象的对象标签确定的第一投影结果（像素坐标系），投影过程如图4所示，通过上述实施方式提高了投影结果的准确性，从而使得道路对象的识别更准确。

在一种可选的实施方式中，上述获取点云信息中用于指示第一道路对象的第一坐标信息包括：

S1，获取用于表征第一道路对象的关键点集合对应的第一坐标集合，其中，第一坐标集合包括关键点集合中每一个对象关键点的三维坐标信息；

S2，从第一坐标集合中获取边界坐标集合，其中，边界坐标集合包括多个边界关键点的三维坐标信息，边界关键点为用于指示第一道路对象的对象边缘的对象关键点；

S3，根据边界坐标集合确定参考边界坐标集合，其中，参考边界坐标集合包括多个参考边界关键点的三维坐标信息，参考边界关键点为根据对应的边界关键点确定的对象关键点，根据参考边界关键点确定的第一道路对象的参考空间区域，大于根据边界关键点确定的第一道路对象的对象空间区域。

以一种可选的实施方式对上述步骤进行说明，在三维空间中假设存在第一道路对象（位于长方体内部或表面），以图中菱形和圆形标注道路对象的关键点，菱形、圆形标志在三维坐标系中的位置集合即为第一道路对象的关键点集合对应的第一坐标集合，其中圆形标志表示为边界关键点，即道路对象中对象边缘的对象关键点，上述参考边界关键点确定的第一道路对象的参考空间区域，大于根据边界关键点确定的第一道路对象的对象空间区域，如图5所示为基于第一坐标集合中获取的边界坐标集合确定参考边界坐标集合进而得到参考空间区域的过程。

可以理解的是，上述道路对象的关键点可以为道路对象为位置的中心点，或道路对象标志性特征所在的位置，在此不作限制，上述获取道路对象的关键点可以但不限于为：使用地图数据API：许多地图数据服务提供了API，可以通过这些API获取道路对象的关键点坐标，通常可以通过查询道路的ID或者名称来获取关键点信息；使用地图编辑工具：一些地图编辑工具（如OpenStreetMap）允许用户编辑地图数据，包括道路对象的关键点。通过这些工具可以直接查看和编辑道路对象的关键点信息；使用GIS软件：地理信息系统（GIS）软件通常可以导入和显示地图数据，包括道路对象的关键点，通过GIS软件可以查询和分析道路对象的关键点信息。需要说明的是，上述方法可以根据具体应用场景和需求，选择合适的方法得到道路对象的关键点，也可以将上述识别方法进行结合使用。

进一步地，可以得到第一关键点集合对应的第一坐标集合，上述第一坐标集合包括关键点集合中每一个对象关键点的三维坐标信息，可以理解的是，上述三维坐标信息包括但不限于X轴、Y轴和Z轴的坐标值，以及可能的旋转角度、缩放比例等其他信息。在三维空间中，这些信息可以用来描述物体的位置、方向和大小等特征。

上述从第一坐标集合中获取边界坐标集合，边界坐标集合包括多个边界关键点的三维坐标信息，边界关键点为用于指示所述第一道路对象的对象边缘的所述对象关键点。

需要说明的是，根据边界坐标集合确定参考边界坐标集合，其中，参考边界坐标集合包括多个参考边界关键点的三维坐标信息，参考边界关键点为根据对应的边界关键点确定的对象关键点，上述确定参考边界关键点可以但不限于为可以选择获取的图像序列中图片质量高，道路对象较多、清晰度高的图片中的道路对象，进而获取道路对象对应的参考边界关键点，可以理解的是，在光照强度高，图像清晰的情况下可以增大参考边界的范围，在光照强度低，图像质量差的情况下可以减小参考边界的范围，在此不做限制。并且，根据参考边界关键点确定的第一道路对象的参考空间区域，大于根据边界关键点确定的第一道路对象的对象空间区域。

通过本申请的上述实施方式，基于第一道路对象的关键点集合对应的第一坐标集合获取边界坐标集合，进而根据边界坐标集合得到的参考边界关键点确定第一道路对象的参考空间区域，通过上述方法可以获得使用价值更高的参考空间区域，进而可以提高道路对象识别的可靠性。

在一种可选的实施方式中，上述将第三坐标信息以及第一道路对象的对象标签确定为第一投影结果包括：

S1，获取根据第三坐标信息指示的第一投影区域；

S2，根据第一投影区域的区域边界确定参考投影区域，其中，参考投影区域的参考区域中心与第一投影区域的第一区域中心相匹配，参考投影区域的参考区域面积大于第一投影区域的第一区域面积；

S3，将参考投影区域以及第一道路对象的对象标签确定为第一投影结果。

可以理解的是，在本实施方式中，获取图像坐标系下的第三坐标信息指示的第一投影区域，并将第一投影区域的区域边界确定参考投影区域，参考投影区域的参考区域中心与第一投影区域的第一区域中心相匹配，参考投影区域的参考区域面积大于第一投影区域的第一区域面积，最后将参考投影区域以及第一道路对象的对象标签确定为第一投影结果。以一种可选的实施方式对上述步骤进行说明，可以在参考投影区域与第一投影区域的第一区域匹配程度高的情况下，适当减小参考投影区域，可以在参考投影区域与第一投影区域的第一区域匹配程度低的情况下，适当增大参考投影区域，如图6所示用圆形区域表示参考投影区域，在参考投影区域与第一投影区域的第一区域匹配程度低的情况下，将左侧圆形部分表示的参考投影区域放大（如右侧），在更大范围内与第一区域进行匹配，提高匹配成功的概率，因此可以得到更加准确的第一投影结果，通过提高第一投影结果的准确性，进而可以结合第二对象识别结果得到更准确的道路对象，从而实现了准确识别道路对象的效果。

需要说明的是，上述在三维坐标中对参考边界的处理与上述在道路图像中参考投影区域的处理可以结合使用，得到一种新的实施方式，并且在这种实施方式下由于根据实际匹配情况对参考边界以及参考投影区域进行了调整，从而使得识别出的道路对象更加准确。

在一种可选的实施方式中，上述根据第一投影结果和第二识别结果的匹配结果确定目标路段中包括的目标道路对象之后，还包括：

S1，获取车辆终端在参考时刻对目标路段采集到参考道路图像，其中，参考时刻为与目标时刻相邻的图像采样帧；

S2，获取对参考道路图像进行第三对象识别的第三识别结果，其中，第三识别结果用于指示参考道路图像中包括的第三道路对象，以及各个第三道路对象所在的图像区域；

S3，将第一道路对象投影至参考道路图像中，得到第二投影结果，其中，第二投影结果用于指示各个第一道路对象在参考道路图像中的图像区域；

S4，根据第一投影结果和第三识别结果的匹配结果，对目标道路对象进行校验。

需要说明的是，上述获取车辆终端在参考时刻对目标路段采集到参考道路图像可以但不限于通过摄像头传感器、激光雷达传感器、GPS传感器等方式，在此不做限制。

进一步地得到对参考道路图像进行第三对象识别的第三识别结果，上述第三识别结果包括参考道路图像中第三道路对象以及第三道路对象所在的图像区域；上述将第一道路对象投影至参考道路图像中，得到第二投影结果，上述第二投影结果用于指示各个第一道路对象在参考道路图像中的图像区域。可以但不限于使用矩形框对图像区域进行标记、使用箭头对区域位置进行指示、在图像中添加文字标签描述对象所在区域、用轮廓线标记对象的边界等，在此不做限制。

需要说明的是，上述根据第一投影结果和第三识别结果的匹配结果，对目标道路对象进行校验，可以但不限于可以对比道路对象在两个结果中的形状和位置，如果道路对象在两个结果中的形状和位置匹配度达到一定比例，可以认为识别结果准确；也可以检查第一投影结果和第三识别结果的属性信息，比如道路对象的长度、宽度、道路类型等属性信息的相似度是否达到一定阈值，若相似度超过一定阈值则可认为得到的目标道路对象信息准确。此外，在校验目标道路对象的识别结果时，需要考虑环境因素对识别结果的影响，比如光照条件、遮挡物等。可以通过对环境因素进行分析，进一步判断识别结果的准确性。

以一种可选的实施方式对上述步骤进行说明，在根据第一投影结果和第二识别结果的匹配结果较差，得到的目标道路对象不准确的情况下，可以通过获取参考道路图像的方式，提高匹配的准确度，例如在图7中T时刻（目标时刻）下获取的道路图像质量差、像素低，因此得到的第一投影结果和第二识别结果的匹配结果较差因而选取图7中T时刻相邻时刻对应的图片作为参考道路图片，具体地，可以选择T时刻前一帧或后一帧采集的图像作为参考图像，再进一步使用质量较高的参考图像进行第三对象识别，从而得到准确度高、可信度高的第三识别结果。

以下以一种具体实施步骤进行具体说明：

S1，获取车辆终端在目标时刻对目标路段采集到的点云信息以及道路图像；

S2，获取根据点云信息进行第一对象识别的第一识别结果，以及对道路图像进行第二对象识别的第二识别结果，其中，第一识别结果用于指示目标路段中包括的第一道路对象，以及各个第一道路对象的三维空间位置，第二识别结果用于指示道路图像中包括的第二道路对象，以及各个第二道路对象所在的图像区域；

S3，将第一道路对象投影至道路图像中，得到第一投影结果，其中，第一投影结果用于指示各个第一道路对象所在的图像区域；

S4，根据第一投影结果和第二识别结果的匹配结果确定目标路段中包括的目标道路对象,；

在本实施例中，上述根据第一投影结果和第二识别结果的匹配结果质量差，确定出的目标路段中包括的目标道路对象误识别率高；

因此执行S5，获取车辆终端在参考时刻对目标路段采集到参考道路图像，其中，参考时刻为与目标时刻相邻的图像采样帧；可以理解的是，可以选择图7所示的T时刻（目标时刻）前一帧或后一帧采集的图像作为参考图像，例如T+1或T-1时刻的图像作为参考道路图像。

需要说明的是，例如车辆在运动状态下不同时刻采集的图像会出现道路对象距离的变化，也就是说车辆向前行驶时，若道路对象原本在车辆前方，则当前帧采集的道路对象的位置与车辆位置间的距离比前一帧道路对象位置与车辆位置间的距离更小，比后一帧道路对象位置与车辆位置间的距离更大；若道路对象原本在车辆后方，则当前帧采集的道路对象的位置与车辆位置间的距离比前一帧道路对象位置与车辆位置间的距离更大，比后一帧道路对象位置与车辆位置间的距离更小。

具体地，如图8所示，T时刻车辆采集的与道路对象之间的相对距离为L1，T+1时刻车辆向前运动了L3的距离，此时车辆采集与道路对象之间的距离为L2。因此，在将T+1或T-1时刻的图像作为参考道路图像前，需要考虑实际的情况，如采集图像车辆的运动状态，对采集的不同时刻图像帧中对应的道路对象的位置进行处理，在本实施例中使用T+1帧的道路图像作为T时刻的道路图像，首先将道路对象与车辆间的距离L2+L3，即将T+1时刻采集到的车辆与道路对象之间的相对距离调整至T时刻（目标时刻）下车辆与道路对象之间的相对距离，再执行以下操作步骤，减少了校验过程中可能出现的误差因素，实现更好的校验效果，进而提高了道路对象识别的准确性。

在另一种可选的实施方式中，可以使用扩展卡尔曼滤波、无迹卡尔曼滤波、粒子滤波等方式，首先定义系统的动态模型，包括状态方程式和观测方程式，然后初始化系统状态的估计值和误差协方差矩阵，最后对每个时间步进行预测步骤和更新步骤，通过连续帧递推的方式得到不同帧图像中道路对象的位置、状态信息，进而可以根据实际需求对不同时间帧下的道路对象的位置信息进行调整，得到目标时间帧下的道路对象信息。

S6，获取对参考道路图像进行第三对象识别的第三识别结果，其中，第三识别结果用于指示参考道路图像中包括的第三道路对象，以及各个第三道路对象所在的图像区域；

S7，将第一道路对象投影至参考道路图像中，得到第二投影结果，其中，第二投影结果用于指示各个第一道路对象在参考道路图像中的图像区域；

S8，根据第一投影结果和第三识别结果的匹配结果，对目标道路对象进行校验。

在另一种情况下，车辆终端在不同时刻下，由于车辆行驶中行驶角度发生改变，也会造成不同时刻采集的道路图像中道路对象自身的位置、角度发生变化，因此，在执行上述步骤的过程中，需要先消除由于不同时刻车辆位置、角度发生改变从而造成道路对象位置出现误差、异常的情况，例如在一种情况下，车辆向右转弯，行人在车辆左侧，则车辆第二帧采集的道路图像中道行人的位置相对于车辆第一帧采集的道路图像中行人的位置增大，也就是车辆右转过程中远离车辆左侧的行人，车辆位置与行人位置的夹角增大，因此在实际执行上述步骤将参考帧图像间进行比对、匹配时，需要先将车辆行驶造成的道路对象的误差消除，例如将第二帧图像中车辆位置与行人位置的夹角对应减小，再执行相关校验的步骤，减少了检验过程中可能出现的误差因素，实现更好的校验效果，进而提高了道路对象识别的准确性。

需要说明的是，上述对投影区域根据实际匹配结果进行调整的处理步骤，可以与本实施例结合使用，得到一种新的实施方式，即根据参考投影区域与第一投影区域的第一区域的匹配程度调整参考投影区域的基础上，还可以结合上述实施方式中选择不同时刻对应图像帧作为参考道路图像的处理步骤，也就是将参考道路图像中个道路对象间的相对位置关系进行调整的步骤结合调整投影区域的步骤，从而使识别的图像更加准确，使得识别出的道路对象更加准确。

在一种可选的实施方式中，上述根据第一投影结果和第二识别结果的匹配结果确定目标路段中包括的目标道路对象之后，还包括以下之一：

方式一，根据目标道路对象对目标时刻的目标路段进行道路场景识别；

方式二，根据目标道路对象对应的静态场景真值进行道路场景重建。

在一种情况下，确定目标路段中包括的目标道路对象之后，可以根据目标道路对象对目标时刻的目标路段进行道路场景识别。也就是说，准确识别出道路对象之后，可以基于识别出的对象，对道路对象结合场景识别模型以及标签操作等方式，可以对道路图像进行识别，判断图像对应的场景。具体地，可以将场景识别结果中的对象输入道路场景的模型中，得到道路图像指示的道路场景的至少一个第一场景识别结果，其中，第一场景识别结果包括目标分类方式下道路场景与多个分类标签分别匹配的匹配概率，具体地，将连续帧片段图像等间隔抽取一定的帧数，将该抽帧图像数据送入场景识别模型进行各场景信息的识别。识别的标签包括天气，道路类型，光照类型，道路拓扑结构等。该场景识别为基于深度学习的多任务分类模型，会对每一帧输出对应的类型结果，保留每一个任务输出结果的软标签，即每一种类型以及模型推理出来的概率值；获取与道路图像关联的道路对象集合，其中，道路对象集合中包括根据道路图像的对象识别结果确定的多个道路对象；根据道路对象集合与每个分类标签之间的先验关联关系，对第一场景识别结果进行校验，得到第二场景识别结果，此外，通过先验关联关系能够进一步判断第一场景的场景识别结果的合理性、准确性，具体地，将抽帧图像每一帧的真值信息提取并输入先验经验模型进行推断。该模型会基于一些传统的经验，对一些场景内可能出现和不出现的动态/静态目标进行总结，并支持判断。比如该场景中出现了行人，则基本上不会是高速场景；出现红绿灯，则大概率是路口场景；如果出现车道线分离点，则可能是匝道场景。基于经验判断，会对上述软标签进行一次筛选，剔除不合理的分类结果，提升部分场景类型的分类的权重，最后针对不同的识别任务，将多帧结果进行统一投票，其中选择多帧权重之和最大的类别，作为该场景最后的标签，从而得到更准确的第二场景识别结果，将道路场景识别方法与复杂的道路行驶场景高度适配，实现准确识别道路场景的技术效果。

在另一种的可选的方式下，确定目标路段中包括的目标道路对象之后，可以根据目标道路对象对应的静态场景真值进行道路场景重建。具体地，作为一种可选的实施方式，在得到目标路段中的目标道路对象以及对应的信息包括道路的长度、宽度、交通标志、路灯、交通信号灯等信息后，根据收集到的资料和测量结果，利用计算机辅助设计软件对道路场景进行建模，在建模过程中，根据道路的实际情况添加交通标志、路灯、交通信号灯等道路设施，通过建模软件中的渲染功能，将道路场景渲染成逼真的图像，对渲染后的道路场景进行检查和修正，确保道路场景与实际情况相符合，从而实现了场景的重建的技术效果，此外，根据目标道路对象对应的静态场景真值进行道路场景重建还可以结合本申请道路对象识别，在根据道路对象识别结果确定出道路图像对应的场景的情况下，进而筛选出高价值的道路场景，利用路采数据中的高价值片段快速进行场景重构。

进一步地，对场景进行重构后可以：（1）、交通流语义识别：首先会将动态真值的信息中，每一个动态障碍物目标的运动轨迹与时间信息，与自车运动轨迹与时间信息共同分析，结合车道信息等静态环境信息，得到相应的交通流语义信息，如cut-in，cut-out，following，overtaking等。比如车辆轨迹从自车左侧切入到正前方，则根据整个序列，判断出该目标的交通流语义为cut-in行为；（2）、交通流语义参数化：基于识别出来的交通流语义，结合轨迹信息，将该交通流语义以预设的参数进行描述。不同的交通流有不同的参数信息，如cut-in行为，将定义cut-in的起始时间，起始位置，切入时间，切入角度，切入速度，速度变化，完成时间，完成位置等多个参数。通过这些参数，可以将原有的轨迹点，转化为参数化的运动语义信息；（3）、语义泛化：这里会针对每一种语义，结合车辆运动的动力学原理及当前值，设置合理的泛化范围。在泛化之后，会生成全新的车辆运行轨迹，会基于经验信息，剔除不合理的轨迹，保留合理的泛化场景。同时，该目标也可以泛化为其他的目标类型，如小车变成卡车等。同时，包括天气光照等信息，也可以在这里进行相关的泛化，可以适用于包含传感器感知模型的完整评测。通过这种方式，可以生成大量符合物理逻辑的相似场景，可以帮助模型进行快速且大量的验证，得到模型的评测结果。

本实施例提供一种道路对象的识别方法，获取车辆终端在目标时刻对目标路段采集到的点云信息以及道路图像；获取根据点云信息进行第一对象识别的第一识别结果，以及对道路图像进行第二对象识别的第二识别结果，其中，第一识别结果用于指示目标路段中包括的第一道路对象，以及各个第一道路对象的三维空间位置，第二识别结果用于指示道路图像中包括的第二道路对象，以及各个第二道路对象所在的图像区域；将第一道路对象投影至道路图像中，得到第一投影结果，其中，第一投影结果用于指示各个第一道路对象所在的图像区域；根据第一投影结果和第二识别结果的匹配结果确定目标路段中包括的目标道路对象。通过上述实施方式解决了识别道路对象不准确的技术问题。

以下以一种具体实施方式对本方案进行说明，具体道路对象识别流程如图9所示：

S902，首先对于该连续帧片段激光雷达采集的3D空间点云，会通过激光SLAM算法获得这个场景片段的静态目标点云信息；

S904，通过深度学习模型，对该SLAM场景的路面标志、立面标志等静态目标按照点云反射强度和形状进行聚类提取；

S906，获取与点云同时的图像信息，进行语义分割，获得对应的如车道线，路沿等的语义信息。

S908，将上述检测到的3D车道线，经过坐标转换到图像坐标系中，再截取向前150米向后50米以内的车道线曲线，投影到对应时间的图像中；

具体地，在步骤S908中还包括，获得与采集的激光雷达同时刻的前置摄像头图像数据；通过分割神经网络提取道路相关的语义信息包括路面标志、立面标志，对于经检测出来的点云结果，增加物体10%宽度的软边界用于后续的点云匹配；根据实时的车身信号信息，相机的内外参数，将激光雷达点云数据投射到图像坐标系（如下图4所示），截取车身前后190m的内的标志，从而匹配点云数据与图像。

S910，对3D车道线进行优化；例如通过图像上语义分割的mask信息，对3D车道线进行优化。

S912，判断3D检测的车道线置信度，对于3D检测车道线置信度较高的（例如可以设置阈值为0.6，置信度低于0.6说明置信度低，高于0.6置信度高），如果图像上有对应的语义信息，则执行S916，保留识别对象；如果3D空间检测的车道线，在图像上未有匹配，检测置信度不高，则执行S914，删除识别对象。通过图像的语义分割信息，可以进一步优化静态的检测的静态目标的真值质量；

具体地，在步骤S912中还包括2D图像Mask提取方法：数据准备过程：根据标注数据信息生成语义图，根据标注的多边形，多边形范围内的像素对应位置设置为1没有标注的设置为0，从而得到真值（GT）；模型训练过程：将获取的道路图片读取为三维矩阵，输入多层卷积神经网络，输出一个尺寸为1/4大小的响应图（矩阵每个位置对应图片像素存在目标的概率），以响应图与GT的差值的总和作为损失函数来优化这个神经网络；推理后处理过程：将图片输入神经网络得到响应图，在通过近邻方式填充上采样到图片原尺寸，通过阈值筛选例如阈值为0.6，置信度大于0.6的情况下认为道路对象存在，mask对应值设定为1反之为0，也就是道路对象置信度低将对应的概率设置为0，认定道路对象不存在，mask表示图片对应位置为像素对应路面/立面标志的概率。

也就是说，通过上述方法获取当前时刻2D图像的路面、立面标志的点云信息；通过上述执行步骤，将3D车道线从3D空间映射到2D图片的像素坐标系中；对于每一组路面/立面标志车道线的点云，计算投影后结果是否与在2DMask中，如果是则保留该点云，反之剔除，进而实现了准确识别道路对象的技术效果。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

根据本申请实施例的另一个方面，还提供了一种用于实施上述道路对象的识别方法的道路对象的识别装置。如图10所示，该装置包括：

第一获取单元1002，用于获取车辆终端在目标时刻对目标路段采集到的点云信息以及道路图像；

第二获取单元1004，用于获取根据点云信息进行第一对象识别的第一识别结果，以及对道路图像进行第二对象识别的第二识别结果，其中，第一识别结果用于指示目标路段中包括的第一道路对象，以及各个第一道路对象的三维空间位置，第二识别结果用于指示道路图像中包括的第二道路对象，以及各个第二道路对象所在的图像区域；

第一确定单元1006，用于将第一道路对象投影至道路图像中，得到第一投影结果，其中，第一投影结果用于指示各个第一道路对象所在的图像区域；

第二确定单元1008，用于根据第一投影结果和第二识别结果的匹配结果确定目标路段中包括的目标道路对象。

可选地，上述道路对象的识别装置，还包括：第三获取单元，用于获取上述第一投影结果指示的上述第一道路对象的第一图像区域；根据上述第二识别结果获取上述第一图像区域中包括的上述第二道路对象；在上述第一道路对象和上述第二道路对象相匹配的情况下，将上述第一道路对象确定为上述目标路段中包括的上述目标道路对象。

可选地，第三获取单元，包括：第三确定模块，用于在上述第二道路对象的对象标签与上述第一道路对象的上述对象标签指示的对象类型相同，且上述第二道路对象的对象置信度大于或等于目标阈值的情况下，确定上述第一道路对象和上述第二道路对象相匹配；在上述第二道路对象的对象标签与上述第一道路对象的上述对象标签指示的对象类型相同，且上述第二道路对象的对象置信度小于上述目标阈值的情况下，确定上述第一道路对象和上述第二道路对象不匹配；在上述第二道路对象的对象标签与上述第一道路对象的上述对象标签指示的对象类型不同的情况下，确定上述第一道路对象和上述第二道路对象不匹配。

可选地，上述第二确定单元，包括：第四确定模块，用于获取上述点云信息中用于指示上述第一道路对象的第一坐标信息，其中，上述第一坐标信息用于指示上述第一道路对象在世界坐标系下的位置；对上述第一坐标信息进行第一坐标转化，得到车辆坐标系下的第二坐标信息；对上述第二坐标信息进行第二坐标转化，得到图像坐标系下的第三坐标信息；将上述第三坐标信息以及上述第一道路对象的对象标签确定为上述第一投影结果。

可选地，上述第三获取单元，还用于获取用于表征上述第一道路对象的关键点集合对应的第一坐标集合，其中，上述第一坐标集合包括上述关键点集合中每一个对象关键点的三维坐标信息；从上述第一坐标集合中获取边界坐标集合，其中，上述边界坐标集合包括多个边界关键点的上述三维坐标信息，上述边界关键点为用于指示上述第一道路对象的对象边缘的上述对象关键点；根据上述边界坐标集合确定参考边界坐标集合，其中，上述参考边界坐标集合包括多个参考边界关键点的上述三维坐标信息，上述参考边界关键点为根据对应的上述边界关键点确定的上述对象关键点，根据上述参考边界关键点确定的上述第一道路对象的参考空间区域，大于根据上述边界关键点确定的上述第一道路对象的对象空间区域。

可选地，上述装置还包括：第五确定模块，用于获取根据上述第三坐标信息指示的第一投影区域；根据上述第一投影区域的区域边界确定参考投影区域，其中，上述参考投影区域的参考区域中心与上述第一投影区域的第一区域中心相匹配，上述参考投影区域的参考区域面积大于上述第一投影区域的第一区域面积；将上述参考投影区域以及上述第一道路对象的上述对象标签确定为上述第一投影结果。

可选地，上述第一确定单元还用于：获取上述车辆终端在参考时刻对上述目标路段采集到参考道路图像，其中，上述参考时刻为与上述目标时刻相邻的图像采样帧；获取对上述参考道路图像进行第三对象识别的第三识别结果，其中，上述第三识别结果用于指示上述参考道路图像中包括的第三道路对象，以及各个上述第三道路对象所在的上述图像区域；将上述第一道路对象投影至上述参考道路图像中，得到第二投影结果，其中，上述第二投影结果用于指示各个上述第一道路对象在上述参考道路图像中的图像区域；根据上述第一投影结果和上述第三识别结果的匹配结果，对上述目标道路对象进行校验。

可选地，上述第一确定单元，还用于：根据上述目标道路对象对上述目标时刻的上述目标路段进行道路场景识别；根据上述目标道路对象对应的静态场景真值进行道路场景重建。

具体实施例可以参考上述道路对象的识别方法中所示示例，本示例中在此不再赘述。

根据本申请实施例的又一个方面，还提供了一种用于实施上述道路对象的识别方法的电子设备，该电子设备可以是图11所示的终端设备或服务器。本实施例以该电子设备为例来说明。如图11所示，该电子设备包括存储器1102和处理器1104，该存储器1102中存储有计算机程序，该处理器1104被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，本领域普通技术人员可以理解，图11所示的结构仅为示意。图11其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图11中所示更多或者更少的组件（如网络接口等），或者具有与图11所示不同的配置。

其中，存储器1102可用于存储软件程序以及模块，如本发明实施例中的道路对象的识别方法和装置对应的程序指令/模块，处理器1104通过运行存储在存储器1102内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的道路对象的识别方法。存储器1102可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1102可进一步包括相对于处理器1104远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1102具体可以但不限于用于存储目标逻辑文件等文件信息。作为一种示例，如图11所示，上述存储器1102中可以但不限于包括上述道路对象的识别装置中的第一获取单元1002、第二获取单元1004、第一确定单元1006和第二确定单元1008。此外，还可以包括但不限于上述道路对象的识别装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1106包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1106为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器1108，和连接总线1110，用于连接上述电子设备中的各个模块部件。

根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序/指令，该计算机程序/指令包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时，执行本申请实施例提供的各种功能。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，电子设备的计算机系统仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时，执行本申请的系统中限定的各种功能。

根据本申请的一个方面，提供了一种计算机可读存储介质，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取车辆终端在目标时刻对目标路段采集到的点云信息以及道路图像；

S2，获取根据点云信息进行第一对象识别的第一识别结果，以及对道路图像进行第二对象识别的第二识别结果，其中，第一识别结果用于指示目标路段中包括的第一道路对象，以及各个第一道路对象的三维空间位置，第二识别结果用于指示道路图像中包括的第二道路对象，以及各个第二道路对象所在的图像区域；

S3，将第一道路对象投影至道路图像中，得到第一投影结果，其中，第一投影结果用于指示各个第一道路对象所在的图像区域；

S4，根据第一投影结果和第二识别结果的匹配结果确定目标路段中包括的目标道路对象。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令电子设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的用户设备，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种道路对象的识别方法，其特征在于，包括：

获取车辆终端在目标时刻对目标路段采集到的点云信息以及道路图像；

获取根据所述点云信息进行第一对象识别的第一识别结果，以及对所述道路图像进行第二对象识别的第二识别结果，其中，所述第一识别结果用于指示所述目标路段中包括的第一道路对象，以及各个所述第一道路对象的三维空间位置，所述第二识别结果用于指示所述道路图像中包括的第二道路对象，以及各个所述第二道路对象所在的图像区域；

将所述第一道路对象投影至所述道路图像中，得到第一投影结果，其中，所述第一投影结果用于指示各个所述第一道路对象所在的图像区域；

根据所述第一投影结果和所述第二识别结果的匹配结果确定所述目标路段中包括的目标道路对象。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一投影结果和所述第二识别结果的匹配结果确定所述目标路段中包括的目标道路对象包括：

获取所述第一投影结果指示的所述第一道路对象的第一图像区域；

根据所述第二识别结果获取所述第一图像区域中包括的所述第二道路对象；

在所述第一道路对象和所述第二道路对象相匹配的情况下，将所述第一道路对象确定为所述目标路段中包括的所述目标道路对象。

3.根据权利要求2所述的方法，其特征在于，在所述第一道路对象和所述第二道路对象相匹配的情况下，将所述第一道路对象确定为所述目标路段中包括的所述目标道路对象之前，还包括：

在所述第二道路对象的对象标签与所述第一道路对象的所述对象标签指示的对象类型相同，且所述第二道路对象的对象置信度大于或等于目标阈值的情况下，确定所述第一道路对象和所述第二道路对象相匹配；

在所述第二道路对象的对象标签与所述第一道路对象的所述对象标签指示的对象类型相同，且所述第二道路对象的对象置信度小于所述目标阈值的情况下，确定所述第一道路对象和所述第二道路对象不匹配；

在所述第二道路对象的对象标签与所述第一道路对象的所述对象标签指示的对象类型不同的情况下，确定所述第一道路对象和所述第二道路对象不匹配。

4.根据权利要求2所述的方法，其特征在于，所述将所述第一道路对象投影至所述道路图像中，得到第一投影结果包括：

获取所述点云信息中用于指示所述第一道路对象的第一坐标信息，其中，所述第一坐标信息用于指示所述第一道路对象在世界坐标系下的位置；

对所述第一坐标信息进行第一坐标转化，得到车辆坐标系下的第二坐标信息；

对所述第二坐标信息进行第二坐标转化，得到图像坐标系下的第三坐标信息；

将所述第三坐标信息以及所述第一道路对象的对象标签确定为所述第一投影结果。

5.根据权利要求4所述的方法，其特征在于，所述获取所述点云信息中用于指示所述第一道路对象的第一坐标信息包括：

获取用于表征所述第一道路对象的关键点集合对应的第一坐标集合，其中，所述第一坐标集合包括所述关键点集合中每一个对象关键点的三维坐标信息；

从所述第一坐标集合中获取边界坐标集合，其中，所述边界坐标集合包括多个边界关键点的所述三维坐标信息，所述边界关键点为用于指示所述第一道路对象的对象边缘的所述对象关键点；

根据所述边界坐标集合确定参考边界坐标集合，其中，所述参考边界坐标集合包括多个参考边界关键点的所述三维坐标信息，所述参考边界关键点为根据对应的所述边界关键点确定的所述对象关键点，根据所述参考边界关键点确定的所述第一道路对象的参考空间区域，大于根据所述边界关键点确定的所述第一道路对象的对象空间区域。

6.根据权利要求4所述的方法，其特征在于，所述将所述第三坐标信息以及所述第一道路对象的对象标签确定为所述第一投影结果包括：

获取根据所述第三坐标信息指示的第一投影区域；

根据所述第一投影区域的区域边界确定参考投影区域，其中，所述参考投影区域的参考区域中心与所述第一投影区域的第一区域中心相匹配，所述参考投影区域的参考区域面积大于所述第一投影区域的第一区域面积；

将所述参考投影区域以及所述第一道路对象的所述对象标签确定为所述第一投影结果。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一投影结果和所述第二识别结果的匹配结果确定所述目标路段中包括的目标道路对象之后，还包括：

获取所述车辆终端在参考时刻对所述目标路段采集到参考道路图像，其中，所述参考时刻为与所述目标时刻相邻的图像采样帧；

获取对所述参考道路图像进行第三对象识别的第三识别结果，其中，所述第三识别结果用于指示所述参考道路图像中包括的第三道路对象，以及各个所述第三道路对象所在的所述图像区域；

将所述第一道路对象投影至所述参考道路图像中，得到第二投影结果，其中，所述第二投影结果用于指示各个所述第一道路对象在所述参考道路图像中的图像区域；

根据所述第一投影结果和所述第三识别结果的匹配结果，对所述目标道路对象进行校验。

8.根据权利要求1所述的方法，其特征在于，所述根据所述第一投影结果和所述第二识别结果的匹配结果确定所述目标路段中包括的目标道路对象之后，还包括以下之一：

根据所述目标道路对象对所述目标时刻的所述目标路段进行道路场景识别；

根据所述目标道路对象对应的静态场景真值进行道路场景重建。

9.一种道路对象的识别装置，其特征在于，包括：

第一获取单元，用于获取车辆终端在目标时刻对目标路段采集到的点云信息以及道路图像；

第二获取单元，用于获取根据所述点云信息进行第一对象识别的第一识别结果，以及对所述道路图像进行第二对象识别的第二识别结果，其中，所述第一识别结果用于指示所述目标路段中包括的第一道路对象，以及各个所述第一道路对象的三维空间位置，所述第二识别结果用于指示所述道路图像中包括的第二道路对象，以及各个所述第二道路对象所在的图像区域；

第一确定单元，用于将所述第一道路对象投影至所述道路图像中，得到第一投影结果，其中，所述第一投影结果用于指示各个所述第一道路对象所在的图像区域；

第二确定单元，用于根据所述第一投影结果和所述第二识别结果的匹配结果确定所述目标路段中包括的目标道路对象。

10.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序被电子设备运行时执行所述权利要求1至8任一项中所述的方法。

11.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的方法。