CN114120254A - 道路信息识别方法、装置及存储介质 - Google Patents

Abstract

本申请实施例公开了一种道路信息识别方法、装置及存储介质，属于道路交通领域。在本申请实施例中，将鱼眼图的道路分割检测结果图和第一俯视图的道路分割检测结果图进行融合，进而根据融合检测结果图，获取道路信息。由于对鱼眼图进行分割检测时，对存在高度信息的元素的识别较为准确，对俯视图进行分割检测时，对存在结构性和全局信息的元素的捕捉能力更强，所以通过融合鱼眼图的道路分割检测结果和俯视图的道路分割检测结果，可以将鱼眼图检测得到的更为准确的存在高度信息的元素和俯视图检测得到的更为准确的存在结构性和全局信息的元素进行融合，从而减少道路信息识别中的漏分割与误分割以及漏检测与误检测，提升了道路信息检测的准确性。

Description

道路信息识别方法、装置及存储介质

技术领域

本申请涉及道路交通领域，特别涉及一种道路信息识别方法、装置及存储介质。

背景技术

在智能驾驶领域，车辆的安全驾驶依赖于准确的道路信息。基于此，对道路中车道线、道路标志、可行驶区域、路沿以及车辆当前所处的道路场景等道路信息的识别就变得尤为重要。

相关技术中，首先利用车载相机进行图像采集，得到鱼眼图，然后通过对鱼眼图进行图像语义分割，以得到道路信息，或者将鱼眼图转化为俯视图，然后对俯视图进行图像语义分割来得到道路信息。

然而，对鱼眼图进行分割时，对具有固定结构性信息的道路元素如车道线、路面标识等会存在一定程度的漏分割或误分割，而对俯视图进行分割时，对于存在高度信息的道路元素如栏杆、墙体等会存在较多的漏分割或误分割，因此，无论通过上述哪种方式进行道路信息的检测，均会出现漏分割和误分割的现象，从而导致最终获得的道路信息不准确。

发明内容

本申请实施例提供了一种道路信息识别方法、装置及存储介质，可以提高获取的道路信息的准确性的问题。所述技术方案如下：

一方面，提供了一种道路信息识别方法，所述方法包括：

获取目标车辆采集的多个鱼眼图，以及获取所述多个鱼眼图对应的第一俯视图，所述多个鱼眼图为在多个视角下采集的图像；

获取所述多个鱼眼图中的每个鱼眼图的道路分割检测结果图和所述第一俯视图的道路分割检测结果图；

将所述多个鱼眼图的道路分割检测结果图和所述第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图；

根据所述融合检测结果图，获取道路信息。

可选地，所述获取所述多个鱼眼图中的每个鱼眼图的道路分割检测结果图，包括：

对所述多个鱼眼图中的每个鱼眼图进行图像语义分割，得到每个鱼眼图的分割结果图；

对每个鱼眼图进行目标检测，得到每个鱼眼图的目标检测结果，所述目标检测结果用于指示相应图像中是否包含目标检测框；

根据每个鱼眼图的分割结果图和目标检测结果，生成相应鱼眼图的道路分割检测结果图。

可选地，所述获取所述多个鱼眼图对应的第一俯视图，包括：

通过坐标转换将所述多个鱼眼图转换至俯视坐标系下，得到所述第一俯视图。

可选地，所述将所述多个鱼眼图的道路分割检测结果图和所述第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图，包括：

通过坐标转换将所述多个鱼眼图的道路分割检测结果图转换至俯视坐标系下，得到第三俯视图；

将所述第三俯视图和所述第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图。

可选地，所述通过坐标转换将所述多个鱼眼图的道路分割检测结果图转换至俯视坐标系下，得到第三俯视图，包括：

将每个鱼眼图的道路分割检测结果图转换至所述俯视坐标系下，得到每个鱼眼图对应的俯视子图；

将所述多个鱼眼图分别对应的俯视子图进行拼接，得到拼接俯视图；

如果所述多个鱼眼图的道路分割检测结果图中还包括目标检测框，则将所述目标检测框转换至所述拼接俯视图中，以得到所述第三俯视图。

可选地，所述道路分割检测结果图中包括每个像素点的类别属性，所述将所述多个鱼眼图分别对应的俯视子图进行拼接，得到拼接俯视图，包括：

如果第一俯视子图中的第一区域和第二俯视子图中的第二区域为重叠区域，则当所述第一区域和所述第二区域内相同位置上的两个像素点的类别属性不同时，从所述两个像素点中确定类别属性优先级最高的一个像素点；

将确定的像素点的类别属性作为所述拼接俯视图中对应位置上的像素点的类别属性。

可选地，所述道路分割检测结果图中包括每个像素点的类别属性，所述将所述第三俯视图和所述第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图，包括：

如果所述第三俯视图中每个像素点表示的距离和所述第一俯视图的道路分割检测结果图中每个像素点表示的距离不同，则对所述第三俯视图中的像素点进行转换，以使转换后的第三俯视图中每个像素点表示的距离与所述第一俯视图的道路分割检测结果图中每个像素点表示的距离相同；

对于转换后的第三俯视图中在所述第一俯视图的道路分割检测结果图中存在对应的像素点的多个第三像素点，将每个第三像素点的类别属性和对应的像素点的类别属性中优先级最高的类别属性作为对应的像素点的类别属性；

如果转换后的第三俯视图中还包括目标检测框，则将转换后的第三俯视图中的目标检测框融合至所述第一俯视图的道路分割检测结果图中，以得到所述融合检测结果图。

可选地，所述融合检测结果图包括每个像素点的类别属性和目标检测框，所述根据所述融合检测结果图，获取道路信息，包括：

根据所述融合检测结果图中每个像素点的类别属性，识别所述融合检测结果图包含的道路元素，所述道路元素是指与道路具有关联关系的对象；

根据所述融合检测结果图中每个像素点的类别属性和目标检测框，识别所述目标车辆当前所处的道路场景类别；

将识别得到的道路元素和所述道路场景类别作为所述道路信息。

另一方面，提供了一种道路信息识别装置，所述装置包括：

第一获取模块，用于获取目标车辆采集的多个鱼眼图，以及获取所述多个鱼眼图对应的第一俯视图，所述多个鱼眼图为在多个视角下采集的图像；

第二获取模块，用于获取所述多个鱼眼图中的每个鱼眼图的道路分割检测结果图和所述第一俯视图的道路分割检测结果图；

融合模块，用于将所述多个鱼眼图的道路分割检测结果图和所述第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图；

第三获取模块，用于根据所述融合检测结果图，获取道路信息。

可选地，所述第二获取模块，包括：

分割子模块，用于对所述多个鱼眼图中的每个鱼眼图进行图像语义分割，得到每个鱼眼图的分割结果图；

检测子模块，用于对每个鱼眼图进行目标检测，得到每个鱼眼图的目标检测结果，所述目标检测结果用于指示相应图像中是否包含目标检测框；

生成子模块，用于根据每个鱼眼图的分割结果图和目标检测结果，生成相应鱼眼图的道路分割检测结果图。

可选地，所述第一获取模块，包括：

第一转换子模块，用于通过坐标转换将所述多个鱼眼图转换至俯视坐标系下，得到所述第一俯视图。

可选地，所述融合模块，包括：

第二转换子模块，用于通过坐标转换将所述多个鱼眼图的道路分割检测结果图转换至俯视坐标系下，得到第三俯视图；

融合子模块，用于将所述第三俯视图和所述第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图。

可选地，所述第二转换子模块主要用于：

将每个鱼眼图的道路分割检测结果图转换至所述俯视坐标系下，得到每个鱼眼图对应的俯视子图；

将所述多个鱼眼图分别对应的俯视子图进行拼接，得到拼接俯视图；

如果所述多个鱼眼图的道路分割检测结果图中还包括目标检测框，则将所述目标检测框转换至所述拼接俯视图中，以得到所述第三俯视图。

可选地，所述道路分割检测结果图中包括每个像素点的类别属性，所述第二转换子模块主要用于：

如果第一俯视子图中的第一区域和第二俯视子图中的第二区域为重叠区域，则当所述第一区域和所述第二区域内相同位置上的两个像素点的类别属性不同时，从所述两个像素点中确定类别属性优先级最高的一个像素点；

将确定的像素点的类别属性作为所述拼接俯视图中对应位置上的像素点的类别属性。

可选地，所述道路分割检测结果图中包括每个像素点的类别属性，所述融合子模块主要用于：

如果所述第三俯视图中每个像素点表示的距离和所述第一俯视图的道路分割检测结果图中每个像素点表示的距离不同，则对所述第三俯视图中的像素点进行转换，以使转换后的第三俯视图中每个像素点表示的距离与所述第一俯视图的道路分割检测结果图中每个像素点表示的距离相同；

对于转换后的第三俯视图中在所述第一俯视图的道路分割检测结果图中存在对应的像素点的多个第三像素点，将每个第三像素点的类别属性和对应的像素点的类别属性中优先级最高的类别属性作为对应的像素点的类别属性；

如果转换后的第三俯视图中还包括目标检测框，则将转换后的第三俯视图中的目标检测框融合至所述第一俯视图的道路分割检测结果图中，以得到所述融合检测结果图。

可选地，所述融合检测结果图包括每个像素点的类别属性和目标检测框，所述第三获取模块，包括：

第一识别子模块，用于根据所述融合检测结果图中每个像素点的类别属性，识别所述融合检测结果图包含的道路元素，所述道路元素是指与道路具有关联关系的对象；

第二识别子模块，用于根据所述融合检测结果图中每个像素点的类别属性和目标检测框，识别所述目标车辆当前所处的道路场景类别；

第三确定子模块，用于将识别得到的道路元素和所述道路场景类别作为所述道路信息。

另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被计算机执行时实现上述所述道路信息识别方法的步骤。

另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述的道路信息识别方法的步骤。

本申请实施例提供的技术方案带来的有益效果至少包括：

在本申请实施例中，将鱼眼图的道路分割检测结果图和第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图，进而根据融合检测结果图，获取道路信息。由于在进行鱼眼图分割检测时，对存在高度信息的元素的识别较为准确，而对俯视图进行分割检测时，对存在结构性和全局信息的元素的捕捉能力更强，所以通过融合鱼眼图的道路分割检测结果与俯视图的道路分割检测结果，可以将鱼眼图检测得到的更为准确的存在高度信息的元素和俯视图检测得到的更为准确的存在结构性和全局信息的元素进行融合，从而减少道路信息识别中的漏分割与误分割以及漏检测与误检测现象，提升了道路信息检测的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种道路信息识别方法所涉及的系统架构图；

图2是本申请实施例提供的一种道路信息识别方法的流程图；

图3是本申请实施例提供的另一种道路信息识别方法的流程图；

图4是本申请实施例提供的一种道路信息识别装置的结构示意图；

图5是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例进行详细的解释说明之前，先对本申请实施例涉及的系统架构进行介绍。

图1是本申请实施例提供的一种道路信息识别方法所涉及的系统架构图。如图1所示，该系统包括多个车载相机101和服务器102。其中，多个车载相机101可以通过无线网络与服务器102进行通信。

其中，多个车载相机101可以部署在车辆的车身四周，并且，各个车载相机101的视角不同，且相邻的两个车载相机101的覆盖范围可以存在部分重叠区域，也可以不存在重叠区域。示例性地，多个车载相机101可以包括部署在车身前端的前视鱼眼相机、部署在车尾的后视鱼眼相机、部署在车身左侧的左视鱼眼相机以及部署在车身右侧的右视鱼眼相机。当然，在一些可能的实现方式中，多个车载相机101还可以包括更少或更多的车载相机，例如，还可以包括部署在车身左前方、右前方的鱼眼相机等等，或者，多个车载相机101还可以有其他部署方式，本申请实施例对此不做限定。

需要说明的是，车辆上的每个车载相机101可以采集自身视角下的鱼眼图，并将采集到的鱼眼图通过无线网络传输给服务器102。

服务器102用于接收车辆的各个车载相机发送的鱼眼图，获取鱼眼图对应的第一俯视图，获取多个鱼眼图和第一俯视图中每个图像的道路分割检测结果图，并将多个鱼眼图的道路分割检测结果和第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图，进而根据该融合检测结果图，获取道路信息。

其中，服务器102可以为一台单独的服务器，或一个服务器集群，或者一个云平台，本申请实施例对此不做限定。

接下来对本申请实施例提供的道路信息识别方法进行介绍。

图2是本申请实施例提供的一种道路信息识别方法。该方法可以应用于图1所示的服务器中，如图2所示，该方法包括以下步骤：

步骤201：获取目标车辆采集的多个鱼眼图，以及获取多个鱼眼图对应的第一俯视图，多个鱼眼图为在多个视角下采集的图像。

在本申请实施例中，目标车辆的车身周围装载有多个车载相机，且各个车载相机的视角不同。在此基础上，每个车载相机可以采集自身视角下的一幅鱼眼图，然后将采集到的自身视角下的鱼眼图通过无线网络传输给服务器。服务器接收多个车载相机发送的在多个视角下采集到的鱼眼图。

示例性地，多个车载相机可以包括前视鱼眼相机、后视鱼眼相机、左视鱼眼相机、右视鱼眼相机，相应的采集到的多个视角下的鱼眼图可以包括前视鱼眼图、后视鱼眼图、左视鱼眼图、右视鱼眼图。

服务器在接收到多个鱼眼图之后，可以通过坐标转换将多个鱼眼图转换至俯视坐标系下，得到第一俯视图。

在一种可能的实现方式中，以多个鱼眼图中的任一鱼眼图为例，服务器可以根据目标车辆当前所处的位置确定一个路面坐标系，之后，确定该路面坐标系对应的图像坐标系，得到俯视坐标系。之后，根据该鱼眼图的图像坐标系与该俯视坐标系之间的转换关系，将该鱼眼图中各个像素点转换至俯视坐标系下，从而得到第一俯视图。

可选地，在一些可能的实现方式中，服务器也可以将多个鱼眼图转换至第二俯视图中，得到第一俯视图，该第二俯视图是根据目标车辆的图像采集范围所生成的空白俯视图。

示例性地，服务器根据目标车辆的图像采集范围所生成的空白俯视图可以是该目标车辆的图像采集范围所对应的一个空白俯视图；或者，服务器也可以以该目标车辆的图像采集范围为中心确定一个比该目标车辆的图像采集范围大的区域。然后根据该区域的大小生成一个空白俯视图，上述空白俯视图即为第二俯视图。其中，第二俯视图中每个像素点对应的像素值均为指定像素值，例如，可以均为0或255。

在生成第二俯视图之后，服务器可以将每个鱼眼图中的像素点转换至该第二俯视图中。其中，以多个鱼眼图中的任一个鱼眼图为例，服务器可以根据该鱼眼图的图像坐标系与该图像采集范围的坐标系之间的转换关系，对该鱼眼图中各个像素点的位置坐标进行转换，从而得到各个像素点在该目标车辆的图像采集范围中对应的目标位置点的位置坐标，之后，根据该目标车辆的图像采集范围的坐标系与第二俯视图的图像坐标系之间的转换关系，对目标位置点的位置坐标进行转换，从而得到目标位置点在第二俯视图中对应的像素点的位置坐标。这样，每个目标位置点在第二俯视图中对应的像素点即为相应目标位置点在该鱼眼图中对应的像素点在第二俯视图中对应的像素点。在此基础上，服务器可以将鱼眼图中每个像素点的像素值作为第二俯视图中对应的像素点的像素值，从而实现将鱼眼图转换至第二俯视图中。通过上述方法将各个鱼眼图转换至第二俯视图中之后，转换得到的即为第一俯视图。

步骤202：获取多个鱼眼图中的每个鱼眼图的道路分割检测结果图和第一俯视图的道路分割检测结果图。

在一些实施例中，以获取多个鱼眼图中的每个鱼眼图的道路分割检测结果图为例，服务器可以对多个鱼眼图中的每个鱼眼图进行图像语义分割，得到每个鱼眼图的分割结果图；然后对每个鱼眼图进行目标检测，得到每个鱼眼图的目标检测结果，其中，该目标检测结果用于指示相应图像中是否包含目标检测框；之后，根据每个鱼眼图的分割结果图和目标检测结果，生成相应鱼眼图的道路分割检测结果图。

其中，以多个鱼眼图中的任一鱼眼图为例，为了方便说明，将其称为第一鱼眼图，服务器可以将该第一鱼眼图输入至图像语义分割网络中，通过该图像语义分割网络对该第一鱼眼图进行图像语义分割处理，以确定该第一鱼眼图中每个像素点的类别属性，进而根据该第一鱼眼图中每个像素点的类别属性，生成第一鱼眼图的分割结果图。其中，该第一鱼眼图的分割结果图中具有相同类别属性的像素点被划分为一个区域。其中，每个像素点的类别属性用于指示相应像素点所属的道路元素，示例性地，该道路元素可以为路面、车道线、路面标志、路沿、栏杆、墙体等。

可选地，在一些可能的实现方式中，服务器也可以将该第一鱼眼图输入至目标检测网络中，通过该目标检测网络对该第一鱼眼图进行目标检测，从而得到第一鱼眼图的目标检测结果，其中，该目标检测结果可以包含一个或多个目标检测框，或者，该目标检测结果可以用于指示第一鱼眼图中不包含有待检测目标，也即不包含目标检测框。之后，服务器可以将该第一鱼眼图的目标检测结果与该第一鱼眼图的分割结果图进行融合，从而得到第一鱼眼图的道路分割检测结果图。

需要说明的是，如果第一鱼眼图的目标检测结果中包含有一个或多个目标检测框，则将该第一鱼眼图的目标检测框转换至该第一鱼眼图的分割结果图中，得到该第一鱼眼图的道路分割检测结果图；如果该第一鱼眼图的目标检测结果中不包含目标检测框，则直接将该第一鱼眼图的分割结果图作为该第一鱼眼图的道路分割检测结果图。

其中，在将第一鱼眼图的目标检测框转换至该第一鱼眼图的分割结果图中时，由于第一鱼眼图的目标检测结果与该第一鱼眼图的分割结果图对应的图像坐标系相同，因此服务器可以根据第一鱼眼图的目标检测结果中目标检测框的中心点的位置坐标以及四个顶点的位置坐标，对应的在该第一鱼眼图的分割结果图中找到相应的位置点的位置坐标，进而将第一鱼眼图的分割结果中的目标检测框转换至该第一鱼眼图的分割结果图中，得到第一鱼眼图的道路分割检测结果图。

可选地，在另一些实施例中，服务器在对多个鱼眼图中的每个鱼眼图进行图像语义分割之后，也可以直接将包含有每个像素点的类别属性的分割结果图作为相应鱼眼图的道路分割检测结果图。

依据相同的方法，服务器可以获取第一俯视图的道路分割检测结果图。本申请实施例对此不再赘述。

可选的，在对多个鱼眼图中的每个鱼眼图进行图像语义分割之前，还可以根据实际需求对每个鱼眼图进行裁剪和缩放，使裁剪和缩放后的各个鱼眼图具有一个固定的尺寸，然后将裁减和缩放后具有固定尺寸的各个鱼眼图输入图像语义分割网络进行语义分割，以确定各个鱼眼图中每个像素点所属的类别属性。其中，裁剪和缩放后的各个鱼眼图的尺寸可以相同也可以不同。当然，服务器在对第一俯视图进行图像语义分割之前也可以根据实际需求对第一俯视图进行裁剪和缩放，本申请实施例对此不再赘述。

步骤203：将多个鱼眼图的道路分割检测结果图和第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图。

在一些实施例中，服务器通过坐标转换将多个鱼眼图的道路分割检测结果图转换至俯视坐标系下，得到第三俯视图；将第三俯视图和第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图。

其中，服务器将多个鱼眼图中的每个鱼眼图的道路分割检测结果图转换至俯视坐标系下，得到每个鱼眼图对应的俯视子图；之后，将多个鱼眼图分别对应的俯视子图进行拼接，得到拼接俯视图；如果多个鱼眼图的道路分割检测结果图中还包括目标检测框，则将目标检测框转换至拼接俯视图中，以得到第三俯视图。

示例性地，以多个鱼眼图中的任一鱼眼图的道路分割检测结果图为例，参考前述步骤201中介绍的方式，服务器可以根据该鱼眼图的道路分割检测结果图的图像坐标系与该俯视坐标系之间的转换关系，将该鱼眼图的道路分割检测结果图中各个像素点转换至俯视坐标系下，得到该鱼眼图的道路分割检测结果图对应的俯视子图。依据相同的方法将各个鱼眼图的道路分割检测结果图转换至相同的俯视坐标系中之后，即可得到各个鱼眼图的道路分割检测结果图对应的俯视子图。

在得到各个鱼眼图分别对应的俯视子图之后，由于各个俯视子图处于同一俯视坐标系下，因此服务器可以将各个俯视子图进行拼接，得到拼接俯视图。其中，由于目标车辆的车身上相邻两个车载相机的覆盖范围可能存在重叠，因此根据车载相机采集到的各个鱼眼图转换得到的各个俯视子图中可能存在重叠的区域，基于此，服务器可以对重叠的区域进行处理。

示例性地，以任意两个相邻的俯视子图为例，将其称为第一俯视子图和第二俯视子图，服务器首先可以判断第一俯视子图和第二俯视子图是否存在重叠区域，如果第一俯视子图和第二俯视子图中的第一区域和第二俯视子图中的第二区域为重叠区域，则当第一区域和第二区域内相同位置上的两个像素点的类别属性不同时，从两个像素点中确定类别属性优先级最高的一个像素点；将确定的像素点的类别属性作为所述拼接俯视图中对应位置上的像素点的类别属性。

其中，服务器可以判断第一俯视子图和第二俯视子图中是否存在位置坐标相同的像素点。如果这两个俯视子图中存在位置坐标相同的像素点，则这些位置坐标相同的像素点组成的区域即为重叠区域。在这种情况下，服务器可以判断这个重叠区域内每个位置坐标上的两个像素点的类别属性是否相同。如果这两个像素点的类别属性不同，则从这两个像素点中确定类别属性优先级最高的一个像素点，将确定的像素点的像素值和类别属性作为拼接俯视图中对应位置上的像素点的像素值和类别属性。可选地，如果重叠区域内位置坐标相同的两个像素点的类别属性相同，则直接将该像素点对应的像素值和类别属性作为拼接俯视图中对应位置上的像素点的像素值和类别属性。

其中，类别属性的优先级可以根据用户需求进行设置。例如，当用户较为关注障碍物时，即可以将障碍物这一类别属性的优先级设置的较高。

在确定出拼接俯视图中各个像素点的像素值和类别属性之后，如果多个鱼眼图的道路分割检测结果图中还包括目标检测框，服务器还可以将目标检测框转换至拼接俯视图中，从而得到第三俯视图。

其中，以多个鱼眼图中任一鱼眼图的道路分割检测结果图为例，服务器可以根据该鱼眼图的道路分割检测结果图的图像坐标系得出该鱼眼图的道路分割检测结果图中的目标检测框的中心点的位置坐标以及四个顶点位置坐标，然后根据该鱼眼图的道路分割检测结果图的图像坐标系与俯视坐标系之间的转换关系，将该目标检测框的中心点的位置坐标以及四个顶点的位置坐标转换至拼接俯视图中，从而得到第三俯视图。

可选地，如果每个鱼眼图的道路分割检测结果图中不包含有目标检测框，则在将每个鱼眼图的道路分割检测结果图中的像素点的像素值和类别属性通过上述方法转换至拼接俯视图之后，服务器将转换得到的拼接俯视图作为第三俯视图。

可选地，在另一种可能的实现方式中，服务器也可以将多个鱼眼图的道路分割检测结果图转换至第二俯视图中，得到第三俯视图，该第二俯视图是根据目标车辆的图像采集范围所生成的空白俯视图。

其中，服务器将第二俯视图划分为多个区域。根据多个区域中的每个区域内的每个像素点的位置，确定每个区域内的每个像素点在多个鱼眼图的道路分割检测结果图中对应的像素点；根据每个区域内的每个像素点在多个鱼眼图的道路分割检测结果图中对应的像素点的像素值和类别属性，确定每个区域内的每个像素点的像素值和类别属性；如果多个鱼眼图的道路分割检测结果图中还包括目标检测框，则将目标检测框转换至第二俯视图中，以得到第三俯视图。

示例性地，由于第二俯视图是根据目标车辆的图像采集范围生成的，也即第二俯视图包含了目标车辆的车身四周的图像采集范围，基于此，服务器可以根据该目标车辆的图像采集范围前侧区域、左前侧区域、左侧区域、左后侧区域、后侧区域、右后侧区域、右侧区域、右前侧区域，将该第二俯视图划分为对应的八个区域。当然，在一些可能的实现方式中，还可以将该第二俯视图划分为更多或更少的区域，例如，还可以将该第二俯视图划分为前侧区域、左侧区域、右侧区域、后侧区域共四个区域，或者，多个区域还可以有其他的划分方式，本申请实施例对此不作限定。

在划分得到多个区域之后，服务器根据多个区域中的每个区域内的每个像素点的位置，确定每个区域内的每个像素点在多个鱼眼图的道路分割检测结果图中对应的像素点。

其中，以多个区域中的任一区域为例，服务器可以根据该区域的图像坐标系与该区域对应的图像采集范围的坐标系之间的转换关系，对该区域中各个像素点的位置坐标进行转换，从而得到该区域中各个像素点在该目标车辆的图像采集范围中对应的目标位置点的位置坐标，之后，根据该目标车辆的图像采集范围的坐标系与多个鱼眼图的道路分割检测结果图的坐标系之间的转换关系，对目标位置点的位置坐标进行转换，从而得到目标位置点在多个鱼眼图的道路分割检测结果图中对应的像素点的位置坐标。这样，每个目标位置点在多个鱼眼图中对应的像素点即为相应目标位置点在该区域中对应的像素点在多个鱼眼图中对应的像素点。

之后，服务器可以根据每个区域内的每个像素点在多个鱼眼图的道路分割检测结果图中对应的像素点的像素值和类别属性，确定每个区域内的每个像素点的像素值和类别属性。

其中，以多个区域中的任一区域为例，为了方便说明，将其称为第一区域，将第一区域中的任一像素点称为第一像素点。由前述介绍可知，目标车辆的车身上相邻两个车载相机的覆盖范围可能存在重叠，所以，第一像素点在图像采集范围内对应的位置点可能同时被两个车载相机采集到，这样，第一像素点就可能在两个鱼眼图中对应有两个像素点。基于此，在本申请实施例中，服务器首先可以判断前述确定的第一像素点在多个鱼眼图中对应的像素点为一个还是两个，如果第一区域内的第一像素点在多个鱼眼图中对应两个像素点，且两个像素点分别对应的类别属性不同，则从两个像素点中确定类别属性优先级最高的一个第二像素点；将该第二像素点的像素值和类别属性作为第一像素点的像素值和类别属性。其中，类别属性的优先级可以根据用户需求进行设置，本申请实施例对此不再赘述。

可选地，如果第一区域内的第一像素点在多个鱼眼图中对应一个像素点，则直接将该像素点的像素值和类别属性作为第一像素点的像素值和类别属性。

在确定出第二俯视图中的每个区域内的像素点的类别属性和像素值之后，如果多个鱼眼图的道路分割检测结果图中还包括目标检测框，服务器还可以将多个鱼眼图中每个鱼眼图的道路分割检测结果图中的目标检测框转换至该第二俯视图中，从而得到第三俯视图。其中，转换方式参考前述介绍的将鱼眼图转换至第二俯视图中以得到第一俯视图的坐标转换方式，本申请实施例对此不再赘述。

在得到第三俯视图之后，由于第三俯视图中包含有多个鱼眼图的道路分割检测结果，所以可以将第三俯视图与第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图。

其中，由于第三俯视图与第一俯视图的道路分割检测结果图对应的尺寸大小有可能不一致，所以第三俯视图中包含的每个像素点表示的距离和第一俯视图的道路分割检测结果图中包含的每个像素点表示的距离可能不同。基于此，在本申请实施例中，服务器首先可以判断第三俯视图中包含的每个像素点表示的距离和第一俯视图的道路分割检测结果图中包含的每个像素点表示的距离是否相同。如果第三俯视图中每个像素点表示的距离和第一俯视图的道路分割检测结果图中每个像素点表示的距离不同，则对第三俯视图中的像素点进行转换，以使转换后的第三俯视图中每个像素点表示的距离与第一俯视图的道路分割检测结果图中每个像素点表示的距离相同；对于转换后的第三俯视图中在第一俯视图的道路分割检测结果图中存在对应的像素点的多个第三像素点，将每个第三像素点的类别属性和对应的像素点的类别属性中优先级最高的类别属性作为对应的像素点的类别属性。如果转换后的第三俯视图中还包括目标检测框，则将转换后的第三俯视图中的目标检测框融合至第一俯视图的道路分割检测结果图中，以得到融合检测结果图。

在一种实现方式中，服务器可以根据第三俯视图的大小与第三俯视图所对应的图像采集范围的大小计算第三俯视图中包含的每个像素点表示的距离。依据同样的方法，服务器也可以得出第一俯视图的道路分割检测结果图中包含的每个像素点表示的距离。然后，服务器对第三俯视图中每个像素点表示的距离和第一俯视图的道路检测结果图中每个像素点表示的距离进行比较。如果第三俯视图中每个像素点表示的距离大于第一俯视图的道路检测结果图中每个像素点表示的距离，则对第三俯视图进行放大，使得放大后的第三俯视图中每个像素点表示的距离与第一俯视图的道路检测图中每个像素点表示的距离相同。如果第三俯视图中每个像素点表示的距离小于第一俯视图的道路检测结果图中每个像素点表示的距离，则对第三俯视图进行缩小，使得缩小后的第三俯视图中每个像素点表示的距离与第一俯视图的道路检测图中每个像素点表示的距离相同。

在将第三俯视图中每个像素点表示的距离与第一俯视图的道路分割检测结果图中每个像素点表示的距离转换为相同的之后，服务器可以从第三俯视图中获取在第一俯视图的道路检测结果图中存在对应的像素点的多个第三像素点。

其中，服务器可以参考前述介绍的确定第一区域中每个像素点在鱼眼图的道路分割检测结果图中对应的像素点的方式，确定第三俯视图中的每个像素点在第一俯视图中对应的像素点，如果第三俯视图中的某个像素点的位置坐标通过转换后不处于第一俯视图的道路分割检测结果图的坐标范围之内，则说明该像素点在第一俯视图的道路分割检测结果图中不存在对应的像素点。如果第三俯视图中的某个像素点的位置坐标通过转换后处于第一俯视图的道路分割检测结果图的坐标范围之内，则说明该像素点在第一俯视图的道路分割检测结果图中存在对应的像素点。也即，该像素点为第三像素点，此时，可以确定该第三像素点在第一俯视图的道路分割检测结果图中对应的像素点，也即，确定该第三像素点对应的像素点。

由于每个第三像素点和对应的像素点的类别属性有可能相同，也有可能不同，所以，对于任一第三像素点和该第三像素点对应的像素点，如果二者的类别属性不同，则将该第三像素点的类别属性与对应的像素点的类别属性中优先级最高的类别属性作为对应的像素点的类别属性。如果二者的类别属性相同，则不对该第三像素点对应的像素点的类别属性进行更新。其中类别属性的优先级的确定方法与前述类别属性优先级的确定方法一致，本申请实施例对此不再赘述

可选地，如果第三俯视图中每个像素点表示的距离和第一俯视图的道路分割检测结果图每个像素点表示的距离不同，也可以直接利用坐标转换的方式在第一俯视图的道路分割检测结果图中查找第三俯视图中各像素点对应的像素点，然后服务器可以从第三俯视图中获取在第一俯视图的道路检测结果图中对应有像素点的多个第三像素点，并将该第三俯视图中的多个第三像素点中的每个第三像素点的类别属性融合至该第一俯视图的道路检测结果图中对应有像素点的类别属性中。

在将第三俯视图中像素点的类别属性融合至第一俯视图的道路检测结果图中对应的像素点的类别属性的同时，如果转换后的第三俯视图中还包括目标检测框，还可以将转换后的第三俯视图中的目标检测框与第一俯视图的道路分割检测结果图中的目标检测框进行融合。

其中，服务器首先将第三俯视图中的目标检测框转换至第一俯视图的道路分割检测结果图中，转换方式参考前述将目标检测框转换至第二俯视图中，以得到第三俯视图的坐标转换方式，本申请实施例对此不再赘述。

在将第三俯视图中的目标检测框转换至第一俯视图的道路分割检测结果图中之后，对于转换至第一俯视图的道路分割检测结果图中的目标检测框，服务器判断第一俯视图的道路分割检测结果图包括的目标检测框中是否存在与转换得到的目标检测框相交的第一目标检测框，如果该第一俯视图的道路分割检测结果图中包含有与转换后的目标检测框相交的第一目标检测框，则进一步确定两个目标检测框相交的面积，如果两个目标检测框相交的面积与其中一个目标检测框面积的比值超过预设比例时，则将该两个目标检测框进行进一步的融合。如果该两个目标检测框相交的面积与其中一个目标检测框面积的比值未超过预设比例，则将两个目标检测框作为两个独立的检测框，不进行融合处理。

其中，预设比例可以提前设置，比如，该预设比例为60％，本申请实施例对此不作限定。

需要说明的是，在将两个目标检测框进行融合时，服务器可以将第三俯视图中的目标检测框的位置坐标与第一俯视图的道路分割检测结果图中对应的目标检测框的位置坐标进行加权，从而得到融合后的目标检测框的位置坐标。其中，目标检测框的位置坐标可以包括目标检测框的中心点的位置坐标和/或四个顶点的位置坐标。当然，还可以通过其他的方式来获取融合后的目标检测框的位置坐标，本申请实施例对此不做限定。

可选的，在将第三俯视图中的目标检测框转换至第一俯视图的道路分割检测结果图中之后，如果第一俯视图的道路分割检测结果图所包含的目标检测框中没有与转换后的目标检测框相交的目标检测框，则将转换后的目标检测框单独作为第一俯视图的道路分割检测结果图中一个目标检测框。

通过将第三俯视图中的像素点的类别属性和目标检测框转换至第一俯视图的道路分割检测结果图中，实现了第三俯视图和第一俯视图的道路分割检测结果图的融合，从而得到了融合检测结果图。

可选地，服务器也可以将第一俯视图的道路分割检测结果图中各个像素点对应的类别属性与目标检测框融合到第三俯视图中，从而得到融合检测结果图。其中融合方式可以参考前述将第三俯视图中各个像素点对应的类别属性与目标检测框融合到第一俯视图的道路分割检测结果图中的方式，本申请实施例对此不再赘述。

可选地，当第三俯视图和/或第一俯视图的道路分割检测结果图中不包含有目标检测框时，则直接将第三俯视图和第一俯视图的道路分割检测结果图中的像素点的类别属性进行融合，即可以得到融合检测结果图。

除此之外，服务器还可以对融合检测结果图进行腐蚀膨胀操作、高斯滤波操作、多帧融合操作，以此来对该融合检测结果图进行平滑处理。其中，腐蚀膨胀操作中腐蚀的作用主要是消除物体边界点，使目标缩小，可以消除小于结构元素的噪声点；膨胀的作用主要是将与物体接触的所有背景点合并到物体中，使目标增大，填补目标中的空洞，这两个操作的主要功能都是为了使融合检测结果图中物体的边界变得更加平滑；高斯滤波主要用于消除高斯噪声，以降低融合检测结果图的噪声，使得融合检测结果图更加平滑；多帧融合操作是指将当前处理得到的融合检测结果图与之前处理得到的融合检测结果图进行融合，以使得融合检测结果图更为平滑。通过对融合检测结果图进行上述平滑等后处理操作，使得像素点的分割连续，边缘分割更加准确。当然，在一些可能的实现方式中，还可以利用车辆的运动信息和辅助信息对融合前的分割检测结果图进行预处理，该预处理包括对分割检测结果图中的道路信息进行矫正，示例性地，可以对鱼眼图和第一俯视图的分割掩模，以及目标检测框的位置进行预处理和位置信息矫正。

步骤204：根据融合检测结果图，获取道路信息。

在一些实施例中，服务器根据融合检测结果图中每个像素点的类别属性，识别融合检测结果图中的道路元素；根据融合检测结果图中每个像素点的类别属性和目标检测框，识别目标车辆当前所处的道路场景类别；将识别得到的道路元素和所述道路场景类别作为道路信息。

其中，服务器可以将融合检测结果图中相同类别属性的多个像素点组成的元素作为一个道路元素，这个道路元素即为这多个像素点的类别属性，示例性地，服务器可以将所有类别属性为路面的像素点所组成的元素识别为路面，或者，服务器还可以将多个连续的类别属性为车辆的像素点所组成的元素识别为车辆。

另外，服务器还可以将融合检测结果图输入深度学习分类网络，深度学习分类网络可以根据融合检测结果图中每个像素点的类别属性和目标检测框识别目标车辆当前所处的道路场景类别，示例性地，该道路场景类别可以包括路口、分叉路、车道线汇入、停车场等，本申请实施例对此不作限定。

可选地，当融合检测结果图中不包括目标检测框时，服务器也可以将该融合检测结果图输入深度学习分类网络，使该深度学习分类网络基于该融合检测结果图中每个像素点的类别属性来识别目标车辆当前所处的道路场景类别。

在本申请实施例中，将鱼眼图的道路分割检测结果图和第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图，进而根据融合检测结果图，获取道路信息。由于在进行鱼眼图分割检测时，对存在高度信息的元素的识别较为准确，而对俯视图进行检测时，对存在结构性和全局信息的元素的捕捉能力更强，所以通过融合鱼眼图的道路分割检测结果与俯视图的道路分割检测结果，可以将鱼眼图检测得到的更为准确的存在高度信息的元素和俯视图检测得到的更为准确的存在结构性和全局信息的元素进行融合，实现优势互补，从而减少道路信息识别中的漏分割与误分割以及漏检测与误检测，增强了检测结果的鲁棒性和稳定性。后续，对融合检测结果图进行平滑等后处理操作，也使得各像素点的分割连续，边缘分割更加准确，提升了道路信息检测的准确性和全面性。

另外，在本申请实施例中，在对鱼眼图和第一俯视图进行分割的同时，还可以进行目标检测，进而在对分割结果进行融合的同时，对目标检测结果也进行融合，在此基础上，对融合的两种检测结果进行识别，以此来提升道路信息的识别准确性。

图3为本申请实施例示出的一种示例性地道路信息识别方法的流程图。参见图3，服务器首先获取前视、左视、右视、后视鱼眼图，然后将获取到的前视、左视、右视、后视鱼眼图进行坐标转换，得到第一俯视图，然后对该第一俯视图进行图像语义分割和目标检测得到第一俯视图的道路分割检测结果图。与此同时，服务器将获取到的前视、左视、右视、后视鱼眼图分别进行图像语义分割和目标检测，获得多个鱼眼图的道路分割检测结果图，然后将多个鱼眼图的道路分割检测结果图进行坐标转换，得到第三俯视图。之后，服务器将第一俯视图的道路分割检测结果图与第三俯视图进行融合，得到融合检测结果图，然后对融合检测结果图进行平滑等后处理操作，使得像素点的分割连续，边缘分割更加准确，最后对平滑处理后的融合检测结果图进行道路元素分析与道路场景识别，进而获得道路信息。

接下来，对本申请实施例提供的道路信息识别装置进行介绍。

参见图4，本申请实施例提供了一种道路信息识别装置400，装置400包括：第一获取模块401、第二获取模块402、融合模块403和第三获取模块404。

第一获取模块401，用于获取目标车辆采集的多个鱼眼图，以及获取多个鱼眼图对应的第一俯视图，多个鱼眼图为在多个视角下采集的图像；

第二获取模块402，用于获取多个鱼眼图中的每个鱼眼图的道路分割检测结果图和第一俯视图的道路分割检测结果图；

融合模块403，用于将多个鱼眼图的道路分割检测结果图和第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图；

第三获取模块404，用于根据融合检测结果图，获取道路信息。

可选地，第二获取模块402，包括：

分割子模块，用于对多个鱼眼图中的每个鱼眼图进行图像语义分割，得到每个鱼眼图的分割结果图；

检测子模块，用于对每个鱼眼图进行目标检测，得到每个鱼眼图的目标检测结果，目标检测结果用于指示相应图像中是否包含目标检测框；

生成子模块，用于根据每个鱼眼图的分割结果图和目标检测结果，生成相应鱼眼图的道路分割检测结果图。

可选地，第一获取模块401，包括：

第一转换子模块，用于通过坐标转换将多个鱼眼图转换至俯视坐标系下，得到第一俯视图。

可选地，融合模块403，包括：

第二转换子模块，用于通过坐标转换将多个鱼眼图的道路分割检测结果图转换至俯视坐标系下，得到第三俯视图；

融合子模块，用于将第三俯视图和第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图。

可选地，第二转换子模块主要用于：

将每个鱼眼图的道路分割检测结果图转换至俯视坐标系下，得到每个鱼眼图对应的俯视子图；

将多个鱼眼图分别对应的俯视子图进行拼接，得到拼接俯视图；

如果多个鱼眼图的道路分割检测结果图中还包括目标检测框，则将目标检测框转换至拼接俯视图中，以得到第三俯视图。

可选地，道路分割检测结果图中包括每个像素点的类别属性，第二转换子模块主要用于：

如果第一俯视子图中的第一区域和第二俯视子图中的第二区域为重叠区域，则当第一区域和第二区域内相同位置上的两个像素点的类别属性不同时，从两个像素点中确定类别属性优先级最高的一个像素点；

将确定的像素点的类别属性作为拼接俯视图中对应位置上的像素点的类别属性。

可选地，道路分割检测结果图中包括每个像素点的类别属性，融合子模块主要用于：

如果第三俯视图中每个像素点表示的距离和第一俯视图的道路分割检测结果图中每个像素点表示的距离不同，则对第三俯视图中的像素点进行转换，以使转换后的第三俯视图中每个像素点表示的距离与第一俯视图的道路分割检测结果图中每个像素点表示的距离相同；

对于转换后的第三俯视图中在第一俯视图的道路分割检测结果图中存在对应的像素点的多个第三像素点，将每个第三像素点的类别属性和对应的像素点的类别属性中优先级最高的类别属性作为对应的像素点的类别属性；

如果转换后的第三俯视图中还包括目标检测框，则将转换后的第三俯视图中的目标检测框融合至第一俯视图的道路分割检测结果图中，以得到融合检测结果图。

可选地，融合检测结果图包括每个像素点的类别属性和目标检测框，第三获取模块404，包括：

第一识别子模块，用于根据融合检测结果图中每个像素点的类别属性，识别融合检测结果图包含的道路元素，该道路元素是指与道路具有关联关系的对象；

第二识别子模块，用于根据融合检测结果图中每个像素点的类别属性和目标检测框，识别目标车辆当前所处的道路场景类别；

确定子模块，用于将识别得到的道路元素和道路场景类别作为道路信息。

在本申请实施例中，将鱼眼图的道路分割检测结果图和第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图，进而根据融合检测结果图，获取道路信息。由于在进行鱼眼图分割检测时，对存在高度信息的元素的识别较为准确，而对俯视图进行检测时，对存在结构性和全局信息的元素的捕捉能力更强，所以通过融合鱼眼图的道路分割检测结果与俯视图的道路分割检测结果，可以将鱼眼图检测得到的更为准确的存在高度信息的元素和俯视图检测得到的更为准确的存在结构性和全局信息的元素进行融合，实现优势互补，从而减少道路信息识别中的漏分割与误分割以及漏检测与误检测，增强了检测结果的鲁棒性和稳定性。后续，对融合检测结果图进行平滑等后处理操作，也使得各像素点的分割连续，边缘分割更加准确，提升了道路信息检测的准确性和全面性。

需要说明的是，上述实施例提供的道路信息识别装置在识别道路信息时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的道路信息识别装置与道路信息识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图5是根据一示例性实施例示出的一种服务器结构示意图。上述实施例中的道路信息识别的功能即可以通过图5中所示的服务器来实现。该服务器可以是后台服务器集群中的服务器。具体来讲：

服务器500包括中央处理单元(Central Processing Unit，CPU)501、包括随机存取存储器(Random Access Memory，RAM)502和只读存储器(Read-Only Memory，ROM)503的系统存储器504，以及连接系统存储器504和中央处理单元501的系统总线505。服务器500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)506，和用于存储操作系统513、应用程序514和其他程序模块515的大容量存储设备507。

基本输入/输出系统506包括有用于显示信息的显示器508和用于用户输入信息的诸如鼠标、键盘之类的输入设备509。其中显示器508和输入设备509都通过连接到系统总线505的输入输出控制器510连接到中央处理单元501。基本输入/输出系统506还可以包括输入输出控制器510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器510还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备507通过连接到系统总线505的大容量存储控制器(未示出)连接到中央处理单元501。大容量存储设备507及其相关联的计算机可读介质为服务器500提供非易失性存储。也就是说，大容量存储设备507可以包括诸如硬盘或者CD-ROM(CompactDisc Read-Only Memory，紧凑型光盘只读储存器)驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory，带电可擦可编程只读存储器)、闪存或其他固态存储设备，CD-ROM、DVD(Digital Versatile Disc，数字通用光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器504和大容量存储设备507可以统称为存储器。

根据本申请的各种实施例，服务器500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器500可以通过连接在系统总线505上的网络接口单元511连接到网络512，或者说，也可以使用网络接口单元511来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的道路信息识别方法的指令。

本申请实施例还提供了一种计算机可读存储介质，当该存储介质中的指令由服务器的处理器执行时，使得服务器能够执行上述实施例提供的道路信息识别方法。例如，该计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。值得注意的是，本申请实施例提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。

应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。

也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的道路信息识别方法。

以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。

Claims (17)

1.一种道路信息识别方法，其特征在于，所述方法包括：

获取目标车辆采集的多个鱼眼图，以及获取所述多个鱼眼图对应的第一俯视图，所述多个鱼眼图为在多个视角下采集的图像；

获取所述多个鱼眼图中的每个鱼眼图的道路分割检测结果图和所述第一俯视图的道路分割检测结果图；

将所述多个鱼眼图的道路分割检测结果图和所述第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图；

根据所述融合检测结果图，获取道路信息。

2.根据权利要求1所述的方法，其特征在于，所述获取所述多个鱼眼图中的每个鱼眼图的道路分割检测结果图，包括：

对所述多个鱼眼图中的每个鱼眼图进行图像语义分割，得到每个鱼眼图的分割结果图；

对每个鱼眼图进行目标检测，得到每个鱼眼图的目标检测结果，所述目标检测结果用于指示相应图像中是否包含目标检测框；

根据每个鱼眼图的分割结果图和目标检测结果，生成相应鱼眼图的道路分割检测结果图。

3.根据权利要求1所述的方法，其特征在于，所述获取所述多个鱼眼图对应的第一俯视图，包括：

通过坐标转换将所述多个鱼眼图转换至俯视坐标系下，得到所述第一俯视图。

4.根据权利要求1-3任一所述的方法，其特征在于，所述将所述多个鱼眼图的道路分割检测结果图和所述第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图，包括：

通过坐标转换将所述多个鱼眼图的道路分割检测结果图转换至俯视坐标系下，得到第三俯视图；

将所述第三俯视图和所述第一俯视图的道路分割检测结果图进行融合，得到所述融合检测结果图。

5.根据权利要求4所述的方法，其特征在于，所述通过坐标转换将所述多个鱼眼图的道路分割检测结果图转换至俯视坐标系下，得到第三俯视图，包括：

将每个鱼眼图的道路分割检测结果图转换至所述俯视坐标系下，得到每个鱼眼图对应的俯视子图；

将所述多个鱼眼图分别对应的俯视子图进行拼接，得到拼接俯视图；

如果所述多个鱼眼图的道路分割检测结果图中还包括目标检测框，则将所述目标检测框转换至所述拼接俯视图中，以得到所述第三俯视图。

6.根据权利要求5所述的方法，其特征在于，所述道路分割检测结果图中包括每个像素点的类别属性，所述将所述多个鱼眼图分别对应的俯视子图进行拼接，得到拼接俯视图，包括：

如果第一俯视子图中的第一区域和第二俯视子图中的第二区域为重叠区域，则当所述第一区域和所述第二区域内相同位置上的两个像素点的类别属性不同时，从所述两个像素点中确定类别属性优先级最高的一个像素点；

将确定的像素点的类别属性作为所述拼接俯视图中对应位置上的像素点的类别属性。

7.根据权利要求4所述的方法，其特征在于，所述道路分割检测结果图中包括每个像素点的类别属性，所述将所述第三俯视图和所述第一俯视图的道路分割检测结果图进行融合，得到所述融合检测结果图，包括：

如果所述第三俯视图中每个像素点表示的距离和所述第一俯视图的道路分割检测结果图中每个像素点表示的距离不同，则对所述第三俯视图中的像素点进行转换，以使转换后的第三俯视图中每个像素点表示的距离与所述第一俯视图的道路分割检测结果图中每个像素点表示的距离相同；

对于转换后的第三俯视图中在所述第一俯视图的道路分割检测结果图中存在对应的像素点的多个第三像素点，将每个第三像素点的类别属性和对应的像素点的类别属性中优先级最高的类别属性作为对应的像素点的类别属性；

如果转换后的第三俯视图中还包括目标检测框，则将转换后的第三俯视图中的目标检测框融合至所述第一俯视图的道路分割检测结果图中，以得到所述融合检测结果图。

8.根据权利要求1所述的方法，其特征在于，所述融合检测结果图包括每个像素点的类别属性和目标检测框，所述根据所述融合检测结果图，获取道路信息，包括：

根据所述融合检测结果图中每个像素点的类别属性，识别所述融合检测结果图包含的道路元素，所述道路元素是指与道路具有关联关系的对象；

根据所述融合检测结果图中每个像素点的类别属性和目标检测框，识别所述目标车辆当前所处的道路场景类别；

将识别得到的道路元素和所述道路场景类别作为所述道路信息。

9.一种道路信息识别装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标车辆采集的多个鱼眼图，以及获取所述多个鱼眼图对应的第一俯视图，所述多个鱼眼图为在多个视角下采集的图像；

第二获取模块，用于获取所述多个鱼眼图中的每个鱼眼图的道路分割检测结果图和所述第一俯视图的道路分割检测结果图；

融合模块，用于将所述多个鱼眼图的道路分割检测结果图和所述第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图；

第三获取模块，用于根据所述融合检测结果图，获取道路信息。

10.根据权利要求9所述的装置，其特征在于，所述第二获取模块，包括：

分割子模块，用于对所述多个鱼眼图中的每个鱼眼图进行图像语义分割，得到每个鱼眼图的分割结果图；

检测子模块，用于对每个鱼眼图进行目标检测，得到每个鱼眼图的目标检测结果，所述目标检测结果用于指示相应图像中是否包含目标检测框；

生成子模块，用于根据每个鱼眼图的分割结果图和目标检测结果，生成相应鱼眼图的道路分割检测结果图。

11.根据权利要求9所述的装置，其特征在于，所述第一获取模块，包括：

第一转换子模块，用于通过坐标转换将所述多个鱼眼图转换至俯视坐标系下，得到所述第一俯视图。

12.根据权利要求9-11任一所述的装置，其特征在于，所述融合模块，包括：

第二转换子模块，用于通过坐标转换将所述多个鱼眼图的道路分割检测结果图转换至俯视坐标系下，得到第三俯视图；

融合子模块，用于将所述第三俯视图和所述第一俯视图的道路分割检测结果图进行融合，得到融合检测结果图。

13.根据权利要求12所述的装置，其特征在于，所述第二转换子模块主要用于：

将每个鱼眼图的道路分割检测结果图转换至所述俯视坐标系下，得到每个鱼眼图对应的俯视子图；

将所述多个鱼眼图分别对应的俯视子图进行拼接，得到拼接俯视图；

如果所述多个鱼眼图的道路分割检测结果图中还包括目标检测框，则将所述目标检测框转换至所述拼接俯视图中，以得到所述第三俯视图。

14.根据权利要求13所述的装置，其特征在于，所述道路分割检测结果图中包括每个像素点的类别属性，所述第二转换子模块主要用于：

如果第一俯视子图中的第一区域和第二俯视子图中的第二区域为重叠区域，则当所述第一区域和所述第二区域内相同位置上的两个像素点的类别属性不同时，从所述两个像素点中确定类别属性优先级最高的一个像素点；

将确定的像素点的类别属性作为所述拼接俯视图中对应位置上的像素点的类别属性。

15.根据权利要求12所述的装置，其特征在于，所述道路分割检测结果图中包括每个像素点的类别属性，所述融合子模块主要用于：

如果所述第三俯视图中每个像素点表示的距离和所述第一俯视图的道路分割检测结果图中每个像素点表示的距离不同，则对所述第三俯视图中的像素点进行转换，以使转换后的第三俯视图中每个像素点表示的距离与所述第一俯视图的道路分割检测结果图中每个像素点表示的距离相同；

对于转换后的第三俯视图中在所述第一俯视图的道路分割检测结果图中存在对应的像素点的多个第三像素点，将每个第三像素点的类别属性和对应的像素点的类别属性中优先级最高的类别属性作为对应的像素点的类别属性；

如果转换后的第三俯视图中还包括目标检测框，则将转换后的第三俯视图中的目标检测框融合至所述第一俯视图的道路分割检测结果图中，以得到所述融合检测结果图。

16.根据权利要求9所述的装置，其特征在于，所述融合检测结果图包括每个像素点的类别属性和目标检测框，所述第三获取模块，包括：

第一识别子模块，用于根据所述融合检测结果图中每个像素点的类别属性，识别所述融合检测结果图包含的道路元素，所述道路元素是指与道路具有关联关系的对象；

第二识别子模块，用于根据所述融合检测结果图中每个像素点的类别属性和目标检测框，识别所述目标车辆当前所处的道路场景类别；

第三确定子模块，用于将识别得到的道路元素和所述道路场景类别作为所述道路信息。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被计算机执行时实现权利要求1-8任一所述道路信息识别方法。

Images