CN116745820A - 路面标志识别方法及装置、设备、存储介质、车辆 - Google Patents

Abstract

本申请涉及智能汽车领域，尤其涉及一种路面标志识别方法及装置、设备、存储介质、车辆。本申请一实施例中，结合参考数据和/或路面标志图像针对道路图像的冗余标志块进行识别，能够高效准确地识别冗余的路面标志，解决因路面标志混杂引起的冗余路面标志识别困难等问题，提升车辆的自动驾驶、智能驾驶等功能的可靠性。

Description

路面标志识别方法及装置、设备、存储介质、车辆 技术领域

本申请涉及智能汽车领域，尤其涉及一种路面标志识别方法及装置、设备、存储介质、车辆。

背景技术

随着汽车行业的高速发展，自动驾驶、智能驾驶等辅助驾驶功能已成为车辆的必备功能，而这些功能能否实现依赖于车辆对诸如障碍物、路面标志等道路特征的感知。

因道路的路面标志数量巨大、种类繁多、年久褪色、擦除不当、新旧交叠、更新频繁等混杂情况，车辆难以高效准确地识别道路上的路面标志，从而影响车辆辅助驾驶功能的实现，甚至引起辅助驾驶功能的运行错误。

发明内容

为解决上述技术问题，本申请实施例提供了一种路面标志识别方法及装置、设备、存储介质、车辆，能够高效准确地识别路面标志。

本申请第一方面提供了一种路面标志识别方法，包括：

获取道路图像，道路图像中包含路面；

确定道路图像的冗余标志块；

根据参考数据和/或路面标志图像，得到冗余标志块的识别结果，识别结果包含第一路面标志信息。

由此，结合参考数据和/或路面标志图像，即可高效准确地识别道路路面的冗余路面标志。

作为第一方面的一种可能的实现方式，确定道路图像中的冗余标志块，包括：根据预配置的路面标志规则、路面标志图像和/或道路图像中标志块的色差，确定道路图像的冗余标志块。

由此，可高效、准确并全面的找出道路图像中的冗余标志块。

作为第一方面的一种可能的实现方式，确定道路图像中的冗余标志块，包括：在道路图像的标志块不符合预配置的路面标志规则时，标志块为冗余标志块；和/或，在道路图像的标志块与路面标志图像的形状不匹配时，标志块为冗余标志块；和/或，在道路图像的标志块的色差大于第一预设阈值时，标志块为冗余标志块。

由此，可根据需要采用多种手段高效、准确并全面的找出道路图像中的冗余标志块。

作为第一方面的一种可能的实现方式，根据参考数据和/或路面标志图像，得到冗余标志块的识别结果，包括：根据参考数据确定冗余标志块的第一路面标志信息；其中，参考数据包括如下之一或多项：高精地图数据、交通指示牌信息、导航地图数据。

由此，可借由一种或多种参考数据高效准确确定冗余标志块的识别结果。

作为第一方面的一种可能的实现方式，根据参考数据和/或路面标志图像，得到冗余标志块的识别结果，包括：通过匹配冗余标志块与路面标志图像，得到冗余标志块的两种或两种以上第二路面标志信息，每个第二路面标志信息对应的路面标志图像均包含在冗余标志块的图像中；根据冗余标志块的两种或两种以上第二路面标志信息，确定冗余标志块的第一路面标志信息。

由此，可通过图像匹配等方式高效准确地确定冗余标志块的路面标志信息。

作为第一方面的一种可能的实现方式，方法还包括：根据对应安全路标的第二路面标志信息，生成安全驾驶策略。由此，可最大程度地遵守交规和确保安全驾驶。

作为第一方面的一种可能的实现方式，根据冗余标志块的两种或两种以上第二路面标志信息，确定冗余标志块的第一路面标志信息，包括：根据冗余标志块的两种或两种以上第二路面标志信息，采用机器学习算法推测冗余标志块的第三路面标志信息和第三路面标志信息的可信度；以可信度最高的第三路面标志信息作为第一路面标志信息。

由此，可利用机器学习算法与可信度，准确高效地确定冗余标志块的路面标志信息。

作为第一方面的一种可能的实现方式，根据冗余标志块的两种或两种以上第二路面标志信息，采用机器学习算法推测冗余标志块的第三路面标志信息和第三路面标志信息的可信度，包括：利用冗余标志块中对应第二路面标志信息的图像数据，计算第二路面标志信息对应的色差；以色差较大的至少两个第二路面标志信息为初始聚类中心，对冗余标志块的图像数据聚类，以获得冗余标志块的两个或两个以上第三路面标志信息和第三路面标志信息的图像数据集；根据第三路面标志信息的图像数据集，确定第三路面标志信息的可信度。

由此，可通过色差和聚类的结合准确高效地确定冗余标志块的路面标志信息。

作为第一方面的一种可能的实现方式，根据冗余标志块的两种或两种以上第二路面标志信息，采用机器学习算法推测冗余标志块的第三路面标志信息和第三路面标志信息的可信度，还包括：对冗余标志块的图像数据聚类之前，去除色差大于第二预定阈值的第二路面标志信息。

由此，可进一步提高冗余标志块的路面标志信息的准确性，同时降低复杂度，提高效率。

作为第一方面的一种可能的实现方式，根据冗余标志块的两种或两种以上第二路面标志信息，确定冗余标志块的第一路面标志信息，还包括：确定第三路面标志信息的可信度之前，去除不符合路面标志规则的第三路面标志信息。

由此，可进一步提高冗余标志块的路面标志信息的准确性，同时降低复杂度，提高效率。

本申请第一方面提供了一种路面标志识别装置，包括：

获取单元，用于获取道路图像，道路图像中包含路面；

冗余确定单元，用于确定道路图像的冗余标志块；

标志识别单元，用于根据参考数据和/或路面标志图像，得到冗余标志块的识别结果，识别结果包含第一路面标志信息。

作为第二方面的一种可能的实现方式，冗余确定单元，具体用于：根据预配置的路面标志规则、路面标志图像和/或道路图像中标志块的色差，确定道路图像的冗余标志块。

作为第二方面的一种可能的实现方式，冗余确定单元，具体用于：在道路图像的标志块不符合预配置的路面标志规则时，确定标志块为冗余标志块；和/或，在道路图像的标志块与路面标志图像的形状不匹配时，确定标志块为冗余标志块；和/或，在道路图像的标志块的色差大于第一预设阈值时，确定标志块为冗余标志块。

作为第二方面的一种可能的实现方式，标志识别单元，具体用于：根据参考数据确定冗余标志块的第一路面标志信息；其中，参考数据包括如下之一或多项：高精地图数据、交通指示牌信息、导航地图数据。

作为第二方面的一种可能的实现方式，标志识别单元，具体用于：通过匹配冗余标志块与路面标志图像，得到冗余标志块的两种或两种以上第二路面标志信息，每个第二路面标志信息对应的路面标志图像均包含在冗余标志块的图像中；根据冗余标志块的两种或两种以上第二路面标志信息，确定冗余标志块的第一路面标志信息。

作为第二方面的一种可能的实现方式，路面标志识别装置还包括：安全处理单元，用于根据对应安全路标的第二路面标志信息，生成安全驾驶策略。

作为第二方面的一种可能的实现方式，标志识别单元，具体用于：根据冗余标志块的两种或两种以上第二路面标志信息，采用机器学习算法推测冗余标志块的第三路面标志信息和第三路面标志信息的可信度；以可信度最高的第三路面标志信息作为第一路面标志信息。

作为第二方面的一种可能的实现方式，标志识别单元，具体用于：利用冗余标志块中对应第二路面标志信息的图像数据，计算第二路面标志信息对应的色差；以色差较大的至少两个第二路面标志信息为初始聚类中心，对冗余标志块的图像数据聚类，以获得冗余标志块的两个或两个以上第三路面标志信息和第三路面标志信息的图像数据集；根据第三路面标志信息的图像数据集，确定第三路面标志信息的可信度。

作为第二方面的一种可能的实现方式，标志识别单元，还用于：对冗余标志块的图像数据聚类之前，去除色差大于第二预定阈值的第二路面标志信息。

作为第二方面的一种可能的实现方式，标志识别单元，还用于：确定第三路面标志信息的可信度之前，去除不符合路面标志规则的第三路面标志信息。

本申请第三方面提供了一种计算设备，包括处理器和存储器，存储器存储有程序指令，程序指令当被处理器执行时使得处理器执行第一方面的路面标志识别方法。

本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，其特征在于，程序指令当被计算机执行时使得计算机执行第一方面的路面标志识别方法。

本申请第五方面提供了一种车辆，包括第三方面的计算设备或者第二方面的路面标志识别装置。

本申请第六方面提供了一种计算机程序产品，其包括计算机程序，计算机程序在被处理器运行时使得该处理器执行第一方面的路面标志识别方法。

本申请实施例先找出道路图像的冗余标志块，再根据参考数据和/或路面标志图像对冗余标志块执行针对性处理，能够高效准确地识别冗余的路面标志，解决因路面标志混杂引起的冗余路面标志识别困难等问题，可有效提高道路特征信息的准确性和车辆辅助驾驶功能的可靠性。

本申请的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。

附图说明

图1是本申请实施例一应用场景的示例图；

图2是本申请实施例又一应用场景的示例图；

图3是本申请实施例提供的路面标志识别方法的流程示意图；

图4是本申请实施例路面标志识别方法的具体实现流程示意图；

图5是本申请实施例冗余标志块的图像示意图；

图6是本申请实施例又一冗余标志块的图像示意图；

图7是本申请实施例提供的路面标志识别装置的结构示意图；

图8是本申请实施例提供的路面标志识别装置的部署示意图；

图9是本申请实施例提供的计算设备的结构示意图。

具体实施方式

术语解释：

路面标志：涂画在道路表面的交通标志，包括但不限于车道线、引导箭头、人行道、停车线、网状线、导流线、限制速度标志、限制车型标志等。

安全路标：以人行道、停车线、限速标志为代表的、很大程度上关乎行车安全的路面标志。

交规路标：以车道线、引导箭头、导流线为代表的、对行车安全影响相对较小、但很大程度上关乎交通规则执行的路面标志。

因道路的路面标志数量巨大、种类繁多、年久褪色、擦除不当、新旧交叠、更新频繁等混杂情况，常造成车辆识别到的路面标志出现冗余。目前，车辆仅可识别简单的冗余路面标志，针对冗余的路面标志，主要存在如下问题：1)缺乏系统性的处理流程；2)针对不同道路、不同路况，冗余路面标志的识别处理缺乏一致性，难以产品化；3)只能处理例如新旧车道线等简单冗余的路面标志，无法处理存在例如本文图1、图2、图5和图6等复杂冗余的路面标志；4)对于包含复杂冗余路面标志的场景，难以制定安全、符合交规的行车策略。

鉴于此，本申请实施例提供一种改进的路面标志识别方法及装置、设备、存储介质，先找出道路图像的冗余标志块，再根据参考数据和/或路面标志图像对冗余标志块执行针对性处理，能够高效准确地识别路面标志，解决因路面标志混杂引起的冗余路面标志识别困难等问题，保证了道路特征信息的准确性，提升了车辆辅助驾驶功能的可靠性。

本申请实施例可适用于各种场景，尤其适用于路面标志混乱的城市、城郊道路等场景。本申请实施例可适用于各种行车模式，尤其适用于自动驾驶、智能驾驶等辅助 驾驶模式。

本申请实施例中的“车辆”可以是各种类型。例如，本申请的“车辆”可以是但不限于私人汽车、商用汽车、公共汽车、客运车、高铁、地铁、无人车、无人机、物流运输车、无人运输车、船只、飞行器等动力驱动的设备，“车辆”的动力类型可以为燃油驱动、纯电动、氢燃料电池驱动、混合动力等。

图1示出了本申请实施例适用的一道路场景示例图。参见图1的道路及其交通指示牌可知，道路的最左侧车道应为直行标志，但最左侧车道的路面标志却是直行左转，可见最左侧车道的路面标志涂画错误，该路面标志可能被识别为直行、直行左转、左转等多种路标，也即，该路面标志为冗余路面标志。

图2示出了本申请实施例适用的另一道路场景的示例图。参见图2所示，人行横道标志(即图2中的斑马线)存在旧标志线擦除不当的问题，新旧标志线共同存在，该路面标志可能被识别为人行横道、无效标志或其他路标，也就是说，该路面标志也是冗余路面标志。

通过本申请实施例可实现图1、图2所示场景中冗余路面标志的高效准确识别。

下面详细说明本申请实施例的具体实施方式。

图3示出了本申请实施例提供的路面标志识别方法的流程图。参见图3所示，本申请实施例提供的路面标志识别方法可以包括如下步骤：

步骤S310，获取道路图像，道路图像中包含路面；

一些实施例中，道路图像可以是但不限于由例如摄像头等车载传感器采集的包含路面标志的道路图像、对道路图像执行诸如标志物(包含路面标志、交通指示牌、交通信号灯等)、障碍物等道路特征提取等预处理得到的道路特征图像等。

步骤S320，确定道路图像的冗余标志块；

冗余标志块可以是任何无法唯一确定路面标志信息的标志块，标志块可以为道路图像的感兴趣区域(region of interest，ROI)，该道路图像ROI中包含连续标志线。

一些示例中，冗余标志块可能被识别为两种或两种以上路面标志，也即，冗余标志块的路面标志信息可能会包含两种或两种以上。

一些示例中，冗余标志块可能是完全冗余的。例如，因道路维修或重新规划，道路上的部分路面标志作废，但这些路面标志可能不会及时擦除或者因擦除不当仍保留有印记，这样的路面标志即为无效标志，对应该路面标志的标志块即是完全冗余的标志块。

一些实施例中，可以根据预配置的路面标志规则、路面标志图像和/或道路图像中标志块的色差，确定道路图像的冗余标志块。

一些实施例中，确定道路图像的冗余标志块可以包括如下任意一项或多项：

1)在道路图像的标志块的色差大于第一预设阈值时，标志块为冗余标志块；

一些示例中，单一标志块的内部颜色差异度，即色差Diff，可以通过下式(1)公式计算得到：

Diff＝(Rmax-Rmin)+(Gmax-Gmin)+(Bmax-Bmin) (1)

其中，Xmax为标志块内相应颜色分量最大的像素点的X值，Xmin为标志块内相 应颜色分量最的像素点的X值，X＝R\G\B(红\绿\蓝)。

2)在道路图像的标志块与路面标志图像的形状不匹配时，标志块为冗余标志块；

这里，可以通过匹配标志块与路面标志图像，得到标志块与各个路面标志图像的形状相似度，如果形状相似度高于预设的相似度阈值，可以认为标志块与该路面标志图像匹配，由此，可以获得标志块的识别结果，该识别结果中可以包括与标志块匹配的所有路面标志图像对应的路面标志信息，如果与标志块匹配的路面标志图像唯一，该标志块不是冗余标志块，如果与标志块匹配的路面标志图像有两种或两种以上，该标志块为冗余标志块。

3)在道路图像的标志块不符合预配置的路面标志规则时，标志块为冗余标志块；

这里，判断道路图像中所有标志块的识别结果是否符合路面标志规则，如果某个标志块的识别结果不符合任意一项路面标志规则，该标志块即为冗余标志块，如果某个标志块的识别结果符合所有的路面标志规则，该标志块不是冗余标志块，以该识别结果作为标志块的最终识别结果。

一些实施例中，可以通过预先配置黑名单的方式设置路面标志规则。具体地，可以预先配置黑名单，该黑名单可以包括所有的路面标志规则，在第3)项中可通过遍历黑名单实现冗余标志块的确定。

一些实施例中，对于道路图像中的标志块，可以按照预定的执行顺序依次执行上述的第1)项、第2)项和第3)项，以便高效且全面地筛选出道路图像的冗余标志块。

具体应用中，可以根据场景需求、地域特征、交通规则等调整路面标志规则。路面标志规则可以预先配置。例如，可采用例如人工配置、通过解析交通规则相关数据自动配置等方式。

一些实施例中，路面标志规则可以包括但不限于如下之一或多项：1)导流线和网状线内不应有停车线；2)引导箭头、车道线之间的间距应至少为2米；3)同一条车道线上不应出现相矛盾的引导箭头。

步骤S330，根据参考数据和/或路面标志图像，得到冗余标志块的识别结果，识别结果包含第一路面标志信息。

一些实施例中，参考数据可以包括如下之一或多项：高精地图数据、交通指示牌信息、导航地图数据。具体应用中，参考数据可存储于车辆的存储器中、也可来自于云端，并且参考数据可定期更新。

一些实施例中，步骤S330可以包括：根据参考数据确定冗余标志块的第一路面标志信息。

一些实施例中，根据参考数据确定冗余标志块的路面标志信息，具体可以包括：根据第一参考数据，确定冗余标志块的路面标志信息；若无法唯一确定冗余标志块的路面标志信息，可根据第二参考数据继续确定冗余标志块的路面标志信息；若仍无法唯一确定冗余标志块的路面标志信息，可继续根据第三参考数据确定冗余标志块的路面标志信息。如此执行，直到所有的参考数据均已尝试或者冗余标志块的路面标志信息确定。

一些实施例中，第一参考数据、第二参考数据和第三参考数据可按照优先级排序或者按照其他的预定规则排序，按照参考数据的排序依次执行，直到能够唯一确定冗 余标志块的路面标志信息或者所有的参考数据均已尝试。

举例来说，高精地图数据可以作为优先级最高的参考数据，即第一参考数据；道路交通指示牌数据可以作为优先级次高的参考数据，即第二参考数据；导航地图数据可作为优先级最低的参考数据，即第三参考数据。具体应用中，可先使用高精地图数据确定冗余标志块的路面标志信息，再使用道路交通指示牌数据确定冗余标志块的路面标志信息，最后使用导航地图数据确定冗余标志块的路面标志信息。

以图1为例，根据交通指示牌可知，标志块3应是直行，非直行左转、非左转，因此，可以确定标志块3的第一路面标志信息为直行。

一些实施例中，步骤S330还可包括：步骤a1，通过匹配所述冗余标志块与所述路面标志图像，得到冗余标志块的两种或两种以上第二路面标志信息，每个第二路面标志信息对应的路面标志图像均包含在冗余标志块的图像中；步骤a2，根据冗余标志块的两种或两种以上第二路面标志信息，确定冗余标志块的第一路面标志信息。

一些实施例中，路面标志识别方法还可包括：根据对应安全路标的所述第二路面标志信息，生成安全驾驶策略。

一些实施例中，步骤a2可以包括：根据冗余标志块的两种或两种以上第二路面标志信息，采用机器学习算法推测冗余标志块的第三路面标志信息和第三路面标志信息的可信度；以可信度最高的第三路面标志信息作为第一路面标志信息。具体地，可以利用冗余标志块中对应第二路面标志信息的图像数据，计算第二路面标志信息对应的色差；以色差较大的至少两个第二路面标志信息为初始聚类中心，对冗余标志块的图像数据聚类，以获得冗余标志块的两个或两个以上第三路面标志信息和第三路面标志信息的图像数据集；根据第三路面标志信息的图像数据集，确定第三路面标志信息的可信度。

一些实施例中，可按照下式(2)计算可信度：

可信度＝(R均值+G均值+B均值)/log(size(分类)+1) (2)

其中，分类是指聚类得到的类别数量，也即聚类得到的第三路面标志信息的数量，R均值为图像数据集中各像素数据的R值的均值，G均值为图像数据集中各像素数据的G值的均值，B均值为图像数据集中各像素数据的B值的均值。

一些实施例中，对冗余标志块的图像数据聚类之前，可以先去除色差大于第二预定阈值的第二路面标志信息。

一些实施例中，还可以在确定第三路面标志信息的可信度之前，去除不符合路面标志规则的第三路面标志信息。

下面结合示例详细说明本申请实施例路面标志识别方法的具体实现过程。

参见图4，本申请实施例路面标志识别的具体实现流程可以包括如下步骤：

步骤S401，获取道路图像，道路图像中包含路面标志；

步骤S402，提取道路图像中的标志块；

这里，提取标志块的同时，可以获取标志块的位置信息。一些示例中，标志块的位置信息可以包括但不限于标志块的图像中所有像素点的位置信息、标志块的图像中预定像素点(例如图像边缘、图像中心等像素点)的位置信息。

步骤S403，确定道路图像的冗余标志块和非冗余标志块的第一路面标志信息，如果道路图像中包含冗余标志块，可继续步骤S404，如果道路图像中不包含冗余标志块可直接跳转至步骤S408；

具体地，分别将各个标志块与已知路面标志图像匹配，获得每个标志块的初始识别结果，该初始识别结果中包括与标志块匹配的路面标志图像所对应的路面标志信息，下文将该路面标志信息命名为初始路面标志信息。

这里，如果标志块能够与某个路面标志图像唯一匹配，也即，可以确定该标志块的路面标志信息为该路面标志图像指示的路面标志，该标志块不是冗余标志块，而是非冗余标志块，如果标志块与所有路面标志图像均无法唯一匹配，说明该标志块是冗余标志块。

如果标志块不是冗余标志块，即标志块为非冗余标志块时，可以标志块的初始路面标志信息作为标志块的第一路面标志信息。如果标志块是冗余标志块，则需进入后续步骤的处理，直到得到该冗余标志块的第一路面标志信息。

以图1为例，道路图像的初始识别结果如下表1所示。其中，标志块1代表右侧车道内的引导箭头，标志块2代表中间车道内的引导箭头，标志块3代表左侧车道内的引导箭头：

表1

以图2为例，道路图像的初始识别结果如下表2所示，标志块1代表图2中的斑马线，包括新标志线和旧标志线：

表2

一些示例中，可以分别计算各个标志块的色差，如果标志块的色差大于第一预定阈值，说明该标志块的内部颜色差异较大，可能包含了新旧标志线，该标志块为冗余标志块，如果标志块的色差小于或等于第一预定阈值，说明该标志块的标志线内部颜色均匀，该标志块不是冗余标志块。

一些示例中，可以根据标志块的初始识别结果和预先配置的黑名单，判断标志块是否为冗余标志块，如果标志块符合黑名单中的所有路面标志规则，该标志块不是冗余标志块，如果标志块不符合黑名单中的任意一项路面标志规则，该标志块即为冗余标志块。关于黑名单，可参见前文相关描述，此处不再赘述。

步骤S404，根据参考数据确定冗余标志块的第一路面标志信息，如果所有的参考数据均已尝试但仍有冗余标志块的路面标志信息没有唯一确定，则继续后续步骤S405，若所有冗余标志块的路面标志信息均已唯一确定，可以直接跳转至步骤S408。

这里，根据参考数据确定的第一路面标志信息与冗余标志块的初始路面标志信息可能相同、也可以不同。

步骤S405，将标志块与路面标志图像匹配，确定冗余标志块的路面标志信息组合，该路面标志信息组合可以包括两个或两个以上第二路面标志信息；

具体地，匹配规则可以为：将标志块的图像和各个路面标志图像匹配，确定标志块的图像包含了哪些路面标志图像，这些路面标志图像对应的路面标志信息即为该标志块的第二路面标志信息，使用乘法原理将不同标志块的第二路面标志信息进行组合即可得到道路图像中冗余标志块的路面标志信息组合。

参见图5的冗余标志块图像示例，该标志块的图像51中包含了直行53和左转52这两种路面标志图像，阴影部分为这两种路面标志图像的重叠部分，也即，该标志块对应2种第二路面标志信息，这两种第二路面标志信息的组合“直行、左转”即为标志块的路面标志信息组合。

参见图6的示例，该标志块的图像61为F形状，其包括了“直行63”、“左转62”和“直行左转64”这三种路面标志图像，也即，该标志块对应3种第二路面标志信息，这三种路面标志信息的组合“直行、左转和直行左转”即为标志块的路面标志信息组合。

步骤S406，判断标志块的第二路面标志信息是否对应安全路标，若任意一项第二路面标志信息对应安全路标，则根据对应安全路标的第二路面标志信息，执行安全处理，生成相应的安全行驶策略，若所有的第二路面标志信息均对应了其他类别，例如交规路标，可以直接跳转至步骤S407；

以图2的场景为例，标志块1对应的第二路面标志信息为人行横道，代表标志块1所在的位置现在或历史上可能是人行横道，人行横道属于安全路标，从安全角度出发，可以生成对应“人行横道”的安全行驶策略，例如减速通过、进行行人检测或者进行红绿灯检测等安全行驶策略，并将这些安全行驶策略提供给例如自动驾驶模块的决策层等，以便自动驾驶模块的决策层控制车辆执行相应的安全行驶策略，以最大程度地遵守交规和确保安全驾驶。

执行安全处理后，相应冗余标志块仍可继续后续步骤S407～步骤S408，进一步确定其路面标志信息并添加到道路特征信息中。

步骤S407，利用机器学习算法推测冗余标志块的第一路面标志信息，以得到冗余标志块的最终识别结果；

这里，冗余标志块的最终识别结果包括冗余标志块的第一路面标志信息。具体地，可以采用前文的聚类算法推测冗余标志块的第一路面标志信息。

步骤S408，生成道路图像的道路特征信息(road feature)，并将道路特征信息提供给后续模块，例如自动驾驶模块或路径规划、定位模块等。

这里，道路特征信息可以包括道路图像中各个标志块的第一路面标志信息。此外，道路特征信息还可包括诸如障碍物、除标志线之外的其他标志物的信息。

图4的示例性实现流程中，经过包含路面标志规则的黑名单筛选、参考数据匹配、路面标志图像匹配、安全处理、基于机器学习算法的推测等一系列处理，不仅各种路面标志的冗余形态均可完成处理，而且安全合规，同时还可高效、准确地排除冗余路面标志，可以有效提高道路特征信息的准确性和车辆辅助驾驶功能的可靠性。

具体应用中，图4的示例性实现流程中，该黑名单筛选、参考数据匹配、路面标志图像匹配、安全处理、基于机器学习算法的推测按照复杂度由低到高、准确性由强到弱、优先级由高到低的顺序执行，不仅能够高效准确地识别冗余路面标志，而且对于无法匹配数据的场景、无参考数据的场景、有参考数据但数量少的场景、有参考数据但数量多的场景、简单道路场景、复杂道路场景等各种场景均可支持。

图7示出了本申请实施例提供的一种路面标志识别装置的示例性结构。参见图7所示，路面标志识别装置可以包括：

获取单元710，用于获取道路图像，道路图像中包含路面；

冗余确定单元720，用于确定道路图像的冗余标志块；

标志识别单元730，用于根据参考数据和/或路面标志图像，得到冗余标志块的识别结果，识别结果包含第一路面标志信息。

一些实施例中，冗余确定单元720，具体可用于：根据预配置的路面标志规则、路面标志图像和/或道路图像中标志块的色差，确定道路图像的冗余标志块。

一些实施例中，冗余确定单元720，具体可用于：在道路图像的标志块不符合预配置的路面标志规则时，确定标志块为冗余标志块；和/或，在道路图像的标志块与路面标志图像的形状不匹配时，确定标志块为冗余标志块；和/或，在道路图像的标志块的色差大于第一预设阈值时，确定标志块为冗余标志块。

一些实施例中，标志识别单元730，具体可用于：根据参考数据确定冗余标志块的第一路面标志信息；其中，参考数据包括如下之一或多项：高精地图数据、交通指示牌信息、导航地图数据。

一些实施例中，标志识别单元730，具体可用于：通过匹配冗余标志块与路面标志图像，得到冗余标志块的两种或两种以上第二路面标志信息，每个第二路面标志信息对应的路面标志图像均包含在冗余标志块的图像中；根据冗余标志块的两种或两种以上第二路面标志信息，确定冗余标志块的第一路面标志信息。

一些实施例中，路面标志识别装置还包括：安全处理单元740，用于根据对应安全路标的第二路面标志信息，生成安全驾驶策略。

一些实施例中，标志识别单元730，具体可用于：根据冗余标志块的两种或两种以上第二路面标志信息，采用机器学习算法推测冗余标志块的第三路面标志信息和第三路面标志信息的可信度；以可信度最高的第三路面标志信息作为第一路面标志信息。

一些实施例中，标志识别单元730，具体可用于：利用冗余标志块中对应第二路面标志信息的图像数据，计算第二路面标志信息对应的色差；以色差较大的至少两个第二路面标志信息为初始聚类中心，对冗余标志块的图像数据聚类，以获得冗余标志块的两个或两个以上第三路面标志信息和第三路面标志信息的图像数据集；根据第三路面标志信息的图像数据集，确定第三路面标志信息的可信度。

一些实施例中，标志识别单元730，还可用于：对冗余标志块的图像数据聚类之 前，去除色差大于第二预定阈值的第二路面标志信息。

一些实施例中，标志识别单元730，还可用于：确定第三路面标志信息的可信度之前，去除不符合路面标志规则的第三路面标志信息。

图8示出了本实施例实施例中路面标志识别装置的部署及其相关模块的示例图。参见图8所示，路面标志识别装置可以设置于道路特征识别模块中，道路特征识别模块用于基于自动驾驶模块的传感器层获取到的道路感知数据(包括车辆前方图像等)执行道路特征识别从而得到前文的道路图像，道路图像进入路面标志识别装置，路面标志识别装置对道路特征执行路面标志的识别，包括冗余标志块的识别、安全级标志块的安全处理等，将最终获得的道路特征信息输出给自动驾驶模块的决策层，以便自动驾驶模块的决策层执行诸如定位、规划、控制等决策，同时还可向自动驾驶模块提供安全驾驶策略(图中未示出)，以便自动驾驶模块的决策层根据该安全驾驶策略执行安全处理的决策。

需要说明的是，图8仅为示例。实际应用中，路面标志识别装置的部署及其与其他模块之间的交互，可根据实际需求灵活调整，其具体实施方式不限于图8所示的方式。

图9是本申请实施例提供的一种计算设备900的结构性示意性图。该计算设备900包括：一个或多个处理器910、一个或多个存储器920。

其中，该处理器910可以与存储器920连接。该存储器920可以用于存储该程序代码和数据。因此，该存储器920可以是处理器910内部的存储单元，也可以是与处理器910独立的外部存储单元，还可以是包括处理器910内部的存储单元和与处理器910独立的外部存储单元的部件。

可选地，计算设备900还可包括通信接口930。应理解，图9所示的计算设备900中的通信接口930可以用于与其他设备之间进行通信。

可选的，计算设备900还可以包括总线。其中，存储器920、通信接口930可以通过总线与处理器910连接。

应理解，在本申请实施例中，该处理器910可以采用中央处理单元(central processing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器910采用一个或多个集成电路，用于执行相关程序，以实现本申请实施例所提供的技术方案。

该存储器920可以包括只读存储器和随机存取存储器，并向处理器910提供指令和数据。处理器910的一部分还可以包括非易失性随机存取存储器。例如，处理器910还可以存储设备类型的信息。

在计算设备900运行时，处理器910执行存储器920中的计算机执行指令执行上述路面标志识别方法的操作步骤。

应理解，根据本申请实施例的计算设备900可以对应于执行根据本申请各实施例的方法中的相应主体，并且计算设备900中的各个模块的上述和其它操作和/或功能分 别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。

实际应用中，计算设备900可实现为芯片中的一个功能单元、独立的芯片、车载终端设备的一个功能单元或独立的车载终端设备。一些实施例中，计算设备900可以是车机、座舱域控制器(cockpit domain controller，CDC)、移动数据中心/多域控制器(Mobile Data Center/Multi-Domain Controller，MDC)中的一个功能单元/模块，本申请实施例对计算设备900的形态和部署方式不做限定。

本申请实施例还提供一种车辆，该车辆可包括本申请实施例提供的计算设备、路面标志识别装置、计算机存储介质或计算机程序产品。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器运行时使得处理器执行上述的路面标志识别方法。这里，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦式可编程只读存储器、光纤、便携式紧凑磁盘只读存储器、光存储器件、磁存储器件或者上述的任意合适的组合。

本申请实施例还提供了一种计算机程序产品，其包括计算机程序，所述计算机程序在被处理器运行时使得该处理器执行上述的路面标志识别方法。这里，计算机程序产品的程序设计语言可以是一种或多种，该程序设计语言可以包括但不限于诸如Java、C++等面向对象的程序设计语言、诸如“C”语言等的常规过程式程序设计语言。

注意，上述仅为本申请的较佳实施例及所运用的技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请的构思的情况下，还可以包括更多其他等效实施例，均属于本申请的保护范畴。

Claims (24)

1. 一种路面标志识别方法，其特征在于，包括：

   获取道路图像，所述道路图像中包含路面；

   确定所述道路图像的冗余标志块；

   根据参考数据和/或路面标志图像，得到所述冗余标志块的识别结果，所述识别结果包含第一路面标志信息。
2. 根据权利要求1所述的路面标志识别方法，其特征在于，所述确定所述道路图像中的冗余标志块，包括：根据预配置的路面标志规则、所述路面标志图像和/或所述道路图像中标志块的色差，确定所述道路图像的冗余标志块。
3. 根据权利要求1或2所述的路面标志识别方法，其特征在于，所述确定所述道路图像中的冗余标志块，包括：

   在所述道路图像的标志块不符合预配置的路面标志规则时，所述标志块为所述冗余标志块；和/或，

   在所述道路图像的标志块与所述路面标志图像的形状不匹配时，所述标志块为所述冗余标志块；和/或，

   在所述道路图像的标志块的色差大于第一预设阈值时，所述标志块为所述冗余标志块。
4. 根据权利要求1-3任一项所述的路面标志识别方法，其特征在于，所述根据参考数据和/或路面标志图像，得到所述冗余标志块的识别结果，包括：

   根据所述参考数据确定所述冗余标志块的第一路面标志信息；

   其中，所述参考数据包括如下之一或多项：高精地图数据、交通指示牌信息、导航地图数据。
5. 根据权利要求1-4任一项所述的路面标志识别方法，其特征在于，所述根据参考数据和/或路面标志图像，得到所述冗余标志块的识别结果，包括：

   通过匹配所述冗余标志块与所述路面标志图像，得到所述冗余标志块的两种或两种以上第二路面标志信息，每个所述第二路面标志信息对应的路面标志图像均包含在所述冗余标志块的图像中；

   根据所述冗余标志块的两种或两种以上第二路面标志信息，确定所述冗余标志块的第一路面标志信息。
6. 根据权利要求5所述的路面标志识别方法，其特征在于，所述方法还包括：根据对应安全路标的所述第二路面标志信息，生成安全驾驶策略。
7. 根据权利要求5所述的路面标志识别方法，其特征在于，所述根据所述冗余标 志块的两种或两种以上第二路面标志信息，确定所述冗余标志块的第一路面标志信息，包括：

   根据所述冗余标志块的两种或两种以上第二路面标志信息，采用机器学习算法推测所述冗余标志块的第三路面标志信息和所述第三路面标志信息的可信度；

   以可信度最高的所述第三路面标志信息作为所述第一路面标志信息。
8. 根据权利要求7所述的路面标志识别方法，其特征在于，所述根据所述冗余标志块的两种或两种以上第二路面标志信息，采用机器学习算法推测所述冗余标志块的第三路面标志信息和所述第三路面标志信息的可信度，包括：

   利用所述冗余标志块中对应所述第二路面标志信息的图像数据，计算所述第二路面标志信息对应的色差；

   以所述色差较大的至少两个所述第二路面标志信息为初始聚类中心，对所述冗余标志块的图像数据聚类，以获得所述冗余标志块的两个或两个以上第三路面标志信息和所述第三路面标志信息的图像数据集；

   根据所述第三路面标志信息的图像数据集，确定所述第三路面标志信息的可信度。
9. 根据权利要求8所述的路面标志识别方法，其特征在于，所述根据所述冗余标志块的两种或两种以上第二路面标志信息，采用机器学习算法推测所述冗余标志块的第三路面标志信息和所述第三路面标志信息的可信度，还包括：

   对所述冗余标志块的图像数据聚类之前，去除所述色差大于第二预定阈值的所述第二路面标志信息。
10. 根据权利要求7-9任一项所述的路面标志识别方法，其特征在于，所述根据所述冗余标志块的两种或两种以上第二路面标志信息，确定所述冗余标志块的第一路面标志信息，还包括：确定所述第三路面标志信息的可信度之前，去除不符合所述路面标志规则的第三路面标志信息。
11. 一种路面标志识别装置，其特征在于，包括：

    获取单元，用于获取道路图像，所述道路图像中包含路面；

    冗余确定单元，用于确定所述道路图像的冗余标志块；

    标志识别单元，用于根据参考数据和/或路面标志图像，得到所述冗余标志块的识别结果，所述识别结果包含第一路面标志信息。
12. 根据权利要求11所述的路面标志识别装置，其特征在于，所述冗余确定单元，具体用于：根据预配置的路面标志规则、所述路面标志图像和/或所述道路图像中标志块的色差，确定所述道路图像的冗余标志块。
13. 根据权利要求11或12所述的路面标志识别装置，其特征在于，所述所述冗余确定单元，具体用于：

    在所述道路图像的标志块不符合预配置的路面标志规则时，确定所述标志块为所述冗余标志块；和/或，

    在所述道路图像的标志块与所述路面标志图像的形状不匹配时，确定所述标志块为所述冗余标志块；和/或，

    在所述道路图像的标志块的色差大于第一预设阈值时，确定所述标志块为所述冗余标志块。
14. 根据权利要求11-13任一项所述的路面标志识别装置，其特征在于，所述标志识别单元，具体用于：根据所述参考数据确定所述冗余标志块的第一路面标志信息；

    其中，所述参考数据包括如下之一或多项：高精地图数据、交通指示牌信息、导航地图数据。
15. 根据权利要求11-14任一项所述的路面标志识别装置，其特征在于，所述标志识别单元，具体用于：

    通过匹配所述冗余标志块与所述路面标志图像，得到所述冗余标志块的两种或两种以上第二路面标志信息，每个所述第二路面标志信息对应的路面标志图像均包含在所述冗余标志块的图像中；

    根据所述冗余标志块的两种或两种以上第二路面标志信息，确定所述冗余标志块的第一路面标志信息。
16. 根据权利要求15所述的路面标志识别装置，其特征在于，所述路面标志识别装置还包括：

    安全处理单元，用于根据对应安全路标的所述第二路面标志信息，生成安全驾驶策略。
17. 根据权利要求15所述的路面标志识别装置，其特征在于，所述标志识别单元，具体用于：

    根据所述冗余标志块的两种或两种以上第二路面标志信息，采用机器学习算法推测所述冗余标志块的第三路面标志信息和所述第三路面标志信息的可信度；

    以可信度最高的所述第三路面标志信息作为所述第一路面标志信息。
18. 根据权利要求17所述的路面标志识别装置，其特征在于，所述标志识别单元，具体用于：

    利用所述冗余标志块中对应所述第二路面标志信息的图像数据，计算所述第二路面标志信息对应的色差；

    以所述色差较大的至少两个所述第二路面标志信息为初始聚类中心，对所述冗余标志块的图像数据聚类，以获得所述冗余标志块的两个或两个以上第三路面标志信息和所述第三路面标志信息的图像数据集；

    根据所述第三路面标志信息的图像数据集，确定所述第三路面标志信息的可信度。
19. 根据权利要求18所述的路面标志识别装置，其特征在于，所述标志识别单元，还用于：对所述冗余标志块的图像数据聚类之前，去除所述色差大于第二预定阈值的所述第二路面标志信息。
20. 根据权利要求17-19任一项所述的路面标志识别装置，其特征在于，所述标志识别单元，还用于：确定所述第三路面标志信息的可信度之前，去除不符合所述路面标志规则的第三路面标志信息。
21. 一种计算设备，其特征在于，包括处理器和存储器，所述存储器存储有程序指令，所述程序指令当被所述处理器执行时使得所述处理器执行如权利要求1-10任一项所述的方法。
22. 一种车辆，其特征在于，包括如权利要求21所述的计算设备或如权利要求11-20任一项所述的路面标志识别装置。
23. 一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令当被计算机执行时使得所述计算机执行如权利要求1-10任一项所述的方法。
24. 一种计算机程序产品，其包括计算机程序，其特征在于，所述计算机程序在被处理器运行时使得该处理器执行如权利要求1-10任一项所述的方法。