CN114332816A - 道路检测方法及装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种道路检测方法及装置、存储介质及电子装置，其中，上述方法包括：获取道路场景区域对应的场景图片，并将场景图片输入到多尺度场景特征描述模型中，得到多尺度的卷积特征图谱，其中，多尺度包括：第一尺度，第二尺度和第三尺度；第一尺度大于第二尺度，且第二尺度大于第三尺度；根据第一尺度的卷积特征图谱对场景图片进行检测，得到道路场景区域的道路所对应的第一标识物，根据第二尺度的卷积特征图谱和第三尺度的卷积特征图谱对场景图片进行检测，得到道路所对应的第二标识物，以及根据第三尺度的卷积特征图谱对场景图片进行检测，得到道路所对应的第三标识物；确定第一标识物，第二标识物和第三标识物的当前状态。

Description

道路检测方法及装置、存储介质及电子装置

技术领域

本发明涉及通信领域，具体而言，涉及一种道路检测方法及装置、存储介质及电子装置。

背景技术

伴随人工智能技术的快速发展，视觉系统在道路交通以及智能车载设备中的应用日趋丰富。现有道路运输车辆中，视觉系统搭载率逐年提升且智能化功能日益丰富。智能驾驶系统中，车载视觉系统可用于识别道路场景标识标线以及信号灯，并通过交互系统告知驾驶者潜在驾驶风险，可有效提升驾乘安全。

在现有的检测技术中，专利《一种道路标识检测方法、系统、设备和介质202010818710.0》是构建语义分割网络利用所述语义分割网络对输入图像进行道路标识检测，获取包含不同类别道路标识的灰度图；根据所述灰度图识别出不同类别的道路标识。但此种方式的主要缺点是：该方法通过场景语义分析实现道路标识的检测与类型判断，无法输出相应标识的磨损状态，并且应用范围局限于道路标识。

专利《交通标识检测方法、装置、计算机设备和存储介质202110036977.9》是基于当前时刻交通标识目标与历史时刻目标匹配相似度分析，提高交通标识检测准确性和效率，并且目标交通标识的目标检测状态变化的待检测道路图像可以用于更新地图。但此种方式的主要缺点是：需要依赖历史信息进行交通标识图像特征匹配。

专利《一种道路健康度监测方法及系统201810580520.2》是基于根据对监测到的道路对车辆轮胎的磨损程度参数，生成道路路况养护数据模型，从而实现对道路的路况进行监控及养护提示，减少道路大规模修补带来的交通拥堵，同时也延长道路的使用寿命。但此种方式的主要缺点是：仅能针对特定材质的道路磨损进行分析，无法对道路上的标识磨损以及其他道路设施(标识牌、信号灯)状态进行识别，应用场景极其有限。

针对相关技术，传统方法不能实时自动检测、识别、定位道路场景相关设施的健康状态，使得道路基础设施养护效率较低的问题，目前尚未提出有效的解决方案。

因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。

发明内容

本发明实施例提供了一种道路检测方法及装置、存储介质及电子装置，以至少解决传统方法不能实时自动检测、识别、定位道路场景相关设施的健康状态，使得道路基础设施养护效率较低的问题。

根据本发明实施例的一方面，提供一种道路检测方法，包括：获取道路场景区域对应的场景图片，并将所述场景图片输入到多尺度场景特征描述模型中，得到多尺度的卷积特征图谱，其中，所述多尺度包括：第一尺度，第二尺度和第三尺度；所述第一尺度大于所述第二尺度，且所述第二尺度大于所述第三尺度；根据所述第一尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路场景区域的道路所对应的第一标识物，根据所述第二尺度的卷积特征图谱和所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第二标识物，以及根据所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物；其中，所述第一标识物包括：指示装置、所述道路上的目标物体，所述第二标识物包括：所述道路上的标识线，所述第三标的物包括：所述道路上的凹陷区域；确定所述第一标识物，所述第二标识物和所述第三标识物的当前状态。

根据本发明实施例的另一方面，还提供了一种道路检测装置，包括：获取模块，用于获取道路场景区域对应的场景图片，并将所述场景图片输入到多尺度场景特征描述模型中，得到多尺度的卷积特征图谱，其中，所述多尺度包括：第一尺度，第二尺度和第三尺度；所述第一尺度大于所述第二尺度，且所述第二尺度大于所述第三尺度；检测模块，用于根据所述第一尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路场景区域的道路所对应的第一标识物，根据所述第二尺度的卷积特征图谱和所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第二标识物，以及根据所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物；其中，所述第一标识物包括：指示装置、所述道路上的目标物体，所述第二标识物包括：所述道路上的标识线，所述第三标的物包括：所述道路上的凹陷区域；确定模块，用于确定所述第一标识物，所述第二标识物和所述第三标识物的当前状态。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述道路检测方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述道路检测方法。

通过本发明，获取道路场景区域对应的场景图片，并将所述场景图片输入到多尺度场景特征描述模型中，得到多尺度的卷积特征图谱，进而通过多尺度的卷积特征图谱，确定道路场景区域的道路所对应的第一标识物、第二标识物以及第三标识物，并确定所述第一标识物，所述第二标识物和所述第三标识物的当前状态。采用上述技术方案，解决了传统方法不能实时自动检测、识别、定位道路场景相关设施的健康状态，使得道路基础设施养护效率较低的问题。进而采用上述技术方案，从而降低定期人为巡查维护投入同时提升道路基础设施养护效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示例性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的道路检测方法的计算机终端的硬件结构框图；

图2是根据本发明实施例的道路检测方法的流程图(一)；

图3是根据本发明实施例的系统示意图；

图4是根据本发明实施例的道路检测方法的流程图(二)；

图5是根据本发明实施例的神经网络拓扑示意图；

图6是根据本发明实施例的电子标牌状态识别算法示意图；

图7是根据本发明实施例的道路检测装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例中所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的道路检测方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器(Microprocessor Unit，简称是MPU)或可编程逻辑器件(Programmable logic device，简称是PLD))和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的道路检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

为了解决上述问题，在本实施例中提供了一种道路检测方法，图2是根据本发明实施例的道路检测方法的流程图(一)，该流程包括如下步骤：

步骤S202，获取道路场景区域对应的场景图片，并将所述场景图片输入到多尺度场景特征描述模型中，得到多尺度的卷积特征图谱，其中，所述多尺度包括：第一尺度，第二尺度和第三尺度；所述第一尺度大于所述第二尺度，且所述第二尺度大于所述第三尺度；

在一个示例性的实施例中，以所述场景图片的分辨率为标准，假设场景图片的分辨率为目标分辨率，则所述第一尺度为1/4目标分辨率，第二尺度为1/8目标分辨率，第三尺度为1/16目标分辨率。

在一个示例性的实施例中，可以利用卷积、池化、激活、上采样以及通道级联等神经网络运算操作对预处理后三通道图像(上述场景图片)输入进行多尺度场景特征描述，生成多尺度(默认为3个尺度：1/4,1/8以及1/16)卷积特征图谱，用于后续道路设施与标识检测任务。

步骤S204，根据所述第一尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路场景区域的道路所对应的第一标识物，根据所述第二尺度的卷积特征图谱和所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第二标识物，以及根据所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物；其中，所述第一标识物包括：指示装置、所述道路上的目标物体，所述第二标识物包括：所述道路上的标识线，所述第三标的物包括：所述道路上的凹陷区域；

在一个示例性的实施例中，指示装置包括但不限于：电子信号灯，交通指示牌，所述目标物体为井盖。

步骤S206，确定所述第一标识物，所述第二标识物和所述第三标识物的当前状态。

通过上述步骤，获取道路场景区域对应的场景图片，并将所述场景图片输入到多尺度场景特征描述模型中，得到多尺度的卷积特征图谱，进而通过多尺度的卷积特征图谱，确定道路场景区域的道路所对应的第一标识物、第二标识物以及第三标识物，并确定所述第一标识物，所述第二标识物和所述第三标识物的当前状态。采用上述技术方案，解决了传统方法不能实时自动检测、识别、定位道路场景相关设施的健康状态，使得道路基础设施养护效率较低的问题。进而采用上述技术方案，从而降低定期人为巡查维护投入同时提升道路基础设施养护效率。

在一个示例性的实施例中，根据所述第一尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路场景区域的道路所对应的第一标识物，可以通过以下方式实现：确定所述指示装置的卷积特征图谱，并将所述指示装置的卷积特征图谱进行下采样，得到所述指示装置在第三尺度的卷积特征图谱；将所述第一尺度的卷积特征图谱与所述第一标识物在第三尺度的卷积特征图谱进行特征级联，得到第一特征图谱；通过所述第一特征图谱对所述场景区域进行检测，得到所述道路场景区域的道路所对应的指示装置。

在本实施例中，指示装置包括但不限于信号灯、指示牌。具体的，本实施例基于1/4浅层共享卷积特征描述输入，级联细粒度信号灯/标识牌卷积特征描述，根据先验交通信号标识尺寸与比例，在1/16尺度特征图谱进行交通信号灯与标识牌检测，网络输出经置信度阈值过滤，非极大值抑制等后处理操作后，输出交通信号灯与标识类别(0-背景，1-信号灯，2-标识牌)以及图像坐标系下位置。需要说明的是，训练过程损失函数采用基于交叉熵的分类损失函数以及基于Smooth L1的回归损失函数。

在一个示例性的实施例中，根据所述第一尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路场景区域的道路所对应的第一标识物，可以通过以下方式实现：确定所述目标物体的卷积特征图谱，并将所述目标物体的卷积特征图谱进行下采样，得到所述指示装置在第三尺度的卷积特征图谱；将所述第一尺度的卷积特征图谱与所述目标物体在第三尺度的卷积特征图谱进行特征级联，得到第二特征图谱；通过所述第二特征图谱对所述场景区域进行检测，得到所述道路场景区域的道路所对应的目标物体。

在本实施例中，目标物体包括但不限于井盖，具体的，本实施例可以基于1/4尺度共享浅层卷积特征描述输入，级联细粒度井盖特征描述在1/16尺度特征图谱按预设场景30米内井盖尺度进行路面井盖检测，输出图像坐标系下井盖置信度与位置，经极大值抑制与置信度过滤等后处理后，输出路面井盖位置。损失函数采用基于交叉熵的分类损失函数以及基于Smooth L1的回归损失函数。

在一个示例性的实施例中，根据所述第二尺度的卷积特征图谱以及所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第二标识物，可以通过以下方式实现：对所述第三尺度的卷积特征图谱进行卷积，并将卷积后的特征图谱进行下采样，得到第二特征图谱；将所述第二尺度的特征图谱与所述第二特征图谱进行特征级联，得到第三特征图谱；通过特征解码器对所述第三特征图谱进行处理，以对所述场景图片进行检测，得到所述道路所对应的第二标识物。

具体的，本实施例基于级联多尺度卷积特征描述，通过特征通道上下采样在1/8特征尺度利用特征解码器(卷积与上采样单元)进行像素级路面标识线分割，输出路面标识线MASK(0-背景，1-车道线，2-路面箭头，3-斑马线，4-路面裂缝，5-其他标线)。训练过程利用人为标注的像素级监督标签采用批量梯度下降的求解方式优化像素级交叉熵损失函数。

在一个示例性的实施例中，根据所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物，可以通过以下方式实现：基于时序相邻图像数据确定场景光流图像特征；将所述第三尺度的卷积特征图谱与所述场景光流图像特征进行级联处理，并将级联处理后的特征图谱进行卷积，得到第五特征图谱；通过所述第五特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物。

具体的，本实施例基于时序相邻图像数据生成场景光流通道，级联场景光流与多尺度特征通道数据，经卷积重构描述后在1/16尺度混合特征图谱按预设锚框尺度进行路面坑洞检测，经网络后处理后输出路面坑洞位置。训练过程损失函数采用基于交叉熵的分类损失函数以及基于Smooth L1的回归损失函数。

在一个示例性的实施例中，确定所述第一标识物的当前状态，可以通过以下方式实现：对信号灯的特征图谱进行感兴趣区域特征池化处理，得到所述信号灯的特征描述图；将所述信号灯的特征描述图与所述信号灯的细粒度特征描述图进行级联处理，并将级联处理后的特征描述图输入到长短期记忆网络模型，以确定所述信号灯的当前状态，其中，所述当前状态包括以下至少之一：正常状态，异常状态，未启用状态；所述指示装置包括所述信号灯。

具体的，可以将电子交通信号灯与标牌检测结果，进行感兴趣目标区域特征池化，将时序连续10帧特征对齐后级联，经细粒度特征描述后送入LSTM单元进行时序片段状态分类，输出电子信号灯与标牌工作状态(0-正常，1-异常，2-未启用)。

在一个示例性的实施例中，确定所述第一标识物的当前状态，可以通过以下方式实现：对指示牌的特征图谱进行感兴趣区域特征池化处理，得到所述指示牌的特征描述图；将所述指示牌的特征描述图与所述指示牌的细粒度特征描述图进行级联处理，并将级联处理后的特征描述图输入到目标分类器，以确定所述指示牌的类型以及工作状态，其中，所述类型包括：预定义类型，非预定义类型；所述工作状态包括以下至少之一：正常状态，异常状态；所述指示装置包括所述指示牌，所述目标分类器包括：指示牌类型分类器，状态识别分类器。

具体的，在本实施例中，对于非电子类标识牌，基于交通标识牌检测结果进行感兴趣目标特征池化，对于池化后浅层图像特征图谱，级联细粒度标识牌卷积特征描述后并行送入标识牌类型以及状态识别分类器，输出交通标识牌类型(0-其他，1-60预定义标识牌类别)以及工作状态(0-正常，1-影响识别)。

在一个示例性的实施例中，确定所述第一标识物的当前状态，可以通过以下方式实现：对所述目标物体的特征图谱进行感兴趣区域特征池化，得到所述目标物体的特征描述图；将所述目标物体的特征描述图与所述目标物体的细粒度特征描述图进行级联处理，并将级联处理后的特征描述图输入到状态识别分类器，以确定所述第一标识物的当前状态，其中，所述当前状态包括以下至少之一：正常状态，突起状态，未覆盖状态。

具体的，在本实施例中，基于路面井盖检测结果，在浅层共享特征图谱中进行感兴趣区域池化，之后级联细粒度井盖卷积特征描述与状态识别分类器，输出各路面井盖状态(0-正常，1-突起，2-未覆盖)。

在一个示例性的实施例中，确定所述第二标识物的当前状态，可以通过以下方式实现：将具有相同类别的所述第二标识物进行聚类处理，并将聚类后的所述第二标识物的特征图谱进行感兴趣区域特征池化，得到所述第二标识物的特征描述图；将所述特征描述图与所述第二标识物的细粒度特征描述图进行级联处理，并将级联处理后的特征描述图输入到状态识别分类器，以确定所述第二标识物的当前状态，其中，所述当前状态包括以下至少之一：正常状态，轻度磨损，重度磨损。

具体的，在本实施例中，基于路面标识分割结果，利用图像坐标系欧氏距离将同类型路面标识进行聚类后处理，将聚类后的路面标识线实例在共享特征图谱中进行感兴趣区域池化，之后级联细粒度路面标线卷积特征描述与状态识别分类器，输出各路面标识线状态(0-正常，1-轻度磨损，2-重度磨损，3-其他)。

显然，上述所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。为了更好的理解上述道路检测方法，以下结合实施例对上述过程进行说明，但不用于限定本发明实施例的技术方案，具体地：

在一个可选的实施例中，提出了一种基于车载智能视觉感知的道路设施与标识状态巡查系统，图3是根据本发明实施例的系统示意图，如图3所示，通过车载智能视觉传感器实时检测并识别道路设施健康状态，结合GPS定位信息上报相应平台，平台端基于相应地图信息，查询相应设备编号，记录相关事件。车载视觉智能终端主要包括：视觉编解码模块、智能分析模块(神经网络加速单元与通用处理器组成)、组合导航模块、通信模块、存储模块以及电源模块；平台端主要包括：道路设施数据库、智能检索模块(处理单元)、通信模块、存储模块以及电源模块。

图4是根据本发明实施例的道路检测方法的流程图(二)，具体包括：在线视觉系统标定；车载图像采集；采集后图像与GPS信号粗定位信号同步并送入智能分析模块；图像感兴趣区域经道路设施检测、道路设施健康状态分类后，形成单帧道路设施结构化数据输出；相应输出经时序信号过滤后通过通信模块上按预定义协议上传平台；平台端接收并解析相应协议，按GPS位置与道路设施结构化数据类别检索相应道路标识ID，关联事件后存于存储设备。具体的：

步骤一：视觉系统在线标定：视觉系统视角水平向外安装于车辆前挡玻璃中心固定高度处，作为可选项，在线标定可提升事件定位精度，但不影响系统功能实现。基于步骤三中所述道路标识线检测模型，利用直线道路车道线数据先验平行几何关系标定系统俯仰角；基于IMU积分车辆行驶轨迹，利用直线轨迹部分车道线航向角标定系统偏航角。

步骤二：车载图像采集与预处理：图像采集主要包括分辨率以及采集频率设置，通过修改相机sensor出厂化配置参数实现。图像预处理主要包括曝光参数、增益参数以及白平衡参数自适应调节，图像3D降噪以及数字宽动态参数调节，可通过调节相机固化ISP模块算法参数实现。预处理后图像经裁剪、缩放以及归一化等操作后，送入后续级联神经网络分析模块。

步骤三：道路设施与标识检测：图5是根据本发明实施例的神经网络拓扑示意图，如图5所示，基于共享卷积图像特征，利用图5所示的多任务神经网络架构，对道路场景感兴趣设施与标识进行检测：对图像输入进行共享多尺度卷积特征描述，基于此共享卷积特征，在特定特征尺度并发进行路面标识线与裂缝分割、信号灯与标识牌、路面井盖以及坑洞检测。模型参数离线监督训练后，经量化与稀疏化等压缩操作后部署于相应嵌入书平台。具体的：

(1)共享卷积特征描述：利用卷积、池化、激活、上采样以及通道级联等神经网络运算操作对预处理后三通道图像输入进行多尺度场景特征描述，生成多尺度(默认为3个尺度：1/4,1/8以及1/16)卷积特征图谱，用于后续道路设施与标识检测任务。

(2)路面标识线与裂缝分割：如图5路面标识线分割分支所示，基于级联多尺度卷积特征描述，通过特征通道上下采样在1/8特征尺度利用特征解码器(卷积与上采样单元)进行像素级路面标识线分割，输出路面标识线MASK(0-背景，1-车道线，2-路面箭头，3-斑马线，4-路面裂缝，5-其他标线)。训练过程利用人为标注的像素级监督标签采用批量梯度下降的求解方式优化像素级交叉熵损失函数。

(3)信号灯与标识牌检测：如图5信号灯与标识牌检测分支所示，基于1/4浅层共享卷积特征描述输入，级联细粒度信号灯/标识牌卷积特征描述，根据先验交通信号标识尺寸与比例，在1/16尺度特征图谱进行交通信号灯与标识牌检测，网络输出经置信度阈值过滤，非极大值抑制等后处理操作后，输出交通信号灯与标识类别(0-背景，1-信号灯，2-标识牌)以及图像坐标系下位置。训练过程损失函数采用基于交叉熵的分类损失函数以及基于Smooth L1的回归损失函数。

(4)路面井盖检测：如图5路面井盖检测分支所示，基于1/4尺度共享浅层卷积特征描述输入，级联细粒度井盖特征描述在1/16尺度特征图谱按预设场景30米内井盖尺度进行路面井盖检测，输出图像坐标系下井盖置信度与位置，经极大值抑制与置信度过滤等后处理后，输出路面井盖位置。训练参数调节以及损失函数设计同上述(3)。

(5)路面坑洞检测：基于时序相邻图像数据生成场景光流通道，级联场景光流与多尺度特征通道数据，经卷积重构描述后在1/16尺度混合特征图谱按预设锚框尺度进行路面坑洞检测，经网络后处理后输出路面坑洞位置。训练参数调节以及损失函数设计同上述(3)。

步骤四：道路设施与标识状态分析：基于3中道路设施与标识检测结果，复用各类道路设施与标识卷积特征描述，级联各类道路设施状态分析分类器，输出道路设施使用状态。

1)路面标识线状态分类：基于步骤三的(2)中路面标识分割结果，利用图像坐标系欧氏距离将同类型路面标识进行聚类后处理，将聚类后的路面标识线实例在步骤三的(1)中所述的共享特征图谱中进行感兴趣区域池化，之后级联细粒度路面标线卷积特征描述与状态识别分类器，输出各路面标识线状态(0-正常，1-轻度磨损，2-重度磨损，3-其他)。

2)标识牌状态分类：对于非电子类标识牌，基于步骤三的(3)中交通标识牌检测结果进行感兴趣目标特征池化，对于池化后浅层图像特征图谱，级联细粒度标识牌卷积特征描述后并行送入标识牌类型以及状态识别分类器，输出交通标识牌类型(0-其他，1-60预定义标识牌类别)以及工作状态(0-正常，1-影响识别)。

3)路面井盖状态分类：类似2)，基于步骤三的(4)中路面井盖检测结果，在步骤三的(1)中所述的浅层共享特征图谱中进行感兴趣区域池化，之后级联细粒度井盖卷积特征描述与状态识别分类器，输出各路面井盖状态(0-正常，1-突起，2-未覆盖)。

4)电子信号灯与电子标识牌状态分类：图6是根据本发明实施例的电子标牌状态识别算法示意图，如图6所示，基于步骤三的(3)中电子交通信号灯与标牌检测结果，进行感兴趣目标区域特征池化，将时序连续10帧特征对齐后级联，经细粒度特征描述后送入LSTM单元进行时序片段状态分类，输出电子信号灯与标牌工作状态(0-正常，1-异常，2-未启用)。

步骤五：时序结构化数据分析：基于步骤三与步骤四中智能视觉分析结果构造场景结构化数据，主要包括道路设施ID、类型、子类型、工作状态以及生命周期。

(1)道路设施ID：按先进先出策略，更新道路设施ID，内存中按固定长度记录最新道路设施，编号范围1-200。

(2)道路设施类型：基于3中检测结果，更新相应ID目标设施类型：1-路面标识线，2-路面裂缝，3-路面坑洞，4路面井盖，5-交通标识牌，6-电子信号灯。

(3)道路设施子类型：基于步骤三中检测结果，更新相应ID目标设施子类型：路面标识线(车道线/路面箭头/斑马线/其他标线)，路面裂缝/路面坑洞/路面井盖(n/a)，交通标识牌(限速/禁止标识)，电子信号灯(红绿灯/电子限速)。按对应类型生命周期计数百分比，定义其子类型时序置信度。

(4)道路设施工作状态：基于步骤四中识别结果，更新相应ID目标设施工作状态：路面标识线(0-正常，1-轻度磨损，2-重度磨损，3-其他)，标识牌(0-正常，1-影响识别)，路面井盖(0-正常，1-突起，2-未覆盖)，电子信号灯与标牌(0-正常，1-异常，2-未启用)。按对应状态生命周期计数百分比，定义其工作状态时序置信度。

(5)道路设施生命周期：利用时序检测结果图像坐标系重合度计算，匹配同类型时序检测目标，按预设重合度阈值，确定目标是否为已有目标，更新其生命周期状态。

步骤六：事件后处理：基于步骤五中时序结构化数据分析结果，对于某一目标ID若其生命周期大于预设阈值T，并且非正常工作状态时序置信度大于预设阈值S，则获取视频缓存数据中对应生命周期片段数据按H264或265格式进行编码，同时从组合导航系统读取车辆当前位置结合步骤五中结构化数据按预定义协议通过通信模块上传至云端/服务器端平台。

步骤七：平台事件处理：主要包括事件解析、存储以及检索。

(1)事件解析：基于步骤六中预定义传输协议解析相应事件数据；

(2)事件存储：将解析后事件按视频与非视频结构化数据存储于平台设备。

(3)事件检索：基于云端道路设施数据库，通过位置、道路设施类型、以及工作状态异常类型等维度进行工作异常事件检索。

需要说明的是，本申请基于一阶段粗粒度道路设施与标识检测以及二阶段细粒度道路设施与标识细分类与工作状态识别，共享神经网络运算资源，实现多任务道路场景设施与标识综合分析；且综合利用图像纹理信息以及时序运动信息，可提升路面坑洞等道路缺陷以及电子标牌故障检测准确性与鲁棒性；此外，系统基于RGB车载视觉相机输入以及有限嵌入式边缘算力，应用场景广泛，可应用与各类运营以及巡查车辆。

此外，本发明实施例的上述技术方案，具有以下优点：(1)基于共享浅层图像特征，通过一阶段粗粒度道路设施与标识检测以及二阶段细粒度道路设施与标识细分类与工作状态识别，实现多任务道路场景设施与标识联合分析；(2)基于图像纹理与运动光流信息通道输入级联，利用路面坑洞纹理以及运动边缘显著性特点，识别路面坑洞；(3)基于单帧电子标识牌特征描述，融合时序片段信息，利用长短记忆时序网络进行工作状态识别，有效提升电子标牌闪烁故障检出；(4)通过时序结构化数据生命周期以及故障置信度联合筛选上报道路养护事件；(5)结合云端数据库更新道路设施工作状态与养护计划。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

在本实施例中还提供了一种道路检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图7是根据本发明实施例的道路检测装置的结构框图，该装置包括：

获取模块72，用于获取道路场景区域对应的场景图片，并将所述场景图片输入到多尺度场景特征描述模型中，得到多尺度的卷积特征图谱，其中，所述多尺度包括：第一尺度，第二尺度和第三尺度；所述第一尺度大于所述第二尺度，且所述第二尺度大于所述第三尺度；

检测模块74，用于根据所述第一尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路场景区域的道路所对应的第一标识物，根据所述第二尺度的卷积特征图谱和所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第二标识物，以及根据所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物；其中，所述第一标识物包括：指示装置、所述道路上的目标物体，所述第二标识物包括：所述道路上的标识线，所述第三标的物包括：所述道路上的凹陷区域；

确定模块76，用于确定所述第一标识物，所述第二标识物和所述第三标识物的当前状态。

通过上述装置，获取道路场景区域对应的场景图片，并将所述场景图片输入到多尺度场景特征描述模型中，得到多尺度的卷积特征图谱，进而通过多尺度的卷积特征图谱，确定道路场景区域的道路所对应的第一标识物、第二标识物以及第三标识物，并确定所述第一标识物，所述第二标识物和所述第三标识物的当前状态。采用上述技术方案，解决了传统方法不能实时自动检测、识别、定位道路场景相关设施的健康状态，使得道路基础设施养护效率较低的问题。进而采用上述技术方案，从而降低定期人为巡查维护投入同时提升道路基础设施养护效率。

在一个示例性的实施例中，检测模块74还用于确定所述指示装置的卷积特征图谱，并将所述指示装置的卷积特征图谱进行下采样，得到所述指示装置在第三尺度的卷积特征图谱；将所述第一尺度的卷积特征图谱与所述第一标识物在第三尺度的卷积特征图谱进行特征级联，得到第一特征图谱；通过所述第一特征图谱对所述场景区域进行检测，得到所述道路场景区域的道路所对应的指示装置。

在一个示例性的实施例中，检测模块74还用于确定所述目标物体的卷积特征图谱，并将所述目标物体的卷积特征图谱进行下采样，得到所述指示装置在第三尺度的卷积特征图谱；将所述第一尺度的卷积特征图谱与所述目标物体在第三尺度的卷积特征图谱进行特征级联，得到第二特征图谱；通过所述第二特征图谱对所述场景区域进行检测，得到所述道路场景区域的道路所对应的目标物体。

在一个示例性的实施例中，检测模块74还用于对所述第三尺度的卷积特征图谱进行卷积，并将卷积后的特征图谱进行下采样，得到第二特征图谱；将所述第二尺度的特征图谱与所述第二特征图谱进行特征级联，得到第三特征图谱；通过特征解码器对所述第三特征图谱进行处理，以对所述场景图片进行检测，得到所述道路所对应的第二标识物。

在一个示例性的实施例中，检测模块74还用于基于时序相邻图像数据确定场景光流图像特征；将所述第三尺度的卷积特征图谱与所述场景光流图像特征进行级联处理，并将级联处理后的特征图谱进行卷积，得到第五特征图谱；通过所述第五特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物。

在一个示例性的实施例中，确定模块76还用于对信号灯的特征图谱进行感兴趣区域特征池化处理，得到所述信号灯的特征描述图；将所述信号灯的特征描述图与所述信号灯的细粒度特征描述图进行级联处理，并将级联处理后的特征描述图输入到长短期记忆网络模型，以确定所述信号灯的当前状态，其中，所述当前状态包括以下至少之一：正常状态，异常状态，未启用状态；所述指示装置包括所述信号灯。

在一个示例性的实施例中，确定模块76还用于对指示牌的特征图谱进行感兴趣区域特征池化处理，得到所述指示牌的特征描述图；将所述指示牌的特征描述图与所述指示牌的细粒度特征描述图进行级联处理，并将级联处理后的特征描述图输入到目标分类器，以确定所述指示牌的类型以及工作状态，其中，所述类型包括：预定义类型，非预定义类型；所述工作状态包括以下至少之一：正常状态，异常状态；所述指示装置包括所述指示牌，所述目标分类器包括：指示牌类型分类器，状态识别分类器。

在一个示例性的实施例中，确定模块76还用于对所述目标物体的特征图谱进行感兴趣区域特征池化，得到所述目标物体的特征描述图；将所述目标物体的特征描述图与所述目标物体的细粒度特征描述图进行级联处理，并将级联处理后的特征描述图输入到状态识别分类器，以确定所述第一标识物的当前状态，其中，所述当前状态包括以下至少之一：正常状态，突起状态，未覆盖状态。

在一个示例性的实施例中，确定模块76还用于将具有相同类别的所述第二标识物进行聚类处理，并将聚类后的所述第二标识物的特征图谱进行感兴趣区域特征池化，得到所述第二标识物的特征描述图；将所述特征描述图与所述第二标识物的细粒度特征描述图进行级联处理，并将级联处理后的特征描述图输入到状态识别分类器，以确定所述第二标识物的当前状态，其中，所述当前状态包括以下至少之一：正常状态，轻度磨损，重度磨损。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取道路场景区域对应的场景图片，并将所述场景图片输入到多尺度场景特征描述模型中，得到多尺度的卷积特征图谱，其中，所述多尺度包括：第一尺度，第二尺度和第三尺度；所述第一尺度大于所述第二尺度，且所述第二尺度大于所述第三尺度；

S2，根据所述第一尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路场景区域的道路所对应的第一标识物，根据所述第二尺度的卷积特征图谱和所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第二标识物，以及根据所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物；其中，所述第一标识物包括：指示装置、所述道路上的目标物体，所述第二标识物包括：所述道路上的标识线，所述第三标的物包括：所述道路上的凹陷区域；

S3，确定所述第一标识物，所述第二标识物和所述第三标识物的当前状态。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取道路场景区域对应的场景图片，并将所述场景图片输入到多尺度场景特征描述模型中，得到多尺度的卷积特征图谱，其中，所述多尺度包括：第一尺度，第二尺度和第三尺度；所述第一尺度大于所述第二尺度，且所述第二尺度大于所述第三尺度；

S2，根据所述第一尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路场景区域的道路所对应的第一标识物，根据所述第二尺度的卷积特征图谱和所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第二标识物，以及根据所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物；其中，所述第一标识物包括：指示装置、所述道路上的目标物体，所述第二标识物包括：所述道路上的标识线，所述第三标的物包括：所述道路上的凹陷区域；

S3，确定所述第一标识物，所述第二标识物和所述第三标识物的当前状态。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种道路检测方法，其特征在于，包括：

获取道路场景区域对应的场景图片，并将所述场景图片输入到多尺度场景特征描述模型中，得到多尺度的卷积特征图谱，其中，所述多尺度包括：第一尺度，第二尺度和第三尺度；所述第一尺度大于所述第二尺度，且所述第二尺度大于所述第三尺度；

根据所述第一尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路场景区域的道路所对应的第一标识物，根据所述第二尺度的卷积特征图谱和所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第二标识物，以及根据所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物；其中，所述第一标识物包括：指示装置、所述道路上的目标物体，所述第二标识物包括：所述道路上的标识线，所述第三标的物包括：所述道路上的凹陷区域；

确定所述第一标识物，所述第二标识物和所述第三标识物的当前状态。

2.根据权利要求1所述的方法，其特征在于，根据所述第一尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路场景区域的道路所对应的第一标识物，包括：

确定所述指示装置的卷积特征图谱，并将所述指示装置的卷积特征图谱进行下采样，得到所述指示装置在第三尺度的卷积特征图谱；

将所述第一尺度的卷积特征图谱与所述第一标识物在第三尺度的卷积特征图谱进行特征级联，得到第一特征图谱；

通过所述第一特征图谱对所述场景区域进行检测，得到所述道路场景区域的道路所对应的指示装置。

3.根据权利要求1所述的方法，其特征在于，根据所述第一尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路场景区域的道路所对应的第一标识物，包括：

确定所述目标物体的卷积特征图谱，并将所述目标物体的卷积特征图谱进行下采样，得到所述指示装置在第三尺度的卷积特征图谱；

将所述第一尺度的卷积特征图谱与所述目标物体在第三尺度的卷积特征图谱进行特征级联，得到第二特征图谱；

通过所述第二特征图谱对所述场景区域进行检测，得到所述道路场景区域的道路所对应的目标物体。

4.根据权利要求1所述的方法，其特征在于，根据所述第二尺度的卷积特征图谱以及所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第二标识物，包括：

对所述第三尺度的卷积特征图谱进行卷积，并将卷积后的特征图谱进行下采样，得到第二特征图谱；

将所述第二尺度的特征图谱与所述第二特征图谱进行特征级联，得到第三特征图谱；

通过特征解码器对所述第三特征图谱进行处理，以对所述场景图片进行检测，得到所述道路所对应的第二标识物。

5.根据权利要求1所述的方法，其特征在于，根据所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物，包括：

基于时序相邻图像数据确定场景光流图像特征；

将所述第三尺度的卷积特征图谱与所述场景光流图像特征进行级联处理，并将级联处理后的特征图谱进行卷积，得到第五特征图谱；

通过所述第五特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物。

6.根据权利要求1所述的方法，其特征在于，确定所述第一标识物的当前状态，包括：

对信号灯的特征图谱进行感兴趣区域特征池化处理，得到所述信号灯的特征描述图；

将所述信号灯的特征描述图与所述信号灯的细粒度特征描述图进行级联处理，并将级联处理后的特征描述图输入到长短期记忆网络模型，以确定所述信号灯的当前状态，其中，所述当前状态包括以下至少之一：正常状态，异常状态，未启用状态；所述指示装置包括所述信号灯。

7.根据权利要求1所述的方法，其特征在于，确定所述第一标识物的当前状态，包括：

对指示牌的特征图谱进行感兴趣区域特征池化处理，得到所述指示牌的特征描述图；

将所述指示牌的特征描述图与所述指示牌的细粒度特征描述图进行级联处理，并将级联处理后的特征描述图输入到目标分类器，以确定所述指示牌的类型以及工作状态，其中，所述类型包括：预定义类型，非预定义类型；所述工作状态包括以下至少之一：正常状态，异常状态；所述指示装置包括所述指示牌，所述目标分类器包括：指示牌类型分类器，状态识别分类器。

8.根据权利要求1所述的方法，其特征在于，确定所述第一标识物的当前状态，包括：

对所述目标物体的特征图谱进行感兴趣区域特征池化，得到所述目标物体的特征描述图；

将所述目标物体的特征描述图与所述目标物体的细粒度特征描述图进行级联处理，并将级联处理后的特征描述图输入到状态识别分类器，以确定所述第一标识物的当前状态，其中，所述当前状态包括以下至少之一：正常状态，突起状态，未覆盖状态。

9.根据权利要求1所述的方法，其特征在于，确定所述第二标识物的当前状态，包括：

将具有相同类别的所述第二标识物进行聚类处理，并将聚类后的所述第二标识物的特征图谱进行感兴趣区域特征池化，得到所述第二标识物的特征描述图；

将所述特征描述图与所述第二标识物的细粒度特征描述图进行级联处理，并将级联处理后的特征描述图输入到状态识别分类器，以确定所述第二标识物的当前状态，其中，所述当前状态包括以下至少之一：正常状态，轻度磨损，重度磨损。

10.一种道路检测装置，其特征在于，包括：

获取模块，用于获取道路场景区域对应的场景图片，并将所述场景图片输入到多尺度场景特征描述模型中，得到多尺度的卷积特征图谱，其中，所述多尺度包括：第一尺度，第二尺度和第三尺度；所述第一尺度大于所述第二尺度，且所述第二尺度大于所述第三尺度；

检测模块，用于根据所述第一尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路场景区域的道路所对应的第一标识物，根据所述第二尺度的卷积特征图谱和所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第二标识物，以及根据所述第三尺度的卷积特征图谱对所述场景图片进行检测，得到所述道路所对应的第三标识物；其中，所述第一标识物包括：指示装置、所述道路上的目标物体，所述第二标识物包括：所述道路上的标识线，所述第三标的物包括：所述道路上的凹陷区域；

确定模块，用于确定所述第一标识物，所述第二标识物和所述第三标识物的当前状态。

11.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至9任一项中所述的方法。

12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至9任一项中所述的方法。

Images