CN110363070A - 智能识别道路状态的方法、装置及计算机程序产品 - Google Patents

Abstract

本发明提供一种智能识别道路状态的方法、装置及计算机程序产品，该方法包括：拍摄当前道路预设光谱带的光谱图像以及预设偏振状态的偏振图像；将所述光谱图像和所述偏振图像融合成高维度图像，所述高维度图像包含有所述预设光谱带的信息和所述预设偏振状态的信息；将所述高维度图像输入训练好的神经网络，所述神经网络输出当前道路的状态。本发明能够准确、实时且远距离地探测道路状态，可以应用于全天候场景和复杂环境，并且容易实施又成本可控。

Description

智能识别道路状态的方法、装置及计算机程序产品

技术领域

本申请涉及道路识别的技术领域，尤其涉及一种智能识别道路状态的方法、装置及计算机程序产品。

背景技术

随着人们生活水平的提高，汽车已经进入千家万户并逐渐成为人们出行的首选方式。随着汽车保有量的持续增长和汽车使用频率的增加，如何保障行驶安全逐渐成为人们普遍关注的问题。影响行驶安全的因素很多，除了人为主观因素外，还有车辆自身状况、气象状况、周围人群车辆环境状况及道路状态等客观因素。其中，道路状态由于受到自然环境影响，变化形式复杂且变化速率快，对行驶安全的影响难以预估。尤其在道路处于结冰、积水或泥泞状态时，机动车驾驶员在快速行驶过程中难以准确识别道路状态，极易引起交通事故，这也成为影响行驶安全的重大隐患。因此，建立一种能够准确、实时、远距离判断出道路状态，并提供有效预警的智能辅助驾驶系统是十分必要的。

目前的道路状态探测系统可分为接触式和非接触式。其中一些接触式传感器，比如光纤式、电容式、谐振筒式等，由于对路面探测范围小，无法在汽车高速行驶状态下提供有效的远距离预警，其作用可以被一些广泛使用的汽车驾驶稳定系统，如ABS防抱死系统，ESP车身电子稳定系统所替代。

非接触式传感器相比上述的接触式传感器来说具有较大的探测范围，因此非接触式传感器更具有应用前景。一些车载非接触式传感器，利用LED等发光器件发射出红外频段或可见光频段的主动光，并接收其反射回的光信号，通过对比发射光与接收光角度、偏振、光强等光学变化，探测道路状态。然而，由于道路处于开放的自然环境当中，环境光线会对检测结果产生很大的影响。比如，在晴天强光照射环境中，可见光频段很容易发生强反射问题，形成亮斑；汽车发动机等环境中的热源会辐射出不同波段的红外光，对红外光频段的接收产生干扰。因此，现有的利用主动光探测道路状态的技术方案无法满足复杂环境、全天候的探测要求。另外，简单的对比光线角度、偏振、光强等变化对接收器的安装角度，探测精度及发射器的发射强度等提出很高的要求，应用成本高，难度大。另外，还有一些路面非接触式传感器，安装在路边，他们的工作原理与上述的车载非接触式传感器类似。除了会碰到与上述车载非接触式传感器一样的问题，其探测到的信号无法与车辆的状态进行同步，因此无法提供实时、有效的道路状态信息预警。

因此，如何提供一种能够实时且准确有效的道路状态识别的方案是本领域亟待解决的技术问题。

发明内容

本申请的目的在于提供一种智能识别道路状态的方法及装置，能够准确、实时且远距离地探测道路状态，可以应用于全天候场景和复杂环境，并且容易实施又成本可控。

为达到上述目的，本申请提供一种智能识别道路状态的方法，包括：

拍摄当前道路预设光谱带的光谱图像以及预设偏振状态的偏振图像；

将所述光谱图像和所述偏振图像融合成高维度图像，所述高维度图像包含有所述预设光谱带的信息和所述预设偏振状态的信息；

将所述高维度图像输入训练好的神经网络，所述神经网络输出当前道路的状态。

在一些具体的实施例中，所述神经网络为空间时序多维卷积神经网络；

在预设时间内，对当前道路连续拍摄光谱图像和偏振图像，以获取N张高维度图像，其中，N为大于1的自然数；

将所述N张高维度图像以时间轴排序输入所述空间时序多维卷积神经网络。

进一步地，所述预设光谱带包括可见光谱、近红外光谱、远红外光谱和紫外光谱；

所述预设偏振状态包括至少两种偏振方向。

进一步地，将所述光谱图像和所述偏振图像融合成高维度图像的方式为像素融合。

进一步地，在对所述神经网络进行训练时，对网络输入进行人工标注的方式为对可见光谱的光谱图象进行标注。

另一方面，本发明还提供一种智能识别道路状态的装置，包括：

高光谱成像装置，其用于拍摄当前道路预设光谱带的光谱图像以及预设偏振状态的偏振图像；

数据预处理模块，其用于将所述光谱图像和所述偏振图像融合成高维度图像，所述高维度图像包含有所述预设光谱带的信息和所述预设偏振状态的信息；

数据处理模块，其用于将所述高维度图像输入训练好的神经网络，所述神经网络输出当前道路的状态。

可选地，所述神经网络为空间时序多维卷积神经网络；

在预设时间内，对当前道路连续拍摄光谱图像和偏振图像，以获取N张高维度图像，其中，N为大于1的自然数；

该智能识别道路状态的装置还包括有预储存模块，所述预储存模块用于根据时间轴储存所述N张高维度图像。

进一步地，所述预设光谱带包括可见光谱、近红外光谱、远红外光谱和紫外光谱；

所述预设偏振状态包括至少两种偏振方向。

本发明还提供了一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的计算机可读存储介质，该计算机程序使得计算机执行上述智能识别道路状态的方法的部分或全部步骤。

本发明相对现有技术所具备的有利技术效果有：

(1)利用多光谱成像技术，对比传统的成像设备，可以得到道路在不同光谱带和不同偏振条件下的图像信息，大大提升了图像的信息量，即使在复杂条件下某些频段会受到强噪声的污染，依然能够分辨出有较高置信度的道路状态信息。

(2)引入道路状况对应的时间轴，在当前帧图像受到强烈的干扰无法有效识别道路状况时，利用空间时序多维卷积神经网络对时间轴上连续图像的分析，依然可以分析识别出当前帧图像的道路信息，另一方面，空间时序多维卷积神经网络可以学习到时间轴上连续图像的相关性，从而达到信息互补，可以增强系统鲁棒性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例一的一种智能识别道路状态的方法的流程示意图；

图2为本发明实施例一的一种智能识别道路状态的装置的结构示意图；

图3为本发明实施例一的一种智能识别道路状态的装置实施本实施例的智能识别道路状态的方法的实施图；

图4为本发明实施例一对道路状况进行识别的结果示意图；

图5为图1中步骤101和步骤102的形象示意图；

图6为本发明实施例二的一种智能识别道路状态的方法的流程示意图；

图7为本发明实施例二的一种智能识别道路状态的装置的结构示意图；

图8为本发明实施例二的一种智能识别道路状态的装置实施本实施例的智能识别道路状态的方法的实施图；

图9为图6中步骤303和步骤304的形象示意图；

图10为本发明实施例二的空间时序多维卷积神经网络的卷积核的示意图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一

请参考图1，图1是本申请的一种智能识别道路状态的方法的示意流程图，本实施例的方法包括如下步骤：

步骤101、拍摄当前道路预设光谱带的光谱图像以及预设偏振状态的偏振图像。

步骤102、将所述光谱图像和所述偏振图像融合成高维度图像，所述高维度图像包含有所述预设光谱带的信息和所述预设偏振状态的信息。

步骤103、将所述高维度图像输入训练好的神经网络，所述神经网络输出当前道路的状态。

本实施例的方法利用智能识别道路状态的装置来实施。请参考图2和图3，本实施例的智能识别道路状态的装置200包括有：

高光谱成像装置201，其用于拍摄当前道路预设光谱带的光谱图像以及预设偏振状态的偏振图像；

数据预处理模块202，其用于将所述光谱图像和所述偏振图像融合成高维度图像，所述高维度图像包含有所述预设光谱带的信息和所述预设偏振状态的信息；

数据处理模块204，其用于将所述高维度图像输入训练好的神经网络，所述神经网络输出当前道路的状态。

请参考图3和图4，本实施例能够识别当前道路的状况，道路状态图像会被进行分类和分割，最终神经网络输出的识别结果包括：正常、积水、泥泞和结冰等等，同时能够识别坐标范围并带有置信度。

请参考图5，高光谱成像装置201可以获取更多图像信息，对于道路场景，高光谱成像装置201在可见光的基础上向近红外光、远红外光和紫外光三个方向扩展，并通过滤光片、偏振片或分光器与多种感光胶片的一种或多种组合组合，使其能够同时分别接收同一目标场景在不同窄光谱带上所辐射或反射的信息，得到目标场景在一系列不同光谱带、不同偏振状态的图像，采集到的图像携带有非常丰富的信息。

采集到的系列图像，将其进行诸如双边滤波去噪，去均值及归一化等预处理操作，然后融合成为高维度图像，高维度图像携带有大量信息。由于图形信息量的增加，即使在复杂条件下某些频段会受到强噪声的污染，我们依然能够分辨出有较高置信度的道路状态信息。利用高光谱视觉成像系统融合成的高维度图像系列可以抵抗噪声干扰，提高识别的精度。

实施例二

实施例一的方法和装置能够大大提升道路探测系统的道路识别的能力，然而，由于道路场景处于复杂的环境之中，因此采集的图像会受到环境光线的影响。比如某一时刻某一角度，传感器可能会受到太阳光反射的影响，在其所能够接收的所有频段都受到强烈的干扰，无法对当前帧进行有效分析。为了应对各种极端情况，请参考图6，本实施例提供下述智能识别道路状况的方法步骤：

步骤301、连续拍摄当前道路预设光谱带的光谱图像以及预设偏振状态的偏振图像。

步骤302、将所述光谱图像和所述偏振图像融合成N帧高维度图像，其中所述高维度图像包含有所述预设光谱带的信息和所述预设偏振状态的信息。

步骤303、将所述N帧高维度图像以时间轴进行储存。

步骤304、将所述N帧高维度图像输入训练好的空间时序多维卷积神经网络，所述空间时序多维卷积神经网络输出当前道路的状态。

本实施例的方法利用智能识别道路状态的装置来实施。请参考图7和图8，本实施例的智能识别道路状态的装置200包括有：

高光谱成像装置201，其用于连续拍摄当前道路预设光谱带的光谱图像以及预设偏振状态的偏振图像；

数据预处理模块202，其用于将所述光谱图像和所述偏振图像融合成N帧高维度图像，所述高维度图像包含有所述预设光谱带的信息和所述预设偏振状态的信息；

预储存模块203，用于根据时间轴储存所述N张高维度图像。

数据处理模块204，其用于将所述高维度图像输入训练好的空间时序多维卷积神经网络，所述空间时序多维卷积神经网络输出当前道路的状态。

本实施例相对实施例一来说，增加了预储存模块203，同时对于同一道路场景会连续拍摄多组以时间轴为顺序的图像序列。高光谱成像装置201获取的系列图像在数据预处理模块202中融合而成的N帧高维度图像以时间轴排序储存在预储存模块203中，其中N为大于1的自然数。请参阅图9，在道路上连续行进拍摄图像时，t₀为当前时刻，当前时刻出现极端情况导致当前帧高维度图像受到严重干扰，我们引入时间轴，利用对时间轴上连续图像的(从t_-m时刻到当前时刻获得的所有图像)的分析，我们依然可以分析识别出当前帧图像的道路信息。

神经网络的输入也即高维度图像，具有丰富的光谱信息和偏振信息，同时连续图像具有时间轴信息，本实施例中的数据处理模块204采用空间时序多维卷积神经网络(Spatiotemporal multi-dimensional convolutional network)，其能够很好地进行特征提取和分析。由于引入了时间轴，空间时序多维卷积神经网络可以学习到时间轴上连续图像的相关性，从而达到信息互补，增强系统鲁棒性的目的。

传统的卷积神经网络主要用来识别位移、缩放及其他形式扭曲不变性的图形。由于传统的卷积神经网络主要作用于可见光频段的图像，其各通道(红，绿，蓝)之间有高度的相关性，因此通过2D卷积即可进行图像的特征提取及分析。由于本实施例的神经网络输入高维度图像序列具有更复杂的结构及相关性，在图像特征提取及分析过程中需要保留其高维度信息。因此，我们在神经网络中引入多维卷积方法。举例说明，当卷积维度为三维时，如图10所示，图中，卷积核的深度L小于输入高维度图像(特征)的深度D。另外，滑窗操作在3D中进行，因此输出特征也具有高维度特性(D’>1)。

需要补充的是，实施例中所述的装置在应用时，考虑到环境的多样性，还可以在装置上配套设置主动光源，主动光源的频段应当是高光谱成像装置20能够覆盖的频段，利用主动光源投射主动光来照射道路，能够提升图像质量，从而增强检测效果。

实施例三

本实施例与实施例一和实施例二的技术思路基本一致。不同的是，本实施例在神经网路的训练方式上具有特点。具体如下：

数据处理模块204中的神经网络在训练过程中，神经网络的输入端为高光谱成像装置201采集到的系列图像由数据预处理模块202融合而成的高维度图像数据，不同于传统的神经网络输入(通常为可见光红绿蓝三通道输入)。

神经网络的训练由于采用监督学习方法，因此需要对网络输入进行人工标注。然而，高维度图像除了可见光频段的信息，其他频段的信息及偏振信息并非人眼所能理解。本实施例提供的处理方案为将可见光频段采集的图像和其他频段的采集的图像进行像素融合，通过标注可见光频段的图像间接标注其他频段的图像。

进一步地，在神经网络的训练过程中高光谱成像装置201采集的多维度光谱信息进行随机丢弃(dropout)。一方面，这有利于防止过拟合；另一方面，这有利于得到模型的不确定性信息。

可选地，本实施例的智能识别道路状态的装置可以应用在无人驾驶汽车中的辅助驾驶系统中，根据高光谱成像设备记录的多谱段及多偏振的图像信息，在数据部分获取更多信息，并结合空间时序多维卷积神经网络对数据进行分析，可实时，精确，远距离，全天候的进行道路状况识别，并提出有效预警，大幅提升无人驾驶汽车的安全驾驶能力。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种智能识别道路状态的方法，其特征在于，包括：

拍摄当前道路预设光谱带的光谱图像以及预设偏振状态的偏振图像；

将所述光谱图像和所述偏振图像融合成高维度图像，所述高维度图像包含有所述预设光谱带的信息和所述预设偏振状态的信息；

将所述高维度图像输入训练好的神经网络，所述神经网络输出当前道路的状态。

2.根据权利要求1所述的智能识别道路状态的方法，其特征在于：

所述神经网络为空间时序多维卷积神经网络；

在预设时间内，对当前道路连续拍摄光谱图像和偏振图像，以获取N张高维度图像，其中，N为大于1的自然数；

将所述N张高维度图像以时间轴排序输入所述空间时序多维卷积神经网络。

3.根据权利要求2所述的智能识别道路状态的方法，其特征在于：

所述预设光谱带包括可见光谱、近红外光谱、远红外光谱和紫外光谱；

所述预设偏振状态包括至少两种偏振方向。

4.根据权利要求3所述的智能识别道路状态的方法，其特征在于：

将所述光谱图像和所述偏振图像融合成高维度图像的方式为像素融合。

5.根据权利要求4所述的智能识别道路状态的方法，其特征在于：

在对所述神经网络进行训练时，对网络输入进行人工标注的方式为对可见光谱的光谱图象进行标注。

6.一种智能识别道路状态的装置，其特征在于，包括；

高光谱成像装置，其用于拍摄当前道路预设光谱带的光谱图像以及预设偏振状态的偏振图像；

数据预处理模块，其用于将所述光谱图像和所述偏振图像融合成高维度图像，所述高维度图像包含有所述预设光谱带的信息和所述预设偏振状态的信息；

数据处理模块，其用于将所述高维度图像输入训练好的神经网络，所述神经网络输出当前道路的状态。

7.根据权利要求6所述的智能识别道路状态的装置，其特征在于：

所述神经网络为空间时序多维卷积神经网络；

在预设时间内，对当前道路连续拍摄光谱图像和偏振图像，以获取N张高维度图像，其中，N为大于1的自然数；

该智能识别道路状态的装置还包括有预储存模块，所述预储存模块用于根据时间轴储存所述N张高维度图像。

8.根据权利要求7所述的智能识别道路状态的装置，其特征在于：

所述预设光谱带包括可见光谱、近红外光谱、远红外光谱和紫外光谱；

所述预设偏振状态包括至少两种偏振方向。

9.一种计算机程序产品，其特征在于：

所述计算机程序产品包括存储了计算机程序的计算机可读存储介质，该计算机程序使得计算机执行如权利要求1至5中任一项所述的方法的部分或全部步骤。