CN109886125A - 一种构建道路检测模型的方法及道路检测方法 - Google Patents

Abstract

一种构建道路检测模型的方法，其包括：利用预设编码器从预设训练图像集合中提取道路区域特征，得到对应于各个训练图像的第一预设大小的张量；利用预设解码器对分别对对应于各个训练图像的第一预设大小的张量进行卷积层操作，产生第二预设大小的特征热图，通过反卷积层上采样操作，根据特征热图产生与训练图像大小相同、像素点一一对应的训练结果图像；根据训练结果图像和预设训练图像集合调整预设编码器和/或预设解码器的模型参数，并最终得到所需要的道路检测模型。本方法填补了无人矿山道路检测的空白，其能够有效克服水迹、边缘不清晰而导致基于Haar纹理特征结合消失点的道路检测方法无法实施的问题，能够实现对矿山道路基于像素点的精确定位。

Description

一种构建道路检测模型的方法及道路检测方法

技术领域

本发明涉及智能驾驶技术领域，具体地说，涉及一种构建道路检测模型的方法以及一种道路检测方法。

背景技术

露天矿山环境道路边缘特征不明显，行驶过程中需要识别上坡、下坡、道路泥泞、水迹多等复杂工况道路，同时由于露天矿山环境的道路较为复杂，因此对道路检测的实时性要求更高。

现有的技术方案尚没有针对露天矿山等环境中道路颜色特征不明显、不存在清晰边界、雨后存在大片水迹、车辙痕迹深的道路检测方法。而使用通用的道路检测方法，不能针对性的解决适用于露天矿山要求的性能以及实时性道路检测要求。

发明内容

为解决上述问题，本发明提供了一种构建道路检测模型的方法，所述方法包括：

步骤一、利用预设编码器从预设训练图像集合中提取道路区域特征，得到对应于各个训练图像的第一预设大小的张量；

步骤二、利用预设解码器分别对对应于各个训练图像的第一预设大小的张量进行卷积层操作，产生第二预设大小的特征热图，通过反卷积层上采样操作，根据所述特征热图产生与所述训练图像大小相同、像素点一一对应的训练结果图像，其中，所述训练结果图像中各个像素点包含表征该像素点类别的信息；

步骤三、根据所述训练结果图像和预设训练图像集合调整所述预设编码器和/或预设解码器的模型参数，并最终得到所需要的道路检测模型。

根据本发明的一个实施例，在所述步骤一中，对原始训练图像集合中的各个训练图像进行归一化处理，得到所述预设训练图像集合。

根据本发明的一个实施例，所述预设训练图像集合中的各个训练图像中包含有标注信息，其中，所述训练图像中属于道路的区域标注为道路类，所述训练图像中不属于道路的区域标注为背景环境类。

根据本发明的一个实施例，在所述步骤一中，

对于所述预设训练集合中的各个训练图像来说，将所述道路类的区域所对应的像素点的颜色转换为第一颜色，背景环境类的区域所对应的像素点的颜色转换为第二颜色。

根据本发明的一个实施例，所述预设编码器采用VGG16网络的前13层组成，所述预设解码器采用FCN8组成。

根据本发明的一个实施例，在所述步骤二中，通过三次反卷积层上采样操作，得到所述训练结果图像。

根据本发明的一个实施例，所述训练结果图像中的各个像素点均包含两个通道，这两个通道分别表示该像素点属于道路区域和环境背景区域的概率，其中，采用概率取值较大的作为该像素点的标注信息。

根据本发明的一个实施例，在所述步骤二中，使用Adam优化器，并对解码器中使用概率为0.5的信息丢失层进行模拟训练，并在周期性迭代中利用验证图像集合对训练超参数的不断优化，在损失值最小时，得到所述道路检测模型。

根据本发明的一个实施例，根据如下表达式计算所述损失值：

其中，loss_class表示损失值，I表示训练图像像素点子集，p_i表示训练图像像素点子集中第i个像素点被预测为其真实类别的概率，q_i表示训练图像像素点子集中第i个像素点被预测的类别是否为其真实类别的量化值，c表示像素点的类别。

本发明还提供了一种道路检测方法，所述方法包括：

步骤一，获取车载摄像头图像；

步骤二，基于所述车载摄像头图像，利用预设道路检测模型确定所述车载摄像头图像中的道路信息，其中，所述预设道路检测模型采用如上任一项所述的方法构建得到。

本发明所提供的道路检测方法采用基于FCN全卷积神经网络对矿山道路的检测方式来实现对图像中道路的检测，相对于传统的车道线、边缘检测的城市道路检测方法，本方法填补了无人矿山道路检测的空白，其能够有效克服水迹、边缘不清晰而导致基于Haar纹理特征结合消失点的道路检测方法无法实施的问题，同时可以克服矿山泥泞车辙纹理对光流效果影响而导致利用光流的道路检测方法无法实施的问题，本方法能够实现对矿山道路基于像素点的精确定位。

同时，相较于现有的纹理道路识别方法所使用的利用每一个像素对8邻域的纹理关系进行计算的复杂度，本方法的实现过程更加简便、快捷、高效，其能够更好地应用于自动驾驶领域的实时检测。

此外，相较于基于每一列像素灰度统计视差图的道路检测方法，本方法保留了图像的色彩信息，这样也就可以使得道路检测的准确性更高，最终得到的检测结果也就更加可靠。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的道路检测方法的实现流程示意图；

图2是根据本发明一个实施例的构建预设道路检测模型的实现流程示意图；

图3和图4是根据本发明一个实施例的检测结果示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

申请号为CN105550665的专利文件公开了基于双目视觉的无人驾驶汽车可通区域检测方法，该方法利用可通行区域的一般特征，利用外层轮廓检测手段剔除了无效可通行区域等噪声，从而获得真正对无人车驾驶有效的可通行区域。且轮廓处理进一步降低了可通行区域的边缘噪声，增加了识别的稳定性。可通行区域轮廓以点集形式存储，为以后进行可通行区域投影(如IPM图像投影)等进一步处理提供了方便，可减少后续工作的复杂度。

然而，针对露天矿山等环境中的道路，其存在颜色特征不明显、不存在清晰边界、雨后存在大片水迹、车辙痕迹深的问题，而现有的方法不能针对性地解决适用于露天矿山要求的性能以及实时性道路检测要求。

这对现有技术中所存在的上述问题，本发明提供了一种新的道路检测方法，该道路检测方法尤其适用于露天矿山环境下的道路检测，该方法采用基于FCN深度学习的方法来进行露天矿山道路检测。

图1示出了本实施例所提供的道路检测方法的实现流程示意图。

如图1所示，本实施例所提供的道路检测方法会在步骤S101中获取车载摄像头图像。具体地，本实施例中，该方法在步骤S101中优选地利用设置在车头位置处的车载摄像头来获取上述车载摄像头图像，该车载摄像头图像能够表征出车辆前方的环境信息。

当然，在本发明的其他实施例中，该方法还可以采用其他合理方式来获取车载摄像头图像，本发明不限于此。

在得到车载摄像头图像后，该方法优选地会在步骤S102中基于上述车载摄像头图像，利用预设道路检测模型确定车载摄像头图像中的道路信息，即车载摄像头图像中是否存在道路区域以及道路区域的分布情况。

本实施例中，上述预设道路检测模型是预先构建好的，其优选地基于FCN深度学习的方式构建得到。图2示出了本实施例中构建上述预设道路检测模型的实现流程示意图。

如图2所示，本实施例中，该方法在构建所需要的道路检测模型时，首先会在步骤S201中利用预设编码器从预设训练图像集合中提取道路区域特征，从而得到对应于各个训练图像的第一预设大小的张量。

需要指出的是，本实施例中，该方法在提取预设训练图像集合中各个训练图像的道路区域特征时，根据实际需要，还会对原始训练图像集合中的各个训练图像进行归一化处理，从而得到预设训练图像集合。

例如，本实施例中，该方法所获取到的原始训练图像可以是不同环境状态(例如晴天、阴天以及雨天等)下的彩色道路图像。这些彩色道路图像的大小以及格式可能存在差异，因此为了后续数据处理的简便，本实施例中，该方法会对所有的彩色道路图像进行归一化处理，从而得到同一分辨率的彩色图像。

具体地，该方法通过归一化处理所得到的训练图像可以是分辨率为2148×348的RGB图像。当然，在本发明的其他实施例中，通过归一化处理所得到的训练图像的分辨率以及图像格式根据实际需要可以进行灵活配置，本发明并不对该部分内容进行限定。

本实施例中，上述预设训练图像集合中的各个训练图像中均包含有标注信息，其中，训练图像中属于道路的区域会被标注为道路类，而训练图像中不属于道路的区域则会被标注为北京环境类，这样可以得到对应的.xml文件。

本实施例中，对于预设训练集合中的各个训练图像来说，道路类的区域所对应的像素点的颜色会被转换为第一颜色，而背景环境类的区域所对应的像素点的颜色则会被转换为第二颜色。

例如，上述第一颜色可以为红色(128,0,0)，上述第二颜色可以为黑色(255,255,255)。当然，在本发明的其他实施例中，上述第一颜色和/或第二颜色还可以为其他合理颜色，以用于区分道路区域以及背景环境区域。

本实施例中，利用同样原理，该方法还可以获取到验证图像集合以及测试图像集合。其中，训练图像集合、验证图像集合以及测试图像集合的图片数量优选地可以是6：2：2，这三类图片共同构成了用于构建道路检测模型的先验数据。

当然，在本发明的其他实施例中，训练图像集合、验证图像集合以及测试图像集合的图片数量的比例还可以为其他比例数值，本发明并不对上述三类图像集合中所包含的图片的具体数量进行限定。

本实施例中，训练图像集合、验证图像集合以及测试图像集合优选地分别分别对应train.txt、val.txt以及test.txt三个标签，标签中每一行表示一张图片的读取位置。其中，训练图像集合和验证图像集合的标签中，需要存在图片和标注图片的地质并且二者一一对应，而测试图像集合的标签只需要测试图片的读取地址。

本实施例中，该方法优选地会利用训练图像集合以及验证图像集合来对预设道路检测模型进行训练，从而得到所需要的、能够对道路(尤其是露天矿山环境下的道路)进行准确检测的道路检测模型。

具体地，如图2所示，本实施例中，上述预设道路检测模型优选地包括编码器和解码器，其中，该方法会在步骤S201中利用预设编码器从预设训练图像集合中提取道路区域特征，从而得到对应于各个训练图像的第一预设大小的张量。

本实施例中，上述预设编码器优选地采用VGG16网络的前13层组成，而预设解码器则优选地采用FCN8组成。预设编码器能够提取图像中的道路区域特征，从而产生第一预设大小的张量。例如，上述预设编码器所得到的第一预设大小的张量可以是39×12×512大小的张量。

在得到第一预设大小的张量后，该方法会在步骤S202中利用预设解码器对分别对应于各个训练图像的第一预设大小的张量进行卷积层操作，分别对应产生第二预设大小的特征热图。

例如，对于该方法在步骤S201中利用编码器所得到的39×12×512大小的张量，该方法在步骤S202中可以利用解码器来使用1×1×512卷积核进行卷积层操作，从而产生39×12大小的特征热图。

在得到上述特征热后，该方法则可以在步骤S203中通过反卷积层上采样操作，来根据上述特征热图产生与训练图像大小相同、像素点一一对应的训练结果图像。

具体地，本实施例中，对于39×12大小的特征热图，该方法在步骤S203中可以通过三次反卷积层上采样操作，来得到训练图像大小相同(均为2148×348)、像素点一一对应的训练结果图像。

其中，该方法所得到的训练结果图像中各个像素点包含表征该像素点类别的信息。具体地，训练结果图像中的各个像素点均包含两个通道，这两个通道分别表示该像素点属于道路区域和环境背景区域的概率。而本实施例中，该方法优选地采用概率取值较大的作为该像素点的标注信息。

例如，对于训练结果图像中的某一像素点来说，其属于道路区域的概率为0.9，而属于环境背景区域的概率为0.1，那么该方法也就会将该像素点的类别确定为道路类。

在步骤S204中，该方法优选地会根据训练结果图像和预设训练图像集合来调整预设编码器和/或预设解码器的模型参数，从而最终得到所需要的道路检测模型。

具体地，本实施例中，该方法在步骤S204中优选地使用Adam优化器，并对解码器中使用概率为0.5的信息丢失层进行模拟训练，并在周期性迭代中利用验证图像集合对训练超参数的不断优化，从而在损失值最小时得到需要的道路检测模型。

本实施例中，该方法优选地根据表达式计算所述损失值：

其中，loss_class表示损失值，I表示训练图像像素点子集，p_i表示训练图像像素点子集中第i个像素点被预测为其真实类别的概率，q_i表示训练图像像素点子集中第i个像素点被预测的类别是否为其真实类别的量化值(例如，如果为真实类别，那么p_i的取值将为1，否则将为0)，c表示像素点的类别。

本实施例中，通过上述道路检测模型的构建方法可以构建得到所需要的道路检测模型，通过将实时获取到的车载摄像头图像输入上述道路检测模型，也就可以由该道路检测模型确定出车载摄像头图像中的道路信息。

例如，本实施例中，利用道路检测模型，该方法可以得到诸如图3和图4所示的道路检测结果。该道路检测模型的平均准确率为94.2％，平均检测速度为每张图片82.9ms，其能够有效满足矿山车辆行驶速度下的道路检测要求。

从上述描述中可以看出，本发明所提供的道路检测方法采用基于FCN全卷积神经网络对矿山道路的检测方式来实现对图像中道路的检测，相对于传统的车道线、边缘检测的城市道路检测方法，本方法填补了无人矿山道路检测的空白，其能够有效克服水迹、边缘不清晰而导致基于Haar纹理特征结合消失点的道路检测方法无法实施的问题，同时可以克服矿山泥泞车辙纹理对光流效果影响而导致利用光流的道路检测方法无法实施的问题，本方法能够实现对矿山道路基于像素点的精确定位。

同时，相较于现有的纹理道路识别方法所使用的利用每一个像素对8邻域的纹理关系进行计算的复杂度，本方法的实现过程更加简便、快捷、高效，其能够更好地应用于自动驾驶领域的实时检测。

此外，相较于基于每一列像素灰度统计视差图的道路检测方法，本方法保留了图像的色彩信息，这样也就可以使得道路检测的准确性更高，最终得到的检测结果也就更加可靠。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (10)

1.一种构建道路检测模型的方法，其特征在于，所述方法包括：

步骤一、利用预设编码器从预设训练图像集合中提取道路区域特征，得到对应于各个训练图像的第一预设大小的张量；

步骤二、利用预设解码器分别对对应于各个训练图像的第一预设大小的张量进行卷积层操作，产生第二预设大小的特征热图，通过反卷积层上采样操作，根据所述特征热图产生与所述训练图像大小相同、像素点一一对应的训练结果图像，其中，所述训练结果图像中各个像素点包含表征该像素点类别的信息；

步骤三、根据所述训练结果图像和预设训练图像集合调整所述预设编码器和/或预设解码器的模型参数，并最终得到所需要的道路检测模型。

2.如权利要求1所述的方法，其特征在于，在所述步骤一中，对原始训练图像集合中的各个训练图像进行归一化处理，得到所述预设训练图像集合。

3.如权利要求1或2所述的方法，其特征在于，所述预设训练图像集合中的各个训练图像中包含有标注信息，其中，所述训练图像中属于道路的区域标注为道路类，所述训练图像中不属于道路的区域标注为背景环境类。

4.如权利要求3所述的方法，其特征在于，在所述步骤一中，

对于所述预设训练集合中的各个训练图像来说，将所述道路类的区域所对应的像素点的颜色转换为第一颜色，背景环境类的区域所对应的像素点的颜色转换为第二颜色。

5.如权利要求1～4中任一项所述的方法，其特征在于，所述预设编码器采用VGG16网络的前13层组成，所述预设解码器采用FCN8组成。

6.如权利要求1～5中任一项所述的方法，其特征在于，在所述步骤二中，通过三次反卷积层上采样操作，得到所述训练结果图像。

7.如权利要求1～6中任一项所述的方法，其特征在于，所述训练结果图像中的各个像素点均包含两个通道，这两个通道分别表示该像素点属于道路区域和环境背景区域的概率，其中，采用概率取值较大的作为该像素点的标注信息。

8.如权利要求1～7中任一项所述的方法，其特征在于，在所述步骤二中，使用Adam优化器，并对解码器中使用概率为0.5的信息丢失层进行模拟训练，并在周期性迭代中利用验证图像集合对训练超参数的不断优化，在损失值最小时，得到所述道路检测模型。

9.如权利要求8所述的方法，其特征在于，根据如下表达式计算所述损失值：

其中，loss_class表示损失值，I表示训练图像像素点子集，p_i表示训练图像像素点子集中第i个像素点被预测为其真实类别的概率，q_i表示训练图像像素点子集中第i个像素点被预测的类别是否为其真实类别的量化值，c表示像素点的类别。

10.一种道路检测方法，其特征在于，所述方法包括：

步骤一，获取车载摄像头图像；

步骤二，基于所述车载摄像头图像，利用预设道路检测模型确定所述车载摄像头图像中的道路信息，其中，所述预设道路检测模型采用如权利要求1～9中任一项所述的方法构建得到。