CN111160230B

CN111160230B - 一种基于深度学习的道路不规则区域检测网络

Info

Publication number: CN111160230B
Application number: CN201911372843.3A
Authority: CN
Inventors: 张翠翠; 孙辉; 陈小琴
Original assignee: Suzhou Automotive Research Institute of Tsinghua University
Current assignee: Suzhou Automotive Research Institute of Tsinghua University
Priority date: 2019-12-27
Filing date: 2019-12-27
Publication date: 2023-06-06
Anticipated expiration: 2039-12-27
Also published as: CN111160230A

Abstract

本发明公开了一种基于深度学习的道路不规则区域检测网络，包括编码部分和解码部分，所述编码部分采用FPN作为主干网络，主干网络中卷积操作采用可变性卷积以适应不规则目标的结构，并设计Deformable OctConv对目标的高低频进行分解，还设计DOSEnet结构实现自动监督的注意力机制，提升关键目标的学习权重；所述解码部分分为三个分支，分别为前景分支、背景分支和区域候选网络分支，采用DUpsample结构。本发明基于深度学习的道路不规则区域检测网络，为自动驾驶或者高级辅助驾驶提供安全可靠的预警信息；本发明网络的设计针对不规则目标，较普通网络对不规则目标更具有适应性，训练后的模型精度更高；本发明在网络检测精度的前提下，设计方案中采用多种优化手段提升计算速度。

Description

一种基于深度学习的道路不规则区域检测网络

技术领域

本发明涉及智能汽车电子领域，特别涉及一种基于深度学习的道路不规则区域检测网络。

背景技术

近年来自动驾驶技术快速发展，在国外自动驾驶研究领域呈现出从解决交通拥堵问题到重视交通安全性能变化的趋势。在实际生活中，路面凸起、水井盖丢失、凹坑、积水等不规则区域给自动驾驶带来了挑战。基于上述考虑，除了常规的可行驶区域检测之外，业界、学术界还需要深入研究极端路面状态的细粒度检测。Ren J.提出一种基于机器学习的凹坑检测系统，该系统利用基本阈值算法对路面状况进行检测，缩短了道路维修人员识别路面不良状况时间，便于路面坑洼检测和状态维护。Ghadge M.提出一种坑点检测系统，基于智能手机的加速度计进行坑洞探测，利用GPS在Google地图上绘制坑洞位置图，进而提高道路行驶安全性。Limkar S.设计了一种基于Arduino传感模块和Android智能手机的坑洞检测方法，不仅可以探测路面坑洞，还能告知坑洞修复时间。Adewole K.基于机器学习技术，研发出一种能够实时、自动探测坑洞和监测道路交通状况的系统，通过智能手机加速度计和K-均值聚类方法采集尼日利亚路面数据，使道路交通可视化，提高交通安全性。

曹小曙认为，缓解交通拥堵、提高居民出行效率、减少碳排放是我国智慧交通发展面临的关键问题，提出基于智慧交通可达性与碳排放的理论框架，并以广州为案例，研究了居民出行碳排放的特征及影响机理。黄大荣设计了一种新的路网交通拥堵状态刻画模型，通过改进Dempster组合规则实现交通信息融合，以此推导出交通拥堵状态的准确值，最后对重庆市道路进行仿真分析，验证了该方法的实际应用价值。王宗尧建立了一套分布式的智慧交通网络控制系统，该系统采用Multi-Agent技术构建城市交通预警机制和控制机制，并利用拉普拉斯矩阵对各条道路的交通流量进行均衡计算，以缓解交通资源分配不合理造成的交通拥堵。

据英国媒体2017年2月17日报道，福特宣布其正在研发新型道路坑洼预警系统，能够检测路面的坑洼处，并提示附近的其他福特车辆有效躲避。在行驶途中，车上搭载的摄像头能够实时扫描路况，并把关于坑洼的数据反馈到车主的仪表盘。目前，该技术在福特德国Aachen研发中心正处于测试中。杜伦大学的计算机视觉专家Toby Breckon表示，坑洼感应技术已研发多年，我深信这项技术的优越性，即使在遇到雨雪和结冰的状况下，路面检测可能会存在问题。捷豹路虎在2015年曾宣布其正在攻克一项通过车身配备的传感器，来自动收集坑洞信息。英国诺丁汉特伦特大学也在研发关于此的智能系统。另外，2017年初，约克市议会宣布将配备坑洞检测摄像头以收集路面信息，并对受损目标进行维护。目前，福特的一些车型已使用传感器检测坑洼，并调整车身悬架系统以减少对车辆的损伤。一家汽车供应商——CarVi正在为其旗舰售后服务车道偏离和碰撞警告装置加装车载人工智能系统，该系统名为“坑洼探测(Pothole Detection)”，有望帮助减少车辆在道路上的损坏。该系统在车辆的前挡风玻璃上安装前视摄像头，该摄像头配备了9轴传感器，可以检测道路的情况，识别出现在已经存在的坑洼和刚刚开始裂开的坑洼。该公司表示，这是通过先进的转移学习和深度学习技术实现的。

发明内容

本发明目的是：为克服现有技术的缺陷与不足，本发明提供一种基于深度学习的道路不规则区域检测网络，针对不规则区域的语义分割网络，增强路面凸起、凹坑、积水、水井盖丢失等特殊路况下道路边缘检测的稳定性，以满足智能车辆的道路可通行区域边缘和道路坑洼区域边缘的检测需求，满足以下要求：

1.该网络可以用于路面坑洼等不规则目标的检测，为自动驾驶或者高级辅助驾驶提供安全可靠的预警信息；

2.针对不规则物体的满足高精度检测要求；

3.基本不损失精度的前提下，满足快速检测要求。

本发明的技术方案是：

一种基于深度学习的道路不规则区域检测网络，包括编码部分和解码部分，所述编码部分采用FPN作为主干网络，主干网络中卷积操作采用可变性卷积以适应不规则目标的结构，并设计Deformable OctConv对目标的高低频进行分解，还设计DOSEnet结构实现自动监督的注意力机制，提升关键目标的学习权重；所述解码部分分为三个分支，分别为前景分支、背景分支和区域候选网络分支，采用DUpsample结构。

优选的，编码部分的FPN主干网络中的卷积采用的可变性卷积，根据目标的形状在训练过程中自行的调整卷积核。

优选的，所述Deformable OctConv是把OctConv中传统卷积核计算方式替换为Deformable卷积核带偏置计算，以适应目标轮廓，Deformable OctConv用来存储和处理不规则目标在较低空间分辨率下空间变化较慢的特征图，通过降低低频特征的分辨率，持续提高图像和视频识别不规则目标任务的精度。

优选的，所述Deformable OctConv将高频和低频特征映射存储到不同的组中，通过相邻位置间的信息共享，安全地降低低频组的空间分辨率，Deformable OctConv接收包含两个频率的特征映射，并直接从低频映射中提取信息，无需解码回到高频。

优选的，所述解码部分的Dupsample结构，将编码结构中的特征下采样与解码过程融合。

优选的，所述Dupsample结构嵌入到网络时使用softmax with temperature函数来优化，函数表示如下：

其中，T为温度因子，使用梯度下降学习得到。

优选的，所述DOSEnet结构实现自动监督的注意力机制，分别为建议注意模块PAM和掩码注意模块MAM，互补前景信息和背景信息；PAM注意力模块连接了RPN分支和背景分支，通过制作一个蒙版将RPN分支的信息作用于背景分支，使得分割任务集中更多注意力在局部目标上；所述PAM的后面还加入背景选择结构，过滤掉没有用的背景特征。

优选的，所述MAM注意力模块连接了前景和背景分支，互补二者的信息，用到1-sigmoid蒙版和背景选择；同时在MAM中，采用RoIUpsample差值方法,解决在目标检测任务中的感兴趣区域ROI尺寸不同的问题。

优选的，解码部分采用双线性插值的上采样方法的DUpsample结构，建立每个像素之间预测的相关性，其模型减少对特征图分辨率的依赖。

本发明的优点是：

1.本发明提供一种基于深度学习的道路不规则区域检测网络，为自动驾驶或者高级辅助驾驶提供安全可靠的预警信息；

2.本发明网络的设计针对不规则目标，较普通网络对不规则目标更具有适应性，训练后的模型精度更高；

3.本发明在网络检测精度的前提下，设计方案中采用多种优化手段提升计算速度。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明提出的一种不规则目标分割的神经网络结构图；

图2为本发明设计的DOSEnet结构；

图3为本发明设计的Deformable OctConv结构示意图。

具体实施方式

为弥补现有不规则区域检测精度不高，很难达到商用性的现状，本发明公开了一种基于深度学习的道路不规则区域检测网络，如图1所示，包括编码部分和解码部分，所述编码部分采用特征金字塔(Feature Pyramid Networks,FPN)作为主干网络，主干网络中卷积操作采用可变性卷积以适应不规则目标的结构，并设计Deformable OctConv对目标的高低频进行分解，节省内存和计算量；还设计DOSEnet结构实现自动监督的注意力机制，提升关键目标的学习权重；所述解码部分分为三个分支，分别为前景分支、背景分支和区域候选网络分支(Region Proposal Network,RPN)，采用DUpsample结构，这样设计的优点在于在基本不损失精度的前提下大大缩减了计算量。

FPN编码部分的主干网络中的卷积采用可变性卷积，由于不规则目标不具有规则的轮廓，而是可能存在任意形状，普通的卷积核一般为3*3，3*5等这种规则的矩形，和目标的匹配度交叉，可变性卷积可以根据目标的形状在训练过程中自行的调整卷积核，对于不规则目标的学习更具有适应性。

本发明主干Encoder部分采用一种带Deformable OctConvSqueeze-and-Excitation(DOSENet)结构的resnet网络。通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率，这样做的目的在于可以节省内存和计算量，并提升不规则目标的检测识别精度。Deformable OctConv是一种即插即用的卷积单元，可以直接替代传统的卷积，而无需对网络架构进行任何调整，使用方便操作简单，特别的Deformable OctConv中的卷积核采用上述的可变性卷积核。结构如图2所示，图中的Ftr是Deformable OctConv结构，X和U是Ftr的输入(C'*H'*W')和输出(C*H*W)。SENet首先对U先做一个全局平均池化(Global Average Pooling，GAP)(图中的Fsq(·)，称为Squeeze过程)，输出的1*1*C数据再经过两级全连接(图中的Fex(·)，称为Excitation过程)，最后用sigmoid限制到[0，1]的范围，把这个值作为scale乘到U的C个通道上，作为下一级的输入数据。DOSENet不同于SENet的部分在于卷积部分采用Deformable OctConv卷积替代传统卷积，增强对不规则目标的适应性。这种结构的原理是想通过控制scale的大小，把重要的特征增强，不重要的特征减弱，从而让提取的特征指向性更强。Squeeze部分：GAP采用求平均的方法公式如下：

将空间上所有点的信息都平均成了一个值。这么做是因为最终的scale是对整个通道作用的，这就得基于通道的整体信息来计算scale。利用的是通道间的相关性，而不是空间分布中的相关性，用GAP屏蔽掉空间上的分布信息能让scale的计算更加准确。Excitation部分：使用用2个全连接来实现，第一个全连接把C个通道压缩成了C/r个通道来降低计算量(后面跟了RELU)，第二个全连接再恢复回C个通道(后面跟了Sigmoid)，r代表压缩的比例。大量实验证明采用r＝16时整体性能和计算量最平衡。一次mini-batch个样本的squeeze输出并不代表通道真实要调整的scale值，真实的scale要基于全部数据集来训练得出，而不是基于单个batch，因此，为了利用通道间的相关性来训练出真正的scale，网络最后附加了全连接层来进行训练。

本发明所提出的Deformable OctConv及可变性的即插即用的卷积单元，其可以直接替代传统的卷积，而无需对网络架构进行任何调整。其结构特点是把OctConv中传统卷积核计算方式替换为Deformable卷积核带偏置计算，以适应目标轮廓。在自然的图像中，信息以不同的频率传递，其中较高的频率通常以精细的细节编码，较低的频率通常以全局结构编码。类似地，卷积层的输出特征图也可以看做是不同频率的信息的混合。DeformableOctConv可用来存储和处理不规则目标在较低空间分辨率下空间变化“较慢”的特征图，通过降低低频特征的分辨率，持续提高图像和视频识别不规则目标任务的精度，从而节省内存降低计算成本。

图3解释了本发明设计的Deformable OctConv结构设计细节。自然图像可以分解为描述平稳变化结构的低空间频率分量和描述快速变化的精细细节的高空间频率分量。类似地，我们认为卷积层的输出特征映射也可以分解为不同空间频率的特征，并提出了一种新的多频特征表示方法，将高频和低频特征映射存储到不同的组中如图3所示。因此，通过相邻位置间的信息共享，可以安全地降低低频组的空间分辨率，减少空间冗余。为了适应新的特征表示，Deformable OctConv接收包含两个频率的特征映射，并直接从低频映射中提取信息，而无需解码回到高频。作为传统卷积的替代，Deformable OctConv消耗的内存和计算资源都大大减少。此外，Deformable OctConv利用相应的(低频)卷积处理低频信息，有效地扩大了原始像素空间的感受野，从而提高不规则目标的识别性能。

解码部分将传统的非线性插值替换成DUpsample，同时在特征融合方面，不同于之前方法将解码部分中的特征上采样与编码特征融合，本发明将编码结构中的特征下采样与解码过程融合，这样设计的优点在于大大减少了计算量。我们可以用1*1卷积来完成上述的权重与特征相乘的过程。DUpsample的权重是经过预训练得到的，因此在上采样尺度比较大时，不会引入过多的学习参数。但是当我们将这个模块嵌入到网络时会遇到优化问题。因此我们使用softmaxwith temperature函数来解决这个问题，函数表示如下：

其中，T为温度因子，可以使用梯度下降学习得到，这样减少了调试的麻烦，有大量的工作说明，与低层特征结合可以显著的提升分割的精度，其做法如下：

F＝f(concat(upsample(F_i),F_last))

f是在上采样之后的卷积操作，其计算量依赖于特征图的空间大小，这样做会显著增加计算量。得益于DUpsample，我们可以使用下列操作来减少计算量：

F＝f(concat(downsample(F_i),F_last))

这样做不仅保证了在低分辨率下的有效性，而且减少了计算量，同时允许任意层特征融合。

此外，本发明中使用了两种注意力机制，分别为建议注意模块(ProposalAttentionModule,PAM)和掩码注意模块(Mask Attention Module,MAM)，试图互补前景信息和背景信息。PAM注意力模块连接了RPN分支和背景分支，和大部分的注意力机制一样，通过制作一个蒙版将RPN分支的信息作用于背景分支(RPN选择的前景信息，作为背景蒙版的时候应该用1减去，因此此处的蒙版使用1-sigmoid)，这样使得分割任务集中更多注意力在局部目标上，以促进背景语义分割的准确性。在PAM的后面还加入了一个小的结构叫做背景选择，旨在过滤掉没有用的背景特征。MAM注意力模块连接了前景和背景分支，旨在互补二者的信息，方法与之前的类似，同样用到1-sigmoid蒙版和背景选择。同时在MAM中，为了解决在目标检测任务中的感兴趣区域(Region ofInterest,ROI)尺寸的问题，采用RoIUpsample差值方法,用于解决尺寸不同的问题。

decode部分采用DUpsample结构，这样设计的优点在于这种双线性插值的上采样方法，能够更好的建立每个像素之间预测的相关性。模型能够减少对特征图分辨率的依赖，能极大的减少运算量。

本发明网络的设计思想可以应用于任何不规则目标检测当中，例如道路坑洼区域检测，由于路面凸起，凹陷，积水，井盖缺失等现状在采集的图片中呈现出不规则的形态，属于不规则目标，本发明的网络对这种特定的目标有较好的检测效果。主要检测步骤中的要点在于：

(1)为构建用于训练的数据集，在尽可能多场景下采集上述特殊路况的图片；

(2)对于采集的图像进行数据标注，标注规则为将有问题区域按轮廓圈出。

(3)使用标注的数据生成网络学习适应的格式，如PASCAL VOC分割数据的格式。

(4)将本发明的网络融入具体的深度学习框架中如tensorflow,caffe,pytorch等。

(5)开始训练模型。

(6)写推断代码，把训练好的模型载入，模型完成自动识别不规则目标。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明主要技术方案的精神实质所做的修饰，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于深度学习的道路不规则区域检测网络，其特征在于：包括编码部分和解码部分，所述编码部分采用FPN作为主干网络，主干网络中卷积操作采用可变性卷积以适应不规则目标的结构，并设计Deformable OctConv对目标的高低频进行分解，还设计DOSEnet结构实现自动监督的注意力机制，提升关键目标的学习权重；所述解码部分分为三个分支，分别为前景分支、背景分支和区域候选网络分支，采用DUp sample结构。

2.如权利要求1所述的基于深度学习的道路不规则区域检测网络，其特征在于：编码部分的FPN主干网络中的卷积采用的可变性卷积，根据目标的形状在训练过程中自行的调整卷积核。

3.如权利要求2所述的基于深度学习的道路不规则区域检测网络，其特征在于：所述Deformable Oct Conv是把OctConv中传统卷积核计算方式替换为Deformable卷积核带偏置计算，以适应目标轮廓，Deformable OctConv用来存储和处理不规则目标在较低空间分辨率下空间变化较慢的特征图，通过降低低频特征的分辨率，持续提高图像和视频识别不规则目标任务的精度。

4.如权利要求3所述的基于深度学习的道路不规则区域检测网络，其特征在于：所述Deformable OctConv将高频和低频特征映射存储到不同的组中，通过相邻位置间的信息共享，安全地降低低频组的空间分辨率，Deformable OctConv接收包含两个频率的特征映射，并直接从低频映射中提取信息，无需解码回到高频。

5.如权利要求4所述的基于深度学习的道路不规则区域检测网络，其特征在于：所述解码部分的Dupsample结构，将编码结构中的特征下采样与解码过程融合。

6.如权利要求5所述的基于深度学习的道路不规则区域检测网络，其特征在于：所述Dupsample结构嵌入到网络时使用softmax with t emperature函数来优化，函数表示如下：

其中，T为温度因子，使用梯度下降学习得到。

7.如权利要求6所述的基于深度学习的道路不规则区域检测网络，其特征在于：所述DOSEnet结构实现自动监督的注意力机制，分别为建议注意模块PAM和掩码注意模块MAM，互补前景信息和背景信息；建议注意模块PAM连接了RPN分支和背景分支，通过制作一个蒙版将RPN分支的信息作用于背景分支，使得分割任务集中更多注意力在局部目标上；所述建议注意模块PAM的后面还加入背景选择结构，过滤掉没有用的背景特征。

8.如权利要求7所述的基于深度学习的道路不规则区域检测网络，其特征在于：所述掩码注意模块MAM连接了前景和背景分支，互补二者的信息，用到1-sigmoid蒙版和背景选择；同时在掩码注意模块MAM中，采用RoIUpsample差值方法,解决在目标检测任务中的感兴趣区域ROI尺寸不同的问题。

9.如权利要求8所述的基于深度学习的道路不规则区域检测网络，其特征在于：解码部分采用双线性插值的上采样方法的DUpsample结构，建立每个像素之间预测的相关性，其模型减少对特征图分辨率的依赖。