CN109753959A - 基于自适应多尺度特征融合的路面交通标志检测方法 - Google Patents

Abstract

本发明公开了一种基于自适应多尺度特征融合的路面交通标志检测方法，用于解决现有路面交通标志检测方法的技术问题。技术方案是将图片分批次输入到深度卷积神经网络中，得到深度卷积特征；感兴趣区域提取网络根据最后一层深度卷积特征计算生成可能包含路面交通标志的区域；将感兴趣区域输入到多层特征提取模块得到每个感兴趣区域对应的多尺度卷积特征；将每一个感兴趣区域的多尺度卷积特征独立地输入到反向连接重加权模块得到最有利于当前感兴趣区域检测的多尺度融合特征；将计算得到的多尺度融合特征输入到边框回归器和类别分类器得到边框坐标和类别信息。由于利用深度卷积神经网络提取多尺度特征，提高了路面交通标志检测的准确性，实用性好。

Description

基于自适应多尺度特征融合的路面交通标志检测方法

技术领域

本发明涉及一种路面交通标志检测方法，特别涉及一种基于自适应多尺度特征融合的路面交通标志检测方法。

背景技术

在现代社会中，汽车越来越成为人们日常生活中不可或缺的出行工具。然而汽车在给人们生活提供了很多便利的同时，随着汽车数量的持续爆炸性增加，也产生了一系列问题，如拥挤的道路、恶劣的空气、频繁发生的交通事故等等。在这些问题中，交通事故已经成为威胁人们生命安全的重要因素之一。随着科技的进步，智能交通成为人们探索可能解决频繁发生交通事故问题的重要领域。近年来越来越多高科技公司和研究人员试图通过计算机视觉相关技术实现车辆的智能感知，以此来实现高级辅助驾驶和无人驾驶汽车。在智能驾驶领域，交通标志、行人、车辆是重要的检测对象，对车辆能够实现按照交通规则行驶和成功避障具有重要意义。路面交通标志是指画在道路上的指示标志，它们提供了重要的交通导航信息。已有的路面交通标志检测方法可以分为两大类：基于传统的图像处理和机器学习方法和基于深度学习的检测方法。前者主要依靠人工设计的特征和传统的机器学习分类方法实现路面标志的检测，该类方法不仅计算步骤繁琐而且检测性能低下，泛化能力不足。后者主要依靠深度神经网络从大量的数据中学习得到鲁棒的特征表达，进而实现优良的检测性能。

已有的基于深度学习的路面交通标志检测方法有朱等人在专利“路面交通标志检测与识别方法，CN106372571A，中国”中使用的Ren等人在文献“Shaoqing Ren,Kaiming He,Ross Girshick,and Jian Sun.Faster r-cnn:Towards realtime object detectionwith region proposal networks.In Advances in neural information processingsystems,pages 91–99,2015.”中提出的Faster RCNN方法，和刘等人在专利“一种基于SSD的路面交通标志识别方法，CN108416283A，中国”中使用的Liu等人在文献“Wei Liu,Dragomir Anguelov,Dumitru Erhan,Christian Szegedy,Scott Reed,Cheng-Yang Fu,and Alexander C Berg.Ssd:Single shot multibox detector.In European conferenceon computer vision,pages21–37.Springer,2016.”中提出的SSD方法。对于尺度和形状变化剧烈的路面交通标志检测来说，以上两种方法提取的卷积特征多尺度表达能力弱，没有充分挖掘卷积网络的多尺度特征，不利于多尺度路面交通标志的检测。

发明内容

为了克服现有路面交通标志检测方法实用性差的不足，本发明提供一种基于自适应多尺度特征融合的路面交通标志检测方法。该方法将图片分批次输入到深度卷积神经网络中，计算相应批次的卷积特征，得到深度卷积特征；感兴趣区域提取网络根据最后一层深度卷积特征计算生成可能包含路面交通标志的区域；将感兴趣区域输入到多层特征提取模块得到每个感兴趣区域对应的多尺度卷积特征；将每一个感兴趣区域的多尺度卷积特征独立地输入到反向连接重加权模块得到最有利于当前感兴趣区域检测的多尺度融合特征；将计算得到的多尺度融合特征输入到边框回归器和类别分类器得到边框坐标和类别信息。由于利用深度卷积神经网络提取多尺度特征，提高了路面交通标志检测的准确性，实用性好。

本发明解决其技术问题所采用的技术方案：一种基于自适应多尺度特征融合的路面交通标志检测方法，其特点是包括以下步骤：

步骤一、将图片分批次输入到深度卷积神经网络中，计算相应批次的卷积特征，得到深度卷积特征。

步骤二、感兴趣区域提取网络根据最后一层深度卷积特征计算生成可能包含路面交通标志的感兴趣区域。

步骤三、将步骤二得到的感兴趣区域输入到多层特征提取模块中，得到每个感兴趣区域对应的多尺度卷积特征。多层特征提取模块计算方法表示为：

ROI_feats＝MLPool([C₅,C₄,C₃],ROIs)，

其中，C₅,C₄,C₃表示深度卷积网络中最后三层不同尺度的卷积特征，ROIs表示感兴趣区域，ROI_feats表示计算得到的多尺度卷积特征。MLPool表示多层特征提取计算方法。

对于每一个感兴趣区域每一层卷积特征，都依次进行感兴趣区域池化、L₂范数标准化、尺度缩放，最终将不同层的特征在通道维度上进行合并，得到多尺度卷积特征。

步骤四、将步骤三得到的多尺度卷积特征输入到反向连接重加权模块，根据每个感兴趣区域的特征自适应地生成属于当前感兴趣区域的多尺度特征分布权重，使用该权重对特征进行重加权得到独特的多尺度融合特征。该感兴趣区域的多尺度特征ROI_feats通过两个全连接层得到反向连接特征向量F,将ROI_feats在通道维度上拉成向量U，再经过以下注意力模型的计算得到多尺度特征分布权重，通过对特征重加权得到最后的多尺度融合特征。

weight＝softmax(W_aa+b_a),

其中，W_u,W_f,W_a,b_u,b_a是可通过网络学习的模型参数，a是中间结果，weight是生成的权重向量，β是用于恢复特征响应尺度的缩放因子，reweighted_ROI_feats是模块输出的多尺度融合特征，tanh,softmax分别表示双曲正切激活函数和软最大值激活函数。分别表示元素相加计算和元素相乘计算。

步骤五、对于每一个感兴趣区域，将步骤四得到的多尺度融合特征重新输入到两个全连接层后连接最后的两个输出层：边框回归层和类别分类层，得到最终的边框坐标和类别信息。

本发明的有益效果是：该方法将图片分批次输入到深度卷积神经网络中，计算相应批次的卷积特征，得到深度卷积特征；感兴趣区域提取网络根据最后一层深度卷积特征计算生成可能包含路面交通标志的区域；将感兴趣区域输入到多层特征提取模块得到每个感兴趣区域对应的多尺度卷积特征；将每一个感兴趣区域的多尺度卷积特征独立地输入到反向连接重加权模块得到最有利于当前感兴趣区域检测的多尺度融合特征；将计算得到的多尺度融合特征输入到边框回归器和类别分类器得到边框坐标和类别信息。由于利用深度卷积神经网络提取多尺度特征，提高了路面交通标志检测的准确性，实用性好。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

图1是本发明基于自适应多尺度特征融合的路面交通标志检测方法的流程图。

图2是本发明方法实施例采用的多层特征提取模块图。

图3是本发明方法实施例采用的反向连接重加权模块图。

图4是本发明方法实施例检测的13类路面交通标志照片。

图5是本发明方法实施例的检测效果照片。

具体实施方式

参照图1-5。本发明基于自适应多尺度特征融合的路面交通标志检测方法具体步骤如下：

步骤一、计算深度卷积特征。

本发明采用深度卷积神经网络对自然图像直接进行卷积计算，得到尺度大小不同的多层卷积特征。其中最后一层卷积特征输入到感兴趣区域提取网络，最后三个不同尺度的卷积特征输入到感兴趣区域多层特征提取模块。其中，主干网络可以选择不同的网络结构，本发明采用K.Simonyan等人在文献“K.Simonyan and A.Zisserman.Very deepconvolutional networks for large-scale image recognition.InternationalConference on Learning Representations(ICLR),2015.”中使用的网络结构，简称VGGNet16。该网络由13个卷积层，5个池化层，和3个全连接层组成。

步骤二、计算感兴趣区域。

感兴趣区域指可能包含路面交通标志的候选框，由感兴趣区域提取网络根据上一步输入的最后一层卷积特征经过计算得到。计算方法采用Ren等人在Faster RCNN中使用的感兴趣区域提取方法。

步骤三、计算感兴趣区域的多尺度卷积特征。

将上一步得到的感兴趣区域输入到多层特征提取模块中，得到每个感兴趣区域对应的多尺度卷积特征。多层特征提取模块计算方法表示为：

ROI_feats＝MLPool([C₅,C₄,C₃],ROIs)，

其中，C₅,C₄,C₃表示深度卷积网络中最后三层不同尺度的卷积特征，ROIs表示感兴趣区域，ROI_feats表示计算得到的多尺度卷积特征。MLPool表示多层特征提取计算方法。具体地，对于每一个感兴趣区域每一层卷积特征，都依次进行感兴趣区域池化、L₂范数标准化、尺度缩放，最终将不同层的特征在通道维度上进行合并，得到多尺度卷积特征。

步骤四、自适应融合多尺度特征。

将上一步得到的多尺度特征输入到设计的反向连接重加权模块，根据每个感兴趣区域的特征自适应地生成属于当前感兴趣区域独特的多尺度特征分布权重，最后使用该权重对特征进行重加权得到独特的多尺度融合特征。考虑到该模块的计算方法对于每一个感兴趣都相同，为了描述上的方便，在这里假设只有一个感兴趣区域。具体地，该感兴趣区域的多尺度特征ROI_feats首先通过两个全连接层得到反向连接特征向量F,将ROI_feats在通道维度上拉成向量U，再经过以下注意力模型的计算得到多尺度特征分布权重，进而通过对特征重加权得到最后的多尺度融合特征。

weight＝soft max(W_aa+b_a),

其中，W_u,W_f,W_a,b_u,b_a是可通过网络学习的模型参数，通过它们对特征进行变换，a是中间结果，weight是生成的权重向量，β是用于恢复特征响应尺度的缩放因子，reweighted_ROI_feats是模块输出的多尺度融合特征，tanh,softmax分别表示双曲正切激活函数和软最大值激活函数。分别表示元素相加计算和元素相乘计算。

步骤五、感兴趣区域回归与分类。

对于每一个感兴趣区域，将上一步得到的多尺度融合特征重新输入到两个全连接层后连接最后的两个输出层：边框回归层和类别分类层，得到最终的边框坐标和类别信息。训练阶段采用Ren等人在Faster RCNN中采用的多任务损失函数和小批量的随机梯度下降算法进行优化。

本发明的效果通过以下仿真实验做进一步的说明。

1.仿真条件。

本发明是在GeForce GTX 1080Ti GPU服务器、Ubuntu 16.04操作系统上，运用Python 2.7软件进行的仿真。

实验中使用的路面交通标志数据集来源于85个行车记录仪拍摄的真实城市交通场景下的行车视频，该数据集有9394张图片，其中训练集6472张，测试集2922张。从图4可以看到本发明要检测的13类路面交通标志，分别是60，70，车让人，中心圈，直行和向右，直行，向左，向右，网格线，菱形，直行和向左，掉头，斑马线。

2.仿真内容。

为了对比本发明的有效性，选取Ren等人提出的Faster RCNN和Liu等人提出的SSD方法，分别在训练集上训练网络并在测试集上测试统计平均检测准确率。

表1中，SSD300和SSD512分别指输入图像分别为300×300像素和512×512像素的SSD检测算法。

表1测试集上的检测准确率

方法	平均检测准确率
		Faster RCNN	62.71
SSD300	54.14
		SSD512	61.27
本发明	69.95

从表1可见，本发明提出的方法在检测准确率上均大幅优于目前已经存在的Faster-RCNN和SSD检测方法。本发明由于提取了多尺度的深度卷积特征并自适应地融合多尺度特征，有效提高了特征的多尺度表达能力，对于多尺度的路面交通标志检测提升明显。从图5中可以看到在真实城市交通环境下，本发明对于不同尺度的路面交通标志都有很好的检测效果。

Claims (1)

1.一种基于自适应多尺度特征融合的路面交通标志检测方法，其特征在于包括以下步骤：

步骤一、将图片分批次输入到深度卷积神经网络中，计算相应批次的卷积特征，得到深度卷积特征；

步骤二、感兴趣区域提取网络根据最后一层深度卷积特征计算生成可能包含路面交通标志的感兴趣区域；

步骤三、将步骤二得到的感兴趣区域输入到多层特征提取模块中，得到每个感兴趣区域对应的多尺度卷积特征；多层特征提取模块计算方法表示为：

ROI_feats＝MLPool([C₅,C₄,C₃],ROIs)，

其中，C₅,C₄,C₃表示深度卷积网络中最后三层不同尺度的卷积特征，ROIs表示感兴趣区域，ROI_feats表示计算得到的多尺度卷积特征；MLPool表示多层特征提取计算方法；

对于每一个感兴趣区域每一层卷积特征，都依次进行感兴趣区域池化、L₂范数标准化、尺度缩放，最终将不同层的特征在通道维度上进行合并，得到多尺度卷积特征；

步骤四、将步骤三得到的多尺度卷积特征输入到反向连接重加权模块，根据每个感兴趣区域的特征自适应地生成属于当前感兴趣区域的多尺度特征分布权重，使用该权重对特征进行重加权得到独特的多尺度融合特征；该感兴趣区域的多尺度特征ROI_feats通过两个全连接层得到反向连接特征向量F,将ROI_feats在通道维度上拉成向量U，再经过以下注意力模型的计算得到多尺度特征分布权重，通过对特征重加权得到最后的多尺度融合特征；

weight＝softmax(W_aa+b_a),

其中，W_u,W_f,W_a,b_u,b_a是可通过网络学习的模型参数，a是中间结果，weight是生成的权重向量，β是用于恢复特征响应尺度的缩放因子，reweighted_ROI_feats是模块输出的多尺度融合特征，tanh,softmax分别表示双曲正切激活函数和软最大值激活函数；分别表示元素相加计算和元素相乘计算；

步骤五、对于每一个感兴趣区域，将步骤四得到的多尺度融合特征重新输入到两个全连接层后连接最后的两个输出层：边框回归层和类别分类层，得到最终的边框坐标和类别信息。