CN107368787B

CN107368787B - 一种面向深度智驾应用的交通标志识别方法

Info

Publication number: CN107368787B
Application number: CN201710459554.1A
Authority: CN
Inventors: 赵祥模; 刘占文; 高涛; 樊星; 沈超; 王润民; 徐志刚; 周经美; 李强; 连心雨; 孔凡杰
Original assignee: Changan University
Current assignee: Changan University
Priority date: 2017-06-16
Filing date: 2017-06-16
Publication date: 2020-11-10
Anticipated expiration: 2037-06-16
Also published as: CN107368787A

Abstract

本发明公开了一种面向深度智驾应用的交通标志识别算法，基于网络对多源公测数据集平移扩展性与稳定性的考虑，建立多源公测数据集对于交通标志的统一类别表征，通过基于局部上下文信息随机裁剪的数据增强策略实现了数据集的扩展，以及多尺度卷积特征图网络与集合网络迭代交替验证训练策略，得到了性能较好的检测网络与识别网络，使网络易于训练且收敛更快；基于自底向上的卷积特征，通过自顶向下融合多尺度卷积特征网络建模方法，提高小尺寸交通标志的查全率；不追求设计更深更复杂的Convnet以获取更高的物体识别率，而是针对交通标志目标的特点，通过对比实验，提出一种能够获得更优信息流动与更好性能表现的集合网络，实现了交通标志的高效识别。

Description

一种面向深度智驾应用的交通标志识别方法

技术领域

本发明属于交通控制技术领域，具体涉及一种面向深度智驾应用的交通标志识别算法。

背景技术

深度学习是人工智能领域的一个重要分支，基于深度学习架构的人工智能已被广泛应用于计算机视觉、自然语言处理、传感器融合、生物识别、自动驾驶等各个领域。2016年9月美国交通运输部发布了关于自动化车辆的测试与部属政策，将美国汽车工程学会J3016标准确立为定义自动化或自动驾驶车辆的全球行业参照标准，用以评定六个级别(L0～L5)的自动驾驶技术。目前自动驾驶受到法律及管理政策等因素制约，L4与L5等级的自动驾驶车辆上路行驶还有待时日，，但是具有限制条件的L3自动驾驶技术(即驾驶者无需监视路况，系统可实现特殊工况下车辆的完全控制)预计在未来五年内实现。高级驾驶辅助系统(ADAS)作为L3～L5自动驾驶技术的必要组成部分，需要完成感知、融合、规划、决策与预警等多种功能。而在有效时间内对复杂交通场景的感知与理解是实现自动驾驶的前提，基于深度学习框架的目标检测与识别方法为ADAS的驾驶环境感知提供了可靠的解决方案。对于自动驾驶车辆而言，交通标志的正确识别是引导自动驾驶车辆在道路系统中规范行驶的前提，因此，交通标志识别系统是ADAS的一个必要组成部分。

传统方法如基于模板匹配交通标志检测与识别算法、基于HOG特征 +SVM分类器的交通标志检测与识别算法等因为仅仅利用图像的底层信息而不能具有良好的扩展性与鲁棒性。随着神经网络的发展以及R-CNN， Fast-rcnn、Faster-rcnn、FPN、Sppnet、Yolo、ResNet、SSD等区域卷积神经网络的出现，将基于区域的Convnet应用于交通标志的检测与识别，已成为新的研究方向，并且这种方法在2015与2016的ILSVC大赛中都取得了优异的成绩。然而，现有基于Convnet的TSR算法具有一些问题：首先，不同国家相同含义的交通标志具有不同表现形式，但上述研究成果大都采用公测数据集进行测试与评价，故可扩展性与通用性较低；其次，它们对噪声和遮挡等图像退化较为敏感，稳定性差；最后，不同的激活函数、网络参数、网络层数及分类层的损失函数仍会消耗不同的计算时间，对时效性有一定影响。

发明内容

本发明的目的在于提供一种面向深度智驾应用的交通标志识别算法，以克服现有技术的不足，本发明能够地提高Convnet的扩展性、稳定性与时效性，以满足ADAS的实际要求，并挖掘与揭示多尺度网络与集合网络内部的特征学习机理，为将来基于深度系统的自动驾驶TSR任务提供一种有效可靠的算法。

为达到上述目的，本发明采用如下技术方案：

一种面向深度智驾应用的交通标志识别算法，具体包括以下步骤：

1)、首先对多源公测数据集进行数据增强；

2)、然后对检测网络与识别网络进行交替迭代训练；

3)、以检测数据集GTSDB与LISA-TS为数据平台，基于图像的多层卷积特征，用自顶向下的多尺度卷积特征融合方法，构造一组表征图像不同尺度卷积的层次语义特征图，以实现锚点在具有更多语义集合的多个尺度卷积特征图上对交通标志感兴趣区域进行提取；

4)、对网络中间层的串联与并联集合方式进行设计与研究对网络中间层的串联集合与并联集合方式进行对比试验从而获得更优信息流动与更好性能表现的集合网络。

进一步的，步骤1)中，选择多源主流交通标志检测数据集GTSDB和 LISA-TSD，将交通标志识别数据集GTSRB和BTSCB作为初始数据集，将 GTSDB与LISA-TSD中具有标注框的正样本取出，增补至交通标志识别数据集GTSRB与BTSCB中。

进一步的，步骤1)中，挖掘多源公测识别数据集中同类交通标志图形内部边界特征表达，定义高层的多源同类交通标志局部上下文结构相似性度量，依此建立多源公测数据集对于同类交通标志的统一性特征表达以进行同类合并，构成具有统一类别数目的合并识别数据集。

进一步的，步骤1)中，采用超图思想建立训练样本内部小区域结构联系的相似性度量，随机选择一定比例的小区域中心确定不同裁剪区域，作为扩展训练样本。

进一步的，步骤2)中，对两个Resnet_34模型进行交替迭代训练，用 imagenet预训练模型初始化Resnet_34_1检测模型、Resnet_34_2识别模型，并微调网络参数，使用新的分类数据集对Resnet_34_2识别模型进行训练，得到Resnet_34_2_1识别模型，并微调网络参数。

进一步的，具体的，将检测数据集作为Resnet_34_1检测模型的训练数据，使用基于Resnet_34_1检测模型的多尺度特征图生成交通标志感兴趣区域，并将其作为Resnet_34_2识别模型的训练数据，对Resnet_34_2_1识别模型进行训练，然后固定Resnet_34_2_1识别模型的卷积层，并对 Resnet_34_2_1识别模型进行微调，生成更新的Resnet_34_2_2识别模型；

使用更新的Resnet_34_2_2识别模型参数重新初始化为Resnet_34_1_1 检测模型，并使用检测数据集训练Resnet_34_1_1检测模型，固定 Resnet_34_1_1检测模型的卷积层，实现对Resnet_34_1_1检测模型进行微调，生成更新Resnet_34_1_2检测模型；

使用基于更新的Resnet_34_1_2检测模型的多尺度特征图再次生成交通标志感兴趣区域，固定更新的Resnet_34_2_2识别模型参数，对基于更新的 Resnet_34_2_2识别模型参数进行微调，生成识别模型，再重复迭代执行上述步骤，直至收敛。

采用迭代交替验证的训练策略对检测部分与识别部分的残差网络进行训练，生成训练好的检测网络与识别网络；在训练过程中，同时要考虑网络训练与测试的协同与交互，即在训练与测试时都采用数据增强，且对训练好的网络做协同测试对比分析，包括校验误差、时间复杂度、迭代次数、网络深度引起的训练误差等，最后确定最优的网络配置。

进一步的，步骤3)中，基于图像自底向上的Convnet不同尺度多级下采样卷积特征图组输出f1～f5，最上层的卷积特征图组f5经过2倍上采样后，获得与f4相同的尺寸，f4经过1×1的Inception卷积，获得与f5相同的通道数，将两者进行逐个像素累加，经过3×3的卷积，得到一组具有f5与f4 语义叠加的特征图P4；然后依次迭代，直至得到最后一组具有f1～f5所有语义集合的特征图，由此构成了5个尺度卷积的层次语义特征图组。

进一步的，采用小尺寸交通标志20×20作为锚点，设置3种比例，在5 个尺度卷积的层次语义特征图组上进行感兴趣区域滑动检测，然后将感兴趣候选区送入分类器进行标签预测，待确定为正样本后送入回归器，由回归器进行边界框的精确回归与分数预测；

锚点对应的像素区域及宽高比设置需要根据交通标志目标尺寸设定；图像采样尺寸、卷积核及通道数都需要经过实验论证与网络测试分析后最终确定。

进一步的，步骤4)中、设计并联集合网络，将64维输入同时作为16 个并联3×3×64×8卷积核的独立输入，在通过16个3×3×8×64卷积核实现64维度还原，然后将16个分支网络的输出叠加作为下一残差子块的输入；设计串联集合网络，将64维输入同时作为16个并联3×3×64×8卷积核的独立输入，再将其16个8维输出串联得到128维的输出作为下一残差子块的输入。

进一步的，对以上两种集合网络进行单独训练与测试，通过对比实验，验证在交通标志识别任务中多个潜在网络的集合是否能够获得更优的信息流动与更好的性能表现。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种面向深度智驾应用的交通标志识别算法，基于网络对多源公测数据集平移扩展性与稳定性的考虑，建立多源公测数据集对于交通标志的统一类别表征，提出一种有效的基于局部上下文信息随机裁剪的数据增强策略实现了数据集的扩展，以及提出一种多尺度卷积特征图网络与集合网络迭代交替验证训练策略，得到了性能较好的检测网络与识别网络，使网络易于训练且收敛更快；基于自底向上的卷积特征，提出一种自顶向下融合多尺度卷积特征网络建模方法，提高小尺寸交通标志的查全率；不追求设计更深更复杂的Convnet以获取更高的物体识别率，而是针对交通标志目标的特点，通过对比实验，提出一种能够获得更优信息流动与更好性能表现的集合网络，实现了交通标志的高效识别。

进一步的，本发明采用FPN特征图生成方法以及SSD中不同尺度特征图产生不同宽高比边界框预测的思想，有效地提高了Convnet的扩展性、稳定性与时效性，更加满足ADAS的实际要求。

附图说明

图1是本发明方法的流程示意图。

图2是步骤1与步骤2的流程示意图。

图3是步骤4中两种设计方案的示意图。

具体实施方式

如图1所示，一种面向深度智驾应用的交通标志识别算法，具体包括以下步骤：

1)、首先对多源公测数据集进行数据增强；

2)、然后对检测网络与识别网络进行交替迭代训练；

4)、对网络中间层的串联与并联集合方式进行设计与研究，通过对比试验，挖掘与揭示集合网络内部学习机理，提出一种能够获得更优信息流动与更好性能表现的集合网络，以实现对交通标志的识别。

如图2所示，步骤1)中，选择多源主流交通标志检测数据集GTSDB 和LISA-TSD，将交通标志识别数据集GTSRB和BTSCB作为初始数据集，将GTSDB与LISA-TSD中具有标注框的正样本取出，增补至交通标志识别数据集GTSRB与BTSCB中；

步骤1)中，挖掘多源公测识别数据集中同类交通标志图形内部边界特征表达，定义高层的多源同类交通标志局部上下文结构相似性度量，依此建立多源公测数据集对于同类交通标志的统一性特征表达以进行同类合并，构成具有统一类别数目的合并识别数据集；

步骤1)中，采用超图思想建立训练样本内部小区域结构联系的相似性度量，随机选择一定比例的小区域中心确定不同裁剪区域，作为扩展训练样本。选取470万张作为扩展训练样本进行数据增强，引用这种基于局部信息随机裁剪的数据增强方法，利用正确的局部上下文信息训练网络模型，使其更好地学习目标内部的局部精细特征，再结合常用的RGB颜色空间PCA变换 5万张和HSV颜色空间对比度线性变换组合使用10万张，得到扩展后的新的训练数据集490万张。

步骤2)中，由于相同测试条件下，残差网络(Resnet)与其他同等深度网络相比，更容易进行端对端训练，收敛更快，而且从一定程度上解决了后向传播梯度消失与网络退化问题，因此选择共享权值的相同Convnet作为检测部分与识别部分的主体框架，如图2所示，

步骤2)中，以两个Resnet_34模型为例，用imagenet预训练模型初始化Resnet_34_1检测模型、Resnet_34_2识别模型，并微调网络参数，使用新的分类数据集对Resnet_34_2识别模型进行训练，得到Resnet_34_2_1识别模型，并微调网络参数；

将检测数据集作为Resnet_34_1检测模型的训练数据，使用基于 Resnet_34_1检测模型的多尺度特征图生成交通标志感兴趣区域，并将其作为Resnet_34_2识别模型的训练数据，对Resnet_34_2_1识别模型进行训练，然后固定Resnet_34_2_1识别模型的卷积层，并对Resnet_34_2_1识别模型进行微调，生成更新的Resnet_34_2_2识别模型；

使用基于更新的Resnet_34_1_2检测模型的多尺度特征图再次生成交通标志感兴趣区域，固定更新的Resnet_34_2_2识别模型参数，对基于更新的 Resnet_34_2_2识别模型参数进行微调，生成识别模型，再重复迭代执行上述步骤，直至收敛；

采用迭代交替验证的训练策略对检测部分与识别部分的残差网络进行训练，生成训练好的检测网络与识别网络。在训练过程中，同时要考虑网络训练与测试的协同与交互，即在训练与测试时都采用数据增强，且对训练好的网络做协同测试对比分析，包括校验误差、时间复杂度、迭代次数、网络深度引起的训练误差等，最后确定最优的网络配置。

步骤3)中，基于图像自底向上的Convnet不同尺度多级下采样卷积特征图组输出f1～f5，最上层的卷积特征图组f5(尺寸最小语义特征多)经过2 倍上采样后，获得与f4相同的尺寸，f4经过1×1的Inception卷积，获得与 f5相同的通道数，将两者进行逐个像素累加，经过3×3的卷积，得到一组具有f5与f4语义叠加的特征图P4；然后依次迭代，直至得到最后一组具有 f1～f5所有语义集合的特征图，由此构成了5个尺度卷积的层次语义特征图组；

采用小尺寸交通标志20×20作为锚点，设置3种比例，在5个尺度卷积的层次语义特征图组上进行感兴趣区域滑动检测，然后将感兴趣候选区送入分类器进行标签预测，待确定为正样本后送入回归器，由回归器进行边界框的精确回归与分数预测；

如图3所示，步骤4)中、设计并联集合网络，将64维输入同时作为16 个并联3×3×64×8卷积核的独立输入，在通过16个3×3×8×64卷积核实现64维度还原，然后将16个分支网络的输出叠加作为下一残差子块的输入；设计串联集合网络，将64维输入同时作为16个并联3×3×64×8卷积核的独立输入，再将其16个8维输出串联得到128维的输出作为下一残差子块的输入；

对以上两种集合网络进行单独训练与测试，通过对比实验，验证在交通标志识别任务中多个潜在网络的集合是否能够获得更优的信息流动与更好的性能表现。

Claims

1.一种面向深度智驾应用的交通标志识别方法，其特征在于，具体包括以下步骤：

1)、首先对多源公测数据集进行数据增强；

2)、然后对检测网络与识别网络进行交替迭代训练；对两个Resnet_34模型进行交替迭代训练，用imagenet预训练模型初始化Resnet_34_1检测模型、Resnet_34_2识别模型，并微调网络参数，使用新的分类数据集对Resnet_34_2识别模型进行训练，得到训练后的Resnet_34_2_1识别模型，并微调网络参数；将检测数据集作为Resnet_34_1检测模型的训练数据，使用基于Resnet_34_1检测模型的多尺度特征图生成交通标志感兴趣区域，并将其作为Resnet_34_2识别模型的训练数据，对训练后的Resnet_34_2_1识别模型进行训练，然后固定训练后的Resnet_34_2_1识别模型的卷积层，并对训练后的Resnet_34_2_1识别模型进行微调，生成更新的Resnet_34_2_2识别模型；

使用更新的Resnet_34_2_2识别模型参数重新初始化为Resnet_34_1_1检测模型，并使用检测数据集训练Resnet_34_1_1检测模型，固定Resnet_34_1_1检测模型的卷积层，实现对Resnet_34_1_1检测模型进行微调，生成更新Resnet_34_1_2检测模型；

使用基于更新的Resnet_34_1_2检测模型的多尺度特征图再次生成交通标志感兴趣区域，固定更新的Resnet_34_2_2识别模型参数，对基于更新的Resnet_34_2_2识别模型参数进行微调，生成识别模型，再重复迭代执行上述步骤，直至收敛；

3)、以检测数据集GTSDB与LISA-TS为数据平台，基于图像的多层卷积特征，用自顶向下的多尺度卷积特征融合方法，构造一组表征图像不同尺度卷积的层次语义特征图，以实现锚点在具有更多语义集合的多个尺度卷积特征图上对交通标志感兴趣区域进行提取；基于图像自底向上的Convnet不同尺度多级下采样卷积特征图组输出f1～f5，最上层的卷积特征图组f5经过2倍上采样后，获得与f4相同的尺寸，f4经过1×1的Inception卷积，获得与f5相同的通道数，将两者进行逐个像素累加，经过3×3的卷积，得到一组具有f5与f4语义叠加的特征图P4；然后依次迭代，直至得到最后一组具有f1～f5所有语义集合的特征图，由此构成了5个尺度卷积的层次语义特征图组；

4)、对网络中间层的串联集合与并联集合方式进行对比试验从而获得更优信息流动与更好性能表现的集合网络。

2.根据权利要求1所述的一种面向深度智驾应用的交通标志识别方法，其特征在于，步骤1)中，选择多源主流交通标志检测数据集GTSDB和LISA-TSD，将交通标志识别数据集GTSRB和BTSCB作为初始数据集，将GTSDB与LISA-TSD中具有标注框的正样本取出，增补至交通标志识别数据集GTSRB与BTSCB中。

3.根据权利要求2所述的一种面向深度智驾应用的交通标志识别方法，其特征在于，步骤1)中，挖掘多源公测识别数据集中同类交通标志图形内部边界特征表达，定义高层的多源同类交通标志局部上下文结构相似性度量，依此建立多源公测数据集对于同类交通标志的统一性特征表达以进行同类合并，构成具有统一类别数目的合并识别数据集。

4.根据权利要求3所述的一种面向深度智驾应用的交通标志识别方法，其特征在于，步骤1)中，采用超图思想建立训练样本内部小区域结构联系的相似性度量，随机选择一定比例的小区域中心确定不同裁剪区域，作为扩展训练样本。

5.根据权利要求1所述的一种面向深度智驾应用的交通标志识别方法，其特征在于，采用小尺寸交通标志20×20作为锚点，设置3种比例，在5个尺度卷积的层次语义特征图组上进行感兴趣区域滑动检测，然后将感兴趣候选区送入分类器进行标签预测，待确定为正样本后送入回归器，由回归器进行边界框的精确回归与分数预测；

6.根据权利要求1所述的一种面向深度智驾应用的交通标志识别方法，其特征在于，步骤4)中、设计并联集合网络，将64维输入同时作为16个并联3×3×64×8卷积核的独立输入，在通过16个3×3×8×64卷积核实现64维度还原，然后将16个分支网络的输出叠加作为下一残差子块的输入；设计串联集合网络，将64维输入同时作为16个并联3×3×64×8卷积核的独立输入，再将其16个8维输出串联得到128维的输出作为下一残差子块的输入。

7.根据权利要求6所述的一种面向深度智驾应用的交通标志识别方法，其特征在于，对以上两种集合网络进行单独训练与测试，通过对比实验，验证在交通标志识别任务中多个潜在网络的集合是否能够获得更优的信息流动与更好的性能表现。