CN114821519A - 一种基于坐标注意力的交通标志识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于坐标注意力的交通标志识别方法及系统，方法包括：实时接收前方道路的图像数据帧；对图像数据帧循环下采样后进行二维方向的池化分解，获取分解后的若干特征图像块；将分解后的特征图像块的位置信息嵌入到通道注意力中，根据特征图像块中相同的维度信息进行各个阶段的拼接融合，通过二维方向的卷积处理后获取目标特征图像；响应于预设的交通标志图库，在获取到目标特征图像后，利用激活函数对目标特征图像进行分类，获取图像数据帧中的交通标志信息。本发明平衡检测速度与识别精度的性能，提高网络的特征提取能力并改善对遮挡目标和小目标的检测效果，在真实场景中对道路交通标志进行实时检测。

Description

一种基于坐标注意力的交通标志识别方法及系统

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于坐标注意力的交通标志识别方法及系统。

背景技术

交通标志识别在无人驾驶和辅助驾驶领域中至关重要，但是一些交通事故的产生，还是由于驾驶人员未能准确定位交通标志牌的位置及其意义，因此，高效的交通标识识别技术有助于减少交通事故的产生，提高道路的通行效率。

目前车载技术上采用的交通标志识别技术主要分为基于传统算法和基于深度学习检测算法。其中，传统检测算法的相关研究中，Fleyeh H等人使用基于AdaBoost二进制分类器和循环霍夫变换的颜色分割对交通标志进行检测，该方法准确率较高并拥有较好的鲁棒性；杜影丽等人根据交通限速标志的颜色和形状特征，通过特征匹配有效对自然场景中的限速标志进行检测与识别。深度学习的检测算法相关研究中，陈名松等人采用基于改进CapsNet的交通标志分类模型，充分保留了图像的空间特征；郭瑶等人通过对检测分支特征在通道和空间2个维度进行重新标定，使网络聚焦和增强有效特征。上述方法在改善交通标志识别性能的同时仍然存在各自的局限性。其中杜影丽等人所提方法只针对限速标志进行检测与识别，实用性有待提升；其他人所提方法未能解决检测精度与检测速度之间的性能不均衡问题，无法满足实时性。

虽然现有的交通标志识别技术已取得较高的成就，但对于真实道路场景下的交通标志检测与识别还存在一些问题，比如，由于真实道路场景中环境复杂，交通标志识别因存在光照、目标遮挡以及小目标难以检测等问题，导致识别精度较低；又比如，真实道路场景中行车速度较快，因此交通标志识别需要具有较好的实时性，而现有算法检测速度还亟待提升。

发明内容

本申请实施例通过提供一种基于坐标注意力的交通标志识别方法及系统，解决了现有技术中由于真实道路场景中环境复杂，交通标志识别因存在光照、目标遮挡以及小目标难以检测等问题，导致识别精度较低，以及真实道路场景中行车速度较快导致无法快速识别的技术问题，实现了通过交通标志识别模型实现精确识别小目标中的交通标识的目的，平衡检测速度与识别精度的性能，提高网络的特征提取能力并改善对遮挡目标和小目标的检测效果，在真实场景中对道路交通标志进行实时检测。

第一方面，本申请实施例提供了一种基于坐标注意力的交通标志识别方法，所述方法包括：

响应于车载终端触发的目标事件，所述目标事件配置为车辆在行驶过程中，实时接收前方道路的图像数据帧，以便通过预设的交通标志识别模型识别获取所述图像数据帧中目标特征图像的交通标志信息；

响应于所述交通标志识别模型在接收到所述图像数据帧后，对所述图像数据帧循环下采样后进行二维方向的池化分解，获取分解后的若干特征图像块；将分解后的所述特征图像块的位置信息嵌入到通道注意力中，根据所述特征图像块中相同的维度信息进行各个阶段的拼接融合，通过二维方向的卷积处理后获取目标特征图像；

响应于所述交通标志识别模型中预设的交通标志图库，在获取到所述目标特征图像后，利用激活函数对所述目标特征图像进行分类，获取所述图像数据帧中的交通标志信息。

进一步地，所述交通标志识别模型采用残差结构的轻量级卷积神经网络结构训练形成；

其中，所述轻量级卷积神经网络结构包括图像分解网络结构和特征融合网络结构。

进一步地，所述图像分解网络结构接收图像数据帧后，按照预设的下采样规则，循环提取不同尺寸要求的特征源图像，按照X方向和Y方向对所述特征源图像分别进行平均池化分解，获取若干所述特征图像块。

进一步地，所述特征源图像在进行平均池化分解时，自动生成各所述特征图像块的位置信息；对池化分解后形成的所述特征图像块利用所述位置信息进行特征编码，生成两组并行的一维特征编码。

进一步地，在所述特征融合网络结构获取各所述特征图像块的一维特征编码后，分别沿X、Y的空间方向进行特征聚合，以获取二维空间坐标信息。

进一步地，将各所述特征图像块的所述位置信息嵌入到通道注意力中时，对X方向的输入采用尺寸为(H，1)和(1，W)的池化核，分别沿着X坐标方向和Y坐标方向对每个通道进行编码；

高度为h的第c个通道的输出如公式(1)所示，

相应的，宽度为w的第c个通道的输出如公式(2)所示，

进一步地，在所述特征图像块中相同的维度信息进行各个阶段的拼接融合时，包括连续层级的特征拼接，以及跨层连接的特征拼接。

进一步地，在利用激活函数对所述目标特征图像进行分类时，还利用如下损失函数(3)对所述目标特征图像进行真实信息判断；

进一步地，在进行池化分解时，还在最大池化阶段采用空间池化金字塔结构。

第二方面，本申请实施例提供了一种基于坐标注意力的交通标志识别系统，采用实施例一种任意一项所述的方法，包括：

数据接收模块，配置为响应于车载终端触发的目标事件，所述目标事件配置为车辆在行驶过程中，实时接收前方道路的图像数据帧，以便通过预设的交通标志识别模型识别获取所述图像数据帧中目标特征图像的交通标志信息；

特征确定模块，配置为响应于所述交通标志识别模型在接收到所述图像数据帧后，对所述图像数据帧循环下采样后进行二维方向的池化分解，获取分解后的若干特征图像块；将分解后的所述特征图像块的位置信息嵌入到通道注意力中，根据所述特征图像块中相同的维度信息进行各个阶段的拼接融合，通过二维方向的卷积处理后确定目标特征图像；

标志识别模块，配置为响应于所述交通标志识别模型中预设的交通标志图库，在获取到所述目标特征图像后，利用激活函数对所述目标特征图像进行分类，识别出所述图像数据帧中的交通标志信息。

本申请实施例中提供的技术方案，至少具有如下技术效果：

1、本发明采用坐标注意力，将位置信息嵌入通道注意力中，使得残差结构的轻量级卷积神经网络结构能够获得更大区域的信息并更准确地获取感兴趣区域，即为采用坐标注意力能够有效的捕获位置信息和通道之间的关系，更准确地获取感兴趣区域并减弱背景的干扰，从而提高正样本的特征权重。

2、本发明在特征融合网络结构中加入跨层连接，即为添加一条额外的路径以便在不增加成本的情况下融合更多的特征，提高网络的特征提取能力，改善对遮挡目标的检测效果，从而提高网络的特征提取能力，改善小目标的检测效果。

3、本发明对损失函数CIoU loss进行改进，降低大中目标的损失权重，缓解检测过程中样本尺寸分布不均衡的情况，实现了在交通标志识别过程中对预测信息与真实信息之间更精确的损失计算，提高对小目标的识别精度。

4、本发明有效提升对道路交通标志识别精度的同时能够保持极高的检测速度，模型复杂度低，部署在手机等硬件设备上时能够避免内存溢出而导致的无法运行等情况。

附图说明

图1为本申请实施例一中基于坐标注意力的交通标志识别方法的流程图；

图2为本申请实施例一中轻量级卷积神经网络结构示意图；

图3为本申请实施例一中基于坐标注意力的交通标志识别网络结构示意图；

图4为本申请实施例一中改进的空间池化金字塔网络示意图；

图5为本申请实施例二中基于坐标注意力的交通标志识别系统模块图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例一

参考附图1所示，本申请实施例提供了一种基于坐标注意力的交通标志识别方法，该方法包括如下步骤。

步骤S1：响应于车载终端触发的目标事件，目标事件配置为车辆在行驶过程中，实时接收前方道路的图像数据帧，以便通过预设的交通标志识别模型识别获取图像数据帧中目标特征图像的交通标志信息。

步骤S2：响应于交通标志识别模型在接收到图像数据帧后，对图像数据帧循环下采样后进行二维方向的池化分解，获取分解后的若干特征图像块；将分解后的特征图像块的位置信息嵌入到通道注意力中，根据特征图像块中相同的维度信息进行各个阶段的拼接融合，通过二维方向的卷积处理后获取目标特征图像。

步骤S3：响应于交通标志识别模型中预设的交通标志图库，在获取到目标特征图像后，利用激活函数对目标特征图像进行分类，获取图像数据帧中的交通标志信息。

本实施例中的车载终端不限于固定在车辆上的设备，也可以是驾驶人员的手机终端。

本实施例中的交通标志识别模型采用残差结构的轻量级卷积神经网络结构训练形成。其中，轻量级卷积神经网络结构包括图像分解网络结构和特征融合网络结构。参考图2所示，左侧虚线框内为图像分解网络结构图，右侧虚线框内为特征融合网络结构图。参考附图3所示进一步说明，轻量级卷积神经网络结构对接收的图像数据帧进行输入、循环池化、拼接卷积、线性处理、二维卷积、激活以及输出处理。

交通标志识别模型连接车载终端，获取采集的前方道路的图像数据帧即为完成输入处理。

进一步对获取的图像数据帧进行循环池化处理，在轻量级卷积神经网络结构设置图像分解网络结构，图像分解网络结构接收图像数据帧后，按照预设的下采样规则，循环提取不同尺寸要求的特征源图像，按照X方向和Y方向对特征源图像分别进行平均池化分解，获取若干特征图像块。

进一步说明，本实施例中在进行下采样之前，还包括对接收的图像数据帧进行预处理，将输入的图像数据帧的分辨率调整到预定尺寸后，再进行下采样操作。比如，将输入的图像数据帧的分辨率增大到1280×1280，并在图像分解网络结构中增加其他尺寸的后序的下采样，本实施例中将下采样的尺寸设置为四种，分别为160×160、80×80、40×40、20×20，以此来保留更多的特征信息。因此可以知道，由于采用轻量级卷积神经网络结构进行训练及检测，因此只需要占用较少的内侧，本实施例在不改变显存大小、批处理大小及线程数的情况下，可以将输入分辨率为640×640的图像数据帧增大到1280×1280，以此缓解下采样过程中特征信息的丢失。

本实施例中采用全局二维池化分解，也就是说，分别从X方向和Y方向进行一维池化分解，以获取X方向和Y方向的特征图像块。本实施例中的X方向和Y方向可以定义为相互垂直的水平方向和竖直方向，因此，在特征源图像在进行平均池化分解时，自动生成各特征图像块的位置信息。本实施例中为了便于特征融合，对池化分解后形成的特征图像块利用位置信息进行特征编码，生成两组并行的一维特征编码。其中，定义输入的图像数据中，C表示卷积核通道数，W表示宽度，H表示高度，那么输入的图像数据帧的尺寸为C×H×W，因此可以知道，X方向池化后的尺寸可以用C×H×1表示，Y方向池化后的尺寸可以用C×1×W表示。

对池化后的特征图像块进行拼接卷积处理，也就是说，在特征融合网络结构获取各特征图像块的一维特征编码后，分别沿X、Y的空间方向进行特征聚合，以获取二维空间坐标信息。进一步说明，由于特征图像块在X方向和Y方向可以用C×H×1、C×1×W表示，那么拼接卷积后融合的特征图像块的尺寸可以用C/r×1×(W+H)表示。

本实施例中，在进行池化分解时，还在最大池化阶段采用空间池化金字塔结构。进一步说明，参考附图4所示，为了提高空间池化金字塔结构的运行速度，本实施例中采用池化核为5的二维最大池化，利用并行的残差结构以减少计算量的同时，达到与原图像相同的效果。

进一步说明，接收拼接卷积后的特征图像块，本实施例中将各特征图像块的位置信息嵌入到通道注意力中时，对X方向的输入采用尺寸为(H，1)和(1，W)的池化核，分别沿着X坐标方向和Y坐标方向对每个通道进行编码，高度为h的第c个通道的输出如公式(1)所示，

相应的，宽度为w的第c个通道的输出如公式(2)所示，

本实施例中采用将各特征图像块的位置信息嵌入到通道注意力中，即为融合了坐标注意力机制，将位置信息嵌入通道注意力中，使得轻量级卷积神经网络结构能够获得更大区域的信息并更准确地获取感兴趣区域。

在特征图像块中相同的维度信息进行各个阶段的拼接融合时，包括连续层级的特征拼接，以及跨层连接的特征拼接。

在进行非线性处理时，对拼接卷积后的特征图像块进行归一化处理，使得幅度归一化到同一范围，然后进行非线性处理，筛选保留特征较好的特征图像块，处理后的特征图像块的尺寸依旧用C/r×1×(W+H)表示。

进一步地筛选保留的特征图像块进行切分处理后，再次进行二维卷积处理，也就是X方向和Y方向分别进行卷积处理，在X方向用C×H×1表示，Y方向用C×1×W表示。

完成二维卷积处理后，利用激活函数分别对二维卷积处理后的特征进行分类。本实施例中，在利用激活函数对目标特征图像进行分类时，还利用如下损失函数(3)对目标特征图像进行真实信息判断；

本实施例对CIoU loss进行改进，降低大中目标的损失权重，缓解检测过程中特征图像块尺寸分布不均衡的情况，实现了在交通标志识别任务中对预测框与真实框之间更精确的损失计算。可以看出，CIoU在先前的损失函数上增加了检测尺度的损失以及长和宽的损失，这样预测就会更加的符合真实框，但是目标越大，预测和真实的中心点距离通常也会越大，那么在计算损失时就会明显高于小目标。因此，本实施例中通过开平方降低大中目标的损失权重，更好的计算损失，改进后的损失函数如式(3)表示。

本实施例中利用拼接卷积、线性处理、二维卷积完成特征融合，其中，在特征图像块中相同的维度信息进行各个阶段的拼接融合时，包括连续层级的特征拼接，以及跨层连接的特征拼接。参考附图2所示，本实施例中针对160×160、80×80、40×40、20×20的特征图像块进行特征融合，160×160的特征图像块经卷积拼接后形成80×80的特征图像块，80×80的特征图像块经卷积拼接后形成40×40的特征图像块，40×40的特征图像块经卷积拼接后形成20×20的特征图像块，参考附图2中，特征融合网络结构中的上采样和下采样箭头以及合并标识，经过多次合并获得待检测的目标特征图像。本实施例中还采用跨层连接的特征拼接，也就是图像分解网络结构中池化的特征图像块直接跨层拼接，如图2所示，采用虚线箭头表示，80×80、40×40的特征图像块直接接入特征融合网络结构中对应尺寸的合并环节，本实施例采用该种跨层连接设计，以此加快融合的速度，在特征融合网络结构中加入了跨层连接，即添加一条额外的路径以便在不增加成本的情况下融合更多的特征，提高网络的特征提取能力。因此可以知道，在融合不同阶段的特征图像块时，采用跨层连接进行特征拼接，取代反向传播对特征信息进行的加权操作。

因此，本实施例平衡了检测速度与识别精度的性能，提高网络的特征提取能力并改善对遮挡目标和小目标的检测效果，可在真实场景中对道路交通标志进行实时检测。与现有技术相比，本实施例采用坐标注意力机制，将位置信息嵌入通道注意力中，使得轻量级卷积神经网络结构能够获得更大区域的信息并更准确地获取感兴趣区域。在特征融合网络结构中加入跨层连接，即添加一条额外的路径以便在不增加成本的情况下融合更多的特征，提高网络的特征提取能力，改善对遮挡目标的检测效果。采用池化核为5的二维最大池化，提高空间池化金字塔模块的运行速度，用并行的残差结构，在减少计算量的同时达到与原图相同的效果，有效提升了运行速度。对CIoU loss进行改进，降低大中目标的损失权重，缓解检测过程中特征样本尺寸分布不均衡的情况，实现了在交通标志识别任务中对预测信息与真实信息之间更精确的损失计算，提高对小目标的识别精度。

实施例二

本申请实施例提供了一种基于坐标注意力的交通标志识别系统，采用实施例一种的基于坐标注意力的交通标志识别方法。该系统包括如下模块。

数据接收模块，配置为响应于车载终端触发的目标事件，目标事件配置为车辆在行驶过程中，实时接收前方道路的图像数据帧，以便通过预设的交通标志识别模型识别获取图像数据帧中目标特征图像的交通标志信息；

特征确定模块，配置为响应于交通标志识别模型在接收到图像数据帧后，对图像数据帧循环下采样后进行二维方向的池化分解，获取分解后的若干特征图像块；将分解后的特征图像块的位置信息嵌入到通道注意力中，根据特征图像块中相同的维度信息进行各个阶段的拼接融合，通过二维方向的卷积处理后确定目标特征图像；

标志识别模块，配置为响应于交通标志识别模型中预设的交通标志图库，在获取到目标特征图像后，利用激活函数对目标特征图像进行分类，识别出图像数据帧中的交通标志信息。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于坐标注意力的交通标志识别方法，其特征在于，所述方法包括：

响应于车载终端触发的目标事件，所述目标事件配置为车辆在行驶过程中，实时接收前方道路的图像数据帧，以便通过预设的交通标志识别模型识别获取所述图像数据帧中目标特征图像的交通标志信息；

响应于所述交通标志识别模型在接收到所述图像数据帧后，对所述图像数据帧循环下采样后进行二维方向的池化分解，获取分解后的若干特征图像块；将分解后的所述特征图像块的位置信息嵌入到通道注意力中，根据所述特征图像块中相同的维度信息进行各个阶段的拼接融合，通过二维方向的卷积处理后获取目标特征图像；

响应于所述交通标志识别模型中预设的交通标志图库，在获取到所述目标特征图像后，利用激活函数对所述目标特征图像进行分类，获取所述图像数据帧中的交通标志信息。

2.如权利要求1所述的基于坐标注意力的交通标志识别方法，其特征在于，所述交通标志识别模型采用残差结构的轻量级卷积神经网络结构训练形成；

其中，所述轻量级卷积神经网络结构包括图像分解网络结构和特征融合网络结构。

3.如权利要求2所述的基于坐标注意力的交通标志识别方法，其特征在于，所述图像分解网络结构接收图像数据帧后，按照预设的下采样规则，循环提取不同尺寸要求的特征源图像，按照X方向和Y方向对所述特征源图像分别进行平均池化分解，获取若干所述特征图像块。

4.如权利要求3所述的基于坐标注意力的交通标志识别方法，其特征在于，所述特征源图像在进行平均池化分解时，自动生成各所述特征图像块的位置信息；对池化分解后形成的所述特征图像块利用所述位置信息进行特征编码，生成两组并行的一维特征编码。

5.如权利要求4所述的基于坐标注意力的交通标志识别方法，其特征在于，在所述特征融合网络结构获取各所述特征图像块的一维特征编码后，分别沿X、Y的空间方向进行特征聚合，以获取二维空间坐标信息。

6.如权利要求4所述的基于坐标注意力的交通标志识别方法，其特征在于，将各所述特征图像块的所述位置信息嵌入到通道注意力中时，对X方向的输入采用尺寸为(H，1)和(1，W)的池化核，分别沿着X坐标方向和Y坐标方向对每个通道进行编码，高度为h的第c个通道的输出如公式(1)所示，

相应的，宽度为w的第c个通道的输出如公式(2)所示，

7.如权利要求1所述的基于坐标注意力的交通标志识别方法，其特征在于，在所述特征图像块中相同的维度信息进行各个阶段的拼接融合时，包括连续层级的特征拼接，以及跨层连接的特征拼接。

8.如权利要求1所述的基于坐标注意力的交通标志识别方法，其特征在于，在利用激活函数对所述目标特征图像进行分类时，还利用如下损失函数(3)对所述目标特征图像进行真实信息判断；

9.如权利要求1所述的基于坐标注意力的交通标志识别方法，其特征在于，在进行池化分解时，还在最大池化阶段采用空间池化金字塔结构。

10.一种基于坐标注意力的交通标志识别系统，采用权利要求1-9任意一项所述的方法，其特征在于，包括：

数据接收模块，配置为响应于车载终端触发的目标事件，所述目标事件配置为车辆在行驶过程中，实时接收前方道路的图像数据帧，以便通过预设的交通标志识别模型识别获取所述图像数据帧中目标特征图像的交通标志信息；

特征确定模块，配置为响应于所述交通标志识别模型在接收到所述图像数据帧后，对所述图像数据帧循环下采样后进行二维方向的池化分解，获取分解后的若干特征图像块；将分解后的所述特征图像块的位置信息嵌入到通道注意力中，根据所述特征图像块中相同的维度信息进行各个阶段的拼接融合，通过二维方向的卷积处理后确定目标特征图像；

标志识别模块，配置为响应于所述交通标志识别模型中预设的交通标志图库，在获取到所述目标特征图像后，利用激活函数对所述目标特征图像进行分类，识别出所述图像数据帧中的交通标志信息。

Images