CN114022703A - 一种基于深度学习的高效车辆细粒度识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的高效车辆细粒度识别方法，它通过构建高效残差结构提取车辆图像特征，然后通过空间通道损失函数提高特征提取网络的细粒度分类能力，使网络更加专注于车辆图像的不同组件区域，保证特征通道的可区分性和可辨别性，并且不增加卷积神经网络推理的计算量。本发明通过深度学习自动提取特征，避免手工设计特征区域的局限性，更能克服车辆图片复杂环境噪音的干扰，并且能通过空间特征损失函数使特征通过关注更丰富的特征区域，提高车辆细粒度识别的准确率。

Description

一种基于深度学习的高效车辆细粒度识别方法

技术领域

本发明涉及智能交通技术领域，具体是一种基于深度学习的高效车辆细粒度识别方法，它是通过卷积神经网络实现车辆细粒度分类的方法。

背景技术

随着我国交通事业的迅速发展，道路摄像头所采集的车辆视频信息形成了海量的数据存储。基于图像处理的车辆细粒度分类技术是智能交通领域的重要技术，为视频监控和执法部门提供了重大的帮助。

现有车辆细粒度分类技术中，主要集中于识别车辆的类型，例如大众帕萨特2007款。车辆识别方法中需要保证车辆整体轮廓的清晰，另外现有的车辆识别技术多使用传统的提取方法，例如梯度方向直方图、局部二值模式纹理、支持向量机等。发明专利(申请号：CN201310416016.6，名称：基于图像的车辆品牌识别方法和系统)通过检测车牌在输入图像中的位置，根据车牌位置计算多个车辆部件的位置，从该多个部件位置每一个抽取特征向量以及对所抽取的特征向量进行分类并输出车辆的品牌信息。该方法通过分别提取不同组件的特征进行识别，检测准确率低识别速度慢；发明专利(申请号：CN202110514090.6，名称：一种基于通道分组注意力模型的细粒度车辆分类方法)采用通道分组与注意力模块结合的方式构建网络并进行训练，提高网络对判别区域的注意力。但是该方法无法保证网络关注车辆特征的全局信息，容易缺失部分组件特征。

发明内容

为克服现有技术的上述缺点，本发明的目的在于提供一种基于深度学习的高效车辆细粒度识别方法，通过损失函数提高特征提取网络的细粒度分类能力，使网络更加专注于车辆图像的不同组件区域，保证特征通道的可区分性和可辨别性，并且不增加卷积神经网络推理的计算量。

本发明的一种基于深度学习的高效车辆细粒度识别方法，通过损失函数提高特征提取网络的细粒度分类能力，使网络更加专注于车辆图像的不同组件区域，其特征在于包括如下步骤：

步骤1：将车辆图像的测试样本与训练样本归一化到224×224像素；

步骤2：利用训练样本进行卷积神经网络模型训练，提取车辆图像的深层特征信息；

步骤3：推理时只通过式(1)对特征向量进行归一化，得到不同类别的概率分布；

其中，x_i表示上述步骤获取的不同车辆类别的特征向量，i表示车辆类别索引，C表示总的车辆类别个数，e表示自然数；

步骤4：根据上述步骤获取的不同车辆类别的概率列表，并输出最大概率的车辆类别。

进一步地，本发明还限定了步骤2中的利用训练样本进行卷积神经网络模型训练，提取车辆图像的深层特征信息，具体包括如下步骤：

步骤2.1：使用3×3卷积核在特征维度上进行随机和稀疏连接，融合图像空间位置信息到低尺度特征图，并从3通道增加特征通道深度到32通道；

步骤2.2：将不同深度特征信息通过ReLu进行激活和归一化操作；

步骤2.3：将上述步骤获得的特征图送入高效残差结构中，经过多次特征提取获得特征图F作为下层输入；

步骤2.4：通过空间通道损失函数计算特征图F的损失；

进一步地，本发明还限定了步骤2.3中建立高效残差结构，具体包括如下步骤：

步骤2.3.1通过1×1卷积核扩张通道深度，增大不同通道之间的空间相关性连接，获得具有丰富通道间信息的深度特征图通过ReLu进行激活和归一化操作；

步骤2.3.2将上述特征图进行3×3卷积核的组卷积操作，对组内通道特征进行随机稀疏连接，降低卷积操作的连接密度和参数复杂度，并通过ReLu进行激活和归一化操作；

步骤2.3.3再通过1×1卷积将通道数降低，复原特征信息的通道深度，避免提取的特征出现冗余；

步骤2.3.4同时将输入到步骤2.3.1的原始特征图再送入1×1卷积核的滤波器获取丰富空间相关信息的特征图，并归一化；

步骤2.3.5将步骤2.3.3获取的特征图进行级联操作，融合成包含丰富维度的深度特征信息；

步骤2.3.6将步骤2.3.4和步骤2.3.5得到的特征图进行混洗操作，调整深度特征图的通道排列顺序，增加通道间信息的交流，使组内特征信息得到丰富，增加空间相关性的表达能力；

进一步地，本发明还限定了步骤2.4中建立空间通道损失函数，具体包括如下步骤：

步骤2.4.1将特征通道进行分组，不同组的特征通道专注于提取不同区域类型的特征，每组特征通道对应于每个区域应该具有代表性，专注度损失L_dis通过以下公式计算：

L_dis(F)＝L_ce(y,f(g(F))) (2)

其中，L_ce代表交叉熵损失函数，i代表车辆类型的索引，y代表真实标签，C代表类别数，F代表特征图，W代表特征图的宽度，H代表特征图的高度，η代表特征图的深度，j代表特征图每层特征的索引，max代表求集合的最大值；

步骤2.4.2将每个特征图的最大响应点作为当前特征图的响应中心点p，根据特征图响应度最高点的最小距离占全部距离平均数的比重通过公式(5)计算平均距离系数D(p)，以此代表特征分组的差异性情况，响应点的平均距离系数越小则损失越大，分辨度损失L_div通过公式(6)计算：

L_div＝Exp(-D(p)) (6)

其中，p代表特征响应中心点坐标向量p_i,p_j，dist代表欧式距离，min代表求集合的最小值，k代表特征响应中心点的数量；

步骤2.4.3根据计算所得的专注度损失L_dis和分辨度损失L_div相加作为总损失对网络进行训练。

通过采用上述技术，与现有技术相比，本发明的有益效果为：本发明通过深度学习自动提取特征，避免手工设计特征区域的局限性，更能克服车辆图片复杂环境噪音的干扰，并且能通过空间特征损失函数使特征通过关注更丰富的特征区域，提高车辆细粒度识别的准确率。

附图说明

图1为本发明的实施例选取的车辆图像。

具体实施方式

以下通过实施例对本发明作进一步的描述。通常，车辆样本的图像是由图像采集设备获取的，本申请实施例的技术方案适用于对车辆样本图像进行车辆类型识别的应用场景。采用本申请实施例的技术方案，通过损失函数提高特征提取网络的细粒度分类能力，使网络更加专注于车辆图像的不同组件区域，保证特征通道的可区分性和可辨别性，并且不增加卷积神经网络推理的计算量。

本发明的实施例选取的车辆图像由图像采集设备获取，如图1所示，本发明的基于深度学习的高效的车辆细粒度分类方法，具体包括以下步骤：

步骤1：将车辆图像的测试样本与训练样本归一化到224×224像素；

步骤2：利用训练样本进行卷积神经网络模型训练，提取车辆图像的深层特征信息，具体为：

步骤2.1：使用3×3卷积核在特征维度上进行随机和稀疏连接，融合图像空间位置信息到低尺度特征图，并从3通道增加特征通道深度到32通道；

步骤2.2：将不同深度特征信息通过ReLu进行激活和归一化操作，获得特征图；

步骤2.3：将步骤2.2获得的特征图送入高效残差结构中，经过多次特征提取获得特征图F作为下层输入，具体为：

步骤2.3.1：通过1×1卷积核扩张通道深度，增大不同通道之间的空间相关性连接，获得具有丰富通道间信息的深度特征图通过ReLu进行激活和归一化操作；

步骤2.3.2：将步骤2.3.1进行3×3卷积核的组卷积操作，对组内通道特征进行随机稀疏连接，降低卷积操作的连接密度和参数复杂度，通过ReLu进行激活和归一化操作；

步骤2.3.3：再通过1×1卷积将通道数降低，复原特征信息的通道深度，避免提取的特征出现冗余；

步骤2.3.4：同时将输入到步骤2.3.1的原始特征图再送入1×1卷积核的滤波器获取丰富空间相关信息的特征图，并归一化；

步骤2.3.5：将步骤2.3.3获取的特征图进行级联操作，融合成包含丰富维度的深度特征信息；

步骤2.3.6：将步骤2.3.4和步骤2.3.5得到的特征图进行混洗操作，调整深度特征图的通道排列顺序，增加通道间信息的交流，使组内特征信息得到丰富，增加空间相关性的表达能力；

步骤2.4：通过空间通道损失函数计算特征图F的损失，具体为：

步骤2.4.1将特征通道进行分组，不同组的特征通道专注于提取不同区域类型的特征，每组特征通道对应于每个区域应该具有代表性，专注度损失L_dis通过以下公式计算：

L_dis(F)＝L_ce(y,f(g(F))) (1)

其中，L_ce代表交叉熵损失函数，i代表车辆类型的索引，y代表真实标签，C代表类别数，F代表特征图，W代表特征图的宽度，H代表特征图的高度，η代表特征图的深度，j代表特征图每层特征的索引，max代表求集合的最大值；

步骤2.4.2将每个特征图的最大响应点作为当前特征图的响应中心点p，根据特征图响应度最高点的最小距离占全部距离平均数的比重计算平均距离系数D(p)，计算如公式(4)所示，以此代表特征分组的差异性情况，响应点的平均距离系数越小则损失越大，分辨度损失L_div通过公式(5)计算，具体为：

L_div＝Exp(-D(p)) (5)

其中，p代表特征响应中心点坐标向量p_i,p_j，dist代表欧式距离，min代表求集合的最小值，k代表特征响应中心点的数量；

步骤2.4.3根据计算所得的专注度损失L_dis和分辨度损失L_div相加作为总损失对网络进行训练；

步骤3：推理时只通过公式(6)对特征向量进行归一化，得到不同类别的概率分布；

其中，xi表示上述步骤获取的不同车辆类别的特征向量，i表示车辆类别索引，C表示总的车辆类别个数，e表示自然数；

步骤4：根据上述步骤获取的不同车辆类别的概率列表，并输出最大概率的车辆类别。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (4)

1.一种基于深度学习的高效车辆细粒度识别方法，通过损失函数提高特征提取网络的细粒度分类能力，使网络更加专注于车辆图像的不同组件区域，其特征在于包括如下步骤：

步骤1：将车辆图像的测试样本与训练样本归一化到224×224像素；

步骤2：利用训练样本进行卷积神经网络模型训练，提取车辆图像的深层特征信息；

步骤3：推理时只通过式(1)对特征向量进行归一化，得到不同类别的概率分布；

其中，x_i表示上述步骤获取的不同车辆类别的特征向量，i表示车辆类别索引，C表示总的车辆类别个数，e表示自然数；

步骤4：根据上述步骤获取的不同车辆类别的概率列表，并输出最大概率的车辆类别。

2.根据权利要求1所述的基于深度学习的高效车辆细粒度识别方法，其特征在于步骤2中的利用训练样本进行卷积神经网络模型训练，提取车辆图像的深层特征信息，具体包括如下步骤：

步骤2.1：使用3×3卷积核在特征维度上进行随机和稀疏连接，融合图像空间位置信息到低尺度特征图，并从3通道增加特征通道深度到32通道；

步骤2.2：将不同深度特征信息通过ReLu进行激活和归一化操作；

步骤2.3：将上述步骤获得的特征图送入高效残差结构中，经过多次特征提取获得特征图F作为下层输入；

步骤2.4：通过空间通道损失函数计算特征图F的损失。

3.根据权利要求2所述的基于深度学习的高效车辆细粒度识别方法，其特征在于步骤2.3中建立高效残差结构，具体包括如下步骤：

步骤2.3.1通过1×1卷积核扩张通道深度，增大不同通道之间的空间相关性连接，获得具有丰富通道间信息的深度特征图通过ReLu进行激活和归一化操作；

步骤2.3.2将上述特征图进行3×3卷积核的组卷积操作，对组内通道特征进行随机稀疏连接，降低卷积操作的连接密度和参数复杂度，并通过ReLu进行激活和归一化操作；

步骤2.3.3再通过1×1卷积将通道数降低，复原特征信息的通道深度，避免提取的特征出现冗余；

步骤2.3.4同时将输入到步骤2.3.1的原始特征图再送入1×1卷积核的滤波器获取丰富空间相关信息的特征图，并归一化；

步骤2.3.5将步骤2.3.3获取的特征图进行级联操作，融合成包含丰富维度的深度特征信息；

步骤2.3.6将步骤2.3.4和步骤2.3.5得到的特征图进行混洗操作，调整深度特征图的通道排列顺序，增加通道间信息的交流，使组内特征信息得到丰富，增加空间相关性的表达能力。

4.根据权利要求2所述的基于深度学习的高效车辆细粒度识别方法，其特征在于步骤2.4：建立空间通道损失函数，具体包括如下步骤：

步骤2.4.1将特征通道进行分组，不同组的特征通道专注于提取不同区域类型的特征，每组特征通道对应于每个区域应该具有代表性，专注度损失L_dis通过以下公式计算：

L_dis(F)＝L_ce(y,f(g(F))) (2)

其中，L_ce代表交叉熵损失函数，i代表车辆类型的索引，y代表真实标签，C代表类别数，F代表特征图，W代表特征图的宽度，H代表特征图的高度，η代表特征图的深度，j代表特征图每层特征的索引，max代表求集合的最大值；

步骤2.4.2将每个特征图的最大响应点作为当前特征图的响应中心点p，根据特征图响应度最高点的最小距离占全部距离平均数的比重通过公式(5)计算平均距离系数D(p)，以此代表特征分组的差异性情况，响应点的平均距离系数越小则损失越大，分辨度损失L_div通过公式(6)计算：

L_div＝Exp(-D(p)) (6)

其中，p代表特征响应中心点坐标向量p_i,p_j，dist代表欧式距离，min代表求集合的最小值，k代表特征响应中心点的数量；

步骤2.4.3根据计算所得的专注度损失L_dis和分辨度损失L_div相加作为总损失对网络进行训练。

Images