CN112633264B - 一种车辆属性识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种车辆属性识别方法、装置、电子设备及存储介质，该方法包括以下步骤：获取待识别车辆视频数据，所述待识别车辆视频数据包括多帧待识别车辆图像，每帧待识别车辆图像包括待识别车辆属性；将所述待识别车辆视频数据输入到预设的融合模型中，提取所述待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征，并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果。本发明能够提高车辆属性的识别准确率。

Description

一种车辆属性识别方法、装置、电子设备及存储介质

技术领域

本发明涉及车辆属性识别技术领域，尤其涉及一种车辆属性识别方法、装置、电子设备及存储介质。

背景技术

随着社会的进步与发展，各种摄像设备已经在我们的生活中得到了普及。为了加强城市、社区、校园等场景的安防工作建设，从边缘监控设备获得的监控图像数据中快速得到有价值的信息，对于机关人员、安防人员等工作人员的安防工作来说尤为重要。近年来，以人工智能技术为核心的各种智能化产品正在慢慢走进大众的视野。让人工智能技术为社会的安防工作保驾护航以是大势所趋，作为人工智能领域的重要分支，计算机视觉已经日渐成熟，尤其是基于深度学习的目标检测和目标属性识别技术。图像的目标属性识别就是对视频图像里的车辆目标进行检测与特征提取，自动判定车辆的各个属性。精准的车辆属性信息，能够帮助开展各类基于车辆照片的分析工作。目前，已被广泛运用于刑事侦查、目标追踪等领域。

现有的车辆属性识别技术在车辆属性识别任务中，为了预测某一特定车辆属性的存在，需要对该车辆属性相关的区域进行局部化，并对车辆属性特定区域进行标注，进而基于车辆属性特定区域的标注进行车辆属性识别。但在一般的车辆属性识别任务中，使用的数据集没有对车辆属性特定区域进行标注，从而影响车辆属性识别，导致现有的车辆属性识别技术存在识别准确率低的问题。

发明内容

本发明实施例提供一种车辆属性识别方法，能够解决现有的车辆属性识别技术存在识别准确率低的问题。

第一方面，本发明实施例提供一种车辆属性识别方法，所述方法包括：

获取待识别车辆视频数据，所述待识别车辆视频数据包括多帧待识别车辆图像，每帧待识别车辆图像包括待识别车辆属性；

将所述待识别车辆视频数据输入到预设的融合模型中，提取所述待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征，并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果，所述预设的融合模型包括图像特征提取层以及时序特征提取层；

所述将所述待识别车辆视频数据输入到预设的融合模型中，提取所述待识别车辆视频数据的空间维度特征以及时间维度特征，并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果的步骤包括：

将所述待识别车辆视频数据输入到所述图像特征提取层中，提取所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特征；

将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中，以提取所述多帧待识别车辆图像的时间维度特征，根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果。

可选的，所述图像特征提取层包括残差网络，所述残差网络包括卷积层、残差层以及全连接层，所述将所述待识别车辆视频数据输入到所述图像特征提取层中，提取所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特征的步骤包括：

将所述待识别车辆视频数据中的单帧待识别车辆图像输入到所述卷积层进行降维处理，得到降维图像；

将所述降维图像输入所述残差层进行空间向量转换，得到空间特征向量；

将所述空间特征向量输入所述全连接层进行计算，得到得分向量，根据所述得分向量得到所述每帧待识别车辆图像的空间维度特征。

可选的，所述时序特征提取层包括循环神经网络以及注意力机制，所述将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中，以提取所述多帧待识别车辆图像的时间维度特征，根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果的步骤包括：

将所述多帧待识别车辆图像的空间维度特征一同输入到所述循环神经网络进行时序特征提取，得到对应的时间维度特征；

将所述多帧待识别车辆图像的空间维度特征以及时间维度特征输入所述注意力机制中进行拟合处理，输出所述待识别车辆图像的识别结果。

可选的，所述时序特征提取层还包括输入层，所述将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中，以提取所述多帧待识别车辆图像的时间维度特征，根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果的步骤还包括：

将所述多帧待识别车辆图像的空间维度特征输入所述输入层进行放大处理，得到放大后的空间维度特征。

可选的，所述方法还包括以下步骤：

获取训练样本集，所述训练样本集包括多个训练样本，每个训练样本包括一个或多个样本车辆属性；

通过所述训练样本集对融合模型进行训练，以使所述融合模型学习到对车辆属性的识别输出，得到预设的融合模型。

第二方面，本发明实施例还提供了一种车辆属性识别装置，所述装置包括：

第一获取模块，用于获取待识别车辆视频数据，所述待识别车辆视频数据包括多帧待识别车辆图像，每帧待识别车辆图像包括待识别车辆属性；

识别模块，用于将所述待识别车辆视频数据输入到预设的融合模型中，提取所述待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征，并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果，所述预设的融合模型包括图像特征提取层以及时序特征提取层；

所述识别模块包括：

提取单元，用于将所述待识别车辆视频数据输入到所述图像特征提取层中，提取所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特征；

识别单元，用于将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中，以提取所述多帧待识别车辆图像的时间维度特征，根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果。

可选的，所述图像特征提取层包括残差网络，所述残差网络包括卷积层、残差层以及全连接层，所述提取单元包括：

降维子单元，用于将所述待识别车辆视频数据中的单帧待识别车辆图像输入到所述卷积层进行降维处理，得到降维图像；

向量转换子单元，用于将所述降维图像输入所述残差层进行空间向量转换，得到空间特征向量；

计算子单元，用于将所述空间特征向量输入所述全连接层进行计算，得到得分向量，根据所述得分向量得到每帧待识别车辆图像的空间维度特征。

可选的，所述时序特征提取层包括循环神经网络以及注意力机制，所述识别单元包括：

提取子单元，用于将所述多帧待识别车辆图像的空间维度特征一同输入到所述循环神经网络进行时序特征提取，得到对应的时间维度特征；

处理子单元，用于将所述多帧待识别车辆图像的空间维度特征以及时间维度特征输入所述注意力机制中进行拟合处理，输出所述待识别车辆图像的识别结果。

第三方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中提供的车辆属性识别方法中的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中提供的车辆属性识别方法中的步骤。

在本发明实施例中，通过获取待识别车辆视频数据，所述待识别车辆视频数据包括多帧待识别车辆图像，每帧待识别车辆图像包括待识别车辆属性；将所述待识别车辆视频数据输入到预设的融合模型中，提取所述待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征，并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果，所述预设的融合模型包括图像特征提取层以及时序特征提取层；所述将所述待识别车辆视频数据输入到预设的融合模型中，提取所述待识别车辆视频数据的空间维度特征以及时间维度特征，并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果的步骤包括：将所述待识别车辆视频数据输入到所述图像特征提取层中，提取所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特征；将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中，以提取所述多帧待识别车辆图像的时间维度特征，根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果。这样可以对待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征分开提取，在空间维度特征的基础上，结合时间维度特征对待识别车辆属性进行加强识别，进而提高待识别车辆属性的识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种车辆属性识别方法的流程图；

图2是本发明实施例提供的另一种车辆属性识别方法的流程图；

图3是本发明实施例提供的另一种车辆属性识别方法的流程图；

图4是本发明实施例提供的一种车辆属性识别装置的结构示意图；

图5是本发明实施例中识别模块提供的一种结构示意图；

图6是本发明实施例提供的另一种车辆属性识别装置的结构示意图；

图7是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明实施例提供的一种车辆属性识别方法的流程图，该车辆属性识别方法主要服务于真实生产环境下的街道、交通场景、校园场景、工厂园区等场景的监控平台下的车辆属性识别，以提供检索快速分类的效果。如图1所示，该车辆属性识别方法包括以下步骤：

步骤101、获取待识别车辆视频数据，待识别车辆视频数据包括多帧待识别车辆图像，每帧待识别车辆图像包括待识别车辆属性。

其中，上述待识别车辆视频数据可以称为待识别车辆视频流。待识别车辆视频数据可以是用户想要进行车辆属性识别的车辆视频数据。

上述待识别车辆为需要进行车辆属性识别的车辆。上述待识别车辆图像可以包括一个或多个待识别车辆，以及一个或多个待识别车辆属性。

上述车辆属性可以包括车辆的车牌(含车牌号和颜色）、车型、车标（即品牌）、子型号（即车系）、车身颜色、车辆局部特征（如：摆件、挂件、年检标等）、主副驾驶人行为（含是否系安全带、是否打电话等）等属性信息。

具体的，待识别车辆视频数据可以是实时采集得到的，比如，可以是实时采集某个路口、某个道路、或某个区域的车辆视频。待识别车辆视频数据也可以是预先采集并保存好的，比如，预先采集并保存在车辆视频数据库中的，以便于后期使用或识别的车辆视频数据。当用户需要对某个车辆视频数据中的车辆属性进行识别时，即可直接调用或实时采集某段车辆视频数据来进行车辆属性识别。精准的车辆属性信息，能够帮助开展各类基于车辆照片的分析工作。

步骤102、将待识别车辆视频数据输入到预设的融合模型中，提取待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征，并根据空间维度特征以及时间维度特征输出待识别车辆属性的识别结果。

其中，上述预设的融合模型为预先训练得到的，能够识别车辆属性的融合模型。

上述空间维度特征可以是指单帧待识别车辆图像中的每个像素点的空间位置特征。待识别车辆图像中每个像素点均有属于自己的像素值，相近的像素值或相同的像素值可以形成一个像素区域，以表示不同的车辆属性。可以根据所形成的像素区域的位置特征即可判断出对应的车辆属性，以实现车辆属性的识别。

上述时间维度特征为多帧连续待识别车辆图像的空间维度特征对应的时间序列特征。每一帧待识别车辆图像均携带有自己的时间特征，多帧连续的待识别车辆图像的时间特征即可形成对应的时间序列特征，也即得到对应的时间维度特征。

在本发明实施例中，上述预设的融合模型包括图像特征提取层以及时序特征提取层。如图2所示，图2是本发明实施例提供的另一种车辆属性识别方法的流程图。步骤102包括：

步骤201、将待识别车辆视频数据输入到图像特征提取层中，提取待识别车辆视频数据中每帧待识别车辆图像的空间维度特征。

步骤202、将多帧待识别车辆图像的空间维度特征进行叠加并输入到时序特征提取层中，以提取多帧待识别车辆图像的时间维度特征，根据空间维度特征以及时间维度特征输出待识别车辆属性的识别结果。

其中，上述图像特征提取层用于提取待识别车辆图像在二维空间上的特征，即用于提取待识别车辆图像在二维空间上的空间维度特征。上述时序特征提取层用于提取图像序列之间的时序特征，即用于提取待识别车辆图像序列之间的时间维度特征。

具体的，将预设的融合模型设计为两层结构，将空间域和时间域的特征分开提取。分别提取待识别车辆图像在二维空间上的空间维度特征以及待识别车辆图像序列之间的时间维度特征。根据空间维度特征能够识别出待识别车辆属性的基础上，在结合待识别车辆图像的时间维度特征来对多帧待识别车辆图像的待识别车辆属性进一步加强车辆属性识别。更具体的，首先在静止的图像上提取特征，随后在时间序列上分别进行拟合。该预设的融合模型的两层神经网络相互独立，提取时间域的时序特征提取层的反向传播不会贯穿到图像特征提取层，从而一定程度上避免造成时间域和空间域上特征提取的混淆。进而提高待识别车辆属性的识别准确率。

在本发明实施例中，上述图像特征提取层包括残差网络（ResNet），残差网络能够很好的解决CNN（卷积神经网络）增加深度会造成梯度弥散或者梯度爆炸的问题。残差网络包括卷积层、残差层以及全连接层。残差网络具体可以为50层的残差网络，首先可以输入7*7*64的卷积，随后经过3+4+6+3=16个残差块，每个残差块为3层结构，即有16*3=48层，最后连接全连接层，所以共1+48+1=50层（这里仅仅指的是卷积层或者全连接层，激活层或池化层并没有计算在内）。

步骤201具体包括步骤：

将待识别车辆视频数据中的单帧待识别车辆图像输入到卷积层进行降维处理，得到降维图像。将降维图像输入残差层进行空间向量转换，得到空间特征向量。将空间特征向量输入全连接层进行计算，得到得分向量，根据得分向量得到每帧待识别车辆图像的空间维度特征。

具体的，以50层的残差网络为例，本发明实施例输入的待识别车辆图像的大小可以设置为224*224*3，首先经过第一个卷积核为7*7，步长为2的卷积层，图像降维度到112*112*64，然后经过一个核为3×3，步长为2的最大池化层，之后依次进入残差块1、残差块2、残差块3、残差块4等四个残差块，每个残差块有三层卷积层，输出7*7*2048的向量，随后连接上一层平均池化层，输出1*1*2048的特征向量，最后连接一层全连接层，输出得分向量（未归一化的概率向量）。这样就可以根据这个得分向量中各个元素的分值来识别出待识别车辆的车辆属性。

示例性的，现有10个车辆属性，依次分别为红色车辆、白色车辆、蓝色车辆、粉色车辆、绿色车辆、浅蓝色车辆、棕色车辆、黑色车辆、灰色车辆、紫色车辆。而该得分向量则为一个1*10的概率向量表示为[0.01、0.01、0.01、0.01、0.01、0.9、0.01、0.01、0.02、0.01]，其中，0.01、0.01、0.01、0.01、0.01、0.9、0.01、0.01、0.02、0.01依次分别代表现为红色车辆、白色车辆、蓝色车辆、粉色车辆、绿色车辆、浅蓝色车辆、棕色车辆、黑色车辆、灰色车辆、紫色车辆等10个车辆属性的概率值。

在本得分向量中，有0.01的概率识别为红色车辆、有0.01的概率识别为白色车辆、有0.01的概率识别为蓝色车辆、有0.01的概率识别为粉色车辆、有0.01的概率识别为绿色车辆、有0.9的概率识别为浅蓝色车辆、有0.01的概率识别为棕色车辆、有0.01的概率识别为黑色车辆、有0.02的概率识别为灰色车辆、有0.01的概率识别为紫色车辆。根据该得分向量的各元素的数值大小进行比较可以判断出第六个元素的数值最大为0.9，此时，可以根据该得分向量中元素值为0.9判断出该帧待识别车辆图像的车辆属性为浅蓝色车辆。

需要说明的是，当车辆属性的数量为多个时，或者当车辆属性为多种时，均可以结合车辆属性的数量以及种类来确定得分向量，并对车辆属性进行识别。比如，当车辆属性包括车辆的车牌(含车牌号和颜色）、车型、车标（即品牌）、子型号（即车系）、车身颜色、车辆局部特征（如：摆件、挂件、年检标等）、主副驾驶人行为（含是否系安全带、是否打电话等）等属性信息中的一种或多种，或者，一种中的一个或多个时，均可根据需要得到对应的得分向量，根据得分向量中各个元素所代表的车辆属性的概率值判断出对应的车辆属性，进而实现各个车辆属性的识别。

这样可以通过残差网络提取每帧待识别车辆图像的空间维度特征，进而可以判断出每帧待识别车辆图像的车辆属性。

在本发明实施例中，上述时序特征提取层包括循环神经网络以及注意力机制。步骤202包括：

将多帧待识别车辆图像的空间维度特征一同输入到循环神经网络进行时序特征提取，得到对应的时间维度特征。

将多帧待识别车辆图像的空间维度特征以及时间维度特征输入注意力机制中进行拟合处理，输出待识别车辆图像的识别结果。

在本发明实施例中，时序特征提取层还包括输入层。步骤202包括：将多帧待识别车辆图像的空间维度特征输入输入层进行放大处理，得到放大后的空间维度特征。

在本发明实施例中，时序特征提取层还包括输出层。

具体的，输入层的输入是图像特征提取层的输出，目的在于对图像概率特征向量进行放大处理。随后为两层具有128个单元的循环神经网络（LSTM），第一层循环神经网络的输出，作为第二层循环神经网络的输入，即，循环神经网络层后紧跟注意力机制（Attention）网络，通过引入注意力机制对序列进行权重分配。时序特征提取层的最后为输出层，注意力机制层输出为加权后的得分向量，输出每个元素的维度为1*128，最后再连接输出层，对得分向量进行降维，最后的输出为1*8的未归一化的概率向量。即最开始输入时序特征提取层的维度为批大小(batch_size)*16*8，至输出层输出的维度为批大小(batch_size)的8倍。需要说明的是，在图像特征提取层中得到的得分向量是基于空间维度特征得到的。而在时序特征提取层中得到的得分向量是基于时间维度特征得到的。两者的处理方法以及使用方法相似，在这里不在赘述。

这样可以在图像提取层提取的空间维度的基础上，再结合时序特征提取层提取的时间维度特征进而加强对待识别车辆属性的再次识别确认，得到更准确的车辆属性识别结果。提高车辆属性识别的识别准确率。

在本发明实施例中，通过获取待识别车辆视频数据，待识别车辆视频数据包括多帧待识别车辆图像，每帧待识别车辆图像包括待识别车辆属性；将待识别车辆视频数据输入到预设的融合模型中，提取待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征，并根据空间维度特征以及时间维度特征输出待识别车辆属性的识别结果，所述预设的融合模型包括图像特征提取层以及时序特征提取层；所述将所述待识别车辆视频数据输入到预设的融合模型中，提取所述待识别车辆视频数据的空间维度特征以及时间维度特征，并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果的步骤包括：将所述待识别车辆视频数据输入到所述图像特征提取层中，提取所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特征；将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中，以提取所述多帧待识别车辆图像的时间维度特征，根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果。这样可以对待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征分开提取，在空间维度特征的基础上，结合时间维度特征对待识别车辆属性进行加强识别，进而提高车辆属性的识别准确率。

参见图3，图3是本发明实施例提供的另一种车辆属性识别方法的流程图。车辆属性识别方法还包括步骤：

步骤301、获取训练样本集。

其中，训练样本集包括多个训练样本，每个训练样本包括一个或多个样本车辆属性。

具体的，训练样本集可以是预先采集、处理并存储在数据库中用于训练的样本集。当然了，也可以是在某预测区域现场，实时的采集、处理得到的训练样本集。

步骤302、通过训练样本集对融合模型进行训练，以使融合模型学习到对车辆属性的识别输出，得到预设的融合模型。

具体的，在获取到训练样本集后，即可将训练样本集输入融合模型中进行预测训练，以使融合模型学习到对车辆属性的预测输出，进而得到预设的融合模型。这样就可以通过该预设的融合模型对车辆属性进行识别以提高车辆属性的识别准确率。

在本发明实施例中，通过训练样本集对融合模型进行训练得到预设的融合模型对车辆属性进行识别，提高预设的融合模型的识别性能，进一步提高预设的融合模型的识别准确率。

参见图4，图4是本发明实施例提供的一种车辆属性识别装置的结构示意图，该车辆属性识别装置400包括：

第一获取模块401，用于获取待识别车辆视频数据，待识别车辆视频数据包括多帧待识别车辆图像，每帧待识别车辆图像包括待识别车辆属性；

识别模块402，用于将待识别车辆视频数据输入到预设的融合模型中，提取待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征，并根据空间维度特征以及时间维度特征输出待识别车辆属性的识别结果，预设的融合模型包括图像特征提取层以及时序特征提取层；

识别模块402包括：

提取单元4021，用于将待识别车辆视频数据输入到图像特征提取层中，提取待识别车辆视频数据中每帧待识别车辆图像的空间维度特征；

识别单元4022，用于将多帧待识别车辆图像的空间维度特征进行叠加并输入到时序特征提取层中，以提取多帧待识别车辆图像的时间维度特征，根据空间维度特征以及时间维度特征输出待识别车辆属性的识别结果。

可选的，图像特征提取层包括残差网络，残差网络包括卷积层、残差层以及全连接层，提取单元4021包括：

降维子单元，用于将待识别车辆视频数据中的单帧待识别车辆图像输入到卷积层进行降维处理，得到降维图像；

向量转换子单元，用于将降维图像输入残差层进行空间向量转换，得到空间特征向量；

计算子单元，用于将空间特征向量输入全连接层进行计算，得到得分向量，根据得分向量得到每帧待识别车辆图像的空间维度特征。

可选的，时序特征提取层包括循环神经网络以及注意力机制，识别单元4022包括：

提取子单元，用于将多帧待识别车辆图像的空间维度特征一同输入到循环神经网络进行时序特征提取，得到对应的时间维度特征；

处理子单元，用于将多帧待识别车辆图像的空间维度特征以及时间维度特征输入注意力机制中进行拟合处理，输出待识别车辆图像的识别结果。

可选的，时序特征提取层还包括输入层，识别模块402还包括：

放大处理单元，用于将多帧待识别车辆图像的空间维度特征输入输入层进行放大处理，得到放大后的空间维度特征。

可选的，如图6所示，车辆属性识别装置400还包括：

第二获取模块403，用于获取训练样本集，训练样本集包括多个训练样本，每个训练样本包括一个或多个样本车辆属性；

训练模块404，用于通过训练样本集对融合模型进行训练，以使融合模型学习到对车辆属性的识别输出，得到预设的融合模型。

本发明实施例提供的车辆属性识别装置400能够实现上述方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。

参见图7，图7是本发明实施例提供的一种电子设备的结构示意图，该电子设备500包括：存储器502、处理器501及存储在存储器502上并可在处理器501上运行的计算机程序，处理器501执行计算机程序时实现上述实施例提供的车辆属性识别方法中的步骤，处理器501执行以下步骤：

获取待识别车辆视频数据，待识别车辆视频数据包括多帧待识别车辆图像，每帧待识别车辆图像包括待识别车辆属性；

将待识别车辆视频数据输入到预设的融合模型中，提取待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征，并根据空间维度特征以及时间维度特征输出待识别车辆属性的识别结果，预设的融合模型包括图像特征提取层以及时序特征提取层；

处理器501执行的将待识别车辆视频数据输入到预设的融合模型中，提取待识别车辆视频数据的空间维度特征以及时间维度特征，并根据空间维度特征以及时间维度特征输出待识别车辆属性的识别结果的步骤包括：

将待识别车辆视频数据输入到图像特征提取层中，提取待识别车辆视频数据中每帧待识别车辆图像的空间维度特征；

将多帧待识别车辆图像的空间维度特征进行叠加并输入到时序特征提取层中，以提取多帧待识别车辆图像的时间维度特征，根据空间维度特征以及时间维度特征输出待识别车辆属性的识别结果。

可选的，图像特征提取层包括残差网络，残差网络包括卷积层、残差层以及全连接层，处理器501执行的将待识别车辆视频数据输入到图像特征提取层中，提取待识别车辆视频数据中每帧待识别车辆图像的空间维度特征的步骤包括：

将待识别车辆视频数据中的单帧待识别车辆图像输入到卷积层进行降维处理，得到降维图像；

将降维图像输入残差层进行空间向量转换，得到空间特征向量；

将空间特征向量输入全连接层进行计算，得到得分向量，根据得分向量得到每帧待识别车辆图像的空间维度特征。

可选的，时序特征提取层包括循环神经网络以及注意力机制，处理器501执行的将多帧待识别车辆图像的空间维度特征进行叠加并输入到时序特征提取层中，以提取多帧待识别车辆图像的时间维度特征，根据空间维度特征以及时间维度特征输出待识别车辆属性的识别结果的步骤包括：

将多帧待识别车辆图像的空间维度特征一同输入到循环神经网络进行时序特征提取，得到对应的时间维度特征；

将多帧待识别车辆图像的空间维度特征以及时间维度特征输入注意力机制中进行拟合处理，输出待识别车辆图像的识别结果。

可选的，时序特征提取层还包括输入层，处理器501执行的将多帧待识别车辆图像的空间维度特征进行叠加并输入到时序特征提取层中，以提取多帧待识别车辆图像的时间维度特征，根据空间维度特征以及时间维度特征输出待识别车辆属性的识别结果的步骤还包括：

将多帧待识别车辆图像的空间维度特征输入输入层进行放大处理，得到放大后的空间维度特征。

可选的，处理器501还执行以下步骤：

获取训练样本集，训练样本集包括多个训练样本，每个训练样本包括一个或多个样本车辆属性；

通过训练样本集对融合模型进行训练，以使融合模型学习到对车辆属性的识别输出，得到预设的融合模型。

本发明实施例提供的电子设备500能够实现上述方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的车辆属性识别方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存取存储器（Random AccessMemory，简称RAM）等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种车辆属性识别方法，其特征在于，所述方法包括步骤：

获取待识别车辆视频数据，所述待识别车辆视频数据包括多帧待识别车辆图像，每帧所述待识别车辆图像包括待识别车辆属性；

将所述待识别车辆视频数据输入到预设的融合模型中，提取所述待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征，并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果，所述预设的融合模型包括图像特征提取层以及时序特征提取层；

所述将所述待识别车辆视频数据输入到预设的融合模型中，提取所述待识别车辆视频数据的空间维度特征以及时间维度特征，并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果的步骤包括：

将所述待识别车辆视频数据输入到所述图像特征提取层中，提取所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特征；

将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中，以提取所述多帧待识别车辆图像的时间维度特征，根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果；

所述图像特征提取层包括残差网络，所述残差网络包括卷积层、残差层以及全连接层，所述将所述待识别车辆视频数据输入到所述图像特征提取层中，提取所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特征的步骤包括：

将所述待识别车辆视频数据中的单帧待识别车辆图像输入到所述卷积层进行降维处理，得到降维图像；

将所述降维图像输入所述残差层进行空间向量转换，得到空间特征向量；

将所述空间特征向量输入所述全连接层进行计算，得到得分向量，根据所述得分向量得到所述每帧待识别车辆图像的空间维度特征；

所述时序特征提取层包括循环神经网络以及注意力机制，所述将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中，以提取所述多帧待识别车辆图像的时间维度特征，根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果的步骤包括：

将所述多帧待识别车辆图像的空间维度特征一同输入到所述循环神经网络进行时序特征提取，得到对应的时间维度特征；

将所述多帧待识别车辆图像的空间维度特征以及时间维度特征输入所述注意力机制中进行拟合处理，输出所述待识别车辆图像的识别结果。

2.如权利要求1所述的车辆属性识别方法，其特征在于，所述时序特征提取层还包括输入层，所述将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中，以提取所述多帧待识别车辆图像的时间维度特征，根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果的步骤还包括：

将所述多帧待识别车辆图像的空间维度特征输入所述输入层进行放大处理，得到放大后的空间维度特征。

3.如权利要求1所述的车辆属性识别方法，其特征在于，所述方法还包括以下步骤：

获取训练样本集，所述训练样本集包括多个训练样本，每个训练样本包括一个或多个样本车辆属性；

通过所述训练样本集对融合模型进行训练，以使所述融合模型学习到对车辆属性的识别输出，得到预设的融合模型。

4.一种车辆属性识别装置，其特征在于，所述装置包括：

第一获取模块，用于获取待识别车辆视频数据，所述待识别车辆视频数据包括多帧待识别车辆图像，每帧待识别车辆图像包括待识别车辆属性；

识别模块，用于将所述待识别车辆视频数据输入到预设的融合模型中，提取所述待识别车辆视频数据中多帧待识别车辆图像的空间维度特征以及时间维度特征，并根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果，所述预设的融合模型包括图像特征提取层以及时序特征提取层；

所述识别模块包括：

提取单元，用于将所述待识别车辆视频数据输入到所述图像特征提取层中，提取所述待识别车辆视频数据中每帧待识别车辆图像的空间维度特征；

识别单元，用于将所述多帧待识别车辆图像的空间维度特征进行叠加并输入到所述时序特征提取层中，以提取所述多帧待识别车辆图像的时间维度特征，根据所述空间维度特征以及所述时间维度特征输出所述待识别车辆属性的识别结果；

所述图像特征提取层包括残差网络，所述残差网络包括卷积层、残差层以及全连接层，所述提取单元包括：

降维子单元，用于将所述待识别车辆视频数据中的单帧待识别车辆图像输入到所述卷积层进行降维处理，得到降维图像；

向量转换子单元，用于将所述降维图像输入所述残差层进行空间向量转换，得到空间特征向量；

计算子单元，用于将所述空间特征向量输入所述全连接层进行计算，得到得分向量，根据所述得分向量得到所述每帧待识别车辆图像的空间维度特征；

所述时序特征提取层包括循环神经网络以及注意力机制，所述识别单元包括：

提取子单元，用于将所述多帧待识别车辆图像的空间维度特征一同输入到所述循环神经网络进行时序特征提取，得到对应的时间维度特征；

处理子单元，用于将所述多帧待识别车辆图像的空间维度特征以及时间维度特征输入所述注意力机制中进行拟合处理，输出所述待识别车辆图像的识别结果。

5.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的车辆属性识别方法中的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的车辆属性识别方法中的步骤。

Images