CN107992819B - 一种车辆属性结构化特征的确定方法与装置 - Google Patents

Abstract

本发明公开了一种车辆属性结构化特征的确定方法及装置，该方法包括：获取视频的图像序列，将图像序列输入到第一目标检测网络，得到每帧图像中的第一车辆目标以及第一车辆目标的浅层特征，根据每帧图像中的第一车辆目标和所述第一车辆目标的浅层特征，为第一车辆目标建立链表，确定出第一图像，将第一图像输入到多分支目标特征识别网络进行识别，得到第一车辆目标的不同属性的结构化特征。可以解决目前传统车辆检索存在的分析速度慢和识别效果差的问题。

Description

一种车辆属性结构化特征的确定方法与装置

技术领域

本发明实施例涉及计算机视觉技术领域，尤其涉及一种车辆属性结构化特征的确定方法与装置。

背景技术

车辆属性主要包括车身颜色、车牌号码、车辆品牌、车辆类型等信息。车辆属性结构化就是将车辆的这些属性信息标记于视频内容中以便于对视频中的车辆进行识别、跟踪、检索等操作。在平安城市、智能交通等视频侦查和嫌疑车搜索等业务领域有着广泛应用。

车辆属性结构化主要涉及车辆检测、目标跟踪和车辆特征提取三类关键技术。然而目前传统的车辆检索系统中存在着分析速度慢和对于较模糊、角度偏的监控视频识别效果差的问题。

发明内容

本发明实施例提供一种车辆属性结构化特征的确定方法与装置，用以解决目前传统车辆检索存在的分析速度慢和识别效果差的问题。

本发明实施例提供的一种车辆属性结构化特征的确定方法，包括：

获取视频的图像序列，所述图像序列包括多帧图像；

将所述图像序列输入到第一目标检测网络，得到每帧图像中的第一车辆目标以及所述第一车辆目标的浅层特征；所述第一目标检测网络是由视频的训练样本对卷积神经网络进行训练确定的；所述第一车辆目标为与所述图像序列中第一帧图像的车辆目标相比位置发生变化的车辆目标；

根据所述每帧图像中的第一车辆目标和所述第一车辆目标的浅层特征，为所述第一车辆目标建立链表，确定出第一图像；

将所述第一图像输入到多分支目标特征识别网络进行识别，得到所述第一车辆目标的不同属性的结构化特征；所述多分支目标特征识别网络是视频的训练样本对多分支卷积神经网络进行训练确定的。

可选的，所述视频的训练样本对卷积神经网络进行训练确定所述第一目标检测网络，包括：

获取多帧第二图像，对每帧第二图像中的车辆目标进行第一信息标记；将标记好的多帧第二图像作为第一训练样本中的图像；所述第一信息可以为车辆目标的车辆类型信息和位置信息；

使用所述第一训练样本中的图像对所述卷积神经网络进行训练，得到第一目标检测网络。

可选的，所述将所述图像序列输入到第一目标检测网络，得到每帧图像中的第一车辆目标以及所述第一车辆目标的浅层特征，包括：

将所述图像序列中的第一帧图像输入到所述第一目标检测网络进行全图检测，得到车辆目标；

检测所述图像序列中位于所述第一帧图像之后的每帧图像中的第一车辆目标的运动区域；

将所述位于所述第一帧图像之后的每帧图像中的第一车辆目标的运动区域输入到所述第一目标检测网络，得到所述位于所述第一帧图像之后的每帧图像中的所述第一车辆目标和所述第一车辆目标的浅层特征。

可选的，所述根据所述每帧图像中的第一车辆目标和所述第一车辆目标的浅层特征，为所述第一车辆目标建立链表，确定出第一图像，包括：

将所述第一车辆目标的浅层特征经过降维，获得所述第一车辆目标的低维度的浅层特征；

确定所述第一车辆目标的非结构化特征的加权欧式距离，并为所述第一车辆目标建立链表；所述第一车辆目标的非结构化特征包括所述第一车辆目标的低维度的浅层特征和第一车辆目标的坐标信息；

对所述链表进行处理，并确定出符合预设数量且像素大于预设阈值的图像；

将所述符合预设数量且像素大于预设阈值的图像确定为所述第一图像。

可选的，所述视频的训练样本对多分支卷积神经网络进行训练确定所述多分支目标特征识别网络，包括：

获取多帧第三图像，对所述第三图像中的第二车辆目标进行第二信息标记；将标记好的多帧第三图像作为第二训练样本中的图像；所述第二信息可以为车辆的车型、车身颜色、车牌号码、车标信息；

使用所述第二训练样本中的图像对所述多分支卷积神经网络进行训练，得到多分支目标特征识别网络。

可选的，所述将所述第一图像输入到多分支目标特征识别网络进行识别，得到所述第一车辆目标的不同属性的结构化特征，包括：

将所述第一图像输入所述多分支目标特征识别网络；

所述多分支目标特征识别网络提取所述第一图像中的各个深层特征，并将所述各个深层特征分类，得到多个属性；

针对所述多个属性中的每个属性，根据置信度对所述属性的多个值进行投票，将投票最高的值确定为所述属性的值；其中，所述多个属性组成所述第一车辆目标的不同属性的结构化特征。

相应地，本发明实施例还提供了一种车辆属性结构化特征的确定装置，包括：

获取单元，用于获取视频的图像序列，所述图像序列包括多帧图像；

检测单元，用于检测将所述图像序列输入到第一目标检测网络，得到每帧图像中的第一车辆目标以及所述第一车辆目标的浅层特征；所述第一目标检测网络是由视频的训练样本对卷积神经网络进行训练确定的；所述第一车辆目标为与所述图像序列中第一帧图像的车辆目标相比位置发生变化的车辆目标；

跟踪单元，用于根据所述每帧图像中的第一车辆目标和所述第一车辆目标的浅层特征，为所述第一车辆目标建立链表，确定出第一图像；

识别单元，用于将所述第一图像输入到多分支目标特征识别网络进行识别，得到所述第一车辆目标的不同属性的结构化特征；所述多分支目标特征识别网络是视频的训练样本对多分支卷积神经网络进行训练确定的。

较佳的，所述检测单元具体用于：

获取多帧第二图像，对每帧第二图像中的车辆目标进行第一信息标记；将标记好的多帧第二图像作为第一训练样本中的图像；所述第一信息可以为车辆目标的车辆类型信息和位置信息；

使用所述第一训练样本中的图像对所述卷积神经网络进行训练，得到第一目标检测网络。

较佳的，所述检测单元具体用于：

将所述图像序列中的第一帧图像输入到所述第一目标检测网络进行全图检测，得到所述车辆目标；

检测所述图像序列中位于所述第一帧图像之后的每帧图像中的第一车辆目标的运动区域；

将所述位于所述第一帧图像之后的每帧图像中的第一车辆目标的运动区域输入到所述第一目标检测网络，得到所述位于所述第一帧图像之后的每帧图像中的所述第一车辆目标和所述第一车辆目标的浅层特征。

较佳的，所述跟踪单元具体用于：

将所述第一车辆目标的浅层特征经过降维，获得所述第一车辆目标的低维度的浅层特征；

确定所述第一车辆目标的非结构化特征的加权欧式距离，并为所述第一车辆目标建立链表；所述第一车辆目标的非结构化特征包括所述第一车辆目标的低维度的浅层特征和第一车辆目标的坐标信息；

对所述链表进行处理，并确定出符合预设数量且像素大于预设阈值的图像；

将所述符合预设数量且像素大于预设阈值的图像确定为所述第一图像。

较佳的，所述识别单元具体用于：

获取多帧第三图像，对所述第三图像中的第二车辆目标进行第二信息标记；将标记好的第三图像作为第二训练样本图像；所述第二信息可以为车辆的车型、车身颜色、车牌号码、车标信息；

使用所述第二训练样本中的图像对所述多分支卷积神经网络进行训练，得到多分支目标特征识别网络。

较佳的，所述识别单元具体用于：

将所述第一图像输入所述多分支目标特征识别网络；

所述多分支目标特征识别网络提取所述第一图像中的各个深层特征，并将所述各个深层特征分类，得到多个属性；

针对所述多个属性中的每个属性，根据置信度对所述属性的多个值进行投票，将投票最高的值确定为所述属性的值；其中，所述多个属性组成所述第一车辆目标的不同属性的结构化特征。

本发明实施例表明，通过获取视频的图像序列，图像序列包括多帧图像，将图像序列输入到第一目标检测网络，得到每帧图像中的第一车辆目标以及第一车辆目标的浅层特征，第一目标检测网络是由视频的训练样本对卷积神经网络进行训练确定的，第一车辆目标为与所述图像序列中第一帧图像的车辆目标相比位置发生变化的车辆目标，根据每帧图像中的第一车辆目标和第一车辆目标的浅层特征，为第一车辆目标建立链表，确定出第一图像，将第一图像输入到多分支目标特征识别网络进行识别，得到第一车辆目标的不同属性的结构化特征。通过将第一图像输入到多分支目标特征识别网络进行识别，可以解决目前传统车辆检索存在的分析速度慢的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的第一目标检测网络训练方法流程图；

图2为发明实施例提供的多分支目标特征识别网络训练方法流程示意图；

图3为发明实施例提供的一种车辆属性结构化方法的流程示意图；

图4为发明实施例提供的一种车辆属性结构化装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实例是利用卷积神经网络对视频进行检测和识别，为了得到理想的检测和识别效果，需要对网络模型进行训练。现对第一目标检测网络和多分支目标特征识别网络的训练。

具体的，可以根据如图1所示的流程来实现第一目标检测网络的训练，如图1所示，该流程具体包括：

步骤S101，获取多帧第二图像，对每帧第二图像中的车辆目标进行第一信息标记；将标记好的多帧第二图像作为第一训练样本中的图像。

在本发明实施例中，上述第一信息可以为车辆目标的车辆类型信息和位置信息。在得到视频之后，需要对该视频进行解码得到该多帧第二图像，然后对每帧第二图像进行标记信息。

举例来说，从现场摄像头中搜集各种场景的视频，对视频进行抽帧处理得到每帧图像。然后采用众包技术，对每帧图像中的车辆目标进行标记，标记的信息可以包含但不限于车辆的位置信息和类别信息。车辆的位置信息可以是车辆在图像中的坐标信息，或者其它可以标识位置的信息，对此不做限制。车辆的坐标可以是相对坐标，比如将图像的左上角侧设为(0,0)，图像右下角设为(1,1)，那么的车辆目标区域的坐标可以用左上角和右下角的相对坐标表示，例如车辆坐标可以表示为(0.5,0.5),(0.75,0.8)。该车辆坐标也可以是图像的像素信息。将这些图像作为第一训练样本中的图像。车辆的类别信息可以是车辆的类型，例如，卡车、客车、轿车等类型。

为了使得第一训练样本中的图像更加丰富，还可以对该第一训练样本中的部分图像进行预处理，具体的预处理方法可以是图像对称、改变曝光等方式，经过预处理后，可以扩充该第一训练样本中的图像。

步骤S102，使用所述第一训练样本中的图像对所述卷积神经网络进行训练，得到第一目标检测网络。

图2示例性的示出了对多分支目标特征识别网络训练的流程，如图2所示，该流程具体包括：

步骤S201，获取多帧第三图像，对第三图像中的第二车辆目标进行第二信息标记；将标记好的多帧第三图像作为第二训练样本中的图像。

在本发明实施例中，该第二信息可以车辆的车型、车身颜色、车牌号码、车标信息等信息。

举例来说，从现场摄像头中搜集各种场景的视频，对视频进行抽帧处理得到每帧图像。采用众包技术，对每帧图像中的车辆目标按照车辆的车型、车身颜色进行分类，对车标、年检标、车牌等区域进行标记。车辆的分类和标记区域包括但不限于以上类别和标记区域。将这些经过分类和区域标记的图像作为第二训练样本中的图像。

步骤S202，使用第二训练样本中的图像对多分支卷积神经网络进行训练，得到多分支目标特征识别网络。

在本发明实施例中，可以通过使用共享特征提取卷积层、深度残差块、混合精度等技术，确定多分支卷积神经网络。然后使用第二训练样本中的图像对多分支卷积神经网络进行训练，根据各分支属性的相关性，可以选择固定其中某些分支或者某些层的参数，重点训练其他部分。对训练好的网络模型进行分析，通过剪枝技术对冗余度较大的部分进行删减，得到较小型的网络模型。重复上述步骤，直到获得理想的网络模型，从而得到训练好的多分支目标特征识别网络。通过多采集各类场景的视频、对图像进行对称。改变曝光的等处理可以丰富训练样本的图像，从而使得实际执行过程中，可以对角度偏。较模糊的视频也有较好的检测和识别效果。

相应的，为了减小计算量，需要对车辆目标的浅层特征进行降维处理。为了获得理想的降维后的特征矩阵，需要确定最优的投射方向向量。具体方法如下：

从第一、第二训练样本中的图像中选取车辆目标，输入到第一目标检测网络，得到车辆目标的浅层特征，提取每个车辆目标的浅层特征的特征矩阵，并将该特征矩阵拉伸为n维向量(x₁,x₂…x_n)，若有m个车辆目标，则组成m×n矩阵。例如，从训练样本图像中挑选100张图像，每张图像含有至少一个车辆目标，每个车辆目标的浅层特征可以拉伸为(x₁,x₂…x_n)向量。假设100张图像中共有200个车辆目标，每个车辆的浅层特征可以拉伸为(x₁,x₂…x₆₀)向量，那么200个车辆目标的浅层特征的特征矩阵可以组成200×60的矩阵。利用主成份分析(Principal Component Analysis，简称PCA)技术确定浅层特征矩阵的最优投射方向向量

200×60的特征矩阵在此方向向量上投影可以得到最优的可识别检测的结果。

基于上述训练好的第一目标检测网络和多分支目标特征识别网络，图3示出了本发明实施例提供的一种的基于视频的车辆目标结构化方法的流程，该流程可以由基于视频的车辆目标结构化装置执行。

如图3所示，该流程具体包括以下步骤：

步骤S301，获取视频的图像序列。

在本发明实施例中，该图像序列可以包括多帧图像。具体的，在得到待识别的视频后，需要对该视频全部或者部分进行解码，得到多帧图像，将该多帧图像按照视频中的时间顺序排列组成图像序列。

步骤S302，将所述图像序列输入到第一目标检测网络，得到每帧图像中的第一车辆目标以及所述第一车辆目标的浅层特征。

该第一车辆目标为与图像序列中第一帧图像的车辆目标相比位置发生变化的车辆目标，也可以说是车辆目标与第一帧图像相比进行了移动。在将图像序列输入到第一目标检测网络，得到每帧图像中的第一车辆目标以及第一车辆目标的浅层特征时，具体可以为：将所述图像序列中的第一帧图像输入到所述第一目标检测网络进行全图检测，得到所述车辆目标，检测所述图像序列中位于所述第一帧图像之后的每帧图像中的第一车辆目标的运动区域，将所述位于所述第一帧图像之后的每帧图像中的第一车辆目标的运动区域输入到所述第一目标检测网络，得到所述位于所述第一帧图像之后的每帧图像中的所述第一车辆目标和所述第一车辆目标的浅层特征。

举例来说，将图像序列中的第一帧图像输入到第一目标检测网络进行全图检测，得到第一帧图像中的车辆目标。所述车辆目标可以是一个也可以是多个。对于图像序列中第一帧图像之后的每帧图像通过运动区域检测算法，例如视觉背景提取(VisualBackground Extractor，ViBe)算法，检测出每帧图像中的运动区域。将每帧图像中检测出的运动区域输入到第一目标检测网络进行检测，得到每帧图像中第一车辆目标以及第一车辆目标的浅层特征。每帧中的运动区域可以是一个也可以是多个，同样的，第一车辆目标也可以是一个或多个，具体由图像中的运动的车辆目标个数确定。通过先检测运动区域再进行车辆目标检测可以大大减少计算量。在检测出的运动区域使用非极大值抑制方法，使邻近区域进行融合，这样可避免出现同一个目标被多次检测的错误。

步骤S303，根据所述每帧图像中的第一车辆目标和所述第一车辆目标的浅层特征，为所述第一车辆目标建立链表，确定出第一图像。

在为该第一车辆目标建立链表，得到第一图像时，具体可以为将所述第一车辆目标的浅层特征经过降维，获得所述第一车辆目标的低维度的浅层特征；确定所述第一车辆目标的非结构化特征的加权欧式距离，并为所述第一车辆目标建立链表；所述第一车辆目标的非结构化特征包括所述第一车辆目标的低维度的浅层特征和第一车辆目标的坐标信息；对所述链表进行处理，并确定出符合预设数量且像素大于预设阈值的图像；将所述符合预设数量且像素大于预设阈值的图像确定为所述第一图像。该预设数量和该预设阈值可以依据经验进行设置，比如该预设数量可以为3或5等，在实际应用时可以依据经验进行调整。

具体的，将经过第一目标检测网络检测得到的第一车辆目标的浅层特征在最优投射方向

方向向量上投影获得降维的浅层特征。例如，假设第一车辆目标为一辆车，第一车辆目标浅层特征是100x100的矩阵，通过在最优投射方向上投影可以得到10x10的特征矩阵。通过这种降维可以去除冗余特征并可以减少计算量提高检测效率。

通过将第一车辆目标的坐标信息和降维的浅层特征构成第一车辆目标可跟踪的非结构化特征。根据实验结果或者经验分别确定第一车辆目标的坐标信息的权重和降维的浅层特征的权重，计算第一车辆目标非结构化特征的欧氏距离，根据欧氏距离为第一车辆目标建立链表。

对链表进行处理，去除错误和重复的目标，挑选预定数量且像素满足预设阈值的第一图像。例如，可以挑选5张大小符合大于80x80第一图像，或其它尺寸的高度和宽度相等的正方形的第一图像。

步骤S304，将所述第一图像输入到多分支目标特征识别网络进行识别，得到所述第一车辆目标的不同属性的结构化特征。

具体的，多分支目标特征识别网络提取第一图像中的各个深层特征，并将各个深层特征分类，同时得到多个属性；针对多个属性中的每个属性，根据置信度对属性的多个值进行投票，将投票最高的值确定为所述属性的值；将所述多个属性组成所述第一车辆目标的不同属性的结构化特征。例如将5个第一图像分别输入到多分支目标特征识别网络中，每个第一图像经过识别会同时得到如车型、车身颜色、车牌、车标、年检标等多个属性。每个属性都会得到5个值，多分支目标特征识别网络在识别的过程中会计算每个值的对应的置信度，并根据置信度对每个属性的5个值进行投票，投票最高的值作为对应属性的值。以车型这一属性为例，如果5个值分别为：1、卡车，置信度90；2、轿车，置信度70；3、卡车，置信度90；4、轿车，置信度60；5、轿车，置信度70。那么轿车的置信度之和为70+60+70＝200，卡车的置信度之和为180＝90+90，轿车置信度之和200大于卡车置信度之和180，则最终投票结果为轿车，所以车型这一属性的值可以确定为轿车。同样的方法，可以对车身颜色等其他属性检测结果的置信度投票，所有属性值确定后，这些属性构成车辆的结构化特征。。

在本发明实施例中，进行车辆目标检测时使用了端到端的深度卷积神经网络进行目标区域和类别的预测，相较于传统目标检测算法在速度和精度上都有较大的提高。同时为了更加贴近真实使用环境，采用了天网项目现场的卡口和视频抽帧图像作为训练样本，经过多级人工标注与检查，确保了训练样本的数量与质量，为训练精准高效模型做准备。

在目标跟踪过程中，采用了更高维度的特征融合，包括传统的区域位置信息等，还包括了经过卷积提取的浅层特征，使得匹配跟踪时具有更高的准确度，可有效改善碰撞，遮挡时的跟踪效果。

在分类识别过程中，使用了多分支目标特征识别网络，在同一个网络中利用共享特征减少运算量，在多特征提取时具有较大的速度优势。并且可根据用户需求自定义功能，具有较好的可扩展性。

上述实施例表明，通过获取视频的图像序列，图像序列包括多帧图像，将图像序列输入到第一目标检测网络，得到每帧图像中的第一车辆目标以及第一车辆目标的浅层特征，第一目标检测网络是由视频的训练样本对卷积神经网络进行训练确定的，第一车辆目标为与所述图像序列中第一帧图像的车辆目标相比位置发生变化的车辆目标，根据每帧图像中的第一车辆目标和第一车辆目标的浅层特征，为第一车辆目标建立链表，确定出第一图像，将第一图像输入到多分支目标特征识别网络进行识别，得到第一车辆目标的不同属性的结构化特征。通过将第一图像输入到多分支目标特征识别网络进行识别，可以解决目前传统车辆检索存在的分析速度慢的问题。

基于相同的技术构思，图4示例性的示出了本发明实施例提供的一种基于视频的车辆特征结构化装置，该装置可以执行基于视频的车辆特征结构化方法。

如图4所示，该装置具体包括：

获取单元401，用于获取视频的图像序列，所述图像序列包括多帧图像；

检测单元402，用于检测将图像序列输入到第一目标检测网络，得到每帧图像中的第一车辆目标以及第一车辆目标的浅层特征；所述第一目标检测网络是由视频的训练样本对卷积神经网络进行训练确定的；所述第一车辆目标为与所述图像序列中第一帧图像的车辆目标相比位置发生变化的车辆目标；

跟踪单元403，用于根据所述每帧图像中的第一车辆目标和所述第一车辆目标的浅层特征，为所述第一车辆目标建立链表，确定出第一图像；

识别单元404，用于将所述第一图像输入到多分支目标特征识别网络进行识别，得到所述第一车辆目标的不同属性的结构化特征；所述多分支目标特征识别网络是视频的训练样本对多分支卷积神经网络进行训练确定的。

较佳的，所述检测单元402具体用于：

获取多帧第二图像，对每帧第二图像中的车辆目标进行第一信息标记；将标记好的多帧第二图像作为第一训练样本中的图像；所述第一信息可以为车辆目标的车辆类型信息和位置信息；

使用所述第一训练样本中的图像对所述卷积神经网络进行训练，得到第一目标检测网络。

较佳的，所述检测单元402具体用于：

将所述图像序列中的第一帧图像输入到所述第一目标检测网络进行全图检测，得到所述车辆目标；

检测所述图像序列中位于所述第一帧图像之后的每帧图像中的第一车辆目标的运动区域；

将所述位于第一帧图像之后的每帧图像中的第一车辆目标的运动区域输入到所述第一目标检测网络，得到所述位于第一帧图像之后的每帧图像中的所述第一车辆目标和所述第一车辆目标的浅层特征。

较佳的，所述跟踪单元403具体用于：

将所述第一车辆目标的浅层特征经过降维，获得所述第一车辆目标的低维度的浅层特征；

确定所述第一车辆目标的非结构化特征的加权欧式距离，并为所述第一车辆目标建立链表；所述第一车辆目标的非结构化特征包括所述第一车辆目标的低维度的浅层特征和第一车辆目标的坐标信息；

对所述链表进行处理，并确定出符合预设数量且像素大于预设阈值的图像；

将所述符合预设数量且像素大于预设阈值的图像确定为所述第一图像。

较佳的，所述识别单元404具体用于：

获取多帧第三图像，对所述第三图像中的第二车辆目标进行第二信息标记；将标记好的第三图像作为第二训练样本图像；

使用所述第二训练样本中的图像对所述多分支卷积神经网络进行训练，得到多分支目标特征识别网络。

较佳的，所述识别单元404具体用于：

将所述第一图像输入所述多分支目标特征识别网络；

所述多分支目标特征识别网络提取所述第一图像中的各个深层特征，并将所述各个深层特征分类，得到多个属性；

针对所述多个属性中的每个属性，根据置信度对所述属性的多个值进行投票，将投票最高的值确定为所述属性的值；其中，所述多个属性组成所述第一车辆目标的不同属性的结构化特征。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种车辆属性结构化特征的确定方法，其特征在于，包括：

获取视频的图像序列，所述图像序列包括多帧图像；

将所述图像序列输入到第一目标检测网络，得到每帧图像中的第一车辆目标以及所述第一车辆目标的浅层特征；所述第一目标检测网络是由视频的训练样本对卷积神经网络进行训练确定的；所述第一车辆目标为与所述图像序列中第一帧图像的车辆目标相比位置发生变化的车辆目标；

根据所述每帧图像中的第一车辆目标和所述第一车辆目标的浅层特征，为所述第一车辆目标建立链表，确定出第一图像；

将所述第一图像输入到多分支目标特征识别网络进行识别，得到所述第一车辆目标的不同属性的结构化特征；所述多分支目标特征识别网络是视频的训练样本对多分支卷积神经网络进行训练确定的；

所述将所述第一图像输入到多分支目标特征识别网络进行识别，得到所述第一车辆目标的不同属性的结构化特征，包括：

将所述第一图像输入所述多分支目标特征识别网络；

所述多分支目标特征识别网络提取所述第一图像中的各个深层特征，并将所述各个深层特征分类，得到多个属性；

针对所述多个属性中的每个属性，根据置信度对所述属性的多个值进行投票，将投票最高的值确定为所述属性的值；其中，所述多个属性组成所述第一车辆目标的不同属性的结构化特征；

所述视频的训练样本对卷积神经网络进行训练确定所述第一目标检测网络，包括：

获取多帧第二图像，对每帧第二图像中的车辆目标进行第一信息标记；将标记好的多帧第二图像作为第一训练样本中的图像；所述第一信息为车辆目标的车辆类型信息和位置信息；

使用所述第一训练样本中的图像对所述卷积神经网络进行训练，得到所述第一目标检测网络。

2.如权利要求1所述的方法，其特征在于，所述将所述图像序列输入到第一目标检测网络，得到每帧图像中的第一车辆目标以及所述第一车辆目标的浅层特征，包括：

将所述图像序列中的第一帧图像输入到所述第一目标检测网络进行全图检测，得到所述车辆目标；

检测所述图像序列中位于所述第一帧图像之后的每帧图像中的第一车辆目标的运动区域；

将所述位于所述第一帧图像之后的每帧图像中的第一车辆目标的运动区域输入到所述第一目标检测网络，得到所述位于所述第一帧图像之后的每帧图像中的所述第一车辆目标和所述第一车辆目标的浅层特征。

3.如权利要求1所述的方法，其特征在于，所述根据所述每帧图像中的第一车辆目标和所述第一车辆目标的浅层特征，为所述第一车辆目标建立链表，确定出第一图像，包括：

将所述第一车辆目标的浅层特征经过降维，获得所述第一车辆目标的低纬度的浅层特征；

确定所述第一车辆目标的非结构化特征的加权欧式距离，并为所述第一车辆目标建立链表；所述第一车辆目标的非结构化特征包括所述第一车辆目标的低维度的浅层特征和所述第一车辆目标的坐标信息；

对所述链表进行处理，并确定出符合预设数量且像素大于预设阈值的图像；

将所述符合预设数量且像素大于预设阈值的图像确定为所述第一图像。

4.如权利要求1所述的方法，其特征在于，所述视频的训练样本对多分支卷积神经网络进行训练确定所述多分支目标特征识别网络，包括：

获取多帧第三图像，对所述第三图像中的第二车辆目标进行第二信息标记；将标记好的多帧第三图像作为第二训练样本中的图像；所述第二信息为车辆的车型、车身颜色、车牌号码、车标信息；

使用所述第二训练样本中的图像对所述多分支卷积神经网络进行训练，得到所述多分支目标特征识别网络。

5.一种车辆属性结构化特征的确定装置，其特征在于，包括：

获取单元，用于获取视频的图像序列，所述图像序列包括多帧图像；

检测单元，用于检测将所述图像序列输入到第一目标检测网络，得到每帧图像中的第一车辆目标以及所述第一车辆目标的浅层特征；所述第一目标检测网络是由视频的训练样本对卷积神经网络进行训练确定的；所述第一车辆目标为与所述图像序列中第一帧图像的车辆目标相比位置发生变化的车辆目标；

跟踪单元，用于根据所述每帧图像中的第一车辆目标和所述第一车辆目标的浅层特征，为所述第一车辆目标建立链表，确定出第一图像；

识别单元，用于将所述第一图像输入到多分支目标特征识别网络进行识别，得到所述第一车辆目标的不同属性的结构化特征；所述多分支目标特征识别网络是视频的训练样本对多分支卷积神经网络进行训练确定的；

所述识别单元具体用于：

将所述第一图像输入所述多分支目标特征识别网络；

所述多分支目标特征识别网络提取所述第一图像中的各个深层特征，并将所述各个深层特征分类，得到多个属性；

针对所述多个属性中的每个属性，根据置信度对所述属性的多个值进行投票，将投票最高的值确定为所述属性的值；其中，所述多个属性组成所述第一车辆目标的不同属性的结构化特征；

所述检测单元具体用于：

获取多帧第二图像，对每帧第二图像中的车辆目标进行第一信息标记；将标记好的多帧第二图像作为第一训练样本中的图像；所述第一信息为车辆目标的车辆类型信息和位置信息；

使用所述第一训练样本中的图像对所述卷积神经网络进行训练，得到所述第一目标检测网络。

6.如权利要求5所述的装置，其特征在于，所述检测单元具体用于：

将所述图像序列中的第一帧图像输入到所述第一目标检测网络进行全图检测，得到所述车辆目标；

检测所述图像序列中位于所述第一帧图像之后的每帧图像中的第一车辆目标的运动区域；

将所述位于所述第一帧图像之后的每帧图像中的第一车辆目标的运动区域输入到所述第一目标检测网络，得到所述位于所述第一帧图像之后的每帧图像中的所述第一车辆目标和所述第一车辆目标的浅层特征。

7.如权利要求5所述的装置，其特征在于，所述跟踪单元具体用于：

将所述第一车辆目标的浅层特征经过降维，获得所述第一车辆目标的低维度的浅层特征；

确定所述第一车辆目标的非结构化特征的加权欧式距离，并为所述第一车辆目标建立链表；所述第一车辆目标的非结构化特征包括所述第一车辆目标的低维度的浅层特征和所述第一车辆目标的坐标信息；

对所述链表进行处理，并确定出符合预设数量且像素大于预设阈值的图像；

将所述符合预设数量且像素大于预设阈值的图像确定为所述第一图像。

8.如权利要求5所述的装置，其特征在于，所述识别单元具体用于：

获取多帧第三图像，对所述第三图像中的第二车辆目标进行第二信息标记；将标记好的多帧第三图像作为第二训练样本中的图像；所述第二信息为车辆的车型、车身颜色、车牌号码、车标信息；

使用所述第二训练样本中的图像对所述多分支卷积神经网络进行训练，得到所述多分支目标特征识别网络。

9.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至4任一项所述的方法。

10.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1至4任一项所述的方法。

Images