CN110222604A - 基于共享卷积神经网络的目标识别方法和装置 - Google Patents

Abstract

本发明的目的在于提供一种在保持高精度的同时快速高效地识别目标属性进而确定目标的方法，该方法包含如下步骤：步骤S1，对待测图像进行预处理得到预处理图像；步骤S2，将预处理图像输入多属性识别共享卷积网络模型，获得待测图像中的各个待判定对象以及各个待判定对象在属性类别下的对象属性；步骤S3，根据对象属性以及预定属性判断目标对象，其中，多属性识别共享卷积网络模型由用于从预处理图像中检测待判定对象的对象检测部以及用于提取待判定对象的对象属性的对象属性提取部构成，对象属性提取部由含有分别与各个属性类别相对应的全连接层的属性获取网络模型经轮流交替训练的方式训练得到。

Description

基于共享卷积神经网络的目标识别方法和装置

技术领域

本发明属于计算机视觉、人工智能技术领域，涉及目标识别方法和装置，具体涉及一种基于共享卷积神经网络的目标识别方法和装置。

背景技术

目标识别是计算机视觉领域的一个重要研究方向，在实际应用中有着重要的现实意义。例如，在智能交通系统中，目标识别可以帮助确认目标车辆(例如查找肇事车辆)，极大减少人工筛查；在城市电子监控系统中，目标识别可以在大量监控视频中快速查找目标人物(例如犯罪嫌疑人等)，进而开展进一步工作；此外，目标识别还有许多他方面的灵活运用。

通常情况下，目标识别需要针对一个含有目标对象的图像或视频进行，该图像或视频帧除了含有目标对象，还含有其他非目标的同类对象(例如，交通监控视频中除了目标车辆通常还含有较多无关的车辆)。由此，目标识别的流程主要为：使用对象检测技术确定图像或视频帧中的全部同类对象作为待判定对象，然后通过分析对象的特征来从中找出目标对象。

对象检测包括两个关键子任务：对象定位和对象分类。对象定位用于确定图像中各个对象的位置和范围，通常的输出结果为对象的包围盒；而对象分类则需要确定所定位的对象是否是待判定对象。在获得待判定对象后，就需要通过不同的特征分析方法来判定其中的目标对象。任何一个待判定对象都有种多种属性。例如，人有人脸、衣着、饰物等静态属性，也有步态、语音等动态属性；车辆有车牌、颜色、车型、品牌等静态属性，也有车速等动态属性。对目标属性掌握越多，则越能确认目标身份，找到目标。不仅如此，仅仅基于单一类型的属性进行判定，则误判的概率高，因此为了提高目标识别的精度，尤其是复杂场景的目标识别的精度，对不同类型的属性进行综合分析判定是非常必要的。

在深度卷积神经网络兴起以前，现有技术中对图像目标静态属性的识别主要特征提取和分类器结合的方式实现，即，人工设计特征提取器，再训练分类器，然后运用特征提取器从图像中提取特征进行分类得到目标特定属性。

上述基于人工设计特征提取器识别目标属性的方式一次只能识别一种属性，在算法层面无法实现目标多属性同时识别；当需要进行多种不同类型的属性获取时，就需要针对每一种属性设计、训练不同的特征提取器，在识别时也需要这些不同的特征提取器共同使用，因此难以提高目标识别速度和效率。

发明内容

基于以上背景，本发明的目的在于提供一种在保持高精度的同时快速高效地识别目标属性进而确定目标的方法及装置，本发明提出了一种基于共享卷积神经网络的目标识别方法和装置，采用的技术方案如下：

本发明提供了一种基于共享卷积网络的目标识别方法，用于从待测图像中识别出在不同属性类别下具有预定属性的目标对象，其特征在于，包含如下步骤：步骤S1，对待测图像进行预处理得到预处理图像；步骤S2，将预处理图像输入多属性识别共享卷积网络模型，获得待测图像中的各个待判定对象以及各个待判定对象在属性类别下的对象属性；步骤S3，根据对象属性以及预定属性进行判断，将对象属性与预定属性相符合的待判定对象判定为目标对象，其中，多属性识别共享卷积网络模型由用于从预处理图像中检测待判定对象的对象检测部以及用于提取待判定对象的对象属性的对象属性提取部构成，多属性识别共享卷积网络模型的获得过程包括如下步骤：步骤T1，搭建能够用于至少检测得出对象在待测图像中的位置的对象检测网络模型；步骤T2，将包含多张训练图像的训练集输入搭建好的对象检测网络模型进行模型训练，得到训练好的对象检测网络模型作为对象检测部；步骤T3，搭建含有分别与各个属性类别相对应的全连接层的属性获取网络模型；步骤T4，将包含多张训练图像及其对应的属性类别下的对象属性的属性训练集输入属性获取网络模型，以轮流交替训练的方式进行模型训练，得到训练好的属性获取网络模型作为对象属性提取部。

本发明提供的基于共享卷积网络的目标识别方法，还可以具有这样的技术特征，其中，轮流交替训练方式为：依次针对不同的属性类别进行训练从而对所有的属性类别完成训练，当针对一个属性类别进行训练时，该属性类别对应的全连接层以外的全连接层参数均被固定。

本发明提供的基于共享卷积网络的目标识别方法，还可以具有这样的技术特征，其中，步骤S2包括如下步骤：步骤S2-1，将各个待测图像对应的预处理图像批量输入对象检测部，获得包含各个待判定对象的位置在内的对象检测结果；步骤S2-2，根据待判定对象的位置从预处理图像中获取各个待判定对象的图像部分；步骤S2-3，将待判定对象的图像部分经输入层输入对象属性提取部，根据不同的全连接层获得待判定对象在对应的属性类型下的对象属性。

本发明提供的基于共享卷积网络的目标识别方法，还可以具有这样的技术特征，其中，步骤S1中的预处理过程包括如下步骤：步骤S1-1，将每张待测图像尺寸统一；步骤S1-2，依次将各张待测图像中的每个像素点的值除以255从而将图像归一化；步骤S1-3，将多张待测图像制作为一个张量，得到预处理图像。

本发明提供的基于共享卷积网络的目标识别方法，还可以具有这样的技术特征，其中，对象检测网络模型为YOLOv3对象检测网络模型。

本发明提供的基于共享卷积网络的目标识别方法，还可以具有这样的技术特征，其中，步骤S2-1中，对象检测结果还包括待判定对象在一种属性类型下的对象属性，该属性类型不与全连接层相对应。

进一步，本发明还提供了一种基于共享卷积网络的目标识别装置，用于从待测图像中识别出在不同属性类别下具有预定属性的目标对象，其特征在于，包括：预处理部，对待测图像进行预处理得到预处理图像；检测提取部，采用多属性识别共享卷积网络模型对预处理图像进行对象检测及属性提取，获得待测图像中的各个待判定对象以及各个待判定对象在属性类别下的对象属性；目标判定部，根据对象属性以及预定属性进行判断，将对象属性与预定属性相符合的待判定对象判定为目标对象，其中，多属性识别共享卷积网络模型由用于从预处理图像中检测待判定对象的对象检测部以及用于提取待判定对象的对象属性的对象属性提取部构成，多属性识别共享卷积网络模型的获得过程包括如下步骤：步骤T1，搭建能够用于至少检测得出对象在待测图像中的位置的对象检测网络模型；步骤T2，将包含多张训练图像的训练集输入搭建好的对象检测网络模型进行模型训练，得到训练好的对象检测网络模型作为对象检测部；步骤T3，搭建含有分别与各个属性类别相对应的全连接层的属性获取网络模型；步骤T4，将包含多张训练图像及其对应的属性类别下的对象属性的属性训练集输入属性获取网络模型，以轮流交替训练的方式进行模型训练，得到训练好的属性获取网络模型作为对象属性提取部。

发明作用和效果

根据本发明提供的基于共享卷积网络的目标识别方法，由于多属性识别共享卷积网络模型由对象检测部以及对象属性提取部构成，对象属性提取部由含有分别与各个属性类别相对应的全连接层的属性获取网络模型训练得到，因此在对象检测部检测得到待判定对象的位置后，对象属性提取部能够一次性地提取得到待判定对象的多个属性类别下的属性，不需要多次特征分析操作，可以从算法层面提高目标属性识别效率，进而提高目标识别和查找效率。同时，由于属性获取网络模型的训练方式为轮流交替训练的方式，因此在各个属性类型可以分别轮流交替训练，即能够对单个属性类型进行充分的模型训练而保证其精度，也能够防止不同的属性类型之间相互影响。

附图说明

图1是本发明实施例中基于共享卷积神经网络的车辆身份识别方法的流程图；

图2是本发明实施例中的卷积神经网络模型结构示意图；

图3是本发明实施例中采用的YOLOv3检测框架中Darknet的残差网络层结构图；

图4是本发明实施例中采用的Resnet18属性识别网络中残差网络层结构图。

具体实施方式

本发明的基于共享卷积神经网络的目标识别方法主要包括如下步骤：步骤S1，对待测图像进行预处理得到预处理图像；步骤S2，将预处理图像输入多属性识别共享卷积网络模型，获得待测图像中的各个待判定对象以及各个待判定对象在属性类别下的对象属性；步骤S3，根据对象属性以及预定属性进行判断，将对象属性与预定属性相符合的待判定对象判定为目标对象。

本实施例以目标车辆识别为例，说明本发明的基于共享卷积神经网络的目标识别方法的过程及原理。

本实施例中，针对车辆的不同属性类别采用了多种不同的现有数据集，包括：

1、UA-DETRAC数据集，用于作为车辆检测和车型属性的相关数据集。该数据集不仅在各个含有车辆的图像中标注了车辆的位置，而且标注了车型。具体地，UA-DETRAC是一个具有挑战性的真实世界多对象检测和多对象跟踪基准，该数据集包括在中国北京和天津的24个不同地点使用Cannon EOS 550D摄像机拍摄的10小时的视频。录像以每秒25帧(fps)录制，分辨率为960×540像素。UA-DETRAC数据集中有超过14万个图像帧，手动标注了8250个车辆，总计有121万个标记的物体边界框。

2、车辆颜色属性的相关数据集采用的是华中科技大学公布的数据集。该数据集包含15601张车辆图片，分为8种颜色：black,blue,cyan,gray,green,red,white,yellow。这些图片是由分辨率为1920x1080的高清摄像机在城市道路上拍摄的，数据集中的图片只有车辆前脸。

3、车辆品牌属性的相关数据集为Compcars。Compcars是由香港中文大学发布的一个大规模车辆细粒度属性识别和确认数据集。该数据集包含来自互联网场景和自然监控场景下的图片。互联网车辆图片包含163个厂家的1716种汽车型号，总共有136726张包含全车身的图片和27618张包含部分车身(例如车灯)的图片。全车身图片标记了坐标框，视角。每个车型还标记了5种车辆性能的不同属性，包括最大车速、排量、车门数、车座数和汽车类型(品牌)。监控场景图片包含了50000张车辆前脸图片。该数据集可以完成以下视觉任务：细粒度分类、属性预测和车型确认。

另外，本实施例实现的硬件平台需要一张NVIDIA TITANX显卡(GPU加速)。

以下结合附图对实施例进行具体说明。

<实施例>

本发明实施例中基于共享卷积神经网络的车辆身份识别方法流程图。

如图1所示，本发明的基于共享卷积神经网络的车辆身份识别方法包括如下步骤：

步骤S1，对待测图像进行预处理得到预处理图像。

本实施例中，待测图像的预处理过程包括如下步骤：

步骤S1-1，将每张待测图像尺寸统一为416×416(即416像素×416像素)；

步骤S1-2，依次将各张待测图像中的每个像素点的值除以255从而将图像归一化；

步骤S1-3，将多张待测图像制作为一个张量，得到预处理图像。

相应地，本实施例的预处理图像为图像的张量。在其他实施例中，待测图像也可以是单张图像，即，直接将单张待测图像进行尺寸统一、归一化后作为预处理图像。

步骤S2，将预处理图像输入多属性识别共享卷积网络模型，获得待测图像中的各个待判定对象以及各个待判定对象在属性类别下的对象属性。

本实施例中的多属性识别共享卷积网络模型由两部分构成，包括用于从预处理图像中检测待判定对象的对象检测部以及用于提取待判定对象的对象属性的对象属性提取部，该多属性识别共享卷积网络模型获得过程包括步骤T1～T4，具体如下。

步骤T1，搭建能够用于至少检测得出对象在待测图像中的位置的对象检测网络模型。

本实施例的对象检测部由一个对象检测网络模型经训练后得到。具体地，本实施例采用现有深度学习框架Pytorch搭建YOLOv3车辆检测网络模型，将该YOLOv3车辆检测网络模型训练后作为对象检测部。YOLOv3是一个端到端的One-Stage对象检测网络模型，该网络模型输入待测图像后可直接输出图像中对象的位置和识别(即对象在一种属性类型下的属性)，在特定应用场景下具有既保证准确率又满足高效率处理要求的优点。本实施例中，利用该YOLOv3车辆检测网络模型同时获得待判定车辆的位置及车型，其搭建过程如下：

首先，使用k均值聚类算法在训练数据集上得到9个先验包围盒，这9个先验包围盒作为车辆检测包围盒生成的基础。这个先验包围盒按照尺寸大小分为大、中、小三组，由于先验包围盒是在特定场景下生成的，并且，最终车辆检测包围盒以先验包围盒为基础生成，因此，能够获得较好的检测效果。

接下来，使用卷积神经网络搭建YOLOv3框架，该框架由卷积操作和上采样操作组成，其中，多个卷积操作采用了残差网络结构，该结构由两路数据(一路是两个卷积层级联的数据和一路原始数据)相加求和构成，并且网络结构中每一个卷积层之后都做批量规范化(Batch Normalization)和激活(Leaky ReLU)操作。

图2是本发明实施例的多属性识别共享卷积网络模型的结构示意图，图3是本发明实施例中采用的YOLOv3车辆检测网络模型框架中Darknet的残差网络层结构图。

如图2及图3所示，多属性识别共享卷积网络模型中包含了YOLOv3车辆检测网络模型的结构。其中YOLOv3车辆检测网络模型具体包括如下结构：

(1)网络输入，车辆检测网络输入步骤S1预处理图像，图像大小为416×416，张量形状为N3×416×416。

(2)53个卷积层，包括：

a)卷积操作C1，由1个卷积操作组成(卷积核大小为3×3，卷积核个数为32，滑动步长为1，填充为1，输出形状为N×32×416×416)；

b)卷积操作C2，由1个卷积层(卷积核大小为3×3，卷积核个数为64，滑动步长为2，填充为1，输出为N×64×208×208)和1个残差网络结构组成；

c)卷积操作C3，由1个卷积层(卷积核大小为3×3，卷积核个数为128，滑动步长为2，填充为1，输出为N×128×104×104)和2个残差网络结构组成；

d)卷积操作C4，由1个卷积层(卷积核大小为3×3，卷积核个数为256，滑动步长为2，填充为1，输出为N×256×52×52)和8个残差网络结构组成；

e)卷积操作C5，由1个卷积层(卷积核大小为3×3，卷积核个数为512，滑动步长为2，填充为1，输出为N×512×26×26)和8个残差网络结构组成；

f)卷积操作C6，由1个卷积层(卷积核大小为3×3，卷积核个数为1024，滑动步长为2，填充为1，输出为N×1024×13×13)和4个残差网络结构组成。

(3)一系列卷积、上采样和堆积操作：

a)卷积操作C7，由7个卷积层组成，输出为N×27×13×13，用来最终预测车辆位置和车型属性；

b)将卷积操作C7第5个卷积层的输出作为分支导出，分支形状为N×512×13×13，再经过一个卷积层C8(卷积核大小为1×1，卷积核个数为256，填充为0，输出为N×256×13×13)，再对输出进行上采样操作，得到张量形状为N×256×26×26，再将该张量与C5操作得到的张量进行堆积操作，得到形状N×768×26×26的张量；最后对该张量进行卷积操作C9，该卷积操作与C7类似，输出为N×27×26×26，用来最终预测车辆位置和车型属性；

c)将卷积操作C9第5个卷积层的输出作为分支导出，分支形状为N×256×26×26，再经过一个卷积层C10(卷积核大小为1×1，卷积核个数为128，填充为0，输出为N×128×26×26)，再对输出进行上采样操作，得到张量形状为N×128×52×52，再将该张量与C4操作得到的张量进行堆积操作，得到形状N×384×52×52的张量；最后对该张量进行卷积操作C11，该卷积操作与C7、C9类似，输出为N×27×52×52，用来最终预测车辆位置和车型属性。

(4)上一步分别得出三种形状的张量，N×27×13×13，N×27×26×26,N×27×52×52，分别用来预测检测目标中的大目标、中目标和小目标以及车型。N×27×13×13张量具有较大的有效感受野，其与大的先验包围盒结合生成预测包围盒预测大目标车辆位置和车型属性；N×27×13×13张量的有效感受野最小，其与小的先验包围盒结合生成预测包围盒预测小目标车辆位置和车型属性；N×27×26×26张量具有中等大小的有效感受野，与中等大小的先验包围盒结合生成包围盒预测中等目标车辆位置和车型属性。

步骤T2，上述YOLOv3车辆检测网络模型搭建完成后，将包含多张训练图像的训练集输入搭建好的对象检测网络模型进行模型训练，得到训练好的对象检测网络模型作为对象检测部。

本实施例的YOLOv3车辆检测网络模型采用数据集DETRAC作为训练数据。具体训练过程如下：先将数据进行预处理，预处理方式与步骤S1基本相同，但在其基础上加入了随机水平翻转操作实现数据集增强。训练集分批输入YOLOv3车辆检测网络模型进行训练，每次进入YOLOv3车辆检测网络模型的训练图像批次大小为16，一共迭代训练100轮。另外，训练开始前模型的各卷积层参数为随机设置。模型训练过程中，每次迭代(即一批训练图像经过模型)后，模型最后一层计算损失误差。YOLOv3车辆检测、车型识别网络模型采用MSE Loss(均方损失)和SoftMax Loss(交叉熵损失)相结合的方式计算预测包围盒、车型属性误差。最后，将计算得到的损失误差反向传播，更新网络模型参数。模型训练完成条件与常规的卷积神经网络模型相同，即各层网络参数收敛即完成训练。

经过上述迭代训练并在迭代过程中进行误差计算和反向传播，达到各层网络参数收敛即获得训练完成的车辆检测网络模型。

步骤T3，搭建含有分别与属性类别相对应的全连接层的属性获取网络模型。

图4是本发明实施例中采用的Resnet18属性识别网络中残差网络层结构图。

如图2及图4所示，本实施例采用Resnet18作为属性获取网络模型，其中车辆颜色、品牌分类网络共享卷积层，各自设置全连接层。其中，卷积层采用了残差网络结构，该结构由两路数据(一路是两个卷积层级联的数据和一路原始数据)相加求和构成，每层卷积之后都有批量规范化(Batch Normalization)操作，激活(ReLU)操作是在第一层卷积之后以及两路数据相加之后。

上述属性获取网络模型具体包括如下结构：

(1)网络输入，具体输入标记了车辆颜色或车辆品牌的图像，图像大小为224×224，张量形状为n×3×224×224。

(2)多个卷积层，包括：

a)卷积操作C12，由1个卷积层(卷积核大小为7×7，卷积核个数为64，滑动步长为2，填充为3，输出形状为n×64×112×112)和一个最大池化层(核大小为3×3，滑动步长为2，填充为1，输出形状为n×64×56×56)组成。

b)卷积操作C13，由两个残差网络结构组成，两个残差网络卷积层核大小均为3×3，卷积核个数均为64，滑动步长均为1，填充均为1，输出形状为n×64×56×56。

c)卷积操作C14，由两个残差网络结构组成，其中第一个残差网络结构卷积层滑动步长为2，所以该卷积操作带有下采样操作，最终输出形状为n×128×28×28。

d)卷积操作C15、C16与卷积操作C14类似，只有卷积核个数不同，C16输出形状为n×512×7×7。

(3)平均池化操作，将前面多次卷积得到的形状为n×512×7×7的张量进行池化操作，得到一个形状为n×512×1×1的张量。

(4)将上一步得到的张量共享，分别作为车辆颜色全连接层和车辆品牌全连接层的输入，用于最终得到车辆颜色属性和车辆品牌属性。

从上述属性获取网络模型的结构中可以看出，两种不同的属性类别均具有对应的全连接层(即车辆颜色全连接层和车辆品牌全连接层)，这些全连接层的输入为上一层得到的张量共享，因此该属性获取网络模型是一种卷积层共享的卷积层神经网络模型，即共享卷积神经网络。

步骤T4，将包含多张训练图像及其对应的属性类别下的对象属性的属性训练集输入属性获取网络模型，以轮流交替训练的方式进行模型训练，得到训练好的属性获取网络模型作为对象属性提取部。

本实施例中，车辆颜色属性识别部分的训练采用的是华中科技大学公布的数据集，车辆品牌属性识别部分的训练采用的是香港中文大学发布的Compcars数据集，训练过程采用轮流交替训练的方式。

其中，轮流交替训练方式为：依次针对不同的属性类别进行训练从而对所有的属性类别完成训练，当针对一个属性类别进行训练时，该属性类别对应的全连接层以外的全连接层参数均被固定。具体训练过程如下：

先将数据进行预处理，图像尺寸resize为224×224，再进行归一化和规范化操作。训练集分批输入网络模型进行训练，每次进入网络模型的训练图像批次大小为256，包含了不同属性标记的图像，即一批图像中包含有标记为车辆颜色的图像，也包含有标记为车辆品牌的图像，不同属性标记的图像交替轮流训练。即，当输入图像含有车辆颜色属性标记时，则将网络的品牌属性对应的全连接层固定，不更新参数，而颜色属性对应的全连接层和卷积层参数更新；输入图像含有车辆品牌属性标记时，则将网络的颜色属性对应的全连接层固定，不更新参数，而品牌属性对应的全连接层和卷积层参数更新。

各卷积层参数初始化采用在ImageNet数据集上预训练的模型参数。模型训练过程中，每次迭代(即一批训练图像经过模型)后，模型最后一层计算损失误差。车辆颜色属性和车辆品牌属性均采用SoftMa×Loss(交叉熵损失)计算误差。最后，将计算得到的损失误差反向传播，更新网络模型参数。以上过程一共迭代100轮，各层网络参数收敛即完成训练。

经过以上模型和构建过程，即可得到包含对象检测部以及对象属性提取部的多属性识别共享卷积网络模型。然后，即可将经过步骤S1得到的预处理图像输入训练完成的对象检测部(YOLOv3车辆检测模型)进行车辆检测，输出车辆位置和车辆车型属性，再根据车辆位置得到车辆图像，输入对象属性提取部，得到车辆的其他属性。参见图1、图2，该过程具体包括如下步骤：

步骤S2-1，将各个待测图像对应的预处理图像批量输入对象检测部，获得包含各个待判定对象的位置在内的对象检测结果，具体操作为：将预处理图像输入对象检测部(YOLOv3车辆检测网络模型)，得到三个不同形状的张量，将该三个张量中车辆目标置信度低于阈值的目标去除，再使用非极大值抑制(NMS)算法过滤掉预测包围盒中重合较多而置信度低的预测包围盒，从而去除冗余预测包围盒，得到最好的预测包围盒，最终得到各个待判定车辆的车辆位置和车型属性；

步骤S2-2，根据待判定对象的位置从预处理图像中获取各个待判定对象的图像部分，具体为：根据步骤S2-1得到的各张预处理图像中的车辆位置，在对应的单张预处理图像中截取各个车辆的车辆图像部分；

步骤S2-3，将待判定对象的图像部分经输入层输入对象属性提取部，根据不同的全连接层获得待判定对象在对应的属性类型下的对象属性，具体为：将得到的一张预处理图像中的多个车辆图像部分制作为一批张量输入属性获取网络模型，根据颜色属性全连接层和品牌属性全连接层分别得到每个车辆的颜色属性和品牌属性，针对各张预处理图像重复该过程，直到各个预处理图像全部处理完成，得到全部的预处理图像中的待判定车辆的位置、颜色属性和品牌属性。

经过上述过程，获得了待测图像中的各个待判定车辆以及各个待判定车辆在车型属性、颜色属性和品牌属性这三个不同的属性类别下的具体车辆属性。

步骤S3，根据对象属性以及预定属性进行判断，将对象属性与预定属性相符合的待判定对象判定为目标对象。本实施例中，将上述步骤S2得到的各个待判定车辆及其车型属性、颜色属性、品牌属性进行对应存储形成多条待判定车辆数据记录的数据库，然后根据目标车辆的车型属性、颜色属性及品牌属性在该数据库进行匹配检索，找到三种属性均匹配的待判定车辆，即为目标车辆。在其他实施例中，也可以采用相似度计算的方法进行判定。找到目标车辆后，即可根据其对应的待测图像进行相关判断，例如，当需要寻找交通肇事车辆的去向时，可以根据目标车辆所对应的待测图像的获取时间、获取地点判断出其经过路线，从而找到其去向。

实施例作用与效果

根据上述实施例提供的基于共享卷积网络的目标识别方法，由于多属性识别共享卷积网络模型由对象检测部以及对象属性提取部构成，对象属性提取部由含有分别与各个属性类别相对应的全连接层的属性获取网络模型训练得到，因此在对象检测部检测得到待判定对象的位置后，对象属性提取部能够一次性地提取得到待判定对象的多个属性类别下的属性，不需要多次特征分析操作，可以从算法层面提高目标属性识别效率，进而提高目标识别和查找效率。同时，由于属性获取网络模型的训练方式为轮流交替训练的方式，因此在各个属性类型可以分别轮流交替训练，即能够对单个属性类型进行充分的模型训练而保证其精度，也能够防止不同的属性类型之间相互影响。

实施例中，由于对象检测部采用One-Stage对象检测框架YOLOv3，在满足准确率要求的同时，极大地提高了车辆检测的效率；而对象属性提取部采用了共享卷积层、不同属性类别分别设置全连接层的方式，在保证了正确率的同时，减少了卷积运算，最大程度提高了车辆属性识别的效率。另外，在车辆检测和车辆多属性识别的衔接方面，采用了批量图像输入进行对象检测、单张预处理图像所含有的不同的对象图像部分同时进行多属性提取的方案，经过试验比对，该方案具有最快的图像处理速率，并且能高效利用计算资源。

综合以上几种方法，本实施例在保证车辆检测、属性识别准确率的同时，能够高效率地完成检测、识别任务，查找匹配车辆，具有较好的实际使用价值。

上述实施例仅用于说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

例如，上述实施例提供了一种基于共享卷积神经网络的车辆身份识别方法，该方法主要包括步骤S1～步骤S3，即预处理、输入模型获得待判定车辆及其属性、根据属性判定目标车辆。然而，为了实际使用时更为方便，本发明中，预处理部分可以打包形成预处理部，多属性识别共享卷积网络模型可以打包形成一个用于对待判定对象进行对象检测及其属性提取的检测提取部，同时目标判定的部分也可以打包形成对应的目标判定部，由此即可形成能够运行本发明的基于共享卷积神经网络的车辆身份识别方法的计算机软件，也可以形成记录有该计算机软件的可读存储介质，从而进行商品化应用。另外，多属性识别共享卷积网络模型除了可以整体打包形成前述的检测提取部外，还可以分别打包形成对象检测部、对象属性提取部，其衔接所需的对象图像部分获取的操作部分也可以打包形成诸如对象图像部分获取部等，从而形成不同架构但整体功能与前述相同的计算机软件。

实施例中，由于车辆检测网络模型采用了YOLOv3，其在检测车辆位置的同时还可以获取车型，该车型属性没有与属性获取网络模型的全连接层相对应，但其也是与待判定车辆相对应的，也能够用于进行目标判定，因此该车型属性也作为车辆属性的一种类别被加入到了步骤S3的目标判定过程中。在本发明中，该对象检测网络模型所得出的属性也可以不加入目标判定过程。进一步，该YOLOv3模型的好处是可以进行批量处理，因此步骤S1的操作较为简单，可以进行批量输入。但在本发明中，也可以采用其他检测网络模型进行训练来构成对象检测部，该模型可以只获得待判定对象的位置；本发明中，还可以采用其他现有技术中的对象识别算法，只要能够从预处理图像中找出需要进行判定的各个对象即可。

此外，上述实施例中，车辆检测网络模型采用Darknet-53(即包含53个卷积层的Darknet残差网络层结构)作为基础网络来提取特征，其卷积层数量较多，相应地网络结构较深，面对复杂的场景和任务能取得更高的准确率。但在本发明中，实际应用时针对其他特定应用场景可以采用浅一些的网络结构，可以在保证准确率的同时获得更快的识别速率，更好地面向实际应用，例如，发明人还试验了将实施例的车辆检测网络模型换为浅一些的Darknet-19，能达到与实施例基本相同的识别效果。

此外，须知，上述实施例以车辆识别为例说明了本发明的基于共享卷积神经网络的目标识别方法，但该方法显然还可以应用于其他各种场景下物体的目标识别，只要有多种不同属性类别对应的训练数据集，就可以实现某一物体的多种属性识别，进而实现目标识别。

Claims (7)

1.一种基于共享卷积网络的目标识别方法，用于从待测图像中识别出在不同属性类别下具有预定属性的目标对象，其特征在于，包含如下步骤：

步骤S1，对待测图像进行预处理得到预处理图像；

步骤S2，将所述预处理图像输入多属性识别共享卷积网络模型，获得所述预处理图像中的各个待判定对象以及各个所述待判定对象在所述属性类别下的对象属性；

步骤S3，根据所述对象属性以及所述预定属性进行判断，将所述对象属性与所述预定属性相符合的所述待判定对象判定为所述目标对象，

其中，所述多属性识别共享卷积网络模型由用于从所述预处理图像中检测所述待判定对象的对象检测部以及用于提取所述待判定对象的所述对象属性的对象属性提取部构成，

所述多属性识别共享卷积网络模型的获得过程包括如下步骤：

步骤T1，搭建能够用于至少检测得出所述对象在所述待测图像中的位置的对象检测网络模型；

步骤T2，将包含多张训练图像的训练集输入搭建好的对象检测网络模型进行模型训练，得到训练好的所述对象检测网络模型作为所述对象检测部；

步骤T3，搭建含有分别与各个所述属性类别相对应的全连接层的属性获取网络模型；

步骤T4，将包含多张训练图像及其对应的所述属性类别下的对象属性的属性训练集输入所述属性获取网络模型，以轮流交替训练的方式进行模型训练，得到训练好的所述属性获取网络模型作为所述对象属性提取部。

2.根据权利要求1所述的基于共享卷积网络的目标识别方法，其特征在于：

其中，所述轮流交替训练方式为：

依次针对不同的所述属性类别进行训练从而对所有的所述属性类别完成训练，当针对一个所述属性类别进行训练时，该属性类别对应的所述全连接层以外的所述全连接层参数均被固定。

3.根据权利要求1所述的基于共享卷积网络的目标识别方法，其特征在于：

其中，步骤S2包括如下步骤：

步骤S2-1，将各个所述待测图像对应的所述预处理图像批量输入对象检测部，获得包含各个所述待判定对象的位置在内的对象检测结果；

步骤S2-2，根据所述待判定对象的所述位置从所述预处理图像中获取各个所述待判定对象的图像部分；

步骤S2-3，将所述待判定对象的所述图像部分经输入层输入所述对象属性提取部，根据不同的所述全连接层获得所述待判定对象在对应的所述属性类型下的所述对象属性。

4.根据权利要求3所述的基于共享卷积网络的目标识别方法，其特征在于：

其中，步骤S1中的所述预处理过程包括如下步骤：

步骤S1-1，将每张所述待测图像尺寸统一；

步骤S1-2，依次将各张所述待测图像中的每个像素点的值除以255从而将图像归一化；

步骤S1-3，将多张所述待测图像制作为一个张量，得到所述预处理图像。

5.根据权利要求3所述的基于共享卷积网络的目标识别方法，其特征在于：

其中，所述对象检测网络模型为YOLOv3对象检测网络模型。

6.根据权利要求5所述的基于共享卷积网络的目标识别方法，其特征在于：

其中，步骤S2-1中，所述对象检测结果还包括所述待判定对象在一种属性类型下的对象属性，该属性类型不与所述全连接层相对应。

7.一种基于共享卷积网络的目标识别装置，用于从待测图像中识别出在不同属性类别下具有预定属性的目标对象，其特征在于，包括：

预处理部，对待测图像进行预处理得到预处理图像；

检测提取部，采用多属性识别共享卷积网络模型对所述预处理图像进行对象检测及属性提取，获得所述预处理图像中的各个待判定对象以及各个所述待判定对象在所述属性类别下的对象属性；

目标判定部，根据所述对象属性以及所述预定属性进行判断，将所述对象属性与所述预定属性相符合的所述待判定对象判定为所述目标对象，

其中，所述多属性识别共享卷积网络模型由用于从所述预处理图像中检测所述待判定对象的对象检测部以及用于提取所述待判定对象的所述对象属性的对象属性提取部构成，

所述多属性识别共享卷积网络模型的获得过程包括如下步骤：

步骤T1，搭建能够用于至少检测得出所述对象在所述待测图像中的位置的对象检测网络模型；

步骤T2，将包含多张训练图像的训练集输入搭建好的对象检测网络模型进行模型训练，得到训练好的所述对象检测网络模型作为所述对象检测部；

步骤T3，搭建含有分别与各个所述属性类别相对应的全连接层的属性获取网络模型；

步骤T4，将包含多张训练图像及其对应的所述属性类别下的对象属性的属性训练集输入所述属性获取网络模型，以轮流交替训练的方式进行模型训练，得到训练好的所述属性获取网络模型作为所述对象属性提取部。