CN109871749A - 一种基于深度哈希的行人重识别方法和装置、计算机系统 - Google Patents

Abstract

本发明涉及视频监控技术领域，特别涉及一种基于深度哈希神经网络的行人重识别方法和装置、计算机系统。该方法包括：行人检测，应用目标检测算法对视频中进行行人检测；特征提取，对视频中的检测到的行人图像进行哈希特征和深度特征提取；哈希检索，对提取出的行人哈行特征进行距离计算，然后根据距离的数值大小进行相似度的排序；二次检索，在哈希检索的基础上进行再次检索，采用深度特征提取，进行欧式距离的计算，然后再次排序，并返回排序结果。

Description

一种基于深度哈希的行人重识别方法和装置、计算机系统

技术领域

本发明涉及视频监控技术领域，特别涉及一种基于深度哈希神经网络的行人重识别方法和装置、计算机系统。

背景技术

本发明涉及的背景技术包括：行人重识别和深度哈希检索。

行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索不同位置不同监控设备下的该行人图像。目前的行人重识别方法使用深度神经网络对行人图像进行特征提取，再进行特征相似度计算和排序。近年来，随着行人重识别研究的深入，一些方法在公开数据集上取得了很好的效果，但是模型参数量巨大，特征维度大，使得特征检索时的计算复杂度和时间大大提升。由于现实应用的安全监控场景中存在大量的视频，这些方法由于计算复杂很难满足现实中的实时处理需求。

深度哈希检索是使用深度卷积神经网络(DCNN)对图像进行哈希编码的技术，其目的在于对图像库中的图像进行哈希编码,使得拥有相同标签的图像在汉明空间中的距离较近、拥有不同标签的图像在汉明空间中距离较远,以汉明距离来判断两张图像是否属于同一类图像,实现检索的目的。深度哈希检索的优势在于可以快速地完成特征的匹配检索，但是精度很差，尚不足于运用在行人重识别领域。

发明内容

本发明的目的在于针对行人重识别检索实时速度慢和哈希精度差等问题，提出一种基于深度哈希的行人重识别方法。

本发明提出的技术方案是：

一种基于深度哈希的行人重识别方法，该方法包括：行人检测，应用目标检测算法对视频中进行行人检测；特征提取，对视频中的检测到的行人图像进行哈希特征和深度特征提取；哈希检索，对提取出的行人哈行特征进行距离计算，然后根据距离的数值大小进行相似度的排序；二次检索，在哈希检索的基础上进行再次检索，采用深度特征提取，进行欧式距离的计算，然后再次排序，并返回排序结果。

本发明还提出一种基于深度哈希的行人重识别装置，该装置包括：行人检测模块，对视频中出现的行人进行检测；特征提取模块，对视频中检测出来的行人提取深度哈希特征和深度特征；哈希检索模块：对提取出的行人哈希特征进行距离计算，然后根据距离的数值大小进行相似度的排序；二次检索模块：在哈希检索的基础上再进行表征特征的欧氏距离计算，返回最后的结果。

本发明还提出一种计算机系统，该系统包括：存储器，存储可执行指令；一个或多个处理器与存储器通信以执行可执行指令从而完成以下操作：

1)行人检测，应用目标检测算法对视频中进行行人检测；

2)特征提取，对视频中的检测到的行人图像进行深度哈希特征提取和表征特征提取；

3)哈希检索，对提取出的行人哈行特征进行汉明距离计算，然后根据距离的数值大小进行相似度的排序；

4)二次检索：在哈希检索的基础上进行再次检索，这次用的是深度特征提取，进行欧式距离的计算，然后再次排序，并返回排序结果。

本发明的技术效果有两点：

1、在大规模行人数据集上的检索时间缩小到一半及以上；

2、本发明提出的哈希编码方法比常规的哈希编码方法提高了2倍及以上。

在Market1501公开数据集上进行测试，由于还没有公开发表的哈希检索用于行人重识别数据集的成绩。因此我们实现了普通哈希编码的方法做对比，对比表格如下所示：

表1：不同哈希编码方法的检索精度对比

附图说明

图1，本实施例的行人重识别系统装置的示意图。

图2，实施例中构建一个前向传播的深度哈希卷积神经网络示意图。

图3，是适合实施本申请实施方式的计算机系统的结构示意图。

具体实施方式

如图1所示，

模块一：行人检测实施方式

(1)收集行人相关监控视频，将该视频隔帧保存为图片，作为行人检测基本数据集。

(2)利用深度目标检测算法对每一帧待检测行人图像进行检测，并从检测出的行人区域中提取行人整体特征。具体地，预设深度目标检测算法为RFCN，但不限于为FasterRCNN或SSD等等。

模块二：特征提取实施方式

特征提取分为模型训练和模型推理两个阶段，训练阶段采用公开的行人重识别数据集，推理阶段采用步骤一中提取出的行人图片。本发明中采用的公开行人重识别数据集为market1501数据集，但不限于DukeMTMC和CUHK等其他公开数据集。

本发明首先构建了一个前向传播的深度哈希卷积神经网络，其构成如图2所示，可以用下面的公式1和公式2来表示训练和推理的网络输入输出过程。

在公式1中，I指的是输入的图片数据,f₀指的是基础深度CNN网络(包含卷积层，池化层和全连接层FC₀)，f₁指的是结构量化编码网络层，由全连接层FC₁和结构化编码层b₀组成；FC₂指的是最后具有C个类别的分类层，s指的是最后输出的C维分类概率的特征向量。在训练过程中，图片首先经过基础网络f₀，再经过是结构量化编码网络层f₁，最后经过分类的FC₂层。；基础神经网络可以实现对行人特征的有效提取，结构量化编码网络层实现了对提取出的特征进行结构化编码的过程；最后的FC₂层作为分类损失层，作用于基础网络和量化编码层。整个训练过程中，有三个损失函数联合作用于网络。

量化编码层并没有完成对图像的哈希编码，另外还需要哈希编码层完成图像的哈希编码。哈希编码是一列固定长度的二进制码。在公式2中，h为最后得到的哈希特征。输入的图片数据首先经过基础网络f₀，再经过结构量化编码网络层 f₁，最后通过哈希编码层b₁完成哈希编码，输出哈希特征h。在实际推理过程中，构建的网络会去除量化编码层b₀和全连接层FC₂。

阶段一：模型训练

(1)对公开数据集中的行人图形数据进行预处理和数据增强(包括且不限于尺寸统一化、色彩增强，随机裁剪等)，再进行加载，得到图像数据。

(2)构建网络，如图2和公式1所示，构建训练的深度卷积神经网络，由基础深度CNN网络f₀、结构量化编码网络f₁和全连接层FC₂组成。在本发明的实际运用中，基础CNN网络采用Resnet50，但不限于为Densnet201或Inception 等网络。

(3)联合损失函数

训练过程中损失函数的总表达式如下：

其中,I为图片数据，y为真实数据标签，T为小批量输入图片的个数，为三元损失函数，C(θ，y)为交叉熵分类损失函数，B(θ，y)为结构量化损失函数。如图2所示，三元损失函数使用全连接层FC₀输出的特征t，作用于基础网络f₀和全连接层FC₀。

三元损失函数的公式如下：

三元损失函数为行人重识别领域中的常用损失函数，可以有效地提取行人的特征。在公式(4)中，参数θ指的是损失函数作用的网络层，也就是基础网络f₀和全连接层FC₁。三元损失函数接受三组图片同时作为输入，a指的是锚点图片，p指的是和锚点图片为同一个人的图片，n指的是和锚点图片不是同一个人的图片。D_a，n指的是锚点图片和相同类别图片提取出的特征向量之间的距离； D_a，p指的是锚点图片和不同类别图片提取出的特征向量之间的距离。m指的是距离之间的最小阈值。在本发明的实际运用中，选择P＝8和K＝16，也就是8张相同人的图片和16张不同人的图片组成128张(T＝128)的小批量图片数据集作为输入，实际计算采用的是欧氏距离，距离最小阈值选取的是0.3。

交叉熵分类损失函数的公式如下：

交叉熵分类损失函数为标准的分类函数，对全连接层FC₁输出的特征s进行归一化和对数处理后，与实际分类的数据计算误差。

本发明采用三元损失函数和交叉熵分类损失函数联合的方式，共同调整基础网络f₀完成对行人特征的提取，可以有效地提高分类的精度，比单独使用一种损失函数的效果要好。

结构量化损失函数公式入下所示：

公式6为总的结构量化损失函数，其中，M指的是特征向量中结构块的个数，K指的是单个结构块特征向量的维度；为量化编码层b₀输出的特征；是对取均值，如公式8所示，其中T为批量输入图片数量的大小；E为熵值函数，如公式9所示，用来评估结构块特征分布的均匀程度；γ和μ为权重系数，用来调整试验效果。

量化编码层b₀是将全连接层FC₁输出的特征分成了M个子特征，每个子特征由K个数值构成，公式7对每个子特征进行了归一化处理。在量化损失函数中采用的基本函数为熵值函数，因为熵值函数的光滑和具有凸优化的特性，非常适合进行优化问题的求解，熵值越小，代表特征可编码的数据分布特定，可分的类别很少，不具有辨识能力；熵值越大，代表特征可编码的数据分布不确定，有多种编码的可能性。在对特征t的量化过程中，首先计算自熵函数即量化特征b当中每个子特征的熵值大小，自熵越小，有利于减小相同类别之间的距离；再计算他熵函数即一个批量当中量化特征b的熵值，他熵越大，有利于增大不同类别的距离。自熵和他熵函数的结合有利于较好地实现行人之间的类别分类。

在本发明的实际运用中，全连接层FC₁输出的特征维度为2048，M的数值为8，K的数值为256。每个子特征熵值得最大可编码熵值的大小为8，总比特大小为64。

(4)训练方法

训练方法分为两个步骤：

第一个步骤是不加入量化损失函数，利用三元损失函数和交叉熵损失函数联合训练基础网络，完成特征t的提取。

在本发明的实际运用中，使用了Rsenet50的预训练模型(去除Rsenet50最后的分类层)加快收敛，采用Adam优化求解器，一共训练300步，前150步学习速率为3e-4，从第150步开始进行学习速率的调整，逐渐下降到3e-7。

第二个步骤是固定住基础网络f₀的所有权重参数不变，联合损失函数中加入量化损失函数一起训练量化编码网层f₁和全连接层FC₂，训练至收敛。

采用这样的训练方法，可以同时获取到行人特征的实际值和量化后的编码值，这样可以方便地在后续的模型推理阶段获取行人的深度特征和哈希特征。

阶段二：模型推理

(1)输入数据

对步骤提取的行人图形数据进行预处理(包括且不限于尺寸统一化等)，再进行加载，得到图像数据。

(2)构建网络，加载模型

如图2和公式2所示，构建训练的深度卷积神经网络，由基础深度CNN网络f₀、量化编码层f₁和哈希编码层b₁组成。加载训练阶段中训练好的网络模型，并去除多余网络层的权重参数。

(3)获取行人深度特征

加载模型后，输入图片数据进行运算，提取基础网络中全连接层FC₀的特征作为行人的深度特征。在本发明的实际运用中，深度特征的维度为2048维。

(4)获取深度哈希特征

加载模型后，输入图片数据进行运算，提取量化编码网络中量化编码层FC₁的特征进行处理，获得行人的深度哈希特征。处理公式如下所示：

对于量化编码层FC₁输出的特征，分成M个子特征，将每个子特征的最大值设置为1，其余取0。按照公式10处理后的特征即为输入行人图像的哈希特征。

在本发明的实际运用中，输入一张行人图片可以同时得到行人的深度特征和哈希特征，用于下列步骤中的哈希检索和步骤四的二次检索。

模块三：哈希检索

使用模块二中的特征提取，将图像库中的图片输入到网络中进行推理，得到图像库中的全部图像的哈希特征和深度特征，存入检索特征数据库中。

对于待检索的行人图像，同样输入到推理模型中进行推理，得到待检索的行人图像的哈希特征值和深度特征值。

使用上述步骤得到的待检索图像的哈希特征，计算待检索图像的哈希特征与检索特征数据库中的所有哈希特征值做汉明距离的计算，得到一系列的距离值。根据汉明距离值的大小，按照从小到大的顺序进行排序，最后将排序结果的前n 项返回。

在本发明的实际运用中，n的值取特征数据库的一半。哈希检索的精度不高，不能作为最后的结果返回，但是可以作为粗检，过滤掉差异非常大的样本数据。

因为步骤二中提取出的深度哈希特征都是一串二进制码，计算特征的汉明距离相对于计算欧氏距离而言，用位运算替代了浮点数运算,大大提高了检索的运算效率。

模块四：二次检索

使用模块三中的哈希检索返回待检索图像的一系列相似的特征数据集，从检索特征数据库从提取出相应的深度特征，逐个与检索图像的深度特征进行欧氏距离的计算，得到距离值。根据欧氏距离值的大小，按从小到大的顺序进行排序，最后将排序结果的前N项返回给用户。

因为模块三中已经过滤掉了一半的数据，因此此时做欧氏距离的运算时间大大减小，有效地提高了行人重识别系统的检索效率。

参照图1所示，提出了根据本申请实施方式的行人重识别系统装置的示意图。

如图1所示。行人重识别系统装置可以包括：行人检测模块，特征提取模块，哈希检索模块和二次检索模块。

行人检测模块，对视频中出现的行人进行检测；特征提取模块，对视频中检测出来的行人提取深度哈希特征和深度特征；哈希检索模块：对提取出的行人哈希特征进行距离计算，然后根据距离的数值大小进行相似度的排序；二次检索模块：在哈希检索的基础上再进行表征特征的欧氏距离计算，返回最后的结果。

现参照图3，该图示出了适合实施本申请实施方式的计算机系统的结构示意图。

如图3所示，计算机系统300包括中央处理单元(CPU)301，其可根据存储在只读存储器(ROM)302中的程序或从存储部分308加载至随机存取存储器 (RAM)303中的程序而执行各种适当的动作和过程。在RAM303中，还存储有系统300操作所需要的各种程序和数据。CPU301、ROM302和RAM303通过总线彼此连接。输入/输出I/O接口305也与总线304连接。

以下为与I/O接口连接的部件：包括键盘、鼠标等的输入部分306；包括阴极射线管CRT、液晶显示设备LCD和扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括网络接口卡(如LAN卡和调制解调器等)的通信部分309。通信部分309通过诸如因特网等网络执行通信处理。根据需要，驱动器310也与 I/O接口305连接。如磁盘、光盘、磁光盘、半导体存储器等的可拆卸介质311 可安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。

具体地,根据本公开的实施方式，以上参照图1描述的过程可实施为计算机软件程序。例如，本公开的实施方式包括计算机程序产品，该产品包括有形地体现在机器可读介质中的计算机程序。该计算机程序包括用于执行图1的方法的程序代码。在这种实施方式中，

计算机程序可通过通信部分309从网络上下载并进行安装，和/或可从可拆卸介质311安装。

本发明可以应用于终端设备、计算机系统以及服务器等电子设备中，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/ 或配置的例子包括但不限于:

个人计算机系统、服务器计算机系统、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统以及包括上述任何系统的分布式云计算技术环境等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

Claims (3)

1.一种基于深度哈希的行人重识别方法，其特征在于，该方法包括：行人检测，应用目标检测算法对视频中进行行人检测；特征提取，对视频中的检测到的行人图像进行哈希特征和深度特征提取；哈希检索，对提取出的行人哈行特征进行距离计算，然后根据距离的数值大小进行相似度的排序；二次检索，在哈希检索的基础上进行再次检索，采用深度特征提取，进行欧式距离的计算，然后再次排序，并返回排序结果。

2.一种基于深度哈希的行人重识别装置，其特征在于，该装置包括：行人检测模块，对视频中出现的行人进行检测；特征提取模块，对视频中检测出来的行人提取深度哈希特征和深度特征；哈希检索模块：对提取出的行人哈希特征进行距离计算，然后根据距离的数值大小进行相似度的排序；二次检索模块：在哈希检索的基础上再进行表征特征的欧氏距离计算，返回最后的结果。

3.一种计算机系统，其特征在于，该系统包括：存储器，存储可执行指令；一个或多个处理器与存储器通信以执行可执行指令从而完成以下操作：

1)行人检测，应用目标检测算法对视频中进行行人检测；

2)特征提取，对视频中的检测到的行人图像进行深度哈希特征提取和表征特征提取；

3)哈希检索，对提取出的行人哈行特征进行汉明距离计算，然后根据距离的数值大小进行相似度的排序；

4)二次检索：在哈希检索的基础上进行再次检索，这次用的是深度特征提取，进行欧式距离的计算，然后再次排序，并返回排序结果。