CN115984765A - 基于双流分块网络的行人重识别方法、电子设备和介质 - Google Patents

基于双流分块网络的行人重识别方法、电子设备和介质 Download PDF

Info

Publication number
CN115984765A
CN115984765A CN202211562611.6A CN202211562611A CN115984765A CN 115984765 A CN115984765 A CN 115984765A CN 202211562611 A CN202211562611 A CN 202211562611A CN 115984765 A CN115984765 A CN 115984765A
Authority
CN
China
Prior art keywords
layer
network
pedestrian
block
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211562611.6A
Other languages
English (en)
Inventor
魏丹
梁丹阳
罗一平
王孝兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN202211562611.6A priority Critical patent/CN115984765A/zh
Publication of CN115984765A publication Critical patent/CN115984765A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于双流分块网络的行人重识别方法，将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，网络模型包括特征提取模块、双流分块模块和损失连接模块，特征提取模块对行人图像进行特征提取，生成全局特征图；双流分块模块包括四个网络分支，第一网络分支用以生成每个局部特征动态匹配后的Triplet loss，第二网络分支用以生成全局特征图改变维度后的Triplet loss，第三网络分支用以生成全局特征图经全连接层处理后的交叉熵损失，第四网络分支用以生成每个水平分块特征经全连接层处理后的交叉熵损失；损失连接模块用以将四个网络分支生成的损失相加。与现有技术相比，本发明能够高效、准确地进行行人重识别。

Description

基于双流分块网络的行人重识别方法、电子设备和介质
技术领域
本发明涉及计算机视觉图像处理技术领域，尤其是涉及基于双流分块网络的行人重识别方法、电子设备和介质。
背景技术
进入新世纪以来，社会公共安全问题越来越受到人们的重视。视觉系统被广泛应用于各种公共场所，而监控视频里面最重要的关注对象就是行人，识别特定行人对于违章判断、刑事侦查、智慧城市以及相册分类等都有着非常重要的意义。
行人重识别(ReID)近几年在学界受到了非常广泛的关注,但是由于不同摄像设备之间的差异，同时行人兼具刚性和柔性的特性，外观易受穿着、遮挡、姿态和视角等不确定因素影响，使得行人重识别问题成为一个十分有挑战性的课题。为了尽可能地提高准确度，一些研究者做了很多工作，这些工作基本上可以分为基于姿态变换的、基于属性网络的、基于分块的。利用姿态估计和属性网络来提取行人特征，这种方法需要额外训练网络，并且需要占用大量GPU内存，其效率往往比较低下。基于水平分块来提取局部特征，虽然这种方式比较高效，但是这种简单的分块往往不能解决那些姿态错位和不对齐的问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供基于双流分块网络的行人重识别方法、电子设备和介质，该发明能够高效、准确地进行行人重识别。
本发明的目的可以通过以下技术方案来实现：
根据本发明提供的一个方面，本发明提供一种基于双流分块网络的行人重识别方法，包括：将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，所述网络模型包括特征提取模块、双流分块模块和损失连接模块，所述特征提取模块对行人图像进行特征提取，生成全局特征图；
所述双流分块模块包括四个网络分支，第一网络分支用以生成全局特征图中每个局部特征动态匹配后的Triplet loss，第二网络分支用以生成全局特征图改变维度后的Triplet loss，第三网络分支包括全连接层，用以生成全局特征图经全连接层处理后的交叉熵损失，第四网络分支用以生成全局特征图中每个水平分块特征经全连接层处理后的交叉熵损失；
损失连接模块用以将四个网络分支生成的损失相加。
优选地，所述第一网络分支包括依次连接的池化层、BN层、ReLU激活函数层、分块层和动态匹配层；
所述全局特征图依次经过池化层池化、BN层归一化、ReLU激活函数层修正线性后和分块层分块后，生成多个局部特征图，所有局部特征图经所述动态匹配层自动对齐后，计算Triplet loss。
优选地，描述动态匹配方法的公式为：
Figure BDA0003985209450000021
式中，Si,j为距离矩阵D从(1,1元素到(i,j)元素累加的最短路径距离，di,j表示第一幅图像第i块局部特征和第二幅图像第j块局部特征的特征距离，其值在[0,1)范围之内；最终两幅图像对齐后的局部特征距离为：
dl(a,b)＝Sh,h
式中，a和b分别为第一幅图像和第二幅图像，dl(a,b)为两幅图像对齐后的局部特征距离。
优选地，描述所述第一网络分支生成的Triplet loss的公式如下所示：
Figure BDA0003985209450000022
式中，Ll T为第一网络分支生成的Triplet loss，d'a,p，d'a,n分别为分块之后的样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。
优选地，描述所述第二网络分支生成的交叉熵损失的公式如下所示：
Figure BDA0003985209450000023
式中，p代表行人的数量，k代表每个行人拥有k张照片，da,p，da,n分别代表样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。
优选地，描述第三网络分支生成的交叉熵损失的公式如下所示：
Figure BDA0003985209450000031
式中，LID为第三网络分支生成的交叉熵损失，M为类别的数量，yic为软标签，其值在(0，1)之间，pic为样本i属于类别c的预测概率，N为样本总数。
优选地，所述第四网络分支包括依次连接的池化层、dropout层、BN层、ReLU激活函数层、水平分块层和全连接层；
参考图3所示，所述全局特征图依次经过池化层池化、dropout层正则化、BN层归一化、ReLU激活函数层修正线性后和水平分块层分块后，生成多个水平局部特征图，所有水平局部特征图经全连接层连接后，计算交叉熵损失。
优选地，描述所述第四网络分支生成的交叉熵损失的公式如下所示：
Figure BDA0003985209450000032
式中，LPID为第四网络分支生成的交叉熵损失，n为水平分块层分块的个数。
根据本发明的第二个方面，本发明提供一种电子设备，包括：
一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。
根据本发明的第三个方面，本发明提供一种计算机可读介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。
与现有技术相比，本发明具有以如下有益效果：
(1)本发明提供的一种基于双流分块网络的行人重识别方法通过采用双流分块网络，联合多个损失优化网络，使其网络模型的鲁棒性更好，实验准确度大幅提升。
(2)本发明提供的一种基于双流分块网络的行人重识别方法通过融合动态匹配的思想，使得结合有效缓解了行人姿态差异较大的难题。
(3)本发明提供的一种基于双流分块网络的行人重识别方法在基本不改变原始结构的情况下又不额外训练其他的辅助网络，识别精度又得到提升，使得本发明确保省时的同时还保证了精度。
附图说明
图1为本实施例提供的一种基于双流分块网络的行人重识别方法的流程示意图。
图2为图1所示实施例中特征的动态匹配的流程示意图；
图3为图1所示实施例中水平分块分支流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
根据本发明的第一个方面，参考图1所示，本实施例提供一种基于双流分块网络的行人重识别方法，包括：将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，该网络模型包括特征提取模块、双流分块模块和损失连接模块，特征提取模块对行人图像进行特征提取，生成全局特征图；
双流分块模块包括四个网络分支，第一网络分支用以生成全局特征图中每个局部特征动态匹配后的Triplet loss，第二网络分支用以生成全局特征图改变维度后的Triplet loss，第三网络分支包括全连接层，用以生成全局特征图经全连接层处理后的交叉熵损失(ID loss)，第四网络分支用以生成全局特征图中每个水平分块特征经全连接层处理后的交叉熵损失(ID loss)；
损失连接模块用以将四个网络分支生成的损失相加。
作为一种可选的实施方式，特征提取模块为卷积神经网络(CNN)。
作为一种可选的实施方式，第一网络分支包括依次连接的池化层、BN层、ReLU激活函数层、分块层和动态匹配层；
所述全局特征图依次经过池化层池化、BN层归一化、ReLU激活函数层修正线性后和分块层分块后，生成多个局部特征图，所有局部特征图经动态匹配层自动对齐后，计算Triplet loss。
作为一种可选的实施方式，局部特征图的个数为8个。
具体地，参考图2所示，动态匹配方法是一种以图像水平切块特征为基础的自动对齐算法。
假设fa和fb分别是图像a和b经过卷积神经网络得到的全局特征。则这两张的全局距离(欧式距离)可以定义为：
dg(a,b)＝||fa-fb||
将图像a和b的局部特征表示为
Figure BDA0003985209450000051
之后利用如下公式计算la和lb归一化之后的距离矩阵：
Figure BDA0003985209450000052
其中，di,j表示第一幅图像第i块局部特征和第二幅图像第j块局部特征的特征距离，其值在[0,1)范围之内。假设所有局部特征向量构成的距离矩阵记作D，即矩阵D的第(i,j)个元素为di,j，则两幅图像对齐后的距离为矩阵D从(1,1到(h,h)的最短距离，最短距离可以通过动态规划计算得到：
Figure BDA0003985209450000053
其中，Si,j为距离矩阵D从(1,1元素到(i,j)元素累加的最短路径距离。最终两幅图像对齐后的局部特征距离为：
dl(a,b)＝Sh,h
其值越小表示两幅图像的相似度就越高。
作为一种可选的实施方式，描述第一网络分支生成的Triplet loss的公式如下所示：
Figure BDA0003985209450000054
式中，
Figure BDA0003985209450000055
为第一网络分支生成的Triplet loss，d'a,p，d'a,n分别为分块之后的样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。
作为一种可选的实施方式，描述第二网络分支生成的交叉熵损失的公式如下所示：
Figure BDA0003985209450000061
其中p代表行人的数量，k代表每个行人拥有k张照片，da,p，da,n分别代表样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。
作为一种可选的实施方式，描述第三网络分支生成的交叉熵损失的公式如下所示：
Figure BDA0003985209450000062
式中，LID为第三网络分支生成的交叉熵损失，M为类别的数量，yic为软标签，其值在(0，1)之间，pic为样本i属于类别c的预测概率，N为样本总数。
作为一种可选的实施方式，第四网络分支包括依次连接的池化层、dropout层、BN层、ReLU激活函数层、水平分块层和全连接层；
参考图3所示，所述全局特征图依次经过池化层池化、dropout层正则化、BN层归一化、ReLU激活函数层修正线性后和水平分块层分块后，生成多个水平局部特征图，所有水平局部特征图经全连接层连接后，计算交叉熵损失。
作为一种可选的实施方式，描述第四网络分支生成的交叉熵损失的公式如下所示：
Figure BDA0003985209450000063
式中，LPID为第四网络分支生成的交叉熵损失，n为水平分块层分块的个数，在本实施例中，n＝6。
作为一种可选的实施方式，描述四个网络分支损失相加的公式如下：
Figure BDA0003985209450000064
将各个损失函数相加一起优化网络。
综上所述，本发明通过采用双流分块网络，联合多个损失优化网络，使其网络模型的鲁棒性更好，实验准确度大幅提升。本发明通过融合动态匹配的思想，使得结合有效缓解了行人姿态差异较大的难题。本发明在基本不改变原始结构的情况下又不额外训练其他的辅助网络，识别精度又得到提升，使得本发明确保省时的同时还保证了精度。
根据本发明的第二个方面，本实施例提供一种电子设备，包括：
一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。
根据本实施例的第三个方面，本实施例提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于双流分块网络的行人重识别方法，其特征在于，包括：将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，所述网络模型包括特征提取模块、双流分块模块和损失连接模块，所述特征提取模块对行人图像进行特征提取，生成全局特征图；
所述双流分块模块包括四个网络分支，第一网络分支用以生成全局特征图中每个局部特征动态匹配后的Triplet loss，第二网络分支用以生成全局特征图改变维度后的Triplet loss，第三网络分支包括全连接层，用以生成全局特征图经全连接层处理后的交叉熵损失，第四网络分支用以生成全局特征图中每个水平分块特征经全连接层处理后的交叉熵损失；
损失连接模块用以将四个网络分支生成的损失相加。
2.根据权利要求1所述的一种基于双流分块网络的行人重识别方法，其特征在于，所述第一网络分支包括依次连接的池化层、BN层、ReLU激活函数层、分块层和动态匹配层；
所述全局特征图依次经过池化层池化、BN层归一化、ReLU激活函数层修正线性后和分块层分块后，生成多个局部特征图，所有局部特征图经所述动态匹配层自动对齐后，计算Triplet loss。
3.根据权利要求2所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述动态匹配方法的公式为：
Figure FDA0003985209440000011
式中，Si,j为距离矩阵D从(1,1元素到(i,j)元素累加的最短路径距离，di,j表示第一幅图像第i块局部特征和第二幅图像第j块局部特征的特征距离，其值在[0,1)范围之内；最终两幅图像对齐后的局部特征距离为：
dl(a,b)＝Sh,h
式中，a和b分别为第一幅图像和第二幅图像，dl(a,b)为两幅图像对齐后的局部特征距离。
4.根据权利要求3所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述所述第一网络分支生成的Triplet loss的公式如下所示：
Figure FDA0003985209440000021
式中，
Figure FDA0003985209440000025
为第一网络分支生成的Triplet loss，d'a,p，d'a,n分别为分块之后的样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。
5.根据权利要求1所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述所述第二网络分支生成的交叉熵损失的公式如下所示：
Figure FDA0003985209440000022
式中，p代表行人的数量，k代表每个行人拥有k张照片，da,p，da,n分别代表样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。
6.根据权利要求1所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述第三网络分支生成的交叉熵损失的公式如下所示：
Figure FDA0003985209440000023
式中，LID为第三网络分支生成的交叉熵损失，M为类别的数量，yic为软标签，其值在(0，1)之间，pic为样本i属于类别c的预测概率，N为样本总数。
7.根据权利要求1所述的一种基于双流分块网络的行人重识别方法，其特征在于，所述第四网络分支包括依次连接的池化层、dropout层、BN层、ReLU激活函数层、水平分块层和全连接层；
参考图3所示，所述全局特征图依次经过池化层池化、dropout层正则化、BN层归一化、ReLU激活函数层修正线性后和水平分块层分块后，生成多个水平局部特征图，所有水平局部特征图经全连接层连接后，计算交叉熵损失。
8.根据权利要求7所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述所述第四网络分支生成的交叉熵损失的公式如下所示：
Figure FDA0003985209440000024
式中，LPID为第四网络分支生成的交叉熵损失，n为水平分块层分块的个数。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1～8任一所述的基于双流分块网络的行人重识别方法的指令。
10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1～8任一所述的基于双流分块网络的行人重识别方法的指令。
CN202211562611.6A 2022-12-07 2022-12-07 基于双流分块网络的行人重识别方法、电子设备和介质 Pending CN115984765A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211562611.6A CN115984765A (zh) 2022-12-07 2022-12-07 基于双流分块网络的行人重识别方法、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211562611.6A CN115984765A (zh) 2022-12-07 2022-12-07 基于双流分块网络的行人重识别方法、电子设备和介质

Publications (1)

Publication Number Publication Date
CN115984765A true CN115984765A (zh) 2023-04-18

Family

ID=85974956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211562611.6A Pending CN115984765A (zh) 2022-12-07 2022-12-07 基于双流分块网络的行人重识别方法、电子设备和介质

Country Status (1)

Country Link
CN (1) CN115984765A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612500A (zh) * 2023-07-20 2023-08-18 深圳须弥云图空间科技有限公司 行人重识别模型训练方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612500A (zh) * 2023-07-20 2023-08-18 深圳须弥云图空间科技有限公司 行人重识别模型训练方法及装置
CN116612500B (zh) * 2023-07-20 2023-09-29 深圳须弥云图空间科技有限公司 行人重识别模型训练方法及装置

Similar Documents

Publication Publication Date Title
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
Lu et al. Feature extraction and fusion using deep convolutional neural networks for face detection
CN109508663B (zh) 一种基于多层次监督网络的行人重识别方法
CN110610129A (zh) 一种基于自注意力机制的深度学习人脸识别系统及方法
CN110363252A (zh) 趋向于端到端的场景文字检测与识别方法以及系统
CN111814574A (zh) 应用双分支三维卷积模型的人脸活体检测系统、终端及存储介质
CN110580461A (zh) 一种结合多级卷积特征金字塔的人脸表情识别算法
CN110781744A (zh) 一种基于多层次特征融合的小尺度行人检测方法
CN110414350A (zh) 基于注意力模型的双路卷积神经网络的人脸防伪检测方法
Huang et al. Joint cross-modal and unimodal features for RGB-D salient object detection
CN111460927A (zh) 对房产证图像进行结构化信息提取的方法
CN110598543A (zh) 基于属性挖掘和推理的模型训练方法及行人再识别方法
CN107545243A (zh) 基于深度卷积模型的黄种人脸识别方法
Xing et al. Offline signature verification using convolution siamese network
CN111709331B (zh) 一种基于多粒度信息交互模型的行人重识别方法
CN111652035B (zh) 一种基于ST-SSCA-Net的行人重识别方法及系统
CN111553227A (zh) 基于任务指导的轻量级人脸检测方法
Hussain et al. A survey of traffic sign recognition systems based on convolutional neural networks
CN110175597A (zh) 一种融合特征传播与聚合的视频目标检测方法
CN113743251B (zh) 一种基于弱监督场景的目标搜索方法及装置
CN115393596A (zh) 一种基于人工智能的服装图像分割方法
He et al. Aggregating local context for accurate scene text detection
Nawaz et al. Convolutional long short-term memory-based approach for deepfakes detection from videos
CN115937852A (zh) 一种基于文本驱动的高效弱监督语义分割方法及装置
CN115984765A (zh) 基于双流分块网络的行人重识别方法、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination