CN115984765A - 基于双流分块网络的行人重识别方法、电子设备和介质 - Google Patents

基于双流分块网络的行人重识别方法、电子设备和介质 Download PDF

Info

Publication number
CN115984765A
CN115984765A CN202211562611.6A CN202211562611A CN115984765A CN 115984765 A CN115984765 A CN 115984765A CN 202211562611 A CN202211562611 A CN 202211562611A CN 115984765 A CN115984765 A CN 115984765A
Authority
CN
China
Prior art keywords
network
pedestrian
layer
loss
identification method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211562611.6A
Other languages
English (en)
Inventor
魏丹
梁丹阳
罗一平
王孝兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN202211562611.6A priority Critical patent/CN115984765A/zh
Publication of CN115984765A publication Critical patent/CN115984765A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于双流分块网络的行人重识别方法，将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，网络模型包括特征提取模块、双流分块模块和损失连接模块，特征提取模块对行人图像进行特征提取，生成全局特征图；双流分块模块包括四个网络分支，第一网络分支用以生成每个局部特征动态匹配后的Triplet loss，第二网络分支用以生成全局特征图改变维度后的Triplet loss，第三网络分支用以生成全局特征图经全连接层处理后的交叉熵损失，第四网络分支用以生成每个水平分块特征经全连接层处理后的交叉熵损失；损失连接模块用以将四个网络分支生成的损失相加。与现有技术相比，本发明能够高效、准确地进行行人重识别。

Description

基于双流分块网络的行人重识别方法、电子设备和介质
技术领域
本发明涉及计算机视觉图像处理技术领域，尤其是涉及基于双流分块网络的行人重识别方法、电子设备和介质。
背景技术
进入新世纪以来，社会公共安全问题越来越受到人们的重视。视觉系统被广泛应用于各种公共场所，而监控视频里面最重要的关注对象就是行人，识别特定行人对于违章判断、刑事侦查、智慧城市以及相册分类等都有着非常重要的意义。
行人重识别(ReID)近几年在学界受到了非常广泛的关注,但是由于不同摄像设备之间的差异，同时行人兼具刚性和柔性的特性，外观易受穿着、遮挡、姿态和视角等不确定因素影响，使得行人重识别问题成为一个十分有挑战性的课题。为了尽可能地提高准确度，一些研究者做了很多工作，这些工作基本上可以分为基于姿态变换的、基于属性网络的、基于分块的。利用姿态估计和属性网络来提取行人特征，这种方法需要额外训练网络，并且需要占用大量GPU内存，其效率往往比较低下。基于水平分块来提取局部特征，虽然这种方式比较高效，但是这种简单的分块往往不能解决那些姿态错位和不对齐的问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供基于双流分块网络的行人重识别方法、电子设备和介质，该发明能够高效、准确地进行行人重识别。
本发明的目的可以通过以下技术方案来实现：
根据本发明提供的一个方面，本发明提供一种基于双流分块网络的行人重识别方法，包括：将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，所述网络模型包括特征提取模块、双流分块模块和损失连接模块，所述特征提取模块对行人图像进行特征提取，生成全局特征图；
所述双流分块模块包括四个网络分支，第一网络分支用以生成全局特征图中每个局部特征动态匹配后的Triplet loss，第二网络分支用以生成全局特征图改变维度后的Triplet loss，第三网络分支包括全连接层，用以生成全局特征图经全连接层处理后的交叉熵损失，第四网络分支用以生成全局特征图中每个水平分块特征经全连接层处理后的交叉熵损失；
损失连接模块用以将四个网络分支生成的损失相加。
优选地，所述第一网络分支包括依次连接的池化层、BN层、ReLU激活函数层、分块层和动态匹配层；
所述全局特征图依次经过池化层池化、BN层归一化、ReLU激活函数层修正线性后和分块层分块后，生成多个局部特征图，所有局部特征图经所述动态匹配层自动对齐后，计算Triplet loss。
优选地，描述动态匹配方法的公式为：
Figure BDA0003985209450000021
式中，Si,j为距离矩阵D从(1,1元素到(i,j)元素累加的最短路径距离，di,j表示第一幅图像第i块局部特征和第二幅图像第j块局部特征的特征距离，其值在[0,1)范围之内；最终两幅图像对齐后的局部特征距离为：
dl(a,b)＝Sh,h
式中，a和b分别为第一幅图像和第二幅图像，dl(a,b)为两幅图像对齐后的局部特征距离。
优选地，描述所述第一网络分支生成的Triplet loss的公式如下所示：
Figure BDA0003985209450000022
式中，Ll T为第一网络分支生成的Triplet loss，d'a,p，d'a,n分别为分块之后的样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。
优选地，描述所述第二网络分支生成的交叉熵损失的公式如下所示：
Figure BDA0003985209450000023
式中，p代表行人的数量，k代表每个行人拥有k张照片，da,p，da,n分别代表样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。
优选地，描述第三网络分支生成的交叉熵损失的公式如下所示：
Figure BDA0003985209450000031
式中，LID为第三网络分支生成的交叉熵损失，M为类别的数量，yic为软标签，其值在(0，1)之间，pic为样本i属于类别c的预测概率，N为样本总数。
优选地，所述第四网络分支包括依次连接的池化层、dropout层、BN层、ReLU激活函数层、水平分块层和全连接层；
参考图3所示，所述全局特征图依次经过池化层池化、dropout层正则化、BN层归一化、ReLU激活函数层修正线性后和水平分块层分块后，生成多个水平局部特征图，所有水平局部特征图经全连接层连接后，计算交叉熵损失。
优选地，描述所述第四网络分支生成的交叉熵损失的公式如下所示：
Figure BDA0003985209450000032
式中，LPID为第四网络分支生成的交叉熵损失，n为水平分块层分块的个数。
根据本发明的第二个方面，本发明提供一种电子设备，包括：
一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。
根据本发明的第三个方面，本发明提供一种计算机可读介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。
与现有技术相比，本发明具有以如下有益效果：
(1)本发明提供的一种基于双流分块网络的行人重识别方法通过采用双流分块网络，联合多个损失优化网络，使其网络模型的鲁棒性更好，实验准确度大幅提升。
(2)本发明提供的一种基于双流分块网络的行人重识别方法通过融合动态匹配的思想，使得结合有效缓解了行人姿态差异较大的难题。
(3)本发明提供的一种基于双流分块网络的行人重识别方法在基本不改变原始结构的情况下又不额外训练其他的辅助网络，识别精度又得到提升，使得本发明确保省时的同时还保证了精度。
附图说明
图1为本实施例提供的一种基于双流分块网络的行人重识别方法的流程示意图。
图2为图1所示实施例中特征的动态匹配的流程示意图；
图3为图1所示实施例中水平分块分支流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
根据本发明的第一个方面，参考图1所示，本实施例提供一种基于双流分块网络的行人重识别方法，包括：将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，该网络模型包括特征提取模块、双流分块模块和损失连接模块，特征提取模块对行人图像进行特征提取，生成全局特征图；
双流分块模块包括四个网络分支，第一网络分支用以生成全局特征图中每个局部特征动态匹配后的Triplet loss，第二网络分支用以生成全局特征图改变维度后的Triplet loss，第三网络分支包括全连接层，用以生成全局特征图经全连接层处理后的交叉熵损失(ID loss)，第四网络分支用以生成全局特征图中每个水平分块特征经全连接层处理后的交叉熵损失(ID loss)；
损失连接模块用以将四个网络分支生成的损失相加。
作为一种可选的实施方式，特征提取模块为卷积神经网络(CNN)。
作为一种可选的实施方式，第一网络分支包括依次连接的池化层、BN层、ReLU激活函数层、分块层和动态匹配层；
所述全局特征图依次经过池化层池化、BN层归一化、ReLU激活函数层修正线性后和分块层分块后，生成多个局部特征图，所有局部特征图经动态匹配层自动对齐后，计算Triplet loss。
作为一种可选的实施方式，局部特征图的个数为8个。
具体地，参考图2所示，动态匹配方法是一种以图像水平切块特征为基础的自动对齐算法。
假设fa和fb分别是图像a和b经过卷积神经网络得到的全局特征。则这两张的全局距离(欧式距离)可以定义为：
dg(a,b)＝||fa-fb||
将图像a和b的局部特征表示为
Figure BDA0003985209450000051
之后利用如下公式计算la和lb归一化之后的距离矩阵：
Figure BDA0003985209450000052
其中，di,j表示第一幅图像第i块局部特征和第二幅图像第j块局部特征的特征距离，其值在[0,1)范围之内。假设所有局部特征向量构成的距离矩阵记作D，即矩阵D的第(i,j)个元素为di,j，则两幅图像对齐后的距离为矩阵D从(1,1到(h,h)的最短距离，最短距离可以通过动态规划计算得到：
Figure BDA0003985209450000053
其中，Si,j为距离矩阵D从(1,1元素到(i,j)元素累加的最短路径距离。最终两幅图像对齐后的局部特征距离为：
dl(a,b)＝Sh,h
其值越小表示两幅图像的相似度就越高。
作为一种可选的实施方式，描述第一网络分支生成的Triplet loss的公式如下所示：
Figure BDA0003985209450000054
式中，
Figure BDA0003985209450000055
为第一网络分支生成的Triplet loss，d'a,p，d'a,n分别为分块之后的样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。
作为一种可选的实施方式，描述第二网络分支生成的交叉熵损失的公式如下所示：
Figure BDA0003985209450000061
其中p代表行人的数量，k代表每个行人拥有k张照片，da,p，da,n分别代表样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。
作为一种可选的实施方式，描述第三网络分支生成的交叉熵损失的公式如下所示：
Figure BDA0003985209450000062
式中，LID为第三网络分支生成的交叉熵损失，M为类别的数量，yic为软标签，其值在(0，1)之间，pic为样本i属于类别c的预测概率，N为样本总数。
作为一种可选的实施方式，第四网络分支包括依次连接的池化层、dropout层、BN层、ReLU激活函数层、水平分块层和全连接层；
参考图3所示，所述全局特征图依次经过池化层池化、dropout层正则化、BN层归一化、ReLU激活函数层修正线性后和水平分块层分块后，生成多个水平局部特征图，所有水平局部特征图经全连接层连接后，计算交叉熵损失。
作为一种可选的实施方式，描述第四网络分支生成的交叉熵损失的公式如下所示：
Figure BDA0003985209450000063
式中，LPID为第四网络分支生成的交叉熵损失，n为水平分块层分块的个数，在本实施例中，n＝6。
作为一种可选的实施方式，描述四个网络分支损失相加的公式如下：
Figure BDA0003985209450000064
将各个损失函数相加一起优化网络。
综上所述，本发明通过采用双流分块网络，联合多个损失优化网络，使其网络模型的鲁棒性更好，实验准确度大幅提升。本发明通过融合动态匹配的思想，使得结合有效缓解了行人姿态差异较大的难题。本发明在基本不改变原始结构的情况下又不额外训练其他的辅助网络，识别精度又得到提升，使得本发明确保省时的同时还保证了精度。
根据本发明的第二个方面，本实施例提供一种电子设备，包括：
一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。
根据本实施例的第三个方面，本实施例提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于双流分块网络的行人重识别方法，其特征在于，包括：将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，所述网络模型包括特征提取模块、双流分块模块和损失连接模块，所述特征提取模块对行人图像进行特征提取，生成全局特征图；
所述双流分块模块包括四个网络分支，第一网络分支用以生成全局特征图中每个局部特征动态匹配后的Triplet loss，第二网络分支用以生成全局特征图改变维度后的Triplet loss，第三网络分支包括全连接层，用以生成全局特征图经全连接层处理后的交叉熵损失，第四网络分支用以生成全局特征图中每个水平分块特征经全连接层处理后的交叉熵损失；
损失连接模块用以将四个网络分支生成的损失相加。
2.根据权利要求1所述的一种基于双流分块网络的行人重识别方法，其特征在于，所述第一网络分支包括依次连接的池化层、BN层、ReLU激活函数层、分块层和动态匹配层；
所述全局特征图依次经过池化层池化、BN层归一化、ReLU激活函数层修正线性后和分块层分块后，生成多个局部特征图，所有局部特征图经所述动态匹配层自动对齐后，计算Triplet loss。
3.根据权利要求2所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述动态匹配方法的公式为：
Figure FDA0003985209440000011
式中，Si,j为距离矩阵D从(1,1元素到(i,j)元素累加的最短路径距离，di,j表示第一幅图像第i块局部特征和第二幅图像第j块局部特征的特征距离，其值在[0,1)范围之内；最终两幅图像对齐后的局部特征距离为：
dl(a,b)＝Sh,h
式中，a和b分别为第一幅图像和第二幅图像，dl(a,b)为两幅图像对齐后的局部特征距离。
4.根据权利要求3所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述所述第一网络分支生成的Triplet loss的公式如下所示：
Figure FDA0003985209440000021
式中，
Figure FDA0003985209440000025
为第一网络分支生成的Triplet loss，d'a,p，d'a,n分别为分块之后的样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。
5.根据权利要求1所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述所述第二网络分支生成的交叉熵损失的公式如下所示：
Figure FDA0003985209440000022
式中，p代表行人的数量，k代表每个行人拥有k张照片，da,p，da,n分别代表样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。
6.根据权利要求1所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述第三网络分支生成的交叉熵损失的公式如下所示：
Figure FDA0003985209440000023
式中，LID为第三网络分支生成的交叉熵损失，M为类别的数量，yic为软标签，其值在(0，1)之间，pic为样本i属于类别c的预测概率，N为样本总数。
7.根据权利要求1所述的一种基于双流分块网络的行人重识别方法，其特征在于，所述第四网络分支包括依次连接的池化层、dropout层、BN层、ReLU激活函数层、水平分块层和全连接层；
参考图3所示，所述全局特征图依次经过池化层池化、dropout层正则化、BN层归一化、ReLU激活函数层修正线性后和水平分块层分块后，生成多个水平局部特征图，所有水平局部特征图经全连接层连接后，计算交叉熵损失。
8.根据权利要求7所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述所述第四网络分支生成的交叉熵损失的公式如下所示：
Figure FDA0003985209440000024
式中，LPID为第四网络分支生成的交叉熵损失，n为水平分块层分块的个数。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1～8任一所述的基于双流分块网络的行人重识别方法的指令。
10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1～8任一所述的基于双流分块网络的行人重识别方法的指令。
CN202211562611.6A 2022-12-07 2022-12-07 基于双流分块网络的行人重识别方法、电子设备和介质 Pending CN115984765A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211562611.6A CN115984765A (zh) 2022-12-07 2022-12-07 基于双流分块网络的行人重识别方法、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211562611.6A CN115984765A (zh) 2022-12-07 2022-12-07 基于双流分块网络的行人重识别方法、电子设备和介质

Publications (1)

Publication Number Publication Date
CN115984765A true CN115984765A (zh) 2023-04-18

Family

ID=85974956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211562611.6A Pending CN115984765A (zh) 2022-12-07 2022-12-07 基于双流分块网络的行人重识别方法、电子设备和介质

Country Status (1)

Country Link
CN (1) CN115984765A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612500A (zh) * 2023-07-20 2023-08-18 深圳须弥云图空间科技有限公司 行人重识别模型训练方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612500A (zh) * 2023-07-20 2023-08-18 深圳须弥云图空间科技有限公司 行人重识别模型训练方法及装置
CN116612500B (zh) * 2023-07-20 2023-09-29 深圳须弥云图空间科技有限公司 行人重识别模型训练方法及装置

Similar Documents

Publication Publication Date Title
Pereira et al. A deep learning-based approach for road pothole detection in timor leste
CN109508663B (zh) 一种基于多层次监督网络的行人重识别方法
CN107291945B (zh) 基于视觉注意力模型的高精度服装图像检索方法及系统
CN112818931A (zh) 基于多粒度深度特征融合的多尺度行人重识别方法
CN111881770B (zh) 一种人脸识别方法及系统
CN104731964A (zh) 基于人脸识别的人脸摘要方法、视频摘要方法及其装置
Molina-Moreno et al. Efficient scale-adaptive license plate detection system
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
CN114973317A (zh) 一种基于多尺度邻接交互特征的行人重识别方法
CN117746467B (zh) 一种模态增强和补偿的跨模态行人重识别方法
CN114170516A (zh) 一种基于路侧感知的车辆重识别方法、装置及电子设备
Jin Kim et al. Learned contextual feature reweighting for image geo-localization
CN115984765A (zh) 基于双流分块网络的行人重识别方法、电子设备和介质
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
Ge et al. WGI-Net: A weighted group integration network for RGB-D salient object detection
WO2022121858A1 (zh) 图像处理方法、指纹信息提取方法、装置、设备、产品及介质
CN114693966A (zh) 一种基于深度学习的目标检测方法
Luo et al. An efficient multi-scale channel attention network for person re-identification
CN110619280A (zh) 一种基于深度联合判别学习的车辆重识别方法及装置
CN114333062A (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
Zheng et al. Template‐Aware Transformer for Person Reidentification
Zaafouri et al. A vehicle license plate detection and recognition method using log gabor features and Convolutional Neural Networks
CN111931767B (zh) 一种基于图片信息度的多模型目标检测方法、装置、系统及存储介质
CN114547437A (zh) 图像检索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination