CN109583379A - 一种基于随机擦除行人对齐网络的行人重识别方法 - Google Patents

一种基于随机擦除行人对齐网络的行人重识别方法 Download PDF

Info

Publication number
CN109583379A
CN109583379A CN201811453303.3A CN201811453303A CN109583379A CN 109583379 A CN109583379 A CN 109583379A CN 201811453303 A CN201811453303 A CN 201811453303A CN 109583379 A CN109583379 A CN 109583379A
Authority
CN
China
Prior art keywords
pedestrian
image
selective erasing
recognition methods
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811453303.3A
Other languages
English (en)
Inventor
王洪元
金翠
陈首兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou University
Original Assignee
Changzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou University filed Critical Changzhou University
Priority to CN201811453303.3A priority Critical patent/CN109583379A/zh
Publication of CN109583379A publication Critical patent/CN109583379A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于随机擦除行人对齐网络的行人重识别方法，包括以下步骤：步骤1，对数据集中原始图片运用随机擦除数据增强算法预处理，增加遮挡，降低过拟合带来的影响；步骤2，将预处理后的图像送入网络的基础分支；步骤3，对有图像错位现象的图片进入仿射估计分支进行对齐处理；步骤4，对齐后的图像进入对齐分支进行重新定位和特征提取；步骤5，在三个大型行人重识别数据库中进行行人重识别，并用Rank‑1和Map的值来表示重识别测试的效果；本发明很好的改善了图像错位现象和降低过拟合的影响，训练得到的网络可以很好的提高行人重识别率。

Description

一种基于随机擦除行人对齐网络的行人重识别方法
技术领域
本发明涉及一种基于随机擦除行人对齐网络的行人重识别方法，属于计算机视觉技术领域。
背景技术
行人重识别是指在不同摄像图像中对行人进行识别，即给定一个监控行人图像，检索跨设备下的该行人图像。目前行人重识别的研究主要基于深度学习和非深度学习两大类。近几年的行人重识别方法主要致力于以下2个方面：第1个是对于特征的提取；第2个则是对光照、背景杂波、拍照角度和遮挡等问题的处理。解决这2个方面问题的方法有基于非深度学习方法（比如度量学习、迁移学习、稀疏表示等方法）和基于深度学习的方法，采用深度学习的方法主要是卷积神经网络（convolutional neural networks，CNN）、度量和损失。同时，为了增强模型的泛化性能，使用的方法有数据增强和正则化方法（如丢弃（dropout），批量标准化（batch normalization，BN））。为了在匹配过程中减小图像匹配错位，提高特征提取的有效性，采用部分对齐的网络结构。该方法将人体分割成每1个小区域，计算每个区域上的特征表示，计算1对测试集和原始图像数据之间的相似度，然后将其聚合为整体的匹配分数。由于该网络结构使用了最小化的triplet损失函数，所以不需要学习身体部位的标签信息。但使用triplet损失函数提高匹配效果的方法不够简便，同时该网络提取的特征还不是很准确，特别是当行人图像有残缺时，提取的行人图像和测试时对比的图像就无法很好地匹配，影响最终的精度。目前大多采用深度学习的方法研究行人重识别，并且深度网络随着结构规模的增大，提取的行人特征更准确。使用规模巨大的CNN，将ImageNet LSVRC-2010数据集中的120万张高清图片分到1 000个不同的类别中。在测试数据中，将Top-1错误（分配的第1个类错误）和Top-5错误（分配的前5个类全错）分别降到了37.5%和17.0%。该神经网络拥有6千万的参数和65万个神经元，共有5个卷积层，利用softmax函数进行1 000类的分类。由于该网络规模巨大，容易造成网络过拟合现象，从而降低最终的匹配精度。
发明内容
目的：为减少图像错位问题，降低噪声和遮挡的影响，克服网络过拟合现象，提高网络泛化能力，本发明将随机擦除数据增强和行人对齐网络进行结合。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
一种基于随机擦除行人对齐网络的行人重识别方法，包括如下步骤：
步骤1，对数据集中原始图片运用随机擦除数据增强算法预处理，增加遮挡，降低过拟合带来的影响；
步骤2，将预处理后的图像送入网络的基础分支；
步骤3，对有图像错位现象的图片进入仿射估计分支进行对齐处理；
步骤4，对齐后的图像进入对齐分支进行重新定位和特征提取；
步骤5，在三个大型行人重识别数据集Market-1501、CUHK03和DukeMTMC-reID中进行行人重识别，并用Rank-1和Map的值来表示重识别测试的效果。
作为优选方案，所述原始图像经随机擦除数据增强算法预处理：随机擦除是以一 定的概率进行的，对于小批量的图像I，假设其进行随机擦除的概率是，则图片不进行随 机擦除的概率是，在随机擦除的过程中会产生不同程度遮挡的图像。
作为优选方案，所述步骤2中预测训练图片的身份，对检测图片的形态外貌进行编码并提供空间定位的线索。
作为优选方案，所述步骤3中当背景占据的比重过大时，使用裁剪的办法，将背景进行裁剪，从而使背景占据的比重减小，换句话说这样行人的比重就能增大，对后续特征提取就更容易。对于行人图像部分缺失的情况，就将0填充到相应的图像边界，也就是将行人缺失部分的像素用0补上。
作为优选方案，所述步骤4中进行重新定位，重新识别其身份信息。
附图表说明
图1是本发明基于随机擦除行人对齐网络的行人重识别方法的流程图；
图2是预处理效果图；
图3是经过对齐网络行人图像前后对比图；
图4基础分支结果；
图5对齐分支结果；
图6随机擦除行人对齐网络与行人对齐网络结果；
图7 Market1501数据集不同方法结果比较；
图8 DukeMTMC-reID数据集不同方法结果比较；
图9 CUHK03数据集不同方法结果比较；
图10摘要附图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1-9所示，一种基于随机擦除行人对齐网络的行人重识别方法，包括步骤如下：
步骤1，对数据集中原始图片运用随机擦除数据增强做预处理；
随机擦除是以一定的概率进行的，对于小批量的图像I，假设其进行随机擦除的概率是，则图片不进行随机擦除的概率是，在随机擦除的过程中会产生不同程度遮挡的图 像。
随机选择图像中的矩形区域，然后利用随机值将原有像素擦除。
图像的面积为
， (1)
其中：W是行人图像的宽，H是行人图像的高。
擦除矩形框的高和宽
， (2)
， (3)
其中： 为擦除的矩形框， 为擦除矩形框的高宽比， 为擦除矩形框的高， 为擦除矩形框的宽。
在图像中随机选择一个点，满足条件：
， (4)
， (5)
其中： 为P点横坐标， 为P点纵坐标。将作为选定 的矩形区域，否则一直重复以上的过程，直到找到合适的可擦出矩形框。将矩形框内的像素 被随机分配中的值。最后，将图片输出，图片经过预处理后的结果见图2-3。
步骤2，预测训练图片的身份，对检测图片的形态外貌进行编码并提供空间定位的线索：
假设输入图像为，表示图片属于类别的概率
， (6)
其中：表示从卷积神经网络模型输出的概率， 表示类别输出概率。
对于基础分支而言，交叉熵损失函数为
， (7)
其中： 是基础分支的权重矩阵，为每个类别正确的标注分布。
当给定标签，且设置正确标签数据分布和，其中，则交 叉熵损失函数可改写成
， (8)
步骤3，对有图像错位现象的图片进行对齐处理：
预测行人的位置并进行相应的空间变换，当背景占据的比重过大时，使用裁剪的办法，将背景进行裁剪，从而使背景占据的比重减小，换句话说这样行人的比重就能增大，对后续特征提取就更容易。对于行人图像部分缺失的情况，就将0填充到相应的图像边界，也就是将行人缺失部分的像素用0补上。
仿射估计分支由1个网格网络和1个双线性采样器组成，网格网络则包含1个残差 块和1个平均池化层。该分支的激活输入张量有2个，来自于基础分支，1个是第2残差块的特 征图（低层次特征图），尺寸为；另一个是第4残差块的特征图（高层次特征图）， 尺寸为。高层次特征映射包含原始图像的低层特征映射，并反映局部模式信 息。之后，通过网格网络传递第4残差块的特征映射来回归1组6维的变换参数。学习到的变 换参数被用来生成图像网格，转换过程为
， (9)
其中:是输出特征图（第2残差块特征图）上的目标坐标，是输入 特征图（第2残差块特征图）上的原始坐标。，，和用来解决尺寸和旋转变化 问题。和处理偏移情况。
本研究使用双线性采样器来弥补缺失的像素，并且将0分配给位于原始范围之外 的像素。原始特征映射用表示，对齐后的输出用表示，从到的变化为
， (10)
其中：表示坐标在通道c的输出特征图，是指在通道c 的输入特征图。如果接近，则根据双线性采样器在处增加像素。
步骤4，对经过仿射估计分支后的图片进行重新定位，重新识别其身份信息；
输入是由仿射估计分支产生的对齐特征图，对齐分支与基础分支拥有着相似的CNN结构。对齐分支的交叉熵损失函数为
， (11)
其中：表示对齐分支的输入，可从原始输入（即基础分支的输入）中推导出，其中： 是对齐分支的权重矩阵，为每个类别正确的标注分布。
当给定标签，且设置正确标签数据分布和，其中， 则交叉熵损失函数可改写为
， (12)
在每次迭代中，使熵值最小，就能提高正确预测的可能性。
步骤5，在行人重识别标准数据库中进行行人重识别，并用行人重识别通用的评价指标，用Rank-1和Map的值来表示本发明测试的效果；
本发明的方法是解决图像错位现象和降低网络过拟合问题，将随机擦除数据增强与行人对齐网络相结合形成一个新的网络。首先使用随机擦除数据增强，对图片进行预处理操作，使图片产生不同程度的遮挡；然后针对检测的行人图像的错位现象，使用行人对齐网络，将多余的背景删除，缺失的行人部分填补；最后，在Market1501、DukeMTMC-reID和CUHK03大型行人重识别数据集上进行了试验与评估，并比较了随机擦除行人对齐网络和行人对齐网络以及其他行人重识别算法的试验结果。在Market1501数据集上rank-1值达到了84%，DukeMTMC-reID数据集的rank-1值达到了71%。试验结果表明，本研究的方法对3个行人重识别数据集精度都有一定的提高，优于LOMO+XQDA、KISSME、GAN和Resnet50+XQDA等方法。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于随机擦除行人对齐网络的行人重识别方法，其特征在于：包括如下步骤：
步骤1，对数据集中原始图片运用随机擦除数据增强算法预处理，增加遮挡，降低过拟合带来的影响；
步骤2，将预处理后的图像送入网络的基础分支；
步骤3，对有图像错位现象的图片进入仿射估计分支进行对齐处理；
步骤4，对齐后的图像进入对齐分支进行重新定位和特征提取；
步骤5，在三个大型行人重识别数据集Market-1501、CUHK03和DukeMTMC-reID中进行行人重识别，并用Rank-1和Map的值来表示重识别测试的效果。
2.根据权利要求1所述的一种基于随机擦除行人对齐网络的行人重识别方法，其特征在于：所述原始图像经随机擦除数据增强算法预处理：随机擦除是以一定的概率进行的，对于小批量的图像I，假设其进行随机擦除的概率是P，则图片不进行随机擦除的概率是1-P，在随机擦除的过程中会产生不同程度遮挡的图像。
3.根据权利要求1所述的一种基于随机擦除行人对齐网络的行人重识别方法，其特征在于：所述步骤2中预测训练图片的身份，对检测图片的形态外貌进行编码并提供空间定位的线索。
4.根据权利要求1所述的一种基于随机擦除行人对齐网络的行人重识别方法，其特征在于：所述步骤3中对图像错位现象做处理。
5.当背景占据的比重过大时，使用裁剪的办法，将背景进行裁剪，从而使背景占据的比重减小，换句话说这样行人的比重就能增大，对后续特征提取就更容易。
6.对于行人图像部分缺失的情况，就将0填充到相应的图像边界，也就是将行人缺失部分的像素用0补上。
7.根据权利要求1所述的一种基于迁移学习的行人重识别方法，其特征在于：所述步骤4中对对齐后的行人图像进行重新定位，提取特征重新识别其身份信息。
CN201811453303.3A 2018-11-30 2018-11-30 一种基于随机擦除行人对齐网络的行人重识别方法 Pending CN109583379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811453303.3A CN109583379A (zh) 2018-11-30 2018-11-30 一种基于随机擦除行人对齐网络的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811453303.3A CN109583379A (zh) 2018-11-30 2018-11-30 一种基于随机擦除行人对齐网络的行人重识别方法

Publications (1)

Publication Number Publication Date
CN109583379A true CN109583379A (zh) 2019-04-05

Family

ID=65925746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811453303.3A Pending CN109583379A (zh) 2018-11-30 2018-11-30 一种基于随机擦除行人对齐网络的行人重识别方法

Country Status (1)

Country Link
CN (1) CN109583379A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096964A (zh) * 2019-04-08 2019-08-06 厦门美图之家科技有限公司 一种生成图像识别模型的方法
CN110110689A (zh) * 2019-05-15 2019-08-09 东北大学 一种行人重识别方法
CN110135366A (zh) * 2019-05-20 2019-08-16 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110781817A (zh) * 2019-10-25 2020-02-11 南京大学 一种解决部件不对齐的行人再识别方法
CN111062329A (zh) * 2019-12-18 2020-04-24 中山大学 基于增广网络的无监督行人重识别方法
CN111241998A (zh) * 2020-01-09 2020-06-05 中移（杭州）信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN111709313A (zh) * 2020-05-27 2020-09-25 杭州电子科技大学 基于局部和通道组合特征的行人重识别方法
CN111814618A (zh) * 2020-06-28 2020-10-23 浙江大华技术股份有限公司 行人重识别方法、步态识别网络训练方法及相关装置
CN112016661A (zh) * 2020-08-20 2020-12-01 浙江大学 一种基于擦除显著性区域的行人重识别方法
CN112560682A (zh) * 2020-12-16 2021-03-26 重庆守愚科技有限公司 一种基于深度学习的气门自动检测方法
CN112990144A (zh) * 2021-04-30 2021-06-18 德鲁动力科技(成都)有限公司 一种用于行人重识别的数据增强方法及系统
CN114299002A (zh) * 2021-12-24 2022-04-08 中用科技有限公司 一种路面抛洒异常行为智能检测系统与方法
CN115795081A (zh) * 2023-01-20 2023-03-14 安徽大学 一种基于多通道融合的跨域残缺足迹图像检索系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171184A (zh) * 2018-01-03 2018-06-15 南京理工大学 基于Siamese网络的用于行人重识别的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171184A (zh) * 2018-01-03 2018-06-15 南京理工大学 基于Siamese网络的用于行人重识别的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金翠等: "基于随机擦除行人对齐网络的行人重识别方法", 《山东大学学报》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096964B (zh) * 2019-04-08 2021-05-04 厦门美图之家科技有限公司 一种生成图像识别模型的方法
CN110096964A (zh) * 2019-04-08 2019-08-06 厦门美图之家科技有限公司 一种生成图像识别模型的方法
CN110110689A (zh) * 2019-05-15 2019-08-09 东北大学 一种行人重识别方法
CN110110689B (zh) * 2019-05-15 2023-05-26 东北大学 一种行人重识别方法
CN110135366A (zh) * 2019-05-20 2019-08-16 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110781817A (zh) * 2019-10-25 2020-02-11 南京大学 一种解决部件不对齐的行人再识别方法
CN111062329A (zh) * 2019-12-18 2020-04-24 中山大学 基于增广网络的无监督行人重识别方法
CN111062329B (zh) * 2019-12-18 2023-05-30 中山大学 基于增广网络的无监督行人重识别方法
CN111241998A (zh) * 2020-01-09 2020-06-05 中移（杭州）信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN111241998B (zh) * 2020-01-09 2023-04-28 中移（杭州）信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN111709313A (zh) * 2020-05-27 2020-09-25 杭州电子科技大学 基于局部和通道组合特征的行人重识别方法
CN111709313B (zh) * 2020-05-27 2022-07-29 杭州电子科技大学 基于局部和通道组合特征的行人重识别方法
CN111814618B (zh) * 2020-06-28 2023-09-01 浙江大华技术股份有限公司 行人重识别方法、步态识别网络训练方法及相关装置
CN111814618A (zh) * 2020-06-28 2020-10-23 浙江大华技术股份有限公司 行人重识别方法、步态识别网络训练方法及相关装置
CN112016661A (zh) * 2020-08-20 2020-12-01 浙江大学 一种基于擦除显著性区域的行人重识别方法
CN112560682A (zh) * 2020-12-16 2021-03-26 重庆守愚科技有限公司 一种基于深度学习的气门自动检测方法
CN112990144A (zh) * 2021-04-30 2021-06-18 德鲁动力科技(成都)有限公司 一种用于行人重识别的数据增强方法及系统
CN114299002A (zh) * 2021-12-24 2022-04-08 中用科技有限公司 一种路面抛洒异常行为智能检测系统与方法
CN115795081A (zh) * 2023-01-20 2023-03-14 安徽大学 一种基于多通道融合的跨域残缺足迹图像检索系统

Similar Documents

Publication Publication Date Title
CN109583379A (zh) 一种基于随机擦除行人对齐网络的行人重识别方法
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN110321813B (zh) 基于行人分割的跨域行人重识别方法
CN109977918B (zh) 一种基于无监督域适应的目标检测定位优化方法
Zhao et al. A survey on deep learning-based fine-grained object classification and semantic segmentation
CN106682696B (zh) 基于在线示例分类器精化的多示例检测网络及其训练方法
CN104809443B (zh) 基于卷积神经网络的车牌检测方法及系统
CN108388896A (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN109919122A (zh) 一种基于3d人体关键点的时序行为检测方法
CN108830188A (zh) 基于深度学习的车辆检测方法
CN108596211B (zh) 一种基于集中学习与深度网络学习的遮挡行人再识别方法
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN108509839A (zh) 一种基于区域卷积神经网络高效的手势检测识别方法
CN105069481B (zh) 基于空间金字塔稀疏编码的自然场景多标记分类方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN108491766B (zh) 一种端到端的基于深度决策森林的人群计数方法
CN112734775A (zh) 图像标注、图像语义分割、模型训练方法及装置
CN108345850A (zh) 基于超像素的笔画特征变换和深度学习的区域分类的场景文本检测方法
CN113095263B (zh) 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置
CN111274915B (zh) 一种指静脉图像的深度局部聚合描述子提取方法及系统
CN108681735A (zh) 基于卷积神经网络深度学习模型的光学字符识别方法
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN111967325A (zh) 一种基于增量优化的无监督跨域行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190405