CN113095304B - 减弱重采样对行人重识别的影响的方法 - Google Patents

减弱重采样对行人重识别的影响的方法 Download PDF

Info

Publication number
CN113095304B
CN113095304B CN202110634357.5A CN202110634357A CN113095304B CN 113095304 B CN113095304 B CN 113095304B CN 202110634357 A CN202110634357 A CN 202110634357A CN 113095304 B CN113095304 B CN 113095304B
Authority
CN
China
Prior art keywords
pedestrian
loss function
picture
resampling
extraction network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110634357.5A
Other languages
English (en)
Other versions
CN113095304A (zh
Inventor
沈复民
徐行
范峻植
邵杰
申恒涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Koala Youran Technology Co ltd
Original Assignee
Chengdu Koala Youran Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Koala Youran Technology Co ltd filed Critical Chengdu Koala Youran Technology Co ltd
Priority to CN202110634357.5A priority Critical patent/CN113095304B/zh
Publication of CN113095304A publication Critical patent/CN113095304A/zh
Application granted granted Critical
Publication of CN113095304B publication Critical patent/CN113095304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种减弱重采样对行人重识别的影响的方法，属于计算机视觉领域。本发明方法包括：对训练数据集进行预处理，并通过重采样策略，计算出每张图片的采样概率；构建特征提取网络，通过该特征提取网络提取出输入的行人的图片的特征表示；计算所述特征提取网络的损失函数，并调节该损失函数中类间损失和类内损失的权重比例，使得所述特征提取网络的损失函数最小；迭代训练行人重识别模型，直至行人重识别模型达到收敛状态。本发明能够通过减弱长尾分布和重采样使行人重识别的特征点在特征空间更加分散而带来的影响。

Description

减弱重采样对行人重识别的影响的方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种减弱重采样对行人重识别的影响的方法。
背景技术
行人重识别作为一种辅助人脸识别的行人识别方法，在行人侧身、背对、脸部有遮挡物等情况下充分发挥出优异的效果，因而行人重识别在学术界和工业界受到了越来越多的人的关注。行人重识别的通用方法是通过使用训练数据集，设计合理的算法使算法收敛并且达到足够好的识别分类效果。但是现有数据集大部分都会存在长尾分布的现象。
长尾分布是指每个类别下的图片数量不相同，并且有可能比例相差会很大。现有的处理长尾分布的方法包含重采样和重权重，重采样就是改变每个人的图片的采样概率，如果属于这个人的图片数量越多，则赋予每张图的采样概率就越低，相反的情况下，对应的采样概率就越高。重权重是在计算最后损失函数的时候给予不同的人不同的权重。
现有的重采样方法就是通过修改每张图片的采样概率，使每个人的采样概是相同的，通过这种方法来减弱长尾分布带来的影响。总体来说，现有的方法具有以下缺陷：
1.当不对长尾分布问题采取任何措施的时候，长尾分布就会表现出对头部（每个类别有充足数量的图片）的行人的识别分类效果很好，而对尾部（每个类别有少量的图片）的行人的识别分类效果较差。如果训练数据集中尾部行人的数量占比很大，那么这个网络的识别分类效果就会很差。
2.当对长尾分布使用重采样策略，就是降低头部行人图片的采样概率，增加尾部行人图片的概率。这样就会带来一个问题，尾部行人图片的采样概率比较高，就会改变特征空间数据的分布，影响模型的鲁棒性。
发明内容
本发明的目的是提供一种减弱重采样对行人重识别的影响的方法，能够通过减弱长尾分布和重采样使行人重识别的特征点在特征空间更加分散而带来的影响。
本发明解决其技术问题，采用的技术方案是：
减弱重采样对行人重识别的影响的方法，包括如下步骤：
步骤1.对训练数据集进行预处理，并通过重采样策略，计算出每张图片的采样概率；
步骤2.构建特征提取网络，通过该特征提取网络提取出输入的行人的图片的特征表示；
步骤3.计算所述特征提取网络的损失函数，并调节该损失函数中类间损失和类内损失的权重比例，使得所述特征提取网络的损失函数最小；
步骤4.迭代训练行人重识别模型，直至行人重识别模型达到收敛状态。
具体的是，步骤1中，所述对训练数据集进行预处理，具体是指：
在通过重采样策略，计算出每张图片的采样概率之前，对训练数据集进行统计，计算出每个行人所对应的图片数量；
通过重采样策略，计算出每张图片的采样概率，并使每个行人的采样概率相同；
然后对图片进行数据增强。
具体的是，步骤1中，所述对图片进行数据增强时，对图片进行左右翻转和/或随机裁剪和/或随机填充策略操作。
具体的是，步骤2中，所述通过该特征提取网络提取出输入的行人的图片的特征表示，具体包括：
使用ResNet-50提取图片的高维特征表示；以及，
使用全连接层将高维特征表示处理为低维特征表示。
具体的是，所述高维特征表示的维度为4096，所述低维特征表示的维度为2048。
具体的是，步骤3中，所述计算所述特征提取网络的损失函数，具体为：
将所述低维特征表示通过Cross Entropy损失函数和Triplet损失函数，计算出所述特征提取网络的损失函数。
具体的是，步骤3中，计算出所述特征提取网络的损失函数后，进行反向传播，并调节该损失函数中类间损失和类内损失的权重比例，使得所述特征提取网络的损失函数最小。
本发明的有益效果是，通过上述减弱重采样对行人重识别的影响的方法，首先使用重采样策略保证了网络能通过使用重采样策略来减弱长尾分布对模型的影响，然后通过调节类内损失函数和类间损失函数的比例，来减弱重采样对行人重识别的影响。当使用重采样策略后，数据在特征空间的分布就会发生改变，特征点就会更加的分散。当我们把类内损失函数的比重提高，网络就会花更多注意力在类内的优化，从而减少了重采样对特征空间的分布的影响，增强了模型的鲁棒性。
附图说明
图1为本发明减弱重采样对行人重识别的影响的方法的流程图；
图2为重采样前特征空间的分布图；
图3为重采样后特征空间的分布图；
图4为发明减弱重采样影响后的特征空间分布图；
图5为本发明实施例中ResNet-50卷积层和全连接训练行人重识别框架结构图。
具体实施方式
下面结合附图及实施例，详细描述本发明的技术方案。
本发明提出了一种减弱重采样对行人重识别的影响的方法，其流程图见图1，其中，该方法包括如下步骤：
步骤1.对训练数据集进行预处理，并通过重采样策略，计算出每张图片的采样概率。
步骤2.构建特征提取网络，通过该特征提取网络提取出输入的行人的图片的特征表示。
步骤3.计算所述特征提取网络的损失函数，并调节该损失函数中类间损失和类内损失的权重比例，使得所述特征提取网络的损失函数最小。
步骤4.迭代训练行人重识别模型，直至行人重识别模型达到收敛状态。
本发明展示了重采样对行人重识别特征空间会产生影响，具体见图2、图3、图4，其中包括三个部分，重采样前特征空间、重采样后特征空间、本发明减弱重采样的影响的特征空间。
在重采样前，特征空间的分类面能很好的区分头部类，但是不能很好的区分尾部类。因为头部类具有足够数量的样本，具有丰富的特征分布，因此头部类能有很好的分类效果。而尾部类由于图片数量较少，不能完全代表该类的特征分布，因此分类效果较差，容易产生误分类的情况。
在重采样后，头部类和尾部类都有了足够量的图片来让模型学习特征分布，因此模型能对头部类和尾部类拥有很好的分类效果。但是重采样会改变原来的特征空间分布，使头部类和尾部类在各自的特征空间更加分散。
使用本发明减弱重采样的影响后，头部类和尾部类被重采样影响而更加分散的影响得到了缓解，头部类和尾部类在其特征空间相对于不使用本发明的情况下特征点会更加聚集，这样让模型拥有了更强的鲁棒性。
实施例
本实施例提供了一种减弱重采样对行人重识别的影响的方法，包括如下步骤：
S1.对训练数据集进行预处理，并通过重采样策略，计算出每张图片的采样概率。
这里，对训练数据集进行预处理，具体是指：
在通过重采样策略，计算出每张图片的采样概率之前，首先需要对训练数据集进行统计，计算出每个行人所对应的图片数量，这里，第i个人拥有的图片数量为
Figure 7260DEST_PATH_IMAGE001
；然后，通过重采样策略，计算出每张图片的采样概率
Figure 721138DEST_PATH_IMAGE002
，并使每个行人的采样概率相同；最后，对图片进行数据增强，其中，对图片进行数据增强时，对图片进行左右翻转和/或随机裁剪和/或随机填充策略操作。
S2.构建特征提取网络，通过该特征提取网络提取出输入的行人的图片的特征表示。
本实施例中，将输入的图片
Figure 32033DEST_PATH_IMAGE003
通过ResNet-50卷积层得到一个4096维的一个特征表示，其中，ResNet-50卷积层和全连接训练行人重识别框架结构图见图5，图5中，行人特征通过一个全连接层得到一个2048维的特征表示
Figure 958401DEST_PATH_IMAGE004
。
S3.计算所述特征提取网络的损失函数，并调节该损失函数中类间损失和类内损失的权重比例，使得所述特征提取网络的损失函数最小。
这里，计算所述特征提取网络的损失函数，具体为：
将低维特征表示通过Cross Entropy损失函数和Triplet损失函数，计算出特征提取网络的损失函数，计算出所述特征提取网络的损失函数后，进行反向传播，并调节该损失函数中类间损失和类内损失的权重比例，使得特征提取网络的损失函数最小。
本实施例中，将步骤S2中得到的2048维特征表示通过Cross Entropy损失函数和Triplet损失函数，计算出损失函数后再进行反向传播。
其中，Cross Entropy损失函数的公式为：
Figure 303932DEST_PATH_IMAGE005
其中，m表示总的行人类别数，
Figure 923132DEST_PATH_IMAGE006
表示当前图片属于第i类的概率，
Figure 721324DEST_PATH_IMAGE007
表示模型预测出当前图片属于第i类的概率。
Triplet损失函数：
对于一个输入三元组（a, p, n）,a表示当前计算图片，p代表与a属于同一类的图片，n代表和a属于不同类别的样本。
类内损失函数为：
Figure 654644DEST_PATH_IMAGE008
其中，d(a,b)表示a和b两张图片的距离，可以是欧式距离，也可以是余弦相似度距离，
Figure 182578DEST_PATH_IMAGE009
表示和a属于同一类别的第i张图片。
类间的损失函数为：
Figure 238258DEST_PATH_IMAGE010
其中，d(a,b)表示a和b两张图片的距离，可以是欧式距离，也可以是余弦相似度距离，
Figure 727009DEST_PATH_IMAGE011
表示和a不属于同一类别的第i张图片。
最终，特征提取网络的损失函数即Triplet损失函数表达式为：
Figure 260758DEST_PATH_IMAGE012
其中，weight表示为调节类内损失和内间损失的权重比例。
S4.迭代训练行人重识别模型，直至行人重识别模型达到收敛状态。
这里，不断的迭代网络训练，直到网络具有较好的特征提取能力，模型对行人图片具有较好的分类识别能力。
本实施例中，训练好的模型在market1501数据集上的测试结果如下表：
Figure 315302DEST_PATH_IMAGE013
从表格中我们可以看出当网络结构使用resnet50的时候比resnet18的时候识别效果要好。同一个网络结构中，使用了重采样策略的效果比未使用重采样策略的效果要好。当使用重采样策略后，通过本方法调整类内损失和类间损失的比重，能找到合适的权重能让重采样的识别效果更好。
因此，本实施例展示了重采样能提升长尾训练数据集带来的影响，并且能让网络的识别效果得到提升，通过本方法的调节类内损失和类间损失的比例，能够改善重采样带来的行人数据分布被改变导致的类中心被影响的问题，能进一步提升模型的识别效果，比单纯的使用重采样策略的效果更好，通过让头部类的特征点更加聚集，增加了模型的鲁棒性。

Claims (5)

1.减弱重采样对行人重识别的影响的方法，其特征在于，包括如下步骤：
步骤1.对训练数据集进行预处理，并通过重采样策略，计算出每张图片的采样概率；
步骤2.构建特征提取网络，通过该特征提取网络提取出输入的行人的图片的特征表示，所述通过该特征提取网络提取出输入的行人的图片的特征表示，具体包括：
使用ResNet-50提取图片的高维特征表示；以及，
使用全连接层将高维特征表示处理为低维特征表示；
步骤3.计算所述特征提取网络的损失函数，并调节该损失函数中类间损失和类内损失的权重比例，使得所述特征提取网络的损失函数最小，计算所述特征提取网络的损失函数，具体为：将所述低维特征表示通过Cross Entropy损失函数和Triplet损失函数，计算出所述特征提取网络的损失函数；
步骤4.迭代训练行人重识别模型，直至行人重识别模型达到收敛状态。
2.根据权利要求1所述的减弱重采样对行人重识别的影响的方法，其特征在于，步骤1中，所述对训练数据集进行预处理，具体是指：在通过重采样策略，计算出每张图片的采样概率之前，对训练数据集进行统计，计算出每个行人所对应的图片数量；
通过重采样策略，计算出每张图片的采样概率，并使每个行人的采样概率相同；
然后对图片进行数据增强。
3.根据权利要求2所述的减弱重采样对行人重识别的影响的方法，其特征在于，对图片进行数据增强时，具体包括对图片进行左右翻转和/或随机裁剪和/或随机填充策略操作。
4.根据权利要求1所述的减弱重采样对行人重识别的影响的方法，其特征在于，所述高维特征表示的维度为4096，所述低维特征表示的维度为2048。
5.根据权利要求1所述的减弱重采样对行人重识别的影响的方法，其特征在于，步骤3中，计算出所述特征提取网络的损失函数后，进行反向传播，并调节该损失函数中类间损失和类内损失的权重比例，使得所述特征提取网络的损失函数最小。
CN202110634357.5A 2021-06-08 2021-06-08 减弱重采样对行人重识别的影响的方法 Active CN113095304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110634357.5A CN113095304B (zh) 2021-06-08 2021-06-08 减弱重采样对行人重识别的影响的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110634357.5A CN113095304B (zh) 2021-06-08 2021-06-08 减弱重采样对行人重识别的影响的方法

Publications (2)

Publication Number Publication Date
CN113095304A CN113095304A (zh) 2021-07-09
CN113095304B true CN113095304B (zh) 2021-09-03

Family

ID=76665987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110634357.5A Active CN113095304B (zh) 2021-06-08 2021-06-08 减弱重采样对行人重识别的影响的方法

Country Status (1)

Country Link
CN (1) CN113095304B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1683067A1 (en) * 2003-10-06 2006-07-26 Transneuronix, Inc. Method for screening and treating disorders
CN109344787A (zh) * 2018-10-15 2019-02-15 浙江工业大学 一种基于人脸识别与行人重识别的特定目标跟踪方法
CN111860573A (zh) * 2020-06-04 2020-10-30 北京迈格威科技有限公司 模型训练方法、图像类别检测方法、装置和电子设备
CN111898685A (zh) * 2020-08-03 2020-11-06 华南理工大学 一种基于长尾分布数据集的目标检测方法
CN112541458A (zh) * 2020-12-21 2021-03-23 中国科学院自动化研究所 基于元学习的域自适应的人脸识别方法、系统、装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853627B2 (en) * 2017-09-28 2020-12-01 Nec Corporation Long-tail large scale face recognition by non-linear feature level domain adaptation
EP3803767A1 (en) * 2018-06-05 2021-04-14 Swiss Reinsurance Company Ltd. Risk splitter and risk quantifying forecast system using a structured forward-looking simulation technique quantifying clashing, long-tail risk events causing casualty loss accumulation and high earning volatility, and method thereof
US11210554B2 (en) * 2019-03-21 2021-12-28 Illumina, Inc. Artificial intelligence-based generation of sequencing metadata
US11361505B2 (en) * 2019-06-06 2022-06-14 Qualcomm Technologies, Inc. Model retrieval for objects in images using field descriptors
US11475562B2 (en) * 2019-06-27 2022-10-18 University Of Iowa Research Foundation Fissurenet: a deep learning approach for pulmonary fissure detection in CT images
CN112819020A (zh) * 2019-11-15 2021-05-18 富士通株式会社 训练分类模型的方法和装置及分类方法
CN111738301B (zh) * 2020-05-28 2023-06-20 华南理工大学 一种基于双通道学习的长尾分布图像数据识别方法
CN111832406B (zh) * 2020-06-05 2022-12-06 中国科学院计算技术研究所 一种长尾目标检测方法与系统
CN112101544A (zh) * 2020-08-21 2020-12-18 清华大学 适用于长尾分布数据集的神经网络的训练方法和装置
CN112102314B (zh) * 2020-11-02 2021-03-09 成都考拉悠然科技有限公司 基于不确定性来判断人脸图片质量的计算方法
CN112651436A (zh) * 2020-12-23 2021-04-13 深圳市安软科技股份有限公司 一种基于权重不确定的图卷积神经网络的优化方法、装置
CN112818821B (zh) * 2021-01-28 2023-02-03 广州广电卓识智能科技有限公司 基于可见光和红外光的人脸采集源检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1683067A1 (en) * 2003-10-06 2006-07-26 Transneuronix, Inc. Method for screening and treating disorders
CN109344787A (zh) * 2018-10-15 2019-02-15 浙江工业大学 一种基于人脸识别与行人重识别的特定目标跟踪方法
CN111860573A (zh) * 2020-06-04 2020-10-30 北京迈格威科技有限公司 模型训练方法、图像类别检测方法、装置和电子设备
CN111898685A (zh) * 2020-08-03 2020-11-06 华南理工大学 一种基于长尾分布数据集的目标检测方法
CN112541458A (zh) * 2020-12-21 2021-03-23 中国科学院自动化研究所 基于元学习的域自适应的人脸识别方法、系统、装置

Also Published As

Publication number Publication date
CN113095304A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN107622104B (zh) 一种文字图像识别标注方法及系统
CN108985317B (zh) 一种基于可分离卷积和注意力机制的图像分类方法
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
CN108764041B (zh) 用于下部遮挡人脸图像的人脸识别方法
CN107103281A (zh) 基于聚集损失深度度量学习的人脸识别方法
CN110084149B (zh) 一种基于难样本四元组动态边界损失函数的人脸验证方法
CN108062543A (zh) 一种面部识别方法及装置
CN109344856B (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
CN106909946A (zh) 一种多模态融合的商品分类系统
CN111339930A (zh) 一种联合口罩属性损失函数的人脸识别方法
CN111126307B (zh) 联合稀疏表示神经网络的小样本人脸识别方法
CN107729820A (zh) 一种基于多尺度hog的手指静脉识别方法
CN108664911A (zh) 一种基于图像稀疏表示的鲁棒人脸识别方法
WO2021088640A1 (zh) 一种基于启发式高斯云变换的人脸识别技术
CN111275165A (zh) 一种基于改进卷积神经网络的网络入侵检测方法
CN106529504A (zh) 一种复合时空特征的双模态视频情感识别方法
CN114170666A (zh) 一种基于多区域卷积神经网络的人脸表情识别方法
CN115393944A (zh) 一种基于多维特征融合的微表情识别方法
Zhang et al. Face detection algorithm based on improved AdaBoost and new haar features
CN113033345B (zh) 基于公共特征子空间的v2v视频人脸识别方法
CN102867176A (zh) 一种人脸图像归一化方法
CN113095304B (zh) 减弱重采样对行人重识别的影响的方法
CN103942572A (zh) 一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置
CN111737688B (zh) 基于用户画像的攻击防御系统
CN111461135B (zh) 利用卷积神经网络集成的数字图像局部滤波取证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant