CN109033971A - 一种基于残差网络思想的高效行人重识别方法 - Google Patents

一种基于残差网络思想的高效行人重识别方法 Download PDF

Info

Publication number
CN109033971A
CN109033971A CN201810673779.1A CN201810673779A CN109033971A CN 109033971 A CN109033971 A CN 109033971A CN 201810673779 A CN201810673779 A CN 201810673779A CN 109033971 A CN109033971 A CN 109033971A
Authority
CN
China
Prior art keywords
model
residual error
error network
layer
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810673779.1A
Other languages
English (en)
Inventor
庞善臣
乔思波
李文好
于世行
王丽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201810673779.1A priority Critical patent/CN109033971A/zh
Publication of CN109033971A publication Critical patent/CN109033971A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于残差网络思想的高效行人重识别方法。本发明将行人重识别问题看成是传统的二分类问题。在设计的卷积神经网络模型中加入了残差网络的思想，设计了两种不同的残差网络模块，可以使得模型有较大的深度，提取更加有效、精细的行人图片特征，但是不会引起梯度消失问题。在每个卷积层之后加入BatchNormalization层，可以对提取的特征做不同的归一化处理，加快网络在训练过程中前向传播的速度，使得模型效率提升，有效减少模型出现过拟合现象。在残差网络模块之后，对提取的两张图片特征做邻域差值处理，获得两张图片之间的特征局部关系，为最后进行的分类处理提供了有效保证。本发明提供的技术方案可以对行人图片达到精确识别分类，并且具有识别效率高、处理速度快的特点。

Description

一种基于残差网络思想的高效行人重识别方法
技术领域
本发明涉及行人重识别领域，具体涉及利用残差网络思想设计卷积网络模型对行人进行重识别的方法。
背景技术
行人重识别技术是智能视频分析、视频监控、人机交互等诸多领域的核心技术，如果能够对监控所拍摄的行人图片进行准确的识别，对于分析行人的运动轨迹和对行人快速检索具有重要的意义。通过行人重识别技术，不仅能够提高视频监控人员的工作效率，而且对于社会公共安全提供了有力的保障。
近年来，深度学习得到了快速的发展，卷积神经网络作为深度学习的一种方式，在图像分类、目标检测、图像语义分割等领域取得了一系列突破性的研究成果。卷积神经网络提供了一种端到端的学习模式，减少了人工对于图像处理的干预。残差网络是卷积神经网络的结构组合的形式结果，通过使用残差网络的思想，能够让模型有更大的深度，提出更加有效的图像特征，并不会引起梯度消失或者梯度爆炸的问题，从而为图像精确匹配识别提供了良好的基础条件。
传统的行人重识别技术存在以下缺点：人工成本大，空间复杂度较高，而且对于行人识别的准确率较低。
发明内容
为了解决现有技术的缺点，本发明提出了一种基于残差网络思想的高效行人重识别方法，将行人重识别看成是传统的二分类问题，包括以下步骤：
A、对公开数据集CUHK-03中1163个行人图片重新整理；
B、设计了两种不同的残差网络模块，将整理数据集中的训练集输入到整个网络模型对模型进行训练，同时，采用验证数据集微调训练模型的超参数，保证模型的准确率和鲁棒性。
C、保存已训练好的模型，测试模型的准确率。
部分A中，将公开数据集CUHK-03整理成模型所需要的形式，即：将数据集中的所有图片分别放在a，b两个文件夹，两个文件夹下都有‘train’，‘validation’，‘test’3个子文件，‘train’子文件下有以0-1162数字命名的子文件，数字表示每个不同的行人，每个以数字命名的文件夹下有相应行人的图片。‘validation’子文件下有以0-99数字命名的子文件，每个以数字命名的文件夹下有相应行人的图片。‘test’子文件下有以0-99数字命名的子文件，每个以数字命名的文件夹下有相应行人的图片。
部分B中，网络模型详细介绍如下：该模型一共包括五层，分别是图像预处理层、残差网络模块层、特征差值处理层、特征汇聚层和全连接处理层。在图像预处理层、残差模块层中，输入的两张图像共享所有的权重矩阵参数，这样能够提取两张相同图像的相似特征。在模型中经过卷积处理之后都会采用BatchNormalization处理，目的是归一化处理提取的图像特征，加快网络前向传播的速度，有效减少模型出现过拟合现象。首先，模型将两张图片经过图像预处理层进行简单预处理之后，我们将输出的结果送入残差网络模块层，提取两张图像的深层特征。在残差网络模块中包括设计的两种不同的残差网络模块，交替使用两种模块，可以加深网络模型的深度，提取更加有效的图像特征，而且又能保证网络模型不会因为层数的增加出现梯度消失的现象。然后，将残差网络模块层输出的特征矩阵送入特征差值处理层，通过矩阵差异处理，提取每个矩阵的空间结构信息和特征差异信息，获得两张图片之间特征的局部关系。我们使用特征汇聚层总结提取的矩阵局部关系，简化处理提取的特征矩阵。最后，经过全连接处理层进行二分类，得到结果概率值，判断输入的两张图片是否是同一个人。
部分C中，将数据集按照一定的比例分为训练集、验证集和测试集，采用测试集对已调整好的模型进行测试，得到模型在测试集上的准确度。经验证，已调整好的模型在测试集上的准确率仍能和训练集一样，保持在较高水平。
本发明设计的模型带来的有益效果是：
本发明通过残差网络的思想设计出两种不同的残差网络模块，在整个网络模型中交替使用，加深了网络模型的深度，提取出更加有效的图片信息，同时，并不会引起梯度消失的问题。在残差模块之后，使用邻域差值法，提取两张图片特征的局部关系，将显著特征更加明显的表现出来，有益于分类效果。
附图说明
为了更清楚地说明本发明的技术方案，下面将对发明内容中所需要使用的附图作简要的介绍。
图1为本发明提供一种基于残差网络思想的高效行人重识别方法的CUHK-03数据集整理之后的详解图；
图2为本发明提供一种基于残差网络思想的高效行人重识别方法的流程图；
图3为本发明提供卷积神经网络模型的结构示意图。
图4为本发明提供卷积神经网络模型的详细构建示意图。
图5为本发明提供“Identityblock”模块的结构示意图。
图6为本发明提供“Convolutional block”模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明实施方式作进一步地详细描述。
实施例一
本实施例的基础在于，事先处理CUHK-03数据集，得到160×60像素的行人图片，然后将其输入到残差网络模块。
在残差网络模块层中设计了两种不同的模块，一种是‘identity block’，另一种是‘convolutionalblock’。‘identityblock’，即输入层的激活值(al)与N次卷积之后输出层的中间状态值(zl+n)维度相同。在本次发明模型中，输入层激活值(al)经过‘shortpath’与两次卷积之后的输出层中间状态值(zl+2)相加，得到输出激活值(al+2),其函数表达式为al+2＝g(zl+2+al)，g(x)为激活函数。‘convolutionalblock’，即输入层的激活值(al)与N次卷积之后输出层的中间状态值(zl+n)维度不相同的时候使用。在本次发明模型中，输入层激活值(al)经过‘shortpath’与三次卷积之后的输出层中间状态值(zl+3)相加，但是两者的维度不相同，于是采用了一次卷积对输入层激活值(al)的维度进行调整，得到与zl+3相同的然后将与输出层中间状态值(zl+3)相加，其函数表达式为g(x)为激活函数。
经过两种不同的残差网络模块的组合，使得模型对两张输入的图像更加有效的提取图像特征值，然后对特征矩阵做邻域差值处理，效果更加显著，从而有利于图像的分类识别。

Claims (4)

1.一种基于残差网络思想的高效行人重识别方法，包括以下部分：
A、对公开数据集CUHK-03中1163个行人图片重新整理；
B、设计卷积神经网络模型，将整理数据集中的训练集输入到网络模型对模型进行训练，训练结束之后，采用验证数据集微调训练好模型的超参数，保证模型的准确率。
C、保存训练好的模型，测试模型的准确率。
2.根据权利要求1所述的一种基于残差网络思想的高效行人重识别方法，其特征在于，所述的部分A中，将公开数据集CUHK-03整理成模型所需要的形式，即：将数据集中的所有图片分别放在a，b两个文件夹，两个文件夹下都有‘train’，‘validation’，‘test’3个子文件，‘train’子文件下有以0-1162数字命名的子文件，数字表示每个不同的行人，每个以数字命名的文件夹下有相应行人的图片。‘validation’子文件下有以0-99数字命名的子文件，每个以数字命名的文件夹下有相应行人的图片。‘test’子文件下有以0-99数字命名的子文件，每个以数字命名的文件夹下有相应行人的图片。
3.根据权利要求1所述的一种基于残差网络思想的高效行人重识别方法，其特征在于，所述的部分B中，卷积神经网络模型详细介绍如下：该模型一共包括五层，分别是图像预处理层、残差网络模块层、特征差值处理层、特征汇聚层和全连接处理层。在图像预处理层、残差模块层中，输入的两张图像共享所有的权重矩阵参数，这样能够提取两张相同图像的相似特征。在模型中经过卷积处理之后都会采用BatchNormalization处理，目的是归一化处理提取的图像特征，加快网络前向传播的速度，有效减少模型出现过拟合现象。首先，模型将两张图片经过图像预处理层进行简单预处理之后，我们将输出的结果送入残差网络模块层，提取两张图像的深层特征。在残差网络模块中包括设计的两种不同的残差网络模块，交替使用两种模块，可以加深网络模型的深度，提取更加有效的图像特征，而且又能保证网络模型不会因为层数的增加出现梯度消失的现象。然后，将残差网络模块层输出的特征矩阵送入特征差值处理层，通过矩阵差异处理，提取每个矩阵的空间结构信息和特征差异信息，获得两张图片之间特征的局部关系。我们使用特征汇聚层总结提取的矩阵局部关系，简化处理提取的特征矩阵。最后，经过全连接处理层进行二分类，得到结果概率值，判断输入的两张图片是否是同一个人。
4.根据权利要求1所述的一种基于残差网络思想的高效行人重识别方法，其特征在于，所述的部分C中，将数据集按照一定的比例分为训练集、验证集、测试集，采用测试集对已训练好的模型进行测试，得到模型在测试集上的准确度。经验证，已训练好的模型在测试集上的准确率仍能和训练集一样，保持在较高水平。
CN201810673779.1A 2018-06-27 2018-06-27 一种基于残差网络思想的高效行人重识别方法 Pending CN109033971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810673779.1A CN109033971A (zh) 2018-06-27 2018-06-27 一种基于残差网络思想的高效行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810673779.1A CN109033971A (zh) 2018-06-27 2018-06-27 一种基于残差网络思想的高效行人重识别方法

Publications (1)

Publication Number Publication Date
CN109033971A true CN109033971A (zh) 2018-12-18

Family

ID=64611360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810673779.1A Pending CN109033971A (zh) 2018-06-27 2018-06-27 一种基于残差网络思想的高效行人重识别方法

Country Status (1)

Country Link
CN (1) CN109033971A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711316A (zh) * 2018-12-21 2019-05-03 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN110032985A (zh) * 2019-04-22 2019-07-19 清华大学深圳研究生院 一种血细胞自动检测识别方法
CN111783570A (zh) * 2020-06-16 2020-10-16 厦门市美亚柏科信息股份有限公司 一种目标重识别的方法、装置、系统及计算机存储介质
CN112686135A (zh) * 2020-12-29 2021-04-20 中南大学 基于分布拟合的可泛化的行人重识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824273A (zh) * 2014-03-19 2014-05-28 中科院成都信息技术股份有限公司 基于复合运动和自适应非局部先验的超分辨率重建方法
CN107103308A (zh) * 2017-05-24 2017-08-29 武汉大学 一种基于由粗到细深度尺度学习的行人重识别方法
US20170255832A1 (en) * 2016-03-02 2017-09-07 Mitsubishi Electric Research Laboratories, Inc. Method and System for Detecting Actions in Videos
CN107273872A (zh) * 2017-07-13 2017-10-20 北京大学深圳研究生院 用于图像或视频中行人重识别的深度判别网络模型方法
CN107908685A (zh) * 2017-10-31 2018-04-13 西安交通大学 基于迁移学习的多视角商品图像检索与识别方法
CN108052884A (zh) * 2017-12-01 2018-05-18 华南理工大学 一种基于改进残差神经网络的手势识别方法
CN108108499A (zh) * 2018-02-07 2018-06-01 腾讯科技（深圳）有限公司 人脸检索方法、装置、存储介质及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824273A (zh) * 2014-03-19 2014-05-28 中科院成都信息技术股份有限公司 基于复合运动和自适应非局部先验的超分辨率重建方法
US20170255832A1 (en) * 2016-03-02 2017-09-07 Mitsubishi Electric Research Laboratories, Inc. Method and System for Detecting Actions in Videos
CN107103308A (zh) * 2017-05-24 2017-08-29 武汉大学 一种基于由粗到细深度尺度学习的行人重识别方法
CN107273872A (zh) * 2017-07-13 2017-10-20 北京大学深圳研究生院 用于图像或视频中行人重识别的深度判别网络模型方法
CN107908685A (zh) * 2017-10-31 2018-04-13 西安交通大学 基于迁移学习的多视角商品图像检索与识别方法
CN108052884A (zh) * 2017-12-01 2018-05-18 华南理工大学 一种基于改进残差神经网络的手势识别方法
CN108108499A (zh) * 2018-02-07 2018-06-01 腾讯科技（深圳）有限公司 人脸检索方法、装置、存储介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙金玉，王洪元 ，张继，张文文: "基于块稀疏表示的行人重识别方法" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711316A (zh) * 2018-12-21 2019-05-03 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN109711316B (zh) * 2018-12-21 2022-10-21 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN110032985A (zh) * 2019-04-22 2019-07-19 清华大学深圳研究生院 一种血细胞自动检测识别方法
CN111783570A (zh) * 2020-06-16 2020-10-16 厦门市美亚柏科信息股份有限公司 一种目标重识别的方法、装置、系统及计算机存储介质
CN112686135A (zh) * 2020-12-29 2021-04-20 中南大学 基于分布拟合的可泛化的行人重识别方法
CN112686135B (zh) * 2020-12-29 2022-10-14 中南大学 基于分布拟合的可泛化的行人重识别方法

Similar Documents

Publication Publication Date Title
CN109033971A (zh) 一种基于残差网络思想的高效行人重识别方法
CN109598269A (zh) 一种基于多分辨率输入与金字塔膨胀卷积的语义分割方法
US11263435B2 (en) Method for recognizing face from monitoring video data
CN108491797A (zh) 一种基于大数据的车辆图像精确检索方法
CN109190643A (zh) 基于卷积神经网络中药识别方法及电子设备
CN107506761A (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN107016405A (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN109615604B (zh) 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN108416314B (zh) 图片重要人脸检测方法
CN110222701A (zh) 一种桥梁病害自动识别方法
CN106407369A (zh) 一种基于深度学习人脸识别的照片管理方法和系统
CN108846350A (zh) 容忍年龄变化的人脸识别方法
CN110378233B (zh) 一种基于人群行为先验知识的双分支异常检测方法
CN113610540B (zh) 一种河蟹防伪溯源方法及系统
CN107562742A (zh) 一种图像数据处理方法及装置
CN107292314A (zh) 一种基于cnn的鳞翅目昆虫种类自动鉴别方法
CN107169106A (zh) 视频检索方法、装置、存储介质及处理器
CN104200206B (zh) 一种基于双角度排序优化的行人重识别方法
CN105095475B (zh) 基于两级融合的不完整属性标记行人重识别方法与系统
CN109063649A (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN105760858A (zh) 一种基于类Haar中间层滤波特征的行人检测方法及装置
CN105760891A (zh) 一种中文字符验证码的识别方法
CN108509939A (zh) 一种基于深度学习的鸟类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181218