CN109614907A - 基于特征强化引导卷积神经网络的行人再识别方法及装置 - Google Patents

基于特征强化引导卷积神经网络的行人再识别方法及装置 Download PDF

Info

Publication number
CN109614907A
CN109614907A CN201811469353.0A CN201811469353A CN109614907A CN 109614907 A CN109614907 A CN 109614907A CN 201811469353 A CN201811469353 A CN 201811469353A CN 109614907 A CN109614907 A CN 109614907A
Authority
CN
China
Prior art keywords
pedestrian
training
image
convolutional neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811469353.0A
Other languages
English (en)
Other versions
CN109614907B (zh
Inventor
李腾
谢以翔
王妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201811469353.0A priority Critical patent/CN109614907B/zh
Publication of CN109614907A publication Critical patent/CN109614907A/zh
Application granted granted Critical
Publication of CN109614907B publication Critical patent/CN109614907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

基于特征强化引导卷积神经网络的行人再识别方法及装置,方法包括:1)收集行人图像数据并做好分类标签,并将分类后的行人图像数据分为训练集和测试集;2)构建特征强化引导的卷积神经网络;3)将步骤1)中的训练集特征强化引导的卷积神经网络,训练得到的行人再识别的预训练模型;4)用步骤1)中的测试集测试步骤3)中训练得到的预训练模型,根据测试结果调整训练参数重新训练,得到最佳预训练模型;5)使用目标场景中的部分目标行人图像训练最佳预训练模型,得到目标模型,再使用目标模型对行人库中的图像进行检测,得到含有目标行人的目标图像。应用本发明实施例,可以解决现有技术中存在的误差较大的技术问题。

Description

基于特征强化引导卷积神经网络的行人再识别方法及装置
技术领域
本发明涉及行人再识别领域,尤其涉及基于特征强化引导卷积神经网络的行人再识别方法及装置。
背景技术
随着互联网科技的快速发展,安防监控以及智能机器人等对机器视觉技术的需求愈发迫切。在机器视觉科技的研究中,行人识别技术的成熟使得机器在辨别行人的能力上超过人类。然而摄像头并非在任何情况下都可以拍摄到清晰行人。而且,在实际中一个摄像头往往无法覆盖所有区域,而多摄像头之间一般也没有重叠。因此,用行人全身信息来对行人进行锁定或者查找就变得十分必要。通过将整体行人特征作为行人之外的重要补充,实现对行人的跨摄像头跟踪,这就是PRI(Person Re-Identification,行人再识别)技术,从字面意思理解就是对行人进行再次认证识别,是对不同的、没有视野重叠覆盖的摄像机拍摄的行人图像建立对应关系的处理过程。行人再识别识别技术具有易采集、非接触、友好等特点,易于被人接受。例如,公安部门在抓捕逃犯时,使用该技术可以通过监控视频快速追踪逃犯行踪,不仅极大提高工作效率,而且大大节省人力。另外,行人再识别强调的是使机器识别出由不同摄像机所拍摄的特定人员的所有图像。因此,在安防刑侦、目标检索、人员跟踪、人流控制等场景中有很高的应用价值。
目前,行人再识别的方法层出不穷,大都基于普通的卷积神经网络。它们的使用图片方块分块的方法,或是使用关键点辅助的行人特征提取的方法,等等,都取得不错的效果,其原理是,收集大量行人数据并制作标签,设计一种卷积神经网络开始训练模型。选取一张或者几张行人图像提取特征生成模板对待识别行人图像提取特征,比较待识别行人特征和模板特征,通过设定阈值来判断是否是目标行人。
但是,该技术没有解决背景干扰问题,对不同场景适应效果差,进而导致误差较大。
发明内容
本发明所要解决的技术问题在于提供了基于特征强化引导卷积神经网络的行人再识别方法及装置,以解决现有技术中存在的误差较大的技术问题。
本发明实施例提供了基于特征强化引导卷积神经网络的行人再识别方法,所述方法包括:
1)收集行人图像数据并做好分类标签,并将分类后的行人图像数据分为训练集和测试集;
2)构建特征强化引导的卷积神经网络,其中,所述卷积神经网络包含双输入基本网络、主干卷积神经网络、特征强化引导模块;所述特征强化引导模块包括设定数量个子网络层,每一个子网络层均包含卷积层、ReLU激活层、BatchNorm标准化层组成的卷积单元、最大值池化层以及sigmoid层;
3)将步骤1)中的训练集输入所述特征强化引导的卷积神经网络,训练得到的行人再识别的预训练模型;
4)用步骤1)中的测试集测试步骤3)中训练得到的预训练模型,根据测试结果调整训练参数重新训练,并返回步骤3),直至所述特征强化引导的卷积神经网络收敛,得到最佳预训练模型;
5)收集目标场景中的部分目标行人图像,并使用所述目标场景中的部分目标行人图像训练所述最佳预训练模型,得到目标模型,再使用所述目标模型对行人库中的图像进行特征比对,从而识别出目标行人,得到目标图像。
可选的,所述步骤1),包括:
将不同场景下的行人的视频监控数据作为行人图像数据来源,针对每一个行人,用行人检测方法抠取出包含同一行人的不同拍摄角度的行人图片,对每一个确定身份的具体行人图片进行分类,并打上标签;
对已分类的行人图片进行数据扩充,具体扩充手段包括:颜色直方图均衡化、水平镜像翻转、高斯模糊和添加随机噪声;
将图像对的集合中的若干图像对的集合作为训练集;将其余的图像对的集合作为测试集。
可选的,使用并行双输入的方式,同时融合原图和掩码图片特征,以获得跟丰富的特征信息;特征强化引导模块所述子网络层中含有的卷积单元和最大值池化层的数量依次递增,并采用sigmoid作为特征强化权重图的门阀,自主学习人体部位细节;持续特征强化引导,在浅层、中层、高层做引导整个网络的特征增强学习。
可选的,所述步骤5),包括:
使用所述目标模型对可能含有目标行人的图像目标特征向量提取;
计算所述目标特征向量与行人库中每一图片所含有的行人的特征向量的欧式距离,将欧式距离小于预设阈值所对应的图像作为目标图像。
本发明实施例还提供了基于特征强化引导卷积神经网络的行人再识别装置,所述装置包括:
收集模块,用于收集行人图像数据并做好分类标签,并将分类后的行人图像数据分为训练集和测试集;
构建模块,用于构建特征强化引导的卷积神经网络,其中,所述卷积神经网络包含双输入基本网络、主干卷积神经网络、特征强化引导模块;所述特征强化引导模块包括设定数量个子网络层,每一个子网络层均包含卷积层、ReLU激活层、BatchNorm标准化层组成的卷积单元、最大值池化层以及sigmoid层;
训练模块,用于将所述收集模块所收集的训练集输入所述特征强化引导的卷积神经网络,训练得到的行人再识别的预训练模型;
返回模块,用于用所述收集模块中的测试集测试训练模块训练得到的预训练模型,根据测试结果调整训练参数重新训练,并触发所述训练模块,直至所述特征强化引导的卷积神经网络收敛,得到最佳预训练模型;
检测模块,用于收集目标场景中的部分目标行人图像,并使用所述目标场景中的部分目标行人图像训练所述最佳预训练模型,得到目标模型,再使用所述目标模型对行人库中的图像进行特征比对,从而识别出目标行人,得到目标图像。
可选的,所述收集模块,用于:
将不同场景下的行人的视频监控数据作为行人图像数据来源,针对每一个行人,用行人检测方法抠取出包含同一行人的不同拍摄角度的行人图片,对每一个确定身份的具体行人图片进行分类,并打上标签;
对已分类的行人图片进行数据扩充,具体扩充手段包括:颜色直方图均衡化、水平镜像翻转、高斯模糊和添加随机噪声;
利用行人分割模型,对打上分类标签的行人图像数据进行人体区域扣取,获取对应的不含背景的人体掩码图片,并把每一张图像的掩码图片和所述图像的集合作为图像对;
将图像对的集合中的若干图像对的集合作为训练集;将其余的图像对的集合作为测试集。
可选的,所述训练模块,用于:
使用并行双输入的方式,同时融合原图和掩码图片特征,以获得跟丰富的特征信息;特征强化引导模块所述子网络层中含有的卷积单元和最大值池化层的数量依次递增,并采用sigmoid作为特征强化权重图的门阀,自主学习人体部位细节;持续特征强化引导,在浅层、中层、高层做引导整个网络的特征增强学习。
可选的,所述检测模块,用于:
使用所述目标模型对可能含有目标行人的图像目标特征向量提取;
计算所述目标特征向量与行人库中每一图片所含有的行人的特征向量的欧式距离,将欧式距离小于预设阈值所对应的图像作为目标图像。
本发明相比现有技术具有以下优点:
应用本发明实施例,所构建的卷积神经网络包含双输入基本网络、主干卷积神经网络、特征强化引导模块;所述特征强化引导模块的网络包括设定数量个子网络层,每一个子网络层均包含卷积层、ReLU激活层、BatchNorm标准化层组成的卷积单元、最大值池化层以及sigmoid层,通过把训练集中的数据投入特征强化引导模块。利用特征强化引导模块的sigmoid层生成权重特征,再用来影响主干网络特征学习的方式,达到强化引导特征学习的目的,最后达到使整个模型降低误差的效果。
附图说明
图1为本发明实施例提供的基于特征强化引导卷积神经网络的行人再识别方法的流程示意图;
图2为本发明实施例提供的基于特征强化引导卷积神经网络的行人再识别方法的原理示意图;
图3为本发明实施例提供的所训练的特征强化引导卷积神经网络中的数据流向示意图;
图4为本发明实施例提供的所训练的特征强化引导卷积神经网络中的特征强化引导模块的结构示意图;
图5为本发明实施例提供的基于特征强化引导卷积神经网络的行人再识别装置的结构示意图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
为解决现有技术问题,本发明实施例提供了基于特征强化引导卷积神经网络的行人再识别方法及装置,下面首先就本发明实施例提供的基于特征强化引导卷积神经网络的行人再识别方法进行介绍。
图1为本发明实施例提供的基于特征强化引导卷积神经网络的行人再识别方法的流程示意图;图2为本发明实施例提供的基于特征强化引导卷积神经网络的行人再识别方法的原理示意图,如图1和图2所示,方法包括:
S101:收集行人图像数据并做好分类标签,并将分类后的行人图像数据分为训练集和测试集。
具体的,可以将不同场景下的行人的视频监控数据作为行人图像数据来源,针对每一个行人,用行人检测方法抠取出包含同一行人的不同拍摄角度的行人图片,对每一个确定身份的具体行人图片进行分类,并打上标签;对已分类的行人图片进行数据扩充,具体扩充手段包括:颜色直方图均衡化、水平镜像翻转、高斯模糊和添加随机噪声;利用行人分割模型,对打上分类标签的行人图像数据进行人体区域扣取,获取对应的不含背景的人体掩码图片,并把每一张图像的掩码图片和所述图像的集合作为图像对;将图像对的集合中的若干图像对的集合作为训练集;将其余的图像对的集合作为测试集。
示例性的,本步骤对应图2中的数据预处理步骤,可以通过多台没有视野重叠覆盖的摄像机来收集行人数据。共收集了10000类行人数据,每类20张共200000张行人图像,通过预先训练好的分割网络对这些数据做行人扣取并制作相应的人体掩码图片,最后将处理结果数据分成两部分:训练集(每类15张行人图像),验证集(每类5张行人图像);经过多次实验,我们选择将行人图像调整到128*128大小;为了使模型得到充分训练,对训练集做颜色直方图均衡化、水平镜像翻转、高斯模糊、添加随机噪声等操作,以此增强数据。
S102:构建特征强化引导的卷积神经网络,其中,所述卷积神经网络包含双输入基本网络、主干卷积神经网络、特征强化引导模块;所述特征强化引导模块包括设定数量个子网络层,每一个子网络层均包含卷积层、ReLU激活层、BatchNorm标准化层组成的卷积单元、最大值池化层以及sigmoid层。
具体的,所述子网络层中含有的卷积单元和最大值池化层的数量依次递增。
图3为本发明实施例提供的所训练的特征强化引导CNN(Convolutional NeuralNetwork,卷积神经网络)中的数据流向示意图,如图3所示,特征强化引导的卷积神经网络包含双输入基本网络、主干卷积神经网络、特征强化引导模块;原始图片和对应的掩码图片秉性输入双输入基本网络。特征强化引导模块使用掩码图片的浅层特征自动学习引导主干神经网络的特征学习。最后,在整个网络的末端,全连接层中设定256个神经元,在提取特征时可以获得一个256维的向量
图4为本发明实施例提供的所训练的特征强化引导卷积神经网络中的特征强化引导模块的结构示意图,如图4所示,特征强化引导模块模块被设计成三个部分以应对不同深度的特征引导,实现不同层次的多次学习修正和持续引导特征学习的目的。特征强化引导模块模块一包含两个由3*3卷积层、ReLU激活层和BatchNorm标准化层组成的卷积单元,一个最大值池化层、一个sigmoid层组成;特征强化引导模块模块二包含四个由3*3卷积层、ReLU激活层和BatchNorm标准化层组成的卷积单元,两个最大值池化层、一个sigmoid层组成;特征强化引导模块模块三包含六个由3*3卷积层、ReLU激活层和BatchNorm标准化层组成的卷积单元,三个最大值池化层、一个sigmoid层组成;特征强化引导模块模块通过sigmoid层自主学习生成人体部位特征增强的权重图。如图3所示,这些权重图不是预先设定的,而是根据网络训练迭代自助生成,自主选择人体的强化部位(衣服、颜色、躯干或是配饰细节),并且分别与不同层次的特征映射做点乘,以达到持续引导整个网络的特征增强学习的设计目的,特别是引导整个网络对于细节部位的学习。从而让主干网络更加关注于行人本身的特征,避免背景干扰的同时加强了对不同姿态的适应能力。
S103:将步骤S101中的训练集输入所述特征强化引导的卷积神经网络,训练得到的行人再识别的预训练模型
设定学习策略以及训练参数,将步骤S101中得到的训练集送入设计好的卷积神经网络进行训练,得到最初的预训练模型。
如图3所示,可以使用并行双输入的方式,同时融合原图和掩码图片特征,以获得跟丰富的特征信息;特征强化引导模块所述子网络层中含有的卷积单元和最大值池化层的数量依次递增,并采用sigmoid作为特征强化权重图的门阀,自主学习人体部位细节;持续特征强化引导,在浅层、中层、高层做引导整个网络的特征增强学习。
S104:用步骤S101中的测试集测试步骤S103中训练得到的预训练模型,根据测试结果调整训练参数重新训练,并返回步骤S103,直至所述特征强化引导的卷积神经网络收敛,得到最佳预训练模型。
S102步骤以及S103步骤对应图2中的预训练步骤,具体的,可以用步骤S101中的测试集步骤S103中训练得到的预训练模型,根据测试结果调整训练参数重新训练;通常情况下,训练参数也被成为超参数,需要调整的训练参数包括:神经网络模型训练的学习率、批次大小、学习策略、最大的迭代次数、激活函数。具体来说,可以根据根据实际情况来调整批次大小;学习率应该调小以重新学习新的数据;学习策略不变或尝试其他策略;最大的迭代次数应减少。可以理解的是,调整的目的是为了在训练中使新的模型在性能上达到最优。
再用步骤S101中的训练集步骤中训练调整训练参数后的预训练模型,根据预训练模型在测试集上的测试结果以及训练过程中神经网络损失变化情况调整训练参数以及网络参数继续训练。
重复上述步骤,直至获得最佳预训练模型,即直至得到的预训练模型在验证集行人数据上测试的结果达到要求,或者训练过程中神经网络损失收敛的一定范围之内。
S105:收集目标场景中的部分目标行人图像,并使用所述目标场景中的部分目标行人图像训练所述最佳预训练模型,得到目标模型,再使用所述目标模型对行人库中的图像特征比对,从而识别出目标行人,得到目标图像。
具体的,可以使用所述目标模型对可能含有目标行人的图像目标特征向量提取;计算所述目标特征向量与行人库中每一图片所含有的行人的特征向量的欧式距离,将欧式距离小于预设阈值所对应的图像作为目标图像。
示例性的,本步骤对应图2中的根据响应场景微调预训练模型,特征强化引导学习步骤,提取行人特征、欧式距离度量相似度以及根据阈值判断输出结果的步骤。可以根据不同应用场景收集少量行人图像数据,在新收集的数据上微调S104步骤中的预训练模型,得到新的适应场景的模型,具体包括:
用在训练数据上获得的最佳预训练模型参数初始化卷积神经网络参数;
将收集到的少量当前场景行人图像送入网络,进行迭代训练;
得到适应当前场景行人识别的深度卷积神经网络模型。
再使用得到的适应场景模型对待测试行人图像提取特征,得到目标特征向量。
计算得到的目标特征向量与行人库中每一个特征向量的欧式距离,找出行人库中与目标特征向量欧式距离小于预设阈值的特征向量,并将这些特征向量对应的图像作为目标图像。
应用本发明图1所示实施例,所构建的卷积神经网络包含双输入基本网络、主干卷积神经网络、特征强化引导模块;所述特征强化引导模块的网络包括设定数量个子网络层,每一个子网络层均包含卷积层、ReLU激活层、BatchNorm标准化层组成的卷积单元、最大值池化层以及sigmoid层,通过把训练集中的数据投入特征强化引导模块。利用特征强化引导模块的sigmoid层生成权重特征,再用来影响主干网络特征学习的方式,达到强化引导特征学习的目的,最后达到使整个模型降低误差的效果。
而且,现有技术中在提取特征时对整张行人图像操作或者是粗暴的把在图像划分方块,然后对方块进行区分训练,由于行人图片的来源是不同条件下的摄像机捕捉,导致图片中行人分布、形态具有多样性。而人为设定的分块方法并没有考虑到图片数据的复杂性和多样性,只是根据经验的统一的操作。这样是不细致的,不严谨的,将导致巨大的加权误差。应用本发明实施例,通过特征强化引导模块所生成的权重图以强化行人特征层面上的细节部分,以实现通过特征强化引导模块进行图片分块,是根据权重图进行自动生成细粒度特征层面上的权重,对每一个特征值进行强弱的引导区分,相对于现有技术,本发明实施例可以根据图片数据的特点自适应调整分块方法,进而可以天宫模型对场景的适应性,进而降低误差。
另外,本发明实施例在不同深浅的层次的特征上,进行逐渐的多次的行人特征值的强弱引导。这样的结构有助于模型识别出不同姿态下的行人。
发明人发现,训练集中图片的背景对神经网络的训练过程会产生不良影响,在现有技术中,没有考虑到消除训练集中图片的背景。只是考虑到把背景分块对待,而没有细致地消除背景干扰。本发明实施例中的特征强化引导模块通过制作行人掩码图片,由于掩码图片是经过去除背景的图片,可以更细致的弱化了背景的信息,从而有效的细致的避免了背景干扰。
最后,现有技术中人为粗暴的设定图片的关注区域,误差较大,而本发明实施例中,根据卷积神经网络自适应识别出的图像的关注区域,避免了人为设定的错误,进而降低了误差。
与本发明图1所示实施例相对应,本发明实施例还提供了基于特征强化引导卷积神经网络的行人再识别装置。
图5为本发明实施例提供的基于特征强化引导卷积神经网络的行人再识别装置的结构示意图,如图5所示,所述装置包括:
收集模块501,用于收集行人图像数据并做好分类标签,并将分类后的行人图像数据分为训练集和测试集;
构建模块502,用于构建特征强化引导的卷积神经网络,其中,所述卷积神经网络包含双输入基本网络、主干卷积神经网络、特征强化引导模块;所述特征强化引导模块包括设定数量个子网络层,每一个子网络层均包含卷积层、ReLU激活层、BatchNorm标准化层组成的卷积单元、最大值池化层以及sigmoid层;
训练模块503,用于将所述收集模块所收集的训练集输入所述特征强化引导的卷积神经网络,训练得到的行人再识别的预训练模型;
返回模块504,用于用所述收集模块中的测试集测试训练模块训练得到的预训练模型,根据测试结果调整训练参数重新训练,并触发所述训练模块,直至所述特征强化引导的卷积神经网络收敛,得到最佳预训练模型;
检测模块505,用于收集目标场景中的部分目标行人图像,并使用所述目标场景中的部分目标行人图像训练所述最佳预训练模型,得到目标模型,再使用所述目标模型对行人库中的图像进行特征比对,从而识别出目标行人,得到目标图像。
应用本发明图5所示实施例,所构建的卷积神经网络包含双输入基本网络、主干卷积神经网络、特征强化引导模块;所述特征强化引导模块的网络包括设定数量个子网络层,每一个子网络层均包含卷积层、ReLU激活层、BatchNorm标准化层组成的卷积单元、最大值池化层以及sigmoid层,通过把训练集中的数据投入特征强化引导模块。利用特征强化引导模块的sigmoid层生成权重特征,再用来影响主干网络特征学习的方式,达到强化引导特征学习的目的,最后达到使整个模型降低误差的效果。
在本发明实施例的一种具体实施方式中,所述收集模块501,用于:
将不同场景下的行人的视频监控数据作为行人图像数据来源,针对每一个行人,用行人检测方法抠取出包含同一行人的不同拍摄角度的行人图片,对每一个确定身份的具体行人图片进行分类,并打上标签。
对已分类的行人图片进行数据扩充,具体扩充手段包括:颜色直方图均衡化、水平镜像翻转、高斯模糊和添加随机噪声;
利用行人分割模型,对打上分类标签的行人图像数据进行人体区域扣取,获取对应的不含背景的人体掩码图片,并把每一张图像的掩码图片和所述图像的集合作为图像对;
将图像对的集合中的若干图像对的集合作为训练集;将其余的图像对的集合作为测试集。
在本发明实施例的一种具体实施方式中,
所述训练模块,用于:
使用并行双输入的方式,同时融合原图和掩码图片特征,以获得跟丰富的特征信息;特征强化引导模块所述子网络层中含有的卷积单元和最大值池化层的数量依次递增,并采用sigmoid作为特征强化权重图的门阀,自主学习人体部位细节;持续特征强化引导,在浅层、中层、高层做引导整个网络的特征增强学习。
在本发明实施例的一种具体实施方式中,所述检测模块505,用于:
使用所述目标模型对可能含有目标行人的图像目标特征向量提取;
计算所述目标特征向量与行人库中每一图片所含有的行人的特征向量的欧式距离,将欧式距离小于预设阈值所对应的图像作为目标图像。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.基于特征强化引导卷积神经网络的行人再识别方法,其特征在于,所述方法包括:
1)收集行人图像数据并做好分类标签,并将分类后的行人图像数据分为训练集和测试集;
2)构建特征强化引导的卷积神经网络,其中,所述卷积神经网络包含双输入基本网络、主干卷积神经网络、特征强化引导模块;所述特征强化引导模块包括设定数量个子网络层,每一个子网络层均包含卷积层、ReLU激活层、BatchNorm标准化层组成的卷积单元、最大值池化层以及sigmoid层;
3)将步骤1)中的训练集输入所述特征强化引导的卷积神经网络,训练得到的行人再识别的预训练模型;
4)用步骤1)中的测试集测试步骤3)中训练得到的预训练模型,根据测试结果调整训练参数重新训练,并返回步骤3),直至所述特征强化引导的卷积神经网络收敛,得到最佳预训练模型;
5)收集目标场景中的部分目标行人图像,并使用所述目标场景中的部分目标行人图像训练所述最佳预训练模型,得到目标模型,再使用所述目标模型对行人库中的图像进行特征比对,从而识别出目标行人,得到目标图像。
2.根据权利要求1所述的基于特征强化引导卷积神经网络的行人再识别方法,其特征在于,所述步骤1),包括:
将不同场景下的行人的视频监控数据作为行人图像数据来源,针对每一个行人,用行人检测方法抠取出包含同一行人的不同拍摄角度的行人图片,对每一个确定身份的具体行人图片进行分类,并打上标签;
对已分类的行人图片进行数据扩充,具体扩充手段包括:颜色直方图均衡化、水平镜像翻转、高斯模糊和添加随机噪声;
利用行人分割模型,对打上分类标签的行人图像数据进行人体区域扣取,获取对应的不含背景的人体掩码图片,并把每一张图像的掩码图片和所述图像的集合作为图像对;
将图像对的集合中的若干图像对的集合作为训练集;将其余的图像对的集合作为测试集。
3.根据权利要求1所述的基于特征强化引导卷积神经网络的行人再识别方法,其特征在于,所述步骤3),包括:
使用并行双输入的方式,同时融合原图和掩码图片特征,以获得跟丰富的特征信息;特征强化引导模块所述子网络层中含有的卷积单元和最大值池化层的数量依次递增,并采用sigmoid作为特征强化权重图的门阀,自主学习人体部位细节;持续特征强化引导,在浅层、中层、高层做引导整个网络的特征增强学习。
4.根据权利要求1所述的基于特征强化引导卷积神经网络的行人再识别方法,其特征在于,所述步骤5),包括:
使用所述目标模型对可能含有目标行人的图像目标特征向量提取;
计算所述目标特征向量与行人库中每一图片所含有的行人的特征向量的欧式距离,将欧式距离小于预设阈值所对应的图像作为目标图像。
5.基于特征强化引导卷积神经网络的行人再识别装置,其特征在于,所述装置包括:
收集模块,用于收集行人图像数据并做好分类标签,并将分类后的行人图像数据分为训练集和测试集;
构建模块,用于构建特征强化引导的卷积神经网络,其中,所述卷积神经网络包含双输入基本网络、主干卷积神经网络、特征强化引导模块;所述特征强化引导模块包括设定数量个子网络层,每一个子网络层均包含卷积层、ReLU激活层、BatchNorm标准化层组成的卷积单元、最大值池化层以及sigmoid层;
训练模块,用于将所述收集模块所收集的训练集输入所述特征强化引导的卷积神经网络,训练得到的行人再识别的预训练模型;
返回模块,用于用所述收集模块中的测试集测试训练模块训练得到的预训练模型,根据测试结果调整训练参数重新训练,并触发所述训练模块,直至所述特征强化引导的卷积神经网络收敛,得到最佳预训练模型;
检测模块,用于收集目标场景中的部分目标行人图像,并使用所述目标场景中的部分目标行人图像训练所述最佳预训练模型,得到目标模型,再使用所述目标模型对行人库中的图像进行特征比对,从而识别出目标行人,得到目标图像。
6.根据权利要求5所述的基于特征强化引导卷积神经网络的行人再识别装置,其特征在于,所述收集模块,用于:
将不同场景下的行人的视频监控数据作为行人图像数据来源,针对每一个行人,用行人检测方法抠取出包含同一行人的不同拍摄角度的行人图片,对每一个确定身份的具体行人图片进行分类,并打上标签。
对已分类的行人图片进行数据扩充,具体扩充手段包括:颜色直方图均衡化、水平镜像翻转、高斯模糊和添加随机噪声;
利用行人分割模型,对打上分类标签的行人图像数据进行人体区域扣取,获取对应的不含背景的人体掩码图片,并把每一张图像的掩码图片和所述图像的集合作为图像对;
将图像对的集合中的若干图像对的集合作为训练集;将其余的图像对的集合作为测试集。
7.根据权利要求5所述的基于特征强化引导卷积神经网络的行人再识别装置,其特征在于,所述训练模块,用于:
使用并行双输入的方式,同时融合原图和掩码图片特征,以获得跟丰富的特征信息;特征强化引导模块所述子网络层中含有的卷积单元和最大值池化层的数量依次递增,并采用sigmoid作为特征强化权重图的门阀,自主学习人体部位细节;持续特征强化引导,在浅层、中层、高层做引导整个网络的特征增强学习。
8.根据权利要求5所述的基于特征强化引导卷积神经网络的行人再识别装置,其特征在于,所述检测模块,用于:
使用所述目标模型对可能含有目标行人的图像目标特征向量提取;
计算所述目标特征向量与行人库中每一图片所含有的行人的特征向量的欧式距离,将欧式距离小于预设阈值所对应的图像作为目标图像。
CN201811469353.0A 2018-11-28 2018-11-28 基于特征强化引导卷积神经网络的行人再识别方法及装置 Active CN109614907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811469353.0A CN109614907B (zh) 2018-11-28 2018-11-28 基于特征强化引导卷积神经网络的行人再识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811469353.0A CN109614907B (zh) 2018-11-28 2018-11-28 基于特征强化引导卷积神经网络的行人再识别方法及装置

Publications (2)

Publication Number Publication Date
CN109614907A true CN109614907A (zh) 2019-04-12
CN109614907B CN109614907B (zh) 2022-04-19

Family

ID=66005778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811469353.0A Active CN109614907B (zh) 2018-11-28 2018-11-28 基于特征强化引导卷积神经网络的行人再识别方法及装置

Country Status (1)

Country Link
CN (1) CN109614907B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689066A (zh) * 2019-09-24 2020-01-14 成都考拉悠然科技有限公司 一种人脸识别数据均衡与增强相结合的训练方法
CN110717717A (zh) * 2019-10-11 2020-01-21 惠龙易通国际物流股份有限公司 模型生成方法及系统、交通工具分配方法及装置
CN111027455A (zh) * 2019-12-06 2020-04-17 重庆紫光华山智安科技有限公司 行人特征提取方法、装置、电子设备及存储介质
CN111144417A (zh) * 2019-12-27 2020-05-12 创新奇智(重庆)科技有限公司 基于教师学生网络的智能货柜小目标检测方法及检测系统
CN111178446A (zh) * 2019-12-31 2020-05-19 歌尔股份有限公司 一种基于神经网络的目标分类模型的优化方法、装置
CN111178301A (zh) * 2019-12-30 2020-05-19 北京迈格威科技有限公司 对象再识别的方法、装置和电子系统
CN111340137A (zh) * 2020-03-26 2020-06-26 上海眼控科技股份有限公司 图像识别方法、装置及存储介质
CN112351151A (zh) * 2020-11-10 2021-02-09 广东工业大学 基于fcn的图像信息加密方法及装置
CN112487954A (zh) * 2020-11-26 2021-03-12 东南大学 一种面向平面交叉口的行人过街行为预测方法
CN112699937A (zh) * 2020-12-29 2021-04-23 江苏大学 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN113222055A (zh) * 2021-05-28 2021-08-06 新疆爱华盈通信息技术有限公司 一种图像分类方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065126A (zh) * 2012-12-30 2013-04-24 信帧电子技术(北京)有限公司 不同场景对人体图像再识别的方法
CN106650630A (zh) * 2016-11-11 2017-05-10 纳恩博(北京)科技有限公司 一种目标跟踪方法及电子设备
US20170287137A1 (en) * 2016-03-31 2017-10-05 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
US20180253596A1 (en) * 2017-03-06 2018-09-06 Conduent Business Services, Llc System and method for person re-identification using overhead view images
CN108734300A (zh) * 2017-04-24 2018-11-02 英特尔公司 使用自主机器的识别、再标识和安全性增强

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065126A (zh) * 2012-12-30 2013-04-24 信帧电子技术(北京)有限公司 不同场景对人体图像再识别的方法
US20170287137A1 (en) * 2016-03-31 2017-10-05 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
CN106650630A (zh) * 2016-11-11 2017-05-10 纳恩博(北京)科技有限公司 一种目标跟踪方法及电子设备
US20180253596A1 (en) * 2017-03-06 2018-09-06 Conduent Business Services, Llc System and method for person re-identification using overhead view images
CN108734300A (zh) * 2017-04-24 2018-11-02 英特尔公司 使用自主机器的识别、再标识和安全性增强

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DI CHEN 等: "Person Search via A Mask-Guided Two-Stream CNN Model", 《 COMPUTER VISION – ECCV 2018》 *
HAIYU ZHAO 等: "Spindle Net: Person Re-identification with Human Body Region Guided eature Decomposition and Fusion", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
李幼蛟 等: "行人再识别技术综述", 《自动化学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689066A (zh) * 2019-09-24 2020-01-14 成都考拉悠然科技有限公司 一种人脸识别数据均衡与增强相结合的训练方法
CN110717717A (zh) * 2019-10-11 2020-01-21 惠龙易通国际物流股份有限公司 模型生成方法及系统、交通工具分配方法及装置
CN111027455A (zh) * 2019-12-06 2020-04-17 重庆紫光华山智安科技有限公司 行人特征提取方法、装置、电子设备及存储介质
CN111027455B (zh) * 2019-12-06 2021-01-26 重庆紫光华山智安科技有限公司 行人特征提取方法、装置、电子设备及存储介质
CN111144417A (zh) * 2019-12-27 2020-05-12 创新奇智(重庆)科技有限公司 基于教师学生网络的智能货柜小目标检测方法及检测系统
CN111178301A (zh) * 2019-12-30 2020-05-19 北京迈格威科技有限公司 对象再识别的方法、装置和电子系统
CN111178301B (zh) * 2019-12-30 2023-10-17 北京迈格威科技有限公司 对象再识别的方法、装置和电子系统
CN111178446A (zh) * 2019-12-31 2020-05-19 歌尔股份有限公司 一种基于神经网络的目标分类模型的优化方法、装置
CN111178446B (zh) * 2019-12-31 2023-08-04 歌尔股份有限公司 一种基于神经网络的目标分类模型的优化方法、装置
US11748975B2 (en) 2019-12-31 2023-09-05 Goertek Inc. Method and device for optimizing object-class model based on neural network
CN111340137A (zh) * 2020-03-26 2020-06-26 上海眼控科技股份有限公司 图像识别方法、装置及存储介质
CN112351151A (zh) * 2020-11-10 2021-02-09 广东工业大学 基于fcn的图像信息加密方法及装置
CN112351151B (zh) * 2020-11-10 2022-09-16 广东工业大学 基于fcn的图像信息加密方法及装置
CN112487954B (zh) * 2020-11-26 2023-12-05 东南大学 一种面向平面交叉口的行人过街行为预测方法
CN112487954A (zh) * 2020-11-26 2021-03-12 东南大学 一种面向平面交叉口的行人过街行为预测方法
CN112699937A (zh) * 2020-12-29 2021-04-23 江苏大学 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
WO2022141723A1 (zh) * 2020-12-29 2022-07-07 江苏大学 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
US11763542B2 (en) 2020-12-29 2023-09-19 Jiangsu University Apparatus and method for image classification and segmentation based on feature-guided network, device, and medium
CN112699937B (zh) * 2020-12-29 2022-06-21 江苏大学 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN113222055B (zh) * 2021-05-28 2023-01-10 新疆爱华盈通信息技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN113222055A (zh) * 2021-05-28 2021-08-06 新疆爱华盈通信息技术有限公司 一种图像分类方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109614907B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN109614907A (zh) 基于特征强化引导卷积神经网络的行人再识别方法及装置
CN109522853B (zh) 面向监控视频的人脸检测与搜索方法
CN103400110B (zh) Atm取款机前的异常人脸检测方法
CN107886064B (zh) 一种基于卷积神经网络的人脸识别场景适应的方法
Ma et al. Iqdet: Instance-wise quality distribution sampling for object detection
CN106780906B (zh) 一种基于深度卷积神经网络的人证合一识别方法及系统
CN109543640B (zh) 一种基于图像转换的活体检测方法
CN104008370B (zh) 一种视频人脸识别方法
Theagarajan et al. Soccer: Who has the ball? Generating visual analytics and player statistics
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN109117797A (zh) 一种基于人脸质量评价的人脸抓拍识别方法
CN108596211B (zh) 一种基于集中学习与深度网络学习的遮挡行人再识别方法
CN108197587A (zh) 一种通过人脸深度预测进行多模态人脸识别的方法
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN108537743A (zh) 一种基于生成对抗网络的面部图像增强方法
CN107145900A (zh) 基于一致性约束特征学习的行人再识别方法
CN106778609A (zh) 一种电力施工现场人员制服穿着识别方法
CN104504365A (zh) 视频序列中的笑脸识别系统及方法
CN107122744A (zh) 一种基于人脸识别的活体检测系统及方法
CN107025420A (zh) 视频中人体行为识别的方法和装置
CN106448184A (zh) 车辆识别方法及车辆出场识别方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN111914761A (zh) 一种热红外人脸识别的方法及系统
CN106650694A (zh) 一种以卷积神经网络作为特征提取器的人脸识别方法
CN110390308B (zh) 一种基于时空对抗生成网络的视频行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant