CN110909701A - 行人特征的提取方法、装置、设备及介质 - Google Patents

行人特征的提取方法、装置、设备及介质 Download PDF

Info

Publication number
CN110909701A
CN110909701A CN201911195366.8A CN201911195366A CN110909701A CN 110909701 A CN110909701 A CN 110909701A CN 201911195366 A CN201911195366 A CN 201911195366A CN 110909701 A CN110909701 A CN 110909701A
Authority
CN
China
Prior art keywords
pedestrian
image
feature
pedestrian image
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911195366.8A
Other languages
English (en)
Other versions
CN110909701B (zh
Inventor
王之港
王健
文石磊
丁二锐
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201911195366.8A priority Critical patent/CN110909701B/zh
Publication of CN110909701A publication Critical patent/CN110909701A/zh
Application granted granted Critical
Publication of CN110909701B publication Critical patent/CN110909701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种行人特征的提取方法、装置、设备及介质,涉及行人再识别技术领域。具体实现方案为:获取待处理的行人图像;采用至少两个图像特征尺度,以及至少两个处理粒度对所述行人图像进行处理,得到与所述行人图像对应的至少两个行人图像特征子向量;将所述至少两个行人图像特征子向量进行拼接,得到与所述行人图像对应的行人特征。本申请实现了在提高行人特征提取的准确度和可靠性的同时,降低计算复杂度。

Description

行人特征的提取方法、装置、设备及介质
技术领域
本申请实施例涉及图像识别技术,尤其涉及行人再识别技术领域,具体涉及一种行人特征的提取方法、装置、设备及介质。
背景技术
行人再识别(Person re-identification),也称行人重识别,是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术,其广泛被认为是一个图像检索的子问题。在行人再识别中,一般给定一个监控行人的图像,进而检索跨设备下的该行人图像,其旨在弥补目前固定的摄像头的视觉局限,并可与行人检测或行人跟踪技术相结合,可广泛应用于智能视频监控、智能安保等领域。由于不同摄像设备之间的差异,同时行人间距刚性和柔性的特征,外观易受穿着、尺度、遮挡、姿态和视角等影响,使得其行人再识别成为计算机视觉领域中一个既具有研究价值,同时又极具挑战性的热门课题。
目前,现有的行人再识别技术中对行人特征的提取对有多种实现方案,例如:基于人体全局特征的行人再识别方法、基于空间注意力模型的行人再识别方法、以及基于人体部件特征的行人再识别方法等。
现有的行人特征提取方案中,或是特征提取的准确率不高,难以满足实际应用对于精度的要求,或是计算复杂度太高,需要更多更强的算力才能支撑。
发明内容
本申请实施例提供一种行人特征的提取方法、装置、设备及介质,以提高行人特征提取的准确度和可靠性的同时,降低计算复杂度。
第一方面,本申请实施例提供了一种行人特征的提取方法,该方法包括:
获取待处理的行人图像;
采用至少两个图像特征尺度,以及至少两个处理粒度对所述行人图像进行处理,得到与所述行人图像对应的至少两个行人图像特征子向量;
将所述至少两个行人图像特征子向量进行拼接,得到与所述行人图像对应的行人特征。
可选的,采用至少两个图像特征尺度,和/或至少两个处理粒度,获取与所述行人图像对应的至少两个行人图像特征子向量,包括:
将所述行人图像输入至预先训练的行人再识别模型中,得到与所述行人图像对应的至少两个行人图像特征子向量;
其中,所述行人再识别模型包括至少两个计算分支,不同计算分支对应不同的图像特征尺度,和/或处理粒度。
可选的,所述行人再识别模型具体包括:与第一图像特征尺度和第一处理粒度对应的第一计算分支,与第二图像特征尺度和第一处理粒度对应的第二计算分支,以及与第二图像特征尺度和第二处理粒度对应的第三计算分支;
其中,所述第一图像特征尺度大于所述第二图像特征尺度,所述第一处理粒度大于所述第二处理粒度。
这样设置的好处是:通过在行人识别模型中设置对应于不同的图像特征尺度和/或处理粒度的至少两个计算分支,使得行人识别模型能够对输入的行人图像按照不同的图像尺度和/或处理粒度进行处理,得到不同尺度和/或粒度下的行人图像特征子向量,从而提高行人特征提取的准确度和可靠性。
可选的,将所述行人图像输入至预先训练的行人再识别模型中,得到与所述行人图像对应的至少两个行人图像特征子向量,包括:
将所述行人图像输入至基础神经网络的低层部分,并将输出结果分别输入至所述行人再识别模型的第一计算分支进行处理,以及输入至所述基础神经网络的高层部分;
将所述基础神经网络的高层部分的输出结果分别输入至所述行人再识别模型的第二计算分支和第三计算分支进行处理;
得到所述行人再识别模型的第一计算分支输出的第一行人图像特征子向量、所述行人再识别模型的第二计算分支输出的第二行人图像特征子向量和所述行人再识别模型的第三计算分支输出的第三行人图像特征子向量。
这样设置的好处在于:通过从基础神经网络的不同层输出不同图像特征尺度的特征子向量,可以进一步提高输出子向量的特征表示能力,提高行人特征提取的准确度和可靠性。
可选的,将输出结果输入至所述行人再识别模型的第一计算分支进行处理,包括:
对所述基础神经网络的低层部分的输出结果分别进行第一最大池化操作和第一平均池化操作,得到第一最大池化特征图和第一平均池化特征图;
将所述第一最大池化特征图和第一平均池化特征图进行第一逐像素相加操作,并将相加结果输入至第一卷积层,得到第一行人图像特征子向量。
这样设置的好处在于:通过对低层部分的输出结果进行最大池化操作、平均池化操作、逐像素相加操作以及卷积操作,可以进一步提高对图像细节的识别效果,进而提高行人特征提取的准确度和可靠性。另外,由于模型结构简单,使得计算量大大减少,从而降低了计算复杂度。
可选的,将所述基础神经网络的高层部分的输出结果输入至所述行人再识别模型的第二计算分支进行处理,包括:
对所述基础神经网络的高层部分的输出结果分别进行第二最大池化操作和第二平均池化操作,得到第二最大池化特征图和第二平均池化特征图;
将所述第二最大池化特征图和第二平均池化特征图进行第二逐像素相加操作,并将相加结果输入至第二卷积层,得到第二行人图像特征子向量。
这样设置的好处在于:通过对高层部分的输出结果也进行最大池化操作、平均池化操作、逐像素相加操作以及卷积操作,可以进一步提高对行人整体外观的识别效果,进而提高行人特征提取的准确度和可靠性。
可选的,将所述基础神经网络的高层部分的输出结果输入至所述行人再识别模型的第三计算分支进行处理,包括:
对所述基础神经网络的高层部分的输出结果进行水平分块,得到多个中间特征图块;
对各所述中间特征图块分别进行块内最大池化操作和块内平均池化操作,得到第三最大池化特征图和第三平均池化特征图;
将所述第三最大池化特征图和第三平均池化特征图进行第三逐像素相加操作,并将相加结果输入至第三卷积层,得到第三行人图像特征子向量。
这样设置的好处在于:通过对高层部分的输出结果进行分块处理后再对每个分块分别进行块内最大池化操作、块内平均池化操作、逐像素相加操作以及卷积操作,可以进一步提高对行人关键部位的识别效果,进而提高行人特征提取的准确度和可靠性。
可选的,在将所述行人图像输入至预先训练的行人再识别模型中,得到与所述行人图像对应的至少两个行人图像特征子向量之前,还包括:
获取多个行人图像样本及其对应的标准行人图像特征子向量;
使用所述行人图像样本及其对应的标准行人图像特征子向量对预设的行人再识别模型进行训练,得到预先训练的行人再识别模型。
这样设置的好处在于:通过使用行人图像样本及其对应的标准行人图像特征子向量对行人再识别模型进行训练,可以提高行人再识别模型对行人图像的特征提取能力,提高行人特征提取的准确度和可靠性。
可选的,使用所述行人图像样本及其对应的标准行人图像特征子向量对预设的行人再识别模型进行训练,包括:
将所述行人图像样本输入至预设的行人再识别模型中,得到行人再识别损失函数;
根据所述行人图像样本对应的标准行人图像特征子向量和所述行人再识别损失函数,对所述预设的行人再识别模型进行训练;
其中,所述行人再识别损失函数包括三元组损失函数和/或行人身份标识识别损失函数。
这样设置的好处在于:通过利用训练过程中得到的行人再识别损失函数对行人再识别模型进行反复训练,可以进一步提高行人再识别模型对行人图像的特征提取能力,从而进一步提高行人特征提取的准确度和可靠性。
第二方面,本申请实施例还提供了一种行人再识别方法,该方法包括:
获取不同摄像头分别采集的第一行人图像以及第二行人图像;
采用如权利要求1-9任一项所述的方法,分别计算与所述第一行人图像对应的第一行人特征,以及与所述第二行人图像对应的第二行人特征;
根据所述第一行人特征与所述第二行人特征之间的特征相似度,确定所述第一行人图像与所述第二行人图像是否对应同一行人。
可选的,根据所述第一行人特征与所述第二行人特征之间的特征相似度,确定所述第一行人图像与所述第二行人图像是否对应同一行人,包括:
计算所述第一行人特征与所述第二行人特征之间的向量距离;
根据所述向量距离,确定所述第一行人图像与所述第二行人图像是否对应同一行人。
这样设置的好处在于:通过计算两个行人图像对应的行人特征之间的向量距离,来判断两个行人图像是否对应于同一行人,可以在提高行人再识别的准确度和可靠性的同时,简化计算过程,降低计算量。
第三方面,本申请实施例还提供了一种行人特征的提取装置,该装置包括:图像获取模块,用于获取待处理的行人图像;
图像处理模块,用于采用至少两个图像特征尺度,以及至少两个处理粒度对所述行人图像进行处理,得到与所述行人图像对应的至少两个行人图像特征子向量;
向量拼接模块,用于将所述至少两个行人图像特征子向量进行拼接,得到与所述行人图像对应的行人特征。
第四方面,本申请实施例还提供了一种行人再识别装置,该装置包括:图像采集模块,用于获取不同摄像头分别采集的第一行人图像以及第二行人图像;
特征计算模块,用于采用如权利要求1-9任一项所述的方法,分别计算与所述第一行人图像对应的第一行人特征,以及与所述第二行人图像对应的第二行人特征;
行人确定模块,用于根据所述第一行人特征与所述第二行人特征之间的特征相似度,确定所述第一行人图像与所述第二行人图像是否对应同一行人。
第五方面,本申请实施例还提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请中任一实施例所述的方法。
第六方面,本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行本申请中任一实施例所述的方法。
上述申请中的一个实施例具有如下优点或有益效果:通过获取待处理的行人图像,并采用至少两个图像特征尺度,以及至少两个处理粒度对该行人图像进行处理,得到与该行人图像对应的至少两个行人图像特征子向量,再将该至少两个行人图像特征子向量进行拼接,最终得到与该行人图像对应的行人特征。解决了现有或是特征提取的准确率不高,难以满足实际应用对于精度的要求,或是计算复杂度太高,需要更多更强的算力才能支撑的问题,实现了在提高行人特征提取的准确度和可靠性的同时,降低计算复杂度。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定,其中:
图1是根据本申请的实施例一的一种行人特征的提取方法的流程图;
图2a是根据本申请的实施例二的一种行人特征的提取方法的流程图;
图2b是根据本申请的实施例二所适用的一种行人再识别模型的结构示意图;
图3是根据本申请的实施例三的一种行人再识别方法的流程图;
图4是根据本申请的实施例四的一种行人特征的提取装置的结构示意图;
图5是根据本申请的实施例五的一种行人再识别装置的结构示意图;
图6是用来实现本申请实施例的行人特征的提取方法或行人再识别方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
实施例一
图1为本申请实施例一提供的一种行人特征的提取方法的流程图,本实施例可适用于对图像中的行人进行识别的过程中,对图像中的行人特征进行提取的情况,该方法可以由一种行人特征的提取装置来执行,该装置可以由软件和/或硬件实现,并一般可以集成在监控设备中,或者与监控设备进行通信的的其他终端设备中。所述监控设备可以为摄像头或者监视器等,所述终端设备可以为手机、平板或者电脑等。
具体的,参考图1,该方法具体包括如下步骤:
S110、获取待处理的行人图像。
本实施例中,待处理的行人图像可以是由摄像头采集的包含有至少一个行人的图像。具体获取待处理的行人图像的方式包括但不限于接收摄像头对行人抓拍的一帧图像,或接收监视器上截取包含有行人的一帧显示画面等作为待处理的行人图像,该行人图像可用于进行行人再识别。
针对现有技术中行人图像的特征提取或是提取的准确率不高,难以满足实际应用对于精度的要求,或是计算复杂度太高,需要更多更强的算力才能支撑的问题,本实施例通过对两幅待处理的行人图像分别进行多尺度多粒度地特征提取,进而通过简单的计算就可以提高行人图像的特征提取准确率,满足实际应用对于精度的要求。
S120、采用至少两个图像特征尺度,以及至少两个处理粒度对行人图像进行处理,得到与行人图像对应的至少两个行人图像特征子向量。
本实施例中,图像特征尺度可以是对图像特征的提取尺度,由于本实施例采用的是多尺度的方式对行人图像进行特征提取,因此,可从大尺度到对整幅图像的细节进行处理,小尺度到对图像中的主要目标进行处理,例如对图像中的行人整体外观进行处理。这样既可以提取到图像的细节信息,也可以提取到图像的语义信息,从而提高特征的表示能力。
此外,处理粒度可以是对图像进行处理的粒度,由于本实施例采用的是多粒度的方式对行人图像进行特征提取,因此,可以从大粒度到图像的全局特征进行提取,例如对图像中的行人整体外观的特征进行提取,小粒度到对图像的局部特征进行提取,例如对图像中的行人关键部位的特征进行提取。这样既可以提取到行人的整体特征信息,也可以提取到行人具有代表性的关键部位的信息,从而进一步提高特征的表示能力。
需要说明的是,由于采用了多尺度多粒度的特征提取方式,使得仅需采用简单的算法即可全方位获取行人图像的特征,在提高行人特征提取的准确度和可靠性的同时,也可降低计算复杂度。
可选的,采用至少两个图像特征尺度,和/或至少两个处理粒度,获取与行人图像对应的至少两个行人图像特征子向量,包括:将行人图像输入至预先训练的行人再识别模型中,得到与行人图像对应的至少两个行人图像特征子向量;其中,行人再识别模型包括至少两个计算分支,不同计算分支对应不同的图像特征尺度,和/或处理粒度。
示例性的,本实施例所采用的行人再识别模型可以是经过训练的、用于提取行人图像特征子向量的神经网络模型,其中,该神经网络模型可具有多个计算分支,不同的计算分支可分别对应于不同的图像特征尺度和/或处理粒度。例如,其中一个分支可出自行人再识别模型的低层,用于提取行人图像的细节信息,另一个分支可出自行人再识别模型的高层,用于提取行人图像的语义信息;又如,其中一个分支可使用全局的神经网络特征输出,该分支对于图像中行人整体外观比较敏感,另一个分支使用部件级的神经网络特征输出,该分支对于行人的某些关键部位比较敏感。
具体的,不同的计算分支可对应输出不同的行人图像特征子向量,使得这些行人图像特征子向量可从不同尺度不同粒度分别表示该行人图像的特征,进而使得行人图像的特征提取更加准确和可靠。
可选的,行人再识别模型具体包括:与第一图像特征尺度和第一处理粒度对应的第一计算分支,与第二图像特征尺度和第一处理粒度对应的第二计算分支,以及与第二图像特征尺度和第二处理粒度对应的第三计算分支;其中,第一图像特征尺度大于第二图像特征尺度,第一处理粒度大于第二处理粒度。
本实施例中,第一图像特征尺度可以是指出自神经网络低层的计算分支,第二图像特征尺度可以是指出自神经网络高层的计算分支;第一处理粒度可以是指对图像的全局特征进行提取的计算分支,第二处理粒度可以是对图像的局部特征进行提取的计算分支。
在一个具体例子中,行人再识别模型包括三个计算分支,其中,第一计算分支例如可以是出自行人再识别模型低层卷积层的计算分支,该分支用于对整个图像的全局特征进行提取;第二计算分支例如可以是出自行人再识别模型高层卷积层的计算分支,该分支用于对图像中行人的全局特征进行提取;第三计算分支例如可以是出自行人再识别模型高层卷积层的计算分支,该分支用于对图像中行人的局部关键特征进行提取。
S130、将至少两个行人图像特征子向量进行拼接,得到与行人图像对应的行人特征。
本实施例中,各行人图像特征子向量之间的拼接方式包括但不限于按照子向量输出顺序依次连接、或者按照权重等级进行拼接等,在此不做限定。
由于拼接后得到的与该行人图像对应的行人特征是从多个尺度和多个粒度对图像进行特征提取得到的,因此,该行人特征能够更好地表达该行人图像,提高了行人再识别的准确度和可靠性。
本实施例通过获取待处理的行人图像,并采用至少两个图像特征尺度,以及至少两个处理粒度对该行人图像进行处理,得到与该行人图像对应的至少两个行人图像特征子向量,再将该至少两个行人图像特征子向量进行拼接,最终得到与该行人图像对应的行人特征。解决了现有或是特征提取的准确率不高,难以满足实际应用对于精度的要求,或是计算复杂度太高,需要更多更强的算力才能支撑的问题,实现了在提高行人特征提取的准确度和可靠性的同时,降低计算复杂度。
实施例二
图2a是本申请实施例二提供的一种行人特征的提取方法;本实施例对上述任意实施例进行细化,将所述行人图像输入至预先训练的行人再识别模型中,得到与所述行人图像对应的至少两个行人图像特征子向量,细化为包括:将所述行人图像输入至基础神经网络的低层部分,并将输出结果分别输入至所述行人再识别模型的第一计算分支进行处理,以及输入至所述基础神经网络的高层部分;将所述基础神经网络的高层部分的输出结果分别输入至所述行人再识别模型的第二计算分支和第三计算分支进行处理;得到所述行人再识别模型的第一计算分支输出的第一行人图像特征子向量、所述行人再识别模型的第二计算分支输出的第二行人图像特征子向量和所述行人再识别模型的第三计算分支输出的第三行人图像特征子向量。
具体的,参考图2a,本方法具体包括如下步骤:
S210、获取待处理的行人图像。
S220、将行人图像输入至基础神经网络的低层部分,并将输出结果分别输入至行人再识别模型的第一计算分支进行处理,以及输入至基础神经网络的高层部分。
本实施例中,行人再识别模型除了包括第一计算分支、第二计算分支和第三计算分支外,还可包括基础神经网络,例如标准残差神经网络(ResidualNetwork,ResNet),该基础神经网络可包含有多个卷积层,其中,低层部分可以是该基础神经网络的第二层或第三层卷积层,相应的,高层部分可以是该基础神经网络的最后一个卷积层。
示例性的,可将行人图像首先输入至该基础神经网络的低层部分,将从低层部分输出的结果分别输入至第一计算分支和基础神经网络的高层部分进行处理。其中,第一计算分支由于处理的是从低层部分输出的结果,因此,从第一计算分支计算输出的行人图像特征子向量,是从大尺度大粒度的角度来处理行人图像而得到的,可用于表示整个图像的细节信息。
可选的,将输出结果输入至行人再识别模型的第一计算分支进行处理,包括:对基础神经网络的低层部分的输出结果分别进行第一最大池化操作和第一平均池化操作,得到第一最大池化特征图和第一平均池化特征图;将第一最大池化特征图和第一平均池化特征图进行第一逐像素相加操作,并将相加结果输入至第一卷积层,得到第一行人图像特征子向量。
本实施例中,第一最大池化操作即是对基础神经网络的低层部分的输出结果进行逐通道地求最大值操作,也即对基础神经网络的低层部分输出的中间特征图的整个区域做最大池化操作,得到第一最大池化特征图;第一平均池化操作即是对基础神经网络的低层部分的输出结果进行逐通道地进行求平均值操作,也即对基础神经网络的低层部分输出的中间特征图的整个区域做平均池化操作,得到第一平均池化特征图。然后,对第一最大池化特征图和第一平均池化特征图进行第一逐像素相加操作,也即对两个特征图中的像素挨个对应相加,再将相加结果输入至第一卷积层,从第一卷积层输出得到第一计算分支对应计算得到的第一行人图像特征子向量。
进行第一最大池化操作、第一平均池化操作、第一逐像素相加操作以及第一卷积层的卷积操作的有益效果在于,可以针对图像的细节信息达到更好的识别效果,进而提高第一行人图像特征子向量对图像细节信息的表达能力。
S230、将基础神经网络的高层部分的输出结果分别输入至行人再识别模型的第二计算分支和第三计算分支进行处理。
本实施例中,行人图像经基础神经网络的低层部分再到高层部分进行处理后,可将从高层部分输出的结果分别输入至第二计算分支和第三计算分支进行处理。其中,第二计算分支和第三计算分支由于处理的是从高层部分输出的结果,因此,从第二计算分支和第三计算分支计算输出的行人图像特征子向量,是从小尺度的角度来处理行人图像而得到的,可用于表示行人图像的语义信息,也即行人图像中行人的信息。
具体的,第二计算分值和第三计算分支在小尺度下,可分别采用不同的粒度进行处理,例如,第二计算分支从整个行人的整体外观入手,提取行人的全局特征,第三计算分支从行人的关键部位入手,提取行人的局部特征。
可选的,将基础神经网络的高层部分的输出结果输入至行人再识别模型的第二计算分支进行处理,包括:对基础神经网络的高层部分的输出结果分别进行第二最大池化操作和第二平均池化操作,得到第二最大池化特征图和第二平均池化特征图;将第二最大池化特征图和第二平均池化特征图进行第二逐像素相加操作,并将相加结果输入至第二卷积层,得到第二行人图像特征子向量。
本实施例中,第二最大池化操作即是对基础神经网络的高层部分的输出结果进行逐通道地求最大值操作,也即对基础神经网络的高层部分输出的中间特征图的整个区域做最大池化操作,得到第二最大池化特征图;第二平均池化操作即是对基础神经网络的高层部分的输出结果进行逐通道地进行求平均值操作,也即对基础神经网络的高层部分输出的中间特征图的整个区域做平均池化操作,得到第二平均池化特征图。然后,对第二最大池化特征图和第二平均池化特征图进行第二逐像素相加操作,也即对两个特征图中的像素挨个对应相加,再将相加结果输入至第二卷积层,从第二卷积层输出得到第二计算分支对应计算得到的第二行人图像特征子向量。
进行第二最大池化操作、第二平均池化操作、第二逐像素相加操作以及第二卷积层的卷积操作的有益效果在于,可以针对图像中行人的整体外观达到更好的识别效果,进而提高第二行人图像特征子向量对行人整体外观的表达能力。
可选的,将基础神经网络的高层部分的输出结果输入至行人再识别模型的第三计算分支进行处理,包括:对基础神经网络的高层部分的输出结果进行水平分块,得到多个中间特征图块;对各中间特征图块分别进行块内最大池化操作和块内平均池化操作,得到第三最大池化特征图和第三平均池化特征图;将第三最大池化特征图和第三平均池化特征图进行第三逐像素相加操作,并将相加结果输入至第三卷积层,得到第三行人图像特征子向量。
示例性的,第三计算分支中,在进行池化、相加和卷积操作之前,首先要对基础神经网络的高层部分的输出结果进行分块操作,例如水平分块操作,将基础神经网络高层部分输出的中间特征图沿水平方向切分为几块,对每块进行独立的操作,本实施例中分块后的特征图要进行独立的块内最大池化操作和块内平均池化操作,即在切分好的区域内分别执行这两种操作。
其中,块内最大池化操作即是对中间特征图块的块内区域进行逐通道地求最大值操作,也即对基础神经网络的高层部分输出的中间特征图经分块后得到的中间特征图块的块内区域做最大池化操作,得到第三最大池化特征图;块内平均池化操作即是对中间特征图块的块内区域进行逐通道地进行求平均值操作,也即对基础神经网络的高层部分输出的中间特征图经分块后得到的中间特征图块的块内区域做平均池化操作,得到第三平均池化特征图。然后,对第三最大池化特征图和第三平均池化特征图进行第三逐像素相加操作,也即对两个特征图中的像素挨个对应相加,再将相加结果输入至第三卷积层,从第三卷积层输出得到第三计算分支对应计算得到的第三行人图像特征子向量。
进行中间特征图的分块操作的有益效果在于,可对图像中行人的关键部位单独进行特征提取,从而更好地表达图像中行人的关键特征。块内最大池化操作、块内平均池化操作、第三逐像素相加操作以及第三卷积层的卷积操作的有益效果在于,可以针对图像中行人的关键部位达到更好的识别效果,进而提高第三行人图像特征子向量对行人关键部位的表达能力。
S240、得到行人再识别模型的第一计算分支输出的第一行人图像特征子向量、行人再识别模型的第二计算分支输出的第二行人图像特征子向量和行人再识别模型的第三计算分支输出的第三行人图像特征子向量。
本实施例中,经过第一计算分支、第二计算分支以及第三计算分支分别进行计算处理后,可得到对应的第一行人图像特征子向量、第二行人图像特征子向量和第三行人图像特征子向量。最后,将各计算分支输出的行人图像特征子向量进行拼接即可得到与输入的行人图像所对应的行人特征。
S250、将三个行人图像特征子向量进行拼接,得到与行人图像对应的行人特征。
本实施例在上述各实施例的基础上,进一步细化如何在不同尺度和不同粒度下进行处理得到第一行人图像特征子向量、第二行人图像特征子向量以及第三行人图像特征子向量,进而最终拼接得到与行人图像对应的行人特征。本实施例在上述任意实施例的基础上解决了现有或是特征提取的准确率不高,难以满足实际应用对于精度的要求,或是计算复杂度太高,需要更多更强的算力才能支撑的问题,并且可以利用简单的模型结构,得到更全面更准确的行人图像对应的行人特征,在提高行人特征提取的准确度和可靠性的同时,降低计算复杂度。
在上述各实施例的基础上,可选的,在将行人图像输入至预先训练的行人再识别模型中,得到与行人图像对应的至少两个行人图像特征子向量之前,还包括:获取多个行人图像样本及其对应的标准行人图像特征子向量;使用行人图像样本及其对应的标准行人图像特征子向量对预设的行人再识别模型进行训练,得到预先训练的行人再识别模型。
示例性的,在使用行人再识别模型进行行人图像的行人特征提取之前,需要对行人再识别模型进行训练,具体的,可利用多个行人图像样本,以及与该样本分别对应的标准行人图像特征子向量,分别对预设的行人再识别模型进行训练,直至行人再识别模型的模型参数达到最优,即可得到预先训练的行人再识别模型。其中,预设的行人再识别模型可以是预先建立的标准神经网络模型。
可选的,使用行人图像样本及其对应的标准行人图像特征子向量对预设的行人再识别模型进行训练,包括:将行人图像样本输入至预设的行人再识别模型中,得到行人再识别损失函数;根据行人图像样本对应的标准行人图像特征子向量和行人再识别损失函数,对预设的行人再识别模型进行训练;其中,行人再识别损失函数包括三元组损失函数和/或行人身份标识识别损失函数。
需要说明的是,行人再识别损失函数可以是在行人再识别模型输出最终结果之前得到的,也可以是在行人再识别模型输出最终结果时输出得到的,在此不作限定。其中,三元组损失函数可以在训练行人再识别模型时在特征空间中将同一人的模型输出特征拉近,将不同人的模型输出特征推远;行人身份标识识别损失函数可以将行人再识别视作分类问题,每个不同的行人ID即为一个类别,该损失函数使得行人再识别模型在训练过程中能够尽量区分不同人的外观特征。利用这两个损失函数,可对行人再识别模型的参数进行不断地优化调整,直至达到最优参数,使得行人再识别模型对行人图像的表达能力达到最好。
在上述各实施例的基础上,举一个实际例子,行人再识别模型的结构可如图2b所示,包括ResNet低层基础网络1和ResNet高层基础网络2,以及由ResNet低层基础网络1引出的第一计算分支3和由ResNet高层基础网络2引出的第二计算分支4、第三计算分支5。其中,第一计算分支3包括第一最大池化层31、第一平均池化层32、第一逐像素相加层33和第一卷积层34;第二计算分支4包括第二最大池化层41、第二平均池化层42、第二逐像素相加层43和第二卷积层44;第三计算分支5包括水平分块层51、块内最大池化层52、块内平均池化层53、第三逐像素相加层54和第三卷积层55。将行人图像输入至该行人再识别模型,可输出得到三个输出特征以及相应的各损失函数。
需要说明的是,在图2b中将基础神经网络具体为ResNet,实际上,本领域技术人员在实际应用时,可以选择其他形式的基础神经网络,本实施例对此并不进行限制。
实施例三
图3为本申请实施例三提供的一种行人再识别方法的流程图,本实施例可适用于对不同摄像头采集的行人图像中,对行人进行再识别的情况,该方法可以由一种行人再识别装置来执行,该装置可以由软件和/或硬件实现,并一般可以集成在监控设备中,或者与监控设备进行通信的的其他终端设备中。所述监控设备可以为摄像头或者监视器等,所述终端设备可以为手机、平板或者电脑等。
具体的,参考图3,该方法具体包括如下步骤:
S310、获取不同摄像头分别采集的第一行人图像以及第二行人图像。
针对现有技术中行人再识别技术或是再识别准确率不高,难以满足实际应用对于精度的要求,或是计算复杂度太高,需要更多更强的算力才能支撑的问题,本实施例通过对两幅待处理的行人图像分别进行多尺度多粒度地特征提取,进而通过比对这两幅行人图像的特征就可以判断出两幅行人图像中的行人是否为同一人,即达到再识别的目的。
示例性的,可获取不同的两个摄像头分别采集的第一行人图像以及第二行人图像,其中,不同的两个摄像头优选可以是相邻的摄像头,例如行人从摄像头A的画面中离开时紧接着从摄像头B的画面中出现。这里的第一行人图像和第二行人图像均为包含有至少一个行人的图像。
S320、采用上述各实施例中任一行人特征的提取的方法,分别计算与第一行人图像对应的第一行人特征,以及与第二行人图像对应的第二行人特征。
在上述各实施例的基础上,本实施例利用上述各实施例中所描述的行人特征的提取方法,对第一行人图像和第二行人图像分别进行行人特征的提取,得到对应的第一行人特征和第二行人特征,其中,具体的行人特征的提取过程可参见上述各实施例,在此不再赘述。
由于采用上述各实施例中涉及的行人特征的提取方法来提取行人特征,因此,相较于现有行人再识别技术而言,本实施例进行行人再识别时所采用的行人特征融合了不同尺度不同粒度下行人图像的特征,使得本实施例中的行人再识别过程更加全面,也使得识别结果更加准确和可靠。
S330、根据第一行人特征与第二行人特征之间的特征相似度,确定第一行人图像与第二行人图像是否对应同一行人。
示例性的,若第一行人图像对应的第一行人特征,与第二行人图像对应的第二行人特征之间的特征相似度高,则可确定第一行人图像与第二行人图像对应于同一行人,也即两个图像中所显示的行人为同一人;若第一行人图像对应的第一行人特征,与第二行人图像对应的第二行人特征之间的特征相似度低,则可确定第一行人图像与第二行人图像不是对应于同一行人,也即两个图像中所显示的行人不是同一人,进而达到再识别的目的。具体的,可设置一个相似度阈值,通过计算第一行人特征与第二行人特征之间的特征相似度,并与设定的相似度阈值进行比较,从而判断两个行人特征之间的特征相似度是高还是低。
可选的,根据第一行人特征与第二行人特征之间的特征相似度,确定第一行人图像与第二行人图像是否对应同一行人,包括:计算第一行人特征与第二行人特征之间的向量距离;根据向量距离,确定第一行人图像与第二行人图像是否对应同一行人。
其中,向量距离可以是欧式距离、余弦距离等等。通过将计算得到的两个行人特征之间的向量距离,并将该向量距离与设定的距离阈值比较,可以判断两个行人图像是否对应同一行人。具体的,当向量距离大于设定距离阈值时,可确定第一行人图像与第二行人图像对应于同一行人;当向量距离不大于设定距离阈值时,可确定第一行人图像与第二行人图像分别对应于不同的行人。
本实施例在上述各实施例的基础上,通过获取不同摄像头分别采集的第一行人图像和第二行人图像,并利用上述各实施例中任一实施例所涉及的行人特征的提取方法,对第一行人图像和第二行人图像分别进行特征提取,得到对应的第一行人特征和第二行人特征,最后根据这两个行人特征之间的特征相似度,确定第一行人图像和第二行人图像是否对应于同一行人,达到行人再识别的目的。解决了现有行人再识别技术中或是再识别的准确率不高,难以满足实际应用对于精度的要求,或是计算复杂度太高,需要更多更强的算力才能支撑的问题,实现了利用简单的计算方法即可从不同尺度不同粒度对行人进行再识别的过程,提高了行人再识别的全面性、准确性和可靠性,同时也降低了计算复杂度。
实施例四
图4是本申请实施例四提供的一种行人特征的提取装置,该装置可以由软件和/或硬件的方式实现,并执行如本申请任意实施例所述的行人特征的提取方法。具体的,该装置包括:图像获取模块410、图像处理模块420和向量拼接模块430。
其中,图像获取模块410,用于获取待处理的行人图像;
图像处理模块420,用于采用至少两个图像特征尺度,以及至少两个处理粒度对所述行人图像进行处理,得到与所述行人图像对应的至少两个行人图像特征子向量;
向量拼接模块430,用于将所述至少两个行人图像特征子向量进行拼接,得到与所述行人图像对应的行人特征。
可选的,图像处理模块420包括图像输入单元。具体的,图像输入单元用于将所述行人图像输入至预先训练的行人再识别模型中,得到与所述行人图像对应的至少两个行人图像特征子向量;其中,所述行人再识别模型包括至少两个计算分支,不同计算分支对应不同的图像特征尺度,和/或处理粒度。
可选的,所述行人再识别模型具体可以包括:与第一图像特征尺度和第一处理粒度对应的第一计算分支,与第二图像特征尺度和第一处理粒度对应的第二计算分支,以及与第二图像特征尺度和第二处理粒度对应的第三计算分支;其中,所述第一图像特征尺度大于所述第二图像特征尺度,所述第一处理粒度大于所述第二处理粒度。
可选的,图像输入单元包括:低层处理子单元、高层处理子单元和向量输出子单元,其中,低层处理子单元,用于将所述行人图像输入至基础神经网络的低层部分,并将输出结果分别输入至所述行人再识别模型的第一计算分支进行处理,以及输入至所述基础神经网络的高层部分;高层处理子单元,用于将所述基础神经网络的高层部分的输出结果分别输入至所述行人再识别模型的第二计算分支和第三计算分支进行处理;向量输出子单元,用于得到所述行人再识别模型的第一计算分支输出的第一行人图像特征子向量、所述行人再识别模型的第二计算分支输出的第二行人图像特征子向量和所述行人再识别模型的第三计算分支输出的第三行人图像特征子向量。
可选的,低层处理子单元具体可以用于,对所述基础神经网络的低层部分的输出结果分别进行第一最大池化操作和第一平均池化操作,得到第一最大池化特征图和第一平均池化特征图;将所述第一最大池化特征图和第一平均池化特征图进行第一逐像素相加操作,并将相加结果输入至第一卷积层,得到第一行人图像特征子向量。
可选的,高层处理子单元具体可以用于,对所述基础神经网络的高层部分的输出结果分别进行第二最大池化操作和第二平均池化操作,得到第二最大池化特征图和第二平均池化特征图;将所述第二最大池化特征图和第二平均池化特征图进行第二逐像素相加操作,并将相加结果输入至第二卷积层,得到第二行人图像特征子向量。
可选的,高层处理子单元具体还可以用于,对所述基础神经网络的高层部分的输出结果进行水平分块,得到多个中间特征图块;对各所述中间特征图块分别进行块内最大池化操作和块内平均池化操作,得到第三最大池化特征图和第三平均池化特征图;将所述第三最大池化特征图和第三平均池化特征图进行第三逐像素相加操作,并将相加结果输入至第三卷积层,得到第三行人图像特征子向量。
可选的,图像处理模块420还可以包括样本获取单元和模型训练单元,其中,样本获取单元用于在将所述行人图像输入至预先训练的行人再识别模型中,得到与所述行人图像对应的至少两个行人图像特征子向量之前,获取多个行人图像样本及其对应的标准行人图像特征子向量;模型训练单元用于使用所述行人图像样本及其对应的标准行人图像特征子向量对预设的行人再识别模型进行训练,得到预先训练的行人再识别模型。
可选的,模型训练单元具体可以用于将所述行人图像样本输入至预设的行人再识别模型中,得到行人再识别损失函数;根据所述行人图像样本对应的标准行人图像特征子向量和所述行人再识别损失函数,对所述预设的行人再识别模型进行训练;其中,所述行人再识别损失函数包括三元组损失函数和/或行人身份标识识别损失函数。
本申请实施例所提供的行人特征的提取装置可执行本申请任意实施例所提供的行人特征的提取方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5是本申请实施例四提供的一种行人再识别装置,该装置可以由软件和/或硬件的方式实现,并执行如本申请任意实施例所述的行人再识别方法。具体的,该装置包括:图像采集模块510、特征计算模块520和行人确定模块530。
其中,图像采集模块510,用于获取不同摄像头分别采集的第一行人图像以及第二行人图像;
特征计算模块520,用于采用如权利要求1-9任一项所述的方法,分别计算与所述第一行人图像对应的第一行人特征,以及与所述第二行人图像对应的第二行人特征;
行人确定模块530,用于根据所述第一行人特征与所述第二行人特征之间的特征相似度,确定所述第一行人图像与所述第二行人图像是否对应同一行人。
可选的,行人确定模块530具体可以用于,计算所述第一行人特征与所述第二行人特征之间的向量距离;根据所述向量距离,确定所述第一行人图像与所述第二行人图像是否对应同一行人。
本申请实施例所提供的行人再识别装置可执行本申请任意实施例所提供的行人再识别方法,具备执行方法相应的功能模块和有益效果。
实施例六
本申请实施例六提供了一种电子设备和一种可读存储介质。图6是用来实现本申请实施例的行人特征的提取方法或行人再识别方法的电子设备的框图,如图6所示,是根据本申请任一实施例所述的行人特征的提取方法或行人再识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的行人特征的提取方法或行人再识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的行人特征的提取方法或行人再识别方法。
存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请中的行人特征的提取方法或行人再识别方法对应的程序模块(例如,附图4所示的图像获取模块410、图像处理模块420和向量拼接模块430,又如,附图5所示的图像采集模块510、特征计算模块520和行人确定模块530)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的行人特征的提取方法。
也即:获取待处理的行人图像;采用至少两个图像特征尺度,以及至少两个处理粒度对所述行人图像进行处理,得到与所述行人图像对应的至少两个行人图像特征子向量;将所述至少两个行人图像特征子向量进行拼接,得到与所述行人图像对应的行人特征。
或实现上述方法实施例中的行人再识别方法。
也即:获取不同摄像头分别采集的第一行人图像以及第二行人图像;采用如权利要求1-9任一项所述的方法,分别计算与所述第一行人图像对应的第一行人特征,以及与所述第二行人图像对应的第二行人特征;根据所述第一行人特征与所述第二行人特征之间的特征相似度,确定所述第一行人图像与所述第二行人图像是否对应同一行人。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据行人特征的提取或行人再识别的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至行人特征的提取或行人再识别的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
行人特征的提取方法或行人再识别方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息,以及产生与行人特征的提取或行人再识别的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,解决了现有或是特征提取的准确率不高,难以满足实际应用对于精度的要求,或是计算复杂度太高,需要更多更强的算力才能支撑的问题,实现了在提高行人特征提取的准确度和可靠性的同时,降低计算复杂度。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (15)

1.一种行人特征的提取方法,其特征在于,包括:
获取待处理的行人图像;
采用至少两个图像特征尺度,以及至少两个处理粒度对所述行人图像进行处理,得到与所述行人图像对应的至少两个行人图像特征子向量;
将所述至少两个行人图像特征子向量进行拼接,得到与所述行人图像对应的行人特征。
2.根据权利要求1所述的方法,其特征在于,采用至少两个图像特征尺度,和/或至少两个处理粒度,获取与所述行人图像对应的至少两个行人图像特征子向量,包括:
将所述行人图像输入至预先训练的行人再识别模型中,得到与所述行人图像对应的至少两个行人图像特征子向量;
其中,所述行人再识别模型包括至少两个计算分支,不同计算分支对应不同的图像特征尺度,和/或处理粒度。
3.根据权利要求2所述的方法,其特征在于,所述行人再识别模型具体包括:与第一图像特征尺度和第一处理粒度对应的第一计算分支,与第二图像特征尺度和第一处理粒度对应的第二计算分支,以及与第二图像特征尺度和第二处理粒度对应的第三计算分支;
其中,所述第一图像特征尺度大于所述第二图像特征尺度,所述第一处理粒度大于所述第二处理粒度。
4.根据权利要求3所述的方法,其特征在于,将所述行人图像输入至预先训练的行人再识别模型中,得到与所述行人图像对应的至少两个行人图像特征子向量,包括:
将所述行人图像输入至基础神经网络的低层部分,并将输出结果分别输入至所述行人再识别模型的第一计算分支进行处理,以及输入至所述基础神经网络的高层部分;
将所述基础神经网络的高层部分的输出结果分别输入至所述行人再识别模型的第二计算分支和第三计算分支进行处理;
得到所述行人再识别模型的第一计算分支输出的第一行人图像特征子向量、所述行人再识别模型的第二计算分支输出的第二行人图像特征子向量和所述行人再识别模型的第三计算分支输出的第三行人图像特征子向量。
5.根据权利要求4所述的方法,其特征在于,将输出结果输入至所述行人再识别模型的第一计算分支进行处理,包括:
对所述基础神经网络的低层部分的输出结果分别进行第一最大池化操作和第一平均池化操作,得到第一最大池化特征图和第一平均池化特征图;
将所述第一最大池化特征图和第一平均池化特征图进行第一逐像素相加操作,并将相加结果输入至第一卷积层,得到第一行人图像特征子向量。
6.根据权利要求4所述的方法,其特征在于,将所述基础神经网络的高层部分的输出结果输入至所述行人再识别模型的第二计算分支进行处理,包括:
对所述基础神经网络的高层部分的输出结果分别进行第二最大池化操作和第二平均池化操作,得到第二最大池化特征图和第二平均池化特征图;
将所述第二最大池化特征图和第二平均池化特征图进行第二逐像素相加操作,并将相加结果输入至第二卷积层,得到第二行人图像特征子向量。
7.根据权利要求4所述的方法,其特征在于,将所述基础神经网络的高层部分的输出结果输入至所述行人再识别模型的第三计算分支进行处理,包括:
对所述基础神经网络的高层部分的输出结果进行水平分块,得到多个中间特征图块;
对各所述中间特征图块分别进行块内最大池化操作和块内平均池化操作,得到第三最大池化特征图和第三平均池化特征图;
将所述第三最大池化特征图和第三平均池化特征图进行第三逐像素相加操作,并将相加结果输入至第三卷积层,得到第三行人图像特征子向量。
8.根据权利要求2-7任一项所述的方法,其特征在于,在将所述行人图像输入至预先训练的行人再识别模型中,得到与所述行人图像对应的至少两个行人图像特征子向量之前,还包括:
获取多个行人图像样本及其对应的标准行人图像特征子向量;
使用所述行人图像样本及其对应的标准行人图像特征子向量对预设的行人再识别模型进行训练,得到预先训练的行人再识别模型。
9.根据权利要求8所述的方法,其特征在于,使用所述行人图像样本及其对应的标准行人图像特征子向量对预设的行人再识别模型进行训练,包括:
将所述行人图像样本输入至预设的行人再识别模型中,得到行人再识别损失函数;
根据所述行人图像样本对应的标准行人图像特征子向量和所述行人再识别损失函数,对所述预设的行人再识别模型进行训练;
其中,所述行人再识别损失函数包括三元组损失函数和/或行人身份标识识别损失函数。
10.一种行人再识别方法,其特征在于,包括:
获取不同摄像头分别采集的第一行人图像以及第二行人图像;
采用如权利要求1-9任一项所述的方法,分别计算与所述第一行人图像对应的第一行人特征,以及与所述第二行人图像对应的第二行人特征;
根据所述第一行人特征与所述第二行人特征之间的特征相似度,确定所述第一行人图像与所述第二行人图像是否对应同一行人。
11.根据权利要求10所述的方法,其特征在于,根据所述第一行人特征与所述第二行人特征之间的特征相似度,确定所述第一行人图像与所述第二行人图像是否对应同一行人,包括:
计算所述第一行人特征与所述第二行人特征之间的向量距离;
根据所述向量距离,确定所述第一行人图像与所述第二行人图像是否对应同一行人。
12.一种行人特征的提取装置,其特征在于,包括:
图像获取模块,用于获取待处理的行人图像;
图像处理模块,用于采用至少两个图像特征尺度,以及至少两个处理粒度对所述行人图像进行处理,得到与所述行人图像对应的至少两个行人图像特征子向量;
向量拼接模块,用于将所述至少两个行人图像特征子向量进行拼接,得到与所述行人图像对应的行人特征。
13.一种行人再识别装置,其特征在于,包括:
图像采集模块,用于获取不同摄像头分别采集的第一行人图像以及第二行人图像;
特征计算模块,用于采用如权利要求1-9任一项所述的方法,分别计算与所述第一行人图像对应的第一行人特征,以及与所述第二行人图像对应的第二行人特征;
行人确定模块,用于根据所述第一行人特征与所述第二行人特征之间的特征相似度,确定所述第一行人图像与所述第二行人图像是否对应同一行人。
14.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9或10-11中任一项所述的方法。
15.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-9或10-11中任一项所述的方法。
CN201911195366.8A 2019-11-28 2019-11-28 行人特征的提取方法、装置、设备及介质 Active CN110909701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911195366.8A CN110909701B (zh) 2019-11-28 2019-11-28 行人特征的提取方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911195366.8A CN110909701B (zh) 2019-11-28 2019-11-28 行人特征的提取方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN110909701A true CN110909701A (zh) 2020-03-24
CN110909701B CN110909701B (zh) 2023-03-24

Family

ID=69820379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911195366.8A Active CN110909701B (zh) 2019-11-28 2019-11-28 行人特征的提取方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN110909701B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709331A (zh) * 2020-06-03 2020-09-25 江南大学 一种基于多粒度信息交互模型的行人重识别方法
CN111710008A (zh) * 2020-05-29 2020-09-25 北京百度网讯科技有限公司 人流密度的生成方法、装置、电子设备以及存储介质
CN111754439A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质
CN113763310A (zh) * 2020-11-09 2021-12-07 北京沃东天骏信息技术有限公司 用于分割图像的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130343642A1 (en) * 2012-06-21 2013-12-26 Siemens Corporation Machine-learnt person re-identification
CN104376334A (zh) * 2014-11-12 2015-02-25 上海交通大学 一种多尺度特征融合的行人比对方法
CN107657249A (zh) * 2017-10-26 2018-02-02 珠海习悦信息技术有限公司 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN109101914A (zh) * 2018-08-01 2018-12-28 北京飞搜科技有限公司 一种基于多尺度的行人检测方法和装置
CN110378301A (zh) * 2019-07-24 2019-10-25 北京中星微电子有限公司 行人重识别方法及系统
CN110503114A (zh) * 2019-08-29 2019-11-26 中国科学院深圳先进技术研究院 图像特征提取方法、装置、肿瘤识别系统及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130343642A1 (en) * 2012-06-21 2013-12-26 Siemens Corporation Machine-learnt person re-identification
CN104376334A (zh) * 2014-11-12 2015-02-25 上海交通大学 一种多尺度特征融合的行人比对方法
CN107657249A (zh) * 2017-10-26 2018-02-02 珠海习悦信息技术有限公司 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN109101914A (zh) * 2018-08-01 2018-12-28 北京飞搜科技有限公司 一种基于多尺度的行人检测方法和装置
CN110378301A (zh) * 2019-07-24 2019-10-25 北京中星微电子有限公司 行人重识别方法及系统
CN110503114A (zh) * 2019-08-29 2019-11-26 中国科学院深圳先进技术研究院 图像特征提取方法、装置、肿瘤识别系统及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111710008A (zh) * 2020-05-29 2020-09-25 北京百度网讯科技有限公司 人流密度的生成方法、装置、电子设备以及存储介质
CN111709331A (zh) * 2020-06-03 2020-09-25 江南大学 一种基于多粒度信息交互模型的行人重识别方法
CN111754439A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质
CN111754439B (zh) * 2020-06-28 2024-01-12 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质
CN113763310A (zh) * 2020-11-09 2021-12-07 北京沃东天骏信息技术有限公司 用于分割图像的方法和装置

Also Published As

Publication number Publication date
CN110909701B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110909701B (zh) 行人特征的提取方法、装置、设备及介质
CN111259751B (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
CN111722245B (zh) 定位方法、定位装置和电子设备
CN112528850A (zh) 人体识别方法、装置、设备和存储介质
CN111582185B (zh) 用于识别图像的方法和装置
CN111626956B (zh) 图像去模糊方法和装置
CN111723768A (zh) 车辆重识别的方法、装置、设备和存储介质
CN113378770B (zh) 手势识别方法、装置、设备、存储介质
CN113591918B (zh) 图像处理模型的训练方法、图像处理方法、装置和设备
CN111767853A (zh) 车道线检测方法和装置
CN110852321A (zh) 候选框过滤方法、装置以及电子设备
CN111178323A (zh) 基于视频的群体行为识别方法、装置、设备及存储介质
CN111783619B (zh) 人体属性的识别方法、装置、设备及存储介质
CN111539347A (zh) 用于检测目标的方法和装置
CN111291729A (zh) 一种人体姿态估计方法、装置、设备及存储介质
CN112561963A (zh) 目标跟踪的方法、装置、路侧设备以及存储介质
CN112288699A (zh) 图像相对清晰度的评估方法、装置、设备和介质
CN110705438B (zh) 步态识别方法、装置、设备及存储介质
CN112241716A (zh) 训练样本的生成方法和装置
CN112001265A (zh) 视频事件识别方法、装置、电子设备及存储介质
CN116228867A (zh) 位姿确定方法、装置、电子设备、介质
CN111275827A (zh) 基于边缘的增强现实三维跟踪注册方法、装置和电子设备
Nguyen et al. Hand segmentation and fingertip tracking from depth camera images using deep convolutional neural network and multi-task segnet
CN112949467B (zh) 人脸检测方法、装置、电子设备和存储介质
CN112270303A (zh) 图像识别方法、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant