CN110378301B - 行人重识别方法及系统 - Google Patents

行人重识别方法及系统 Download PDF

Info

Publication number
CN110378301B
CN110378301B CN201910672444.2A CN201910672444A CN110378301B CN 110378301 B CN110378301 B CN 110378301B CN 201910672444 A CN201910672444 A CN 201910672444A CN 110378301 B CN110378301 B CN 110378301B
Authority
CN
China
Prior art keywords
pedestrian
lower body
layer
branches
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910672444.2A
Other languages
English (en)
Other versions
CN110378301A (zh
Inventor
张韵东
任丽云
刘小涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vimicro Corp
Original Assignee
Vimicro Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vimicro Corp filed Critical Vimicro Corp
Priority to CN201910672444.2A priority Critical patent/CN110378301B/zh
Publication of CN110378301A publication Critical patent/CN110378301A/zh
Application granted granted Critical
Publication of CN110378301B publication Critical patent/CN110378301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种行人重识别方法及系统，该行人重识别方法包括：通过行人分析网络对输入图像进行行人分析，提取输入图像中的行人的细粒度特征；将细粒度特征与行人重识别网络模型的卷积层输出的输入图像的行人特征融合；根据融合后的行人特征，识别输入图像中的行人。通过将行人分析网络提取的细粒度特征与行人重识别网络提取的行人特征结合，可以提高行人特征的辨识度，提高行人识别的准确率。

Description

行人重识别方法及系统
技术领域
本发明涉及行人重识别技术领域，具体涉及一种行人重识别方法及系统。
背景技术
行人重识别(Person Re-identification，ReID)是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题，即给定一个监控行人图像，检索跨设备下的该行人图像。
现有的行人重识别技术之中，都是将行人分割成不同的块，针对每一个块提取特征，然后进行分类，得到最终的结果，这样可能引入背景信息，并没有达到精确的提取人体的特征。
发明内容
有鉴于此，本发明实施例提供了一种行人重识别方法及系统，能够精确提取图像中的行人特征，增加行人特征的辨识度，提高行人识别的准确率。
根据本发明实施例的第一方面，提供一种行人重识别方法，包括：通过行人分析网络对输入图像进行行人分析，提取输入图像中的行人的细粒度特征；将细粒度特征与行人重识别网络模型的卷积层输出的输入图像的行人特征融合；根据融合后的行人特征，识别输入图像中的行人。
在本发明的一个实施例中，行人重识别网络模型包括多粒度网络模型，多粒度网络模型包括五层卷积神经网络、最大池化层、卷积层和全连接层，其中，五层卷积神经网络的第四层和第五层被划分为三个分支：全局分支、上下身分支和上中下身分支，其中，上述通过行人分析网络对输入图像进行行人分析，提取输入图像中的行人的细粒度特征，包括：通过行人分析网络将输入图像分割成上下身区域和上中下身区域；分别提取上下身区域中每个区域的第一细粒度特征，以及上中下身区域中每个区域的第二细粒度特征，其中，上述将细粒度特征与行人重识别网络模型的卷积层输出的输入图像中的行人特征融合，包括：利用全连接层，将上下身区域中每个区域的第一细粒度特征分别与多粒度网络模型的卷积层输出的上下身分支中对应分支的第一局部特征融合；以及利用全连接层，将上中下身区域中每个区域的第二细粒度特征分别与多粒度网络模型的卷积层输出的上中下身分支中对应分支的第二局部特征融合，其中，上述根据融合后的行人特征，识别输入图像中的行人，包括：将三个分支中每个分支的输出特征进行合并，根据合并后的行人特征，识别输入图像中的行人，其中，合并后的行人特征包括融合后的行人特征。
在本发明的一个实施例中，卷积层包括1×1卷积层，多粒度网络模型的最大池化层输出的2048维行人特征通过1×1卷积层降为256维，其中，上述利用全连接层，将上下身区域中每个区域的第一细粒度特征分别与多粒度网络模型的卷积层输出的上下身分支中对应分支的第一局部特征融合，包括：通过1×1卷积层使第一细粒度特征降为256维；将256维的第一细粒度特征与256维的第一局部特征加权融合，得到融合后的第一局部特征，其中，上述利用全连接层，将上中下身区域中每个区域的第二细粒度特征分别与多粒度网络模型的卷积层输出的上中下身分支中对应分支的第二局部特征融合，包括：通过1×1卷积层使第二细粒度特征降为256维；将256维的第二细粒度特征与256维的第二局部特征加权融合，得到融合后的第二局部特征。
在本发明的一个实施例中，该行人重识别方法还包括：采用三元组损失函数与交叉熵损失函数训练多粒度网络模型。
在本发明的一个实施例中，上述采用三元组损失函数与交叉熵损失函数训练多粒度网络模型，包括：在一个训练回合中，全局分支、上下身分支和上中下身分支的最大池化层输出的2048维全局特征采用三元组损失函数，卷积层输出的256维全局特征采用交叉熵损失函数，上下身分支和上中下身分支的融合后的第一局部特征和第二局部特征采用交叉熵损失函数来训练多粒度网络模型；在另一个训练回合中，全局分支、上下身分支和上中下身分支的最大池化层输出的2048维全局特征与卷积层输出的256维全局特征均采用交叉熵损失函数，上下身分支和上中下身分支的融合后的第一局部特征和第二局部特征均采用交叉熵损失函数来训练多粒度网络模型。
在本发明的一个实施例中，多粒度网络模型以Resnet50为主干，卷积层为降维压缩层，最大池化层包括全局最大池化层。
在本发明的一个实施例中，上述细粒度特征包括人体的衣物部件和/或身体轮廓。
根据本发明实施例的第二方面，提供一种行人重识别系统，包括：提取模块，用于通过行人分析网络对输入图像进行行人分析，提取输入图像中的行人的细粒度特征；融合模块，用于将细粒度特征与行人重识别网络模型的卷积层输出的输入图像的行人特征融合；识别模块，用于根据融合后的行人特征，识别输入图像中的行人。
根据本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，可执行指令被处理器执行时实现如上所述的行人重识别方法。
根据本发明实施例提供的技术方案，通过行人分析网络对输入图像进行行人分析，提取输入图像中的行人的细粒度特征；将细粒度特征与行人重识别网络模型的卷积层输出的输入图像的行人特征融合；根据融合后的行人特征，识别输入图像中的行人。通过将行人分析网络提取的细粒度特征与行人重识别网络提取的行人特征结合，可以提高行人特征的辨识度，提高行人识别的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为本发明一实施例提供的行人重识别方法的流程示意图。
图2所示为本发明一实施例提供的网络框架图。
图3所示为本发明一实施例提供的行人重识别系统的框图。
图4所示为本发明另一实施例提供的行人重识别系统的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1所示为本发明一实施例提供的行人重识别方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图1所示，该方法包括如下内容。
S110：通过行人分析网络对输入图像进行行人分析，提取输入图像中的行人的细粒度特征。
具体地，行人分析网络利用人体解析技术提取图像的细粒度特征，细粒度特征可以包括人体的衣物部件和/或身体轮廓等，本发明对此不作限定。
人体解析是指将在图像中捕获的人分割成多个语义上一致的区域，例如身体部位和衣物。人体解析是一种细粒度的语义分割任务，它比仅是寻找人体轮廓的人物分割更具挑战性。人体解析对于以人为中心的分析非常重要，并且具有许多工业上的应用，例如，虚拟现实，视频监控和人类行为分析等等。
S120：将细粒度特征与行人重识别网络模型的卷积层输出的输入图像的行人特征融合。
将通过行人分析网络提取的细粒度特征与行人重识别网络提取的行人特征结合，可以增加行人特征的辨识度。
应当理解，可以是输入图像的全局细粒度特征与行人重识别网络模型提取的全局行人特征进行融合，也可以是输入图像的局部细粒度特征与行人重识别网络模型提取的对应的局部行人特征进行融合，本发明对此不作限定。行人重识别网络可以基于卷积神经网络，也可以基于多粒度网络，本发明对此不作限定。例如，多粒度网络以Resnet50为主干，卷积层为降维压缩层。
S130：根据融合后的行人特征，识别输入图像中的行人。
根据本发明实施例提供的技术方案，通过行人分析网络对输入图像进行行人分析，提取输入图像中的行人的细粒度特征；将细粒度特征与行人重识别网络模型的卷积层输出的输入图像的行人特征融合；根据融合后的行人特征，识别输入图像中的行人。通过将行人分析网络提取的细粒度特征与行人重识别网络提取的行人特征结合，可以精确地提取图像中的行人特征，提高行人特征的辨识度，提高行人识别的准确率。
在本发明的另一个实施例中，该行人重识别方法还包括：采用三元组损失函数与交叉熵损失函数训练多粒度网络模型。
图2所示为本发明一实施例提供的网络框架图。如图2所示，在本发明的一个实施例中，行人重识别网络模型为多粒度网络模型，多粒度网络模型的主干网络为深度残差网络Resnet50，包括五层卷积神经网络、全局最大池化层、卷积层和全连接层。前三层卷积神经网络是三个分支共享网络，在第四层卷积神经网络将原始的Resnet50划分为三个分支，在第五层卷积神经网络将第二分支的特征图谱从上到下分割成两块，因此将第二分支称为上下身分支；将第三分支的特征图谱从上到下分割为三块，因此将第三分支称为上中下身分支；第一分支不做分割，因此称为全局分支。
分割完成后，通过全局最大池化层对行人特征进行最大池化，得到2048维特征。上下身分支和上中下分支的池化与全局池化不同，例如，上下身分支的两块分别进行池化，以及将两块合在一起再做一次全局池化。
经过全局最大池化层进行池化后，利用卷积层进行降维处理，例如，卷积层为1×1卷积层。经过1×1卷积层将全局最大池化层输出的2048维特征处理成256维特征，从而方便特征计算。将多粒度网络模型的卷积层输出的上下身分支中上身特征和下身特征记为第一局部特征，上中下身分支中上身特征、中身特征和下身特征记为第二局部特征。
相应的，通过行人分析网络将输入图像分割成上下身区域和上中下身区域；分别提取上下身区域中每个区域的第一细粒度特征，以及上中下身区域中每个区域的第二细粒度特征。细粒度特征包括人体的衣物部件和身体轮廓。
利用全连接层(FC)，经过激活函数和批标准化(BN)，将上下身区域中每个区域的第一细粒度特征分别与多粒度网络模型的卷积层输出的上下身分支中对应分支的第一局部特征融合；以及利用全连接层，将上中下身区域中每个区域的第二细粒度特征分别与多粒度网络模型的卷积层输出的上中下身分支中对应分支的第二局部特征融合。
具体地，通过1×1卷积层使第一细粒度特征降为256维；将256维的第一细粒度特征与256维的第一局部特征加权融合，得到融合后的第一局部特征，以及通过1×1卷积层使第二细粒度特征降为256维；将256维的第二细粒度特征与256维的第二局部特征加权融合，得到融合后的第二局部特征。
将三个分支中每个分支的输出特征进行合并，根据合并后的行人特征，识别输入图像中的行人。其中，合并后的行人特征包括全局特征以及融合后的第一局部特征和第二局部特征。
在本发明的实施例中，采用三元组损失函数(Tri)与交叉熵损失函数(cross)训练多粒度网络模型。具体地，在一个训练epoch中，全局分支、上下身分支和上中下身分支的全局最大池化层输出的2048维全局特征采用三元组损失函数，卷积层输出的256维全局特征采用交叉熵损失函数，上下身分支和上中下身分支的融合后的第一局部特征和第二局部特征使用交叉熵损失函数来训练多粒度网络模型；在另一个训练epoch中，全局分支、上下身分支和上中下身分支的全局最大池化层输出的2048维全局特征与卷积层输出的256维全局特征均采用交叉熵损失函数，上下身分支和上中下身分支的融合后的第一局部特征和第二局部特征均采用交叉熵损失函数来训练多粒度网络模型。在一个epoch中全局特征采用交叉熵损失函数，下一个epoch中全局特征采用三元组损失函数和交叉熵损失函数加权的形式，这样可以减轻三元组损失函数对交叉熵损失函数的影响。
根据本发明实施例提供的技术方案，通过将行人分析网络提取的人体的衣物部件和身体轮廓，这些细粒度特征加到多粒度网络中，可以精确地提取图像中的行人特征，提高行人特征的辨识度，提高行人识别的准确率。另外，通过在一个epoch中全局特征采用交叉熵损失函数，下一个epoch中全局特征采用三元组损失函数和交叉熵损失函数加权的形式训练多粒度网络模型，可以减轻三元组损失函数对交叉熵损失函数的影响。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图3所示为本发明一实施例提供的行人重识别系统的框图。如图3所示，该行人重识别系统300包括：
提取模块310，用于通过行人分析网络对输入图像进行行人分析，提取输入图像中的行人的细粒度特征；
融合模块320，用于将细粒度特征与行人重识别网络模型的卷积层输出的输入图像的行人特征融合；
识别模块330，用于根据融合后的行人特征，识别输入图像中的行人。
根据本发明实施例提供的技术方案，通过行人分析网络对输入图像进行行人分析，提取输入图像中的行人的细粒度特征；将细粒度特征与行人重识别网络模型的卷积层输出的输入图像的行人特征融合；根据融合后的行人特征，识别输入图像中的行人。通过将行人分析网络提取的细粒度特征与行人重识别网络提取的行人特征结合，可以精确地提取图像中的行人特征，提高特征的辨识度，提高行人识别的准确率。
在本发明的另一个实施例中，行人重识别网络模型包括多粒度网络模型，多粒度网络模型包括五层卷积神经网络、最大池化层、卷积层和全连接层，五层卷积神经网络的第四层和第五层被划分为三个分支：全局分支、上下身分支和上中下身分支，其中，提取模块310还用于通过行人分析网络将输入图像分割成上下身区域和上中下身区域；分别提取上下身区域中每个区域的第一细粒度特征，以及上中下身区域中每个区域的第二细粒度特征；融合模块320还用于利用全连接层，将上下身区域中每个区域的第一细粒度特征分别与多粒度网络模型的卷积层输出的上下身分支中对应分支的第一局部特征融合，以及利用全连接层，将上中下身区域中每个区域的第二细粒度特征分别与多粒度网络模型的卷积层输出的上中下身分支中对应分支的第二局部特征融合；识别模块330还用于将三个分支中每个分支的输出特征进行合并，根据合并后的行人特征，识别输入图像中的行人，其中，合并后的行人特征包括融合后的行人特征。
在本发明的另一个实施例中，卷积层包括1×1卷积层，多粒度网络模型的最大池化层输出的2048维行人特征通过1×1卷积层降为256维，融合模块320还用于通过1×1卷积层使第一细粒度特征降为256维；将256维的第一细粒度特征与256维的第一局部特征加权融合，得到融合后的第一局部特征，以及通过1×1卷积层使第二细粒度特征降为256维；将256维的第二细粒度特征与256维的第二局部特征加权融合，得到融合后的第二局部特征。
在本发明的另一个实施例中，该行人重识别系统还包括训练模块340，用于采用三元组损失函数与交叉熵损失函数训练多粒度网络模型。
在本发明的另一个实施例中，训练模块340还用于在一个训练回合中，全局分支、上下身分支和上中下身分支的最大池化层输出的2048维全局特征采用三元组损失函数，卷积层输出的256维全局特征使用三元组损失函数，上下身分支和上中下身分支的融合后的第一局部特征和第二局部特征采用交叉熵损失函数来训练多粒度网络模型；在另一个训练回合中，全局分支、上下身分支和上中下身分支的最大池化层输出的2048维全局特征与卷积层输出的256维全局特征均采用交叉熵损失函数，上下身分支和上中下身分支的融合后的第一局部特征和第二局部特征均采用交叉熵损失函数来训练多粒度网络模型。
在本发明的另一个实施例中，多粒度网络模型以Resnet50为主干，卷积层为降维压缩层，最大池化层包括全局最大池化层。
在本发明的另一个实施例中，上述细粒度特征包括人体的衣物部件和/或身体轮廓。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
图4所示为本发明一实施例提供的行人重识别系统400的框图。
参照图4，系统400包括处理组件410，其进一步包括一个或多个处理器，以及由存储器420所代表的存储器资源，用于存储可由处理组件410的执行的指令，例如应用程序。存储器420中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件410被配置为执行指令，以执行上述行人重识别方法。
系统400还可以包括一个电源组件被配置为执行系统400的电源管理，一个有线或无线网络接口被配置为将系统400连接到网络，和一个输入输出(I/O)接口。系统400可以操作基于存储在存储器420的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述系统400的处理器执行时，使得上述系统400能够执行一种行人重识别方法，包括：通过行人分析网络对输入图像进行行人分析，提取输入图像中的行人的细粒度特征；将细粒度特征与行人重识别网络模型的卷积层输出的输入图像的行人特征融合；根据融合后的行人特征，识别输入图像中的行人。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。
另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。
应当理解，本发明实施例中提到的第一、第二等限定词，仅仅为了更清楚地描述本发明实施例的技术方案使用，并不能用以限制本发明的保护范围。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种行人重识别方法，其特征在于，包括：
通过行人分析网络对输入图像进行行人分析，提取所述输入图像中的行人的细粒度特征；其中，所述细粒度特征包括人体的衣物部件和/或身体轮廓；
将所述细粒度特征与行人重识别网络模型的卷积层输出的所述输入图像的行人特征融合；其中，所述行人重识别网络模型包括多粒度网络模型，所述多粒度网络模型包括五层卷积神经网络、最大池化层、所述卷积层和全连接层，其中，所述五层卷积神经网络的第四层和第五层被划分为三个分支：全局分支、上下身分支和上中下身分支；
根据融合后的行人特征，识别所述输入图像中的行人；
其中，所述通过行人分析网络对输入图像进行行人分析，提取所述输入图像中的行人的细粒度特征，包括：通过所述行人分析网络将所述输入图像分割成上下身区域和上中下身区域，分别提取所述上下身区域中每个区域的第一细粒度特征，以及所述上中下身区域中每个区域的第二细粒度特征；
所述将所述细粒度特征与行人重识别网络模型的卷积层输出的所述输入图像中的行人特征融合，包括：利用所述全连接层，将所述上下身区域中每个区域的所述第一细粒度特征分别与所述多粒度网络模型的所述卷积层输出的所述上下身分支中对应分支的第一局部特征融合；以及利用所述全连接层，将所述上中下身区域中每个区域的所述第二细粒度特征分别与所述多粒度网络模型的所述卷积层输出的所述上中下身分支中对应分支的第二局部特征融合；
所述根据融合后的行人特征，识别所述输入图像中的行人，包括：将所述三个分支中每个分支的输出特征进行合并，根据合并后的行人特征，识别输入图像中的行人，其中，所述合并后的行人特征包括所述融合后的行人特征。
2.如权利要求1所述的行人重识别方法，其特征在于，所述卷积层包括1×1卷积层，所述多粒度网络模型的所述最大池化层输出的2048维行人特征通过所述1×1卷积层降为256维，其中，所述利用所述全连接层，将所述上下身区域中每个区域的所述第一细粒度特征分别与所述多粒度网络模型的所述卷积层输出的所述上下身分支中对应分支的第一局部特征融合，包括：
通过所述1×1卷积层使所述第一细粒度特征降为256维；
将256维的所述第一细粒度特征与256维的第一局部特征加权融合，得到融合后的第一局部特征，
其中，所述利用所述全连接层，将所述上中下身区域中每个区域的所述第二细粒度特征分别与所述多粒度网络模型的所述卷积层输出的所述上中下身分支中对应分支的第二局部特征融合，包括：
通过所述1×1卷积层使所述第二细粒度特征降为256维；
将256维的所述第二细粒度特征与256维的第二局部特征加权融合，得到融合后的第二局部特征。
3.如权利要求2所述的行人重识别方法，其特征在于，还包括：采用三元组损失函数与交叉熵损失函数训练所述多粒度网络模型。
4.如权利要求3所述的行人重识别方法，其特征在于，所述采用三元组损失函数与交叉熵损失函数训练所述多粒度网络模型，包括：
在一个训练回合中，所述全局分支、所述上下身分支和所述上中下身分支的最大池化层输出的2048维全局特征采用三元组损失函数，卷积层输出的256维全局特征采用交叉熵损失函数，所述上下身分支和所述上中下身分支的融合后的所述第一局部特征和所述第二局部特征采用所述交叉熵损失函数来训练所述多粒度网络模型；
在另一个训练回合中，所述全局分支、所述上下身分支和所述上中下身分支的最大池化层输出的2048维全局特征与卷积层输出的256维全局特征均采用交叉熵损失函数，所述上下身分支和所述上中下身分支的融合后的所述第一局部特征和所述第二局部特征均采用所述交叉熵损失函数来训练所述多粒度网络模型。
5.如权利要求1所述的行人重识别方法，其特征在于，所述多粒度网络模型以Resnet50为主干，所述卷积层为降维压缩层，所述最大池化层包括全局最大池化层。
6.一种行人重识别系统，其特征在于，包括：
提取模块，用于通过行人分析网络对输入图像进行行人分析，提取所述输入图像中的行人的细粒度特征；其中，所述细粒度特征包括人体的衣物部件和/或身体轮廓；
融合模块，用于将所述细粒度特征与行人重识别网络模型的卷积层输出的所述输入图像的行人特征融合；其中，所述行人重识别网络模型包括多粒度网络模型，所述多粒度网络模型包括五层卷积神经网络、最大池化层、所述卷积层和全连接层，其中，所述五层卷积神经网络的第四层和第五层被划分为三个分支：全局分支、上下身分支和上中下身分支；
识别模块，用于根据融合后的行人特征，识别所述输入图像中的行人；
其中，所述提取模块用于：通过所述行人分析网络将所述输入图像分割成上下身区域和上中下身区域，分别提取所述上下身区域中每个区域的第一细粒度特征，以及所述上中下身区域中每个区域的第二细粒度特征；
所述融合模块用于：利用所述全连接层，将所述上下身区域中每个区域的所述第一细粒度特征分别与所述多粒度网络模型的所述卷积层输出的所述上下身分支中对应分支的第一局部特征融合；以及利用所述全连接层，将所述上中下身区域中每个区域的所述第二细粒度特征分别与所述多粒度网络模型的所述卷积层输出的所述上中下身分支中对应分支的第二局部特征融合；
所述识别模块用于：将所述三个分支中每个分支的输出特征进行合并，根据合并后的行人特征，识别输入图像中的行人，其中，所述合并后的行人特征包括所述融合后的行人特征。
7.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1至5中任一项所述的行人重识别方法。
CN201910672444.2A 2019-07-24 2019-07-24 行人重识别方法及系统 Active CN110378301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910672444.2A CN110378301B (zh) 2019-07-24 2019-07-24 行人重识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910672444.2A CN110378301B (zh) 2019-07-24 2019-07-24 行人重识别方法及系统

Publications (2)

Publication Number Publication Date
CN110378301A CN110378301A (zh) 2019-10-25
CN110378301B true CN110378301B (zh) 2024-01-19

Family

ID=68255643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910672444.2A Active CN110378301B (zh) 2019-07-24 2019-07-24 行人重识别方法及系统

Country Status (1)

Country Link
CN (1) CN110378301B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909701B (zh) * 2019-11-28 2023-03-24 北京百度网讯科技有限公司 行人特征的提取方法、装置、设备及介质
CN111191587B (zh) * 2019-12-30 2021-04-09 兰州交通大学 一种行人重识别方法及系统
CN111291640B (zh) * 2020-01-20 2023-02-17 北京百度网讯科技有限公司 用于识别步态的方法和装置
CN111414815B (zh) * 2020-03-04 2023-11-14 清华大学深圳国际研究生院 行人重识别网络搜索方法及行人重识别方法
CN111709331B (zh) * 2020-06-03 2023-06-09 江南大学 一种基于多粒度信息交互模型的行人重识别方法
CN111814857B (zh) * 2020-06-29 2021-07-06 浙江大华技术股份有限公司 目标重识别方法及其网络训练方法、相关装置
CN112528059A (zh) * 2021-02-08 2021-03-19 南京理工大学 基于深度学习的交通目标图像检索方法、装置及可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229444A (zh) * 2018-02-09 2018-06-29 天津师范大学 一种基于整体和局部深度特征融合的行人再识别方法
CN108764065A (zh) * 2018-05-04 2018-11-06 华中科技大学 一种行人重识别特征融合辅助学习的方法
CN109614925A (zh) * 2017-12-07 2019-04-12 深圳市商汤科技有限公司 服饰属性识别方法和装置、电子设备、存储介质
CN109635636A (zh) * 2018-10-30 2019-04-16 国家新闻出版广电总局广播科学研究院 基于属性特征和加权的分块特征相融合的行人再识别方法
CN109784258A (zh) * 2019-01-08 2019-05-21 华南理工大学 一种基于多尺度特征切割与融合的行人重识别方法
CN110046553A (zh) * 2019-03-21 2019-07-23 华中科技大学 一种融合属性特征的行人重识别模型、方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536293B2 (en) * 2014-07-30 2017-01-03 Adobe Systems Incorporated Image assessment using deep convolutional neural networks

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614925A (zh) * 2017-12-07 2019-04-12 深圳市商汤科技有限公司 服饰属性识别方法和装置、电子设备、存储介质
CN108229444A (zh) * 2018-02-09 2018-06-29 天津师范大学 一种基于整体和局部深度特征融合的行人再识别方法
CN108764065A (zh) * 2018-05-04 2018-11-06 华中科技大学 一种行人重识别特征融合辅助学习的方法
CN109635636A (zh) * 2018-10-30 2019-04-16 国家新闻出版广电总局广播科学研究院 基于属性特征和加权的分块特征相融合的行人再识别方法
CN109784258A (zh) * 2019-01-08 2019-05-21 华南理工大学 一种基于多尺度特征切割与融合的行人重识别方法
CN110046553A (zh) * 2019-03-21 2019-07-23 华中科技大学 一种融合属性特征的行人重识别模型、方法及系统

Also Published As

Publication number Publication date
CN110378301A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110378301B (zh) 行人重识别方法及系统
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
US10984225B1 (en) Masked face recognition
CN111104841B (zh) 暴力行为检测方法及系统
CN111680672B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN109190470B (zh) 行人重识别方法及装置
CN105631466B (zh) 图像分类的方法及装置
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
CN109034086B (zh) 车辆重识别方法、装置及系统
KR102592551B1 (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN112801054B (zh) 人脸识别模型的处理方法、人脸识别方法及装置
CN106372603A (zh) 遮挡人脸识别方法及装置
CN110874574A (zh) 行人重识别方法、装置、计算机设备及可读存储介质
CN111401196A (zh) 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质
CN114519877A (zh) 人脸识别方法、人脸识别装置、计算机设备及存储介质
CN111160251B (zh) 一种活体识别方法及装置
CN116721315B (zh) 活体检测模型的训练方法、装置、介质及电子设备
Eid et al. Development of Iris Security System Using Adaptive Quality-Based Template Fusion
CN111428612B (zh) 行人重识别方法、终端、装置及存储介质
Lohith et al. Multimodal biometric person authentication using face, ear and periocular region based on convolution neural networks
Yun et al. Hybrid facial representations for emotion recognition
CN115205943A (zh) 图像处理方法、装置、电子设备及存储介质
CN113762249A (zh) 图像攻击检测、图像攻击检测模型训练方法和装置
CN113128505A (zh) 局部可视对抗样本的检测方法、装置、设备和存储介质
CN115631509B (zh) 一种行人再识别方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant