CN107766791A - 一种基于全局特征和粗粒度局部特征的行人再识别方法及装置 - Google Patents

一种基于全局特征和粗粒度局部特征的行人再识别方法及装置 Download PDF

Info

Publication number
CN107766791A
CN107766791A CN201710794402.7A CN201710794402A CN107766791A CN 107766791 A CN107766791 A CN 107766791A CN 201710794402 A CN201710794402 A CN 201710794402A CN 107766791 A CN107766791 A CN 107766791A
Authority
CN
China
Prior art keywords
image
pedestrian
module
local feature
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710794402.7A
Other languages
English (en)
Inventor
张史梁
田奇
高文
魏龙辉
姚涵涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201710794402.7A priority Critical patent/CN107766791A/zh
Publication of CN107766791A publication Critical patent/CN107766791A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于全局特征和粗粒度局部特征的行人再识别方法及装置，属于图像处理和身份识别领域。所述方法包括：检测查询图像中的行人图像作为全局图像，检测行人的人体关键点并划分行人的人体得到局部部件区域；提取全局图像的全局特征描述及局部部件区域的局部特征描述，并将其融合得到全局‑局部特征描述；对行人数据库中的各图像进行关联分析和组合索引后，根据全局‑局部特征描述对其进行由粗粒度到细粒度的行人检索，并确定查询图像中行人的身份。本发明中，通过对图像中的人体进行粗粒度划分，具有更好的鲁棒性，同时将全局特征和区域局部特征进行融合，在保证较低的计算复杂度的前提下，实现了行人图像的准确匹配和行人身份识别。

Description

一种基于全局特征和粗粒度局部特征的行人再识别方法及 装置
技术领域
本发明涉及图像处理和身份识别领域，尤其涉及一种基于全局特征和粗粒度局部特征的行人再识别方法及装置。
背景技术
随着信息技术的发展，一些新概念走入了人们的生活，例如大数据，据官方统计，在现有大数据中，图像数据占据了主要部分并蕴含着大量的信息，其重要作用之一即用于身份识别。而现有的基于图像的身份识别技术中，通常需要对图像进行细粒度的分析和检索，并进行复杂的运算后实现身份的识别；然而对于行人的图像，通常会因为遮挡、拍摄角度变化、人类姿态的各异、照明等因素的影响，为基于行人的图像进行行人身份识别带来巨大挑战。
发明内容
为解决现有技术的不足，本发明提供一种基于全局特征和粗粒度局部特征的行人再识别方法及装置。
一方面，本发明提供一种基于全局特征和粗粒度局部特征的行人再识别方法，包括：
步骤S1：检测查询图像中的行人图像，将所述行人图像作为全局图像，并检测所述行人的人体关键点，根据所述人体关键点划分所述行人的人体得到局部部件区域；
步骤S2：提取所述全局图像的全局特征描述及所述局部部件区域的局部特征描述，将所述全局特征描述和所述局部特征描述融合得到全局-局部特征描述；
步骤S3：对行人数据库中的各图像进行关联分析和组合索引后，根据所述全局-局部特征描述对其进行由粗粒度到细粒度的行人检索，并确定所述查询图像中行人的身份。
可选地，所述步骤S1中，所述检测所述行人的人体关键点，根据所述人体关键点划分所述行人的人体得到局部部件区域，具体包括：
步骤A1：将所述查询图像输入至第一神经网络层中，在所述第一神经网络层中检测出所述行人的头、颈、左臀、右臀关键点；
步骤A2：根据所述头、颈、左臀、右臀关键点粗略的将所述行人的人体划分为头部区域、上体区域和下体区域，并将所述头部区域、上体区域和下体区域作为局部部件区域；
步骤A3：对所述局部部件区域进行符号表示。
可选地，所述步骤S2，具体为：
将所述全局图像及所述局部部件区域输入至第二神经网络层中，在所述第二神经网络层中提取所述全局图像的全局特征描述及所述局部部件区域的局部特征描述，将所述全局特征描述和所述局部特征描述进行融合得到全局-局部特征描述；
所述全局-局部特征描述表示为：fGLAD＝[fG；fh；fub；flb]，其中，fG为所述全局特征描述，fh为头部特征描述，fub为上体特征描述，flb为下体特征描述。
可选地，所述步骤S3，具体包括：
步骤S3-1：对行人数据库中的各图像进行线下关联分析得到多个图像组，并生成对应的多个组描述符及各图像组中各图像的图像索引；
步骤S3-2：根据所述全局-局部特征描述和所述多个组描述符，在对应的所述多个图像组中进行线上粗粒度检索得到与所述查询图像最相似的预设数量的图像组；
步骤S3-3：分别根据所述预设数量的图像组中各图像的图像索引在所述行人数据库中查找到对应的各图像描述符，根据所述全局-局部特征描述和所述各图像描述符，对所述预设数量的图像组中的各图像进行排序得到与所述查询图像最相似的图像；
步骤S3-4：将所述最相似的图像中人物的身份作为所述查询图像中行人的身份。
可选地，所述步骤S3-3中，所述根据所述全局-局部特征描述和所述各图像描述符，对所述预设数量的图像组中的各图像进行排序得到与所述查询图像最相似的图像，具体为：
根据所述全局-局部特征描述和所述各图像描述符，计算所述查询图像与所述预设数量的图像组中各图像之间的欧氏距离，根据所述欧式距离对所述预设数量的图像组中的各图像进行排序得到与所述查询图像最相似的图像。
另一方面，本发明提供一种基于全局特征和粗粒度局部特征的行人再识别装置，包括：
第一检测模块，用于检测查询图像中的行人图像，将所述行人图像作为全局图像；
第二检测模块，用于检测所述行人的人体关键点，根据所述人体关键点划分所述行人的人体得到局部部件区域；
提取模块，用于提取所述第一检测模块得到的全局图像的全局特征描述，及所述第二检测模块得到的局部部件区域的局部特征描述；
融合模块，用于将所述提取模块提取的全局特征描述和局部特征描述进行融合得到全局-局部特征描述；
关联组合模块，用于对行人数据库中的各图像进行关联分析和组合索引；
检索模块，用于在所述关联组合模块对行人数据库中的各图像进行关联分析和组合索引后，根据所述融合模块得到的全局-局部特征描述对其进行由粗粒度到细粒度的行人检索；
识别模块，用于根据所述检索模块的检索结果，确定所述查询图像中行人的身份。
可选地，所述第二检测模块，包括：检测子模块、划分子模块、符号化子模块；
所述检测子模块，用于将所述查询图像输入至第一神经网络层中，在所述第一神经网络层中检测出所述行人的头、颈、左臀、右臀关键点；
所述划分子模块，用于根据所述检测子模块检测的头、颈、左臀、右臀关键点粗略的将所述行人的人体划分为头部区域、上体区域和下体区域，并将所述头部区域、上体区域和下体区域作为局部部件区域；
所述符号化子模块，用于对所述划分子模块得到的局部部件区域进行符号表示。
可选地，所述提取模块，具体用于：将所述全局图像及所述局部部件区域输入至第二神经网络层中，在所述第二神经网络层中提取所述全局图像的全局特征描述及所述局部部件区域的局部特征描述；
所述融合模块，具体用于：在所述第二神经网络层中将所述提取模块提取的全局特征描述和局部特征描述进行融合得到全局-局部特征描述；
所述全局-局部特征描述表示为：fGLAD＝[fG；fh；fub；flb]，其中，fG为所述全局特征描述，fh为头部特征描述，fub为上体特征描述，flb为下体特征描述。
可选地，所述检索模块，具体包括：线上检索子模块、查找子模块和排序子模块；
所述关联组合模块，具体用于：对行人数据库中的各图像进行线下关联分析得到多个图像组，并生成对应的多个组描述符及各图像组中各图像的图像索引；
所述线上检索子模块，用于根据所述融合模块得到的全局-局部比对符和所述关联组合模块生成的多个组描述符，在对应的所述多个图像组中进行线上粗粒度检索得到与所述查询图像最相似的预设数量的图像组；
所述查找子模块，用于根据所述预设数量的图像组中各图像的图像索引在所述行人数据库中查找到对应的各图像描述符；
所述排序子模块，用于根据所述融合模块得到的全局-局部比对符和所述查找子模块查找的各图像描述符，对所述预设数量的图像组中的各图像进行排序得到与所述查询图像最相似的图像；
所述识别模块，具体用于：将所述排序子模块得到的最相似的图像中人物的身份作为所述查询图像中行人的身份。
可选地，所述排序子模块，具体用于：根据所述融合模块得到的全局-局部比对符和所述查找子模块查找的各图像描述符，计算所述查询图像与所述预设数量的图像组中各图像之间的欧氏距离，根据所述欧式距离对所述预设数量的图像组中的各图像进行排序得到与所述查询图像最相似的图像。
本发明的优点在于：
一方面，本发明中通过对图像中的人体进行粗粒度的划分，比现有的基于细粒度的人体划分具有更好的鲁棒性和更低的计算复杂度；另一方面，本发明中的方法，对行人数据库中的图像首先进行线下分析组合，显著提升了在线识别的效率；最后，本发明中将全局特征和局部特征进行融合，在保证较低的计算复杂度的前提下，实现了行人图像的准确匹配与行人身份识别。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
附图1为本发明实施例一提供的一种基于全局特征和粗粒度局部特征的行人再识别方法流程图；
附图2为本发明实施例二提供的一种基于全局特征和粗粒度局部特征的行人再识别装置框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明中的行人再识别方法及系统具有较低的计算复杂度，能够有效的处理和索引大规模的行人图库；进一步地，其可以服务于视频监控、安保等领域，应用于行人搜索，跨摄像头行人检测等实际系统中，提升监控视频数据处理与使用的效率；本发明中的方法及装置，还可用于大型公共场所或者智慧城市的目标人追踪应用，例如，给定一张特定行人的图片，该方法可以在海量监控视频数据及图像中自动寻找和匹配该行人，进而推断出该行人的出行路线和规律等信息。以下对本发明中的行人再识别方法及装置进行进一步的说明。
实施例一
根据本发明的实施方式，提供一种基于全局特征和粗粒度局部特征的行人再识别方法，如图1所示，包括：
步骤101：检测查询图像中的行人图像，将检测的行人图像作为全局图像，并检测行人的人体关键点，根据人体关键点划分行人的人体得到局部部件区域；
步骤102：提取全局图像的全局特征描述及局部部件区域的局部特征描述，将提取的全局特征描述和局部特征描述融合得到全局-局部特征描述；
步骤103：对行人数据库中的各图像进行关联分析和组合索引后，根据全局-局部特征描述对其进行由粗粒度到细粒度的行人检索，并确定查询图像中行人的身份。
根据本发明的实施方式，步骤101中，检测行人的人体关键点，根据人体关键点划分行人的人体得到局部部件区域，具体包括：
步骤A1：将查询图像输入至第一神经网络层中，在第一神经网络层中检测出行人的头、颈、左臀、右臀关键点；
步骤A2：根据检测的头、颈、左臀、右臀关键点粗略的将行人的人体划分为头部区域、上体区域和下体区域，并将所述头部区域、上体区域和下体区域作为局部部件区域；
步骤A3：对局部部件区域进行符号表示。
其中，第一神经网络层，具体为：关键点提取网络层。
在本实施例中，设定查询图像的大小为H*W，头关键点的坐标为(x1，y1)，颈关键点的坐标为(x2，y2)，左臀关键点的坐标为(x3，y3)，右臀关键点的坐标为(x4，y4)，对应地，步骤A3具体为：
将头部区域表示为Bh＝[(xc-p/2，y1-α)，(xc+p/2，y2+α)]；
将上体区域表示为Bub＝[(0，y2-2*α)，(W-1，yc+2*α)]；
将下体区域表示为B1b＝[(0，yc-2*α)，(W-1，H-1)]；
其中，p＝y2-y1+2*α，xc＝(x1+x2)/2，yc＝(y3+y4)/2，α为控制相邻的重叠区域的参数，依实际情况而定。
例如，在本实施例中，对于一个大小为512*256的图像，α设置为15。
在本实施例中，由于查询图像是在行人不受约束的环境下拍摄的，因而容易受到遮挡、拍摄视角改变及行人自身姿态改变等因素的影响，使得进行细粒度的分析变得困难；本发明中，通过具有鲁棒性的头、颈、左臀、右臀关键点粗粒度的将行人的人体划分为头部区域、上体区域和下体区域，不仅具有鲁棒性，而且降低了分析过程中计算的复杂度。
根据本发明的实施方式，步骤102，具体为：
将全局图像及局部部件区域输入至第二神经网络层中，在所述第二神经网络层中提取所述全局图像的全局特征描述及所述局部部件区域的局部特征描述，将所述全局特征描述和所述局部特征描述进行融合得到全局-局部特征描述；
其中，全局-局部特征描述表示为：fGLAb＝[fG；fh；fub；flb]，其中，fG为所述全局特征描述，fh为头部特征描述，fub为上体特征描述，flb为下体特征描述。
在本实施例中，第二神经网络层，具体为：特征提取网络层。
根据本发明的实施方式，步骤103，具体包括：
步骤103-1：对行人数据库中的各图像进行线下关联分析得到多个图像组，并生成对应的多个组描述符及各图像组中各图像的图像索引；
步骤103-2：根据全局-局部特征描述和生成的多个组描述符，在对应的多个图像组中进行线上粗粒度检索得到与查询图像最相似的预设数量的图像组；
步骤103-3：分别根据得到的预设数量的图像组中各图像的图像索引在行人数据库中查找到对应的各图像描述符，根据全局-局部特征描述和查找到的各图像描述符，对预设数量的图像组中的各图像进行排序得到与查询图像最相似的图像；
步骤103-4：将得到的最相似的图像中人物的身份作为查询图像中行人的身份。
其中，步骤103-3中，根据全局-局部特征描述和查找到的各图像描述符，对预设数量的图像组中的各图像进行排序得到与查询图像最相似的图像，具体为：
根据全局-局部特征描述和查找到的各图像描述符，计算查询图像与预设数量的图像组中各图像之间的欧氏距离，根据欧式距离对预设数量的图像组中的各图像进行排序得到与查询图像最相似的图像。
更加具体地，在本实施例中，将预设数量的图像组表示为{(g1，l1)，(g2，l2)…(gN，lN)}，其中gi和li分别为预设数量的图像组中的第i张图像和对应的图像描述符；将预设数量的图像组中的各图像进行所有可能的排序并表示为{r1，r2…rN}，其中ri为预设数量的图像组中第i张图像的排序索引，并在所有可能的排序中选择满足的排序作为最终排序，将最终排序中的第一张图像作为最相似图像，其中，lp为查询图像的图像描述符。
进一步地，在本实施例中，通过线下关联分析及线上粗粒度检索对行人数据库中的图像进行双重聚类，使得得到的预设数量的图像组中图像之间的不相似度小于预设阈值，其保证了得到的预设数量的图像组中图像之间的高相似度；本实施例中，用以下表达式来衡量各图像组中图像之间的不相似度：
其中，N是图像组中图像的数量，gi和gj为图像组中的任意两个图像，dis(gi，gj)为图像gi和gj的欧式距离。
其中，根据图像各点的坐标或者向量计算欧式距离的过程与现有的计算欧式距离的过程相同，在本发明中不再赘述。
实施例二
根据本发明的实施方式，提供一种基于全局特征和粗粒度局部特征的行人再识别装置，如图2所示，包括：
第一检测模块201，用于检测查询图像中的行人图像，将检测到的行人图像作为全局图像；
第二检测模块202，用于检测查询图像中行人的人体关键点，根据人体关键点划分行人的人体得到局部部件区域；
提取模块203，用于提取第一检测模块201得到的全局图像的全局特征描述，及第二检测模块202得到的局部部件区域的局部特征描述；
融合模块204，用于将提取模块203提取的全局特征描述和局部特征描述进行融合得到全局-局部特征描述；
关联组合模块205，用于对行人数据库中的各图像进行关联分析和组合索引；
检索模块206，用于在关联组合模块205对行人数据库中的各图像进行关联分析和组合索引后，根据融合模块204得到的全局-局部特征描述对其进行由粗粒度到细粒度的行人检索；
识别模块207，用于根据检索模块206的检索结果，确定查询图像中行人的身份。
根据本发明的实施方式，第二检测模块202，包括：检测子模块、划分子模块、符号化子模块；
其中，检测子模块，用于将查询图像输入至第一神经网络层中，在第一神经网络层中检测出行人的头、颈、左臀、右臀关键点；
划分子模块，用于根据检测子模块检测的头、颈、左臀、右臀关键点粗略的将行人的人体划分为头部区域、上体区域和下体区域，并将所述头部区域、上体区域和下体区域作为局部部件区域；
符号化子模块，用于对划分子模块得到的局部部件区域进行符号表示。
根据本发明的实施方式，提取模块203，具体用于：将全局图像及局部部件区域输入至第二神经网络层中，在第二神经网络层中提取全局图像的全局特征描述及局部部件区域的局部特征描述；
对应地，融合模块204，具体用于：在第二神经网络层中将提取模块203提取的全局特征描述和局部特征描述进行融合得到全局-局部特征描述；
其中，全局-局部特征描述表示为：fGLAD＝[fG；fh；fub；flb]，其中，fG为全局特征描述，fh为头部特征描述，fub为上体特征描述，flb为下体特征描述。
根据本发明的实施方式，检索模块206，具体包括：线上检索子模块、查找子模块和排序子模块；
关联组合模块205，具体用于：对行人数据库中的各图像进行线下关联分析得到多个图像组，并生成对应的多个组描述符及各图像组中各图像的图像索引；
对应地，线上检索子模块，用于根据融合模块204得到的全局-局部比对符和关联组合模块205生成的多个组描述符，在对应的多个图像组中进行线上粗粒度检索得到与查询图像最相似的预设数量的图像组；
查找子模块，用于根据预设数量的图像组中各图像的图像索引在行人数据库中查找到对应的各图像描述符；
排序子模块，用于根据融合模块204得到的全局-局部比对符和查找子模块查找的各图像描述符，对预设数量的图像组中的各图像进行排序得到与查询图像最相似的图像；
识别模块207，具体用于：将排序子模块得到的最相似的图像中人物的身份作为查询图像中行人的身份。
根据本发明的实施方式，排序子模块，具体用于：根据融合模块204得到的全局-局部比对符和查找子模块查找的各图像描述符，计算查询图像与预设数量的图像组中各图像之间的欧氏距离，根据欧式距离对预设数量的图像组中的各图像进行排序得到与查询图像最相似的图像。
本发明中，在保证较低计算复杂度的前提下实现了行人图像的准确匹配与识别；首先，通过检测人体关键点来划分人体部件区域，与仅基于全局特征的检测技术相比可以更好的克服检测误差；其次，为克服人体姿态变化大、行人图像分辨率低、行人易被遮挡等问题的影响，本发明仅检测四个鲁棒性最好的关键点(头、颈、左臀和右臀)，并基于四个关键点将人体划分为三个粗粒度部件区域，而该粗粒度划分方法比现有的细粒度划分方法具有更好的鲁棒性和更低的计算复杂度；再次，本发明中将行人数据库中的各行人图像进行了离线关联分析和组合索引操作，在不降低准确率的前提下显著提升在线行人识别效率。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于全局特征和粗粒度局部特征的行人再识别方法，其特征在于，包括：
步骤S1：检测查询图像中的行人图像，将所述行人图像作为全局图像，并检测所述行人的人体关键点，根据所述人体关键点划分所述行人的人体得到局部部件区域；
步骤S2：提取所述全局图像的全局特征描述及所述局部部件区域的局部特征描述，将所述全局特征描述和所述局部特征描述融合得到全局-局部特征描述；
步骤S3：对行人数据库中的各图像进行关联分析和组合索引后，根据所述全局-局部特征描述对其进行由粗粒度到细粒度的行人检索，并确定所述查询图像中行人的身份。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1中，所述检测所述行人的人体关键点，根据所述人体关键点划分所述行人的人体得到局部部件区域，具体包括：
步骤A1：将所述查询图像输入至第一神经网络层中，在所述第一神经网络层中检测出所述行人的头、颈、左臀、右臀关键点；
步骤A2：根据所述头、颈、左臀、右臀关键点粗略的将所述行人的人体划分为头部区域、上体区域和下体区域，并将所述头部区域、上体区域和下体区域作为局部部件区域；
步骤A3：对所述局部部件区域进行符号表示。
3.根据权利要求2所述的方法，其特征在于，所述步骤S2，具体为：
将所述全局图像及所述局部部件区域输入至第二神经网络层中，在所述第二神经网络层中提取所述全局图像的全局特征描述及所述局部部件区域的局部特征描述，将所述全局特征描述和所述局部特征描述进行融合得到全局-局部特征描述；
所述全局-局部特征描述表示为：fGLAD＝[fG；fh；fub；flb]，其中，fG为所述全局特征描述，fh为头部特征描述，fub为上体特征描述，flb为下体特征描述。
4.根据权利要求3所述的方法，其特征在于，所述步骤S3，具体包括：
步骤S3-1：对行人数据库中的各图像进行线下关联分析得到多个图像组，并生成对应的多个组描述符及各图像组中各图像的图像索引；
步骤S3-2：根据所述全局-局部特征描述和所述多个组描述符，在对应的所述多个图像组中进行线上粗粒度检索得到与所述查询图像最相似的预设数量的图像组；
步骤S3-3：分别根据所述预设数量的图像组中各图像的图像索引在所述行人数据库中查找到对应的各图像描述符，根据所述全局-局部特征描述和所述各图像描述符，对所述预设数量的图像组中的各图像进行排序得到与所述查询图像最相似的图像；
步骤S3-4：将所述最相似的图像中人物的身份作为所述查询图像中行人的身份。
5.根据权利要求4所述的方法，其特征在于，所述步骤S3-3中，所述根据所述全局-局部特征描述和所述各图像描述符，对所述预设数量的图像组中的各图像进行排序得到与所述查询图像最相似的图像，具体为：
根据所述全局-局部特征描述和所述各图像描述符，计算所述查询图像与所述预设数量的图像组中各图像之间的欧氏距离，根据所述欧式距离对所述预设数量的图像组中的各图像进行排序得到与所述查询图像最相似的图像。
6.一种基于全局特征和粗粒度局部特征的行人再识别装置，其特征在于，包括：
第一检测模块，用于检测查询图像中的行人图像，将所述行人图像作为全局图像；
第二检测模块，用于检测所述行人的人体关键点，根据所述人体关键点划分所述行人的人体得到局部部件区域；
提取模块，用于提取所述第一检测模块得到的全局图像的全局特征描述，及所述第二检测模块得到的局部部件区域的局部特征描述；
融合模块，用于将所述提取模块提取的全局特征描述和局部特征描述进行融合得到全局-局部特征描述；
关联组合模块，用于对行人数据库中的各图像进行关联分析和组合索引；
检索模块，用于在所述关联组合模块对行人数据库中的各图像进行关联分析和组合索引后，根据所述融合模块得到的全局-局部特征描述对其进行由粗粒度到细粒度的行人检索；
识别模块，用于根据所述检索模块的检索结果，确定所述查询图像中行人的身份。
7.根据权利要求6所述的方法，其特征在于，所述第二检测模块，包括：检测子模块、划分子模块、符号化子模块；
所述检测子模块，用于将所述查询图像输入至第一神经网络层中，在所述第一神经网络层中检测出所述行人的头、颈、左臀、右臀关键点；
所述划分子模块，用于根据所述检测子模块检测的头、颈、左臀、右臀关键点粗略的将所述行人的人体划分为头部区域、上体区域和下体区域，并将所述头部区域、上体区域和下体区域作为局部部件区域；
所述符号化子模块，用于对所述划分子模块得到的局部部件区域进行符号表示。
8.根据权利要求7所述的装置，其特征在于，
所述提取模块，具体用于：将所述全局图像及所述局部部件区域输入至第二神经网络层中，在所述第二神经网络层中提取所述全局图像的全局特征描述及所述局部部件区域的局部特征描述；
所述融合模块，具体用于：在所述第二神经网络层中将所述提取模块提取的全局特征描述和局部特征描述进行融合得到全局-局部特征描述；
所述全局-局部特征描述表示为：fGLAD＝[fG；fh；fub；flb]，其中，fG为所述全局特征描述，fh为头部特征描述，fub为上体特征描述，flb为下体特征描述。
9.根据权利要求8所述的装置，其特征在于，所述检索模块，具体包括：线上检索子模块、查找子模块和排序子模块；
所述关联组合模块，具体用于：对行人数据库中的各图像进行线下关联分析得到多个图像组，并生成对应的多个组描述符及各图像组中各图像的图像索引；
所述线上检索子模块，用于根据所述融合模块得到的全局-局部比对符和所述关联组合模块生成的多个组描述符，在对应的所述多个图像组中进行线上粗粒度检索得到与所述查询图像最相似的预设数量的图像组；
所述查找子模块，用于根据所述预设数量的图像组中各图像的图像索引在所述行人数据库中查找到对应的各图像描述符；
所述排序子模块，用于根据所述融合模块得到的全局-局部比对符和所述查找子模块查找的各图像描述符，对所述预设数量的图像组中的各图像进行排序得到与所述查询图像最相似的图像；
所述识别模块，具体用于：将所述排序子模块得到的最相似的图像中人物的身份作为所述查询图像中行人的身份。
10.根据权利要求9所述的装置，其特征在于，所述排序子模块，具体用于：根据所述融合模块得到的全局-局部比对符和所述查找子模块查找的各图像描述符，计算所述查询图像与所述预设数量的图像组中各图像之间的欧氏距离，根据所述欧式距离对所述预设数量的图像组中的各图像进行排序得到与所述查询图像最相似的图像。
CN201710794402.7A 2017-09-06 2017-09-06 一种基于全局特征和粗粒度局部特征的行人再识别方法及装置 Pending CN107766791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710794402.7A CN107766791A (zh) 2017-09-06 2017-09-06 一种基于全局特征和粗粒度局部特征的行人再识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710794402.7A CN107766791A (zh) 2017-09-06 2017-09-06 一种基于全局特征和粗粒度局部特征的行人再识别方法及装置

Publications (1)

Publication Number Publication Date
CN107766791A true CN107766791A (zh) 2018-03-06

Family

ID=61265718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710794402.7A Pending CN107766791A (zh) 2017-09-06 2017-09-06 一种基于全局特征和粗粒度局部特征的行人再识别方法及装置

Country Status (1)

Country Link
CN (1) CN107766791A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165563A (zh) * 2018-07-27 2019-01-08 北京市商汤科技开发有限公司 行人再识别方法和装置、电子设备、存储介质、程序产品
CN109271895A (zh) * 2018-08-31 2019-01-25 西安电子科技大学 基于多尺度特征学习和特征分割的行人重识别方法
CN109657533A (zh) * 2018-10-27 2019-04-19 深圳市华尊科技股份有限公司 行人重识别方法及相关产品
CN109766868A (zh) * 2019-01-23 2019-05-17 哈尔滨工业大学 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法
CN109784166A (zh) * 2018-12-13 2019-05-21 北京飞搜科技有限公司 行人重识别的方法及装置
CN110163110A (zh) * 2019-04-23 2019-08-23 中电科大数据研究院有限公司 一种基于迁移学习和深度特征融合的行人重识别方法
CN110298248A (zh) * 2019-05-27 2019-10-01 重庆高开清芯科技产业发展有限公司 一种基于语义分割的多目标跟踪方法及系统
CN110378254A (zh) * 2019-07-03 2019-10-25 中科软科技股份有限公司 车损图像修改痕迹的识别方法、系统、电子设备及存储介质
CN110598654A (zh) * 2019-09-18 2019-12-20 合肥工业大学 多粒度交叉模态特征融合行人再识别方法和再识别系统
CN110852162A (zh) * 2019-09-29 2020-02-28 深圳云天励飞技术有限公司 一种人体完整度数据标注方法、装置及终端设备
CN112541448A (zh) * 2020-12-18 2021-03-23 济南博观智能科技有限公司 一种行人重识别方法、装置、电子设备和存储介质
CN112560604A (zh) * 2020-12-04 2021-03-26 中南大学 一种基于局部特征关系融合的行人重识别方法
WO2021098261A1 (zh) * 2019-11-22 2021-05-27 苏州浪潮智能科技有限公司 一种目标检测方法与装置
CN115661254A (zh) * 2022-12-08 2023-01-31 粤港澳大湾区数字经济研究院(福田) 一种多人姿态估计方法及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093203A (zh) * 2013-01-21 2013-05-08 信帧电子技术（北京）有限公司 一种人体再识别方法以及人体再识别系统
CN102511049B (zh) * 2010-05-13 2013-07-17 中国科学院自动化研究所 基于拓扑知觉组织理论的形状图像分类方法
US20140270496A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Discriminative distance weighting for content-based retrieval of digital pathology images
US20140270490A1 (en) * 2013-03-13 2014-09-18 Futurewei Technologies, Inc. Real-Time Face Detection Using Combinations of Local and Global Features
CN105447465A (zh) * 2015-11-25 2016-03-30 中山大学 基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106778603A (zh) * 2016-12-13 2017-05-31 中国科学院信息工程研究所 一种基于梯度式级联svm分类器的行人识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102511049B (zh) * 2010-05-13 2013-07-17 中国科学院自动化研究所 基于拓扑知觉组织理论的形状图像分类方法
CN103093203A (zh) * 2013-01-21 2013-05-08 信帧电子技术（北京）有限公司 一种人体再识别方法以及人体再识别系统
US20140270490A1 (en) * 2013-03-13 2014-09-18 Futurewei Technologies, Inc. Real-Time Face Detection Using Combinations of Local and Global Features
US20140270496A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Discriminative distance weighting for content-based retrieval of digital pathology images
CN105447465A (zh) * 2015-11-25 2016-03-30 中山大学 基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106778603A (zh) * 2016-12-13 2017-05-31 中国科学院信息工程研究所 一种基于梯度式级联svm分类器的行人识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HANTAO YAO ET AL.: "LARGE-SCALE PERSON RE-IDENTIFICATION AS RETRIEVAL", 《2017 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165563A (zh) * 2018-07-27 2019-01-08 北京市商汤科技开发有限公司 行人再识别方法和装置、电子设备、存储介质、程序产品
CN109165563B (zh) * 2018-07-27 2021-03-23 北京市商汤科技开发有限公司 行人再识别方法和装置、电子设备、存储介质、程序产品
CN109271895A (zh) * 2018-08-31 2019-01-25 西安电子科技大学 基于多尺度特征学习和特征分割的行人重识别方法
CN109657533A (zh) * 2018-10-27 2019-04-19 深圳市华尊科技股份有限公司 行人重识别方法及相关产品
CN109784166A (zh) * 2018-12-13 2019-05-21 北京飞搜科技有限公司 行人重识别的方法及装置
CN109766868B (zh) * 2019-01-23 2020-12-11 哈尔滨工业大学 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法
CN109766868A (zh) * 2019-01-23 2019-05-17 哈尔滨工业大学 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法
CN110163110A (zh) * 2019-04-23 2019-08-23 中电科大数据研究院有限公司 一种基于迁移学习和深度特征融合的行人重识别方法
CN110163110B (zh) * 2019-04-23 2023-06-06 中电科大数据研究院有限公司 一种基于迁移学习和深度特征融合的行人重识别方法
CN110298248A (zh) * 2019-05-27 2019-10-01 重庆高开清芯科技产业发展有限公司 一种基于语义分割的多目标跟踪方法及系统
CN110378254A (zh) * 2019-07-03 2019-10-25 中科软科技股份有限公司 车损图像修改痕迹的识别方法、系统、电子设备及存储介质
CN110378254B (zh) * 2019-07-03 2022-04-19 中科软科技股份有限公司 车损图像修改痕迹的识别方法、系统、电子设备及存储介质
CN110598654A (zh) * 2019-09-18 2019-12-20 合肥工业大学 多粒度交叉模态特征融合行人再识别方法和再识别系统
CN110598654B (zh) * 2019-09-18 2022-02-11 合肥工业大学 多粒度交叉模态特征融合行人再识别方法和再识别系统
CN110852162A (zh) * 2019-09-29 2020-02-28 深圳云天励飞技术有限公司 一种人体完整度数据标注方法、装置及终端设备
WO2021098261A1 (zh) * 2019-11-22 2021-05-27 苏州浪潮智能科技有限公司 一种目标检测方法与装置
CN112560604A (zh) * 2020-12-04 2021-03-26 中南大学 一种基于局部特征关系融合的行人重识别方法
CN112541448A (zh) * 2020-12-18 2021-03-23 济南博观智能科技有限公司 一种行人重识别方法、装置、电子设备和存储介质
CN112541448B (zh) * 2020-12-18 2023-04-07 济南博观智能科技有限公司 一种行人重识别方法、装置、电子设备和存储介质
CN115661254A (zh) * 2022-12-08 2023-01-31 粤港澳大湾区数字经济研究院(福田) 一种多人姿态估计方法及相关装置

Similar Documents

Publication Publication Date Title
CN107766791A (zh) 一种基于全局特征和粗粒度局部特征的行人再识别方法及装置
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
Yu et al. Fast action proposals for human action detection and search
Li et al. Face detection based on receptive field enhanced multi-task cascaded convolutional neural networks
CN103279768B (zh) 一种基于增量学习人脸分块视觉表征的视频人脸识别方法
Yao et al. Robust CNN-based gait verification and identification using skeleton gait energy image
Zhang et al. Tasks integrated networks: Joint detection and retrieval for image search
Amato et al. A comparison of face verification with facial landmarks and deep features
CN104794451B (zh) 基于分块匹配结构的行人比对方法
Zhou et al. A brain-inspired SLAM system based on ORB features
CN104281572B (zh) 一种基于互信息的目标匹配方法及其系统
Zhao et al. Accurate pedestrian detection by human pose regression
Zheng et al. Aware progressive clustering for unsupervised vehicle re-identification
CN107341445A (zh) 监控场景下行人目标的全景描述方法及系统
CN103853794B (zh) 一种基于部件关联的行人检索方法
CN113221625A (zh) 一种利用深度学习的局部特征对齐行人重识别方法
CN112132873A (zh) 一种基于计算机视觉的多镜头行人识别与跟踪
CN105809678B (zh) 一种短基线条件下两视图间线段特征全局匹配方法
Xia et al. Face occlusion detection using deep convolutional neural networks
Han et al. Weakly supervised person search with region siamese networks
Chen et al. Multiple object tracking using edge multi-channel gradient model with ORB feature
Yin et al. Fi-wsod: Foreground information guided weakly supervised object detection
Antonio et al. Pedestrians' Detection Methods in Video Images: A Literature Review
Fang et al. Pedestrian attributes recognition in surveillance scenarios with hierarchical multi-task CNN models
Wang et al. Anchor free network for multi-scale face detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180306

RJ01 Rejection of invention patent application after publication