CN111339812A - 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质 - Google Patents

一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质 Download PDF

Info

Publication number
CN111339812A
CN111339812A CN201910880374.XA CN201910880374A CN111339812A CN 111339812 A CN111339812 A CN 111339812A CN 201910880374 A CN201910880374 A CN 201910880374A CN 111339812 A CN111339812 A CN 111339812A
Authority
CN
China
Prior art keywords
pedestrian
feature
face
feature set
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910880374.XA
Other languages
English (en)
Inventor
申省梅
王昊
陈云鹏
常苏宁
冯佳时
谢佩博
韦灿乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Pengsi Technology Co ltd
Original Assignee
Beijing Pengsi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pengsi Technology Co ltd filed Critical Beijing Pengsi Technology Co ltd
Publication of CN111339812A publication Critical patent/CN111339812A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质。所公开的基于全部或部分人体结构化特征集的行人识别和再识别的方法，包括：在视频或图片序列中检测和跟踪行人；将检测到的行人进行解析并分割为多个部分；提取上述行人的整体特征和分割后的每个部分的局部特征集；从上述行人分割后的多个部分中检测出人脸和头部区域；将检测到的人脸进行人脸识别。

Description

一种基于全部或部分人体结构化特征集的行人识别和再识别 的方法、电子设备和存储介质
技术领域
本发明涉及行人识别和行人再识别技术领域，具体涉及一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质。
背景技术
随着深度学习技术的进步，行人识别和行人再识别技术对实际场景应用产生了重大影响。在深度神经网络的帮助下，已经解决了行人识别和再识别领域传统领域中面临的许多挑战，包括光照、姿势和遮挡的变化带来的识别困难。
然而，当在实际场景中应用时，由于非约束性的相机镜头捕获条件，行人的被捕获的视图被彻底改变并且一部分被遮挡，所以识别性能仍然非常差，人的全局性特征不能够很好地处理该问题。
因此，现有的行人识别和再识别方法至少部分地存在以下的问题：无法匹配来自同一个人但来自不同视图中的图像；行人的图像有一部分被遮挡时，无法匹配来自同一个人的图像等。
发明内容
在本公开的一个方面，提供了一种基于全部或部分人体结构化特征集的行人识别和再识别的方法，包括：
在影像中检测和跟踪行人；
将检测到的行人进行解析并分割为多个部分；
提取所述行人的整体特征和分割后的每个部分的局部特征集；
从所述行人分割后的多个部分中检测出人脸和头部区域；
对检测到的人脸进行人脸识别。
在一些实施例中，所述将检测到的行人进行解析并分割为多个部分，还包括：估计所述行人的人体属性并提取相关人体属性特征。
在一些实施例中，所述从所述行人分割后的多个部分中检测出人脸和头部区域，还包括：响应于检测到耳朵，提取所述行人的耳朵的特征集。
在一些实施例中，所述将检测到的人脸进行人脸识别，包括：
将所述人脸解析和分割成多个部分；
提取人脸的整体特征和分割后的每个部分的局部特征集。
在一些实施例中，所述提取人脸的整体特征和分割后的每个部分的局部特征集，还包括：通过构建特征金字塔结构组合所述行人分割后的每个部分的局部特征集。
在一些实施例中，所述对检测到的人脸进行人脸识别，包括：
聚合和组合所述行人的整体特征和分割后的每个部分的局部特征集；
形成标识了每个局部特征集是否存在的结构化特征配置信息；
在所述行人分割后的至少一个部分存在的情况下，在结构化配置信息中标识所述行人的至少一个部分的对应特征信息存在；
在所述人脸分割后的至少一个部分存在的情况下，在结构化配置信息中标识所述人脸的至少一个部分的对应特征信息存在；
分别计算所述行人与目标数据库中的行人共有的每个特征集的相似度；
合并多个共有的特征集的每个特征集的相似度得到总相似度，比较总相似度与预设阈值以确认所述行人的识别结果。
在一些实施例中，所述形成标识了每个局部特征集是否存在的结构化特征配置信息，还包括：使用图卷积网络生成局部特征集和对应的分割后的人体部分之间的映射关系。
在一些实施例中，所述合并多个共有的特征集的每个特征集的相似度得到总相似度，包括：对上述不同类别的特征集相似度分配不同的权重，计算总的相似度。
在本公开的另一个方面，提供了一种电子设备，包括处理器和存储器；所述存储器配置成存储计算机程序；所述处理器配置成执行所述存储器上存储的计算机程序，实现前述任一实施例所述的方法步骤。
在本公开的还一个方面，提供了一种存储介质，所述存储介质配置成存储计算机程序，所述计算机程序被处理器执行时实现前述任一实施例所述的方法步骤。
附图说明
图1为本公开至少一个实施例的系统数据处理的一般流程示意图。
图2为本公开至少一个实施例的结构化特征集示意图。
图3为本公开至少一个实施例的特征集的一组组合示意图。
图4为本公开至少一个实施例的特征金字塔重建和比较示意图。
图5为本公开至少一个实施例的身体部位分割轮询示意图。
图6为本公开至少一个实施例的中图形卷积网络示意图。
图7为本公开至少一实施例的电子设备的示意性框图。
图8为本公开至少一实施例的存储介质的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
下面通过几个具体的实施例对本公开进行说明。为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。当本公开实施例的任一部件在一个以上的附图中出现时，该部件在每个附图中由相同或类似的参考标号表示。
本公开提供了一种基于全部或部分人体结构化特征集的行人识别和再识别的方法，利用行人的多个特征，包括面部特征，耳朵特征，头部和其他身体部位的特征，从粗糙到细粒度的特征，从全局到局部特征，使得无论行人以何种视角被相机捕获，或当行人的一部分在真实捕获的场景中被遮挡，都可以改善行人识别或行人再识别的可靠性和效率。
本公开所提供的方法不仅可以应用于一般意义上的行人再识别，还可以应用于由面部或身体部位（例如四肢，躯干，头部）组成的更精细层次上的行人再识别。通过以结构化的方式描述行人的特征，即使在行人的某些部分缺失的遮挡情况下，该方法也能通过结构化的多重特征，使行人搜索更加容易。
本公开的至少一个实施例提供了一种基于全部或部分人体结构化特征集的行人识别和再识别的方法，可以实现跨场景下的同一行人检测。所公开的方法包括：
在影像中检测和跟踪行人；
将检测到的行人进行解析并分割为多个部分；
提取所述行人的整体特征和分割后的每个部分的局部特征集；
从所述行人分割后的多个部分中检测出人脸和头部区域；
对检测到的人脸进行人脸识别。
在一些实施例中，影像可以是视频、图片序列、图片等。
在一些实施例中，可以通过多种方式实现行人的分割。例如基于人体语义的行人分割SPReID、基于视频的行人分割VS-ReID等；还可以是将已有的神经网络经过样本数据如PASCALPerson-Part数据集训练用于实现行人分割，例如SegNet、FCN-8s、DeepLab V2等。
可选地，是基于语义将行人分割为多个部分。
在一些实施例中，将检测到的人脸进行人脸识别，包括：
将所述人脸解析和分割成多个部分；
提取人脸的整体特征和分割后的每个部分的局部特征集。
在一些实施例中，从所述行人分割后的多个部分中检测出人脸和头部区域，还包括：响应于检测到耳朵，提取所述行人的耳朵的特征集。
在一些实施例中，将检测到的行人进行解析并分割为多个部分，还包括：估计所述行人的人体属性并提取相关人体属性特征。
可选地，所述的人体属性可以是性别、年龄、身高、发型、衣物、佩戴物、行为、动作等属性中的一种或多种。
在一些实施例中，提取人脸的整体特征和分割后的每个部分的局部特征集，还包括：通过构建特征金字塔结构组合所述行人分割后的每个部分的局部特征集。
通过构建特征金字塔，可以将不同层次的特征中的信息进行融合，从而可以获得相对于顶层更加详细的信息。
在一些实施例中，对检测到的人脸进行人脸识别，包括：将上述行人的整体特征和分割后多个部分的局部特征集汇聚组合起来；生成结构化特征配置信息，标明各个特征集合是否存在；分割后某个部分的特征如果不存在，则在配置信息中标明该部分特征不存在，否则在配置信息中标明该部分特征信息存在；上述检测到的人脸中对应的部分如果不存在，则在配置信息中标明上述人脸的该部分特征不存在，否则在配置信息中标明上述人脸的该部分特征存在；分别计算目标数据库中的行人和上述待查询行人共有的特征集的相似度得分；将上述目标数据库中的行人和上述待查询行人的数个共有的特征集相似度得分组合起来得到相似度总得分，相似度总得分与预设阈值比较以确认行人是否得到识别从而得到行人识别结果。
例如，可以使用图卷积网络GCN生成特征集和对应的分割后的人体部分之间的映射关系。
在一些实施例中，诸如面部（人脸）特征，耳朵特征之类的行人独特特征，对于行人再识别具有较高的贡献。如果可用，赋予这些独特特征较高的权重。因此，合并多个共有的特征集的每个特征集的相似度得到总相似度，还包括：对上述不同类别的特征相似度得分，根据其重要程度和置信度，分配不同的权重，计算总的相似度得分。
本公开至少一实施例还提供一种电子设备，包括存储器和处理器。例如，存储器用于非暂时性存储计算机可读指令，处理器用于运行该计算机可读指令，该计算机可读指令被处理器运行时执行本公开任一实施例提供的行人识别和再识别方法。
例如，存储器和处理器可以直接或间接地互相通信，如可以通过网络连接进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。网络可以包括局域网、互联网、电信网、基于互联网和/或电信网的物联网(Internet of Things)、和/或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信，无线网络例如可以采用3G/4G/ 5G移动通信网络、蓝牙、Zigbee或者Wi-Fi等通信方式。
例如，处理器可以是中央处理单元(CPU)、张量处理器(TPU)或者图形处理器GPU等具有数据处理能力和/或程序执行能力的器件。
例如，存储器可以是易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。
本公开至少一实施例还提供一种存储介质。该存储介质600非暂时性地存储计算机可读指令， 当非暂时性计算机可读指令由计算机(包括处理器)执行时可以执行本公开任一实施例提供的行人识别和再识别方法。
存储介质可以包括手机或平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、光盘只读存储器(CD-ROM)、 闪存、存储卡（SD、CF、TF等）或者上述存储介质的任意组合。
为了便于本领域技术人员理解本公开的发明实质，如下对本公开涉及的技术概念进行说明。
1.空间特征分组
假设有一个从卷积神经网络获取到的输出特征图，将该特征图分割成数个子特征图，例如将该特征图分割为6个子特征图，那么将会有26–2=62种不同的组合方式。然后，将这些所有的组合的子特征图连接在一起形成一个新的特征图。每个新的特征图经过一个GAP层或GMP（全局平均池化、全局最大池化)后变为一个特征向量。所有的特征向量随后被压缩到更低的维度并指向两个不同的处理分支。其中一个处理分支使用所有被压缩的特征向量去计算Triplet损失（Triplet Loss），另外一个处理分支则来计算每个特征向量的ID损失（SoftMax Loss，SoftMax分类的损失函数，在Re ID领域可以用作为识别损失）。
2.人体分割（行人分割）
将人体分割为多个部分，以六个部分为例。并使用图像分割方法来估计每个部分的在人体上的空间区域。对分割后的每个部分，不使用卷积网络的GAP方法，而是计算每个区域初始特征图的均值，得到该部分区域的特征向量。然后将多个部分的特征向量送入到图卷积网络GCN去学习各个部分之间的关系，最后生成一个全局特征向量。然后，计算上述全局特征向量的Triplet损失和ID损失，以此来指导神经网络训练。
3.特征金字塔重建（构建特征金字塔）
首先，将基于深度神经网络的特征图进行下采样操作，来构建特征金字塔。接着寻找一种目标数据库中的图片的特征金字塔的线性组合，使得该线性组合和待识别图片之间的特征金字塔误差尽可能小。最后，将目标数据库（目标数据库也可以称为底库，在目标数据库中包含了用户所关注的人的图片，例如所有在逃逃犯的图片、所有限制乘坐高铁的失信人员图片、某区域的全体居民图片等）图片和待识别图片的特征金字塔之间的相似度作为预估相似度，并用于后续的比对过程。
参考图1，描述了本公开提出的行人检测方法的通用数据处理流程。
将图片输入到行人检测引擎和处理模块100。一旦行人被检测到，不论检测到的上述行人的轮廓是否完整，也不论检测到的上述行人的姿态如何，都调用人体解析模块101对上述检测到的行人进行人体图像分割。
随后，人体图像分割信息送入到行人识别或行人再识别模块102，从而获取到上述行人的全局行人特征信息Global Feature1和局部行人特征信息子集sub-set_a。
人体图像分割信息同时也被送入人脸检测和头部检测处理模块103。该处理模块103检测到人脸，接下来送入人脸解析模块104以获得人脸局部区域特征。随后基于人脸局部区域特征，在人脸识别和再识别处理模块105中进行人脸识别或人脸再识别，获取上述人脸的全局特征信息Global Feature2和局部特征信息子集sub-set_b。
人脸检测和头部检测处理模块103检测到行人头部，继续送入耳部检测处理模块106进行耳朵检测，随后在耳朵识别和再识别处理模块107中进行耳朵识别或耳朵再识别。
人体图像分割信息同时被送入行人属性估计处理模块108，提取行人属性特征集。
图2展示了由上述全局特征信息Global Feature1,2,…和局部特征信息子集sub-set_a,b,…组成的结构化特征信息。当上述部分全局特征信息或局部特征信息在目标数据库或待比对图中缺失时，在目标数据库和待比对图进行相似性比较的时候，所缺失的特征信息不参与相似性比较。以此使用目标数据库和待比对图共有的特征信息进行相似性比较，获得更精确的比对效果。根据特征信息的重要程度和置信度，可以为不同特征集分配不同的权重。
图3以ResNet50为例展示了生成上述子特征图组合的数据处理流程。例如将整体 的特征图分为多个不同部分，例如6个不同的部分。6个不同部分的子特征图，除去空集和包 括所有子特征图这两个组合外，还有
Figure 365200DEST_PATH_IMAGE001
种组合。将所有的子特征图组合汇聚在 一起，进行全局的Pooling池化操作（GMP，Global Max Pooling,全局最大池化），为每一种 组合生成对应的特征向量。随后每个特征组合紧跟一个
Figure 813499DEST_PATH_IMAGE002
卷积层，一个Batch Normalization层和ReLU激活层。上述操作完成后，所有的特征向量被连接在一起组成一个 统一的特征向量，并计算三元损失Triplet loss。每个子特征向量同时也会经过一个全卷 积层并计算识别损失ID loss。
图3的下半部分描述了全局特征信息和局部特征信息的一种使用方法。两者之间的相似度度量方式既可以是欧式距离也可以是余弦距离。在进行相似度计算时，以连接在一起组成的一个统一的特征向量进行计算。
图4展示了图3中提到的、在特征比较阶段用到的重建和推断过程。假设有一张待查询图片和目标数据库中的一张图片。
首先，使用神经网络提取每张图片的特征图。然后分别对查询图片和目标数据库中的图片的特征图进行递归向下采样，以构建一个立体的特征金字塔。然后优化出一个权重矩阵（人工定义或通过神经网络训练），达到查询特征金字塔和目标数据库特征金字塔的线性组合距离（以欧氏距离度量）更近的目的。最后，得到的最近的距离就可以视作比对过程中的距离。
图5展示了一种网络数据流的实现，它用图片分片的方法来集中特征。
首先，通过卷积神经网络得到的特征图。然后加入一个1x1的卷积层来学习整个身体的分片segmentation。同时，这个分片作为过滤背景信息的一个mask。其他的身体部位也用同样的方法来处理。对所有通过过滤的特征图进行全局修剪，从而得到确定的特征向量。为了给整个身体的特征向量建模，引入了GCN图像卷积网络层（见图5）来把这些部分的特征向量合并为一个。然后再用三元损失Triplet loss和识别损失ID loss来管理这些特征向量。
图6展示了所用的图像卷积网络的结构。
首先，把这些部位的特征向量叠起来得到一个以图像形式展现人身体的特征图，这张图的每一行就是身体一个部位的特征向量。然后对每一列做同样维度的卷积，从而得到特征图的扩散特征（比如：拉普拉斯矩阵）。接着，变换身体的特征图，再对身体的每个部分做一次一维的卷积操作。最后，把结果做一次逆变换，恢复身体图的原来形状。至此，一个完整的图像卷积网络层就已经解释完成。
做同样的操作K次，使得信息被有效地传递到身体的各个部位以及特征向量内部。
虽然没有明确的描述，本领域技术人员容易理解，还包括通过训练样本进行训练以获得上述各步骤所用的神经网络。这些训练样本数据库可以是自行搭建，也可以使用本领域常见的库，例如INRIA、CVC、USC、DukeMTMC、CUHK03等。
本公开的行人识别和再识别方法可以提供比人脸档案数据库更大更全的人员数据库，也可以直接用来在大量人群中搜索目标人员。特别是在法院、公安等应用领域，手工在大量数据中查找嫌疑犯是非常耗时耗力的，本公开的方法可以在几秒内在超大数据集、多个相机流中找到嫌疑犯。

Claims (10)

1.一种基于全部或部分人体结构化特征集的行人识别和再识别的方法，其特征在于，包括：
在影像中检测和跟踪行人；
将检测到的行人进行解析并分割为多个部分；
提取所述行人的整体特征和分割后的每个部分的局部特征集；
从所述行人分割后的多个部分中检测出人脸和头部区域；
对检测到的人脸进行人脸识别。
2.根据权利要求1所述的方法，其特征在于，所述将检测到的行人进行解析并分割为多个部分，还包括：估计所述行人的人体属性并提取相关人体属性特征。
3.根据权利要求1所述的方法，其特征在于，所述从所述行人分割后的多个部分中检测出人脸和头部区域，还包括：响应于检测到耳朵，提取所述行人的耳朵的特征集。
4.根据权利要求1所述的方法，其特征在于，所述将检测到的人脸进行人脸识别，包括：
将所述人脸解析和分割成多个部分；
提取人脸的整体特征和分割后的每个部分的局部特征集。
5.根据权利要求1所述的方法，其特征在于，所述提取人脸的整体特征和分割后的每个部分的局部特征集，还包括：通过构建特征金字塔结构组合所述行人分割后的每个部分的局部特征集。
6.根据权利要求1所述的方法，其特征在于，所述对检测到的人脸进行人脸识别，包括：
聚合和组合所述行人的整体特征和分割后的每个部分的局部特征集；
形成标识了每个局部特征集是否存在的结构化特征配置信息；
在所述行人分割后的至少一个部分存在的情况下，在结构化配置信息中标识所述行人的至少一个部分的对应特征信息存在；
在所述人脸分割后的至少一个部分存在的情况下，在结构化配置信息中标识所述人脸的至少一个部分的对应特征信息存在；
分别计算所述行人与目标数据库中的行人共有的每个特征集的相似度；
合并多个共有的特征集的每个特征集的相似度得到总相似度，比较总相似度与预设阈值以确认所述行人的识别结果。
7.根据权利要求6所述的方法，其特征在于，所述形成标识了每个局部特征集是否存在的结构化特征配置信息，还包括：使用图卷积网络生成局部特征集和对应的分割后的人体部分之间的映射关系。
8.根据权利要求6所述的方法，其特征在于，所述合并多个共有的特征集的每个特征集的相似度得到总相似度，包括：对上述不同类别的特征集相似度分配不同的权重，计算总的相似度。
9.一种电子设备，其特征在于，包括处理器和存储器；所述存储器配置成存储计算机程序；所述处理器配置成执行所述存储器上存储的计算机程序，实现权利要求1-8任一项所述的方法步骤。
10.一种存储介质，其特征在于，所述存储介质配置成存储计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的方法步骤。
CN201910880374.XA 2019-06-29 2019-09-18 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质 Withdrawn CN111339812A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SG10201906090P 2019-06-29
SG10201906090PA SG10201906090PA (en) 2019-06-29 2019-06-29 Methods and Apparatus for Person Identification and Person Re-Identification with full or partially available parts in a structured feature set

Publications (1)

Publication Number Publication Date
CN111339812A true CN111339812A (zh) 2020-06-26

Family

ID=71181882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910880374.XA Withdrawn CN111339812A (zh) 2019-06-29 2019-09-18 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN111339812A (zh)
SG (1) SG10201906090PA (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738186A (zh) * 2020-06-28 2020-10-02 香港中文大学（深圳） 目标定位方法、装置、电子设备及可读存储介质
CN112149601A (zh) * 2020-09-30 2020-12-29 北京澎思科技有限公司 兼容遮挡的面部属性识别方法、装置和电子设备
CN112613376A (zh) * 2020-12-17 2021-04-06 深圳集智数字科技有限公司 重识别方法及装置，电子设备
CN112686175A (zh) * 2020-12-31 2021-04-20 北京澎思科技有限公司 人脸抓拍方法、系统及计算机可读存储介质
CN112733685A (zh) * 2020-12-31 2021-04-30 北京澎思科技有限公司 人脸跟踪方法、系统及计算机可读存储介质
CN113887428A (zh) * 2021-09-30 2022-01-04 西安工业大学 一种基于上下文信息的深度学习成对模型人耳检测方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807189B (zh) * 2021-08-20 2023-10-27 浙江大学自贡创新中心 一种基于人体部件学习和姿态重构的视频行人重识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090433A (zh) * 2017-12-12 2018-05-29 厦门集微科技有限公司 人脸识别方法及装置、存储介质、处理器
KR101941994B1 (ko) * 2018-08-24 2019-01-24 전북대학교산학협력단 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템
CN109902658A (zh) * 2019-03-15 2019-06-18 百度在线网络技术（北京）有限公司 行人特征识别方法、装置、计算机设备和存储介质
CN109934197A (zh) * 2019-03-21 2019-06-25 深圳力维智联技术有限公司 人脸识别模型的训练方法、装置和计算机可读存储介质
CN109934177A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人再识别方法、系统及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090433A (zh) * 2017-12-12 2018-05-29 厦门集微科技有限公司 人脸识别方法及装置、存储介质、处理器
KR101941994B1 (ko) * 2018-08-24 2019-01-24 전북대학교산학협력단 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템
CN109902658A (zh) * 2019-03-15 2019-06-18 百度在线网络技术（北京）有限公司 行人特征识别方法、装置、计算机设备和存储介质
CN109934177A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人再识别方法、系统及计算机可读存储介质
CN109934197A (zh) * 2019-03-21 2019-06-25 深圳力维智联技术有限公司 人脸识别模型的训练方法、装置和计算机可读存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738186A (zh) * 2020-06-28 2020-10-02 香港中文大学（深圳） 目标定位方法、装置、电子设备及可读存储介质
CN111738186B (zh) * 2020-06-28 2024-02-02 香港中文大学（深圳） 目标定位方法、装置、电子设备及可读存储介质
CN112149601A (zh) * 2020-09-30 2020-12-29 北京澎思科技有限公司 兼容遮挡的面部属性识别方法、装置和电子设备
CN112613376A (zh) * 2020-12-17 2021-04-06 深圳集智数字科技有限公司 重识别方法及装置，电子设备
CN112613376B (zh) * 2020-12-17 2024-04-02 深圳集智数字科技有限公司 重识别方法及装置，电子设备
CN112686175A (zh) * 2020-12-31 2021-04-20 北京澎思科技有限公司 人脸抓拍方法、系统及计算机可读存储介质
CN112733685A (zh) * 2020-12-31 2021-04-30 北京澎思科技有限公司 人脸跟踪方法、系统及计算机可读存储介质
CN113887428A (zh) * 2021-09-30 2022-01-04 西安工业大学 一种基于上下文信息的深度学习成对模型人耳检测方法
CN113887428B (zh) * 2021-09-30 2022-04-19 西安工业大学 一种基于上下文信息的深度学习成对模型人耳检测方法

Also Published As

Publication number Publication date
SG10201906090PA (en) 2021-01-28

Similar Documents

Publication Publication Date Title
CN111339812A (zh) 一种基于全部或部分人体结构化特征集的行人识别和再识别的方法、电子设备和存储介质
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
CN106897675B (zh) 双目视觉深度特征与表观特征相结合的人脸活体检测方法
Ramezani et al. A review on human action analysis in videos for retrieval applications
CN109960742B (zh) 局部信息的搜索方法及装置
CN108875542B (zh) 一种人脸识别方法、装置、系统及计算机存储介质
CN110503076B (zh) 基于人工智能的视频分类方法、装置、设备和介质
US20110158540A1 (en) Pattern recognition method and pattern recognition apparatus
CN111178208A (zh) 基于深度学习的行人检测方法、装置及介质
CN108280421B (zh) 基于多特征深度运动图的人体行为识别方法
CN111241932A (zh) 汽车展厅客流检测与分析系统、方法及存储介质
CN107291825A (zh) 一种视频中同款商品的检索方法和系统
Chen et al. TriViews: A general framework to use 3D depth data effectively for action recognition
Linda et al. Color-mapped contour gait image for cross-view gait recognition using deep convolutional neural network
CN113221770A (zh) 基于多特征混合学习的跨域行人重识别方法及系统
WO2023279799A1 (zh) 对象识别方法、装置和电子系统
CN113033507B (zh) 场景识别方法、装置、计算机设备和存储介质
Stefanidis et al. Summarizing video datasets in the spatiotemporal domain
CN110825916A (zh) 一种基于形体识别技术的寻人方法
Gao et al. Occluded person re-identification based on feature fusion and sparse reconstruction
CN113706550A (zh) 图像场景识别和模型训练方法、装置和计算机设备
CN111291785A (zh) 目标检测的方法、装置、设备及存储介质
Kavimandan et al. Human action recognition using prominent camera
Yu et al. Spatiotemporal features selection for spontaneous micro-expression recognition
Qateef et al. Facial expression recognition via mapreduce assisted k-nearest neighbor algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200626