CN108154171B - 一种人物识别方法、装置及电子设备 - Google Patents

一种人物识别方法、装置及电子设备 Download PDF

Info

Publication number
CN108154171B
CN108154171B CN201711386395.3A CN201711386395A CN108154171B CN 108154171 B CN108154171 B CN 108154171B CN 201711386395 A CN201711386395 A CN 201711386395A CN 108154171 B CN108154171 B CN 108154171B
Authority
CN
China
Prior art keywords
clothes
face
head
positions
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711386395.3A
Other languages
English (en)
Other versions
CN108154171A (zh
Inventor
史培培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201711386395.3A priority Critical patent/CN108154171B/zh
Publication of CN108154171A publication Critical patent/CN108154171A/zh
Application granted granted Critical
Publication of CN108154171B publication Critical patent/CN108154171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种人物识别方法、装置及电子设备，其中，方法包括：对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；对待处理视频每帧图像的各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；将各人脸位置、各头部位置以及各衣物位置通过预设条件进行组合，得到各组合对象；依次根据各组合对象中包括的各特征对各组合对象进行层次聚类，形成多层次聚类后的各聚类集合；针对各聚类集合，将该聚类集合中出现次数最多的人脸编号所对应的组合对象，确定为该聚类集合对应的目标人物。

Description

一种人物识别方法、装置及电子设备
技术领域
本发明涉及计算机信息处理技术领域，特别是涉及一种人物识别方法、装置及电子设备。
背景技术
视频是信息传播的重要媒介，智能的理解视频中的元素发挥着越来越重要的作用，尤其是人物的理解。已知的人物识别方法主要为人脸识别方法。
现有技术中进行人脸识别的具体方式为：在包含人脸的图像中进行人脸图像特征提取，提取的人脸图像的特征数据与数据库中存储的特征进行搜索匹配，通过设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。人脸识别就是将待识别的人脸与已得到的人脸进行比较，根据相似程度对人脸的身份信息进行判断。
然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：
人脸识别能够根据人脸的特征识别人物的身份，但是对于低分辨率正脸图像、或侧脸图像识别效果不佳，对于背影图像则无法处理。因此，如何对低分辨率正脸、侧脸以及背影等图像进行识别人物的身份是一个亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种人物识别方法、装置及电子设备，以实现对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。具体技术方案如下：
在本发明实施的第一方面，提供了一种人物识别方法，包括：
对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；
对所述待处理视频每帧图像的所述各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；
将所述各人脸位置、所述各头部位置以及所述各衣物位置通过预设条件进行组合，得到各组合对象；
依次根据所述各组合对象中包括的各特征对所述各组合对象进行层次聚类，形成多层次聚类后的各聚类集合，其中，所述各特征包括头部特征以及衣物特征；
针对所述各聚类集合，将该聚类集合中出现次数最多的人脸编号所对应的组合对象，确定为该聚类集合对应的目标人物。
可选地，所述依次根据所述各组合对象中包括的各特征对所述各组合对象进行层次聚类，形成多层次聚类后的各聚类集合，包括：
根据所述各组合对象中包括的衣物特征，对所述各组合对象进行第一次聚类，对应得到各衣物特征的组合对象集合；
根据所述各组合对象中包括的头部特征，对所述各衣物特征的组合对象集合中各组合对象进行第二次聚类，对应得到各聚类集合。
可选地，所述针对所述各聚类集合，将该聚类集合中出现次数最多的人脸编号所对应的组合对象，确定为该聚类集合对应的目标人物，包括：
针对所述各聚类集合，统计该聚类集合中各人脸编号的出现次数，将出现次数最多的人脸编号确定为目标编号；
将所述目标编号所对应的组合对象，确定为该聚类集合对应的目标人物。
可选地，所述将所述各人脸位置、所述各头部位置以及所述各衣物位置通过预设条件进行组合，得到各组合对象，包括：
根据预设的头部位置与衣物位置的组合条件，将所述各头部位置与所述各衣物位置进行组合，得到第一组合结果；
在所述第一组合结果的基础上，根据预设的人脸位置与头部位置的组合条件，将所述各人脸位置与所述各头部位置进行组合，得到各组合对象。
可选地，所述对所述待处理视频每帧图像的所述各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征，包括：
将待处理视频进行解帧，得到所述待处理视频的每帧图像；
利用训练好的目标检测器，检测所述每帧图像对应的各人物头部位置以及衣物位置；
针对所述每帧图像对应的所述各人物头部位置以及衣物位置，分别提取所述每帧图像中所述各人物的头部特征以及衣物特征。
在本发明实施的第二方面，提供了一种人物识别装置，包括：
人脸识别模块，用于对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；
特征提取模块，用于对所述待处理视频每帧图像的所述各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；
特征组合模块，用于将所述各人脸位置、所述各头部位置以及所述各衣物位置通过预设条件进行组合，得到各组合对象；
特征聚类模块，用于依次根据所述各组合对象中包括的各特征对所述各组合对象进行层次聚类，形成多层次聚类后的各聚类集合，其中，所述各特征包括头部特征以及衣物特征；
人物确定模块，用于针对所述各聚类集合，将该聚类集合中出现次数最多的人脸编号所对应的组合对象，确定为该聚类集合对应的目标人物。
可选地，所述特征聚类模块，包括：
衣物特征聚类子模块，用于根据所述各组合对象中包括的衣物特征，对所述各组合对象进行第一次聚类，对应得到各衣物特征的组合对象集合；
头部特征聚类子模块，用于根据所述各组合对象中包括的头部特征，对所述各衣物特征的组合对象集合中各组合对象进行第二次聚类，对应得到各聚类集合。
可选地，所述人物确定模块，包括：
统计子模块，用于针对所述各聚类集合，统计该聚类集合中各人脸编号的出现次数，将出现次数最多的人脸编号确定为目标编号；
人物确定子模块，用于将所述目标编号所对应的组合对象，确定为该聚类集合对应的目标人物。
可选地，所述特征组合模块，包括：
第一特征组合子模块，用于根据预设的头部位置与衣物位置的组合条件，将所述各头部位置与所述各衣物位置进行组合，得到第一组合结果；
第二特征组合子模块，用于在所述第一组合结果的基础上，根据预设的人脸位置与头部位置的组合条件，将所述各人脸位置与所述各头部位置进行组合，得到各组合对象。
可选地，所述特征提取模块，包括：
解帧子模块，用于将待处理视频进行解帧，得到所述待处理视频的每帧图像；
检测子模块，用于利用训练好的目标检测器，检测所述每帧图像对应的各人物头部位置以及衣物位置；
提取子模块，用于针对所述每帧图像对应的所述各人物头部位置以及衣物位置，分别提取所述每帧图像中所述各人物的头部特征以及衣物特征。
在本发明实施的第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述人物识别方法中任一所述的方法步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述人物识别方法中任一所述的方法步骤。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述人物识别方法中任一所述的方法步骤。
本发明实施例提供的一种人物识别方法、装置及电子设备，实现了对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。具体为，首先检测人脸位置并对可识别的人脸进行人脸识别得到人脸编号，进而检测头部位置与衣物位置，以及提取头部特征以及衣物特征，按照设置的预设条件对提取的人脸位置、头部位置以及衣物位置进行多特征组合，形成包括能够识别人脸的各组合对象以及不能识别人脸的各组合对象。在每种特征下对上述各组合对象进行聚类，得到多层次聚类后的各聚类集合。针对上述各聚类集合，可将该集合中的各组合对象均确定为该集合中出现次数最多的人脸编号所对应的组合对象。则可实现将各集合中包含的不可识别的人脸所对应的各组合对象找到对应的可识别人物身份，即可实现对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例的一种人物识别方法流程图；
图2为本发明实施例的一种人物识别方法的层次聚类方法流程图；
图3为本发明实施例的一种人物识别方法的聚类集合的目标人物确定方法流程图；
图4为本发明实施例的一种人物识别方法的组合对象确定方法流程图；
图5为本发明实施例的另一种人物识别方法流程图；
图6为本发明实施例的一种人物识别装置结构示意图；
图7为本发明实施例的一种电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
随着视频业务的快速发展，智能的识别视频中的人物也越来越重要。尽管每个视频中出现的角色数量较少，但是视频中人物的角度、表情、姿态的变化很大；视频帧存在光照、特效等外在因素的影响，人物之间存在遮挡等诸多因素的影响，导致视频中的人物识别较为复杂。目前主流方法为利用人脸识别的方式识别视频中的人脸，并根据人脸进行跟踪。但是这种方法只利用了人脸相关的信息，但是对于低分辨率正脸图像、或侧脸图像识别效果不佳，对于背影图像则无法处理。
针对上述问题，本发明实施例提出了一种人物识别方法、装置及电子设备，结合了人脸识别结果、头部特征以及衣物特征等综合判断人物的身份，以实现对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。具体实施方式如下：
为实现上述发明目的，在本发明实施的第一方面，提供了一种人物识别方法，如图1所示。图1为本发明实施例的一种人物识别方法流程图，包括：
S101，对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度。
在本发明实施例中，需要对待处理视频中不可识别人脸进行识别，即为对视频中包含的低分辨率正脸图像、侧脸图像以及背影图像进行识别，进而确定该图像对应可识别的人脸中具体哪一个人。
在本发明实施例中，可采用卷积神经网络算法训练好的网络模型，分别对待处理视频每帧图像中出现的人物的脸部进行检测，得到每个人脸位置。另外，对能够识别的人脸可采用人脸识别模型进行人脸识别，得到各能够识别的人脸所对应的人脸编号以及置信度。
S102，对待处理视频每帧图像的各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征。
上述对人脸进行识别后，可采用卷积神经网络训练好的网络模型，分别对待处理视频每帧图像中出现的人物的头部以及衣物进行检测，进而得到各头部位置以及衣物位置。
另外，在本步骤中采用卷积神经网络模型提取检测到的各人物的头部对应的特征向量，以及各人物的衣物对应的特征向量。
需要说明的是，在本步骤中可并行的检测头部位置以及衣物位置，进而分别提取每个头部特征对应的特征向量以及每个衣物特征对应的特征向量。或者，先检测头部位置，进而提取每个头部特征对应的特征向量，再检测衣物位置，进而提取每个衣物特征对应的特征向量。另外，还可先检测衣物位置，进而提取每个衣物特征对应的特征向量，再检测头部位置，进而提取每个头部特征对应的特征向量。具体的检测顺序不做限定。
S103，将各人脸位置、各头部位置以及各衣物位置通过预设条件进行组合，得到各组合对象。
上述在得到每帧视频图像中的人脸位置、头部位置以及衣物位置后，可按照预设条件中头部位置与人脸位置的位置关系，将头部位置与人脸位置进行组合。在上述组合基础上按照预设条件中的头部位置与衣物位置的位置关系，将各衣物组合在上述得到组合结果上。
该预设条件中人脸与头部的组合条件可为：人脸位置与头部位置为同一位置；该预设条件中头部与衣物的组合条件可为：衣物位置在头部位置预定距离的位置。该预设条件中人脸与头部的组合条件还可为：人脸位置与头部位置为同一位置，且人脸方向为与头部为同一方向；该预设条件中头部与衣物的组合还条件可为：衣物位置在头部位置预定距离，且衣物方向与头部方向为同一方向。
具体为，按照预设的人脸位置与头部位置组合条件，将能够识别人脸的人脸位置与头部位置为同一人物的脸部与头部进行组合。进而根据头部位置与衣物位置的相对位置关系，将衣物位置在头部下方预设位置的衣物与上述组合结果进行组合，得到含有可识别的人脸的各组合对象。并且该组合对象带有人脸识别模型得到的人脸编号。即该部分组合对象为人脸可识别的各组合对象。
另外，如果上述在检测过程中，检测到的头部对应为背影或者侧向无法识别人脸时，按照上述预设条件得到的组合对象为人脸不可识别的各组合对象。
S104，依次根据各组合对象中包括的各特征对各组合对象进行层次聚类，形成多层次聚类后的各聚类集合，其中，各特征包括头部特征以及衣物特征。
上述对提取到的各属性特征按照预设条件进行组合，得到各组合对象后，可以按照各属性特征对各组合对象进行聚类，进而将各组合对象按照属性特征划分到不同的集合中。
聚类为将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。聚类分析又称群分析，它是研究(样品或指标)分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。
例如，在本发明实施例中，可采用层次聚类的分析方法，分别按照头部特征以及衣物特征对上述得到的各组合对象进行层次聚类分析，将各组合对象按照特征相似度划分到对应的集合中，即为本发明实施例的聚类集合。每个聚类集合中包含有该集合对应特征相似度最高的多个组合对象。
S105，针对各聚类集合，将该聚类集合中出现次数最多的人脸编号所对应的组合对象，确定为该聚类集合对应的目标人物。
在上述对各组合对象进行聚类分析并形成多个聚类集合后，可对每个聚类集合中包含的各组合对象中各可识别的完整的人脸的组合对象的人脸编号进行统计。进而将每个聚类集合中编号出现次数最多的组合对象，确定为该聚类集合所有组合对象对应的目标人物。本发明实施例的目标人物表示对应的聚类集合中所有组合对象均为该人物。
需要说明的是，如果上述任一聚类集合中出现次数最多的人脸编号所对应的组合对象为多个，可以择一的方式将出现次数最多的多个人脸编号分别对应的多个组合对象中，任一个组合对象确定为该聚类集合目标人物。或者将出现次数最多的多个人脸编号分别对应的多个组合对象都确定为该聚类集合目标人物。
本发明实施例提供的一种人物识别方法，实现了对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。具体为，首先检测人脸位置并对可识别的人脸进行人脸识别得到人脸编号，进而检测头部位置与衣物位置，以及提取头部特征以及衣物特征，按照设置的预设条件对提取的人脸位置、头部位置以及衣物位置进行多特征组合，形成包括能够识别人脸的各组合对象以及不能识别人脸的各组合对象。在每种特征下对上述各组合对象进行聚类，得到多层次聚类后的各聚类集合。针对上述各聚类集合，可将该集合中的各组合对象均确定为该集合中出现次数最多的人脸编号所对应的组合对象。则可实现将各集合中包含的不可识别的人脸所对应的各组合对象找到对应的可识别人物身份，即可实现对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。
可选地，在本发明实施例的人物身份识别方法的一种实施例中，对待处理视频每帧图像的各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征，包括：
步骤一，将待处理视频进行解帧，得到待处理视频的每帧图像。
本发明实施例为提取待处理视频中多种类型特征向量的实施方法。
本步骤为对待处理视频进行解帧的实施过程。具体为，采用视频解帧技术对待处理视频进行解帧，例如，可设置视频解帧的速率为每秒帧数fps＝2，将该待处理视频分解成每帧图像。
步骤二，利用训练好的目标检测器，检测每帧图像对应的各人物头部位置以及衣物位置。
上述对待处理视频进行解帧，得到每帧图像后，对每帧图像中出现的各人物的头部位置以及衣物位置进行检测。
具体为，采用对应类型的目标检测器，分别检测每帧图像中出现的头部位置以及衣物位置，进而得到各头部位置rh以及各衣物位置rc。
需要说明的是，在对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置的实施步骤中，可按照上述对待处理视频每帧图像的各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置的实施方式相同，进而可得到人脸位置rf。
步骤三，针对每帧图像对应的各人物头部位置以及衣物位置，分别提取每帧图像中各人物的头部特征以及衣物特征。
上述在检测到每帧图像中出现的各人物的头部位置以及衣物位置后，可按照卷积神经网络训练好的各特征分类模型，分别提取待处理视频每帧视频图像中各人物的头部特征以及衣物特征。
具体在采用头部特征分类模型，提取每帧视频图像中人物的头部特征过程如下：
(1)训练头部特征分类模型：训练集包括Qh个类别，每个类别为同一个人的头部图像，包含了各个角度。模型可以采用现有的或者自己设计的卷积神经网络分类模型。
(2)利用该模型进行前向推理，提取其中一个隐藏层的输出作为特征向量，得到头部特征fh。
(3)可以对fh进行PCA(Principal Component Analysis，主成分分析)或者独立成分分析等降维操作。
(4)可以采用不同的头部特征分类模型进行特征的融合，提取不同的隐藏层进行特征之间的融合。
具体在提取衣物特征的过程与上述提取头部特征的过程类似，此处不再一一赘述。
另外，在本发明实施例中，可以同时检测头部特征以及脸部特征2个类别，输出对应的外接矩形和置信度。检测器可以采用faster rcnn，ssd等检测模型。
可见，通过本发明实施例，可实现提取人物多类型的特征向量，进而通过分析多种类型的特征向量，确保更加精确的确定人物身份。
可选地，在本发明实施例的人物身份识别方法的一种实施例中，依次根据各组合对象中包括的各特征对各组合对象进行层次聚类，形成多层次聚类后的各聚类集合，可如图2所示。图2为本发明实施例的一种人物识别方法的聚类集合形成过程方法流程图，包括：
S201，根据各组合对象中包括的衣物特征，对各组合对象进行第一次聚类，对应得到各衣物特征的组合对象集合。
在本发明实施例中，采用层次聚类的方式对得到的各组合对象进行聚类，进而将各组合对象对应划分到多个聚类集合中。
层次聚类就是一层一层的进行聚类，可以由上向下把大的类别分割，叫作分裂法；也可以由下向上对小的类别进行聚合，叫作凝聚法。分裂法指的是初始时将所有的样本归为一个类簇，然后依据某种准则进行逐渐的分裂，直到达到某种条件或者达到设定的分类数目。在本发明实施例中，采用由下向上把大的类别分割的凝聚法，对上述各组合对象进行聚类。
具体方式为，将上述各组合对象分别作为一类，按照各组合对象的衣物特征所对应的特征向量计算每两个组合对象头部特征之间的距离，找出距离最近的两个组合对象A、B；将组合对象A、B分配到同一个集合C中。重复计算剩余组合对象中每两个组合对象之前的距离，找出距离最近的两个组合对象，将其归并为一个集合中。可按照该种聚类方式将各组合对象先两两划分为一个集合，进而通过设置预期的集合数或者每个集合中各组合对象的衣物特征对应的特征向量的距离阈值，直到满足阈值后，该聚类结束。
另外，在本发明实施例中还可采用由上向下把大的类别分割的分裂法，对上述各组合对象进行聚类。
具体方式为，将上述各组合对象作为一个初始集合，按照各组合对象的衣物特征所对应的特征向量计算每两个组合对象之间的距离，找出距离最远的两个组合对象A、B；将组合对象A、B分配到不同的集合C1和C2中。计算初始集合中剩余的其他组合对象的衣物特征对应的特征向量与A、B的距离，若是该组合对象与A的距离小于该组合对象与B的距离，则将该组合对象归到集合C1中，否则归到C2中。
可按照该种聚类方式将各组合对象先划分到两个集合中，然后可对每个集合每两个组合对象衣物特征对应的特征向量的距离设置阈值。当距离大于该阈值时，需要将该集合中的各组合对象按照上述分裂方式再次进行聚类，直到每个集合中两两组合对象的衣物特征对应的特征向量的距离小于该阈值时，该聚类完成。
假设根据各组合对象中包括的衣物特征，按照上述方式对各组合对象进行第一次聚类，对应得到各衣物特征的组合对象集合为M个。
S202，根据各组合对象中包括的头部特征，对各衣物特征的组合对象集合中各组合对象进行第二次聚类，对应得到各聚类集合。
上述在按照各组合对象中包括的衣物特征，对各组合对象进行第一次聚类，对应得到M个衣物特征的组合对象集合后，对每个集合中的各组合对象按照头部特征再进行第二次聚类。具体实施方式如下：
对每个衣物特征的组合对象集合，得到各组合对象的头部特征对应的特征向量。按照各组合对象的头部特征所对应的特征向量计算每两个组合对象之间的距离，找出距离最近的两个组合对象a、b；将组合对象a、b分配到同一个集合c中。重复计算剩余组合对象中每两个组合对象的头部特征之前的距离，找出距离最近的两个组合对象，将其归并为一个集合中。可按照该种聚类方式将各组合对象先两两划分为一个集合，进而通过设置预期的集合数或者每个集合中各组合对象的头部特征对应的特征向量的距离阈值，直到满足阈值后，该聚类结束。
另外，在本发明实施例中还可采用分裂法，对上述各组合对象进行聚类。具体为，按照各组合对象的头部特征向量计算每两个组合对象之间的距离，找出距离最远的两个组合对象a、b；将组合对象a、b分配到不同的集合c1和c2中。计算每个衣物特征的组合对象集合中剩余的其他组合对象的头部特征所对应的头部特征向量与a、b的距离。若是该组合对象与a的距离小于该组合对象与b的距离，则将该组合对象归到集合c1中，否则归到c2中。
可按照该种聚类方式将各组合对象先划分到两个集合中，然后可对每个集合每两个组合对象的头部特征所对应的头部特征向量的距离设置阈值。当距离大于该阈值时，需要将该集合中的各组合对象按照上述分裂方式再次进行聚类，直到每个集合中两两组合对象的头部特征所对应的头部特征向量的距离小于该阈值时，该聚类完成。
假设根据各组合对象中包括的头部特征，按照上述方式对M个衣物特征的组合对象集合分别进行第二次聚类，每个衣物特征的组合对象集合聚类成Nm个子类集合，则M个衣物特征的组合对象集合聚类成
Figure BDA0001516692980000121
个子类集合，即对应形成本发明实施例的
Figure BDA0001516692980000122
个聚类集合。
另外，在本发明实施例中还可先根据各组合对象中包括的头部特征，对各组合对象进行第一次聚类，再根据各组合对象中包括的衣物特征，对各组合对象进行第二次聚类，对应形成多层次聚类后的各聚类集合。
需要说明的是，本发明实施例的聚类方式以及聚类顺序不作限制，采用何种具体的聚类方法，以及聚类顺序达到本发明实施例的聚类结果都属于本发明实施例的保护范围，此处不再一一赘述。
可见，通过本发明实施例的多层次聚类方式对各组合对象进程聚类，可实现按照特征向量对各组合对象进行聚合，进而得到每个特征向量相近的多个组合对象形成的各聚类集合，实现缩小每个集合中组合对象的差异。
可选地，在本发明实施例的人物身份识别方法的一种实施例中，针对各聚类集合，将该聚类集合中出现次数最多的人脸编号所对应的组合对象，确定为该聚类集合对应的目标人物，如图3所示。图3为本发明实施例的一种人物识别方法的聚类集合的目标人物确定方法流程图，包括：
S301，针对各聚类集合，统计该聚类集合中各人脸编号的出现次数，将出现次数最多的人脸编号确定为目标编号。
本发明实施例为确定每个聚类集合中各组合人物对应的目标人物的实施方法。具体实施过程如下：
针对每个聚类集合，可采用检测程序检测每个聚类集合中出现的人脸编号，在采用统计函数分别统计每个人脸编号的次数，进而确定出次数最多的人脸编号，将该人脸编号对应确定为该聚类集合所对应的目标编号。
S302，将目标编号所对应的组合对象，确定为该聚类集合对应的目标人物。
上述在确定了每个聚类集合的目标编号后，将该目标编号所对应的组合对象，确定为该聚类集合对应的目标人物。
在上述对每个聚类集合统计出次数最多的人脸编号，确定目标编号时，可能存在某聚类集合有多个目标编号，则可将该多个目标编号分别对应的组合对象均确定为该聚类集合的目标人物，即为该聚类集合中的所有组合对象可为该多个目标编号对应的组合对象。另外，还可将该多个目标编号分别对应的组合对象中任一组合对象确定为该聚类集合的目标人物，即为该聚类集合中的所有组合对象均为上述确定的任一组合对象。
在本发明实施例中，还可按照特征提取时构建的训练模型设置评分规则，对该聚类集合确定的多个目标编号对应的组合对象特征与该聚类集合中剩余组合对象对应的特征进行比对进而打分，将分数最高的目标编号对应的组合对象确定为该聚类集合的所有组合对象的目标人物。
可见，通过本发明实施例，可实现确定每个聚类集合中各组合对象的目标人物，进而实现对每个聚类集合中包含的无法识别的组合对象确定身份，增加可识别人物的召回。
可选地，在本发明实施例的人物身份识别方法的一种实施例中，将各人脸位置、各头部位置以及各衣物位置通过预设条件进行组合，得到各组合对象，可如图4所示。图4为本发明实施例的一种人物识别方法的组合对象确定方法流程图，包括：
S401，根据预设的头部位置与衣物位置的组合条件，将各头部位置与各衣物位置进行组合，得到第一组合结果。
本发明实施例为按照预设条件，将提取的待处理视频中每帧图像中人物的人脸、头部以及衣物进行组合，进而得到各组合对象的实施方法。
按照预设的头部位置与衣物位置的组合条件，将头部位置与衣物位置进行组合，得到含有头部以及衣物特征的组合结果，即本发明实施例的第一组合结果。
具体的，可设置预设的头部位置与衣物位置的组合条件为：
(1)wc＞wh，hc＞hh，wc，hc分别为衣物特征的宽、高，wh，hh分别为头部特征的宽、高。
(2)syc＞cyh，syc为衣物特征左上角点的y坐标，cyh为头部特征的中点的y坐标。
(3)sxc＜cxh＜exc，sxc为衣物特征左上角点的x坐标，exc为衣物特征右下角点的x坐标，cxh为头部特征的中点的x坐标。
按照上述预设的头部位置与衣物位置的组合条件，将各头部位置与各衣物位置进行组合，得到第一组合结果。
S402，在第一组合结果的基础上，根据预设的人脸位置与头部位置的组合条件，将各人脸位置与各头部位置进行组合，得到各组合对象。
上述按照预设的头部位置与衣物位置的组合条件，将提取的头部特征与衣物特征进行组合后，在各第一组合结果上，将人脸位置进行组合。
具体地，在上述第一组合结果的基础上找到头部位置与人脸位置匹配的各组合对象，进而得到能够识别人脸的各组合对象，以及能够识别人脸的各组合对象所对应的人脸编号。例如，预设的人脸位置与上述第一组合结果的头部位置的组合条件为：人脸位置rf在头部位置rh内，且头部位置rh与人脸位置rf的高度最相近。
进而，在上述确定第一组合结果中能够识别人脸的各组合后，剩余的第一组合对象即为本发明实施例所要确定无法识别身份的各组合对象。
可见，通过本发明实施例，可实现提取人物的多种特征，进而通过将提取到的多种特征进行组合，得到各组合对象。
为了更好的说明本发明实施例的一种人物识别方法，可有如图5所示的本发明实施例的另一种人物识别方法流程图，包括：
S501，将待处理视频进行解帧，例如，每秒帧数fps＝2；
S502，利用神经网络训练好的分类器对每帧图像进行人脸识别，得到人脸位置rf、置信度以及能够识别的人脸所对应的人脸编号entity id；
S503，利用神经网络训练好的目标检测器对每帧图像检测头部区域head，衣物区域clothes，得到头部位置rh、衣物位置rc。可以同时检测head，clothes2个类别，输出为目标的外接矩形和置信度。检测器可以采用faster rcnn，ssd等检测模型。
S504，针对head、clothes区域分别提取头部特征、衣物特征。
S505，根据人脸位置rf、头部位置rh、衣物位置rc的大小及相对位置关系组合，形成各组合对象。
S506，对所有的组合对象按照各特征进行层次聚类，得到多个聚类集合。
S507，对每个聚类集合进行投票，确定该聚类集合的entity id。或者对每个聚类集合分别统计该聚类集合中出现次数最多的entity id，将该entity id对应确定为该聚类集合的entity id。
可见，通过本发明实施例的人物识别方法，可实现结合人脸识别结果、头部特征以及衣物特征，以及采用两层层次聚类进行人物类别的划分，并采用投票的策略来决定该类别的entity id，进而实现了对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。
在本发明实施的第二方面，提供了一种人物识别装置，如图6所示。图6为本发明实施例的一种人物识别装置结构示意图，包括：
人脸识别模块601，用于对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；
特征提取模块602，用于对待处理视频每帧图像的各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；
特征组合模块603，用于将各人脸位置、各头部位置以及各衣物位置通过预设条件进行组合，得到各组合对象；
特征聚类模块604，用于依次根据各组合对象中包括的各特征对各组合对象进行层次聚类，形成多层次聚类后的各聚类集合，其中，各特征包括头部特征以及衣物特征；
人物确定模块605，用于针对各聚类集合，将该聚类集合中出现次数最多的人脸编号所对应的组合对象，确定为该聚类集合对应的目标人物。
本发明实施例提供的一种人物识别装置，实现了对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。具体为，首先检测人脸位置并对可识别的人脸进行人脸识别得到人脸编号，进而检测头部位置与衣物位置，以及提取头部特征以及衣物特征，按照设置的预设条件对提取的人脸位置、头部位置以及衣物位置进行多特征组合，形成包括能够识别人脸的各组合对象以及不能识别人脸的各组合对象。在每种特征下对上述各组合对象进行聚类，得到多层次聚类后的各聚类集合。针对上述各聚类集合，可将该集合中的各组合对象均确定为该集合中出现次数最多的人脸编号所对应的组合对象。则可实现将各集合中包含的不可识别的人脸所对应的各组合对象找到对应的可识别人物身份，即可实现对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。
可选地，在本发明实施例的人物身份识别装置的一种实施例中，特征聚类模块604，包括：
衣物特征聚类子模块，用于根据各组合对象中包括的衣物特征，对各组合对象进行第一次聚类，对应得到各衣物特征的组合对象集合；
头部特征聚类子模块，用于根据各组合对象中包括的头部特征，对各衣物特征的组合对象集合中各组合对象进行第二次聚类，对应得到各聚类集合。
可选地，在本发明实施例的人物身份识别装置的一种实施例中，人物确定模块605，包括：
统计子模块，用于针对各聚类集合，统计该聚类集合中各人脸编号的出现次数，将出现次数最多的人脸编号确定为目标编号；
人物确定子模块，用于将目标编号所对应的组合对象，确定为该聚类集合对应的目标人物。
可选地，在本发明实施例的人物身份识别装置的一种实施例中，特征组合模块603，包括：
第一特征组合子模块，用于根据预设的头部位置与衣物位置的组合条件，将各头部位置与各衣物位置进行组合，得到第一组合结果；
第二特征组合子模块，用于在第一组合结果的基础上，根据预设的人脸位置与头部位置的组合条件，将各人脸位置与各头部位置进行组合，得到各组合对象。
可选地，在本发明实施例的人物身份识别装置的一种实施例中，特征提取模块602，包括：
解帧子模块，用于将待处理视频进行解帧，得到待处理视频的每帧图像；
检测子模块，用于利用训练好的目标检测器，检测每帧图像对应的各人物头部位置以及衣物位置；
提取子模块，用于针对每帧图像对应的各人物头部位置以及衣物位置，分别提取每帧图像中各人物的头部特征以及衣物特征。
在本发明实施的第三方面，提供了一种电子设备，如图7所示。图7为本发明实施例的一种电子设备结构示意图，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701、通信接口702、存储器703通过通信总线704完成相互间的通信；
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现如下方法步骤：
对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；
对待处理视频每帧图像的各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；
将各人脸位置、各头部位置以及各衣物位置通过预设条件进行组合，得到各组合对象；
依次根据各组合对象中包括的各特征对各组合对象进行层次聚类，形成多层次聚类后的各聚类集合，其中，各特征包括头部特征以及衣物特征；
针对各聚类集合，将该聚类集合中出现次数最多的人脸编号所对应的组合对象，确定为该聚类集合对应的目标人物。
上述电子设备提到的通信总线704可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线704可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口702用于上述电子设备与其他设备之间的通信。
存储器703可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器703还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器701可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的一种电子设备，实现了对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。具体为，首先检测人脸位置并对可识别的人脸进行人脸识别得到人脸编号，进而检测头部位置与衣物位置，以及提取头部特征以及衣物特征，按照设置的预设条件对提取的人脸位置、头部位置以及衣物位置进行多特征组合，形成包括能够识别人脸的各组合对象以及不能识别人脸的各组合对象。在每种特征下对上述各组合对象进行聚类，得到多层次聚类后的各聚类集合。针对上述各聚类集合，可将该集合中的各组合对象均确定为该集合中出现次数最多的人脸编号所对应的组合对象。则可实现将各集合中包含的不可识别的人脸所对应的各组合对象找到对应的可识别人物身份，即可实现对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述人物识别方法中任一的方法步骤。
本发明实施例提供的一种计算机可读存储介质，实现了对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。具体为，首先检测人脸位置并对可识别的人脸进行人脸识别得到人脸编号，进而检测头部位置与衣物位置，以及提取头部特征以及衣物特征，按照设置的预设条件对提取的人脸位置、头部位置以及衣物位置进行多特征组合，形成包括能够识别人脸的各组合对象以及不能识别人脸的各组合对象。在每种特征下对上述各组合对象进行聚类，得到多层次聚类后的各聚类集合。针对上述各聚类集合，可将该集合中的各组合对象均确定为该集合中出现次数最多的人脸编号所对应的组合对象。则可实现将各集合中包含的不可识别的人脸所对应的各组合对象找到对应的可识别人物身份，即可实现对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述人物识别方法中任一的方法步骤。
本发明实施例提供的一种包含指令的计算机程序产品，实现了对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。具体为，首先检测人脸位置并对可识别的人脸进行人脸识别得到人脸编号，进而检测头部位置与衣物位置，以及提取头部特征以及衣物特征，按照设置的预设条件对提取的人脸位置、头部位置以及衣物位置进行多特征组合，形成包括能够识别人脸的各组合对象以及不能识别人脸的各组合对象。在每种特征下对上述各组合对象进行聚类，得到多层次聚类后的各聚类集合。针对上述各聚类集合，可将该集合中的各组合对象均确定为该集合中出现次数最多的人脸编号所对应的组合对象。则可实现将各集合中包含的不可识别的人脸所对应的各组合对象找到对应的可识别人物身份，即可实现对低分辨率正脸、侧脸以及背影等不可识别人脸对应的人物信息的人物身份识别，增加人物的召回。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置以及电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种人物识别方法，其特征在于，包括：
对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；
对所述待处理视频每帧图像的所述各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；
将所述各人脸位置、所述各头部位置以及所述各衣物位置通过预设条件进行组合，得到各组合对象；
依次根据所述各组合对象中包括的各特征对所述各组合对象进行层次聚类，形成多层次聚类后的各聚类集合，其中，所述各特征包括头部特征以及衣物特征；
针对所述各聚类集合，将该聚类集合中出现次数最多的人脸编号所对应的组合对象，确定为该聚类集合对应的目标人物。
2.根据权利要求1所述的方法，其特征在于，所述依次根据所述各组合对象中包括的各特征对所述各组合对象进行层次聚类，形成多层次聚类后的各聚类集合，包括：
根据所述各组合对象中包括的衣物特征，对所述各组合对象进行第一次聚类，对应得到各衣物特征的组合对象集合；
根据所述各组合对象中包括的头部特征，对所述各衣物特征的组合对象集合中各组合对象进行第二次聚类，对应得到各聚类集合。
3.根据权利要求1所述的方法，其特征在于，所述针对所述各聚类集合，将该聚类集合中出现次数最多的人脸编号所对应的组合对象，确定为该聚类集合对应的目标人物，包括：
针对所述各聚类集合，统计该聚类集合中各人脸编号的出现次数，将出现次数最多的人脸编号确定为目标编号；
将所述目标编号所对应的组合对象，确定为该聚类集合对应的目标人物。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述各人脸位置、所述各头部位置以及所述各衣物位置通过预设条件进行组合，得到各组合对象，包括：
根据预设的头部位置与衣物位置的组合条件，将所述各头部位置与所述各衣物位置进行组合，得到第一组合结果；
在所述第一组合结果的基础上，根据预设的人脸位置与头部位置的组合条件，将所述各人脸位置与所述各头部位置进行组合，得到各组合对象。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述待处理视频每帧图像的所述各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征，包括：
将待处理视频进行解帧，得到所述待处理视频的每帧图像；
利用训练好的目标检测器，检测所述每帧图像对应的各人物头部位置以及衣物位置；
针对所述每帧图像对应的所述各人物头部位置以及衣物位置，分别提取所述每帧图像中所述各人物的头部特征以及衣物特征。
6.一种人物识别装置，其特征在于，包括：
人脸识别模块，用于对待处理视频每帧图像的各人物分别进行人脸检测，得到各人脸位置，并识别检测到的人脸，得到能够识别的人脸所对应的人脸编号以及置信度；
特征提取模块，用于对所述待处理视频每帧图像的所述各人物分别进行头部检测以及衣物检测，得到各头部位置以及各衣物位置，并提取各头部特征以及各衣物特征；
特征组合模块，用于将所述各人脸位置、所述各头部位置以及所述各衣物位置通过预设条件进行组合，得到各组合对象；
特征聚类模块，用于依次根据所述各组合对象中包括的各特征对所述各组合对象进行层次聚类，形成多层次聚类后的各聚类集合，其中，所述各特征包括头部特征以及衣物特征；
人物确定模块，用于针对所述各聚类集合，将该聚类集合中出现次数最多的人脸编号所对应的组合对象，确定为该聚类集合对应的目标人物。
7.根据权利要求6所述的装置，其特征在于，所述特征聚类模块，包括：
衣物特征聚类子模块，用于根据所述各组合对象中包括的衣物特征，对所述各组合对象进行第一次聚类，对应得到各衣物特征的组合对象集合；
头部特征聚类子模块，用于根据所述各组合对象中包括的头部特征，对所述各衣物特征的组合对象集合中各组合对象进行第二次聚类，对应得到各聚类集合。
8.根据权利要求6所述的装置，其特征在于，所述人物确定模块，包括：
统计子模块，用于针对所述各聚类集合，统计该聚类集合中各人脸编号的出现次数，将出现次数最多的人脸编号确定为目标编号；
人物确定子模块，用于将所述目标编号所对应的组合对象，确定为该聚类集合对应的目标人物。
9.根据权利要求6-8任一项所述的装置，其特征在于，所述特征组合模块，包括：
第一特征组合子模块，用于根据预设的头部位置与衣物位置的组合条件，将所述各头部位置与所述各衣物位置进行组合，得到第一组合结果；
第二特征组合子模块，用于在所述第一组合结果的基础上，根据预设的人脸位置与头部位置的组合条件，将所述各人脸位置与所述各头部位置进行组合，得到各组合对象。
10.根据权利要求6-8任一项所述的装置，其特征在于，所述特征提取模块，包括：
解帧子模块，用于将待处理视频进行解帧，得到所述待处理视频的每帧图像；
检测子模块，用于利用训练好的目标检测器，检测所述每帧图像对应的各人物头部位置以及衣物位置；
提取子模块，用于针对所述每帧图像对应的所述各人物头部位置以及衣物位置，分别提取所述每帧图像中所述各人物的头部特征以及衣物特征。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
CN201711386395.3A 2017-12-20 2017-12-20 一种人物识别方法、装置及电子设备 Active CN108154171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711386395.3A CN108154171B (zh) 2017-12-20 2017-12-20 一种人物识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711386395.3A CN108154171B (zh) 2017-12-20 2017-12-20 一种人物识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108154171A CN108154171A (zh) 2018-06-12
CN108154171B true CN108154171B (zh) 2021-04-23

Family

ID=62464617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711386395.3A Active CN108154171B (zh) 2017-12-20 2017-12-20 一种人物识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN108154171B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271859A (zh) * 2018-08-14 2019-01-25 深圳市商汤科技有限公司 串并案方法和装置、电子设备、计算机存储介质
CN109117803B (zh) * 2018-08-21 2021-08-24 腾讯科技（深圳）有限公司 人脸图像的聚类方法、装置、服务器及存储介质
CN109167935A (zh) * 2018-10-15 2019-01-08 Oppo广东移动通信有限公司 视频处理方法和装置、电子设备、计算机可读存储介质
CN109543641B (zh) * 2018-11-30 2021-01-26 厦门市美亚柏科信息股份有限公司 一种实时视频的多目标去重方法、终端设备及存储介质
CN109801394B (zh) * 2018-12-29 2021-07-30 南京天溯自动化控制系统有限公司 一种工作人员考勤方法及装置、电子设备和可读存储介质
CN110163096B (zh) * 2019-04-16 2021-11-02 北京奇艺世纪科技有限公司 人物识别方法、装置、电子设备和计算机可读介质
CN110175565A (zh) * 2019-05-27 2019-08-27 北京字节跳动网络技术有限公司 用于识别人物情感的方法和装置
CN110427862B (zh) * 2019-07-26 2021-08-27 北京奇艺世纪科技有限公司 一种人脸图片收集方法、装置及电子设备
CN110569777B (zh) * 2019-08-30 2022-05-06 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110807361B (zh) * 2019-09-19 2023-08-08 腾讯科技（深圳）有限公司 人体识别方法、装置、计算机设备及存储介质
CN110765955A (zh) * 2019-10-25 2020-02-07 北京威晟艾德尔科技有限公司 一种视频文件中人物识别方法
CN111190956B (zh) * 2019-12-26 2021-02-09 武汉优聘科技有限公司 一种信息展示决策方法及装置
CN112132030B (zh) * 2020-09-23 2024-05-28 湖南快乐阳光互动娱乐传媒有限公司 视频处理方法及装置、存储介质及电子设备
CN112102551A (zh) * 2020-09-27 2020-12-18 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质
CN112307938B (zh) * 2020-10-28 2022-11-11 深圳市商汤科技有限公司 数据聚类方法及其装置、电子设备、存储介质
CN112487969B (zh) * 2020-11-30 2023-06-30 苏州热工研究院有限公司 一种蒸汽发生器检查机器人检查目标的位置获取方法
AU2021203818A1 (en) * 2020-12-29 2022-07-14 Sensetime International Pte. Ltd. Object detection method and apparatus, and electronic device
CN112860932B (zh) * 2021-02-19 2022-08-12 电子科技大学 抵御恶意样本攻击的图像检索方法、装置、设备及存储介质
CN113283480B (zh) * 2021-05-13 2023-09-05 北京奇艺世纪科技有限公司 一种对象识别方法、装置、电子设备及存储介质
TWI824321B (zh) * 2021-07-02 2023-12-01 創惟科技股份有限公司 影像控制器、影像處理系統及影像修正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049749A (zh) * 2012-12-30 2013-04-17 信帧电子技术（北京）有限公司 在栅格遮挡下的人体再识别方法
CN103279768A (zh) * 2013-05-31 2013-09-04 北京航空航天大学 一种基于增量学习人脸分块视觉表征的视频人脸识别方法
CN104091156A (zh) * 2014-07-10 2014-10-08 深圳市中控生物识别技术有限公司 一种身份识别方法及装置
CN105590115A (zh) * 2015-12-18 2016-05-18 北京畅景立达软件技术有限公司 视角不变的人体特征表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049749A (zh) * 2012-12-30 2013-04-17 信帧电子技术（北京）有限公司 在栅格遮挡下的人体再识别方法
CN103279768A (zh) * 2013-05-31 2013-09-04 北京航空航天大学 一种基于增量学习人脸分块视觉表征的视频人脸识别方法
CN104091156A (zh) * 2014-07-10 2014-10-08 深圳市中控生物识别技术有限公司 一种身份识别方法及装置
CN105590115A (zh) * 2015-12-18 2016-05-18 北京畅景立达软件技术有限公司 视角不变的人体特征表示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Pedestrian Recognition and Tracking of Dancing Robot Based on Laser Scanner;Zhao Liu 等;《2016 Joint International Conference on Artifical Intelligence and Computer Engineering and International Conference on Network and Communicaion Security》;20161231;第1-6页 *
监控视频下行人再识别技术研究;罗雯怡;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215;正文第2-5章 *

Also Published As

Publication number Publication date
CN108154171A (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
CN108154171B (zh) 一种人物识别方法、装置及电子设备
Carcagnì et al. Facial expression recognition and histograms of oriented gradients: a comprehensive study
CN109165589B (zh) 基于深度学习的车辆重识别方法和装置
CN111738120B (zh) 人物识别方法、装置、电子设备及存储介质
US8750573B2 (en) Hand gesture detection
US8358837B2 (en) Apparatus and methods for detecting adult videos
US20180018503A1 (en) Method, terminal, and storage medium for tracking facial critical area
US10217010B2 (en) Information processing apparatus for registration of facial features in a collation database and control method of the same
CN106846355B (zh) 基于提升直觉模糊树的目标跟踪方法及装置
CN108154099B (zh) 一种人物识别方法、装置及电子设备
US20130342636A1 (en) Image-Based Real-Time Gesture Recognition
Molina-Moreno et al. Efficient scale-adaptive license plate detection system
TWI704505B (zh) 人臉辨識系統、建立人臉辨識之資料之方法及其人臉辨識之方法
JP7396568B2 (ja) 帳票レイアウト解析装置、その解析プログラムおよびその解析方法
Nanni et al. Combining face and eye detectors in a high-performance face-detection system
Masmoudi et al. Vision based system for vacant parking lot detection: Vpld
JP7341962B2 (ja) 学習データ収集装置、学習装置、学習データ収集方法およびプログラム
Lahiani et al. Hand pose estimation system based on Viola-Jones algorithm for android devices
JP2014182754A (ja) 学習装置、学習方法及びプログラム
CN110287361B (zh) 一种人物图片筛选方法及装置
Karappa et al. Detection of sign-language content in video through polar motion profiles
CN111126102A (zh) 人员搜索方法、装置及图像处理设备
CN113033257B (zh) 指纹识别方法、装置、电子设备及可读存储介质
CN109815359B (zh) 图像检索方法及相关产品
CN115457623A (zh) 停留时长检测方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant