CN110431560B - 目标人物的搜索方法和装置、设备和介质 - Google Patents

目标人物的搜索方法和装置、设备和介质 Download PDF

Info

Publication number
CN110431560B
CN110431560B CN201880018948.6A CN201880018948A CN110431560B CN 110431560 B CN110431560 B CN 110431560B CN 201880018948 A CN201880018948 A CN 201880018948A CN 110431560 B CN110431560 B CN 110431560B
Authority
CN
China
Prior art keywords
image
pedestrian
face
images
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880018948.6A
Other languages
English (en)
Other versions
CN110431560A (zh
Inventor
田茂清
伊帅
闫俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of CN110431560A publication Critical patent/CN110431560A/zh
Application granted granted Critical
Publication of CN110431560B publication Critical patent/CN110431560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Abstract

本申请实施例提供了一种目标人物的搜索方法和装置、设备和介质，提高了目标人物搜索的准确率。其中，所述方法包括：获取目标人物的图像；利用所述目标人物的图像，搜索人脸图像库，得到与所述目标人物的图像匹配的第一人脸图像模板，其中，所述人脸图像库包括多个人脸图像模板；根据所述第一人脸图像模板和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像模板，其中，所述行人图像库包括多个行人图像模板。

Description

目标人物的搜索方法和装置、设备和介质
本申请要求在2017年11月28日提交中国专利局、申请号为CN 201711219178.5、发明名称为“目标人物的搜索方法、装置和电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种目标人物的搜索方法和装置、电子设备和计算机存储介质。
背景技术
目前，针对目标人物的搜索方案，通常是在预先建立的图像库中搜索得到与目标人物的图像相同或相近的人物图像，将搜索得到的人物图像作为目标人物的搜索结果。如何能够同时保证较高的召回率和准确率是本领域研究热点。
发明内容
本申请实施例提供一种目标人物搜索的技术方案。
根据本申请实施例的一个方面，提供一种目标人物的搜索方法，包括：获取目标人物的图像；利用所述目标人物的图像，搜索人脸图像库，得到与所述目标人物的图像匹配的第一人脸图像模板，其中，所述人脸图像库包括多个人脸图像模板；根据所述第一人脸图像模板和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像模板，其中，所述行人图像库包括多个行人图像模板。
可选地，所述利用所述目标人物的图像，搜索人脸图像库，得到与所述目标人物的图像匹配的第一人脸图像模板，包括：获取所述目标人物的图像的第一人脸特征数据；根据所述第一人脸特征数据，从所述人脸图像库存储的多个人脸图像模板中确定所述第一人脸图像模板。
可选地，所述根据所述第一人脸特征数据，从所述人脸图像库存储的多个人脸图像模板中确定所述第一人脸图像模板，包括：基于所述第一人脸特征数据与所述多个人脸图像模板对应的多个第二人脸特征数据中每个第二人脸特征数据之间的距离，从所述多个人脸图像模板中确定所述第一人脸图像模板。
可选地，所述基于所述第一人脸特征数据与所述多个人脸图像模板对应的多个第二人脸特征数据中每个第二人脸特征数据之间的距离，从所述多个人脸图像模板中确定所述第一人脸图像模板，包括：
将所述多个第二人脸特征数据中与所述第一人脸特征数据之间的距离最小的第二人脸特征数据所对应的至少一个人脸图像模板确定为所述第一人脸图像模板；或者
将所述多个第二人脸特征数据中与所述第一人脸特征数据之间的距离小于或等于第一阈值的第二人脸特征数据所对应的至少一个人脸图像模板确定为所述第一人脸图像模板。
可选地，所述多个人脸图像模板中的至少两个人脸图像模板形成对应于同一人物的人脸轨迹，所述至少两个人脸图像模板对应的第二人脸特征数据为所述至少两个人脸图像模板形成的人脸轨迹的平均特征数据。
可选地，所述根据所述第一人脸图像模板和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像模板，包括：获取与所述第一人脸图像模板对应的第一行人图像；利用所述第一行人图像搜索所述行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像模板。
可选地，所述利用所述第一行人图像搜索所述行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像模板，包括：确定所述第一行人图像的第一行人特征数据；根据所述第一行人特征数据，从所述行人图像库存储的多个行人图像模板中确定与所述第一行人图像匹配的至少一个行人图像模板，并将与所述第一行人图像匹配的至少一个行人图像模板确定为所述目标行人图像模板。
可选地，所述根据所述第一行人特征数据，从所述行人图像库存储的多个行人图像模板中确定与所述第一行人图像匹配的至少一个行人图像模板，包括：确定基于所述第一行人特征数据与所述多个行人图像模板对应的多个第二行人特征数据中每个第二行人特征数据之间的距离，从所述多个行人图像模板中确定与所述第一行人图像匹配的至少一个行人图像模板。
可选地，所述基于所述第一行人特征数据与所述多个行人图像模板对应的多个第二行人特征数据中每个第二行人特征数据之间的距离，从所述多个行人图像模板中确定与所述第一行人图像匹配的至少一个行人图像模板，包括：将所述多个第二行人特征数据中与所述第一行人特征数据之间的距离最小的第二行人特征数据所对应的至少一个行人图像模板确定为与所述第一行人图像匹配的至少一个行人图像模板；或者将所述多个第二行人特征数据中与所述第一行人特征数据之间的距离小于或等于第二阈值的第二行人特征数据所对应的至少一个行人图像模板确定为与所述第一行人图像匹配的至少一个行人图像模板。
可选地，所述多个行人图像模板中的至少两个行人图像模板形成对应于同一人物的行人轨迹，所述至少两个行人图像模板对应的第二行人特征数据为所述至少两个行人图像模板形成的行人轨迹的平均特征数据。
可选地，所述第一人脸图像模板对应于第一人脸图像；所述获取与所述第一人脸图像模板对应的第一行人图像，包括：确定所述第一人脸图像所属的第一视频以及所述第一人脸图像的帧号信息和图像位置信息；根据所述第一人脸图像的帧号信息和图像位置信息，获取所述第一视频中与所述第一人脸图像模板对应的第一行人图像。
可选地，所述根据所述第一人脸图像的帧号信息和图像位置信息，获取所述第一视频中与所述第一人脸图像模板对应的第一行人图像，包括：若所述第一视频中存在帧号与所述第一人脸图像的帧号信息对应且包含所述第一人脸图像的行人图像，将所述包含所述第一人脸图像的行人图像确定为与所述第一人脸图像模板对应的第一行人图像。
可选地，所述方法还包括：若所述第一视频中不存在帧号与所述第一人脸图像的帧号信息对应且包含所述第一人脸图像的行人图像，将所述第一人脸图像在第一视频图像中按照预设比例进行扩展处理，得到与所述第一人脸图像对应的第一行人图像，其中，所述第一视频图像在所述第一视频中的帧号对应于所述第一人脸图像的帧号信息。
可选地，在所述根据所述第一人脸图像模板和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像模板之后，所述方法还包括：对所述至少一个目标行人图像模板进行筛选，得到所述目标人物的搜索结果。
可选地，所述对所述至少一个目标行人图像模板进行筛选，得到所述目标人物的搜索结果，包括：根据所述至少一个目标行人图像模板中每个目标行人图像模板的特征数据，将所述至少一个目标行人图像模板划分成至少一组行人图像模板；根据所述至少一组行人图像模板中每组行人图像模板包括的行人图像模板的特征数据，确定所述每组行人图像模板的筛选统计数据；根据所述至少一组行人图像模板中每组行人图像模板的筛选统计数据，将所述至少一组行人图像模板中的一组或多组行人图像模板对应的行人图像确定为所述目标人物的搜索结果。
可选地，在所述利用所述目标人物的图像，搜索人脸图像库，得到与所述目标人物的图像匹配的第一人脸图像模板之前，所述方法还包括：对至少一个视频中的每个视频包括的视频图像进行人脸检测处理，得到多个人脸图像模板；将所述多个人脸图像中每个人脸图像和/或所述每个人脸图像的信息作为人脸图像模板存储至所述人脸图像库，其中，所述人脸图像的信息包括下列中的至少一种：所述人脸图像的特征数据、所述人脸图像所属的视频信息、所述人脸图像的帧号信息、所述人脸图像在视频图像中的位置信息。
可选地，所述方法还包括：对所述多个人脸图像模板进行人脸跟踪处理，得到至少一个人脸轨迹，其中，每个人脸轨迹包括所述多个人脸图像模板中的至少两个人脸图像模板；根据所述至少一个人脸轨迹中每个人脸轨迹包括的至少两个人脸图像模板，确定所述每个人脸轨迹的平均特征数据；将所述至少一个人脸轨迹中每个人脸轨迹的平均特征数据存储至所述人脸图像库。
可选地，在所述根据所述第一人脸图像模板和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像模板之前，所述方法还包括：对至少一个视频中的每个视频包括的视频图像进行行人检测处理，得到多个行人图像；将所述多个行人图像中每个行人图像和/或所述每个行人图像的信息作为行人图像模板存储至所述行人图像库，其中，所述行人图像的信息包括下列中的至少一种：所述行人图像的特征数据、所述行人图像所属的视频信息、所述行人图像的帧号信息、所述行人图像在视频图像中的位置信息。
可选地，所述方法还包括：对所述多个行人图像进行行人跟踪处理，得到至少一个行人轨迹，其中，每个行人轨迹包括所述多个行人图像中的至少两个行人图像；根据所述至少一个行人轨迹中每个行人轨迹包括的至少两个行人图像，确定所述每个行人轨迹的平均特征数据；将所述至少一个行人轨迹中每个行人轨迹的平均特征数据存储至所述行人图像库。
根据本申请实施例的另一个方面，提供一种目标人物的搜索装置，包括：获取模块，用于获取目标人物的图像；人脸搜索模块，用于利用所述获取模块获取的所述目标人物的图像，搜索人脸图像库，得到与所述目标人物的图像匹配的第一人脸图像模板，其中，所述人脸图像库包括多个人脸图像模板；行人搜索模块，用于根据所述人脸搜索模块得到的所述第一人脸图像模板和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像模板，其中，所述行人图像库包括多个行人图像模板。
可选地，所述搜索装置用于实现上述任意可能的实现方式中的搜索方法，包括用于实现上述任意搜索方法中的步骤或流程的模块。
根据本申请实施例的又一个方面，提供一种电子设备，包括：处理器和存储器；所述存储器用于存放至少一个可执行指令，所述可执行指令使所述处理器执行如上述任意可能的实现方式中的目标人物的搜索方法。
根据本申请实施例的再一个方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机可读取的指令，所述指令被执行时实现上述任意可能的实现方式中的目标人物的搜索方法。
基于本申请实施例提供的目标人物的搜索方法和装置、电子设备和计算机存储介质，采用人脸搜索结合行人搜索的联合搜索策略，先基于人脸图像库搜索得到与目标人物的图像匹配的第一人脸图像模板，再基于行人图像库和第一人脸图像模板获取与目标人物的图像匹配的至少一个目标行人图像模板，提高了目标人物搜索的准确率。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请一些实施例的目标人物的搜索方法的流程图；
图2为本申请另一些实施例的目标人物的搜索方法的流程图；
图3为本申请另一些实施例的目标人物的搜索方法的逻辑框图；
图4为本申请一些实施例的目标人物的搜索装置的结构框图；
图5为本申请另一些实施例的目标人物的搜索装置的结构框图；
图6为本申请一些实施例的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
如图1所示，图1为本申请一些实施例的目标人物的搜索方法的流程图。
S100，获取目标人物的图像。
在本申请实施例中，目标人物的图像可以指包含有目标人物的至少一部分的图像，例如目标人物的人脸图像，可以包括人脸的静态图像或视频中包括人脸的视频帧图像。例如，目标人物的图像可以为视频帧图像，可以是来源于图像采集设备的视频序列中的图像帧，也可以是单独的一帧图像或者一幅图像，还可以来源于其他设备，本申请实施例对目标人物的图像的属性、来源和获得途径等具体实现不做限制。
在一个可选示例中，该S100可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的获取模块400执行。
S102，利用目标人物的图像，搜索人脸图像库，得到与目标人物的图像匹配的第一人脸图像模板。
在本申请实施例中，人脸图像库可以是预先建立的用于存储人脸图像模板的图像库。人脸图像库中可以包含一个或多个人物的人脸图像模板，每个人物可以对应一个或多个人脸图像模板。
可选地，人脸图像模板包括人脸图像和/或人脸图像的信息，人脸图像的信息可以包括人脸图像的特征数据，人脸图像的特征数据例如可以包括至少一个特征向量、至少一个特征图或其他形式，等等，本申请实施例对此不做限定。或者人脸图像的信息可以进一步包含有人脸图像所属的视频信息、人脸图像的帧号信息、人脸图像在视频图像中的位置信息、人脸图像所属的人脸轨迹的信息，等等，本申请实施例对此不做限定。
可选地，人脸图像库中包括的人脸图像模板可以是通过对一个或多个视频中的视频图像进行人脸检测处理得到的，或者，人脸图像库包括的人脸图像模板也可以是通过对静态图像进行人脸检测处理得到的，本申请实施例对人脸图像库中包括的人脸图像模板的来源不作限定。
可选地，第一人脸图像模板的个数可以为一个或多个，也就是说，可以利用目标人物的图像搜索人脸图像库，得到与目标人物的图像匹配的至少一个第一人脸图像模板。
例如，人脸图像库L中存储有多个人物的人脸图像模板，每个人物的人脸图像模板可以为一个或多个，基于人脸图像库L搜索与目标人物的图像P匹配的第一人脸图像模板l1、l2和l3。第一人脸图像模板l1、l2和l3为与目标人物的图像P对应于同一个人物的人脸图像模板。
在一个可选示例中，该S102可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的人脸搜索模块401执行。
S104，根据第一人脸图像模板和行人图像库，得到与目标人物的图像匹配的至少一个目标行人图像模板。
在本申请实施例中，行人图像库可以是预先建立的用于存储行人图像模板的图像库。行人图像库中可以包含一个或多个人物的多个行人图像模板，每个人物可以对应一个或多个行人图像模板。
可选地，行人图像模板包括行人图像和/或行人图像的信息，行人图像的信息可以包括行人图像的特征数据，行人图像的特征数据例如可以包括至少一个特征向量、至少一个特征图或其他形式，等等，本申请实施例对此不做限定。或者行人图像的信息可以进一步包含有行人图像所属的视频信息、行人图像的帧号信息、行人图像在视频图像中的位置信息、行人图像所属的行人轨迹的信息，等等，本申请实施例对此不做限定。
可选地，行人图像库中包括的行人图像模板可以是通过对一个或多个视频中的视频图像进行行人检测处理得到的，其中，行人图像库中的行人图像模板的视频来源可以与人脸图像库中的人脸图像模板的视频来源完全重叠、部分重叠或无重叠；或者，行人图像库中的行人图像模板可以是通过对静态图像进行行人检测处理得到的，本申请实施例对行人图像库中包括的行人图像模板的来源不作限定。
可选地，可以根据每个第一人脸图像模板和行人图像库，得到至少一个目标行人图像模板。该目标行人图像模板可以是通过搜索行人图像库得到的，但本申请实施例对此不作限定。
例如，行人图像库X中可以存储有一个或多个人物的行人图像模板，每个人物的行人图像模板可以为多个，根据行人图像库X和第一人脸图像模板l1可以获取与目标人物的图像P匹配的行人图像模板x1和x2，根据行人图像库X和第一人脸图像模板l2可以获取与目标人物的图像P匹配的行人图像模板x3，根据行人图像库X和第一人脸图像模板l3可以获取与目标人物的图像P匹配的行人图像模板x4和x5。这样，可以得到与目标人物的图像匹配的五个目标行人图像模板x1～x5。
在一个可选示例中，该S104可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的行人搜索模块402执行。
在本申请实施例中，上述S102可以认为是人脸搜索过程，S104可以认为是行人搜索过程。
通常，同一个人物的人脸是不随着时间变化而变化的，人脸搜索适用的时间跨度非常长，可以跨越数月甚至数年。而行人搜索关注的更多是行人的衣着、背包等信息，因此行人搜索适用的时间跨度往往只有几个小时，最多一两天。而且，在人脸图像库中的人脸图像模板的数量，以及行人图像库中的行人图像模板的数量达到一定程度后(如十万量级或者百万量级)，人脸搜索的精度远远大于行人搜索的精度。然而，在智能视频监控应用中，期望的搜索结果是与目标人物的图像对应的所有搜索结果。而人脸搜索所能获取到的只有人脸图像(考虑背对摄像机的人根本不会被拍到人脸的情况)，因此，人脸搜索的召回率在智能视频监控应用中低于行人搜索的召回率。其中，召回率又叫做查全率，用于衡量期望搜索结果中存在被搜索出目标的比例。
本申请实施例提供的方法采用用人脸搜索结合行人搜索的联合搜索策略，先基于人脸图像库搜索得到与目标人物的图像匹配的第一人脸图像模板，再基于行人图像库和第一人脸图像模板获取与目标人物的图像匹配的至少一个目标行人图像模板，既具有人脸搜索的时间跨度长、精确度高的优点，又具有行人搜索的召回率高的优点，提高了目标人物搜索的准确率。
如图2所示，图2为本申请另一些实施例的目标人物的搜索方法的流程图。
S200，建立人脸图像库和行人图像库。
在本申请实施例中，人脸图像库和行人图像库的建立过程可以相互独立、互不干扰，可以并行执行或以任意先后顺序执行，本申请实施例对此不做限制。下面将分别介绍人脸图像库和行人图像库的建立过程。
(一)建立人脸图像库
1)人脸检测处理
可以对至少一个视频中的每个视频包括的视频图像进行人脸检测处理，得到多个人脸图像，并将多个人脸图像中每个人脸图像和/或每个人脸图像的信息作为人脸图像模板存储至人脸图像库。
在一些可能的实现方式中，人脸图像的信息可以包括下列中的至少一种：人脸图像的特征数据、人脸图像所属的视频信息、人脸图像的帧号信息、人脸图像在视频图像中的位置信息(即人脸图像的图像位置信息)等。
人脸图像的帧号信息可以指示人脸图像所属的视频图像，或者，人脸图像所属的视频图像也可以利用其它信息指示。可选地，人脸图像在视频图像中的位置信息可以指示人脸图像在视频图像中的位置，例如，人脸图像在视频图像中的位置信息包括人脸图像的限定框在视频图像中的位置信息。在另一些可能的实现方式中，人脸图像的信息还包括其他信息，本申请实施例对此不作限定。
例如，可以将视频S1进行分帧处理，得到两帧视频图像Y1和Y2。然后，可以对视频图像Y1和Y2分别进行人脸检测处理，从视频图像Y1中得到人脸图像y1、y2和y3，从视频图像Y2中得到人脸图像y4和y5，并获取各个人脸图像的信息。其中，举例来说，人脸图像y1的信息包括：视频图像Y1的信息(如视频图像Y1的名称、帧号、占用空间、时长等)、人脸图像y1在视频图像Y1中的位置信息，等等。人脸图像y2、y3、y4和y5的信息与人脸图像y1的信息相似，在此不再赘述。最后，将人脸图像y1、y2、y3、y4和y5和/或各自的信息作为人脸图像模板存储至人脸图像库L。
2)人脸跟踪处理
对上述人脸检测处理得到的多个视频帧图像中的人脸图像进行人脸跟踪处理，得到至少一个人脸轨迹，其中，每个人脸轨迹包括多个人脸图像中的至少两个人脸图像。
人脸轨迹包括的至少两个人脸图像可以对应于同一人物。
在一些可能的实现方式中，将用于指示该多个人脸图像与该至少一个人脸轨迹之间的对应关系的信息存储至人脸图像库。例如，人脸图像对应的人脸图像模板包括人脸图像所属人脸轨迹的标识信息，再例如，人脸图像库包括人脸轨迹的标识信息以及人脸轨迹包括的至少两个人脸图像对应的人脸图像模板的标识信息，等等，但本申请实施例不限于此。
在一些例子中，将该至少一个人脸轨迹中每个人脸轨迹的信息存储至人脸图像库。
可选地，人脸轨迹的信息可以包括人脸轨迹包括的人脸图像对应的人脸图像模板的标识信息和/或人脸轨迹对应的特征数据，等等。
可选地，根据至少一个人脸轨迹中每个人脸轨迹包括的至少两个人脸图像，确定每个人脸轨迹的平均特征数据，并将至少一个人脸轨迹中每个人脸轨迹的平均特征数据存储至人脸图像库。其中，在一些实现方式中，人脸轨迹包括的至少两个人脸图像对应的人脸图像模板的特征数据为该人脸轨迹的平均特征数据，在另一些实现方式中，人脸轨迹包括的人脸图像对应的人脸图像模板的特征数据是通过对人脸图像进行特征提取得到的，本申请实施例对此不做限定。
例如，可以对人脸图像y1、y2、y3、y4和y5进行人脸跟踪处理，得到人脸轨迹g1和g2，其中，人脸轨迹g1包括人脸图像y1、y3和y5，人脸轨迹g2包括人脸图像y2和y4。可以分别提取人脸图像y1、y3和y5的特征数据，并将人脸图像y1、y3和y5的特征数据的平均处理结果作为人脸轨迹g1的平均特征数据gt1，其中，该平均处理为算术平均、几何平均或加权平均等，本申请实施例对此不做限定。另外，分别提取人脸图像y2和y4的特征数据，并将人脸图像y2和y4的特征数据的平均处理结果作为人脸轨迹g2的平均特征数据gt2。最后，将人脸轨迹g1的平均特征数据gt1和人脸轨迹g2的平均特征数据gt2存储至人脸图像库L。具体地，将人脸轨迹g1的平均特征数据gt1作为人脸图像y1、y3和y5对应的人脸图像模板的特征数据储存至人脸图像库L，并将人脸轨迹g2的平均特征数据gt2作为人脸图像y2和y4对应的人脸图像模板的特征数据存储至人脸图像库L。或者，人脸图像库L存储人脸图像y1、y3和y5中每个人脸图像的特征数据以及人脸轨迹g1的平均特征数据gt1。
应理解，在上述例子中以人脸轨迹包括的多个人脸图像的特征数据的平均处理结果作为人脸轨迹的平均特征数据，在本申请实施例中，人脸轨迹的平均特征数据可以是通过对人脸轨迹包括的至少两个人脸图像的特征数据进行一种或多种处理得到的，本申请实施例对处理的具体实现不作限定。
在一些可能的实现方式中，将人脸图像所属的人脸轨迹的信息作为人脸图像对应的人脸图像模板的信息存储至人脸图像库，例如，人脸图像模板的信息包括人脸图像所属的人脸轨迹的标识信息和/或平均特征数据，本申请实施例对此不作限定。
可选地，在建立人脸图像库的过程中，可以采用神经网络模型等进行人脸检测处理和人脸跟踪处理，本申请实施例对人脸检测处理和人脸跟踪处理所采用的技术手段不做限制。
(二)建立行人图像库
1)行人检测处理
对至少一个视频中的每个视频包括的视频图像进行行人检测处理，得到多个行人图像，并将多个行人图像中每个行人图像和/或每个行人图像的信息作为行人图像模板存储至行人图像库。
在一些可能的实现方式中，行人图像的信息可以包括下列中的至少一种：行人图像的特征数据、行人图像所属的视频信息、行人图像的帧号信息、行人图像在视频图像中的位置信息等。
行人图像的帧号信息可以指示行人图像所属的视频图像，或者，行人图像所属的视频图像也可以利用其它信息指示。可选地，行人图像在视频图像中的位置信息可以指示行人图像在视频图像中的位置，例如，行人图像在视频图像中的位置信息可以包括行人图像的限定框在视频图像中的位置信息。在另一些可能的实现方式中，行人图像的信息还可以包括其他信息，本申请实施例对此不作限定。
行人检测处理的执行过程可以参照上述人脸检测处理的执行过程，在此不再赘述。
2)行人跟踪处理
对上述行人检测处理得到的多个视频帧图像中的行人图像进行行人跟踪处理，得到至少一个行人轨迹，其中，每个行人轨迹包括多个行人图像中的至少两个行人图像。
行人轨迹包括的至少两个行人图像可以对应于同一人物。
在一些可能的实现方式中，可以将用于指示该多个行人图像与该至少一个行人轨迹之间的对应关系的信息存储至行人图像库。例如，行人图像对应的行人图像模板包括行人图像所属行人轨迹的标识信息，再例如，行人图像库包括行人轨迹的标识信息以及行人轨迹包括的至少两个行人图像对应的行人图像模板的标识信息，等等，但本申请实施例不限于此。
在一些例子中，可以将该至少一个行人轨迹中每个行人轨迹的信息存储至行人图像库。
可选地，行人轨迹的信息可以包括行人轨迹包括的行人图像对应的行人图像模板的标识信息和/或行人轨迹对应的特征数据，等等。
行人轨迹对应的特征数据是基于行人轨迹包括的至少两个行人图像提取的特征数据得到的。在一些实施方式中，根据行人轨迹包括的至少两个行人图像，确定行人轨迹的平均特征数据，并将行人轨迹的平均特征数据存储至行人图像库。具体地，行人轨迹对应的特征数据是通过对行人轨迹包括的至少两个行人图像提取的特征数据进行平均处理得到的，例如数学平均、几何平均、加权平均等等。其中，在一些实现方式中，行人轨迹包括的至少两个行人图像对应的行人图像模板的特征数据为该行人轨迹的平均特征数据，在另一些实现方式中，行人轨迹包括的行人图像对应的行人图像模板的特征数据是通过对行人图像进行特征提取得到的，本申请实施例对此不做限定。
应理解，在上述例子中以行人轨迹包括的多个行人图像的特征数据的平均处理结果作为行人轨迹的平均特征数据，在本申请实施例中，行人轨迹的平均特征数据可以是通过对行人轨迹包括的至少两个行人图像的特征数据进行一种或多种处理得到的，本申请实施例对处理的具体实现不作限定。
在一些可能的实现方式中，可以将行人图像所属的行人轨迹的信息作为行人图像对应的行人图像模板的信息存储至行人图像库，例如，行人图像模板的信息包括行人图像所属的行人轨迹的标识信息和/或平均特征数据，本申请实施例对此不作限定。
可选地，在建立行人图像库的过程中，可以采用神经网络模型或其他机器学习算法等手段进行行人检测处理和行人跟踪处理，本申请实施例对行人检测处理和行人跟踪处理所采用的技术手段不做限制。
行人跟踪处理的执行过程可以参照上述人脸跟踪处理的执行过程，在此不再赘述。
在一些可能的实现方式中，对视频序列中的视频图像进行人脸/行人检测处理，可以指利用人脸/行人检测算法对视频中的每一帧图像进行分析，得到每一帧图像中包括的人脸/行人，或者，基于关键帧技术，仅对视频序列中的关键帧进行人脸/行人检测处理，而对于非关键帧采用跟踪技术，但本申请实施例对此不做限定。
在一个可选示例中，该S200可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的人脸检测模块504、人脸跟踪模块505、行人检测模块506和行人跟踪模块507执行。
S202，获取目标人物的图像。
在一个可选示例中，该S202可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的获取模块500执行。
S204，利用目标人物的图像，搜索人脸图像库，得到与目标人物的图像匹配的第一人脸图像模板。
在一些可能的实现方式中，S204包括如下步骤。
S2040，获取目标人物的图像的第一人脸特征数据。
在本申请实施例中，将目标人物的图像的特征数据称为第一人脸特征数据。可选地，可以基于人脸识别神经网络提取目标人物的图像的第一人脸特征数据，或者，利用机器学习算法或其他手段获取目标人物的图像的特征数据。例如，基于人脸识别神经网络对目标人物的图像进行特征提取，得到第一人脸特征数据，第一人脸特征数据可以是256维或者512维向量或图，或者为其他维数的向量、矩阵、图或者张量，维数的数值依赖于人脸识别神经网络的实现，第一人脸特征数据的每一位数值可以是一个实数，其取值可以在-10到10之间，如果对第一人脸特征数据进行归一化处理，则每一位的取值可以在-1到1之间，但本申请实施例不限于此。
在另一些可选例子中，从其他设备处获取第一人脸特征数据。例如，服务器接收终端设备发送的目标人物的图像的第一人脸特征数据，但本公开实施例不限于此。
S2041，根据第一人脸特征数据，从人脸图像库存储的多个人脸图像模板中确定第一人脸图像模板。
可选地，将多个第二人脸特征数据中与第一人脸特征数据之间的距离满足预设条件的第二人脸特征数据所对应的人脸图像模板确定为第一人脸图像模板。在一些可能的实现方式中，可以基于第一人脸特征数据与多个人脸图像模板对应的多个第二人脸特征数据中每个第二人脸特征数据之间的距离(如余弦距离、欧式距离等等)，从多个人脸图像模板中确定第一人脸图像模板。在一个可选的例子中，可以将多个第二人脸特征数据中与第一人脸特征数据之间的距离最小的第二人脸特征数据所对应的至少一个人脸图像模板确定为第一人脸图像模板。在另一个可选的例子中，可以将多个第二人脸特征数据中与第一人脸特征数据之间的距离小于或等于第一阈值的第二人脸特征数据所对应的至少一个人脸图像模板确定为第一人脸图像模板，其中，第一阈值可以根据实际需要设置，本申请对其实现不做限定。。
这里将人脸图像库中的人脸图像模板的特征数据称为第二人脸特征数据。可选地，多个人脸图像模板中的每个人脸图像模板可以具有对应的第二人脸特征数据，其中，可选地，人脸图像模板对应的第二人脸特征数据是从人脸图像模板对应的人脸图像中提取的特征数据，或者是基于人脸图像模板对应的人物或人物轨迹中的一个或多个人脸图像提取的特征数据得到的，本公开实施例对此不做限定。该多个人脸图像模板中的不同人脸图像模板对应的第二人脸特征数据可以相同或不同。可选地，该多个人脸图像模板中对应于同一人物轨迹的至少两个人脸图像模板具有相同的第二人脸特征数据。例如，该至少两个人脸图像模板的第二人脸特征数据可以为该至少两个人脸图像模板所属人脸轨迹的平均特征数据，但本申请实施例不限于此。
例如，人脸图像模板y1、y2、y3、y4和y5中的人脸图像模板y1、y3和y5属于人脸轨迹g1，人脸图像模板y2和y4不属于任何人脸轨迹，则人脸图像模板y1对应的第二人脸特征数据、人脸图像模板y3对应的第二人脸特征数据和人脸图像模板y5对应的第二人脸特征数据均为人脸轨迹g1的平均特征数据gt1，人脸图像模板y2的第二人脸特征数据可以为人脸图像模板y2的特征数据。
在一个可选示例中，该S204可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的人脸搜索模块501执行。
S206，根据第一人脸图像模板和行人图像库，得到与目标人物的图像匹配的至少一个目标行人图像模板。
可选地，S206可以包括如下步骤。
S2060，获取与第一人脸图像模板对应的第一行人图像。
在本申请实施例中，第一人脸图像模板对应于第一人脸图像，可以从人脸图像库中获取第一人脸图像模板的信息，例如第一人脸图像模板对应的第一人脸图像的信息等，并根据获取的信息，确定与第一人脸图像模板对应的第一行人图像。可选地，第一人脸图像的信息可以包括第一人脸图像所属的视频的信息和/或第一人脸图像的帧号信息，或者进一步还包括第一人脸图像的图像位置信息。在一些例子中，可以确定第一人脸图像所属的第一视频以及第一人脸图像的帧号信息和图像位置信息，并根据第一人脸图像的帧号信息和图像位置信息，获取第一视频中与第一人脸图像模板对应的第一行人图像。
第一人脸图像的帧号信息指示第一人脸图像在第一视频中所在的帧，可以根据第一人脸图像的帧号信息获取第一视频中包括第一人脸图像的第一视频图像，其中，第一视频图像在第一视频中所属的帧对应于该第一人脸图像的帧号信息。
第一人脸图像的图像位置信息指示第一人脸图像在所属的视频图像中的位置，例如，第一人脸图像的限定框在第一视频图像中的坐标信息，但本申请实施例不限于此。
可选地，在获取第一行人图像的过程中，可以按照如下两种情况执行。
情况一、若第一视频中存在帧号与第一人脸图像的帧号信息对应且包含第一人脸图像的行人图像，将包含第一人脸图像的行人图像确定为与第一人脸图像模板对应的第一行人图像。
例如，第一人脸图像l1在第一视频M1的第10帧视频图像中，在第一视频M1的第10帧视频图像中存在完全包含第一人脸图像l1的行人图像x1，则将行人图像x1确定为与第一人脸图像l1对应的第一行人图像。
情况二、若第一视频中不存在帧号与第一人脸图像的帧号信息对应且包含第一人脸图像的行人图像，将第一人脸图像在第一视频图像中按照预设比例进行扩展处理，得到与第一人脸图像模板对应的第一行人图像，其中，第一视频图像在第一视频中的帧号对应于第一人脸图像的帧号信息。
例如，第一人脸图像l2在第一视频M2的第13帧视频图像中，在第一视频M2的第13帧视频图像中不存在完全包含第一人脸图像l2的行人图像，则可以将第一人脸图像l2在第一视频图像即第13帧视频图像中按照预设比例(如4或8倍的比例等)进行扩展处理，并将扩展处理后的区域确定为与第一人脸图像l2对应的第一行人图像。
S2061、利用第一行人图像搜索行人图像库，得到与目标人物的图像匹配的至少一个目标行人图像模板。
在本申请实施例中的一些实现方式中，确定第一行人图像的第一行人特征数据，并根据第一行人特征数据，从行人图像库存储的多个行人图像模板中确定与第一行人图像匹配的至少一个行人图像模板。
这里将第一行人图像的特征数据称为第一行人特征数据。可选地，在从行人图像库存储的多个行人图像模板中确定与第一行人图像匹配的至少一个行人图像模板时，可以基于第一行人特征数据与多个行人图像模板对应的多个第二行人特征数据中每个第二行人特征数据之间的距离，从多个行人图像模板中确定与第一行人图像匹配的至少一个行人图像模板。具体地，将多个第二行人特征数据中与第一行人特征数据之间的距离满足预设条件的第二行人特征数据所对应的行人图像模板确定为与第一行人图像匹配的行人图像模板。在一个可选的例子中，将多个第二行人特征数据中与第一行人特征数据之间的距离最小的第二行人特征数据所对应的至少一个行人图像模板确定为与第一行人图像匹配的至少一个行人图像模板。在另一个可选的例子中，将多个第二行人特征数据中与第一行人特征数据之间的距离小于或等于第二阈值的第二行人特征数据所对应的至少一个行人图像模板确定为与第一行人图像匹配的至少一个行人图像模板，其中，第二阈值可以根据实际需要预先设置，本申请对其具体实现不做限定。
可选地，多个行人图像模板中的每个行人图像模板具有对应的第二行人特征数据，其中，可选地，行人图像模板对应的第二行人特征数据是从行人图像模板对应的行人图像中提取的特征数据，或者是基于行人图像模板对应的人物或人物轨迹中的一个或多个行人图像提取的特征数据得到的，本公开实施例对此不做限定。该多个行人图像模板中的不同行人图像模板对应的第二行人特征数据可以相同或不同。可选地，该多个行人图像模板中对应于同一人物轨迹的至少两个行人图像模板具有相同的第二行人特征数据。例如，该至少两个行人图像模板的第二行人特征数据可以为该至少两个行人图像模板所属行人轨迹的平均特征数据，但本申请实施例不限于此。
在一些可能的实现方式中，将与第一行人图像匹配的至少一个行人图像模板确定为与目标人物的图像匹配的目标行人图像模板。
在另一些可能的实现方式中，S206还进一步包括：对与第一行人图像匹配的至少一个行人图像模板进行筛选，得到与目标人物的图像匹配的至少一个目标行人图像模板。
在本申请实施例中，将与目标人物的图像匹配的至少一个目标行人图像模板确定为目标人物的搜索结果。或者，首先确定与目标人物的图像匹配的至少一个目标行人图像模板，然后对与目标人物的图像匹配的至少一个目标行人图像模板进行筛选，得到目标人物的搜索结果，本申请实施例对此不做限定。
在一个可选示例中，该S206可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的行人搜索模块502执行。
S208、对与目标人物的图像匹配的至少一个目标行人图像模板进行筛选，得到目标人物的搜索结果。
可选地，S208按照如下两种方式中的至少一种方式实现。
1)、根据时间筛选条件和视频筛选条件中的至少一种对与目标人物的图像匹配的至少一个目标行人图像模板进行筛选。
在一些可能的实现方式中，可以手动设定筛选条件，例如，根据时间筛选条件(如从某日的某个时间段内)、视频筛选条件(如来源于哪个监控设备)对与目标人物的图像匹配的至少一个目标行人图像模板进行筛选。
在本申请实施例中，筛选条件包括但不限于时间筛选条件和视频筛选条件，还可以包括人物筛选条件，如性别、年龄等等，本申请实施例对此不做限定。
2)、对与目标人物的图像匹配的至少一个目标行人图像模板的特征数据进行聚类，并根据聚类结果进行筛选。
可选地，根据与目标人物的图像匹配的至少一个目标行人图像模板中每个目标行人图像模板的特征数据，将至少一个目标行人图像模板划分成至少一组行人图像模板；根据该至少一组行人图像模板中每组行人图像模板包括的行人图像的特征数据，确定该每组行人图像模板的筛选统计数据；根据该至少一组行人图像模板中每组行人图像模板的筛选统计数据，将该至少一组行人图像模板中的一组或多组行人图像模板对应的行人图像确定为目标人物的搜索结果。
在一些可能的实现方式中，一组行人图像模板的筛选统计数据可以包括该组行人图像模板包括的至少一个行人图像的特征数据的平均值或均方差，但本申请实施例不限于此。
在一些可能的实现方式中，可以根据每组行人图像模板的筛选统计数据，对至少一组行人图像模板按序排列，并将排列在最前或最后的一组或多组行人图像模板删除，得到目标人物的搜索结果。
在一些可能的实现方式中，可以采用k-means聚类算法对与目标人物的图像匹配的至少一个目标行人图像模板的特征数据进行聚类，得到k个分组的特征数据，对于每个分组中的特征数据，计算其对应的轨迹的数量、特征数据的方差等筛选统计数据，并根据筛选统计数据确定哪些分组是噪音(如方差最大的组为噪音组)。例如，假设与目标人物的图像匹配的至少一个目标行人图像模板为100个行人轨迹，每个行人轨迹包括若干个行人图像，则可以通过k-means聚类算法将100个行人轨迹的特征数据划分为10个分组，可选地，可以对100个行人轨迹的100个特征数据进行多轮迭代的k-means聚类运算，分成10个组，其中每组中包括的行人轨迹的数量可以相同或不同，其中，第10组中只有5个行人轨迹，且特征数据的方差最大，则可以确定第10组中的5个行人轨迹为噪音，并从结果中去除第10组中的5个行人轨迹中包括的行人图像，剩余结果即为搜索结果。
在一个可选示例中，该S208可以由处理器调用存储器存储的相应指令执行，也可以由被处理器运行的筛选模块503执行。
基于本申请实施例的上述介绍，本申请实施例的目标人物的搜索方法的逻辑框图如图3所示，预先对大量的视频(如监控视频)进行视频结构化操作(主要包括人脸/行人检测处理和人脸/行人跟踪处理)，建立人脸图像库和行人图像库。在对包含人脸的目标人物的图像进行搜索时，先基于人脸图像库进行人脸搜索，得到第一人脸图像模板，再基于行人图像库对第一人脸图像模板进行行人搜索，得到若干行人图像模板，然后对若干行人图像模板进行筛选处理，最终得到目标人物的搜索结果。
本申请实施例采用人脸搜索结合行人搜索的联合搜索策略，先基于人脸图像库搜索得到与目标人物的图像匹配的第一人脸图像模板，再基于行人图像库和第一人脸图像模板获取与目标人物的图像匹配的至少一个目标行人图像模板。本申请实施例既具有人脸搜索的时间跨度长、精确度高的优点，又具有行人搜索的召回率高的优点，提高了目标人物搜索的准确率。
本申请实施例提供的任一种目标人物的搜索方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本申请实施例提供的任一种目标人物的搜索方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本申请实施例提及的任一种目标人物的搜索方法。下文不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图4所示，图4为本申请一些实施例的目标人物的搜索装置的结构框图。
本申请实施例提供的目标人物的搜索装置包括：获取模块400，用于获取目标人物的图像；人脸搜索模块401，用于利用获取模块400获取的目标人物的图像，搜索人脸图像库，得到与目标人物的图像匹配的第一人脸图像模板，其中，人脸图像库包括多个人脸图像模板；行人搜索模块402，用于根据人脸搜索模块401得到的第一人脸图像模板和行人图像库，得到与目标人物的图像匹配的至少一个目标行人图像模板，其中，行人图像库包括多个行人图像模板。
本申请实施例的目标人物的搜索装置用于实现上述实施例中相应的目标人物的搜索方法，并具有相应的方法实施例的有益效果，在此不再赘述。
如图5所示，图5为本申请另一些实施例的目标人物的搜索装置的结构框图。
本申请实施例提供的目标人物的搜索装置包括：获取模块500，用于获取目标人物的图像；人脸搜索模块501，用于利用获取模块500获取的目标人物的图像，搜索人脸图像库，得到与目标人物的图像匹配的第一人脸图像模板，其中，人脸图像库包括多个人脸图像模板；行人搜索模块502，用于根据人脸搜索模块501得到的第一人脸图像模板和行人图像库，得到与目标人物的图像匹配的至少一个目标行人图像模板，其中，行人图像库包括多个行人图像模板。
可选地，人脸搜索模块501用于：获取目标人物的图像的第一人脸特征数据；根据第一人脸特征数据，从人脸图像库存储的多个人脸图像模板中确定第一人脸图像模板。
可选地，人脸搜索模块501用于：基于第一人脸特征数据与多个人脸图像模板对应的多个第二人脸特征数据中每个第二人脸特征数据之间的距离，从多个人脸图像模板中确定第一人脸图像模板。
可选地，人脸搜索模块501用于：将多个第二人脸特征数据中与第一人脸特征数据之间的距离最小的第二人脸特征数据所对应的至少一个人脸图像模板确定为第一人脸图像模板；或者将多个第二人脸特征数据中与第一人脸特征数据之间的距离小于或等于第一阈值的第二人脸特征数据所对应的至少一个人脸图像模板确定为第一人脸图像模板。
可选地，多个人脸图像模板中的至少两个人脸图像模板形成对应于同一人物的人脸轨迹，至少两个人脸图像模板对应的第二人脸特征数据为至少两个人脸图像模板形成的人脸轨迹的平均特征数据。
可选地，行人搜索模块502用于：获取与第一人脸图像模板对应的第一行人图像；利用第一行人图像搜索行人图像库，得到与目标人物的图像匹配的至少一个目标行人图像模板。
可选地，行人搜索模块502用于：确定第一行人图像的第一行人特征数据；根据第一行人特征数据，从行人图像库存储的多个行人图像模板中确定与第一行人图像匹配的至少一个行人图像模板，并将与第一行人图像匹配的至少一个行人图像模板确定为与目标人物的图像匹配的至少一个目标行人图像模板。
可选地，行人搜索模块502用于：基于第一行人特征数据与多个行人图像模板对应的多个第二行人特征数据中每个第二行人特征数据之间的距离，从多个行人图像模板中确定与第一行人图像匹配的至少一个行人图像。
可选地，行人搜索模块502用于：将多个第二行人特征数据中与第一行人特征数据之间的距离最小的第二行人特征数据所对应的至少一个行人图像模板确定为与第一行人图像匹配的至少一个行人图像模板；或者将多个第二行人特征数据中与第一行人特征数据之间的距离小于或等于第二阈值的第二行人特征数据所对应的至少一个行人图像模板确定为与第一行人图像匹配的至少一个行人图像模板。
可选地，多个行人图像模板中的至少两个行人图像模板形成对应于同一人物的行人轨迹，至少两个行人图像模板对应的第二行人特征数据为至少两个行人图像模板形成的行人轨迹的平均特征数据。
可选地，第一人脸图像模板对应于第一人脸图像，行人搜索模块502用于：确定第一人脸图像所属的第一视频以及第一人脸图像的帧号信息和图像位置信息；根据第一人脸图像的帧号信息和图像位置信息，获取第一视频中与第一人脸图像模板对应的第一行人图像。
可选地，行人搜索模块502用于：若第一视频中存在帧号与第一人脸图像的帧号信息对应且包含第一人脸图像的行人图像，将包含第一人脸图像的行人图像确定为与第一人脸图像模板对应的第一行人图像。
可选地，行人搜索模块502用于：若第一视频中不存在帧号与第一人脸图像的帧号信息对应且包含第一人脸图像的行人图像，将第一人脸图像在第一视频图像中按照预设比例进行扩展处理，得到与第一人脸图像模板对应的第一行人图像，其中，第一视频图像在第一视频中的帧号对应于第一人脸图像的帧号信息。
可选地，本申请实施例提供的目标人物的搜索装置还包括：筛选模块503，用于在行人搜索模块502根据第一人脸图像模板和行人图像库，得到与目标人物的图像匹配的至少一个目标行人图像模板之后，对与目标人物的图像匹配的至少一个目标行人图像模板进行筛选，得到目标人物的搜索结果。
可选地，筛选模块503用于：根据至少一个目标行人图像模板中每个目标行人图像模板的特征数据，将至少一个目标行人图像模板划分成至少一组行人图像模板板；根据至少一组行人图像模板中每组行人图像模板包括的行人图像的特征数据，确定每组行人图像模板的筛选统计数据；根据至少一组行人图像模板中每组行人图像模板的筛选统计数据，将至少一组行人图像模板中的一组或多组行人图像模板对应的行人图像确定为目标人物的搜索结果。
可选地，本申请实施例提供的目标人物的搜索装置还包括：人脸检测模块504，用于在人脸搜索模块501利用目标人物的图像，搜索人脸图像库，得到与目标人物的图像匹配的第一人脸图像模板之前，对至少一个视频中的每个视频包括的视频图像进行人脸检测处理，得到多个人脸图像；将多个人脸图像中每个人脸图像和/或每个人脸图像的信息作为人脸图像模板存储至人脸图像库，其中，人脸图像的信息包括下列中的至少一种：人脸图像的特征数据、人脸图像所属的视频信息、人脸图像的帧号信息、人脸图像在视频图像中的位置信息。
可选地，本申请实施例提供的目标人物的搜索装置还包括：人脸跟踪模块505，用于对多个人脸图像进行人脸跟踪处理，得到至少一个人脸轨迹，其中，每个人脸轨迹包括多个人脸图像中的至少两个人脸图像；根据至少一个人脸轨迹中每个人脸轨迹包括的至少两个人脸图像，确定每个人脸轨迹的平均特征数据；将至少一个人脸轨迹中每个人脸轨迹的平均特征数据存储至人脸图像库。
可选地，本申请实施例提供的目标人物的搜索装置还包括：行人检测模块506，用于在行人搜索模块502根据第一人脸图像模板和行人图像库，得到与目标人物的图像匹配的至少一个目标行人图像模板之前，对至少一个视频中的每个视频包括的视频图像进行行人检测处理，得到多个行人图像；将多个行人图像模板中每个行人图像和/或每个行人图像的信息存储至行人图像库，其中，行人图像的信息包括下列中的至少一种：行人图像的特征数据、行人图像所属的视频信息、行人图像的帧号信息、行人图像在视频图像中的位置信息。
可选地，本申请实施例提供的目标人物的搜索装置还包括：行人跟踪模块507，用于对多个行人图像进行行人跟踪处理，得到至少一个行人轨迹，其中，每个行人轨迹包括多个行人图像中的至少两个行人图像；根据至少一个行人轨迹中每个行人轨迹包括的至少两个行人图像，确定每个行人轨迹的平均特征数据；将至少一个行人轨迹中每个行人轨迹的平均特征数据存储至行人图像库。
本申请实施例的目标人物的搜索装置用于实现上述实施例中相应的目标人物的搜索方法，该搜索装置中的各个模块和/或单元可以用于执行上述方法实施例中的各个步骤，为了简洁，在此不再赘述。
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图6，其示出了适于用来实现本申请实施例的目标人物的搜索装置的电子设备600的结构示意图：如图6所示，电子设备600可以包括存储器和处理器。可选地，电子设备600包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)601，和/或一个或多个加速单元613等，加速单元613可包括但不限于GPU、FPGA、其他类型的专用处理器等，处理器可以根据存储在只读存储器(ROM)602中的可执行指令或者从存储部分608加载到随机访问存储器(RAM)603中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件612和/或通信接口609。其中，通信组件612可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口609包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口609经由诸如因特网的网络执行通信处理。
处理器可与只读存储器602和/或随机访问存储器603中通信以执行可执行指令，通过通信总线604与通信组件612相连、并经通信组件612与其他目标设备通信，从而完成本申请实施例提供的任一项目标人物的搜索方法对应的操作，例如，获取目标人物的图像；利用所述目标人物的图像，搜索人脸图像库，得到与所述目标人物的图像匹配的第一人脸图像模板，其中，所述人脸图像库包括多个人脸图像模板；根据所述第一人脸图像模板和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像模板，其中，所述行人图像库包括多个行人图像模板。
此外，在RAM603中，还可存储有装置操作所需的各种程序和数据。CPU601或加速单元613、ROM602以及RAM603通过通信总线604彼此相连。在有RAM603的情况下，ROM602为可选模块。RAM603存储可执行指令，或在运行时向ROM602中写入可执行指令，可执行指令使处理器执行上述方法对应的操作。输入/输出(I/O)接口605也连接至通信总线604。通信组件612可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口609。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
需要说明的是，如图6所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图6的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如加速单元613和CPU601可分离设置或者可将加速单元613集成在CP601U上，通信元件可分离设置，也可集成设置在CPU601或加速单元613上，等等。这些可替换的实施方式均落入本申请的保护范围。
本申请实施例的电子设备可以用于实现上述实施例中相应的目标人物的搜索方法，该电子设备中的各个器件可以用于执行上述方法实施例中的各个步骤，例如，上文中描述的目标人物的搜索方法可以通过电子设备的处理器调用存储器存储的相关指令来实现，为了简洁，在此不再赘述。
根据本申请实施例，上文参考流程图描述的过程可以被实现为计算机程序。例如，本申请实施例包括一种计算机程序，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，获取目标人物的图像；利用所述目标人物的图像，搜索人脸图像库，得到与所述目标人物的图像匹配的第一人脸图像模板，其中，所述人脸图像库包括多个人脸图像模板；根据所述第一人脸图像模板和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像模板，其中，所述行人图像库包括多个行人图像模板。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器执行时，执行本申请实施例的方法中公开的功能。
需要说明的是，本申请各实施例描述的部分均有所侧重，某实施例未详尽描述的部分可参见本申请其他实施例中的介绍和说明，不再一一赘述。
可能以许多方式来实现本申请的方法和装置、电子设备和存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请实施例的方法和装置、电子设备和存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请实施例的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请实施例的方法的程序的记录介质。
本申请实施例的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式，很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (40)

1.一种目标人物的搜索方法，其特征在于，包括：
获取目标人物的图像；
利用所述目标人物的图像，搜索人脸图像库，得到与所述目标人物的图像匹配的第一人脸图像及所述第一人脸图像的信息，其中，所述人脸图像库包括多个人脸图像及每一所述人脸图像的信息，所述人脸图像的信息包括下列中的至少一种：所述人脸图像的特征向量、所述人脸图像所属的视频信息、所述人脸图像的帧号信息、所述人脸图像在视频图像中的位置信息；
根据所述第一人脸图像、所述第一人脸图像的信息和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像，其中，所述行人图像库包括多个行人图像。
2.根据权利要求1所述的方法，其特征在于，所述利用所述目标人物的图像，搜索人脸图像库，得到与所述目标人物的图像匹配的第一人脸图像及所述第一人脸图像的信息，包括：
获取所述目标人物的图像的第一人脸特征向量；
根据所述第一人脸特征向量，从所述人脸图像库存储的多个人脸图像及每一所述人脸图像的信息中确定所述第一人脸图像及第一人脸图像的信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一人脸特征向量，从所述人脸图像库存储的多个人脸图像及每一所述人脸图像的信息中确定所述第一人脸图像及所述第一人脸图像的信息，包括：
基于所述第一人脸特征向量与所述多个人脸图像及每一所述人脸图像的信息对应的多个第二人脸特征向量中每个第二人脸特征向量之间的距离，从所述多个人脸图像及每一所述人脸图像的信息中确定所述第一人脸图像及所述第一人脸图像的信息。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一人脸特征向量与所述多个人脸图像及每一所述人脸图像的信息对应的多个第二人脸特征向量中每个第二人脸特征向量之间的距离，从所述多个人脸图像及每一所述人脸图像的信息中确定所述第一人脸图像及所述第一人脸图像的信息，包括：
将所述多个第二人脸特征向量中与所述第一人脸特征向量之间的距离最小的第二人脸特征向量所对应的至少一个人脸图像及每一所述人脸图像的信息确定为所述第一人脸图像及所述第一人脸图像的信息；或者
将所述多个第二人脸特征向量中与所述第一人脸特征向量之间的距离小于或等于第一阈值的第二人脸特征向量所对应的至少一个人脸图像及每一所述人脸图像的信息确定为所述第一人脸图像及所述第一人脸图像的信息。
5.根据权利要求3或4所述的方法，其特征在于，所述多个人脸图像及每一所述人脸图像的信息中的至少两个人脸图像及每一所述人脸图像的信息形成对应于同一人物的人脸轨迹，所述至少两个人脸图像及每一所述人脸图像的信息对应的第二人脸特征向量为所述至少两个人脸图像及每一所述人脸图像的信息形成的人脸轨迹的平均特征向量。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一人脸图像及所述第一人脸图像的信息和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像，包括：
获取与所述第一人脸图像及所述第一人脸图像的信息对应的第一行人图像；
利用所述第一行人图像搜索所述行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像。
7.根据权利要求6所述的方法，其特征在于，所述利用所述第一行人图像搜索所述行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像，包括：
确定所述第一行人图像的第一行人特征向量；
根据所述第一行人特征向量，从所述行人图像库存储的多个行人图像中确定与所述第一行人图像匹配的至少一个行人图像，并将与所述第一行人图像匹配的至少一个行人图像确定为所述目标行人图像。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第一行人特征向量，从所述行人图像库存储的多个行人图像中确定与所述第一行人图像匹配的至少一个行人图像，包括：
基于所述第一行人特征向量与所述多个行人图像对应的多个第二行人特征向量中每个第二行人特征向量之间的距离，从所述多个行人图像中确定与所述第一行人图像匹配的至少一个行人图像。
9.根据权利要求8所述的方法，其特征在于，所述基于所述第一行人特征向量与所述多个行人图像对应的多个第二行人特征向量中每个第二行人特征向量之间的距离，从所述多个行人图像中确定与所述第一行人图像匹配的至少一个行人图像，包括：
将所述多个第二行人特征向量中与所述第一行人特征向量之间的距离最小的第二行人特征向量所对应的至少一个行人图像确定为与所述第一行人图像匹配的至少一个行人图像；或者
将所述多个第二行人特征向量中与所述第一行人特征向量之间的距离小于或等于第二阈值的第二行人特征向量所对应的至少一个行人图像确定为与所述第一行人图像匹配的至少一个行人图像。
10.根据权利要求8或9所述的方法，其特征在于，所述多个行人图像中的至少两个行人图像形成对应于同一人物的行人轨迹，所述至少两个行人图像对应的第二行人特征向量为所述至少两个行人图像形成的行人轨迹的平均特征向量。
11.根据权利要求6所述的方法，其特征在于，所述获取与所述第一人脸图像及所述第一人脸图像的信息对应的第一行人图像，包括：
确定所述第一人脸图像所属的第一视频以及所述第一人脸图像的帧号信息和图像位置信息；
根据所述第一人脸图像的帧号信息和图像位置信息，获取所述第一视频中与所述第一人脸图像及所述第一人脸图像的信息对应的第一行人图像。
12.根据权利要求11所述的方法，其特征在于，所述根据所述第一人脸图像的帧号信息和图像位置信息，获取所述第一视频中与所述第一人脸图像及所述第一人脸图像的信息对应的第一行人图像，包括：
若所述第一视频中存在帧号与所述第一人脸图像的帧号信息对应且包含所述第一人脸图像的行人图像，将所述包含所述第一人脸图像的行人图像确定为与所述第一人脸图像及所述第一人脸图像的信息对应的第一行人图像。
13.根据权利要求11或12所述的方法，其特征在于，所述方法还包括：
若所述第一视频中不存在帧号与所述第一人脸图像的帧号信息对应且包含所述第一人脸图像的行人图像，将所述第一人脸图像在第一视频图像中按照预设比例进行扩展处理，得到与所述第一人脸图像及所述第一人脸图像的信息对应的第一行人图像，其中，所述第一视频图像在所述第一视频中的帧号对应于所述第一人脸图像的帧号信息。
14.根据权利要求1所述的方法，其特征在于，在所述根据所述第一人脸图像及所述第一人脸图像的信息和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像之后，所述方法还包括：
对所述至少一个目标行人图像进行筛选，得到所述目标人物的搜索结果。
15.根据权利要求14所述的方法，其特征在于，所述对所述至少一个目标行人图像进行筛选，得到所述目标人物的搜索结果，包括：
根据所述至少一个目标行人图像中每个目标行人图像的特征向量，将所述至少一个目标行人图像划分成至少一组行人图像；
根据所述至少一组行人图像中每组行人图像包括的行人图像的特征向量，确定所述每组行人图像的筛选统计数据；
根据所述至少一组行人图像中每组行人图像的筛选统计数据，将所述至少一组行人图像中的一组或多组行人图像对应的行人图像确定为所述目标人物的搜索结果。
16.根据权利要求1所述的方法，其特征在于，在所述利用所述目标人物的图像，搜索人脸图像库，得到与所述目标人物的图像匹配的第一人脸图像及所述第一人脸图像的信息之前，所述方法还包括：
对至少一个视频中的每个视频包括的视频图像进行人脸检测处理，得到多个人脸图像；
将所述多个人脸图像中每个人脸图像和所述每个人脸图像的信息存储至所述人脸图像库。
17.根据权利要求16所述的方法，其特征在于，所述方法还包括：
对所述多个人脸图像进行人脸跟踪处理，得到至少一个人脸轨迹，其中，每个人脸轨迹包括所述多个人脸图像中的至少两个人脸图像；
根据所述至少一个人脸轨迹中每个人脸轨迹包括的至少两个人脸图像，确定所述每个人脸轨迹的平均特征向量；
将所述至少一个人脸轨迹中每个人脸轨迹的平均特征向量存储至所述人脸图像库。
18.根据权利要求1所述的方法，其特征在于，在所述根据所述第一人脸图像及所述第一人脸图像的信息和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像之前，所述方法还包括：
对至少一个视频中的每个视频包括的视频图像进行行人检测处理，得到多个行人图像；
将所述多个行人图像中每个行人图像和/或所述每个行人图像的信息存储至所述行人图像库，其中，所述行人图像的信息包括下列中的至少一种：所述行人图像的特征向量、所述行人图像所属的视频信息、所述行人图像的帧号信息、所述行人图像在视频图像中的位置信息。
19.根据权利要求18所述的方法，其特征在于，所述方法还包括：
对所述多个行人图像进行行人跟踪处理，得到至少一个行人轨迹，其中，每个行人轨迹包括所述多个行人图像中的至少两个行人图像；
根据所述至少一个行人轨迹中每个行人轨迹包括的至少两个行人图像，确定所述每个行人轨迹的平均特征向量；
将所述至少一个行人轨迹中每个行人轨迹的平均特征向量存储至所述行人图像库。
20.一种目标人物的搜索装置，其特征在于，包括：
获取模块，用于获取目标人物的图像；
人脸搜索模块，用于利用所述获取模块获取的所述目标人物的图像，搜索人脸图像库，得到与所述目标人物的图像匹配的第一人脸图像及所述第一人脸图像的信息，其中，所述人脸图像库包括多个人脸图像及每一所述人脸图像的信息，所述人脸图像的信息包括下列中的至少一种：所述人脸图像的特征向量、所述人脸图像所属的视频信息、所述人脸图像的帧号信息、所述人脸图像在视频图像中的位置信息；
行人搜索模块，用于根据所述人脸搜索模块得到的所述第一人脸图像及所述第一人脸图像的信息和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像，其中，所述行人图像库包括多个行人图像。
21.根据权利要求20所述的装置，其特征在于，所述人脸搜索模块用于：
获取所述目标人物的图像的第一人脸特征向量；
根据所述第一人脸特征向量，从所述人脸图像库存储的多个人脸图像及每一所述人脸图像的信息中确定所述第一人脸图像及所述第一人脸图像的信息。
22.根据权利要求21所述的装置，其特征在于，所述人脸搜索模块用于：
基于所述第一人脸特征向量与所述多个人脸图像及每一所述人脸图像的信息对应的多个第二人脸特征向量中每个第二人脸特征向量之间的距离，从所述多个人脸图像及每一所述人脸图像的信息中确定所述第一人脸图像及所述第一人脸图像的信息。
23.根据权利要求22所述的装置，其特征在于，所述人脸搜索模块用于：
将所述多个第二人脸特征向量中与所述第一人脸特征向量之间的距离最小的第二人脸特征向量所对应的至少一个人脸图像及每一所述人脸图像的信息确定为所述第一人脸图像及所述第一人脸图像的信息；或者
将所述多个第二人脸特征向量中与所述第一人脸特征向量之间的距离小于或等于第一阈值的第二人脸特征向量所对应的至少一个人脸图像及每一所述人脸图像的信息确定为所述第一人脸图像及所述第一人脸图像的信息。
24.根据权利要求22或23所述的装置，其特征在于，所述多个人脸图像及每一所述人脸图像的信息中的至少两个人脸图像及每一所述人脸图像的信息形成对应于同一人物的人脸轨迹，所述至少两个人脸图像及每一所述人脸图像的信息对应的第二人脸特征向量为所述至少两个人脸图像及每一所述人脸图像的信息形成的人脸轨迹的平均特征向量。
25.根据权利要求20所述的装置，其特征在于，所述行人搜索模块用于：
获取与所述第一人脸图像及所述第一人脸图像的信息对应的第一行人图像；
利用所述第一行人图像搜索所述行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像。
26.根据权利要求25所述的装置，其特征在于，所述行人搜索模块用于：
确定所述第一行人图像的第一行人特征向量；
根据所述第一行人特征向量，从所述行人图像库存储的多个行人图像中确定与所述第一行人图像匹配的至少一个行人图像，并将与所述第一行人图像匹配的至少一个行人图像确定为所述目标行人图像。
27.根据权利要求26所述的装置，其特征在于，所述行人搜索模块用于：
基于所述第一行人特征向量与所述多个行人图像对应的多个第二行人特征向量中每个第二行人特征向量之间的距离，从所述多个行人图像中确定与所述第一行人图像匹配的至少一个行人图像。
28.根据权利要求27所述的装置，其特征在于，所述行人搜索模块用于：
将所述多个第二行人特征向量中与所述第一行人特征向量之间的距离最小的第二行人特征向量所对应的至少一个行人图像确定为与所述第一行人图像匹配的至少一个行人图像；或者
将所述多个第二行人特征向量中与所述第一行人特征向量之间的距离小于或等于第二阈值的第二行人特征向量所对应的至少一个行人图像确定为与所述第一行人图像匹配的至少一个行人图像。
29.根据权利要求27或28所述的装置，其特征在于，所述多个行人图像中的至少两个行人图像形成对应于同一人物的行人轨迹，所述至少两个行人图像对应的第二行人特征向量为所述至少两个行人图像形成的行人轨迹的平均特征向量。
30.根据权利要求25所述的装置，其特征在于，所述行人搜索模块用于：
确定所述第一人脸图像所属的第一视频以及所述第一人脸图像的帧号信息和图像位置信息；
根据所述第一人脸图像的帧号信息和图像位置信息，获取所述第一视频中与所述第一人脸图像及所述第一人脸图像的信息对应的第一行人图像。
31.根据权利要求30所述的装置，其特征在于，所述行人搜索模块用于：
若所述第一视频中存在帧号与所述第一人脸图像的帧号信息对应且包含所述第一人脸图像的行人图像，将所述包含所述第一人脸图像的行人图像确定为与所述第一人脸图像及所述第一人脸图像的信息对应的第一行人图像。
32.根据权利要求30的装置，其特征在于，所述行人搜索模块用于：
若所述第一视频中不存在帧号与所述第一人脸图像的帧号信息对应且包含所述第一人脸图像的行人图像，将所述第一人脸图像在第一视频图像中按照预设比例进行扩展处理，得到与所述第一人脸图像及所述第一人脸图像的信息对应的第一行人图像，其中，所述第一视频图像在所述第一视频中的帧号对应于所述第一人脸图像的帧号信息。
33.根据权利要求20所述的装置，其特征在于，所述装置还包括：
筛选模块，用于在所述行人搜索模块根据所述第一人脸图像及所述第一人脸图像的信息和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像之后，对所述至少一个目标行人图像进行筛选，得到所述目标人物的搜索结果。
34.根据权利要求33所述的装置，其特征在于，所述筛选模块用于：
根据所述至少一个目标行人图像中每个目标行人图像的特征向量，将所述至少一个目标行人图像划分成至少一组行人图像；
根据所述至少一组行人图像中每组行人图像包括的行人图像的特征向量，确定所述每组行人图像的筛选统计数据；
根据所述至少一组行人图像中每组行人图像的筛选统计数据，将所述至少一组行人图像中的一组或多组行人图像对应的行人图像确定为所述目标人物的搜索结果。
35.根据权利要求20所述的装置，其特征在于，所述装置还包括：人脸检测模块，用于
在所述人脸搜索模块利用所述目标人物的图像，搜索人脸图像库，得到与所述目标人物的图像匹配的第一人脸图像及所述第一人脸图像的信息之前，对至少一个视频中的每个视频包括的视频图像进行人脸检测处理，得到多个人脸图像；
将所述多个人脸图像中每个人脸图像和所述每个人脸图像的信息存储至所述人脸图像库，其中，所述人脸图像的信息包括下列中的至少一种：所述人脸图像的特征向量、所述人脸图像所属的视频信息、所述人脸图像的帧号信息、所述人脸图像在视频图像中的位置信息。
36.根据权利要求35所述的装置，其特征在于，所述装置还包括：人脸跟踪模块，用于
对所述多个人脸图像进行人脸跟踪处理，得到至少一个人脸轨迹，其中，每个人脸轨迹包括所述多个人脸图像中的至少两个人脸图像；
根据所述至少一个人脸轨迹中每个人脸轨迹包括的至少两个人脸图像，确定所述每个人脸轨迹的平均特征向量；
将所述至少一个人脸轨迹中每个人脸轨迹的平均特征向量存储至所述人脸图像库。
37.根据权利要求20所述的装置，其特征在于，所述装置还包括：行人检测模块，用于
在所述行人搜索模块根据所述第一人脸图像及所述第一人脸图像的信息和行人图像库，得到与所述目标人物的图像匹配的至少一个目标行人图像之前，对至少一个视频中的每个视频包括的视频图像进行行人检测处理，得到多个行人图像；
将所述多个行人图像中每个行人图像和/或所述每个行人图像的信息存储至所述行人图像库，其中，所述行人图像的信息包括下列中的至少一种：所述行人图像的特征向量、所述行人图像所属的视频信息、所述行人图像的帧号信息、所述行人图像在视频图像中的位置信息。
38.根据权利要求37所述的装置，其特征在于，所述装置还包括：行人跟踪模块，用于
对所述多个行人图像进行行人跟踪处理，得到至少一个行人轨迹，其中，每个行人轨迹包括所述多个行人图像中的至少两个行人图像；
根据所述至少一个行人轨迹中每个行人轨迹包括的至少两个行人图像，确定所述每个行人轨迹的平均特征向量；
将所述至少一个行人轨迹中每个行人轨迹的平均特征向量存储至所述行人图像库。
39.一种电子设备，其特征在于，包括：处理器和存储器；所述存储器用于存放至少一个可执行指令，所述可执行指令使所述处理器执行如权利要求1-19任一项所述的目标人物的搜索方法。
40.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可读取的指令，所述指令被执行时实现权利要求1至19中任一项所述的目标人物的搜索方法。
CN201880018948.6A 2017-11-28 2018-10-29 目标人物的搜索方法和装置、设备和介质 Active CN110431560B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711219178.5A CN108229314B (zh) 2017-11-28 2017-11-28 目标人物的搜索方法、装置和电子设备
CN2017112191785 2017-11-28
PCT/CN2018/112420 WO2019105163A1 (zh) 2017-11-28 2018-10-29 目标人物的搜索方法和装置、设备、程序产品和介质

Publications (2)

Publication Number Publication Date
CN110431560A CN110431560A (zh) 2019-11-08
CN110431560B true CN110431560B (zh) 2023-12-19

Family

ID=62653021

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711219178.5A Active CN108229314B (zh) 2017-11-28 2017-11-28 目标人物的搜索方法、装置和电子设备
CN201880018948.6A Active CN110431560B (zh) 2017-11-28 2018-10-29 目标人物的搜索方法和装置、设备和介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201711219178.5A Active CN108229314B (zh) 2017-11-28 2017-11-28 目标人物的搜索方法、装置和电子设备

Country Status (5)

Country Link
US (1) US10891465B2 (zh)
JP (1) JP6853379B2 (zh)
CN (2) CN108229314B (zh)
SG (1) SG11201909885QA (zh)
WO (1) WO2019105163A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516105B (zh) * 2017-07-20 2020-06-16 阿里巴巴集团控股有限公司 图像处理方法及装置
CN108229314B (zh) 2017-11-28 2021-05-04 深圳市商汤科技有限公司 目标人物的搜索方法、装置和电子设备
CN108924491B (zh) * 2018-07-04 2020-08-25 深圳市商汤科技有限公司 视频流处理方法及装置、电子设备和存储介质
CN110851636B (zh) * 2018-07-24 2023-05-02 杭州海康威视数字技术股份有限公司 一种图像搜索系统、方法及装置
CN109359570A (zh) * 2018-09-30 2019-02-19 广东司法警官职业学院 一种视频人物鉴定的方法
CN110263830B (zh) * 2019-06-06 2021-06-08 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN110852269B (zh) * 2019-11-11 2022-05-20 青岛海信网络科技股份有限公司 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN111159476B (zh) * 2019-12-11 2022-12-16 智慧眼科技股份有限公司 目标对象的搜索方法、装置、计算机设备及存储介质
CN111767783A (zh) * 2020-04-22 2020-10-13 杭州海康威视数字技术股份有限公司 行为检测、模型训练方法、装置、电子设备及存储介质
CN114092955A (zh) * 2020-07-29 2022-02-25 华为技术有限公司 数据库更新方法、设备以及存储介质
CN112597953B (zh) * 2020-12-28 2024-04-09 深圳市捷顺科技实业股份有限公司 检测视频中通道闸区域行人的方法、装置、设备及介质
CN112651369A (zh) * 2020-12-31 2021-04-13 南京视察者智能科技有限公司 一种监控场景下行人识别的方法及装置
JPWO2022172341A1 (zh) * 2021-02-09 2022-08-18
US11514719B1 (en) * 2021-05-18 2022-11-29 Fortinet, Inc. Systems and methods for hierarchical facial image clustering

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108243A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 人物認識装置および人物認識方法
CN101996328A (zh) * 2010-10-14 2011-03-30 浙江农林大学 一种木材识别方法
CN102324022A (zh) * 2011-09-05 2012-01-18 辽宁工程技术大学 一种基于复合梯度向量的人脸识别方法
CN105760832A (zh) * 2016-02-14 2016-07-13 武汉理工大学 基于Kinect传感器的逃犯识别方法
CN106874347A (zh) * 2016-12-26 2017-06-20 深圳市深网视界科技有限公司 一种匹配人体特征与mac地址的方法及系统
CN106980844A (zh) * 2017-04-06 2017-07-25 武汉神目信息技术有限公司 一种基于人脸识别系统的人物关系挖掘系统及方法
KR101798979B1 (ko) * 2017-01-17 2017-11-17 오동근 스마트 횡단보도 신호등 시스템
CN108229314A (zh) * 2017-11-28 2018-06-29 深圳市商汤科技有限公司 目标人物的搜索方法、装置和电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000030033A (ja) * 1998-07-09 2000-01-28 Matsushita Electric Ind Co Ltd 人物検出方法
US7139411B2 (en) * 2002-06-14 2006-11-21 Honda Giken Kogyo Kabushiki Kaisha Pedestrian detection and tracking with night vision
CN100478979C (zh) * 2002-11-26 2009-04-15 中国科学院计算技术研究所 利用身材信息辅助人脸信息的身份识别方法
JP4085959B2 (ja) * 2003-11-14 2008-05-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検出方法、および記録媒体
JP2006236260A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置、顔認証方法および入退場管理装置
JP4375570B2 (ja) * 2006-08-04 2009-12-02 日本電気株式会社 顔認識方法およびシステム
JP4263737B2 (ja) * 2006-11-09 2009-05-13 トヨタ自動車株式会社 歩行者検知装置
JP5398301B2 (ja) * 2009-03-02 2014-01-29 株式会社東芝 通行管理装置、及び通行管理方法
KR20100138155A (ko) * 2009-06-24 2010-12-31 (주)로봇에버 미아찾기 시스템 및 그 방법
JP5422330B2 (ja) * 2009-10-09 2014-02-19 クラリオン株式会社 歩行者検出システム
JP5401257B2 (ja) * 2009-10-23 2014-01-29 クラリオン株式会社 遠赤外線歩行者検知装置
TW201137765A (en) * 2010-04-29 2011-11-01 Hon Hai Prec Ind Co Ltd Image capturing device and method for obtaining clear images using the image capturing device
KR101503788B1 (ko) * 2013-12-27 2015-03-19 숭실대학교산학협력단 적분영상을 기반으로 하는 특징 정보 예측을 통한 보행자 검출 방법, 이를 수행하기 위한 기록 매체 및 단말기
CN106991395B (zh) * 2017-03-31 2020-05-26 联想(北京)有限公司 信息处理方法、装置及电子设备
CN107341445A (zh) * 2017-06-07 2017-11-10 武汉大千信息技术有限公司 监控场景下行人目标的全景描述方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008108243A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 人物認識装置および人物認識方法
CN101996328A (zh) * 2010-10-14 2011-03-30 浙江农林大学 一种木材识别方法
CN102324022A (zh) * 2011-09-05 2012-01-18 辽宁工程技术大学 一种基于复合梯度向量的人脸识别方法
CN105760832A (zh) * 2016-02-14 2016-07-13 武汉理工大学 基于Kinect传感器的逃犯识别方法
CN106874347A (zh) * 2016-12-26 2017-06-20 深圳市深网视界科技有限公司 一种匹配人体特征与mac地址的方法及系统
KR101798979B1 (ko) * 2017-01-17 2017-11-17 오동근 스마트 횡단보도 신호등 시스템
CN106980844A (zh) * 2017-04-06 2017-07-25 武汉神目信息技术有限公司 一种基于人脸识别系统的人物关系挖掘系统及方法
CN108229314A (zh) * 2017-11-28 2018-06-29 深圳市商汤科技有限公司 目标人物的搜索方法、装置和电子设备

Also Published As

Publication number Publication date
JP6853379B2 (ja) 2021-03-31
JP2020515983A (ja) 2020-05-28
US20190325197A1 (en) 2019-10-24
CN110431560A (zh) 2019-11-08
SG11201909885QA (en) 2019-11-28
US10891465B2 (en) 2021-01-12
CN108229314A (zh) 2018-06-29
CN108229314B (zh) 2021-05-04
WO2019105163A1 (zh) 2019-06-06

Similar Documents

Publication Publication Date Title
CN110431560B (zh) 目标人物的搜索方法和装置、设备和介质
CN108229355B (zh) 行为识别方法和装置、电子设备、计算机存储介质
Ding et al. Violence detection in video by using 3D convolutional neural networks
CN106557778B (zh) 通用物体检测方法和装置、数据处理装置和终端设备
WO2018192570A1 (zh) 时域动作检测方法和系统、电子设备、计算机存储介质
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN108229321B (zh) 人脸识别模型及其训练方法和装置、设备、程序和介质
CN108229297B (zh) 人脸识别方法和装置、电子设备、计算机存储介质
CN105874474B (zh) 用于面部表示的系统和方法
WO2019129032A1 (zh) 遥感图像识别方法、装置、存储介质以及电子设备
CN108427927B (zh) 目标再识别方法和装置、电子设备、程序和存储介质
CN109711228B (zh) 一种实现图像识别的图像处理方法及装置、电子设备
WO2022037541A1 (zh) 图像处理模型训练方法、装置、设备及存储介质
CN108229353B (zh) 人体图像的分类方法和装置、电子设备、存储介质、程序
Dutta et al. Online detection of abnormal events using incremental coding length
CN108229532B (zh) 图像识别方法、装置和电子设备
US20150278997A1 (en) Method and apparatus for inferring facial composite
CN108491872B (zh) 目标再识别方法和装置、电子设备、程序和存储介质
Pazho et al. Ancilia: Scalable intelligent video surveillance for the artificial intelligence of things
KR20220076398A (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN114299304B (zh) 一种图像处理方法及相关设备
JP7133085B2 (ja) データベース更新方法及び装置、電子機器、並びにコンピュータ記憶媒体
Senthilkumar et al. Suspicious human activity detection in classroom examination
Carvajal et al. Comparative evaluation of action recognition methods via Riemannian manifolds, Fisher vectors and GMMs: Ideal and challenging conditions
CN111860070A (zh) 识别发生改变的对象的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant