CN115457595A - 人脸与人体的关联方法、电子设备以及存储介质 - Google Patents

人脸与人体的关联方法、电子设备以及存储介质 Download PDF

Info

Publication number
CN115457595A
CN115457595A CN202210983599.XA CN202210983599A CN115457595A CN 115457595 A CN115457595 A CN 115457595A CN 202210983599 A CN202210983599 A CN 202210983599A CN 115457595 A CN115457595 A CN 115457595A
Authority
CN
China
Prior art keywords
image
face
human body
quality
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210983599.XA
Other languages
English (en)
Inventor
谢兵兵
张小锋
林封笑
黄鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210983599.XA priority Critical patent/CN115457595A/zh
Publication of CN115457595A publication Critical patent/CN115457595A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸与人体的关联方法、电子设备以及存储介质，其中，人脸与人体的关联方法包括：获取到视频图像，并确定视频图像中目标对象的跟踪轨迹以及目标对象的多个初始图像，初始图像包括初始人脸图像、初始人体图像以及初始人脸人体图像；响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于目标对象的多个初始图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系。通过上述方式，本发明能够提高人脸与人体的关联准确率。

Description

人脸与人体的关联方法、电子设备以及存储介质
技术领域
本发明涉及计算机视觉领域，特别是涉及人脸与人体的关联方法、电子设备以及存储介质。
背景技术
随着科学技术的快速发展和大数据时代的到来，信息安全变得越来越重要。图像识别作为一种安全、非接触、便捷、友好、高效的身份信息认证方式，已经广泛应用到社会生活的方方面面。
其中，人脸和人体关联的应用场景日益广泛，如在智能监控系统中，由于摄像头的数量、布置及图像信息等问题较难做到全部的人脸抓拍，可能某个时间只能抓拍到人体。虽然没有抓拍到清晰的人脸，但仍然可以在人脸-人体关联的数据库中，对抓拍到的人体进行检索，检索到匹配的人体后，进而获取关联的人脸信息，从而确定该人体的身份信息。
现阶段普遍采用的方法是直接通过目标跟踪给出目标对象的人脸和人体是否存在关联关系来确定的。但是目标跟踪方法在密集目标遮挡的场景下对于同一目标对象的人脸很容易关联到其他行人的人体上，从而使得对同一目标对象的人脸人体关联准确率较低。
发明内容
本发明提供了一种人脸与人体的关联方法、电子设备以及存储介质，以解决同一目标对象的人脸人体关联准确率较低的问题。
为解决上述技术问题，本发明提供一种人脸与人体的关联方法，包括：获取到视频图像，并确定视频图像中目标对象的跟踪轨迹以及目标对象的多个初始图像，初始图像包括初始人脸图像、初始人体图像以及初始人脸人体图像；响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于目标对象的多个初始图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系。
其中，响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于目标对象的多个初始图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系，包括：分别对目标对象的各初始图像进行质量评分，确定各初始图像的质量分数；响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各初始图像的质量分数从多个初始图像中确定多个质量图像；基于目标对象的多个质量图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系
其中，分别对目标对象的各初始图像进行质量评分，确定各初始图像的质量分数，包括：分别对目标对象的各初始图像进行质量评分，确定各初始图像中各初始人脸图像、各初始人体图像以及各初始人脸人体图像的质量分数；响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各初始图像的质量分数从多个初始图像中确定多个质量图像，包括：响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各初始人脸图像、各初始人体图像以及各初始人脸人体图像的质量分数，确定目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像；基于目标对象的多个质量图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系，包括：基于目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系。
其中，基于目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，包括：响应于人脸质量最优图像与人脸人体综合质量最优图像中的人脸图像之间的人脸相似度不小于人脸预设相似度，将人脸质量最优图像与人脸人体综合质量最优图像中的人脸图像确定为目标对象的目标人脸图像，并判断人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度是否小于人体预设相似度；响应于人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度小于人体预设相似度，将人脸人体综合质量最优图像中的人体图像确定为目标对象的目标人体图像，以及将人脸质量最优图像对应的人体图像确定为其他目标对象的人体图像。
其中，基于目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，包括：响应于人脸质量最优图像与人脸人体综合质量最优图像中的人脸图像之间的人脸相似度小于人脸预设相似度，将人脸人体综合质量最优图像中的人脸图像确定为目标对象的目标人脸图像，并判断人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度是否小于人体预设相似度；响应于人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度小于人体预设相似度，将人脸人体综合质量最优图像中的人体图像确定为目标对象的目标人体图像；响应于人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度不小于人体预设相似度，将人脸人体综合质量最优图像中的人体图像与人脸质量最优图像对应的人体图像确定为目标对象的目标人体图像。
其中，基于各初始人脸图像、各初始人体图像以及各初始人脸人体图像的质量分数，确定目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像，还包括：基于各初始图像中各初始人体图像的质量分数，从多个初始图像中确定目标对象的人体质量图像；基于目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，还包括：响应于人体质量图像与目标对象的目标人体图像之间的人体相似度大于人体预设相似度，将人体质量图像确定为目标对象的目标人体图像。
其中，响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各初始图像的质量分数从多个初始图像中确定多个质量图像，包括：基于跟踪轨迹确定跟踪轨迹的跟踪稳定度；响应于跟踪稳定度不大于稳定度阈值，基于各初始人脸图像、各初始人体图像以及各初始人脸人体图像的质量分数确定目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像。
其中，基于各初始图像的质量分数从多个初始图像中确定多个质量图像，包括：基于质量分数从高到低的顺序分别将各初始人脸图像、各初始人体图像以及各初始人脸人体图像进行排序，得到人脸图像序列、人体图像序列以及人脸人体图像序列；对人脸图像序列中前预设数量的初始人脸图像进行人脸特征提取，得到包括多张人脸图像的人脸图像特征合集；对人脸图像特征合集进行聚类，得到至少一个人脸图像聚类簇；将数量最多的人脸图像聚类簇中质量分数最高的人脸图像确定为人脸质量最优图像，并得到人脸质量最优图像对应的人体图像；以及将人体图像序列中满足质量条件的初始人体图像确定为人体质量图像；以及将人脸人体图像序列中质量分数最高的初始人脸人体图像确定为人脸人体综合质量最优图像，得到人脸人体综合质量最优图像中的人脸图像和人体图像。
其中，人体质量图像包括：正面人体质量图像、侧面人体质量图像以及背面人体质量图像；将人体图像序列中满足质量条件的初始人体图像确定为人体质量图像，包括：将人体图像序列中满足质量条件的正面人体图像确定为正面人体质量图像；以及将人体图像序列中满足质量条件的侧面人体图像确定为侧面人体质量图像；以及将人体图像序列中满足质量条件的背面人体图像确定为背面人体质量图像；其中，质量条件包括质量分数最高或质量分数超过预设质量分数。
其中，获取到视频图像，并且确定视频图像中目标对象的跟踪轨迹以及目标对象的多个初始图像，初始图像包括人脸图像帧、初始人体图像以及初始人脸人体图像，包括：对视频图像进行目标跟踪，确定视频图像中目标对象的跟踪轨迹；以及对视频图像的各图像帧进行目标检测，确定目标对象的多个初始图像。
为解决上述技术问题，本发明还提供了一种电子设备，电子设备包括：相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述任一项的人脸与人体的关联方法。
为解决上述技术问题，本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有程序数据，程序数据能够被执行以实现如上述任一项的人脸与人体的关联方法。
本发明的有益效果是：区别于现有技术的情况，本发明通通过获取到视频图像，并确定视频图像中目标对象的跟踪轨迹以及目标对象的多个初始图像，再响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于目标对象的多个初始图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系，能够在初始图像的基础上，通过相似度对比有效减小误关联的人脸与人体，进而提高目标对象的人脸与人体的关联准确度。
附图说明
图1是本发明提供的人脸与人体的关联方法一实施例的流程示意图；
图2是本发明提供的人脸与人体的关联方法另一实施例的流程示意图；
图3是本发明人脸与人体的关联装置一实施例的框架示意图；
图4是本发明提供的电子设备一实施例的结构示意图；
图5是本发明提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明提供的人脸与人体的关联方法一实施例的流程示意图。
步骤S11：获取到视频图像，并确定视频图像中目标对象的跟踪轨迹以及目标对象的多个初始图像。
在一个具体的应用场景中，可以通过固定的监控摄像头获取一段时间的视频图像。在另一个具体的应用场景中，也可以通过移动摄像头，例如：智能移动机器人、或人工手持摄像头获取的一段时间的视频图像。具体地视频图像的获取方式，在此不做限定。
获取到视频图像后，视频图像中目标对象的跟踪轨迹以及目标对象的多个初始图像。其中，本实施例的目标对象指的是某个具体的人，通过本实施例的人脸与人体的关联方法确定这个人在视频图像中的人脸图像与人体图像，从而便于对这个人进行特征分析或识别等后续步骤。
在一个具体的应用场景中，可以通过基于深度学习的DeepSort目标跟踪算法对视频图像中的目标对象进行目标跟踪，确定目标对象的跟踪轨迹，具体地，该算法由表观特征提取网络对检测框进行ReID(重识别)，再通过卡尔曼滤波及匈牙利算法实现当前目标检测框跟踪轨迹的关联。在另一个具体的应用场景中，也可以通过目标跟踪算法对视频图像中的目标对象进行目标跟踪，确定目标对象的跟踪轨迹。其中，目标跟踪的方法可以采用区域匹配、特征点跟踪、基于主动轮廓的跟踪算法、光流法等。最常用的是特征匹配法，首先提取目标特征，然后在后续的帧中找到最相似的特征进行目标定位，常用的特征有：SIFT特征、SURF特征、Harris角点等。
在另一个具体的应用场景中，还可以接收人工对视频图像中的目标对象的确认与标记，得到目标对象的跟踪轨迹。具体地目标对象的跟踪轨迹的获取方法在此不做限定。
目标对象的初始图像包括初始人脸图像、初始人体图像以及初始人脸人体图像。其中，初始人脸图像指的是某个视频帧中包括目标对象的人脸部分的局部图像，初始人体图像指的是某个视频帧中包括目标对象的人体部分的局部图像，初始人脸人体图像指的是某个视频帧中同时包括目标对象的人脸与人体部分的局部图像。例如：当某个视频帧中有5张人脸，其中一张为目标对象的人脸，则该人脸所在的部分局部图像位置为目标对象的初始人脸图像。
在一个具体的应用场景中，可以通过训练完成的目标检测模型对视频图像中的目标对象进行目标检测，以确定目标对象的初始图像。在另一个具体的应用场景中，也可以通过训练完成的图像识别模型对视频图像中的各帧图像进行图像识别，以确定目标对象的初始图像。在一个具体的应用场景中，也可以通过Two-Stage算法、One-Stage算法等目标检测算法先对视频图像中的目标对象进行目标检测，再进行目标框的跟踪，以确定目标对象的初始图像。具体初始图像的获取方式在此不做限定。
其中，当本实施例应用于行人活动密集，人体与人体之间存在遮挡、人体部分重合度高的场景，如候车大厅、地铁站、商超以及其他重要活动场所时，由于人流量大且人员密集，上述确定目标对象的初始图像的方法很容易将非目标对象的初始图像误判进目标对象的初始图像，因此，本实施例还需要对初始图像进行调整。
步骤S12：响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于目标对象的多个初始图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系。
响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于目标对象的多个初始图像之间对应的的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像。其中，稳定度阈值的具体值可以基于实际需求进行设置，在此不做限定。
在一个具体的实施方式中，响应于跟踪轨迹大于稳定度阈值，可以将初始图像中初始人脸图像、初始人体图像以及初始人脸人体图像中目标对象的各人脸与各人体作为目标对象的目标人脸图像与目标人体图像。在另一个具体的实施方式中，响应于跟踪轨迹大于稳定度阈值，可以将初始图像中初始人脸图像、初始人体图像以及初始人脸人体图像中特征质量最优的人脸与人体作为目标对象的目标人脸图像与目标人体图像。本实施例的大于包括大于和等于。
其中，跟踪稳定度可由跟踪目标的跟踪轨迹在删除状态时的目标跟踪置信度来确定。目标跟踪置信度则是跟踪算法通过判断跟踪目标连续被遮挡的帧数或跟踪目标连续丢失帧数来减少置信度。置信度初始值为1，直至减为0为止，取值范围[0，1]。
其中，确定多个初始图像之间的人脸相似度以及人体相似度的方法可以采用计算各初始图像之间的欧式距离、余弦距离、曼哈顿距离、皮尔森相关系数，明可夫斯基距离等方式确定多个初始图像之间的相似度。
在一个具体的应用场景中，可以对应计算各初始人脸图像与各初始人脸人体图像中各人脸的相似度，基于各人脸之间的相似度确定目标对象的目标人脸图像，以及计算各初始人体图像与各初始人脸人体图像中各人体的相似度，基于各人体之间的相似度确定目标对象的目标人体图像。
在另一个具体的应用场景中，可以先对各初始图像进行质量挑选，基于满足质量要求的初始图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像。
确定了目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系，即将目标人脸图像与目标人体图像确定为同一目标对象的图像，完成目标对象的人脸与人体的关联。
通过上述步骤，本实施例的人脸与人体的关联方法通过获取到视频图像，并确定视频图像中目标对象的跟踪轨迹以及目标对象的多个初始图像，再响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于目标对象的多个初始图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系，能够在初始图像的基础上，通过相似度对比有效减小误关联的人脸与人体，进而提高目标对象的人脸与人体的关联准确度。
在其他实施例中，人脸与人体的关联方法还可以包括：
请参阅图2，图2是本发明提供的人脸与人体的关联方法另一实施例的流程示意图。
步骤S21：获取到视频图像，并且确定视频图像中目标对象的跟踪轨迹以及目标对象的多个初始图像。
获取到视频图像，可以对视频图像进行目标跟踪，确定视频图像中目标对象的跟踪轨迹；以及对视频图像的各图像帧进行目标检测，确定目标对象的多个初始图像。
在一个具体的应用场景中，可以通过对视频图像的各图像帧进行目标检测，得到视频图像内所有人的人脸和人体，并通过目标跟踪的方法获取各人脸和各人体的跟踪标识以及跟踪轨迹，从而基于各人脸和各人体的跟踪标识以及跟踪轨迹确定目标对象的跟踪轨迹以及目标对象的多个初始图像。
其中，目标对象的初始图像包括初始人脸图像、初始人体图像以及初始人脸人体图像。
在一个具体的应用场景中，本实施例可以将目标对象在视频图像中的运动状态划分为目标创建、目标更新、目标丢失、目标删除四种状态，其中每个目标都具有区分于其他目标的跟踪标识。当确定目标对象处于目标删除的状态后，在视频图像的目标从创建到删除的时间段内确定目标对象的跟踪轨迹以及目标对象的多个初始图像。
步骤S22：分别对目标对象的各初始图像进行质量评分，确定各初始图像的质量分数。
分别对目标对象的各初始图像进行质量评分，确定各初始图像中目标对象的各人脸图像、各人体图像以及各人脸人体图像的质量分数。
在一个具体的应用场景中，可以利用深度学习的多标签分类算法，以各人脸图像、各人体图像以及各人脸人体图像的预设属性为训练标签，基于卷积神经网络训练得到质量评分模型，再利用质量评分模型对各人脸图像、各人体图像以及各人脸人体图像的预设属性进行质量评分。其中，预设属性可以包括人脸或人体在图像上的完整性、人脸或人体在图像上是否被遮挡、图像分辨率以及人脸或人体在图像上的大小、人脸人体目标图像的清晰度，有无噪声干扰等，具体在此不做限定。
在另一个具体的应用场景中，也可以接受人工对各人脸图像、各人体图像以及各人脸人体图像进行质量评分，得到各初始图像中目标对象的各人脸图像、各人体图像以及各人脸人体图像的质量分数。
步骤S23：响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各初始图像的质量分数从多个初始图像中确定多个质量图像。
判断目标对象的跟踪轨迹是否大于稳定度阈值。具体地，可以基于跟踪轨迹确定跟踪轨迹的跟踪稳定度。其中，稳定度阈值的具体值可以基于实际需求进行设置，在此不做限定。
其中，跟踪稳定度可由跟踪目标的跟踪轨迹在删除状态时的目标跟踪置信度来确定。目标跟踪置信度则是跟踪算法通过判断跟踪目标连续被遮挡的帧数或跟踪目标连续丢失帧数来减少置信度。置信度初始值为1，直至减为0为止，取值范围[0，1]。
响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各初始图像的质量分数从多个初始图像中确定多个质量图像。而响应于跟踪轨迹大于稳定度阈值，可以将初始图像中初始人脸图像、初始人体图像以及初始人脸人体图像中目标对象的各人脸与各人体作为目标对象的目标人脸图像与目标人体图像。在另一个具体的实施方式中，响应于跟踪轨迹大于稳定度阈值，可以将初始图像中初始人脸图像、初始人体图像以及初始人脸人体图像中质量分数最优或超过预设质量分数的人脸图像与人体图像作为目标对象的目标人脸图像与目标人体图像。其中，预设质量分数可以基于实际情况进行设置，在此不做限定。
在一个具体的实施方式中，响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，可以判断各初始人脸图像、各初始人体图像以及各初始人脸人体图像的质量分数是否超过预设质量分数，将超过预设质量分数的图像确定为质量图像。
在另一个具体的实施方式中，多个质量图像可以包括人脸质量最优图像Fbest、人脸质量最优图像对应的人体图像BF-best、人脸人体综合质量最优图像中的人脸图像F2-best和人体图像B2-best，其中，人脸质量最优图像Fbest为初始人脸图像中质量分数最高的图像，人脸人体综合质量最优图像中的人脸图像F2-best和人体图像B2-best为初始人脸人体图像中质量分数最高的图像中人脸部分的图像和人体部分的图像。
即响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各初始人脸图像、各初始人体图像以及各初始人脸人体图像的质量分数，确定目标对象的人脸质量最优图像Fbest、人脸质量最优图像对应的人体图像BF-best、人脸人体综合质量最优图像中的人脸图像F2-best和人体图像B2-best。在一个具体的应用场景中，多个质量图像还包括多个人体质量图像Bbest，即还可以基于各初始图像中各初始人体图像的质量分数，从多个初始图像中确定目标对象的多个人体质量图像Bbest。其中，人体质量图像Bbest为初始人体图像中质量分数最高的图像。
具体地，确定人脸质量最优图像Fbest的方法可以为：基于质量分数从高到低的顺序分别将各初始人脸图像、各初始人体图像以及各初始人脸人体图像进行排序，得到人脸图像序列、人体图像序列以及人脸人体图像序列；对人脸图像序列中前预设数量的初始人脸图像进行人脸特征提取，得到包括多张人脸图像的人脸图像特征合集；对人脸图像特征合集进行聚类，得到至少一个人脸图像聚类簇；将数量最多的人脸图像聚类簇中质量分数最高的人脸图像确定为人脸质量最优图像Fbest，并得到人脸质量最优图像对应的人体图像BF-best，其中，人脸质量最优图像对应的人体图像BF-best指的是与人脸质量最优图像Fbest共处同一图像帧，对应相同目标对象的人体图像，其中，该对应关系是由步骤S21中的目标检测得到的，可能存在误差。
上述确定人脸质量最优图像Fbest的方法，先从人脸图像序列中前预设数量的初始人脸图像进行挑选，能够提高目标对象的目标人脸图像的来源准确度，进而提高最终的目标对象的目标人脸图像的准确率，且还对前预设数量的人脸图像进行人脸识别以及聚类，来排除基于步骤S11中目标检测和目标跟踪中误识别的其他人脸，提高人脸图像聚类簇对目标对象的针对性，进而进一步提高最终的目标对象的目标人脸图像的准确率。
确定人脸人体综合质量最优图像中的人脸图像F2-best和人体图像B2-best以及人体质量图像Bbest的方法可以为：将人体图像序列中质量分数最高的初始人体图像确定为人体质量图像Bbest；以及将人脸人体图像序列中质量分数最高的初始人脸人体图像确定为人脸人体综合质量最优图像，得到人脸人体综合质量最优图像中的人脸图像F2-best和人体图像B2-best。
在一个具体的实施方式中，人体质量图像Bbest为多姿态人体图像，包括：正面人体质量图像、侧面人体质量图像以及背面人体质量图像。
具体地，可以将人体图像序列中满足质量条件的正面人体图像确定为正面人体质量图像；以及将人体图像序列中满足质量条件的侧面人体图像确定为侧面人体质量图像；以及将人体图像序列中满足质量条件的背面人体图像确定为背面人体质量图像；其中，质量条件包括质量分数最高或质量分数超过预设质量分数。正面人体图像指的是图像上的人体正面朝向视频图像的摄像头的图像；侧面人体质量图像指的是图像上的人体侧面朝向视频图像的摄像头的人体图像；背面人体质量图像指的是图像上的人体背面朝向视频图像的摄像头的人体图像。
其中，本步骤中得到的目标对象的人脸质量最优图像Fbest、人脸质量最优图像对应的人体图像BF-best、人脸人体综合质量最优图像中的人脸图像F2-best和人体图像B2-best以及多个人体质量图像Bbest与目标对象的对应关系是由步骤S21中的目标检测得到的，可能存在误差。本实施例通过步骤S24排除此误差。
步骤S24：基于目标对象的多个质量图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系。
在相似度对比时，可以通过特征提取的方式获取各质量图像的特征向量，利用各质量图像的特征向量采用步骤S11中计算相似度的方式确定多个质量图像之间的人脸相似度以及人体相似度。
在一个具体的应用场景中，获得目标对象的多个质量图像后，可以基于目标对象的多个质量图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系，例如：将超过预设质量分数的质量图像之间的各人脸图像与各人体图像进行相似度对比，将相似度超过人脸预设相似度的至少两个人脸图像确定为目标对象的目标人脸图像，将相似度超过人体预设相似度的至少两个人体像确定为目标对象的目标人体图像。其中，人脸预设相似度和人体预设相似度的具体值可以基于实际情况进行设置，在此不做限定。
在一个具体的应用场景中，可以基于目标对象的人脸质量最优图像Fbest、人脸质量最优图像对应的人体图像BF-best、人脸人体综合质量最优图像中的人脸图像F2-best和人体图像B2-best之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系。
在一个具体的实施方式中，响应于人脸质量最优图像Fbest与人脸人体综合质量最优图像中的人脸图像F2-best之间的人脸相似度不小于人脸预设相似度，将人脸质量最优图像Fbest与人脸人体综合质量最优图像中的人脸图像F2-best确定为目标对象的目标人脸图像；响应于人脸质量最优图像对应的人体图像BF-best与人脸人体综合质量最优图像中的人体图像B2-best之间的人体相似度小于人体预设相似度，将人脸人体综合质量最优图像中的人体图像B2-best确定为目标对象的目标人体图像。将人脸质量最优图像对应的人体图像BF-best确定为其他目标对象的人体图像，即生成新的标签。响应于人脸质量最优图像对应的人体图像BF-best与人脸人体综合质量最优图像中的人体图像B2-best之间的人体相似度不小于人体预设相似度，将人脸质量最优图像对应的人体图像BF-best与人脸人体综合质量最优图像中的人体图像B2-best确定为目标对象的目标人体图像。
在一个具体的实施方式中，响应于人脸质量最优图像Fbest与人脸人体综合质量最优图像中的人脸图像F2-best之间的人脸相似度小于人脸预设相似度，将人脸人体综合质量最优图像中的人脸图像F2-best确定为目标对象的目标人脸图像。将人脸质量最优图像Fbest确定为其他目标对象的人脸图像，即生成新的标签。响应于人脸质量最优图像对应的人体图像BF-best与人脸人体综合质量最优图像中的人体图像B2-best之间的人体相似度不小于人体预设相似度，将人脸质量最优图像对应的人体图像BF-best与人脸人体综合质量最优图像中的人体图像B2-best都确定为目标对象的目标人体图像，即同一目标对象的人体图像。响应于人脸质量最优图像对应的人体图像BF-best与人脸人体综合质量最优图像中的人体图像B2-best之间的人体相似度小于人体预设相似度，将人脸人体综合质量最优图像中的人体图像B2-best确定为目标对象的目标人体图像。
在一个具体的实施方式中，当获取质量图像时还可以确定目标对象的多个人体质量图像Bbest，响应于人体质量图像与目标对象的目标人体图像之间的人体相似度大于人体预设相似度，将人体质量图像确定为目标对象的目标人体图像。
在一个具体的应用场景中，可以各人体质量图像Bbest分别与人脸质量最优图像对应的人体图像BF-best与人脸人体综合质量最优图像中的人体图像B2-best进行相似度对比，当人体质量图像Bbest与其中任一人体图像的人体相似度超过人体预设相似度，则将人体质量图像Bbest赋予与其人体相似度超过人体预设相似度的人体图像相同的标签。
在一个具体的应用场景中，可以将所有与目标对象的目标人体图像之间的人体相似度不大于人体预设相似度的人体质量图像Bbest确定为未分类人体合集，将未分类人体合集中质量分数最高的人体图像与合集中剩余人体图像进行相似度对比，若与某个剩余人体图像之间的人体相似度高于人体相似度阈值，则将该剩余人体图像与质量分数最高的人体图像确定为同一目标对象的人体图像，即赋予相同的标签，若与某个剩余人体图像之间的人体相似度不高于人体相似度阈值，则将该剩余人体图像与质量分数最高的人体图像确定为不同目标对象的人体图像，即赋予不同的标签，且标签可以为目标跟踪时获取的跟踪标签，即初始标签，依次类推，继续分类剩余的未分类人体合集，直至最后一个人体质量图像Bbest被赋予标签。
确定目标对象的目标人脸图像以及目标人体图像后，建立目标人脸图像与目标人体图像之间的关联关系，即确定目标人脸图像以及目标人体图像为同一目标对象的人体和人脸图像，完成该目标对象的人脸与人体的关联。
通过上述人脸与人体的关联方法，可以将步骤S21中目标对象的多个初始图像的误关联的图像进行筛除，确定视频图像中目标对象真正的的目标人脸图像以及目标人体图像，从而提高同一目标对象的人脸人体关联准确率。且通过上述人脸与人体的关联方法可以将视频图像中所有目标对象的人脸与人体进行关联，实现密集场景下各目标对象的人脸人体关联关系。
通过上述步骤，本实施例的人脸与人体的关联获取到视频图像，并且确定视频图像中目标对象的跟踪轨迹以及目标对象的多个初始图像，分别对目标对象的各初始图像进行质量评分，确定各初始图像的质量分数，并响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各初始图像的质量分数从多个初始图像中确定多个质量图像，最后基于目标对象的多个质量图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系，能够在初始图像的基础上，先通过质量评分进行质量筛选，得到多个质量图像，再通过对质量图像进行相似度对比能够有效减小误关联的人脸与人体，进而提高目标对象的人脸与人体的关联准确度。且，本实施例通过相似度的逻辑判断来确定目标对象真正的目标人脸图像和目标人体图像，无需额外引入复杂算法，能够提高人脸人体关联准确度的同时还保持了人脸人体关联效率。
请参阅图3，图3是本发明图像识别装置一实施例的框架示意图。人脸与人体的关联装置30包括获取模块31、确定模块32。获取模块31用于获取到视频图像，并确定视频图像中目标对象的跟踪轨迹以及目标对象的多个初始图像，初始图像包括初始人脸图像、初始人体图像以及初始人脸人体图像；确定模块32用于响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于目标对象的多个初始图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系。
确定模块32还用于分别对目标对象的各初始图像进行质量评分，确定各初始图像的质量分数；响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各初始图像的质量分数从多个初始图像中确定多个质量图像；基于目标对象的多个质量图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系。
确定模块32还用于分别对目标对象的各初始图像进行质量评分，确定各初始图像中各初始人脸图像、各初始人体图像以及各初始人脸人体图像的质量分数；响应于跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各初始人脸图像、各初始人体图像以及各初始人脸人体图像的质量分数，确定目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像；基于目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像之间的人脸相似度以及人体相似度确定目标对象的目标人脸图像以及目标人体图像，并建立目标人脸图像与目标人体图像之间的关联关系。
确定模块32还用于响应于人脸质量最优图像与人脸人体综合质量最优图像中的人脸图像之间的人脸相似度不小于人脸预设相似度，将人脸质量最优图像与人脸人体综合质量最优图像中的人脸图像确定为目标对象的目标人脸图像，并判断人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度是否小于人体预设相似度；响应于人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度小于人体预设相似度，将人脸人体综合质量最优图像中的人体图像确定为目标对象的目标人体图像，以及将人脸质量最优图像对应的人体图像确定为其他目标对象的人体图像。
确定模块32还用于响应于人脸质量最优图像与人脸人体综合质量最优图像中的人脸图像之间的人脸相似度小于人脸预设相似度，将人脸人体综合质量最优图像中的人脸图像确定为目标对象的目标人脸图像，并判断人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度是否小于人体预设相似度；响应于人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度小于人体预设相似度，将人脸人体综合质量最优图像中的人体图像确定为目标对象的目标人体图像；响应于人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度不小于人体预设相似度，将人脸人体综合质量最优图像中的人体图像与人脸质量最优图像对应的人体图像确定为目标对象的目标人体图像。
确定模块32还用于基于各初始图像中各初始人体图像的质量分数，从多个初始图像中确定目标对象的人体质量图像；响应于人体质量图像与目标对象的目标人体图像之间的人体相似度大于人体预设相似度，将人体质量图像确定为目标对象的目标人体图像。
确定模块32还用于基于跟踪轨迹对应的视频图像中目标对象的特征质量确定跟踪轨迹的跟踪稳定度；响应于跟踪稳定度不大于稳定度阈值，基于各初始人脸图像、各初始人体图像以及各初始人脸人体图像的质量分数确定目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像。
确定模块32还用于基于质量分数从高到低的顺序分别将各初始人脸图像、各初始人体图像以及各初始人脸人体图像进行排序，得到人脸图像序列、人体图像序列以及人脸人体图像序列；对人脸图像序列中前预设数量的初始人脸图像进行人脸特征提取，得到包括多张人脸图像的人脸图像特征合集；对人脸图像特征合集进行聚类，得到至少一个人脸图像聚类簇；将数量最多的人脸图像聚类簇中质量分数最高的人脸图像确定为人脸质量最优图像，并得到人脸质量最优图像对应的人体图像；以及将人体图像序列中满足质量条件的初始人体图像确定为人体质量图像；以及将人脸人体图像序列中质量分数最高的初始人脸人体图像确定为人脸人体综合质量最优图像，得到人脸人体综合质量最优图像中的人脸图像和人体图像。
确定模块32还用于将人体图像序列中满足质量条件的正面人体图像确定为正面人体质量图像；以及将人体图像序列中满足质量条件的侧面人体图像确定为侧面人体质量图像；以及将人体图像序列中满足质量条件的背面人体图像确定为背面人体质量图像；其中，质量条件包括质量分数最高或质量分数超过预设质量分数。其中，人体质量图像包括：正面人体质量图像、侧面人体质量图像以及背面人体质量图像。
获取模块31：对视频图像进行目标跟踪，确定视频图像中目标对象的跟踪轨迹；以及对视频图像的各图像帧进行目标检测，确定目标对象的多个初始图像。
上述方案，能够提高人脸与人体的关联准确率。
基于同样的发明构思，本发明还提出了一种电子设备，该电子设备能够被执行以实现上述任一实施例的人脸与人体的关联方法，请参阅图4，图4是本发明提供的电子设备一实施例的结构示意图，电子设备包括处理器41以及存储器42。
处理器41用于执行存储器42中存储的程序指令，以实现上述任一人脸与人体的关联方法的步骤。在一个具体的实施场景中，电子设备可以包括但不限于：微型计算机、服务器，此外，电子设备还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器41用于控制其自身以及存储器42以实现上述任一实施例的步骤。处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器41可以由集成电路芯片共同实现。
上述方案，能够提高人脸与人体的关联准确率。
基于同样的发明构思，本发明还提出了一种计算机可读存储介质，请参阅图5，图5是本发明提供的计算机可读存储介质一实施例的结构示意图。计算机可读存储介质50中存储有至少一个程序数据51，程序数据51用于实现上述任一方法。在一个实施例中，计算机可读存储介质50包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中。
以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

Claims (12)

1.一种人脸与人体的关联方法，其特征在于，包括：
获取到视频图像，并确定所述视频图像中目标对象的跟踪轨迹以及所述目标对象的多个初始图像，所述初始图像包括初始人脸图像、初始人体图像以及初始人脸人体图像；
响应于所述跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于所述目标对象的多个初始图像之间的人脸相似度以及人体相似度确定所述目标对象的目标人脸图像以及目标人体图像，并建立所述目标人脸图像与所述目标人体图像之间的关联关系。
2.根据权利要求1所述的人脸与人体的关联方法，其特征在于，所述响应于所述跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于所述目标对象的多个初始图像之间的人脸相似度以及人体相似度确定所述目标对象的目标人脸图像以及目标人体图像，并建立所述目标人脸图像与所述目标人体图像之间的关联关系，包括：
分别对所述目标对象的各初始图像进行质量评分，确定各所述初始图像的质量分数；
响应于所述跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各所述初始图像的质量分数从所述多个初始图像中确定多个质量图像；
基于所述目标对象的多个质量图像之间的人脸相似度以及人体相似度确定所述目标对象的目标人脸图像以及目标人体图像，并建立所述目标人脸图像与所述目标人体图像之间的关联关系。
3.根据权利要求2所述的人脸与人体的关联方法，其特征在于，所述分别对所述目标对象的各初始图像进行质量评分，确定各所述初始图像的质量分数，包括：
分别对所述目标对象的各初始图像进行质量评分，确定各所述初始图像中各初始人脸图像、各初始人体图像以及各初始人脸人体图像的质量分数；
所述响应于所述跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各所述初始图像的质量分数从所述多个初始图像中确定多个质量图像，包括：
响应于所述跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各所述初始人脸图像、各所述初始人体图像以及各所述初始人脸人体图像的质量分数，确定所述目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像；
所述基于所述目标对象的多个质量图像之间的人脸相似度以及人体相似度确定所述目标对象的目标人脸图像以及目标人体图像，并建立所述目标人脸图像与所述目标人体图像之间的关联关系，包括：
基于所述目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像之间的人脸相似度以及人体相似度确定所述目标对象的目标人脸图像以及目标人体图像，并建立所述目标人脸图像与所述目标人体图像之间的关联关系。
4.根据权利要求3所述的人脸与人体的关联方法，其特征在于，所述基于所述目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像之间的人脸相似度以及人体相似度确定所述目标对象的目标人脸图像以及目标人体图像，包括：
响应于所述人脸质量最优图像与所述人脸人体综合质量最优图像中的人脸图像之间的人脸相似度不小于人脸预设相似度，将所述人脸质量最优图像与所述人脸人体综合质量最优图像中的人脸图像确定为所述目标对象的目标人脸图像，并判断人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度是否小于人体预设相似度；
响应于人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度小于人体预设相似度，将所述人脸人体综合质量最优图像中的人体图像确定为所述目标对象的目标人体图像，以及将所述人脸质量最优图像对应的人体图像确定为其他目标对象的人体图像。
5.根据权利要求3所述的人脸与人体的关联方法，其特征在于，所述基于所述目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像之间的人脸相似度以及人体相似度确定所述目标对象的目标人脸图像以及目标人体图像，包括：
响应于所述人脸质量最优图像与所述人脸人体综合质量最优图像中的人脸图像之间的人脸相似度小于人脸预设相似度，将所述人脸人体综合质量最优图像中的人脸图像确定为所述目标对象的目标人脸图像，并判断人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度是否小于人体预设相似度；
响应于人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度小于人体预设相似度，将所述人脸人体综合质量最优图像中的人体图像确定为所述目标对象的目标人体图像；
响应于人脸质量最优图像对应的人体图像与人脸人体综合质量最优图像中的人体图像之间的人体相似度不小于人体预设相似度，将所述人脸人体综合质量最优图像中的人体图像与人脸质量最优图像对应的人体图像确定为所述目标对象的目标人体图像。
6.根据权利要求4或5所述的人脸与人体的关联方法，其特征在于，所述基于各所述初始人脸图像、各所述初始人体图像以及各所述初始人脸人体图像的质量分数，确定所述目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像，还包括：
基于各所述初始图像中各初始人体图像的质量分数，从所述多个初始图像中确定所述目标对象的人体质量图像；
所述基于所述目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像之间的人脸相似度以及人体相似度确定所述目标对象的目标人脸图像以及目标人体图像，还包括：
响应于所述人体质量图像与所述目标对象的目标人体图像之间的人体相似度大于人体预设相似度，将所述人体质量图像确定为所述目标对象的目标人体图像。
7.根据权利要求3所述的人脸与人体的关联方法，其特征在于，所述响应于所述跟踪轨迹的跟踪稳定度不大于稳定度阈值，基于各所述初始图像的质量分数从所述多个初始图像中确定多个质量图像，包括：
基于所述跟踪轨迹确定所述目标对象的跟踪稳定度；
响应于所述跟踪稳定度不大于所述稳定度阈值，基于各所述初始人脸图像、各所述初始人体图像以及各所述初始人脸人体图像的质量分数确定所述目标对象的人脸质量最优图像、人脸质量最优图像对应的人体图像、人脸人体综合质量最优图像中的人脸图像和人体图像。
8.根据权利要求3或7所述的人脸与人体的关联方法，其特征在于，所述基于各所述初始图像的质量分数从所述多个初始图像中确定多个质量图像，包括：
基于质量分数从高到低的顺序分别将各所述初始人脸图像、各所述初始人体图像以及各所述初始人脸人体图像进行排序，得到人脸图像序列、人体图像序列以及人脸人体图像序列；
对所述人脸图像序列中前预设数量的初始人脸图像进行人脸特征提取，得到包括多张人脸图像的人脸图像特征合集；
对所述人脸图像特征合集进行聚类，得到至少一个人脸图像聚类簇；
将数量最多的人脸图像聚类簇中质量分数最高的人脸图像确定为所述人脸质量最优图像，并得到所述人脸质量最优图像对应的人体图像；以及
将所述人体图像序列中满足质量条件的初始人体图像确定为人体质量图像；以及
将所述人脸人体图像序列中质量分数最高的初始人脸人体图像确定为所述人脸人体综合质量最优图像，得到所述人脸人体综合质量最优图像中的人脸图像和人体图像。
9.根据权利要求8所述的人脸与人体的关联方法，其特征在于，所述人体质量图像包括：正面人体质量图像、侧面人体质量图像以及背面人体质量图像；
所述将所述人体图像序列中满足质量条件的初始人体图像确定为所述人体质量图像，包括：
将所述人体图像序列中满足所述质量条件的正面人体图像确定为所述正面人体质量图像；以及
将所述人体图像序列中满足所述质量条件的侧面人体图像确定为所述侧面人体质量图像；以及
将所述人体图像序列中满足所述质量条件的背面人体图像确定为所述背面人体质量图像；
其中，所述质量条件包括质量分数最高或质量分数超过预设质量分数。
10.根据权利要求1所述的人脸与人体的关联方法，其特征在于，所述获取到视频图像，并且确定所述视频图像中目标对象的跟踪轨迹以及所述目标对象的多个初始图像，所述初始图像包括人脸图像帧、初始人体图像以及初始人脸人体图像，包括：
对所述视频图像进行目标跟踪，确定所述视频图像中目标对象的跟踪轨迹；以及
对所述视频图像的各图像帧进行目标检测，确定所述目标对象的多个初始图像。
11.一种电子设备，其特征在于，所述电子设备包括：相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现如权利要求1至10任一项所述的人脸与人体的关联方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序数据，所述程序数据能够被执行以实现如权利要求1至10任一项所述的人脸与人体的关联方法。
CN202210983599.XA 2022-08-16 2022-08-16 人脸与人体的关联方法、电子设备以及存储介质 Pending CN115457595A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210983599.XA CN115457595A (zh) 2022-08-16 2022-08-16 人脸与人体的关联方法、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210983599.XA CN115457595A (zh) 2022-08-16 2022-08-16 人脸与人体的关联方法、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN115457595A true CN115457595A (zh) 2022-12-09

Family

ID=84298855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210983599.XA Pending CN115457595A (zh) 2022-08-16 2022-08-16 人脸与人体的关联方法、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN115457595A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953650A (zh) * 2023-03-01 2023-04-11 杭州海康威视数字技术股份有限公司 特征融合模型的训练方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953650A (zh) * 2023-03-01 2023-04-11 杭州海康威视数字技术股份有限公司 特征融合模型的训练方法和装置

Similar Documents

Publication Publication Date Title
CN111626371B (zh) 一种图像分类方法、装置、设备及可读存储介质
CN107679448B (zh) 眼球动作分析方法、装置及存储介质
CN110795595B (zh) 基于边缘计算的视频结构化存储方法、装置、设备及介质
CN109145742B (zh) 一种行人识别方法及系统
CN108491784B (zh) 面向大型直播场景的单人特写实时识别与自动截图方法
WO2017190656A1 (zh) 行人再识别方法和装置
D'Angelo et al. People re-identification in camera networks based on probabilistic color histograms
Bedagkar-Gala et al. Multiple person re-identification using part based spatio-temporal color appearance model
CN111797653A (zh) 基于高维图像的图像标注方法和装置
CN111985348B (zh) 人脸识别方法和系统
CN112016353A (zh) 一种基于视频的人脸图像进行身份识别方法及装置
Yang et al. Binary descriptor based nonparametric background modeling for foreground extraction by using detection theory
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及系统
CN114783037B (zh) 目标重识别方法、目标重识别装置和计算机可读存储介质
CN115457595A (zh) 人脸与人体的关联方法、电子设备以及存储介质
CN111079757A (zh) 服饰属性识别方法、装置及电子设备
Alagarsamy et al. Identifying the Missing People using Deep Learning Method
Aziz et al. Embedded system design for visual scene classification
Fritz et al. Object recognition using local information content
US20220405527A1 (en) Target Detection Methods, Apparatuses, Electronic Devices and Computer-Readable Storage Media
CN115546825A (zh) 一种安检规范性自动监测方法
Patravali et al. Skin segmentation using YCBCR and RGB color models
CN111444374B (zh) 人体检索系统和方法
Chtourou et al. Walking direction estimation for gait based applications
Herlambang et al. Cloud-based architecture for face identification with deep learning using convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination