CN110889315A - 图像处理方法、装置、电子设备及系统 - Google Patents

图像处理方法、装置、电子设备及系统 Download PDF

Info

Publication number
CN110889315A
CN110889315A CN201811053168.3A CN201811053168A CN110889315A CN 110889315 A CN110889315 A CN 110889315A CN 201811053168 A CN201811053168 A CN 201811053168A CN 110889315 A CN110889315 A CN 110889315A
Authority
CN
China
Prior art keywords
face
human body
candidate
image
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811053168.3A
Other languages
English (en)
Other versions
CN110889315B (zh
Inventor
李搏
郭熔昊
武伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201811053168.3A priority Critical patent/CN110889315B/zh
Publication of CN110889315A publication Critical patent/CN110889315A/zh
Application granted granted Critical
Publication of CN110889315B publication Critical patent/CN110889315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供一种图像处理方法、装置、电子设备及系统，该方法包括：对待处理图像进行处理，得到所述待处理图像中的至少一个人脸，并对所述待处理图像进行人体检测，得到所述待处理图像中的至少一个人体；根据所述至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，所述候选对包括所述至少一个人脸中的一个人脸和所述至少一个人体中的一个人体。该方法可以极大提升匹配结果的准确度。

Description

图像处理方法、装置、电子设备及系统
技术领域
本公开实施例涉及计算机技术，尤其涉及一种图像处理方法、装置、电子设备及系统。
背景技术
出于实际需要，一些企业或组织等可能需要对公共场合下的人流进行跟踪匹配，以用于到访次数统计、人物身份识别以及人物特征分析等过程中。
相关技术中，通过人脸跟踪的方式进行跟踪匹配，通过对相机捕获的画面中的人脸进行特征匹配分析，从而实现人脸跟踪。
但是，使用相关技术的方法所得到的匹配结果的准确度不高。
发明内容
本公开实施例提供一种图像处理的技术方案。
本公开实施例第一方面提供一种图像处理方法，包括：对待处理图像进行处理，得到所述待处理图像中的至少一个人脸，并对所述待处理图像进行人体检测，得到所述待处理图像中的至少一个人体；根据所述至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，所述候选对包括所述至少一个人脸中的一个人脸和所述至少一个人体中的一个人体，N为大于或等于1的整数；根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果。
在一些可能的实现方式中，所述根据所述至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，包括：基于第一候选对包括的第一人体以及所述第一候选对包括的第一人脸，确定目标对象的预估位置信息和实际位置信息，其中，所述N个候选对包括所述第一候选对，所述目标对象为人体的一部分；基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确定所述第一候选对的匹配概率信息。
在一些可能的实现方式中，所述目标对象包括耳朵和人脸中的至少一种。
在一些可能的实现方式中，所述基于第一候选对包括的第一人体以及所述第一候选对包括的第一人脸，确定目标对象的预估位置信息和实际位置信息，包括：基于所述第一人体，确定耳朵的实际位置信息；基于所述第一人脸，确定所述耳朵的预估位置信息。
在一些可能的实现方式中，所述基于所述第一人体，确定耳朵的实际位置信息，包括：基于所述第一人体的位置信息，从所述待处理图像中获取所述第一人体的图像；对所述第一人体的图像进行关键点检测，得到耳朵关键点的位置信息，其中，所述耳朵的实际位置信息包括所述耳朵关键点的位置信息。
在一些可能的实现方式中，所述基于所述第一人脸，确定所述耳朵的预估位置信息，包括：基于所述第一人脸的中心点位置以及所述第一人脸的尺寸信息，确定所述耳朵的预估位置信息。
在一些可能的实现方式中，所述基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确定所述第一候选对的匹配概率信息，包括：基于所述耳朵的预估位置信息和所述耳朵的实际位置信息，确定所述第一候选对的第一匹配概率；其中，所述第一候选对的匹配概率信息包含所述第一匹配概率，或者所述第一候选对的匹配概率信息是基于所述第一匹配概率得到的。
在一些可能的实现方式中，所述基于第一候选对包括的第一人体以及所述第一候选对包括的第一人脸，确定目标对象的预估位置信息和实际位置信息，包括：基于所述第一人体的限定框信息，确定所述第一人脸的中心点的预估位置信息；基于所述第一人脸的位置信息，确定所述第一人脸的中心点的实际位置信息。
在一些可能的实现方式中，所述基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确定所述第一候选对的匹配概率信息，包括：基于所述第一人脸的中心点的预估位置信息和所述第一人脸的中心点的实际位置信息，确定所述第一候选对的第二匹配概率；其中，所述第一候选对的匹配概率信息包含所述第二匹配概率，或者所述第一候选对的匹配概率信息是基于所述第二匹配概率得到的。
在一些可能的实现方式中，所述基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确定所述第一候选对的匹配概率信息，包括：基于耳朵的预估位置信息和所述耳朵的实际位置信息，确定所述第一候选对的第一匹配概率；基于所述第一人脸的预估位置信息和所述第一人脸的实际位置信息，确定所述第一候选对的第二匹配概率；基于所述第一匹配概率和所述第二匹配概率，确定所述第一候选对的目标匹配概率。
在一些可能的实现方式中，所述基于所述第一匹配概率和所述第二匹配概率，确定所述第一候选对的目标匹配概率，包括：基于所述第一匹配概率、所述第二匹配概率、所述第一匹配概率对应的权重以及所述第二匹配概率对应的权重，确定所述第一候选对的目标匹配概率。
在一些可能的实现方式中，所述根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果，包括：根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，其中，所述候选匹配结果包括所述N个候选对中的m个候选对，所述m个候选对中的每两个候选对所包含的人脸以及人体均不同；基于所述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，从所述至少一个候选匹配结果中确定所述至少一个人脸与所述至少一个人体的目标匹配结果。
在一些可能的实现方式中，所述根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，包括：将所述候选匹配结果中包含的m个候选对的匹配概率之和作为所述候选匹配结果的匹配概率信息对应的匹配概率。
在一些可能的实现方式中，所述基于所述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，从所述至少一个候选匹配结果中确定所述至少一个人脸与所述至少一个人体的目标匹配结果，包括：将所述至少一个候选匹配结果中匹配概率信息对应的匹配概率最大的候选匹配结果作为所述目标匹配结果。
在一些可能的实现方式中，在所述根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息之前，还包括：基于所述N个候选对中每个候选对的匹配概率信息，对所述N个候选对进行筛选处理，得到所述N个候选对中的至少一个候选对；基于所述至少一个候选对，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果。
在一些可能的实现方式中，所述基于所述N个候选对中每个候选对的匹配概率信息，对所述N个候选对进行筛选处理，得到所述N个候选对中的至少一个候选对，包括：从所述N个候选对中删除匹配概率信息对应的匹配概率低于预设阈值的候选对，得到至少一个候选对。
在一些可能的实现方式中，所述基于所述N个候选对中每个候选对的匹配概率信息，对所述N各候选对进行筛选处理，得到所述N个候选对中的至少一个候选对，包括：按照匹配概率从大到小的顺序对所述N个候选对排序，得到候选对序列；
删除所述候选对序列中最后的预设数量的候选对，得到所述N个候选对中的至少一个候选对。
在一些可能的实现方式中，还包括：根据所述至少一个人脸和所述至少一个人体的目标匹配结果，向服务器发送人物识别请求报文。
在一些可能的实现方式中，所述根据所述至少一个人脸和所述至少一个人体的目标匹配结果，向服务器发送人物识别请求报文，包括：在所述至少一个人体中存在与所述至少一个人脸中的第二人脸匹配的第二人体的情况下，向服务器发送包含所述第二人体的图像信息的人物识别请求报文。
在一些可能的实现方式中，还包括：在所述至少一个人体中存在与所述至少一个人脸中的第二人脸匹配的第二人体的情况下，确定所述第二人体的图像是否满足质量要求；在所述至少一个人体中存在与所述至少一个人脸中的第二人脸匹配的第二人体的情况下，向服务器发送包含所述第二人体的图像信息的人物识别请求报文，包括：
在所述第二人体的图像满足质量要求的情况下，向服务器发送包含所述第二人体的图像信息的人物识别请求报文。
在一些可能的实现方式中，所述质量要求包括下列中的至少一种：人脸清晰度要求、人脸大小要求、人脸角度要求、人脸检测置信度要求以及人体检测置信度、人脸完整度要求。
在一些可能的实现方式中，所述人物识别请求报文还包括：所述第二人脸标识信息。
在一些可能的实现方式中，在向服务器发送包含所述第二人体的图像信息的人物识别请求报文之前，还包括：确定将所述第二人脸的图像信息替换为所述第二人体的图像信息。
在一些可能的实现方式中，所述根据所述至少一个人脸和所述至少一个人体的目标匹配结果，向服务器发送人物识别请求报文，包括：在所述至少一个人体中不存在与第二人脸匹配的人体的情况下，向服务器发送包含所述第二人脸的图像信息的人物识别请求报文。
在一些可能的实现方式中，所述图像信息包括：图像和/或特征信息。
本公开实施例第二方面提供一种图像处理装置，包括：处理模块，用于对待处理图像进行处理，得到所述待处理图像中的至少一个人脸，并对所述待处理图像进行人体检测，得到所述待处理图像中的至少一个人体；第一确定模块，用于根据所述至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，所述候选对包括所述至少一个人脸中的一个人脸和所述至少一个人体中的一个人体，N为大于或等于1的整数；第二确定模块，用于根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果。
在一些可能的实现方式中，所述第一确定模块，包括：第一确定单元，用于基于第一候选对包括的第一人体以及所述第一候选对包括的第一人脸，确定目标对象的预估位置信息和实际位置信息，其中，所述N个候选对包括所述第一候选对，所述目标对象为人体的一部分；第二确定单元，用于基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确定所述第一候选对的匹配概率信息。
在一些可能的实现方式中，所述目标对象包括耳朵和人脸中的至少一种。
在一些可能的实现方式中，所述第一确定单元具体用于：基于所述第一人体，确定耳朵的实际位置信息；基于所述第一人脸，确定所述耳朵的预估位置信息。
在一些可能的实现方式中，所述第一确定单元具体用于：基于所述第一人体的位置信息，从所述待处理图像中获取所述第一人体的图像；对所述第一人体的图像进行关键点检测，得到耳朵关键点的位置信息，其中，所述耳朵的实际位置信息包括所述耳朵关键点的位置信息。
在一些可能的实现方式中，所述第一确定单元具体用于：基于所述第一人脸的中心点位置以及所述第一人脸的尺寸信息，确定所述耳朵的预估位置信息。
在一些可能的实现方式中，所述第二确定单元具体用于：基于所述耳朵的预估位置信息和所述耳朵的实际位置信息，确定所述第一候选对的第一匹配概率；其中，所述第一候选对的匹配概率信息包含所述第一匹配概率，或者所述第一候选对的匹配概率信息是基于所述第一匹配概率得到的。
在一些可能的实现方式中，所述第一确定单元具体用于：基于所述第一人体的限定框信息，确定所述第一人脸的中心点的预估位置信息；基于所述第一人脸的位置信息，确定所述第一人脸的中心点的实际位置信息。
在一些可能的实现方式中，所述第二确定单元具体用于：基于所述第一人脸的中心点的预估位置信息和所述第一人脸的中心点的实际位置信息，确定所述第一候选对的第二匹配概率；其中，所述第一候选对的匹配概率信息包含所述第二匹配概率，或者所述第一候选对的匹配概率信息是基于所述第二匹配概率得到的。
在一些可能的实现方式中，所述第二确定单元具体用于：基于耳朵的预估位置信息和所述耳朵的实际位置信息，确定所述第一候选对的第一匹配概率；基于所述第一人脸的预估位置信息和所述第一人脸的实际位置信息，确定所述第一候选对的第二匹配概率；基于所述第一匹配概率和所述第二匹配概率，确定所述第一候选对的目标匹配概率。
在一些可能的实现方式中，所述第二确定单元具体用于：基于所述第一匹配概率、所述第二匹配概率、所述第一匹配概率对应的权重以及所述第二匹配概率对应的权重，确定所述第一候选对的目标匹配概率。
在一些可能的实现方式中，所述第二确定模块包括：第三确定单元，用于根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，其中，所述候选匹配结果包括所述N个候选对中的m个候选对，所述m个候选对中的每两个候选对所包含的人脸以及人体均不同；第四确定单元，用于基于所述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，从所述至少一个候选匹配结果中确定所述至少一个人脸与所述至少一个人体的目标匹配结果。
在一些可能的实现方式中，所述第三确定单元具体用于：将所述候选匹配结果中包含的m个候选对的匹配概率之和作为所述候选匹配结果的匹配概率信息对应的匹配概率。
在一些可能的实现方式中，所述第四确定单元具体用于：将所述至少一个候选匹配结果中匹配概率信息对应的匹配概率最大的候选匹配结果作为所述目标匹配结果。
在一些可能的实现方式中，还包括：筛选模块，用于基于所述N个候选对中每个候选对的匹配概率信息，对所述N个候选对进行筛选处理，得到所述N个候选对中的至少一个候选对；第三确定模块，用于基于所述至少一个候选对，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果。
在一些可能的实现方式中，所述筛选模块具体用于：从所述N个候选对中删除匹配概率信息对应的匹配概率低于预设阈值的候选对，得到至少一个候选对。
在一些可能的实现方式中，所述筛选模块具体用于：按照匹配概率从大到小的顺序对所述N个候选对排序，得到候选对序列；删除所述候选对序列中最后的预设数量的候选对，得到所述N个候选对中的至少一个候选对。
在一些可能的实现方式中，还包括：发送模块，用于根据所述至少一个人脸和所述至少一个人体的目标匹配结果，向服务器发送人物识别请求报文。
在一些可能的实现方式中，所述发送模块具体用于：在所述至少一个人体中存在与所述至少一个人脸中的第二人脸匹配的第二人体的情况下，向服务器发送包含所述第二人体的图像信息的人物识别请求报文。
在一些可能的实现方式中，所述发送模块具体还用于：在所述至少一个人体中存在与所述至少一个人脸中的第二人脸匹配的第二人体的情况下，确定所述第二人体的图像是否满足质量要求；在所述第二人体的图像满足质量要求的情况下，向服务器发送包含所述第二人体的图像信息的人物识别请求报文。
在一些可能的实现方式中，所述质量要求包括下列中的至少一种：人脸清晰度要求、人脸大小要求、人脸角度要求、人脸检测置信度要求以及人体检测置信度、人脸完整度要求。
在一些可能的实现方式中，所述人物识别请求报文还包括：所述第二人脸的标识信息。
在一些可能的实现方式中，还包括：第四确定模块，用于确定将所述第二人脸的图像信息替换为所述第二人体的图像信息。
在一些可能的实现方式中，所述发送模块具体还用于：在所述至少一个人体中不存在与第二人脸匹配的人体的情况下，向服务器发送包含所述第二人脸的图像信息的人物识别请求报文。
在一些可能的实现方式中，所述图像信息包括：图像和/或特征信息。
本公开实施例第三方面提供一种电子设备，包括：存储器，用于存储程序指令；处理器，用于调用并执行所述存储器中的程序指令，执行上述第一方面所述的方法步骤。
本公开实施例第四方面提供一种图像处理系统，所述图像处理系统包括上述第三方面所述的电子设备。
本公开实施例第五方面提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行上述第一方面所述的方法。
本公开实施例所提供的图像处理方法、装置、电子设备及系统，过分别进行针对人脸的图像处理以及针对人体的图像处理，得到至少一个人脸和至少一个人体，进而，可以确定人脸和人体的匹配概率信息，并基于匹配概率信息得到目标匹配结果。由于该方法能够得到人脸和人体的匹配结果，因此，在进行目标跟踪时，即使出现人脸遮挡等现象，也可以根据与人脸匹配的人体进行跟踪，或者，当人体检测的结果的精度不够时，可以根据与人体匹配的人脸跟踪，从而极大提升匹配结果的准确度。
附图说明
为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的图像处理方法实施例一的流程示意图；
图2为本公开实施例提供的图像处理方法实施例二的流程示意图；
图3为本公开实施例提供的图像处理方法实施例三的流程示意图；
图4为本公开实施例提供的图像处理方法实施例四的流程示意图；
图5为本公开实施例提供的图像处理方法实施例五的流程示意图；
图6为费用流构图的示例；
图7为本公开实施例提供的图像处理方法实施例六的流程示意图；
图8为本公开实施例提供的图像处理装置实施例一的模块结构图；
图9为本公开实施例提供的图像处理装置实施例二的模块结构图；
图10为本公开实施例提供的图像处理装置实施例三的模块结构图；
图11为本公开实施例提供的图像处理装置实施例四的模块结构图；
图12为本公开实施例提供的图像处理装置实施例五的模块结构图；
图13为本公开实施例提供的图像处理装置实施例六的模块结构图；
图14为本公开实施例提供的电子设备1400的实体框图；
图15为本公开实施例提供的一种图像处理系统1500的架构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
相关技术中主要基于人脸信息进行跟踪匹配，但是实际环境中，人脸跟踪匹配可能由于遮挡、拍摄角度等问题而导致漏检、检测质量不佳等结果，因此，所得到的跟踪匹配结果准确度不高。
本公开实施例基于上述问题，提出一种图像处理方法，通过分别进行针对人脸的图像处理以及针对人体的图像处理，得到至少一个人脸和至少一个人体，进而，可以确定人脸和人体的匹配概率信息，并基于匹配概率信息得到目标匹配结果。由于该方法能够得到人脸和人体的匹配结果，因此，在进行目标跟踪时，即使出现人脸遮挡等现象，也可以根据与人脸匹配的人体进行跟踪，或者，当人体检测的结果的精度不够时，可以根据与人体匹配的人脸跟踪，从而极大提升匹配结果的准确度。
本公开实施例所提供的方法可以应用在各种需要进行目标跟踪的场景下。例如在一些室内跟踪场景下，可以使用本公开实施例所提供的方法对某个特定的人或者多个人进行准确跟踪、获取目标的轨迹信息等。
图1为本公开实施例提供的图像处理方法实施例一的流程示意图，该方法的执行主体可以为实现目标跟踪的电子设备，如图1所示，该方法包括：
S101、对待处理图像进行处理，得到该待处理图像中的至少一个人脸，并对该待处理图像进行人体检测，得到该待处理图像中的至少一个人体。
可选的，上述对待处理图像进行处理，可以是对待处理图像进行人脸检测或者人脸跟踪。
可选的，在具体实施过程中，相机实时持续进行拍摄，电子设备实时获取待处理图像，并基于待处理图像进行人脸检测或人脸跟踪，以及人体检测或人体跟踪。电子设备可以按照一定的时间间隔或者帧间隔，以该时间间隔或者帧间隔为一个周期，执行本公开实施例的方法。示例性的，电子设备可以每隔10帧选择图像质量最好的一帧图像，对该一帧图像对应的人脸和人体进行匹配。
按照一定的间隔选择质量最好的帧进行人脸和人体匹配，使得处理性能得以提升，同时能够保证跟踪匹配的高准确度。
需要说明的是，本公开实施例的方法既可以应用于单目标跟踪，也可以应用于多目标跟踪。如果应用于单目标跟踪，则可选的，可以在获取到第一帧图像或者最先的某帧图像时确定要跟踪的人脸或人体。以获取到要跟踪的人脸为例，在后续的执行过程中，对该要跟踪的人脸进行跟踪，并将人体跟踪结果与该人脸进行匹配。如果应用于多目标跟踪，则无需确定要跟踪的人脸或人体，电子设备可以直接对相机所拍摄图像中的人脸和人体进行跟踪，并通过后续的过程进行匹配。
可选的，在进行人体跟踪时，当跟踪到一个新的人体，则可以为该新的人体分配一个人体跟踪标识，并截取该新的人体所在帧中该新的人体对应的一部分图像，该一部分图像的边缘形成人体限定框。该人体限定框的信息可以包括该人体限定框的边缘点在所在一帧中的坐标以及人体限定框的宽度和高度等，该边缘点可以指该人体限定框左上角的一个像素点。在人体跟踪过程中，同一个人的人体对应同一个人体跟踪标识。
相应的，在进行人脸跟踪时，也可以为人脸分配一个人脸跟踪标识，并截取人脸所在帧中该人脸对应的一部分图像，该一部分图像的边缘形成人脸限定框。该人脸限定框的信息可以包括该人脸限定框的边缘点在所在一帧中的坐标以及人脸限定框的宽度和高度等，该边缘点可以指该人脸限定框左上角的一个像素点。在人脸跟踪过程中，同一个人的人脸对应同一个人脸跟踪标识。
可选的，可以基于深度学习方法进行人体跟踪和人脸跟踪。
S102、根据上述至少一个人脸和上述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，该候选对包括上述至少一个人脸中的一个人脸和上述至少一个人体中的一个人体。
其中，N为大于或等于1的整数。
可选的，在得到至少一个第一人脸和至少一个第一人体之后，可以将至少一个人体和至少一个人脸中的任意人脸-人体组合作为候选对，得到N个候选对，即N＝(n1×n2)/2，其中，n1和n2分别为至少一个人脸的个数和至少一个人体的个数；或者，可以将至少一个人体和至少一个人脸中的部分人脸-人体组合作为候选对，得到N个候选对，本公开实施例对N个候选对的具体实现不做限定。
一种可选方式中，在得到上述至少一个人脸和上述至少一个人体后，可以以每个人脸为基准，建立其与至少一个人体中部分或每个人体或部分人体的候选。
另一种可选方式中，在得到上述至少一个人脸和上述至少一个人体后，可以以每个人体为基准，建立其与至少一个人脸中每个人脸或部分人脸的候选对。
可选地，候选对的匹配概率信息用于标识候选对中包括的人脸和人体的匹配程度。在一个例子中，匹配概率信息可以包括匹配概率，候选对的匹配概率越大则表明候选对中包括的人脸和人体的匹配程度越高。在另一个例子中，匹配概率信息可以包括匹配权值，候选对的匹配权值越小则表明候选对中包括的人脸和人体的匹配程度越高，本公开实施例对此不做限定。
在本公开实施例中，可以通过多种方式得到N个候选对中每个候选对的匹配概率信息，在一个例子中，通过基于机器学习或其他方法的匹配算法，得到N个候选对中每个候选对的匹配概率信息，例如，可以将候选对中包括的人脸和人体的图像信息输入到神经网络进行处理，输出该候选对的匹配概率信息，但本公开实施例对得到候选对的匹配概率信息的具体实现不做限定。
S103、根据上述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果。
具体地，可以基于N个候选对中每个候选对的匹配概率信息，确定至少一个人体与至少一个人脸中匹配的各个人脸-人体对。例如，该目标匹配结果可以包括匹配的n1个人脸-人体对，此时，n1个人脸中的每个人脸均存在与其匹配的人体，其中，n1可以小于n2，此时，n2个人体中的部分人体不存在与其配对的人脸；或者，n1等于n2，此时，n1个人脸和n2个人体一一对应的匹配。再例如，该目标匹配结果可以包括匹配的n2个人脸-人体对，并且n2小于n1，此时，n2个人体中的每个人体均存在与其匹配的人脸，而n1个人脸中的部分人脸不存在与其匹配的人体。再例如，该目标匹配结果可以包括匹配的n3个人脸-人体对，其中，n3小于n1和n2，此时，实现了n1个人脸中的部分人脸和n2个人体中的部分人体的配对，本公开实施例对目标匹配结果的具体实现不做限定。
进一步的，当得到人体和人脸的匹配概率信息之后，还可以根据人体和人脸的匹配概率信息，以及人体和人脸对应的跟踪标识，进行轨迹跟踪。
可选的，将人体跟踪结果和人脸跟踪结果所在帧的前后帧的图像信息串联起来，即可得到被跟踪目标的完整轨迹信息。
可选的，对于一个人脸跟踪结果，可以根据上述的人脸跟踪标识得到该人脸跟踪结果在前后帧中的人脸跟踪结果。对于一个人体跟踪结果，可以根据上述的人体跟踪标识得到该人体跟踪结果在前后帧中的人体跟踪结果。即通过人脸跟踪标识或人体跟踪标识，可以得到被跟踪目标的完整轨迹信息。
本实施例中，通过分别进行针对人脸的图像处理以及针对人体的图像处理，得到至少一个人脸和至少一个人体，进而，可以确定人脸和人体的匹配概率信息，并基于匹配概率信息得到目标匹配结果。由于该方法能够得到人脸和人体的匹配结果，因此，在进行目标跟踪时，即使出现人脸遮挡等现象，也可以根据与人脸匹配的人体进行跟踪，或者，当人体检测的结果的精度不够时，可以根据与人体匹配的人脸跟踪，从而极大提升匹配结果的准确度。
在上述实施例的基础上，本实施例涉及根据上述至少一个人脸和上述至少一个人体，确定N个候选对中每个候选对的匹配概率信息的过程。
图2为本公开实施例提供的图像处理方法实施例二的流程示意图，如图2所示，上述步骤S102包括：
S201、基于第一候选对包括的第一人体以及该第一候选对包括的第一人脸，确定目标对象的预估位置信息和实际位置信息，其中，所述N个候选对包括该第一候选对，上述目标对象为人体的一部分。
可选的，上述目标对象可以为人体的一部分，例如耳朵、人脸或人脸的某个器官，如眼睛、鼻子等，或者也可以为人体的其他部位，本公开实施例对目标对象的具体实现不做限定。
S202、基于上述目标对象的预估位置信息和上述目标对象的实际位置信息，确定上述第一候选对的匹配概率信息。
可选的，针对不同的目标对象，可以通过该目标对象对应的方式确定出一个匹配概率信息。进而，可以将该匹配概率作为第一候选对的匹配概率信息，或者，也可以结合多个目标对象所确定出的多个匹配概率信息，综合确定第一候选对的匹配概率信息。
在一种可能的实现方式中，可以基于第一人体和第一人脸中的其中一项确定目标对象的预估位置信息，而基于另一项确定目标对象的实际位置信息。这样，基于目标对象的预估位置信息和实际位置信息，例如通过比较目标对象的预估位置信息和实际位置信息，或者通过确定目标对象的预估位置信息对应的预估位置与实际位置信息对应的实际位置之间的距离，可以确定第一候选对中的第一人脸和第一人体的匹配程度，但本公开实施例对此不做限定。
在本公开实施例中，目标对象的实际位置信息和预估位置信息的确定可以同时执行或者以任意前后顺序执行，本公开实施例对此不做限定。
以下首先说明目标对象为耳朵时确定匹配概率信息的过程。
当目标对象为耳朵时，上述步骤S201中确定目标对象的预估位置信息和实际位置信息的过程为：
首先，基于上述第一人体，确定耳朵的实际位置信息。其次，基于上述第一人脸，确定耳朵的预估位置信息。
在本公开实施例中，可以通过多种方式基于第一人体确定耳朵的实际位置信息。在一个例子中，客户端得到的第一人体包括第一人体的图像，此时，可以对第一人体的图像进行关键点检测，得到耳朵关键点的位置信息，其中，上述耳朵的实际位置信息包括耳朵关键点的位置信息。在另一个例子中，客户端得到的第一人体包括第一人体的位置信息，此时，可以基于上述第一人体的位置信息，从上述待处理图像中获取上述第一人体的图像，并对第一人体的图像进行关键点检测，得到耳朵关键点的位置信息，或者，客户端也可以通过其他方式确定耳朵的实际位置信息，本公开实施例对此不做限定。
其中，可选地，上述耳朵关键点的位置信息可以包括至少一个耳朵的关键点的位置信息，即包括左耳关键点的位置信息和/或右耳关键点的位置信息，本公开实施例对此不做限定。
可选的，可以通过神经网络对第一人体的图像进行关键点的检测。例如，可以通过预先训练好的关键点检测模型，将上述第一人体的图像输入到该关键点检测模型中，该关键点检测模型可以输出上述第一人体中的耳朵关键点信息。或者，也可以通过其他关键点检测算法，得到第一人体的图像的关键点信息，本公开实施例对此不做限定。
在本公开实施例中，客户端可以通过多种方式基于上述第一人脸确定耳朵的预估位置信息。可选地，基于第一人脸的人脸限定框的位置信息或者第一人脸的位置信息，确定耳朵的预估位置信息。在一种可能的实现方式中，可以基于上述第一人脸的中心点位置以及上述第一人脸的尺寸信息，确定耳朵的预估位置信息。
可选的，上述第一人脸的尺寸信息可以包括第一人脸的高度以及宽度等。
在另一种可能的实现方式中，可以基于第一人脸的人脸限定框的多个顶点的位置信息，确定耳朵的预估位置信息。
可选的，可以首先获取第一人脸的人脸限定框，并基于该人脸限定框的信息，可以得到人脸的高度和宽度。例如，通过对待处理图像的至少一部分进行人脸检测或人脸跟踪，得到第一人脸的人脸限定框，该人脸限定框的信息可以包括该人脸限定框的位置信息，例如包括多个顶点在图像中的坐标，或者包括中心点的位置以及人脸限定框的宽度和高度。在一个例子中，人脸的高度可以等于人脸限定框的高度，人脸的宽度可以等于人脸限定框的宽度，但本公开实施例对此不做限定。
在一种可能的实现方式中，可以通过高斯分布模型确定上述耳朵的预估位置信息，其中，该耳朵的预估位置信息可以包括预估左耳位置和/或预估右耳位置。
例如，耳朵的预估位置由公式(1)得到。
Figure BDA0001795097360000151
其中，θx和θy为耳朵的预估位置参数，可以是人工设置的或者是通过训练得到的，
Figure BDA0001795097360000152
为第一人脸的中心点位置,Fw,为第一人脸的宽度，Fh为第一人脸的高度。
在另一种可能的实现方式中，可以通过神经网络确定耳朵的预估位置信息。此时，可以将第一人脸的图像输入到神经网络进行处理，得到耳朵的预估位置信息，但本公开实施例对此不做限定。
当目标对象为耳朵时，上述步骤S202中确定第一候选对的匹配概率信息的过程为：
基于上述耳朵的预估位置信息和上述耳朵的实际位置信息，确定上述第一候选对的第一匹配概率。
可选的，可以通过上述高斯分布模型计算上述耳朵的实际位置与上述耳朵的预估位置的距离，进而，再根据该距离以及上述模型参数中的第一方差得到一个概率密度，该概率密度即可看作是上述第一匹配概率。
以下说明目标对象为人脸时确定匹配概率信息的过程。
当目标对象为人脸时，上述步骤S201中确定目标对象的预估位置信息和实际位置信息的过程为：
可选地，可以基于上述第一人体的限定框信息，确定上述第一人脸的中心点的预估位置信息。并且，基于上述第一人脸的位置信息，确定上述第一人脸的中心点的实际位置信息。
基于第一人脸的位置信息确定第一人脸的中心点的实际位置信息的过程可以参照上述实施例的描述，此处不再赘述。
客户端可以通过多种方式根据第一人体的位置信息(即人体限定框的位置信息)确定第一人脸的中心点的预估位置信息。可选地，客户端可以根据上述人体限定框的位置信息确定人体限定框的顶点坐标、人体高度和人体宽度中的至少一项。进而，根据上述顶点坐标、人体高度和人体宽度中的至少一项，确定第一人脸的中心点的预估位置信息。
在一个例子中，可以通过高斯分布模型确定第一人脸的中心点的预估位置。
例如，第一人脸的中心点的预估位置由公式(2)得到。
Bx1+μx*Bw,By1+μy*Bh (2)
其中，Bx1和By1为人体限定框的顶点坐标，μx和μy为第一人脸的中心点的预估位置参数，可以是预设的或者通过训练得到的，Bw为人体宽度，Bh为人体高度。
在另一个例子中，可以通过对第一人体的图像进行人脸检测，并基于检测结果确定第一人脸的中心点的预估位置信息，例如，将检测到的人脸检测框的位置信息确定第一人脸的中心点的预估位置信息。
在另一个例子中，可以通过神经网络确定第一人脸的中心点的预估位置信息。此时，可以将第一人体的图像输入到神经网络进行处理，得到第一人脸的中心点的预估位置信息，但本公开实施例对此不做限定。
当目标对象为人脸时，上述步骤S202中确定第一候选对的匹配概率信息的过程为：
基于上述第一人脸的中心点的预估位置信息和上述第一人脸的中心点的实际位置信息，确定上述第一候选对的第二匹配概率。
可选的，上述高斯分布模型根据上述第一人脸的中心点的预估位置和上述第一人脸的中心点的实际位置建立二维高斯函数，从而得到一个概率密度，该概率密度即可看作是上述第二匹配概率信息。
进一步的，如前所述，针对不同的目标对象，可以通过该目标对象对应的方式确定出一个匹配概率信息。进而，可以将该匹配概率作为第一候选对的匹配概率信息，或者，也可以结合多个目标对象所确定出的多个匹配概率信息，综合确定第一候选对的匹配概率信息。
则可选的，上述第一候选对的匹配概率信息包含上述第一匹配概率，或者上述第一候选对的匹配概率信息是基于上述第一匹配概率得到的。
可选的，上述第一候选对的匹配概率信息包含上述第二匹配概率，或者上述第一候选对的匹配概率信息是基于上述第二匹配概率得到的。
可选的，当第一候选对的匹配概率信息基于第一匹配概率和第二匹配概率得到时，可以基于上述第一匹配概率和上述第二匹配概率，确定上述第一候选对的目标匹配概率。
可选的，上述第一匹配概率和上述第二匹配概率可以分别具有对应的权值，该权值可以通过上述高斯分布模型得到。
可选的，在基于第一匹配概率和第二匹配概率，确定第一候选对的目标匹配概率时，可以通过下述方法确定：
基于上述第一匹配概率、上述第二匹配概率、上述第一匹配概率对应的权重以及上述第二匹配概率对应的权重，确定上述第一候选对的目标匹配概率。
示例性的，可以计算第一匹配概率与其对应权值的乘积，并计算第二匹配概率与其对应权值的乘积，进而计算该两个乘积的和，将求和结果作为上述第一候选对的目标匹配概率。
在上述实施例的基础上，本实施例涉及根据N个候选对中每个候选对的匹配概率信息，确定目标匹配结果的过程。
图3为本公开实施例提供的图像处理方法实施例三的流程示意图，如图3所示，上述步骤S103包括：
S301、根据上述N个候选对中每个候选对的匹配概率信息，确定上述至少一个人脸与上述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，其中，上述候选匹配结果包括上述N个候选对中的m个候选对，该m个候选对中的每两个候选对所包含的人脸以及人体均不同。
可选的，上述候选匹配结果为候选对的集合，该集合中的候选对不重复，即候选匹配结果所包括的m个候选对中的每两个候选对所包含的人脸以及人体均不同。
可选的，上述m可以等于上述至少一个人体或上述至少一个人脸的个数。
可选的，在确定候选匹配结果的匹配概率信息时，可以将候选匹配结果中包含的m个候选对的匹配概率之和作为该候选匹配结果的匹配概率信息对应的匹配概率。
示例性的，某一个候选匹配结果中包括3个候选对，每个候选对分别具有一个匹配概率，分别为概率1、概率2和概率3，则该候选匹配结果的匹配概率为该率1、该率2和概率3之和。
S302、基于上述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，从上述至少一个候选匹配结果中确定上述至少一个人脸与上述至少一个人体的目标匹配结果。
可选的，在确定上述目标匹配结果时，可以将上述至少一个候选匹配结果中匹配概率信息对应的匹配概率最大的候选匹配结果作为上述目标匹配结果。
可选的，在执行上述步骤S301之前，可以通过如下方法得到候选匹配结果：
首先，基于上述N个候选对中每个候选对的匹配概率信息，对上述N个候选对进行筛选处理，得到上述N个候选对中的至少一个候选对。其次，基于上述至少一个候选对，确定上述至少一个人脸与所述至少一个人体的至少一个候选匹配结果。
其中，在进行上述筛选处理时，一种可选方式中，可以从上述N个候选对中删除匹配概率信息对应的匹配概率低于预设阈值的候选对，得到至少一个候选对。另一种可选方式中，可以按照匹配概率从大到小的顺序对上述N个候选对排序，得到候选对序列，进而删除上述候选对序列中最后的预设数量的候选对，得到上述N个候选对中的至少一个候选对。
其中，如前所述，上述m可以等于上述至少一个人体或上述至少一个人脸的个数，则可选的，在确定至少一个候选匹配结果时，示例性的，可以以检测或跟踪到的人脸为基准，形成候选匹配结果。
示例性的，对于某个检测到的人脸A，该人脸A与人体1、人体2和人体3分别具有一个匹配概率，则可以将人脸A与人体1对应的候选对作为第一个候选匹配结果中的一个候选对，将人脸A与人体2对应的候选对作为第二个候选匹配结果中的一个候选对，将人脸A与人体3对应的候选对作为第三个候选匹配结果中的一个候选对。依次类推，对于其余的人脸，也按照该方法处理，从而得到多个候选匹配结果。
在具体实施过程中，上述基于候选匹配结果确定人脸和人体的目标匹配结果的方法可以通过多种方式来实现。本公开实施例中以通过最小费用最大流的方式为例进行说明。
在使用最小费用最大流实现上述过程时，可以将人脸和人体作为费用流构图中的节点，以人脸和人体的匹配概率作为节点之间的边权。从费用流构图的源点至汇点之间的所有连通路径中，每个路径所包括的节点都可以作为一个候选匹配结果。通过对费用流构图进行处理，可以得到最终的目标匹配结果。
以下具体进行说明。
图4为本公开实施例提供的图像处理方法实施例四的流程示意图，如图4所示，使用最小费用最大流确定目标匹配结果的过程为：
S401、以上述人脸和上述人体作为节点，以上述人脸和上述人体的匹配概率的取反值为边权，建立费用流构图。
可选的，上述费用流构图是用于进行最小费用最大流匹配计算的二分图。
S402、根据上述费用流构图中的边权和，对上述费用流构图迭代进行增加反向边的处理，直至上述费用流构图中的源点和汇点不再连通。
可选的，上述费用流构图首先包括一个源点S和汇点T，
可选的，上述费用流构图中包括一个源点S和汇点T，在上述费用流构图建立完成后，源点S和汇点T之间可能存在多条连通路径，经过本步骤的增加反向边处理，不断减少源点S和汇点T之间的连通路径，直至源点S和汇点T不再连通。
S403、根据源点和汇点不再连通的费用流构图中反向边所对应的节点，确定匹配的人脸和人体。
当停止迭代之后，费用流构图中存在多个反向边，每个反向边两端的节点即为一对匹配的人脸和人体。
在上述实施例的基础上，本实施例涉及建立费用流构图的过程。
图5为本公开实施例提供的图像处理方法实施例五的流程示意图，如图5所示，上述步骤S401包括：
S501、在上述费用流构图的源点与每个人脸对应的节点之间建立第一边，上述第一边的边权为0，上述第一边的流量为1。
S502、在每个人脸对应的节点与上述费用流构图的汇点之间建立第二边，上述第二边的边权为0，上述第二边的流量为1。
S503、在匹配概率小于预设阈值的人脸对应节点和人体对应节点之间建立第三边，上述第三边的边权为上述匹配权值，上述第三边的流量为1。
以下以一个示例说明上述费用流构图的建立过程。
假设跟踪到人脸包括框1、框2和框3，人体包括框6、框7、框8和框9，经过筛选之后保留的人脸和人体对包括：
框1与框4，匹配权值为0.9；
框1与框5，匹配权值为0.8；
框2与框6，匹配权值为0.7；
框2与框7，匹配权值为0.6；
框3与框6，匹配权值为0.6；
框3与框7，匹配权值为0.6。
则所建立的费用流构图如图6所示。
在上述实施例的基础上，本实施例涉及在费用流构图中迭代增加反向边的过程。
图7为本公开实施例提供的图像处理方法实施例六的流程示意图，如图7所示，上述步骤S402中的一次迭代过程包括：
S701、根据上述第一边、上述第二边和上述第三边的边权，确定上述源点至上述汇点的最短路径。
S702、将上述最短路径的流量减去1，并且将上述最短路径上的边改为反向边，该反向边的边权为上述最短路径上原边的边权的负值。
以上述图6所示的图例为例，在一次迭代过程中，确定S-框3-框7-T为最短路径，则对于该最短路径，将其流量减去1，并且将该最短路径的边改为反向边，修改之后的第三边(框7和框3之间的边)的边权为-0.6。
继续以上述图7所示的图例为例，若不考虑上述框1对应的路径，则在迭代结束之后，可以得到的反向边为框2-框7，以及框3-框6，则说明框2对应的人脸和框7对应的人体相匹配，框3对应的人脸和框6对应的人体相匹配。
在上述实施例的基础上，本实施例涉涉及确定出上述目标匹配结果后的过程。
基于上述实施例所确定的目标匹配结果，可以进行目标跟踪，同时，还可以基于目标匹配结果进行人物身份识别等。例如，在在超市、零售商店等场景下，超市或零售商店的经营者可能需要通过对超市或零售商店内的客流进行跟踪识别，以得到客流统计、顾客识别、顾客到访次数等信息，进而将这些信息作为企业管理时的重要参考信息。又例如在十字路口、火车站等公共场所监控场景下，可以通过对这些场景下进行人员跟踪识别，可以确定一些特定人员的身份信息等。
在上述的场景下，执行上述实施例的电子设备可以将上述目标匹配结果发送给服务器，由服务器进行人物身份识别等，从而得到上述场景下所需要的各种信息。
可选的，电子设备可以根据上述至少一个人脸和上述至少一个人体的目标匹配结果，向服务器发送人物识别请求报文。
可选的，基于上述的目标匹配结果，可以获知上述待处理图像中至少一个人脸和至少一个人体中匹配的人脸和人体。则对于上述至少一个人脸中的每个人脸，可以获知该人脸是否有匹配的人体，以及，如果有匹配的人体，该匹配的人体为哪个人体。
进而，在本实施例中，可以针对上述匹配结果分别执行不同的处理。本公开以下以上述至少一个人脸中的第二人脸为例进行说明，该第二人脸可以是上述至少一个人脸中的任意一个人脸。
一种场景中，在上述至少一个人体中存在与第二人脸匹配的第二人体时，可以向服务器发送包含该第二人体的图像信息的人物识别请求报文。
可选的，当上述至少一个人体中存在于第二人脸匹配的第二人体时，还可以首先确定上述第二人体的图像是否满足质量要求，在满足质量要求的情况下，向服务器发送包含第二人体的图像信息的人物识别请求报文。
其中，上述质量要求可以包括下列中的至少一种：人脸清晰度要求、人脸大小要求、人脸角度要求、人脸检测置信度要求以及人体检测置信度、人脸完整度要求。
在一个例子中，质量要求包括下列组合中的至少一项：人体检测框的置信度达到预设阈值、人脸的完整度达到特定要求(例如包括完整的人体)、人脸的清晰度达到特定要求、人脸大小达到特定要求、人脸角度处于特定范围，这样，服务器可以从人体图像中获取质量较好的人脸图像并基于该人脸图像进行人物识别，提高人物识别的准确性。
可选地，质量要求也可以包括其他类型的参数要求，本公开实施例对其具体实现不做限定。
即当第二人体与第二人脸匹配，并且第二人体中包括质量较高的人脸信息时，可以将第二人体的图像信息发送给服务器，由服务器根据第二人体的图像信息进行人物身份识别、人脸和人体的关联等。
可选的，当第二人体与第二人脸匹配时，还可以确定将第二人脸的图像信息替换为第二人体的图像信息，以使得电子设备不向服务器发送单独的人脸信息。
可选的，上述任务识别请求报文中除了包含第二人体的图像信息外，还可以包含第二人脸的识信息，以使得服务器可以根据该标识信息进行人物身份识别、客流统计等。
另一种场景中，在上述至少一个人体中不存在与第二人脸匹配的第二人体时，可以向服务器发送包含该第二人脸的图像信息的人物识别请求报文。
当不存在与第二人脸匹配的第二人体时，电子设备可以仅将第二人脸发送给服务器，以使得服务器进行人物身份识别、客流统计等。
可选的，在上述实施例中，上述的图像信息可以是图像，也可以是特征信息，或者，也可以是图像以及特征信息。
示例性的，当上述图像信息为图像时，服务器可以通过图像比对处理进行人物身份识别等。当上述图像信息为特征信息时，服务器可以通过特征比对处理进行人物身份识别等。
图8为本公开实施例提供的图像处理装置实施例一的模块结构图，如图8所示，该装置包括：
处理模块801，用于对待处理图像进行处理，得到所述待处理图像中的至少一个人脸，并对所述待处理图像进行人体检测，得到所述待处理图像中的至少一个人体。
第一确定模块802，用于根据所述至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，所述候选对包括所述至少一个人脸中的一个人脸和所述至少一个人体中的一个人体，N为大于或等于1的整数。
第二确定模块803，用于根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果。
该装置用于实现前述方法实施例，其实现原理和技术效果类似，此处不再赘述。
图9为本公开实施例提供的图像处理装置实施例二的模块结构图，如图8所示，第一确定模块802，包括：
第一确定单元8021，用于基于第一候选对包括的第一人体以及所述第一候选对包括的第一人脸，确定目标对象的预估位置信息和实际位置信息，其中，所述N个候选对包括所述第一候选对，所述目标对象为人体的一部分。
第二确定单元8022，用于基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确定所述第一候选对的匹配概率信息。
另一实施例中，所述目标对象包括耳朵和人脸中的至少一种。
另一实施例中，第一确定单元8021具体用于：
基于所述第一人体，确定耳朵的实际位置信息；
基于所述第一人脸，确定所述耳朵的预估位置信息。
另一实施例中，第一确定单元8021具体用于：
基于所述第一人体的位置信息，从所述待处理图像中获取所述第一人体的图像；
对所述第一人体的图像进行关键点检测，得到耳朵关键点的位置信息，其中，所述耳朵的实际位置信息包括所述耳朵关键点的位置信息。
另一实施例中，第一确定单元8021具体用于：
基于所述第一人脸的中心点位置以及所述第一人脸的尺寸信息，确定所述耳朵的预估位置信息。
另一实施例中，第二确定单元8022具体用于：
基于所述耳朵的预估位置信息和所述耳朵的实际位置信息，确定所述第一候选对的第一匹配概率；
其中，所述第一候选对的匹配概率信息包含所述第一匹配概率，或者所述第一候选对的匹配概率信息是基于所述第一匹配概率得到的。
另一实施例中，第一确定单元8021具体用于：
基于所述第一人体的限定框信息，确定所述第一人脸的中心点的预估位置信息；
基于所述第一人脸的位置信息，确定所述第一人脸的中心点的实际位置信息。
另一实施例中，第二确定单元8022具体用于：
基于所述第一人脸的中心点的预估位置信息和所述第一人脸的中心点的实际位置信息，确定所述第一候选对的第二匹配概率；
其中，所述第一候选对的匹配概率信息包含所述第二匹配概率，或者所述第一候选对的匹配概率信息是基于所述第二匹配概率得到的。
另一实施例中，第二确定单元8022具体用于：
基于耳朵的预估位置信息和所述耳朵的实际位置信息，确定所述第一候选对的第一匹配概率；
基于所述第一人脸的预估位置信息和所述第一人脸的实际位置信息，确定所述第一候选对的第二匹配概率；
基于所述第一匹配概率和所述第二匹配概率，确定所述第一候选对的目标匹配概率。
另一实施例中，第二确定单元8022具体用于：
基于所述第一匹配概率、所述第二匹配概率、所述第一匹配概率对应的权重以及所述第二匹配概率对应的权重，确定所述第一候选对的目标匹配概率。
图10为本公开实施例提供的图像处理装置实施例三的模块结构图，如图10所示，第二确定模块803包括：
第三确定单元8031，用于根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，其中，所述候选匹配结果包括所述N个候选对中的m个候选对，所述m个候选对中的每两个候选对所包含的人脸以及人体均不同；
第四确定单元8032，用于基于所述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，从所述至少一个候选匹配结果中确定所述至少一个人脸与所述至少一个人体的目标匹配结果。
另一实施例中，第三确定单元8031具体用于：
将所述候选匹配结果中包含的m个候选对的匹配概率之和作为所述候选匹配结果的匹配概率信息对应的匹配概率。
另一实施例中，第四确定单元8032具体用于：
将所述至少一个候选匹配结果中匹配概率信息对应的匹配概率最大的候选匹配结果作为所述目标匹配结果。
图11为本公开实施例提供的图像处理装置实施例四的模块结构图，如图11所示，上述装置还包括：
804，用于基于所述N个候选对中每个候选对的匹配概率信息，对所述N个候选对进行筛选处理，得到所述N个候选对中的至少一个候选对；
第三确定模块805，用于基于所述至少一个候选对，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果。
另一实施例中，筛选模块804具体用于：
从所述N个候选对中删除匹配概率信息对应的匹配概率低于预设阈值的候选对，得到至少一个候选对。
另一实施例中，筛选模块804具体用于：
按照匹配概率从大到小的顺序对所述N个候选对排序，得到候选对序列；
删除所述候选对序列中最后的预设数量的候选对，得到所述N个候选对中的至少一个候选对。
图12为本公开实施例提供的图像处理装置实施例五的模块结构图，如图12所示，上述装置还包括：
发送模块806，用于根据所述至少一个人脸和所述至少一个人体的目标匹配结果，向服务器发送人物识别请求报文。
另一实施例中，发送模块806具体用于：
在所述至少一个人体中存在与所述至少一个人脸中的第二人脸匹配的第二人体的情况下，向服务器发送包含所述第二人体的图像信息的人物识别请求报文。
另一实施例中，发送模块806具体还用于：
在所述至少一个人体中存在与所述至少一个人脸中的第二人脸匹配的第二人体的情况下，确定所述第二人体的图像是否满足质量要求；
在所述第二人体的图像满足质量要求的情况下，向服务器发送包含所述第二人体的图像信息的人物识别请求报文。
另一实施例中，所述质量要求包括下列中的至少一种：人脸清晰度要求、人脸角度要求、人脸检测置信度要求以及人体检测置信度、是否包含完整的人脸。
另一实施例中，所述人物识别请求报文还包括：所述第二人脸的标识信息。
图13为本公开实施例提供的图像处理装置实施例六的模块结构图，如图13所示，上述装置还包括：
第四确定模块807，用于确定将所述第二人脸的图像信息替换为所述第二人体的图像信息。
另一实施例中，发送模块806具体还用于：
在所述至少一个人体中不存在与第二人脸匹配的人体的情况下，向服务器发送包含所述第二人脸的图像信息的人物识别请求报文。
另一实施例中，所述图像信息包括：图像和/或特征信息。
图14为本公开实施例提供的电子设备1400的实体框图，如图14所示，该电子设备1400包括：
存储器1401，用于存储程序指令。
处理器1402，用于调用并执行存储器1401中的程序指令，执行上述方法实施例中所述的方法步骤。
图15为本公开实施例提供的一种图像处理系统1500的架构示意图，如图15所示，该系统包括通信连接的相机1000和电子设备1400。
在具体实施过程中，由相机1000实时拍摄视频图像并发送给电子设备1400，电子设备根据视频图像进行图像处理。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
对待处理图像进行处理，得到所述待处理图像中的至少一个人脸，并对所述待处理图像进行人体检测，得到所述待处理图像中的至少一个人体；
根据所述至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，所述候选对包括所述至少一个人脸中的一个人脸和所述至少一个人体中的一个人体，N为大于或等于1的整数；
根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，包括：
基于第一候选对包括的第一人体以及所述第一候选对包括的第一人脸，确定目标对象的预估位置信息和实际位置信息，其中，所述N个候选对包括所述第一候选对，所述目标对象为人体的一部分；
基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确定所述第一候选对的匹配概率信息。
3.根据权利要求2所述的方法，其特征在于，所述目标对象包括耳朵和人脸中的至少一种。
4.根据权利要求2或3所述的方法，其特征在于，所述基于第一候选对包括的第一人体以及所述第一候选对包括的第一人脸，确定目标对象的预估位置信息和实际位置信息，包括：
基于所述第一人体，确定耳朵的实际位置信息；
基于所述第一人脸，确定所述耳朵的预估位置信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一人体，确定耳朵的实际位置信息，包括：
基于所述第一人体的位置信息，从所述待处理图像中获取所述第一人体的图像；
对所述第一人体的图像进行关键点检测，得到耳朵关键点的位置信息，其中，所述耳朵的实际位置信息包括所述耳朵关键点的位置信息。
6.根据权利要求4或5所述的方法，其特征在于，所述基于所述第一人脸，确定所述耳朵的预估位置信息，包括：
基于所述第一人脸的中心点位置以及所述第一人脸的尺寸信息，确定所述耳朵的预估位置信息。
7.一种图像处理装置，其特征在于，包括：
处理模块，用于对待处理图像进行处理，得到所述待处理图像中的至少一个人脸，并对所述待处理图像进行人体检测，得到所述待处理图像中的至少一个人体；
第一确定模块，用于根据所述至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，所述候选对包括所述至少一个人脸中的一个人脸和所述至少一个人体中的一个人体，N为大于或等于1的整数；
第二确定模块，用于根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果。
8.一种电子设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用并执行所述存储器中的程序指令，执行权利要求1-6任一项所述的方法步骤。
9.一种图像处理系统，其特征在于，包括权利要求7所述的电子设备。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行权利要求1-6任一项所述的方法。
CN201811053168.3A 2018-09-10 2018-09-10 图像处理方法、装置、电子设备及系统 Active CN110889315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811053168.3A CN110889315B (zh) 2018-09-10 2018-09-10 图像处理方法、装置、电子设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811053168.3A CN110889315B (zh) 2018-09-10 2018-09-10 图像处理方法、装置、电子设备及系统

Publications (2)

Publication Number Publication Date
CN110889315A true CN110889315A (zh) 2020-03-17
CN110889315B CN110889315B (zh) 2023-04-28

Family

ID=69745226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811053168.3A Active CN110889315B (zh) 2018-09-10 2018-09-10 图像处理方法、装置、电子设备及系统

Country Status (1)

Country Link
CN (1) CN110889315B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611944A (zh) * 2020-05-22 2020-09-01 创新奇智(北京)科技有限公司 身份识别方法及装置、电子设备、存储介质
CN112580472A (zh) * 2020-12-11 2021-03-30 云从科技集团股份有限公司 一种快速轻量的人脸识别方法、装置、机器可读介质及设备
CN113196292A (zh) * 2020-12-29 2021-07-30 商汤国际私人有限公司 对象检测方法和装置及电子设备
WO2022198821A1 (zh) * 2021-03-25 2022-09-29 深圳市商汤科技有限公司 人脸和人体匹配的方法、装置、电子设备、存储介质及程序

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202191501U (zh) * 2011-07-27 2012-04-18 陈胜群 面膜结构
CN105957521A (zh) * 2016-02-29 2016-09-21 青岛克路德机器人有限公司 一种用于机器人的语音和图像复合交互执行方法及系统
CN107423712A (zh) * 2017-07-28 2017-12-01 南京华捷艾米软件科技有限公司 一种3d人脸识别方法
CN107563359A (zh) * 2017-09-29 2018-01-09 重庆市智权之路科技有限公司 对于密集人群进行人脸识别热度分析生成方法
CN107924239A (zh) * 2016-02-23 2018-04-17 索尼公司 遥控装置、遥控方法、遥控系统和程序
CN108257178A (zh) * 2018-01-19 2018-07-06 百度在线网络技术（北京）有限公司 用于定位目标人体的位置的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202191501U (zh) * 2011-07-27 2012-04-18 陈胜群 面膜结构
CN107924239A (zh) * 2016-02-23 2018-04-17 索尼公司 遥控装置、遥控方法、遥控系统和程序
CN105957521A (zh) * 2016-02-29 2016-09-21 青岛克路德机器人有限公司 一种用于机器人的语音和图像复合交互执行方法及系统
CN107423712A (zh) * 2017-07-28 2017-12-01 南京华捷艾米软件科技有限公司 一种3d人脸识别方法
CN107563359A (zh) * 2017-09-29 2018-01-09 重庆市智权之路科技有限公司 对于密集人群进行人脸识别热度分析生成方法
CN108257178A (zh) * 2018-01-19 2018-07-06 百度在线网络技术（北京）有限公司 用于定位目标人体的位置的方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611944A (zh) * 2020-05-22 2020-09-01 创新奇智(北京)科技有限公司 身份识别方法及装置、电子设备、存储介质
CN112580472A (zh) * 2020-12-11 2021-03-30 云从科技集团股份有限公司 一种快速轻量的人脸识别方法、装置、机器可读介质及设备
CN113196292A (zh) * 2020-12-29 2021-07-30 商汤国际私人有限公司 对象检测方法和装置及电子设备
WO2022198821A1 (zh) * 2021-03-25 2022-09-29 深圳市商汤科技有限公司 人脸和人体匹配的方法、装置、电子设备、存储介质及程序

Also Published As

Publication number Publication date
CN110889315B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN110889315B (zh) 图像处理方法、装置、电子设备及系统
CN110889314B (zh) 图像处理方法、装置、电子设备、服务器及系统
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN109214337B (zh) 一种人群统计方法、装置、设备及计算机可读存储介质
US10769261B2 (en) User image verification
JP6598746B2 (ja) 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法
CN109522814B (zh) 一种基于视频数据的目标追踪方法及装置
JP7086878B2 (ja) 学習装置、学習方法、プログラムおよび認識装置
CN108875505B (zh) 基于神经网络的行人再识别方法和装置
KR20210067498A (ko) 딥러닝 기반 영상 내 객체 자동 검출 방법 및 시스템
TW202141424A (zh) 目標跟蹤方法及裝置、存儲介質
CN109902681B (zh) 用户群体关系确定方法、装置、设备及存储介质
CN111881740B (zh) 人脸识别方法、装置、电子设备及介质
CN111291646A (zh) 一种人流量统计方法、装置、设备及存储介质
JP2021068056A (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN109359689B (zh) 一种数据识别方法及装置
CN111950507B (zh) 数据处理和模型训练方法、装置、设备及介质
CN107948721B (zh) 推送信息的方法和装置
Srikakulapu et al. Depth estimation from single image using defocus and texture cues
US20180307910A1 (en) Evaluation of models generated from objects in video
Teklehaymanot et al. In-network adaptive cluster enumeration for distributed classification and labeling
CN107818287B (zh) 一种客流统计装置及系统
CN111767757B (zh) 身份信息确定方法及装置
Tiwari et al. Blur classification using ridgelet transform and feed forward neural network
Vijayarani et al. An efficient algorithm for facial image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant