CN110889314B - 图像处理方法、装置、电子设备、服务器及系统 - Google Patents

Abstract

本公开实施例提供一种图像处理方法、装置、电子设备、服务器及系统，该方法包括：基于第一图像，得到所述第一图像中的第一人脸；确定是否存在与所述第一人脸匹配的人体；根据所述确定的结果，向服务器发送第一人物识别请求报文。该方法有利于提高人物识别的准确度。

Description

图像处理方法、装置、电子设备、服务器及系统

技术领域

本公开实施例涉及计算机技术，尤其涉及一种图像处理方法、装置、电 子设备、服务器及系统。

背景技术

出于实际需要，一些企业或组织等可能需要对公共场合下的人流进行跟 踪识别，以用于到访次数统计、人物身份识别以及人物特征分析等护理中。

相关技术中，通过人脸跟踪的方式进行跟踪识别，通过对相机捕获的画 面中的人脸进行特征匹配分析，从而识别出人脸信息。

但是，使用相关技术的方法所得到的跟踪识别结果的准确度不高。

发明内容

本公开实施例提供一种图像处理的技术方案。

本公开实施例第一方面提供一种图像处理方法，包括：基于第一图像， 得到所述第一图像中的第一人脸；确定是否存在与所述第一人脸匹配的人体； 根据所述确定的结果，向服务器发送第一人物识别请求报文。

在一些可能的实现方式中，所述根据所述确定的结果，向服务器发送第 一人物识别请求报文，包括：在存在与所述第一人脸匹配的第一人体的情况 下，向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请 求报文。

在一些可能的实现方式中，还包括：根据所述第一人体的图像的质量， 确定所述第一人物识别请求报文是否包括所述第一人体的图像信息。

在一些可能的实现方式中，所述向所述服务器发送包括所述第一人体的 图像信息的所述第一人物识别请求报文，包括：在所述第一人体的图像满足 质量要求的情况下，向所述服务器发送包括所述第一人体的图像信息的所述 第一人物识别请求报文。

在一些可能的实现方式中，所述质量要求包括下列中的至少一种：人脸 清晰度要求、人脸大小要求、人脸角度要求、人脸检测置信度要求以及人体 检测置信度、人脸完整度要求。

在一些可能的实现方式中，所述方法还包括：在所述第一人体的图像不 满足质量要求的情况下，向所述服务器发送包括所述第一人脸的图像信息的 所述第一人物识别请求报文。

在一些可能的实现方式中，所述第一人物识别请求报文还包括：所述第 一人脸的跟踪标识信息或第一人脸的检测框标识信息。

在一些可能的实现方式中，基于所述确定的结果，即是否存在与第一人 脸匹配的人体，确定是否基于人体的图像信息对第一人脸进行人物识别。

在一些可能的实现方式中，基于所述确定的结果，确定所述第一人物识 别请求报文中是否包含第一人脸的图像信息。

在一些可能的实现方式中，所述第一人体的图像信息包括：所述第一人 体的图像，或者，所述第一人体的图像信息包括：所述第一人体的图像的特 征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特 征信息中的至少一项。

在一些可能的实现方式中，在向所述服务器发送包括所述第一人体的图 像信息的所述第一人物识别请求报文之前，还包括：确定将所述第一人脸的 图像信息替换为所述第一人体的图像信息。

在一些可能的实现方式中，所述根据所述确定的结果，向服务器发送第 一人物识别请求报文，包括：在不存在与所述第一人脸匹配的人体的情况下， 向服务器发送包括所述第一人脸的图像信息的第一人物识别请求报文。

在一些可能的实现方式中，所述确定是否存在与所述第一人脸匹配的人 体，包括：确定所述第一图像的至少一个人体中是否存在与所述第一人脸匹 配的人体。

在一些可能的实现方式中，所述确定所述第一图像的至少一个人体中是 否存在与所述第一人脸匹配的人体，包括：根据所述第一图像中的至少一个 人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息， 其中，所述候选对包括所述至少一个人脸中的一个人脸和所述至少一个人体 中的一个人体，所述至少一个人脸中包括所述第一人脸；根据所述N个候选 对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人 体的目标匹配结果；基于所述目标匹配结果，确定所述第一图像的至少一个人体中是否存在与所述第一人脸匹配的人体。

在一些可能的实现方式中，所述根据所述至少一个人脸和所述至少一个 人体，确定N个候选对中每个候选对的匹配概率信息，包括：基于第一候选 对包括的第二人体以及所述第一候选对包括的第二人脸，确定目标对象的预 估位置信息和实际位置信息，其中，所述N个候选对包括所述第一候选对， 所述目标对象为人体的一部分；基于所述目标对象的预估位置信息和所述目 标对象的实际位置信息，确定所述第一候选对的匹配概率信息。

在一些可能的实现方式中，所述目标对象包括耳朵和人脸中的至少一种。

在一些可能的实现方式中，所述根据所述N个候选对中每个候选对的匹 配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果， 包括：根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一 个人脸与所述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的 匹配概率信息，其中，所述候选匹配结果包括所述N个候选对中的m个候选 对，所述m个候选对中的每两个候选对所包括的人脸以及人体分别不同；基 于所述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，确定所 述至少一个人脸与所述至少一个人体的目标匹配结果。

在一些可能的实现方式中，所述确定是否存在与所述第一人脸匹配的人 体，包括：对所述第一图像所属的视频序列中的至少一部分图像进行人体跟 踪，得到人体跟踪结果，其中，所述人体跟踪结果包括所述视频序列中的至 少一个图像的人体跟踪信息；基于所述视频序列中的至少一部分图像的人脸 跟踪结果中与所述第一图像的帧号对应的人体跟踪信息，确定是否存在与所 述第一人脸匹配的人体。

在一些可能的实现方式中，所述方法还包括：在所述人体跟踪结果中不 存在所述第一图像的帧号对应的人体跟踪信息的情况下，从通过对所述第一 图像进行人体检测得到的至少一个人体中确定是否存在与所述第一人脸匹配 的人体。

在一些可能的实现方式中，所述基于第一图像，得到所述第一图像中的 第一人脸，包括：对第一图像进行人脸跟踪，得到所述第一图像中的第一人 脸。

在一些可能的实现方式中，所述方法还包括：对所述第一图像进行人体 跟踪，得到所述第一图像中的第三人体；向服务器发送第二人物识别请求报 文，所述第二人物识别请求报文中包括所述第三人体的图像信息以及所述第 三人体的跟踪标识信息。

在一些可能的实现方式中，在所述基于第一图像，得到所述第一图像中 的第一人脸之前，还包括：从视频序列包括的预设数量的连续图像中选取所 述第一图像。

在一些可能的实现方式中，所述从视频序列包括的预设数量的连续图像 中选取所述第一图像，包括：基于图像中所包括的人脸的质量，从所述视频 序列包括的预设数量的连续图像中选取所述第一图像。

本公开实施例第二方面提供一种图像处理方法，包括：接收第一终端设 备发送的人物识别请求报文，所述人物识别请求报文包括第一人体的图像信 息；基于所述第一人体的图像信息，确定所述第一人体对应的人物标识信息。

在一些可能的实现方式中，所述第一人体的图像信息包括：所述第一人 体的图像；或者，所述第一人体的图像信息包括：所述第一人体的图像的特 征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特 征信息中的至少一项。

在一些可能的实现方式中，所述基于所述第一人体的图像信息，确定所 述第一人体对应的人物标识信息，包括：基于所述第一人体的图像信息，得 到所述第一人体中的第一人脸的图像信息；基于所述第一人脸的图像信息和 人脸模板数据库，确定所述第一人脸对应的人物标识信息，其中，所述人脸 模板数据库中存储至少一个人脸模板。

在一些可能的实现方式中，所述基于所述第一人体的图像信息，得到所 述第一人体中的第一人脸的图像信息，包括：从所述第一人体的图像中获取 第一人脸的图像。

在一些可能的实现方式中，所述基于所述第一人脸的图像信息和人脸模 板数据库，确定所述第一人脸对应的人物标识信息，包括：对所述第一人脸 的图像进行特征提取处理，得到所述第一人脸的特征信息；确定所述人脸模 板数据库中是否存在与所述第一人脸的特征信息匹配的人脸模板；基于所述 确定的结果，得到所述第一人脸对应的人物标识信息。

在一些可能的实现方式中，所述基于所述确定的结果，得到所述第一人 脸对应的人物标识信息，包括：响应于所述人脸模板数据库中存在与所述第 一人脸的特征信息匹配的人脸模板，将所述匹配的人脸模板对应的人物标识 信息确定为所述第一人脸对应的人物标识信息。

在一些可能的实现方式中，所述基于所述确定的结果，得到所述第一人 脸对应的人物标识信息，包括：响应于所述人脸模板数据库中不存在与所述 第一人脸的特征信息匹配的人脸模板，将新增的人物标识信息确定为所述第 一人脸对应的人物标识信息。

在一些可能的实现方式中，所述方法还包括：将所述新增的人物标识信 息以及所述第一人脸的特征信息添加到所述人脸模板数据库。

在一些可能的实现方式中，所述人物识别请求报文还包括所述第一人体 中的第一人脸的检测框标识信息或跟踪标识信息。

在一些可能的实现方式中，所述基于所述第一人体的图像信息，确定所 述第一人体对应的人物标识信息，包括：基于所述第一人体的图像信息，确 定所述第一人体的人体标识信息；基于所述第一人体的人体标识信息，确定 所述第一人体对应的人物标识信息。

在一些可能的实现方式中，所述基于所述第一人体的图像信息，确定所 述第一人体的人体标识信息，包括：对所述第一人体的图像进行特征提取， 得到所述第一人体的特征信息；确定人体模板数据库中是否存在与所述第一 人体的特征信息匹配的人体模板，其中，所述人体模板数据库存储至少一个 人体模板；基于所述确定的结果，得到所述第一人体的人体标识信息。

在一些可能的实现方式中，所述基于所述确定的结果，得到所述第一人 体的人体标识信息，包括：响应于所述人体模板数据库中存在与所述第一人 体的特征信息匹配的人体模板，将所述匹配的人体模板对应的人体标识信息 确定为所述第一人体的人体标识信息。

在一些可能的实现方式中，所述基于所述确定的结果，得到所述第一人 体的人体标识信息，包括：响应于所述人体模板数据库中不存在与所述第一 人体的特征信息匹配的人体模板，将新增的人体标识信息确定为所述第一人 体的人体标识信息。

在一些可能的实现方式中，所述方法还包括：将所述新增的人体标识信 息以及所述第一人体的特征信息添加到所述人体模板数据库。

在一些可能的实现方式中，所述方法还包括：将所述第一人体的人体标 识信息以及所述第一人脸对应的人物标识信息与所述第一人体对应的人体标 识信息之间的关联关系添加到关联数据库。

在一些可能的实现方式中，所述人物识别请求报文还包括：所述第一人 体的跟踪标识信息或检测框标识信息。

在一些可能的实现方式中，所述基于所述第一人体的人体标识信息，确 定所述第一人体对应的人物标识信息，包括：确定关联数据库中是否存在与 所述第一人体的人体标识匹配的关联关系，其中，所述关联数据库用于存储 人体标识信息与人物标识信息之间的至少一个关联关系；基于所述确定结果， 得到所述第一人体对应的人物标识信息。

在一些可能的实现方式中，所述基于所述确定结果，得到所述第一人体 对应的人物标识信息，包括：响应于所述关联数据库中存在与所述第一人体 的人体标识匹配的关联关系，将所述匹配的关联关系中的人物标识信息确定 为所述第一人体对应的人物标识信息。

在一些可能的实现方式中，所述基于所述确定结果，得到所述第一人体 对应的人物标识信息，包括：响应于所述关联数据库中不存在与所述第一人 体的人体标识匹配的关联关系，将新增的人物标识信息确定为所述第一人体 对应的人物标识信息。

在一些可能的实现方式中，所述方法还包括：向第二终端设备发送所述 第一人体对应的人物标识信息。

在一些可能的实现方式中，所述人物识别请求报文是基于所述第一终端 设备对视频序列中的至少一个图像进行人脸跟踪得到的。

本公开实施例第三方面提供一种图像处理装置，包括：获取模块，用于 基于第一图像，得到所述第一图像中的第一人脸；第一确定模块，用于确定 是否存在与所述第一人脸匹配的人体；发送模块，用于根据所述确定的结果， 向服务器发送第一人物识别请求报文。

在一些可能的实现方式中，所述发送模块具体用于：在存在与所述第一 人脸匹配的第一人体的情况下，向所述服务器发送包括所述第一人体的图像 信息的所述第一人物识别请求报文。

在一些可能的实现方式中，还包括：第二确定模块，用于根据所述第一 人体的图像的质量，确定所述第一人物识别请求报文是否包括所述第一人体 的图像信息。

在一些可能的实现方式中，所述发送模块具体用于：在所述第一人体的 图像满足质量要求的情况下，向所述服务器发送包括所述第一人体的图像信 息的所述第一人物识别请求报文。

在一些可能的实现方式中，所述质量要求包括下列中的至少一种：人脸 清晰度要求、人脸大小要求、人脸角度要求、人脸检测置信度要求以及人体 检测置信度、人脸完整度要求。

在一些可能的实现方式中，所述发送模块具体还用于：在所述第一人体 的图像不满足质量要求的情况下，向所述服务器发送包括所述第一人脸的图 像信息的所述第一人物识别请求报文。

在一些可能的实现方式中，所述第一人物识别请求报文还包括：所述第 一人脸的跟踪标识信息或第一人脸的检测框标识信息。

在一些可能的实现方式中，所述第一人体的图像信息包括：所述第一人 体的图像，或者，所述第一人体的图像信息包括：所述第一人体的图像的特 征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特 征信息中的至少一项。

在一些可能的实现方式中，所述装置还包括：第二确定模块，用于确定 将所述第一人脸的图像信息替换为所述第一人体的图像信息。

在一些可能的实现方式中，所述发送模块具体还用于：在不存在与所述 第一人脸匹配的人体的情况下，向服务器发送包括所述第一人脸的图像信息 的第一人物识别请求报文。

在一些可能的实现方式中，所述第一确定模块具体用于：确定所述第一 图像的至少一个人体中是否存在与所述第一人脸匹配的人体。

在一些可能的实现方式中，所述第一确定模块具体用于：根据所述第一 图像中的至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对 的匹配概率信息，其中，所述候选对包括所述至少一个人脸中的一个人脸和 所述至少一个人体中的一个人体，所述至少一个人脸中包括所述第一人脸； 根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸 和所述至少一个人体的目标匹配结果；基于所述目标匹配结果，确定所述第 一图像的至少一个人体中是否存在与所述第一人脸匹配的人体。

在一些可能的实现方式中，所述第一确定模块具体用于：基于第一候选 对包括的第二人体以及所述第一候选对包括的第二人脸，确定目标对象的预 估位置信息和实际位置信息，其中，所述N个候选对包括所述第一候选对， 所述目标对象为人体的一部分；基于所述目标对象的预估位置信息和所述目 标对象的实际位置信息，确定所述第一候选对的匹配概率信息。

在一些可能的实现方式中，所述目标对象包括耳朵和人脸中的至少一种。

在一些可能的实现方式中，所述第一确定模块具体用于：根据所述N个 候选对中每个候选对的匹配概率信息，确定所述至少一个人脸与所述至少一 个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，其中， 所述候选匹配结果包括所述N个候选对中的m个候选对，所述m个候选对 中的每两个候选对所包括的人脸以及人体分别不同；基于所述至少一个候选 匹配结果中每个候选匹配结果的匹配概率信息，确定所述至少一个人脸与所 述至少一个人体的目标匹配结果。

在一些可能的实现方式中，所述第一确定模块具体用于：对所述第一图 像所属的视频序列中的至少一部分图像进行人体跟踪，得到人体跟踪结果， 其中，所述人体跟踪结果包括所述视频序列中的至少一个图像的人体跟踪信 息；基于所述视频序列中的至少一部分图像的人脸跟踪结果中与所述第一图 像的帧号对应的人体跟踪信息，确定是否存在与所述第一人脸匹配的人体。

在一些可能的实现方式中，所述第一确定模块具体用于：在所述人体跟 踪结果中不存在所述第一图像的帧号对应的人体跟踪信息的情况下，从通过 对所述第一图像进行人体检测得到的至少一个人体中确定是否存在与所述第 一人脸匹配的人体。

在一些可能的实现方式中，所述获取模块具体用于：对第一图像进行人 脸跟踪，得到所述第一图像中的第一人脸。

在一些可能的实现方式中，所述装置还包括：跟踪模块，用于对所述第 一图像进行人体跟踪，得到所述第一图像中的第三人体；所述发送模块还用 于，向服务器发送第二人物识别请求报文，所述第二人物识别请求报文中包 括所述第三人体的图像信息以及所述第三人体的跟踪标识信息。

在一些可能的实现方式中，所述装置还包括：选取模块，用于从视频序 列包括的预设数量的连续图像中选取所述第一图像。

在一些可能的实现方式中，所述选取模块具体用于：基于图像中所包括 的人脸的质量，从所述视频序列包括的预设数量的连续图像中选取所述第一 图像。

本公开实施例第四方面提供一种图像处理装置，包括：接收模块，用于 接收第一终端设备发送的人物识别请求报文，所述人物识别请求报文包括第 一人体的图像信息；确定模块，用于基于所述第一人体的图像信息，确定所 述第一人体对应的人物标识信息。

在一些可能的实现方式中，所述第一人体的图像信息包括：所述第一人 体的图像；或者，所述第一人体的图像信息包括：所述第一人体的图像的特 征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特 征信息中的至少一项。

在一些可能的实现方式中，确定模块包括：第一确定单元，用于基于所 述第一人体的图像信息，得到所述第一人体中的第一人脸的图像信息；第二 确定单元，用于基于所述第一人脸的图像信息和人脸模板数据库，确定所述 第一人脸对应的人物标识信息，其中，所述人脸模板数据库中存储至少一个 人脸模板。

在一些可能的实现方式中，第一确定单元具体用于：从所述第一人体的 图像中获取第一人脸的图像。

在一些可能的实现方式中，第二确定单元具体用于：对所述第一人脸的 图像进行特征提取处理，得到所述第一人脸的特征信息；确定所述人脸模板 数据库中是否存在与所述第一人脸的特征信息匹配的人脸模板；基于所述确 定的结果，得到所述第一人脸对应的人物标识信息。

在一些可能的实现方式中，第二确定单元具体用于：响应于所述人脸模 板数据库中存在与所述第一人脸的特征信息匹配的人脸模板，将所述匹配的 人脸模板对应的人物标识信息确定为所述第一人脸对应的人物标识信息。

在一些可能的实现方式中，第二确定单元具体用于：响应于所述人脸模 板数据库中不存在与所述第一人脸的特征信息匹配的人脸模板，将新增的人 物标识信息确定为所述第一人脸对应的人物标识信息。

在一些可能的实现方式中，还包括：第一添加模块，用于将所述新增的 人物标识信息以及所述第一人脸的特征信息添加到所述人脸模板数据库。

在一些可能的实现方式中，所述人物识别请求报文还包括所述第一人体 中的第一人脸的检测框标识信息或跟踪标识信息。

在一些可能的实现方式中，确定模块还包括：第三确定单元，用于基于 所述第一人体的图像信息，确定所述第一人体的人体标识信息；第四确定单 元，用于基于所述第一人体的人体标识信息，确定所述第一人体对应的人物 标识信息。

在一些可能的实现方式中，第三确定单元具体用于：对所述第一人体的 图像进行特征提取，得到所述第一人体的特征信息；确定人体模板数据库中 是否存在与所述第一人体的特征信息匹配的人体模板，其中，所述人体模板 数据库存储至少一个人体模板；基于所述确定的结果，得到所述第一人体的 人体标识信息。

在一些可能的实现方式中，第三确定单元具体用于：响应于所述人体模 板数据库中存在与所述第一人体的特征信息匹配的人体模板，将所述匹配的 人体模板对应的人体标识信息确定为所述第一人体的人体标识信息。

在一些可能的实现方式中，第三确定单元具体用于：响应于所述人体模 板数据库中不存在与所述第一人体的特征信息匹配的人体模板，将新增的人 体标识信息确定为所述第一人体的人体标识信息。

在一些可能的实现方式中，还包括：第二添加模块，用于将所述新增的 人体标识信息以及所述第一人体的特征信息添加到所述人体模板数据库。

在一些可能的实现方式中，还包括：第二添加模块，用于将所述第一人 体的人体标识信息以及所述第一人脸对应的人物标识信息与所述第一人体对 应的人体标识信息之间的关联关系添加到关联数据库。

在一些可能的实现方式中，所述人物识别请求报文还包括：所述第一人 体的跟踪标识信息或检测框标识信息。

在一些可能的实现方式中，第四确定单元具体用于：确定关联数据库中 是否存在与所述第一人体的人体标识匹配的关联关系，其中，所述关联数据 库用于存储人体标识信息与人物标识信息之间的至少一个关联关系；基于所 述确定结果，得到所述第一人体对应的人物标识信息。

在一些可能的实现方式中，第四确定单元具体用于：响应于所述关联数 据库中存在与所述第一人体的人体标识匹配的关联关系，将所述匹配的关联 关系中的人物标识信息确定为所述第一人体对应的人物标识信息。

在一些可能的实现方式中，第四确定单元具体用于：响应于所述关联数 据库中不存在与所述第一人体的人体标识匹配的关联关系，将新增的人物标 识信息确定为所述第一人体对应的人物标识信息。

在一些可能的实现方式中，还包括：发送模块，用于向第二终端设备发 送所述第一人体对应的人物标识信息。

在一些可能的实现方式中，所述人物识别请求报文是基于所述第一终端 设备对视频序列中的至少一个图像进行人脸跟踪得到的。

本公开实施例第五方面提供一种终端设备，包括：存储器，用于存储程 序指令；处理器，用于调用并执行所述存储器中的程序指令，执行上述第一 方面所述的方法步骤。

本公开实施例第六方面提供一种服务器，包括：存储器，用于存储程序 指令；处理器，用于调用并执行所述存储器中的程序指令，执行上述第二方 面所述的方法步骤。

本公开实施例第七方面提供一种图像处理系统，包括上述第五方面所述 的电子设备以及上述第六方面所述的服务器。

本公开实施例第八方面提供一种可读存储介质，所述可读存储介质中存 储有计算机程序，所述计算机程序用于上述第一方面或者第二方面所述的方 法。

本公开实施例所提供的图像处理方法、装置、终端设备、服务器及系统， 客户端通过对人脸和人体进行匹配，并根据匹配结果向服务器发送人物识别 请求报文，有利于提高人物识别的准确性。

附图说明

为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或 现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述 中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例的示意性系统架构图；

图2为本公开实施例提供的图像处理方法实施例一的流程示意图；

图3为本公开实施例提供的图像处理方法实施例二的流程示意图；

图4为本公开实施例提供的另一图像处理方法的流程示意图；

图5为本公开实施例提供的图像处理方法的一个例子的流程示意图；

图6为本公开实施例提供的图像处理方法实施例五的流程示意图；

图7为本公开实施例提供的一种图像处理装置实施例一的模块结构图；

图8为本公开实施例提供的一种图像处理装置实施例二的模块结构图；

图9为本公开实施例提供的一种图像处理装置实施例三的模块结构图；

图10为本公开实施例提供的一种图像处理装置实施例四的模块结构图；

图11为本公开实施例提供的一种图像处理装置实施例五的模块结构图；

图12为本公开实施例提供的另一种图像处理装置实施例一的模块结构 图；

图13为本公开实施例提供的另一种图像处理装置实施例二的模块结构 图；

图14为本公开实施例提供的另一种图像处理装置实施例三的模块结构 图；

图15为本公开实施例提供的另一种图像处理装置实施例四的模块结构 图；

图16为本公开实施例提供的另一种图像处理装置实施例五的模块结构 图；

图17为本公开实施例提供的另一种图像处理装置实施例六的模块结构 图；

图18为本公开实施例提供的另一种图像处理装置实施例七的模块结构 图；

图19为本公开实施例提供的一种终端设备1900的实体框图，如图19所 示；

图20为本公开实施例提供的一种服务器2000的实体框图；

图21为本公开实施例提供的一种图像处理系统2100的架构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开实施 例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开 中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所 有其他实施例，都属于本公开保护的范围。

相关技术中主要基于人脸信息进行人物的跟踪识别，但是实际环境中， 人脸跟踪识别可能由于遮挡、拍摄角度等问题而导致漏检、检测质量不佳等 结果，因此，所得到的跟踪识别结果准确度不高。

本公开实施例基于上述问题，提出一种图像处理方法，客户端通过对人 脸和人体进行匹配，并根据匹配结果向服务器发送人物识别请求报文，由于 同时对人脸和人体进行匹配，因此可以使得跟踪识别结果的准确度得到极大 提升，同时，匹配结果发送给服务器之后，还可以使得服务器根据该匹配结 果进行准确的客户数据分析。

本公开实施例所提供的方法可以应用在各种需要进行人物跟踪识别的场 景下。例如在超市、零售商店等场景下，超市或零售商店的经营者可能需要 通过对超市或零售商店内的客流进行跟踪识别，以得到客流统计、顾客识别、 顾客到访次数等信息，进而将这些信息作为企业管理时的重要参考信息。又 例如在十字路口、火车站等公共场所监控场景下，可以通过对这些场景下进 行人员跟踪识别，可以确定一些特定人员的身份信息等。

本公开以下实施例以零售商店场景为例说明本公开实施例的方案，但是 显然，本公开实施例并不以此为限。

图1为本公开实施例的示意性系统架构图，如图1所示，该方法涉及第 一终端设备、服务器以及第二终端设备。在零售商店场景下，该第一终端设 备上运行有客户端，该第一终端设备部署在零售商店内，并且与设置在零售 商店内的相机连接，获取相机所捕获到的视频图像，并进行跟踪、匹配等处 理。该客户端与服务器连接，服务器从客户端接收到数据后进行识别处理， 并将处理结果发送给第二终端设备。该第二终端设备可以是零售商店的运营 者的管理系统等，该第二终端设备可以通过对服务器发送的信息进行分析， 得到上述的客流统计、顾客识别、顾客到访次数等信息。

本公开以下实施例分别从上述客户端和服务器的角度对本公开实施例的 方案进行说明。

以下首先说明客户端的处理过程。

图2为本公开实施例提供的图像处理方法的流程示意图，该方法的执行 主体为上述的客户端，或者也可以为其他电子设备，本公开实施例对此不做 限定。为了便于理解，下面以客户端执行方法为例进行描述。

S201、基于第一图像，得到该第一图像中的第一人脸。

其中，可选地，该第一图像可以是相机实时拍摄的视频序列中的其中一 帧图像，或者该第一图像可以是静态图像，本公开实施例对第一图像的具体 实现不作限定。

可选的，相机实时进行拍摄，得到连续的视频流，相机可以实时或定期 将视频流发送到客户端。客户端对视频流进行解码，可以得到视频序列。该 视频序列中包括多帧图像。客户端进而可以对该多帧图像或该多帧图像中的 部分图像分别使用本公开实施例的方法进行处理。

可选地，也可以通过其他方式获取视频序列或第一图像，本公开实施例 对获取的具体方式不作限定。

可选的，客户端可以从视频序列包括的多个图像中选取第一图像。例如， 客户端可以从上述视频序列所包括的预设数量的连续图像中选取上述第一图 像，或者，客户端也可以基于预设阈值从视频序列中选取第一图像，但本公 开实施例对选帧的具体实现不做限定。

可选的，客户端可以基于图像中所包括的人脸的质量，从上述视频序列 包括的多个图像中选取上述第一图像。示例性的，客户端可以从视频序列所 包括的10帧连续图像中选择质量最好的一帧作为第一图像。例如，可以确定 每个图像的质量分数，并将质量分数最高的图像作为第一图像。其中，质量 分数可以基于图像的一种或多种因素获得，例如，可以基于人脸清晰度、人 脸角度、人脸大小、人脸检测的置信度等一种或任意组合，确定图像的质量 分数，或者也可以基于其他因素，确定图像的质量分数。此外，可以通过多 种方式获得图像的质量分数，例如，可以基于神经网络确定图像的质量分数， 或者基于其他算法得到图像的质量分数，本公开实施例对质量分数的获得方 式和影响因素均不做限定。

再例如，客户端可以从视频序列中选择质量分数达到预设阈值的图像作 为第一图像。其中，在一个例子中，可以确定图像的综合质量分数，并基于 综合质量分数是否达到预设阈值来确定是否选取该图像；或者，可以设置图 像的各个质量因素的阈值，例如人脸角度、人脸大小、人脸清晰度中的一项 或任意多项中的每项设置阈值，并基于每个质量因素是否达到对应的阈值来 确定是否选取该图像。或者，也可以设置综合质量分数和每个质量因素分别 对应的阈值，本公开实施例对其具体实现不做限定。

作为一种可选方式，客户端可以对第一图像进行人脸检测，得到第一人 脸，此时，可选地，客户端可以得到第一人脸的图像以及第一人脸的标识信 息，例如第一人脸的检测框标识。或者，客户端可以对第一图像进行人脸跟 踪，以得到第一图像中的第一人脸，此时，可选地，客户端可以得到第一人 脸的图像以及第一人脸的跟踪标识。

可选的，客户端可以基于人脸关键点进行人脸跟踪，例如客户端可以对 位于第一图像之前的第二图像进行人脸检测，得到人脸图像，并对人脸图像 进行关键点检测，得到关键点在第二图像中的位置信息，其中，第二图像与 第一图像之间的间隔可以低于预设数值。然后，客户端可以基于关键点在第 二图像中的位置信息以及第一图像相对于第二图像的运动信息，例如光流信 息，确定关键点在第一图像中的预测位置信息，并基于关键点在第一图像中 的预测位置信息，获取第一人脸的图像。

可选地，也可以基于其他方式进行人脸跟踪，本公开实施例对人脸跟踪 的具体实现不作限定。

可选的，在通过人脸跟踪得到第一人脸之后，客户端还可以记录该第一 人脸所在的图像的帧标识。

S202、确定是否存在与所述第一人脸匹配的人体。

可选的，可以确定第一图像包括的至少一个人体中是否存在与第一人脸 匹配的人体。

在本公开实施例中，可以通过多种方式得到第一图像包括的至少一个人 体的信息。在一些可能的实现方式中，可以对第一图像进行人体检测，得到 第一图像中的至少一个人体，此时，可选地，可以得到每个人体的图像以及 每个人体的标识信息，例如检测框标识。在另一些可能的实现方式中，可以 对第一图像进行人体跟踪，得到第一图像中的至少一个人体，例如，可以对 上述第一图像所属的视频序列的至少一部分图像进行人体跟踪，得到人体跟 踪结果，其中，该人体跟踪结果包括该视频序列中的至少一个图像的人体跟踪信息。此时，可选地，可以得到每个人体的图像以及每个人体的跟踪标识。 可选地，对于每一个人体，客户端还可以进一步记录该人体所在图像的帧标 识，但本公开实施例不限于此。

在一些可能的实现方式中，可以从视频序列的至少一部分图像的人体跟 踪结果中查找与上述第一人脸的帧号对应的人体跟踪信息。

在一种可选的情况下，如果人体跟踪结果中存在与上述第一人脸的帧号 对应的人体跟踪信息，则从与第一图像的帧号对应的人体跟踪信息中查找与 第一人脸匹配的人体。

在另一种可选的情况下，如果人体跟踪结果中不存在与上述第一人脸的 帧号对应的人体跟踪信息，则可以对第一图像进行人体检测，并从通过对第 一图像进行人体检测得到的至少一个人体中确定是否存在与第一人脸匹配的 人体。

在另一些可能的实现方式中，可以直接对第一图像进行人体检测，并从 通过对第一图像进行人体检测得到的至少一个人体中确定是否存在与第一人 脸匹配的人体。

本公开实施例对第一图像的至少一个人体的获得方式不作限定。

S203、根据上述确定的结果，向服务器发送第一人物识别请求报文。

可选的，上述确定的结果包括：存在与第一人脸匹配的人体，或者，不 存在与第一人脸匹配的人体。

对于不同的确定结果，客户端可以向服务器发送不同的第一人物识别请 求报文，即对于不同的确定结果，第一人物识别请求报文中的所包含的信息 可以不同。例如，可以基于确定结果，即是否存在与第一人脸匹配的人体， 确定是否基于人体的图像信息对第一人脸进行人物识别。再例如，可以基于 确定结果，确定第一人物识别请求报文中是否包含第一人脸的图像信息。

本公开实施例中，客户端通过对人脸和人体进行匹配，并根据匹配结果 向服务器发送人物识别请求报文，有利于提高人物识别的准确性。

具体地，在目标区域的监控场景中，一般会在一个或多个位置设置摄像 头，由于光线、遮挡、人脸角度等因素，通过人脸无法进行人物识别，或者 人物识别的准确性较低，本公开实施例通过确定是否存在与第一人脸匹配的 人体，并基于匹配结果确定向服务器发送的第一人物识别请求报文中是否包 含第一人脸的图像信息，有利于提高人物识别的准确性。

在上述实施例的基础上，下面描述如何根据确定的结果向服务器发送第 一人物识别请求报文。

如前所述，上述确定的结果可能包括：存在与第一人脸匹配的人体，或 者，不存在与第一人脸匹配的人体。以下分别说明这两种情况下的处理方式。

1、存在与第一人脸匹配的人体

可选的，当存在与第一人脸匹配的人体(称该匹配的人体为第一人体) 时，客户端可以向服务器发送包括该第一人体的图像信息的第一人物识别请 求报文。

在一种可能的实现方式中，在存在与第一人脸匹配的人体的情况下，可 以直接确定在第一人物识别请求报文中包括第一人体的图像信息。此时，可 选地，可以在第一人物识别请求报文中进一步包括第一人脸的图像信息，相 应地，服务器在接收到该第一人物识别请求报文之后，可以基于第一人脸的 图像信息和第一人体的图像信息进行人物识别。或者，第一人物识别请求报 文可以不包括第一人脸的图像信息，相应地，服务器在接收到第一人物识别 请求报文之后，可以基于第一人体的图像信息进行人物识别，本公开实施例对此不做限定。

在另一种可能的实现方式中，还可以通过判断第一人体的图像质量，并 基于第一图像质量确定第一人物识别请求报文是否包括第一人体的图像信息。 可选地，可以通过判断第一人体的图像质量是否满足预设的质量要求，来确 定是否在第一人物识别请求报文中包括第一人体的图像信息。

一种情况下，如果第一人体的图像满足质量要求，则向服务器发送的第 一任务识别请求报文包括第一人体的图像信息。相应地，服务器可以基于第 一人体的图像信息进行人物识别。例如，服务器可以从第一人体的图像信息 中获取第一人脸的图像信息，例如从第一人体的图像中截取第一人脸的图像， 并基于第一人脸的图像信息进行人物识别，但本公开实施例不限于此。

另一种情况下，如果第一人体的图像不满足质量要求，则向服务器发送 的第一人物识别请求报文不包括第一人体的图像信息而包括仅上述第一人脸 的图像信息。

这样，在本公开实施例的技术方案中，可以根据图像的实际情况确定基 于通过人体检测或人体跟踪得到的人体的图像信息或者通过人脸检测或人脸 跟踪得到的人脸的图像信息进行人物识别，例如，在人体的图像质量较好时 通过从人体的图像信息中获取人脸的图像信息来进行人物识别，而在人体的 图像质量较差时利用人脸检测或人脸跟踪得到的人脸的图像信息进行人物识 别，从而避免在进行人物识别时由于人脸角度、遮挡等因素而造成的识别准 确度较低的问题，提高人物识别的准确性。

其中，在本公开实施例中，质量要求可以根据实际情况设置。在一种可 能的实现方式中，上述质量要求可以包括以下要求中的一种或任意组合：

人脸清晰度要求、人脸大小要求、人脸角度要求、人脸检测置信度要求 以及人体检测置信度、人脸完整度要求。

在一个例子中，质量要求包括下列组合中的至少一项：人体检测框的置 信度达到预设阈值、人脸的完整度达到特定要求(例如包括完整的人体)、 人脸的清晰度达到特定要求、人脸大小达到特定要求、人脸角度处于特定范 围，这样，服务器可以从人体图像中获取质量较好的人脸图像并基于该人脸 图像进行人物识别，提高人物识别的准确性。

可选地，质量要求也可以包括其他类型的参数要求，本公开实施例对其 具体实现不做限定。

在本公开实施例中，可选的，如果通过上述任意途径确定向服务器发送 的第一人物识别请求报文包括第一人体的图像信息，则在一个例子中，该报 文可以进一步包括第一人脸的图像信息，此时，服务器在接收到第一人物识 别请求报文之后，可以选择利用报文中包括的第一人脸的图像信息或者第一 人体的图像信息进行人物识别，或者结合两者进行人物识别，本公开实施例 对此不做限定。在另一个例子中，该报文可以不包括第一人脸的图像信息， 相应地，在发送该报文前，可以确定将上述第一人脸的图像信息替换为上述第一人体的图像信息，从而在第一人物识别请求报文中包括第一人体的图像 信息而不包括第一人脸的图像信息。相应地，服务器在接收到第一人物识别 请求报文之后，基于报文中包括的第一人体的图像信息进行人物识别，但本 公开实施例不限于此。

2、不存在与第一人脸匹配的人体

可选的，在不存在与第一人脸匹配的人体的情况下，客户端可以向服务 器发送的第一人物识别请求报文包括上述第一人脸的图像信息。

这样，与第一人脸对应的第一人物识别请求报文可以包括第一人脸的图 像信息、第一人体的图像信息、或者第一人体的图像和第一人脸的图像信息。

在本公开实施例中，在一种可能的实现方式中，第一人体的图像信息包 括：第一人体的图像。此时，服务器可以基于第一人体的图像进行人物识别。 例如，服务器从第一人体的图像中获取第一人脸的图像，并基于第一人脸的 图像和人脸模板来进行人物识别；再例如，基于第一人体的图像、人体模板 和人物-人体关联库来进行人物识别，等等，本公开实施例对服务器基于第一 人体的图像进行人物识别的具体实现不做限定。

在另一种可能的实现方式中，第一人体的图像信息包括：第一人体的图 像的特征信息，其中，可选地，第一人体的图像的特征信息可以包括人体特 征信息，或者包括人脸特征信息，或者包括人体特征信息和人脸特征信息。 其中，第一人体的图像的人体特征信息是通过对第一人体的图像进行特征提 取得到，第一人体的图像的人脸特征信息是通过对第一人体的图像中的人脸 区域图像进行特征提取得到。

可选地，第一人脸的图像信息包括：第一人脸的图像和/或第一人脸的图 像的特征信息，其中，第一人脸的图像的特征信息是通过对第一人脸的图像 进行特征提取得到的，本公开实施例对此不做限定。

作为一种可选的实现方式，第一人物识别请求报文中除了包括第一人体 的图像信息和/或第一人脸的图像信息外，还可以包括第一人脸的标识信息， 例如跟踪标识信息或者检测框标识信息。服务器获取到这些信息后，可以根 据这些信息进行更加准确的人物身份识别和/或进一步分析处理。

为了便于理解，本文中的术语“第一人体的图像信息”是指通过对图像 进行人体检测或人体跟踪得到的图像信息，此外，在上述实施例中，术语“第 一人脸的图像信息”是指通过对图像进行人脸检测或人脸跟踪得到的图像信 息。而在以下实施例中，术语“第一人脸的图像信息”也可以指基于报文中 的人体的图像信息得到的人脸的图像信息。

另外，应理解，在本文中，术语“第一人物识别请求报文”是指请求对 通过人脸检测或人脸跟踪获得的人物进行识别的人物识别请求报文，术语“第 二人物识别请求报文”是指请求对通过人体检测或人体跟踪获得的人物进行 识别的人物识别请求报文。

此外，可选地，客户端还可以对第一图像进行人体检测或跟踪，得到人 脸检测或跟踪的结果，并将人体检测或跟踪的结果发送给服务器。

在一个例子中，客户端可以对第一图像进行人体跟踪或检测，得到第一 图像中的第二人体，并向服务器发送第二人物识别请求报文，该第二人物识 别请求报文中包括第二人体的图像信息以及第二人体的标识信息，其中，第 二人体的图像信息可以包括第二人体的图像和/或第二人体的图像的人体特 征信息，本公开实施例对此不做限定。服务器在接收到第二人物识别请求报 文之后，可以基于第二人体的图像信息进行人物识别。

图3为本公开实施例提供的图像处理方法中步骤S202的一个具体例子的 流程示意图。

S301、根据第一图像中的至少一个人脸和至少一个人体，确定N个候选 对中每个候选对的匹配概率信息，其中，上述候选对包括上述至少一个人脸 中的一个人脸和上述至少一个人体中的一个人体，上述至少一个人脸中包括 上述第一人脸。

其中，N为大于或等于1的整数。

可选地，可以通过对第一图像进行人脸检测或跟踪得到至少一个人脸， 对第一图像进行人体检测或跟踪得到至少一个人体。

在得到至少一个第一人脸和至少一个第一人体之后，可以将至少一个人 体和至少一个人脸中的任意人脸-人体组合作为候选对，得到N个候选对，即 N＝(n1×n2)/2，其中，n1和n2分别为至少一个人脸的个数和至少一个人体的 个数；或者，可以将至少一个人体和至少一个人脸中的部分人脸-人体组合作 为候选对，得到N个候选对，本公开实施例对N个候选对的具体实现不做限 定。

一种可选方式中，在得到上述至少一个人脸和上述至少一个人体后，可 以以每个人脸为基准，建立其与至少一个人体中部分或每个人体或部分人体 的候选对。

另一种可选方式中，在得到上述至少一个人脸和上述至少一个人体后， 可以以每个人体为基准，建立其与至少一个人脸中每个人脸或部分人脸的候 选对。

可选地，候选对的匹配概率信息用于标识候选对中包括的人脸和人体的 匹配程度。在一个例子中，匹配概率信息可以包括匹配概率，候选对的匹配 概率越大则表明候选对中包括的人脸和人体的匹配程度越高。在另一个例子 中，匹配概率信息可以包括匹配权值，候选对的匹配权值越小则表明候选对 中包括的人脸和人体的匹配程度越高，本公开实施例对此不做限定。

在本公开实施例中，可以通过多种方式得到N个候选对中每个候选对的 匹配概率信息，在一个例子中，通过基于机器学习或其他方法的匹配算法， 得到N个候选对中每个候选对的匹配概率信息，例如，可以将候选对中包括 的人脸和人体的图像信息输入到神经网络进行处理，输出该候选对的匹配概 率信息，但本公开实施例对得到候选对的匹配概率信息的具体实现不做限定。

S302、根据上述N个候选对中每个候选对的匹配概率信息，确定上述至 少一个人脸和上述至少一个人体的目标匹配结果。

具体地，可以基于N个候选对中每个候选对的匹配概率信息，确定至少 一个人体与至少一个人脸中匹配的各个人脸-人体对。例如，该目标匹配结果 可以包括匹配的n1个人脸-人体对，此时，n1个人脸中的每个人脸均存在与 其匹配的人体，其中，n1可以小于n2，此时，n2个人体中的部分人体不存 在与其配对的人脸；或者，n1等于n2，此时，n1个人脸和n2个人体一一对 应的匹配。再例如，该目标匹配结果可以包括匹配的n2个人脸-人体对，并且n2小于n1，此时，n2个人体中的每个人体均存在与其匹配的人脸，而n1 个人脸中的部分人脸不存在与其匹配的人体。再例如，该目标匹配结果可以 包括匹配的n3个人脸-人体对，其中，n3小于n1和n2，此时，实现了n1个 人脸中的部分人脸和n2个人体中的部分人体的配对，本公开实施例对目标匹 配结果的具体实现不做限定。

S303、基于上述目标匹配结果，确定上述第一图像的至少一个人体中是 否存在与上述第一人脸匹配的人体。

可选的，该至少一个人脸和至少一个人体的目标匹配结果包括至少一对 匹配的人体和人脸(即至少一个匹配的人脸-人体对)。相应地，可以在上述 目标匹配结果中查找第一人脸，以确定是否存在与第一人脸匹配的人体。

可选地，如果存在与第一人脸匹配的人体，可以进一步获取与第一人脸 匹配的人体的信息。

一种可选方式中，可以通过以下方式确定N个候选对中的第一候选对的 匹配概率信息，其中，该第一候选对可以为N个候选对中的任意候选对，第 一候选对包括第二人脸和第二人体。

基于第一候选对包括的第二人体以及该第一候选对包括的第二人脸，确 定目标对象的预估位置信息和实际位置信息，其中，上述目标对象为人体的 一部分。然后，基于上述目标对象的预估位置信息和上述目标对象的实际位 置信息，确定上述第一候选对的匹配概率信息。

可选的，上述目标对象可以为人体的一部分，例如耳朵、人脸或人脸的 某个器官，如眼睛、鼻子等，或者也可以为人体的其他部位，本公开实施例 对目标对象的具体实现不做限定。

在一种可能的实现方式中，可以基于第二人体和第二人脸中的其中一项 确定目标对象的预估位置信息，而基于另一项确定目标对象的实际位置信息。 这样，基于目标对象的预估位置信息和实际位置信息，例如通过比较目标对 象的预估位置信息和实际位置信息，或者通过确定目标对象的预估位置信息 对应的预估位置与实际位置信息对应的实际位置之间的距离，可以确定第一 候选对中的第二人脸和第二人体的匹配程度，但本公开实施例对此不做限定。

在本公开实施例中，目标对象的实际位置信息和预估位置信息的确定可 以同时执行或者以任意前后顺序执行，本公开实施例对此不做限定。

在一个例子中，上述目标对象为耳朵，此时，基于第二人体和第二人脸， 可以得出耳朵的预估位置以及实际位置，进而，根据预估位置和实际位置之 间的差别，例如距离等，可以确定第二人体和第二人脸的匹配概率信息。

下面详细描述基于第二人体和第二人脸得出耳朵的预估位置和实际位置 的一个示例。

可选地，在S301中，基于上述第二人体，确定耳朵的实际位置信息，并 且基于上述第二人脸，确定耳朵的预估位置信息。

在本公开实施例中，可以通过多种方式基于第二人体确定耳朵的实际位 置信息。在一个例子中，客户端得到的第二人体包括第二人体的图像，此时， 可以对第二人体的图像进行关键点检测，得到耳朵关键点的位置信息，其中， 上述耳朵的实际位置信息包括耳朵关键点的位置信息。在另一个例子中，客 户端得到的第二人体包括第二人体的位置信息，此时，可以基于上述第二人 体的位置信息，从上述第一图像中获取上述第二人体的图像，并对第二人体 的图像进行关键点检测，得到耳朵关键点的位置信息，或者，客户端也可以 通过其他方式确定耳朵的实际位置信息，本公开实施例对此不做限定。

其中，可选地，上述耳朵关键点的位置信息可以包括至少一个耳朵的关 键点的位置信息，即包括左耳关键点的位置信息和/或右耳关键点的位置信息， 本公开实施例对此不做限定。

可选的，可以通过神经网络对第二人体的图像进行关键点的检测。例如， 可以通过预先训练好的关键点检测模型，将上述第二人体的图像输入到该关 键点检测模型中，该关键点检测模型可以输出上述第二人体中的耳朵关键点 信息。或者，也可以通过其他关键点检测算法，得到第二人体的图像的关键 点信息，本公开实施例对此不做限定。

在本公开实施例中，客户端可以通过多种方式基于上述第二人脸确定耳 朵的预估位置信息。可选地，基于第二人脸的人脸限定框的位置信息或者第 二人脸的位置信息，确定耳朵的预估位置信息。在一种可能的实现方式中， 可以基于上述第二人脸的中心点位置以及上述第二人脸的尺寸信息，确定耳 朵的预估位置信息。

可选的，上述第二人脸的尺寸信息可以包括第二人脸的高度以及宽度等。

在另一种可能的实现方式中，可以基于第二人脸的人脸限定框的多个顶 点的位置信息，确定耳朵的预估位置信息。

可选的，可以首先获取第二人脸的人脸限定框，并基于该人脸限定框的 信息，可以得到人脸的高度和宽度。例如，通过对第一图像的至少一部分进 行人脸检测或人脸跟踪，得到第二人脸的人脸限定框，该人脸限定框的信息 可以包括该人脸限定框的位置信息，例如包括多个顶点在图像中的坐标，或 者包括中心点的位置以及人脸限定框的宽度和高度。在一个例子中，人脸的 高度可以等于人脸限定框的高度，人脸的宽度可以等于人脸限定框的宽度， 但本公开实施例对此不做限定。

在一种可能的实现方式中，可以通过高斯分布模型确定上述耳朵的预估 位置信息，其中，该耳朵的预估位置信息可以包括预估左耳位置和/或预估右 耳位置。

例如，耳朵的预估位置由公式(1)得到。

其中，θ_x和θ_y为耳朵的预估位置参数，可以是人工设置的或者是通过训 练得到的，

为第二人脸的中心点位置,F_w,为第二人脸的宽度，F_h为第二 人脸的高度。

在另一种可能的实现方式中，可以通过神经网络确定耳朵的预估位置信 息。此时，可以将第二人脸的图像输入到神经网络进行处理，得到耳朵的预 估位置信息，但本公开实施例对此不做限定。

客户端在确定耳朵的预估位置信息和实际位置信息之后，基于上述耳朵 的预估位置信息和上述耳朵的实际位置信息确定第一候选对的第一匹配概率 信息。

可选的，可以计算上述耳朵的实际位置信息对应的位置与上述耳朵的预 估位置信息对应的位置之间的距离，并根据该距离以及上述高斯分布模型中 的模型参数得到一个概率密度，该概率密度可以作为第一候选对的匹配概率， 或者，通过该概率密度，可以确定第一候选对的匹配概率，本公开实施例对 此不做限定。

在另一个例子中，上述目标对象为人脸。此时，可选地，可以基于第二 人体，确定第二人脸的预估位置信息，并基于第二人脸的预估位置信息和第 二人脸的实际位置信息，确定第一候选对的匹配概率信息。

可选地，可以基于上述第二人体的限定框信息，确定上述第二人脸的中 心点的预估位置信息。并且，基于上述第二人脸的位置信息，确定上述第二 人脸的中心点的实际位置信息。然后，可以基于第二人脸的中心点的预估位 置信息和第二人脸的中心点的实际位置信息，确定第一候选对的匹配概率信 息。

基于第二人脸的位置信息确定第二人脸的中心点的实际位置信息的过程 可以参照上述实施例的描述，此处不再赘述。

客户端可以通过多种方式根据第二人体的位置信息(即人体限定框的位 置信息)确定第二人脸的中心点的预估位置信息。可选地，客户端可以根据 上述人体限定框的位置信息确定人体限定框的顶点坐标、人体高度和人体宽 度中的至少一项。进而，根据上述顶点坐标、人体高度和人体宽度中的至少 一项，确定第二人脸的中心点的预估位置信息。

在一个例子中，可以通过高斯分布模型确定第二人脸的中心点的预估位 置。

例如，第二人脸的中心点的预估位置由公式(2)得到。

B_x1+μ_x*B_w,B_y1+μ_y*B_h (2)

其中，B_x1和B_y1为人体限定框的顶点坐标，μ_x和μ_y为第二人脸的中心点 的预估位置参数，可以是预设的或者通过训练得到的，B_w为人体宽度， B_h为人体高度。

在另一个例子中，可以通过对第二人体的图像进行人脸检测，并基于检 测结果确定第二人脸的中心点的预估位置信息，例如，将检测到的人脸检测 框的位置信息确定第二人脸的中心点的预估位置信息。

在另一个例子中，可以通过神经网络确定第二人脸的中心点的预估位置 信息。此时，可以将第二人体的图像输入到神经网络进行处理，得到第二人 脸的中心点的预估位置信息，但本公开实施例对此不做限定。

在得到第二人脸的中心点的预估位置信息和实际位置信息之后，可以基 于此确定第一候选对的匹配概率信息。

可选的，可以根据上述第一人脸的中心点的预估位置和上述第一人脸的 中心点的实际位置建立二维高斯函数，从而得到一个概率密度，并将该概率 密度作为第一候选对的匹配概率，或者，通过该概率密度，可以确定第一候 选对的匹配概率，本公开实施例对此不做限定。

在步骤S302中，确定上述至少一个人脸和上述至少一个人体的目标匹配 结果的一种可选方式为：

根据上述N个候选对中每个候选对的匹配概率信息，确定上述至少一个 人脸与上述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹 配概率信息，其中，该候选匹配结果包括上述N个候选对中的m个候选对， 该m个候选对中的每两个候选对所包括的人脸以及人体分别不同。

基于上述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息， 确定上述至少一个人脸与所述至少一个人体的目标匹配结果。

可选的，上述候选匹配结果为m个候选对的集合，该集合中的候选对不 重复，即候选匹配结果所包括的m个候选对中的每两个候选对所包含的人脸 以及人体均不同。也就是说，候选匹配结果为N个候选对中假设匹配的m个 人脸-人体对的集合。

可选的，上述m可以等于上述至少一个人体或上述至少一个人脸的个数。 或者，可以基于N个候选对中每个候选对的匹配概率信息，对N个候选对进 行过滤处理，得到M个候选对，并基于M个候选对得到至少一个候选匹配 结果，此时，m可以小于至少一个人体的个数且小于至少一个人脸的个数， 但本公开实施例对此不做限定。

在一种可能的实现方式中，在确定候选匹配结果的匹配概率信息时，可 以将候选匹配结果中包含的m个候选对的匹配概率之和作为该候选匹配结果 的匹配概率信息对应的匹配概率。

示例性的，某一个候选匹配结果中包括3个候选对，每个候选对分别具 有一个匹配概率，分别为概率1、概率2和概率3，则该候选匹配结果的匹配 概率为该率1、该率2和概率3之和。

在另一种可能的实现方式中，可以将m个候选对的加权匹配概率之和作 为该候选匹配结果的匹配概率。或者，也可以通过其他方式对m个候选对的 匹配概率进行处理，得到候选匹配结果的匹配概率，例如，候选匹配结果的 匹配概率等于m个候选对的匹配概率的平均值、最大值或最小值，本公开实 施例对此不做限定。

在得到至少一个候选匹配结果中每个候选匹配结果的匹配概率信息之后， 可以基于每个候选匹配结果的匹配概率信息，从至少一个候选匹配结果中确 定目标匹配结果。可选的，可以将上述至少一个候选匹配结果中匹配概率信 息对应的匹配概率最大的候选匹配结果作为上述目标匹配结果。或者，可以 通过预设阈值的方式从至少一个候选匹配结果中确定目标匹配结果，本公开 实施例对此不做限定。

在图3所示的例子中，首先确定第一图像中的至少一个人脸和至少一个 人体的整体匹配情况，然后依据整体的匹配情况确定至少一个人脸中的第一 人脸的人体匹配情况，能够一次性得到第一图像中所有人脸和人体的匹配结 果，能够提高图像处理效率，尤其是在需要对第一图像中的至少一大部分人 脸进行分析处理的情况下。

在另一些可能的实现方式中，可以依据第一人脸与第一图像的至少一个 人体中每个人体的匹配概率信息，从至少一个人体中确定与第一人脸匹配的 人体，但本公开实施例不限于此。

图4为本公开实施例提供的另一图像处理方法的流程示意图，该方法的 执行主体为服务器或其他能够实现人物识别的设备，为了便于理解，下面以 该方法由服务器执行为例进行描述，但本公开实施例不限于此。

S401、接收第一终端设备发送的人物识别请求报文，该人物识别请求报 文包括第一人体的图像信息。

在一种可能的实现方式中，该第一终端设备可以为上述图1中的终端设 备，但本公开实施例不限于此。

具体地，人物识别请求报文可以为上述实施例中基于人脸检测或跟踪得 到的第一人物识别请求报文，或者为上述实施例中基于人体检测或跟踪得到 的第二人物识别请求报文，本公开实施例对此不做限定。

S402、基于上述第一人体的图像信息，确定上述第一人体对应的人物标 识信息。

服务器基于人物识别请求报文中包括的第一人体的图像信息，确定人物 标识信息。其中，在服务器进行人物识别的过程中，可能会涉及以下三个数 据库中的一个或多个：人脸模板数据库、人体模板数据库以及关联数据库。

其中，人脸模板数据库用于保存至少一个人脸模板，人脸模板可以包括 人脸图像或者人脸特征信息，并且具有对应的人物标识信息，例如人物标识 (person-id)，该人物标识可以唯一性地标识一个人。

人体模板数据库用于保存至少一个人体模板，人体模板可以包括人体图 像或人体特征信息，并且具有对应的人物标识信息，例如人体标识(body-id 或者Re-Id)，该人体标识可以用于唯一性地标识一个人体。

关联数据库用于保存基于人脸的第一人物标识信息(例如人物标识)与 基于人体的第二人物标识信息(例如人体标识)之间的对应关系，或者，将 基于人体的第二人物标识信息称为人体标识信息，此时，关联数据库用于保 存人物标识信息与人体标识信息之间的对应关系。例如，关联数据库中可以 包括多条记录，每条记录中包括一个人体标识以及该人体标识与对应的人物 标识。

此外，人脸模板、人体模板和关联数据库中的任意一个或多个可以是人 工录入的，或者是基于人工录入信息得到的，例如通过对人工录入的人脸图 像进行特征提取得到的，或者是在人物识别过程中动态更新的，本公开实施 例对此不做限定。

下面详细描述人物识别请求报文的不同内容情况下S402的具体实现。

图5为本公开实施例提供的图像处理方法的一个例子的流程示意图，其 中，在该例子中，假设服务器接收到的人物识别请求报文为第一人物识别请 求报文。

此时，可选地，服务器可以通过S501和S502进行基于人脸的人物识别， 或者，通过S503进行基于人体的人物识别，或者结合基于人脸的人物识别和 基于人体的人物识别，得到最终的人物识别结果。

S501、基于上述第一人体的图像信息，得到上述第一人体中的第一人脸 的图像信息。

可选的，上述第一人体的图像信息包括第一人体的图像。此时，服务器 可以从第一人体的图像中获取第一人脸的图像。在一个例子中，服务器可以 对第一人体的图像进行人脸检测，得到第一人脸的图像。或者，服务器可以 获取第一人脸的位置信息，并基于第一人脸的位置信息，从第一人体的图像 中获取第一人脸的图像。例如，第一人物识别请求报文中包括第一人脸的位 置信息，或者，第一人物识别请求报文中包括第一人脸的关键点信息，等等， 本公开实施例对服务器获取第一人脸的图像的具体实现不做限定。

可选地，第一人体的图像信息包括第一人体的图像的人体特征信息和/或 第一人体的图像的人脸特征信息。此时，服务器可以获取第一人体的图像信 息中包括的人脸特征信息，但本公开实施例不限于此。

S502、基于上述第一人脸的图像信息和人脸模板数据库，确定上述第一 人脸对应的人物标识信息。

可选地，服务器可以确定人脸模板数据库中是否存在与第一人脸的图像 信息匹配的人脸模板。

在一种可能的实现方式中，第一人脸的图像信息包括第一人脸的图像。 此时，在一个例子中，人脸模板数据库中的人脸模板包括人脸特征信息，则 服务器可以对上述第一人脸的图像进行特征提取处理，得到上述第一人脸的 特征信息，基于第一人脸的特征信息与至少一个人脸模板中的人脸特征信息 之间的相似度或距离，确定上述人脸模板数据库中是否存在与上述第一人脸 的特征信息匹配的人脸模板。

在另一个例子中，人脸模板数据库中的人脸模板包括人脸图像，则服务 器可以基于第一人脸的图像与人脸模板数据库中包括的至少一个人脸模板之 间的相似度，确定人脸模板数据库中是否存在与第一人脸的图像匹配的人脸 模板。

在另一种可能的实现方式中，第一人脸的图像信息包括第一人体的图像 的人脸特征信息，相应地，服务器可以基于第一人体的图像的人脸特征信息 确定人脸模板数据库中是否存在与第一人脸的图像信息匹配的人脸模板，本 公开实施例对确定人脸模板数据库中是否存在与第一人脸的图像信息匹配的 人脸模板的具体实现不做限定。

然后，服务器可以基于上述确定的结果，得到上述第一人脸对应的人物 标识信息，其中，作为一个例子，第一人脸对应的人物标识信息包括人物标 识。

作为一个例子，上述确定的结果为人脸模板数据库中存在与上述第一人 脸的图像信息匹配的人脸模板，此时，可选地，服务器将该匹配的人脸模板 对应的人物标识信息确定为第一人脸对应的人物标识信息。

可选地，人脸模板数据库中的每个人脸模板都对应一个人物身份标识， 因此，如果人脸模板数据库中存在与第一人脸的图像信息匹配的人脸模板， 则表明该第一人脸对应的人物为服务器端已经记录的人物。此时，可选地， 服务器可以将该人物的出现次数加一，或者记录该人物本次出现的信息，例 如时间信息、地点信息、对应摄像头信息、采集图像等一种或多种，本公开 实施例对此不做限定。

作为另一个例子，上述确定的结果为人脸模板数据库中不存在与上述第 一人脸的图像信息匹配的人脸模板，此时，可选地，服务器可以新增人物标 识信息，例如新增人物标识，并将新增的人物标识信息确定为上述第一人脸 对应的人物标识信息。

如果人脸模板数据库中不存在与第一人脸的特征信息匹配的人脸模板， 则服务器可以确认该第一人脸对应的人物为新出现的人物，并为该新出现的 人物分配新增的人物标识信息。

可选的，服务器为该新出现的人物分配人物标识信息之后，可以将该新 增的人物标识信息以及上述第一人脸的图像信息添加到上述人脸模板数据库， 其中，可选地，该新增的人物标识信息与上述第一人脸的图像信息可以作为 一条新的记录加入到人脸模板数据库中，从而建立起该新增的人物标识信息 与第一人脸的图像信息之间的对应关系。或者，服务器也可以将第一人脸的 图像信息添加到人脸模板数据库，并记录第一人脸的图像信息与新增的人物 标识信息之间的对应关系。

S503、基于第一人体的图像信息和人体模板数据库，确定所述第一人体 对应的人物标识信息。

可选的，上述第一人体的图像信息包括第一人体的图像。此时，在一个 例子中，人体模板数据库中的人体模板包括人体特征信息，则服务器可以对 上述第一人体的图像进行特征提取处理，得到上述第一人体的特征信息，基 于第一人体的特征信息与至少一个人体模板中的人体特征信息之间的相似度 或距离，确定上述人体模板数据库中是否存在与上述第一人体的特征信息匹 配的人体模板。

在另一个例子中，人体模板数据库中的人体模板包括人体图像，则服务 器可以基于第一人体的图像与人体模板数据库中包括的至少一个人体模板之 间的相似度，确定人体模板数据库中是否存在与第一人体的图像匹配的人体 模板。

在另一种可能的实现方式中，第一人体的图像信息包括第一人体的图像 的人体特征信息，相应地，服务器可以基于第一人体的图像的人体特征信息 确定人体模板数据库中是否存在与第一人体的图像信息匹配的人体模板，本 公开实施例对确定人体模板数据库中是否存在与第一人体的图像信息匹配的 人体模板的具体实现不做限定。

然后，服务器可以基于上述确定的结果，得到上述第一人体对应的人物 标识信息，其中，作为一个例子，第一人体对应的人物标识信息包括人体标 识。

作为一个例子，上述确定的结果为人体模板数据库中存在与上述第一人 体的图像信息匹配的人体模板，此时，可选地，服务器将该匹配的人体模板 对应的第二人物标识信息确定为第一人体对应的人物标识信息。或者，服务 器还可以在关联数据库中查询该匹配的人体模板对应的第二人物标识信息对 应的第一人物标识信息，并将查询得到的该第一人物标识信息确定为该第一 人体对应的人物标识信息。

可选地，人体模板数据库中的每个人体模板都对应一个人体标识，因此， 如果人体模板数据库中存在与第一人体的图像信息匹配的人体模板，则表明 该第一人体为服务器端已经记录的人体。此时，可选地，服务器可以将该人 体的出现次数加一，或者记录该人体本次出现的信息，例如时间信息、地点 信息、对应摄像头信息、采集图像等一种或多种，本公开实施例对此不做限 定。

作为另一个例子，上述确定的结果为人体模板数据库中不存在与上述第 一人体的图像信息匹配的人体模板，此时，可选地，服务器可以新增第二人 物标识信息或人体标识信息，例如新增人体标识，并将新增的第二人物标识 信息确定为上述第一人体对应的人物标识信息。

如果人体模板数据库中不存在与第一人体的特征信息匹配的人体模板， 则服务器可以确认该第一人体对应的人物为新出现的人物，并为该新出现的 人物分配新增的人物标识信息。

可选的，服务器为该新出现的人物分配第二人物标识信息之后，可以 将该新增的第二人物标识信息以及上述第一人体的图像信息添加到上述 人体模板数据库，其中，可选地，该新增的人物标识信息与上述第一人体 的图像信息可以作为一条新的记录加入到人体模板数据库中，从而建立起 该新增的第二人物标识信息与第一人体的图像信息之间的对应关系。或者， 服务器也可以将第一人体的图像信息添加到人体模板数据库，并记录第一 人体的图像信息与新增的第二人物标识信息之间的对应关系。

在另一种可能的实现方式中，服务器进行基于人脸的人物识别和基于人 体的人物识别，并且在得到基于人脸的第一人物标识信息(例如人物标识) 和基于人体的第二人物标识信息(例如人体标识)之后，建立第一人物标识 信息与第二人物标识信息之间的对应关系，并将第一人物标识信息与第二人 物标识信息之间的对应关系添加到关联数据库，但本公开实施例不限于此。

可选地，上述第一人物识别请求报文中还可以包括上述第一人体中的第 一人脸的标识信息，例如检测框标识信息或跟踪标识信息。服务器可以根据 第一人脸的检测框信息或跟踪标识信息，可以执行进一步的身份识别、客流 分析等。

图6为本公开实施例提供的图像处理方法的另一示例的流程示意图，其 中，该示例中假设服务器接收到的人物识别请求报文为第二人物识别请求报 文。

S601、基于上述第一人体的图像信息，确定上述第一人体的人体标识信 息(或第二人物标识信息)。

在该可选方式中，服务器可以基于第一人体的图像信息和人体模板数据 库来确定第一人体的人体标识信息或第二人物标识信息。

S602、基于上述第一人体的人体标识信息(或第二人物标识信息)，确 定上述第一人体对应的人物标识信息。

可选的，当确定出第一人体的人体标识信息后，服务器可以通过如下方 式确定第一人体对应的人物标识信息：

确定关联数据库中是否存在与上述第一人体的人体标识信息匹配的关联 关系，其中，上述关联数据库用于存储人体标识信息与人物标识信息之间的 至少一个关联关系。并基于上述确定的结果，得到上述第一人体对应的人物 标识信息。

可选的，如果上述关联数据库中存在与上述第一人体的人体标识信息匹 配的关联关系，则服务器可以将该匹配的关联关系中的人物标识信息(或称 为第一人物标识信息)确定为上述第一人体对应的人物标识信息。

如果关联数据库中存在与第一人体的人体标识匹配的关联关系，则说明 该第一人体对应的人物为服务器上已经保存的人物，服务器可以确定第一人 体的人体标识所对应的人物身份标识对应的人物为第一人体所属的人物。

可选的，如果关联数据库中不存在与上述第一人体的人体标识信息匹配 的关联关系，将新增的人物标识信息确定为所述第一人体对应的人物标识信 息。

如果关联数据库中不存在与第一人体的人体标识信息匹配的关联关系， 则服务器可以确认该第一人体对应的人物为一个新出现的人物，该新出现的 人物可以对应一个新增的人物标识信息。

针对上述各实施例，可选地，当服务器确定出第一人体的人物标识信息 后，可以向第二终端设备发送上述第一人体对应的人物标识信息，第二终端 设备例如可以是某些商家所拥有的终端设备，第二终端设备可以基于第一人 体对应的人物标识信息，进行客流统计、顾客识别、顾客到访次数统计等处 理，本公开实施例对此不做限定。

另一实施例中，当服务器接收的报文中仅包括人脸时，可以根据上述人 脸模板数据库对该人脸进行识别处理。

可选的，服务器可以将该人脸与人脸模板数据库中的人脸模板进行匹配 处理，并根据所述确定的结果进行识别。

可选的，如果人脸模板数据库中存在与上述人脸匹配的人脸模板，则服 务器可以确定该人脸对应的人物标识信息为该匹配的人脸模板所对应的人物 标识信息。

可选的，如果人脸模板数据库中不存在与上述人脸匹配的人脸模板，则 服务器可以将上述人脸的特征信息增加到人脸模板数据库中，并分配该人脸 对应的人物标识信息。

图7为本公开实施例提供的一种图像处理装置实施例一的模块结构图， 如图7所示，该装置包括：

获取模块701，用于基于第一图像，得到所述第一图像中的第一人脸；

第一确定模块702，用于确定是否存在与所述第一人脸匹配的人体；

发送模块703，用于根据所述确定的结果，向服务器发送第一人物识别 请求报文。

另一实施例中，发送模块703具体用于：

在存在与所述第一人脸匹配的第一人体的情况下，向所述服务器发送包 括所述第一人体的图像信息的所述第一人物识别请求报文。

图8为本公开实施例提供的一种图像处理装置实施例二的模块结构图， 如图8所示，该装置还包括：

第二确定模块704，用于根据所述第一人体的图像的质量，确定所述第 一人物识别请求报文是否包括所述第一人体的图像信息。

另一实施例中，发送模块703具体用于：

在所述第一人体的图像满足质量要求的情况下，向所述服务器发送包括 所述第一人体的图像信息的所述第一人物识别请求报文。

另一实施例中，所述质量要求包括下列中的至少一种：人脸清晰度要求、 人脸大小要求、人脸角度要求、人脸检测置信度要求以及人体检测置信度、 是否包含完整的人脸。

另一实施例中，发送模块703具体还用于：

在所述第一人体的图像不满足质量要求的情况下，向所述服务器发送包 括所述第一人脸的图像信息的所述第一人物识别请求报文。

另一实施例中，所述第一人物识别请求报文还包括：所述第一人脸的跟 踪标识信息或第一人脸的检测框标识信息。

另一实施例中，所述第一人体的图像信息包括：所述第一人体的图像， 或者，

所述第一人体的图像信息包括：所述第一人体的图像的特征信息，其中， 所述第一人体的图像的特征信息包括人体特征信息和人脸特征信息中的至少 一项。

图9为本公开实施例提供的一种图像处理装置实施例三的模块结构图， 如图9所示，该装置还包括：

第三确定模块705，用于确定将所述第一人脸的图像信息替换为所述第 一人体的图像信息。

另一实施例中，发送模块703具体还用于：

在不存在与所述第一人脸匹配的人体的情况下，向服务器发送包括所述 第一人脸的图像信息的第一人物识别请求报文。

另一实施例中，第一确定模块702具体用于：

确定所述第一图像的至少一个人体中是否存在与所述第一人脸匹配的人 体。

另一实施例中，第一确定模块702具体用于：

根据所述第一图像中的至少一个人脸和所述至少一个人体，确定N个候 选对中每个候选对的匹配概率信息，其中，所述候选对包括所述至少一个人 脸中的一个人脸和所述至少一个人体中的一个人体，所述至少一个人脸中包 括所述第一人脸；

根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个 人脸和所述至少一个人体的目标匹配结果；

基于所述目标匹配结果，确定所述第一图像的至少一个人体中是否存在 与所述第一人脸匹配的人体。

另一实施例中，第一确定模块702具体用于：

基于第一候选对包括的第二人体以及所述第一候选对包括的第二人脸， 确定目标对象的预估位置信息和实际位置信息，其中，所述N个候选对包括 所述第一候选对，所述目标对象为人体的一部分；

基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确 定所述第一候选对的匹配概率信息。

另一实施例中，所述目标对象包括耳朵和人脸中的至少一种。

另一实施例中，第一确定模块702具体用于：

根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个 人脸与所述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹 配概率信息，其中，所述候选匹配结果包括所述N个候选对中的m个候选对， 所述m个候选对中的每两个候选对所包括的人脸以及人体分别不同；

基于所述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息， 确定所述至少一个人脸与所述至少一个人体的目标匹配结果。

另一实施例中，第一确定模块702具体用于：

对所述第一图像所属的视频序列中的至少一部分图像进行人体跟踪，得 到人体跟踪结果，其中，所述人体跟踪结果包括所述视频序列中的至少一个 图像的人体跟踪信息；

基于所述视频序列中的至少一部分图像的人脸跟踪结果中与所述第一图 像的帧号对应的人体跟踪信息，确定是否存在与所述第一人脸匹配的人体。

另一实施例中，第一确定模块702具体用于：

在所述人体跟踪结果中不存在所述第一图像的帧号对应的人体跟踪信息 的情况下，从通过对所述第一图像进行人体检测得到的至少一个人体中确定 是否存在与所述第一人脸匹配的人体。

另一实施例中，获取模块701具体用于：

对第一图像进行人脸跟踪，得到所述第一图像中的第一人脸。

图10为本公开实施例提供的一种图像处理装置实施例四的模块结构图， 如图10所示，所述装置还包括：

跟踪模块706，用于对所述第一图像进行人体跟踪，得到所述第一图像 中的第三人体。

发送模块703还用于，向服务器发送第二人物识别请求报文，所述第二 人物识别请求报文中包括所述第三人体的图像信息以及所述第三人体的跟踪 标识信息。

图11为本公开实施例提供的一种图像处理装置实施例五的模块结构图， 如图11所示，所述装置还包括：

选取模块707，用于从视频序列包括的预设数量的连续图像中选取所述 第一图像。

另一实施例中，选取模块707具体用于：

基于图像中所包括的人脸的质量，从所述视频序列包括的预设数量的连 续图像中选取所述第一图像。

图12为本公开实施例提供的另一种图像处理装置实施例一的模块结构 图，如图12所示，该装置包括：

接收模块1201，用于接收第一终端设备发送的人物识别请求报文，所述 人物识别请求报文包括第一人体的图像信息。

确定模块1202，用于基于所述第一人体的图像信息，确定所述第一人体 对应的人物标识信息。

另一实施例中，所述第一人体的图像信息包括：所述第一人体的图像； 或者

所述第一人体的图像信息包括：所述第一人体的图像的特征信息，其中， 所述第一人体的图像的特征信息包括人体特征信息和人脸特征信息中的至少 一项。

图13为本公开实施例提供的另一种图像处理装置实施例二的模块结构 图，如图13所示，确定模块1202包括：

第一确定单元12021，用于基于所述第一人体的图像信息，得到所述第 一人体中的第一人脸的图像信息；

第二确定单元12022，用于基于所述第一人脸的图像信息和人脸模板数 据库，确定所述第一人脸对应的人物标识信息，其中，所述人脸模板数据库 中存储至少一个人脸模板。

另一实施例中，第一确定单元12021具体用于：

从所述第一人体的图像中获取第一人脸的图像。

另一实施例中，第二确定单元12022具体用于：

对所述第一人脸的图像进行特征提取处理，得到所述第一人脸的特征信 息；

确定所述人脸模板数据库中是否存在与所述第一人脸的特征信息匹配的 人脸模板；

基于所述确定的结果，得到所述第一人脸对应的人物标识信息。

另一实施例中，第二确定单元12022具体用于：

响应于所述人脸模板数据库中存在与所述第一人脸的特征信息匹配的人 脸模板，将所述匹配的人脸模板对应的人物标识信息确定为所述第一人脸对 应的人物标识信息。

另一实施例中，第二确定单元12022具体用于：

响应于所述人脸模板数据库中不存在与所述第一人脸的特征信息匹配的 人脸模板，将新增的人物标识信息确定为所述第一人脸对应的人物标识信息。

图14为本公开实施例提供的另一种图像处理装置实施例三的模块结构 图，如图14所示，还包括：

第一添加模块1203，用于将所述新增的人物标识信息以及所述第一人脸 的特征信息添加到所述人脸模板数据库。

另一实施例中，所述人物识别请求报文还包括所述第一人体中的第一人 脸的检测框标识信息或跟踪标识信息。

图15为本公开实施例提供的另一种图像处理装置实施例四的模块结构 图，如图15所示，确定模块1202还包括：

第三确定单元12023，用于基于所述第一人体的图像信息，确定所述第 一人体的人体标识信息；

第四确定单元12024，用于基于所述第一人体的人体标识信息，确定所 述第一人体对应的人物标识信息。

另一实施例中，第三确定单元12023具体用于：

对所述第一人体的图像进行特征提取，得到所述第一人体的特征信息；

确定人体模板数据库中是否存在与所述第一人体的特征信息匹配的人体 模板，其中，所述人体模板数据库存储至少一个人体模板；

基于所述确定的结果，得到所述第一人体的人体标识信息。

另一实施例中，第三确定单元12023具体用于：

响应于所述人体模板数据库中存在与所述第一人体的特征信息匹配的人 体模板，将所述匹配的人体模板对应的人体标识信息确定为所述第一人体的 人体标识信息。

另一实施例中，第三确定单元12023具体用于：

响应于所述人体模板数据库中不存在与所述第一人体的特征信息匹配的 人体模板，将新增的人体标识信息确定为所述第一人体的人体标识信息。

图16为本公开实施例提供的另一种图像处理装置实施例五的模块结构 图，如图16所示，还包括：

第二添加模块1204，用于将所述新增的人体标识信息以及所述第一人体 的特征信息添加到所述人体模板数据库。

图17为本公开实施例提供的另一种图像处理装置实施例六的模块结构 图，如图17所示，还包括：

第三添加模块1205，用于将所述第一人体的人体标识信息以及所述第一 人脸对应的人物标识信息与所述第一人体对应的人体标识信息之间的关联关 系添加到关联数据库。

另一实施例中，所述人物识别请求报文还包括：所述第一人体的跟踪标 识信息或检测框标识信息。

另一实施例中，第四确定单元12024具体用于：

确定关联数据库中是否存在与所述第一人体的人体标识匹配的关联关系， 其中，所述关联数据库用于存储人体标识信息与人物标识信息之间的至少一 个关联关系；

基于所述确定结果，得到所述第一人体对应的人物标识信息。

另一实施例中，第四确定单元12024具体用于：

响应于所述关联数据库中存在与所述第一人体的人体标识匹配的关联关 系，将所述匹配的关联关系中的人物标识信息确定为所述第一人体对应的人 物标识信息。

另一实施例中，第四确定单元12024具体用于：

响应于所述关联数据库中不存在与所述第一人体的人体标识匹配的关联 关系，将新增的人物标识信息确定为所述第一人体对应的人物标识信息。

图18为本公开实施例提供的另一种图像处理装置实施例七的模块结构 图，如图18所示，还包括：

发送模块1206，用于向第二终端设备发送所述第一人体对应的人物标识 信息。

另一实施例中，所述人物识别请求报文是基于所述第一终端设备对视频 序列中的至少一个图像进行人脸跟踪得到的。

图19为本公开实施例提供的一种终端设备1900的实体框图，如图19所 示，该终端设备包括：

存储器1901，用于存储程序指令。

处理器1902，用于调用并执行存储器1901中的程序指令，执行上述方 法实施例中客户端所执行的方法步骤。

图20为本公开实施例提供的一种服务器2000的实体框图，如图20所示， 该服务器包括：

存储器2001，用于存储程序指令。

处理器2002，用于调用并执行存储器2001中的程序指令，执行上述方 法实施例中服务器所执行的方法步骤。

图21为本公开实施例提供的一种图像处理系统2100的架构示意图，如 图21所示，该系统包括通信连接的相机2000、终端设备1900和服务器2000。

在具体实施过程中，由相机2000实时拍摄视频图像并发送给终端设备 1900，终端设备根据视频图像进行跟踪、匹配等处理，得到人体信息和人脸 信息，并将信息发送给服务器2000，进而，服务器根据接收到的信息进行识 别处理。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步 骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可 读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而 前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码 的介质。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对 其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并 不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (43)

1.一种图像处理方法，其特征在于，包括：

基于第一图像，得到所述第一图像中的第一人脸；

确定是否存在与所述第一人脸匹配的人体；

根据所述确定的结果，向服务器发送第一人物识别请求报文；

所述确定是否存在与所述第一人脸匹配的人体，包括：

根据所述第一图像中的至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，其中，所述候选对包括所述至少一个人脸中的一个人脸和所述至少一个人体中的一个人体，所述至少一个人脸中包括所述第一人脸；

根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果；

其中，所述至少一个人脸和所述至少一个人体的目标匹配结果包括至少一对匹配的人体和人脸；

基于所述目标匹配结果，确定所述第一图像的至少一个人体中是否存在与所述第一人脸匹配的人体；

或者，

对所述第一图像所属的视频序列中的至少一部分图像进行人体跟踪，得到人体跟踪结果，其中，所述人体跟踪结果包括所述视频序列中的至少一个图像的人体跟踪信息；

基于所述视频序列中的至少一部分图像的人脸跟踪结果中与所述第一图像的帧号对应的人体跟踪信息，确定是否存在与所述第一人脸匹配的人体。

2.根据权利要求1所述的方法，其特征在于，所述根据所述确定的结果，向服务器发送第一人物识别请求报文，包括：

在存在与所述第一人脸匹配的第一人体的情况下，向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文。

3.根据权利要求2所述的方法，其特征在于，还包括：

根据所述第一人体的图像的质量，确定所述第一人物识别请求报文是否包括所述第一人体的图像信息。

4.根据权利要求2或3所述的方法，其特征在于，所述向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文，包括：

在所述第一人体的图像满足质量要求的情况下，向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文。

5.根据权利要求3所述的方法，其特征在于，所述质量要求包括下列中的至少一种：人脸清晰度要求、人脸大小要求、人脸角度要求、人脸检测置信度要求以及人体检测置信度、人脸完整度要求。

6.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

在所述第一人体的图像不满足质量要求的情况下，向所述服务器发送包括所述第一人脸的图像信息的所述第一人物识别请求报文。

7.根据权利要求2-3、5中任一项所述的方法，其特征在于，所述第一人物识别请求报文还包括：所述第一人脸的标识信息。

8.根据权利要求2-3、5任一项所述的方法，其特征在于，所述第一人体的图像信息包括：所述第一人体的图像，或者

所述第一人体的图像信息包括：所述第一人体的图像的特征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特征信息中的至少一项。

9.根据权利要求2-3、5中任一项所述的方法，其特征在于，在向所述服务器发送包括所述第一人体的图像信息的所述第一人物识别请求报文之前，还包括：

确定将所述第一人脸的图像信息替换为所述第一人体的图像信息。

10.根据权利要求1-3、5中任一项所述的方法，其特征在于，所述根据所述确定的结果，向服务器发送第一人物识别请求报文，包括：

在不存在与所述第一人脸匹配的人体的情况下，向服务器发送包括所述第一人脸的图像信息的第一人物识别请求报文。

11.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个人脸和所述至少一个人体，确定N个候选对中每个候选对的匹配概率信息，包括：

基于第一候选对包括的第二人体以及所述第一候选对包括的第二人脸，确定目标对象的预估位置信息和实际位置信息，其中，所述N个候选对包括所述第一候选对，所述目标对象为人体的一部分；

基于所述目标对象的预估位置信息和所述目标对象的实际位置信息，确定所述第一候选对的匹配概率信息。

12.根据权利要求11所述的方法，其特征在于，所述目标对象包括耳朵和人脸中的至少一种。

13.根据权利要求1-3、5、11、12任一项所述的方法，其特征在于，所述根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸和所述至少一个人体的目标匹配结果，包括：

根据所述N个候选对中每个候选对的匹配概率信息，确定所述至少一个人脸与所述至少一个人体的至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，其中，所述候选匹配结果包括所述N个候选对中的m个候选对，所述m个候选对中的每两个候选对所包括的人脸以及人体分别不同；

基于所述至少一个候选匹配结果中每个候选匹配结果的匹配概率信息，确定所述至少一个人脸与所述至少一个人体的目标匹配结果。

14.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述人体跟踪结果中不存在与所述第一图像的帧号对应的人体跟踪信息的情况下，从通过对所述第一图像进行人体检测得到的至少一个人体中确定是否存在与所述第一人脸匹配的人体。

15.根据权利要求1-3、5、11、12、14中任一项所述的方法，其特征在于，所述基于第一图像，得到所述第一图像中的第一人脸，包括：

对第一图像进行人脸跟踪，得到所述第一图像中的第一人脸。

16.根据权利要求1-3、5、11、12、14中任一项所述的方法，其特征在于，所述方法还包括：

对所述第一图像进行人体跟踪，得到所述第一图像中的第三人体；

向服务器发送第二人物识别请求报文，所述第二人物识别请求报文中包括所述第三人体的图像信息以及所述第三人体的跟踪标识信息。

17.根据权利要求1-3、5、11、12、14任一项所述的方法，其特征在于，在所述基于第一图像，得到所述第一图像中的第一人脸之前，还包括：

从视频序列包括的预设数量的连续图像中选取所述第一图像。

18.根据权利要求17所述的方法，其特征在于，所述从视频序列包括的预设数量的连续图像中选取所述第一图像，包括：

基于图像中所包括的人脸的质量，从所述视频序列包括的预设数量的连续图像中选取所述第一图像。

19.一种图像处理方法，其特征在于，包括：

接收权利要求1所述方法产生的人物识别请求报文，所述人物识别请求报文包括第一人体的图像信息；

基于所述第一人体的图像信息，确定所述第一人体对应的人物标识信息。

20.根据权利要求19所述的方法，其特征在于，所述第一人体的图像信息包括：所述第一人体的图像；或者

所述第一人体的图像信息包括：所述第一人体的图像的特征信息，其中，所述第一人体的图像的特征信息包括人体特征信息和人脸特征信息中的至少一项。

21.根据权利要求20所述的方法，其特征在于，所述基于所述第一人体的图像信息，确定所述第一人体对应的人物标识信息，包括：

基于所述第一人体的图像信息，得到所述第一人体中的第一人脸的图像信息；

基于所述第一人脸的图像信息和人脸模板数据库，确定所述第一人脸对应的人物标识信息，其中，所述人脸模板数据库中存储至少一个人脸模板。

22.根据权利要求21所述的方法，其特征在于，所述基于所述第一人体的图像信息，得到所述第一人体中的第一人脸的图像信息，包括：

从所述第一人体的图像中获取第一人脸的图像。

23.根据权利要求21或22所述的方法，其特征在于，所述基于所述第一人脸的图像信息和人脸模板数据库，确定所述第一人脸对应的人物标识信息，包括：

对所述第一人脸的图像进行特征提取处理，得到所述第一人脸的特征信息；

确定所述人脸模板数据库中是否存在与所述第一人脸的特征信息匹配的人脸模板；

基于所述确定的结果，得到所述第一人脸对应的人物标识信息。

24.根据权利要求23所述的方法，其特征在于，所述基于所述确定的结果，得到所述第一人脸对应的人物标识信息，包括：

响应于所述人脸模板数据库中存在与所述第一人脸的特征信息匹配的人脸模板，将所述匹配的人脸模板对应的人物标识信息确定为所述第一人脸对应的人物标识信息。

25.根据权利要求23所述的方法，其特征在于，所述基于所述确定的结果，得到所述第一人脸对应的人物标识信息，包括：

响应于所述人脸模板数据库中不存在与所述第一人脸的特征信息匹配的人脸模板，将新增的人物标识信息确定为所述第一人脸对应的人物标识信息。

26.根据权利要求25所述的方法，其特征在于，所述方法还包括：

将所述新增的人物标识信息以及所述第一人脸的特征信息添加到所述人脸模板数据库。

27.根据权利要求21-22、24-26任一项所述的方法，其特征在于，所述人物识别请求报文还包括所述第一人体中的第一人脸的检测框标识信息或跟踪标识信息。

28.根据权利要求22、24-26中任一项所述的方法，其特征在于，所述基于所述第一人体的图像信息，确定所述第一人体对应的人物标识信息，包括：

基于所述第一人体的图像信息，确定所述第一人体的人体标识信息；

基于所述第一人体的人体标识信息，确定所述第一人体对应的人物标识信息。

29.根据权利要求28所述的方法，其特征在于，所述基于所述第一人体的图像信息，确定所述第一人体的人体标识信息，包括：

对所述第一人体的图像进行特征提取，得到所述第一人体的特征信息；

确定人体模板数据库中是否存在与所述第一人体的特征信息匹配的人体模板，其中，所述人体模板数据库存储至少一个人体模板；

基于所述确定的结果，得到所述第一人体的人体标识信息。

30.根据权利要求29所述的方法，其特征在于，所述基于所述确定的结果，得到所述第一人体的人体标识信息，包括：

响应于所述人体模板数据库中存在与所述第一人体的特征信息匹配的人体模板，将所述匹配的人体模板对应的人体标识信息确定为所述第一人体的人体标识信息。

31.根据权利要求29所述的方法，其特征在于，所述基于所述确定的结果，得到所述第一人体的人体标识信息，包括：

响应于所述人体模板数据库中不存在与所述第一人体的特征信息匹配的人体模板，将新增的人体标识信息确定为所述第一人体的人体标识信息。

32.根据权利要求31所述的方法，其特征在于，所述方法还包括：

将所述新增的人体标识信息以及所述第一人体的特征信息添加到所述人体模板数据库。

33.根据权利要求32所述的方法，其特征在于，所述方法还包括：

将所述第一人体的人体标识信息以及第一人脸对应的人物标识信息与所述第一人体对应的人体标识信息之间的关联关系添加到关联数据库。

34.根据权利要求29-33任一项所述的方法，其特征在于，所述人物识别请求报文还包括：所述第一人体的跟踪标识信息或检测框标识信息。

35.根据权利要求29-33任一项所述的方法，其特征在于，所述基于所述第一人体的人体标识信息，确定所述第一人体对应的人物标识信息，包括：

确定关联数据库中是否存在与所述第一人体的人体标识匹配的关联关系，其中，所述关联数据库用于存储人体标识信息与人物标识信息之间的至少一个关联关系；

基于所述确定的结果，得到所述第一人体对应的人物标识信息。

36.根据权利要求35所述的方法，其特征在于，所述基于所述确定的 结果，得到所述第一人体对应的人物标识信息，包括：

响应于所述关联数据库中存在与所述第一人体的人体标识匹配的关联关系，将所述匹配的关联关系中的人物标识信息确定为所述第一人体对应的人物标识信息。

37.根据权利要求36所述的方法，其特征在于，所述基于所述确定结果，得到所述第一人体对应的人物标识信息，包括：

响应于所述关联数据库中不存在与所述第一人体的人体标识匹配的关联关系，将新增的人物标识信息确定为所述第一人体对应的人物标识信息。

38.根据权利要求29-33、36、37任一项所述的方法，其特征在于，所述方法还包括：

向第二终端设备发送所述第一人体对应的人物标识信息。

39.根据权利要求19-22、24-26、29-33、36、37任一项所述的方法，其特征在于，所述人物识别请求报文是基于第一终端设备对视频序列中的至少一个图像进行人脸跟踪得到的。

40.一种电子设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行权利要求1-18任一项所述的方法步骤。

41.一种服务器，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行权利要求19-39任一项所述的方法步骤。

42.一种图像处理系统，其特征在于，包括权利要求40所述的电子设备以及权利要求41所述的服务器。

43.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行权利要求1-18任一项或者权利要求19-39任一项所述的方法。

Images