CN110288632A - 一种图像处理方法、装置、终端及存储介质 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置、终端及存储介质，该方法包括：通过对视频流中的多个待处理视频帧进行人脸检测，以获得多个待处理视频帧中的人脸位置信息；根据人脸位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合；利用预设的筛选策略，确定人脸局部图像集合中的一个或者多个目标人脸局部图像；根据一个或者多个目标人脸局部图像，确定一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息；根据人脸关键点信息，确定人脸特征集合。因此，能够利用交并比追踪，实现计算资源的节省，进而对人脸追踪操作进行简化，以提升人脸识别的效率和准确性。

Description

一种图像处理方法、装置、终端及存储介质

技术领域

本发明属于图像处理领域，特别是涉及一种图像处理方法、装置、终端及存储介质。

背景技术

目前，主流神经网络软件开发工具包为了实现高可复用性和交付便捷性的目的，主要以C语言格式的应用程序编程的同步接口形式存在。近年来，随着专用低功耗嵌入式设备神经网络算力的异军突起，在嵌入式设备上已经能够运行曾经只有在高性能服务器上才能运行的人脸检测识别流程，服务端上的运算资源得到了巨大释放。但是，相较服务器，嵌入式设备相对弱的CPU(中文：中央处理单元，英文Central Processing Unit)性能和多异构设备(多种不同类型的处理器组成)的调度成为神经网络落地发挥嵌入式芯片计算能力的瓶颈。由于同步接口的使用，再加上嵌入式设备的计算力不足，在高并发情况下，操作系统调度成为瓶颈，导致软件开发工具包的同步接口不能充分的利用嵌入式设备ASIC神经网络运算单元和视频流编解码预处理单元的算力，使得无法实现硬件平台的峰值吞吐量。

目前，服务器上的人脸识别框架的底层是基于神经网络训练推理框架，但是由于神经网络训练推理框架最初的设计对象主要为CPU/GPU(图形处理器)，在海思平台上带有诸如NNIE(中文：神经网络推理引擎，英文：Neural Network Inference Engine)的设备上会暴露出兼容性问题和优化限制问题，成为整体系统设计及优化的阻碍。

此外，现有的从人脸抓拍图中提取人脸特征的流程o(object)的操作过多且计算粒度过大等也造成从人脸抓拍图中提取人脸特征的整体流程计算的瓶颈。

发明内容

有鉴于此，本发明提供一种图像处理方法、装置、终端及存储介质，以便于提升嵌入式平台的利用效率和运行饱和度。

依据本发明实施例的第一方面，提供了一种图像处理方法，该方法可以包括：

对视频流中的多个待处理视频帧进行人脸检测，以获得所述多个待处理视频帧中的人脸位置信息；

根据所述人脸位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，所述人脸局部图像集合中包括所述多个待处理视频帧中同一人脸对应的一个或者多个局部图像；

利用预设的筛选策略，确定所述人脸局部图像集合中的一个或者多个目标人脸局部图像；

根据所述一个或者多个目标人脸局部图像，确定所述一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息；

根据所述人脸关键点信息，确定人脸特征集合，所述人脸特征集合中包括所述一个或者多个目标人脸局部图像中的各个人脸所对应的特征信息和/或属性信息。

依据本发明实施例的第二方面，提供了一种图像处理方法，应用于嵌入式平台，所述嵌入式平台包括多个运算设备，该方法可以包括：

对视频流中的多个待处理视频帧进行人脸检测，以获得所述多个待处理视频帧中的人脸位置信息；

根据所述人脸位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，所述人脸局部图像集合中包括所述多个待处理视频帧中同一人脸对应的一个或者多个局部图像；

利用预设的筛选策略，确定所述人脸局部图像集合中的一个或者多个目标人脸局部图像；

根据所述一个或者多个目标人脸局部图像，确定所述一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息；

根据所述人脸关键点信息，确定人脸特征集合，所述人脸特征集合中包括所述一个或者多个目标人脸局部图像中的各个人脸所对应的特征信息和/或属性信息。

依据本发明实施例的第三方面，提供了一种图像处理装置，该装置可以包括：

人脸检测模块，用于对视频流中的多个待处理视频帧进行人脸检测，以获得所述多个待处理视频帧中的人脸位置信息；

集合确定模块，用于根据所述人脸位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，所述人脸局部图像集合中包括所述多个待处理视频帧中同一人脸对应的一个或者多个局部图像；

图像确定模块，用于利用预设的筛选策略，确定所述人脸局部图像集合中的一个或者多个目标人脸局部图像；

信息确定模块，用于根据所述一个或者多个目标人脸局部图像，确定所述一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息；

所述集合确定模块，还用于根据所述人脸关键点信息，确定人脸特征集合，所述人脸特征集合中包括所述一个或者多个目标人脸局部图像中的各个人脸所对应的特征信息和/或属性信息。

依据本发明实施例的第四方面，提供了一种图像处理装置，应用于嵌入式平台，所述嵌入式平台包括多个运算设备，该装置可以包括：

人脸检测模块，用于对视频流中的多个待处理视频帧进行人脸检测，以获得所述多个待处理视频帧中的人脸位置信息；

集合确定模块，用于根据所述人脸位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，所述人脸局部图像集合中包括所述多个待处理视频帧中同一人脸对应的一个或者多个局部图像；

图像确定模块，用于利用预设的筛选策略，确定所述人脸局部图像集合中的一个或者多个目标人脸局部图像；

信息确定模块，用于根据所述一个或者多个目标人脸局部图像，确定所述一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息；

所述集合确定模块，还用于根据所述人脸关键点信息，确定人脸特征集合，所述人脸特征集合中包括所述一个或者多个目标人脸局部图像中的各个人脸所对应的特征信息和/或属性信息。

依据本发明实施例的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面或者第二方面所述的图像处理方法的步骤。

依据本发明实施例的第六方面，提供了一种终端，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面或者第二方面所述的图像处理方法的步骤。

本发明实施例，对视频流中的多个待处理视频帧进行人脸检测，以获得所述多个待处理视频帧中的人脸位置信息；根据所述人脸位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，所述人脸局部图像集合中包括所述多个待处理视频帧中同一人脸对应的一个或者多个局部图像；利用预设的筛选策略，确定所述人脸局部图像集合中的一个或者多个目标人脸局部图像；根据所述一个或者多个目标人脸局部图像，确定所述一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息；根据所述人脸关键点信息，确定人脸特征集合，所述人脸特征集合中包括所述一个或者多个目标人脸局部图像中的各个人脸所对应的特征信息和/或属性信息。因此，能够利用交并比追踪，实现计算资源的节省，进而对人脸追踪操作进行简化，以提升人脸识别的效率和准确性，此外，将本发明应用于包括多个运算设备的嵌入式平台，能够实现对多个运算设备进行执行设备的合理分配，确保嵌入式平台上执行设备的高效性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例提供的一种图像处理方法的步骤流程图；

图2是本发明实施例提供的一种图像处理方法的具体步骤流程图；

图3是本发明实施例提供的一种图像处理方法的具体步骤流程图；

图4是本发明实施例提供的一种图像处理方法的具体步骤流程图；

图5是本发明实施例提供的一种图像处理方法的具体步骤流程图；

图6是本发明实施例提供的一种图像处理方法的具体步骤流程图；

图7是本发明实施例提供的一种图像处理方法的具体步骤流程图；

图8是本发明实施例提供的一种图像处理装置的框图；

图9是本发明实施例提供的一种终端结构的框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1是本发明实施例提供的一种图像处理方法的步骤流程图，如图1所示，可以包括：

步骤101，对视频流中的多个待处理视频帧进行人脸检测，以获得多个待处理视频帧中的人脸位置信息。

在具体应用中，进行人脸检测的可以是视频流中的多帧(个)图像，即作为待处理视频帧，在每个待处理视频帧中可能出现一个或者多个人物，也就是可获取到一个或者多个人脸，且在相邻帧之间可能出现同一个人脸所对应的不同图像，本步骤可以利用预先确定的人脸位置信息获取模块(例如是用于进行人脸检测的神经网络模型)，对待处理视频帧中一个或者多个人脸进行位置采集，进而生成与每个待处理视频帧中的多个人脸所对应的人脸位置信息，以便于下面步骤对人脸局部图像进行提取。

需要说明的是，本发明所涉及的技术方案可以应用于嵌入式平台上或者服务器上，在嵌入式平台上可以包括多个运算设备，例如是CPU、DSP(中文：数字信号处理，英文：Digital Signal Processing)、NNIE等类型的运算设备，且每种类型的运算设备的个数也可以是多个，每种类型的运算设备的属性是固定的，也就是说，每个类别的运算设备用于执行的任务内容相对固定，例如CPU主要进行图像处理操作以及状态监控，NNIE与DSP运算设备用于对图像信息进行翻译操作，即将图像信息转换为对应的数据信息，例如是特征值信息等。

步骤102，根据人脸位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合。

其中，人脸局部图像集合中包括多个待处理视频帧中同一人脸对应的一个或者多个局部图像。

在具体应用中，在利用上述步骤确定人脸位置信息后，可以对所确定的人脸位置信息进行预处理，以确定与人脸位置信息所对应的准确度较高的人脸局部图像。示例地，通过线性预测对待处理视频帧中所出现的人脸，进行速度预测以及可能出现的位置预测，以更好的在下一帧图像中实现对该人脸的追踪；同时，利用线性滤波对人脸位置信息中的大量人脸位置信息进行过滤，以去掉由于抖动出现的准确性较低的人脸位置信息对应的人脸局部图像，以提升计算效率，避免浪费不必要的计算资源。

其中，通过交并比(英文：Intersection-over-Union，缩写：IoU)策略，可以对视频流中的连续待处理视频流中的出现的人脸进行追踪。示例地，根据人脸位置信息中一个人脸位置信息预测在下一帧待处理视频帧中的该人脸位置信息对应的人脸可能出现的预测位置，再根据该人脸位置信息中在下一帧待处理视频帧中实际检测出的位置信息与该预测位置之间的交叠率，即它们的交集与并集的比值，确定当前帧某一位置中出现的人脸与下一帧某一位置出现的人脸是否为同一人脸，进而确定是否将上述位置对应的人脸局部图像放入同一个人脸局部图像集合中。

此外，对于本步骤所生成的多个人脸局部图像集合是基于交并比追踪策略确定的人脸框集合，因此在生成人脸框集合时，可以对其中的每个人脸框对应生成一个人脸ID，使得最终在由人脸框集合生成对应的人脸局部图像集合后，一个人脸局部图像集合中所包括的一个或者多个局部图像，均属于相同的人脸，即其具有同一人脸ID，从而在输出给用户时，能够根据人脸ID对视频流中的人脸进行标记。

需要说明的是，区别于现有的追踪策略，本发明所述交并追踪比策略，由于无需实时计算81个人脸特征点(81P)，再根据这81个人脸特征点进行跟踪的操作，能够在进行追踪时降低所需的计算能力，降低对运算设备的计算压力。

步骤103，利用预设的筛选策略，确定人脸局部图像集合中的一个或者多个目标人脸局部图像。

优选的，筛选策略包括用于计算质量分值的打分策略和用于计算置信度的计算策略。

在具体应用中，在步骤102所确定的人脸局部图像集合中包括的局部图像中可能存在同一人脸对应的局部图像和/或无效的(非人脸或者人脸清晰度较低)局部图像，可以利用筛选策略，对人脸框集合中的人脸局部图像进行筛选，以获取质量高(清晰度高、易分辨)的人脸局部图像作为目标人脸局部图像，进而再利用下面的步骤生成其对应的人脸特征集合，从而保证人脸识别功能的有效性。示例地，可以基于人脸局部图像中人脸的姿态信息和人脸框图像的模糊程度，对各个人脸局部图像进行质量分值的打分，以筛选出质量分值较高的局部图像，输出给人脸置信度确定模型，以将上述筛选出的质量分值较高的人脸框中可能存在的非人脸物体(置信度低)去除，例如是将车轮、动物脸等人脸框集合中的局部图像，以将视频流中质量较高的人脸作为目标人脸局部图像，进而执行步骤104的操作。

步骤104，根据一个或者多个目标人脸局部图像，确定一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息。

在具体应用中，本步骤中可以采用预设的关键点提取模型(神经网络模型)，进行目标人脸图像中的人脸关键点提取，以便于基于人脸关键点信息再获取到每个人脸所对应的人脸特征集合。

步骤105，根据人脸关键点信息，确定人脸特征集合。

其中，人脸特征集合中包括一个或者多个目标人脸局部图像中的各个人脸所对应的特征信息和/或属性信息。

示例地，基于人脸关键点信息，可以对应在目标人脸局部图像中提取特征信息和/或属性信息，其中，特征信息可以是基于特征值提取网络模型所确定的人脸的特征值，属性信息可以包括例如基于属性提取模型所确定的人脸属性信息，如性别、年龄、若在数据库中存储有与该人脸局部图像对应的其他信息(例如姓名)，也可以进行同时输出，该属性信息可以根据本发明所提供的技术方案的实际应用场景进行适应性添加或者删除，进而满足用户的不同需求，即通过对视频流中多个待处理视频帧中人脸特征的比对，进而能够实现人脸识别。

此外，在根据上述步骤101-步骤105的操作确定人脸特征集合后，还可以将所确定的人脸特征集合中的属性信息输出给用户，以便于用户对视频流中的人脸对应的属性信息进行查看，或将人脸特征集合中的特征信息用于人脸识别。优选的，在每个待处理视频帧中标记出各个目标的人脸位置信息，以及其对应其人脸ID信息，如若有还可以带有对应的属性信息。

综上所述，本发明实施例，通过对视频流中的多个待处理视频帧进行人脸检测，以获得多个待处理视频帧中的人脸位置信息；根据人脸位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合；利用预设的筛选策略，确定人脸局部图像集合中的一个或者多个目标人脸局部图像；根据一个或者多个目标人脸局部图像，确定一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息；根据人脸关键点信息，确定人脸特征集合。因此，能够利用交并比追踪，实现计算资源的节省，进而对人脸追踪操作进行简化，以提升人脸识别的效率和准确性，此外，将本发明应用于包括多个运算设备的嵌入式平台，能够实现对多个运算设备进行执行设备的合理分配，确保嵌入式平台上执行设备的高效性。

图2是本发明实施例提供的一种图像处理方法的具体步骤流程图，如图2所示，步骤102所述的根据人脸位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，包括：

步骤1021，根据人脸位置信息，通过预测和滤波处理，分别确定多个待处理视频帧中多个人脸对应的预测位置信息。

其中，预测位置信息包括根据人脸位置信息所预测出的多个人脸在下一帧分别对应的位置信息。

示例地，根据人脸位置信息中某一待处理视频帧中的某一人脸的位置信息，可以预测出在该待处理视频帧的下一视频帧中该人脸可能出现的位置信息，即作为预测位置信息，以便于下面步骤实现交并比追踪，需要说明的是，在某一待处理视频帧中包括多个人脸时，则对应的预测位置信息为每个人脸分别对应的位置信息。

步骤1022，根据预测位置信息和人脸位置信息，对多个待处理视频帧中的多个人脸进行交并比追踪，以确定多个待处理视频帧中的多个人脸对应的人脸框集合。

步骤1023，根据人脸框集合，确定人脸局部图像集合。

示例地，步骤1022所确定的人脸框集合包括了在整个视频流中与每个人脸所分别对应的位置信息所确定的一个或者多个人脸框，因此，基于该人脸框，即位置信息，能够直接从对应的待处理视频帧中抠出对应的局部图像，进而确定为人脸局部图像集合，也就是说，当步骤1022确定了N个人脸框集合后，对应的人脸局部图像集合也为N个，每个人脸框集合所对应的人脸框个数即为其对应的人脸局部图像集合中的所包括的局部图像个数，即人脸框与局部图像一一对应。

图3是本发明实施例提供的一种图像处理方法的具体步骤流程图，如图3所示，步骤1022所述的根据预测位置信息和人脸位置信息，对多个待处理视频帧中的多个人脸进行交并比追踪，以确定多个待处理视频帧中的多个人脸对应的人脸框集合，包括：

步骤10221，根据第一预测位置信息，确定第一视频帧中的第一预测人脸框。

其中，第一视频帧是多个待处理视频帧中的任一视频帧，第一预测位置信息是基于第一人脸位置信息所预测出的在第一视频帧中第一人脸对应的位置信息，第一人脸位置信息是第一人脸在第一视频帧的上一帧中的位置信息。

步骤10222，根据人脸位置信息中第一视频帧中各个人脸所对应的人脸位置信息，获取第一视频帧中的一个或者多个待确定人脸框。

示例地，从第一视频帧中根据人脸位置信息(实际的人脸位置信息)，提取出第一视频帧中一个或者多个人脸的人脸框，即作为待确定人脸框，之后再根据步骤10221中确定的与第一人脸对应的第一预测人脸框，也就是说第一人脸在第一视频帧中的预测框，进而将预测框与待对比人脸框进行交并比之的计算，从而确定在第一视频帧中是否存在与该第一视频帧上一帧中出现的第一人脸相应的人脸框。

步骤10223，确定一个或者多个待确定人脸框与第一预测人脸框之间的交并比值。

示例地，利用第一预测人脸框与在第一视频帧中出现的待确定人脸框之间的交并比值，以确定是否存在与第一视频帧上一帧中的第一人脸对应的人脸框。

步骤10224，将交并比值大于预设阈值的待确定人脸框作为第一人脸框集合中的人脸框。

其中，第一人脸框集合是第一视频帧的上一视频帧中第一人脸所在的人脸框集合。

示例地，在第一人脸框与待确定人脸框之间的交并比值大于预设阈值的情况下，即确定待确定人脸框是与第一视频帧的上一帧中的第一人脸对应的人脸框，即放入第一人脸框集合中；否则，说明第一视频帧中的没有与上一帧相同的人脸，每个待确定人脸框都是新出现的人脸对应的人脸框或误检框，可以作为一个新的集合中，或者根据预设的筛选原则(例如，在视频流中不进行除了第一人脸之外的其他人脸的追踪)可以直接进行删除。

需要说明的是，该预设阈值可以是根据本发明实施例所提供的图像处理方法的应用场景而对应确定的，例如是考虑到视频流的清晰度、视频帧的频率等等，本发明具体不做限制。

图4是本发明实施例提供的一种图像处理方法的具体步骤流程图，如图4所示，步骤103所述的利用预设的筛选策略，确定人脸局部图像集合中的一个或者多个目标人脸局部图像，包括：

步骤1031，根据打分策略，确定每个人脸局部图像集合中的各个局部图像的质量分值。

其中，打分策略是基于各个局部图像的姿态信息和清晰度信息确定各个局部图像的质量分值的策略。

步骤1032，将质量分值大于预设分值阈值的局部图像，作为待筛选局部图像。

在具体应用中，将根据打分策略对每个局部图像进行质量分值的打分的操作，设置在确定每个目标人脸局部图像对应的人脸特征集合之前，即利用姿态信息和清晰度信息先对步骤102所确定的人脸局部图像集合中的局部图像进行筛选，进而将质量分值较低的局部图像去除，从而降低特征提取的复杂程度和计算量；同时，在进行质量分值的打分操作时，去掉现有技术中所采用的特征点纠偏操作，进一步节省所需计算资源。

示例地，对于姿态信息(Pose)其具有3个维度的自由度(pitch，yaw，roll)，分别代表上下翻转，左右翻转，平面内旋转的角度，能够表明局部图像的质量。例如当局部图像中的左右翻转角度过大，如侧脸时，则不利于特征信息和/或属性信息的提取；或者当局部图像中的上下翻转角度过大，例如是低头状态时，则也不利于特征信息和/或属性信息的提取。清晰度信息用于表明局部图像中的人脸图像的清晰程度(像素高低)。具体的，可以将姿态信息中的3个自由度以及清晰度信息进行非线性加权或者线性加权，生成用于确定质量分值的打分网络模型(例如是，姿态模糊度网络模型)，其中，该打分网络模型中的各个参数(权重值)可以根据训练或者经验而确定的，本发明不做具体限制。

此外，需要说明的是，当视频流中所对应的图像质量较高时或者局部图像的个数较少时，也可以省略步骤1032的操作，即对所有局部图像进行以下步骤的操作，以保证下面步骤的操作的有效性。

步骤1033，根据第一筛选条件，确定与目标图像集合对应的目标图像。

其中，目标图像包括满足第一筛选条件的一个或者多个待筛选局部图像，目标图像集合包括与待筛选局部图像对应的一个或者多个人脸局部图像集合。

需要说明的是，在本步骤中如果对步骤102中所确定的每个局部图像都进行步骤103-步骤105的操作，即关键点检测、特征提取/属性计算，会给系统造成较大的计算压力，因此在本步骤中采用一定的筛选策略对每个局部图像集合中的局部图像进行筛选，从每个局部图像集合中选择质量较高、利于提升人脸识别效果的局部图像进行后续的关键点检测、特征提取/属性计算，利用此步骤所筛选出的目标图像能够提升下面步骤进行特征/属性信息提取的效率。

示例地，可以利用预设的图像筛选策略，对各个待筛选局部图像进行筛选，其中第一筛选条件所使用的筛选策略包括最优策略、间隔策略以及最快策略中的至少一者。

具体的，在筛选策略包括最优策略的情况下，第一筛选条件包括第一预设间隔内质量分值最高，即从待筛选局部图像所在局部图像集合的每一个中筛选出第一预设间隔内质量分值最高的一个或者多个待筛选局部图像作为目标图像。

在筛选策略包括间隔策略的情况下，第一筛选条件包括第二预设间隔内质量分值最高，即从待筛选局部图像所在局部图像集合中的每一个中筛选出第二预设间隔内质量分值最高的一个或者多个待筛选局部图像作为目标图像。

其中，第一预设间隔大于第二预设间隔。

在待选策略包括最快策略的情况下，第一筛选条件包括第三预设间隔内质量分值最快达到预设分值，即从待筛选局部图像所在局部图像集合中的每一个中筛选出第三预设间隔内首个质量分值达到预设分值的待筛选局部图像作为目标图像。该预设分值可以是根据经验值确定的，也可以根据大量实验获取到的，本发明不做具体限制。

也就是说，在本步骤进行目标图像的确定时，是针对待筛选局部图像所对应的人脸局部图像集合的，当在步骤1032中，从所有局部图像中确定出待筛选局部图像后，所剩余的人脸局部图像集合的个数可能小于步骤102所确定的人脸局部图像集合的个数，例如在一些人脸局部图像集合中所有的局部图像的质量分值均较低，则该人脸局部图像集合即无法继续进行本步骤以下的操作，而能够作为目标图像集合中的人脸局部图像集合，则对应进行目标图像的输出，也就是对应每个目标图像集合利用上述的图像筛选策略确定目标图像，每个目标图像集合至少确定一个对应的目标图像，以进行下面步骤的操作。

步骤1034，根据计算策略，确定目标图像的置信度。

在具体应用中，可以利用预先训练好的置信度网络模型(例如是用于确定置信度的神经网络模型)，对目标图像进行置信度的计算，进而将目标图像中非人脸的局部图像进行筛除，从而提升人脸识别的有效性。

需要说明的是，在进行本步骤的置信度计算时，可以在获取到多个目标图像之后，再进行批处理(并行多个处理)，进而提高运算设备的操作效率，且减少线程安全队列进队出队的开销。

具体的，在不满足预设的批次处理条件的情况下，缓存已获取到的目标图像；在满足批次处理条件的情况下，分别计算目标图像的置信度。

示例地，该批次处理条件可以是基于时间设置的，例如将某一预设时长内获取到的目标图像进行批次处理，以确定置信度；当预设时长未到达时，则不满足批次处理条件，即将已获取到的目标图像缓存，直至达到预设时长。此外，还可以基于目标图像的数量设置，例如在目标图像的数量达到预设阈值时，即满足批次处理条件，可以计算每个局部图像的置信度，否则，继续对目标图像进行缓存，继续等待上面步骤1032进行目标图像的确定，直至满足批次处理条件为止。

步骤1035，将置信度大于预设置信度阈值的一个或者多个目标图像，作为目标人脸局部图像。

在具体应用中，上述步骤利用置信度网络模型，确定每个局部图像的人脸置信度，该置信度用于表明该局部图像中的物体属于人脸的概率，也就是说，该置信度越高，说明该局部图像中的物体有越大的概率属于人脸。因此，可以根据实际所采用的人脸置信度确定模型的具体参数以及本发明的技术方案所应用的场景，对应设置预设置信度阈值，以对目标图像进行筛选，将不属于人脸的局部图像去除，以保证人脸识别的效率。

图5是本发明实施例提供的一种图像处理方法的具体步骤流程图，如图5所示，步骤105所述的根据人脸关键点信息，确定人脸特征集合，包括：

步骤1051，根据人脸关键点信息，获取一个或者多个目标人脸局部图像中的各个人脸所对应的属性信息。

步骤1052，根据属性信息，确定满足特征提取条件的一个或者多个目标人脸局部图像。

其中，特征提取条件用于表明该目标人脸局部图像未出现遮挡。

示例地，根据人脸关键点信息对目标人脸局部图像进行人脸属性的提取，以根据属性信息确定目标人脸局部图像中满足特征提取条件的目标人脸局部图像，也就是说，确定其中目标人脸局部图像是否存在例如对眼睛、面部等部位的遮挡，进而在下面步骤1053中，仅对未遮挡的即满足特征提取条件的目标人脸局部图像对应进行特征信息的提取。

此外，特征提取条件还可以是基于用户需求设置的条件，例如将本发明的图像处理方法仅用于局部图像的输出，也就是无需提取特征信息时，则不继续进行下面步骤的操作，本发明不做具体限制。

步骤1053，对满足特征提取条件的一个或者多个目标人脸局部图像进行特征信息的提取。

步骤1054，根据属性信息和特征信息，确定人脸特征集合。

示例地，在确定人脸特征集合时，当特征提取条件包括人脸部分出现遮挡时，在不满足特征提取条件的一个或者多个目标人脸局部图像所对应的人脸特征集合中，可以包括表明该目标人脸局部图像存在遮挡的属性信息，例如，在检测到目标人脸局部图像存在眼睛遮挡时，对应的信息为眼睛遮挡；并且还可以包括由于遮挡则无法对特征信息进行提取的说明。也就是说，基于关键点信息所确定的属性信息，能够进一步过滤掉存在遮挡的目标人脸局部图像，避免对带遮挡的目标人脸局部图像进行特征信息提取所产生的无法准确确定特征信息的问题，从而提升特征信息提取的效率和精确度。

图6是本发明实施例提供的一种图像处理方法的具体步骤流程图，如图6所示，在步骤101之前，所述方法还包括：

步骤106，获取视频流中的多个视频帧。

在具体应用中，在获取到待处理的视频流后，从视频流中提取各帧视频帧，放置在待处理任务池中，等待进行上述实施例所述的步骤101-步骤105的操作。

步骤107，在视频帧的帧数超过帧数阈值的情况下，利用数量控制策略，确定多个待处理视频帧。

其中，数量控制策略用于基于预设的图像丢弃概率，根据比例积分微分策略控制视频帧的帧数。

需要说明的是，该帧数阈值是根据当前用于执行本发明实施例所述方法的运算设备的负载情况而确定的，因此，基于该帧数阈值进行控制时，能够适应于运算设备的负载情况。

也就是说，根据上述步骤106确定的待处理视频帧，可以基于待处理任务池的待处理任务的总数，即视频帧的帧数进行相应控制。具体的，可以利用PID(比例积分微分)策略，以保证在待处理任务池中待处理任务的数量维持在对应帧数阈值下。具体的，在待处理任务池中待处理任务的数量超过帧数阈值的情况下，说明当前待处理任务已经超过运算设备可承受负载大小，可以开启PID控制，以基于预设的图像丢弃概率进行图像信息的丢弃，以保证运算设备对输入视频帧的实时处理，同时保证运算设备能够稳定运行。

需要说明的是，利用数量控制策略，能够保证对待处理视频帧的处理效率和有效性，利用比例积分微分控制能够保证控制效果，避免出现大的波动，并且利用预设的图像丢弃概率(大于等于40％)，以保证视频帧的连续性，以免出现由于视频帧丢弃概率过高造成无法连续追踪的问题。其中，PID策略中的各个控制参数，可以根据实际进行人脸特征信息的获取的场景需求，通过实验测试，实现对比例积分微分控制策略中各个控制参数的优化选择，具体的参数确定方法，本发明不做限制。

此外，由于DSP目前只支持人脸检测网络任务(即人脸位置信息获取任务)，即可以通过DSP运算设备对待处理任务池中的任务数量的时域变化，加入PID策略实现闭环反馈调节DSP的负载均衡，从而配合下面步骤中例如利用NNIE所进行的图像处理操作(步骤104、步骤105)。

在图1实施例中所示图像处理方法中所执行的各个步骤，可以作为一个任务下的各个子任务，其每个子任务对应的优先级不同、执行对象(运算设备)不同，可以按照优先级和执行对象，分别设置三个缓存队列，用以列承载不同的子任务。示例地，可以设置第一个队列为高优先级队列，其中存放延迟容忍度低的子任务，如是步骤101所述的人脸位置信息的获取操作(即人脸检测)以及步骤102所述的人脸局部图像集合的确定操作(即人脸追踪)，放在该高优先级队列中；设置第二个队列为低优先级队列，其中所缓存的子任务的延迟容忍度低，可以用于缓存除了上述步骤101所述的和步骤102所述的子任务之外的其他子任务；此外，还设置第三个队列，即轮询队列，将DSP运算设备或NNIE运算设备所需执行的子任务放在该轮询队列中，由CPU定时轮询查看是否已由DSP或NNIE执行完毕，通常带轮询子任务的都是NNIE所执行的子任务。其中，步骤101所述人脸位置信息的确定操作所对应的轮询子任务可以由NNIE或DSP执行。此外，在DSP和NNIE运算设备中也分别有自己的任务缓存队列。

需要说明的是，在步骤101所述的人脸体检测操作以及步骤102所述的利用交并比追踪策略确定人脸局部图像集合的操作中，可以将每个待处理视频帧对应为一个具体的任务，每个任务又包括多个子任务(对应于不同的子步骤)。而在步骤103所述的目标物体局部图像的确定操作、步骤104所述的关键点确定操作以及步骤105所述的人脸特征集合确定操作中，将每个人脸局部图像对应为一个具体的任务(执行每个步骤所述的各个子步骤)，再将每个步骤所包括的各个子步骤对应为子任务，即多个人脸局部图像中的每个人脸局部图像分别对应一个任务，以子任务的形式进行步骤103、步骤104以及步骤105所包括的各个子步骤。进一步的，每个子任务可以包括对应的不同处理阶段，例如CPU预处理阶段、NNIE网络处理阶段、CPU后处理阶段或者DSP CPU预处理阶段、DSP网络处理阶段、DSP CPU后处理阶段中的一者或者多者。此外，还需要说明的是，在分别执行多个人脸局部图像的每个人脸局部图像对应的任务时，可以是同时执行的，也可以是依次执行的，本发明实施例不做具体限制。

因此，基于每个处理阶段可以对应相应的运算设备，例如可以通过维护在CPU中设置任务状态机，其中记录每个子任务/任务当前的进展，实现不同状态的任务/子任务在线程池中不同的运算设备所对应的缓存队列中流转，进而保证整个系统的高吞吐量。

在具体应用中，可以在确定人脸位置信息之后，即完成步骤101之后，对应生成与步骤101所执行子任务的状态信息对应的执行状态信息，以更新CPU的任务状态机，进而在CPU对应的轮询线程进行任务状态信息的周期性采集，能够获取对应的任务执行状态信息后，即执行步骤102的操作。下面以将本发明实施例应用于嵌入式平台为例，进行进一步的说明：

图7是本发明实施例提供的一种图像处理方法的步骤流程图，如图7所示，应用于嵌入式平台，该嵌入式平台包括多个运算设备，可以包括：

步骤701，确定用于执行对视频流中的多个待处理视频帧进行人脸检测，以获得多个待处理视频帧中的人脸位置信息的步骤的至少一个第一执行设备。

其中，第一执行设备是多个运算设备中的任一设备。

示例地，获取多个运算设备的负载情况，以将可用于确定人脸位置信息的运算设备中负载最少的运算设备作为第一执行设备。

在具体应用中，由于人脸位置信息的确定操作，属于延时容忍度较低的任务，被缓存在高优先级队列中，以便于根据各个运算设备的负载情况，确定适合的第一执行设备(负载最少)，进而尽可能快速的执行步骤702的操作。

步骤702，利用第一执行设备，对视频流中的多个待处理视频帧进行人脸检测，以获得多个待处理视频帧中的人脸位置信息。

本步骤与图1实施例中步骤101所述的一致，此处不再赘述。

优选的，本步骤所利用的嵌入式平台上的NNIE和DSP设备，是根据当前NNIE和DSP设备当前实际的负载情况，进行合理分配，选择可用于确定人脸位置信息的运算设备中负载较小的，使得能够尽快确定人脸位置信息。

此外，在完成本步骤所述的人脸位置信息的获得操作之后，即表明步骤702对应的子任务执行完成，在任务状态机中更新该子任务对应的执行状态信息，即生成对应的执行状态信息，以便于CPU进行任务状态的轮询时，获取到该执行状态信息，进而进行下面步骤703的操作。

步骤703，根据人脸位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合。

本步骤具体操作与图1实施例中步骤102所述的一致，此处不再赘述。

示例地，本步骤所对应的执行设备，通常为CPU，因此，无需对执行设备进行预先确定，也就是在通过轮询确定步骤702执行完成后，即可以利用CPU执行完成本步骤所述的操作，以确定人脸局部图像集合。

此外，在完成本步骤所述的人脸局部图像集合的确定操作之后，即表明步骤703对应的子任务执行完成，在任务状态机中更新该子任务对应的状态信息，即生成对应的执行状态信息，以便于CPU进行任务状态的轮询时，获取到该执行状态信息，进而进行下面步骤704的操作。

步骤704，确定用于执行利用预设的筛选策略，确定人脸局部图像集合中的一个或者多个目标人脸局部图像的步骤的至少一个第二执行设备。

其中，第二执行设备是多个运算设备中的任一设备。

示例地，获取多个运算设备的负载情况，以根据负载情况和步骤703的执行状态信息，确定第二执行设备，其中，第二执行设备是用于获取人脸局部图像集合的运算设备中负载最少的运算设备。

在具体应用中，获取各个运算设备的负载情况，可以根据各个运算设备所对应的任务缓存队列中所缓存的任务以及当前所执行的任务共同确定，即各个运算设备的当前任务执行情况，计算量大小、计算时长等信息，进而在CPU的任务状态机获取到步骤703已执行完成的执行状态信息后，可以执行本步骤的操作。

此外，需要说明的是，如图4实施例所述，在步骤705也包括质量分值的打分(步骤1031)、待筛选图像筛选(步骤1032)、目标图像的确定(步骤1033)、置信度的计算(步骤1034)、目标人脸局部图像的获取(步骤1035)的情况下，可以对每个步骤分别对应确定第三执行设备，即可以采用相同的执行设备执行完成整个步骤705的操作，或者是可以采用不同的执行设备分别对应执行步骤705对应的子步骤操作，优选的，在利用到神经网络模型(例如姿态模糊度网络模型和置信度网络模型时)，例如步骤1031和步骤1034中，可以选择NNIE设备作为执行设备，以合理分配嵌入式平台的计算资源，提升计算效率，而如步骤1032、步骤1033以及步骤1035等未涉及到神经网络模型的步骤，可以直接选择CPU作为执行设备执行其对应的操作，具体本发明实施例不做限制。

步骤705，利用第二执行设备，利用预设的筛选策略，确定人脸局部图像集合中的一个或者多个目标人脸局部图像。

本步骤与图1实施例中步骤103所述的一致，此处不再赘述。

步骤706，确定用于执行根据一个或者多个目标人脸局部图像，确定一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息的步骤的至少一个第三执行设备。

其中，第三执行设备是多个运算设备中的任一设备。

类似于步骤701，在执行关键点信息的提取之前，先获取多个运算设备的负载情况；进而根据负载情况和步骤705的执行状态信息，确定第三执行设备。

其中，第三执行设备是用于确定一个或者多个目标人脸局部图像的运算设备中负载最小的运算设备。

在具体应用中，第三运算设备的确定可以是在获取到步骤705的执行状态信息(表明步骤705对应的子任务执行完成)之后，将可用于确定一个或者多个目标人脸局部图像的运算设备(NNIE设备)作为第三执行设备，以保证下面步骤的实现。

步骤707，利用第三执行设备，根据一个或者多个目标人脸局部图像，确定一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息。

本步骤与图1实施例中步骤104所述的一致，此处不再赘述。

示例地，在本步骤执行完成后，还可以生成用于表明目标人脸局部图像已确定的状态信息，以在利用CPU周期性采集到该状态信息之后，对应执行步骤708的操作。

此外，需要说明的是，该一个或者多个目标人脸局部图像确定之后，还可以根据先输出给用户进行选择，再进行下面步骤的操作，也就是说，基于用户的选择，对其中的部分目标人脸局部图像所对应的人脸特征集合进行提取，也就是在步骤708之前，可添加用户选择操作，具体本发明不做限制。

步骤708，确定用于执行根据人脸关键点信息，确定人脸特征集合的步骤的至少一个第四执行设备。

其中，第四执行设备是多个运算设备中的任一设备。

示例地，第四执行设备通常为NNIE设备，其上具有进行特征和/或属性信息提取的网络模型，且一个嵌入式平台上可具有多个NNIE运算设备，每个NNIE设备是DSP设备的计算能力的10倍。因此，在有多个NNIE设备的情况下，可以对应每个NNIE设备对应设置一个缓存队列，以记录每个NNIE设备所执行以及待执行的任务的状态信息，例如每个任务的执行时长，等待时长等信息，以便于在进行任务分配时，选择等待时长较低的运算设备，用以完成对应的任务，同时实现各个运算设备的负载的对应合理调配。

类似的，本步骤也可以是先获取多个运算设备的负载情况，根据负载情况和对应步骤707的执行状态信息，确定第四执行设备。

其中，第四执行设备是用于提取人脸特征集合的运算设备中的负载最小的运算设备。

步骤709，利用第四执行设备，根据人脸关键点信息，确定人脸特征集合。

本步骤与图1实施例中步骤105所述的一致，此处不再赘述。

需要说明的是，上述第一执行设备、第二执行设备、第三执行设备、第四执行设备可能是各不相同的运算设备，也可能是相同的运算设备，需要根据实际的负载情况进行合理分配；且类似于步骤705所述的方式第一执行设备、第二执行设备、第三执行设备、第四执行设备可能一个运算设备，也可以是多个运算设备，本发明具体不做限制。

此外，需要说明的是，图7的实施例仅为示例性说明在执行步骤702、步骤705、步骤707以及步骤709之前，分别确定对应的执行设备，在具体应用中可以根据实际的应用场景，对应选择性执行，也就是说，在至少一个上述步骤前执行对应的执行设备的确定操作，具体本发明不做限制。

图8是本发明实施例提供的一种图像处理装置的框图，如8所示，该装置800包括：

人脸检测模块810，用于对视频流中的多个待处理视频帧进行人脸检测，以获得多个待处理视频帧中的人脸位置信息。

集合确定模块820，用于根据人脸位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，人脸局部图像集合中包括多个待处理视频帧中同一人脸对应的一个或者多个局部图像。

图像确定模块830，用于利用预设的筛选策略，确定人脸局部图像集合中的一个或者多个目标人脸局部图像。

信息确定模块840，用于根据一个或者多个目标人脸局部图像，确定一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息。

集合确定模块810，还用于根据人脸关键点信息，确定人脸特征集合，人脸特征集合中包括一个或者多个目标人脸局部图像中的各个人脸所对应的特征信息和/或属性信息。

可选的，集合确定模块820，包括：

位置确定子模块，用于根据人脸位置信息，通过预测和滤波处理，分别确定多个待处理视频帧中多个人脸对应的预测位置信息，预测位置信息包括根据人脸位置信息所预测出的多个人脸在下一帧分别对应的位置信息。

人脸追踪子模块，用于根据预测位置信息和人脸位置信息，对多个待处理视频帧中的多个人脸进行交并比追踪，以确定多个待处理视频帧中的多个人脸对应的人脸框集合；

集合确定子模块，用于根据人脸框集合，确定人脸局部图像集合。

可选的，人脸追踪子模块，包括：

人脸框获取单元，用于根据第一预测位置信息，确定第一视频帧中的第一预测人脸框，第一预测位置信息是基于第一人脸位置信息所预测出的在第一视频帧中第一人脸对应的位置信息，第一人脸位置信息是第一人脸在第一视频帧的上一帧中的位置信息。

人脸框获取单元，还用于根据人脸位置信息中第一视频帧中各个人脸所对应的位置信息，获取第一视频帧中的一个或者多个待确定人脸框。

比值确定单元，用于确定一个或者多个待确定人脸框与第一预测人脸框之间的交并比值。

人脸框确定单元，用于将交并比值大于预设阈值的待确定人脸框作为第一人脸框集合中的人脸框。

其中，第一视频帧是多个待处理视频帧中的任一视频帧，第一人脸框集合是第一视频帧的上一视频帧中第一人脸所在的人脸框集合。

可选的，筛选策略包括用于计算质量分值的打分策略和用于计算置信度的计算策略，图像确定模块830，包括：

分值确定子模块，用于根据打分策略，确定每个人脸局部图像集合中的各个局部图像的质量分值，打分策略是基于各个局部图像的姿态信息和清晰度信息确定各个局部图像的质量分值的策略。

图像确定子模块，用于将质量分值大于预设分值阈值的局部图像，作为待筛选局部图像。

图像确定子模块，还用于根据第一筛选条件，确定与目标图像集合对应的目标图像，目标图像包括满足第一筛选条件的一个或者多个待筛选局部图像，目标图像集合包括与待筛选局部图像对应的一个或者多个人脸局部图像集合。

置信度确定子模块，用于根据计算策略，确定目标图像的置信度。

图像确定子模块，还用于将置信度大于预设置信度阈值的一个或者多个目标图像，作为目标人脸局部图像。

可选的，集合确定模块810，包括：

属性获取子模块，用于获取一个或者多个目标人脸局部图像中的各个人脸所对应的属性信息。

图像确定子模块，用于根据属性信息，确定满足特征提取条件的一个或者多个目标人脸局部图像。

信息提取子模块，用于对满足特征提取条件的一个或者多个目标人脸局部图像进行特征信息和/或属性信息的提取；

集合确定子模块，用于根据属性信息和特征信息，确定人脸特征集合。

可选的，装置800还包括：

视频帧获取模块，用于在对视频流中的多个待处理视频帧进行人脸检测，以获得多个待处理视频帧中的人脸位置信息的步骤之前，获取视频流中的多个视频帧。

视频帧确定模块，用于在视频帧的帧数超过帧数阈值的情况下，利用数量控制策略，确定多个待处理视频帧；

其中，数量控制策略用于基于预设的图像丢弃概率，根据比例积分微分策略控制视频帧的帧数。

如图8所示，装置800应用于嵌入式平台，嵌入式平台包括多个运算设备，装置800包括：

人脸检测模块810，用于对视频流中的多个待处理视频帧进行人脸检测，以获得多个待处理视频帧中的人脸位置信息。

集合确定模块820，用于根据人脸位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，人脸局部图像集合中包括多个待处理视频帧中同一人脸对应的一个或者多个局部图像。

图像确定模块830，用于利用预设的筛选策略，确定人脸局部图像集合中的一个或者多个目标人脸局部图像。

信息确定模块840，用于根据一个或者多个目标人脸局部图像，确定一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息。

集合确定模块810，还用于根据人脸关键点信息，确定人脸特征集合，人脸特征集合中包括一个或者多个目标人脸局部图像中的各个人脸所对应的特征信息和/或属性信息。

可选的，装置800还包括：

设备确定模块，用于在对视频流中的多个待处理视频帧进行人脸检测，以获得多个待处理视频帧中的人脸位置信息的步骤、在利用预设的筛选策略，确定人脸局部图像集合中的一个或者多个目标人脸局部图像的步骤、在根据一个或者多个目标人脸局部图像，确定待处理视频帧中每个人脸所对应的人脸关键点信息的步骤、在根据人脸关键点信息，确定人脸特征集合的步骤中至少一个步骤之前，确定用于执行目标步骤的至少一个执行设备，目标步骤是对视频流中的多个待处理视频帧进行人脸检测，以获得多个待处理视频帧中的人脸位置信息的步骤、在利用预设的筛选策略，确定人脸局部图像集合中的一个或者多个目标人脸局部图像的步骤、在根据一个或者多个目标人脸局部图像，确定待处理视频帧中每个人脸所对应的人脸关键点信息的步骤、在根据人脸关键点信息，确定人脸特征集合的步骤中至少一个步骤，执行设备是多个运算设备中的任一设备。

可选的，装置800还包括：

负载获取模块，用于在确定用于执行目标步骤的至少一个执行设备的步骤之前，获取多个运算设备的负载情况，以根据多个运算设备的负载情况，确定至少一个执行设备。

可选的，多个运算设备包括神经网络推理引擎NNIE、中央处理单元CPU以及数字信号处理设备DSP中的多者。

另外，本发明实施例还提供一种终端，如图9所示，该终端900包括处理器920，存储器910以及存储在存储器910上并可在处理上运行的计算机程序，该计算机程序被处理器920执行时实现上述实施例所述的图像处理方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在此提供的图像处理方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据获取方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：

对视频流中的多个待处理视频帧进行人脸检测，以获得所述多个待处理视频帧中的人脸位置信息；

根据所述人脸位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，所述人脸局部图像集合中包括所述多个待处理视频帧中同一人脸对应的一个或者多个局部图像；

利用预设的筛选策略，确定所述人脸局部图像集合中的一个或者多个目标人脸局部图像；

根据所述一个或者多个目标人脸局部图像，确定所述一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息；

根据所述人脸关键点信息，确定人脸特征集合，所述人脸特征集合中包括所述一个或者多个目标人脸局部图像中的各个人脸所对应的特征信息和/或属性信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，包括：

根据所述人脸位置信息，通过预测和滤波处理，分别确定所述多个待处理视频帧中多个人脸对应的预测位置信息，所述预测位置信息包括根据所述人脸位置信息所预测出的所述多个人脸在下一帧分别对应的位置信息；

根据所述预测位置信息和所述人脸位置信息，对所述多个待处理视频帧中的多个人脸进行交并比追踪，以确定所述多个待处理视频帧中的多个人脸对应的人脸框集合；

根据所述人脸框集合，确定所述人脸局部图像集合。

3.根据权利要求2所述的方法，其特征在于，所述根据所述多个人脸在下一帧中的预测位置信息和所述人脸位置信息，对所述多个待处理视频帧中的多个人脸进行交并比追踪，以确定所述多个待处理视频帧中的多个人脸对应的人脸框集合，包括：

根据第一预测位置信息，确定第一视频帧中的第一预测人脸框，所述第一预测位置信息是基于第一人脸位置信息所预测出的在所述第一视频帧中第一人脸对应的位置信息，所述第一人脸位置信息是所述第一人脸在所述第一视频帧的上一帧中的位置信息；

根据所述人脸位置信息中所述第一视频帧中各个人脸所对应的位置信息，获取所述第一视频帧中的一个或者多个待确定人脸框；

确定所述一个或者多个待确定人脸框与所述第一预测人脸框之间的交并比值；

将所述交并比值大于预设阈值的待确定人脸框作为第一人脸框集合中的人脸框；

其中，所述第一视频帧是所述多个待处理视频帧中的任一视频帧，所述第一人脸框集合是所述第一视频帧的上一视频帧中所述第一人脸所在的人脸框集合。

4.根据权利要求1或2所述的方法，其特征在于，所述筛选策略包括用于计算质量分值的打分策略和用于计算置信度的计算策略，所述利用预设的筛选策略，确定所述人脸局部图像集合中的一个或者多个目标人脸局部图像，包括：

根据所述打分策略，确定每个所述人脸局部图像集合中的各个局部图像的质量分值，所述打分策略是基于所述各个局部图像的姿态信息和清晰度信息确定所述各个局部图像的质量分值的策略；

将所述质量分值大于预设分值阈值的局部图像，作为待筛选局部图像；

根据第一筛选条件，确定与目标图像集合对应的目标图像，所述目标图像包括满足所述第一筛选条件的一个或者多个待筛选局部图像，所述目标图像集合包括与所述待筛选局部图像对应的一个或者多个人脸局部图像集合；

根据所述计算策略，确定所述目标图像的置信度；

将所述置信度大于预设置信度阈值的一个或者多个目标图像，作为所述目标人脸局部图像。

5.根据权利要求4所述的方法，其特征在于，所述根据所述计算策略，确定所述目标图像的置信度，包括：

在不满足预设的批次处理条件的情况下，缓存已获取到的所述目标图像；

在满足所述批次处理条件的情况下，分别计算所述目标图像中所包括的局部图像的置信度。

6.根据权利要求1或2所述的方法，其特征在于，所述根据所述人脸关键点信息，确定人脸特征集合，包括：

根据所述人脸关键点信息，获取所述一个或者多个目标人脸局部图像中的各个人脸所对应的所述属性信息；

根据所述属性信息，确定满足特征提取条件的一个或者多个目标人脸局部图像；

对满足所述特征提取条件的一个或者多个目标人脸局部图像进行所述特征信息的提取；

根据所述属性信息和所述特征信息，确定所述人脸特征集合。

7.根据权利要求1或2所述的方法，其特征在于，在所述对视频流中的多个待处理视频帧进行人脸检测，以获得所述多个待处理视频帧中的人脸位置信息的步骤之前，所述方法还包括：

获取所述视频流中的多个视频帧；

在所述视频帧的帧数超过帧数阈值的情况下，利用数量控制策略，确定所述多个待处理视频帧；

其中，所述数量控制策略用于基于预设的图像丢弃概率，根据比例积分微分策略控制所述视频帧的帧数。

8.一种图像处理方法，其特征在于，应用于嵌入式平台，所述嵌入式平台包括多个运算设备，所述方法包括：

对视频流中的多个待处理视频帧进行人脸检测，以获得所述多个待处理视频帧中的人脸位置信息；

根据所述人脸位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，所述人脸局部图像集合中包括所述多个待处理视频帧中同一人脸对应的一个或者多个局部图像；

利用预设的筛选策略，确定所述人脸局部图像集合中的一个或者多个目标人脸局部图像；

根据所述一个或者多个目标人脸局部图像，确定所述一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息；

根据所述人脸关键点信息，确定人脸特征集合，所述人脸特征集合中包括所述一个或者多个目标人脸局部图像中的各个人脸所对应的特征信息和/或属性信息。

9.根据权利要求8所述的方法，其特征在于，在所述对视频流中的多个待处理视频帧进行人脸检测，以获得所述多个待处理视频帧中的人脸位置信息的步骤、在所述利用预设的筛选策略，确定所述人脸局部图像集合中的一个或者多个目标人脸局部图像的步骤、在所述根据所述一个或者多个目标人脸局部图像，确定所述待处理视频帧中每个人脸所对应的人脸关键点信息的步骤、在所述根据所述人脸关键点信息，确定人脸特征集合的步骤中至少一个步骤之前，所述方法还包括：

确定用于执行目标步骤的至少一个执行设备，所述目标步骤是所述对视频流中的多个待处理视频帧进行人脸检测，以获得所述多个待处理视频帧中的人脸位置信息的步骤、在所述利用预设的筛选策略，确定所述人脸局部图像集合中的一个或者多个目标人脸局部图像的步骤、在所述根据所述一个或者多个目标人脸局部图像，确定所述待处理视频帧中每个人脸所对应的人脸关键点信息的步骤、在所述根据所述人脸关键点信息，确定人脸特征集合的步骤中至少一个步骤，所述执行设备是所述多个运算设备中的任一设备。

10.根据权利要求9所述的方法，其特征在于，在所述确定用于执行目标步骤的至少一个执行设备的步骤之前，所述方法还包括：

获取所述多个运算设备的负载情况，以根据所述多个运算设备的负载情况，确定所述至少一个执行设备。

11.根据权利要求8-10任一项所述的方法，其特征在于，所述多个运算设备包括神经网络推理引擎NNIE、中央处理单元CPU以及数字信号处理设备DSP中的多者。

12.一种图像处理装置，其特征在于，所述装置包括：

人脸检测模块，用于对视频流中的多个待处理视频帧进行人脸检测，以获得所述多个待处理视频帧中的人脸位置信息；

集合确定模块，用于根据所述人脸位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，所述人脸局部图像集合中包括所述多个待处理视频帧中同一人脸对应的一个或者多个局部图像；

图像确定模块，用于利用预设的筛选策略，确定所述人脸局部图像集合中的一个或者多个目标人脸局部图像；

信息确定模块，用于根据所述一个或者多个目标人脸局部图像，确定所述一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息；

所述集合确定模块，还用于根据所述人脸关键点信息，确定人脸特征集合，所述人脸特征集合中包括所述一个或者多个目标人脸局部图像中的各个人脸所对应的特征信息和/或属性信息。

13.一种图像处理装置，其特征在于，应用于嵌入式平台，所述嵌入式平台包括多个运算设备，所述装置包括：

人脸检测模块，用于对视频流中的多个待处理视频帧进行人脸检测，以获得所述多个待处理视频帧中的人脸位置信息；

集合确定模块，用于根据所述人脸位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个人脸所分别对应的人脸局部图像集合，所述人脸局部图像集合中包括所述多个待处理视频帧中同一人脸对应的一个或者多个局部图像；

图像确定模块，用于利用预设的筛选策略，确定所述人脸局部图像集合中的一个或者多个目标人脸局部图像；

信息确定模块，用于根据所述一个或者多个目标人脸局部图像，确定所述一个或者多个目标人脸局部图像中的各个人脸所对应的人脸关键点信息；

所述集合确定模块，还用于根据所述人脸关键点信息，确定人脸特征集合，所述人脸特征集合中包括所述一个或者多个目标人脸局部图像中的各个人脸所对应的特征信息和/或属性信息。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的图像处理方法的步骤。

15.一种终端，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至11中任一项所述图像处理方法的步骤。