CN110287778B - 一种图像的处理方法、装置、终端及存储介质 - Google Patents

Abstract

本发明提供了一种图像的处理方法、装置、终端及存储介质，该方法包括：对视频流中的多个待处理视频帧进行目标物体检测，以获得多个待处理视频帧中多个目标物体的目标位置信息和目标类型；根据目标位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个目标物体所分别对应的局部图像集合，局部图像集合中包括多个待处理视频帧中同一目标物体对应的一个或者多个局部图像，每个局部图像集合的目标类型与每个局部图像集合对应的目标物体的目标类型一致；根据每个局部图像集合的目标类型，利用目标筛选策略，从局部图像集合中确定出一个或者多个目标物体局部图像。

Description

一种图像的处理方法、装置、终端及存储介质

技术领域

本发明属于图像处理领域，特别是涉及一种图像的处理方法、装置、终端及存储介质。

背景技术

目前，主流神经网络软件开发工具包为了实现高可复用性和交付便捷性的目的，主要以C语言格式的应用程序编程的同步接口形式存在。近年来，随着专用低功耗嵌入式设备神经网络算力的异军突起，在嵌入式设备上已经能够运行曾经只有在高性能服务器上才能运行的人脸检测识别流程，服务端上的运算资源得到了巨大释放。但是，相较服务器，嵌入式设备相对弱的CPU(中文：中央处理单元，英文Central Processing Unit)性能和多异构设备(多种不同类型的处理器组成)的调度成为神经网络落地发挥嵌入式芯片计算能力的瓶颈。由于同步接口的使用，再加上嵌入式设备的计算力不足，在高并发情况下，操作系统调度成为瓶颈，导致软件开发工具包的同步接口不能充分的利用嵌入式设备ASIC(中文：专用集成电路；英文：Application Specific Integrated Circuits)神经网络运算单元和视频流编解码预处理单元的算力，使得无法实现硬件平台的峰值吞吐量

目前，服务器上的物体识别框架的底层是基于神经网络训练推理框架，但是由于神经网络训练推理框架最初的设计对象主要为CPU/GPU(图形处理器)，在海思平台上带有诸如NNIE(中文：神经网络推理引擎，英文：Neural Network Inference Engine)的设备上会暴露出兼容性问题和优化限制问题，成为整体系统设计及优化的阻碍。

发明内容

有鉴于此，本发明提供一种图像的处理方法、装置、终端及存储介质，以便于提升嵌入式平台的利用效率和在复杂场景下的物体追踪的效率及准确度。

依据本发明实施例的第一方面，提供了一种图像的处理方法，该方法可以包括：

对视频流中的多个待处理视频帧进行目标物体检测，以获得所述多个待处理视频帧中多个目标物体的目标位置信息和目标类型；

根据所述目标位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个目标物体所分别对应的局部图像集合，所述局部图像集合中包括所述多个待处理视频帧中同一目标物体对应的一个或者多个局部图像，每个局部图像集合的目标类型与所述每个局部图像集合对应的目标物体的目标类型一致；

根据所述每个局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像。

依据本发明实施例的第二方面，提供了一种图像的处理方法，应用于嵌入式平台，所述嵌入式平台包括多个运算设备，该方法可以包括：

对视频流中的多个待处理视频帧进行目标物体检测，以获得所述多个待处理视频帧中多个目标物体的目标位置信息和目标类型；

根据所述目标位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个目标物体所分别对应的局部图像集合，所述局部图像集合中包括所述多个待处理视频帧中同一目标物体对应的一个或者多个局部图像，每个局部图像集合的目标类型与所述每个局部图像集合对应的目标物体的目标类型一致；

根据所述每个局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像。

依据本发明实施例的第三方面，提供了一种图像的处理装置，该装置可以包括：

物体检测模块，用于对视频流中的多个待处理视频帧进行目标物体检测，以获得所述多个待处理视频帧中多个目标物体的目标位置信息和目标类型；

集合确定模块，用于根据所述目标位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个目标物体所分别对应的局部图像集合，所述局部图像集合中包括所述多个待处理视频帧中同一目标物体对应的一个或者多个局部图像，每个局部图像集合的目标类型与所述每个局部图像集合对应的目标物体的目标类型一致；

图像确定模块，用于根据所述每个局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像。

依据本发明实施例的第四方面，提供了一种图像的处理装置，应用于嵌入式平台，所述嵌入式平台包括多个运算设备，该装置可以包括：

物体检测模块，用于对视频流中的多个待处理视频帧进行目标物体检测，以获得所述多个待处理视频帧中多个目标物体的目标位置信息和目标类型；

集合确定模块，用于根据所述目标位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个目标物体所分别对应的局部图像集合，所述局部图像集合中包括所述多个待处理视频帧中同一目标物体对应的一个或者多个局部图像，每个局部图像集合的目标类型与所述每个局部图像集合对应的目标物体的目标类型一致；

图像确定模块，用于根据所述每个局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像。

依据本发明实施例的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面或者第二方面任一项所述的图像的处理方法的步骤。

依据本发明实施例的第六方面，提供了一种终端，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面或者第二方面任一项所述的图像的处理方法的步骤。

本发明实施例，对视频流中的多个待处理视频帧进行目标物体检测，以获得所述多个待处理视频帧中多个目标物体的目标位置信息和目标类型；根据所述目标位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个目标物体所分别对应的局部图像集合，所述局部图像集合中包括所述多个待处理视频帧中同一目标物体对应的一个或者多个局部图像，每个局部图像集合的目标类型与所述每个局部图像集合对应的目标物体的目标类型一致；根据所述每个局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像。因此，通过对交并比追踪策略，实现对视频流中的目标物体的追踪，以确定其中的目标物体的局部图像，进而在复杂场景下提升物体追踪的准确性，简化物体追踪操作的操作，此外，在嵌入式平台包括多个运算设备的情况下，能够确保运算设备的运行高效性，提升嵌入式平台的效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例提供的一种图像的处理方法的步骤流程图；

图2是本发明实施例提供的一种图像的处理方法的具体步骤流程图；

图3是本发明实施例提供的一种图像的处理方法的具体步骤流程图；

图4是本发明实施例提供的一种图像的处理方法的具体步骤流程图；

图5是本发明实施例提供的一种图像的处理方法的具体步骤流程图；

图6是本发明实施例提供的一种图像的处理方法的具体步骤流程图；

图7是本发明实施例提供的一种图像的处理方法的具体步骤流程图；

图8是本发明实施例提供的一种图像的处理方法的具体步骤流程图；

图9是本发明实施例提供的一种图像的处理装置的框图；

图10是本发明实施例提供的一种终端结构的框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1是本发明实施例提供的一种图像的处理方法的步骤流程图，如图1所示，该方法可以包括：

步骤101，对视频流中的多个待处理视频帧进行目标物体检测，以获得多个待处理视频帧中多个目标物体的目标位置信息和目标类型。

在具体应用中，视频流中包括多帧图像，且在每帧待处理视频帧中可能出现一个或者多个目标物体，其中，目标物体对应的目标类型可以包括：人脸类型、人身类型、车辆类型、车牌类型、其他类型等，也就是从多个待处理视频帧中可获取到一个或者多个目标物体的位置信息及其对应的目标类型。可以根据预先确定的目标物体位置信息获取模块(例如是用于进行目标物体检测的神经网络模型)，通过对待处理视频帧中一个或者多个目标物体进行分类后，以对各个目标物体所在的位置信息进行采集，以便于下面步骤确定目标物体局部图像。

需要说明的是，本发明所涉及的技术方案可以应用于嵌入式平台上或者服务器上，在嵌入式平台上可以包括多个运算设备，例如是CPU、DSP(中文：数字信号处理，英文：Digital Signal Processing)、NNIE等类型的运算设备，且每种类型的运算设备的个数也可以是多个，每种类型的运算设备的属性是固定的，也就是说，每个类别的运算设备用于执行的任务内容相对固定，例如CPU主要进行图像处理操作以及状态监控，NNIE与DSP运算设备用于对图像信息进行翻译操作，即将图像信息转换为对应的数据信息，例如是特征值信息等。

步骤102，根据目标位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个目标物体所分别对应的局部图像集合。

其中，局部图像集合中包括多个待处理视频帧中同一目标物体对应的一个或者多个局部图像，每个局部图像集合的目标类型与每个局部图像集合对应的目标物体的目标类型一致。

在具体应用中，在利用上述步骤确定目标位置信息后，可以对所确定的目标位置信息进行预处理，示例地，通过线性预测对当前帧图像中所出现的目标物体，进行速度预测以及可能出现的位置预测，以更好的在下一帧图像中实现对该目标物体的追踪；同时，利用线性滤波对目标位置信息中的大量目标物体的位置信息进行过滤处理，以去除掉由于抖动出现的准确性较低的目标物体的位置信息。

其中，可以通过交并比(英文：Intersection-over-Union，缩写：IoU)策略，对视频流中连续的待处理视频帧中出现的目标物体进行追踪。示例地，根据目标位置信息中一个目标物体的位置信息预测在下一帧待处理视频帧中的该目标物体可能出现的预测位置，再根据该目标位置信息中在下一帧待处理视频帧中实际检测出的各个目标物体与该预测位置对应的预测物体框之间的交叠率，即它们的交集与并集的比值，确定当前帧中某一位置中出现的目标物体与下一帧某一位置出现的目标物体是否为同一物体，进而确定是否将上述位置信息对应的局部图像放入同一个局部图像集合中。

此外，对于本步骤所生成的多个局部图像集合是基于交并比追踪策略确定的物体框集合，因此在生成物体框集合时，还可以对每个物体框对应生成一个物体ID，使得最终在由物体框集合生成对应的局部图像集合后，在一个局部图像集合中所包括的一个或者多个局部图像，均属于相同的目标物体，即其具有同一物体ID，从而在输出给用户时，能够实现根据物体ID对视频流中的目标物体进行标记。

需要说明的是，由于在步骤101确定目标位置信息时，即已确定每个位置信息所对应的物体框的目标类型，进而根据本步骤生成局部图像集合时，由于其中包括的一个或者多个局部图像均对应同一目标物体，即每个局部图像集合的目标类型与该目标物体的目标类型相同，也就是，由同一人脸的局部图像组成的局部图像集合所对应的目标类型即为人脸类型，由同一车辆的局部图像组成的局部图像集合所对应的目标类型即为车辆类型。

步骤103，根据每个局部图像集合的目标类型，利用目标筛选策略，从局部图像集合中确定出一个或者多个目标物体局部图像。

优选的，不同的目标类型对应的目标筛选策略不同，即人脸类型对应有专门针对人脸筛选的目标筛选策略，车辆类型对应有专门针对车辆进行筛选的目标筛选策略，人身类型对应有专门的人身筛选的目标筛选策略等。

在具体应用中，在步骤102所确定的局部图像集合中所包括的局部图像中可能存在同一目标物体对应的局部图像和/或无效的(非人脸或者人脸清晰度较低)局部图像，可以利用筛选策略，对局部图像集合中的局部图像进行筛选，以获取质量高(清晰度高、易分辨)的局部图像作为目标物体局部图像，从而保证物体识别功能的效率。示例地，对于人脸类型，可以基于人脸的局部图像中人脸的姿态信息和人脸的局部图像的模糊程度，对各个人脸的局部图像进行质量分值的打分，以筛选出质量分值较高的局部图像，再输出给预先确定的人脸置信度确定模型，以将上述筛选出的质量分值较高的人脸框中可能存在的非人脸的局部图像(置信度低)去除，例如是将车轮、动物脸等对应的局部图像，以实现在目标物体追踪过程中，所确定的目标物体局部图像为视频流中质量较高的人脸局部图像，进而保证目标物体追踪的效率和有效性。

综上所述，本发明提供的图像的处理方法，对视频流中的多个待处理视频帧进行目标物体检测，以获得多个待处理视频帧中多个目标物体的目标位置信息和目标类型；根据目标位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个目标物体所分别对应的局部图像集合，局部图像集合中包括多个待处理视频帧中同一目标物体对应的一个或者多个局部图像，每个局部图像集合的目标类型与每个局部图像集合对应的目标物体的目标类型一致；根据每个局部图像集合的目标类型，利用目标筛选策略，从局部图像集合中确定出一个或者多个目标物体局部图像。因此，通过对交并比追踪策略，实现对视频流中的目标物体的追踪，以确定其中的目标物体的局部图像，进而提升物体追踪的准确性，简化物体追踪操作的操作，此外，在嵌入式平台包括多个运算设备的情况下，能够确保运算设备的运行高效性，提升嵌入式平台的效率。

可选的，图2是本发明实施例提供的一种图像的处理方法的具体步骤流程图，如图2所示，步骤102所述根据目标位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个目标物体所分别对应的局部图像集合，包括：

步骤1021，根据目标位置信息，通过预测和滤波处理，分别确定多个待处理视频帧中多个目标物体对应的预测位置信息。

其中，预测位置信息包括根据目标位置信息所预测出的多个目标物体在下一帧中分别对应的位置信息。

示例地，根据目标位置信息中某一待处理视频帧中的某一目标物体的位置信息，可以预测出在该待处理视频帧的下一视频帧中该目标物体可能出现的位置信息，即作为预测位置信息，以便于下面步骤实现交并比追踪。需要说明的是，在某一待处理视频帧中包括多个目标物体时，则对应的预测位置信息为每个目标物体分别对应的位置信息。

步骤1022，根据预测位置信息和目标位置信息，对多个待处理视频帧中的多个目标物体进行交并比追踪，以确定多个待处理视频帧中的多个目标物体对应的物体框集合。

步骤1023，根据物体框集合，确定局部图像集合。

示例地，步骤1022所确定的物体框集合包括了在整个视频流中与每个目标物体所分别对应的位置信息所确定的一个或者多个物体框，因此，基于该物体框，即位置信息，能够直接从对应的待处理视频帧中直接抠出对应的局部图像，进而作为局部图像集合。也就是说，当步骤1022确定了N个物体框集合后，对应的局部图像集合也为N个，每个物体框集合所对应的物体框个数即为其对应的局部图像集合中的所包括的局部图像个数，即物体框与局部图像一一对应。

图3是本发明实施例提供的一种图像的处理方法的具体步骤流程图，如图3所示，步骤1022所述的根据预测位置信息和目标位置信息，对多个待处理视频帧中的多个目标物体进行交并比追踪，以确定多个待处理视频帧中的多个目标物体对应的物体框集合，包括：

步骤10221，根据第一预测位置信息，确定第一视频帧中的第一预测物体框。

其中，第一视频帧是多个待处理视频帧中的任一视频帧，第一预测位置信息是基于第一目标物体位置信息所预测出的在第一视频帧中第一目标物体对应的位置信息，第一目标物体位置信息是第一目标物体在第一视频帧的上一帧中的位置信息。

步骤10222，根据目标物体位置信息中第一视频帧中各个目标物体所对应的位置信息，获取第一视频帧中的一个或者多个待确定目标物体框。

示例地，从第一视频帧中根据目标位置信息(实际的某一目标物体的位置信息)，提取出第一视频帧中一个或者多个目标物体的物体框，即作为待确定目标物体框，之后再根据步骤10221中确定的与第一目标物体对应的第一预测物体框，也就是说第一目标物体在第一视频帧中的预测框，进而将预测框与待确定物体框进行交并比值的计算，从而确定在第一视频帧中是否存在与该第一视频帧上一帧中出现的第一目标物体相应的物体框。

步骤10223，确定一个或者多个待确定目标物体框与第一预测物体框之间的交并比值。

示例地，利用第一预测物体框与在第一视频帧中出现的待确定目标物体框之间的交并比值，以确定是否存在与第一视频帧上一帧中的第一目标物体对应的物体框。

步骤10224，将交并比值大于预设阈值的待确定目标物体框作为第一目标物体框集合中的目标物体框。

其中，第一目标物体框集合是第一视频帧的上一视频帧中第一目标物体所在的目标物体框集合。

示例地，在第一预测物体框与待确定目标物体框之间的交并比值大于预设阈值的情况下，可以确定待确定目标物体框是与第一视频帧的上一帧中的第一目标物体对应的物体框，即放入第一目标物体框集合中；否则，说明第一视频帧中的没有与上一帧相同的目标物体，每个待确定目标物体框可以是新出现的目标物体对应的物体框或是误检框，可以作为一个新的集合中，或者根据预设的筛选原则(例如，在视频流中不进行该对应类型的目标物体的追踪)可以直接进行删除。

需要说明的是，该预设阈值可以是根据本发明实施例所提供的图像的处理方法的应用场景而对应确定的，例如是考虑到视频流的清晰度、视频帧的频率等等，本发明具体不做限制。

此外，由于目标物体在连续视频流中，可能出现被遮挡或者丢帧的情况下所导致的追踪丢失，还可以利用特征信息进行重新匹配追踪，也就是进行下面步骤10225-步骤10228的操作，如图3所示。

步骤10225，将交并比值小于等于预设阈值的待确定目标物体框作为待处理物体框。

示例地，根据交并比值所确定的待处理物体框，即可能是由于被遮挡或者丢帧而导致的追踪丢失的物体框，可以利用下面步骤基于特征信息的比对以实现对目标物体的重新追踪。

步骤10226，提取待处理物体框中对应的待处理物体的特征信息。

步骤10227，将待处理物体的特征信息与第一特征集合中的各个特征信息进行比对。

其中，第一特征集合中包括在第一视频帧之前的视频帧中所获取到的多个目标物体的特征信息。

步骤10228，在待处理物体的特征信息与第一特征信息的相似度大于预设相似度阈值的情况下，将待处理物体框作为第二目标物体框集合中的物体框。

其中，第一特征信息是第一特征集合中的任一特征信息，第二目标物体框集合是第一特征信息对应的物体框所在的物体框集合。

在具体应用中，将从一路视频流中的多帧图像(多张连续的待处理视频帧)中，所采集到的目标物体的特征信息保存在第一特征集合中，即在第一特征集合中包括待处理物体出现之前能够采集到的所有目标物体的特征信息，通过对特征信息的比对，可以确定待处理物体是否为之前出现过的目标物体。当第一特征集合中的第一特征信息与待处理物体的特征信息之间的相似度极高(即相似度大于相似度阈值)，可以确定待处理物体即为之前出现过的第一特征信息所对应的目标物体，即将待处理物体框作为第二目标物体框集合中的物体框，进而实现了对待处理物体的连续追踪，以避免中断追踪。反之，当待处理物体的特征信息与第一特征集合中的任一特征信息的相似度均未达到相似度阈值时，说明待处理物体为新出现的目标物体，可以放入一个新的目标物体框集合中或者直接丢弃。

需要说明的是，对于第一特征集合中所能够保存的特征信息的数量，可以根据经验进行设置，也可以根据实际应用场景进行调试，从而保证第一特征集合不会占用过大存储空间的同时，还能够实现对目标物体的连续追踪，本发明不做具体限制。

因此，通过本实施例所述的操作，能够在由于平台负载过高而引起丢帧或者目标物体被短时间遮挡，出现追踪丢失的情况下，对目标物体进行特征信息的重新匹配，进而避免出现对同一目标物体进行重复追踪，降低追踪过程中的中断概率；有利于将嵌入式平台上的图像特征的获取功能应用在在高人流、车流场景下，保证追踪效率。

图4是本发明实施例提供的一种图像的处理方法的具体步骤流程图，如图4所示，步骤103所述的根据每个局部图像集合的目标类型，利用目标筛选策略，从局部图像集合中确定出一个或者多个目标物体局部图像，包括：

步骤1031，确定与每个局部图像集合的目标类型所对应的目标筛选策略。

其中，目标筛选策略中包括用于计算置信度的计算策略、用于计算质量分值的打分策略以及用于选择图像的选择策略中的至少一个。

在具体应用中，对应不同的目标类型，所采用的目标筛选策略是不同的，以提升物体识别的效率。例如，对车辆类型进行筛选的目标筛选策略，是基于采集到的大量车辆的图像信息进行训练得到的，符合车辆类型的图像特征的模型结构及参数，因此，根据局部图像集合所对应的目标类型选择对应的目标筛选策略，以进行下面步骤的操作。

步骤1032，在目标筛选策略中包括计算策略的情况下，根据计算策略，确定与一个或者多个局部图像集合分别对应的一个或者多个目标图像的置信度。

在具体应用中，目标筛选策略中通常包括计算策略，即需要对局部图像集合中的局部图像进行置信度计算，例如对于车辆类型的局部图像，计算每个局部图像属于车辆的置信度，进而将不属于车辆类型(置信度较低)的局部图像进行筛除，以提升特征信息判断的有效性。示例地，每种类型可以分别对应的一个置信度计算模型，进而能够对每个局部图像进行针对性的判断，而针对各个局部图像集合对其中局部图像的筛选，以降低误差率，同时简化计算的复杂度。

在具体应用中，可以利用预先训练好的置信度网络模型(例如对于人脸类型，是利用用于确定人脸置信度的神经网络模型)，对目标图像进行置信度的计算，进而将目标图像中非所属目标类型的局部图像筛除，从而有效识别目标物体。

需要说明的是，在进行本步骤的置信度计算时，可以在获取到多个目标图像之后，再进行批处理(并行多个处理)，进而提高运算设备的操作效率，且减少线程安全队列进队出队的开销。

具体的，在不满足预设的批次处理条件的情况下，缓存已获取到的目标图像；在满足批次处理条件的情况下，分别计算目标图像的置信度。

示例地，该批次处理条件可以是基于时间设置的，例如将某一预设时长内获取到的目标图像进行批次处理，以确定置信度；当预设时长未到达时，则不满足批次处理条件，即将已获取到的目标图像缓存，直至达到预设时长。此外，还可以基于目标图像的数量设置，例如在目标图像的数量达到预设阈值时，即满足批次处理条件，可以计算每个局部图像的置信度，否则，继续对目标图像进行缓存，继续等待确定多个目标图像，直至满足批次处理条件为止。

步骤1033，将置信度大于对应的预设置信度阈值的一个或者多个目标图像，作为目标物体局部图像。

在具体应用中，上述步骤利用与每个类型分别对应的置信度网络模型，确定每个局部图像的置信度，该置信度用于表明该局部图像中的目标物体属于所对应目标类型的概率，也就是说，该置信度越高，说明该局部图像中的物体有越大的概率属于该目标类型。因此，可以根据实际所采用的置信度确定模型的具体参数以及本发明的技术方案所应用的场景，对应设置预设置信度阈值，以对目标图像进行筛选，将不属于对应目标类型的局部图像去除，以保证物体识别的效率。

示例地，在图4的基础上，在目标筛选策略中还包括打分策略和选择策略的情况下，如图5所示，在步骤1032所述确定与一个或者多个局部图像集合分别对应的一个或者多个目标图像的置信度的步骤之前，步骤103还包括：

步骤1034，根据打分策略，确定每个局部图像集合中的各个局部图像的质量分值。

步骤1035，将每个局部图像集合中质量分值大于对应的分值阈值的局部图像，作为待筛选局部图像。

在具体应用中，利用姿态信息和清晰度信息先对步骤102所确定的局部图像集合中的局部图像进行质量分值的确定，能够在确定局部图像的置信度之前，将质量分值较低的局部图像先去除，从而降低置信度计算的复杂程度；同时，在进行质量分值的打分操作时，去掉现有技术中所采用的特征点纠偏操作，进一步节省所需计算资源。

示例地，对于姿态信息(Pose)其具有3个维度的自由度(pitch，yaw，roll)，分别代表上下翻转，左右翻转，平面内旋转的角度，能够表明局部图像的质量。例如当局部图像中的左右翻转角度过大，如侧脸时，则不利于特征信息和/或属性信息的提取；或者当局部图像中的上下翻转角度过大，例如是低头状态时，则也不利于特征信息和/或属性信息的提取。清晰度信息用于表明局部图像中的人脸图像的清晰程度(像素高低)。具体的，可以将姿态信息中的3个自由度以及清晰度信息进行非线性加权或者线性加权，生成用于确定质量分值的打分网络模型(例如是，姿态模糊度网络模型)，其中，该打分网络模型中的各个参数(权重值)可以根据训练或者经验而确定的，本发明不做具体限制。

此外，当视频流中所对应的图像质量较高时或者局部图像的个数较少时，也可以省略步骤1035的操作，即对所有局部图像进行步骤1032-步骤1033的操作或者步骤1036的操作。

需要说明的是，对于人脸类型、人身类型的目标物体，由于对图像质量要求高于车辆类型或者其他类型的目标物体，因此，通常需要进行本实施例所示的打分步骤，也就是对人脸类型和人身类型对应的局部图像集合中的局部图像进行质量分值的筛选，从中筛选出的质量分较高的局部图像，以便于对下面步骤对局部图像对应的特征信息和/或属性信息进行提取，从而提升特征信息和/或属性信息的有效性。

此外，在步骤1032所述确定与一个或者多个局部图像集合分别对应的一个或者多个目标图像的置信度的步骤之前，例如是在上述步骤1035之后，如图5所示，该步骤103还可以包括：

步骤1036，根据选择策略，确定与目标图像集合对应的目标图像。

其中，目标图像集合包括与待筛选局部图像对应的一个或者多个局部图像集合，目标图像包括一个或者多个待筛选局部图像。

示例地，可以利用预设的选择策略，对各个待筛选局部图像进行筛选，其中例如包括最优策略、间隔策略以及最快策略中的至少一者。

具体的，在选择策略包括最优策略的情况下，即从待筛选局部图像所在局部图像集合的每一个中筛选出第一预设间隔内质量分值最高的一个或者多个待筛选局部图像作为目标图像。

在选择策略包括间隔策略的情况下，即从待筛选局部图像所在局部图像集合中的每一个中筛选出第二预设间隔内质量分值最高的一个或者多个待筛选局部图像作为目标图像。

其中，第一预设间隔大于第二预设间隔。

在选择策略包括最快策略的情况下，即从待筛选局部图像所在局部图像集合中的每一个中筛选出第三预设间隔内首个质量分值达到预设分值的待筛选局部图像作为目标图像。其中，该预设分值可以是根据经验值确定的，也可以根据大量实验获取到的，本发明不做具体限制。

也就是说，在本步骤进行目标图像的确定时，是针对待筛选局部图像所对应的局部图像集合的，当在步骤1035中从所有局部图像中确定出待筛选局部图像后，所剩余的局部图像集合的个数可能小于步骤102所确定的局部图像集合的个数，例如在一些局部图像集合中所有的局部图像的质量分值均较低，则该局部图像集合即无法继续进行本实施例所示的步骤操作，也就是本实施例所述的步骤是对应每个目标图像集合利用选择策略进行对应的目标图像的确定，可以理解的是，每个目标图像集合至少确定一个对应的目标图像，以进行之后步骤1032的操作。

需要说明的是，步骤1036可以与步骤1034-步骤1035分开执行，也可以按照上述实施例所述的顺序执行，也就是说，步骤103包括步骤1031所述的目标筛选策略的确定操作，之后利用步骤1036获取到目标图像，再执行步骤1032-步骤1033的置信度计算并确定目标物体局部图像的操作；或者步骤103可以按照步骤1031、步骤1034、步骤1035、步骤1036以及步骤1032至步骤1033的顺序执行，实现利用打分策略和选择策略从局部图像集合中确定目标物体局部图像的功能。

图6是本发明实施例提供的一种图像的处理方法的具体步骤流程图，如图6所示，在步骤103之后，该方法还包括：

步骤104，确定与一个或者多个目标物体局部图像对应的特征信息和/或属性信息。

示例地，在步骤103确定目标物体局部图像后，还可以在视频流中对一个或者多个目标物体局部图像对应的属性信息和/或特征信息进行确定后，再一起输出给用户。如，当目标物体局部图像对应的目标物体属于人脸类型时，可以首先对该目标物体局部图像进行人脸关键点的提取，进而基于人脸关键点确定与该目标物体对应的属性信息和/或特征信息，其中，特征信息可以是基于特征值提取网络模型所确定的人脸的特征值，属性信息可以包括例如基于属性提取模型所确定的人脸属性信息，如性别、年龄、若在数据库中存储有与该人脸局部图像对应的其他信息(例如姓名)也同时输出，为用户提供更为详细的目标物体的信息。如，当目标物体局部图像对应的目标物体

可选的，如图7所示，该步骤包括：

步骤1041，获取用于选择一个或者多个待提取物体的选择指令。

示例地，步骤104所确定特征信息和/或属性信息可以是基于用户需求而生成的。也就是说，基于用户所发出的选择指令，进而确定用户需要对哪个待提取物体进行特征信息和/或属性信息的提取操作，再对应进行下面步骤的操作。需要说明的是，该待提取物体是步骤103所确定的一个或者多个目标物体局部图像对应的其中一个目标物体。

步骤1042，响应于选择指令，根据视频流，确定一个或者多个待提取物体的特征信息和/或属性信息。

示例地，根据该选择指令所指示的一个或者多个待提取物体，利用视频流中包括该一个或者多个待提取物体的具有最高清晰度(4K)的待处理视频帧，获取最优的特征信息和/或属性信息。

在具体应用中，可以利用预先训练好的特征/属性提取模型，对应提取待提取物体的特征信息和/或属性信息。示例地，在待提取物体属于人脸类型时，采用人脸特征提取模型，其对应的属性信息例如可以包括性别、年龄、是否有眼部遮挡、嘴部遮挡等，特征信息包括人脸关键点信息、人脸特征值等；在待提取物体属于人身类型时，采用行人属性模型，对行人在待处理视频帧中的特征信息和/或属性信息进行提取，其对应的属性信息例如可以包括上身颜色、下身颜色、是否骑车、胳膊是否裸露、性别等，特征信息包括人身关键点信息、人身特征值等；在待提取物体属于车辆类型时，可以采用车辆颜色/型号检测模型、车牌检测模型、车牌识别模型等，对单个车辆在待处理视频帧中的特征信息和/或属性信息进行提取，其对应的属性信息例如可以包括车辆型号、车辆颜色、车辆字符、车牌颜色、车辆风格、车牌是否被遮挡等，特征信息包括车辆关键点信息、车辆特征值以及车牌特征值。

此外，对于每个类型的目标物体，其对应的特征信息中除了包括目标物体的静态的特征信息，例如关键点信息之外，还包括目标物体的动态的特征信息，例如车辆、行人处于静止状态或是运动状态；以及若为运动状态，其对应的运动角度等。

在图1实施例中所示图像的处理方法中所执行的各个步骤，可以作为一个任务下的各个子任务，其每个子任务对应的优先级不同、执行对象(运算设备)不同，可以按照优先级和执行对象，分别设置三个缓存队列，用以列承载不同的子任务。示例地，可以设置第一个队列为高优先级队列，其中存放延迟容忍度低的子任务，如是步骤101所述的目标位置信息的获取操作(即目标物体检测)以及步骤102所述的局部图像集合的确定操作(即目标物体追踪)，放在该高优先级队列中；设置第二个队列为低优先级队列，其中所缓存的子任务的延迟容忍度低，可以用于缓存除了上述步骤101所述的和步骤102所述的子任务之外的其他子任务；此外，还设置第三个队列，即轮询队列，将DSP运算设备或NNIE运算设备所需执行的子任务放在该轮询队列中，由CPU定时轮询查看是否已由DSP或NNIE执行完毕，通常带轮询子任务的都是NNIE所执行的子任务。其中，步骤101所述目标位置信息的确定操作所对应的轮询子任务可以由NNIE或DSP执行。此外，在DSP和NNIE运算设备中也分别有自己的任务缓存队列。

需要说明的是，在步骤101所述的物体检测操作以及步骤102所述的利用交并比追踪策略确定局部图像集合的操作中，可以将每个待处理视频帧对应为一个具体的任务，每个任务又包括多个子任务(对应于各个子步骤)。而在步骤103所述的目标物体局部图像的确定操作中，将每个局部图像对应为一个具体的任务(执行该步骤103所述的各个子步骤)，可以将每个子步骤对应为子任务，即多个局部图像中的每个局部图像分别对应一个任务，进而以子任务的形式进行步骤1032所述的置信度计算(步骤103的子任务1)和/或步骤1034所述的质量分值的打分(步骤103的子步骤2)和/或步骤1035所述的待筛选图像筛选(步骤103的子步骤3)和/或步骤1036所述的目标图像的确定(步骤103的子步骤4)。进一步的，每个子任务可以对应包括不同的处理阶段，例如CPU预处理阶段、NNIE网络处理阶段、CPU后处理阶段或者DSP CPU预处理阶段、DSP网络处理阶段、DSP CPU后处理阶段其中的一个或者多个。此外，在步骤104确定对应的特征信息和/或属性信息时，每个目标物体局部图像即作为一个任务，且每次仅执行一个任务，也就是说一次仅检测一张人脸的特征信息和/或属性信息，或一次仅检测一个车辆的特征信息和/或属性信息等，进而以最小的计算颗粒，实现对每个目标物体的特征信息和/或属性信息的获取操作。需要说明的是，在执行多个局部图像的每个局部图像对应的任务时，可以是同时的，也可以是依次执行的，本发明实施例不做具体限制。

因此，基于上述的各个子任务所包括的各个处理阶段可以对应相应的运算设备，例如可以通过维护在CPU中设置任务状态机，其中记录每个子任务/任务当前的进展，实现不同状态的任务/子任务在线程池中不同的运算设备所对应的缓存队列中流转，进而保证整个系统的高吞吐量。

在具体应用中，可以在确定目标位置信息之后，即完成步骤101之后，对应生成与步骤101所执行子任务的状态信息对应的第一状态信息，以更新CPU的任务状态机，进而在CPU对应的轮询线程进行任务状态信息的周期性采集，能够获取对应的执行状态信息后，即执行步骤102的操作。下面以将本发明实施例应用于嵌入式平台为例，进行进一步的说明：

图8是本发明实施例提供的一种图像的处理方法的步骤流程图，如图8所示，应用于嵌入式平台，该嵌入式平台包括多个运算设备，可以包括：

步骤801，确定用于执行对视频流中的多个待处理视频帧进行目标物体检测，以获得多个待处理视频帧中的目标位置信息和目标类型的步骤的至少一个第一执行设备。

其中，嵌入式平台上的多个运算设备包括神经网络推理引擎NNIE、中央处理单元CPU以及数字信号处理设备DSP中的多者，该第一执行设备是多个运算设备中的任一设备。示例地，获取多个运算设备的负载情况，以将可用于确定人脸位置信息的运算设备中负载最少的运算设备作为第一执行设备。

在具体应用中，由于目标位置信息的确定操作，属于延时容忍度较低的任务，被缓存在高优先级队列中，以便于根据各个运算设备的负载情况，确定适合的第一执行设备(负载最少)，进而尽可能快速的执行步骤802的操作。

步骤802，对视频流中的多个待处理视频帧进行目标物体检测，以获得多个待处理视频帧中的目标位置信息和目标类型。

本步骤与图1实施例中步骤101所述的一致，此处不再赘述。

优选的，本步骤所利用的嵌入式平台上的NNIE和DSP设备，是根据当前NNIE和DSP设备当前实际的负载情况，进行合理分配，选择可用于确定目标位置信息的运算设备中负载较小的，使得能够尽快确定目标位置信息。

此外，在完成本步骤所述的目标位置信息的获得操作之后，即表明步骤802对应的子任务执行完成，在任务状态机中更新该子任务对应的状态信息，即生成对应的状态信息，以便于CPU进行任务状态的轮询时，获取到该状态信息，进而进行下面步骤803的操作。

步骤803，根据目标位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个目标物体所分别对应的局部图像集合。

本步骤具体操作与图1实施例中步骤102所述的一致，此处不再赘述。

示例地，本步骤所对应的执行设备，通常为CPU，因此，无需对执行设备进行预先确定，也就是在通过轮询确定步骤802执行完成后，即可以利用CPU执行完成本步骤所述的操作，以确定局部图像集合。

此外，在完成本步骤所述的局部图像集合的确定操作之后，即表明步骤803对应的子任务执行完成，在任务状态机中更新该子任务对应的状态信息，即生成对应的状态信息，以便于CPU进行任务状态的轮询时，获取到该状态信息，进而进行下面步骤804的操作。

步骤804，确定用于执行根据每个局部图像集合的目标类型，利用目标筛选策略，从局部图像集合中确定出一个或者多个目标物体局部图像的步骤的至少一个第二执行设备。

其中，第二执行设备是多个运算设备中的任一设备。

示例地，获取多个运算设备的负载情况，以根据负载情况和步骤803的执行状态信息，确定第二执行设备，其中，第二执行设备是用于获取局部图像集合的运算设备中负载最少的运算设备。

在具体应用中，获取各个运算设备的负载情况，可以根据各个运算设备所对应的任务缓存队列中所缓存的任务以及当前所执行的任务共同确定，即各个运算设备的当前任务执行情况，计算量大小、计算时长等信息，进而在CPU的任务状态机获取到步骤803已执行完成的状态信息后，可以执行本步骤的操作。

此外，需要说明的是，如图4或者图5实施例所述，在步骤805也包括质量分值的打分(步骤1034)、待筛选图像筛选(步骤1035)、目标图像的确定(步骤1036)、置信度的计算(步骤1032)、目标物体局部图像的获取(步骤1033)的情况下，可以对每个步骤分别对应确定第三执行设备，即可以采用相同的执行设备执行完成整个步骤805的操作，或者是可以采用不同的执行设备分别对应执行步骤805对应的子步骤操作，优选的，在利用到神经网络模型(例如姿态模糊度网络模型和置信度网络模型时)，例如步骤1034和步骤1032中，可以选择NNIE设备作为执行设备，以合理分配嵌入式平台的计算资源，提升计算效率，而如步骤1031、步骤1033以及步骤1035、步骤1036等未涉及到神经网络模型的步骤，可以直接选择CPU作为执行设备执行其对应的操作，具体本发明实施例不做限制。

步骤805，根据每个局部图像集合的目标类型，利用目标筛选策略，从局部图像集合中确定出一个或者多个目标物体局部图像。

本步骤与图1实施例中步骤103所述的一致，此处不再赘述。

需要说明的是，上述第一执行设备、第二执行设备可能是各不相同的运算设备，也可能是相同的运算设备，需要根据实际的负载情况进行合理分配；且类似于步骤804所述的方式第一执行设备、第二执行设备可能一个运算设备，也可以是多个运算设备，本发明具体不做限制。

此外，需要说明的是，图8的实施例仅为示例性说明在执行步骤802、步骤805之前，分别确定对应的执行设备，在具体应用中可以根据实际的应用场景，对应选择性执行，也就是说，在至少一个上述步骤前执行对应的执行设备的确定操作，具体本发明不做限制。

图9是本发明实施例提供的一种图像的处理装置的框图，如9所示，该装置900包括：

物体检测模块910，用于对视频流中的多个待处理视频帧进行目标物体检测，以获得多个待处理视频帧中多个目标物体的目标位置信息和目标类型。

集合确定模块920，用于根据目标位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个目标物体所分别对应的局部图像集合，局部图像集合中包括多个待处理视频帧中同一目标物体对应的一个或者多个局部图像。

图像确定模块930，用于根据每个局部图像集合的目标类型，利用目标筛选策略，从局部图像集合中确定出一个或者多个目标物体局部图像。

可选的，集合确定模块920，包括：

信息确定子模块，用于根据目标位置信息，通过预测和滤波处理，分别确定多个待处理视频帧中多个目标物体对应的预测位置信息，预测位置信息包括根据目标位置信息所预测出的多个目标物体在下一帧中分别对应的位置信息。

物体追踪子模块，用于根据预测位置信息和目标位置信息，对多个待处理视频帧中的多个目标物体进行交并比追踪，以确定多个待处理视频帧中的多个目标物体对应的物体框集合；

集合确定子模块，用于根据物体框集合，确定局部图像集合。

可选的，物体追踪子模块，包括：

信息确定单元，用于根据第一预测位置信息，确定第一视频帧中的第一预测物体框，第一预测位置信息是基于第一目标物体位置信息所预测出的在第一视频帧中第一目标物体对应的位置信息，第一目标物体位置信息是第一目标物体在第一视频帧的上一帧中的位置信息。

框获取单元，用于根据目标物体位置信息中第一视频帧中各个目标物体所对应的位置信息，获取第一视频帧中的一个或者多个待确定目标物体框；

比值确定单元，用于确定一个或者多个待确定目标物体框与第一预测物体框之间的交并比值；

框确定单元，用于将交并比值大于预设阈值的待确定目标物体框作为第一目标物体框集合中的目标物体框；

其中，第一视频帧是多个待处理视频帧中的任一视频帧，第一目标物体框集合是第一视频帧的上一视频帧中第一目标物体所在的目标物体框集合。

可选的，物体追踪子模块，还包括：

框确定单元，还用于将交并比值小于等于预设阈值的待确定目标物体框作为待处理物体框；

信息提取单元，用于提取待处理物体框中对应的待处理物体的特征信息；

信息比对单元，用于将待处理物体的特征信息与第一特征集合中的各个特征信息进行比对，第一特征集合中包括在第一视频帧之前的视频帧中所获取到的多个目标物体的特征信息，第一特征信息是第一特征集合中的任一特征信息；

框确定单元，还用于在待处理物体的特征信息与第一特征信息的相似度大于预设相似度阈值的情况下，将待处理物体框作为第二目标物体框集合中的物体框，第二目标物体框集合是第一特征信息对应的物体框所在的物体框集合。

可选的，图像确定模块930，包括：

策略确定子模块，用于确定与每个局部图像集合的目标类型所对应的目标筛选策略，目标筛选策略中包括用于计算置信度的计算策略、用于计算质量分值的打分策略以及用于选择图像的选择策略中的至少一个；

置信度确定子模块，用于在目标筛选策略中包括计算策略的情况下，根据计算策略，确定与一个或者多个局部图像集合分别对应的一个或者多个目标图像的置信度；

图像确定子模块，用于将置信度大于对应的预设置信度阈值的一个或者多个目标图像，作为目标物体局部图像。

可选的，在目标筛选策略中还包括打分策略和选择策略的情况下，图像确定模块930，还包括：

分值确定子模块，用于在根据计算策略，确定与一个或者多个局部图像集合分别对应的一个或者多个目标图像的置信度的步骤之前，根据打分策略，确定每个局部图像集合中的各个局部图像的质量分值，打分策略用于基于各个局部图像的姿态信息和清晰度信息确定各个局部图像的质量分值；

图像确定子模块，还用于将每个局部图像集合中质量分值大于对应的分值阈值的局部图像，作为待筛选局部图像；

图像确定子模块，还用于根据选择策略，确定与目标图像集合对应的目标图像，目标图像集合包括与待筛选局部图像对应的一个或者多个局部图像集合，目标图像包括一个或者多个待筛选局部图像。

可选的，置信度确定子模块，用于：

在不满足预设的批次处理条件的情况下，缓存已获取到的目标图像；

在满足批次处理条件的情况下，分别计算目标图像中所包括的局部图像的置信度。

可选的，装置900还包括：

信息确定模块，用于在根据每个局部图像集合的目标类型，利用目标筛选策略，从局部图像集合中确定出一个或者多个目标物体局部图像的步骤之后，确定与一个或者多个目标物体局部图像对应的特征信息和/或属性信息。

可选的，信息确定模块，具体的用于：

获取用于选择一个或者多个待提取物体的选择指令；

响应于选择指令，根据视频流，确定一个或者多个待提取物体的特征信息和/或属性信息。

如图9的图像的处理装置，应用于嵌入式平台，嵌入式平台包括多个运算设备，装置包括：

物体检测模块910，用于对视频流中的多个待处理视频帧进行目标物体检测，以获得多个待处理视频帧中多个目标物体的目标位置信息和目标类型。

集合确定模块920，用于根据目标位置信息，利用交并比追踪策略，确定多个待处理视频帧中多个目标物体所分别对应的局部图像集合，局部图像集合中包括多个待处理视频帧中同一目标物体对应的一个或者多个局部图像。

图像确定模块930，用于根据每个局部图像集合的目标类型，利用目标筛选策略，从局部图像集合中确定出一个或者多个目标物体局部图像。

可选的，装置900还包括：

设备确定模块，用于在对视频流中的多个待处理视频帧进行目标物体检测，以获得多个待处理视频帧中多个目标物体的目标位置信息和目标类型的步骤之前和/或在根据每个局部图像集合的目标类型，利用目标筛选策略，从局部图像集合中确定出一个或者多个目标物体局部图像的步骤之前，确定用于执行对视频流中的多个待处理视频帧进行目标物体检测，以获得多个待处理视频帧中的目标位置信息和目标类型的步骤和/或在根据每个局部图像集合的目标类型，利用目标筛选策略，从局部图像集合中确定出一个或者多个目标物体局部图像的步骤的至少一个执行设备，执行设备是多个运算设备中的任一设备。

可选的，装置900还包括：

负载获取模块，用于在确定用于执行目标步骤的至少一个执行设备的步骤之前，获取多个运算设备的负载情况，以根据多个运算设备的负载情况，确定至少一个执行设备。

可选的，多个运算设备包括神经网络推理引擎NNIE、中央处理单元CPU以及数字信号处理设备DSP中的多者。

另外，本发明实施例还提供一种终端，如图10所示，该终端1000包括处理器1020，存储器1010以及存储在存储器1010上并可在处理上运行的计算机程序，该计算机程序被处理器1020执行时实现上述实施例所述的图像的处理方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的用于图像监控的控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、磁碟或者光盘等。

对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在此提供的图像的处理方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据获取方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (15)

1.一种图像的处理方法，其特征在于，所述方法包括：

对视频流中的多个待处理视频帧进行目标物体检测，以获得所述多个待处理视频帧中多个目标物体的目标位置信息和目标类型；

根据所述目标位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个目标物体所分别对应的局部图像集合，所述局部图像集合中包括所述多个待处理视频帧中同一目标物体对应的一个或者多个局部图像，每个局部图像集合的目标类型与所述每个局部图像集合对应的目标物体的目标类型一致；

根据所述每个局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像；

所述根据所述目标位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个目标物体所分别对应的局部图像集合，包括：

根据所述目标位置信息，通过预测和滤波处理，分别确定所述多个待处理视频帧中多个目标物体对应的预测位置信息，所述预测位置信息包括根据所述目标位置信息所预测出的所述多个目标物体在下一帧中分别对应的位置信息；

根据所述预测位置信息和所述目标位置信息，对所述多个待处理视频帧中的多个目标物体进行交并比追踪，以确定所述多个待处理视频帧中的多个目标物体对应的物体框集合；

根据所述物体框集合，确定所述局部图像集合；

其中，所述根据所述预测位置信息和所述目标位置信息，对所述多个待处理视频帧中的多个目标物体进行交并比追踪，以确定所述多个待处理视频帧中的多个目标物体对应的物体框集合，还包括：

将所述交并比值小于等于预设阈值的待确定目标物体框作为待处理物体框；

提取所述待处理物体框中对应的待处理物体的特征信息；

将所述待处理物体的特征信息与第一特征集合中的各个特征信息进行比对，所述第一特征集合中包括在第一视频帧之前的视频帧中所获取到的多个目标物体的特征信息；所述第一视频帧是所述多个待处理视频中的任一视频帧；

在所述待处理物体的特征信息与第一特征信息的相似度大于预设相似度阈值的情况下，将所述待处理物体框作为第二目标物体框集合中的物体框，所述第二目标物体框集合是所述第一特征信息对应的物体框所在的物体框集合，所述第一特征信息是所述第一特征集合中的任一特征信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述预测位置信息和所述目标位置信息，对所述多个待处理视频帧中的多个目标物体进行交并比追踪，以确定所述多个待处理视频帧中的多个目标物体对应的物体框集合，包括：

根据第一预测位置信息，确定所述第一视频帧中的第一预测物体框，所述第一预测位置信息是基于第一目标物体位置信息所预测出的在所述第一视频帧中第一目标物体对应的位置信息，所述第一目标物体位置信息是所述第一目标物体在所述第一视频帧的上一帧中的位置信息；

根据所述目标物体位置信息中所述第一视频帧中各个目标物体所对应的位置信息，获取所述第一视频帧中的一个或者多个待确定目标物体框；

确定所述一个或者多个待确定目标物体框与所述第一预测物体框之间的交并比值；

将所述交并比值大于预设阈值的待确定目标物体框作为第一目标物体框集合中的目标物体框；

其中，所述第一目标物体框集合是所述第一视频帧的上一视频帧中所述第一目标物体所在的目标物体框集合。

3.根据权利要求1-2中任一项所述的方法，其特征在于，所述根据所述每个局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像，包括：

确定与所述每个局部图像集合的目标类型所对应的所述目标筛选策略，所述目标筛选策略中包括用于计算置信度的计算策略、用于计算质量分值的打分策略以及用于选择图像的选择策略中的至少一个；

在所述目标筛选策略中包括所述计算策略的情况下，根据所述计算策略，确定与一个或者多个所述局部图像集合分别对应的一个或者多个目标图像的置信度；

将所述置信度大于对应的预设置信度阈值的一个或者多个目标图像，作为所述目标物体局部图像。

4.根据权利要求3所述的方法，其特征在于，在所述目标筛选策略中还包括所述打分策略和所述选择策略的情况下，在所述根据所述计算策略，确定与一个或者多个所述局部图像集合分别对应的一个或者多个目标图像的置信度的步骤之前，所述方法还包括：

根据所述打分策略，确定所述每个局部图像集合中的各个局部图像的质量分值，所述打分策略用于基于所述各个局部图像的姿态信息和清晰度信息确定所述各个局部图像的质量分值；

将所述每个局部图像集合中质量分值大于对应的分值阈值的局部图像，作为待筛选局部图像；

根据所述选择策略，确定与目标图像集合对应的目标图像，所述目标图像集合包括与所述待筛选局部图像对应的一个或者多个局部图像集合，所述目标图像包括一个或者多个待筛选局部图像。

5.根据权利要求3所述的方法，其特征在于，所述根据所述计算策略，确定与一个或者多个所述局部图像集合分别对应的一个或者多个目标图像的置信度，包括：

在不满足预设的批次处理条件的情况下，缓存已获取到的所述目标图像；

在满足所述批次处理条件的情况下，分别计算所述目标图像中所包括的局部图像的置信度。

6.根据权利要求3所述的方法，其特征在于，在所述根据所述每个局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像的步骤之后，所述方法还包括：

确定与所述一个或者多个目标物体局部图像对应的特征信息和/或属性信息。

7.根据权利要求6所述的方法，其特征在于，所述确定与所述一个或者多个目标物体局部图像对应的特征信息和/或属性信息，包括：

获取用于选择一个或者多个待提取物体的选择指令；

响应于所述选择指令，根据所述视频流，确定所述一个或者多个待提取物体的特征信息和/或属性信息。

8.一种图像的处理方法，其特征在于，应用于嵌入式平台，所述嵌入式平台包括多个运算设备，所述方法包括：

对视频流中的多个待处理视频帧进行目标物体检测，以获得所述多个待处理视频帧中多个目标物体的目标位置信息和目标类型；

根据所述目标位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个目标物体所分别对应的局部图像集合，所述局部图像集合中包括所述多个待处理视频帧中同一目标物体对应的一个或者多个局部图像，每个局部图像集合的目标类型与所述每个局部图像集合对应的目标物体的目标类型一致；

根据所述每个局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像；

其中，所述根据所述目标位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个目标物体所分别对应的局部图像集合，包括：

根据所述目标位置信息，通过预测和滤波处理，分别确定所述多个待处理视频帧中多个目标物体对应的预测位置信息，所述预测位置信息包括根据所述目标位置信息所预测出的所述多个目标物体在下一帧中分别对应的位置信息；

根据所述预测位置信息和所述目标位置信息，对所述多个待处理视频帧中的多个目标物体进行交并比追踪，以确定所述多个待处理视频帧中的多个目标物体对应的物体框集合；

其中，所述根据所述预测位置信息和所述目标位置信息，对所述多个待处理视频帧中的多个目标物体进行交并比追踪，以确定所述多个待处理视频帧中的多个目标物体对应的物体框集合，还包括：

将所述交并比值小于等于预设阈值的待确定目标物体框作为待处理物体框；

提取所述待处理物体框中对应的待处理物体的特征信息；

将所述待处理物体的特征信息与第一特征集合中的各个特征信息进行比对，所述第一特征集合中包括在第一视频帧之前的视频帧中所获取到的多个目标物体的特征信息；所述第一视频帧是所述多个待处理视频中的任一视频帧；

在所述待处理物体的特征信息与第一特征信息的相似度大于预设相似度阈值的情况下，将所述待处理物体框作为第二目标物体框集合中的物体框，所述第二目标物体框集合是所述第一特征信息对应的物体框所在的物体框集合，所述第一特征信息是所述第一特征集合中的任一特征信息。

9.根据权利要求8所述的方法，其特征在于，在所述对视频流中的多个待处理视频帧进行目标物体检测，以获得所述多个待处理视频帧中多个目标物体的目标位置信息和目标类型的步骤之前和/或在所述根据所述每个局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像的步骤之前，所述方法还包括：

确定用于执行所述对视频流中的多个待处理视频帧进行目标物体检测，以获得所述多个待处理视频帧中的目标位置信息和目标类型的步骤和/或在所述根据所述每个局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像的步骤的至少一个执行设备，所述执行设备是所述多个运算设备中的任一设备。

10.根据权利要求9所述的方法，其特征在于，在所述确定用于执行目标步骤的至少一个执行设备的步骤之前，所述方法还包括：

获取所述多个运算设备的负载情况，以根据所述多个运算设备的负载情况，确定所述至少一个执行设备。

11.根据权利要求8-10任一项所述的方法，其特征在于，所述多个运算设备包括神经网络推理引擎NNIE、中央处理单元CPU以及数字信号处理设备DSP中的多者。

12.一种图像的处理装置，其特征在于，所述装置包括：

物体检测模块，用于对视频流中的多个待处理视频帧进行目标物体检测，以获得所述多个待处理视频帧中多个目标物体的目标位置信息和目标类型；

集合确定模块，用于根据所述目标位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个目标物体所分别对应的局部图像集合，所述局部图像集合中包括所述多个待处理视频帧中同一目标物体对应的一个或者多个局部图像；

图像确定模块，用于根据所述局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像;

其中，所述集合确定模块，包括：

信息确定子模块，用于根据目标位置信息，通过预测和滤波处理，分别确定多个待处理视频帧中多个目标物体对应的预测位置信息，预测位置信息包括根据目标位置信息所预测出的多个目标物体在下一帧中分别对应的位置信息；

物体追踪子模块，用于根据预测位置信息和目标位置信息，对多个待处理视频帧中的多个目标物体进行交并比追踪，以确定多个待处理视频帧中的多个目标物体对应的物体框集合；

集合确定子模块，用于根据物体框集合，确定局部图像集合；

其中，所述物体追踪子模块，包括：

框确定单元，用于将交并比值小于等于预设阈值的待确定目标物体框作为待处理物体框；

信息提取单元，用于提取待处理物体框中对应的待处理物体的特征信息；

信息比对单元，用于将待处理物体的特征信息与第一特征集合中的各个特征信息进行比对，所述第一特征集合中包括在第一视频帧之前的视频帧中所获取到的多个目标物体的特征信息；所述第一视频帧是所述多个待处理视频中的任一视频帧；

框确定单元，还用于在待处理物体的特征信息与第一特征信息的相似度大于预设相似度阈值的情况下，将待处理物体框作为第二目标物体框集合中的物体框，所述第二目标物体框集合是所述第一特征信息对应的物体框所在的物体框集合；所述第一特征信息是所述第一特征集合中的任一特征信息。

13.一种图像的处理装置，其特征在于，应用于嵌入式平台，所述嵌入式平台包括多个运算设备，所述装置包括：

物体检测模块，用于对视频流中的多个待处理视频帧进行目标物体检测，以获得所述多个待处理视频帧中多个目标物体的目标位置信息和目标类型；

集合确定模块，用于根据所述目标位置信息，利用交并比追踪策略，确定所述多个待处理视频帧中多个目标物体所分别对应的局部图像集合，所述局部图像集合中包括所述多个待处理视频帧中同一目标物体对应的一个或者多个局部图像；

图像确定模块，用于根据所述局部图像集合的目标类型，利用目标筛选策略，从所述局部图像集合中确定出一个或者多个目标物体局部图像；

其中，所述集合确定模块，包括：

信息确定子模块，用于根据目标位置信息，通过预测和滤波处理，分别确定多个待处理视频帧中多个目标物体对应的预测位置信息，预测位置信息包括根据目标位置信息所预测出的多个目标物体在下一帧中分别对应的位置信息；

物体追踪子模块，用于根据预测位置信息和目标位置信息，对多个待处理视频帧中的多个目标物体进行交并比追踪，以确定多个待处理视频帧中的多个目标物体对应的物体框集合；

集合确定子模块，用于根据物体框集合，确定局部图像集合；

其中，所述物体追踪子模块，包括：

框确定单元，用于将交并比值小于等于预设阈值的待确定目标物体框作为待处理物体框；

信息提取单元，用于提取待处理物体框中对应的待处理物体的特征信息；

信息比对单元，用于将待处理物体的特征信息与第一特征集合中的各个特征信息进行比对，所述第一特征集合中包括在第一视频帧之前的视频帧中所获取到的多个目标物体的特征信息；所述第一视频帧是所述多个待处理视频中的任一视频帧；

框确定单元，还用于在待处理物体的特征信息与第一特征信息的相似度大于预设相似度阈值的情况下，将待处理物体框作为第二目标物体框集合中的物体框，所述第二目标物体框集合是所述第一特征信息对应的物体框所在的物体框集合；所述第一特征信息是所述第一特征集合中的任一特征信息。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像的处理方法的步骤。

15.一种终端，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述图像的处理方法的步骤。

Images