CN112836635B - 图像处理方法、装置及设备 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、装置及设备，该方法包括：对第一图像进行人脸识别处理得到M个人脸图像，所述第一图像为摄像装置采集得到的视频中的图像，所述M为大于或等于1的整数；获取显示设备当前显示的图像的人脸标注结果；根据所述人脸标注结果和所述M个人脸图像，对所述第一图像进行人脸标注得到第二图像，所述第二图像为所述显示设备待显示的图像。提高了对视频处理的准确性。

Description

图像处理方法、装置及设备

技术领域

本申请涉及通信技术领域，尤其涉及一种图像处理方法、装置及设备。

背景技术

在视频监控过程中，可以对摄像装置采集的视频进行人脸识别，并根据人脸识别结果对视频进行标注以及显示。

在相关技术中，在摄像装置采集得到视频之后，通过显示设备显示采集得到的视频；同时，服务器还将摄像装置采集的视频进行格式转换得到WEB兼容的视频，再对格式转换后的视频进行人脸识别处理，得到标注信息(例如，人脸识别框)，并将标注信息添加至显示设备显示的视频中相应的位置。然而，服务器进行人脸识别的过程较慢，显示设备显示图像的过程较快，使得服务器确定得到标注信息的进度与显示设备显示视频的进度不一致，进而导致显示设备显示的人脸图像与标注信息不一致，例如，人脸识别框的显示位置错误，导致视频处理的准确性较差。

发明内容

本申请提供一种图像处理方法、装置及设备。提高了对视频进行处理的准确性。

第一方面，本申请实施例提供一种图像处理方法，包括：

对第一图像进行人脸识别处理得到M个人脸图像，所述第一图像为摄像装置采集得到的视频中的图像，所述M为大于或等于1的整数；

获取显示设备当前显示的图像的人脸标注结果；

根据所述人脸标注结果和所述M个人脸图像，对所述第一图像进行人脸标注得到第二图像，所述第二图像为所述显示设备待显示的图像。

在一种可能的实施方式中，根据所述人脸标注结果和所述M个人脸图像，对所述第一图像进行人脸标注得到第二图像，包括：

根据所述人脸标注结果，确定所述显示设备当前显示的图像中包括的N个人脸图像和所述N个人脸图像对应的N个人脸标注信息，所述N为整数；

根据所述N个人脸图像、所述N个人脸标注信息和所述M个人脸图像，对所述第一图像进行人脸标注得到所述第二图像。

在一种可能的实施方式中，根据所述N个人脸图像、所述N个人脸标注信息和所述M个人脸图像，对所述第一图像进行人脸标注得到所述第二图像，包括：

将所述M个人脸图像和所述N个人脸图像中重复的人脸图像确定为第一人脸图像；

将所述M个人脸图像中存在且所述N个人脸图像中不存在的人脸图像确定为第二人脸图像；

根据所述第一人脸图像和所述第二人脸图像，对所述第一图像进行人脸标注得到所述第二图像。

在一种可能的实施方式中，根据所述第一人脸图像和所述第二人脸图像，对所述第一图像进行人脸标注得到所述第二图像，包括：

获取所述第一人脸图像在所述显示设备当前显示的图像中的第一人脸标注信息；

根据所述第一人脸标注信息，在所述第一图像中对所述第一人脸图像进行标注；

确定所述第二人脸图像对应的第二人脸标注信息；

根据所述第二人脸标注信息，在所述第一图像中对所述第二人脸图像进行标注。

在一种可能的实施方式中，根据所述第一人脸标注信息，在所述第一图像中对所述第一人脸图像进行标注，包括：

确定所述第一人脸图像在所述第一图像中的第一位置；

在所述第一图像的所述第一位置标注所述第一人脸标注信息。

在一种可能的实施方式中，根据所述第二人脸标注信息，在所述第一图像中对所述第二人脸图像进行标注，包括：

确定所述第二人脸图像在所述第一图像中的第二位置；

在所述第二图像的所述第二位置标注所述第二人脸标注信息。

在一种可能的实施方式中，对第一图像进行人脸识别处理得到M个人脸图像之前，还包括：

获取第一宽比和第一高比，所述第一宽比为所述第一图像的宽度与所述显示设备的宽度的比值，所述第一高比为所述第一图像的高度与所述显示设备的高度的比值；

根据所述第一宽比和所述第一高比，对所述第一图像进行缩放处理。

在一种可能的实施方式中，根据所述人脸标注结果和所述M个人脸图像，对所述第一图像进行人脸标注得到第二图像之后，还包括：

获取第二宽比和第二高比，所述第二宽比为所述第二图像的宽度与所述显示设备的宽度的比值，所述第二高比为所述第二图像的高度与所述显示设备的高度的比值；

根据所述第二宽比和所述第二高比，对所述第二图像进行缩放处理。

在一种可能的实施方式中，对第一图像进行人脸识别处理得到M个人脸图像之前，还包括：

接收显示设备对预设服务的图像调用请求；

根据所述图像调用请求，通过所述预设服务在所述视频中获取所述第一图像。

在一种可能的实施方式中，所述图像调用请求的周期与所述显示设备的刷新周期相同，所述刷新周期为所述显示设备更换显示的图像的周期。

第二方面，本申请实施例提供一种图像处理装置，包括：人脸识别模块、第一获取模块和标注模块，其中，

所述人脸识别模块用于，对第一图像进行人脸识别处理得到M个人脸图像，所述第一图像为摄像装置采集得到的视频中的图像，所述M为大于或等于1的整数；

所述第一获取模块用于，获取显示设备当前显示的图像的人脸标注结果；

所述标注模块用于，根据所述人脸标注结果和所述M个人脸图像，对所述第一图像进行人脸标注得到第二图像，所述第二图像为所述显示设备待显示的图像。

在一种可能的实施方式中，所述标注模块具体用于：

根据所述人脸标注结果，确定所述显示设备当前显示的图像中包括的N个人脸图像和所述N个人脸图像对应的N个人脸标注信息，所述N为整数；

根据所述N个人脸图像、所述N个人脸标注信息和所述M个人脸图像，对所述第一图像进行人脸标注得到所述第二图像。

在一种可能的实施方式中，所述标注模块具体用于：将所述M个人脸图像和所述N个人脸图像中重复的人脸图像确定为第一人脸图像；

将所述M个人脸图像中存在且所述N个人脸图像中不存在的人脸图像确定为第二人脸图像；

根据所述第一人脸图像和所述第二人脸图像，对所述第一图像进行人脸标注得到所述第二图像。

在一种可能的实施方式中，所述标注模块具体用于：获取所述第一人脸图像在所述显示设备当前显示的图像中的第一人脸标注信息；

根据所述第一人脸标注信息，在所述第一图像中对所述第一人脸图像进行标注；

确定所述第二人脸图像对应的第二人脸标注信息；

根据所述第二人脸标注信息，在所述第一图像中对所述第二人脸图像进行标注。

在一种可能的实施方式中，所述标注模块具体用于：确定所述第一人脸图像在所述第一图像中的第一位置；

在所述第一图像的所述第一位置标注所述第一人脸标注信息。

在一种可能的实施方式中，所述标注模块具体用于：

确定所述第二人脸图像在所述第一图像中的第二位置；

在所述第二图像的所述第二位置标注所述第二人脸标注信息。

在一种可能的实施方式中，所述装置还包括缩放模块，其中，

所述缩放模块用于，在所述人脸识别模块对第一图像进行人脸识别处理得到M个人脸图像之前，获取第一宽比和第一高比，所述第一宽比为所述第一图像的宽度与所述显示设备的宽度的比值，所述第一高比为所述第一图像的高度与所述显示设备的高度的比值；

所述缩放模块还用于，根据所述第一宽比和所述第一高比，对所述第一图像进行缩放处理。

在一种可能的实施方式中，所述缩放模块还用于，在所述标注模块根据所述人脸标注结果和所述M个人脸图像对所述第一图像进行人脸标注得到第二图像之后，获取第二宽比和第二高比，所述第二宽比为所述第二图像的宽度与所述显示设备的宽度的比值，所述第二高比为所述第二图像的高度与所述显示设备的高度的比值；

所述缩放模块还用于，根据所述第二宽比和所述第二高比，对所述第二图像进行缩放处理。

在一种可能的实施方式中，所述装置还包括接收模块和第二获取模块，其中，

所述接收模块用于，在所述人脸识别模块对第一图像进行人脸识别处理得到M个人脸图像之前，接收显示设备对预设服务的图像调用请求；

所述第二获取模块用于，根据所述图像调用请求，通过所述预设服务在所述视频中获取所述第一图像。

在一种可能的实施方式中，所述图像调用请求的周期与所述显示设备的刷新周期相同，所述刷新周期为所述显示设备更换显示的图像的周期。

第三方面，本申请实施例提供一种图像处理设备，包括：处理器和存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如第一方面任一项所述的图像处理方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的图像处理方法。

第五方面，本申请实施例提供一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所示的图像处理方法。

本申请实施例提供的图像处理方法、装置及设备，获取得到摄像装置采集得到的第一图像之后，先对第一图像进行人脸识别得到M个人脸图像，还可以获取显示设备当前显示图像(第一图像的上一帧图像)的人脸标注结果，并基于该人脸标注结果对第一图像中的M个人脸图像进行人脸标注，并由显示设备显示标注后的人脸图像。在上述过程中，由于显示设备显示的是标注后的人脸图像，避免了摄像设备显示的人脸图像和对人脸图像的标注信息不一致，提高了对视频处理的准确性。并且由于对第一图像进行人脸标注时参考了上一帧图像的人脸标注结果，使得对第一图像进行的人脸标注信息与上一帧的人脸标注信息具有连贯性，避免显示设备显示的人脸标注信息出现跳变，进一步提高了对视频处理的准确性。

附图说明

图1为本申请提供的系统架构图；

图2为相关技术中人脸识别结果的示意图；

图3为相关技术中人脸识别结果的示意图；

图4为本申请实施例提供的图像处理方法的流程示意图；

图5为本申请实施例提供的另一种图像处理方法的流程示意图；

图6为本申请实施例提供的图像处理过程的示意图；

图7为本申请实施例提供的一种图像处理装置的结构示意图；

图8为本申请实施例提供的另一种图像处理装置的结构示意图；

图9为本申请实施例提供的一种图像处理设备的结构示意图。

具体实施方式

为了便于理解，首先结合图1介绍本申请实施例所适用的系统架构。

图1为本申请提供的系统架构图。请参见图1，包括摄像装置101、服务器102和显示设备103。摄像装置101可以进行视频采集。服务器102可以对摄像装置101采集得到的视频中的图像进行人脸识别处理、人脸标注处理等。显示设备103可以进行图像显示(或者视频显示)。

下面，结合图2说明相关技术中对视频进行处理的过程。图2为相关技术中对视频的处理过程示意图。请参见图2，摄像装置采集得到的视频之后，将视频同时发送给服务器和显示设备。在显示设备接收到视频之后，显示设备进行视频显示；在服务器接收到视频之后，服务器对视频进行格式转换，以将视频转换为WEB兼容的格式，例如，WEB兼容的格式可以为动态影像专家压缩标准音频层面4(Moving Picture Experts Group Audio Layer 4，MP4)MP4格式。例如，假设服务器为Nginx服务器，则可以由该服务器中的ngx_rtmp_live_module模块对视频进行格式转换，再由application live对格式转换后的视频进行人脸识别并生成人脸标注信息，下文以人脸标注信息可以为人脸识别框为例进行说明。服务器可以确定人脸识别框的位置，并向显示设备发送人脸识别框及对应的位置，以使显示设备根据人脸识别框的位置，将人脸识别框覆盖在显示设备当前显示的视频上。然而，由于服务器对视频进行格式转换、以及进行人脸识别得到人脸识别框的过程较慢，而显示设备进行视频显示的过程较快，导致服务器得到的人脸识别框与显示设备显示视频的进度不一样，例如，在服务器确定出第一帧图像的人脸识别框时，显示设备已显示到第二帧图像了。这样，导致显示设备中显示的人脸识别框的位置发生错误。下面，结合图3，对相关技术中的人脸标注结果进行说明。

图3为相关技术中人脸识别结果的示意图。请参见图3，显示设备将视频发送至服务器和显示设备之后，显示设备进行视频显示，服务器对视频进行格式转换，以及进行人脸识别。假设在t时刻，服务器确定得到视频中第一帧图像中的人脸识别框，服务器向显示设备发送人脸识别框及人脸识别框对应的位置。在t时刻，显示设备已经显示视频中的第二帧图像，则显示设备在第二帧图像上显示第一帧图像对应的人脸识别框。若第一帧图像和第二帧图像中人脸的位置发生变化，则显示设备显示的人脸识别框与人脸的位置不正对。例如，请参见图3，人脸识别框A、人脸识别框B和人脸识别框C均未准确的覆盖人脸。

为了解决上述技术问题，在本申请实施例中，先对摄像装置采集的图像进行人脸识别，以及根据人脸识别结果对摄像装置采集的图像进行人脸标注，再由显示设备对标注后的图像进行显示，这样，可以避免显示设备显示的人脸图像与标注信息的位置不一致。进一步的，在对图像进行人脸标注时还可以参考显示设备当前显示的图像(上一帧图像)的人脸标注结果，这样，若两帧相邻的图像中包括相同的人脸图像时，对该相同的人脸图像的标注信息可以为相同的，这样，可以避免相同的人脸图像的标注信息发生跳变。

下面，通过具体实施例，对本申请所示的技术方案进行详细说明。需要说明的是，下面几个实施例可以单独存在，也可以相互结合，对于相同或相似的内容，在不同的实施例中不再重复说明。

图4为本申请实施例提供的图像处理方法的流程示意图。请参见图4，该方法可以包括：

S401、对摄像装置采集得到的第一图像进行人脸识别处理，得到M个人脸图像。其中，M为大于或等于1的整数。

本申请实施例的执行主体可以为服务器，也可以为设置在服务器中的图像处理装置。图像处理装置可以通过软件实现或者通过软件和硬件的结合实现。可选的，当显示设备中设置有用于图像处理的处理器时，执行主体还可以为该显示设备或者该显示设备中的处理器。为了便于理解，下面，以执行主体为服务器为例进行说明。

服务器可以先获取摄像装置采集得到的第一图像，再对第一图像进行人脸识别处理。摄像设备可以进行实时图像采集，即，摄像装置采集得到的视频流。服务器可以在摄像装置采集得到的视频流中获取第一图像。服务器中可以设置有预设服务(例如，CameraServer)，该预设服务还可以称为图像程序，服务器可以通过该图像程序获取摄像装置采集的视频流。显示设备中可以设置有显示程序(例如，requestAnimationFrame)，显示程序周期性的调用图像程序，在该图像程序被调用时，该图像程序从摄像装置采集的视频流中获取一帧图像。显示程序根据显示设备的刷新间隔周期性调用图像程序，以获取图像流。

例如，假设显示设备每秒显示60帧图像，即，显示设备的刷新间隔为1/60秒，则requestAnimationFrame每1/60秒调用一次CameraServer，在CameraServer被调用之后，CameraServer可以从摄像装置采集得到的视频流中获取一帧待处理的图像。CameraServer最近一次从视频流中获取的一帧图像即为第一图像。

需要说明的是，若第一图像中不包括人脸图像，对不对第一图像进行处理。

可选的，为了使得显示设备显示的图像与显示屏幕的尺寸相匹配，在对第一图像进行人脸识别之前，可以先对第一图像进行缩放处理。可以获取第一图像的宽度与显示设备的宽度的第一宽比，以及第一图像的高度与显示设备的高度的第一高比，并根据第一宽比和第一高比，对第一图像进行缩放处理。这样，可以使得缩放处理后的第一图像的尺寸与显示屏幕的尺寸匹配。可以通过像素的数量表示第一图像的宽度、显示设备的宽度、第一图像的高度以及显示设备的高度。

可以预先计算第一宽比和第一高比，并在预设存储空间存储第一宽比和第一高比，当需要获取第一宽比和第一高比时，在预设存储空间获取第一宽比和第一高比即可，例如，在首次工作时，计算第一宽比和第一高比，并将第一宽比和第一高比存储至预设存储空间，这样，无需在每次使用第一宽比和第一高比时都计算第一宽比和第一高比，减少了计算量。或者，在需要获取第一宽比和第一高比时，可以根据第一图像的宽度和显示设备的宽度计算第一宽比，以及根据第一图像的高度和显示设备的高度计算第一高比，这样，无需占用额外的存储空间。

S402、获取显示设备当前显示的图像的人脸标注结果。

显示设备当前显示的图像为第一图像的上一帧图像。即，显示设备待显示的下一帧图像为第一图像。

显示设备当前显示的图像的人脸标注结果为服务器确定得到的，服务器可以缓存该图像的人脸标注结果。相应的，服务器可以在缓存中获取显示设备当前显示的图像的人脸标注结果。

人脸标注结果可以包括：显示设备当前显示的图像中包括的N个人脸图像和N个人脸图像对应的N个人脸标注信息。N为整数。

人脸标注信息可以包括如下至少一种：人脸识别框、人脸标识等。不同的人脸识别框的属性可能不同，例如，人脸识别框的属性可以包括人脸识别框的形状、尺寸、颜色等。人脸标识可以包括人名、职位等。

S403、根据人脸标注结果和M个人脸图像，对第一图像进行人脸标注得到第二图像。

其中，第二图像为显示设备待显示的图像。

第一图像中包括两种类型的人脸图像，一种类型的人脸图像为显示设备当前显示的图像(下文简称当前显示图像)中不包括的人脸图像，另一种类型的人脸图像为当前显示图像中包括的人脸图像，对该两种人脸图像进行标注的方式不同，具体的，可以通过如下方式进行标注：

可以根据人脸标注结果，确定显示设备当前显示的图像中包括的N个人脸图像和N个人脸图像对应的N个人脸标注信息，并根据N个人脸图像、N个人脸标注信息和M个人脸图像，对第一图像进行人脸标注得到第二图像。

可以将M个人脸图像和N个人脸图像中重复的人脸图像确定为第一人脸图像，将M个人脸图像中存在且N个人脸图像中不存在的人脸图像确定为第二人脸图像；根据第一人脸图像和第二人脸图像，对第一图像进行人脸标注得到第二图像。第一人脸图像为显示设备当前显示的图像(下文简称当前显示图像)和第一图像中均包括的人脸图像，第二图像为当前显示图像中不包括且第一图像中包括的人脸图像。

针对第一人脸图像，可以通过如下方式进行人脸标注：获取第一人脸图像在当前显示图像中的第一人脸标注信息，根据第一人脸标注信息，在第一图像中对第一人脸图像进行标注。可以确定第一人脸图像在第一图像中的第一位置，在第一图像的第一位置标注第一人脸标注信息。

在上述过程中，在第一图像中对第一人脸图像标注的为第一人脸标注信息，在当前显示图像中对第一人脸图像标注的也是第一人脸标注信息，即，在相邻的不同图像中，对第一人脸进行标注的人脸标注信息相同，这样，可以避免对第一人脸进行标注的人脸标注信息出现跳跃。

针对第二人脸图像，可以先确定第二人脸图像对应的第二人脸标注信息，再根据第二人脸标注信息，在第一图像中对第二人脸图像进行标注。可以确定第二人脸图像在第一图像中的第二位置，并在第二图像的第二位置标注第二人脸标注信息。

针对第一人脸图像或第二人脸图像，可以通过如下方式确定人脸标注信息在第二图像中的位置，假设通过矩形标签显示人脸标注信息，则可以先获取矩形标签的高度h和宽度w，假设以第二图像的左上角为坐标原点，矩形标签的右下角的坐标为(tx，ty)，则矩形标签的中心在第二图像中的坐标为(tx-w/2，ty-h/2)。需要说明的是，若未对第一人脸图像进行缩放处理，即，第一人脸图像的尺寸与显示设备的尺寸不匹配，则需要对第二人脸图像进行缩放处理，在对第二人脸图像进行缩放处理之后，若要准确的确定出矩形标签在第二人脸图像中的位置，则需要对矩形标签的中心在第二图像中的坐标进行变换处理，例如，假设第一宽比为x，第一高比为y，则变换处理后的坐标为((tx-w/2)/x，(ty-h/2)/y)。

可选的，若对第一人脸图像进行了缩放处理，则第一人脸图像的尺寸与显示设备的尺寸相匹配，第二人脸图像的尺寸也与显示设备的尺寸相匹配，在该种情况下，可以不对第二人脸图像进行缩放处理。若未对第一人脸图像进行缩放处理，则在显示第二人脸图像之前，可以先对第二人脸图像进行缩放处理，具体的，可以获取第二图像的宽度与所述显示设备的宽度的第二宽比，以及第二图像的高度与显示设备的高度的第二高比，并根据第二宽比和第二高比，对第二图像进行缩放处理。可选的，第一宽比和第二宽比相同；第一高比与第二高比相同。可以通过像素的数量表示第二图像的宽度、显示设备的宽度、第二图像的高度以及显示设备的高度。

可以预先计算第二宽比和第二高比，并在预设存储空间存储第二宽比和第二高比，当需要获取第二宽比和第二高比时，在预设存储空间获取第二宽比和第二高比即可，例如，在首次工作时，计算第二宽比和第二高比，并将第二宽比和第二高比存储至预设存储空间，这样，无需在每次使用第二宽比和第二高比时都计算第二宽比和第二高比，减少了计算量。或者，在需要获取第二宽比和第二高比时，可以根据第二图像的宽度和显示设备的宽度计算第二宽比，以及根据第二图像的高度和显示设备的高度计算第二高比，这样，无需占用额外的存储空间。

可选的，若图4所示的实施例的执行主体为显示设备，则显示设备在得到第二图像之后，显示第二图像。若图4所示的实施例的执行主体为服务器，则服务器得到第二图像之后，可以向显示设备发送第二图像，以使显示设备显示第二图像。

在显示设备显示第二图像时，可以通过image对象预加载第二图像，并通过canvas提供硬件3D加速渲染。

在本申请实施例中，服务器获取得到摄像装置采集得到的第一图像之后，先对第一图像进行人脸识别得到M个人脸图像，服务器还可以获取显示设备当前显示图像(第一图像的上一帧图像)的人脸标注结果，并基于该人脸标注结果对第一图像中的M个人脸图像进行人脸标注，并由显示设备显示标注后的人脸图像。在上述过程中，由于显示设备显示的是标注后的人脸图像，避免了摄像设备显示的人脸图像和对人脸图像的标注信息不一致，提高了对视频处理的准确性。并且由于对第一图像进行人脸标注时参考了上一帧图像的人脸标注结果，使得对第一图像进行的人脸标注信息与上一帧的人脸标注信息具有连贯性，避免显示设备显示的人脸标注信息出现跳变，进一步提高了对视频处理的准确性。

下面，结合图5，对本申请所示的图像处理方法进行进一步详细说明。

图5为本申请实施例提供的另一种图像处理方法的流程示意图。请参见图5，该方法可以包括：

S501、接收显示设备对预设服务的图像调用请求。

显示设备中可以设置有显示程序，服务器中设置有预设服务。显示程序周期性的向预设服务发送图像调用请求，图像调用请求用于请求获取图像。周期性对应的周期可以为显示设备的刷新间隔，刷新间隔是指显示设备显示一张图像的时长。显示程序可以为requestAnimationFrame，预设服务可以为CameraServer。

S502、根据图像调用请求，通过预设服务在视频中获取第一图像。

在接收到图像调用请求之后，通过预设服务在视频中获取第一图像，第一图像为视频中、与显示设备当前显示的图像之间有预设时间间隔的图像，且第一图像位于显示设备当前显示的图像之后。这样，可以使得显示设备显示的多帧图像所形成视频较为流畅，并且使得显示设备显示的视频的时延较低、无跳帧。

S503、获取第一宽比和第一高比。

其中，第一宽比为第一图像的宽度与显示设备的宽度的比值，第一高比为第一图像的高度与显示设备的高度的比值。

若图5所示的实施例首次执行，则根据第一图像的宽度和显示设备的宽度计算第一宽比，以及根据第一图像的高度和显示设备的高度计算第二高比，并在预设存储空间存储第一宽比和第一高比。若在第二以后执行图4所示的实施例，则在预设存储空间获取第一宽比和第一高比。

S504、根据第一宽比和第一高比，对第一图像进行缩放处理。

在对第一图像进行缩放处理之后，第一图像的尺寸与显示设备的尺寸相同。尺寸可以是指横向包括的像素数量以及纵向包括的像素数量。

S505、对第一图像进行人脸识别处理得到M个人脸图像。

第一图像为摄像装置采集得到的视频中的图像，M为大于或等于1的整数。

在对第一图像进行人脸识别处理之后，还可以得到M个人脸图像中每个人脸图像的标识。例如，人脸图像的标识可以为用户标识(例如，用户的名字)，或者为用户临时设置的身份标识，身份标识可以为“访客1”、“访客2”等。

S506、根据显示设备当前显示的图像的人脸标注结果，确定显示设备当前显示的图像中包括的N个人脸图像和N个人脸图像对应的N个人脸标注信息。

显示设备当前显示的图像的人脸标注结果可以包括：显示设备当前显示的图像中包括的N个人脸图像，以及每个人脸图像对应的人脸标注信息。人脸标注信息可以包括人脸识别框、用户的名字等。其中，N为整数。

S507、将M个人脸图像和N个人脸图像中重复的人脸图像确定为第一人脸图像。

可以分别获取M个人脸图像对应的M个用户标识、以及N个人脸图像对应的N个用户标识，获取M个用户标识和N个用户标识之间重复的用户标识，并将重复的用户标识对应的人脸图像确定为第一人脸图像。

S508、将M个人脸图像中存在且N个人脸图像中不存在的人脸图像确定为第二人脸图像。

可以分别获取M个人脸图像对应的M个用户标识、以及N个人脸图像对应的N个用户标识，确定M个用户标识中存在且N个用户标识中不存在的目标用户标识，并将目标用户标识对应的人脸图像确定为第二人脸图像。

S509、根据第一人脸图像在显示设备当前显示的图像中的第一人脸标注信息，在第一图像中对第一人脸图像进行标注。

可以确定第一人脸图像在第一图像中的第一位置，并在第一图像的第一位置标注第一人脸标注信息。这样，针对同一人脸图像，在相邻帧的图像中的人脸标注信息相同，可以避免显示设备显示的视频中同一人脸图像的人脸标注信息发生跳变。

S510、确定第二人脸图像对应的第二人脸标注信息，并根据第二人脸标注信息，在第一图像中对第二人脸图像进行标注。

可以根据第二人脸图像生成第二人脸标注信息，第二人脸标注信息中可以包括用户标识、人脸识别框等。

可以确定第二人脸图像在第二图像中的第二位置，并在第一图像的第二位置标注第二人脸标注信息。

S511、向显示设备发送第二图像。

在显示设备接收到第二图像之后，显示设备可以显示第二图像。

在图5所示的实施例中，由于显示设备显示的是标注后的人脸图像，避免了摄像设备显示的人脸图像和对人脸图像的标注信息不一致，提高了对视频处理的准确性。并且由于对第一图像进行人脸标注时参考了上一帧图像的人脸标注结果，使得对第一图像进行的人脸标注信息与上一帧的人脸标注信息具有连贯性，避免显示设备显示的人脸标注信息出现跳变，进一步提高了对视频处理的准确性。并且，相同的人脸图像在相邻帧中的人脸标注信息相同，避免显示设备显示的视频中同一人脸图像的人脸标注信息发生跳变。

下面，结合图6，通过具体示例，对上述图像处理方法进行详细说明。

图6为本申请实施例提供的图像处理过程的示意图。请参见图6，包括界面601和界面602。

请参见界面601，假设显示设备当前显示的为第N帧图像，在第N帧图像中包括3个用户，分别记为用户A、用户B和用户C，第N帧图像中还包括每个用户的人脸识别框和每个用户的人脸标注信息。例如用户A的人脸标注信息为“小红，研发一部”，用户B的人脸标注信息为“访客1”，用户C的人脸标注信息为“小明，研发二部”。

假设在第N+1帧中包括用户A、用户B和用户D，则用户A和用户B为第N帧和第N+1帧的重复的用户，用户C为减少的用户，用户D为新增的用户。由于在第N帧和第N+1帧中均包括用户A和用户B，则在第N+1帧中对用户A和用户B进行标注时，可以参见第N帧中的人脸标注信息，具体的，请参见界面603。

请参见界面603，包括用户A、用户B、用户D、以及每个用户的人脸识别框和每个用户的人脸标注信息。由于在第N帧中包括用户A和用户B，为了避免用户A和用户B的人脸标注信息出现跳跃，第N+1帧中用户A的人脸标注信息和第N帧中用户A的人脸标注信息相同，第N+1帧中的用户B的人脸标注信息与第N帧中用户A的人脸标注信息相同。

图7为本申请实施例提供的一种图像处理装置的结构示意图。该图像处理装置可以设置于服务器或者显示设备。请参见图7，该图像处理装置10可以包括：人脸识别模块11、第一获取模块12和标注模块13，其中，

所述人脸识别模块11用于，对第一图像进行人脸识别处理得到M个人脸图像，所述第一图像为摄像装置采集得到的视频中的图像，所述M为大于或等于1的整数；

所述第一获取模块12用于，获取显示设备当前显示的图像的人脸标注结果；

所述标注模块13用于，根据所述人脸标注结果和所述M个人脸图像，对所述第一图像进行人脸标注得到第二图像，所述第二图像为所述显示设备待显示的图像。

本申请实施例提供的图像处理装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

在一种可能的实施方式中，所述标注模块13具体用于：

根据所述人脸标注结果，确定所述显示设备当前显示的图像中包括的N个人脸图像和所述N个人脸图像对应的N个人脸标注信息，所述N为整数；

根据所述N个人脸图像、所述N个人脸标注信息和所述M个人脸图像，对所述第一图像进行人脸标注得到所述第二图像。

在一种可能的实施方式中，所述标注模块13具体用于：将所述M个人脸图像和所述N个人脸图像中重复的人脸图像确定为第一人脸图像；

将所述M个人脸图像中存在且所述N个人脸图像中不存在的人脸图像确定为第二人脸图像；

根据所述第一人脸图像和所述第二人脸图像，对所述第一图像进行人脸标注得到所述第二图像。

在一种可能的实施方式中，所述标注模块13具体用于：获取所述第一人脸图像在所述显示设备当前显示的图像中的第一人脸标注信息；

根据所述第一人脸标注信息，在所述第一图像中对所述第一人脸图像进行标注；

确定所述第二人脸图像对应的第二人脸标注信息；

根据所述第二人脸标注信息，在所述第一图像中对所述第二人脸图像进行标注。

在一种可能的实施方式中，所述标注模块13具体用于：确定所述第一人脸图像在所述第一图像中的第一位置；

在所述第一图像的所述第一位置标注所述第一人脸标注信息。

在一种可能的实施方式中，所述标注模块13具体用于：

确定所述第二人脸图像在所述第一图像中的第二位置；

在所述第二图像的所述第二位置标注所述第二人脸标注信息。

图8为本申请实施例提供的另一种图像处理装置的结构示意图。在图7所示实施例的基础上，请参见图8，图像处理装置10还可以包括缩放模块14，其中，

所述缩放模块14用于，在所述人脸识别模块11对第一图像进行人脸识别处理得到M个人脸图像之前，获取第一宽比和第一高比，所述第一宽比为所述第一图像的宽度与所述显示设备的宽度的比值，所述第一高比为所述第一图像的高度与所述显示设备的高度的比值；

所述缩放模块14还用于，根据所述第一宽比和所述第一高比，对所述第一图像进行缩放处理。

在一种可能的实施方式中，所述缩放模块14还用于，在所述标注模块13根据所述人脸标注结果和所述M个人脸图像对所述第一图像进行人脸标注得到第二图像之后，获取第二宽比和第二高比，所述第二宽比为所述第二图像的宽度与所述显示设备的宽度的比值，所述第二高比为所述第二图像的高度与所述显示设备的高度的比值；

所述缩放模块14还用于，根据所述第二宽比和所述第二高比，对所述第二图像进行缩放处理。

在一种可能的实施方式中，图像处理装置10还包括接收模块15和第二获取模块16，其中，

所述接收模块15用于，在所述人脸识别模块11对第一图像进行人脸识别处理得到M个人脸图像之前，接收显示设备对预设服务的图像调用请求；

所述第二获取模块16用于，根据所述图像调用请求，通过所述预设服务在所述视频中获取所述第一图像。

在一种可能的实施方式中，所述图像调用请求的周期与所述显示设备的刷新周期相同，所述刷新周期为所述显示设备更换显示的图像的周期。

本申请实施例提供的图像处理装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

图9为本申请实施例提供的一种图像处理设备的结构示意图。请参见图9，图像处理设备20可以包括：存储器21、处理器22。示例性地，存储器21、处理器22，各部分之间通过总线23相互连接。

存储器21用于存储程序指令；

处理器22用于执行该存储器所存储的程序指令，用以使得图像处理设备20执行上述任一所示的图像处理方法。

图9实施例所示的图像处理设备可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被处理器执行时用于实现上述图像处理方法。

本申请实施例还可提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，可实现上述图像处理方法。

实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储器中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储器(存储介质)包括：只读存储器(英文：read-only memory，缩写：ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(英文：magnetic tape)、软盘(英文：floppydisk)、光盘(英文：optical disc)及其任意组合。

本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

在本申请中，术语“包括”及其变形可以指非限制性的包括；术语“或”及其变形可以指“和/或”。本本申请中术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。本申请中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

对第一图像进行人脸识别处理得到M个人脸图像，所述第一图像为摄像装置采集得到的视频中的图像，所述M为大于或等于1的整数；

获取显示设备当前显示的图像的人脸标注结果；

根据所述人脸标注结果，确定所述显示设备当前显示的图像中包括的N个人脸图像和所述N个人脸图像对应的N个人脸标注信息，所述N为整数；

将所述M个人脸图像和所述N个人脸图像中重复的人脸图像确定为第一人脸图像；

将所述M个人脸图像中存在且所述N个人脸图像中不存在的人脸图像确定为第二人脸图像；

根据所述第一人脸图像和所述第二人脸图像，对所述第一图像进行人脸标注得到第二图像，所述第二图像为所述显示设备待显示的图像。

2.根据权利要求1所述的方法，其特征在于，根据所述第一人脸图像和所述第二人脸图像，对所述第一图像进行人脸标注得到所述第二图像，包括：

获取所述第一人脸图像在所述显示设备当前显示的图像中的第一人脸标注信息；

根据所述第一人脸标注信息，在所述第一图像中对所述第一人脸图像进行标注；

确定所述第二人脸图像对应的第二人脸标注信息；

根据所述第二人脸标注信息，在所述第一图像中对所述第二人脸图像进行标注。

3.根据权利要求2所述的方法，其特征在于，根据所述第一人脸标注信息，在所述第一图像中对所述第一人脸图像进行标注，包括：

确定所述第一人脸图像在所述第一图像中的第一位置；

在所述第一图像的所述第一位置标注所述第一人脸标注信息。

4.根据权利要求2所述的方法，其特征在于，根据所述第二人脸标注信息，在所述第一图像中对所述第二人脸图像进行标注，包括：

确定所述第二人脸图像在所述第一图像中的第二位置；

在所述第二图像的所述第二位置标注所述第二人脸标注信息。

5.根据权利要求1-4任一项所述的方法，其特征在于，对第一图像进行人脸识别处理得到M个人脸图像之前，还包括：

获取第一宽比和第一高比，所述第一宽比为所述第一图像的宽度与所述显示设备的宽度的比值，所述第一高比为所述第一图像的高度与所述显示设备的高度的比值；

根据所述第一宽比和所述第一高比，对所述第一图像进行缩放处理。

6.根据权利要求1-4任一项所述的方法，其特征在于，根据所述人脸标注结果和所述M个人脸图像，对所述第一图像进行人脸标注得到第二图像之后，还包括：

获取第二宽比和第二高比，所述第二宽比为所述第二图像的宽度与所述显示设备的宽度的比值，所述第二高比为所述第二图像的高度与所述显示设备的高度的比值；

根据所述第二宽比和所述第二高比，对所述第二图像进行缩放处理。

7.根据权利要求1-4任一项所述的方法，其特征在于，对第一图像进行人脸识别处理得到M个人脸图像之前，还包括：

接收显示设备对预设服务的图像调用请求；

根据所述图像调用请求，通过所述预设服务在所述视频中获取所述第一图像。

8.根据权利要求7所述的方法，其特征在于，所述图像调用请求的周期与所述显示设备的刷新周期相同，所述刷新周期为所述显示设备更换显示的图像的周期。

9.一种图像处理装置，其特征在于，包括：人脸识别模块、第一获取模块和标注模块，其中，

所述人脸识别模块用于，对第一图像进行人脸识别处理得到M个人脸图像，所述第一图像为摄像装置采集得到的视频中的图像，所述M为大于或等于1的整数；

所述第一获取模块用于，获取显示设备当前显示的图像的人脸标注结果；

所述标注模块用于，根据所述人脸标注结果和所述M个人脸图像，对所述第一图像进行人脸标注得到第二图像，所述第二图像为所述显示设备待显示的图像；

所述标注模块，具体用于根据所述人脸标注结果，确定所述显示设备当前显示的图像中包括的N个人脸图像和所述N个人脸图像对应的N个人脸标注信息，所述N为整数；

将所述M个人脸图像和所述N个人脸图像中重复的人脸图像确定为第一人脸图像；

将所述M个人脸图像中存在且所述N个人脸图像中不存在的人脸图像确定为第二人脸图像；

根据所述第一人脸图像和所述第二人脸图像，对所述第一图像进行人脸标注得到所述第二图像。

10.一种图像处理设备，其特征在于，包括：处理器和存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1至8任一项所述的图像处理方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当所述计算机执行指令被处理器执行时用于实现权利要求1至8任一项所述的图像处理方法。

Images