CN114550079A - 一种图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、设备及存储介质，该方法包括：展示目标监控界面，其中，目标监控界面用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像；若识别出视频帧图像中存在目标对象，则在目标监控界面中，展示基于目标场景下的背景图像和对目标对象进行结构化处理得到的目标对象结构，生成的目标帧图像；若识别出视频帧图像中不存在目标对象，则在目标监控界面中展示目标场景下原始的视频帧图像。采用本申请的上述方法，使得目标监控界面展示的目标帧图像在保证了目标对象的隐私的同时保留了目标场景的关键信息。

Description

一种图像处理方法、装置、设备及存储介质

技术领域

本申请涉及信息处理领域，更具体地，涉及一种图像处理方法、装置、设备及存储介质。

背景技术

近年来，随着计算机、网络、图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。目前，通过计算机程序对监控视频进行图像分析来了解监控范围中目标的状态的视频监控技术十分普遍，然而，通过这种方式进行监控容易泄露个人隐私。因此，相关技术中存在监控视频容易泄露个人隐私的问题。

发明内容

本发明提出了一种图像处理方法、装置、设备及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：展示目标监控界面，其中，所述目标监控界面用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像以及用于显示目标对象对应的状态的状态显示区域；若识别出所述视频帧图像中存在目标对象，确定所述目标场景下距当前最近的、不存在目标对象的视频帧图像；将距当前最近的不存在所述目标对象的视频帧图像，确定为所述目标场景下当前的背景图像，在所述目标监控界面中，展示基于所述目标场景下当前的背景图像和对所述目标对象进行结构化处理得到的目标对象结构，所生成的目标帧图像；以及若识别出所述视频帧图像中存在目标对象，则获取与所述视频帧图像相邻的多帧视频帧图像；对所述多帧视频帧图像中的目标对象进行动作识别，得到所述目标对象的动作类别；在所述目标监控界面中的状态显示区域展示所述目标对象的动作类别；若识别出所述视频帧图像中不存在目标对象，则在所述目标监控界面中展示所述目标场景下原始的视频帧图像。

第二方面，本申请实施例还提供了一种图像处理装置，该装置包括：界面展示单元、目标图像展示单元以及原始图像展示单元。其中，界面展示单元，用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像以及显示目标对象对应的状态的状态显示区域。目标图像展示单元，用于若识别出所述视频帧图像中存在目标对象，确定所述目标场景下距当前最近的、不存在目标对象的视频帧图像，将距当前最近的不存在所述目标对象的视频帧图像，确定为所述目标场景下当前的背景图像；用于对所述视频帧图像中的所述目标对象进行身份识别，得到所述目标对象对应的身份信息；用于提取所述视频帧图像中各所述目标对象对应的关键点，以及各所述关键点的位置信息；确定各所述目标对象对应的关键点之间的连接关系；根据各所述关键点对应的位置信息和连接关系，对各所述目标对象的关键节点进行连接得到对应的目标对象结构；最后在所述目标监控界面中，展示基于所述目标场景下的背景图像、对所述目标对象进行结构化处理得到的目标对象结构、以及所述身份信息，所生成的目标帧图像；以及若识别出所述视频帧图像中存在目标对象，则获取与所述视频帧图像相邻的多帧视频帧图像；对所述多帧视频帧图像中的目标对象进行动作识别，得到所述目标对象的动作类别；在所述目标监控界面中的状态显示区域展示所述目标对象的动作类别。原始图像展示单元，用于识别出所述视频帧图像中不存在目标对象，则在所述目标监控界面中展示所述目标场景下原始的视频帧图像。

第三方面，本申请实施例还提供了一种电子设备，包括：一个或多个处理器、存储器、摄像头以及一个或多个应用程序。其中，所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置执行以实现如上述第一方面所述的方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如上述第一方面所述的方法。

本发明提供的技术方案，通过对采集的目标场景下的视频帧图像进行目标识别处理，若识别出视频帧图像中存在目标对象，则在目标监控界面中，展示基于目标场景下的背景图像和对目标对象进行结构化处理得到的目标对象结构，所生成的目标帧图像；若识别出视频帧图像中不存在目标对象，则在目标监控界面中展示目标场景下原始的视频帧图像。因此，采用本申请的上述方法，在视频帧图像中存在目标对象时，在目标监控界面展示目标帧图像，在视频帧图像中不存在目标对象时，在目标监控界面展示原始的视频帧图像，使得目标监控界面展示的图像保证了目标对象隐私的同时保留了目标场景下的关键信息。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例的一种图像处理方法的应用环境图；

图2示出了本申请一实施例提出的一种图像处理方法的流程示意图；

图3示出了本申请一实施例中视频帧图像的示意图；

图4示出了执行本申请一实施例提供的一种图像处理方法的背景图像的示意图；

图5(a)示出了执行本申请一实施例提供的一种图像处理方法的目标帧图像的示意图；

图5(b)示出了执行本申请一实施例提供的另一种图像处理方法的目标帧图像的示意图；

图6示出了执行本申请提出的一种图像处理方法的另一实施例中实际的目标场景下不存在目标对象的视频帧图像；

图7示出了本申请另一实施例提出的一种图像处理方法中实际的目标场景下存在目标对象生成目标帧图像的流程示意图；

图8示出了执行本申请另一实施例提供的一种图像处理方法的目标帧图像的示意图；

图9示出了本申请另一实施例提出的一种图像处理方法的流程示意图；

图10出了本申请另一实施例提出的一种图像处理方法的在应用场景中目标监控界面展示图像的示意图；

图11示出了本申请一实施例提出的一种图像处理装置的结构示意图；

图12示出了本申请一实施例提出的一种电子设备的结构框图；

图13示出了本申请一实施例提出的一种计算机可读存储介质的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前视频监控技术十分普遍，例如在大街上、学校里、工厂中、写字楼内、建筑工地上等地点，只要安装了视频监控系统的就运用到了视频监控技术。随着我国视频监控市场持续扩大，人工智能也运用到了视频监控的发展中，现有的视频监控都是基于实时视频流的数据看到摄像头监控画面中的所有信息，但是在某些场合，被监控的目标可能不希望后台监控画面中有自己完整的图像。因此，相关技术中，存在监控视频泄露目标对象隐私的问题。

为了缓解上述问题，本申请的发明人提出了本申请实施例提供的一种图像处理方法、装置、设备及存储介质。该方法通过展示目标监控界面，其中，所述目标监控界面用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像；若识别出所述视频帧图像中存在目标对象，则在所述目标监控界面中，展示基于所述目标场景下的背景图像和对所述目标对象进行结构化处理得到的目标对象结构，所生成的目标帧图像；若识别出所述视频帧图像中不存在目标对象，则在所述目标监控界面中展示所述目标场景下原始的视频帧图像。因此，采用本申请的上述方法，在视频帧图像中存在目标对象时，在目标监控界面展示目标帧图像，在视频帧图像中不存在目标对象时，在目标监控界面展示原始的视频帧图像，使得目标监控界面展示的图像保证了目标对象隐私的同时保留了目标场景下的关键信息。

本申请实施例提供的一种图像处理方法，可应用于如图1所示的应用环境中。如图1所示，该应用环境中，终端10通过网络与服务器20进行通信，服务器20通过网络与无线网络中的路由器30进行通信，路由器30通过网络与无线网络中的各设备进行通信。

其中，终端10是具有显示功能的设备，具体可以是智能控制面板、智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等，但并不局限于此。服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统等。终端10以及服务器20可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

图像采集设备40可以包括设置在相应应用环境空间下的图像采集设备、摄像头等。图像采集设备40可与网关50通过蓝牙、WiFi(Wireless-Fidelity，无线保真)、ZigBEE(紫蜂技术)等通信方式连接，在本申请实施例中图像采集设备40与网关50的连接方式不作限定。

具体地，可以通过图像采集设备40采集目标场景下的视频帧图像，并通过局域网路径或广域网路径发送至终端10，终端10则对采集的视频帧图像进行目标识别处理，并展示目标监控界面；目标监控界面用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像；终端10若识别出视频帧图像中存在目标对象，则在目标监控界面中，展示基于目标场景下的背景图像和对目标对象进行结构化处理得到的目标对象结构，所生成的目标帧图像；若识别出视频帧图像中不存在目标对象，则在目标监控界面中展示目标场景下原始的视频帧图像。

下面将结合附图具体描述本申请的各实施例。

请参阅图2，本申请一实施例提供了一种图像处理方法，该方法可以应用于终端、服务器以及具有图像处理功能的摄像机等设备。本实施例中，以该方法应用于具有显示功能的终端为例进行说明，具体包括步骤S110至步骤S130。

步骤S110：展示目标监控界面。

其中，所述目标监控界面用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像。

在本申请实施例中，目标监控界面，是指用于在终端的显示屏显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像的显示界面；目标场景是指采集视频帧图像的设备可以采集到图像的场景。

其中，采集视频帧图像的设备可以是摄像头或其他图像采集设备。目标场景可以是摄像头或其他图像采集设备可以采集到的场景。

在一些实施方式中，采集视频帧图像的设备可以是室内摄像头，也可以是室外摄像头。其中，室内摄像头可以安装在家里、公司、楼道、教室等各种室内位置以采集家里、公司、楼道、教室等各种室内的目标场景下的视频帧图像。例如，当摄像头安装在公司时，摄像头可以实时获取公司员工工作的图像、公司实时场景图像、公司办公室设施的图像等摄像头在该安装位置可以采集到的视频帧图像；室外摄像头可以安装在停车场、广场、操场等各种室外位置以采集停车场、广场、操场等各种室外的目标场景下的视频帧图像。例如，当摄像头安装在停车场时，摄像头可以实时获取停车场车位停车的图像、停车场人员活动姿态的图像、停车场设施的图像等摄像头在该安装位置可以采集到的视频帧图像。

其中，终端获取视频帧图像的过程可以是，终端通过解码器(如视频监控软件、暴风影音、realplayer等)将摄像头采集到的实时视频流解码为图像帧，图像帧即为视频帧图像。其中，终端获得摄像头采集到的实时视频流，可以是直接将摄像头采集到的视频经过压缩处理后得到的视频流通过SPI(串口外设接口)传往解码器，也可以是将利用无线通信技术从相关联的云端获得的摄像头采集到的进行压缩处理后的视频流传往解码器。视频流输入解码器被解码为图像帧输出，该图像帧即为设备采集的目标场景下的视频帧图像。

具体地，对采集的目标场景下的视频帧图像进行目标识别包括识别视频帧图像中是否存在目标对象。目标对象，是指对图像进行目标识别需要检测出来的对象，目标对象具体可以包括人体、人脸或其他物体等。

步骤S120：若识别出所述视频帧图像中存在目标对象，则在所述目标监控界面中，展示基于所述目标场景下的背景图像和对所述目标对象进行结构化处理得到的目标对象结构，所生成的目标帧图像。

应当理解，在执行上述步骤S120之前，终端还应当先识别视频帧图像中是否存在目标对象。

具体的，识别视频帧图像中是否存在目标对象的方式可以是：获取视频帧图像后，对视频帧图像进行缩放、填充或者其他处理，再将处理之后的视频帧图像输入训练好的深度学习模型中，利用深度学习模型扫描视频帧图像的全图识别视频帧图像中是否包括人体、人脸或其他物体等。其中，深度学习模型可以是CNN(卷积神经网络)、RNN(循环神经网络)、GAN(对抗生成网络)、transformer(注意力模型)或者OpenPose等模型。

在一些实施方式中，若识别出视频帧图像中存在目标对象，则对视频帧图像中的目标对象进行结构化处理，生成目标对象结构对应的目标对象结构图。目标对象结构图可以是目标对象的关键点连线图、目标对象轮廓图等。如，当识别出视频帧图像中存在人体时，目标对象结构图可以是人体骨架图像(由人体关节点以及关节点之间的连线生成)，也可以是人体轮廓图像。

具体地，对视频帧图像中的目标对象进行结构化处理，生成目标对象结构对应的目标对象结构图可以是，提取视频帧图像中各目标对象对应的关键点，以及各关键点的位置信息；确定各目标对象对应的关键点之间的连接关系；根据各关键点对应的位置信息和连接关系，对各目标对象的关键节点进行连接得到对应的目标对象结构，并绘制生成各目标对象结构对应的目标对象结构图。

作为一种实施方式，视频帧图像经过深度学习模型确认存在人体时，利用CNN(卷积神经网络)、RNN(循环神经网络)、GAN(对抗生成网络)以及OpenPose等神经网络或算法扫描包括人体的视频帧图像利用人体的几何关系、人体的运动学关系，基于分割一致性的人体分割与姿态估计方法，对人体进行准确分割建立各个部分之间的空间位置分布关系最后获得较为准确的人体轮廓结构，并绘制生成各人体轮廓结构对应的人体轮廓图像。具体地，利用神经网络或算法提取视频帧图像的人轮廓结构可以分为三个部分的工作，第一部分可以是对视频帧图像中人体的分割提取，第二部分可以是使用边缘提取算子(如caNNy算子)对人体轮廓进行粗略计算，第三部分可以是使用形态学及相关算法对人体轮廓进行修改，去除杂点，连接间断边缘。针对第一部分：如果提取的目标是简单背景时，可以直接用数字图像处理的办法，对人体轮廓进行提取，如果是复杂背景下，可以使用mask_rcNN分割算法进行像素级别的分割。针对第三部分：可以使用漫水算法对边缘检测过程中产生的小的空洞进行填补，使用形态学处理对不连续的轮廓边界进行连接。

示例性的，视频帧图像中的人体在简单背景下，提取视频帧图像的人轮廓结构可以是，将包括人体的视频帧图像利用HOG(定向梯度直方图)的算法直接获得该视频帧图像中的人体的轮廓结构，并绘制生成各人体的轮廓结构对应的人体轮廓图像。

作为另一种实施方式，视频帧图像经过深度学习模型确认存在人体时，深度学习模型(如卷积神经网络、循环神经网络、对抗生成网络等神经网络)扫描该视频帧图像，提取该视频帧图像中各人体对应的关键点，以及各关键点的位置信息，确定各目标对象对应的关键点之间的连接关系；根据各关键点对应的位置信息和连接关系，对各目标对象的关键节点进行连接得到对应的目标对象结构，并绘制生成各目标对象结构对应的人体骨架图像。如，利用OpenPose扫描包括人体的视频帧图像，获得该视频帧图像中人体的骨架关节点坐标，同时确定各人体骨架关节点坐标之间的连接关系，再根据各骨架关节点对应的坐标和连接关系，对各骨架关节点进行连接得到对应的人体骨架结构，并绘制生成各人体骨架结构对应的人体骨架图像。

其中，人体骨架图像可以是在生成人体的轮廓结构对应的人体轮廓图像后，利用CNN(卷积神经网络)、RNN(循环神经网络)、GAN(对抗生成网络)、transformer(注意力模型)以及OpenPose等模型扫描该人体轮廓结构图像识别人体轮廓图像中人体的各部位，获得人体各部位的关节点的坐标；基于所述关节点的坐标，对各关节点进行连接，绘制出对关节点进行连接的线段，得到人体的骨架图像。应当理解，所述人体骨架图像隐藏了人体的敏感信息(如体型、穿着、发型等)，可以显示人体的部位、动作等与人体行为相关的信息。

应当理解，在利用深度学习模型获取到人体骨架结构或者人体轮廓结构的同时，还可以获取该人体骨架结构或者该人体轮廓结构在视频帧图像中的位置。

在本申请实施例中，若识别出所述视频帧图像中存在目标对象，则在所述目标监控界面中，展示基于所述目标场景下的背景图像和对所述目标对象进行结构化处理得到的目标对象结构，生成的目标帧图像，可以是在生成目标对象结构对应的目标对象结构图后，对所述目标对象结构图与所述目标场景下的背景图像进行融合处理，生成目标帧图像，并在所述目标监控界面中展示所述目标帧图像。

其中，背景图像是指包括目标场景下的背景的图像，具体可以是目标场景下不存在目标对象的视频帧图像，还可以是目标场景下不存在目标对象的原始的视频帧图像。

在一些实施方式中，确定背景图像的方式可以是，若识别出所述视频帧图像中存在目标对象，确定所述目标场景下距当前最近的、不存在目标对象的视频帧图像；将距当前最近的不存在所述目标对象的视频帧图像，确定为所述目标场景下当前的背景图像。

对目标对象结构图与目标场景下的背景图像进行融合处理，生成目标帧图像的方式可以是，将目标对象结构图与所述目标场景下的背景图像进行像素级的图像融合，即直接对目标对象结构图与目标场景下的背景图像的像素点进行信息综合生成目标帧图像，也可以是将目标对象结构图与目标场景下的背景图像进行特征级的图像融合，即对所述目标对象结构图与目标场景下的背景图像进行特征提取，将边缘、形状、轮廓、局部特征等信息进行综合处理生成目标帧图像，还可以是将目标对象结构图与目标场景下的背景图像进行决策级的图像融合，生成目标帧图像，还可以是根据所述目标对象在目标场景下的位置将目标对象结构图绘制在目标场景下的背景图像上，生成目标帧图像，还可以是通过将目标对象结构图与目标场景下的背景图像虚化处理后结合，生成目标帧图像。

作为一种可实施的方式，对所述目标对象结构图与所述目标场景下的背景图像进行融合处理，生成目标帧图像，并在所述目标监控界面中展示所述目标帧图像，可以是根据目标对象在视频帧图像中的原始位置，确定目标对象结构图在背景图像中的目标位置；按照目标位置将目标对象结构图绘制至背景图像中，生成目标帧图像，并在目标监控界面中展示所述目标帧图像。

示例性的，请参阅图3，图3为视频帧图像的示意图，将该视频帧图像输入深度学习模型，深度学习模型对视频帧图像镜进行全图扫描，识别出视频帧图像中存在人体，利用OpenPose扫描包括人体的视频帧图像，获得该视频帧图像中人体的骨架关节点坐标，同时确定各人体骨架关节点坐标之间的连接关系，再根据各骨架关节点对应的坐标和连接关系，对各骨架关节点进行连接得到对应的人体骨架结构，并绘制生成各人体骨架结构对应的人体骨架图像。若识别出所述视频帧图像中存在人体，确定所述目标场景下距当前最近的、不存在该人体的视频帧图像；将距当前最近的不存在高人体的视频帧图像，确定为所述目标场景下当前的背景图像，请参阅图4，图4为背景图像的示意图。根据人体在视频帧图像中的原始位置，确定人体骨架图像在背景图像中的目标位置；按照目标位置将人体骨架图像绘制至背景图像中，生成目标帧图像，并在目标监控界面中展示所述目标帧图像，请参阅图5，图5为目标帧图像的示意图。其中，目标监控界面中展示的目标帧图像中的目标对象结构图即人体结构图，具体可以为图5(a)或图5(b)对应的示意图中所展示的人体结构图。当然本申请并不仅限于图5(a)或图5(b)中的点线或线条形式来展示目标对象结构图，还可以采用条状或类人体结构图像等形式生成目标对象结构图，本申请对此不作限定。

步骤S130：若识别出所述视频帧图像中不存在目标对象，则在所述目标监控界面中展示所述目标场景下原始的视频帧图像。

在本申请实施例中，考虑到保留目标场景下的关键信息，若视频帧图像中不存在人体、人脸等目标对象时，可以在目标监控界面中展示目标场景下原始的视频帧图像，以保留目标场景下完整的场景信息，避免关键信息的缺失。

示例性的，请参阅图6，图6为视频帧图像的示意图，该视频帧图像中不存在目标对象，则在所述目标监控界面中展示所述目标场景下原始的视频帧图像，请再次参阅图6，图6为目标监控界面中展示的目标场景下不存在目标对象的原始的视频帧图像。

本申请实施例提出的一种图像处理方法，通过展示目标监控界面，其中，目标监控界面用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像；若识别出视频帧图像中存在目标对象，则在目标监控界面中，展示基于目标场景下的背景图像和对目标对象进行结构化处理得到的目标对象结构，所生成的目标帧图像；若识别出视频帧图像中不存在目标对象，则在目标监控界面中展示目标场景下原始的视频帧图像。因此，采用本申请的上述方法，在视频帧图像中存在目标对象时，在目标监控界面展示对目标对象结构化处理后的目标帧图像，在视频帧图像中不存在目标对象时，在目标监控界面展示原始的视频帧图像，使得目标监控界面展示的图像保证了目标对象隐私的同时保留了目标场景的关键信息。

请参阅图7，图7示出了本申请一实施例提供的一种图像处理方法的流程示意图。在本申请实施例中，为便于了解视频帧图像中的目标对象对应的具体信息，如人体对应的身份信息等，本申请另一实施例提供了一种图像处理方法，所述方法还可以包括步骤S122以及步骤S124。

步骤S122：若识别出所述视频帧图像中存在目标对象，对所述视频帧图像中的所述目标对象进行身份识别，得到所述目标对象对应的身份信息。

作为一种实施方式，若利用深度学习模型或算法识别出视频帧图像中存在目标对象，利用深度学习模型对视频帧图像中的目标对象进行身份识别，得到目标对象对应的身份信息。

其中，目标对象对应的身份信息可以包括人脸信息(如人脸的坐标、人脸的I D等)、人体对应用户的姓名、性别、年龄等信息。

步骤S124：在所述目标监控界面中，展示基于所述目标场景下的背景图像、对所述目标对象进行结构化处理得到的目标对象结构、以及所述身份信息，所生成的目标帧图像。

在一些实施方式中，基于目标场景下的背景图像、对目标对象进行结构化处理得到的目标对象结构、以及身份信息，生成的目标帧图像可以是：提取视频帧图像中各目标对象对应的关键点，以及各关键点的位置信息，确定各目标对象对应的关键点之间的连接关系，根据各关键点对应的位置信息和连接关系，对各目标对象的关键节点进行连接得到对应的目标对象结构，并绘制生成各目标对象结构对应的目标对象结构图；确定目标场景下距当前最近的、不存在目标对象的视频帧图像；将距当前最近的不存在所述目标对象的视频帧图像，确定为所述目标场景下当前的背景图像；根据目标对象在所述视频帧图像中的原始位置，确定目标对象结构图在背景图像中的目标位置；按照所述目标位置将所述目标对象结构图绘制至所述背景图像中，生成第一目标帧图像；根据目标对象对应的身份信息对第一目标帧图像进行标记，生成目标帧图像。

在一些实施方式中，基于目标场景下的背景图像、对目标对象进行结构化处理得到的目标对象结构、以及身份信息，生成的目标帧图像还可以是：根据目标对象对应的身份信息对目标对象结构图进行标记；将标记后的目标对象结构图，根据目标对象结构图在背景图像中的目标位置将标记后的目标对象结构图绘制至所述背景图像中，生成目标帧图像。

其中，基于目标场景下的背景图像、对人体进行结构化处理得到的人体结构图、以及身份信息，生成的目标帧图像，可以是根据身份信息对人体结构图进行标记。具体的，根据身份信息对人体结构图进行标记可以是利用矩形框标注、语音分割、多边形标注、关键点标注、点云标注、3D立方体标注等标注方式标记人体结构图像。例如，利用矩形框标注框定人体结构图像中人体结构的头部，并将该人体对应的身份信息(如小周、男、28岁)以文本框的方式标记于框定该目标的矩形框旁边，最后获得具有身份信息标注的人体结构图。最后将具有身份信息标注的人体结构图绘制至背景图像中，生成目标帧图像，并在目标监控界面中展示目标帧图像。

请参阅图8，在执行本申请一实施例提供的一种图像处理方法中，对存在人体的视频帧图像进行处理后，在目标监控界面中，展示基于目标场景下的背景图像、对目标对象进行结构化处理得到的目标对象结构、以及身份信息，所生成的目标帧图像如图8所示。

本申请的技术方案，通过展示目标监控界面，其中，所述目标监控界面用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像；若所述视频帧图像中存在目标对象，对所述视频帧图像中的所述目标对象进行身份识别，得到所述目标对象对应的身份信息；所述在所述目标监控界面中，展示基于所述目标场景下的背景图像和对所述目标对象进行结构化处理得到的目标对象结构，所生成的目标帧图像，包括：在所述目标监控界面中，展示基于所述目标场景下的背景图像、对所述目标对象进行结构化处理得到的目标对象结构、以及所述身份信息，所生成的目标帧图像。因此，采用本申请的上述方法，在视频帧图像中存在目标对象时，在目标监控界面展示对目标对象结构化处理后，并标注了目标对象的身份信息的目标帧图像，在视频帧图像中不存在目标对象时，在目标监控界面展示原始的视频帧图像，使得目标监控界面在展示目标场景下目标对象以及目标对象的身份信息的同时保证了目标对象隐私，以及保留了目标场景的关键信息。

请参阅图9，图9示出了本申请另一实施例提供的一种图像处理方法的流程示意图。在本申请实施例中，为便于了解视频帧图像中的目标对象对应的具体信息，如人体对应的动作姿态等，本申请另一实施例提供了一种图像处理方法，所述方法还可以包括步骤S210以及步骤S240。

步骤S210：展示目标监控界面。

关于步骤S210的具体描述请参阅前文对步骤S110的具体描述，在此不做一一赘述。

需要说明的是，所述目标监控界面包括用于显示目标对象对应的状态的状态显示区域。其中，目标对象对应的状态可以包括对目标场景下目标对象的分析，如，目标场景下人体对应的人脸信息、身份识别情况、在指定时间段出现的次数等；也可以包括目标对象在目标场景中的实时状态，如目标对象出现在目标场景下的目标位置、目标对象在目标位置的动作/姿态以及时间等；还可以包括对目标场景目标情况统计的统计数据，如，对目标场景中出现目标对象的频率的统计、对当前的目标场景下的目标对象的数量的统计、对目标场景下目标对象指定动作的统计以及对目标场景下目标对象身份信息未知的目标对象的数量的统计。

步骤S220：若识别出所述视频帧图像中存在目标对象，则获取与所述视频帧图像相邻的多帧视频帧图像。

在本申请实施例中，为便于了解目标场景下目标对象的动作和姿态有没有异常的情况，可以在识别出所述视频帧图像中存在目标对象时，获取与所述视频帧图像相邻的多帧视频帧图像，且多帧视频帧图像中包括所述目标对象。

其中，多帧视频帧图像的数量大于预设数量阈值，所述预设数量阈值可以是5、10或者15等，可以是用户自主设定的，也可以是通过第三方实验数据获得的；可以是预先存储在终端中的，也可以是通过无线通信技术从相关联的云端或电子设备获得的，或者通过串口通信接口从相关联的电子设备获得的，在此不做限定。

步骤S230：对所述多帧视频帧图像中的目标对象进行动作识别，得到所述目标对象的动作类别。

其中，对所述多帧视频帧图像中的目标对象进行动作识别，可以是从多帧视频帧图像中提取目标对象结构图，按照各视频帧图像对应在目标监控界面展示的顺序输入至预设动作识别模型，对多帧视频帧图像中的目标对象进行动作识别，得到目标对象的动作类别。

具体地，所述预设动作识别模型可以是根据目标对象结构序列样本和该样本对应的动作标签训练得到的；最后可以将目标对象的动作类别在目标界面的状态显示区域进行显示，以便于用户通过目标监控界面显示的图像了解目标场景下目标对象的动作和姿态，避免在隐藏目标对象敏感信息的同时使目标场景下背景图像的关键信息缺失，并且将目标对象的动作和姿态进行展示以供用户以了解更多没目标场景下目标对象的具体情况。

示例性的，将数量大于预设数量阈值的多帧视频帧图像分别利用深度学习模型进行目标对象结构的提取，获得多帧视频帧图像中各目标对象的目标结构图，将获得的多帧视频帧图像中各目标对象的目标结构图按照各视频帧图像对应在目标监控界面展示的顺序输入至预设动作识别模型，以检测目标对象是否有跌倒、攀高、跳跃等动作。其中，所述预设动作识别模型可以是TLE模型、openpose模型、I stm模型等，所述预设动作识别模型是根据目标对象结构序列样本和该样本对应的动作标签训练得到的。其中，所述目标对象结构序列样本和该样本对应的动作标签可以从第三方实验数据获得。如，预设动作识别模型的输入可以是某一人体的连续帧的骨架图像，输出为与该人体连续多帧的骨架图像对应的动作(例如跌倒、攀高、跳跃、站立等)。

在一些实施方式中，为了解目标场景下目标对象执行指定动作的情况可以：对多帧视频帧图像中的目标对象进行动作识别，得到目标对象的动作类别，若动作类别属于指定动作，则记录该目标对象执行该指定动作的次数。其中，指定动作可以是跌倒、攀高、跳跃等动作。

示例性的，若利用深度学习模型识别出当前视频帧图像中有人体时，获取当前视频帧图像之前一秒内持续接收到的16帧包括所述人体的历史视频帧图像，将从当前视频帧图像中提取到的所述人体结构图像以及从各所述历史视频帧图像中提取到所述人体结构图像，按照各视频帧图像对应在目标监控界面展示的顺序输入至预设动作识别模型，得到该人体的动作类别为跌倒，最后将识别出的该人体跌倒的动作类别在目标监控界面中的状态显示区域展示。

步骤S240：在所述目标监控界面中的状态显示区域展示所述目标对象的动作类别。

在一些实施方式中，为便于了解某一时间段目标场景中存在目标对象的频率以及每一目标对象在目标场景出现的次数等情况，所述方法还包括：统计指定时间段内目标场景中出现的目标对象的数量，以及指定时间段内每个目标对象在目标场景中出现的次数；将统计的数量以及次数在目标监控界面中的状态显示区域展示。

其中，指定时间段可以根据用户的需求进行设定。如，用户需要统计早上九点之后目标场景中出现人体的频率以及每一人体在目标场景中出现的次数，则指定时间段可以设定为早上九点之后这一段时间。在统计得到早上九点之后目标场景中存在人体的频率以及每一人体在目标场景中出现的次数可以将统计的数据在目标监控界面中的状态显示区域展示。

示例性的，用户想要了解“今日”目标场景下目标对象发生的指定动作(跌倒)的情况：可以记录“今日”目标监控图像界面展示的图像中，存在目标对象且目标对象跌倒的次数，并且在目标监控图像界面的状态显示区域显示指定动作统计情况，以供用户参考。如，用户可以根据跌倒这一指定动作统计的情况分析目标场景下地面的光滑程度等。

本申请实施例提供的技术方案，通过展示包括用于显示目标对象对应的状态的状态显示区域的目标监控界面；若识别出所述视频帧图像中存在目标对象，则获取与所述视频帧图像相邻的多帧视频帧图像；对所述多帧视频帧图像中的目标对象进行动作识别，得到所述目标对象的动作类别。因此，采用本申请的上述方法，在视频帧图像中存在目标对象时，在目标监控界面中的状态显示区域展示目标对象的动作类别，以便于了解视频帧图像中的目标对象对应的动作，保留了视频帧图像中目标对象的关键信息。

请参阅图6、图8以及图10，本申请还提供了一种应用场景，上述图像处理方法在该应用场景的应用如下：

该应用场景的应用于包括监控摄像头、服务器以及包含目标监控界面的终端的环境中，终端通过网络与服务器进行通信，摄像头通过网络与无终端进行通信，终端通过网络与摄像头进行通信。

具体地，摄像头安装在室内的过道中，可以采集目标场景下(过道)的实时视频，终端通过无线通信技术从监控摄像头获得将实时视频经过视频压缩处理后转化为的实时视频流，再利用解码器将实时视频流解码为视频帧图像；终端的目标监控界面用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像以及显示目标对象对应的状态的状态显示区域。

终端利用深度学习模型对视频帧图像进行全图扫描，当检测到视频帧图像中没有人体时，则在目标监控界面中展示目标场景下原始的视频帧图像，如图6所示。

摄像头继续采集目标场景下的实时视频，终端继续通过无线通信技术获得当前视频监控的实时视频流，再利用解码器将获得的实时视频流解码为视频帧图像，利用深度学习模型对视频帧图像进行全图扫描，若识别出视频帧图像中存在人体，利用OpenPose扫描包括人体的视频帧图像，获得该视频帧图像中人体的骨架关节点坐标，同时确定各人体骨架关节点坐标之间的连接关系，再根据各骨架关节点对应的坐标和连接关系，对各骨架关节点进行连接得到对应的人体骨架结构，并绘制生成各人体骨架结构对应的人体骨架图像。

若终端利用深度学习模型识别出视频帧图像中存在人体，则确定目标场景下距当前最近的、不存在该人体的视频帧图像；将距当前最近的不存在该人体的视频帧图像，确定为目标场景下当前的背景图像。

若终端利用深度学习模型识别出视频帧图像中存在人体，则对视频帧图像中的人体进行身份识别，得到各人体对应的身份信息(如人体对应用户的姓名、年龄、性别等)，根据身份信息对目标结构对象图中的人体骨架图形的部分或全部区域(如头部)添加标记框和身份信息(如用户姓名)，最后将标记了身份信息的目标结构图绘制至目标场景下的背景图像中，生成目标帧图像，如图8所示。

若终端利用深度学习模型识别出视频帧图像中存在人体，则获取与视频帧图像相邻的多帧视频帧图像；对多帧视频帧图像中的人体进行动作识别，得到人体的动作类别；同时终端统计指定时间段出现在目标场景下的人体的数量信息(如今日到访人数、当前人数、陌生访客到访数量、异常行为数量等)，最后将获得的统计结果在目标监控界面的状态显示区域显示。最后，终端的目标监控界面(F0)显示的对采集的目标场景下的视频帧图像进行目标识别处理后的图像(F1)以及目标监控界面的状态显示区域(F2)显示的目标对象对应的状态，如图10所示。

本申请的技术方案，通过在视频帧图像中存在人体时，在目标监控界面展示对视频帧图像中的人体进行结构化处理后并且标注了人体对应的身份信息的目标帧图像，同时在目标监控界面的状态显示区域，显示人体的动作类别；在视频帧图像中不存在目标对象时，在目标监控界面展示原始的视频帧图像，使得目标监控界面展示的图像保证了人体的隐私，同时避免了目标场景下的关键信息的缺失。

请参阅图11，其示出了本发明的一实施例提出的一种图像处理装置，所述装置300包括：界面展示单元310、目标图像展示单元320以及原始图像展示元330。具体地，界面展示单元310，用于展示目标监控界面，其中，所述目标监控界面用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像；目标图像展示单元320，用于若识别出所述视频帧图像中存在目标对象，则在所述目标监控界面中，展示基于所述目标场景下的背景图像和对所述目标对象进行结构化处理得到的目标对象结构，生成的目标帧图像；原始图像展示单元330，用于若识别出所述视频帧图像中不存在目标对象，则在所述目标监控界面中展示所述目标场景下原始的视频帧图像。

作为一种实施方式，界面展示单元310包括解码器以及通信协议模块，通信协议模块可以与前端的网络设备连通，用于获取监控摄像头采集到的当前视频流，解码器可以解码连接在网络上的监控设备的视频，通过通信协议模块与前端的网络设备连通获取监控摄像头采集到的当前视频流，利用解码器解码当前视频流获得视频帧图像，界面展示单元310用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像以及显示目标对象对应的状态的状态显示区域。目标图像展示单元320包括不同的深度学习模型，例如OpenPose模型、动作识别模型、人脸识别模型等，当利用深度学习模型检测出视频帧图像中有人体时，利用该深度学习模型或其他深度学习模型从所述视频帧图像中提取人体轮廓图像，识别人体轮廓图像中的人体各部位，得到各关节点的坐标，连接各个关节点，得到人体骨架图像；原始图像展示单元330当利用深度学习模型检测出视频帧图像中没有人体时，在所述目标监控界面中展示所述目标场景下原始的视频帧图像。

需要说明的是，本说明书的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。对于方法实施例中的所描述的任意的处理方式，在装置实施例中均可以通过相应的处理模块实现，装置实施例中不再一一赘述。

请参阅图12，基于上述的一种图像处理方法，本申请还提供的另一种包括可以执行前述一种图像处理方法的电子设备400，电子设备400还包括一个或多个处理器410、存储器420、摄像头430以及一个或多个应用程序。其中，该存储器420中存储有可以执行前述实施例中内容的程序，摄像头430可以采集前述实施例中的内容的数据，而处理器410可以执行该存储器420中存储的程序。其中，电子设备400可以是智能手机、智能多媒体、智能机器人、平板电脑、个人计算机等可以采集图像的电子设备。

其中，处理器410可以包括一个或者多个用于处理数据的核以及消息矩阵单元。处理器410利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器420内的指令、程序、代码集或指令集，以及调用存储在存储器420内的数据，执行电子设备400的各种功能和处理数据。可选地，处理器410可以采用数字信号处理(DigitalSignalProcessing，DSP)、现场可编程门阵列(Field－Programmable GateArray，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器410可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics ProcessingUnit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器中，单独通过一块通信芯片进行实现。

存储器420可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器420可用于存储指令、程序、代码、代码集或指令集。存储器420可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(如生成目标对象结构对应的目标对象结构图等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端在使用中所创建的数据(比如背景图像、目标帧图像、原始的视频帧图像)等。

摄像头430可以包括镜头部分、LED部分、芯片部分、PCB及元件部分，景物通过镜头生成的光学图像投射到图像传感器表面上，然后转为电信号经过A/D转换后变为数字图像信号，再送到数字信号处理芯片中加工处理，在通过USB接口传输到电脑等处理器中。

请参阅图13，其示出了本申请实施例提供的一种计算机可读存储介质500的结构框图。该计算机可读存储介质500中存储有程序代码510，所述程序代码510可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质500可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质500包括非易失性计算机可读介质。计算机可读存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码510可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

展示目标监控界面，其中，所述目标监控界面用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像；

若识别出所述视频帧图像中存在目标对象，则在所述目标监控界面中，展示基于所述目标场景下的背景图像和对所述目标对象进行结构化处理得到的目标对象结构，所生成的目标帧图像；

若识别出所述视频帧图像中不存在目标对象，则在所述目标监控界面中展示所述目标场景下原始的视频帧图像。

2.根据权利要求1所述的方法，其特征在于，所述若识别出所述视频帧图像中存在目标对象，则在所述目标监控界面中，展示基于所述目标场景下的背景图像和对所述目标对象进行结构化处理得到的目标对象结构，所生成的目标帧图像，包括：

若识别出所述视频帧图像中存在目标对象，则对所述视频帧图像中的所述目标对象进行结构化处理，生成目标对象结构对应的目标对象结构图；

对所述目标对象结构图与所述目标场景下的背景图像进行融合处理，生成目标帧图像，并在所述目标监控界面中展示所述目标帧图像。

3.根据权利要求2所述的方法，其特征在于，所述若识别出所述视频帧图像中存在目标对象，则对所述视频帧图像中的所述目标对象进行结构化处理，生成目标对象结构对应的目标对象结构图，包括：

提取所述视频帧图像中各所述目标对象对应的关键点，以及各所述关键点的位置信息；

确定各所述目标对象对应的关键点之间的连接关系；

根据各所述关键点对应的位置信息和连接关系，对各所述目标对象的关键节点进行连接得到对应的目标对象结构，并绘制生成各所述目标对象结构对应的目标对象结构图。

4.根据权利要求2所述的方法，其特征在于，所述对所述目标对象结构图与所述目标场景下的背景图像进行融合处理，生成目标帧图像，并在所述目标监控界面中展示所述目标帧图像，包括：

根据所述目标对象在所述视频帧图像中的原始位置，确定所述目标对象结构图在所述背景图像中的目标位置；

按照所述目标位置将所述目标对象结构图绘制至所述背景图像中，生成目标帧图像，并在所述目标监控界面中展示所述目标帧图像。

5.根据权利要求1至4任一项所述的方法，其特征在于，在所述若识别出所述视频帧图像中存在目标对象之后，所述方法还包括：

确定所述目标场景下距当前最近的、不存在目标对象的视频帧图像；

将距当前最近的不存在所述目标对象的视频帧图像，确定为所述目标场景下当前的背景图像。

6.根据权利要求5所述的方法，其特征在于，所述目标监控界面包括用于显示目标对象对应的状态的状态显示区域，所述方法还包括：

若识别出所述视频帧图像中存在目标对象，则获取与所述视频帧图像相邻的多帧视频帧图像；

对所述多帧视频帧图像中的目标对象进行动作识别，得到所述目标对象的动作类别；

在所述目标监控界面中的状态显示区域展示所述目标对象的动作类别。

7.根据权利要求5所述的方法，其特征在于，若所述视频帧图像中存在目标对象，所述方法还包括：

对所述视频帧图像中的所述目标对象进行身份识别，得到所述目标对象对应的身份信息；

所述在所述目标监控界面中，展示基于所述目标场景下的背景图像和对所述目标对象进行结构化处理得到的目标对象结构，所生成的目标帧图像，包括：

在所述目标监控界面中，展示基于所述目标场景下的背景图像、对所述目标对象进行结构化处理得到的目标对象结构、以及所述身份信息，所生成的目标帧图像。

8.一种图像处理装置，其特征在于，所述装置包括：

界面展示单元，用于展示目标监控界面，其中，所述目标监控界面用于显示对采集的目标场景下的视频帧图像进行目标识别处理后的图像；

目标图像展示单元，用于若识别出所述视频帧图像中存在目标对象，则在所述目标监控界面中，展示基于所述目标场景下的背景图像和对所述目标对象进行结构化处理得到的目标对象结构，生成的目标帧图像；

原始图像展示单元，用于若识别出所述视频帧图像中不存在目标对象，则在所述目标监控界面中展示所述目标场景下原始的视频帧图像。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

摄像头；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-7任一项所述的方法。

10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。

Images