CN113989873A - 图像处理方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种图像处理方法、装置及电子设备，图像处理方法包括：通过智能家电设备上设置的摄像头获取所述智能家电设备箱体内的图像；在所述智能家电设备箱体内图像中识别到人体和/或人脸的情况下，通过目标图像替换所述智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像。本发明提供的图像处理方法、装置及电子设备，可以解决现有技术中智能家电设备内部摄像头获取用户人身目标区域，从而侵犯用户隐私的缺陷，实现禁止获取用户人身目标区域图像，保护用户隐私。

Description

图像处理方法、装置及电子设备

技术领域

本发明涉及智能家电技术领域，尤其涉及一种图像处理方法、装置及电子设备。

背景技术

智能家电逐渐走进人们的生活，而家电智能化的关键在于能对日常生活提供便利，比如对烤箱食材的识别及自动烘焙，对冰箱食材的识别等。目前已有很多智能家电中都安装有摄像头，例如烤箱和冰箱中已经安装有摄像头，通过摄像头可以获取烤箱或者冰箱中的食材照片并上传至云端服务器，进而对食材进行识别，从而可以分析食材的保质期，对食材进行健康管理。

但是，当用户打开智能家电的门时，智能家电内部的摄像头容易拍摄到用户的人脸并上传至云端服务器，这样会导致侵犯用户隐私。

发明内容

本发明提供一种图像处理方法、装置及电子设备，用以解决现有技术中智能家电设备内部摄像头获取用户人体区域和/或人脸区域，从而侵犯用户隐私的缺陷，实现禁止获取用户人体区域和/或人脸区域图像，保护用户隐私。

本发明提供一种图像处理方法，包括：

通过智能家电设备上设置的摄像头获取所述智能家电设备箱体内的图像；

在所述智能家电设备箱体内图像中识别到人体和/或人脸的情况下，通过目标图像替换所述智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像。

根据本发明提供的图像处理方法，还包括：

将所述智能家电设备箱体内图像输入至人体区域和/或人脸区域识别模型，得到人体区域和/或人脸区域检测结果，以通过所述人体区域和/或人脸区域检测结果确定所述智能家电设备箱体内图像中是否有人体区域和/或人脸区域；

其中，所述人体区域和/或人脸区域识别模型为，以预设的图像为训练样本，以预设的图像对应的人体区域和/或人脸区域检测结果为样本标签，对多任务卷积神经网络和/或只看一次网络训练得到。

根据本发明提供的图像处理方法，所述通过目标图像替换所述智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像，包括：

将所述智能家电设备箱体内图像以及所述目标图像输入至图像替换模型，通过所述图像替换模型利用所述目标图像替换所述智能家电设备箱体内图像中的人体区域和/或人脸区域，得到所述新图像；

其中，所述图像替换模型为，以预设的图像以及预设的目标图像为样本，以基于所述预设的目标图像替换所述预设的图像中的人体区域和/或人脸区域，所得到的新图像为样本标签，对生成式对抗网络进行训练得到。

根据本发明提供的图像处理方法，所述图像替换模型为，将预设的图像以及预设的目标图像为样本，输入至所述生成式对抗网络中的生成模型中，将基于所述预设的目标图像替换所述预设的图像中的人体区域和/或人脸区域，所得到的新图像作为样本标签输入至所述生成式对抗网络中的判别模型，以及将所述生成模型的输出结果输入至所述判别模型，训练得到。

根据本发明提供的图像处理方法，所述图像替换模型为在云端服务器训练得到，并部署在所述智能家电设备中。

根据本发明提供的图像处理方法，还包括：

将所述新图像在所述摄像头内进行缓存；

在所述新图像缓存后经过目标时长，从所述摄像头的缓存中读取所述新图像，将所述新图像发送至云端服务器，以在所述云端服务器对所述新图像进行识别，获取所述智能家电设备箱体内的物品信息。

根据本发明提供的图像处理方法，还包括：

在所述智能家电设备箱体内图像中识别到人体和/或人脸的情况下，提取所述智能家电设备箱体内图像中的人体区域和/或人脸区域特征，并将提取的人体区域和/或人脸区域特征与预存的目标人员的人体区域和/或人脸区域特征进行比对，得到人体区域和/或人脸区域比对结果；

在基于人体区域和/或人脸区域比对结果，确定存在非目标人员操作所述智能家电设备箱体的情况下，发出预警。

本发明还提供一种图像处理装置，包括：

获取模块，用于通过智能家电设备上设置的摄像头获取所述智能家电设备箱体内的图像；

替换模块，用于在所述智能家电设备箱体内图像中识别到人体和/或人脸的情况下，通过目标图像替换所述智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像。

本发明还提供一种智能家电设备，包括上述的图像处理装置。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像处理方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像处理方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像处理方法的步骤。

本发明提供的图像处理方法、装置及电子设备，通过获取智能家电设备箱体门口的图像，该图像会被利用拿来进行识别和数据分析，当该图像中包含有人体区域和/或人脸区域的图像时，会泄露用户的隐私。为了保护用户的隐私，对该图像进行检测，当检测到该图像中有人体区域和/或人脸区域的时候，就使用目标图像替换图像中的人体区域和/或人脸区域，形成新图像后，以保护用户的隐私。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的图像处理方法的流程示意图之一；

图2是本发明提供的图像处理方法的流程示意图之二；

图3是本发明提供的图像处理装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图4描述本发明的图像处理方法、装置及电子设备。

如图1所示，本发明提供的图像处理方法包括：

步骤110、通过智能家电设备上设置的摄像头获取智能家电设备箱体内的图像。

可以理解的是，智能家电设备可以是烤箱或者冰箱。烤箱的箱体内侧或者烤箱门的内侧安装有摄像头，冰箱的箱体内侧或者冰箱门的内侧安装有摄像头。

步骤110可以在智能家电设备箱体关门过程中执行，当用户打开智能家电设备的箱体门之后，可以往智能家电设备的箱体内放入物品，或者从箱体中取出物品，在完成存放物品或者取出物品的操作后，通过智能家电设备内的摄像头拍摄图像，再通过对该图像进行识别，确定用户放入智能家电设备内的物品类别，以便进行数据分析，分析用户喜好，或者通过对该图像进行识别，确定用户取出哪些物品。

在完成存放物品或者取出物品的操作后，会对智能家电设备的箱体进行关门，因此，可以在检测到智能家电设备箱体处于关门的过程中时，触发智能家电设备箱体内的摄像头进行拍照。

在拍照过程中，可能会拍摄到人体区域和/或人脸区域，为了保护用户隐私，需要对图像进行处理。智能家电设备箱体内的图像，也即是安装在智能家电设备内的摄像头所拍摄到的智能家电设备箱体门口区域的图像。

步骤120、在智能家电设备箱体内图像中识别到人体和/或人脸的情况下，通过目标图像替换智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像。

可以理解的是，目标图像可以是预设的用于替换图像中人体区域和/或人脸区域的图像，例如可以是卡通动漫头像，生成的新图像中就不包含有人体区域和/或人脸区域。这样，在获取智能家电设备内摄像头拍摄的智能家电设备箱体内图像时，就不会获取到用户的人体区域和/或人脸区域，避免用户人体区域和/或人脸区域被他人非法滥用，侵犯用户的隐私和肖像权。

在一些实施例中，图像处理方法还包括：

将智能家电设备箱体内图像输入至人体区域和/或人脸区域识别模型，得到人体区域和/或人脸区域检测结果，以通过人体区域和/或人脸区域检测结果确定智能家电设备箱体内图像中是否有人体区域和/或人脸区域；

其中，人体区域和/或人脸区域识别模型为，以预设的图像为训练样本，以预设的图像对应的人体区域和/或人脸区域检测结果为样本标签，对多任务卷积神经网络(Multi-task convolutional neural network，MTCNN)和/或只看一次(You Only Look Once，YOLO)网络训练得到。可以理解的是，作为训练样本的预设的图像，可以是从人体区域和/或人脸区域数据库中获取的图像。当人体区域和/或人脸区域是人脸时，基于多任务卷积神经网络训练，当人体区域和/或人脸区域是身体时，基于只看一次网络训练。

多任务卷积神经网络使用了级联思想，将复杂问题分解，脸部特征复杂，适合采用多任务卷积神经网络进行检测。而且，多任务卷积神经网络的三个级联网络都较小，训练模型时容易收敛，使得模型能够在小型设备上运行。

只看一次网络检测速度非常快，不同于其他的目标检测算法，只看一次网络的输入是一整张图片，在检测时很好的利用了整体的信息，不容易在背景上预测出错误的物体信息，方便用于身体检测。

进一步，人体区域和/或人脸区域识别模型是在云端服务器训练得到，下发到智能家电设备端进行部署。智能家电设备上可以设置多核CPU或者GPU，将人体区域和/或人脸区域识别模型部署在多核CPU或者GPU上，可以实现对智能家电设备箱体内图像中人体区域和/或人脸区域进行识别。

在云端服务器训练人体区域和/或人脸区域识别模型，需要的计算量较大，因此在云端服务器进行训练，在人体区域和/或人脸区域识别模型训练完成之后，部署到智能家电设备端，在智能家电设备本地就可以实现人体区域和/或人脸区域识别，不需要将获取的智能家电设备箱体内图像发送至云端服务器，降低了云端服务器的工作量，提高了人体区域和/或人脸区域识别的效率。

例如，人体区域和/或人脸区域是人脸，多任务卷积神经网络是将人脸区域检测与人脸关键点检测放在了一起，它的主题框架类似于cascade。多任务卷积神经网络总体可分为P-Net(Proposal Network)、R-Net(Refine Network)、和O-Net(Output Network)三层网络结构。

P-Net：其基本的构造是一个全卷积网络。P-Net是一个人脸区域的区域建议网络，该网络的将特征输入结果三个卷积层之后，通过一个人脸分类器判断该区域是否是人脸，同时使用边框回归和一个面部关键点的定位器来进行人脸区域的初步提议，该部分最终将输出很多张可能存在人脸的人脸区域，并将这些区域输入R-Net进行进一步处理。

P-Net网络结构主要获得了人脸区域的候选窗口和边界框的回归向量。并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制(Non-Maximum Suppression，NMS)来合并高度重叠的候选框。

R-Net：其基本的构造是一个卷积神经网络，相对于第一层的P-Net来说，增加了一个全连接层，因此对于输入数据的筛选会更加严格。在图片经过P-Net后，会留下许多预测窗口，我们将所有的预测窗口送入R-Net，这个网络会滤除大量效果比较差的候选框，最后对选定的候选框进行Bounding-Box Regression和非极大值抑制进一步优化预测结果。

因为P-Net的输出只是具有一定可信度的可能的人脸区域，在这个网络中，将对输入进行细化选择，并且舍去大部分的错误输入，并再次使用边框回归和面部关键点定位器进行人脸区域的边框回归和关键点定位，最后将输出较为可信的人脸区域，供O-Net使用。对比与P-Net使用全卷积输出的1x1x32的特征，R-Net使用在最后一个卷积层之后使用了一个128的全连接层，保留了更多的图像特征，准确度性能也优于P-Net。

R-Net网络结构还是通过边界框回归和非极大值抑制来去掉那些误检率(false-positive，也可以被称作虚警率)区域。只是由于该网络结构和P-Net网络结构有差异，多了一个全连接层，所以会取得更好的抑制误检率的作用。

O-Net：基本结构是一个较为复杂的卷积神经网络，相对于R-Net来说多了一个卷积层。O-Net的效果与R-Net的区别在于这一层结构会通过更多的监督来识别面部的区域，而且会对人的面部特征点进行回归，最终输出五个人脸面部特征点。

O-Net是一个更复杂的卷积网络，该网络的输入特征更多，在网络结构的最后同样是一个更大的256的全连接层，保留了更多的图像特征，同时再进行人脸判别、人脸区域边框回归和人脸特征定位，最终输出人脸区域的左上角坐标和右下角坐标与人脸区域的五个特征点。O-Net拥有特征更多的输入和更复杂的网络结构，也具有更好的性能，这一层的输出作为最终的网络模型输出。

O-Net网络结构比R-Net网络结构又多了一层卷基层，所以处理的结果会更加精细。作用和R-Net层作用一样。但是该层对人脸区域进行了更多的监督，同时还会输出5个地标(即：landmark)。

在一些实施例中，通过目标图像替换智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像，包括：

将智能家电设备箱体内图像以及目标图像输入至图像替换模型，通过图像替换模型利用目标图像替换智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像。

其中，图像替换模型为，以预设的图像以及预设的目标图像为样本，以基于预设的目标图像替换预设的图像中的人体区域和/或人脸区域，所得到的新图像为样本标签，对生成式对抗网络(Generative Adversarial Networks，GAN)进行训练得到。

可以理解的是，生成式对抗网络包括生成模型G和判别模型D。生成模型G：不断学习训练集中真实数据的概率分布，目标是将输入的随机噪声转化为可以以假乱真的图片(生成的图片与训练集中的图片越相似越好)。

判别模型D：判断一个图片是否是真实的图片，目标是将生成模型G产生的“假”图片与训练集中的“真”图片分辨开。

对生成式对抗网络的实现方法是让判别模型D和生成模型G进行博弈，训练过程中通过相互竞争让这两个模型同时得到增强。由于判别模型D的存在，使得生成模型G在没有大量先验知识以及先验分布的前提下也能很好的去学习逼近真实数据，并最终让模型生成的数据达到以假乱真的效果(即判别模型D无法区分生成模型G生成的图片与真实图片，从而生成模型G和判别模型D达到某种纳什均衡)。

在一些实施例中，图像替换模型为，将预设的图像以及预设的目标图像为样本，输入至生成式对抗网络中的生成模型中，将基于预设的目标图像替换预设的图像中的人体区域和/或人脸区域，所得到的新图像作为样本标签输入至生成式对抗网络中的判别模型，以及将生成模型的输出结果输入至判别模型，训练得到。由此训练所得的生成模型，即为图像替换模型。

可以理解的是，生成模型可以用预设的目标图像替换预设的图像中的人体区域和/或人脸区域，最后合成一张图像输入至判别模型中，判别模型将生成模型输出的图像，与人工得到的新图像，进行比较，并根据比较结果来修正生成模型。

进一步，图像替换模型为在云端服务器训练得到，并部署在智能家电设备中。

可以理解的是，在云端服务器训练图像替换模型，便于统一部署到多个智能家电设备，且减少智能家电设备的数据处理量。

在一些实施例中，图像处理方法还包括：

将新图像在摄像头内进行缓存；

在新图像缓存后经过目标时长，从摄像头的缓存中读取新图像，将新图像发送至云端服务器，以在云端服务器对新图像进行识别，获取智能家电设备箱体内的物品信息。

可以理解的是，现有的摄像头一般是在拍照后，将获取的图像先缓存在摄像头本地，而本实施例中，是将新图像替代直接拍照获取的图像缓存在摄像头本地，避免摄像头被黑客入侵，造成用户隐私泄露。

智能家电设备将得到的新图像发送至云端服务器，在云端服务器可以对新图像进行分析。

需要说明的是，智能家电设备内的摄像头一般用于拍摄智能家电设备内部的物品图像，并将拍摄到的物品图像上传至云端服务器进行数据分析。例如，通过烤箱内摄像头，间隔一定时间抓取一张图像，拍摄烤箱内食材图像并上传至云端服务器，通过云端服务器对烤箱食材进行识别，从而判断食材的烘焙状态，并根据识别的烘焙状态控制烤箱进行自动烘焙。

或者通过冰箱内的摄像头拍摄冰箱食材的图像，并将该图像上传至云端服务器，实现对冰箱食材的识别等，通过对食材进行识别，从而可以进行食材保质期等的健康管理和商城推荐购买等应用。

在一些实施例中，图像处理方法还包括：

在智能家电设备箱体内图像中识别到人体和/或人脸的情况下，提取智能家电设备箱体内图像中的人体区域和/或人脸区域特征，并将提取的人体区域和/或人脸区域特征与预存的目标人员的人体区域和/或人脸区域特征进行比对，得到人体区域和/或人脸区域比对结果；

在基于人体区域和/或人脸区域比对结果，确定存在非目标人员操作智能家电设备箱体的情况下，发出预警。

可以理解的是，目标人员可以是用户自己以及开放权限的人员，非目标人员可以是未开放权限的人员，例如陌生人。用户可以预先录入目标人员的人体区域和/或人脸区域，如人脸。当非目标人员打开智能家电设备箱体并从中取出物品时，可以将所拍摄的人脸与预存的目标人员的人脸特征进行比对，确定是非目标人员之后，为了避免物品被盗，发出预警。

在智能家电设备上可以设置有存储器，预存的目标人员的人体区域和/或人脸区域可以存储在该存储器上。

在一些实施例中，图像处理方法如图2所示，在烤箱关门时，摄像头拍摄智能家电设备箱体内图像，基于该智能家电设备箱体内图像进行人脸检测和人体检测，当智能家电设备箱体内图像中存在人体或者人脸时，基于目标图像替换智能家电设备箱体内图像中的人脸或人体，得到新图片输出。

综上所述，本发明提供的图像处理方法，包括：通过智能家电设备上设置的摄像头获取智能家电设备箱体内的图像；在智能家电设备箱体内图像中识别到人体和/或人脸的情况下，通过目标图像替换图像中的人体区域和/或人脸区域，得到新图像。

在本发明提供的图像处理方法中，在智能家电设备箱体关门过程中，会获取智能家电设备箱体门口的图像，该智能家电设备箱体内图像会被利用拿来进行识别和数据分析，当该智能家电设备箱体内图像中包含有人体区域和/或人脸区域的图像时，会泄露用户的隐私。为了保护用户的隐私，对该智能家电设备箱体内图像进行检测，当检测到该智能家电设备箱体内图像中有人体区域和/或人脸区域的时候，就使用目标图像替换智能家电设备箱体内图像中的人体区域和/或人脸区域，形成新图像后，以保护用户的隐私。

下面对本发明提供的图像处理装置进行描述，下文描述的图像处理装置与上文描述的图像处理方法可相互对应参照。

如图3所示，本发明提供的图像处理装置300包括：获取模块310和替换模块320。

获取模块310用于通过智能家电设备上设置的摄像头获取智能家电设备箱体内的图像。

可以理解的是，智能家电设备可以是烤箱或者冰箱。烤箱的箱体内侧或者烤箱门的内侧安装有摄像头，冰箱的箱体内侧或者冰箱门的内侧安装有摄像头。

当用户打开智能家电设备的箱体门之后，可以往智能家电设备的箱体内放入物品，或者从箱体中取出物品，在完成存放物品或者取出物品的操作后，通过智能家电设备内的摄像头拍摄智能家电设备箱体内图像，再通过对该智能家电设备箱体内图像进行识别，确定用户放入智能家电设备内的物品类别，以便进行数据分析，分析用户喜好，或者通过对该智能家电设备箱体内图像进行识别，确定用户取出哪些物品。

在完成存放物品或者取出物品的操作后，会对智能家电设备的箱体进行关门，因此，可以在检测到智能家电设备箱体处于关门的过程中时，触发智能家电设备箱体内的摄像头进行拍照。在拍照过程中，可能会拍摄到人体区域和/或人脸区域，为了保护用户隐私，需要对智能家电设备箱体内图像进行处理。智能家电设备箱体门口，也即是智能家电设备内所安装的摄像头可以拍摄到的区域。

需要说明的是，人体区域和/或人脸区域可以是人脸或者人体。

替换模块320用于在智能家电设备箱体内图像中识别到人体和/或人脸的情况下，通过目标图像替换智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像。

可以理解的是，目标图像可以是预设的用于替换智能家电设备箱体内图像中人体区域和/或人脸区域的图像，例如可以是卡通动漫头像，生成的新图像中就不包含有人体区域和/或人脸区域。这样，在获取智能家电设备内摄像头拍摄的智能家电设备箱体内图像时，就不会获取到用户的人体区域和/或人脸区域，避免用户人体区域和/或人脸区域被他人非法滥用，侵犯用户的隐私和肖像权。

在一些实施例中图像处理装置300还包括检测模块。检测模块用于将智能家电设备箱体内图像输入至人体区域和/或人脸区域识别模型，得到人体区域和/或人脸区域检测结果，以通过人体区域和/或人脸区域检测结果确定智能家电设备箱体内图像中是否有人体区域和/或人脸区域。

其中，人体区域和/或人脸区域识别模型为，以预设的图像为训练样本，以预设的图像对应的人体区域和/或人脸区域检测结果为样本标签，对多任务卷积神经网络和/或只看一次网络训练得到。

可以理解的是，作为训练样本的预设的图像，可以是从人体区域和/或人脸区域数据库中获取的图像。

进一步，人体区域和/或人脸区域识别模型是在云端服务器训练得到，下发到智能家电设备端进行部署。智能家电设备上可以设置多核CPU或者GPU，将人体区域和/或人脸区域识别模型部署在多核CPU或者GPU上，可以实现对智能家电设备箱体内图像中人体区域和/或人脸区域进行识别。

在云端服务器训练人体区域和/或人脸区域识别模型，需要的计算量较大，因此在云端服务器进行训练，在人体区域和/或人脸区域识别模型训练完成之后，部署到智能家电设备端，在智能家电设备本地就可以实现人体区域和/或人脸区域识别，不需要将获取的智能家电设备箱体内图像发送至云端服务器，降低了云端服务器的工作量，提高了人体区域和/或人脸区域识别的效率。

例如，人体区域和/或人脸区域是人脸，多任务卷积神经网络是将人脸区域检测与人脸关键点检测放在了一起，它的主题框架类似于cascade。多任务卷积神经网络总体可分为P-Net(Proposal Network)、R-Net(Refine Network)、和O-Net(Output Network)三层网络结构。

P-Net：其基本的构造是一个全卷积网络。P-Net是一个人脸区域的区域建议网络，该网络的将特征输入结果三个卷积层之后，通过一个人脸分类器判断该区域是否是人脸，同时使用边框回归和一个面部关键点的定位器来进行人脸区域的初步提议，该部分最终将输出很多张可能存在人脸的人脸区域，并将这些区域输入R-Net进行进一步处理。

P-Net网络结构主要获得了人脸区域的候选窗口和边界框的回归向量。并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制(Non-Maximum Suppression，NMS)来合并高度重叠的候选框。

R-Net：其基本的构造是一个卷积神经网络，相对于第一层的P-Net来说，增加了一个全连接层，因此对于输入数据的筛选会更加严格。在图片经过P-Net后，会留下许多预测窗口，我们将所有的预测窗口送入R-Net，这个网络会滤除大量效果比较差的候选框，最后对选定的候选框进行Bounding-Box Regression和非极大值抑制进一步优化预测结果。

因为P-Net的输出只是具有一定可信度的可能的人脸区域，在这个网络中，将对输入进行细化选择，并且舍去大部分的错误输入，并再次使用边框回归和面部关键点定位器进行人脸区域的边框回归和关键点定位，最后将输出较为可信的人脸区域，供O-Net使用。对比与P-Net使用全卷积输出的1x1x32的特征，R-Net使用在最后一个卷积层之后使用了一个128的全连接层，保留了更多的图像特征，准确度性能也优于P-Net。

R-Net网络结构还是通过边界框回归和非极大值抑制来去掉那些误检率(false-positive，也可以被称作虚警率)区域。只是由于该网络结构和P-Net网络结构有差异，多了一个全连接层，所以会取得更好的抑制误检率的作用。

O-Net：基本结构是一个较为复杂的卷积神经网络，相对于R-Net来说多了一个卷积层。O-Net的效果与R-Net的区别在于这一层结构会通过更多的监督来识别面部的区域，而且会对人的面部特征点进行回归，最终输出五个人脸面部特征点。

O-Net是一个更复杂的卷积网络，该网络的输入特征更多，在网络结构的最后同样是一个更大的256的全连接层，保留了更多的图像特征，同时再进行人脸判别、人脸区域边框回归和人脸特征定位，最终输出人脸区域的左上角坐标和右下角坐标与人脸区域的五个特征点。O-Net拥有特征更多的输入和更复杂的网络结构，也具有更好的性能，这一层的输出作为最终的网络模型输出。

O-Net网络结构比R-Net网络结构又多了一层卷基层，所以处理的结果会更加精细。作用和R-Net层作用一样。但是该层对人脸区域进行了更多的监督，同时还会输出5个地标(即：landmark)。

在一些实施例中，替换模块320进一步用于将智能家电设备箱体内图像以及目标图像输入至图像替换模型，通过图像替换模型利用目标图像替换智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像。

其中，图像替换模型为，以预设的图像以及预设的目标图像为样本，以基于预设的目标图像替换预设的图像中的人体区域和/或人脸区域，所得到的新图像为样本标签，对生成式对抗网络进行训练得到。

可以理解的是，生成式对抗网络包括生成模型G和判别模型D。生成模型G：不断学习训练集中真实数据的概率分布，目标是将输入的随机噪声转化为可以以假乱真的图片(生成的图片与训练集中的图片越相似越好)。

判别模型D：判断一个图片是否是真实的图片，目标是将生成模型G产生的“假”图片与训练集中的“真”图片分辨开。

对生成式对抗网络的实现方法是让判别模型D和生成模型G进行博弈，训练过程中通过相互竞争让这两个模型同时得到增强。由于判别模型D的存在，使得生成模型G在没有大量先验知识以及先验分布的前提下也能很好的去学习逼近真实数据，并最终让模型生成的数据达到以假乱真的效果(即判别模型D无法区分生成模型G生成的图片与真实图片，从而生成模型G和判别模型D达到某种纳什均衡)。

在一些实施例中，图像替换模型为，将预设的图像以及预设的目标图像为样本，输入至生成式对抗网络中的生成模型中，将基于预设的目标图像替换预设的图像中的人体区域和/或人脸区域，所得到的新图像作为样本标签输入至生成式对抗网络中的判别模型，以及将生成模型的输出结果输入至判别模型，训练得到。由此训练所得的生成模型，即为图像替换模型。

可以理解的是，生成模型可以用预设的目标图像替换预设的图像中的人体区域和/或人脸区域，最后合成一张图像输入至判别模型中，判别模型将生成模型输出的图像，与人工得到的新图像，进行比较，并根据比较结果来修正生成模型。

进一步，图像替换模型为在云端服务器训练得到，并部署在智能家电设备中。

可以理解的是，在云端服务器训练图像替换模型，便于统一部署到多个智能家电设备，且减少智能家电设备的数据处理量。

在一些实施例中，图像处理装置300还包括：缓存模块和发送模块。

缓存模块用于将新图像在摄像头内进行缓存。

发送模块用于在新图像缓存后经过目标时长，从摄像头的缓存中读取新图像，将新图像发送至云端服务器，以在云端服务器对新图像进行识别，获取智能家电设备箱体内的物品信息。

可以理解的是，智能家电设备将得到的新图像发送至云端服务器，在云端服务器可以对新图像进行分析。

需要说明的是，智能家电设备内的摄像头一般用于拍摄智能家电设备内部的物品图像，并将拍摄到的物品图像上传至云端服务器进行数据分析。例如，通过烤箱内摄像头，间隔一定时间抓取一张图像，拍摄烤箱内食材图像并上传至云端服务器，通过云端服务器对烤箱食材进行识别，从而判断食材的烘焙状态，并根据识别的烘焙状态控制烤箱进行自动烘焙。

或者通过冰箱内的摄像头拍摄冰箱食材的图像，并将该图像上传至云端服务器，实现对冰箱食材的识别等，通过对食材进行识别，从而可以进行食材保质期等的健康管理和商城推荐购买等应用。

在一些实施例中，图像处理装置300还包括：比对模块和预警模块。

比对模块用于在智能家电设备箱体内图像中识别到人体和/或人脸的情况下，提取智能家电设备箱体内图像中的人体区域和/或人脸区域特征，并将提取的人体区域和/或人脸区域特征与预存的目标人员的人体区域和/或人脸区域特征进行比对，得到人体区域和/或人脸区域比对结果。

预警模块用于在基于人体区域和/或人脸区域比对结果，确定存在非目标人员操作智能家电设备箱体的情况下，发出预警。

可以理解的是，目标人员可以是用户自己以及开放权限的人员，非目标人员可以是未开放权限的人员，例如陌生人。用户可以预先录入目标人员的人体区域和/或人脸区域，如人脸。当非目标人员打开智能家电设备箱体并从中取出物品时，可以将所拍摄的人脸与预存的目标人员的人脸特征进行比对，确定是非目标人员之后，为了避免物品被盗，发出预警。

在智能家电设备上可以设置有存储器，预存的目标人员的人体区域和/或人脸区域可以存储在该存储器上。

在本发明提供的图像处理装置中，在智能家电设备箱体关门过程中，会获取智能家电设备箱体门口的图像，该智能家电设备箱体内图像会被利用拿来进行识别和数据分析，当该智能家电设备箱体内图像中包含有人体区域和/或人脸区域的图像时，会泄露用户的隐私。为了保护用户的隐私，对该智能家电设备箱体内图像进行检测，当检测到该智能家电设备箱体内图像中有人体区域和/或人脸区域的时候，就使用目标图像替换智能家电设备箱体内图像中的人体区域和/或人脸区域，形成新图像后，以保护用户的隐私。

下面对本发明提供的智能家电设备进行描述，下文描述的智能家电设备与上文描述的图像处理装置300可相互对应参照。

本发明提供的智能家电设备包括上述的图像处理装置300。

下面对本发明提供的电子设备、计算机程序产品及存储介质进行描述，下文描述的电子设备、计算机程序产品及存储介质与上文描述的图像处理方法可相互对应参照。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行图像处理方法，该方法包括：

步骤110、通过智能家电设备上设置的摄像头获取智能家电设备箱体内的图像；

步骤120、在智能家电设备箱体内图像中识别到人体和/或人脸的情况下，通过目标图像替换智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像处理方法，该方法包括：

步骤110、通过智能家电设备上设置的摄像头获取智能家电设备箱体内的图像；

步骤120、在智能家电设备箱体内图像中识别到人体和/或人脸的情况下，通过目标图像替换智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像处理方法，该方法包括：

步骤110、通过智能家电设备上设置的摄像头获取智能家电设备箱体内的图像；

步骤120、在智能家电设备箱体内图像中识别到人体和/或人脸的情况下，通过目标图像替换智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

通过智能家电设备上设置的摄像头获取所述智能家电设备箱体内的图像；

在所述智能家电设备箱体内图像中识别到人体和/或人脸的情况下，通过目标图像替换所述智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像。

2.根据权利要求1所述的图像处理方法，其特征在于，还包括：

将所述智能家电设备箱体内图像输入至人体区域和/或人脸区域识别模型，得到人体区域和/或人脸区域检测结果，以通过所述人体区域和/或人脸区域检测结果确定所述智能家电设备箱体内图像中是否有人体区域和/或人脸区域；

其中，所述人体区域和/或人脸区域识别模型为，以预设的图像为训练样本，以预设的图像对应的人体区域和/或人脸区域检测结果为样本标签，对多任务卷积神经网络和/或只看一次网络训练得到。

3.根据权利要求1所述的图像处理方法，其特征在于，所述通过目标图像替换所述智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像，包括：

将所述智能家电设备箱体内图像以及所述目标图像输入至图像替换模型，通过所述图像替换模型利用所述目标图像替换所述智能家电设备箱体内图像中的人体区域和/或人脸区域，得到所述新图像；

其中，所述图像替换模型为，以预设的图像以及预设的目标图像为样本，以基于所述预设的目标图像替换所述预设的图像中的人体区域和/或人脸区域，所得到的新图像为样本标签，对生成式对抗网络进行训练得到。

4.根据权利要求3所述的图像处理方法，其特征在于，所述图像替换模型为，将预设的图像以及预设的目标图像为样本，输入至所述生成式对抗网络中的生成模型中，将基于所述预设的目标图像替换所述预设的图像中的人体区域和/或人脸区域，所得到的新图像作为样本标签输入至所述生成式对抗网络中的判别模型，以及将所述生成模型的输出结果输入至所述判别模型，训练得到。

5.根据权利要求3所述的图像处理方法，其特征在于，所述图像替换模型为在云端服务器训练得到，并部署在所述智能家电设备中。

6.根据权利要求1所述的图像处理方法，其特征在于，还包括：

将所述新图像在所述摄像头内进行缓存；

在所述新图像缓存后经过目标时长，从所述摄像头的缓存中读取所述新图像，将所述新图像发送至云端服务器，以在所述云端服务器对所述新图像进行识别，获取所述智能家电设备箱体内的物品信息。

7.根据权利要求1-6任一项所述的图像处理方法，其特征在于，还包括：

在所述智能家电设备箱体内图像中识别到人体和/或人脸的情况下，提取所述智能家电设备箱体内图像中的人体区域和/或人脸区域特征，并将提取的人体区域和/或人脸区域特征与预存的目标人员的人体区域和/或人脸区域特征进行比对，得到人体区域和/或人脸区域比对结果；

在基于人体区域和/或人脸区域比对结果，确定存在非目标人员操作所述智能家电设备箱体的情况下，发出预警。

8.一种图像处理装置，其特征在于，包括：

获取模块，用于通过智能家电设备上设置的摄像头获取所述智能家电设备箱体内的图像；

替换模块，用于在所述智能家电设备箱体内图像中识别到人体和/或人脸的情况下，通过目标图像替换所述智能家电设备箱体内图像中的人体区域和/或人脸区域，得到新图像。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述图像处理方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像处理方法的步骤。

Images