CN113516155A - 用于处理图像的方法、处理器、控制装置及家用电器 - Google Patents

Abstract

本发明提供一种用于处理图像的方法、处理器、控制装置、家用电器、机器可读存储介质及计算机程序产品，该方法应用于油烟机或集成灶，包括：获取第一图像采集设备对第一图像采集区域拍照得到的第一图像，和第二图像采集设备对第二图像采集区域拍照得到的第二图像，第一图像与第二图像具有相交部分；将第一图像与第二图像输入到生成式对抗网络的生成器，以生成融合第一图像与第二图像的全景图像，该用于处理图像的方法克服了传统方法融合过程中所带来的图像像素间的偏差，使融合第一图像与第二图像的全景图像看起来更加逼真，有利于进行更多的数据分析，以满足用户更多的需求。

Description

用于处理图像的方法、处理器、控制装置及家用电器

技术领域

本发明涉及家用电器领域，具体地涉及一种用于处理图像的方法、处理器、控制装置、家用电器、机器可读存储介质及计算机程序产品。

背景技术

随着信息社会的发展，智能家电越来越多地出现在人们的生活之中，社会和经济水平的发展使得人们对家电品质的追求也越来越高，家居舒适化和智能化的需求越来越强烈，智能厨房是整个智能家居的重要一环，而智能烹饪又是智能厨房的重中之重。

目前带图像识别的油烟机，从多个角度对灶台上的状况进行跟踪拍摄，再对拍摄的多角度图片进行信息融合，构建三维立体图和物体关联匹配的融合图像，然后再根据用户需求进行下一步的处理。现有技术在进行图像融合时由于图像的大小、分辨率、图像操作计算复杂度以及对多幅图像进行特征抽取和匹配等诸多因素，整个过程分好几个步骤，每个步骤都有很多超参数，给整个融合过程带来很高的复杂性。如果要更换场景，还需要一些经验技巧来不断调节，使得整个流程的易用性被降低。

发明内容

本发明实施例的目的是提供一种用于处理图像的方法、处理器、控制装置、家用电器、机器可读存储介质及计算机程序产品。

为了实现上述目的，本发明实施例提供一种用于处理图像的方法，应用于油烟机或集成灶，包括：

获取第一图像采集设备对第一图像采集区域拍照得到的第一图像，和第二图像采集设备对第二图像采集区域拍照得到的第二图像，第一图像与第二图像具有相交部分；

将第一图像与第二图像输入到生成式对抗网络的生成器，以生成融合第一图像与第二图像的全景图像。

在本发明的实施例中，该方法还包括：

获取图像训练样本集，图像训练样本集包括多个图像三元组，每个图像三元组包括第一图像采集设备拍摄的第一训练图像、第二图像采集设备拍摄的第二训练图像以及覆盖第一图像采集区域和第二图像采集区域的训练全景图像；

将图像三元组中的第一训练图像和第二训练图像输入到生成器，以生成融合第一训练图像和第二训练图像的全景图像；

将生成的全景图像与训练全景图像输入到生成式对抗网络的判别器，以输出结果；

计算生成式对抗网络的损失函数，损失函数与生成器和判别器相关联；

在损失函数满足期望值的情况下，结束对生成器和判别器的训练。

在本发明的实施例中，将图像三元组中的第一训练图像和第二训练图像输入到生成器，以生成融合第一训练图像和第二训练图像的全景图像，包括：

将第一训练图像和第二训练图像输入到生成器；

对输入的第一训练图像和第二训练图像进行下采样，以提取特征图；

对特征图进行上采样，以生成融合第一训练图像和第二训练图像的全景图像。

在本发明的实施例中，对输入的第一训练图像和第二训练图像进行下采样，以提取特征图，包括：

对第一训练图像和第二训练图像分别进行下采样，以分别提取第一特征图和第二特征图；

对第一特征图和第二特征图进行处理，以生成特征图。

在本发明的实施例中，对第一特征图和第二特征图进行处理，以生成特征图，包括：

将第一特征图和第二特征图进行拼接，以生成特征图；或者

将第一特征图和第二特征图进行相加，以生成特征图。

在本发明的实施例中，将第一特征图和第二特征图进行相加，以生成特征图，包括：

将第一特征图和第二特征图进行相加，以得到第三特征图；

改变第三特征图的高度和通道数量，以生成特征图。

在本发明的实施例中，将图像三元组中的第一训练图像和第二训练图像输入到生成器，以生成融合第一训练图像和第二训练图像的全景图像，还包括：

对特征图进行卷积操作，以进行特征大小不变的非线性变换；

对特征图进行上采样，以生成融合第一训练图像和第二训练图像的全景图像包括：对经过非线性变换后的特征图进行上采样，以生成融合第一训练图像和第二训练图像的全景图像。

在本发明的实施例中，下采样包括多层卷积操作。

在本发明的实施例中，卷积操作的步长为2。

在本发明的实施例中，上采样包括多层的双线性插值与卷积操作的结合。

在本发明的实施例中，该方法还包括：

控制第一图像采集设备和第二图像采集设备同步拍摄。

本发明第二方面提供一种处理器，被配置成执行上述的用于处理图像的方法。

本发明第三方面提供一种控制装置，应用于家用电器，控制装置包括：

第一图像采集设备，用于对第一图像采集区域进行拍照；

第二图像采集设备，用于对第二图像采集区域进行拍照；以及

上述的处理器。

本发明第四方面提供一种家用电器，该家用电器包括上述的控制装置，该家用电器包括油烟机和集成灶中的至少一种。

本发明第五方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的用于处理图像的方法。

本发明第六方面提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述的用于处理图像的方法。

通过上述技术方案，通过将具有相交部分的第一图像和第二图像输入到生成式对抗网络的生成器中，利用基于深度学习的生成式对抗网络来对两幅图像进行拼接融合，以生成融合第一图像与第二图像的全景图像，克服了传统方法融合过程中所带来的图像像素间的偏差，使融合第一图像与第二图像的全景图像看起来更加逼真，有利于进行更多的数据分析，以满足用户更多的需求。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附

图中：

图1是本发明实施例中用于处理图像的方法的流程图；

图2是本发明实施例中生成式对抗网络的训练方法流程图；

图3是本发明实施例中控制装置应用于灶台时的控制流程图；

图4是本发明实施例中第一摄像头和第二摄像头的设置示意图；

图5是本发明实施例中第三摄像头的设置示意图；

图6是本发明实施例中控制装置的组成示意图；

图7是本发明实施例中生成式对抗网络的原理示意图；

图8是本发明实施例中生成器的原理示意图；

图9是本发明实施例中判别器的原理示意图。

附图标记说明

1 油烟机 2 灶台

3 控制装置 31 第一摄像头

32 第二摄像头 33 第三摄像头

34 处理器

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

需要说明，若本申请实施方式中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本申请实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

随着信息社会的发展，智能家电越来越多地出现在人们的生活之中，社会和经济水平的发展使得人们对家电品质的追求也越来越高，家居舒适化和智能化的需求越来越强烈，智能厨房是整个智能家居的重要一环，而智能烹饪又是智能厨房的重中之重。实现智能烹饪中的重要环节就是通过多角度拍照对厨房进行图像采集，再对采集的多角度图像进行拼接以得到融合的多角度图像。

传统的图像拼接技术，是利用分别找到两幅图像的旋转不变的特征点，这些特征点通常是一些高维度(比如128维)的特征向量来表示，然后再逐点比较这两幅图的特征向量，找出彼此匹配的特征点，然后再根据这些匹配的特征点将两幅图像进行拼接融合，由于图像的大小，分辨率，图像操作计算复杂度以及对多幅图像进行特征抽取和匹配等诸多因素，使得图像拼接融合的整个过程分为多个步骤，且每个步骤都具有多个超参数，大幅度增加了图像融合的过程复杂性，且在厨房场景更换以后需要一些经验技巧来不断调节，导致整个图像融合流程的易用性被大大降低。

为解决上述问题，本发明的一个实施例提供一种新型的用于处理图像的方法，应用于家用电器，该家用电器包括油烟机或集成灶中的至少一种，如图1所示，该用于处理图像的方法包括如下步骤：

步骤S101：获取第一图像采集设备对第一图像采集区域拍照得到的第一图像，和第二图像采集设备对第二图像采集区域拍照得到的第二图像，第一图像与第二图像具有相交部分。

可以理解，本实施例中的家用电器包括油烟机1。如图4所示，该油烟机1上设有第一图像采集设备和第二图像采集设备，其中，第一图像采集设备为第一摄像头31，第二图像采集设备为第二摄像头32，第一摄像头31和第二摄像头32分别设置在油烟机1底部的左侧和右侧，第一摄像头31用于对第一图像采集区域拍照，本实施例中第一图像采集区域为油烟机1下方的左侧区域，第一摄像头31拍摄的图像为第一图像；第二摄像头32用于对第二图像采集区域拍照，本实施例中第二图像采集区域为油烟机1下方的右侧区域，第二摄像头32拍摄的图像为第二图像，此外，第一摄像头31和第二摄像头32的图像采集区域具有重合部分，因此，第一图像和第二图像具有相交部分。

在本发明的一个实施例中，油烟机1的下方设有灶台2，第一摄像头31对灶台2的左侧区域拍照，拍得的图像为第一图像；第二摄像头32对灶台2的右侧区域拍照，拍得的图像为第二图像，第一图像和第二图像相交的部分即为灶台2的中间区域。

步骤S102：将第一图像与第二图像输入到生成式对抗网络的生成器，以生成融合第一图像与第二图像的全景图像。

可以理解，在本发明的一个实施例中，油烟机1中设有控制装置3，如图6所示，控制装置3中包括第一摄像头31、第二摄像头32以及处理器34，第一摄像头31、第二摄像头32均和处理器34电连接，处理器34中包括生成式对抗网络(GAN,Generative AdversarialNetworks，是一种深度学习模型，其模型通过框架中包括两个模块，即生成器(GenerativeModel)和判别器(Discriminative Model)的互相博弈学习产生良好的输出。)。在本实施例中，控制装置3应用于成熟的产品时，处理器34中仅包括生成器部分，该生成器为训练后的成熟模型。第一摄像头31在第一图像拍摄完成后，将第一图像传送给处理器34；同理，第二摄像头32在第二图像拍摄完成后，将第二图像传送给处理器34。处理器34再将第一图像和第二图像输入到具有成熟模型的生成式对抗网络的生成器中，生成器再基于第一图像和第二图像生成融合第一图像与第二图像的全景图像。

在本发明的一个实施例中，当第一摄像头31和第二摄像头32拍摄的对象是其下方的灶台2时，生成器生成的融合第一图像与第二图像的全景图像中包括了灶台2上的多个信息，有利于提升灶台2信息采集的完备性，有利于处理器34基于用户的使用需求从中提取出更有效的信息，以供实施更精确的检测和判别，得到更准确的输出结果，大幅度提升图像识别的准确率。例如通过识别融合第一图像与第二图像的全景图像中的火焰大小，再基于火焰大小和时间的累积更精确的确定正在烹饪的食材的生熟程度，从而辅助用户得到精确的烹饪指引，提升了用户的使用体验感。

本实施例中提供的用于处理图像的方法，通过将具有相交部分的第一图像和第二图像输入到生成式对抗网络的生成器中，利用基于深度学习的生成式对抗网络来对两幅图像进行拼接融合，以生成融合第一图像与第二图像的全景图像。上述整个过程完全实现了端到端的算法，克服了传统方法融合过程中所带来的图像像素间的偏差，使融合第一图像与第二图像的全景图像看起来更加逼真。此外，融合第一图像与第二图像的全景图像可以供后端(如处理器34)进行更多的数据分析，以满足用户更多的需求，有利于拓宽产品的适用场景，提升产品的智能程度和自动化程度。

在本发明的实施例中，该方法还包括以下步骤：

步骤201：获取图像训练样本集，图像训练样本集包括多个图像三元组，每个图像三元组包括第一图像采集设备拍摄的第一训练图像、第二图像采集设备拍摄的第二训练图像以及覆盖第一图像采集区域和第二图像采集区域的训练全景图像。

可以理解，本实施例中的生成式对抗网络的生成器在应用于产品(如油烟机1和灶台2)前需要进行训练以便获得成熟的模型，与该生成器同时进行训练的还包括判别器。该生成式对抗网络的训练方法如图2所示，具体地，在对生成器和判别器进行训练前要先获取大量的图像训练样本集，由于生成器生成融合图像时需要两幅训练图像，判别器则需要根据实际拍摄的全景图像来对生成的融合图像进行判别。因此，本实施例中的图像训练样本集包括多个图像三元组，以便进行多次训练来获取成熟的生成器和判别器，进一步地，每个图像三元组又包括用于输入到生成器中进行训练的第一训练图像和第二训练图像，第一训练图像由第一摄像头31拍摄，第二训练图像由第二摄像头32拍摄；每个图像三元组还包括，用于输入到判别器中进行训练的覆盖第一图像采集区域和第二图像采集区域的训练全景图像。

在本发明的一个实施例中，在训练生成器和判别器的过程中控制装置3还包括，拍摄覆盖第一图像采集区域和第二图像采集区域的训练全景图像的第三图像采集设备，第三图像采集设备为第三摄像头33，如图5所示，该第三摄像头33到灶台2的垂直距离大于第一摄像头31或第二摄像头32到灶台2的垂直距离，在本发明的一个实施例中，第三摄像头33到灶台2的垂直距离为第一摄像头31或第二摄像头32到灶台2的垂直距离的2倍，使得第三摄像头33的采集区域能覆盖下方的整个灶台2，即第三摄像头33的图像采集区域完全覆盖第一摄像头31和第二摄像头32的图像采集区域。

步骤202：将图像三元组中的第一训练图像和第二训练图像输入到生成器，以生成融合第一训练图像和第二训练图像的全景图像。

可以理解，第一摄像头31拍摄第一训练图像后将其传送给处理器34，同理，第二摄像头32拍摄第二训练图像后也将其传送给处理器34，处理器34再将第一训练图像和第二训练图像输入到生成器中进行训练，生成器在训练阶段根据第一训练图像和第二训练图像生成融合第一训练图像和第二训练图像的全景图像。

在本发明的一个实施例中，第一摄像头31和第二摄像头32拍摄的图像大小是640x512，第三摄像头33拍摄的图像大小为1280x1024，由于第三摄像头33拍摄的图像中包括有第一摄像头31和第二摄像头32拍摄区域以外的内容，也为了使生成式对抗网络能顺利训练出根据第一训练图像和第二训练图像拼接的图像，处理器34需要对第三摄像头33拍摄的图像进行裁剪，将其裁剪成大小为1280x512的图像。

步骤203：将生成的全景图像与训练全景图像输入到生成式对抗网络的判别器，以输出结果。

可以理解，处理器34在全景图像生成后将其和训练全景图像都输入到生成式对抗网络的判别器中，以便判断生成的全景图像和训练全景图像的真伪，并在判断完成后输出判别结果，即判别器根据训练全景图像来判断生成的全景图像是否合格，进而指导生成器生成的全景图像和训练全景图像越来越接近。

具体地，如图9所示，判别器是由一系列卷积组成，通过sigmoid函数产生一个二分类器(如同0-1分类器)，以便判断输入的样本是真是假。在本发明的一个实施例中，处理器将生成器最终生成的全景图像和训练全景图片输入到判别器中，全景图像和训练全景图像在判别器中经过不断的卷积提取特征的非线性变换以后，输出的最终的维度变成1x1xC(此处C指的是输出的channel，即输出的通道)；进一步地，判别器中每一次卷积操作都是通过具有3x3大小的卷积核，步长为2的卷积，使得每一次卷积操作以后，全景图像和训练全景图像的特征图的大小减半，channel(通道)增加一倍，之后经过批正则归一化操作(BatchNormalization)，再经过Leaky Relu的非线性激活函数；最后使得上述过程生成的特征图经过一个1x1大小的卷积，将channel(通道)变为1，再接一个sigmoid函数进行输出，输出的结果作为一个判断真假的二分分类器。

在本发明的一个实施例中，判别器基于训练全景图像计算生成的全景图像为真的概率，并将该概率和预设阈值进行对比，本实施中将预设阈值优选为0.5，即在概率大于或等于0.5时，判别器判定生成的全景图像为真，即判断生成的全景图像合格；概率小于0.5时，判别器判定生成的全景图像为假，即判断生成的全景图像不合格。

步骤204：计算生成式对抗网络的损失函数，损失函数与生成器和判别器相关联。

可以理解，生成式对抗网络是基于损失函数进行训练，而损失函数与生成器、判别器之间存在关联关系，本实施例中损失函数的模型如以下公式所示：

其中，D为判别器；G为生成器；V(D，G)为优化目标；x为训练全景图像；D(x)为判别器将训练全景图像判断为真的概率；z为第一训练图像和第二训练图像；G(z)为生成器生成的全景图像；D(G(z))为判别器将生成的全景图像判断为真的概率；

为判别生成的全景图像为真的期望；

为判别生成的全景图像为假的期望。

由上述公式可知，优化目标是V(D,G)，其目的在于使生成器生成的全景图像G(z)判断为真的概率D(G(z))尽可能小(即使1-D(G(z))尽可能大)，并使训练全景图像x判断为真的概率D(x)尽可能大。

步骤205：在损失函数满足期望值的情况下，结束对生成器和判别器的训练。

可以理解，如图7所示，在生成式对抗网络整个训练过程中，通过生成器和判别器交替训练，来使得整个生成式对抗网络达到一个纳什均衡点，进一步地，在生成式对抗网络达到纳什均衡点后，代表该生成式对抗网络已经成熟，此时判别器判定生成器生成的全景图像为合格的图像，即生成器已经能生成合格的全景图像，处理器34控制生成器和判别器的训练结束。

在本发明的实施例中，将图像三元组中的第一训练图像和第二训练图像输入到生成器，以生成融合第一训练图像和第二训练图像的全景图像，包括以下步骤：

步骤301：将第一训练图像和第二训练图像输入到生成器；

步骤302：对输入的第一训练图像和第二训练图像进行下采样，以提取特征图。

可以理解，如图8所示，生成器包括encode(编码)和decode(解码)两部分，这两部分均由深度卷积神经网络构成，处理器34在接收到第一训练图像和第二训练图像后将其输入到生成器的卷积神经网络中，以便生成融合第一图像与第二图像的全景图像。

对encode部分来说，先将第一摄像头31和第二摄像头32拍摄的，针对灶台2左右两侧不同区域的图像作为卷积神经网络的输入层(Input Layers)，即大小均为640x512的第一页训练图像和第二训练图像作为卷积神经网络的输入层，这两张图像的维度均为640x512x3，即第一训练图像和第二训练图像均为彩色的3通道图片。

在本发明的一个实施例中，为增强训练样本的多样性，在对生成器进行训练之前，先对第一训练图像和第二训练图像进行数据增强(Data Augmentation)，以便使得整个卷积神经网络模型更加具有鲁棒性，使其能够适应更多不同场景下的图像输入。本实施例中，针对厨房灶台这一场景，在数据增强时取消对第一训练图像和第二训练图像进行任何的随机位置变换(如随机水平反转，随机裁剪等)，而是对其进行亮度和/或饱和度的随即变换，再将进行上述随机变换后得到的第一训练图像和第二训练图像作为输入层输入到生成器的卷积神经网络中。

在本发明的一个实施例中，生成器的encode部分进行的是不断下采样的卷积过程，encode部分对第一训练图像和第二训练图像实施不断的卷积提取特征的非线性变换以后，第一训练图像和第二训练图像输出的最终维度变为WxHxC，其中，是W指特征的宽度，H是指特征的高度，C是指输出的channel(通道)。进一步地，根据不同的深度学习开发框架，channel(通道)所排列的位置不一定相同，有些框架可能是CxWxH，本实施例中将channel(通道)优选地放在最后一个维度。

在本发明的一个实施例中，下采样时的每一次卷积操作都是通过具有3x3大小的卷积核的卷积，之后再经过批正则归一化操作(Batch Normalization)，再经过Relu的非线性激活函数。进一步地，激活函数不一定局限于Relu函数，也可以根据实际训练效果选择Relu6，Swish或者Mish等函数。

在本发明的一个实施例中，对第一训练图像和第二训练图像均实施下采样后，即可使得第一训练图像和第二训练图像的各个维度发生改变，以便从第一训练图像和第二训练图像中提取出特征图。

步骤303：对特征图进行上采样，以生成融合第一训练图像和第二训练图像的全景图像。

可以理解，在特征图提取完成以后，生成器的decode部分再对特征图不断地实施上采样，以便生成和训练全景图像大小一样的全景图像。

进一步地，生成的全景图像和训练全景图像共同用于构成生成式对抗网络的损失函数，在反向传播中指导生成式对抗网络进行训练，进而使得生成器decode部分生成的全景图像和训练全景图像趋于一致。在此基础上，生成式对抗网络经过多次迭代和更新以后，生成器即可根据第一训练图像和第二训练图像生成合格的融合第一训练图像和第二训练图像的全景图像。

在本发明的实施例中，对输入的第一训练图像和第二训练图像进行下采样，以提取特征图，包括：

步骤401：对第一训练图像和第二训练图像分别进行下采样，以分别提取第一特征图和第二特征图。

在本发明的一个实施例中，下采样包括多层卷积操作，且卷积操作的步长为2。

可以理解，由于第一训练图像和第二训练图像均被输入到生成式对抗网络中，第一训练图像和第二训练图像在生成器的encode部分被实施下采样，下采样部分无需采用通常的池化操作(Pooling)，而是采用多层卷积操作，即第一训练图像和第二训练图像在生成器的encode部分经历多层卷积操作，使得第一训练图像和第二训练图像的维度均发生改变，以便从第一训练图像中提取出第一特征图，从第二训练图像中提取出第二特征图。在本发明的一个实施例中，下采样包括了步长为2的多层卷积操作，使得第一训练图像和第二训练图像的特征大小减半，第一训练图像和第二训练图像在生成器的encode部分经历5次下采样后，使得提取出的第一特征图和第二特征图的大小均变为20x16x512。

步骤402：对第一特征图和第二特征图进行处理，以生成特征图。

可以理解，在提取出大小均为20x16x512的第一特征图和第二特征图以后，对上述第一特征图和第二特征图进行相应处理，生成器的encode部分即可生成一张包括第一特征图和第二特征图内容的特征图。

在本发明的实施例中，对第一特征图和第二特征图进行处理，以生成特征图，包括：

将第一特征图和第二特征图进行拼接，以生成特征图；或者，

将第一特征图和第二特征图进行相加，以生成特征图。

可以理解，生成器的encode部分可通过多种方式生成特征图，其中包括将大小均为20x16x512的第一特征图和第二特征图拼接(即concate操作)在一起，以便使得生成的特征图具有2C特征；或者对第一特征图和第二特征图实施相加操作(即add操作)，第一特征图和第二特征图相加后生成的特征图的大小仍然是20x16x512，可根据实际需求对生成特征图的方式进行选择。

在本发明的实施例中，将第一特征图和第二特征图进行相加，以生成特征图，包括：

步骤501：将第一特征图和第二特征图进行相加，以得到第三特征图。

步骤502：改变第三特征图的高度和通道数量，以生成特征图。

在本发明的一个实施例中，采用将第一特征图和第二特征图相加的方式来生成特征图，具体地，第一特征图和第二特征图相加以后得到大小为20x16x512的第三特征图，之后再对20x16x512的第三特征图进行一次3x3的卷积操作，此次卷积操作采用的行步长为1，列步长为2，卷积操作完成后得到特征图，该特征图相对于第三特征图而言，宽度W没有变化，但高度H减少一半，且channel(通道)增加了一倍，即此时特征图的大小变为20x8x1024。

在本发明的实施例中，将图像三元组中的第一训练图像和第二训练图像输入到生成器，以生成融合第一训练图像和第二训练图像的全景图像，还包括：

对特征图进行卷积操作，以进行特征大小不变的非线性变换。

在生成特征图以后，再对大小为20x8x1024的特征图实施3x3的卷积操作，以便进行特征大小不变的非线性变换，用于抽象更多的语义信息，特征图实施3x3的卷积操作后其大小依然是20x8x1024，此时的特征图即可作为decode部分的输入。

对特征图进行上采样，以生成融合第一训练图像和第二训练图像的全景图像包括：对经过非线性变换后的特征图进行上采样，以生成融合第一训练图像和第二训练图像的全景图像。

可以理解，生成器的decode部分是不断进行卷积操作以及上采样的过程，在本发明的一个实施例中，该过程中每一次卷积操作都是通过具有3x3大小的卷积核的卷积，之后经过批正则归一化操作(Batch Normalization)，再经过非线性激活函数。

上采样部分可以用反卷积(deconv)操作或者双线性插值的上采样+卷积操作，以便对特征图进行不断的放大，其中，特征图每放大一倍，其channel(通道)则减少一倍，直到最终得到大小为3x1280x512的图像，此时得到大小为3x1280x512的图像即为融合第一训练图像和第二训练图像的全景图像。

在本发明的实施例中，上采样包括多层的双线性插值与卷积操作的结合。

可以理解，在本发明的一个实施例中，上采样部分没有采用反卷积(deconv)操作来扩大特征图，而是采用双线性插值的上采样+卷积操作的方式来扩大特征图，该种方式有利于更好地保持特征图细节，能够避免反卷积(deconv)操作带来的边缘锯齿化情形或堆叠效应。

在本发明的实施例中，该用于处理图像的方法还包括：

控制第一图像采集设备和第二图像采集设备同步拍摄。

可以理解，在本发明的一个实施例中，由于要统计灶台2上某一时刻的信息，因此，处理器34要控制第一图像采集设备和第二图像采集设备进行同步拍摄，即在实际应用过程中，第一图像和第二图像是第一图像采集设备和第二图像采集设备同一时刻拍摄所得；在生成式对抗网络训练的过程中，第一训练图像和第二训练图像是第一图像采集设备和第二图像采集设备同一时刻拍摄所得。

综上，本发明的实施例中提供了一种用于处理图像的方法，该用于处理图像的方法通过向生成式对抗网络的生成器中输入两幅图像进行融合，克服了传统方法中图像融合过程所带来的图像像素间的偏差，使得融合后的图像更加逼真，有利于对融合后的图像进行更多的数据分析，以满足更多的使用需求。

本发明的另一个实施例中提供一种处理器，该处理器被配置成执行上述实施例提供的用于处理图像的方法。

本发明的另一个实施例中提供一种控制装置，该控制装置应用于家用电器，控制装置包括第一图像采集设备、第二图像采集设备以及处理器，第一图像采集设备和第二图像采集设备均与处理器电连接，其中，第一图像采集设备用于对第一图像采集区域进行拍照；第二图像采集设备用于对第二图像采集区域进行拍照；处理器即为上述实施例中提供的处理器。

本发明的另一个实施例中提供一种家用电器，该家用电器包括上述实施例中提供的控制装置。

在本发明的一个实施例中，该家用电器包括油烟机1或集成灶中的一种，控制装置3中包括第一图像采集设备和第二图像采集设备，本实施例中第一图像采集设备为第一摄像头31，第二图像采集设备为第二摄像头32，第一摄像头31和第二摄像头32分别设置在油烟机1底部的左侧和右侧；油烟机1的下方设有集成灶，本实施例中的集成灶即为灶台2，则第一摄像头31用于对灶台2的左侧区域拍照，第一摄像头31拍摄的图像为第一图像；第二摄像头32用于对灶台2右侧区域拍照，第二摄像头32拍摄的图像为第二图像，第一摄像头31和第二摄像头32的图像采集区域具有重合部分，因此第一图像和第二图像具有相交部分，相交部分为灶台2左右两侧之间的区域。

在本发明的一个实施例中，控制装置3根据拍摄的第一图像和第二图像对灶台2进行控制，如图3所示，控制流程包括如下步骤：

步骤601：确定灶台2进入烹饪模式。

可以理解，本实施例中的灶台2包括开关，该开关和控制装置3中的处理器34电连接，用户通过该开关打开灶台2后，处理器34会接收到该灶台2被打开的信号，处理器34根据该信号确定灶台2进入烹饪模式。

步骤602：控制第一图像采集设备和第二图像采集设备开启；

步骤603：同步获取第一图像和第二图像。

可以理解，处理器34在确定灶台2进入烹饪模式后，控制第一图像采集设备和第二图像采集设备开启，即控制第一摄像头31和第二摄像头32开启。在第一摄像头31和第二摄像头32开启后，处理器34控制第一摄像头31和第二摄像头32持续性地拍摄其下方灶台2图像。进一步地，本实施例中的控制装置3还包括和处理器34的存储器，第一摄像头31和第二摄像头32拍摄第一图像和第二图像后将其传送到存储器中进行存储，存储时对第一图像和第二图像根据特定的命名规则进行命名，其中，命名规则是指根据第一图像和第二图像对应的拍摄设备以及拍摄时间对其进行命名；处理器34可通过查询图像的命名来获取同步的第一图像和第二图像。

步骤604：根据第一图像和第二图像生成灶台2全景图像。

可以理解，处理器34中包括生成式对抗网络的生成器，该生成器是训练成熟的网络模型，处理器34在获取到第一图像和第二图像以后将其输入到生成器中，生成器根据第一图像和第二图像生成灶台2全景图像。

步骤605：根据灶台2全景图像向用户发出服务指示信息。

可以理解，处理器34在灶台2全景图像生成以后对其进行分析，以便从中提取出有效信息并根据上述有效信息对用户的烹饪操作进行指导；进一步地，控制装置3中还包括和处理器34电连接的显示模块或语音模块，处理器34可通过控制显示模块向用户显示图像或文字信息，或者控制语音模块播放语音信息来对用户进行提示，提升了用户的使用体验感。

步骤606：确定灶台2退出烹饪模式；

步骤607：控制第一图像采集设备和第二图像采集设备关闭。

可以理解，用户关闭灶台2的开关以后，处理器34会接收到该灶台2被关闭的信号，处理器34根据该信号确定灶台2退出烹饪模式，此时第一摄像头31和第二摄像头32也无需再继续采集下方关于灶台2的图像，因此处理器34在确定灶具退出烹饪模式后控制第一摄像头31和第二摄像头32关闭。

在本发明的一个实施例中，根据灶台2全景图像向用户发出服务指示信息包括如下步骤：

步骤701：获取用户的烹饪需求。

可以理解，灶台2还包括和处理器34电连接的控制面板，控制面板上设有多个功能按键(如炒菜，熬汤，或者煮粥等)，用户按下功能按键后，控制面板向处理器34发送对应的功能信号，处理器34根据接收到功能信号后即可确定用户烹饪时选择的功能，间接地获取了用户的烹饪需求。

步骤702：根据烹饪需求获取烹饪需求分析模型；

步骤703：利用烹饪需求分析模型对灶台2全景图像进行处理分析。

可以理解，处理器34中预存有烹饪需求分析模型，处理器34在获取到用户的烹饪需求以后将烹饪需求分析模型调取出来，并利用该烹饪需求分析模型对生成的灶台2全景图像进行处理分析，即根据用户的烹饪需求从灶台2全景图像中提取出有效信息(如食材信息，食材的生熟度，火候强度，用户的姿态或者用户的身份等)。

步骤704：根据灶台2全景图像处理分析的结果向用户发出服务指示信息。

可以理解，处理器34从灶台2全景图像中提取出有效信息后，根据该有效信息向用户发出服务指示信息，如在用户炒菜时，处理器34从灶台2全景图像中提取出锅中食材已经达到八分熟的信息，则通过显示模块或语音模块提示用户注意调小火候，避免长时间大火导致食材过熟而影响口感；或者，在用户烹饪期间，处理器34从灶台2全景图像中提取出有儿童靠近灶台2的信息，则通过显示模块或语音模块提示用户要注意儿童安全，避免儿童误碰刀具或靠近火源导致受伤。

本发明的另一个实施中提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的用于处理图像的方法。

本发明的另一个实施中提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述的用于处理图像的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种用于处理图像的方法，应用于油烟机或集成灶，其特征在于，包括：

获取第一图像采集设备对第一图像采集区域拍照得到的第一图像，和第二图像采集设备对第二图像采集区域拍照得到的第二图像，所述第一图像与所述第二图像具有相交部分；

将所述第一图像与所述第二图像输入到生成式对抗网络的生成器，以生成融合所述第一图像与所述第二图像的全景图像。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取图像训练样本集，所述图像训练样本集包括多个图像三元组，每个图像三元组包括所述第一图像采集设备拍摄的第一训练图像、所述第二图像采集设备拍摄的第二训练图像以及覆盖所述第一图像采集区域和所述第二图像采集区域的训练全景图像；

将所述图像三元组中的第一训练图像和第二训练图像输入到所述生成器，以生成融合第一训练图像和第二训练图像的全景图像；

将生成的所述全景图像与所述训练全景图像输入到生成式对抗网络的判别器，以输出结果；

计算所述生成式对抗网络的损失函数，所述损失函数与所述生成器和所述判别器相关联；

在所述损失函数满足期望值的情况下，结束对所述生成器和所述判别器的训练。

3.根据权利要求2所述的方法，其特征在于，所述将所述图像三元组中的第一训练图像和第二训练图像输入到所述生成器，以生成融合第一训练图像和第二训练图像的全景图像，包括：

将所述第一训练图像和所述第二训练图像输入到所述生成器；

对输入的所述第一训练图像和所述第二训练图像进行下采样，以提取特征图；

对所述特征图进行上采样，以生成融合第一训练图像和第二训练图像的全景图像。

4.根据权利要求3所述的方法，其特征在于，所述对输入的所述第一训练图像和所述第二训练图像进行下采样，以提取特征图，包括：

对所述第一训练图像和所述第二训练图像分别进行下采样，以分别提取第一特征图和第二特征图；

对所述第一特征图和所述第二特征图进行处理，以生成特征图。

5.根据权利要求4所述的方法，其特征在于，所述对所述第一特征图和所述第二特征图进行处理，以生成特征图，包括：

将所述第一特征图和所述第二特征图进行拼接，以生成特征图；或者

将所述第一特征图和所述第二特征图进行相加，以生成特征图。

6.根据权利要求5所述的方法，其特征在于，所述将所述第一特征图和所述第二特征图进行相加，以生成特征图，包括：

将所述第一特征图和所述第二特征图进行相加，以得到第三特征图；

改变所述第三特征图的高度和通道数量，以生成特征图。

7.根据权利要求3所述的方法，其特征在于，所述将所述图像三元组中的第一训练图像和第二训练图像输入到所述生成器，以生成融合第一训练图像和第二训练图像的全景图像，还包括：

对所述特征图进行卷积操作，以进行特征大小不变的非线性变换；

所述对所述特征图进行上采样，以生成融合第一训练图像和第二训练图像的全景图像包括：对经过非线性变换后的特征图进行上采样，以生成融合第一训练图像和第二训练图像的全景图像。

8.根据权利要求3所述的方法，其特征在于，所述下采样包括多层卷积操作。

9.根据权利要求8所述的方法，其特征在于，所述卷积操作的步长为2。

10.根据权利要求3所述的方法，其特征在于，所述上采样包括多层的双线性插值与卷积操作的结合。

11.根据权利要求1所述的方法，其特征在于，还包括：

控制所述第一图像采集设备和所述第二图像采集设备同步拍摄。

12.一种处理器，其特征在于，被配置成执行根据权利要求1至11中任一项所述的用于处理图像的方法。

13.一种控制装置，应用于所述油烟机或所述集成灶，其特征在于，所述控制装置包括：

第一图像采集设备，用于对第一图像采集区域进行拍照；

第二图像采集设备，用于对第二图像采集区域进行拍照；以及

根据权利要求12所述的处理器。

14.一种家用电器，其特征在于，包括根据权利要求13所述的控制装置，所述家用电器包括所述油烟机或所述集成灶中的至少一种。

15.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令用于使得机器执行根据权利要求1至11中任一项所述的用于处理图像的方法。

Images