CN113160054B - 用于处理图像的方法、控制设备及家用电器 - Google Patents

Abstract

本发明实施例提供了一种用于处理图像方法、控制设备及家用电器，方法包括：接收第一图像采集装置采集的第一原始图像以及第二图像采集装置采集的第二原始图像；对第一原始图像和第二原始图像进行图像边界预测；根据预测结果将第一原始图像裁剪为第一拼接图像和第一融合图像，以及将第二原始图像裁剪为第二拼接图像和第二融合图像；将第一融合图像和第二融合图像合成为第三拼接图像；将第一拼接图像、第二拼接图像和第三拼接图像进行拼接，以得到全景图像。通过上述技术方案，从而可以避免出现灶台图像无法覆盖整个灶台全景的现象，以便于通过全景图像对灶台信息进行分析，提高了家电品质，提升了家电的智能化程度。

Description

用于处理图像的方法、控制设备及家用电器

技术领域

本发明涉及家用电器技术领域，尤其涉及一种用于处理图像的方法、控制设备及家用电器。

背景技术

随着信息社会的发展，智能家电越来越多的出现在人们的生活之中，社会和经济水平的发展使得人们对家电品质的追求也越来越高，家电舒适化和智能化的需求越来越强烈。智能厨房是整个智能家电的重要一环，而智能烹饪又是智能厨房的重中之重。

目前带图像识别的油烟机，是获取灶台上的各种感兴趣的信息的主要渠道。传统的做法是在用户烹饪过程中，靠安装在油烟机上的摄像头进行拍照，然后通过AI(Artificial Intelligence，人工智能)技术把图片上能看到的信息统计出来，发送给主控再开始分析。但是，由于用户在烹饪过程中很可能同时使用多个灶，而目前使用的单一摄像头只能拍摄到其中一部分的灶台图像，无法覆盖整个灶台的全景，从而导致无法对灶台信息进行准确分析。

发明内容

为至少部分地解决现有技术中存在的上述问题，本发明实施例的目的是提供一种用于处理图像的方法、控制设备及家用电器。

为了实现上述目的，本发明第一方面提供一种用于处理图像的方法，应用于家用电器，其中，家用电器包括第一图像采集装置和第二图像采集装置，且第一图像采集装置和第二图像采集装置采集的图像存在重叠区域，方法包括：

接收第一图像采集装置采集的第一原始图像以及第二图像采集装置采集的第二原始图像；

对第一原始图像和第二原始图像进行图像边界预测；

根据图像边界预测的结果将第一原始图像裁剪为第一拼接图像和第一融合图像，以及将第二原始图像裁剪为第二拼接图像和第二融合图像；

将第一融合图像和第二融合图像合成为第三拼接图像；

将第一拼接图像、第二拼接图像和第三拼接图像进行拼接，以得到全景图像。

在本发明实施例中，对第一原始图像和第二原始图像进行图像边界预测包括：

将第一原始图像和第二原始图像输入至边界预测模型；

边界预测模型按照预设采样次数分别对第一原始图像和第二原始图像进行卷积下采样，以得到第一采样图像和第二采样图像；

对第一采样图像和第二采样图像进行多组边界区域划分，以得到多组边界特征图；

计算每组边界特征图的边界相似度；

根据边界相似度确定第一原始图像和第二原始图像的图像边界。

在本发明实施例中，对第一采样图像和第二采样图像进行多组边界区域划分，以得到多组边界特征图包括：

获取边界区域划分的预设尺寸；

根据预设尺寸分别对第一采样图像和第二采样图像进行相同次数的边界区域划分，以得到多个第一边界特征图和多个第二边界特征图；

根据多个第一边界特征图和多个第二边界特征图得到多组边界特征图。

在本发明实施例中，计算每组边界特征图的边界相似度包括：

对多组边界特征图进行变换以得到多组特征向量；

计算每组特征向量的余弦值；

根据余弦值确定边界相似度。

在本发明实施例中，对多组边界特征图进行变换以得到多组特征向量包括：

将多组边界特征图分别经过全局平均池化和Reshape函数变换，以得到多组特征向量。

在本发明实施例中，根据边界相似度确定第一原始图像和第二原始图像的图像边界包括：

根据边界相似度确定第一采样图像和第二采样图像的实际边界；

根据预设采样次数、以及第一采样图像和第二采样图像的实际边界确定第一原始图像和第二原始图像的图像边界。

在本发明实施例中，根据预设采样次数、以及第一采样图像和第二采样图像的实际边界确定第一原始图像和第二原始图像的图像边界，包括：

根据预设采样次数、以及第一采样图像和第二采样图像的实际边界确定第一原始图像和第二原始图像的映射边界；

将第一原始图像和第二原始图像的映射边界进行预设边界区域的扩充，以得到第一原始图像和第二原始图像的图像边界。

在本发明实施例中，还包括：在将第一原始图像和第二原始图像输入至边界预测模型之前，获取边界预测模型；

其中，边界预测模型是通过以下步骤得到的：

采集不同角度的多张场景图像；

对存在重叠区域的两个场景图像进行边界区域划分，以得到多组子区域图像；

将每组子区域图像分别进行图像合成，以得到多个训练图像；

将多个训练图像进行相似度标记；

获取预设的损失函数模型，并从多个训练图像中随机抽取训练样本输入至损失函数模型，并经过多轮迭代训练以得到边界预测模型。

在本发明实施例中，方法还包括：

获取任务指令；

根据全景图像对任务指令进行分析；

发送分析结果。

在本发明实施例中，方法还包括：

接收用户发送的指示分析结果错误的信息；

将与分析结果对应的全景图像作为困难样本输入至边界预测模型以对边界预测模型重新训练。

本发明第二方面提供一种处理器，被配置成执行以上所述的用于处理图像的方法。

本发明第三方面提供一种控制设备，应用于家用电器，其中，控制设备包括：

第一图像采集装置，用于采集第一原始图像；

第二图像采集装置，用于采集第二原始图像；以及

根据以上所述的处理器。

本发明第四方面提供一种家用电器，包括根据以上所述的控制设备。

在本发明实施例中，家用电器还包括油烟机或集成灶。

本发明第五方面提供一种机器可读存储介质，其上存储有指令，指令被处理器执行时实现根据以上所述的用于处理图像的方法。

上述技术方案中，通过第一图像采集装置采集第一原始图像，以及第二图像采集装置采集第二原始图像，由于第一图像采集装置和第二图像采集装置的设置可以使得第一原始图像和第二原始图像存在重叠区域，即可以先对第一原始图像和第二原始图像分别进行图像边界预测，以能够根据预测结果分别对第一原始图像进行裁剪以得到包含有重叠区域图像的第一融合图像，以及对第二原始图像进行裁剪以得到包含有重叠区域图像的第二融合图像，并将第一融合图像和第二融合图像进行合成，以得到第三拼接图像，然后将第三拼接图像以及第一原始图像裁剪剩下的第一拼接图像、第二原始图像裁剪剩下的第二拼接图像进行拼接，以最终获得全景图像。即当第一图像采集装置和第二图像采集装置间隔设置在灶台的上方时，可以获取灶台的两个部分的图像，然后通过图像边界预测分别对灶台的两个部分的图像进行裁剪，以获得两个部分的图像中分别包含有重叠区域图像的两个融合图像，并将两个融合图像进行合成，最后将两个融合图像的合成图像以及两个部分的图像裁剪剩下的图像进行拼接，则可得到灶台的全景图像，从而可以避免出现灶台图像无法覆盖整个灶台全景的现象，以便于通过全景图像对灶台信息进行分析，提高了家电品质，提升了家电的智能化程度。同时，在图像合成时只需要对第一原始图像和第二原始图像中的相似部分进行合成计算，无需对整个图像进行合成计算，从而可以大大提高计算的速度，达到降低产品成本的目的。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1示意性示出了根据本发明一实施例的用于处理图像的方法的流程图；

图2示意性示出了根据本发明一实施例的用于处理图像的方法中的步骤102的流程图；

图3示意性示出了根据本发明一实施例的用于处理图像的方法中步骤203的流程图；

图4示意性示出了根据本发明一实施例的用于处理图像的方法中步骤204的流程图；

图5示意性示出了根据本发明一实施例的油烟机与灶台的应用场景图；

图6示意性示出了根据本发明一实施例的第一采样图像和第二采样图像的边界区域的划分图；

图7示意性示出了根据本发明一实施例的多组边界特征图的全局平均池化的示意图；

图8示意性示出了根据本发明一实施例的多组边界特征图的分块池化拼接的示意图；

图9示意性示出了根据本发明一实施例的边界预测模型的建立的示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

需要说明，若本申请实施方式中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本申请实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

目前带图像识别的油烟机是获取灶台上的各种感兴趣的信息的主要渠道。其中，灶台信息包括：灶台上烹饪的食材种类，食材的生熟度，各种食材的数量的多少，灶台火焰的控制以及厨具使用情况等。然而受限于厨房油烟机的布局，以及油烟机本身抽烟风机的风力限制，很多油烟机跟灶台之间是有一定的高度限制，这个高度限制使得油烟机上部署的单个摄像头只能拍摄到其中的一部分灶台图像，无法覆盖整个灶台的全景。同时，在现实场景中，用户在烹饪过程中很可能会多灶眼同时使用。因此，为了克服单个摄像头无法得到灶台的全景图像，在油烟机上安装两个或更多的摄像头就成为了必然，并且多个摄像头并不会带来成本上很大的提高。因此如果通过不同视角的摄像头来构建一个完整的灶台图像，就成为了技术上的重中之重。

同时，现有技术中的图像拼接技术是通过查找两幅图像中的相似部分，然后再找出其中的关联关系再进行拼接融合，比如传统的旋转不变特征点方法等。但是无论采用何种方法，都需要对输入进来的图像进行整体的图像分析，而对整体的图像进行分析势必会给整个计算带来了很大的负担，特别是对于高精度的图像，会带来了高延时和高负载，对硬件的计算能力提出了很高的要求，从而会导致整个产品成本的提升。

基于此，本申请实施例提供了一种用于处理图像的方法，通过对第一图像采集装置和第二图像采集装置获得的两幅原始图像进行图像边界预测，以预测出两幅原始图像中的相似部分，并根据预测结果对两幅原始图像进行裁剪获得两幅原始图像中的相似部分，在图像合成时只需要将两幅原始图像中的相似部分进行合成计算即可，无需对整个图像进行合成计算，从而可以大大提高计算的速度，达到降低产品成本的目的。

图1示意性示出了根据本发明一实施例的用于处理图像的方法的流程图。如图1所示，在本发明一实施例中，提供了一种用于处理图像的方法，应用于家用电器，其中，家用电器包括第一图像采集装置和第二图像采集装置，且第一图像采集装置和第二图像采集装置采集的图像存在重叠区域，方法包括以下步骤：

步骤101，接收第一图像采集装置采集的第一原始图像以及第二图像采集装置采集的第二原始图像。

具体地，图5示意性示出了根据本发明一实施例的油烟机和灶台的应用场景图。如图5所示，家用电器可以为油烟机1，第一图像采集装置可以为第一摄像头2，第二图像采集装置可以为第二摄像头3，油烟机1下方的灶台4存在两个灶眼5，并在油烟机1对应其中一个灶眼5的位置上设置第一摄像头2，以及在油烟机1对应另一个灶眼5的位置上设置第二摄像头3，并且第一摄像头2和第二摄像头3之间的位置存在拍摄的重叠区域，即第一摄像头2和第二摄像头3同步获取的灶台4的第一原始图像和第二原始图像存在相似部分。当然本发明不限于此，第一摄像头2和第二摄像头3获取灶台4的第一原始图像和第二原始图像的时间不是完全同步也是可以的，只要保证两者的获取的时间间隔相差不大。

步骤102，对第一原始图像和第二原始图像进行图像边界预测。

进一步地，在本发明的一个实施例中，可以根据第一摄像头2和第二摄像头3的安装位置预先对第一原始图像和第二原始图像的图像边界进行人为的设定，第一摄像头2和第二摄像头3的位置可以通过设置位置传感器确定。

步骤103，根据图像边界预测的结果将第一原始图像裁剪为第一拼接图像和第一融合图像，以及将第二原始图像裁剪为第二拼接图像和第二融合图像。

即可以根据图像边界预测确定第一原始图像的图像边界，以及第二原始图像的图像边界，然后可以利用图像裁剪技术沿第一原始图像的图像边界将第一原始图像一分为二裁剪为第一拼接图像和第一融合图像，以及沿第二原始图像的图像边界将第二原始图像一分为二裁剪为第二拼接图像和第二融合图像。需要特别说明的是，在本发明的实施例中，第一融合图像和第二融合图像分别是第一原始图像和第二原始图像中的相似部分。

步骤104，将第一融合图像和第二融合图像合成为第三拼接图像。

具体地，通过图像融合技术可以将第一融合图像和第二融合图像合成为第三拼接图像，从而完成灶台的两幅原始图像的相似部分的合成计算。

步骤105，将第一拼接图像、第二拼接图像和第三拼接图像进行拼接，以得到全景图像。

上述技术方案中，通过第一图像采集装置采集第一原始图像，以及第二图像采集装置采集第二原始图像，由于第一图像采集装置和第二图像采集装置的设置可以使得第一原始图像和第二原始图像存在重叠区域，即可以先对第一原始图像和第二原始图像分别进行图像边界预测，以能够根据预测结果分别对第一原始图像进行裁剪以得到包含有重叠区域图像的第一融合图像，以及对第二原始图像进行裁剪以得到包含有重叠区域图像的第二融合图像，并将第一融合图像和第二融合图像进行合成，以得到第三拼接图像，然后将第三拼接图像以及第一原始图像裁剪剩下的第一拼接图像、第二原始图像裁剪剩下的第二拼接图像进行拼接，以最终获得全景图像。即当第一图像采集装置和第二图像采集装置间隔设置在灶台的上方时，可以获取灶台的两个部分的图像，然后通过图像边界预测分别对灶台的两个部分的图像进行裁剪，以获得两个部分的图像中分别包含有重叠区域图像的两个融合图像，并将两个融合图像进行合成，最后将两个融合图像的合成图像以及两个部分的图像裁剪剩下的图像进行拼接，则可得到灶台的全景图像，从而可以避免出现灶台图像无法覆盖整个灶台全景的现象，以便于通过全景图像对灶台信息进行分析，提高了家电品质，提升了家电的智能化程度。同时，在图像合成时只需要对第一原始图像和第二原始图像中的相似部分进行合成计算，无需对整个图像进行合成计算，从而可以大大提高计算的速度，达到降低产品成本的目的。

需要特别说明的是，本发明实施例的用于处理图像的方法应用于家用电器。具体地，家用电器可以为油烟机，也可以为集成灶，还可以为其他类型的电器，对此本发明实施例不作限定。同时，本发明用于获取灶台图像的图像采集装置也不限于为两个，并且图像采集装置的个数与位置可以根据具体情况进行设置。

图2示意性示出了根据本发明一实施例的用于处理图像的方法中的步骤102的流程图。在本发明实施例中，步骤102：对第一原始图像和第二原始图像进行图像边界预测，包括：

步骤201：将第一原始图像和第二原始图像输入至边界预测模型。

具体地，边界预测模型可以是一系列卷积所构成的深度卷积神经网络模型，这个模型可以是基于公共数据集(例如：Imagenet数据集)所预先训练好的网络模型，比如VGG模型、ResNet残差网络模型，Inception网络模型等。边界预测模型能够对第一原始图像和第二原始图像抽取高阶语义信息，用于后续相似度的比较。

步骤202：边界预测模型按照预设采样次数分别对第一原始图像和第二原始图像进行卷积下采样，以得到第一采样图像和第二采样图像。

进一步地，边界预测模型可以对第一原始图像不断进行卷积下采样，以提取高阶的语义信息，进而将第一原始图像变换得到第一采样图像；同时边界预测模型也可以对第二原始图像不断进行卷积下采样，以提取高阶的语义信息，并将输入的第二原始图像变换得到第二采样图像。

步骤203：对第一采样图像和第二采样图像进行多组边界区域划分，以得到多组边界特征图。

更具体地，第一图像采集装置和第二图像采集装置的重叠区域存在两者之间的位置，并且根据第一图像采集装置和第二图像采集装置的位置可以预先确定第一采样图像和第二采样图像存在相似部分的一个预设区域范围，则可以从第一采样图像靠近第二采样图像的边界开始对第一采样图像进行边界区域划分，以及从第二采样图像靠近第一采样图像的边界开始对第二采样图像进行边界区域划分。即若从第一采样图像靠近第二采样图像的边界开始对第一采样图像进行5次边界区域划分，则对应地，可以从第二采样图像靠近第一采样图像的边界开始对第二采样图像也可以进行5次边界区域划分，且第一采样图像的第1次边界区域划分得到的边界特征图可以与第二采样图像的第1次边界区域划分得到的边界特征图组成一组边界特征图，对应的5次划分即可组成五组边界特征图。

同时，需要特别说明的是，对于第一采样图像和第二采样图像的第2次边界区域划分得到的边界特征图是包含有第1次边界区域划分得到的边界特征图的，即后一次的边界区域划分得到的边界特征图是包含有前一次的边界区域划分得到的边界特征图的。

此外，在本发明中，边界区域划分的次数和尺寸并不限制，但边界划分的次数越多，尺寸越小，边界预测结果也就越准确。

步骤204：计算每组边界特征图的边界相似度。

更进一步地，通过对每组边界特征图中的两个边界特征图分别进行特征提取，可以得到两个特征向量，进而根据两个特征向量可以计算得到每组边界特征图的边界相似度。

步骤205：根据边界相似度确定第一原始图像和第二原始图像的图像边界。

即可以将根据每组边界特征图得到的边界相似度进行比较，根据比较结果确定最小的边界相似度，最小的边界相似度对应的一组边界特征图的图像边界即是第一原始图像和第二原始图像的图像边界。

在上述技术方案中，可以直接将第一原始图像和第二原始图像输入至边界预测模型进行图像边界预测，在此过程中无需进行模型训练，因此省去了繁杂的数据标准，巧妙地借用了预先训练的边界预测模型来对第一原始图像和第二原始图像进行图像边界预测，以及根据图像边界预测的结果将第一原始图像和第二原始图像的相似部分进行图像合成，而无需对整个图像进行分析计算。

图3示意性示出了根据本发明一实施例的用于处理图像的方法中的步骤203的流程图。在本发明实施例中，步骤203：对第一采样图像和第二采样图像进行多组边界区域划分，以得到多组边界特征图，包括：

步骤2031：获取边界区域划分的预设尺寸。

即在进行边界区域划分之前，可以预先设定每次边界区域划分的尺寸的大小，并且每次边界区域划分的尺寸的大小并不限于相等。

步骤2032：根据预设尺寸分别对第一采样图像和第二采样图像进行相同次数的边界区域划分，以得到多个第一边界特征图和多个第二边界特征图。

具体地，图6示意性示出了根据本发明一实施例的第一采样图像和第二采样图像的边界区域的划分图。如图6所示，图6中的左图为与图5中的第一摄像头对应的第一采样图像，图6中的右图为与图5中的第二摄像头对应的第二采样图像，左图中的第一采样图像可以从右边界按照预设尺寸进行多次边界区域划分，并且第一采样图像的后一次边界区域划分得到的边界特征图是包含前一次边界区域划分得到的边界特征图的，右图中的第二采样图像可以从左边界按照预设尺寸进行与第一采样图像的边界区域划分次数相等的边界区域划分，并且第二采样图像的后一次边界区域划分得到的边界特征图是包含前一次边界区域划分得到的边界特征图的。

步骤2033：根据多个第一边界特征图和多个第二边界特征图得到多组边界特征图。

更具体地，由于第一采样图像和第二采样图像的边界区域划分次数相等，则可以将边界划分次序相同的边界特征图两两组成一组，以得到多组边界特征图。

如图6所示，定义一个变量d，变量d代表每一次边界区域划分后对应的边界特征图的尺寸，若分别对第一采样图像和第二采样图像进行5次边界区域划分，即变量d可取1、2、3、4和5，比如：对于左图中的第一采样图像来说，d为1则代表第一采样图像上从右往左跨度为1的边界特征图，同理d为2则代表第一采样图像上从右往左跨度为2的边界特征图，以此类推；而对于右图中的第二采样图像来说，正好与第一采样图像相反，d为1则代表第二采样图像上从左往右跨度为1的边界特征图，同理d为2则代表第二采样图像上从左往右跨度为2的边界特征图，以此类推。最后可以将变量相同的边界特征图组成一组，以获得五组边界特征图。

图4示意性示出了根据本发明一实施例的用于处理图像的方法中的步骤204的流程图。在本发明实施例中，步骤204：计算每组边界特征图的边界相似度，包括：

步骤301：对多组边界特征图进行变换以得到多组特征向量。

步骤302：计算每组特征向量的余弦值。

步骤303：根据余弦值确定边界相似度。

进一步地，通过对每组边界特征图中的两个边界特征图进行特征提取，以得到多组特征向量，进而可以根据每组特征向量中的两个特征向量以及余弦夹角定理公式计算出余弦夹角值，即可以用余弦夹角值来表征每组边界特征图的边界相似度。当然本发明不限于此，其他边界相似度的度量方法也是可以的。

在本发明实施例中，步骤301：对多组边界特征图进行变换以得到多组特征向量，包括：

步骤3011：将多组边界特征图分别经过全局平均池化和Reshape函数变换，以得到多组特征向量。

具体地，对于多组边界特征图的特征提取方法，存在以下三个方案：

方案A：图7示意性示出了根据本发明一实施例的多组边界特征图的全局平均池化的示意图，如图7所示，可以将每组边界特征图通过全局平均池化得到1*1*D的tensor(张量)，然后将得到的1*1*D的tensor进行Reshape函数变换，以得到特征向量。

方案B：图8示意性示出了根据本发明一实施例的多组边界特征图的分块池化拼接的示意图，如图8所示，将每组边界特征图的两个边界特征图在高度方向上划分为5等分，然后对每个等分进行全局平均池化得到1*1*D的tensor，则每个边界特征图可以得到5个1*1*D的tensor，然后将5个1*1*D的tensor进行拼接得到1*1*5D的tensor，然后将得到的1*1*5D的tensor进行Reshape函数变换，以得到特征向量。

方案C：综合方案A和方案B所分别得到的特征向量，将两者进行拼接得到6D维度的特征向量，此特征向量可以包含更多的特征信息。

在本发明实施例中，步骤205：根据边界相似度确定第一原始图像和第二原始图像的图像边界，包括：

步骤401：根据边界相似度确定第一采样图像和第二采样图像的实际边界。

将根据多组边界特征图得到的多个边界相似度进行比较，根据比较结果可以确定最小的边界相似度所对应的一组边界特征图的图像边界就应该是第一采样图像和第二采样图像的实际边界。

步骤402：根据预设采样次数、以及第一采样图像和第二采样图像的实际边界确定第一原始图像和第二原始图像的图像边界。

进一步地，由于第一采样图像和第二采样图像是分别通过将第一原始图像和第二原始图像进行卷积下采样得到的，即若第一采样图像和第二采样图像均进行了预设采样次数的下采样，当将预设采样次数设为n，则第一采样图像在第一原始图像的基础上进行2n次的缩小，第二采样图像在第二原始图像的基础上进行2n次的缩小，所以为了得到第一原始图像和第二原始图像的图像边界，需要将第一采样图像和第二采样图像的实际边界按照2n次的放大映射回到第一原始图像和第二原始图像上，才能得到准确的图像边界，从而保证图像边界预测的准确性。

在本发明实施例中，步骤402：根据预设采样次数、以及第一采样图像和第二采样图像的实际边界确定第一原始图像和第二原始图像的图像边界，包括：

步骤4021：根据预设采样次数、以及第一采样图像和第二采样图像的实际边界确定第一原始图像和第二原始图像的映射边界。

具体地，如上所述，需要将第一采样图像和第二采样图像的实际边界按照2n次的放大映射回到第一原始图像和第二原始图像上，才能得到准确的图像边界。即若第一采样图像是第一原始图像经过5次卷积下采样得到的，第二采样图像也是第二原始图像经过5次卷积下采样得到的，且当确定第一采样图像和第二采样图像的实际边界均是第3次边界区域划分的边界线，即可以得到第一原始图像的映射边界是从右往左过去25*3*d的像素点的位置，而第二原始图像的映射边界是从左往右过去25*3*d的像素点的位置。

步骤4022：将第一原始图像和第二原始图像的映射边界进行预设边界区域的扩充，以得到第一原始图像和第二原始图像的图像边界。

同时，由于第一原始图像需要经过卷积下采样得到第一采样图像，以及第一原始图像的图像边界确定需要将第一采样图像的实际边界根据预设采样次数映射回到第一原始图像上，即在此过程中存在缩放比例带来的误差取整干扰，因此为了消除缩放比例带来的误差取整干扰，可以对第一原始图像的映射边界进行预设边界区域的扩充，并且预设边界区域可以为25/2，即第一原始图像的图像边界可以确定为从现在的映射边界往左再过去25/2的像素点的位置。同理可得，第二原始图像的图像边界可以确定为从现在的映射边界往右再过去25/2的像素点的位置。

在本发明实施例中，还包括：在步骤201：将第一原始图像和第二原始图像输入至边界预测模型之前，获取边界预测模型；

其中，边界预测模型是通过以下步骤得到的：

步骤2011：采集不同角度的多张场景图像。

具体地，可以预先从不同角度大量采集灶台的场景图像，并进行保存。

步骤2012：对存在重叠区域的两个场景图像进行边界区域划分，以得到多组子区域图像。

进一步地，可以在多张灶台的场景图像中选取存在重叠区域的两张场景图像进行多次边界区域划分，以能够得到多组子区域图像。比如，可以将两张场景图像裁剪，以得到两张场景图像彼此靠近的1/4区域，并将裁剪下来的图片分别进行5次边界区域划分，然后将边界区域划分次序相同的图片两两组成一组，以得到5组子区域图像。

步骤2013：将每组子区域图像分别进行图像合成，以得到多个训练图像。

步骤2014：将多个训练图像进行相似度标记。

更具体地，可以将新生成的训练图像进行相似度的人工标注，比如当组成训练图像的两张子区域图像如果近似就标记为正样本(positive)，如果不近似就标记为负样本(negative)。

步骤2015：获取预设的损失函数模型，并从多个训练图像中随机抽取训练样本输入至损失函数模型，并经过多轮迭代训练以得到边界预测模型。

更进一步地，图9示意性示出了根据本发明一实施例的边界预测模型的建立的示意图，随机从多个训练图像中抽取一个训练图像作为训练样本，标记为anchor，然后再随机选取与它对应的一个正样本和一个负样本，将这三个图片一起作为图片的输入层，输入至预设的损失函数模型中，损失函数模型的公式可以为：

在上式中，f(x)代表输入图片x所对应的embedding(嵌入层)向量输出；i代表N组样本输入的第i个样本；上标a表示anchor，上标p表示positive，上标n表示negative，分别代表上一步输入的3张图片；α是超参，代表正负样本之间的边界；为锚点和正样本的距离，/>为锚点和负样本的距离。

通过随机抽取训练样本对损失函数模型进行多次模型训练，则可以得到边界预测模型。

在本发明实施例中，方法还包括：

步骤106：获取任务指令。

具体地，任务指令可以是分析烹饪的食材种类，食材的生熟度，各种食材的数量的多少，灶台火焰的控制以及厨具使用情况等。

步骤107：根据全景图像对任务指令进行分析。

进一步地，根据获得的任务指令，可以将得到的全景图像输入到相应的模型中进行分析过滤，以得到分析结果。

步骤108：发送分析结果。

更具体地，分析结果可以直接在油烟机或者集成灶上展示给用户，也可以是通过短信下发给用户。

在上述方案中，可以通过全景图像对灶台信息进行分析，以得到任务指令所需要的分析结果，由于全景图像可以覆盖整个灶台全景，从而能够全面地对灶台信息进行分析，从而提高了家电的品质，提升了家电的智能化程度。

在本发明实施例中，方法还包括：

步骤109：接收用户发送的指示分析结果错误的信息。

步骤110：将与分析结果对应的全景图像作为困难样本输入至边界预测模型以对边界预测模型重新训练。

具体地，即当用户接收到分析结果后，经过与实际情况比较，发现分析结果有误，则可以发送分析结果错误的指示信息，根据用户发送的指示分析结果错误的信息，则可以通过将与分析结果对应的全景图像标注为困难样本输入至边界预测模型中，以进行重新进行训练，从而到达提高模型精度的目的。

以下将对本发明实施例中边界预测模型对灶台图像进行边界预测的过程作详细地说明。详细步骤如下：

(1)图像获取：抽取从第一摄像头和第二摄像头获得的同步图像，且第一摄像头和第二摄像头所拍摄的图像均可以是640x480大小的图像，640表征的是图像宽度，480表征的是图像高度。

(2)输入模型：将第一摄像头和第二摄像头获得的同步图像组成一组输入至边界预测模型，边界预测模型将第一摄像头和第二摄像头获得的一组同步图像作为输入层(Input Layers)，同步图像的维度可为640x480x3，即同步图像是彩色的3通道图片。

(3)卷积下采样：然后通过边界预测模型不断地对第一摄像头和第二摄像头获得的一组同步图像进行卷积下采样，以用来提取高阶的语义信息，当经过5次下采样，可以将输入图像由640x480x3变为20x15x512大小的采样图像，从而得到两个20x15x512大小的采样图像。

(4)边界区域划分：根据图5可知，第一摄像头和第二摄像头获得的同步图像只有边界交融部分是相似的，因此可以预估两个20x15x512大小的采样图像的相似部分最多可以从边界的1/4算起，同时还可以定义一个变量d，变量d代表每一次边界区域划分后对应的边界特征图的尺寸，若分别对两个采样图像进行5次边界区域划分，即变量d可取1、2、3、4和5，比如：对于第一摄像头的采样图像来说，d为1则代表采样图像上从右往左跨度为1的边界特征图，同理d为2则代表采样图像上从右往左跨度为2的边界特征图，以此类推；而对于第二摄像头的采样图像来说，正好与第一摄像头的采样图像相反，d为1则代表第二摄像头的采样图像上从左往右跨度为1的边界特征图，同理d为2则代表第二摄像头的采样图像上从左往右跨度为2的边界特征图，以此类推。最后可以将变量相同的边界特征图组成一组，以获得五组边界特征图dx15x512。

(5)特征提取：存在以下3种方案可以进行特征提取。

方案A：就是对dx15x512的边界特征图进行全局平均池化，得到1x1x512的tensor，如图6所示，然后对这个tensor进行reshape变为512的向量。

方案B：dx15x512的边界特征图按照高度划分为5个等分，即每个等分的大小为dx3x512，然后对每个等分进行全局平均池化得到1x1x512的tensor，这样我们得到了5个1x1x512的tensor，然后将它们拼接起来形成1x1x2560的tensor，如图7所示，再对它们进行reshape变为2560的向量。

方案C：综合方案A和方案B所分别得到的512维的向量和2560维的向量，将它们拼接起来得到512+2560＝3072维度的向量，此向量包含更多的特征信息。

(6)相似度计算：选取三个方案中的其中一个方案，可以计算得到每组边界特征图的对应的两个特征向量，然后根据这两个向量可以计算它们之间的边界相似度S，并且边界相似度S可以用余弦夹角公式来度量。

(7)采样图像边界确定：针对不同的d，可以得到了不同Sd。同时，根据对采样图像的划分规则可知，Sd是一个从大到小，再到大的一个类似2元函数的曲线，那么最小的Sd所对应的d就是采样图像的边界。

(8)原始图像边界确定：再将d映射回原图，因为采样图像的大小是经过5次下采样得到的，所以对应原图的步长就是2的5次幂，也就是32个像素一个步长。假如d＝3对应的边界相似度是最小值，那么第一摄像头获得的同步图像的边界就是(640-3x32)的像素点位置，而第二摄像头获得的同步图像的边界就是(0+3x32)的像素点位置。此外，还可以对边界作32/2个像素点的扩充，以消除因为缩放比例所带来的误差取整干扰，则最终第一摄像头获得的同步图像的边界就是{(640-3x32)-32/2}的像素点位置，而第二摄像头获得的同步图像的边界就是{(0+3x32)+32/2}的像素点位置。

同时，本发明实施例提供一种用于处理图像方法，可以利用至少两个摄像头，在用户进行烹饪的过程中，至少两个摄像头能够同时拍到灶台上不同角度的图像，然后根据边界预测模型预测得到的边界信息，对图像进行裁剪，并将裁剪后包含有相似部分的图像进行合成，然后将合成后的图像与裁剪后剩下来的图像进行拼接即可得到灶台的全景图像。灶台的全景图像获取的详细步骤如下：

(1)当检测到用户开始进行烹饪时，开启至少两个摄像头不断获取灶台图像，并将灶台图像发送给芯片进行保存，同时，同步获取的灶台图像可以根据特定的命名规则来保持同步的保存状态。

可以理解，本实施例中的灶台包括开关，用户通过该开关控制灶台进入烹饪模式后，可以接收到该灶台工作的信号，根据该信号确定可以检测到用户开始进行烹饪。在确定灶台进入烹饪模式后，可以控制至少两个摄像头开启，并持续性地拍摄其下方灶台的图像。进一步地，至少两个摄像头将拍摄到的灶台图像传送到芯片中进行存储，存储时对灶台图像根据特定的命名规则进行命名，其中，命名规则是指根据灶台图像对应的拍摄设备以及拍摄时间对其进行命名，从而保证灶台图像的同步保存的状态。

(2)将同步获取的灶台图像输入至边界预测模型中，以得到灶台图像的图像边界预测信息。

(3)根据灶台图像的图像边界预测信息裁剪出要进行图像合成的目标图像。

(4)将目标图像进行图像合成。

(5)将合成后的图像与之前裁剪剩下的图像直接进行拼接，得到完整的灶台的全景图像。

(6)将灶台的全景图像根据不同的任务指令输入到相应的模型中进行分析计算。

(7)将分析结果导入到后续处理逻辑中反馈给用户。

可以理解，在对全景图像进行分析后，可以从中提取出有效信息并根据上述有效信息对用户的烹饪操作进行指导；进一步地，可以通过显示模块向用户显示图像或文字信息，或者通过语音模块播放语音信息来对用户进行提示，提升了用户的使用体验感。

(8)如果灶台烹饪没结束，则继续读取图片，返回到第二步继续循环。

(9)如果灶台烹饪结束，自动结束拍摄。

可以理解，用户关闭灶台的开关以后，可以接收到该灶台被停止工作的信号，根据该信号确定灶台退出烹饪模式，此时至少两个摄像头也无需再继续采集下方关于灶台的图像，因此在确定灶具退出烹饪模式后控制至少两个摄像头进行关闭。

本发明的另一实施例中提供一种处理器，被配置成执行以上所述的用于处理图像的方法。

本发明的另一实施例中提供一种控制设备，应用于家用电器，其中，控制设备包括：第一图像采集装置、第二图像采集装置和处理器，第一图像采集设备和第二图像采集设备均与处理器电连接，第一图像采集装置用于采集第一原始图像，第二图像采集装置用于采集第二原始图像，处理器即为上述实施例中的提供的处理器。

具体地，控制设备可以是设置在灶台上方的油烟机上，也可以是设置在集成灶上。

本发明的另一实施例中提供一种家用电器，该家用电器包括上述实施例中提供的控制设备。

在本发明实施例中，家用电器还包括油烟机或集成灶。

在本发明的实施例中，如图5所示，该家用电器包括油烟机1或集成灶，控制设备包括第一图像采集装置和第二图像采集装置，本实施例中第一图像采集装置为第一摄像头2，第二图像采集装置为第二摄像头3，第一摄像头2和第二摄像头3分别设置在油烟机1底部的左侧和右侧；油烟机1的下方设有灶台4，且在灶台4的左右两侧分别设置有灶眼5，则第一摄像头2用于对灶台4的左侧区域的灶眼5进行拍照，第一摄像头2拍摄的图像为第一原始图像；第二摄像头3用于对灶台4的右侧区域的灶眼5进行拍照，第二摄像头3拍摄的图像为第二原始图像，第一摄像头2和第二摄像头3的图像采集区域具有重合部分，因此第一原始图像和第二原始图像具有相似部分，相似部分为灶台4左右两侧之间的区域。

本发明的另一实施例中提供一种机器可读存储介质，其上存储有指令，指令被处理器执行时实现根据以上所述的用于处理图像的方法。

本发明的另一实施例中提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现上述的用于处理图像的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种用于处理图像的方法，应用于家用电器，其特征在于，所述家用电器包括第一图像采集装置和第二图像采集装置，且所述第一图像采集装置和所述第二图像采集装置采集的图像存在重叠区域，所述方法包括：

接收所述第一图像采集装置采集的第一原始图像以及所述第二图像采集装置采集的第二原始图像；

对所述第一原始图像和所述第二原始图像进行图像边界预测；

根据图像边界预测的结果将所述第一原始图像裁剪为第一拼接图像和第一融合图像，以及将所述第二原始图像裁剪为第二拼接图像和第二融合图像；

将所述第一融合图像和所述第二融合图像合成为第三拼接图像；

将所述第一拼接图像、所述第二拼接图像和所述第三拼接图像进行拼接，以得到全景图像；

所述对所述第一原始图像和所述第二原始图像进行图像边界预测包括：

将所述第一原始图像和所述第二原始图像输入至边界预测模型；

所述边界预测模型按照预设采样次数分别对所述第一原始图像和所述第二原始图像进行卷积下采样，以得到第一采样图像和第二采样图像；

对所述第一采样图像和所述第二采样图像进行多组边界区域划分，以得到多组边界特征图；

计算每组边界特征图的边界相似度；

根据所述边界相似度确定所述第一原始图像和所述第二原始图像的图像边界。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一采样图像和所述第二采样图像进行多组边界区域划分，以得到多组边界特征图包括：

获取边界区域划分的预设尺寸；

根据所述预设尺寸分别对所述第一采样图像和所述第二采样图像进行相同次数的边界区域划分，以得到多个第一边界特征图和多个第二边界特征图；

根据多个所述第一边界特征图和多个所述第二边界特征图得到多组所述边界特征图。

3.根据权利要求1所述的方法，其特征在于，所述计算每组边界特征图的边界相似度包括：

对多组边界特征图进行变换以得到多组特征向量；

计算每组特征向量的余弦值；

根据所述余弦值确定所述边界相似度。

4.根据权利要求3所述的方法，其特征在于，所述对多组边界特征图进行变换以得到多组特征向量包括：

将多组边界特征图分别经过全局平均池化和Reshape函数变换，以得到多组特征向量。

5.根据权利要求1所述的方法，其特征在于，所述根据所述边界相似度确定所述第一原始图像和所述第二原始图像的图像边界包括：

根据所述边界相似度确定所述第一采样图像和所述第二采样图像的实际边界；

根据所述预设采样次数、以及所述第一采样图像和所述第二采样图像的实际边界确定所述第一原始图像和所述第二原始图像的图像边界。

6.根据权利要求5所述的方法，其特征在于，所述根据所述预设采样次数、以及所述第一采样图像和所述第二采样图像的实际边界确定所述第一原始图像和所述第二原始图像的图像边界，包括：

根据所述预设采样次数、以及所述第一采样图像和所述第二采样图像的实际边界确定所述第一原始图像和所述第二原始图像的映射边界；

将所述第一原始图像和所述第二原始图像的映射边界进行预设边界区域的扩充，以得到所述第一原始图像和所述第二原始图像的图像边界。

7.根据权利要求1所述的方法，其特征在于，还包括：在将所述第一原始图像和所述第二原始图像输入至边界预测模型之前，获取所述边界预测模型；

其中，所述边界预测模型是通过以下步骤得到的：

采集不同角度的多张场景图像；

对存在重叠区域的两个场景图像进行边界区域划分，以得到多组子区域图像；

将每组子区域图像分别进行图像合成，以得到多个训练图像；

将多个训练图像进行相似度标记；

获取预设的损失函数模型，并从多个训练图像中随机抽取训练样本输入至所述损失函数模型，并经过多轮迭代训练以得到所述边界预测模型。

8.根据权利要求1至7中任意一项所述的方法，其特征在于，所述方法还包括：

获取任务指令；

根据所述全景图像对所述任务指令进行分析；

发送分析结果。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

接收用户发送的指示所述分析结果错误的信息；

将与所述分析结果对应的全景图像作为困难样本输入至所述边界预测模型以对所述边界预测模型重新训练。

10.一种控制设备，应用于家用电器，其特征在于，包括：

第一图像采集装置，用于采集第一原始图像；

第二图像采集装置，用于采集第二原始图像；以及

被配置成执行根据权利要求1至9中任意一项所述的用于处理图像的方法的处理器。

11.一种家用电器，其特征在于，包括根据权利要求10所述的控制设备。