CN114877611B - 提高图像识别准确率的方法、设备及冰箱 - Google Patents

Abstract

本发明揭示了一种提高图像识别准确率的方法、设备及冰箱，所述方法包括：获取从不同角度对冰箱专区进行拍摄的图像，得到第一图像和第二图像；分别对所述第一图像和第二图像进行图像识别，得到第一识别结果和第二识别结果；对所述第一图像和第二图像中的相同位置映射，得到位置映射关系；根据所述第一识别结果、第二识别结果和所述位置映射关系，得到最终的图像识别结果。与现有技术相比，本发明的提高图像识别准确率的方法，通过在不同的角度对酸奶专区进行拍摄，得到不同角度的图像，然后通过对不同角度的图像识别的置信度与位置映射关系，确认最终的识别结果，提高图像识别的准确率。

Description

提高图像识别准确率的方法、设备及冰箱

技术领域

本发明涉及家电领域，特别涉及一种提高图像识别准确率的方法、设备及冰箱。

背景技术

物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段，物联网甚至被人们称为继计算机、互联网之后世界信息产业发展的第三次浪潮。近年来，随着物联网概念的逐步兴起，家电行业也随之迅速走向智能化发展的方向，很多传统家电企业都纷纷加入到智能家居开发的行列。自智能家居兴起以来，市面上出现了很多种类的智能家居，智能冰箱就是其中之一。

所谓智能冰箱，就是能对冰箱进行智能化控制、对食品进行智能化管理的冰箱类型。具体点说，就是能自动进行冰箱模式调换，始终让食物保持最佳存储状态，可让用户通过手机或电脑，随时随地了解冰箱里食物的数量、保鲜保质信息，可为用户提供健康食谱和营养禁忌，可提醒用户定时补充食品等。

为实现上述功能，在冰箱中安装摄像头查看冰箱内的食材并且对冰箱中的食材进行检测识别是必不可少的一种方式。

目前，一般是使用单一摄像头对待识别食材进行拍摄和图像识别，但是这种方式带来的误差较大，识别准确率低。因此，如何提高冰箱内拍摄图像的识别准确率，是目前需要解决的问题。

发明内容

本发明的目的在于提供一种提高图像识别准确率的方法、设备及冰箱。

为实现上述发明目的之一，本发明一实施方式提供一种提高图像识别准确率的方法，其特征在于，所述方法包括：

获取从不同角度对冰箱专区进行拍摄的图像，得到第一图像和第二图像；

分别对所述第一图像和第二图像进行图像识别，得到第一识别结果和第二识别结果，所述第一识别结果和第二识别结果包括每个位置对应的至少一个可能食材，以及每个可能食材对应的置信度；

对所述第一图像和第二图像中的相同位置映射，得到位置映射关系；

根据所述第一识别结果、第二识别结果和所述位置映射关系，得到最终的图像识别结果；

其中，所述“根据所述第一识别结果、第二识别结果和所述位置映射关系，得到最终的图像识别结果”包括：

确定所述第一识别结果中置信度大于或等于第一置信度阈值的第一食材集合及对应的第一位置集合；

确定所述第二识别结果中置信度大于或等于第二置信度阈值的第二食材集合及对应的第二位置集合；

根据所述位置映射关系及所述第一识别结果和第二识别结果的置信度的权重，计算每个剩余位置中每个可能食材的综合置信度，确定综合置信度大于或等于第三置信度阈值的第三食材集合及对应的第三位置集合，其中所述剩余位置是指除所述第一位置集合和第二位置集合中包含的位置之外的其它位置；

所述最终的图像识别结果为综合食材合集及对应的综合位置合集，其中，所述综合食材合集为第一食材集合、第二食材集合和第三食材集合的并集，所述综合位置合集为第一位置集合、第二位置集合和第三位置集合的并集。

作为本发明一实施方式的进一步改进，所述“根据所述位置映射关系及所述第一识别结果和第二识别结果的置信度的权重，计算每个剩余位置中每个可能食材的综合置信度”包括：

根据第一识别结果和第二识别结果中置信度的准确率，确定第一识别结果和第二识别结果的置信度的权重；

根据所述权重及位置映射关系，计算所述每个剩余位置中每个可能食材的综合置信度。

作为本发明一实施方式的进一步改进，所述“根据所述第一识别结果、第二识别结果和所述位置映射关系，得到最终的图像识别结果”还包括：

计算无法识别的位置集合及每个位置对应的可能食材，反馈给用户选择，并将用户的选择结果反馈给前端的图像识别模型进行自学习。

作为本发明一实施方式的进一步改进，所述“获取从不同角度对冰箱专区进行拍摄的图像，得到第一图像和第二图像”包括：

检测到冰箱门体正在关闭、且冰箱门体与冰箱箱体的夹角为预设角度时，控制第一摄像头对冰箱专区进行拍摄，得到第一图像；

检测到冰箱门体已经关闭后，控制第二摄像头对冰箱专区进行拍摄，得到第二图像。

作为本发明一实施方式的进一步改进，所述冰箱专区设置在冰箱门体的瓶座上，所述第一摄像头设置在冰箱箱体上，所述第二摄像头设置在所述瓶座的顶部。

作为本发明一实施方式的进一步改进，所述预设角度为45度。

为实现上述发明目的之一，本发明一实施方式提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述提高图像识别准确率的方法中的步骤。

为实现上述发明目的之一，本发明一实施方式提供一种冰箱，所述冰箱包含上述所述的电子设备。

与现有技术相比，本发明的提高图像识别准确率的方法，通过在不同的角度对酸奶专区进行拍摄，得到不同角度的图像，然后通过对不同角度的图像识别的置信度与位置映射关系，确认最终的识别结果，提高图像识别的准确率。

附图说明

图1是本发明的提高图像识别准确率的方法的流程示意图。

具体实施方式

以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

在冰箱中设置酸奶专区，可以对酸奶进行集中监控。一般酸奶专区设置有瓶座，酸奶放置在瓶座内。在对瓶座内的酸奶进行监控的过程中，需要对酸奶专区进行图像拍摄及识别。目前酸奶专区的摄像头一般设置在酸奶专区的顶部，这样拍摄出来的图像能够很精准的识别酸奶的数量，但是，由于顶部只能拍摄到酸奶的瓶盖，对于瓶盖特征比较相近的酸奶种类，无法做到精准识别。

因此，本发明提供一种提高图像识别准确率的方法，通过在不同的角度对酸奶专区进行拍摄，得到不同角度的图像，然后通过对不同角度的图像识别的置信度与位置映射关系，确认最终的识别结果，提高奶制品图像的识别准确率。

如图1所示，所述方法包括：

步骤S100：获取从不同角度对冰箱专区进行拍摄的图像，得到第一图像和第二图像。

本发明中所述冰箱专区是指酸奶专区。

通过从不同角度对冰箱专区进行拍摄，得到第一图像和第二图像。

具体的，由于冰箱专区设置在门体上，因此，优选在冰箱箱体正对着冰箱门体的略高于所述冰箱专区的位置设置第一摄像头，用于拍摄所述冰箱专区中食材（酸奶）的侧面，获取其侧面特征。在冰箱专区所在瓶座的顶部设置第二摄像头，用于拍摄食材的顶部，用于获取顶部特征及食材数量。

因此，“获取从不同角度对冰箱专区进行拍摄的图像，得到第一图像和第二图像”包括：

步骤S110：检测到冰箱门体正在关闭、且冰箱门体与冰箱箱体的夹角为预设角度时，控制第一摄像头对冰箱专区进行拍摄，得到第一图像。

可以通过角度传感器来检测冰箱门体的打开角度（所述打开角度即冰箱门体与冰箱箱体的夹角）。具体的，角度传感器安装在冰箱门体靠近顶部的安装腔体。

角度传感器还可以用于检测冰箱门体是否正在关闭，具体的，当检测到所述冰箱门体的打开角度在逐渐减小，并且所述打开角度小于预设打开角度，则判定所述冰箱门体正在关闭。

由于冰箱门体的打开角度不同，拍摄后的图像的畸变程度不同，因此，优选所述打开角度（即冰箱门体与冰箱箱体的夹角）为45度，此时拍摄的图像带来的畸变最小。

步骤S120：检测到冰箱门体已经关闭后，控制第二摄像头对冰箱专区进行拍摄，得到第二图像。

在冰箱门体关闭后，设置在顶部的第二摄像头对冰箱专区进行拍照，得到第二图像。

步骤S200：分别对所述第一图像和第二图像进行图像识别，得到第一识别结果和第二识别结果。

在本步骤，使用事先训练好的图像识别模型，对所述第一图像和第二图像进行图像识别，得到第一识别结果和第二识别结果。

所述第一识别结果和第二识别结果包括每个位置对应的至少一个可能食材，以及每个可能食材对应的置信度。此处，图像识别模型对于每个可能食材都会输出一个置信度，即可能食材的可信度，可信度越高，是对应可能食材的概率越高。

例如，假设第一识别结果中包括n个食材，位置分别为A1~An。对于处于A1位置的食材的识别结果为：置信度为C11的酸奶11、置信度为C12的酸奶12…;处于A2位置的食材的结果为：置信度为C21的酸奶21、置信度为C22的酸奶22…;依次类推。如果单从第一识别结果来看，若置信度C11大于C12，那么处于A1位置的食材为酸奶11的概率大于酸奶12。

步骤S300：对所述第一图像和第二图像中的相同位置进行映射，得到位置映射关系。

假设第一图像中包括有n个食材，位置分别为A1~An。由于第二图像与第一图像拍摄的是同样的目标，因此，第二图像亦包括n个食材，位置分别为B1~Bn。那么，对于处于相同的位置就可以进行一一映射，得到位置映射关系：A1与B1、A2与B2、…、An与Bn。

步骤S400：根据所述第一识别结果、第二识别结果和所述位置映射关系，得到最终的图像识别结果。

根据位置映射关系，将第一识别结果和第二识别结果中处于相同位置的识别结果进行综合，得到最终的图像识别结果。

在一个具体的实施方式中，所述“根据所述第一识别结果、第二识别结果和所述位置映射关系，得到最终的图像识别结果”包括：

步骤S410：确定所述第一识别结果中置信度大于或等于第一置信度阈值的第一食材集合及对应的第一位置集合。

所述第一识别结果是对第一图像进行识别的结果，所述第一图像是安装在冰箱箱体上的摄像头所拍摄的冰箱专区的图像。所述第一置信度阈值图像识别模型对多个第一图像进行训练得到的，若某个位置的一个可能食材的置信度大于或等于第一置信度阈值，则表明这个位置的食材即是所述置信度对应的可能食材。

因此选取第一识别结果中，置信度大于或等于第一置信度阈值的所有食材，作为第一食材集合，选取第一食材集合中每个食材对应的位置作为第一位置集合，表明第一位置集合中的每个位置的食材已经完成准确识别，识别结果即第一食材集合中对应的食材。

还是以前面的例子为例，假设第一识别结果中包括n个食材，位置分别为A1~An。对于处于A1位置的食材的识别结果为：置信度为C11的酸奶11、置信度为C12的酸奶12…;处于A2位置的食材的结果为：置信度为C21的酸奶21、置信度为C22的酸奶22…;依次类推。假设这之中只有置信度C11、C22和C33超过第一置信度阈值，那么第一食材合集为{酸奶11;酸奶22;酸奶33}，对应的第一位置合集为{A1;A2;A3}。

步骤S420：确定所述第二识别结果中置信度大于或等于第二置信度阈值的第二食材集合及对应的第二位置集合。

所述第二识别结果是对第二图像进行识别的结果，所述第二图像是安装在冰箱专区顶部的摄像头所拍摄的冰箱专区的图像。所述第二置信度阈值图像识别模型对多个第二图像进行训练得到的，若某个位置的一个可能食材的置信度大于或等于第二置信度阈值，则表明这个位置的食材即是所述置信度对应的食材。

因此选取第二识别结果中，置信度大于或等于第二置信度阈值的所有食材，作为第二食材集合，选取第二食材集合中每个食材对应的位置作为第二位置集合，表明第二位置集合中的每个位置的食材已经完成准确识别，识别结果即第二食材集合中对应的食材。

步骤S430：根据所述位置映射关系及所述第一识别结果和第二识别结果的置信度的权重，计算每个剩余位置中每个可能食材的综合置信度，确定综合置信度大于或等于第三置信度阈值的第三食材集合及对应的第三位置集合，其中所述剩余位置是指除所述第一位置集合和第二位置集合中包含的位置之外的其它位置。

通过步骤S410和S420，已经确定了第一位置集合和第二位置集合中的位置对应的食材，但是，还可能存在其它不包含在第一、二位置集合中的位置，即上述的剩余位置，每个剩余位置上的食材还没有被准确识别。

由于每个剩余位置都存在于第一识别结果和第二识别结果中，并且都可能存在多个可能食材，及每个可能食材对应的置信度。因此，可以通过计算每个可能食材在第一识别结果和第二识别结果中的综合置信度，来对这些位置上的食材进行精确识别。即选取综合置信度大于或等于第三置信度阈值的所有食材作为第三食材集合，选取第三食材集合中每个食材对应的位置作为第三位置集合，表明第三位置集合中的每个位置的食材已经完成准确识别，识别结果即第三食材集合中对应的食材。

具体的，所述“根据所述位置映射关系及所述第一识别结果和第二识别结果的置信度的权重，计算每个剩余位置中每个可能食材的综合置信度”包括：

根据第一识别结果和第二识别结果中置信度的准确率，确定第一识别结果和第二识别结果的置信度的权重；根据所述权重及位置映射关系，计算所述每个剩余位置中每个可能食材的综合置信度。

假设A4为一个剩余位置，A4在第一识别结果中的识别结果为：置信度为C411的酸奶41和置信度为C421的酸奶42; 根据位置映射关系，A4在第二识别结果中的识别结果为：置信度为C412的酸奶41和置信度为C422的酸奶42；而第一、二识别结果中的置信度的权重分别为0.6和0.4。那么酸奶41的综合置信度为C411*0.6+C412*0.4，酸奶42的综合置信度为C421*0.6+C422*0.4。

步骤S440：所述最终的图像识别结果为综合食材合集及对应的综合位置合集，其中，所述综合食材合集为第一食材集合、第二食材集合和第三食材集合的并集，所述综合位置合集为第一位置集合、第二位置集合和第三位置集合的并集。

所述最终的图像识别结果为前面三个准确识别结果的集合的并集。所述综合食材合集中的食材与所述综合位置合集中的位置为一一对应的关系，每个食材都是对应位置的最终准确识别结果。

优选的，所述“根据所述第一识别结果、第二识别结果和所述位置映射关系，得到最终的图像识别结果”还包括：

步骤S450：计算无法识别的位置集合及每个位置对应的可能食材，反馈给用户选择，并将用户的选择结果反馈给前端的图像识别模型进行自学习。

由于酸奶外包装的更换速度较快，而图像识别模型的更新速度相对较慢，因此不可避免的存在一些识别不出来或者识别不准确的酸奶，此时，就需要将这些酸奶反馈给用户，通过用户的选择，获取准确的识别结果，再将准确的识别结果反馈给图像识别模型进行自学习，从而下次再出现同样类型的酸奶就可以准确识别出了。

本发明提供一种提高图像识别准确率的方法，通过在不同的角度对酸奶专区进行拍摄，得到不同角度的图像，然后通过对不同角度的图像识别的置信度与位置映射关系，确认最终的识别结果，提高奶制品图像的识别准确率。

本发明还提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述提高图像识别准确率的方法中的任意一个步骤，也就是说，实现上述所述提高图像识别准确率的方法中任意一个技术方案中的步骤。

本发明还提供一种冰箱，包括上述所述的电子设备。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (8)

1.一种提高图像识别准确率的方法，其特征在于，所述方法包括：

获取从不同角度对冰箱专区进行拍摄的图像，得到第一图像和第二图像；

分别对所述第一图像和第二图像进行图像识别，得到第一识别结果和第二识别结果，所述第一识别结果和第二识别结果包括每个位置对应的至少一个可能食材，以及每个可能食材对应的置信度；

对所述第一图像和第二图像中的相同位置映射，得到位置映射关系；

根据所述第一识别结果、第二识别结果和所述位置映射关系，得到最终的图像识别结果；

其中，所述“根据所述第一识别结果、第二识别结果和所述位置映射关系，得到最终的图像识别结果”包括：

确定所述第一识别结果中置信度大于或等于第一置信度阈值的第一食材集合及对应的第一位置集合；

确定所述第二识别结果中置信度大于或等于第二置信度阈值的第二食材集合及对应的第二位置集合；

根据所述位置映射关系及所述第一识别结果和第二识别结果的置信度的权重，计算每个剩余位置中每个可能食材的综合置信度，确定综合置信度大于或等于第三置信度阈值的第三食材集合及对应的第三位置集合，其中所述剩余位置是指除所述第一位置集合和第二位置集合中包含的位置之外的其它位置；

所述最终的图像识别结果为综合食材合集及对应的综合位置合集，其中，所述综合食材合集为第一食材集合、第二食材集合和第三食材集合的并集，所述综合位置合集为第一位置集合、第二位置集合和第三位置集合的并集。

2.根据权利要求1所述提高图像识别准确率的方法，其特征在于，所述“根据所述位置映射关系及所述第一识别结果和第二识别结果的置信度的权重，计算每个剩余位置中每个可能食材的综合置信度”包括：

根据第一识别结果和第二识别结果中置信度的准确率，确定第一识别结果和第二识别结果的置信度的权重；

根据所述权重及位置映射关系，计算所述每个剩余位置中每个可能食材的综合置信度。

3.根据权利要求1所述提高图像识别准确率的方法，其特征在于，所述“根据所述第一识别结果、第二识别结果和所述位置映射关系，得到最终的图像识别结果”还包括：

计算无法识别的位置集合及每个位置对应的可能食材，反馈给用户选择，并将用户的选择结果反馈给前端的图像识别模型进行自学习。

4.根据权利要求1所述提高图像识别准确率的方法，其特征在于，所述“获取从不同角度对冰箱专区进行拍摄的图像，得到第一图像和第二图像”包括：

检测到冰箱门体正在关闭、且冰箱门体与冰箱箱体的夹角为预设角度时，控制第一摄像头对冰箱专区进行拍摄，得到第一图像；

检测到冰箱门体已经关闭后，控制第二摄像头对冰箱专区进行拍摄，得到第二图像。

5.根据权利要求4所述提高图像识别准确率的方法，其特征在于：

所述冰箱专区设置在冰箱门体的瓶座上，所述第一摄像头设置在冰箱箱体上，所述第二摄像头设置在所述瓶座的顶部。

6.根据权利要求4所述提高图像识别准确率的方法，其特征在于：

所述预设角度为45度。

7.一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6任意一项所述提高图像识别准确率的方法中的步骤。

8.一种冰箱，其特征在于，所述冰箱包含如权利要求7所述的电子设备。