CN115682510B - 一种智能冰箱、食材识别方法、设备及介质 - Google Patents

Abstract

本申请公开了一种智能冰箱、食材识别方法、设备及介质，由于本申请实施中，采集到了包含智能冰箱食材存放区域的红外图像，即使在室内光线较暗时，也能够基于采集的彩色图像和红外图像确定目标食材类型，进而提高了食材的食材类别的识别的准确性，避免了光线较暗时无法识别出食材类别的问题，方便后续对食材的管理。

Description

一种智能冰箱、食材识别方法、设备及介质

技术领域

本申请涉及智能家电技术领域，尤其涉及一种智能冰箱、食材识别方法、设备及介质。

背景技术

伴随着智能家电的快速发展，智能冰箱在人们日常生活中起着越来越重要的作用，且智能冰箱能够基于用户存取过程，动态识别食材的食材类别、用户存取动作、食材存取位置等信息，进而实现对食材的精准管理。其中，精准的识别食材的食材类别对于食材的精准管理至关重要。

现有技术中，用户在打开智能冰箱箱门时，图像采集设备采集包含智能冰箱食材存放区域的彩色图像，并基于该彩色图像进行食材的食材类别的识别。但是当室内光线较暗时，比如黄昏或者夜间，则会导致彩色图像比较昏暗，因此识别的食材的食材类别的准确性不高，甚至无法识别出食材类别，影响后续对食材的管理。

发明内容

本申请提供了一种智能冰箱、食材识别方法、设备及介质，用以解决现有技术中光线比较暗时，识别的食材的食材类别的准确性不高，甚至无法识别出食材类别影响用户体验的问题。

本申请提供了一种智能冰箱，所述智能冰箱包括：

第一采集单元，所述第一采集单元被配置为采集包含智能冰箱食材存放区域的红外图像；

第二采集单元，所述第二采集单元被配置为采集包含所述智能冰箱食材存放区域的彩色图像；

控制器，所述控制器被配置为：

接收所述红外图像和所述彩色图像；基于所述红外图像以及所述彩色图像，确定目标食材类型。

本申请提供了一种食材识别方法，所述方法应用于智能冰箱，所述方法包括：

接收包含智能冰箱食材存放区域的红外图像以及包含所述智能冰箱食材存放区域的彩色图像；

基于所述红外图像以及所述彩色图像，确定目标食材类型。

第三方面，本申请提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行存储器中存储的计算机程序时实现上述食材识别方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述食材识别方法的步骤。

本申请实施例中，采集包含智能冰箱食材存放区域的红外图像，并采集包含所述智能冰箱食材存放区域的彩色图像，根据该红外图像和该彩色图像，确定目标食材类型。由于本申请实施中，采集到了包含智能冰箱食材存放区域的红外图像，即使在室内光线较暗时，也能够基于采集的彩色图像和红外图像确定目标食材类型，进而提高了食材的食材类别的识别的准确性，避免了光线较暗时无法识别出食材类别的问题，方便后续对食材的管理。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一些实施例提供的一种智能冰箱的结构示意图；

图2为本申请一些实施例提供的一种确定目标食材类型的过程示意图；

图3a为本申请一些实施例提供的一种在黑暗环境下采集到的彩色图像示意图；

图3b为本申请一些实施例提供的一种在黑暗环境下采集到的红外图像示意图；

图4为本申请一些实施例提供的一种智能冰箱的具体结构示意图；

图5为本申请一些实施例提供的一种识别食材类型的过程示意图；

图6为本申请一些实施例提供的一种食材识别方法的过程示意图；

图7为本申请一些实施例提供的一种电子设备结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本发申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

本申请实施例中，采集包含智能冰箱食材存放区域的红外图像，并采集包含所述智能冰箱食材存放区域的彩色图像，根据该红外图像和该彩色图像，确定目标食材类型。由于本申请实施中，采集到了包含智能冰箱食材存放区域的红外图像，即使在室内光线较暗时，也能够基于采集的彩色图像和红外图像确定目标食材类型，进而提高了食材的食材类别的识别的准确性，避免了光线较暗时无法识别出食材类别的问题，方便后续对食材的管理。

为了提高食材类别识别的准确性，方便后续对食材的管理，本申请实施例提供了一种智能冰箱、食材识别方法、设备及介质。

图1为本申请一些实施例提供的一种智能冰箱100的结构示意图，该智能冰箱100包括：

第一采集单元101，所述第一采集单元101被配置为采集包含智能冰箱食材存放区域的红外图像；

第二采集单元102，所述第二采集单元102被配置为采集包含所述智能冰箱食材存放区域的彩色图像；

控制器103，所述控制器103被配置为：

接收所述红外图像和所述彩色图像；基于所述红外图像以及所述彩色图像，确定目标食材类型。

为了识别食材的食材类型，在本申请中，预先获得包含智能冰箱存放区域的图像，基于该包含智能冰箱存放区域的图像识别食材的食材类型。其中，该食材的食材类型可以为苹果、牛奶等等。为了获得包含智能冰箱存放区域的图像，智能冰箱中包含第一采集单元和第二采集单元，该第一采集单元可以为红外图像采集设备，用于采集包含食材存放区域的红外图像。该第二采集单元可以为彩色图像采集设备，用于采集包含食材存放区域的彩色图像。

为了基于采集到的包含智能冰箱存放区域的图像识别食材的食材类型，在本申请中，智能冰箱中包含控制器，第一采集单元在采集到红外图像后，将该红外图像发送给控制器，第二采集单元在采集到彩色图像后，将该彩色图像也发送给控制器，控制器接收该红外图像和该彩色图像。为了对食材的食材类型进行识别，本申请中，基于该红外图像以及彩色图像，确定目标食材类型，具体的，可以确定基于红外图像确定的食材类型与基于彩色图像确定的食材类型是否一致，若一致，则将该一致的食材类型确定为目标食材类型。

由于本申请实施中，采集到了包含智能冰箱食材存放区域的红外图像，即使在室内光线较暗时，也能够基于采集的彩色图像和红外图像确定目标食材类型，进而提高了食材的食材类别的识别的准确性，避免了光线较暗时无法识别出食材类别的问题，方便后续对食材的管理。

为了准确的识别食材的食材类型，在上述实施例的基础上，在本申请中，所述第一采集单元101，还被配置为确定采集所述红外图像的第一时间；

所述第二采集单元102，还被配置为确定采集所述彩色图像的第二时间；

所述控制器103用于执行：

接收所述第一时间以及所述第二时间；确定所述第一时间与所述第二时间的差值；判断所述差值是否小于预先设置的时间阈值，若是，则进行基于所述红外图像以及所述彩色图像，确定目标食材类型的操作。

由于在确定目标食材类型的过程中，该红外图像和彩色图像需要保证为同一时刻采集的图像，或者该红外图像的采集时间与彩色图像的采集时间的间隔时长不能太长，才能保证基于该红外图像和彩色图像识别出来的目标食材类型的准确性。因此，在本申请中，在基于红外图像以及彩色图像，确定目标食材类型之前，先确定用于识别食材类型的红外图像的采集时间和彩色图像的采集时间是否为间隔时长较短，然后在间隔时长较短的情况下对食材类型进行识别。

具体的，在申请中，智能冰箱的第一采集单元除了采集红外图像以外，还用于确定采集该红外图像的第一时间，并将该第一时间发送给智能冰箱的控制器，第二采集单元还用于确定采集彩色图像的第二时间，并将该第二时间发送给控制器。控制器在接收到该第一时间和第二时间后，确定该第一时间与第二时间的差值，并将该第二差值与预先设置的时间阈值进行比较，其中，该预先设置的时间阈值可以为0.5s或者1s等等，具体的，该时间阈值可以根据需求进行设置。

若该差值不小于预先设置的时间阈值，则说明采集该红外图像的时间和采集该彩色图像的时间的时间间隔太长，为了保证目标食材类型的准确性，不能基于该红外图像和该彩色图像进行目标食材类型的确定。若该差值小于预先设置的时间阈值，则说明采集该红外图像的时间和采集该彩色图像的时间的时间间隔能够保证在该时间间隔内智能冰箱中的食材不发生变化，因此可以基于该红外图像以及该彩色图像，确定目标食材类型。

为了确定目标食材类型，在上述各实施例的基础上，在本申请中，所述控制器103用于执行：

将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的第一食材类型以及所述第一食材类型对应的第一置信度；

将所述彩色图像输入到所述预先训练完成的食材识别模型中，获得所述彩色图像对应的第二食材类型以及所述第二食材类型对应的第二置信度；

根据所述第一食材类型、所述第二食材类型、所述第一置信度、所述第二置信度，确定目标食材类型。

为了确定待识别的食材的食材类型，也就是说，为了确定目标食材类型，在本申请中，可以基于红外图像、彩色图像以及预先训练完成的模型，确定目标食材类型，具体的，可以将该红外图像和彩色图像分别输入到预先训练完成的食材识别模型中，分别获得基于红外图像预测的食材类型的结果以及基于彩色图像预测的食材类型的结果。其中，对该红外图像进行识别的食材识别模型可以与对该彩色图像进行识别的食材识别模型相同，也可以不相同。此外，还可以基于目标检测算法中的YOLO系列、SSD算法、RCNN系列等对红外图像或彩色图像中的包含的食材进行食材类型的识别。

在训练食材识别模型的过程中，为了增加训练样本的数量，可以采用数据增强技术，对彩色图像和红外图像进行旋转、翻转、亮度调整、对比度调整等操作，具体的，该基于数据增强技术增加训练样本的过程为现有技术，在此不做赘述。

在本申请中，可以根据该基于红外图像预测的食材类型的结果以及基于彩色图像预测的食材类型的结果确定目标食材类型。具体的，将该红外图像输入到预先训练完成的食材模型中，获得该红外图像对应的第一食材类型以及该第一食材类型对应的第一置信度。将该彩色图像输入到预先训练完成的食材模型中，获得该彩色图像对应的第二食材类型以及该第二食材类型对应的第二置信度，并根据该第一食材类型、第二食材类型、第一置信度以及第二置信度，确定目标食材类型。

为了确定第一食材类型以及第一食材类型对应的第一置信度，在上述各实施例的基础上，在本申请中，所述控制器103用于执行：

将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的至少两个食材的第三食材类型以及至少两个所述第三食材类型对应的置信度；

将至少两个所述第三食材类型对应的最高置信度对应的第三食材类型确定为第一食材类型，并将所述最高置信度确定为所述第一食材类型对应的第一置信度。

在将红外图像输入到预先训练完成的食材识别模型中后，针对该红外图像中包含的每个食材，识别出的该食材的食材类型可以为1个，也可以为多个。若识别出的该食材的食材类型为至少两个，也就是说，若将红外图像输入到预先训练完成的食材识别模型中，获得该红外图像对应的至少两个食材的第三食材类型以及该至少两个该第三食材类型对应的置信度，为了确定该红外图像对应的第一食材类型以及该第一食材类型对应的第一置信度，则将该至少两个第三食材类型对应的最高置信度对应的第三食材类型确定为第一食材类型，并将该最高置信度确定为该第一食材类型对应的第一置信度。

比如，智能冰箱食材存放区域被存入一个食材，采集包含智能冰箱存放区域的红外图像后，将该红外图像输入到预先训练完成的食材识别模型中，输出两个第三食材类型，分别为苹果和梨，并输出苹果对应的置信度为0.9，梨对应的置信度为0.7，则将苹果确定为第一食材类型，将0.9确定为第一食材类型对应的第一置信度。

为了确定第二食材类型以及第二食材类型对应的第二置信度，在上述各实施例的基础上，在本申请中，所述控制器103用于执行：

将所述彩色图像输入到预先训练完成的食材识别模型中，获得所述彩色图像对应的至少两个食材的第四食材类型以及至少两个所述第四食材类型对应的置信度；

将至少两个所述第四食材类型对应的最高置信度对应的第四食材类型确定为第二食材类型，并将所述最高置信度确定为所述第二食材类型对应的第二置信度。

在将彩色图像输入到预先训练完成的食材识别类型中后，针对该彩色图像中包含的每个食材，识别出的该食材的食材类型可以为1个，也可以为多个。若识别出的该食材的食材类型为至少两个，也就是说，若将彩色图像输入到预先训练完成的食材识别模型中，获得该彩色图像对应的至少两个食材的第四食材类型以及该至少两个该第四食材类型对应的置信度，为了确定该彩色图像对应的第二食材类型以及该第二食材类型对应的第二置信度，则将该至少两个第四食材类型对应的最高置信度对应的第四食材类型确定为第二食材类型，并将该最高置信度确定为该第四食材类型对应的第二置信度。

比如，智能冰箱食材存放区域被存入一个食材，采集包含智能冰箱存放区域的彩色图像后，将该彩色图像输入到预先训练完成的食材识别模型中，输出两个第四食材类型，分别为苹果和梨，并输出苹果对应的置信度为0.9，梨对应的置信度为0.7，则将苹果确定为第二食材类型，将0.9确定为第二食材类型对应的第二置信度。

为了准确的确定目标食材类型，在上述各实施例的基础上，在本申请中，所述控制器103用于执行：

确定所述第一食材类型与所述第二食材类型是否一致；

若是，则将所述第一食材类型或所述第二食材类型对应的食材类型确定为目标类型；

若否，则确定所述第一置信度和所述第二置信度中是否存在大于预先设定的第一置信度阈值的置信度；若存在，则将大于预先设定的置信度阈值的置信度对应的食材类型确定为目标食材类型；若不存在，则确定所述彩色图像的亮度，若所述亮度大于预先设定的亮度阈值，且所述第二置信度大于预先设定的第二置信度阈值，则将所述第二食材类型确定为目标食材类型；若所述亮度不大于预先设定的亮度阈值，且所述第一置信度大于预先设定的第三置信度阈值，则将所述第一食材类型确定为目标食材类型。

在本申请中，在确定红外图像对应的第一食材类型、该第一食材类型对应的第一置信度、彩色图像对应的第二食材类型以及该第二食材类型对应的第二置信度之后，为了准确的确定目标食材类型，在本申请中，先确定该第一食材类型和第二食材类型是否一致，若一致，则说明基于该红外图像识别的食材的食材类型与基于该彩色图像识别的食材的食材类型一致，并说明基于红外图像和基于彩色图像识别食材的结果都具有可信度，则将该第一食材类型或第二食材类型确定为目标类型。

若该第一食材类型与第二食材类型不一致，则为了准确确定目标食材类型，可以判断第一食材类型对应的第一置信度与第二食材类型对应的第二置信度中是否存在大于预先设定的第一置信度阈值的置信度，其中，该第一置信度阈值可以为0.9或者0.95等等小于1的数值，具体的，该第一置信度阈值可以根据需求进行设置。

若第一置信度和第二置信度中存在大于预先设定的第一置信度阈值的置信度，则说明该第一食材类型或第二食材类型的食材识别结果比较准确，则将大于预先设定的第一置信度阈值的置信度对应的食材类别确定为目标食材类型。具体的，若第一置信度对应的置信度大于预先设定的第一置信度阈值，则将该第一食材类型确定为目标食材类型，若该第二置信度大于预先设定的第一置信度阈值，则将该第二食材类型确定为目标食材类型。

若第一置信度和第二置信度中不存在大于预先设定的第一置信度阈值的置信度，则为了进一步确定目标食材类型，在本申请中，可以先确定该彩色图像的亮度，其中，该确定彩色图像的亮度的方法为现有技术，在此不做赘述。

判断该亮度是否大于预先设定的亮度阈值，若是，则说明采集该彩色图像时处于非昏暗的场景，由于与红外图像相比，彩色图像中的食材对应的细节更丰富，因此，此时基于彩色图像的食材识别结果确定目标食材类型更准确。具体的，在彩色图像的亮度大于预先设定的亮度阈值，且该彩色图像对应的第二置信度大于预先设定的第二置信度阈值时，则说明该基于彩色图像识别的食材类型的结果比较准确，将该第二食材类型确定为目标食材类型。其中，该第二置信度阈值可以为0.85或0.83等等，具体的，该第二置信度阈值可以根据需求进行设置，且该第二置信度阈值小于第一置信度阈值。

若该彩色图像的亮度小于预先设置的亮度阈值，则说明采集该彩色图像时处于昏暗的场景，由于基于在昏暗条件下采集的彩色图像的食材识别结果不准确，且由于红外图像不受环境亮暗的影响，因此基于红外图像的食材识别结果确定目标食材类型更准确。具体的，在彩色图像的亮度不大于预先设定的亮度阈值，且该红外图像对应的第一置信度大于预先设定的第三置信度阈值时，则说明该基于红外图像识别的食材类型的结果比较准确，则将该第一食材类型确定为目标食材类型。其中，该第三置信度阈值可以为0.8或0.85等等，具体的，该第三置信度阈值可以根据需求进行设置，且该第三置信度阈值小于第一置信度阈值。

图2为本申请一些实施例提供的一种确定目标食材类型的过程示意图，现针对图2进行说明：

智能冰箱上的红外图像采集设备采集包含着智能冰箱食材存放区域的红外图像，并将该红外图像发送给智能冰箱的控制器，控制器基于该红外图像进行图像检测，也就是说，该控制器将该红外图像输入到预先训练完成的食材识别模型中，确定红外图像对应的第一食材类型以及第一食材类型对应的第一置信度。智能冰箱上的彩色图像采集设备采集包含着智能冰箱食材存放区域的彩色图像，并将该彩色图像发送给智能冰箱的控制器，控制器基于该彩色图像进行图像检测，也就是说，该控制器将该彩色图像输入到预先训练完成的食材识别模型中，确定彩色图像对应的第二食材类型以及所述第二食材类型对应的第二置信度。

然后控制器确定该第一食材类型是否与第二食材类型一致，若一致，则将该第一食材类型或第二食材类型确定为目标食材类型并输出。若该第一食材类型与第二食材类型不一致，则该控制器确定第一置信度与第二置信度中是否存在置信度大于预先设定的第一置信度的置信度，若存在，则将该大于预先设定的第一置信度的置信度对应的食材类型确定为目标食材类型。若第一置信度与第二置信度中不存在置信度大于预先设定的第一置信度的置信度，则该控制器确定该彩色图像的亮度，然后确定该亮度是否大于亮度大于预先设定的亮度阈值，若大于亮度阈值且该第二置信度大于预先设定的第二置信度阈值，则将该第二食材类型确定为目标食材类型。若该亮度不大于预先设定的亮度阈值，且该第一置信度大于预先设定的第三置信度阈值，则将该第一食材类型确定为目标食材类型。若亮度不大于预先设定的亮度阈值，且该第一置信度不大于预先设定的第三置信度阈值或者亮度大于预先设定的亮度阈值，且该第二置信度不大于预先设定的第二置信度阈值，则未识别到食材的食材类型。

图3a为本申请一些实施例提供的一种在黑暗环境下采集到的彩色图像示意图，图3b为本申请一些实施例提供的一种在黑暗环境下采集到的红外图像示意图，现针对图3a和图3b进行说明：

在黑暗环境下采集到的彩色图像的亮度很低，但是在黑暗环境下采集到的红外图像并未受到环境亮度的影响。

为了确定目标食材类型，在上述各实施例的基础上，在本申请中，所述控制器103用于执行：

所述控制器用于执行：

根据预先保存的红外图像像素坐标系与彩色图像像素坐标系的对应关系，确定所述红外图像中与所述彩色图像存在坐标映射关系的子红外图像，并确定所述彩色图像中与所述红外图像存在坐标映射关系的子彩色图像；

采用所述子红外图像与所述子彩色图像分别对所述红外图像以及所述彩色图像进行更新；

将更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得第三食材类型以及所述第三食材类型对应的第三置信度；

若所述第三置信度大于预先设定的第三置信度阈值，则将所述第三食材类型确定为目标食材类型。

在本申请中，智能冰箱上预先包含第一采集单元和第二采集单元，其中，该第一采集单元可以为红外图像采集设备，该第二采集单元可以为彩色图像采集设备，且该红外图像采集设备以及彩色图像采集设备在智能冰箱上安装的位置是不相同的。

图4为本申请一些实施例提供的一种智能冰箱的具体结构示意图，现针对图4进行说明：

该红外图像采集设备和彩色图像采集设备安装在智能冰箱的上沿中间部分，且该红外图像采集设备与该彩色图像采集设备对称存在，其对称点为智能冰箱上沿的中心点。

由于智能冰箱的红外图像采集设备以及彩色图像采集设备在智能冰箱上的安装位置不相同，因此红外图像采集设备以及彩色图像采集设备采集到的图像中包含的智能冰箱食材存放区域也是不相同的。为了确定目标食材类型，在本申请中，可以先获得红外图像采图像中与彩色图像中包含的相同的智能冰箱食材存放区域的子红外图像，并获得彩色图像中与红外图像中包含相同的智能冰箱食材存放区域的子彩色图像。

具体的，为了确定子红外图像和子彩色图像，在本申请中，根据预先保存的红外图像像素坐标系与彩色图像像素坐标系的对应关系，确定该红外图像中与该彩色图像存在坐标映射关系的子红外图像，并确定该彩色图像中与该红外图像存在坐标映射关系的子彩色图像。其中，该预先保存的预先保存的红外图像像素坐标系与彩色图像像素坐标系的对应关系是基于红外图像像素坐标系与世界坐标系的对应关系，以及彩色图像像素坐标以及世界坐标系的对应关系确定的，具体的，该确定红外图像像素坐标系与世界坐标系的对应关系以及确定彩色图像像素坐标以及世界坐标系的对应关系为现有技术，在此不做赘述。

在确定子红外图像和子彩色图像之后，采用该子红外图像与该子彩色图像分别对该红外图像以及该彩色图像进行更新，也就是说，更新后的红外图像为子红外图像，更新后的彩色图像为子彩色图像。

为了确定目标食材类型，在本申请中，将该更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得第三食材类型以及第三食材类型对应的第三置信度，然后确定该第三置信度是否大于预先设定的第三置信度阈值，则将该第三食材类型确定为目标食材类型。

图5为本申请一些实施例提供的一种识别食材类型的过程示意图，现针对图5进行说明：

红外图像采集设备采集包含着智能冰箱食材存放区域的红外图像，彩色图像采集设备采集包含着智能冰箱食材存放区域的彩色图像，并将该红外图像以及彩色图像进行预处理，也就是说，根据预先保存的红外图像像素坐标系与彩色图像像素坐标系的对应关系，确定红外图像中与彩色图像存在坐标映射关系的子红外图像，并确定彩色图像中与红外图像存在坐标映射关系的子彩色图像；并基于该子红外图像和子彩色图像进行图像检测，也就是说，采用子红外图像与子红外图像分别对红外图像以及彩色图像进行更新，并将更新后的红外图像和更新后的彩色图像输入到预先训练完成的食材是被模型中，获得对应的第三食材类型以及该第三食材类型对应的第三置信度，确定该第三置信度是否大于预先设定的第三置信度阈值，若是，则将该第三食材类型确定为目标食材类型，否则，未识别到食材的食材类型。

为了确定第三食材类型以及第三食材类型对应的第三置信度，在上述各实施例的基础上，在本申请中，所述控制器103用于执行：

将更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得所述更新后的红外图像以及所述更新后的彩色图像对应的至少两个食材的第五食材类型以及至少两个所述第五食材类型对应的置信度；

将至少两个所述第五食材类型对应的最高置信度对应的第五食材类型确定为第三食材类型，并将所述最高置信度确定为所述第三食材类型对应的第三置信度。

在将更新后的彩色图像和更新后的红外图像输入到预先训练完成的食材识别类型中后，针对该彩色图像或红外图像中包含的每个食材，识别出的该食材的食材类型可以为1个，也可以为多个。若识别出的该食材的食材类型为至少两个，也就是说，若将彩色图像和红外图像输入到预先训练完成的食材识别模型中后，获得该彩色图像与红外图像对应的至少两个食材的第五食材类型以及该至少两个该第五食材类型对应的置信度，为了确定第三食材类型以及第三食材类型对应的第三置信度，则将该至少两个第五食材类型对应的最高置信度对应的第五食材类型确定为第三食材类型，并将该最高置信度确定为该第三食材类型对应的第三置信度。

比如，智能冰箱食材存放区域被存入一个食材，对红外图像和彩色图像进行更新后，将该更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，输出两个第五食材类型，分别为苹果和梨，并输出苹果对应的置信度为0.9，梨对应的置信度为0.7，则将苹果确定为第三食材类型，将0.9确定为第三食材类型对应的第三置信度。

为了提高食材的食材类别的识别的准确性，避免光线较暗时无法识别出食材类别，方便后续对食材的管理，本申请提供了一种食材识别方法，该方法应用于智能冰箱，图6为本申请一些实施例提供的一种食材识别方法的过程示意图，该过程包括以下步骤：

S601：接收包含智能冰箱食材存放区域的红外图像以及包含所述智能冰箱食材存放区域的彩色图像。

S602：基于所述红外图像以及所述彩色图像，确定目标食材类型。

在一种可能的实施方式中，所述接收包含智能冰箱食材存放区域的红外图像以及包含所述智能冰箱食材存放区域的彩色图像之后，基于所述红外图像以及所述彩色图像，确定目标食材类型之前，所述方法还包括：

接收采集所述红外图像的第一时间以及采集所述彩色图像的第二时间；

确定所述第一时间与所述第二时间的差值；

判断所述差值是否小于预先设置的时间阈值，若是，则进行基于所述红外图像以及所述彩色图像，确定目标食材类型的操作。

在一种可能的实施方式中，所述基于所述红外图像以及所述彩色图像，确定目标食材类型包括：

将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的第一食材类型以及所述第一食材类型对应的第一置信度；

将所述彩色图像输入到所述预先训练完成的食材识别模型中，获得所述彩色图像对应的第二食材类型以及所述第二食材类型对应的第二置信度；

根据所述第一食材类型、所述第二食材类型、所述第一置信度、所述第二置信度，确定目标食材类型。

在一种可能的实施方式中，所述将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的第一食材类型以及所述第一食材类型对应的第一置信度包括：

将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的至少两个食材的第三食材类型以及至少两个所述第三食材类型对应的置信度；

将至少两个所述第三食材类型对应的最高置信度对应的第三食材类型确定为第一食材类型，并将所述最高置信度确定为所述第一食材类型对应的第一置信度。

在一种可能的实施方式中，所述将所述彩色图像输入到所述预先训练完成的食材识别模型中，获得所述彩色图像对应的第二食材类型以及所述第二食材类型对应的第二置信度包括：

将所述彩色图像输入到预先训练完成的食材识别模型中，获得所述彩色图像对应的至少两个食材的第四食材类型以及至少两个所述第四食材类型对应的置信度；

将至少两个所述第四食材类型对应的最高置信度对应的第四食材类型确定为第二食材类型，并将所述最高置信度确定为所述第二食材类型对应的第二置信度。

在一种可能的实施方式中，所述根据所述第一食材类型、所述第二食材类型、所述第一置信度、所述第二置信度，确定目标食材类型包括：

确定所述第一食材类型与所述第二食材类型是否一致；

若是，则将所述第一食材类型或所述第二食材类型对应的食材类型确定为目标类型；

若否，则确定所述第一置信度和所述第二置信度中是否存在大于预先设定的第一置信度阈值的置信度；若存在，则将大于预先设定的置信度阈值的置信度对应的食材类型确定为目标食材类型；若不存在，则确定所述彩色图像的亮度，若所述亮度大于预先设定的亮度阈值，且所述第二置信度大于预先设定的第二置信度阈值，则将所述第二食材类型确定为目标食材类型；若所述亮度不大于预先设定的亮度阈值，且所述第一置信度大于预先设定的第三置信度阈值，则将所述第一食材类型确定为目标食材类型。

在一种可能的实施方式中，所述基于所述红外图像以及所述彩色图像，确定目标食材类型包括：

根据预先保存的红外图像像素坐标系与彩色图像像素坐标系的对应关系，确定所述红外图像中与所述彩色图像存在坐标映射关系的子红外图像，并确定所述彩色图像中与所述红外图像存在坐标映射关系的子彩色图像；

采用所述子红外图像与所述子彩色图像分别对所述红外图像以及所述彩色图像进行更新；

将更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得第三食材类型以及所述第三食材类型对应的第三置信度；

若所述第三置信度大于预先设定的第三置信度阈值，则将所述第三食材类型确定为目标食材类型。

在一种可能的实施方式中，所述将更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得第三食材类型以及所述第三食材类型对应的第三置信度包括：

将更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得所述更新后的红外图像以及所述更新后的彩色图像对应的至少两个食材的第五食材类型以及至少两个所述第五食材类型对应的置信度；

将至少两个所述第五食材类型对应的最高置信度对应的第五食材类型确定为第三食材类型，并将所述最高置信度确定为所述第三食材类型对应的第三置信度。

该方法应用于智能冰箱，具体的智能冰箱执行该食材识别方法的过程可以参见上述其他实施例，具体内容不再赘述。

图7为本申请一些实施例提供的一种电子设备结构示意图，在上述各实施例的基础上，本申请实施例还提供了一种电子设备，如图7所示，包括：处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信；

所述存储器703中存储有计算机程序，当所述程序被所述处理器701执行时，使得所述处理器701执行如下步骤：

接收包含智能冰箱食材存放区域的红外图像以及包含所述智能冰箱食材存放区域的彩色图像；

基于所述红外图像以及所述彩色图像，确定目标食材类型。

进一步地，所述处理器701，还用于接收采集所述红外图像的第一时间以及采集所述彩色图像的第二时间；确定所述第一时间与所述第二时间的差值；判断所述差值是否小于预先设置的时间阈值，若是，则进行基于所述红外图像以及所述彩色图像，确定目标食材类型的操作。

进一步地，所述处理器701，还用于将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的第一食材类型以及所述第一食材类型对应的第一置信度；将所述彩色图像输入到所述预先训练完成的食材识别模型中，获得所述彩色图像对应的第二食材类型以及所述第二食材类型对应的第二置信度；根据所述第一食材类型、所述第二食材类型、所述第一置信度、所述第二置信度，确定目标食材类型。

进一步地，所述处理器701，还用于将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的至少两个食材的第三食材类型以及至少两个所述第三食材类型对应的置信度；将至少两个所述第三食材类型对应的最高置信度对应的第三食材类型确定为第一食材类型，并将所述最高置信度确定为所述第一食材类型对应的第一置信度。

进一步地，所述处理器701，还用于将所述彩色图像输入到预先训练完成的食材识别模型中，获得所述彩色图像对应的至少两个食材的第四食材类型以及至少两个所述第四食材类型对应的置信度；将至少两个所述第四食材类型对应的最高置信度对应的第四食材类型确定为第二食材类型，并将所述最高置信度确定为所述第二食材类型对应的第二置信度。

进一步地，所述处理器701，还用于确定所述第一食材类型与所述第二食材类型是否一致；若是，则将所述第一食材类型或所述第二食材类型对应的食材类型确定为目标类型；若否，则确定所述第一置信度和所述第二置信度中是否存在大于预先设定的第一置信度阈值的置信度；若存在，则将大于预先设定的置信度阈值的置信度对应的食材类型确定为目标食材类型；若不存在，则确定所述彩色图像的亮度，若所述亮度大于预先设定的亮度阈值，且所述第二置信度大于预先设定的第二置信度阈值，则将所述第二食材类型确定为目标食材类型；若所述亮度不大于预先设定的亮度阈值，且所述第一置信度大于预先设定的第三置信度阈值，则将所述第一食材类型确定为目标食材类型。

进一步地，所述处理器701，还用于根据预先保存的红外图像像素坐标系与彩色图像像素坐标系的对应关系，确定所述红外图像中与所述彩色图像存在坐标映射关系的子红外图像，并确定所述彩色图像中与所述红外图像存在坐标映射关系的子彩色图像；采用所述子红外图像与所述子彩色图像分别对所述红外图像以及所述彩色图像进行更新；将更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得第三食材类型以及所述第三食材类型对应的第三置信度；若所述第三置信度大于预先设定的第三置信度阈值，则将所述第三食材类型确定为目标食材类型。

进一步地，所述处理器701，还用于将更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得所述更新后的红外图像以及所述更新后的彩色图像对应的至少两个食材的第五食材类型以及至少两个所述第五食材类型对应的置信度；将至少两个所述第五食材类型对应的最高置信度对应的第五食材类型确定为第三食材类型，并将所述最高置信度确定为所述第三食材类型对应的第三置信度。

通信接口702用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

在上述各实施例的基础上，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：

接收包含智能冰箱食材存放区域的红外图像以及包含所述智能冰箱食材存放区域的彩色图像；

基于所述红外图像以及所述彩色图像，确定目标食材类型。

在一种可能的实施方式中，所述接收包含智能冰箱食材存放区域的红外图像以及包含所述智能冰箱食材存放区域的彩色图像之后，基于所述红外图像以及＝所述彩色图像，确定目标食材类型之前，所述方法还包括：

接收采集所述红外图像的第一时间以及采集所述彩色图像的第二时间；

确定所述第一时间与所述第二时间的差值；

判断所述差值是否小于预先设置的时间阈值，若是，则进行基于所述红外图像以及所述彩色图像，确定目标食材类型的操作。

在一种可能的实施方式中，所述基于所述红外图像以及所述彩色图像，确定目标食材类型包括：

将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的第一食材类型以及所述第一食材类型对应的第一置信度；

将所述彩色图像输入到所述预先训练完成的食材识别模型中，获得所述彩色图像对应的第二食材类型以及所述第二食材类型对应的第二置信度；

根据所述第一食材类型、所述第二食材类型、所述第一置信度、所述第二置信度，确定目标食材类型。

在一种可能的实施方式中，所述将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的第一食材类型以及所述第一食材类型对应的第一置信度包括：

将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的至少两个食材的第三食材类型以及至少两个所述第三食材类型对应的置信度；

将至少两个所述第三食材类型对应的最高置信度对应的第三食材类型确定为第一食材类型，并将所述最高置信度确定为所述第一食材类型对应的第一置信度。

在一种可能的实施方式中，所述将所述彩色图像输入到所述预先训练完成的食材识别模型中，获得所述彩色图像对应的第二食材类型以及所述第二食材类型对应的第二置信度包括：

将所述彩色图像输入到预先训练完成的食材识别模型中，获得所述彩色图像对应的至少两个食材的第四食材类型以及至少两个所述第四食材类型对应的置信度；

将至少两个所述第四食材类型对应的最高置信度对应的第四食材类型确定为第二食材类型，并将所述最高置信度确定为所述第二食材类型对应的第二置信度。

在一种可能的实施方式中，所述根据所述第一食材类型、所述第二食材类型、所述第一置信度、所述第二置信度，确定目标食材类型包括：

确定所述第一食材类型与所述第二食材类型是否一致；

若是，则将所述第一食材类型或所述第二食材类型对应的食材类型确定为目标类型；

若否，则确定所述第一置信度和所述第二置信度中是否存在大于预先设定的第一置信度阈值的置信度；若存在，则将大于预先设定的置信度阈值的置信度对应的食材类型确定为目标食材类型；若不存在，则确定所述彩色图像的亮度，若所述亮度大于预先设定的亮度阈值，且所述第二置信度大于预先设定的第二置信度阈值，则将所述第二食材类型确定为目标食材类型；若所述亮度不大于预先设定的亮度阈值，且所述第一置信度大于预先设定的第三置信度阈值，则将所述第一食材类型确定为目标食材类型。

在一种可能的实施方式中，所述基于所述红外图像以及所述彩色图像，确定目标食材类型包括：

根据预先保存的红外图像像素坐标系与彩色图像像素坐标系的对应关系，确定所述红外图像中与所述彩色图像存在坐标映射关系的子红外图像，并确定所述彩色图像中与所述红外图像存在坐标映射关系的子彩色图像；

采用所述子红外图像与所述子彩色图像分别对所述红外图像以及所述彩色图像进行更新；

将更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得第三食材类型以及所述第三食材类型对应的第三置信度；

若所述第三置信度大于预先设定的第三置信度阈值，则将所述第三食材类型确定为目标食材类型。

在一种可能的实施方式中，所述将更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得第三食材类型以及所述第三食材类型对应的第三置信度包括：

将更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得所述更新后的红外图像以及所述更新后的彩色图像对应的至少两个食材的第五食材类型以及至少两个所述第五食材类型对应的置信度；

将至少两个所述第五食材类型对应的最高置信度对应的第五食材类型确定为第三食材类型，并将所述最高置信度确定为所述第三食材类型对应的第三置信度。

由于本申请实施中，采集到了包含智能冰箱食材存放区域的红外图像，即使在室内光线较暗时，也能够基于采集的彩色图像和红外图像确定目标食材类型，进而提高了食材的食材类别的识别的准确性，避免了光线较暗时无法识别出食材类别的问题，方便后续对食材的管理。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种智能冰箱，其特征在于，所述智能冰箱包括：

第一采集单元，所述第一采集单元被配置为采集包含智能冰箱食材存放区域的红外图像；

第二采集单元，所述第二采集单元被配置为采集包含所述智能冰箱食材存放区域的彩色图像；

控制器，所述控制器被配置为：

接收所述红外图像和所述彩色图像；基于所述红外图像以及所述彩色图像，确定目标食材类型；

所述控制器用于执行：

将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的第一食材类型以及所述第一食材类型对应的第一置信度；

将所述彩色图像输入到所述预先训练完成的食材识别模型中，获得所述彩色图像对应的第二食材类型以及所述第二食材类型对应的第二置信度；

确定所述第一食材类型与所述第二食材类型是否一致；

若是，则将所述第一食材类型或所述第二食材类型对应的食材类型确定为目标类型；

若否，则确定所述第一置信度和所述第二置信度中是否存在大于预先设定的第一置信度阈值的置信度；若存在，则将大于预先设定的置信度阈值的置信度对应的食材类型确定为目标食材类型；若不存在，则确定所述彩色图像的亮度，若所述亮度大于预先设定的亮度阈值，且所述第二置信度大于预先设定的第二置信度阈值，则将所述第二食材类型确定为目标食材类型；若所述亮度不大于预先设定的亮度阈值，且所述第一置信度大于预先设定的第三置信度阈值，则将所述第一食材类型确定为目标食材类型。

2.根据权利要求1所述的智能冰箱，其特征在于，所述第一采集单元，还被配置为确定采集所述红外图像的第一时间；

所述第二采集单元，还被配置为确定采集所述彩色图像的第二时间；

所述控制器用于执行：

接收所述第一时间以及所述第二时间；确定所述第一时间与所述第二时间的差值；判断所述差值是否小于预先设置的时间阈值，若是，则进行基于所述红外图像以及所述彩色图像，确定目标食材类型的操作。

3.根据权利要求1所述的智能冰箱，其特征在于，所述控制器用于执行：

将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的至少两个食材的第三食材类型以及至少两个所述第三食材类型对应的置信度；

将至少两个所述第三食材类型对应的最高置信度对应的第三食材类型确定为第一食材类型，并将所述最高置信度确定为所述第一食材类型对应的第一置信度。

4.根据权利要求1所述的智能冰箱，其特征在于，所述控制器用于执行：

将所述彩色图像输入到预先训练完成的食材识别模型中，获得所述彩色图像对应的至少两个食材的第四食材类型以及至少两个所述第四食材类型对应的置信度；

将至少两个所述第四食材类型对应的最高置信度对应的第四食材类型确定为第二食材类型，并将所述最高置信度确定为所述第二食材类型对应的第二置信度。

5.根据权利要求1所述的智能冰箱，其特征在于，所述控制器用于执行：

根据预先保存的红外图像像素坐标系与彩色图像像素坐标系的对应关系，确定所述红外图像中与所述彩色图像存在坐标映射关系的子红外图像，并确定所述彩色图像中与所述红外图像存在坐标映射关系的子彩色图像；

采用所述子红外图像与所述子彩色图像分别对所述红外图像以及所述彩色图像进行更新；

将更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得第三食材类型以及所述第三食材类型对应的第三置信度；

若所述第三置信度大于预先设定的第三置信度阈值，则将所述第三食材类型确定为目标食材类型。

6.根据权利要求5所述的智能冰箱，其特征在于，所述控制器用于执行：

将更新后的红外图像以及更新后的彩色图像输入到预先训练完成的食材识别模型中，获得所述更新后的红外图像以及所述更新后的彩色图像对应的至少两个食材的第五食材类型以及至少两个所述第五食材类型对应的置信度；

将至少两个所述第五食材类型对应的最高置信度对应的第五食材类型确定为第三食材类型，并将所述最高置信度确定为所述第三食材类型对应的第三置信度。

7.一种食材识别方法，其特征在于，所述方法包括：

接收包含智能冰箱食材存放区域的红外图像以及包含所述智能冰箱食材存放区域的彩色图像；

基于所述红外图像以及所述彩色图像，确定目标食材类型；

其中，所述基于所述红外图像以及所述彩色图像，确定目标食材类型包括：

将所述红外图像输入到预先训练完成的食材识别模型中，获得所述红外图像对应的第一食材类型以及所述第一食材类型对应的第一置信度；

将所述彩色图像输入到所述预先训练完成的食材识别模型中，获得所述彩色图像对应的第二食材类型以及所述第二食材类型对应的第二置信度；

确定所述第一食材类型与所述第二食材类型是否一致；

若是，则将所述第一食材类型或所述第二食材类型对应的食材类型确定为目标类型；

若否，则确定所述第一置信度和所述第二置信度中是否存在大于预先设定的第一置信度阈值的置信度；若存在，则将大于预先设定的置信度阈值的置信度对应的食材类型确定为目标食材类型；若不存在，则确定所述彩色图像的亮度，若所述亮度大于预先设定的亮度阈值，且所述第二置信度大于预先设定的第二置信度阈值，则将所述第二食材类型确定为目标食材类型；若所述亮度不大于预先设定的亮度阈值，且所述第一置信度大于预先设定的第三置信度阈值，则将所述第一食材类型确定为目标食材类型。

8.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行存储器中存储的计算机程序时实现上述权利要求7所述食材识别方法的步骤。