CN116343196A - 一种食材管理方法及智能冰箱 - Google Patents

Abstract

本申请实施例提供了一种食材管理方法及智能冰箱，该方法包括：在确定冰箱中目标食材的多个识别项的识别信息之后，将所述多个识别项的识别信息通过预设通知方式进行通知；基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息；其中，所述第一识别项为对应有用户修改信息的识别项，所述第二识别项为所述多个识别项中除所述第一识别项之外的其他识别项。上述方法中，修改后的用户修改信息能够精准表征对应第一识别项的识别结果，确认后的识别信息也能精准表征对应第二识别项的识别结果，因此，基于这两部分信息能够精准地对食材进行管理。

Description

一种食材管理方法及智能冰箱

技术领域

本申请实施例涉及智能家电技术领域，尤其涉及一种食材管理方法及智能冰箱。

背景技术

随着科技的迅速发展和人们生活水平的提高，家用电器的应用越来越广泛。冰箱作为最常使用的家用电器之一，可以对放入冰箱内的食材进行保鲜和冷却。通过对放入冰箱或从冰箱取出的食材的相关信息进行识别，能够智能地管理食材。

由于食材的包装遮挡性较强，或者存取方式不固定等因素，导致食材的相关信息识别结果可能不够准确，基于不准确的食材识别结果可能会造成后续无法精准地对食材进行管理。

发明内容

本申请实施例提供了一种食材管理方法及智能冰箱，用以精准地对食材进行管理。

第一方面，本申请实施例提供了一种食材管理方法，该方法包括：

在确定冰箱中目标食材的多个识别项的识别信息之后，将所述多个识别项的识别信息通过预设通知方式进行通知；

基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息；其中，所述第一识别项为对应有用户修改信息的识别项，所述第二识别项为所述多个识别项中除所述第一识别项之外的其他识别项。

上述方案，通过预设通知方式将多个识别项的识别信息进行通知，以便用户及时发现识别项中识别错误或者表征未识别的识别信息，并对这些信息进行修改；修改后的用户修改信息能够精准表征对应第一识别项的识别结果，确认后的识别信息也能精准表征对应第二识别项的识别结果，因此，基于这两部分信息能够精准地对食材进行管理。

一些可选的实施方式中，若接收到所述用户修改信息；则基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息，包括：

将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息。

上述方案，如果接收到用户修改信息，即多个识别项中有第一识别项，说明用户对第一识别项的识别信息进行了修改，而第二识别项的识别信息认为是不进行修改，因此，将各第一识别项的用户修改信息以及各第二识别项的识别信息作为上述目标食材的目标信息。

一些可选的实施方式中，将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息之前，还包括：

确定所述用户修改信息是否在所述第一识别项的预设正确信息或者预设错误信息中；

将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息，包括：

若所述用户修改信息在所述第一识别项的预设正确信息中，则将所述第一识别项的用户修改信息以及所述第二识别项的识别信息确定为所述目标信息；或者

若所述用户修改信息在所述第一识别项的预设错误信息中，则将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息；其中，所述目标错误类型是基于所述预设错误信息与错误类型之间的对应关系确定的。

上述方案，在将第一识别项的用户修改信息确定为目标信息之前，需要先确定上述用户修改信息是有效修改；基于此，通过设置预设正确信息以及预设错误信息，如果用户修改信息在预设正确信息中，说明用户修改信息是正确且有效的信息；如果用户修改信息在预设错误信息中，说明用户修改信息是错误且有效的信息，上述两种情况都认为是有效修改，可将第一识别项的用户修改确定为目标信息；另外，通过将用户修改信息的目标错误类型也确定为目标信息，便于用户基于目标信息对用户修改信息进行调整。

一些可选的实施方式中，若所述用户修改信息在所述第一识别项的预设错误信息中，则在将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息之前，还包括：

基于所述第一识别项的识别信息与所述第一识别项的候选信息之间的相似度、所述冰箱的预设分区、预设用户信息以及所述冰箱中已有食材的布局中的至少一项，确定所述第一识别项的目标候选信息；

将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息，包括：

将所述第一识别项的用户修改信息、所述第二识别项的识别信息、所述用户修改信息的目标错误类型以及所述第一识别项的目标候选信息，确定为所述目标信息。

上述方案，针对用户修改信息在第一识别项的预设错误信息的场景，虽然用户修改是有效的，但用户修改信息并不精准，通过预测第一识别项的目标候选信息，并将目标候选信息也作为目标信息，更加方便用户后续对用户修改信息进行调整。

一些可选的实施方式中，若没有接收到所述用户修改信息；则基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息，包括：

将所述多个识别项的识别信息确定为所述目标信息。

上述方案，如果没有接收到用户修改信息，即多个识别项中没有第一识别项，说明用户没有对识别信息进行修改，而第二识别项的识别信息认为是不进行修改，因此，将多个识别项的识别信息作为上述目标食材的目标信息。

一些可选的实施方式中，所述方法还包括：

若所述多个识别项的识别信息中有表征未识别的识别信息，且累计次数超过预设次数，则通过预设提醒方式进行提醒；其中，所述累计次数为连续没有接收到所述用户修改信息，且所述多个识别项的识别信息中有表征未识别的识别信息的次数。

上述方案，第二识别项的识别信息认为是不进行修改，可能是用户认为不需要修改或者用户不配合修改，如果多个识别项的识别信息中有表征未识别的识别信息，说明这些识别信息是需要进行修改的，可以确定是因为用户不配合修改才没有收到用户修改信息，基于此，需要统计用户不配合修改的累计次数，如果累计次数过多需要提醒用户，以便后续更好地管理食材。

第二方面，本申请实施例提供一种智能冰箱，包括至少一个处理器以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行：

在确定冰箱中目标食材的多个识别项的识别信息之后，将所述多个识别项的识别信息通过预设通知方式进行通知；

基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息；其中，所述第一识别项为对应有用户修改信息的识别项，所述第二识别项为所述多个识别项中除所述第一识别项之外的其他识别项。

一些可选的实施方式中，若接收到所述用户修改信息；则所述处理器具体执行：

将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息。

一些可选的实施方式中，将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息之前，所述处理器还执行：

确定所述用户修改信息是否在所述第一识别项的预设正确信息或者预设错误信息中；

所述处理器具体执行：

若所述用户修改信息在所述第一识别项的预设正确信息中，则将所述第一识别项的用户修改信息以及所述第二识别项的识别信息确定为所述目标信息；或者

若所述用户修改信息在所述第一识别项的预设错误信息中，则将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息；其中，所述目标错误类型是基于所述预设错误信息与错误类型之间的对应关系确定的。

一些可选的实施方式中，若所述用户修改信息在所述第一识别项的预设错误信息中，则在将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息之前，所述处理器还执行：

基于所述第一识别项的识别信息与所述第一识别项的候选信息之间的相似度、所述冰箱的预设分区、预设用户信息以及所述冰箱中已有食材的布局中的至少一项，确定所述第一识别项的目标候选信息；

所述处理器具体执行：

将所述第一识别项的用户修改信息、所述第二识别项的识别信息、所述用户修改信息的目标错误类型以及所述第一识别项的目标候选信息，确定为所述目标信息。

一些可选的实施方式中，若没有接收到所述用户修改信息；则所述处理器具体执行：

将所述多个识别项的识别信息确定为所述目标信息。

一些可选的实施方式中，所述处理器还执行：

若所述多个识别项的识别信息中有表征未识别的识别信息，且累计次数超过预设次数，则通过预设提醒方式进行提醒；其中，所述累计次数为连续没有接收到所述用户修改信息，且所述多个识别项的识别信息中有表征未识别的识别信息的次数。

第三方面，本申请实施例还提供了一种食材管理装置，包括：

通知模块，用于在确定冰箱中目标食材的多个识别项的识别信息之后，将所述多个识别项的识别信息通过预设通知方式进行通知；

信息确定模块，用于基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息；其中，所述第一识别项为对应有用户修改信息的识别项，所述第二识别项为所述多个识别项中除所述第一识别项之外的其他识别项。

第四方面，本申请实施例提供一种计算机可读存储介质，其存储有可由智能冰箱执行的计算机程序，当所述程序在所述智能冰箱上运行时，使得所述智能冰箱执行上述第一方面任一所述的食材管理方法。

另外，第二至四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的应用场景示意图；

图2为本申请实施例提供的冰箱架构图；

图3为本申请实施例提供的第一种食材管理方法的流程示意图；

图4为本申请实施例提供的第二种食材管理方法的流程示意图；

图5为本申请实施例提供的第三种食材管理方法的流程示意图；

图6为本申请实施例提供的第四种食材管理方法的流程示意图；

图7为本申请实施例提供的食材管理装置的结构示意图；

图8为本申请实施例提供的智能冰箱的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是直接相连，也可以通过中间媒介间接相连，可以是两个器件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

由于食材的包装遮挡性较强，或者存取方式不固定等因素，导致食材的相关信息识别结果可能不够准确，基于不准确的食材识别结果可能会造成后续无法精准地对食材进行管理。

本申请实施例提供了一种食材管理方法及智能冰箱，用以精准地对食材进行管理。

参阅图1所示，为本申请一些实施例提供的一种应用场景示意图，该场景中包括冰箱100以及云端200；

冰箱100具备食材保鲜、制冷和食材录入等功能。本实施例对冰箱的具体类型、尺寸大小和功率等不作限定。

冰箱100还与云端200通过多种通信方式进行数据通信。这里可允许冰箱100通过局域网(Local Area Network，LAN)、无线局域网(Wireless Local Area Network，WLAN)和其他网络进行通信连接。云端200可以向冰箱100提供各种内容和互动。示例的，冰箱100可以发送和接收信息，例如：接收食材检测数据、发送图像数据。云端200包括一组或者多组服务器，服务器可以一类或多类。通过服务器实现图像识别等功能。

在一些实施例中，如图2所示，冰箱100包括机壳110，门体120，拍摄装置130，以及处理器140，其中：

机壳110，包括一个或多个储藏单元，储藏单元具有开口；各储藏单元的底部设置有重量传感器，用于采集对应储藏单元存放的食材的重量；

门体120，与机壳110活动连接，用于遮挡储藏单元；

拍摄装置130，与机壳110连接，用于拍摄图像。

实际应用中，当用户打开冰箱时，会在冰箱中存放食材或者取出食材，因此，为了方便对食材进行管理，处理器140在门体120开启后，则需要控制拍摄装置130开始拍摄图像。

处理器获取拍摄装置130拍摄的图像，从中确定出目标图像(包含食材的图像，或者包含食材对应条码的图像)。以包含食材的图像为例：

可根据深度图像中手部区域的三维点云，通过三维算法识别手部质心的位置，通过对手部质心进行追踪确定出手部质心的运动轨迹以及手部末端的位置信息；在确定手部区域进入到预设区域后，根据手部末端区域的深度信息，确定手中是否有食材；若是，则将对应图像作为候选图像，从各候选图像中选择感兴趣区域(region of interest，ROI)作为目标图像；

处理器将连续多帧目标图像发送给云端200，云端200基于目标图像检测食材。

可以理解，有些冰箱具备独立识别功能，针对这类冰箱，可不将目标图像发送到云端，而是通过自带的识别模块进行食材种类识别。本实施例对食材种类识别的具体实现方式不做限定，亦或是通过扫码等方式获取食材的种类。

另外，处理器还可根据手部质心运动轨迹的方向来判断用户是要存放食材，还是取出食材。基于此，结合重量传感器和手部质心的运动轨迹，识别食材的位置信息，即食材存放到哪个储藏单元，或者从哪个储藏单元取出食材；

示例性的，有储藏单元的重量传感器检测到重量增加时，确定将食材存放到该储藏单元；有储藏单元的重量传感器检测到重量减少时，确定从该储藏单元中取出食材。

拍摄装置130可以为彩色摄像头，例如，三原色(Red Green Blue，RGB)模式摄像头；也可以为黑白摄像头。

上述图2中处理器140和拍摄装置130的位置仅是举例说明，可以根据冰箱结构设置处理器140和拍摄装置130的具体位置。

在一些实施例中，为了使拍摄装置获取较好的拍摄视野，同时减少冰箱、人体等物体对拍摄视野的遮挡，将拍摄装置130设置于机壳110的顶部，例如，拍摄装置130被设置于机壳110的顶部中心。

下面将结合附图及具体实施例，对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

本申请实施例提供第一种食材管理方法，如图3所示，包括以下步骤：

步骤S301：在确定冰箱中目标食材的多个识别项的识别信息之后，将所述多个识别项的识别信息通过预设通知方式进行通知。

本实施例对目标食材的多个识别项不做具体限定，参阅上述实施例，实施中可对食材的种类、位置、出厂日期、数量以及重量等进行识别，基于此，多个识别项可包括种类、位置以及重量中的部分或全部。另外，多个识别项除了上述可以直接识别出的直接识别项之外，还可包括基于直接识别项确定的间接识别项(如保质期等)。

上述多个识别项中可能会有识别错误或者表征未识别的识别信息，需要用户协助确认或修改上述多个识别项的识别信息，基于此，本实施例在确定冰箱中目标食材的多个识别项的识别信息之后，将其通过预设通知方式进行通知。

本实施例对预设通知方式不做具体限定，例如：

1)冰箱包括语音播放装置(如扬声器)，通过语音播放装置播放包含多个识别项的识别信息的语音；

2)冰箱包括显示屏，通过显示屏显示包含多个识别项的识别信息的界面；

3)冰箱包括语音播放装置以及显示屏，通过语音播放装置播放包含多个识别项的识别信息的语音，和/或通过显示屏显示包含多个识别项的识别信息的界面。

上述预设通知方式只是示例性说明，实际应用中冰箱可能设置其他交互装置，可采用对应的通知方式，此处不再赘述。

步骤S302：基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息。

其中，所述第一识别项为对应有用户修改信息的识别项，所述第二识别项为所述多个识别项中除所述第一识别项之外的其他识别项。

本实施例，在将多个识别项的识别信息通过预设通知方式进行通知后，用户能够及时发现识别项中是否有识别错误或者表征未识别的识别信息，进而对这些信息进行修改。

本实施例对确定上述用户修改信息的具体实现方式不做限定，例如：

1)冰箱包括语音采集装置(如麦克风)，用户通过语音采集装置录入包含第一识别项的用户修改信息的语音；

2)冰箱包括显示屏，用户通过在显示屏显示的包含多个识别项的识别信息的界面进行相应操作，触发包含第一识别项的用户修改信息的指令；

3)冰箱包括语音采集装置以及显示屏，用户通过语音采集装置录入包含第一识别项的用户修改信息的语音，和/或用户通过在显示屏显示的包含多个识别项的识别信息的界面进行相应操作，触发包含第一识别项的用户修改信息的指令。

上述确定用户修改信息的方式只是示例性说明，实际应用中冰箱可能设置其他交互装置，可采用对应方式确定用户修改信息，此处不再赘述。

本实施例，在确定上述目标食材的目标信息后，可将该目标信息存入食材数据库中，支持用户通过终端中的客户端进行非即时交互，如食材存放位置查询、食谱推荐、购买提醒等。

上述方案，通过预设通知方式将多个识别项的识别信息进行通知，以便用户及时发现识别项中识别错误或者表征未识别的识别信息，并对这些信息进行修改；修改后的用户修改信息能够精准表征对应第一识别项的识别结果，确认后的识别信息也能精准表征对应第二识别项的识别结果，因此，基于这两部分信息能够精准地对食材进行管理。

实施中，如果接收到用户修改信息，说明多个识别项中有第一识别项；如果没有接收到用户修改信息，说明多个识别项中没有第一识别项。

可选的，针对于接收到用户修改信息的场景，本申请实施例提供第二种食材管理方法，如图4所示，包括以下步骤：

步骤S401：在确定冰箱中目标食材的多个识别项的识别信息之后，将所述多个识别项的识别信息通过预设通知方式进行通知。

该步骤S401可参照上述实施例，此处不再赘述。

步骤S402：将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息。

上述方案，如果接收到用户修改信息，即多个识别项中有第一识别项，说明用户对第一识别项的识别信息进行了修改，而第二识别项的识别信息认为是不进行修改，因此，将各第一识别项的用户修改信息以及各第二识别项的识别信息作为上述目标食材的目标信息。

实施中，用户有可能会触发一些无效的用户修改信息，基于此，在将第一识别项的用户修改信息确定为目标信息之前，需要先确定上述用户修改信息是有效修改；

可选的，针对于接收到用户修改信息的场景，本申请实施例提供第三种食材管理方法，如图5所示，包括以下步骤：

步骤S501：在确定冰箱中目标食材的多个识别项的识别信息之后，将所述多个识别项的识别信息通过预设通知方式进行通知。

该步骤S501可参照上述实施例，此处不再赘述。

步骤S502：确定所述用户修改信息是否在所述第一识别项的预设正确信息或者预设错误信息中。

由于用户会触发一些无效修改，特别是在语音交互中，用户在不受引导时容易触发一些无效修改指令。

基于此，本实施例中各识别项都对应有预设正确信息以及预设错误信息；预设正确信息包括多个表征用户修改正确的有效信息；预设错误信息包括多个表征用户修改错误(如不清楚，或不合理等)的有效信息；

如果用户修改信息在预设正确信息中，说明用户修改信息是正确且有效的信息，执行下述步骤S503；如果用户修改信息在预设错误信息中，说明用户修改信息是错误且有效的信息，执行下述步骤S504；

上述两种情况都认为是有效修改，可将第一识别项的用户修改确定为目标信息。

示例性的，如果第一识别项为种类，预设正确信息包括所有常见的食材种类，如萝卜、苹果、西红柿等；预设错误信息包括所有常见的不清楚的表述，如蔬菜、青菜等；

如果第一识别项为位置，预设正确信息包括冰箱所有的准确位置表述，如第一层等；预设错误信息包括所有常见的不准确位置表述，如上面、左侧等；

如果第一识别项为重量，预设正确信息包括所有合理的重量范围，如0.1～10kg等；预设错误信息包括所有不合理的重量范围，如大于100kg等；

如果第一识别项为保质期，预设正确信息包括所有合理的时长，如365天以内等；预设错误信息包括所有不合理的时长，如5年等。

上述第一识别项的预设正确信息以及预设错误信息只是示例性说明，本申请并不以此为限。

步骤S503：若所述用户修改信息在所述第一识别项的预设正确信息中，则将所述第一识别项的用户修改信息以及所述第二识别项的识别信息确定为所述目标信息。

如上所述，如果用户修改信息在预设正确信息中，说明用户修改信息是正确且有效的信息，可直接将第一识别项的用户修改信息以及第二识别项的识别信息确定为目标信息。即用户修改成功，得到多个识别项对应的正确信息。

步骤S504：若所述用户修改信息在所述第一识别项的预设错误信息中，则将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息。

其中，所述目标错误类型是基于所述预设错误信息与错误类型之间的对应关系确定的。

如上所述，如果用户修改信息在预设错误信息中，说明用户修改信息是错误且有效的信息。即用户修改失败，还是有识别项对应的信息是错误的，需要确定用户修改信息的目标错误类型，以便用户在后续查看目标信息时，根据目标错误类型对用户修改信息进行调整，得到更加精准的目标信息。

本实施例，预设有各识别项的对应关系，对应关系包括识别项的预设错误信息与错误类型之间的关联，基于该识别项的对应关系可以精准地确定用户修改信息对应的目标错误类型。

上述方案，在将第一识别项的用户修改信息确定为目标信息之前，需要先确定上述用户修改信息是有效修改；基于此，通过设置预设正确信息以及预设错误信息，如果用户修改信息在预设正确信息中，说明用户修改信息是正确且有效的信息；如果用户修改信息在预设错误信息中，说明用户修改信息是错误且有效的信息，上述两种情况都认为是有效修改，可将第一识别项的用户修改确定为目标信息；另外，通过将用户修改信息的目标错误类型也确定为目标信息，便于用户基于目标信息对用户修改信息进行调整。

一些可选的实施方式中，针对上述用户修改信息在第一识别项的预设错误信息中的场景，在上述步骤S504之前，还包括以下步骤：

基于所述第一识别项的识别信息与所述第一识别项的候选信息之间的相似度、所述冰箱的预设分区、预设用户信息以及所述冰箱中已有食材的布局中的至少一项，确定所述第一识别项的目标候选信息；

如上所述，如果用户修改信息在预设错误信息中，说明用户修改信息是错误且有效的信息。即用户修改失败，还是有识别项对应的信息是错误的，基于此，可预测这些识别项可能对应的正确信息，即预测第一识别项的目标候选信息。

本实施例可通过但不限于如下方式确定第一识别项的目标候选信息：

1)基于上述第一识别项的识别信息与所有候选信息之间的相似度，确定与该识别信息最相似的N个目标候选信息；

示例性的，如果第一识别项为种类，且识别信息为西红柿，确定在图像特征、食材的重量、上市时间等维度上与西红柿相似的其他种类的食材(如圣女果、苹果等)；

如果第一识别项为位置，且识别信息为第二层，确定与第二层相似的其他位置(如第一层以及第三层)。

实施中，对于食材种类，根据不同种类食材的目标图像，采用欧几里得距离，地球移动距离(Earth Mover's Distance，EMD)，曼哈顿距离等算法，确定不同种类食材之间的相似度。示例性的，用户存入食材时，计算识别信息对应的目标图像与数据库中预存食材的图像之间的相似度；用户取食材时，计算存、取过程中目标图像之间的相似度。

对于食材位置，其他位置与识别的位置之间距离越接近，该其他位置与识别信息之间的相似度越高。

2)根据冰箱的预设分区，确定目标候选信息；

示例性的，冰箱预设有多个不同功能的分区，适用于存放不同特性的食材，如果第一识别项为种类，且第二识别项为位置，位置的识别信息位于第一分区，可将所有能放在第一分区的食材种类确定为第一识别项的目标候选信息；如果第一识别项为位置，且第二识别项为种类，种类的识别信息为西红柿，可将能存放西红柿的分区对应的位置确定为第一识别项的目标候选信息。

3)根据预设用户信息，确定目标候选信息；

示例性的，预设用户信息表征了用户的饮食习惯，如果第一识别项为种类，第二识别项为位置，且位置的识别信息为第二层，将符合用户饮食习惯的，且经常放在第二层的其他种类的食材，确定为第一识别项的目标候选信息。

4)根据冰箱中已有食材的布局，确定目标候选信息；

示例性的，该方式只适用于用户取食材的场景，如果第一识别项为种类，第二识别项为位置，且位置的识别信息为第二层，将冰箱中第二层已有的食材确定为第一识别项的目标候选信息。

5)基于上述第一识别项的识别信息与第一识别项的候选信息之间的相似度(记作第一维度)、冰箱的预设分区(记作第二维度)以及预设用户信息(记作第三维度)中的多个维度，确定各维度对应的分值，选择分值最高的M个目标候选信息；

其中，针对第一维度，相似度越大分值越高；针对第二维度，相同分区对应分值高，不同分区对应分值低；针对第三维度，越符合用户饮食习惯分值越高。

对应的，上述步骤S504可通过但不限于如下方式实现：

将所述第一识别项的用户修改信息、所述第二识别项的识别信息、所述用户修改信息的目标错误类型以及所述第一识别项的目标候选信息，确定为所述目标信息。

上述方案，针对用户修改信息在第一识别项的预设错误信息的场景，虽然用户修改是有效的，但用户修改信息并不精准，通过预测第一识别项的目标候选信息，并将目标候选信息也作为目标信息，更加方便用户后续对用户修改信息进行调整。

可选的，针对于没有接收到用户修改信息的场景，本申请实施例提供第四种食材管理方法，如图6所示，包括以下步骤：

步骤S601：在确定冰箱中目标食材的多个识别项的识别信息之后，将所述多个识别项的识别信息通过预设通知方式进行通知。

该步骤S601可参照上述实施例，此处不再赘述。

步骤S602：将所述多个识别项的识别信息确定为所述目标信息。

上述方案，如果没有接收到用户修改信息，即多个识别项中没有第一识别项，说明用户没有对识别信息进行修改，而第二识别项的识别信息认为是不进行修改，因此，将多个识别项的识别信息作为上述目标食材的目标信息。

一些可选的实施方式中，在上述图6实施例的基础上，还包括以下步骤：

若所述多个识别项的识别信息中有表征未识别的识别信息，且累计次数超过预设次数，则通过预设提醒方式进行提醒；其中，所述累计次数为连续没有接收到所述用户修改信息，且所述多个识别项的识别信息中有表征未识别的识别信息的次数。

如上所述，第二识别项的识别信息认为是不进行修改。示例性的，如果多个识别项的识别信息中没有表征未识别的识别信息，说明所有识别项都识别成功，很可能是所有识别信息都是正确的，用户认为不需要修改，因此，在该场景下可以不用进行提醒；

如果多个识别项的识别信息中有表征未识别的识别信息，说明有识别项识别失败，一定需要修改识别信息，只是因为用户不配合修改才没有收到用户修改信息；需要统计用户不配合修改的累计次数，如果累计次数过多需要提醒用户。

上述预设次数可根据实际应用场景设定，本实施例对此不做具体限定。

本实施例对上述预设提醒方式不做具体限定，示例性的：

1)冰箱包括语音播放装置，通过语音播放装置播放表征提醒的语音；

2)冰箱包括显示屏，通过显示屏显示表征提醒的界面；

3)冰箱包括语音播放装置以及显示屏，通过语音播放装置播放表征提醒的语音，和/或通过显示屏显示表征提醒的界面；

4)冰箱包括提醒装置(如闹钟、闪光灯等)，启动提醒装置。

上述预设提醒方式只是示例性说明，实际应用中冰箱可能设置其他交互装置，可采用对应的提醒方式，此处不再赘述。

上述方案，第二识别项的识别信息认为是不进行修改，可能是用户认为不需要修改或者用户不配合修改，如果多个识别项的识别信息中有表征未识别的识别信息，说明这些识别信息是需要进行修改的，可以确定是因为用户不配合修改才没有收到用户修改信息，基于此，需要统计用户不配合修改的累计次数，如果累计次数过多需要提醒用户，以便后续更好地管理食材。

上述管理方法，除了应用在智能冰箱中进行食材管理，还可应用在其他智能存取设备(如智能售货机、智能酒柜、智能衣柜以及快递柜)中进行其他物品的管理，具体实现方式可参照上述实施例，此处不再赘述。

基于相同的发明构思，本申请实施例提供一种食材管理装置，参阅图7所示，食材管理装置700包括：

通知模块701，用于在确定冰箱中目标食材的多个识别项的识别信息之后，将所述多个识别项的识别信息通过预设通知方式进行通知；

信息确定模块702，用于基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息；其中，所述第一识别项为对应有用户修改信息的识别项，所述第二识别项为所述多个识别项中除所述第一识别项之外的其他识别项。

一些可选的实施方式中，若接收到所述用户修改信息；则信息确定模块702具体用于：

将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息。

一些可选的实施方式中，信息确定模块702将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息之前，还用于：

确定所述用户修改信息是否在所述第一识别项的预设正确信息或者预设错误信息中；

信息确定模块702具体用于：

若所述用户修改信息在所述第一识别项的预设正确信息中，则将所述第一识别项的用户修改信息以及所述第二识别项的识别信息确定为所述目标信息；或者

若所述用户修改信息在所述第一识别项的预设错误信息中，则将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息；其中，所述目标错误类型是基于所述预设错误信息与错误类型之间的对应关系确定的。

一些可选的实施方式中，若所述用户修改信息在所述第一识别项的预设错误信息中，则信息确定模块702在将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息之前，还用于：

基于所述第一识别项的识别信息与所述第一识别项的候选信息之间的相似度、所述冰箱的预设分区、预设用户信息以及所述冰箱中已有食材的布局中的至少一项，确定所述第一识别项的目标候选信息；

信息确定模块702具体用于：

将所述第一识别项的用户修改信息、所述第二识别项的识别信息、所述用户修改信息的目标错误类型以及所述第一识别项的目标候选信息，确定为所述目标信息。

一些可选的实施方式中，若没有接收到所述用户修改信息；则信息确定模块702具体用于：

将所述多个识别项的识别信息确定为所述目标信息。

一些可选的实施方式中，信息确定模块702还用于：

若所述多个识别项的识别信息中有表征未识别的识别信息，且累计次数超过预设次数，则通过预设提醒方式进行提醒；其中，所述累计次数为连续没有接收到所述用户修改信息，且所述多个识别项的识别信息中有表征未识别的识别信息的次数。

由于该装置即是本申请实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

基于相同的技术构思，本申请实施例还提供了一种智能冰箱800，如图8所示，包括至少一个处理器801，以及与至少一个处理器连接的存储器802，本申请实施例中不限定处理器801与存储器802之间的具体连接介质，图8中处理器801和存储器802之间通过总线803连接为例。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，处理器801是智能冰箱的控制中心，可以利用各种接口和线路连接智能冰箱的各个部分，通过运行或执行存储在存储器802内的指令以及调用存储在存储器802内的数据，从而实现数据处理。可选的，处理器801可包括一个或多个处理单元，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理下发指令。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。在一些实施例中，处理器801和存储器802可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器801可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合食材管理方法实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器802作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器802可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器802是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器802还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

在本申请实施例中，存储器802存储有计算机程序，当该程序被处理器801执行时，使得处理器801执行：

在确定冰箱中目标食材的多个识别项的识别信息之后，将所述多个识别项的识别信息通过预设通知方式进行通知；

基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息；其中，所述第一识别项为对应有用户修改信息的识别项，所述第二识别项为所述多个识别项中除所述第一识别项之外的其他识别项。

一些可选的实施方式中，若接收到所述用户修改信息；则所述处理器801具体执行：

将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息。

一些可选的实施方式中，将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息之前，所述处理器801还执行：

确定所述用户修改信息是否在所述第一识别项的预设正确信息或者预设错误信息中；

所述处理器801具体执行：

若所述用户修改信息在所述第一识别项的预设正确信息中，则将所述第一识别项的用户修改信息以及所述第二识别项的识别信息确定为所述目标信息；或者

若所述用户修改信息在所述第一识别项的预设错误信息中，则将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息；其中，所述目标错误类型是基于所述预设错误信息与错误类型之间的对应关系确定的。

一些可选的实施方式中，若所述用户修改信息在所述第一识别项的预设错误信息中，则在将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息之前，所述处理器801还执行：

基于所述第一识别项的识别信息与所述第一识别项的候选信息之间的相似度、所述冰箱的预设分区、预设用户信息以及所述冰箱中已有食材的布局中的至少一项，确定所述第一识别项的目标候选信息；

所述处理器801具体执行：

将所述第一识别项的用户修改信息、所述第二识别项的识别信息、所述用户修改信息的目标错误类型以及所述第一识别项的目标候选信息，确定为所述目标信息。

一些可选的实施方式中，若没有接收到所述用户修改信息；则所述处理器801具体执行：

将所述多个识别项的识别信息确定为所述目标信息。

一些可选的实施方式中，所述处理器801还执行：

若所述多个识别项的识别信息中有表征未识别的识别信息，且累计次数超过预设次数，则通过预设提醒方式进行提醒；其中，所述累计次数为连续没有接收到所述用户修改信息，且所述多个识别项的识别信息中有表征未识别的识别信息的次数。

由于该智能冰箱即是本申请实施例中的方法中的智能冰箱，并且该智能冰箱解决问题的原理与该方法相似，因此该智能冰箱的实施可以参见方法的实施，重复之处不再赘述。

基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，其存储有可由智能冰箱执行的计算机程序，当所述程序在所述智能冰箱上运行时，使得所述智能冰箱执行上述食材管理方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种食材管理方法，其特征在于，该方法包括：

在确定冰箱中目标食材的多个识别项的识别信息之后，将所述多个识别项的识别信息通过预设通知方式进行通知；

基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息；其中，所述第一识别项为对应有用户修改信息的识别项，所述第二识别项为所述多个识别项中除所述第一识别项之外的其他识别项。

2.如权利要求1所述的方法，其特征在于，若接收到所述用户修改信息；则基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息，包括：

将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息。

3.如权利要求2所述的方法，其特征在于，将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息之前，还包括：

确定所述用户修改信息是否在所述第一识别项的预设正确信息或者预设错误信息中；

将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息，包括：

若所述用户修改信息在所述第一识别项的预设正确信息中，则将所述第一识别项的用户修改信息以及所述第二识别项的识别信息确定为所述目标信息；或者

若所述用户修改信息在所述第一识别项的预设错误信息中，则将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息；其中，所述目标错误类型是基于所述预设错误信息与错误类型之间的对应关系确定的。

4.如权利要求3所述的方法，其特征在于，若所述用户修改信息在所述第一识别项的预设错误信息中，则在将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息之前，还包括：

基于所述第一识别项的识别信息与所述第一识别项的候选信息之间的相似度、所述冰箱的预设分区、预设用户信息以及所述冰箱中已有食材的布局中的至少一项，确定所述第一识别项的目标候选信息；

将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息，包括：

将所述第一识别项的用户修改信息、所述第二识别项的识别信息、所述用户修改信息的目标错误类型以及所述第一识别项的目标候选信息，确定为所述目标信息。

5.如权利要求1所述的方法，其特征在于，若没有接收到所述用户修改信息；则基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息，包括：

将所述多个识别项的识别信息确定为所述目标信息。

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

若所述多个识别项的识别信息中有表征未识别的识别信息，且累计次数超过预设次数，则通过预设提醒方式进行提醒；其中，所述累计次数为连续没有接收到所述用户修改信息，且所述多个识别项的识别信息中有表征未识别的识别信息的次数。

7.一种智能冰箱，其特征在于，包括至少一个处理器以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行：

在确定冰箱中目标食材的多个识别项的识别信息之后，将所述多个识别项的识别信息通过预设通知方式进行通知；

基于第二识别项的识别信息和/或第一识别项的用户修改信息，确定所述目标食材的目标信息；其中，所述第一识别项为对应有用户修改信息的识别项，所述第二识别项为所述多个识别项中除所述第一识别项之外的其他识别项。

8.如权利要求7所述的智能冰箱，其特征在于，若接收到所述用户修改信息；则所述处理器具体执行：

将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息。

9.如权利要求8所述的智能冰箱，其特征在于，将各第一识别项的用户修改信息以及各第二识别项的识别信息确定为所述目标信息之前，所述处理器还执行：

确定所述用户修改信息是否在所述第一识别项的预设正确信息或者预设错误信息中；

所述处理器具体执行：

若所述用户修改信息在所述第一识别项的预设正确信息中，则将所述第一识别项的用户修改信息以及所述第二识别项的识别信息确定为所述目标信息；或者

若所述用户修改信息在所述第一识别项的预设错误信息中，则将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息；其中，所述目标错误类型是基于所述预设错误信息与错误类型之间的对应关系确定的。

10.如权利要求9所述的智能冰箱，其特征在于，若所述用户修改信息在所述第一识别项的预设错误信息中，则在将所述第一识别项的用户修改信息、所述第二识别项的识别信息以及所述用户修改信息的目标错误类型确定为所述目标信息之前，所述处理器还执行：

基于所述第一识别项的识别信息与所述第一识别项的候选信息之间的相似度、所述冰箱的预设分区、预设用户信息以及所述冰箱中已有食材的布局中的至少一项，确定所述第一识别项的目标候选信息；

所述处理器具体执行：

将所述第一识别项的用户修改信息、所述第二识别项的识别信息、所述用户修改信息的目标错误类型以及所述第一识别项的目标候选信息，确定为所述目标信息。

Images