CN115371350B - 确定储物管理信息的方法及智能冰箱 - Google Patents

Abstract

本申请实施例公开了一种确定储物管理信息的方法及智能冰箱，属于人工智能技术领域。所述方法应用于智能冰箱，所述方法包括：智能冰箱显示储物管理界面，储物管理界面包括用户输入控件，响应于用户输入控件检测到的储物输入指令，智能冰箱获取初始储物信息，对初始储物信息进行识别，以确定初始储物信息对应的目标储物关键词。智能冰箱基于目标储物关键词确定目标储物管理信息，并在储物管理界面上显示目标储物管理信息。本申请实施例通过用户在储物管理界面的用户输入控件上操作以输入初始储物信息，这样可以减少错误识别储物的情况。而且，智能冰箱在得到储物信息后，可以基于储物信息自动化确定储物管理信息，对用户进行提醒。

Description

确定储物管理信息的方法及智能冰箱

技术领域

本申请实施例涉及人工智能技术领域，特别涉及一种确定储物管理信息的方法及智能冰箱。

背景技术

目前，冰箱的容积越来越大，能够存储的储物也越来越多。这种情况下，用户可能会忘记冰箱中存储的储物，导致储物存储时间过长，影响储物的正常使用。因此需要一种能够确定冰箱中储物管理信息的方法，以及时提醒用户，该储物管理信息可以为储物的保存时间等信息。

在相关技术中，通常是通过冰箱内部摄像头来采集冰箱内存储的储物图像，终端获取该储物图像，并从该储物图像中识别储物信息。在得到储物信息后，终端显示该储物信息，用户需要基于该储物信息来自行确定储物管理信息，以管理冰箱中的储物。

但是，冰箱内储物之间可能会存在堆叠遮挡，而这种情况可能会造成摄像头获取的储物图像中只有某些储物的一部分图像，这样后续终端基于该储物图像识别储物信息时，就可能会识别出错误的储物信息，造成储物识别的准确性不高，进而导致储物管理环节可能出现差错。

发明内容

本申请实施例提供了一种确定储物管理信息的方法及智能冰箱，可以避免储物识别和管理环节出现出错。所述技术方案如下：

一方面，提供了一种确定储物管理信息的方法，所述方法应用于智能冰箱，所述方法包括：

所述智能冰箱显示储物管理界面，所述储物管理界面包括用户输入控件；

响应于所述用户输入控件检测到的储物输入指令，所述智能冰箱获取初始储物信息；

所述智能冰箱对所述初始储物信息进行识别，以确定所述初始储物信息对应的目标储物关键词；

所述智能冰箱基于所述目标储物关键词确定目标储物管理信息；

所述智能冰箱在所述储物管理界面上显示所述目标储物管理信息。

可选地，所述用户输入控件包括语音输入控件，所述智能冰箱包括图像采集模块；

所述响应于所述用户输入控件检测到的储物输入指令，所述智能冰箱获取初始储物信息，包括：

响应于所述语音输入控件检测到的储物输入指令，所述智能冰箱控制所述图像采集模块采集购物小票的图像信息，得到所述初始储物信息。

可选地，所述智能冰箱对所述初始储物信息进行识别，以确定所述初始储物信息对应的目标储物关键词，包括：

所述智能冰箱识别所述图像信息中的第一关键词和第二关键词，所述第一关键词为指示商品名称的文字，所述第二关键词为指示资源转移总额的文字；

所述智能冰箱将所述图像信息中所述第一关键词和所述第二关键词之间的区域作为有效区域；

所述智能冰箱对所述有效区域进行识别，得到所述目标储物关键词。

可选地，所述智能冰箱对所述初始储物信息进行识别，以确定所述初始储物信息对应的目标储物关键词之后，所述方法还包括：

所述智能冰箱确定所述目标储物关键词对应的储物是否属于参考类型的储物，所述参考类型的储物为需要放入所述智能冰箱进行保存的储物；

如果所述目标储物关键词对应的储物属于参考类型的储物，所述智能冰箱则执行基于所述目标储物关键词确定目标储物管理信息的操作。

可选地，所述智能冰箱基于所述目标储物关键词确定目标储物管理信息，包括：

所述智能冰箱基于所述目标储物关键词，确定与所述目标储物关键词对应的目标储物标准名称；

所述智能冰箱基于所述目标储物标准名称，确定与所述目标储物标准名称对应的目标储物管理信息；

相应地，所述智能冰箱在所述储物管理界面上显示所述目标储物管理信息，包括：

所述智能冰箱在所述储物管理界面上显示所述目标储物标准名称，以及所述目标储物管理信息。

可选地，所述智能冰箱基于所述目标储物关键词，确定与所述目标储物关键词对应的目标储物标准名称，包括：

所述智能冰箱从储物知识库中获取第一对应关系，所述第一对应关系包括多个储物标准名称、以及与所述多个储物标准名称一一对应的储物关键词，每个储物标准名称对应至少一个储物关键词；

所述智能冰箱从所述第一对应关系中，获取与所述目标储物关键词匹配的储物标准名称，得到所述目标储物标准名称。

可选地，所述储物管理信息包括储物的保存时间、储物的存储温度以及储物的存储湿度中的一者或多者。

另一方面，提供了一种智能冰箱，所述智能冰箱用于：

显示储物管理界面，所述储物管理界面包括用户输入控件；

响应于所述用户输入控件检测到的储物输入指令，获取初始储物信息；

对所述初始储物信息进行识别，以确定所述初始储物信息对应的目标储物关键词；

基于所述目标储物关键词确定目标储物管理信息；

在所述储物管理界面上显示所述目标储物管理信息。

可选地，所述用户输入控件包括语音输入控件，所述智能冰箱包括图像采集模块；

所述智能冰箱用于：

响应于所述语音输入控件检测到的储物输入指令，控制所述图像采集模块采集购物小票的图像信息，得到所述初始储物信息。

可选地，所述智能冰箱用于：

识别所述图像信息中的第一关键词和第二关键词，所述第一关键词为指示商品名称的文字，所述第二关键词为指示资源转移总额的文字；

将所述图像信息中所述第一关键词和所述第二关键词之间的区域作为有效区域；

对所述有效区域进行识别，得到所述目标储物关键词。

可选地，所述智能冰箱用于：

确定所述目标储物关键词对应的储物是否属于参考类型的储物，所述参考类型的储物为需要放入所述智能冰箱进行保存的储物；

如果所述目标储物关键词对应的储物属于参考类型的储物，则执行基于所述目标储物关键词确定目标储物管理信息的操作。

可选地，所述智能冰箱用于：

基于所述目标储物关键词，确定与所述目标储物关键词对应的目标储物标准名称；

基于所述目标储物标准名称，确定与所述目标储物标准名称对应的目标储物管理信息；

在所述储物管理界面上显示所述目标储物标准名称，以及所述目标储物管理信息。

可选地，所述智能冰箱用于：

从储物知识库中获取第一对应关系，所述第一对应关系包括多个储物标准名称、以及与所述多个储物标准名称一一对应的储物关键词，每个储物标准名称对应至少一个储物关键词；

从所述第一对应关系中，获取与所述目标储物关键词匹配的储物标准名称，得到所述目标储物标准名称。

可选地，所述储物管理信息包括储物的保存时间、储物的存储温度以及储物的存储湿度中的一者或多者。

另一方面，提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的确定储物管理信息的方法的步骤。

另一方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得计算机执行上述所述的确定储物管理信息的方法的步骤。

本申请实施例提供的技术方案至少可以带来以下有益效果：

在本申请实施例中，用户在储物管理界面的用户输入控件上操作以输入初始储物信息，这样可以减少错误识别储物的情况。而且，在得到初始储物信息后，基于初始储物信息确定目标储物关键词，基于目标储物关键词确定目标储物管理信息，并在储物管理界面上显示该目标储物管理信息。因此，本申请实施例在得到储物信息后，可以基于储物信息自动化确定储物管理信息，对用户进行提醒。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种确定储物管理信息的方法的流程图；

图2是本申请实施例提供的一种储物管理界面的示意图；

图3是本申请实施例提供的一种初始储物信息的示意图；

图4是本申请实施例提供的一种储物管理界面的示意图；

图5是本申请实施例提供的一种储物管理界面的示意图；

图6是本申请实施例提供的一种初始储物信息的示意图；

图7是本申请实施例提供的一种确定有效区域的示意图；

图8是本申请实施例提供的一种确定有效区域的示意图；

图9是本申请实施例提供的一种神经网络模型的示意图；

图10是本申请实施例提供的一种确定储物管理信息的方法的流程图；

图11是本申请实施例提供的一种智能冰箱的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例提供的确定储物管理信息的方法进行详细的解释说明之前，先对本申请实施例提供的应用场景进行介绍。

目前，确定储物管理信息的方法都是通过终端直接进行储物的识别，来确定储物信息，进而终端显示该储物信息。用户基于该储物信息自行确定储物管理信息，以对储物进行管理。其中，储物可以为食物，也可以为其他物品，本申请实施例对此不作限定。

终端确定储物信息的方式有以下三种。第一种方式是通过冰箱内部摄像头来采集冰箱内存储的储物图像，终端获取该储物图像，并从该储物图像中识别储物信息。第二种方式是通过用户语音输入储物名称，终端对该语音进行识别，以获取储物信息。第三种方式是终端通过扫描购物小票上的商品信息来获取储物信息。

但是，第一种方式中，冰箱内部储物之间的相互遮挡可能会造成摄像头采集的储物图像中某些储物的图像不全，进而降低终端识别储物信息的准确率。第二种方式中，用户需要按照指定的模式输入语音，否则终端将不会对用户语音进行识别。比如，指定模式为“我要储存+储物名称”，用户必须按照该模式来输入语音，终端才能进行识别，以得到储物信息。第三种方式中，购物小票中除了商品信息外还包括其他信息，如商品价格、数量等其他信息，终端在对购物小票进行识别时，会识别出较多结果。

而且，在通过上述方式得到储物信息后，用户还是需要自行基于储物信息来确定储物管理信息。但是上述三种方式都会不同程度影响储物识别的准确率，在储物识别不准确的情况下，用户在进行储物管理时就可能出现差错。

基于上述问题，本申请实施例提供了一种确定储物管理信息的方法，该方法通过用户提供储物信息来提供储物识别的准确率，并且可以自动化确定储物管理信息，以对储物进行管理。

接下来对本申请实施例提供的确定储物管理信息的方法进行详细的解释说明。

图1是本申请实施例提供的一种确定储物管理信息的方法的流程图，该方法应用于智能冰箱。请参考图1，该方法包括如下步骤。

步骤101：智能冰箱显示储物管理界面，该储物管理界面包括用户输入控件。

其中，智能冰箱上显示有储物管理界面，储物管理界面包括多个用户输入控件，用户输入控件为用户可以通过预设操作输入储物信息的控件。

图2是本申请实施例提供的智能冰箱的储物管理界面的示意图。如图2所示，该储物管理界面上包括多个用户输入控件，如文本输入控件、图像输入控件、语音输入控件等控件。用户可以在该储物管理界面上选择某一用户输入控件，并通过预设操作来输入初始储物信息。后续智能冰箱可以基于该初始储物信息确定目标储物关键词，基于目标储物关键词确定目标储物管理信息，并在储物管理界面上显示该目标储物管理信息。其中，智能冰箱基于初始储物信息确定目标储物关键词，基于目标储物关键词确定目标储物管理信息，并在储物管理界面上显示该目标储物管理信息的实现过程后续进行说明，在此先不做赘述。

在一些实施例中，用户输入控件可以包括图像输入控件。这样，用户在储存储物时，只需要通过图像输入控件来识别购物小票，图像输入控件就可以获取该图像信息。该图像输入控件可以如图2中的“相机”控件或“扫一扫”控件。

在另一些实施例中，用户输入控件还可以包括语音输入控件。这样，用户在储存储物时，只需要发出语音，语音输入控件就可以获取用户发出的语音信息。该语音输入控件可以如图2中的“麦克风”控件。

步骤102：响应于用户输入控件检测到的储物输入指令，智能冰箱获取初始储物信息。

在用户输入控件包括图像输入控件的场景下，智能冰箱可以包括图像采集模块。基于此，步骤102的实现过程可以为：响应于图像输入控件检测到的储物输入指令，智能冰箱控制图像采集模块采集购物小票的图像信息，得到初始储物信息。其中，图像采集模块示例地可以为智能冰箱上配置的摄像头。

其中，用户可以点击该图像输入控件，通过将购物小票放置于智能冰箱的摄像头视野中，来触发储物输入指令。图像输入控件检测到该储物输入指令，智能冰箱控制图像采集模块采集购物小票的图像信息，以得到该初始储物信息。

示例地，该初始储物信息可以为一张购物小票的图像。图3是本申请实施例提供的一种初始储物信息的示意图，如图3所示，该初始储物信息即为一张购物小票的图像，该购物小票上包括多个商品。

如图4所示，用户在储物管理界面上点击图像输入控件，然后将购物小票放置于智能冰箱的摄像头视野中，图像输入控件检测到用户这一操作，智能冰箱控制图像采集模块采集购物小票图像，得到初始储物信息。后续智能冰箱基于该初始储物信息，确定目标储物管理信息，并在储物管理界面上显示该目标储物管理信息。

在用户输入控件包括语音输入控件的场景下，智能冰箱可以包括语音采集模块。基于此，步骤102的实现过程可以为：响应于语音输入控件检测到的储物输入指令，智能冰箱控制语音采集模块采集语音信息，以得到初始储物信息。其中，语音采集模块示例地可以为智能冰箱上配置的麦克风。

其中，用户可以点击该语音输入控件，通过向麦克风发出语音来触发储物输入指令。语音输入控件检测到该储物输入指令，智能冰箱控制语音采集模块采集用户发出的语音，以得到该初始储物信息。示例地，该初始储物信息可以为用户发出“存储鸡蛋”的语音。

如图5所示，用户在储物管理界面上点击语音输入控件，然后向麦克风发出想要存储的储物的语音，语音输入控件检测到用户这一操作，智能冰箱控制语音采集模块采集用户语音，得到初始储物信息。后续智能冰箱基于该初始储物信息，确定目标储物管理信息，并在储物管理界面上显示该目标储物管理信息。

步骤103：智能冰箱对初始储物信息进行识别，以确定初始储物信息对应的目标储物关键词。

其中，储物关键词为该初始储物信息中能够表示影响储物在冰箱中存储时间等信息的词语。如初始储物信息“绿茶冰淇淋”中能够表示影响储物在冰箱中存储时间等信息的词语为“冰淇淋”，因此，该初始储物信息对应的目标储物关键词为“冰淇淋”。

在初始储物信息为图像信息的场景下，如图3所示，一张购物小票上除商品信息外，还包括许多其他信息，如货号、收银员、打印时间等信息。智能冰箱在识别购物小票时，如果直接对整张购物小票进行识别，会识别出很多结果。智能冰箱需要从这些识别结果中再确定储物关键词，这样可能会影响确定储物关键词的效率。

通常情况下，不同的购物小票的格式可能有所不同。如图3所示，该购物小票上利用线条划分了几个区域，两条虚线之间的区域包括商品信息，在商品信息下方的区域包括商品金额等信息。图3所示的购物小票中清楚划分了几个区域，且每个区域标明了“商品名称”、“金额”等字样，“商品名称”字样下方是具体的商品信息。图6是本申请实施例提供的另一种购物小票的示意图。如图6所示，该购物小票上并没有指示商品信息的字样，只有具体的商品名称、金额信息。上述图3和图6只示例地列举了两种不同格式的购物小票，本申请实施例对购物小票的格式不作限定。

购物小票是用户消费的凭证，用户可以通过查看购物小票来确定自己购买的商品以及商品的金额是否有误，因此，无论哪种格式的购物小票上都会有指示商品名称的文字和消费金额。基于此，为了提高确定储物关键词的效率，智能冰箱可以先确定购物小票上指示商品信息的区域，也即有效区域，只对该有效区域进行识别，能够有效减小智能冰箱识别的区域，进而提高智能冰箱确定储物关键词的效率。

因此，在一些实施例中，在初始储物信息为图像信息的场景下，步骤103的实现过程可以为：智能冰箱识别图像信息中的第一关键词和第二关键词，第一关键词为指示商品名称的文字，第二关键词为指示资源转移总额的文字。智能冰箱将图像信息中第一关键词和第二关键词之间的区域作为有效区域，并对有效区域进行识别，得到目标储物关键词。

其中，指示商品名称的文字可以为购物小票上的“商品名称”的字样，也可以为具体的商品名称，如图6中的“××冰淇淋”。本申请实施例对此不作限定。资源转移指的是消费金额。

智能冰箱在得到图像信息后，可以确定该图像信息中指示商品名称的文字(第一关键词)和指示消费总额的文字(第二关键词)，然后将第一关键词和第二关键词之间的区域作为有效区域。

以图3所示的购物小票为例，该购物小票中第一关键词为“商品名称”，第二关键词为“商品合计”，因此智能冰箱将“商品名称”和“商品合计”之间的区域作为有效区域，得到图7所示的有效区域的示意图。

以图6所示的购物小票为例，该购物小票中第一关键词为“××冰淇淋”，第二关键词为“合计”，因此智能冰箱将“××冰淇淋”和“合计”之间的区域作为有效区域，得到图8所示的有效区域的示意图。

在得到有效区域后，智能冰箱可以对该有效区域内的文字进行识别，以得到该有效区域的文本信息。后续智能冰箱对该文本信息进行识别，以确定文本信息对应的目标储物关键词。示例地，当有效区域内包括多个商品名称时，该文本信息也包括多个商品信息，后续智能冰箱可以得到多个储物关键词。

在初始储物信息为语音信息的场景下，智能冰箱在采集得到该语音信息后，可以将该语音信息进行转化，得到该语音信息对应的文本信息。示例地，在采集得到用户发出“存储鸡蛋”的语音信息后，智能冰箱对该语音信息进行转化，得到“存储鸡蛋”这四个字的文本信息。

另外，有效区域内的商品名称可能会有差错，如将“茼蒿”写为“苘蒿”，将“蚝油”写为“耗油”。或者，在将用户语音转化为文本信息时出现差错，这些情况都有可能导致智能冰箱得到的文本信息有误，进而造成后续的储物管理环节出现差错。因此，为了避免发生这种情况，本申请实施例中智能冰箱还可以对文本信息进行纠错，如将“苘蒿”纠正为“茼蒿”，“耗油”纠正为“蚝油”。这样可以得到纠错后的文本信息，后续对该纠错后的文本信息进行识别，以得到目标储物关键词。进而基于储物关键词，确定目标储物管理信息，并在储物管理界面上显示该目标储物管理信息。

在一些实施例中，智能冰箱可以通过神经网络模型来对文本信息进行识别，也即是，将文本信息作为神经网络模型的输入，以得到神经网络模型输出的目标储物关键词。

其中，神经网络模型是事先经过大量的样本训练而成的，因此可用于对文本信息进行识别，从而得到文本信息对应的目标储物关键词。

上述训练神经网络模型的实现过程可以为：获取多个储物样本、以及多个储物样本中每个储物样本对应的标签，每个储物样本为一个储物名称，每个储物样本的标签为相应储物样本中能够表示储物样本的关键词。基于多个储物样本、以及多个储物样本中每个储物样本对应的标签，对初始化神经网络模型进行训练，以得到神经网络模型。

其中，神经网络模型包括LSTM(Long Short-Term Memory，长短期记忆)子模型、CRF(Conditional Random Field，条件随机场)子模型、以及CNN(Convolutional NeuralNetworks，卷积神经网络)子模型，LSTM子模型和CRF子模型连接，CRF子模型和CNN子模型连接，LSTM子模型用于输出指示储物名称的特征向量，CRF子模型用于对特征向量进行标注，以输出标注结果，CNN子模型用于基于标注结果确定目标储物关键词。

示例地，CRF子模型可以采用b(begin)、i(in)、e(end)、o(out)这四个字符来在对特征向量进行标注，其中，bie字符串或be字符串用来标注与储物关键词对应的特征向量，o字符用来表示初始储物信息中除储物关键词外其他词对应的特征向量。CNN子模型用于输出bie字符串或be字符串对应的文本信息，即输出储物关键词。

图9是本申请实施例提供的神经网络模型的示意图。如图9所示，对于文本信息为“绿茶冰淇淋”的特征向量，CRF子模型在对该特征向量标注时，可以将“绿茶”标注为“oo”字符串，将“冰淇淋”标注为“bie”字符串。CNN子模型输出该bie字符串，智能冰箱则得到目标储物关键词“冰淇淋”。

另外，在有些购物小票上，在描述某一商品时可能会多次出现能表示该商品的关键词，这些多次出现的关键词中有可能会出现错别字，例如，将“冰淇淋”错写为“冰其淋”，也即是，购物小票的有效区域内会出现指示商品名称的错别字。这样，神经网络模型在输出储物关键词时，会出现多个关键词的情况。因此为使CNN子模型准确输出表示商品的关键词，在一些实施例中，CNN子模型还可以包括softmax激活函数，softmax函数可以确定bie字符串对应的关键词的概率，将概率最大值对应的关键词作为CNN子模型最终输出的储物关键词。

示例地，如购物小票中某一信息为“香草冰其淋绿茶冰淇淋冰淇淋”，CRF子模型在对该特征向量标注时，得到“oobie oobie bie”字符串。CRF子模型将该字符串发送给CNN子模型，CNN子模型确定三个“bie”字符串对应的关键词，得到“冰其淋”、“冰淇淋”和“冰淇淋”。然后softmax函数确定“冰其淋”和“冰淇淋”出现的概率，由于“冰淇淋”出现的次数多，因此“冰淇淋”的概率大。这样，CNN子模型最终输出的就是概率较大值对应的关键词“冰淇淋”。

初始化神经网络模型经过上述训练后，便可用于对文本信息进行识别，得到文本信息对应的目标储物关键词。

示例地，针对图7所示的购物小票的有效区域，在对有效区域内的文本信息进行识别时，可以得到多个目标储物关键词“可乐”、“湿巾”、“饼干”。

可选地，对文本信息进行识别的方法不限于上述采用神经网络模型识别的方法，也可以采用其他识别算法来实现，本申请实施例对此不作限定。

此外，智能冰箱识别得到的多个目标储物关键词中部分目标储物关键词对应的储物可能不需要放入智能冰箱，比如，针对图7所示的购物小票的有效区域，得到的目标储物关键词“湿巾”可以不需要放入智能冰箱。因此，在得到目标储物关键词后，智能冰箱还可以确定该目标储物关键词对应的储物是否属于参考类型的储物，参考类型的储物为需要放入智能冰箱进行保存的储物。后续智能冰箱只需要确定属于参考类型的储物的储物管理信息。

其中，智能冰箱可以预先配置参考类型的储物。该参考类型可以为储物的类别。比如，参考类型可以为水果、蔬菜、蛋奶、饮品、面食、甜点等类型。

智能冰箱在得到多个目标储物关键词后，可以确定每个目标储物关键词对应的储物类别，得到多个目标储物类别。然后将这些储物类别与参考类型进行匹配，以确定这些储物类别中哪些储物类别属于参考类型。其中，智能冰箱基于目标储物关键词确定目标储物类别的实现过程可以参见下述步骤104的相关内容，在此先不做赘述。

示例地，如果目标储物关键词为“可乐”、“湿巾”和“饼干”，其中，“可乐”对应的储物类别为“饮品”，“湿巾”对应的储物类别为“生活用品”，“饼干”对应的储物类别为“甜点”。参考类型为水果、蔬菜、蛋奶、饮品、面食、甜点类型。由于“饮品”和“甜点”都在参考类型中，而“生活用品”不在参考类型中，因此，智能冰箱可以确定“可乐”和“饼干”属于参考类型的储物。

在确定目标储物关键词对应的储物属于参考类型的储物后，智能冰箱则基于下述步骤104确定目标储物管理信息。

因此，当智能冰箱确定多个目标储物关键词中“可乐”和“饼干”属于参考类型的储物时，后续可以只确定“可乐”和“饼干”对应的储物管理信息，以对这两个储物进行管理。

步骤104：智能冰箱基于目标储物关键词确定目标储物管理信息。

其中，储物管理信息为反应储物保存状况的信息。示例地，该储物管理信息可以包括储物的保存时间、储物的存储温度以及储物的存储湿度中的一者或多者。

在一些实施例中，步骤104的实现过程可以分为两个步骤。步骤一：智能冰箱基于目标储物关键词，确定与目标储物关键词对应的目标储物标准名称。步骤二：智能冰箱基于目标储物标准名称，确定与目标储物标准名称对应的目标储物管理信息。

示例地，步骤一的实现过程可以为：智能冰箱从储物知识库中获取第一对应关系，第一对应关系包括多个储物标准名称、以及与多个储物标准名称一一对应的储物关键词，每个储物标准名称对应至少一个储物关键词。从第一对应关系中，获取与目标储物关键词匹配的储物标准名称，得到目标储物标准名称。

其中，第一对应关系可以由储物知识库预先配置，储物知识库预先配置多个储物标准名称，以及多个储物关键词，每个储物标准名称对应至少一个储物关键词。

示例地，第一对应关系可以如下表1所示。在表1中，储物标准名称“番茄”对应的储物关键词包括“西红柿、番茄、洋柿子、番柿”。储物标准名称“马铃薯”对应的储物关键词包括“马铃薯、土豆、洋芋、番仔薯、山药蛋”。储物标准名称“上海青”对应的储物关键词包括“上海青、青菜、瓢菜、小白菜、小油菜、青江菜”。储物标准名称“菠萝”对应的储物关键词包括“菠萝、凤梨、黄梨”。储物标准名称“虾”对应的储物关键词为“河虾、对虾、龙虾、基围虾、草虾、红螯虾”。

需要说明的是，表1中储物仅以下述几个食物为例，每个储物标准名称对应的储物关键词也只是示例性说明。比如，储物标准名称“番茄”对应的储物关键词并不限定于表1中列举的四个，还可以包括其他词语，本申请实施例对此不作限定。

表1

储物标准名称	储物关键词
		番茄	西红柿、番茄、洋柿子、番柿
马铃薯	马铃薯、土豆、洋芋、番仔薯、山药蛋
		上海青	上海青、青菜、瓢菜、小白菜、小油菜、青江菜
菠萝	菠萝、凤梨、黄梨
		虾	河虾、对虾、龙虾、基围虾、草虾、红螯虾

智能冰箱在获取到第一对应关系后，可以从第一对应关系中获取到与目标储物关键词对应的储物标准名称，以得到目标储物标准名称。

示例地，如果目标储物关键词为“洋芋”，第一对应关系如表1示例所述。在获取到第一对应关系后，智能冰箱可以从第一对应关系中确定“洋芋”对应的储物标准名称为“马铃薯”，进而得到目标储物标准名称。

可选地，步骤一的实现方式不限于上述从第一对应关系中获取目标储物标准名称的方法，也可以采用其他方式实现，例如，通过自适应学习网络模型来确定目标储物标准名称，本申请实施例对此不作限定。

其中，自适应学习网络是预先经过小规模的样本训练而成的，训练自适应学习网络的实现过程可以为：获取多个训练样本、针对多个训练样本中每个训练样本的标签。其中，每个训练样本为一个储物关键词，每个训练样本的标签为相应储物关键词对应的储物标准名称，每个训练样本的标签是人工标注的。然后将多个训练样本、针对多个训练样本中每个训练样本的标签输入至初始化自适应学习网络中，初始化自适应学习网络经过学习便可得到上述自适应学习网络。经过该训练过程，自适应学习网络便可用于基于目标储物关键词，确定目标储物标准名称。

智能冰箱在确定目标储物标准名称后，可以基于步骤二得到目标储物管理信息。

在一些实施例中，步骤二的实现过程可以为：步骤1：智能冰箱基于目标储物标准名称，确定与目标储物标准名称对应的目标储物类别。步骤2：智能冰箱基于目标储物类别，确定与目标储物类别对应的目标储物管理信息。

示例地，步骤1的实现过程可以为：智能冰箱从储物知识库中获取第二对应关系，第二对应关系包括多个储物类别、以及与多个储物类别一一对应的储物标准名称，每个储物类别对应多个储物标准名称。从第二对应关系中，获取与目标储物标准名称匹配的储物类别，得到目标储物类别。

其中，第二对应关系也可以由储物知识库预先配置，储物知识库预先配置多个储物类别，以及多个储物标准名称，每个储物类别对应多个储物标准名称。示例地，当储物为食物时，储物类别可以为水果、蔬菜、蛋奶、水产、菌类、豆类等类别。当储物为菜肴时，储物类别可以为素菜、荤菜、面食、甜点、汤等类别。

另外，一个储物标准名称还可以对应多个储物类别。比如，储物标准名称“番茄”对应的储物类别可以为“水果”，也可以为“蔬菜”，还可以为“水果”和“蔬菜”。

示例地，第二对应关系可以如下表2所示，储物以食物为例。储物类别“水果”对应的储物标准名称包括“苹果、梨、香蕉、葡萄、菠萝、哈密瓜、芒果”。储物类别“蔬菜”对应的储物标准名称包括“番茄、马铃薯、上海青、萝卜、芹菜、白菜”。储物类别“蛋奶”对应的储物标准名称包括“鸡蛋、鸭蛋、鹅蛋、牛奶、羊奶、酸奶”。储物类别“水产”对应的储物标准名称包括“鱼、虾、蟹、贝类、藻类”。储物类别“菌类”对应的储物标准名称包括“平菇、香菇、金针菇、竹荪、木耳、银耳”。储物类别“豆类”对应的储物标准名称包括“红豆、蚕豆、绿豆、黑豆、黄豆、芸豆”。本申请实施例中将储物标准名称“番茄”对应于储物类别“蔬菜”中。

表2

储物类别	储物标准名称
		水果	苹果、梨、香蕉、葡萄、菠萝、哈密瓜、芒果
蔬菜	番茄、马铃薯、上海青、萝卜、芹菜、白菜
		蛋奶	鸡蛋、鸭蛋、鹅蛋、牛奶、羊奶、酸奶
水产	鱼、虾、蟹、贝类、藻类
		菌类	平菇、香菇、金针菇、竹荪、木耳、银耳
豆类	红豆、蚕豆、绿豆、黑豆、黄豆、芸豆

智能冰箱在获取到第二对应关系后，可以从第二对应关系中获取到与目标储物标准名称对应的储物类别，以得到目标储物类别。

示例地，如果目标储物标准名称为“马铃薯”，第二对应关系如表2示例所述。在获取到第二对应关系后，智能冰箱可以从第二对应关系中确定“马铃薯”对应的储物类别为“蔬菜”，进而得到目标储物类别。

可选地，步骤1的实现方式不限于上述从第二对应关系中获取目标储物类别的方法，也可以采用其他方式实现，本申请实施例对此不作限定。

智能冰箱在确定目标储物类别后，可以基于步骤2得到与目标储物类别对应的目标储物管理信息。

示例地，步骤2的实现过程可以为：智能冰箱从储物知识库中获取第三对应关系，第三对应关系包括多个储物类别、以及与多个储物类别一一对应的多个储物管理信息。从第三对应关系中，获取与目标储物类别匹配的储物管理信息，得到目标储物管理信息。

其中，第三对应关系也可以由储物知识库预先配置，储物知识库预先配置多个储物类别，以及多个储物管理信息。

示例地，第三对应关系可以如下表3所示，储物类别仅以水果、蔬菜、蛋奶和水产四个类别示例。储物类别“水果”对应的储物管理信息包括“保存时间：3-7天，存储温度：5-10度，存储湿度：90％-95％”。储物类别“蔬菜”对应的储物管理信息包括“保存时间：2-3天，存储温度：3-8度，存储湿度：80％-90％”。储物类别“蛋奶”对应的储物管理信息包括“保存时间：2-3天，存储温度：0度，存储湿度：80％-90％”。储物类别“水产”对应的储物管理信息包括“保存时间：30-90天，存储温度：≤-18度，存储湿度：85％-90％”。

表3

储物类别	储物管理信息
		水果	保存时间：3-7天，存储温度：5-10度，存储湿度：90％-95％
蔬菜	保存时间：2-3天，存储温度：3-8度，存储湿度：80％-90％
		蛋奶	保存时间：2-3天，存储温度：0度，存储湿度：80％-90％
水产	保存时间：30-90天，存储温度：≤-18度，存储湿度：85％-90％

智能冰箱在获取到第三对应关系后，可以从第三对应关系中获取到与目标储物类别对应的储物管理信息，以得到目标储物管理信息。

示例地，如果目标储物类别为“蔬菜”，第三对应关系如表3示例所述。在获取到第三对应关系后，智能冰箱可以从第三对应关系中确定“蔬菜”对应的储物管理信息为“保存时间：2-3天，存储温度：3-8度，存储湿度：80％-90％”，进而得到目标储物管理信息。

可选地，步骤三的实现方式不限于上述从第三对应关系中获取目标储物管理信息的方法，也可以采用其他方式实现，本申请实施例对此不作限定。

上述第一对应关系、第二对应关系、以及第三对应关系均通过储物知识库配置。冰箱中存储的储物愈见丰富，储物知识库中可能未配置某些储物。这种情况下，可以由人工将该储物信息(储物关键词和储物标准名称)添加至储物知识库中，并更新相应的储物类别和储物管理信息。如此，后续智能冰箱就可以自动化确定储物的管理信息，以减少用户操作。

步骤105：在储物管理界面上，显示目标储物管理信息。

在得到目标储物管理信息后，智能冰箱可以在储物管理界面上显示该目标储物管理信息。这样，用户就可以基于目标储物管理信息对目标储物进行管理。

另外，由于步骤104中智能冰箱基于目标储物关键词，得到目标储物标准名称。因此，智能冰箱还可以在储物管理界面上显示目标储物标准名称、以及目标储物管理信息，以提醒用户能够放入智能冰箱的储物和该储物的管理信息。

另外，智能冰箱还可以基于储物的保存时间在储物管理界面生成提示信息，以提醒用户及时处理储物。比如，智能冰箱中存储的储物为“芹菜、上海青、白菜”等蔬菜，“蔬菜”的储物管理信息为“保存时间：2-3天”。智能冰箱可以在储物管理界面上生成提示信息来提醒用户，该提示信息可以为“蔬菜已保存1天，可保存时间还剩2天”。

下面以图10为例，对本申请实施例提供的确定储物管理信息的方法进一步说明。

图10是本申请实施例提供的一种确定储物管理信息的方法。如图10所示，首先智能冰箱获取初始储物信息，对初始储物信息进行预处理，即对初始储物信息进行纠错。然后对处理后的初始储物信息进行识别，以得到与初始储物信息对应的目标储物关键词。在得到目标储物关键词后，智能冰箱基于储物知识库得到目标储物管理信息，并显示目标储物管理信息。

在本申请实施例中，用户在储物管理界面的用户输入控件上操作以输入初始储物信息，这样可以减少错误识别储物的情况。而且，在得到初始储物信息后，基于初始储物信息确定目标储物关键词，基于目标储物关键词确定目标储物管理信息，并在储物管理界面上显示该目标储物管理信息。因此，本申请实施例在得到储物信息后，可以基于储物信息自动化确定储物管理信息，对用户进行提醒。

图11是本申请实施例提供的一种智能冰箱的结构示意图，该智能冰箱可以由软件、硬件或者两者的结合实现。该智能冰箱用于：

显示储物管理界面，储物管理界面包括用户输入控件；

响应于用户输入控件检测到的储物输入指令，获取初始储物信息；

对初始储物信息进行识别，以确定初始储物信息对应的目标储物关键词；

基于目标储物关键词确定目标储物管理信息；

在储物管理界面上显示目标储物管理信息。

可选地，用户输入控件包括语音输入控件，该智能冰箱包括图像采集模块；

智能冰箱用于：

响应于语音输入控件检测到的储物输入指令，控制图像采集模块采集购物小票的图像信息，得到初始储物信息。

可选地，智能冰箱用于：

识别图像信息中的第一关键词和第二关键词，第一关键词为指示商品名称的文字，第二关键词为指示资源转移总额的文字；

将图像信息中第一关键词和第二关键词之间的区域作为有效区域；

对有效区域进行识别，得到目标储物关键词。

可选地，智能冰箱用于：

确定目标储物关键词对应的储物是否属于参考类型的储物，参考类型的储物为需要放入智能冰箱进行保存的储物；

如果目标储物关键词对应的储物属于参考类型的储物，则执行基于目标储物关键词确定目标储物管理信息的操作。

可选地，智能冰箱用于：

基于目标储物关键词，确定与目标储物关键词对应的目标储物标准名称；

基于目标储物标准名称，确定与目标储物标准名称对应的目标储物管理信息；

在储物管理界面上显示目标储物标准名称，以及目标储物管理信息。

可选地，智能冰箱用于：

从储物知识库中获取第一对应关系，第一对应关系包括多个储物标准名称、以及与多个储物标准名称一一对应的储物关键词，每个储物标准名称对应至少一个储物关键词；

从第一对应关系中，获取与目标储物关键词匹配的储物标准名称，得到目标储物标准名称。

可选地，储物管理信息包括储物的保存时间、储物的存储温度以及储物的存储湿度中的一者或多者。

在本申请实施例中，用户在储物管理界面的用户输入控件上操作以输入初始储物信息，这样可以减少错误识别储物的情况。而且，在得到初始储物信息后，基于初始储物信息确定目标储物关键词，基于目标储物关键词确定目标储物管理信息，并在储物管理界面上显示该目标储物管理信息。因此，本申请实施例在得到储物信息后，可以基于储物信息自动化确定储物管理信息，对用户进行提醒。

需要说明的是：上述实施例提供的智能冰箱在确定储物管理信息时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的智能冰箱与确定储物管理信息的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中确定储物管理信息的方法的步骤。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

值得注意的是，本申请实施例提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。

应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。

也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的确定储物管理信息的方法的步骤。

需要说明的是，本申请实施例所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请实施例中涉及到的初始储物信息等都是在充分授权的情况下获取的。

应当理解的是，本文提及的“至少一个”是指一个或多个，“多个”是指两个或两个以上。在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种确定储物管理信息的方法，其特征在于，所述方法应用于智能冰箱，所述方法包括：

所述智能冰箱显示储物管理界面，所述储物管理界面包括用户输入控件；

响应于所述用户输入控件检测到的储物输入指令，所述智能冰箱获取初始储物信息；

所述智能冰箱对所述初始储物信息进行识别，以确定所述初始储物信息对应的目标储物关键词；

所述智能冰箱基于所述目标储物关键词，确定与所述目标储物关键词对应的目标储物标准名称；

所述智能冰箱基于所述目标储物标准名称，确定与所述目标储物标准名称对应的目标储物类别；

所述智能冰箱基于所述目标储物类别，确定与所述目标储物类别对应的目标储物管理信息，所述目标储物管理信息为反映所述目标储物保存状况的信息，所述目标储物管理信息至少包括所述目标储物的保存时间，还包括所述目标储物的存储温度和/或所述目标储物的存储湿度；

所述智能冰箱在所述储物管理界面上显示所述目标储物标准名称和所述目标储物管理信息；

所述智能冰箱基于所述目标储物的保存时间，在所述储物管理界面上显示提示信息，所述提示信息包括所述目标储物已保存时间和可保存时间，以提醒用户及时处理所述目标储物。

2.如权利要求1所述的方法，其特征在于，所述用户输入控件包括图像输入控件，所述智能冰箱包括图像采集模块；

所述响应于所述用户输入控件检测到的储物输入指令，所述智能冰箱获取初始储物信息，包括：

响应于所述图像输入控件检测到的储物输入指令，所述智能冰箱控制所述图像采集模块采集购物小票的图像信息，得到所述初始储物信息。

3.如权利要求2所述的方法，其特征在于，所述智能冰箱对所述初始储物信息进行识别，以确定所述初始储物信息对应的目标储物关键词，包括：

所述智能冰箱识别所述图像信息中的第一关键词和第二关键词，所述第一关键词为指示商品名称的文字，所述第二关键词为指示资源转移总额的文字；

所述智能冰箱将所述图像信息中所述第一关键词和所述第二关键词之间的区域作为有效区域；

所述智能冰箱对所述有效区域进行识别，得到所述目标储物关键词。

4.如权利要求1所述的方法，其特征在于，所述智能冰箱对所述初始储物信息进行识别，以确定所述初始储物信息对应的目标储物关键词之后，所述方法还包括：

所述智能冰箱确定所述目标储物关键词对应的储物是否属于参考类型的储物，所述参考类型的储物为需要放入所述智能冰箱进行保存的储物；

如果所述目标储物关键词对应的储物属于参考类型的储物，所述智能冰箱则执行基于所述目标储物关键词确定目标储物管理信息的操作。

5.如权利要求4所述的方法，其特征在于，所述智能冰箱基于所述目标储物关键词，确定与所述目标储物关键词对应的目标储物标准名称，包括：

所述智能冰箱从储物知识库中获取第一对应关系，所述第一对应关系包括多个储物标准名称、以及与所述多个储物标准名称一一对应的储物关键词，每个储物标准名称对应至少一个储物关键词；

所述智能冰箱从所述第一对应关系中，获取与所述目标储物关键词匹配的储物标准名称，得到所述目标储物标准名称。

6.一种智能冰箱，其特征在于，所述智能冰箱用于：

显示储物管理界面，所述储物管理界面包括用户输入控件；

响应于所述用户输入控件检测到的储物输入指令，获取初始储物信息；

对所述初始储物信息进行识别，以确定所述初始储物信息对应的目标储物关键词；

基于所述目标储物关键词，确定与所述目标储物关键词对应的目标储物标准名称；

基于所述目标储物标准名称，确定与所述目标储物标准名称对应的目标储物类别；

基于所述目标储物类别，确定与所述目标储物类别对应的目标储物管理信息，所述目标储物管理信息为反映所述目标储物保存状况的信息，所述目标储物管理信息至少包括所述目标储物的保存时间，还包括所述目标储物的存储温度和/或所述目标储物的存储湿度；

在所述储物管理界面上显示所述目标储物标准名称和所述目标储物管理信息；

基于所述目标储物的保存时间，在所述储物管理界面上显示提示信息，所述提示信息包括所述目标储物已保存时间和可保存时间，以提醒用户及时处理所述目标储物。

7.如权利要求6所述的智能冰箱，其特征在于，所述用户输入控件包括图像输入控件，所述智能冰箱包括图像采集模块；

所述智能冰箱用于：

响应于所述图像输入控件检测到的储物输入指令，控制所述图像采集模块采集购物小票的图像信息，得到所述初始储物信息。

8.如权利要求7所述的智能冰箱，其特征在于，所述智能冰箱用于：

识别所述图像信息中的第一关键词和第二关键词，所述第一关键词为指示商品名称的文字，所述第二关键词为指示资源转移总额的文字；

将所述图像信息中所述第一关键词和所述第二关键词之间的区域作为有效区域；

对所述有效区域进行识别，得到所述目标储物关键词。