CN116206296A

CN116206296A - 一种食材录入方法及设备

Info

Publication number: CN116206296A
Application number: CN202111446914.7A
Authority: CN
Inventors: 赵启东; 曲磊; 谢飞学; 陆书轩; 李正义; 高语函; 高雪松; 朴艺兰
Original assignee: Hisense Group Holding Co Ltd
Current assignee: Hisense Group Holding Co Ltd
Priority date: 2021-11-30
Filing date: 2021-11-30
Publication date: 2023-06-02

Abstract

本发明实施例涉及智能家电技术领域，尤其涉及一种食材录入方法及设备，用于简化食材录入程序，提高食材录入效率。本发明实施例中，获取待录入的购物清单图像；基于所述购物清单图像，进行图像识别，获取所述购物清单图像中包括的至少一个产品信息；在第一界面显示所述至少一个产品信息中包括的食材信息；响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中。

Description

一种食材录入方法及设备

技术领域

本发明实施例涉及智能家电技术领域，尤其涉及一种食材录入方法及设备。

背景技术

随着智能家电的不断发展，基于机器视觉的食材管理成为家电设备行业发展趋势，例如，通过机器视觉进行冰箱食材的录入。

目前，进行冰箱食材录入的方法主要采用APP(应用程序，Application)手动录入，或者冰箱摄像头识别的方式进行食材录入。然而，第一种通过APP手动录入的方式，食材录入的流程较为繁琐，需要输入大量的食材信息，操作复杂，以及由于现在网上购物发展迅速，购物平台种类繁多，经常存在购物平台无法与智能冰箱的食材管理系统互通，导致采购的食材无法一键存入冰箱食材管理系统的问题，从而难以真正帮助用户便捷管理冰箱现有食材。第二种通过冰箱摄像头识别录入的方式，经常受限于食材的包装，遮挡，光线等问题，导致食材识别率不高，同样难以真正帮助用户管理食材。

因此，需要提供一种更有效的食材录入方案，用于解决食材录入流程繁琐，误识别率高的问题。

发明内容

本发明实施例提供一种食材录入方法及设备，用于解决食材录入流程繁琐，误识别率高的问题。

第一方面，本发明实施例提供的一种食材录入方法，包括：

获取待录入的购物清单图像；基于所述购物清单图像，进行图像识别，获取所述购物清单图像中包括的至少一个产品信息；在第一界面显示所述至少一个产品信息中包括的食材信息，所述食材信息包括食材名称，食材数量以及食材售价中的一种或多种；响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中。

通过上述方式，针对购物清单图像，进行图像识别，确定需要录入到食材数据库中的食材信息，并呈现到移动端界面上，供用户进行最终的确认，从而实现了一键批量录入食材信息，操作简便，有效提升了食材录入的效率以及食材录入的准确性，更加方便用户管理冰箱食材。

在一种可能的设计中，基于所述购物清单图像，进行图像识别，获取所述购物清单图像中包括的至少一个产品信息，包括：

将所述购物清单图像划分为图像区域以及文字区域；识别出所述图像区域对应的至少一个图像识别结果以及所述文字区域对应的至少一个文字识别结果；将所述至少一个图像识别结果与所述至少一个文字识别结果融合，得到所述购物清单中包括的至少一个产品信息。

通过上述方式，提供了一种根据购物清单图像确定产品信息的方式，例如，可以将购物清单图像划分为图像区域以及文字区域，然后分别识别出图像区域对应的至少一个图像识别结果以及文字区域对应的至少一个文字识别结果，从而将图像识别结果以及文字识别结果进行融合，得到至少一个产品信息，通过结合图像以及文字进行产品信息的识别，充分利用了购物清单图像中的内容，有效提升了识别的准确率。

在一种可能的设计中，所述图像识别结果包括所述图像的坐标信息，所述图像表示的产品种类，所述图像识别结果的置信度；所述文字识别结果包括所述文字对应的文本框的坐标信息，所述文字识别结果的置信度，所述文字对应的文本内容，所述文本内容包括产品名称，产品数量以及产品售价中的一种或多种。

通过上述方式，本申请实施例中图像识别结果还可以包括所述图像的坐标信息，所述图像表示的产品名称，所述图像识别结果的置信度，文字识别结果还可以包括所述文字对应的文本框的坐标信息，所述文字识别结果的置信度，所述文字对应的文本内容，从而可以根据图像识别结果以及文字识别结果获取更多内容，适用性更强。

在一种可能的设计中，所述方法还包括：

根据每个图像识别结果的坐标信息以及每个文字识别结果的坐标信息，确定表示同一产品的图像识别结果和文字识别结果；根据每个产品对应的图像识别结果和文字识别结果，确定每个产品的输出结果。

通过上述方式，采用每个图像识别结果的坐标信息，以及每个图像识别结果的坐标信息，来确定同一产品对应的图像识别结果和文字识别结果，进而根据同一产品的图像识别结果以及文字识别结果来确定对应产品的输出结果，能够有效提升产品输出结果的准确性。

在一种可能的设计中，根据每个产品对应的图像识别结果和文字识别结果，确定每个产品的输出结果，包括：

确定同一产品的图像识别结果与文字识别结果是否一致；若是，则所述产品的输出结果包括所述图像识别结果与所述文字识别结果；

若否，则在确定所述图像识别结果的置信度高于所述文字识别结果的置信度时，所述产品的输出结果为所述图像识别结果中的产品种类，以及所述文字识别结果中所述文本内容包括的产品名称，产品数量以及产品售价中的一种或多种；或，在确定所述文字识别结果的置信度高于所述图像识别结果的置信度时，所述产品的输出结果为所述文字识别结果；或，在确定所述文字识别结果的置信度与所述图像识别结果的置信度都小于预先设定的置信度阈值时，则所述产品的输出结果为未知。

通过上述方式，本申请实施例中在进行产品识别结果输出时，可以根据所述产品对应的图像识别结果的置信度以及文字识别结果的置信度来共同确定所述产品的最终输出结果，有效保障了产品的输出结果的准备率。

在一种可能的设计中，在第一界面显示所述至少一个产品信息中包括的食材信息，包括：

从所述至少一个产品信息中确定需要放入冰箱的食材信息；根据冰箱中各存储位置提供的存储条件以及所述食材信息中各食材要求的存储条件之间的匹配程度，确定所述食材信息中各食材在冰箱中的存储位置；在所述第一界面显示所述食材信息中各食材在冰箱中的存储位置。

通过上述方式，本申请实施例中在确定需要放入冰箱的食材信息后，根据冰箱中各存储位置提供的存储条件以及所述食材信息中各食材要求的存储条件之间的匹配程度，确定所述食材信息中各食材在冰箱中的存储位置，以及在显示界面中显示所述食材信息中各食材在冰箱中的存储位置，能够有效提高食材存储管理的智能化。

在一种可能的设计中，响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中之前，还包括：

响应于用户对所述第一界面中显示的所述食材信息的修改指令；根据所述修改指令对所述第一界面中显示的食材信息进行修改。

通过上述方式，本申请实施例在将食材信息录入到食材数据库之前，可以允许用户进一步对需要录入的食材信息进行修改，更加智能，方便。

第二方面，本发明实施例提供的一种食材录入方法，包括：

获取待录入的购物清单图像；接收食材信息，所述食材信息是基于所述购物清单图像，进行图像识别，从获取到的至少一个产品信息中确定的；在第一界面显示所述食材信息，所述食材信息包括食材名称，食材数量、食材售价以及食材在冰箱中的存储位置中的一种或多种；响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中。

在一种可能的设计中，在第一界面显示所述食材信息，包括：

根据冰箱中各存储位置提供的存储条件以及所述食材信息中各食材要求的存储条件之间的匹配程度，确定所述食材信息中各食材在冰箱中的存储位置；在所述第一界面显示所述食材信息中各食材在冰箱中的存储位置。

第三方面，本发明实施例提供的一种食材录入方法，包括：

接收终端设备发送的购物清单图像；基于所述购物清单图像，进行图像识别，获取所述购物清单图像中包括的至少一个产品信息；将所述至少一个产品信息中包括的食材信息发送给所述终端设备，以使所述终端设备在第一显示界面显示所述食材信息，以及在响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中；其中，所述食材信息食材名称，食材数量、食材售价以及食材在冰箱中的存储位置中的一种或多种。

将所述购物清单图像划分为图像区域以及文字区域；

识别出所述图像区域对应的至少一个图像识别结果以及所述文字区域对应的至少一个文字识别结果；

将所述至少一个图像识别结果与所述至少一个文字识别结果融合，得到所述购物清单中包括的至少一个产品信息。

在一种可能的设计中，所述图像识别结果包括所述图像的坐标信息，所述图像表示的产品种类，所述图像识别结果的置信度；

所述文字识别结果包括所述文字对应的文本框的坐标信息，所述文字识别结果的置信度，所述文字对应的文本内容，所述文本内容包括产品名称，产品数量以及产品售价中的一种或多种。

在一种可能的设计中，所述方法还包括：

根据每个图像识别结果的坐标信息以及每个文字识别结果的坐标信息，确定表示同一产品的图像识别结果和文字识别结果；

根据每个产品对应的图像识别结果和文字识别结果，确定每个产品的输出结果。

确定同一产品的图像识别结果与文字识别结果是否一致；

若是，则所述产品的输出结果包括所述图像识别结果与所述文字识别结果；

第四方面，本发明实施例提供了一种智能冰箱，包括：

图像采集器，所述图像采集器用于获取待录入的购物清单图像；

显示器，所述显示器用于显示第一界面；

处理器，所述处理器被配置为基于所述购物清单图像，进行图像识别，获取所述购物清单图像中包括的至少一个产品信息；在第一界面显示所述至少一个产品信息中包括的食材信息，所述食材信息包括食材名称，食材数量、食材售价以及食材在冰箱中的存储位置中的一种或多种；响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中。

在一种可能的设计中，所述处理器，具体用于将所述购物清单图像划分为图像区域以及文字区域；识别出所述图像区域对应的至少一个图像识别结果以及所述文字区域对应的至少一个文字识别结果；将所述至少一个图像识别结果与所述至少一个文字识别结果融合，得到所述购物清单中包括的至少一个产品信息。

在一种可能的设计中，所述处理器，还用于根据每个图像识别结果的坐标信息以及每个文字识别结果的坐标信息，确定表示同一产品的图像识别结果和文字识别结果；根据每个产品对应的图像识别结果和文字识别结果，确定每个产品的输出结果。

在一种可能的设计中，所述处理器，具体用于确定同一产品的图像识别结果与文字识别结果是否一致；

在一种可能的设计中，所述处理器，用于从所述至少一个产品信息中确定需要放入冰箱的食材信息；

根据冰箱中各存储位置提供的存储条件以及所述食材信息中各食材要求的存储条件之间的匹配程度，确定所述食材信息中各食材在冰箱中的存储位置；

在所述第一界面显示所述食材信息中各食材在冰箱中的存储位置。

在一种可能的设计中，所述处理器，还用于响应于用户对所述第一界面中显示的所述食材信息的修改指令；

根据所述修改指令对所述第一界面中显示的食材信息进行修改。

第五方面，本发明实施例提供了一种智能冰箱，包括：

图像采集器，所述图像采集器，用于获取待录入的购物清单图像；

显示器，所述显示器用于显示第一界面；

所述处理器，用于在第一界面显示所述食材信息，所述食材信息是基于所述购物清单图像，进行图像识别，从获取到的至少一个产品信息中确定的，所述食材信息包括食材名称，食材数量、食材售价以及食材在冰箱中的存储位置中的一种或多种；响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中。

在一种可能的设计中，所述处理器，用于根据冰箱中各存储位置提供的存储条件以及所述食材信息中各食材要求的存储条件之间的匹配程度，确定所述食材信息中各食材在冰箱中的存储位置；在所述第一界面显示所述食材信息中各食材在冰箱中的存储位置。

在一种可能的设计中，所述处理器，还用于响应于用户对所述第一界面中显示的所述食材信息的修改指令；根据所述修改指令对所述第一界面中显示的食材信息进行修改。

第六方面，本发明实施例提供了一种食材录入设备，包括：

收发器，所述收发器用于接收终端设备发送的购物清单图像；

处理器，所述处理器用于基于所述购物清单图像，进行图像识别，获取所述购物清单图像中包括的至少一个产品信息；

所述收发器还用于将所述至少一个产品信息中包括的食材信息发送给所述终端设备，以使所述终端设备在第一显示界面显示所述食材信息，以及在响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中；

其中，所述食材信息食材名称，食材数量、食材售价以及食材在冰箱中的存储位置中的一种或多种。

第七方面，本发明实施例还提供一种计算设备，包括：存储器，用于存储计算机程序；处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行如第一方面至第三方面的各种可能的设计中所述的方法。

第八方面，本发明实施例还提供一种计算机可读非易失性存储介质，包括计算机可读程序，当计算机读取并执行所述计算机可读程序时，使得计算机执行如第一方面至第三方面的各种可能的设计中所述的方法。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a示例性示出了本申请实施例中的智能冰箱关闭状态的示意图；

图1b示例性示出了本申请实施例中的智能冰箱打开状态的示意图；

图2示例性示出了本申请实施例中的一种系统架构示意图；

图3示例性示出了本申请实施例中智能冰箱的控制器的功能结构示意图；

图4为本发明实施例提供的一种食材录入方法的流程图；

图5为本发明实施例提供的一种食材录入阶段示意图；

图6为本发明实施例提供的一种购物清单图像示意图；

图7为本发明实施例提供的一种购物清单图像区域划分示意图；

图8为本发明实施例提供的一种食材显示界面示意图。

具体实施方式

为了使本技术领域的人员更好地理解本公开中的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

在本公开的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本公开的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。

针对现有技术中进行冰箱食材录入的流程较为繁琐，操作复杂的问题，为了简化录入过程，提高食材录入效率，在本公开实施例中，提供一种智能冰箱以及食材录入方法。需要说明的是，本实施例提供的方法，不仅使用与智能冰箱，还适用于智能冰柜等设备。

图1a和图1b示例性示出了本申请实施例提供的一种智能冰箱的结构。

如图1a所示，智能冰箱包括箱体10、制冷部(未在图中示出)以及其他附件(比如箱体内可设置照明灯、温度计等，未在图中示出)。制冷系统中主要组成有压缩机、冷凝器、蒸发器和毛细管节流器等部件，自成一个封闭的循环系统。其中，蒸发器可安装在智能冰箱内部的上方，其他部件安装在智能冰箱的背面。

箱体10安装有门体20，门体20上可进一步设置有显示屏50，显示屏50与控制器耦接(如通过电路连接)。

在箱体10上还可设置摄像头模组30，该摄像头模组可采集箱体10前侧区域内的图像，以便能够采集用户向冰箱中存入的食材的图像或采集用户从冰箱中取出的食材的图像。其中，以冰箱门所在平面为第一平面，箱体10前侧区域至少包括已第一平面为基准，向冰箱外方向扩展一定距离的区域，摄像头模组可采集该区域的图像，即能够拍摄到用户打开门体20后进行食材存取过程中的手部动作图像以及所存取的食材的图像。

在一些实施例中，摄像头模组30可设置在箱体10的上部靠近门体20的位置，以便能够拍摄箱体10前侧区域内的图像。

如图1b所示，智能冰箱的箱体10中可包括多个隔层(如图中的隔层50a至隔层50e)，以方便用户对不同食材进行分类存储。其中有些隔层为半开放式(如图中的隔层50a至50c)有些隔层为封闭式(如图中的50d至50e)。本申请实施例中，还可以在隔层设置重量传感器(未在图中示出)，以用来检测所在隔层中的食材的重量。

需要说明的是，图1a和图1b所示的智能冰箱的结构仅为一种示例，本申请实施例对智能冰箱的大小、以及对门体的数量(比如可以是单个门体，也可以是多个门体)以及其他附件的数量和类型等不做限制。比如，在一些实施例中，智能冰箱中设置有射频识别(Radio Frequency Identification，RFID)读写器，可用来读取食材包装上的RFID标签，以获取食材的种类和数量等信息。在另一些实施例中，智能冰箱还具有语音功能，能够识别输入的语音，以获取用户通过语音方式输入的食材的种类和数量等信息。

图2示例性示出了本申请实施例适用的网络架构图。

如图所示，智能冰箱101通过网络102与服务器103连接。服务器103还可以通过移动通信网络104与用户的移动终端105进行通信连接。在一些应用场景中，智能终端通过局域网络连接到网关106，网关106可通过互联网与服务器连接，实现智能冰箱101与服务器103之间的通信。

基于图2所示的系统架构，在一些实施例中，智能冰箱101可实现食材存储位置的规划功能，即对食材的存储位置进行合理规划。在另一些实施例中，智能冰箱101可将待规划的食材的信息发送给服务器103，由服务器103进行食材存储位置的合理规划。进一步地，服务器103还可将食材存储位置规划结果发送给智能冰箱，以使智能冰箱将该规划结果显示在显示屏上或者通过其他方式输出(比如通过语音方式播报)，服务器103也可以将食材存储位置规划结果通过移动通信网络104发送到用户的移动终端105上，以方便用户通过移动终端105查看食材存储位置规划结果。

图3示例性示出了一种智能冰箱中的控制器的结构示意图，该控制器能够实现食材识别以及录入功能。如图所示，该控制器可包括：信息获取模块301、食材确定模块302、位置分配模块303，进一步地，还可包括显示模块304，通信模块305。

信息获取模块301，用于获取待录入的购物清单图像，基于所述购物清单图像，进行图像识别，获取所述购物清单图像中包括的至少一个产品信息；其中，信息获取模块301可以通过智能冰箱中的摄像装置获取待录入的购物清单图像；还可以通过智能冰箱中的通信模块305接收终端设备，例如手机等，传输的所述购物清单图像。

此外，本申请实施例中的所述信息获取模块301还可以获取食材数据库和/或冰箱信息数据库中的信息等。

食材确定模块302，用于从所述至少一个产品信息中确定需要录入的食材信息；

位置分配模块303，用于根据冰箱中各存储位置提供的存储条件以及所述食材信息中各食材要求的存储条件之间的匹配程度，确定所述食材信息中各食材在冰箱中的存储位置。

显示模块304，用于在第一界面显示所述至少一个产品信息中包括的食材信息。进一步的，所述显示模块304还可以在所述第一界面显示所述食材信息中各食材在冰箱中的存储位置。

通信模块305，用于与终端设备或服务器进行通信。

图4示例性示出了本申请实施例提供的食材录入流程的示意图，该流程可由智能冰箱执行，也可由服务器执行。如图所示，该流程可包括如下步骤：

S401：获取待录入的购物清单图像。

其中，本申请实施例中获取待录入的购物清单图像的方式有多种，具体并不限于下述几种：

获取方式1：本申请实施例中获取到的待录入的购物清单图像可以是用户通过终端设备拍摄购物清单页面得到的，以及将拍摄得到的购物清单图像上传给执行设备，例如上传给智能冰箱，或服务器等。

获取方式2：本申请实施例中获取到的待录入的购物清单图像可以是用户通过终端设备截屏购物清单页面得到的，以及将截屏得到的购物清单图像上传给执行设备，例如上传给智能冰箱，或服务器等。

可以理解的，用户可以通过终端设备中的网购软件或者网购平台进行购物，终端设备的网购软件或网购平台中会生成电子购物清单，终端设备可以通过截屏的方式获取电子购物清单的图像并上传给执行设备。

需要说明的是，若网购软件或网购平台中的电子购物清单可以通过图片的方式进行保存时，终端设备可以不需截屏，直接将保存的电子购物清单图像发送给执行设备。

获取方式3：本申请实施例中获取到的待录入的购物清单图像可以是用户通过执行设备拍摄购物清单页面得到的，例如，用户通过智能冰箱中的摄像装置拍摄购物清单，得到所述购物清单的图像等。

需要说明的是，本申请实施例是在用户授权的情况下，或用户自行操作的情况下获取的购物清单的图像，均符合国家相关法律法规要求。

S402：基于所述购物清单图像，进行图像识别，获取所述购物清单图像中包括的至少一个产品信息。

该步骤中，基于所述购物清单图像，进行图像识别时，可以根据所述购物清单图像的布局规律，划分ROI(Region Of Interest，感兴趣区域)，从而基于不同的ROI区域进行识别。

示例性的，假设所述购物清单图像的订单详情页面采用左右布局，例如，界面左侧为商品的图片信息，右侧为商品的名称，价格，规格，数量等文字信息。

因此，本申请实施例可以根据所述布局规律划分ROI区域，将所述购物清单图像划分为图像区域以及文字区域。其中，本申请实施例中可以通过轻量级深度学习方法划分出图片区域和文字区域，在此并不进行限定。

此外，本申请实施例中为了能够有效提升图像识别的准确性，在进行图像识别之前，可以对所述购物清单图像进行滤波等预处理，去除噪声的干扰，提高图像质量。

进一步的，本申请实施例中可以对所述图像区域以及文字区域进行识别，获取所述购物清单图像中包括的至少一个产品信息。

其中，本申请实施例中可以识别出所述图像区域对应的至少一个图像识别结果以及所述文字区域对应的至少一个文字识别结果；然后，将所述至少一个图像识别结果与所述至少一个文字识别结果融合，得到所述购物清单中包括的至少一个产品信息。

例如，本申请实施例中，可以根据每个图像识别结果的坐标信息以及每个文字识别结果的坐标信息，确定表示同一产品的图像识别结果和文字识别结果，然后，根据每个产品对应的图像识别结果和文字识别结果，确定每个产品的输出结果。

可选的，本申请实施例中所述图像识别结果包括所述图像的坐标信息，所述图像表示的产品名称，所述图像识别结果的置信度；所述文字识别结果包括所述文字对应的文本框的坐标信息，所述文字识别结果的置信度，所述文字对应的文本内容，所述文本内容包括产品名称，产品数量以及产品售价中的一种或多种。

进一步的，本申请实施例中为了能够有效提升产品输出结果的准确性，在根据每个产品对应的图像识别结果和文字识别结果，确定每个产品的输出结果时，还可以结合所述产品对应的图像的识别结果的置信度以及所述文字识别结果的置信度来确定所述产品的输出结果，具体并不限于下述几种情况：

情况1：若所述产品的图像识别结果与文字识别结果一致，则所述产品的输出结果包括所述图像识别结果与所述文字识别结果。

情况2：若所述产品的图像识别结果与文字识别结果不一致，且所述图像识别结果的置信度高于所述文字识别结果的置信度，并高于预先设定的置信度阈值时，所述产品的输出结果为所述图像识别结果中的产品种类，以及所述文字识别结果中所述文本内容包括的产品名称，产品数量以及产品售价中的一种或多种。

情况3：若所述产品的图像识别结果与文字识别结果不一致，且所述文字识别结果的置信度高于所述图像识别结果的置信度，并高于预先设定的置信度阈值时，所述产品的输出结果为所述文字识别结果。

情况4：若所述产品的图像识别结果与文字识别结果不一致，且所述文字识别结果的置信度与所述图像识别结果的置信度都小于预先设定的置信度阈值时，则所述产品的输出结果为未知。

S403：在第一界面显示所述至少一个产品信息中包括的食材信息。

可选的，本申请实施例中所述食材信息可以包括食材的种类、数量，售价等信息。其中，食材的数量可以用食材的重量表征，也可以用食材的体积表征(比如一盒1000ml冰淇淋)，还可以用其他单位来表征，比如一捆青菜，或者用食材个体的个数来表征，比如10个鸡蛋。

其中，本申请实施例中基于购物清单图像识别到的至少一个产品中可能并不全是食材。

例如，购物清单中共包括6种产品，分别为一件衣服，一条裤子，白菜2颗，萝卜一个，卷心菜一个，牛肉500g。其中，属于食材的为白菜2颗，萝卜一个，卷心菜一个，牛肉500g。因此，为了更好的提升食材录入的准确率，有效降低用户自行删减录入信息的操作的流程，本申请实施例可以在基于购物清单图像识别到的至少一个产品中，筛选出食材。

进一步的，本申请实施例中还可以根据冰箱中各存储位置提供的存储条件以及所述食材信息中各食材要求的存储条件之间的匹配程度，确定所述食材信息中各食材在冰箱中的存储位置，例如，五花肉适合放到冷冻，娃娃菜适合放到冷藏室，从而在所述第一界面显示所述食材信息中各食材在冰箱中的存储位置，丰富了显示内容，适用性更强。

此外，本申请实施例在通过智能算法从至少一个产品信息中识别出来食材信息，以及食材信息中各食材在冰箱中的存储位置后，将这些信息显示在前端界面，可以允许用户进一步通过语音或触屏选择或修改，确定最终需要添加到冰箱的食材，更好的与用户实现交互。

例如，在所述第一界面显示的所述食材信息包括食材1～食材5，响应于用户对所述第一界面中显示的所述食材信息中食材5删除的修改指令，则根据所述修改指令对所述第一界面中显示的食材5删除，删除后的第一界面中显示的所述食材信息包括食材1～食材4。

S404：响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中。

其中，参阅图5所示，本申请实施例可以将食材录入的过程分为拍摄阶段，识别阶段，显示阶段，校验阶段，录入阶段等五个阶段。

其中，为了更好的了解本申请实施例，下面基于不同执行阶段，对本申请实施例的实现过程进行详细描述。

阶段一：拍摄阶段：

假设，本申请实施例中待录入的购物清单图像如图6所示，其中，所述购物清单图像的订单详情页面采用左右布局，界面左侧为商品的图片信息，右侧为商品的名称，价格，规格，数量等文字信息。

终端设备在通过拍照或者截屏的方式获取到所述购物清单图像后，将所述购物清单图像上传给智能冰箱。

阶段二：识别阶段：

所述智能冰箱获取到所述购物清单图像后，对所述购物清单图像进行图像识别。

如图7所示，将所述购物清单图像，拆分为两个部分，分别是左侧的商品的图片区域和右侧的商品的文字区域。

然后，针对所述图像区域识别得到至少一个图像识别结果，以及针对所述文字区域识别得到至少一个文字识别结果。

其中，针对图像区域，可以利用图片识别算法识别出图像区域中每个图片中的商品种类。

例如，根据上述图7所示的内容，识别出所述购物清单图像中包括的图片1～4，表示的商品种类分别为服饰，水果，水果以及蔬菜。

针对图像区域，还可以通过神经网络进行检测识别，识别出所述图像区域中每个图片对应的检测框的位置坐标<x，y，w，h>以及对应的置信度。其中，位置坐标中的x，y为检测框左上角坐标，w，h为检测框宽度和高度。需要说明的是，在本申请实施例中，识别使用的神经网络可以是但不限于(深度)神经网络、卷积神经网络、深度置信网络、深度堆栈神经网络、深度融合网络、深度递归神经网络、深度循环神经网络、深度贝叶斯神经网络、深度生成网络、深度强化学习等网络结构的一种或其衍生模型。

例如，根据上述图6所示的内容，识别出的所述购物清单图像中包括的4个图片对应的检测框的位置坐标以及置信度如下：

表示产品种类为服饰的图片1对应的检测框的位置坐标为：<100，100，50，50>，置信度为0.93；

表示产品种类为水果的图片2对应的检测框的位置坐标为：<100，150，50，50>，置信度为0.82；

表示产品种类为水果的图片3对应的检测框的位置坐标为：<100，200，50，50>，置信度为0.71；

表示产品种类为蔬菜的图片4对应的检测框的位置坐标为：<100，250，50，50>，置信度为0.58。

其中，为了方便表示，可以将针对图像区域识别出的每个图片表示的商品名称，位置坐标以及对应的置信度表示为{N，x，y，w，h，D}，其中，N表示商品名称，x，y为检测框左上角坐标，w，h为检测框宽度和高度，D为图像识别结果的置信度。例如，针对图像识别区域识别出的每个图像识别结果可以表示为：{短袖，100，100，50，50，0.93}，{香蕉，100，150，50，50，0.82}，{鸡排，100，200，50，50，0.71}，{苹果，100，250，50，50，0.58}。

其中，针对文字区域，可以利用文字识别算法识别出文字区域中每个文本框中的文字信息，例如，根据上述图6所示的内容，识别出所述购物清单图像中包括的4个文本框，每个文本框对应的文字信息如下：

文本框1对应的文字信息：产品名称为短袖，产品数量为1，产品售价为156；

文本框2对应的文字信息：产品种类为蔬菜，产品名称为香蕉，产品数量为700g，产品售价为18.8；

文本框3对应的文字信息：产品种类为禽肉，产品名称为牛排，产品数量为500g，产品售价为30；

文本框4对应的文字信息：产品名称为梨，产品数量为450g，产品售价为16.7；

针对文字区域，还可以通过神经网络进行检测识别，识别出所述文字区域中每个文本框对应的位置坐标<[x1，y1]，[x2，y2]，[x3，y3]，[x4，y4]>以及对应的置信度。其中，位置坐标中的[x1，y1]为文本框左上角坐标，[x2，y2]为文本框右上角坐标，[x3，y3]为文本框右下角坐标，[x4，y4]为文本框左下角坐标。

例如，根据上述图6所示的内容，识别出的所述购物清单图像中包括的4个文本框的位置坐标以及置信度如下：

文本框1对应的位置坐标为：<[160，90]，[260，90]，[260，60]，[160，60]>，置信度为0.98；

文本框2对应的位置坐标为：<[160，140]，[260，140]，[260，110]，[160，110]>，置信度为0.81；

文本框3对应的位置坐标为：<[160，190]，[260，190]，[260，160]，[160，160]>，置信度为0.76；

文本框4对应的位置坐标为：<[160，240]，[260，240]，[260，210]，[160，210]，置信度为0.61。

其中，为了方便表示，可以将针对文字区域识别出的每个文本框表示的文字信息，文本框的位置坐标以及对应的置信度表示为{“text”，[x1，y1]，[x2，y2]，[x3，y3]，[x4，y4]，D}，其中，text表示文本框中的文字信息，[x1，y1]为文本框左上角坐标，[x2，y2]为文本框右上角坐标，[x3，y3]为文本框右下角坐标，[x4，y4]为文本框左下角坐标，D为文字识别结果的置信度。

例如，针对文字识别区域识别出的每个文字识别结果可以表示为：

{“短袖，女款，数量1，售价156”，[160，90]，[260，90]，[260，60]，[160，60]，0.98}，{“芭蕉700g，数量1，售价18.8”，[160，140]，[260，140]，[260，110]，[160，110]，0.81}，{“牛排500g，数量1，售价30”，[160，190]，[260，190]，[260，160]，[160，160]，0.76}，{“梨450g，数量1，售价16.7”，[160，240]，[260，240]，[260，210]，[160，210]，0.61}。

然后，基于每个图像识别结果的坐标信息以及每个文字识别结果的坐标信息，确定表示同一产品的图像识别结果和文字识别结果。

可选的，本申请实施例可以根据下述公式1确定表示同一产品的图像识别结果和文字识别结果。

/>

其中，根据上述公式1可以确定图片1与文本框1表示同一产品，例如产品1，图片2与文本框2表示同一产品，例如产品2，图片3与文本框3表示同一产品，例如产品3，图片4与文本框4表示同一产品，例如产品4。

然后，融合图想识别结果和文字识别结果，根据每个产品对应的图像识别结果和文字识别结果，确定每个产品的输出结果。

其中，本申请实施例中为了能够有效提升产品输出结果的准确性，在根据每个产品对应的图像识别结果和文字识别结果，确定每个产品的输出结果时，还可以结合所述产品对应的图像的识别结果的置信度以及所述文字识别结果的置信度来确定所述产品的输出结果，具体并不限于下述几种情况：

示例性的，假设预先设定的置信度阈值为0.62，其中，产品1对应的图像识别结果的置信度为0.93，产品1对应的文字识别结果的置信度为0.98。

其中，所述图像识别结果中的产品种类为服饰，所述文字识别结果中的文本内容包括产品名称为短袖，产品数量为1，产品售价为156。

由于所述产品1对应的图像识别结果与文字识别结果一致，且所述图像识别结果的置信度与所述文字识别结果的置信度都高于预先设定的置信度阈值0.62，则此时可以将所述产品1对应的图像识别结果，以及所述文字识别结果共同作为所述产品1的输出结果。

例如，所述产品1的输出结果为产品种类为服饰，产品名称为短袖，产品数量为1，产品售价为156。

示例性的，假设预先设定的置信度阈值为0.62，其中，产品2对应的图像识别结果的置信度为0.82，产品2对应的文字识别结果的置信度为0.81。

其中，所述图像识别结果中的产品种类为水果，所述文字识别结果中的文本内容包括产品种类为蔬菜，产品名称为香蕉，产品数量为700g，产品售价为18.8。

由于所述产品2对应的图像识别结果与文字识别结果不一致，且所述图像识别结果的置信度高于所述文字识别结果的置信度，并高于预先设定的置信度阈值0.62，则此时可以将所述产品2对应的图像识别结果中的产品种类，以及所述文字识别结果中所述文本内容包括的产品名称，产品数量以及产品售价作为所述产品2的输出结果。

可以理解的，此时所述文字识别结果中虽然包括产品种类，但由于所述文字识别结果中的产品种类与所述图像识别结果中的产品种类不同，且所述图像识别结果的置信度高于所述文字识别结果的置信度，则所述产品2对应的产品种类以所述图像识别结果为准。

例如，所述产品2的输出结果为产品种类为水果，产品名称为香蕉700g，产品数量为1，产品售价为18.8。

示例性的，假设预先设定的置信度阈值为0.62，其中，产品3对应的图像识别结果的置信度为0.71，产品3对应的文字识别结果的置信度为0.76。

其中，所述图像识别结果中的产品种类为水果，所述文字识别结果中的文本内容包括产品种类为禽肉，产品名称为牛排，产品数量为500g，产品售价为30。

由于所述产品3对应的图像识别结果与文字识别结果不一致，且所述文字识别结果的置信度高于所述图像识别结果的置信度，并高于预先设定的置信度阈值0.62，则此时可以将所述产品3对应的所述文字识别结果作为所述产品3的输出结果。

例如，所述产品3的输出结果为产品种类为禽肉，产品名称为牛排，产品数量为500g，产品售价为30。

示例性的，假设预先设定的置信度阈值为0.62，其中，产品4对应的图像识别结果的置信度为0.58，产品4对应的文字识别结果的置信度为0.61。

其中，由于所述产品4对应的图像识别结果与文字识别结果都低于预先设定的置信度阈值0.62，则此时所述产品的输出结果为未知。

例如，所述产品4的输出结果为未知。

为了更好的了解上述4种情况，具体分析过程可以参见下表1所示。

表1基于图像识别结果与文字识别结果确定的输出结果示意表

其中，通过上述针对所述购物清单图像的识别，可以得出所述购物清单图像中一共包括4种产品，分别为短袖，香蕉，牛排以及未知产品4。

由于本申请实施例中基于购物清单图像识别到的至少一个产品中可能并不全是食材。因此，为了更好的提升食材录入的准确率，有效降低用户自行删减录入信息的操作的流程，本申请实施例可以在基于购物清单图像识别到的至少一个产品中，筛选出食材。

例如，上述4种产品中的短袖并不是食材，则可以将删除短袖，最终筛选出的食材包括香蕉，牛排以及未知产品4。

阶段三：显示阶段：

其中，本申请实施例中可以在智能冰箱的显示界面上显示所述香蕉，牛排以及未知产品4的相关信息。

例如，如图8所示，显示所述香蕉，牛排以及未知产品4的分别对应的数量，要求的存储条件，以及各自在冰箱中的存储位置等。

阶段四：校验阶段：

其中，本申请实施例还可以允许用户进一步通过语音或触屏选择或修改，确定最终需要添加到冰箱的食材，更好的与用户实现交互。

例如，所述智能冰箱接收到用户触发的对所述产品4的修改指令，如将所述产品4修改为鸭梨。

阶段五：录入阶段：

其中，所述智能冰箱在响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中。

例如，将所述香蕉，牛排以及鸭梨的相关信息录入到所述食材数据库中。

需要说明的是，上述实施例仅作为本申请的一种实施例列举，并不构成对本申请进行食材录入的方法的限定。

本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行上述实施例提供的食材录入的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

以上对本申请所提供的技术方案进行了详细介绍，本申请中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种食材录入方法，其特征在于，所述方法包括：

获取待录入的购物清单图像；

基于所述购物清单图像，进行图像识别，获取所述购物清单图像中包括的至少一个产品信息；

在第一界面显示所述至少一个产品信息中包括的食材信息，所述食材信息包括食材名称，食材数量、食材售价以及食材在冰箱中的存储位置中的一种或多种；

响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中。

2.如权利要求1所述的方法，其特征在于，所述基于所述购物清单图像，进行图像识别，获取所述购物清单图像中包括的至少一个产品信息，包括：

将所述购物清单图像划分为图像区域以及文字区域；

3.如权利要求2所述的方法，其特征在于，所述图像识别结果包括所述图像的坐标信息，所述图像表示的产品种类，所述图像识别结果的置信度；

所述文字识别结果包括所述文字对应的文本框的坐标信息，所述文字识别结果的置信度，所述文字对应的文本内容，所述文本内容包括产品种类，产品名称，产品数量以及产品售价中的一种或多种。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

5.如权利要求4所述的方法，其特征在于，所述根据每个产品对应的图像识别结果和文字识别结果，确定每个产品的输出结果，包括：

确定同一产品的图像识别结果与文字识别结果是否一致；

6.如权利要求1～5任一项所述的方法，其特征在于，所述在第一界面显示所述至少一个产品信息中包括的食材信息，包括：

从所述至少一个产品信息中确定需要放入冰箱的食材信息；

在所述第一界面显示所述食材信息以及所述食材信息中各食材在冰箱中的存储位置。

7.如权利要求1～5任一项所述的方法，其特征在于，所述响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中之前，还包括：

响应于用户对所述第一界面中显示的所述食材信息的修改指令；

8.一种食材录入方法，其特征在于，所述方法包括：

获取待录入的购物清单图像；

接收食材信息，所述食材信息是基于所述购物清单图像，进行图像识别，从获取到的至少一个产品信息中确定的；

在第一界面显示所述食材信息，所述食材信息包括食材名称，食材数量、食材售价以及食材在冰箱中的存储位置中的一种或多种；

9.如权利要求8所述的方法，其特征在于，所述在第一界面显示所述食材信息，包括：

10.如权利要求8或9所述的方法，其特征在于，所述响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中之前，还包括：

11.一种食材录入方法，其特征在于，所述方法包括：

接收终端设备发送的购物清单图像；

将所述至少一个产品信息中包括的食材信息发送给所述终端设备，以使所述终端设备在第一显示界面显示所述食材信息，以及在响应于用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中；

12.如权利要求11所述的方法，其特征在于，所述基于所述购物清单图像，进行图像识别，获取所述购物清单图像中包括的至少一个产品信息，包括：

将所述购物清单图像划分为图像区域以及文字区域；

13.如权利要求12所述的方法，其特征在于，所述图像识别结果包括所述图像的坐标信息，所述图像表示的产品种类，所述图像识别结果的置信度；

14.如权利要求13所述的方法，其特征在于，所述方法还包括：

15.如权利要求14所述的方法，其特征在于，所述根据每个产品对应的图像识别结果和文字识别结果，确定每个产品的输出结果，包括：

确定同一产品的图像识别结果与文字识别结果是否一致；

16.一种智能冰箱，其特征在于，包括：

显示器，所述显示器用于显示第一界面；

17.一种智能冰箱，其特征在于，包括：

显示器，所述显示器用于显示第一界面；

18.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行如权利要求1-7任一项所述的方法；或执行如权利要求8-10任一项所述的方法；或执行如权利要求11-15任一项所述的方法。