CN116045593A - 食材保鲜管理方法和冰箱 - Google Patents

Abstract

本发明提供一种食材保鲜管理方法和冰箱，其中方法包括：获取单据图像和箱内图像，所述单据图像是采集购物单据所得，所述箱内图像是采集冰箱内部所得；对所述单据图像进行文字识别，得到所述单据图像中的购入食材；基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，并基于购入日期确定所述新增食材的存放起始日期；基于所述新增食材的存放起始日期，进行食材保鲜管理。本发明提供的方法和冰箱，用户仅需提供购物单据，无需参与新增食材的录入环节，实现了新增食材的快速自动录入，在保证新增食材录入的可靠性和准确性的同时，提高了录入效率，由此降低了食材保鲜管理的应用门槛，有助于扩宽食材保鲜管理的应用范畴。

Description

食材保鲜管理方法和冰箱

技术领域

本发明涉及电器技术领域，尤其涉及一种食材保鲜管理方法和冰箱。

背景技术

冰箱是生产、生活中常用的制冷保鲜设备。用户通常将食材放入冰箱，以保证在一定的保鲜周期内维持食材的新鲜，以便于用户下次食用。但是用户将食材放入冰箱之后，时常忘记冰箱内部存储食材的具体情况，导致冰箱内的食材可能因为未被及时食用而变质，造成资源浪费。

针对这一情况，一些冰箱加设了食材保鲜管理功能，可以在冰箱内食材临期时提示用户及时食用，但是食材的临期判断需要用户在存放食材时自行输入存放食材的品类、保质期等信息，操作繁琐，费时费力，限制了食材保鲜管理功能的应用。

发明内容

本发明提供一种食材保鲜管理方法和冰箱，用以解决现有技术中的缺陷。

本发明提供一种食材保鲜管理方法，包括：

获取单据图像和箱内图像，所述单据图像是采集购物单据所得，所述箱内图像是采集冰箱内部所得；

对所述单据图像进行文字识别，得到所述单据图像中的购入食材；

基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，并基于购入日期确定所述新增食材的存放起始日期；

基于所述新增食材的存放起始日期，进行食材保鲜管理。

根据本发明提供的一种食材保鲜管理方法，所述基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，包括：

对所述箱内图像进行食材检测，得到所述存放食材；

对所述购入食材和所述存放食材进行匹配，将匹配成功的食材确定为所述新增食材。

根据本发明提供的一种食材保鲜管理方法，所述基于购入日期确定所述新增食材的存放起始日期，包括：

确定所述新增食材的食材类型；

若所述食材类型为短期存储类，则将所述购入日期确定为所述新增食材的存放起始日期。

根据本发明提供的一种食材保鲜管理方法，所述确定所述新增食材的食材类型，之后还包括：

若所述食材类型为长期存储类，则发送起始时间确认提示；

接收返回的起始时间确认信息，基于所述起始时间确认信息，确定所述新增食材的存放起始日期。

根据本发明提供的一种食材保鲜管理方法，所述基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，并基于购入日期确定所述新增食材的存放起始日期，之后还包括：

获取第一操作图像，对所述第一操作图像进行动作识别和食材检测，得到用户取出的耗用食材；

获取所述耗用食材被取出后动作监控时间内的第二操作图像，对所述第二操作图像进行动作识别和食材检测，若未检测到所述耗用食材的放回动作，则删除所述耗用食材的存放起始日期。

根据本发明提供的一种食材保鲜管理方法，所述基于所述新增食材的存放起始日期，进行食材保鲜管理，包括：

基于所述新增食材的存放起始日期，确定所述新增食材的存放时间；

若所述新增食材的保质期与所述存放时间之差小于保鲜监控时间，则发送所述新增食材的临期提示。

根据本发明提供的一种食材保鲜管理方法，所述获取单据图像和箱内图像，包括：

获取所述单据图像；

在获取所述单据图像后存放监控时间内，控制摄像头采集所述冰箱内部的箱内图像。

本发明还提供一种食材保鲜管理装置，包括：

图像获取单元，用于获取单据图像和箱内图像，所述单据图像是采集购物单据所得，所述箱内图像是采集冰箱内部所得；

文字识别单元，用于对所述单据图像进行文字识别，得到所述单据图像中的购入食材；

起始日期计算单元，用于基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，并基于购入日期确定所述新增食材的存放起始日期；

保鲜管理单元，用于基于所述新增食材的存放起始日期，进行食材保鲜管理。

本发明还提供一种冰箱，包括如上所述的食材保鲜管理装置。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述食材保鲜管理方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述食材保鲜管理方法的步骤。

本发明提供的食材保鲜管理方法和冰箱，通过对单据图像进行文字识别以获取购入食材，并结合购入食材和存放食材确定新增食材，从而对新增食材进行食材保鲜管理，在此过程中，用户仅需提供购物单据即可，无需参与新增食材的录入环节，实现了新增食材的快速自动录入，在保证新增食材录入的可靠性和准确性的同时，提高了录入效率，由此降低了食材保鲜管理的应用门槛，有助于扩宽食材保鲜管理的应用范畴。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的食材保鲜管理方法的流程示意图之一；

图2是本发明提供的新增食材确定方法的流程示意图；

图3是本发明提供的新增食材的存放起始日期确定方法的流程示意图；

图4是本发明提供的食材取用监控方法的流程示意图；

图5是本发明提供的食材保鲜管理装置的结构示意图；

图6是本发明提供的冰箱的结构示意图；

图7是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在厨房场景中，用户常常买回一堆食材放进冰箱中，一段时间之后发现冰箱中的部分食材已经过期，可能的原因是：第一，用户不记得或者不清楚某些食材的保质期和最佳赏味时间，没有意识到食材过期，或者错过食材最新鲜美味的时候，导致了食材浪费；第二，用户虽然清楚地知道食材的保鲜期，但是因为习惯把新买的食材堆在之前存放的食材上面，每次从冰箱中取食材时也只考虑到表面上的食材，导致堆叠在下面的食材被遗忘，或者因为忙碌导致记不住哪些食材快要到期。

针对上述问题，并且为了避免用户手动录入食材的麻烦，本发明实施例提供了一种食材保鲜管理方法，该方法可以应用于冰箱内置的处理器。图1是本发明提供的食材保鲜管理方法的流程示意图之一，如图1所示，该方法包括：

步骤110，获取单据图像和箱内图像，所述单据图像是采集购物单据所得，所述箱内图像是采集冰箱内部所得。

具体地，用户在采购食材时，通常会存留购物单据，此处的购物单据可以是超市小票、市场收据一类的纸质单据，也可以是线上支付后购物软件生成的订单详情页面，购物单据中包含了用户具体采购的各项食材的信息，例如食材名称、食材品类、食材价格等，通过采集购物单据即可得到单据图像，此处，采集购物单据可以是应用冰箱上装设的摄像头拍摄纸质购物单据，也可以是应用智能手机、平板电脑等智能终端拍摄纸质购物单据后传输到冰箱内置的处理器，还可以是应用智能终端对订单详情页面进行截图后传输到冰箱内置的处理器。

可以理解的是，单据图像中同样涵盖了购物单据中的文本信息，因此单据图像中同样涵盖了购物单据中用户具体采购的各项食材的信息。

冰箱箱体上可以装设摄像头，用于采集冰箱箱体内的食材存放情况，从而得到箱内图像，箱体上的摄像头可以每隔预设时间执行一次图像采集，也可以在检测到冰箱门打开或者关闭时执行图像采集。由此得到的箱内图像，包含了冰箱内存放的各食材的图像信息。

进一步地，考虑到用户的使用习惯，通常用户在购物返家之后，会先拍摄购物单据，再将采购的食材放入冰箱，因此处理器获取的单据图像的采集时间，可以在获取的箱内图像的采集时间之前，即处理器可以先获取单据图像，在得到单据图像之后的一段时间内，触发箱内图像的采集，从而得到用户将最新采购的食材放入冰箱之后的箱内图像。

步骤120，对所述单据图像进行文字识别，得到所述单据图像中的购入食材。

具体地，在得到单据图像之后，即可对单据图像进行文字识别，此处文字识别的方式可以是OCR(Optical Character Recognition，光学字符识别)，通过文字识别可以得到单据图像中包含的所有文本，在此基础上，可以通过对得到的文本进行实体识别或者食材名称匹配等方式，获取文本中包含的食材名称，从而确定单据图像中指示的此次采购的食材，即购入食材。

步骤130，基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，并基于购入日期确定所述新增食材的存放起始日期。

具体地，针对采集所得的箱内图像，可以通过对箱内图像进行目标检测，以获取箱内图像中包含的食材，作为箱内图像中的存放食材。此处，存放食材即通过图像检测得到的存放在冰箱内的食材。

通过比对基于单据图像确定的购入食材，以及基于箱内图像确定的存放食材，可以快速定位冰箱内的哪些食材是本次采购后放入冰箱的，即冰箱内的哪些食材属于新增食材。购入食材和存放食材的比对过程，无需人工参与即可实现新增食材的快速录入，在保证新增食材录入的可靠性和准确性的同时，极大程度上削减了新增食材录入过程中用户操作的环节，

在得到新增食材之后，即可基于购入日期确定新增食材的存放起始日期。此处，购入日期可以是采集购物单据、获取单据图像的日期，也可以是通过对单据图像进行文字识别得到购物单据中的购买日期，本发明实施例对此不作具体限定。具体在确定新增食材的存放起始日期时，可以直接将购入日期作为新增食材的存放起始日期，也可以根据新增食材的品类，获取预先存储的该类食材从生产到售卖所需的时间，在购入日期的基础上反推存放起始日期，本发明实施例对此不作具体限定。

步骤140，基于所述新增食材的存放起始日期，进行食材保鲜管理。

具体地，在得到新增食材的存放起始日期之后，即可结合新增食材的保质期，对新增食材进行食材保鲜管理，具体可以根据食材的存放起始日期，累计食材在冰箱中的存储时间，并将存储时间与食材的保质期或者赏味期进行比较，如果存储时间临近保质期或者赏味期，则可以将对应食材作为临期食材，向用户推送临期食材的信息，以提示用户尽快食用。此处向用户推送临期食材的信息，可以是将临期食材的信息发送到智能终端以供用户查看，也可以是将临期食材的信息通过冰箱箱体上的显示屏幕进行显示，并且播放语音提示用户，本发明实施例对此不作具体限定。

本发明实施例提供的方法，通过对单据图像进行文字识别以获取购入食材，并结合购入食材和存放食材确定新增食材，从而对新增食材进行食材保鲜管理，在此过程中，用户仅需提供购物单据即可，无需参与新增食材的录入环节，实现了新增食材的快速自动录入，在保证新增食材录入的可靠性和准确性的同时，提高了录入效率，由此降低了食材保鲜管理的应用门槛，有助于扩宽食材保鲜管理的应用范畴。

基于上述实施例，步骤130中，所述基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，包括：

对所述箱内图像进行食材检测，得到所述存放食材；

对所述购入食材和所述存放食材进行匹配，将匹配成功的食材确定为所述新增食材。

具体地，针对采集所得的箱内图像，可以对箱内图像进行食材检测，此处进行食材检测可以是将箱内图像输入到预先训练好的食材检测模型中，由食材检测模型进行检测，也可以是将箱内图像传输到云端服务器，由云端服务器对箱内图像进行食材检测再将检测结果返回到处理器，本发明实施例对此不作具体限定。由此得到的食材检测结果，即可以作为冰箱内的存放食材。

在确定购入食材和存放食材之后，可以将此两者进行匹配，如果匹配成功，则说明该食材是本次购入并且存放至冰箱内的食材，即新增食材，如果购入食材并未能够在存放食材中查找到与之匹配的食材，则说明该食材被购入之后并未存放入冰箱，可以忽略，如果存放食材并未能够在购入食材中查找到与之匹配的食材，则说明该食材并不是此次购入的食材，可能是之前就购买并存放到冰箱中的，可以根据之前购买后记录的新增食材，查找该食材的存放起始日期。

基于上述任一实施例，图2是本发明提供的新增食材确定方法的流程示意图，如图2所示，新增食材基于如下步骤确定：

首先，获取单据图像：

用户可以在采购食物后，将购物单据对准冰箱门上电子屏的摄像头，由摄像头拍下清晰的单据图像，并将单据图像传输到冰箱内置的处理器。

其次，对单据图像进行文字识别，得到购入食材：

处理器可以对单据图像进行文字识别，并从文字识别结果中获取购物单据中所有食材的名称，并将由此得到的食材作为购入食材。进一步地，可以对购物单据中的所有食材的名称进行分类，将同一食材类别下的食材作为一类购入食材。

接着，识别获取单据图像后一段时间内的存放食材：

以获取单据图像的时间为节点，识别在此之后一段时间内存放入冰箱中的食材，将此部分食材作为存放食材。此处的时间范畴可以是半个小时，或者一个小时等。具体的识别方式可以是采集冰箱开门过程中的箱内图像，从而得到箱内新增的食材，作为存放食材。

然后，判断购入食材是否为存放食材：

如果购入食材为存放食材，则可以认为本次采购的食材被存放在冰箱中，可以将该购入食材作为冰箱中的新增食材；如果购入食材不是存放食材，则可以认为本次采购的食材并未被放入冰箱，可以直接删除该购入食材。

最后，针对新增食材，进行保鲜管理：

例如，新增食材为青菜，可以将采集单据图像的日期作为存放起始日期，根据预先设置的最佳赏味期3天，保质期5天，对青菜进行保鲜管理，在存放的第3天提示用户青菜的最佳赏味期即将结束，在存放的第5天提示用户青菜即将过期。

基于上述任一实施例，步骤130中，所述基于购入日期确定所述新增食材的存放起始日期，包括：

确定所述新增食材的食材类型；

若所述食材类型为短期存储类，则将所述购入日期确定为所述新增食材的存放起始日期。

具体地，在基于购入日期确定新增食材的存放起始日期时，可以首先确定新增食材的食材类型，此处针对食材类型的划分可以以食材是否适合长期存储为依据，可以预先设置好不同食材的食材类型，在得到新增食材之后，可以直接从预先设置的不同食材的食材类型中，选取得到新增食材的食材类型。

如果新增食材的食材类型为短期存储类，例如蔬菜、水果，即新增食材具有较短的保质期，不适合长期存储，购入日期与生产日期应较为接近，可以直接将购入日期作为新增食材的存放起始日期。

基于上述任一实施例，步骤130中，所述确定所述新增食材的食材类型，之后还包括：

若所述食材类型为长期存储类，则发送起始时间确认提示；

接收返回的起始时间确认信息，基于所述起始时间确认信息，确定所述新增食材的存放起始日期。

具体地，如果新增食材的食材类型为长期存储类，例如冷冻食品，即新增食材具有较长的保质期，适合长期存储，此类食材的购入日期与生产日期可能存在较大的偏差，因此不宜直接将购入日期作为新增食材的存放起始日期。针对这一情况，可以发送起始时间确认提示，此处起始时间确认提示可以用于提示用户确认是否可以将购入日期设置为存放起始日期，也可以用于提示用户输入真实的生产日期，起始时间确认提示可以发送到智能终端以供用户查看确认，也可以显示在冰箱箱体的显示屏上，还可以以语音播报的形式提示用户确认。

相应地，用户可以通过在智能终端上操作，或者在冰箱箱体的显示屏上操作，再或者以语音的形式返回起始时间确认信息，起始时间确认信息可以确认是否将购入日期设置为存放起始日期，也可以直接包含真实的生产日期。

针对起始时间确认信息指示将购入日期设置为存放起始日期的情况，可以直接将购入日期作为新增食材的存放起始日期；针对起始时间确认信息指示不将购入日期设置为存放起始日期的情况，可以向用户发送起始日期查询信息，并且根据用户返回的真实生产日期，设置新增食材的存放起始日期；针对起始时间确认信息指示真实生产日期的情况，可以直接将其中包含的真实生产日期设置为新增食材的存放起始日期。

本发明实施例提供的方法，针对长期存储类的新增食材，通过与用户交互的方式确定存放起始日期，保证了食材保鲜管理的可靠性。

基于上述任一实施例，图3是本发明提供的新增食材的存放起始日期确定方法的流程示意图，如图3所示，新增食材的存放起始日期确定方法包括：

针对任一新增食材，首先判断该食材是否为长期存储类的食材：

如果是，则通过语音向用户发送起始时间确认提示，询问用户是否可以将购入日期作为该食材的存放起始日期，如果接收到用户肯定的答复，即可直接将购入日期确定为该食材的存放起始日期，如果接收到用户否定的答复，则需要再次通过语音向用户询问该食材的生产日期，从而将询问所得的生产日期作为该食材的存放起始日期。在经过交互确定新增食材的存放起始日期之后，可以结合其存放起始日期和保质期计算存放结束日期，并将放起始日期和存放结束日期显示在屏幕上以供用户确认；

如果不是，则可以直接将购入日期确定为该食材的存放起始日期。

本发明实施例提供的方法，通过语音交互实现存放起始日期的确认，避免了由于食材实际生产日期和购入日期相差较大而导致保质期计算不准的情况。

相关技术中存在内置相机的冰箱，通过视频流分析存取动作，以进行食材识别和食材管理。但是随之而来的问题是，如果用户取出了食材但是仅使用其中的一部分，再次放回时，冰箱会误认为用户添加了新购入的食材，从而错误估计保质期。

针对这一问题，基于上述任一实施例，步骤130之后还包括：

获取第一操作图像，对所述第一操作图像进行动作识别和食材检测，得到用户取出的耗用食材；

获取所述耗用食材被取出后动作监控时间内的第二操作图像，对所述第二操作图像进行动作识别和食材检测，若未检测到所述耗用食材的放回动作，则删除所述耗用食材的存放起始日期。

具体地，第一操作图像是用户打开冰箱柜门进行取出或者存放食材操作时拍摄的图像，此处的第一操作图像可以是多帧连续采集的图像，通过对第一操作图像进行动作识别，可以判断第一操作图像中的用户动作具体是取出还是存放，在确定用户动作为取出的情况下，可以进一步对第一操作图像进行食材检测，从而判断第一操作图像中用户在执行取出动作时，用户手持的食材具体是何种类型的食材，由此得到第一操作图像中指示的，用户取出的耗用食材。

在检测到用户的取出动作之后，即可以发生取出动作的时间为起始节点，监控起始节点之后动作监控时间内是否发生放回动作。此处，动作监控时间即预先设定的监控在取出动作之后是否可能发生放回动作的时间，动作监控时间可以是半小时、1小时、两小时等。

在动作监控时间内，获取第二操作图像，此处第二操作图像同样是用户打开冰箱柜门进行取出或者存放食材操作时拍摄的图像，此处的第二操作图像可以是多帧连续采集的图像。第一操作图像和第二操作图像的区别在于，第一操作图像的采集发生在第二操作图像之前，第二操作图像的采集是在确定第一操作图像中存在用户取出动作的前提下执行的。

通过对第二操作图像进行动作识别，可以判断第二操作图像中的用户动作具体是取出还是存放，在确定用户动作为存放的情况下，可以进一步对第二操作图像进行食材检测，从而判断第二操作图像中用户在执行存放动作时，用户手持的食材具体是何种类型的食材，由此得到第二操作图像中指示的，用户存放的食材。

在此基础上，可以将基于第一操作图像确定的耗用食材，与第二操作图像中指示的用户存放的食材进行比较，如果第二操作图像中用户存放的食材正是第一操作图像中的耗用食材，则可以确定用户将耗用食材中的一部分放回到了冰箱中，即存在放回动作；如果第二操作图像中用户存放的食材与第一操作图像中的耗用食材不同，则可以确定用户存放的并不是之前取出的耗用食材，即不存在放回动作。

在动作监控时间内，针对用户每次开门取出或者存放食物，均会采集第二操作图像进行放回动作检测。如果从其中某一组第二操作图像中检测到放回动作，则可以确定该耗用食材被放回，从而以该耗用食材原先的存放起始日期为起始节点，对该食材进行保鲜管理。如果其中每组第二操作图像中均未检测到针对该耗用食材的放回动作，则说明该耗用食材被取出之后并未放回，则可以从存放食材库中删除该耗用食材，并且删除该耗用食材原先的存放起始日期，此外，还可以通过语音播报或者屏幕显示等方式提示用户，该食材已经被删除。

本发明实施例提供的方法，结合监控图像来分析用户取出食材和放回食材的动作，从而确定真正消耗完食材的日期，避免食材存放起始日期错误记录导致保鲜管理失效的问题。

基于上述任一实施例，图4是本发明提供的食材取用监控方法的流程示意图，如图4所示，在食材保鲜管理阶段，即确定冰箱内各食材的存放起始时间之后，可以针对食材的取用进行监控：

首先，检测取出动作和耗用食材：

当用户从冰箱中取出某食材，首先处理器可以通过内置相机检测到食材被取出的动作，同时识别食材的种类，将取出的食材记为耗用食材。

其次，开始等待：

在检测到取出动作之后，以发生取出动作的时间为起始节点，在一段时间内监控用户是否会将耗用食材放回冰箱。

接着，判断是否放回冰箱：

此处，判断是否放回冰箱可以通过内置相机检测是否存在食材存放的动作，同时识别食材的类型，如果存放的食材与耗用食材相同，则认为存在放回冰箱的动作。

如果存在放回冰箱的动作，则食材库保留该食材，继续保鲜管理，并在食材临期时提示用户尽快食用；如果不存在放回冰箱的动作，则食材库删去该食材，保鲜管理取消。

基于上述任一实施例，步骤140包括：

基于所述新增食材的存放起始日期，确定所述新增食材的存放时间；

若所述新增食材的保质期与所述存放时间之差小于保鲜监控时间，则发送所述新增食材的临期提示。

具体地，食材的存放时间可以理解为食材从生产至今存放的时间长度，存放时间以存放起始日期为起始节点进行累计，例如当前为10月24日，速冻水饺的存放起始日期为同年6月24日，则速冻水饺的存放时间为4个月、

食材的保质期可以是针对不同的品类的食材预先设定的，例如速冻水饺的保质期为12个月，保质期和存放时间之差即食材距离过期的剩余时间，保鲜监控时间即预先设定的提示用户及时食用的时间，保鲜监控时间可以是针对所有食材统一设定的，例如可以统一设置为提前1天，也可以是是针对不同品类的食材分别设置的，例如针对不耐存储的青菜、水果，或者保质期较短的鲜奶，可以将保鲜监控时间设置为1天，即在上述食材过期前1天提示用户及时食用，针对可以长期存储的速冻水饺、冻肉等食材，可以将保鲜监控时间设置为1个月，即在上述食材过期前1个月提示用户及时使用。

基于上述任一实施例，步骤110包括：

获取所述单据图像；

在获取所述单据图像后存放监控时间内，控制摄像头采集所述冰箱内部的箱内图像。

具体地，在新增食材的存放起始日期确定环节，单据图像的获取可以作为判断是否存在新增食材的触发条件，根据用户的操作习惯，通常是先拍摄购物单据，再存放食材，因此处理器可以在获取到单据图像之后，以获取单据图像的时间作为起始节点，监控此后存放监控时间内采集的箱内图像。此处，存放监控时间是预先设定好的，例如可以是半小时、1小时，本发明实施例对此不作具体限定。

基于上述任一实施例，一种食材保鲜方法，包括如下步骤：

1、用户在采购食材后，先将购物单据对准冰箱门上电子屏的摄像头，摄像头拍下清晰的单据图像，并识别单据图像上所有食材的名称，对识别所得的食材，即购入食材进行分类，计入食材库。

此后，识别在购物单据拍摄后半个小时内放入冰箱的食材，并与食材库中的食材比对，删去食材库中没有被放入冰箱的食材，由此得到此次购物的新增食材。

2、根据一般经验，可以预先为每一类食材规定保质期和最佳赏味时间，比如油菜可以归类为青菜，最佳赏味时间为3天，保质期为5天。

针对新增食材中的蔬菜、水果类等不能进行长期保存的食材，可以记录拍摄小票当天的时间作为保质期计算的起始时间，即存放起始日期。

对于新增食材中的冷冻食品等可以进行长期保存的食材，购买日期可能和其生产日期相差较大，这时可以通过语音和用户交流，询问是否将此食材的存放起始日期设置为当天，如果用户回复不可以，则再询问食材的生产日期，经用户确认后将生产日期设置为存放起始日期。所有识别得到的新增食物和存放起始日期都会在电子屏上列出，供用户确认。

3、一旦存放起始日期被设置好，就可以开始针对每种食材进行保鲜管理，即从存放起始日期时，针对保质期进行倒计时。

当用户从冰箱中取出某食材，首先可以通过内置相机检测到食材被取出的动作，同时识别食材的种类，此时开始等待，如果规定的一段时间(比如一个小时)后没有检测到食材被放回冰箱，则认为此食材被完全消耗，从自身的食材库中删除，相应的保质期倒计时也被取消，同时进行语音播报并显示在电子屏上，提醒用户此食材已被删除。

如果在规定时间内用户放回食材，则继续进行保质期倒计时。

当某一食材的保质期倒计时快要结束(比如还有两天)时，可以通过语音和电子屏显示的方式提醒用户尽快食用此食材。

本发明实施例提供的方法，综合图像识别、OCR识别和语音交互技术，以解决现有技术中依靠用户自身记忆来记录食材种类、存储时间等导致记忆混淆，采用便条记录食材信息需要定期更新、清理，操作麻烦，不便于冰箱食材管理的问题。其中，通过OCR文本识别来识别单据图像上的文字来迅速添加食材信息，确定食材的购入日期；结合视频流来分析用户取出食材的动作，且通过图像识别技术来识别食材，确定真正消耗完此食材的日期，整个过程中以语音交互为辅助进行二次确认，防止保质期计算错误。

下面对本发明提供的食材保鲜管理装置进行描述，下文描述的食材保鲜管理装置与上文描述的食材保鲜管理方法可相互对应参照。

图5是本发明提供的食材保鲜管理装置的结构示意图，如图5所示，该装置包括：

图像获取单元510，用于获取单据图像和箱内图像，所述单据图像是采集购物单据所得，所述箱内图像是采集冰箱内部所得；

文字识别单元520，用于对所述单据图像进行文字识别，得到所述单据图像中的购入食材；

起始日期计算单元530，用于基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，并基于购入日期确定所述新增食材的存放起始日期；

保鲜管理单元540，用于基于所述新增食材的存放起始日期，进行食材保鲜管理。

本发明实施例提供的装置，通过对单据图像进行文字识别以获取购入食材，并结合购入食材和存放食材确定新增食材，从而对新增食材进行食材保鲜管理，在此过程中，用户仅需提供购物单据即可，无需参与新增食材的录入环节，实现了新增食材的快速自动录入，在保证新增食材录入的可靠性和准确性的同时，提高了录入效率，由此降低了食材保鲜管理的应用门槛，有助于扩宽食材保鲜管理的应用范畴。

基于上述任一实施例，所述起始日期计算单元530用于：

对所述箱内图像进行食材检测，得到所述存放食材；

对所述购入食材和所述存放食材进行匹配，将匹配成功的食材确定为所述新增食材。

基于上述任一实施例，所述起始日期计算单元530用于：

确定所述新增食材的食材类型；

若所述食材类型为短期存储类，则将所述购入日期确定为所述新增食材的存放起始日期。

基于上述任一实施例，所述起始日期计算单元530用于：

若所述食材类型为长期存储类，则发送起始时间确认提示；

接收返回的起始时间确认信息，基于所述起始时间确认信息，确定所述新增食材的存放起始日期。

基于上述任一实施例，该装置还包括取用检测单元，用于：

获取第一操作图像，对所述第一操作图像进行动作识别和食材检测，得到用户取出的耗用食材；

获取所述耗用食材被取出后动作监控时间内的第二操作图像，对所述第二操作图像进行动作识别和食材检测，若未检测到所述耗用食材的放回动作，则删除所述耗用食材的存放起始日期。

基于上述任一实施例，所述保鲜管理单元540用于：

基于所述新增食材的存放起始日期，确定所述新增食材的存放时间；

若所述新增食材的保质期与所述存放时间之差小于保鲜监控时间，则发送所述新增食材的临期提示。

基于上述任一实施例，所述图像获取单元510用于：

获取所述单据图像；

在获取所述单据图像后存放监控时间内，控制摄像头采集所述冰箱内部的箱内图像。

基于上述任一实施例，图6是本发明提供的冰箱的结构示意图，如图6所示，冰箱600包括上述任一实施例提供的食材保鲜管理装置500。

本发明实施例提供的冰箱通过对单据图像进行文字识别以获取购入食材，并结合购入食材和存放食材确定新增食材，从而对新增食材进行食材保鲜管理，在此过程中，用户仅需提供购物单据即可，无需参与新增食材的录入环节，实现了新增食材的快速自动录入，在保证新增食材录入的可靠性和准确性的同时，提高了录入效率，由此降低了食材保鲜管理的应用门槛，有助于扩宽食材保鲜管理的应用范畴。

图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行食材保鲜管理方法，该方法包括：

获取单据图像和箱内图像，所述单据图像是采集购物单据所得，所述箱内图像是采集冰箱内部所得；

对所述单据图像进行文字识别，得到所述单据图像中的购入食材；

基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，并基于购入日期确定所述新增食材的存放起始日期；

基于所述新增食材的存放起始日期，进行食材保鲜管理。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的食材保鲜管理方法，该方法包括：

获取单据图像和箱内图像，所述单据图像是采集购物单据所得，所述箱内图像是采集冰箱内部所得；

对所述单据图像进行文字识别，得到所述单据图像中的购入食材；

基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，并基于购入日期确定所述新增食材的存放起始日期；

基于所述新增食材的存放起始日期，进行食材保鲜管理。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的食材保鲜管理方法，该方法包括：

获取单据图像和箱内图像，所述单据图像是采集购物单据所得，所述箱内图像是采集冰箱内部所得；

对所述单据图像进行文字识别，得到所述单据图像中的购入食材；

基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，并基于购入日期确定所述新增食材的存放起始日期；

基于所述新增食材的存放起始日期，进行食材保鲜管理。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种食材保鲜管理方法，其特征在于，包括：

获取单据图像和箱内图像，所述单据图像是采集购物单据所得，所述箱内图像是采集冰箱内部所得；

对所述单据图像进行文字识别，得到所述单据图像中的购入食材；

基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，并基于购入日期确定所述新增食材的存放起始日期；

基于所述新增食材的存放起始日期，进行食材保鲜管理。

2.根据权利要求1所述的食材保鲜管理方法，其特征在于，所述基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，包括：

对所述箱内图像进行食材检测，得到所述存放食材；

对所述购入食材和所述存放食材进行匹配，将匹配成功的食材确定为所述新增食材。

3.根据权利要求1所述的食材保鲜管理方法，其特征在于，所述基于购入日期确定所述新增食材的存放起始日期，包括：

确定所述新增食材的食材类型；

若所述食材类型为短期存储类，则将所述购入日期确定为所述新增食材的存放起始日期。

4.根据权利要求3所述的食材保鲜管理方法，其特征在于，所述确定所述新增食材的食材类型，之后还包括：

若所述食材类型为长期存储类，则发送起始时间确认提示；

接收返回的起始时间确认信息，基于所述起始时间确认信息，确定所述新增食材的存放起始日期。

5.根据权利要求1所述的食材保鲜管理方法，其特征在于，所述基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，并基于购入日期确定所述新增食材的存放起始日期，之后还包括：

获取第一操作图像，对所述第一操作图像进行动作识别和食材检测，得到用户取出的耗用食材；

获取所述耗用食材被取出后动作监控时间内的第二操作图像，对所述第二操作图像进行动作识别和食材检测，若未检测到所述耗用食材的放回动作，则删除所述耗用食材的存放起始日期。

6.根据权利要求1至5中任一项所述的食材保鲜管理方法，其特征在于，所述基于所述新增食材的存放起始日期，进行食材保鲜管理，包括：

基于所述新增食材的存放起始日期，确定所述新增食材的存放时间；

若所述新增食材的保质期与所述存放时间之差小于保鲜监控时间，则发送所述新增食材的临期提示。

7.根据权利要求1至5中任一项所述的食材保鲜管理方法，其特征在于，所述获取单据图像和箱内图像，包括：

获取所述单据图像；

在获取所述单据图像后存放监控时间内，控制摄像头采集所述冰箱内部的箱内图像。

8.一种冰箱，其特征在于，包括食材保鲜管理装置，所述食材保鲜管理装置包括：

图像获取单元，用于获取单据图像和箱内图像，所述单据图像是采集购物单据所得，所述箱内图像是采集冰箱内部所得；

文字识别单元，用于对所述单据图像进行文字识别，得到所述单据图像中的购入食材；

起始日期计算单元，用于基于所述购入食材，以及所述箱内图像中的存放食材，确定所述冰箱内的新增食材，并基于购入日期确定所述新增食材的存放起始日期；

保鲜管理单元，用于基于所述新增食材的存放起始日期，进行食材保鲜管理。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述食材保鲜管理方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述食材保鲜管理方法的步骤。

Images