CN113483525A - 保鲜设备及食材管理方法 - Google Patents

Abstract

本发明是关于一种保鲜设备及食材管理方法，涉及智能电器技术领域，本发明包括：在确定用户打开保鲜设备的门之后，检测用户的动作；若检测到用户的动作为存放动作，则确定存放的食材的当前重量；若当前重量小于存放的食材对应的参考重量，则确定存放的食材的状态为开封状态，并根据开封状态下存放的食材对应的参考保质期，确定存放的食材的保质期；基于存放的食材的保质期进行食材管理。由于本发明实施例将存放的食材的重量与其参考重量对比，能够快速确定食材的开封状态，并在开封状态下确定保质期，提高了用户食用食材的安全性。

Description

保鲜设备及食材管理方法

技术领域

本发明涉及智能电器技术领域，尤其涉及一种保鲜设备及食材管理方法。

背景技术

掌握保鲜设备中每个食品的保质期，及时提醒用户食用，对用户有重大意义。在日常生活中，人们经常往保鲜设备存放奶制品、酒水饮料等快消品食材，经常饮用一部分后继续在保鲜设备存放，然而这些快消品开封与未开封状态下保质期有很大差别，如果不能分辨快消品食材是否开封，很容易造成过期浪费，若用户不慎饮用，甚至会伤害用户身体健康。

目前，保鲜设备内贮存的食材的保质期进行管理的过程为，用户打开冰箱门后，若用户放入保鲜设备时，检测保鲜设备内所贮存食材的当前重量信息，然后当前重量信息和上一次保鲜设备内所贮存食材的重量信息进行对比，若小于上一次冰箱内所贮存食材的重量信息，则说明该食材开封，然后确定开封的食物的保质期。

在上述过程中，判断食材是否开封，是建立在该食材已经存储在保鲜设备内，通过两次检测保鲜设备内的食材的重量的对比，当重量减小了，则确定该食材开封。然而上述确定保质期的过程，对于首次放入保鲜设备时就已经开封的食材无法确定保质期。

发明内容

本发明提供一种保鲜设备及食材管理方法，提供了一种新的食材管理的方法，可以通过存放的食材的当前重量和食材的参考重量相比，若小于食材的参考重量，则确定该食材为开封状态，从而能够根据开封状态下的参考保质期，确定存放的食材的保质期，提高了用户食用食材的安全性。

第一方面，本发明实施例提供的一种保鲜设备，包括：机壳，所述机壳包括储藏室和门体；其中，所述储藏室具有开口，所述门体与所述机壳活动连接，且所述门体用于遮挡所述开口；

处理器，所述处理器被配置为：用于在确定用户打开保鲜设备的门体后，检测用户的动作；若检测到用户的动作为存放动作，则确定存放的食材的当前重量；若所述当前重量小于存放的食材对应的参考重量，则确定存放的食材的状态为开封状态，并根据开封状态下存放的食材对应的参考保质期，确定存放的食材的保质期；基于所述存放的食材的保质期进行食材管理。

上述保鲜设备，通过确定出用户打开保鲜设备的门后，检测用户的动作，并在检测到用户的动作为存放动作时，则确定存放的食材的当前重量，并根据当前重量与存放的食材的参考重量进行对比，若小于参考重量，则说明该存放的食材已经开封，利用开封状态下对应的参考保质期，确定存放的食材的保质期，本发明能够解决在保鲜设备存放该食材时即可辨认食材的开封状态，所以，无论是否为首次放入保鲜设备的食材，均能够通过确定开封状态，确定正确的保质期，提高了用户食用食材的安全性。

在某些实施例中，所述处理器具体被配置为：根据存放的食材的存放日期和存放的食材的保质期，检测存放的食材的保质状态；在检测到存放的食材的保质状态满足提示条件后，按照预设的方式提示用户。

上述保鲜设备，无需用户主动查询存放在保鲜设备中的食材的保质状态，而是根据检测保质状态对用户进行提示，提升了保鲜设备的实用性。

在某些实施例中，所述处理器具体被配置为：在确定用户打开保鲜设备的门后，获取拍摄的所述保鲜设备的门的前方空间的视频；若检测到第一视频帧中用户的手部的位置与第一平面在第一视频帧中的位置有重叠，且第二视频帧中用户的手部的位置与第二平面在第二视频帧中的位置有重叠，则确定用户的动作为存放动作；

其中，在视频中第一视频帧的拍摄时间早于第二视频帧的拍摄时间；

所述第一平面和所述第二平面为所述保鲜设备的门的前方区域内与所述保鲜设备平行的两个垂直平面，第一平面与保鲜设备之间的距离大于第二平面与保鲜设备之间的距离。

上述保鲜设备，通过定义与保鲜设备平行的两个垂直平面，第一平面和第二平面为界限屏幕，拍摄到的保鲜设备的门的前方空间的视频中，拍摄在先的视频帧中用户的手部的位置和定义的第一平面在拍摄在先的视频帧中的位置有重叠，则说明用户的手穿过第一平面，并且拍摄在后的视频帧中用户的手部的位置和定义的第二平面在拍摄在先的视频帧中的位置有重叠，则说明用户的手穿过第二平面，由于第一平面与保鲜设备之间的距离大于第二平面与保鲜设备之间的距离，所以，当用户先穿过第一平面后穿过第二平面，确定用户的动作为存放动作。

在某些实施例中，所述处理器具体被配置为：确定存放的食材的开封日期；若存放的食材的开封日期与用户将食材存入所述保鲜设备的日期相同，则将开封状态下存放的食材对应的参考保质期作为存放的食材的保质期；若存放的食材的开封日期与用户将食材存入所述保鲜设备的日期不同，则将开封状态下存放的食材对应的参考保质期与用户将食材存入所述保鲜设备的日期之间的差值，确定为存放的食材的保质期。

上述保鲜设备，在确定存放的食材的保质期时，通过先确定存放的食材的开封日期，若开封日期与存放日期相同，则确定开封状态下对应的参考保质期为存放的食材的保质期，若开封日期与存放日期不相同，则说明用户开封后并没有当天存放到保鲜设备中，从而根据开封状态下的参考保质期、开封日期以及存放日期，确定存放的食材的保质期，通过上述方式，避免对开封后的食材并未及时存放到保鲜设备的情况下，食材的保质期计算错误的情况。

在某些实施例中，所述处理器具体被配置为：采集用户的语音，对用户的语音进行识别，确定存放的食材的开封日期；或接收用户录入的存放的食材的开封日期。

上述保鲜设备，能够通过识别用户语音的方式确定存放的食材的开封日期，还可以通过直接接收用户录入的存放的食材的开封日期，本发明可以通过上述方式，便于获取到食材的开封日期。

在某些实施例中，所述处理器具体被配置为：读取设置在食材上的条形码，确定存放的食材的类型；若存放的食材的类型在预设的食材类型内，检测所述保鲜设备中剩余食材的当前重量；将检测到的所述保鲜设备中剩余食材的当前重量与上一次检测到所述保鲜设备中剩余食材的重量的差值，确定为存放的食材的当前重量。

上述保鲜设备，通过读取食材上的条形码，条形码记录食材的信息，这样无论时食材的外表很相似，也不会识别错误，并在确定该食材在预设的食材类型中时，进行检测食材的重量，从而能够在正确辨认食材的情况下确定食材的重量。

第二方面，本发明实施例提供的一种食材管理方法，包括：

在确定用户打开保鲜设备的门后，检测用户的动作；

若检测到用户的动作为存放动作，则确定存放的食材的当前重量；

若所述当前重量小于存放的食材对应的参考重量，则确定存放的食材的状态为开封状态，并根据开封状态下存放的食材对应的参考保质期，确定存放的食材的保质期；

基于所述存放的食材的保质期进行食材管理。

在某些实施例中，基于所述存放的食材的保质期进行食材管理，包括：

根据存放的食材的存放日期和存放的食材的保质期，检测存放的食材的保质状态；

在检测到存放的食材的保质状态满足提示条件后，按照预设的方式提示用户。

在某些实施例中，在确定用户打开保鲜设备的门之后，检测用户的动作，包括：

在确定用户打开保鲜设备的门后，获取拍摄的所述保鲜设备的门的前方空间的视频；

若检测到第一视频帧中用户的手部的位置与第一平面在第一视频帧中的位置有重叠，且第二视频帧中用户的手部的位置与第二平面在第二视频帧中的位置有重叠，则确定用户的动作为存放动作；

其中，在视频中第一视频帧的拍摄时间早于第二视频帧的拍摄时间；

所述第一平面和所述第二平面为所述保鲜设备的门的前方区域内与所述保鲜设备平行的两个垂直平面，第一平面与保鲜设备之间的距离大于第二平面与保鲜设备之间的距离。

在某些实施例中，根据开封状态下存放的食材对应的参考保质期，确定存放的食材的保质期，包括：

确定存放的食材的开封日期；

若存放的食材的开封日期与存放的食材的存放日期相同，则将开封状态下存放的食材对应的参考保质期作为存放的食材的保质期；

若存放的食材的开封日期与存放的食材的存放日期不同，则根据开封状态下存放的食材对应的参考保质期、所述开封日期与所述存放日期，确定存放的食材的保质期。

在某些实施例中，确定存放的食材的开封日期，包括：

采集用户的语音，对用户的语音进行识别，确定存放的食材的开封日期；或

接收用户录入的存放的食材的开封日期。

在某些实施例中，确定存放的食材的当前重量：

读取设置在食材上的条形码，确定存放的食材的类型；

若存放的食材的类型在预设的食材类型内，检测所述保鲜设备中剩余食材的当前重量；

将检测到的所述保鲜设备中剩余食材的当前重量与上一次检测到所述保鲜设备中剩余食材的重量的差值，确定为存放的食材的当前重量。

第三方面，本申请实施例还提供一种保鲜设备，被配置为执行第二方面所述的方法。

第四方面，本申请还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理单元执行时实现第二方面所述食材管理方法的步骤。

另外，第二方面至第四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，并不构成对本发明的不当限定。

图1是背景技术的一种保鲜设备的结构示意图；

图2是本发明实施例提供的一种食材管理方法的流程图；

图3是本发明实施例提供的一种检测用户动作是否为存放动作的工作流程的示意图；

图4是本发明实施例提供的一种检测用户动作是否为取出动作的工作流程的示意图；

图5是本发明实施例提供的一种用户在保鲜设备中存放的食材的示意图；

图6是本发明实施例提供的一种视频帧中的第一平面、第二平面和保鲜设备的关系的示意图；

图7是本发明实施例提供的另一种视频帧中的第一平面、第二平面和保鲜设备的关系的示意图；

图8是本发明实施例提供的一种获取存放的食材的生产日期的示意图；

图9是本发明实施例提供的另一种获取存放的食材的生产日期的流程图；

图10是本发明实施例提供的一种确定食材保质期的完整方法的流程图；

图11是本发明实施例提供的一种在存放的食材的保质状态满足提示条件时进行提示的提示页面的示意图。

具体实施方式

为了使本领域普通人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本发明实施例提供的保鲜设备可以为冰箱、保鲜柜等。保鲜设备以冰箱为例，保鲜设备管理冰箱贮存的食材的保质状态，这样用户可以从保鲜设备处了解冰箱中贮存的食材的保质状态。其中，保鲜设备可以嵌入到冰箱内，与冰箱作为一个整体。

本申请实施例提供一种保鲜设备及食材管理方法，通过在确定用户打开保鲜设备的门，且检测用户的动作为存放动作后，确定存放的食材的当前重量，通过当前重量与参考重量进行对比，确定食材的状态，在确定出食材的状态为开封状态下，利用开封状态的参考保质期，确定食材的保质期，并对食材进行保质状态进行检测，提示用户食材的保质情况，提高了用户食用食材的安全性。

本发明实施例提供一种保鲜设备，包括：机壳和处理器；所述处理器设置在机壳内部；

机壳包括储藏室和门体；其中，所述储藏室具有开口，所述门体与所述机壳活动连接，且所述门体用于遮挡所述开口。在储藏室内存储食材。

处理器被配置为：用于在确定用户打开保鲜设备的门体后，检测用户的动作；若检测到用户的动作为存放动作，则确定存放的食材的当前重量；若所述当前重量小于存放的食材对应的参考重量，则确定存放的食材的状态为开封状态，并根据开封状态下存放的食材对应的参考保质期，确定存放的食材的保质期；基于所述存放的食材的保质期进行食材管理。

在某些实施例中，除了保鲜设备除了上述介绍的元件，还可以包括以下元件，结合图1所示。

应该理解的是，图1所示保鲜设备100仅是一个范例，并且保鲜设备100可以具有比图1中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

如图1所示，保鲜设备100包括：存储器110、显示单元120、摄像头130、传感器140、音频电路150、处理器160、电源170、以及扫描器180等部件。

处理器160是保鲜设备100的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器110内的软件程序，以及调用存储在存储器110内的数据，执行保鲜设备100的各种功能和处理数据。在一些实施例中，处理器160可包括一个或多个处理单元；处理器160还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器160中。本申请中处理器160可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例所述的处理方法。

存储器110可用于存储软件程序及数据。处理器160通过运行存储在存储器110的软件程序或数据，从而执行保鲜设备100的各种功能以及数据处理。存储器110可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器110存储有使得保鲜设备100能运行的操作系统。本申请中存储器110可以存储操作系统及各种应用程序，还可以存储执行本申请实施例所述方法的代码。

以下通过介绍实施例的方式，介绍保鲜设备100配置图1中包含的元件的详细情况。

在某些实施例中，所述处理器具体被配置为：根据存放的食材的存放日期和存放的食材的保质期，检测存放的食材的保质状态；在检测到存放的食材的保质状态满足提示条件后，按照预设的方式提示用户。

在某些实施例中，所述处理器具体被配置为：确定存放的食材的开封日期；若存放的食材的开封日期与存放的食材的存放日期相同，则将开封状态下存放的食材对应的参考保质期作为存放的食材的保质期；若存放的食材的开封日期与存放的食材的存放日期不同，则根据开封状态下存放的食材对应的参考保质期、所述开封日期与所述存放日期，确定存放的食材的保质期。

在某些实施例中，所述处理器具体被配置为：接收用户录入的存放的食材的开封日期。

其中，在上述介绍实施例中，处理器160与显示单元120耦接，处理器160将提示发送给显示单元120，显示单元120显示提示，以达到提示用户的目的。显示单元120接收用户录入的存放的食材的开封日期，发送给处理器160，处理器160可以基于此确定存放的食材的保质期。

其中，显示单元120可用于接收输入的数字或字符信息，产生与保鲜设备100的用户设置以及功能控制有关的信号输入，具体地，显示单元120可以包括设置在保鲜设备100正面的触摸屏121，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

显示单元120还可用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元120可以包括设置在保鲜设备100正面的显示屏122。其中，显示屏122可以采用液晶显示器、发光二极管等形式来配置。显示单元120可以用于显示本申请中所述的各种图形用户界面。其中，当保鲜设备集成在保鲜设备上时，可以将保鲜设备中的门的外壳采用显示单元中的显示屏122代替。

其中，触摸屏121可以覆盖在显示屏122之上，也可以将触摸屏121与显示屏122集成而实现保鲜设备100的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元120可以显示应用程序以及对应的操作步骤。

在某些实施例中，所述处理器具体被配置为：在确定用户打开保鲜设备的门后，获取拍摄的所述保鲜设备的门的前方空间的视频；若检测到第一视频帧中用户的手部的位置与第一平面在第一视频帧中的位置有重叠，且第二视频帧中用户的手部的位置与第二平面在第二视频帧中的位置有重叠，则确定用户的动作为存放动作；

其中，在视频中第一视频帧的拍摄时间早于第二视频帧的拍摄时间；

所述第一平面和所述第二平面为所述保鲜设备的门的前方区域内与所述保鲜设备平行的两个垂直平面，第一平面与保鲜设备之间的距离大于第二平面与保鲜设备之间的距离。

在该实施例中，处理器160与摄像头130相连，其中，摄像头130可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器160转换成数字图像信号。

具体来说，摄像头130拍摄所述保鲜设备100的门的前方空间的视频，发送给处理器160，处理器160可以基于获取到的视频确定用户的动作为存放动作。

在该实施例中，处理器160与至少一种传感器140相连，比如距离传感器141。距离传感器141可以检测保鲜设备的门体与保鲜设备的开口之间的距离，发送给处理器160，处理器160可以基于距离，确定用户打开保鲜设备的门。

在某些实施例中，所述处理器具体被配置为：采集用户的语音，对用户的语音进行识别，确定存放的食材的开封日期。

在该实施例中，处理器160与音频电路150相连，音频电路150、扬声器151、麦克风152可提供用户与保鲜设备100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器151，由扬声器151转换为声音信号输出。保鲜设备100还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风152将收集的声音信号转换为电信号，由音频电路150接收后转换为音频数据，将音频数据输出至存储器110以便进一步处理。本申请中麦克风152可以获取用户的语音。

具体来说，采用麦克风152采集用户的语音，并将用户语音发送给处理器160，处理器160根据获取到的用户的语音确定存放的食材的开封日期。

其中，在上述提到的处理器能够按照预设的方式提示用户的实施例中，处理器160与音频单元150相连，处理器160将提示语音发送给音频单元150，音频单元150的扬声器151对提示语音进行播放，达到提示用户的目的。

在某些实施例中，所述处理器具体被配置为：读取设置在食材上的条形码，确定存放的食材的类型；若存放的食材的类型在预设的食材类型内，检测所述保鲜设备中剩余食材的当前重量；将检测到的所述保鲜设备中剩余食材的当前重量与上一次检测到所述保鲜设备中剩余食材的重量的差值，确定为存放的食材的当前重量。

处理器160与扫描器180相连，扫描器180用于扫描食品上的条形码，以获取食品的基本信息。

处理器160与重量传感器142相连，重量传感器142用于检测所述保鲜设备中剩余食材的当前重量。

基于上述介绍的所有实施例中，保鲜设备100还包括给各个元件供电的电源170(比如电池)。电源可以通过电源管理系统与处理器160逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。保鲜设备100还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。

安装位置：扫码器可以安装于保鲜设备的冷藏室门一侧、冷冻室门一侧，也可安装于保鲜设备冷藏室与变温室之间的箱体上。

在保鲜设备的上方安装摄像头，采用摄像头获取保鲜设备的门的前方空间的视频。具体操作过程为，保鲜设备的门打开时，摄像头弹出，获取食材存取过程中的图像。保鲜设备关门时，摄像头收回。

在冰箱每个隔层安装重量传感器，读取每个隔层当前重量。

目前，在进行食材的保质期管理时，往往是通过当前检测的重量与之前检测的重量进行对比，如果食材的重量相比之前的少了，确定该食材为开封过的食材。然而，如果用户将食材存入冰箱时，食材即为开封状态，则目前的技术上，并不能检测出来。

因此本发明实施例提供一种食材管理方法和保鲜设备，提供了一种新的食材保质期的确认方法，能够通过本发明提供的方式，在食材存放到保鲜设备后，即可通过确认其开封状态，确定食材的保质期，提高了用户食用食品的安全性。

以下通过一种食材管理方法进行详细介绍。如图2所示，该方法具体包括以下步骤：

S200：在确定用户打开保鲜设备的门后，检测用户的动作。

S201：若检测到用户的动作为存放动作，则确定存放的食材的当前重量。

S202：若当前重量小于存放的食材对应的参考重量，则确定存放的食材的状态为开封状态，并根据开封状态下存放的食材对应的参考保质期，确定存放的食材的保质期。

S203：基于存放的食材的保质期进行食材管理。

例如，食材A的开封状态下的保质期为3天，未开封状态下的保质期为6个月。当用户存入食材A到保鲜设备时，确定食材A的当前重量，以及确定食材A的参考重量，若当前重量小于参考重量，说明用户将开封过后的食材A存入保鲜设备，则根据开封状态下的参考保质期3天，确定食材A的保质期。若当前重量等于参考装量A，说明用户存放的食材A为未开封状态，根据未开封状态下的参考保质期6个月，确定食材A的保质期。这样就可以在食材存放到冰箱的时刻确定该食材是否为开封状态，从而为后期的食材管理提供保质期，提高了食材管理的效率。

其中，在本发明实施例中，需提前建立数据库，数据库信息包括保鲜设备的食材信息、食材保质期、保鲜设备每个箱室中的每个隔层的重量信息以及食材的参考重量。保鲜设备的食材信息记录保鲜设备中现有食材的种类、存放位置、保质期、重量、生产日期等信息。食材保质期包括所有可能往保鲜设备存放的食材不同状态下的保质期信息，包括未开封(未食用)状态以及开封状态下(食用过)的保质期，比如盒装牛奶未开封保质期180天，开封后保质期2天。保鲜设备的重量信息记录每个指定节点时刻保鲜设备里每个隔层的重量信息。食材参考重量记录所有可能往保鲜设备存放的奶制品、酒水饮料等快消品的参考重量，该信息可以通过以下计算方式获取数据：奶制品、酒水饮料等快消品都有固定的体积，根据质量计算公式m＝ρv，m为质量，v为体积，ρ为密度，可获得此类快消品的重量信息。

其中，对于确定用户开启保鲜设备的门的方式包括多种：

例如，可以通过摄像头采集保鲜设备的门的前方空间的视频，检测门是否处于打开状态。

又如，将距离传感器设置在保鲜设备的门的对侧，采用距离传感器检测保鲜设备的门的状态。具体来说，当保鲜设备的门关闭时，门的对侧与前端的距离，则距离传感器检测出来的距离，小于预设阈值，其中预设阈值可以为0，保鲜设备的门开启时，距离传感器检测出来的门的对侧与门之间的距离大于预设阈值。

在确定用户打开保鲜设备的门之后，可以通过以下方式检测用户的动作：

方式1：通过摄像头拍摄保鲜设备的门的前方空间的视频，然后将视频中的视频帧输入到识别网络中，该识别网络的识别过程为根据用户的手的姿势确定用户的手中是否有物品，如果识别出用户的手的姿势为拿物品的姿势，则输出的结果为用户手中有物品，如果识别出用户的手的姿势为没有拿物品的姿势，则输出的结果为用户手中没有物品，如果识别出拍摄时间早的视频帧中用户手中没有物品，且拍摄时间晚的视频帧中用户手中有物品，则确定用户的动作为取出动作，否则，用户的动作为存放动作。

例如，获取到保鲜设备的门从关闭到打开再到关闭的视频帧，该视频中包括的图片20张为例，按照拍摄的时间顺序，对于前9张的图片，识别网络输出用户手中没有物品，对于后11张的图片中，识别网络输出用户手中有物品，则确定用户的动作为取出动作。如果，对于前9张的图片，识别网络输出用户手中有物品，对于后11张的图片中，识别网络输出用户手中没有物品，则确定用户的动作为存放动作。

其中，将样本集作为基础网络的输入，将样本集中用户手中有物品作为输出，得到识别网络。可选的，基础网络可以为卷积神经网络(Convolutional Neural Networks,CNN)。

当然，识别网络还可以为分类网络，能够分类出视频帧中的对象的类型。那么确定用户手中是否有物品的过程为：当识别出视频帧中的对象的类型分别包括用户的手以及物品，则确定视频帧中的用户的手中有物品，若识别出视频帧中的对象的类型只有用户的手，则确定视频帧中的用户的手中没有物品。

方式2：首先定义第一平面和第二平面为保鲜设备的门的前方区域内与保鲜设备平行的两个垂直平面，第一平面与保鲜设备之间的距离大于第二平面与保鲜设备之间的距离。在实际检测时，在获取到的保鲜设备的门的前方空间的视频中，检测视频帧中的用户的手部的位置与第一平面在该视频帧中的位置是否有重叠，与第二平面在该视频帧中的位置是否有重叠，从而确定用户的动作为取出动作还是存放动作。

详细来说：

获取拍摄的保鲜设备的门的前方空间的视频；

若检测到第一视频帧中用户的手部的位置与第一平面在第一视频帧中的位置有重叠，且第二视频帧中用户的手部的位置与第二平面在第二视频帧中的位置有重叠，则确定用户的动作为存放动作；

其中，在视频中第一视频帧的拍摄时间早于第二视频帧的拍摄时间；

若检测到第一视频帧中用户的手部的位置与第二平面在第一视频帧中的位置有重叠，且第二视频帧中用户的手部的位置与第一平面在第二视频帧中的位置有重叠，则确定用户的动作为取出动作。

对于上述检测用户的动作的方案，首先介绍检测用户的动作是否为存放动作的流程，结合图3所示：

S300：在确定用户打开保鲜设备的门后，获取拍摄的保鲜设备的门的前方空间的视频；

S301：检测视频中所有视频帧的用户的手部的位置，以及在视频中所有视频帧中标定第一平面和第二平面的位置；

S302：按照视频中拍摄的时间顺序，选择未判断的一个视频帧；未判断的一个视频帧为未经过S304处理的视频帧；

S303：判断选择的视频帧是否为最后一个视频帧，若是，则结束，若否，则执行S304。

S304：判断选择的视频帧中用户的手部的位置是否与第一平面在选择的视频帧中的位置有重叠；若是，则执行S305，若否，则执行S302；

S305：按照视频中拍摄的时间顺序，选择未判断的一个视频帧；未判断的一个视频帧为未经过S306处理的视频帧；

S306：判断选择的视频帧中用户的手部的位置是否与第二平面在选择的视频帧中的位置有重叠；若是，则执行S307，若否，则执行S308；

S307：确定用户的动作为存放动作；

S308：判断选择的视频帧是否为最后一个视频帧，若是，则结束，若否，则执行S305。

其中，结束的意思，可以认为用户的动作不是存放动作。

检测用户的动作是否为取出动作的流程为，结合图4所示：

S400：在确定用户打开保鲜设备的门后，获取拍摄的保鲜设备的门的前方空间的视频；

S401：检测视频中所有视频帧的用户的手部的位置，以及在视频中所有视频帧中标定第一平面和第二平面的位置；

S402：按照视频中拍摄的时间顺序，选择未判断的一个视频帧；未判断的一个视频帧为未经过S404处理的视频帧；

S403：判断选择的视频帧是否为最后一个视频帧，若是，则结束，若否，则执行S404。

S404：判断选择的视频帧中用户的手部的位置是否与第二平面在选择的视频帧中的位置有重叠；若是，则执行S405，若否，则执行S402；

S405：按照视频中拍摄的时间顺序，选择未判断的一个视频帧；未判断的一个视频帧为未经过S406处理的视频帧；

S406：判断选择的视频帧中用户的手部的位置是否与第一平面在选择的视频帧中的位置有重叠；若是，则执行S407，若否，则执行S408；

S407：确定用户的动作为存放动作；

S408：判断选择的视频帧是否为最后一个视频帧，若是，则结束，若否，则执行S405。

其中，结束的意思，可以认为用户的动作不是取出动作。

在实际应用过程中，可以先结合图3判断用户的动作是否为存放动作，若没有判断出来，即用户的动作不是存放动作，则可以从S402之后开始执行图4的过程，判断用户的动作是否为取出动作。

还可以先结合图4判断用户的动作是否为取出动作，若没有判断出来，即用户的动作不是取出动作，则可以从S302之后开始执行图3的过程，判断用户的动作是否为存放动作。

以保鲜设备为冰箱举例，结合图5所示，将距离冰箱门H距离的垂直平面定义为H1，将冰箱门所在垂直平面定义为H2。将这两个平面之间的三维空间划分为指定区域。在指定区域内通过冰箱上方的相机模组对手部进行检测。若检测到用户的手部首先穿越平面H1，再穿越平面H2，则定义该动作为去动作，即存放动作；若手部首先穿越平面H2，再穿越平面H1，则定义该动作为回动作，即。当用户取出动作。

当拍摄的保鲜设备的门的前方空间的视频的摄像头的位置为保鲜设备的门的正前方空间，则拍摄出的图像中，第一平面和第二平面为垂直平面，则在图像中第一平面和第二平面均表现为一条直线，则对于视频中的视频帧进行处理时，结合图6所示，第一平面在视频帧的图像中的位置为直线C1，第二平面在视频帧的图像中的位置为直线C2。由于第一平面和第二平面的位置未改变，摄像头的位置未改变，第一平面和第二平面在每一个视频帧的位置均相同，所以在处理时，对于视频中的每一个视频帧均确定出直线C1和直线C2的位置，然后可以根据用户的手部的位置进行对比。

当拍摄的保鲜设备的门的前方空间的视频的摄像头的位置为保鲜设备的门的斜前方空间，则拍摄出的图像中，第一平面和第二平面为平面，则在图像中第一平面和第二平面均表现为平面，则对于视频中的视频帧进行处理时，结合图7所示，第一平面在视频帧的图像中的位置为区域P1，第二平面在视频帧的图像中的位置为区域P2。由于第一平面和第二平面的位置未改变，摄像头的位置未改变，第一平面和第二平面在每一个视频帧的位置均相同，所以在处理时，对于视频中的每一个视频帧均确定出区域P1和区域P2的位置，然后可以根据用户的手部的位置进行对比。进一步的，由于对比时，是根据区域包含的坐标信息进行对比的，例如，检测到视频帧中的用户手部的区域的像素点的坐标信息，与区域P1和区域P2中的像素点的坐标信息进行对比。为了避免用户的手部位置与区域P1和区域P2的位置对比时，需要对比的坐标比较多，计算起来比较繁琐。所以，在对比时，从区域P1中选择与保鲜设备平行的第一界限，代表区域P1，从区域P2中选择与保鲜设备平行的第二界限，代表区域P2，与用户的手部的位置进行对比。

在确定存放的食材的当前重量时，一般会先辨认出该食材的种类，然而对于奶制品、酒水饮料等食材，外包装的形状和图案差别不是很明显，如果通过图像分析识别食材的种类的话，可能识别的正确率不高。基于此，本发明实施例提供了一种确定方式：

确定存放的食材的当前重量：

读取设置在食材上的条形码，确定存放的食材的类型；

若存放的食材的类型在预设的食材类型内，检测保鲜设备中剩余食材的当前重量；

将检测到的保鲜设备中剩余食材的当前重量与上一次检测到保鲜设备中剩余食材的重量的差值，确定为存放的食材的当前重量。

其中，预设的食材类型可以为奶类快消品食材。

具体来说，当用户要将食材存入保鲜设备时，将食材对准保鲜设备上设置的扫描器读取食材的条形码，通过条形码获取食材的类型，在确定该食材的类型为预设的食材类型，例如，奶类快消品食材，则检测保鲜设备中剩余食材的当前重量；将检测到的保鲜设备中剩余食材的当前重量与上一次检测到保鲜设备中剩余食材的重量的差值，确定为存放的食材的当前重量。

其中，条形码中包括的信息为食材种类、规格、生产厂家、产地等信息。

同样的，当用户从保鲜设备中拿取食材时，首先从保鲜设备取出食材，然后将该食材对准扫码器进行扫描，扫码器读取设置在食材上的条形码，获取食材信息。

对于检测保鲜设备中剩余食材的重量，采用重力传感器进行采集，其中在保鲜设备的每个箱室的每一隔层均设置重力传感器设置，例如保鲜设备包括保鲜箱室和冷冻箱室，保鲜箱室中的每一隔层均设置重力传感器设置，冷冻箱室中的每一隔层均设置重力传感器设置，可以通过每个箱室的每一隔层的重量传感器获取对应层的重量，即得到保鲜设备中所有隔层的重量。

其次结合数据库中保存的上一次检测到所述保鲜设备中每一隔层的食材的重量，将当前次的每一隔层食材的重量与对应的上一次检测到的每一隔层食材的重量对比。增大的重量即为用户存放的食材的重量，重量增大的隔层即为用户存放的食材的位置，这样便于在进行提示用户食材的保质期时，能够给出对应的食材的位置，提高用户体验感。

最后，通过读取食材上的条形码识别存放的食材的种类，从而从数据库中查找对应种类的参考重量m。若本次存放的食材的重量m1，m1<m，即本次存放的食材重量小于该食材未开封状态下的参考重量，则判断该食材已食用过，食材状态为已开封；若m1＝m，即本次存放的食材重量等于该食材原来重量，则判断该食材未食用过，食材状态为未开封。

当食材的状态为未开封状态时，用户可以采用主动录入的方式录入食材生产日期。例如，结合图8所示，当确定存放的食材后，保鲜设备的显示单元弹出该食材信息，用户可在生产日期栏选择该食材生产日期；也可以通过语音交互模式录入食材生产日期。例如，结合图9所示，保鲜设备发起语音交互，询问用户该食材生产日期，用户可直接语音回答，也可以在保鲜设备的显示单元中录入生产日期。然后结合食材未开封状态下的保质期，与食材生产日期，得到食材的当前的保质期天数。

当食材的状态为开封状态时，通过开封状态下的参考保质期，确定存放的食材的保质期。

基于上述的内容，结合图10所示，本发明实施例示出了一种确定食材保质期的完整方法，包括：

S1000：在确定用户打开保鲜设备的门之后，检测用户的动作。

S1001：若检测到用户的动作为存放动作，则检测保鲜设备中剩余食材的当前重量。

S1002：将检测保鲜设备中剩余食材的当前重量与上一次检测到的剩余食材的重量相减，确定存放的食材的重量。

S1003：判断当前重量是否小于与存放的食材对应的参考重量，如果是，则执行S1004，否则，执行S1005。

S1004：确定存放的食材的状态为开封状态，根据开封状态下存放的食材对应的参考保质期，确定存放的食材的保质期。

S1005：判断当前重量是否等于存放的食材对应的参考重量，若是，则执行S1006，否则，执行S1007。

S1006：确定存放的食材的状态为未开封状态，并根据未开封状态下存放的食材对应的参考保质期以及存放的食材的生产日期，确定存放的食材的保质期。

S1007：生成提示信息，提示用户当前存放的食材的保质期计算错误，需要人工确认。

即通常情况下存放的食材的重量不是小于参考重量，就是等于参考重量，如果出现其他情况，很可能是重量传感器检测重量出现了故障，或者数据库存储的参考重量出现的偏差，具体是哪个故障，需要人工进行确认。

需要说明的是，由于重量传感器可能不能准确测量食材的重量，或者同一品牌的同样的食材的重量可能会有误差，所以，上述过程可以为：若当前重量与存放的食材对应的参考重量之间的差值小于预设值，则确定食材未开封状态。其中，该预设值比开封过的重量与参考重量之间的差值小。

在实际应用过程中，有时用户可能忘记存放开封后的食材放入到保鲜设备中，基于此，为了避免这种情况下计算保质期计算错误，本发明实施例提供了以下确定存放的食材的保质期的方式：

确定存放的食材的开封日期；

若存放的食材的开封日期与存放的食材的存放日期相同，则将开封状态下存放的食材对应的参考保质期作为存放的食材的保质期；

若存放的食材的开封日期与存放的食材的存放日期不同，则根据开封状态下存放的食材对应的参考保质期、所述开封日期以及所述存放日期，确定存放的食材的保质期。

例如，以食材A为例，用户存放的食材A到保鲜设备中，存放日期为3月19日，用户将食材A食用的日期(开封日期)为3月18日，则确定存放的食材A为开封状态时，开封状态下的参考保质期为5天，由于存放日期和开封日期之间相差一天，所以该存放的食材的当前保质期为4天。或者，当用户存放的食材A到保鲜设备中存放日期为3月18日，在确定存放的食材A为开封状态下，开封状态下的参考保质期为5天，且开封日期(3月18日)与存放日期(3月18日)相同，则确定当前存放的食材A的保质期为5天。

其中，录入食材的生产日期与录入食材的开封日期的方式可以相同，具体为：

方式1：采集用户的语音，对用户的语音进行识别，确定存放的食材的开封日期。

方式2：接收用户录入的存放的食材的开封日期。

具体来说，在用户打开保鲜设备的门后，检测到用户的动作为存放动作，且确定出存放的食材为开封状态的食材后，提示用户输入食材的开封日期，其中，可以通过语音识别的方式获取，或者直接接收用户录入的方式获取。即通过语音识别的方式获取，为采集用户的语音，对用户的语音进行识别，识别出用户的开封日期。

具体用户与保鲜设备的交互过程形如上述采集食材生产日期，可参考上述所示。

其中，对用户的语音进行识别的过程可以为，将用户的语音转换为文本形式，然后从文本形式中提取开封日期信息。

通过直接接收用户录入的方式，通过图1中介绍的显示单元，通过显示单元接收用户录入的存放的食材的开封日期。

其中，在确定存放的食材的保质期后，根据存放的食材的存放日期和存放的食材的保质期，检测存放的食材的保质状态。在检测到存放的食材的保质状态满足提示条件后，按照预设的方式提示用户。

具体来说，以存放的食材的存放日期为起点，存放的食材的保质期为范围，检测存放的食材的保质状态，并在检测到存放的食材的保质状态满足提示条件后，按照预设的方式提示用户。

例如，存放的食材的存放日期为5月1日，存放的食材的保质期为5天，检测时，首先获取当前的日期，例如5月2日，保质状态中剩余保质期为4天，判断是否满足提示条件。若满足提示条件，则按照预设的方式提示用户。

在检测食材的保质状态时，提示条件可以包括以下部分或全部：

1、剩余保质天数小于预设天数。

2、食材的保质状态为已过期状态。

其中，当检测到剩余保质天数小于预设天数时，可以发送第一提示信息给用户，第一提示信息例如，XX食材保质期还有2天(剩余保质天数)，请及时食用。

当检测到食材的保质状态为已过期状态时，可以发送第二提示信息给用户，第二提示信息例如，XX食材已过期，请处理，不适宜放入保鲜设备中。

其中，在通知用户提示信息时，可以通过语音播放的方式进行提示。或者当用户打开保鲜设备时，在保鲜设备的显示单元上弹出该食材即将过期信息提示用户。或者保鲜设备与用户终端进行通信，在通知用户提示信息时，可以将提示信息发送给用户终端。

例如，结合图11所示，保鲜设备的显示单元中显示，提示的食材的图片、剩余保质期以及食材的位置。食材A剩余保质2天，位置为保鲜室第1层，食材2剩余保质1天，位置保鲜室第3层。用户可以通过滑动查询食材的提示信息。

另外，用户还可以访问保鲜设备的数据库，查询保鲜设备内的食材的保质期。

根据上述介绍的内容，介绍一种保鲜设备内的食材的保质的管理流程，包括：当用户向保鲜设备存放奶制品、酒水饮料等快消品时，通过扫码器读取条形码获取食材种类信息，同时通过图像进行存取动作识别，若用户进行的是取出动作，则从冰箱食材数据库中删除该食材记录；若用户进行的是存放动作，则通过重量传感器获取食材状态重量信息，根据重量信息，确定出存放的食材的状态为未开封时，则通过人机交互获取食材生产日期，结合食材在未开封状态下的保质期，确定用户本次存放的快消品的保质期信息，将本次存放的食材的保质期进行记录，以便进行食材保质期管理。

具体来说：1、确定用户行为以及食材识别。在用户存放的食材到保鲜设备时，首先将食材对准扫码器进行扫描，读取食材上的条形码，读取成功后，用户将食材存入冰箱。检测保鲜设备的门的前方空间的视频，若检测到视频的视频帧的用户的手部首先穿越平面H1，再穿越平面H2，则判定用户存取动作。若用户从保鲜设备中取出食材时，即检测保鲜设备的门的前方空间的视频，若检测到视频的视频帧的用户的手部首先穿越平面H2，再穿越平面H1，则判定用户取出动作，再将食材对准扫码器进行扫描，读取食材上的条形码，将对应的食材中的保质期记录删除，由于本发明是在存放食材时确定食材的保质期，若取出食材后保留食材的保质期，则容易造成数据库中对于该食材的保质期的记录混乱，所以，本发明采用取出食材时，将对应的保质期记录删除。

2、判断食材状态。在取出动作时，读取保鲜设备的每个隔层重量传感器的重量后，进行记录。在存取动作时，读取保鲜设备的每个隔层重量传感器的重量后，结合上一次存储的保鲜设备的每个隔层的重量信息，确定本次存放的食材的重量。根据扫码确定的存放的食材，确定该食材的参考重量，即未开封重量。若本次存放的食材的重量小于未开封的重量，则确定食材为开封状态。若本次存放的食材的重量等于未开封的重量，则确定食材为未开封状态。

3、获取食材保质期。未开封状态下的食材，获取食材生产日期，通过食材保质期数据库，找到该食材未开封状态下保质期，结合食材生产日期，得到食材剩余保质期天数。若该食材已开封，则通过食材数据库获取到的该食材开封状态下的参考保质期，确定该食材的保质期。

4、保质期管理应用。用户每往保鲜设备存放某类食材，便记录该食材剩余保质期天数，当用户取出食材后，数据库中删除该食材记录。若保鲜设备内存放的某种食材，在即将过期(可以是保质期前1天或2天，此处用户可个性设置)时，用户还未食用，可发出智能提醒，提醒用户尽快食用该食材。当冰箱内的食材过期时，可提醒用户该食材已过期，请处理。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由保鲜设备的处理器执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在保鲜设备上运行时，使得所述保鲜设备执行实现本发明实施例上述任意一项食材管理方法。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种保鲜设备，其特征在于，包括：

机壳，所述机壳包括储藏室和门体；其中，所述储藏室具有开口，所述门体与所述机壳活动连接，且所述门体用于遮挡所述开口；

处理器，所述处理器被配置为：用于在确定用户打开保鲜设备的门体后，检测用户的动作；若检测到用户的动作为存放动作，则确定存放的食材的当前重量；若所述当前重量小于存放的食材对应的参考重量，则确定存放的食材的状态为开封状态，并根据开封状态下存放的食材对应的参考保质期，确定存放的食材的保质期；基于所述存放的食材的保质期进行食材管理。

2.根据权利要求1所述的保鲜设备，其特征在于，所述处理器具体被配置为：根据存放的食材的存放日期和存放的食材的保质期，检测存放的食材的保质状态；在检测到存放的食材的保质状态满足提示条件后，按照预设的方式提示用户。

3.根据权利要求1所述的保鲜设备，其特征在于，所述处理器具体被配置为：在确定用户打开保鲜设备的门后，获取拍摄的所述保鲜设备的门的前方空间的视频；若检测到第一视频帧中用户的手部的位置与第一平面在第一视频帧中的位置有重叠，且第二视频帧中用户的手部的位置与第二平面在第二视频帧中的位置有重叠，则确定用户的动作为存放动作；

其中，在视频中第一视频帧的拍摄时间早于第二视频帧的拍摄时间；

所述第一平面和所述第二平面为所述保鲜设备的门的前方区域内与所述保鲜设备平行的两个垂直平面，第一平面与保鲜设备之间的距离大于第二平面与保鲜设备之间的距离。

4.根据权利要求1所述的保鲜设备，其特征在于，所述处理器具体被配置为：确定存放的食材的开封日期；若存放的食材的开封日期与存放的食材的存放日期相同，则将开封状态下存放的食材对应的参考保质期作为存放的食材的保质期；若存放的食材的开封日期与存放的食材的存放日期不同，则根据开封状态下存放的食材对应的参考保质期、所述开封日期与所述存放日期，确定存放的食材的保质期。

5.根据权利要求4所述的保鲜设备，其特征在于，所述处理器具体被配置为：采集用户的语音，对用户的语音进行识别，确定存放的食材的开封日期；或接收用户录入的存放的食材的开封日期。

6.根据权利要求1～5任一项所述的保鲜设备，其特征在于，所述处理器具体被配置为：读取设置在食材上的条形码，确定存放的食材的类型；若存放的食材的类型在预设的食材类型内，检测所述保鲜设备中剩余食材的当前重量；将检测到的所述保鲜设备中剩余食材的当前重量与上一次检测到所述保鲜设备中剩余食材的重量的差值，确定为存放的食材的当前重量。

7.一种食材管理方法，其特征在于，包括：

在确定用户打开保鲜设备的门后，检测用户的动作；

若检测到用户的动作为存放动作，则确定存放的食材的当前重量；

若所述当前重量小于存放的食材对应的参考重量，则确定存放的食材的状态为开封状态，并根据开封状态下存放的食材对应的参考保质期，确定存放的食材的保质期；

基于所述存放的食材的保质期进行食材管理。

8.根据权利要求7所述的食材管理方法，其特征在于，基于所述存放的食材的保质期进行食材管理，包括：

根据存放的食材的存放日期和存放的食材的保质期，检测存放的食材的保质状态；

在检测到存放的食材的保质状态满足提示条件后，按照预设的方式提示用户。

9.根据权利要求7所述的食材管理方法，其特征在于，在确定用户打开保鲜设备的门之后，检测用户的动作，包括：

在确定用户打开保鲜设备的门后，获取拍摄的所述保鲜设备的门的前方空间的视频；

若检测到第一视频帧中用户的手部的位置与第一平面在第一视频帧中的位置有重叠，且第二视频帧中用户的手部的位置与第二平面在第二视频帧中的位置有重叠，则确定用户的动作为存放动作；

其中，在视频中第一视频帧的拍摄时间早于第二视频帧的拍摄时间；

所述第一平面和所述第二平面为所述保鲜设备的门的前方区域内与所述保鲜设备平行的两个垂直平面，第一平面与保鲜设备之间的距离大于第二平面与保鲜设备之间的距离。

10.根据权利要求7～9任一项所述的食材管理方法，其特征在于，确定存放的食材的当前重量：

读取设置在食材上的条形码，确定存放的食材的类型；

若存放的食材的类型在预设的食材类型内，检测所述保鲜设备中剩余食材的当前重量；

将检测到的所述保鲜设备中剩余食材的当前重量与上一次检测到所述保鲜设备中剩余食材的重量的差值，确定为存放的食材的当前重量。

Images