CN107798572A - 用于智能冰箱的购物触发方法 - Google Patents

Abstract

本发明提供了一种用于智能冰箱的购物触发方法，包括：获取冰箱对拍图；根据所获取的冰箱对拍图，确定与在智能冰箱中存放的食品相关的食品信息；基于所确定的食品信息，针对需要补充的食品显示用于提示补充食品的一个或更多个标示框；以及响应于用户点击所述标示框之一，显示用于购买与被点击的标示框相对应的食品的页面。

Description

用于智能冰箱的购物触发方法

技术领域

本申请涉及智能家电领域，具体地，涉及一种用于智能冰箱的购物触发方法。

背景技术

随着物联网技术和智能家居的迅猛发展，万物互联是大势所趋。近年来，尽管很多家用设备通过增加通讯模块从而能够接入到互联网中，但是连接功能仅仅是智能发展的基础性条件，距离能够被用户接受和认可的智能功能以及有效提高用户的场景体验还有很多提升空间。

传统冰箱主要功能是食品存储，但是缺乏对食品信息的智能管理功能。在物联网的大环境下，目前业界提出的智能冰箱，智能功能主要体现在能够接入家庭路由器所在的网络，实现冰箱存储或感知信息并与外网或其他设备的交互，与传统冰箱相比仅仅是增加了信息交互功能，但在其他方面并未起到重要变化，难以满足用户对存储在冰箱中的食品信息进行智能管理需要，导致用户对于智能冰箱的接受度不高。

因此，为了使智能冰箱更加贴近用户，改变设备与设备，设备与人之间的单一冰冷联接，满足用户对冰箱食品信息管理的应用场景需要，使得智能冰箱更加贴近用户，需要提出一种用于智能冰箱的购物触发方法，能够使智能冰箱更加贴近用户，更加智能化。

发明内容

本公开的方面在于解决至少上述问题和/或缺点并提供至少下述优点。

根据本公开的示例实施例，提供了一种用于智能冰箱的购物触发方法，所述购物触发方法可以包括：获取冰箱对拍图；根据所获取的冰箱对拍图，确定与在智能冰箱中存放的食品相关的食品信息；基于所确定的食品信息，针对需要补充的食品显示用于提示补充食品的一个或更多个标示框；以及响应于用户点击所述标示框之一，显示用于购买与被点击的标示框相对应的食品的页面。

可选地，可以通过布置在所述智能冰箱内的摄像机来获取冰箱对拍图。

可选地，所述显示用于购买与被点击的标示框相对应的食品的页面可以包括：针对与被点击的标示框相对应的食品显示一个或更多个推荐商品；以及响应于用户选择所述推荐商品之一，显示用于购买推荐商品的页面。

可选地，所述食品信息可以包括食品所属的食品种类，且所述针对需要补充的食品显示用于提示补充食品的一个或更多个标示框可以包括：统计在预定时间内存放在所述智能冰箱中的食品；按照每一食品所属的食品种类，来分类显示所述食品；以及针对需要补充的食品种类显示用于提示补充食品的标示框。

可选地，所述方法还可以包括：当获取冰箱对拍图时，将所获取的冰箱对拍图发送给云端服务器以便经由云端服务器确定与在智能冰箱中存放的食品相关的食品信息。

可选地，所述冰箱对拍图可以包括内室图和侧门图的图像。

可选地，在确定与在智能冰箱中存放的食品相关的食品信息之后，所述方法还可以包括：针对每一食品设置用于提醒品尝的提醒日期，且当食品到达所设提醒日期时，显示针对相应食品的食品提醒。

可选地，所述方法还可以包括：显示存放在所述智能冰箱中的食品以及所述食品的对应存放时间；统计已到达所设提醒日期的相应食品的食品提醒；以及显示针对食品提醒的概括信息，其中所述概括信息包括食品提醒的数量、食品提醒所针对的食品名称。

可选地，所述方法还可以包括：响应于用户点击所述概括信息，显示全部食品提醒。

可选地，所述显示用于购买推荐商品的页面可以包括：如果安装了商城客户端，则显示用于购买所述食品的商城购买页面；且如果没有安装商城客户端，则显示用于下载商城客户端的页面。

附图说明

以下结合附图，将更清楚本公开的示例实施例的上述和其它方面、特征以及优点，附图中：

图1a和1b示出了根据本发明示例实施例的智能冰箱的结构的正视图和侧视图；

图2示出了根据本发明示例实施例的用于智能冰箱的购物触发方法的流程图；以及

图3a至图5e示出了根据本发明示例实施例的用于智能冰箱的购物触发方法的具体实现方式。

具体实施方式

以下参考附图描述了本发明的示例实施。本发明提供了一种用于智能冰箱的购物触发方法，能够使智能冰箱更加贴近用户，改变设备与设备，设备与人之间的单一冰冷联接，满足用户对冰箱食品信息管理的应用场景需要，使得智能冰箱更加贴近用户、更智能化。

图1a和1b示出了根据本发明示例实施例的智能冰箱的结构的正视图和侧视图。

结合图1a至图1b所示，作为一个实施例，冰箱的冷藏柜本体10(也可被称作冷藏室区域)的储物空间包括第一隔层空间101、第二隔层空间102、第三隔层空间103和第四隔层空间104，隔层空间可以是更多或更少，在本发明中不做限制。下面以冰箱的冷藏柜本体被分为3个隔层空间为例来描述本发明的智能冰箱的结构，在一个实施例中，摄像头组包括第一摄像头1、第二摄像头2、第三摄像头3、第四摄像头4和第五摄像头5，其中，第一摄像头1设置于第一隔层空间101的左内侧壁靠近顶部且靠近外敞口的位置上，用于获取第一隔层空间101的储物图像，即其摄像方向朝向第一隔层空间101的储物区域；第二摄像头2设置于第二隔层空间102的左内侧壁靠近顶部且靠近外敞口的位置上，用于获取第二隔层空间102的储物图像，即其摄像方向朝向第二隔层空间102的储物区域；第三摄像头3设置于第三隔层空间103的左内侧壁靠近其顶部且靠近外敞口的位置上，用于获取第三隔层空间103的储物图像，即其摄像方向朝向第三隔层空间103的储物区域；第四摄像头4优选地设置于冷藏柜本体10内邻近第一隔层空间101或者第二隔层空间102且靠近外敞口的位置，用于获取冰箱门(也可被称作冷藏室门区域)20内侧整体空间的储物图像，即当冰箱门20相对于冷藏柜本体10形成预定开启角度时，第四摄像头4的拍摄角度对准冰箱门20内侧的储物区域；第五摄像头5优选地设置于冰箱门本体20的内侧(更优选地设置于其内侧的顶层兜槽上)，用于获取冷藏柜本体中包括三个隔层空间在内的整体储物图像，即当冰箱门20相对于冷藏柜本体10形成上述预定开启角度时，第五摄像头5的摄像方向朝向冷藏柜整体隔层空间的储物区域。

在使用过程中，当第一隔层空间101的储物状态发生变化时，可以通过第一摄像头1采集相应的图像，当第二隔层空间102的储物状态发生变化时，可以通过第二摄像头2采集相应的图像，当第三隔层空间的储物状态发生变化时，可以通过第三摄像头3采集相应的图像，而任一隔层空间的储物状态变化时，还可以通过第五摄像头5获得整体隔层空间的图像，这样在微观上和宏观上均得到了储物状态变化的相应图像。这两种角度的图像有助于云端的图像识别系统更为准确的识别出相应食品信息。另外，当冰箱门20内侧的储物状态变化时，可以通过第四摄像头4获得相应的图像，由于冰箱门20内侧的储物通常较少，这样获得的图像也有助于云端的图像识别系统识别出冰箱门20内侧的储物信息。

需要说明的是，第四摄像头4和第五摄像头5可以被配置为在冰箱门20相对于冷藏柜本体10形成预定角度时同时动作，这样有助于提高图像整体采集的一致性和准确性，并且以尽量少的摄像头数目获得尽量多的图像信息。优选地，第四摄像头4和第五摄像头5的安装高度可以大体一致。

为了更为有效说明上述情形的实现过程，下面进一步举例说明一种具体实施方式：具体地，冰箱上还可以包括一传感器组和主控装置，该传感器组可以包括手部检测传感器(如红外传感器)、角度传感器、冰箱门开关状态检测装置(该装置可直接利用冰箱已有的开关门检测装置)，其中，手部检测传感器用于检测用户手部是否伸进隔层空间，在一个实施例中，手部传感器可以设置于如图1a和图1b所示的位置6处，角度传感器可以设置于冰箱门的转轴上，用于检测冰箱门箱对于冷藏柜的打开角度。

主控装置可以包括如下操作：识别冰箱当前的相应状态；控制摄像头的动作、进行图像采集和存储；实现网络传输等，还可以包括如下功能：根据云端图像识别系统的反馈信息以图形化界面显示冰箱储物空间中的储物状态，为用户提供语音控制以及向用户提供警报、温馨提示等功能。

在使用过程中，整个主控装置可以由冰箱供电单元供电，传感器组的各种相应状态信息实时传送给主控装置，当用户购买食品(例如苹果和鸡蛋)后，打开冰箱，主控装置得知冰箱门打开且得知冰箱门的打开方向(关闭方向)和角度，用户将苹果放到第一隔层空间101中，主控装置也得知这一状态，用户放置完苹果后，主控装置控制第一摄像头1动作，得到第一隔层空间101的储物图像，此外，用户还将鸡蛋放置在冰箱门20内侧，之后用户关闭冰箱门20，在关闭的过程中，当冰箱门20相对于冷藏柜本体10的角度为预定角度(如45°)时，主控装置控制第四摄像头4和第五摄像头5同时动作，得到冷藏柜本体10整体空间的储物图像以及冰箱门20内侧整体空间的储物图像。

在上述相应摄像头动作的预定时间段内，主控装置还采集各相应摄像头获得的图像并将其存储为预定的格式(如jpeg格式)，当用户将冰箱门20关闭后，主控装置将这一周期内(从打开冰箱门到关闭冰箱门的时间段内)获得的三幅图像(第一隔层空间101的微观图像、冷藏柜本体10的整体图像以及冰箱门20内侧的整体图像)传输至云端图像识别系统，由云端图像识别系统根据这些图像获得第一隔层空间101的储物状态以及冰箱门20内侧的储物状态。

用户取出食品时主控装置的工作情形与上述类似，若有多个隔层空间涉及取放动作，所得到的图像数量也相应增加。此外，若是用户打开冰箱后，并未在冷藏柜本体10中取放食品，而仅仅在冰箱门20内侧进行取放动作，此时，主控装置并不控制相应摄像头获取隔层空间的微观图像，整个周期内的图像为两幅整体空间的储物图像；若是用户仅仅打开一个很小的角度(可以预设)，且既不在冷藏柜本体10中进行取放动作也不在冰箱门20内侧进行取放动作(这种情形下，通常是用户人工查看冰箱内部状态的情形)，此时，整个周期中，无需获取任何储物图像。

另外，云端图像识别系统获取每个周期的图像(组)后，可以及时处理，获得相应隔层空间和冰箱门20内侧位置的储物状态信息，例如可以得出第一个隔层空间101有几个苹果，冰箱门20内侧有几个鸡蛋，云端图像识别系统将识别后的信息反馈给主控装置，主控装置通过其显示模块以图形化的方式将该信息呈现给用户，并且可以根据相应品类的保质期提醒用户及时用完。云端图像识别系统处理得到的信息也可以发送给用户的终端上，这样用户能够及时得知冰箱中的相关状态，以及得到相关提醒；此外，云端图像识别系统也可以将获得的图像直接转发给用户终端，这样用户终端也能够更加直观地查看冰箱中的储物状态，而且这在图像识别系统难以有效识别某些图像时更能提供有效的辅助。

下文中，基于上述智能冰箱的结构，描述根据本发明示例实施例的用于智能冰箱的购物触发方法。

图2示出了根据本发明示例实施例的用于智能冰箱的购物触发方法。具体地，图2所述的购物触发方法包括：在步骤S210，获取冰箱对拍图，其中所述冰箱对拍图可以包括内室图和侧门图的图像。在一个实施例中，可以通过布置在所述智能冰箱内的摄像机(如图1所示的摄像机)来获取冰箱对拍图。

在步骤S220，根据所获取的冰箱对拍图，确定与在智能冰箱中存放的食品相关的食品信息。食品信息是指与食品相关的信息，例如，食品名称、食品所属的食品种类、食品数量、食品存放时间等。在一个实施例中，当获取冰箱对拍图时，将所获取的冰箱对拍图发送给云端服务器以便经由云端服务器确定与在智能冰箱中存放的食品相关的食品信息。

在步骤S230，基于所确定的食品信息，针对需要补充的食品显示用于提示补充食品的一个或更多个标示框。也就是说，针对满足提示条件的食品，显示用于提示补充对应食品的标示框。具体地，提示条件可以包括以下至少一项：食品数量少于预定数量、食品存放时间长于预定时间、或当前距离食品过期日不足预定时间等。当根据所确定的食品信息确定存在满足提醒条件的食品时，可以显示询问是否需要补充对应食品的标示框。备选地，在食品信息包括食品所属的食品种类的情况下，步骤S220还可以实现为：统计在预定时间内存放在所述智能冰箱中的食品；按照每一食品所属的食品种类，来分类显示所述食品；以及针对需要补充的食品种类显示用于提示补充食品的标示框。

在步骤S240，响应于用户点击所述标示框之一，显示用于购买与被点击的标示框相对应的食品的页面。在一个实施例中，所述显示用于购买与被点击的标示框相对应的食品的页面还可以包括：针对与被点击的标示框相对应的食品显示一个或更多个推荐商品。接着，响应于用户选择所述推荐商品之一，显示用于购买推荐商品的页面。具体地，所述显示用于购买推荐商品的页面可以包括：如果安装了商城客户端，则显示用于购买所述食品的商城购买页面；否则显示用于下载商城客户端的页面。

此外，在确定与在智能冰箱中存放的食品相关的食品信息之后，也就是说，在步骤S220之后，所述方法还可以包括显示用于提醒品尝食品的提醒操作。具体地，所述操作包括：针对每一食品设置用于提醒品尝的提醒日期；当到达所设提醒日期时，显示针对相应食品的食品提醒，以便提醒用户进行品尝。在一个备选实施例中，所述操作还包括：显示存放在所述智能冰箱中的食品以及所述食品的对应存放时间；统计已到达所设提醒日期的相应食品的食品提醒；以及显示针对食品提醒的概括信息，其中所述概括信息包括食品提醒的数量、食品提醒所针对的食品名称。在这种情况下，响应于用户点击所述概括信息，显示全部食品提醒。

上文介绍了根据本发明示例实施例的用于智能冰箱的购物触发方法的构思。下文图3a至图5e所述的具体实施例来描述根据本发明示例实施例的用于智能冰箱的购物触发方法。

如图3a所示，首先获取冰箱对拍图。具体地，冰箱对拍图有两张，且包括内室图和侧门图。在一个实施例中，当前显示的可以是内室图，且当往左滑时，侧门图滑入。侧门图除了标示其他食品外，重点标示鸡蛋和奶。接着，根据所获取的冰箱对拍图来确定在智能冰箱中存放的食品的食品信息。所述食品信息可以包括食品所属的食品种类、食品数量和食品存放日期等。基于所述食品信息，针对需要补充的食品显示用于提示补充食品的一个或更多个标示框，例如，如图所示，“需要补充蛋？”、“需要补充奶”或“需要补充饮料？”。作为一个示例，当奶(蛋)需要补货时，在标示框内需显现“需要补充奶(蛋)”的按钮。如果接收到用户对一个或更多个标示框的点击，即，当用户确认需要补充某食品时(在本示例中，用户确认需要补充奶)，显示用于购买对应食品的页面。在本实施例中，如图3b所示，响应于用户点击所述标示框之一，显示一个或更多个推荐商品。当用户点击所述一个或更多个推荐商品之一时(如图3b所示)，页面跳转到商城客户端对应商品详情页。此时，如果没有安装商城客户端，则跳转至客户端下载页面。

图4示出了根据本发明示例实施例的用于提示购买食品的另一实现方案。具体地，在该实现方案中，首先，统计在预定时间内存放在所述智能冰箱中的食品。例如，一周内存放在所述智能冰箱中的食品。接着，按照每一食品所属的食品种类，来分类显示所述食品，如图4所示。例如，食品种类包括：蛋肉、奶、果、蔬、饮料和其他等。按照上述食品种类，归类显示统计出的一周内存放在所述智能冰箱中的食品。最后，针对需要补充的食品种类显示用于提示补充食品的标示框。例如，当进行归类之后发现一周之内没有存放过水果时，显示提示补充水果的提示，例如，“本周冰箱内未发现水果，需要添加吗？”。与此同时，还可以显示针对需要补充的食品种类的推荐商品。

如上所述，在确定与在智能冰箱中存放的食品相关的食品信息之后，所述方法还可以包括用于提醒用户品尝食物的提醒操作。具体地，针对每一食品设置用于提醒品尝的提醒日期，且当食品到达所设提醒日期时，显示针对相应食品的食品提醒。图5a至图5e示出了显示食品提醒的实现方式。如图5a所示，首先获取冰箱对拍图，并根据所述冰箱对拍图来确定食品信息。接着，当根据所确定的食品信息发现在所述智能冰箱中存在满足提醒条件的食品时，显示针对所述食品的食品提醒，以便提醒用户进行品尝，如图5b所示。具体地，如图5c所示，所述食品提醒可以包括自设提醒和系统提醒。用户可以对食品提醒进行筛选以便仅观看或编辑系统提醒，或仅观看或编辑自设提醒(如图5d所示)。

此外，图5e示出了显示用于提醒用户品尝食物的食物提醒的另一实现方式。在该实例中，显示存放在所述智能冰箱中的食品以及所述食品的对应存放时间；统计已到达所设提醒日期的相应食品的食品提醒；以及显示针对食品提醒的概括信息，其中所述概括信息包括食品提醒的数量、食品提醒所针对的食品名称。例如，如图5e所示，当确定苹果、芒果和橘子均满足提醒条件时，在提醒图标处显示数字3，表示有三个食品提醒。备选地，还可以在提醒图标处显示消息：“苹果、芒果、橘子已经到了您的提醒日期，请查看！”，并响应于用户点击该消息，显示食品提醒的详细信息，或逐条显示食品提醒。

图5a至图5e描述了用于提醒用户品尝食品的食品提醒的实现方式。当用户并未根据所述食品提醒在所建议的时间内品尝食物时，所述方法还可以包括显示询问是否补充相应食物的标示栏，并响应于用户点击所述标示框之一，显示用于购买与被点击的标示框相对应的食品的页面，该操作的具体实现方式已结合上文所述，因此将不再进行赘述。

由上述可知，通过采用根据本发明示例实施例的用于智能冰箱的购物触发方法，能够拓展智能冰箱的智能化生活应用，用户与智能冰箱之间的交互更加便捷、人性化和智能化，有效提高了用户在智能冰箱上的使用体验。

以上方案仅是示出本发明构思的一个具体实现方案，本发明不限于上述实现方案。可以省略或跳过上述实现方案中的一部分处理，而不脱离本发明的精神和范围。

前面的方法可以通过多种计算机装置以可执的程序命令形式实现并记录在计算机可读记录介质中。在这种情况下，计算机可读记录介质可以包括单独的程序命令、数据文件、数据结构或其组合。同时，记录在记录介质中的程序命令可以专门设计或配置用于本发明，或是计算机软件领域的技术人员已知应用的。计算机可读记录介质包括例如硬盘、软盘或磁带等磁性介质、例如压缩盘只读存储器(CD-ROM)或数字通用盘(DVD)等光学介质、例如光磁软盘的磁光介质以及例如存储和执行程序命令的ROM、RAM、闪存等硬件装置。此外，程序命令包括编译器形成的机器语言代码和计算机通过使用解释程序可执行的高级语言。前面的硬件装置可以配置成作为至少一个软件模块操作以执行本发明的操作，并且逆向操作也是一样的。

尽管以特定顺序示出并描述了本文方法的操作，然而可以改变每个方法的操作的顺序，使得可以以相反顺序执行特定操作或使得可以至少部分地与其它操作同时来执行特定操作。此外，本发明不限于上述示例实施例，它可以在不脱离本公开的精神和范围的前提下，包括一个或多个其他部件或操作，或省略一个或多个其他部件或操作。

以上已经结合本发明的优选实施例示出了本发明，但是本领域的技术人员将会理解，在不脱离本发明的精神和范围的情况下，可以对本发明进行各种修改、替换和改变。因此，本发明不应由上述实施例来限定，而应由所附权利要求及其等价物来限定。

Claims (10)

1.一种用于智能冰箱的购物触发方法，包括：

获取冰箱对拍图；

根据所获取的冰箱对拍图，确定与在智能冰箱中存放的食品相关的食品信息；

基于所确定的食品信息，针对需要补充的食品显示用于提示补充食品的一个或更多个标示框；以及

响应于用户点击所述标示框之一，显示用于购买与被点击的标示框相对应的食品的页面。

2.根据权利要求1所述的购物触发方法，其中通过布置在所述智能冰箱内的摄像机来获取冰箱对拍图。

3.根据权利要求1所述的购物触发方法，其中所述显示用于购买与被点击的标示框相对应的食品的页面包括：

针对与被点击的标示框相对应的食品显示一个或更多个推荐商品；以及

响应于用户选择所述推荐商品之一，显示用于购买推荐商品的页面。

4.根据权利要求1所述的购物触发方法，其中所述食品信息包括食品所属的食品种类，且

所述针对需要补充的食品显示用于提示补充食品的一个或更多个标示框包括：

统计在预定时间内存放在所述智能冰箱中的食品；

按照每一食品所属的食品种类，来分类显示所述食品；以及

针对需要补充的食品种类显示用于提示补充食品的标示框。

5.根据权利要求1所述的购物触发方法，其中所述方法还包括：当获取冰箱对拍图时，将所获取的冰箱对拍图发送给云端服务器以便经由云端服务器确定与在智能冰箱中存放的食品相关的食品信息。

6.根据权利要求1所述的购物触发方法，其中所述冰箱对拍图包括内室图和侧门图的图像。

7.根据权利要求1所述的购物触发方法，其中在确定与在智能冰箱中存放的食品相关的食品信息之后，所述方法还包括：针对每一食品设置用于提醒品尝的提醒日期，且当食品到达所设提醒日期时，显示针对相应食品的食品提醒。

8.根据权利要求7所述的购物触发方法，其中所述方法还包括：

显示存放在所述智能冰箱中的食品以及所述食品的对应存放时间；

统计已到达所设提醒日期的相应食品的食品提醒；以及

显示针对食品提醒的概括信息，

其中所述概括信息包括食品提醒的数量、食品提醒所针对的食品名称。

9.根据权利要求8所述的购物触发方法，其中所述方法还包括：

响应于用户点击所述概括信息，显示全部食品提醒。

10.根据权利要求1所述的购物触发方法，其中所述显示用于购买推荐商品的页面包括：如果安装了商城客户端，则显示用于购买所述食品的商城购买页面；且如果没有安装商城客户端，则显示用于下载商城客户端的页面。