CN112041876A - 语音辅助补货方法和系统 - Google Patents

Abstract

一种语音辅助补货系统(100)，包括：第一隔室，用于存储多种消耗性物品；补货建议单元(114)，配置为通过网络通信接口接收来自远程数字助理服务器(128)的基于语音的补货建议；语音输出接口(110)，配置为向用户输出基于语音的补货建议；以及位于第一隔室内部的第一硬件按钮，其中，第一硬件按钮被配置为：在语音输出接口(110)输出来自数字助理的第一基于语音的补货建议后，提示用户提供关于第一基于语音的补货建议的确认输入；以及当用户激活第一硬件按钮时，向远程数字助理发送相应的确认信号。还公开了一种相应的语音辅助补货方法。

Description

语音辅助补货方法和系统

相关申请的交叉引用

本申请要求于2018年3月9日提交的、申请号为15/917,304的美国专利申请的优先权，其全部内容通过引用合并于本申请中。

技术领域

本公开涉及语音辅助补货系统和方法的领域，尤其涉及家用消耗性物品的语音辅助补给，例如家用冰箱的语音辅助补货。

背景技术

家庭消耗性物品需要经常补货。消费者必须在定期购物之间的整个过程中不断记录消耗性物品(例如牛奶、鸡蛋、面粉、卫生纸、洗发水、尿布和罐头食品等)的数量，这对大多数人来说是个精神负担。有时，如果某项物品在消费者下一次购物之前就已用完，则消费者可能不得不额外前往商店专门购买该物品。对于许多人而言，保持家用消耗性物品的库存足够且不过度充裕是一项具有挑战性且困难的任务。

随着智能设备和在线商务的日益普及，一些软件供应商已经开发了软件应用程序，使用户可以在他们的智能手机上设置购物提醒和创建电子购物清单。然而，对于用户而言，手动输入购物提醒和购物清单仍然是困难且耗时的。一些在线购物网站使得用户能够重新订购先前订购过的物品，并在用户重新访问在线购物网站时根据保存的购物数据显示自动再订购建议。但是，这样的提醒通常在用户对购买没有兴趣和/或没有机会检查现有库存的时候出现，从而导致再订购建议的有效性降低。

当今，最先进的冰箱是网络使能的，并且可以通过安装在智能设备上的应用程序，和/或通过冰箱正面的触摸屏进行控制。据称，这些智能冰箱中的一些能够检测冰箱所容纳的东西并生成显示在触摸屏正面上的补充提醒。但是，这些提醒的准确性较低(例如，由于成分识别、数量确定技术不足)，导致消费者对提醒的置信度较低。在线购物的触摸屏交互也很繁琐，因为用户不喜欢长时间站在冰箱触摸屏前进行在线购物。

至少由于上述原因，需要一种改进的家用消耗品补货系统，尤其是用于冰箱的补货。

发明内容

正如在背景技术中讨论的那样，需要一种改进的家用消耗品补货系统，尤其是用于冰箱的补货。本公开确定了现有技术的许多缺点以及专利和文献中已经提出的某些解决方案的缺陷。如本文所公开的，提出了一种语音辅助补货系统，其中该语音辅助补货系统包括一个或多个硬件按钮，该一个或多个硬件按钮被配置为提示用户确认关于与电器设备集成在一起的基于语音的数字助理发出的实时补货建议和查询，并在用户激活一个或多个硬件按钮时确认基于语音的数字助理建议的在线购物动作。在一些实施例中，一个或多个硬件按钮中的至少一个位于容纳家用消耗品的储藏隔室的内部(例如，位于冰箱门的内侧)，以便用户方便检查储藏隔室内的库存(例如，检查冰箱隔室中的剩余库存)并立即提供确认输入，而无需关闭储藏隔室或移开储藏隔室(例如，关闭冰箱门并在冰箱门外部或智能设备上的触摸屏上输入确认信息)。另外，硬件按钮成本低廉且易于维护；与触摸屏显示器不同，硬件按钮可以在储藏隔室内部的低温、高湿和/或其他不利环境条件下正常工作。本文公开的语音辅助补货系统和方法还有许多其他优点，基于本文提供的公开内容，这些优点对于本领域技术人员来说将显而易见。

如本文所公开的，在一些实施例中，语音辅助补货系统包括：第一隔室，用于存储多种消耗性物品；补货建议单元，被配置为通过网络通信接口接收来自远程数字助理服务器的基于语音的补货建议；语音输出接口，配置为向用户输出基于语音的补货建议；以及第一硬件按钮，位于第一隔室的内部，其中，第一硬件按钮被配置为：在语音输出接口输出来自数字助理的第一基于语音的补货建议后，提示用户提供关于第一基于语音的补货建议的确认输入；并且当第一硬件按钮被所述用户激活时，向远程数字助理发送相应的确认信号。

在一些实施例中，一种提供补货建议的方法，包括：在包括一个或多个处理器、存储器和用于存储多种消耗性物品的第一隔室的设备处，检测在第一隔室的正面的用户存在；响应于检测到用户存在并且确定用户存在符合补货建议准则，通过语音输出接口输出第一基于语音的补货建议；在语音输出接口输出第一基于语音的补货建议后，经由位于第一隔室内部的第一硬件按钮提供第一提示，以请求来自用户的关于第一基于语音的补货建议的确认输入；在提供第一提示的同时，检测用户对第一硬件按钮的激活；以及响应于在第一提示被提供的同时检测到第一硬件按钮的激活，将关于第一基于语音的补货建议的相应的确认信号发送到远程数字助理。

根据一些实施例，一种电子设备包括一个或多个处理器，以及存储一个或多个程序的存储器；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或使能本文描述的任何方法的操作的执行的指令。根据一些实施例，一种计算机可读存储介质，其中存储有指令，当所述指令被电子设备执行时，使该设备执行或使能本文描述的任何方法的操作的执行。

根据一些实施例，一种语音辅助补货系统，包括：用于存储多种消耗性物品的第一装置；补货建议装置，用于通过网络通信接口接收来自远程数字助理服务器的基于语音的补货建议；语音输出装置，用于向用户输出基于语音的补货建议；第一硬件装置，位于用于存储多种消耗性物品的第一装置的内部，其中，第一硬件装置包括：提示装置，用于在语音输出接口输出来自数字助理的第一基于语音的补货建议之后，提示用户提供关于第一基于语音的补货建议的确认输入；以及发送装置，用于当第一硬件按钮被用户激活时，向远程数字助理发送相应的确认信号的装置；以及执行装置，用于执行或使能本文描述的任何方法的操作的执行的装置。

根据以下描述，可以很明显地看出目前公开的技术的各种优点。

附图说明

通过结合附图对优选实施例的详细描述，在下文中将更清楚地理解所公开技术的上述特征和优点以及其附加特征和优点。

为了更清楚地描述本公开技术的实施例或现有技术中的技术方案，以下简要介绍描述实施例或现有技术所需的附图。显然，以下描述中的附图仅示出了本公开技术的一些实施例，并且本领域普通技术人员仍可以在不付出创造性劳动的情况下从这些附图中得出其他附图。

图1是根据一些实施例的语音辅助补货系统的操作环境的框图，该语音辅助补货系统包括用于存储多种消费性家用物品的隔室。

图2包括示出根据一些实施例的带有语音辅助补货系统的示例性冰箱的框图。

图3包括根据一些实施例的在语音辅助补货系统中使用的各种硬件按钮的示意图。

图4是根据一些实施例的语音辅助补货方法的冰箱下单工作流的流程图。

图5是根据一些实施例的语音辅助补货方法的流程图。

图6是根据一些实施例的语音辅助补货系统的框图。

在整个附图的多个视图中，相似的参考标号表示相应的部分。

具体实施例

现在将详细参考实施例，实施例的示例在附图中示出。在下面的详细描述中，阐述了许多具体细节，以提供对本文提出的主题的透彻理解。但是对于本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实践本主题。在其他情况下，为了避免不必要地模糊实施例的各方面，没有详细描述公知的方法、过程、组件和电路。

下文将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请实施例的一部分而不是全部。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据一些实施例的语音辅助补货系统100的操作环境的框图，该语音辅助补货系统(例如，诸如智能冰箱、智能药品柜、智能浴室柜等智能设备)包括隔室(例如，冷藏隔室或冷冻隔室、药品柜、浴室用品柜等)，用于存储多种消费性家用物品(例如，易腐烂的食品或冷冻食品、药品和个人护理产品、浴巾、湿巾和尿布等)。

如图1所示，语音辅助补货系统100包括：(一个或多个)储藏隔室102、设备操作单元104、网络通信单元106、语音输入接口108、语音输出接口110、触摸屏显示器112和补货建议单元114。在一些实施例中，补货建议单元114包括：一个或多个硬件按钮116，用于提示用户提供关于当前输出的补货建议的确认/拒绝输入；库存测量单元118、用户存在检测单元120、数字助理客户端122和用户认证单元124。这些组件中的每一个都可以用硬件、固件和/或硬件、固件和存储在计算机可读介质中的、可由一个或多个处理器执行以执行组件的各种功能的指令的组合来实现。语音辅助补货系统100的这些组件仅是说明性的，并且实际的实施例可以包括更多的组件或者可以不包括这里描述的所有组件。另外，这些组件的一些功能可以被组合成新的组件，或者组件的一些功能可以被分离和/或添加到另一组件。

如图1所示，语音辅助补货系统100包括一个或多个储藏隔室102，每个隔室用于存储多种家用消耗性物品。例如，语音辅助补货系统100可被实现为一种智能冰箱，该智能冰箱包括：用于存储需要冷藏的易腐烂食物的一个或多个隔室，用于存储冷冻食品的一个或多个隔室以及可选地用于不需要冷藏的家用主食产品的一个或多个隔室。智能冰箱的每个隔室是一个封闭的空间，该封闭的空间具有用于存储消耗性物品的内部空间，并且各自的门或抽屉打开以允许用户将其他物品放入该隔室或从该隔室取出物品。出于能效原因、隐私原因和/或安全原因，除非用户打开隔室的门或抽屉以取出物品或将物品放入隔室，否则隔室的门或抽屉保持关闭状态。在一些实施例中，隔室的内部条件通过各种装置(例如，压缩机、冷却剂、通风设备、加湿器以及真空吸尘器等)被保持在特定条件下，例如具有温度、湿度、光和/或气流等的限制。在一些实施例中，由于隔室中的湿度、温度和/或气流条件，隔室的内部条件使得无法在隔室的内部安装某些常规的输入和输出设备，例如触摸屏显示器、麦克风和/或扬声器。在一些实施例中，例如出于能量效率和隐私考虑，将隔室的壁和门设计为透明是不可行的。

由于某些智能设备的储藏隔室的这些特殊特性，传统的补充提醒解决方案效果不佳。例如，因为用户不能轻易地看到(一个或多个)储藏隔室，所以用户不能看一眼储藏隔室就容易地制作出购物清单。出于能源、安全和隐私考虑，隔室门不能是透明的或长时间被打开，因此用户必须先打开隔室门以检查库存，然后才能做出或确认补货决定。在智能设备上提醒用户对物品(例如鸡蛋、牙膏、浴巾等)补货的常规方法效果不佳，因为用户在物理上可能不在用于存储该物品的隔室(例如冷藏隔室、药品柜、浴室柜等)的附近，并且无法在确认补货建议之前方便地检查物品的实际库存。经由安装在隔室门(例如，在冰箱门、药品柜门或浴室柜门等上)外侧的触摸屏显示器上显示的提醒来提醒用户补充物品效果也不佳，因为当用户在触摸屏显示器上看到补货提醒时，用户必须打开隔室门以检查隔室内的库存，然后关闭隔室门以在触摸屏显示器上输入确认或拒绝输入。如果有多个补货推荐，则用户可能不得不反复打开和关闭隔室门以检查内部库存，然后在外部提供确认/拒绝输入。这比较繁琐且烦人、会对隔室的内部条件产生不利影响，并且浪费能量。

一些最先进的电器设备还具有基于语音的交互模型，该模型允许用户使用语音输入和音频输出(例如语音或音频警报)与数字助理进行交互。使用基于语音的提醒和基于语音的确认/拒绝有助于克服上述一些例如关于触摸屏和智能设备的问题。但是，由于各种原因，例如低音质、高噪音、用户口音、不常见的用语、新产品和词汇等，先进的语音识别和意图推断技术仍然存在不可避免的错误。在涉及对家用物品补货并对这些补货决定支付费用的交互过程中，这些语音识别和意图推断错误尤其成问题。如果用户对语音识别和意图推断的准确性没有信心，则用户可能会完全地放弃数字助理的补货建议和补货购买。即使用户仍然尝试使用补货建议和自动补货购买，如果数字助理在解释用户的语音输入时出错，则用户可能会得到错误的物品和/或不必要的物品，或者不得不处理由于补货失败而导致的物品短缺问题。即使数字助理可以包括重复的故障保存机制，例如重复的语音确认或经由触摸屏的确认，这些附加机制也只会使补货过程变得更加繁琐，而无法真正解决问题。

在本公开中，语音辅助补货系统100仍利用基于语音的输入和输出来促进家用消耗品的补货。语音辅助补货系统100包括语音输入接口108，该语音输入接口108包括例如位于储藏隔室的外部和/或内部的一个或多个麦克风。在一些实施例中，如果隔室的内部条件不适用于语音输入接口的操作，则语音输入接口仅在储藏隔室的外部可用。类似地，语音辅助补货系统100包括语音输出接口110，用于向用户输出来自数字助理的基于语音的查询、建议和指令。在一些实施例中，如果隔室的内部条件不适用于语音输出接口的操作，则语音输出接口仅在储藏隔室的外部可用。在一些实施例中，数字助理可以利用由位于储藏隔室附近的其他智能设备提供的语音输入接口和语音输出接口。在一些实施例中，语音辅助补货系统100包括触摸屏显示器单元112，触摸屏显示器单元112被配置为显示图形用户接口并经由触摸输入和手势接收用户输入。

在一些实施例中，语音辅助补货单元114通过网络126与数字助理服务器128通信。该通信由数字助理客户端122通过网络通信单元106执行。术语“数字助理”可能会被替换为“家庭助理”、“虚拟助理”、“智能自动助理”、“基于语音的数字助理”、“语音助理”或“自动数字助理”，并且是指以语音和/或文本形式解释自然语言输入以推断出用户意图的信息处理系统(例如，标识与自然语言输入相对应的任务类型)，并根据推断出的用户意图执行动作(例如，执行与所标识的任务类型相对应的任务)。例如，为了对推断出的用户意图采取行动，系统可以执行以下一项或多项操作：使用旨在实现推断出的用户意图的步骤和参数识别任务流(例如，识别任务类型)，将来自推断出的用户意图的特定要求输入任务流，通过调用程序、方法、服务、API等执行任务流(例如，将请求发送到服务提供商(例如，购物网站服务器)或将机器命令发送到受控设备)；以及以听觉(例如，语音)和/或视觉形式生成对用户的输出响应。如本文所公开的，在一些实施例中，数字助理被配置为从各种来源收集物品库存信息、用户偏好信息和补货需求信息，并生成补货建议(例如，关于在何时、以什么价格、以及从何处来对哪些物品需要进行补货)，请求用户确认补货建议(例如，经由各种输出装置向用户提供补货建议，经由各种输入装置请求用户输入等)，并代表用户执行补货动作(例如，下达在线订单和再订购，并在线支付订单和再订购)。

(一个或多个)通信网络126的示例包括局域网(LAN)和广域网(WAN)，例如因特网。可以使用任何已知的网络协议来实现(一个或多个)通信网络110，该网络协议包括各种有线或无线协议，例如以太网、通用串行总线(USB)、火线(FIREWIRE)、全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)、互联网协议语音(VoIP)、全球微波接入互操作性(Wi-MAX)或任何其他合适的通信协议。

如图1所示，在一些实施例中，根据客户端-服务器模型来实现数字助理系统。数字助理系统包括在语音辅助补货系统100上执行的客户端部分122(例如，作为补货建议单元114的一部分)，以及在数字助理服务器系统128上执行的服务器端部分。在一些实施例中，数字助理服务器128包括：面向客户的I/O处理单元130、一个或多个处理模块，该一个或多个处理模块包括自然语言处理单元132、任务流生成单元134、补货建议生成单元136和再订购执行单元138。数字助理服务器128还包括用户数据库140和购物数据库142。

可以在至少一个数据处理仪器和/或计算机的分布式网络上实现数字助理服务器系统128。在一些实施例中，服务器系统128还采用第三方服务提供商(例如，第三方云服务提供商)的各种虚拟设备和/或服务来提供服务器系统128的基础计算资源和/或基础设施资源。

如本文所公开的，对于相应类型的语音辅助补货系统100，语音辅助补货系统100具有由设备操作单元104启用和执行的一组本机功能。例如，如果语音辅助补货系统是一个智能冰箱，设备操作单元包括用于维持所需冷藏和冷冻温度的机制。如果语音辅助补货系统是智能药品柜，则设备操作单元包括用于保持存储在内部的药品所需的温度和湿度水平的机构以及防止儿童进入的机制。如果语音辅助补货系统是智能浴室柜，则设备操作单元包括用于维持例如内部储存的所需的个人护理用品、浴巾等所需的通风和干燥的机制。

在本公开中，基于语音的补货系统100包括库存测量单元118。在一些实施例中，库存测量单元118包括：用于确定是否要补充存储在储藏隔室102中的特定物品的储藏隔室内部的相机、位于储藏隔室中各个位置处的重量传感器和位于储藏隔室中各个位置处的光传感器等。例如，在冰箱鸡蛋隔室中，如果放置在所有鸡蛋放置位置的重量传感器或光传感器指示鸡蛋储藏隔室的80％中不存在鸡蛋，则可以可选地通过数字助理客户端将该信息发送到数字助理服务器，并且数字助理服务器128可以利用该信息来生成鸡蛋的补货建议，并将其发送回数字助理客户端。在一些实施例中，库存测量单元118还跟踪补充每件物品的频率和多少以建立每件物品的基线库存量。在一些实施例中，每当用户将物品放入储藏隔室和/或将物品从储藏隔室中取出，库存测量单元118可选地使用RFID扫描仪技术在没有用户干预的情况下快速地获取物品类型和物品数量。

在一些实施例中，补货建议单元114还包括用户存在检测单元120。用户存在检测单元120确定用户何时在语音辅助补货系统100(例如，冰箱)的附近，和/或用户是否处于指示一个良好的机会以向用户提供补货建议并请求有关补货建议的确认/拒绝输入的动作的状态或执行该动作。例如，用户存在检测单元120包括运动传感器和/或光传感器，该运动传感器和/或光传感器检测用户是否已经打开隔室102的门、或者用户是否站在隔室的正面、或者用户是否正在将物品从隔室中取出或放入隔室等。基于用户的状态和/或动作，以及可选地基于其他考虑(例如，时间、用户的日程安排、用户是一个人还是有公司等)，用户存在检测单元120确定是否满足现在提供补货建议的准则。在一些实施例中，用户存在检测单元120可选地使用数字助理的对话能力来与用户确认是否是提供补货建议的良好时机。通常，用户存在检测单元120使用各种准则来确定用户是否方便打开隔室并检查库存状态以确认或拒绝补货建议。在一些实施例中，用户存在检测单元120使用不同的准则集以基于需要提供和确认多少个补货建议以及这些补货需求的紧急程度来确定提供补货建议的时机。

在一些实施例中，补货建议单元114还包括用户认证单元124。用户认证单元124可以包括指纹传感器、ID扫描仪、相机和/或面部识别单元等，以确定用户是否被授权打开隔室并做出补货决定。在一些实施例中，指纹传感器与语音辅助补货系统的硬件按钮116集成在一起。

在本公开中，一个或多个硬件按钮116被安装在储藏隔室的内侧，例如，在隔室门或抽屉的内侧。在一些实施例中，这些硬件按钮被设计为包括绝缘层、防潮层、隔热层和/或针对储藏隔室的内部条件的其他保护，从而当这些硬件按钮保留在隔室102的内部时不会受到不利影响。硬件按钮被配置为检测用户输入，例如按压输入、敲击输入、轻扫式输入、拉动输入、滑动输入等，并将关于用户输入的相应的信号传输至控制单元(例如，补货建议单元114或数字助理客户端122或数字助理服务器128等)。相对于由补货建议单元114提供的当前输出的补货建议，该信号被视为确认输入或拒绝输入。

在一些实施例中，硬件按钮116被用作增加用户与数字助理之间基于语音的交互的置信度的附加装置。例如，通过物理地激活硬件按钮116，用户可以确认基于语音的建议(例如，补货物品、数量、时间以及付款等)，而无需使用语音输入(例如，避免语音识别和意图推断错误)，并且无需在储藏隔室的外侧使用触摸屏输入。通过要求与物理硬件按钮进行交互，可以提高用户的购物意识，并且用户可以对自己的认知更加自信并控制数字助理执行的购买操作。另外，由于物理按钮被放置在隔室上，因此需要在用户可以容易地检查隔室中的库存状态的位置处汇集补货建议的提供和用户的确认输入，因此，用户可以对自己的补货决定更加自信，并且数字助理很有可能会收到其进行再订购动作所需的补货确认以减少出错的可能性。

另外，通过引入物理硬件按钮作为确认补货建议和进行购买的机制，可以降低对物品进行购买和补货的障碍，并且儿童和肢体残障人士(例如行动不便的人)可以执行在家中购物，而无需精通技术或灵巧地操作储藏隔室外侧的智能设备或触摸屏用户接口。

如前所述，这种物理确认机制使用户可以当场检查库存，并基于新知识立即进行确认。确认按钮被放置在储藏隔室的内部，因此用户不必重复打开和关闭储藏隔室以输入多个建议的确认输入。当一个接一个地提供多个物品的确认输入时，用户也不必记住许多物品的库存状态。

某些现有的在线购买机构包括亚马逊的一键购物按钮，其中每个按钮对应于对相应产品的再订购请求。一键购物按钮易于使用，但是一键购物按钮是从储藏隔室中分离出来的，它不提供自动提醒，该自动提醒在方便的时候被提供给用户以检查库存。一键购物按钮还没有提供修改与该按钮相关联的订单的选项(例如，更改数量或检查更新价格)。一键购物按钮也没有关于订单是否下达的视觉确认。与一键购物按钮不同，硬件确认按钮被安装在储藏隔室上，并且包含视觉和/或音频提示和反馈功能，这些功能与基于语音的补货系统刚刚提供的补货建议相对应。因此，硬件按钮可被用于确认多种类型的补货推荐以及任何类型、数量和价格的物品。

较之基于触摸屏的补货建议和确认方案，硬件按钮与基于语音的补货建议相结合也具有优势。例如，硬件按钮在各种操作条件下(例如，高湿度、低温、高噪声等)更简单、更耐用。硬件按钮也更便宜、更易于制造、维护和更换。这些按钮尺寸很小，并且没有用于检测输入并将信号传输到网络通信接口或数字助理的复杂电路系统或处理模块。这些按钮易于使用，儿童和残疾人可以毫无问题地操作按钮。

在一些实施例中，一个或多个硬件按钮位于储藏隔室的外侧，用户可以使用储藏隔室内部的按钮或储藏隔室外部的按钮来确认已经由语音输出接口或触摸屏显示器提供的补货建议。例如，如果用户在听到第一补货建议后已打开储藏隔室以检查库存状态，则用户可以使用内部硬件按钮确认第一补货建议，然后关闭储藏隔室，并随后使用外部硬件按钮确认另一个不同的物品的输出补货建议，前提是用户仍然记得早些从隔室中看到物品的库存状态。

在一些实施例中，用户可以激活储藏隔室外部的硬件按钮以向数字助理指示用户有兴趣听取补货建议，然后继续打开该储藏隔室，并使用内部硬件按钮确认补货建议。

在一些实施例中，当没有提供补货建议时，用户可以激活内部硬件按钮。响应于在未提供补货建议时检测到内部硬件按钮的激活，补货建议单元触发语音输入接口以捕获描述储藏隔室中各种物品的库存状态的用户语音输入，和/或请求用于设置提醒以重新检查库存状态或在以后的时间对各种物品进行补货。

在一些实施例中，硬件按钮116包括灯(例如LED灯)和触觉输出生成器，触觉输出生成器提供有关对当前输出建议的确认请求的视觉提示和触觉反馈，以及与接收用户的确认/拒绝输入有关的反馈。

在一些实施例中，语音辅助补货系统100的各个组件通过一条或多条通信线路进行通信。语音辅助补货系统100的各个单元由存储在非暂时性计算机可读介质(例如，存储器)上的指令实现，该指令在由语音辅助补货系统的一个或多个处理器执行时使处理器执行实现本文所述方法所需的各种操作。

在一些实施例中，硬件按钮可用于通过常规自然语言处理和意图推断过程触发与数字助理的交互以购买其他物品，并且硬件按钮通过数字助理为每次购买和付款(例如，购买未存储在储藏隔室中的其他家用消耗品，例如清洁用品、饮料、盥洗用品、食品柜主食等)提供物理确认的装置。

在以下示例和公开中提供了硬件按钮116和语音辅助补货系统100的各个组件的其他方面。

图2包括示出根据一些实施例的带有语音辅助补货系统的示例性冰箱的框图。如图2(A)所示，语音辅助补货系统是具有两个隔室214和216的智能冰箱200。上隔室214具有门208。下隔室216具有门212。在图2(A)中，门208和212处于关闭状态。在门208的外侧，有一个扬声器218，用于输出补货建议和数字助理的其他输出，还有一个麦克风220，用于捕获用户对数字助理的语音输入。另外，在一些实施例中，触摸屏显示器210被安装在门208的外侧。在一些实施例中，用于检测用户的确认输入和/或激活输入的硬件按钮202被安装在门208的外侧。

图2(B)示出了其上隔室214是打开的智能冰箱200。硬件按钮204被安装在门208’的内侧。食品可以被存储在隔室214的内部空间(例如，在架子上)和门208’的内侧的架子上。图2(C)示出了其上隔室214和其下隔室216都打开的智能冰箱200。硬件按钮206被安装在门212’的内侧。在一些实施例中，当门208被打开时，补货建议被用于存储在上隔室214中的物品，并且在按钮204上接收到的确认也被用于存储在上隔室214中的物品的补货建议。同样地，当门212被打开时，补货建议被用于存储在下隔室216中的物品，并且在按钮206上接收到的确认也被用于存储在下隔室216中的物品的补货建议。

以上示例仅用于说明目的。针对各个实施例阐述了智能冰箱的结构和功能的更多细节。

图3包括根据一些实施例的在语音辅助补货系统中使用的各种硬件按钮的示意图。

图3(A)-图3(C)示出了硬件按钮，该硬件按钮被配置为提供一种从外围区域移动到中心区域然后重复该过程的光图案。硬件按钮还可以生成其他光图案，每个光图案对应于相应类型的补货建议。在一些实施例中，硬件按钮被配置为显示与当前输出的补货建议(例如，一打鸡蛋)相对应的短文本词或短语(例如，“1打鸡蛋”)或图形符号(例如，鸡蛋符号)。在一些实施例中，光图案被动画化或闪烁预定的时间段以指示请求用户输入的持续时间。如果在该时间段内按钮未收到任何输入，则光图案将更改或停止，并开始新的交互周期。在预定义的时间段内，如果按钮上没有用户输入，则可以选择将其解释为默认输入或拒绝输入。

图3(D)显示了一个备选按钮和一种光图案，该光图案在按钮的一系列子区域中循环。图案动画的方向指示输入是用于批准建议还是不批准建议。例如，光图案的顺时针旋转表示批准，如果在光图案顺时针移动时在按钮上检测到用户的按压输入，则该输入将被解释为批准输入。在顺时针旋转一段时间后，光图案会逆时针旋转，如果在光图案逆时针移动时在按钮上检测到用户的按压输入，则该输入将被解释为拒绝输入。在响应时段到期之前，光图案会在顺时针和逆时针之间循环多次。

图3(E)显示了另一个按钮，该按钮包括用于批准输入的左按钮和用于拒绝输入的右按钮。用户可以按压左按钮或右按钮以指示批准或拒绝当前输出的补货建议。

硬件按钮上呈现的其他视觉提示和反馈，可选地包括闪光、闪烁、产品图标、指示批准或拒绝的符号、倒数计时、产品商标、价格/支付金额等。

在一些实施例中，按钮的外观状态也会改变，这取决于在按钮上检测到的输入类型。按钮所接受的输入类型包括按压式输入、触摸式输入、推动式输入、敲击式输入、长按式输入、用力按压式输入、轻扫式输入、点击式输入、旋转式输入、滑动式输入、轻刷式输入等。每种输入的类型可以与关于数字助理或补货建议单元的动作的相应含义类型相关联。

图3(F)-3(I)示出了可以实现的各种类型的按钮。例如，图3(F)-3(G)示出了一个弹簧式按钮，按压该按钮即可记录用户输入。图3(H)示出了固态按钮，该固态按钮包括放置在表面层下面并且与周围表面齐平的触摸传感器和/或压力传感器。固态按钮可以检测触摸输入，例如敲击、按压、轻扫等。固态按钮是防水和防潮的，并且可以可选地包括为所检测到的输入提供触觉反馈的触觉输出生成器。图3(I)示出了弹簧式滑动开关，当用户拉动开关经过沿周围表面的阈值位置时，该滑动开关记录用户输入。图3仅是说明性的。可以将许多其他类型的硬件按钮用于本文公开的语音辅助补货系统。

在一些实施例中，语音辅助补货系统(例如，智能冰箱、智能药品柜、智能浴室柜等)包括：用于存储多种消耗性物品的第一隔室(例如，冷藏隔室)(例如，第一隔室的内部受到不利于触摸屏显示器和非防水电子组件操作的潮湿条件和温度条件)；补货建议单元(例如，位于冰箱的数字助理客户端的一部分，包括一个或多个处理器和存储器，以及由一个或多个处理器执行时使处理器执行数字助理的客户端功能的指令，例如面向用户的I/O功能、面向服务器的I/O功能、控制和监视冷藏隔室的内部的硬件按钮)，补货建议单元被配置为通过网络通信接口接收来自远程数字助理服务器的基于语音的补货建议(并将用户发出的语音输入发送到远程数字助理服务器)；语音输出接口(例如，位于冷藏隔室的内壁、或冷藏隔室的外壁、或位于冷藏隔室内架子的边缘上的扬声器)被配置为将基于语音的补货建议输出到用户；以及第一硬件按钮(例如，防水和防潮的按钮(例如，对压力敏感的防潮固态按钮或可机械激活的防潮机械按钮))，其位于第一隔室的内部(例如，位于靠近冰箱门的冷藏隔室的内壁中，或者位于冰箱门的内侧上，或者位于靠近冰箱门的架子的边缘上)，其中第一硬件按钮被配置为：在语音输出接口输出来自数字助理的第一基于语音的补货建议之后，提示用户提供关于第一基于语音的补货建议的确认输入(例如，通过输出与第一基于语音的补货建议的建议类型相对应的相应的光图案或音频模式)；以及当用户激活第一硬件按钮时(例如，通过用户按压第一硬件按钮或敲击第一硬件按钮、或者拉动第一硬件按钮、或者滑动第一硬件按钮上的切换或开关等)，将相应的确认信号发送至远程数字助理(例如，通过补货建议单元和网络通信接口)。

在一些实施例中，语音辅助补货系统还包括语音输入接口(例如，位于冷藏隔室的内壁、或冷藏隔室的外壁、或冷藏隔室内的架子的边缘上的麦克风)，语音输入接口被配置为在网络通信单元将语音输入发送到远程数字助理服务器之前捕获用户发出的语音输入。在一些实施例中，语音输入接口位于第一隔室的外侧。例如，麦克风以及作为远程数字助理的输入/输出接口的触敏显示器位于冰箱门的正面。在一些实施例中，语音输入接口包括位于冰箱门外侧的第一麦克风和位于冰箱门内侧的第二麦克风。当冰箱门关闭时，门外侧的第一麦克风被用于捕获用户的讲话，而当冰箱门关闭时，位于冰箱门内侧的第二麦克风被用于捕获用户的讲话。在一些实施例中，当冰箱门关闭时，补货建议单元开始通过位于冰箱门的外侧的麦克风、扬声器和/或触摸屏显示器与用户交互(例如，警告用户冷藏隔室中的某些物品可能将要过期、用完或耗尽，并建议对这些物品进行补货)，并且当用户打开冰箱门(例如，检查当前存储在冷藏隔室中的物品)时，使用位于冰箱门内侧的硬件按钮、扬声器和麦克风继续进行交互操作(例如，继续进行补货建议，通过数字助理服务器请求用户确认要进行的补货购买等)。在一些实施例中，在语音输出接口已经输出了第一补货建议之后，用户提供关于第一补货建议的拒绝输入。响应于通过语音输入接口接收到用户的基于语音的拒绝输入，补货建议单元继续提供附加补货建议(如果有)，并通过网络通信接口将接收到的拒绝输入发送给数字助理服务器。在一些实施例中，当已经接收到用户的语音拒绝输入时，第一硬件按钮立即停止提示用户进行确认输入(例如，停止提供光图案或音频模式)。

在一些实施例中，第一隔室是冰箱的封闭式隔室(例如，用于存储水果和蔬菜的隔室，用于存储肉的隔室以及用于存储冷冻食物的隔室等)；冰箱的封闭式隔室具有门，当门处于关闭状态时，门的内侧面向封闭式隔室的内部；当门处于打开状态时，门的外侧面向封闭式隔室的外部；并且当门处于关闭状态时，第一硬件按钮位于封闭式隔室内部的门的内侧。

在一些实施例中，第一硬件按钮包括视觉反馈组件(例如，一组LED灯泡)，该视觉反馈组件被配置为生成相应的光图案(例如，静态光图案或动画光图案)，该光图案对应于根据第一基于语音的补货建议的建议类型(例如，用于购买建议的数量的建议类型、用于支付建议的数额的建议类型、用于选择建议的产品以进行补货的建议类型、用于重复各个产品的先前订单的建议类型等)从多种确认请求类型中选择的一种确认请求类型。例如，在一些实施例中，每当数字助理输出第一建议类型的建议时(例如，“我是否应该再订购一打鸡蛋？”、“请确认再订购一加仑牛奶”等等)，第一硬件按钮就会以第一光图案点亮和/或输出第一音频信号。每当数字助理输出第二建议类型的建议时(例如，“我是否应该为一打鸡蛋支付3.55美元？”、“请确认为再订购的一加仑牛奶支付4.5美元”等等)，第一硬件按钮就会以与第一光图案不同的第二光图案点亮和/或输出与第一音频信号不同的第二音频信号。

在一些实施例中，语音辅助补货系统包括第二硬件按钮(例如，防水和防潮按钮(例如，对压力敏感的防潮固态按钮或可机械激活的防潮机械按钮)，该第二硬件按钮位于第一隔室内部的第一硬件按钮的附近(例如，位于靠近冰箱门的冷藏隔室的内壁中、或在冰箱门的内侧上、或在靠近冰箱门的架子的边缘上)，其中第二硬件按钮被配置为：在语音输出接口输出来自数字助理的第二基于语音的补货建议之后，提示用户提供关于第二基于语音的补货建议的拒绝输入(例如，通过输出与第一基于语音的补货建议的建议类型相对应的相应的光图案或音频模式)；并且当第二硬件按钮被用户激活时(例如，通过用户按压第二硬件按钮或敲击第二硬件按钮、或者拉动第二硬件按钮、或者滑动硬件按钮上的切换或开关，等等)，将拒绝信号发送给远程数字助理(例如，通过补货建议单元和网络通信接口)。在一些实施例中，仅需要单个按钮来接收关于相应的补货建议的确认输入和关于相应的补货建议的拒绝输入。例如，光图案或音频信号仅在有限的时间段内被提供在第一硬件按钮上，并且如果在有限的时间段内用户输入激活了第一硬件按钮，则该输入将被视为确认输入，并且如果在有限的时间段内没有任何用户输入激活第一硬件按钮，则将没有用户输入的情况视为拒绝输入，并在该有限时间段之后将拒绝信号发送到远程数字助理。

在一些实施例中，第一硬件按钮被配置为当在语音输出接口输出第一基于语音的补货建议之后的阈值时间内第一硬件按钮被用户激活时，将确认信号发送到远程数字助理，并且第一硬件按钮还被配置为当在语音输出接口输出第一基于语音的补货建议之后的阈值时间内第一硬件按钮未被激活时，将相应的拒绝信号发送到远程数字助理。在一些实施例中，如果在语音输出接口输出第一基于语音的补货建议之后的阈值时间内，在第一硬件按钮上没有接收到用户确认输入，则语音辅助补货系统接收并输出与第一基于语音的补货建议不同的第二基于语音的补货建议。例如，数字助理可能会生成一系列补货建议(例如，“请确认将再订购以下哪些物品：一打鸡蛋、一加仑牛奶、一磅碎鸡肉……一打罐装汽水……”)，在语音输出接口输出每个食品的名称后，第一硬件按钮会闪烁，以提示用户按压按钮进行确认。如果用户在第一食品被播报之后的阈值时间(例如5秒)内按压按钮，则确认再订购该第一食品。然后，下一个食品的名称通过语音输出接口输出，并且第一硬件按钮闪烁，以提示用户激活该按钮以确认下一个食品的再订购。如果用户在第一个食品被播报之后的阈值时间内未按压按钮，则拒绝对该第一个食品的再订购，并且语音输出接口输出下一个食品的名称，并且第一硬件按钮闪烁以提示用户激活按钮以确认对下一个食品的再订购。

在一些实施例中，语音辅助补货系统包括：触摸屏显示器，该触摸屏显示器被配置为显示第一补货建议和根据用户对第一硬件按钮的激活的第一补货建议的确认。例如，触摸屏显示器设置在冷藏隔室的门的外侧上。当通过语音辅助补货系统的语音输出接口输出第一补货建议时，补货建议单元进行检查以确定冷藏隔室的门是关闭还是打开。响应于确定冰箱门是关闭的，触摸屏显示器显示第一补货建议以及可选地与第一补货建议有关的附加信息；并且响应于确定冰箱门是打开的，触摸屏显示器放弃显示第一补货建议，因为用户可能无法在冰箱门的外部看到触摸屏显示器。在一些实施例中，响应于确定在打开冰箱门的同时已经接收到关于第一补货建议的确认输入，并且响应于确定在关于第一补货建议的确认输入之后冰箱门现在是关闭的，触摸屏显示器显示第一补货建议和对第一补货建议的确认。因此，如果用户希望对建议的补货操作进行任何校正或修改，则用户可以在触摸屏显示器上执行该操作。

在一些实施例中，补货建议单元被配置为：响应于确定第一隔室处于关闭状态(例如，当冰箱门关闭时，补货提醒被显示在触摸屏显示器上)，使第一补货建议被显示在触摸屏显示器上；并响应于确定第一隔室已从关闭状态切换到打开状态(例如，在补货提醒被显示在触摸屏显示器上的同时，冰箱门被用户打开)，使第一硬件按钮生成光图案，以提示关于第一补货的建议的确认输入。在一些实施例中，补货建议单元还被配置为响应于确定在第一硬件按钮上接收到确认输入之后第一隔室已经从打开状态切换回关闭状态，使触摸屏显示器停止显示第一补货建议。例如，在用户已经通过按压第一硬件按钮确认了再订购一打鸡蛋之后，当用户关闭冰箱门时，用于对一打鸡蛋进行补货的提醒不再显示在触摸屏显示器上。

在一些实施例中，语音辅助补货系统包括：第三硬件按钮(例如，压敏固态按钮或可机械激活机械按钮)，其位于第一隔室外部(例如，位于靠近冰箱门的冷藏隔室的内壁中，或者位于冰箱门的内侧上，或者位于靠近冰箱门的架子的边缘上)，其中第三硬件按钮被配置为：在通过语音输出接口输出来自数字助理的第三基于语音的补货建议之后，提示用户提供关于第三基于语音的补货建议的确认输入(例如，通过输出与第三基于语音的补货建议的建议类型相对应的相应的光图案或音频模式)；并在用户激活第三硬件按钮时(例如，通过用户按压第三硬件按钮或敲击第三硬件按钮，或者拉动第三个硬件按钮，或者在第三个硬件按钮上滑动切换或开关等)，将相应的确认信号发送到远程数字助理(例如，通过补货建议单元和网络通信接口)。在一些实施例中，可以在关闭冰箱门之后使用冰箱门外部上的硬件按钮以继续在冰箱门打开时已经开始或正在进行的交互。例如，当语音输出接口输出一系列补货建议时(“请确认以下再订购物品：一打鸡蛋，一加仑牛奶……，一打罐装汽水……等等”)，用户按压外部硬件按钮，以用于在关闭冰箱门时确认当前输出的再订购物品(例如，一打鸡蛋)；然后，用户在补货建议被继续输出的同时打开冰箱门，用户按压内部硬件按钮以确认当前输出的另一个补充再订购物品(例如，一加仑牛奶)；然后，用户在补货建议被继续输出的同时关闭冰箱门，并且用户按压外部按钮以确认下一个当前输出的再订购物品(例如，一打罐装汽水)。在一些实施例中，补货建议单元基于第一隔室的打开/关闭状态自动确定使用哪个硬件提示用户为当前输出的补货建议提供确认输入，使得当用户使用冰箱并检查冰箱内食品的存货时，语音辅助补货系统和用户之间的交互可以无缝衔接。在一些实施例中，在第一隔室的外部上的硬件按钮和第一隔室的内部的硬件按钮是相同的。在一些实施例中，第一隔室的外部上的硬件按钮不具有第一隔室的内部中的硬件按钮所具有的额外的防潮机制(例如，以降低成本)。在一些实施例中，关于在第一隔室的内部中的第一硬件和第二硬件按钮所描述的功能和行为适用于在第一隔室的外部中的第三硬件按钮，并且出于简洁起见，此处不再赘述。

在一些实施例中，语音辅助补货系统包括：第二隔室(例如，冷冻隔室)，其与第一隔室不同(例如，第二隔室的内部受潮湿条件和温度条件的影响，不利于触摸屏显示器和非防水电子组件的操作)；第四硬件按钮(例如，防水和防潮按钮(例如，压敏防潮固态按钮或可机械激活的防潮机械按钮))，其位于第二隔室内部(例如，位于靠近冷冻室门的冷冻隔室的内壁上，或者位于冷冻室门的内侧上，或者位于靠近冷冻室门的内隔室的边缘上)，其中，第四硬件按钮被配置为：在语音输出接口输出来自数字助理的第四基于语音的补货建议之后，提示用户提供关于第四基于语音的补货建议的确认输入(例如，通过输出与第四基于语音的补货建议的建议类型相对应的相应的光图案或音频模式)；以及当用户激活第四硬件按钮时(例如，用户按压第一硬件按钮或敲击第一硬件按钮，或者拉动第一硬件按钮，或者滑动硬件按钮上的切换或开关等)，将相应的确认信号发送到远程数字助理(例如，通过补货建议单元和网络通信接口)，其中：补货建议单元被配置为：当第一隔室被打开时，使语音输出接口输出关于存储在第一隔室中的物品的相应的补货建议；当第二隔室被打开时，使语音输出接口输出关于存储在第二隔室中的物品的相应的补货建议。例如，当用户打开冰箱冷藏隔室门时，补货建议单元查找与存储在冷藏隔室中的物品有关的补货建议列表，使语音输出接口依次输出一个或多个补货建议列表，并且当补货建议被语音输出接口输出时，使冷藏隔室内部的第一硬件按钮点亮并准备接收关于每个补货建议列表的用户确认。当用户打开冰箱冷冻隔室门时，补货建议单元查找与储存在冷冻隔室中的物品有关的补货建议列表，使语音输出接口依次输出一个或多个补货建议列表，并且当补货建议被语音输出接口输出时，使冷冻隔室内部的第四硬件按钮点亮并准备接收关于每个补货建议列表中的用户确认。

在一些实施例中，语音辅助补货系统包括：用户存在检测单元(例如，包括安装在第一隔室内部的光传感器，在第一隔室的门打开时该传感器被触发，或者安装在第一隔室外部的运动传感器，在用户移动经过第一隔室时该运动传感器被触发)，其中用户存在检测单元被配置为在第一隔室附近检测用户的存在，其中用户存在检测单元被配置触发语音输出接口，以输出已从远程数字助理服务器接收到的第一基于语音的补货建议。在一些实施例中，用户存在检测单元是位于冰箱处的数字助理客户端的一部分，包括一个或多个处理器和存储器，以及指令，当所述指令由一个或多个处理器执行时使处理器执行数字助理的客户端功能(例如，面向用户的I/O功能、面向服务器的I/O功能、控制和监视冷藏隔室内部的硬件按钮)。

在一些实施例中，用户存在检测单元被配置为检测第一隔室的门被打开，并且用户存在检测单元被配置为响应于检测到第一隔室的门被打开以及语音输出接口已经输出了第一基于语音的补货建议，使得第一硬件按钮提示用户提供关于第一补货建议的确认输入，并等待用户的确认输入。在一些实施例中，用户存在检测单元被配置为除了在第一隔室附近检测用户的存在之外，还检测用户的动作。例如，通过在第一隔室中使用运动传感器和/或重量传感器，用户存在检测单元被配置为每当用户打开第一隔室的门时，确定用户是将物品放入隔室中、还是将物品从隔室中取出或者仅看向隔室中。在一些实施例中，当用户存在检测单元检测到用户正在将物品从隔室中取出或正看向隔室时，补货建议单元仅使语音输出接口输出补货建议，而当用户存在检测单元检测到用户正在将物品放入隔室中时，不使语音输出接口输出任何补货建议。这种设计的原因是，当用户将物品放入隔室中时(例如，亲自去杂货店购物后，将杂货放入冰箱隔室)，由于将要被用户放入隔室的新物品，补货建议可能变得无效。在一些实施例中，当用户存在检测单元检测到用户正看着隔室时，补货建议单元仅使语音输出接口输出补货建议，而当用户存在检测单元检测到用户正在将物品放入隔室中或者当用户正在将物品从隔室中取出时，不使声音输出接口输出任何补货建议。这种设计的原因是，当用户将物品放入隔室中时(例如，亲自去杂货店购物后将杂货放入冷藏隔室)或当用户将物品从隔室中取出时(例如，将物品取出用于做饭，或为客人拿出饮料)，用户除了检查隔室中的库存状态外，很可能准备做其他事情，并且不希望被补货建议所困扰。

在一些实施例中，第一硬件按钮具有内置的指纹传感器，并且其中语音辅助补货系统还包括认证单元，该认证单元被配置为：响应于确定第一补货建议是需要用户认证的第一建议类型(例如，用户未预先批准的再订购的支付建议)，将内置指纹传感器捕获的指纹发送到数字助理服务器进行认证；以及响应于确定第一补货建议是不需要用户认证的第二建议类型(例如，用户已经预先批准的再订购建议)，放弃将内置指纹传感器捕获的指纹发送到数字助理。

整个本公开提供了语音辅助补货系统的其他组件和功能。在适当的情况下，可以以任何方式组合这些组件和功能。实施例可以包括比各个示例中描述的组件更多或更少的组件。

图4是根据一些实施例的语音辅助补货方法的冰箱下单工作流的流程图。

如图4所示，冰箱连续监测冰箱中存储的食物的库存状态(例如数量、有效期、使用频率、使用量等)。响应于基于对库存状态的监测确定在阈值时间段内至少一项物品需要被补货，冰箱例如经由基于语音的输出接口和/或显示的用户接口，输出关于至少一项物品的补货建议，询问用户是否希望通过在线下单来重新填充物品。在冰箱输出补货建议时，冰箱上的硬件按钮会闪烁并提示用户提供确认输入或拒绝输入。响应于确定用户拒绝补货建议(例如，经由语音输入，例如“否”)，按钮停止闪烁，并且补货建议被暂时保留。响应于确定用户没有以口头或其他方式拒绝补货建议，冰箱确定用户是否在阈值时间(例如2分钟)内激活(例如，按下)按钮。响应于确定用户没有在阈值时间内按下按钮，按钮停止闪烁，并且暂时拒绝补货建议。响应于确定用户在阈值时间内按下按钮，冰箱检查用户的指纹，以验证用户对物品的再订购的权限。响应于确定用户未通过认证(例如，指纹不清晰)，冰箱要求用户在2分钟内再次按下按钮。响应于确定用户通过了认证，冰箱通知用户再订购已经下单并且按钮停止闪烁。

在一些实施例中，用户在打开冰箱门时会收到食物短缺的语音提醒。然后，基于语音的数字助理会告知用户需要补给的所选产品的价格和数量。数字助理请用户做出购买决定，这可以通过按压冰箱中闪烁或闪光的硬件按钮来完成。同时，硬件订单确认按钮会不断闪烁或闪光，以吸引用户的注意。如果用户以语音方式答复他/她不想下单，则购物过程将结束，并且硬件按钮将立即停止闪烁或闪光。否则，用户可以在有限的时间内按压按钮。冰箱将检查用户的指纹以确保安全。用户通过安全检查后，订单将被下达。之后，硬件按钮立即停止闪烁或闪光。如果用户认证失败，数字助理将要求用户再次按压按钮。

在一些实施例中，用户无需打开冰箱门即可通过与数字助理交互来检查食物状态。一旦冰箱检测到一种或多种食品短缺，冰箱将提醒用户。特定产品的信息将被提供给用户，以帮助他/她做出购买决定。同时，物理按钮不断闪烁或闪光以吸引用户的注意，冰箱门上的显示器上显示了产品的详细信息。如果用户拒绝了语音提示中的补货建议，则购物将结束，并且实体按钮立即停止闪烁或闪光。否则，用户可以在2分钟内按压闪烁或闪光的按钮以完成订购。冰箱检查用户的指纹。一旦指纹通过认证，将下达订单，并且数字助理将通知用户。物理按钮也将停止闪烁或闪光。如果用户无法验证他/她的身份，数字助理将要求用户再次按压按钮。

在一些实施例中，如果用户想通过冰箱购买产品。在冰箱门上的触摸屏显示器上单击几下后，用户进入订单确认阶段。屏幕上可能会弹出一些提示，并且数字助理会提醒用户按压闪烁或闪光的按钮。按钮保持闪烁或闪光，并且显示器显示产品的详细信息。如果用户拒绝订单建议，该过程将结束并且物理按钮立即停止闪烁或闪光。如果用户在2分钟内按压闪烁或闪光的按钮，则冰箱将经由指纹验证用户身份。认证成功后订单被下达，并且数字助理将告知用户订单完成。

图5是根据一些实施例的语音辅助补货方法500的流程图。提供补货建议的方法在包括一个或多个处理器、存储器和用于存储多种消耗性物品的第一隔室的设备(例如，智能冰箱200)处被执行(例如，通过语音辅助再订购系统100)。该方法包括：检测(502)(例如，经由包括光传感器或运动传感器的用户存在检测单元)在用于存储多种消耗性物品的第一隔室(例如，冷藏隔室)正面的用户存在(例如，第一隔室的内部受潮湿条件和温度条件的影响，不利于触摸屏显示器和非防水电子组件的操作)。在一些实施例中，用户存在检测单元例如包括安装在第一隔室的内部的光传感器，在第一隔室的门打开时该光传感器被触发，或者安装在第一隔室的外部的运动传感器，在用户移动经过第一隔室时该运动传感器被触发。

该方法还包括：响应于检测到用户存在并且确定用户存在符合补货建议准则(例如，检测到的用户存在包括：用户打开第一隔室的门，或用户在没有将任何物品放入第一隔室的情况下打开第一隔室的门，和/或用户通过附接在第一隔室的外侧的触摸屏显示器上显示的用户接口上提供的输入(例如，敲击输入、按压输入等)，输入补货建议的请求，通过语音输出接口(例如，位于冷藏隔室的内壁、或冷藏隔室的外壁、或位于冷藏隔室内架子的边缘上的扬声器)输出(504)第一基于语音的补货建议(例如，“我要再订购一打鸡蛋吗？”)。在一些实施例中，根据由补货建议单元(例如，位于冰箱的数字助理客户端的一部分，包括一个或多个处理器和存储器，以及由一个或多个处理器执行时使处理器执行数字助理的客户端功能(例如面向用户的I/O功能、面向服务器的I/O功能)的指令，用于控制和监视冷藏隔室的内部的硬件按钮)，补货建议单元被配置为通过网络通信接口接收来自远程数字助理服务器的基于语音的补货建议(并将用户发出的语音输入发送到远程数字助理服务器)。

该方法还包括：在语音输出接口输出第一基于语音的补货建议之后，经由位于第一隔室的内部(例如，位于靠近冰箱门的冷藏隔室的内壁中，或者位于冰箱门的内侧上，或者位于靠近冰箱门的架子的边缘上)的第一硬件按钮(例如，防水和防潮的按钮(例如，对压力敏感的防潮固态按钮或可机械激活的防潮机械按钮))提供(506)第一提示，以请求来自用户的关于第一基于语音的补货建议的确认输入(例如，通过输出与第一基于语音的补货建议的建议类型相对应的相应的光图案或音频模式提供第一提示)；在提供第一提示的同时，检测(508)用户对第一硬件按钮的激活(例如，通过用户按压第一硬件按钮或敲击第一硬件按钮、或拉动第一硬件按钮、或滑动硬件按钮上的切换或开关等)；并且响应于第一提示被提供的同时检测到第一硬件按钮的激活，向远程数字助理发送(510)关于第一基于语音的补货建议的相应的确认信号(例如，通过补货建议单元和网络通信接口)。在一些实施例中，第一隔室包括第二硬件按钮(例如，防水和防潮按钮(例如，对压力敏感的防潮固态按钮或可机械激活的防潮机械按钮))，第二硬件按钮位于第一隔室内部与第一硬件按钮相邻的位置(例如，位于靠近冰箱门的冷藏隔室的内壁中、或者位于冰箱门的内侧上、或者位于靠近冰箱门的架子的边缘上)。该方法包括：经由语音输出接口提供第二基于语音的补货建议；在语音输出接口输出第二基于语音的补货建议之后，经由第二硬件按钮提供第二提示，以请求用户提供关于第二基于语音的补货建议的拒绝输入(例如，通过输出与第一基于语音的补货建议的建议类型相对应的相应的光图案或音频模式)；并且当第二硬件按钮被用户激活时，(例如，通过用户按压第二硬件按钮或敲击第二硬件按钮、或者拉动第二硬件按钮、或者滑动硬件按钮上的切换或开关，等等)，将拒绝信号发送给远程数字助理(例如，通过补货建议单元和网络通信接口)。在一些实施例中，仅需要单个按钮来接收关于相应的补货建议的确认输入和关于相应的补货建议的拒绝输入。例如，光图案或音频信号仅在有限的时间段内被提供在第一硬件按钮上，并且如果在有限的时间段内用户输入激活了第一硬件按钮，则该输入将被视为确认输入，并且如果在有限的时间段内没有任何用户输入激活第一硬件按钮，则将没有用户输入的情况视为拒绝输入，并在该有限时间段之后将拒绝信号发送到远程数字助理。

在一些实施例中，该方法包括：在经由第一硬件按钮提供第一提示的同时，通过语音输入接口(例如，位于冷藏隔室的内壁、或冷藏隔室的外壁、或冷藏隔室内的架子的边缘上的麦克风)；并响应于检测到用户的语音输入拒绝第一补货建议，停止经由第一硬件按钮提供第一提示(例如，一旦用户对第一补货建议说“否”，则停止在第一硬件按钮上提供光图案))。在一些实施例中，语音辅助补货系统继续输出第二补货建议，并使第一硬件按钮提示并接受关于第二补货建议的确认输入。在一些实施例中，用户的语音输入被发送到数字助理服务器，以确定用户的意图。在一些实施例中，语音输入接口位于第一隔室的外侧。例如，麦克风以及触敏显示器位于冰箱门的正面，该触敏显示器是到远程数字助理的输入/输出接口。在一些实施例中，语音输入接口包括位于冰箱门的外侧上的第一麦克风和位于冰箱门的内侧上的第二麦克风。当冰箱门关闭时，门外侧的第一麦克风被用于捕获用户的讲话，而当冰箱门关闭时，位于冰箱门内侧的第二麦克风被用于捕获用户的讲话。在一些实施例中，当冰箱门关闭时，补货建议单元开始通过位于冰箱门外侧的麦克风、扬声器和/或触摸屏显示器与用户交互(例如，警告用户冷藏隔室中的某些物品可能将要过期、用完或耗尽，并建议对这些物品进行补货)，并且当用户打开冰箱门(例如，检查当前存储在冷藏隔室中的物品)时，使用位于冰箱门内侧的硬件按钮、扬声器和麦克风继续进行交互操作(例如，继续进行补货建议，通过数字助理服务器等请求用户确认要进行的补货购买)。在一些实施例中，在语音输出接口已经输出了第一补货建议之后，用户提供关于第一补货建议的拒绝输入。响应于通过语音输入接口接收到用户的基于语音的拒绝输入，补货建议单元继续提供附加补货建议(如果有)，并通过网络通信接口将接收到的拒绝输入发送给数字助理服务器。在一些实施例中，当已经接收到用户的语音拒绝输入时，第一硬件按钮立即停止提示用户进行确认输入(例如，停止提供光图案或音频模式)。

在一些实施例中，第一隔室是冰箱的封闭式隔室(例如，用于存储水果和蔬菜的隔室，用于存储肉的隔室以及用于存储冷冻食品的隔室等)；冰箱的封闭式隔室具有门，当门处于关闭状态时，门的内侧面向封闭式隔室的内部；当门处于打开状态时，门的外侧面向封闭式隔室的外部；并且当门处于关闭状态时，第一硬件按钮位于封闭式隔室的内部的门的内侧。

在一些实施例中，该方法包括：(例如，经由视觉反馈组件(例如，一组LED灯泡))在第一硬件按钮上生成相应的光图案(例如，静态光图案或动画光图案)，该光图案对应于根据第一基于语音的补货建议的建议类型(例如，用于购买建议的数量的建议类型、用于支付建议的数额的建议类型、用于选择建议的产品以进行补货的建议类型、用于重复各个产品的先前订单的建议类型等)从多种确认请求类型中选择出的一种确认请求类型。例如，在一些实施例中，每当数字助理输出第一建议类型的建议时(例如，“我是否应该再订购一打鸡蛋？”、“请确认再订购一加仑牛奶”等等)，第一硬件按钮就会以第一光图案点亮和/或输出第一音频信号。每当数字助理输出第二建议类型的建议时(例如，“我是否应该为一打鸡蛋支付3.55美元？”、“请确认为再订购的一加仑牛奶支付4.5美元”等等)，第一硬件按钮就会以与第一光图案不同的第二光图案点亮和/或输出与第一音频信号不同的第二音频信号。

在一些实施例中，提供第一提示的时间不超过阈值时间，并且当在语音输出接口输出第一基于语音的补货建议后的阈值时间内第一硬件按钮被用户激活时，将确认信号发送到远程数字助理。在一些实施例中，该方法包括：当在语音输出接口输出第一基于语音的补货建议后的阈值时间内第一硬件按钮未被激活时，向远程数字助理发送相应的拒绝信号。在一些实施例中，如果在语音输出接口输出第一基于语音的补货建议后的阈值时间内没有在第一硬件按钮上接收到用户确认输入，则语音辅助补货系统接收并输出与第一基于语音的补货建议不同的第二基于语音的补货建议。例如，数字助理可能会生成一系列补货建议(例如，“请确认将再订购以下哪些物品：一打鸡蛋、一加仑牛奶、一磅碎鸡肉……一打罐装汽水……”)，在语音输出接口输出每个食品的名称后，第一硬件按钮会闪烁，以提示用户按压按钮进行确认。如果用户在第一食品被播报之后的阈值时间(例如5秒)内按压按钮，则确认再订购该第一食品。然后，下一个食品的名称由语音输出接口输出，并且第一硬件按钮闪烁，以提示用户激活该按钮以确认下一个食品的再订购。如果用户在第一个食品被播报之后的阈值时间内未按压按钮，则拒绝对该第一个食品的再订购，并且由语音输出接口输出下一个食品的名称，并且第一硬件按钮闪烁以提示用户激活按钮以确认对下一个食品的再订购。

在一些实施例中，该方法包括：显示第一补货建议和根据用户对第一硬件按钮的激活而对第一补货建议的确认。例如，触摸屏显示器被包括在冷藏隔室的门的外侧上。当语音辅助补货系统的语音输出接口输出第一补货建议时，补货建议单元进行检查以确定冷藏隔室的门是关闭还是打开。响应于确定冰箱门是关闭的，触摸屏显示器显示第一补货建议和可选地与第一补货建议有关的附加信息；并且响应于确定冰箱门是打开的，触摸屏显示器放弃显示第一补货建议，因为用户可能无法在冰箱门的外侧看到触摸屏显示器。在一些实施例中，响应于确定在打开冰箱门的同时已经接收到关于第一补货建议的确认输入，并且已经接收到关于第一补货建议的确认输入之后确定冰箱门现在关闭，触摸屏显示器显示第一补货建议和第一补货建议的确认。因此，如果用户希望对建议的补货动作进行任何校正或修改，则用户可以在触摸屏显示器上执行该操作。

在一些实施例中，该方法包括：响应于确定第一隔室处于关闭状态，在触摸屏显示器上显示第一补货建议(例如，当冰箱门关闭时，补货提醒被显示在触摸屏显示器上)；以及响应于确定第一隔室已从关闭状态切换到打开状态(例如，在补货提醒被显示在触摸屏显示器上的同时，冰箱门被用户打开)，生成光图案以提示关于第一补货建议的确认输入在触摸屏上显示)。在一些实施例中，补货建议单元还被配置为：响应于确定在第一硬件按钮上接收到确认输入之后第一隔室从打开状态切换回关闭状态，使触摸屏显示器停止显示第一补货建议。例如，在用户已经通过按压第一硬件按钮确认了再订购一打鸡蛋之后，当用户关闭冰箱门时，用于对一打鸡蛋进行补货的提醒不再显示在触摸屏显示器上。

在一些实施例中，该方法包括：(例如，经由包括光传感器或运动传感器的用户存在检测单元)检测在第二隔室(例如，冷冻隔室)正面第二用户存在，所述第二不同于第一隔室(例如，第二隔室的内部受到不利于触摸屏显示器和非防水电子组件操作的潮湿条件和温度条件)；响应于检测到第二用户存在并且确定第二用户存在满足补货建议准则(例如，检测到的用户存在包括用户打开第二隔室的门，或用户在没有将任何物品放入第二隔室的情况下打开第二隔室的门，和/或用户通过附接在第二隔室的外侧的触摸屏显示器上显示的用户接口上提供的输入(例如，敲击输入、按压输入等)，输入补货建议的请求)，通过语音输出接口输出第四基于语音的补货建议(例如，“我要再订购一打鸡蛋吗？”)；在语音输出接口输出第四基于语音的补货建议之后，经由位于第二隔室内部(例如，位于靠近冷冻室门的冷冻隔室的内壁上，或者位于冷冻室门的内侧上，或者位于靠近冷冻室门的架子的边缘上)的第四硬件按钮(例如，防水和防潮按钮(例如，压敏防潮固态按钮或可机械激活的防潮机械按钮))提供第四提示，以请求来自用户的关于第四基于语音的补货建议的确认输入(例如，通过输出与第四基于语音的补货建议的建议类型相对应的相应的光图案或音频模式，提供第四提示)；在提供第四提示时，检测用户对第四硬件按钮的激活(例如，通过用户按压第四硬件按钮或敲击第四硬件按钮、或拉动第四硬件按钮、或滑动第四个硬件按钮上的切换或开关，等等)；并响应于在提供第四提示时检测到第四硬件按钮的激活，向远程数字助理发送关于第四基于语音的补货建议的相应的确认信号(例如，通过补货建议单元和网络通信接口)，其中：当第一隔室被打开时，输出关于存储在第一隔室中的物品的第一补货建议；当第二隔室被打开时，输出关于存储在第二隔室中的物品的第四补货建议。例如，当用户打开冰箱冷藏隔室门时，补货建议单元查找与存储在冷藏隔室中的物品有关的补货建议列表，使语音输出接口依次输出一个或多个补货建议列表，并且当补货建议被语音输出接口输出时，使冷藏隔室内部的第一硬件按钮点亮，并准备好接收关于每个补货建议列表的用户确认。当用户打开冰箱冷冻隔室门时，补货建议单元查找与储存在冷冻隔室中的物品有关的补货建议列表，使语音输出接口依次输出一个或多个补货建议列表，并且当补货建议被语音输出接口输出时，使冷冻隔室内部的第四硬件按钮点亮，并准备接收关于每个补货建议列表中的用户确认。

应当理解，已经描述的图5中的操作的特定顺序仅是示例性的，并不旨在指示所描述的顺序是可以执行操作的唯一顺序。本领域普通技术人员将认识到本文描述的再订购操作的各种方式。另外，应当注意，关于本文描述的其他方法和/或过程的本文描述的其他过程的细节也可以类似的方式应用于上述方法500。

图6是示出代表性的语音辅助补货系统100(例如，设备600(例如，智能冰箱200))的框图。语音辅助补货系统100(例如，设备600)包括一个或多个处理单元(CPU)602、一个或多个网络接口604、存储器606，以及一个或多个用于互连这些组件的通信总线608(有时称为芯片组))。语音辅助补货系统100(例如，设备600)还包括用户接口610。用户接口610包括用于呈现媒体内容的一个或多个输出设备612，包括一个或多个扬声器和/或一个或多个可视显示器。用户接口610还包括一个或多个输入设备614，包括便于用户输入的用户接口组件，例如键盘、鼠标、语音命令输入单元或麦克风，触摸屏显示器、触敏输入板、手势捕捉相机或其他输入按钮或控件。此外，语音辅助补货系统100(例如，设备600)包括一个或多个硬件按钮，用于提供关于语音辅助补货系统100(例如，设备600)输出的补货建议的提示并接受用户确认输入。

在一些实施例中，语音辅助补货系统100还包括传感器，该传感器感测系统100的运行状态、用户的存在、库存状态等。传感器包括但不限于一个或多个麦克风、一个或多个相机、环境光传感器、一个或多个加速度计、一个或多个陀螺仪、温度传感器、湿度传感器、一个或多个运动传感器、一个或多个生物传感器(例如，皮肤电阻传感器、脉搏血氧仪等)以及其他传感器。

此外，系统100包括设备操作单元104，该设备操作单元104包含执行系统100(例如设备600)的主要功能的组件。

存储器606包括高速随机存取存储器，例如DRAM、SRAM、DDR RAM或其他随机存取固态存储设备；可选地，包括非易失性存储器，例如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器606可选地包括远离一个或多个处理单元602设置的一个或多个存储设备。存储器606或存储器606内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中，存储器606或存储器606的非暂时性计算机可读存储介质存储以下各项的程序、模块和数据结构或它们的子集或超集：

·操作系统616，包括处理各种基本系统服务和执行与硬件有关的任务的过程；

·网络通信模块618，用于经由一个或多个网络接口604(有线或无线)将系统100连接到与一个或多个网络连接的其他计算设备(例如，服务器系统128)或移动控制设备(例如，智能电话或平板电脑)；

·呈现模块620，用于呈现信息；

·输入处理模块622，用于从一个或多个输入设备614中的一个检测一个或多个用户输入或交互，并解释检测到的输入或交互；

·补货建议模块624，包括但不限于：

·硬件按钮控制模块626，用于控制一个或多个硬件按钮116；

·库存测量模块628，用于控制库存测量单元118；

·用户存在检测模块630，用于控制用户存在检测单元120；

·数字助理客户端122；以及

·用户认证模块632，用于控制用户认证单元124；以及

·其他模块，用于执行本文所述其他功能。

上面每个标识的元件都可以存储在一个或多个在先提到的存储设备中，并且对应于用于执行上述功能的一组指令。上面标识的模块或程序(即，指令集)不需要被实现为单独的软件程序、过程、模块或数据结构，因此，这些模块的各个子集可以在各种实现方式中被组合或以其他方式重新布置。在一些实施方式中，存储器606可选地存储以上标识的模块和数据结构的子集。此外，存储器606可选地存储以上未描述的附加模块和数据结构。

尽管上面描述了特定的实施例，但是应该理解，这并不意味着将本申请限制于这些特定的实施例。相反，本申请包括在所附权利要求书的精神和范围内的替代、修改和等同物。阐述了许多具体细节以便提供对本文提出的主题的透彻理解。但是对于本领域的普通技术人员将显而易见的是，可以在没有这些具体细节的情况下实践本主题。在其他情况下，没有详细描述公知的方法、过程、组件和电路，以免不必要地使实施例的各方面不清楚。

Claims (20)

1.一种语音辅助补货系统，包括：

第一隔室，用于存储多种消耗性物品；

补货建议单元，配置为通过网络通信接口接收来自远程数字助理服务器的基于语音的补货建议；

语音输出接口，配置为向用户输出所述基于语音的补货建议；以及

第一硬件按钮，所述第一硬件按钮位于所述第一隔室内部，其中，所述第一硬件按钮被配置为：

在所述语音输出接口输出来自所述数字助理的第一基于语音的补货建议后，提示所述用户提供关于所述第一基于语音的补货建议的确认输入；以及

当所述第一硬件按钮被所述用户激活时，向所述远程数字助理发送相应的确认信号。

2.根据权利要求1所述的语音辅助补货系统，包括：

语音输入接口，配置为在所述网络通信单元将语音输入发送到所述远程数字助理服务器之前，捕获所述用户发出的所述语音输入。

3.根据权利要求1所述的语音辅助补货系统，其中，

所述第一隔室是冰箱的封闭式隔室；

所述冰箱的所述封闭式隔室具有门，当所述门处于关闭状态时，所述门的内侧面向所述封闭式隔室的内部，而当所述门处于打开状态时，所述门的外侧面向所述封闭式隔室的外部；以及

当所述门处于关闭状态时，所述第一硬件按钮位于所述封闭式隔室内部的所述门的内侧。

4.根据权利要求1所述的语音辅助补货系统，其中，所述第一硬件按钮包括视觉反馈组件，所述视觉反馈组件被配置为根据所述第一基于语音的补货建议的建议类型来生成相应的光图案，所述光图案对应于在多种确认请求类型中选择的一种确认请求类型。

5.根据权利要求1所述的语音辅助补货系统，包括：

第二硬件按钮，所述第二硬件按钮位于所述第一隔室内部的所述第一硬件按钮的附近，其中，所述第二硬件按钮被配置为：

在所述语音输出接口输出来自所述数字助理的第二基于语音的补货建议后，提示所述用户提供关于所述第二基于语音的补货建议的拒绝输入；以及

当所述第二硬件按钮被所述用户激活时，向所述远程数字助理发送拒绝信号。

6.根据权利要求1所述的语音辅助补货系统，其中，

所述第一硬件按钮被配置为：当在所述语音输出接口输出所述第一基于语音的补货建议后的阈值时间内所述第一硬件按钮被所述用户激活时，将所述确认信号发送到所述远程数字助理；以及

所述第一硬件按钮还被配置为：当在所述语音输出接口输出所述第一基于语音的补货建议后的阈值时间内所述第一硬件按钮未被激活时，将相应的拒绝信号发送到所述远程数字助理。

7.根据权利要求1所述的语音辅助补货系统，包括：

触摸屏显示器，配置为显示所述第一补货建议和根据所述用户对所述第一硬件按钮的激活而对所述第一补货建议的确认。

8.根据权利要求7所述的语音辅助补货系统，其中，所述补货建议单元被配置为：

响应于确定所述第一隔室处于关闭状态，使所述第一补货建议被显示在所述触摸屏上；以及

响应于确定所述第一隔室已从关闭状态切换为打开状态，使所述第一硬件按钮生成光图案，以提示有关所述第一补货建议的确认输入。

9.根据权利要求1所述的语音辅助补货系统，包括：

第三硬件按钮，所述第三硬件按钮位于所述第一隔室的外部，其中，所述第三硬件按钮被配置为：

在所述语音输出接口输出来自所述数字助理的第三基于语音的补货建议之后，提示所述用户提供有关所述第三基于语音的补货建议的确认输入；以及

在所述第三硬件按钮被所述用户激活时，将相应的确认信号发送到所述远程数字助理。

10.根据权利要求1所述的语音辅助补货系统，包括：

第二隔室，所述第二隔室与所述第一隔室不同；

第四硬件按钮，所述第四硬件按钮位于所述第二隔室的内部，其中，所述第四硬件按钮被配置为：

在所述语音输出接口输出来自所述数字助理的第四基于语音的补货建议之后，提示所述用户提供关于所述第四基于语音的补货建议的确认输入；以及

当所述用户激活所述第四硬件按钮时，向所述远程数字助理发送相应的确认信号，其中，

所述补货建议单元被配置为：响应于确定所述第一隔室被打开，使所述语音输出接口输出关于存储在所述第一隔室中的物品的相应的补货建议；以及响应于确定所述第二隔室被打开，使所述语音输出接口输出关于存储在所述第二隔室中的物品的相应的补货建议。

11.根据权利要求1所述的语音辅助补货系统，包括：

用户存在检测单元，其中，所述用户存在检测单元被配置为在所述第一隔室附近检测用户的存在，其中，所述用户存在检测单元被配置为触发所述语音输出接口，以输出已从所述远程数字助理服务器接收到的所述第一基于语音的补货建议。

12.根据权利要求11所述的语音辅助补货系统，其中，

所述用户存在检测单元被配置为检测所述第一隔室的门被打开，并且

所述用户存在检测单元被配置为响应于检测到所述第一隔室的门被打开并且所述语音输出接口已经输出所述第一基于语音的补货建议，使所述第一硬件按钮提示所述用户提供关于所述第一补货建议的确认输入，并等待所述用户的确认输入。

13.根据权利要求1所述的语音辅助补货系统，其中，所述第一硬件按钮具有内置的指纹传感器，并且其中，所述语音辅助补货系统还包括认证单元，所述认证单元被配置为：

响应于确定所述第一补货建议是需要用户认证的第一建议类型，将所述内置指纹传感器捕获的指纹发送给所述数字助理服务器进行认证；以及

响应于确定所述第一补货建议是不需要用户认证的第二建议类型，放弃将所述内置指纹传感器捕获的指纹传输到所述数字助理。

14.一种提供补货建议的方法，包括：

在包括一个或多个处理器、存储器和用于存储多种消耗性物品的第一隔室的设备处，

检测在所述第一隔室的正面的用户存在；

响应于检测到所述用户存在并且确定所述用户存在符合第一准则，通过语音输出接口输出第一基于语音的补货建议；

在所述语音输出接口输出所述第一基于语音的补货建议后，经由位于所述第一隔室内部的第一硬件按钮提供第一提示，以请求来自所述用户的有关所述第一基于语音的补货建议的确认输入；

在提供所述第一提示的同时，检测所述用户对所述第一硬件按钮的激活；以及

响应于在所述第一提示被提供的同时检测到所述第一硬件按钮的激活，将关于所述第一基于语音的补货建议的相应的确认信号发送到远程数字助理。

15.根据权利要求14所述的方法，包括：

在经由所述第一硬件按钮提供所述第一提示的同时，通过语音输入接口接收拒绝所述第一补货建议的语音输入；以及

响应于检测到拒绝所述第一补货建议的所述用户的语音输入，停止经由所述第一硬件按钮提供所述第一提示。

16.根据权利要求14所述的方法，其中，

所述第一隔室是冰箱的封闭式隔室；

所述冰箱的所述封闭式隔室具有门，当所述门处于关闭状态时，所述门的内侧面向所述封闭式隔室的内部，并且当所述门处于打开状态时，所述门的外侧面向所述封闭式隔室的外部；以及

当所述门处于关闭状态时，所述第一硬件按钮位于所述封闭式隔室内部的所述门的内侧。

17.根据权利要求14所述的方法，包括：

根据所述第一基于语音的补货建议的建议类型，在所述第一硬件按钮上生成与在多种确认请求类型中选择的一种对应的相应的光图案。

18.根据权利要求14所述的方法，其中，

提供所述第一提示的时间不超过阈值时间，并且当在所述语音输出接口输出所述第一基于语音的补货建议后的所述阈值时间内所述第一硬件按钮被所述用户激活时，将所述确认信号发送到所述远程数字助理。

19.根据权利要求14所述的方法，包括：

显示所述第一补货建议和根据所述用户对所述第一硬件按钮的激活而对所述第一补货建议的确认。

20.根据权利要求19所述的方法，包括：

响应于确定所述第一隔室处于关闭状态，在触摸屏显示器上显示所述第一补货建议；以及

响应于确定所述第一隔室已经从关闭状态切换到打开状态，生成光图案以提示关于所述第一补货建议的确认输入。

Images