CN111473589A - 一种智能冰箱及跨媒体交互方法 - Google Patents

Abstract

本公开关于一种智能冰箱及跨媒体交互方法，针对现有技术中由于智能冰箱存在设计缺陷，导致拾音较差、交互功能单一的问题，该智能冰箱机壳、门、感知模组和处理器，其中，处理器被配置为响应于门开启，启动感知模组，基于图像采集模块采集的图像信息，执行相应的操作，并基于第一语音模块采集的第一语音信息，执行相应的语音交互功能，然后，处理器响应于门关闭，关闭感知模组。本公开中，通过在智能冰箱中配置感知模组，提高了智能冰箱的拾音效果，同时，采用基于图像与语音的跨媒体交互方式，满足了不同的交互需求，从而提升了用户使用感。

Description

一种智能冰箱及跨媒体交互方法

技术领域

本公开涉及智能冰箱技术领域，尤其涉及一种智能冰箱及跨媒体交互方法。

背景技术

随着技术不断发展、社会节奏愈发加快，家电智能化也越来越被各大家电厂商重视。智能冰箱作为核心家电之一，除食材保鲜功能在不断革新之外，其它相关功能也在不断完善、扩展。

目前，参阅图1所示，通常在智能冰箱的冰箱门体中嵌入显示屏，显示屏的顶端或周围设有麦克风、扬声器等语音设备。智能冰箱通过麦克风、扬声器等语音设备与用户进行语音交互，从而提供食材管理等功能。

然而，当用户打开显示屏所在的冰箱门体时，受较厚的冰箱门体阻隔，处于冰箱门体外侧的麦克风将出现拾音较差的情况。

此外，由于智能冰箱尚处于起步阶段，各项功能尚不成熟，交互功能单一，并且普遍存在互动生硬、与冰箱场景结合不紧密、不能满足用户实际需求等问题。

由此可见，需要设计一种新的方案，以克服上述缺陷。

发明内容

本公开提供了一种智能冰箱及跨媒体交互方法，用以解决现有技术中由于智能冰箱存在设计缺陷，导致拾音较差、交互功能单一、智能化程度不高的问题。

本公开实施例提供的具体技术方案如下：

第一方面，一种智能冰箱，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门，与所述机壳活动连接，用于遮挡所述开口；

感知模组，与所述机壳连接，包含第一语音模块、图像采集模块；

处理器，所述处理器被配置为：

响应于所述门开启，启动所述感知模组，令所述图像采集模块采集图像信息，以及令所述第一语音模块接收用户语音输入；

获取所述图像采集模块采集的图像信息，并对所述图像信息进行检测；基于所述图像信息的图像检测结果，执行相应的操作；

获取所述第一语音模块采集的第一语音信息，并基于所述第一语音信息，执行相应的语音交互功能；

响应于所述门关闭，关闭所述感知模组，令所述图像采集模块停止采集图像信息，以及令所述第一语音模块停止接收用户语音输入。

第二方面，一种跨媒体交互方法，包括：

响应于门开启，启动感知模组，令图像采集模块采集图像信息，以及令第一语音模块接收用户语音输入，所述感知模组包含第一语音模块和图像采集模块；

获取所述图像采集模块采集的图像信息，并对所述图像信息进行检测；基于所述图像信息的图像检测结果，执行相应的操作；

获取所述第一语音模块采集的第一语音信息，并基于所述第一语音信息，执行相应的语音交互功能；

响应于所述门关闭，关闭所述感知模组，令所述图像采集模块停止采集图像信息，以及令所述第一语音模块停止接收用户语音输入。

本公开实施例中，智能冰箱包括机壳、门、感知模组和处理器，其中，感知模组与机壳连接，处理器被配置为响应于门开启，启动感知模组，接着，处理器基于图像采集模块采集的图像信息，执行相应的操作，并基于第一语音模块采集的第一语音信息，执行相应的语音交互功能，然后，处理器响应于门关闭，关闭感知模组。

这样，本公开至少具有以下有益效果：

通过在智能冰箱中配置与机壳连接的感知模组，当门关闭时，感知模组关闭，当门开启时，感知模组工作，这样，避免了当智能冰箱的门开启时，受较厚的冰箱门体阻隔，出现拾音较差的情况，从而提高了智能冰箱的拾音效果，进而，在智能冰箱基于用户输入的语音信息，执行语音交互功能时，提高了智能冰箱的执行效率、准确率，此外，第一处理器启动感知模组之后，基于图像信息和语音信息，与用户进行交互，这样，智能冰箱能够提供丰富的交互功能，满足了不同的交互需求，从而提升了用户使用感。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中提供的一种智能冰箱的结构示意图；

图2为本公开实施例中提供的一种场景示意图；

图3A-3C为本公开实施例中提供的一组智能冰箱的结构示意图；

图4A为本公开实施例中提供的一种智能冰箱的硬件结构示意图；

图4B为本公开实施例中提供的一种感知模组的结构示意图；

图5A-5C为本公开实施例中提供的一组智能冰箱的状态示意图；

图6为本公开实施例中提供的一种跨媒体交互方法的流程示意图；

图7为本公开实施例中提供的一种智能冰箱的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本公开中的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

在本公开的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本公开的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。

针对现有技术中由于麦克风设置于冰箱门体外侧，导致拾音较差的问题，为了提高拾音效果，同时丰富交互功能，提升用户体验，在本公开实施例中，提供一种智能冰箱以及跨媒体交互方法。

参阅图2所示，为本公开一些实施例提供的一种智能冰箱的应用场景图。

其中，显示设备100与服务器200通过多种通信方式进行数据通信。这里可允许显示设备200通过局域网(Local Area Network，LAN)、无线局域网(Wireless Local AreaNetwork，WLAN)和其他网络进行通信连接。

智能冰箱100可提供包括但不限于食材管理功能、食材查询功能、保质期查询功能、食材位置查询功能、网上购物功能、菜谱搜索功能、菜谱推荐功能、影音娱乐功能、闹钟功能、语音纠错功能等。

服务器200可以向智能冰箱100提供各种内容和互动。示例的，智能冰箱100可以发送和接收信息，例如：接收语音识别数据、访问远程储存的数字媒体库、发送待识别数据。服务器200可以一组，也可以多组，可以一类或多类服务器。服务器200可以部署于本地，也可以部署于云端，通过服务器200可以实现图像识别、语音识别等功能。

在一些实施例中，服务器200可以部分部署于本地或边缘，部分部署于云端，其中，部署于本地或边缘的服务器，采用计算量较小的传统视觉方法对存取动作、存取位置进行计算分析，同时部署于本地或边缘的服务器分析、抓取关键帧之后，将关键帧发送至部署于云端的服务器，由部署于云端的服务器对食材种类、食材数量等进行识别。这样，部署于本地或边缘的服务器将计算量较大的识别工作交由部署于云端的服务器，能够减少本地的计算资源消耗。

在另一些实施例中，服务器200可以全部部署于本地或边缘，其中，部署于本地或边缘的服务器，采用计算量较小的传统视觉方法对存取动作、存取位置进行计算分析，然后，基于关键帧或直接基于视频流对食材种类、食材数量进行识别。这样，可以实现更实时、流畅的交互。

在一些实施例中，参阅图3A所示，智能冰箱100至少包括机壳110、门120、感知模组130、以及显示屏140。其中，门120与机壳110活动连接，感知模组130与机壳110连接，感知模组130被设置于机壳110的顶部，显示屏140与门120连接。当智能冰箱的门120开启时，感知模组130开始工作，当门120关闭时，显示屏140开始工作。

在另外一些实施例中，参阅图3B所示，智能冰箱100包括机壳110、门120、感知模组130、显示屏140以及弹出式电机机构模组150，该智能冰箱的正视图参阅图3A所示。参阅图3B和图3C所示，从智能冰箱侧面观看的角度，弹出式电机机构模组150可以驱动感知模组130朝向智能冰箱移动，还可以驱动感知模组130远离智能冰箱移动。

在一些实施例中，如图4A所示，智能冰箱100至少包括机壳110、门120、感知模组130以及处理器。

在其他一些实施例中，如图4A所示，智能冰箱100至少包括机壳110，门120，感知模组130，以及显示屏140。

其中，机壳110，包括储藏室，储藏室具有开口。

门120，与机壳110活动连接，用于遮挡开口。

在一些实施例中，感知模组130，与机壳110连接，包含第一语音模块、图像采集模块和第一处理器。

在一些实施例中，参阅图4B所示，感知模组130的第一语音模块中可以包含麦克风、扬声器等语音设备，用于提供语音采集、播报等功能。其中，第一语音模块中麦克风、扬声器等语音设备的位置可以灵活变动，但是，麦克风孔之间的距离、以及麦克风和扬声器之间的距离应满足去噪、回声消除等算法要求，感知模组130中包括必要的电路设计。

在其他一些实施例中，参阅图4B所示，感知模组130的图像采集模块可以包含彩色相机、深度相机等图像设备，用于提供图像采集等功能。图像采集模块可以包含彩色相机、深度相机中的任意一项，也可以同时包含彩色相机和深度相机。

感知模组130的第一处理器被配置为：

响应于门120开启，启动感知模组130，令图像采集模块采集图像信息，以及令第一语音模块接收用户语音输入；

获取图像采集模块采集的图像信息，并对图像信息进行检测，基于图像信息的图像检测结果，执行相应的操作；

获取第一语音模块采集的第一语音信息，并基于第一语音信息，执行相应的语音交互功能；

响应于门120关闭，关闭感知模组130，令图像采集模块停止采集图像信息，以及令第一语音模块停止接收用户语音输入。

显示屏140，与门120连接，包含第二语音模块和第二处理器。第二语音模块中包含麦克风、扬声器等语音设备。

第二处理器被配置为响应于门120关闭，启动显示屏140，令第二语音模块接收用户语音输入，获取第二语音模块采集的第二语音信息，并基于第二语音信息，执行相应的语音交互功能。响应于门120开启，关闭显示屏140，令第二语音模块停止接收用户语音输入。

在一些实施例中，第一处理器和第二处理器可以集成于一个处理器中，该处理器被配置为执行第一处理器和第二处理器执行的操作。

在其他一些实施例中，第一处理器和第二处理器被分别设置于感知模组130和显示屏140中，其中，被设置于感知模组130中，第二处理器被设置于显示屏140中，此时，感知模组130和显示屏140可以独立运行，互不影响。例如，由于感知模组130需要驱动彩色相机、深度相机、麦克风等硬件设备，同时需要进行部分的图像计算，因此，感知模组130采用嵌入式Linux操作系统。同时，由于显示屏140中需要安装智能冰箱附带的应用程序，因此，显示屏140采用安卓操作系统。

由于感知模组130和显示屏140在硬件、运行系统等方面均存在较大的差异，因此，感知模组130和显示屏140可以视为两个独立设备。根据感知模组130和显示屏140在不同应用场景下提供的多种交互功能，实现为同一智能冰箱提供智能化跨媒体交互服务。

下文中，仅以第一处理器和第二处理器被分别设置于感知模组130和显示屏140中为例，进行说明。

参阅图5A所示，为本公开一些实施例提供的一种智能冰箱状态的示意图。

实际应用中，当用户打开智能冰箱时，会在智能冰箱中存放食材或者取出食材，因此，感知模组130的第一处理器被配置响应于门开启，启动感知模组130，令第一语音模块开始接收用户语音输入。

在一些实施例中，参阅图5A所示，第一处理器被配置响应于门开启，可采用但不限于以下方式启动感知模组130：第一处理器控制弹出式电机机构模组驱动感知模组130远离智能冰箱移动，确定感知模组130被移动至预设位置时，控制弹出式电机机构模组停止驱动。

之后，第一处理器确定第一语音模块获取图像采集模块采集的图像信息，在对图像信息进行检测后，执行相应的操作，接着，第一处理器获取第一语音模块采集的第一语音信息，并基于第一语音信息，执行相应的语音交互功能。

参阅图5B所示，为本公开一些实施例提供的另一种智能冰箱状态的示意图。在本公开的其他一些实施中，若智能冰箱为多门冰箱时，第一处理器响应于任意一扇门开启，启动感知模组130进行工作。

参阅图5C所示，为本公开一些实施例提供的另一种智能冰箱状态的示意图。

感知模组130的第一处理器被配置响应于门关闭，控制弹出式电机机构模组150驱动感知模组130朝向智能冰箱移动，确定感知模组130被移动至初始位置时，控制弹出式电机机构150模组停止驱动。同时，显示屏140的第二处理器被配置为响应于门关闭，获取第二语音模块采集的第二语音信息，并基于第二语音信息，执行相应的语音交互功能。

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

参阅图6所示，本公开实施例中，进行跨媒体交互的流程如下。

步骤S601：智能冰箱监控门的闭合状态。

本公开实施例中，智能冰箱采用一个线程专门负责监控门的闭合状态，确定闭合状态发生变化时，执行步骤S602。

例如，智能冰箱采用线程1监控门120的闭合状态，确定门120由开启状态切换至关闭状态时，执行步骤S602。

又例如，智能冰箱采用线程1监控门120的闭合状态，确定门120由关闭状态切换至开启状态时，执行步骤S602。

步骤S602：智能冰箱确定门是否开启，若是，则执行步骤S603，否则，执行步骤S606。

需要说明的是，本公开实施例中，若智能冰箱为多开门冰箱，则智能冰箱确定任意一扇门开启时，执行步骤S603。

例如，参阅图5B所示，假设，智能冰箱为三开门冰箱，智能冰箱确定任意一扇门开启，执行步骤S603。

又例如，参阅图5C所示，智能冰箱确定门120关闭，执行步骤S606。

步骤S603：智能冰箱启动感知模组，令图像采集模块采集图像信息，以及令第一语音模块接收用户语音输入。

需要说明的是，本公开实施例中，感知模组包含第一语音模块、图像采集模块以及第一处理器，其中，第一语音模块至少包含麦克风和扬声器，图像采集模块至少包含彩色相机和深度相机中的任一项或组合。

例如，参阅图4B所示，感知模组130包含第一语音模块和图像采集模块，其中，第一语音模块包含麦克风和扬声器，图像采集模块包含彩色相机和深度相机。

参阅图3B所示，本公开实施例中，智能冰箱还包括弹出式电机机构模组150，电机机构模组150与感知模组130连接，用于驱动感知模组130朝向智能冰箱移动，以及用于驱动感知模组130远离智能冰箱移动。

第一处理器响应于门120开启，可采用但不限于以下方式启动感知模组：

第一处理器控制弹出式电机机构模组驱动感知模组远离智能冰箱移动，并在确定感知模组被移动至预设位置时，控制弹出式电机机构模组停止驱动。

例如，参阅图5A所示，第一处理器控制弹出式电机机构模组150驱动感知模组130远离智能冰箱移动，并在确定感知模组130被移动至如图5A所示的位置时，控制弹出式电机机构模组150停止驱动。

第一处理器启动感知模组之后，令图像采集模块采集图像信息，以及令第一语音模块接收用户语音输入。

例如，第一处理器启动感知模组130之后，令图像采集模块通过彩色相机和深度相机采集图像信息，以及令第一语音模块通过麦克风接收用户语音输入。

步骤S604：智能冰箱获取图像采集模块采集的图像信息，并对图像信息进行检测，基于图像信息的图像检测结果，执行相应的操作。

具体的，执行步骤S604时，可以依次执行但不限于以下步骤：

A1、第一处理器获取图像采集模块采集的图像信息。

例如，第一处理器确定第一语音模块获取图像采集模块采集的图像信息，该图像信息表征用户在智能冰箱的第二层中，放入两个苹果。

A2、第一处理器对图像信息进行检测。

具体的，第一处理器可以采取但不限于以下两种方式对图像信息进行检测：

第一种方式：第一处理器直接对图像信息进行检测。

具体的，第一处理器基于预设的图像识别算法，直接对图像信息进行检测，并生成图像检测结果。

例如，第一处理器采用计算量较小的传统视觉方法对图像信息中包含的存取动作、存取位置进行计算分析，然后，第一处理器基于图像信息或基于图像信息中的关键帧，对图像信息中包含的食材种类、食材数量等其他信息进行识别，最后，生成图像检测结果，图像检测结果表征在智能冰箱的第二层中放入两个苹果。

第二种方式：服务器对图像信息进行检测。

具体的，第一处理器将图像信息发送至服务器，令服务器基于图像信息，进行图像检测，并生成图像检测结果。

本公开实施例中，服务器可以全部部署于本地或边缘，也可以部分部署于本地或边缘，部分部署于云端。

若服务器全部部署于本地或边缘，则部署于本地或边缘的服务器接收到第一处理器发送的图像信息时，采用预设的图像识别算法，对图像信息进行检测，并生成图像检测结果。

例如，若服务器全部部署于本地，部署于本地的服务器接收到第一处理器发送的图像信息时，采用计算量较小的传统视觉方法对图像信息中包含的存取动作、存取位置进行计算分析，然后，部署于本地的服务器基于图像信息或基于图像信息中的关键帧，对图像信息中包含的食材种类、食材数量等其他信息进行识别，最后，部署于本地的服务器生成图像检测结果，图像检测结果表征在智能冰箱的第二层中放入两个苹果。

若服务器部分部署于本地或边缘，部分部署于云端，则部署于本地或边缘的服务器收到第一处理器发送的图像信息时，对图像信息进行第一次检测，并生成第一处理结果；

部署于本地或边缘的服务器将图像信息发送至部署于云端的服务器，令部署于云端的服务器基于图像信息，生成并反馈第二处理结果；

部署于本地或边缘的服务器基于部署于云端的服务器返回的第二处理结果，以及第一处理结果，生成图像检测结果。

例如，若服务器部分部署于本地，部分部署于云端，部署于本地的服务器收到第一处理器发送的图像信息时，采用计算量较小的传统视觉方法对图像信息中包含的存取动作、存取位置进行计算分析，生成第一处理结果，第一处理结果表征在智能冰箱的第二层中放入物体。

然后，部署于本地的服务器将图像信息发送至部署于云端的服务器，令部署于云端的服务器基于图像信息，生成并反馈第二处理结果，第二处理结果表征图像信息中包含两个苹果。

之后，部署于本地的服务器基于部署于云端的服务器返回的第二处理结果，以及第一处理结果，生成图像检测结果，图像检测结果表征在智能冰箱的第二层中放入两个苹果。

进一步的，第一处理器接收服务器返回的图像检测结果。

例如，第一处理器接收本地服务器返回的图像检测结果，图像检测结果表征用户在智能冰箱的第二层中放入两个苹果。

A3、第一处理器基于图像信息的图像检测结果，执行相应的操作。

具体的，执行步骤A3时，可采用但不限于以下两种方式：

第一种方式：第一处理器直接将图像检测结果存储至预设的存储平台。

例如，第一处理器直接将表征用户在智能冰箱的第二层中放入两个苹果的图像检测结果存储至预设的存储平台。

第二种方式：第一处理器将图像检测结果存储至预设的存储平台，并基于图像信息的图像检测结果，确定用户执行食材存取操作时，采用第一语音模块，对图像检测结果进行播报。

具体的，第一处理器将图像检测结果存储至预设的存储平台，并基于图像信息的图像检测结果，确定用户是否执行食材存取操作。

例如，图像检测结果表征用户在智能冰箱的第二层中放入两个苹果，第一处理器将表征用户在智能冰箱的第二层中放入两个苹果的图像检测结果存储至预设的存储平台，并基于图像信息的图像检测结果，确定用户执行食材存取操作。

第一处理器确定用户执行食材存取操作后，采用第一语音模块，对图像信息的图像检测结果进行播报时，包括但不限于以下两种情况：

第一种情况：第一处理器采用第一语音模块，直接对图像信息的图像检测结果进行播报。

例如，图像检测结果表征用户在智能冰箱的第二层中放入两个苹果，第一处理器采用第一语音模块，对图像信息的图像检测结果进行播报，即采用第一语音模块播报“第二层放入两个苹果”。

第二种情况：第一处理器基于图像检测结果，以及食材信息，生成播报信息，并采用第一语音模块，对播报信息进行播报，其中，食材信息存储于预设的存储平台中，食材信息包括但不限于食材保质期、食材位置、食材编号等信息中的任一项或组合。

例如，图像检测结果表征用户在智能冰箱的第二层中放入两个苹果，存储于统一的管理后台中的食材信息表征苹果的保质期为三天，第一处理器基于图像检测结果，以及食材信息，生成播报信息，播报信息表征第二层放入两个苹果且苹果的保质期为三天，然后，第一处理器采用第一语音模块，对播报信息进行播报，即采用第一语音模块播报“第二层放入两个苹果，保质期三天”。

步骤S605：智能冰箱获取第一语音模块采集的第一语音信息，并基于第一语音信息，执行相应的语音交互功能。

具体的，第一处理器确定第一语音模块监听到用户输入的第一语音信息时，获取第一语音模块采集的第一语音信息。

例如，第一处理器确定第一语音模块监听到用户输入的第一语音信息时，获取第一语音模块采集的第一语音信息，第一语音信息为“苹果被放在第三层，不是第二层”。

第一处理器获取第一语音信息之后，基于第一语音信息，执行相应的语音交互功能时，可以采取但不限于以下步骤：

B1、第一处理器将第一语音信息发送至服务器，令服务器基于第一语音信息，生成第一语音识别结果。

例如，第一语音信息为“苹果被放在第三层，不是第二层”，第一处理器将第一语音信息发送至服务器，令服务器基于第一语音信息，生成第一语音识别结果，第一语音识别结果，第一语音识别结果中包含第一语音信息对应的用户意图及相应参数，其中，用户意图表征“食材位置修改”，参数为“3”。

B2、第一处理器接收服务器返回的第一语音识别结果，第一语音识别结果中包含第一语音信息对应的用户意图及相应参数。

例如，第一处理器接收服务器返回的第一语音识别结果，第一语音识别结果中包含第一语音信息对应的用户意图及相应参数，其中，用户意图表征“食材位置修改”，参数为“3”。

B3、第一处理器至少基于用户意图及相应参数、以及历史存储信息，执行相应的语音交互功能，所述历史存储信息存储于预设的存储平台中。

需要说明的是，本公开实施例中，参阅表1所示，第一处理器可以提供但不限于以下语音交互功能：食材录入功能、食材删除功能、语音纠错功能、食材查询功能、保质期查询功能、食材位置查询功能、闹钟功能、交互设置功能。

表1第一处理器提供的语音交互功能

例如，用户意图表征“食材位置修改”，参数为“3”，统一的管理后台中存储的历史存储信息表征在智能冰箱的第二层中放入两个苹果，第一处理器基于用户意图及相应参数、以及历史存储信息，确定执行语音纠错功能，即，第一处理器将存储于管理后台中的苹果的位置信息，由“第二层”修改为“第三层”，并采用第一语音模块播报“好的，苹果的位置被修改为第三层”。

针对语音纠错功能，为了提高数据处理效率，优化语音纠错功能，第一处理器在执行步骤S604时，将，可以将生成的图像检测结果进行缓存，相应的，在执行步骤S605中的步骤B3，可以直接根据用户意图及相应参数、以及图像检测结果，执行相应的语音交互功能，而不再从预设的存储平台查询历史存储信息。

步骤S606：智能冰箱关闭感知模组，令图像采集模块停止采集图像信息，以及令第一语音模块停止接收用户语音输入。

本公开实施例中，第一处理器响应于门关闭，可采用但不限于以下方式关闭感知模组，：

第一处理器控制弹出式电机机构模组驱动感知模组朝向智能冰箱移动，并在确定感知模组被移动至初始位置时，控制弹出式电机机构模组停止驱动。

例如，参阅图5C所示，第一处理器控制弹出式电机机构模组150驱动感知模组130朝向智能冰箱移动，并在确定感知模组130被移动至如图5C所示的初始位置时，控制弹出式电机机构模组150停止驱动，令图像采集模块停止采集图像信息，以及令第一语音模块停止接收用户语音输入。

需要说明的是，本公开实施例中，执行步骤S603时，第二处理器响应于门开启，关闭显示屏，令第二语音模块停止接收用户语音输入。

执行步骤S606时，第二处理器响应于门关闭，启动显示屏，令第二语音模块接收用户语音输入。

例如，参阅图5C所示，第二处理器确定门120关闭时，启动显示屏140，令第二语音模块开始接收用户语音输入。

第二处理器启动显示屏之后，获取第二语音模块采集的第二语音信息，并基于第二语音信息，执行相应的语音交互功能。

需要说明的是，第二处理器基于第二语音信息，执行相应的语音交互功能时，采用的方法与第一处理器相同，在此不再赘述。

参阅表2所示，第二处理器提供的语音交互功能包括但不限于：食材查询功能、保质期查询功能、食材位置查询功能、网上购物功能、菜谱搜索功能、菜谱推荐功能、影音娱乐功能、闹钟功能、交互设置功能。

表2第二处理器提供的语音交互功能

例如，第二处理器确定第二语音模块监听到用户输入的第二语音信息时，获取第二语音模块采集的第二语音信息，其中，第二语音信息表征根据智能冰箱中现有的食材推荐菜谱，然后，第二处理器基于第二语音信息，链接网络美食教学资源，并提供网络购物功能。

需要说明的是，本公开实施例中，预设的存储平台可以采用统一的管理平台，也可以采用数据库。由于感知模块和显示屏的运行系统不同，因此，当预设的存储平台采用数据库时，感知模块和显示屏需要分别配置不同的数据库，进而，感知模块和显示屏每一次提供语音交互功能之后，都需要通过局域网或者互联网，将两个数据库中的数据进行同步。

例如，感知模块配置第一数据库，显示屏配置第二数据库，感知模块执行语音纠错功能之后，即，即，第一处理器将存储于第一数据库中的苹果的位置信息，由“第二层”修改为“第三层”，并采用第一语音模块播报“好的，苹果的位置被修改为第三层”之后，第一处理器通过局域网，将存储于第二数据库中的苹果的位置信息，由“第二层”修改为“第三层”。

在其他一些实施例中，若第一处理器执行步骤S604时，基于图像信息的图像检测结果，确定用户未执行食材存取操作，则直接执行步骤S605。

例如，第一处理器启动感知模组，令图像采集模块采集图像信息、第一语音模块接收用户语音输入之后，第一处理器获取图像采集模块采集的图像信息，并对图像信息进行检测，若基于图像信息的图像检测结果，确定用户未执行食材存取操作，且确定监听到用户输入的第三语音信息时，获取第一语音模块采集的第三语音信息，第三语音信息为“冰箱里还有什么食材”，然后，基于第三语音信息，执行食材查询功能，即，第一处理器采用第一语音模块播报“冰箱里有两个土豆”。

基于同一发明构思，本公开实施例中，提供一种智能冰箱，参阅图7所示，至少包括：第一处理单元701、第二处理单元702、第三处理单元703和第四处理单元704，其中，

第一处理单元701，用于响应于门开启，启动感知模组，令图像采集模块采集图像信息，以及令第一语音模块接收用户语音输入，所述感知模组包含第一语音模块和图像采集模块；

第二处理单元702，用于获取所述图像采集模块采集的图像信息，并对所述图像信息进行检测；基于所述图像信息的图像检测结果，执行相应的操作；

第三处理单元703，用于获取所述第一语音模块采集的第一语音信息，并基于所述第一语音信息，执行相应的语音交互功能；

第四处理单元704，用于响应于所述门关闭，关闭所述感知模组，令所述图像采集模块停止采集图像信息，以及令所述第一语音模块停止接收用户语音输入。

第一处理单元701、第二处理单元702、第三处理单元703和第四处理单元704相互配合，以实现智能冰箱在上述各个实施例中的功能。

基于同一发明构思，本公开实施例提供一种存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述流程中智能冰箱实现的任一项方法。

本公开实施例中，智能冰箱包括机壳、门、感知模组和处理器，其中，感知模组与机壳连接，处理器被配置为响应于门开启，启动感知模组，接着，处理器基于图像采集模块采集的图像信息，执行相应的操作，并基于第一语音模块采集的第一语音信息，执行相应的语音交互功能，然后，处理器响应于门关闭，关闭感知模组。

这样，本公开至少具有以下有益效果：

通过在智能冰箱中配置与机壳连接的感知模组，当门关闭时，感知模组关闭，当门开启时，感知模组工作，这样，避免了当智能冰箱的门开启时，受较厚的冰箱门体阻隔，出现拾音较差的情况，从而提高了智能冰箱的拾音效果，进而，在智能冰箱基于用户输入的语音信息，执行语音交互功能时，提高了智能冰箱的执行效率、准确率，此外，第一处理器启动感知模组之后，基于图像信息和语音信息，与用户进行交互，这样，智能冰箱能够提供丰富的交互功能，满足了不同的交互需求，从而提升了用户使用感。

对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。

显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (10)

1.一种智能冰箱，其特征在于，包括：

机壳，所述机壳包括储藏室，所述储藏室具有开口；

门，与所述机壳活动连接，用于遮挡所述开口；

感知模组，与所述机壳连接，包含第一语音模块、图像采集模块；

处理器，所述处理器被配置为：

响应于所述门开启，启动所述感知模组，令所述图像采集模块采集图像信息，以及令所述第一语音模块接收用户语音输入；

获取所述图像采集模块采集的图像信息，并对所述图像信息进行检测；基于所述图像信息的图像检测结果，执行相应的操作；

获取所述第一语音模块采集的第一语音信息，并基于所述第一语音信息，执行相应的语音交互功能；

响应于所述门关闭，关闭所述感知模组，令所述图像采集模块停止采集图像信息，以及令所述第一语音模块停止接收用户语音输入。

2.如权利要求1所述的智能冰箱，其特征在于，所述感知模组被设置于所述机壳的顶部。

3.如权利要求1所述的智能冰箱，其特征在于，所述智能冰箱还包括弹出式电机机构模组，所述电机机构模组与所述感知模组连接，用于驱动所述感知模组朝向所述智能冰箱移动，以及用于驱动所述感知模组远离所述智能冰箱移动。

4.如权利要求3所述的智能冰箱，其特征在于，启动所述感知模组时，所述处理器被进一步配置为：

控制所述弹出式电机机构模组驱动所述感知模组远离所述智能冰箱移动；

确定所述感知模组被移动至预设位置时，控制所述弹出式电机机构模组停止驱动；

关闭所述感知模组时，所述处理器被进一步配置为：

控制所述弹出式电机机构模组驱动所述感知模组朝向所述智能冰箱移动；

确定所述感知模组被移动至初始位置时，控制所述弹出式电机机构模组停止驱动。

5.如权利要求4所述的智能冰箱，其特征在于，对所述图像信息进行检测时，所述处理器被进一步配置为：

将所述图像信息发送至服务器，令服务器基于所述图像信息，进行图像检测，并生成图像检测结果；接收所述服务器返回的图像检测结果；或者，

基于预设的图像识别算法，直接对所述图像信息进行检测，并生成图像检测结果。

6.如权利要求5所述的智能冰箱，其特征在于，基于所述图像信息的图像检测结果，执行相应的操作时，所述处理器被进一步配置为：

将所述图像检测结果存储至预设的存储平台；或者，

将所述图像检测结果存储至预设的存储平台，并基于所述图像信息的图像检测结果，确定用户执行食材存取操作时，采用所述第一语音模块，对所述图像检测结果进行播报。

7.如权利要求1-6中任一项所述的智能冰箱，其特征在于，基于所述第一语音信息，执行相应的语音交互功能时，所述处理器被进一步配置为：

将所述第一语音信息发送至服务器，令所述服务器基于所述第一语音信息，生成第一语音识别结果；

接收所述服务器返回的第一语音识别结果，所述第一语音识别结果中包含所述第一语音信息对应的用户意图及相应参数；

至少基于所述用户意图及相应参数、以及历史存储信息，执行相应的语音交互功能，所述历史存储信息存储于预设的存储平台中。

8.如权利要求1所述的智能冰箱，其特征在于，所述智能冰箱还包括显示屏，所述显示屏与所述门连接，包含第二语音模块；

所述处理器被配置为：

响应于所述门关闭，启动所述显示屏，令所述第二语音模块接收用户语音输入；获取所述第二语音模块采集的第二语音信息，并基于所述第二语音信息，执行相应的语音交互功能；

响应于所述门开启，关闭所述显示屏，令所述第二语音模块停止接收用户语音输入。

9.如权利要求8所述的智能冰箱，其特征在于，所述处理器包含第一处理器和第二处理器，其中，所述第一处理器被设置于所述感知模组中，被配置为执行如权利要求1至7中任一项所述处理器执行的操作，所述第二处理器被设置于所述显示屏中，被配置为执行如权利要求8中所述处理器执行的操作。

10.一种跨媒体交互方法，其特征在于，包括：

响应于门开启，启动感知模组，令图像采集模块采集图像信息，以及令第一语音模块接收用户语音输入，所述感知模组包含第一语音模块和图像采集模块；

获取所述图像采集模块采集的图像信息，并对所述图像信息进行检测；基于所述图像信息的图像检测结果，执行相应的操作；

获取所述第一语音模块采集的第一语音信息，并基于所述第一语音信息，执行相应的语音交互功能；

响应于所述门关闭，关闭所述感知模组，令所述图像采集模块停止采集图像信息，以及令所述第一语音模块停止接收用户语音输入。

Images