CN113421562A - 一种智慧橱柜的控制方法、系统及存储介质 - Google Patents

Abstract

本申请公开一种智慧橱柜的控制方法、系统及存储介质，包括以下步骤：根据所预设的启动条件以进入声音捕获模式；处于声音捕获模式：记录外界的声音并将声音转换成语音信息，识别语音信息中是否包含标识物信息和动作信息，若均含有，则提取出标识物信息和动作信息，所述标识物信息有多种并分别对应不同的执行器；根据标识物信息向相应的执行器发送与动作信息对应的动作指令；执行器根据接收到的动作指令执行相应的动作；在预设时间内未识别出任一标识物信息或动作信息，则退出声音捕获模式。用户通过特定的语音即可使执行器自动工作以开启橱柜，使得用户无需接触到橱柜即可拿取到存储在橱柜内的物品，通过人机互动的方式提高橱柜的使用便捷性。

Description

一种智慧橱柜的控制方法、系统及存储介质

技术领域

本申请涉及智能家居的领域，尤其是涉及一种智慧橱柜的控制方法、系统及存储介质。

背景技术

随着物联网的推行，在家居行业中逐渐发展出智能家居这一产品。智能家居不仅具有传统家居的功能，还能提供全方位的信息交互功能，方便人机互动，提高用户体验感。

橱柜是厨房家居中必不可少的重要设备之一，其主要起着物品的存取摆放作用，从而可有效提高厨房内空间利用率。

但在实际使用中发现，当前的整体橱柜的功能仅为物品的存放，而不具备其它智能化的辅助功能，无法实现人机互动来为用户带来更加便捷的使用体验。

发明内容

为了提高橱柜的使用便捷性，本申请提供一种智慧橱柜的控制方法、系统及存储介质。

第一方面，本申请提供一种智慧橱柜的控制方法，采用如下的技术方案：

一种智慧橱柜的控制方法，包括以下步骤：

根据所预设的启动条件以进入声音捕获模式；

处于声音捕获模式：

记录外界的声音并将声音转换成语音信息，识别语音信息中是否包含标识物信息和动作信息，若均含有，则提取出标识物信息和动作信息，所述标识物信息有多种并分别对应不同的执行器；

根据标识物信息向相应的执行器发送与动作信息对应的动作指令；

执行器根据接收到的动作指令执行相应的动作；

在预设时间内未识别出任一标识物信息或动作信息，则退出声音捕获模式。

通过采用上述技术方案，用户通过特定的语音即可使执行器自动工作以开启橱柜，使得用户无需接触到橱柜即可拿取到存储在橱柜内的物品，通过人机互动的方式提高橱柜的使用便捷性。

可选的，根据所预设的启动条件以进入声音捕获模式的方法包括：

基于预设触发条件获取实时图像，并对实时图像进行处理以获取实时手势，判断实时手势与预先记录的预设手势是否一致，若一致，则进入声音捕获模式，若不一致，则不动作。

通过采用上述技术方案，为避免在不做菜的情况下触发执行器的自动启动，对声音捕获设置启动条件，而启动条件需要用户摆出特定的手势，用户同样不需要接触到柜体，使得用户不需要过于接近橱柜即可达成预设的启动条件。

可选的，根据所预设的启动条件以进入声音捕获模式的方法还包括：

基于预设触发条件获取语音信息，识别语音信息中是否存在预设启动语音信息，若存在，则进入声音捕获模式，若不存在，则不动作。

通过采用上述技术方案，启动条件还包括特定的语音，能够在用户不方便摆出特定的手势的情况下直接用语音的方式达到启动条件，使得进入声音捕获模式。

可选的，所述识别语音信息中是否包含标识物信息和动作信息还包括：若仅识别出动作指令或标识物信息，则获取当前的实时图像，判断当前的实时图像中是否存在手势指令，若存在，则进一步判断手势指令为指向手势指令还是动作手势指令以获取标识物信息或动作信息，所述指向手势指令对应标识物信息，所述动作手势指令对应动作信息。

通过采用上述技术方案，将语音信息和手势指令结合在一起，使得获取用户的意图的方式更加多元化，橱柜获取到的用户所表达的意思更加清楚、准确。

可选的，所述标识物信息包括编号信息和存储物信息，编号信息与执行器一一对应，所述存储物信息对应存储物品，若语音信息中包含标识物信息，进一步判断标识物信息是编号信息还是存储物信息，若标识物信息为存储物信息，则判断存储物品是否具有库存，若没有库存，则发出告警但相应的执行器不动作。

通过采用上述技术方案，在开启橱柜前，先对存储物品是否有库存进行判断，一旦没有库存，则无需启动执行器以避免执行器做无用功，也能通过告警的方式提醒用户，避免用户在橱柜中寻找已经消耗完的存储物品而浪费时间。

可选的，所述判断存储物品是否具有库存的方法是：检测存储物品的重量，判断重量是否为零，若为零，则没有库存，若不为零，则仍有库存。

通过采用上述技术方案，利用重量检测来分辨存储物品的库存，检测方法简单，且检测结果精准。

可选的，所述检测存储物品的重量的方法包括：定期称量存储物品的重量，且每次检测结束后存储当前的检测结果以替换上一次的检测结果；在判断存储物品是否具有库存时，调取最新的检测结果，并根据最新的检测结果判断重量是否为零。

通过采用上述技术方案，当需要了解存储物品的库存时并不需要现场进行重量检测，而是调用最近一次的检测结果即可，使相应速度更加快速，减少用户等待。

第二方面，本申请提供一种智慧橱柜的控制系统，采用如下的技术方案：

一种智慧橱柜的控制系统，包括控制终端和多个执行器，所述控制终端用于记录外界的声音并将声音转换成语音信息，以及识别语音信息中是否包含标识物信息和动作信息，若均含有，则提取出标识物信息和动作信息，控制终端根据标识物信息向相应的执行器发送与动作信息对应的动作指令；

所述执行器用于接收相应的动作指令并响应动作指令以执行相应的动作。

第三方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

1.用户通过特定的语音即可使执行器自动工作以开启橱柜，使得用户无需接触到橱柜即可拿取到存储在橱柜内的物品，通过人机互动的方式提高橱柜的使用便捷性；

2.在语音控制的基础上加入手势控制，对橱柜的控制方式更加多样，方便用户灵活使用；

3.通过对存储物品库存的测量来进一步作为限制执行器启动的条件，避免执行器做无用功。

附图说明

图1是本申请实施例的应用场景图。

图2是本申请实施例的步骤流程框图。

图3是本申请实施例的控制终端的结构框图。

附图标记说明：1、柜体；2、执行器；3、控制终端；31、红外传感器；32、摄像头；33、录音元件；34、语音处理模块；35、图像处理模块；36、指令整合模块；37、模式切换模块。

具体实施方式

以下结合附图1-3对本申请作进一步详细说明。

本申请实施例公开一种智慧橱柜的控制方法， 应用于智慧橱柜中，参见图1，智慧橱柜包括柜体1和控制终端3，柜体1有多个，每个柜体1配置一个执行器2。控制终端3根据所预设的启动条件以进入声音捕获模式。当控制终端3处于声音捕获模式时，控制终端3记录外界的声音并将声音转换成语音信息。然后控制终端3识别语音信息中是否包含标识物信息和动作信息。若均含有，则控制终端3提取出标识物信息和动作信息。控制终端3根据标识物信息向相应的执行器2发送与动作信息对应的动作指令。执行器2接收到动作指令后执行相应的动作以控制柜体1开合。控制终端3在预设时间内未识别出任一标识物信息或动作信息，则退出声音捕获模式。

控制终端3具体可以是具有语音识别功能的智能终端，例如台式机、智能手机等等。若控制终端3为智能手机等移动式终端，则控制终端3与执行器2之间为无线通讯；若控制终端3为台式机等固定式终端，而控制终端3与执行器2之间既可以是有线通讯，还可以是无线通讯。而根据柜体1的开合方式的不同，对于执行器2的种类也具有不同的选择。当柜体1采用抽拉式开合时，执行器2可以是电缸、气缸等驱动柜体1直线运动的驱动件，当柜体1采用柜门翻转的方式开合时，执行器2则可以是电机等驱动柜门转动的驱动件。

参见图2，智慧橱柜的控制方法具体包括：

S100、根据所预设的启动条件以进入声音捕获模式。

具体的，所预设的启动条件包括预先录入到控制终端3中的预设手势和预设启动语音信息。声音捕获模式是指控制终端3中的录音元件33长时间得电的状态，另外，控制终端3中的录音元件33失电的状态称为休眠模式，控制终端3中录音元件33短时间得电的状态为临时唤醒模式。为节省电能，控制终端3一般处在休眠模式，在需要判断是否满足启动条件时，控制终端3进入临时唤醒模式，而满足启动条件后，控制终端3即进入到工作模式。

其中，控制终端3进入临时唤醒模式的方法是满足预设触发条件。预设触发条件为基于红外感应以感应到人体发出的红外线，而当控制终端3进入临时唤醒模式时，不但会临时启动录音元件33，还会启动摄像头32。红外感应由红外传感器31实现，红外传感器31、摄像头32均同录音元件33一样安装在控制终端3上。红外传感器31在检测到人体发出的红外线后向控制终端3传输红外线信号，控制终端3响应红外线信号以控制摄像头32和录音元件33短暂得电。

摄像头32工作后拍摄实时图像并将实时图像传输给控制终端3，控制终端3对实时图像进行识别以获取实时图像中的实时手势，判断实时手势与控制终端3记录的预设手势是否一致，若一致，则控制终端3进入声音捕获模式，若不一致，则控制终端3不动作，当然若图像中无法识别出实时手势，则默认为判断结果是不一致。需注意的是，当用户想要控制终端3进入工作模式，为避免摄像头32错过对用户手势的拍摄，用户在激活红外传感器31时即可摆出预设的手势再靠近红外传感器31。

短暂启动的录音元件33若录入有声音，控制终端3同样会对录入的声音进行转换以获取语音信息。控制终端3识别语音信息中是否存在预设启动语音信息，若存在，则控制终端3进入声音捕获模式，若不存在，则控制终端3不动作。

另外，为了使用户明白当前控制终端3所处的模式，可以在控制终端3的表面安装三种指示灯，三种指示灯的颜色不同且分别对应控制终端3的三种模式，根据控制终端3所处的模式，对应的指示灯亮，其余指示灯熄灭。

S200、处于声音捕获模式：记录外界的声音并将声音转换成语音信息，识别语音信息中是否包含标识物信息和动作信息，若均含有，则提取出标识物信息和动作信息。

标识物信息包括编号信息和存储物信息。每个编号信息均不相同，且编号信息实际上是柜体1的编号，同一柜体1的编号信息和执行器2也是相对应的。存储物信息是存储在柜体1内的物品名称，例如辣椒、米等等，每个柜体1只存储一种物品，同一柜体1的存储物信息与执行器2也相互对应。因此无论是存储物信息还是编号信息，均能够对应到执行器2。

用户在控制终端3内预设有若干词汇所对应的信息集合，例如这些信息代表“开启”、“ 打开”、 “给”、“给我”等词汇。而动作信息至少包括信息集合中的一个信息。用户在预先录入时添加的词汇对应的信息越多，那么在控制终端3通过语音判断出用户开启柜体1的意图就越精准。

录音元件33在录入外界声音时将声波转换成电信号以形成语音信息，控制终端3将语音信息中的连续片段依次与标识物信息、信息集合中的信息进行匹配，每次匹配过程中，若存在匹配一致的情况，则将相应的语音信息的片段提取出来。需注意的是，无论第一次匹配过程中是否匹配成功，第二次匹配均会执行。

若两次匹配均成功，则控制终端3分别提取出标识物信息和动作信息。若两次匹配均不成功，则控制终端3不动作；而若只有一次匹配成功，而另一次匹配失败，控制终端3提取出标识物信息及动作信息中的一种，此时控制终端3启动备用的方案以尽可能地补充另一种信息。

备用的方案包括：启动摄像头32以获取当前的实时图像，控制终端3识别当前的实时图像中是否存在手势指令，若存在，则控制终端3进一步判断手势指令为指向手势指令还是动作手势指令以获取标识物信息或动作信息。

手势指令同样是预先录入到控制终端3内的特定手势图像，手势指令包括指向手势指令和动作手势指令，动作手势指令与动作信息一样均是表达用户想要开启柜体1。而指向手势指令是代表用户对某一柜体1的选定，但不同于标识物信息，指向手势指令无法明确用户选定的是哪一个柜体1，还需要控制终端3结合实时图像中用户的手部朝向才能确定具体的柜体1。

S300、根据标识物信息向相应的执行器2发送与动作信息对应的动作指令，执行器2根据接收到的动作指令执行相应的动作。

控制终端3在获得标识物信息和动作信息后，控制终端3通过标识物信息确定需要动作的执行器2，再向该执行器2发送动作指令。动作指令包括开启指令，执行器2接收到开启指令时启动以使柜体1开启。

但是当某一柜体1内存储的物品消耗完毕时，用户又通过手势、语音的方式要求取出该物品时，此时开启柜体1，用户也无法得到该物品，并且还会导致执行器2多做功。为避免上述的情况出现，控制终端3发送动作指令前，会先进行物品的检测。

具体的物品检测方法包括：若语音信息中包含标识物信息，进一步判断标识物信息是编号信息还是存储物信息，若标识物信息为存储物信息，则判断存储物品是否具有库存，若没有库存，则发出告警但相应的执行器2不动作。

需注意的是，通过手势指令获取的标识物信息默认为编号信息，因此控制终端3并不会执行上述的判断过程。

而判断存储物品是否具有库存的方法是：

柜体1内设置有电子称，存储在柜体1内的物品放置在电子称上。电子称定期得电以称量存储物品的重量，并将检测结果传输给控制终端3，控制终端3每次接收到检测结果时对检测结果进行存储并覆盖上一次的检测结果。当控制终端3获取标识物信息和动作信息时，控制终端3根据标识物信息调取相应柜体1所对应的检测结果，并判断检测结果中的重量是否为零，若为零，则没有库存，若不为零，则有库存。

判断结果为有库存的情况下，控制终端3才继续向执行器2发送动作指令；否则，控制终端3发出告警但不会像执行器2发送动作指令，即相应柜体1不会开启。

柜体1开启后需要关门时，可以是由用户直接动手关闭，也可以通过设置倒计时的方式，在倒计时结束后自动控制执行器2复位，还可以设置关闭指令，通过手势和语音的方式触发。

S400、在预设时间内未识别出任一标识物信息或动作信息，则退出声音捕获模式。

预设时间由用户进行设定，一般会根据日常烹饪的时间来设定，以满足单次烹饪时与用户的配合。另外，控制终端3在退出声音捕获模式后直接进入到休眠模式。

本申请实施例还公开一种智慧橱柜的控制系统，包括控制终端3和执行器2。参见图3，控制终端3包括红外传感器31、摄像头32、录音元件33、语音处理模块34、图像处理模块35、指令整合模块36、模式切换模块37。

红外传感器31用于接收人体发出的红外线，并在接受到的红外线强度超过预设的标准值时向模式切换模块37发送启动信号。而红外线强度超过预设的标准值即表明人体的位置处在适合摄像头32拍摄的范围内。

模式切换模块37具有三种模式，即声音捕获模式、休眠模式和临时唤醒模式。当模式切换模块37一般处在休眠模式，此模式下摄像头32和录音元件33不得电。模式切换模块37接收到启动信号后，模式切换模块37进入临时唤醒模式，摄像头32和录音元件33短时间得电，该短时间一般在几秒到十几秒之间，具体由用户进行设置。模式切换模块37接收到图像处理模块35或语音处理模块34传输的切换信号时，模式切换模块37进入声音捕获模式。且模式切换模块37在预设时间之后自动切换回休眠模式。

摄像头32用于启动后拍摄实时图像并将实时图像传输给图像处理模块35。

录音元件33用于启动后将外界声波转换成语音信息，并将语音信息传输给语音处理模块34。

图像处理模块35用于在临时唤醒模式下识别图像中的实时手势，判断实时手势与控制终端3记录的预设手势是否一致，若一致，则向模式切换模块37发送切换信号。

图像处理模块35还用于在声音捕获模式下识别实时图像中是否存在手势指令，若存在，则进一步判断手势指令为指向手势指令还是动作手势指令，并根据识别出的手势指令的类别生产相应的标识物信息或动作信息以传输给指令整合模块36。

语音处理模块34用于在临时唤醒模式下识别语音信息中是否存在预设启动语音信息，若存在，则向模式切换模块37发送切换信号。

语音处理模块34还用于在声音捕获模式下将语音信息中的连续片段依次与标识物信息、信息集合中的信息进行匹配，每次匹配过程中，若存在匹配一致的情况，则将相应的语音信息的片段提取出来。并且根据匹配对象的不同，提取出的语音信息片段同样可分为标识物信息和动作信息两种，其中，语音处理模块34对提取出的标识物信息进一步处理，以判断是存储物信息还是编号信息。语音处理模块34将具体的标识物信息、动作信息发送给指令整合模块36。

指令整合模块36用于接收标识物信息和动作信息，并在接收到标识物信息中的存储物信息时，先调取预存的检测结果，判断检测结果是否为零，若为零，则发出告警，若不为零，则根据标识物信息向对应的执行器2发送与动作信息相应的动作指令。

本申请实施例还公开一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个预设的计算机程序，预设的计算机程序被处理器执行时实现上述的一种智慧橱柜的控制方法的步骤。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (9)

1.一种智慧橱柜的控制方法，其特征在于，包括以下步骤：

根据所预设的启动条件以进入声音捕获模式；

处于声音捕获模式：

记录外界的声音并将声音转换成语音信息，识别语音信息中是否包含标识物信息和动作信息，若均含有，则提取出标识物信息和动作信息，所述标识物信息有多种并分别对应不同的执行器（2）；

根据标识物信息向相应的执行器（2）发送与动作信息对应的动作指令；

执行器（2）根据接收到的动作指令执行相应的动作；

在预设时间内未识别出任一标识物信息或动作信息，则退出声音捕获模式。

2.根据权利要求1所述的一种智慧橱柜的控制方法，其特征在于：根据所预设的启动条件以进入声音捕获模式的方法包括：

基于预设触发条件获取实时图像，并对实时图像进行处理以获取实时手势，判断实时手势与预先记录的预设手势是否一致，若一致，则进入声音捕获模式，若不一致，则不动作。

3.根据权利要求2所述的一种智慧橱柜的控制方法，其特征在于：基于预设触发条件获取语音信息，识别语音信息中是否存在预设启动语音信息，若存在，则进入声音捕获模式，若不存在，则不动作。

4.根据权利要求1所述的一种智慧橱柜的控制方法，其特征在于，所述识别语音信息中是否包含标识物信息和动作信息还包括：若仅识别出动作指令或标识物信息，则获取当前的实时图像，判断当前的实时图像中是否存在手势指令，若存在，则进一步判断手势指令为指向手势指令还是动作手势指令以获取标识物信息或动作信息，所述指向手势指令对应标识物信息，所述动作手势指令对应动作信息。

5.根据权利要求4所述的一种智慧橱柜的控制方法，其特征在于：所述标识物信息包括编号信息和存储物信息，编号信息与执行器（2）一一对应，所述存储物信息对应存储物品，若语音信息中包含标识物信息，进一步判断标识物信息是编号信息还是存储物信息，若标识物信息为存储物信息，则判断存储物品是否具有库存，若没有库存，则发出告警但相应的执行器（2）不动作。

6.根据权利要求5述的一种智慧橱柜的控制方法，其特征在于：所述判断存储物品是否具有库存的方法是：检测存储物品的重量，判断重量是否为零，若为零，则没有库存，若不为零，则仍有库存。

7.根据权利要求6述的一种智慧橱柜的控制方法，其特征在于：所述检测存储物品的重量的方法包括：定期称量存储物品的重量，且每次检测结束后存储当前的检测结果以替换上一次的检测结果；在判断存储物品是否具有库存时，调取最新的检测结果，并根据最新的检测结果判断重量是否为零。

8.一种智慧橱柜的控制系统，其特征在于：包括控制终端（3）和多个执行器（2），所述控制终端（3）用于记录外界的声音并将声音转换成语音信息，以及识别语音信息中是否包含标识物信息和动作信息，若均含有，则提取出标识物信息和动作信息，控制终端（3）根据标识物信息向相应的执行器（2）发送与动作信息对应的动作指令；

所述执行器（2）用于接收相应的动作指令并响应动作指令以执行相应的动作。

9.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。

Images