CN117289803A - 一种家用厨房智能机器人及其控制方法 - Google Patents

Abstract

本发明公开了一种家用厨房智能机器人及其控制方法，属于厨房控制技术领域。包括获取实时语音或实时视频流并识别，确定控制参数，以基于控制参数控制家用厨房智能机器人；其中，获取实时视频流并识别包括：获取实时视频流，对实时视频流进行处理，获取手势关键点及其坐标信息；通过四级级联式处理算法对手势关键点及其坐标信息进行处理，获取手势识别结果；将手势识别结果与预设的动态手势含义进行比对，确定控制参数。操作简单，动态手势识别精确度高，能够满足不同人群的舒适使用需求，解决了现有技术中存在“厨房机器人应用不便，无法满足多种群体应用需求”的问题。

Description

一种家用厨房智能机器人及其控制方法

技术领域

本发明涉及厨房控制技术领域，特别是涉及一种家用厨房智能机器人及其控制方法。

背景技术

本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

随着科技的发展，越来越多的智能设备已经或将要融入到人们的生活中，使人们的生活变得更加便利和舒适，厨房也不例外，大量的智能厨房设备应运而生。

现有的智能厨房设备，一种为整体的智能厨房，是采用物联网模式的全自动化设备。虽然这种方案可以通过一个联网的手机实现对整个厨房的控制，但设备成本过高，大多数人负担不起。此外，对于老年人等特殊群体来说，太过于智能化的操作方式对他们并不友好，他们可能并不熟悉或不便使用智能手机等设备。

另一种为分散的智能家居系列，例如智能烤箱、智能冰箱等。这种方案虽然较具体的厨房电器进行了智能化改造，但同样存在成本不低的问题。此外，单个电器无法形成一个完整的智能化系统，缺乏整体性和一体化。此外，这种方案通常缺乏个性化因素，无法满足不同用户的特殊需求和偏好。

发明内容

为了解决现有技术的不足，本发明提供了一种家用厨房智能机器人、控制方法、电子设备及计算机可读存储介质，实用性强，能够适用于不同的年龄群体，手势识别准确率高。

第一方面，本发明提供了一种家用厨房智能机器人控制方法；

一种家用厨房智能机器人控制方法，包括：

获取实时语音或实时视频流并识别，确定控制参数，以基于控制参数控制家用厨房智能机器人；

其中，获取实时视频流并识别包括：

获取实时视频流，对实时视频流进行处理，获取手势关键点及其坐标信息；

通过四级级联式处理算法对手势关键点及其坐标信息进行处理，获取手势识别结果；

将手势识别结果与预设的动态手势含义进行比对，确定控制参数。

进一步的，所述通过四级级联式处理算法对手势关键点及其坐标信息进行处理包括：

根据手势关键点及其坐标信息，获取手指尖关键点的突出个数；根据突出个数，确定手指伸出数量；

根据手指伸出数量、手指关键点及其坐标信息，获取手指关键点之间的角度信息，根据角度信息，确定单个手指关节的弯曲程度；

根据单个手指关节的弯曲程度，获取不同手指之间的角度，确定初步手势识别结果；

根据手指尖关键点及其坐标信息，计算手指尖关键点间的距离之比；根据距离之比和初步手势识别结果，获取最终的手势识别结果。

进一步的，获取实时语音并识别具体为：

获取实时语音并与预设的唤醒词库进行特征比对，确定控制模式；

根据控制模式和实时语音，确定控制参数。

优选的，所述获取实时语音并与预设的唤醒词库进行特征比对，确定控制模式，包括：

若实时语音中包含预设的第一唤醒词，则生成控制参数，以建立与智能聊天机器人平台或图灵机器人平台的交互；

若实时语音中包含预设的第二唤醒词，则根据唤醒词，确定控制参数。

进一步的，通过媒体管道算法对实时视频流进行处理，获取手势关键点及其坐标信息。

进一步的，所述实时视频流由设置于二维舵机云台的摄像头采集，其中，通过手掌追踪算法对所述二维舵机云台进行控制，以实现摄像头对手掌的实时追踪。

第二方面，本发明提供了一种家用厨房智能机器人；

一种家用厨房智能机器人，包括：

数据采集模块，用于采集实时语音或实时视频流；

主控制模块，用于执行如权利要求1-6任一项所述的控制方法的步骤；

子控制模块，用于获取控制参数，根据控制参数发出控制指令控制家用厨房智能机器人；

执行模块，用于根据子控制模块发出的控制指令，执行相应的操作。

进一步的，所述子控制模块包括控制单元和智能机器人平台，所述控制单元用于根据控制参数生成控制信号以控制家用厨房智能机器人的运行状态，所述智能机器人平台用于根据控制参数生成用户需求信息。

第三方面，本发明提供了一种电子设备；

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述家用厨房智能机器人控制方法的步骤。

第四方面，本发明提供了一种计算机可读存储介质；

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述家用厨房智能机器人控制方法的步骤。

与现有技术相比，本发明的有益效果是：

1、本发明提供的技术方案，为了解决老年人、残障人士等特殊群体使用智能化设备不方便的问题，提供语音和手势双重控制的功能，使得用户可以选择最舒适的方式与设备进行交互。不论用户是青少年群体还是老年人群体，都能够轻松掌握使用技巧并快速上手，这种简便的操作方式将设备的实用性延伸到不同的用户群体之间，对物联网技术不太熟悉或对智能设备有一定使用困难的用户，都能够提供高效、智能、便捷的烹饪体验，满足不同用户的需求。

2、本发明提供的技术方案，为了满足用户的个性化需求，避免市面上菜谱千篇一律、无法个性化定制的现象，通过连接后台智能云平台，配备强大的个性化定制能力，以识别不同用户的喜好，并根据其口味、饮食习惯等因素进行优化菜谱，为用户带来独特而个性化、真正满足他们的需求的烹饪体验。

3、本发明提供的技术方案，集成多个设备和智能控制模块，形成了一个协调配合的整体，从而实现了全面智能化；与互联网相连，具备智能联网的能力，使用户可以通过对设备进行远程操作控制实现真正的智能化体验。

4、本发明提供的技术方案，选用高性能、低成本的材料和技术，降低成本。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例提供的动态手势示例图；

图2为本发明实施例提供的动态手势识别的流程示意图；

图3为本发明实施例提供的基于MediaPipe算法得到的手势关键点的示例图；

图4为本发明实施例提供的四级级联式处理算法的流程示意图；

图5为本发明实施例提供的语音识别的流程示意图；

图6为本发明实施例提供的智能云平台的结构示意图；

图7为本发明实施例提供的家用厨房智能机器人的系统架构示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

现有技术中智能厨房机器人的控制和使用方式不适用于对智能设备操作不熟悉的老年人和青少年，且现有网络上的菜谱大多数为通用的，无法实现个性化定制，满足人们的特殊需求；因此，本发明提供了一种家用厨房智能机器人控制方法，采用语音和手势双重控制，并接入智能云平台，根据用户需求进行个性化菜谱定制。

接下来，结合图1-图7对本实施例公开的一种家用厨房智能机器人控制方法进行详细说明，该家用厨房智能机器人控制方法包括如下步骤：

S1、获取实时语音或实时视频流并识别，确定控制参数，以基于控制参数控制家用厨房智能机器人。

进一步的，若用户通过动态手势对家用厨房智能机器人进行控制，则获取实时视频流并识别，确定控制参数，以基于控制参数控制家用厨房智能机器人。

具体步骤包括：

步骤1、获取实时视频流，通过手势识别算法算法对实时视频流进行处理，获取手势关键点及其坐标信息。

具体的，通过Opencv库(跨平台计算机视觉库)来获取摄像头实时视频流，利用媒体管道算法(MediaPipe算法)对实时视频流进行处理，获取手势关键点及其坐标信息。

进一步的，实时视频流由设置于二维舵机云台的摄像头采集，其中，通过手掌追踪算法对所述二维舵机云台进行控制，以实现摄像头对手掌的实时追踪。

由于家用厨房智能机器人的实时性要求较高，所以在进行动态手势的处理之前，先进行人手的追踪处理，可以大大提高系统的实时性能。

因此，本实施例中，基于MediaPipe算法得出的手势关键点，创新设计了基于MediaPipe的手掌追踪算法。将摄像头固定在二维云台上，提供两个维度上摄像头对手掌的实时追踪。根据手掌中心点坐标与屏幕中心点坐标的差值使用增量式PID算法得出二维舵机云台的控制值，从而实现摄像头对手掌的实时追踪。

示例性的，具体流程如下：

步骤一、计算当前帧中手掌关键点与屏幕中心位置坐标的误差值。

通过MediaPipe算法得出图3中关键点9的坐标，将其视为当前帧中手掌的中心点坐标，然后计算当前帧中手掌关键点与屏幕中心位置坐标的误差值，表示如下：

pid_thisError_x＝pid_x-160

pid_thisError_y＝pid_y-120

其中，160和120是窗口的中心位置点坐标的x值和y值，pid_x和pid_y是当前帧手掌的中心点坐标，pid_thisError_x和pid_thisError_y是当前帧中手掌关键点与屏幕中心位置坐标的误差值。

步骤二、计算当前帧二维云台舵机水平和垂直方向上的PWM信号调节值。

根据步骤一得出的误差值，使用增量式PID控制算法计算舵机PWM(脉冲宽度调制)信号的值。为了减少系统计算量，提高追踪速率，这里的增量式PID控制算法只运用了比例项和微分项。这里还进行了手掌中心点与屏幕中心点的误差迭代处理，根据当前误差与上一次误差的差异来调整输出的PWM信号，以便于下一次的处理。最后，为了适应本系统，将输出的范围控制在合适的范围之内，将舵机PWM(脉冲宽度调制)信号值除以100得出舵机的PWM信号调节值。具体计算过程表示：

pwm_x＝pid_thisError_x*3+1*(pid_thisError_x-pid_lastError_x)

pwm_y＝pid_thisError_y*3+1*(pid_thisError_y-pid_lastError_y)

pid_lastError_x＝pid_thisError_x

pid_lastError_y＝pid_thisError_y

pid_XP＝pwm_x/100

pid_YP＝pwm_y/100

其中，pwm_x和pwm_y是二维云台舵机在水平和垂直方向上需要达到的PWM信号值，pid_lastError_x和pid_lastError_y是上一次的手掌中心点与屏幕中心点坐标的误差值，二者的初始值为0；pid_XP和pid_YP是二维云台舵机在水平和垂直方向上的PWM信号调节值。

步骤三、计算当前帧二维云台舵机水平和垂直方向上最终PID控制输出值。

在得出二维云台舵机在水平和垂直方向上的PWM信号调节值之后，将该调节值累积到最终的PWM输出信号值上，这样保证控制信号在每个时间步骤都会被更新，使最终的输出考虑之前的控制效果。通过累积控制信号，系统进行积累调整，以逐渐将二维云台舵机移动到期望的位置。这样做可以消除长期的偏差，实现二维云台舵机的平滑追踪。具体计算过程表示如下：

pid_X_P＝pid_X_P+int(pid_XP)

pid_Y_P＝pid_Y_P+int(pid_YP)

其中，pid_X_P和pid_Y_P是当前帧二维云台舵机水平和垂直方向的最终PID控制输出值，二者的初始值是0。步骤2、通过四级级联式处理算法对手势关键点及其坐标信息进行处理，获取手势识别结果。

具体的，步骤2的具体流程如下：

步骤201、根据手势关键点及其坐标信息，获取手指尖关键点的突出个数；根据突出个数，确定手指伸出数量。

示例性的，结合图3、图4，计算手指关键点凸出来的个数(即图3中关键点4、8、12、16、20)，先初步计算有几根手指伸出，得到第一级分类结果。

例如：当手指尖处关键点突出个数为0时初步判断为手势0或7，当手指尖处关键点突出个数为1时判断为手势1或9，当手指尖处关键点突出个数为2时判断为手势2或6或8或7，当手指尖处关键点突出个数为3时判断为手势3，当手指尖处关键点突出个数为4时判断为手势4或7，当手指尖处关键点突出个数为5时判断为手势5或7。然后将得出的第一级联结果传输到第二级联中。

步骤202、根据手指伸出数量、手指关键点及其坐标信息，获取手指关键点之间的角度信息，根据角度信息，确定单个手指关节的弯曲程度。

示例性的，计算单个手指不同关键点之间的弯曲程度来判断单个手指是否弯曲，对第一级联结果进行验证，得到第二级联结果。

例如：当第一级联结果为1或9时，因此判断食指是否伸直即计算食指上关键点(即图3中关键点6、7、8)之间的角度进行区分，即可初步区分出数字手势1和9，关键点6、7、8之间的角度为0°时，为数字手势1，关键点6、7、8之间的角度为钝角时，为数字手势9；当第一级联结果为0或7时，手势7与手势0在手势面朝摄像头的时候容易混淆，便可以计算大拇指上关键点(即图3中关键点2、3、4)之间的角度进行区分，若关键点2、3、4之间的角度为0°时，为数字手势7，若关键点2、3、4之间的角度为钝角时，为数字手势0。并且对其余手指的角度分别进行计算，得出伸直的手指个数，以对第一级联结果进行验证，得出第二级联结果。

步骤203、根据单个手指关节的弯曲程度，获取不同手指之间的角度，确定初步手势识别结果。

示例性的，计算不同手指、同一关节之间的角度对第二级联结果进行验证。例如：第二级联结果得出有2根手指伸直时可通过计算图3中关键点4、8、20的角度，区分出数字手势2、6、8，计算关键点2、0、20的角度，区分出数字手势2、7；第二级联结果得出有4根手指伸直时可通过计算关键点2、0、20的角度，区分出数字手势4、7；第二级联结果得出有5根手指伸直时可通过计算关键点2、0、20的角度，区分出数字手势5、7；若第二级联结果得出有0或1或3根手指伸直时，不必计算角度，直接输出第二级联结果的值。经过此级处理之后，可初步区分0、1、2、3、4、5、6、7、8、9数字手势，得到第三级联结果。

步骤204、根据手指尖关键点及其坐标信息，计算手指尖关键点间的距离之比；根据距离之比和初步手势识别结果，获取最终的手势识别结果。

示例性的，对于识别成功率较低的手势，例如手势数字1和9，手势数字4、5和7，采取此级处理之后成功率大大增高，从而得出最终的数字手势。

示例性的，对于手势数字4或7，计算关键点4到8和关键点4到20之间的距离之比，若大于等于0.8且小于等于1.5时，为手势数字4，反之则为手势数字7；对于手势数字5或7，同样计算关键点4到8和关键点4到20之间的距离之比，若二者距离之比大于等于0.45且小于等于0.95时，为手势数字5，反之则为手势数字7；对于手势数字1或9，计算关键点0到8和关键点0到5之间的距离之比，若二者距离之比大于等于1.5时为手势数字1，若二者距离之比小于1.5时为数字手势9。基于TensorFlow和PyTorch等深度学习框架的手势识别方式需要大量的计算资源，手势识别占用太多的计算资源将会对其他功能造成影响，使得家用厨房智能机器人的处理速度降低，而且对于训练数据的需求量很大。并且当处于不同背景环境下的应用时，识别成功率都有一定的损失；另外对于动态手势的识别成功率较低，因为动态手势的模型较为复杂，复杂的模型容易过拟合，导致训练的模型应用起来表现不佳。基于Opencv的凸包点的手势识别方式识别不精准，对于动态手势的识别表现更差。

基于以上分析，本实施例最终确定了动态手势识别的方案：采用Opencv+MediaPipe的动态手势识别方案，采用Opencv库来获取摄像头实时视频流，采用MediaPipe获取手势关键点，添加手部追踪算法，创新设计了手势关键点四级级联式处理算法。经过多次测试，该方案处理速度较快，不占用大量计算资源，对于实时动态手势识别较为精准；环境光线、背景等因素对于手势关键点的识别影响较小；经过级联式处理算法之后，对于用户手势重合遮挡情况下的识别成功率大大提高。后续动态手势的识别精准度也大大提高。

步骤3、将手势识别结果与预设的动态手势含义进行比对，确定控制参数，并将控制参数传输至子控制模块，以使子控制模块根据控制参数生成控制指令，驱动执行模块执行对应操作。

其中，动态手势含义为用户自定义，包括动态手势翻页、动态手势控制外设等，如图1所示，从手势数字0到手势数字8的变化为打开垃圾桶的动态手势。

进一步的，在一些实施例中，用户通过语音对家用厨房智能机器人进行控制，则获取实时语音并识别，确定控制参数，以基于控制参数控制家用厨房智能机器人。具体步骤包括：

步骤一、获取实时语音并识别，其中，实时语音由语音接收播报模块采集并识别。

本实施例中，语音接收播报模块为SU-03T离线语音识别模组。该语音接收播报模块具有对于前端信号的处理功能，由于家用厨房智能机器人的使用场景在厨房中，所以经常会有固定频率噪音，例如油烟机、风扇等产品发出的噪音。而该语音接收播报模块具有对这些固定频率噪音的降噪方式，起到良好的噪音屏蔽作用。该语音接收播报模块还具有自学习功能，通过自学习之后对于方言、口语具有较高的识别度，使得设备语音交互更加智能化。

步骤二、将识别出的语音信息与预设的唤醒词库进行特征比对，确定控制模式；根据控制模式和实时语音，确定控制参数。

其中，唤醒词库包括唤醒词库包括开始聊天、帮我定制菜谱、控制外设、翻阅菜谱和定时等。

具体的，若语音信息中包括开始聊天，则生成控制参数，以建立与智能聊天机器人平台的交互；若语音信息中包括帮我定制菜谱，则生成控制参数，以建立与图灵机器人平台的交互。建立与智能聊天机器人平台或图灵机器人平台的交互后，用户语音说出具体的需求，连接百度语音识别接口，将语音信息转换为文字，再将文字信息发送给相应的交互平台。

其中，智能聊天机器人平台为百度UNIT智能对话平台。

示例性的，通过调用图灵机器人的API接口，可以实现与机器人进行对话交互的功能；将智能聊天机器人平台秘钥的Key和Secret部分输入到token()函数中以生成url，指定要访问的资源的位置和访问方式，以便在网络中与智能聊天机器人平台连接。

当语音信息中包含帮我定制菜谱以及具体的菜谱定制需求时，构建一个HTTPPOST请求，将用户的输入信息作为请求的参数传递给图灵机器人API，请求的URL为http://openapi.tuling123.com/openapi/api/v2。在HTTP请求中添加必要的请求头，包括API密钥和请求的Content-Type。API密钥用于身份验证，Content-Type用于指定请求的数据格式，通常为application/json。

API会根据用户的输入信息进行处理，并返回一个包含机器人的回复信息的JSON响应。解析API返回的JSON响应，提取出机器人的回复信息。通常，回复信息会包含在JSON响应的特定字段中，可以根据API文档来确定。将机器人的回复信息显示给用户，可以是在命令行界面、网页或其他应用程序中进行展示。

进一步的，将机器人的回复内容输出到一个txt文档中，通过调用pyautogui库中的screenshot＝pyautogui.screenshot()函数进行屏幕截图。同时，最后将截取的图片放在相应的文件夹中，当接受到相应的显示菜谱指令后，打开对应菜谱的图片以便于烹饪时更好的查看。

当语音信息中包括开始聊天，用户进一步提出如新闻、讲笑话、天气等信息时，将原始语音录音并保存为.wav类型的文件，通过调用Recorder()类中的stop(self)方法将录的音存入myvoices.wav文件中，然后通过HTTP POST请求将音频文件上传至百度云平台。当百度云平台接受到音频文件后，首先对音频进行预处理，包括去除噪声、归一化音频的音量、切分音频为不同的语音片段。接下来，从预处理后的音频中提取特征。在模型训练完成后，可以使用解码算法将输入的特征序列转换为最可能的文本序列。

随后将识别到的文字通过baidu_unit(text_words)函数，传输到UNIT机器人进行对话，得到token后(通过requests.post()方法用于发送一个HTTP POST请求，并返回一个Response对象)，利用json()方法将response对象中包含的JSON格式数据解析为Python对象，并将解析结果赋值给result变量。但是获取的result变量的值太过于冗余，所以需要通过result＝result['result']['responses'][0]['actions']函数获取服务器响应中'actions'字段对应的值，并将其赋值给result变量。最后将得到的回复打印出来。同时，在百度云平台上在机器人上添加相应的技能使得聊天机器人具备相应的功能。

进一步的，在一些实施例中，调用百度云平台的语音合成API，对机器人回复的信息进行播报。

进一步的，在一些实施例中，若语音信息为控制外设，如打开垃圾桶，则根据语音确定控制参数，并将控制参数传输至子控制模块，以使子控制模块根据控制参数生成控制指令，驱动执行模块执行对应操作。

实施例二

结合图7，本实施例公开了一种家用厨房智能机器人，包括数据采集模块、主控制模块、子控制模块和执行模块，数据采集模块用于采集实时语音或实时视频流，主控制模块用于执行如实施例一所述的控制方法的步骤；子控制模块用于获取控制参数，根据控制参数发出控制指令控制家用厨房智能机器人；执行模块用于根据子控制模块发出的控制指令，执行相应的操作。

进一步的，子控制模块包括控制单元和智能机器人平台，控制单元用于根据控制参数生成控制信号以控制家用厨房智能机器人的运行状态，智能机器人平台用于根据控制参数生成用户需求信息。数据采集模块包括语音接收播报模块和摄像头，语音接收播报模块用于采集语音，摄影头用于采集视频。

本实施例中，控制单元为树莓派4B板，子控制模块为STM32控制板，执行模块包括如智能垃圾桶、智能碗柜等；智能机器人平台为智能聊天机器人平台或图灵机器人平台。

进一步的，在一些实施例中，设置有气体监测模块和蜂鸣器，气体监测模块与子控制模块通信连接，子控制模块与蜂鸣器通信连接。对天然气、一氧化碳等厨房易泄漏气体进行实时监测，如果气体含量超标，蜂鸣器将会报警提醒。

本实施例中，气体监测模块为MQ-4模块和MQ-7模块。

实施例三

本发明实施例三提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，计算机指令被处理器运行时，完成上述家用厨房智能机器人控制方法的步骤。

实施例四

本发明实施例四提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述家用厨房智能机器人控制方法的步骤。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种家用厨房智能机器人控制方法，其特征在于，包括：

获取实时语音或实时视频流并识别，确定控制参数，以基于控制参数控制家用厨房智能机器人；

其中，获取实时视频流并识别包括：

获取实时视频流，对实时视频流进行处理，获取手势关键点及其坐标信息；

通过四级级联式处理算法对手势关键点及其坐标信息进行处理，获取手势识别结果；

将手势识别结果与预设的动态手势含义进行比对，确定控制参数。

2.如权利要求1所述的家用厨房智能机器人控制方法，其特征在于，所述通过四级级联式处理算法对手势关键点及其坐标信息进行处理包括：

根据手势关键点及其坐标信息，获取手指尖关键点的突出个数；根据突出个数，确定手指伸出数量；

根据手指伸出数量、手指关键点及其坐标信息，获取手指关键点之间的角度信息，根据角度信息，确定单个手指关节的弯曲程度；

根据单个手指关节的弯曲程度，获取不同手指之间的角度，确定初步手势识别结果；

根据手指尖关键点及其坐标信息，计算手指尖关键点间的距离之比；根据距离之比和初步手势识别结果，获取最终的手势识别结果。

3.如权利要求1所述的家用厨房智能机器人控制方法，其特征在于，获取实时语音并识别具体为：

获取实时语音并与预设的唤醒词库进行特征比对，确定控制模式；

根据控制模式和实时语音，确定控制参数。

4.如权利要求3所述的家用厨房智能机器人控制方法，其特征在于，所述获取实时语音并与预设的唤醒词库进行特征比对，确定控制模式，包括：

若实时语音中包含预设的第一唤醒词，则生成控制参数，以建立与智能聊天机器人平台或图灵机器人平台的交互；

若实时语音中包含预设的第二唤醒词，则根据唤醒词，确定控制参数。

5.如权利要求1所述的家用厨房智能机器人控制方法，其特征在于，通过媒体管道算法对实时视频流进行处理，获取手势关键点及其坐标信息。

6.如权利要求1所述的家用厨房智能机器人控制方法，其特征在于，所述实时视频流由设置于二维舵机云台的摄像头采集，其中，通过手掌追踪算法对所述二维舵机云台进行控制，以实现摄像头对手掌的实时追踪。

7.一种家用厨房智能机器人，其特征在于，包括：

数据采集模块，用于采集实时语音或实时视频流；

主控制模块，用于执行如权利要求1-6任一项所述的家用厨房智能机器人控制方法的步骤；

子控制模块，用于获取控制参数，根据控制参数发出控制指令控制家用厨房智能机器人；

执行模块，用于根据子控制模块发出的控制指令，执行相应的操作。

8.如权利要求7所述的家用厨房智能机器人，其特征在于，所述子控制模块包括控制单元和智能机器人平台，所述控制单元用于根据控制参数生成控制信号以控制家用厨房智能机器人的运行状态，所述智能机器人平台用于根据控制参数生成用户需求信息。

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。