CN108527388A - 一种基于行为分析的厨房智能机器人及其操作方法 - Google Patents

Abstract

本发明一种基于行为分析的厨房智能机器人及其操作方法，机器人包括语音采集器、视频采集器、中央处理器和语音播放器，所述中央处理器包括信息接收模块、语义解析模块、视频分析模块、语音合成模块和信息发送模块，操作方法为：操作者利用语音采集器、语义解析模块和语音播放器与机器人进行互动，同时通过视频采集器采集制作视频，通过视频分析模块分析制作步骤是否正确以及是否完成，完成后提示一下步骤操作流程。制作者在制作菜肴时，使用该厨房智能机器人，能够指导制作者逐步完成菜肴制作，而且能够与制作者进行互动，使得制作者制作出来的食物口感和外相较好。

Description

一种基于行为分析的厨房智能机器人及其操作方法

技术领域

本发明涉及一种机器人，尤其涉及一种厨房智能机器人及其操作方法。

背景技术

目前，人们在自己制作菜肴时，如果是自己精通的菜肴，可以自己独立完成，如果需要制作一些较高难度或者自己不擅长的菜肴时，人们往往都会参考菜谱来制作，参考菜谱来制作菜肴对于有一定厨艺的人来说，还易于掌握，但是针对毫无厨艺的人来说，基本上就不会制作。

传统的菜谱指导方案为单方向信息传递式的，在实际进行菜谱加工时，有一定指导意义，但是尚无法做到完全解放操作者的双手，也就无法满足便捷易用的诉求，制作者一边参考菜谱，一边制作，对于制作者来说是疲于应付，制作出来的食物口感和外相往往较差。菜谱最为常见的菜谱指导也是文字指导，或者菜谱加工过程的视频指导，主要为单方向信息传递模式，并没有与制作者进行互动，导致制作出来的食物口感和外相较差。

发明内容

为了解决现有通过菜谱制作菜肴存在的上述问题，本发明提供了一种基于行为分析的厨房智能机器人，制作者在制作菜肴时，使用该厨房智能机器人，能够指导制作者逐步完成菜肴制作，而且能够与制作者进行互动，使得制作者制作出来的食物口感和外相较好。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于行为分析的厨房智能机器人，其特征在于：包括语音采集器、视频采集器、中央处理器和语音播放器，所述中央处理器包括信息接收模块、语义解析模块、视频分析模块、语音合成模块和信息发送模块，

所述语音采集器用于采集菜肴制作者制作菜肴时发出的语音，并将采集到的语音发送给中央处理器，

所述视频采集器用于采集菜肴制作者制作菜肴时的视频，并将采集到的视频发送给中央处理器，

所述信息接收模块用于接收语音采集器发送过来的语音以及视频采集器发送过来的视频，并将接收到的语音和视频分别发送给语义解析模块和视频分析模块，

所述语义解析模块用于对接收到的语音进行解析，分析出制作者的诉求，同时根据分析出来的诉求为制作者找到相应答案，并将响应答案发送给语音合成模块，

所述视频分析模块用于将接收到视频与事先存入的菜谱操作视频进行比对，判断出接收到的视频是哪一个操作步骤的操作场景，然后再判断该操作场景是否完成，如果完成，则将要进行的下一步操作流程指导发送给语音合成模块，

所述语音合成模块根据语义解析模块发送过来响应答案和视频分析模块发送过来的下一步操作流程指导，生成对应的语音，并将生成的语音发送给信息发送模块，

所述信息发送模块将接收到的语音发送给语音播放器进行播放。

所述视频分析模块是依赖于预置的图像卷积网络模型来进行判断的，该图像卷积网络模型的生成，需要采集不同食谱操作流程的视频图像，结合卷积神经网络算法，找出各视频图像、各个操作步骤具有共性高维特征，图像卷积网络模型在判断时，根据获取到的视频图像，通过对视频图像进行卷积操作，找出视频图像的共性高维特征，然后依据图像卷积网络模型中的共性高维特征，通过分类层进行回归分类，从而判断出接收到的视频是哪一个操作步骤的操作场景，以及该场景是否完成。

所述视频分析模块还用于对最终加工完成的食品进行评分。

所述中央处理器还包括社交模块，该社交模块用于制作者直播操作视频和网络分享。

所述中央处理器还连接有触摸屏。

本发明还提供了上述厨房智能机器人的操作方法：

步骤1，制作者通过触摸屏输入或者通过语音采集器语音输入要制作的菜品名称，触摸屏或者语音采集器将菜品名称发送给中央处理器，

步骤2，中央处理器在查询到对应的菜谱后，向语音播放器发送语音，指导制作者开始制作，

步骤3，视频采集器将制作者的制作过程视频采集后发送到中央处理器，中央处理器判断出视频是哪一个操作步骤的操作场景，然后判断操作场景是否完成，如果完成，中央处理器将要进行的下一步操作流程指导发送给语音播放器进行播放，提示制作者进行操作并讲解操作要领，直到菜品制作完成。

在步骤3中，如果制作者有问题，通过语音采集器将问题发送到中央处理器，中央处理器找到相应的处理办法后，通过语音播放器播放。

与现有技术相比，本发明具有以下有益效果：

本发明通过视频采集器捕捉操作者视频图像进行操作场景识别，通过语音采集器、语义分析模块和语音播放模块实现语音交互，来进行双方的互动交流。从而彻底的解放操作者的双手。根据视频识别出来的操作场景，判断出是哪一个操作步骤，然后通过智能语音，来进行不同阶段语音操作指导，彻底解放了制作者的双手，满足了制作者便捷易用的诉求。

附图说明

图1为本发明功能模块结构示意图。

具体实施方式

一种基于行为分析的厨房智能机器人，其特征在于：包括语音采集器、视频采集器、中央处理器和语音播放器，所述中央处理器包括信息接收模块、语义解析模块、视频分析模块、语音合成模块和信息发送模块，

所述语音采集器用于采集菜肴制作者制作菜肴时发出的语音，并将采集到的语音发送给中央处理器，

所述视频采集器用于采集菜肴制作者制作菜肴时的视频，并将采集到的视频发送给中央处理器，

所述信息接收模块用于接收语音采集器发送过来的语音以及视频采集器发送过来的视频，并将接收到的语音和视频分别发送给语义解析模块和视频分析模块，

所述语义解析模块用于对接收到的语音进行解析，分析出制作者的诉求，同时根据分析出来的诉求为制作者找到相应答案，并将响应答案发送给语音合成模块，

所述视频分析模块用于将接收到视频与事先存入的菜谱操作视频进行比对，判断出接收到的视频是哪一个操作步骤的操作场景，然后再判断该操作场景是否完成，如果完成，则将要进行的下一步操作流程指导发送给语音合成模块，

所述语音合成模块根据语义解析模块发送过来响应答案和视频分析模块发送过来的下一步操作流程指导，生成对应的语音，并将生成的语音发送给信息发送模块，

所述信息发送模块将接收到的语音发送给语音播放器进行播放。

所述视频分析模块是依赖于预置的图像卷积网络模型来进行判断的，该图像卷积网络模型的生成，需要采集不同食谱操作流程的视频图像，结合卷积神经网络算法，找出各视频图像、各个操作步骤具有共性高维特征，图像卷积网络模型在判断时，根据获取到的视频图像，通过对视频图像进行卷积操作，找出视频图像的共性高维特征，然后依据图像卷积网络模型中的共性高维特征，通过分类层进行回归分类，从而判断出接收到的视频是哪一个操作步骤的操作场景，以及该场景是否完成。

所述视频分析模块还用于对最终加工完成的食品进行评分。

所述中央处理器还包括社交模块，该社交模块用于制作者直播操作视频和网络分享。

所述中央处理器还连接有触摸屏。

下面结合实施例对本发明作进一步的描述，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动前提下所获得的其他所用实施例，都属于本发明的保护范围。

实施例1

以酸辣土豆丝为例，传统菜谱的做法为：

食材：土豆300克、青椒1/2个、红椒1/2个、剁椒10克、姜10g、蒜10g、葱10g、盐5g、鸡粉3g、白醋15g、香油5g、味精3g。

做法：1、先将土豆去皮洗净，切丝，将切好的土豆丝泡凉水里，防止土豆变黑；

2、青红椒洗净去蒂去筋膜，切丝备用；

3、锅内加清水,水烧开放2克盐，放入切好的土豆丝，焯水捞出备用；

4、葱姜蒜洗净，蒜切沫，葱姜切片，剁椒切成沫备用；

5、锅内下20克色拉油，大火将油烧至7成热，下葱姜蒜各10克，剁椒沫10克，煸炒出香味；将青红椒丝放入，炒半分钟。

6、下焯好的土豆丝，大火爆炒；再放盐3克，味精3克，白醋15克，鸡粉3克，继续大火翻炒1-2分钟；

7、出锅前淋5克香油，翻炒均匀即可关火。

制作者制作酸辣土豆丝的传统方式是先熟悉酸辣土豆丝的做法，然后按照菜谱提供的步骤制作，在制作的过程中，可能会遗忘某一步骤，或者某一操作要领，这时候又需要重新翻看菜谱，对于制作者来说，既要翻看菜谱又要操作，十分的麻烦，在整个制作过程中也是疲于应付，由于制作者不方便操作，会导致各个步骤的操作时间，火候把握，调料用量都可能出现偏差，较差，不是炒糊，就是没炒熟，亦或是少放盐或者这多放盐，或者多放、少放其他调料，导致制作出来的食物口感和外相往往，直接影响了制作者的制作热情，并没有达到制作者想达到的效果。

实施例2

本实施例采用本发明提供的厨房智能机器人来制作以酸辣土豆丝，酸辣土豆丝的菜谱机器操作视频事先已经录入到厨房智能机器人中。

步骤1，制作者说出要制作的菜肴的名称，本实施例为“酸辣土豆丝”；

步骤2，语音采集器将“酸辣土豆丝”的语音采集后发送到中央处理器，中央处理器的信息接收模块在接收到语音后发送给语义解析模块，语义解析模块对接收到的语音进行解析，分析出制作者的诉求为制作“酸辣土豆丝”，同时根据分析出来的诉求为制作者找到相应制作“酸辣土豆丝”的菜谱和操作视频，并将“酸辣土豆丝”的制作步骤发送给语音合成模块，语音合成模块合成提示语音后发送给信息发送模块，信息发送模块将语音发送给语音播放器进行播放，提示制作者进行“酸辣土豆丝”的第一个步骤操作“先将土豆去皮洗净，切丝，将切好的土豆丝泡凉水里，防止土豆变黑”；

步骤3，制作者在操作时，视频采集器将制作者的操作视频实时采集后传输给中央处理器，中央处理器的信息接收模块在接收到视频后发送给视频分析模块，视频分析模块对视频进行分析，分析出其操作是否正确，以及是否完成该步骤的操作，如果操作完成进入下一步骤，如果操作不正确，将不正确的操作提示发送给语音合成模块合成提示音后发送给信息发送模块，信息发送模块接收后发送给语音播放器进行播放，提示制作者操作不正确的地方，以便制作者进行纠正；具体的分析是通过预置的图像卷积网络模型来进行分析判断的，该图像卷积网络模型具体的分析判断过程为：首先需要采集“酸辣土豆丝”食谱操作流程的视频图像，然后结合卷积神经网络算法，找出该视频图像的各个操作步骤具有的共性高维特征；然后图像卷积网络模型根据获取到的视频图像，通过对视频图像进行卷积操作，找出视频图像的各个共性高维特征，然后依据图像卷积网络模型中的共性高维特征，通过分类层进行回归分类，分析判断出制作者操作流程的视频图像是否和事先存入的“酸辣土豆丝”食谱操作流程的视频图像是否一致，来判断制作者操作流程是否正确，以及是否完成该步骤的操作；

步骤4，视频分析模块将要进行的下一步操作流程指导发送给语音合成模块，语音合成模块合成语音后发送给信息发送模块，信息发送模块发送给语音播放器进行播放，提示制作者下一步的操作流程、操作要领等，直到最后完成制作为止。

制作者在制作的过程中，如果有关于制作“酸辣土豆丝”方面的疑问，都可以直接语音提出，然后语音采集模块采集到语音后发送给中央处理器，中央处理器的信息接收模块接收后发送给语义解析模块，语义解析模块进行解析后，找到相应的答案并发送给语音合成模块，语音合成模块将合成的语音发送给语音播放模块进行播放，回答制作者的疑问，这样就做到了制作者与机器人的语音互动。

制作者在制作酸辣土豆丝时，完全不用事先熟悉菜谱，只需按照其操作步骤提示即可完成制作，也不需要去翻看菜谱，不会出现手忙脚乱的现象，而且严格按照提示步骤制作，与规范化的操作视频一致，制作出来的菜品的外相和口感不会出现大的偏差，外相和口感都较好。而且还可以与机器人互动，解答制作者的疑问，这样有利于制作者总结经验，以便下一次制作更好的菜品。通过本发明提供的厨房机器人对初学者来说也能制作出外相和口感好的食物，在制作时也更加的简单方便，不会疲于应付，提高了制作者的制作积极性。

本发明视频分析模块还用于对最终加工完成的食品进行评分。提高制作者制作兴趣。

本发明中央处理器还包括社交模块，该社交模块用于制作者直播操作视频和网络分享。通过社交模块制作者可以分享自己的制作过程和制作心得，互动性更强，易于推广应用。

本发明中央处理器还连接有触摸屏。通过触摸屏制作者可以手动输入要制作的菜品以及制作心得等，而且联网后还可以播放视频、上网等操作，趣味性更强。

Claims (7)

1.一种基于行为分析的厨房智能机器人，其特征在于：包括语音采集器、视频采集器、中央处理器和语音播放器，所述中央处理器包括信息接收模块、语义解析模块、视频分析模块、语音合成模块和信息发送模块，

所述语音采集器用于采集菜肴制作者制作菜肴时发出的语音，并将采集到的语音发送给中央处理器，

所述视频采集器用于采集菜肴制作者制作菜肴时的视频，并将采集到的视频发送给中央处理器，

所述信息接收模块用于接收语音采集器发送过来的语音以及视频采集器发送过来的视频，并将接收到的语音和视频分别发送给语义解析模块和视频分析模块，

所述语义解析模块用于对接收到的语音进行解析，分析出制作者的诉求，同时根据分析出来的诉求为制作者找到相应答案，并将响应答案发送给语音合成模块，

所述视频分析模块用于将接收到视频与事先存入的菜谱操作视频进行比对，判断出接收到的视频是哪一个操作步骤的操作场景，然后再判断该操作场景是否完成，如果完成，则将要进行的下一步操作流程指导发送给语音合成模块，

所述语音合成模块根据语义解析模块发送过来响应答案和视频分析模块发送过来的下一步操作流程指导，生成对应的语音，并将生成的语音发送给信息发送模块，

所述信息发送模块将接收到的语音发送给语音播放器进行播放。

2.根据权利要求1所述的一种基于行为分析的厨房智能机器人，其特征在于：所述视频分析模块是依赖于预置的图像卷积网络模型来进行判断的，该图像卷积网络模型的生成，需要采集不同食谱操作流程的视频图像，结合卷积神经网络算法，找出各视频图像、各个操作步骤具有共性高维特征，图像卷积网络模型在判断时，根据获取到的视频图像，通过对视频图像进行卷积操作，找出视频图像的共性高维特征，然后依据图像卷积网络模型中的共性高维特征，通过分类层进行回归分类，从而判断出接收到的视频是哪一个操作步骤的操作场景，以及该场景是否完成。

3.根据权利要求1所述的一种基于行为分析的厨房智能机器人，其特征在于：所述视频分析模块还用于对最终加工完成的食品进行评分。

4.根据权利要求1所述的一种基于行为分析的厨房智能机器人，其特征在于：所述中央处理器还包括社交模块，该社交模块用于制作者直播操作视频和网络分享。

5.根据权利要求1所述的一种基于行为分析的厨房智能机器人，其特征在于：所述中央处理器还连接有触摸屏。

6.一种如权利要求1所述的基于行为分析的厨房智能机器人的操作方法，其特征在于包括如下步骤：

步骤1，制作者通过触摸屏输入或者通过语音采集器语音输入要制作的菜品名称后，菜品名称发送给中央处理器处理，

步骤2，中央处理器在查询到对应的菜谱后，向语音播放器发送语音，指导制作者开始制作，

步骤3，视频采集器将制作者的制作过程视频采集后发送到中央处理器，中央处理器判断出视频是哪一个操作步骤的操作场景，然后判断操作场景是否完成，如果完成，中央处理器将要进行的下一步操作流程指导发送给语音播放器进行播放，提示制作者进行操作并讲解操作要领，直到菜品制作完成。

7.根据权利要求6所述的基于行为分析的厨房智能机器人的操作方法，其特征在于：在步骤3中，如果制作者有问题，通过语音采集器将问题发送到中央处理器，中央处理器找到相应的处理办法后，通过语音播放器播放。