CN106774876B - 基于ar增强现实技术和菜谱生成的烹饪辅助系统 - Google Patents

Abstract

本发明公开了一种基于AR增强现实技术和带有菜单生成功能的烹饪辅助系统，包括：视频获取单元，获取烹饪工作区域的图像；视频识别单元，识别图像中所述的工作区域中的炊具、灶具、调料容器和原材料容器；第一存储单元，存储有包括烹饪原料、佐料、调料、炊具、烹饪顺序以及烹饪技法的食谱；第二存储单元，存储指示动画；以及处理单元和显示单元；烹饪开始前，使用者通过所述的视频获取单元获取当前烹饪工作区域的图像；视频识别单元识别图像中的炊具、厨具和灶具的类型和位置；识别定位并存储盛装原料、佐料和调料的不同容器。采用的技术成熟可靠，具有极佳的可移植性，除了可以作为单独的系统外，也可做成专业的软件或者APP在不同的智能硬件中安装使用。

Description

基于AR增强现实技术和菜谱生成的烹饪辅助系统

技术领域

本发明涉及一种基于增强现实技术的烹饪辅助系统，用于替代传统的纸质或者电子版食谱。

背景技术

初涉厨房的人士一般在前几次学习烹饪的过程中，都有比较惨痛的经历，尽管有菜谱引导，但是由于对调料、烹饪器具的十分陌生，比如糖、盐、淀粉等，对于涉厨不深的人来说、区分起来还是比较困难的；对于陈醋、酱油、料酒等的别说初学人士，对于资深人士，也需要闻过之后才能确认。

在一片慌乱的情况下，尤其是在烧开的油锅的压迫下，新手特别容易手忙脚乱，忙中出错，导致放错菜，调料多放、少放或者忘放、控制不住火候的情况此起彼伏的发生，导致做出的菜惨不忍睹、口味更是让人呕吐。

极容易打击出入厨房人士的信心，导致其产生心理阴影，终其一生都不在下厨，甚至导致家庭矛盾、影响家庭和睦不说，也容易动摇社会稳定的根基。

随着图像识别技术和增强现实技术的发展，在AR眼镜视野范围内，对特定的物体进行定位和在帧序列图像中的追踪定位早已是十分成熟的技术。同时，无论是光学透视式的头盔/头戴显示器Head-mounted displays，HMD，也已经广泛应用于虚拟现实系统中，可以在用户真实可见视野下，通过互联大数据通信等大数据加持，为用户呈现更多的精彩纷呈的信息，为解决现实中很多难题都打下了坚实的基础。

发明内容

本发明针对以上问题的提出，而研制的一种基于AR增强现实技术和带有菜单生成功能的烹饪辅助系统，包括：

视频获取单元，获取烹饪工作区域的图像；

视频识别单元，识别图像中所述的工作区域中的炊具、灶具、调料容器和原材料容器；

第一存储单元，存储有包括烹饪原料、佐料、调料、炊具、烹饪顺序以及烹饪技法的食谱；

第二存储单元，存储指示动画；以及处理单元、显示单元和无线通信单元；

烹饪开始前，使用者通过所述的视频获取单元获取当前烹饪工作区域的图像；视频识别单元识别图像中的炊具、厨具和灶具的类型和位置；识别定位并存储盛装原料、佐料和调料的不同容器；

烹饪过程中，所述的处理单元调取存储单元中的食谱，解析食谱中所述的烹饪顺序，解析当前烹饪顺序中涉及到的调料、佐料和原料；按当前烹饪顺序，在所述的显示单元的视野区域中的特定的调料、佐料或原料的容器、炊具、厨具和灶具的对应区域或者周边区域显示所述的指示动画；

持续给出食谱中记载的全部烹饪顺序对应的容器的指示动画，完成当前菜品的烹饪辅助引导；

所述的无线通信单元与远程服务器连接，下载网络食谱，由所述的处理单元解析后存储在所述的第一存储单元。

在烹饪过程中，所述的处理单元通过所述的视频获取单元采集当前时刻的菜品颜色，与存储的对应菜品的颜色进行比对，判定菜品是否处于正常烹饪状态；若超过合适的烹饪状态，则调取所述的第二存储单元中存储的指示动画，在锅具区域进行显示。

还包括菜单生成单元，当不给出烹饪建议时，由所述的视频单元采集烹饪过程中烹饪者动作，根据动作时长生成时间轴进而生成菜单，通过无线通信单元传输至远程服务器，由系统的注册用户下载。

作为优选的实施方式，还具有定义单元；所述的视频识别单元识别并定位出所述的容器后，使用者使用该定义单元为每一个容器设定盛装物品。

更进一步的，还在于定义单元调取动态感知单元，获取使用者的在定义过程中的头部姿态，根据头部姿态和所述处理单元给出的定义选项，完成盛装物品的容器的定义。

作为优选的实施方式，所述的处理单元调取食谱中的烹饪时间，建立烹饪顺序的时间轴；当到达时间节点时，给出时间节点对应的烹饪顺序操作指示。

作为优选的实施方式，所述的食谱中还存储有不同烹饪时长和烹饪条件下、对应菜品的颜色；

在烹饪过程中，所述的处理单元通过所述的视频获取单元采集当前时刻的菜品颜色，与存储的对应菜品的颜色进行比对，判定菜品是否处于正常烹饪状态；若超过合适的烹饪状态，则调取所述的第二存储单元中存储的指示动画，在锅具区域进行显示。

由于采用了上述技术方案，本发明公开的一种基于AR增强现实技术和带有菜单生成功能的烹饪辅助系统，基于数字化食谱和成熟的图像识别技术，能够在烹饪过程中给出实时的烹饪建议，通过时下流行的增强现实技术显示在AR眼镜上，能够使初入厨房的人士也能从容的完成复杂的烹饪过程，采用的技术成熟可靠，具有极佳的可移植性，除了可以作为单独的系统外，也可做成专业的软件或者APP在不同的智能硬件中安装使用。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的系统模块图

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示：一种基于AR增强现实技术和带有菜单生成功能的烹饪辅助系统，主要包括：视频获取单元，获取烹饪工作区域的图像，考虑到方便时使用者在烹饪过程不会受到实体的视频获取单元的影响，即做到无感，作为优选的实施方式，所述的视频获取单元采用AR增强眼镜的摄像头。但是使用手机等智能终端的摄像头也可，但是不建议烹饪操作者本人使用，建议协助者持握手机等智能终端使用。

视频识别单元，识别图像中所述的工作区域中的炊具、灶具、调料容器和原材料容器。由于炊具、灶具等具有较为独特的外形特征，采用通常的视频视频算法，比如成熟的二值化和边缘识别算法即可识别，在存储单元当中存储不同炊具、灶具的形态，与实时获得的图像进行比对即可，并非是本发明的重点。

第一存储单元，存储有包括烹饪菜品时采用的原料、佐料、调料、炊具、烹饪顺序以及烹饪技法的食谱。与纸质菜谱类似，比如原料、佐料和调料加入的时间、加入量等信息。炊具的更换，比如红烧类的菜品，可能涉及油炸锅、炒锅，同时还能存在蒸锅或者汤锅的运行步骤等，均进行存储。

第二存储单元，专门存储指示动画，比如当需要翻炒时，在对应的锅得上方给出不断闪动和或跳动的锅铲动画，同时也可配合必要的语音提示，给予当前的烹饪者的多感官指导。

烹饪开始前，使用者通过所述的视频获取单元获取当前烹饪工作区域的图像；视频识别单元识别图像中的炊具、厨具和灶具的类型和位置；识别定位并存储盛装原料、佐料和调料的不同容器。

还包括菜单生成单元，当不给出烹饪建议时，可以由所述的视频单元采集烹饪过程中烹饪者动作，比如所述的向锅具内倒入原料、调料、佐料的动作(通过识别定义容器、识别烹饪者双臂状态、识别厨具和灶具的开启动作等，仍然需要前述的定义步骤，由定义步骤给出调料的用量)，同时设置时间轴，以识别的动作作为时间点，最终生成菜单。

为了方便算法实现，可以比较难识别的调料、佐料容器，可以在容器上设置专门的识别特征，比如不同形状的标志物图形或者较为明显的数字标志，比如白底黑字的数字等，都可以减少图形识别的运算量和难度。

烹饪过程中，所述的处理单元调取存储单元中的食谱，解析食谱中所述的烹饪顺序，解析当前烹饪顺序中涉及到的调料、佐料和原料；按当前烹饪顺序，在所述的显示单元的视野区域中的特定的调料、佐料或原料的容器、炊具、厨具和灶具的对应区域或者周边区域显示所述的指示动画；

持续给出食谱中记载的全部烹饪顺序对应的容器的指示动画，完成当前菜品的烹饪辅助引导。

相应的，为了扩展设备的可操作性，不断丰富系统中存储的菜谱，作为优选的实施方式，还设有无线通信单元，与远程的系统服务器沟通，下载菜谱。当系统基于AR眼镜时，可利用眼镜的3G/4G无线通信单元和wifi通信模块，进行远程通信下载和存储。

所述的存储单元可以采用内部集成存储介质或者扩展存储介质等。

更进一步的，考虑到调料或者佐料容器数量较多，而且比较难以通过图形识别算法识别出来，而基于标志物可能影响餐具容器的美观，故作为优选的实施方式，还在于具有定义单元；

所述的视频识别单元识别并定位出所述的容器后，使用者使用该定义单元为每一个容器设定盛装物品。

作为优选的实施方式，所述的定义单元调取动态感知单元，获取使用者的在定义过程中的头部姿态，根据头部姿态和所述处理单元给出的定义选项，完成盛装物品的容器的定义。

更进一步的，所述的处理单元调取食谱中的烹饪时间，建立烹饪顺序的时间轴；当到达时间节点时，给出时间节点对应的烹饪顺序操作指示，在烹饪过程中，可通过视频、音频等识别烹饪开始的时间，比如通过音频识别在炒锅热油状态下菜会有明显的声音；煤气灶在点火时也会产生明显的“噗”声，通过采集这些较为明显的声音，可以作为时间轴开始的标志。

同样的，在烹饪过程中必不可少的加入原材料的过程，需要烹饪者将原材料移植锅具上方倒入锅中，通过在人眼附近的摄像头，可以采集到双臂、盛放容器和手等明显特征，可默认倒入的是正确菜品(之前有明显标志物指示)，单纯识别作为加入特定原材料的时间点，作为后续时间轴运行的标记。

更进一步的，所述的食谱中还存储有不同烹饪时长和烹饪条件下、对应菜品的颜色；在烹饪过程中，所述的处理单元通过所述的视频获取单元采集当前时刻的菜品颜色，与存储的对应菜品的颜色进行比对，判定菜品是否处于正常烹饪状态；若超过合适的烹饪状态，则调取所述的第二存储单元中存储的指示动画，在锅具区域进行显示。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于AR增强现实技术和带有菜谱生成功能的烹饪辅助系统，其特征在于包括：

视频获取单元，获取烹饪工作区域的图像；

视频识别单元，识别图像中所述的工作区域中的炊具、灶具、调料容器和原材料容器；

第一存储单元，存储有包括烹饪原料、佐料、调料、炊具、烹饪顺序以及烹饪技法的食谱；

第二存储单元，存储指示动画；以及处理单元、显示单元、无线通信单元和视频记录单元；

烹饪开始前，使用者通过所述的视频获取单元获取当前烹饪工作区域的图像；视频识别单元识别图像中的炊具、厨具和灶具的类型和位置；识别定位并存储盛装原料、佐料和调料的不同容器；

烹饪过程中，所述的处理单元调取存储单元中的食谱，解析食谱中所述的烹饪顺序，解析当前烹饪顺序中涉及到的调料、佐料和原料；按当前烹饪顺序，在所述的显示单元的视野区域中的特定的调料、佐料或原料的容器、炊具、厨具和灶具的对应区域或者周边区域显示所述的指示动画；

持续给出食谱中记载的全部烹饪顺序对应的容器的指示动画，完成当前菜品的烹饪辅助引导；

所述的无线通信单元与远程服务器连接，下载网络食谱，由所述的处理单元解析后存储在所述的第一存储单元；

所述的食谱中还存储有不同烹饪时长和烹饪条件下、对应菜品的颜色和标准背景光亮度；

在烹饪过程中，所述的处理单元通过所述的视频获取单元采集当前时刻的菜品颜色，根据当前采集的背景光和标准背景光亮度，调节采集的菜品的颜色，与存储的对应菜品的颜色进行比对，判定菜品是否处于正常烹饪状态；若超过合适的烹饪状态，则调取所述的第二存储单元中存储的指示动画，在锅具区域进行显示；

还包括菜谱菜谱生成单元，由所述的视频获取单元采集烹饪过程中烹饪者动作，根据动作时长生成时间轴进而生成菜谱菜谱，通过无线通信单元传输至远程服务器，由系统的注册用户下载。

2.根据权利要求1所述的基于AR增强现实技术和带有菜谱生成功能的烹饪辅助系统，其特征还在于定义单元；

所述的视频识别单元识别并定位出所述的容器后，使用者使用该定义单元为每一个容器设定盛装物品。

3.根据权利要求2所述的基于AR增强现实技术和带有菜谱生成功能的烹饪辅助系统，其特征还在于定义单元调取动态感知单元，获取使用者的在定义过程中的头部姿态，根据头部姿态和所述处理单元给出的定义选项，完成盛装物品的容器的定义。

4.根据权利要求1所述的基于AR增强现实技术和带有菜谱生成功能的烹饪辅助系统，其特征还在于所述的处理单元调取食谱中的烹饪时间，建立烹饪顺序的时间轴；当到达时间节点时，给出时间节点对应的烹饪顺序操作指示。

Images