CN107703842A - 一种基于机器视觉和模式识别技术的厨房自动化方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉和模式识别技术厨房自动化方法，其中包括厨房终端模块完成对厨房设备的自动化识别和操作的功能。并且支持用户远程对厨房终端设备进行操控和监视。通过上述方式，本发明能够克服现有厨房自动化解决方案不能满足充分利用用户已有的厨房设备和实施过程复杂实施成本高的问题；更进一步的可以实现对用户现有的厨房非电器设备进行自动化控制的能力。满足用户对厨房自动化的需求。

Description

一种基于机器视觉和模式识别技术的厨房自动化方法

技术领域

本发明涉及一种基于机器视觉和模式识别技术的厨房自动化方法。

背景技术

随着现代人类社会的经济发展和科技进步，人们的工作和生活节奏越来越快。日常厨房工作对于现代家庭来讲是一项非常繁重且费时的劳动，随着人们对生活品质的追求对自我认识的提高，人们希望将更多的时间用在自己的学习、工作和娱乐上面。特别对于双职工家庭来讲这种需求就更加突出。所以对于行之有效的智能厨房系统有着迫切的需求。

目前市场上的智能厨房系统技术方案，都需要依赖将各种厨房电器进行升级改造，使用统一的软件和硬件控制模块，实现对各种厨房电器的自动化控制。所以这些方案不能充分利用家庭中已购买的厨房电器，用户只能全部更换所有需要自动控制的电器设备，这样使得市场上各种智能厨房解决方案和产品在家庭实际应用的成本大大提高；另一方面，这些方案都只能实现电气部分的自动化控制，对于复杂的机械控制无法支持或者只能做限定的机械操作，使用的局限性非常大严重影响应用效果；所以这些方案很难走进普通用户的家庭，也是厨房自动化应用和推广的最大障碍。而本发明可以实现对用户已购买的厨房电器设备甚至是厨房非电器设备的自动化控制，以更低成本和更高可用性的方式实现厨房自动化目的。

发明内容

本发明系统采用全新的解决方案，不要求各厨房电器使用统一的软件硬件控制模块和统一的通讯机制，充分利用家庭中已有的电器包括智能和非智能电器设备，甚至是非电器设备，都可实现自动化和远程控制的能力。本发明内容所述的厨房设备包括厨房电器设备和厨房非电器设备。

为解决上述技术问题，本发明提供一种基于机器视觉和模式识别技术，并应用机械臂机械手技术方法，完成对厨房设备自动识别和自动化控制的目标。本发明方法包括：厨房终端模块，用户终端模块和云端服务器模块。

进一步的[0005]所述的厨房终端模块又可分为：视觉识别子模块；辅助控制子模块，机械控制子模块；通讯子模块；辅助烹饪子模块和安全控制子模块。

进一步的[0006]所述的视觉识别模块又可分为：图形图像采集子模块和AI子模块。

进一步的[0007]所述的图形图像采集子模块：是运用图像和图形采集装置，完成对厨房可视范围内图形图像和视频的采集功能；可根据系统的程序控制对指定位置和方位进行图形图像和视频的采集；实现对厨房空间、各种厨房设备信息和厨房设备位置空间信息进行采集和记录；该视觉模块可根据实际需要安装于固定或者可移动装置上。

进一步的[0007]所述的AI子模块，完成对[0007]所述的图形图像采集子模块，采集的图形图像和视频数据进行识别分析和建模用以形成机器视觉能力，实现自动识别用户厨房设备的品牌、类型、型号、厨房设备的空间位置、操作控制数据等，在不要求这些设备具备任何软件或者硬件接口，也不要求这些设备有对外通讯能力的情况下，依然可以实现对该厨房设备自动化和远程化的操作控制。AI子模块可以分为：本地识别模式、服务器云端识别模式和混和识别三种实现方式。所述本地识别模式是运用视觉识别子模块本地运算资源对采集的图形图像和视频进行分析识别，将识别出的厨房设备的品牌、类型、型号及操作控制等数据与云端服务器模块同步；所述服务器云端识别模式，是视觉识别子模块将采集的图形图像视频和空间位置数据上传到云端服务器上，在云端服务器上进行数据识别分析，识别用户使用厨房设备的品牌和型号，并将识别出的厨房设备信息和操作控制数据传输给厨房终端模块；所述混合模式是指在整个识别过程中，厨房终端模块与云端服务器模块配合分别进行一定的识别运算，最后识别出该厨房设备的品牌、类型和型号。通过以上三种识别模式，如果所识别的厨房设备在云端服务器上不存在，则新增一条厨房设备信息数据，以人工或者自动化的方式将设备的品牌、类型、型号、和操作控制数据信息更新到数据库并自动做关联；最终获取到各厨房设备的品牌型号及对应该品牌和型号设备的操作控制数据信息。

进一步的[0006]所述的辅助控制子模块：在厨房终端模块对厨房设备进行操作控制时，通过视觉识别子模块的机器视觉能力，实时给出操作控制的反馈信息，判断和计算当前操作的准确性；通过智能算法持续计算出最优的动作路径规划和对操作动作进行精准控制，以支持操作过程中的纠偏能力。辅助控制子模块可以对操作动作进行机器学习，使相应的机械操作得到持续改进；辅助控制子模块同时集成多种传感器，可对距离、温度、亮度、湿度、各种气体、浸水和烟雾等信息的采集，可提供异常监控、报警，也可以通过机械控制子模块采取可靠的安全保护控制，如紧急切断煤气、电、水供应和扑灭火情等。

进一步的[0006]所述的机械控制子模块：根据视觉识别子模块的机器视觉功能识别并找到要控制的设备，将机械臂和机械手定位和移动到合适位置对该设备进行操作控制。本机械控制子模块可分为：主体、机械臂和机械手三个部分。主体用来固定机械臂的装置；机械臂主要是实现在空间上对机械手的移动；机械手实现对厨房设备操作控制。所采用的械臂可根据需要采用多轴机械臂实现，具体轴数可根据实际需要确定；本机械臂和机械手根据实际情况可采用柔性技术以解决刚性接触有可能导致损坏厨房设备的可能性。本机械控制子模块按照厨房设备的使用方法和流程进行操作控制，可以替代用户手工操作厨房设备完成指定的烹饪任务。

进一步的[0006]所述的通讯子模块：可采用现有的有线或者无线通讯技术和方法，实现厨房终端模块接入互联网的功能，实现厨房终端模块、云端服务器模块和用户终端模块的互联，并实现数据传输和控制指令的通讯；采用现有的有线或者无线技术实现用户终端模块和厨房终端模块直接通讯，以支持用户终端模块对厨房终端模块的直接控制和监视。

进一步的[0006]所述的烹饪扩展子模块，为支持厨房终端模块在进行烹饪任务时必要的辅助操作而设置的装置。包括：食材的保鲜储藏，食材的清洗装置，盛装装置，各类佐料的盛装装置，完成菜品后的暂存柜装置，给排水装置等。

进一步的[0006]所述的安全控制子模块，支持以最高优先级中断厨房终端模块当前的烹饪任务并启动应急程序，应急程序包括但不限于：以高优先级执行切断水、电和燃气等总开头；可以高优先级向用户终端模块和云端服务器模块发送告警信息和现场图形图像视频等信息；可以高优先级停止机械控制子模块的所有执行操作控制；所述的高优先级是指相对于厨房终端模块正在执行的烹饪相关任务而言具有更高的优先级。

进一步的[0006]所述的用户终端模块，其特征在于：采用可与用户进行手势、语音、触控或者键盘等交互方式的终端设备；该设备可采用支持接入互联网的任何方式接入互联网；用户可通过该用户终端模块实现对厨房终端进行远程监视和控制；并在线为厨房终端模块定制烹饪计划；实时查看厨房终端模块执行烹饪的情况；可以不依赖互联网的情况下直接与厨房终端模块通讯，实现对厨房终端模块的直接监视和控制功能；可按用户的烹饪习惯和饮食偏好推荐食材，也支持用户对于易耗品补充的自动下单采购功能。

进一步的[0006]所述的云端服务器模块又可分为：AI子模块，数据库子模块，远程控制子模块，在线商城子模块；云端服务器模块还可以支持[0005]所述的厨房终端模块和用户端终端模块的软件在线升级。

进一步的[0016] 所述的数据库子模块: 实现厨房终端模块所有已经识别和系统预制的厨房设备数据如：设备的种类、品牌、型号、功能、设备面板识别特征数据、设备面板操作功能数据、设备的物理特征数据、设备使用的操作控制数据；支持其它模块必要数据的存储。

进一步的[0016] 所述的AI子模块: 对所述的厨房终端模块上传的厨房设备图形图像资料进行识别分析，将识别出的设备信息存入数据库，并将对应该设备的操作控制数据发送回给厨房终端模块，实现对厨房设备的识别和操作控制。该模块同时支持以机器学习和人工设定的方式完成分析，并将分析结果存入[0016]所述的数据库子模块。本AI子模块还可以对所有用户的使用数据进行分析，通过用户的使用习惯使用偏好等，为定制化服务提供大数据支持。

进一步的[0016] 所述的远程控制子模块：实现接受来自的用户终端模块的控制指令，并将指令下发给厨房终端模块执行；同时将执行过程和执行结果信息反馈给用户终端模块；实现接受来自厨房终端模块的信息数据，并根据程序设定将信息发给用户终端模块或者供用户主动查询。

进一步的[0016] 所述的在线商城子模块：结合用户端模块实现：展示和提供食材供用户选购；提供厨房终端模块定制化的食材的选购；按用户的饮食习惯和厨房设备特点向用户推荐食材选购；定制自动补充食材下单功能；结合用户厨房设备各类特点提供多种可定制化的烹饪程序；可向用户展示和推荐合适的厨房设备选购。

附图说明

图1是本发明总体模块结构示意图。

图2是本发明主要工作流程图。

图3是本发明中针对厨房终端模块的结构图。

以上附图中各数字标号所指代的部位名称如下:1厨房终端模块；2用户终端模块；3云端服务器模块；1-1 视觉识别子模块；1-2辅助控制子模块；1-4通讯子模块；1-5安全控制子模块；1-3-1机械臂；1-3-2机械手；1-3-3主体；1-3-4固定装置

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，本发明实施例所述的厨房自动化解决方案工作流程如图 2 所示，该实施例主要包括如下步骤。

步骤 S1，厨房终端模块1通过视觉识别子模块1-1完成厨房设备的识别。

步骤 S2，厨房终端模块1从云端服务器模块3查询对应厨房设备的操作控制数据。

步骤 S3，如果视觉识别子模块1-1识别的设备在云端服务器模块3中有匹配的数据，则将对应设备的操作控制数据下载到厨房终端模块1中，供厨房终端模块1对该设备进行操作控制时使用。

步骤 S4，如果视觉识别子模块1-1识别的设备在云端服务器模块3中还没有匹配的数据时，需要通过人工或者通过示教等自动化方式将对应设备的操作控制数据增加到云端服务器模块3中，然后执行步骤S3。

步骤 S5，厨房终端模块1通过视觉识别子模块1-1和辅助控制子模块1-2在厨房空间内识别出要控制的厨房设备，并将机械控制模块1-3的机械臂和机械手移动到该设备的最佳操作位置。

步骤 S6，厨房终端模块1在执行烹饪任务时，查询出对应设备的操作控制数据，通过视觉识别子模块1-1、辅助控制子模块1-2和机械控制子模块1-3完成对该设备的使用操作控制，完成烹饪任务。

步骤 S7，用户端模块2可以通过互联网或者通讯子模块1-4直接与厨房终端模块1互联，进行远程控制。用户端模块2下达控制指令后，厨房终端模块1会按照指令和厨房设备操作控制数据对厨房设备进行操作控制；并同步执行的状态信息给用户终端模块2；最终完成用户端模块2的控制指令。

如图3，视觉识别子模块1-1，可安装于固定或者可移动的装置上面，以支持视觉识别子模块1-1完成对需要控制的设备信息采集，包括图形、图像、方位和精度的要求，如图2所示是一种安装在可平行移动导轨1-3-4的方式，也可以采用更灵活的轮式、履带式、双足或者多足等装置的移动方式。视觉识别子模块1-1的图形图像采集子模块可以采用普通摄像头，3D或者深度相机来完成图形图像的采集。

如图3所示，所述机械控制子模块1-3包括机械臂1-3-1、机械手1-3-2和主体1-3-3三部分组成。通过机械臂1-3-1和机械手1-3-2来完成对厨房设备的控制和使用操作，并且机械臂1-3-1可以是单臂也可以是双臂协作或者多臂协作的形式；机械臂1-3-1安装于主体1-3-3上；主体1-3-3可以根据实际情况安装于固定或者可移动装置上；机械臂1-3-1可以采用多轴机械臂，具体轴数可根据实际需要选择；机械臂1-3-1和机械手1-3-2可根据实际需求采用柔性或者非常柔性机械臂和机械手。

如图3所示，所述辅助控制子模块1-2集成多种传感器的装置，实现对距离，温度，亮度，湿度，各种气体，浸水，烟雾等信息的采集，在运行时实时运算以上实时数据信息，指导机械控制子模块1-3对厨房设备进行精准控制操作，并能采集更多的数据，为功能扩展提供足够的数据。传感器装置可根据实际需要安装于固定装置或者移动装置之上。

如图3所示，通讯子模块1-4完成厨房终端模块1接入互联网的功能，可采用当前可用的无线或者有线通讯技术接入互联网，通讯模块同时可以采用无线或者有线方式实现与用户端模块2进行直接通讯。

如图3所示，用户终端模块2可以是用户手机、电脑、平板电脑或者专用的控制终端设备。主要功能是实现对厨房终端1的远程监视和控制；定制烹饪任务，厨房终端1按预约时间自动完成全部的烹饪任务；云端服务器模块3根据用户的饮食习惯和偏好，推荐食材和及时提醒用户补充食材等功能。

如图3所示，所述辅助烹饪子模块1-5，为支持厨房终端模块1-3在进行烹饪任务时必要的辅助操作而设置的装置包括：食材的保鲜储藏，食材的清洗装置，盛装装置，各类佐料的盛装装置，完成菜品后的暂存柜装置，给排水装置等。

如图3所示，所述安全控制子模块，本安全控制子模块是一个以最高优先级运行厨房终端模块的子模块。采用系统中断机制支持以最高优先级中断厨房终端模块当前的烹饪任务并启动应急程序，应急程序包括但不限于：以高优先级执行切断水、电和燃气等总开头；可以高优先级向用户终端模块和云端服务器模块发送告警信息和现场图形图像视频等信息；可以高优先级停止机械控制子模块的所有执行操作控制。

以上所述仅为本发明的一个具体实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (10)

1.一种基于机器视觉和模式识别的厨房自动化方法，其特征在于：不要求各种厨房电器使用统一的软件硬件控制模块和统一的通讯机制，而是提供一种基于机器视觉和模式识别技术，并应用机械臂机械手的技术方法，完成对厨房设备的自动识别和自动化控制，以实现对各种厨房设备自动化和远程化控制，所述的厨房设备包括厨房电器设备和厨房非电器设备。

2.根据权利要求1所述的一种基于机器视觉和模式识别的厨房自动化方法，其特征在于：包括：厨房终端模块、用户终端模块和云端服务器模块三大模块，其中厨房终端模块又包括：包括视觉识别子模块；辅助控制子模块；机械控制子模块；通讯子模块；辅助烹饪子模块和安全控制子模块。

3.根据权利要求2所述视觉识别子模块，其特征在于：包括图形图像采集子模块和AI子模块：

1） 所述图形图像采集子模块，其特征在于：是运用图像图形和视频采集装置，完成对可视范围内厨房进行图形图像和视频的采集功能；可对指定位置和方位进行图形图像和视频采集；该图形图像子模块可根据实际需要安装于固定或者可移动装置上；

2）所述AI子模块，其特征在于：对图形图像采集子模块采集的图形图像和视频进行识别分析和建模，并形成机器视觉；实现自动识别用户厨房设备的品牌和型号和厨房设备的空间位置；实现在不要求这些设备具备任何统一软件硬件接口和对外通讯功能的情况下，依然可以实现对该厨房设备的识别，并且与该设备在云端服务器模块存储的相关操作控制数据做自动关联，为后续对该设备的控制提供数据；具体的图形图像和视频识别分为：本地识别模式、服务器云端识别模式和混和识别三种实现方式，所述本地识别模式是运用视觉模块本地运算资源对采集的图形图像和视频进行分析识别；所述服务器云端识别模式，是视觉识别模块将采集的图形图像和视频数据上传到云端服务器上，在云端服务器上进行数据分析识别；所述混合模式是指在整个识别过程中，权利要求2所述厨房终端模块与权利要求2所述云端服务器模块配合分别进行一定的识别运算，最后识别出该厨房设备的品牌型号；通过以上三种识别模式，最终获取到各厨房设备的品牌型号及对应该品牌和型号厨房设备的操作控制数据信息。

4.根据权利要求2所述辅助控制子模块，其特征在于：

1）在权利要求2所述的厨房终端模块对厨房设备进行操作控制时，实时给出操作控制的反馈信息，判断和计算当前操作控制的准确性；通过智能算法持续计算出最优的动作路径规划，以支持实时校对动作的准确性及操作过程中的纠偏；

2）可以对操作动作进行机器学习，使相应的机械操作得到持续的自动改进，从而更好实现对该电器设备的完全自动化操作控制；

3）可集成多种传感器，可对距离、温度、亮度、湿度、各种气体、浸水和烟雾等信息的采集，可提供异常监控、报警，也可以通过机械控制模块采取可靠的安全保护控制，如紧急切断煤气、电、水供应和扑灭火情等。

5.根据权利要求2所述的机械控制子模块，其特征在于：

1）采用机械臂机械手技术，在一定的空间范围内对厨房电器设备进行操作控制的功能；机械控制子模块可以按照各厨房设备的操作控制方法进行操作，完全替代用户手工操作厨房设备完成特定的烹饪任务；

2）可根据实际需求固定在可移动或者固定装置上，可移动装置如：平行导轨，轮式底盘，足式装置或者履带式装置，但不限于以上装置方法；

3）根据权利要求2所述的视觉识别子模块和根据权利要求2所述的辅助控制子模块找到要控制的设备，并将机械臂机械手定位和移动到合适位置对该设备进行操作控制；

4）所采用的机械臂是由多轴机械臂实现，具体轴数可根据实际需要确定；所采用的机械臂和机械手根据实际情况可采用柔性技术以解决刚性接触有可能导致损坏电器设备的可能性。

6.根据权利要求2所述的通讯子模块，其特征在于：

1）可采用现有的有线或者无线通讯技术和方法，实现将权利要求2所述的厨房终端模块接入互联网的功能；实现权利要求2所述的厨房终端模块、权利要求2所述的云端服务器模块和权利要求2所述的用户终端模块的互联，并实现数据传输和控制指令的通讯；

2）可与权利要求2所述的用户终端模块采用现有的有线或者无线技术进行直接通讯，以支持权利要求2所述的用户终端模块对权利要求2所述的厨房终端的直接监视和控制。

7.根据权利要求2所述的辅助烹饪子模块，其特征在于：为支持厨房终端模块在进行烹饪任务时必要的辅助操作而设置的装置，包括食材的保鲜储藏，食材的清洗装置，食材盛装装置，各类佐料的盛装装置，完成菜品后的暂存柜装置和给排水装置等。

8.根据权利要求2所述的安全控制子模块，其特征在于：以最高优先级中断权利要求2所述的厨房终端模块当前的烹饪任务并启动应急程序，应急程序包括但不限于：以高优先级执行切断水、电和燃气等总开头；可以高优先级向权利要求2所述的用户终端模块和权利要求2所述的云端服务器模块发送告警信息和现场图形图像视频等信息；可以高优先级停止权利要求2所述的机械控制子模块的所有执行操作控制。

9.根据权利要求2所述的用户终端模块，其特征在于：

1）采用可与用户进行手势，语音或者触控等交互方式的终端设备；该设备通过可以支持联入互联网的任何方式接入互联网；

2）用户可完成对权利要求2所述的厨房终端进行远程监视和控制；并在线为厨房终端定制烹饪计划；实时查看厨房终端按计划执行烹饪的情况；

3）可与权利要求2所述的厨房终端通过现有的有线或者无线技术进行直接通讯，实现对权利要求1所述的厨房终端进行直接监视和控制的功能；

4）可通过权利要求2所述的用户终端模块按，用户的烹饪习惯和饮食偏好推荐食材采购，也支持用户对于易耗品补充的自动下单采购。

10.根据权利要求2所述的云端服务器模块，其特征在于：包括AI子模块，数据库子模块，运程控制子模块，在线商城子模块：

1）根据权利要求10所述的AI子模块，其特征在于：权利要求2所述的厨房终端模块上传的厨房设备图形图像和视频数据进行识别分析，将识别出的设备信息存入数据库，并将对应该设备操作控制数据发送回给厨房终端模块；该模块同时支持以机器学习和人工设定的方式完成识别分析，并将分析结果数据存入权利要求10所述的数据库子模块；对所有用户的使用数据进行分析，通过用户的使用习惯使用偏好等，为定制化服务提供大数据支持；

3）根据权利要求10所述的数据库子模块，其特征在于：实现权利要求2所述的厨房终端模块已经识别的所有厨房设备和系统预制的厨房设备数据的存储；具体的信息包括但不限以下信息：设备的种类，品牌，型号，功能，设备识别特征数据，设备面板操作功能，设备的物理特征，设备的使用操作控制数据等；

4）根据权利要求10所述的远程控制子模块，其特征在于：实现接受来自权利要求2所述的用户终端模块的控制指令，并将指令下发给权利要求2所述的厨房终端模块执行；同时将执行过程和执行结果信息反馈给权利要求2所述的用户终端模块；实现接受来自权利要求2所述的厨房终端模块的信息数据，并将信息发给权利要求2所述的用户终端模块供用户查询；

5）根据权利要求10所述的在线商城子模块，其特征在于：提供食材供用户选购；提供厨房终端模块定制化的食材的选购；按用户的饮食习惯和厨房设备特点向用户推荐食材选购；定制自动补充食材；可向用户展示和推荐合适的厨房设备选购等；并支持用户通过权利要求2所述的用户终端模块进行查询和下订单；

6）根据权利要求2所述的云端服务器模块，其特征在于：支持权利要求2所述厨房终端模块和用户端模块的软件功能在线升级功能。