CN111062334A

CN111062334A - 自动切菜设备的控制方法、存储介质及自动切菜设备

Info

Publication number: CN111062334A
Application number: CN201911315764.9A
Authority: CN
Inventors: 宋德超; 陈翀; 陈向文; 罗晓宇; 黄智刚; 李斌山
Original assignee: Gree Electric Appliances Inc of Zhuhai; Zhuhai Lianyun Technology Co Ltd
Current assignee: Gree Electric Appliances Inc of Zhuhai; Zhuhai Lianyun Technology Co Ltd
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2020-04-24
Anticipated expiration: 2039-12-19
Also published as: CN111062334B

Abstract

本发明涉及自动切菜设备的控制方法、存储介质及自动切菜设备，该方法包括：获取放置于所述切菜设备内的食材的图像；将获取的食材的图像输入至预先建立的用于食材分类的模型，以得到所述食材的类别信息；根据所述食材的类别信息查询并反馈与所述食材的类别信息对应的一个或多个菜谱的信息，其中，每个所述菜谱的信息包括所述食材在该菜谱中的形态；接收响应于反馈的所述菜谱的信息而确定的目标菜谱；根据所述目标菜谱的信息，控制所述切菜设备的执行机构将所述食材制作成所述食材在目标菜谱中的形态。

Description

自动切菜设备的控制方法、存储介质及自动切菜设备

技术领域

本发明涉及智能家居技术领域，尤其涉及一种自动切菜设备的控制方法、存储介质及自动切菜设备。

背景技术

目前，大多数用户在切菜时通常以手动切菜为主，这种手动切菜的方式存在如下问题：1、食材切分不均匀；2、对于未知的菜品和/或食材，用户不知道如何处理；进而给用户带来了许多困扰。

随着科技的发展，现在市面上出现了一些切菜设备。然而，现有的切菜设备存在如下问题：1、处理食材的方式比较单一，需要用户自行切换设备模式，例如将切丝模式切换到切片模式，操作繁琐且不便利；2、对于未知的菜品和/或食材，用户不知道如何处理；例如对于一种包含土豆的新菜品，用户不知道制作这个新菜品时是将土豆切丝还是切片，或者例如对于一种不熟悉的新食材，用户不知道如何处理。

发明内容

为了解决现有的手动切菜方式和切菜设备存在的食材切分不均匀、操作繁琐且不便利以及对于未知的菜品和/或食材，用户不知道如何处理等技术问题，本发明提供了一种自动切菜设备的控制方法、存储介质及自动切菜设备，通过食材分类的模型实现了对于食材的分类，并根据食材分类结果为用户推荐相关菜谱，最终根据用户确定的相关菜谱中的目标菜谱，为用户将食材制作成该食材在目标菜谱中的形态。

根据本发明的第一方面，提供了一种自动切菜设备的控制方法，该方法包括：

获取放置于所述切菜设备内的食材的图像；

将获取的食材的图像输入至预先建立的用于食材分类的模型，以得到所述食材的类别信息；

根据所述食材的类别信息查询并反馈与所述食材的类别信息对应的一个或多个菜谱的信息，其中，每个所述菜谱的信息包括所述食材在该菜谱中的形态；

接收响应于反馈的所述菜谱的信息而确定的目标菜谱；

根据所述目标菜谱的信息，控制所述切菜设备的执行机构将所述食材制作成所述食材在目标菜谱中的形态。

优选地，该方法还包括通过神经网络算法构建所述用于食材分类的模型，其中：

其中，所述神经网络算法包括以下至少一种：YOLO算法、卷积神经网络算法、R-CNN算法、Fast-R-CNN算法、Faster-R-CNN算法和UDN算法，

所述YOLO算法包括以下至少一种：YOLO-v1算法、YOLO-v2算法和YOLO-v3算法。

优选地，通过YOLO算法构建所述用于食材分类的模型，包括以下步骤：

步骤一、将输入的图像划分为S×S个网格，S为正整数；

步骤二、令每个网格预测多个边界框和多个类别概率值；

步骤三、将各个边界框回归自身位置，计算各个边界框的置信度；

步骤四、根据各个类别概率值和各个边界框的置信度，计算出各个边界框的类别置信度；

步骤五、分别判断各个边界框的类别置信度是否小于预设阈值，并将类别置信度小于预设阈值的边界框滤除；

步骤六、通过非极大值抑制算法，从类别置信度大于预设阈值的边界框之中确定出目标边界框，并输出所述目标边界框的预测结果，

其中，所述目标边界框的预测结果包括所述食材的类别信息和目标边界框的中心点在所述图像的坐标。

优选地，根据所述食材的类别信息查询并反馈与所述食材的类别信息对应的一个或多个菜谱的信息，包括：

当所述模型针对所述图像中的一种食材输出多种所述类别信息时，将所述模型输出的多种类别信息反馈给用户；

接收从多种所述类别信息中确认的一种类别信息，并根据接收的类别信息查询并反馈与该接收的类别信息对应的一个或多个菜谱的信息。

优选地，接收的类别信息为包含该类别信息的语音信息。

作为一种实施方式，根据所述目标菜谱的信息，控制所述切菜设备的执行机构将所述食材制作成所述食材在目标菜谱中的形态，包括：

将所述目标边界框的中心点在所述图像的坐标作为所述食材的中心点在所述图像的坐标；

将所述食材的中心点在所述图像的坐标转换至世界坐标系下，得到世界坐标系下所述食材的中心点的坐标；

获取所述食材的长度，其中，所述长度为所述食材沿进给方向的长度；

根据世界坐标系下所述食材的中心点的坐标和所述食材的长度，确定所述食材沿进给方向的边缘点的坐标；

控制所述执行机构移动至所述食材的中心点的坐标或所述食材沿进给方向的边缘点的坐标；

当所述执行机构移动完成时，根据所述目标菜谱的信息，控制所述执行机构将所述食材制作成所述食材在目标菜谱中的形态。

优选地，所述边缘点的坐标包括：远离所述执行机构的一侧的边缘点的坐标或靠近所述执行机构的一侧的边缘点的坐标。

作为另一种实施方式，在根据所述目标菜谱的信息，控制所述切菜设备的执行机构将所述食材制作成所述食材在目标菜谱中的形态之前，所述方法还包括：

获取世界坐标系下所述执行机构的中心点的坐标和所述食材的长度，其中，所述长度为所述食材沿进给方向的长度；

根据世界坐标系下所述食材的中心点的坐标和所述执行机构的中心点的坐标，计算所述食材的中心点与所述执行机构的中心点沿进给方向的第一距离；

将所述第一距离与二分之一的所述长度之和作为第二距离；

控制所述切菜设备的传输机构带动所述食材沿进给方向移动所述第二距离。

根据本发明的第二方面，提供了一种存储介质，其上存储有可执行代码，所述可执行代码在被处理器执行时能够实现上述的自动切菜设备的控制方法。

根据本发明的第三方面，提供了一种自动切菜设备，包括：

处理器；

执行机构，其受控于所述处理器；以及

存储器，其上存储有可执行代码，所述可执行代码在被所述处理器执行时能够实现上述的自动切菜设备的控制方法。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

应用本发明实施例提供的自动切菜设备的控制方法、存储介质及自动切菜设备，通过食材分类的模型实现了对于食材的分类，并根据食材分类结果为用户推荐相关菜谱，最终根据用户确定的相关菜谱中的目标菜谱，为用户将食材制作成该食材在目标菜谱中的形态，其处理方式多种多样且操作便利，更加人性化，解决了用户对于就餐饮食困扰的问题。

进一步地，本发明实施例优选利用YOLO算法构建食材分类的模型，实现对于食材的定位，根据食材的位置调整例如刀具的位置，或者根据食材的位置调整传输机构的进给距离，实现对于食材的精准且均匀的加工。

本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及说明书附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。

图1为根据本发明实施例的自动切菜设备的控制方法的流程图。

图2示意性示出了根据本发明实施例的自动切菜设备。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

为了解决现有的手动切菜方式和切菜设备存在的食材切分不均匀、操作繁琐且不便利以及对于未知的菜品和/或食材，用户不知道如何处理等技术问题，本发明提供了一种自动切菜设备的控制方法、存储介质及自动切菜设备。

首先，本发明实施例提供了一种自动切菜设备的控制方法。

图1为根据本发明实施例的自动切菜设备的控制方法的流程图。如图1所示，该方法包括：

步骤S11：获取放置于所述切菜设备内的食材的图像；

步骤S12：将获取的食材的图像输入至预先建立的用于食材分类的模型，以得到所述食材的类别信息；

步骤S13：根据所述食材的类别信息查询并反馈与所述食材的类别信息对应的一个或多个菜谱的信息，其中，每个所述菜谱的信息包括所述食材在该菜谱中的形态；

步骤S14：接收响应于反馈的所述菜谱的信息而确定的目标菜谱；

步骤S15：根据所述目标菜谱的信息，控制所述切菜设备的执行机构将所述食材制作成所述食材在目标菜谱中的形态。

在步骤S11中，例如在用户将食材放入切菜设备内时，通过设置在切菜设备内的图像采集装置采集放置于切菜设备内的该食材的图像。其中，图像采集装置例如包括摄像头。

在步骤S12中，将图像采集装置获取/采集的该食材的图像输入至预先建立的用于食材分类的模型，以得到该食材的类别信息。

为了便于对本发明实施例的理解，下面对本发明实施例的用于食材分类的模型以及该模型的建立过程进行说明。

在本发明实施例中，优选通过神经网络算法和训练得到该用于食材分类的模型。具体地，首先通过神经网络算法构建神经网络模型，然后对构建的神经网络模型进行训练，最终将训练后的神经网络模型作为该用于食材分类的模型。

其中，神经网络算法包括以下至少一种：YOLO算法、卷积神经网络算法、R-CNN算法、Fast-R-CNN算法、Faster-R-CNN算法和UDN算法。

YOLO算法包括以下至少一种：YOLO-v1算法、YOLO-v2算法和YOLO-v3算法。

在本发明实施例中，优选采用分类速度快的YOLO算法构建用于食材分类的模型。本发明实施例除了利用YOLO算法分类速度快的特点之外，还利用YOLO算法对食材位置定位，具体会在后文中描述。

在本发明实施例中，利用YOLO算法构建的神经网络模型包括输入层、多个卷积层、多个全连接层和输出层，例如包括24个卷积层和2个全连接层。其中，卷积层用于提取特征，全连接层用于得到预测值。

利用YOLO算法构建模型和利用模型对食材分类的过程如下：

步骤一、将输入的图像划分为S×S个网格，S为正整数；

步骤二、令每个网格预测多个边界框和多个类别概率值；

步骤六、通过非极大值抑制算法，从类别置信度大于预设阈值的边界框之中确定出目标边界框，并输出所述目标边界框的结果。

该目标边界框的结果包括食材的类别信息和目标边界框的中心点在图像的坐标(图像坐标系)。

在步骤一中，例如设定将输入的图像划分为S×S个网格，其中，S的值可根据实际情况灵活设定，本发明不限于此。例如将输入的图像划分为7×7个网格。

在步骤二中，例如令每个网络预测B个边界框和C个类别概率值。其中，预测边界框包括：预测边界框的大小和位置(中心坐标)。

在本发明实施例中，边界框的大小与位置用4个值来表征：(x,y,w,h)。(x,y)是边界框的中心坐标，而w和h是边界框的宽与高。值得注意的是，中心坐标的预测值(x,y)是相对于每个网格左上角坐标点的偏移值，并且单位是相对于网格大小的。边界框的w和h预测值是相对于整个图像的宽与高的比例，这样理论上(x,y,w,h)这4个值的大小应该在[0,1]范围之内。

在本发明实施例中，每个类别概率值用于表征每个边界框中的目标属于每个类别的概率。C的值可根据实际情况灵活设定，本发明不限于此。例如将目标分为10个类别，则令C的值为10。

在步骤三中，将各个边界框回归自身位置，计算各个边界框的置信度。其中，置信度包含两个方面，一是每个边界框含有目标的可能性大小，二是每个边界框的准确度。前者记为Pr(object)，当边界框是背景时(即不包含目标)，此时Pr(object)＝0；而当边界框包含目标时，Pr(object)＝1。边界框的准确度可以用预测框与实际框(ground truth)的IOU(intersection over union，交并比)来表征。

在步骤四中，对于每个边界框，将该边界框的C个类别概率值与该边界框的置信度相乘，并将相乘的结果作为该边界框的类别置信度，也可理解为该边界框的每个类别的置信度。对于每个边界框而言，假设C的值为10，则该边界框的类别置信度亦为10个。

在步骤五中，判断各个边界框的类别置信度是否小于预设阈值，并将类别置信度小于预设阈值的边界框滤除。具体地，各个边界框的类别置信度中均有一个最大值。对于每个边界框，判断该边界框的类别置信度中的最大值是否小于预设阈值，当判断出该边界框的类别置信度中的最大值小于预设阈值时，将该边界框滤除，否则，保留该边界框。

在步骤六中，通过非极大值抑制算法，从类别置信度大于预设阈值的边界框之中确定出目标边界框，并输出所述目标边界框的结果。

具体地，首先从所有类别置信度大于预设阈值的边界框之中找到类别置信度最大的边界框，然后依次计算该类别置信度最大的边界框与剩余框的IOU，如果其值大于一定阈值(重合度过高)，那么就将该框剔除；然后对剩余的边界框重复上述过程，直到处理完所有的边界框。最终，便可以确定出目标边界框，即类别置信度最大的边界框。如果图像中食材(目标)只有一个，那么目标边界框的数量也是一个，该目标边界框中的最大的类别置信度对应的类别理论上就是该食材的类别，例如土豆。

在确定出目标边界框之后，输出该目标边界框的结果。其中，该目标边界框的结果包括食材的类别信息和目标边界框的中心点在图像的坐标(图像坐标系)。需要说明的是，理论上放入一种食物，只输出目标边界框中的最大的类别置信度对应的类别便可。但考虑到对于一些相似度较高的多种食物(例如土豆和猕猴桃)，模型输出的结果可能有误。因此，本发明实施例设定一个类别置信度阈值(例如95％)，将目标边界框中的大于或等于该类别置信度阈值的类别置信度对应的类别均输出。当针对所述图像中的一种食材输出多种类别信息时，由用户来确定是哪种食物。

返回图1，在步骤S13中，根据食材的类别信息查询和反馈包含食材的一个或多个菜谱信息，其中，每个菜谱信息包括食材在该菜谱中的形态。

具体地，当该模型针对图像中的一种食材只输出一种类别信息时，优选直接根据该类别信息从位于本地或服务器侧的菜谱知识库中查询与该类别信息对应的一个或多个菜谱的信息。例如，当输出的结果为土豆时，根据“土豆”这个信息从菜谱知识库中查询出酸辣土豆丝、土豆炖牛腩等菜谱。

在本发明实施例中，菜谱知识库保存有多个菜谱的信息以及每个菜谱的信息与每个类别信息的映射关系。

作为优选，当模型针对所述图像中的一种食材输出多种类别信息时，将模型输出的多种类别信息反馈给用户；

接收用户从多种类别信息中确认的一种类别信息，并根据接收的类别信息查询并反馈与该接收的类别信息对应的一个或多个菜谱的信息。

作为一种实施方式，例如将模型输出的多种类别信息显示在切菜设备的显示屏上，由用户通过语音输入或点击输入选中的类别信息。在接收到用户从多种类别信息中确认的一种类别信息时，从菜谱知识库中查询与该接收的类别信息对应的一个或多个菜谱的信息，具体过程如上，在此不再赘述。

在查询出菜谱的信息之后，向用户反馈查询出的菜谱的信息。例如，将查询出的菜谱的信息显示在切菜设备的显示屏上，由用户通过语音输入或点击输入将选中的目标菜谱告知切菜设备。

在步骤S14中，切菜设备接收响应于反馈的菜谱的信息而确定的目标菜谱。

在步骤S15中，根据目标菜谱的信息，控制切菜设备的执行机构将食材制作成食材在目标菜谱中的形态。其中，执行设备例如包括刀具。

例如，土豆相关的菜谱中土豆状态有土豆丝、土豆片、土豆块或土豆泥，相关的菜谱有：酸辣土豆丝、肉炒土豆片、土豆牛肉和土豆泥等菜谱。假如用户选择的是酸辣土豆丝，则将土豆制作成土豆丝。当然，也可以是其他食材和其他菜谱，本发明不限于此。

作为一种实施方式，为了使得食材被加工的更加均匀，本发明实施例利用YOLO算法实现食材定位，便于执行机构对食材进行切割。

具体地，作为一种实施方式，令食材位置固定，移动执行机构至食材位置。

更为具体地，过程如下：

将目标边界框的中心点在图像的坐标作为食材的中心点在图像的坐标；

将食材的中心点在图像的坐标转换至世界坐标系下，得到世界坐标系下食材的中心点的坐标；

获取食材的长度，其中，该长度为食材沿进给方向的长度；

根据世界坐标系下食材的中心点的坐标和食材的长度，确定食材沿进给方向的边缘点的坐标；

控制执行机构移动至食材的中心点的坐标或食材沿进给方向的边缘点的坐标；

当执行机构移动完成时，根据目标菜谱的信息，控制执行机构将食材制作成食材在目标菜谱中的形态。

需要说明的是，食材的长度例如通过测量长度的装置获得。

例如，通过世界坐标系下食材的中心点的坐标和执行机构的中心点的坐标计算出执行机构的偏移量，控制执行机构移动至食材的中心点处，再对食材进行均匀加工。再例如，根据世界坐标系下食材的边缘点的坐标和执行机构的中心点的坐标计算出执行机构的偏移量，控制执行机构移动至食材的边缘点处，其中，边缘点包括：远离执行机构的一侧的边缘点或靠近执行机构的一侧的边缘点，再对食材进行均匀加工。

作为另一种实施方式，令执行机构固定，移动食材至执行机构。

更为具体地，过程如下：

获取世界坐标系下执行机构的中心点的坐标和食材的长度，其中，该长度为食材沿进给方向的长度；

根据世界坐标系下食材的中心点的坐标和执行机构的中心点的坐标，计算食材的中心点与执行机构的中心点沿进给方向的第一距离；

将第一距离与二分之一的长度之和作为第二距离；

控制切菜设备的传输机构带动食材沿进给方向移动第二距离。

需要说明的是，传输机构例如为传送带。

相应地，本发明实施例还提供了一种存储介质，其上存储有可执行代码，所述可执行代码在被处理器执行时能够实现上述的自动切菜设备的控制方法。

相应地，本发明实施例还提供了一种自动切菜设备。图2示意性示出了根据本发明实施例的自动切菜设备。如图2所示，自动切菜设备包括：

处理器201；

执行机构202，其受控于所述处理器201；以及

存储器203，其上存储有可执行代码，所述可执行代码在被所述处理器201执行时能够实现上述的自动切菜设备的控制方法。

作为一种较优的实施方式，自动切菜设备还包括传输机构。

综上所述，本发明实施例提供了一种自动切菜设备的控制方法、存储介质及自动切菜设备，通过食材分类的模型实现了对于食材的分类，并根据食材分类结果为用户推荐相关菜谱，最终根据用户确定的相关菜谱中的目标菜谱，为用户将食材制作成该食材在目标菜谱中的形态，其处理方式多种多样且操作便利，更加人性化，解决了用户对于就餐饮食困扰的问题。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上描述的处理、功能、方法和/或软件可被记录、存储或固定在一个或多个计算机可读存储介质中，所述计算机可读存储介质包括程序指令，所述程序指令将被计算机实现，以使处理器执行所述程序指令。所述介质还可单独包括程序指令、数据文件、数据结构等，或者包括其组合。所述介质或程序指令可被计算机软件领域的技术人员具体设计和理解，或所述介质或指令对计算机软件领域的技术人员而言可以是公知和可用的。计算机可读介质的示例包括：磁性介质，例如硬盘、软盘和磁带；光学介质，例如，CDROM盘和DVD；磁光介质，例如，光盘；和硬件装置，具体被配置以存储和执行程序指令，例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等。程序指令的示例包括机器代码(例如，由编译器产生的代码)和包含高级代码的文件，可由计算机通过使用解释器来执行所述高级代码。所描述的硬件装置可被配置为用作一个或多个软件模块，以执行以上描述的操作和方法，反之亦然。另外，计算机可读存储介质可分布在联网的计算机系统中，可以分散的方式存储和执行计算机可读代码或程序指令。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims

1.一种自动切菜设备的控制方法，其特征在于，包括：

获取放置于所述切菜设备内的食材的图像；

接收响应于反馈的所述菜谱的信息而确定的目标菜谱；

2.根据权利要求1所述的方法，其特征在于，还包括通过神经网络算法构建所述用于食材分类的模型，其中：

3.根据权利要求2所述的方法，其特征在于，通过YOLO算法构建所述用于食材分类的模型，包括以下步骤：

步骤一、将输入的图像划分为S×S个网格，S为正整数；

步骤二、令每个网格预测多个边界框和多个类别概率值；

4.根据权利要求1所述的方法，其特征在于，根据所述食材的类别信息查询并反馈与所述食材的类别信息对应的一个或多个菜谱的信息，包括：

5.根据权利要求1所述的方法，其特征在于，接收的类别信息为包含该类别信息的语音信息。

6.根据权利要求3所述的方法，其特征在于，根据所述目标菜谱的信息，控制所述切菜设备的执行机构将所述食材制作成所述食材在目标菜谱中的形态，包括：

7.根据权利要求6所述的方法，其特征在于，所述边缘点的坐标包括：远离所述执行机构的一侧的边缘点的坐标或靠近所述执行机构的一侧的边缘点的坐标。

8.根据权利要求3所述的方法，其特征在于，在根据所述目标菜谱的信息，控制所述切菜设备的执行机构将所述食材制作成所述食材在目标菜谱中的形态之前，所述方法还包括：

将所述第一距离与二分之一的所述长度之和作为第二距离；

9.一种存储介质，其上存储有可执行代码，所述存储介质的特征在于，所述可执行代码在被处理器执行时能够实现如权利要求1至8中任一项所述的自动切菜设备的控制方法。

10.一种自动切菜设备，其特征在于，包括：

处理器；

执行机构，其受控于所述处理器；以及

存储器，其上存储有可执行代码，所述可执行代码在被所述处理器执行时能够实现如权利要求1至8中任一项所述的自动切菜设备的控制方法。