CN109848982A - 一种基于图像识别的自动取菜方法、系统及存储介质 - Google Patents
一种基于图像识别的自动取菜方法、系统及存储介质 Download PDFInfo
- Publication number
- CN109848982A CN109848982A CN201811456478.XA CN201811456478A CN109848982A CN 109848982 A CN109848982 A CN 109848982A CN 201811456478 A CN201811456478 A CN 201811456478A CN 109848982 A CN109848982 A CN 109848982A
- Authority
- CN
- China
- Prior art keywords
- vegetable
- picture
- position coordinates
- service plate
- title
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像识别的自动取菜方法、系统及存储介质，该系统可实现以下自动取菜方法：接收操作终端的取菜指令，解析取菜指令以得到需要抓取的菜品的名称；根据该菜品的名称，获取该菜品的位置坐标；控制机械手移动至位置坐标后，控制机械手执行抓取动作以抓取第一餐盘中的菜品并抓取动作结束后检测机械手是否已抓取到菜品；若否，则再次控制机械手再次执行抓取动作；若是，则控制机械手移动至发出该取菜指令的操作终端所对应的合法区域内的第二餐盘处并将菜品放入所述第二餐盘中。该系统能实现自动抓取菜品至用户的餐盘中，解决用户无法夹取远处的菜品的问题。
Description
技术领域
本发明涉及自动化技术领域，尤其涉及一种基于图像识别的自动取菜方法、系统及存储介质。
背景技术
由于某些餐桌较大，人们在夹菜的时候经常会出现远处的菜品够不着的情况，遇到这种情况，有些人会站起来夹取自己想吃的菜品，但是，对于某些用餐场景来说，站起来夹菜会显得不礼貌，并且很多人也会因为觉得不好意思站起来夹菜而放弃远处的菜品。
为了解决这个问题，出现了旋转桌面，用户可通过将自己想吃的菜品旋转至自己能够夹取的范围内。但是，也有很多人碍于面子，不好意思经常旋转桌子，导致没法吃到离自己比较远而自己又喜欢吃的食物。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种基于图像识别的自动取菜系统，其能实现自动抓取菜品至用户的餐盘中，解决用户无法夹取远处的菜品的问题。
本发明的目的之二在于提供一种基于图像识别的自动取菜方法，其能实现自动抓取菜品至用户的餐盘中，解决用户无法夹取远处的菜品的问题。
本发明的目的之三在于提供一种计算机可读存储介质，该存储介质存储的程序运行时能实现自动抓取菜品至用户的餐盘中，解决用户无法夹取远处的菜品的问题。
本发明的目的之一采用如下技术方案实现：
一种基于图像识别的自动取菜系统，包括：摄像头、机械手、操作终端以及控制单元，所述控制单元分别与所述摄像头、所述机械手及所述操作终端连接，所述操作终端用于输入取菜指令，所述摄像头用于拍摄桌面图片以供进行图像识别得到菜品的位置坐标；
该系统可实现以下自动取菜方法：
接收操作终端的取菜指令，解析所述取菜指令以得到需要抓取的菜品的名称；
根据该菜品的名称，获取该菜品的位置坐标；
控制机械手移动至所述位置坐标后，控制机械手执行抓取动作以抓取第一餐盘中的菜品并抓取动作结束后检测机械手是否已抓取到菜品；
若否，则再次控制机械手再次执行抓取动作；
若是，则控制机械手移动至发出该取菜指令的操作终端所对应的合法区域内的第二餐盘处并将菜品放入所述第二餐盘中。
进一步地，所述根据该菜品的名称，获取该菜品的位置坐标具体为：
根据该菜品的名称，查询数据库中是否存在该菜品的位置坐标；
若否，则获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及所述识别结果确定该菜品的位置坐标，并将该菜品的名称及位置坐标存储在数据库中；
若是，则获取该菜品在数据库中的位置坐标。
进一步地，所述根据该菜品的名称，获取该菜品的位置坐标具体为：
获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标。
进一步地，所述获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标具体为：
获取摄像头所拍摄的图片并对图片进行预处理；
将预处理后的图片传送至菜品识别模型中进行图像识别得到识别结果，所述识别结果包含了需要抓取的菜品在图片中的位置信息；
对识别结果进行处理以得到需要抓取的菜品所在的第一餐盘在图片中的尺寸以及该第一餐盘相对于参考点的距离和方向；
根据桌子在图片中的尺寸和在实际中的尺寸得到比例值；
根据需要抓取的菜品所在的第一餐盘在图片中的尺寸、相对于参考点的距离以及所述比例值，得到菜品所在的第一餐盘的实际尺寸以及该第一餐盘与参考点的实际距离；
根据第一餐盘的实际尺寸及该第一餐盘相对于参考点的方向和实际距离得到该第一餐盘的位置坐标。
进一步地，所述机械手设置在桌面中心且以桌面中心为参考点，所述摄像头设置在所述桌面上方以保证拍摄桌面全景。
进一步地，所述自动取菜方法还包括：实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令。
进一步地，所述实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令具体为：
实时监测用餐客户的肢体动作；
当监测到用餐客户摇头或摆手时，判断机械手是否正在工作；
若是，则发送指令使机械手停止当前的工作并返回初始位置；
若否，则结束流程；
当监测到用餐客户敲桌面两下时，则生成倒茶指令，控制机械手抓取茶壶并将定量的茶水倒入发出倒茶指令的用餐客户的茶杯中。
本发明的目的之二采用如下技术方案实现：
一种基于图像识别的自动取菜方法，包括以下步骤：
接收操作终端的取菜指令，解析所述取菜指令以得到需要抓取的菜品的名称；
根据该菜品的名称，获取该菜品的位置坐标；
控制机械手移动至所述位置坐标后，控制机械手执行抓取动作以抓取第一餐盘中的菜品并抓取动作结束后检测机械手是否已抓取到菜品；
若否，则再次控制机械手再次执行抓取动作；
若是，则控制机械手移动至发出该取菜指令的操作终端所对应的合法区域内的第二餐盘处并将菜品放入所述第二餐盘中。
进一步地，所述根据该菜品的名称，获取该菜品的位置坐标具体为：
根据该菜品的名称，查询数据库中是否存在该菜品的位置坐标；
若否，则获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及所述识别结果确定该菜品的位置坐标，并将该菜品的名称及位置坐标存储在数据库中；
若是，则获取该菜品在数据库中的位置坐标。
进一步地，所述根据该菜品的名称，获取该菜品的位置坐标具体为：
获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标。
进一步地，所述获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标具体为：
获取摄像头所拍摄的图片并对图片进行预处理；
将预处理后的图片传送至菜品识别模型中进行图像识别得到识别结果，所述识别结果包含了需要抓取的菜品在图片中的位置信息；
对识别结果进行处理以得到需要抓取的菜品所在的第一餐盘在图片中的尺寸以及该第一餐盘相对于参考点的距离和方向；
根据桌子在图片中的尺寸和在实际中的尺寸得到比例值；
根据需要抓取的菜品所在的第一餐盘在图片中的尺寸、相对于参考点的距离以及所述比例值，得到菜品所在的第一餐盘的实际尺寸以及该第一餐盘与参考点的实际距离；
根据第一餐盘的实际尺寸及该第一餐盘相对于参考点的方向和实际距离得到该第一餐盘的位置坐标。
进一步地，所述机械手设置在桌面中心且以桌面中心为参考点，所述摄像头设置在所述桌面上方以保证拍摄桌面全景。
进一步地，还包括：实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令。
进一步地，所述实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令具体为：
实时监测用餐客户的肢体动作；
当监测到用餐客户摇头或摆手时，判断机械手是否正在工作；
若是，则发送指令使机械手停止当前的工作并返回初始位置；
若否，则结束流程；
当监测到用餐客户敲桌面两下时，则生成倒茶指令，控制机械手抓取茶壶并将定量的茶水倒入发出倒茶指令的用餐客户的茶杯中。
本发明的目的之三采用如下技术方案实现：
一种计算机可读存储介质，所述存储介质存储有可执行计算机程序，所述计算机程序运行时可实现如上述的基于图像识别的自动取菜方法。
相比现有技术，本发明的有益效果在于：
该系统主要由控制单元、摄像头、机械手以及操作终端组成，用户通过操作终端输入想吃的菜品名称即可实现自动夹取对应的菜品到自己的餐盘中，控制单元根据菜品名称，通过摄像头所拍摄的图片进行图像识别以识别出该菜品的位置，从而确定其位置坐标，控制机械手移动至目标位置坐标进行抓取，然后送至用户的餐盘中。
附图说明
图1为本发明提供的一种基于图像识别的自动取菜系统的结构框图；
图2为本发明提供的一种基于图像识别的自动取菜方法的流程示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
请参阅图1，一种基于图像识别的自动取菜系统，包括：摄像头、机械手、操作终端以及控制单元，所述控制单元分别与所述摄像头、所述机械手及所述操作终端连接，所述操作终端用于输入取菜指令，所述摄像头用于拍摄桌面图片以供进行图像识别得到菜品的位置坐标；
该系统可实现以下自动取菜方法：
接收操作终端的取菜指令，解析所述取菜指令以得到需要抓取的菜品的名称；
根据该菜品的名称，获取该菜品的位置坐标；
控制机械手移动至所述位置坐标后，控制机械手执行抓取动作以抓取第一餐盘中的菜品并抓取动作结束后检测机械手是否已抓取到菜品；
若否，则再次控制机械手再次执行抓取动作；
若是，则控制机械手移动至发出该取菜指令的操作终端所对应的合法区域内的第二餐盘处并将菜品放入所述第二餐盘中。
在餐桌上设置该系统，可实现自动夹取菜品，用户通过操作终端输入想吃的菜品名称即可实现自动夹取对应的菜品到自己的餐盘中，控制单元根据菜品名称，通过摄像头所拍摄的图片进行图像识别以识别出该菜品的位置，从而确定其位置坐标，控制机械手移动至目标位置坐标进行抓取，然后送至用户的餐盘中。
作为一种优选的实施方式，所述根据该菜品的名称，获取该菜品的位置坐标具体为：
根据该菜品的名称，查询数据库中是否存在该菜品的位置坐标；
若否，则获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及所述识别结果确定该菜品的位置坐标，并将该菜品的名称及位置坐标存储在数据库中；
若是，则获取该菜品在数据库中的位置坐标。
在此实施方式中，可通过不间断地定时拍摄图片并进行图像识别，得出图片中各个菜品的名称以及位置坐标，将各个菜品的名称及对应的位置坐标存储在数据库中，在上菜过程中，可持续地更新数据库中的数据信息；也可通过每次执行取菜任务的时候，遇到数据库中不存在菜品的位置坐标时，在识别桌面图片确定目标菜品的位置时，顺便判断图片中其他菜品的位置坐标是否有保存在数据库中，若没有则在数据库中进行更新。通过该方式，使得系统在进行夹取菜品时，无需每次均进行图像识别然后计算出菜品的位置坐标，避免重复计算所耗费的时间，使夹取效率更高，用户体验感好；但是，该方式也会存在缺陷，该方式只适用于菜品的位置坐标在食用过程中不会产生变化，但是，有时候，菜品的位置在用餐过程中可能会出现变动，比如，后面上的菜的位置不够，需要将桌面上的餐盘移动得更紧密一些，在执行夹取任务的过程中，虽然菜品位置已变动，但是先前数据库中已保存有相应的坐标，此时，系统无法判断得知该菜品的移动信息，会直接按照数据库中所保存的位置坐标进行抓取，这会导致无法抓取到菜品或者夹错菜品的情况。
需要说明的是，菜品识别模型采用卷积神经网络来进行构建，通过将餐馆中的每个菜品的多个图片来训练该菜品识别模型，使其能够从桌面图片中识别出图片中的所有菜品名称，并且可将每个菜品的位置均标注出来。可通过在餐桌桌面上摆放不同的菜品进行拍照而得到大量的图片，并对各个图片中的菜品进行分类标注，一个菜品为一个类别，将图片上的所有菜品均标注出来，形成训练样本，对训练样本进行预处理，主要是对图片进行压缩到统一大小，并进行随机裁剪，最后进行归一化处理，预处理完毕后，使用这些训练样本对卷积神经网络模型进行训练，模型收敛之后保存为菜品识别模型。
此外，在本实施例中，第二餐盘的位置坐标可以是固定的，并保存在系统中，控制单元直接根据发起取菜指令的操作终端来确定第二餐盘的位置坐标，一个操作终端对应一个第二餐盘；也可为非固定的，在识别需要抓取的菜品的位置坐标的同时，也识别出操作终端所对应的合法区域内的第二餐盘的位置坐标。
作为一种变形的实施方式，所述根据该菜品的名称，获取该菜品的位置坐标具体为：
获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标。采用此方式，则需要每次在执行夹取任务时均需要进行图像识别以及位置坐标的计算，每次所得到的位置坐标均是菜品当前的位置，因此可避免在用餐过程中菜品的位置产生变化而导致的问题。
作为一种优选的实施方式，所述获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标具体为：
获取摄像头所拍摄的图片并对图片进行预处理；
将预处理后的图片传送至菜品识别模型中进行图像识别得到识别结果，所述识别结果包含了需要抓取的菜品在图片中的位置信息；
对识别结果进行处理以得到需要抓取的菜品所在的第一餐盘在图片中的尺寸以及该第一餐盘相对于参考点(桌面中心)的距离和方向；具体地，以桌面中心为极点O，从桌面中心向某方向引出一条射线作为极轴OX，建立一个极坐标系，再取定一个单位长度，规定角度取逆时针方向为正，这样，桌面上的任意一点P的位置就可以用线段OP的长度以及从OX到OP的角度来确定，也就可以确定该第一餐盘相对于参考点的距离和方向了；
根据桌子在图片中的尺寸和在实际中的尺寸得到比例值；
根据需要抓取的菜品所在的第一餐盘在图片中的尺寸、相对于参考点的距离以及所述比例值，得到菜品所在的第一餐盘的实际尺寸以及该第一餐盘与参考点的实际距离；
根据第一餐盘的实际尺寸及该第一餐盘相对于参考点的方向和实际距离得到该第一餐盘的位置坐标。
通过此方式可确定桌面上的任意一点的位置坐标，因此，可无疑义地确定菜品的位置坐标，从而控制机械手移动至目标位置处进行抓取，实现自动夹菜。
作为一种优选的实施方式，所述机械手设置在桌面中心且以桌面中心为参考点，所述摄像头设置在所述桌面上方以保证拍摄桌面全景。将机械手设置在桌面中心并以其为参考点，可使得控制单元在确定位置坐标时的运算复杂度降低，提高运算效率。
作为一种优选的实施方式，所述自动取菜方法还包括：实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令，具体如下：
实时监测用餐客户的肢体动作；
当监测到用餐客户摇头或摆手时，判断机械手是否正在工作；
若是，则发送指令使机械手停止当前的工作并返回初始位置；
若否，则结束流程；
当监测到用餐客户敲桌面两下时，则生成倒茶指令，控制机械手抓取茶壶并将定量的茶水倒入发出倒茶指令的用餐客户的茶杯中。
由于可能会存在用户手误输错取菜指令或者突然不想吃了的情况，因此，通过该方式，使得用户可中途反悔，取消夹菜任务。其中，取菜指令可包括但不限于菜品名称。
特别地，操作终端可为镶嵌在桌面上的电子设备如触摸显示屏、录音装置等，也可为用户的个人的移动终端如手机、平板电脑等。操作终端若为镶嵌在桌面上的电子设备，则可设置其直接与控制单元相连接，数据可直接传送至控制单元；若为用户的个人的移动终端，则需要构建一个服务平台以供用户的移动终端登录，具体可通过扫码登录，也可直接从公众号的链接进入，从而使得移动终端通过网络与控制单元建立了间接地连接关系，从而实现通过移动终端将数据(取菜指令)上传至服务平台，服务平台再传送至控制单元中。
此外，所输入的指令可为文字信息，也可为语音信息。触摸显示屏、手机、平板电脑等均可输入文字信息，控制单元可以直接解析出取菜指令；而通过录音装置、手机、平板电脑等输入语音信息的话，则需要先对语音信息进行语音识别，将语音转换为文字信息之后，方可解析其取菜指令。对于语音的识别处理，可以在控制单元上处理，也可在后台服务器上进行处理。对于语音信息的识别是一项比较成熟的技术，用户通过操作终端输入的语音信息，经由语音识别引擎完成语音-文字的转换。现有的引擎的产品有很多，例如被广泛使用的世界知名的Nuance、Google(谷歌)的语音识别服务、中国国内的科大讯飞的语音识别服务等等。
作为一种优选的实施方式，还可通过摄像头定时检测餐桌上的食用情况，当盘子的食物少于预设阈值时，发送消息告知服务员，使其前往相应的餐桌收拾空盘并做下一步处理，如上新菜品或者询问用餐客户是否需要增加食物等。检测过程具体可为：通过图像识别来确定餐盘中的食物含量，具体地，识别出在图片中餐盘所占的面积大小及食物所占的面积大小，根据两者的比值来确定餐盘中的食物含量，当食物所占的面积与餐盘所占的面积之比小于百分之十时，判定为该餐盘的食物即将耗尽，发送消息通知服务人员前来清理。这种方式适用于扁平型的餐盘，而对于一些类似碗盅类的餐具，直筒型的，具有高度的这些餐具，通过面积比值来确定食物含量是比较困难的，需要用户自行判断是否需要通知服务员前来清理，因此，还可在操作终端上设置一通知模块，例如设置一按钮，按下即触发消息发送指令，将消息发送至服务员终端，告知服务员前来清理。
请参阅图2，本发明还提供了一种基于图像识别的自动取菜方法，包括以下步骤：
S1、接收操作终端的取菜指令，解析所述取菜指令以得到需要抓取的菜品的名称；
S2、根据该菜品的名称，获取该菜品的位置坐标；
S3、控制机械手移动至所述位置坐标后，控制机械手执行抓取动作以抓取第一餐盘中的菜品并抓取动作结束后检测机械手是否已抓取到菜品；
S4、若否，则再次控制机械手再次执行抓取动作；
S5、若是，则控制机械手移动至发出该取菜指令的操作终端所对应的合法区域内的第二餐盘处并将菜品放入所述第二餐盘中。
作为一种优选的实施方式，所述根据该菜品的名称，获取该菜品的位置坐标具体为：
根据该菜品的名称，查询数据库中是否存在该菜品的位置坐标；
若否，则获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及所述识别结果确定该菜品的位置坐标，并将该菜品的名称及位置坐标存储在数据库中；
若是，则获取该菜品在数据库中的位置坐标。
作为一种优选的实施方式，所述根据该菜品的名称，获取该菜品的位置坐标具体为：
获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标。
作为一种优选的实施方式，所述获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标具体为：
获取摄像头所拍摄的图片并对图片进行预处理；
将预处理后的图片传送至菜品识别模型中进行图像识别得到识别结果，所述识别结果包含了需要抓取的菜品在图片中的位置信息；
对识别结果进行处理以得到需要抓取的菜品所在的第一餐盘在图片中的尺寸以及该第一餐盘相对于参考点的距离和方向；
根据桌子在图片中的尺寸和在实际中的尺寸得到比例值；
根据需要抓取的菜品所在的第一餐盘在图片中的尺寸、相对于参考点的距离以及所述比例值，得到菜品所在的第一餐盘的实际尺寸以及该第一餐盘与参考点的实际距离；
根据第一餐盘的实际尺寸及该第一餐盘相对于参考点的方向和实际距离得到该第一餐盘的位置坐标。
作为一种优选的实施方式，所述机械手设置在桌面中心且以桌面中心为参考点，所述摄像头设置在所述桌面上方以保证拍摄桌面全景。
作为一种优选的实施方式，还包括：实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令。
作为一种优选的实施方式，所述实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令具体为：
实时监测用餐客户的肢体动作；
当监测到用餐客户摇头或摆手时，判断机械手是否正在工作；
若是，则发送指令使机械手停止当前的工作并返回初始位置；
若否，则结束流程；
当监测到用餐客户敲桌面两下时，则生成倒茶指令，控制机械手抓取茶壶并将定量的茶水倒入发出倒茶指令的用餐客户的茶杯中。
特别地，操作终端可为镶嵌在桌面上的电子设备如触摸显示屏、录音装置等，也可为用户的个人的移动终端如手机、平板电脑等。操作终端若为镶嵌在桌面上的电子设备，则可设置其直接与控制单元相连接，数据可直接传送至控制单元；若为用户的个人的移动终端，则需要构建一个服务平台以供用户的移动终端登录，具体可通过扫码登录，也可直接从公众号的链接进入，从而使得移动终端通过网络与控制单元建立了间接地连接关系，从而实现通过移动终端将数据(取菜指令)上传至服务平台，服务平台再传送至控制单元中。
此外，所输入的指令可为文字信息，也可为语音信息。触摸显示屏、手机、平板电脑等均可输入文字信息，控制单元可以直接解析出取菜指令；而通过录音装置、手机、平板电脑等输入语音信息的话，则需要先对语音信息进行语音识别，将语音转换为文字信息之后，方可解析其取菜指令。对于语音的识别处理，可以在控制单元上处理，也可在后台服务器上进行处理。对于语音信息的识别是一项比较成熟的技术，用户通过操作终端输入的语音信息，经由语音识别引擎完成语音-文字的转换。现有的引擎的产品有很多，例如被广泛使用的世界知名的Nuance、Google(谷歌)的语音识别服务、中国国内的科大讯飞的语音识别服务等等。
作为一种优选的实施方式，还可通过摄像头定时检测餐桌上的食用情况，当盘子的食物少于预设阈值时，发送消息告知服务员，使其前往相应的餐桌收拾空盘并做下一步处理，如上新菜品或者询问用餐客户是否需要增加食物等。检测过程具体可为：通过图像识别来确定餐盘中的食物含量，具体地，识别出在图片中餐盘所占的面积大小及食物所占的面积大小，根据两者的比值来确定餐盘中的食物含量，当食物所占的面积与餐盘所占的面积之比小于百分之十时，判定为该餐盘的食物即将耗尽，发送消息通知服务人员前来清理。这种方式适用于扁平型的餐盘，而对于一些类似碗盅类的餐具，直筒型的，具有高度的这些餐具，通过面积比值来确定食物含量是比较困难的，需要用户自行判断是否需要通知服务员前来清理，因此，还可在操作终端上设置一通知模块，例如设置一按钮，按下即触发消息发送指令，将消息发送至服务员终端，告知服务员前来清理。
此外，本发明还提供了一种计算机可读存储介质，所述存储介质存储有可执行计算机程序，所述计算机程序运行时可实现如上述的基于图像识别的自动取菜方法。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (15)
1.一种基于图像识别的自动取菜系统，其特征在于，包括：摄像头、机械手、操作终端以及控制单元，所述控制单元分别与所述摄像头、所述机械手及所述操作终端连接，所述操作终端用于输入取菜指令，所述摄像头用于拍摄桌面图片以供进行图像识别得到菜品的位置坐标；
该系统可实现以下自动取菜方法：
接收操作终端的取菜指令，解析所述取菜指令以得到需要抓取的菜品的名称；
根据该菜品的名称，获取该菜品的位置坐标；
控制机械手移动至所述位置坐标后，控制机械手执行抓取动作以抓取第一餐盘中的菜品并抓取动作结束后检测机械手是否已抓取到菜品；
若否，则再次控制机械手再次执行抓取动作；
若是，则控制机械手移动至发出该取菜指令的操作终端所对应的合法区域内的第二餐盘处并将菜品放入所述第二餐盘中。
2.如权利要求1所述的自动取菜系统，其特征在于，所述根据该菜品的名称，获取该菜品的位置坐标具体为：
根据该菜品的名称，查询数据库中是否存在该菜品的位置坐标；
若否，则获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及所述识别结果确定该菜品的位置坐标，并将该菜品的名称及位置坐标存储在数据库中；
若是，则获取该菜品在数据库中的位置坐标。
3.如权利要求1所述的自动取菜系统，其特征在于，所述根据该菜品的名称，获取该菜品的位置坐标具体为：
获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标。
4.如权利要求2或3所述的自动取菜系统，其特征在于，所述获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标具体为：
获取摄像头所拍摄的图片并对图片进行预处理；
将预处理后的图片传送至菜品识别模型中进行图像识别得到识别结果，所述识别结果包含了需要抓取的菜品在图片中的位置信息；
对识别结果进行处理以得到需要抓取的菜品所在的第一餐盘在图片中的尺寸以及该第一餐盘相对于参考点的距离和方向；
根据桌子在图片中的尺寸和在实际中的尺寸得到比例值；
根据需要抓取的菜品所在的第一餐盘在图片中的尺寸、相对于参考点的距离以及所述比例值，得到菜品所在的第一餐盘的实际尺寸以及该第一餐盘与参考点的实际距离；
根据第一餐盘的实际尺寸及该第一餐盘相对于参考点的方向和实际距离得到该第一餐盘的位置坐标。
5.如权利要求4所述的基于图像识别的自动取菜系统，其特征在于，所述机械手设置在桌面中心且以桌面中心为参考点，所述摄像头设置在所述桌面上方以保证拍摄桌面全景。
6.如权利要求5所述的基于图像识别的自动取菜系统，其特征在于，所述自动取菜方法还包括：实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令。
7.如权利要求6所述的基于图像识别的自动取菜系统，其特征在于，所述实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令具体为：
实时监测用餐客户的肢体动作；
当监测到用餐客户摇头或摆手时，判断机械手是否正在工作；
若是，则发送指令使机械手停止当前的工作并返回初始位置；
若否，则结束流程；
当监测到用餐客户敲桌面两下时，则生成倒茶指令，控制机械手抓取茶壶并将定量的茶水倒入发出倒茶指令的用餐客户的茶杯中。
8.一种基于图像识别的自动取菜方法，其特征在于，包括以下步骤：
接收操作终端的取菜指令，解析所述取菜指令以得到需要抓取的菜品的名称；
根据该菜品的名称，获取该菜品的位置坐标；
控制机械手移动至所述位置坐标后，控制机械手执行抓取动作以抓取第一餐盘中的菜品并抓取动作结束后检测机械手是否已抓取到菜品；
若否，则再次控制机械手再次执行抓取动作；
若是，则控制机械手移动至发出该取菜指令的操作终端所对应的合法区域内的第二餐盘处并将菜品放入所述第二餐盘中。
9.如权利要求8所述的基于图像识别的自动取菜方法，其特征在于，所述根据该菜品的名称，获取该菜品的位置坐标具体为：
根据该菜品的名称，查询数据库中是否存在该菜品的位置坐标；
若否，则获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及所述识别结果确定该菜品的位置坐标，并将该菜品的名称及位置坐标存储在数据库中；
若是，则获取该菜品在数据库中的位置坐标。
10.如权利要求8所述的基于图像识别的自动取菜方法，其特征在于，所述根据该菜品的名称，获取该菜品的位置坐标具体为：
获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标。
11.如权利要求9或10所述的基于图像识别的自动取菜方法，其特征在于，所述获取摄像头所拍摄的图片并使用菜品识别模型对图片进行图像识别得到识别结果，根据该菜品的名称以及识别结果确定该菜品的位置坐标具体为：
获取摄像头所拍摄的图片并对图片进行预处理；
将预处理后的图片传送至菜品识别模型中进行图像识别得到识别结果，所述识别结果包含了需要抓取的菜品在图片中的位置信息；
对识别结果进行处理以得到需要抓取的菜品所在的第一餐盘在图片中的尺寸以及该第一餐盘相对于参考点的距离和方向；
根据桌子在图片中的尺寸和在实际中的尺寸得到比例值；
根据需要抓取的菜品所在的第一餐盘在图片中的尺寸、相对于参考点的距离以及所述比例值，得到菜品所在的第一餐盘的实际尺寸以及该第一餐盘与参考点的实际距离；
根据第一餐盘的实际尺寸及该第一餐盘相对于参考点的方向和实际距离得到该第一餐盘的位置坐标。
12.如权利要求11所述的基于图像识别的自动取菜方法，其特征在于，所述机械手设置在桌面中心且以桌面中心为参考点，所述摄像头设置在所述桌面上方以保证拍摄桌面全景。
13.如权利要求12所述的基于图像识别的自动取菜方法，其特征在于，还包括：实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令。
14.如权利要求13所述的基于图像识别的自动取菜方法，其特征在于，所述实时监测用餐客户的肢体动作，并根据所述肢体动作执行对应的指令具体为：
实时监测用餐客户的肢体动作；
当监测到用餐客户摇头或摆手时，判断机械手是否正在工作；
若是，则发送指令使机械手停止当前的工作并返回初始位置；
若否，则结束流程；
当监测到用餐客户敲桌面两下时，则生成倒茶指令，控制机械手抓取茶壶并将定量的茶水倒入发出倒茶指令的用餐客户的茶杯中。
15.一种计算机可读存储介质，其特征在于，所述存储介质存储有可执行计算机程序，所述计算机程序运行时可实现如权利要求8至14任一项所述的基于图像识别的自动取菜方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811456478.XA CN109848982A (zh) | 2018-11-30 | 2018-11-30 | 一种基于图像识别的自动取菜方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811456478.XA CN109848982A (zh) | 2018-11-30 | 2018-11-30 | 一种基于图像识别的自动取菜方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109848982A true CN109848982A (zh) | 2019-06-07 |
Family
ID=66890508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811456478.XA Pending CN109848982A (zh) | 2018-11-30 | 2018-11-30 | 一种基于图像识别的自动取菜方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109848982A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110355322A (zh) * | 2019-07-11 | 2019-10-22 | 爱驰汽车有限公司 | 铆模选取系统及方法 |
| CN110969229A (zh) * | 2019-12-13 | 2020-04-07 | 广州富港万嘉智能科技有限公司 | 一种智能用餐平台的控制方法及智能用餐平台和存储介质 |
| CN111192167A (zh) * | 2019-12-13 | 2020-05-22 | 广州富港万嘉智能科技有限公司 | 基于移动终端的服务平台的工作方法、装置及存储介质 |
| CN111241315A (zh) * | 2020-01-07 | 2020-06-05 | 北京小米移动软件有限公司 | 食物摆盘方法、装置及介质 |
| CN112711993A (zh) * | 2020-12-18 | 2021-04-27 | 青岛小鸟看看科技有限公司 | 基于智能投影的信息采集方法、系统 |
| CN112830237A (zh) * | 2021-01-13 | 2021-05-25 | 广东智源机器人科技有限公司 | 移动控制方法、装置、设备以及烹饪系统 |
| CN113942857A (zh) * | 2021-09-27 | 2022-01-18 | 江西高亿科技有限公司 | 一种透明膜片抓取装置、抓取方法及雨伞制作系统 |
| CN114743153A (zh) * | 2022-06-10 | 2022-07-12 | 北京航空航天大学杭州创新研究院 | 基于视频理解的无感取菜模型建立、取菜方法及装置 |
| CN114973237A (zh) * | 2022-06-07 | 2022-08-30 | 慧之安信息技术股份有限公司 | 基于图象识别的光盘率检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103230205A (zh) * | 2013-05-21 | 2013-08-07 | 姬志刚 | 一种自动帮助抓取圆周排列的盘中食物的装置和系统 |
| CN107015651A (zh) * | 2017-04-05 | 2017-08-04 | 上海心勍信息科技有限公司 | 一种基于人脸识别的用餐互动系统 |
| CN107443428A (zh) * | 2016-05-30 | 2017-12-08 | 杭州开浦科技有限公司 | 一种带视觉识别水平关节机械手及视觉识别方法 |
| CN107480129A (zh) * | 2017-07-18 | 2017-12-15 | 上海斐讯数据通信技术有限公司 | 一种基于视觉识别和语音识别的物品位置识别方法及系统 |
| CN107571260A (zh) * | 2017-10-25 | 2018-01-12 | 南京阿凡达机器人科技有限公司 | 控制机器人抓取物体的方法和装置 |
| JP2018078371A (ja) * | 2016-11-07 | 2018-05-17 | オリンパス株式会社 | 移動撮影装置、移動撮影指示装置、撮影機器及び移動撮影システム |
| CN108844534A (zh) * | 2018-04-27 | 2018-11-20 | 北京小米移动软件有限公司 | 位置信息的获取方法及装置、存储介质 |
| CN108876662A (zh) * | 2018-06-07 | 2018-11-23 | 郑州云海信息技术有限公司 | 智能餐饮服务方法、系统、智能服务中心以及智能终端 |
-
2018
- 2018-11-30 CN CN201811456478.XA patent/CN109848982A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103230205A (zh) * | 2013-05-21 | 2013-08-07 | 姬志刚 | 一种自动帮助抓取圆周排列的盘中食物的装置和系统 |
| CN107443428A (zh) * | 2016-05-30 | 2017-12-08 | 杭州开浦科技有限公司 | 一种带视觉识别水平关节机械手及视觉识别方法 |
| JP2018078371A (ja) * | 2016-11-07 | 2018-05-17 | オリンパス株式会社 | 移動撮影装置、移動撮影指示装置、撮影機器及び移動撮影システム |
| CN107015651A (zh) * | 2017-04-05 | 2017-08-04 | 上海心勍信息科技有限公司 | 一种基于人脸识别的用餐互动系统 |
| CN107480129A (zh) * | 2017-07-18 | 2017-12-15 | 上海斐讯数据通信技术有限公司 | 一种基于视觉识别和语音识别的物品位置识别方法及系统 |
| CN107571260A (zh) * | 2017-10-25 | 2018-01-12 | 南京阿凡达机器人科技有限公司 | 控制机器人抓取物体的方法和装置 |
| CN108844534A (zh) * | 2018-04-27 | 2018-11-20 | 北京小米移动软件有限公司 | 位置信息的获取方法及装置、存储介质 |
| CN108876662A (zh) * | 2018-06-07 | 2018-11-23 | 郑州云海信息技术有限公司 | 智能餐饮服务方法、系统、智能服务中心以及智能终端 |
Non-Patent Citations (1)
| Title |
|---|
| 林强等: "《行为识别与智能计算》", 30 November 2016, 西安电子科技大学出版社 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110355322B (zh) * | 2019-07-11 | 2021-07-13 | 爱驰汽车有限公司 | 铆模选取系统及方法 |
| CN110355322A (zh) * | 2019-07-11 | 2019-10-22 | 爱驰汽车有限公司 | 铆模选取系统及方法 |
| CN110969229A (zh) * | 2019-12-13 | 2020-04-07 | 广州富港万嘉智能科技有限公司 | 一种智能用餐平台的控制方法及智能用餐平台和存储介质 |
| CN111192167A (zh) * | 2019-12-13 | 2020-05-22 | 广州富港万嘉智能科技有限公司 | 基于移动终端的服务平台的工作方法、装置及存储介质 |
| CN111241315A (zh) * | 2020-01-07 | 2020-06-05 | 北京小米移动软件有限公司 | 食物摆盘方法、装置及介质 |
| CN112711993A (zh) * | 2020-12-18 | 2021-04-27 | 青岛小鸟看看科技有限公司 | 基于智能投影的信息采集方法、系统 |
| CN112830237A (zh) * | 2021-01-13 | 2021-05-25 | 广东智源机器人科技有限公司 | 移动控制方法、装置、设备以及烹饪系统 |
| CN113942857A (zh) * | 2021-09-27 | 2022-01-18 | 江西高亿科技有限公司 | 一种透明膜片抓取装置、抓取方法及雨伞制作系统 |
| CN113942857B (zh) * | 2021-09-27 | 2024-05-28 | 江西高亿科技有限公司 | 一种透明膜片抓取装置、抓取方法及雨伞制作系统 |
| CN114973237A (zh) * | 2022-06-07 | 2022-08-30 | 慧之安信息技术股份有限公司 | 基于图象识别的光盘率检测方法 |
| CN114973237B (zh) * | 2022-06-07 | 2023-01-10 | 慧之安信息技术股份有限公司 | 基于图象识别的光盘率检测方法 |
| CN114743153A (zh) * | 2022-06-10 | 2022-07-12 | 北京航空航天大学杭州创新研究院 | 基于视频理解的无感取菜模型建立、取菜方法及装置 |
| CN114743153B (zh) * | 2022-06-10 | 2022-09-30 | 北京航空航天大学杭州创新研究院 | 基于视频理解的无感取菜模型建立、取菜方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109848982A (zh) | 一种基于图像识别的自动取菜方法、系统及存储介质 | |
| CN109816561A (zh) | 一种自动取菜方法、系统及存储介质 | |
| US10607167B2 (en) | System and method for intelligent task management and routing based on physiological sensor input data | |
| US20190036987A1 (en) | Techniques for augmented social networking | |
| CN113792625A (zh) | 一种具有状态监控功能的智能桌、状态监控系统及服务器 | |
| CN109599105A (zh) | 基于图像及语音识别的自动取菜方法、系统及存储介质 | |
| EP3526732B1 (en) | Complexity reduction of human interacted object recognition | |
| CN104754153B (zh) | 客服系统及其客户服务方法 | |
| CN105704386B (zh) | 一种图像获取方法、电子设备及电子装置 | |
| US20170104872A1 (en) | System and Method for Intelligent Task Management and Routing Based on Location Sensor Input Data | |
| CN105512501A (zh) | 一种智能饮食分析系统 | |
| CN109963114A (zh) | 一种就餐检测装置、方法、服务器及系统 | |
| CN110781805A (zh) | 一种目标物体检测方法、装置、计算设备和介质 | |
| TW202006616A (zh) | 物流對象配送資訊的獲取方法、裝置和系統 | |
| WO2015051657A1 (zh) | 一种用户搜索方法及装置 | |
| CN106295617A (zh) | 基于深度学习的人脸识别服务器集群 | |
| CN105323388A (zh) | 来电呼叫的处理方法、服务器和来电设置方法、移动终端 | |
| CN112019800A (zh) | 图像分享方法、装置、吸油烟机及存储介质 | |
| CN110011898A (zh) | 电子邮件的回复方法、装置、存储介质及计算机设备 | |
| CN110796017A (zh) | 物品遗落的确定方法和装置、模型训练方法和装置 | |
| CN112491692A (zh) | 定时收集信息方法、系统、计算机可读存储介质及电子设备 | |
| CN109822561A (zh) | 一种基于语音识别的自动取菜方法、系统及存储介质 | |
| CN104202426B (zh) | 网络帐户建立连接的方法及其网络终端设备、云端设备 | |
| CN211349396U (zh) | 一种智能用餐平台 | |
| CN110363683A (zh) | 商品监控方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |