CN109822561A - 一种基于语音识别的自动取菜方法、系统及存储介质 - Google Patents

一种基于语音识别的自动取菜方法、系统及存储介质 Download PDF

Info

Publication number
CN109822561A
CN109822561A CN201811456479.4A CN201811456479A CN109822561A CN 109822561 A CN109822561 A CN 109822561A CN 201811456479 A CN201811456479 A CN 201811456479A CN 109822561 A CN109822561 A CN 109822561A
Authority
CN
China
Prior art keywords
service plate
manipulator
vegetable
placement region
plate placement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811456479.4A
Other languages
English (en)
Inventor
傅峰峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fugang Wanjia Intelligent Technology Co Ltd
Original Assignee
Guangzhou Fugang Wanjia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fugang Wanjia Intelligent Technology Co Ltd filed Critical Guangzhou Fugang Wanjia Intelligent Technology Co Ltd
Priority to CN201811456479.4A priority Critical patent/CN109822561A/zh
Publication of CN109822561A publication Critical patent/CN109822561A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于语音识别的自动取菜方法、系统及存储介质,该系统包括:语音输入单元、控制单元以及机械手;控制单元分别与语音输入单元、机械手连接;餐桌桌面具有若干个第一餐盘放置区域和若干个第二餐盘放置区域,每个第一餐盘放置区域以及每个第二餐盘放置区域均设有对应的唯一性标注,以机械手为参考点,将各个第一餐盘放置区域及各个第二餐盘放置区域相对于机械手的坐标存储在所述控制单元中,该系统可实现自动取菜方法。该系统使得用户可通过语音输入单元输入取菜指令,并且该语音输入单元能够根据声源进行定位以确定用户的位置,从而控制单元控制机械手将相应的菜品抓取到用户的餐盘中,解决了用户想夹取远处的菜品时的尴尬。

Description

一种基于语音识别的自动取菜方法、系统及存储介质
技术领域
本发明涉及自动化技术领域,尤其涉及一种基于语音识别的自动取菜方法、系统及存储介质。
背景技术
由于某些餐桌较大,人们在夹菜的时候经常会出现远处的菜品够不着的情况,遇到这种情况,有些人会站起来夹取自己想吃的菜品,但是,对于某些用餐场景来说,站起来夹菜会显得不礼貌,并且很多人也会因为觉得不好意思站起来夹菜而放弃远处的菜品。
为了解决这个问题,出现了旋转桌面,用户可通过将自己想吃的菜品旋转至自己能够夹取的范围内。但是,也有很多人碍于面子,不好意思经常旋转桌子,导致没法吃到离自己比较远而自己又喜欢吃的食物。
发明内容
为了克服现有技术的不足,本发明的目的之一在于提供一种基于语音识别的自动取菜系统,其能根据用户需求,自动为用户夹菜,无需用户站起或旋转桌面。
本发明的目的之二在于提供一种基于语音识别的自动取菜方法,其能根据用户需求,自动为用户夹菜,无需用户站起或旋转桌面。
本发明的目的之三在于提供一种计算机可读存储介质,该存储介质中的程序运行时能根据用户需求,自动为用户夹菜,无需用户站起或旋转桌面。
本发明的目的之一采用如下技术方案实现:
一种基于语音识别的自动取菜系统,包括:语音输入单元、控制单元以及机械手;所述控制单元分别与所述语音输入单元、所述机械手连接;餐桌桌面具有若干个第一餐盘放置区域和若干个第二餐盘放置区域,每个第一餐盘放置区域以及每个第二餐盘放置区域均设有对应的唯一性标注,以机械手为参考点,将各个第一餐盘放置区域及各个第二餐盘放置区域相对于机械手的坐标存储在所述控制单元中;
该系统可实现以下方法:
唤醒词匹配步骤:
实时接收语音输入单元所输入的语音信息并将所述语音信息与唤醒词语音信息进行匹配;
若匹配不成功,则继续执行唤醒词匹配步骤;
若匹配成功,则启动语音识别步骤;
语音识别步骤:
捕捉声源所在位置并监听该声源的语音信息;
在预设时间内,识别该声源所发出的语音信息是否具有取菜指令,所述取菜指令包含待抓取的菜品所在的第一餐盘放置区域的唯一性标注;
若否,则结束当前流程并返回唤醒词匹配步骤;
若是,则进入菜品抓取步骤;
菜品抓取步骤:
根据所述取菜指令中的唯一性标注,控制机械手移动至对应的第一餐盘放置区域处;
当机械手移动至对应的第一餐盘放置区域后,控制机械手执行抓取动作以抓取所述第一餐盘内的菜品并在抓取动作结束后检测机械手是否已抓取到菜品;
若否,则控制机械手再次执行抓取动作;
若是,则控制机械手移动至最接近所述声源所在位置的第二餐盘放置区域处以将抓取的菜品放入第二餐盘中。
进一步地,所述菜品抓取步骤还包括:在机械手工作过程中,实时监听所述声源所发出的语音信息并进行语音识别,当该语音信息包含了预设的拒绝用语时,则发送指令使机械手放弃抓取并返回初始位置。
进一步地,所述发送指令使机械手放弃抓取并返回初始位置具体为:
判断机械手当前状态;
若是机械手未抓取待菜品,则发送指令使机械手放弃抓取,直接返回初始位置;
若是机械手已抓取到菜品,则发送指令使机械手将菜品放回至原第一餐盘后再返回初始位置。
进一步地,所述语音输入单元采用环形的麦克风阵列。
进一步地,所述唯一性标注为标号,所述根据所述取菜指令中的唯一性标注控制机械手移动至对应的第一餐盘放置区域处具体为:
根据所述取菜指令中的第一餐盘放置区域的标号,查询数据库中该标号所对应的第一餐盘放置区域的位置坐标,该位置坐标是以机械手为参考点确定的;
根据该位置坐标控制所述机械手移动至待取菜的第一餐盘放置区域处。
本发明的目的之二采用如下技术方案实现:
一种基于语音识别的自动取菜方法,包括以下步骤:
唤醒词匹配步骤:
实时接收语音输入单元所输入的语音信息并将所述语音信息与唤醒词语音信息进行匹配;
若匹配不成功,则继续执行唤醒词匹配步骤;
若匹配成功,则启动语音识别步骤;
语音识别步骤:
捕捉声源所在位置并监听该声源的语音信息;
在预设时间内,识别该声源所发出的语音信息是否具有取菜指令,所述取菜指令包含待抓取的菜品所在的第一餐盘放置区域的唯一性标注;
若否,则结束当前流程并返回唤醒词匹配步骤;
若是,则进入菜品抓取步骤;
菜品抓取步骤:
根据所述取菜指令中的唯一性标注,控制机械手移动至对应的第一餐盘放置区域处;
当机械手移动至对应的第一餐盘放置区域后,控制机械手执行抓取动作以抓取所述第一餐盘内的菜品并在抓取动作结束后检测机械手是否已抓取到菜品;
若否,则控制机械手再次执行抓取动作;
若是,则控制机械手移动至最接近所述声源所在位置的第二餐盘放置区域处以将抓取的菜品放入第二餐盘中。
进一步地,所述菜品抓取步骤还包括:在机械手工作过程中,实时监听所述声源所发出的语音信息并进行语音识别,当该语音信息包含了预设的拒绝用语时,则发送指令使机械手放弃抓取并返回初始位置。
进一步地,所述发送指令使机械手放弃抓取并返回初始位置具体为:
判断机械手当前状态;
若是机械手未抓取待菜品,则发送指令使机械手放弃抓取,直接返回初始位置;
若是机械手已抓取到菜品,则发送指令使机械手将菜品放回至原第一餐盘后再返回初始位置。
进一步地,所述语音输入单元采用环形的麦克风阵列。
进一步地,所述唯一性标注为标号,所述根据所述取菜指令中的唯一性标注控制机械手移动至对应的第一餐盘放置区域处具体为:
根据所述取菜指令中的第一餐盘放置区域的标号,查询数据库中该标号所对应的第一餐盘放置区域的位置坐标,该位置坐标是以机械手为参考点确定的;
根据该位置坐标控制所述机械手移动至待取菜的第一餐盘放置区域处。
本发明的目的之三采用如下技术方案实现:
一种计算机可读存储介质,所述存储介质存储有可执行计算机程序,所述计算机程序运行时可实现如上述的基于语音识别的自动取菜方法。
相比现有技术,本发明的有益效果在于:
该自动取菜系统主要由控制单元、机械手及语音输入单元组成,用户可通过语音输入单元输入取菜指令,并且该语音输入单元能够根据声源进行定位以确定用户的位置,从而控制单元控制机械手将相应的菜品抓取到用户的餐盘中,解决了用户想夹取远处的菜品时的尴尬。
附图说明
图1为本发明提供的一种基于语音识别的自动取菜系统的结构框图;
图2为本发明提供的一种基于语音识别的自动取菜方法的流程示意图。
具体实施方式
下面,结合附图以及具体实施方式,对本发明做进一步描述,需要说明的是,在不相冲突的前提下,以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
请参阅图1,其为一种基于语音识别的自动取菜系统的结构框图,包括:语音输入单元、控制单元以及机械手;所述控制单元分别与所述语音输入单元、所述机械手连接;餐桌桌面具有若干个第一餐盘放置区域和若干个第二餐盘放置区域,每个第一餐盘放置区域以及每个第二餐盘放置区域均设有对应的唯一性标注,以机械手为参考点,将各个第一餐盘放置区域及各个第二餐盘放置区域相对于机械手的坐标存储在所述控制单元中;
该系统可实现以下方法:
唤醒词匹配步骤:
实时接收语音输入单元所输入的语音信息并将所述语音信息与唤醒词语音信息进行匹配;
若匹配不成功,则继续执行唤醒词匹配步骤;
若匹配成功,则启动语音识别步骤;
语音识别步骤:
捕捉声源所在位置并监听该声源的语音信息;
在预设时间内,识别该声源所发出的语音信息是否具有取菜指令,所述取菜指令包含待抓取的菜品所在的第一餐盘放置区域的唯一性标注;
若否,则结束当前流程并返回唤醒词匹配步骤;
若是,则进入菜品抓取步骤;
菜品抓取步骤:
根据所述取菜指令中的唯一性标注,控制机械手移动至对应的第一餐盘放置区域处;
当机械手移动至对应的第一餐盘放置区域后,控制机械手执行抓取动作以抓取所述第一餐盘内的菜品并在抓取动作结束后检测机械手是否已抓取到菜品;
若否,则控制机械手再次执行抓取动作;
若是,则控制机械手移动至最接近所述声源所在位置的第二餐盘放置区域处以将抓取的菜品放入第二餐盘中。
通过在餐馆的餐桌是设置该系统,用户想要吃某个菜品时,先说出唤醒词,例如取菜,然后再说出所需要抓取的菜品所在的区域的唯一性标注,然后语音输入单元将用户的语音信息传送至控制单元,控制单元根据语音信息中的取菜指令控制机械手将相应的菜品抓取到用户的餐盘中,无需用户动手,用户只需像平常说话一样即可,机械手自动将菜品抓取到跟前,像是旁边站着一位服务员在专门为其服务一般,用户体验佳。
需要说明的是,在本实施例中,第二餐盘的位置是固定的,系统中存储有第二餐盘的位置坐标,当定位到声源的位置时,判断哪个第二餐盘的位置坐标与声源位置最接近,则判定该第二餐盘为发出取菜指令的用户的餐盘。
作为一种优选的实施方式,所述菜品抓取步骤还包括:在机械手工作过程中,实时监听所述声源所发出的语音信息并进行语音识别,当该语音信息包含了预设的拒绝用语时,则发送指令使机械手放弃抓取并返回初始位置。由于可能会存在用户说错取菜指令或者突然不想吃了的情况,通过该方式,使得用户可以在机械手将菜品抓取到自己的餐盘中之前,取消抓取。所述发送指令使机械手放弃抓取并返回初始位置具体为:
判断机械手当前状态;
若是机械手未抓取待菜品,则发送指令使机械手放弃抓取,直接返回初始位置;
若是机械手已抓取到菜品,则发送指令使机械手将菜品放回至原第一餐盘后再返回初始位置。
作为一种优选的实施方式,所述语音输入单元采用环形的麦克风阵列。通过在桌面设置一个环形的麦克风阵列,首先通过一个唤醒词来唤醒启动语音识别,也就是先通过唤醒词的语音匹配,当唤醒词语音匹配成功之后则启动语音识别,将语音信息识别成文字信息;采用MEMS麦克风阵列来实现声源定位,在唤醒的过程中可自动地定位到用户所在的位置,在启动了语音识别之后,控制单元会通过麦克风阵列监听目标位置处的用户所说的话,并将语音信息传送到服务器上进行识别处理,然后根据服务器所返回的识别结果执行相应的操作。
作为一种变形的实施方式,所述语音输入单元可为用户的移动终端,当用户在进餐时,可通过网络将手机与控制单元进行连接,例如可设置一个取菜平台,手机可通过扫码或者直接从公众号进入到取菜平台,然后语音录入取菜指令,控制单元接收到该取菜指令时,控制机械手执行取菜动作的同时,定位该手机的位置,然后确定用户的餐盘的位置,进而使得机械手在第一餐盘中抓取到菜品时,送至目标用户的餐盘中。
优选地,机械手可设有多个,使得可以同时为多个用户夹菜,避免出现多个用户排队等候夹菜的情况。
作为一种优选的实施方式,所述唯一性标注为标号,当用户想要吃1号第一餐盘放置区域的菜品时,直接说出:取菜,1号,即可。具体地,所述根据所述取菜指令中的唯一性标注控制机械手移动至对应的第一餐盘放置区域处具体为:
根据所述取菜指令中的第一餐盘放置区域的标号,查询数据库中该标号所对应的第一餐盘放置区域的位置坐标,该位置坐标是以机械手为参考点确定的,机械手设置在桌面中心,因此参考点即为桌面中心;
根据该位置坐标控制所述机械手移动至待取菜的第一餐盘放置区域处。
通过该方式,根据标号,事先将各个第一餐盘放置区域的标号以及坐标的对应关系保存在系统中,然后识别出用户的取菜指令中的标号即可得到目标第一餐盘放置区域的坐标了,进而根据坐标控制机械手进行抓取。
此外,作为一种变形的实施方式,唯一性标注也可采用颜色,通过不同的颜色来对各个第一餐盘放置区域进行标记,将其颜色与坐标的对应关系保存在系统中即可。由于需事先将坐标保存在系统中,因此,对于第一餐盘的放置需严格按照位置坐标来进行放置,若是放置位置出现偏差,可能会导致无法夹取到对应的菜品的情况出现。此方式的弊端是第一餐盘放置的位置必须严格按照规则来放置,无法随意摆放。
当然了,第一餐盘的放置位置也不是必须固定的,当第一餐盘和第一餐盘放置区域满足以下关系时,则第一餐盘在其放置区域中的位置无需固定,具体如下:一个区域内对应放置一个餐盘,区域的尺寸与所放置的餐盘的尺寸需满足关系:其中,X为餐盘的长度,Y为餐盘的宽度,N为区域的长度,M为区域的宽度;满足以上关系时,第一餐盘放置区域的中心始终会存在餐盘,因此,可直接设定抓取坐标为第一餐盘放置区域的中心坐标即可,每个均是在区域的中心处执行抓取动作。但是,也会存在某些菜品仅是放置在餐盘的中心处,而餐盘的外围是没有菜品的,这样一来,还是可能会出现无法抓取到菜品的情况。为了解决这个问题,可通过设置一偏移量,当机械手执行抓取动作之后没有抓取到菜品时,逐次将机械手沿上下左右移动至距离原位置(区域中心)一定的位移处进行抓取,直到抓取到菜品为止。具体地,当第一次机械手没有抓取到菜品时,控制机械手向左移动一定的位移,然后进行抓取,判断是否已抓取到菜品,若否,则控制机械手返回至原位置(第一次抓取的位置,即区域中心)再向右移动一定位移进行抓取,再判断是否已抓取到菜品,若是,则送至用户的餐盘中,若否,则再控制机械手返回原位置再向上移动一定位移进行抓取,以此类推,直至抓取到菜品为止。
需要实现第一餐盘在其放置区域中可随意摆放的话,可采用图像识别的方式,该方式需要增加一摄像头,该摄像头与控制单元连接。无需将各个第一餐盘放置区域的坐标保存好,只需通过图像识别来识别出对应颜色的第一餐盘放置区域进而识别出该区域中的第一餐盘的位置,从而根据该位置控制机械手进行抓取。如此一来,只需要第一餐盘放置在某个颜色的第一餐盘放置区域内即可实现抓取,无需固定放置在区域的某个位置范围内,由于是对第一餐盘的位置进行识别的,因此,不会出现由于机械手偏离了第一餐盘的位置而导致无法抓取待菜品的情况。
具体地,根据图像识别来确定第一餐盘的位置坐标具体过程如下:
获取摄像头所拍摄的图片并对图片进行预处理;
将预处理后的图片传送至识别模型中进行图像识别得到识别结果,所述识别结果是各个颜色的第一餐盘放置区域和第一餐盘的位置及他们的类别;
从识别结果中获取目标颜色的第一餐盘放置区域中的第一餐盘在图片的尺寸,并且获取目标颜色的第一餐盘放置区域相对于参考点(桌面中心)的距离及方向;具体地,以桌面中心为极点O,从桌面中心向某方向引出一条射线作为极轴OX,建立一个极坐标系,再取定一个单位长度,规定角度取逆时针方向为正,这样,桌面上的任意一点P的位置就可以用线段OP的长度以及从OX到OP的角度来确定;
根据桌子在图片中的尺寸和在实际中的尺寸得到比例值;
根据目标颜色的第一餐盘放置区域中的第一餐盘在图片中的尺寸、相对于参考点的距离以及所述比例值,得到菜品所在的第一餐盘的实际尺寸以及该第一餐盘与参考点的实际距离;
根据第一餐盘的实际尺寸及该第一餐盘相对于参考点的方向和实际距离得到该第一餐盘的实际位置坐标。
此外,作为一种优选的实施方式,还可通过该系统通知服务员前来清理垃圾或者加菜等。具体地,可通过唤醒词来唤醒通知功能,例如,唤醒词可为“垃圾清理”,然后接着说出餐桌号,语音输入单元将该语音信息传送给控制单元,控制单元将语音信息传送至后台服务器进行语音识别从而得到餐桌号之后,发送信息通知服务员前来清理;加菜功能以此类推,不再赘述。
需要说明的是,对于语音信息的识别,可以是控制单元自身进行识别处理,也可是将其传送到后台服务器进行识别处理,本发明对此不作限定。
请参阅图2,本发明还提供了一种基于语音识别的自动取菜方法,包括以下步骤:
唤醒词匹配步骤:
实时接收语音输入单元所输入的语音信息并将所述语音信息与唤醒词语音信息进行匹配;
若匹配不成功,则继续执行唤醒词匹配步骤;
若匹配成功,则启动语音识别步骤;
语音识别步骤:
捕捉声源所在位置并监听该声源的语音信息;
在预设时间内,识别该声源所发出的语音信息是否具有取菜指令,所述取菜指令包含待抓取的菜品所在的第一餐盘放置区域的唯一性标注;
若否,则结束当前流程并返回唤醒词匹配步骤;
若是,则进入菜品抓取步骤;
菜品抓取步骤:
根据所述取菜指令中的唯一性标注,控制机械手移动至对应的第一餐盘放置区域处;
当机械手移动至对应的第一餐盘放置区域后,控制机械手执行抓取动作以抓取所述第一餐盘内的菜品并在抓取动作结束后检测机械手是否已抓取到菜品;
若否,则控制机械手再次执行抓取动作;
若是,则控制机械手移动至最接近所述声源所在位置的第二餐盘放置区域处以将抓取的菜品放入第二餐盘中。
作为一种优选的实施方式,所述菜品抓取步骤还包括:在机械手工作过程中,实时监听所述声源所发出的语音信息并进行语音识别,当该语音信息包含了预设的拒绝用语时,则发送指令使机械手放弃抓取并返回初始位置。
作为一种优选的实施方式,所述发送指令使机械手放弃抓取并返回初始位置具体为:
判断机械手当前状态;
若是机械手未抓取待菜品,则发送指令使机械手放弃抓取,直接返回初始位置;
若是机械手已抓取到菜品,则发送指令使机械手将菜品放回至原第一餐盘后再返回初始位置。
作为一种优选的实施方式,所述语音输入单元采用环形的麦克风阵列。
作为一种优选的实施方式,所述唯一性标注为标号,所述根据所述取菜指令中的唯一性标注控制机械手移动至对应的第一餐盘放置区域处具体为:
根据所述取菜指令中的第一餐盘放置区域的标号,查询数据库中该标号所对应的第一餐盘放置区域的位置坐标,该位置坐标是以机械手为参考点确定的;
根据该位置坐标控制所述机械手移动至待取菜的第一餐盘放置区域处。
此外,作为一种变形的实施方式,唯一性标注也可采用颜色,通过不同的颜色来对各个第一餐盘放置区域进行标记,将其颜色与坐标的对应关系保存在系统中即可。由于需事先将坐标保存在系统中,因此,对于第一餐盘的放置需严格按照位置坐标来进行放置,若是放置位置出现偏差,可能会导致无法夹取到对应的菜品的情况出现。此方式的弊端是第一餐盘放置的位置必须严格按照规则来放置,无法随意摆放。
当然了,第一餐盘的放置位置也不是必须固定的,当第一餐盘和第一餐盘放置区域满足以下关系时,则第一餐盘在其放置区域中的位置无需固定,具体如下:一个区域内对应放置一个餐盘,区域的尺寸与所放置的餐盘的尺寸需满足关系:其中,X为餐盘的长度,Y为餐盘的宽度,N为区域的长度,M为区域的宽度;满足以上关系时,第一餐盘放置区域的中心始终会存在餐盘,因此,可直接设定抓取坐标为第一餐盘放置区域的中心坐标即可,每个均是在区域的中心处执行抓取动作。但是,也会存在某些菜品仅是放置在餐盘的中心处,而餐盘的外围是没有菜品的,这样一来,还是可能会出现无法抓取到菜品的情况。为了解决这个问题,可通过设置一偏移量,当机械手执行抓取动作之后没有抓取到菜品时,逐次将机械手沿上下左右移动至距离原位置(区域中心)一定的位移处进行抓取,直到抓取到菜品为止。具体地,当第一次机械手没有抓取到菜品时,控制机械手向左移动一定的位移,然后进行抓取,判断是否已抓取到菜品,若否,则控制机械手返回至原位置(第一次抓取的位置,即区域中心)再向右移动一定位移进行抓取,再判断是否已抓取到菜品,若是,则送至用户的餐盘中,若否,则再控制机械手返回原位置再向上移动一定位移进行抓取,以此类推,直至抓取到菜品为止。
需要实现第一餐盘在其放置区域中可随意摆放的话,可采用图像识别的方式,该方式需要增加一摄像头,该摄像头与控制单元连接。无需将各个第一餐盘放置区域的坐标保存好,只需通过图像识别来识别出对应颜色的第一餐盘放置区域进而识别出该区域中的第一餐盘的位置,从而根据该位置控制机械手进行抓取。如此一来,只需要第一餐盘放置在某个颜色的第一餐盘放置区域内即可实现抓取,无需固定放置在区域的某个位置范围内,由于是对第一餐盘的位置进行识别的,因此,不会出现由于机械手偏离了第一餐盘的位置而导致无法抓取待菜品的情况。
具体地,根据图像识别来确定第一餐盘的位置坐标具体过程如下:
获取摄像头所拍摄的图片并对图片进行预处理;
将预处理后的图片传送至识别模型中进行图像识别得到识别结果,所述识别结果是各个颜色的第一餐盘放置区域和第一餐盘的位置及他们的类别;
从识别结果中获取目标颜色的第一餐盘放置区域中的第一餐盘在图片的尺寸,并且获取目标颜色的第一餐盘放置区域相对于参考点(桌面中心)的距离及方向;具体地,以桌面中心为极点O,从桌面中心向某方向引出一条射线作为极轴OX,建立一个极坐标系,再取定一个单位长度,规定角度取逆时针方向为正,这样,桌面上的任意一点P的位置就可以用线段OP的长度以及从OX到OP的角度来确定;
根据桌子在图片中的尺寸和在实际中的尺寸得到比例值;
根据目标颜色的第一餐盘放置区域中的第一餐盘在图片中的尺寸、相对于参考点的距离以及所述比例值,得到菜品所在的第一餐盘的实际尺寸以及该第一餐盘与参考点的实际距离;
根据第一餐盘的实际尺寸及该第一餐盘相对于参考点的方向和实际距离得到该第一餐盘的实际位置坐标。
此外,作为一种优选的实施方式,还可通过该系统通知服务员前来清理垃圾或者加菜等。具体地,可通过唤醒词来唤醒通知功能,例如,唤醒词可为“垃圾清理”,然后接着说出餐桌号,语音输入单元将该语音信息传送给控制单元,控制单元将语音信息传送至后台服务器进行语音识别从而得到餐桌号之后,发送信息通知服务员前来清理;加菜功能以此类推,不再赘述。
此外,本发明还提供了一种计算机可读存储介质,所述存储介质存储有可执行计算机程序,所述计算机程序运行时可实现如上述的基于语音识别的自动取菜方法。
上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (11)

1.一种基于语音识别的自动取菜系统,其特征在于,包括:语音输入单元、控制单元以及机械手;所述控制单元分别与所述语音输入单元、所述机械手连接;餐桌桌面具有若干个第一餐盘放置区域和若干个第二餐盘放置区域,每个第一餐盘放置区域以及每个第二餐盘放置区域均设有对应的唯一性标注,以机械手为参考点,将各个第一餐盘放置区域及各个第二餐盘放置区域相对于机械手的坐标存储在所述控制单元中;
该系统可实现以下方法:
唤醒词匹配步骤:
实时接收语音输入单元所输入的语音信息并将所述语音信息与唤醒词语音信息进行匹配;
若匹配不成功,则继续执行唤醒词匹配步骤;
若匹配成功,则启动语音识别步骤;
语音识别步骤:
捕捉声源所在位置并监听该声源的语音信息;
在预设时间内,识别该声源所发出的语音信息是否具有取菜指令,所述取菜指令包含待抓取的菜品所在的第一餐盘放置区域的唯一性标注;
若否,则结束当前流程并返回唤醒词匹配步骤;
若是,则进入菜品抓取步骤;
菜品抓取步骤:
根据所述取菜指令中的唯一性标注,控制机械手移动至对应的第一餐盘放置区域处;
当机械手移动至对应的第一餐盘放置区域后,控制机械手执行抓取动作以抓取所述第一餐盘内的菜品并在抓取动作结束后检测机械手是否已抓取到菜品;
若否,则控制机械手再次执行抓取动作;
若是,则控制机械手移动至最接近所述声源所在位置的第二餐盘放置区域处以将抓取的菜品放入第二餐盘中。
2.如权利要求1所述的基于语音识别的自动取菜系统,其特征在于,所述菜品抓取步骤还包括:在机械手工作过程中,实时监听所述声源所发出的语音信息并进行语音识别,当该语音信息包含了预设的拒绝用语时,则发送指令使机械手放弃抓取并返回初始位置。
3.如权利要求2所述的基于语音识别的自动取菜系统,其特征在于,所述发送指令使机械手放弃抓取并返回初始位置具体为:
判断机械手当前状态;
若是机械手未抓取待菜品,则发送指令使机械手放弃抓取,直接返回初始位置;
若是机械手已抓取到菜品,则发送指令使机械手将菜品放回至原第一餐盘后再返回初始位置。
4.如权利要求1至3任一项所述的基于语音识别的自动取菜系统,其特征在于,所述语音输入单元采用环形的麦克风阵列。
5.如权利要求4所述的基于语音识别的自动取菜系统,其特征在于,所述唯一性标注为标号,所述根据所述取菜指令中的唯一性标注控制机械手移动至对应的第一餐盘放置区域处具体为:
根据所述取菜指令中的第一餐盘放置区域的标号,查询数据库中该标号所对应的第一餐盘放置区域的位置坐标,该位置坐标是以机械手为参考点确定的;
根据该位置坐标控制所述机械手移动至待取菜的第一餐盘放置区域处。
6.一种基于语音识别的自动取菜方法,其特征在于,包括以下步骤:
唤醒词匹配步骤:
实时接收语音输入单元所输入的语音信息并将所述语音信息与唤醒词语音信息进行匹配;
若匹配不成功,则继续执行唤醒词匹配步骤;
若匹配成功,则启动语音识别步骤;
语音识别步骤:
捕捉声源所在位置并监听该声源的语音信息;
在预设时间内,识别该声源所发出的语音信息是否具有取菜指令,所述取菜指令包含待抓取的菜品所在的第一餐盘放置区域的唯一性标注;
若否,则结束当前流程并返回唤醒词匹配步骤;
若是,则进入菜品抓取步骤;
菜品抓取步骤:
根据所述取菜指令中的唯一性标注,控制机械手移动至对应的第一餐盘放置区域处;
当机械手移动至对应的第一餐盘放置区域后,控制机械手执行抓取动作以抓取所述第一餐盘内的菜品并在抓取动作结束后检测机械手是否已抓取到菜品;
若否,则控制机械手再次执行抓取动作;
若是,则控制机械手移动至最接近所述声源所在位置的第二餐盘放置区域处以将抓取的菜品放入第二餐盘中。
7.如权利要求6所述的基于语音识别的自动取菜方法,其特征在于,所述菜品抓取步骤还包括:在机械手工作过程中,实时监听所述声源所发出的语音信息并进行语音识别,当该语音信息包含了预设的拒绝用语时,则发送指令使机械手放弃抓取并返回初始位置。
8.如权利要求7所述的基于语音识别的自动取菜方法,其特征在于,所述发送指令使机械手放弃抓取并返回初始位置具体为:
判断机械手当前状态;
若是机械手未抓取待菜品,则发送指令使机械手放弃抓取,直接返回初始位置;
若是机械手已抓取到菜品,则发送指令使机械手将菜品放回至原第一餐盘后再返回初始位置。
9.如权利要求6至8任一项所述的基于语音识别的自动取菜方法,其特征在于,所述语音输入单元采用环形的麦克风阵列。
10.如权利要求9所述的基于语音识别的自动取菜方法,其特征在于,所述唯一性标注为标号,所述根据所述取菜指令中的唯一性标注控制机械手移动至对应的第一餐盘放置区域处具体为:
根据所述取菜指令中的第一餐盘放置区域的标号,查询数据库中该标号所对应的第一餐盘放置区域的位置坐标,该位置坐标是以机械手为参考点确定的;
根据该位置坐标控制所述机械手移动至待取菜的第一餐盘放置区域处。
11.一种计算机可读存储介质,其特征在于,所述存储介质存储有可执行计算机程序,所述计算机程序运行时可实现如权利要求6至10任一项所述的基于语音识别的自动取菜方法。
CN201811456479.4A 2018-11-30 2018-11-30 一种基于语音识别的自动取菜方法、系统及存储介质 Pending CN109822561A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811456479.4A CN109822561A (zh) 2018-11-30 2018-11-30 一种基于语音识别的自动取菜方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811456479.4A CN109822561A (zh) 2018-11-30 2018-11-30 一种基于语音识别的自动取菜方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN109822561A true CN109822561A (zh) 2019-05-31

Family

ID=66859802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811456479.4A Pending CN109822561A (zh) 2018-11-30 2018-11-30 一种基于语音识别的自动取菜方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN109822561A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495109A (zh) * 2022-01-24 2022-05-13 山东大学 基于目标与场景文字匹配的抓取机器人及抓取方法和系统
CN115166633A (zh) * 2022-06-30 2022-10-11 北京声智科技有限公司 声源方向确定方法、装置、终端以及存储介质
CN115166633B (zh) * 2022-06-30 2024-10-22 北京声智科技有限公司 声源方向确定方法、装置、终端以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007138616A3 (en) * 2006-05-31 2008-02-07 Valka Ehf Robot gripper for food products
CN103230205A (zh) * 2013-05-21 2013-08-07 姬志刚 一种自动帮助抓取圆周排列的盘中食物的装置和系统
CN104795068A (zh) * 2015-04-28 2015-07-22 深圳市锐曼智能装备有限公司 机器人的唤醒控制方法及其控制系统
CN106328132A (zh) * 2016-08-15 2017-01-11 歌尔股份有限公司 一种智能设备的语音交互控制方法和装置
CN206043885U (zh) * 2016-05-18 2017-03-29 张丽 一种智能火锅桌
CN106976094A (zh) * 2017-05-18 2017-07-25 山东科技大学 辅助上肢失能人餐饮的机械手系统及其工作方法
CN107577449A (zh) * 2017-09-04 2018-01-12 百度在线网络技术(北京)有限公司 唤醒语音的拾取方法、装置、设备及存储介质
CN108839039A (zh) * 2018-07-24 2018-11-20 昆山市工业技术研究院有限责任公司 一种半自动助餐机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007138616A3 (en) * 2006-05-31 2008-02-07 Valka Ehf Robot gripper for food products
CN103230205A (zh) * 2013-05-21 2013-08-07 姬志刚 一种自动帮助抓取圆周排列的盘中食物的装置和系统
CN104795068A (zh) * 2015-04-28 2015-07-22 深圳市锐曼智能装备有限公司 机器人的唤醒控制方法及其控制系统
CN206043885U (zh) * 2016-05-18 2017-03-29 张丽 一种智能火锅桌
CN106328132A (zh) * 2016-08-15 2017-01-11 歌尔股份有限公司 一种智能设备的语音交互控制方法和装置
CN106976094A (zh) * 2017-05-18 2017-07-25 山东科技大学 辅助上肢失能人餐饮的机械手系统及其工作方法
CN107577449A (zh) * 2017-09-04 2018-01-12 百度在线网络技术(北京)有限公司 唤醒语音的拾取方法、装置、设备及存储介质
CN108839039A (zh) * 2018-07-24 2018-11-20 昆山市工业技术研究院有限责任公司 一种半自动助餐机器人

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495109A (zh) * 2022-01-24 2022-05-13 山东大学 基于目标与场景文字匹配的抓取机器人及抓取方法和系统
CN115166633A (zh) * 2022-06-30 2022-10-11 北京声智科技有限公司 声源方向确定方法、装置、终端以及存储介质
CN115166633B (zh) * 2022-06-30 2024-10-22 北京声智科技有限公司 声源方向确定方法、装置、终端以及存储介质

Similar Documents

Publication Publication Date Title
CN109848982A (zh) 一种基于图像识别的自动取菜方法、系统及存储介质
US20180183884A1 (en) Methods and systems for managing a task based on geographical locations
US11328304B2 (en) Automated queuing system
CN110891124A (zh) 一种人工智能代接来电的系统
CN109816561A (zh) 一种自动取菜方法、系统及存储介质
CN109846303A (zh) 餐盘剩余量自动检测方法、系统、电子设备及存储介质
CN111906780B (zh) 物品配送方法、机器人和介质
CN108109256A (zh) 一种将云端数据与设备端智能化排队管理的方法与系统
US8498404B2 (en) Methods and systems for monitoring contact center operations
US20210026517A1 (en) Electronic Nameplate Display Method and Apparatus in Video Conference
US20180225874A1 (en) System and method for contact center augmented reality
CN103294725A (zh) 智能应答机器人软件
CN105512970A (zh) 餐桌服务系统
CN109599105A (zh) 基于图像及语音识别的自动取菜方法、系统及存储介质
CN114448922B (zh) 消息分级处理方法、装置、设备及存储介质
CN109993157A (zh) 基于机器人的配送方法、装置、设备及可读存储介质
CN108665135A (zh) 一种智能酒店客房管理调度系统及酒店管理方法
CN109822561A (zh) 一种基于语音识别的自动取菜方法、系统及存储介质
WO2022194256A1 (zh) 机器人、机器人交互方法及存储介质
CN113591826B (zh) 一种基于计算机视觉的餐桌清扫智能提醒方法
CN106971308A (zh) 一种以机器人为载体的智能客户服务系统
CN113807910A (zh) 减少餐馆的服务错误的系统、方法和介质
CN114227698B (zh) 一种机器人的控制方法、装置、设备及存储介质
CN110503573A (zh) 配送设备的控制方法及装置
CN205563704U (zh) 餐桌服务系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190531

RJ01 Rejection of invention patent application after publication