CN113146650A - 一种基于图像处理的助餐机器人及其取餐方法 - Google Patents

Abstract

本发明属于机器人技术领域，具体涉及一种基于图像处理的助餐机器人及其取餐方法。本发明依靠一种基于图像处理方法来识别餐盘和食物的图像，对餐盘及食物的俯视图进行边缘检测，来判断食物的状态，同时对取餐区域三维图像进行模糊处理形成三维形貌曲面图，来判断食物的体积分布；根据餐盘中食物的状态和体积分布不同，控制勺筷一体化机械爪的两种工作模式。本发明可以控制勺筷一体化机械爪在不同取食方式下的取食位置与姿态，同时具有调整餐盘中食物的位置角度的功能，以此来提高净餐率。

Description

一种基于图像处理的助餐机器人及其取餐方法

技术领域

本发明属于机器人技术领域，具体涉及一种基于图像处理的助餐机器人及其取餐方法。

背景技术

进食是人类得基本需求，这件对于正常人来说每天都在重复得事情对于大多数上肢有残疾的人来说却很费力也很麻烦。目前国内，残疾人的人数正在增加。由于社会老龄化的背景，这种增长在未来很长一段时间内还会继续。残疾人正日常生活中有许多困难。特别是对于上肢残疾的人来说自主进食可能是一种奢望，他们只能依靠其他人对他们喂食，因此设计一种助餐机器人，用于帮助残疾人或肌肉萎缩症等无法完成自主进食这个动作的人们是十分必要的。

随着在英国研制出Handy1服务机器人机器人，该服务机器人功能中即包含喂食这一功能，之后一些发达国家纷纷开始研究助餐机器人，其中比较有名为日本的MySpoon的六自由度助餐机器人还有美国的OBI助餐机器人。

早期助餐机器人通常无法识别出餐盘中不同区域，而是通过患者的选取，由末端为勺子的机械臂夹取食物送到患者口中。助餐机器人的基本结构大致包含两个模块，可转动的餐盘和可移动的机械臂。助餐机器人具有识别盘中食物和将食物移送到被喂食者嘴中两个基本功能。本助餐机器人主要用于以下患者：肌萎缩性侧索硬化症(ALS)、先天性多发关节炎(AMC)、截肢、脑瘫、脊髓受伤、帕金森及其他上肢控制受限等患者。

发明内容

本发明的目的在于提供一种基于图像处理的助餐机器人。

本发明的目的通过如下技术方案来实现：包括主体平台、餐盘、机械臂、勺筷一体化机械爪、摄像系统和控制系统；所述的餐盘为圆形，餐盘顶面等分为多个扇形取餐区域，在扇形取餐区域的圆弧边缘处安装有带斜度的挡板；所述的餐盘通过转动机构安装在主体平台上；所述的机械臂包括基座、机械臂大臂和机械臂小臂；所述的基座安装在主体平台上；所述的机械臂大臂的末端通过转动副与基座连接；所述的机械臂小臂的末端通过转动副与机械臂大臂的前端连接；所述的勺筷一体化机械爪包括机械手腕、重力传感器和两个勺柄；所述的机械手腕通过转动副安装在机械臂小臂的前端；所述的两个勺柄分别通过一个转动副安装在机械手腕上，在两个勺柄前端均安装有瓣状餐勺，两个瓣状餐勺可拼接在一起形成完整餐勺。

本发明的目的还在于提供一种一种基于图像处理的助餐机器人的取餐方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：摄像系统获取餐盘中食物的三维图像，通过模糊处理将三维图像中多余的噪声信息过滤掉，形成三维形貌曲面图，得到餐盘中食物的分布和体积；根据餐盘中食物的分布和体积，将由挡板和扇形取餐区域形成的容积空间设定为高阈值，将勺筷一体化机械爪的餐勺的平均高度和扇形取餐区域形成的容积空间设定为低阈值；

步骤2：根据三维形貌曲面图，当餐盘中食物没有超过低阈值的部分时，判断剩余食物不足此次取餐量，控制系统控制餐盘和勺筷一体化机械爪协作工作，将餐盘中食物归拢到一个扇形取餐区域内；

步骤3：摄像系统获取餐盘中食物的俯视图，应用Canny算子对餐盘中食物进行边缘检测；若检测出食物图像为圆滑规整边缘或无明显形状，则判定为胶质食物，执行步骤4；若检测出食物图像为交错或零散的边缘形状，则判定为固态食物，执行步骤5；

步骤4：对于胶质食物，当胶质食物有超过高阈值的部分时，勺筷一体化机械爪在开合夹取模式下对胶质食物进行调整，将三维形貌曲面图中超过高阈值部分的波峰位置处食物开合夹取；当剩余胶质食物没有超过高阈值部分时，勺筷一体化机械爪在挖盛模式下直接取餐；直接取餐时，勺筷一体化机械爪优先在同一高度内取餐，即一层一层挖盛取餐；对于在同一高度处的胶质食物，则优先盛取靠近挡板处食物，挖取食物后将食物推到挡板附近，依靠挡板将食物盛取；取餐完成后执行步骤6；

步骤5：对于固态食物，勺筷一体化机械爪在开合夹取模式下直接取餐；在每次取餐时，勺筷一体化机械爪优先在三维形貌曲面图中波峰最高的点处开合夹取食物；取餐完成后执行步骤6；

步骤6：取餐完成后，摄像系统获取勺筷一体化机械爪的餐勺内的俯视图，应用Canny算子对餐勺内的食物进行边缘检测，同时应用重力传感器判断餐勺内是否有食物；若检测出除餐勺边缘以外的边缘形状出现在餐勺边缘线条内，或者通过重力传感器检测到餐勺内重量变化，则判断为取餐成功。

本发明的有益效果在于：

本发明依靠一种基于图像处理方法来识别餐盘和食物的图像，对餐盘及食物的俯视图进行边缘检测，来判断食物的状态，同时对取餐区域三维图像进行模糊处理形成三维形貌曲面图，来判断食物的体积分布；根据餐盘中食物的状态和体积分布不同，控制勺筷一体化机械爪的两种工作模式。本发明可以控制勺筷一体化机械爪在不同取食方式下的取食位置与姿态，同时具有调整餐盘中食物的位置角度的功能，以此来提高净餐率。

附图说明

图1为本发明中一种基于图像处理的助餐机器人的取餐方法的流程图。

图2为本发明中一种基于图像处理的助餐机器人的总体结构示意图。

图3为本发明中固态食物取餐的流程图。

图4为本发明中胶质食物取餐的流程图。

图5为本发明中俯视图像识别图。

图6为本发明中勺筷一体化机械爪盛取模式结构示意图。

图7为本发明中勺筷一体化机械爪开合抓取模式结构示意图。

图8为本发明的实施例中餐盘内食物的三维图像经模糊处理后的三维形貌曲面图。

图9为图8所示的三维形貌曲面图的俯视图。

图10为图8所示的三维形貌曲面图的侧视图；

图11为本发明的实施例中取餐区域内食物有超过高阈值部分时的三维形貌曲面图。

图12为本发明的实施例中取餐区域内食物全部低于低阈值时的三维形貌曲面图。

图13为本发明的实施例中为提高净餐率归拢取餐区域内食物的示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明设计了一种助餐机器人及其智能取食方法。本发明依靠一种基于图像处理方法来识别餐盘和食物的图像，对餐盘及食物的俯视图进行边缘检测，来判断食物的状态，同时对取餐区域三维图像进行模糊处理形成三维形貌曲面图，来判断食物的体积分布；根据餐盘中食物的状态和体积分布不同，控制机械爪两种工作模式，也可以确定机械爪不同取食方式下的取食位置与姿态，同时具有调整餐盘中食物的位置角度的功能，以此来提高净餐率。

一种基于图像处理的助餐机器人，包括主体平台2、餐盘1、机械臂、勺筷一体化机械爪7、摄像系统和控制系统；所述的餐盘为圆形，餐盘顶面等分为多个扇形取餐区域，在扇形取餐区域的圆弧边缘处安装有带斜度的挡板；所述的餐盘通过转动机构安装在主体平台上；所述的机械臂包括基座、机械臂大臂3和机械臂小臂5；所述的基座安装在主体平台上；所述的机械臂大臂的末端通过转动副与基座连接；所述的机械臂小臂的末端通过转动副与机械臂大臂的前端连接；所述的勺筷一体化机械爪包括机械手腕、重力传感器和两个勺柄；所述的机械手腕通过转动副6安装在机械臂小臂的前端；所述的两个勺柄11分别通过一个转动副安装在机械手腕上，在两个勺柄前端均安装有瓣状餐勺12，两个瓣状餐勺可拼接在一起形成完整餐勺。

本发明中助餐机器人的取餐方法做到下列五点：

1.根据餐盘中食物状态对勺筷一体化机械爪的两种工作模式的控制。通过俯视下对取餐区域内进行图像处理，应用Canny算子进行边缘检测。识别餐盘的食物形状来判定该区域中的食物是固体还是胶质，从而控制机械爪在本次取餐段是以开合夹取模式还是挖盛模式下工作，若餐盘中图像经识别可以辨别出有明显食物棱角形状，则判断为固态食物，则机械爪应在开合夹取模式下工作，若餐盘中图像经识别得到的食物形状不明显或均为圆滑规整边缘，则判断为胶质食物，则机械爪应在开合夹取和挖盛工作模式。

2.对餐盘中食物进行三维图像获取并应用双边滤波等模糊处理，形成三维形貌曲面图，即可以判断出食物在餐盘中得摆放位置和体积分布。以此来精确控制取食时机械爪位置和姿态的规划。本发明中应用三自由度机械臂，由于其有两个位置自由度和一个姿态自由度组成，故其只能在固定的轨道上取餐，应调整餐盘的旋转角度，配合机械爪的取餐。同时，还要根据食物在取餐区域中的不同摆放情况，及时调整勺筷一体化机械爪得取餐点，来控制勺筷一体化机械爪的轨迹，使餐勺能够准确且以正确的位姿到达本次取餐的目标食物，以做到正确取餐。

3.根据三维形貌曲面图。设置了三种取餐方式。根据食物的体积分布，本发明设定了一个高阈值和一个低阈值，即由挡板和扇形取餐区域形成的一个容积空间，将该容积空间设定为高阈值。由餐勺的平均高度和扇形取餐区域形成的一个容积空间，将该容积空间设定为一个低阈值。根据三维形貌曲面图，当食物有超出高阈值的部分时，应当调整食物的分布；当食物没有超过高阈值且有超过低阈值的部分时，可以直接根据食物状态进行取餐；当食物没有超过低阈值的部分时，判断为剩余食物不足此次取餐量，则需要勺筷一体化机械爪和餐盘协作工作，将该扇形区域内取餐区域所剩的食物和非取餐区域归拢到一个取餐区域内，再进行下次取餐，以此来提高取净率。

4.本发明中，当食物状态为固态时，无论餐盘中是否有超出高阈值的部分，机械爪均在开合夹取工作模式下直接取餐。在每次取餐时，机械爪优先在三维形貌图中波峰最高的点处开合夹取食物。当食物状态为胶质时，当食物有超过高阈值部分时，机械爪工作在开合夹取模式下，对食物进行调整，将三维图中超过阈值部分的波峰位置处食物开合夹取。当剩余胶质食物没有超过高阈值部分时，机械爪工作在挖盛模式下，直接取餐。取餐时，机械爪优先在同一高度内取餐，在同一高度处则优先盛取靠近挡板处食物，挖取食物后依靠挡板将食物盛取。

5.本发明具有判断每次取餐成功与否的功能。每次取餐后，对勺筷一体化机械爪餐勺内，进行俯视角度的图像处理，用前述的Canny算子，进行边缘检测，同时应用重力传感器，来判断餐勺内此时是否有食物，以此来判断本次取餐是否成功。

本发明目的是解决肌萎缩性侧索硬化症(ALS)、先天性多发关节炎(AMC)、截肢、脑瘫、脊髓受伤、帕金森及其他上肢控制受限等患者的用餐问题设计的一款新型助餐机器人。采用以下技术实现：本发明为一种新型助餐机器人的取餐方法，其中助餐机器人的机械结构包括称装食物的可转动餐盘、三自由度的机械臂及一个勺筷一体的机械手爪；同时还有一个人机交互界面。其中称装食物的可转动餐盘特点是将餐盘沿一个圆等分成五份布置，这样能够降低机器人结构、机器人控制系统及机械结构的复杂程度，使机器人手臂能够在拥有3个自由度的同时勺子能够模拟人类取食时的轨迹运动，而且能够降低机器人的整体体积，使机器人更加人性化并能够在更多场合使用。

所述的称装食物的可转动餐盘，通过助餐机器人的人机交互界面4实现旋转的控制，将一个具有一个转动自由度的圆形餐盘等分成五个扇形，中间用隔板隔开，用以称装不同种类的食物。餐盘有一个旋转自由度，各个扇形区域可以轮流转到前端，以方便夹取食物。每个称装食物的扇形区域为圆弧边缘。扇形边缘加上一个略带有斜度的挡板，用以防止当勺筷一体化的机械手抓盛取胶质类食物时候，漏洒在餐桌或被喂食者身上。餐盘圆心高边缘低；餐盘圆心高边缘低的作用是确保机器人在取餐完成后勺子离开餐盘时不会把食物弄出餐盘外。

所述的三自由度机械臂，是由两个位置自由度和一个姿态自由度组成的。其中，大臂和基座之间，大臂和小臂之间为位置自由度，用以控制勺筷一体化机械爪的手腕位置；机械臂的小臂末端有一个姿态自由度，用以控制勺筷一体化机械爪的取餐姿态。同时在所述三自由度机械臂的行进轨迹的极限位置添加限位开关，以防止机械臂或勺筷一体化机械爪超出工作极限范围，误伤被喂食者。

所述的勺筷一体化的机械爪由两个固定在机械臂小臂上的转动副，两个勺柄和两个可拼接在一起的瓣状餐勺组成。每个转动副来限制一个勺柄的转动。同时每个勺柄上有一个瓣状的餐勺。

本发明重点实现一种基于图像处理的助餐机器人的智能取食方法。包含对餐盘及食物状态的识别并形成三维形貌曲面图后，在各种情况下对助餐机器人机械爪的取食位置与姿态的规划。根据取餐区域食物体积分布不同，得到三种取餐方式，同时根据食物状态不同控制餐勺两种工作模式，并具有调整餐盘中食物的位置角度的功能，以此来提高净餐率。同时，具有判断是否取餐成功的功能：

1.所述的对食物状态的识别，来自于对餐盘及食物的俯视图的图像形状识别，通过俯视图应用Canny算子对餐盘食物进行边缘检测，以此识别餐盘的食物形状来判定该区域中的食物究竟是固体还是胶质。若此时识别出食物图像均为圆滑规整边缘或无明显形状，则为胶质食物，反之，若识别出扇形区域中有很多交错或零散的边缘形状则为固态食物。从而控制机械爪在本次取餐是以开合夹取模式还是挖盛模式下工作。所述的胶质食物如鸡蛋糕、豆腐等夹取不便或无需夹取的胶质状食物。

2.所述的勺筷一体化机械爪两种工作模式的控制，基于上述第一条对食物状态的判断。勺筷一体化机械爪的两个勺柄起始工作态为闭合状态。若判断为固态食物则应为开合夹取工作模式，若判断为胶质食物则应在夹取模式或挖盛模式下工作。当勺筷一体化机械爪工作在开合夹取模式下工作时，机械爪可以实现40°开合范围内的夹取，并且随检测的固态食物大小确定开合范围。电机控制小臂上的两个连接勺柄的转动副转动以控制两个勺柄的开合，此时勺筷一体化机械爪的瓣状餐勺像筷子一样，能够夹起食物后放在合在一起的勺子中，将食物夹取。械爪工作在挖盛模式下工作时。勺筷一体化机械爪的两个瓣状餐勺自始至终为闭合的状态，机械爪将食物挖取后，由机械臂带动，在水平面运动到挡板附近并借由挡板将食物盛取至餐勺中。

3.所述的形成三维形貌曲面图，是在不同角度下或用双目摄像头等将食物在餐盘中的状态形成三维图像，该图像下可以描述出食物的摆放位置及各个位置点处摆放高度。并且通过双边滤波等模糊处理方法，将图像中多余的噪声信息过滤掉，形成三维形貌曲面图，此时可以判断出餐盘取餐区域内食物的分布和体积。应当说明的是，任何包括但不仅限于所述的形成三维图像并进行模糊处理的方法，均属于本发明专利的保护范围内。

4.所述的三种取餐方式，是根据前述的三维形貌曲面图对食物的分布和体积判断后，设置了三种取餐方式。根据食物的体积分布，设定一个高阈值和一个低阈值，即本发明将由挡板和扇形取餐区域形成的一个容积空间，将该容积空间设定为高阈值。本发明将餐勺的平均高度和扇形取餐区域形成的一个容积空间，将该容积空间设定为一个低阈值。根据三维形貌曲面图，当食物有超出高阈值的部分时，应当调整食物的分布；当食物没有超过高阈值且有超过低阈值的部分时，可以直接根据食物状态进行取餐；当食物没有超过低阈值的部分时，判断为剩余食物不足此次取餐量。

5.所述的对助餐机器人机械爪的取食位置与姿态的规划，是结合前述的对机械爪两种工作模式和三种取餐方式。由于本发明采用三自由度机械臂，由于其有两个位置自由度和一个姿态自由度组成，故其只能在固定的轨道上取餐，所以需要餐盘旋转配合勺筷一体化机械爪来做到在准确位置取餐。本发明中，当食物状态为固态时，无论餐盘中是否有超出高阈值的部分，机械爪均在开合夹取工作模式下直接取餐。在每次取餐时，机械爪优先在三维图中波峰最高的点处开合夹取食物。当食物状态为胶质时，当食物有超过高阈值部分时，机械爪工作在开合夹取模式下，对食物进行调整，将三维图中超过阈值部分的波峰位置处食物开合夹取。当剩余胶质食物没有超过高阈值部分时，机械爪工作在挖盛模式下，直接取餐。直接取餐时，机械爪优先在同一高度内取餐，即一层一层挖盛取餐。在同一高度处则优先盛取靠近挡板处食物，挖取食物后将食物推到挡板附近，依靠挡板将食物盛取。

6.所述的提高净餐率，在前述的三维形貌曲面图中根据餐勺的高度设定一个低阈值。在每次取餐前，根据三维形貌曲面图判断在该取餐区域下是否全部食物均低于低阈值的容积。若全部低于阈值，即食物中无体积超过低阈值的部分，则判断为剩余食物不足以此取餐量，本次无法取餐，则需要勺筷一体化机械爪和餐盘协作工作，将该扇形区域内取餐区域所剩的食物和非取餐区域归拢到一个取餐区域内，再进行下次取餐，以此来提高取净率。

7.所述的判断取餐成功与否的功能，是在取餐完成后，对勺筷一体化机械爪餐勺内，进行俯视角度的图像处理，用前述的Canny算子，进行边缘检测，同时应用重力传感器，来判断餐勺内此时是否有食物。以此来判断本次取餐是否成功。若识别出除餐勺边缘以外的边缘形状出现在餐勺边缘线条内，或者通过重力传感器检测到餐勺内重量变化，则可以由此判断为机械爪取到食物，本次取餐成功。

本发明的优势在于：本发明可应用于上肢控制受限等患者的用餐问题工作中，同时在传统助餐机器人得基础上，应用图像处理识别食物的两种状态，以此提出了控制勺筷一体化机械爪两种工作模式的方法。同时应用三维图像和模糊处理，将餐盘内的食物形成三维形貌曲面图，以此来确定机器人在精准轨迹下的取食位置与姿态。根据取餐区域内的食物体积分布提出三种取餐模式，并提出一种将机械爪的两种工作模式和三种取餐模式相结合的的取餐方法。本发明还可以依靠餐盘和机械爪的协作工作来调整餐盘中食物的位置角度的功能，以此来提高净餐率。

实施例1：

图1为本实施例的整体工作流程。图3图4分别为图1中所示的固态和胶质食物的取餐子工作流程图。图2为本实施例得总体结构示意图。上述得勺筷一体化盛取工作模式和开合夹取工作模式如图6，图7所示。图5为餐盘及餐盘中食物，经过俯视角度下图像处理，经边缘检测识别后的图像。下面重点介绍本实施例的基于图像处理下的取餐方法，包含确定机器人的取食位置与姿态、控制餐勺两种工作模式、提高净餐率。

食物图像处理检测系统主要由相机、嵌入式开发板和显示器等部件组成。除了必要的硬件选型以外，完成图像检测系统的搭建过程还需要建立检测系统的软件开发环境。嵌入式开发板内置了ARM/Linux系统，因此在本实施例软件环境搭建过程中必然涉及到常用于嵌入式系统软件开发中的交叉编译过程。

本实施例中对食物状态的判断，是基于在俯视角度下的图像处理应用Canny算子进行边缘检测，来判断食物状态的。首选通过相机等硬件设施获取餐盘及餐盘中食物图像，然后对餐盘和食物的边缘检测所用算法为Canny算子。Canny算子采用的双阈值的方式进行图像的边缘检测。Canny算子的双阈值分别作为边缘检测时的阈值上限和阈值下限，当像素点的梯度极值大于阈值上限时认为是图像的边缘点，梯度极值小于阈值下限时认为是非边缘点；当像素点的梯度极值位于阈值上限和阈值下限之间时，如果其位置靠近图像边缘则为边缘点，否则为非边缘点。

基于Canny算子的餐盘食物边缘检测算法以Canny边缘检测算子为依据，并结合餐盘扇形区域食物图像的特征对Canny算子的阈值进行修改；然后利用霍夫直线检测原理检测餐盘中食物的图像的边缘，并将边缘特征转化为一条条线段；再对检测到的线段进行筛选，最终得到餐盘图像中的食物边缘信息。由餐盘中食物俯视图像可以在取餐时做到以下两点：

勺筷一体化机械爪的工作模式的控制。可以根据俯视图中食物图像边缘判断出，该时刻下的扇形取餐区域中的食物为固态还是胶质。若此时识别出图像边缘为整个扇形取餐区域，如图5中图形10所示，或得到的食物形状不明显或均为圆滑规整边缘，则为胶质食物。反之，若识别出扇形区域中有很多交错或零散的有棱角边缘形状，如图5中图形9所示，则为固态食物。

取餐后，判断是否取餐成功。取餐后获取餐勺进行俯视角度的图像，对该图像应用Canny算子进行边缘检测。若此时只能识别出餐勺的边缘线条，则判定为取餐失败，需要重新取餐。反之，若识别出除餐勺边缘以外的边缘形状出现在餐勺边缘线条内，则可以判断为取餐成功。应当说明的是，仅通过上述办法判断取餐成功并不完善。若存在着胶质食物可能会充满餐勺的情况。在此情况下可能出现只能识别出餐勺边缘线条的情况，影响判断结果。因此还需要在机械爪加上重力传感器，通过重力传感器是否有重力的变化来辅助判断本次取餐是否成功。即若识别出除餐勺边缘以外的边缘形状出现在餐勺边缘线条内，或者通过重力传感器检测到餐勺内重量变化，均可以由此判断为机械爪取到食物，本次取餐成功。

运用Canny算子算法进行餐盘中食物图像的边缘检测步骤为：

步骤一：应用高斯滤波消除图像噪声，图像的高斯滤波可以用两个一维或一个二维高斯函数对图像进行卷积完成，所述的一维和二维高斯函数的表达式分别如下述两式和所示：

步骤二：计算梯度和方向，利用卷积完成图像中x方向和y方向上的卷积，设卷积其算子分别为G_x和G_y，再依据下述两式分别得到每个像素点的梯度和方向：

步骤三：沿梯度方向判别像素梯度，只有梯度方向上的梯度极大值像素被保留下来；

步骤四：设置上限阈值c₁和下限阈值c₂，当像素的梯度值大于上限阈值时为图像边缘点；当梯度值小于下限阈值时排除；当梯度值介于上限阈值和下限阈值时，如果它与边缘像素相近，则保留为像素边缘，否则排除。

应当说明的是，所述的上限阈值和下限阈值极大程度影响边缘检测结果，不同阈值下的边缘检测结果是不完全相同的。当阈值的设定值偏小时(如c₁＝10，c₂＝50时)此时餐盘及盘中食物的边缘几乎都被检测出来，但与此同时图像中大量多余特征也被保留，例如胶质食物如蛋羹、豆腐上的配菜会被检测出来，判断时候易与固态食物混淆。当阈值的设定偏大时(如c₁＝80，c₂＝200时)，此时餐盘中固体食物堆叠的边界处的边缘会被忽略掉，判断时候易与胶质食物混淆。所以合理设定本实施例的上下限阈值是该算法的关键。本实施例中算法取c₁＝40，c₂＝120。

本实施例中，还对餐盘中食物进行了三维图像获取，首选应用双目摄像头在固定角度拍摄，随餐盘的旋转，对相应的取餐扇形区域，进行三维图像的获取。获取三维图像后，为了方便下一步的判断，对三维图像进行模糊处理。这样可以得到取餐区域内食物的XYZ坐标，同时还可以将该三维形貌图旋转，得到表示食物位置XY分量得俯视图，如图9所示。同时得到高度位置YZ分量的侧视图，如图10所示，以达到精确取餐。本实施例中模糊处理方法应用了双边滤波方法。

双边滤波是一种边缘保护滤波，在高斯滤波的基础上加入了像素值权重项，也就是说既要考虑距离因素，也要考虑像素值差异的影响，像素值越相近，权重越大。在像素值出现跃变的边缘区域，这种方法不会损失掉有用的边缘信息。像素值越相近，权重越大。像素权重值表示为G_r，空间距离权重表示为G_s。

那么整个滤波器可以表示为BF，那么滤波结果为：

其中W_q为滤波窗口内每个像素值的权重和，用于权重的归一化；

这样经过双边滤波处理后边缘信息得到保护，同时表现出了一定的自适应性，对噪声点也有滤除效果。

经过双边滤波后的图像如图8所示，需要说明的是，该图像是将食物摆放更加无序以突出本实施例所需要说明的效果示意图。通过该三维形貌图在取餐时可以做到以下四点：

对助餐机器人机械爪的取食位置与姿态的规划。根据餐盘中三维形貌曲面图找到正确取餐位置，本发明中应用三自由度机械臂，由于其有两个位置自由度和一个姿态自由度组成，故其只能在固定的轨道上取餐，应调整餐盘的旋转角度，同时，还要根据食物在取餐区域中的不同摆放情况，及时调整勺筷一体化机械爪得取餐点，来控制勺筷一体化机械爪的轨迹，使餐勺能够准确且以正确的位姿到达本次取餐的目标食物，以做到正确取餐。

根据前述得到得三维形貌曲面图，我们可以得到食物的XYZ三个分量的坐标。取餐时，无论固态食物还是胶质食物，确定待取餐的位置点后，即目标XYZ坐标。首先通过图10所示的俯视图，进行餐盘旋转，来选定食物三维形貌图中的X值。餐盘旋转到一定角度后，再根据图9所示的侧视图，三自由的机械臂工作由勺筷一体化机械爪运动到所确定的YZ值后夹取或盛取食物。

对食物的分布和体积判断后，设置了三种取餐方式。根据食物的体积分布，设定一个高阈值H和一个低阈值h。实际称装食物时，可能存在食物高度高于挡板的情况。基于所述情况考虑，应该设定一个匹配挡板高度的高阈值H，即本发明将由挡板和扇形取餐区域形成的一个容积空间，将该容积空间设定为高阈值H，当食物有超出高阈值H的部分时，应当调整食物的分布。本实施例中，设定挡板高度为7cm，设定高阈值为7。则在本实施例中可以观察到图8中食物体积分布是没有超过高阈值H的，而图11中食物体积分布是有超过高阈值H的部分。先通过图11找到超过高阈值7的部分，确定XY坐标为(4，5.8)附近部分，则优先调整这部分的食物分布。

本发明将餐勺的平均高度和扇形取餐区域形成的一个容积空间，将该容积空间设定为一个低阈值h。本实施例中，设定餐勺高度为2cm，根据餐勺高度设定低阈值为2。根据三维形貌曲面图，当食物没有超过高阈值H且有超过低阈值h的部分时，如图8所示，可以直接根据食物状态进行取餐。当食物没有超过低阈值h的部分时，如图12所示，则判断为剩余食物不足此次取餐量。

结合前述的对机械爪两种工作模式和三种取餐方式。

本实施例中，当食物状态为固态时，无论餐盘中是否有超出高阈值H的部分，机械爪均在开合夹取工作模式下直接取餐。在每次取餐时，机械爪优先在三维图中波峰最高的点处开合夹取食物。即每次选取待取餐点时，优先通过三维形貌曲面图中的Z轴分量来选取，如本实施例中图9所示中(4，5.8)和(4.2，2.4)点为相似Z轴最高点，以防止夹取低点食物时，高点处食物散落。

当食物状态为胶质时，理论上勺筷一体化机械爪应该工作在挖盛模式，借由挡板将食物盛取。但实际称装食物时，若存在食物高度高于挡板的情况，是无法借由挡板盛取的。基于所述情况考虑，当食物有超过高阈值H的部分时，机械爪工作在开合夹取模式下，对食物进行调整，将三维图中超过高阈值H部分的食物开合夹取，直到三维图中波峰超过高阈值H处食物均被取净。本实施例中，可以看到图11所示为取餐区域内食物有超过高阈值H部分部的情况，确定XY坐标为(4，5.8)附近点，则勺筷一体化机械爪优先夹取该部分的胶质食物。当全部高于阈值H的胶质食物被夹取完毕后，即为图8所示的情况，该取餐区域内剩余胶质食物为较平滑曲面。此时勺筷一体化工作在挖盛模式，优先在同一高度内一层一层取餐，即根据图10，优选挖取Z坐标为6附近食物。同一高度处优先挖取靠近挡板处食物，以防止食物洒落，即根据图9，优先挖取XY坐标为(4.2，2.4)附近食物。勺筷一体化机械爪在一定位置处挖取食物后，搓到挡板附近处，依靠挡板将食物盛取。

提高净餐率。本实施例中，由于餐勺自身有一定高度，故当食物低于这个高度时，无法正常取餐。基于上述理由在前述的三维形貌曲面图中根据餐勺的2cm高度设定一个低阈值h。当食物没有超过低阈值h的部分时，如图12所示，则判断为剩余食物不足此次取餐量。则需要勺筷一体化机械爪和餐盘协作工作，将该扇形区域内取餐区域所剩的食物和非取餐区域归拢到一个取餐区域内，再进行下次取餐，以此来提高取净率。所述的勺筷一体化机械爪和餐盘协助工作。具体实施方案为，勺筷一体化机械爪移动到餐盘的扇形区域，由于该三自由度机械臂没有水平移动自由度，故此时，需要餐盘的旋转自由度配合，机械爪运动到扇形区域远离挡板处，将餐勺旋转贴紧餐盘后，餐盘进行旋转，将食物归拢到餐盘取餐区域的一侧。然后餐盘旋转回刚才的角度，将机械爪逐渐向挡板附近移动，再重复上述步骤，直到该取餐区域内所有食物都被归拢到一侧，如图13所示。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于图像处理的助餐机器人，其特征在于：包括主体平台、餐盘、机械臂、勺筷一体化机械爪、摄像系统和控制系统；所述的餐盘为圆形，餐盘顶面等分为多个扇形取餐区域，在扇形取餐区域的圆弧边缘处安装有带斜度的挡板；所述的餐盘通过转动机构安装在主体平台上；所述的机械臂包括基座、机械臂大臂和机械臂小臂；所述的基座安装在主体平台上；所述的机械臂大臂的末端通过转动副与基座连接；所述的机械臂小臂的末端通过转动副与机械臂大臂的前端连接；所述的勺筷一体化机械爪包括机械手腕、重力传感器和两个勺柄；所述的机械手腕通过转动副安装在机械臂小臂的前端；所述的两个勺柄分别通过一个转动副安装在机械手腕上，在两个勺柄前端均安装有瓣状餐勺，两个瓣状餐勺可拼接在一起形成完整餐勺。

2.基于权利要求1所述的一种基于图像处理的助餐机器人的一种基于图像处理的助餐机器人的取餐方法，其特征在于，包括以下步骤：

步骤1：摄像系统获取餐盘中食物的三维图像，通过模糊处理将三维图像中多余的噪声信息过滤掉，形成三维形貌曲面图，得到餐盘中食物的分布和体积；根据餐盘中食物的分布和体积，将由挡板和扇形取餐区域形成的容积空间设定为高阈值，将勺筷一体化机械爪的餐勺的平均高度和扇形取餐区域形成的容积空间设定为低阈值；

步骤2：根据三维形貌曲面图，当餐盘中食物没有超过低阈值的部分时，判断剩余食物不足此次取餐量，控制系统控制餐盘和勺筷一体化机械爪协作工作，将餐盘中食物归拢到一个扇形取餐区域内；

步骤3：摄像系统获取餐盘中食物的俯视图，应用Canny算子对餐盘中食物进行边缘检测；若检测出食物图像为圆滑规整边缘或无明显形状，则判定为胶质食物，执行步骤4；若检测出食物图像为交错或零散的边缘形状，则判定为固态食物，执行步骤5；

步骤4：对于胶质食物，当胶质食物有超过高阈值的部分时，勺筷一体化机械爪在开合夹取模式下对胶质食物进行调整，将三维形貌曲面图中超过高阈值部分的波峰位置处食物开合夹取；当剩余胶质食物没有超过高阈值部分时，勺筷一体化机械爪在挖盛模式下直接取餐；直接取餐时，勺筷一体化机械爪优先在同一高度内取餐，即一层一层挖盛取餐；对于在同一高度处的胶质食物，则优先盛取靠近挡板处食物，挖取食物后将食物推到挡板附近，依靠挡板将食物盛取；取餐完成后执行步骤6；

步骤5：对于固态食物，勺筷一体化机械爪在开合夹取模式下直接取餐；在每次取餐时，勺筷一体化机械爪优先在三维形貌曲面图中波峰最高的点处开合夹取食物；取餐完成后执行步骤6；

步骤6：取餐完成后，摄像系统获取勺筷一体化机械爪的餐勺内的俯视图，应用Canny算子对餐勺内的食物进行边缘检测，同时应用重力传感器判断餐勺内是否有食物；若检测出除餐勺边缘以外的边缘形状出现在餐勺边缘线条内，或者通过重力传感器检测到餐勺内重量变化，则判断为取餐成功。

Images