CN113601502A - 一种基于单目视觉的助餐机器人控制方法 - Google Patents
一种基于单目视觉的助餐机器人控制方法 Download PDFInfo
- Publication number
- CN113601502A CN113601502A CN202110867376.2A CN202110867376A CN113601502A CN 113601502 A CN113601502 A CN 113601502A CN 202110867376 A CN202110867376 A CN 202110867376A CN 113601502 A CN113601502 A CN 113601502A
- Authority
- CN
- China
- Prior art keywords
- mouth
- meal
- monocular vision
- control
- spoon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 7
- 235000012054 meals Nutrition 0.000 claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 6
- 230000001815 facial effect Effects 0.000 claims abstract description 3
- 230000007246 mechanism Effects 0.000 claims description 13
- 230000000875 corresponding effect Effects 0.000 claims 1
- 235000013305 food Nutrition 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000032683 aging Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 235000003166 Opuntia robusta Nutrition 0.000 description 2
- 244000218514 Opuntia robusta Species 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47G—HOUSEHOLD OR TABLE EQUIPMENT
- A47G23/00—Other table equipment
- A47G23/08—Food-conveying devices for tables; Movable or rotary food-serving devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明设计了一种基于单目视觉的助餐机器人。该发明采用单目视觉进行人脸特征点检测，从而获取嘴部位置和人脸距离，实现精准送餐。该发明采用多套人机交互方式，可以通过按钮控制、脚踏板控制、语音控制、面部识别控制实现对送餐启停的操控，兼具便携性和可靠性。本发明在具备高识别精度的同时，其硬件成本低廉；人机交互方式多种多样，操作简单，方便老人使用；送餐精度高，安全性好。
Description
技术领域
本发明涉及机器人设计和控制领域，是基于单目视觉和机器人控制和设计技术的一种发明。本发明主要应用于服务型助餐机器人，实现机器人对食物的盛取和运送。
背景技术
20世纪90年代以来，中国的老龄化进程加快，老年人口高龄化趋势日益明显，解决人口老龄化问题，不能仅仅局限于降低老龄人口在全国人口中的比例，更要重视老年人的生活水平，提高其生活质量，为改善其生活出一份力。
针对老年人设计的助餐机器人有很大的市场需求。助餐机器人能增强老人的自我照顾能力，减少其心理压力，减轻子女负担。考虑经济因素，助餐机器人应经济实惠；考虑其文化程度，助餐机器人应该操作简单。
发明内容
本发明设计了一种基于单目视觉的助餐机器人，该发明基于人脸特征点检测技术、机器人控制技术和机械设计学，解决上述背景技术中提到的经济问题和操作问题。
该系统包括：单目摄像头、带有勺筷一体化末端的机械臂、视觉控制开发板、交互按钮和脚踏板等。
该发明采用单目视觉进行人脸特征点检测，从而获取嘴部位置和人脸距离，实现精准送餐。
该发明采用勺筷一体化末端设计，方便取食中餐中多种多样的食物而无需更换餐具。
该发明采用多套人机交互方式，可以通过按钮控制、脚踏板控制、语音控制、面部识别控制实现对送餐启停的操控，兼具便携性和可靠性。
本发明在具备高识别精度的同时，其硬件成本低廉；人机交互方式多种多样，操作简单，方便老人使用；送餐精度高，安全性好。
附图说明
图1为本发明的系统架构图。
图2为控制系统流程图。
图3为勺筷一体化末端执行机构。
图4为L型固定凹槽。
图5为机构整体构造。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明提供一种设计方案，勺筷一体化末端机构设计：本发明设计一种张合式的半勺取餐机构，其取食效果满足要求，同时自由度仅为1。张合式取餐机构通过直流减速电机驱动特制的丝杠螺母机构实现功能。在特制方型螺母的左上部位和右下部位镶嵌圆柱销，圆柱销的另一端嵌入固定半勺的L型机构的槽道内，L型固定机构的旋转轴固定在底板上，丝杠驱动螺母前后运动，可实现两个半勺机构的张合运动。该设计将勺子和筷子的功能融为一体。
本发明提供一种技术方案，助餐机器人识别使用者嘴部位置：本项目在采用人脸识别算法的基础上，增加了人脸68个特征点检测模块完成以上功能。人脸68特征点检测的数据集通常采用ibug数据集，其中包含了人脸照片和68 个特征点的数据，使用这些数据进行神经网络深度学习后可以得到人脸68特征点检测模型，本文中所使用的人脸68特征点检测方法即基于此模型实现的。在获取到脸部特征点后，提取嘴部坐标点结合测得的人脸距离可以精确的到嘴部位置。
本发明的面部测距方法是基于相似三角形的测距方式实现的。对于投影在摄像头主平面上的宽度为W的物体，当其距离摄像头主平面垂直距离为D时，通过测量拍摄图像中物体的像素宽度P，可以得到公式：F＝(P×D)/W。其中F为相机焦距。通过测量得到F之后，即可通过F和W的值推算出目标物体平面距离摄像头主平面的垂直距离D。依据国家颁布标准成年人头面部尺寸报告，从中挑选最小额宽作为我们的头部宽度基准值，结合脸部特征点检测，计算出镜头到人脸的距离。
本发明在使用时，机械臂停留在一个预设好的位置，等待取餐或选菜指令。当检测到对应的按键触发、脚踏板触发以及“选菜”语音信号时，餐盘底部舵机带动餐盘进行旋转，由于本发明机械臂仅在同一个取食区域取餐，餐盘旋转就能达到选菜的目的。当检测到对应取餐的按键触发、脚踏板触发、“开始取餐”语音信号以及使用者张嘴时，机械臂开始运动到取食位置，并根据当前位置所盛菜品形状，直流电机驱动勺筷一体化末端机构进行舀取或夹取。同时，单目摄像头开始检测使用者嘴部位置并测距，机械臂取餐后根据嘴部位置信息精准地送到使用者嘴边。本发明还设有单次用餐时间，超时后自动返回待取餐位置，使用者也可通过对应的按键和脚踏板控制机械臂提前返回。本发明设有急停按钮，在任何时刻都可以根据需要终止取餐送餐进程。
Claims (4)
1.基于单目视觉的助餐机器人控制方法，其特征在于：该方法基于单目视觉识别嘴部信息、人机交互方式。该系统包括：底座、机械臂、勺筷一体化末端机构、单目摄像头。
2.根据权利要求1所述的基于单目视觉的助餐机器人控制方法，其特征在于：使用单目相机识别嘴部，从成人面部特征中挑选最小额宽作为我们的头部宽度基准值，并根据相似三角形原理进行测距，计算出人脸距离得到嘴部的空间位置信息。
3.根据权利要求1所述的人机交互方式，其特征在于：系统检测脚踏板触发，执行对应的选菜和取餐动作；基于对嘴部信息的识别，通过嘴部上下特征点的距离判断使用者是否张嘴，如果在待取餐时张嘴，就执行取餐操作。
4.根据权利要求1所述的勺筷一体化末端机构，其特征在于：直流减速电机驱动特制的方型螺母，当其直线运动时，镶嵌上的两个圆柱销带动两个半勺进行张合运动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110867376.2A CN113601502A (zh) | 2021-07-29 | 2021-07-29 | 一种基于单目视觉的助餐机器人控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110867376.2A CN113601502A (zh) | 2021-07-29 | 2021-07-29 | 一种基于单目视觉的助餐机器人控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113601502A true CN113601502A (zh) | 2021-11-05 |
Family
ID=78306077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110867376.2A Pending CN113601502A (zh) | 2021-07-29 | 2021-07-29 | 一种基于单目视觉的助餐机器人控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113601502A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116714004A (zh) * | 2023-06-14 | 2023-09-08 | 上海理工大学 | 一种勺筷一体化的助餐机器人末端执行机构、使用方法及一种助餐机器人 |
| CN116852403A (zh) * | 2023-05-19 | 2023-10-10 | 上海理工大学 | 一种勺筷一体化的助餐机器人末端执行器及机器人 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106443650A (zh) * | 2016-09-12 | 2017-02-22 | 电子科技大学成都研究院 | 一种基于几何关系的单目视觉测距方法 |
| CN207841343U (zh) * | 2017-12-29 | 2018-09-11 | 匡微丽 | 面部识别自动喂食系统 |
| CN110065075A (zh) * | 2019-05-29 | 2019-07-30 | 哈尔滨工业大学 | 一种基于视觉的空间细胞机器人外部状态感知方法 |
| JP2019217103A (ja) * | 2018-06-21 | 2019-12-26 | ノーリツプレシジョン株式会社 | 介助システム、介助方法及び介助プログラム |
| US20210107162A1 (en) * | 2019-10-10 | 2021-04-15 | Korea Institute Of Science And Technology | Method for controlling robot based on brain-computer interface and apparatus for controlling meal assistance robot thereof |
| CN112828904A (zh) * | 2021-01-06 | 2021-05-25 | 北京航空航天大学 | 一种便携式助餐机器人 |
| CN112917475A (zh) * | 2021-01-27 | 2021-06-08 | 哈尔滨工程大学 | 基于多重感知的助食机器人辅助进食的安全护理控制方法 |
| CN113146650A (zh) * | 2021-03-25 | 2021-07-23 | 哈尔滨工程大学 | 一种基于图像处理的助餐机器人及其取餐方法 |
-
2021
- 2021-07-29 CN CN202110867376.2A patent/CN113601502A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106443650A (zh) * | 2016-09-12 | 2017-02-22 | 电子科技大学成都研究院 | 一种基于几何关系的单目视觉测距方法 |
| CN207841343U (zh) * | 2017-12-29 | 2018-09-11 | 匡微丽 | 面部识别自动喂食系统 |
| JP2019217103A (ja) * | 2018-06-21 | 2019-12-26 | ノーリツプレシジョン株式会社 | 介助システム、介助方法及び介助プログラム |
| CN110065075A (zh) * | 2019-05-29 | 2019-07-30 | 哈尔滨工业大学 | 一种基于视觉的空间细胞机器人外部状态感知方法 |
| US20210107162A1 (en) * | 2019-10-10 | 2021-04-15 | Korea Institute Of Science And Technology | Method for controlling robot based on brain-computer interface and apparatus for controlling meal assistance robot thereof |
| CN112828904A (zh) * | 2021-01-06 | 2021-05-25 | 北京航空航天大学 | 一种便携式助餐机器人 |
| CN112917475A (zh) * | 2021-01-27 | 2021-06-08 | 哈尔滨工程大学 | 基于多重感知的助食机器人辅助进食的安全护理控制方法 |
| CN113146650A (zh) * | 2021-03-25 | 2021-07-23 | 哈尔滨工程大学 | 一种基于图像处理的助餐机器人及其取餐方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李彦涛: "助餐机器人样机研制及控制研究", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116852403A (zh) * | 2023-05-19 | 2023-10-10 | 上海理工大学 | 一种勺筷一体化的助餐机器人末端执行器及机器人 |
| CN116852403B (zh) * | 2023-05-19 | 2024-02-27 | 上海理工大学 | 一种勺筷一体化的助餐机器人末端执行器及机器人 |
| CN116714004A (zh) * | 2023-06-14 | 2023-09-08 | 上海理工大学 | 一种勺筷一体化的助餐机器人末端执行机构、使用方法及一种助餐机器人 |
| CN116714004B (zh) * | 2023-06-14 | 2024-03-26 | 上海理工大学 | 一种助餐机器人末端执行机构及一种助餐机器人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113601502A (zh) | 一种基于单目视觉的助餐机器人控制方法 | |
| US20220331028A1 (en) | System for Capturing Movement Patterns and/or Vital Signs of a Person | |
| US10095930B2 (en) | System and method for home health care monitoring | |
| US10872516B2 (en) | Timing reminding method and reminding apparatus for height-adjustable table | |
| JP4481663B2 (ja) | 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム | |
| US20140258942A1 (en) | Interaction of multiple perceptual sensing inputs | |
| CN105479462A (zh) | 一种助餐服务机器人 | |
| CN110340893B (zh) | 基于语义激光交互的机械臂抓取方法 | |
| US20120146906A1 (en) | Promotable intelligent display device and promoting method thereof | |
| CN107357292A (zh) | 一种儿童室内智能看护系统及其看护方法 | |
| KR101824478B1 (ko) | 움직임 감지를 이용한 학습집중시간 측정장치 | |
| CN101753708A (zh) | 可以测速的手机以及该手机测量物体运动速度的方法 | |
| CN113408469A (zh) | 一种可调高度的人脸识别调节装置及调节方法 | |
| US20210393141A1 (en) | Method and device for measuring human body temperature | |
| CN208773603U (zh) | 一种全自动助餐机器人 | |
| WO2018010091A1 (zh) | 一种老年服务机器人 | |
| CN110347273B (zh) | 基于激光的人机交互方法 | |
| TWI470565B (zh) | 非接觸式醫療導覽系統及其控制方法 | |
| CN219206928U (zh) | 微循环血流检测仪 | |
| CN216791109U (zh) | 一种测量精确度高的激光位移传感器 | |
| CN110012353A (zh) | 智能电视测距提示处理方法、智能电视及存储介质 | |
| CN205652940U (zh) | 一种智能化电梯 | |
| CN208537939U (zh) | 洗手液输出器 | |
| CN201247483Y (zh) | 人脸识别考勤机 | |
| CN206726377U (zh) | 一种基于fpga的人脸识别迎宾器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211105 |