CN109986577A - 基于机器人操作系统的饮食护理方法及设备 - Google Patents
基于机器人操作系统的饮食护理方法及设备 Download PDFInfo
- Publication number
- CN109986577A CN109986577A CN201910331831.XA CN201910331831A CN109986577A CN 109986577 A CN109986577 A CN 109986577A CN 201910331831 A CN201910331831 A CN 201910331831A CN 109986577 A CN109986577 A CN 109986577A
- Authority
- CN
- China
- Prior art keywords
- module
- instruction
- personal computer
- industrial personal
- dish
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 235000005911 diet Nutrition 0.000 title claims abstract description 48
- 230000000474 nursing effect Effects 0.000 title claims abstract description 23
- 230000037213 diet Effects 0.000 title claims abstract description 22
- 235000012054 meals Nutrition 0.000 claims description 88
- 235000013305 food Nutrition 0.000 claims description 36
- 241000209094 Oryza Species 0.000 claims description 33
- 235000007164 Oryza sativa Nutrition 0.000 claims description 33
- 235000009566 rice Nutrition 0.000 claims description 33
- 235000021186 dishes Nutrition 0.000 claims description 31
- 230000000378 dietary effect Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 14
- 238000012840 feeding operation Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 abstract description 4
- 235000013311 vegetables Nutrition 0.000 abstract 1
- 230000006870 function Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 229910052744 lithium Inorganic materials 0.000 description 3
- 230000003238 somatosensory effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
- B25J11/009—Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Nursing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于机器人操作系统(ROS)的饮食护理方法及设备，语音识别模块获取护理者的取餐指令，并将所述取餐指令传送至工控机模块；工控机模块根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块；智能餐桌模块根据所述用于取餐的运动指令执行取餐操作，以获取至少一种菜品，并在完成取餐操作后运动至被护理者所属区域范围内。如此，本发明利用智能餐桌模块实现饮食护理机器人的自主运动，利用工控机模块实现多个模块的交互，利用语音识别模块实现语音的接收并传递给工控机模块。
Description
技术领域
本发明涉及大自动化与机械技术领域，尤其涉及一种基于机器人操作系统(Robot Operating System，ROS)的饮食护理方法及设备。
背景技术
目前，人口老龄化已成为现阶段和未来相当一段时间内的一个严峻问题。一方面人口老龄化将带给社会更多的压力，另一方面由于老年人的护理水平将关系着老年人的晚年幸福，故针对老年人的相关护理服务技术备受关注。当前饮食护理机器人可以给老年人提供更好的服务从而减轻家庭和社会负担。
然而，就现有的饮食护理机器人来看，将传统餐桌变成移动餐桌，利用机械臂作为护理的主要工具安装在电动餐车上，以便使用者在不同的地方进餐，但是其进餐平台受限；另外将机器人置于固定餐桌上，这样限制了使用者的进餐位置，其方便性和灵活性较差。
发明内容
本发明实施例为了解决上述提及的现有饮食护理机器人所存在的方便性和灵活性较差的问题，创造性的提供一种基于ROS的饮食护理方法及设备。
根据本发明实施例的第一方面，提供一种基于ROS的饮食护理方法，该方法应用于ROS的饮食护理设备，该设备至少包括语音识别模块，工控机模块和智能餐桌模块；所述方法包括：语音识别模块获取护理者的取餐指令，并将所述取餐指令传送至工控机模块；工控机模块根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块；智能餐桌模块根据所述用于取餐的运动指令执行取餐操作，以获取至少一种菜品，并在完成取餐操作后运动至被护理者所属区域范围内。
根据本发明一实施方式，所述工控模块根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块，包括：工控机模块通过所述取餐指令确定取餐位置，并根据所确定的取餐位置生成用于取餐的运动指令；工控机模块通过通信模块将所生成的用于取餐的运动指令发送至智能餐桌模块。
根据本发明一实施方式，所述基于ROS的饮食护理设备还包括第一图像采集模块；在智能餐桌模块运动至被护理者所属区域范围内之后，所述方法还包括：第一图像采集模块采集所获取的至少一种菜品的菜品图样，并将所采集的至少一种菜品的菜品图样发送至工控机模块；工控机模块对所采集的至少一种菜品的菜品图样进行菜品识别，以获得并存储所述至少一种菜品的菜品名称。
根据本发明一实施方式，所述基于ROS的饮食护理设备还包括机械臂模块；所述方法还包括：语音识别模块获取所述被护理者的用餐指令，并将所述用餐指令传送至工控机模块；工控机模块根据所述用餐指令识别出所述被护理者所需要的菜品及菜品的夹取位置；根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹，并向机器臂模块发送携带有所述运动轨迹的喂饭指令；机械臂模块响应于所述喂饭指令，并根据所述运动轨迹执行面向所述被护理者的喂饭操作。
根据本发明一实施方式，所述基于ROS的饮食护理设备还包括第二图像采集模块；工控机模块根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹之前，所述方法还包括：第二图像采集模块获取所述被护理者的人脸位置，并将所述被护理者的人脸位置传送至工控机模块；相应的，工控机模块根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹，包括：工控机模块将所识别得到的菜品的夹取位置和所述被护理者的人脸位置，分别作为机械臂模块的第一目标位姿和第二目标位姿；工控机模块根据所述第一目标位姿和第二目标位置进行机械臂逆解运算，得到机械臂模块用来喂饭的运动轨迹。
根据本发明实施例的第二方面，又提供一种基于ROS的饮食护理设备，该设备至少包括语音识别模块，工控机模块和智能餐桌模块；其中，语音识别模块，用于获取护理者的取餐指令，并将所述取餐指令传送至工控机模块；工控机模块，用于根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块；智能餐桌模块，用于根据所述用于取餐的运动指令执行取餐操作，以获取至少一种菜品，并在完成取餐操作后运动至被护理者所属区域范围内。
根据本发明一实施方式，工控机模块还用于，通过所述取餐指令确定取餐位置，并根据所确定的取餐位置生成用于取餐的运动指令；通过通信模块将所生成的用于取餐的运动指令发送至智能餐桌模块。
根据本发明一实施方式，所述基于ROS的饮食护理设备还包括第一图像采集模块；第一图像采集模块，用于在智能餐桌模块运动至被护理者所属区域范围内之后，采集所获取的至少一种菜品的菜品图样，并将所采集的至少一种菜品的菜品图样发送至工控机模块；工控机模块，还用于对所采集的至少一种菜品的菜品图样进行菜品识别，以获得并存储所述至少一种菜品的菜品名称。
根据本发明一实施方式，所述基于ROS的饮食护理设备还包括机械臂模块；语音识别模块，还用于获取所述被护理者的用餐指令，并将所述用餐指令传送至工控机模块；工控机模块，还用于根据所述用餐指令识别出所述被护理者所需要的菜品及菜品的夹取位置；根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹，并向机器臂模块发送携带有所述运动轨迹的喂饭指令；机械臂模块，用于响应于所述喂饭指令，并根据所述运动轨迹执行面向所述被护理者的喂饭操作。
根据本发明一实施方式，所述基于ROS的饮食护理设备还包括第二图像采集模块；第二图像采集模块，用于在工控机模块根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹之前，获取所述被护理者的人脸位置，并将所述被护理者的人脸位置传送至工控机模块；相应的，工控机模块还用于，将所识别得到的菜品的夹取位置和所述被护理者的人脸位置，分别作为机械臂模块的第一目标位姿和第二目标位姿；根据所述第一目标位姿和第二目标位置进行机械臂逆解运算，得到机械臂模块用来喂饭的运动轨迹。
本发明实施例基于ROS的饮食护理方法及设备，该方法应用于ROS的饮食护理设备，该设备至少包括语音识别模块，工控机模块和智能餐桌模块；所述方法包括：语音识别模块获取护理者的取餐指令，并将所述取餐指令传送至工控机模块；工控机模块根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块；智能餐桌模块根据所述用于取餐的运动指令执行取餐操作，以获取至少一种菜品，并在完成取餐操作后运动至被护理者所属区域范围内。如此，本发明利用智能餐桌模块实现饮食护理机器人的自主运动，利用工控机模块实现多个模块的交互，利用语音识别模块实现语音的接收并传递给工控机模块。
进一步地，在智能餐桌模块运动至被护理者所属区域范围内之后，第一图像采集模块采集所获取的至少一种菜品的菜品图样，并将所采集的至少一种菜品的菜品图样发送至工控机模块；工控机模块对所采集的至少一种菜品的菜品图样进行菜品识别，以获得并存储所述至少一种菜品的菜品名称。最后，语音识别模块获取所述被护理者的用餐指令，并将所述用餐指令传送至工控机模块；工控机模块根据所述用餐指令识别出所述被护理者所需要的菜品及菜品的夹取位置；根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹，并向机器臂模块发送携带有所述运动轨迹的喂饭指令；机械臂模块响应于所述喂饭指令，并根据所述运动轨迹执行面向所述被护理者的喂饭操作。这样，本发明通过第一/第二图像采集模块实现菜品识别和人脸位置的定位，机械臂模块实现菜品的抓取、喂食，电源模块实现整个饮食护理机器人的供电，进而根据具体指令和被护理者的位置来适应的做出相应的动作，最终实现喂饭的功能。
需要理解的是，本发明的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本发明的其他实施方式还能够实现上面未提到的有益效果。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1示出了本发明实施例基于ROS的饮食护理方法的实现流程示意图；
图2示出了本发明实施例基于ROS的饮食护理设备的组成结构示意图；
图3示出了本发明一应用示例基于ROS的饮食护理设备的具体组成结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为使本发明更加透彻和完整，并能够将本发明的范围完整地传达给本领域的技术人员。
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
图1示出了本发明实施例基于ROS的饮食护理方法的实现流程示意图。
参考图1，本发明实施例基于ROS的饮食护理方法应用于基于ROS的饮食护理设备，该设备至少包括语音识别模块，工控机模块和智能餐桌模块；所述方法包括：操作101，语音识别模块获取护理者的取餐指令，并将所述取餐指令传送至工控机模块；操作102，工控机模块根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块；操作103，智能餐桌模块根据所述用于取餐的运动指令执行取餐操作，以获取至少一种菜品，并在完成取餐操作后运动至被护理者所属区域范围内。
这里需要说明的是，整个基于ROS的饮食护理设备可以由电源模块来供电。该电源模块通常由多块锂电池组成，可提供12V，5V等电压。通常可以设置于智能餐桌模块的餐桌底板上方，工控机模块的旁边位置。
其中，在操作101，语音识别模块采用麦克风阵列硬件装置，通过内六角或螺丝将装置固定于喂饭平台下面，通过USB与工控机模块连接。语音识别模块用于接受语音指令并传递给工控机模块并判断语音指令发出者的位置。
在操作102，工控机模块采用多核CPU，GPU单元，通过内六角或螺丝将用于放置工控机的盒子固定在底盘上面，并用锂电池给工控机模块供电。所述工控模块根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块，包括：工控机模块通过所述取餐指令确定取餐位置，并根据所确定的取餐位置生成用于取餐的运动指令；工控机模块通过通信模块将所生成的用于取餐的运动指令发送至智能餐桌模块。
其中，智能餐桌模块底部安装四个轮子(比如麦克纳姆轮或全向轮或橡胶轮等)，连接到带有编码器的直流电机上，并从直流电机上引出相应的接线接到单片机与驱动板模块，其中单片机与驱动板模块置于小车底座下方，单片机与工控机模块通过通信模块进行通信(比如USB转TTL模块、USB转串口模块、蓝牙模块、WIFI模块等)，并用锂电池给单片机与驱动板模块供电。
在操作103，智能餐桌模块能够根据所述用于取餐的运动指令执行取餐操作，以获取至少一种菜品，并在完成取餐操作后运动至被护理者所属区域范围内，从而实现机器人的自主运动、定位、导航、避障等。其中，智能餐桌模块具有自动伸缩功能的支架，可以根据具体场景的需要调整高度。
另外，智能餐桌模块还可以包括智能显示屏，用于提供被护理者与亲朋好友之间进行视频通话活播放其他多媒体信息等的功能。
在一示例中，饭菜做好后，被护理者对应的护理者(如家属或护工等)发出语音指令，诸如麦克风阵列装置的语音识别模块接收到语音指令转化然后传递给工控机ROS系统，即工控机模块，工控机模块通过语音指令判断语音发出者的位置，并启动相机获取图像信息返回给工控机模块，工控机模块发出运动到取餐位置的指令，并通过通信模块(如USB转TTL模块、USB转串口模块、蓝牙模块、WIFI模块等)传输到单片机模块，单片机根据指令控制引脚输出波给与其相连的驱动板模块，驱动板模块控制带有编码器的直流电机模块使小车运动，并通过PID调参方式稳定运动。运动过程是根据相机获取的图像信息，通过Visual-SLAM的方法实现自主运动、定位、导航、避障。
根据本发明一实施方式，所述基于ROS的饮食护理设备还包括第一图像采集模块；在操作103之后，所述方法还包括：第一图像采集模块采集所获取的至少一种菜品的菜品图样，并将所采集的至少一种菜品的菜品图样发送至工控机模块；工控机模块对所采集的至少一种菜品的菜品图样进行菜品识别，以获得并存储所述至少一种菜品的菜品名称。
其中，该第一图像采集模块可以体感相机。具体地，完成取餐后，接收返回指令后小车以上述方式运动到被护理人附近。体感相机通过采集菜品图片发送给工控机模块，工控机模块接受图像信息并进行深度学习，利用已训练好的大量数据集通过YOLO算法，识别出菜品名称，并将其结果储存起来。
根据本发明一实施方式，所述基于ROS的饮食护理设备还包括机械臂模块；进一步地，所述方法还包括：语音识别模块获取所述被护理者的用餐指令，并将所述用餐指令传送至工控机模块；工控机模块根据所述用餐指令识别出所述被护理者所需要的菜品及菜品的夹取位置；根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹，并向机器臂模块发送携带有所述运动轨迹的喂饭指令；机械臂模块响应于所述喂饭指令，并根据所述运动轨迹执行面向所述被护理者的喂饭操作。
其中，机械臂模块通过接受工控机传来的指令，实现菜品的抓取、喂饭的功能；具有较强的人机交互功能，实时反馈机械臂当前位姿及运动结果，多场景适用性好，定位精度高等优点。其中，机械臂模块中的灵敏手可以提供多种喂餐方式。具体地，被护理人发出需要菜品的指令，麦克风阵列接受并传递给工控机模块，工控机模块识别出被护理人需要的菜品，工控机模块对体感相机实时传递过来的菜品图片进行深度学习，利用已训练好的大量数据集通过YOLO 算法，得到被护理人所需要的菜品及其位置，通过ROS与深度学习的API接口传递给工控机模块。
根据本发明一实施方式，所述基于ROS的饮食护理设备还包括第二图像采集模块；工控机模块根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹之前，所述方法还包括：第二图像采集模块获取所述被护理者的人脸位置，并将所述被护理者的人脸位置传送至工控机模块；相应的，工控机模块根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹，包括：工控机模块将所识别得到的菜品的夹取位置和所述被护理者的人脸位置，分别作为机械臂模块的第一目标位姿和第二目标位姿；工控机模块根据所述第一目标位姿和第二目标位置进行机械臂逆解运算，得到机械臂模块用来喂饭的运动轨迹。
具体地，工控机模块以机械臂当前位姿为初始位姿，以深度学习传递过来的菜品位置作为第一目标位姿，通过深度学习传递过来的被护理人位置作为第二目标位姿，分别求解两个运动过程的逆运动学(IK，逆运动学即把终端位姿变成关节角度，q＝IK(p)。p是终端位姿(x,y,z)，q是关节角度。机械臂逆解是已知末端关节位姿求解各关节变量，逆解是机械臂轨迹规划和运动控制的基础) 和正运动学(FK，正运动学即把关节角度转化成终端位姿，可采用D-H算法求解)。在得到运动学结果后进行关节空间规划，工作空间规划，路径规划，碰撞检测，避障规划。求解出从初始位姿到第一目标位姿(即需要夹取菜品的位置)的最优路径后执行操作，通过灵敏手夹取菜品后；求解从第一目标位姿 (即需要夹取菜品的位置)到第二目标位姿(即被护理人所在位置)的最优路径后执行操作，通过灵敏手的运动给被护理者喂饭。机械臂的主要构造为主控板(也就是作为ROS和机械臂之间联系的控制器(controller))，还有四个相互并联的无刷直流伺服电机，即具有4个旋转关节，即四自由度，可实现每一个无刷直流伺服电机的单独运动。四个舵机与主控板相连接并联连接。1号电机为底部舵机固定在机械臂底盘上，转动自由度为-180°～+180°，2号电机通过连接部件与1号电机相连接，转动自由度为-90°～+90°，3号电机通过连接部件与2号电机相连接，转动自由度为-90°～+90°，4号电机通过连接部件和 3号电机相连接，转动自由度为-90°～+90°，在4号电机上连接一个灵敏手，主要负责夹取物品。本机械臂采用ROS之下的机械臂控制(MOVEIT！)系统框架，一个易于使用的集成化开发平台，包括运动规划，摇杆控制，3D感知，运动学，控制与导航算法，并且提供更好的GUI。同时结合ROS各种通信方式的优点，本机器人采用动作编程(action)：一种问答通信机制，带有连续反馈，可以在任务过程中止运行。
其中第二图像采集模块在获取所述被护理者的人脸位置时所采用的人脸定位过程包括：在工控机中导入数据集，利用YOLO算法进行训练。在相机模块启动后，将采集到的人脸图像信息发送给工控机，工控机通过YOLO算法进行识别，收集人脸图像上的坐标信息(x,y,w,h)及人脸关键点的坐标信息(xi,yi)，其中(x，y)代表人脸在图像上的坐标，(w，h)代表人脸在图像上的宽度和高度。 YOLO检测框架将整个图像分为k*k个网格，每个网格回归n个bounding boes (图像边框)对应置信度回归(对应损失函数中的confidenceloss)、位置回归(对应损失函数中的locationloss)、关键点回归(对应损失函数中的alignedloss。其中损失函数为：
Loss＝aojbect*(β1*confidenceloss+β2*locationloss+β3*alignedloss)+anooject*confidenceloss
其中，路径规划过程包括如下六个操作步骤：第一步，初始化机械臂的起点xinit和目标点xgoal在三维空间内建立障碍物模型。第二步，通过 extendTree(point)函数拓展叶子节点。1)判断新增节点与目标节点的距离到达目标节点即(dist(xnew,xgoal)≤L)，则随机树拓展结束，退出循环。2)如果未达到目标节点则扩展节点,遍历随机树,找到随机树距离目标最近的节点xnew。选择随机节点xrand扩展叶子节点,，为了减小随机性,我们选择20个空间点作为备选随机节点xrand，并计算这20个随机节点xrand与目标节点xgoal之间的距离dist(xrand,xgoal)，并保存到数组array[20]，并通过轮盘赌算法选取其中的四个随机数xrand，按照欧拉距离将其从小到大排序。3)进入4次循环，如果新的节点 xnew与随机节点xrand的距离小于拓展步长L，本次不拓展，继续选择xrand，当4 次循环结束时，未找到随机节点xrand，转1)。当循环结束时，认为找到拓展的叶子节点，转1)。第三步，平滑搜索到的节点，即用折线段(最小二乘法求得)逼近搜索路径，并将其保存在node数组中，通过Hermite插值平滑曲线。第四步，机械臂运动学反解，执行器的空间某点位姿矩阵 pos_goal＝[2*(rand(1,3)-0.5),new(:,1)]，代入backKineticsXPcore函数进行运动学反解，如果反解失败，则在该点相邻的两点作为对称轴，找到其对称点坐标，继续反解。第五步：反解之后我们得到一系列[θ1θ2θ3θ4θ5θ6]关节角的集合，然后通过运动学正解。得到六个关节的空间碰撞检测。第六步：如果反解失败，则在该位姿点的相邻的两点的四个角之间随机取值，直至得到安全的六个关节的角度。
本发明实施例基于ROS的饮食护理方法及设备，该方法应用于ROS的饮食护理设备，该设备至少包括语音识别模块，工控机模块和智能餐桌模块；所述方法包括：语音识别模块获取护理者的取餐指令，并将所述取餐指令传送至工控机模块；工控机模块根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块；智能餐桌模块根据所述用于取餐的运动指令执行取餐操作，以获取至少一种菜品，并在完成取餐操作后运动至被护理者所属区域范围内。如此，本发明利用智能餐桌模块实现饮食护理机器人的自主运动，利用工控机模块实现多个模块的交互，利用语音识别模块实现语音的接收并传递给工控机模块。进一步地，在智能餐桌模块运动至被护理者所属区域范围内之后，第一图像采集模块采集所获取的至少一种菜品的菜品图样，并将所采集的至少一种菜品的菜品图样发送至工控机模块；工控机模块对所采集的至少一种菜品的菜品图样进行菜品识别，以获得并存储所述至少一种菜品的菜品名称。最后，语音识别模块获取所述被护理者的用餐指令，并将所述用餐指令传送至工控机模块；工控机模块根据所述用餐指令识别出所述被护理者所需要的菜品及菜品的夹取位置；根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹，并向机器臂模块发送携带有所述运动轨迹的喂饭指令；机械臂模块响应于所述喂饭指令，并根据所述运动轨迹执行面向所述被护理者的喂饭操作。这样，本发明通过第一/第二图像采集模块实现菜品识别和人脸位置的定位，机械臂模块实现菜品的抓取、喂食，电源模块实现整个饮食护理机器人的供电，进而根据具体指令和被护理者的位置来适应的做出相应的动作，最终实现喂饭的功能。
同样，基于如上文所述基于ROS的饮食护理方法，本发明实施例又提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被处理器执行时，使得所述处理器至少执行如下所述的操作步骤：操作101，语音识别模块获取护理者的取餐指令，并将所述取餐指令传送至工控机模块；操作102，工控机模块根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块；操作103，智能餐桌模块根据所述用于取餐的运动指令执行取餐操作，以获取至少一种菜品，并在完成取餐操作后运动至被护理者所属区域范围内。
进一步地，基于上文所述基于ROS的饮食护理方法，本发明实施例还提供一种基于ROS的饮食护理设备，如图2所示，所述基于ROS的饮食护理设备 20至少包括语音识别模块201，工控机模块202和智能餐桌模块203；其中，语音识别模块201，用于获取护理者的取餐指令，并将所述取餐指令传送至工控机模块202；工控机模块202，用于根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块203；智能餐桌模块203，用于根据所述用于取餐的运动指令执行取餐操作，以获取至少一种菜品，并在完成取餐操作后运动至被护理者所属区域范围内。
根据本发明一实施方式，工控机模块202还用于，通过所述取餐指令确定取餐位置，并根据所确定的取餐位置生成用于取餐的运动指令；通过通信模块将所生成的用于取餐的运动指令发送至智能餐桌模块203。
根据本发明一实施方式，所述基于ROS的饮食护理设备20还包括第一图像采集模块204；第一图像采集模块204，用于在智能餐桌模块运动至被护理者所属区域范围内之后，采集所获取的至少一种菜品的菜品图样，并将所采集的至少一种菜品的菜品图样发送至工控机模块202；工控机模块202，还用于对所采集的至少一种菜品的菜品图样进行菜品识别，以获得并存储所述至少一种菜品的菜品名称。
根据本发明一实施方式，所述基于ROS的饮食护理设备20还包括机械臂模块205；语音识别模块201，还用于获取所述被护理者的用餐指令，并将所述用餐指令传送至工控机模块202；工控机模块202，还用于根据所述用餐指令识别出所述被护理者所需要的菜品及菜品的夹取位置；根据所识别得到的菜品的夹取位置确定机械臂模块205用来喂饭的运动轨迹，并向机器臂模块205发送携带有所述运动轨迹的喂饭指令；机械臂模块205，用于响应于所述喂饭指令，并根据所述运动轨迹执行面向所述被护理者的喂饭操作。
根据本发明一实施方式，所述基于ROS的饮食护理设备20还包括第二图像采集模块204；第二图像采集模块204，用于在工控机模块202根据所识别得到的菜品的夹取位置确定机械臂模块205用来喂饭的运动轨迹之前，获取所述被护理者的人脸位置，并将所述被护理者的人脸位置传送至工控机模块202；相应的，工控机模块202还用于，将所识别得到的菜品的夹取位置和所述被护理者的人脸位置，分别作为机械臂模块205的第一目标位姿和第二目标位姿；根据所述第一目标位姿和第二目标位置进行机械臂逆解运算，得到机械臂模块 205用来喂饭的运动轨迹。
图3示出了本发明一应用示例基于ROS的饮食护理设备的具体组成结构示意图。参考图3，具体在使用中，饭菜做好后，被护理者对应的护理者(如家属或护工等)发出语音指令，诸如麦克风阵列装置的语音识别模块接收到语音指令转化然后传递给工控机ROS系统，即工控机模块，工控机模块通过语音指令判断语音发出者的位置，并启动相机获取图像信息返回给工控机模块，工控机模块发出运动到取餐位置的指令，并通过通信模块(如USB转TTL模块、 USB转串口模块、蓝牙模块、WIFI模块等)传输到单片机模块，单片机根据指令控制引脚输出波给与其相连的驱动板模块，驱动板模块控制带有编码器的直流电机模块使小车运动，并通过PID调参方式稳定运动。运动过程是根据相机获取的图像信息，通过Visual-SLAM的方法实现自主运动、定位、导航、避障。完全取餐后，接收返回指令后小车以上述方式运动到被护理人附近。体感相机通过采集菜品图片发送给工控机模块，工控机模块接受图像信息并进行深度学习，利用已训练好的大量数据集通过YOLO算法，识别出菜品名称，并将其结果储存起来。被护理人发出需要菜品的指令，麦克风阵列接受并传递给工控机模块，工控机模块识别出被护理人需要的菜品，工控机模块对体感相机实时传递过来的菜品图片进行深度学习，利用已训练好的大量数据集通过YOLO算法，得到被护理人所需要的菜品及其位置，通过ROS与深度学习的API接口传递给工控机模块。
这里需要指出的是：以上对基于ROS的饮食护理设备实施例的描述，与前述图1所示的方法实施例的描述是类似的，具有同前述图1所示的方法实施例相似的有益效果，因此不做赘述。对于本发明对基于ROS的饮食护理设备实施例中未披露的技术细节，请参照本发明前述图1所示的方法实施例的描述而理解，为节约篇幅，因此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个装置，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以利用硬件的形式实现，也可以利用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于机器人操作系统ROS的饮食护理方法，其特征在于，应用于基于ROS的饮食护理设备，所述设备至少包括语音识别模块，工控机模块和智能餐桌模块；所述方法包括：
语音识别模块获取护理者的取餐指令，并将所述取餐指令传送至工控机模块；
工控机模块根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块；
智能餐桌模块根据所述用于取餐的运动指令执行取餐操作，以获取至少一种菜品，并在完成取餐操作后运动至被护理者所属区域范围内。
2.根据权利要求1所述的方法，其特征在于，所述工控机模块根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块，包括：
工控机模块通过所述取餐指令确定取餐位置，并根据所确定的取餐位置生成用于取餐的运动指令；
工控机模块通过通信模块将所生成的用于取餐的运动指令发送至智能餐桌模块。
3.根据权利要求1所述的方法，其特征在于，所述基于ROS的饮食护理设备还包括第一图像采集模块；在智能餐桌模块运动至被护理者所属区域范围内之后，所述方法还包括：
第一图像采集模块采集所获取的至少一种菜品的菜品图样，并将所采集的至少一种菜品的菜品图样发送至工控机模块；
工控机模块对所采集的至少一种菜品的菜品图样进行菜品识别，以获得并存储所述至少一种菜品的菜品名称。
4.根据权利要求1所述的方法，其特征在于，所述基于ROS的饮食护理设备还包括机械臂模块；所述方法还包括：
语音识别模块获取所述被护理者的用餐指令，并将所述用餐指令传送至工控机模块；
工控机模块根据所述用餐指令识别出所述被护理者所需要的菜品及菜品的夹取位置；根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹，并向机器臂模块发送携带有所述运动轨迹的喂饭指令；
机械臂模块响应于所述喂饭指令，并根据所述运动轨迹执行面向所述被护理者的喂饭操作。
5.根据权利要求4所述的方法，其特征在于，所述基于ROS的饮食护理设备还包括第二图像采集模块；工控机模块根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹之前，所述方法还包括：第二图像采集模块获取所述被护理者的人脸位置，并将所述被护理者的人脸位置传送至工控机模块；
相应的，工控机模块根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹，包括：
工控机模块将所识别得到的菜品的夹取位置和所述被护理者的人脸位置，分别作为机械臂模块的第一目标位姿和第二目标位姿；
工控机模块根据所述第一目标位姿和第二目标位置进行机械臂逆解运算，得到机械臂模块用来喂饭的运动轨迹。
6.一种基于机器人操作系统ROS的饮食护理设备，所述设备至少包括语音识别模块，工控机模块和智能餐桌模块；其中，
语音识别模块，用于获取护理者的取餐指令，并将所述取餐指令传送至工控机模块；
工控机模块，用于根据所述取餐指令生成用于取餐的运动指令，并将所述用于取餐的运动指令传送至智能餐桌模块；
智能餐桌模块，用于根据所述用于取餐的运动指令执行取餐操作，以获取至少一种菜品，并在完成取餐操作后运动至被护理者所属区域范围内。
7.根据权利要求6所述的设备，其特征在于，工控机模块还用于，通过所述取餐指令确定取餐位置，并根据所确定的取餐位置生成用于取餐的运动指令；通过通信模块将所生成的用于取餐的运动指令发送至智能餐桌模块。
8.根据权利要求6所述的设备，其特征在于，所述基于ROS的饮食护理设备还包括第一图像采集模块；
第一图像采集模块，用于在智能餐桌模块运动至被护理者所属区域范围内之后，采集所获取的至少一种菜品的菜品图样，并将所采集的至少一种菜品的菜品图样发送至工控机模块；
工控机模块，还用于对所采集的至少一种菜品的菜品图样进行菜品识别，以获得并存储所述至少一种菜品的菜品名称。
9.根据权利要求6所述的设备，其特征在于，所述基于ROS的饮食护理设备还包括机械臂模块；
语音识别模块，还用于获取所述被护理者的用餐指令，并将所述用餐指令传送至工控机模块；
工控机模块，还用于根据所述用餐指令识别出所述被护理者所需要的菜品及菜品的夹取位置；根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹，并向机器臂模块发送携带有所述运动轨迹的喂饭指令；
机械臂模块，用于响应于所述喂饭指令，并根据所述运动轨迹执行面向所述被护理者的喂饭操作。
10.根据权利要求9所述的设备，其特征在于，所述基于ROS的饮食护理设备还包括第二图像采集模块；
第二图像采集模块，用于在工控机模块根据所识别得到的菜品的夹取位置确定机械臂模块用来喂饭的运动轨迹之前，获取所述被护理者的人脸位置，并将所述被护理者的人脸位置传送至工控机模块；
相应的，工控机模块还用于，将所识别得到的菜品的夹取位置和所述被护理者的人脸位置，分别作为机械臂模块的第一目标位姿和第二目标位姿；根据所述第一目标位姿和第二目标位置进行机械臂逆解运算，得到机械臂模块用来喂饭的运动轨迹。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910331831.XA CN109986577A (zh) | 2019-04-24 | 2019-04-24 | 基于机器人操作系统的饮食护理方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910331831.XA CN109986577A (zh) | 2019-04-24 | 2019-04-24 | 基于机器人操作系统的饮食护理方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109986577A true CN109986577A (zh) | 2019-07-09 |
Family
ID=67133100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910331831.XA Pending CN109986577A (zh) | 2019-04-24 | 2019-04-24 | 基于机器人操作系统的饮食护理方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109986577A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969229A (zh) * | 2019-12-13 | 2020-04-07 | 广州富港万嘉智能科技有限公司 | 一种智能用餐平台的控制方法及智能用餐平台和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105479462A (zh) * | 2016-01-05 | 2016-04-13 | 佛山科学技术学院 | 一种助餐服务机器人 |
| CN105522582A (zh) * | 2016-03-09 | 2016-04-27 | 山东理工大学 | 一种用于自主喂饭机器人的喂饭机构 |
| CN106863323A (zh) * | 2017-03-06 | 2017-06-20 | 上海理工大学 | 饮食护理机器人装置 |
| CN106976094A (zh) * | 2017-05-18 | 2017-07-25 | 山东科技大学 | 辅助上肢失能人餐饮的机械手系统及其工作方法 |
| CN108022157A (zh) * | 2017-12-08 | 2018-05-11 | 成都众智优学教育咨询有限公司 | 适用于餐厅的客户定位机器人 |
| CN108818566A (zh) * | 2018-07-24 | 2018-11-16 | 昆山市工业技术研究院有限责任公司 | 一种全自动助餐机器人 |
| CN208645348U (zh) * | 2018-08-13 | 2019-03-26 | 天津塔米智能科技有限公司 | 一种餐饮服务机器人 |
-
2019
- 2019-04-24 CN CN201910331831.XA patent/CN109986577A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105479462A (zh) * | 2016-01-05 | 2016-04-13 | 佛山科学技术学院 | 一种助餐服务机器人 |
| CN105522582A (zh) * | 2016-03-09 | 2016-04-27 | 山东理工大学 | 一种用于自主喂饭机器人的喂饭机构 |
| CN106863323A (zh) * | 2017-03-06 | 2017-06-20 | 上海理工大学 | 饮食护理机器人装置 |
| CN106976094A (zh) * | 2017-05-18 | 2017-07-25 | 山东科技大学 | 辅助上肢失能人餐饮的机械手系统及其工作方法 |
| CN108022157A (zh) * | 2017-12-08 | 2018-05-11 | 成都众智优学教育咨询有限公司 | 适用于餐厅的客户定位机器人 |
| CN108818566A (zh) * | 2018-07-24 | 2018-11-16 | 昆山市工业技术研究院有限责任公司 | 一种全自动助餐机器人 |
| CN208645348U (zh) * | 2018-08-13 | 2019-03-26 | 天津塔米智能科技有限公司 | 一种餐饮服务机器人 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110969229A (zh) * | 2019-12-13 | 2020-04-07 | 广州富港万嘉智能科技有限公司 | 一种智能用餐平台的控制方法及智能用餐平台和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9517559B2 (en) | Robot control system, robot control method and output control method | |
| JP6927938B2 (ja) | クラウドサービスシステムを組み込んだロボットシステム | |
| Graf et al. | Robotic home assistant Care-O-bot® 3-product vision and innovation platform | |
| CN205219101U (zh) | 一种家庭服务机器人 | |
| Asfour et al. | Toward humanoid manipulation in human-centred environments | |
| JP4032793B2 (ja) | 充電システム及び充電制御方法、ロボット装置、及び充電制御プログラム及び記録媒体 | |
| KR100898435B1 (ko) | 로봇 장치 및 그 제어 방법 | |
| Quigley et al. | Mechatronic design of an integrated robotic hand | |
| Pyo et al. | Service robot system with an informationally structured environment | |
| JP4333364B2 (ja) | ロボット装置、顔認識方法及び顔認識装置 | |
| JP3945279B2 (ja) | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 | |
| US20060064202A1 (en) | Environment identification device, environment identification method, and robot device | |
| JP2022542241A (ja) | ロボット装置からの視覚的出力を補強するシステム及び方法 | |
| JP2003266345A (ja) | 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置 | |
| JP2004110802A (ja) | 環境同定装置、環境同定方法、プログラム及び記録媒体、並びにロボット装置 | |
| JP2004298977A (ja) | 行動制御装置、行動制御方法及び行動制御プログラム、並びに移動型ロボット装置 | |
| Booranrom et al. | Smart bedroom for elderly using kinect | |
| JP2003266349A (ja) | 位置認識方法、その装置、そのプログラム、その記録媒体及び位置認識装置搭載型ロボット装置 | |
| JP2015066621A (ja) | ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法 | |
| CN108858176A (zh) | 一种智能机器狗 | |
| CN109986577A (zh) | 基于机器人操作系统的饮食护理方法及设备 | |
| Bolder et al. | Visually guided whole body interaction | |
| WO2022028110A1 (zh) | 自移动设备的地图创建方法、装置、设备及存储介质 | |
| Zhang et al. | An egocentric vision based assistive co-robot | |
| Bergener et al. | Arnold: An anthropomorphic autonomous robot for human environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190709 |
|
| RJ01 | Rejection of invention patent application after publication |