CN109571513A - 一种沉浸式移动抓取服务机器人系统 - Google Patents

一种沉浸式移动抓取服务机器人系统 Download PDF

Info

Publication number
CN109571513A
CN109571513A CN201811537911.2A CN201811537911A CN109571513A CN 109571513 A CN109571513 A CN 109571513A CN 201811537911 A CN201811537911 A CN 201811537911A CN 109571513 A CN109571513 A CN 109571513A
Authority
CN
China
Prior art keywords
mobile
user
visual sensor
control center
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811537911.2A
Other languages
English (en)
Other versions
CN109571513B (zh
Inventor
谢龙汉
林耿亮
林成启
吴伟锋
李国峰
蔡思祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201811537911.2A priority Critical patent/CN109571513B/zh
Publication of CN109571513A publication Critical patent/CN109571513A/zh
Application granted granted Critical
Publication of CN109571513B publication Critical patent/CN109571513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0009—Constructional details, e.g. manipulator supports, bases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor

Abstract

本发明公开了一种沉浸式移动抓取服务机器人系统，包括上位机控制中心、视觉传感器、位置跟踪手套、头部显示器、二轴云台、轻量型仿生机械臂、移动平台、激光雷达传感器。所述轻量型仿生机械臂安装于移动平台，完成物品的抓取；移动平台工作于室内环境，自主完成避障、导航作业；头部显示器佩戴于使用者头部，带给使用者沉浸式体验；上位机控制中心负责对外界信息的整合和控制指令输出；视觉传感器用于获取外界视觉信息；二轴云台用于调整视觉传感器的视野方向；位置跟踪手套与视觉传感器共同作用捕获用户手部位姿及手臂姿态；激光雷达传感器用于地图的动态构建。本发明的沉浸式移动抓取服务机器人系统实现了移动抓取过程的安全性、科学性及人机交互友好便捷性。

Description

一种沉浸式移动抓取服务机器人系统
技术领域
本发明涉及服务机器人领域，具体涉及一种沉浸式移动抓取服务机器人系统。
背景技术
据统计，截至2017年底，我国60岁以上老年人口已经达到2.4亿，预计到2025年，我国60岁以上的人口将超过3亿，成为超老龄型国家。此外，各种因素如自然灾害、环境污染、交通事故、工伤等导致的下肢残疾者的数量也在増加。可见，发展先进的助老助残服务机器人成为了社会发展和进步的迫切需求。在日常生活中，行动不便者往往难以具备独自获取基本生活用品的能力；此外，行动不便者的活动范围往往局限于一个地方，难以观看到外面的世界。因而行动不便者的生活起居通常需要专业的护理人员负责照顾，然而这类人群数量庞大，并且护理工作需花费大量的时间和精力，导致了大量行动不便者无法得到及时的护理。
发明专利《一种针对服务机器人的高维操作臂遥操作方法》（公开号：CN201410279982.2）。该发明公开了一种针对服务机器人的高维操作臂遥操作方法，该系统由手势识别器、沉浸式虚拟眼镜、带路由器的嵌入式处理器和服务机器人组成。机械臂采用一种基于采样的自主路径规划控制方法，同时操作者可通过手势识别器对远端机械臂的末端机构进行简单的控制。但该发明主要以机器人的自主规划为主，并不涉及人的智能的作用，同时在机械臂的控制方式上与本发明有本质的区别。而本发明通过友好的人机交互方式，增加动作跟随抓取模式，可通过语音和图像协助物体识别，通过视觉捕捉人体手臂的动作作为控制输入实现机械臂对人体的动作跟随，很好地实现对机器臂以及视觉系统的智能性进行修正。应该说，本发明的本质是一种人机一体化体系：人类定性、判断、决策的智能与机器定量、计算、推理的智能相结合。
发明内容
针对上述技术问题，本发明提出了一种人机交互友好、操作便捷的沉浸式移动抓取服务机器人系统，帮助行动不便者完成基本生活用品的获取，整个系统实现移动抓取过程的安全性、科学性及人机交互友好便捷性。
为实现上述目的，本发明技术方案如下。
一种沉浸式移动抓取服务机器人系统，包括用户操作端和移动执行端，所述的用户操作端包括：
上位机控制中心，用于轻量型仿生机械臂、移动平台、头部显示器、用户端视觉传感器和移动端视觉传感器的通信、控制及数据处理，实现对外界信息的整合和控制系统准确运行；
用户端视觉传感器，用于获取用户手部的位姿及手臂姿态，并把信息反馈到所述上位机控制中心作为移动抓取服务机器人的输入控制信号之一，所采集的手部位姿信息与位置跟踪手套反馈的手部位姿信息作对比，并根据上一次采样所得手部位姿，输出当前手部的精确位姿；所采集的手臂姿态信息用于控制轻型仿生机械臂各关节模拟用户手臂姿态，在不发生碰撞的前提下尽量模仿用户手臂行为，提高真实感；
位置跟踪手套，用于获取用户手部位姿，并反馈到上位机控制中心作为移动抓取服务机器人的输入控制信号之一，所获取数据与上一次采样所得手部位姿、视觉传感器反馈的手部位姿作比较后输出当前手部位姿；
头部显示器，佩戴于使用者头部，用于共享接收从移动端视觉传感器获取的真实场景下的视频图像，带给使用者沉浸式的操作体验，同时，获取的视频图像经物体识别处理后输出一系列可抓取物体列表，并显示于头部显示器。
所述的移动执行端包括：
移动端视觉传感器，安装于二轴云台上，用于获取机器人运行环境的图像、自主识别并提取目标物体及机械臂的空间信息作为反馈信号控制机器人的物体抓取运动，同时，获取的图像作为输入信号经头部显示器处理后显示于头部显示器。
二轴云台，设置在所述移动平台上，用于实现移动端视觉传感器视野方向的调整；
轻量型仿生机械臂，固定在移动平台上，通过接收上位机控制中心的指令，在未知环境下完成基本生活用品的无碰撞抓取；
移动平台，用于搭载机械臂并根据上位机控制中心的指令移动以增加轻量型仿生机械臂的活动范围，帮助使用者获取远端物品；
激光雷达传感器，嵌套安装于移动平台上，用于构建机器人运行环境的动态地图信息，实现避障以及自主导航功能。
进一步优选地，所述上位机控制中心用于控制轻量型仿生机械臂开启自主识别抓取模式或动态跟随抓取模式，当启动自主识别抓取模式时，所述上位机控制中心控制移动平台根据目标物体的位置信息自主导航移动至目标物体附近，随后由轻量型仿生机械臂自主完成无碰撞抓取；当启动动态跟随抓取模式时，所述上位机控制中心实时捕捉位置跟踪手套的位姿信息，并与上一次采样所得手部位姿、当前视觉传感器反馈的手部位姿作比较后输出当前手部位姿，从而控制轻量型仿生机械臂更加精确地动态跟随使用者手臂动作，实现对目标物体的无碰撞抓取。
进一步优选地，所述的上位机控制中心根据用户端视觉传感器采集的使用者相应手势在自主识别抓取模式和动态跟随抓取模式之间进行切换。
进一步优选地，所述的上位机控制中心根据用户语音指令在自主识别抓取模式下完成对头部显示器中可抓取列表的选择。
进一步优选地，所述的上位机控制中心为电脑。
进一步优选地，所述的头部显示器还用于获得使用者头部姿态信息并反馈到所述上位机控制中心；所述上位机控制中心根据获取的使用者头部姿态信息控制所述二轴云台作同步跟随运动，实现移动端视觉传感器视野方向的动态调整，使视觉传感器跟随使用者的头部运动，灵活完成环境信息的捕获，增加机器人系统的真实感。
进一步优选地，所述的用户操作端还包括位置跟踪手套，佩戴于使用者手部，用于获取使用者手部的空间坐标以及运动信息，并反馈到上位机控制中心，与上一次采样所得手部位姿、当前视觉传感器反馈的手部位姿作比较，辅助修正视觉传感器所识别结果，提高对使用者手部位姿识别的准确率，输出当前手部的精确位姿，作为服务机器人的控制信号，实现轻量型仿生机械臂对人体动作的跟随运动。
进一步优选地，所述的用户端视觉传感器和移动端视觉传感器采用体感摄像头。
进一步优选地，所述上位机控制中心还用于：当所述用户端视觉传感器识别到预定义的移动执行端开机手势后，发送开机指令至移动执行端，依次开启所述移动执行端的各设备。
进一步优选地，所述上位机控制中心还用于：当所述用户端视觉传感器识别到预定义的移动执行端关机手势后，发送关机指令至移动执行端，依次关闭所述移动执行端的各设备退出操作。
与现有技术比较，本发明具有如下优点和技术效果：
本发明通过上位机控制中心、视觉传感器、位置跟踪手套、头部显示器、二轴云台、轻量型仿生机械臂、移动平台、激光雷达传感器实现移动抓取过程的安全性、科学性及人机交互友好便捷性。
附图说明
图1为本发明实施例的一种沉浸式移动抓取服务机器人的系统示意图。
图中所示：1-上位机控制中心；2-用户端视觉传感器；3-位置跟踪手套；4-头部显示器；5-移动端视觉传感器；6-二轴云台；7-轻量型仿生机械臂；8-移动平台；9-激光雷达传感器。
具体实施方式
下面将结合具体实施例对本发明作进一步说明，但不限于此。
如图1所示，一种沉浸式移动抓取服务机器人系统，包括用户操作端和移动执行端，所述的用户操作端包括上位机控制中心1、用户端视觉传感器2、位置跟踪手套3、头部显示器4，所述的移动执行端包括移动端视觉传感器5、二轴云台6、轻量型仿生机械臂7、移动平台8和激光雷达传感器9。
所述上位机控制中心1用于轻量型仿生机械臂7、移动平台8、头部显示器4、用户端视觉传感器2和移动端视觉传感器5的通信、控制及数据处理，实现对外界信息的整合和控制系统准确运行，本实施例中所述的上位机控制中心为电脑，放置在用户端的桌面上。
用户端视觉传感器2，采用体感摄像头，放置在用户端的桌面上，用于获取用户手部的位姿及手臂姿态，并把数据信息反馈到所述上位机控制中心1。所采集的手部位姿信息与位置跟踪手套3反馈的手部位姿信息作对比，并根据上一次采样所得手部位姿，输出当前手部的精确位姿。而所采集的手臂姿态信息用于控制轻型仿生机械臂7各关节模拟用户手臂姿态，在不发生碰撞的前提下尽量模仿用户手臂行为，提高真实感。
所述的位置跟踪手套3佩戴于使用者手部，用于获取使用者手部的空间坐标以及运动信息，并反馈到上位机控制中心1，与上一次采样所得手部位姿、当前视觉传感器2反馈的手部位姿作比较，对视觉传感器2所反馈的手部位姿进行修正，输出当前手部的精确位姿，作为服务机器人的控制信号，实现轻量型仿生机械臂7对人体动作的跟随运动。
头部显示器4，佩戴于使用者头部，用于共享接收从移动端视觉传感器5获取的真实场景下的视频图像，带给使用者沉浸式的操作体验，获取的视频图像经物体识别处理后输出一系列可抓取物体列表，并显示于头部显示器4；同时，所述的头部显示器4还用于获得使用者头部姿态信息并反馈到所述上位机控制中心1；所述上位机控制中心1根据获取的使用者头部姿态信息控制所述二轴云台6作同步跟随运动，实现移动端视觉传感器5视野方向的动态调整。
所述的移动端视觉传感器5安装于二轴云台6上，采用体感摄像头，用于获取机器人运行环境的图像、自主识别并提取目标物体及机械臂的空间信息作为反馈信号控制机器人的物体抓取运动，同时，获取的图像作为输入信号经头部显示器4处理后显示于头部显示器4。
所述的二轴云台6设置在所述移动平台8上，用于实现移动端视觉传感器5视野方向的调整；
所述轻量型仿生机械臂7固定在移动平台8上，通过接收上位机控制中心1的指令，在未知环境下完成基本生活用品的无碰撞抓取；
所述移动平台8用于搭载机械臂7并根据上位机控制中心1的指令移动以增加轻量型仿生机械臂7的活动范围，帮助使用者获取远端物品；
所述激光雷达传感器9嵌套安装于移动平台8上，用于构建机器人运行环境的动态地图信息，实现避障以及自主导航功能。
另外，所述上位机控制中心1用于控制轻量型仿生机械臂7开启自主识别抓取模式或动态跟随抓取模式，当启动自主识别抓取模式时，所述上位机控制中心1控制移动平台8根据目标物体的位置信息自主导航移动至目标物体附近，随后由轻量型仿生机械臂7自主完成无碰撞抓取；当启动动态跟随抓取模式时，所述上位机控制中心1实时捕捉位置跟踪手套3的位姿信息，并与上一次采样所得手部位姿、当前视觉传感器反馈的手部位姿作比较后输出当前手部位姿，从而控制轻量型仿生机械臂7更加精确地动态跟随使用者手臂动作，实现对目标物体的无碰撞抓取。所述的上位机控制中心1根据用户端视觉传感器2采集的使用者相应手势在自主识别抓取模式和动态跟随抓取模式之间进行切换。
移动执行端的移动端视觉传感器5，二轴云台6、轻量型仿生机械臂7、移动平台8、激光雷达传感器9通过螺栓依次连接为一整体，依照用户指令，可在自主抓取或动作跟随抓取模式之间切换，能完成在简单环境下自主抓取目标物品，在复杂环境下跟随抓取目标物品，实现移动抓取过程的科学性。
所述用户操作端的上位机控制中心1、用户端视觉传感器2、位置跟踪手套3、头部显示器4通过数据传输线或无线设备连接为一整体。用于获取使用者的手势，动作等信息，作为机器人的输入控制信号，实现对机器人的远程控制。同时，头部显示器4能够为使用者实时共享移动机器人获取的环境信息，进而方便地获取使用者的抓取目标，实现人机交互友好便捷性。
本发明通过二轴云台6、视觉传感器、移动平台8、激光雷达传感器9、轻量型仿生机械臂7、位置跟踪手套3、头部显示器4、上位机控制中心1实现移动抓取过程的安全性、科学性及人机交互友好便捷性。
上述实施例的使用流程如下：
在一个可行的实施例中，用户操作端的设备上电开启后，所述用户端视觉传感器2开始实时获取使用者手部的姿态信息，并通过数据传输线与上位机控制中心1保持通信。当用户端视觉传感器2识别到预定义好的移动执行端开机手势后，所述上位机控制中心1将会发送开机指令至移动执行端，依次开启移动执行端的各设备。所述用户端视觉传感器5开启后能够获取视野范围内的环境信息，实时传输到上位机控制中心1，经处理后在头部显示器4上显示。所述头部显示器4还能够获取使用者头部转动的方向和角度，作为控制信号驱动二轴云台6作相应的转动，获取更加广泛的环境信息，并寻找需要抓取的目标物品。所述移动平台8开启后等待使用者的指令，使用者可根据头部显示器4显示的环境图像在上位机控制中心1中下达目的地指令，所述移动平台8在接收指令后通过路径规划完成自主导航任务，到达目的地并等待下一指令。所述轻量型仿生机械臂7在开启后等待使用者的抓取指令，抓取指令的目标物品由使用者根据头部显示器4显示的环境图像在上位机控制中心1确定。默认情况下移动执行端执行自主抓取模式，所述移动平台8根据目标物体的位置信息自主导航移动至目标物体附近，随后由所述轻量型仿生机械臂7自主完成无碰撞抓取。
在另一个可行的实施例中，根据具体情况，使用者可通过特定的手势切换到动态跟随抓取模式。在该模式下，所述位置跟踪手套3能够实时获取使用者手部的位姿信息，与上一次采样所得手部位姿、当前视觉传感器反馈的手部位姿作比较后，作为控制信号实现轻量型仿生机械臂7对人体手部动作的动态跟随，由使用者操作机械臂抓取目标物品。当完成所有抓取任务后，使用者可通过手势对移动执行端下达关机指令退出操作，即当所述用户端视觉传感器2识别到预定义的移动执行端关机手势后，所述上位机控制中心1发送关机指令至移动执行端，依次关闭所述移动执行端的各设备退出操作。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。

Claims (10)

1.一种沉浸式移动抓取服务机器人系统，包括用户操作端和移动执行端，其特征在于：
所述的用户操作端包括：
上位机控制中心(1)，用于轻量型仿生机械臂(7)、移动平台(8)、头部显示器(4)、用户端视觉传感器(2)和移动端视觉传感器(5)的通信、控制及数据处理，实现对外界信息的整合和控制系统准确运行；
用户端视觉传感器(2)，用于获取用户手部的位姿及手臂姿态，并把数据信息反馈到所述上位机控制中心(1)，所采集的手部位姿信息与位置跟踪手套反馈的手部位姿信息作对比，并根据上一次采样所得手部位姿，输出当前手部的精确位姿；所采集的手臂姿态信息用于控制轻型仿生机械臂各关节模拟用户手臂姿态，在不发生碰撞的前提下尽量模仿用户手臂行为，提高真实感；
位置跟踪手套（3），用于获取用户手部位姿，所获取数据与上一次采样所得手部位姿、视觉传感器反馈的手部位姿作比较后输出当前手部位姿；
头部显示器(4)，佩戴于使用者头部，用于共享接收从移动端视觉传感器(5)获取的真实场景下的视频图像，带给使用者沉浸式的操作体验，同时，获取的视频图像经物体识别处理后输出一系列可抓取物体列表，并显示于头部显示器(4)；
所述的移动执行端包括：
移动端视觉传感器(5)，安装于二轴云台(6)上，用于获取机器人运行环境的图像、自主识别并提取目标物体及机械臂的空间信息作为反馈信号控制机器人的物体抓取运动，同时，获取的图像作为输入信号经头部显示器(4)处理后显示于头部显示器(4)；
二轴云台(6)，设置在所述移动平台(8)上，用于实现移动端视觉传感器(5)视野方向的调整；
轻量型仿生机械臂(7)，固定在移动平台(8)上，通过接收上位机控制中心(1)的指令，在未知环境下完成基本生活用品的无碰撞抓取；
移动平台(8)，用于搭载机械臂(7)并根据上位机控制中心(1)的指令移动以增加轻量型仿生机械臂(7)的活动范围，帮助使用者获取远端物品；
激光雷达传感器(9)，嵌套安装于移动平台(8)上，用于构建机器人运行环境的动态地图信息，实现避障以及自主导航功能。
2.根据权利要求1所述的沉浸式移动抓取服务机器人系统，其特征在于：
所述上位机控制中心(1)用于控制轻量型仿生机械臂(7)开启自主识别抓取模式或动态跟随抓取模式，当启动自主识别抓取模式时，所述上位机控制中心(1)控制移动平台(8)根据目标物体的位置信息自主导航移动至目标物体附近，随后由轻量型仿生机械臂(7)自主完成无碰撞抓取；当启动动态跟随抓取模式时，所述上位机控制中心(1)实时捕捉位置跟踪手套(3)的位姿信息，并与上一次采样所得手部位姿、当前视觉传感器反馈的手部位姿作比较后输出当前手部位姿，从而控制轻量型仿生机械臂(7) 更加精确地动态跟随使用者手臂动作，实现对目标物体的无碰撞抓取。
3.根据权利要求2所述的沉浸式移动抓取服务机器人系统，其特征在于：
所述的上位机控制中心(1)根据用户端视觉传感器(2)采集的使用者相应手势在自主识别抓取模式和动态跟随抓取模式之间进行切换。
4.根据权利要求1所述的沉浸式移动抓取服务机器人系统，其特征在于：所述的上位机控制中心为电脑。
5.根据权利要求1所述的沉浸式移动抓取服务机器人系统，其特征在于：所述的头部显示器(4)还用于获得使用者头部姿态信息并反馈到所述上位机控制中心(1)；所述上位机控制中心(1)根据获取的使用者头部姿态信息控制所述二轴云台(6)作同步跟随运动，实现移动端视觉传感器(5)视野方向的动态调整。
6.根据权利要求1所述的沉浸式移动抓取服务机器人系统，其特征在于：所述的用户操作端还包括位置跟踪手套(3)，佩戴于使用者手部，用于获取使用者手部的空间坐标以及运动信息，并反馈到上位机控制中心(1)，与上一次采样所得手部位姿、当前视觉传感器反馈的手部位姿作比较后输出当前手部的精确位姿，作为服务机器人的控制信号，实现轻量型仿生机械臂(7)对人体动作的跟随运动。
7.根据权利要求1所述的沉浸式移动抓取服务机器人系统，其特征在于：所述的用户端视觉传感器(2)和移动端视觉传感器(5)采用体感摄像头。
8.根据权利要求6所述的沉浸式移动抓取服务机器人系统，其特征在于：所述用户操作端的上位机控制中心(1)、用户端视觉传感器(2)、位置跟踪手套(3)、头部显示器(4)通过数据传输线或无线设备实现数据通信。
9.根据权利要求1所述的沉浸式移动抓取服务机器人系统，其特征在于：所述上位机控制中心(1)还用于：当所述用户端视觉传感器(2)识别到预定义的移动执行端开机手势后，发送开机指令至移动执行端，依次开启所述移动执行端的各设备。
10.根据权利要求1所述的沉浸式移动抓取服务机器人系统，其特征在于：所述上位机控制中心(1)还用于：当所述用户端视觉传感器(2)识别到预定义的移动执行端关机手势后，发送关机指令至移动执行端，依次关闭所述移动执行端的各设备退出操作。
CN201811537911.2A 2018-12-15 2018-12-15 一种沉浸式移动抓取服务机器人系统 Active CN109571513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811537911.2A CN109571513B (zh) 2018-12-15 2018-12-15 一种沉浸式移动抓取服务机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811537911.2A CN109571513B (zh) 2018-12-15 2018-12-15 一种沉浸式移动抓取服务机器人系统

Publications (2)

Publication Number Publication Date
CN109571513A true CN109571513A (zh) 2019-04-05
CN109571513B CN109571513B (zh) 2023-11-24

Family

ID=65930276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811537911.2A Active CN109571513B (zh) 2018-12-15 2018-12-15 一种沉浸式移动抓取服务机器人系统

Country Status (1)

Country Link
CN (1) CN109571513B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110308797A (zh) * 2019-07-09 2019-10-08 西北工业大学 基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统
CN110962146A (zh) * 2019-05-29 2020-04-07 博睿科有限公司 机器人设备的操纵系统和方法
CN111267130A (zh) * 2020-03-02 2020-06-12 拉玛机器人(上海)有限公司 一种可穿戴式口型捕捉设备及其使用方法
CN111319026A (zh) * 2020-02-06 2020-06-23 北京凡川智能机器人科技有限公司 一种沉浸式双臂机器人仿人远程操控方法
CN111531521A (zh) * 2020-05-19 2020-08-14 深圳供电局有限公司 一种用于变电站的虚拟现实巡视机器人
CN111633653A (zh) * 2020-06-04 2020-09-08 上海机器人产业技术研究院有限公司 一种基于视觉定位的机械臂控制系统及方法
CN112336038A (zh) * 2020-10-19 2021-02-09 广州市君卓信息科技有限公司 一种自动吹头发智能方法及机器人
CN112598940A (zh) * 2020-11-06 2021-04-02 嘉兴市木星机器人科技有限公司 一种人工智能应用学习开发平台
CN112621778A (zh) * 2020-12-16 2021-04-09 北京建筑大学 煤矿井下同步穿越机器人
CN116476100A (zh) * 2023-06-19 2023-07-25 兰州空间技术物理研究所 一种多分支空间机器人遥操作系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090222149A1 (en) * 2008-02-28 2009-09-03 The Boeing Company System and method for controlling swarm of remote unmanned vehicles through human gestures
CN104589356A (zh) * 2014-11-27 2015-05-06 北京工业大学 基于Kinect人手运动捕捉的灵巧手遥操作控制方法
CN105807824A (zh) * 2016-04-29 2016-07-27 无锡中科智能农业发展有限责任公司 一种基于Kinect的智能农场监控方法及系统
CN105912117A (zh) * 2016-04-12 2016-08-31 北京锤子数码科技有限公司 运动状态捕捉方法和系统
CN106493708A (zh) * 2016-12-09 2017-03-15 南京理工大学 一种基于双机械臂和辅助臂的带电作业机器人控制系统
CN107253192A (zh) * 2017-05-24 2017-10-17 湖北众与和智能装备科技有限公司 一种基于Kinect的无标定人机交互控制系统及方法
CN107471216A (zh) * 2017-08-08 2017-12-15 陆兴华 危险环境下的vr体控机器人
CN108177149A (zh) * 2018-02-08 2018-06-19 苏州融萃特种机器人有限公司 基于mr和运动规划技术的可移动机械臂控制系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090222149A1 (en) * 2008-02-28 2009-09-03 The Boeing Company System and method for controlling swarm of remote unmanned vehicles through human gestures
CN104589356A (zh) * 2014-11-27 2015-05-06 北京工业大学 基于Kinect人手运动捕捉的灵巧手遥操作控制方法
CN105912117A (zh) * 2016-04-12 2016-08-31 北京锤子数码科技有限公司 运动状态捕捉方法和系统
CN105807824A (zh) * 2016-04-29 2016-07-27 无锡中科智能农业发展有限责任公司 一种基于Kinect的智能农场监控方法及系统
CN106493708A (zh) * 2016-12-09 2017-03-15 南京理工大学 一种基于双机械臂和辅助臂的带电作业机器人控制系统
CN107253192A (zh) * 2017-05-24 2017-10-17 湖北众与和智能装备科技有限公司 一种基于Kinect的无标定人机交互控制系统及方法
CN107471216A (zh) * 2017-08-08 2017-12-15 陆兴华 危险环境下的vr体控机器人
CN108177149A (zh) * 2018-02-08 2018-06-19 苏州融萃特种机器人有限公司 基于mr和运动规划技术的可移动机械臂控制系统及方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110962146A (zh) * 2019-05-29 2020-04-07 博睿科有限公司 机器人设备的操纵系统和方法
US11612999B2 (en) 2019-05-29 2023-03-28 BrainCo Inc. System and method for manipulating robotic device
CN110308797A (zh) * 2019-07-09 2019-10-08 西北工业大学 基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统
CN111319026A (zh) * 2020-02-06 2020-06-23 北京凡川智能机器人科技有限公司 一种沉浸式双臂机器人仿人远程操控方法
CN111267130A (zh) * 2020-03-02 2020-06-12 拉玛机器人(上海)有限公司 一种可穿戴式口型捕捉设备及其使用方法
CN111531521A (zh) * 2020-05-19 2020-08-14 深圳供电局有限公司 一种用于变电站的虚拟现实巡视机器人
CN111633653A (zh) * 2020-06-04 2020-09-08 上海机器人产业技术研究院有限公司 一种基于视觉定位的机械臂控制系统及方法
CN112336038A (zh) * 2020-10-19 2021-02-09 广州市君卓信息科技有限公司 一种自动吹头发智能方法及机器人
CN112598940A (zh) * 2020-11-06 2021-04-02 嘉兴市木星机器人科技有限公司 一种人工智能应用学习开发平台
CN112621778A (zh) * 2020-12-16 2021-04-09 北京建筑大学 煤矿井下同步穿越机器人
CN116476100A (zh) * 2023-06-19 2023-07-25 兰州空间技术物理研究所 一种多分支空间机器人遥操作系统

Also Published As

Publication number Publication date
CN109571513B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN109571513A (zh) 一种沉浸式移动抓取服务机器人系统
Asfour et al. Armar-6: A collaborative humanoid robot for industrial environments
CN106826838A (zh) 一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法
CN108572586B (zh) 信息处理装置和信息处理系统
US20090180668A1 (en) System and method for cooperative remote vehicle behavior
Wachs et al. Real-time hand gesture telerobotic system using fuzzy c-means clustering
CN102830798A (zh) 单臂机器人基于Kinect的无标记人手跟踪方法
Tang et al. The integration of contactless static pose recognition and dynamic hand motion tracking control system for industrial human and robot collaboration
Rakhimkul et al. Autonomous object detection and grasping using deep learning for design of an intelligent assistive robot manipulation system
Chen et al. Sequential motion primitives recognition of robotic arm task via human demonstration using hierarchical BiLSTM classifier
Gromov et al. Guiding quadrotor landing with pointing gestures
Sharma et al. Gaze Controlled Safe HRI for Users with SSMI
CN110216688A (zh) 一种办公区送件服务机器人及其控制方法
Noh et al. System design for automation in multi-agent-based manufacturing systems
Younas et al. Design and fabrication of an autonomous multifunctional robot for disabled people
CN209919901U (zh) 一种沉浸式移动抓取服务机器人硬件系统
Barbagallo et al. Human-robot interaction through kinect and graphics tablet sensing devices
Kuang et al. Research on biomimetic coordination action of service robot based on stereo vision
Chu et al. Hands-free assistive manipulator using augmented reality and tongue drive system
Sylari et al. Hand gesture-based on-line programming of industrial robot manipulators
Duan et al. Overview of Robots
Boboc et al. Learning new skills by a humanoid robot through imitation
Karlekar et al. Innovations in Urban Automation: Robotic Arm Integration in Smart City Environments
Bort et al. Using speech to guide a mobile robot manipulator
WO2022191565A1 (en) Anticipating user and object poses through task-based extrapolation for robot-human collision avoidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant