CN209919901U - 一种沉浸式移动抓取服务机器人硬件系统 - Google Patents

一种沉浸式移动抓取服务机器人硬件系统 Download PDF

Info

Publication number
CN209919901U
CN209919901U CN201822107029.6U CN201822107029U CN209919901U CN 209919901 U CN209919901 U CN 209919901U CN 201822107029 U CN201822107029 U CN 201822107029U CN 209919901 U CN209919901 U CN 209919901U
Authority
CN
China
Prior art keywords
user
mobile
vision sensor
control center
computer control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201822107029.6U
Other languages
English (en)
Inventor
谢龙汉
林耿亮
林成启
吴伟锋
李国峰
蔡思祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201822107029.6U priority Critical patent/CN209919901U/zh
Application granted granted Critical
Publication of CN209919901U publication Critical patent/CN209919901U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本实用新型公开了一种沉浸式移动抓取服务机器人硬件系统,其包括上位机控制中心、视觉传感器、位置跟踪手套、头显、二轴云台、轻量型仿生机械臂、移动平台、激光雷达传感器。所述轻量型仿生机械臂安装于移动平台,完成物品的抓取;移动平台工作于室内环境,自主完成避障、导航作业;头显佩戴于使用者头部,带给使用者沉浸式体验;上位机控制中心负责对外界信息的整合和控制指令输出;视觉传感器用于获取外界视觉信息;二轴云台用于调整视觉传感器的视野方向;位置跟踪手套用于辅助视觉传感器的输入捕获;激光雷达传感器用于地图的动态构建。本实用新型结构简单,组装快捷,实现了移动抓取过程的安全性、科学性及人机交互友好便捷性。

Description

一种沉浸式移动抓取服务机器人硬件系统
技术领域
本实用新型涉及服务机器人领域,具体涉及一种沉浸式移动抓取服务机器人硬件系统。
背景技术
据统计,截至2017年底,我国60岁以上老年人口已经达到2.4亿,预计到2025年,我国60岁以上的人口将超过3亿,成为超老龄型国家。此外,各种因素如自然灾害、环境污染、交通事故、工伤等导致的下肢残疾者的数量也在増加。可见,发展先进的助老助残服务机器人成为了社会发展和进步的迫切需求。在日常生活中,行动不便者往往难以具备独自获取基本生活用品的能力;此外,行动不便者的活动范围往往局限于一个地方,难以观看到外面的世界。因而行动不便者的生活起居通常需要专业的护理人员负责照顾,然而这类人群数量庞大,并且护理工作需花费大量的时间和精力,导致了大量行动不便者无法得到及时的护理。因此,有必要设计一种结构简单,可以重复利用现有设备的便于组装的沉浸式移动抓取服务机器人硬件系统。
实用新型内容
针对上述技术问题,本实用新型提出了一种人机交互友好、操作便捷的沉浸式移动抓取服务机器人硬件系统,帮助行动不便者完成基本生活用品的获取,整个系统实现移动抓取过程的安全性、科学性及人机交互友好便捷性。
为实现上述目的,本实用新型技术方案如下。
一种沉浸式移动抓取服务机器人硬件系统,包括用户操作端和移动执行端,
所述的用户操作端包括上位机控制中心、用户端视觉传感器、头显、轻量型仿生机械臂和移动平台,上位机控制中心分别与轻量型仿生机械臂、移动平台、头显、用户端视觉传感器和移动端视觉传感器信号连接;
所述的移动执行端包括移动端视觉传感器、二轴云台、轻量型仿生机械臂、固定在移动平台和激光雷达传感器;
移动端视觉传感器,安装于二轴云台上;二轴云台,设置在所述移动平台上,用于实现移动端视觉传感器视野方向的调整;轻量型仿生机械臂,固定在移动平台上,通过接收上位机控制中心的指令,在未知环境下完成基本生活用品的无碰撞抓取;移动平台,用于搭载机械臂并移动以增加轻量型仿生机械臂的活动范围,帮助使用者获取远端物品;激光雷达传感器,嵌套安装于移动平台上,用于构建机器人运行环境的动态地图信息,实现避障以及自主导航功能;
所述移动端视觉传感器用于获取机器人运行环境的图像、自主识别并提取目标物体及机械臂的空间信息作为反馈信号控制机器人的物体抓取运动,同时,获取的图像作为输入信号经头显处理后显示于头显;
所述用户端视觉传感器用于获取用户手部的位姿及外界环境信息,并把信息反馈到所述上位机控制中心作为移动抓取服务机器人的输入控制信号;
所述头显,佩戴于使用者头部,用于共享接收从移动端视觉传感器获取的图像,带给使用者沉浸式的操作体验;
本实用新型所述的上位机控制中心为电脑,例如可以为笔记本电脑。
进一步地,所述的用户操作端还包括位置跟踪手套,佩戴于使用者手部,用于获取使用者手部的空间坐标以及运动信息作为用户端视觉传感器的控制信息输入,并反馈到上位机控制中心作为服务机器人的控制信号,实现轻量型仿生机械臂对人体动作的跟随运动。
进一步地,所述的用户端视觉传感器和移动端视觉传感器采用体感摄像头。
进一步地,所述用户操作端的上位机控制中心、用户端视觉传感器、位置跟踪手套、头显通过数据传输线或无线设备实现数据通信。
进一步地,所述的头显还用于获得使用者头部姿态信息并反馈到所述上位机控制中心;所述上位机控制中心根据获取的使用者头部姿态信息控制所述二轴云台作同步跟随运动,实现移动端视觉传感器视野方向的动态调整。
与现有技术比较,本实用新型具有如下优点和技术效果:
本实用新型重复利用了现有的成熟设备和软件,通过上位机控制中心、视觉传感器、位置跟踪手套、头显、二轴云台、轻量型仿生机械臂、移动平台、激光雷达传感器等构成一种结构简单,便于组装和操作沉浸式移动抓取服务机器人硬件系统,实现移动抓取过程的安全性、科学性及人机交互友好便捷性。
附图说明
图1为本实用新型实施例的一种沉浸式移动抓取服务机器人的硬件系统示意图。
图中所示:1-上位机控制中心;2-用户端视觉传感器;3-位置跟踪手套;4-头显;5-移动端视觉传感器;6-二轴云台;7-轻量型仿生机械臂;8-移动平台;9-激光雷达传感器。
具体实施方式
下面将结合具体实施例对本实用新型的实施作进一步说明,需指出的是,本实用新型的关键在于对硬件结构提出的技术方案,以下实施例若涉及软件部分,其仅仅是为了举例,并不用于限制本实用新型,软件部分是本领域技术人员可根据现有技术理解或实现的。
如图1所示,一种沉浸式移动抓取服务机器人硬件系统,包括用户操作端和移动执行端,所述的用户操作端包括上位机控制中心1、用户端视觉传感器2、位置跟踪手套3、头显4,所述的移动执行端包括移动端视觉传感器5、二轴云台6、轻量型仿生机械臂7、移动平台8和激光雷达传感器9。
上位机控制中心1,分别与轻量型仿生机械臂7、移动平台8、头显4、用户端视觉传感器2和移动端视觉传感器5信号连接;本实施例中所述的上位机控制中心为电脑,放置在用户端的桌面上,所述上位机控制中心1的具体通信及控制过程为现有技术,不存在对软件、程序或协议的改进,在此不再赘述。
用户端视觉传感器2,采用体感摄像头,放置在用户端的桌面上,用于获取用户手部的位姿及外界环境信息,并把信息反馈到所述上位机控制中心1作为移动抓取服务机器人的输入控制信号。
所述的位置跟踪手套3佩戴于使用者手部,用于获取使用者手部的空间坐标以及运动信息作为用户端视觉传感器2的控制信息输入,并反馈到上位机控制中心1作为服务机器人的控制信号,实现轻量型仿生机械臂7对人体动作的跟随运动。
头显4,佩戴于使用者头部,用于共享接收从移动端视觉传感器5获取的图像,带给使用者沉浸式的操作体验;同时,所述的头显4还用于获得使用者头部姿态信息并反馈到所述上位机控制中心1;所述上位机控制中心1根据获取的使用者头部姿态信息控制所述二轴云台6作同步跟随运动,实现移动端视觉传感器5视野方向的动态调整。
所述的移动端视觉传感器5安装于二轴云台6上,采用体感摄像头,用于获取机器人运行环境的图像、自主识别并提取目标物体及机械臂的空间信息作为反馈信号控制机器人的物体抓取运动,同时,获取的图像作为输入信号经头显4处理后显示于头显4。
所述的二轴云台6设置在所述移动平台8上,用于实现移动端视觉传感器5视野方向的调整;
所述轻量型仿生机械臂7固定在移动平台8上,通过接收上位机控制中心1的指令,在未知环境下完成基本生活用品的无碰撞抓取;
所述移动平台8用于搭载轻量型仿生机械臂7并根据上位机控制中心1的指令移动以增加轻量型仿生机械臂7的活动范围,帮助使用者获取远端物品;
所述激光雷达传感器9嵌套安装于移动平台8上,用于构建机器人运行环境的动态地图信息,实现避障以及自主导航功能,具体的避障以及自主导航功能包括路径规划等为现有技术,如AVG小车等。
另外,所述上位机控制中心1用于控制轻量型仿生机械臂7开启自主识别抓取模式或动态跟随抓取模式,当启动自主识别抓取模式时,所述上位机控制中心1控制移动平台8根据目标物体的位置信息自主导航移动至目标物体附近,随后由轻量型仿生机械臂7自主完成无碰撞抓取;当启动动态跟随抓取模式时,所述上位机控制中心1控制轻量型仿生机械臂7实时捕捉位置跟踪手套3的位姿信息,动态跟随使用者手臂动作,实现对目标物体的无碰撞抓取。所述的上位机控制中心1根据用户端视觉传感器2采集的使用者相应手势在自主识别抓取模式和动态跟随抓取模式之间进行切换。
移动执行端的移动端视觉传感器5,二轴云台6、轻量型仿生机械臂7、移动平台8、激光雷达传感器9通过螺栓依次连接为一整体,依照用户指令,可在自主抓取或动作跟随抓取模式之间切换,能完成在简单环境下自主抓取目标物品,在复杂环境下跟随抓取目标物品,实现移动抓取过程的科学性。
所述用户操作端的上位机控制中心1、用户端视觉传感器2、位置跟踪手套3、头显4通过数据传输线或无线设备连接为一整体。用于获取使用者的手势,动作等信息,作为机器人的输入控制信号,实现对机器人的远程控制。同时,头显4能够为使用者实时共享移动机器人获取的环境信息,进而方便地获取使用者的抓取目标,实现人机交互友好便捷性。
本实用新型通过二轴云台6、视觉传感器、移动平台8、激光雷达传感器9、轻量型仿生机械臂7、位置跟踪手套3、头显4、上位机控制中心1实现移动抓取过程的安全性、科学性及人机交互友好便捷性。
上述实施例的使用流程如下:
在一个可行的实施例中,用户操作端的设备上电开启后,所述用户端视觉传感器2开始实时获取使用者手部的姿态信息,并通过数据传输线与上位机控制中心1保持通信。当用户端视觉传感器2识别到预定义好的移动执行端开机手势后,所述上位机控制中心1将会发送开机指令至移动执行端,依次开启移动执行端的各设备。所述用户端视觉传感器5开启后能够获取视野范围内的环境信息,实时传输到上位机控制中心1,经处理后在头显4上显示。所述头显4还能够获取使用者头部转动的方向和角度,作为控制信号驱动二轴云台6作相应的转动,获取更加广泛的环境信息,并寻找需要抓取的目标物品。所述移动平台8开启后等待使用者的指令,使用者可根据头显4显示的环境图像在上位机控制中心1中下达目的地指令,所述移动平台8在接收指令后通过路径规划完成自主导航任务,到达目的地并等待下一指令。所述轻量型仿生机械臂7在开启后等待使用者的抓取指令,抓取指令的目标物品由使用者根据头显4显示的环境图像在上位机控制中心1确定。默认情况下移动执行端执行自主抓取模式,所述移动平台8根据目标物体的位置信息自主导航移动至目标物体附近,随后由所述轻量型仿生机械臂7自主完成无碰撞抓取。
在另一个可行的实施例中,根据具体情况,使用者可通过特定的手势切换到动态跟随抓取模式,其中,具体如何通过手势发送不同指令为现有技术,不存在软件或协议的改进,在此不再赘述。在该模式下,所述位置跟踪手套3能够实时获取使用者手部的位姿信息作为控制信号实现轻量型仿生机械臂7对人体手部动作的动态跟随,由使用者操作机械臂抓取目标物品。当完成所有抓取任务后,使用者可通过手势对移动执行端下达关机指令退出操作,即当所述用户端视觉传感器2识别到预定义的移动执行端关机手势后,所述上位机控制中心1发送关机指令至移动执行端,依次关闭所述移动执行端的各设备退出操作。
根据上述说明书的揭示和教导,本实用新型所属领域的技术人员还可以对上述实施方式进行变更和修改。因此,本实用新型并不局限于上面揭示和描述的具体实施方式,对本实用新型的一些修改和变更也应当落入本实用新型的权利要求的保护范围内。

Claims (6)

1.一种沉浸式移动抓取服务机器人硬件系统,包括用户操作端和移动执行端,其特征在于:
所述的用户操作端包括上位机控制中心(1)、用户端视觉传感器(2)、头显(4)、轻量型仿生机械臂(7)和移动平台(8),上位机控制中心(1)分别与轻量型仿生机械臂(7)、移动平台(8)、头显(4)、用户端视觉传感器(2)和移动端视觉传感器(5)信号连接;
所述的移动执行端包括移动端视觉传感器(5)、二轴云台(6)、轻量型仿生机械臂(7)、固定在移动平台(8)和激光雷达传感器(9);
移动端视觉传感器(5),安装于二轴云台(6)上;二轴云台(6),设置在所述移动平台(8)上,用于实现移动端视觉传感器(5)视野方向的调整;轻量型仿生机械臂(7),固定在移动平台(8)上,通过接收上位机控制中心(1)的指令,在未知环境下完成基本生活用品的无碰撞抓取;移动平台(8),用于搭载轻量型仿生机械臂(7)并移动以增加轻量型仿生机械臂(7)的活动范围,帮助使用者获取远端物品;激光雷达传感器(9),嵌套安装于移动平台(8)上,用于构建机器人运行环境的动态地图信息,实现避障以及自主导航功能;
所述移动端视觉传感器(5)用于获取机器人运行环境的图像、自主识别并提取目标物体及机械臂的空间信息作为反馈信号控制机器人的物体抓取运动,同时,获取的图像作为输入信号经头显(4)处理后显示于头显(4);
所述用户端视觉传感器(2)用于获取用户手部的位姿及外界环境信息,并把信息反馈到所述上位机控制中心(1)作为移动抓取服务机器人的输入控制信号;
所述头显(4),佩戴于使用者头部,用于共享接收从移动端视觉传感器(5)获取的图像,带给使用者沉浸式的操作体验。
2.根据权利要求1所述的一种沉浸式移动抓取服务机器人硬件系统,其特征在于:所述的上位机控制中心为电脑。
3.根据权利要求1所述的一种沉浸式移动抓取服务机器人硬件系统,其特征在于:所述的用户操作端还包括位置跟踪手套(3),佩戴于使用者手部,用于获取使用者手部的空间坐标以及运动信息作为用户端视觉传感器(2)的控制信息输入,并反馈到上位机控制中心(1)作为服务机器人的控制信号,实现轻量型仿生机械臂(7)对人体动作的跟随运动。
4.根据权利要求1所述的一种沉浸式移动抓取服务机器人硬件系统,其特征在于:所述的用户端视觉传感器(2)和移动端视觉传感器(5)采用体感摄像头。
5.根据权利要求1所述的一种沉浸式移动抓取服务机器人硬件系统,其特征在于:所述用户操作端的上位机控制中心(1)、用户端视觉传感器(2)、位置跟踪手套(3)、头显(4)通过数据传输线或无线设备实现数据通信。
6.根据权利要求1所述的一种沉浸式移动抓取服务机器人硬件系统,其特征在于:所述的头显(4)还用于获得使用者头部姿态信息并反馈到所述上位机控制中心(1);所述上位机控制中心(1)根据获取的使用者头部姿态信息控制所述二轴云台(6)作同步跟随运动,实现移动端视觉传感器(5)视野方向的动态调整。
CN201822107029.6U 2018-12-15 2018-12-15 一种沉浸式移动抓取服务机器人硬件系统 Active CN209919901U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201822107029.6U CN209919901U (zh) 2018-12-15 2018-12-15 一种沉浸式移动抓取服务机器人硬件系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201822107029.6U CN209919901U (zh) 2018-12-15 2018-12-15 一种沉浸式移动抓取服务机器人硬件系统

Publications (1)

Publication Number Publication Date
CN209919901U true CN209919901U (zh) 2020-01-10

Family

ID=69064476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201822107029.6U Active CN209919901U (zh) 2018-12-15 2018-12-15 一种沉浸式移动抓取服务机器人硬件系统

Country Status (1)

Country Link
CN (1) CN209919901U (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111874120A (zh) * 2020-08-27 2020-11-03 宿州赛尔沃德物联网科技有限公司 一种控制随动仿生机器人行走的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111874120A (zh) * 2020-08-27 2020-11-03 宿州赛尔沃德物联网科技有限公司 一种控制随动仿生机器人行走的方法

Similar Documents

Publication Publication Date Title
CN109571513B (zh) 一种沉浸式移动抓取服务机器人系统
US20200000193A1 (en) Smart luggage system
CN105283816B (zh) 远程控制方法及终端
CN110744544B (zh) 服务机器人视觉抓取方法及服务机器人
EP3094452A1 (en) Remotely operating a mobile robot
Do et al. An open platform telepresence robot with natural human interface
CN107450556A (zh) 一种基于ros的自主导航智能轮椅
CN214912972U (zh) 搭载于机械狗的ai的计算机视觉消防监测和识别系统
JP6938980B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020196060A (ja) 教示方法
CN209919901U (zh) 一种沉浸式移动抓取服务机器人硬件系统
Yu et al. Gesture-based telemanipulation of a humanoid robot for home service tasks
CN105583814B (zh) 一种可迅速拆卸和组装的机器人
CN205521430U (zh) 一种高度方位自适应的服务机器人
CN207888648U (zh) 一种机械臂控制系统
Gromov et al. Guiding quadrotor landing with pointing gestures
Hildebrand et al. Semi-autonomous tongue control of an assistive robotic arm for individuals with quadriplegia
Chung et al. Autonomous function of wheelchair-mounted robotic manipulators to perform daily activities
CN108062051A (zh) 一种灾害现场可飞行的多功能机器人
JP2015066625A (ja) 注目対象推定システムならびにロボットおよび制御プログラム
CN208826630U (zh) 一种带远程主操作手的关节式机械臂
CN110695990A (zh) 一种基于Kinect手势识别的机械臂控制系统
WO2022249226A1 (ja) ロボット教示装置、ロボット制御システム、ロボット教示方法、及びロボット教示プログラム
Chu et al. Hands-free assistive manipulator using augmented reality and tongue drive system
Balaji et al. Smart phone accelerometer sensor based wireless robot for physically disabled people

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant