CN114227679B - 一种基于数字化虚拟人驱动的远程机器人控制方法及系统 - Google Patents

一种基于数字化虚拟人驱动的远程机器人控制方法及系统 Download PDF

Info

Publication number
CN114227679B
CN114227679B CN202111548667.1A CN202111548667A CN114227679B CN 114227679 B CN114227679 B CN 114227679B CN 202111548667 A CN202111548667 A CN 202111548667A CN 114227679 B CN114227679 B CN 114227679B
Authority
CN
China
Prior art keywords
robot
node
motion
information acquisition
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111548667.1A
Other languages
English (en)
Other versions
CN114227679A (zh
Inventor
王茂林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kim Dai Intelligence Innovation Technology Co ltd
Original Assignee
Shenzhen Kim Dai Intelligence Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kim Dai Intelligence Innovation Technology Co ltd filed Critical Shenzhen Kim Dai Intelligence Innovation Technology Co ltd
Priority to CN202111548667.1A priority Critical patent/CN114227679B/zh
Publication of CN114227679A publication Critical patent/CN114227679A/zh
Application granted granted Critical
Publication of CN114227679B publication Critical patent/CN114227679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1653Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开一种基于数字化虚拟人驱动的远程机器人控制方法及系统,系统包括机器人、穿戴设备和网络服务器,机器人和穿戴设备分别与网络服务器连接,进行数据通信。控制方法包括如下步骤:步骤S1、机器人与操作者所穿戴的穿戴设备之间建立映射关系;步骤S2、采集操作者各个运动信息采集节点的运动数据,并传输给机器人;步骤S3、机器人根据接收到的运动数据实时控制机器人按照操作者的运动数据进行运动;步骤S4、机器人上的反馈信息采集节点采集机器人的动作信息,反馈给网络服务器。本发明利用数字化虚拟人驱动技术,采集操作者动作,并实时通过互联网映射到机器人身上,可使对机器人的控制更加灵活。

Description

一种基于数字化虚拟人驱动的远程机器人控制方法及系统
技术领域
本发明公开一种机器人控制方法,特别是一种基于数字化虚拟人驱动的远程机器人控制方法及系统,属于智能设备控制技术领域。
背景技术
机器人(Robot)是一种能够半自主或全自主工作的智能机器。机器人具有感知、决策、执行等基本特征,可以辅助甚至替代人类完成危险、繁重、复杂的工作,提高工作效率与质量,服务人类生活,扩大或延伸人的活动及能力范围。
目前对机器人的控制大多采用两种形式,一种是按照已经编辑好的程序对机器人进行自动控制,机器人按照程序设定,自动按顺序执行即可,该驱动方式适用于简单、重复性的工作;另一种是通过键盘鼠标等输入设备实时控制机器人动作,由于输入装置受限,输入的信息和控制灵活度都受到一定影响,不能进行复杂操作。
发明内容
针对上述提到的现有技术中的机器人操作不够灵活的缺点,本发明提供一种基于数字化虚拟人驱动的远程机器人控制方法及系统,其利用数字化虚拟人驱动技术,采集操作者动作,并实时通过互联网映射到机器人身上,可使对机器人的控制更加灵活。
本发明解决其技术问题采用的技术方案是:一种基于数字化虚拟人驱动的远程机器人控制系统,该系统包括机器人、穿戴设备和网络服务器,机器人和穿戴设备分别与网络服务器连接,进行数据通信;机器人包括躯干、脖子、头部、后臂、前臂、机械手、大腿、小腿和脚掌,头部安装在脖子上,头部和脖子之间设置有头部驱动转轴,脖子和躯干之间设置有颈部驱动转轴,后臂与躯干之间通过肩部水平驱动转轴、中间连接件和肩部竖直驱动转轴连接,中间连接件通过肩部竖直驱动转轴与躯干侧面连接,后臂通过肩部水平驱动转轴与中间连接件连接,前臂通过肘部驱动转轴与后臂连接,机械手与前臂之间通过腕部驱动转轴连接,机械手采用二指机械手,即机械手仅设置两根手指,两个手指通过手部驱动转轴连接,大腿与躯干之间通过髋部驱动转轴连接,小腿与大腿之间通过膝部驱动转轴连接,脚掌与小腿之间通过踝部驱动转轴连接,各个驱动转轴处分别连接有伺服电机,通过伺服电机带动驱动转轴转动;机器人头部安装有用于采集视频信息的摄像头;脚掌底部安装有驱动轮,每个脚掌底部安装有四个驱动轮,与每个驱动轮对应设置有一个伺服电机,驱动该驱动轮转动;穿戴设备包括头戴式VR眼镜、运动信息采集节点和中央控制器,头戴式VR眼镜与中央控制器连接,中央控制器输出视频信息给头戴式VR眼镜进行显示,各个运动信息采集节点分别与中央控制器连接,运动信息采集节点包括指尖节点、腕部节点、肘部节点、肩部节点、头部节点、颈部节点、髋部节点、膝部节点、踝部节点和脚部节点,头部节点对应于使用者的额头位置设置,颈部节点对应于使用者的脖子处设置,肩部节点对应于使用者的肩部外侧位置处设置,肘部节点对应于使用者的肩部外侧位置处设置,腕部节点对应于使用者的腕关节处,指尖节点对应于使用者的食指指尖和拇指指尖位置处设置,髋部节点对应于使用者的髋部外侧位置处设置,膝部节点对应于使用者的膝盖位置处设置,踝部节点对应于使用者的踝骨外侧位置处设置,脚部节点对应于使用者的脚面位置处设置。
一种基于数字化虚拟人驱动的远程机器人控制方法,所述的控制方法包括如下步骤:
步骤S1、机器人与操作者所穿戴的穿戴设备之间建立映射关系:建立映射关系前,根据具体机器人大小与穿戴设备尺寸或使用者的身高尺寸计算映射比例参数,当机器人采用特殊形式的机器人时,其特殊部位根据其与正常形式的机器人之间比例差设定补偿系数,计算补偿系数时,以其特殊部位与正常值之间的比例关系进行设定;
步骤S2、采集操作者各个运动信息采集节点的运动数据,并传输给机器人,操作者穿戴好穿戴设备,同时,相应机器人输送至指定位置,启动系统,穿戴设备与机器人之间建立通信联系;
步骤S3、机器人根据接收到的运动数据实时控制机器人按照操作者的运动数据进行运动,根据运动的运动信息采集节点相对于作为坐标原点的不动的运动信息采集节点的转动方向和角度,驱动相应的驱动转轴转动;
步骤S4、机器人上的反馈信息采集节点采集机器人的动作信息,反馈给网络服务器,网络服务器同步显示两个虚拟人形象,一个为操作者虚拟人,一个为机器人虚拟人,操作者虚拟人根据接收到的操作者运动信息驱动虚拟人做相应运动,机器人虚拟人根据接收到的机器人运动信息驱动机器人虚拟人做相应运动,并实时比较操作者运动信息和机器人运动信息,当机器人运动信息与操作者运动信息相比,差值小于或等于5%时,则认为是在可接受的误差范围之内,如果差值大于5%时,则认为是系统故障,则发出报警,提醒相关人员进行处理。
本发明解决其技术问题采用的技术方案进一步还包括:
所述的摄像头外侧四周设置有照明灯。
所述的前臂分为前半部分和后半部分,前半部分和后半部分通过前臂驱动转轴连接。
所述的运动信息采集节点包括加速度传感器和陀螺仪。
所述的机器人上对应于穿戴设备上的运动信息采集节点位置处设置有反馈信息采集节点。
所述的控制系统还包括有光学式动作捕捉仪和Marker,光学式动作捕捉仪采用8个摄像机,8个摄像机呈环形分布,Marker对应于运动信息采集节点位置设置,对应于每个运动信息采集节点位置处设置有一个Marker。
所述的控制系统中设置有轨迹补偿球,轨迹补偿球包括有供操作者站立的球体、X轴驱动机构和Y轴驱动机构,X轴驱动机构包括X轴驱动滚轮和X轴驱动电机,X轴驱动电机直接驱动X轴驱动滚轮转动,或者X轴驱动电机通过齿轮或皮带带动X轴驱动滚轮转动,Y轴驱动机构包括Y轴驱动滚轮和Y轴驱动电机,Y轴驱动电机直接驱动Y轴驱动滚轮转动,或者Y轴驱动电机通过齿轮或皮带带动Y轴驱动滚轮转动,X轴驱动滚轮和Y轴驱动滚轮相互垂直设置,X轴驱动滚轮和Y轴驱动滚轮分别与球体相贴合。
所述的步骤S2包括下述子步骤:
步骤S21、操作者和机器人均呈头部摆正,手部下垂的立正姿势,作为起始姿势,此时各个数据采集节点和机器人驱动转轴处于起始位置;
步骤S22、操作者通过头戴式VR眼镜实时观察机器人采集到的现场视频信息,并根据视频信息情况做出下一步操作判断;
步骤S23、操作者带动穿戴设备做出相应动作,运动中的运动信息采集节点采集该节点的运动信息,包括运动方向和运动速度,并计算出其与相邻运动信息采集节点之间的相对位置关系,采集时,将距离运动中的运动信息采集节点最近的不动的运动信息采集节点作为坐标原点计算运动的运动信息采集节点的运动轨迹数据,当相邻运动信息采集节点都处于运动状态时,其以最靠近坐标原点的运动中的运动信息采集节点的运动轨迹数据为基础,其他节点的运动轨迹数据在基础运动轨迹数据的基础上,进行逐级累加;
步骤S24、根据运动中的运动信息采集节点的轨迹,计算该运动信息采集节点相对作为坐标原点的不动的运动信息采集节点的转动方向和角度,光学式动作捕捉仪同步采集Marker的运动轨迹,当二者的轨迹差值小于5%时,则认为是在可接受的误差范围之内,如果差值大于5%时,则认为是系统故障,则发出报警,提醒相关人员进行处理;
步骤S25、运动的运动信息采集节点的转动角度和转动方向同时传输给机器人和网络服务器。
所述的操作者没有按照标准的机器人驱动转轴转动方向活动时,则其运动轨迹分解成符合标准的机器人驱动转轴转动方向上的分量,在两个方向上同时驱动机器人运动,两个运动方向同时动作,或分先后顺序进行动作。
本发明的有益效果是:本发明利用数字化虚拟人驱动技术,采集操作者动作,并实时通过互联网映射到机器人身上,可使对机器人的控制更加灵活。
下面将结合附图和具体实施方式对本发明做进一步说明。
附图说明
图1为本发明人机器人结构示意图。
图2为本发明轨迹补偿球结构示意图。
图3为本发明运动轨迹计算标注示意图。
图4为本发明控制流程图。
图5为本发明运动数据采集过程控制流程图。
图中,1-躯干,2-脖子,3-头部,4-后臂,5-前臂,6-机械手,7-大腿,8-小腿,9-脚掌,10-摄像头,11-球体,12-X轴驱动滚轮,13-Y轴驱动滚轮。
具体实施方式
本实施例为本发明优选实施方式,其他凡其原理和基本结构与本实施例相同或近似的,均在本发明保护范围之内。
本发明主要保护一种基于数字化虚拟人驱动的远程机器人控制方法,该方法基于的控制系统包括机器人、穿戴设备和网络服务器,机器人和穿戴设备分别与网络服务器连接,进行数据通信,机器人和穿戴设备与网络服务器之间的课通过有线方式或无线方式进行连接,传输数据,穿戴设备可通过网线或WiFi等互联网设备进行联网,机器人可借助4G通信或5G通信等通信网络进行联网。
本实施例中,机器人采用人形机器人结构,包括躯干1、脖子2、头部3、后臂4、前臂5、机械手6、大腿7、小腿8和脚掌9,头部3安装在脖子2上,头部3和脖子2之间设置有头部驱动转轴,可驱动头部3做俯仰运动,即仿真低头、抬头,脖子2和躯干1之间设置有颈部驱动转轴,可驱动颈部带动头部3做水平转动,后臂4与躯干1之间通过肩部水平驱动转轴、中间连接件和肩部竖直驱动转轴连接,中间连接件通过肩部竖直驱动转轴与躯干1侧面连接,可实现手臂竖直方向上的360°转动,后臂4通过肩部水平驱动转轴与中间连接件连接,可实现后臂4相对躯干1在另一方向上转动,即手臂平伸时,通过肩部水平驱动转轴驱动手臂在水平方向上转动,故将其定义为肩部水平驱动转轴,前臂5通过肘部驱动转轴与后臂4连接,可使前臂5相对于后臂4之间转动,机械手6与前臂5之间通过腕部驱动转轴连接,可使机械手6相对于前臂5之间转动,机械手6采用二指机械手6,即机械手6仅设置两根手指,两个手指通过手部驱动转轴连接,可做夹持或张开的动作,大腿7与躯干1之间通过髋部驱动转轴连接,可驱动大腿7相对于躯干1转动,小腿8与大腿7之间通过膝部驱动转轴连接,可驱动小腿8相对于大腿7转动,脚掌9与小腿8之间通过踝部驱动转轴连接,可驱动脚掌9相对于小腿8转动,各个转轴处分别连接有伺服电机,可通过伺服电机带动驱动转轴转动,控制其转动方向、角度、转动速度等。
本实施例中,脚掌9底部安装有驱动轮,每个脚掌9底部安装有四个驱动轮,与每个驱动轮对应设置有一个伺服电机,驱动该驱动轮转动,通过不同驱动轮的转动速度和距离控制机器人的转向。
本实施例中,前臂5分为前半部分和后半部分,前半部分和后半部分通过前臂驱动转轴连接,即前臂5中间位置设置有前臂驱动转轴,可前半部分和后半部分沿着前臂驱动转轴转动,以增加其灵活性。
本实施例中,机器人头部3安装有摄像头10,用于采集视频信息,在摄像头10外侧四周设置有照明灯(图中未画出),用于在光照不足的条件下进行补光。
本实施例中,穿戴设备包括头戴式VR眼镜、运动信息采集节点和中央控制器,头戴式VR眼镜与中央控制器连接,中央控制器输出视频信息给头戴式VR眼镜进行显示,各个运动信息采集节点分别与中央控制器连接,运动信息采集节点包括指尖节点、腕部节点、肘部节点、肩部节点、头部节点、颈部节点、髋部节点、膝部节点、踝部节点和脚部节点,头部节点对应于使用者的额头位置设置,颈部节点对应于使用者的脖子处设置,优选设置位置为对应于使用者颈椎骨位置处设置,肩部节点对应于使用者的肩部外侧位置处设置,肘部节点对应于使用者的肩部外侧位置处设置,腕部节点对应于使用者的腕关节处,优选为腕关节外侧,即手背与前臂连接处,指尖节点对应于使用者的食指指尖和拇指指尖位置处设置,髋部节点对应于使用者的髋部外侧位置处设置,膝部节点对应于使用者的膝盖位置处设置,踝部节点对应于使用者的踝骨外侧位置处设置,脚部节点对应于使用者的脚面位置处设置。
本实施例中,运动信息采集节点包括加速度传感器和陀螺仪,通过二者的配合可用于检测相应运动信息采集节点的运动情况,包括运动方向、运动速度和运动距离等。
本实施例中,机器人上对应于穿戴设备上的运动信息采集节点位置处设置有反馈信息采集节点,反馈信息采集节点的设置位置和形式与运动信息采集节点相同,此处不再赘述。
本实施例中,穿戴设备可采用服装形式,类似于宇航服,使用者进行穿戴后,各个运动信息采集节点自然位于使用者相应位置;穿戴设备也可以采用单独设置的运动信息采集节点形式,每个运动信息采集节点采用独立模块形式,使用时采用绑带、不干胶、真空吸盘等固定在使用者相应位置即可。
本实施例中,控制系统还包括有光学式动作捕捉仪和Marker,光学式动作捕捉仪采用8个摄像机,8个摄像机环绕式均匀分布在操作者四周,Marker对应于运动信息采集节点位置设置,对应于每个运动信息采集节点位置处设置有一个Marker。
由于本发明在使用时,需要操作者不断移动自己的位置,尤其是需要走较长距离的时候,就需要较大的空间位置,在有限空间内,较难实现。本实施例中,在控制系统中设置有轨迹补偿球,轨迹补偿球包括有供操作者站立的球体11、X轴驱动机构和Y轴驱动机构,X轴驱动机构包括X轴驱动滚轮12和X轴驱动电机,X轴驱动电机直接驱动X轴驱动滚轮12转动,或者X轴驱动电机通过齿轮或皮带带动X轴驱动滚轮12转动,Y轴驱动机构包括Y轴驱动滚轮13和Y轴驱动电机,Y轴驱动电机直接驱动Y轴驱动滚轮13转动,或者Y轴驱动电机通过齿轮或皮带带动Y轴驱动滚轮13转动,X轴驱动滚轮12和Y轴驱动滚轮13相互垂直设置,X轴驱动滚轮12和Y轴驱动滚轮13分别与球体11相贴合,通过X轴驱动滚轮12和Y轴驱动滚轮13驱动球体11在X轴方向和Y轴方向上转动。光学式动作捕捉仪的8个摄像机成环形均匀分布在轨迹补偿球的四周。
本发明中的控制方法主要包括如下步骤:
步骤S1、机器人与操作者之间建立映射关系,即与操作者所穿戴的穿戴设备之间建立映射关系:
本实施例中的机器人采用人形机器人,其各个关节处通过相应的驱动转轴模拟人的关节,由于机器人的特殊性,可能会将某些特殊部位的长度比例设计的与自然人的不同,如:机器人的手臂设计为超长的。建立映射关系前,根据具体机器人大小与穿戴设备尺寸或使用者的身高尺寸计算映射比例参数,如:机器人的高度为正常人身高的1/5,则将映射比例参数设定为1/5,当机器人采用特殊形式的机器人时,其特殊部位根据其与正常形式的机器人之间比例差设定补偿系数,计算补偿系数时,以其特殊部位与正常值之间的比例关系进行设定,如:机器人的前臂5设计为正常值的2倍,则补偿系数直接设定为2。
计算映射比例参数和补偿系数时,以头部节点和颈部节点之间的距离为基准距离,其他相邻节点之间的距离以基准距离为基准,按比例换算成距离值。该距离值可在操作前,通过现场手动输入方式进行输入设定,也可以按照固定比例在产品出厂前,预设在产品内。
步骤S2、采集操作者各个运动信息采集节点的运动数据,并传输给机器人;
操作者穿戴好穿戴设备,同时,相应机器人输送至指定位置,启动系统,穿戴设备与机器人之间建立通信联系,通信握手过程可采用常规的通信连接手段,建立握手连接后,进行下列子步骤操作:
步骤S21、操作者和机器人均呈头部摆正,手部下垂的立正姿势,作为起始姿势,此时各个数据采集节点和机器人驱动转轴处于起始位置,可将其定义为零点;
步骤S22、操作者通过头戴式VR眼镜实时观察机器人采集到的现场视频信息,并根据视频信息情况做出下一步操作判断;
步骤S23、操作者带动穿戴设备做出相应动作,运动中的运动信息采集节点采集该节点的运动信息,包括运动方向和运动速度,并计算出其与相邻运动信息采集节点之间的相对位置关系,采集时,将距离运动中的运动信息采集节点最近的不动的运动信息采集节点作为坐标原点计算运动的运动信息采集节点的运动轨迹数据(包括距离和角度),如:操作者做曲起前臂运动,其运动的运动信息采集节点为两个指尖节点和腕部节点,而最近的不动的运动信息采集节点则为肘部节点,以此类推,当相邻运动信息采集节点都处于运动状态时,其以最靠近坐标原点的运动中的运动信息采集节点的运动轨迹数据为基础,其他节点的运动轨迹数据在基础运动轨迹数据的基础上,进行逐级累加,即只计算运动节点相对于其最近的节点的轨迹,并将相应的轨迹数据累加,获得相应运动节点的运动数据;
步骤S24、根据运动中的运动信息采集节点的轨迹,计算该运动信息采集节点相对作为坐标原点的不动的运动信息采集节点的转动方向和角度;
本实施例中,光学式动作捕捉仪同步采集Marker的运动轨迹(通过光学式动作捕捉仪采集Marker的运动轨迹采用目前现有的采集技术),由于Marker和运动信息采集节点所处位置相同,理论上二者的运动轨迹应当相同,当二者的轨迹差值小于5%时,则认为是在可接受的误差范围之内,如果差值大于5%时,则认为是系统故障,(要么光学式动作捕捉仪发生问题,要么运动信息采集节点发生问题),则发出报警,提醒相关人员进行处理;
步骤S25、运动的运动信息采集节点的转动角度和转动方向同时传输给机器人和网络服务器;
步骤S3、机器人根据接收到的运动数据实时控制机器人按照操作者的运动数据进行运动,即根据运动的运动信息采集节点相对于作为坐标原点的不动的运动信息采集节点的转动方向和角度,驱动相应的驱动转轴转动,如:操作者做曲起前臂运动,机器人则控制肘部驱动转轴转动;
由于机器人运动灵活度没有人体运动灵活度高,当操作者没有按照标准的机器人驱动转轴转动方向活动时,则其运动轨迹分解成符合标准的机器人驱动转轴转动方向上的分量,在两个方向上同时驱动机器人运动,如:操作者以向前45°倾角方向抬起手臂至水平状态时,相应的机器人的肩部水平驱动转轴和肩部竖直驱动转轴共同动作,肩部水平驱动转轴转动45°,肩部竖直驱动转轴转动90°,两个运动方向可同时动作,也可分先后顺序进行动作。
步骤S4、机器人上的反馈信息采集节点采集机器人的动作信息,反馈给网络服务器,网络服务器同步显示两个虚拟人形象,一个为操作者虚拟人,一个为机器人虚拟人,操作者虚拟人根据接收到的操作者运动信息驱动虚拟人做相应运动,机器人虚拟人根据接收到的机器人运动信息驱动机器人虚拟人做相应运动,并实时比较操作者运动信息和机器人运动信息,当机器人运动信息与操作者运动信息相比,差值小于或等于5%时,则认为是在可接受的误差范围之内,如果差值大于5%时,则认为是系统故障(要么穿戴设备发生问题,要么机器人发生问题),则发出报警,提醒相关人员进行处理。
本实施例中,还包括轨迹补偿球驱动步骤,步骤S2中操作者脚部节点发生轨迹运动时,截取其在水平方向的分量,将其在水平方向上的位移定义为l,球体11半径定义为R,操作者脚部节点运动轨迹在水平方向的分量对应于球体11上的角度为α,则存在下列对应关系:
Sin(α/2)=l/2R
操作者脚部节点运动轨迹在水平方向的分量对应于球体11上的弧长为:
L=2πR*(α/360°)
根据弧长L以及X轴驱动滚轮半径(固定值)和Y轴驱动滚轮半径(固定值),可计算出X轴驱动滚轮12和Y轴驱动滚轮13的转动圈数和转动角度(不满一圈时)。
当操作者的运动轨迹没有正对X轴和Y轴时,则将操作者脚部节点运动轨迹在水平方向的分量再分解成X轴分量和Y轴分量,分别驱动X轴驱动滚轮12和Y轴驱动滚轮13转动。
本发明可应用于排爆机器人、水下机器人、矿井等危险场所。
本发明利用数字化虚拟人驱动技术,采集操作者动作,并实时通过互联网映射到机器人身上,可使对机器人的控制更加灵活。

Claims (10)

1.一种基于数字化虚拟人驱动的远程机器人控制系统,其特征是:所述的系统包括机器人、穿戴设备和网络服务器,机器人和穿戴设备分别与网络服务器连接,进行数据通信;
机器人包括躯干、脖子、头部、后臂、前臂、机械手、大腿、小腿和脚掌,头部安装在脖子上,头部和脖子之间设置有头部驱动转轴,脖子和躯干之间设置有颈部驱动转轴,后臂与躯干之间通过肩部水平驱动转轴、中间连接件和肩部竖直驱动转轴连接,中间连接件通过肩部竖直驱动转轴与躯干侧面连接,后臂通过肩部水平驱动转轴与中间连接件连接,前臂通过肘部驱动转轴与后臂连接,机械手与前臂之间通过腕部驱动转轴连接,机械手采用二指机械手,即机械手仅设置两根手指,两个手指通过手部驱动转轴连接,大腿与躯干之间通过髋部驱动转轴连接,小腿与大腿之间通过膝部驱动转轴连接,脚掌与小腿之间通过踝部驱动转轴连接,各个驱动转轴处分别连接有伺服电机,通过伺服电机带动驱动转轴转动;
机器人头部安装有用于采集视频信息的摄像头;
脚掌底部安装有驱动轮,每个脚掌底部安装有四个驱动轮,与每个驱动轮对应设置有一个伺服电机,驱动该驱动轮转动;
穿戴设备包括头戴式VR眼镜、运动信息采集节点和中央控制器,头戴式VR眼镜与中央控制器连接,中央控制器输出视频信息给头戴式VR眼镜进行显示,各个运动信息采集节点分别与中央控制器连接,运动信息采集节点包括指尖节点、腕部节点、肘部节点、肩部节点、头部节点、颈部节点、髋部节点、膝部节点、踝部节点和脚部节点,头部节点对应于使用者的额头位置设置,颈部节点对应于使用者的脖子处设置,肩部节点对应于使用者的肩部外侧位置处设置,肘部节点对应于使用者的肩部外侧位置处设置,腕部节点对应于使用者的腕关节处,指尖节点对应于使用者的食指指尖和拇指指尖位置处设置,髋部节点对应于使用者的髋部外侧位置处设置,膝部节点对应于使用者的膝盖位置处设置,踝部节点对应于使用者的踝骨外侧位置处设置,脚部节点对应于使用者的脚面位置处设置;
所述的控制系统中设置有轨迹补偿球,轨迹补偿球包括有供操作者站立的球体、X轴驱动机构和Y轴驱动机构,X轴驱动机构包括X轴驱动滚轮和X轴驱动电机,Y轴驱动机构包括Y轴驱动滚轮和Y轴驱动电机,X轴驱动滚轮和Y轴驱动滚轮相互垂直设置,X轴驱动滚轮和Y轴驱动滚轮分别与球体相贴合;
所述的控制系统还包括有光学式动作捕捉仪和Marker,光学式动作捕捉仪采用8个摄像机,8个摄像机环绕式均匀分布在操作者四周,Marker对应于运动信息采集节点位置设置,对应于每个运动信息采集节点位置处设置有一个Marker。
2.根据权利要求1所述的基于数字化虚拟人驱动的远程机器人控制系统,其特征是:所述的摄像头外侧四周设置有照明灯。
3.根据权利要求1所述的基于数字化虚拟人驱动的远程机器人控制系统,其特征是:所述的前臂分为前半部分和后半部分,前半部分和后半部分通过前臂驱动转轴连接。
4.根据权利要求1所述的基于数字化虚拟人驱动的远程机器人控制系统,其特征是:所述的运动信息采集节点包括加速度传感器和陀螺仪。
5.根据权利要求1所述的基于数字化虚拟人驱动的远程机器人控制系统,其特征是:所述的机器人上对应于穿戴设备上的运动信息采集节点位置处设置有反馈信息采集节点。
6.根据权利要求1所述的基于数字化虚拟人驱动的远程机器人控制系统,其特征是:所述的X轴驱动电机直接驱动X轴驱动滚轮转动,或者X轴驱动电机通过齿轮或皮带带动X轴驱动滚轮转动。
7.根据权利要求1所述的基于数字化虚拟人驱动的远程机器人控制系统,其特征是:所述的Y轴驱动电机直接驱动Y轴驱动滚轮转动,或者Y轴驱动电机通过齿轮或皮带带动Y轴驱动滚轮转动。
8.一种采用如权利要求1至7中任意一项所述的基于数字化虚拟人驱动的远程机器人控制系统的基于数字化虚拟人驱动的远程机器人控制方法,其特征是:所述的控制方法包括如下步骤:
步骤S1、机器人与操作者所穿戴的穿戴设备之间建立映射关系:建立映射关系前,根据具体机器人大小与穿戴设备尺寸或使用者的身高尺寸计算映射比例参数,当机器人采用特殊形式的机器人时,其特殊部位根据其与正常形式的机器人之间比例差设定补偿系数,计算补偿系数时,以其特殊部位与正常值之间的比例关系进行设定;
步骤S2、采集操作者各个运动信息采集节点的运动数据,并传输给机器人,操作者穿戴好穿戴设备,同时,相应机器人输送至指定位置,启动系统,穿戴设备与机器人之间建立通信联系;
步骤S3、机器人根据接收到的运动数据实时控制机器人按照操作者的运动数据进行运动,根据运动的运动信息采集节点相对于作为坐标原点的不动的运动信息采集节点的转动方向和角度,驱动相应的驱动转轴转动;
步骤S4、机器人上的反馈信息采集节点采集机器人的动作信息,反馈给网络服务器,网络服务器同步显示两个虚拟人形象,一个为操作者虚拟人,一个为机器人虚拟人,操作者虚拟人根据接收到的操作者运动信息驱动虚拟人做相应运动,机器人虚拟人根据接收到的机器人运动信息驱动机器人虚拟人做相应运动,并实时比较操作者运动信息和机器人运动信息,当机器人运动信息与操作者运动信息相比,差值小于或等于5%时,则认为是在可接受的误差范围之内,如果差值大于5%时,则认为是系统故障,则发出报警,提醒相关人员进行处理。
9.根据权利要求8所述的基于数字化虚拟人驱动的远程机器人控制方法,其特征是:所述的步骤S2包括下述子步骤:
步骤S21、操作者和机器人均呈头部摆正,手部下垂的立正姿势,作为起始姿势,此时各个数据采集节点和机器人驱动转轴处于起始位置;
步骤S22、操作者通过头戴式VR眼镜实时观察机器人采集到的现场视频信息,并根据视频信息情况做出下一步操作判断;
步骤S23、操作者带动穿戴设备做出相应动作,运动中的运动信息采集节点采集该节点的运动信息,包括运动方向和运动速度,并计算出其与相邻运动信息采集节点之间的相对位置关系,采集时,将距离运动中的运动信息采集节点最近的不动的运动信息采集节点作为坐标原点计算运动的运动信息采集节点的运动轨迹数据,当相邻运动信息采集节点都处于运动状态时,其以最靠近坐标原点的运动中的运动信息采集节点的运动轨迹数据为基础,其他节点的运动轨迹数据在基础运动轨迹数据的基础上,进行逐级累加;
步骤S24、根据运动中的运动信息采集节点的轨迹,计算该运动信息采集节点相对作为坐标原点的不动的运动信息采集节点的转动方向和角度,光学式动作捕捉仪同步采集Marker的运动轨迹,当二者的轨迹差值小于5%时,则认为是在可接受的误差范围之内,如果差值大于5%时,则认为是系统故障,则发出报警,提醒相关人员进行处理;
步骤S25、运动的运动信息采集节点的转动角度和转动方向同时传输给机器人和网络服务器。
10.根据权利要求8所述的基于数字化虚拟人驱动的远程机器人控制方法,其特征是:所述的操作者没有按照标准的机器人驱动转轴转动方向活动时,则其运动轨迹分解成符合标准的机器人驱动转轴转动方向上的分量,在两个方向上同时驱动机器人运动,两个运动方向同时动作,或分先后顺序进行动作。
CN202111548667.1A 2021-12-17 2021-12-17 一种基于数字化虚拟人驱动的远程机器人控制方法及系统 Active CN114227679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111548667.1A CN114227679B (zh) 2021-12-17 2021-12-17 一种基于数字化虚拟人驱动的远程机器人控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111548667.1A CN114227679B (zh) 2021-12-17 2021-12-17 一种基于数字化虚拟人驱动的远程机器人控制方法及系统

Publications (2)

Publication Number Publication Date
CN114227679A CN114227679A (zh) 2022-03-25
CN114227679B true CN114227679B (zh) 2023-07-25

Family

ID=80757795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111548667.1A Active CN114227679B (zh) 2021-12-17 2021-12-17 一种基于数字化虚拟人驱动的远程机器人控制方法及系统

Country Status (1)

Country Link
CN (1) CN114227679B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN211761525U (zh) * 2020-01-10 2020-10-27 深圳市金大智能创新科技有限公司 机器人及其腰部结构
CN112154047A (zh) * 2018-05-21 2020-12-29 远程连接株式会社 远程操作系统、信息处理方法以及程序

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
KR101992149B1 (ko) * 2015-08-25 2019-06-25 한국전자통신연구원 착용형 팔동작 측정 장치
JP7285703B2 (ja) * 2019-06-17 2023-06-02 株式会社ソニー・インタラクティブエンタテインメント ロボット制御システム
AU2020417826A1 (en) * 2019-12-31 2022-06-16 Human Mode, LLC Proxy controller suit with optional dual range kinematics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112154047A (zh) * 2018-05-21 2020-12-29 远程连接株式会社 远程操作系统、信息处理方法以及程序
CN211761525U (zh) * 2020-01-10 2020-10-27 深圳市金大智能创新科技有限公司 机器人及其腰部结构

Also Published As

Publication number Publication date
CN114227679A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN109676615B (zh) 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置
CN107943283B (zh) 基于手势识别的机械臂位姿控制系统
CN106618957B (zh) 一种上肢康复机器人
CN106618958B (zh) 一种体感控制的上肢外骨骼镜像康复机器人
WO2020221311A1 (zh) 基于可穿戴设备的移动机器人控制系统及控制方法
Almetwally et al. Real-time tele-operation and tele-walking of humanoid Robot Nao using Kinect Depth Camera
CN103895022A (zh) 穿戴式体感控制机械手
CN108888473A (zh) 基于穿戴式助行外骨骼的下肢关节运动复现方法
CN107127760A (zh) 一种足履复合式人形机器人
CN109692104B (zh) 医疗康复外骨骼交互式同步控制系统及方法
CN106426200A (zh) 一种乒乓球机器人及其控制方法
CN112828916B (zh) 冗余机械臂遥操作组合交互装置及冗余机械臂遥操作系统
CN110625591A (zh) 一种基于外骨骼数据手套和遥操纵杆的遥操作系统与方法
CN113021357A (zh) 一种便于移动的主从水下双臂机器人
JP2020196060A (ja) 教示方法
CN212421309U (zh) 一种足式机器人的远程操控装置
CN114227679B (zh) 一种基于数字化虚拟人驱动的远程机器人控制方法及系统
CN111687847A (zh) 一种足式机器人的远程操控装置和操控交互方式
CN205889194U (zh) 一种遥操作随动机器人控制系统
CN116100565A (zh) 基于外骨骼机器人的沉浸式实时远程操作平台
CN113197754B (zh) 一种上肢外骨骼康复机器人系统及方法
CN205905027U (zh) 一种机器人控制系统
CN115482320A (zh) 一种用于人体运动姿态捕捉的设备及方法
KR20160141095A (ko) 상지 재활 치료 시스템
CN115089429A (zh) 上肢康复训练机器人、上肢康复训练系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant