CN115570558B - 面向被操控对象集群的体感协同遥操作系统及方法 - Google Patents

面向被操控对象集群的体感协同遥操作系统及方法 Download PDF

Info

Publication number
CN115570558B
CN115570558B CN202211332040.7A CN202211332040A CN115570558B CN 115570558 B CN115570558 B CN 115570558B CN 202211332040 A CN202211332040 A CN 202211332040A CN 115570558 B CN115570558 B CN 115570558B
Authority
CN
China
Prior art keywords
controlled object
control
somatosensory
space
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211332040.7A
Other languages
English (en)
Other versions
CN115570558A (zh
Inventor
黄麟
余翔
周鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Hengxin Power Technology Co ltd
Original Assignee
Wuhan Hengxin Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Hengxin Power Technology Co ltd filed Critical Wuhan Hengxin Power Technology Co ltd
Priority to CN202211332040.7A priority Critical patent/CN115570558B/zh
Publication of CN115570558A publication Critical patent/CN115570558A/zh
Application granted granted Critical
Publication of CN115570558B publication Critical patent/CN115570558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种面向被操控对象集群的体感协同遥操作系统及方法,该系统包括体感控制端、通信编译端、多维显示端以及被操控对象集群;体感控制端向被操控对象集群定向开放标准接口及通信协议,面向被操控对象集群一对多操控时,单个体感控制端控制被操控对象集群前与被操控对象集群个体进行绑定,通过被操控对象切换功能键完成定向对被操控对象个体体感操控;面向被操控对象集群多对多操控时,多个体感控制端控制被操控对象集群前与被操控对象集群个体进行定向绑定;面向被操控对象集群多对一操控时,多个体感控制端控制被操控对象前与一个被操控对象进行定向绑定。本发明的系统及方法可完成一对多、多对多和多对一等方式的被操控对象集群协同操控。

Description

面向被操控对象集群的体感协同遥操作系统及方法
技术领域
本发明属于被操控对象集群的交互控制领域,具体涉及一种面向被操控对象集群的体感协同遥操作系统及方法。
背景技术
随着计算机和机械自动化技术的快速发展,推动机器人行业不断的创新,机器人设备在越来越多的行业得到应用,机器人帮助人类完成复杂、精细、危险、工作量巨大的工作成为行业发展趋势。另一方面,工作复杂程度对机器人集群协同作业提出了更高的要求。提高机器人集群的运行工作效率、自动化程度及运行智能化成为技术发展的难题,因此对面向机器人集群的控制模式、方法,进行了诸多研究。目前传统的面向机器人集群的操控方式主要是以机器人单体对象为中心进行控制,包括:
1、加强机器人自主智能研究,赋予机器人集群自主协同遂行作业任务的“智能”。该方向尚处于技术前沿研究阶段,尚未进入工程实践。另外该方案对机器人的智能性要求极高,不利于降低特定作业任务的协同成本;
2、多人控制机器人集群的多对多遥控或程控方式,如图1所示。该方式中每个机器人单体对应一位操控人员或一支操控团队,进行相应的遥控或程控协同作业,因此协作人员规模较大,协作效率较低,操控人员相互替代性极差,遂行作业任务的柔性亦有限;
3、一对多的程控示教方式进行机器人的集群控制。该方式常应用于单一机型的阵列式应用,诸如无人机群的空中表演,如图2所示,因此其应用场景有限,较难应用于复杂工作环境下多机型机器人集群的协同工作。
因此,现在需要一种新型的面向机器人集群的操控方法,通过该方法灵活完成一对多、多对多、多对一等方式的集群协同操控,特别是针对复杂作业场景的在线协同遥控,同时体现通用兼容、灵活组网、高效协作、成本低廉等综合操控效能。
此外,普通人机交互过程(包括手柄操控或专用示教器操控模式)均为面向机器人动作空间的交互模式,即机器人动作与操控设备上某一固定按钮或指令是唯一映射关系,当操控设备变换空间方位时,操控者无法第一时间敏感到机器人动作空间与自身的操控指令之间的对应关系。且目前的体感交互模式,人必须处于该结构化模型当中才能完成整个交互过程,而在结构化模型之外(即模型视界之外或模型与人的相对位置关系发生变化),则无法顺利完成体感交互过程。
发明内容
本发明的目的在于,提供一种面向被操控对象集群的体感协同遥操作系统及方法,完成一对多、多对多和多对一等方式的被操控对象集群协同操控。
本发明采用如下技术方案:
一种面向被操控对象集群的体感协同遥操作系统,包括:体感控制端、通信编译端、多维显示端以及位于作业场景中待操控的被操控对象集群;
体感控制端用于采集操控人员体感动作并处理形成正确表意的操控指令,通过通信编译端传递给被操控对象集群或对应的被操控对象,由被操控对象端执行对应的操控指令动作;
通信编译端用于构建操控人员与被操控对象集群之间的通信网络,将经体感控制端采集与处理后的操控指令传输并转译为对应被控被操控对象的运动指令;
多维显示端用于呈现作业场景及作业场景中被操控对象集群的空间位姿状态;
体感控制端向被操控对象集群定向开放标准接口及通信协议,面向被操控对象集群一对多操控时,单个体感控制端控制被操控对象集群前与被操控对象集群个体进行绑定,通过被操控对象切换功能键完成定向对被操控对象个体体感操控;面向被操控对象集群多对多操控时,多个体感控制端控制被操控对象集群前与被操控对象集群个体进行定向绑定;面向被操控对象集群多对一操控时,多个体感控制端控制被操控对象前与一个被操控对象进行定向绑定,当同时存在多个操控指令时,被操控对象不执行操控指令;
体感控制端还具备空间位姿感知功能,用于感知操控人员体感动作相对空间的位姿关系,加之被操控对象端具备的空间绝对位姿反演能力,建立操控人员体感动作与被操控对象端相对作业场景的空间位姿关系,实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,即无论操控人员和被操控对象的空间相对位置如何,被控对象按照当前操控人员所处的空间位置,按照体感动作指示,完成被操控对象的绝对空间运动。
进一步的,体感控制端为手持端或肢体穿戴设备;通信编译端的通信网络为无线通信或有线通信;被操控对象包括机器人。
进一步的,多维显示端包括三维虚拟显示端和二维监控显示端;
三维虚拟显示端根据现场实际作业场景重构,使操控人员直观把握复杂作业场景中被操控对象集群的空间位姿状态,借助空间临境感操控被操控对象集群进行协同作业;二维监控显示端用于呈现作业场景的监控图像,重点呈现作业场景局部细节,提升操控人员的操控精确度。
进一步的,三维虚拟显示端包括数字沙盘、VR设备、3D投影、全息投影和环幕。
进一步的,实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,具体包括:
操控人员根据自己所处的绝对空间位姿以及操控习惯,自定义初始空间坐标系以及映射关系;
当操控人员空间位置发生变化时,开启全方位体感交互模式;全方位体感交互模式下,采集操控人员体感动作的空间位置矢量和姿态矢量;利用空间转换矩阵对空间位姿矢量进行空间坐标转换,将空间位姿矢量处理成空间位置无关的位姿矢量,即为新的控制矢量,其叠加被操控对象在初始空间坐标系中的当前位姿,融合生成目标位姿,发送给被操控对象。
进一步的,当体感控制端与被操控对象之间是一对多映射关系时,空间坐标转换的公式为:
Figure BDA0003913618240000031
式中,
Figure BDA0003913618240000032
为空间位置无关的位姿矢量,/>
Figure BDA0003913618240000033
为空间位姿矢量,/>
Figure BDA0003913618240000034
为对应空间转换矩阵;
目标位姿的融合生成公式为:
Figure BDA0003913618240000035
式中,VA(1,2,…m)为被操控对象目标群的位姿信息集合,Vn(1,2,…m)为被操控对象目标群在初始空间坐标系中的当前位姿信息集合,m为被操控对象目标群的个数,
Figure BDA0003913618240000036
为空间位置无关的位姿矢量。
进一步的,当体感控制端与被操控对象之间是多对一映射关系时,空间坐标转换的公式为:
Figure BDA0003913618240000037
式中,
Figure BDA0003913618240000038
为空间位置无关的位姿矢量,/>
Figure BDA0003913618240000039
为空间位姿矢量,
Figure BDA00039136182400000310
为对应空间转换矩阵,q为体感控制端的个数;
目标位姿的融合生成公式为:
Figure BDA00039136182400000311
式中,VA为目标位姿矢量,Vn为被操控对象在初始空间坐标系中的当前位姿矢量,
Figure BDA00039136182400000312
为空间位置无关的位姿矢量。
进一步的,当体感控制端与被操控对象之间是多对多映射关系时,空间坐标转换的公式为:
Figure BDA00039136182400000313
式中,
Figure BDA0003913618240000041
为空间位置无关的位姿矢量,/>
Figure BDA0003913618240000042
为空间位姿矢量,
Figure BDA0003913618240000043
为对应空间转换矩阵;
目标位姿的融合生成公式为:
Figure BDA0003913618240000044
式中,VA(1,2,…m)为目标位姿矢量,Vn(1,2,…m)为被操控对象在初始空间坐标系中的当前位姿矢量,
Figure BDA0003913618240000045
为空间位置无关的位姿矢量。
进一步的,采集姿态矢量之前,将当前体感控制端敏感到的偏航角、俯仰角和横滚角置为零值或作为基准值记录下来。
本发明还提供一种面向被操控对象集群的体感协同遥操作方法,体感控制端向被操控对象集群定向开放标准接口及通信协议,面向被操控对象集群一对多操控时,单个体感控制端控制被操控对象集群前与被操控对象集群个体进行绑定,通过被操控对象切换功能键完成定向对被操控对象个体体感操控;面向被操控对象集群多对多操控时,多个体感控制端控制被操控对象集群前与被操控对象集群个体进行定向绑定;面向被操控对象集群多对一操控时,多个体感控制端控制被操控对象前与一个被操控对象进行定向绑定,当同时存在多个操控指令时,被操控对象不执行操控指令;
体感控制端感知操控人员体感动作相对空间的位姿关系,被操控对象具备空间绝对位姿反演能力,建立操控人员体感动作与被操控对象相对作业场景的空间位姿关系,实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,即无论操控人员和被操控对象的空间相对位置如何,被控对象按照当前操控人员所处的空间位置,按照体感动作指示,完成被操控对象的绝对空间运动。
本发明与现有技术相比,具有以下优点及有益效果:
本发明提供的面向被操控对象集群的体感协同遥操作系统及方法,不同于传统以机器人为中心的操控方法,而是以作业场景为中心的操控方法,可让操控人员采用通用的体感操控方式操控多机型的机器人集群,同时适用远程遥控和程控示教等在线或离线操控,体现通用兼容的特点;可以在不增加操控人员负担的情况下,建立一对多、多对多、多对一等多种连线被操控对象的方式,体现灵活组网的特点;可使操控人员在现实场景或虚拟场景中,以作业对象为中心在不同方位观测、操控、交流,实现特定作业任务的高效协作;另外,该方法上手简单快速,对机器人性能改造要求极低,应用成本低廉。
本发明还对传统体感操控模式及交互方法进行更改优化,即通过手持式体感操控设备,可以实现面向被操控对象作业空间与操控者位置无关的全方位体感操控过程,即无论操做者和被操控对象的空间相对位置如何,被操控对象均可按照当前操作者所处的空间位置,按照体感动作指示,完成机器人或被操控对象的绝对空间运动。该体感交互方法不仅适用于实体机器人操控对象,同样也适用于虚拟模型中的特定操控对象;且虚拟模型也不仅限于可视化的三维模型展示实体,也同样适用于普通三维模型在二维平面上的投影显示。
附图说明
图1是传统机器人集群操控示意图;
图2是传统无人机集群程控操控示意图;
图3是面向机器人集群的体感远程操控示意图;
图4是面向机器人集群体感操控实例示意图;
图5是面向机器人集群的体感现场操控示意图;
图6是与操控者空间位置无关的体感控制示意图;
图7是面向虚拟三维模型展示的体感操控示意图;
图8是位置无关模式及体感控制流程图。
图中:1-被操控对象,2-操控设备,3-体感控制端,4-通信编译端,5-机器人。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供一种面向机器人集群的体感协同遥操作系统及方法,可在不同方位、现场或远程完成一对多、多对多、多对一等多种方式集群操控机器人。如图3所示,该系统包括多维显示端、通信编译端和体感控制端,以及作业场景中待操控的机器人集群。
体感控制端由操控人员手持绑定,通过体感控制端采集操控人员手部体感动作,经过体感控制端数据处理形成正确表意的操控指令,通过通信编译端传递给对应的机器人或机器人集群,机器人端执行对应的操控指令动作。
通信编译端构建操控人员与机器人端的通信网络,将经体感控制端采集与处理后的操控指令传输并转译为对应被控机器人的运动指令。通信编译端的编译功能与不同机器人的通信控制接口密切相关。
体感控制端向机器人端定向开放标准接口及通信协议,面向机器人集群一对多操控时,单个体感控制端控制机器人集群前与机器人集群个体进行绑定,通过机器人切换功能键完成定向对机器人个体体感操控。面向机器人集群多对多操控时,多个体感控制端控制机器人集群前与机器人集群个体进行定向绑定。面向机器人集群多对一操控时,多个体感控制端控制机器人前与一个机器人进行定向绑定,同时存在多个操控命令,机器人不执行操作命令。
例如:一名操控人员可手持体感控制端3,通过通信编译端4将操控指令分别传输给作业场景内的各种机器人5,以控制作业场景内的各种机器人5执行不同的作业任务,如图4所示。一组操控人员组成的操控团队可操控一组机器人小车,在此多对多协同操控中,任意时刻每人仅操控一辆机器人小车,按照一定的物流规则并行完成物流转运作业。针对带云台的机器人小车,两位操控人员可分别操控小车和云台,实现多对一的协同操控。
多维显示端包括三维虚拟显示端和二维监控显示端,三维虚拟显示端根据现场实际场景重构,使操控团队直观把握复杂作业场景中机器人集群的空间位姿状态,借助空间临境感从而更自然地操控机器人集群进行协同作业;二维监控显示端用于呈现作业现场的监控图像,侧重作业场景局部细节准确呈现,利于提升操控团队的操控精确度。
本发明体感协同遥操作系统不仅限于在线遥控示教,亦可用于离线程控示教;且不仅限于远程作业场景协同操控,亦可用于在地现场场景协同操控,如图5所示。三维显示端不仅限于数字沙盘、VR设备、3D投影、全息投影和环幕等三维虚拟设备;体感操控端不仅限于手持端,亦可是肢体或局部的穿戴设备;通信编译端不仅限于无线通信,也可使用有线通信;机器人端包括但不限于各类机器人,同时包含有运动过程的自动化设备。体感动作操控模式选择包括但不限于高精确性、高逼真度、动作平滑、增益控制等。
体感控制端还具备空间位姿感知功能,可感知操控人员手部体感动作相对空间的位姿关系,加之机器人端具备的空间绝对位姿反演能力,因此借助其可建立操控人员手部体感动作与机器人端相对作业场景的空间位姿关系,实现面向被操控对象作业空间与操控者位置无关的全方位体感操控过程,即无论操做人和被操控对象的空间相对位置如何,被控对象均可按照当前人所处的空间位置,按照体感动作指示,完成机器人或操控对象的绝对空间运动。因此,操控人员可在作业场景空间中“自由行走移动”,并自由的指挥操控机器人或机器人集群相应运动。如图8所示,实现步骤主要包括:
操控者可根据自己的操控习惯以及所处的绝对空间实际情况,自行定义初始空间坐标系以及对应的操控正方向;
随着操控者空间位置的变化,可以自行选择是否开启全方位体感操控模式,当启用该模式时,则进行空间动态坐标转换以及对应的主方向提取或实时传感器数据滤波及映射数据处理;否则不进行空间动态坐标转换过程;
初始空间坐标系可以随时进行重新标定,特别的,当操控器长时间获取到的加速度或角速度维持在一个很小的值时,自动进行初始空间坐标系的动态标定。
全方位体感操控模式下,通过获取机器人当前位姿Vn矢量,叠加上操控人员手部体感动作处理出的位姿变换矢量
Figure BDA0003913618240000071
矢量,融合生成目标位姿VA矢量,并下发给机器人即可完成各种位置下对机器人的控制。
空间位姿关系的具体表示过程为:
1、实时获取当前机器人的位姿Vn
Figure BDA0003913618240000072
其中,x、y和z为空间坐标,γ为当前空间姿态的横滚角,θ为当前空间姿态的俯仰角,
Figure BDA0003913618240000073
为当前空间姿态的偏航角。
人工确认开始标定后,建立初始空间坐标系。针对实体机器人操控对象,可以针对机器人本体基准坐标系来建立初始空间坐标系,并基于该坐标系完成后续空间矢量的转换过程。记录当前操控器上的传感器敏感到的偏航角、俯仰角和横滚角,并将其置为零值,则在任意空间位置的位姿关系对应的空间转换矩阵
Figure BDA0003913618240000074
为:
Figure BDA0003913618240000075
2、全方位体感交互模式可人为选择开启/关闭,当开启该模式时,按上述空间位姿关系转换矩阵对体感采集的空间矢量进行变换处理。
空间位置无关的位姿矢量
Figure BDA0003913618240000076
表示为:
Figure BDA0003913618240000077
其中,
Figure BDA0003913618240000078
为转换前体感操控设备原坐标系下的空间位姿矢量,其中姿态由/>
Figure BDA0003913618240000079
矩阵动态得到。
Figure BDA00039136182400000710
作为新的控制矢量完成对动作类被操控对象的操控指令生成,即发送给被控端目标位姿VA为:
Figure BDA0003913618240000081
即可实现操控人员在作业场景空间中“自由行走移动”,并自由的操控机器人或虚拟模型完成相应运动,如图6所示。无论手持操控设备2的操作者和被操控对象1的空间相对位置如何,被操控对象2均可按照当前操作者所处的空间位置,按照体感动作指示,完成机器人或被操控对象的绝对空间运动。
更进一步的,当体感控制端与被操控对象之间是一对多映射关系时,空间坐标转换的公式为:
Figure BDA0003913618240000082
式中,
Figure BDA0003913618240000083
为空间位置无关的位姿矢量,/>
Figure BDA0003913618240000084
为空间位姿矢量,/>
Figure BDA0003913618240000085
为对应空间转换矩阵;
目标位姿的融合生成公式为:
Figure BDA0003913618240000086
式中,VA(1,2,…m)为被操控对象目标群的位姿信息集合,Vn(1,2,…m)为被操控对象目标群在初始空间坐标系中的当前位姿信息集合,m为被操控对象目标群的个数,
Figure BDA0003913618240000087
为空间位置无关的位姿矢量。
当体感控制端与被操控对象之间是多对一映射关系时,空间坐标转换的公式为:
Figure BDA0003913618240000088
式中,
Figure BDA0003913618240000089
为空间位置无关的位姿矢量,/>
Figure BDA00039136182400000810
为空间位姿矢量,
Figure BDA00039136182400000811
为对应空间转换矩阵,q为体感控制端的个数;
目标位姿的融合生成公式为:
Figure BDA00039136182400000812
式中,VA为目标位姿矢量,Vn为被操控对象在初始空间坐标系中的当前位姿矢量,
Figure BDA00039136182400000813
为空间位置无关的位姿矢量。
当体感控制端与被操控对象之间是多对多映射关系时,空间坐标转换的公式为:
Figure BDA00039136182400000814
式中,
Figure BDA00039136182400000815
为空间位置无关的位姿矢量,/>
Figure BDA00039136182400000816
为空间位姿矢量,
Figure BDA00039136182400000817
为对应空间转换矩阵;
目标位姿的融合生成公式为:
Figure BDA00039136182400000818
式中,VA(1,2,…m)为目标位姿矢量,Vn(1,2,…m)为被操控对象在初始空间坐标系中的当前位姿矢量,
Figure BDA0003913618240000091
为空间位置无关的位姿矢量。
如图8所示,根据操控模式的选择(高精度操控模式和高模仿操控模式),确定空间位置矢量如何转变为最终动作指令:
当开启高精度操控模式时,对整个体感操控过程进行原始数据采集,并对操控过程中的主运动方向进行提取,得到主方向运动角度
Figure BDA0003913618240000092
则该模式下空间转换矩阵/>
Figure BDA0003913618240000093
变为:
Figure BDA0003913618240000094
当开启高模仿操控模式时,对每个采样时刻(该时刻运动角度为
Figure BDA0003913618240000095
)进行实时空间转换,则该模式下实时空间转换矩阵/>
Figure BDA0003913618240000096
变为:
Figure BDA0003913618240000097
特别的,当体感操控设备一段时间内获取到的角速度以及加速度值维持在一个很小的值时,认为此时体感操控设备处于“静止状态”,即没有任何操控指令输入。为防止角度漂移造成的空间转换矩阵的偏移误差,将“静止状态”初始时刻的角度计为
Figure BDA0003913618240000098
则空间转换矩阵/>
Figure BDA0003913618240000099
变为:
Figure BDA00039136182400000910
实时空间转换矩阵
Figure BDA00039136182400000911
变为:
Figure BDA00039136182400000912
需要说明的是,空间矢量的转换过程,只是该方案描述的一种数学表示方法,空间矢量的转变也可以通过其他矢量运算方式完成。
针对虚拟操控模型对象,可以借助三维立体空间投影显示或其他三维展示方式,完成体感操控过程,如图7所示,特别的,当虚拟操控模型展示于二维平面、或由于观测者视角受限、抑或要完成特定角度的二维平面观测的前提下的某个特殊角度投影,则可以根据实际投影关系,动态对虚拟模型进行实时投影变换,以完成模型展示。
本发明还提供一种面向被操控对象集群的体感协同遥操作方法,体感控制端向被操控对象集群定向开放标准接口及通信协议,面向被操控对象集群一对多操控时,单个体感控制端控制被操控对象集群前与被操控对象集群个体进行绑定,通过被操控对象切换功能键完成定向对被操控对象个体体感操控;面向被操控对象集群多对多操控时,多个体感控制端控制被操控对象集群前与被操控对象集群个体进行定向绑定;面向被操控对象集群多对一操控时,多个体感控制端控制被操控对象前与一个被操控对象进行定向绑定,当同时存在多个操控指令时,被操控对象不执行操控指令;
体感控制端感知操控人员体感动作相对空间的位姿关系,被操控对象具备空间绝对位姿反演能力,建立操控人员体感动作与被操控对象相对作业场景的空间位姿关系,实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,即无论操控人员和被操控对象的空间相对位置如何,被控对象按照当前操控人员所处的空间位置,按照体感动作指示,完成被操控对象的绝对空间运动。
本发明还区别于传统的对起始点、终止点以及路径点的位置、速度甚至加速度进行约束的机器人作动轨迹规划方式,体感协同遥操方式通过体感控制端实时采集位姿数据转译为机器人作动轨迹点,其作动轨迹相比于传统作动轨迹更加符合操控者预期轨迹,多人协同操控机器人作业效率高、难度低,在复杂作业场景下,可以更加快捷、高效完成作业任务。在多台机器人协同作业场景下,区别于传统的摇杆示教、PC端程控方式的单轴向运动控制,体感协同遥操方式可以根据工况需求,通过功能切换键选择单轴向或复合轴向运动控制,极大程度降低操控人员操控机器人难度,体感遥操作方式使用复合轴向运动控制协同操作机器人作业更加简单、工作效率高,控制体验更加良好。
综上所述,本发明提出的一种面向机器人集群的体感协同遥操作系统及方法,在多台机器人协同作业场景下,基于现场人员情况和作业场景需求,可进行1对多、多对多、多对1体感协同遥操方式互换,根据实际情况进行体感协同遥操方式选择。降低机器人集群操控成本,提高机器人操控通用兼容性;并将“专家化”的机器人操控过程转变为“傻瓜化”的体感操控过程,极大程度减少操控人员培训周期;利用通用体感控制端完成机器人集群协同操控,极大的提升了机器人集群的操控效率和体验,大幅度降低机器人集群使用成本;借助多维显示端和通信编译端构建通用、开放的临境操控环境,更进一步提升协同交互效率。
本领域的技术人员容易理解,以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向被操控对象集群的体感协同遥操作系统,其特征在于,包括:体感控制端、通信编译端、多维显示端以及位于作业场景中待操控的被操控对象集群;
所述体感控制端用于采集操控人员体感动作并处理形成正确表意的操控指令,通过所述通信编译端传递给被操控对象集群或对应的被操控对象,由被操控对象端执行对应的操控指令动作;
所述通信编译端用于构建操控人员与被操控对象集群之间的通信网络,将经所述体感控制端采集与处理后的操控指令传输并转译为对应被控被操控对象的运动指令;
所述多维显示端用于呈现作业场景及作业场景中被操控对象集群的空间位姿状态;
所述体感控制端向所述被操控对象集群定向开放标准接口及通信协议,面向被操控对象集群一对多操控时,单个所述体感控制端控制被操控对象集群前与被操控对象集群个体进行绑定,通过被操控对象切换功能键完成定向对被操控对象个体体感操控;面向被操控对象集群多对多操控时,多个所述体感控制端控制被操控对象集群前与被操控对象集群个体进行定向绑定;面向被操控对象集群多对一操控时,多个所述体感控制端控制被操控对象前与一个被操控对象进行定向绑定,当同时存在多个操控指令时,被操控对象不执行操控指令;
所述体感控制端还具备空间位姿感知功能,用于感知操控人员体感动作相对空间的位姿关系,加之被操控对象端具备的空间绝对位姿反演能力,建立操控人员体感动作与被操控对象端相对作业场景的空间位姿关系,实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,即无论操控人员和被操控对象的空间相对位置如何,被控对象按照当前操控人员所处的空间位置,按照体感动作指示,完成被操控对象的绝对空间运动。
2.根据权利要求1所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,所述体感控制端为手持端或肢体穿戴设备;所述通信编译端的通信网络为无线通信或有线通信;所述被操控对象包括机器人。
3.根据权利要求1所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,所述多维显示端包括三维虚拟显示端和二维监控显示端;
所述三维虚拟显示端根据现场实际作业场景重构,使操控人员直观把握复杂作业场景中被操控对象集群的空间位姿状态,借助空间临境感操控被操控对象集群进行协同作业;所述二维监控显示端用于呈现作业场景的监控图像,重点呈现作业场景局部细节,提升操控人员的操控精确度。
4.根据权利要求3所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,所述三维虚拟显示端为数字沙盘、VR设备、3D投影、全息投影和环幕中任意一种。
5.根据权利要求1所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,所述实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,具体包括:
操控人员根据自己所处的绝对空间位姿以及操控习惯,自定义初始空间坐标系以及映射关系;
当操控人员空间位置发生变化时,开启全方位体感交互模式;所述全方位体感交互模式下,采集操控人员体感动作的空间位置矢量和姿态矢量;利用空间转换矩阵对空间位姿矢量进行实时空间坐标转换,将所述空间位姿矢量处理成空间位置无关的位姿矢量,即为新的控制矢量,其叠加被操控对象在初始空间坐标系中的当前位姿,融合生成目标位姿,发送给被操控对象。
6.根据权利要求5所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,当体感控制端与被操控对象之间是一对多映射关系时,所述空间坐标转换的公式为:
Figure FDA0004271361480000021
式中,
Figure FDA0004271361480000022
为空间位置无关的位姿矢量,/>
Figure FDA0004271361480000023
为空间位姿矢量,/>
Figure FDA0004271361480000024
为对应空间转换矩阵;
所述目标位姿的融合生成公式为:
Figure FDA0004271361480000025
式中,VA(1,2,…m)为被操控对象目标群的位姿信息集合,Vn(1,2,…m)为被操控对象目标群在初始空间坐标系中的当前位姿信息集合,m为被操控对象目标群的个数,
Figure FDA0004271361480000026
为空间位置无关的位姿矢量。
7.根据权利要求5所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,当体感控制端与被操控对象之间是多对一映射关系时,所述空间坐标转换的公式为:
Figure FDA0004271361480000027
式中,
Figure FDA0004271361480000028
为空间位置无关的位姿矢量,/>
Figure FDA0004271361480000029
为空间位姿矢量,
Figure FDA00042713614800000210
为对应空间转换矩阵,q为体感控制端的个数;
所述目标位姿的融合生成公式为:
Figure FDA00042713614800000211
式中,VA为目标位姿矢量,Vn为被操控对象在初始空间坐标系中的当前位姿矢量,
Figure FDA00042713614800000212
为空间位置无关的位姿矢量。
8.根据权利要求5所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,当体感控制端与被操控对象之间是多对多映射关系时,所述空间坐标转换的公式为:
Figure FDA0004271361480000031
式中,
Figure FDA0004271361480000032
为空间位置无关的位姿矢量,/>
Figure FDA0004271361480000033
为空间位姿矢量,
Figure FDA0004271361480000034
为对应空间转换矩阵,q为体感控制端的个数;
所述目标位姿的融合生成公式为:
Figure FDA0004271361480000035
式中,VA(1,2,…m)为目标位姿矢量,Vn(1,2,…m)为被操控对象在初始空间坐标系中的当前位姿矢量,
Figure FDA0004271361480000036
为空间位置无关的位姿矢量,m为被操控对象目标群的个数。
9.根据权利要求6所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,采集所述姿态矢量之前,将当前体感控制端敏感到的偏航角、俯仰角和横滚角置为零值或作为基准值记录下来。
10.一种面向被操控对象集群的体感协同遥操作方法,其特征在于,体感控制端向被操控对象集群定向开放标准接口及通信协议,面向被操控对象集群一对多操控时,单个体感控制端控制被操控对象集群前与被操控对象集群个体进行绑定,通过被操控对象切换功能键完成定向对被操控对象个体体感操控;面向被操控对象集群多对多操控时,多个体感控制端控制被操控对象集群前与被操控对象集群个体进行定向绑定;面向被操控对象集群多对一操控时,多个体感控制端控制被操控对象前与一个被操控对象进行定向绑定,当同时存在多个操控指令时,被操控对象不执行操控指令;
体感控制端感知操控人员体感动作相对空间的位姿关系,被操控对象具备空间绝对位姿反演能力,建立操控人员体感动作与被操控对象相对作业场景的空间位姿关系,实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,即无论操控人员和被操控对象的空间相对位置如何,被控对象按照当前操控人员所处的空间位置,按照体感动作指示,完成被操控对象的绝对空间运动。
CN202211332040.7A 2022-10-28 2022-10-28 面向被操控对象集群的体感协同遥操作系统及方法 Active CN115570558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211332040.7A CN115570558B (zh) 2022-10-28 2022-10-28 面向被操控对象集群的体感协同遥操作系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211332040.7A CN115570558B (zh) 2022-10-28 2022-10-28 面向被操控对象集群的体感协同遥操作系统及方法

Publications (2)

Publication Number Publication Date
CN115570558A CN115570558A (zh) 2023-01-06
CN115570558B true CN115570558B (zh) 2023-07-11

Family

ID=84587695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211332040.7A Active CN115570558B (zh) 2022-10-28 2022-10-28 面向被操控对象集群的体感协同遥操作系统及方法

Country Status (1)

Country Link
CN (1) CN115570558B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105155A (zh) * 2019-12-18 2020-05-05 中国人民解放军军事科学院国防科技创新研究院 一种基于角色的群体无人系统协同任务管理方法
CN114189517A (zh) * 2021-12-03 2022-03-15 中国电子科技集团公司信息科学研究院 一种异构自主无人集群统一接入管控系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4651645B2 (ja) * 2001-09-13 2011-03-16 シャープ株式会社 群ロボットシステム
US20090156955A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for comparing media content
US9086499B2 (en) * 2008-09-23 2015-07-21 Purdue Research Foundation Clustering protocol for directional sensor networks
GB2469828A (en) * 2009-04-29 2010-11-03 Stephen Tonderai Ratisai Remote operation of robots via an online networked platform
JP6423521B2 (ja) * 2015-03-31 2018-11-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 無人航空機を制御するシステム
DE112017003594T5 (de) * 2016-09-20 2019-04-25 Google Llc Bot, der Genehmigung zum Zugriff auf Daten anfordert
KR102583530B1 (ko) * 2017-11-16 2023-10-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작을 위한 마스터/슬레이브 정합 및 제어
CN108303994B (zh) * 2018-02-12 2020-04-28 华南理工大学 面向无人机的群控交互方法
CN110355750B (zh) * 2018-10-29 2022-05-10 西北工业大学 面向遥操作手眼协调的交互控制方法
CN112398897B (zh) * 2020-04-24 2022-03-11 江南大学 一种基于Socket通信的无线遥控机器人系统
CN111694428B (zh) * 2020-05-25 2021-09-24 电子科技大学 基于Kinect的手势与轨迹远程控制机器人系统
CN114932555B (zh) * 2022-06-14 2024-01-05 如你所视(北京)科技有限公司 机械臂协同作业系统及机械臂控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105155A (zh) * 2019-12-18 2020-05-05 中国人民解放军军事科学院国防科技创新研究院 一种基于角色的群体无人系统协同任务管理方法
CN114189517A (zh) * 2021-12-03 2022-03-15 中国电子科技集团公司信息科学研究院 一种异构自主无人集群统一接入管控系统

Also Published As

Publication number Publication date
CN115570558A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
US11440179B2 (en) System and method for robot teaching based on RGB-D images and teach pendant
US20210205986A1 (en) Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose
Krupke et al. Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction
WO2020221311A1 (zh) 基于可穿戴设备的移动机器人控制系统及控制方法
CN111055281B (zh) 一种基于ros的自主移动抓取系统与方法
CN102814814B (zh) 一种双臂机器人基于Kinect的人机交互方法
CN107943283B (zh) 基于手势识别的机械臂位姿控制系统
CN110815189B (zh) 基于混合现实的机器人快速示教系统及方法
Pan et al. Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device
CN107662195A (zh) 一种具有临场感的机器手主从异构遥操作控制系统及控制方法
SE526119C2 (sv) Metod och system för programmering av en industrirobot
CN115469576A (zh) 一种基于人-机械臂异构运动空间混合映射的遥操作系统
CN112621746A (zh) 带死区的pid控制方法及机械臂视觉伺服抓取系统
Angelopoulos et al. Drone brush: Mixed reality drone path planning
Parga et al. Tele-manipulation of robot arm with smartphone
CN115570558B (zh) 面向被操控对象集群的体感协同遥操作系统及方法
Parga et al. Smartphone-based human machine interface with application to remote control of robot arm
CN112847300A (zh) 一种基于移动工业机器人示教器的示教系统及其示教方法
CN214025708U (zh) 一种直观的工业机器人示教系统
Weng et al. Applications of light-weight wearable devices to online programming of industrial dual-arm robots
Shchekoldin et al. Adaptive head movements tracking algorithms for AR interface controlled telepresence robot
Bai et al. Kinect-based hand tracking for first-person-perspective robotic arm teleoperation
CN115639910B (zh) 面向被操控对象作业空间的全方位体感交互方法及设备
CN109483517A (zh) 一种基于手姿追踪的协作机器人示教方法
Sharma et al. Vision-driven tele-operation for robot arm manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant