CN115570558B - 面向被操控对象集群的体感协同遥操作系统及方法 - Google Patents
面向被操控对象集群的体感协同遥操作系统及方法 Download PDFInfo
- Publication number
- CN115570558B CN115570558B CN202211332040.7A CN202211332040A CN115570558B CN 115570558 B CN115570558 B CN 115570558B CN 202211332040 A CN202211332040 A CN 202211332040A CN 115570558 B CN115570558 B CN 115570558B
- Authority
- CN
- China
- Prior art keywords
- controlled object
- control
- somatosensory
- space
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003238 somatosensory effect Effects 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004891 communication Methods 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 239000004576 sand Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 101100391172 Dictyostelium discoideum forA gene Proteins 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000009133 cooperative interaction Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000013641 positive control Substances 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Numerical Control (AREA)
Abstract
本发明公开了一种面向被操控对象集群的体感协同遥操作系统及方法,该系统包括体感控制端、通信编译端、多维显示端以及被操控对象集群;体感控制端向被操控对象集群定向开放标准接口及通信协议,面向被操控对象集群一对多操控时,单个体感控制端控制被操控对象集群前与被操控对象集群个体进行绑定,通过被操控对象切换功能键完成定向对被操控对象个体体感操控;面向被操控对象集群多对多操控时,多个体感控制端控制被操控对象集群前与被操控对象集群个体进行定向绑定;面向被操控对象集群多对一操控时,多个体感控制端控制被操控对象前与一个被操控对象进行定向绑定。本发明的系统及方法可完成一对多、多对多和多对一等方式的被操控对象集群协同操控。
Description
技术领域
本发明属于被操控对象集群的交互控制领域,具体涉及一种面向被操控对象集群的体感协同遥操作系统及方法。
背景技术
随着计算机和机械自动化技术的快速发展,推动机器人行业不断的创新,机器人设备在越来越多的行业得到应用,机器人帮助人类完成复杂、精细、危险、工作量巨大的工作成为行业发展趋势。另一方面,工作复杂程度对机器人集群协同作业提出了更高的要求。提高机器人集群的运行工作效率、自动化程度及运行智能化成为技术发展的难题,因此对面向机器人集群的控制模式、方法,进行了诸多研究。目前传统的面向机器人集群的操控方式主要是以机器人单体对象为中心进行控制,包括:
1、加强机器人自主智能研究,赋予机器人集群自主协同遂行作业任务的“智能”。该方向尚处于技术前沿研究阶段,尚未进入工程实践。另外该方案对机器人的智能性要求极高,不利于降低特定作业任务的协同成本;
2、多人控制机器人集群的多对多遥控或程控方式,如图1所示。该方式中每个机器人单体对应一位操控人员或一支操控团队,进行相应的遥控或程控协同作业,因此协作人员规模较大,协作效率较低,操控人员相互替代性极差,遂行作业任务的柔性亦有限;
3、一对多的程控示教方式进行机器人的集群控制。该方式常应用于单一机型的阵列式应用,诸如无人机群的空中表演,如图2所示,因此其应用场景有限,较难应用于复杂工作环境下多机型机器人集群的协同工作。
因此,现在需要一种新型的面向机器人集群的操控方法,通过该方法灵活完成一对多、多对多、多对一等方式的集群协同操控,特别是针对复杂作业场景的在线协同遥控,同时体现通用兼容、灵活组网、高效协作、成本低廉等综合操控效能。
此外,普通人机交互过程(包括手柄操控或专用示教器操控模式)均为面向机器人动作空间的交互模式,即机器人动作与操控设备上某一固定按钮或指令是唯一映射关系,当操控设备变换空间方位时,操控者无法第一时间敏感到机器人动作空间与自身的操控指令之间的对应关系。且目前的体感交互模式,人必须处于该结构化模型当中才能完成整个交互过程,而在结构化模型之外(即模型视界之外或模型与人的相对位置关系发生变化),则无法顺利完成体感交互过程。
发明内容
本发明的目的在于,提供一种面向被操控对象集群的体感协同遥操作系统及方法,完成一对多、多对多和多对一等方式的被操控对象集群协同操控。
本发明采用如下技术方案:
一种面向被操控对象集群的体感协同遥操作系统,包括:体感控制端、通信编译端、多维显示端以及位于作业场景中待操控的被操控对象集群;
体感控制端用于采集操控人员体感动作并处理形成正确表意的操控指令,通过通信编译端传递给被操控对象集群或对应的被操控对象,由被操控对象端执行对应的操控指令动作;
通信编译端用于构建操控人员与被操控对象集群之间的通信网络,将经体感控制端采集与处理后的操控指令传输并转译为对应被控被操控对象的运动指令;
多维显示端用于呈现作业场景及作业场景中被操控对象集群的空间位姿状态;
体感控制端向被操控对象集群定向开放标准接口及通信协议,面向被操控对象集群一对多操控时,单个体感控制端控制被操控对象集群前与被操控对象集群个体进行绑定,通过被操控对象切换功能键完成定向对被操控对象个体体感操控;面向被操控对象集群多对多操控时,多个体感控制端控制被操控对象集群前与被操控对象集群个体进行定向绑定;面向被操控对象集群多对一操控时,多个体感控制端控制被操控对象前与一个被操控对象进行定向绑定,当同时存在多个操控指令时,被操控对象不执行操控指令;
体感控制端还具备空间位姿感知功能,用于感知操控人员体感动作相对空间的位姿关系,加之被操控对象端具备的空间绝对位姿反演能力,建立操控人员体感动作与被操控对象端相对作业场景的空间位姿关系,实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,即无论操控人员和被操控对象的空间相对位置如何,被控对象按照当前操控人员所处的空间位置,按照体感动作指示,完成被操控对象的绝对空间运动。
进一步的,体感控制端为手持端或肢体穿戴设备;通信编译端的通信网络为无线通信或有线通信;被操控对象包括机器人。
进一步的,多维显示端包括三维虚拟显示端和二维监控显示端;
三维虚拟显示端根据现场实际作业场景重构,使操控人员直观把握复杂作业场景中被操控对象集群的空间位姿状态,借助空间临境感操控被操控对象集群进行协同作业;二维监控显示端用于呈现作业场景的监控图像,重点呈现作业场景局部细节,提升操控人员的操控精确度。
进一步的,三维虚拟显示端包括数字沙盘、VR设备、3D投影、全息投影和环幕。
进一步的,实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,具体包括:
操控人员根据自己所处的绝对空间位姿以及操控习惯,自定义初始空间坐标系以及映射关系;
当操控人员空间位置发生变化时,开启全方位体感交互模式;全方位体感交互模式下,采集操控人员体感动作的空间位置矢量和姿态矢量;利用空间转换矩阵对空间位姿矢量进行空间坐标转换,将空间位姿矢量处理成空间位置无关的位姿矢量,即为新的控制矢量,其叠加被操控对象在初始空间坐标系中的当前位姿,融合生成目标位姿,发送给被操控对象。
进一步的,当体感控制端与被操控对象之间是一对多映射关系时,空间坐标转换的公式为:
目标位姿的融合生成公式为:
进一步的,当体感控制端与被操控对象之间是多对一映射关系时,空间坐标转换的公式为:
目标位姿的融合生成公式为:
进一步的,当体感控制端与被操控对象之间是多对多映射关系时,空间坐标转换的公式为:
目标位姿的融合生成公式为:
进一步的,采集姿态矢量之前,将当前体感控制端敏感到的偏航角、俯仰角和横滚角置为零值或作为基准值记录下来。
本发明还提供一种面向被操控对象集群的体感协同遥操作方法,体感控制端向被操控对象集群定向开放标准接口及通信协议,面向被操控对象集群一对多操控时,单个体感控制端控制被操控对象集群前与被操控对象集群个体进行绑定,通过被操控对象切换功能键完成定向对被操控对象个体体感操控;面向被操控对象集群多对多操控时,多个体感控制端控制被操控对象集群前与被操控对象集群个体进行定向绑定;面向被操控对象集群多对一操控时,多个体感控制端控制被操控对象前与一个被操控对象进行定向绑定,当同时存在多个操控指令时,被操控对象不执行操控指令;
体感控制端感知操控人员体感动作相对空间的位姿关系,被操控对象具备空间绝对位姿反演能力,建立操控人员体感动作与被操控对象相对作业场景的空间位姿关系,实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,即无论操控人员和被操控对象的空间相对位置如何,被控对象按照当前操控人员所处的空间位置,按照体感动作指示,完成被操控对象的绝对空间运动。
本发明与现有技术相比,具有以下优点及有益效果:
本发明提供的面向被操控对象集群的体感协同遥操作系统及方法,不同于传统以机器人为中心的操控方法,而是以作业场景为中心的操控方法,可让操控人员采用通用的体感操控方式操控多机型的机器人集群,同时适用远程遥控和程控示教等在线或离线操控,体现通用兼容的特点;可以在不增加操控人员负担的情况下,建立一对多、多对多、多对一等多种连线被操控对象的方式,体现灵活组网的特点;可使操控人员在现实场景或虚拟场景中,以作业对象为中心在不同方位观测、操控、交流,实现特定作业任务的高效协作;另外,该方法上手简单快速,对机器人性能改造要求极低,应用成本低廉。
本发明还对传统体感操控模式及交互方法进行更改优化,即通过手持式体感操控设备,可以实现面向被操控对象作业空间与操控者位置无关的全方位体感操控过程,即无论操做者和被操控对象的空间相对位置如何,被操控对象均可按照当前操作者所处的空间位置,按照体感动作指示,完成机器人或被操控对象的绝对空间运动。该体感交互方法不仅适用于实体机器人操控对象,同样也适用于虚拟模型中的特定操控对象;且虚拟模型也不仅限于可视化的三维模型展示实体,也同样适用于普通三维模型在二维平面上的投影显示。
附图说明
图1是传统机器人集群操控示意图;
图2是传统无人机集群程控操控示意图;
图3是面向机器人集群的体感远程操控示意图;
图4是面向机器人集群体感操控实例示意图;
图5是面向机器人集群的体感现场操控示意图;
图6是与操控者空间位置无关的体感控制示意图;
图7是面向虚拟三维模型展示的体感操控示意图;
图8是位置无关模式及体感控制流程图。
图中:1-被操控对象,2-操控设备,3-体感控制端,4-通信编译端,5-机器人。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供一种面向机器人集群的体感协同遥操作系统及方法,可在不同方位、现场或远程完成一对多、多对多、多对一等多种方式集群操控机器人。如图3所示,该系统包括多维显示端、通信编译端和体感控制端,以及作业场景中待操控的机器人集群。
体感控制端由操控人员手持绑定,通过体感控制端采集操控人员手部体感动作,经过体感控制端数据处理形成正确表意的操控指令,通过通信编译端传递给对应的机器人或机器人集群,机器人端执行对应的操控指令动作。
通信编译端构建操控人员与机器人端的通信网络,将经体感控制端采集与处理后的操控指令传输并转译为对应被控机器人的运动指令。通信编译端的编译功能与不同机器人的通信控制接口密切相关。
体感控制端向机器人端定向开放标准接口及通信协议,面向机器人集群一对多操控时,单个体感控制端控制机器人集群前与机器人集群个体进行绑定,通过机器人切换功能键完成定向对机器人个体体感操控。面向机器人集群多对多操控时,多个体感控制端控制机器人集群前与机器人集群个体进行定向绑定。面向机器人集群多对一操控时,多个体感控制端控制机器人前与一个机器人进行定向绑定,同时存在多个操控命令,机器人不执行操作命令。
例如:一名操控人员可手持体感控制端3,通过通信编译端4将操控指令分别传输给作业场景内的各种机器人5,以控制作业场景内的各种机器人5执行不同的作业任务,如图4所示。一组操控人员组成的操控团队可操控一组机器人小车,在此多对多协同操控中,任意时刻每人仅操控一辆机器人小车,按照一定的物流规则并行完成物流转运作业。针对带云台的机器人小车,两位操控人员可分别操控小车和云台,实现多对一的协同操控。
多维显示端包括三维虚拟显示端和二维监控显示端,三维虚拟显示端根据现场实际场景重构,使操控团队直观把握复杂作业场景中机器人集群的空间位姿状态,借助空间临境感从而更自然地操控机器人集群进行协同作业;二维监控显示端用于呈现作业现场的监控图像,侧重作业场景局部细节准确呈现,利于提升操控团队的操控精确度。
本发明体感协同遥操作系统不仅限于在线遥控示教,亦可用于离线程控示教;且不仅限于远程作业场景协同操控,亦可用于在地现场场景协同操控,如图5所示。三维显示端不仅限于数字沙盘、VR设备、3D投影、全息投影和环幕等三维虚拟设备;体感操控端不仅限于手持端,亦可是肢体或局部的穿戴设备;通信编译端不仅限于无线通信,也可使用有线通信;机器人端包括但不限于各类机器人,同时包含有运动过程的自动化设备。体感动作操控模式选择包括但不限于高精确性、高逼真度、动作平滑、增益控制等。
体感控制端还具备空间位姿感知功能,可感知操控人员手部体感动作相对空间的位姿关系,加之机器人端具备的空间绝对位姿反演能力,因此借助其可建立操控人员手部体感动作与机器人端相对作业场景的空间位姿关系,实现面向被操控对象作业空间与操控者位置无关的全方位体感操控过程,即无论操做人和被操控对象的空间相对位置如何,被控对象均可按照当前人所处的空间位置,按照体感动作指示,完成机器人或操控对象的绝对空间运动。因此,操控人员可在作业场景空间中“自由行走移动”,并自由的指挥操控机器人或机器人集群相应运动。如图8所示,实现步骤主要包括:
操控者可根据自己的操控习惯以及所处的绝对空间实际情况,自行定义初始空间坐标系以及对应的操控正方向;
随着操控者空间位置的变化,可以自行选择是否开启全方位体感操控模式,当启用该模式时,则进行空间动态坐标转换以及对应的主方向提取或实时传感器数据滤波及映射数据处理;否则不进行空间动态坐标转换过程;
初始空间坐标系可以随时进行重新标定,特别的,当操控器长时间获取到的加速度或角速度维持在一个很小的值时,自动进行初始空间坐标系的动态标定。
空间位姿关系的具体表示过程为:
1、实时获取当前机器人的位姿Vn:
人工确认开始标定后,建立初始空间坐标系。针对实体机器人操控对象,可以针对机器人本体基准坐标系来建立初始空间坐标系,并基于该坐标系完成后续空间矢量的转换过程。记录当前操控器上的传感器敏感到的偏航角、俯仰角和横滚角,并将其置为零值,则在任意空间位置的位姿关系对应的空间转换矩阵为:
2、全方位体感交互模式可人为选择开启/关闭,当开启该模式时,按上述空间位姿关系转换矩阵对体感采集的空间矢量进行变换处理。
即可实现操控人员在作业场景空间中“自由行走移动”,并自由的操控机器人或虚拟模型完成相应运动,如图6所示。无论手持操控设备2的操作者和被操控对象1的空间相对位置如何,被操控对象2均可按照当前操作者所处的空间位置,按照体感动作指示,完成机器人或被操控对象的绝对空间运动。
更进一步的,当体感控制端与被操控对象之间是一对多映射关系时,空间坐标转换的公式为:
目标位姿的融合生成公式为:
当体感控制端与被操控对象之间是多对一映射关系时,空间坐标转换的公式为:
目标位姿的融合生成公式为:
当体感控制端与被操控对象之间是多对多映射关系时,空间坐标转换的公式为:
目标位姿的融合生成公式为:
如图8所示,根据操控模式的选择(高精度操控模式和高模仿操控模式),确定空间位置矢量如何转变为最终动作指令:
特别的,当体感操控设备一段时间内获取到的角速度以及加速度值维持在一个很小的值时,认为此时体感操控设备处于“静止状态”,即没有任何操控指令输入。为防止角度漂移造成的空间转换矩阵的偏移误差,将“静止状态”初始时刻的角度计为则空间转换矩阵/>变为:
需要说明的是,空间矢量的转换过程,只是该方案描述的一种数学表示方法,空间矢量的转变也可以通过其他矢量运算方式完成。
针对虚拟操控模型对象,可以借助三维立体空间投影显示或其他三维展示方式,完成体感操控过程,如图7所示,特别的,当虚拟操控模型展示于二维平面、或由于观测者视角受限、抑或要完成特定角度的二维平面观测的前提下的某个特殊角度投影,则可以根据实际投影关系,动态对虚拟模型进行实时投影变换,以完成模型展示。
本发明还提供一种面向被操控对象集群的体感协同遥操作方法,体感控制端向被操控对象集群定向开放标准接口及通信协议,面向被操控对象集群一对多操控时,单个体感控制端控制被操控对象集群前与被操控对象集群个体进行绑定,通过被操控对象切换功能键完成定向对被操控对象个体体感操控;面向被操控对象集群多对多操控时,多个体感控制端控制被操控对象集群前与被操控对象集群个体进行定向绑定;面向被操控对象集群多对一操控时,多个体感控制端控制被操控对象前与一个被操控对象进行定向绑定,当同时存在多个操控指令时,被操控对象不执行操控指令;
体感控制端感知操控人员体感动作相对空间的位姿关系,被操控对象具备空间绝对位姿反演能力,建立操控人员体感动作与被操控对象相对作业场景的空间位姿关系,实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,即无论操控人员和被操控对象的空间相对位置如何,被控对象按照当前操控人员所处的空间位置,按照体感动作指示,完成被操控对象的绝对空间运动。
本发明还区别于传统的对起始点、终止点以及路径点的位置、速度甚至加速度进行约束的机器人作动轨迹规划方式,体感协同遥操方式通过体感控制端实时采集位姿数据转译为机器人作动轨迹点,其作动轨迹相比于传统作动轨迹更加符合操控者预期轨迹,多人协同操控机器人作业效率高、难度低,在复杂作业场景下,可以更加快捷、高效完成作业任务。在多台机器人协同作业场景下,区别于传统的摇杆示教、PC端程控方式的单轴向运动控制,体感协同遥操方式可以根据工况需求,通过功能切换键选择单轴向或复合轴向运动控制,极大程度降低操控人员操控机器人难度,体感遥操作方式使用复合轴向运动控制协同操作机器人作业更加简单、工作效率高,控制体验更加良好。
综上所述,本发明提出的一种面向机器人集群的体感协同遥操作系统及方法,在多台机器人协同作业场景下,基于现场人员情况和作业场景需求,可进行1对多、多对多、多对1体感协同遥操方式互换,根据实际情况进行体感协同遥操方式选择。降低机器人集群操控成本,提高机器人操控通用兼容性;并将“专家化”的机器人操控过程转变为“傻瓜化”的体感操控过程,极大程度减少操控人员培训周期;利用通用体感控制端完成机器人集群协同操控,极大的提升了机器人集群的操控效率和体验,大幅度降低机器人集群使用成本;借助多维显示端和通信编译端构建通用、开放的临境操控环境,更进一步提升协同交互效率。
本领域的技术人员容易理解,以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种面向被操控对象集群的体感协同遥操作系统,其特征在于,包括:体感控制端、通信编译端、多维显示端以及位于作业场景中待操控的被操控对象集群;
所述体感控制端用于采集操控人员体感动作并处理形成正确表意的操控指令,通过所述通信编译端传递给被操控对象集群或对应的被操控对象,由被操控对象端执行对应的操控指令动作;
所述通信编译端用于构建操控人员与被操控对象集群之间的通信网络,将经所述体感控制端采集与处理后的操控指令传输并转译为对应被控被操控对象的运动指令;
所述多维显示端用于呈现作业场景及作业场景中被操控对象集群的空间位姿状态;
所述体感控制端向所述被操控对象集群定向开放标准接口及通信协议,面向被操控对象集群一对多操控时,单个所述体感控制端控制被操控对象集群前与被操控对象集群个体进行绑定,通过被操控对象切换功能键完成定向对被操控对象个体体感操控;面向被操控对象集群多对多操控时,多个所述体感控制端控制被操控对象集群前与被操控对象集群个体进行定向绑定;面向被操控对象集群多对一操控时,多个所述体感控制端控制被操控对象前与一个被操控对象进行定向绑定,当同时存在多个操控指令时,被操控对象不执行操控指令;
所述体感控制端还具备空间位姿感知功能,用于感知操控人员体感动作相对空间的位姿关系,加之被操控对象端具备的空间绝对位姿反演能力,建立操控人员体感动作与被操控对象端相对作业场景的空间位姿关系,实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,即无论操控人员和被操控对象的空间相对位置如何,被控对象按照当前操控人员所处的空间位置,按照体感动作指示,完成被操控对象的绝对空间运动。
2.根据权利要求1所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,所述体感控制端为手持端或肢体穿戴设备;所述通信编译端的通信网络为无线通信或有线通信;所述被操控对象包括机器人。
3.根据权利要求1所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,所述多维显示端包括三维虚拟显示端和二维监控显示端;
所述三维虚拟显示端根据现场实际作业场景重构,使操控人员直观把握复杂作业场景中被操控对象集群的空间位姿状态,借助空间临境感操控被操控对象集群进行协同作业;所述二维监控显示端用于呈现作业场景的监控图像,重点呈现作业场景局部细节,提升操控人员的操控精确度。
4.根据权利要求3所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,所述三维虚拟显示端为数字沙盘、VR设备、3D投影、全息投影和环幕中任意一种。
5.根据权利要求1所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,所述实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,具体包括:
操控人员根据自己所处的绝对空间位姿以及操控习惯,自定义初始空间坐标系以及映射关系;
当操控人员空间位置发生变化时,开启全方位体感交互模式;所述全方位体感交互模式下,采集操控人员体感动作的空间位置矢量和姿态矢量;利用空间转换矩阵对空间位姿矢量进行实时空间坐标转换,将所述空间位姿矢量处理成空间位置无关的位姿矢量,即为新的控制矢量,其叠加被操控对象在初始空间坐标系中的当前位姿,融合生成目标位姿,发送给被操控对象。
9.根据权利要求6所述的面向被操控对象集群的体感协同遥操作系统,其特征在于,采集所述姿态矢量之前,将当前体感控制端敏感到的偏航角、俯仰角和横滚角置为零值或作为基准值记录下来。
10.一种面向被操控对象集群的体感协同遥操作方法,其特征在于,体感控制端向被操控对象集群定向开放标准接口及通信协议,面向被操控对象集群一对多操控时,单个体感控制端控制被操控对象集群前与被操控对象集群个体进行绑定,通过被操控对象切换功能键完成定向对被操控对象个体体感操控;面向被操控对象集群多对多操控时,多个体感控制端控制被操控对象集群前与被操控对象集群个体进行定向绑定;面向被操控对象集群多对一操控时,多个体感控制端控制被操控对象前与一个被操控对象进行定向绑定,当同时存在多个操控指令时,被操控对象不执行操控指令;
体感控制端感知操控人员体感动作相对空间的位姿关系,被操控对象具备空间绝对位姿反演能力,建立操控人员体感动作与被操控对象相对作业场景的空间位姿关系,实现面向被操控对象作业空间与操控人员位置无关的全方位体感操控,即无论操控人员和被操控对象的空间相对位置如何,被控对象按照当前操控人员所处的空间位置,按照体感动作指示,完成被操控对象的绝对空间运动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211332040.7A CN115570558B (zh) | 2022-10-28 | 2022-10-28 | 面向被操控对象集群的体感协同遥操作系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211332040.7A CN115570558B (zh) | 2022-10-28 | 2022-10-28 | 面向被操控对象集群的体感协同遥操作系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115570558A CN115570558A (zh) | 2023-01-06 |
CN115570558B true CN115570558B (zh) | 2023-07-11 |
Family
ID=84587695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211332040.7A Active CN115570558B (zh) | 2022-10-28 | 2022-10-28 | 面向被操控对象集群的体感协同遥操作系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115570558B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111105155A (zh) * | 2019-12-18 | 2020-05-05 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于角色的群体无人系统协同任务管理方法 |
CN114189517A (zh) * | 2021-12-03 | 2022-03-15 | 中国电子科技集团公司信息科学研究院 | 一种异构自主无人集群统一接入管控系统 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4651645B2 (ja) * | 2001-09-13 | 2011-03-16 | シャープ株式会社 | 群ロボットシステム |
US20090156955A1 (en) * | 2007-12-13 | 2009-06-18 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Methods and systems for comparing media content |
US9086499B2 (en) * | 2008-09-23 | 2015-07-21 | Purdue Research Foundation | Clustering protocol for directional sensor networks |
GB2469828A (en) * | 2009-04-29 | 2010-11-03 | Stephen Tonderai Ratisai | Remote operation of robots via an online networked platform |
JP6423521B2 (ja) * | 2015-03-31 | 2018-11-14 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 無人航空機を制御するシステム |
DE112017003594T5 (de) * | 2016-09-20 | 2019-04-25 | Google Llc | Bot, der Genehmigung zum Zugriff auf Daten anfordert |
KR102583530B1 (ko) * | 2017-11-16 | 2023-10-05 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 원격조작을 위한 마스터/슬레이브 정합 및 제어 |
CN108303994B (zh) * | 2018-02-12 | 2020-04-28 | 华南理工大学 | 面向无人机的群控交互方法 |
CN110355750B (zh) * | 2018-10-29 | 2022-05-10 | 西北工业大学 | 面向遥操作手眼协调的交互控制方法 |
CN112398897B (zh) * | 2020-04-24 | 2022-03-11 | 江南大学 | 一种基于Socket通信的无线遥控机器人系统 |
CN111694428B (zh) * | 2020-05-25 | 2021-09-24 | 电子科技大学 | 基于Kinect的手势与轨迹远程控制机器人系统 |
CN114932555B (zh) * | 2022-06-14 | 2024-01-05 | 如你所视(北京)科技有限公司 | 机械臂协同作业系统及机械臂控制方法 |
-
2022
- 2022-10-28 CN CN202211332040.7A patent/CN115570558B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111105155A (zh) * | 2019-12-18 | 2020-05-05 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于角色的群体无人系统协同任务管理方法 |
CN114189517A (zh) * | 2021-12-03 | 2022-03-15 | 中国电子科技集团公司信息科学研究院 | 一种异构自主无人集群统一接入管控系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115570558A (zh) | 2023-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11440179B2 (en) | System and method for robot teaching based on RGB-D images and teach pendant | |
US20210205986A1 (en) | Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose | |
Krupke et al. | Comparison of multimodal heading and pointing gestures for co-located mixed reality human-robot interaction | |
WO2020221311A1 (zh) | 基于可穿戴设备的移动机器人控制系统及控制方法 | |
CN111055281B (zh) | 一种基于ros的自主移动抓取系统与方法 | |
CN102814814B (zh) | 一种双臂机器人基于Kinect的人机交互方法 | |
CN107943283B (zh) | 基于手势识别的机械臂位姿控制系统 | |
CN110815189B (zh) | 基于混合现实的机器人快速示教系统及方法 | |
Pan et al. | Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device | |
CN107662195A (zh) | 一种具有临场感的机器手主从异构遥操作控制系统及控制方法 | |
SE526119C2 (sv) | Metod och system för programmering av en industrirobot | |
CN115469576A (zh) | 一种基于人-机械臂异构运动空间混合映射的遥操作系统 | |
CN112621746A (zh) | 带死区的pid控制方法及机械臂视觉伺服抓取系统 | |
Angelopoulos et al. | Drone brush: Mixed reality drone path planning | |
Parga et al. | Tele-manipulation of robot arm with smartphone | |
CN115570558B (zh) | 面向被操控对象集群的体感协同遥操作系统及方法 | |
Parga et al. | Smartphone-based human machine interface with application to remote control of robot arm | |
CN112847300A (zh) | 一种基于移动工业机器人示教器的示教系统及其示教方法 | |
CN214025708U (zh) | 一种直观的工业机器人示教系统 | |
Weng et al. | Applications of light-weight wearable devices to online programming of industrial dual-arm robots | |
Shchekoldin et al. | Adaptive head movements tracking algorithms for AR interface controlled telepresence robot | |
Bai et al. | Kinect-based hand tracking for first-person-perspective robotic arm teleoperation | |
CN115639910B (zh) | 面向被操控对象作业空间的全方位体感交互方法及设备 | |
CN109483517A (zh) | 一种基于手姿追踪的协作机器人示教方法 | |
Sharma et al. | Vision-driven tele-operation for robot arm manipulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |