CN116766268A - 一种遥操作的数据采集装置、姿态识别方法、装置及系统 - Google Patents
一种遥操作的数据采集装置、姿态识别方法、装置及系统 Download PDFInfo
- Publication number
- CN116766268A CN116766268A CN202310673753.8A CN202310673753A CN116766268A CN 116766268 A CN116766268 A CN 116766268A CN 202310673753 A CN202310673753 A CN 202310673753A CN 116766268 A CN116766268 A CN 116766268A
- Authority
- CN
- China
- Prior art keywords
- joint
- base
- preset
- data
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000033001 locomotion Effects 0.000 claims description 34
- 210000003857 wrist joint Anatomy 0.000 claims description 34
- 210000000323 shoulder joint Anatomy 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 12
- 210000001503 joint Anatomy 0.000 claims description 12
- 210000002310 elbow joint Anatomy 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本申请实施例属于遥操作技术领域,涉及一种遥操作的数据采集装置,包括:惯性传感器和UWB传感器;UWB传感器包括基座和标签;惯性传感器,至少固定于操作者的预设关节,用于采集预设关节的旋转数据;UWB传感器的标签分别固定于操作者的关节基座和预设关节;基座固定于标签的周围;UWB传感器,用于分别采集关节基座和预设关节的位置数据。本申请实施例还涉及遥操作的姿态识别方法、装置、设备及系统等。本申请的技术方案能够提高后续遥操作中的操作者的姿态识别的精度。
Description
技术领域
本申请涉及遥操作技术领域,尤其涉及一种遥操作的数据采集装置、姿态识别方法、装置及系统。
背景技术
随着科技的发展,从端机器人应用领域越发广泛,在一些复杂和危险环境中,需要从端机器人灵活性更高,具有更高的仿人工作的能力,为此,遥操作从端机器人应运而生。遥操作从端机器人是通过在主端操作者身上安装姿态传感器,比如,惯性传感器(InertialMeasurement Unit IMU),操作人员在另一真实或者虚拟场景下进行目标任务操作,通过IMU捕捉操作人员在操作过程中的动作并采集相应的运动数据发送给控制器,控制器根据运动数据生成运动控制指令等,以控制从端机器人完成目标任务,从而实现遥操作的目的。
然而,由于IMU通常包括加速计、、磁力计等。基于IMU等惯性元器件采集的主端姿态数据的需要,根据加速度计和陀螺仪的数据积分得到位置数据,所以会存在比较大的累积误差,从而造成主端的姿态识别结果存在一定的误差。
发明内容
本申请实施例的目的在于提出一种遥操作的数据采集装置、姿态识别方法、装置及系统,以提高遥操作中操作者姿态识别的精度。
第一方面,本申请实施例提供一种遥操作的数据采集装置,采用了如下所述的技术方案:
一种遥操作的数据采集装置,所述数据采集装置包括:惯性传感器和UWB传感器;所述UWB传感器包括基座和标签;
所述惯性传感器,至少固定于操作者的预设关节,用于采集预设关节的旋转数据;
所述UWB传感器的所述标签,分别固定于关节基座和所述预设关节;所述UWB传感器的所述基座固定于所述标签的周围;
所述UWB传感器,用于分别采集所述关节基座和所述预设关节的位置数据。
进一步的,所述惯性传感器还包括基座传感器,所述基座传感器用于采集所述关节基座的旋转数据;所述基座传感器的三个轴与所述关节基座的三个轴平行设置。
进一步的,所述预设关节包括腕关节和/或肘关节;
所述关节基座包括肩关节。
进一步的,当所述关节基座为肩关节;所述基座传感器固定于操作者的上半身主干。
第二方面,本申请实施例提供一种遥操作的姿态识别方法,所述方法包括:
获取通过惯性传感器采集的操作者预设关节的旋转数据;
获取通过UWB传感器采集的操作者关节基座和预设关节的位置数据;
基于惯性传感器的标定结果,将所述旋转姿态数据转换为预设关节在关节基座坐标系下的姿态信息;
基于所述基座和所述预设关节的位置数据,求取所述预设关节在所述关节基座坐标系下的位置信息;
结合所述姿态信息和所述位置信息,得到所述预设关节在所述关节基座坐标系下的位姿信息。
进一步的,所述预设关节包括腕关节和/或肘关节;
所述关节基座包括肩关节。
第三方面,本申请实施例提供一种遥操作的姿态识别装置,所述装置包括:
旋转获取模块,用于获取通过惯性传感器采集的操作者预设关节的旋转数据;
位置获取模块,用于获取通过UWB传感器采集的操作者关节基座和预设关节的位置数据;
姿态转换模块,用于基于惯性传感器的标定结果,将所述旋转姿态数据转换为预设关节在关节基座坐标系下的姿态信息;
位置求取模块,用于基于所述基座和所述预设关节的位置数据,求取所述预设关节在所述关节基座坐标系下的位置信息;
数据结合模块,用于结合所述姿态信息和所述位置信息,得到所述预设关节在所述关节基座坐标系下的位姿信息。
第四方面,本申请实施例提供一种遥操作系统,所述系统包括:控制器、从端机器人和上面任一项所述的遥操作的数据采集装置;
所述姿态传感器和所述从端机器人分别与所述控制器通信连接;
所述控制器,用于获取通过惯性传感器采集的操作者预设关节的旋转数据;获取通过UWB传感器采集的操作者关节基座和预设关节的位置数据;基于惯性传感器的标定结果,将所述旋转姿态数据转换为预设关节在关节基座坐标系下的姿态信息;基于所述基座和所述预设关节的位置数据,求取所述预设关节在所述关节基座坐标系下的位置信息;结合所述姿态信息和所述位置信息,得到所述预设关节在所述关节基座坐标系下的位姿信息;基于所述位姿态信息生成所述从端机器人的运动指令;
所述从端机器人,用于基于所述运动指令的指示跟踪操作者运动。
第五方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现上面所述的遥操作的姿态识别方法的步骤。
第六方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上面所述的遥操作的姿态识别方法的步骤。
与现有技术相比,本申请实施例主要有以下有益效果:
本申请实施例通过将惯性传感器至少固定于操作者的预设关节,以采集预设关节的旋转数据;再将UWB传感器的标签分别固定于操作者的关节基座和预设关节,以通过UWB传感器分别采集关节基座和预设关节的位置数据;后续将二者采集的数据相结合,可以提高操作者的姿态识别的精度。
附图说明
为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的遥操作系统的一个实施例的结构示意图;
图2是本申请的遥操作的姿态识别方法的一个实施例的流程示意图;
图3是本申请的遥操作方法的一个实施例的流程示意图;
图4 是本申请的遥操作的姿态识别装置的一个实施例的结构示意图;
图5是本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示,图1是本申请的遥操作系统的一个实施例的结构示意图。
本申请实施例提供一种遥操作系统100,该系统包括:数据采集装置110、从端机器人120和控制器130。
数据采集装置110和从端机器人120分别与控制器130通信连接。
需要指出的是,上述通信连接可以是通过有线或者无线的方式通信连接。无线连接方式可以包括但不限于3G/4G/5G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB( ultra wideband )连接、以及其他现在已知或将来开发的无线连接方式。
数据采集装置110包括:惯性传感器111和UWB传感器112。
惯性传感器111可以简称IMU111。
其中,IMU至少固定于预设关节,用于采集操作者的预设关节的旋转数据(U、V、W)。
需要说明的是,上述预设关节可以根据需要设定为操作者的任意关节,比如:腕关节和/或肘关节等等,为方便理解,本申请实施例下面主要以预设关节为腕关节为例进行详细说明。
具体地,惯性传感器111可以直接固定于操作者预设关节,或者通过可穿戴设备固定于操作者预设关节,比如:IMU预先固定于手臂外骨骼,将手臂外骨骼穿戴在操作者的手臂,从而将IMU固定于操作者的手臂。
在一个实施例中,IMU除包括固定于上述预设关节的预设关节传感器外,还可以包括基座传感器,以通过基座传感器采集操作者关节基座的旋转数据。根据关节基座的不同,基座传感器固定在对应不同位置,以关节基座为肩关节为例,则基座传感器可以固定于操作者的上半身主干,比如:操作者后背、胸部或者侧腰,从而考虑操作者上半身主干发生运动情况下,仍可以得到更准确的姿态识别结果。可以理解的是,为了提高肩关节的旋转数据的测量精度,IMU安装在操作者的上半身主干时,需要保证IMU的三个轴与肩关节的三个轴平行。
其中,UWB传感器112是通过使用超宽带(UWB)脉冲信号来实现高精度定位的传感器,能够实时获取空间的任意位置数据,因此通过对IMU姿态数据与UWB定位的位置数据进行数据融合,在遥操作过程中能够实时提供比较稳定且精确的六维姿态数据,从而后续可以得到操作者更高精度的姿态识别结果。
UWB传感器112包括基站B和标签L。
UWB传感器112的标签L分别固定于关节基座和预设关节;基座B固定于标签L的周围。
UWB传感器112,用于采集操作者的关节基座和预设关节的位置数据。
基站基于和标签L之间的通信,从而使得UWB传感器112可以分别测量得到操作者的关节基座的位置数据和预设关节的位置数据。
常见的 UWB 定位技术有 TOA(Time of Arrival)、TDOA (Time Difference ofArrival)与 AOA(Angel of Arrival)。如图1所示,示例性的,基于UWB传感器的TDOA定位技术,可以通过5个基站可以测量得到关节的三维位置信息(X、Y、Z)。UWB的五个基站的位置部署方案可以参考图1中所示。
TDOA定位是通过测量出两个不同基站与标签的传输时延差来进行标签位置定位。比如:UWB的标签对外发送一次UWB信号,在标签无线覆盖范围内的所有基站都会收到无线信号。假设标签的位置与基站 1 和基站 2 的距离差为 R21=R2-R1,则标签的位置必定在以两个基站为焦点,与两个焦点的距离差恒为R21的双曲线上。再通过标签与基站 1、基站3 或基站 2 基站 3 的 TDOA定位,可以得到另一组双曲线,通过多组双曲线交于一点可以确认标签的三维位置信息。
在一个实施例中,基于上面实施例所述,以预设关节为腕关节为例,关节基座可以设定为肩关节,则IMU固定于腕关节;UWB分别固定于腕关节和肩关节。后续基于腕关节的IUM读数,结合IMU的预先标定结果,可以得到腕关节在肩关节坐标系下的位姿;基于设置在腕关节和肩关节的UWB,可以得到腕关节在肩关节坐标系下的位置数据。
在一个实施中,在某些情况下,IMU和UWB需要固定于同一预设关节,为保证测量精度,IMU和UWB的标签需要尽量固定在相同位置,比如:可以用同一个工装将IMU和UWB的标签上下两层固定,从而使得二者尽量指向相同的位置,以提高后续姿态识别的精度。
从端机器人120,用于基于控制器发送的运动指令的指示,跟踪操作者运动,从而模仿操作者完成目标任务。
具体地,从端机器人可以但不限于是:6轴、7轴机械臂;具有双臂的人形从端机器人或具有双臂的人形从端机器人的上半身;从端机器人的手爪。为方便理解,本申请实施例以从端机器人120为7轴机械臂120为例进行详细说明,则下面实施例所述的从端机器人末端,可以是指机械臂的末端关节的输出端,比如:7轴机械臂的第7轴输出端的法兰盘的中心。
控制器130,用于执行本申请实施例所述的遥操作的姿态识别方法;和/或遥操作的控制方法。
本发明实施例提供的遥操作的姿态识别方法和/或遥操作的控制方法可以应用于计算机终端(Personal Computer,PC);工业控制计算机终端(Industrial PersonalComputer, IPC);移动终端;服务器;包括终端和服务器的系统,并通过终端和服务器的交互实现;可编程逻辑控制器(Programmable Logic Controller,PLC);现场可编程门阵列(Field-Programmable Gate Array,FPGA);数字信号处理器(Digital SignalProcesser,DSP)或微控制单元(Microcontroller unit,MCU)等类似的控制器中执行。控制器根据预先固定的程序,结合外部的IMU111和UWB112等采集的数据等生成程序指令。有关控制器的具体限定可以参见下面实施例中遥操作的姿态识别方法和/或遥操作的控制方法的限定。
具体的,可以应用于如图5所示的计算机设备中,该计算机设备可以是终端,也可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其它技术实现。该计算机程序被处理器执行时以实现一种用于遥操作的姿态识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的安检、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等等。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络),以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音响、智能手表等,但并不局限于此。终端以及服务器可以通过有线或者无线通信方式进行直接或间接地连接,本申请在此不做限定。
继续如图1所示,在一个实施例中,遥操作系统还可以包括:从端传感器140。
从端传感器130,用于采集从端机器人120的观测数据。
通过观测数据可以反应从端机器人的工作状况,比如:从端机器人周边的环境或者从端机器人目标任务的完成情况等等。
具体地,从端传感器可以但不限于是:图像传感器、力/力矩传感器(比如:二维或多维压力传感、触觉传感器)、从端机器人的关节位置编码器感器(比如:可以基于编码器得到关节运动量,进而可以求取从端机器人的姿态)和/或电流或电压计(比如:可以基于电流大小得到某个关节的运动速度相关的信息),以及其他任何可采集观测数据的传感器。
在一个实施例中,从端传感器130与从端机器人120存在预设标定关系,这样通过从端传感器采集的观测数据可以与从端机器人相互映射。
示例性的,图像传感器和从端机器人之间可以预先通过眼手标定的方式进行标定;从端机器人的关节位置编码器需要与关节的输出法兰同轴固定;力/力矩从端传感器需要通过弹性梁固定于关节预设位置等等,以实现从端传感器与从端机器人的标定。
继续如图1所示,在一个实施例中,该遥操作系统还包括:演示器140。
演示器140,用于将观测数据或经可演示化处理后的观测数据向操作者进行演示,通过演示器的演示帮助操作者更好地了解从端机器人的工作状况。
具体地,演示器140可以直接与从端传感器130通信连接(如图1所示);除此之外,演示器140也可以通过控制器130与从端传感器通信连接(图未示意出)。
比如:从端传感器采集的观测数据需要通过控制器进行可演示化处理后,向操作者演示(比如:将观测数据转换为虚拟可视化数据后发送给VR演示);或者,当控制器为服务器时,需要将观测数据发送给服务器,再通过服务器发送给演示器,以实现远程观测数据传输。
具体地,上述演示器可以但不限于是:显示屏、AR/VR类似虚拟显示设备、施力组件、声音播放器。
基于上面实施例所述的遥操作系统,本申请实施例提供一种遥操作的姿态识别方法,该方法一般由控制器130执行,相应地,下面实施例所述的用于姿态识别的装置一般设置于控制器130中。
如图2所示,图2是本申请的遥操作的姿态识别方法的一个实施例的流程图。上述遥操作的姿态识别方法,可以包括以下步骤:
步骤210获取通过惯性传感器采集的操作者至少预设关节的旋转数据。
在一个实施例中,控制器按照预设地址从存储器或者服务器获取通过IMU采集并发送的操作者预设关节的旋转数据。
示例性的,基于上面实施例所述,以预设关节为腕关节为例,控制器获取设置于腕关节的IMU输出的旋转数据(U、V、W)。
在一个实施例中,还可以获取通过基座惯性传感器采集的关节基座(比如:肩关节)的旋转数据。示例性的,基于前面实施例中所述,需要将基座惯性传感器固定于操作者的后背、前胸或者侧腰等,尽量使得该传感器的三个轴与肩关节的三个轴保持平行。
步骤220获取通过UWB传感器采集的操作者关节基座的位置数据和预设关节的位置数据。
在一个实施例中,控制器按照预设地址从存储器或者服务器获取通过UWB采集并发送的关节基座的位置数据和预设关节的位置数据。
示例性的,基于上面实施例所述,以预设关节为腕关节,关节基座为肩关节为例,控制器获取肩关节的位置数据(X1、Y1、Z1)和腕关节的位置数据(X2、Y2、Z2)。
步骤230基于惯性传感器的标定结果,将旋转姿态数据转换为预设关节在关节基座坐标系下的姿态信息。
示例性的,基于IMU预先的标定结果,可以得到,其中,“下”代表腕关节;“S”
代表肩关节。即腕关节在肩关节坐标系下的转换关系。
因此,(U、V、W)*,可以得到预设关节在肩关节坐标系下的有关旋转姿态的姿
态信息(U’、V’、W’)。
在一个实施例中,基于前面实施例所述,当旋转数据还包括基座惯性传感器采集
的关节基座的旋转数据时,基于标定结果(即基座IMU在肩关节坐标系下的转换
矩阵),可以转换得到肩关节的旋转数据,后续结合腕关节在肩关节坐标系下的旋转数据,
可以得到腕关节三个轴的实际旋转数据。本申请实施例通过结合上述旋转数据,使得将肩
关节本身运动所产生的旋转数据考虑进来,从而可以提高后续遥操作跟踪的精度。
步骤240基于基座的位置数据和预设关节的位置数据,求取预设关节在关节基座坐标系下的位置信息。
示例性的,基于腕关节的位置数据(X2、Y2、Z2)和肩关节的位置数据(X1、Y1、Z1),经过坐标系转换,可以求取腕关节在肩关节坐标系下的位置信息(X’、Y’、Z’)。
本申请实施例通过结合腕关节的位置数据和肩关节的位置数据,从而考虑肩关节发生运动情况下腕关节的位置信息,有利于提高本方法适用的广泛性。
步骤250结合位置信息和姿态信息,得到腕关节在肩关节坐标系下的位姿信息。
示例性的,通过将上面实施例得到的位置信息 (X’、Y’、Z’)以及姿态信息(U’、V’、W’)相结合,从而可以得到腕关节在肩关节坐标系下的六维位姿信息(X’、Y’、Z’、U’、V’、W’)。
本申请实施例通过将惯性传感器至少固定于操作者的预设关节,以采集预设关节的旋转数据;再将UWB传感器的标签分别固定于操作者的关节基座和预设关节,以通过UWB传感器分别采集关节基座和预设关节的位置数据;后续将二者采集的数据相结合,可以提高操作者的姿态识别的精度。
基于上面实施例所述的遥操作系统,本申请实施例提供一种遥操作的控制方法,该方法一般由控制器130执行,相应地,下面实施例所述的用于遥操作的控制的装置一般设置于控制器130中。
如图3所示,图3是本申请的遥操作的控制方法的一个实施例的流程图;上述遥操作的控制方法,可以包括上面实施例所述的遥操作的姿态识别方法的步骤;除此之外,本申请实施例的遥操作控制方法还可以包括以下步骤:
步骤260基于位姿态信息生成从端机器人的运动指令。
在一个实施例中,步骤260基于位姿态信息生成从端机器人的运动指令还可以包括如下方法步骤:
步骤261将预设关节的位姿信息映射为从端机器人关节的从端机器人关节位姿信息。
在一个实施例中,控制器可以将腕关节在肩关节坐标系下的姿态乘以缩放系数,得到腕关节缩放后的姿态。
腕部的位置乘以一个缩放系数作为机械臂的末端的目标位置,缩放系数是人手臂的工作空间半径和机械臂的工作空间半径之间的比值。
步骤263基于从端机器人关节位姿信息,生成从端机器人的运动指令,以指示从端机器人跟踪操作者运动。
在一个实施例中,控制器对机械臂进行逆运动学求解,获取各关节的关节角度值,从而控制机械臂的运动,最终实现通过人体手臂的运动远程操作或控制机械臂运动的功能。
本申请实施例中,本申请实施例通过分别求取腕关节和肘关节在肩关节坐标系下的姿态,再将腕部和肘部的姿态乘以一个缩放系数作为机械臂的末端的目标位置,充分考虑了机械臂与人体对应关系,从而提高控制精度。
在另一个实施例中,步骤260基于位姿态信息生成从端机器人的运动指令可以包括如下方法步骤:
步骤362将腕关节的位姿信息映射为从端机器人关节的从端机器人末端关节位姿信息。
步骤364基于从端机器人腕关节的位姿信息,生成从端机器人的运动指令,以指示从端机器人跟踪操作者运动。
步骤366将肘部关节的位姿信息映射为从端机器人中间关节的从端机器人中间关节位姿信息。
示例性的,以7轴机械臂为例,肘部关节位置可以对应机械臂的第四关节,本申请实施例以肘关节缩放后的姿态作为机械臂第四关节的姿态。这时,可以将第四关节视为从端机器人末端,然后应用求逆解的方法,求出从端机器人的1-4各个关节的运动量。
步骤368基于从端机器人中间关节的位姿信息,生成从端机器人的运动指令,以指示从端机器人跟踪操作者运动。
本申请实施例除了求取从端机器人末端姿态,还求取从端机器人中间预设关节的姿态,可以对操作者的操作跟随第更加密切;另外,提高遥操作应用范围,比如:用于避障设计。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图4,作为对上述图2所示方法的实现,本申请提供了一种遥操作的姿态识别装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例所述的遥操作的姿态识别装置300包括:旋转获取模块310、位置获取模块320、姿态转换模块330、位置求取模块340以及数据结合模块350。其中:
旋转获取模块310,用于获取通过惯性传感器采集的操作者预设关节的旋转数据;
位置获取模块320,用于获取通过UWB传感器采集的操作者关节基座和预设关节的位置数据;
姿态转换模块330,用于基于惯性传感器的标定结果,将旋转姿态数据转换为预设关节在关节基座坐标系下的姿态信息;
位置求取模块340,用于基于基座和预设关节的位置数据,求取预设关节在关节基座坐标系下的位置信息;
数据结合模块350,用于结合姿态信息和位置信息,得到预设关节在关节基座坐标系下的位姿信息。
本实施例还提供一种遥操作的控制装置包括:上面实施例所述的遥操作的姿态识别装置和指令生成模块;
指令生成模块,用于基于位姿态信息生成从端机器人的运动指令。
在一个实施例中,指令生成模块包括:
第一映射子模块,用于将预设关节的位姿信息映射为从端机器人关节的从端机器人关节位姿信息。
第一生成子模块,用于基于从端机器人关节位姿信息,生成从端机器人的运动指令,以指示从端机器人跟踪操作者运动。
在另一个实施例中,指令生成模块包括:
第二映射子模块,用于将腕关节的位姿信息映射为从端机器人关节的从端机器人末端关节位姿信息。
第二生成子模块,用于基于从端机器人腕关节的位姿信息,生成从端机器人的运动指令,以指示从端机器人跟踪操作者运动。
第三映射子模块,用于将肘部关节的位姿信息映射为从端机器人中间关节的从端机器人中间关节位姿信息。
第三生成子模块,用于基于从端机器人中间关节的位姿信息,生成从端机器人的运动指令,以指示从端机器人跟踪操作者运动。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图5,图5为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过系统总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是,图中仅示出了具有组件61-63的计算机设备6,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器 (Digital Signal Processor,DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器61可以是所述计算机设备6的内部存储单元,例如该计算机设备6的硬盘或内存。在另一些实施例中,所述存储器61也可以是所述计算机设备6的外部存储设备,例如该计算机设备6上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(FlashCard)等。当然,所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中,所述存储器61通常用于存储安装于所述计算机设备6的操作系统和各类应用软件,例如遥操作的姿态识别和/或遥操作的控制方法的程序代码等。此外,所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中,所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据,例如运行遥操作的姿态识别和/或遥操作的控制的程序代码。
所述网络接口63可包括无线网络接口或有线网络接口,该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有遥操作的姿态识别和/或遥操作的控制程序,所述遥操作的姿态识别和/或遥操作的控制程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的遥操作的姿态识别和/或遥操作的控制方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。
Claims (10)
1.一种遥操作的数据采集装置,其特征在于,所述数据采集装置包括:惯性传感器和UWB传感器;所述UWB传感器包括基座和标签;
所述惯性传感器,至少固定于操作者的预设关节,用于采集预设关节的旋转数据;
所述UWB传感器的所述标签,分别固定于关节基座和所述预设关节;所述UWB传感器的所述基座固定于所述标签的周围;
所述UWB传感器,用于分别采集所述关节基座和所述预设关节的位置数据。
2.根据权利要求1所述的遥操作的数据采集装置,其特征在于,所述惯性传感器还包括基座传感器,所述基座传感器用于采集所述关节基座的旋转数据;所述基座传感器的三个轴与所述关节基座的三个轴平行设置。
3.根据权利要求1或2所述的遥操作的数据采集装置,其特征在于,所述预设关节包括腕关节和/或肘关节;
所述关节基座包括肩关节。
4.根据权利要求3所述的遥操作的数据采集装置,其特征在于,当所述关节基座为肩关节;所述基座传感器固定于操作者的上半身主干。
5.一种遥操作的姿态识别方法,其特征在于,所述方法包括:
获取通过惯性传感器采集的操作者预设关节的旋转数据;
获取通过UWB传感器采集的操作者关节基座和预设关节的位置数据;
基于惯性传感器的标定结果,将所述旋转姿态数据转换为预设关节在关节基座坐标系下的姿态信息;
基于所述基座和所述预设关节的位置数据,求取所述预设关节在所述关节基座坐标系下的位置信息;
结合所述姿态信息和所述位置信息,得到所述预设关节在所述关节基座坐标系下的位姿信息。
6.根据权利要求5所述的遥操作的姿态识别方法,其特征在于,所述预设关节包括腕关节和/或肘关节;
所述关节基座包括肩关节。
7.一种遥操作的姿态识别装置,其特征在于,所述装置包括:
旋转获取模块,用于获取通过惯性传感器采集的操作者预设关节的旋转数据;
位置获取模块,用于获取通过UWB传感器采集的操作者关节基座和预设关节的位置数据;
姿态转换模块,用于基于惯性传感器的标定结果,将所述旋转姿态数据转换为预设关节在关节基座坐标系下的姿态信息;
位置求取模块,用于基于所述基座和所述预设关节的位置数据,求取所述预设关节在所述关节基座坐标系下的位置信息;
数据结合模块,用于结合所述姿态信息和所述位置信息,得到所述预设关节在所述关节基座坐标系下的位姿信息。
8.一种遥操作系统,其特征在于,所述系统包括:控制器、从端机器人和权利要求1至4中任一项所述的遥操作的数据采集装置;
所述姿态传感器和所述从端机器人分别与所述控制器通信连接;
所述控制器,用于获取通过惯性传感器采集的操作者预设关节的旋转数据;获取通过UWB传感器采集的操作者关节基座和预设关节的位置数据;基于惯性传感器的标定结果,将所述旋转姿态数据转换为预设关节在关节基座坐标系下的姿态信息;基于所述基座和所述预设关节的位置数据,求取所述预设关节在所述关节基座坐标系下的位置信息;结合所述姿态信息和所述位置信息,得到所述预设关节在所述关节基座坐标系下的位姿信息;基于所述位姿态信息生成所述从端机器人的运动指令;
所述从端机器人,用于基于所述运动指令的指示跟踪操作者运动。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求5或6所述的遥操作的姿态识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求5或6所述的遥操作的姿态识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310673753.8A CN116766268A (zh) | 2023-06-08 | 2023-06-08 | 一种遥操作的数据采集装置、姿态识别方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310673753.8A CN116766268A (zh) | 2023-06-08 | 2023-06-08 | 一种遥操作的数据采集装置、姿态识别方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116766268A true CN116766268A (zh) | 2023-09-19 |
Family
ID=87988826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310673753.8A Pending CN116766268A (zh) | 2023-06-08 | 2023-06-08 | 一种遥操作的数据采集装置、姿态识别方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116766268A (zh) |
-
2023
- 2023-06-08 CN CN202310673753.8A patent/CN116766268A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106445130B (zh) | 一种用于手势识别的动作捕捉手套及其校准方法 | |
EP3707584B1 (en) | Method for tracking hand pose and electronic device thereof | |
Fang et al. | A robotic hand-arm teleoperation system using human arm/hand with a novel data glove | |
US9021712B2 (en) | Autonomous system and method for determining information representative of the movement of an articulated chain | |
JP6927937B2 (ja) | 三次元骨格表現を生成するためのシステム及び方法 | |
CN113119104B (zh) | 机械臂控制方法、机械臂控制装置、计算设备及系统 | |
CN108279773B (zh) | 一种基于marg传感器和磁场定位技术的数据手套 | |
CN115847422A (zh) | 一种用于遥操作的姿态识别方法、装置及系统 | |
CN112711332B (zh) | 一种基于姿态坐标的人体动作捕捉方法 | |
CN115919250A (zh) | 一种人体动态关节角测量系统 | |
CN113084791B (zh) | 机械臂控制方法、机械臂控制装置及终端设备 | |
Scheuermann et al. | Mobile augmented reality based annotation system: A cyber-physical human system | |
Katusin | Glove for Augmented and Virtual Reality | |
CN116766268A (zh) | 一种遥操作的数据采集装置、姿态识别方法、装置及系统 | |
Ji et al. | Motion trajectory of human arms based on the dual quaternion with motion tracker | |
CN116629373A (zh) | 一种模型训练系统、训练方法、装置及存储介质 | |
CN113721189B (zh) | 一种基于uwb和vio融合的多运动节点定位方法及系统 | |
CN110209270A (zh) | 一种数据手套、数据手套系统、校正方法及存储介质 | |
CN206270980U (zh) | 一种用于手势识别的动作捕捉手套 | |
CN116394265B (zh) | 一种姿态传感器标定方法、装置、设备及存储介质 | |
CN116149465A (zh) | 一种用于虚拟现实中进行多人裸手交互的系统及方法 | |
CN107443356B (zh) | 一种可实时显示机器人形态的系统及方法 | |
CN116901059A (zh) | 一种遥操作中的基于姿态传感器的选解方法、装置及系统 | |
Seo et al. | 3D hand motion and position estimation using ultrasonic receiver array and inertial sensors | |
Lobo et al. | Inertouchhand system-ith-demonstration of a glove device with distributed inertial sensors and vibro-tactile feedback |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |