CN113524178A - 一种面向人机融合系统的数据通信方法及其装置 - Google Patents

一种面向人机融合系统的数据通信方法及其装置 Download PDF

Info

Publication number
CN113524178A
CN113524178A CN202110719798.5A CN202110719798A CN113524178A CN 113524178 A CN113524178 A CN 113524178A CN 202110719798 A CN202110719798 A CN 202110719798A CN 113524178 A CN113524178 A CN 113524178A
Authority
CN
China
Prior art keywords
data
robot
control
joint angle
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110719798.5A
Other languages
English (en)
Inventor
金治宇
芦毅
吴浩田
沈秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110719798.5A priority Critical patent/CN113524178A/zh
Publication of CN113524178A publication Critical patent/CN113524178A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种面向人机融合系统的数据通信方法及其装置。该方法包括如下步骤:(1)获取操作者的骨骼点数据和机器人同时刻的关节角度数据;(2)对骨骼点数据进行数据表征与泛化,具体为:先对骨骼点数据进行解算,得到关节角度数据,然后对关节角度数据进行滤波,最后利用步骤(1)得到的机器人同时刻的关节角度数据,使用平衡控制算法进一步修正滤波后的关节角度数据,得到关节控制量;(3)将关节控制量输入给机器人的控制系统。本发明装置包括视觉端、队列结构、数据处理模块、栈结构和控制端。采用本发明的方法和装置对人机融合系统进行优化,可以使得系统性能显著提高,人机融合的稳定性和连续性明显得到改善。

Description

一种面向人机融合系统的数据通信方法及其装置
技术领域
本发明涉及机器人控制技术领域,具体涉及一种面向人机融合系统的数据通信方法及其装置。
背景技术
近年来,随着计算机、互联网和通信技术的发展,人工智能的发展迎来第三次浪潮,取得了大量成果,改变了人们的生活方式。但是,以深度学习模型为代表,目前人工智能领域的研究重点集中于软件算法部分,主要应用方式为数据处理,而在硬件上和人类的交互程度还不够高。针对这一现实,有学者提出:人工智能要推进深入的人机交互和协同,实现“人机融合”这一崭新的智能形式。另一方面,在当下的制造业、医疗、娱乐、军事等许多应用场景中,受限于人机交互水平,使用者往往需要花费大量时间进行操作学习,以适应机器人平台复杂的底层控制,这带来许多不便。因此,人机融合不仅是一个新概念,也是目前产业界的实际需求。
目前,已有研究人员从“人机交互”、“动作模仿”等角度出发,为人机融合系统做了大量探索性的工作。北京工业大学的于建均教授等人利用Kinect体感相机与Nao机器人搭建了动作模仿系统,借助高斯混合模型(GMM)与高斯混合回归(GMR)进行数据处理,得到良好的模仿效果(《基于Kinect的Nao机器人动作模仿系统的研究与实现》[J].智能系统学报,2016,11(02):180-187.)。然而,在实际应用中,随着人机融合系统愈发复杂,系统内部数据传输的不稳定性暴露出来,如出现数据传输阻塞或空缺的问题,影响了最终机器人的控制效果。
发明内容
针对以上现有技术中存在的缺陷,本发明的目的在于提供一种面向人机融合系统的数据通信方法及其装置,以增加人机融合系统的稳定性和鲁棒性。
为达上述目的,本发明采用的技术方案如下:
一种面向人机融合系统的数据通信方法,包括如下步骤:
(1)获取操作者的骨骼点数据和机器人同时刻的关节角度数据;
(2)对所述操作者的骨骼点数据进行数据表征与泛化,具体为:先对骨骼点数据进行解算,得到关节角度数据,然后对关节角度数据进行滤波,最后利用步骤(1)得到的机器人同时刻的关节角度数据,使用平衡控制算法进一步修正滤波后的关节角度数据,得到关节控制量;
(3)将步骤(2)得到的关节控制量输入给机器人的控制系统。
进一步地,步骤(1)中,使用Kinect设备获取操作者的骨骼点数据。
本发明一种面向人机融合系统的数据通信装置,其特征在于,包括视觉端、队列结构、数据处理模块、栈结构和控制端,所述视觉端,用于采集人体深度图像,并进行骨骼点追踪,得到人体运动数据;所述数据处理模块,用于根据从视觉端获得的人体运动数据解算得到机器人各关节的角度值,并对解算结果进行滤波,然后根据从控制端获得的机器人当前状态信息,利用平衡控制算法进一步修正滤波后的数据,最终输出控制数据给控制端;所述队列结构,连接在视觉端和数据处理模块之间,用于缓冲数据;所述栈结构,连接在数据处理模块和控制端之间,用于存储数据;所述控制端,用于控制机器人的运动。
进一步地,所述数据处理模块设置循环定时器,到达每个周期时间后,必须将数据交付给栈结构;若数据尚未被处理完,进程将被中断,数据处理模块重新接收新的输入处理。
进一步地,当所述栈结构内的存储数据处于溢出的状态时,从栈底删除元素,从而保证在栈顶的是新入栈的元素;当所述栈结构内的存储数据小于阈值时,采用预测算法估计数据并补充进栈结构中。
本发明针对人机融合系统数据传输的特点,基于队列和栈结构实现了应用层的数据通信,能有效解决系统受干扰导致的数据阻塞或空缺,增强系统的鲁棒性,提高人机融合的效果。采用本发明的方法和装置对人机融合系统进行优化,可以使得系统性能显著提高,人机融合的稳定性和连续性明显得到改善。
附图说明
图1为本发明方法的流程图。
图2为本发明装置的结构示意图。
图3为队列结构的功能示意图。
图4为数据处理模块的通道以及定时器的功能示意图。
图5使用向量法由骨骼点坐标解算关节角度值的示意图。
图6为机器人双脚站立时,使用平衡控制算法计算合适的下半身关节角数值的示意图。
图7为栈结构的功能示意图。
具体实施方式
下面将结合附图及具体实施例对本发明进行详细描述。
本实施例提供一种面向人机融合系统的数据通信方法,如图1所示,该方法的步骤包括:
S1,获取操作者的骨骼点数据和机器人同时刻的关节角度数据;
S2,对操作者的骨骼点数据进行数据表征与泛化,具体为:先对骨骼点数据进行解算,得到关节角度数据,然后对关节角度数据进行滤波,最后利用S1得到的机器人同时刻的关节角度数据,使用平衡控制算法进一步修正滤波后的关节角度数据,得到关节控制量;
S3,将S2得到的关节控制量输入给机器人的控制系统。
其中,S2中数据表征与泛化的具体过程为:
(1)使用向量法,将操作者的骨骼点坐标连接为向量,再计算向量夹角,从而将骨骼点坐标解算为关节角度值。
如图5所示,由Shoulder和Elbow骨骼点计算ShoulderPitch角。计算公式为:
当zE≤zS时,
Figure BDA0003136096530000031
当zE>zS时,
Figure BDA0003136096530000032
其中,xS,zS为机器人Shoulder骨骼点在x轴和z轴上的坐标值。xE,zE为机器人Elbow骨骼点在x轴和z轴上的坐标值。
其余关节角的计算方法与上面的类似。
(2)对得到的关节角度进行限幅滤波。本实施例限幅滤波的方法为:
根据经验判断,确定前后两次采样允许的最大偏差值(设为A),每次采样时判断:如果本次值与上次值之差≤A,则本次值有效;如果本次值与上次值之差>A,则本次值无效,放弃本次值,用上次值代替本次值。
(3)对滤波后的关节角度数据,结合S1获取的与人体动作数据同步的机器人关节角数据,执行平衡控制算法,修正部分关节角的值(本实施例主要为下半身),如图6所示,具体地:
1)计算机器人当前重心位置
以机器人双足底部投影的中轴点为原点建立坐标系。在Nao机器人中,借助传感器可以实时读取每个躯干(Links)的重心坐标,第i个部分的躯干质量为mi,该部分重心坐标为(xi,yi,zi),则机器人整体的重心坐标
Figure BDA0003136096530000041
2)根据1)中所得的重心位置,结合阈值yleft和yright,判断机器人的站立情况。yleft和yright是固定值,是实践中得到的阈值。
设坐标系下重心坐标(xrobot,yrobot,zrobot)。设定yrobot的上下限yleft和yright
若yrobot>yleft,判定为左腿站立;
若yrobot<yright,判定为右腿站立;
若yright≤yrobot≤yleft,判定为双腿站立。
3)根据站立方式的不同,采用不同的计算方法,得到出能够维持机器人平衡的下半身关节角数据。
双腿站立时:
Figure BDA0003136096530000042
Figure BDA0003136096530000043
lHA 2=lHK 2+lKA 2-2lHK·lKAcosθ
lCH 2=(lTH+ztorso)2+xtorso 2
其中各个变量是机器人已知的,或者根据几何关系可以计算得到的。具体地,lKA为小腿部件长度,lHK为大腿部件长度,hfoot为足高,lTh为机器人Hip与tensor关节点间的垂直距离。zrobot和xtorso是由传感器读取的坐标值,θ角即为传输至机器人的KneePitch值。lHA和lCH为定义的中间变量,按上述公式进行计算。
单腿站立时的计算方法与上面的类似。
4)根据3)中得到的合适的下半身关节角数据,对滤波后的关节角数据作出修正,得到能够维持机器人平衡的关节控制量。
图2给出了本实施例装置的结构示意图。该数据通信装置包括视觉端、数据处理模块、控制端、队列结构和栈结构。其中,队列结构连接视觉端和数据处理模块,栈结构连接数据处理模块和控制端。
本实施例装置中,由动作捕捉设备获取人体骨骼点数据,并由传感器读取机器人当前状态信息。具体操作为:
S1.1使用Kinect V2作为视觉端的动作捕捉设备。基于Kinect SDK对人体20个关键骨骼点进行追踪,输出数据为相机坐标系下骨骼点的空间坐标值。设置采样频率为120Hz。
S1.2使用Nao机器人作为控制端的机器人平台。借助Nao机器人自身传感器读取机器人全身20个重要关节的角度值。设置采样频率为120Hz,并保证数据在时间上与S1.1同步采集。
S1.3将视觉端和控制端采集到的同步数据封装为一个数据报,发送给数据处理模块。
图3给出了本发明实施例中队列结构的示意图。具体操作为:
S2.1基于Linux操作系统下的ROS平台建立队列结构的通信通道。
S2.2初始化队列参数和动作。
参数:一般将队列容量设置为120。
动作:检测溢出。当队列发生溢出时,从队列内部随机删除掉一个数据。该动作在每次数据入队时执行。
S2.3保证队列结构的入队频率大于出队频率的k倍(出队有k个并行通道),以维护数据处理模块的输入频率稳定。入队频率设置为120Hz,将出队频率为10Hz(k取10,有10个并行通道)。
作为本发明的一个实施例,数据处理模块的结构如图4所示。基于Linux操作系统下ROS平台的“话题”通信机制构建数据处理模块。结构:共包含k个并行处理的通道,一般取k=10,每个通道按顺序执行相同的数据处理算法,具体包含S3.2,S3.3,S3.4。参数:设置每个通道读取数据的频率为10Hz,总数据频率为100Hz。还设置有定时器,以维护数据处理模块的输出时延稳定:定时器周期为t,一般取t=100ms。每当抵达定时器周期时,将所有已被处理完成的数据交付,而将未处理完成的通道进程提前结束。将所有有效的数据按时间排序,并作为一帧,准备发送给控制端。然后数据处理模块重新读取数据,执行相同操作。
如图7所示,本发明实施例中栈结构的示意图,具体操作为:
S3.1基于Linux操作系统下的ROS平台建立栈结构和相关动作线程。
S3.2初始化栈参数和动作线程。
S3.2.1参数初始化
(1)容量:设置为60。
(2)频率:设置每个通道的入栈频率为10Hz,通道数为10。设置出栈频率为50Hz。如S3.1所述,数据处理通道无法保证确定交付,因此入栈总频率低于100Hz。
S3.2.2动作
(1)检测溢出
在每次数据入栈时执行。假如发生溢出,从栈底部删除数据。
(2)检测缓存数据量
以固定频率50Hz执行。假如缓存数据量低于阈值d,根据目前栈中缓存数据,执行数据预测算法补充d个数据。一般设置d=50。
其中,数据预测算法具体为:
设目前缓存数据量为N,N<d。
将数据按时序排列,则动作信息序列为:
Motion<body_angie>=[ε12,……,εN]
其中,εi表示第i个数据。
若使用GMM(高斯混合模型)对其建模,每一个数据点满足全概率公式:
Figure BDA0003136096530000071
p(k)=πk
p(εj|k)=N(εj;μk;σk)
其中,K为高斯混合模型中高斯分布的个数。高斯混合模型需要确定的参数为{πkkk},分别表示第k个高斯分布的先验概率,期望和方差。
利用已知的N个数据,采用EM(极大似然)算法估计GMM的参数,从而得到人体运动数据的连续数学模型。根据模型函数平均采样d个数据点,将新的d个数据点入栈。
控制端实现机器人控制的具体操作为:
S4.1使用Nao机器人作为机器人平台,并使用Naoqi平台提供的运动控制API实现对关节电机的底层控制;
S4.2控制端以50Hz的稳定频率从栈中读取关节控制量,输入给电机进行控制。

Claims (5)

1.一种面向人机融合系统的数据通信方法,其特征在于,包括如下步骤:
(1)获取操作者的骨骼点数据和机器人同时刻的关节角度数据;
(2)对所述操作者的骨骼点数据进行数据表征与泛化,具体为:先对骨骼点数据进行解算,得到关节角度数据,然后对关节角度数据进行滤波,最后利用步骤(1)得到的机器人同时刻的关节角度数据,使用平衡控制算法进一步修正滤波后的关节角度数据,得到关节控制量;
(3)将步骤(2)得到的关节控制量输入给机器人的控制系统。
2.根据权利要求1所述的一种面向人机融合系统的数据通信方法,其特征在于,步骤(1)中,使用Kinect设备获取操作者的骨骼点数据。
3.一种面向人机融合系统的数据通信装置,其特征在于,包括视觉端、队列结构、数据处理模块、栈结构和控制端,
所述视觉端,用于采集人体深度图像,并进行骨骼点追踪,得到人体运动数据;
所述数据处理模块,用于根据从视觉端获得的人体运动数据解算得到机器人各关节的角度值,并对解算结果进行滤波,然后根据从控制端获得的机器人当前状态信息,利用平衡控制算法进一步修正滤波后的数据,最终输出控制数据给控制端;
所述队列结构,连接在视觉端和数据处理模块之间,用于缓冲数据;
所述栈结构,连接在数据处理模块和控制端之间,用于存储数据;
所述控制端,用于控制机器人的运动。
4.根据权利要求3所述的一种面向人机融合系统的数据通信装置,其特征在于,所述数据处理模块设置循环定时器,到达每个周期时间后,必须将数据交付给栈结构;若数据尚未被处理完,进程将被中断,数据处理模块重新接收新的输入处理。
5.根据权利要求3所述的一种面向人机融合系统的数据通信装置,其特征在于,当所述栈结构内的存储数据处于溢出的状态时,从栈底删除元素,从而保证在栈顶的是新入栈的元素;当所述栈结构内的存储数据小于阈值时,采用预测算法估计数据并补充进栈结构中。
CN202110719798.5A 2021-06-28 2021-06-28 一种面向人机融合系统的数据通信方法及其装置 Pending CN113524178A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110719798.5A CN113524178A (zh) 2021-06-28 2021-06-28 一种面向人机融合系统的数据通信方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110719798.5A CN113524178A (zh) 2021-06-28 2021-06-28 一种面向人机融合系统的数据通信方法及其装置

Publications (1)

Publication Number Publication Date
CN113524178A true CN113524178A (zh) 2021-10-22

Family

ID=78097026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110719798.5A Pending CN113524178A (zh) 2021-06-28 2021-06-28 一种面向人机融合系统的数据通信方法及其装置

Country Status (1)

Country Link
CN (1) CN113524178A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04107704A (ja) * 1990-08-29 1992-04-09 Hitachi Ltd プログラマブルコントローラ
CN1177877A (zh) * 1996-04-26 1998-04-01 德克萨斯仪器股份有限公司 将通道数分配给收到的数据包的方法和系统
CN103399637A (zh) * 2013-07-31 2013-11-20 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN106462510A (zh) * 2014-03-06 2017-02-22 伊姆西公司 具有独立直接接入大量固态存储资源的多处理器系统
CN107598897A (zh) * 2017-10-19 2018-01-19 北京工业大学 一种基于人体示教的仿人机器人步态规划的方法
CN107851020A (zh) * 2015-08-26 2018-03-27 华为技术有限公司 用于指令存储器效率的设备和处理架构
CN107932510A (zh) * 2017-11-28 2018-04-20 中国人民解放军陆军工程大学 基于动作采集的nao机器人系统
CN109968355A (zh) * 2019-03-08 2019-07-05 北京工业大学 一种仿人机器人步态平衡模型建立的方法
CN111984188A (zh) * 2020-06-30 2020-11-24 重庆大学 混合内存数据的管理方法、装置及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04107704A (ja) * 1990-08-29 1992-04-09 Hitachi Ltd プログラマブルコントローラ
CN1177877A (zh) * 1996-04-26 1998-04-01 德克萨斯仪器股份有限公司 将通道数分配给收到的数据包的方法和系统
CN103399637A (zh) * 2013-07-31 2013-11-20 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN106462510A (zh) * 2014-03-06 2017-02-22 伊姆西公司 具有独立直接接入大量固态存储资源的多处理器系统
CN107851020A (zh) * 2015-08-26 2018-03-27 华为技术有限公司 用于指令存储器效率的设备和处理架构
CN107598897A (zh) * 2017-10-19 2018-01-19 北京工业大学 一种基于人体示教的仿人机器人步态规划的方法
CN107932510A (zh) * 2017-11-28 2018-04-20 中国人民解放军陆军工程大学 基于动作采集的nao机器人系统
CN109968355A (zh) * 2019-03-08 2019-07-05 北京工业大学 一种仿人机器人步态平衡模型建立的方法
CN111984188A (zh) * 2020-06-30 2020-11-24 重庆大学 混合内存数据的管理方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN110570455B (zh) 一种面向房间vr的全身三维姿态跟踪方法
CN111738220B (zh) 三维人体姿态估计方法、装置、设备及介质
CN112131985B (zh) 一种基于OpenPose改进的实时轻量人体姿态估计方法
CN111460875A (zh) 图像处理方法及装置、图像设备及存储介质
CN109117893A (zh) 一种基于人体姿态的动作识别方法及装置
KR20220025023A (ko) 애니메이션 처리 방법 및 장치, 컴퓨터 저장 매체 그리고 전자 디바이스
CN104524742A (zh) 一种基于Kinect传感器的脑瘫儿童康复训练方法
CN110188700B (zh) 基于分组回归模型的人体三维关节点预测方法
CN108875586B (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
Yang et al. A study of the human-robot synchronous control system based on skeletal tracking technology
CN110807380B (zh) 一种人体关键点检测方法及装置
Zhang et al. Directional PointNet: 3D environmental classification for wearable robotics
CN103839280B (zh) 一种基于视觉信息的人体姿态跟踪方法
Zhang et al. Human deep squat detection method based on MediaPipe combined with Yolov5 network
Wei et al. Learning to infer semantic parameters for 3D shape editing
US20230401740A1 (en) Data processing method and apparatus, and device and medium
CN113524178A (zh) 一种面向人机融合系统的数据通信方法及其装置
CN109407826A (zh) 球类运动模拟方法、装置、存储介质及电子设备
US20230290101A1 (en) Data processing method and apparatus, electronic device, and computer-readable storage medium
CN111243705B (zh) 一种自适应vr镜像训练系统
CN115205737B (zh) 基于Transformer模型的运动实时计数方法和系统
CN115100745B (zh) 基于Swin Transformer模型的运动实时计数方法和系统
CN107272593A (zh) 一种基于Kinect的机器人体感编程方法
CN115205750B (zh) 基于深度学习模型的运动实时计数方法和系统
CN113673494B (zh) 人体姿态标准运动行为匹配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211022

RJ01 Rejection of invention patent application after publication