CN111531537A - 基于多传感器的机械臂控制方法 - Google Patents

Abstract

本发明涉及基于多传感器的机械臂控制方法，首先通过肌电电极以及Kinect传感器采集肌电信号和人体图像；再分别提取肌电信号和人体图像的特征；然后通过BP神经网络对采集的信号进行手势识别和手臂动作识别；最后将识别的动作应用于机器人手臂控制。本发明提供基于多传感器的机械臂控制方法，解决机械臂控制问题。

Description

基于多传感器的机械臂控制方法

技术领域

本发明涉及机械臂控制领域，特别涉及基于多传感器的机械臂控制方法。

背景技术

智能人机交互是以人体生物电信号检测为基础、以人工智能、深度学习为特色，实现机器主动理解人的行为意图的高端人机交互技术，代表了人机交互的最新热点与潮流。近年来肌电信号的人机交互技术在生物医学、康复轮椅、航空航天、步态识别、人体外骨骼等领域取得了很大的应用成果。

然而，基于肌电信号的人机交互技术很多都是应用于手势识别，而没有对手臂动作进行应用。Kinect传感器可以检测人体运动图像，因此可以利用肌电信号对机器人手势进行控制，利用人体图像信息对机器人手臂进行控制，实现更加精确的机器臂控制方法。

针对以上问题，提出一种基于脑肌电信号和Kinect传感器信号的机械臂控制系统；首先对手臂肌电信号和左右手运动信号进行同步采集，然后分别进行特征提取和分类识别；并最终将分类模型应用于机械臂的多指令实时控制中。

发明内容

为了解决上述存在问题。本发明提供基于多传感器的机械臂控制方法，解决机械臂控制问题。为达此目的：

本发明提供基于多传感器的机械臂控制方法，具体步骤如下：

步骤1：将肌电电极环贴在人体的手臂处采集人体的肌电信号，并通过三维Kinect摄像头捕捉人体运动数据；

步骤2：利用STA/LTA算法截取肌电信号，并提取肌电信号的特征；

步骤3：使用Kinect for Windows SDK中骨骼追踪技术分离出人体数据中的人体轮廓，得到人体骨骼数据，并通过人体骨骼数据计算各个关节的肢体向量特征和肢体加速度特征；

步骤4：将已知的肌电信号和图像信号分别制作人工标签，肌电信号的类别对应人体手势类别，图像信号的类别对应人体关节运动类别，分别训练BP神经网络人体手势分类器、BP神经网络人体手臂动作分类器；

步骤5：采集被测者的肌电信号和人体图像，并通过步骤3提取相应的特征，将特征输入到BP神经网络分类器中，分别得到人体手势的分类和人体手臂动作的分类；

步骤6：使用BP神经网络分类器输出的人体手势类别和人体手臂动作类别控制机器人手臂动作。

作为本发明进一步改进，所述步骤2中STA/LTA算法如下：

首先确定长时窗口长度为采集的整个肌电信号长度、短时窗口的长度为一个动作的肌电信号长度的1.5倍和阈值；然后分别计算长时窗口和短时窗口的平均值；最后通过比较阈值和长短时窗口的比值，来判断是否存在手臂动作，若比值大于阈值则该段肌电信号存在手臂动作的情况，STA/TLA算法公式如下：

其中x_j和x_k分别为信号在j，k点的信号电压幅值，m和n分别为短时窗口、长时窗口的采样点数，R(i)为短时窗口平均值和长时窗口平均值的比值；当算法判断到该段肌电信号存在手臂动作的情况时，将会截取一个周期的肌电信号。

作为本发明进一步改进，所述步骤2中提取肌电信号的特征如下：

设截取的肌电信号为x(n)n＝0,2,...,N-1，N为信号的长度，提取的信号有：

短时能量：

波形长度：

作为本发明进一步改进，所述步骤3中人体骨骼关节数据信息如下：

使用Kinect for Windows SDK中的骨骼追踪技术，对人体运动信息进行采集，最终获得人体20个骨骼关节点三维数据信息，并将每个关节用A-T的编号进行表示，并通过式4计算人体骨骼的关节角：

其中，θ是每帧骨骼数据t时刻关节角的大小，U(t)和V(t)分别是t时刻的两个关节向量，通过式1最终可得17个人体关节角信息。

作为本发明进一步改进，所述步骤3中计算各个关节的肢体向量特征和肢体加速度特征方案如下：

根据人体结构学，人体可分为五大部分，Kinect for Windows SDK中的骨骼追踪技术可获得以上各个关节点数据信息，包括：

头部T(t)、颈部C(t)、脊柱D(t)和臀部G(t)；左手L(t)、左腕J(t)、左肘H(t)和右肩A(t)；右手M(t)、右腕K(t)、右肘I(t)和右肩B(t)；左脚R(t)、左踝P(t)、左膝N(t)和左臀E(t)；右脚S(t)、右踝Q(t)、右膝O(t)和右臀F(t)；

可通过下式来求解五大人体的关节向量特征：

由于每个骨骼结点对人体动作表达贡献度的不同，将会从每部分中选取两个主动作关节角，利用式6计算人体肢节的角速度特征：

ω(t)＝θ(t+1)-θ(t) (6)

θ(t)是t帧关节角的大小，其中躯干部分的角速度特征计算选取角θ₄和θ₉，左臂部分选取θ₃和θ₂，右臂部分选取θ₆和θ₇，左腿部分选取θ₁₂和θ₁₃，右腿部分选取θ₁₅和θ₁₆；人体各部分的角速度特征代表了人体四肢和躯干整体的运动情况；

人体四肢和躯干的弯曲可通过关节点之间距离的变化来体现，即关节点的加速度特征可刻画人体四肢和躯干的弯曲程度：

v(t)＝d(t+1)-d(t) (7)

其中v(t)是t帧的速度特征，d(t)是人体五个部分的首末关节点的欧式距离。

作为本发明进一步改进，所述步骤4中训练BP神经网络分类器如下：

BP神经网络训练步骤主要有两步：首先正向传播，训练样本经过网络的传递，得到输出值；然后误差反向传播，计算正向传播得到输出值的误差，根据误差再反馈到输入层，同时更新网络中的权值与阈值；建模时，这两步一直循环，直到满足终止条件；

将所提的肌电信号特征和人体图像特征组成样本矩阵，分别输入到神经网络的输入层中，x_i,i＝(0,1,...,n-1)是输入层第i个神经元输入；b_j,j＝(0,1,...,l-1)是隐含层第j个神经元的输出；y_k,k＝(0,1,...,m-1)是输出层第k个神经元的输出；其中，n、l、m分别代表BP神经网络输入层、隐含层和输出层神经元的节点个数，v_ij和w_jk分别表示输入层第i个神经元节点到隐含层第j个节点权值和隐含层第j个神经元节点到输出层第k个节点权值，可得：

其中η为常数，是BP神经网络的学习率，通常取0<η<1；通过式8和式9可算出误差反向传播后隐含层和输出层的权值调整公式:

同理可得隐含层和输出层的阈值调整公式：

权值和阈值通过公式计算更新后进入新一轮的正向传播过程，满足条件后得到训练完成的BP神经网络分类器。

作为本发明进一步改进，所述步骤5中人体手势的分类和人体手臂动作的分类如下：

手势的类别包括：手腕伸、手腕屈、握拳、手张开、手指动作、休息；

人体手臂动作类别包括：肘部转动20°、肘部转动40°、肘部转动60°、肘部转动80°、肘部转动100°、肩部转动10°、肩部转动20°、肩部转动30°、肩部转动40°、肩部转动50°。

作为本发明进一步改进，所述步骤6中控制机器人手臂动作如下：

再通过BP神经网络对手势和手臂分类完之后，将机器人手臂转动信息发送至下位机控制平台，从而控制机器人手臂动作，直到达到预期位置停止。

本发明基于多传感器的机械臂控制方法，有益效果在于：

1.本发明采集了肌电信号和人体图像，采集的数据包含更多的人体运动细节信息；

2.本发明对肌电信号和人体图像分别做了手势识别和手臂动作识别，提高了模型的识别率；

3.本发明为机器人手臂控制提供了一种重要技术手段。

附图说明

图1是整体算法原理流程图；

图2是人体骨骼关节点编号图；

图3是人体骨骼17个关节角信息图；

图4是BP神经网络拓扑结构图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供基于多传感器的机械臂控制方法，本发明的整体算法原理流程如图1所示，步骤如下所示：

步骤1：搭建锂电池实验平台，该平台可以实时测量锂电池工作数据，包括：电池充放电的电压、电流、阻抗和环境温度等实验数据，可对锂电池进行循环充放电实验；

具体过程是将肌电电极环贴在人体的手臂处采集人体的肌电信号，并通过三维Kinect摄像头捕捉人体运动数据；

步骤2：利用STA/LTA算法截取肌电信号，并提取肌电信号的特征；

其中STA/LTA算法具体描述如下：

首先确定长时窗口长度为采集的整个肌电信号长度、短时窗口的长度为一个动作的肌电信号长度的1.5倍和阈值；然后分别计算长时窗口和短时窗口的平均值；最后通过比较阈值和长短时窗口的比值，来判断是否存在手臂动作，若比值大于阈值则该段肌电信号存在手臂动作的情况，STA/TLA算法公式如下：

其中x_j和x_k分别为信号在j，k点的信号电压幅值，m和n分别为短时窗口、长时窗口的采样点数，R(i)为短时窗口平均值和长时窗口平均值的比值；当算法判断到该段肌电信号存在手臂动作的情况时，将会截取一个周期的肌电信号。

其中提取肌电信号的特征具体描述如下：

设截取的肌电信号为x(n)n＝0,2,...,N-1，N为信号的长度，提取的信号有：

短时能量：

波形长度：

步骤3：使用Kinect for Windows SDK中骨骼追踪技术分离出人体数据中的人体轮廓，得到人体骨骼数据，并通过人体骨骼数据计算各个关节的肢体向量特征和肢体加速度特征；

其中人体骨骼关节数据信息具体描述如下：

使用Kinect for Windows SDK中的骨骼追踪技术，对人体运动信息进行采集，最终获得人体20个骨骼关节点三维数据信息，并将每个关节用A-T的编号进行表示，人体骨骼关节点编号如图2所示，并通过式4计算人体骨骼的关节角：

其中，θ是每帧骨骼数据t时刻关节角的大小，U(t)和V(t)分别是t时刻的两个关节向量，通过式1最终可得17个人体关节角信息，如图3所示。

其中计算各个关节的肢体向量特征和肢体加速度特征具体描述如下：

根据人体结构学，人体可分为五大部分，Kinect for Windows SDK中的骨骼追踪技术可获得以上各个关节点数据信息，包括：

头部T(t)、颈部C(t)、脊柱D(t)和臀部G(t)；左手L(t)、左腕J(t)、左肘H(t)和右肩A(t)；右手M(t)、右腕K(t)、右肘I(t)和右肩B(t)；左脚R(t)、左踝P(t)、左膝N(t)和左臀E(t)；右脚S(t)、右踝Q(t)、右膝O(t)和右臀F(t)；

可通过下式来求解五大人体的关节向量特征：

由于每个骨骼结点对人体动作表达贡献度的不同，将会从每部分中选取两个主动作关节角，利用式6计算人体肢节的角速度特征：

ω(t)＝θ(t+1)-θ(t) (6)

θ(t)是t帧关节角的大小，其中躯干部分的角速度特征计算选取角θ₄和θ₉，左臂部分选取θ₃和θ₂，右臂部分选取θ₆和θ₇，左腿部分选取θ₁₂和θ₁₃，右腿部分选取θ₁₅和θ₁₆；人体各部分的角速度特征代表了人体四肢和躯干整体的运动情况；

人体四肢和躯干的弯曲可通过关节点之间距离的变化来体现，即关节点的加速度特征可刻画人体四肢和躯干的弯曲程度：

v(t)＝d(t+1)-d(t) (7)

其中v(t)是t帧的速度特征，d(t)是人体五个部分的首末关节点的欧式距离。

步骤4：将已知的肌电信号和图像信号分别制作人工标签，肌电信号的类别对应人体手势类别，图像信号的类别对应人体关节运动类别，分别训练BP神经网络人体手势分类器、BP神经网络人体手臂动作分类器；

其中训练BP神经网络分类器具体描述如下：

BP神经网络训练步骤主要有两步：首先正向传播，训练样本经过网络的传递，得到输出值；然后误差反向传播，计算正向传播得到输出值的误差，根据误差再反馈到输入层，同时更新网络中的权值与阈值；建模时，这两步一直循环，直到满足终止条件，BP神经网络拓扑结构图如图4所示；

将所提的肌电信号特征和人体图像特征组成样本矩阵，分别输入到神经网络的输入层中，x_i,i＝(0,1,...,n-1)是输入层第i个神经元输入；b_j,j＝(0,1,...,l-1)是隐含层第j个神经元的输出；y_k,k＝(0,1,...,m-1)是输出层第k个神经元的输出；其中，n、l、m分别代表BP神经网络输入层、隐含层和输出层神经元的节点个数，v_ij和w_jk分别表示输入层第i个神经元节点到隐含层第j个节点权值和隐含层第j个神经元节点到输出层第k个节点权值，可得：

其中η为常数，是BP神经网络的学习率，通常取0<η<1；通过式8和式9可算出误差反向传播后隐含层和输出层的权值调整公式:

同理可得隐含层和输出层的阈值调整公式：

权值和阈值通过公式计算更新后进入新一轮的正向传播过程，满足条件后得到训练完成的BP神经网络分类器。

步骤5：采集被测者的肌电信号和人体图像，并通过步骤3提取相应的特征，将特征输入到BP神经网络分类器中，分别得到人体手势的分类和人体手臂动作的分类；

其中人体手势的分类和人体手臂动作的分类具体描述如下：

手势的类别包括：手腕伸、手腕屈、握拳、手张开、手指动作、休息；

人体手臂动作类别包括：肘部转动20°、肘部转动40°、肘部转动60°、肘部转动80°、肘部转动100°、肩部转动10°、肩部转动20°、肩部转动30°、肩部转动40°、肩部转动50°。

步骤6：使用BP神经网络分类器输出的人体手势类别和人体手臂动作类别控制机器人手臂动作；

其中控制机器人手臂动作具体描述如下：

再通过BP神经网络对手势和手臂分类完之后，将机器人手臂转动信息发送至下位机控制平台，从而控制机器人手臂动作，直到达到预期位置停止。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (8)

1.基于多传感器的机械臂控制方法，具体步骤如下，其特征在于,

步骤1：将肌电电极环贴在人体的手臂处采集人体的肌电信号，并通过三维Kinect摄像头捕捉人体运动数据；

步骤2：利用STA/LTA算法截取肌电信号，并提取肌电信号的特征；

步骤3：使用Kinect for Windows SDK中骨骼追踪技术分离出人体数据中的人体轮廓，得到人体骨骼数据，并通过人体骨骼数据计算各个关节的肢体向量特征和肢体加速度特征；

步骤4：将已知的肌电信号和图像信号分别制作人工标签，肌电信号的类别对应人体手势类别，图像信号的类别对应人体关节运动类别，分别训练BP神经网络人体手势分类器、BP神经网络人体手臂动作分类器；

步骤5：采集被测者的肌电信号和人体图像，并通过步骤3提取相应的特征，将特征输入到BP神经网络分类器中，分别得到人体手势的分类和人体手臂动作的分类；

步骤6：使用BP神经网络分类器输出的人体手势类别和人体手臂动作类别控制机器人手臂动作。

2.根据权利要求1基于多传感器的机械臂控制方法，其特征在于：步骤2中STA/LTA算法如下：

首先确定长时窗口长度为采集的整个肌电信号长度、短时窗口的长度为一个动作的肌电信号长度的1.5倍和阈值；然后分别计算长时窗口和短时窗口的平均值；最后通过比较阈值和长短时窗口的比值，来判断是否存在手臂动作，若比值大于阈值则该段肌电信号存在手臂动作的情况，STA/TLA算法公式如下：

其中x_j和x_k分别为信号在j，k点的信号电压幅值，m和n分别为短时窗口、长时窗口的采样点数，R(i)为短时窗口平均值和长时窗口平均值的比值；当算法判断到该段肌电信号存在手臂动作的情况时，将会截取一个周期的肌电信号。

3.根据权利要求1基于多传感器的机械臂控制方法，其特征在于：步骤2中提取肌电信号的特征如下：

设截取的肌电信号为x(n)n＝0,2,...,N-1，N为信号的长度，提取的信号有：

短时能量：

波形长度：

。

4.根据权利要求1基于多传感器的机械臂控制方法，其特征在于：步骤3中人体骨骼关节数据信息如下：

使用Kinect for Windows SDK中的骨骼追踪技术，对人体运动信息进行采集，最终获得人体20个骨骼关节点三维数据信息，并将每个关节用A-T的编号进行表示，并通过式4计算人体骨骼的关节角：

其中，θ是每帧骨骼数据t时刻关节角的大小，U(t)和V(t)分别是t时刻的两个关节向量，通过式1最终可得17个人体关节角信息。

5.根据权利要求1基于多传感器的机械臂控制方法，其特征在于：步骤3中计算各个关节的肢体向量特征和肢体加速度特征如下：

根据人体结构学，人体可分为五大部分，Kinect for Windows SDK中的骨骼追踪技术可获得以上各个关节点数据信息，包括：

头部T(t)、颈部C(t)、脊柱D(t)和臀部G(t)；左手L(t)、左腕J(t)、左肘H(t)和右肩A(t)；右手M(t)、右腕K(t)、右肘I(t)和右肩B(t)；左脚R(t)、左踝P(t)、左膝N(t)和左臀E(t)；右脚S(t)、右踝Q(t)、右膝O(t)和右臀F(t)；

可通过下式来求解五大人体的关节向量特征：

由于每个骨骼结点对人体动作表达贡献度的不同，将会从每部分中选取两个主动作关节角，利用式6计算人体肢节的角速度特征：

ω(t)＝θ(t+1)-θ(t) (6)

θ(t)是t帧关节角的大小，其中躯干部分的角速度特征计算选取角θ₄和θ₉，左臂部分选取θ₃和θ₂，右臂部分选取θ₆和θ₇，左腿部分选取θ₁₂和θ₁₃，右腿部分选取θ₁₅和θ₁₆；人体各部分的角速度特征代表了人体四肢和躯干整体的运动情况；

人体四肢和躯干的弯曲可通过关节点之间距离的变化来体现，即关节点的加速度特征可刻画人体四肢和躯干的弯曲程度：

v(t)＝d(t+1)-d(t) (7)

其中v(t)是t帧的速度特征，d(t)是人体五个部分的首末关节点的欧式距离。

6.根据权利要求1基于多传感器的机械臂控制方法，其特征在于：步骤4中训练BP神经网络分类器如下：

BP神经网络训练步骤主要有两步：首先正向传播，训练样本经过网络的传递，得到输出值；然后误差反向传播，计算正向传播得到输出值的误差，根据误差再反馈到输入层，同时更新网络中的权值与阈值；建模时，这两步一直循环，直到满足终止条件；

将所提的肌电信号特征和人体图像特征组成样本矩阵，分别输入到神经网络的输入层中，x_i,i＝(0,1,...,n-1)是输入层第i个神经元输入；b_j,j＝(0,1,…,l-1)是隐含层第j个神经元的输出；y_k,k＝(0,1,…,m-1)是输出层第k个神经元的输出；其中，n、l、m分别代表BP神经网络输入层、隐含层和输出层神经元的节点个数，v_ij和w_jk分别表示输入层第i个神经元节点到隐含层第j个节点权值和隐含层第j个神经元节点到输出层第k个节点权值，可得：

其中η为常数，是BP神经网络的学习率，通常取0<η<1；通过式8和式9可算出误差反向传播后隐含层和输出层的权值调整公式:

同理可得隐含层和输出层的阈值调整公式：

权值和阈值通过公式计算更新后进入新一轮的正向传播过程，满足条件后得到训练完成的BP神经网络分类器。

7.根据权利要求1基于多传感器的机械臂控制方法，其特征在于：步骤5中人体手势的分类和人体手臂动作的分类如下：

手势的类别包括：手腕伸、手腕屈、握拳、手张开、手指动作、休息；

人体手臂动作类别包括：肘部转动20°、肘部转动40°、肘部转动60°、肘部转动80°、肘部转动100°、肩部转动10°、肩部转动20°、肩部转动30°、肩部转动40°、肩部转动50°。

8.根据权利要求1基于多传感器的机械臂控制方法，其特征在于：步骤6中控制机器人手臂动作如下：

再通过BP神经网络对手势和手臂分类完之后，将机器人手臂转动信息发送至下位机控制平台，从而控制机器人手臂动作，直到达到预期位置停止。

Images