CN116252302A - 一种基于肢体动作预测的动态人机协作装配方法及系统 - Google Patents

Abstract

本发明提出一种基于肢体动作预测的动态人机协作装配方法及系统，包括惯性测量单元、配套控制器、工业机器人和计算机。配套控制器控制所述惯性测量单元采集操作者的动作信息，计算机提取所述惯性测量单元信号特征，利用粒子群优化的支持向量机算法进行肢体运动识别。提出一种参数可变的隐马尔可夫模型实时预测动作序列，能推断出操作者的未来意图，实现装配序列的动态可变性。所提出的方法通过所述工业机器人配合人类完成关键步骤的操作，能有效地预测操作者下一步动作，并实现装配顺序可变的动态人机协作装配。本发明所述工业机器人根据操作者不同的选择做出对应配合的装配动作，实现动态可变的人机协作装配方案，实现柔性化生产和提高生产效率。

Description

一种基于肢体动作预测的动态人机协作装配方法及系统

技术领域

本发明涉及肢体动作识别预测领域，尤其是一种基于肢体动作预测的动态人机协作装配方法及系统。

背景技术

人机协作装配是当前机器人领域的一个重要发展方向。机器人虽然广泛地应用于车间生产，但缺乏认知能力，在一些复杂装配环境或柔性生产车间中仍需要人与机器人配合完成关键步骤的操作。人的动作复杂多样且具有随机性，并且人可以主观选择可行的不同操作方法和路线，机器人在与人协作过程中应实时识别和预测人的意图，并提供相应的帮助，这对提高生产效率和实现柔性化生产都有着重大意义。当前人机协作过程一般需要预先指定操作顺序，机器人尚不能根据人的不同操作序列做出不同响应，即还不能有效地解决装配序列的动态可变性问题。

目前关于基于动态人机协作装配方法，例如专利号为CN114445741A的面向人机协作装配的人员作业意图识别方法，该发明公开了面向人机协作装配的人员作业意图识别方法，具体方法为：采集装配环境场景的RGB-D图像；构建装配场景感知网络，并对装配场景感知网络进行训练，以检测装配场景中存在的各要素；其中，各要素包括人员、机器以及各类工件；将图像输入至装配场景感知网络进行检测，并提取各要素的视觉特征以及空间特征；构建图注意力网络，利用视觉特征初始化各节点的特征，利用空间特征初始化节点间边的特征，动态聚合各节点特征，推理人员作业意图。此发明虽然可以有效利用装配环境中的上下文信息，但是机器人尚不能根据人的不同操作序列做出不同响应，即还不能有效地解决装配序列的动态可变性问题。

发明内容

本发明提出一种基于肢体动作预测的动态人机协作装配方法及系统，能解决机器人根据操作者不同的选择做出对应配合的装配动作，实现装配顺序可变的动态人机协作装配的问题。

为此，本发明提出一种基于肢体动作预测的动态人机协作装配方法，包括惯性测量单元、配套控制器、工业机器人和计算机。所述配套控制器控制所述惯性测量单元采集操作者的动作信息，所述计算机提取所述惯性测量单元信号特征，利用粒子群优化的支持向量机算法进行肢体运动识别。提出一种参数可变的隐马尔可夫模型实时预测动作序列，能推断出操作者的未来意图，实现装配序列的动态可变性。所提出的方法通过所述工业机器人配合人类完成关键步骤的操作，通过有效地预测操作者下一步动作，来实现装配顺序可变的动态人机协作装配。

本发明所述机器人根据操作者不同的选择做出对应配合的装配动作，实现动态可变的人机协作装配方案，实现柔性化生产和提高生产效率。本发明解决其技术问题采用的技术方案是：

一种基于肢体动作预测的动态人机协作装配系统，包括惯性测量单元、配套控制器、工业机器人和计算机。

所述惯性测量单元佩戴于手腕处；

所述配套控制器控制所述惯性测量单元采集操作者的动作信息；

所述计算机提取所述惯性测量单元信号特征，同时利用时域和时频域特征的粒子群优化支持向量机算法，用于肢体运动识别，将肢体识别动作序列作为参数可变的隐马尔可夫模型的输入。

一种基于肢体动作预测的动态人机协作装配方法，采用以上所述的基于肢体动作预测的动态人机协作装配系统，所述装配方法使用参数可变的隐马尔可夫模型实时预测动作序列，在监督训练和零训练状态下推断出操作者的未来意图，实现装配序列的动态可变性；

所述工业机器人配合人类完成关键步骤的操作，根据操作者不同的选择做出对应配合的装配动作，预测操作者下一步动作并实现装配顺序可变的动态人机协作装配；

所述装配方法在肢体运动识别过程中，同时利用时域和时频域特征的粒子群优化支持向量机算法，包括以下步骤；

步骤A1：所述配套控制器控制所述惯性测量单元采集操作者的动作信息，对原始数据进行零点校正，剔除信号中的重力加速度和零点漂移；

步骤A2：计算机提取所述惯性测量单元信号特征，提取均值

标准差σ_x、最大值x_p、峰值因子C、波形因子W时域特征，将db1小波包进行3层系数分解，提取3层系数分解的低频能量值E_j,k作为信号时频域特征，6种特征公式如下述公式(1)-(6)所示:

x_p＝max{|x₁|,|x₂|,…,|x_N|} (公式3)

式中x_i为信号的时域序列，其中i＝1,2,...,N，N为样本点数；

代表信号应用小波包进行信号分解后在节点(j,k)的分解信号，l为节点信号/>

的离散点编号，m表示节点信号的离散点总数；

步骤A3：基于MATLAB软件，采用LIBSVM软件包，选用RBF核函数，采用基于粒子群优化算法对搭建的支持向量机分类器进行参数优化来寻找最佳的参数c和g，即全局最优解；

步骤A4：采集的数据预处理和特征提取后，将80％的数据作为训练集，剩余20％的数据作为测试集，采用粒子群优化的支持向量机算法进行肢体动作识别。

所述装配方法使用参数可变的隐马尔可夫模型实时预测动作序列的具体步骤包括；

步骤B1：在隐马尔可夫模型建模阶段，把观测层作为以随机顺序的T种行为，具体为：隐藏层代表装配任务；状态集合Q代表装配步骤不同任务状态的集合，即隐状态集合；观测集合V代表肢体动作识别的集合，即显状态集合；状态序列I代表长度为T的不同装配任务序列，观测序列O为对应的肢体动作识别序列，具体如公式7所示：

其中N是可能的状态数，M是可能的观测数；

步骤B2：将通过粒子群优化的支持向量机算法识别的动作作为观测序列，将观测序列o₁,o₂,…,o_T作为隐马尔可夫模型的输入；

步骤B3：在隐马尔可夫模型预测阶段，将产品装配任务建模为一系列肢体动作，对鲍姆韦尔奇算法进行改进，模型输入整个装配流程的单观测序列样本O＝{o₁,o₂,...,o_T}，为了防止零概率的情况，对模型A,B,π参数每次重估完之后，然后对λ参数进行改进，如公式8所示，即：

λ＝(A,B,π)+(A',B',π') (公式8)

其中A',B',π'和A,B,π有相同行列且所有元素均为1的矩阵；

步骤B4：通过鲍姆韦尔奇算法迭代计算，得到重估模型参数

将参数/>

作为下一次人机协作装配的隐马尔可夫模型的参数，可以实时改变状态转移矩阵的参数，以及初始状态矩阵的参数，从而实现装配顺序可变的动态人机协作装配；

步骤B5：鲍姆韦尔奇算法步骤如下：初始化模型，对于n＝0，选取

b_j(k)⁽⁰⁾，Q＝{q₁,q₂,…,q_N}，得到模型公式如公式9和公10所示：

λ⁽⁰⁾＝(A⁽⁰⁾,B⁽⁰⁾,π⁽⁰⁾) (公式9)

然后递推，设置迭代次数n＝1,2...，

得到终止模型参数：λ⁽ⁿ⁺¹⁾＝(A⁽ⁿ⁺¹⁾,B⁽ⁿ⁺¹⁾,π⁽ⁿ⁺¹⁾)，即

步骤B6：对隐马尔可夫模型里的前向算法进行扩展，使其可以预测人的下一步意图；模型输入的是实时的肢体动作识别序列O及参数

初始化模型首个动作前向变量α₁(i)，然后迭代计算α_t+1(j)，再计算P(O|λ)，算法步骤如公式11所示：

其中1≤t≤T-1，1≤j≤N，a_ij为状态转移矩阵中的元素，b_j(o_t)为发射矩阵中的元素；

步骤B7：对模型的前向算法进行扩展达到预测效果，计算时间步t+1中每个隐藏状态联合概率S_t+2，其中概率最高的隐藏状态代表操作者的意图，从而实现预测操作者的未来意图，如公式12所示：

步骤B8：维特比算法输入的是实时的肢体动作识别序列O及参数

通过维特比算法推断装配序列顺序；

步骤B9：所述工业机器人配合人类完成关键步骤的操作，所述机器人根据操作者不同的选择做出对应配合的装配动作，通过有效地预测操作者下一步动作，来实现装配顺序可变的动态人机协作装配。

与现有技术相比，本发明所述工业机器人根据操作者不同的选择做出对应配合的装配动作，实现动态可变的人机协作装配方案，实现柔性化生产和提高生产效率。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

附图1是本发明一种基于肢体动作预测的动态人机协作装配方法及系统示意图；

附图2是本发明粒子群优化支持向量机算法流程图；

附图3是本发明改进的隐马尔可夫模型流程图；

附图4是本发明肢体动作序列预测流程图；

图中，1-惯性测量单元；2-配套控制器；3-工业机器人；4-计算机。

具体实施方式

为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本说明书使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

以下结合附图对本实施例方案作进一步的具体介绍：

如图1所示，一种基于肢体动作预测的动态人机协作装配系统，包括惯性测量单元1、配套控制器2、工业机器人3和计算机4。

所述惯性测量单元佩戴于手腕处；

所述配套控制器控制所述惯性测量单元采集操作者的动作信息；

所述计算机提取所述惯性测量单元信号特征，同时利用时域和时频域特征的粒子群优化支持向量机算法，用于肢体运动识别，将肢体识别动作序列作为参数可变的隐马尔可夫模型的输入。

一种基于肢体动作预测的动态人机协作装配方法，采用以上所述的基于肢体动作预测的动态人机协作装配系统，所述装配方法使用参数可变的隐马尔可夫模型实时预测动作序列，在监督训练和零训练状态下推断出操作者的未来意图，实现装配序列的动态可变性；

所述工业机器人配合人类完成关键步骤的操作，根据操作者不同的选择做出对应配合的装配动作，预测操作者下一步动作并实现装配顺序可变的动态人机协作装配；

如图2所示的是用于肢体动作识别的实施例一，所述装配方法在肢体运动识别过程中，同时利用时域和时频域特征的粒子群优化支持向量机算法，包括以下步骤；

步骤A1：所述配套控制器控制所述惯性测量单元采集操作者的动作信息，对原始数据进行零点校正，剔除信号中的重力加速度和零点漂移；

步骤A2：计算机提取所述惯性测量单元信号特征，提取均值

标准差σ_x、最大值x_p、峰值因子C、波形因子W时域特征，将db1小波包进行3层系数分解，提取3层系数分解的低频能量值E_j,k作为信号时频域特征，6种特征公式如下述公式(1)-(6)所示:

x_p＝max{|x₁|,|x₂|,…,|x_N|} (公式3)

式中x_i为信号的时域序列，其中i＝1,2,...,N，N为样本点数；

代表信号应用小波包进行信号分解后在节点(j,k)的分解信号，l为节点信号/>

的离散点编号，m表示节点信号的离散点总数；/>

步骤A3：基于MATLAB软件，采用LIBSVM软件包，选用RBF核函数，采用基于粒子群优化算法对搭建的支持向量机分类器进行参数优化来寻找最佳的参数c和g，即全局最优解；

步骤A4：采集的数据预处理和特征提取后，将80％的数据作为训练集，剩余20％的数据作为测试集，采用粒子群优化的支持向量机算法进行肢体动作识别。

如图3和图4所示的是用于肢体动作预测的实施例二。如图3所示的是改进的隐马尔可夫模型算法流程图，如图4所示的是肢体动作序列预测流程图。

所述装配方法使用参数可变的隐马尔可夫模型实时预测动作序列的具体步骤包括；

步骤B1：在隐马尔可夫模型建模阶段，把观测层作为以随机顺序的T种行为，具体为：隐藏层代表装配任务；状态集合Q代表装配步骤不同任务状态的集合，即隐状态集合；观测集合V代表肢体动作识别的集合，即显状态集合；状态序列I代表长度为T的不同装配任务序列，观测序列O为对应的肢体动作识别序列，具体如公式7所示：

其中N是可能的状态数，M是可能的观测数；

步骤B2：将通过粒子群优化的支持向量机算法识别的动作作为观测序列，将观测序列o₁,o₂,…,o_T作为隐马尔可夫模型的输入；

步骤B3：在隐马尔可夫模型预测阶段，将产品装配任务建模为一系列肢体动作，对鲍姆韦尔奇算法进行改进，模型输入整个装配流程的单观测序列样本O＝{o₁,o₂,...,o_T}，为了防止零概率的情况，对模型A,B,π参数每次重估完之后，然后对λ参数进行改进，如公式8所示，即：

λ＝(A,B,π)+(A',B',π') (公式8)

其中A',B',π'和A,B,π有相同行列且所有元素均为1的矩阵；

步骤B4：通过鲍姆韦尔奇算法迭代计算，得到重估模型参数

将参数/>

作为下一次人机协作装配的隐马尔可夫模型的参数，可以实时改变状态转移矩阵的参数，以及初始状态矩阵的参数，从而实现装配顺序可变的动态人机协作装配；

步骤B5：鲍姆韦尔奇算法步骤如下：初始化模型，对于n＝0，选取

b_j(k)⁽⁰⁾，Q＝{q₁,q₂,…,q_N}，得到模型公式如公式9和公10所示：

λ⁽⁰⁾＝(A⁽⁰⁾,B⁽⁰⁾,π⁽⁰⁾) (公式9)

然后递推，设置迭代次数n＝1,2...，

得到终止模型参数：λ⁽ⁿ⁺¹⁾＝(A⁽ⁿ⁺¹⁾,B⁽ⁿ⁺¹⁾,π⁽ⁿ⁺¹⁾)，即

/>

步骤B6：对隐马尔可夫模型里的前向算法进行扩展，使其可以预测人的下一步意图；模型输入的是实时的肢体动作识别序列O及参数

初始化模型首个动作前向变量α₁(i)，然后迭代计算α_t+1(j)，再计算P(O|λ)，算法步骤如公式11所示：

其中1≤t≤T-1，1≤j≤N，a_ij为状态转移矩阵中的元素，b_j(o_t)为发射矩阵中的元素；

步骤B7：对模型的前向算法进行扩展达到预测效果，计算时间步t+1中每个隐藏状态联合概率S_t+2，其中概率最高的隐藏状态代表操作者的意图，从而实现预测操作者的未来意图，如公式12所示：

步骤B8：维特比算法输入的是实时的肢体动作识别序列O及参数

通过维特比算法推断装配序列顺序；

步骤B9：所述工业机器人配合人类完成关键步骤的操作，所述机器人根据操作者不同的选择做出对应配合的装配动作，通过有效地预测操作者下一步动作，来实现装配顺序可变的动态人机协作装配。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的一种基于肢体动作预测的动态人机协作装配方法及系统，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (4)

1.一种基于肢体动作预测的动态人机协作装配系统，其特征在于：包括惯性测量单元、配套控制器、工业机器人和计算机。

所述惯性测量单元佩戴于手腕处；

所述配套控制器控制所述惯性测量单元采集操作者的动作信息；

所述计算机提取所述惯性测量单元信号特征，同时利用时域和时频域特征的粒子群优化支持向量机算法，用于肢体运动识别，将肢体识别动作序列作为参数可变的隐马尔可夫模型的输入。

2.一种基于肢体动作预测的动态人机协作装配方法，采用权利要求1中所述的基于肢体动作预测的动态人机协作装配系统，其特征在于：所述装配方法使用参数可变的隐马尔可夫模型实时预测动作序列，在监督训练和零训练状态下推断出操作者的未来意图，实现装配序列的动态可变性；

所述工业机器人配合人类完成关键步骤的操作，根据操作者不同的选择做出对应配合的装配动作，预测操作者下一步动作并实现装配顺序可变的动态人机协作装配。

3.根据权利要求2所述的一种基于肢体动作预测的动态人机协作装配方法，其特征在于：所述装配方法在肢体运动识别过程中，同时利用时域和时频域特征的粒子群优化支持向量机算法，包括以下步骤；

步骤A1：所述配套控制器控制所述惯性测量单元采集操作者的动作信息，对原始数据进行零点校正，剔除信号中的重力加速度和零点漂移；

步骤A2：计算机提取所述惯性测量单元信号特征，提取均值

标准差σ_x、最大值x_p、峰值因子C、波形因子W时域特征，将db1小波包进行3层系数分解，提取3层系数分解的低频能量值E_j,k作为信号时频域特征，6种特征公式如下述公式(1)-(6)所示:

x_p＝max{|x₁|,|x₂|,…,|x_N|} (公式3)

式中x_i为信号的时域序列，其中i＝1,2,...,N，N为样本点数；

代表信号应用小波包进行信号分解后在节点(j,k)的分解信号，l为节点信号/>

的离散点编号，m表示节点信号的离散点总数；/>

步骤A3：基于MATLAB软件，采用LIBSVM软件包，选用RBF核函数，采用基于粒子群优化算法对搭建的支持向量机分类器进行参数优化来寻找最佳的参数c和g，即全局最优解；

步骤A4：采集的数据预处理和特征提取后，将80％的数据作为训练集，剩余20％的数据作为测试集，采用粒子群优化的支持向量机算法进行肢体动作识别。

4.根据权利要求2所述的一种基于肢体动作预测的动态人机协作装配方法，其特征在于：所述装配方法使用参数可变的隐马尔可夫模型实时预测动作序列的具体步骤包括；

步骤B1：在隐马尔可夫模型建模阶段，把观测层作为以随机顺序的T种行为，具体为：隐藏层代表装配任务；状态集合Q代表装配步骤不同任务状态的集合，即隐状态集合；观测集合V代表肢体动作识别的集合，即显状态集合；状态序列I代表长度为T的不同装配任务序列，观测序列O为对应的肢体动作识别序列，具体如公式7所示：

其中N是可能的状态数，M是可能的观测数；

步骤B2：将通过粒子群优化的支持向量机算法识别的动作作为观测序列，将观测序列o₁,o₂,…,o_T作为隐马尔可夫模型的输入；

步骤B3：在隐马尔可夫模型预测阶段，将产品装配任务建模为一系列肢体动作，对鲍姆韦尔奇算法进行改进，模型输入整个装配流程的单观测序列样本O＝{o₁,o₂,...,o_T}，为了防止零概率的情况，对模型A,B,π参数每次重估完之后，然后对λ参数进行改进，如公式8所示，即：

λ＝(A,B,π)+(A',B',π') (公式8)

其中A',B',π'和A,B,π有相同行列且所有元素均为1的矩阵；

步骤B4：通过鲍姆韦尔奇算法迭代计算，得到重估模型参数

将参数/>

作为下一次人机协作装配的隐马尔可夫模型的参数，可以实时改变状态转移矩阵的参数，以及初始状态矩阵的参数，从而实现装配顺序可变的动态人机协作装配；

步骤B5：鲍姆韦尔奇算法步骤如下：初始化模型，对于n＝0，选取

b_j(k)⁽⁰⁾，Q＝{q₁,q₂,…,q_N}，得到模型公式如公式9和公10所示：

λ⁽⁰⁾＝(A⁽⁰⁾,B⁽⁰⁾,π⁽⁰⁾) (公式9)

然后递推，设置迭代次数n＝1,2...，

得到终止模型参数：λ⁽ⁿ⁺¹⁾＝(A⁽ⁿ⁺¹⁾,B⁽ⁿ⁺¹⁾,π⁽ⁿ⁺¹⁾)，即

步骤B6：对隐马尔可夫模型里的前向算法进行扩展，使其可以预测人的下一步意图；模型输入的是实时的肢体动作识别序列O及参数

初始化模型首个动作前向变量α₁(i)，然后迭代计算α_t+1(j)，再计算P(O|λ)，算法步骤如公式11所示：

其中1≤t≤T-1，1≤j≤N，a_ij为状态转移矩阵中的元素，b_j(o_t)为发射矩阵中的元素；

步骤B7：对模型的前向算法进行扩展达到预测效果，计算时间步t+1中每个隐藏状态联合概率S_t+2，其中概率最高的隐藏状态代表操作者的意图，从而实现预测操作者的未来意图，如公式12所示：

步骤B8：维特比算法输入的是实时的肢体动作识别序列O及参数

通过维特比算法推断装配序列顺序；

步骤B9：所述工业机器人配合人类完成关键步骤的操作，所述机器人根据操作者不同的选择做出对应配合的装配动作，通过有效地预测操作者下一步动作，来实现装配顺序可变的动态人机协作装配。

Images