CN113459102A - 一种基于投影重构的人体上肢意图识别方法 - Google Patents

Abstract

本发明公开了一种基于投影重构的人体上肢意图识别方法，包含步骤：S1：获取人体上肢运动的完整动作轨迹样本，构建原始数据集；S2：构建动作初始阶段数据集；S3：对动作轨迹样本在三维空间进行投影和意图特征图像重构；S4：对Alexnet卷积神经网络进行迁移学习和参数调整；S5：将步骤S3经过投影和意图特征图像重构的动作轨迹样本在输入经迁移学习和参数调整后的Alexnet网络进行训练，得到人体上肢运动意图识别模型；S6：根据该人体上肢运动意图识别模型识别真实人体上肢运动中的人体上肢意图。该方法将人体上肢运动轨迹通过投影、重构操作生成运动特征图像，并利用Alexnet卷积神经网络对运动特征图像的分类实现对人体上肢运动意图的准确识别。

Description

一种基于投影重构的人体上肢意图识别方法

技术领域

本发明涉及意图识别领域，尤其涉及一种基于投影重构的人体上肢意图识别方法。

背景技术

在工业快速发展的浪潮中，自动化生产正在逐步向智能化和定制化生产转移。人机协作系统作为一种提高自动化生产智能性和灵活性的有效方法，为工业智能化发展提供了新的解决方案。在人机协作系统中，利用动作初始阶段的运动数据完成对人体上肢动作运动意图的识别，既可以为机器人提供充足的时间用于判断和规划，也能提高整个系统的工作效率。快速准确地识别人的意图是安全有效人机协作的基础。

近年来，研究人员开发相关算法，通过对人体上肢运动的视频序列和深度图像的分析，完成对人体运动意图的识别。这些方法需要神经网络对图像序列中的每一帧进行处理，存在计算时间长、准确性低等缺点。因此如何降低计算时间，提高识别准确性成为需要解决的问题。

发明内容

本发明所要解决的技术问题是：克服现有技术存在的上述缺陷，提供一种基于投影重构的人体上肢意图识别方法，包含以下步骤：

S1：获取人体上肢运动的完整动作轨迹样本，构建模型原始数据集；

S2：在模型原始数据集中根据动作的完成度划分出动作初始阶段，构建动作初始阶段数据集；

S3：对划分出的动作初始阶段数据集所包含的动作轨迹样本在三维空间进行投影和意图特征图像重构；

S4：对预设的Alexnet网络进行迁移学习和参数调整，其中，Alexnet网络为卷积神经网络；

S5：将步骤S3经过投影和意图特征图像重构的动作轨迹样本输入经迁移学习和参数调整后的Alexnet网络进行训练，得到人体上肢运动意图识别模型；

S6：根据该人体上肢运动意图识别模型识别真实人体上肢运动中的人体上肢意图。

进一步的，所述步骤S1包含以下具体步骤：

S11：使用运动捕捉设备按设定人体上肢意图分类采集不同人体上肢意图下的人体上肢运动的完整动作轨迹，采集的每种人体上肢意图下的人体上肢完整运动轨迹样本数相同；

S12：对采集的不同人体上肢意图下的人体上肢完整运动轨迹进行标注，构建模型原始数据集。

进一步的，所述步骤S2包含以下具体步骤：

S21：在模型原始数据集中根据动作的完成度确定该动作的初始状态值；

S22：根据该初始状态值，截取该动作对应该初始状态值的动作轨迹，构成动作初始阶段数据集。

进一步的，所述步骤S3包含以下具体步骤：

S31：将动作初始阶段数据集中包含的动作轨迹样本在三维空间进行投影，分别得到XY平面、XZ平面、YZ平面的投影轨迹图；

S32：将得到的XY平面、XZ平面、YZ平面的投影轨迹图分别用红、緑、蓝三种颜色标识；

S33：构建一张空白的彩色图像，将XY平面、XZ平面、YZ平面的投影轨迹图分别占据彩色图像的R、G、B通道，组成当前意图下由运动轨迹编码成的意图特征图像；

S34：重复执行步骤S32至S33，直至动作初始阶段数据集包含的动作轨迹样本全部生成意图特征图像，构建意图特征图像库；

其中，XY平面为三维空间由X轴和Y轴方向组成的平面，XZ平面为三维空间由X轴和Z轴方向组成的平面，YZ平面为三维空间由Z轴和Y轴方向组成的平面，R、G、B为颜色分量，R为红色、G为绿色、B为蓝色。

进一步的，所述步骤S4包含以下具体步骤：

S41：采用ImageNet2012数据集对预设的Alexnet网络模型进行预训练，其中，ImageNet2012数据集为图像分类数据集；

S42：保留Alexnet网络预训练后的卷积层参数，并根据运动意图类别的数量对Alexnet网络的三层全连接层进行参数调整，将全连接层的softmax的神经元个数设置为与采集时设定的意图分类数一致，得到适用于当前运动意图识别任务的Alexnet网络，其中softmax为全连接层分类网络。

进一步的，所述步骤S5包含以下具体步骤：

S51：利用步骤S3构建的意图特征图像库，对保留卷积层参数和调整全连接层参数后的适用于当前运动意图识别任务的Alexnet网络进行迁移训练；

S52：训练完成后输出人体上肢运动意图识别模型。

进一步的，所述步骤S6包含以下具体步骤：

S61：采集人体上肢运动的动作轨迹；

S62：将该动作轨迹在三维空间进行投影，得到投影轨迹图，并将该投影轨迹图填充到空白的彩色图像的RGB通道，得到对应的运动特征图像；

S63：将该运动特征图像输入到人体上肢运动意图识别模型，输出该人体上肢意图。

进一步的，所述获取人体上肢运动的完整动作轨迹样本采用Vicon运动捕捉设备进行获取，其中Vicon为光学运动捕捉系统。

进一步的，所述步骤S2中动作初始阶段为一个人体上肢完整运动轨迹的前20％。

进一步的，所述适用于当前运动意图识别任务的Alexnet网络可实现对1000类图像的识别和分类。

本发明产生的有益效果是：本发明自主研发了一种基于投影重构的人体上肢意图识别方法，解决了现有任意运动意图识别方法计算时间长、准确性低等问题。本发明将人体上肢运动轨迹通过投影、重构操作生成运动特征图像，再利用卷积神经网络对一种运动特征图像进行分类，实现对人体上肢运动意图的准确识别，同时通过对卷积神经网络的预训练得到的意图识别模型，提高了对人体上肢运动意图识别的效率。

附图说明

图1为本发明提供的一种基于投影重构的人体上肢意图识别方法流程图；

图2为本发明提供的运动特征图像生成示意图；

图3为本发明提供的Alexnet网络迁移学习原理图。

具体实施方式

为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

如图1所示，本发明实施例提供一种基于投影重构的人体上肢意图识别方法，包含以下步骤：

S1：获取人体上肢运动的完整动作轨迹样本，构建模型原始数据集；

首先，在人机协作环境中，使用Vicon运动捕捉设备采集不同运动意图下人体上肢运动轨迹，采集过程中，不同运动意图采集的人体上肢运动轨迹样本数相同，相同的样本数量能保证模型的有效性和公平性，本实施例中，采集3种意图下的人体上肢运动轨迹，其中Vicon为光学运动捕捉系统，由英国Oxford Metrics Limited公司出品；

接着，对采集好的3种运动意图下轨迹进行标注，并将不同运动意图下的轨迹进行归类，构建出模型原始数据集。

S2：在模型原始数据集中根据动作的完成度划分出动作初始阶段，构建动作初始阶段数据集；

首先，根据动作的完成度确定该动作的初始状态值，在本实施例中，需要在动作完成20％时实现对运动意图的识别，因此确定每个动作轨迹的前20％作为初始阶段；

接着，根据该初始状态值，截取该动作对应该初始状态值的动作轨迹，对该动作初始阶段轨迹进行标注，构成动作初始阶段的数据集。

S3：参考图2，对划分出的动作初始阶段数据集所包含的动作轨迹样本在三维空间进行投影和意图特征图像重构；

首先，将动作初始阶段数据集中包含的动作轨迹样本在三维空间的XY平面、XZ平面、YZ平面进行投影，分别得到XY平面、XZ平面、YZ平面的投影轨迹图，其中，XY平面为三维空间由X轴和Y轴方向组成的平面，XZ平面为三维空间由X轴和Z轴方向组成的平面，YZ平面为三维空间由Z轴和Y轴方向组成的平面；

接着，将在XY平面、XZ平面、YZ平面投影的三张投影轨迹图分别用红、緑、蓝三种颜色标识；

然后，再构建一张空白的彩色图像，将在XY平面、XZ平面、YZ平面投影的三张投影轨迹图分别占据彩色图像的R、G、B通道，R、G、B为颜色分量，R为红色、G为绿色、B为蓝色，组成当前意图下由运动轨迹编码成的运动特征图像，该运动特征图像与运动轨迹一一对应，隐含了当前动作运动轨迹在时间和空间上的关系；

接着，对动作初始阶段数据集包含的样本重复执行上述投影及重构步骤，直至动作初始阶段数据集包含的样本全部生成运动特征图像，构建出运动特征图像库；

S4：参考图3，对预设的Alexnet网络进行迁移学习和参数调整，Alexnet网络为卷积神经网络(Convolutional Neural Network,CNN)的一种，由5个卷积层(Conv.layer1:55×55×96，Conv.layer2:27×27×256，Conv.layer3:13×13×384，Conv.layer4:13×13×384，Conv.layer5:13×13×256)和3个全连接层(Denselayer6:4096，Denselayer7:4096，Softmaxoutputlayer8:1000)组成，其中，

Convfiters:96@11×11×3表示使用96个大小规格为11×11×3像素的过滤器对输入图像进行特征提取；

Conv.layer1:55×55×96表示第一卷积层通过提取得到的96个55×55像素大小的特征图；

Normalized&Pooled layer1:27×27×96表示池化后像素规模为27×27×96；

Conv.filters:256@5×5×96表示使用256个5*5大小的过滤器对96*27*27个特征图，进行进一步提取，得到第二层输入数据；

Conv.layer2:27×27×256表示第二卷积层通过提取得到的256个27×27大小的特征图；

Normalized&Pooled layer2:13×13×256表示池化后像素规模为13×13×256；

Conv.filters:384@3×3×256表示每个卷积核的尺寸是3×3×256；

Conv.layer3:13×13×384示第三卷积层通过卷积得到13×13×384个像素层；

Conv.filters:384@3×3×384表示每个卷积核的尺寸是3×3×384；

Conv.layer4:13×13×384示第四卷积层通过卷积得到13×13×384个像素层；

Conv.filters:256@3×3×384表示每个卷积核的尺寸是3×3×192，像素层数据被送至2个GPU进行运算；

Conv.layer5:13×13×256示第五卷积层通过卷积得到13×13×256个像素层；

Denselayer6:4096表示通过4096个神经元处理并输出4096个数据；

Denselayer7:4096表示输入的上一层4096个数据经过该层4096个神经元处理，输出4096个数据；

Softmaxoutputlayer8:1000表示上一层输出的4096个数据经过该层1000个神经元处理，输出1000个数据；

首先，采用ImageNet2012数据集对Alexnet网络模型进行预训练，ImageNet2012数据集为图像分类数据集，训练集包含120万张图片，通过预训练，Alexnet网络可以实现对1000类图像的识别和分类；

预训练结束后，保留Alexnet网络预训练后的卷积层参数，通过保留该卷积层参数实现对预训练网络特征提取能力的迁移；

接着，根据运动意图类别的数量对Alexnet网络的三层全连接层进行微调，将全连接层的softmax的神经元个数设置为与采集时设定的意图分类数一致，得到适用于当前运动意图识别任务的Alexnet网络，其中softmax为全连接层分类网络，将softmax(Softmaxoutputlayer8层)的神经元个数调整为构建模型原始数据集时采集的意图种类数，本实施例中，构建模型原始数据集时采集了3种意图下的运动轨迹样本，则将Softmaxoutputlayer8层的神经元个数设置为3，通过对三层全连接层的微调得到适用于当前运动意图识别任务的Alexnet网络。

S5：参考图3，将步骤S3经过投影和意图特征图像重构的动作轨迹样本输入经迁移学习和参数调整后的Alexnet网络进行训练，得到人体上肢运动意图识别模型；

首先，将步骤S3构建的运动特征图像库输入到迁移学习及参数调整后的Alexnet网络；

接着，迁移学习及参数调整后的Alexnet网络对输入的运动特征图像进行5个卷积层的处理和3个全连接层处理，其卷积层参数为Conv.layer1:55×55×96，Conv.layer2:27×27×256，Conv.layer3:13×13×384，Conv.layer4:13×13×384，Conv.layer5:13×13×256，连接层参数为Denselayer6:4096，Denselayer7:4096，Softmaxoutputlayer8:3，每一个运动特征图像通过该Alexnet网络识别和分类，得到一种意图；

然后，运动特征图像库数据全部输入迁移学习及参数调整后的Alexnet网络后，该Alexnet网络训练得到三种意图；

最后，比对输入运动特征图像库和意图的对应关系，其输入运动特征图像和输出意图一一对应，则将该经过运动特征图像库训练后的Alexnet网络作为人体上肢运动意图识别模型。

S6：根据该人体上肢运动意图识别模型识别人机协作中的人体上肢意图。

首先，Vicon运动捕捉设备采集人机协作环境中人体上肢运动的实时动作轨迹；

接着，将该动作轨迹在三维空间进行投影，并将该投影轨迹图填充到空白图像的R、G、B通道，得到对应的运动特征图像；

然后，将该运动特征图像输入到步骤S5得到的人体上肢运动意图识别模型中，通过该模型的识别和分类处理，识别出采集的人体上肢运动的意图。

本发明将人体上肢运动意图识别问题转化为对运动特征图像的分类问题，首先根据人体上肢动作完成度划分出运动轨迹初始部分，再将运动轨迹初始部分投影、重构成运动特征图像，完成由运动轨迹向特征图像的转化，接着利用卷积神经网络在图像特征提取和分类方面的优势，利用Alexnet网络进行迁移学习，并利用生成的运动特征图像库对Alexnet网络进行迁移训练，得到人体上肢运动意识识别模型，实现了对人体上肢运动意图的快速准确识别。

上面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，不能理解为对本发明保护范围的限制。

总之，本发明虽然列举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。

Claims (10)

1.一种基于投影重构的人体上肢意图识别方法，其特征在于，包含以下步骤：

S1：获取人体上肢运动的完整动作轨迹样本，构建模型原始数据集；

S2：在模型原始数据集中根据动作的完成度划分出动作初始阶段，构建动作初始阶段数据集；

S3：对划分出的动作初始阶段数据集所包含的动作轨迹样本在三维空间进行投影和意图特征图像重构；

S4：对预设的Alexnet网络进行迁移学习和参数调整，其中，Alexnet网络为卷积神经网络；

S5：将步骤S3经过投影和意图特征图像重构的动作轨迹样本输入经迁移学习和参数调整后的Alexnet网络进行训练，得到人体上肢运动意图识别模型；

S6：根据该人体上肢运动意图识别模型识别真实人体上肢运动中的人体上肢意图。

2.根据权利要求1所述的一种基于投影重构的人体上肢意图识别方法，其特征在于，所述步骤S1包含以下具体步骤：

S11：使用运动捕捉设备按设定人体上肢意图分类采集不同人体上肢意图下的人体上肢运动的完整动作轨迹，采集的每种人体上肢意图下的人体上肢完整运动轨迹样本数相同；

S12：对采集的不同人体上肢意图下的人体上肢完整运动轨迹进行标注，构建模型原始数据集。

3.根据权利要求2所述的一种基于投影重构的人体上肢意图识别方法，其特征在于，所述步骤S2包含以下具体步骤：

S21：在模型原始数据集中根据动作的完成度确定该动作的初始状态值；

S22：根据该初始状态值，截取该动作对应该初始状态值的动作轨迹，构成动作初始阶段数据集。

4.根据权利要求3所述的一种基于投影重构的人体上肢意图识别方法，其特征在于，所述步骤S3包含以下具体步骤：

S31：将动作初始阶段数据集中包含的动作轨迹样本在三维空间进行投影，分别得到XY平面、XZ平面、YZ平面的投影轨迹图；

S32：将得到的XY平面、XZ平面、YZ平面的投影轨迹图分别用红、緑、蓝三种颜色标识；

S33：构建一张空白的彩色图像，将XY平面、XZ平面、YZ平面的投影轨迹图分别占据彩色图像的R、G、B通道，组成当前意图下由运动轨迹编码成的意图特征图像；

S34：重复执行步骤S32至S33，直至动作初始阶段数据集包含的动作轨迹样本全部生成意图特征图像，构建意图特征图像库；

其中，XY平面为三维空间由X轴和Y轴方向组成的平面，XZ平面为三维空间由X轴和Z轴方向组成的平面，YZ平面为三维空间由Z轴和Y轴方向组成的平面，R、G、B为颜色分量，R为红色、G为绿色、B为蓝色。

5.根据权利要求4所述的一种基于投影重构的人体上肢意图识别方法，其特征在于，所述步骤S4包含以下具体步骤：

S41：采用ImageNet2012数据集对预设的Alexnet网络模型进行预训练，其中，ImageNet2012数据集为图像分类数据集；

S42：保留Alexnet网络预训练后的卷积层参数，并根据运动意图类别的数量对Alexnet网络的三层全连接层进行参数调整，将全连接层的softmax的神经元个数设置为与采集时设定的意图分类数一致，得到适用于当前运动意图识别任务的Alexnet网络，其中softmax为全连接层分类网络。

6.根据权利要求5所述的一种基于投影重构的人体上肢意图识别方法，其特征在于，所述步骤S5包含以下具体步骤：

S51：利用步骤S3构建的意图特征图像库，对保留卷积层参数和调整全连接层参数后的适用于当前运动意图识别任务的Alexnet网络进行迁移训练；

S52：训练完成后输出人体上肢运动意图识别模型。

7.根据权利要求6所述的一种基于投影重构的人体上肢意图识别方法，其特征在于，所述步骤S6包含以下具体步骤：

S61：采集人体上肢运动的动作轨迹；

S62：将该动作轨迹在三维空间进行投影，得到投影轨迹图，并将该投影轨迹图填充到空白的彩色图像的RGB通道，得到对应的运动特征图像；

S63：将该运动特征图像输入到人体上肢运动意图识别模型，输出该人体上肢意图。

8.根据权利要求1所述的一种基于投影重构的人体上肢意图识别方法，其特征在于，所述获取人体上肢运动的完整动作轨迹样本采用Vicon运动捕捉设备进行获取，其中Vicon为光学运动捕捉系统。

9.根据权利要求1所述的一种基于投影重构的人体上肢意图识别方法，其特征在于，所述步骤S2中动作初始阶段为一个人体上肢完整运动轨迹的前20％。

10.根据权利要求5所述的一种基于投影重构的人体上肢意图识别方法，其特征在于，所述适用于当前运动意图识别任务的Alexnet网络可实现对1000类图像的识别和分类。

Images