CN111898519B

CN111898519B - 便携式的特定区域内运动训练辅助视觉伺服机器人系统及姿态评估方法

Info

Publication number: CN111898519B
Application number: CN202010737738.1A
Authority: CN
Inventors: 郭迟; 胡建朗; 刘敏豪
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2020-07-28
Filing date: 2020-07-28
Publication date: 2023-06-09
Anticipated expiration: 2040-07-28
Also published as: CN111898519A

Abstract

本发明属于图像分析和运动控制技术领域，具体涉及一种便携式的特定区域内运动辅助视觉伺服机器人系统及姿态评估方法，主要实现了对运动目标的追踪拍摄以及姿态评估的功能。它通过摄像头获取图像，利用软件算法对目标进行持续追踪，并使用舵机来调节拍摄角度，以实现对运动目标的追踪拍摄。此外，它能从拍摄画面中提取运动目标的姿态，将其与标准姿态进行比对和评估，从而实现运动训练辅助的功能。

Description

便携式的特定区域内运动训练辅助视觉伺服机器人系统及姿态评估方法

技术领域

本设备属于图像分析和运动控制技术领域，具体涉及一种便携式的特定区域内运动训练辅助视觉伺服机器人系统及姿态评估方法。

背景技术

随着生活水平的提高，科学和智能的运动方式逐渐成为主流。在运动的过程中，模仿学习标准的运动姿态不仅有利于快速地掌握相关的运动技能，而且可以减少运动带来的对身体的伤害。但是，人们在运动过程中常出现运动姿态不标准且无人监督指导的问题，而相关的指导培训机构费用高昂，这对于忙碌的人们来说是一个不小的问题。因此开发一种便于携带、价格亲民的运动训练辅助设备显得很有意义。

发明内容

为了满足市场的现有需求，提供了一种用于特定区域的运动辅助机器人系统及配套软件，应用于体育健身中低端市场。

本设备便于携带，需要设置在特定区域外，当使用者在特定区域内进行运动，如打篮球时，可以对运动目标进行跟踪拍摄，将其姿态提取并与标准姿态进行对比和评估，从而实现运动训练辅助的功能。具体功能实现如下：

一种便携式的特定区域内运动训练辅助视觉伺服机器人系统，其特征在于，包括

机器人：包括至少两个协同工作用于拍摄视频画面的摄像头、用于调整机器人拍摄角度使追踪目标能时刻出现在拍摄的视频画面中的舵机、以及在视频画面上追踪运动目标并给予舵机反馈信号控制舵机运动的追踪器；

姿态评估模块：设置在PC内，用于提取机器人端采集的视频帧中所有人体的二维姿态，并将其转换成三维人体姿态，然后将标准的三维人体姿态与视频帧中的三维人体姿态进行比对，生成相应的相似度分数，并基于该分数输出姿态评估结果。

在上述的一种便携式的特定区域内运动训练辅助视觉伺服机器人系统，所述追踪器包括：

追踪注意力单元：追踪运动目标并给予舵机反馈信号；

控制单元：接受反馈信号并根据控制信号驱动舵机运动。

一种便携式的特定区域内运动训练辅助视觉伺服机器人系统的姿态评估方法，其特征在于，包括：

姿态采集步骤：摄像头实时采集用户的运动视频图像；

姿态追踪步骤：追踪器追踪视频帧中的用户目标，并以目标的中心作为注意力焦点，保留其设定范围内的空间信息，去除其它空间信息；

追踪反馈步骤：追踪器根据姿态追踪的结果提供反馈信号给舵机，并控制舵机的角度使摄像头保持拍摄到用户目标的运动视频图像；

姿态评估步骤：空间注意力单元提取姿态采集步骤采集的视频帧中所有人体的二维姿态，并将其转换成三维人体姿态，然后将标准的三维人体姿态与视频帧中的三维人体姿态进行比对，生成相应的相似度分数，并基于该分数输出姿态评估结果。

在上述的姿态评估方法，姿态追踪步骤包括：定义一个空间阈值函数，空间阈值函数能够以注意力焦点为中心，将一定范围内的图像像素值设置为1，其它像素值则设置为0，然后将其与原图像进行逐像素相乘，进而保留注意力焦点一定范围内的空间信息，并去除其它空间信息，具体为：

步骤3.1、用户选择需要进行追踪的运动目标，以完成对追踪器的初始化；

步骤3.2、追踪器在摄像头获取到的视频帧中对用户选定的运动目标进行追踪，并返回运动目标中心的坐标值；

步骤3.3、以运动目标中心作为注意力焦点，并以其为中心将一定范围作为注意力聚焦区域；聚焦区域内图像像素值设置为1，区域外的像素值设置为0，并返回处理后的二值图像作为注意力滤波器；

步骤3.4、将注意力滤波器与其原图像进行逐像素相乘，并返回处理后的结果图像，若此时摄像头仍开启则转到步骤3.2，否则该算法结束。

在上述的姿态评估方法，姿态评估步骤中，采用三维姿态估计算法，三维姿态估计算法采用了VideoPose3D算法，该算法将从二维姿态序列中等间隔抽取三组二维姿态帧，每组姿态帧中含有三张二维姿态帧，利用这三组姿态帧合成一张三维姿态帧，具体包括：

步骤4.1、对需要比对的姿态所在的视频以及标准姿态所在的视频中所有视频帧进行二维姿态估计，提取视频帧中的所有二维人体姿态，生成两个二维人体姿态序列；

步骤4.2、使用二维姿态转换为三维姿态的算法，将二维人体姿态序列转换为三维人体姿态序列；

步骤4.3、对两组三维人体姿态序列进行关键帧匹配，使进行比对的两组三维姿态的序列长度相同；

步骤4.4、逐帧计算两组三维姿态序列的余弦相似度，并对所有余弦相似度取平均值，以此为依据返回最终的比对结果。

在上述的姿态评估方法，所述空间阈值函数具体为：

在步骤3.1中，用户在摄像头拍摄到的第一帧图像中用矩形框选择需要追踪的目标，然后系统用户选择的宽度为W，长度为H，通道数为C的目标图像输入到追踪器中，以初始化追踪器；

在步骤3.2中，追踪器根据用户选择的目标图像，在摄像头后续输入的视频帧中目标所在的位置生成追踪矩形框，并返回追踪矩形框的中心点坐标值P＝(x_focus，y_focus)；中心点坐标值将在步骤3.3中用于生成注意力滤波器；

在步骤3.3中，定义输入图像的左上角是像素坐标系的原点，X轴从左至右为正方向，Y轴从上到下为正方向，那么使用以下公式来定义注意力聚焦区域的四个角点：

/>

式中W′和H′分别是注意力聚焦区域的宽度和高度；这两个数值可以由用户设置，默认数值设置为输入视频帧宽度和高度的一半；接着通过一个空间阈值函数来设置滤波器M的参数：

式中(i，j)表示输入图像的二维像素坐标，c表示输入图像的通道索引值；

在步骤3.4中，将视频帧和步骤3.3中得到的注意力滤波器进行逐像素相乘，生成结果图像。

在上述的姿态评估方法，所述步骤4.1具体包括：使用OpenPose算法对需要比对的姿态所在的视频以及标准姿态所在的视频中所有视频帧进行二维姿态估计，分别生成两个二维姿态序列

和/>

其中L_2D表示需要比对的二维姿态序列，/>

表示单个需要比对的二维姿态，R_2D表示标准的二维姿态序列，

表示单个标准的二维姿态。

在上述的姿态评估方法，所述步骤4.2具体包括：使用VideoPose3D算法，从二维姿态序列L_2D和R_2D中等间隔抽取三组二维姿态帧，每组姿态帧中含有三张二维姿态帧，利用这三组姿态帧合成一张三维姿态帧，将所有三维姿态帧汇总得到两个三维姿态序列

和/>

其中L_3D表示需要比对的三维姿态序列，/>

表示单个需要比对的三维姿态，R_3D表示标准的三维姿态序列，/>

表示单个标准的三维姿态。

在上述的姿态评估方法，所述步骤4.3具体包括：

使用动态时间规整的方法实现关键帧匹配；定义生成的关键帧匹配路径序列为W＝(w₁，w₂，...，w_k)，将三维姿态中0号点、7号点以及8号点的欧氏距离的算术平均值索作为距离函数；L_3D和R_3D这两个序列的长度不相同，序列L_3D和R_3D在ω_t＝(i，j)中的距离为d(i，j)，从(0，0)到(i，j)的累计距离为D(i，j)，则有：

D(i，j)＝d(i，j)+min{D(i-1，j-1)，D(i-1，j)，D(i，j-1)}每一个关键帧均将L_3D和R_3D这两个序列中顺序且距离最短的三维姿态帧匹配，将所有关键帧汇总得到关键帧匹配路径序列W，该序列的累计距离为D，其中，三维姿态中0号点、7号点以及8号点分别表示：人体的骨盆、脊柱以及胸部所在位置。

在上述的姿态评估方法，所述步骤4.4具体包括：

选取包括头部、左上臂等关节运动姿态，将图3所示三维姿态的特定骨骼点坐标Coor相减得到相对应的特征向量V，并将特定的特征向量相乘得到特征平面对应特征向量，将13个特征向量汇总得到图5所示的特征向量列表；在选取特征向量后，要基于余弦相似度对各个部位进行比较；相似度的计算公式如下：

/>

式中

和/>

分别代表待测姿态和标准姿态中的第i个特征向量；将计算得到的13个特征向量相似度求和取平均得到单个三维姿态的相似度；按照相同的方法根据关键帧匹配路径序列W对两个三维姿态序列L_3D和R_3D中的三维姿态进行索引和处理，可以得到长度与关键帧匹配路径序列W相同的相似度序列S＝(simi₁，simi₂，simi_k)，并将序列中所有相似度相加取平均得到的值作为两个姿态序列的最终比较结果；结果的取值范围为[-1,1]，结果的数值越接近1，待测姿态与标准姿态越相似，待测姿态越标准；默认设置中将最终比较结果数值高于0.6的姿态序列评价为“优秀”，低于0.6的姿态序列评价为“一般”。

因此，本发明具有如下优点：1、本发明机器人部分体积小，方便携带，灵活性高；2、本发明机器人部分安装了长焦摄像头和广角摄像头，通过两个摄像头的协同工作保证拍摄图像的高清晰度；3、本发明采用目标追踪技术和视觉伺服技术，可以根据运动目标的位置，自行调整拍摄角度，从软硬件两方面实现对运动目标的跟踪拍摄；4、本发明采用二维姿态转三维姿态技术，并在三维姿态的基础上进行姿态评估，提高了评估的准确度，也降低了对机器人端摆放位置的要求。

附图说明

图1为设备以及配套软件主要流程图。

图2为设备软件算法示意图。

图3为三维姿态示意图。

图4为关键帧匹配示意图。

图5为特征向量列表。

具体实施方式

下面结合附图对本设备做进一步详细的说明。

1、针对内容的第一点，本设备可以对特定区域内运动物体进行追踪，也可以对人体姿态进行提取和评价，为了提高程序的运行效率，我们设计了一种带有空间注意力机制的目标追踪算法。

该算法的思路是以算法追踪的运动目标中心作为注意力的焦点，保留注意力焦点一定范围内的空间信息，并去除其它空间信息，从而降低运算负担，提高程序的运行速度。为此，我们设计了一个空间阈值函数，该函数可以以注意力焦点为中心，将一定范围内的图像像素值设置为1，其它像素值则设置为0，然后将其与原图像进行逐像素相乘，进而保留注意力焦点一定范围内的空间信息，并去除其它空间信息。在图1中，这部分算法集成在机器人端。在图2中，这部分算法集成到了“追踪注意力单元”中。

该算法执行的具体流程如下：

①用户选择需要进行追踪的运动目标，以完成对追踪器的初始化。用户在摄像头拍摄到的第一帧图像中用矩形框选择需要追踪的目标，然后系统用户选择的宽度为W，长度为H，通道数为C的目标图像输入到追踪器中，以初始化追踪器。

②追踪器在摄像头获取到的视频帧中对用户选定的运动目标进行追踪，并返回运动目标中心的坐标值。追踪器根据用户选择的目标图像，在摄像头后续输入的视频帧中目标所在位置生成追踪矩形框，并返回追踪矩形框的中心点坐标值P＝(x_focus，y_focus)。

③以运动目标中心作为注意力焦点，并以其为中心将一定范围作为注意力聚焦区域。聚焦区域内图像像素值设置为1，区域外的像素值设置为0，并返回处理后的二值图像作为注意力滤波器。假设输入图像的左上角是像素坐标系的原点，X轴从左至右为正方向，Y轴从上到下为正方向，那么使用以下公式来定义注意力聚焦区域的四个角点：

式中W′和H′分别是注意力聚焦区域的宽度和高度。这两个数值可以由用户设置，默认数值设置为输入视频帧宽度和高度的一半。接着通过

一个空间阈值函数来设置滤波器M的参数：

式中(i，j)表示输入图像的二维像素坐标，c表示输入图像的通道索引值。

④将注意力滤波器与其原图像进行逐像素相乘，并返回处理后的结果图像，若此时摄像头仍开启则转到②，否则该算法结束。

2、针对内容的第二点，本设备具有易于便携、摆放位置灵活的特点，为了降低设备拍摄角度对姿态评估的影响，我们设计了一种离线姿态评估方法。

该算法的思路是为了提高姿态评估的准确度，设备将提取需要比对的姿态所在的视频以及标准姿态所在的视频中的三维人体姿态，形成两组三维人体姿态序列，并进行关键帧匹配，使两组三维人体姿态序列长度相同，匹配完成后计算两组姿态的余弦相似度，最终得到分数以及比对结果。如图1，其中本设备的三维姿态估计算法采用了VideoPose3D算法，该算法将从二维姿态序列中等间隔抽取三组二维姿态帧，每组姿态帧中含有三张二维姿态帧，利用这三组姿态帧合成一张三维姿态帧。在图1中，这部分算法集成在电脑端。

该算法执行的具体流程如下：

①对需要比对的姿态所在的视频以及标准姿态所在的视频中所有视频帧进行二维姿态估计，提取视频帧中的所有二维人体姿态，生成两个二维人体姿态序列。使用OpenPose算法对需要比对的姿态所在的视频以及标准姿态所在的视频中所有视频帧进行二维姿态估计，分别生成两个二维姿态序列

和

②使用二维姿态转换为三维姿态的算法，将二维人体姿态序列转换为三维人体姿态序列。使用VideoPose3D算法，从二维姿态序列L_2D和R_2D中等间隔抽取三组二维姿态帧，每组姿态帧中含有三张二维姿态帧，利用这三组姿态帧合成一张三维姿态帧，生成的三维姿态如图3所示。将所有三维姿态帧汇总得到两个三维姿态序列

和

③对两组三维人体姿态序列进行关键帧匹配，使进行比对的两组三维姿态的序列长度相同。使用动态时间规整的方法实现关键帧匹配。如图4所示，设生成的关键帧匹配路径序列为W＝(w₁，w₂，...，w_k)，将图3所示三维姿态中0号点、7号点以及8号点的欧氏距离的算术平均值索作为距离函数。L_3D和R_3D这两个序列的长度不相同，序列L_3D和R_3D在w_t＝(i，j)中的距离为d(i，j)，从(0，0)到(i，j)的累计距离为D(i，j)，则有：

D(i，j)＝d(i，j)+min{D(i-1，j-1)，D(i-1，j)，D(i，j-1)}

每一个关键帧均将L_3D和R_3D这两个序列中顺序且距离最短的三维姿态帧匹配，将所有关键帧汇总得到关键帧匹配路径序列W，该序列的累计距离为D。

④逐帧计算两组三维姿态序列的余弦相似度，并对所有余弦相似度取平均值，以此为依据返回最终的比对结果。选取包括头部、左上臂等关节运动姿态，将图3所示三维姿态的特定骨骼点坐标Coor相减得到相对应的特征向量V，并将特定的特征向量相乘得到特征平面对应特征向量，将13个特征向量汇总得到图5所示的特征向量列表。在选取特征向量后，要基于余弦相似度对各个部位进行比较。相似度的计算公式如下：

式中

和/>

分别代表待测姿态和标准姿态中的第i个特征向量。将计算得到的13个特征向量相似度求和取平均得到单个三维姿态的相似度。按照相同的方法根据关键帧匹配路径序列W对两个三维姿态序列L_3D和R_3D中的三维姿态进行索引和处理，可以得到长度与关键帧匹配路径序列W相同的相似度序列S＝(simi₁，simi₂，...，simi_k)，并将序列中所有相似度相加取平均得到的值作为两个姿态序列的最终比较结果。结果的取值范围为[-1,1]，结果的数值越接近1，待测姿态与标准姿态越相似，待测姿态越标准。默认设置中将最终比较结果数值高于0.6的姿态序列评价为“优秀”，低于0.6的姿态序列评价为“一般”。

3、针对内容的第三点，设备硬件部分主要由两个摄像头以及两台舵机组成。其中一个摄像头采用长焦镜头，另一个摄像头采用广角镜头。广角和长焦镜头协同工作，对跟踪目标及周边区域进行连续变焦，以获取清晰画面。设备还内置一种基于查表与三角空间平滑的舵机控制策略，该策略与跟踪算法协同工作，能根据追踪算法的反馈，快速、平滑、精确地控制舵机运动，时刻保持跟踪目标在拍摄画面中，实现对目标的追踪拍摄。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。