CN115414647A - 一种软硬件结合的拍类运动可视训练装置 - Google Patents

Abstract

本发明公开了一种软硬件结合的拍类运动可视训练装置，包括设备采集模块，用于通过高速摄像机获得球速标签和球自旋标签，通过在人体和球拍上的传感器检测运动信号值；数据分析模块，用于通过神经网络模型的训练分别得到识别模型和回归模型，得到对应的击球位置和击球技术，得到球的速度和自旋；质量评价模块，用于基于教练评估得到击球表现阈值，通过将击球位置、击球技术、球的速度或自旋与击球表现阈值进行比较得到不良击球事件集合；将不良击球事件张量输入至反事实函数以调整张量中的元素得到满足击球表现阈值的优化击球事件张量集合。该装置能够基于采集和处理运动员的数据为教练员提供可视化建议。

Description

一种软硬件结合的拍类运动可视训练装置

技术领域

本发明属于球类比赛数据采集领域，具体涉及一种软硬件结合的拍类运动可视训练装置。

背景技术

物联网(IoT)技术已经被广泛应用在多项体育运动训练中。例如，miPod和miPod2是便携式传感器系统，嵌入到衣服和运动设备来收集运动员的运动数据。此腕式穿戴系统来检测和识别多种拍类运动(如羽毛球，乒乓球)的击球行为。此外还有人研究出了针对足球、羽毛球，滑板等特定运动的类似系统。在这些系统的协助下，研究者可以收集运动员的运动学细节以供研究。

目前，很多商业或智能穿戴设备已经被广泛引入到体育训练当中，如乒乓球运动，羽毛球运动，网球运动等。这些设备被安装或嵌入在设备中来收集受训练者的运动学数据。这些数据可以通过基本的可视化图表呈现出多样的统计信息，例如投篮的次数，球撞击的位置，摆动的频率等。

针对移动物体的运动分析已经被广泛研究。对运动数据的可视化有许多的方式。从影响可视化设计的三个方面对现有方法进行了分类，即数据的粒度、对象的范围和要分析的概念。这些方法解决了各种领域问题。

体育数据可视化是近年来的热门话题。几项调查提供了对各种运动中比赛分析的最先进方法的整体看法。例如，在足球中，研究人员引入了有效的工具来研究团队战术(例如，阵型、传球方式和移动轨迹)、排名、比赛视频、关键事件和比赛表现。此外，另一种流行的运动，篮球，也得到了广泛的研究。在调查篮球比赛中的投篮能力、防守能力、运动模式和得分预测时，通常会分析球员的空间特征。

但现有研究由于数据规模体量大、数据维度高，目前这些关注运动识别的研究提取出的有价值的信息不足以为教练提供有足够执行力的洞见。

尽管商业或智能穿戴设备可以给运动员提供直接的运行反馈，但由于只是表现了基本的统计结果，它们无法帮助发现有价值的训练见解。细粒度的训练过程对于进一步的探索和调查。

运动训练中运动数据的方法很少被研究分析。虽然我们调查球员动作特征的任务与现有方法相似，但我们的目标是帮助教练有效地获得训练反馈并调整训练计划，这是现有方法无法支持的。

现有研究针对的是正式比赛而不是训练过程。具体而言，比赛数据通常由相机收集，并使用自动方法(计算机视觉算法)或手动方法(视频标记)来进行处理。此外，教练在分析训练过程时关心如何提高特定技术或战术的质量。相比之下，在比赛分析中，分析师专注于如何使用不同的技术和战术来赢得比赛。

发明内容

本发明提供了一种软硬件结合的拍类运动可视训练装置，该装置能够基于采集和处理运动员的数据为教练员提供可视化建议。

一种软硬件结合的拍类运动可视训练装置，包括：

设备采集模块，用于通过高速摄像机获得球速标签和球自旋标签，通过在人体和球拍上的传感器检测运动信号值；

数据分析模块，用于基于运动信号值通过能量计算方法和峰值检测方法得到波峰序列，设定每个波峰的范围，在每个波峰范围内的击球事件传感器数据通过张量表示，通过神经网络模型的训练分别得到识别模型和回归模型，将击球事件张量输入至识别模型得到对应的击球位置和击球技术，将击球事件张量输入至回归模型得到球的速度和自旋；

质量评价模块，用于基于教练评估得到击球表现阈值，通过将击球位置、击球技术、球的速度或自旋与击球表现阈值进行比较得到不良击球事件集合；将不良击球事件张量输入至反事实函数以调整张量中的元素得到满足击球表现阈值的击球事件张量集合，通过满足击球表现阈值的击球事件张量集合得到多项优化建议，将不良击球事件张量和满足击球表现阈值的击球事件张量之间距离的倒数作为多项优化建议可行性值，通过基本推测领航法可视化每个满足击球表现阈值的击球事件张量的轨迹。

设备采集模块还包括定制化的球和发球机，定制化的球上具有6个标记，即上、下、左、右、后和前标记，发球机，用于将定制化的球以不同的速度和自旋发射至不同的位置，基于定制化球上的标记通过高速摄像机测量球速和球自旋，将测量得到的球速和球自旋作为球速标签和球自旋标签。

通过在运动员的左右手腕、右臂和球拍上的传感器检测运动员信号值，远动员信号值包括三维加速度、角速度和角度。

基于运动信号值通过能量计算方法和峰值检测方法得到波峰序列，通过能量计算方法得到的t时刻的能量值E(t)为：

E(t)＝acc_x(t)²+acc_y(t)²+acc_z(t)²

其中，acc_x(t)、acc_y(t)、acc_z(t)分别表示t时刻X轴、Y轴和Z轴的信号值；峰值检测方法为SciPy 3中的signal.find_peaks函数。

在每个波峰范围内的击球事件传感器数据通过张量表示，包括：

设定第i个波峰P_i范围为

是P_i的时间戳，δt为设定时间，基于设定时间和传感器的采样频率得到对应的第j个击球事件S_j的采样点数量，击球事件S_j的传感器数据通过张量V_m来表示，V_m∈R^a×b×c，其中，a为传感器数量，b为信号值维度，c为采样点数量，m为张量的索引。

通过神经网络模型的训练得到识别模型，包括：

神经网络模型包括LSTM、DF21、随机森林、XGBoost或LightGBM，基于击球事件对应的击球位置和击球技术通过损失函数训练神经网络模型得到识别模型。

通过神经网络模型的训练得到回归模型，包括：

神经网络模型包括LSTM、DF21、随机森林、XGBoost或LightGBM，基于高速摄像机获得球速标签和球自旋标签通过损失函数训练神经网络模型得到回归模型。

反事实函数的训练过程为：

通过将调整元素后的不良击球事件张量输入至识别模型和/或回归模型得到输出值，输出值与击球表现阈值同时输入至损失函数以训练初始反事实函数，达到设定损失值后得到训练后的反事实函数。

通过基本推测领航法可视化每个满足击球表现阈值的击球事件张量的轨迹T为：

其中，为s为采样点的索引，n为采样点的个数，a_l为第l个加速度，t₀为起始采样点，t_s为第s个采样带你，Δt为两个采样点之间的持续时间，D_s为第s个采样点对应的位移。

与现有技术相比，本发明的有益效果为：

(1)通过神经网络和教练知识相结合筛选出不良击球事件，并将不良击球事件的数据信息直观展现给教练员，从而使得教练员能够全面可理解的得到不良击球事件的数据。

(2)通过反事实函数为教练员提供训练建议和优先级，并提供击球轨迹，使得教练员能够得到直观的，可视化的建议，为教练员调整训练提供依据。

附图说明

图1为具体实施方式提供的软硬件结合的拍类运动可视训练装置框架图；

图2为具体实施方式提供的设备采集模块中使用的设备实物图；

图3为具体实施方式提供的传感器采集结果图；

图4为具体实施方式提供的软硬件结合的拍类运动可视训练装置可视化界面图；

图5为具体实施方式提供的软硬件结合的拍类运动可视训练装置实际使用场景图；

图6为具体实施方式提供的可视化界面图中的表盘图标解释图；

图7为实施例2提供的的软硬件结合的拍类运动可视训练装置可视化界面图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种软硬件结合的拍类运动可视训练装置，技术框架如图1所示，包括设备采集模块、数据分析模块、质量评价模块和结果可视化。

设备采集模块，如图2所示，使用现有的物联网设备，由WitMotion2开发的WT901WIFI 1(图2E)来收集球员在训练期间的运动数据。这种传感器设备比较便携(尺寸：51mm*36mm*15mm，重量：20g)，从而尽可能减少传感器对受训者击球表现的影响。每个设备都包含一个九轴陀螺仪，用于收集运动信号值，即运动物体的三维加速度、角速度和角度，如图3所示。它可以通过WiFi以高达200Hz的频率传输收集到的三维加速度、角速度和角度数据。在我们的实施过程中，我们将频率设置为20Hz，因为20Hz足以收集受训者的详细运动学特征。而且该设备的内置电池可支持其连续工作两小时，详细参数如表1所示。

表1传感器设备参数

在训练过程中，使用了四个这样的传感器设备，分别固定在学员的右臂、右手腕、左手腕和球拍手柄上。轴方向如图2D所示，在这项工作中保持一致。在听取专家的意见后，我们将设备固定在学员的上肢。通过反复试验选择了这四个点。在训练数据处理模型时，发现使用多个设备的数据可以提高模型的表现。因此，最终决定使用四个传感器。

数据标注的辅助设备包括多个定制球(图2A)、发球机(图2B)和高速摄像机(图2C)等。

定制化的乒乓球：在每个球上画了6个标记(即上、下、左、右、后和前)，如图2A所示。这些标记可以帮助高速摄像机(图2C)测量速度和自旋。所有测量数据作为真实数据来训练用于估计球速和转速的模型。

发球机：我们使用发球机来进行连续击球训练，如图2B。发球机能以不同的速度、旋转和位置连续稳定发球。发出的球的速度最大可达5米/秒。转速最大可达50转/秒(包括弧圈或搓球)。通过调整放置位置可以使球的落点覆盖半张球桌。使用了一个遥控器来控制它发球的类型。

高速摄像机：我们使用了一个高速摄像机来测量球的速度和自旋的真实数据。选择了一个帧率为1000Hz，分辨率为640*480像素的相机。拍摄的视频是黑白的。将测量得到的球速和球自旋作为球速标签和球自旋标签。

数据分析模块，用于使用球拍的加速度信号来检测峰值，因为在加速度信号的所有轴上都存在明显的峰值，如图3所示。检测过程包括能量计算和峰值检测两个步骤。首先，我们计算了在t时刻加速度信号的能量，如下，

E(t)＝acc_x(t)²+acc_y(t)²+acc_z(t)²

其中，acc_x(t)、acc_y(t)、acc_z(t)表示t时刻X轴、Y轴和Z轴的信号值。在这一步之后，峰被突出显示并且比以前更明显。其次，采用峰值检测算法来查找信号中的峰值。使用了python包SciPy 3中的signal.find_peaks函数作为峰值检测算法。本申请没有使用高通巴特沃斯滤波器来进一步放大峰值。这样做是因为峰值足够明确，可以在第一步之后即被检测到。因此，我们去除了过滤器以节省计算时间。

在检测到波峰序列之后，我们通过为每个峰值设置一个范围来提取所有的击球序列。具体步骤为：

对于第i个峰值P_i，范围是

其中

是P_i的时间戳，δt是自定义的持续时间。将δt设置为0.75s，通过较长的持续时间保存足够的数据来保证速度和转速估计的准确性。第j个击球事件S_j的各轴信号包含30个采样点(20Hz*(0.75s+0.75s)＝30个点)，S_j的传感器数据可以用第m个张量V_m来描述，其中，V_m∈R^{4(设备)×9(维度)×30(采样点)}。

针对乒乓球的两种技术属性进行识别：击球位置和击球技术。击球位置代表了一个球员在击球时的位置。击球技术表示玩家用来击球的技术。在这里，我们重点关注了两种最常见的击球姿势(即正手和反手)和三种最常见的击球技术(即弧圈，搓球，和摆短)在训练期间。为了准确识别属性，使用了五个神经网络模型：LSTM(向LSTM网络添加了一个全连接层)，DF21，随机森林，XGBoost，和LightGBM。基于击球事件S_j对应的击球位置和击球技术通过损失函数训练神经网络模型得到识别模型。识别模型公式为：

F_r(V_m)＝(Pos_j,Tec_j)

其中，F_r为识别模型。击球位置和击球技术在训练中很少改变。因此，可以很容易地将其标记为模型训练。我们最终为每种技术和位置标记了100次击球。

根据专家的建议，我们估计了球的速度和转速，因为这两项是教练需要参考的重要指标。之前，Blank等人创建了一个完善的物理模型来估计这两个指标。但是该方法对物理系数很敏感。例如，如果没有精确测量球拍橡胶的摩擦系数和恢复系数，结果的误差可能很大。这些系数需要由分析师手动测量，这不可避免地会导致这些系数的偏差。因此，我们没有参考这种物理模型。相反，我们构建了一个回归模型来估计基于传感器数据的速度和自旋。通过神经网络模型的训练得到回归模型，神经网络模型包括LSTM、DF21、随机森林、XGBoost或LightGBM，基于高速摄像机获得球速标签和球自旋标签通过损失函数训练神经网络模型得到回归模型。经过训练后，该模型可以在没有附加系数的情况下估计各指标。模型的输入为V_m，输出为S_j的速度Spd_j和自旋Spn_j，如下：

F_e(V_m)＝(Spd_j,Spn_j)

其中，F_e为估计模型。我们根据定制的球(图2A)和高速摄像机(图2C)来标记每次击球的速度和转速。高速摄像机可以捕捉到球上标记的详细移动。针对这些高速摄像机录制的视频，本申请开发了一个注释工具来标记速度和旋转。最终为弧圈、搓球和摆短分别标记了100次击球。标记了不同技术的击球，因为不同技术之间的速度和旋转有很大的差异，如表2所示

表2不同技术的球速转速统计

质量评价模块，帮助教练评估每次击球的质量，并给出优化建议。

在评估不同类型的击球时，教练的知识很重要。然而，教练的知识过于复杂，无法精确地量化以进行自动评估。因此，我们提供了一个方法来整合上述信息和教练的知识的交互式方法，以发现表现不佳的击球，用于基于教练评估得到击球表现阈值，通过将击球位置、击球技术、球的速度或自旋与击球表现阈值进行比较得到不良击球事件集合pS＝pS₁,…,pS_m，m为不良击球事件数量，通过pV_q(pV_q∈R^{4(设备)×9(维度)×30(采样点)})来表示pS_q(pS_q∈pS)的传感器数据。

本申请引用了“反事实”的概念来生成训练优化的建议，因为“反事实”可以为机器学习模型提供对人友好的解释。它可以生成优化的数据实例，此数据实例输入预测模型后可以得到一个期望的预测结果。反事实函数的训练过程为：通过将调整元素后的不良击球事件张量pS_q输入至识别模型和/或回归模型得到输出值，输出值与击球表现阈值同时输入至损失函数以训练初始反事实函数，达到设定损失值后得到训练后的反事实函数。

将不良击球事件张量pV_q输入至反事实函数以调整张量中的元素得到满足击球表现阈值的优化击球事件张量集合

r为优化击球事件张量个数，

表示第f个优化击球事件张量，通过优化击球事件张量集合得到多项优化建议，修改的元素越少，优化效果就越好。

是pV_q的优化结果，只有几个元素与pV_q不同。它与pV_q的形式相同，可以作为建议来说明如何调整动作以提高击球质量。为了使

对教练来说更直观，我们将

可视化(图4J)以帮助教练理解这些建议。此外，本申请计算了每个建议的可行性。具体来说，我们使用pV_q和

之间距离的倒数来衡量

的可行性，第g个可行性值

如下所示

其中Dist()是计算两个张量的欧氏距离的函数。这样，如果

与pV_q相似，那么

就会很大，这自然意味着

的可行性是高的。

结果可视化，具体实施方式提供的软硬件结合的拍类运动可视训练装置包含两个视图，一个训练视图和一个建议视图，如图4所示，训练视图对识别的技术属性以及每个击球的估计速度和旋转做出可视化。此外，教练可以在此视图中交互式地评估每次击球的质量。如果教练发现一个表现不佳的击球，他/她可以选择它进行优化。选择后，建议视图对击球的多个优化建议做出可视化。教练可以评估每个建议的可行性并选择最佳的一个。我们使用React.js开发前端和Python开发后端。在训练过程中，学员需要按要求佩戴物联网设备，如图5A所示，教练需要通过Wi-Fi将系统与设备连接。开启设备后，系统会立即接收到设备的数据。有了数据，系统会自动识别属性并估计指标。属性和指标的结果将在系统中同时可视化，如图5B所示，这样，教练就可以实时监控学员的表现，并第一时间为学员提供反馈。

训练视图以流的形式将检测到的击球及其技术属性和标识可视化。每个流程显示连续发球训练中的所有击球(图4C)。我们使用一个图标编码一个流中的每次击球。具体的编码方法如下。

球速和转速，本申请使用了一个仪表盘的比喻方式来编码一次击球的球速和转速(图6A)，因为这两个指标都与速度的概念有关。弧长编码球速/转速的值。用黄色表示球速，用红色表示转速。这种颜色编码在系统中是统一的。

击球技术乒乓球上有14种击球技术(例如，弧圈、搓球，摆短等)。本申请使用类别型通道来编码这些信息是困难的，因为它包含太多类别。因此，本申请用缩写来编码技术(图6B)。

击球姿势乒乓球有四种击球姿势，即正手、反手、侧身和反侧身。它们代表了球员在击球时的姿势和球员相对于桌子的相对位置。因此，我们使用位置通道来编码它们。如图6C所示，我们使用四个弧线对四个击球位置进行编码。突出显示的圆弧表示一个特定击球的击球位置。

如图4所示，软硬件结合的拍类运动可视训练装置可视化界面图由三部分组成：元数据面板(图4A)、控制面板(图4B)和流式图(图4F)。元数据面板(图4A)显示训练课程的基本信息。它包括训练ID和受训者的头像。控制面板(图4B)控制培训过程的开始和结束。此外，它使用条形图显示平均值，误差条显示训练课程中球速和转速的标准误差。有了这些信息，教练可以轻松评估击球质量。他们可以在条形图上设置一个阈值，以有效地找到表现不佳的击球。流式图显示训练过程中的击球(图4F)。训练前的流式图是空的。一旦物联网设备打开，学员开始击球，流式图中的图标数量将逐渐增加(图4F)。由于流式图的空间有限，我们无法同时显示训练过程中的所有击球。因此，我们在击球底部放置了一排点作为概览(图4E)。每个点对应于击球的图标(图4G)。

创建一个新的训练过程：教练需要点击训练视图右上角的“新的训练”按钮来创建一个新的训练过程所对应的空白训练流程(图4I)。然后，教练需要完成一个如图6D所示的表单。他们需要填写训练的基本数据(即受训者姓名、训练时间和传感器数据路径)，并将传感器与受训者的身体部位及球拍绑定。表单完成后，系统将在训练视图中创建一个新的空白流。然后，教练可以单击开始按钮(图4B中的左上角)，使系统开始在流式图上实时可视化新的击球动作。当训练过程结束，教练可以点击停止按钮(图4B中左中)，流式图将停止呈现后续击球事件。此外，教练还可以通过点击“历史训练”按钮加载历史训练进行分析(图4H)。

评估击球：教练可以拖动条形图上的滑块来设置质量评估的阈值。将滑块拖动到理想位置后，点击评估按钮(图4B左下方)，球速/转速低于阈值的击球图标将在流式图中突出显示(图4G).此外，在概览中其相应的点也会以黑色突出显示。教练很容易发现表现不佳的击球。

建议视图包含两个子视图：建议列表(图4J)和3-D视图(图4K)。所选表现不佳的击球的属性和指标显示在建议视图的顶部作为参考(图4M)。教练可以点击“优化”按钮生成击球建议。建议列表显示排名前八的优化建议

每行显示每个建议

的预期速度和旋转。此外，还提供了每个建议的可行性。教练可以根据这三个指标来选择他们想要的建议。一旦教练选择了一个建议，基于该建议重建的轨迹将显示在3-D视图中(图4K)。

3-D视图对建议中所有四个传感器的轨迹进行可视化。由于每个建议

代表表现不佳的击球的优化传感器数据，我们可以基于

重建轨迹。我们参考了广泛使用的基本推测领航法进行重建。基本推测领航法的基本思想是累积在假设速度和加速度恒定的每个时间间隔内发生的位移。因此，我们在

中使用了四个传感器的加速度(acc_x(t),acc_y(t),acc_z(t))数据，并有两个假设进行重建。首先，我们找到了数据中加速度最小(接近于零)的点t₀(t₀∈[0,30))。我们将此点设置为轨迹的起点，因为我们假设在这一点上，受训者保持准备好的动作并且所有传感器都是静态的

其次，我们假设两个采样点t_i和t_i+1之间的加速度a_i是恒定的，因为t_i和t_i+1之间只有0.05秒。有了这些假设，我们计算了传感器在t_i处的速度

如下：

其中，Δt为两个采样点之间的持续时间。根据速度，我们可以用加速度数据计算出t_i和t_i+1之间的位移D_i，如下：

最后，我们累积了传感器的所有位移，重建其轨迹如下：

通过这种方式，我们在三维视图中用蓝色重建了一个优化建议的所有四种轨迹。此外，我们还用红色字体重建了表现不佳的击球运动轨迹，以供比较。二者的起点是重合的。这样，教练就可以旋转图来有效地比较轨迹。

本发明的有益效果为：

配置适当的设备。应仔细考虑设备的参数和安装位置等配置，因为这些因素会影响所收集数据的质量。例如，如果安装位置选择错误，特定动作的运动学特征就无法在数据中明显反映出来。

提取有意义的数据。从原始传感器数据中提取有意义的运动数据对于进一步分析至关重要。原始传感器数据记录了玩家动作的所有细节。它不可避免地包含一些无意义的信息，例如热身过程中的动作。我们需要通过检测和提取有意义的运动数据来去除这些无用的数据，例如球拍运动中的击球。

识别技术属性。提取的数据仍然过于抽象，教练无法理解。我们应该根据提取的数据识别动作的技术属性。例如，在乒乓球的多球训练中，应识别每一次击球的技术(如弧圈、搓球等)和位置(正手、反手等)。借助技术属性，教练可以了解传感器数据的基本含义。

估计重要指标。仅识别技术行为不足以进行培训分析。在和专家的交流中了解到，击球的球速和转速等因素是教练员评估训练质量的重要指标。对这些指标进行量化估算，可以帮助教练为学员提供准确的建议，解决教练的痛点。

评估培训质量。多球训练要求受训者以高频率连续击球。教练即使知道击球速度和旋转的量化值，也无法有效地评估每一次击球。因此，我们应该提供方法来帮助教练有效地评估每一次击球，以便教练和受训者能够及时获得反馈。

生成由数据驱动的建议。根据访谈结果，教练经常为受训者提供知识驱动的建议。然而，这样的建议并不总是有效，有时是有偏见的。因此，我们应该为教练提供数据驱动的建议。通过整合知识和数据，教练可以为学员提供更有效的建议。

设计直观的可视化。可视化是弥合复杂数据和用户之间差距的一种有效方式。可视化可以方便教练对基于物联网的训练方法进行解读和应用。但是，需要认真考量一个问题：可视化对于教练来说应该是直观的。基本图表和基于隐喻的设计是解决这个问题的好选择。

我们对Tac-Trainer中用到的波峰检测技术、不同模型在属性识别和球速转速的估计进行了效果评估。

表3波峰检测模型的表现

精度	召回率	准确度	F<sub>1</sub>值
				0.998	0.998	0.995	0.998

我们使用845个标注过的击球事件来测试峰值检测方法的表现。在测试过程中，该方法表现良好，仅漏掉了两次击球，错误检测了两次击球。测试的准确率、召回率、准确率和F₁分数列于表2中。

表4不同模型在属性识别中的准确度

属性识别：我们使用了10-fold交叉验证来评估不同模型的性能。表3显示了各模型的精度和训练时间。虽然除XGBoost外所有模型的准确性都是100％，但是随机森林的训练时间优于其他模型。因此，我们最终选择了随机森林作为属性识别的模型。

球速和转速估计

我们为弧圈、搓球和摆短分别标记了100次击球。我们标记了不同技术的击球，因为不同技术之间的速度和旋转有很大的差异，如表1所示。我们尝试了与完成属性识别时同样的五种模型来进行球速和转速估计。我们使用平均绝对百分比误差来评估每个模型的性能。具体评价结果见表4，我们发现了随机森林在速度估计(8.6％)和转速估计(7.21％)方面的误差都最小，优于其他模型。因此，我们最终选择了随机森林作为回归模型。我们咨询了专家对这个误差的接受程度。专家们说，他们可以接受这个小于10％的错误，因为他们想做的不是分辨10.1米/秒和10.2米/秒，而是分辨10米/秒和11米/秒。

表5球速转速的误差估计

实施例1

本节说明了我们与来自学校体育队的一名教练和两名球员T1(男性，24岁)和T2(男性，21岁)进行的两个用例研究。教练已经为学校体育队服务了五年多。他教过校队相当多的球员。两名球员都是惯用右手的球员，他们使用两侧反胶的横板球拍。

案例1：T1想在比赛中提高他的进攻技术。他选择弧圈球进行训练，因为弧圈球是一种经常使用的进攻技术，需要极高的速度和旋转。教练调整了发球机的设置，使其发球到T1的正手长距离。然后教练创建了一个新的训练过程，T1开始使用上旋球击球(图5)。在此训练期间，教练检查了训练视图中显示的每个击球的速度和旋转。他评论说，这非常方便，因为培训过程被准确量化、记录和可视化。他可以高效而全面地分析T1的表现。根据训练流程，教练发现T1的击球速度和旋转有波动。他观察了T1的动作，猜测是T1拍的太高导致球的速度低、后旋低。带着猜测，教练停止了训练，使用系统进行分析。他将速度滑块移动到13米/秒，发现大多数击球的速度不合格，如图4E所示。为了验证他的猜测，他选择了一个表现不佳的击球(图4G)并点击了“优化”按钮。在建议列表中，由于预期的速度不合格，教练没有选择可行性最高的那个。权衡利弊后，他选择了第三个，并关注“球拍”情节(图4L)。图中蓝色轨迹低于红色，表示系统建议T1击球时应降低球拍。这个结果验证了教练的猜测。教练说，这个功能为他的猜测提供了一个原理证明，可以节省很多试错的时间，因为他们在给出建议时往往需要依靠自己的知识和经验。

教练将这个建议告诉了T1，并开始了第二次训练。一开始，T1表现不错，速度和旋转都达到了教练的标准。然而，在几十次击球之后，击球质量开始下降。教练解释说，一开始，T1通过降低球拍来改善击球。但是，一段时间后，T1可能会感到疲倦，因为上旋球是一项消耗大量体力的技术，而忘记了优化的动作。因此，下半场训练的击球质量下降。我们向T1询问了解释。T1表示，下半场他确实感到疲惫，动作扭曲。

实施例2

T2想加强他的控制技术，简而言之。搓球是对手发球后常用的控制技术。它需要高旋转才能有效控制。但是，与弧圈球相比，短球的转速要低得多，如表1所示。教练设置发球机，使其发球到T1的反手近台处。此外，球还带有后旋，以模拟对手的发球情况。在训练流程的帮助下，教练发现击球的转速不合格图7A。所有击球的转速均低于40转/秒。他随机选择了一个表现不佳的击球图7C进行优化。

教练查看了建议列表，并选择了一个可以将转速提高到45转/秒的建议。他进一步探讨了这一优化建议的四个轨迹。在探索过程中，他表示这个系统的一个很重要的特点是，它不仅可以通过数据驱动的方法来验证和提炼他的经验和知识，还可以为他提供训练优化的新视角，比他只能靠想象和猜测主观判断更为高效可靠。右手腕对应传感器的优化轨迹对他来说是有意义的图7D。他解释说，T2应该将他的右手腕斜向下移动，以延长球和橡胶之间的摩擦时间，如蓝色轨迹如图7D所示。原来的(红色)轨迹表明T2的右手腕几乎是水平移动的，这会更早地弹起球，几乎没有时间摩擦。缺乏摩擦是导致转速低的一个重要原因。然后，教练把优化建议告诉了T2，T2开始了新的训练课。这一次，T2右手腕斜向下移动，以延长摩擦时间。如图7B所示，T2的short技术的转速得到了改善，远高于第一次训练。

Tac-Trainer为教练创造了一种新的训练模式。这种模式解决了传统训练模式的两个局限。首先，通过该系统，所有技术属性和指标都可以被量化、记录和可视化，以进行交互式探索。教练可以全面准确地分析学员的表现模式。

其次，教练在给学员提建议时，只能依靠自己的经验和知识，这在培训期间并不总是奏效。一旦出现新的训练问题，他需要通过反复试验来调整建议。在我们的系统中，生成的建议可以提供数据驱动的原理证明，验证和完善他的建议并激发新的建议。在此之前，尽管已经引入了相当多的其他数据驱动方法来解决这个限制，但这些方法对他并不友好，因为底层数学模型的学习曲线很高。他说，与这些方法不同，Tac-Trainer提供了一个交互式可视化界面，让他进入了数据驱动训练的循环。

我们将可视化分析作为关键组成部分，充分探索协调物联网设备和可视化分析的不同途径，并根据我们的实践提出了一个物联网+可视分析框架Tac-Trainer。与常规的可视化分析框架不同，Tac-Trainer追溯数据源，为物联网设备配置、传感器数据处理、数据推理和物联网数据可视化提供指导。为了评估该框架，我们实施了乒乓球训练的概念验证系统，并进行了两个关于提高受训者击球技术的案例研究。通过这项工作，我们确定了物联网和可视化分析之间的相辅相成关系，即可视化分析可以普及物联网的应用，而物联网可以缓解诸如可视化分析的数据质量和可扩展性等问题。我们希望这项工作可以促进体育领域的培训，并启发IoT4VA和VA4IoT的未来研究。

Claims (9)

1.一种软硬件结合的拍类运动可视训练装置，其特征在于，包括：

设备采集模块，用于通过高速摄像机获得球速标签和球自旋标签，通过在人体和球拍上的传感器检测运动信号值；

数据分析模块，用于基于运动信号值通过能量计算方法和峰值检测方法得到波峰序列，设定每个波峰的范围，在每个波峰范围内的击球事件传感器数据通过张量表示，通过神经网络模型的训练分别得到识别模型和回归模型，将击球事件张量输入至识别模型得到对应的击球位置和击球技术，将击球事件张量输入至回归模型得到球的速度和自旋；

质量评价模块，用于基于教练评估得到击球表现阈值，通过将击球位置、击球技术、球的速度或自旋与击球表现阈值进行比较得到不良击球事件集合；将不良击球事件张量输入至反事实函数以调整张量中的元素得到满足击球表现阈值的优化击球事件张量集合，将不良击球事件张量和满足优化击球事件张量之间距离的倒数作为多项优化建议可行性值，通过基本推测领航法可视化每个满足击球表现阈值的击球事件张量的轨迹。

2.根据权利要求1所述的软硬件结合的拍类运动可视训练装置，其特征在于，设备采集模块还包括定制化的球和发球机，定制化的球上具有6个标记，即上、下、左、右、后和前标记，发球机，用于将定制化的球以不同的速度和自旋发射至不同的位置，基于定制化球上的标记通过高速摄像机测量球速和球自旋，将测量得到的球速和球自旋作为球速标签和球自旋标签。

3.根据权利要求1所述的软硬件结合的拍类运动可视训练装置，其特征在于，通过在运动员的左右手腕、右臂和球拍上的传感器检测运动员信号值，远动员信号值包括三维加速度、角速度和角度。

4.根据权利要求1所述的软硬件结合的拍类运动可视训练装置，其特征在于，基于运动信号值通过能量计算方法和峰值检测方法得到波峰序列，通过能量计算方法得到的t时刻的能量值E(t)为：

E(t)＝acc_x(t)²+acc_y(t)²+acc_z(t)²

其中，acc_x(t)、acc_y(t)、acc_z(t)分别表示t时刻X轴、Y轴和Z轴的信号值；峰值检测方法为SciPy 3中的signal.find_peaks函数。

5.根据权利要求1所述的软硬件结合的拍类运动可视训练装置，其特征在于，在每个波峰范围内的击球事件传感器数据通过张量表示，包括：

设定第i个波峰P_i范围为

是P_i的时间戳，δt为设定时间，基于设定时间和传感器的采样频率得到对应的第j个击球事件S_j的采样点数量，击球事件S_j的传感器数据通过张量V_m来表示，V_m∈R^a×b×c，其中，a为传感器数量，b为信号值维度，c为采样点数量，m为张量的索引。

6.根据权利要求1所述的软硬件结合的拍类运动可视训练装置，其特征在于，通过神经网络模型的训练得到识别模型，包括：

神经网络模型包括LSTM、DF21、随机森林、XGBoost或LightGBM，基于击球事件对应的击球位置和击球技术通过损失函数训练神经网络模型得到识别模型。

7.根据权利要求1所述的软硬件结合的拍类运动可视训练装置，其特征在于，通过神经网络模型的训练得到回归模型，包括：

神经网络模型包括LSTM、DF21、随机森林、XGBoost或LightGBM，基于高速摄像机获得球速标签和球自旋标签通过损失函数训练神经网络模型得到回归模型。

8.根据权利要求1所述的软硬件结合的拍类运动可视训练装置，其特征在于，反事实函数的训练过程为：

通过将调整元素后的不良击球事件张量输入至识别模型和/或回归模型得到输出值，输出值与击球表现阈值同时输入至损失函数以训练初始反事实函数，达到设定损失值后得到训练后的反事实函数。

9.根据权利要求1所述的软硬件结合的拍类运动可视训练装置，其特征在于，通过基本推测领航法可视化每个满足击球表现阈值的击球事件张量的轨迹T为：

其中，为s为采样点的索引，n为采样点的个数，a_l为第l个加速度，t₀为起始采样点，t_s为第s个采样带你，Δt为两个采样点之间的持续时间，D_s为第s个采样点对应的位移。

Images