CN110610173A - 基于Mobilenet的羽毛球动作分析系统及方法 - Google Patents

Abstract

本发明公开了一种基于Mobilenet的羽毛球动作分析系统及方法。本发明通过常见标准动作和常见错误动作的数据库，系统在大量截图图片生成数据库的基础上，额外建模生成标准动作和常见错误动作加以规范化。并通过多个角度同时采集羽毛球球员图片以增加识别概率，系统使用五个摄像头，同一时刻采集五个角度的羽毛球球员图片。本发明通过机器学习手段实现了对羽毛球动作频率与规范性的分析。

Description

基于Mobilenet的羽毛球动作分析系统及方法

技术领域

本发明涉及行为识别技术领域，具体涉及一种基于Mobilenet的羽毛球动作分析系统及方法。

背景技术

人类行为识别的目的是通过一系列的观察，对人类的动作类型、行为模式进行分析和识别，并使用自然语言等方式对其进行描述的计算机技术。由于人类行为的复杂性和多样性，往往识别出的结果是多样性的，并且连带着行为类型的概率输出的。

随着信息技术的发展，各种移动设备和可穿戴设备正在以加速度的方式增长，其性能和嵌入的传感器也变的多样化，例如：高清相机、光传感器、陀螺仪传感器、加速度传感器、GPS以及温度传感器等。各种各样的传感器都在时刻的记录着使用者的信息，这些记录信息不仅可以用于用户位置的预测，也可以进行用户行为的识别等。

目前，最常见的行为识别系统结构包括几个模块：目标检测、目标跟踪、行为识别。人类行为识别的难点在：类内和类间差异，同样一个动作，不同人的表现可能有极大的差异；环境差异，遮挡、多视角、光照、低分辨率、动态背景；时间变化，人在执行动作时的速度变化很大，很难确定动作的起始点，从而在对视频或照片流提取特征表示动作时影响最大；缺乏标注良好的大的数据集。

当今羽毛球成为一项热门运动，对羽毛球的动作分析成为了很多人的需求。现在的分析方式往往是通过视觉观察，并由经验推断，没有形成动作分析的体系。单纯依靠观察，主观性强且效率低，通过计算机直接分析羽毛球的动作就有了重大意义。

随着卷积神经网络应用的普及，图像处理成为了当今一个迅速发展的方向。虽然各类图像处理的新方案层出不穷，但是实现行为处理的方法还是较为少见。现有的几种针对羽毛球的处理方案往往处理粗糙，且未成体系。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于Mobilenet的羽毛球动作分析系统及方法解决了羽毛球动作分析结果不准确的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于Mobilenet的羽毛球动作分析系统，包括依次连接的数据采集模块、测试数据库和Mobilenet卷积神经网络；

所述数据采集模块，用于采集羽毛球球员在5个角度的5段羽毛球球员影像；

所述测试数据库，用于将数据采集模块得到的5段羽毛球球员影像转换为5个角度对应的5组图片序列；

所述Mobilenet卷积神经网络，用于将5组图片序列与标准数据库和辅助数据库进行对比分析，得到动作分析结果。

进一步地：所述5个角度包括羽毛球球员的右侧、左侧、后侧、右后侧和左后侧。

进一步地：所述数据采集模块通过HOG+SVM对每一帧羽毛球球员影像进行人体检测，当检测结果从可以检测到人体变化到无法检测到人体时，保存该帧影像，当检测结果从无法检测到人体变化到可以检测到人体时，停止保存该帧影像。

一种基于Mobilenet的羽毛球动作分析系统方法，包括以下步骤：

S1、通过标准动作建立标准数据库，通过常见错误动作建立辅助数据库；

S2、通过数据采集模块的摄像头采集5个角度的羽毛球球员影像，并通过测试数据库将羽毛球球员影像转换为5组图片序列；

S3、通过Mobilenet卷积神经网络将5组图片序列与标准数据库和辅助数据库进行对比，得到匹配结果；

S4、通过Mobilenet卷积神经网络对匹配结果进行分析，得到动作分析结果。

进一步地：所述标准数据库的建立方法为：选取教学视频中的标准动作，将标准动作按顶部击球、侧身抄球、直立发球、弯腰挑球和弓步搓球5个姿势进行分类，对分类后的标准动作通过MAYA软件进行3D建模得到标准动作的模型，对标准动作的模型多次截取5个角度的图片作为Mobilenet卷积神经网络的标准数据库。

进一步地：所述辅助数据库的建立方法为：选取教学视频中指出的常见错误动作，将错误动作按顶部击球、侧身抄球、直立发球、弯腰挑球和弓步搓球5个姿势进行分类，对分类后的错误动作通过MAYA软件进行3D建模得到错误动作的模型，对错误动作的模型多次截取5个角度的图片作为Mobilenet卷积神经网络的辅助数据库。

进一步地：所述步骤S3的具体步骤为：

将每个角度的图片序列做归一化处理，使得图片的灰度值在-1到1之间，对归一化后的图片利用模板匹配法分割人物和背景，再通过SoftMax转移函数更新权值，提取人物的动作特征，将人物的动作特征与标准数据库和辅助数据库中各动作的特征值进行比对，得到人物的动作特征与标准动作的匹配概率以及与错误动作的匹配概率。

进一步地：所述步骤S4的具体步骤为：

当人物动作特征与标准动作的匹配概率小于0.42，该人物动作特征未匹配，不作记录；

当人物动作特征与标准动作的匹配概率大于0.42且小于0.76，该人物动作特征匹配但不标准；

当人物动作特征与标准动作的匹配概率大于0.76，且与错误动作的匹配概率大于0.61时，该人物动作特征为错误动作；

当人物动作特征与标准动作的匹配概率大于0.76，且与错误动作的匹配概率小于0.61时，该人物动作特征为标准动作。

本发明的有益效果为：本发明通过常见标准动作和常见错误动作的数据库，系统在大量截图图片生成数据库的基础上，额外建模生成标准动作和常见错误动作加以规范化。并通过多个角度同时采集羽毛球球员图片以增加识别概率，系统使用五个摄像头，同一时刻采集五个角度的羽毛球球员图片。本发明通过机器学习手段实现了对羽毛球动作频率与规范性的分析。

附图说明

图1为本发明结构框图；

图2为本发明流程图；

图3为本发明实施例中顶部击球图像在右侧、左侧、后侧、右后侧与左后侧5个角度的示意图；

图4为本发明实施例中羽毛球球员在直立状态到非直立状态再到直立状态的示意图；

图5为本发明实施例中分析结果的GUI界面。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种基于Mobilenet的羽毛球动作分析系统，包括依次连接的数据采集模块、测试数据库和Mobilenet卷积神经网络；

所述数据采集模块，用于采集羽毛球球员在5个角度的5段羽毛球球员影像；5个角度包括羽毛球球员的右侧、左侧、后侧、右后侧和左后侧。

所述测试数据库，用于将数据采集模块得到的5段羽毛球球员影像转换为5个角度对应的5组图片序列；

所述Mobilenet卷积神经网络，用于将5组图片序列与标准数据库和辅助数据库进行对比分析，得到动作分析结果。

在本发明的一个实施例中，标准数据库的建立方法为：选取教学视频中的标准动作，将标准动作按顶部击球、侧身抄球、直立发球、弯腰挑球和弓步搓球5个姿势进行分类，对分类后的标准动作通过MAYA软件进行3D建模得到标准动作的模型，对标准动作的模型多次截取5个角度的图片作为Mobilenet卷积神经网络的标准数据库。

在本发明的一个实施例中，辅助数据库的建立方法为：选取教学视频中指出的常见错误动作，将错误动作按顶部击球、侧身抄球、直立发球、弯腰挑球和弓步搓球5个姿势进行分类，对分类后的错误动作通过MAYA软件进行3D建模得到错误动作的模型，对错误动作的模型多次截取5个角度的图片作为Mobilenet卷积神经网络的辅助数据库。

单角度3D建模人物图，跳杀动作的右侧面图像。属于顶部击球的范畴，为右手挥拍左手引拍的姿势。如图3所示，是对上述模型通过五个角度分别描述的情况，五张图片分别对应右侧、左侧、后侧、右后侧与左后侧。

被测人员在做技术动作时，必然会经历准备动作-技术动作-结束动作这三个流程，如图4所示。经过调研发现，这三个流程可以简化为三种站立状态：近似直立状态-非直立状态-近似直立状态。检测是否为直立状态可以通过基于HOG(方向梯度直方图)+SVM(支持向量机)的人体检测进行判断。如果检测到人体，则认为当前帧不是包含技术动作的关键帧。从可以检测到人体变换到无法检测到人体，说明动作已经开始，将帧保存为图片；从无法检测到人体变换到可以检测到人体，说明动作已经完成，停止保存帧，并且将该过程中保存到的图片发送给实时分析系统。

由于不同角度对不同动作的敏感程度不一致，例如被测人员背后的摄像头检测扣杀、平抽较为准确，左前方45度检测挑球等动作更为准确。为了避免只有部分摄像头检测到运动开始，当任意摄像头最先检测到动作开始的时候，则发送广播报文通知其他角度的摄像头也开始进入保存帧的状态；当此摄像头检测到动作结束的时候，则发送广播报文通知其他角度的摄像头停止保存帧，并且将帧发送给实时分析系统。

如图2所示，一种基于Mobilenet的羽毛球动作分析系统方法，包括以下步骤：

S1、通过标准动作建立标准数据库，通过常见错误动作建立辅助数据库；

S2、通过数据采集模块的摄像头采集5个角度的羽毛球球员影像，并通过测试数据库将羽毛球球员影像转换为5组图片序列；

S3、通过Mobilenet卷积神经网络将5组图片序列与标准数据库和辅助数据库进行对比，得到匹配结果；具体步骤为：

将每个角度的图片序列做归一化处理，使得图片的灰度值在-1到1之间，对归一化后的图片利用模板匹配法分割人物和背景，再通过SoftMax转移函数更新权值，提取人物的动作特征，将人物的动作特征与标准数据库和辅助数据库中各动作的特征值进行比对，得到人物的动作特征与标准动作的匹配概率以及与错误动作的匹配概率。

S4、通过Mobilenet卷积神经网络对匹配结果进行分析，得到动作分析结果。

具体步骤为：

当人物动作特征与标准动作的匹配概率小于0.42，该人物动作特征未匹配，不作记录；

当人物动作特征与标准动作的匹配概率大于0.42且小于0.76，该人物动作特征匹配但不标准；

当人物动作特征与标准动作的匹配概率大于0.76，且与错误动作的匹配概率大于0.61时，该人物动作特征为错误动作；

当人物动作特征与标准动作的匹配概率大于0.76，且与错误动作的匹配概率小于0.61时，该人物动作特征为标准动作。

Mobilenet卷积神经网络的训练部分流程如下：先搭建CNN并初始化权值矩阵，并将标准数据库导入，其中标准数据库由爱羽客网站和各大赛事上符合要求的羽毛球球员照片。在进入神经网络前，对图像矩阵预处理，把矩阵各元素的值约束在-1和1之间。

把归一化的矩阵通过模板匹配法，实现图像分割，关键点在于利用人物轮廓内相邻像素值相差不大而轮廓内外相差大的特点，即羽毛球球员服饰和肤色与场地背景明显不同的特点，有效避免场地因素对人类行为的干扰。通过误差估计函数tanh，第一次神经网络更新后，修改初始权值。

将训练好的网络模型保存在本地，等待从本地测试数据库提取摄像头的拍摄照片。

神经网络模型的处理部分流程如下：把摄像头采集到的图片按照顺序读入，并分别以灰度值矩阵的形式作为卷积神经网络的输入。在进入神经网络前，对该矩阵预处理，再把归一化的矩阵进行图像分割。将分割完成的图像矩阵依次通过共三个bottleneck模块，传递函数为SoftMax，在卷积层中，通过卷积函数不仅可以提取到全局的特征值，还能有效降低矩阵大小：用卷积核对原图片降维。

在输出层得到该图像矩阵和5种标准姿势的匹配概率和匹配度，在和标准姿势比对时，对于不同的动作，不同角度的权值不同：比如对于扣杀动作，左侧和右侧的权值应明显高于另外3个角度。5中常见的错误姿势也使用该方法。

如图5是基于Mobilenet的羽毛球姿势实时分析处理系统析系统结果的GUI界面，下截取了120次测试所得结果。其指标包括出现频率与标准率，不显示常见错误的准确度。

出现频率可以通过与数据库大数据对比表现出球员的相对偏好。由于不同动作出现标准率本身就不同，可以与数据库的建议指标对比，来判断球员对不同击球方式的选择频率高低。

标准率则可以相对地体现出球员对对各类打法的熟悉程度，为之后的训练提供参考。如发球等标准率必然较高，而抄球与搓球等平时锻炼少，往往姿势不够标准，故也可以通过长期使用，给出一个建议值。

Claims (8)

1.一种基于Mobilenet的羽毛球动作分析系统，其特征在于，包括依次连接的数据采集模块、测试数据库和Mobilenet卷积神经网络；

所述数据采集模块，用于采集羽毛球球员在5个角度的5段羽毛球球员影像；

所述测试数据库，用于将数据采集模块得到的5段羽毛球球员影像转换为5个角度对应的5组图片序列；

所述Mobilenet卷积神经网络，用于将5组图片序列与标准数据库和辅助数据库进行对比分析，得到动作分析结果。

2.根据权利要求1所述的基于Mobilenet的羽毛球动作分析系统，其特征在于，所述5个角度包括羽毛球球员的右侧、左侧、后侧、右后侧和左后侧。

3.根据权利要求1所述的基于Mobilenet的羽毛球动作分析系统，其特征在于，所述数据采集模块通过HOG+SVM对每一帧羽毛球球员影像进行人体检测，当检测结果从可以检测到人体变化到无法检测到人体时，保存该帧影像，当检测结果从无法检测到人体变化到可以检测到人体时，停止保存该帧影像。

4.一种基于Mobilenet的羽毛球动作分析系统方法，其特征在于，包括以下步骤：

S1、通过羽毛球球员的标准动作建立标准数据库，通过羽毛球球员的常见错误动作建立辅助数据库；

S2、通过数据采集模块的摄像头采集5个角度的羽毛球球员影像，并通过测试数据库将羽毛球球员影像转换为5组图片序列；

S3、通过Mobilenet卷积神经网络将5组图片序列与标准数据库和辅助数据库进行对比，得到匹配结果；

S4、通过Mobilenet卷积神经网络对匹配结果进行分析，得到动作分析结果。

5.根据权利要求4所述的基于Mobilenet的羽毛球动作分析系统，其特征在于，所述标准数据库的建立方法为：选取教学视频中羽毛球球员的标准动作，将标准动作按顶部击球、侧身抄球、直立发球、弯腰挑球和弓步搓球5个姿势进行分类，对分类后的标准动作通过MAYA软件进行3D建模得到标准动作的模型，对标准动作的模型多次截取5个角度的图片作为Mobilenet卷积神经网络的标准数据库。

6.根据权利要求4所述的基于Mobilenet的羽毛球动作分析系统，其特征在于，所述辅助数据库的建立方法为：选取教学视频中羽毛球球员指出的常见错误动作，将错误动作按顶部击球、侧身抄球、直立发球、弯腰挑球和弓步搓球5个姿势进行分类，对分类后的错误动作通过MAYA软件进行3D建模得到错误动作的模型，对错误动作的模型多次截取5个角度的图片作为Mobilenet卷积神经网络的辅助数据库。

7.根据权利要求4所述的基于Mobilenet的羽毛球动作分析方法，其特征在于，所述步骤S3的具体步骤为：

将每个角度的图片序列做归一化处理，使得图片的灰度值在-1到1之间，对归一化后的图片利用模板匹配法分割人物和背景，再通过SoftMax转移函数更新权值，提取人物的动作特征，将人物的动作特征与标准数据库和辅助数据库中各动作的特征值进行比对，得到人物的动作特征与标准动作的匹配概率以及与错误动作的匹配概率。

8.根据权利要求4所述的基于Mobilenet的羽毛球动作分析方法，其特征在于，所述步骤S4的具体步骤为：

当人物动作特征与标准动作的匹配概率小于0.42，该人物动作特征未匹配，不作记录；

当人物动作特征与标准动作的匹配概率大于0.42且小于0.76，该人物动作特征匹配但不标准；

当人物动作特征与标准动作的匹配概率大于0.76，且与错误动作的匹配概率大于0.61时，该人物动作特征为错误动作；

当人物动作特征与标准动作的匹配概率大于0.76，且与错误动作的匹配概率小于0.61时，该人物动作特征为标准动作。