CN114863237A - 一种用于游泳姿态识别的方法和系统 - Google Patents

Abstract

本发明提出一种用于游泳姿态识别的方法和系统。所述方法包括：由位于不同位置上的多个数据采集装置，采集多组包含游泳者的游泳姿态的视频数据，作为待识别数据；对所述待识别数据进行预处理，以从所述待识别数据中获取经归一化的关键帧数据；利用卷积神经网络，从所述经归一化的关键帧数据中确定所述游泳者的关节特征信息，所述关节特征信息为所述经归一化的关键帧数据中的所述游泳者的各个关节的位置信息；根据所述各个关节的位置信息，将所述各个关节进行有序连接，以获取所述游泳者的骨架图；基于欧式距离，计算所述游泳者的骨架图与游泳姿态标准骨架图之间的相似度，所述相似度用于纠正所述游泳者的游泳姿态。

Description

一种用于游泳姿态识别的方法和系统

技术领域

本发明属于姿态识别领域，尤其涉及一种用于游泳姿态识别的方法和系统。

背景技术

游泳是深受广大群众喜爱的一项运动，也是许多高校的必修课程，但在游泳教学过程中，由于学员在水中进行训练，给教学带来很大的挑战。传统的教学方法主要靠教员的岸上观察和经验对学员进行指导，很难做到精准纠错，教学效果大大折扣。现有的技术主要通过视频采集学员的动作，反复观看视频，来判断动作是否正确，结果还是要依靠教员的经验来判断，还是不能做到精准纠错。在教学中，各班级人员之间相互混杂，安全就成了教学过程中最大的挑战，给教员带来很大的压力，影响了教员集中精力的抓教学。此外，由于游泳本身的危险性及游泳池本身的特殊性，游泳溺亡事件总有发生，限制了游泳运动的发展，同时，在泳池也不易开展针对性的教学，上述两方面综合作用使得当前游泳及其教学都面临多方面困难。现有技术缺少对正确动作和错误动作进行对比以及产生纠正/预警信息的关注。

此外，目前对姿态识别的技术包括传感器获取动作的光流图，此类方法虽然精确，但是传感器的携带，对游泳者来说会产生障碍，降低动作的准确性，同时由于动作的复杂性，会使得部分传感器的数据由于脱而丢失，造成识别数据的不完整性。另一种方法是利用深度学习网络，当目前训练的网路较为简单，并且是二维的学习网络，只对空间信息产生学习效果，而没有顾及到时间上的信息。传统的RGB图像的动作识别方法容易受到光照、遮挡以及视角变化等因素的影响，识别度不够高。

发明内容

本发明提出了一种用于游泳姿态识别的方案，已解决上述技术问题。

本发明第一方面公开了一种用于游泳姿态识别的方法。所述方法包括：

步骤S1、由位于不同位置上的多个数据采集装置，采集多组包含游泳者的游泳姿态的视频数据，作为待识别数据；

步骤S2、对所述待识别数据进行预处理，以从所述待识别数据中获取经归一化的关键帧数据；

步骤S3、利用卷积神经网络，从所述经归一化的关键帧数据中确定所述游泳者的关节特征信息，所述关节特征信息为所述经归一化的关键帧数据中的所述游泳者的各个关节的位置信息；

步骤S4、根据所述各个关节的位置信息，将所述各个关节进行有序连接，以获取所述游泳者的骨架图；

步骤S5、基于欧式距离，计算所述游泳者的骨架图与游泳姿态标准骨架图之间的相似度，所述相似度用于纠正所述游泳者的游泳姿态。

根据本发明第一方面的方法，所述多个数据采集装置安装于泳池边的支架上，所述支架与所述泳池边的滑道连接，当所述游泳者处于游动状态时，所述支架跟踪采集所述包含游泳者的游泳姿态的视频数据；所述支架包含位于水上的第一支架结构、位于水位线的第二支架结构、位于水下的第三支架结构，各个直接结构上安装有若干个从不同角度采集所述视频数据数据采集装置。

根据本发明第一方面的方法，所述步骤S2具体包括：以固定采样的方式对所述待识别数据进行采样处理，以获取采样帧集合；从所述采样帧集合中提取包含至少一个完整游泳动作的若干连续帧；对所述若干连续帧中的每一帧进行傅里叶变换和高斯滤波操，并利用统计平均的方法对所述每一帧进行归一化处理。

根据本发明第一方面的方法，所述卷积神经网络包括四个卷积层、两个池化层、一个全连接层，所述步骤S3具体包括：利用第一卷积层，通过设置时域信息卷积步长和空间信息卷积步长，将所述经归一化的关键帧数据转换为灰度图；利用第一池化层从所述灰度图中提取权重大于第一阈值的图像特征；利用第二、三、四对所述权重大于第一阈值的图像特征进行升维处理；利用第二池化层对经升维处理的图像特征进行二次升维处理，以输出经二次升维处理的图像特征；利用全连接层对所述经二次升维处理的图像特征中确定所述经归一化的关键帧数据中的各个关节；利用损失函数提取所述各个关节的坐标值作为所述关节特征信息。

根据本发明第一方面的方法，在所述二次升维处理中：获取所述经升维处理的图像特征在分辨率上的多尺度表示的子网，对于所述多尺度表示的子网中的每个子网，依次串行连接所述子网中的特征；在深度进程上从高分辨率到低分辨率依次并行连接各个尺度表示子网；具体包括：第i层子网中的第j个特征与第i+1层子网中的第j+1个和第j+2个特征融合后被馈送至所述第i层子网中的第j+4个特征，1≤i≤M，M表示从所述高分辨率到所述低分辨率依次排列的所述多尺度表示的子网的层数，1≤j≤N，N表示所述没层子网中的特征数。

根据本发明第一方面的方法，在所述步骤S5中，利用如下公式计算第m个关节所述相似度：

其中，D_m表示所述相似度，x_o、y_o表示所述游泳姿态标准骨架图中第m个关节的位置信息，x_i、y_i表示所述游泳者的骨架图中对应的第m个关节的位置信息。

根据本发明第一方面的方法，当所述相似度小于第二阈值时，判定所述游泳者的游泳姿态为标准姿态；当所述相似度不小于第二阈值时，判定所述游泳者的游泳姿态为非标准姿态，并生成纠正提示信息。

根据本发明第一方面的方法，在所述步骤S5中，纠正所述游泳者的游泳姿态具体包括：

利用如下公式计算第i张所述游泳者的骨架图的相似分数s_i：

利用如下公式计算所述游泳者的全部骨架图的平均相似分数

其中，t表示时间，单位为秒，n表示所述待识别数据的持续时间，单位为秒，a²表示所述游泳者的全部骨架图的张数；

以所述相似分数和所述平均相似分数为依据，对所述游泳者的游泳姿态进行纠正。

本发明第二方面公开了一种用于游泳姿态识别的系统。所述系统包括：

第一处理单元，被配置为，调用位于不同位置上的多个数据采集装置，采集多组包含游泳者的游泳姿态的视频数据，作为待识别数据；

第二处理单元，被配置为，对所述待识别数据进行预处理，以从所述待识别数据中获取经归一化的关键帧数据；

第三处理单元，被配置为，利用卷积神经网络，从所述经归一化的关键帧数据中确定所述游泳者的关节特征信息，所述关节特征信息为所述经归一化的关键帧数据中的所述游泳者的各个关节的位置信息；

第四处理单元，被配置为，根据所述各个关节的位置信息，将所述各个关节进行有序连接，以获取所述游泳者的骨架图；

第五处理单元，被配置为，基于欧式距离，计算所述游泳者的骨架图与游泳姿态标准骨架图之间的相似度，所述相似度用于纠正所述游泳者的游泳姿态。

根据本发明第二方面的系统，所述多个数据采集装置安装于泳池边的支架上，所述支架与所述泳池边的滑道连接，当所述游泳者处于游动状态时，所述支架跟踪采集所述包含游泳者的游泳姿态的视频数据；所述支架包含位于水上的第一支架结构、位于水位线的第二支架结构、位于水下的第三支架结构，各个直接结构上安装有若干个从不同角度采集所述视频数据数据采集装置。

根据本发明第二方面的系统，第二处理单元具体被配置为：以固定采样的方式对所述待识别数据进行采样处理，以获取采样帧集合；从所述采样帧集合中提取包含至少一个完整游泳动作的若干连续帧；对所述若干连续帧中的每一帧进行傅里叶变换和高斯滤波操，并利用统计平均的方法对所述每一帧进行归一化处理。

根据本发明第二方面的系统，所述卷积神经网络包括四个卷积层、两个池化层、一个全连接层，第三处理单元具体被配置为：利用第一卷积层，通过设置时域信息卷积步长和空间信息卷积步长，将所述经归一化的关键帧数据转换为灰度图；利用第一池化层从所述灰度图中提取权重大于第一阈值的图像特征；利用第二、三、四对所述权重大于第一阈值的图像特征进行升维处理；利用第二池化层对经升维处理的图像特征进行二次升维处理，以输出经二次升维处理的图像特征；利用全连接层对所述经二次升维处理的图像特征中确定所述经归一化的关键帧数据中的各个关节；利用损失函数提取所述各个关节的坐标值作为所述关节特征信息。

根据本发明第二方面的系统，第三处理单元具体被配置为：在所述二次升维处理中，获取所述经升维处理的图像特征在分辨率上的多尺度表示的子网，对于所述多尺度表示的子网中的每个子网，依次串行连接所述子网中的特征；在深度进程上从高分辨率到低分辨率依次并行连接各个尺度表示子网；具体包括：第i层子网中的第j个特征与第i+1层子网中的第j+1个和第j+2个特征融合后被馈送至所述第i层子网中的第j+4个特征，1≤i≤M，M表示从所述高分辨率到所述低分辨率依次排列的所述多尺度表示的子网的层数，1≤j≤N，N表示所述没层子网中的特征数。

根据本发明第二方面的系统，第五处理单元具体被配置为：利用如下公式计算第m个关节所述相似度：

其中，D_m表示所述相似度，x_o、y_o表示所述游泳姿态标准骨架图中第m个关节的位置信息，x_i、y_i表示所述游泳者的骨架图中对应的第m个关节的位置信息。

根据本发明第二方面的系统，当所述相似度小于第二阈值时，判定所述游泳者的游泳姿态为标准姿态；当所述相似度不小于第二阈值时，判定所述游泳者的游泳姿态为非标准姿态，并生成纠正提示信息。

根据本发明第二方面的系统，第五处理单元具体被配置为：纠正所述游泳者的游泳姿态具体包括：

利用如下公式计算第i张所述游泳者的骨架图的相似分数s_i：

利用如下公式计算所述游泳者的全部骨架图的平均相似分数

其中，t表示时间，单位为秒，n表示所述待识别数据的持续时间，单位为秒，a²表示所述游泳者的全部骨架图的张数；

以所述相似分数和所述平均相似分数为依据，对所述游泳者的游泳姿态进行纠正。

本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种用于游泳姿态识别的方法中的步骤。

本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种用于游泳姿态识别的方法中的步骤。

综上，本发明的技术方案利用卷积神经网络来替代现有的传感器动作识别方法，使得从深度图像提取的位置信息不易受到光照，视角变化的影响，并能简化人物与背景的分离提取操作。利用该卷积神经网络，可以提取图像的深度信息。同时，改进神经网络的输入，使得神经网络的训练速度和训练效果得到提升。对关键动作的每一个关节处进行全面的评估，能使得教练员和游泳者可以得到更加详细的动作错误点，为后续制定更加详细的训练方案。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的一种用于游泳姿态识别的方法的流程图；

图2a为根据本发明实施例的数据采集装置的第一示意图；

图2b为根据本发明实施例的数据采集装置的第二示意图；

图2c为根据本发明实施例的数据采集装置的第三示意图；

图2d为根据本发明实施例的数据采集装置的第四示意图；

图2e为根据本发明实施例的二次升维处理的示意图；

图3为根据本发明实施例的一种用于游泳姿态识别的系统的结构图；

图4为根据本发明实施例的一种电子设备的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明第一方面公开了一种用于游泳姿态识别的方法。图1为根据本发明实施例的一种用于游泳姿态识别的方法的流程图，如图1所示，所述方法包括：步骤S1、由位于不同位置上的多个数据采集装置，采集多组包含游泳者的游泳姿态的视频数据，作为待识别数据；步骤S2、对所述待识别数据进行预处理，以从所述待识别数据中获取经归一化的关键帧数据；步骤S3、利用卷积神经网络，从所述经归一化的关键帧数据中确定所述游泳者的关节特征信息，所述关节特征信息为所述经归一化的关键帧数据中的所述游泳者的各个关节的位置信息；步骤S4、根据所述各个关节的位置信息，将所述各个关节进行有序连接，以获取所述游泳者的骨架图；步骤S5、基于欧式距离确定所述游泳者的骨架图与游泳姿态标准骨架图之间的相似度，所述相似度用于纠正所述游泳者的游泳姿态。

在步骤S1，由位于不同位置上的多个数据采集装置，采集多组包含游泳者的游泳姿态的视频数据，作为待识别数据。

在一些实施例中，所述多个数据采集装置安装于泳池边的支架上，所述支架与所述泳池边的滑道连接，当所述游泳者处于游动状态时，所述支架跟踪采集所述包含游泳者的游泳姿态的视频数据；所述支架包含位于水上的第一支架结构、位于水位线的第二支架结构、位于水下的第三支架结构，各个直接结构上安装有若干个从不同角度采集所述视频数据数据采集装置。

在另一些实施例中(如图2a所示)，所述图像采集装置为摄像机，所述支架为伸缩杆，所述滑道为移动底座，移动底座上方的摄像机位于水上，移动底座下方的摄像机位于水下，水下的摄像机具有遮蔽罩。

在另一些实施例中(如图2b所示)，图2a中的结构被应用于泳池场景中，并搭配有计算机系统和音响来辅助完成整体的图像跟踪/采集过程。具体地，以上场景至少包括：计算机系统(软硬件)、高清摄像机(水上、水下)、传输线缆、音响设备、打印设备；通过水上和水下摄影机对动作姿态进行识别，两组(或多租)摄像机安装在一个支架上，可以移动，一个从空中拍摄、一个水下拍摄，水下摄像机可以进行位置和方向调节，可以放置池底向上拍摄，也可以放置池壁，向侧面拍摄，不用时还可以收起。泳池四周可以设置长度为50米或25米的特训泳道，并安装摄像机进行拍摄纠错，摄像机的位置设置在特训道上方和水下各4台或2台，水上从上方拍摄，水下可以根据需要调节放置池壁或池底拍摄；计算机系统收到视频，执行上述游泳姿态识别的方法中的步骤，以获取识别结果/纠正建议。

其中，系统组成应该是一个边缘计算设备，连接多个网络相机成为计算机硬件系统，网络相机无需传输线缆，通过网卡或串口即可连接，作为展示的软件系统应该提供音响设备实时告警，或者通过web页面，安卓或ios端app应用实时操控相机抓拍和查看告警信息。系统收到相机实时抓拍信息，会跟踪监测人体和人体关键点在过去一段时间内的多维度变化来综合判断，并直接利用训练好的算法模型来检测。

在另一些实施例中(如图2c所示)，对于50米特训泳道，可以放置多个(四个)图2a中的结构，并对采集到的视频数据进行融合处理，以获取所述待识别数据。

在另一些实施例中(如图2d所示)，还可以在深水区/浅水区的空中区域布置所述数据采集装置，以获取不同角度/位置上游泳者的视频数据。

在步骤S2，对所述待识别数据进行预处理，以从所述待识别数据中获取经归一化的关键帧数据。

在一些实施例中，所述步骤S2具体包括：以固定采样的方式对所述待识别数据进行采样处理，以获取采样帧集合；从所述采样帧集合中提取包含至少一个完整游泳动作的若干连续帧；对所述若干连续帧中的每一帧进行傅里叶变换和高斯滤波操，并利用统计平均的方法对所述每一帧进行归一化处理。

具体地，对收集上来的运动视频进行预处理。(1)视频连续帧的选取：对输入的视频，先采用固定采样的方法对视频进行提取帧集合A，设置每秒钟提取的帧数为a。考虑到存在不同的游泳动作序列，选取a²帧作为一个关键动作序列集合。从帧集合A中选定关键帧的起点帧，从该起点帧开始向后选取连续的a²帧作为输入集合。(2)每个关键帧的处理：将每一个关键帧进行傅里叶变换，然后进行高斯滤波操作。并将滤波后的图像统一缩放为128*128*3的图像，其中3为图像的RGB通道数,128*128表示图像的水平像素和垂直像素。由于自然图像的每个色彩通道都具有相同的统计分布规律，所以可以利用统计平均的方法归一化移除图像的平均亮度值。具体操作为：关键帧图像在某色彩通道的数值大小为k，该色彩通道的统计平均值在公开的数据集中的大小为

得到该关键帧图像在某色彩通道的归一化值表示为

需要对红，绿，蓝三个色彩通道分别归一化。完成上述数据预处理的部分，最终可以得到关键帧图像输入序列，该序列包含a²张可以表示为128*128*3的图像。

在步骤S3，利用卷积神经网络，从所述经归一化的关键帧数据中确定所述游泳者的关节特征信息，所述关节特征信息为所述经归一化的关键帧数据中的所述游泳者的各个关节的位置信息。

在一些实施例中，所述卷积神经网络包括四个卷积层、两个池化层、一个全连接层，所述步骤S3具体包括：利用第一卷积层，通过设置时域信息卷积步长和空间信息卷积步长，将所述经归一化的关键帧数据转换为灰度图；利用第一池化层从所述灰度图中提取权重大于第一阈值的图像特征(其中第一阈值可以通过预先设定目标阈值或者通过优化调整来确定，确定阈值的方式可以采用本领域技术中心常用的方式。)；利用第二、三、四对所述权重大于第一阈值的图像特征进行升维处理；利用第二池化层对经升维处理的图像特征进行二次升维处理，以输出经二次升维处理的图像特征；利用全连接层对所述经二次升维处理的图像特征中确定所述经归一化的关键帧数据中的各个关节；利用损失函数提取所述各个关节的坐标值作为所述关节特征信息。

具体地，人体关节的特征学习是通过3D卷积神经网络从大量的样本中学习得到的。神经网络从输入图像中提出关节特征。3D卷积神经网络的好处是可以在时间维度和空间维度对图像序列做出特征训练。具体包括四个卷积层、两个池化层以及一个全连接层。具体网络结构为：模型的初始输入数据为上述关键帧输入序列，维度大小为128*128*3*a²；第一卷积层是卷积核为3*3*3的卷积核，对于时域信息的卷积步长设置为2，空间信息的卷积步长设置为1.输出的通道数为64，此时RGB图片被转化为灰度图。后面紧接着是第一池化层，卷积核为3*3*1，步长为2。通过第一池化层之后可以保留图像特征中权重较大的信息，抛弃权重较小的特征信息。输出的通道数为32。后面是第二三四卷积层，卷积核均为1*1*1，此类层对输出通道进行了一次升维，输出通道数分别为64，128和256。接下来是第二池化层，又可以称为平均池化层，卷积核为1*1*1，步长为1.利用该层的学习，在整个卷积输出的特征图上求的平均值，加快的训练速度，同时也确保图中的信息不会发生丢失。输出维度为1024。最后是全连接层(输出层)，将经过第二池化层的特征图向量进行权重乘法重置，设定降低的特征图向量的维度为2m,其中m为需要考察的人体的关节数量。

最后经过损失函数softmax来指导模型的学习。损失函数softmax应该包含两个部分：第一部分连接到输出层的前m个神经元，输出的神经元值代表图像坐标系中下一关节点的x坐标值；第二部分连接到输出层的后m个神经元，输出的神经元值代表图像坐标系中下一关节点的y坐标值。通过x和y的值，可以唯一的确定关节点的空间位置信息。其中根据需要判定的人体关节数m的不同，损失函数随之变化。

在一些实施例中(如图2e所示)，在所述二次升维处理中：获取所述经升维处理的图像特征在分辨率上的多尺度表示的子网，对于所述多尺度表示的子网中的每个子网，依次串行连接所述子网中的特征；在深度进程上从高分辨率到低分辨率依次并行连接各个尺度表示子网；具体包括：第i层子网中的第j个特征与第i+1层子网中的第j+1个和第j+2个特征融合后被馈送至所述第i层子网中的第j+4个特征，1≤i≤M，M表示从所述高分辨率到所述低分辨率依次排列的所述多尺度表示的子网的层数，1≤j≤N，N表示所述没层子网中的特征数。

在步骤S4，根据所述各个关节的位置信息，将所述各个关节进行有序连接，以获取所述游泳者的骨架图。具体地，参照标准人体关节构造，对各个关节根据坐标位置有序连线，得到人体骨架图。

在步骤S5，基于欧式距离确定所述游泳者的骨架图与游泳姿态标准骨架图之间的相似度，所述相似度用于纠正所述游泳者的游泳姿态。

在一些实施例中，在所述步骤S5中，利用如下公式计算第m个关节所述相似度：

其中，D_m表示所述相似度，x_o、y_o表示所述游泳姿态标准骨架图中第m个关节的位置信息，x_i、y_i表示所述游泳者的骨架图中对应的第m个关节的位置信息；当所述相似度小于第二阈值时，判定所述游泳者的游泳姿态为标准姿态；当所述相似度不小于第二阈值时，判定所述游泳者的游泳姿态为非标准姿态，并生成纠正提示信息。其中第二阈值可以通过预先设定目标阈值或者通过优化调整来确定，确定阈值的方式可以采用本领域技术中心常用的方式。

在一些实施例中，在所述步骤S5中，纠正所述游泳者的游泳姿态具体包括：利用如下公式计算第i张所述游泳者的骨架图的相似分数s_i：

利用如下公式计算所述游泳者的全部骨架图的平均相似分数

其中，t表示时间，单位为秒，n表示所述待识别数据的持续时间，单位为秒，a²表示所述游泳者的全部骨架图的张数；以所述相似分数和所述平均相似分数为依据，对所述游泳者的游泳姿态进行纠正。

具体地，将得到游泳者人体骨架图和标准游泳动的人体骨架图进行比对分析，比对的方法可以是两张人体骨架图中相同关节的欧式距离,第m个关节之间的欧式距离可以通过以上公式计算得到，并设定阈值θ_m，该阈值同样可以通过几组标准游泳动作训练得到。若相同关节之间的欧式距离大于等于阈值，则判定两个动作不相似；如果相同关节之间的欧式距离小于阈值，则判定两个动作相似。同时将每一个动作中判定为不相似的关节部位做出标记。设第i个人体骨架图的得分s_i,s_i看作是该关键帧的分数，动作越相似，分数则越大；视频长度为n秒，则游泳者全部游泳动作的平均打分可以由

表示。将人体骨架比对结果、每一关键帧的分数以及全游泳动作的平均分数结果返回给游泳者本人和教练员。

在一些实施例中，前述计算机系统和数据采集装置还可以兼顾安全监控与位置预警，例如，在泳池的浅水区和深水区上方安装二个固定摄像机进行数据采集，对三种疑似溺水动作进行识别，一种是在水面上身体直立，且双(单)手臂上举剧烈摇摆或拍打水面；一种由于抽筋造成手臂无动作，身体呈向后倾斜，头部无节奏的上下沉浮。一种受到伤害或疾病没有任何动作漂浮在水面上，并且面部朝下；水下可以在四周池壁安装能移动的4至6个水下摄像机，对水上摄像机没有捕捉的溺水动作，溺水者沉入水底进行预警，或者由于受到伤害和疾病，在没有任何征兆的情况下沉入水底。为了保护游泳者的隐私权，水下摄像机镜头可以加遮蔽盖，遮蔽一定拍摄角度，只能拍摄距离池底50厘米高度的影像。如发现疑似溺水者，系统自动识别位置并通过音频报警。

本发明第二方面公开了一种用于游泳姿态识别的系统。图3为根据本发明实施例的一种用于游泳姿态识别的系统的结构图，如图3所示，所述系统300包括：

第一处理单元301，被配置为，调用位于不同位置上的多个数据采集装置，采集多组包含游泳者的游泳姿态的视频数据，作为待识别数据；

第二处理单元302，被配置为，对所述待识别数据进行预处理，以从所述待识别数据中获取经归一化的关键帧数据；

第三处理单元303，被配置为，利用卷积神经网络，从所述经归一化的关键帧数据中确定所述游泳者的关节特征信息，所述关节特征信息为所述经归一化的关键帧数据中的所述游泳者的各个关节的位置信息；

第四处理单元304，被配置为，根据所述各个关节的位置信息，将所述各个关节进行有序连接，以获取所述游泳者的骨架图；

第五处理单元305，被配置为，基于欧式距离，计算所述游泳者的骨架图与游泳姿态标准骨架图之间的相似度，所述相似度用于纠正所述游泳者的游泳姿态。

根据本发明第二方面的系统，所述多个数据采集装置安装于泳池边的支架上，所述支架与所述泳池边的滑道连接，当所述游泳者处于游动状态时，所述支架跟踪采集所述包含游泳者的游泳姿态的视频数据；所述支架包含位于水上的第一支架结构、位于水位线的第二支架结构、位于水下的第三支架结构，各个直接结构上安装有若干个从不同角度采集所述视频数据数据采集装置。

根据本发明第二方面的系统，第二处理单元302具体被配置为：以固定采样的方式对所述待识别数据进行采样处理，以获取采样帧集合；从所述采样帧集合中提取包含至少一个完整游泳动作的若干连续帧；对所述若干连续帧中的每一帧进行傅里叶变换和高斯滤波操，并利用统计平均的方法对所述每一帧进行归一化处理。

根据本发明第二方面的系统，所述卷积神经网络包括四个卷积层、两个池化层、一个全连接层，第三处理单元具体被配置为：利用第一卷积层，通过设置时域信息卷积步长和空间信息卷积步长，将所述经归一化的关键帧数据转换为灰度图；利用第一池化层从所述灰度图中提取权重大于第一阈值的图像特征；利用第二、三、四对所述权重大于第一阈值的图像特征进行升维处理；利用第二池化层对经升维处理的图像特征进行二次升维处理，以输出经二次升维处理的图像特征；利用全连接层对所述经二次升维处理的图像特征中确定所述经归一化的关键帧数据中的各个关节；利用损失函数提取所述各个关节的坐标值作为所述关节特征信息。

根据本发明第二方面的系统，第三处理单元具体被配置为：在所述二次升维处理中，获取所述经升维处理的图像特征在分辨率上的多尺度表示的子网，对于所述多尺度表示的子网中的每个子网，依次串行连接所述子网中的特征；在深度进程上从高分辨率到低分辨率依次并行连接各个尺度表示子网；具体包括：第i层子网中的第j个特征与第i+1层子网中的第j+1个和第j+2个特征融合后被馈送至所述第i层子网中的第j+4个特征，1≤i≤M，M表示从所述高分辨率到所述低分辨率依次排列的所述多尺度表示的子网的层数，1≤j≤N，N表示所述没层子网中的特征数。

根据本发明第二方面的系统，第五处理单元305具体被配置为：利用如下公式计算第m个关节所述相似度：

其中，D_m表示所述相似度，x_o、y_o表示所述游泳姿态标准骨架图中第m个关节的位置信息，x_i、y_i表示所述游泳者的骨架图中对应的第m个关节的位置信息。

根据本发明第二方面的系统，当所述相似度小于第二阈值时，判定所述游泳者的游泳姿态为标准姿态；当所述相似度不小于第二阈值时，判定所述游泳者的游泳姿态为非标准姿态，并生成纠正提示信息。

根据本发明第二方面的系统，第五处理单元305具体被配置为：纠正所述游泳者的游泳姿态具体包括：

利用如下公式计算第i张所述游泳者的骨架图的相似分数s_i：

利用如下公式计算所述游泳者的全部骨架图的平均相似分数

其中，t表示时间，单位为秒，n表示所述待识别数据的持续时间，单位为秒，a²表示所述游泳者的全部骨架图的张数；

以所述相似分数和所述平均相似分数为依据，对所述游泳者的游泳姿态进行纠正。

在一些实施例中，系统300的基本工作流程可以包括：

(1)前期硬件设备的铺设，软件系统的开发与部署(系统具备从图片中识别目标并提取其动作状态并存储为内部格式的功能)(系统支持从相机取抓拍流图片，经过算法模型的检测，提取特征，提取属性等，再送入数据持久化存储，用以存储图片和检测信息存入数据库，最后支持音响告警，web前端实时推送抓拍告警信息，app端实时推送)。

(2)利用软件系统录入(提前由真人在泳池示范)准溺水动作和规范运作，作为检测溺水和运作修正的比照样本(前期利用大量准溺水动作和规范动作等正例和反例来训练算法模型，之后利用算法模型对相机抓拍的图片进行检测，如果有条件的话，可以实现算法仓，支持算法模型的实时更新迭代，以及针对出现的bad case实时改进)。

(3)系统开始运作，由前端摄像头将泳池内情况拍摄成图片传回后端计算机系统处理，并根据情况做出反应(检测到溺水征兆时通过声音和图像进行警报)。具体包括：

(3.1)软件首先利用多个摄像头的图片进行目标对准，主要根据摄像头的位置和图片中人的位置，标的同一个目标(最新的跨镜匹配技术，综合几个相机的抓拍角度来判断同一个人不同角度下的行为)。

(3.2)对同一个目标进行姿态识别，与准溺水姿态进行对比，如果相近则标的为候选对象(无需对比，算法模型会直接给出结果)。

(3.3)持续对候选对象进行跟踪(达到一定时限)，达到判定条件也可警报(目标跟踪技术，一段时间内目标人的连续动作，身体关键点的运动角度，运动趋势，运动方向等多维度来判断是否达到告警阈值)

对于运作修正而言，捕捉并记录游泳人错误运作，与规范运作进行比对，并根据动作和后台揭示数据库给出修正建议。

本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种用于游泳姿态识别的方法中的步骤。

图4为根据本发明实施例的一种电子设备的结构图，如图4所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种用于游泳姿态识别的方法中的步骤。

综上，本发明的技术方案利用卷积神经网络来替代现有的传感器动作识别方法，使得从深度图像提取的位置信息不易受到光照，视角变化的影响，并能简化人物与背景的分离提取操作。利用该卷积神经网络，可以提取图像的深度信息。同时，改进神经网络的输入，使得神经网络的训练速度和训练效果得到提升。对关键动作的每一个关节处进行全面的评估，能使得教练员和游泳者可以得到更加详细的动作错误点，为后续制定更加详细的训练方案。

请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种用于游泳姿态识别的方法，其特征在于，所述方法包括：

步骤S1、由位于不同位置上的多个数据采集装置，采集多组包含游泳者的游泳姿态的视频数据，作为待识别数据；

步骤S2、对所述待识别数据进行预处理，以从所述待识别数据中获取经归一化的关键帧数据；

步骤S3、利用卷积神经网络，从所述经归一化的关键帧数据中确定所述游泳者的关节特征信息，所述关节特征信息为所述经归一化的关键帧数据中的所述游泳者的各个关节的位置信息；

步骤S4、根据所述各个关节的位置信息，将所述各个关节进行有序连接，以获取所述游泳者的骨架图；

步骤S5、基于欧式距离，计算所述游泳者的骨架图与游泳姿态标准骨架图之间的相似度，所述相似度用于纠正所述游泳者的游泳姿态。

2.根据权利要求1所述的一种用于游泳姿态识别的方法，其特征在于，其中：

所述多个数据采集装置安装于泳池边的支架上，所述支架与所述泳池边的滑道连接，当所述游泳者处于游动状态时，所述支架跟踪采集所述包含游泳者的游泳姿态的视频数据；

所述支架包含位于水上的第一支架结构、位于水位线的第二支架结构、位于水下的第三支架结构，各个直接结构上安装有若干个从不同角度采集所述视频数据数据采集装置。

3.根据权利要求2所述的一种用于游泳姿态识别的方法，其特征在于，所述步骤S2具体包括：

以固定采样的方式对所述待识别数据进行采样处理，以获取采样帧集合；

从所述采样帧集合中提取包含至少一个完整游泳动作的若干连续帧；

对所述若干连续帧中的每一帧进行傅里叶变换和高斯滤波操，并利用统计平均的方法对所述每一帧进行归一化处理。

4.根据权利要求3所述的一种用于游泳姿态识别的方法，其特征在于，所述卷积神经网络包括四个卷积层、两个池化层、一个全连接层，所述步骤S3具体包括：

利用第一卷积层，通过设置时域信息卷积步长和空间信息卷积步长，将所述经归一化的关键帧数据转换为灰度图；

利用第一池化层从所述灰度图中提取权重大于第一阈值的图像特征；

利用第二、三、四对所述权重大于第一阈值的图像特征进行升维处理；

利用第二池化层对经升维处理的图像特征进行二次升维处理，以输出经二次升维处理的图像特征；

利用全连接层对所述经二次升维处理的图像特征中确定所述经归一化的关键帧数据中的各个关节；

利用损失函数提取所述各个关节的坐标值作为所述关节特征信息；

其中，在所述二次升维处理中：

获取所述经升维处理的图像特征在分辨率上的多尺度表示的子网，对于所述多尺度表示的子网中的每个子网，依次串行连接所述子网中的特征；

在深度进程上从高分辨率到低分辨率依次并行连接各个尺度表示子网；具体包括：第i层子网中的第j个特征与第i+1层子网中的第j+1个和第j+2个特征融合后被馈送至所述第i层子网中的第j+4个特征，1≤i≤M，M表示从所述高分辨率到所述低分辨率依次排列的所述多尺度表示的子网的层数，1≤j≤N，N表示所述没层子网中的特征数。

5.根据权利要求4所述的一种用于游泳姿态识别的方法，其特征在于，在所述步骤S5中，利用如下公式计算第m个关节所述相似度：

其中，D_m表示所述相似度，x_o、y_o表示所述游泳姿态标准骨架图中第m个关节的位置信息，x_i、y_i表示所述游泳者的骨架图中对应的第m个关节的位置信息；

当所述相似度小于第二阈值时，判定所述游泳者的游泳姿态为标准姿态；

当所述相似度不小于第二阈值时，判定所述游泳者的游泳姿态为非标准姿态，并生成纠正提示信息。

6.根据权利要求5所述的一种用于游泳姿态识别的方法，其特征在于，在所述步骤S5中，纠正所述游泳者的游泳姿态具体包括：

利用如下公式计算第i张所述游泳者的骨架图的相似分数s_i：

利用如下公式计算所述游泳者的全部骨架图的平均相似分数

其中，t表示时间，单位为秒，n表示所述待识别数据的持续时间，单位为秒，a²表示所述游泳者的全部骨架图的张数；

以所述相似分数和所述平均相似分数为依据，对所述游泳者的游泳姿态进行纠正。

7.一种用于游泳姿态识别的系统，其特征在于，所述系统包括：

第一处理单元，被配置为，调用位于不同位置上的多个数据采集装置，采集多组包含游泳者的游泳姿态的视频数据，作为待识别数据；

第二处理单元，被配置为，对所述待识别数据进行预处理，以从所述待识别数据中获取经归一化的关键帧数据；

第三处理单元，被配置为，利用卷积神经网络，从所述经归一化的关键帧数据中确定所述游泳者的关节特征信息，所述关节特征信息为所述经归一化的关键帧数据中的所述游泳者的各个关节的位置信息；

第四处理单元，被配置为，根据所述各个关节的位置信息，将所述各个关节进行有序连接，以获取所述游泳者的骨架图；

第五处理单元，被配置为，基于欧式距离，计算所述游泳者的骨架图与游泳姿态标准骨架图之间的相似度，所述相似度用于纠正所述游泳者的游泳姿态。

8.根据权利要求7所述的一种用于游泳姿态识别的系统，其特征在于，其中：

所述多个数据采集装置安装于泳池边的支架上，所述支架与所述泳池边的滑道连接，当所述游泳者处于游动状态时，所述支架跟踪采集所述包含游泳者的游泳姿态的视频数据；

所述支架包含位于水上的第一支架结构、位于水位线的第二支架结构、位于水下的第三支架结构，各个直接结构上安装有若干个从不同角度采集所述视频数据数据采集装置。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至6中任一项所述的一种用于游泳姿态识别的方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至6中任一项所述的一种用于游泳姿态识别的方法中的步骤。

Images