CN109753891A - 基于人体关键点检测的足球运动员姿势校准方法及系统 - Google Patents
基于人体关键点检测的足球运动员姿势校准方法及系统 Download PDFInfo
- Publication number
- CN109753891A CN109753891A CN201811552467.1A CN201811552467A CN109753891A CN 109753891 A CN109753891 A CN 109753891A CN 201811552467 A CN201811552467 A CN 201811552467A CN 109753891 A CN109753891 A CN 109753891A
- Authority
- CN
- China
- Prior art keywords
- topological diagram
- posture
- standard
- convolutional neural
- neural networks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000010586 diagram Methods 0.000 claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000009471 action Effects 0.000 claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000003252 repetitive effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000007257 malfunction Effects 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 48
- 230000006870 function Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本公开公开了基于人体关键点检测的足球运动员姿势校准方法及系统，对标准足球运动员的同一个动作指令下的若干组视频数据，进行检测得到若干组人体骨架，计算所述若干组人体骨架位置求和的平均值作为标准姿势数据，得到标准姿势拓扑图；将实际姿势拓扑图与标准姿势拓扑图进行对比，根据已设定的阈值及两组数据之间的相似度判断足球运动员的姿势是否标准。可以对足球运动员错误动作进行识别与纠正，以此提高运动员的训练质量和有效性。
Description
技术领域
本公开涉及基于人体关键点检测的足球运动员姿势校准方法及系统。
背景技术
本部分的陈述仅仅是提高了与本公开相关的背景技术，并不必然构成现有技术。
利用计算机图像处理技术对人体动作进行识别成为当代的研究热点，然而目前却有极少的研究将计算机视觉运用到体育领域以对运动员动作进行识别分析。运动员动作的标准性关系着运动员训练的有效性，更关系着我国体育事业的发展，因此对足球运动员错误动作纠正系统的研究具有重要的现实意义。传统方法对于人体动作检测采用图像轮廓检测算法，通过对人体图像的边界检测以确定人体轮廓，提取动作特征。但这种算法识别效率低，识别效果差。
发明内容
为了解决现有技术的不足，本公开提供了基于人体关键点检测的足球运动员姿势校准方法及系统，其可以对足球运动员错误动作进行识别与纠正，以此提高运动员的训练质量和有效性。
第一方面，本公开提供了基于人体关键点检测的足球运动员姿势校准方法；
基于人体关键点检测的足球运动员姿势校准方法，包括：
对标准足球运动员的同一个动作指令下的若干组视频数据，进行检测得到若干组人体骨架，计算所述若干组人体骨架位置求和的平均值作为标准姿势数据，得到标准姿势拓扑图；
将实际姿势拓扑图与标准姿势拓扑图进行对比，根据已设定的阈值及两组数据之间的相似度判断足球运动员的姿势是否标准。
作为一种可能的实现方式，对标准足球运动员的同一个动作指令下的若干组视频数据，进行检测得到若干组人体骨架的具体步骤为：
S1：对足球运动员的动作视频数据进行采集，并将采集得到的视频数据进行逐帧提取并转换为RGB图像进行存储；
S2：将所存储的RGB图像传入预训练的卷积神经网络进行预处理，得到特征图；
S3：将特征图输入到预训练的多分支卷积神经网络中进行识别检测，得到特征图中人体骨骼点的像素位置以及骨骼点之间的连接关系；
S4：根据得到的骨骼点的像素位置，结合骨骼点之间的连接关系，将每一帧图像中输出的所有骨骼点连接成人体骨架。
作为一种可能的实现方式，所述步骤S1包括：
使用摄像头对足球运动员的动作数据进行采集；足球运动员的动作姿势是连续的，所以采集得到的数据为实时的视频数据；将视频数据按照RGB三通道图像的方式，即将视频数据拆分成若干帧图像，读取并保存作为后续运算的数据。
作为一种可能的实现方式，所述步骤S2包括如下步骤：
对所存储的RGB图像进行预处理；该预处理包括对原始图像进行缩小；
使用预训练的MobileNet卷积神经网络对预处理的图像进行特征提取，得到若干个特征图。
所述MobileNet卷积神经网络，包括但不限于：VGG16。
作为一种可能的实现方式，所述MobileNet卷积神经网络的预训练步骤为：利用ImageNet图像数据集对MobileNet卷积神经网络进行若干次迭代训练，MobileNet卷积神经网络的输入是ImageNet数据集中的图像，输出是图像的类别，一共为N类；利用随机梯度下降算法进行网络层参数的训练，经过反复迭代得到一个训练好的MobileNet卷积神经网络模型；
训练好的MobileNet卷积神经网络模型的最后一层为：全连接层和通过Softmax激活函数得到N类的概率向量，训练好的MobileNet卷积神经网络模型能够用于提取图像特征；
去掉训练好的MobileNet卷积神经网络模型中最后面的全连接层和Softmax激活函数，此时模型的最后一层输出为特征图，所述特征图包含原始图像的特征信息，将该特征图作为多分支卷积神经网络的输入。
作为一种可能的实现方式，多分支卷积神经网络结构共有三个分支：
第一分支用于预测特征图中人体骨骼点的像素位置，该分支输出特征图中像素的峰值点即人体骨骼点的像素位置，第一个分支的结构与卷积神经网络的结构一致，每一层卷积层均由卷积运算、批归一化和Relu激活函数组成，根据实际对运算速度和计算精度的要求，调整卷积层数；
第二分支用于预测人体骨骼点之间的连接关系，连接关系以向量的方式进行表示；在实际的输出结果中，两个骨骼点之间的连接向量信息是以正交分解后的形式进行输出，即X轴的向量分量和Y轴的向量分量，第二分支的结构与第一分支的网络结构是一致的，相同阶段中第一和第二分支的卷积层数是一致的，保证运算的同时性；
最后一个分支是原始图像，不进行任何处理过程；原始图像在多分支卷积神经网络每一个计算阶段结束的时候与第一个分支的输出结果进行叠加，然后将叠加后的结果传递给第一分支的下一个阶段；同理，原始图像在多分支卷积神经网络每一个计算阶段结束的时候与第二个分支的输出结果进行叠加，然后将叠加后的结果传递给第二分支的下一个阶段。
在多分支卷积神经网络的所有阶段均计算结束之后，最后一个阶段的输出只需要将本阶段的第一个分支与第二个分支的输出结果进行组合得到最终的结果，两个神经网络分支的输出结果分别是人体骨骼点的位置和人体骨骼点之间的连接关系，利用连接关系将特征图中的人体骨骼点进行连接，得到一个完整的骨骼拓扑图，即最终的输出结果。
多分支深度卷积神经网络中，采用3-7个阶段，阶段越多，计算的复杂度越高；阶段越少，识别的精度越低。对于不同的阶段，其内部的卷积神经网络的结构是一致的，但是会针对实际图像或中间运算得到的特征图的尺寸设置卷积核的尺寸和滑动步长。因此，需根据实际的运行效果选择一个合适的阶段数。
作为一种可能的实现方式，多分支卷积神经网络的训练过程的具体步骤为：
将MobileNet卷积神经网络得到的特征图作为多分支卷积神经网络的输入，初始化的时候特征图通过多层卷积过程后，最后一层得到骨骼点的位置和连接向量，将该输出结果与训练集中的标注值进行误差计算，通过随机梯度下降算法进行反向传播，经过多次迭代训练，多分支卷积神经网络的网络层参数不断修正，最终计算出骨骼点的像素位置和骨骼点之间的连接向量。
作为一种可能的实现方式，所述步骤S4得到了足球运动员实时运动姿势的的人体骨架图，即由骨骼点及其连接边构成的拓扑图。
作为一种可能的实现方式，所述将实际姿势拓扑图与标准姿势拓扑图进行对比，根据已设定的阈值及两组数据之间的相似度判断足球运动员的姿势是否标准，包括如下步骤：
S61：计算实际检测姿势拓扑图与标准姿势拓扑图相似度；
相似度通过实际检测姿势拓扑图与标准姿势拓扑图之间的差异值进行度量；
S62：拓扑图之间的差异值计算方式过程如下：将实际检测姿势拓扑图与标准姿势拓扑图中的所有相邻连接边夹角按顺序分别对应存放于两个数组中，计算实际检测姿势拓扑图与标准姿势拓扑图之间所有相对应夹角的差异值；差异值越小，说明运动员姿势与标准姿势越接近；
差异值计算公式：
其中，n表示角度个数，A[i]表示标准姿势的第i个角度，A'[i]表示使用者姿势的第i个角度；
S63：设置合理的阈值，作为足球运动员的姿势是否标准的依据；若差异值小于该阈值即判定足球运动员的姿势为标准姿势；否则，认为足球运动员的姿势是不标准的，如果是不标准的，就将实际检测姿势拓扑图与标准姿势拓扑图之间相对应角度的差异值超过设定阈值的角度的连接边标注颜色后，输出标注颜色的实际检测姿势拓扑图和标注颜色的标准姿势拓扑图，进而辅助完成足球运动员的姿势校准工作。
第二方面，本公开还提供了基于人体关键点检测的足球运动员姿势校准系统；
基于人体关键点检测的足球运动员姿势校准系统，包括：
标准姿势拓扑图获取模块，对标准足球运动员的同一个动作指令下的若干组视频数据，进行检测得到若干组人体骨架，计算所述若干组人体骨架位置求和的平均值作为标准姿势数据，得到标准姿势拓扑图；
姿势校准模块，将实际姿势拓扑图与标准姿势拓扑图进行对比，根据已设定的阈值及两组数据之间的相似度判断足球运动员的姿势是否标准。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面任一可能的实现方式中的方法。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面任一可能的实现方式中方法的步骤。
与现有技术相比，本公开的有益效果是：
本发明使用卷积神经网络，可以提高对图像特征提取能力；使用深度卷积神经网络，可以同时提高对图像整体的检测能力和对图像细节的检测能力；利用人体关键点检测，可以精准的描述单个足球静态姿势；利用自底向上的姿态检测过程，可以提高算法的运行速度。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明基于人体关键点检测的足球运动员姿势教学方法实现步骤；
图2为本发明中基于人体关键点检测的足球运动员姿势教学方法工作流程图；
图3为本发明中多分支卷积神经网络的结构示意图；
图4为本发明中人体关键点的拓扑图；
图5为本足球运动员运动姿势图；
图6为本发明进行检测识别后的人体骨架图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
参见图1，本发明所述的基于基于人体关键点检测的足球运动员姿势教学方法主要包括以下步骤：
S1：通过摄像头对足球运动员的动作数据进行采集，并将采集得到的视频数据进行逐帧提取转换为RGB图像格式进行存储。包括步骤：
S11：使用摄像头对足球运动员的动作数据进行采集；
S12：足球运动员的动作姿势是连续的，所以采集得到的数据为实时的视频数据；
S13：将视频数据按照RGB三通道图像的方式，即将视频数据拆分成若干帧图像，读取并保存到程序中以作为后续运算的数据。
S2：将所存储的RGB图像传入预训练的深度卷积神经网络进行预处理。包括步骤：
S21：将保存好的图像帧序列进行预处理；
S22：图像的预处理过程主要是对原始图像进行缩小，从而降低图像分辨率，可以有效地提高后期算法的计算速度，防止过拟合；
S23：使用预训练好的深度卷积神经网络对图像进行特征提取；
S24：对于S23中所陈述的深度卷积神经网络，利用经典图像分类数据集对该网络结构进行多次迭代训练，从而得到最优的网络权重模型。
S3：将处理后的特征图输入到训练好的多分支卷积神经网络中进行识别检测，得到特征图中人体骨骼点的像素位置以及骨骼点之间的连接关系信息。包括步骤：
S31：将经过深度卷积神经网络预处理得到的特征图输入到多分支卷积神经网络中；
S32：参见图3，多分支卷积神经网络网络结构共有三个分支；
S33：第一分支负责预测特征图中人体骨骼点的像素位置，该分支的输出图像类似一种热力图的形式，图像中像素数值较大的峰值点即人体骨骼点的大致像素位置；
S34：第二个分支负责预测人体骨骼点之间的连接关系，连接关系以一种向量的方式进行表示。在实际的输出结果中，两个骨骼点之间的连接向量信息是以正交分解后的形式进行输出，即X轴的向量分量和Y轴的向量分量；
S35：最后一个分支是原始图像，不进行任何处理过程。原始图像会在多分支卷积神经网络网络每一个计算阶段结束的时候分别与第一个分支、第二个分支的输出结果进行叠加，然后将叠加后的结果分别传递给下一个阶段的第一个分支和第二个分支；
S36：参见图3，多分支深度卷积神经网络中，一般采用3-7个阶段，阶段越多，计算的复杂度越高；阶段越少，识别的精度越低。因此，需根据实际的运行效果选择一个合适的阶段数；
S37：在多个阶段的多分支卷积神经网络计算结束之后，最后一个阶段的输出只需要将本阶段的第一个分支与第二个分支的输出结果进行组合得到最终的结果，与第三个分支的原始图像无关。
S4：根据得到的骨骼点在图像中的像素位置，结合骨骼点之间的连接关系，将一帧图像中输出的多个骨骼点连接成人体骨架。包括步骤：
S41：根据得到的骨骼点在图像中的像素位置，结合骨骼点之间的连接关系，将一幅图像中输出的多个骨骼点连接成人体骨架图；
S42：为了提高对足球姿势的检测精度，参见图4，本发明使用25个人体骨骼点的模型应用于实际的预测过程；
S43：每一帧实时图像经过上述步骤之后，参见图5、图6，得到了足球运动员实时运动姿势的的人体骨架图，即由骨骼点及其连接边构成的拓扑图；
S5：对相同姿势多组标准数据进行以上步骤的检测，得到一个平均结果作为标准姿势数据。包括步骤：
S51：使用上述步骤对相同姿势多组标准数据进行人体关键点的检测，得到一个平均结果做为标准姿势数据，即得到标准姿势拓扑图；
S52：将实际检测时的姿势拓扑图与标准姿势拓扑图进行对比；
S6：参见图2，将实际姿势数据拓扑图与标准姿势数据的拓扑图进行对比，根据已设定的阈值及两个拓扑图之间的相似度判断足球运动员的姿势是否标准。包括步骤：
S61：计算实际检测姿势拓扑图与标准姿势拓扑图相似度；
S62：相似度通过两张拓扑图之间的差异值进行度量；
S63：将实际检测姿势拓扑图与标准姿势拓扑图中的所有夹角按顺序分别对应存放于两个个数组中，计算出的实际检测姿势拓扑图与标准姿势拓扑图之间所有相对应夹角的差距。差异值越小，说明运动员姿势与标准姿势越接近；
S64：差异值计算公式：
其中，n表示角度个数，A[i]表示标准姿势的第i个角度，A'[i]表示使用者姿势的第i个角度；
S65：设置合理的阈值，作为足球运动员的姿势是否标准的依据。若差异值小于该阈值即判定足球运动员的姿势为标准姿势。
本公开还提供了基于人体关键点检测的足球运动员姿势校准系统；
基于人体关键点检测的足球运动员姿势校准系统，包括：
标准姿势拓扑图获取模块，对标准足球运动员的同一个动作指令下的若干组视频数据，进行检测得到若干组人体骨架，计算所述若干组人体骨架位置求和的平均值作为标准姿势数据，得到标准姿势拓扑图；
姿势校准模块，将实际姿势拓扑图与标准姿势拓扑图进行对比，根据已设定的阈值及两组数据之间的相似度判断足球运动员的姿势是否标准。
本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成方法中的各个操作，为了简洁，在此不再赘述。
应理解，在本公开中，该处理器可以是中央处理单元CPU，该处理器还算可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本公开所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外一点，所显示或讨论的相互之间的耦合或者直接耦合或者通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.基于人体关键点检测的足球运动员姿势校准方法，其特征是，包括：
对标准足球运动员的同一个动作指令下的若干组视频数据，进行检测得到若干组人体骨架，计算所述若干组人体骨架位置求和的平均值作为标准姿势数据，得到标准姿势拓扑图；
将实际姿势拓扑图与标准姿势拓扑图进行对比，根据已设定的阈值及两组数据之间的相似度判断足球运动员的姿势是否标准。
2.如权利要求1所述的方法，其特征是，对标准足球运动员的同一个动作指令下的若干组视频数据，进行检测得到若干组人体骨架的具体步骤为：
S1：对足球运动员的动作视频数据进行采集，并将采集得到的视频数据进行逐帧提取并转换为RGB图像进行存储；
S2：将所存储的RGB图像传入预训练的卷积神经网络进行预处理，得到特征图；
S3：将特征图输入到预训练的多分支卷积神经网络中进行识别检测，得到特征图中人体骨骼点的像素位置以及骨骼点之间的连接关系；
S4：根据得到的骨骼点的像素位置，结合骨骼点之间的连接关系，将每一帧图像中输出的所有骨骼点连接成人体骨架。
3.如权利要求2所述的方法，其特征是，所述步骤S1包括：
使用摄像头对足球运动员的动作数据进行采集；足球运动员的动作姿势是连续的，所以采集得到的数据为实时的视频数据；将视频数据按照RGB三通道图像的方式，即将视频数据拆分成若干帧图像，读取并保存作为后续运算的数据。
4.如权利要求2所述的方法，其特征是，所述步骤S2包括如下步骤：
对所存储的RGB图像进行预处理；该预处理包括对原始图像进行缩小；
使用预训练的MobileNet卷积神经网络对预处理的图像进行特征提取，得到若干个特征图。
5.如权利要求4所述的方法，其特征是，MobileNet卷积神经网络的预训练步骤为：利用ImageNet图像数据集对MobileNet卷积神经网络进行若干次迭代训练，MobileNet卷积神经网络的输入是ImageNet数据集中的图像，输出是图像的类别，一共为N类；利用随机梯度下降算法进行网络层参数的训练，经过反复迭代得到一个训练好的MobileNet卷积神经网络模型；
训练好的MobileNet卷积神经网络模型的最后一层为：全连接层和通过Softmax激活函数得到N类的概率向量，训练好的MobileNet卷积神经网络模型能够用于提取图像特征；
去掉训练好的MobileNet卷积神经网络模型中最后面的全连接层和Softmax激活函数，此时模型的最后一层输出为特征图，所述特征图包含原始图像的特征信息，将该特征图作为多分支卷积神经网络的输入。
6.如权利要求2所述的方法，其特征是，多分支卷积神经网络结构共有三个分支：
第一分支用于预测特征图中人体骨骼点的像素位置，该分支输出特征图中像素的峰值点即人体骨骼点的像素位置，第一个分支的结构与卷积神经网络的结构一致，每一层卷积层均由卷积运算、批归一化和Relu激活函数组成，根据实际对运算速度和计算精度的要求，调整卷积层数；
第二分支用于预测人体骨骼点之间的连接关系，连接关系以向量的方式进行表示；在实际的输出结果中，两个骨骼点之间的连接向量信息是以正交分解后的形式进行输出，即X轴的向量分量和Y轴的向量分量，第二分支的结构与第一分支的网络结构是一致的，相同阶段中第一和第二分支的卷积层数是一致的，保证运算的同时性；
最后一个分支是原始图像，不进行任何处理过程；原始图像在多分支卷积神经网络每一个计算阶段结束的时候与第一个分支的输出结果进行叠加，然后将叠加后的结果传递给第一分支的下一个阶段；同理，原始图像在多分支卷积神经网络每一个计算阶段结束的时候与第二个分支的输出结果进行叠加，然后将叠加后的结果传递给第二分支的下一个阶段；
在多分支卷积神经网络的所有阶段均计算结束之后，最后一个阶段的输出只需要将本阶段的第一个分支与第二个分支的输出结果进行组合得到最终的结果，两个神经网络分支的输出结果分别是人体骨骼点的位置和人体骨骼点之间的连接关系，利用连接关系将特征图中的人体骨骼点进行连接，得到一个完整的骨骼拓扑图，即最终的输出结果；
或者，
多分支卷积神经网络的训练过程的具体步骤为：
将MobileNet卷积神经网络得到的特征图作为多分支卷积神经网络的输入，初始化的时候特征图通过多层卷积过程后，最后一层得到骨骼点的位置和连接向量，将该输出结果与训练集中的标注值进行误差计算，通过随机梯度下降算法进行反向传播，经过多次迭代训练，多分支卷积神经网络的网络层参数不断修正，最终计算出骨骼点的像素位置和骨骼点之间的连接向量。
7.如权利要求1所述的方法，其特征是，所述将实际姿势拓扑图与标准姿势拓扑图进行对比，根据已设定的阈值及两组数据之间的相似度判断足球运动员的姿势是否标准，包括如下步骤：
S61：计算实际检测姿势拓扑图与标准姿势拓扑图相似度；
相似度通过实际检测姿势拓扑图与标准姿势拓扑图之间的差异值进行度量；
S62：拓扑图之间的差异值计算方式过程如下：将实际检测姿势拓扑图与标准姿势拓扑图中的所有相邻连接边夹角按顺序分别对应存放于两个数组中，计算实际检测姿势拓扑图与标准姿势拓扑图之间所有相对应夹角的差异值；差异值越小，说明运动员姿势与标准姿势越接近；
差异值计算公式：
其中，n表示角度个数，A[i]表示标准姿势的第i个角度，A'[i]表示使用者姿势的第i个角度；
S63：设置合理的阈值，作为足球运动员的姿势是否标准的依据；若差异值小于该阈值即判定足球运动员的姿势为标准姿势；否则，认为足球运动员的姿势是不标准的，如果是不标准的，就将实际检测姿势拓扑图与标准姿势拓扑图之间相对应角度的差异值超过设定阈值的角度的连接边标注颜色后，输出标注颜色的实际检测姿势拓扑图和标注颜色的标准姿势拓扑图，进而辅助完成足球运动员的姿势校准工作。
8.基于人体关键点检测的足球运动员姿势校准系统，其特征是，包括：
标准姿势拓扑图获取模块，对标准足球运动员的同一个动作指令下的若干组视频数据，进行检测得到若干组人体骨架，计算所述若干组人体骨架位置求和的平均值作为标准姿势数据，得到标准姿势拓扑图；
姿势校准模块，将实际姿势拓扑图与标准姿势拓扑图进行对比，根据已设定的阈值及两组数据之间的相似度判断足球运动员的姿势是否标准。
9.一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811552467.1A CN109753891A (zh) | 2018-12-19 | 2018-12-19 | 基于人体关键点检测的足球运动员姿势校准方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811552467.1A CN109753891A (zh) | 2018-12-19 | 2018-12-19 | 基于人体关键点检测的足球运动员姿势校准方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109753891A true CN109753891A (zh) | 2019-05-14 |
Family
ID=66403748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811552467.1A Pending CN109753891A (zh) | 2018-12-19 | 2018-12-19 | 基于人体关键点检测的足球运动员姿势校准方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109753891A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110327053A (zh) * | 2019-07-12 | 2019-10-15 | 广东工业大学 | 一种基于电梯空间的人体行为安全监测方法、设备及系统 |
| CN110841262A (zh) * | 2019-12-06 | 2020-02-28 | 郑州大学体育学院 | 一种基于可穿戴设备的足球训练系统 |
| CN111046858A (zh) * | 2020-03-18 | 2020-04-21 | 成都大熊猫繁育研究基地 | 一种基于图像的动物物种细分类方法、系统及介质 |
| CN111260647A (zh) * | 2020-03-12 | 2020-06-09 | 南京安科医疗科技有限公司 | 一种基于图像检测的ct扫描辅助方法、计算机可读存储介质、ct扫描装置 |
| CN111666844A (zh) * | 2020-05-26 | 2020-09-15 | 电子科技大学 | 一种羽毛球运动员运动姿态评估方法 |
| CN112364785A (zh) * | 2020-11-13 | 2021-02-12 | 中移雄安信息通信科技有限公司 | 一种运动训练指导方法、装置、设备及计算机存储介质 |
| CN112446433A (zh) * | 2020-11-30 | 2021-03-05 | 北京数码视讯技术有限公司 | 训练姿势的准确度确定方法、装置及电子设备 |
| CN113051990A (zh) * | 2020-11-04 | 2021-06-29 | 泰州程顺制冷设备有限公司 | 站位姿态标准程度分析平台及方法 |
| CN113095248A (zh) * | 2021-04-19 | 2021-07-09 | 中国石油大学(华东) | 一种用于羽毛球运动的技术动作纠正方法 |
| WO2021217937A1 (zh) * | 2020-04-27 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 姿态识别模型的训练方法及设备、姿态识别方法及其设备 |
| CN113657278A (zh) * | 2021-08-18 | 2021-11-16 | 成都信息工程大学 | 一种运动姿态识别方法、装置、设备及存储介质 |
| CN116453221A (zh) * | 2023-04-19 | 2023-07-18 | 北京百度网讯科技有限公司 | 目标对象姿态确定方法、训练方法、装置以及存储介质 |
| CN116453220A (zh) * | 2023-04-19 | 2023-07-18 | 北京百度网讯科技有限公司 | 目标对象姿态确定方法、训练方法、装置及电子设备 |
| CN117292836A (zh) * | 2023-11-27 | 2023-12-26 | 广州华夏汇海科技有限公司 | 一种体测成绩监控方法及系统 |
| CN117357103A (zh) * | 2023-12-07 | 2024-01-09 | 山东财经大学 | 一种基于cv的肢体运动训练指导方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106344030A (zh) * | 2016-08-30 | 2017-01-25 | 苏州品诺维新医疗科技有限公司 | 一种姿势矫正方法和装置 |
| CN106372294A (zh) * | 2016-08-30 | 2017-02-01 | 苏州品诺维新医疗科技有限公司 | 一种姿势矫正方法和装置 |
| CN106599830A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院自动化研究所 | 人脸关键点定位方法及装置 |
| CN107485844A (zh) * | 2017-09-27 | 2017-12-19 | 广东工业大学 | 一种肢体康复训练方法、系统及嵌入式设备 |
| CN108734104A (zh) * | 2018-04-20 | 2018-11-02 | 杭州易舞科技有限公司 | 基于深度学习图像识别的健身动作纠错方法及系统 |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN109034124A (zh) * | 2018-08-30 | 2018-12-18 | 成都考拉悠然科技有限公司 | 一种智能监控方法及系统 |
-
2018
- 2018-12-19 CN CN201811552467.1A patent/CN109753891A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106344030A (zh) * | 2016-08-30 | 2017-01-25 | 苏州品诺维新医疗科技有限公司 | 一种姿势矫正方法和装置 |
| CN106372294A (zh) * | 2016-08-30 | 2017-02-01 | 苏州品诺维新医疗科技有限公司 | 一种姿势矫正方法和装置 |
| CN106599830A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院自动化研究所 | 人脸关键点定位方法及装置 |
| CN107485844A (zh) * | 2017-09-27 | 2017-12-19 | 广东工业大学 | 一种肢体康复训练方法、系统及嵌入式设备 |
| CN108734104A (zh) * | 2018-04-20 | 2018-11-02 | 杭州易舞科技有限公司 | 基于深度学习图像识别的健身动作纠错方法及系统 |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN109034124A (zh) * | 2018-08-30 | 2018-12-18 | 成都考拉悠然科技有限公司 | 一种智能监控方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| ANDREW G. HOWARD 等: ""MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications"", 《ARXIV:1704.04861V1》 * |
| CIKY奇: ""深度学习MobileNet—深刻解读MobileNet网络结构"", 《CSDN》 * |
| ZHE CAO 等: ""Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields*"", 《ARXIV:1704.04861V1》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110327053A (zh) * | 2019-07-12 | 2019-10-15 | 广东工业大学 | 一种基于电梯空间的人体行为安全监测方法、设备及系统 |
| CN110841262A (zh) * | 2019-12-06 | 2020-02-28 | 郑州大学体育学院 | 一种基于可穿戴设备的足球训练系统 |
| CN111260647A (zh) * | 2020-03-12 | 2020-06-09 | 南京安科医疗科技有限公司 | 一种基于图像检测的ct扫描辅助方法、计算机可读存储介质、ct扫描装置 |
| CN111046858A (zh) * | 2020-03-18 | 2020-04-21 | 成都大熊猫繁育研究基地 | 一种基于图像的动物物种细分类方法、系统及介质 |
| CN111046858B (zh) * | 2020-03-18 | 2020-09-08 | 成都大熊猫繁育研究基地 | 一种基于图像的动物物种细分类方法、系统及介质 |
| WO2021217937A1 (zh) * | 2020-04-27 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 姿态识别模型的训练方法及设备、姿态识别方法及其设备 |
| CN111666844A (zh) * | 2020-05-26 | 2020-09-15 | 电子科技大学 | 一种羽毛球运动员运动姿态评估方法 |
| CN113051990A (zh) * | 2020-11-04 | 2021-06-29 | 泰州程顺制冷设备有限公司 | 站位姿态标准程度分析平台及方法 |
| CN112364785B (zh) * | 2020-11-13 | 2023-07-25 | 中移雄安信息通信科技有限公司 | 一种运动训练指导方法、装置、设备及计算机存储介质 |
| CN112364785A (zh) * | 2020-11-13 | 2021-02-12 | 中移雄安信息通信科技有限公司 | 一种运动训练指导方法、装置、设备及计算机存储介质 |
| CN112446433A (zh) * | 2020-11-30 | 2021-03-05 | 北京数码视讯技术有限公司 | 训练姿势的准确度确定方法、装置及电子设备 |
| CN113095248A (zh) * | 2021-04-19 | 2021-07-09 | 中国石油大学(华东) | 一种用于羽毛球运动的技术动作纠正方法 |
| CN113095248B (zh) * | 2021-04-19 | 2022-10-25 | 中国石油大学(华东) | 一种用于羽毛球运动的技术动作纠正方法 |
| CN113657278A (zh) * | 2021-08-18 | 2021-11-16 | 成都信息工程大学 | 一种运动姿态识别方法、装置、设备及存储介质 |
| CN116453221A (zh) * | 2023-04-19 | 2023-07-18 | 北京百度网讯科技有限公司 | 目标对象姿态确定方法、训练方法、装置以及存储介质 |
| CN116453220A (zh) * | 2023-04-19 | 2023-07-18 | 北京百度网讯科技有限公司 | 目标对象姿态确定方法、训练方法、装置及电子设备 |
| CN116453221B (zh) * | 2023-04-19 | 2024-03-08 | 北京百度网讯科技有限公司 | 目标对象姿态确定方法、训练方法、装置以及存储介质 |
| CN116453220B (zh) * | 2023-04-19 | 2024-05-10 | 北京百度网讯科技有限公司 | 目标对象姿态确定方法、训练方法、装置及电子设备 |
| CN117292836A (zh) * | 2023-11-27 | 2023-12-26 | 广州华夏汇海科技有限公司 | 一种体测成绩监控方法及系统 |
| CN117357103A (zh) * | 2023-12-07 | 2024-01-09 | 山东财经大学 | 一种基于cv的肢体运动训练指导方法及系统 |
| CN117357103B (zh) * | 2023-12-07 | 2024-03-19 | 山东财经大学 | 一种基于cv的肢体运动训练指导方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109753891A (zh) | 基于人体关键点检测的足球运动员姿势校准方法及系统 | |
| Patrona et al. | Motion analysis: Action detection, recognition and evaluation based on motion capture data | |
| CN106650687B (zh) | 一种基于深度信息和骨骼信息的姿势矫正方法 | |
| CN110705390A (zh) | 基于lstm的形体姿态识别方法、装置及存储介质 | |
| CN110472604B (zh) | 一种基于视频的行人与人群行为识别方法 | |
| WO2018162929A1 (en) | Image analysis using neural networks for pose and action identification | |
| CN107909060A (zh) | 基于深度学习的健身房健身动作识别方法及装置 | |
| CN110378372A (zh) | 图数据识别方法、装置、计算机设备和存储介质 | |
| CN109960962B (zh) | 图像识别方法、装置、电子设备以及可读存储介质 | |
| CN105975934A (zh) | 一种用于增强现实辅助维修的动态手势识别方法及系统 | |
| CN108363973A (zh) | 一种无约束的3d表情迁移方法 | |
| CN110956139B (zh) | 一种基于时间序列回归预测的人体运动动作分析方法 | |
| CN110378208A (zh) | 一种基于深度残差网络的行为识别方法 | |
| Singh et al. | Human pose estimation using convolutional neural networks | |
| CN110490109A (zh) | 一种基于单目视觉的在线人体康复动作识别方法 | |
| CN110956141B (zh) | 一种基于局部识别的人体连续动作快速分析方法 | |
| CN112464915B (zh) | 一种基于人体骨骼点检测的俯卧撑计数方法 | |
| CN106815855A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
| CN111857334A (zh) | 人体手势字母的识别方法、装置、计算机设备及存储介质 | |
| Hu et al. | Spatial temporal graph attention network for skeleton-based action recognition | |
| CN113361378B (zh) | 一种运用适应性数据增强的人体姿态估计方法 | |
| Hachaj et al. | Human actions recognition on multimedia hardware using angle-based and coordinate-based features and multivariate continuous hidden Markov model classifier | |
| Yan et al. | A Review of Basketball Shooting Analysis Based on Artificial Intelligence | |
| Wei et al. | Multiple-branches faster RCNN for human parts detection and pose estimation | |
| CN116665300A (zh) | 基于时空自适应特征融合图卷积网络的骨架动作识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190514 |