CN111985579A - 基于相机协同和三维骨骼估计的双人跳水同步性分析方法 - Google Patents

基于相机协同和三维骨骼估计的双人跳水同步性分析方法 Download PDF

Info

Publication number
CN111985579A
CN111985579A CN202010920839.2A CN202010920839A CN111985579A CN 111985579 A CN111985579 A CN 111985579A CN 202010920839 A CN202010920839 A CN 202010920839A CN 111985579 A CN111985579 A CN 111985579A
Authority
CN
China
Prior art keywords
diving
key point
looking
rating
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010920839.2A
Other languages
English (en)
Inventor
王宗亚
徐尔灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010920839.2A priority Critical patent/CN111985579A/zh
Publication of CN111985579A publication Critical patent/CN111985579A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明提供了一种基于相机协同和三维骨骼估计的双人跳水同步性分析方法，该方法包括：利用多个视角的摄像机协同采集跳水运动员的动作图像，将动作图像依次送入姿态提取网络，得到跳水运动员的关键点热力图，根据关键点热力图得到二维关键点信息，将二维关键点信息送入时间卷积网络得到三维骨架信息；根据三维骨架信息计算两位跳水运动员的起跳高度、与台板之间的水平距离、入水时角度的余弦值、进行动作相似度、动作时间一致性的评估；利用俯视方向摄像机采集水面图像，并计算水面图像中水花的面积，结合上述结果，对双人跳水的同步性进行分析。本发明可以消除裁判打分时主观因素的影响，分析结果更加客观公正。

Description

基于相机协同和三维骨骼估计的双人跳水同步性分析方法
技术领域
本发明涉及人工智能领域，尤其是一种基于相机协同和三维骨骼估计的双人跳水同步性分析方法。
背景技术
申请号为200710304226.0的发明专利中提出一种双人跳水同步性自动分析方法，该方法提出了一种一致性特征JFF，需要提取起跳高度、空中动作配合时间和入水时间的一致性特征，提取过程过于复杂且精度难以保证，且起跳高度、空中动作配合时间和入水时间的认定比较模糊。
发明内容
为了解决上述问题，本发明提出一种基于相机协同和三维骨骼估计的双人跳水同步性分析方法，该方法包括：
步骤一，利用侧视方向摄像机和正视方向摄像机分别采集跳水运动员的侧视动作图像和正视动作图像；
步骤二，将侧视动作图像和正视动作图像分别送入姿态提取网络，经过处理后得到跳水运动员的侧视关键点热力图、正视关键点热力图，对侧视关键点热力图和正视关键点热力图分别进行后处理得到跳水运动员的侧视二维关键点信息和正视二维关键点信息；
步骤三，将得到的侧视二维关键点信息和正视二维关键点信息分别作为时间卷积网络的输入，经过处理后得到跳水运动员的侧视三维骨架信息和正视三维骨架信息；
步骤四，根据侧视三维骨架信息计算两位跳水运动员的起跳高度、与台板之间的水平距离、入水时角度的余弦值，结合起跳高度、与台板之间的水平距离、入水时角度的余弦值得到评级A；
根据正视三维骨架信息进行两位跳水运动员动作相似度、动作时间一致性的评估，结合动作相似度评估结果和动作时间一致性评估结果得到评级B；
步骤五，当两位跳水运动员中任一位的头部中心点与水面之间的距离小于距离阈值时，利用俯视方向摄像机采集水面图像，从水面图像中选择多帧包括水花的水面图像，并计算选择的多帧水面图像中水花的面积，得到评级C；其中，头部中心点为双耳关键点连线的中心点；利用阈值法计算水面图像中水花的面积；
步骤六，综合评级A、评级B、评级C，得到双人跳水动作同步性的分析结果。
其中，姿态提取网络包括关键点提取编码器和关键点提取解码器，关键点提取编码器对动作图像进行特征提取，输出特征图，关键点提取解码器对特征图进行上采样与特征提取，生成关键点热力图；其中，关键点的选取可参考现有人体姿态估计数据集中选取的关键点，其中，关键点包括大腿根部、左耳、右耳、左肩、右肩、左脚、右脚。
时间卷积网络的一次输入为多帧关键点热力图的二维关键点信息，输出为一个三维骨架的信息。
跳水运动员的起跳高度、与台板之间的水平距离、入水时角度的余弦值的计算方法分别为：
连接每个跳水运动员的两个大腿根部关键点，所得直线的中心点为根节点，两个跳水运动员根节点的坐标分别为(x1，y1，z1)，(x2，y2，z2)；跳板边缘中心点的坐标为(x，y，z)；
分别用z1、z2的最大值减去z，得到两个跳水运动员的起跳高度H、H0；
下落过程中，当两个根节点中任一根节点的高度与跳板边缘中心点的高度首次相同时，根据x1、x2、x，得到两个跳水运动员分别与台板之间的水平距离L、L0；
对于每个跳水运动员，连接双肩关键点连线的中心点与双脚关键点连线的中心点，得到向量A和向量A0，并计算向量A、A0分别与Z轴方向上的单位向量之间的角度θ、θ0，得到两个跳水运动员入水时角度的余弦值cosθ、cosθ0。
评级A的获取过程为：根据两个跳水运动员的起跳高度、与台板之间的水平距离、入水时角度的余弦值得到一个分值，具体地：
分值＝|H-H0|+|L-L0|+|cosθ-cosθ0|
设置分数评级区间，判断得到的分值位于哪个分数评级区间，所属分数评级区间对应的评级为评级A。
动作相似度的评估方法为：计算一帧中每个跳水运动员的正视三维骨架信息中相邻两关节向量之间夹角的余弦值，得到两个序列[D1，D2，D3，...，Dq]和[E1，E2，E3，...，Eq]，两个序列中的数值对应进行除操作，得到序列[F1，F2，F3，...，Fq]，统计序列[F1，F2，F3，...，Fq]中位于预设范围内的数值的个数，其中，q为每个跳水运动员的三维骨架信息中夹角的数目；
动作时间一致性的评估方法为：将其中一位运动员的三维骨架信息进行平移，使该运动员的根节点与另一位运动员的根节点对齐，计算两运动员的正视三维骨架信息中同一类关键点之间的距离，得到距离序列[Y1，Y2，Y3，...，Ym]，序列[Y1，Y2，Y3，...，Ym]中的值相加得到关节距离，其中，m为关键点的类别数。
动作相似度和动作时间一致性的评估方法还包括：预先设定间隔帧数r，所述个数和关节距离每隔r帧计算一次，且将每次计算后得到的个数相加得到一个总个数，每次计算后得到的关节距离相加得到一个总关节距离，根据总个数得到动作相似度评估结果，根据总关节距离得到时间一致性评估结果。
本发明的有益效果在于：
1.该方法根据三维骨架信息获取跳水运动员的起跳高度，解决了所述发明专利中一致性特征提取过程过于复杂这一问题。
2.本发明利用神经网络技术对双人跳水的同步性进行分析，可以减少由于裁判个人带来的客观影响，使评判结果更加客观公正，且本发明综合了跳水运动员的起跳高度、与跳板之间的水平距离、动作相似度、水花面积等影响因素对跳水的同步性进行分析，其分析结果准确度高，计算速度快。
3.本发明利用多个视角的相机对跳水运动员进行动作图像的采集，并利用神经网络进行三维关键点的提取，解决人体姿态歧义性，提高了后续根据三维关键点计算得到跳水运动员动作信息的准确性。
附图说明
图1为本发明实施流程图。
具体实施方式
为了让本领域技术人员更好的理解本发明，下面结合实施例和附图对本发明进行详细描述。
本发明依据计算机视觉技术分析双人跳水动作，达到对其同步性评估的目的，具体地，本发明提出一种基于相机协同和三维骨骼估计的双人跳水同步性分析方法，其实施流程图如图1所示，本方法使用多个摄像机对运动员的跳水动作进行信息采集，并根据采集到的信息数据提取二维人体姿态信息，然后通过TCN回归出人体三维骨架，根据人体三维骨架对影响跳水同步性的因素进行分析，并结合入水时的水花面积进行双人跳水同步性的评估。
实施例：
利用侧视方向摄像机和正视方向摄像机分别采集跳水运动员的侧视动作图像和正视动作图像，其中，侧视方向的摄像机布置在与跳板垂直的方向上，且在该方向上以跳板为中心，在左右两侧分别布置一个摄像机；
将侧视动作图像和正视动作图像分别送入姿态提取网络，经过处理后得到跳水运动员的侧视关键点热力图、正视关键点热力图，对侧视关键点热力图和正视关键点热力图分别进行后处理得到跳水运动员的侧视二维关键点信息和正视二维关键点信息，具体地：
利用模拟器采集训练数据。模拟器实施者可自行选择，如Unreal Engine、Unity3D、Blender等，都可以对运动员双人跳水动作场景进行模拟，且可以在虚拟场景中布置不同方位的虚拟相机采集训练图像并且得到二维关键点信息及三维姿态信息；此外，在虚拟器中还可以调整人体三维模型相关参数来控制胖瘦、身高等。
对数据进行标注，针对图像内的人体骨骼关键点进行高斯核卷积，以生成关键点热力图。具体的细节如高斯核大小的选取，不在本发明讨论范围。关键点包括大腿根部、左耳、右耳、左肩、右肩、左脚、右脚，具体地，标注的人体骨骼关键点可参考COCO人体姿态估计数据集。
因为要区分图像内的不同运动员实例，所以引入Associative embedding，即同一个运动员的所有关键点tag值要相近，不同运动员之间的tag值要不同，相近的概念通过欧式距离来实现。其公式如下：
Figure BDA0002666679380000031
n表示第n个运动员，k表示第k个关键点，X表示真实关键点所在的像素位置，hk表示第k个运动员关键点的标签heatmap。
至此，运动员的tag标签就生成了，称为Associative embedding。
将模拟器中采集的数据与标签数据送入到姿态提取网络中进行训练，该网络的训练细节如下：
利用模拟器采集的图像要经过归一化处理，将图片矩阵的值域变为[0，1]之间的浮点数，以便模型更好地收敛。标签同样经过归一化处理。
通过采集的图像和热力图标签数据，端到端的训练关键点提取编码器和关键点提取解码器。关键点提取编码器对图像进行特征提取，输入为经过归一化处理的图像数据，输出为Feature map；关键点提取解码器是对Feature map进行上采样与特征提取并最终生成关键点热力图(heatmap)，其输入为关键点提取编码器产生的Feature map，输出为关键点热力图及Associative embedding。
Loss函数采用Heatmaps Loss+Grouping Loss的加权和，其公式为：
Figure BDA0002666679380000041
其中，Pcij代表类别C的关键点在位置(i，j)处的得分，得分越高就越可能是该类别关键点。ycij表示类别C真实的Heatmaps。N代表ground truth中的关键点数量。α、β为超参数，需要人为设定。
Figure BDA0002666679380000042
N代表ground truth中的关键点数量，n表示第n个运动员，k表示第k个关键点，x表示真实关键点所在的像素位置，
Figure BDA0002666679380000043
表示ground truth的tag值。hk(xnk，)即预测的tag值。n′为除第n个运动员外的其他运动员，δ为人为设定的值。
函数中前半段就是把输入同一个运动员的关键点的tag值尽量拉近，而公式的后半段就是把不同的运动员个体相互拉开。
即总的Loss为：
Figure BDA0002666679380000044
γ，
Figure BDA0002666679380000045
同样是人为设定，是为了让两个损失的值比较接近，以更好地判断模型的收敛情况。
需要注意的是，由于热力图本身的特点，网络输出的关键点热力图其像素值符合高斯分布，其值域在[0，1]之间。
编码器-解码器的设计有许多种，本发明建议关键点提取编码器和关键点提取解码器套用沙漏网络、CPN、HRNet等预训练模型来进行关键点特征的提取，同时这样也更利于网络的收敛。
关键点热力图的后处理方法即如何得到关键点，是周知的，这里不再赘述。
至此即可得到跳水运动员的侧视二维关键点信息和正视二维关键点信息。
将得到的侧视二维关键点信息和正视二维关键点信息分别作为时间卷积网络的输入，经过处理后得到跳水运动员的侧视三维骨架信息和正视三维骨架信息；
时间卷积网络(TCN)使用2D关键点序列作为输入，然后产生3D姿态预测作为输出。TCN网络训练的标签为通过模拟器得到的3D人体姿态数据(模型骨骼)，输入仍为模拟器得到的二维人体姿态数据。时间卷积网络的训练细节为：
a)由于TCN的特性，实施者可设置较大的时间步长以捕捉长期信息。
b)实施者应当知道TCN最终要接FC(全连接)，以输出预测目标。
c)将多帧2D关节点序列作为TCN输入，形状为[帧数，关键点个数*2]，关键点个数*2表示关键点的x，y坐标。最终经过FC全连接，输出为3D姿态预测，形状为[1，关键点个数*3]，关键点个数*3表示关键点的x，y，z坐标，这里帧数建议根据相机刷新率来定，如帧数取6，表示每6帧进行预测一个三维姿态即三维骨架信息。
d)损失函数采用L2损失函数。
至此，得到跳水运动员的侧视三维骨架信息和正视三维骨架信息。
根据侧视三维骨架信息计算两位跳水运动员的起跳高度、与台板之间的水平距离、入水时角度的余弦值，具体的计算方法分别为：
连接每个跳水运动员的两个大腿根部关键点，所得直线的中心点为根节点，两个跳水运动员根节点的坐标分别为(x1，y1，z1)，(x2，y2，z2)；跳板边缘中心点的坐标为(x，y，z)；
分别用两个跳水运动员根节点的最高高度减去跳板高度，即分别用z1、z2的最大值减去z，得到两个跳水运动员的起跳高度H、H0；
得到起跳高度后，计算跳水运动员与台板之间的水平距离，当根节点与跳板边缘中心点之间的垂直高度首次小于一定值或根节点的高度与跳板边缘中心点的高度相同时，根据x1、x2、x，得到两个跳水运动员分别与台板之间的水平距离L、L0；
对于每个跳水运动员，连接双肩中心点与双脚中心点，得到向量A和向量A0，并计算向量A、A0分别与Z轴方向上的单位向量之间的角度θ、θ0，得到入水时角度的余弦值cosθ、cosθ0。
结合起跳高度、与台板之间的水平距离、入水时角度的余弦值得到评级A，具体地：
首先对两个跳水运动员的起跳高度、与台板之间的水平距离、入水时角度的余弦值进行计算得到一个分值：
分值＝|H-H0|+|L-L0|+|cosθ-cosθ0|
其次，人为设定分数评级区间，得到分值后，判断所得分值属于哪个分数评级区间，得到评级A；比如0-5对应评级1，6-10对应评级2，11-15对应评级3。具体的分数评级区间的划分实施者可根据实际情况自行划分。
根据正视三维骨架信息进行两位跳水运动员动作相似度、动作时间一致性的评估，具体地：
动作相似度的评估方法为：计算一帧中每个跳水运动员三维骨架信息中相邻两关节向量之间夹角的余弦相似度，得到两个序列[D1，D2，D3，...，Dq]和[E1，E2，E3，...，Eq]，对两个序列中的数值对应进行除操作，得到序列[F1，F2，F3，...，Fq]，统计序列[F1，F2，F3，...，Fq]中位于预设范围内的数值的个数，其中，q为每个跳水运动员的三维骨架信息中夹角的数目；
由于跳水动作存在难度等级的划分，因此可以根据不同难度系数的跳水动作具体选择计算哪些关节之间的角度，即q的值是可变的，不同的动作可选择不同关节之间的夹角进行计算。
下面举例说明夹角余弦相似度的计算方法：
余弦相似度(Cosine Similarity)通过计算两个向量的夹角余弦值来评估他们的相似度，以大腿小腿之间的关节角度计算为例，余弦相似度的计算方法为：首先将膝关节点作为原点建立空间直角坐标系，然后连接脚关节点与膝关节点作为向量a1，膝关节点与大腿根部关节点连线作为向量a2，然后根据公式计算向量a1和向量a2的余弦相似度，μ为；两个向量之间的夹角，计算公式如下：
Figure BDA0002666679380000051
其中，
Figure BDA0002666679380000052
为空间向量，
Figure BDA0002666679380000053
为点乘，
Figure BDA0002666679380000054
为向量模的乘积。
需要注意的是，预先设定间隔帧数r，每隔r帧计算一次序列[F1，F2，F3，...，Fq]，并统计序列[F1，F2，F3，...，Fq]中位于预设范围内的数值的个数，实施例中每隔5帧计算一次，并将每次统计的个数相加，得到一个总个数；预先划分好个数等级区间，判断总个数位于哪个个数等级区间，得到对应的个数等级。其中，个数等级区间是人为根据实际情况进行划分。
动作时间一致性的评估方法为：将其中一位运动员的三维骨架信息进行平移，使该运动员的根节点与另一位运动员的根节点对齐，计算两运动员中同一类关键点之间的距离，得到序列[Y1，Y2，Y3，...，Ym]，序列[Y1，Y2，Y3，...，Ym]中的值相加得到关节距离；其中，m为关键点的类别数，关键点之间的距离可以为欧式距离或L1距离。
动作时间一致性的评估也是每隔5帧评估一次，并将得到的多个关节距离相加得到一个总关节距离，判断该总距离位于哪个预先划分好的距离等级区间，得到距离等级。
结合动作相似度评估结果和时间一致性评估结果得到评级B，即结合个数等级和距离等级得到评级B，具体地，可将个数等级和距离等级相加得到评级B；
左右耳连线的中心点为运动员的头部中心点，当两位跳水运动员中任一位的头部中心点与水面之间的距离小于距离阈值时，利用俯视方向摄像机采集水面图像，从水面图像中选择多帧包括水花的水面图像，并计算选择的多帧水面图像中水花的面积，得到评级C，具体地：
实施例中选择十帧包括水花的水面图像，分别计算十帧水面图像中的水花面积；由于水面图像颜色较为单一，因此实施例通过Otsu阈值法计算水花面积，并基于ROI区域来统计每一位运动员的水花面积。ROI区域可基于图像中间分割线来划分。
最后根据检测的十帧水花面积序列进行做差求和，根据求和值所在区间范围得到评估结果C。该做差求和为10个水花面积值进行对应相减，并求和：
Figure BDA0002666679380000061
S为一运动员的水花面积，S′为另一运动员的水花面积。
判断求和值位于预先划分好的哪个面积评级区间，评级区间对应的评级即为评级C。
需要注意的是，实施者可根据实际情况进行多帧水面图像的选择。
综合评级A、评级B、评级C即将评级A、评级B、评级C相加，得到最终的双人跳水动作同步性的分析结果。
需要说明的是，上述任何阈值与评级区间都需要人为设定，建议每个评级区间的划分数目要一致，即分数评级区间、个数等级区间、距离等级区间、面积评级区间的区间个数要保持一致，比如都划分5个区间，每个区间分别对应评级1，评级2，评级3，评级4，评级5。
以上所述旨在让本领域人员更好的理解本发明，并不用于限制本发明。

Claims (9)

1.一种基于相机协同和三维骨骼估计的双人跳水同步性分析方法，其特征在于，该方法包括：
步骤一，利用侧视方向摄像机和正视方向摄像机分别采集跳水运动员的侧视动作图像和正视动作图像；
步骤二，将侧视动作图像和正视动作图像分别送入姿态提取网络，经过处理后得到跳水运动员的侧视关键点热力图、正视关键点热力图，对侧视关键点热力图和正视关键点热力图分别进行后处理得到跳水运动员的侧视二维关键点信息和正视二维关键点信息；
步骤三，将得到的侧视二维关键点信息和正视二维关键点信息分别作为时间卷积网络的输入，经过处理后得到跳水运动员的侧视三维骨架信息和正视三维骨架信息；
步骤四，根据侧视三维骨架信息计算两位跳水运动员的起跳高度、与台板之间的水平距离、入水时角度的余弦值，结合起跳高度、与台板之间的水平距离、入水时角度的余弦值得到评级A；
根据正视三维骨架信息进行两位跳水运动员动作相似度、动作时间一致性的评估，结合动作相似度评估结果和动作时间一致性评估结果得到评级B；
步骤五，当两位跳水运动员中任一位的头部中心点与水面之间的距离小于距离阈值时，利用俯视方向摄像机采集水面图像，从水面图像中选择多帧包括水花的水面图像，并计算选择的多帧水面图像中水花的面积，得到评级C；
步骤六，综合评级A、评级B、评级C，得到双人跳水动作同步性的分析结果。
2.如权利要求1所述的方法，其特征在于，姿态提取网络包括关键点提取编码器和关键点提取解码器，关键点提取编码器对动作图像进行特征提取，输出特征图，关键点提取解码器对特征图进行上采样与特征提取，生成关键点热力图；其中，关键点的选取可参考现有人体姿态估计数据集中选取的关键点，其中，关键点包括大腿根部、左耳、右耳、左肩、右肩、左脚、右脚。
3.如权利要求2所述的方法，其特征在于，时间卷积网络的一次输入为多帧关键点热力图的二维关键点信息，输出为一个三维骨架的信息。
4.如权利要求3所述的方法，其特征在于，跳水运动员的起跳高度、与台板之间的水平距离、入水时角度的余弦值的计算方法分别为：
连接每个跳水运动员的两个大腿根部关键点，所得直线的中心点为根节点，两个跳水运动员根节点的坐标分别为(x1，y1，z1)，(x2，y2，z2)；跳板边缘中心点的坐标为(x，y，z)；
分别用z1、z2的最大值减去z，得到两个跳水运动员的起跳高度H、H0；
下落过程中，当两个根节点中任一根节点的高度与跳板边缘中心点的高度首次相同时，根据x1、x2、x，得到两个跳水运动员分别与台板之间的水平距离L、L0；
对于每个跳水运动员，连接双肩关键点连线的中心点与双脚关键点连线的中心点，得到向量A和向量A0，并计算向量A、A0分别与Z轴方向上的单位向量之间的角度θ、θ0，得到两个跳水运动员入水时角度的余弦值cosθ、cosθ0。
5.如权利要求4所述的方法，其特征在于，评级A的获取过程为：根据两个跳水运动员的起跳高度、与台板之间的水平距离、入水时角度的余弦值得到一个分值，具体地：
分值＝|H-H0|+|L-L0|+|cosθ-cosθ0|
设置分数评级区间，判断得到的分值位于哪个分数评级区间，所属分数评级区间对应的评级为评级A。
6.如权利要求4所述的方法，其特征在于，动作相似度的评估方法为：计算一帧中每个跳水运动员的正视三维骨架信息中相邻两关节向量之间夹角的余弦值，得到两个序列[D1，D2，D3，...，Dq]和[E1，E2，E3，...，Eq]，两个序列中的数值对应进行除操作，得到序列[F1，F2，F3，...，Fq]，统计序列[F1，F2，F3，...，Fq]中位于预设范围内的数值的个数，其中，q为每个跳水运动员的三维骨架信息中夹角的数目；
动作时间一致性的评估方法为：将其中一位运动员的三维骨架信息进行平移，使该运动员的根节点与另一位运动员的根节点对齐，计算两运动员的正视三维骨架信息中同一类关键点之间的距离，得到距离序列[Y1，Y2，Y3，...，Ym]，序列[Y1，Y2，Y3，...，Ym]中的值相加得到关节距离，其中，m为关键点的类别数。
7.如权利要求5所述的方法，其特征在于，动作相似度和动作时间一致性的评估方法还包括：预先设定间隔帧数r，所述个数和关节距离每隔r帧计算一次，且将每次计算后得到的个数相加得到一个总个数，每次计算后得到的关节距离相加得到一个总关节距离，根据总个数得到动作相似度评估结果，根据总关节距离得到时间一致性评估结果。
8.如权利要求1所述的方法，其特征在于，头部中心点为双耳关键点连线的中心点。
9.如权利要求1所述的方法，其特征在于，利用阈值法计算水面图像中水花的面积。
CN202010920839.2A 2020-09-04 2020-09-04 基于相机协同和三维骨骼估计的双人跳水同步性分析方法 Withdrawn CN111985579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010920839.2A CN111985579A (zh) 2020-09-04 2020-09-04 基于相机协同和三维骨骼估计的双人跳水同步性分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010920839.2A CN111985579A (zh) 2020-09-04 2020-09-04 基于相机协同和三维骨骼估计的双人跳水同步性分析方法

Publications (1)

Publication Number Publication Date
CN111985579A true CN111985579A (zh) 2020-11-24

Family

ID=73448471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010920839.2A Withdrawn CN111985579A (zh) 2020-09-04 2020-09-04 基于相机协同和三维骨骼估计的双人跳水同步性分析方法

Country Status (1)

Country Link
CN (1) CN111985579A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464808A (zh) * 2020-11-26 2021-03-09 成都睿码科技有限责任公司 一种基于计算机视觉的跳绳姿态及个数识别方法
CN112801061A (zh) * 2021-04-07 2021-05-14 南京百伦斯智能科技有限公司 一种体态识别方法及系统
CN114679455A (zh) * 2022-03-27 2022-06-28 泰州市朗嘉馨网络科技有限公司 分布式云端服务系统
CN115019395A (zh) * 2022-06-10 2022-09-06 杭州电子科技大学 一种基于堆叠沙漏网络的团体动作一致性的检测方法及系统
CN115877899A (zh) * 2023-02-08 2023-03-31 北京康桥诚品科技有限公司 一种漂浮舱内的液体控制方法、装置、漂浮舱和介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464808A (zh) * 2020-11-26 2021-03-09 成都睿码科技有限责任公司 一种基于计算机视觉的跳绳姿态及个数识别方法
CN112464808B (zh) * 2020-11-26 2022-12-16 成都睿码科技有限责任公司 一种基于计算机视觉的跳绳姿态及个数识别方法
CN112801061A (zh) * 2021-04-07 2021-05-14 南京百伦斯智能科技有限公司 一种体态识别方法及系统
CN114679455A (zh) * 2022-03-27 2022-06-28 泰州市朗嘉馨网络科技有限公司 分布式云端服务系统
CN115019395A (zh) * 2022-06-10 2022-09-06 杭州电子科技大学 一种基于堆叠沙漏网络的团体动作一致性的检测方法及系统
CN115019395B (zh) * 2022-06-10 2022-12-06 杭州电子科技大学 基于堆叠沙漏网络的团体动作一致性的检测方法及系统
CN115877899A (zh) * 2023-02-08 2023-03-31 北京康桥诚品科技有限公司 一种漂浮舱内的液体控制方法、装置、漂浮舱和介质
CN115877899B (zh) * 2023-02-08 2023-05-09 北京康桥诚品科技有限公司 一种漂浮舱内的液体控制方法、装置、漂浮舱和介质

Similar Documents

Publication Publication Date Title
CN111985579A (zh) 基于相机协同和三维骨骼估计的双人跳水同步性分析方法
Zhang et al. Detailed, accurate, human shape estimation from clothed 3D scan sequences
CN110135375B (zh) 基于全局信息整合的多人姿态估计方法
CN110008915B (zh) 基于掩码-rcnn进行稠密人体姿态估计的系统及方法
Uddin et al. Human activity recognition using body joint‐angle features and hidden Markov model
CN110472604B (zh) 一种基于视频的行人与人群行为识别方法
CN110448870B (zh) 一种人体姿态训练方法
CN107423729A (zh) 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
CN111931804B (zh) 一种基于rgbd摄像机的人体动作自动评分方法
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
CN112419479B (zh) 一种基于体重身高及身体影像的体型数据计算方法
CN108681700A (zh) 一种复杂行为识别方法
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸系统及方法
Dubois et al. Using image processing for biomechanics measures in swimming
CN113627409A (zh) 一种健身动作识别监控方法及系统
CN112016497A (zh) 基于人工智能的单视角太极拳动作分析及考核系统
CN113435336A (zh) 一种基于人工智能的跑步智能计时系统及方法
CN117095128A (zh) 一种无先验多视角人体服饰编辑方法
CN207529394U (zh) 一种面向复杂视觉场景下的远距离类脑三维步态识别系统
CN116152928A (zh) 基于轻量级人体姿态估计模型的防溺水预警方法和系统
Talha Research on the use of 3D modeling and motion capture technologies for making sports training easier
WO2021235440A1 (ja) 皮膚情報を用いた運動特徴量の取得方法及び装置
CN113255666A (zh) 一种基于计算机视觉的个性化答疑系统与方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201124

WW01 Invention patent application withdrawn after publication