CN110782482A - 运动评估方法、装置、计算机设备及存储介质 - Google Patents
运动评估方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110782482A CN110782482A CN201911002162.8A CN201911002162A CN110782482A CN 110782482 A CN110782482 A CN 110782482A CN 201911002162 A CN201911002162 A CN 201911002162A CN 110782482 A CN110782482 A CN 110782482A
- Authority
- CN
- China
- Prior art keywords
- video data
- dimensional model
- key frame
- calculating
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title abstract description 16
- 230000009466 transformation Effects 0.000 claims abstract description 21
- 230000001131 transforming effect Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 5
- 210000003414 extremity Anatomy 0.000 description 38
- 230000009471 action Effects 0.000 description 24
- 210000003127 knee Anatomy 0.000 description 12
- 210000000707 wrist Anatomy 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 210000003423 ankle Anatomy 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000003109 clavicle Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种运动评估方法，包括：获取教练的第一视频数据及用户的第二视频数据；提取所述第一视频数据的多个第一关键帧图像及所述第二视频数据的多个第二关键帧图像；根据所述多个第一关键帧图像对所述多个第二关键帧图像进行几何变换；根据所述多个第一关键帧图像计算得到第一三维模型及几何变换后的多个第二关键帧图像计算得到第二三维模型；计算所述第二三维模型与所述第一三维模型之间的差异度；根据所述差异度确定所述用户的运动得分。本发明还提供了一种运动评估装置、计算机设备及存储介质。本发明能够精确的计算出用户的运动得分，对用户的运动采用数字化的方式进行评价。
Description
技术领域
本发明涉及数据网络技术领域，尤其涉及一种运动评估方法、装置、计算机设备及存储介质。
背景技术
随着社会的进步，人们的健身意识逐渐增强，但是由于健身场地及时间的限制，使得在家庭里抽取碎片化时间做健身运动的需求逐渐增多。但是现在的家庭运动方式，缺乏肢体动作的教学模型、缺乏对用户的肢体动作的精确评分，以至于家庭用户无法客观的获知自己的运动效果。
因此，有必要提供一种运动评估方案，以精确的计算出用户的肢体动作的评分，进而根据评分评判用户的肢体动作是否标准。
发明内容
本发明的主要目的在于提供一种运动评估方法、装置、计算机设备及存储介质，旨在解决无法精确计算用户的运动得分的问题。
为实现上述目的，本发明的第一方面提供一种运动评估方法，所述方法包括：
获取教练的第一视频数据及用户的第二视频数据；
提取所述第一视频数据的多个第一关键帧图像及所述第二视频数据的多个第二关键帧图像；
根据所述多个第一关键帧图像对所述多个第二关键帧图像进行几何变换；
根据所述多个第一关键帧图像计算得到第一三维模型及几何变换后的多个第二关键帧图像计算得到第二三维模型；
计算所述第二三维模型与所述第一三维模型之间的差异度；
根据所述差异度确定所述用户的运动得分。
根据本发明的一个可选实施例，在所述计算所述第二三维模型与所述第一三维模型之间的差异度之后，所述方法还包括：
在同一显示屏幕播放所述第一视频数据和所述第二视频数据；
根据预设第一提示在所述第二视频数据中提示所述差异度大于所述预设第一差异度阈值时对应的第二人体关键点；及/或
根据预设第二提示在所述第二视频数据中提示所述差异度小于所述预设第二差异度阈值时对应的第二人体关键点。
根据本发明的一个可选实施例，所述根据所述多个第一关键帧图像对所述多个第二关键帧图像进行几何变换包括：
输入所述第一关键帧图像至形体识别模型中得到第一形体数据；
输入所述第二关键帧图像至所述形体识别模型中得到第二形体数据；
根据所述第一形体数据和所述第二形体数据对所述多个第二关键帧图像中的每个第二关键帧图像进行几何变换。
根据本发明的一个可选实施例，所述第一形体数据包括第一身高和第一肩宽，所述第二形体数据包括第二身高和第二肩宽，所述根据所述第一形体数据和所述第二形体数据对所述多个第二关键帧图像中的每个第二关键帧图像进行几何变换包括：
计算所述第一身高和所述第二身高的第一比例；
计算所述第一肩宽和所述第二肩宽的第二比例；
对每个所述第二关键帧图像中的每个像素点在纵向方向上进行第一比例的缩放，在横向方向上进行第二比例的缩放。
根据本发明的一个可选实施例，所述根据所述多个第一关键帧图像计算得到第一三维模型及几何变换后的多个第二关键帧图像计算得到第二三维模型包括：
检测每个所述第一关键帧图像中的多个第一人体关键点及每个几何变换后的第二关键帧图像中的多个第二人体关键点；
获取每个所述第一人体关键点的第一二维坐标及每个所述第二人体关键点的第二二维坐标；
获取每个所述第一人体关键点的第一深度数据及每个所述第二人体关键点的第二深度数据；
根据每个所述第一人体关键点的第一二维坐标及对应的第一深度数据得到对应的第一三维坐标，根据每个所述第二人体关键点的第二二维坐标及对应的第二深度数据得到对应的第二三维坐标；
根据多个所述第一三维坐标计算得到第一三维模型及多个所述第二三维坐标计算得到第二三维模型。
根据本发明的一个可选实施例，所述计算所述第二三维模型与所述第一三维模型之间的差异度包括：
将所述第二三维模型中每相邻的两个第二人体关键点进行关联得到多个第一对象；
将所述第一三维模型中每相邻的两个第一人体关键点进行关联得到多个第二对象；
计算每个第一对象与对应的第二对象之间的差异度。
根据本发明的一个可选实施例，所述根据所述差异度确定所述用户的运动得分包括：
获取所述差异度中小于或者等于预设差异度阈值的目标差异度；
计算所述目标差异度的个数；
确定所述个数为所述用户的运动得分。
为实现上述目的，本发明的第二方面提供一种运动评估装置，所述装置包括：
视频获取模块，用于获取教练的第一视频数据及用户的第二视频数据；
图像提取模块，用于提取所述第一视频数据的多个第一关键帧图像及所述第二视频数据的多个第二关键帧图像；
几何变换模块，用于根据所述多个第一关键帧图像对所述多个第二关键帧图像进行几何变换；
第一计算模块，用于根据所述多个第一关键帧图像计算得到第一三维模型及几何变换后的多个第二关键帧图像计算得到第二三维模型；
第二计算模块，用于计算所述第二三维模型与所述第一三维模型之间的差异度；
得分确定模块，用于根据所述差异度确定所述用户的运动得分。
为实现上述目的，本发明的第三方面提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的运动评估方法的下载程序，所述运动评估方法的下载程序被所述处理器执行时实现所述的运动评估方法。
为实现上述目的，本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有运动评估方法的下载程序，所述运动评估方法的下载程序可被一个或者多个处理器执行以实现所述的运动评估方法。
本发明实施例所述的运动评估方法、装置、计算机设备及存储介质，通过摄像头分别获取教练及用户的视频数据，提取视频数据的多个关键帧图像，根据多个关键帧图像计算得到三维模型，并计算教练及用户的三维模型之间的差异度，最后根据差异度确定用户的运动得分。通过硬件(SOC芯片)和软件算法(检测算法、形体识别模型等)共同精确的计算出了用户的运动得分，对用户的运动采用数字化的方式进行评价，更为客观。
附图说明
图1为本发明第一实施例的运动评估方法的流程示意图；
图2为人体关键点的示意图；
图3为本发明第二实施例的运动评估装置的功能模块示意图；
图4为本发明第三实施例的计算机设备的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
实施例一
参阅图1所示，为本发明第一实施例揭露的运动评估方法的流程图。
所述运动评估方法可以应用于计算机设备中。所述运动评估方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
S11，获取教练的第一视频数据及用户的第二视频数据。
所述第一视频数据为预先录制的教练的运动视频，第一视频数据为标准的健身动作的视频数据。第一视频数据可以通过互联网络获取，也可以通过健身应用(APP)获取，还可以通过本地存储获取。所述第一视频数据中可以不掺杂任何广告信息，也可以在首部或者尾部或者中间位置设置有广告信息。如果有广告信息，可以事先识别出广告信息并删除。
在播放第一视频数据时，至少一个用户根据所述第一视频数据进行模仿，通过摄像头获取至少一个用户在模仿时的第二视频数据。
为了避免用户的模仿造成的第二视频数据会比第一视频数据延迟一些，所述摄像头安装在计算机设备中，所述计算机设备采用单个SOC芯片，并将数据计算+AI算法运算+视频输出等模块集成于一体。
S12，提取所述第一视频数据的多个第一关键帧图像及所述第二视频数据的多个第二关键帧图像。
本实施例中，将所述第一视频数据和所述第二视频数据在时间轴上进行同步，确保在时间轴上的任何一个时间节点，第一视频数据的关键帧图像中的肢体动作和第二视频数据的关键帧图像中的肢体动作是同时进行。
可以将第一视频数据中的每一帧提取出来得到多个第一关键帧图像，将第二视频数据中的每一帧提取出来得到多个第二关键帧图像。也可以每隔N个(例如，3个)帧从第一视频数据中提取关键帧图像，同样，每隔N个帧从第二视频数据中提取关键帧图像。本发明在此不做具体限制，只需保证对第一视频数据和第二视频数据进行同样的操作即可。
S13，根据所述多个第一关键帧图像对所述多个第二关键帧图像进行几何变换。
由于用户和教练存在身高、尺寸等形体上的差异，因而需要先对第二视频数据进行几何变换，便于后续计算得到的第一三维模型和第二三维模型具有可比性。如果有多个用户，则需要对多个第二视频数据均进行几何变换。
在一个的可选实施例中，所述根据所述多个第一关键帧图像对所述多个第二关键帧图像进行几何变换包括：
输入所述第一关键帧图像至形体识别模型中得到第一形体数据；
输入所述第二关键帧图像至所述形体识别模型中得到第二形体数据；
根据所述第一形体数据和所述第二形体数据对所述多个第二关键帧图像中的每个第二关键帧图像进行几何变换。
在该可选的实施例中，可以预先获取多张人体图像及对应的形体数据(例如，身高及肩宽)，将多张人体图像及对应的形体数据作为训练数据输入至神经网络(例如，卷积神经网络)中进行训练，得到形体识别模型。并将从第一视频数据中提取出的多个第一关键帧图像中的任意一个第一关键帧图像输入至已训练好的形体识别模型中，得到教练的第一形体数据；将从第二视频数据中提取出的多个第二关键帧图像中的任意一个第二关键帧图像输入至已训练好的形体识别模型中，得到用户的第二形体数据。
可以根据第一形体数据和第二形体数据对每个第一关键帧图像进行几何变换，也可以根据第一形体数据和第二形体数据对每个第二关键帧图像进行几何变换。优选的，根据第一形体数据和第二形体数据对每个第二关键帧图像进行几何变换。所述几何变换包括：拉伸变换、平移变换等。
通过对第二关键帧图像进行几何变化，能够保证几何变换后的第二关键帧图像和第一关键帧图像在二维空间上保持一致性。
在一个可选的实施例中，所述第一形体数据包括第一身高和第一肩宽，所述第二形体数据包括第二身高和第二肩宽，所述根据所述第一形体数据和所述第二形体数据对所述多个第二关键帧图像中的每个第二关键帧图像进行几何变换包括：
计算所述第一身高和所述第二身高的第一比例；
计算所述第一肩宽和所述第二肩宽的第二比例；
对每个所述第二关键帧图像中的每个像素点在纵向方向上进行第一比例的缩放，在横向方向上进行第二比例的缩放。
示例性的，教练身高为1.8米，肩宽为0.45米，用户的身高在1.6米，肩宽为0.40米，计算教练的身高和用户的身高的第一比例9:8，计算教练的肩宽和用户的肩宽的第二比例9:8，然后对每个第二关键帧图像中的每个像素点在纵向方向上进行第一比例的缩放，在横向方向上进行第二比例的缩放。
S14，根据所述多个第一关键帧图像计算得到第一三维模型及几何变换后的多个第二关键帧图像计算得到第二三维模型。
在一个的可选实施例中，所述根据所述多个第一关键帧图像计算得到第一三维模型及几何变换后的多个第二关键帧图像计算得到第二三维模型包括：
检测每个所述第一关键帧图像中的多个第一人体关键点及每个几何变换后的第二关键帧图像中的多个第二人体关键点；
获取每个所述第一人体关键点的第一二维坐标及每个所述第二人体关键点的第二二维坐标；
获取每个所述第一人体关键点的第一深度数据及每个所述第二人体关键点的第二深度数据；
根据每个所述第一人体关键点的第一二维坐标及对应的第一深度数据得到对应的第一三维坐标，根据每个所述第二人体关键点的第二二维坐标及对应的第二深度数据得到对应的第二三维坐标；
根据多个所述第一三维坐标计算得到第一三维模型及多个所述第二三维坐标计算得到第二三维模型。
如图2所示，为人体关键点的示意图，所述人体关键点可以包括：0鼻子、1锁骨中点、2右肩、3右肘、4右腕、5左肩、6左肘、7左腕、8右髋、9右膝、10右踝、11左髋、12左膝、13左踝、14右眼、15左眼、16右耳、17左耳等18个点。通过人体关键点的三维坐标能够标识人体的关节移动的方向及幅度。应当理解的是，人体关键点可以包括更多或者更少的点，上述18个人体关键点仅为示例性的，不用于限制本发明。
在该可选的实施例中，通过预设检测算法从每个所述第一关键帧图像中检测出18个第一人体关键点，从每个所述第二关键帧图像中检测出18个第二人体关键点。所述预设检测算法可以为OpenPose算法。
所述摄像头可以为深度摄像头，以获取教练和用户的视频数据以及深度数据。在检测出人体关键点之后，可以从关键帧图像中得到每个人体关键点的二维坐标，然后结合每个人体关键点的深度数据合成人体关键点的三维坐标，最后根据三维坐标创建三维模型。所述三维坐标为(x，y，h)，其中，x代表人体关键点的横坐标值，y代表人体关键点的纵坐标值，h代表人体关键点的深度数据，将深度数据认为是教练或者用户进行运动时肢体的摆动幅度。
S15，计算所述第二三维模型与所述第一三维模型之间的差异度。
本实施例中，得到第二三维模型和第一三维模型后，需要计算二者之间的差异度，根据差异度确定用户的肢体运动是否标准。
在一个的可选实施例中，所述计算所述第二三维模型与所述第一三维模型之间的差异度包括：
将所述第二三维模型中每相邻的两个第二人体关键点进行关联得到多个第一对象；
将所述第一三维模型中每相邻的两个第一人体关键点进行关联得到多个第二对象；
计算每个第一对象与对应的第二对象之间的差异度。
在该可选的实施例中，相邻的人体关键点是指预先指定的人体部位上具有相互连接关系的节点。如图2所示，0鼻子和1锁骨中点、1锁骨中点和2右肩、2右肩和3右肘、3右肘和4右腕、1锁骨中点和5左肩、5左肩和6左肘、6左肘和7左腕、1锁骨中点和8右髋、8右髋和9右膝、9右膝和10右踝、1锁骨中点和11左髋、11左髋和12左膝、12左膝和13左踝为相邻的人体关键点。
将相邻的两个第一人体关键点作为一个对象，则可得到多个第一对象；将相邻的两个第二人体关键点作为一个对象，则可得到多个第二对象。计算第一对象中的两个第一人体关键点的第一深度数据之间的第一数据关系；计算第二对象中的两个第二人体关键点的第二深度数据之间的第一数据关系。计算第一对象的第一数据关系与对应的第二对象的第一数据关系之间的第二数据关系，作为这两个对象之间的差异度。所述第一数据关系可以是差值、差值的绝对值或者其他。所述第二数据关系可以是差值、差值的绝对值或者其他。
示例性的，假设第一对象为第一人体关键点的6左肘和7左腕，则对应的第二对象为第二人体关键点的6左肘和7左腕。第一对象的两个第一深度数据分别为4和7，第二对象的两个第二深度数据分别为4和6。计算第一对象中的两个第一深度数据之间的差值为3，第二对象中的两个第二深度数据之间的差值为2，则这两个对象之间的差异度为1。
在其他实施例中，还可以在得到多个第一对象和多个第二对象之后，计算每个第一对象的两个第一深度数据与对应的第二对象的两个第二深度数据之间的均方差，作为这两个对象之间的差异度。
S16，根据所述差异度确定所述用户的运动得分。
在一个的可选实施例中，所述根据所述差异度确定所述用户的运动得分包括：
获取所述差异度中小于或者等于预设差异度阈值的目标差异度；
计算所述目标差异度的个数；
确定所述个数为所述用户的运动得分。
在该可选的实施例中，当差异度小于或者等于预设(预先设置的)差异度阈值时，认为所述差异度对应的第一对象和第二对象之间的摆动幅度一致。当差异度大于预先设置的差异度阈值时，认为所述差异度对应的第一对象和第二对象之间的摆动幅度不同。差异度越小，表明用户的肢体动作越直接教练的肢体动作，用户的肢体动作越标准；差异度越大，表明用户的肢体动作越不匹配教练的肢体动作，用户的肢体动作越不标准或者是错误的。将小于或者等于预设差异度阈值的差异度确定为目标差异度。
假设从第一视频数据中提取出10个第一关键帧图像，从第二视频数据中对应提取出10个第二关键帧图像，从每个第一关键帧图像中得到13个第一对象，从每个第二关键帧图像中对应得到13个第二对象，则第一关键帧图像对应有130个第一对象，第二关键帧图像对应有130个第二对象。130个第一对象和对应的第二对象中有100个差异度小于或者等于预设差异度阈值，则用户的运动得分为100。
进一步的，在所述计算所述第二三维模型与所述第一三维模型之间的差异度之后，所述方法还包括：
在同一显示屏幕播放所述第一视频数据和所述第二视频数据；
根据预设第一提示在所述第二视频数据中提示所述差异度大于所述预设第一差异度阈值时对应的第二人体关键点；及/或
根据预设第二提示在所述第二视频数据中提示所述差异度小于所述预设第二差异度阈值时对应的第二人体关键点。
在该可选的实施例中，通过SOC芯片调用视频输出单元，对教练的第一视频数据及用户的第二视频数据做拼接同时输出。如果用户的肢体动作不标准或者错误，则在显示屏幕上对用户错误肢体动作做出提示。需要说的是，可以对第一视频数据中的每一个关键帧图像及第二视频数据中的对应的每一个关键帧图像进行差异度计算，从而实现计算每一个肢体动作的运动得分，进而实现纠错的功能。也可以在用户完成全部肢体动作后，再反馈有错误的肢体动作对应的关键帧图像。
所述显示屏幕可以是指所述计算机设备的显示屏幕，也可以是指其他设备，例如，电视机等的显示屏幕。将教练的第一视频数据和用户的第二视频数据同时显示在同一显示屏幕，例如，教练的第一视频数据显示在电视机的左边，用户的第二视频数据显示在电视机的右边，让用户不仅可以观看标准的肢体动作，还可以观看自身的肢体动作。
所述预设第一提示可以包括第一文字提示、第一语音提示或第一动画提示等。所述预设第二提示可以包括第二文字提示、第二语音提示或第二动画提示等。所述预设第一差异度阈值与所述预设第二差异度阈值可以相同，也可以不同。
所述预设第一提示用以提示用户出现动作差异的人体关键点，并根据出现动作差异的关键点的位置指示人体关键点的正确移动方向(比如，以红色的箭头指示，同步也可以使用语音做提醒)。所述预设第二提示用以提示人体出现动作标准的关键点，并通过变色或者改变成卡通人物的肢体来显示出现动作标准的关键点的位置。在同屏播放视频数据的同时根据预设提示方式，不仅在有错误的肢体动作时进行提示，在正确的肢体动作时给予语音表扬或者奖励等，让用户可以同时在视觉和听觉上得到双重反馈。
本实施例所述的运动评估方法可以适用于舞蹈、瑜伽、健身等所有需要身体肢体运动的运动项目。
本实施例所述的运动评估方法还可以同时支持多人连线运动，多个用户在不同的地方学习或者模仿同一个教练的视频数据，通过服务器把多个用户的视频数据的运动得分进行排名，通过社交的方式(例如，微信分享等)增加用户的运动动力和提高运动的趣味性。
本实施例所述的运动评估方法，通过摄像头分别获取教练及用户的视频数据，提取视频数据的多个关键帧图像，根据多个关键帧图像计算得到三维模型，并计算教练及用户的三维模型之间的差异度，最后根据差异度确定用户的运动得分。通过硬件(SOC芯片)和软件算法(检测算法、形体识别模型等)共同精确的计算出了用户的运动得分，对用户的运动采用数字化的方式进行评价，更为客观。计算出运动得分后能够根据得分评估用户的肢体动作是否标准或者指引/提示用户去完成更为标准的动作。
实施例二
参阅图3所示，为本发明实施例二揭露的运动评估装置的功能模块示意图。
在一些实施例中，所述运动评估装置30运行于计算机设备中。所述运动评估装置30可以包括多个由程序代码段所组成的功能模块。所述运动评估装置30中的各个程序段的程序代码可以存储于计算机设备的存储器中，并由至少一个处理器所执行，以执行(详见图1描述)对运动的评估。
本实施例中，所述运动评估装置30根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：视频获取模块301、图像提取模块302、几何变换模块303、第一计算模块304、第二计算模块305及得分确定模块306。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
视频获取模块301，用于获取教练的第一视频数据及用户的第二视频数据。
所述第一视频数据为预先录制的教练的运动视频，第一视频数据为标准的健身动作的视频数据。第一视频数据可以通过互联网络获取，也可以通过健身应用(APP)获取，还可以通过本地存储获取。所述第一视频数据中可以不掺杂任何广告信息，也可以在首部或者尾部或者中间位置设置有广告信息。如果有广告信息，可以事先识别出广告信息并删除。
在播放第一视频数据时，至少一个用户根据所述第一视频数据进行模仿，通过摄像头获取至少一个用户在模仿时的第二视频数据。
为了避免用户的模仿造成的第二视频数据会比第一视频数据延迟一些，所述摄像头安装在计算机设备中，所述计算机设备采用单个SOC芯片，并将数据计算+AI算法运算+视频输出等模块集成于一体。
图像提取模块302，用于提取所述第一视频数据的多个第一关键帧图像及所述第二视频数据的多个第二关键帧图像。
本实施例中，将所述第一视频数据和所述第二视频数据在时间轴上进行同步，确保在时间轴上的任何一个时间节点，第一视频数据的关键帧图像中的肢体动作和第二视频数据的关键帧图像中的肢体动作是同时进行。
可以将第一视频数据中的每一帧提取出来得到多个第一关键帧图像，将第二视频数据中的每一帧提取出来得到多个第二关键帧图像。也可以每隔N个(例如，3个)帧从第一视频数据中提取关键帧图像，同样，每隔N个帧从第二视频数据中提取关键帧图像。本发明在此不做具体限制，只需保证对第一视频数据和第二视频数据进行同样的操作即可。
几何变换模块303，用于根据所述多个第一关键帧图像对所述多个第二关键帧图像进行几何变换。
由于用户和教练存在身高、尺寸等形体上的差异，因而需要先对第二视频数据进行几何变换，便于后续计算得到的第一三维模型和第二三维模型具有可比性。如果有多个用户，则需要对多个第二视频数据均进行几何变换。
在一个的可选实施例中，所述几何变换模块303根据所述多个第一关键帧图像对所述多个第二关键帧图像进行几何变换包括：
输入所述第一关键帧图像至形体识别模型中得到第一形体数据；
输入所述第二关键帧图像至所述形体识别模型中得到第二形体数据；
根据所述第一形体数据和所述第二形体数据对所述多个第二关键帧图像中的每个第二关键帧图像进行几何变换。
在该可选的实施例中，可以预先获取多张人体图像及对应的形体数据(例如，身高及肩宽)，将多张人体图像及对应的形体数据作为训练数据输入至神经网络(例如，卷积神经网络)中进行训练，得到形体识别模型。并将从第一视频数据中提取出的多个第一关键帧图像中的任意一个第一关键帧图像输入至已训练好的形体识别模型中，得到教练的第一形体数据；将从第二视频数据中提取出的多个第二关键帧图像中的任意一个第二关键帧图像输入至已训练好的形体识别模型中，得到用户的第二形体数据。
可以根据第一形体数据和第二形体数据对每个第一关键帧图像进行几何变换，也可以根据第一形体数据和第二形体数据对每个第二关键帧图像进行几何变换。优选的，根据第一形体数据和第二形体数据对每个第二关键帧图像进行几何变换。所述几何变换包括：拉伸变换、平移变换等。
通过对第二关键帧图像进行几何变化，能够保证几何变换后的第二关键帧图像和第一关键帧图像在二维空间上保持一致性。
在一个可选的实施例中，所述第一形体数据包括第一身高和第一肩宽，所述第二形体数据包括第二身高和第二肩宽，所述根据所述第一形体数据和所述第二形体数据对所述多个第二关键帧图像中的每个第二关键帧图像进行几何变换包括：
计算所述第一身高和所述第二身高的第一比例；
计算所述第一肩宽和所述第二肩宽的第二比例；
对每个所述第二关键帧图像中的每个像素点在纵向方向上进行第一比例的缩放，在横向方向上进行第二比例的缩放。
示例性的，教练身高为1.8米，肩宽为0.45米，用户的身高在1.6米，肩宽为0.40米，计算教练的身高和用户的身高的第一比例9:8，计算教练的肩宽和用户的肩宽的第二比例9:8，然后对每个第二关键帧图像中的每个像素点在纵向方向上进行第一比例的缩放，在横向方向上进行第二比例的缩放。
第一计算模块304，用于根据所述多个第一关键帧图像计算得到第一三维模型及几何变换后的多个第二关键帧图像计算得到第二三维模型。
在一个的可选实施例中，所述第一计算模块304根据所述多个第一关键帧图像计算得到第一三维模型及几何变换后的多个第二关键帧图像计算得到第二三维模型包括：
检测每个所述第一关键帧图像中的多个第一人体关键点及每个几何变换后的第二关键帧图像中的多个第二人体关键点；
获取每个所述第一人体关键点的第一二维坐标及每个所述第二人体关键点的第二二维坐标；
获取每个所述第一人体关键点的第一深度数据及每个所述第二人体关键点的第二深度数据；
根据每个所述第一人体关键点的第一二维坐标及对应的第一深度数据得到对应的第一三维坐标，根据每个所述第二人体关键点的第二二维坐标及对应的第二深度数据得到对应的第二三维坐标；
根据多个所述第一三维坐标计算得到第一三维模型及多个所述第二三维坐标计算得到第二三维模型。
如图2所示，为人体关键点的示意图，所述人体关键点可以包括：0鼻子、1锁骨中点、2右肩、3右肘、4右腕、5左肩、6左肘、7左腕、8右髋、9右膝、10右踝、11左髋、12左膝、13左踝、14右眼、15左眼、16右耳、17左耳等18个点。通过人体关键点的三维坐标能够标识人体的关节移动的方向及幅度。应当理解的是，人体关键点可以包括更多或者更少的点，上述18个人体关键点仅为示例性的，不用于限制本发明。
在该可选的实施例中，通过预设检测算法从每个所述第一关键帧图像中检测出18个第一人体关键点，从每个所述第二关键帧图像中检测出18个第二人体关键点。所述预设检测算法可以为OpenPose算法。
所述摄像头可以为深度摄像头，以获取教练和用户的视频数据以及深度数据。在检测出人体关键点之后，可以从关键帧图像中得到每个人体关键点的二维坐标，然后结合每个人体关键点的深度数据合成人体关键点的三维坐标，最后根据三维坐标创建三维模型。所述三维坐标为(x，y，h)，其中，x代表人体关键点的横坐标值，y代表人体关键点的纵坐标值，h代表人体关键点的深度数据，将深度数据认为是教练或者用户进行运动时肢体的摆动幅度。
第二计算模块305，用于计算所述第二三维模型与所述第一三维模型之间的差异度。
本实施例中，得到第二三维模型和第一三维模型后，需要计算二者之间的差异度，根据差异度确定用户的肢体运动是否标准。
在一个的可选实施例中，所述第二计算模块305计算所述第二三维模型与所述第一三维模型之间的差异度包括：
将所述第二三维模型中每相邻的两个第二人体关键点进行关联得到多个第一对象；
将所述第一三维模型中每相邻的两个第一人体关键点进行关联得到多个第二对象；
计算每个第一对象与对应的第二对象之间的差异度。
在该可选的实施例中，相邻的人体关键点是指预先指定的人体部位上具有相互连接关系的节点。如图2所示，0鼻子和1锁骨中点、1锁骨中点和2右肩、2右肩和3右肘、3右肘和4右腕、1锁骨中点和5左肩、5左肩和6左肘、6左肘和7左腕、1锁骨中点和8右髋、8右髋和9右膝、9右膝和10右踝、1锁骨中点和11左髋、11左髋和12左膝、12左膝和13左踝为相邻的人体关键点。
将相邻的两个第一人体关键点作为一个对象，则可得到多个第一对象；将相邻的两个第二人体关键点作为一个对象，则可得到多个第二对象。计算第一对象中的两个第一人体关键点的第一深度数据之间的第一数据关系；计算第二对象中的两个第二人体关键点的第二深度数据之间的第一数据关系。计算第一对象的第一数据关系与对应的第二对象的第一数据关系之间的第二数据关系，作为这两个对象之间的差异度。所述第一数据关系可以是差值、差值的绝对值或者其他。所述第二数据关系可以是差值、差值的绝对值或者其他。
示例性的，假设第一对象为第一人体关键点的6左肘和7左腕，则对应的第二对象为第二人体关键点的6左肘和7左腕。第一对象的两个第一深度数据分别为4和7，第二对象的两个第二深度数据分别为4和6。计算第一对象中的两个第一深度数据之间的差值为3，第二对象中的两个第二深度数据之间的差值为2，则这两个对象之间的差异度为1。
在其他实施例中，还可以在得到多个第一对象和多个第二对象之后，计算每个第一对象的两个第一深度数据与对应的第二对象的两个第二深度数据之间的均方差，作为这两个对象之间的差异度。
得分确定模块306，用于根据所述差异度确定所述用户的运动得分。
在一个的可选实施例中，所述得分确定模块306根据所述差异度确定所述用户的运动得分包括：
获取所述差异度中小于或者等于预设差异度阈值的目标差异度；
计算所述目标差异度的个数；
确定所述个数为所述用户的运动得分。
在该可选的实施例中，当差异度小于或者等于预设(预先设置的)差异度阈值时，认为所述差异度对应的第一对象和第二对象之间的摆动幅度一致。当差异度大于预先设置的差异度阈值时，认为所述差异度对应的第一对象和第二对象之间的摆动幅度不同。差异度越小，表明用户的肢体动作越直接教练的肢体动作，用户的肢体动作越标准；差异度越大，表明用户的肢体动作越不匹配教练的肢体动作，用户的肢体动作越不标准或者是错误的。将小于或者等于预设差异度阈值的差异度确定为目标差异度。
假设从第一视频数据中提取出10个第一关键帧图像，从第二视频数据中对应提取出10个第二关键帧图像，从每个第一关键帧图像中得到13个第一对象，从每个第二关键帧图像中对应得到13个第二对象，则第一关键帧图像对应有130个第一对象，第二关键帧图像对应有130个第二对象。130个第一对象和对应的第二对象中有100个差异度小于或者等于预设差异度阈值，则用户的运动得分为100。
进一步的，在所述计算每个第一对象与对应的第二对象之间的差异度之后，所述运动评估装置30还包括：显示模块(图中未示出)。
所述显示模块，用于在同一显示屏幕播放所述第一视频数据和所述第二视频数据；根据预设提示方式在所述第二视频数据中提示所述差异度大于所述预设差异度阈值时对应的第二人体关键点。
在该可选的实施例中，通过SOC芯片调用视频输出单元，对教练的第一视频数据及用户的第二视频数据做拼接同时输出。如果用户的肢体动作不标准或者错误，则在显示屏幕上对用户错误肢体动作做出提示。需要说的是，可以对第一视频数据中的每一个关键帧图像及第二视频数据中的对应的每一个关键帧图像进行差异度计算，从而实现对每一个肢体动作的运动得分，进而实现纠错的功能。也可以在用户完成全部肢体动作后，再反馈有错误的肢体动作对应的关键帧图像。
所述显示屏幕可以是指所述计算机设备的显示屏幕，也可以是指其他设备，例如，电视机等的显示屏幕。将教练的第一视频数据和用户的第二视频数据同时显示在同一显示屏幕，例如，教练的第一视频数据显示在电视机的左边，用户的第二视频数据显示在电视机的右边，让用户不仅可以观看标准的肢体动作，还可以观看自身的肢体动作。
所述预设第一提示可以包括第一文字提示、第一语音提示或第一动画提示等。所述预设第二提示可以包括第二文字提示、第二语音提示或第二动画提示等。所述预设第一差异度阈值与所述预设第二差异度阈值可以相同，也可以不同。
所述预设第一提示用以提示用户出现动作差异的人体关键点，并根据出现动作差异的关键点的位置指示人体关键点的正确移动方向(比如，以红色的箭头指示，同步也可以使用语音做提醒)。所述预设第二提示用以提示人体出现动作标准的关键点，并通过变色或者改变成卡通人物的肢体来显示出现动作标准的关键点的位置。在同屏播放视频数据的同时根据预设提示方式，不仅在有错误的肢体动作时进行提示，在正确的肢体动作时给予语音表扬或者奖励等，让用户可以同时在视觉和听觉上得到双重反馈。
本实施例所述的运动评估装置30可以适用于舞蹈、瑜伽、健身等所有需要身体肢体运动的运动项目。
本实施例所述的运动评估装置30还可以同时支持多人连线运动，多个用户在不同的地方学习或者模仿同一个教练的视频数据，通过服务器把多个用户的视频数据的运动得分进行排名，通过社交的方式(例如，微信分享等)增加用户的运动动力和提高运动的趣味性。
本实施例所述的运动评估装置30，通过摄像头分别获取教练及用户的视频数据，提取视频数据的多个关键帧图像，根据多个关键帧图像计算得到三维模型，并计算教练及用户的三维模型之间的差异度，最后根据差异度确定用户的运动得分。通过硬件(SOC芯片)和软件算法(检测算法、形体识别模型等)共同精确的计算出了用户的运动得分，对用户的运动采用数字化的方式进行评价，更为客观。计算出运动得分后能够根据得分评估用户的肢体动作是否标准或者指引/提示用户去完成更为标准的动作。
实施例三
图4为本发明实施例揭露的计算机设备的内部结构示意图。
在本实施例中，所述计算机设备4可以包括存储器41、处理器42和总线43及摄像头44。
其中，存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器41在一些实施例中可以是所述计算机设备4的内部存储单元，例如所述计算机设备4的硬盘。存储器41在另一些实施例中也可以是所述计算机设备4的外部存储设备，例如所述计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器41还可以既包括所述计算机设备4的内部存储单元，也包括外部存储设备。存储器41不仅可以用于存储安装于所述计算机设备4的应用程序及各类数据，例如运动评估装置30及各个模块的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器42在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器41中存储的程序代码或处理数据。
该总线43可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
进一步地，所述计算机设备4还可以包括网络接口，网络接口可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该计算机设备4与其他计算机设备之间建立通信连接。
可选地，该计算机设备4还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元，比如键盘(Keyboard)，可选的，用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。其中，显示器也可以称为显示屏或显示单元，用于显示在所述计算机设备中处理的消息以及用于显示可视化的用户界面。
图4仅示出了具有组件41-44的所述计算机设备4，本领域技术人员可以理解的是，图4示出的结构并不构成对所述计算机设备4的限定，既可以是总线型结构，也可以是星形结构，所述计算机设备4还可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
在上述实施例中，可以全部或部分地通过应用程序、硬件、固件或者其任意组合来实现。当使用应用程序实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如，同轴电缆、光纤、数字用户线)或无线(例如，红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)，或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中的方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用应用程序功能单元的形式实现。
所述集成的单元如果以应用程序功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以应用程序产品的形式体现出来，该计算机应用程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、硬盘、只读存储器(Read-OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种运动评估方法，其特征在于，所述方法包括：
获取教练的第一视频数据及用户的第二视频数据；
提取所述第一视频数据的多个第一关键帧图像及所述第二视频数据的多个第二关键帧图像；
根据所述多个第一关键帧图像对所述多个第二关键帧图像进行几何变换；
根据所述多个第一关键帧图像计算得到第一三维模型及几何变换后的多个第二关键帧图像计算得到第二三维模型；
计算所述第二三维模型与所述第一三维模型之间的差异度；
根据所述差异度确定所述用户的运动得分。
2.如权利要求1所述的方法，其特征在于，在所述计算所述第二三维模型与所述第一三维模型之间的差异度之后，所述方法还包括：
在同一显示屏幕播放所述第一视频数据和所述第二视频数据；
根据预设第一提示在所述第二视频数据中提示所述差异度大于所述预设第一差异度阈值时对应的第二人体关键点；及/或
根据预设第二提示在所述第二视频数据中提示所述差异度小于所述预设第二差异度阈值时对应的第二人体关键点。
3.如权利要求1所述的方法，其特征在于，所述根据所述多个第一关键帧图像对所述多个第二关键帧图像进行几何变换包括：
输入所述第一关键帧图像至形体识别模型中得到第一形体数据；
输入所述第二关键帧图像至所述形体识别模型中得到第二形体数据；
根据所述第一形体数据和所述第二形体数据对所述多个第二关键帧图像中的每个第二关键帧图像进行几何变换。
4.如权利要求3所述的方法，其特征在于，所述第一形体数据包括第一身高和第一肩宽，所述第二形体数据包括第二身高和第二肩宽，所述根据所述第一形体数据和所述第二形体数据对所述多个第二关键帧图像中的每个第二关键帧图像进行几何变换包括：
计算所述第一身高和所述第二身高的第一比例；
计算所述第一肩宽和所述第二肩宽的第二比例；
对每个所述第二关键帧图像中的每个像素点在纵向方向上进行第一比例的缩放，在横向方向上进行第二比例的缩放。
5.如权利要求1至4中任意一项所述的方法，其特征在于，所述根据所述多个第一关键帧图像计算得到第一三维模型及几何变换后的多个第二关键帧图像计算得到第二三维模型包括：
检测每个所述第一关键帧图像中的多个第一人体关键点及每个几何变换后的第二关键帧图像中的多个第二人体关键点；
获取每个所述第一人体关键点的第一二维坐标及每个所述第二人体关键点的第二二维坐标；
获取每个所述第一人体关键点的第一深度数据及每个所述第二人体关键点的第二深度数据；
根据每个所述第一人体关键点的第一二维坐标及对应的第一深度数据得到对应的第一三维坐标，及根据每个所述第二人体关键点的第二二维坐标及对应的第二深度数据得到对应的第二三维坐标；
根据多个所述第一三维坐标计算得到第一三维模型及多个所述第二三维坐标计算得到第二三维模型。
6.如权利要求5所述的方法，其特征在于，所述计算所述第二三维模型与所述第一三维模型之间的差异度包括：
将所述第二三维模型中每相邻的两个第二人体关键点进行关联得到多个第一对象；
将所述第一三维模型中每相邻的两个第一人体关键点进行关联得到多个第二对象；
计算每个第一对象与对应的第二对象之间的差异度。
7.如权利要求6所述的方法，其特征在于，所述根据所述差异度确定所述用户的运动得分包括：
获取所述差异度中小于或者等于预设差异度阈值的目标差异度；
计算所述目标差异度的个数；
确定所述个数为所述用户的运动得分。
8.一种运动评估装置，其特征在于，所述装置包括：
视频获取模块，用于获取教练的第一视频数据及用户的第二视频数据；
图像提取模块，用于提取所述第一视频数据的多个第一关键帧图像及所述第二视频数据的多个第二关键帧图像；
几何变换模块，用于根据所述多个第一关键帧图像对所述多个第二关键帧图像进行几何变换；
第一计算模块，用于根据所述多个第一关键帧图像计算得到第一三维模型及几何变换后的多个第二关键帧图像计算得到第二三维模型；
第二计算模块，用于计算所述第二三维模型与所述第一三维模型之间的差异度；
得分确定模块，用于根据所述差异度确定所述用户的运动得分。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的运动评估方法的下载程序，所述运动评估方法的下载程序被所述处理器执行时实现如权利要求1至7中任意一项所述的运动评估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有运动评估方法的下载程序，所述运动评估方法的下载程序可被一个或者多个处理器执行以实现如权利要求1至7中任意一项所述的运动评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911002162.8A CN110782482A (zh) | 2019-10-21 | 2019-10-21 | 运动评估方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911002162.8A CN110782482A (zh) | 2019-10-21 | 2019-10-21 | 运动评估方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110782482A true CN110782482A (zh) | 2020-02-11 |
Family
ID=69386199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911002162.8A Pending CN110782482A (zh) | 2019-10-21 | 2019-10-21 | 运动评估方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110782482A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223550A (zh) * | 2020-02-28 | 2020-06-02 | 郑州大学 | 配置可视化激励界面的锻炼控制系统 |
| CN111488824A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 运动提示方法、装置、电子设备和存储介质 |
| CN111626137A (zh) * | 2020-04-29 | 2020-09-04 | 平安国际智慧城市科技股份有限公司 | 基于视频的运动评估方法、装置、计算机设备及存储介质 |
| CN111881867A (zh) * | 2020-08-03 | 2020-11-03 | 北京融链科技有限公司 | 视频分析方法及装置、电子设备 |
| CN111967407A (zh) * | 2020-08-20 | 2020-11-20 | 咪咕互动娱乐有限公司 | 动作评价方法、电子设备和计算机可读存储介质 |
| CN113920582A (zh) * | 2021-10-11 | 2022-01-11 | 平安国际智慧城市科技股份有限公司 | 人体动作评分方法、装置、设备及存储介质 |
| CN115063891A (zh) * | 2022-08-19 | 2022-09-16 | 山东新蓝海科技股份有限公司 | 一种人体异常体征数据监测方法 |
| CN117216313A (zh) * | 2023-09-13 | 2023-12-12 | 中关村科学城城市大脑股份有限公司 | 姿态评价音频输出方法、装置、电子设备和可读介质 |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101322589A (zh) * | 2008-07-16 | 2008-12-17 | 苏州大学 | 用于服装设计的非接触式人体测量方法 |
| WO2012156141A1 (en) * | 2011-05-16 | 2012-11-22 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Fast articulated motion tracking |
| CN103390174A (zh) * | 2012-05-07 | 2013-11-13 | 深圳泰山在线科技有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
| CN104200491A (zh) * | 2014-08-15 | 2014-12-10 | 浙江省新华医院 | 一种人体运动姿态校正系统 |
| CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
| CN107050774A (zh) * | 2017-05-17 | 2017-08-18 | 上海电机学院 | 一种基于动作采集的健身动作纠错系统及方法 |
| CN107280118A (zh) * | 2016-03-30 | 2017-10-24 | 深圳市祈飞科技有限公司 | 一种人体身高信息获取方法以及采用该方法的试衣柜系统 |
| CN107632698A (zh) * | 2016-07-18 | 2018-01-26 | 岱宇国际股份有限公司 | 基于影像的动作分析系统与方法 |
| CN107730529A (zh) * | 2017-10-10 | 2018-02-23 | 上海魔迅信息科技有限公司 | 一种视频动作评分方法及系统 |
| CN108211312A (zh) * | 2017-11-30 | 2018-06-29 | 中国联合网络通信集团有限公司 | 基于ar或vr运动的动作校正方法和装置 |
| WO2018214520A1 (zh) * | 2017-05-25 | 2018-11-29 | 深圳市前海未来无限投资管理有限公司 | 视频数据和运动效果动画的同步方法及装置 |
| CN108985262A (zh) * | 2018-08-06 | 2018-12-11 | 百度在线网络技术（北京）有限公司 | 肢体运动指导方法、装置、服务器及存储介质 |
| CN109190607A (zh) * | 2018-10-30 | 2019-01-11 | 维沃移动通信有限公司 | 一种动作图像处理方法、装置和终端 |
| CN109191588A (zh) * | 2018-08-27 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 运动教学方法、装置、存储介质及电子设备 |
| CN109508656A (zh) * | 2018-10-29 | 2019-03-22 | 重庆中科云丛科技有限公司 | 一种舞蹈评级自动判别方法、系统及计算机可读存储介质 |
| CN109621332A (zh) * | 2018-12-29 | 2019-04-16 | 北京卡路里信息技术有限公司 | 一种健身动作的属性确定方法、装置、设备和存储介质 |
| CN110074788A (zh) * | 2019-04-18 | 2019-08-02 | 梦多科技有限公司 | 一种基于机器学习的身体数据获取方法和装置 |
| CN110188688A (zh) * | 2019-05-30 | 2019-08-30 | 网易（杭州）网络有限公司 | 姿势评估方法及装置 |
| CN110245623A (zh) * | 2019-06-18 | 2019-09-17 | 重庆大学 | 一种实时人体运动姿势矫正方法及系统 |
| CN110298221A (zh) * | 2018-03-23 | 2019-10-01 | 上海形趣信息科技有限公司 | 自助健身方法、系统、电子设备、存储介质 |
| CN110298220A (zh) * | 2018-03-23 | 2019-10-01 | 上海形趣信息科技有限公司 | 动作视频直播方法、系统、电子设备、存储介质 |
| CN110321754A (zh) * | 2018-03-28 | 2019-10-11 | 西安铭宇信息科技有限公司 | 一种基于计算机视觉的人体运动姿态纠正方法及系统 |
-
2019
- 2019-10-21 CN CN201911002162.8A patent/CN110782482A/zh active Pending
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101322589A (zh) * | 2008-07-16 | 2008-12-17 | 苏州大学 | 用于服装设计的非接触式人体测量方法 |
| WO2012156141A1 (en) * | 2011-05-16 | 2012-11-22 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Fast articulated motion tracking |
| CN103390174A (zh) * | 2012-05-07 | 2013-11-13 | 深圳泰山在线科技有限公司 | 基于人体姿态识别的体育教学辅助系统和方法 |
| CN104200491A (zh) * | 2014-08-15 | 2014-12-10 | 浙江省新华医院 | 一种人体运动姿态校正系统 |
| CN107280118A (zh) * | 2016-03-30 | 2017-10-24 | 深圳市祈飞科技有限公司 | 一种人体身高信息获取方法以及采用该方法的试衣柜系统 |
| CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
| CN107632698A (zh) * | 2016-07-18 | 2018-01-26 | 岱宇国际股份有限公司 | 基于影像的动作分析系统与方法 |
| CN107050774A (zh) * | 2017-05-17 | 2017-08-18 | 上海电机学院 | 一种基于动作采集的健身动作纠错系统及方法 |
| WO2018214520A1 (zh) * | 2017-05-25 | 2018-11-29 | 深圳市前海未来无限投资管理有限公司 | 视频数据和运动效果动画的同步方法及装置 |
| CN107730529A (zh) * | 2017-10-10 | 2018-02-23 | 上海魔迅信息科技有限公司 | 一种视频动作评分方法及系统 |
| CN108211312A (zh) * | 2017-11-30 | 2018-06-29 | 中国联合网络通信集团有限公司 | 基于ar或vr运动的动作校正方法和装置 |
| CN110298221A (zh) * | 2018-03-23 | 2019-10-01 | 上海形趣信息科技有限公司 | 自助健身方法、系统、电子设备、存储介质 |
| CN110298220A (zh) * | 2018-03-23 | 2019-10-01 | 上海形趣信息科技有限公司 | 动作视频直播方法、系统、电子设备、存储介质 |
| CN110321754A (zh) * | 2018-03-28 | 2019-10-11 | 西安铭宇信息科技有限公司 | 一种基于计算机视觉的人体运动姿态纠正方法及系统 |
| CN108985262A (zh) * | 2018-08-06 | 2018-12-11 | 百度在线网络技术（北京）有限公司 | 肢体运动指导方法、装置、服务器及存储介质 |
| CN109191588A (zh) * | 2018-08-27 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 运动教学方法、装置、存储介质及电子设备 |
| CN109508656A (zh) * | 2018-10-29 | 2019-03-22 | 重庆中科云丛科技有限公司 | 一种舞蹈评级自动判别方法、系统及计算机可读存储介质 |
| CN109190607A (zh) * | 2018-10-30 | 2019-01-11 | 维沃移动通信有限公司 | 一种动作图像处理方法、装置和终端 |
| CN109621332A (zh) * | 2018-12-29 | 2019-04-16 | 北京卡路里信息技术有限公司 | 一种健身动作的属性确定方法、装置、设备和存储介质 |
| CN110074788A (zh) * | 2019-04-18 | 2019-08-02 | 梦多科技有限公司 | 一种基于机器学习的身体数据获取方法和装置 |
| CN110188688A (zh) * | 2019-05-30 | 2019-08-30 | 网易（杭州）网络有限公司 | 姿势评估方法及装置 |
| CN110245623A (zh) * | 2019-06-18 | 2019-09-17 | 重庆大学 | 一种实时人体运动姿势矫正方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| MANUEL P. CUELLAR 等: "An Approach for the Evaluation of Human Activities in Physical Therapy Scenarios", 《MONAMI 2014》 * |
| 薛智宏 等: "基于Kinect的原地太极拳辅助训练系统", 《河北科技大学学报》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223550A (zh) * | 2020-02-28 | 2020-06-02 | 郑州大学 | 配置可视化激励界面的锻炼控制系统 |
| CN111488824A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 运动提示方法、装置、电子设备和存储介质 |
| CN111488824B (zh) * | 2020-04-09 | 2023-08-08 | 北京百度网讯科技有限公司 | 运动提示方法、装置、电子设备和存储介质 |
| CN111626137A (zh) * | 2020-04-29 | 2020-09-04 | 平安国际智慧城市科技股份有限公司 | 基于视频的运动评估方法、装置、计算机设备及存储介质 |
| WO2021217927A1 (zh) * | 2020-04-29 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 基于视频的运动评估方法、装置、计算机设备及存储介质 |
| CN111881867A (zh) * | 2020-08-03 | 2020-11-03 | 北京融链科技有限公司 | 视频分析方法及装置、电子设备 |
| CN111967407A (zh) * | 2020-08-20 | 2020-11-20 | 咪咕互动娱乐有限公司 | 动作评价方法、电子设备和计算机可读存储介质 |
| CN111967407B (zh) * | 2020-08-20 | 2023-10-20 | 咪咕互动娱乐有限公司 | 动作评价方法、电子设备和计算机可读存储介质 |
| CN113920582A (zh) * | 2021-10-11 | 2022-01-11 | 平安国际智慧城市科技股份有限公司 | 人体动作评分方法、装置、设备及存储介质 |
| CN115063891A (zh) * | 2022-08-19 | 2022-09-16 | 山东新蓝海科技股份有限公司 | 一种人体异常体征数据监测方法 |
| CN117216313A (zh) * | 2023-09-13 | 2023-12-12 | 中关村科学城城市大脑股份有限公司 | 姿态评价音频输出方法、装置、电子设备和可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110782482A (zh) | 运动评估方法、装置、计算机设备及存储介质 | |
| Chen et al. | Computer-assisted yoga training system | |
| CN109815776B (zh) | 动作提示方法和装置、存储介质及电子装置 | |
| CN111626137A (zh) | 基于视频的运动评估方法、装置、计算机设备及存储介质 | |
| KR102377561B1 (ko) | 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법 | |
| CN105228708A (zh) | 身体动作评分装置、舞蹈评分装置、卡拉ok装置以及游戏装置 | |
| Alabbasi et al. | Human motion tracking & evaluation using Kinect V2 sensor | |
| US11568617B2 (en) | Full body virtual reality utilizing computer vision from a single camera and associated systems and methods | |
| CN104035557A (zh) | 一种基于关节活跃度的Kinect动作识别方法 | |
| US11726550B2 (en) | Method and system for providing real-time virtual feedback | |
| Zou et al. | Intelligent fitness trainer system based on human pose estimation | |
| CN113409651B (zh) | 直播健身方法、系统、电子设备、存储介质 | |
| CN113505662A (zh) | 一种健身指导方法、装置及存储介质 | |
| CN111967407B (zh) | 动作评价方法、电子设备和计算机可读存储介质 | |
| US20210060385A1 (en) | Advancement Manager In A Handheld User Device | |
| EP4088219A1 (en) | Motion matching analysis | |
| Aloba et al. | Kinder-Gator: The UF Kinect Database of Child and Adult Motion. | |
| Huang et al. | Intelligent yoga coaching system based on posture recognition | |
| Lin et al. | The effect of real-time pose recognition on badminton learning performance | |
| US20230162458A1 (en) | Information processing apparatus, information processing method, and program | |
| CN112926440A (zh) | 动作比对方法、装置、电子设备及存储介质 | |
| CN110070036B (zh) | 辅助运动动作训练的方法、装置及电子设备 | |
| KR102095647B1 (ko) | 스마트기기를 이용한 동작 비교장치 및 동작 비교장치를 통한 댄스 비교방법 | |
| CN116271757A (zh) | 一种基于ai技术的篮球练习的辅助系统和方法 | |
| CN113051973A (zh) | 用于姿势矫正的方法及装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200211 |