CN112257642B - 人体连续动作相似性评价方法及评价装置 - Google Patents
人体连续动作相似性评价方法及评价装置 Download PDFInfo
- Publication number
- CN112257642B CN112257642B CN202011190897.0A CN202011190897A CN112257642B CN 112257642 B CN112257642 B CN 112257642B CN 202011190897 A CN202011190897 A CN 202011190897A CN 112257642 B CN112257642 B CN 112257642B
- Authority
- CN
- China
- Prior art keywords
- human body
- sequence
- similarity evaluation
- dimensional coordinates
- ankle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 95
- 230000033001 locomotion Effects 0.000 title claims abstract description 76
- 230000009471 action Effects 0.000 claims abstract description 137
- 238000000034 method Methods 0.000 claims abstract description 59
- 210000003423 ankle Anatomy 0.000 claims description 60
- 210000000707 wrist Anatomy 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 25
- 210000003127 knee Anatomy 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 210000003414 extremity Anatomy 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种人体连续动作相似性评价方法及评价装置，评价方法包括：获取第一人体运动时的彩色图像序列和深度图像序列；获取第一人体关键点相对相机坐标系的三维坐标；截取第一人体关键点的坐标序列并构成模板动作库；获取第二人体运动时的一帧彩色图像和深度图像；获取第二人体关键点相对相机坐标系的三维坐标；获取从模板动作库中选取的待对比的模板动作序列的时间长度；将截取的与模板动作序列的时间长度相同且截止时间为当前输入的第二人体关键点坐标序列最新时间的第二人体关键点坐标序列作为输入动作序列；对输入动作和模板动作的相似性进行评价。本申请能够对用户输入的连续性动作与模板动作之间的相似性进行实时、动态评价。
Description
技术领域
本申请属于人体运动分析技术领域，具体涉及一种人体连续动作相似性评价方法及评价装置。
背景技术
随着科学技术的进步和人类生活水平的提高，人们对各类体育运动的需求日益增长。在运动过程中，人们不只是满足于单纯的运动量，而是更在意自身动作与模板动作的相似性。然而，由于时间、场地和人数的限制，人们往往难以随时获得教练的动作指导。另外，即使是通过观看教学视频进行学习，也会因为理解能力的差异和针对性教学的欠缺，导致人们练习时的动作与模板动作存在较大差异。现有技术中存在输入动作与模板动作的差异性的静态对比，还不能对输入动作与模板动作的差异性进行动态对比。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供了一种人体连续动作相似性评价方法及评价装置。
根据本申请实施例的第一方面，本申请提供了一种人体连续动作相似性评价方法，其包括以下步骤：
搭建模板动作库，其具体过程为：
获取第一人体运动时的彩色图像序列和深度图像序列；
获取第一人体关键点相对相机坐标系的三维坐标；
截取第一人体关键点的坐标序列并将其作为待对比的模板动作序列，模板动作序列构成模板动作库；
获取输入动作序列，其具体过程为：
获取第二人体运动时的一帧彩色图像和深度图像；
获取第二人体关键点相对相机坐标系的三维坐标；
从模板动作库中选取待对比的模板动作序列，并获取该模板动作序列的时间长度；
截取与模板动作序列的时间长度相同且截止时间为当前输入的第二人体关键点坐标序列最新时间的第二人体关键点坐标序列，并将其作为输入动作序列；
对输入动作和模板动作的相似性进行实时评价，其具体过程：
分别提取模板动作序列的特征和输入动作序列的特征；
分别对模板动作序列的特征和输入动作序列的特征进行标准化处理；
计算输入动作序列与模板动作序列中各对应特征的距离值；
根据各对应特征的距离值计算得到综合相似性评价值；
根据综合相似性评价值得到最终的相似性评价结果。
上述人体连续动作相似性评价方法中，所述第一人体关键点和第二人体关键点均包括两肩中心、头、右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝和左踝。
上述人体连续动作相似性评价方法中，所述获取第一人体关键点相对相机坐标系的三维坐标的过程为：
采用深度学习方法获得第一人体关键点在各彩色图像上的像素坐标；
利用彩色图像与深度图像的映射关系完成第一人体关键点的三维重建，得到第一人体关键点相对相机坐标系的三维坐标；
所述获取第二人体关键点相对相机坐标系的三维坐标的过程为：
采用深度学习方法获得第二人体关键点在获取的一帧彩色图像上的像素坐标；
利用彩色图像与深度图像的映射关系完成第二人体关键点的三维重建，得到第二人体关键点相对相机坐标系的三维坐标。
上述人体连续动作相似性评价方法中，所述模板动作序列的特征和输入动作序列的特征均包括人体中心特征、杆件方向特征和人体末端位置特征。
进一步地，所述人体中心特征包括两肩中心的三维坐标；所述杆件方向特征包括两肩中心与头之间的、两肩中心与右肩之间的、右肩与右肘之间的、右肘与右腕之间的、两肩中心与左肩之间的、左肩与左肘之间的、左肘与左腕之间的、两肩中心与右髋之间的、右髋与右膝之间的、右膝与右踝之间的、两肩中心与左髋之间的、左髋与左膝之间的以及左膝与左踝之间的杆件方向向量；所述人体末端位置特征包括头、右腕、左腕、右踝和左踝的三维坐标。
更进一步地，所述分别对模板动作序列的特征和输入动作序列的特征进行标准化处理包括：对人体中心特征的三维坐标进行Zscore数据标准化处理、对杆件方向特征进行标准化处理以及对头、右腕、左腕、右踝和左踝的三维坐标进行Zscore数据标准化处理。
更进一步地，所述对人体中心特征的三维坐标进行Zscore数据标准化处理的过程为：
数据标准化后第i帧动作序列中两肩中心的三维坐标为：
式中，x1o(i),y1o(i)和z1o(i)分别表示第i帧动作序列中两肩中心相对相机坐标系的三维坐标；μx、μy和μz分别表示两肩中心相对相机坐标系的坐标值序列在x,y,z三个方向上的平均值；σx、σy和σz分别表示两肩中心相对相机坐标系的坐标值序列在x,y,z三个方向上的标准差；x1n(i),y1n(i)和z1n(i)分别表示数据标准化后第i帧动作序列中两肩中心的三维坐标。
更进一步地，所述对杆件方向特征进行标准化处理的过程为：
式中，表示第m个人体杆件的子节点相对相机坐标系的三维坐标值，/>表示第j个人体杆件的父节点相对相机坐标系的三维坐标值，/>表示第m个人体杆件方向向量的模，/>表示标准化后的杆件方向特征，具体表示第m个人体杆件的单位方向向量。
更进一步地，所述对头、右腕、左腕、右踝和左踝的三维坐标进行Zscore数据标准化处理的过程为：
数据标准化后的第i帧动作序列中头、右腕、左腕、右踝和左踝的三维坐标为：
式中，xjo(i),yjo(i)和zjo(i)分别表示第i帧动作序列中头、右腕、左腕、右踝和左踝相对相机坐标系的三维坐标；和/>分别表示头、右腕、左腕、右踝和左踝相对相机坐标系的坐标值序列在x,y,z三个方向上的平均值；/> 和/>分别表示头、右腕、左腕、右踝和左踝相对相机坐标系的坐标值序列在x,y,z三个方向上的标准差；xjn(i),yjn(i)和zjn(i)分别表示数据标准化后第i帧动作序列中头、右腕、左腕、右踝和左踝的三维坐标。
更进一步地，所述根据各对应特征的距离值计算得到综合相似性评价值的过程为：
将人体中心特征Pc的DTW距离值Dc转化成0至1的单项相似性评价值Rc，
Rc＝exp(-kcDC)，
式中，kc表示人体中心特征归一化系数；
将杆件方向特征的DTW距离值/>转化成0至1的单项相似性评价值Rv，
式中，kv表示人体杆件特征归一化系数；
将人体末端位置特征的DTW距离值/>转化成0至1的单项相似性评价值Re，
式中，ke表示人体末端位置特征归一化系数；
根据人体中心特征、杆件方向特征和人体末端位置特征的单项相似性评价值可以得到综合相似性评价值：
Ra＝ωcRc+ωvRv+ωeRe，
式中，ωc表示人体中心特征的加权系数，ωv表示杆件方向特征的加权系数，ωe表示人体末端位置特征的加权系数，且满足ωc+ωv+ωe＝1。
更进一步地，所述根据综合相似性评价值得到最终的相似性评价结果的过程为：
逐帧计算输入动作序列对应的综合相似性评价值；
确定综合相似性评价值的历史值的局部最小值；
将综合相似性评价值的历史值的局部最小值作为最终的相似性评价结果。
根据本申请实施例的第二方面，本申请还提供了一种人体连续动作相似性评价装置，其包括存储器和处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行上述任一项所述的人体连续动作相似性评价方法中的步骤。
根据本申请的上述具体实施方式可知，至少具有以下有益效果：本申请提供的人体连续动作相似性评价方法通过搭建模板动作库，并根据从模板动作库中选取的待对比的模板动作序列获取输入动作序列，通过输入动作序列与模板动作序列中各对应特征的距离值计算得到综合相似性评价值，进而根据综合相似性评价值得到最终的相似性评价结果，本申请提供的人体连续动作相似性评价方法能够对用户输入的连续性动作与模板动作之间的相似性进行实时、动态评价，从而使用户能够清楚的了解自身的动作与模板动作之间的差异。
本申请提供的人体连续动作相似性评价方法中通过三种人体特征的选取与处理能够更好地解决人体的身高和体格带来的尺度差异问题，其中人体中心特征的选取能够更好地表征整个人体位置的移动规律，解决一些人体关节运动不显著，却有人体位移运动(例如跳跃)问题；人体末端位置特征的选取能够完成复杂动作的相似性评价，例如空翻和倒立等。
本申请提供的人体连续动作相似性评价方法中，根据综合相似性评价值的历史值的局部最小值，可以将该局部最小值对应的输入动作序列段与模板动作序列段作为最佳对齐的序列段，进而确定最佳对齐的序列段中的起始帧和结束帧，避免人为主观地确定起始帧和结束帧；另外，最佳对齐的序列段中的起始帧和结束帧的确定能够方便用户了解其输入动作中哪些动作与模板动作相似度较高。
本申请提供的人体连续动作相似性评价装置通过连续采集人体运动时的图像，对图像中三种人体特征的选取与处理，进而对输入动作和模板动作进行动态对比分析，能够为用户提供其自身动作与模板动作之间的相似性评价报告，进而为用户提供针对性的动作指导意见。由于本申请不需要依托专业测量设备，在不同场景下配置RGBD深度相机即可使用，具有广泛的应用价值。
应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本申请所欲主张的范围。
附图说明
下面的所附附图是本申请的说明书的一部分，其示出了本申请的实施例，所附附图与说明书的描述一起用来说明本申请的原理。
图1为本申请实施例提供的一种人体连续动作相似性评价方法的流程图。
图2为本申请实施例提供的一种人体连续动作相似性评价方法中人体关键点的排布示意图。
图3为本申请实施例提供的一种人体连续动作相似性评价方法中对输入动作和模板动作的相似性进行实时评价的流程图。
附图标记说明：
1、两肩中心；2、头；3、右肩；4、右肘；5、右腕；6、左肩；7、左肘；8、左腕；9、右髋；10、右膝；11、右踝；12、左髋；13、左膝；14、左踝。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本申请所揭示内容的精神，任何所属技术领域技术人员在了解本申请内容的实施例后，当可由本申请内容所教示的技术，加以改变及修饰，其并不脱离本申请内容的精神与范围。
本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本申请，其仅为了区别以相同技术用语描述的元件或操作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。
关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。
某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。
图1为本申请实施例提供的一种人体连续动作相似性评价方法的流程图。
如图1所示，本申请提供的人体连续动作相似性评价方法包括以下步骤：
S1、搭建模板动作库，其具体过程为：
S11、获取第一人体运动时的彩色图像序列和深度图像序列。
具体地，可以采用RGBD深度相机获取第一人体在运动时的彩色图像序列和深度图像序列。
S12、采用深度学习方法获得第一人体关键点在各彩色图像上的像素坐标，并利用彩色图像与深度图像的映射关系完成第一人体关键点的三维重建，得到第一人体关键点相对相机坐标系的三维坐标。
图2为本申请实施例提供的一种人体连续动作相似性评价方法中人体关键点的排布示意图。
如图2所示，人体关键点包括两肩中心1、头2、右肩3、右肘4、右腕5、左肩6、左肘7、左腕8、右髋9、右膝10、右踝11、左髋12、左膝13和左踝14。
S13、截取第一人体关键点的坐标序列并将其作为待对比的模板动作序列，模板动作序列构成模板动作库。
S2、获取输入动作序列，其具体过程为：
S21、获取第二人体运动时的一帧彩色图像和深度图像；
S22、采用深度学习方法获得第二人体关键点在获取的一帧彩色图像上的像素坐标，并利用彩色图像与深度图像的映射关系完成第二人体关键点的三维重建，得到第二人体关键点相对相机坐标系的三维坐标。
S23、从模板动作库中选取待对比的模板动作序列，并获取该模板动作序列的时间长度。
S24、判断输入的第二人体关键点坐标序列的时间长度是否大于或等于模板动作序列的时间长度，如果是，则截取与模板动作序列的时间长度相同且截止时间为当前输入的第二人体关键点坐标序列最新时间的第二人体关键点坐标序列，并将该截取的第二人体关键点坐标序列作为输入动作序列；否则，返回步骤S21重新采集第二人体运动时的彩色图像和深度图像。
例如，假设模板动作序列的时间点依次为：0、0.004、0.008、……、1.0，时间单位为秒，则模板动作序列的时间长度为1.0秒。
假设输入的第二人体关键点坐标序列的时间点依次为：0、0.004、0.008、……、1.0，由于输入的第二人体关键点坐标序列的时间会随着相机开启的时间一直增加，当输入的第二人体关键点坐标序列的最新时间大于1.0秒之后，例如1.2秒，则选取0.2秒到1.2秒的第二人体关键点坐标序列作为输入动作序列。再例如，当前输入的第二人体关键点坐标序列的最新时间为2.6秒，则选取1.6秒到2.6秒的第二人体关键点坐标序列作为输入动作序列。该过程可以理解为随着数据输入时间的增加，滑窗选取最新的第二人体关键点坐标序列并将其作为输入动作序列。
图3为本申请实施例提供的一种人体连续动作相似性评价方法中对输入动作和模板动作的相似性进行实时评价的流程图。
S3、如图3所示，对输入动作和模板动作的相似性进行实时评价，其具体过程为：
S31、分别提取模板动作序列的特征和输入动作序列的特征，其中，模板动作序列的特征和输入动作序列特征均包括人体中心特征、杆件方向特征和人体末端位置特征。
如图2所示，选取两肩中心1的三维坐标并将其作为人体中心特征。
选取人体杆件[1,2]、[1,3]、[3,4]、[4,5]、[1,6]、[6,7]、[7,8]、[1,9]、[9,10]、[10,11]、[1,12]、[12,13]、[13,14]共13个方向向量作为杆件方向特征。
选取头2、右腕5、左腕8、右踝11和左踝14的三维坐标作为人体末端位置特征。
S32、对人体中心特征的三维坐标、杆件方向特征的三维坐标和人体末端位置特征的三维坐标分别进行标准化处理，得到标准化后的人体中心特征、杆件方向特征和人体末端位置特征，其具体包括：
由于人体关键点的三维坐标是相对相机坐标系的，因此坐标值受相机的位置和姿态的影响，同时所选取的模板动作序列的特征和输入动作序列的特征需要适应不同身高和体格的人，因此需要对人体中心特征的三维坐标进行Zscore数据标准化处理，其具体处理过程为：
数据标准化后第i帧动作序列中两肩中心的三维坐标，也就是数据标准化后的人体中心特征Pc为：
式中，x1o(i),y1o(i)和z1o(i)分别表示第i帧动作序列中两肩中心1相对相机坐标系的三维坐标，其中，下标中的o没有实际意义，为original的首字母；μx、μy和μz分别表示两肩中心1相对相机坐标系的坐标值序列在x,y,z三个方向上的平均值；σx、σy和σz分别表示两肩中心1相对相机坐标系的坐标值序列在x,y,z三个方向上的标准差；x1n(i),y1n(i)和z1n(i)分别表示数据标准化后第i帧动作序列中两肩中心1的三维坐标，其中，下标中的n没有实际意义，为normal的首字母。
为了避免不同身高和体格的人带来的尺度不统一的问题，对杆件方向特征进行标准化处理，其具体过程为：
式中，表示第m个人体杆件的子节点相对相机坐标系的三维坐标值，/>表示第j个人体杆件的父节点相对相机坐标系的三维坐标值，/>表示第m个人体杆件方向向量的模，/>表示标准化后的杆件方向特征，具体表示第m个人体杆件的单位方向向量。例如，第1个人体杆件的子节点为头2，第1个人体杆件的父节点为两肩中心1。
对头2、右腕5、左腕8、右踝11和左踝14的三维坐标进行Zscore数据标准化处理，得到数据标准化后的人体末端位置特征j＝1,2,3,4,5。其中，/>表示数据标准化后头的位置特征，/>表示数据标准化后右腕的位置特征，/>表示数据标准化后左腕的位置特征，/>表示数据标准化后右踝的位置特征，/>表示数据标准化后左踝的位置特征。
其中，数据标准化后的第i帧动作序列中头2、右腕5、左腕8、右踝11和左踝14的三维坐标，也就是数据标准化后的人体末端位置特征为：
式中，xjo(i),yjo(i)和zjo(i)分别表示第i帧动作序列中头2、右腕5、左腕8、右踝11和左踝14相对相机坐标系的三维坐标，其中，下标中的o没有实际意义，为original的首字母；和/>分别表示头2、右腕5、左腕8、右踝11和左踝14相对相机坐标系的坐标值序列在x,y,z三个方向上的平均值；/>和/>分别表示头2、右腕5、左腕8、右踝11和左踝14相对相机坐标系的坐标值序列在x,y,z三个方向上的标准差；xjn(i),yjn(i)和zjn(i)分别表示数据标准化后第i帧动作序列中头2、右腕5、左腕8、右踝11和左踝14的三维坐标，其中，下标中的n没有实际意义，为normal的首字母。
S33、利用DTW(Dynamic Time Warping，动态时间归整)算法计算输入动作序列与模板动作序列中各对应特征的距离值。
其中，DTW算法常用于两个时间序列的相似性计算，是一种通过动态规划算法寻找基于优化目标的最小累计距离路径。
本申请中模板动作序列与输入动作序列的人体中心特征Pc的DTW距离值计算的优化目标为坐标值欧式距离之和最小，利用DTW算法计算得到人体中心特征Pc的DTW距离值Dc。
本申请中模板动作序列与输入动作序列的杆件方向特征的DTW距离值计算的优化目标为向量夹角值之和最小，杆件方向特征/>为单位向量，也就是输入动作序列单位方向向量与模板序列单位方向向量的内积，利用DTW算法计算得到杆件方向特征/>的DTW距离值/>
本申请中模板动作序列与输入动作序列的人体末端位置特征的DTW距离值计算的优化目标为坐标值欧式距离之和最小，利用DTW算法计算得到人体末端位置特征/>的DTW距离值/>
S34、根据人体中心特征Pc的DTW距离值Dc、杆件方向特征的DTW距离值/>和人体末端位置特征/>的DTW距离值/>计算得到综合相似性评价值，其具体过程为：
将人体中心特征Pc的DTW距离值Dc转化成0至1的单项相似性评价值，即：
Rc＝exp(-kcDC)，
式中，kc表示人体中心特征归一化系数。
将杆件方向特征的DTW距离值/>转化成0至1的单项相似性评价值，即：
式中，kv表示人体杆件特征归一化系数。
将人体末端位置特征的DTW距离值/>转化成0至1的单项相似性评价值，即：
式中，ke表示人体末端位置特征归一化系数。
根据人体中心特征、杆件方向特征和人体末端位置特征的单项相似性评价值可以得到综合相似性评价值：
Ra＝ωcRc+ωvRv+ωeRe，
式中，ωc表示人体中心特征的加权系数，ωv表示杆件方向特征的加权系数，ωe表示人体末端位置特征的加权系数，且满足ωc+ωv+ωe＝1。
S35、根据综合相似性评价值得到最终的相似性评价结果，其具体过程为：
逐帧计算输入动作序列对应的综合相似性评价值Ra(i)。
确定综合相似性评价值的历史值的局部最小值。
将综合相似性评价值的历史值的局部最小值作为最终的相似性评价结果。
另外，根据综合相似性评价值的历史值的局部最小值，可以将该局部最小值对应的输入动作序列段与模板动作序列段作为最佳对齐的序列段。
分别确定最佳对齐的序列段中输入动作序列段的起始帧和结束帧以及模板动作序列段的起始帧和结束帧。通过确定最佳对齐的序列段中的起始帧和结束帧，方便用户了解其输入动作中哪些动作与模板动作相似度较高。
在示例性实施例中，本申请实施例还提供了一种人体连续动作相似性评价系统，其包括模板动作库搭建模块、输入动作序列获取模块和相似性评价模块。
其中，模板动作库搭建模块用于根据第一人体关键点的坐标序列搭建模板动作库。
输入动作序列获取模块用于获取与从模板动作库中选取的待对比的模板动作序列时间长度相同的最新的第二人体关键点的坐标序列，并将其作为输入动作序列。
相似性评价模块用于根据待对比的模板动作序列和输入动作序列中人体中心特征的距离值、杆件方向特征的距离值和人体末端位置特征的距离值，综合计算得到相似性评价结果。
具体地，模板动作库搭建模块包括第一图像采集模块、第一三维重建模块和搭建模块。
其中，第一图像采集模块用于采集第一人体运动时的彩色图像序列和深度图像序列。
第一三维重建模块用于利用深度学习方法获得第一人体关键点在各彩色图像上的像素坐标，并利用彩色图像与深度图像的映射关系完成第一人体关键点的三维重建，得到第一人体关键点相对相机坐标系的三维坐标。
搭建模块用于利用截取的第一人体关键点的坐标序列搭建模板动作库。
具体地，输入动作序列获取模块包括第二图像采集模块、第二三维重建模块、模板动作序列选取模块和输入动作序列截取模块。
其中，第二图像采集模块用于采集第二人体运动时的彩色图像序列和深度图像序列。
第二三维重建模块用于利用深度学习方法获得第二人体关键点在各彩色图像上的像素坐标，并利用彩色图像与深度图像的映射关系完成第二人体关键点的三维重建，得到第二人体关键点相对相机坐标系的三维坐标。
模板动作序列选取模块用于从模板动作库中选取待对比的模板动作序列，并获取模板动作序列的时间长度。
输入动作序列截取模块用于截取与模板动作序列的时间长度相同的且截止时间为当前输入的第二人体关键点坐标序列最新时间的第二人体关键点坐标序列并将其作为输入动作序列。
具体地，相似性评价模块包括特征提取模块、标准化处理模块、第一计算模块、第二计算模块和相似性评价结果输出模块。
其中，特征提取模块用于分别提取模板动作序列的特征和输入动作序列的特征，其中，模板动作序列的特征和输入动作序列特征均包括人体中心特征、杆件方向特征和人体末端位置特征。
标准化处理模块用于分别对模板动作序列和输入动作序列中的人体中心特征的三维坐标、杆件方向特征的三维坐标和人体末端位置特征的三维坐标分别进行标准化处理，得到标准化后的人体中心特征、杆件方向特征和人体末端位置特征。
第一计算模块用于采用DTW算法分别计算输入动作序列与模板动作序列中对应的人体中心特征、杆件方向特征和人体末端位置特征的距离值。
第二计算模块用于根据人体中心特征的距离值、杆件方向特征的距离值和人体末端位置特征的距离值，计算得到综合相似性评价值。
相似性评价结果输出模块用于根据综合相似性评价值输出最终的相似性评价结果。
需要说明的是：上述实施例提供的微电网中能量管理算法的开发与测试系统仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将人体连续动作相似性评价系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的人体连续动作相似性评价系统与人体连续动作相似性评价方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在示例性实施例中，本申请实施例还提供了一种人体连续动作相似性评价装置，其包括存储器和处理器，处理器被配置为基于存储在存储器中的指令，执行本申请中任一个实施例中的人体连续动作相似性评价方法。
其中，存储器可以为系统存储器或固定非易失性存储介质等，系统存储器可以存储有操作系统、应用程序、引导装载程序、数据库以及其他程序等。
在示例性实施例中，本申请实施例还提供了一种计算机存储介质，是计算机可读存储介质，例如，包括计算机程序的存储器，上述计算机程序可由处理器执行，以完成本申请中任一个实施例中的人体连续动作相似性评价方法。
上述的本申请实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本申请的实施例也可表示在数据信号处理器中执行上述方法的程序代码。本申请也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列执行的多种功能。可根据本申请配置上述处理器执行特定任务，其通过执行定义了本申请揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展表示不同的程序语言与不同的格式或形式。也可表示不同的目标平台编译软件代码。然而，根据本申请执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本申请的精神与范围。
以上所述仅表示本申请示意性的具体实施方式，在不脱离本申请的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本申请保护的范围。
Claims (7)
1.一种人体连续动作相似性评价方法，其特征在于，包括以下步骤：
搭建模板动作库，其具体过程为：
获取第一人体运动时的彩色图像序列和深度图像序列；
获取第一人体关键点相对相机坐标系的三维坐标；
截取第一人体关键点的坐标序列并将其作为待对比的模板动作序列，模板动作序列构成模板动作库；
获取输入动作序列，其具体过程为：
获取第二人体运动时的一帧彩色图像和深度图像；
获取第二人体关键点相对相机坐标系的三维坐标；
从模板动作库中选取待对比的模板动作序列，并获取该模板动作序列的时间长度；
截取与模板动作序列的时间长度相同且截止时间为当前输入的第二人体关键点坐标序列最新时间的第二人体关键点坐标序列，并将其作为输入动作序列；
对输入动作和模板动作的相似性进行实时评价，其具体过程：
分别提取模板动作序列的特征和输入动作序列的特征；
分别对模板动作序列的特征和输入动作序列的特征进行标准化处理，其包括对人体中心特征的三维坐标进行Zscore数据标准化处理、对杆件方向特征进行标准化处理以及对头、右腕、左腕、右踝和左踝的三维坐标进行Zscore数据标准化处理；
所述对人体中心特征的三维坐标进行Zscore数据标准化处理的过程为：
数据标准化后第i帧动作序列中两肩中心的三维坐标为：
式中，x1o(i),y1o(i)和z1o(i)分别表示第i帧动作序列中两肩中心相对相机坐标系的三维坐标；μx、μy和μz分别表示两肩中心相对相机坐标系的坐标值序列在x,y,z三个方向上的平均值；σx、σy和σz分别表示两肩中心相对相机坐标系的坐标值序列在x,y,z三个方向上的标准差；x1n(i),y1n(i)和z1n(i)分别表示数据标准化后第i帧动作序列中两肩中心的三维坐标；
所述对杆件方向特征进行标准化处理的过程为：
式中，表示第m个人体杆件的子节点相对相机坐标系的三维坐标值，/>表示第j个人体杆件的父节点相对相机坐标系的三维坐标值，/>表示第m个人体杆件方向向量的模，/>表示标准化后的杆件方向特征，具体表示第m个人体杆件的单位方向向量，其中，j＝1,2,3,4,5；
所述对头、右腕、左腕、右踝和左踝的三维坐标进行Zscore数据标准化处理的过程为：
数据标准化后的第i帧动作序列中头、右腕、左腕、右踝和左踝的三维坐标为：
式中，xjo(i),yjo(i)和zjo(i)分别表示第i帧动作序列中头、右腕、左腕、右踝和左踝相对相机坐标系的三维坐标；和/>分别表示头、右腕、左腕、右踝和左踝相对相机坐标系的坐标值序列在x,y,z三个方向上的平均值；/> 和/>分别表示头、右腕、左腕、右踝和左踝相对相机坐标系的坐标值序列在x,y,z三个方向上的标准差；xjn(i),yjn(i)和zjn(i)分别表示数据标准化后第i帧动作序列中头、右腕、左腕、右踝和左踝的三维坐标；
计算输入动作序列与模板动作序列中各对应特征的距离值；
根据各对应特征的距离值计算得到综合相似性评价值，其过程为：
将人体中心特征Pc的DTW距离值Dc转化成0至1的单项相似性评价值Rc，
Rc＝exp(-kcDC)，
式中，kc表示人体中心特征归一化系数；
将杆件方向特征的DTW距离值/>转化成0至1的单项相似性评价值Rv，
式中，kv表示人体杆件特征归一化系数；
将人体末端位置特征的DTW距离值/>转化成0至1的单项相似性评价值Re，
式中，ke表示人体末端位置特征归一化系数；
根据人体中心特征、杆件方向特征和人体末端位置特征的单项相似性评价值可以得到综合相似性评价值：
Ra＝ωcRc+ωvRv+ωeRe，
式中，ωc表示人体中心特征的加权系数，ωv表示杆件方向特征的加权系数，ωe表示人体末端位置特征的加权系数，且满足ωc+ωv+ωe＝1；
根据综合相似性评价值得到最终的相似性评价结果。
2.根据权利要求1所述的人体连续动作相似性评价方法，其特征在于，所述第一人体关键点和第二人体关键点均包括两肩中心、头、右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝和左踝。
3.根据权利要求1所述的人体连续动作相似性评价方法，其特征在于，所述获取第一人体关键点相对相机坐标系的三维坐标的过程为：
采用深度学习方法获得第一人体关键点在各彩色图像上的像素坐标；
利用彩色图像与深度图像的映射关系完成第一人体关键点的三维重建，得到第一人体关键点相对相机坐标系的三维坐标；
所述获取第二人体关键点相对相机坐标系的三维坐标的过程为：
采用深度学习方法获得第二人体关键点在获取的一帧彩色图像上的像素坐标；
利用彩色图像与深度图像的映射关系完成第二人体关键点的三维重建，得到第二人体关键点相对相机坐标系的三维坐标。
4.根据权利要求1或2或3所述的人体连续动作相似性评价方法，其特征在于，所述模板动作序列的特征和输入动作序列的特征均包括人体中心特征、杆件方向特征和人体末端位置特征。
5.根据权利要求4所述的人体连续动作相似性评价方法，其特征在于，所述人体中心特征包括两肩中心的三维坐标；所述杆件方向特征包括两肩中心与头之间的、两肩中心与右肩之间的、右肩与右肘之间的、右肘与右腕之间的、两肩中心与左肩之间的、左肩与左肘之间的、左肘与左腕之间的、两肩中心与右髋之间的、右髋与右膝之间的、右膝与右踝之间的、两肩中心与左髋之间的、左髋与左膝之间的以及左膝与左踝之间的杆件方向向量；所述人体末端位置特征包括头、右腕、左腕、右踝和左踝的三维坐标。
6.根据权利要求1所述的人体连续动作相似性评价方法，其特征在于，所述根据综合相似性评价值得到最终的相似性评价结果的过程为：
逐帧计算输入动作序列对应的综合相似性评价值；
确定综合相似性评价值的历史值的局部最小值；
将综合相似性评价值的历史值的局部最小值作为最终的相似性评价结果。
7.一种人体连续动作相似性评价装置，其特征在于，包括存储器和处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1所述的人体连续动作相似性评价方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011190897.0A CN112257642B (zh) | 2020-10-30 | 2020-10-30 | 人体连续动作相似性评价方法及评价装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011190897.0A CN112257642B (zh) | 2020-10-30 | 2020-10-30 | 人体连续动作相似性评价方法及评价装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112257642A CN112257642A (zh) | 2021-01-22 |
| CN112257642B true CN112257642B (zh) | 2024-03-15 |
Family
ID=74268342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011190897.0A Active CN112257642B (zh) | 2020-10-30 | 2020-10-30 | 人体连续动作相似性评价方法及评价装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112257642B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115757B (zh) * | 2023-10-24 | 2024-02-02 | 中安创科（深圳）技术有限公司 | 一种枪支实时监控系统及监控方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013257656A (ja) * | 2012-06-11 | 2013-12-26 | Kddi Corp | 動き類似度算出装置、動き類似度算出方法およびコンピュータプログラム |
| CN109375766A (zh) * | 2018-09-13 | 2019-02-22 | 何艳玲 | 一种基于手势控制的新型学习方法 |
| CN110097008A (zh) * | 2019-04-30 | 2019-08-06 | 苏州大学 | 一种人体动作识别方法 |
| CN110245623A (zh) * | 2019-06-18 | 2019-09-17 | 重庆大学 | 一种实时人体运动姿势矫正方法及系统 |
| CN110992454A (zh) * | 2019-11-29 | 2020-04-10 | 南京甄视智能科技有限公司 | 基于深度学习的实时动作捕捉和三维动画生成方法与装置 |
| CN112215172A (zh) * | 2020-10-17 | 2021-01-12 | 西安交通大学 | 融合彩色图像与深度信息的人体卧姿三维姿态估计方法 |
| CN114842391A (zh) * | 2022-05-14 | 2022-08-02 | 云知声智能科技股份有限公司 | 基于视频的运动姿态识别方法及系统 |
-
2020
- 2020-10-30 CN CN202011190897.0A patent/CN112257642B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013257656A (ja) * | 2012-06-11 | 2013-12-26 | Kddi Corp | 動き類似度算出装置、動き類似度算出方法およびコンピュータプログラム |
| CN109375766A (zh) * | 2018-09-13 | 2019-02-22 | 何艳玲 | 一种基于手势控制的新型学习方法 |
| CN110097008A (zh) * | 2019-04-30 | 2019-08-06 | 苏州大学 | 一种人体动作识别方法 |
| CN110245623A (zh) * | 2019-06-18 | 2019-09-17 | 重庆大学 | 一种实时人体运动姿势矫正方法及系统 |
| CN110992454A (zh) * | 2019-11-29 | 2020-04-10 | 南京甄视智能科技有限公司 | 基于深度学习的实时动作捕捉和三维动画生成方法与装置 |
| CN112215172A (zh) * | 2020-10-17 | 2021-01-12 | 西安交通大学 | 融合彩色图像与深度信息的人体卧姿三维姿态估计方法 |
| CN114842391A (zh) * | 2022-05-14 | 2022-08-02 | 云知声智能科技股份有限公司 | 基于视频的运动姿态识别方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| Human action recognition using Dynamic Time Warping;"Samsu Sempena 等";International Conference on Electrical Engineering and Informatics;1-5页 * |
| 基于Kinect的动作评价方法研究;姜延丰;中国优秀硕士学位论文全文数据库 (信息科技辑);I138-420 * |
| 基于康复训练过程的人体步态分析;贾泽皓 等;人工智能与机器人研究;1-12页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112257642A (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6522060B2 (ja) | オブジェクト認識装置、分類ツリー学習装置及びその動作方法 | |
| CN111476097A (zh) | 人体姿态评估方法、装置、计算机设备及存储介质 | |
| US11403882B2 (en) | Scoring metric for physical activity performance and tracking | |
| Aouaidjia et al. | Efficient body motion quantification and similarity evaluation using 3-D joints skeleton coordinates | |
| CN110633004B (zh) | 基于人体姿态估计的交互方法、装置和系统 | |
| Deb et al. | Graph convolutional networks for assessment of physical rehabilitation exercises | |
| CN115345938B (zh) | 基于全局到局部的头影标记点定位方法、设备及介质 | |
| CN112258555A (zh) | 实时姿态估计运动分析方法、系统、计算机设备及存储介质 | |
| CN114022512A (zh) | 运动辅助方法、装置及介质 | |
| US20220222975A1 (en) | Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus | |
| CN112257642B (zh) | 人体连续动作相似性评价方法及评价装置 | |
| CN115035037A (zh) | 一种基于图像处理和多特征融合的肢体康复训练方法及系统 | |
| CN109784295B (zh) | 视频流特征识别方法、装置、设备及存储介质 | |
| CN113239849B (zh) | 健身动作质量评估方法、系统、终端设备及存储介质 | |
| Wu et al. | An unsupervised real-time framework of human pose tracking from range image sequences | |
| CN117137435B (zh) | 一种基于多模态信息融合的康复动作识别方法和系统 | |
| CN113743237A (zh) | 跟随动作的准确度判定方法、装置、电子设备及存储介质 | |
| Rozaliev et al. | Methods and applications for controlling the correctness of physical exercises performance | |
| CN116386136A (zh) | 基于人体骨骼关键点的动作评分方法、设备及介质 | |
| Zheng et al. | A skeleton-based rehabilitation exercise assessment system with rotation invariance | |
| CN110148202B (zh) | 用于生成图像的方法、装置、设备和存储介质 | |
| Nguyen et al. | An automatic tool for yoga pose grading using skeleton representation | |
| JP2020113116A (ja) | モーション生成装置、モーション生成方法、及びプログラム | |
| WO2023188217A1 (ja) | 情報処理プログラム、情報処理方法、および情報処理装置 | |
| CN111476115B (zh) | 一种人体行为识别方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB03 | Change of inventor or designer information |
Inventor after: Yang Li Inventor after: Zhang Wen Inventor after: Zhang Haibo Inventor after: Liu Fengkai Inventor after: Xu Nan Inventor before: Yang Li Inventor before: Zhang Wen Inventor before: Zhang Haibo Inventor before: Liu Fengkai Inventor before: Xu Nan |
|
| CB03 | Change of inventor or designer information | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 257 jinzang Road, Pudong New Area, Shanghai, 201206 Applicant after: Shanghai Chuangyi Technology Co.,Ltd. Address before: 257 jinzang Road, Pudong New Area, Shanghai, 201206 Applicant before: Shanghai pont Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |