CN110838353B - 动作匹配方法及相关产品 - Google Patents
动作匹配方法及相关产品 Download PDFInfo
- Publication number
- CN110838353B CN110838353B CN201910965541.0A CN201910965541A CN110838353B CN 110838353 B CN110838353 B CN 110838353B CN 201910965541 A CN201910965541 A CN 201910965541A CN 110838353 B CN110838353 B CN 110838353B
- Authority
- CN
- China
- Prior art keywords
- frame
- information
- matching
- action
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims abstract description 334
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000033001 locomotion Effects 0.000 claims abstract description 334
- 238000010586 diagram Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 4
- 230000033764 rhythmic process Effects 0.000 abstract description 8
- 210000000629 knee joint Anatomy 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 210000004394 hip joint Anatomy 0.000 description 8
- 210000002310 elbow joint Anatomy 0.000 description 6
- 210000000323 shoulder joint Anatomy 0.000 description 6
- 230000005477 standard model Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000025978 Athletic injury Diseases 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 206010041738 Sports injury Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Multimedia (AREA)
- Physical Education & Sports Medicine (AREA)
- Primary Health Care (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种动作匹配方法及相关产品，其中方法包括：获取标准动作信息和待评估动作视频帧序列，所述标准动作信息中包括至少两个按时序排列的主要动作信息，所述动作信息用于表征身体部位的姿态；基于所述标准动作信息和所述待评估动作视频帧序列执行区间定位操作，得到所述匹配区间，所述匹配区间是指所述待评估动作视频帧序列中的时序区间；基于所述主要动作信息以及所述匹配区间，确定与所述主要动作信息对应的第一匹配帧，所述第一匹配帧为所述待评估动作视频帧序列中的需要被评估的视频帧。通过本申请实施例，在动作匹配时，可以有效避免节奏不一致导致不能匹配的问题。
Description
技术领域
本申请涉及术领域，尤其涉及一种动作匹配方法及相关产品。
背景技术
运动过程中缺乏规范性的指导和练习，易导致膝关节运动轨迹异常，造成膝关节疼痛与损伤。动作智能指导可以让练习者实时掌握动作的标准程度达到良好的练习效果，并避免运动损伤。动作标准度评估是动作智能指导的关键模块，基于专业运动员数据建立标准模型，将练习者姿态数据与之比对得到练习者的动作标准度，并结合语音动画等交互方式达到智能指导的目的。
动作标准度评估最常用的方法为基于时间对齐的帧对帧匹配，将练习者初始动作与标准模型初始动作进行时间对齐，以标准模型中的采样间隔进行练习者数据采样，对时间对齐后的练习者姿态数据与对应的标准模型中的姿态数据计算距离或者相关系数作为练习者当前姿态的评估结果，将时序所有帧评估值的均值作为当前序列的评估结果。
另一种动作标准度评估采用有限状态机(Finite-state machine，FSM)算法，对标准动作序列进行关键帧有序划分，将练习者姿态数据逐个与FSM中当前关键帧进行距离或者相关系数计算，匹配成功时FSM流转到下一个关键帧，之后练习者的姿态将与流转后的关键帧进行比对，匹配成功表示练习者当前姿态与匹配的标准动作关键帧对齐，匹配结果作为练习者当前动作的评估结果。
基于时间对齐的帧帧匹配方法计算简单，但是这种方法需要起始动作严格对齐，而且当练习者与标准模型节奏不一致时存在非常大的误差，而不同级别的练习者本身就存在节奏差异，这导致很多练习者无法进行姿态标准度智能评估。
对于有限状态机(FSM)方法，由于其后面状态依赖于之前的状态，对应于太极拳评估中其后面的关键帧匹配依赖于之前的匹配结果，当练习者中间某个动作不标准时，将导致后续所有动作都无法继续评估。
发明内容
本申请实施例提供一种动作匹配方法，可以更好的应对不同节奏变化动作匹配，提升动作匹配的质量。
第一方面，本申请实施例提供了一种动作匹配方法，该方法包括：
获取标准动作信息和待评估动作视频帧序列，所述标准动作信息中包括至少两个按时序排列的主要动作信息，所述动作信息用于表征身体各部位的姿态；
基于所述标准动作信息和所述待评估动作视频帧序列执行区间定位操作，得到所述匹配区间，所述匹配区间是指所述待评估动作视频帧序列中的时序区间；
基于所述主要动作信息以及所述匹配区间，确定与所述主要动作信息对应的第一匹配帧，所述第一匹配帧为所述待评估动作视频帧序列中的视频帧。
第二方面，本申请实施例提供一种动作匹配装置，包括处理单元和通信单元，其中，
所述处理单元，用于通过所述通信单元获取标准动作信息和待评估动作视频帧序列，所述标准动作信息中包括至少两个按时序排列的主要动作信息，所述动作信息用于表征身体各部位的姿态；以及基于所述标准动作信息和所述待评估动作视频帧序列执行区间定位操作，得到所述匹配区间，所述匹配区间是指所述待评估动作视频帧序列中的时序区间；以及基于所述主要动作信息以及所述匹配区间，确定与所述主要动作信息对应的第一匹配帧，所述第一匹配帧为所述待评估动作视频帧序列中的视频帧。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，在本申请实施例中，通过获取的标准动作信息对待评估动作视频帧序列进行区间定位操作，以得到每个主要动作的匹配区间，然后，对每个主要动作在于其对应的匹配区间进行匹配得到与主要动作匹配的第一匹配帧，从而可以进一步根据主要动作信息对于其对应的第一匹配帧中的动作姿态进行评估。本申请实施例，通过确定主要动作信息的匹配区间来确定待评估动作视频中每个主要动作的对应的范围，从而使每个动作的评估相互不影响，因此，可以有效避免节奏不一致导致不能匹配的问题。另外还可以有效的避免因某个待评估动作与标准动作差距大，而不能确定后续的待评估动作，导致不能继续评估的问题。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种动作匹配系统的示意图；
图2a是本申请实施例提供的一种动作评估方法的流程示意图；
图2b是本申请实施例提供的姿态信息包括的身体各部位的角度信息示意图；
图2c是本申请实施例提供的区间定位操作中确定状态帧的流程示意图；
图2d是本申请实施例提供的一种动作匹配结果显示示意图；
图3本申请实施例提供的一种电子设备的结构示意图；
图4本申请实施例提供的一种动作匹配装置的功能单元组成框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，图1为一个动作匹配系统100的示意图，该动作匹配系统100包括动作视频帧序列获取装置110、动作视频帧序列处理装置120，所述动作视频帧序列获取装置110连接所述动作视频帧序列处理装置120，动作视频帧序列获取装置110用于获取动作视频帧序列数据并发给动作视频帧序列处理装置120进行处理，动作视频帧序列处理装置120用于对动作视频帧序列数据进行处理并输出处理结果，该动作匹配系统100可以包括集成式单体设备或者多设备，为方便描述，本申请将动作匹配系统100统称为电子设备。显然该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
请参阅图2a，图2a是本申请实施例提供的一种动作评估方法的流程示意图，应用于如图1所示的电子设备，如图2a所示，该方法包括：
201：获取标准动作信息和待评估动作视频帧序列，所述标准动作信息中包括至少两个按时序排列的主要动作信息，所述动作信息用于表征身体各部位的姿态。
本申请实施例中的动作匹配方法的执行主体可以是电子设备，例如，上述动作匹配方法可以由终端设备或服务器或其它处理设备执行，其中，电子设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该动作匹配方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
其中，所述待评估动作视频可以是由图像采集设备拍摄的动作视频，例如，太极拳动作视频，拉丁舞动作视频等。
所述标准动作信息是指与所述待评估动作视频对应的标准动作的姿态信息。例如标准太极拳的动作姿态信息。
所述主要动作信息包括一套动作的关键动作的标准姿态信息。例如太极拳中56式动作，左云手、右云手、左分脚、右分脚等，每一式动作的标准姿态信息都可以作为主要动作信息。由于一套动作中的各个动作在时序上存在先后顺序。因此，所述标准动作信息中的多个主要动作信息在时序维度也存在先后排列的顺序。
所述姿态信息可以包括各个身体部位的角度信息。其中，身体部位可以包括但不限于头部、左肩关节、右肩关节、左肘关节、右肘关节、腰椎、左髋关节、右髋关节、左膝关节、右膝关节等，每个身体部位包括至少一个角度信息。如图2b所示。
对于所述主要动作信息，在具体实现中，可以通过对标准动作视频进行关键帧提取，所述关键帧是指每一个动作对应的一段视频帧序列中选择一个视频帧图像，该被选择的视频帧图像则为所述关键帧。然后对关键帧中的动作对象进行姿态检测，计算动作对象的各个身体部位的角度，并将计算得到的各个身体部位的角度作为一个主要动作信息保存，每个动作对应一个主要动作信息。例如太极的56式动作，则对应56个主要动作信息。
在具体实现中，所述待评估动作视频帧序列可以是已经拍摄好的动作视频，当需要对拍摄的动作视频中的动作进行评估时，所述电子设备可以通过接收动作评分指令，然后根据所述动作评分指令获取对应的标准动作信息，例如通过动作评分指令中的标准动作标识去获取与所述标准动作标识对应的标准动作信息。以及，获取动作评分指令对应的待评估动作视频帧序列，以便对获取到的待评估动作视频帧序列中动作对象的动作进行评分。
其中，所述动作评分指令，可以是对已拍摄好的动作视频进行预设操作，例如长按、点击、滑动等操作。
例如，对已拍摄的视频进行长按，然后弹出标准动作信息列表，在接收对标准动作信息列表的选择(例如点击)后，获取被选择的标准动作信息，以便根据获取到的标准动作信息对所述动作视频中动作对象的动作进行评分。
在另一种具体实现中，所述待评估动作视频帧序列可以是正在拍摄的动作视频。电子设备可以在拍摄动作视频之前，或拍摄的过程中，接收动作评分指指令，然后根据所述动作评分指令获取对应的标准动作信息，以便根据获取到的标准动作信息对当前正在拍摄的动作视频中动作对象的动作进行评分。
例如，可以通过点击电子设备显示界面的动作评分按钮，然后所述电子设备弹出标准动作信息列表，在接收对标准动作信息列表的选择(例如点击)后，获取被选择的标准动作信息，以便根据被选择的标准动作信息对正在拍摄的动作视频中动作对象的动作进行评分。
202：基于所述标准动作信息和所述待评估动作视频帧序列执行区间定位操作，得到所述匹配区间，所述匹配区间是指所述待评估动作视频帧序列中的时序区间。
其中，所述匹配区间是指在所述待评估动作视频序列中，所述主要动作信息对应的时序区间，即在所述待评估动作视频序列中与所述主要动作信息匹配的动作视频帧所在的时序区间。例如，假设有两个主要动作信息，分别为s1和s2；在确定s1对应的匹配区间为第k1帧到k2帧之间对应的时序区间，s2对应的匹配区间为第k2帧到k3帧之间对应的时序区间之后，其中k1<k2<k3；则分别使用第k1帧到k2帧之间的视频帧去与s1匹配，以及第k2帧到k3帧之间的视频帧去与s2匹配，从而确定与s1和s2匹配的目标帧m1和m2，以便最后使用m1和m2中动作对象的动作姿态信息与s1和s2中标准姿态信息进行比对打分。
其中，所述区间定位操作是指通过标准信息中的主要动作信息依次与所述待评估动作视频帧进行粗略匹配，从而确定所述待评估动作视频帧序列中与每个主要动作信息对应的状态帧；所述状态帧为所述待评估动作视频帧序列中，在时序维度上第一个与主要动作信息满足粗略匹配条件的动作视频帧；然后将每个主要动作信息对应的状态帧与下一个状态帧之间对应的时序区间确定为该主要动作的匹配区间。
其中，所述粗略匹配条件可以是动作视频帧中动作对象的动作姿态与标准动作姿态的相关系数(例如，姿态误差、相似度等)大于、等于或小于阈值。其中，相关系数与阈值的关系需要根据具体的相关系数确定，例如，相关系数为姿态误差时，可以是姿态误差小于等于阈值。
为了避免匹配不到主要动作信息的状态帧，在粗略匹配时，可以降低匹配的要求，例如在匹配时，只需要动作对象的所述各个身体部位中的部分关键身体部位满足匹配条件，则确定匹配成功即可。例如，只需要动作对象的头部、肘关节、膝关节等部位的角度满足标准动作的角度的误差小于阈值，则所述粗略匹配成功。
在具体实现中，首先确定所述标准动作信息中的起始的主要动作信息，所述起始的主要动作信息是指所述待评估动作视频帧序列的起始动作(即第一个动作)对应的主要动作信息，然后根据起始的主要动作信息从所述待评估动作视频帧的第一帧开始一帧一帧的进行粗略匹配，直到匹配到所述起始的主要动作信息的状态帧，接着根据所述起始的主要动作信息的下一个主要信息从所述起始主要动作信息的状态帧之后的第一帧开始继续进行粗略匹配，直到匹配到所述起始的主要动作信息的下一个主要信息的状态帧，则再继续匹配所述起始的主要动作信息的再下一个主要信息的状态帧，直到所述待评估动作视频帧序列结束，得到多个状态帧。最后，将相邻的两个状态帧之间的时序区间确定为所述相邻的两个状态帧中的前一个状态帧对应的主要动作信息的匹配区间。该过程可以如图2c所示。在图2c中，K11-K1n均表示主要动作信息，矩形方块表示视频帧，灰色填充矩形方块表示主要动作信息的状态帧。
其中，在所述确定所述标准动作信息中的起始的主要动作信息方面，具体可以通过接收用户的选择信息来确定所述起始的主要动作信息。也可以通过将所述待评估动作视频帧序列中时序靠前的多帧视频帧输入神经网络模型，然后输出所述起始的主要动作信息。所述神经网络模型可以是通过提取所述待评估动作视频帧序列中时序靠前的多帧视频帧中动作对象的特征，然后根据提取的特征来匹配所述标准动作信息中的主要动作信息，若匹配成功，则将匹配成功的主要动作信息确定为所述起始的主要动作信息。
203：基于所述主要动作信息以及所述匹配区间，确定与所述主要动作信息对应的第一匹配帧，所述第一匹配帧为所述待评估动作视频帧序列中的需要被评估的视频帧。
其中，所述第一匹配帧为所述匹配区间的视频帧中，动作对象的姿态信息与主要动作信息包括的姿态信息最接近的视频帧。例如，在匹配区间的多个视频帧中动作对象的动作与标准动作的姿态误差最小对应的视频帧，或者在匹配区间的多个视频帧中动作对象的动作与标准动作的相似度最大对应的视频帧等。
在具体实现中，在确定主要动作的匹配区间后，则对所述匹配区间对应的视频帧进行精细匹配，以得到所述第一匹配帧。其中，所述精细匹配是指确定匹配区间的多个视频帧中动作对象的姿态与主要动作信息中表征的姿态最相似的视频帧，并将其确定为所述第一匹配帧。
可以看出，在本申请实施例中，通过获取的标准动作信息对待评估动作视频帧序列进行区间定位操作，以得到每个主要动作的匹配区间，然后，对每个主要动作在于其对应的匹配区间进行匹配得到与主要动作匹配的第一匹配帧，从而可以进一步根据主要动作信息对于其对应的第一匹配帧中的动作姿态进行评估。本申请实施例，通过确定主要动作信息的匹配区间来确定待评估动作视频中每个主要动作的对应的范围，从而使每个动作的评估相互不影响，因此，可以有效避免节奏不一致导致不能匹配的问题。另外还可以有效的避免因某个待评估动作与标准动作差距大，而不能确定后续的待评估动作，导致不能继续评估的问题。
在一个可能的示例中，所述区间定位操作包括以下步骤：基于第一主要动作信息、第二主要动作信息以及前一个状态帧，确定与所述第一主要动作信息对应的第一状态帧，以及与第二主要动作信息对应的第二状态帧，所述第一主要动作信息为所述标准动作信息中的任意一个主要动作信息，所述第二主要动作信息为所述第一主要动作信息之后的一个主要动作信息，所述状态帧表示所述待评估动作视频帧序列中首个与主要动作信息匹配的视频帧，所述前一个状态帧为与所述第一主要动作信息的前一个主要动作信息对应的状态帧；确定所述第一状态帧和所述第二状态帧之间对应的时序区间，为所述匹配区间。
其中，所述第一主要动作信息和所述第二主要动作信息为在时序维度上的两个相邻的主要动作信息。
基于步骤202的描述，在执行所述区间定位操作时，首先需要确定每个主要动作的状态帧，然后将相邻的两个状态帧之间对应的时序区间，确定为该相邻的两个状态帧中的前一个状态帧对应的主要动作信息的匹配区间。
在一种具体实现中，当所述第一主要动作信息为所述起始的主要动作信息时，则不存在所述前一个状态帧。在这种情况下则直接基于第一主要动作信息和第二主要动作信息，确定与所述第一主要动作信息对应的第一状态帧，以及与第二主要动作信息对应的第二状态帧。
因此在所述第一主要动作信息为所述起始的主要动作信息时，可以基于第一主要动作信息，从前所述待评估动作视频帧序列的第一帧开始逐帧计算所述待评估动作视频帧序列的第一姿态误差，直到得到的第一姿态误差小于第一阈值为止；确定第一姿态误差小于第一阈值的视频帧为所述第一主要动作信息对应的第一状态帧；然后，基于第二主要动作信息，从所述第一状态帧之后的第一帧开始逐帧计算所述待评估动作视频帧序列的第一姿态误差，直到得到的第一姿态误差小于第一阈值为止；确定第一姿态误差小于第一阈值的视频帧为所述第二主要动作信息对应的第二状态帧。
在另一种具体实现中，当所述第一主要动作信息不为所述起始的主要动作信息时，则所述基于第一主要动作信息、第二主要动作信息以及前一个状态帧，确定与所述第一主要动作信息对应的第一状态帧，以及与第二主要动作信息对应的第二状态帧，具体可以包括：基于第一主要动作信息，从前一个状态帧之后的第一帧开始逐帧计算所述待评估动作视频帧序列的第一姿态误差，直到得到的第一姿态误差小于第一阈值为止；确定第一姿态误差小于第一阈值的视频帧为所述第一主要动作信息对应的第一状态帧；基于第二主要动作信息，从所述第一状态帧之后的第一帧开始逐帧计算所述待评估动作视频帧序列的第一姿态误差，直到得到的第一姿态误差小于第一阈值为止；确定第一姿态误差小于第一阈值的视频帧为所述第二主要动作信息对应的第二状态帧。
其中，所述第一预设身体部位，为表征所述主要动作信息的身体部位。所述第一身体部位可以包括但不限于头部、左肩关节、右肩关节、左肘关节、右肘关节、腰椎、左髋关节、右髋关节、左膝关节、右膝关节等。
所述第一姿态误差，是用于判断所述粗略匹配是否成功的参数，具体的，若所述第一姿态误差小于所述第一阈值时，则所述粗略匹配成功，若所述第一姿态误差大于或等于所述第一阈值时，则所述粗略匹配失败。
在一个可能的示例中，所述主要动作信息包括第一预设身体部位的第一标准角度信息以及与所述主要动作信息对应的第一权重向量，所述第一姿态误差的计算过程包括：获取视频帧中所述第一预设身体部位的第一参考角度信息；基于所述第一参考角度信息、所述标准角度信息以及所述第一权重向量，计算视频帧的第一姿态误差。
其中，所述第一权重向量的分量与动作对象的第一预设身体部位相互对应，即每个分量对应一个第一预设身体部位。
具体的，是以第一姿态误差可以通过公式(1)计算：
coei＝max(dis_parti)；
dis_parti＝(disangles∈parti)；
dis_angles＝abs(Angles-angles)；
其中，std_coe1表示第一姿态误差，w1i表示第一权重向量，parti表示第i个第一预设身体部位，dis_angles表示角度差，Angles表示标准动作角度，angles表示动作对象的动作角度，k表示第一预设身体部位的数量。
在具体实现中，为了避免在粗略匹配时，匹配不到主要动作信息的状态帧。可以在计算所述第一姿态误差时，将所述第一预设身体部位中的关键身体部位对应于第一权重向量的分量的值设置为1；其他身体部位对应于第一权重向量的分量设置为0，以减少非关键身体部位的动作姿态对确定主要动作信息的状态帧的成功率的影响。
例如，在太极拳中，可以通过动作对象的弓步动作来表征太极拳的倒卷肱动作，因此可以将体现弓步动作的腰椎、髋关节以及左右膝关节确定为所述关键身体部位。在所述第一权重向量中，可以将腰椎、髋关节以及左右膝关节对应的分量设置为1，其特分量设置为0。
在一个可能的示例中，所述基于所述主要动作信息以及所述匹配区间对所述待评估动作视频帧序列确定与所述主要动作信息对应的第一匹配帧，包括：基于所述主要动作信息，确定所述匹配区间的每一个视频帧的第二姿态误差；确定所述匹配区间中，第二姿态误差最小的视频帧为所述第一匹配帧。
其中，所述第二身体部位头部、左肩关节、右肩关节、左肘关节、右肘关节、腰椎、左髋关节、右髋关节、左膝关节、右膝关节等。
所述第二姿态为差用于表征所述动作对象的动作姿态与所述主要动作信息表征的动作姿态之间的精细误差。因此，所述获取视频帧中所述第二预设身体部位的第二参考角度信息；基于所述第二基于所述主要动作信息，确定所述匹配区间的每一个视频帧的第二姿态误差；确定所述匹配区间中，第二姿态误差最小的视频帧为所述第一匹配帧的过程即为所述步骤203描述的精细匹配的具体过程。
在一个可能的示例中，所述主要动作信息还包括第二预设身体部位的第二标准角度信息以及与所述主要动作信息对应的第二权重向量，所述第二姿态误差计算过程包括：获取视频帧中所述第二预设身体部位的第二参考角度信息；基于所述第二参考角度信息、所述第二标准角度信息以及所述第二权重向量，计算视频帧的第二姿态误差。
其中，所述第二权重向量的分量与动作对象的第二预设身体部位相互对应，即每个分量对应一个第二预设身体部位。
具体的，是以第二姿态误差可以通过公式(2)计算：
coei＝max(dis_parti)；
dis_parti＝(disangles∈parti)；
dis_angles＝abs(Angles-angles)；
其中，std_coe1表示第二姿态误差，w2i表示第二权重向量，parti表示第i个第二预设身体部位，dis_angles表示角度差，Angles表示标准动作角度，angles表示动作对象的动作角度，k表示第二预设身体部位的数量。
在具体实现中，由于所述第二姿态误差表征的是精细误差，因此所述第二权重向量中的每个分量可以均设置为1，或根据身体部位对于动作的重要程度设置各个分量的大小。
在一个可能的示例中，所述标准动作信息中还包括至少两个按时序排列的次要动作信息，每个次要动作信息均介于两个相邻的主要动作信息之间；在所述基于所述主要动作信息以及所述匹配区间对所述待评估动作视频帧序列确定与所述主要动作信息对应的第一匹配帧之后，所述方法还包括：基于所述次要动作信息，确定所述两个相邻的主要动作信息对应的两个第一匹配帧之间的每一帧视频帧的第三姿态误差；确定所述两个第一匹配帧之间的视频帧中，第三姿态误差最小的视频帧为与所述次要动作信息对应的第二匹配帧。
在对动作对象的动作评分过程中，为了更加精确的对动作对象的动作进行评分，还可以增加对除了主要动作(即关键动作)进行评分之外，还可以对其他次要动作(非关键动作)进行评分。而次要动作一般介于所述主要动作之间。因此，在所述标准动作信息中还可以包括所述主要动作之间的次要动作对应的次要动作信息。其中，所述次要动作的显著程度低于所述主要动作的显著程度。
对于所述主要动作信息，在具体实现中，可以在对标准动作视频进行关键帧提取后，从相邻的两个关键帧之间的视频帧中选择一个视频帧图像作为所述次要动作对应的视频帧。然后对所述次要动作对应的视频帧中的动作对象进行姿态检测，计算动作对象的各个身体部位的角度，并将计算得到的各个身体部位的角度作为一个次要动作信息保存，每个次要动作对应一个次要动作信息。
所述第二匹配帧为所述待评估动作视频序列的视频帧中，动作对象的姿态信息与次要动作信息表征的姿态信息最接近的视频帧。另外，由于次要动作信息，在时序维度上是介于所述主要动作信息之间的，所以所述第二匹配帧也相应的位于所述第一匹配帧之间。
在具体视线中，当确定了主要动作信息的第一匹配帧之后，可以根据两个相邻的主要动作信息之间的次要信息，计算该两个相邻的主要动作信息的状态帧之间的视频帧的第三姿态误差，然后将计算的最小的第三姿态误差最小对应的视频帧确定为所述第二匹配帧。其中，所述第三姿态误差和所述第二姿态误差类似，计算过程也一样，因此不再赘述。
在一个可能的示例中，在所述确定所述两个第一匹配帧之间的视频帧中，第三姿态误差最小的视频帧为所述第二匹配帧之后，所述方法还包括：基于所述主要动作信息和与所述主要动作信息对应的第一匹配帧，确定所述第一匹配帧的得分；基于所述次要动作信息和与所述次要动作信息对应的第二匹配帧，确定所述第二匹配帧的得分；显示所述第一匹配帧的得分以及所述第二匹配帧的得分。
在具体实现中，在获得每个主要动作的第一匹配帧和与其对应的第二姿态误差，以及每个次要动作的第二匹配帧和与其对应的第三姿态误差后，可以根据第二姿态误差计算第一匹配帧的动作评分，以及根据第三姿态误差计算第二匹配帧的动作评分。
在一个可能的示例中，在所述显示所述第一匹配帧的得分以及所述第二匹配帧的得分之前，所述方法还包括：基于所述标准动作信息生成标准动作示意图；基于所述第一匹配帧和所述第二匹配帧生成与所述标准动作示意图对应的实际动作示意图；基于所述标准动作信息和所述第一匹配帧以及所述第二匹配帧，标注所述实际动作示意图中的非标准动作部位；显示所述标准动作示意图以及标注后的实际动作示意图。
其中，所述非标准动作部位是指，所述第一匹配帧或所述第二匹配帧中，动作对象的动作的角度与标准动作的角度之差的绝对值大于阈值对应的身体部位。
在具体实现中，可以根据所述标准动作信息生成如图2d所示的标准动作示意图，还可以对所述第一匹配帧或所述第二匹配帧中的动作对象生成如图2d所示的实际动作示意图。并通过比对所述标准动作示意图和实际动作示意图标注出所述实际动作示意图中的非标准动作部位。
与上述图2a所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种电子设备300的结构示意图，如图所示，所述电子设备300包括应用处理器310、存储器320、通信接口330以及一个或多个程序321，其中，所述一个或多个程序321被存储在上述存储器320中，并且被配置由上述应用处理器310执行，所述一个或多个程序321包括用于执行以下步骤的指令；
获取标准动作信息和待评估动作视频帧序列，所述标准动作信息中包括至少两个按时序排列的主要动作信息，所述动作信息用于表征身体各部位的姿态；以及基于所述标准动作信息和所述待评估动作视频帧序列执行区间定位操作，得到所述匹配区间，所述匹配区间是指所述待评估动作视频帧序列中的时序区间；以及基于所述主要动作信息以及所述匹配区间，确定与所述主要动作信息对应的第一匹配帧，所述第一匹配帧为所述待评估动作视频帧序列中的视频帧。
可以看出，在本申请实施例中，通过获取的标准动作信息对待评估动作视频帧序列进行区间定位操作，以得到每个主要动作的匹配区间，然后，对每个主要动作在于其对应的匹配区间进行匹配得到与主要动作匹配的第一匹配帧，从而可以进一步根据主要动作信息对于其对应的第一匹配帧中的动作姿态进行评估。本申请实施例，通过确定主要动作信息的匹配区间来确定待评估动作视频中每个主要动作的对应的范围，从而使每个动作的评估相互不影响，因此，可以有效避免节奏不一致导致不能匹配的问题。另外还可以有效的避免因某个待评估动作与标准动作差距大，而不能确定后续的待评估动作，导致不能继续评估的问题。
在一个可能的示例中，在所述区间定位操作方面，所述程序中的指令具体用于执行以下操作：基于第一主要动作信息、第二主要动作信息以及前一个状态帧，确定与所述第一主要动作信息对应的第一状态帧，以及与第二主要动作信息对应的第二状态帧，所述第一主要动作信息为所述标准动作信息中的任意一个主要动作信息，所述第二主要动作信息为所述第一主要动作信息之后的一个主要动作信息，所述状态帧表示所述待评估动作视频帧序列中首个与主要动作信息匹配的视频帧，所述前一个状态帧为与所述第一主要动作信息的前一个主要动作信息对应的状态帧；确定所述第一状态帧和所述第二状态帧之间对应的时序区间，为所述匹配区间。
在一个可能的示例中，在所述基于第一主要动作信息、第二主要动作信息以及前一个状态帧，确定与所述第一主要动作信息对应的第一状态帧，以及与第二主要动作信息对应的第二状态帧方面，所述程序中的指令具体用于执行以下操作：基于第一主要动作信息，从前一个状态帧之后的第一帧开始逐帧计算所述待评估动作视频帧序列的第一姿态误差，直到得到的第一姿态误差小于第一阈值为止；确定第一姿态误差小于第一阈值的视频帧为所述第一主要动作信息对应的第一状态帧；基于第二主要动作信息，从所述第一状态帧之后的第一帧开始逐帧计算所述待评估动作视频帧序列的第一姿态误差，直到得到的第一姿态误差小于第一阈值为止；确定第一姿态误差小于第一阈值的视频帧为所述第二主要动作信息对应的第二状态帧。
在一个可能的示例中，在所述主要动作信息包括第一预设身体部位的第一标准角度信息以及与所述主要动作信息对应的第一权重向量，所述第一姿态误差的计算过程方面，所述程序中的指令具体用于执行以下操作：获取视频帧中所述第一预设身体部位的第一参考角度信息；基于所述第一参考角度信息、所述标准角度信息以及所述第一权重向量，计算视频帧的第一姿态误差。
在一个可能的示例中，在所述基于所述主要动作信息以及所述匹配区间对所述待评估动作视频帧序列确定与所述主要动作信息对应的第一匹配帧方面，所述程序中的指令具体用于执行以下操作：基于所述主要动作信息，确定所述匹配区间的每一个视频帧的第二姿态误差；确定所述匹配区间中，第二姿态误差最小的视频帧为所述第一匹配帧。
在一个可能的示例中，在所述主要动作信息还包括第二预设身体部位的第二标准角度信息以及与所述主要动作信息对应的第二权重向量，所述第二姿态误差计算过程方面，所述程序中的指令具体用于执行以下操作：获取视频帧中所述第二预设身体部位的第二参考角度信息；基于所述第二参考角度信息、所述第二标准角度信息以及所述第二权重向量，计算视频帧的第二姿态误差。
在一个可能的示例中，所述标准动作信息中还包括至少两个按时序排列的次要动作信息，每个次要动作信息均介于两个相邻的主要动作信息之间；在所述基于所述主要动作信息以及所述匹配区间对所述待评估动作视频帧序列确定与所述主要动作信息对应的第一匹配帧之后，所述程序中的指令还用于执行以下操作：基于所述次要动作信息，确定所述两个相邻的主要动作信息对应的两个第一匹配帧之间的每一帧视频帧的第三姿态误差；确定所述两个第一匹配帧之间的视频帧中，第三姿态误差最小的视频帧为与所述次要动作信息对应的第二匹配帧。
在一个可能的示例中，在所述确定所述两个第一匹配帧之间的视频帧中，第三姿态误差最小的视频帧为所述第二匹配帧之后，所述程序中的指令还用于执行以下操作：基于所述主要动作信息和与所述主要动作信息对应的第一匹配帧，确定所述第一匹配帧的得分；基于所述次要动作信息和与所述次要动作信息对应的第二匹配帧，确定所述第二匹配帧的得分；显示所述第一匹配帧的得分以及所述第二匹配帧的得分。
在一个可能的示例中，在所述显示所述第一匹配帧的得分以及所述第二匹配帧的得分之前，所述程序中的指令还用于执行以下操作：基于所述标准动作信息生成标准动作示意图；基于所述第一匹配帧和所述第二匹配帧生成与所述标准动作示意图对应的实际动作示意图；基于所述标准动作信息和所述第一匹配帧以及所述第二匹配帧，标注所述实际动作示意图中的非标准动作部位；显示所述标准动作示意图以及标注后的实际动作示意图。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图4是本申请实施例中所涉及的动作匹配装置400的功能单元组成框图。该动作匹配装置400应用于电子设备，所述电子设备包括处理单元401和通信单元402，其中，
所述处理单元，用于通过所述通信单元获取标准动作信息和待评估动作视频帧序列，所述标准动作信息中包括至少两个按时序排列的主要动作信息，所述动作信息用于表征身体各部位的姿态；以及基于所述标准动作信息和所述待评估动作视频帧序列执行区间定位操作，得到所述匹配区间，所述匹配区间是指所述待评估动作视频帧序列中的时序区间；以及基于所述主要动作信息以及所述匹配区间，确定与所述主要动作信息对应的第一匹配帧，所述第一匹配帧为所述待评估动作视频帧序列中的视频帧。
其中，所述动作匹配装置400还可以包括存储单元403，用于存储电子设备的程序代码和数据。所述处理单元401可以是处理器，所述通信单元402可以是内部通信接口，存储单元403可以是存储器。
可以看出，在本申请实施例中，通过获取的标准动作信息对待评估动作视频帧序列进行区间定位操作，以得到每个主要动作的匹配区间，然后，对每个主要动作在于其对应的匹配区间进行匹配得到与主要动作匹配的第一匹配帧，从而可以进一步根据主要动作信息对于其对应的第一匹配帧中的动作姿态进行评估。本申请实施例，通过确定主要动作信息的匹配区间来确定待评估动作视频中每个主要动作的对应的范围，从而使每个动作的评估相互不影响，因此，可以有效避免节奏不一致导致不能匹配的问题。另外还可以有效的避免因某个待评估动作与标准动作差距大，而不能确定后续的待评估动作，导致不能继续评估的问题。
在一个可能的示例中，在所述区间定位操作方面，所述处理单元401具体用于：基于第一主要动作信息、第二主要动作信息以及前一个状态帧，确定与所述第一主要动作信息对应的第一状态帧，以及与第二主要动作信息对应的第二状态帧，所述第一主要动作信息为所述标准动作信息中的任意一个主要动作信息，所述第二主要动作信息为所述第一主要动作信息之后的一个主要动作信息，所述状态帧表示所述待评估动作视频帧序列中首个与主要动作信息匹配的视频帧，所述前一个状态帧为与所述第一主要动作信息的前一个主要动作信息对应的状态帧；确定所述第一状态帧和所述第二状态帧之间对应的时序区间，为所述匹配区间。
在一个可能的示例中，在所述基于第一主要动作信息、第二主要动作信息以及前一个状态帧，确定与所述第一主要动作信息对应的第一状态帧，以及与第二主要动作信息对应的第二状态帧方面，所述处理单元401具体用于：基于第一主要动作信息，从前一个状态帧之后的第一帧开始逐帧计算所述待评估动作视频帧序列的第一姿态误差，直到得到的第一姿态误差小于第一阈值为止；确定第一姿态误差小于第一阈值的视频帧为所述第一主要动作信息对应的第一状态帧；基于第二主要动作信息，从所述第一状态帧之后的第一帧开始逐帧计算所述待评估动作视频帧序列的第一姿态误差，直到得到的第一姿态误差小于第一阈值为止；确定第一姿态误差小于第一阈值的视频帧为所述第二主要动作信息对应的第二状态帧。
在一个可能的示例中，在所述主要动作信息包括第一预设身体部位的第一标准角度信息以及与所述主要动作信息对应的第一权重向量，所述第一姿态误差的计算过程方面，所述处理单元401具体用于：获取视频帧中所述第一预设身体部位的第一参考角度信息；基于所述第一参考角度信息、所述标准角度信息以及所述第一权重向量，计算视频帧的第一姿态误差。
在一个可能的示例中，在所述基于所述主要动作信息以及所述匹配区间对所述待评估动作视频帧序列确定与所述主要动作信息对应的第一匹配帧方面，所述处理单元401具体用于：基于所述主要动作信息，确定所述匹配区间的每一个视频帧的第二姿态误差；确定所述匹配区间中，第二姿态误差最小的视频帧为所述第一匹配帧。
在一个可能的示例中，在所述主要动作信息还包括第二预设身体部位的第二标准角度信息以及与所述主要动作信息对应的第二权重向量，所述第二姿态误差计算过程方面，所述处理单元401具体用于：获取视频帧中所述第二预设身体部位的第二参考角度信息；基于所述第二参考角度信息、所述第二标准角度信息以及所述第二权重向量，计算视频帧的第二姿态误差。
在一个可能的示例中，所述标准动作信息中还包括至少两个按时序排列的次要动作信息，每个次要动作信息均介于两个相邻的主要动作信息之间；在所述基于所述主要动作信息以及所述匹配区间对所述待评估动作视频帧序列确定与所述主要动作信息对应的第一匹配帧之后，所述处理单元401还用于：基于所述次要动作信息，确定所述两个相邻的主要动作信息对应的两个第一匹配帧之间的每一帧视频帧的第三姿态误差；确定所述两个第一匹配帧之间的视频帧中，第三姿态误差最小的视频帧为与所述次要动作信息对应的第二匹配帧。
在一个可能的示例中，在所述确定所述两个第一匹配帧之间的视频帧中，第三姿态误差最小的视频帧为所述第二匹配帧之后，所述处理单元401还用于：基于所述主要动作信息和与所述主要动作信息对应的第一匹配帧，确定所述第一匹配帧的得分；基于所述次要动作信息和与所述次要动作信息对应的第二匹配帧，确定所述第二匹配帧的得分；显示所述第一匹配帧的得分以及所述第二匹配帧的得分。
在一个可能的示例中，在所述显示所述第一匹配帧的得分以及所述第二匹配帧的得分之前，所述处理单元401还用于：基于所述标准动作信息生成标准动作示意图；基于所述第一匹配帧和所述第二匹配帧生成与所述标准动作示意图对应的实际动作示意图；基于所述标准动作信息和所述第一匹配帧以及所述第二匹配帧，标注所述实际动作示意图中的非标准动作部位；显示所述标准动作示意图以及标注后的实际动作示意图。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (11)
1.一种动作匹配方法，其特征在于，包括：
获取标准动作信息和待评估动作视频帧序列，所述标准动作信息中包括至少两个按时序排列的主要动作信息，所述动作信息用于表征身体部位的姿态；
基于所述标准动作信息和所述待评估动作视频帧序列执行区间定位操作，得到匹配区间，所述匹配区间是指所述待评估动作视频帧序列中的时序区间；
基于所述主要动作信息以及所述匹配区间，确定与所述主要动作信息对应的第一匹配帧，所述第一匹配帧为所述待评估动作视频帧序列中的需要被评估的视频帧；
所述区间定位操作包括以下步骤：
基于第一主要动作信息、第二主要动作信息以及前一个状态帧，确定与所述第一主要动作信息对应的第一状态帧，以及与第二主要动作信息对应的第二状态帧，所述第一主要动作信息为所述标准动作信息中的任意一个主要动作信息，所述第二主要动作信息为所述第一主要动作信息之后的一个主要动作信息，所述状态帧表示所述待评估动作视频帧序列中首个与主要动作信息匹配的视频帧，所述前一个状态帧为与所述第一主要动作信息的前一个主要动作信息对应的状态帧；确定所述第一状态帧和所述第二状态帧之间对应的时序区间，为所述匹配区间。
2.根据权利要求1所述的方法，其特征在于，所述基于第一主要动作信息、第二主要动作信息以及前一个状态帧，确定与所述第一主要动作信息对应的第一状态帧，以及与第二主要动作信息对应的第二状态帧，包括：
基于第一主要动作信息，从前一个状态帧之后的第一帧开始逐帧计算所述待评估动作视频帧序列的第一姿态误差，直到得到的第一姿态误差小于第一阈值为止；
确定第一姿态误差小于第一阈值的视频帧为所述第一主要动作信息对应的第一状态帧；
基于第二主要动作信息，从所述第一状态帧之后的第一帧开始逐帧计算所述待评估动作视频帧序列的第一姿态误差，直到得到的第一姿态误差小于第一阈值为止；
确定第一姿态误差小于第一阈值的视频帧为所述第二主要动作信息对应的第二状态帧。
3.根据权利要求2所述的方法，其特征在于，所述主要动作信息包括第一预设身体部位的第一标准角度信息以及与所述主要动作信息对应的第一权重向量，所述第一姿态误差的计算过程包括：
获取视频帧中所述第一预设身体部位的第一参考角度信息；
基于所述第一参考角度信息、所述标准角度信息以及所述第一权重向量，计算视频帧的第一姿态误差。
4.根据权利要求1所述的方法，其特征在于，所述基于所述主要动作信息以及所述匹配区间对所述待评估动作视频帧序列确定与所述主要动作信息对应的第一匹配帧，包括：
基于所述主要动作信息，确定所述匹配区间的每一个视频帧的第二姿态误差；
确定所述匹配区间中，第二姿态误差最小的视频帧为所述第一匹配帧。
5.根据权利要求4所述的方法，其特征在于，所述主要动作信息还包括第二预设身体部位的第二标准角度信息以及与所述主要动作信息对应的第二权重向量，所述第二姿态误差计算过程包括：
获取视频帧中所述第二预设身体部位的第二参考角度信息；
基于所述第二参考角度信息、所述第二标准角度信息以及所述第二权重向量，计算视频帧的第二姿态误差。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述标准动作信息中还包括至少两个按时序排列的次要动作信息，每个次要动作信息均介于两个相邻的主要动作信息之间；
在所述基于所述主要动作信息以及所述匹配区间对所述待评估动作视频帧序列确定与所述主要动作信息对应的第一匹配帧之后，所述方法还包括：
基于所述次要动作信息，确定所述两个相邻的主要动作信息对应的两个第一匹配帧之间的每一帧视频帧的第三姿态误差；
确定所述两个第一匹配帧之间的视频帧中，第三姿态误差最小的视频帧为与所述次要动作信息对应的第二匹配帧。
7.根据权利要求6所述的方法，其特征在于，在所述确定所述两个第一匹配帧之间的视频帧中，第三姿态误差最小的视频帧为所述第二匹配帧之后，所述方法还包括：
基于所述主要动作信息和与所述主要动作信息对应的第一匹配帧，确定所述第一匹配帧的得分；
基于所述次要动作信息和与所述次要动作信息对应的第二匹配帧，确定所述第二匹配帧的得分；
显示所述第一匹配帧的得分以及所述第二匹配帧的得分。
8.根据权利要求7所述的方法，其特征在于，在所述显示所述第一匹配帧的得分以及所述第二匹配帧的得分之前，所述方法还包括：
基于所述标准动作信息生成标准动作示意图；
基于所述第一匹配帧和所述第二匹配帧生成与所述标准动作示意图对应的实际动作示意图；
基于所述标准动作信息和所述第一匹配帧以及所述第二匹配帧，标注所述实际动作示意图中的非标准动作部位；
显示所述标准动作示意图以及标注后的实际动作示意图。
9.一种动作匹配装置，其特征在于，包括处理单元和通信单元，其中，
所述处理单元，用于通过所述通信单元获取标准动作信息和待评估动作视频帧序列，所述标准动作信息中包括至少两个按时序排列的主要动作信息，所述动作信息用于表征身体各部位的姿态；以及基于所述标准动作信息和所述待评估动作视频帧序列执行区间定位操作，得到匹配区间，所述匹配区间是指所述待评估动作视频帧序列中的时序区间；以及基于所述主要动作信息以及所述匹配区间，确定与所述主要动作信息对应的第一匹配帧，所述第一匹配帧为所述待评估动作视频帧序列中的视频帧；
在所述区间定位操作方面，所述处理单元具体用于：
基于第一主要动作信息、第二主要动作信息以及前一个状态帧，确定与所述第一主要动作信息对应的第一状态帧，以及与第二主要动作信息对应的第二状态帧，所述第一主要动作信息为所述标准动作信息中的任意一个主要动作信息，所述第二主要动作信息为所述第一主要动作信息之后的一个主要动作信息，所述状态帧表示所述待评估动作视频帧序列中首个与主要动作信息匹配的视频帧，所述前一个状态帧为与所述第一主要动作信息的前一个主要动作信息对应的状态帧；确定所述第一状态帧和所述第二状态帧之间对应的时序区间，为所述匹配区间。
10.一种电子设备，其特征在于，包括处理器、存储器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-8任一项所述的方法中的步骤的指令。
11.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910965541.0A CN110838353B (zh) | 2019-10-11 | 2019-10-11 | 动作匹配方法及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910965541.0A CN110838353B (zh) | 2019-10-11 | 2019-10-11 | 动作匹配方法及相关产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110838353A CN110838353A (zh) | 2020-02-25 |
| CN110838353B true CN110838353B (zh) | 2023-11-21 |
Family
ID=69575343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910965541.0A Active CN110838353B (zh) | 2019-10-11 | 2019-10-11 | 动作匹配方法及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110838353B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523517B (zh) * | 2020-05-26 | 2023-08-04 | 北京奇艺世纪科技有限公司 | 动作评分方法、装置、电子设备及可读存储介质 |
| CN111881859A (zh) * | 2020-07-31 | 2020-11-03 | 北京融链科技有限公司 | 模板生成方法和装置 |
| CN112272324B (zh) * | 2020-10-15 | 2023-03-14 | 聚好看科技股份有限公司 | 一种跟练模式控制方法及显示设备 |
| CN112380971B (zh) * | 2020-11-12 | 2023-08-25 | 杭州海康威视数字技术股份有限公司 | 一种行为检测方法、装置及设备 |
| CN112989121B (zh) * | 2021-03-08 | 2023-07-28 | 武汉大学 | 一种基于关键帧偏好的时序动作评估方法 |
| CN114285960B (zh) * | 2022-01-29 | 2024-01-30 | 北京卡路里信息技术有限公司 | 视频处理方法及装置 |
| CN114926910A (zh) * | 2022-07-18 | 2022-08-19 | 科大讯飞(苏州)科技有限公司 | 一种动作匹配方法及其相关设备 |
| CN117697769B (zh) * | 2024-02-06 | 2024-04-30 | 成都威世通智能科技有限公司 | 一种基于深度学习的机器人控制系统和方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107281709A (zh) * | 2017-06-27 | 2017-10-24 | 深圳市酷浪云计算有限公司 | 一种运动视频片段的提取方法及装置、电子设备 |
| CN109410198A (zh) * | 2018-10-25 | 2019-03-01 | 北京奇艺世纪科技有限公司 | 一种时序动作检测方法、装置及设备 |
| CN109857908A (zh) * | 2019-03-04 | 2019-06-07 | 北京字节跳动网络技术有限公司 | 用于匹配视频的方法和装置 |
-
2019
- 2019-10-11 CN CN201910965541.0A patent/CN110838353B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107281709A (zh) * | 2017-06-27 | 2017-10-24 | 深圳市酷浪云计算有限公司 | 一种运动视频片段的提取方法及装置、电子设备 |
| CN109410198A (zh) * | 2018-10-25 | 2019-03-01 | 北京奇艺世纪科技有限公司 | 一种时序动作检测方法、装置及设备 |
| CN109857908A (zh) * | 2019-03-04 | 2019-06-07 | 北京字节跳动网络技术有限公司 | 用于匹配视频的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110838353A (zh) | 2020-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110838353B (zh) | 动作匹配方法及相关产品 | |
| US20230338778A1 (en) | Method and system for monitoring and feed-backing on execution of physical exercise routines | |
| CN109191588B (zh) | 运动教学方法、装置、存储介质及电子设备 | |
| CN110448870B (zh) | 一种人体姿态训练方法 | |
| US10186041B2 (en) | Apparatus and method for analyzing golf motion | |
| CN110544301A (zh) | 一种三维人体动作重建系统、方法和动作训练系统 | |
| CN110428486B (zh) | 虚拟互动的健身方法、电子设备及存储介质 | |
| WO2017161734A1 (zh) | 通过电视和体感配件矫正人体动作及系统 | |
| CN113505662B (zh) | 一种健身指导方法、装置及存储介质 | |
| CN111967407B (zh) | 动作评价方法、电子设备和计算机可读存储介质 | |
| CN109902547A (zh) | 动作识别方法和装置 | |
| EP3786971A1 (en) | Advancement manager in a handheld user device | |
| CN115131879B (zh) | 一种动作评价方法及装置 | |
| CN110751100A (zh) | 一种体育场馆辅助训练方法与系统 | |
| CN113409651B (zh) | 直播健身方法、系统、电子设备、存储介质 | |
| EP4145400A1 (en) | Evaluating movements of a person | |
| WO2020252918A1 (zh) | 基于人体的姿态识别方法、装置、设备及存储介质 | |
| US20200406098A1 (en) | Techniques for golf swing measurement and optimization | |
| CN113342157B (zh) | 眼球追踪处理方法及相关装置 | |
| CN110070036A (zh) | 辅助运动动作训练的方法、装置及电子设备 | |
| CN114926910A (zh) | 一种动作匹配方法及其相关设备 | |
| CN114241595A (zh) | 数据处理方法、装置、电子设备及计算机存储介质 | |
| US11861944B1 (en) | System for synchronizing video output based on detected behavior | |
| CN116310301A (zh) | 目标检测方法及装置 | |
| KR20230102011A (ko) | 스포츠 퍼포먼스 분석 및 코칭 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |