CN108615055A - 一种相似度计算方法、装置及计算机可读存储介质 - Google Patents

一种相似度计算方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN108615055A
CN108615055A CN201810354860.3A CN201810354860A CN108615055A CN 108615055 A CN108615055 A CN 108615055A CN 201810354860 A CN201810354860 A CN 201810354860A CN 108615055 A CN108615055 A CN 108615055A
Authority
CN
China
Prior art keywords
user
video
frame image
standard operation
user action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810354860.3A
Other languages
English (en)
Other versions
CN108615055B (zh
Inventor
王�琦
洪毅强
王乐
曾艺婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Animation Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Animation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Animation Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201810354860.3A priority Critical patent/CN108615055B/zh
Publication of CN108615055A publication Critical patent/CN108615055A/zh
Application granted granted Critical
Publication of CN108615055B publication Critical patent/CN108615055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种相似度计算方法，包括：获取用户动作视频；基于机器学习算法，确定所述用户动作视频的帧图像中的第一用户骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；根据所述用户动作视频的帧图像之间的第一用户骨骼关节点的位置变化，确定第一变化序列；基于所述第一变化序列，以及标准动作视频的帧图像中的第二用户骨骼关节点的位置对应的第二变化序列，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度；其中，所述第二变化序列为根据所述第二用户骨骼关节点在所述参考系中的位置变化得到的一组序列。本发明还同时公开了一种相似度计算装置以及计算机可读存储介质。

Description

一种相似度计算方法、装置及计算机可读存储介质
技术领域
本发明涉及终端用户认证领域，尤其涉及一种相似度计算方法、装置及计算机可读存储介质。
背景技术
目前，将用户的舞蹈动作与标准舞蹈动作进行比较的方式通常为：预定义好一套舞蹈标准动作库，利用特定的动作捕捉仪器对用户跳舞动作进行捕捉，对捕捉的用户舞蹈动作进行数字化处理，根据数字化处理的结果对用户动作与标准动作进行对比打分。
但是，用户舞蹈动作的捕捉需要使用特定的仪器如kinect，用户在不借助仪器的情况很难实现将自己的舞蹈动作与标准舞蹈动作进行对比。
因此，亟需找到一种更便捷地将用户的舞蹈动作与标准舞蹈动作进行对比的技术方案。
发明内容
有鉴于此，本发明实施例期望提供一种相似度计算方法、装置及计算机可读存储介质，能够基于用户动作视频和标准动作视频实现用户动作与标准动作的对比。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种相似度计算方法，所述方法包括：
获取用户动作视频；
基于机器学习算法，确定所述用户动作视频的帧图像中的第一用户骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；
根据所述用户动作视频的帧图像之间的第一用户骨骼关节点的位置变化，确定第一变化序列；
基于所述第一变化序列，以及标准动作视频的帧图像中的第二用户骨骼关节点的位置对应的第二变化序列，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度；其中，所述第二变化序列为根据所述第二用户骨骼关节点在所述参考系中的位置变化得到的一组序列。
上述方案中，所述基于机器学习算法，确定所述用户动作视频的帧图像中的第一用户骨骼关节点的位置，包括：
对所述用户动作视频的帧图像按时间编号；
利用预设哈希表中关键帧图像的编号结果，从所述用户动作视频的帧图像中，确定与所述关键帧图像的编号结果相同的帧图像；
基于机器学习算法，从确定出的与所述关键帧图像的编号结果相同的帧图像中，确定第一用户骨骼关节点的位置。
上述方案中，所述基于所述第一变化序列，以及标准动作视频的帧图像中的第二用户骨骼关节点的位置对应的第二变化序列，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度，包括：
从所述用户动作视频的与关键帧图像的编号结果相同的帧图像中，确定至少一组帧图像；每组帧图像由两个相邻的帧图像组成；针对各组帧图像，基于第一用户骨骼关节点在每组帧图像中的位置，确定第一变化值；各组帧图像对应的第一变化值形成第一变化序列；
从标准动作视频的帧图像中，确定至少一组帧图像；确定出的帧图像编号与所述关键帧图像的编号相同；每组帧图像由两个相邻的帧图像组成；针对各组帧图像，基于第二用户骨骼关节点在每组帧图像中的位置，确定第二变化值；各组帧图像对应的第二变化值形成第二变化序列；
利用所述第一变化序列，计算第一欧式距离，并利用所述第二变化序列，计算第二欧式距离；
根据所述第一欧式距离和所述第二欧式距离，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度。
上述方案中，所述根据所述第一欧式距离和所述第二欧式距离，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度，包括：
从标准动作视频的帧图像中，确定至少一组帧图像；确定出的帧图像编号与所述关键帧图像的编号不同；每组帧图像由两个相邻的帧图像组成；
针对各组帧图像，基于第二用户骨骼关节点在每组帧图像中的位置，确定第三变化值；各组帧图像对应的第三变化值形成第三变化序列；所述第三变化值对应的相邻帧图像的编号与所述第一变化序列对应的相邻帧图像的编号不同；
利用所述第三变化序列，计算第三欧式距离；
根据所述第一欧式距离、第二欧式距离及第三欧式距离，计算用户动作视频中的用户动作与标准动作视频中的标准动作的相似度。
上述方案中，所述方法还包括：
基于用户动作视频的帧图像中的第一用户骨骼关节点的位置，确定对应的用户动作；
基于标准动作视频的帧图像中的第二用户骨骼关节点的位置，确定对应的第一标准动作；
在播放用户动作视频及标准动作视频的帧图像时，在显示界面中展示确定的用户动作及第一标准动作。
上述方案中，所述方法还包括：
根据确定的相似度，判断用户动作是否符合第一标准动作；
当确定用户动作符合第一标准动作时，在显示界面展示第二标准动作；所述第二标准动作的难度系数高于第一标准动作。
上述方案中，所述方法还包括：
获取用户的第一操作；所述第一操作用于指示在所述显示界面中添加内容；所述内容至少包括以下至少之一：背景、音乐、视频；
响应第一操作，生成第一链接；所述第一链接用于获取对应的内容；
当检测到针对第一链接的操作时，基于第一链接获取对应的内容；
在所述显示界面中添加对应的内容。
上述方案中，所述方法还包括：
生成提示消息；所述提示消息用于提示是否在所述显示界面中添加内容；所述内容至少包括以下至少之一：界面装饰、动作的用户头像、弹幕；
获取基于所述提示消息的确定操作；
基于所述确定操作，在所述显示界面中添加对应的内容。
上述方案中，所述方法还包括：
根据确定的相似度，生成对应的特效；
在所述显示界面中展示所述特效。
本发明实施例提供一种相似度计算装置，所述装置包括：
获取模块，用于获取用户动作视频；
确定模块，用于基于机器学习算法，确定所述用户动作视频的帧图像中的第一用户骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；还用于根据所述用户动作视频的帧图像之间的第一用户骨骼关节点的位置变化，确定第一变化序列；
相似度计算模块，用于基于所述第一变化序列，以及标准动作视频的帧图像中的第二用户骨骼关节点的位置对应的第二变化序列，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度；其中，所述第二变化序列为根据所述第二用户骨骼关节点在所述参考系中的位置变化得到的一组序列。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上面所述任一项相似度计算方法的步骤。
本发明实施例提供一种相似度计算装置，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器用于运行所述计算机程序时，执行上面所述任一项相似度计算方法的步骤。
本发明实施例提供的相似度计算方法、装置及计算机可读存储介质，获取用户动作视频；基于机器学习算法，确定所述用户动作视频的帧图像中的第一用户骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；根据所述用户动作视频的帧图像之间的第一用户骨骼关节点的位置变化，确定第一变化序列；基于所述第一变化序列，以及标准动作视频的帧图像中的第二用户骨骼关节点的位置对应的第二变化序列，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度；其中，所述第二变化序列为根据所述第二用户骨骼关节点在所述参考系中的位置变化得到的一组序列。本发明实施例中，基于用户动作视频及标准动作视频，分别确定第一用户骨骼关节点的位置变化对应的第一变化序列以及第二用户骨骼关节点的位置变化对应的第二变化序列，因此，能够通过第一变化序列和第二变化序列确定的相似度实现用户动作与标准动作的对比。
附图说明
图1为本发明实施例相似度计算方法的流程示意图；
图2为本发明实施例相似度计算方法的具体实现流程示意图；
图3为本发明实施例人体的骨骼关节点的示意图；
图4为本发明实施例在显示界面添加内容的示意图；
图5为本发明实施例更换动作的用户头像的示意图；
图6为本发明实施例相似度计算装置的组成结构示意图一；
图7为本发明实施例相似度计算装置的组成结构示意图二。
具体实施方式
本发明实施例中，获取用户动作视频；基于机器学习算法，确定所述用户动作视频的帧图像中的第一用户骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；根据所述用户动作视频的帧图像之间的第一用户骨骼关节点的位置变化，确定第一变化序列；基于所述第一变化序列，以及标准动作视频的帧图像中的第二用户骨骼关节点的位置对应的第二变化序列，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度；其中，所述第二变化序列为根据所述第二用户骨骼关节点在所述参考系中的位置变化得到的一组序列。
为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。
如图1所示，详细说明本发明实施例相似度计算方法，包括以下步骤：
步骤101：获取用户动作视频。
这里，所述相似度计算方法可以应用于人工智能领域。
实际应用时，获取用户动作视频的方式可以为：当用户对用户动作视频执行下载操作时，终端获取所述下载操作对应的下载指令，基于所述下载指令对所述用户动作视频以及标识关键帧图像编号的配置文件进行下载。
所述关键帧图像为用户运动的关键动作所处的帧图像。所述用户的动作可以形成舞蹈或武术。
步骤102：基于机器学习算法，确定所述用户动作视频的帧图像中的第一用户骨骼关节点的位置。
其中，所述位置为在以预设坐标系为参考系中的位置。
在一实施例中，所述基于机器学习算法，确定所述用户动作视频的帧图像中的第一用户骨骼关节点的位置，包括：对所述用户动作视频的帧图像按时间编号；利用预设哈希表中关键帧图像的编号结果，从所述用户动作视频的帧图像中，确定与所述关键帧图像的编号结果相同的帧图像；基于机器学习算法，从确定出的与所述关键帧图像的编号结果相同的帧图像中，确定第一用户骨骼关节点的位置。
这里，所述预设哈希表可以预先存储在所述配置文件中。
步骤103：根据所述用户动作视频的帧图像之间的第一用户骨骼关节点的位置变化，确定第一变化序列。
其中，所述第一变化序列为基于与所述关键帧图像的编号结果相同的帧图像确定的一组序列。
实际应用时，确定第一变化序列的过程包括：从用户动作视频的与所述关键帧图像的编号结果相同的帧图像中，由两个相邻的帧图像组成一组帧图像；针对各组帧图像，基于第一用户骨骼关节点在每组帧图像中的位置，确定第一变化值；各组帧图像对应的第一变化值形成第一变化序列。
这里，为了便于对比，可以对第一变化值进行归一化处理，根据归一化处理后的第一变化值形成第一变化序列。
步骤104：基于所述第一变化序列，以及标准动作视频的帧图像中的第二用户骨骼关节点的位置对应的第二变化序列，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度。
其中，所述第二变化序列为基于与所述关键帧图像的编号结果相同的帧图像确定的一组序列。
在一实施例中，确定第二变化序列的过程包括：从标准动作视频中的与所述关键帧图像的编号结果相同的帧图像中，由两个相邻的帧图像组成一组帧图像；针对各组帧图像，基于第二用户骨骼关节点在每组帧图像中的位置，确定第二变化值；各组帧图像对应的第二变化值形成第二变化序列。其中，所述位置为在所述参考系中的位置。
其中，所述第二变化值对应的各组帧图像的编号与所述第一变化值对应的各组帧图像的编号相同。
这里，为了便于对比，可以对第二变化值进行归一化处理，根据归一化处理后的第二变化值形成第二变化序列。
在一实施例中，所述基于所述第一变化序列，以及标准动作视频的帧图像中的第二用户骨骼关节点的位置对应的第二变化序列，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度，包括：利用所述第一变化序列，计算第一欧式距离，并利用所述第二变化序列，计算第二欧式距离；根据所述第一欧式距离和所述第二欧式距离，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度。
这里，所述第一变化值在所述第一变化序列中的排列顺序与所述第二变化值在所述第二变化序列中的排列顺序相同。
在一实施例中，所述根据所述第一欧式距离和所述第二欧式距离，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度，包括：对所述关键帧图像的编号进行左移或右移，从标准动作视频的与左移或右移后的关键帧图像的编号结果相同的帧图像中，由两个相邻的帧图像组成一组帧图像；针对各组帧图像，基于第二用户骨骼关节点在每组帧图像中的位置，确定第三变化值；各组帧图像对应的第三变化值形成第三变化序列；利用所述第三变化序列，计算第三欧式距离；根据所述第一欧式距离、第二欧式距离及第三欧式距离，计算用户动作视频中的用户动作与标准动作视频中的标准动作的相似度。
其中，所述第三变化序列为基于与左移或右移后的所述关键帧图像的编号结果相同的帧图像确定的一组序列。所述第三变化值对应的各组帧图像的编号与所述第一变化值对应的各组帧图像的编号不同。
这里，所述第一变化值在所述第一变化序列中的排列顺序与所述第三变化值在所述第三变化序列中的排列顺序相同。
实际应用时，可以根据计算的相似度，确定用户动作对应的分数，并对确定的分数进行分享；还可以根据确定的分数对用户排名，并展示排名结果。
在一实施例中，所述计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度之后，所述方法还包括：基于用户动作视频的帧图像中的第一用户骨骼关节点的位置，确定对应的用户动作；基于标准动作视频的帧图像中的第二用户骨骼关节点的位置，确定对应的第一标准动作；在播放用户动作视频及标准动作视频的帧图像时，在显示界面中展示确定的用户动作及第一标准动作。
实际应用时，可以在显示界面中只展示用户动作，或者只展示第一标准动作；还可以在显示界面中同时展示用户动作及第一标准动作，便于用户观察出用户动作与第一标准动作的区别，以实时调整用户动作。
在一实施例中，所述计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度之后，所述方法还包括：根据确定的相似度，判断用户动作是否符合第一标准动作；当确定用户动作符合第一标准动作时，在显示界面展示第二标准动作；所述第二标准动作的难度系数高于第一标准动作。
实际应用时，在播放用户动作视频的帧图像时，当确定用户动作符合第一标准动作时，可以增加标准动作视频中第一标准动作的难度系数。
在一实施例中，所述方法还包括：获取用户的第一操作；所述第一操作用于指示在所述显示界面中添加内容；所述内容至少包括以下至少之一：背景、音乐、视频；响应第一操作，生成第一链接；所述第一链接用于获取对应的内容；当检测到针对第一链接的操作时，基于第一链接获取对应的内容；在所述显示界面中添加对应的内容。
在一实施例中，所述方法还包括：生成提示消息；所述提示消息用于提示是否在所述显示界面中添加内容；所述内容至少包括以下至少之一：界面装饰、动作的用户头像、弹幕；获取基于所述提示消息的确定操作；基于所述确定操作，在所述显示界面中添加对应的内容。
在一实施例中，所述方法还包括：根据确定的相似度，生成对应的特效；在所述显示界面中展示所述特效。
本发明实施例提供的相似度计算方法，基于用户动作视频及标准动作视频，分别确定第一用户骨骼关节点的位置变化对应的第一变化序列以及第二用户骨骼关节点的位置变化对应的第二变化序列，因此，能够通过第一变化序列和第二变化序列确定的第一欧式距离和第二欧式距离计算相似度，基于确定的相似度实现用户动作与标准动作的对比。
另外，考虑用户节奏感不足，使得用户动作在时间上提前或滞后标准动作，因此还可以确定第二用户骨骼关节点的位置变化对应的第三变化序列，通过第一变化序列、第二变化序列和第三变化序列确定的第一欧式距离、第二欧式距离和第三欧式距离计算相似度，基于确定的相似度实现用户动作与标准动作的对比，可以得到更准确的对比结果。
下面以具体实施例为例，详细说明本发明在实际应用中的实现过程及原理。
图2为本发明实施例相似度计算的具体实现流程示意图，具体实现过程，包括如下步骤：
步骤201：获取用户的舞蹈视频，并截取与关键帧图像的编号相同的帧图像。
当用户对舞蹈视频执行下载操作时，咪咕圈圈APP获取所述下载操作对应的下载指令，基于所述下载指令对所述舞蹈视频以及标识关键帧图像编号的配置文件进行下载。
当用户对所述舞蹈视频执行打开操作时，咪咕圈圈APP启动所述舞蹈视频并读入所述配置文件，同时，启动帧计数器对每帧图像计数，并判断当前帧图像的计数结果是否与在所述配置文件的哈希表中查找到的关键帧图像的编号是否相同，如果相同，则截取当前帧图像。
步骤202：利用深度学习算法，获取截取的帧图像中的第一用户骨骼关节点的位置。
第一用户骨骼关节点为人体的骨骼关节点。图3为人体的骨骼关节点的示意图，如图3所示，序号0、1、4、5代表腿部上的关节点，序号10、11、12、13、14、15代表手部上的关节点，序号8、9代表头部上的关节点，序号2、3代表臀部上的关节点。
深度学习算法的整体流程为：分四个阶段，利用深度学习算法构建神经网络，每个阶段都会输出第一用户骨骼点的位置，但以第四阶段的响应图输出的位置为准。第一阶段和第二阶段中，神经网络的输入为一个3通道的彩色图像，彩色图像的尺寸为368×368。第二阶段至第四阶段中，通过高斯函数模板把响应归拢到图像中心。具体如下：
第一阶段：使用卷积神经网络对输入的帧图像进行处理，预测第一用户骨骼点关节点的位置。
输入的帧图像大小为368×368×3，输出的特征图大小为46×46×15；其中，15代表预测的位置个数。
这里，预测的第一用户骨骼点关节点共有14个，在加上1个显示背景，共15个预设位置。
第二阶段：输入第一阶段中的帧图像，在卷积神经网络的卷积层的中间部分，增加特征图组合操作，对合并后的数据执行卷积操作。
这里，所述特征图组合操作为将以下三部分数据进行合并：
a.第一阶段输出的特征图，大小为46×46×15；
b.第二阶段中卷积CONV上段的卷积结果，大小为46×46×32；
c.高斯函数模板，大小为46×46×1；
合并后的数据大小为46×46×48。
第三阶段：从第二阶段的上半部分卷积操作中，取出某一个深度为128的特征图作为输入，在卷积神经网络的卷积层的中间部分，增加特征图组合操作，对合并的数据执行卷积操作。
输入的特征图大小为46×46×128。第三阶段与第二阶段的特征图组合操作相同，合并后的数据大小为46×46×48。
第四阶段：输入第三阶段中深度为128的特征图，在卷积神经网络的卷积层的中间部分，增加特征图组合操作，对合并的数据执行卷积、激活和池化等一系列运算后，输出大小为46×46×15的特征图，用于确定第一用户骨骼关节点的位置。
其中，一张特征图对应一个骨骼关节点。
步骤203：对比截取的帧图像之间的第一用户骨骼关节点的位置变化。
其中，位置变化可以是偏移角度或偏移幅度的变化。
如果截取的帧图像分布密集且均匀，可以将相邻的帧图像组成一组帧图像，并基于第一用户骨骼关节点在相邻的帧图像中的坐标，计算第一用户骨骼关节点的第一变化值，各组帧图像对应的第一变化值形成第一变化序列。
举例来说，结合图3所述的人体骨骼结构图，假设第一用户骨骼关节点的初始坐标为pi＝(xi,yi)，根据第一用户骨骼关节点在相邻的帧图像中的坐标pi t和pi t-1，计算第一用户骨骼关节点的第一变化值为pi t-pi t-1，并根据用户脸长(头顶点p9至颈椎点p8)为依据对第一变化值进行归一化处理，归一化的第一变化值形成第一变化序列。归一化的第一变化值用公式(1)所示。
其中，i表示第一用户骨骼关节点的序号，pi t和pi t-1分别表示第一用户骨骼关节点在后一帧图像和前一帧图像中的坐标，p9 t表示后一帧图像中的头顶点的坐标，p8 t表示前一帧图像中的颈椎点的坐标。
步骤204：将第一用户骨骼关节点的位置变化与标准舞蹈视频中的第二用户骨骼关节点的位置变化进行对比，计算用户舞蹈动作与标准舞蹈动作的相似度，并基于相似度确定所述用户舞蹈动作的分数。
其中，所述用户舞蹈动作的分数由动作分和节奏分两部分构成。其中，动作分由第一变化序列和第二变化序列确定，动作分表征用户舞姿是否标准；节奏分由第一变化序列和第三变化序列确定，节奏分表征用户节奏是否准确。
这里，引入节奏分的原因为：如果用户节奏感不足，使得用户舞蹈动作在时间上提前或滞后标准舞蹈动作，最终计算的动作分数也会很低，但是，实际上，用户舞姿很标准，这样，用户可能因认真跳舞但得分很低而直觉地认为打分不公，从而对产品失去兴趣。引入节奏分之后，即使用户舞蹈动作在时间上提前或滞后标准舞蹈动作，依然能根据相邻帧图像间的动作变化确定与标准舞姿的相似度，并得到准确的得分结果，同时可以根据计算的得分结果提示用户节奏是否准确，有利于提升用户体验及参与度。
确定所述用户舞蹈动作的动作分和节奏分的过程具体如下：
一、动作分的计算过程具体包括：
首先，将每个骨骼关节点对应的第一变化序列作为一个单位向量，并赋予每个单位向量一个权重值，将单位向量与权重值相乘后的结果存到数组score_weight中。其中，可以根据动作不同确定权重值，比如，手部动作赋予较大权重，腿部动作赋予较小权重。根据公式(2)计算各个骨骼关节点对应的各个单位向量之和。
然后，利用所述第一变化序列对应的单位向量，以及所述第二变化序列对应的单位向量计算动作分。假设两组单位向量为(1,0)、(-1,0)，则根据公式(3)计算动作分：
其中，0<score<1；n＝V.size；score_weight[i]÷sum_score_weight表示当前单位向量所占的比重；数字2代表两组单位向量间的最大欧式距离(对于向量(1,0)来说，向量(-1,0)离他最远，距离为2)；1-V[i]÷2表示两组单位向量间的相似度。
需要注意的是，在步骤202中的每个阶段，都会计算动作分loss，能够避免多层传导时发生的梯度弥散。
二、节奏分的计算过程具体包括：
首先，以标准节奏时的帧序列为基准，计算第一变化序列对应的第一欧氏距离与第二变化序列对应的第一欧氏距离的加权和，计算的加权和表征标准舞蹈动作与用户的舞蹈动作的差异度D0，用公式(4)表示。
其中i为骨骼关节点的序号，n为关键帧图像的序号。
然后，令截取的用户舞蹈视频的帧图像与标准舞蹈视频的关键帧图像对齐，并向左或向右滑动N个所述标准舞蹈视频中的关键帧图像。每滑动一次，利用公式(5)重新计算标准舞蹈动作与用户的舞蹈动作的差异度DN。
其中，N为正整数。
这样，得到一组标识标准舞蹈动作与用户的舞蹈动作的差异度的序列D，用公式(6)表示。
D＝(D-N,D-N+1,...,D-1,D0,D1,...,DN-1,DN) (6)
基于序列D，确定用户在一段时间内的节奏分loss，用公式(7)表示。
由于用户可能一段时间内的节奏较快，一段时间内的节奏较慢，所以可以将截取的帧图像按时间分成若干段，每段求得一个节奏分，再加权平均得出一个平均节奏分，用公式(8)表示。
其中，N表示将截取的帧图像分成N个片段，t_score_weight[i]表示第i个片段的权重，tempo_loss[i]表示第i个片段的节奏分loss。
三、用户舞蹈动作的分数的计算过程具体如下：
最后得分＝动作分score-beta×平均节奏分lossav
其中，beta为预设参数，用来平衡动作分和节奏分。
步骤205：根据确定的用户舞蹈动作的分数，在显示界面上展示不同的特效。
图4为在显示界面添加内容的示意图。如图4所示，如果确定的用户舞蹈动作的动作分score>0.7，则在显示界面上展示烟花等庆祝式特效；否则，在显示界面上展示加油等相关特效。还可以根据节奏分loss是否为正，在显示界面上展示诸如“你有一点抢拍哦”，“你的动作需要跟上哦”之类的提示语，提示用户在后面的舞蹈动作中注意改进。还可以在显示界面中添加界面装饰、更换动作的用户头像、添加弹幕。
图5为更换动作的用户头像的示意图。如图5所示，可以根据用户个人喜好，将用户头像更换为小猪佩奇头像，有助于提高用户体验。
基于本申请各实施例相似度计算方法，本申请还提供了一种相似度计算装置，如图6所示，所述装置包括：获取模块61、确定模块62、相似度计算模块63；其中，
获取模块61，用于获取用户动作视频；
确定模块62，用于基于机器学习算法，确定所述用户动作视频的帧图像中的第一用户骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；还用于根据所述用户动作视频的帧图像之间的第一用户骨骼关节点的位置变化，确定第一变化序列；
相似度计算模块63，用于基于所述第一变化序列，以及标准动作视频的帧图像中的第二用户骨骼关节点的位置对应的第二变化序列，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度；其中，所述第二变化序列为根据所述第二用户骨骼关节点在所述参考系中的位置变化得到的一组序列。
实际应用时，所述获取模块61，具体用于当用户对用户动作视频执行下载操作时，获取所述下载操作对应的下载指令，基于所述下载指令对所述用户动作视频以及标识关键帧图像编号的配置文件进行下载。
在一实施例中，所述确定模块62，具体用于对所述用户动作视频的帧图像按时间编号；利用预设哈希表中关键帧图像的编号结果，从所述用户动作视频的帧图像中，确定与所述关键帧图像的编号结果相同的帧图像；基于机器学习算法，从确定出的与所述关键帧图像的编号结果相同的帧图像中，确定第一用户骨骼关节点的位置。
这里，所述预设哈希表可以预先存储在所述配置文件中。
实际应用时，所述确定模块62，具体用于从用户动作视频的与所述关键帧图像的编号结果相同的帧图像中，由两个相邻的帧图像组成一组帧图像；针对各组帧图像，基于第一用户骨骼关节点在每组帧图像中的位置，确定第一变化值；各组帧图像对应的第一变化值形成第一变化序列。
其中，所述第一变化序列为基于与所述关键帧图像的编号结果相同的帧图像确定的一组序列。
在一实施例中，所述确定模块62，具体用于从标准动作视频中的与所述关键帧图像的编号结果相同的帧图像中，由两个相邻的帧图像组成一组帧图像；针对各组帧图像，基于第二用户骨骼关节点在每组帧图像中的位置，确定第二变化值；各组帧图像对应的第二变化值形成第二变化序列。其中，所述位置为在所述参考系中的位置。
其中，所述第二变化序列为基于与所述关键帧图像的编号结果相同的帧图像确定的一组序列。
其中，所述第二变化值对应的各组帧图像的编号与所述第一变化值对应的各组帧图像的编号相同。
在一实施例中，所述相似度计算模块63，具体用于利用所述第一变化序列，计算第一欧式距离，并利用所述第二变化序列，计算第二欧式距离；根据所述第一欧式距离和所述第二欧式距离，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度。
这里，所述第一变化值在所述第一变化序列中的排列顺序与所述第二变化值在所述第二变化序列中的排列顺序相同。
在一实施例中，所述相似度计算模块63，具体用于对所述关键帧图像的编号进行左移或右移，从标准动作视频的与左移或右移后的关键帧图像的编号结果相同的帧图像中，由两个相邻的帧图像组成一组帧图像；针对各组帧图像，基于第二用户骨骼关节点在每组帧图像中的位置，确定第三变化值；各组帧图像对应的第三变化值形成第三变化序列；利用所述第三变化序列，计算第三欧式距离；根据所述第一欧式距离、第二欧式距离及第三欧式距离，计算用户动作视频中的用户动作与标准动作视频中的标准动作的相似度。
其中，所述第三变化序列为基于与左移或右移后的所述关键帧图像的编号结果相同的帧图像确定的一组序列。所述第三变化值对应的各组帧图像的编号与所述第一变化值对应的各组帧图像的编号不同。
这里，所述第一变化值在所述第一变化序列中的排列顺序与所述第三变化值在所述第三变化序列中的排列顺序相同。
在一实施例中，所述装置还包括：
展示模块，用于基于用户动作视频的帧图像中的第一用户骨骼关节点的位置，确定对应的用户动作；基于标准动作视频的帧图像中的第二用户骨骼关节点的位置，确定对应的第一标准动作；在播放用户动作视频及标准动作视频的帧图像时，在显示界面中展示确定的用户动作及第一标准动作。
在一实施例中，所述展示模块，还用于根据确定的相似度，判断用户动作是否符合第一标准动作；当确定用户动作符合第一标准动作时，在显示界面展示第二标准动作；所述第二标准动作的难度系数高于第一标准动作。
在一实施例中，所述装置还包括：
添加模块，用于获取用户的第一操作；所述第一操作用于指示在所述显示界面中添加内容；所述内容至少包括以下至少之一：背景、音乐、视频；响应第一操作，生成第一链接；所述第一链接用于获取对应的内容；当检测到针对第一链接的操作时，基于第一链接获取对应的内容；在所述显示界面中添加对应的内容。
添加模块，还用于生成提示消息；所述提示消息用于提示是否在所述显示界面中添加内容；所述内容至少包括以下至少之一：界面装饰、动作的用户头像、弹幕；获取基于所述提示消息的确定操作；基于所述确定操作，在所述显示界面中添加对应的内容。
在一实施例中，所述装置还包括：
生成模块，还用于根据确定的相似度，生成对应的特效。并利用展示模块在所述显示界面中展示所述特效。
在实际应用中，获取模块61由位于相似度计算装置上的网络接口实现；确定模块62、相似度计算模块63、展示模块、添加模块、生成模块可由位于应用操作的处理装置上的中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Micro Processor Unit)、数字信号处理器(DSP，Digital Signal Processor)、或现场可编程门阵列(FPGA，FieldProgrammable Gate Array)等实现。
图7是本发明相似度计算装置的结构示意图，图7所示的相似度计算装置700包括：至少一个处理器701、存储器702、用户接口703、至少一个网络接口704。相似度计算装置700中的各个组件通过总线系统705耦合在一起。可理解，总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统705。
其中，用户接口703可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
本发明实施例中的存储器702用于存储各种类型的数据以支持相似度计算装置700的操作。这些数据的示例包括：用于在相似度计算装置700上操作的任何计算机程序，如操作系统7021和应用程序7022；其中，操作系统7021包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序7022可以包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序7022中。
上述本发明实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器701可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成相似度计算方法的步骤。
可以理解，存储器702可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器702旨在包括但不限于这些和任意其它适合类型的存储器。
基于本申请各实施例提供的相似度计算方法，本申请还提供一种计算机可读存储介质，参照图7所示，所述计算机可读存储介质可以包括：用于存储计算机程序的存储器702，上述计算机程序可由相似度计算装置700的处理器701执行，以完成服务器侧相似度计算方法所述步骤。
计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (12)

1.一种相似度计算方法，其特征在于，所述方法包括：
获取用户动作视频；
基于机器学习算法，确定所述用户动作视频的帧图像中的第一用户骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；
根据所述用户动作视频的帧图像之间的第一用户骨骼关节点的位置变化，确定第一变化序列；
基于所述第一变化序列，以及标准动作视频的帧图像中的第二用户骨骼关节点的位置对应的第二变化序列，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度；其中，所述第二变化序列为根据所述第二用户骨骼关节点在所述参考系中的位置变化得到的一组序列。
2.根据权利要求1所述的方法，其特征在于，所述基于机器学习算法，确定所述用户动作视频的帧图像中的第一用户骨骼关节点的位置，包括：
对所述用户动作视频的帧图像按时间编号；
利用预设哈希表中关键帧图像的编号结果，从所述用户动作视频的帧图像中，确定与所述关键帧图像的编号结果相同的帧图像；
基于机器学习算法，从确定出的与所述关键帧图像的编号结果相同的帧图像中，确定第一用户骨骼关节点的位置。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一变化序列，以及标准动作视频的帧图像中的第二用户骨骼关节点的位置对应的第二变化序列，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度，包括：
从所述用户动作视频的与关键帧图像的编号结果相同的帧图像中，确定至少一组帧图像；每组帧图像由两个相邻的帧图像组成；针对各组帧图像，基于第一用户骨骼关节点在每组帧图像中的位置，确定第一变化值；各组帧图像对应的第一变化值形成第一变化序列；
从标准动作视频的帧图像中，确定至少一组帧图像；确定出的帧图像编号与所述关键帧图像的编号相同；每组帧图像由两个相邻的帧图像组成；针对各组帧图像，基于第二用户骨骼关节点在每组帧图像中的位置，确定第二变化值；各组帧图像对应的第二变化值形成第二变化序列；
利用所述第一变化序列，计算第一欧式距离，并利用所述第二变化序列，计算第二欧式距离；
根据所述第一欧式距离和所述第二欧式距离，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一欧式距离和所述第二欧式距离，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度，包括：
从标准动作视频的帧图像中，确定至少一组帧图像；确定出的帧图像编号与所述关键帧图像的编号不同；每组帧图像由两个相邻的帧图像组成；
针对各组帧图像，基于第二用户骨骼关节点在每组帧图像中的位置，确定第三变化值；各组帧图像对应的第三变化值形成第三变化序列；所述第三变化值对应的相邻帧图像的编号与所述第一变化序列对应的相邻帧图像的编号不同；
利用所述第三变化序列，计算第三欧式距离；
根据所述第一欧式距离、第二欧式距离及第三欧式距离，计算用户动作视频中的用户动作与标准动作视频中的标准动作的相似度。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于用户动作视频的帧图像中的第一用户骨骼关节点的位置，确定对应的用户动作；
基于标准动作视频的帧图像中的第二用户骨骼关节点的位置，确定对应的第一标准动作；
在播放用户动作视频及标准动作视频的帧图像时，在显示界面中展示确定的用户动作及第一标准动作。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据确定的相似度，判断用户动作是否符合第一标准动作；
当确定用户动作符合第一标准动作时，在显示界面展示第二标准动作；所述第二标准动作的难度系数高于第一标准动作。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取用户的第一操作；所述第一操作用于指示在所述显示界面中添加内容；所述内容至少包括以下至少之一：背景、音乐、视频；
响应第一操作，生成第一链接；所述第一链接用于获取对应的内容；
当检测到针对第一链接的操作时，基于第一链接获取对应的内容；
在所述显示界面中添加对应的内容。
8.根据权利要求5所述的方法，其特征在于，所述方法还包括：
生成提示消息；所述提示消息用于提示是否在所述显示界面中添加内容；所述内容至少包括以下至少之一：界面装饰、动作的用户头像、弹幕；
获取基于所述提示消息的确定操作；
基于所述确定操作，在所述显示界面中添加对应的内容。
9.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据确定的相似度，生成对应的特效；
在所述显示界面中展示所述特效。
10.一种相似度计算装置，其特征在于，所述装置包括：
获取模块，用于获取用户动作视频；
确定模块，用于基于机器学习算法，确定所述用户动作视频的帧图像中的第一用户骨骼关节点的位置；所述位置为在以预设坐标系为参考系中的位置；还用于根据所述用户动作视频的帧图像之间的第一用户骨骼关节点的位置变化，确定第一变化序列；
相似度计算模块，用于基于所述第一变化序列，以及标准动作视频的帧图像中的第二用户骨骼关节点的位置对应的第二变化序列，计算所述用户动作视频中的用户动作与所述标准动作视频中的标准动作的相似度；其中，所述第二变化序列为根据所述第二用户骨骼关节点在所述参考系中的位置变化得到的一组序列。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述方法的步骤。
12.一种相似度计算装置，其特征在于，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器用于运行所述计算机程序时，执行权利要求1至9任一项所述方法的步骤。
CN201810354860.3A 2018-04-19 2018-04-19 一种相似度计算方法、装置及计算机可读存储介质 Active CN108615055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810354860.3A CN108615055B (zh) 2018-04-19 2018-04-19 一种相似度计算方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810354860.3A CN108615055B (zh) 2018-04-19 2018-04-19 一种相似度计算方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108615055A true CN108615055A (zh) 2018-10-02
CN108615055B CN108615055B (zh) 2021-04-27

Family

ID=63660427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810354860.3A Active CN108615055B (zh) 2018-04-19 2018-04-19 一种相似度计算方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108615055B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109348277A (zh) * 2018-11-29 2019-02-15 北京字节跳动网络技术有限公司 运动像素视频特效添加方法、装置、终端设备及存储介质
CN109525891A (zh) * 2018-11-29 2019-03-26 北京字节跳动网络技术有限公司 多用户视频特效添加方法、装置、终端设备及存储介质
CN109600559A (zh) * 2018-11-29 2019-04-09 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN109710802A (zh) * 2018-12-20 2019-05-03 百度在线网络技术（北京）有限公司 视频分类方法及其装置
CN109829442A (zh) * 2019-02-22 2019-05-31 焦点科技股份有限公司 一种基于摄像头的人体动作评分的方法及系统
CN110070036A (zh) * 2019-04-22 2019-07-30 北京迈格威科技有限公司 辅助运动动作训练的方法、装置及电子设备
CN110147468A (zh) * 2019-04-15 2019-08-20 深圳壹账通智能科技有限公司 基于人工智能的视频教学方法及相关设备
CN110298309A (zh) * 2019-06-28 2019-10-01 腾讯科技（深圳）有限公司 基于图像的动作特征处理方法、装置、终端及存储介质
CN110464357A (zh) * 2019-08-13 2019-11-19 马佳鑫 一种康复过程质量监测方法及系统
CN110464356A (zh) * 2019-08-13 2019-11-19 马佳鑫 一种运动能力综合监测方法及系统
CN110929595A (zh) * 2019-11-07 2020-03-27 河海大学 一种基于人工智能的有球无球训练或娱乐系统及方法
CN111144735A (zh) * 2019-12-23 2020-05-12 北京欧珀通信有限公司 一种数据处理方法、装置、电子设备及存储介质
CN111260678A (zh) * 2018-11-30 2020-06-09 百度在线网络技术（北京）有限公司 体操辅助学习的方法、装置、存储介质和终端设备
CN111523517A (zh) * 2020-05-26 2020-08-11 北京奇艺世纪科技有限公司 动作评分方法、装置、电子设备及可读存储介质
CN111626137A (zh) * 2020-04-29 2020-09-04 平安国际智慧城市科技股份有限公司 基于视频的运动评估方法、装置、计算机设备及存储介质
CN111639612A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 姿态矫正的方法、装置、电子设备及存储介质
CN111967407A (zh) * 2020-08-20 2020-11-20 咪咕互动娱乐有限公司 动作评价方法、电子设备和计算机可读存储介质
CN111985853A (zh) * 2020-09-10 2020-11-24 成都拟合未来科技有限公司 交互式练习排名评价方法、系统、终端及介质
WO2020252918A1 (zh) * 2019-06-20 2020-12-24 平安科技（深圳）有限公司 基于人体的姿态识别方法、装置、设备及存储介质
CN112309540A (zh) * 2020-10-28 2021-02-02 中国科学院深圳先进技术研究院 运动评估方法、装置、系统及存储介质
CN112333459A (zh) * 2020-10-30 2021-02-05 北京字跳网络技术有限公司 一种视频直播的方法、装置以及计算机存储介质
CN112418153A (zh) * 2020-12-04 2021-02-26 上海商汤科技开发有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN113395480A (zh) * 2020-03-11 2021-09-14 珠海格力电器股份有限公司 一种作业监测方法、装置、电子设备及存储介质
CN113596590A (zh) * 2020-04-30 2021-11-02 聚好看科技股份有限公司 显示设备及播放控制方法
CN113678137A (zh) * 2019-08-18 2021-11-19 聚好看科技股份有限公司 显示设备
WO2022028135A1 (zh) * 2020-08-06 2022-02-10 上海哔哩哔哩科技有限公司 在线体感斗舞方法、装置、计算机设备及存储介质
US11282214B2 (en) 2020-01-08 2022-03-22 Agt International Gmbh Motion matching analysis

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040017372A1 (en) * 2002-07-18 2004-01-29 Park Min Je Motion reconstruction method from inter-frame feature correspondences of a singular video stream using a motion library
JP2008225734A (ja) * 2007-03-12 2008-09-25 Mitsubishi Electric Corp 移動体行動解析装置
CN103706106A (zh) * 2013-12-30 2014-04-09 南京大学 一种基于Kinect的自适应连续动作训练方法
US8989521B1 (en) * 2011-11-23 2015-03-24 Google Inc. Determination of dance steps based on media content
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106228143A (zh) * 2016-08-02 2016-12-14 王国兴 一种教学视频与摄像头视频运动对比评分的方法
CN106650562A (zh) * 2016-06-14 2017-05-10 西安电子科技大学 一种基于Kinect的在线连续人体行为识别方法
CN106984027A (zh) * 2017-03-23 2017-07-28 华映科技（集团）股份有限公司 一种动作对比分析方法、装置及一种显示器
CN107038455A (zh) * 2017-03-22 2017-08-11 腾讯科技（深圳）有限公司 一种图像处理方法及装置
CN107730529A (zh) * 2017-10-10 2018-02-23 上海魔迅信息科技有限公司 一种视频动作评分方法及系统
CN107765855A (zh) * 2017-10-25 2018-03-06 电子科技大学 一种基于手势识别控制机器人运动的方法和系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040017372A1 (en) * 2002-07-18 2004-01-29 Park Min Je Motion reconstruction method from inter-frame feature correspondences of a singular video stream using a motion library
JP2008225734A (ja) * 2007-03-12 2008-09-25 Mitsubishi Electric Corp 移動体行動解析装置
US8989521B1 (en) * 2011-11-23 2015-03-24 Google Inc. Determination of dance steps based on media content
CN103706106A (zh) * 2013-12-30 2014-04-09 南京大学 一种基于Kinect的自适应连续动作训练方法
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106650562A (zh) * 2016-06-14 2017-05-10 西安电子科技大学 一种基于Kinect的在线连续人体行为识别方法
CN106228143A (zh) * 2016-08-02 2016-12-14 王国兴 一种教学视频与摄像头视频运动对比评分的方法
CN107038455A (zh) * 2017-03-22 2017-08-11 腾讯科技（深圳）有限公司 一种图像处理方法及装置
CN106984027A (zh) * 2017-03-23 2017-07-28 华映科技（集团）股份有限公司 一种动作对比分析方法、装置及一种显示器
CN107730529A (zh) * 2017-10-10 2018-02-23 上海魔迅信息科技有限公司 一种视频动作评分方法及系统
CN107765855A (zh) * 2017-10-25 2018-03-06 电子科技大学 一种基于手势识别控制机器人运动的方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHIRAZ BENABDELKADER等: "Motion-based recognition of people using image self-similarity", 《AUDIO- AND VIDEO-BASED BIOMETRIC PERSON AUTHENTICATION》 *
RYO YAMANE等: "Dance motion analysis by correlation matrix between pose sequences", 《2010 25TH INTERNATIONAL CONFERENCE OF IMAGE AND VISION COMPUTING NEW ZEALAND》 *
邹武合等: "基于关键姿势的单次学习动作识别", 《光电技术应用》 *
魏莱: "基于关节点的人体动作识别及姿态分析研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107908A1 (zh) * 2018-11-29 2020-06-04 北京字节跳动网络技术有限公司 多用户视频特效添加方法、装置、终端设备及存储介质
CN109525891A (zh) * 2018-11-29 2019-03-26 北京字节跳动网络技术有限公司 多用户视频特效添加方法、装置、终端设备及存储介质
CN109600559A (zh) * 2018-11-29 2019-04-09 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN109348277A (zh) * 2018-11-29 2019-02-15 北京字节跳动网络技术有限公司 运动像素视频特效添加方法、装置、终端设备及存储介质
CN109525891B (zh) * 2018-11-29 2020-01-21 北京字节跳动网络技术有限公司 多用户视频特效添加方法、装置、终端设备及存储介质
CN111260678A (zh) * 2018-11-30 2020-06-09 百度在线网络技术（北京）有限公司 体操辅助学习的方法、装置、存储介质和终端设备
CN109710802A (zh) * 2018-12-20 2019-05-03 百度在线网络技术（北京）有限公司 视频分类方法及其装置
CN109829442A (zh) * 2019-02-22 2019-05-31 焦点科技股份有限公司 一种基于摄像头的人体动作评分的方法及系统
CN110147468A (zh) * 2019-04-15 2019-08-20 深圳壹账通智能科技有限公司 基于人工智能的视频教学方法及相关设备
CN110070036A (zh) * 2019-04-22 2019-07-30 北京迈格威科技有限公司 辅助运动动作训练的方法、装置及电子设备
WO2020252918A1 (zh) * 2019-06-20 2020-12-24 平安科技（深圳）有限公司 基于人体的姿态识别方法、装置、设备及存储介质
CN110298309A (zh) * 2019-06-28 2019-10-01 腾讯科技（深圳）有限公司 基于图像的动作特征处理方法、装置、终端及存储介质
CN110464356A (zh) * 2019-08-13 2019-11-19 马佳鑫 一种运动能力综合监测方法及系统
CN110464357B (zh) * 2019-08-13 2022-05-27 马佳鑫 一种康复过程质量监测方法及系统
CN110464357A (zh) * 2019-08-13 2019-11-19 马佳鑫 一种康复过程质量监测方法及系统
CN113678137A (zh) * 2019-08-18 2021-11-19 聚好看科技股份有限公司 显示设备
CN113678137B (zh) * 2019-08-18 2024-03-12 聚好看科技股份有限公司 显示设备
CN110929595A (zh) * 2019-11-07 2020-03-27 河海大学 一种基于人工智能的有球无球训练或娱乐系统及方法
CN111144735B (zh) * 2019-12-23 2023-08-04 北京欧珀通信有限公司 一种数据处理方法、装置、电子设备及存储介质
CN111144735A (zh) * 2019-12-23 2020-05-12 北京欧珀通信有限公司 一种数据处理方法、装置、电子设备及存储介质
US11282214B2 (en) 2020-01-08 2022-03-22 Agt International Gmbh Motion matching analysis
CN113395480A (zh) * 2020-03-11 2021-09-14 珠海格力电器股份有限公司 一种作业监测方法、装置、电子设备及存储介质
CN113395480B (zh) * 2020-03-11 2022-04-08 珠海格力电器股份有限公司 一种作业监测方法、装置、电子设备及存储介质
CN111626137A (zh) * 2020-04-29 2020-09-04 平安国际智慧城市科技股份有限公司 基于视频的运动评估方法、装置、计算机设备及存储介质
CN113596590B (zh) * 2020-04-30 2022-08-26 聚好看科技股份有限公司 显示设备及播放控制方法
CN113596590A (zh) * 2020-04-30 2021-11-02 聚好看科技股份有限公司 显示设备及播放控制方法
CN111523517B (zh) * 2020-05-26 2023-08-04 北京奇艺世纪科技有限公司 动作评分方法、装置、电子设备及可读存储介质
CN111523517A (zh) * 2020-05-26 2020-08-11 北京奇艺世纪科技有限公司 动作评分方法、装置、电子设备及可读存储介质
CN111639612A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 姿态矫正的方法、装置、电子设备及存储介质
WO2022028135A1 (zh) * 2020-08-06 2022-02-10 上海哔哩哔哩科技有限公司 在线体感斗舞方法、装置、计算机设备及存储介质
CN111967407B (zh) * 2020-08-20 2023-10-20 咪咕互动娱乐有限公司 动作评价方法、电子设备和计算机可读存储介质
CN111967407A (zh) * 2020-08-20 2020-11-20 咪咕互动娱乐有限公司 动作评价方法、电子设备和计算机可读存储介质
CN111985853A (zh) * 2020-09-10 2020-11-24 成都拟合未来科技有限公司 交互式练习排名评价方法、系统、终端及介质
CN112309540A (zh) * 2020-10-28 2021-02-02 中国科学院深圳先进技术研究院 运动评估方法、装置、系统及存储介质
CN112309540B (zh) * 2020-10-28 2024-05-14 中国科学院深圳先进技术研究院 运动评估方法、装置、系统及存储介质
CN112333459A (zh) * 2020-10-30 2021-02-05 北京字跳网络技术有限公司 一种视频直播的方法、装置以及计算机存储介质
CN112418153A (zh) * 2020-12-04 2021-02-26 上海商汤科技开发有限公司 图像处理方法、装置、电子设备和计算机存储介质

Also Published As

Publication number Publication date
CN108615055B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN108615055A (zh) 一种相似度计算方法、装置及计算机可读存储介质
CN108958610A (zh) 基于人脸的特效生成方法、装置和电子设备
US11972693B2 (en) Method, device, system and apparatus for creating and/or selecting exercises for learning playing a music instrument
US20220180767A1 (en) Crowd-based device configuration selection of a music teaching system
US9898249B2 (en) System and methods for simulating real-time multisensory output
Madhok et al. SentiMozart: Music Generation based on Emotions.
CN109034063A (zh) 人脸特效的多人脸跟踪方法、装置和电子设备
CN109064387A (zh) 图像特效生成方法、装置和电子设备
US11893898B2 (en) Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
CN109346045A (zh) 基于长短时神经网络的多声部音乐生成方法及装置
US20200327726A1 (en) Method of Generating 3D Facial Model for an Avatar and Related Device
EP3880324A1 (en) Dynamic music creation in gaming
WO2021068812A1 (zh) 音乐生成方法、装置、电子设备及计算机可读存储介质
CN108805171A (zh) 图像至音乐旋律的转换方法、装置与计算机可读存储介质
US20220305365A1 (en) Field Rating and Course Adjusted Strokes Gained for Global Golf Analysis
US11908491B2 (en) Selecting supplemental audio segments based on video analysis
CN108932336A (zh) 信息推荐方法、电子终端及计算机可读存储介质消息
Tahiroglu et al. PESI Extended System: In Space, On Body, with 3 Musicians.
KR20210025324A (ko) 딥 뉴럴 네트워크를 이용한 애니메이션 생성 장치 및 애니메이션 생성 방법
Miller et al. Geoshuffle: Location-Aware, Content-based Music Browsing Using Self-organizing Tag Clouds.
Martin Touchless gestural control of concatenative sound synthesis
US20240127777A1 (en) Method and apparatus for generating music file, and electronic device and storage medium
Droumeva et al. Springboard: exploring embodied metaphor in the design of sound feedback for physical responsive environments
WO2023127307A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111459396B (zh) 基于智能终端的弹唱方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant