CN113033242A - 动作识别方法及系统 - Google Patents
动作识别方法及系统 Download PDFInfo
- Publication number
- CN113033242A CN113033242A CN201911251151.3A CN201911251151A CN113033242A CN 113033242 A CN113033242 A CN 113033242A CN 201911251151 A CN201911251151 A CN 201911251151A CN 113033242 A CN113033242 A CN 113033242A
- Authority
- CN
- China
- Prior art keywords
- human body
- video information
- target
- video
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000033001 locomotion Effects 0.000 claims abstract description 113
- 239000013598 vector Substances 0.000 claims description 98
- 210000000988 bone and bone Anatomy 0.000 claims description 77
- 239000000463 material Substances 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 abstract description 35
- 239000000284 extract Substances 0.000 abstract description 3
- 210000003414 extremity Anatomy 0.000 description 44
- 210000000707 wrist Anatomy 0.000 description 22
- 238000010586 diagram Methods 0.000 description 12
- 210000003127 knee Anatomy 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 210000002414 leg Anatomy 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 210000004247 hand Anatomy 0.000 description 7
- 210000000245 forearm Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种动作识别方法及系统，该方法包括：获取第一用户上传的第一视频信息；对所述第一视频信息进行人体骨骼节点识别和动作识别，以识别出多个骨骼节点和动作；根据所述多个骨骼节点生成虚拟对象；将所述虚拟对象按照所述动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习。本发明能够从视频中提取对应的动作，以根据该提取出的动作制作教学视频。
Description
技术领域
本发明涉及移动终端技术领域，具体涉及一种动作识别方法及系统。
背景技术
随着智能移动终端技术的迅猛发展，人们越来越依赖智能移动终端进行各种各样的学习和娱乐。随着舞蹈娱乐的兴起，人们经常会跟着视频进行舞蹈的练习或者将录制的自己的舞蹈视频上传。然而，这种跟着视频练习舞蹈的方式，智能移动终端并不能识别用户的肢体动作，无法对该舞蹈视频中的动作进行识别，从该舞蹈视频中提取对应的舞蹈动作，以根据该提取出的舞蹈动作制作舞蹈教学视频。
发明内容
本发明的目的在于提供一种动作识别方法、系统、计算机设备及可读存储介质，用于解决现有技术中智能移动终端不能识别用户的肢体动作，无法对舞蹈视频中的动作进行识别，从该舞蹈视频中提取对应的舞蹈动作，以根据该提取出的舞蹈动作制作舞蹈教学视频的缺陷。
根据本发明的一个方面，提供了一种动作识别方法，该方法包括如下步骤：
获取第一用户上传的第一视频信息；
对所述第一视频信息进行人体骨骼节点识别和动作识别，以识别出多个骨骼节点和动作；
根据所述多个骨骼节点生成虚拟对象；
将所述虚拟对象按照所述动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习。
可选的，所述对所述视频信息进行人体骨骼节点识别，包括：
从数据库中获取人体训练样本；
根据所述人体训练样本对骨骼节点识别模型进行参数的调整，以得到目标骨骼节点识别模型；
识别所述第一视频信息中的人体，并将所述人体输入至所述目标骨骼节点识别模型中，以识别出所述人体的多个骨骼节点和每个骨骼节点的坐标信息。
可选的，所述对所述视频信息进行动作识别，包括：
根据所述每个骨骼节点的坐标信息，将所述多个骨骼节点中每两个骨骼节点构建一个向量；
计算每两个向量之间的夹角并保存于所述数据库中；
根据所述夹角确定所述人体的动作，以完成所述动作的识别。
可选的，所述根据所述多个骨骼节点生成虚拟对象，包括：
从预设的素材库中获取与每个骨骼节点对应的素材；
根据所述每个骨骼节点确定所述虚拟对象的肢节信息，将所述素材按照所述肢节信息进行组装，以得到所述虚拟对象。
可选的，所述方法还包括：
当获取到调整所述虚拟对象的操作信息时，根据所述操作信息调整所述虚拟对象，得到调整后的目标虚拟对象；
将所述目标虚拟对象存储于所述素材库中。
可选的，所述方法还包括：
将所述运动视频与所述第一视频信息进行合成并显示。
根据本发明的另一个方面，提供了另一种动作识别方法，该方法包括如下步骤：
从数据库获取第一视频信息中的人体动作，并通过摄像头获取录制的第二视频信息；
识别所述第二视频信息中的目标人体动作；
判断所述第一视频信息中的人体动作和所述第二视频信息中的目标人体动作是否一致；
根据判断结果，显示对应的反馈信息。
可选的，所述识别所述第二视频信息中的目标人体动作，包括：
从所述第二视频信息中识别出目标人体，并将所述目标人体输入至预先训练的目标骨骼节点识别模型中，以识别出所述用户的多个骨骼节点；
将所述多个骨骼节点中每两个骨骼节点构建一个目标向量；
计算每两个目标向量之间的目标向量夹角并保存于所述数据库中；
根据所述目标向量夹角确定所述目标人体动作。
可选的，所述判断所述第一视频信息中的人体动作和所述第二视频信息中的目标人体动作是否一致，包括：
从所述数据库中获取所述第一视频信息中人体的骨骼节点信息、每两个骨骼节点的向量信息、每两个向量的向量夹角；
将所述第一视频信息中的向量夹角和所述第二视频信息中与所述向量夹角对应骨骼节点间的向量目标夹角进行比较；
当所述向量夹角和所述向量目标夹角之间的差值处于预设范围内时，则判断所述用户的目标人体动作和所述第一视频信息中的人体动作一致；
当所述向量夹角和所述向量目标夹角之间的差值不处于所述预设范围内时，则判断所述用户的目标人体动作和所述第一视频信息中的人体动作不一致。
为了实现上述目的，本发明还提供一种动作识别系统，该系统具体包括以下组成部分：
第一获取模块，用于获取第一用户上传的第一视频信息；
第一识别模块，用于对所述第一视频信息进行人体骨骼节点识别和动作识别，以识别出多个骨骼节点和动作；
生成模块，用于根据所述多个骨骼节点生成虚拟对象，并将所述虚拟对象按照所述动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习。
为了实现上述目的，本发明还提供一种动作识别系统，该系统具体包括以下组成部分：
第二获取模块，用于从数据库获取第一视频信息中的人体动作，并通过摄像头获取录制的第二视频信息；
第二识别模块，用于识别所述第二视频信息中的目标人体动作；
判断模块，用于判断所述第一视频信息中的人体动作和所述第二视频信息中的目标人体动作是否一致；
显示模块，用于根据判断结果，显示对应的反馈信息。
为了实现上述目的，本发明还提供一种计算机设备，该计算机设备具体包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述介绍的动作识别方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述介绍的动作识别方法的步骤。
本发明提供的动作识别方法、系统、计算机设备及可读存储介质，通过获取第一用户上传的第一视频信息；然后，对所述第一视频信息进行人体骨骼节点识别和动作识别，以识别出多个骨骼节点和动作；接着，根据所述多个骨骼节点生成虚拟对象；最后，将所述虚拟对象按照所述动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习，从而能够从视频中提取对应的动作，以根据该提取出的动作制作教学视频。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本公开实施例提供的动作识别方法的一种可选的应用环境图；
图2为本公开实施例提供的动作识别方法的一种可选的流程示意图；
图3为所述图2中步骤S202的一种可选的具体流程示意图；
图4为所述图2中步骤S202的另一种可选的具体流程示意图；
图5为所述图2中步骤S204的一种可选的具体流程示意图；
图6为本公开实施例提供的动作识别方法的另一种可选的流程示意图；
图7为本公开实施例提供的动作识别方法的另一种可选的流程示意图；
图8为本公开实施例提供的动作识别方法的另一种可选的流程示意图；
图9为所述图8中步骤S802的一种可选的具体流程示意图；
图10为所述图8中步骤S804的一种可选的具体流程示意图；
图11为本公开实施例提供的动作识别系统的一种可选的程序模块示意图；
图12为本公开实施例提供的动作识别系统的另一种可选的程序模块示意图；
图13为本公开实施例提供的计算机设备的一种可选的硬件架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明提供的动作识别方法进行说明。
图1为本公开实施例提供的动作识别方法的一种可选的应用环境图。图1为学习用户将录制的学习视频上传终端，并与网上的教学视频进行合成后生成的视频截图，其中，该视频截图右侧为网上的教学视频截图，左侧为学习用户学习右侧教学视频动作的学习视频截图。所述教学视频截图的左下角为一个火柴人(也即虚拟对象)运动的视频截图，所述学习用户在学习的过程中可参照该火柴人的运动进行学习。当学习用户学习完一个动作后，根据该动作的学习情况显示反馈信息。例如：当学习用户学习的动作标准或正确时，则显示GOOD JOB的字幕，在这两个单词之间显示赞的表情，并在字幕上方显示爆炸特效。需要说明的是，该些反馈信息根据学习用户的学习情况可以后台预先设置和修改，在本发明实施例中不作限定。本发明实施例仅以一种反馈信息的情况进行示例性的说明。
图2为本发明动作识别方法的一种可选的流程示意图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定，下面以计算机设备为执行主体进行示例性描述。所述计算机设备可以包括诸如服务器、手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便携式媒体播放器(Portable MediaPlayer，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。
如图2所示，该方法具体包括以下步骤S200～S206，其中：
步骤S200：获取第一用户上传的第一视频信息。
具体地，当用户需要将自己的视频当作教学视频上传至网络时，例如：舞蹈教学视频或健身教学视频，则所述计算机设备接收该视频信息。
步骤S202：对所述第一视频信息进行人体骨骼节点识别和动作识别，以识别出多个骨骼节点和动作。
具体地，当所述计算机设备接收到教学视频时，从所述教学视频中识别出人体，并识别该人体的骨骼节点(或者肢节节点)和该人体做出的动作。例如：从舞蹈视频中识别出舞者，该舞者的左右手，左右脚，左右手的手腕、手肘，肩，该舞者的左右手的动作等。
在示例性的实施例中，如图3所示，所述步骤S202可以包括步骤S300～S304，其中：
步骤S300：从数据库中获取人体训练样本。
需要说明的是，该人体训练样本均为已标注各个骨骼节点的人体，以便根据标注信息对骨骼节点识别模型进行训练。
步骤S302：根据所述人体训练样本对骨骼节点识别模型进行参数的调整，以得到目标骨骼节点识别模型。
步骤S304：识别所述第一视频信息中的人体，并将所述人体输入至所述目标骨骼节点识别模型中，以识别出所述人体的多个骨骼节点和每个骨骼节点的坐标信息。
示例性地，识别出教学视频中的舞者之后，将根据骨骼节点识别模型的识别结果，识别出该舞者的左右手，左右脚，左手腕、左手肘，左肩，头部，腰部，左腿右腿，左膝右膝等各个骨骼节点，以及各个骨骼节点的坐标信息。通过本实施例便于人体肢节的清晰识别。
在示例性的实施例中，如图4所示，所述步骤S202还可以包括步骤S400～S404，其中：
步骤S400：根据所述每个骨骼节点的坐标信息，将所述多个骨骼节点中每两个骨骼节点构建一个向量。
示例性地，当识别出左手肘、左手腕和左肩的坐标信息，根据左手肘的坐标信息和左手腕的坐标信息构建一个左手腕肘向量，根据左手腕的坐标信息和左肩的坐标信息构建另一个左手肘肩向量。
步骤S402：计算每两个向量之间的夹角并保存于所述数据库中。
步骤S404：根据所述夹角确定所述人体的动作，以完成所述动作的识别。
示例性地，计算左手腕肘向量和左手肘肩向量之间的夹角，并将该夹角保存于数据库中，根据该夹角可确定左手的动作姿势。例如：左手腕肘向量和左手肘肩向量之间的夹角为180°，则左手为伸直动作，未弯曲。当然，根据同样的方式构建其他骨骼节点向量，并计算向量之间的夹角，可确定其他肢节的动作，在此不作赘述。通过本实施例，能够更为精准的识别舞者的动作。
步骤S204：根据所述多个骨骼节点生成虚拟对象。
示例性地，两个骨骼节点的坐标相差较远，距离远，则获取长度长的肢节，并根据该些肢节生成虚拟对象。例如：左脚与左膝的坐标距离远，则获取长的线条；脖子与头顶的坐标距离近，则获取短的线条，然后将获取的线条根据对应的坐标放置以生成虚拟对象，在本实施例中，线条生成的图案称为火柴人。当然，也可以采用其他的图案来代表各个肢节，在此不作限定。
在示例性的实施例中，如图5所示，所述步骤S204还可以包括步骤S500～S502，其中：
步骤S500：从预设的素材库中获取与每个骨骼节点对应的素材。
步骤S502：根据所述每个骨骼节点确定所述虚拟对象的肢节信息，将所述素材按照所述肢节信息进行组装，以得到所述虚拟对象。
具体地，根据每个骨骼节点的坐标信息获取每个肢节的信息，并根据每个肢节的信息从预设的素材库中获取对应的素材，例如：根据左手肘和左手腕的两个坐标之间的距离为D，左手肘和左手腕之间的肢节为小臂，则从预设的素材库中获取长度为D的素材。长度为D的素材可以为，例如：长度为D的线条或矩形或长轴为D的椭圆，在此不作限定。然后，将获取的素材根据对应的肢节位置进行组装，组装后即为虚拟对象，也即火柴人。通过本实施例，能够更为清晰的识别人体的肢节位置。
步骤S206：将所述虚拟对象按照所述动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习。
具体地，通过计算所述视频信息中每一帧视频人体各个骨骼节点向量之间的向量夹角，然后所述火柴人根据该些向量夹角和该些向量夹角对应的骨骼节点执行相应的动作。例如：左手手腕和左手手肘之间的肢节为左手小臂，左手手肘和左肩之间的肢节为左手大臂，若左手大臂和小臂之间的夹角为180°，则火柴人左手为伸直动作。所述火柴人其他肢节依次执行对应的动作，以完成与每帧视频信息中的人体动作。通过将多帧火柴人动作连续播放，可以实现火柴人的运动视频，以供第二用户根据该运动视频进行学习。
本发明实施例提供的动作识别方法，通过对视频信息中的人体骨骼节点和动作进行识别，并根据骨骼节点生成虚拟对象，然后将虚拟对象按照识别出的动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习。通过本发明实施例，能够从视频中提取对应的动作，以根据该提取出的动作制作教学视频。
在示例性的实施例中，如图6所示，所述动作识别方法还可以包括步骤S600～S602，其中：
步骤S600：当获取到调整所述虚拟对象的操作信息时，根据所述操作信息调整所述虚拟对象，得到调整后的目标虚拟对象。
步骤S602：将所述目标虚拟对象存储于所述素材库中。
具体地，当生成所述虚拟对象后，若接收到调整所述虚拟对象的形态或动作的操作信息时，则根据所述操作信息对所述虚拟对象进行调整，并将调整后的所述虚拟对象的形态和动作保存。例如：火柴人的左手大臂被拉长，则将拉长后的左手大臂和调整后的虚拟对象保存于所述素材库中；火柴人的左手大臂和小臂之间的夹角被调大，则将调整后的虚拟对象保存于所述素材库中。通过本实施例，极大的丰富了素材库，生成更为精准的虚拟对象。
在示例性的实施例中，如图7所示，所述动作识别方法还可以包括步骤S700：将所述运动视频与所述第一视频信息进行合成并显示。通过将生成的虚拟对象的运动视频和原始视频进行合成，能够为用户提供更为精准的教学视频，便于寻找所述视频信息中人体的肢节，以简化舞蹈的学习。
图8为本发明实施例动作识别方法的一种可选的流程示意图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定，下面以计算机设备为执行主体进行示例性描述。所述计算机设备可以是移动电话、平板个人计算机(tablet personalcomputer)、膝上型计算机(laptop computer)、服务器等具有数据传输功能的设备。
如图8所示，该方法具体包括以下步骤S800～S806，其中：
步骤S800：从数据库获取第一视频信息中的人体动作，并通过摄像头获取录制的第二视频信息。
具体地，当用户根据视频进行动作学习时，所述计算机设备从数据库中获取所述视频信息中的人体动作，并通过摄像头获取所述用户录制的动作学习的视频信息。其中视频中包括教练的运动视频和虚拟对象(火柴人)的运动视频。所述虚拟对象(火柴人)的运动视频中，所述虚拟对象(火柴人)的肢节清晰可见，以便用户清楚的识别每个肢节的动作。
步骤S802：识别所述第二视频信息中的目标人体动作。
在一示例性的实施例中，如图9所示，步骤S802可以包括步骤S900～S906，其中：
步骤S900：从所述第二视频信息中识别出目标人体，并将所述目标人体输入至预先训练的目标骨骼节点识别模型中，以识别出所述用户的多个骨骼节点。
步骤S902：将所述多个骨骼节点中每两个骨骼节点构建一个目标向量。
步骤S904：计算每两个目标向量之间的目标向量夹角并保存于所述数据库中。
步骤S906：根据所述目标向量夹角确定所述目标人体动作。
示例性地，识别出用户的学习视频中的人体之后，将该人体输入至预先训练的骨骼节点识别模型中，得到人体各个骨骼节点的识别结果，识别出该用户的左右手，左右脚，左手腕、左手肘，左肩，头部，腰部，左腿右腿，左膝右膝等各个骨骼节点，以及各个骨骼节点的坐标信息。然后，根据该些坐标信息选取两个骨骼节点构建成一个向量。接着，根据构建出的向量计算出两个向量之间的夹角，并根据该夹角确定用户的动作。通过本实施例便于人体肢节的清晰识别，同时能够更为精准的识别用户的动作。
步骤S804：判断所述第一视频信息中的人体动作和所述第二视频信息中的目标人体动作是否一致。
在一示例性的实施例中，如图10所示，步骤S804可以包括步骤S1000～S1006，其中：
步骤S1000：从所述数据库中获取所述第一视频信息中人体的骨骼节点信息、每两个骨骼节点的向量信息、每两个向量的向量夹角。
步骤S1002：将所述第一视频信息中的向量夹角和所述第二视频信息中与所述向量夹角对应骨骼节点间的向量目标夹角进行比较，若所述向量夹角和所述向量目标夹角之间的差值处于预设范围内，则执行步骤S1004，否则执行步骤S1006。
步骤S1004：所述用户的目标人体动作和所述第一视频信息中的人体动作一致。
步骤S1006：所述用户的目标人体动作和所述第一视频信息中的人体动作不一致。
具体地，通过将教学视频中人体的向量夹角和用户学习视频中与所述教学视频中人体对应肢节处目标人体的向量夹角进行对比，以判断该用户的学习动作是否标准。例如：将教学视频中的教练的左手小臂和左手大臂之间的夹角与用户学习视频中的用户的左手小臂和左手大臂之间的夹角进行对比，当两个夹角的差值处于预设范围内时，则判断所述用户的学习动作标准，所述用户的学习动作和教练动作一致，否则不一致。通过本实施例，能够更为客观判断用户的学习动作是否标准。
步骤S806：根据判断结果，显示对应的反馈信息。
示例性地，结合图1，当判断所述用户的学习动作和教练动作一致时，则显示GOOGJOB的字幕和/或奖励特效，以奖励用户。当判断所述用户的学习动作和教练动作不一致时，则显示“学习有待提高，请再接再厉”的字幕和/或鼓励特效，以鼓励用户。需要说明的是，反馈信息可根据用户的学习结果自由设置，在本实施例中不作限定。
本发明实施例提供的动作识别方法，通过从数据库获取第一视频信息中的人体动作，并通过摄像头获取录制的第二视频信息；然后，识别所述第二视频信息中的目标人体动作；接着，判断所述第一视频信息中的人体动作和所述第二视频信息中的目标人体动作是否一致；最后，根据判断结果，显示对应的反馈信息。通过本发明实施例，能够根据用户的学习情况，为用户提供精准的反馈信息，以提高用户的学习效率。
基于上述实施例中提供的动作识别方法，本实施例中提供一种动作识别系统，所述动作识别系统可以应用于计算机设备中。具体地，图11示出了该动作识别系统的可选的结构框图，该动作识别系统被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合描述动作识别系统在存储介质中的执行过程，以下描述将具体介绍本实施例各程序模块的功能。
如图11所示，动作识别系统具体包括以下组成部分：
第一获取模块201，用于获取第一用户上传的第一视频信息。
具体地，当用户需要将自己的视频当作教学视频上传至网络时，例如：舞蹈教学视频或健身教学视频，则所述第一获取模块201接收该视频信息。
第一识别模块202，用于对所述第一视频信息进行人体骨骼节点识别和动作识别，以识别出多个骨骼节点和动作。
具体地，当所述第一获取模块201接收到教学视频时，所述第一识别模块202从所述教学视频中识别出人体，并识别该人体的骨骼节点(或者肢节节点)和该人体做出的动作。例如：从舞蹈视频中识别出舞者，该舞者的左右手，左右脚，左右手的手腕、手肘，肩，该舞者的左右手的动作等。
所述第一识别模块202可以包括获取单元、调整单元和识别单元。
所述获取单元，用于从数据库中获取人体训练样本。
需要说明的是，该人体训练样本均为已标注各个骨骼节点的人体，以便根据标注信息对骨骼节点识别模型进行训练。
所述调整单元，用于根据所述人体训练样本对骨骼节点识别模型进行参数的调整，以得到目标骨骼节点识别模型。
所述识别单元，用于识别所述第一视频信息中的人体，并将所述人体输入至所述目标骨骼节点识别模型中，以识别出所述人体的多个骨骼节点和每个骨骼节点的坐标信息。
示例性地，识别出教学视频中的舞者之后，所述识别单元将根据骨骼节点识别模型的识别结果，识别出该舞者的左右手，左右脚，左手腕、左手肘，左肩，头部，腰部，左腿右腿，左膝右膝等各个骨骼节点，以及各个骨骼节点的坐标信息。通过本实施例便于人体肢节的清晰识别。
所述第一识别模块202还可以包括构建单元、计算单元和确定单元。
所述构建单元，用于根据所述每个骨骼节点的坐标信息，将所述多个骨骼节点中每两个骨骼节点构建一个向量。
示例性地，当所述识别单元识别出左手肘、左手腕和左肩的坐标信息，所述构建单元根据左手肘的坐标信息和左手腕的坐标信息构建一个左手腕肘向量，根据左手腕的坐标信息和左肩的坐标信息构建另一个左手肘肩向量。
所述计算单元，用于计算每两个向量之间的夹角并保存于所述数据库中。
所述确定单元，用于根据所述夹角确定所述人体的动作，以完成所述动作的识别。
示例性地，所述计算单元计算左手腕肘向量和左手肘肩向量之间的夹角，并将该夹角保存于数据库中，所述确定单元根据该夹角可确定左手的动作姿势。例如：左手腕肘向量和左手肘肩向量之间的夹角为180°，则左手为伸直动作，未弯曲。当然，根据同样的方式构建其他骨骼节点向量，并计算向量之间的夹角，可确定其他肢节的动作，在此不作赘述。通过本实施例，能够更为精准的识别舞者的动作。
所述生成模块203，用于根据所述多个骨骼节点生成虚拟对象。
示例性地，两个骨骼节点的坐标相差较远，距离远，则获取长度长的肢节，所述生成模块203根据该些肢节生成虚拟对象。例如：左脚与左膝的坐标距离远，则获取长的线条；脖子与头顶的坐标距离近，则获取短的线条，然后将获取的线条根据对应的坐标放置以生成虚拟对象，在本实施例中，线条生成的图案称为火柴人。当然，也可以采用其他的图案来代表各个肢节，在此不作限定。
所述生成模块203还用于从预设的素材库中获取与每个骨骼节点对应的素材，并根据所述每个骨骼节点确定所述虚拟对象的肢节信息，将所述素材按照所述肢节信息进行组装，以得到所述虚拟对象。
具体地，所述生成模块203根据每个骨骼节点的坐标信息获取每个肢节的信息，并根据每个肢节的信息从预设的素材库中获取对应的素材，例如：根据左手肘和左手腕的两个坐标之间的距离为D，左手肘和左手腕之间的肢节为小臂，则从预设的素材库中获取长度为D的素材。长度为D的素材可以为，例如：长度为D的线条或矩形或长轴为D的椭圆，在此不作限定。然后，将获取的素材根据对应的肢节位置进行组装，组装后即为虚拟对象，也即火柴人。通过本实施例，能够更为清晰的识别人体的肢节位置。
所述生成模块203，还用于将所述虚拟对象按照所述动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习。
具体地，通过计算所述视频信息中每一帧视频人体各个骨骼节点向量之间的向量夹角，然后所述火柴人根据该些向量夹角和该些向量夹角对应的骨骼节点执行相应的动作。例如：左手手腕和左手手肘之间的肢节为左手小臂，左手手肘和左肩之间的肢节为左手大臂，若左手大臂和小臂之间的夹角为180°，则火柴人左手为伸直动作。所述火柴人其他肢节依次执行对应的动作，以完成与每帧视频信息中的人体动作。通过将多帧火柴人动作连续播放，可以实现火柴人的运动视频，以供第二用户根据该运动视频进行学习。
本发明实施例提供的动作识别系统，通过对视频信息中的人体骨骼节点和动作进行识别，并根据骨骼节点生成虚拟对象，然后将虚拟对象按照识别出的动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习。通过本发明实施例，能够从视频中提取对应的动作，以根据该提取出的动作制作教学视频。
所述动作识别系统还包括处理单元，用于当获取到调整所述虚拟对象的操作信息时，根据所述操作信息调整所述虚拟对象，得到调整后的目标虚拟对象；并将所述目标虚拟对象存储于所述素材库中。
具体地，当生成所述虚拟对象后，若接收到调整所述虚拟对象的形态或动作的操作信息时，则所述处理单元根据所述操作信息对所述虚拟对象进行调整，并将调整后的所述虚拟对象的形态和动作保存。例如：火柴人的左手大臂被拉长，则将拉长后的左手大臂和调整后的虚拟对象保存于所述素材库中；火柴人的左手大臂和小臂之间的夹角被调大，则将调整后的虚拟对象保存于所述素材库中。通过本实施例，极大的丰富了素材库，生成更为精准的虚拟对象。
所述处理单元，还用于将所述运动视频与所述第一视频信息进行合成并显示。通过将生成的虚拟对象的运动视频和原始视频进行合成，能够为用户提供更为精准的教学视频，便于寻找所述视频信息中人体的肢节，以简化舞蹈的学习。
基于上述实施例提供的动作识别方法，本实施例还提供一种动作识别系统，所述动作识别系统可以应用于计算机设备中。具体地，图12示出了该动作识别系统的可选的结构框图，该动作识别系统被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明。本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合描述动作识别系统在存储介质中的执行过程，以下描述将具体介绍本实施例各程序模块的功能。
如图12所示，动作识别系统具体包括以下组成部分：
第二获取模块301，用于从数据库获取第一视频信息中的人体动作，并通过摄像头获取录制的第二视频信息。
具体地，当用户根据视频进行动作学习时，所述第二获取模块301从数据库中获取所述视频信息中的人体动作，并通过摄像头获取所述用户录制的动作学习的视频信息。
第二识别模块302，用于识别所述第二视频信息中的目标人体动作。
所述第二识别模块302，还用于从所述第二视频信息中识别出目标人体，并将所述目标人体输入至预先训练的目标骨骼节点识别模型中，以识别出所述用户的多个骨骼节点；将所述多个骨骼节点中每两个骨骼节点构建一个目标向量；计算每两个目标向量之间的目标向量夹角并保存于所述数据库中；根据所述目标向量夹角确定所述目标人体动作。
示例性地，识别出用户的学习视频中的人体之后，所述第二识别模块302将该人体输入至预先训练的骨骼节点识别模型中，得到人体各个骨骼节点的识别结果，识别出该用户的左右手，左右脚，左手腕、左手肘，左肩，头部，腰部，左腿右腿，左膝右膝等各个骨骼节点，以及各个骨骼节点的坐标信息。然后，根据该些坐标信息选取两个骨骼节点构建成一个向量。接着，根据构建出的向量计算出两个向量之间的夹角，并根据该夹角确定用户的动作。通过本实施例便于人体肢节的清晰识别，同时能够更为精准的识别用户的动作。
判断模块303，用于判断所述第一视频信息中的人体动作和所述第二视频信息中的目标人体动作是否一致。
所述判断模块303，还用于从所述数据库中获取所述第一视频信息中人体的骨骼节点信息、每两个骨骼节点的向量信息、每两个向量的向量夹角；将所述第一视频信息中的向量夹角和所述第二视频信息中与所述向量夹角对应骨骼节点间的向量目标夹角进行比较，若所述向量夹角和所述向量目标夹角之间的差值处于预设范围内，则判断所述用户的目标人体动作和所述第一视频信息中的人体动作一致，否则，所述用户的目标人体动作和所述第一视频信息中的人体动作不一致。
具体地，所述判断模块303通过将教学视频中人体的向量夹角和用户学习视频中与所述教学视频中人体对应肢节处目标人体的向量夹角进行对比，以判断该用户的学习动作是否标准。例如：将教学视频中的教练的左手小臂和左手大臂之间的夹角与用户学习视频中的用户的左手小臂和左手大臂之间的夹角进行对比，当两个夹角的差值处于预设范围内时，则判断所述用户的学习动作标准，所述用户的学习动作和教练动作一致，否则不一致。通过本实施例，能够更为客观判断用户的学习动作是否标准。
显示模块304，用于根据判断结果，显示对应的反馈信息。
示例性地，结合图1，当判断所述用户的学习动作和教练动作一致时，则所述显示模块304显示GOOG JOB的字幕和/或奖励特效，以奖励用户。当判断所述用户的学习动作和教练动作不一致时，则所述显示模块304显示“学习有待提高，请再接再厉”的字幕和/或鼓励特效，以鼓励用户。需要说明的是，反馈信息可根据用户的学习结果自由设置，在本实施例中不作限定。
本发明实施例提供的动作识别系统，通过从数据库获取第一视频信息中的人体动作，并通过摄像头获取录制的第二视频信息；然后，识别所述第二视频信息中的目标人体动作；接着，判断所述第一视频信息中的人体动作和所述第二视频信息中的目标人体动作是否一致；最后，根据判断结果，显示对应的反馈信息。通过本发明实施例，能够根据用户的学习情况，为用户提供精准的反馈信息，以提高用户的学习效率。
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图13所示，本实施例的计算机设备30至少包括但不限于：可通过系统总线相互通信连接的存储器301、处理器302。需要指出的是，图13仅示出了具有组件301-302的计算机设备30，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器301(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器301可以是计算机设备30的内部存储单元，例如该计算机设备30的硬盘或内存。在另一些实施例中，存储器301也可以是计算机设备30的外部存储设备，例如该计算机设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器301还可以既包括计算机设备30的内部存储单元也包括其外部存储设备。在本实施例中，存储器301通常用于存储安装于计算机设备30的操作系统和各类应用软件，例如上述实施例的动作识别系统的程序代码等。此外，存储器301还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器302在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器302通常用于控制计算机设备30的总体操作。
具体的，在本实施例中，处理器302用于执行处理器302中存储的动作识别方法的程序，所述动作识别方法的程序被执行时实现如下步骤：
获取第一用户上传的第一视频信息；
对所述第一视频信息进行人体骨骼节点识别和动作识别，以识别出多个骨骼节点和动作；
根据所述多个骨骼节点生成虚拟对象；
将所述虚拟对象按照所述动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习。
上述方法步骤的具体实施例过程可参见上述实施例，本实施例在此不再重复赘述。
本实施例还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图13所示，本实施例的计算机设备30至少包括但不限于：可通过系统总线相互通信连接的存储器301、处理器302。需要指出的是，图13仅示出了具有组件301-302的计算机设备30，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器301(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器301可以是计算机设备30的内部存储单元，例如该计算机设备30的硬盘或内存。在另一些实施例中，存储器301也可以是计算机设备30的外部存储设备，例如该计算机设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器301还可以既包括计算机设备30的内部存储单元也包括其外部存储设备。在本实施例中，存储器301通常用于存储安装于计算机设备30的操作系统和各类应用软件，例如上述实施例的动作识别系统的程序代码等。此外，存储器301还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器302在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器302通常用于控制计算机设备30的总体操作。
具体的，在本实施例中，处理器302用于执行处理器302中存储的动作识别方法的程序，所述动作识别方法的程序被执行时实现如下步骤：
从数据库获取第一视频信息中的人体动作，并通过摄像头获取录制的第二视频信息；
识别所述第二视频信息中的目标人体动作；
判断所述第一视频信息中的人体动作和所述第二视频信息中的目标人体动作是否一致；
根据判断结果，显示对应的反馈信息。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
获取第一用户上传的第一视频信息；
对所述第一视频信息进行人体骨骼节点识别和动作识别，以识别出多个骨骼节点和动作；
根据所述多个骨骼节点生成虚拟对象；
将所述虚拟对象按照所述动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
从数据库获取第一视频信息中的人体动作，并通过摄像头获取录制的第二视频信息；
识别所述第二视频信息中的目标人体动作；
判断所述第一视频信息中的人体动作和所述第二视频信息中的目标人体动作是否一致；
根据判断结果，显示对应的反馈信息。
上述方法步骤的具体实施例过程可参见上述实施例，本实施例在此不再重复赘述。
本实施例提供的计算机设备及可读存储介质，通过获取第一用户上传的第一视频信息；然后，对所述第一视频信息进行人体骨骼节点识别和动作识别，以识别出多个骨骼节点和动作；接着，根据所述多个骨骼节点生成虚拟对象；最后，将所述虚拟对象按照所述动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习，从而能够从视频中提取对应的动作，以根据该提取出的动作制作教学视频。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (11)
1.一种动作识别方法，其特征在于，所述方法包括：
获取第一用户上传的第一视频信息；
对所述第一视频信息进行人体骨骼节点识别和动作识别，以识别出多个骨骼节点和动作；
根据所述多个骨骼节点生成虚拟对象；
将所述虚拟对象按照所述动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习。
2.如权利要求1所述的动作识别方法，其特征在于，所述对所述视频信息进行人体骨骼节点识别，包括：
从数据库中获取人体训练样本；
根据所述人体训练样本对骨骼节点识别模型进行参数的调整，以得到目标骨骼节点识别模型；
识别所述第一视频信息中的人体，并将所述人体输入至所述目标骨骼节点识别模型中，以识别出所述人体的多个骨骼节点和每个骨骼节点的坐标信息。
3.如权利要求2所述的动作识别方法，其特征在于，所述对所述视频信息进行动作识别，包括：
根据所述每个骨骼节点的坐标信息，将所述多个骨骼节点中每两个骨骼节点构建一个向量；
计算每两个向量之间的夹角并保存于所述数据库中；
根据所述夹角确定所述人体的动作，以完成所述动作的识别。
4.如权利要求1所述的动作识别方法，其特征在于，所述根据所述多个骨骼节点生成虚拟对象，包括：
从预设的素材库中获取与每个骨骼节点对应的素材；
根据所述每个骨骼节点确定所述虚拟对象的肢节信息，将所述素材按照所述肢节信息进行组装，以得到所述虚拟对象。
5.如权利要求1所述的动作识别方法，其特征在于，所述方法还包括：
当获取到调整所述虚拟对象的操作信息时，根据所述操作信息调整所述虚拟对象，得到调整后的目标虚拟对象；
将所述目标虚拟对象存储于所述素材库中。
6.如权利要求1所述的动作识别方法，其特征在于，所述方法还包括：
将所述运动视频与所述第一视频信息进行合成并显示。
7.一种动作识别方法，其特征在于，所述方法包括：
从数据库获取第一视频信息中的人体动作，并通过摄像头获取录制的第二视频信息；
识别所述第二视频信息中的目标人体动作；
判断所述第一视频信息中的人体动作和所述第二视频信息中的目标人体动作是否一致；
根据判断结果，显示对应的反馈信息。
8.如权利要求7所述的动作识别方法，其特征在于，所述识别所述第二视频信息中的目标人体动作，包括：
从所述第二视频信息中识别出目标人体，并将所述目标人体输入至预先训练的目标骨骼节点识别模型中，以识别出所述用户的多个骨骼节点；
将所述多个骨骼节点中每两个骨骼节点构建一个目标向量；
计算每两个目标向量之间的目标向量夹角并保存于所述数据库中；
根据所述目标向量夹角确定所述目标人体动作。
9.如权利要求8所述的动作识别方法，其特征在于，所述判断所述第一视频信息中的人体动作和所述第二视频信息中的目标人体动作是否一致，包括：
从所述数据库中获取所述第一视频信息中人体的骨骼节点信息、每两个骨骼节点的向量信息、每两个向量的向量夹角；
将所述第一视频信息中的向量夹角和所述第二视频信息中与所述向量夹角对应骨骼节点间的向量目标夹角进行比较；
当所述向量夹角和所述向量目标夹角之间的差值处于预设范围内时，则判断所述用户的目标人体动作和所述第一视频信息中的人体动作一致；
当所述向量夹角和所述向量目标夹角之间的差值不处于所述预设范围内时，则判断所述用户的目标人体动作和所述第一视频信息中的人体动作不一致。
10.一种动作识别系统，其特征在于，所述系统包括：
第一获取模块，用于获取第一用户上传的第一视频信息；
第一识别模块，用于对所述第一视频信息进行人体骨骼节点识别和动作识别，以识别出多个骨骼节点和动作；
生成模块，用于根据所述多个骨骼节点生成虚拟对象，并将所述虚拟对象按照所述动作进行运动，以生成所述虚拟对象的运动视频，以供第二用户根据所述运动视频进行学习。
11.一种动作识别系统，其特征在于，所述系统包括：
第二获取模块，用于从数据库获取第一视频信息中的人体动作，并通过摄像头获取录制的第二视频信息；
第二识别模块，用于识别所述第二视频信息中的目标人体动作；
判断模块，用于判断所述第一视频信息中的人体动作和所述第二视频信息中的目标人体动作是否一致；
显示模块，用于根据判断结果，显示对应的反馈信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911251151.3A CN113033242A (zh) | 2019-12-09 | 2019-12-09 | 动作识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911251151.3A CN113033242A (zh) | 2019-12-09 | 2019-12-09 | 动作识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113033242A true CN113033242A (zh) | 2021-06-25 |
Family
ID=76452003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911251151.3A Pending CN113033242A (zh) | 2019-12-09 | 2019-12-09 | 动作识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033242A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114401368A (zh) * | 2022-01-24 | 2022-04-26 | 北京卡路里信息技术有限公司 | 合拍视频的处理方法及装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101511550A (zh) * | 2006-08-02 | 2009-08-19 | 皮尔茨公司 | 用于观测工业环境中的人员的方法 |
| CN103729647A (zh) * | 2013-12-31 | 2014-04-16 | 公安部第三研究所 | 基于深度图像实现人体骨骼提取的方法 |
| US20140119640A1 (en) * | 2012-10-31 | 2014-05-01 | Microsoft Corporation | Scenario-specific body-part tracking |
| CN104722056A (zh) * | 2015-02-05 | 2015-06-24 | 北京市计算中心 | 一种运用虚拟现实技术的康复训练系统及方法 |
| CN106097787A (zh) * | 2016-08-18 | 2016-11-09 | 四川以太原力科技有限公司 | 基于虚拟现实的肢体教学方法与教学系统 |
| CN107349594A (zh) * | 2017-08-31 | 2017-11-17 | 华中师范大学 | 一种虚拟舞蹈系统的动作评价方法 |
| GB201806949D0 (en) * | 2018-04-27 | 2018-06-13 | Canon Kk | 3D Skeleton reconstruction from images using matching 2D skeletons |
| CN108961386A (zh) * | 2017-05-26 | 2018-12-07 | 腾讯科技（深圳）有限公司 | 虚拟形象的显示方法及装置 |
| CN109191588A (zh) * | 2018-08-27 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 运动教学方法、装置、存储介质及电子设备 |
| CN109432753A (zh) * | 2018-09-26 | 2019-03-08 | Oppo广东移动通信有限公司 | 动作矫正方法、装置、存储介质及电子设备 |
| CN109550250A (zh) * | 2018-11-16 | 2019-04-02 | 网易（杭州）网络有限公司 | 虚拟对象骨骼数据处理方法及装置、存储介质、电子设备 |
| CN110390705A (zh) * | 2018-04-16 | 2019-10-29 | 北京搜狗科技发展有限公司 | 一种生成虚拟形象的方法及装置 |
-
2019
- 2019-12-09 CN CN201911251151.3A patent/CN113033242A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101511550A (zh) * | 2006-08-02 | 2009-08-19 | 皮尔茨公司 | 用于观测工业环境中的人员的方法 |
| US20140119640A1 (en) * | 2012-10-31 | 2014-05-01 | Microsoft Corporation | Scenario-specific body-part tracking |
| CN103729647A (zh) * | 2013-12-31 | 2014-04-16 | 公安部第三研究所 | 基于深度图像实现人体骨骼提取的方法 |
| CN104722056A (zh) * | 2015-02-05 | 2015-06-24 | 北京市计算中心 | 一种运用虚拟现实技术的康复训练系统及方法 |
| CN106097787A (zh) * | 2016-08-18 | 2016-11-09 | 四川以太原力科技有限公司 | 基于虚拟现实的肢体教学方法与教学系统 |
| CN108961386A (zh) * | 2017-05-26 | 2018-12-07 | 腾讯科技（深圳）有限公司 | 虚拟形象的显示方法及装置 |
| CN107349594A (zh) * | 2017-08-31 | 2017-11-17 | 华中师范大学 | 一种虚拟舞蹈系统的动作评价方法 |
| CN110390705A (zh) * | 2018-04-16 | 2019-10-29 | 北京搜狗科技发展有限公司 | 一种生成虚拟形象的方法及装置 |
| GB201806949D0 (en) * | 2018-04-27 | 2018-06-13 | Canon Kk | 3D Skeleton reconstruction from images using matching 2D skeletons |
| CN109191588A (zh) * | 2018-08-27 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 运动教学方法、装置、存储介质及电子设备 |
| CN109432753A (zh) * | 2018-09-26 | 2019-03-08 | Oppo广东移动通信有限公司 | 动作矫正方法、装置、存储介质及电子设备 |
| CN109550250A (zh) * | 2018-11-16 | 2019-04-02 | 网易（杭州）网络有限公司 | 虚拟对象骨骼数据处理方法及装置、存储介质、电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114401368A (zh) * | 2022-01-24 | 2022-04-26 | 北京卡路里信息技术有限公司 | 合拍视频的处理方法及装置 |
| CN114401368B (zh) * | 2022-01-24 | 2024-05-03 | 杭州卡路里体育有限公司 | 合拍视频的处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10786895B2 (en) | Operation method for activation of home robot device and home robot device supporting the same | |
| CN109815776B (zh) | 动作提示方法和装置、存储介质及电子装置 | |
| Piao et al. | Real-time visual–inertial SLAM based on adaptive keyframe selection for mobile AR applications | |
| US11823345B2 (en) | Example-based real-time clothing synthesis method | |
| CN108153421B (zh) | 体感交互方法、装置及计算机可读存储介质 | |
| Shao et al. | Teaching american sign language in mixed reality | |
| CN111597975B (zh) | 人员动作检测方法、装置及电子设备 | |
| CN113409651B (zh) | 直播健身方法、系统、电子设备、存储介质 | |
| CN111046852A (zh) | 个人学习路径生成方法、设备及可读存储介质 | |
| CN114782661B (zh) | 下半身姿态预测模型的训练方法及装置 | |
| US11282214B2 (en) | Motion matching analysis | |
| CN111160308B (zh) | 手势动作识别方法、装置、设备及可读存储介质 | |
| CN113743362A (zh) | 基于深度学习的实时矫正训练动作的方法及其相关设备 | |
| CN113033242A (zh) | 动作识别方法及系统 | |
| CN113033526A (zh) | 基于计算机实现的方法、电子设备和计算机程序产品 | |
| CN112633261A (zh) | 图像检测方法、装置、设备及存储介质 | |
| CN108027647B (zh) | 用于与虚拟对象交互的方法和设备 | |
| KR101962045B1 (ko) | 안무 평가 장치 및 방법 | |
| Joseph et al. | BeFit—a real-time workout analyzer | |
| Narang et al. | Generating virtual avatars with personalized walking gaits using commodity hardware | |
| Peng et al. | Research on Action Recognition Method of Dance Video Image Based on Human‐Computer Interaction | |
| CN110148202B (zh) | 用于生成图像的方法、装置、设备和存储介质 | |
| CN113392744A (zh) | 舞蹈动作美感确认方法、装置、电子设备及存储介质 | |
| CN112633224A (zh) | 一种社交关系识别方法、装置、电子设备及存储介质 | |
| Aslanyan | On mobile pose estimation design and implementation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |