CN111680562A - 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端 - Google Patents
一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN111680562A CN111680562A CN202010387589.0A CN202010387589A CN111680562A CN 111680562 A CN111680562 A CN 111680562A CN 202010387589 A CN202010387589 A CN 202010387589A CN 111680562 A CN111680562 A CN 111680562A
- Authority
- CN
- China
- Prior art keywords
- posture
- video image
- skeleton
- key point
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 69
- 230000036544 posture Effects 0.000 claims description 157
- 238000012549 training Methods 0.000 claims description 37
- 230000006399 behavior Effects 0.000 claims description 25
- 210000000689 upper leg Anatomy 0.000 claims description 23
- 244000309466 calf Species 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 210000000245 forearm Anatomy 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 abstract description 35
- 210000003128 head Anatomy 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 210000003127 knee Anatomy 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端，所述方法包括：获取视频图像序列中视频图像帧；将所述视频图像帧输入预设骨骼检测模型中检测；当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。因此，采用本申请实施例，可以提高目标人体姿态识别的准确度。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端。
背景技术
随着人工智能技术的发展和政府大力推动等因素，人工智能技术逐渐应用到了当前教育教学的各个环节，如何把先进的人工智能技术或者一些先进的成果应用到我们的教学教育中去，获得对教学、教育、学习和管理有用的数据信息成了我们关注的课题。
目前对教学数据的分析中，通过现场设置的摄像头录制教师的讲课行为和师生互动情况，录制结束后保存为视频提供给领导、教师进行教学类型分析，课堂类型分析以及家长要了解孩子课堂行为情况等。由于对现场录制的视频分析时，通过肉眼难以对学生以及教师的人体姿态进行不间断分析，从而降低了分析的准确度。
发明内容
本申请实施例提供了一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种基于骨骼关键点的人体姿态识别方法，所述方法包括：
获取视频图像序列中视频图像帧；
将所述视频图像帧输入预设骨骼检测模型中检测；
当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；
将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。
可选的，所述将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果，包括：
将所述目标人物的骨骼关键点组合成目标姿态；
通过预先训练的姿态判断模型获取所述目标姿态对应的姿态判断参数；
基于所述姿态判断参数生成姿态识别结果。
可选的，所述获取视频图像序列中视频图像帧之前，还包括：
获取训练数据的视频图像帧；
提取所述训练数据的视频图像帧中各目标人物的骨骼关键点集合；
采集所述各目标人物的骨骼关键点集合中各关键点对应的数据信息；
针对不同姿态将所述数据信息分类生成不同姿态的数据信息；
创建所述不同姿态的数据信息对应的姿态判断模型；
基于所述训练数据的视频图像帧和姿态判断模型生成不同姿态的数据信息对应的姿态判断模型的姿态判断参数。
可选的，所述基于所述训练数据的视频图像帧和姿态判断模型生成不同类别的数据信息对应的姿态判断模型的姿态判断参数，包括：
基于所述姿态判断模型分析所述训练数据的视频图像帧中各目标人物姿态，生成各目标人物姿态对应的正负样本数据；
采用支持向量机的方法对所述目标人物姿态对应的正负样本数据训练，生成不同类别的数据信息对应的姿态判断模型的姿态判断参数。
可选的，所述获取视频图像帧之前，还包括：
将预设骨骼检测模型和所述骨骼检测模型对应的参数及流程初始化。
可选的，所述提取所述训练数据的视频图像帧中各目标人物姿态的骨骼关键点集合，包括：
将所述训练数据的视频图像帧输入预设骨骼检测模型中检测，提取检测区域中各目标人物的骨骼关键点集合。
可选的，所述各关键点对应的数据信息至少包括上半身的倾斜度、上半身长与大腿长比例、上半身与大腿的夹角、大腿的倾斜度、大腿和小腿的夹角、小腿的倾斜度、大腿和小腿的长度比例、胳膊长度和上半身长度、脖子和肩膀的长度关系、脖子和肩膀的夹角、上臂的倾斜度、前臂的倾斜度、前臂和上臂的夹角、人头和肩膀的位置关系、左右臂的位置关系。
第二方面，本申请实施例提供了一种基于骨骼关键点的人体姿态识别装置，所述装置包括：
图像帧获取模块，用于获取视频图像序列中视频图像帧；
检测模块，用于将所述视频图像帧输入预设骨骼检测模型中检测；
关键点提取模块，用于当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；
结果识别模块，用于将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，用户终端首先获取视频图像序列中视频图像帧；将所述视频图像帧输入预设骨骼检测模型中检测；当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。由于本申请实施例在骨骼关键点提取的基础上，对人体姿态行为相关的骨骼关键点对应的数据信息进行分析建模，实现目标对象的行为识别，提升识别准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种基于骨骼关键点的人体姿态识别方法的流程示意图；
图2是本申请实施例提供的一种人体18关节点图；
图3是本申请实施例提供的一种基于骨骼关键点的人体姿态识别过程示意图；
图4是本申请实施例提供的另一种基于骨骼关键点的人体姿态识别方法的流程示意图；
图5是本申请实施例提供的一种基于骨骼关键点的姿态模型训练的流程示意图；
图6是本申请实施例提供的一种基于骨骼关键点的人体姿态识别装置的装置示意图；
图7是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
到目前为止，目前对教学数据的分析中，通过现场设置的摄像头录制教师的讲课行为和师生互动情况，录制结束后保存为视频提供给领导、教师以及家长进行教学类型分析，课堂类型分析以及家长要了解孩子课堂行为情况等。由于对现场录制的视频分析时，通过肉眼难以对学生以及教师的人体姿态进行不间断分析，从而降低了分析的准确度。为此，本申请提供了一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请实施例在骨骼关键点提取的基础上，对人体姿态行为相关的骨骼关键点对应的数据信息进行分析建模，实现目标对象的行为识别，提升识别准确度，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图5，对本申请实施例提供的基于骨骼关键点的人体姿态识别方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的基于骨骼关键点的人体姿态识别装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的基于骨骼关键点的人体姿态识别装置可以为用户终端，包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，PDA)、5G网络或未来演进网络中的终端设备等。
请参见图1，为本申请实施例提供了一种基于骨骼关键点的人体姿态识别方法的流程示意图。如图1所示，本申请实施例的所述方法可以包括以下步骤：
S101，获取视频图像序列中视频图像帧；
其中，视频图像序列是在不同时间依序连续获取的系列图像，视频图像帧是获取的系列图像中某一个图像。
在一种可能的实现方式中，用户终端通过摄像头针对目标实时获取不同时间的视频图像构成视频图像序列进行保存，当进行人体姿态识别时，用户终端从保存的视频图像序列中获取视频图像帧。
S102，将所述视频图像帧输入预设骨骼检测模型中检测；
其中，预设骨骼检测模型是一种针对人体骨骼检测的数学模型，能够自动识别出人体骨骼。
在一种可能的实现方式中，当用户终端获取到识别的视频图像帧时，利用骨骼检测模型对获取的视频图像帧进行检测，把检测区域每个人物目标的骨骼关键点提取出来。
S103，当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；
通常，当检测到人体骨骼后提取出检测区域每个人物目标的骨骼关键点如图2所示，人体骨骼关键点有18个(1是人头；2是脖子；3是右肩；4是右臂；5是右手；6是左肩；7是左臂；8是左手；9是右侧腰；10是右膝；11是右脚；12是左腰；13是左膝；14是左脚；15是左眼；16是右眼；17是左耳；18是右耳)。
S104，将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。
在一种可能的实现方式中，当用户终端提取到骨骼关键点时，将提取到的骨骼关键点集合输入到预先训练好的姿态判断模型中进行识别，识别结束后生成姿态识别结果。
进一步地，当利用预先训练的姿态判断模型对课堂情况进行识别时，识别后可判断出学生的行为和老师的行为。学生行为包括站立、举手、抬头、回头、扭头、正脸、侧脸、伏案、书写等。老师行为包括写板书、讲授课堂内容、教师走动、伏案等动作。
例如图3所示，图3是本申请实施例提供的一种人体姿态识别详细流程图，在开始进行人体姿态识别时，首先实时获取不同时刻的视频图像构成视频图像序列，再进行预处理，预处理是负责骨骼检测模型和相关数据、流程的初始化操作，在初始化结束后，用户终端获取视频图像序列中的视频图像帧，利用人体骨骼检测模型对视频图像帧进行人体骨骼检测，当检测到人体骨骼时，提取所有人体骨骼关键点组合，将提取的骨骼关键点组合输入各个姿态判断模型中进行判断，当满足判断条件时，输出各种姿态的判断结果。当检测不到人体骨骼时，查看是否是最后一张，当是最后一张视频图像时，结束姿态识别，当不是最后一张视频图像时，继续提取下一帧图像进行姿态识别。
在本申请实施例中，用户终端首先获取视频图像序列中视频图像帧；将所述视频图像帧输入预设骨骼检测模型中检测；当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。由于本申请实施例在骨骼关键点提取的基础上，对人体姿态行为相关的骨骼关键点对应的数据信息进行分析建模，实现目标对象的行为识别，提升识别准确度。
请参见图4，为本申请实施例提供的一种基于骨骼关键点的人体姿态识别方法的流程示意图。本实施例以基于骨骼关键点的人体姿态识别方法应用于用户终端中来举例说明。该基于骨骼关键点的人体姿态识别方法可以包括以下步骤：
S201，获取训练数据的视频图像帧；
其中，训练数据是用来训练姿态判断模型的视频图像数据。
在本申请实施例中，当进行姿态识别时，首先需要获取训练数据进行姿态判断模型的训练。
在一种可能的实现方式中，在进行姿态判断模型训练时，首先需要获取训练数据中的视频图像帧。
S202，提取所述训练数据的视频图像帧中各目标人物的骨骼关键点集合；
在一种可能的实现方式中，在获取到训练数据中的视频图像帧时，首先需要对预设的骨骼检测模型以及训练数据和流程进行初始化，初始化后利用骨骼关键点检测模型进行骨骼关键点检测，把检测区域内每个人物目标的骨骼关键点提取出来，生成各目标人物的骨骼关键点集合。
S203，采集所述各目标人物的骨骼关键点集合中各关键点对应的数据信息；
在本申请实施例中，当各目标人物的骨骼关键点集合提取结束后，采集人体骨骼关键点对应的数据信息，例如通过人体关键点获取关键部位的长度、角度、每个姿态相关部件长度之间的关系等信息。
进一步地，采集人体骨骼关键点对应的数据信息包括上半身的倾斜度；上半身长与大腿长比例；上半身与大腿的夹角；大腿的倾斜度；大腿和小腿的夹角；小腿的倾斜度；大腿和小腿的长度比例；胳膊长度和上半身长度；脖子和肩膀的长度关系；脖子和肩膀的夹角；上臂的倾斜度；前臂的倾斜度；前臂和上臂的夹角；人头和肩膀的位置关系；左右臂的位置关系。
在一种可能的实现方式中，当采集的各目标人物的骨骼关键点集合中每个目标人物的人体骨骼关键点有18个，例如图2中(1是人头；2是脖子；3是右肩；4是右臂；5是右手；6是左肩；7是左臂；8是左手；9是右侧腰；10是右膝；11是右脚；12是左腰；13是左膝；14是左脚；15是左眼；16是右眼；17是左耳；18是右耳)。根据18个人体骨骼关键点采集人体骨骼数据(通过人体18个关键点获取关键部位的位置、长度、角度、每个姿态相关部件长度之间的关系等信息)样本数据，例如对应的L1_2代表脖子长；L3_4代表右上臂长；L4_5代表右前臂长；L6_7代表左上臂长；L7_8代表作前臂长；L3_9、L6_12代表上身长；L9_10代表右大腿长；L10_11代表右小腿长；L12_13代表左大腿长；L13_14代表左小腿长；对应的Y1_2代表脖子的高(考虑负值)；Y3_4代表右上臂的高；Y4_5代表右前臂的高；Y6_7代表左上臂的高；Y7_8代表作前臂的高；Y3_9、Y6_12代表上身的高；Y9_10代表右大腿的高；Y10_11代表右小腿的高；Y12_13代表左大腿的高；Y13_14代表左小腿的高。
S204，针对不同姿态将所述数据信息分类生成不同姿态的数据信息；
在本申请实施例中，当采集到各关键点对应的数据信息后，针对不同行为姿态将采集的数据信息进行分类以及获取每种姿态包含相关数据。例如不同姿态包括站立行为、抬头行为、低头行为、回头行为、伏案行为、书写行为、正脸、侧脸(扭头)、板书、讲解。
在一种可能的实现方式中，首先当采集到各关键点对应的数据信息后，将各关键点对应的数据信息根据不同姿态进行分类生成不同姿态的数据信息。例如站立行为对应的对应的数据信息包括上半身的倾斜度、上半身长与大腿长比例、上半身与大腿的夹角、大腿的倾斜度、大腿和小腿的夹角、小腿的倾斜度、大腿和小腿的长度比例、胳膊长度和上半身长度。例如抬头、低头以及回头行为对应的数据关系对应的数据信息包括脖子和肩膀的长度关系、脖子和肩膀的夹角、人头和肩膀的位置关系、左右臂的位置关系。例如伏案和书写行为对应数据关系对应的数据信息包括头和肩膀的位置关系、上臂的倾斜度、前臂的倾斜度、前臂和上臂的夹角。例如正脸和侧脸(扭头)对应的数据信息包括人头和肩膀的位置关系以及左右眼睛和左右耳朵与人头的位置关系。例如板书和讲解对应的数据信息包括左右肩膀的位置关系和左右胳膊的曲折度关系。
S205，创建所述不同姿态的数据信息对应的姿态判断模型；
在一种可能的实现方式中，针对不同姿态创建姿态判断模型。
S206，基于所述训练数据的视频图像帧和姿态判断模型生成不同姿态的数据信息对应的姿态判断模型的姿态判断参数；
在本申请实施例中，首先基于所述姿态判断模型分析训练数据的视频图像帧中各目标人物姿态，生成各目标人物姿态对应的正负样本数据，然后采用支持向量机的方法对目标人物姿态对应的正负样本数据训练，训练结束后生成不同类别的数据信息对应的姿态判断模型的姿态判断参数。
在一种可能的实现方式中，针对每个分类生成的不同姿态的数据信息，通过相应模型对分析视频图像序列中每个目标行为进行判断，按照模型返回值把结果分为是、不是和无法判断三种情况，然后手动精确区分结果样本并保存相关数据信息。保存的每种姿态相关的正负样本数据，然后采用支持向量机的方法进行训练，得出各种姿态检测的模型参数。
具体的，首先用人体骨骼特征大体对每种姿态进行简单建模，然后对视频图像数据进行大体分类，人工手动精确区分采集各种姿态的正负样本，对每种姿态数据的正负样本相关数据采用基于向量机的方法进行训练，最后得出各种姿态检测的模型参数对目标人物进行各种姿态的判断。
例如图5所示，图5是基于骨骼关键点的姿态模型训练流程示意图，训练流程包括预处理模块、骨骼关键点检测模块、骨骼关键点数据采集模块以及人体姿态建模模块，其中人体姿态建模模块包括姿态相关数据分类模块和姿态识别建模模块。
S207，获取视频图像序列中视频图像帧；
具体可参见步骤S101，此处不再赘述。
S208，将所述视频图像帧输入预设骨骼检测模型中检测；
具体可参见步骤S102，此处不再赘述。
S209，当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；
具体可参见步骤S103，此处不再赘述。
S210，将所述目标人物的骨骼关键点组合成目标姿态；
在本申请实施例中，当获取到目标人物的骨骼关键点组合时，根据骨骼关键点组合生成人体的姿态。
S211，通过预先训练的姿态判断模型获取所述目标姿态对应的姿态判断参数；
在本申请实施例中，根据生成的人体姿态获取和姿态对应的提前训练好的姿态判断模型，根据获取的姿态判断模型获取模型中的姿态判断参数。
S212，基于所述姿态判断参数生成姿态识别结果。
在本申请实施例中，当针对目标姿态获取到模型的姿态判断参数时，基于姿态判断参数进行识别，识别结束后生成识别结果。
在本申请实施例中，用户终端首先获取视频图像序列中视频图像帧；将所述视频图像帧输入预设骨骼检测模型中检测；当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。由于本申请实施例在骨骼关键点提取的基础上，对人体姿态行为相关的骨骼关键点对应的数据信息进行分析建模，实现目标对象的行为识别，提升识别准确度。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图6，其示出了本发明一个示例性实施例提供的基于骨骼关键点的人体姿态识别装置的结构示意图。该基于骨骼关键点的人体姿态识别装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括图像帧获取模块10、检测模块20、关键点提取模块30、结果识别模块40。
图像帧获取模块10，用于获取视频图像序列中视频图像帧；
检测模块20，用于将所述视频图像帧输入预设骨骼检测模型中检测；
关键点提取模块30，用于当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；
结果识别模块40，用于将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。
需要说明的是，上述实施例提供的基于骨骼关键点的人体姿态识别装置在执行基于骨骼关键点的人体姿态识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于骨骼关键点的人体姿态识别装置与基于骨骼关键点的人体姿态识别方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，用户终端首先获取视频图像序列中视频图像帧；将所述视频图像帧输入预设骨骼检测模型中检测；当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。由于本申请实施例在骨骼关键点提取的基础上，对人体姿态行为相关的骨骼关键点对应的数据信息进行分析建模，实现目标对象的行为识别，提升识别准确度。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的基于骨骼关键点的人体姿态识别方法。
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例所述的基于骨骼关键点的人体姿态识别方法。
请参见图7，为本申请实施例提供了一种终端的结构示意图。如图7所示，所述终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图7所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于骨骼关键点的人体姿态识别应用程序。
在图7所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的基于骨骼关键点的人体姿态识别应用程序，并具体执行以下操作：
获取视频图像序列中视频图像帧；
将所述视频图像帧输入预设骨骼检测模型中检测；
当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；
将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。
在一个实施例中，所述处理器1001在执行所述将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果时，具体执行以下操作：
将所述目标人物的骨骼关键点组合成目标姿态；
通过预先训练的姿态判断模型获取所述目标姿态对应的姿态判断参数；
基于所述姿态判断参数生成姿态识别结果。
在一个实施例中，所述处理器1001在执行所述获取视频图像序列中视频图像帧之前时，还执行以下操作：
获取训练数据的视频图像帧；
提取所述训练数据的视频图像帧中各目标人物的骨骼关键点集合；
采集所述各目标人物的骨骼关键点集合中各关键点对应的数据信息；
针对不同姿态将所述数据信息分类生成不同姿态的数据信息；
创建所述不同姿态的数据信息对应的姿态判断模型；
基于所述训练数据的视频图像帧和姿态判断模型生成不同姿态的数据信息对应的姿态判断模型的姿态判断参数。
在本申请实施例中，用户终端首先获取视频图像序列中视频图像帧；将所述视频图像帧输入预设骨骼检测模型中检测；当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。由于本申请实施例在骨骼关键点提取的基础上，对人体姿态行为相关的骨骼关键点对应的数据信息进行分析建模，实现目标对象的行为识别，提升识别准确度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种基于骨骼关键点的人体姿态识别方法，其特征在于，所述方法包括：
获取视频图像序列中视频图像帧；
将所述视频图像帧输入预设骨骼检测模型中检测；
当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；
将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果，包括：
将所述目标人物的骨骼关键点组合成目标姿态；
通过预先训练的姿态判断模型获取所述目标姿态对应的姿态判断参数；
基于所述姿态判断参数生成姿态识别结果。
3.根据权利要求1所述的方法，其特征在于，所述获取视频图像序列中视频图像帧之前，还包括：
获取训练数据的视频图像帧；
提取所述训练数据的视频图像帧中各目标人物的骨骼关键点集合；
采集所述各目标人物的骨骼关键点集合中各关键点对应的数据信息；
针对不同姿态将所述数据信息分类生成不同姿态的数据信息；
创建所述不同姿态的数据信息对应的姿态判断模型；
基于所述训练数据的视频图像帧和姿态判断模型生成不同姿态的数据信息对应的姿态判断模型的姿态判断参数。
4.根据权利要求3所述的方法，其特征在于，所述基于所述训练数据的视频图像帧和姿态判断模型生成不同类别的数据信息对应的姿态判断模型的姿态判断参数，包括：
基于所述姿态判断模型分析所述训练数据的视频图像帧中各目标人物姿态，生成各目标人物姿态对应的正负样本数据；
采用支持向量机的方法对所述目标人物姿态对应的正负样本数据训练，生成不同类别的数据信息对应的姿态判断模型的姿态判断参数。
5.根据权利要求3所述的方法，其特征在于，所述获取视频图像帧之前，还包括：
将预设骨骼检测模型和所述骨骼检测模型对应的参数及流程初始化。
6.根据权利要求3所述的方法，其特征在于，所述提取所述训练数据的视频图像帧中各目标人物姿态的骨骼关键点集合，包括：
将所述训练数据的视频图像帧输入预设骨骼检测模型中检测，提取检测区域中各目标人物的骨骼关键点集合。
7.根据权利要求3所述的方法，其特征在于，所述各关键点对应的数据信息至少包括上半身的倾斜度、上半身长与大腿长比例、上半身与大腿的夹角、大腿的倾斜度、大腿和小腿的夹角、小腿的倾斜度、大腿和小腿的长度比例、胳膊长度和上半身长度、脖子和肩膀的长度关系、脖子和肩膀的夹角、上臂的倾斜度、前臂的倾斜度、前臂和上臂的夹角、人头和肩膀的位置关系、左右臂的位置关系。
8.一种基于骨骼关键点的人体行为识别装置，其特征在于，所述装置包括：
图像帧获取模块，用于获取视频图像序列中视频图像帧；
检测模块，用于将所述视频图像帧输入预设骨骼检测模型中检测；
关键点提取模块，用于当检测到人体骨骼时，提取检测区域中各目标人物的骨骼关键点集合；
结果识别模块，用于将所述骨骼关键点集合输入预先训练的姿态判断模型中生成姿态识别结果。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～7任意一项的方法步骤。
10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～7任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010387589.0A CN111680562A (zh) | 2020-05-09 | 2020-05-09 | 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010387589.0A CN111680562A (zh) | 2020-05-09 | 2020-05-09 | 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111680562A true CN111680562A (zh) | 2020-09-18 |
Family
ID=72452576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010387589.0A Pending CN111680562A (zh) | 2020-05-09 | 2020-05-09 | 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111680562A (zh) |
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931725A (zh) * | 2020-09-23 | 2020-11-13 | 北京无垠创新科技有限责任公司 | 人体动作识别方法、设备及存储介质 |
| CN112287759A (zh) * | 2020-09-26 | 2021-01-29 | 浙江汉德瑞智能科技有限公司 | 基于关键点的跌倒检测方法 |
| CN112370045A (zh) * | 2020-10-15 | 2021-02-19 | 北京大学 | 基于人工智能的功能性动作检测方法及系统 |
| CN112434639A (zh) * | 2020-12-03 | 2021-03-02 | 郑州捷安高科股份有限公司 | 动作匹配方法、装置、设备及存储介质 |
| CN112434666A (zh) * | 2020-12-11 | 2021-03-02 | 东莞先知大数据有限公司 | 重复动作识别方法、装置、介质及设备 |
| CN112464797A (zh) * | 2020-11-25 | 2021-03-09 | 创新奇智(成都)科技有限公司 | 一种吸烟行为检测方法、装置、存储介质及电子设备 |
| CN112464856A (zh) * | 2020-12-09 | 2021-03-09 | 成都华栖云科技有限公司 | 基于人体骨骼关键点的视频流动作检测方法 |
| CN112464847A (zh) * | 2020-12-07 | 2021-03-09 | 北京邮电大学 | 视频中人体动作切分方法及装置 |
| CN112489036A (zh) * | 2020-12-14 | 2021-03-12 | Oppo（重庆）智能科技有限公司 | 图像评价方法、图像评价装置、存储介质与电子设备 |
| CN112580462A (zh) * | 2020-12-11 | 2021-03-30 | 深圳市豪恩声学股份有限公司 | 一种特征点选择方法、终端和存储介质 |
| CN112580552A (zh) * | 2020-12-23 | 2021-03-30 | 中山大学 | 一种鼠类行为分析方法及装置 |
| CN112784676A (zh) * | 2020-12-04 | 2021-05-11 | 中国科学院深圳先进技术研究院 | 图像处理方法、机器人及计算机可读存储介质 |
| CN112818939A (zh) * | 2021-03-03 | 2021-05-18 | 上海高德威智能交通系统有限公司 | 一种行为检测方法、装置及电子设备 |
| CN112883933A (zh) * | 2021-03-30 | 2021-06-01 | 广东曜城科技园管理有限公司 | 一种异常人体行为的警报方法和装置 |
| CN112926541A (zh) * | 2021-04-09 | 2021-06-08 | 济南博观智能科技有限公司 | 一种睡岗检测方法、装置及相关设备 |
| CN113065474A (zh) * | 2021-04-07 | 2021-07-02 | 泰豪软件股份有限公司 | 行为识别方法、装置及计算机设备 |
| CN113077383A (zh) * | 2021-06-07 | 2021-07-06 | 深圳追一科技有限公司 | 一种模型训练方法及模型训练装置 |
| CN113111767A (zh) * | 2021-04-09 | 2021-07-13 | 上海泗科智能科技有限公司 | 一种基于深度学习3d姿态评估的跌倒检测方法 |
| CN113114994A (zh) * | 2021-04-08 | 2021-07-13 | 中山大学 | 行为感知方法、装置及设备 |
| CN113221704A (zh) * | 2021-04-30 | 2021-08-06 | 陕西科技大学 | 基于深度学习的动物姿态识别方法、系统及存储介质 |
| CN113221815A (zh) * | 2021-05-25 | 2021-08-06 | 北京无垠创新科技有限责任公司 | 一种基于骨骼关键点自动检测技术的步态鉴定方法 |
| CN113221802A (zh) * | 2021-05-24 | 2021-08-06 | 新疆爱华盈通信息技术有限公司 | 踢被子识别方法与装置、电子设备 |
| CN113341825A (zh) * | 2021-06-17 | 2021-09-03 | 浙江凌镜智能有限公司 | 设备运维智能监测方法及系统 |
| CN113392744A (zh) * | 2021-06-04 | 2021-09-14 | 北京格灵深瞳信息技术股份有限公司 | 舞蹈动作美感确认方法、装置、电子设备及存储介质 |
| CN113392741A (zh) * | 2021-06-04 | 2021-09-14 | 北京格灵深瞳信息技术股份有限公司 | 视频片段提取方法、装置、电子设备及存储介质 |
| CN113392742A (zh) * | 2021-06-04 | 2021-09-14 | 北京格灵深瞳信息技术股份有限公司 | 异常动作确定方法、装置、电子设备及存储介质 |
| CN113516064A (zh) * | 2021-07-02 | 2021-10-19 | 深圳市悦动天下科技有限公司 | 体育运动的动作判定方法、装置、设备及存储介质 |
| CN113542774A (zh) * | 2021-06-04 | 2021-10-22 | 北京格灵深瞳信息技术股份有限公司 | 视频同步方法、装置、电子设备及存储介质 |
| CN113762093A (zh) * | 2021-08-18 | 2021-12-07 | 北京格灵深瞳信息技术股份有限公司 | 跑道冲刺计时方法、装置、电子设备和存储介质 |
| CN113780253A (zh) * | 2021-11-12 | 2021-12-10 | 佛山科学技术学院 | 一种人体关节运动关键点识别方法及系统 |
| CN113792595A (zh) * | 2021-08-10 | 2021-12-14 | 北京爱笔科技有限公司 | 目标行为检测方法、装置、计算机设备和存储介质 |
| CN113842622A (zh) * | 2021-09-23 | 2021-12-28 | 京东方科技集团股份有限公司 | 一种运动教学方法、装置、系统、电子设备及存储介质 |
| CN114038009A (zh) * | 2021-10-26 | 2022-02-11 | 深圳市华安泰智能科技有限公司 | 一种基于人体骨骼关键点的图像数据采集分析系统 |
| CN114093024A (zh) * | 2021-09-24 | 2022-02-25 | 张哲为 | 人体动作的识别方法、装置、设备及存储介质 |
| CN114187628A (zh) * | 2021-11-24 | 2022-03-15 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护的身份认证方法、装置及设备 |
| CN114333134A (zh) * | 2022-03-10 | 2022-04-12 | 深圳灏鹏科技有限公司 | 舱房管理方法、装置、设备及存储介质 |
| CN114518801A (zh) * | 2022-02-18 | 2022-05-20 | 美的集团(上海)有限公司 | 设备控制方法、计算机程序产品、控制设备和存储介质 |
| CN114782661A (zh) * | 2022-06-22 | 2022-07-22 | 阿里巴巴达摩院(杭州)科技有限公司 | 下半身姿态预测模型的训练方法及装置 |
| CN114998816A (zh) * | 2022-08-08 | 2022-09-02 | 深圳市指南针医疗科技有限公司 | 基于骨骼ai视频的病例改进方法、装置及存储介质 |
| CN115068919A (zh) * | 2022-05-17 | 2022-09-20 | 泰山体育产业集团有限公司 | 一种单杠项目的考核方法及其实现装置 |
| CN115082957A (zh) * | 2022-05-27 | 2022-09-20 | 中国科学院半导体研究所 | 书写姿态识别方法、装置、电子设备及存储介质 |
| CN115731648A (zh) * | 2022-12-08 | 2023-03-03 | 厦门农芯数字科技有限公司 | 基于人体姿态动态识别的养殖场管理系统 |
| WO2023040578A1 (zh) * | 2021-09-17 | 2023-03-23 | 浙江灵创网络科技有限公司 | 一种基于童脸识别的儿童坐姿检测方法及系统 |
| CN115966016A (zh) * | 2022-12-19 | 2023-04-14 | 天翼爱音乐文化科技有限公司 | 一种跳跃状态识别方法、系统、电子设备及存储介质 |
| CN116129016A (zh) * | 2023-04-17 | 2023-05-16 | 广州趣丸网络科技有限公司 | 一种姿态运动的数字同步方法、装置、设备及存储介质 |
| CN116168332A (zh) * | 2023-04-19 | 2023-05-26 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 跛行检测方法、设备及存储介质 |
| CN116403285A (zh) * | 2023-04-20 | 2023-07-07 | 北京百度网讯科技有限公司 | 动作识别方法、装置、电子设备以及存储介质 |
| CN116863383A (zh) * | 2023-07-31 | 2023-10-10 | 山东大学齐鲁医院(青岛) | 一种助行监测方法和装置、电子设备和存储介质 |
| CN117095152A (zh) * | 2023-10-17 | 2023-11-21 | 南京佳普科技有限公司 | 一种用于体育训练测评的骨骼识别摄像机及训练测评方法 |
| WO2024012154A1 (zh) * | 2022-07-11 | 2024-01-18 | 卡奥斯工业智能研究院(青岛)有限公司 | 基于数字孪生的工作效率显示方法、装置及设备 |
| CN117809380A (zh) * | 2024-02-29 | 2024-04-02 | 万有引力（宁波）电子科技有限公司 | 手势追踪方法、装置、设备、可读存储介质及程序产品 |
| WO2024124927A1 (zh) * | 2022-12-12 | 2024-06-20 | 海信视像科技股份有限公司 | 一种虚拟数字人的生成方法、装置和电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012120647A (ja) * | 2010-12-07 | 2012-06-28 | Alpha Co | 姿勢検出装置 |
| CN108304819A (zh) * | 2018-02-12 | 2018-07-20 | 北京易真学思教育科技有限公司 | 姿态识别系统及方法、存储介质 |
| CN109165552A (zh) * | 2018-07-14 | 2019-01-08 | 深圳神目信息技术有限公司 | 一种基于人体关键点的姿态识别方法、系统及存储器 |
| CN109902659A (zh) * | 2019-03-15 | 2019-06-18 | 北京字节跳动网络技术有限公司 | 用于处理人体图像的方法和装置 |
| CN110705390A (zh) * | 2019-09-17 | 2020-01-17 | 平安科技（深圳）有限公司 | 基于lstm的形体姿态识别方法、装置及存储介质 |
| CN110929687A (zh) * | 2019-12-10 | 2020-03-27 | 山东大学 | 一种基于关键点检测的多人行为识别系统及工作方法 |
| CN110941990A (zh) * | 2019-10-22 | 2020-03-31 | 泰康保险集团股份有限公司 | 基于骨骼关键点进行人体动作评估的方法和装置 |
-
2020
- 2020-05-09 CN CN202010387589.0A patent/CN111680562A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012120647A (ja) * | 2010-12-07 | 2012-06-28 | Alpha Co | 姿勢検出装置 |
| CN108304819A (zh) * | 2018-02-12 | 2018-07-20 | 北京易真学思教育科技有限公司 | 姿态识别系统及方法、存储介质 |
| CN109165552A (zh) * | 2018-07-14 | 2019-01-08 | 深圳神目信息技术有限公司 | 一种基于人体关键点的姿态识别方法、系统及存储器 |
| CN109902659A (zh) * | 2019-03-15 | 2019-06-18 | 北京字节跳动网络技术有限公司 | 用于处理人体图像的方法和装置 |
| CN110705390A (zh) * | 2019-09-17 | 2020-01-17 | 平安科技（深圳）有限公司 | 基于lstm的形体姿态识别方法、装置及存储介质 |
| CN110941990A (zh) * | 2019-10-22 | 2020-03-31 | 泰康保险集团股份有限公司 | 基于骨骼关键点进行人体动作评估的方法和装置 |
| CN110929687A (zh) * | 2019-12-10 | 2020-03-27 | 山东大学 | 一种基于关键点检测的多人行为识别系统及工作方法 |
Cited By (66)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931725A (zh) * | 2020-09-23 | 2020-11-13 | 北京无垠创新科技有限责任公司 | 人体动作识别方法、设备及存储介质 |
| CN111931725B (zh) * | 2020-09-23 | 2023-10-13 | 北京无垠创新科技有限责任公司 | 人体动作识别方法、设备及存储介质 |
| CN112287759A (zh) * | 2020-09-26 | 2021-01-29 | 浙江汉德瑞智能科技有限公司 | 基于关键点的跌倒检测方法 |
| CN112370045A (zh) * | 2020-10-15 | 2021-02-19 | 北京大学 | 基于人工智能的功能性动作检测方法及系统 |
| CN112464797A (zh) * | 2020-11-25 | 2021-03-09 | 创新奇智(成都)科技有限公司 | 一种吸烟行为检测方法、装置、存储介质及电子设备 |
| CN112464797B (zh) * | 2020-11-25 | 2024-04-02 | 创新奇智(成都)科技有限公司 | 一种吸烟行为检测方法、装置、存储介质及电子设备 |
| CN112434639A (zh) * | 2020-12-03 | 2021-03-02 | 郑州捷安高科股份有限公司 | 动作匹配方法、装置、设备及存储介质 |
| CN112784676A (zh) * | 2020-12-04 | 2021-05-11 | 中国科学院深圳先进技术研究院 | 图像处理方法、机器人及计算机可读存储介质 |
| CN112464847A (zh) * | 2020-12-07 | 2021-03-09 | 北京邮电大学 | 视频中人体动作切分方法及装置 |
| CN112464856A (zh) * | 2020-12-09 | 2021-03-09 | 成都华栖云科技有限公司 | 基于人体骨骼关键点的视频流动作检测方法 |
| CN112464856B (zh) * | 2020-12-09 | 2023-06-13 | 成都华栖云科技有限公司 | 基于人体骨骼关键点的视频流动作检测方法 |
| CN112580462A (zh) * | 2020-12-11 | 2021-03-30 | 深圳市豪恩声学股份有限公司 | 一种特征点选择方法、终端和存储介质 |
| CN112434666A (zh) * | 2020-12-11 | 2021-03-02 | 东莞先知大数据有限公司 | 重复动作识别方法、装置、介质及设备 |
| CN112489036A (zh) * | 2020-12-14 | 2021-03-12 | Oppo（重庆）智能科技有限公司 | 图像评价方法、图像评价装置、存储介质与电子设备 |
| CN112580552A (zh) * | 2020-12-23 | 2021-03-30 | 中山大学 | 一种鼠类行为分析方法及装置 |
| CN112580552B (zh) * | 2020-12-23 | 2023-12-12 | 中山大学 | 一种鼠类行为分析方法及装置 |
| CN112818939A (zh) * | 2021-03-03 | 2021-05-18 | 上海高德威智能交通系统有限公司 | 一种行为检测方法、装置及电子设备 |
| CN112883933A (zh) * | 2021-03-30 | 2021-06-01 | 广东曜城科技园管理有限公司 | 一种异常人体行为的警报方法和装置 |
| CN113065474A (zh) * | 2021-04-07 | 2021-07-02 | 泰豪软件股份有限公司 | 行为识别方法、装置及计算机设备 |
| CN113065474B (zh) * | 2021-04-07 | 2023-06-27 | 泰豪软件股份有限公司 | 行为识别方法、装置及计算机设备 |
| CN113114994A (zh) * | 2021-04-08 | 2021-07-13 | 中山大学 | 行为感知方法、装置及设备 |
| CN113111767A (zh) * | 2021-04-09 | 2021-07-13 | 上海泗科智能科技有限公司 | 一种基于深度学习3d姿态评估的跌倒检测方法 |
| CN112926541A (zh) * | 2021-04-09 | 2021-06-08 | 济南博观智能科技有限公司 | 一种睡岗检测方法、装置及相关设备 |
| CN112926541B (zh) * | 2021-04-09 | 2022-11-08 | 济南博观智能科技有限公司 | 一种睡岗检测方法、装置及相关设备 |
| CN113221704A (zh) * | 2021-04-30 | 2021-08-06 | 陕西科技大学 | 基于深度学习的动物姿态识别方法、系统及存储介质 |
| CN113221802A (zh) * | 2021-05-24 | 2021-08-06 | 新疆爱华盈通信息技术有限公司 | 踢被子识别方法与装置、电子设备 |
| CN113221815A (zh) * | 2021-05-25 | 2021-08-06 | 北京无垠创新科技有限责任公司 | 一种基于骨骼关键点自动检测技术的步态鉴定方法 |
| CN113542774B (zh) * | 2021-06-04 | 2023-10-20 | 北京格灵深瞳信息技术股份有限公司 | 视频同步方法、装置、电子设备及存储介质 |
| CN113392744A (zh) * | 2021-06-04 | 2021-09-14 | 北京格灵深瞳信息技术股份有限公司 | 舞蹈动作美感确认方法、装置、电子设备及存储介质 |
| CN113392741A (zh) * | 2021-06-04 | 2021-09-14 | 北京格灵深瞳信息技术股份有限公司 | 视频片段提取方法、装置、电子设备及存储介质 |
| CN113392742A (zh) * | 2021-06-04 | 2021-09-14 | 北京格灵深瞳信息技术股份有限公司 | 异常动作确定方法、装置、电子设备及存储介质 |
| CN113542774A (zh) * | 2021-06-04 | 2021-10-22 | 北京格灵深瞳信息技术股份有限公司 | 视频同步方法、装置、电子设备及存储介质 |
| CN113077383A (zh) * | 2021-06-07 | 2021-07-06 | 深圳追一科技有限公司 | 一种模型训练方法及模型训练装置 |
| CN113341825A (zh) * | 2021-06-17 | 2021-09-03 | 浙江凌镜智能有限公司 | 设备运维智能监测方法及系统 |
| CN113516064A (zh) * | 2021-07-02 | 2021-10-19 | 深圳市悦动天下科技有限公司 | 体育运动的动作判定方法、装置、设备及存储介质 |
| CN113792595A (zh) * | 2021-08-10 | 2021-12-14 | 北京爱笔科技有限公司 | 目标行为检测方法、装置、计算机设备和存储介质 |
| CN113762093A (zh) * | 2021-08-18 | 2021-12-07 | 北京格灵深瞳信息技术股份有限公司 | 跑道冲刺计时方法、装置、电子设备和存储介质 |
| WO2023040578A1 (zh) * | 2021-09-17 | 2023-03-23 | 浙江灵创网络科技有限公司 | 一种基于童脸识别的儿童坐姿检测方法及系统 |
| CN113842622A (zh) * | 2021-09-23 | 2021-12-28 | 京东方科技集团股份有限公司 | 一种运动教学方法、装置、系统、电子设备及存储介质 |
| CN114093024A (zh) * | 2021-09-24 | 2022-02-25 | 张哲为 | 人体动作的识别方法、装置、设备及存储介质 |
| CN114038009A (zh) * | 2021-10-26 | 2022-02-11 | 深圳市华安泰智能科技有限公司 | 一种基于人体骨骼关键点的图像数据采集分析系统 |
| CN113780253A (zh) * | 2021-11-12 | 2021-12-10 | 佛山科学技术学院 | 一种人体关节运动关键点识别方法及系统 |
| CN114187628A (zh) * | 2021-11-24 | 2022-03-15 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护的身份认证方法、装置及设备 |
| CN114518801A (zh) * | 2022-02-18 | 2022-05-20 | 美的集团(上海)有限公司 | 设备控制方法、计算机程序产品、控制设备和存储介质 |
| CN114518801B (zh) * | 2022-02-18 | 2023-10-27 | 美的集团(上海)有限公司 | 设备控制方法、控制设备和存储介质 |
| CN114333134A (zh) * | 2022-03-10 | 2022-04-12 | 深圳灏鹏科技有限公司 | 舱房管理方法、装置、设备及存储介质 |
| CN115068919B (zh) * | 2022-05-17 | 2023-11-14 | 泰山体育产业集团有限公司 | 一种单杠项目的考核方法及其实现装置 |
| CN115068919A (zh) * | 2022-05-17 | 2022-09-20 | 泰山体育产业集团有限公司 | 一种单杠项目的考核方法及其实现装置 |
| CN115082957A (zh) * | 2022-05-27 | 2022-09-20 | 中国科学院半导体研究所 | 书写姿态识别方法、装置、电子设备及存储介质 |
| CN114782661A (zh) * | 2022-06-22 | 2022-07-22 | 阿里巴巴达摩院(杭州)科技有限公司 | 下半身姿态预测模型的训练方法及装置 |
| CN114782661B (zh) * | 2022-06-22 | 2022-09-30 | 阿里巴巴达摩院(杭州)科技有限公司 | 下半身姿态预测模型的训练方法及装置 |
| WO2024012154A1 (zh) * | 2022-07-11 | 2024-01-18 | 卡奥斯工业智能研究院(青岛)有限公司 | 基于数字孪生的工作效率显示方法、装置及设备 |
| CN114998816A (zh) * | 2022-08-08 | 2022-09-02 | 深圳市指南针医疗科技有限公司 | 基于骨骼ai视频的病例改进方法、装置及存储介质 |
| CN115731648A (zh) * | 2022-12-08 | 2023-03-03 | 厦门农芯数字科技有限公司 | 基于人体姿态动态识别的养殖场管理系统 |
| WO2024124927A1 (zh) * | 2022-12-12 | 2024-06-20 | 海信视像科技股份有限公司 | 一种虚拟数字人的生成方法、装置和电子设备 |
| CN115966016A (zh) * | 2022-12-19 | 2023-04-14 | 天翼爱音乐文化科技有限公司 | 一种跳跃状态识别方法、系统、电子设备及存储介质 |
| CN116129016B (zh) * | 2023-04-17 | 2023-07-14 | 广州趣丸网络科技有限公司 | 一种姿态运动的数字同步方法、装置、设备及存储介质 |
| CN116129016A (zh) * | 2023-04-17 | 2023-05-16 | 广州趣丸网络科技有限公司 | 一种姿态运动的数字同步方法、装置、设备及存储介质 |
| CN116168332B (zh) * | 2023-04-19 | 2023-07-14 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 跛行检测方法、设备及存储介质 |
| CN116168332A (zh) * | 2023-04-19 | 2023-05-26 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 跛行检测方法、设备及存储介质 |
| CN116403285A (zh) * | 2023-04-20 | 2023-07-07 | 北京百度网讯科技有限公司 | 动作识别方法、装置、电子设备以及存储介质 |
| CN116863383A (zh) * | 2023-07-31 | 2023-10-10 | 山东大学齐鲁医院(青岛) | 一种助行监测方法和装置、电子设备和存储介质 |
| CN117095152A (zh) * | 2023-10-17 | 2023-11-21 | 南京佳普科技有限公司 | 一种用于体育训练测评的骨骼识别摄像机及训练测评方法 |
| CN117095152B (zh) * | 2023-10-17 | 2024-01-26 | 南京佳普科技有限公司 | 一种用于体育训练测评的骨骼识别摄像机及训练测评方法 |
| CN117809380A (zh) * | 2024-02-29 | 2024-04-02 | 万有引力（宁波）电子科技有限公司 | 手势追踪方法、装置、设备、可读存储介质及程序产品 |
| CN117809380B (zh) * | 2024-02-29 | 2024-05-14 | 万有引力（宁波）电子科技有限公司 | 手势追踪方法、装置、设备、可读存储介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111680562A (zh) | 一种基于骨骼关键点的人体姿态识别方法、装置、存储介质及终端 | |
| WO2020207281A1 (zh) | 姿态识别模型的训练方法、图像识别方法及装置 | |
| CN111191599B (zh) | 姿态识别方法、装置、设备及存储介质 | |
| CN108665492B (zh) | 一种基于虚拟人的舞蹈教学数据处理方法及系统 | |
| CN109902659B (zh) | 用于处理人体图像的方法和装置 | |
| EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
| CN109472217B (zh) | 智能化运动训练模型构建方法及装置、训练方法及装置 | |
| CN110174942B (zh) | 眼动合成方法及装置 | |
| CN108153421B (zh) | 体感交互方法、装置及计算机可读存储介质 | |
| CN109409199B (zh) | 微表情训练方法、装置、存储介质及电子设备 | |
| CN111027403A (zh) | 手势估计方法、装置、设备及计算机可读存储介质 | |
| CN111401318A (zh) | 动作识别方法及装置 | |
| CN110728194A (zh) | 基于微表情和动作识别的智能培训方法、装置及存储介质 | |
| CN111191503A (zh) | 一种行人属性识别方法、装置、存储介质及终端 | |
| CN111666820A (zh) | 一种讲话状态识别方法、装置、存储介质及终端 | |
| CN114333046A (zh) | 舞蹈动作评分方法、装置、设备和存储介质 | |
| CN112190921A (zh) | 一种游戏交互方法及装置 | |
| Park et al. | Achieving real-time sign language translation using a smartphone's true depth images | |
| CN106502401B (zh) | 一种图像控制方法及装置 | |
| CN111159609A (zh) | 属性信息修改方法及相关装置 | |
| CN112381118B (zh) | 一种大学舞蹈考试测评方法及装置 | |
| CN108986191B (zh) | 人物动作的生成方法、装置及终端设备 | |
| CN115660909A (zh) | 一种数字学校平台沉浸式数字化学习方法及系统 | |
| CN112712450A (zh) | 基于云课堂的实时交互方法、装置、设备及存储介质 | |
| CN114299615A (zh) | 基于关键点的多特征融合的动作识别方法、装置、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200918 |
|
| RJ01 | Rejection of invention patent application after publication |