CN107832736B - 实时人体动作的识别方法和实时人体动作的识别装置 - Google Patents
实时人体动作的识别方法和实时人体动作的识别装置 Download PDFInfo
- Publication number
- CN107832736B CN107832736B CN201711200452.4A CN201711200452A CN107832736B CN 107832736 B CN107832736 B CN 107832736B CN 201711200452 A CN201711200452 A CN 201711200452A CN 107832736 B CN107832736 B CN 107832736B
- Authority
- CN
- China
- Prior art keywords
- action
- human body
- recording file
- joint point
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种实时人体动作的识别方法和装置。所述方法包括:实时获取待识别人体的深度图像;根据所述深度图像,提取所述深度图像中人体的骨架数据,并对所述骨架数据进行归一化处理;其中,所述骨架数据包括人体关键节点的关节点数据集合;获取动作录制文件,其中,所述动作录制文件包括预先设定的动作录制文件;根据所述动作录制文件,设置关节点组合,并标记所述动作录制文件中的动作的起止位置;利用预定算法,对所述动作录制文件中的动作进行训练,提取特征向量保存成动作模板文件;基于所述动作模板文件和所述关节点数据集合,对所述待识别人体的动作进行识别,输出识别结果。能够有效提高人体动作的识别准确度。
Description
技术领域
本发明涉及人体动作识别技术领域,特别涉及一种实时人体动作的识别方法和一种实时人体动作的识别装置。
背景技术
人机交互技术发展史已有超过五十年的发展历史,近年来,采用动作识别技术实现人机交互成为国内外学者研究的重点方向之一。人体动作识别是计算机视觉中一个具有挑战性的课题,同时也具有广阔的应用前景。基于视觉的人体运动分析是计算机视觉领域中一个非常活跃的研究方向,它包含运动检测、目标分类和跟踪以及对人的运动进行理解和识别等内容。这些内容之间的关系是层层递进的:运动人体的检测是目标分类和跟踪的基础,在解决这些基本问题的基础上,就可以进行人体动作识别。运动特征的选择直接影响人体动作识别方法的识别效果。单一特征往往受到人体外观、环境、摄像机设置等因素的影响不同,其适用范围不同,识别效果也是有限的。
目前主流方法是计算机通过对传感器(摄像机)采集的原始图像或图像序列数据进行处理和分析,识别到视频中的人物,学习并理解其中人的动作和行为。
但是,上述主流方法中,需要大量复杂的计算,做不到实时性和准确性。
因此,如何设计出一种计算量少且能够实现实时人体动作的识别方法成为本领域亟需解决的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一,提出了一种一种实时人体动作的识别方法和一种实时人体动作的识别装置。
为了实现上述目的,本发明的第一方面,提供了一种实时人体动作的识别方法,所述方法包括:
实时获取待识别人体的深度图像;
根据所述深度图像,提取所述深度图像中人体的骨架数据,并对所述骨架数据进行归一化处理;其中,所述骨架数据包括人体关键节点的关节点数据集合;
获取动作录制文件,其中,所述动作录制文件包括预先设定的动作录制文件;
根据所述动作录制文件,设置关节点组合,并标记所述动作录制文件中的动作的起止位置;
利用预定算法,对所述动作录制文件中的动作进行训练,提取特征向量保存成动作模板文件;
基于所述动作模板文件和所述关节点数据集合,对所述待识别人体的动作进行识别,输出识别结果。
优选地,所述根据所述深度图像,提取所述深度图像中人体的骨架数据的步骤包括:
提取所述深度图像中的像素点的深度信息;
根据所述像素点的深度信息,将所述深度图像分割成前景图像和背景图像;
将所述前景图像与标准人体模型进行比较,以获得所述骨架数据。
优选地,所述动作录制文件还包括用户自定义的动作录制文件;
所述获取动作录制文件的步骤包括:
录制用户所展示的动作,以形成所述用户自定义的动作录制文件。
优选地,所述根据所述动作录制文件,设置关节点组合的步骤包括:
基于所述动作录制文件,提取所述动作录制文件中的动作所用到的每个关节点,生成关节点组合;
其中,所述动作录制文件中的动作包括左手的姿势,所述左手的姿势包括左手平举和/或左手上举,相应地,所述关节点组合包括左肩关节点、左肘关节点和左手关节点。
优选地,所述预定算法包括优化后的DTW算法。
本发明的第二方面,提供了一种实时人体动作的识别装置,所述装置包括:
骨架识别模块,所述骨架识别模块用于实时获取待识别人体的深度图像;以及,根据所述深度图像,提取所述深度图像中人体的骨架数据,并对所述骨架数据进行归一化处理;其中,所述骨架数据包括人体关键节点的关节点数据集合;
录制模块,所述录制模块用于获取动作录制文件,其中,所述动作录制文件包括预先设定的动作录制文件;
播放模块,所述播放模块用于根据所述动作录制文件,设置关节点组合,并标记所述动作录制文件中的动作的起止位置;
动作训练模块,所述动作训练模块用于利用预定算法,对所述动作录制文件中的动作进行训练,提取特征向量保存成动作模板文件;
动作识别模块,所述动作识别模块用于基于所述动作模板文件和所述关节点数据集合,对所述待识别人体的动作进行识别,输出识别结果。
优选地,所述骨架识别模块还用于:
提取所述深度图像中的像素点的深度信息;
根据所述像素点的深度信息,将所述深度图像分割成前景图像和背景图像;
将所述前景图像与标准人体模型进行比较,以获得所述骨架数据。
优选地,所述动作录制文件还包括用户自定义的动作录制文件;所述录制模块还用于录制用户所展示的动作,以形成所述用户自定义的动作录制文件。
优选地,所述播放模块还用于:
基于所述动作录制文件,提取所述动作录制文件中的动作所用到的每个关节点,生成关节点组合;
其中,所述动作录制文件中的动作包括左手的姿势,所述左手的姿势包括左手平举和/或左手上举,相应地,所述关节点组合包括左肩关节点、左肘关节点和左手关节点。
优选地,所述预定算法包括优化后的DTW算法。
本发明的实时人体动作的识别方法,能够在复杂环境中准确高效识别人体和关节点,从而能更精确判断动作的起始和整个动作的过程:另外,还可以同时支持多达实时识别多副人体骨架数据,即可以同时实时的识别多个人的动作,有效的保证人机交互的实效性。最后,可以根据动作录制文件中的动作灵活选取关节点组合(比如左手手势:左手平举,左手上举等只需要输入左手相关的几个关节点),识别时也仅计算相关关节点,从而有效避免其他因素影响姿势训练和识别的效果。
本发明的实时人体动作的识别装置,能够在复杂环境中准确高效识别人体和关节点,从而能更精确判断动作的起始和整个动作的过程:另外,还可以同时支持多达实时识别多副人体骨架数据,即可以同时实时的识别多个人的动作,有效的保证人机交互的实效性。最后,可以根据动作录制文件中的动作灵活选取关节点组合(比如左手手势:左手平举,左手上举等只需要输入左手相关的几个关节点),识别时也仅计算相关关节点,从而有效避免其他因素影响姿势训练和识别的效果。
附图说明
附图是用来提供对本发明的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明,但并不构成对本发明的限制。在附图中:
图1为本发明第一实施例中实时人体动作的识别方法的流程图;
图2为本发明第二实施例中实时人体动作的识别装置的结构示意图。
附图标记说明
100:实时人体动作的识别装置;
110:骨架识别模块;
120:录制模块;
130:播放模块;
140:动作训练模块;
150:动作识别模块。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
如图1所示,本发明的第一方面,涉及一种实时人体动作的识别方法S100,所述方法S100包括:
S110、实时获取待识别人体的深度图像。
具体地,在本步骤中,可以采用3D摄像头实时采集待识别人体的深度图像。当然,除了可以采用3D摄像头以外,还可以采用其他能够实时获取人体深度图像的图像获取设备。
需要说明的是,在本步骤中,待识别人体可以仅仅包括一个人,当然,该待识别人体也可以同时包括多个人。这样,根据本实施例中的实时人体动作识别方法,可以实现同时实时的识别多个人的动作。
S120、根据所述深度图像,提取所述深度图像中人体的骨架数据,并对所述骨架数据进行归一化处理;其中,所述骨架数据包括人体关键节点的关节点数据集合。
也就是说,在本步骤中,根据步骤S110中实时获取到的待识别人体的深度图像,提取该深度图像中的人体的骨架数据,该骨架数据主要包括人体关键节点(或者重要关节点)的骨架数据,例如,可以是头部关节点数据、肩关节中心数据、左肩关节数据、右肩关节数据、左肘关节数据、右肘关节数据、左腕关节数据、右腕关节数据、左手数据、右手数据、脊椎数据、髋关节中心数据、左髋关节数据、右髋关节数据、左膝关节数据、右膝关节数据、左踝关节数据、右踝关节数据、左脚数据和右脚数据等。
换句话说,在本步骤中,并不需要每个关节点的骨架数据,这样,仅仅需要提取人体的几个关键节点的骨架数据,从而可以大大降低计算量,同时,还能够有效提高识别精度。
S130、获取动作录制文件,其中,所述动作录制文件包括预先设定的动作录制文件。
也就是说,在本步骤中,动作录制文件是提前预先设定的动作录制文件,该预先设定的动作录制文件可以存储在存储介质或者云端服务器中,并且可以随时访问该预先设定的动作录制文件。
应当理解的是,上述预先设定的动作录制文件可以包括多个,这样,可以使得本实施例中的识别方法,所识别的人体动作范围更加广泛,提高识别准确度。
S140、根据所述动作录制文件,设置关节点组合,并标记所述动作录制文件中的动作的起止位置。
具体地,在本步骤中,可以播放该动作录制文件,同时,根据该动作录制文件中的动作所用到的关节点,例如,当该动作包括左手的姿势,例如左手平举,左手上举等,只需要处理关节组合(左肩关节数据,左肘关节数据,左手关节数据),这样可以有效避免其他关节点或者噪点数据造成的影响。
S150、利用预定算法,对所述动作录制文件中的动作进行训练,提取特征向量保存成动作模板文件。
也就是说,在本步骤中,对上述获取到的动作录制文件中的动作进行训练,提取特征向量,并将该特征向量保存成动作模板文件。这样,能够更加精准地识别人体的动作。
S160、基于所述动作模板文件和所述关节点数据集合,对所述待识别人体的动作进行识别,输出识别结果。
具体地,在步骤中,可以将关节点数据集合中的每一个关节点数据与动作模板文件进行匹配,并根据该匹配结果输出相应地识别结果,完成识别人体的动作,实现人机交互。
本实施例中的实时人体动作的识别方法S100,能够在复杂环境中准确高效识别人体和关节点,从而能更精确判断动作的起始和整个动作的过程:另外,还可以同时支持多达实时识别多副人体骨架数据,即可以同时实时的识别多个人的动作,有效的保证人机交互的实效性。最后,可以根据动作录制文件中的动作灵活选取关节点组合(比如左手手势:左手平举,左手上举等只需要输入左手相关的几个关节点),识别时也仅计算相关关节点,从而有效避免其他因素影响姿势训练和识别的效果。
优选地,上述步骤S120包括:
提取所述深度图像中的像素点的深度信息。
根据所述像素点的深度信息,将所述深度图像分割成前景图像和背景图像。
将所述前景图像与标准人体模型进行比较,以获得所述骨架数据。
也就是说,在本步骤中,根据像素点的深度信息,将深度图像中的前景与背景进行分割,前景作为人体的候选对象与标准人体模型进行比较,得到可以包含二十个关节点数据的骨架数据,该二十个关节点数据包括:头部关节点数据、肩关节中心数据、左肩关节数据、右肩关节数据、左肘关节数据、右肘关节数据、左腕关节数据、右腕关节数据、左手数据、右手数据、脊椎数据、髋关节中心数据、左髋关节数据、右髋关节数据、左膝关节数据、右膝关节数据、左踝关节数据、右踝关节数据、左脚数据和右脚数据。
本实施例中的实时人体动作的识别方法S100,并不需要每个关节点的骨架数据,这样,仅仅需要提取人体的几个关键节点的骨架数据,从而可以大大降低计算量,同时,还能够有效提高识别精度。
优选地,上述动作录制文件还包括用户自定义的动作录制文件。
上述步骤S130包括:
录制用户所展示的动作,以形成所述用户自定义的动作录制文件。
具体地,在本步骤中,启动录制功能后,将需要训练的动作在摄像头前演示,同时,该摄像头能够实时捕捉到需要训练的动作的彩色画面。点击停止录制按钮,会将包含刚才演示动作的视频保存成动作录制文件,形成用户自定义的动作录制文件。
需要说明的是,上述用户自定义的动作录制文件也可以包括多个,也就是说,用户可以自定义多个不同的动作录制文件,这样,可以使得本实施例中的识别方法,所识别的人体动作范围更加广泛,提高识别准确度。
优选地,上述步骤S140包括:
基于所述动作录制文件,提取所述动作录制文件中的动作所用到的每个关节点,生成关节点组合。
其中,所述动作录制文件中的动作包括左手的姿势,所述左手的姿势包括左手平举和/或左手上举,相应地,所述关节点组合包括左肩关节点、左肘关节点和左手关节点。
也就是说,在本步骤中,根据动作用到的关节点,设置关节点组合,比如左手的姿势:左手平举,左手上举等,只需要处理关节组合(左肩关节数据,左肘关节数据,左手关节数据),这样可以有效避免其他关节点或者噪点数据造成的影响。
优选地,所述预定算法包括优化后的DTW算法。
在大部分的学科中,时间序列是数据的一种常见表示形式。对于时间序列处理来说,一个普遍的任务就是比较两个序列的相似性。在时间序列中,需要比较相似性的两段时间序列的长度可能并不相等,在动作识别领域表现为不同人做同一个动作所花的时间不同。因为动作在完成的过程中具有相当大的随机性,即使同一个人在不同时刻做同一个动作,也不可能具有完全的时间长度。而且同一个人完成同一个动作在不同时间节点的速度也不相同。在这些复杂情况下,使用传统的欧几里得距离无法有效地求的两个时间序列之间的距离(或者相似性)。
DTW算法是一种具备扩展和压缩能力的柔性模式匹配算法,它能够对存在全局或局部扩展、压缩或变形的模式进行匹配,从而解决时间矢量序列间的相似度量问题。该算法采用动态规划的思想对两个矢量序列进行非线性规整,对两序列相似之处进行匹配,以得到两个矢量序列之间的最短距离,两个矢量序列间的距离越小,则它们的相似度越大。由于DTW算法采用动态规划技术来进行旋律的近似匹配,通过局部最优化原理计算出最佳路径的最小累计距离,本方法采用基于全局和局部约束的DTW优化算法进行相似度匹配,得到两个运动间的对应关系。最后通过归一化相似度和DTW平均距离分阶段判断运动的相似性。实验结果表明,分阶段的DTW优化算法在提高效率的同时对长度不等的运动能取得较好的识别结果。
因此,本实施例中的实时人体动作的识别方法S100,预定算法采用DTW算法,DTW能够衡量两个序列的相似程度,或者说两个序列的距离。同时DTW能够对两个序列的延展或者压缩能够有一定的适应性,例如,不同人执行同一个动作存在一定的差别,特别在时长上,有些人会比标准的长或短,DTW对这种序列的延展和压缩不敏感,所以给定标准动作模板,DTW能够很好得识别单个动作,从而能够有效提高识别精度。
本发明的第二方面,如图2所示,提供了一种实时人体动作的识别装置100,所述装置包括:
骨架识别模块110,所述骨架识别模块110用于实时获取待识别人体的深度图像;以及,根据所述深度图像,提取所述深度图像中人体的骨架数据,并对所述骨架数据进行归一化处理;其中,所述骨架数据包括人体关键节点的关节点数据集合。
录制模块120,所述录制模块120用于获取动作录制文件,其中,所述动作录制文件包括预先设定的动作录制文件。
播放模块130,所述播放模块130用于根据所述动作录制文件,设置关节点组合,并标记所述动作录制文件中的动作的起止位置。
动作训练模块140,所述动作训练模块140用于利用预定算法,对所述动作录制文件中的动作进行训练,提取特征向量保存成动作模板文件。
动作识别模块150,所述动作识别模块150用于基于所述动作模板文件和所述关节点数据集合,对所述待识别人体的动作进行识别,输出识别结果。
本实施例中的实时人体动作的识别装置100,能够在复杂环境中准确高效识别人体和关节点,从而能更精确判断动作的起始和整个动作的过程:另外,还可以同时支持多达实时识别多副人体骨架数据,即可以同时实时的识别多个人的动作,有效的保证人机交互的实效性。最后,可以根据动作录制文件中的动作灵活选取关节点组合(比如左手手势:左手平举,左手上举等只需要输入左手相关的几个关节点),识别时也仅计算相关关节点,从而有效避免其他因素影响姿势训练和识别的效果。
优选地,所述骨架识别模块110还用于:
提取所述深度图像中的像素点的深度信息;
根据所述像素点的深度信息,将所述深度图像分割成前景图像和背景图像;
将所述前景图像与标准人体模型进行比较,以获得所述骨架数据。
也就是说,在本实施例中,骨架识别模块110用于根据像素点的深度信息,将深度图像中的前景与背景进行分割,前景作为人体的候选对象与标准人体模型进行比较,得到可以包含二十个关节点数据的骨架数据,该二十个关节点数据包括:头部关节点数据、肩关节中心数据、左肩关节数据、右肩关节数据、左肘关节数据、右肘关节数据、左腕关节数据、右腕关节数据、左手数据、右手数据、脊椎数据、髋关节中心数据、左髋关节数据、右髋关节数据、左膝关节数据、右膝关节数据、左踝关节数据、右踝关节数据、左脚数据和右脚数据。
本实施例中的实时人体动作的识别装置100,并不需要每个关节点的骨架数据,这样,仅仅需要提取人体的几个关键节点的骨架数据,从而可以大大降低计算量,同时,还能够有效提高识别精度。
优选地,所述动作录制文件还包括用户自定义的动作录制文件;所述录制模块120还用于录制用户所展示的动作,以形成所述用户自定义的动作录制文件。
具体地,在实施例中,录制模块120启动录制功能后,将需要训练的动作在摄像头前演示,同时,该摄像头能够实时捕捉到需要训练的动作的彩色画面。点击停止录制按钮,会将包含刚才演示动作的视频保存成动作录制文件,形成用户自定义的动作录制文件。
需要说明的是,上述用户自定义的动作录制文件也可以包括多个,也就是说,用户可以自定义多个不同的动作录制文件,这样,可以使得本实施例中的识别装置,所识别的人体动作范围更加广泛,提高识别准确度。
优选地,所述播放模块130还用于:
基于所述动作录制文件,提取所述动作录制文件中的动作所用到的每个关节点,生成关节点组合;
其中,所述动作录制文件中的动作包括左手的姿势,所述左手的姿势包括左手平举和/或左手上举,相应地,所述关节点组合包括左肩关节点、左肘关节点和左手关节点。
也就是说,在本实施例中,根据动作用到的关节点,设置关节点组合,比如左手的姿势:左手平举,左手上举等,只需要处理关节组合(左肩关节数据,左肘关节数据,左手关节数据),这样可以有效避免其他关节点或者噪点数据造成的影响
优选地,所述预定算法包括优化后的DTW算法。
本实施例中的实时人体动作的识别装置100,预定算法采用DTW算法,DTW能够衡量两个序列的相似程度,或者说两个序列的距离。同时DTW能够对两个序列的延展或者压缩能够有一定的适应性,例如,不同人执行同一个动作存在一定的差别,特别在时长上,有些人会比标准的长或短,DTW对这种序列的延展和压缩不敏感,所以给定标准动作模板,DTW能够很好得识别单个动作,从而能够有效提高识别精度。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。
Claims (8)
1.一种实时人体动作的识别方法,其特征在于,所述方法包括:
实时获取待识别人体的深度图像;
根据所述深度图像,提取所述深度图像中人体的骨架数据,并对所述骨架数据进行归一化处理;其中,所述骨架数据包括人体关键节点的关节点数据集合;
获取动作录制文件,其中,所述动作录制文件包括预先设定的动作录制文件;
根据所述动作录制文件,设置关节点组合,并标记所述动作录制文件中的动作的起止位置,所述关节点组合能够避免其他关节点或者噪点数据造成的影响;
利用预定算法,对所述动作录制文件中的动作进行训练,提取特征向量保存成动作模板文件;
基于所述动作模板文件和所述关节点数据集合,对所述待识别人体的动作进行识别,输出识别结果;
所述根据所述深度图像,提取所述深度图像中人体的骨架数据的步骤包括:
提取所述深度图像中的像素点的深度信息;
根据所述像素点的深度信息,将所述深度图像分割成前景图像和背景图像;
将所述前景图像与标准人体模型进行比较,以获得所述骨架数据。
2.根据权利要求1所述的识别方法,其特征在于,所述动作录制文件还包括用户自定义的动作录制文件;
所述获取动作录制文件的步骤包括:
录制用户所展示的动作,以形成所述用户自定义的动作录制文件。
3.根据权利要求1或2所述的识别方法,其特征在于,所述根据所述动作录制文件,设置关节点组合的步骤包括:
基于所述动作录制文件,提取所述动作录制文件中的动作所用到的每个关节点,生成关节点组合;
其中,所述动作录制文件中的动作包括左手的姿势,所述左手的姿势包括左手平举和/或左手上举,相应地,所述关节点组合包括左肩关节点、左肘关节点和左手关节点。
4.根据权利要求1或2所述的识别方法,其特征在于,所述预定算法包括优化后的DTW算法。
5.一种实时人体动作的识别装置,其特征在于,所述装置包括:
骨架识别模块,所述骨架识别模块用于实时获取待识别人体的深度图像;以及,根据所述深度图像,提取所述深度图像中人体的骨架数据,并对所述骨架数据进行归一化处理;其中,所述骨架数据包括人体关键节点的关节点数据集合;
录制模块,所述录制模块用于获取动作录制文件,其中,所述动作录制文件包括预先设定的动作录制文件;
播放模块,所述播放模块用于根据所述动作录制文件,设置关节点组合,并标记所述动作录制文件中的动作的起止位置,所述关节点组合能够避免其他关节点或者噪点数据造成的影响;
动作训练模块,所述动作训练模块用于利用预定算法,对所述动作录制文件中的动作进行训练,提取特征向量保存成动作模板文件;
动作识别模块,所述动作识别模块用于基于所述动作模板文件和所述关节点数据集合,对所述待识别人体的动作进行识别,输出识别结果;
所述骨架识别模块还用于:
提取所述深度图像中的像素点的深度信息;
根据所述像素点的深度信息,将所述深度图像分割成前景图像和背景图像;
将所述前景图像与标准人体模型进行比较,以获得所述骨架数据。
6.根据权利要求5所述的识别装置,其特征在于,所述动作录制文件还包括用户自定义的动作录制文件;所述录制模块还用于录制用户所展示的动作,以形成所述用户自定义的动作录制文件。
7.根据权利要求5或6所述的识别装置,其特征在于,所述播放模块还用于:
基于所述动作录制文件,提取所述动作录制文件中的动作所用到的每个关节点,生成关节点组合;
其中,所述动作录制文件中的动作包括左手的姿势,所述左手的姿势包括左手平举和/或左手上举,相应地,所述关节点组合包括左肩关节点、左肘关节点和左手关节点。
8.根据权利要求5或6所述的识别装置,其特征在于,所述预定算法包括优化后的DTW算法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711200452.4A CN107832736B (zh) | 2017-11-24 | 2017-11-24 | 实时人体动作的识别方法和实时人体动作的识别装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711200452.4A CN107832736B (zh) | 2017-11-24 | 2017-11-24 | 实时人体动作的识别方法和实时人体动作的识别装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107832736A CN107832736A (zh) | 2018-03-23 |
CN107832736B true CN107832736B (zh) | 2020-10-27 |
Family
ID=61645864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711200452.4A Active CN107832736B (zh) | 2017-11-24 | 2017-11-24 | 实时人体动作的识别方法和实时人体动作的识别装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107832736B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734194B (zh) * | 2018-04-09 | 2021-08-03 | 浙江工业大学 | 一种面向虚拟现实的基于单深度图的人体关节点识别方法 |
CN108921127A (zh) * | 2018-07-19 | 2018-11-30 | 上海小蚁科技有限公司 | 运动检测方法及装置、存储介质、终端 |
CN109191588B (zh) * | 2018-08-27 | 2020-04-07 | 百度在线网络技术(北京)有限公司 | 运动教学方法、装置、存储介质及电子设备 |
CN109432753B (zh) * | 2018-09-26 | 2020-12-29 | Oppo广东移动通信有限公司 | 动作矫正方法、装置、存储介质及电子设备 |
CN109635925A (zh) * | 2018-11-30 | 2019-04-16 | 北京首钢自动化信息技术有限公司 | 一种运动员辅助训练数据获取方法、装置及电子设备 |
CN113031464B (zh) * | 2021-03-22 | 2022-11-22 | 北京市商汤科技开发有限公司 | 设备控制方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103999126A (zh) * | 2011-12-16 | 2014-08-20 | 吕贝克大学 | 用于估计姿态的方法和装置 |
CN105844258A (zh) * | 2016-04-13 | 2016-08-10 | 中国农业大学 | 动作识别方法及装置 |
CN105930767A (zh) * | 2016-04-06 | 2016-09-07 | 南京华捷艾米软件科技有限公司 | 一种基于人体骨架的动作识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9349040B2 (en) * | 2010-11-19 | 2016-05-24 | Microsoft Technology Licensing, Llc | Bi-modal depth-image analysis |
-
2017
- 2017-11-24 CN CN201711200452.4A patent/CN107832736B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103999126A (zh) * | 2011-12-16 | 2014-08-20 | 吕贝克大学 | 用于估计姿态的方法和装置 |
CN105930767A (zh) * | 2016-04-06 | 2016-09-07 | 南京华捷艾米软件科技有限公司 | 一种基于人体骨架的动作识别方法 |
CN105844258A (zh) * | 2016-04-13 | 2016-08-10 | 中国农业大学 | 动作识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107832736A (zh) | 2018-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107832736B (zh) | 实时人体动作的识别方法和实时人体动作的识别装置 | |
CN111488824B (zh) | 运动提示方法、装置、电子设备和存储介质 | |
Yang et al. | Faceness-net: Face detection through deep facial part responses | |
Raheja et al. | Robust gesture recognition using Kinect: A comparison between DTW and HMM | |
Liwicki et al. | Automatic recognition of fingerspelled words in british sign language | |
CN104350509B (zh) | 快速姿势检测器 | |
Kumar et al. | Sign language recognition | |
US6944315B1 (en) | Method and apparatus for performing scale-invariant gesture recognition | |
WO2020078017A1 (zh) | 用于识别空中手写的方法、装置、设备以及计算机可读存储介质 | |
Zhang et al. | A novel method for user-defined human posture recognition using Kinect | |
CN112926423B (zh) | 捏合手势检测识别方法、装置及系统 | |
CN109657533A (zh) | 行人重识别方法及相关产品 | |
Alrubayi et al. | A pattern recognition model for static gestures in malaysian sign language based on machine learning techniques | |
US10755422B2 (en) | Tracking system and method thereof | |
Ali et al. | Object recognition for dental instruments using SSD-MobileNet | |
Ruan et al. | Dynamic gesture recognition based on improved DTW algorithm | |
CN110633004A (zh) | 基于人体姿态估计的交互方法、装置和系统 | |
Beg et al. | Text writing in the air | |
CN108614988A (zh) | 一种复杂背景下的运动手势自动识别系统 | |
Elakkiya et al. | Intelligent system for human computer interface using hand gesture recognition | |
Keceli et al. | Recognition of basic human actions using depth information | |
Dixit et al. | Real time hand detection & tracking for dynamic gesture recognition | |
CN110728172B (zh) | 基于点云的人脸关键点检测方法、装置、系统及存储介质 | |
Xu et al. | A novel method for hand posture recognition based on depth information descriptor | |
Abdallah et al. | An overview of gesture recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |