CN107301370A - 一种基于Kinect三维骨架模型的肢体动作识别方法 - Google Patents
一种基于Kinect三维骨架模型的肢体动作识别方法 Download PDFInfo
- Publication number
- CN107301370A CN107301370A CN201710315125.7A CN201710315125A CN107301370A CN 107301370 A CN107301370 A CN 107301370A CN 201710315125 A CN201710315125 A CN 201710315125A CN 107301370 A CN107301370 A CN 107301370A
- Authority
- CN
- China
- Prior art keywords
- msub
- mrow
- mtd
- data
- kinect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于Kinect三维骨架模型的肢体动作识别方法,利用Kinect摄像头采集肢体动作的骨架数据流,包含了人体骨架关节点在三维空间中的坐标信息,对骨架数据流中的数据进行预处理,提取骨架关节角描述符作为肢体动作的特征数据,将特征数据分类并采用随机森林分离器进行肢体动作识别。本发明采用Kinect采集肢体运动的三维骨架数据,不受环境和光照的影响,利用Kinect骨架追踪的特点,解决了部分自遮挡的问题;采用数据预处理使得特征具有尺度不变性、平移不变性和视角无关性;采用关节角描述符特征,通过选取主要关节点去除了动作描述中的冗余数据,可以有效降低数据维度,使得特征提取更为有效。
Description
技术领域
本发明涉及视频图像中人体动作特征提取和分类技术领域,具体涉及一种基于Kinect三维骨架模型的肢体动作识别方法。
背景技术
基于计算机视觉和图像处理的人体肢体动作特征提取和分类技术,通常利用摄像头及传感器捕获的人体运动信息,通过动作特征描述、特征提取和动作分类等模式识别和机器学习方法来实现。这一技术在视频监控、人机交互、运动分析、虚拟现实和机器人等领域具有广泛的应用价值。现有的人体动作数据获取手段有两大类:一是通过可穿戴设备,虽然精度较高,但是由于其价格昂贵且穿戴不便影响人的运动,其应用受到了很大限制;二是利用普通摄像头,不影响人体运动,简单易行且成本低,但是获得的二维图像容易受到光照、纹理等环境噪声的干扰,难以取得有效的动作识别效果。另外,由于人类肢体动作可以看作是高度复杂的非钢体运动,呈现出复杂的动作特征,而不同人体的体型和动作习惯等差异,也导致不同人体做同种动作也会有明显的差异,这些都造成肢体动作识别技术的复杂性。
骨架模型是基于形态学特征的表示方法,利用了人体本身的结构特性,使得特征的选取具有更明确的物理意义,动作数据维度远远小于非模型的数据维度。由于三维运动图像包含了人体在三维空间运动的信息,而且不受光照、纹理等环境因素的影响,可以为肢体动作识别方法提供了更有效的数据信息。目前流行的Kinect摄像头可以同时捕获RGB彩色图像和场景深度信息,它提供的人体三维骨架模型可以给出骨架关节点的三维空间坐标数据。因此,采用基于Kinect三维骨架模型的人类肢体动作识别技术,结合了骨架模型与三维图像数据的优势,具有更好的鲁棒性。
发明内容
本发明提出了一种基于Kinect三维骨架模型的肢体动作识别方法,用于对视频图像中人体活动时的肢体动作进行特征提取和分类识别。该方法是实现智能视频监控、人机交互、运动分析、虚拟现实和智能机器人等技术的基础。
为达到上述目的,本发明的构思是:
针对三维骨架序列动作,设计一种关节角描述符特征,串联三个投影平面的关节角描述符以有效降低数据维度。在特征提取前对原始数据进行预处理,使得特征具有尺度不变性、平移不变性和视角无关性,并使用时间金字塔模型捕获动作的时序性,使得特征能够有效描述原始动作序列的时间和空间特性。最后对提取的特征使用随机森林分类器进行分类以达到肢体动作识别的目的。
根据上述构思,本发明采用如下技术方案:
一种基于Kinect三维骨架模型的肢体动作识别方法,利用Kinect摄像头采集肢体动作的骨架数据流,包含了人体骨架关节点在三维空间中的坐标信息,对骨架数据流中的数据进行预处理,提取骨架关节角描述符作为肢体动作的特征数据,将特征数据分类并采用随机森林分离器进行肢体动作识别。
所述数据预处理包括以下三个主要步骤:
1)归一化处理:选择脊柱关节点作为参考坐标系的坐标原点Jref(xref,yref,zref),则第i个关节点的坐标归一化后为J'i(xi,yizi)=Ji(xi,yizi)-Jref(xref,yref,zref),其中,Ji(xi,yizi)为第i个关节点坐标;
2)标准化处理:对关节点坐标数据按照以下公式进行标准化处理:
其中,μ是均值,σ是标准差;通过计算,得到新的关节点坐标为:
3)旋转变换:定义连接右肩和左肩的线段所在的直线为参考坐标系中的X轴,然后计算原始X轴与新的参考坐标系中X轴之间的夹角θ,并通过下式对所有骨架关节点沿着Y轴做旋转变换,即旋转-θ角度:
其中,(x y z)是旋转变换前的关节点坐标,(x' y' z')是旋转变换后的关节点坐标。
所述骨架关节角特征数据提取方法包括以下四个主要步骤:
1)从预处理后的数据中筛选出主要关节点,包括对上肢动作选取左手和右手关节点作为主要关节点,对全身肢体动作选取头部、左手、右手、左脚和右脚关节点作为主要关节点;
2)将三维骨架数据分别投影到XY、YZ和ZX这三个正交的二维平面上;
3)计算主要关节点与坐标原点所构成向量与水平轴之间夹角的分布情况,并使用时间金字塔模型捕获动作的时序性,使得特征能够有效描述原始动作序列的时间和空间特性;
4)串联三个投影面的夹角分布得到基于关节角的肢体动作特征。
所述特征数据分类与肢体动作识别包括以下三个主要步骤:
1)将经过数据预处理和特征提取得到的特征数据分为训练数据和测试数据两大类;
2)采用随机森林分类器,将训练数据作为分类器的输入,对其参数进行调整,达到训练分离器的目的;
3)将测试数据输入到已训练好的分类器进行测试,得出每个肢体动作样本的类别属性,完成识别任务。
与现有技术相比,本发明具有如下突出的实质性特点和显著的进步:
本发明采用Kinect采集肢体运动的三维骨架数据,不受环境和光照的影响,利用Kinect骨架追踪的特点,解决了部分自遮挡的问题;采用数据预处理使得特征具有尺度不变性、平移不变性和视角无关性;采用关节角描述符特征,通过选取主要关节点去除了动作描述中的冗余数据,可以有效降低数据维度,使得特征提取更为有效。
附图说明
图1为基于Kinect骨架模型的肢体动作识别方法的结构框图。
图2为Kinect获取的20个人体骨架关节点示意图。
图3为一主要关节点J的关节角示意图。
图4为一个两层时间金字塔模型示意图。
具体实施方式
下面结合附图对本发明的实施方式作进一步详细描述。
如图1所示,一种基于Kinect三维骨架模型的肢体动作识别方法,具体步骤如下:
步骤1:利用Kinec摄像头采集肢体动作的骨架数据流,该数据流包括了Kinect所提供的20个人体骨架关节点的三维空间坐标,具体为:
利用Kinect摄像头采集不同身高、性别人体样本的以下动作数据:高度挥手、水平挥手、敲打、抓取、前推、高处扔、画叉、画圆、画勾、拍手、双手高度拍手、单手拳击、弯腰、前踢腿、侧踢腿、挥网球拍、发网球、挥高尔夫球杆、捡起扔。因此,该数据流包括了Kinect所提供的20个骨架关节点的三维空间坐标,如图2所示,它们分别是头、肩中心、左肩、左肘、左手腕、左手、右肩、右手、右肘、右手腕、脊柱、髋关节中心、左臀部、左膝盖、左脚踝、左脚、右臀部、右膝盖、右脚踝和右脚。此外,动作不仅限于人体正面对着Kinect摄像头的视角数据,还可以包括左右侧面的视角数据。
步骤2:对骨架数据进行归一化、标准化和旋转变换等预处理,使得该方法具有尺度不变性、平移不变性和视角无关性,具体为:
1)归一化处理。选择脊柱关节点作为参考坐标系的原点坐标Jref(xref,yref,zref),则第i个关节点坐标归一化后为:J'i(xi,yizi)=Ji(xi,yizi)-Jref(xref,yref,zref)。
2)标准化处理,公式如下:
其中,μ是均值,σ是标准差。通过计算,可得到新的关节点坐标:
3)针对不同视角情况下采集的数据,在步骤2)的基础上,对骨架数据进行旋转变换,使其全部转换为正面视角数据,使得后续的特征提取与动作分类不受视角变化的影响。定义连接右肩和左肩的线段所在的直线为参考坐标系中的x轴,然后计算原始x轴与新的参考坐标系中x轴的夹角θ,通过下式对所有骨架关节点的做旋转变换,使其沿着y轴旋转-θ角度:
其中,(x y z)是旋转变换前的关节点坐标,(x' y' z')是旋转变换后的关节点坐标。
步骤3:提取骨架关节角描述符作为肢体动作的特征数据,具体为:
1)根据肢体动作中各肢体运动幅度情况,选取运动幅度较大的关节点作为主要关节点,减少关节点对动作的冗余描述。例如,对上肢动作选取左手、右手关节点作为主要关节点,对全身肢体动作选取头部、左手、右手、左脚和右脚关节点作为主要关节点。
2)将主要关节点的三维坐标投影到XY、YZ和ZX这三个正交的二维平面上,计算每一个主要关节点与坐标原点所构成向量与水平轴向量的夹角,统计其分布情况,得到关节角直方图。如图3所示是一个主要关节角J在XY平面上的投影,θ为OJ与OX的夹角,即上述两向量间的夹角。
3)为了捕获所提取动作特征的时间顺序,加入两层时间金字塔模型。如图4所示是一个两层时间金字塔模型,将所有特征作为顶层特征,然后将顶层特征平均分为三份,串联这三份作为下一层特征。
4)针对每一个主要关节点计算得到三个投影平面关节角直方图,将三个平面的直方图串联,得到关于每一个主要关节点的特征描述符。
步骤4:将特征数据分类并采用随机森林分离器进行肢体动作识别,具体为:
1)将通过上述步骤得到的特征数据分为两个部分,一部分是训练数据,另一部分是测试数据。
2)将训练数据作为随机森林分类器的输入,通过训练分离器,对其参数进行调整。
3)将测试数据输入到训练好的随机森林模型进行,得出每个肢体动作样本的类别属性,完成动作识别任务。
Claims (4)
1.一种基于Kinect三维骨架模型的肢体动作识别方法,其特征在于:利用Kinect摄像头采集肢体动作的骨架数据流,包含了人体骨架关节点在三维空间中的坐标信息,对骨架数据流中的数据进行预处理,提取骨架关节角描述符作为肢体动作的特征数据,将特征数据分类并采用随机森林分离器进行肢体动作识别。
2.根据权利要求1所述的基于Kinect三维骨架模型的肢体动作识别方法,其特征在于:所述数据预处理包括以下三个主要步骤:
1)归一化处理:选择脊柱关节点作为参考坐标系的坐标原点Jref(xref,yref,zref),则第i个关节点的坐标归一化为J'i(xi,yizi)=Ji(xi,yizi)-Jref(xref,yref,zref),其中,Ji(xi,yizi)为第i个关节点坐标;
2)标准化处理:对关节点坐标数据按照以下公式进行标准化处理:
<mrow>
<mi>Z</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>z</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>z</mi>
</msub>
<mo>,</mo>
<msub>
<mi>z</mi>
<mi>z</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&lsqb;</mo>
<mi>x</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
</mrow>
</msub>
<msub>
<mi>z</mi>
<mi>x</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>&mu;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>&mu;</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>&mu;</mi>
</msub>
<mo>,</mo>
<msub>
<mi>z</mi>
<mi>&mu;</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>&sigma;</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>&sigma;</mi>
</msub>
<mo>,</mo>
<msub>
<mi>z</mi>
<mi>&sigma;</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中,μ是均值,σ是标准差;通过计算,得到新的关节点坐标为:
<mrow>
<msub>
<mover>
<mi>J</mi>
<mo>~</mo>
</mover>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</msub>
<msub>
<mi>z</mi>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msub>
<mover>
<mi>J</mi>
<mo>~</mo>
</mover>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mrow>
<mn>2</mn>
<mo>,</mo>
</mrow>
</msub>
<msub>
<mi>z</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mover>
<mi>J</mi>
<mo>~</mo>
</mover>
<mn>20</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>20</mn>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mrow>
<mn>20</mn>
<mo>,</mo>
</mrow>
</msub>
<msub>
<mi>z</mi>
<mn>20</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
3)旋转变换:定义连接右肩和左肩的线段所在的直线为参考坐标系中的X轴,然后计算原始X轴与新的参考坐标系中X轴之间的夹角θ,并通过下式对所有骨架关节点沿着Y轴做旋转变换,即旋转-θ角度:
<mrow>
<mo>(</mo>
<mtable>
<mtr>
<mtd>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
</mtd>
<mtd>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
</mtd>
<mtd>
<msup>
<mi>z</mi>
<mo>&prime;</mo>
</msup>
</mtd>
</mtr>
</mtable>
<mo>)</mo>
<mo>=</mo>
<mo>(</mo>
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
<mtd>
<mi>y</mi>
</mtd>
<mtd>
<mi>z</mi>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
<mo>)</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中,(x y z)是旋转变换前的关节点坐标,(x' y' z')是旋转变换后的关节点坐标。
3.根据权利要求1所述的基于Kinect三维骨架模型的肢体动作识别方法,其特征在于:所述骨架关节角特征数据提取方法包括以下四个主要步骤:
1)从预处理后的数据中筛选出主要关节点,包括对上肢动作选取左手和右手关节点作为主要关节点,对全身肢体动作选取头部、左手、右手、左脚和右脚关节点作为主要关节点;
2)将三维骨架数据分别投影到XY、YZ和ZX这三个正交的二维平面上;
3)计算主要关节点与坐标原点所构成向量与水平轴之间夹角的分布情况,并使用时间金字塔模型捕获动作的时序性,使得特征能够有效描述原始动作序列的时间和空间特性;
4)串联三个投影面的夹角分布得到基于关节角的肢体动作特征。
4.根据权利要求1所述的基于Kinect三维骨架模型的肢体动作识别方法,其特征在于:所述特征数据分类与肢体动作识别包括以下三个主要步骤:
1)将经过数据预处理和特征提取得到的特征数据分为训练数据和测试数据两大类;
2)采用随机森林分类器,将训练数据作为分类器的输入,对其参数进行调整,达到训练分离器的目的;
3)将测试数据输入到已训练好的分类器进行测试,得出每个肢体动作样本的类别属性,完成识别任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710315125.7A CN107301370B (zh) | 2017-05-08 | 2017-05-08 | 一种基于Kinect三维骨架模型的肢体动作识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710315125.7A CN107301370B (zh) | 2017-05-08 | 2017-05-08 | 一种基于Kinect三维骨架模型的肢体动作识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107301370A true CN107301370A (zh) | 2017-10-27 |
CN107301370B CN107301370B (zh) | 2020-10-16 |
Family
ID=60137097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710315125.7A Active CN107301370B (zh) | 2017-05-08 | 2017-05-08 | 一种基于Kinect三维骨架模型的肢体动作识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107301370B (zh) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107908288A (zh) * | 2017-11-30 | 2018-04-13 | 沈阳工业大学 | 一种面向人机交互的快速人体动作识别方法 |
CN108304819A (zh) * | 2018-02-12 | 2018-07-20 | 北京易真学思教育科技有限公司 | 姿态识别系统及方法、存储介质 |
CN108717531A (zh) * | 2018-05-21 | 2018-10-30 | 西安电子科技大学 | 基于Faster R-CNN的人体姿态估计方法 |
CN108764107A (zh) * | 2018-05-23 | 2018-11-06 | 中国科学院自动化研究所 | 基于人体骨架序列的行为与身份联合识别方法及装置 |
CN109086706A (zh) * | 2018-07-24 | 2018-12-25 | 西北工业大学 | 应用于人机协作中的基于分割人体模型的动作识别方法 |
CN109241853A (zh) * | 2018-08-10 | 2019-01-18 | 平安科技(深圳)有限公司 | 行人特征采集方法、装置、计算机设备及存储介质 |
CN109255293A (zh) * | 2018-07-31 | 2019-01-22 | 浙江理工大学 | 基于计算机视觉的模特走秀台步评价方法 |
CN109271845A (zh) * | 2018-07-31 | 2019-01-25 | 浙江理工大学 | 基于计算机视觉的人体动作分析与评价方法 |
CN109344694A (zh) * | 2018-08-13 | 2019-02-15 | 西安理工大学 | 一种基于三维人体骨架的人体基本动作实时识别方法 |
CN109389041A (zh) * | 2018-09-07 | 2019-02-26 | 南京航空航天大学 | 一种基于关节点特征的跌倒检测方法 |
CN109446871A (zh) * | 2018-06-01 | 2019-03-08 | 浙江理工大学 | 一种基于多项式拟合的模特走秀动作评价方法 |
CN109508688A (zh) * | 2018-11-26 | 2019-03-22 | 平安科技(深圳)有限公司 | 基于骨架的行为检测方法、终端设备及计算机存储介质 |
CN109670401A (zh) * | 2018-11-15 | 2019-04-23 | 天津大学 | 一种基于骨骼运动图的动作识别方法 |
CN109934881A (zh) * | 2017-12-19 | 2019-06-25 | 华为技术有限公司 | 图像编码方法、动作识别的方法及计算机设备 |
CN110458944A (zh) * | 2019-08-08 | 2019-11-15 | 西安工业大学 | 一种基于双视角Kinect关节点融合的人体骨架重建方法 |
CN111079535A (zh) * | 2019-11-18 | 2020-04-28 | 华中科技大学 | 一种人体骨架动作识别方法、装置及终端 |
CN111242982A (zh) * | 2020-01-02 | 2020-06-05 | 浙江工业大学 | 一种基于渐进卡尔曼滤波的人体目标跟踪方法 |
CN111310590A (zh) * | 2020-01-20 | 2020-06-19 | 北京西米兄弟未来科技有限公司 | 一种动作识别方法及电子设备 |
CN111353447A (zh) * | 2020-03-05 | 2020-06-30 | 辽宁石油化工大学 | 一种基于图卷积网络的人体骨架行为识别方法 |
CN112101273A (zh) * | 2020-09-23 | 2020-12-18 | 浙江浩腾电子科技股份有限公司 | 一种基于2d骨架的数据预处理方法 |
CN112233769A (zh) * | 2020-10-12 | 2021-01-15 | 安徽动感智能科技有限公司 | 一种基于数据采集的患后康复系统 |
CN112270276A (zh) * | 2020-11-02 | 2021-01-26 | 重庆邮电大学 | 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法 |
CN112733704A (zh) * | 2021-01-07 | 2021-04-30 | 浙江大学 | 图像处理方法、电子设备和计算机可读存储介质 |
CN113011381A (zh) * | 2021-04-09 | 2021-06-22 | 中国科学技术大学 | 基于骨骼关节数据的双人动作识别方法 |
CN113065505A (zh) * | 2021-04-15 | 2021-07-02 | 中国标准化研究院 | 身体动作快速识别方法及系统 |
CN113298938A (zh) * | 2021-06-23 | 2021-08-24 | 东莞市小精灵教育软件有限公司 | 一种辅助建模方法、系统、可穿戴智能设备及vr设备 |
CN113435236A (zh) * | 2021-02-20 | 2021-09-24 | 哈尔滨工业大学(威海) | 居家老人姿态检测方法、系统、存储介质、设备及应用 |
CN113537122A (zh) * | 2021-07-28 | 2021-10-22 | 浙江大华技术股份有限公司 | 动作识别方法和装置、存储介质及电子设备 |
CN116168350A (zh) * | 2023-04-26 | 2023-05-26 | 四川路桥华东建设有限责任公司 | 基于物联网实现施工人员违规行为的智能监测方法及装置 |
US11854305B2 (en) | 2021-05-09 | 2023-12-26 | International Business Machines Corporation | Skeleton-based action recognition using bi-directional spatial-temporal transformer |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102708377A (zh) * | 2012-04-25 | 2012-10-03 | 中国科学院计算技术研究所 | 虚拟人组合任务规划方法 |
CN103529944A (zh) * | 2013-10-17 | 2014-01-22 | 合肥金诺数码科技股份有限公司 | 一种基于Kinect的人体动作识别方法 |
CN103577793A (zh) * | 2012-07-27 | 2014-02-12 | 中兴通讯股份有限公司 | 手势识别方法及装置 |
CN103886588A (zh) * | 2014-02-26 | 2014-06-25 | 浙江大学 | 一种三维人体姿态投影的特征提取方法 |
CN104573665A (zh) * | 2015-01-23 | 2015-04-29 | 北京理工大学 | 一种基于改进维特比算法的连续动作识别方法 |
CN104750397A (zh) * | 2015-04-09 | 2015-07-01 | 重庆邮电大学 | 一种基于体感的虚拟矿井自然交互方法 |
IN2014MU00986A (zh) * | 2014-03-24 | 2015-10-02 | Tata Consultancy Services Ltd | |
CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
-
2017
- 2017-05-08 CN CN201710315125.7A patent/CN107301370B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102708377A (zh) * | 2012-04-25 | 2012-10-03 | 中国科学院计算技术研究所 | 虚拟人组合任务规划方法 |
CN103577793A (zh) * | 2012-07-27 | 2014-02-12 | 中兴通讯股份有限公司 | 手势识别方法及装置 |
CN103529944A (zh) * | 2013-10-17 | 2014-01-22 | 合肥金诺数码科技股份有限公司 | 一种基于Kinect的人体动作识别方法 |
CN103886588A (zh) * | 2014-02-26 | 2014-06-25 | 浙江大学 | 一种三维人体姿态投影的特征提取方法 |
IN2014MU00986A (zh) * | 2014-03-24 | 2015-10-02 | Tata Consultancy Services Ltd | |
CN104573665A (zh) * | 2015-01-23 | 2015-04-29 | 北京理工大学 | 一种基于改进维特比算法的连续动作识别方法 |
CN104750397A (zh) * | 2015-04-09 | 2015-07-01 | 重庆邮电大学 | 一种基于体感的虚拟矿井自然交互方法 |
CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
Non-Patent Citations (2)
Title |
---|
XI CHEN ET AL.: "Skeleton-based action recognition with extreme learing machines", 《NEUROCOMPUTING》 * |
黄枢子 等: "基于三维骨架模型的人体动作划分与匹配", 《第三十二届中国控制会议》 * |
Cited By (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107908288A (zh) * | 2017-11-30 | 2018-04-13 | 沈阳工业大学 | 一种面向人机交互的快速人体动作识别方法 |
CN109934881A (zh) * | 2017-12-19 | 2019-06-25 | 华为技术有限公司 | 图像编码方法、动作识别的方法及计算机设备 |
US11303925B2 (en) | 2017-12-19 | 2022-04-12 | Huawei Technologies Co., Ltd. | Image coding method, action recognition method, and action recognition apparatus |
US11825115B2 (en) | 2017-12-19 | 2023-11-21 | Huawei Technologies Co., Ltd. | Image coding method, action recognition method, and action recognition apparatus |
CN108304819A (zh) * | 2018-02-12 | 2018-07-20 | 北京易真学思教育科技有限公司 | 姿态识别系统及方法、存储介质 |
CN108304819B (zh) * | 2018-02-12 | 2021-02-02 | 北京世纪好未来教育科技有限公司 | 姿态识别系统及方法、存储介质 |
CN108717531A (zh) * | 2018-05-21 | 2018-10-30 | 西安电子科技大学 | 基于Faster R-CNN的人体姿态估计方法 |
CN108717531B (zh) * | 2018-05-21 | 2021-06-08 | 西安电子科技大学 | 基于Faster R-CNN的人体姿态估计方法 |
CN108764107A (zh) * | 2018-05-23 | 2018-11-06 | 中国科学院自动化研究所 | 基于人体骨架序列的行为与身份联合识别方法及装置 |
CN109446871B (zh) * | 2018-06-01 | 2024-02-09 | 浙江理工大学 | 一种基于多项式拟合的模特走秀动作评价方法 |
CN109446871A (zh) * | 2018-06-01 | 2019-03-08 | 浙江理工大学 | 一种基于多项式拟合的模特走秀动作评价方法 |
CN109086706B (zh) * | 2018-07-24 | 2021-06-15 | 西北工业大学 | 应用于人机协作中的基于分割人体模型的动作识别方法 |
CN109086706A (zh) * | 2018-07-24 | 2018-12-25 | 西北工业大学 | 应用于人机协作中的基于分割人体模型的动作识别方法 |
CN109271845A (zh) * | 2018-07-31 | 2019-01-25 | 浙江理工大学 | 基于计算机视觉的人体动作分析与评价方法 |
CN109255293A (zh) * | 2018-07-31 | 2019-01-22 | 浙江理工大学 | 基于计算机视觉的模特走秀台步评价方法 |
CN109241853A (zh) * | 2018-08-10 | 2019-01-18 | 平安科技(深圳)有限公司 | 行人特征采集方法、装置、计算机设备及存储介质 |
CN109241853B (zh) * | 2018-08-10 | 2023-11-24 | 平安科技(深圳)有限公司 | 行人特征采集方法、装置、计算机设备及存储介质 |
CN109344694B (zh) * | 2018-08-13 | 2022-03-22 | 西安理工大学 | 一种基于三维人体骨架的人体基本动作实时识别方法 |
CN109344694A (zh) * | 2018-08-13 | 2019-02-15 | 西安理工大学 | 一种基于三维人体骨架的人体基本动作实时识别方法 |
CN109389041A (zh) * | 2018-09-07 | 2019-02-26 | 南京航空航天大学 | 一种基于关节点特征的跌倒检测方法 |
CN109670401A (zh) * | 2018-11-15 | 2019-04-23 | 天津大学 | 一种基于骨骼运动图的动作识别方法 |
CN109508688A (zh) * | 2018-11-26 | 2019-03-22 | 平安科技(深圳)有限公司 | 基于骨架的行为检测方法、终端设备及计算机存储介质 |
CN109508688B (zh) * | 2018-11-26 | 2023-10-13 | 平安科技(深圳)有限公司 | 基于骨架的行为检测方法、终端设备及计算机存储介质 |
CN110458944A (zh) * | 2019-08-08 | 2019-11-15 | 西安工业大学 | 一种基于双视角Kinect关节点融合的人体骨架重建方法 |
CN111079535B (zh) * | 2019-11-18 | 2022-09-16 | 华中科技大学 | 一种人体骨架动作识别方法、装置及终端 |
CN111079535A (zh) * | 2019-11-18 | 2020-04-28 | 华中科技大学 | 一种人体骨架动作识别方法、装置及终端 |
CN111242982A (zh) * | 2020-01-02 | 2020-06-05 | 浙江工业大学 | 一种基于渐进卡尔曼滤波的人体目标跟踪方法 |
CN111310590B (zh) * | 2020-01-20 | 2023-07-11 | 北京西米兄弟未来科技有限公司 | 一种动作识别方法及电子设备 |
CN111310590A (zh) * | 2020-01-20 | 2020-06-19 | 北京西米兄弟未来科技有限公司 | 一种动作识别方法及电子设备 |
CN111353447B (zh) * | 2020-03-05 | 2023-07-04 | 辽宁石油化工大学 | 一种基于图卷积网络的人体骨架行为识别方法 |
CN111353447A (zh) * | 2020-03-05 | 2020-06-30 | 辽宁石油化工大学 | 一种基于图卷积网络的人体骨架行为识别方法 |
CN112101273A (zh) * | 2020-09-23 | 2020-12-18 | 浙江浩腾电子科技股份有限公司 | 一种基于2d骨架的数据预处理方法 |
CN112101273B (zh) * | 2020-09-23 | 2022-04-29 | 浙江浩腾电子科技股份有限公司 | 一种基于2d骨架的数据预处理方法 |
CN112233769A (zh) * | 2020-10-12 | 2021-01-15 | 安徽动感智能科技有限公司 | 一种基于数据采集的患后康复系统 |
CN112270276B (zh) * | 2020-11-02 | 2022-05-06 | 重庆邮电大学 | 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法 |
CN112270276A (zh) * | 2020-11-02 | 2021-01-26 | 重庆邮电大学 | 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法 |
CN112733704B (zh) * | 2021-01-07 | 2023-04-07 | 浙江大学 | 图像处理方法、电子设备和计算机可读存储介质 |
CN112733704A (zh) * | 2021-01-07 | 2021-04-30 | 浙江大学 | 图像处理方法、电子设备和计算机可读存储介质 |
CN113435236A (zh) * | 2021-02-20 | 2021-09-24 | 哈尔滨工业大学(威海) | 居家老人姿态检测方法、系统、存储介质、设备及应用 |
CN113011381A (zh) * | 2021-04-09 | 2021-06-22 | 中国科学技术大学 | 基于骨骼关节数据的双人动作识别方法 |
CN113065505B (zh) * | 2021-04-15 | 2023-05-09 | 中国标准化研究院 | 身体动作快速识别方法及系统 |
CN113065505A (zh) * | 2021-04-15 | 2021-07-02 | 中国标准化研究院 | 身体动作快速识别方法及系统 |
US11854305B2 (en) | 2021-05-09 | 2023-12-26 | International Business Machines Corporation | Skeleton-based action recognition using bi-directional spatial-temporal transformer |
CN113298938A (zh) * | 2021-06-23 | 2021-08-24 | 东莞市小精灵教育软件有限公司 | 一种辅助建模方法、系统、可穿戴智能设备及vr设备 |
CN113537122A (zh) * | 2021-07-28 | 2021-10-22 | 浙江大华技术股份有限公司 | 动作识别方法和装置、存储介质及电子设备 |
CN116168350A (zh) * | 2023-04-26 | 2023-05-26 | 四川路桥华东建设有限责任公司 | 基于物联网实现施工人员违规行为的智能监测方法及装置 |
CN116168350B (zh) * | 2023-04-26 | 2023-06-27 | 四川路桥华东建设有限责任公司 | 基于物联网实现施工人员违规行为的智能监测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107301370B (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107301370A (zh) | 一种基于Kinect三维骨架模型的肢体动作识别方法 | |
JP7061694B2 (ja) | 画像処理方法および装置、画像機器、ならびに記憶媒体 | |
CN111144217B (zh) | 一种基于人体三维关节点检测的动作评价方法 | |
CN104699247B (zh) | 一种基于机器视觉的虚拟现实交互系统及方法 | |
CN105389539B (zh) | 一种基于深度数据的三维手势姿态估计方法及系统 | |
US8175326B2 (en) | Automated scoring system for athletics | |
WO2018120964A1 (zh) | 一种基于深度信息和骨骼信息的姿势矫正方法 | |
CN102693413B (zh) | 运动识别 | |
CN109597485B (zh) | 一种基于双指角域特征的手势交互系统及其工作方法 | |
CN104035557B (zh) | 一种基于关节活跃度的Kinect动作识别方法 | |
US20110085705A1 (en) | Detection of body and props | |
CN109086706A (zh) | 应用于人机协作中的基于分割人体模型的动作识别方法 | |
CN108734194A (zh) | 一种面向虚拟现实的基于单深度图的人体关节点识别方法 | |
CN106073793B (zh) | 基于微惯性传感器的姿态跟踪与识别方法 | |
CN106815855A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
CN109359514A (zh) | 一种面向deskVR的手势跟踪识别联合策略方法 | |
CN109800645A (zh) | 一种动作捕捉系统及其方法 | |
CN106293099A (zh) | 手势识别方法及系统 | |
Ning | Design and research of motion video image analysis system in sports training | |
Chaves et al. | Human body motion and gestures recognition based on checkpoints | |
WO2020147791A1 (zh) | 图像处理方法及装置、图像设备及存储介质 | |
CN112183316A (zh) | 一种运动员人体姿态测量方法 | |
KR102314103B1 (ko) | 미용 교육 컨텐츠 생성 장치 및 그 방법 | |
Almasi et al. | Investigating the application of human motion recognition for athletics talent identification using the head-mounted camera | |
Yang et al. | Dance Posture Analysis Based on Virtual Reality Technology and Its Application in Dance Teac. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |