CN105243375B - 一种动作特征提取方法及装置 - Google Patents

一种动作特征提取方法及装置 Download PDF

Info

Publication number
CN105243375B
CN105243375B CN201510734273.3A CN201510734273A CN105243375B CN 105243375 B CN105243375 B CN 105243375B CN 201510734273 A CN201510734273 A CN 201510734273A CN 105243375 B CN105243375 B CN 105243375B
Authority
CN
China
Prior art keywords
tree
model
human body
limbs
motion history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510734273.3A
Other languages
English (en)
Other versions
CN105243375A (zh
Inventor
班晓娟
杨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengniao Innovation Beijing Technology Co ltd
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201510734273.3A priority Critical patent/CN105243375B/zh
Publication of CN105243375A publication Critical patent/CN105243375A/zh
Application granted granted Critical
Publication of CN105243375B publication Critical patent/CN105243375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种动作特征提取方法及装置，能够提升动作识别的准确性和鲁棒性。所述方法包括：获取三维人体骨骼数据；根据获取的三维人体骨骼数据，在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型；根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩。所述装置包括：获取模块：用于获取三维人体骨骼数据；构建模块：用于根据获取的三维人体骨骼数据，在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型；动作特征提取模块：用于根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩。本发明适用于模式识别技术领域。

Description

一种动作特征提取方法及装置
技术领域
本发明涉及模式识别技术领域，特别是指一种动作特征提取方法及装置。
背景技术
在2008年的时候，微软的创始人比尔.盖茨就提出了“自然用户界面”的概念,他预言人机交互的交互方式和交互界面等将会在未来几年内发生重大变化。键盘和鼠标这种传统的windows触摸设备将会被更自然触摸式、语音控制界面和视觉型界面所代替。包括Sony's Morpheus、Google Glass、Microsoft's Kinect都给人带来了虚拟世界感官的体验，这些体感设备是人机交互领域巨大的进步。
人体动作特征提取是人机交互领域重要的一项内容，其目的是让计算机合理的描述人体动作，然后才能自动判断并理解人体目前的动作行为。人体活动理解的核心是识别算法，有效的动作特征提取有利于提高动作识别的准确性。
通常来讲，特征提取方法主要分为3类：基于底层追踪或姿态估计的方法，基于图像处理技术即直接从单帧图像或者视频流中提取特征的方法，基于学习方法得到的属性描述。
基于底层追踪或姿态估计的方法提取特征的有效性依赖于是否能够准确进行目标追踪和人体姿态预先评估的准确性。提取的信息一般都是静态特征或者基于运动信息的运动特征。在真实的环境中，往往要进行上文提过的前景物体分离，即目标追踪，但是在复杂背景或者运动目标较多的环境中，进行准确目标追踪具有极大挑战性，导致这类特征提取方法鲁棒性不是很好。
基于图像处理的方法一般需要对目标物体进行局部或者整体的追踪，而且通常伴随着一定的计算量来获得对图像追踪目标的动作表述，这类方法的缺陷在于受噪声的干扰导致图像特征的提取精度千差万别，并且这种特征方法缺乏对动作行为模式整体性的考虑和全局性的分析。
基于学习的方法依赖于人的经验知识，将人体的动作信息定义到高层的动作属性空间，这种定义一般属于人体动作的自然属性层面，可能对特定场景下的动作识别极为有效，但是在真实的场景中，往往由于动作属性空间不足或者不准确导致动作识别率很低。
发明内容
本发明要解决的技术问题是提供一种动作特征提取方法及装置，以解决现有技术所存在的对动作行为模式缺乏整体性分析、动作识别率很低和鲁棒性差的问题。
为解决上述技术问题，本发明实施例提供一种动作特征提取方法，包括：
获取三维人体骨骼数据；
根据获取的三维人体骨骼数据，在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型；
根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩。
进一步地，所述在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型之前包括：
将处于世界坐标下的三维人体骨骼数据转化为局部坐标系下的三维人体骨骼数据。
进一步地，所述骨骼模型的组织包括：人体的肢体段；
所述树形结构包括：
将胸部肢体当作根节点，作为树形结构的第一层；由根节点向外延伸，头部、腹部、左上手臂、右上手臂作为树形结构的第二层，左下臂、右下臂、左大腿、右大腿作为树形结构的第三层，左小腿，右小腿为树形结构的最后一层。
进一步地，所述运动历史图像和运动能量图像用于表示人体的姿态；
所述根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩包括：
将所述运动能量图像扩展到三维空间，结合构建的肢体树模型，按照二维运动历史图像的生成方法，生成描述人体动作的三维运动历史集；
根据所述三维运动历史集，分别向XY平面、YZ平面和XZ平面做投影得到3个视图，并分别计算3个视图各自对应的Hu不变矩。
进一步地，所述生成描述人体动作的三维运动历史集之前包括：
对所述运动历史图像的各个体素按照时间窗口的大小进行一次体素灰度值更新。
本发明实施例还提供一种动作特征提取装置，包括：
获取模块：用于获取三维人体骨骼数据；
构建模块：用于根据获取的三维人体骨骼数据，在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型；
动作特征提取模块：用于根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩。
进一步地，所述在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型之前包括：
转换模块：用于将处于世界坐标下的三维人体骨骼数据转化为局部坐标系下的三维人体骨骼数据。
进一步地，所述骨骼模型的组织包括：人体的肢体段；
所述树形结构包括：
将胸部肢体当作根节点，作为树形结构的第一层；由根节点向外延伸，头部、腹部、左上手臂、右上手臂作为树形结构的第二层，左下臂、右下臂、左大腿、右大腿作为树形结构的第三层，左小腿，右小腿为树形结构的最后一层。
进一步地，所述运动历史图像和运动能量图像用于表示人体的姿态；
所述动作特征提取模块包括：
三维运动历史集生成单元，用于将所述运动能量图像扩展到三维空间，结合构建的肢体树模型，按照二维运动历史图像的生成方法，生成描述人体动作的三维运动历史集；
Hu不变矩确定单元，用于根据所述三维运动历史集，分别向XY平面、YZ平面和XZ平面做投影得到3个视图，并分别计算3个视图各自对应的Hu不变矩。
进一步地，所述三维运动历史集生成单元，还用于对所述运动历史图像的各个体素按照时间窗口的大小进行一次体素灰度值更新。
本发明的上述技术方案的有益效果如下：
上述方案中，获取三维人体骨骼数据；根据获取的三维人体骨骼数据，在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型；根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩。这样，有效结合运动历史图像、运动能量图像和人体骨骼数据，能够避免单纯的人体骨骼数据的不稳定性和深度信息的不准确性，且通过构建的肢体树模型，得到人体肢体动作的关键姿态信息，模拟真实的人体，同时避免了在获取到非关键动作姿态信息，能够更好的表示人体动作特征，从而提高人体动作识别的准确性和鲁棒性。
附图说明
图1为本发明实施例提供的动作特征提取方法的流程图；
图2为本发明实施例提供的人体20个骨骼关节点示意图；
图3为本发明实施例提供的世界坐标系转换为局部坐标系示意图；
图4为本发明实施例提供的肢体树模型示意图；
图5为本发明实施例提供的三维运动历史集示意图；
图6为本发明实施例提供的动作特征提取装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的对动作行为模式缺乏整体性分析、动作识别率很低和鲁棒性差的问题，提供一种动作特征提取方法及装置。
实施例一
参看图1所示，本发明实施例提供的一种动作特征提取方法，包括：
S1，获取三维人体骨骼数据；
S2，根据获取的三维人体骨骼数据，在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型；
S3，根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩。
本发明实施例所述的动作特征提取方法，获取三维人体骨骼数据；根据获取的三维人体骨骼数据，在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型；根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩。这样，有效结合运动历史图像、运动能量图像和人体骨骼数据，能够避免单纯的人体骨骼数据的不稳定性和深度信息的不准确性，且通过构建的肢体树模型，得到人体肢体动作的关键姿态信息，模拟真实的人体，同时避免了在获取到非关键动作姿态信息，能够更好的表示人体动作特征，从而提高人体动作识别的准确性和鲁棒性。
本发明实施例中，可以通过体感相机采集所述三维人体骨骼数据；如图2所示，通过体感相机标定人体的20个骨骼关节点，并且能够对这个20个关节点的三维坐标进行实时追踪。该坐标系统完全依赖于体感相机，体感相机本身的传感器的摆放位置会影响骨骼空间坐标系。当传感器的放置位置位于非水平的表面或者传动马达调整有效视角范围的时候，在最终的图像中，尽管人笔直的站立，但却显示为倾斜的。为了弥补上述缺陷，在每个骨骼帧数据中添加了一个表示重力值。该值是由体感相机本身的三维加速度计和传感器测量来配合计算得到的。加速度计用来测量重力的方向，并将其作为与水平面垂直的向量。
在前述动作特征提取方法的具体实施方式中，进一步地，所述在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型之前包括：
将处于世界坐标下的三维人体骨骼数据转化为局部坐标系下的三维人体骨骼数据。
为了更好的理解本发明实施例，先对世界坐标系、体坐标系和局部坐标系进行说明：
世界坐标系就是指通常所说的相机坐标系；体坐标系指以脊椎骨骼关节点为原点建立的三维坐标系，在体坐标系下，其余的骨骼关节点的运动都是相对于脊椎骨骼关节点的；局部坐标系指的是一般的肢体坐标系。
如图3所示，展示了由世界坐标系转化为局部坐标系的流程，其过程也是使用四个骨骼关节点的世界坐标构造三维基向量局部坐标U,V,W的过程，以左肩点、右肩点、脊椎点、肩部中心点的世界坐标为例，首先连接左肩点和右肩点，连接脊椎点和肩部中心点形成两个向量，然后利用右手定则，求得左肩点连接右肩点向量的法向量u，然后再利用右手定则求得向量u和脊椎点连接肩部中心向量的法向量v,那么向量u,v和脊椎点连接肩部中心向量就是所求的基向量。
本发明实施例中，假设U,V,W为世界坐标系的基向量，spinePosition_w为脊椎骨骼关节点的世界坐标，shoulderCenterPositon_w为肩部中心点的世界坐标，shoulderCenterPosition_b为肩部中心点的体坐标，(x，y，z)表示位置信息，将世界坐标系转化为体坐标系的的公式如下：
本发明实施例中，假设U,V,W为体坐标系的基向量，shoulderCenterPosition_b为肩部中心点的体坐标，sshoulderCenterPositon_l为肩部中心点的局部坐标，将体坐标系转换为局部坐标系的公式如下：
本发明实施例中，根据上述转换公式，将处于世界坐标下的三维人体骨骼数据转化为局部坐标系下的三维人体骨骼数据。
在前述动作特征提取方法的具体实施方式中，进一步地，所述骨骼模型的组织包括：人体的肢体段；
所述树形结构包括：
将胸部肢体当作根节点，作为树形结构的第一层；由根节点向外延伸，头部、腹部、左上手臂、右上手臂作为树形结构的第二层，左下臂、右下臂、左大腿、右大腿作为树形结构的第三层，左小腿，右小腿为树形结构的最后一层。
本发明实施例中，将处于世界坐标下的三维人体骨骼数据转化为局部坐标系下的三维人体骨骼数据之后，在局部坐标系下，采用树形结构对人体的各个肢体段进行构造存储。具体地，把胸部肢体当作根节点，作为树形结构的第一层；由根节点向外延伸，头部、腹部、左上手臂、右上手臂作为树形结构的第二层，左下臂、右下臂、左大腿、右大腿作为树形结构的第三层，左小腿，右小腿为树形结构的最后一层，如图4所示。
在前述动作特征提取方法的具体实施方式中，进一步地，所述运动历史图像和运动能量图像用于表示人体的姿态；
所述根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩包括：
将所述运动能量图像扩展到三维空间，结合构建的肢体树模型，按照二维运动历史图像的生成方法，生成描述人体动作的三维运动历史集；
根据所述三维运动历史集，分别向XY平面、YZ平面和XZ平面做投影得到3个视图，并分别计算3个视图各自对应的Hu不变矩。
在前述动作特征提取方法的具体实施方式中，进一步地，所述生成描述人体动作的三维运动历史集之前包括：
对所述运动历史图像的各个体素按照时间窗口的大小进行一次体素灰度值更新。
本发明实施例中，获取表示人体姿态的运动历史图像和运动能量图像，结合构建的肢体树模型，得到描述人体动作的三维运动历史集；在将二维的运动历史图像扩展到三维运动历史集之前，首先需要将运动能量图像扩展到三维空间，然后，按照二维运动历史图像的生成方法生成三维运动历史集，如图5所示。三维图体中体素的插值公式具体如下：
式中，B(x,y,z,t)＝1表示：在时间点t，位置(x,y,z)的时候，运动经过的位置，τ值代表一个时间窗口，记录了一个动作在动作历史图像所持续的时间。B(x,y,z,t)≠1表示，在时间点t，位置(x,y,z)的时候，运动没有经过的位置。
运动历史图像与每个人运动的快慢相关，为了降低运动历史集对运动速度的依赖性，本发明将运动历史图像的运动持续时间进行了归一化处理。具体的做法就是对获得的运动历史图像的各个体素按照时间窗口的大小进行一次体素灰度值更新：
式中，tmax、tmin分别对应运动过程的结束时间点和开始时间点。
本发明实施例中，根据生成的三维运动历史集，分别向XY平面、YZ平面和XZ平面做投影得到3个视图，并分别计算3个视图各自对应的Hu不变矩，也就是说，用同一个运动历史图集的三视图来表示一动作。
本发明实施例中，Hu不变矩是一种经典的动作特征描述算子，具有尺度、位移和旋转不变性。Hu矩组或者不变矩组表示为：
M1＝η20+η02；
M3＝(η30-3η12)2+(3η21-η03)2；
M4＝(η30+η12)2+(η21+η03)2；
1.M5＝(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]
+(η03-3η21)(η03+η21)[(η03+η21)2-3(η12+η30)2]；
M6＝(η20-η02)[(η30+η12)2-(η21+η03)2]
+4η11(η30+η12)(η21+η03)；
M7＝(3η21-η03)(η30+η21)[(η30+η12)2-3(η21+η03)2]
-(3η12-η30)(η03+η21)[(η03+η21)2-3(η12+η30)2]；
由于7个Hu不变矩的变化范围比较大，而且可能出现负值，直接作为不变矩特征向量对于动作识别的效果不是很好，所以实际采用的矩值需要按照如下公式进行修正：
Mk＝log|Mk|，k＝1,2,3,4,5,6,7
经过修正后的不变矩组仍然保持平移、旋转、缩放的不变性。通过上述公式可以得到三个不同的Hu不变矩组，即动作特征提取结果。
实施例二
本发明还提供一种动作特征提取装置的具体实施方式，由于本发明提供的动作特征提取装置与前述动作特征提取方法的具体实施方式相对应，该动作特征提取装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述动作特征提取方法具体实施方式中的解释说明，也适用于本发明提供的动作特征提取装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图6所示，本发明实施例还提供一种动作特征提取装置，包括：
获取模块101：用于获取三维人体骨骼数据；
构建模块102：用于根据获取的三维人体骨骼数据，在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型；
动作特征提取模块103：用于根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩。
本发明实施例所述的动作特征提取装置，获取三维人体骨骼数据；根据获取的三维人体骨骼数据，在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型；根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩。这样，有效结合运动历史图像、运动能量图像和人体骨骼数据，能够避免单纯的人体骨骼数据的不稳定性和深度信息的不准确性，且通过构建的肢体树模型，得到人体肢体动作的关键姿态信息，模拟真实的人体，同时避免了在获取到非关键动作姿态信息，能够更好的表示人体动作特征，从而提高人体动作识别的准确性和鲁棒性。
在前述动作特征提取装置的具体实施方式中，进一步地，所述在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型之前包括：
转换模块：用于将处于世界坐标下的三维人体骨骼数据转化为局部坐标系下的三维人体骨骼数据。
在前述动作特征提取装置的具体实施方式中，进一步地，所述骨骼模型的组织包括：人体的肢体段；
所述树形结构包括：
将胸部肢体当作根节点，作为树形结构的第一层；由根节点向外延伸，头部、腹部、左上手臂、右上手臂作为树形结构的第二层，左下臂、右下臂、左大腿、右大腿作为树形结构的第三层，左小腿，右小腿为树形结构的最后一层。
在前述动作特征提取装置的具体实施方式中，进一步地，所述运动历史图像和运动能量图像用于表示人体的姿态；
所述动作特征提取模块包括：
三维运动历史集生成单元，用于将所述运动能量图像扩展到三维空间，结合构建的肢体树模型，按照二维运动历史图像的生成方法，生成描述人体动作的三维运动历史集；
Hu不变矩确定单元，用于根据所述三维运动历史集，分别向XY平面、YZ平面和XZ平面做投影得到3个视图，并分别计算3个视图各自对应的Hu不变矩。
在前述动作特征提取装置的具体实施方式中，进一步地，所述三维运动历史集生成单元，还用于对所述运动历史图像的各个体素按照时间窗口的大小进行一次体素灰度值更新。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种动作特征提取方法，其特征在于，包括：
获取三维人体骨骼数据；
根据获取的三维人体骨骼数据，在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型；
根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩；
其中，所述运动历史图像和运动能量图像用于表示人体的姿态；
所述根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩包括：
将所述运动能量图像扩展到三维空间，结合构建的肢体树模型，按照二维运动历史图像的生成方法，生成描述人体动作的三维运动历史集；
根据所述三维运动历史集，分别向XY平面、YZ平面和XZ平面做投影得到3个视图，并分别计算3个视图各自对应的Hu不变矩。
2.根据权利要求1所述的方法，其特征在于，所述在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型之前包括：
将处于世界坐标下的三维人体骨骼数据转化为局部坐标系下的三维人体骨骼数据。
3.根据权利要求1所述的方法，其特征在于，所述骨骼模型的组织包括：人体的肢体段；
所述树形结构包括：
将胸部肢体当作根节点，作为树形结构的第一层；由根节点向外延伸，头部、腹部、左上手臂、右上手臂作为树形结构的第二层，左下臂、右下臂、左大腿、右大腿作为树形结构的第三层，左小腿，右小腿为树形结构的最后一层。
4.根据权利要求1所述的方法，其特征在于，所述生成描述人体动作的三维运动历史集之前包括：
对所述运动历史图像的各个体素按照时间窗口的大小进行一次体素灰度值更新。
5.一种动作特征提取装置，其特征在于，包括：
获取模块：用于获取三维人体骨骼数据；
构建模块：用于根据获取的三维人体骨骼数据，在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型；
动作特征提取模块：用于根据构建的肢体树模型，结合运动历史图像和运动能量图像，得到描述人体动作特征的Hu不变矩；
其中，所述运动历史图像和运动能量图像用于表示人体的姿态；
所述动作特征提取模块包括：
三维运动历史集生成单元，用于将所述运动能量图像扩展到三维空间，结合构建的肢体树模型，按照二维运动历史图像的生成方法，生成描述人体动作的三维运动历史集；
Hu不变矩确定单元，用于根据所述三维运动历史集，分别向XY平面、YZ平面和XZ平面做投影得到3个视图，并分别计算3个视图各自对应的Hu不变矩。
6.根据权利要求5所述的装置，其特征在于，所述在局部坐标系下，通过树形结构对骨骼模型的组织进行存储，构建肢体树模型之前包括：
转换模块：用于将处于世界坐标下的三维人体骨骼数据转化为局部坐标系下的三维人体骨骼数据。
7.根据权利要求5所述的装置，其特征在于，所述骨骼模型的组织包括：人体的肢体段；
所述树形结构包括：
将胸部肢体当作根节点，作为树形结构的第一层；由根节点向外延伸，头部、腹部、左上手臂、右上手臂作为树形结构的第二层，左下臂、右下臂、左大腿、右大腿作为树形结构的第三层，左小腿，右小腿为树形结构的最后一层。
8.根据权利要求5所述的装置，其特征在于，所述三维运动历史集生成单元，还用于对所述运动历史图像的各个体素按照时间窗口的大小进行一次体素灰度值更新。
CN201510734273.3A 2015-11-02 2015-11-02 一种动作特征提取方法及装置 Active CN105243375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510734273.3A CN105243375B (zh) 2015-11-02 2015-11-02 一种动作特征提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510734273.3A CN105243375B (zh) 2015-11-02 2015-11-02 一种动作特征提取方法及装置

Publications (2)

Publication Number Publication Date
CN105243375A CN105243375A (zh) 2016-01-13
CN105243375B true CN105243375B (zh) 2018-05-18

Family

ID=55041016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510734273.3A Active CN105243375B (zh) 2015-11-02 2015-11-02 一种动作特征提取方法及装置

Country Status (1)

Country Link
CN (1) CN105243375B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228585A (zh) * 2016-12-09 2018-06-29 江苏物联网研究发展中心 建立数字运动人库的方法
CN107742097B (zh) * 2017-09-30 2020-07-07 长沙湘计海盾科技有限公司 一种基于深度相机的人体行为识别方法
CN108720839B (zh) * 2018-01-31 2020-12-11 湖南大学 一种基于运动能量收集的人体运动评估方法及装置
CN108392207B (zh) * 2018-02-09 2020-12-11 西北大学 一种基于姿态标签的动作识别方法
CN109035372B (zh) * 2018-06-08 2023-01-24 广州虎牙信息科技有限公司 编辑动态模型的方法、装置、设备及存储介质
CN110047591B (zh) * 2019-04-23 2023-02-21 吉林大学 一种针对外科手术过程中医生姿态评估方法
CN111640206A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 一种动态控制方法及装置

Also Published As

Publication number Publication date
CN105243375A (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
CN105243375B (zh) 一种动作特征提取方法及装置
CN111417983B (zh) 基于事件相机的可变形对象跟踪
CN107833271B (zh) 一种基于Kinect的骨骼重定向方法及装置
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN104008564B (zh) 一种人脸表情克隆方法
CN105094335B (zh) 场景提取方法、物体定位方法及其系统
KR101519775B1 (ko) 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치
CN108140105A (zh) 具有脸部表情检测能力的头戴式显示器
KR20220025023A (ko) 애니메이션 처리 방법 및 장치, 컴퓨터 저장 매체 그리고 전자 디바이스
Gültepe et al. Real-time virtual fitting with body measurement and motion smoothing
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
US11928778B2 (en) Method for human body model reconstruction and reconstruction system
KR102264803B1 (ko) 이미지에서 캐릭터를 추출하여 캐릭터 애니메이션을 생성하는 방법 및 이를 이용한 장치
CN113033369B (zh) 动作捕捉方法、装置、电子设备及计算机可读存储介质
CN108564643A (zh) 基于ue引擎的表演捕捉系统
CN102184342B (zh) 一种虚实融合的手功能康复训练系统及方法
CN107657664A (zh) 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备
CN103310478B (zh) 一种多样化虚拟人群生成的方法
CN109446952A (zh) 一种钢琴监督方法、装置、计算机设备及存储介质
Guo et al. Automatic labanotation generation based on human motion capture data
WO2023185703A1 (zh) 虚拟角色的动作控制方法、装置、设备和存储介质
CN110477921B (zh) 基于骨架折线Ridge回归的身高测量方法
CN108010122A (zh) 一种人体三维模型重建与测量的方法及系统
CN115018959A (zh) 三维虚拟模型的驱动处理方法、装置、设备和存储介质
CN110415322A (zh) 虚拟对象模型的动作指令的生成方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220302

Address after: 100016 room 106, 1f, building 1, yard 9, Jiuxianqiao East Road, Chaoyang District, Beijing

Patentee after: FENGNIAO INNOVATION (BEIJING) TECHNOLOGY Co.,Ltd.

Address before: 100083 No. 30, Haidian District, Beijing, Xueyuan Road

Patentee before: University OF SCIENCE AND TECHNOLOGY BEIJING