CN103745218A - 一种深度图像中的姿势识别方法及装置 - Google Patents

一种深度图像中的姿势识别方法及装置 Download PDF

Info

Publication number
CN103745218A
CN103745218A CN201410037994.4A CN201410037994A CN103745218A CN 103745218 A CN103745218 A CN 103745218A CN 201410037994 A CN201410037994 A CN 201410037994A CN 103745218 A CN103745218 A CN 103745218A
Authority
CN
China
Prior art keywords
human body
profile
depth image
joint points
space distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410037994.4A
Other languages
English (en)
Other versions
CN103745218B (zh
Inventor
王贵锦
何礼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201410037994.4A priority Critical patent/CN103745218B/zh
Publication of CN103745218A publication Critical patent/CN103745218A/zh
Application granted granted Critical
Publication of CN103745218B publication Critical patent/CN103745218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种深度图像中的姿势识别方法及装置，包括以下步骤：从深度图像中提取人体三维轮廓；计算所述三维轮廓的局部特征；将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布；根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。本发明在原有随机森里的基础上，通过预设的人体结构模型进行姿势识别，该方法特征维度低，描述能力强；同时通过人体结构模型，针对不同身高的个体，统一学习人体的姿势，降低学习的能力，提高算法的实用性和准确率；与原有概率图模型相比，本发明提出的方法推理姿势更快，适用于实时的姿势捕捉系统。

Description

一种深度图像中的姿势识别方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种深度图像中的姿势识别方法及装置。
背景技术
姿势识别是人机交互的关键技术之一。目前主要是利用部件识别的方法识别出人体的各个部分，如四肢、头部等部分，再将各个部件连接起来构成人体姿势。但是仅仅利用部件检测的结果进行姿势识别往往丢失大量的人体结构信息，导致姿势识别结果不够理想，在由部件构件人体姿势的过程中引入概率图模型。然而，这种模型计算复杂度高，难以满足实时应用的要求。此外，在图像类型方面有两种，一种是彩色图像，另一种是深度图像。彩色图像容易受到光照、人体服饰的应用，影响姿势识别的性能；而深度图像表示的是采样点到摄像机之间的距离，可以更好地描述场景中景物的结构信息，因此可以提供更好的人体分割结构。本发明即利用深度图像通过结合随机森林和概率图模型提出了一种准确、稳定、实时的姿势识别方法。
发明内容
（一）要解决的技术问题
本发明所要解决的技术问题是：现有技术中利用部件检测的结果进行姿势识别往往丢失大量的人体结构信息，导致姿势识别结果不够理想，在由部件构建人体姿势的过程中引入概率图模型，然而这种模型计算复杂度高，难以满足实时应用的要求。
（二）技术方案
为此目的，本发明提出了一种深度图像中的姿势识别方法，包括以下步骤：
从深度图像中提取人体三维轮廓；
计算所述三维轮廓的局部特征；
将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布；
根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。
优选地，所述从深度图像中提取人体三维轮廓，具体包括：
实时采集输入场景的深度图像；
对所述深度图像进行前景分割得到人体前景图像；
采用局部极小值的方法从所述人体前景图像中提取人体三维轮廓。
优选地，所述计算所述三维轮廓的局部特征，具体包括：
以所述三维轮廓中某个点为中心，按照预设的比例将所述三维轮廓的三维空间划分成若干个同心球，并按照预设的角度将每一个同心球划分成若干段；
统计落在同心球中的所述三维轮廓的点的位置信息；
根据所述位置信息计算落在同心球中的所述三维轮廓的点的特征向量。
优选地，所述同心球的最外侧球的半径为三维轮廓中任意两个轮廓点之间相对距离的平均值。
优选地，所述人体结构模型为利用随机森林学习得到的。
优选地，所述根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果，具体包括：
利用mean-shift算法在三维空间中计算每一个人体关节点的位置；
根据所述每一个人体关节点的位置得到人体的姿势识别结果。
此外，本发明还提供了一种用于在深度图像中进行姿势识别的装置，包括：
提取模块、第一计算模块、估计模块和第二计算模块；
提取模块，用于从深度图像中提取人体三维轮廓；
第一计算模块，用于计算所述提取模块提取的所述三维轮廓的局部特征；
估计模块，用于将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布；
第二计算模块，用于根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。
优选地，所述提取模块包括：采集单元、生成单元和提取单元；
采集单元，用于实时采集输入场景的深度图像；
生成单元，用于对所述深度图像进行前景分割得到人体前景图像；
提取单元，用于采用局部极小值的方法从所述人体前景图像中提取人体三维轮廓。
优选地，所述第一计算模块包括：特征提取单元、统计单元和计算单元；
特征提取单元，用于以所述三维轮廓中某个点为中心，按照预设的比例将所述三维轮廓的三维空间划分成若干个同心球，并按照预设的角度将每一个同心球划分成若干段；
统计单元，用于统计落在同心球中的所述三维轮廓的点的位置信息；
计算单元，用于根据所述位置信息计算落在同心球中的所述三维轮廓的点的特征向量。
（三）有益效果
本发明在原有随机森里的基础上，通过预设的人体结构模型进行姿势识别，该方法特征维度低，描述能力强；同时通过人体结构模型，针对不同身高的个体，统一学习人体的姿势，降低学习的能力，提高算法的实用性和准确率；与原有概率图模型相比，本发明提出的方法推理姿势更快，适用于实时的姿势捕捉系统。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1是本发明一种深度图像中的姿势识别方法的流程图；
图2是本发明一种用于在深度图像中进行姿势识别的装置模块图。
具体实施方式
下面将结合附图对本发明的实施例进行详细描述。
本发明实施例提出了一种深度图像中的姿势识别方法，如图1所示，包括以下步骤：
S101从深度图像中提取人体三维轮廓；
S102计算所述三维轮廓的局部特征；
S103将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布；
S104根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。
所述条件空间分布即当父节点位置确定后子节点的空间分布。
优选地，所述从深度图像中提取人体三维轮廓，具体包括：
S201实时采集输入场景的深度图像；
S202对所述深度图像进行前景分割得到人体前景图像；
S203采用局部极小值的方法从所述人体前景图像中提取人体三维轮廓。
优选地，所述计算所述三维轮廓的局部特征，具体包括：
S301以所述三维轮廓中某个点为中心，按照预设的比例将所述三维轮廓的三维空间划分成若干个同心球，并按照预设的角度将每一个同心球划分成若干段；
S302统计落在同心球中的所述三维轮廓的点的位置信息；
S303根据所述位置信息计算落在同心球中的所述三维轮廓的点的特征向量。
本发明实施例中同心球表示的是局部特征提取的算法，以轮廓中某个点为中心，按照一定的比例将所述三维轮廓的三维空间划分若干个同心球，并按照一定的角度将每一个同心球划分成若干段，通过统计轮廓点落在同心球中不同位置的数量表示一个局部轮廓特征，对于轮廓中的每一个点，均可以计算一个局部特征即特征向量，并利用该特征来估计人体关节点的位置。
优选地，所述同心球的最外侧球的半径为三维轮廓中任意两个轮廓点之间相对距离的平均值。
任意两个轮廓点之间具有一个相对距离，计算所有相对距离之间的平均值m，所述同心球的最外侧球的半径即设置为m。
优选地，所述人体结构模型为利用随机森林学习得到的。
优选地，所述根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果，具体包括：
利用mean-shift算法在三维空间中计算每一个人体关节点的位置；
根据所述每一个人体关节点的位置得到人体的姿势识别结果。
Mean Shift算法,一般是指一个迭代的步骤,即先算出当前点的偏移均值,移动该点到其偏移均值,然后以此为新的起始点,继续移动,直到满足一定的条件结束。
本实施列中根据三维轮廓中每一个点的特征向量送入利用随机森林学习到的人体结构模型中，并得到人体节点位置的绝对空间分布和条件空间分布，利用mean-shift算法在三维空间中求出每一个关节点的位置，从而得到人体的姿势估计结果。
本发明实施列中人体结构模型相邻的两个节点之间用有向边连接，如i->j表示模型除了学习节点j的分布之外，还将学习一个节点j对于节点i的相对分布，即学习一种结构分布模型。
此外，本发明实施例还提供了一种用于在深度图像中进行姿势识别的装置，如图2所示，包括：
提取模块1、第一计算模块2、估计模块3和第二计算模块4；
提取模块1，用于从深度图像中提取人体三维轮廓；
第一计算模块2，用于计算所述提取模块提取的所述三维轮廓的局部特征；
估计模块3，用于将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布；
第二计算模块4，用于根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。
优选地，所述提取模块1包括：采集单元、生成单元和提取单元；
采集单元，用于实时采集输入场景的深度图像；
生成单元，用于对所述深度图像进行前景分割得到人体前景图像；
提取单元，用于采用局部极小值的方法从所述人体前景图像中提取人体三维轮廓。
优选地，所述第一计算模块2包括：特征提取单元、统计单元和计算单元；
特征提取单元，用于以所述三维轮廓中某个点为中心，按照预设的比例将所述三维轮廓的三维空间划分成若干个同心球，并按照预设的角度将每一个同心球划分成若干段；
统计单元，用于统计落在同心球中的所述三维轮廓的点的位置信息；
计算单元，用于根据所述位置信息计算落在同心球中的所述三维轮廓的点的特征向量。
通过采用本发明公开的一种深度图像中的姿势识别方法及装置，在原有随机森里的基础上，通过一种融合人体结构学习的训练方法得到人体结构模型，该方法特征维度低，描述能力强；同时本发明提出的人体结构模型，针对不同身高的个体，可以统一的学习人体的姿势，降低学习的能力，提高算法的实用性和准确率；与原有概率图模型相比，本发明提出的方法推理姿势更快，适用于实时的姿势捕捉系统。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (9)

1.一种深度图像中的姿势识别方法，其特征在于，包括以下步骤：
从深度图像中提取人体三维轮廓；
计算所述三维轮廓的局部特征；
将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布；
根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。
2.根据权利要求1所述的方法，其特征在于，所述从深度图像中提取人体三维轮廓，具体包括：
实时采集输入场景的深度图像；
对所述深度图像进行前景分割得到人体前景图像；
采用局部极小值的方法从所述人体前景图像中提取人体三维轮廓。
3.根据权利要求1所述的方法，其特征在于，所述计算所述三维轮廓的局部特征，具体包括：
以所述三维轮廓中某个点为中心，按照预设的比例将所述三维轮廓的三维空间划分成若干个同心球，并按照预设的角度将每一个同心球划分成若干段；
统计落在同心球中的所述三维轮廓的点的位置信息；
根据所述位置信息计算落在同心球中的所述三维轮廓的点的特征向量。
4.根据权利要求3所述的方法，其特征在于，所述同心球的最外侧球的半径为三维轮廓中任意两个轮廓点之间相对距离的平均值。
5.根据权利要求1所述的方法，其特征在于，所述人体结构模型为利用随机森林学习得到的。
6.根据权利要求1所述的方法，其特征在于，所述根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果，具体包括：
利用mean-shift算法在三维空间中计算每一个人体关节点的位置；
根据所述每一个人体关节点的位置得到人体的姿势识别结果。
7.一种用于在深度图像中进行姿势识别的装置，其特征在于，包括：提取模块、第一计算模块、估计模块和第二计算模块；
提取模块，用于从深度图像中提取人体三维轮廓；
第一计算模块，用于计算所述提取模块提取的所述三维轮廓的局部特征；
估计模块，用于将所述三维轮廓的局部特征输入预设的人体结构模型，得到人体关节点的绝对空间分布和条件空间分布；
第二计算模块，用于根据所述人体关节点的绝对空间分布和条件空间分布在三维空间中计算所述人体关节点的位置，得到人体的姿势识别结果。
8.根据权利要求7所述的装置，其特征在于，所述提取模块包括：采集单元、生成单元和提取单元；
采集单元，用于实时采集输入场景的深度图像；
生成单元，用于对所述深度图像进行前景分割得到人体前景图像；
提取单元，用于采用局部极小值的方法从所述人体前景图像中提取人体三维轮廓。
9.根据权利要求7所述的装置，其特征在于，所述第一计算模块包括：特征提取单元、统计单元和计算单元；
特征提取单元，用于以所述三维轮廓中某个点为中心，按照预设的比例将所述三维轮廓的三维空间划分成若干个同心球，并按照预设的角度将每一个同心球划分成若干段；
统计单元，用于统计落在同心球中的所述三维轮廓的点的位置信息；
计算单元，用于根据所述位置信息计算落在同心球中的所述三维轮廓的点的特征向量。
CN201410037994.4A 2014-01-26 2014-01-26 一种深度图像中的姿势识别方法及装置 Active CN103745218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410037994.4A CN103745218B (zh) 2014-01-26 2014-01-26 一种深度图像中的姿势识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410037994.4A CN103745218B (zh) 2014-01-26 2014-01-26 一种深度图像中的姿势识别方法及装置

Publications (2)

Publication Number Publication Date
CN103745218A true CN103745218A (zh) 2014-04-23
CN103745218B CN103745218B (zh) 2017-02-15

Family

ID=50502235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410037994.4A Active CN103745218B (zh) 2014-01-26 2014-01-26 一种深度图像中的姿势识别方法及装置

Country Status (1)

Country Link
CN (1) CN103745218B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015197026A1 (zh) * 2014-06-27 2015-12-30 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端
CN105373804A (zh) * 2015-09-29 2016-03-02 北京深视科技有限公司 一种基于多维空间快速聚类的人体部位定位方法与系统
CN105574494A (zh) * 2015-12-11 2016-05-11 清华大学 一种多分类器姿势识别方法及装置
CN106846403A (zh) * 2017-01-04 2017-06-13 北京未动科技有限公司 一种三维空间中手部定位的方法、装置及智能设备
CN108309235A (zh) * 2018-01-09 2018-07-24 徐汝奇 医用红外热像的处理系统及其模拟人体经络走向的方法
CN110135329A (zh) * 2019-05-13 2019-08-16 腾讯科技（深圳）有限公司 从视频中提取姿势的方法、装置、设备及存储介质
CN111669662A (zh) * 2020-07-03 2020-09-15 海信视像科技股份有限公司 显示设备、视频通话方法及服务器
CN112235459A (zh) * 2020-09-30 2021-01-15 咪咕音乐有限公司 音量调节方法、电子设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737235A (zh) * 2012-06-28 2012-10-17 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法
US20130028517A1 (en) * 2011-07-27 2013-01-31 Samsung Electronics Co., Ltd. Apparatus, method, and medium detecting object pose
US20130129230A1 (en) * 2011-11-18 2013-05-23 Microsoft Corporation Computing Pose and/or Shape of Modifiable Entities
CN103246891A (zh) * 2013-05-28 2013-08-14 重庆邮电大学 一种基于Kinect的中国手语识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130028517A1 (en) * 2011-07-27 2013-01-31 Samsung Electronics Co., Ltd. Apparatus, method, and medium detecting object pose
US20130129230A1 (en) * 2011-11-18 2013-05-23 Microsoft Corporation Computing Pose and/or Shape of Modifiable Entities
CN102737235A (zh) * 2012-06-28 2012-10-17 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法
CN103246891A (zh) * 2013-05-28 2013-08-14 重庆邮电大学 一种基于Kinect的中国手语识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何贝，等: ""结合Kinect深度图的快速视频抠图算法"", 《清华大学学报》 *
李熙莹，等: ""一种自动提取目标的主动轮廓法"", 《光子学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015197026A1 (zh) * 2014-06-27 2015-12-30 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端
US9984461B2 (en) 2014-06-27 2018-05-29 Huawei Technologies Co., Ltd. Method, apparatus, and terminal for obtaining vital sign data of target object
CN105373804A (zh) * 2015-09-29 2016-03-02 北京深视科技有限公司 一种基于多维空间快速聚类的人体部位定位方法与系统
CN105574494A (zh) * 2015-12-11 2016-05-11 清华大学 一种多分类器姿势识别方法及装置
CN105574494B (zh) * 2015-12-11 2020-01-17 清华大学 一种多分类器姿势识别方法及装置
CN106846403A (zh) * 2017-01-04 2017-06-13 北京未动科技有限公司 一种三维空间中手部定位的方法、装置及智能设备
CN106846403B (zh) * 2017-01-04 2020-03-27 北京未动科技有限公司 一种三维空间中手部定位的方法、装置及智能设备
CN108309235A (zh) * 2018-01-09 2018-07-24 徐汝奇 医用红外热像的处理系统及其模拟人体经络走向的方法
CN110135329A (zh) * 2019-05-13 2019-08-16 腾讯科技（深圳）有限公司 从视频中提取姿势的方法、装置、设备及存储介质
CN110135329B (zh) * 2019-05-13 2023-08-04 腾讯科技（深圳）有限公司 从视频中提取姿势的方法、装置、设备及存储介质
CN111669662A (zh) * 2020-07-03 2020-09-15 海信视像科技股份有限公司 显示设备、视频通话方法及服务器
CN112235459A (zh) * 2020-09-30 2021-01-15 咪咕音乐有限公司 音量调节方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN103745218B (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN103745218A (zh) 一种深度图像中的姿势识别方法及装置
Liu et al. 3D-based deep convolutional neural network for action recognition with depth sequences
Zhou et al. Global and local-contrast guides content-aware fusion for RGB-D saliency prediction
Ma et al. Kinect Sensor‐Based Long‐Distance Hand Gesture Recognition and Fingertip Detection with Depth Information
Dong et al. Fast crowd segmentation using shape indexing
Khan et al. Survey on gesture recognition for hand image postures
EP3096263B1 (en) Human body orientation recognition method and system based on two-lens camera
Ren et al. Depth camera based hand gesture recognition and its applications in human-computer-interaction
CN113378770B (zh) 手势识别方法、装置、设备、存储介质
Lin et al. A temporal hand gesture recognition system based on hog and motion trajectory
Yue et al. Action recognition based on RGB and skeleton data sets: A survey
Chen et al. Using FTOC to track shuttlecock for the badminton robot
CN108171133A (zh) 一种基于特征协方差矩阵的动态手势识别方法
Lin et al. Hand-raising gesture detection in real classroom
Ye et al. Temporal order-preserving dynamic quantization for human action recognition from multimodal sensor streams
CN102855639B (zh) 一种运动捕捉数据的关键帧提取方法
Zhou et al. Mogde: Boosting mobile monocular 3d object detection with ground depth estimation
Tang et al. Bi-stage multi-modal 3D instance segmentation method for production workshop scene
CN102779278A (zh) 轮廓提取方法及系统
Chuan et al. Human action recognition based on action forests model using kinect camera
Xie et al. Synchronous Bi-directional pedestrian trajectory prediction with error compensation
JP2015184743A (ja) 画像処理装置および物体認識方法
Ji et al. A view-invariant action recognition based on multi-view space hidden markov models
Lin et al. One-shot learning gesture recognition based on improved 3D SMoSIFT feature descriptor from RGB-D videos
CN115719507A (zh) 一种图像识别方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant