CN104281839A - 一种人体姿势识别方法和装置 - Google Patents
一种人体姿势识别方法和装置 Download PDFInfo
- Publication number
- CN104281839A CN104281839A CN201410505930.2A CN201410505930A CN104281839A CN 104281839 A CN104281839 A CN 104281839A CN 201410505930 A CN201410505930 A CN 201410505930A CN 104281839 A CN104281839 A CN 104281839A
- Authority
- CN
- China
- Prior art keywords
- posture
- profile diagram
- face
- prototype drawing
- humanoid profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
Abstract
本发明实施例公开了一种人体姿势识别方法，包括：获取当前输入的视频帧的深度图像，所述深度图像由多种分别对应于不同深度值的颜色显示；获取所述深度图像中的人脸图，和至少一个封闭的轮廓图，所述封闭的轮廓图由一种对应于任一深度值的颜色显示；将所述人脸图所属的所述封闭的轮廓图确定为人形轮廓图；通过将所述人形轮廓图和预设的姿势模板图进行对比，识别所述当前输入的视频帧所对应的人体姿势。相应地，本发明实施例还公开了一种人体姿势识别装置。采用本发明，可以实现快速识别视频中的人体姿势，具有运算简单和识别成功率高的特点。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种人体姿势识别方法和装置。
背景技术
随着计算机技术和图像处理技术的结合，基于图像或影像的人体姿势识别已成为一个备受关注的研究方向，人体姿势识别可使带有摄像头的计算机能够像人一样通过观察来分析和理解人的动作行为。人体姿势识别具有广阔的应用前景，例如在驾驶过程中识别交警的手势和在监控中识别可疑动作行为等。目前，人体姿势识别的方法是：采用2D摄像头采集RGB(Red Green Blue)彩色图像，利用光流捕捉人的运动信息，并使用HMM隐马尔科夫模型识别人体姿势。
但是，目前的人体姿势识别方法中，计算光流和建立模型的运算量大，导致识别速度慢，难以达到实时识别的效果，并且识别成功率不高。
发明内容
本发明实施例所要解决的技术问题在于，提供一种人体姿势识别方法和装置，可以实现快速识别视频中的人体姿势，具有运算简单和识别成功率高的特点。。
为了解决上述技术问题，本发明实施例提供了一种人体姿势识别方法，包括：
获取当前输入的视频帧的深度图像，所述深度图像由多种分别对应于不同深度值的颜色显示；
获取所述深度图像中的人脸图，和至少一个封闭的轮廓图，所述封闭的轮廓图由一种对应于任一深度值的颜色显示；
将所述人脸图所属的所述封闭的轮廓图确定为人形轮廓图；
通过将所述人形轮廓图和预设的姿势模板图进行对比，识别所述当前输入的视频帧所对应的人体姿势。
相应地，本发明实施例还提供了一种人体姿势识别装置，包括：
图像获取模块，用于获取当前输入的视频帧的深度图像，所述深度图像由多种分别对应于不同深度值的颜色显示；
图块获取模块，用于获取所述深度图像中的人脸图，和至少一个封闭的轮廓图，所述封闭的轮廓图由一种对应于任一深度值的颜色显示；
人形轮廓图确定模块，用于将所述人脸图所属的所述封闭的轮廓图确定为人形轮廓图；
人体姿势识别模块，用于通过将所述人形轮廓图和预设的姿势模板图进行对比，识别所述当前输入的视频帧所对应的人体姿势。
实施本发明实施例，具有如下有益效果：本发明实施例先获取当前输入的视频帧的深度图像中的人脸图和至少一个封闭的轮廓图，所述深度图像由多种分别对应于不同深度值的颜色显示，所述封闭的轮廓图由一种对应于任一深度值的颜色显示，再将人脸图所属的封闭的轮廓图确定为人形轮廓图，进而将人形轮廓图和预设的姿势模板图进行对比，可以实现快速识别当前输入的视频帧所对应的人体姿势，具有运算简单和识别成功率高的特点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种人体姿势识别方法的流程示意图；
图2是本发明实施例提供的一种人脸图获取方法的流程示意图；
图3是本发明实施例提供的一种人形轮廓图与姿势模板图对比方法的流程示意图；
图4是本发明实施例提供的一种人体姿势识别装置的结构示意图；
图5是本发明实施例提供的一种图块获取模块的结构示意图；
图6是本发明实施例提供的一种人体姿势识别模块的结构示意图；
图7是本发明实施例提供的一种彩色图像的示意图；
图8是本发明实施例提供的一种深度图像的示意图；
图9是本发明实施例提供的一种封闭的轮廓图的示意图；
图10是本发明实施例提供的一种人形轮廓图与姿势模板图对比的示意图；
图11是本发明实施例提供的一种区分躯干和四肢的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中提供的人体姿势识别装置，以下简称为“本发明装置”，可应用于摄像终端，所述摄像终端可包括摄影机、智能摄像头、笔记本电脑、台式电脑、智能手机和平板电脑等带有2D摄像头或3D摄像头的设备。可选的，在本发明实施例中摄像终端使用的是3D摄像头，可以摄取RGB(Red GreenBlue)彩色图像，也可以摄取深度图像。
应理解的，本发明实施例中的彩色图像是计算机领域的一种常见格式的图像，由红、绿、蓝三种颜色的搭配构成，彩色图像几乎包括了人眼视觉的所能感知的所有颜色。例如，请参阅图7所示的一种彩色图像的示意图。
还应理解的，本发明实施例中的深度图像是一种用于表示3D空间中的成像点与成像平面距离的灰度图，深度图像由多种分别对应于不同深度值的颜色显示，例如，请参阅图8所示的一种深度图像的示意图，其中图7和图8是同一影像的不同格式的图像。深度图像具有以下特点：1、颜色越深则深度值越大；2、深度图像的深度值取值范围(如0～255或0～1024)越大，其颜色种类越多。
图1是本发明实施例中一种人体姿势识别方法的流程示意图。如图所示本实施例中的人体姿势识别方法的流程可以包括：
S101，获取当前输入的视频帧的深度图像，所述深度图像由多种分别对应于不同深度值的颜色显示。
视频是由一张张连续的图片构成的，其中，每张图片就是一个视频帧。具体的，本发明装置从当前输入的视频帧中提取该视频帧的深度图像。
S102，获取所述深度图像中的人脸图，和至少一个封闭的轮廓图，所述封闭的轮廓图由一种对应于任一深度值的颜色显示。
所述人脸图是深度图像中人像的脸部图。所述封闭的轮廓图是由同一种颜色所显示的图块，其颜色由该轮廓图的深度值确定，例如，请参阅图9，图中A、B、C和D分别为一个封闭的轮廓图，同理图中还有其它的封闭的轮廓图，这里不再穷举。具体的，本发明装置获取深度图像中的人脸图和至少一个封闭的轮廓图。
S103，将所述人脸图所属的所述封闭的轮廓图确定为人形轮廓图。
深度图像是一种用于表示3D空间中的成像点与成像平面距离的灰度图，如果设置的深度图像的深度值的取值范围不太大，可认为人像都是处于同一平面(即与成像平面的距离相等)，进而可认为人像的所有像点的深度值相同。又已知封闭的轮廓图是由一种颜色显示的，且深度图像中同一深度值对应于同一颜色，那么人像在深度图像中便可体现为一个封闭的轮廓图，即人形轮廓图。深度图像一般包括多个封闭的轮廓图，为了找出人形轮廓图，本发明装置可以将人脸图“落在”的封闭的轮廓图确定为人形轮廓图。例如，请参阅图9，人脸图如图9中S所示，人形轮廓图如图9中A所示，可见人脸图“落在”人形轮廓图上。
S104，通过将所述人形轮廓图和预设的姿势模板图进行对比，识别所述当前输入的视频帧所对应的人体姿势。
所述姿势模板图是预先存储在模板库的，可以有多个，每个姿势模板图均对应了一种人体姿势，例如：举手姿势、踢腿姿势和跳跃姿势等。具体的，本发明装置将获取的人形轮廓图和至少一个姿势模板图进行相似度比较，若发现该人形轮廓图和某个姿势模板图的相似度达到匹配标准，则确定当前输入的视频帧所对应的人体姿势是该姿势模板图所对应的人体姿势。
作为一个可选的示例，请参阅图10，图10(1)是某个姿势模板图，图10(2)是一个人形轮廓图与该姿势模板图的重合比对结果，相似度为92％，图10(3)是另一个人形轮廓图与该姿势模板图的重合比对结果，相似度为80％，假设相识度超过90％就达到匹配标准，则可确定图10(2)中的人形轮廓图的人体姿势是图10(1)所对应的人体姿势。
进一步的，请参阅图2，图2是本发明实施例中一种人脸图获取方法的流程示意图，本发明实施例针对图1中步骤S102的“获取所述深度图像中的人脸图”进行详细说明。如图所示本实施例中的人体姿势识别方法的流程可以包括：
S201，获取当前输入的视频帧的彩色图像。
具体的，本发明装置在获取当前输入的视频帧的深度图像时，还获取其彩色图像。
S202，判断是否已获取上一视频帧的深度图像中的人脸图。
具体的，若当前输入的视频帧是视频的首帧，则本发明装置进入步骤S203以首次获取深度图像中的人脸图，若判断得知本发明装置已获取上一视频帧的深度图像的人脸图，则进入步骤S209以跟踪获取人脸图。
S203，提取所述彩色图像的Haar特征；通过Adaboost分类器分类所述Haar特征以得到分类结果。
其中Haar特征和Adaboost分类器分类原理是本领域技术人员能够理解的，这里不再赘述。
S204，根据所述分类结果，获取所述彩色图像中的人脸的中心点。
S205，根据所述彩色图像中的人脸的中心点，确定所述深度图像中的人脸的中心点，并获取所述人脸的中心点的深度值。
应理解的，同一视频帧的彩色图像和深度图像中的同一成像点的位置是相同的，例如，请对比参阅图7和图8中的成像点，因此本发明装置可根据彩色图像中的人脸的中心点确定深度图像中的人脸的中心点。
S206，获取所述人脸的中心点周围指定范围内的像点，和所述像点的深度值。
所述指定范围可预先设定，也可根据预设的算法得到，只要指定范围能够圈出人脸的大致范围即可。
S207，筛选出所述像点中深度值与所述人脸的中心点的深度值的绝对值小于预设值的目标像点。
可选的，本发明装置可筛选出在指定范围内满足公式(1)的像点作为目标像点，其中，depthFace表示所述人脸的中心的深度值，depthDot表示像点的深度值，thresholdValue表示预设的参数值。
(depthFace-thresholdValue/8)＜depthDot＜(depthFace+thresholdValue/8) (1)
S208，将由所述人脸的中心点和所述目标像点组成的图块作为所述人脸图。
由上可知，由于目标像点和人脸的中心点的深度值差别不大，获取到的目标像点可粗略认为是深度图像中人脸的像点。那么，本发明装置可将由人脸的中心点和目标像点组成的图块作为人脸图。
S209，根据上一视频帧的深度图像中的人脸图获取上一视频帧的彩色图像中的人脸图。
同理可知，同一视频帧的彩色图像和深度图像中的同一人脸图的位置是相同的，因此本发明装置可根据上一视频帧的深度图像中的人脸图获取上一视频帧的彩色图像中的人脸图。
S210，获取上一视频帧的彩色图像中的人脸图的颜色直方图。
所述颜色直方图反映了图像的颜色特征，其描述了不同色彩在整幅图像中所占的比例，常用于图像检索以获取图像中的分割的图块。
为了提高跟踪的准确性，可选的，本发明装置先将人脸图由彩色图像转换为HSV(Hue Saturation Value，色度饱和度明度)或HSL(Hue Saturation Light，色度饱和度亮度)格式的图像，再利用其Hue(色度)分量统计出彩色图像的人脸图的颜色直方图。
S211，根据上一视频帧的彩色图像中的人脸图的颜色直方图，跟踪获取当前视频帧的彩色图像中的人脸图。
由于人像运动是连续的，视频的帧与帧之间存在关联性，上一帧的人脸图的颜色直方图与当前帧的人脸图的颜色直方图一般不会产生突变。因此，本发明装置根据彩色图像中的人脸图的颜色直方图，使用Camshift(连续自适应)算法跟踪获取当前视频帧的彩色图像中的人脸图。其中，上述Camshift是本领域技术人员理解的一种基于OpenCV的人脸跟踪算法，这里不再赘述。
S212，根据当前视频帧的彩色图像中的人脸图获取当前视频帧的深度图像中的人脸图。
S213，判断获取的深度图像中的人脸图是否正确。
具体的，本发明装置计算跟踪获取的人脸图占人像的头部的比例，若比例大于预设阈值，如0.4，则判定获取的深度图像中的人脸图不正确，进而返回步骤S209重新跟踪。
进一步的，请参阅图3，图3是本发明实施例中一种人形轮廓图与姿势模板图对比方法的流程示意图，本发明实施例针对图1中步骤S104进行详细说明。如图所示本实施例中的人体姿势识别方法的流程可以包括：
S301，将所述人形轮廓图和所述姿势模板图进行缩放匹配。
可选的，本发明装置保持姿势模板图的大小不变，缩放人形轮廓图直至人形轮廓图的人像头部直径(假设头部为一个粗略的圆形)等于姿势模板图的人像头部直径。
S302，将缩放匹配后的所述人形轮廓图和所述姿势模板图重合，并获取两者的重合区域。
人像分为躯干和肢干，且肢干的形态更能体现人体姿势。为了增强识别的准确性，本发明实施例将获取人形轮廓图中的肢干部分与姿势模板图中的肢干部分的重合区域，以及获取人形轮廓图中的躯干部分与姿势模板图中的躯干部分的重合区域。可选的，本发明装置可通过以下步骤实现上述操作：
步骤1，识别人形轮廓图中的肢干部分和躯干部分，以及识别姿势模板图中的肢干部分和躯干部分。
具体实现过程中，识别人形轮廓图和姿势模板图中的肢干部分和躯干部分的方法相同，以人形轮廓图为例：本发明装置先将人形轮廓图粗略地分解为多块，然后如图11所示遍历人形轮廓图的所有像点，以每个像点为圆心，判断指定半径的圈内的像点是否都为人形轮廓图上的像点，若是则筛选出该圆心的像点，最后，将包括上述筛选出的像点或包括上述筛选出的像点最多的那一个分解块作为躯干，将不包括上述筛选出的像点或包括上述筛选出的像点较少的分解块作为肢干。需要指出的是，上述指定半径的取值，可通过预设的方法计算出，例如遍历深度图像内的所有像点，得到最大距离maxDist，以radius＝maxDist/3+5作为半径。
步骤2，将人形轮廓图和姿势模板图重合。
具体实现过程中，人形轮廓图和姿势模板图上均预设有校准点，本发明装置通过重合两者的校准点的方式将人形轮廓图和姿势模板图重合。需要指出的是，上述校准点，可通过预设的方法确定，例如：在深度图像内以从左到右、从上到下的顺序搜索第一个距离大于maxDist/3的点作为校准点。
步骤3，获取肢干重合区域，以及躯干重合区域。
S303，判断所述重合区域占所述姿势模板图的比例是否超过预设的比例阈值，若是，则确定所述当前输入的视频帧所对应的人体姿势是所述姿势模板图所对应的人体姿势。
具体实现过程中，本发明装置可通过以下步骤实现人体姿势的识别：
步骤1，获取人形轮廓图中的肢干部分与姿势模板图中的肢干部分的重合区域的像点数，以及获取人形轮廓图中的躯干部分与姿势模板图中的躯干部分的重合区域的像点数。
步骤2，根据公式k＝P2/P1计算出肢干权值，其中，k表示肢干权值，P2表示人形轮廓图中的躯干部分的像点数，P1表示人形轮廓图中的肢干部分的像点数。
步骤3，根据公式Sml＝(S1×k+S2)/2S2获取人形轮廓图与姿势模板图的相似比，其中，Sml表示相似比，S1表示人形轮廓图中的肢干部分与姿势模板图中的肢干部分的重合区域的像点数，S2表示人形轮廓图中的躯干部分与姿势模板图中的躯干部分的重合区域的像点数。
步骤4，判断人形轮廓图与姿势模板图的相似比是否超过预设的比例阈值，如90％，若是，则确定当前输入的视频帧所对应的人体姿势是姿势模板图所对应的人体姿势。
图4是本发明实施例中一种人体姿势识别装置的结构示意图。如图所示本发明实施例中的人体姿势识别装置至少可以包括图像获取模块410、图块获取模块420、人形轮廓图确定模块430以及人体姿势识别模块440，其中：
图像获取模块410，用于获取当前输入的视频帧的深度图像，所述深度图像由多种分别对应于不同深度值的颜色显示。
视频是由一张张连续的图片构成的，其中，每张图片就是一个视频帧。具体的，图像获取模块410从当前输入的视频帧中提取该视频帧的深度图像。
可选的，图像获取模块410还从当前输入的视频帧中提取该视频帧的彩色图像。
图块获取模块420，用于获取所述深度图像中的人脸图，和至少一个封闭的轮廓图，所述封闭的轮廓图由一种对应于任一深度值的颜色显示。
所述人脸图是深度图像中人像的脸部图。所述封闭的轮廓图是由同一种颜色所显示的图块，其颜色由该轮廓图的深度值确定，例如，请参阅图9，图中A、B、C和D分别为一个封闭的轮廓图，同理图中还有其它的封闭的轮廓图，这里不再穷举。具体的，图块获取模块420获取深度图像中的人脸图和至少一个封闭的轮廓图。具体实现中，所述图块获取模块420可以如图5所示进一步包括：中心点采集单元421、像点采集单元422、目标像点筛选单元423以及图块获取单元424，其中：
中心点采集单元421，用于获取所述深度图像中的人脸的中心点，和所述人脸的中心点的深度值。
具体实现过程中，中心点采集单元421先提取所述彩色图像的Haar特征；通过Adaboost分类器分类所述Haar特征以得到分类结果。其中Haar特征和Adaboost分类器分类原理是本领域技术人员能够理解的，这里不再赘述。中心点采集单元421再根据所述分类结果，获取所述彩色图像中的人脸的中心点，并根据所述彩色图像中的人脸的中心点，确定所述深度图像中的人脸的中心点，并获取所述人脸的中心点的深度值。应理解的，同一视频帧的彩色图像和深度图像中的同一成像点的位置是相同的，例如，请对比参阅图7和图8中的成像点，因此中心点采集单元421可根据彩色图像中的人脸的中心点确定深度图像中的人脸的中心点。
像点采集单元422，用于获取所述人脸的中心点周围指定范围内的像点，和所述像点的深度值。
所述指定范围可预先设定，也可根据预设的算法得到，只要指定范围能够圈出人脸的大致范围即可。
目标像点筛选单元423，用于筛选出所述像点中深度值与所述人脸的中心点的深度值的绝对值小于预设值的目标像点。
可选的，目标像点筛选单元423可筛选出在指定范围内满足公式(1)的像点作为目标像点，其中，depthFace表示所述人脸的中心的深度值，depthDot表示像点的深度值，thresholdValue表示预设的参数值。
(depthFace-thresholdValue/8)＜depthDot＜(depthFace+thresholdValue/8) (1)
图块获取单元424，用于将由所述人脸的中心点和所述目标像点组成的图块作为所述人脸图。
由上可知，由于目标像点和人脸的中心点的深度值差别不大，获取到的目标像点可粗略认为是深度图像中人脸的像点。那么，图块获取单元424可将由人脸的中心点和目标像点组成的图块作为人脸图。
可选的，图块获取模块420，还可用于根据在上一视频帧获取的深度图像中的人脸图，跟踪获取所述当前输入的视频帧的深度图像中的人脸图。
具体实现过程中，图块获取模块420先根据上一视频帧的深度图像中的人脸图获取上一视频帧的彩色图像中的人脸图。然后获取上一视频帧的彩色图像中的人脸图的颜色直方图，所述颜色直方图反映了图像的颜色特征，其描述了不同色彩在整幅图像中所占的比例，常用于图像检索以获取图像中的分割的图块。为了提高跟踪的准确性，可选的，图块获取模块420先将人脸图由彩色图像转换为HSV(Hue Saturation Value，色度饱和度明度)或HSL(Hue SaturationLight，色度饱和度亮度)格式的图像，再利用其Hue(色度)分量统计出彩色图像的人脸图的颜色直方图。最后，图块获取模块420根据上一视频帧的彩色图像中的人脸图的颜色直方图，跟踪获取当前视频帧的彩色图像中的人脸图，由于人像运动是连续的，视频的帧与帧之间存在关联性，上一帧的人脸图的颜色直方图与当前帧的人脸图的颜色直方图一般不会产生突变，因此，图块获取模块420可根据彩色图像中的人脸图的颜色直方图，使用Camshift(连续自适应)算法跟踪获取当前视频帧的彩色图像中的人脸图。
人形轮廓图确定模块430，用于将所述人脸图所属的所述封闭的轮廓图确定为人形轮廓图。
深度图像是一种用于表示3D空间中的成像点与成像平面距离的灰度图，如果设置的深度图像的深度值的取值范围不太大，可认为人像都是处于同一平面(即与成像平面的距离相等)，进而可认为人像的所有像点的深度值相同。又已知封闭的轮廓图是由一种颜色显示的，且深度图像中同一深度值对应于同一颜色，那么人像在深度图像中便可体现为一个封闭的轮廓图，即人形轮廓图。深度图像一般包括多个封闭的轮廓图，为了找出人形轮廓图，人形轮廓图确定模块430可以将人脸图“落在”的封闭的轮廓图确定为人形轮廓图。例如，请参阅图9，人脸图如图9中S所示，人形轮廓图如图9中A所示，可见人脸图“落在”人形轮廓图上。
人体姿势识别模块440，用于通过将所述人形轮廓图和预设的姿势模板图进行对比，识别所述当前输入的视频帧所对应的人体姿势。
所述姿势模板图是预先存储在模板库的，可以有多个，每个姿势模板图均对应了一种人体姿势，例如：举手姿势、踢腿姿势和跳跃姿势等。具体的，人体姿势识别模块440将获取的人形轮廓图和至少一个姿势模板图进行相似度比较，若发现该人形轮廓图和某个姿势模板图的相似度达到匹配标准，则确定当前输入的视频帧所对应的人体姿势是该姿势模板图所对应的人体姿势。
作为一个可选的示例，请参阅图10，图10(1)是某个姿势模板图，图10(2)是一个人形轮廓图与该姿势模板图的重合比对结果，相似度为92％，图10(3)是另一个人形轮廓图与该姿势模板图的重合比对结果，相似度为80％，假设相识度超过90％就达到匹配标准，则可确定图10(2)中的人形轮廓图的人体姿势是图10(1)所对应的人体姿势。
进一步的，所述人体姿势识别模块440可以如图6所示进一步包括：缩放匹配单元441、重合区域获取单元442以及人体姿势确定单元443，其中：
缩放匹配单元441，用于将所述人形轮廓图和所述姿势模板图进行缩放匹配。
可选的，缩放匹配单元441保持姿势模板图的大小不变，缩放人形轮廓图直至人形轮廓图的人像头部直径(假设头部为一个粗略的圆形)等于姿势模板图的人像头部直径。
重合区域获取单元442，用于将缩放匹配后的所述人形轮廓图和所述姿势模板图重合，并获取两者的重合区域。
人像分为躯干和肢干，且肢干的形态更能体现人体姿势。为了增强识别的准确性，本发明实施例将获取人形轮廓图中的肢干部分与姿势模板图中的肢干部分的重合区域，以及获取人形轮廓图中的躯干部分与姿势模板图中的躯干部分的重合区域。可选的，重合区域获取单元442可通过以下步骤实现上述操作：
步骤1，识别人形轮廓图中的肢干部分和躯干部分，以及识别姿势模板图中的肢干部分和躯干部分。
具体实现过程中，识别人形轮廓图和姿势模板图中的肢干部分和躯干部分的方法相同，以人形轮廓图为例：重合区域获取单元442先将人形轮廓图粗略地分解为多块，然后如图11所示遍历人形轮廓图的所有像点，以每个像点为圆心，判断指定半径的圈内的像点是否都为人形轮廓图上的像点，若是则筛选出该圆心的像点，最后，将包括上述筛选出的像点或包括上述筛选出的像点最多的那一个分解块作为躯干，将不包括上述筛选出的像点或包括上述筛选出的像点较少的分解块作为肢干。需要指出的是，上述指定半径的取值，可通过预设的方法计算出，例如遍历深度图像内的所有像点，得到最大距离maxDist，以radius＝maxDist/3+5作为半径。
步骤2，将人形轮廓图和姿势模板图重合。
具体实现过程中，人形轮廓图和姿势模板图上均预设有校准点，重合区域获取单元442通过重合两者的校准点的方式将人形轮廓图和姿势模板图重合。需要指出的是，上述校准点，可通过预设的方法确定，例如：在深度图像内以从左到右、从上到下的顺序搜索第一个距离大于maxDist/3的点作为校准点。
步骤3，获取肢干重合区域，以及躯干重合区域。
人体姿势确定单元443，用于判断所述重合区域占所述姿势模板图的比例是否超过预设的比例阈值，若是，则确定所述当前输入的视频帧所对应的人体姿势是所述姿势模板图所对应的人体姿势。
具体实现过程中，人体姿势确定单元443可通过以下步骤实现人体姿势的识别：
步骤1，获取人形轮廓图中的肢干部分与姿势模板图中的肢干部分的重合区域的像点数，以及获取人形轮廓图中的躯干部分与姿势模板图中的躯干部分的重合区域的像点数。
步骤2，根据公式k＝P2/P1计算出肢干权值，其中，k表示肢干权值，P2表示人形轮廓图中的躯干部分的像点数，P1表示人形轮廓图中的肢干部分的像点数。
步骤3，根据公式Sml＝(S1×k+S2)/2S2获取人形轮廓图与姿势模板图的相似比，其中，Sml表示相似比，S1表示人形轮廓图中的肢干部分与姿势模板图中的肢干部分的重合区域的像点数，S2表示人形轮廓图中的躯干部分与姿势模板图中的躯干部分的重合区域的像点数。
步骤4，判断人形轮廓图与姿势模板图的相似比是否超过预设的比例阈值，如90％，若是，则确定当前输入的视频帧所对应的人体姿势是姿势模板图所对应的人体姿势。
本发明实施例先获取当前输入的视频帧的深度图像中的人脸图和至少一个封闭的轮廓图，所述深度图像由多种分别对应于不同深度值的颜色显示，所述封闭的轮廓图由一种对应于任一深度值的颜色显示，再将人脸图所属的封闭的轮廓图确定为人形轮廓图，进而将人形轮廓图和预设的姿势模板图进行对比，可以实现快速识别当前输入的视频帧所对应的人体姿势，具有运算简单和识别成功率高的特点。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (14)
1.一种人体姿势识别方法，其特征在于，所述方法包括：
获取当前输入的视频帧的深度图像，所述深度图像由多种分别对应于不同深度值的颜色显示；
获取所述深度图像中的人脸图，和至少一个封闭的轮廓图，所述封闭的轮廓图由一种对应于任一深度值的颜色显示；
将所述人脸图所属的所述封闭的轮廓图确定为人形轮廓图；
通过将所述人形轮廓图和预设的姿势模板图进行对比，识别所述当前输入的视频帧所对应的人体姿势。
2.如权利要求1所述的方法，其特征在于，所述获取所述深度图像中的人脸图，包括：
获取所述深度图像中的人脸的中心点，和所述人脸的中心点的深度值；
获取所述人脸的中心点周围指定范围内的像点，和所述像点的深度值；
筛选出所述像点中深度值与所述人脸的中心点的深度值的绝对值小于预设值的目标像点；
将由所述人脸的中心点和所述目标像点组成的图块作为所述人脸图。
3.如权利要求2所述的方法，其特征在于，所述获取当前输入的视频帧的深度图像，包括：
获取当前输入的视频帧的彩色图像和深度图像；
所述获取所述深度图像中的人脸的中心点，包括：
提取所述彩色图像的Haar特征；
通过Adaboost分类器分类所述Haar特征以得到分类结果；
根据所述分类结果，获取所述彩色图像中的人脸的中心点；
根据所述彩色图像中的人脸的中心点，确定所述深度图像中的人脸的中心点。
4.如权利要求1所述的方法，其特征在于，所述获取所述深度图像中的人脸图，包括：
根据在上一视频帧获取的深度图像中的人脸图，跟踪获取所述当前输入的视频帧的深度图像中的人脸图。
5.如权利要求1所述的方法，其特征在于，所述通过将所述人形轮廓图和预设的姿势模板图进行对比，识别所述当前输入的视频帧所对应的人体姿势，包括：
将所述人形轮廓图和所述姿势模板图进行缩放匹配；
将缩放匹配后的所述人形轮廓图和所述姿势模板图重合，并获取两者的重合区域；
判断所述重合区域占所述姿势模板图的比例是否超过预设的比例阈值，若是，则确定所述当前输入的视频帧所对应的人体姿势是所述姿势模板图所对应的人体姿势。
6.如权利要求5所述的方法，其特征在于，所述将缩放匹配后的所述人形轮廓图和所述姿势模板图重合，并获取两者的重合区域，包括：
识别所述人形轮廓图中的肢干部分和躯干部分，以及识别所述姿势模板图中的肢干部分和躯干部分；
将所述人形轮廓图和所述姿势模板图重合；
获取所述人形轮廓图中的肢干部分与所述姿势模板图中的肢干部分的重合区域，以及获取所述人形轮廓图中的躯干部分与所述姿势模板图中的躯干部分的重合区域；
所述判断所述重合区域占所述姿势模板图的比例是否超过预设的比例阈值，若是，则确定所述当前输入的视频帧所对应的人体姿势是所述姿势模板图所对应的人体姿势，包括：
获取所述人形轮廓图中的肢干部分与所述姿势模板图中的肢干部分的重合区域的像点数，以及获取所述人形轮廓图中的躯干部分与所述姿势模板图中的躯干部分的重合区域的像点数；
根据公式k＝P2/P1计算出肢干权值，其中，所述k表示所述肢干权值，所述P2表示所述人形轮廓图中的躯干部分的像点数，所述P1表示所述人形轮廓图中的肢干部分的像点数；
根据公式Sml＝(S1×k+S2)/2S2获取所述人形轮廓图与所述姿势模板图的相似比，其中，所述Sml表示所述相似比，所述S1表示所述人形轮廓图中的肢干部分与所述姿势模板图中的肢干部分的重合区域的像点数，所述S2表示所述人形轮廓图中的躯干部分与所述姿势模板图中的躯干部分的重合区域的像点数；
判断所述人形轮廓图与所述姿势模板图的相似比是否超过所述预设的比例阈值，若是，则确定所述当前输入的视频帧所对应的人体姿势是所述姿势模板图所对应的人体姿势。
7.如权利要求5或6所述的方法，其特征在于，所述比例阈值是90％。
8.一种人体姿势识别装置，其特征在于，所述装置包括：
图像获取模块，用于获取当前输入的视频帧的深度图像，所述深度图像由多种分别对应于不同深度值的颜色显示；
图块获取模块，用于获取所述深度图像中的人脸图，和至少一个封闭的轮廓图，所述封闭的轮廓图由一种对应于任一深度值的颜色显示；
人形轮廓图确定模块，用于将所述人脸图所属的所述封闭的轮廓图确定为人形轮廓图；
人体姿势识别模块，用于通过将所述人形轮廓图和预设的姿势模板图进行对比，识别所述当前输入的视频帧所对应的人体姿势。
9.如权利要求8所述的装置，其特征在于，所述图块获取模块，包括：
中心点采集单元，用于获取所述深度图像中的人脸的中心点，和所述人脸的中心点的深度值；
像点采集单元，用于获取所述人脸的中心点周围指定范围内的像点，和所述像点的深度值；
目标像点筛选单元，用于筛选出所述像点中深度值与所述人脸的中心点的深度值的绝对值小于预设值的目标像点；
图块获取单元，用于将由所述人脸的中心点和所述目标像点组成的图块作为所述人脸图。
10.如权利要求9所述的装置，其特征在于，所述图像获取模块具体用于获取当前输入的视频帧的彩色图像和深度图像；
所述中心点采集单元，具体用于：
提取所述彩色图像的Haar特征；
通过Adaboost分类器分类所述Haar特征以得到分类结果；
根据所述分类结果，获取所述彩色图像中的人脸的中心点；
根据所述彩色图像中的人脸的中心点，确定所述深度图像中的人脸的中心点。
11.如权利要求8所述的装置，其特征在于，所述图块获取模块，具体用于根据在上一视频帧获取的深度图像中的人脸图，跟踪获取所述当前输入的视频帧的深度图像中的人脸图。
12.如权利要求8所述的装置，其特征在于，所述人体姿势识别模块，包括：
缩放匹配单元，用于将所述人形轮廓图和所述姿势模板图进行缩放匹配；
重合区域获取单元，用于将缩放匹配后的所述人形轮廓图和所述姿势模板图重合，并获取两者的重合区域；
人体姿势确定单元，用于判断所述重合区域占所述姿势模板图的比例是否超过预设的比例阈值，若是，则确定所述当前输入的视频帧所对应的人体姿势是所述姿势模板图所对应的人体姿势。
13.如权利要求12所述的装置，其特征在于，所述重合区域获取单元，具体用于：
识别所述人形轮廓图中的肢干部分和躯干部分，以及识别所述姿势模板图中的肢干部分和躯干部分；
将所述人形轮廓图和所述姿势模板图重合；
获取所述人形轮廓图中的肢干部分与所述姿势模板图中的肢干部分的重合区域，以及获取所述人形轮廓图中的躯干部分与所述姿势模板图中的躯干部分的重合区域；
所述人体姿势确定单元，具体用于：
获取所述人形轮廓图中的肢干部分与所述姿势模板图中的肢干部分的重合区域的像点数，以及获取所述人形轮廓图中的躯干部分与所述姿势模板图中的躯干部分的重合区域的像点数；
根据公式k＝P2/P1计算出肢干权值，其中，所述k表示所述肢干权值，所述P2表示所述人形轮廓图中的躯干部分的像点数，所述P1表示所述人形轮廓图中的肢干部分的像点数；
根据公式Sml＝(S1×k+S2)/2S2获取所述人形轮廓图与所述姿势模板图的相似比，其中，所述Sml表示所述相似比，所述S1表示所述人形轮廓图中的肢干部分与所述姿势模板图中的肢干部分的重合区域的像点数，所述S2表示所述人形轮廓图中的躯干部分与所述姿势模板图中的躯干部分的重合区域的像点数；
判断所述人形轮廓图与所述姿势模板图的相似比是否超过所述预设的比例阈值，若是，则确定所述当前输入的视频帧所对应的人体姿势是所述姿势模板图所对应的人体姿势。
14.如权利要求12或13所述的装置，其特征在于，所述比例阈值是90％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410505930.2A CN104281839A (zh) | 2014-09-26 | 2014-09-26 | 一种人体姿势识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410505930.2A CN104281839A (zh) | 2014-09-26 | 2014-09-26 | 一种人体姿势识别方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104281839A true CN104281839A (zh) | 2015-01-14 |
Family
ID=52256699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410505930.2A Pending CN104281839A (zh) | 2014-09-26 | 2014-09-26 | 一种人体姿势识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104281839A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751513A (zh) * | 2015-03-12 | 2015-07-01 | 深圳市同洲电子股份有限公司 | 一种建立人体骨骼模型的方法及装置 |
| CN104952221A (zh) * | 2015-07-09 | 2015-09-30 | 李乔亮 | 智能防近视台灯 |
| CN106295640A (zh) * | 2016-08-01 | 2017-01-04 | 乐视控股（北京）有限公司 | 一种智能终端的物体识别方法和装置 |
| CN106606363A (zh) * | 2015-10-22 | 2017-05-03 | 上海西门子医疗器械有限公司 | 一种医疗设备中患者体位的确定方法、系统及医疗设备 |
| WO2018161289A1 (zh) * | 2017-03-09 | 2018-09-13 | 广东欧珀移动通信有限公司 | 基于深度的控制方法、基于深度的控制装置和电子装置 |
| CN108550059A (zh) * | 2018-04-28 | 2018-09-18 | 东莞市华睿电子科技有限公司 | 一种基于人像识别的产品推荐方法 |
| CN108846387A (zh) * | 2018-07-12 | 2018-11-20 | 北京航空航天大学 | 一种交警手势识别方法及装置 |
| CN109671104A (zh) * | 2018-12-13 | 2019-04-23 | 维沃移动通信有限公司 | 一种终端的显示方法及终端 |
| CN110533857A (zh) * | 2018-05-23 | 2019-12-03 | 吴秋琴 | 书桌多功能监控方法 |
| CN110636964A (zh) * | 2017-05-23 | 2019-12-31 | 奥迪股份公司 | 用于确定行驶指令的方法 |
| CN108539576B (zh) * | 2018-05-30 | 2020-06-12 | Oppo广东移动通信有限公司 | 激光投射器的控制系统和移动终端 |
| CN113051990A (zh) * | 2020-11-04 | 2021-06-29 | 泰州程顺制冷设备有限公司 | 站位姿态标准程度分析平台及方法 |
| CN114360201A (zh) * | 2021-12-17 | 2022-04-15 | 中建八局发展建设有限公司 | 基于ai技术的建筑临边危险区域越界识别方法和系统 |
-
2014
- 2014-09-26 CN CN201410505930.2A patent/CN104281839A/zh active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751513A (zh) * | 2015-03-12 | 2015-07-01 | 深圳市同洲电子股份有限公司 | 一种建立人体骨骼模型的方法及装置 |
| CN104952221A (zh) * | 2015-07-09 | 2015-09-30 | 李乔亮 | 智能防近视台灯 |
| CN104952221B (zh) * | 2015-07-09 | 2017-06-13 | 深圳大学 | 智能防近视台灯 |
| CN106606363A (zh) * | 2015-10-22 | 2017-05-03 | 上海西门子医疗器械有限公司 | 一种医疗设备中患者体位的确定方法、系统及医疗设备 |
| CN106295640A (zh) * | 2016-08-01 | 2017-01-04 | 乐视控股（北京）有限公司 | 一种智能终端的物体识别方法和装置 |
| WO2018161289A1 (zh) * | 2017-03-09 | 2018-09-13 | 广东欧珀移动通信有限公司 | 基于深度的控制方法、基于深度的控制装置和电子装置 |
| CN110168562B (zh) * | 2017-03-09 | 2023-06-09 | Oppo广东移动通信有限公司 | 基于深度的控制方法、基于深度的控制装置和电子装置 |
| US11227368B2 (en) | 2017-03-09 | 2022-01-18 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and device for controlling an electronic device based on determining a portrait region using a face region detection and depth information of the face region detected |
| CN110168562A (zh) * | 2017-03-09 | 2019-08-23 | Oppo广东移动通信有限公司 | 基于深度的控制方法、基于深度的控制装置和电子装置 |
| CN110636964A (zh) * | 2017-05-23 | 2019-12-31 | 奥迪股份公司 | 用于确定行驶指令的方法 |
| CN108550059A (zh) * | 2018-04-28 | 2018-09-18 | 东莞市华睿电子科技有限公司 | 一种基于人像识别的产品推荐方法 |
| CN110533857A (zh) * | 2018-05-23 | 2019-12-03 | 吴秋琴 | 书桌多功能监控方法 |
| CN108539576B (zh) * | 2018-05-30 | 2020-06-12 | Oppo广东移动通信有限公司 | 激光投射器的控制系统和移动终端 |
| CN108846387B (zh) * | 2018-07-12 | 2021-08-20 | 北京航空航天大学 | 一种交警手势识别方法及装置 |
| CN108846387A (zh) * | 2018-07-12 | 2018-11-20 | 北京航空航天大学 | 一种交警手势识别方法及装置 |
| CN109671104A (zh) * | 2018-12-13 | 2019-04-23 | 维沃移动通信有限公司 | 一种终端的显示方法及终端 |
| CN113051990A (zh) * | 2020-11-04 | 2021-06-29 | 泰州程顺制冷设备有限公司 | 站位姿态标准程度分析平台及方法 |
| CN114360201A (zh) * | 2021-12-17 | 2022-04-15 | 中建八局发展建设有限公司 | 基于ai技术的建筑临边危险区域越界识别方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104281839A (zh) | 一种人体姿势识别方法和装置 | |
| CN108710865B (zh) | 一种基于神经网络的司机异常行为检测方法 | |
| CN107168527B (zh) | 基于区域卷积神经网络的第一视角手势识别与交互方法 | |
| US10534957B2 (en) | Eyeball movement analysis method and device, and storage medium | |
| WO2019128507A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP7016522B2 (ja) | 次元データ低減を有するマシンビジョン | |
| CN108717524B (zh) | 一种基于双摄手机和人工智能系统的手势识别系统 | |
| CN110221699B (zh) | 一种前置摄像头视频源的眼动行为识别方法 | |
| CN105046206B (zh) | 基于视频中运动先验信息的行人检测方法及装置 | |
| CN103226835B (zh) | 基于在线初始化梯度增强回归树的目标跟踪方法及系统 | |
| CN107292318B (zh) | 基于中心暗通道先验信息的图像显著性物体检测方法 | |
| CN103353935A (zh) | 一种用于智能家居系统的3d动态手势识别方法 | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| CN101406390A (zh) | 检测人体部位和人的方法和设备以及对象检测方法和设备 | |
| CN103105924B (zh) | 人机交互方法和装置 | |
| CN109190456B (zh) | 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法 | |
| CN103345644A (zh) | 在线训练的目标检测方法及装置 | |
| US10282601B2 (en) | Electronic device and gesture recognition method applied therein | |
| CN110032932B (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 | |
| CN107169427B (zh) | 一种适用于心理学的面部识别方法及装置 | |
| Chen et al. | Automatic detection of traffic lights using support vector machine | |
| CN110046544A (zh) | 基于卷积神经网络的数字手势识别方法 | |
| CN108089695A (zh) | 一种控制可移动设备的方法和装置 | |
| CN110956099A (zh) | 一种动态手势指令识别方法 | |
| Yanagisawa et al. | Face detection for comic images with deformable part model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20151120 Address after: 518057 Guangdong city of Shenzhen province Nanshan District Hing Road 2 three college industrial comprehensive building area A 501-502 Applicant after: SHENZHEN BONCAST INTERACTIVE TELEVISION CO., LTD. Address before: 518057 Nanshan District hi tech park, Guangdong, North District Rainbow science and Technology Building Applicant before: Shenzhen Tongzhou Electronic Co., Ltd. |
|
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150114 |