CN101794457B - 基于样例的区分式三维运动恢复方法 - Google Patents
基于样例的区分式三维运动恢复方法 Download PDFInfo
- Publication number
- CN101794457B CN101794457B CN2010101278567A CN201010127856A CN101794457B CN 101794457 B CN101794457 B CN 101794457B CN 2010101278567 A CN2010101278567 A CN 2010101278567A CN 201010127856 A CN201010127856 A CN 201010127856A CN 101794457 B CN101794457 B CN 101794457B
- Authority
- CN
- China
- Prior art keywords
- human body
- pose
- frame
- candidate
- body contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于样例的区分式三维运动恢复的方法。本方法利用对人体轮廓提取特征表达,在包含有已知三维姿态的人体轮廓特征的样例数据库中,查找最接近的轮廓特征,将其对应的多个候选三维姿态返回,经过姿态序列优化处理,返回每帧的最终姿态,将最终姿态相连接,就恢复出人体三维运动。在实施本方法的过程中,使用占位图轮廓特征来描述轮廓。对每个轮廓,从数据库中返回k个检索结果,作为候选姿态。使用动态规划和反向回溯算法,来寻找一条最佳的三维姿态路径。将当前时刻的最佳姿态与Δt时间内所显示过的最佳姿态进行加权平均,得到最终的三维姿态。方法稳定快速,易于实现,能够实时恢复得到人体三维运动,结果准确自然,获得很好的效果。
Description
技术领域
本发明涉及视频与图像处理领域,尤其涉及一种基于样例的区分式三维运动恢复方法。
背景技术
区分式方法直接通过一些用于训练的已知真实姿态的图像样本学习得到从图像特征空间到三维姿态空间的映射。这个映射可能是一个基于例子的数据库,也可能是一个函数回归。在2000年R.Rosales和S.Sclaroff发表于CVPR的论文《Inferring body pose without tracking body parts》和2006年A.Agarwal等人发表在IEEE Transaction Pattern Analysis的论文《Recovering 3d human pose frommonocular images》中,提到基于函数回归的方法,通过训练数据学习到一个从图像特征空间到三维姿态空间的函数映射,并以此来计算新的图像特征所对应的三维姿态。基于样例数据库的方法和本章内容直接相关,其通过在数据库中检索图像特征来对每帧寻找可能的三维姿态,并通过时序上的连续性等约束保证恢复出的姿态序列的连续性和平滑性。例如,Ren等人2005年在ACMTransaction Graph发表的《Learning silhouette features for control of human motion》中使用三个相机从不同视角进行拍摄单人舞者的舞蹈图像,特征向量在先验数据库中进行搜索,确定身体的朝向和三维姿态,并且利用一个事先设定好的双人舞蹈的动作耦合,获得舞伴的舞蹈姿态,再将舞者和舞伴的运动都渲染出来。R.Poppe在CVPR2007年发表的《Evaluating example-based pose estimation:Experiments on the humaneva sets》则从图像中人体的梯度直方图特征(Histogramof Gradients)恢复三维姿态。Howe在2007发表在Image Vision Compute的《Silhouette lookup for monocular 3d pose tracking》,使用轮廓边缘的切线角度序列以及Hausdorff距离进行轮廓检索,并使用马尔科夫链模型来保证运动在时序上的连续性。
区分式方法的优点是计算速度很快,但准确度往往不及生成式方法。因此区分式方法特别适合用于人机交互等追求速度而对准确率要求不很高的应用中。
发明内容
本发明的目的是克服现有技术的不足,提供一种基于样例的区分式三维运动恢复方法。
基于样例的区分式三维运动恢复的方法包括如下步骤:
1)利用占位图轮廓特征来描述从视频每帧图像中提取到的前景人体轮廓,将轮廓所占的最小矩形包围盒区域,水平和垂直划分成若干方格,统计在每个独立方格中前景像素所占的比例,依次连接起来构成特征向量,作为人体轮廓特征;
2)利用每帧获得的人体轮廓特征,与样例数据库中保存的已知三维姿态的人体轮廓特征进行比较,计算两者间的欧式距离,即根方差,求得欧式距离最小的k个,得到k个最接近的人体轮廓特征,根据人体轮廓特征查找样例数据库,最后返回这k个最接近的人体轮廓特征所对应的人体三维姿态,作为k个候选姿态;
3)对每帧t的k个候选姿态,分别利用动态规划算法,进行前向搜索,计算确定对第i个候选姿态的变量ωti和bti,其中ωti是终点为pti的所有可能路径中总权重最小的路径的总权重,bti是回溯指针;
4)计算hT=arg miniωTi,然后从t=T-1到t=1,反向回溯计算ht=bt,ht,确定从t=1到t=T的最佳路径h1,h2,...,hT,其中hi表示第i帧的候选姿态中被选中为最终姿态的序号,得到全局最优的三维姿态序列其中为第t帧的第hi个候选姿态;
所述的一种基于样例的区分式三维运动恢复的方法,其特征在于,所述的对每帧t的k个候选姿态,分别利用动态规划算法,进行前向搜索,计算确定对第i个候选姿态的变量ωti和bti,其中ωti是终点为pti的所有可能路径中总权重最小的路径的总权重值,bti是回溯指针步骤包括:对每帧t的第i个候选姿态保存两个变量ωti和bti,其中ωti是终点为pti的所有可能路径中总权重最小的路径的总权重,bti是回溯指针,算法进行前向搜索对从起始时刻开始到当前时刻的每一条可能的路径,确定每个节点的ωti和bti值的计算公式如下:
bti=arg minl(ωt-1,l+||pt-1,l-pti||) 1
其中,ωt-1,l表示终点为pt-1,l的所有可能路径中,总权重最小的路径的总权重值。
对每帧t的k个候选姿态都执行上面这一操作,确定每个候选姿态的ωti和bti。
本发明与现有技术相比具有的有益效果是,算法稳定,运算快速,易于实现,能够做到实时恢复得到人体三维运动,结果准确自然。
附图说明
图1是动态规划算法对历史路径的改变;
图2是实施例一所得到的一段三维运动姿态恢复结果。
具体实施方式
基于样例的区分式三维运动恢复的方法包括如下步骤:
1)利用占位图轮廓特征来描述从视频每帧图像中提取到的前景人体轮廓,将轮廓所占的最小矩形包围盒区域,水平和垂直划分成若干方格,统计在每个独立方格中前景像素所占的比例,依次连接起来构成特征向量,作为人体轮廓特征;
2)利用每帧获得的人体轮廓特征,与样例数据库中保存的已知三维姿态的人体轮廓特征进行比较,计算两者间的欧式距离,即根方差,求得欧式距离最小的k个,得到k个最接近的人体轮廓特征,根据人体轮廓特征查找样例数据库,最后返回这k个最接近的人体轮廓特征所对应的人体三维姿态,作为k个候选姿态;
3)对每帧t的k个候选姿态,分别利用动态规划算法,进行前向搜索,计算确定对第i个候选姿态的变量ωti和bti,其中ωti是终点为pti的所有可能路径中总权重最小的路径的总权重,bti是回溯指针;
4)计算hT=arg miniωTi,然后从t=T-1到t=1,反向回溯计算ht=bt,ht,确定从t=1到t=T的最佳路径h1,h2,...,hT,其中hi表示第i帧的候选姿态中被选中为最终姿态的序号,得到全局最优的三维姿态序列其中为第t帧的第hi个候选姿态;
2.根据权利要求1所述的一种基于样例的区分式三维运动恢复的方法,其特征在于,所述的对每帧t的k个候选姿态,分别利用动态规划算法,进行前向搜索,计算确定对第i个候选姿态的变量ωti和bti,其中ωti是终点为pti的所有可能路径中总权重最小的路径的总权重值,bti是回溯指针步骤包括:对每帧t的第i个候选姿态保存两个变量ωti和bti,其中ωti是终点为pti的所有可能路径中总权重最小的路径的总权重,bti是回溯指针,算法进行前向搜索对从起始时刻开始到当前时刻的每一条可能的路径,确定每个节点的ωti和bti值的计算公式如下:
bti=arg minl(ωt-1,l+||pt-1,l-pti||) 1
其中,ωt-1,l表示终点为pt-1,l的所有可能路径中,总权重最小的路径的总权重值。
对每帧t的k个候选姿态都执行上面这一操作,确定每个候选姿态的ωti和bti。
实施例1
要对一段真实人体运动视频恢复三维运动。如图2所示为人体运动视频中的几个代表帧与姿态恢复结果对应图。下面结合前面所述的具体技术方案说明该实例实施的步骤,如下:
1.视频捕捉场景布置
在室内,布置一个蓝幕背景,使用2个摄像头,其中一个在运动人物的正前面与人等高水平方向,另外一个在侧面大约45度角与人等高位置,调整摄像头姿态,使得人体在捕获区域中。
2.场景背景建模
3.视频序列轮廓提取
对从摄像头中获取到的视频图像序列每一帧I,计算前景图像F=I-B,然后经过形态学处理,去除噪声,得到比较好的前景人体轮廓。
4.利用占位图轮廓特征来描述视频帧提取到的人体轮廓
将前景人体轮廓所占的最小矩形包围盒区域,水平和垂直划分成12×8的小方格,统计在每个独立方格中前景像素所占的比例,最后将这些比例值,依次连接起来构成特征向量,作为人体轮廓特征。
5.候选姿态查找
在数据库中存储了三维姿态实验动作类型,包括上肢伸展、打拳、踢腿、游泳(蛙泳、自由泳、仰泳、碟泳4种泳姿),以及三维姿态对应图像的人体轮廓特征。利用每帧获得的轮廓特征,计算与数据库中存在的人体轮廓特征的欧式距离,从数据库中查找最接近的轮廓特征(即距离最小的轮廓特征),返回k个最接近的轮廓特征所对应的三维姿态,作为候选姿态,其中k取8。
6.姿态序列优化
对每帧t的k个候选姿态,利用动态规划算法,进行前向搜索,计算确定对第i个候选姿态的变量ωti和bti,其中ωti是终点为pti的所有可能路径中总权重最小的路径的总权重,bti是回溯指针。计算公式如下所示:
bti=arg minl(ωt-1,l+||pt-1,l-pti||) 1
通过反向回溯确定从t=1(开始时刻)到t=T(当前)的最佳路径h1,h2,...,hT(其中hi表示第i帧的候选姿态中被选中为最终姿态的序号),从而得到(其中pti为第t帧的第i个候选姿态)就是全局最优的三维姿态序列。
7.动态规划算法的实时性和平滑性处理
Claims (2)
1.一种基于样例的区分式三维运动恢复的方法,其特征在于包括如下步骤:
1)利用占位图轮廓特征来描述从视频每帧图像中提取到的前景人体轮廓,将轮廓所占的最小矩形包围盒区域,水平和垂直划分成若干方格,统计在每个独立方格中前景像素所占的比例,依次连接起来构成特征向量,作为人体轮廓特征;
2)利用每帧获得的人体轮廓特征,与样例数据库中保存的已知三维姿态的人体轮廓特征进行比较,计算两者间的欧式距离,即根方差,求得欧式距离最小的k个,得到个最接近的人体轮廓特征,根据人体轮廓特征查找样例数据库,最后返回这k个最接近的人体轮廓特征所对应的人体三维姿态,作为k个候选姿态;
3)对t时刻的k个候选姿态,分别利用动态规划算法,进行前向搜索,计算确定对第i个候选姿态的变量ωt,i和bt,i,其中ωt,i是终点为pt,i的所有可能路径中总权重最小的路径的总权重,bt,i是回溯指针;
4)计算然后从t=T-1到t=1,反向回溯计算ht=bt,ht,确定从t=1到t=T的最佳路径h1,h2,...,hT,其中hi表示第i帧的候选姿态中被选中为最终姿态的序号,得到全局最优的三维姿态序列其中为第t帧的第hi个候选姿态;
2.根据权利要求1所述的一种基于样例的区分式三维运动恢复的方法,其特征在于,所述的对每帧t的k个候选姿态,分别利用动态规划算法,进行前向搜索,计算确定对第i个候选姿态的变量ωt,i和bt,i,其中ωt,i是终点为pt,i的所有可能路径中总权重最小的路径的总权重值,bt,i是对应的回溯指针,步骤包括:对每帧t的第i个候选姿态保存两个变量ωt,i和bt,i,算法进行前向搜索对从起始时刻开始到当前时刻的每一条可能的路径,确定每个节点的ωt,i和bt,i值的计算公式如下:
bt,i=argminl(ωt-1,l+||pt-1,l-pt,i ||) (1)
其中,ωt-1,l表示终点为pt-1,l的所有可能路径中,总权重最小的路径的总权重值,对每帧t的k个候选姿态都执行上面这一操作,确定每个候选姿态的ωt,i和bt,i。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101278567A CN101794457B (zh) | 2010-03-19 | 2010-03-19 | 基于样例的区分式三维运动恢复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101278567A CN101794457B (zh) | 2010-03-19 | 2010-03-19 | 基于样例的区分式三维运动恢复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101794457A CN101794457A (zh) | 2010-08-04 |
CN101794457B true CN101794457B (zh) | 2012-07-25 |
Family
ID=42587128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101278567A Expired - Fee Related CN101794457B (zh) | 2010-03-19 | 2010-03-19 | 基于样例的区分式三维运动恢复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101794457B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609956B (zh) * | 2012-01-13 | 2014-07-09 | 南京大学 | 一种视频中的人体运动编辑方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1666234A (zh) * | 2002-07-04 | 2005-09-07 | 皇家飞利浦电子股份有限公司 | 拓扑图像模式 |
CN101527031A (zh) * | 2008-08-20 | 2009-09-09 | 深圳先进技术研究院 | 一种光线投射多核并行体绘制方法 |
CN101593358A (zh) * | 2009-06-25 | 2009-12-02 | 汕头大学 | 一种三维模型重建方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7116323B2 (en) * | 1998-05-27 | 2006-10-03 | In-Three, Inc. | Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images |
US20040085310A1 (en) * | 2002-11-04 | 2004-05-06 | Snuffer John T. | System and method of extracting 3-D data generated for 2-D display applications for use in 3-D volumetric displays |
-
2010
- 2010-03-19 CN CN2010101278567A patent/CN101794457B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1666234A (zh) * | 2002-07-04 | 2005-09-07 | 皇家飞利浦电子股份有限公司 | 拓扑图像模式 |
CN101527031A (zh) * | 2008-08-20 | 2009-09-09 | 深圳先进技术研究院 | 一种光线投射多核并行体绘制方法 |
CN101593358A (zh) * | 2009-06-25 | 2009-12-02 | 汕头大学 | 一种三维模型重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101794457A (zh) | 2010-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tekin et al. | Learning to fuse 2d and 3d image cues for monocular body pose estimation | |
CN107481270B (zh) | 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备 | |
CN107767419A (zh) | 一种人体骨骼关键点检测方法及装置 | |
CN110414439A (zh) | 基于多峰值检测的抗遮挡行人跟踪方法 | |
CN106055091A (zh) | 一种基于深度信息和校正方式的手部姿态估计方法 | |
CN108717531A (zh) | 基于Faster R-CNN的人体姿态估计方法 | |
CN107909604A (zh) | 基于双目视觉的动态物体运动轨迹识别方法 | |
CN109934848A (zh) | 一种基于深度学习的运动物体精准定位的方法 | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
CN117671738B (zh) | 基于人工智能的人体姿态识别系统 | |
CN108510520B (zh) | 一种图像处理方法、装置及ar设备 | |
CN101826155B (zh) | 一种基于哈尔特征和动态时序匹配的投篮动作识别方法 | |
CN111460976A (zh) | 一种数据驱动的基于rgb视频的实时手部动作评估方法 | |
CN106874884A (zh) | 基于部位分割的人体再识别方法 | |
CN114639117B (zh) | 一种跨境特定行人追踪的方法和装置 | |
CN106909890A (zh) | 一种基于部位聚类特征的人体行为识别方法 | |
CN110781962A (zh) | 基于轻量级卷积神经网络的目标检测方法 | |
CN110390685A (zh) | 一种基于事件相机的特征点跟踪方法 | |
WO2023134114A1 (zh) | 运动目标的检测方法、检测设备以及存储介质 | |
CN107230219A (zh) | 一种单目机器人上的目标人发现与跟随方法 | |
Sokolova et al. | Human identification by gait from event-based camera | |
CN114036969B (zh) | 一种多视角情况下的3d人体动作识别算法 | |
CN113256789A (zh) | 一种三维实时人体姿态重建方法 | |
CN112560620A (zh) | 一种基于目标检测和特征融合的目标跟踪方法及系统 | |
Shere et al. | 3D Human Pose Estimation From Multi Person Stereo 360 Scenes. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120725 Termination date: 20180319 |