CN1326096C - 基于模型的人肢体三维运动参数估计方法 - Google Patents
基于模型的人肢体三维运动参数估计方法 Download PDFInfo
- Publication number
- CN1326096C CN1326096C CNB2005100268232A CN200510026823A CN1326096C CN 1326096 C CN1326096 C CN 1326096C CN B2005100268232 A CNB2005100268232 A CN B2005100268232A CN 200510026823 A CN200510026823 A CN 200510026823A CN 1326096 C CN1326096 C CN 1326096C
- Authority
- CN
- China
- Prior art keywords
- dimensional
- equation
- conic section
- image
- centerdot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
一种基于模型的人肢体三维运动参数估计方法,首先使用双目立体视觉系统拍摄人肢体摆姿势的图像序列,在双目图像序列中采用图像分割技术检测出人肢体在各个图像上的轮廓信息,采用曲线拟合技术用新的二维圆锥曲线拟合各个图像上的各个肢体边缘轮廓,求出代表各个肢体轮廓的各个二维圆锥曲线方程的系数和变形参数。然后采用圆锥曲线立体视觉方法根据各个时刻左右图像平面的二维圆锥曲线方程求出对应的空间三维圆锥曲线方程,求出各个时刻空间三维圆锥曲线方程对应的在新坐标系中的二维曲线方程,最后根据左侧摄像机图像平面上拟合出的二维圆锥曲线方程和空间三维圆锥曲线在新坐标系中的二维圆锥曲线方程的对应关系,求出各个时刻的运动参数。
Description
技术领域
本发明涉及一种基于模型的人肢体三维运动估计方法,用于感知接口,运动分析等应用领域,在医学图像、生物医学、手势识别、材料变形、图象压缩等方面都有实际应用价值。属于计算机视觉和计算机图形学领域。
背景技术
运动分析领域的研究对象主要分为刚性物体、连接刚体和非刚性物体等。计算机视觉中的运动分析研究均主要集中在对刚体运动的研究,且学者们已取得了一系列的成果,并建立了较为完善的理论框架,但是,在现实世界中大多是非刚体运动。人体属于非刚体。
在过去的十几年中,人体三维运动参数估计已经取得了一些成绩,但已有的工作都是根据人体的骨架信息进行人体运动参数估计。这些方法首先提取人体骨架信息,再根据骨架信息进行运动参数估计,这些方法增加了运动参数估计的复杂性和计算量。
在发明名称为“基于图像轮廓的人肢体三维建模方法”,申请号为200410089299.9的专利申请书中提出一种根据图像轮廓信息采用旋转圆锥曲面进行人肢体的三维建模,人体运动的分析还需要根据建立的模型来进行人肢体运动参数估计。
发明内容
本发明的目的在于针对现有人体三维运动参数估计的复杂性的不足,提出一种基于模型的人肢体三维运动参数估计方法,只要根据人肢体轮廓信息就能求出人肢体三维运动参数,降低运动参数估计的计算量,适合于各种弹性连接刚体的运动参数估计。
为实现这样的目的,本发明的技术方案中,根据图象轮廓信息采用圆锥曲线建立人肢体三维模型,根据人肢体三维模型进行人体三维运动参数估计。首先使用双目立体视觉系统拍摄人肢体摆姿势的图像序列,在双目图像序列中采用图像分割技术检测出人肢体在各个图像上的轮廓信息,采用曲线拟合技术用新的二维圆锥曲线拟合各个图像上的各个肢体边缘轮廓,求出代表各个肢体轮廓的各个二维圆锥曲线方程的系数和变形参数。然后采用圆锥曲线立体视觉方法根据各个时刻左右图像平面的二维圆锥曲线方程求出对应的空间三维圆锥曲线方程,再求出各个时刻空间三维圆锥曲线方程对应的在新坐标系中的二维曲线方程,最后根据左侧摄像机图像平面上拟合出的二维圆锥曲线方程和空间三维圆锥曲线在新坐标系中的二维圆锥曲线方程的对应关系求出各个时刻的运动参数。
本发明的建模方法具体包括以下几个步骤:
1.采用图像分割技术检测出人肢体在图像上的边缘轮廓信息
采用双目立体视觉系统对人肢体所摆姿势进行拍摄,得到一个图像序列,然后采用图像分割技术检测并得到人肢体在各个时刻左右图像上的边缘轮廓信息。
2.二维圆锥曲线拟合各个图像上各个肢体的轮廓
本发明采用曲线拟合技术用一种新的二维圆锥曲线拟合步骤1得到的各个时刻左右图像上各个肢体的边缘轮廓,提取各个时刻左右图像上所要拟合肢体轮廓线的两个端点A、B的像素坐标并变换成在图像上的平面坐标,在两端点形成的直线上方设定空间一点C,根据经过A、B、C三点的三个直线方程确定经过点A、B且与直线AC、BC相切的二维圆锥曲线;由此根据所要拟合轮廓线上的所有像素点坐标值求出各个时刻左右图像上代表各个肢体轮廓的二维圆锥曲线方程的变形参数ρ。
3.求出各个时刻左右图像二维圆锥曲线对应的空间三维圆锥曲线的方程
通过摄像机标定技术求出左右摄像机图像上二维平面坐标与世界坐标系空间三维坐标的对应关系。根据步骤2得到的各个时刻左、右摄像机图像上拟合出的平面二维圆锥曲线方程求出对应的空间三维圆锥曲线方程。
4.求出各个时刻空间三维圆锥曲线方程在新坐标系中的二维平面曲线方程
根据各个时刻空间三维圆锥曲线方程,以三维圆锥曲线所在平面为新的二维坐标,以圆锥曲线中心点为原点求出各个时刻空间三维圆锥曲线方程对应的在新坐标系中的二维曲线方程。
5.求出各个时刻的运动参数
根据左侧摄像机图像平面上拟合出的二维圆锥曲线方程和空间三维圆锥曲线在新坐标系中的二维圆锥曲线方程的对应关系,求出各个时刻的运动参数,运动参数包括了旋转矩阵和平移矩阵。
本发明方法简单,实现容易。根据人肢体模型方程就可以求出人肢体在各个时刻的运动参数,减少了运动参数估计的复杂性和计算量。本发明方法适合于许多弹性连接刚体的模型建立。实验采用便宜、容易安装的视频摄像头来采集数据,不需要附加设备,代表人肢体模型方程求解算法简单,大大降低了运动分析的计算复杂性。
附图说明
图1为本发明采用的圆锥曲线。
图1中,A,B,C为三个顶点,通过这三个顶点坐标确定圆锥曲线方程。
图2为圆锥曲线立体视觉示意图。
图2中,A1、A2是两个时刻在左侧摄像机图象平面进行人肢体图象轮廓拟合得到的二维圆锥曲线,Q1、Q2是对应的空间三维圆锥曲线。
图3为本发明拍摄的图像序列和边缘检测、曲线拟合的结果。
图3中,第一行是左侧摄像机拍摄的图像序列,第二行是与第一行图像对应的边缘检测和曲线拟合的结果。
具体实施方式
为了更好地理解本发明的技术方案,以下结合附图和实施例作进一步的详细描述。实施例具体针对附图3左侧第一幅图像(第一时刻左侧摄像机拍摄)进行人肢体运动参数估计过程的描述。
1.首先采用双目立体视觉系统对人肢体所摆姿势进行拍摄,得到一个图像序列,图3第一行即为左侧摄像机拍摄的右手臂姿势图像序列。然后采用图像分割技术(如prewitt边缘算子)检测手臂在各个图像上的边缘轮廓信息,得到与第一行图像对应的边缘检测结果,如图3第2行所示。
2.采用曲线拟合技术用新的二维圆锥曲线拟合各个图像上各个肢体的边缘轮廓。如图3第2行,提取所要拟合上肢体轮廓的两个端点像素坐标A(357,248),B(485,175),通过摄像机标定技术求出图像像素坐标与平面坐标的变换公式为:
通过上述公式求出端点A、B在图像上的平面坐标A(-0.1353,-0.4439),B(0.9655,-1.0498)。在端点A、B形成的直线的上方设定空间一点C(0.1838,-0.9064),如图1所示。经过三点A、B、C的直线方程分别为:
直线AC:a0+a1·x+a2·y=1+2.2645·x+1.5625·y=0
直线BC:b0+b1·x+b2·y=1+0.2102·x+1.1459·y=0
直线AB:u0+u1·x+u2·y=1+1.0618·x+1.9291·y=0
根据这三个直线确定经过点A、B且与直线AC、BC相切的二维圆锥曲线隐函数表达式为:
C(x,y)=(a0+a1·x+a2·y)(b0+b1·x+b2·y)-ρ(u0+u1·x+u2·y)=(1+2.2645·x+1.5625·y)(1+0.2102·x+1.1459·y)-ρ(1+1.0618·x+1.9291·y)=0也可以表达为:
提取边缘轮廓线上所有的像素(共n个点),这些像素的二维平面坐标为:(xi,yi),i=1~n。把这些坐标值带入方程
。通过求F的最小值解出一个变形参数ρ=81.2541,把ρ带入二维圆锥曲线表达式可得出
采用同样的方法可求出右侧摄像机图像平面上肢体边缘轮廓拟合出的二维圆锥曲线的系数矩阵E1,其中包含另一个变形参数ρ2=-41.3898。求出的这两个变形参数就代表了上肢体在此时刻的皮肤的变形。
3、通过摄像机标定技术求出左右摄像机图像上二维平面坐标与世界坐标系空间三维坐标的对应关系为:
其中(x1,y1)为左侧摄像机图像上二维平面坐标,(x2,y2)为右侧摄像机图像上二维平面坐标,(xS,yS,zS)为空间三维坐标,XS=[xS,yS,zS,1],M1、M2为变换矩阵。
采用圆锥曲线立体视觉方法求出左右图像平面上二维圆锥曲线对应的空间三维圆锥曲线方程为:
4、求出各个时刻空间三维圆锥曲线方程在新坐标系中的二维平面曲线方程。在空间三维圆锥曲线上任取n个点,以这n个点所在的平面为新的平面坐标系中,再采用曲线拟合技术求出在新的平面坐标系中的二维曲线方程,为F(x,y)=(1-x+0.7299·y)·(1+0.0039· x-0.0252·y)+0.8004·(1-x+1.9366·y)2根据公式
和
,求出在新的平面坐标系中的二维曲线的中心坐标为(56.0331,28.2109),把圆锥曲线中心当作原点后求出新的圆锥曲线方程:0.7965·x2+2.9834·y2-3.0720·x·y-17.2845=0,此方程也可表达成下式:
5、根据左侧摄像机图像平面上拟合出的二维圆锥曲线方程和空间三维圆锥曲线在新坐标系中的二维圆锥曲线方程的对应关系求出各个时刻的运动参数。求出左侧摄像机图像平面上拟合出的二维圆锥曲线系数矩阵A1的特征值λ1、λ2和λ3,事先给定参数d,把矩阵A1的特征值λ1、λ2和λ3,参数d和空间三维圆锥曲线在新坐标系中的二维圆锥曲线的系数矩阵Q1中的参数b11、b12、b22、b33带入下面的方程式求出参数k、c3、c1、c2:
c2 2=d2-c1 2-c3 2
根据上面方程式求出参数c1、c2、c3后,令
,根据公式B1=(CT)-1·Q1·C-1
求出矩阵B1,
求出矩阵A1和B1的特征矩阵U和V,
令
和c=[C1 c2 C3],根据公式R1=U·W·-1和t1=R1·c可求出矩阵R1和t1,
采用同样的方法可求得第二时刻的参数R2和t2。
最后根据公式R12=R1·R2 -1和t12=t1-R12·t2求出第一时刻和第二时刻之间的运动参数:旋转矩阵R12和平移矩阵t12。
采用同样的方法可求得其它时刻的运动参数。
Claims (1)
1、一种基于图像轮廓的人肢体三维建模方法,其特征在于包括如下具体步骤:
1)采用双目立体视觉系统对人肢体所摆姿势进行拍摄,得到一个图像序列,然后采用图像分割技术检测并得到人肢体在各个时刻左右图像上的边缘轮廓信息;
2)提取各个时刻左右图像上所要拟合肢体轮廓线的两个端点A、B的像素坐标并变换成在图像上的平面坐标,在两端点形成的直线上方设定空间一点C,根据经过A、B、C三点的三个直线方程确定经过点A、B且与直线AC、BC相切的二维圆锥曲线;由此根据所要拟合轮廓线上的所有像素点坐标值求出各个时刻左右图像上代表各个肢体轮廓的二维圆锥曲线方程的变形参数;
3)通过摄像机标定技术求出左右摄像机图像上二维平面坐标与空间三维坐标的对应关系,根据曲线拟合得到的各个时刻左右图像平面二维圆锥曲线方程求出对应的空间三维圆锥曲线方程;
4)根据各个时刻空间三维圆锥曲线方程,以三维圆锥曲线所在平面为新的二维坐标,以三维圆锥曲线中心点为原点求出各个时刻空间三维圆锥曲线方程对应的在新坐标系中的二维曲线方程;
5)根据左侧摄像机图像平面上拟合出的二维圆锥曲线方程和空间三维圆锥曲线在新坐标系中的二维圆锥曲线方程的对应关系,求出各个时刻的运动参数,运动参数包括了旋转矩阵和平移矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100268232A CN1326096C (zh) | 2005-06-16 | 2005-06-16 | 基于模型的人肢体三维运动参数估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2005100268232A CN1326096C (zh) | 2005-06-16 | 2005-06-16 | 基于模型的人肢体三维运动参数估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1710614A CN1710614A (zh) | 2005-12-21 |
CN1326096C true CN1326096C (zh) | 2007-07-11 |
Family
ID=35706853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100268232A Expired - Fee Related CN1326096C (zh) | 2005-06-16 | 2005-06-16 | 基于模型的人肢体三维运动参数估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1326096C (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109048148A (zh) * | 2018-08-20 | 2018-12-21 | 南京理工大学 | 基于双目视觉坡口钝边识别模型与机器人自适应焊接方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100394446C (zh) * | 2006-07-27 | 2008-06-11 | 上海交通大学 | 基于直线对应的动态场景多体运动分割方法 |
CN101276370B (zh) * | 2008-01-14 | 2010-10-13 | 浙江大学 | 基于关键帧的三维人体运动数据检索方法 |
CN101727568B (zh) * | 2008-10-10 | 2013-04-17 | 索尼(中国)有限公司 | 前景动作估计装置和前景动作估计方法 |
CN101587541B (zh) * | 2009-06-18 | 2011-02-02 | 上海交通大学 | 基于人体轮廓的人物识别方法 |
CN102144927B (zh) * | 2010-02-10 | 2012-12-12 | 清华大学 | 基于运动补偿的ct设备和方法 |
CN104121892B (zh) * | 2014-07-09 | 2017-01-25 | 深圳市欢创科技有限公司 | 一种获取光枪射击的目标位置的方法、装置及系统 |
CN105336000A (zh) * | 2015-12-09 | 2016-02-17 | 新疆华德软件科技有限公司 | 基于旋转双曲面的虚拟人肢体建模方法 |
CN107025627B (zh) * | 2017-04-12 | 2019-10-11 | 中南大学 | Ct影像中骨的运动和接近参数的标定和量化方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256850A (ja) * | 2001-12-27 | 2003-09-12 | Sanyo Electric Co Ltd | 動き認識装置および画像処理装置並びにプログラム |
CN1617174A (zh) * | 2004-12-09 | 2005-05-18 | 上海交通大学 | 基于图像轮廓的人肢体三维建模方法 |
-
2005
- 2005-06-16 CN CNB2005100268232A patent/CN1326096C/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003256850A (ja) * | 2001-12-27 | 2003-09-12 | Sanyo Electric Co Ltd | 動き認識装置および画像処理装置並びにプログラム |
CN1617174A (zh) * | 2004-12-09 | 2005-05-18 | 上海交通大学 | 基于图像轮廓的人肢体三维建模方法 |
Non-Patent Citations (1)
Title |
---|
Articulated Body Motion Capture by Annealed Particle Filtering J. Deutscher,A. Blake,I. Reid,Proc. Conf. on CVPR.,Vol.2 2000 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109048148A (zh) * | 2018-08-20 | 2018-12-21 | 南京理工大学 | 基于双目视觉坡口钝边识别模型与机器人自适应焊接方法 |
Also Published As
Publication number | Publication date |
---|---|
CN1710614A (zh) | 2005-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1326096C (zh) | 基于模型的人肢体三维运动参数估计方法 | |
CN1266655C (zh) | 基于图像轮廓的人肢体三维建模方法 | |
CN105335696B (zh) | 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法 | |
CN111932678B (zh) | 多视点实时人体运动、手势、表情、纹理重建系统 | |
CN102880866B (zh) | 一种人脸特征提取方法 | |
WO2015188684A1 (zh) | 三维模型重建方法与系统 | |
CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
CN105069751B (zh) | 一种深度图像缺失数据的插值方法 | |
CN108154550A (zh) | 基于rgbd相机的人脸实时三维重建方法 | |
JP2011521357A5 (zh) | ||
CN101916454A (zh) | 基于网格变形和连续优化的高分辨率人脸重建方法 | |
CN107909604A (zh) | 基于双目视觉的动态物体运动轨迹识别方法 | |
CN102801994B (zh) | 一种信息物理图像融合装置与方法 | |
CN108876881A (zh) | 基于Kinect的体型自适应三维虚拟人体模型构建方法及动画系统 | |
WO2013091304A1 (zh) | 基于几何图像中中频信息的三维人脸识别方法 | |
CN102999942A (zh) | 三维人脸重建方法 | |
CN104077808A (zh) | 一种用于计算机图形图像处理的、基于深度信息的实时三维人脸建模方法 | |
CN1753028A (zh) | 基于骨架的人肢体三维运动参数估计方法 | |
CN104299250A (zh) | 基于先验模型的正面人脸图像合成方法及系统 | |
CN103679797A (zh) | 采用可变形模型的人肢体建模方法及虚拟人模型控制平台 | |
CN110648362B (zh) | 一种双目立体视觉的羽毛球定位识别与姿态计算方法 | |
CN113345084B (zh) | 三维建模系统及三维建模方法 | |
CN106023316A (zh) | 一种基于Kinect的动态序列捕捉方法 | |
CN110147162A (zh) | 一种基于指尖特征的增强装配示教系统及其控制方法 | |
CN110477921B (zh) | 基于骨架折线Ridge回归的身高测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070711 Termination date: 20100616 |