CN101661623B - 基于线性规划的变形体三维跟踪方法 - Google Patents
基于线性规划的变形体三维跟踪方法 Download PDFInfo
- Publication number
- CN101661623B CN101661623B CN2009103085532A CN200910308553A CN101661623B CN 101661623 B CN101661623 B CN 101661623B CN 2009103085532 A CN2009103085532 A CN 2009103085532A CN 200910308553 A CN200910308553 A CN 200910308553A CN 101661623 B CN101661623 B CN 101661623B
- Authority
- CN
- China
- Prior art keywords
- deformable body
- dimensional
- grid
- unique point
- linear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
一种图像处理技术领域的基于线性规划的变形体三维跟踪方法,包括:标定摄像机;获取基于三维三角片网格的变形体模型;变形图像采集;取三维三角片网格边方位不变约束;将变形体点对应约束和网格约束合并为线性跟踪规划序列,将初始跟踪值通过迭代法重建获得当前帧中变形体的跟踪结果,并回到第三步进行下一帧跟踪。本发明能够在每一帧图像中获得变形后的检测对象的三维空间结构,从而达到在动态画面中对形状变化的检测对象进行三维跟踪的目的,特别适合视频监控、医学图像处理。
Description
技术领域
本发明涉及的是一种计算机图像处理技术领域的方法,具体是一种基于线性规划的变形体三维跟踪方法。
背景技术
从单目图像序列中重建出目标的三维空间结构并对其进行跟踪是计算机视觉的重要研究领域,在视频监控、医学图像处理、人机交互等方面有着广泛应用。当跟踪目标为刚性物体时已经有一些比较成熟的方法,但是很多情况下,目标会随时间改变形状,对变形体进行跟踪是目标跟踪技术的主要挑战之一,现有技术尚不能对变形体进行准确有效跟踪。
经对现有技术的文献检索发现,Leonid V.Tsap等于2000年在《IEEE Transactionson Pattern Analysis and Machine Intelligence》(电气电子工程师学会模式分析和机器智能学报)上发表的论文“Nonrigid motion analysis based on dynamic refinementof finite element models”(基于有限元模型动态改进的非刚性运动分析)提出在给定物体初始模型条件下,能够通过有限元模型重建出运动向量。该方法通过计算物体上预测点和真实点之间的误差来优化模型,能够完成对变形物体的跟踪,但是存在两个缺点:一、需要知道物体材料参数,一般难以获得;二、对于大的变形,需要复杂的目标函数。R.Hartley等于2008年在《10th European Conference on Computer Vision》(第十届欧洲计算机视觉会议)上发表的论文“Perspective nonrigid shape and motion recovery”(透视非刚性形状和运动恢复)将非刚体的形状和运动问题看作三维到二维的多重投影。该方法可以得到一个闭式解,但是它需要图像序列中的点对应非常可靠,所以只对相对小的变形有效。
发明内容
本发明针对现有技术存在的上述不足,提供一种基于线性规划的变形体三维跟踪方法,能够在每一帧图像中获得变形后的检测对象的三维空间结构,从而达到在动态画面中对形状变化的检测对象进行三维跟踪的目的,特别适合视频监控、医学图像处理,同时也可以应用于人机交互、非刚体物体识别理解等领域。
本发明是通过以下技术方案实现的,本发明包括以下步骤:
第一步、标定摄像机:将一块黑白棋盘格平板置于摄像机前不同方位,并由摄像机采集若干幅网格图像,对采集得到的网格图像对摄像机进行标定,得到摄像机参数;
所述的不同方位是指:把一块黑白棋盘格平板置于摄像机前,使黑白棋盘格始终位于摄像机视野范围内且成像清晰无遮挡;
所述的若干幅网格图像共12幅;
所述的标定是指:首先读入若干幅网格图像,提取网格顶点,根据已知的黑白棋盘格平板上网格顶点的位置坐标以及提取到的图像上网格顶点的坐标,计算摄像机的内部参数和外部参数;
所述的摄像机参数包括:内部参数:焦距、主点坐标、水平方向和垂直方向上图像坐标单位距离的像素数;外部参数:世界和摄像机坐标系之间的旋转和平移。
第二步、获取基于三维三角片网格的变形体模型:采集一幅变形体初始图像,根据摄像机参数和变形体初始图像中待测物表面纹理特征建立变形体模型;
所述的变形体初始图像是指:通过摄像机采集到的变形体未发生形变的图像;
所述的待测物表面纹理特征是指:图像特征如轮廓、角点和边缘等;
所述的建立变形体模型,具体步骤包括:
2.1)建立三维三角片网格:根据变形体形状大小和形变程度建立三角片网格,变形体越大、形变越复杂则三角片数目越多;
2.2)特征点提取:对变形体初始图像中待测物表面纹理进行特征点提取,并采用梯度值和灰度直方图描述每个特征点所在小区域的灰度特征,得到特征点特征描述向量;
2.3)建立模型:将特征点三维坐标转换为三维三角片网格的三角顶点的线性组合表示。对于每一个特征点,均得到一组线性组合参数及其特征描述向量,将这些线性组合参数和特征描述向量合并在一起即构成了此变形体目标的网格模型。
第三步、变形图像采集:动态采集一帧当前时刻的变形图像,提取当前帧变形图像中的变形图像特征点并进行匹配处理,获得变形体点对应约束;
所述的变形图像是指:通过摄像机采集到的变形体发生形变的图像;
所述的变形图像特征点是指:当前帧变形图像中的具有仿射不变性的特征点;
所述的匹配处理是指:将变形图像特征点与存储的三角片网格模型参数采用梯度值和灰度直方图与模型特征点进行匹配,将匹配成功的点根据摄像机投影矩阵将模型上的三维特征点投影到当前帧图像上。在理想情况下投影点与图像特征点重合,由于图像存在噪声,它们并不完全重合。利用无穷范数,将投影点与图像特征点的之间的误差描述为一组线性约束作为变形体点对应约束。
第四步、获取三维三角片网格边方位不变约束:约束三维三角片网格的每一条边的方位在连续两帧间保持其方位不变,将此约束描述为一个线性约束序列作为网格约束;
第五步、将变形体点对应约束和网格约束合并为线性跟踪规划序列,将初始跟踪值通过迭代法重建获得当前帧中变形体的跟踪结果,并回到第三步进行下一帧跟踪。
所述的线性跟踪规划序列是指:将变形体点对应约束的约束方程和网格约束的约束方程合并为线性跟踪规划序列;
所述的迭代法重建是指:以初始跟踪值为初值,迭代求解线性跟踪规划序列,获得当前时刻变形体的三维空间结构,当迭代无解时则放弃当前约束中的特征点,并重新计算下一个特征点直至有解,最后输出当前帧中变形体的三维结构。
所述的初始跟踪值是指:上一帧中所得变形体的三维空间结构。
与现有技术相比,本发明可以对图像序列中的变形体目标进行有效的三维跟踪。本发明关键在于将三角片网格模型与图像的特征点对应约束,以及三角片网格边方位不变约束表示为一组线性约束,从而将三维跟踪问题描述为一个序列线性规划问题。由于线性规划问题只有一个全局最优解,且可以高效准确的解出,使得本发明方法能够准确有效的对场景中复杂的变形体目标进行三维跟踪。
附图说明
图1为本发明结构示意图。
图2为实施例黑白棋盘格平板。
图3为实施例待测变形体图像。
图4为实施例变形体表面纹理模版。
图5为实施例原理示意图一。
图6为实施例原理示意图二。
图7为实施例变形体三维跟踪结果。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,本实施例的具体实施过程如下:
第一步、把一块黑白棋盘格平板置于摄像机前,将其置于不同方位,使黑白棋盘格始终位于摄像机视野范围内,共拍摄12幅图像。本实施例使用的黑白棋盘格平板如图2所示。需要确保每一幅图像都成像清晰且无明显遮挡。对采集得到的网格图像对摄像机进行标定,得到摄像机参数。
所述的标定是指:首先读入若干幅网格图像,提取网格顶点,根据已知的黑白棋盘格平板上网格顶点的位置坐标以及提取到的图像上网格顶点的坐标,计算摄像机的内部参数和外部参数;
所述的摄像机参数采用摄影矩阵存储,该摄影矩阵将目标三维点投影为图像二维点。
所述的摄像机参数包括:内部参数:焦距、主点坐标、水平方向和垂直方向上图像坐标单位距离的像素数;外部参数:世界和摄像机坐标系之间的旋转和平移。
第二步、如图3和图4所示,采集一幅变形体目标未发生形变的图像,通过图像中目标表面的纹理模版构建变形体三角片网格模型,并存储模型参数。对于图3所示的变形体目标,其未变形的表面纹理模版如图4所示。根据此模版,可以建立变形体目标的三角片网格模型,此三角片网格覆盖整个变形体表面。在确定三角片网格结构之后,提取纹理模版中具有仿射不变性的特征点。每一个特征点必然位于网格中某一三角片上,其位置用其所在的三角片三个顶点的线性组合表示。
如图5所示,某一特征点xi,其所在的三角片三个顶点分别为Vj、Vk、Vl,故将xi表示为Vj、Vk、Vl的线性组合:xi=bi1Vj+bi2Vk+bi3Vl。之后对于每一特征点,记录以其为中心的16x16像素区域的梯度值和灰度直方图作为其特征描述向量。对于每一个特征点,均得到一组线性组合参数及其特征描述向量,将这些线性组合参数和特征描述向量结合在一起即构成了此变形体目标的网格模型,并将模型参数储存于数据库中。
第三步、模型构建完毕之后,在三维跟踪过程中的每一时刻,采集一幅当前帧变形体目标图像,提取其中具有仿射不变性的特征点,并使用梯度值和灰度直方图与模型特征点进行匹配。对于匹配成功的每一组特征点,使用摄像机投影矩阵将模型三维特征点投影到当前图像上。设X为图像特征点,P为模型特征点在图像上的投影,由于图像噪声,X和P不完全重合。利用无穷范数,将X和P之间的图像距离表示为一个线性约束。对于每一组匹配点,都可以得到一个类似的线性约束,将所有N组匹配点组合在一起可以得到一组线性约束,这一组约束表示了特征点对应约束。最后将特征点对应约束存储在数据库中。
第四步、三角片网格模型中每一条边的方位在连续两帧间保持其方位不变,即所述的网格边方位不变约束,这在一个25帧/秒的图像序列中是容易保证的。假设在t时刻获取该时刻三角片网格,t时刻三角片网格顶点vi t和vj t之间的边如图6左边所示。假设在t+1寸刻,该边方位基本不变化,如果vi t+1已知,则顶点j:
第五步、将前两步得到的特征点对应约束和网格约束合并为一个线性规划序列,求解该线性规划序列,得到变形体三维结构,输出当前帧变形体目标的三维跟踪结果;
所述的求解线性规划序列具体为:以上一帧变形体目标的跟踪结果为初值,采用迭代求解此线性规划序列;由于步骤三中的特征点匹配可能出现错误,导致某次迭代求解出现无解情况,此时去掉重投影误差最大的若干个点,并重新迭代求解,直至有解。求解的结果为当前时刻变形体的三维结构。
本实施例结果如图7所示,第一行每张图像分别为变形体形变图像,第二行每张图像分别为变形体形变图像叠加重投影三维空间网格,第三行每张图像分别为变形体三维空间网格。由结果可见,本实施例在变形体目标发生各种复杂形变时均能够正确重建变形体的三维空间结构,同时其在二维图像上的重投影能够很好的拟合原图像。
Claims (4)
1.一种基于线性规划的变形体三维跟踪方法,其特征在于,包括以下步骤:
第一步、标定摄像机:将一块黑白棋盘格平板置于摄像机前,并由摄像机采集若干幅网格图像,对采集得到的网格图像对摄像机进行标定,得到摄像机参数,摄像机参数存储为摄像机投影矩阵;
第二步、获取基于三维三角片网格的变形体模型:采集一幅变形体初始图像,根据摄像机参数和变形体初始图像中待测物表面纹理特征建立变形体模型;
第三步、变形图像采集:动态采集一帧当前时刻的变形图像,提取当前帧变形图像中的变形图像特征点并进行匹配处理,获得变形体点对应约束;
第四步、获取三维三角片网格边方位不变约束:约束三维三角片网格的每一条边的方位在连续两帧间保持其方位不变,将此约束描述为一个线性约束序列作为网格约束;
第五步、将变形体点对应约束和网格约束合并为线性跟踪规划序列,将初始跟踪值通过迭代法重建获得当前帧中变形体的三维结构,并回到第三步进行下一帧跟踪;
所述的匹配处理是指:将变形图像特征点与存储的三角片网格模型参数采用梯度值和灰度直方图与模型特征点进行匹配,对于匹配成功的特征点,使用摄像机投影矩阵将模型上的三维特征点投影到当前帧图像上,由于图像噪声的影响,投影点与二维图像特征点不完全重合,通过使用无穷大误差范数,将投影点与二维图像特征点间的重投影误差表示为一组线性约束作为变形体线性约束;
所述的线性跟踪规划序列是指:将变形体点对应约束的约束方程和网格约束的约束方程合并为线性跟踪规划序列;
所述的迭代法重建是指:以初始跟踪值为初值,迭代求解线性跟踪规划序列,获得当前时刻变形体的三维空间结构,当迭代无解时则放弃当前约束中的特征点,并重新计算下一个特征点直至有解,最后输出当前帧中变形体的三维结构;
所述的初始跟踪值是指:上一帧中所得变形体的三维空间结构。
2.根据权利要求1所述的基于线性规划的变形体三维跟踪方法,其特征是,所述的标定是指:首先读入若干幅网格图像,提取网格顶点,根据已知的黑白棋盘格平板上网格顶点的位置坐标以及提取到的图像上网格顶点的坐标,计算摄像机参数。
3.根据权利要求1所述的基于线性规划的变形体三维跟踪方法,其特征是,所述的变形体初始图像是指:通过摄像机采集到的变形体未发生形变的图像;所述的变形图像特征点是指:当前帧变形图像中的具有仿射不变性的特征点。
4.根据权利要求1所述的基于线性规划的变形体三维跟踪方法,其特征是,所述的建立变形体模型,具体步骤包括:
2.1)建立三维三角片网格:根据变形体形状大小和形变程度建立三角片网格,变形体越大、形变越复杂则三角片数目越多;
2.2)特征点提取:对变形体初始图像中待测物表面纹理进行特征点提取,并采用梯度值和灰度直方图描述每个特征点所在小区域的灰度特征,得到特征点特征向量;
2.3)建立模型:将特征点三维坐标转换为三维三角片网格的三角顶点的线性组合表示,对于每一个特征点,均得到一组线性组合参数及其特征描述向量,将这些线性组合参数和特征描述向量合并在一起即构成了此变形体目标的网格模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009103085532A CN101661623B (zh) | 2009-10-21 | 2009-10-21 | 基于线性规划的变形体三维跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009103085532A CN101661623B (zh) | 2009-10-21 | 2009-10-21 | 基于线性规划的变形体三维跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101661623A CN101661623A (zh) | 2010-03-03 |
CN101661623B true CN101661623B (zh) | 2012-04-25 |
Family
ID=41789626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009103085532A Expired - Fee Related CN101661623B (zh) | 2009-10-21 | 2009-10-21 | 基于线性规划的变形体三维跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101661623B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101931825B (zh) * | 2010-09-03 | 2012-02-08 | 南京大学 | 一种自由视角视频流中3d目标显示方法 |
CN102005041B (zh) * | 2010-11-02 | 2012-11-14 | 浙江大学 | 一种针对存在循环回路的图像序列的特征点匹配方法 |
CN103606189B (zh) * | 2013-11-19 | 2016-09-07 | 浙江理工大学 | 一种面向非刚体三维重建的轨迹基选择方法 |
WO2016140986A1 (en) * | 2015-03-01 | 2016-09-09 | Nextvr Inc. | Methods and apparatus for supporting content generation, transmission and/or playback |
CN109634411B (zh) * | 2018-11-29 | 2020-10-27 | 北京航空航天大学 | 一种基于网状结构的纹理反馈装置 |
CN112203066A (zh) * | 2020-09-17 | 2021-01-08 | 广景视睿科技(深圳)有限公司 | 一种目标跟踪动向投影方法和动向投影设备 |
-
2009
- 2009-10-21 CN CN2009103085532A patent/CN101661623B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101661623A (zh) | 2010-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103106688B (zh) | 基于双层配准方法的室内三维场景重建方法 | |
CN102697508B (zh) | 采用单目视觉的三维重建来进行步态识别的方法 | |
US8823775B2 (en) | Body surface imaging | |
CN101661623B (zh) | 基于线性规划的变形体三维跟踪方法 | |
CN103759671B (zh) | 一种牙模三维表面数据非接触扫描方法 | |
Goldluecke et al. | The variational structure of disparity and regularization of 4D light fields | |
CN105931234A (zh) | 一种地面三维激光扫描点云与影像融合及配准的方法 | |
JP6174104B2 (ja) | 室内2d平面図の生成方法、装置及びシステム | |
CN106997605A (zh) | 一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法 | |
CN109118544A (zh) | 基于透视变换的合成孔径成像方法 | |
Pulli et al. | Mobile panoramic imaging system | |
CN107610219A (zh) | 一种三维场景重构中几何线索感知的像素级点云稠密化方法 | |
CN101425183B (zh) | 基于二阶锥规划的变形体三维跟踪方法 | |
Peng et al. | 3D reconstruction based on SIFT and Harris feature points | |
Sheng et al. | Mobile robot localization and map building based on laser ranging and PTAM | |
Fua et al. | Registration without correspondences | |
Zaheer et al. | Shape from angle regularity | |
CN113240755B (zh) | 基于街景图像与车载激光融合的城市场景构图方法及系统 | |
CN113379899B (zh) | 一种建筑工程工作面区域图像自动提取方法 | |
CN205721990U (zh) | 使用移动终端采集二维图像进行足部三维重建的系统 | |
Maimone et al. | A taxonomy for stereo computer vision experiments | |
Zhang et al. | A Robust Multi‐View System for High‐Fidelity Human Body Shape Reconstruction | |
CN107305702A (zh) | 使用移动终端采集二维图像进行足部三维重建的方法 | |
Knoblauch et al. | Factorization of correspondence and camera error for unconstrained dense correspondence applications | |
Komorowski et al. | Extrinsic camera calibration method and its performance evaluation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120425 Termination date: 20141021 |
|
EXPY | Termination of patent right or utility model |