CN100346357C - 用三维标记点直接进行三维模型变形的方法 - Google Patents
用三维标记点直接进行三维模型变形的方法 Download PDFInfo
- Publication number
- CN100346357C CN100346357C CNB2006100234512A CN200610023451A CN100346357C CN 100346357 C CN100346357 C CN 100346357C CN B2006100234512 A CNB2006100234512 A CN B2006100234512A CN 200610023451 A CN200610023451 A CN 200610023451A CN 100346357 C CN100346357 C CN 100346357C
- Authority
- CN
- China
- Prior art keywords
- dimensional
- points
- model
- coordinate
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000009466 transformation Effects 0.000 title claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 230000005489 elastic deformation Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000013332 literature search Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种图像处理技术领域的用三维标记点直接进行三维模型变形的方法。步骤为:(1)归一化顶点数据,将原始顶点数据归一化至[-1,1]范围内,用一个边长为2的立方体来约束;(2)将屏幕上取得的点转化为世界坐标,将得到的屏幕Y坐标“求补”,再将当前的帧缓存读入内存,最后求得三维坐标点:(3)取点,保存三维标记点,同理,得到另外一个模型对应位置上的标记点;(4)用薄板样条插值算法进行弹性变形,所有的二维点均用三维点代替,直接获得新的坐标,此时,变形完成。本发明可以在模型上标记需要的三维特征点,直接进行模型变形,具有节省运算时间,提高运算精度,减少由于二维展开带来的重叠误差等多方面优点。
Description
技术领域
本发明涉及一种图像处理技术领域的方法,具体是一种用三维标记点直接进行三维模型变形的方法。
背景技术
图像作为一种十分重要的媒体和手段越来越受到人们的重视,图像已成为工程学、计算机科学、信息科学、统计学、物理学、化学、生物学、医学甚至社会科学等领域各学科之间学习和研究的对象。变形是计算机图形学中比较常见的方法,主要用于图像或图形的配准等用途。目前对二维图像的弹性变形得到了飞快的发展,包括光流、重采样、薄板样条、B样条等多种算法,在全局和局部变形上也有了很多分类,使得现在的变形比较细致、真实。但对于三维模型的变形,大多数是基于模型的柱面展开,得到二维图像,然后利用现有的算法,在二维图像上实现变形,最后还原得到变形后的三维模型。
经对现有技术的文献检索发现,Volker Blanz等人在《IEEE transaction onPattern Recognition and Machine Intelligence》Vol.25,No.9,September2003,1063-1074(IEEE模式识别与机器智能,第25卷,第9期,2003年九月版,1063-1074页)上,采用光流的方法将展开的三维人脸坐标进行弹性配准。通过高维向量的计算,得到不同模型之间的强度变化。这样的方法对空间变化比较大的模型,光流算法的平滑性假设不能满足,计算结果对应不理想。检索中还发现,胡永利等在《计算机学报》2005年,第10期,91-99页上发表的“基于形变模型的三维人脸重建方法及其改进”一文中,同样是将三维模型展开,用重采样的方法得到对应标记点的变形,从而实现三维人脸模型的配准。
这样的展开对于理想的柱面模型比较适用,但也不可避免地出现失真。若非理想柱面,则得到的二维图像会有重叠,再次还原时,模型的一部分信息必会丢失,效果不理想。同时,由于展开和还原需要大量的计算时间,使得计算效率并不简洁,在线性能大大降低。
发明内容
本发明的目的在于针对现有技术的不足,提出一种用三维标记点直接进行三维模型变形的方法,使其不需要将三维模型展开成二维图像,再利用二维标记点变形后还原为柱面三维模型这些冗余步骤,而是可以在模型上标记需要的三维特征点,直接进行模型变形。实验证明,本发明具有节省运算时间,提高运算精度,减少由于二维展开带来的重叠误差等多方面优点。
本发明是通过以下技术方案实现的:采用基于改进的薄板样条(Thin-plateSpline)弹性插值算法,用同样特征和数目的三维标记点对模型每一个坐标进行计算,得到新的模型的对应三维坐标点;同时纹理或RGB信息保持不变,这样保证了原来模型的其它信息,不至于失真。
本发明具体包括以下步骤:
(1)归一化顶点数据。为了保持后面三维标记点的准确性和一致性,须将原始顶点数据归一化至[-1,1]范围内。这里可以用一个边长为2的立方体来约束;
(2)将屏幕上取得的点转化为世界坐标。根据转化的一些要求,保存待变形模型的视口矩阵、模型矩阵和投影矩阵(矩阵大小为4×4)。为了实现屏幕坐标和帧缓存中坐标的对应关系,将屏幕上取得的点的屏幕Y坐标“求补”(即根据视口矩阵,求得根据左下角为初始位置的三维Y坐标)。再将当前的帧缓存读入内存(读入像素格式为深度分量)。最后根据此前得到的三个矩阵(保存的待变形模型的视口矩阵、模型矩阵和投影矩阵)和当前帧缓存中的数据用逆变换映射得到三维坐标点;
(3)取点,保存三维标记点。类似地,同步骤(2),可以得到目标模型对应位置上的三维标记点。标记点的特征和数目必须与要待变形的模型的标记点一致;
(4)用薄板样条插值算法进行弹性变形。所有的二维点均用三维点代替,相应的距离函数、双调和函数、求取新的坐标点的函数均加以修改成三维坐标的变量,直接求取新的坐标,此时,变形完成。这里采用的是经过改进后的薄板样条算法,用来直接进行三维变形。
本发明用三维标记点直接进行三维模型变形,相对于柱面展开成二维图像变形的方法,具有如下优点:节省运算时间;提高运算精度;减少由于二维展开带来的重叠误差。
附图说明
图1为本发明方法框图
具体实施方式
如图1所示,实现用三维标记点直接进行三维模型变形的方法,需要四个步骤:
1.归一化顶点数据
此步骤是为下一步的屏幕取点转化为三维坐标做准备。对三维坐标系的x,y,z分量分别寻找绝对值的最大值,利用下面公式:
将顶点数据均限制在[-1,1]之间。这样,每一组坐标都归一化,与后面获得的深度坐标(系统输出在[-1,1]之间)对应,可以逆变换后直接用来作为世界坐标。
2.将屏幕上取得的点转化为世界坐标
这一步骤可以利用OpenGL中的逆变换来得到世界坐标(三维坐标)。为此,事先获得当前模型的视口矩阵、模型矩阵和投影矩阵(矩阵大小为4*4)。由于屏幕坐标是以左上角为原点,而帧缓存中的坐标是以左下角开始,为了实现屏幕坐标和帧缓存中坐标的对应关系,须将此时得到的屏幕Y坐标“求补”(即根据屏幕视口,利用“视口坐标-当前屏幕坐标Y分量-1”来求得逆变换所需要的Y坐标)。再将当前的帧缓存读入内存(读入像素格式为深度分量),可以获得对应位置的深度值。此深度值在[-1,1]范围内。最后根据此前得到的三个矩阵和当前帧缓存中的数据用逆变换映射得到三维坐标点。
3.取点,保存三维标记点
如图1右侧,类似地可以得到目标模型对应特征上的标记点。标记点的特征和数目必须与待变形的模型的标记点一致;
4.用薄板样条插值算法进行弹性变形
一般的弹性变形算法涉及以下三个方面:
1)在参考图像和待配准图像中选择控制点并且决定它们的对应关系;
2)通过已知的坐标和控制点决定映射函数的类型和参数;
3)用映射函数对待配准图像进行几何变换。
这里,本发明选择既有全局变形,也有局部变形的薄板样条插值算法。该算法描述如下:
薄板样条是用于对分散点数据集插值得到曲面的工具,是弹性插值,它将插值问题模拟为一个薄金属板在点约束下的弯曲变形,用简练的代数式表示变形的能量。薄板样条是这样得到的。
薄板样条的基函数为U(r)=r2logr2
其中,
可以看作是一维三次样条函数|x3|自然扩展到二维的结果。
假设有一个二维点集,(x1,y1),(x2,y2),…,(xn,yn),称之为标志点,
令Pi=(xi,yi),i=1,2,...,n,同时定义ri,j=|Pi-Pj|,为点Pi和点Pj的欧几里得距离。
定义n×n矩阵
及n×3矩阵
在此0代表3×3的0矩阵,PT是P的转置。想使金属板在点(xi,yi)处高度为zi,因而构建行矢量V=(z1,z2,...,zi)和列矢量Y=(V 0 0 0)T,维数为(n+3)×1。
通过下式定义列矢量W=(w1,w2,...wn)和系数a1,ax,ay:
L-1Y=(W|a1 ax ay)T
根据以上定义得到要求的函数:
为此,将薄板样条函数作如下改进:所有的二维点均用三维点代替,相应的基函数、构建矩阵、求取新的坐标点的函数均加以修改成三维坐标的变量。这样,刚才通过三维取好的标记点,可以直接代入求取新的坐标。此时,变形完成。
该方法同样适用于其它类型的径向基函数,如线形插值、高斯插值、多曲面插值等。利用直接的三维点进行插值,消除了因为二维坐标展开造成的数据失真,也大大节省了运算时间,是比较理想的变形方法。
使用本发明可以实现三维模型的配准或表面变换等数据处理。以配准为例,若有100个三维人脸模型,需要实现点对点对应得配准,则可以用本方明中的方法实现。首先对这100个模型求平均值,获得平均人脸模型。在此平均模型上标好60个三维标记点(如眼睛、眉毛、嘴唇等),作为所有模型变形的目标标记点。再将每一个人脸模型同样取对应的60个标记点,这两组标记点作为改进后薄板样条的P、V矢量数据。最后用薄板样条算法求得需配准的人脸模型的新的三维坐标。如此对100个模型均做此类变形,可以获得以标记点为对应的配准模型。可以发现,这样获得的三维配准模型,基本形状没有变化,仅仅将模型按标记点的方向变化,得到的是效果比较理想的点对点对应的模型。
Claims (2)
1、一种用三维标记点直接进行三维模型变形的方法,其特征在于,包括以下步骤:
(1)归一化顶点数据,为了保持后面三维标记点的准确性和一致性,将原始顶点数据归一化至[-1,1]范围内,用一个边长为2的立方体来约束;
(2)将屏幕上取得的点转化为世界坐标,保存待变形模型的视口矩阵、模型矩阵和投影矩阵,矩阵大小为4×4;为了实现屏幕坐标和帧缓存中坐标的对应关系,将屏幕上取得的点的屏幕Y坐标“求补”,再将当前的帧缓存读入内存,读入像素格式为深度分量;最后根据此前得到的三个矩阵即保存的待变形模型的视口矩阵、模型矩阵和投影矩阵,和当前帧缓存中的数据用逆变换映射得到三维坐标点;
(3)取点,保存三维标记点,同步骤(2),得到目标模型对应位置上的三维标记点;标记点特征和数目必须与待变形的模型的标记点一致;
(4)用薄板样条插值算法进行弹性变形,所有的二维点均用三维点代替,相应的距离函数、双调和函数、求取新的坐标点的函数均修改成三维坐标的变量,直接获得新的坐标,此时,变形完成。
2、根据权利要求1所述的用三维标记点直接进行三维模型变形的方法,其特征是,所述的屏幕Y坐标“求补”,是指:根据视口矩阵,求得根据左下角为初始位置的三维Y坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006100234512A CN100346357C (zh) | 2006-01-19 | 2006-01-19 | 用三维标记点直接进行三维模型变形的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2006100234512A CN100346357C (zh) | 2006-01-19 | 2006-01-19 | 用三维标记点直接进行三维模型变形的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1804904A CN1804904A (zh) | 2006-07-19 |
CN100346357C true CN100346357C (zh) | 2007-10-31 |
Family
ID=36866906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006100234512A Expired - Fee Related CN100346357C (zh) | 2006-01-19 | 2006-01-19 | 用三维标记点直接进行三维模型变形的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100346357C (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101577011B (zh) * | 2009-06-18 | 2013-06-19 | 清华大学 | 基于多视图的三维对象的特征选择方法及装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103325086B (zh) * | 2013-07-10 | 2016-03-09 | 中国科学院苏州纳米技术与纳米仿生研究所 | 一种基于四面体坐标系的三维图形的变形方法 |
CN106022281A (zh) * | 2016-05-27 | 2016-10-12 | 广州帕克西软件开发有限公司 | 一种面部数据测量方法及系统 |
JP6972647B2 (ja) * | 2017-05-11 | 2021-11-24 | 富士フイルムビジネスイノベーション株式会社 | 三次元形状データの編集装置、及び三次元形状データの編集プログラム |
CN111784823B (zh) * | 2020-07-03 | 2023-10-03 | 江苏徐工工程机械研究院有限公司 | 轻量化三维模型防测绘显示方法和装置、存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5684935A (en) * | 1993-02-25 | 1997-11-04 | Hughes Electronics | Rendering and warping image generation system and method |
CN1617175A (zh) * | 2004-12-09 | 2005-05-18 | 上海交通大学 | 基于标记点的人肢体三维建模方法 |
CN1655192A (zh) * | 2004-02-10 | 2005-08-17 | 三星电子株式会社 | 基于深度图像的三维图形数据的高速显像的装置和方法 |
-
2006
- 2006-01-19 CN CNB2006100234512A patent/CN100346357C/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5684935A (en) * | 1993-02-25 | 1997-11-04 | Hughes Electronics | Rendering and warping image generation system and method |
CN1655192A (zh) * | 2004-02-10 | 2005-08-17 | 三星电子株式会社 | 基于深度图像的三维图形数据的高速显像的装置和方法 |
CN1617175A (zh) * | 2004-12-09 | 2005-05-18 | 上海交通大学 | 基于标记点的人肢体三维建模方法 |
Non-Patent Citations (2)
Title |
---|
利用薄板样条函数实现非刚性图像匹配算法 孙冬梅,裘正定,电子学报,第30卷第8期 2002 * |
基于薄板样条的MRI图像与脑图谱的配准方法 罗述谦,阎华,中国生物医学工程学报,第23卷第6期 2004 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101577011B (zh) * | 2009-06-18 | 2013-06-19 | 清华大学 | 基于多视图的三维对象的特征选择方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN1804904A (zh) | 2006-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Su et al. | Splatnet: Sparse lattice networks for point cloud processing | |
Cho et al. | Weakly-and self-supervised learning for content-aware deep image retargeting | |
CN1818977A (zh) | 由一幅正面图像实现快速人脸模型重建的方法 | |
Wang et al. | Efficient example-based painting and synthesis of 2d directional texture | |
Jiang et al. | Deep CNN denoiser and multi-layer neighbor component embedding for face hallucination | |
JP2019003615A (ja) | オートエンコーダの学習 | |
CN111127631B (zh) | 基于单图像的三维形状和纹理重建方法、系统及存储介质 | |
CN100346357C (zh) | 用三维标记点直接进行三维模型变形的方法 | |
CN112132058A (zh) | 一种基于多层级图像特征精炼学习的头部姿态估计方法及其实现系统、存储介质 | |
CN112767486B (zh) | 基于深度卷积神经网络的单目6d姿态估计方法及装置 | |
CN111709307B (zh) | 一种基于分辨率增强的遥感图像小目标检测方法 | |
CN110827408B (zh) | 一种基于深度传感器的实时三维重建方法 | |
CN114463511A (zh) | 一种基于Transformer解码器的3D人体模型重建方法 | |
CN113449784A (zh) | 基于先验属性图谱的图像多分类方法、装置、设备及介质 | |
CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
CN115965789A (zh) | 一种基于场景感知类注意力的遥感图像语义分割方法 | |
CN113989441A (zh) | 基于单张人脸图像的三维漫画模型自动生成方法及系统 | |
CN116721419A (zh) | 结合视觉大模型sam的辅助标注方法 | |
CN115115860A (zh) | 一种基于深度学习的图像特征点检测匹配网络 | |
CN112232022B (zh) | 动态调整参数的汉字字形与布局设计方法和系统 | |
CN112508007B (zh) | 基于图像分割Mask和神经渲染的空间目标6D姿态估计方法 | |
CN114863132A (zh) | 图像空域信息的建模与捕捉方法、系统、设备及存储介质 | |
CN111243096A (zh) | 基于边约束谱卷积神经网络的三维人脸表示与重建方法 | |
CN104463793B (zh) | 一种视频超分辨率重建方法及其系统 | |
Xing et al. | Dynamic Guided Network for Monocular Depth Estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20071031 Termination date: 20120119 |