CN105957137B - 基于纹理映射的三维彩色模型图像处理方法 - Google Patents

基于纹理映射的三维彩色模型图像处理方法 Download PDF

Info

Publication number
CN105957137B
CN105957137B CN201610246791.5A CN201610246791A CN105957137B CN 105957137 B CN105957137 B CN 105957137B CN 201610246791 A CN201610246791 A CN 201610246791A CN 105957137 B CN105957137 B CN 105957137B
Authority
CN
China
Prior art keywords
color
texture
vertex
update
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610246791.5A
Other languages
English (en)
Other versions
CN105957137A (zh
Inventor
林巍峣
王琰宁
王晓琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610246791.5A priority Critical patent/CN105957137B/zh
Publication of CN105957137A publication Critical patent/CN105957137A/zh
Application granted granted Critical
Publication of CN105957137B publication Critical patent/CN105957137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于纹理映射的三维彩色模型图像处理方法，首先根据三维模型顶点与各个二维图像之间的映射关系确立位于三维模型上的各个纹理块的边界点，而后通过边界更新方程更新边界点颜色，再以内部纹理更新方程更新纹理块内所有顶点的颜色，重复两个更新过程直至更新前后各顶点颜色差值总和小于设定值，本发明将边界点和纹理块内的纹理分别求解，弱化了更新边界点颜色时点与点之间互相关系的约束以及更新纹理块内颜色时对于颜色改变的限制条件，能够显著地缩小纹理块的颜色以消除边界处的较大颜色差距，能够根据接缝处颜色整体统一地改变整块纹理的颜色，保持纹理的一致性和真实性。

Description

基于纹理映射的三维彩色模型图像处理方法
技术领域
本发明涉及的是一种计算机图像处理领域的技术，具体是一种基于纹理映射的三维彩色模型图像处理方法。
背景技术
三维重建是指对物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。三维重建是计算机辅助几何设计、计算机图形学、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。
经过对现有技术的检索发现，Lempitskyi等在会议IEEE Conference onComputer Vision and Pattern Recognition的2007年论文集中发表的论文“SeamlessMosaicing of Image-Based Texture Maps”中将三维模型的纹理拼接问题转化为一个马尔可夫随机场问题并用能量最优化的方法进行求解，最后提出接缝补平，通过对纹理图像梯度空间的分析，建立了一个比较理想的梯度域模型，从而对纹理进行一定的补偿，来弥补边界处的接缝。但该技术只能处理纹理块之间较小的接缝颜色差距，在纹理边界处形成过渡效果以达到平滑的目的，无法处理过于明显的差距。
发明内容
本发明针对现有技术在纹理边界处形成的过渡效果难以达到平滑，无法处理过于明显的差距等不足，提出一种基于纹理映射的三维彩色模型图像处理方法。
本发明是通过以下技术方案实现的：
本发明首先根据三维模型顶点与各个二维图像之间的映射关系确立各个纹理块的边界点，而后通过边界更新方程更新边界点颜色，再以内部纹理更新方程更新纹理块内所有顶点的颜色，重复两个更新过程直至更新前后各顶点颜色差值的总和小于设定值，得到彩色三维模型。
本发明具体包括以下步骤：
1)建立三维模型和二维图像之间的纹理映射关系；
2)确定位于三维模型的纹理块之间的边界点；
3)更新边界点的颜色；
4)更新纹理块的内部纹理的颜色；
5)更新前后各顶点颜色差值的总和在设定值范围内，则结束，否则回到步骤3)。
所述的边界点包括三维模型的同一面片中分属不同纹理块的相邻顶点。
所述的纹理映射关系为其中：L(Vk)是纹理映射关系建立后三维模型中顶点Vk对应的颜色，是顶点Vk在其应选择的最优的二维图像Jj中的颜色。
所述的边界更新方程为：其中：L(Vb)是三维模型边界点Vb更新前的颜色，L′(Vb)是更新后顶点Vb的颜色，Vb+1是Vb在同一纹理块内相邻的边界点，Nc(Vb)是Vb在另一纹理块中的相邻的边界点，是Vb在任意同时包含Vb和Nc(Vb)的二维图像Ii中的颜色。
所述的内部纹理更新方程为：其中：N(Vk)为Vk在纹理块内的相邻点，L′(Vk)和L(Vk)分别是顶点Vk更新后的颜色和更新前的颜色。
本发明涉及一种实现上述方法的系统，包括：边界寻找模块、边界颜色更新模块、纹理内部颜色更新模块，其中：边界寻找模块与边界颜色更新模块相连并传输边界定义信息，边界颜色更新模块与纹理内部颜色更新模块相连并传输更新的边界颜色信息。
技术效果
与现有技术相比，本发明将边界点和纹理块内的纹理分别求解，弱化了更新边界点颜色时点与点之间互相关系的约束以及更新纹理块内颜色时对于颜色改变的限制条件，能够显著地改变纹理块的颜色以消除边界处的较大颜色差距，能够根据接缝处颜色整体统一地改变整块纹理的颜色，保持纹理的一致性和真实性。
附图说明
图1为实施例1的方法流程示意图；
图2为三维模型与二维图像对应关系示意图；
图3为三维模型顶点与纹理块的关系示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
如图1所示，本实施例通过以下步骤实现三维模型纹理的映射：
1)计算纹理映射关系。利用RGB-D(带深度信息彩色)摄像头获取实际物体的三维模型以及对应该物体的一系列二维彩色图像，并建立三维模型顶点和二维图像像素点之间的对应关系，即纹理映射关系。
如图2所示，所述的三维模型以及二维图像通过KinectFusion方法获得，即移动KINECT摄像头围绕目标扫描得到。利用KinectFusion方法计算每张二维图像对于三维模型的摄像头位置与角度，并得到三维模型每个顶点与二维图像中像素点的对应关系。然后，可以将模型上的纹理即二维图像拼接问题转化为马尔可夫随机场问题，利用Graph Cut进行求解，得到三维模型每个顶点对应的最优的二维图像。
所述的纹理映射关系为其中：L(Vk)是纹理映射关系建立后三维模型中顶点Vk对应的颜色，Jj是计算出来的顶点Vk应选择的最优的二维图像，是顶点Vk在其二维图像Jj中的颜色。
2)寻找边界。根据三维模型顶点和二维图像像素点之间的纹理映射关系，确立各个三维模型上的纹理块之间的相互关系，将映射于同一二维图像的连续的顶点归为同一个纹理块。
所述的三维模型被划分为一个个呈三角形的面片，纹理块A与纹理块B中分别有顶点属于同一个三角形面片，则纹理块A与纹理块B相邻，且该顶点分别为其所属纹理块的边界点。作为边界点的相邻的两个顶点，属于同一纹理块则互为块内邻点，属于不同纹理块的顶点互为块间邻点。如图3所示，点1、2和3为边界点，点1和2为纹理块A的边界点，构成纹理块A的边界，点3为纹理块B的边界点，构成纹理块B的边界。点1和点2为块内邻点，点1和点3、点2和点3为块间邻点。
3)更新边界点的颜色。通过边界更新方程来更新纹理块的边界点的颜色以消除各个纹理块之间的颜色差。
所述的边界更新方程为：其中：L(Vb)是三维模型边界点Vb更新前的颜色，L′(Vb)是更新后顶点Vb的颜色，Vb+1是Vb在同一纹理块内相邻的边界点，Nc(Vb)是Vb在另一纹理块中的相邻的边界点，这里的Ii是任意同时包含Vb和Nc(Vb)的一张二维图像，是Vb在二维图像Ii中的颜色。
所述的边界更新方程作为一个过约束的稀疏线性方程组，利用求解稀疏线性系统的方法，可以使用共轭梯度法来计算其最小二乘解，得到更新后的边界点的颜色。
4)更新纹理块的内部纹理的颜色。即通过内部纹理更新方程来更新纹理块内顶点的颜色。
所述的内部纹理更新方程为：其中：N(Vk)为Vk在纹理块内的相邻点，L′(Vk)和L(Vk)分别是顶点Vk更新后的颜色和更新前的颜色。
所述的内部纹理更新方程作为一个过约束的稀疏线性方程组，利用求解稀疏线性系统的方法，可以使用共轭梯度法来计算其最小二乘解，得到更新后的纹理块内的顶点的颜色。
5)更新前后各个顶点颜色差值的总和在设定值范围内，则结束，生成最终的彩色的三维目标模型，否则回到步骤3)。
上述方法在具体实现时可以表现为以下系统，该系统包括：边界寻找模块、边界颜色更新模块、纹理内部颜色更新模块，其中：边界寻找模块与边界颜色更新模块相连并传输边界定义信息，边界颜色更新模块与纹理内部颜色更新模块相连并传输更新的边界颜色信息。
本发明通过将边界点和纹理块内的纹理分别求解，弱化了更新边界点颜色时点与点之间互相关系的约束以及更新纹理块内颜色时对于颜色改变的限制条件，能够显著地改变纹理块的颜色以消除接缝处的较大颜色差距，能够根据接缝处颜色整体统一地改变整块纹理的颜色，保持纹理的一致性和真实性。

Claims (5)

1.一种基于纹理映射的三维彩色模型图像处理方法，其特征在于，首先根据三维模型顶点与各个二维图像之间的映射关系确立位于三维模型上的各个纹理块的边界点，而后通过边界更新方程更新边界点颜色，再以内部纹理更新方程更新纹理块内所有顶点的颜色，重复两个更新过程直至更新前后各顶点颜色差值总和小于设定值；
所述的边界更新方程为：其中：L(Vb)是三维模型边界点Vb更新前的颜色，L′(Vb)是更新后顶点Vb的颜色，Vb+1是Vb在同一纹理块内相邻的边界点，Nc(Vb)是Vb在另一纹理块中的相邻的边界点，是Vb在任意同时包含Vb和Nc(Vb)的二维图像Ii中的颜色；
所述的内部纹理更新方程为：其中：N(Vk)为Vk在纹理块内的相邻点，L′(Vk)和L(Vk)分别是顶点Vk更新后的颜色和更新前的颜色。
2.根据权利要求1所述的基于纹理映射的三维彩色模型图像处理方法，其特征是，具体包括以下步骤：
1)建立三维模型和二维图像之间的纹理映射关系；
2)确定位于三维模型的纹理块之间的边界点；
3)更新边界点的颜色；
4)更新纹理块的内部纹理的颜色；
5)更新前后各顶点颜色差值总和在设定值范围内，则结束，否则回到步骤3)。
3.根据权利要求2所述的基于纹理映射的三维彩色模型图像处理方法，其特征是，所述的边界点包括三维模型的同一面片中分属不同纹理块的相邻顶点。
4.根据权利要求2所述的基于纹理映射的三维彩色模型图像处理方法，其特征是，所述的纹理映射关系为其中：L(Vk)是纹理映射关系建立后三维模型中顶点Vk对应的颜色，是顶点Vk在其应选择的最优的二维图像Jj中的颜色。
5.一种实现上述任一权利要求所述方法的系统，包括：边界寻找模块、边界颜色更新模块、纹理内部颜色更新模块，其中：边界寻找模块与边界颜色更新模块相连并传输边界定义信息，边界颜色更新模块与纹理内部颜色更新模块相连并传输更新的边界颜色信息。
CN201610246791.5A 2016-04-20 2016-04-20 基于纹理映射的三维彩色模型图像处理方法 Active CN105957137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610246791.5A CN105957137B (zh) 2016-04-20 2016-04-20 基于纹理映射的三维彩色模型图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610246791.5A CN105957137B (zh) 2016-04-20 2016-04-20 基于纹理映射的三维彩色模型图像处理方法

Publications (2)

Publication Number Publication Date
CN105957137A CN105957137A (zh) 2016-09-21
CN105957137B true CN105957137B (zh) 2018-09-21

Family

ID=56918091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610246791.5A Active CN105957137B (zh) 2016-04-20 2016-04-20 基于纹理映射的三维彩色模型图像处理方法

Country Status (1)

Country Link
CN (1) CN105957137B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876886B (zh) * 2017-05-09 2021-07-27 腾讯科技（深圳）有限公司 图像处理方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179409A (zh) * 2006-12-30 2008-05-14 腾讯科技（深圳）有限公司 在即时通信中显示多方视频的方法及装置
CN101404059A (zh) * 2008-09-24 2009-04-08 中国科学院自动化研究所 基于块状纹理采样的虹膜图像数据库合成方法
CN101620737A (zh) * 2009-08-07 2010-01-06 中国科学院软件研究所 一种基于纹理块间隔分布的纹理合成方法
CN101807304A (zh) * 2010-03-23 2010-08-18 中国科学院软件研究所 一种基于复用的纹理合成方法
CN105321142A (zh) * 2014-06-27 2016-02-10 英特尔公司 经由计算流水线进行的采样、错误管理和/或上下文切换

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP2013188341A (ja) * 2012-03-14 2013-09-26 Sony Corp 画像処理装置と画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179409A (zh) * 2006-12-30 2008-05-14 腾讯科技（深圳）有限公司 在即时通信中显示多方视频的方法及装置
CN101404059A (zh) * 2008-09-24 2009-04-08 中国科学院自动化研究所 基于块状纹理采样的虹膜图像数据库合成方法
CN101620737A (zh) * 2009-08-07 2010-01-06 中国科学院软件研究所 一种基于纹理块间隔分布的纹理合成方法
CN101807304A (zh) * 2010-03-23 2010-08-18 中国科学院软件研究所 一种基于复用的纹理合成方法
CN105321142A (zh) * 2014-06-27 2016-02-10 英特尔公司 经由计算流水线进行的采样、错误管理和/或上下文切换

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Graphcut Textures: Image and Video Synthesis Using Graph Cuts;Vivek Kwatra 等;《Graphics》;20030731;第22卷(第3期);第277-286页 *
Seamless Mosaicing of Image-Based Texture Maps;Victor Lempitsky，Denis Ivanov;《Computer Vision and Pattern Recognition》;20070622;第1-6页 *
基于多区域约束的多样图纹理合成方法;莫灿林 等;《浙江理工大学学报》;20100331;第27卷(第2期);第233-238页 *
基于纹理延伸和三角块拼接的快速曲面纹理合成;薛峰 等;《计算机辅助设计与图形学学报》;20070228;第19卷(第2期);第221-226页 *
基于随机查找的并行大规模纹理合成;黄志勇 等;《计算机辅助设计与图形学学报》;20110630;第23卷(第6期);第1091-1098页 *

Also Published As

Publication number Publication date
CN105957137A (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
CN106709947A (zh) 一种基于rgbd相机的三维人体快速建模系统
CN102592275B (zh) 虚拟视点绘制方法
CN104331699B (zh) 一种三维点云平面化快速搜索比对的方法
CN106713923A (zh) 三维建模对象的压缩
CN103258343B (zh) 一种基于图像编辑的眼部图像处理方法
CN101339669A (zh) 基于正侧面影像的三维人脸建模方法
CN108682017A (zh) 基于Node2Vec算法的超像素图像边缘检测方法
CN111145253B (zh) 一种高效的物体6d姿态估计算法
CN109658444B (zh) 一种基于多模态特征的规则三维彩色点云配准方法
CN102263979B (zh) 一种平面视频立体化的深度图生成方法及装置
CN105046735B (zh) 一种基于基元分布的三维表面纹理合成方法
CN109146001B (zh) 多视角isar图像融合方法
Grabner et al. Location field descriptors: Single image 3d model retrieval in the wild
CN103646416A (zh) 一种三维卡通人脸纹理生成方法及设备
CN105303616A (zh) 基于单张照片的浮雕建模方法
Zhang et al. Real-time bas-relief generation from a 3D mesh
CN109712223A (zh) 一种基于纹理合成的三维模型自动上色方法
CN111462030A (zh) 多图像融合的立体布景视觉新角度构建绘制方法
CN104143209B (zh) 基于线画图案的三维模型雕刻方法
CN104574432A (zh) 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN103761766A (zh) 基于色调映射和图像平滑的三维物体模型纹理映射算法
CN109377564A (zh) 基于单目深度相机的虚拟试衣方法及装置
CN103955945A (zh) 基于双目视差和活动轮廓的自适应彩色图像分割方法
CN104574266A (zh) 基于轮廓线的图像变形技术
CN105957137B (zh) 基于纹理映射的三维彩色模型图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant