CN102945565A - 一种物体的三维真实感重建方法、系统及电子设备 - Google Patents

一种物体的三维真实感重建方法、系统及电子设备 Download PDF

Info

Publication number
CN102945565A
CN102945565A CN2012103965572A CN201210396557A CN102945565A CN 102945565 A CN102945565 A CN 102945565A CN 2012103965572 A CN2012103965572 A CN 2012103965572A CN 201210396557 A CN201210396557 A CN 201210396557A CN 102945565 A CN102945565 A CN 102945565A
Authority
CN
China
Prior art keywords
rebuild
texture
model
image data
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103965572A
Other languages
English (en)
Other versions
CN102945565B (zh
Inventor
彭翔
刘星明
刘晓利
李阿蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Esun Display Co., Ltd.
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201210396557.2A priority Critical patent/CN102945565B/zh
Publication of CN102945565A publication Critical patent/CN102945565A/zh
Application granted granted Critical
Publication of CN102945565B publication Critical patent/CN102945565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于计算机视觉技术应用技术领域,提供了一种物体的三维真实感重建方法、系统及电子设备。该方法及系统中,在建立物体的三维纹理模型后,首先通过马尔科夫算法对三维纹理模型进行分割,得到各区域间纹理接缝最小的最优分割方式,再结合对不同区域的边缘三角形进行处理,达到消除纹理接缝的目的,重建物体的真实感三维模型。相对于现有在建立三维纹理模型后直接对边缘三角形处理或对重叠区域的纹理进行处理来实现纹理融合的方法,该方法能够更有效的消除纹理接缝,实现三维纹理模型中各图像区域之间的平滑、自然过渡,融合效果也更佳。

Description

一种物体的三维真实感重建方法、系统及电子设备
技术领域
本发明属于计算机视觉技术应用技术领域,尤其涉及一种物体的三维真实感重建方法、系统及电子设备。
背景技术
物体的三维真实感重建在游戏开发、动画、影视制造和三维电视等领域具有广泛的潜在应用。随着三维扫描设备的发展,对真实感三维模型的研究在近年来越发引起学者的兴趣,它是连接现实生活和虚拟世界的桥梁。
现有技术提供的物体的三维真实感重建典型方法包括如下步骤:首先采集物体各个视角的深度图像的数据,利用深度图像的数据建立物体的几何模型;之后通过对几何模型中重叠区域图像的深度数据的调整和匹配,将不同坐标系下的深度图像数据匹配到同一世界坐标系下,并进一步对其进行深度融合处理,以祛除冗余数据,最终得到一个完整的、没有冗余数据的、描述物体外形的三维点云模型;之后,通过各种不同的形式(如:三角网格、B样条曲面、隐式曲面和细分曲面等)对物体的几何模型进行表达。
但仅用几何模型并不能实现对物体进行真实表象,要建立物体的具有真实感的三维模型,就必须进行纹理映射,把采集到的纹理图像映射到几何模型表面,得到三维模型,并对三维模型中各区域进行纹理融合处理,消除模型表面由于光照变化、物体表面非完全漫反射、几何模型的重建精度以及纹理图和模型的匹配误差等因素引起的纹理接缝或人工痕迹,实现三维真实感模型的重建。
其中,纹理融合的方法主要有两种:一种是通过对三维模型中不同区域的边缘三角形的处理,实现色彩的自然过渡,如根据几何三角形与拍摄视场的姿态、以及三角形的可见性来确定边缘三角形,并通过对边缘三角形颜色的插值或均值处理,实现色彩的均衡过渡。该方法在融合后在边缘往往有细缝出现或模糊现象产生,不能完全实现纹理的平滑过渡。另一种是对不同视场的重叠区域的纹理进行处理,实现不同视角拍摄纹理的融合,重建真实感三维模型。但由于对具有复杂拓扑空间几何形体的纹理融合,一般很难得到其参数化,并且由于深度图像匹配精度、以及重建几何模型误差等外在因素的限制,通常在物体表面仍有少量的细缝存在。
综上所述,现有的物体的三维真实感重建典型方法在建立三维模型后,或者直接通过对不同区域的边缘三角形进行处理、或者通过对重叠区域的纹理进行处理来实现纹理融合,融合后的物体模型仍有细缝存在,融合效果不佳。
发明内容
本发明实施例的目的在于提供一种物体的三维真实感重建方法,旨在解决现有技术在建立三维模型后,或者直接通过对不同区域的边缘三角形进行处理、或者通过对重叠区域的纹理进行处理来实现纹理融合,融合效果不佳的问题。
本发明实施例是这样实现的,一种物体的三维真实感重建方法,所述方法包括以下步骤:
利用三维扫描设备采集待重建物体的深度图像数据和纹理图像数据,利用所述深度图像数据建立所述待重建物体在世界坐标系下的几何模型,并将采集的所述纹理图像数据映射到所述几何模型上,得到所述待重建物体的三维纹理模型;
利用马尔科夫算法得到所述三维纹理模型的最优分割结果,并提取分割后各图像区域的边缘三角形;
对分割后的所述三维纹理模型的纹理接缝进行融合,重建所述待重建物体的真实感三维模型。
本发明实施例的另一目的在于提供一种物体的三维真实感重建系统,所述系统包括:
三维模型建模单元,用于利用三维扫描设备采集待重建物体的深度图像数据和纹理图像数据,利用所述深度图像数据建立所述待重建物体在世界坐标系下的几何模型,并将采集的所述纹理图像数据映射到所述几何模型上,得到所述待重建物体的三维纹理模型;
分割单元,用于利用马尔科夫算法得到所述三维模型建模单元得到的所述三维纹理模型的最优分割结果,并提取分割后各图像区域的边缘三角形;
融合处理单元,用于对所述分割单元分割后的所述三维纹理模型的纹理接缝进行融合,重建所述待重建物体的真实感三维模型。
本发明实施例的另一目的在于提供一种电子设备,所述电子设备包括一如上所述的物体的三维真实感重建系统。
本发明实施例提供的物体的三维真实感重建方法及系统中,在建立物体的三维纹理模型后,首先通过马尔科夫算法对三维纹理模型进行分割,得到各区域间纹理接缝最小的最优分割方式,再结合对不同区域的边缘三角形进行处理,达到消除纹理接缝的目的,重建物体的真实感三维模型。相对于现有在建立三维纹理模型后直接对边缘三角形处理或对重叠区域的纹理进行处理来实现纹理融合的方法,该方法能够更有效的消除纹理接缝,实现三维纹理模型中各图像区域之间的平滑、自然过渡,融合效果也更佳。
附图说明
图1是本发明实施例提供的物体的三维真实感重建方法的流程图;
图2是本发明实施例提供的物体的三维真实感重建系统的结构原理图;
图3是图2中三维模型建模单元的结构原理图;
图4是图2中融合处理单元的结构原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明实施例提供的物体的三维真实感重建方法中,在建立物体的三维纹理模型后,首先通过马尔科夫算法对三维纹理模型进行分割,得到各区域间纹理接缝最小的最优分割方式,再结合对不同区域的边缘三角形进行处理,达到消除纹理接缝的目的。
图1示出了本发明实施例提供的物体的三维真实感重建方法的流程,包括以下步骤:
步骤S11:利用三维扫描设备采集待重建物体的深度图像数据和纹理图像数据,利用深度图像数据建立待重建物体在世界坐标系下的几何模型,并将采集的纹理图像数据映射到几何模型上,得到待重建物体的三维纹理模型。其中,深度图像中的每一坐标值表示扫描点的空间坐标信息,其定义为本领域技术人员所公知,在此不再赘述。
本发明实施例中,三维扫描设备包括:投影仪,用于向待重建物体表面投影结构光(如:条形光等);置于投影仪一侧的黑白相机,用于采集待重建物体的深度图像数据;置于投影仪另一侧的彩色相机,用于采集待重建物体的纹理图像数据。则骤S11中,利用三维扫描设备采集待重建物体的深度图像数据和纹理图像数据,利用深度图像数据建立待重建物体在世界坐标系下的几何模型的步骤可进一步包括以下步骤:
步骤S111:三维扫描设备中的投影仪向待重建物体表面投射结构光,以产生采集区域的约束条件,之后三维扫描设备中的黑白相机和彩色相机围绕待重建物体,从不同视角采集待重建物体的深度图像数据和纹理图像数据。
步骤S 112:利用局部坐标系之间的变换关系,将采集到的深度图像数据统一到世界坐标系下,得到不同采集视角下的待重建物体在世界坐标系下的空间三维点坐标。
在本发明实施例中,假设世界坐标系上一点Xw在相邻采集视角的两个坐标系的成像点分别为mRc,mp,空间坐标点Xw即为两个坐标系射影的交点,从而构成三角法。根据主动立体视觉原理,将采集到的深度图像数据统一到世界坐标系的步骤可以表示为:
Figure BDA00002272136000051
其中,Xw(xw,yw,zw)表示世界坐标系的空间三维点坐标,RRc为3×3的矩阵,表示从世界坐标系到黑白相机的采集坐标系的旋转变换,tRc为3×1的矩阵,表示从世界坐标系到黑白相机的采集坐标系的平移向量。而
Figure BDA00002272136000052
表示齐次坐标,即表示在黑白相机的采集坐标系下XRc的齐次坐标,sc表示尺度因子,δ(mRcc)表示黑白相机镜头的畸变,θ称为畸变系数,不同镜头畸变系数不相同。为精确的重建空间三维点,考虑镜头畸变的影响,
Figure BDA00002272136000054
为真实测量像素坐标值,
Figure BDA00002272136000055
在祛除畸变后的得到理想坐标像素坐标值mRc。Rs为从黑白相机的采集坐标系到投影仪的投影坐标系的旋转变换,ts为从黑白相机的采集坐标系到投影仪的投影坐标系的平移向量,且Rs、ts分别满足:
R s = R p R Rc - 1 t s = t p - R p R Rc - 1 t c - - - ( 2 )
式(2)中,Rs、tsRp、tp、KRc、Kp可根据黑白相机的标定得到,从而利用式(1)和式(2),即可解得空间三维点坐标Xw(xw,yw,zw)。
步骤S113:对统一到世界坐标系下的深度图像数据进行融合和建模,以祛除得到的空间三维点坐标中的冗余数据,得到待重建物体的深度图像点云数据(即离散的空间三维点坐标),并以建模后的三角形网格模型表达待重建物体,得到待重建物体在世界坐标系下的几何模型。
另外,步骤S11中,将采集的纹理图像数据映射到几何模型上,得到待重建物体的三维纹理模型的步骤可进一步包括以下步骤:
步骤S114:利用平面标靶对三维扫描设备中的彩色相机进行标定,并根据一已知标志点的空间坐标和对应的图像坐标对下式(3)进行最小化优化求解,得到彩色相机参数,该相机参数表征了彩色相机相对几何模型的姿态:
Σ ij | | x ~ - x ^ ( K , R , t , θ ; X ) | | 2 - - - ( 3 )
其中,
Figure BDA00002272136000062
为已知标志点的实际图像坐标,
Figure BDA00002272136000063
为根据非线性相机模型已知标志点在世界坐标空间坐标值X投影得到的理论图像坐标,(K,R,t,θ)即为待求解的彩色相机参数。
本发明实施例采用了微软亚洲研究院Zhang提出的基于平面标靶的相机标定方法(详见文献Z.Zhang.A flexible new technique for camera calibration.Technical Report,MSR-TR-98-71,Microsoft Research,1998),通过Zhang法提出的相机标定确定彩色相机相对几何模型的姿态。
步骤S115:根据得到的彩色相机参数,将彩色相机采集到的纹理图像数据映射到几何模型的相应区域,得到纹理面片,从而得到待重建物体的三维纹理模型。
步骤S12:利用马尔科夫(MRF)算法得到三维纹理模型的最优分割结果,以使得三维纹理模型的不同区域之间的纹理接缝最小,并提取分割后各图像区域的边缘三角形。其中,边缘三角形是指,当三维纹理模型上,相邻的两个三角形的纹理颜色不是来自同一纹理图像时,相邻三角形边缘会出现不连续的纹理,则该相邻的两个三角形即为边缘三角形。
本发明实施例是基于采集视角和采集到的纹理图像之间的色彩差异,得到最优分割结果的,该算法可有效地对较小的重叠区域的纹理进行处理。具体地,利用马尔科夫算法得到三维纹理模型的最优分割结果的步骤可表示为:
Min { Σ i = 1 N E data ( f Δi m i ) + λ Σ i = 1 N E Smooth ( f Δi m i , f Δj m j ) } - - - ( 4 )
其中,第一项是对彩色相机采集视角的最优化,表示几何三角形Δi的最优纹理图像来自第mi视角采集的纹理图像(即第mi-th张纹理图像数据),这里
Figure BDA00002272136000071
等于三角形法向量与采集视角方向夹角的余弦值,其中mi为输入的纹理图像,且mi∈{1,2,3,…,m},m为纹理图像的数量;第二项是对相邻纹理三角形而纹理色彩来自不同采集视角的色彩差异的衡量,假设Fij为相邻几何三角形的公共边缘,则
Figure BDA00002272136000072
可以表示为:
E Smooth ( f Δi m i , f Δj m j ) = ∫ F ij d ( Π m i ( X ) , Π m j ( X ) ) dX - - - ( 5 )
其中,
Figure BDA00002272136000074
表示空间三维点投影到第mi-th纹理图像的投影矩阵,d(·)为RGB空间的颜色欧式距离,并且d(·)≥0,λ为尺度因子。若mi=mj,则说明相邻三角形的纹理来自同一视角采集的纹理图像。
步骤S13:对分割后的三维纹理模型的纹理接缝进行融合,以消除三维纹理模型表面由于光照变化、物体表面非完全漫反射、几何模型的重建精度以及纹理图像和几何模型的匹配误差等因素引起的纹理接缝或人工痕迹,重建真实感三维模型。具体地,对分割后的三维纹理模型的纹理接缝进行融合的步骤进一步包括以下步骤:
步骤S131:建立分割后的三维纹理模型中边缘三角形的三个顶点的向量、以及边缘三角形内部的采样点。假设边缘三角形Δi的三个顶点的向量分别为Va,Vb,Vc,边缘三角形内部的采样点为pi,则有:
pi=αVa+βVb+γVc             (6)
即是说,边缘三角形的内部采样点能被边缘三角形三个顶点的向量线性表示,且有α+β+γ=1。
步骤S132:根据步骤S114得到的相机参数,将边缘三角形的三个顶点的向量投影到纹理图像中,得到边缘三角形的有效纹理图,将有效纹理图标记为IΔi={Imk,k=1,2,3…l}。该有效纹理图满足如下三个条件:一是边缘三角形的法向量与视线方向的夹角不大于π/2,其中的视线方向为连接边缘三角形中心与彩色相机中心的射线;二是边缘三角形经投影变换后,投影在纹理图像Imk图像区域内;三是边缘三角形Δi的三个顶点和彩色相机中心的连线与三角形网格模型没有交点。
步骤S133:利用均值法或复合权重法得到边缘三角形的三个顶点的向量在有效纹理图的颜色值,之后利用插值法计算边缘三角形内部的采样点的颜色值。假设利用均值法或复合权重法得到的边缘三角形的三个顶点的向量Va,Vb,Vc在有效纹理图的颜色值分别为
Figure BDA00002272136000081
边缘三角形内部的采样点为pi的颜色值为Cpi,则插值法可表示为:
C pi = α v ~ a + β v ~ b + γ v ~ c - - - ( 7 )
图2示出了本发明实施例提供的物体的三维真实感重建系统的结构原理,为了便于说明,仅示出了与本发明实施例相关的部分。
本发明实施例提供的物体的三维真实感重建系统包括:三维模型建模单元11,用于利用三维扫描设备采集待重建物体的深度图像数据和纹理图像数据,利用深度图像数据建立待重建物体在世界坐标系下的几何模型,并将采集的纹理图像映射到几何模型上,得到待重建物体的三维纹理模型;分割单元12,用于利用马尔科夫(MRF)算法得到三维模型建模单元11得到的三维纹理模型的最优分割结果,以使得三维纹理模型的不同区域之间的纹理接缝最小,并提取分割后各图像区域的边缘三角形;融合处理单元13,用于对分割单元12分割后的三维纹理模型的纹理接缝进行融合,以消除三维纹理模型表面由于光照变化、物体表面非完全漫反射、几何模型的重建精度以及纹理图像和几何模型的匹配误差等因素引起的纹理接缝或人工痕迹,重建真实感三维模型。其中,分割单元12利用马尔科夫算法得到三维纹理模型的最优分割结果的过程如上所述,在此不再赘述。
图3示出了图2中三维模型建模单元11的结构原理。
具体地,三维模型建模单元11可以包括:三维扫描设备111,三维扫描设备111中的投影仪向待重建物体表面投射结构光,以产生采集区域的约束条件,三维扫描设备111中的黑白相机和彩色相机围绕待重建物体,从不同视角采集待重建物体的深度图像数据和纹理图像数据;坐标变换模块112,用于利用局部坐标系之间的变换关系,将三维扫描设备111采集到的深度图像数据统一到世界坐标系下,得到不同采集视角下的待重建物体在世界坐标系下的空间三维点坐标,其具体过程如上所述,在此不再赘述;融合及建模模块113,用于对坐标变换模块112统一到世界坐标系下的深度图像数据进行融合和建模,并以建模后的三角形网格模型表达待重建物体,得到待重建物体在世界坐标系下的几何模型;相机参数求解模块114,用于利用平面标靶对三维扫描设备111中的彩色相机进行标定,并根据一已知标志点空间坐标和对应的图像坐标对式(3)进行最小化优化求解,得到彩色相机的参数;映射模块115,用于根据相机参数求解模块114得到的彩色相机参数,将彩色相机采集到的纹理图像数据映射到融合及建模模块113得到的几何模型的相应区域,得到纹理面片,从而得到待重建物体的三维纹理模型。
图4示出了图2中融合处理单元13的结构原理。
具体地,融合处理单元13可以包括:建立模块131,用于建立分割单元12分割后的三维纹理模型中边缘三角形的三个顶点的向量、以及边缘三角形内部的采样点;投影模块132,用于根据相机参数求解模块114得到的相机参数,将边缘三角形的三个顶点的向量投影到彩色相机采集到的纹理图像中,得到边缘三角形的有效纹理图;颜色值计算模块133,用于利用均值法或复合权重法得到边缘三角形的三个顶点的向量在投影模块132得到的有效纹理图的颜色值,之后利用插值法计算建立模块131建立的边缘三角形内部的采样点的颜色值。
本发明实施例还提供了一种电子设备,包括一如上所述的物体的三维真实感重建系统,该电子设备优选是计算机。
本发明实施例提供的物体的三维真实感重建方法及系统中,在建立物体的三维纹理模型后,首先通过马尔科夫算法对三维纹理模型进行分割,得到各区域间纹理接缝最小的最优分割方式,再结合对不同区域的边缘三角形进行处理,达到消除纹理接缝的目的,重建物体的真实感三维模型。相对于现有在建立三维纹理模型后直接对边缘三角形处理或对重叠区域的纹理进行处理来实现纹理融合的方法,该方法能够更有效的消除纹理接缝,实现三维纹理模型中各图像区域之间的平滑、自然过渡,融合效果也更佳。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成,所述的程序可以在存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种物体的三维真实感重建方法,其特征在于,所述方法包括以下步骤:
利用三维扫描设备采集待重建物体的深度图像数据和纹理图像数据,利用所述深度图像数据建立所述待重建物体在世界坐标系下的几何模型,并将采集的所述纹理图像数据映射到所述几何模型上,得到所述待重建物体的三维纹理模型;
利用马尔科夫算法得到所述三维纹理模型的最优分割结果,并提取分割后各图像区域的边缘三角形;
对分割后的所述三维纹理模型的纹理接缝进行融合,重建所述待重建物体的真实感三维模型。
2.如权利要求1所述的物体的三维真实感重建方法,其特征在于,所述三维扫描设备包括:
投影仪,用于向所述待重建物体表面投影结构光;
置于所述投影仪一侧的黑白相机,用于采集所述待重建物体的所述深度图像数据;
置于所述投影仪另一侧的彩色相机,用于采集所述待重建物体的所述纹理图像数据。
3.如权利要求2所述的物体的三维真实感重建方法,其特征在于,利用所述深度图像数据建立所述待重建物体在世界坐标系下的几何模型的步骤包括:
所述投影仪向所述待重建物体表面投射结构光,之后所述黑白相机和彩色相机围绕所述待重建物体,从不同视角采集所述待重建物体的深度图像数据和纹理图像数据;
利用各局部坐标系之间的变换关系,将所述深度图像数据统一到世界坐标系下,得到不同采集视角下的所述待重建物体在所述世界坐标系下的空间三维点坐标;
对统一到所述世界坐标系下的所述深度图像数据进行融合和建模,并以建模后的三角形网格模型表达所述待重建物体,得到所述待重建物体在所述世界坐标系下的几何模型。
4.如权利要求2所述的物体的三维真实感重建方法,其特征在于,所述将采集的所述纹理图像数据映射到所述几何模型上,得到所述待重建物体的三维纹理模型的步骤包括:
利用平面标靶对所述彩色相机进行标定,并根据一已知标志点的空间坐标和对应的图像坐标对公式
Figure FDA00002272135900021
进行最小化优化求解,得到所述彩色相机的参数,其中,
Figure FDA00002272135900022
为所述已知标志点的实际图像坐标,为所述已知标志点在所述世界坐标空间坐标值X投影得到的理论图像坐标,(K,R,t,θ)为所述彩色相机的参数;
根据得到的所述彩色相机的参数,将所述彩色相机采集到的所述纹理图像数据映射到所述几何模型的相应区域,得到纹理面片,从而得到所述待重建物体的三维纹理模型。
5.如权利要求4所述的物体的三维真实感重建方法,其特征在于,所述对分割后的所述三维纹理模型的纹理接缝进行融合的步骤包括:
建立分割后的所述三维纹理模型中边缘三角形的三个顶点的向量、以及所述边缘三角形内部的采样点;
根据所述彩色相机的参数,将所述边缘三角形的三个顶点的向量投影到所述彩色相机采集到的纹理图像中,得到所述边缘三角形的有效纹理图;
利用均值法或复合权重法得到所述边缘三角形的三个顶点的向量在所述有效纹理图的颜色值,之后利用插值法计算所述采样点的颜色值。
6.如权利要求2所述的物体的三维真实感重建方法,其特征在于,所述利用马尔科夫算法得到所述三维纹理模型的最优分割结果的步骤表示为:
Min { Σ i = 1 N E data ( f Δi m i ) + λ Σ i = 1 N E Smooth ( f Δi m i , f Δj m j ) }
其中,第一项是对所述彩色相机采集视角的最优化,
Figure FDA00002272135900025
表示几何三角形Δi的最优纹理图像来自第mi视角采集的纹理图像,所述
Figure FDA00002272135900031
等于三角形法向量与采集视角方向夹角的余弦值,其中mi为所述彩色相机采集的纹理图像,且mi∈{1,2,3,…,m},m为所述纹理图像的数量;第二项是对相邻纹理三角形而纹理色彩来自不同采集视角的色彩差异的衡量,假设Fij为相邻几何三角形的公共边缘,则
Figure FDA00002272135900032
可以表示为:
E Smooth ( f Δi m i , f Δj m j ) = ∫ F ij d ( Π m i ( X ) , Π m j ( X ) ) dX - - - ( 5 )
其中,表示空间三维点投影到第mi-th纹理图像的投影矩阵,d(·)为RGB空间的颜色欧式距离,并且d(·)≥0,λ为尺度因子。
7.一种物体的三维真实感重建系统,其特征在于,所述系统包括:
三维模型建模单元,用于利用三维扫描设备采集待重建物体的深度图像数据和纹理图像数据,利用所述深度图像数据建立所述待重建物体在世界坐标系下的几何模型,并将采集的所述纹理图像数据映射到所述几何模型上,得到所述待重建物体的三维纹理模型;
分割单元,用于利用马尔科夫算法得到所述三维模型建模单元得到的所述三维纹理模型的最优分割结果,并提取分割后各图像区域的边缘三角形;
融合处理单元,用于对所述分割单元分割后的所述三维纹理模型的纹理接缝进行融合,重建所述待重建物体的真实感三维模型。
8.如权利要求7所述的物体的三维真实感重建系统,其特征在于,所述三维模型建模单元包括:
三维扫描设备,所述三维扫描设备包括投影仪、黑白相机和彩色相机,所述投影仪向所述待重建物体表面投射结构光,所述黑白相机和彩色相机围绕所述待重建物体,从不同视角采集所述待重建物体的深度图像数据和纹理图像数据;
坐标变换模块,利用各局部坐标系之间的变换关系,将所述三维扫描设备采集到的所述深度图像数据统一到世界坐标系下,得到不同采集视角下的所述待重建物体在所述世界坐标系下的空间三维点坐标;
融合及建模模块,用于对所述坐标变换模块统一到所述世界坐标系下的所述深度图像数据进行融合和建模,并以建模后的三角形网格模型表达所述待重建物体,得到所述待重建物体在所述世界坐标系下的几何模型;
相机参数求解模块,用于利用平面标靶对所述彩色相机进行标定,并根据已知标志点空间坐标和对应的图像坐标对公式进行最小化优化求解,得到所述彩色相机的参数;
映射模块,用于根据所述相机参数求解模块得到的所述彩色相机的参数,将所述彩色相机采集到的所述纹理图像数据映射到所述融合及建模模块得到的所述几何模型的相应区域,得到纹理面片,从而得到所述待重建物体的三维纹理模型。
9.如权利要求7所述的物体的三维真实感重建系统,其特征在于,所述融合处理单元包括:
建立模块,用于建立所述分割单元分割后的所述三维纹理模型中边缘三角形的三个顶点的向量、以及边缘三角形内部的采样点;
投影模块,用于根据所述相机参数将所述边缘三角形的三个顶点的向量投影到所述彩色相机采集到的纹理图像中,得到所述边缘三角形的有效纹理图;
颜色值计算模块,用于利用均值法或复合权重法得到所述边缘三角形的三个顶点的向量在所述有效纹理图的颜色值,之后利用插值法计算所述建立模块建立的所述边缘三角形内部的采样点的颜色值。
10.一种电子设备,其特征在于,所述电子设备包括一如权利要求7至9任一项所述的物体的三维真实感重建系统。
CN201210396557.2A 2012-10-18 2012-10-18 一种物体的三维真实感重建方法、系统及电子设备 Active CN102945565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210396557.2A CN102945565B (zh) 2012-10-18 2012-10-18 一种物体的三维真实感重建方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210396557.2A CN102945565B (zh) 2012-10-18 2012-10-18 一种物体的三维真实感重建方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN102945565A true CN102945565A (zh) 2013-02-27
CN102945565B CN102945565B (zh) 2016-04-06

Family

ID=47728503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210396557.2A Active CN102945565B (zh) 2012-10-18 2012-10-18 一种物体的三维真实感重建方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN102945565B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258344A (zh) * 2013-04-10 2013-08-21 山东华戎信息产业有限公司 一种植物三维重建中纹理的自动提取方法
CN103530907A (zh) * 2013-10-21 2014-01-22 深圳市易尚展示股份有限公司 基于图像的复杂三维模型绘制方法
CN104346608A (zh) * 2013-07-26 2015-02-11 株式会社理光 稀疏深度图稠密化方法和装置
CN105550992A (zh) * 2015-12-30 2016-05-04 四川川大智胜软件股份有限公司 一种三维全脸照相机中高保真全脸纹理融合方法
CN105574922A (zh) * 2015-12-16 2016-05-11 浙江大学 一种鲁棒的三维模型高质量纹理映射方法
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106091976A (zh) * 2016-05-27 2016-11-09 武汉大学 矩形体的自动化检测与三维重构系统及方法
CN106164979A (zh) * 2015-07-13 2016-11-23 深圳大学 一种三维人脸重建方法及系统
CN106530384A (zh) * 2016-11-07 2017-03-22 深圳大学 一种三维模型的外观纹理合成方法及装置
CN106530395A (zh) * 2016-12-30 2017-03-22 碰海科技(北京)有限公司 深度及彩色成像一体式手持三维建模装置
CN106796101A (zh) * 2014-08-22 2017-05-31 安迪凯座椅电梯有限责任公司 用于设计楼梯升降机导轨组件的方法和系统
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法
CN108036740A (zh) * 2017-12-05 2018-05-15 南京理工大学 一种基于多视角的高精度实时三维彩色测量系统及其方法
CN108629826A (zh) * 2018-05-15 2018-10-09 天津流形科技有限责任公司 一种纹理映射方法、装置、计算机设备及介质
CN108961381A (zh) * 2017-05-17 2018-12-07 富士通株式会社 用于对物体的三维几何模型着色的方法和装置
CN109003516A (zh) * 2018-07-27 2018-12-14 国家电网有限公司 一种特高压交流变压器工艺质量管控仿真培训系统
CN109003333A (zh) * 2018-07-02 2018-12-14 景致三维(江苏)股份有限公司 基于纹理的交互式网格模型裁切方法、装置及建模设备
CN109389665A (zh) * 2018-08-24 2019-02-26 先临三维科技股份有限公司 三维模型的纹理获取方法、装置、设备和存储介质
CN109472741A (zh) * 2018-09-30 2019-03-15 先临三维科技股份有限公司 三维拼接方法及装置
CN109785421A (zh) * 2018-12-06 2019-05-21 武汉天际航信息科技股份有限公司 一种基于空地影像组合的纹理映射方法及系统
CN110351514A (zh) * 2019-07-09 2019-10-18 北京猫眼视觉科技有限公司 一种虚拟模型通过远程协助方式和视频流同时传输的方法
CN110443233A (zh) * 2019-09-16 2019-11-12 上海市刑事科学技术研究院 刑侦物证保全的数据处理方法、装置、系统和电子设备
CN110473281A (zh) * 2018-05-09 2019-11-19 网易(杭州)网络有限公司 三维模型的描边处理方法、装置、处理器及终端
WO2020063986A1 (zh) * 2018-09-30 2020-04-02 先临三维科技股份有限公司 三维模型生成方法、装置、设备和存储介质
CN113376953A (zh) * 2021-05-20 2021-09-10 达闼机器人有限公司 物体投影重建系统
CN114758333A (zh) * 2020-12-29 2022-07-15 北京瓦特曼科技有限公司 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统
CN115797535A (zh) * 2023-01-05 2023-03-14 深圳思谋信息科技有限公司 一种三维模型纹理贴图方法及相关装置
CN116518948A (zh) * 2023-04-12 2023-08-01 山东省地质矿产勘查开发局第一地质大队(山东省第一地质矿产勘查院) 基于三维函数测绘进行地区环境预测勘探设备及测绘方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515367A (zh) * 2009-04-01 2009-08-26 西北工业大学 三维大脑磁共振图像的大脑皮层表面上脑沟区域分割方法
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN102663810A (zh) * 2012-03-09 2012-09-12 北京航空航天大学 一种基于相位偏移扫描的三维人脸全自动建模方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN101515367A (zh) * 2009-04-01 2009-08-26 西北工业大学 三维大脑磁共振图像的大脑皮层表面上脑沟区域分割方法
CN102663810A (zh) * 2012-03-09 2012-09-12 北京航空航天大学 一种基于相位偏移扫描的三维人脸全自动建模方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FAUSTO BERNARDINI ET AL: "High-Quality Texture Reconstruction from multiple scans", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》, vol. 7, no. 4, 31 December 2001 (2001-12-31), pages 318 - 332 *
VICTOR LEMPITSKY,DENIS IVANOV: "Seamless mosaicing of image-based texture maps", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2007. CVPR 07》, 31 July 2007 (2007-07-31), pages 1 - 6 *
X. M. LIU ET AL: "Generation of photorealistic 3D image using optical digitizer", 《APPLIED OPTICS》, vol. 51, no. 9, 20 March 2012 (2012-03-20), XP001574521, DOI: 10.1364/AO.51.001304 *

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258344A (zh) * 2013-04-10 2013-08-21 山东华戎信息产业有限公司 一种植物三维重建中纹理的自动提取方法
CN104346608A (zh) * 2013-07-26 2015-02-11 株式会社理光 稀疏深度图稠密化方法和装置
CN104346608B (zh) * 2013-07-26 2017-09-08 株式会社理光 稀疏深度图稠密化方法和装置
CN103530907A (zh) * 2013-10-21 2014-01-22 深圳市易尚展示股份有限公司 基于图像的复杂三维模型绘制方法
CN103530907B (zh) * 2013-10-21 2017-02-01 深圳市易尚展示股份有限公司 基于图像的复杂三维模型绘制方法
CN106796101A (zh) * 2014-08-22 2017-05-31 安迪凯座椅电梯有限责任公司 用于设计楼梯升降机导轨组件的方法和系统
CN106796101B (zh) * 2014-08-22 2019-12-13 安迪凯座椅电梯有限责任公司 用于设计楼梯升降机导轨组件的方法和系统
CN106164979B (zh) * 2015-07-13 2019-05-17 深圳大学 一种三维人脸重建方法及系统
CN106164979A (zh) * 2015-07-13 2016-11-23 深圳大学 一种三维人脸重建方法及系统
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105825544B (zh) * 2015-11-25 2019-08-20 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105574922B (zh) * 2015-12-16 2019-04-30 浙江大学 一种鲁棒的三维模型高质量纹理映射方法
CN105574922A (zh) * 2015-12-16 2016-05-11 浙江大学 一种鲁棒的三维模型高质量纹理映射方法
CN105550992B (zh) * 2015-12-30 2018-08-17 四川川大智胜软件股份有限公司 一种三维全脸照相机中高保真全脸纹理融合方法
CN105550992A (zh) * 2015-12-30 2016-05-04 四川川大智胜软件股份有限公司 一种三维全脸照相机中高保真全脸纹理融合方法
CN106091976B (zh) * 2016-05-27 2017-07-25 武汉大学 矩形体的自动化检测与三维重构系统及方法
CN106091976A (zh) * 2016-05-27 2016-11-09 武汉大学 矩形体的自动化检测与三维重构系统及方法
CN106530384A (zh) * 2016-11-07 2017-03-22 深圳大学 一种三维模型的外观纹理合成方法及装置
CN106530384B (zh) * 2016-11-07 2019-05-21 深圳大学 一种三维模型的外观纹理合成方法及装置
CN106530395A (zh) * 2016-12-30 2017-03-22 碰海科技(北京)有限公司 深度及彩色成像一体式手持三维建模装置
CN108961381A (zh) * 2017-05-17 2018-12-07 富士通株式会社 用于对物体的三维几何模型着色的方法和装置
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法
CN108036740B (zh) * 2017-12-05 2020-04-10 南京理工大学 一种基于多视角的高精度实时三维彩色测量系统及其方法
CN108036740A (zh) * 2017-12-05 2018-05-15 南京理工大学 一种基于多视角的高精度实时三维彩色测量系统及其方法
CN110473281A (zh) * 2018-05-09 2019-11-19 网易(杭州)网络有限公司 三维模型的描边处理方法、装置、处理器及终端
CN108629826A (zh) * 2018-05-15 2018-10-09 天津流形科技有限责任公司 一种纹理映射方法、装置、计算机设备及介质
CN109003333B (zh) * 2018-07-02 2022-11-25 景致三维(江苏)股份有限公司 基于纹理的交互式网格模型裁切方法、装置及建模设备
CN109003333A (zh) * 2018-07-02 2018-12-14 景致三维(江苏)股份有限公司 基于纹理的交互式网格模型裁切方法、装置及建模设备
CN109003516A (zh) * 2018-07-27 2018-12-14 国家电网有限公司 一种特高压交流变压器工艺质量管控仿真培训系统
CN109389665A (zh) * 2018-08-24 2019-02-26 先临三维科技股份有限公司 三维模型的纹理获取方法、装置、设备和存储介质
US11978157B2 (en) 2018-09-30 2024-05-07 Shining 3D Tech Co., Ltd. Method and apparatus for generating three-dimensional model, device, and storage medium
WO2020063986A1 (zh) * 2018-09-30 2020-04-02 先临三维科技股份有限公司 三维模型生成方法、装置、设备和存储介质
CN109472741A (zh) * 2018-09-30 2019-03-15 先临三维科技股份有限公司 三维拼接方法及装置
CN109472741B (zh) * 2018-09-30 2023-05-30 先临三维科技股份有限公司 三维拼接方法及装置
CN109785421B (zh) * 2018-12-06 2022-09-23 武汉天际航信息科技股份有限公司 一种基于空地影像组合的纹理映射方法及系统
CN109785421A (zh) * 2018-12-06 2019-05-21 武汉天际航信息科技股份有限公司 一种基于空地影像组合的纹理映射方法及系统
CN110351514A (zh) * 2019-07-09 2019-10-18 北京猫眼视觉科技有限公司 一种虚拟模型通过远程协助方式和视频流同时传输的方法
CN110351514B (zh) * 2019-07-09 2022-01-14 北京猫眼视觉科技有限公司 一种虚拟模型通过远程协助方式和视频流同时传输的方法
CN110443233A (zh) * 2019-09-16 2019-11-12 上海市刑事科学技术研究院 刑侦物证保全的数据处理方法、装置、系统和电子设备
CN114758333A (zh) * 2020-12-29 2022-07-15 北京瓦特曼科技有限公司 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统
CN114758333B (zh) * 2020-12-29 2024-02-13 北京瓦特曼科技有限公司 一种铸造起重机行车吊运钢包脱挂钩的识别方法及系统
CN113376953B (zh) * 2021-05-20 2022-09-27 达闼机器人股份有限公司 物体投影重建系统
CN113376953A (zh) * 2021-05-20 2021-09-10 达闼机器人有限公司 物体投影重建系统
CN115797535A (zh) * 2023-01-05 2023-03-14 深圳思谋信息科技有限公司 一种三维模型纹理贴图方法及相关装置
CN116518948A (zh) * 2023-04-12 2023-08-01 山东省地质矿产勘查开发局第一地质大队(山东省第一地质矿产勘查院) 基于三维函数测绘进行地区环境预测勘探设备及测绘方法

Also Published As

Publication number Publication date
CN102945565B (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN102945565B (zh) 一种物体的三维真实感重建方法、系统及电子设备
KR102447461B1 (ko) 다방향 카메라를 이용한 밀폐 공간에 대한 치수 추정
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
JP6321106B2 (ja) 現実環境内にバーチャルオブジェクトを描写する方法および装置
Johnson et al. Registration and integration of textured 3D data
Eder et al. Pano popups: Indoor 3d reconstruction with a plane-aware network
CA3158287A1 (en) Method and system for scene image modification
US7583275B2 (en) Modeling and video projection for augmented virtual environments
CN111640180B (zh) 一种三维重建方法、装置及终端设备
SG189284A1 (en) Rapid 3d modeling
CN104661010A (zh) 三维立体模型的建立方法和装置
JP6143704B2 (ja) 3dラインを再構成する方法
Kuschk Large scale urban reconstruction from remote sensing imagery
US9147279B1 (en) Systems and methods for merging textures
Lhuillier et al. Manifold surface reconstruction of an environment from sparse structure-from-motion data
Li et al. Dense surface reconstruction from monocular vision and LiDAR
JP2000137815A (ja) 新視点画像生成方法
CN105550992A (zh) 一种三维全脸照相机中高保真全脸纹理融合方法
CN110021035B (zh) Kinect深度相机的标记物及基于该标记物的虚拟标记物跟踪方法
CN110619661A (zh) 一种基于增强现实的测量室外料场原料体积的方法
Coorg Pose imagery and automated three-dimensional modeling of urban environments
Tian et al. Registration and occlusion handling based on the FAST ICP-ORB method for augmented reality systems
Yu et al. Surface reconstruction of scenes using a catadioptric camera
Kang et al. Automatic texture reconstruction of 3d city model from oblique images
Wong et al. 3D object model reconstruction from image sequence based on photometric consistency in volume space

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20170113

Address after: 518000 Futian District, Shenzhen, Fu Qiang Road, No. 4001 (Shenzhen cultural and Creative Park) AB block, layer B301, three,

Patentee after: Shenzhen Esun Display Co., Ltd.

Address before: 518060 Nanhai Road, Guangdong, Shenzhen, No. 3688, No.

Patentee before: Shenzhen University

CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 518133 23rd floor, Yishang science and technology creative building, Jiaan South Road, Haiwang community Central District, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: SHENZHEN ESUN DISPLAY Co.,Ltd.

Address before: B301, 3rd floor, block AB, 4001 Fuqiang Road, Futian District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN ESUN DISPLAY Co.,Ltd.