发明内容
本发明实施例的目的在于提供一种物体的三维真实感重建方法,旨在解决现有技术在建立三维模型后,或者直接通过对不同区域的边缘三角形进行处理、或者通过对重叠区域的纹理进行处理来实现纹理融合,融合效果不佳的问题。
本发明实施例是这样实现的,一种物体的三维真实感重建方法,所述方法包括以下步骤:
利用三维扫描设备采集待重建物体的深度图像数据和纹理图像数据,利用所述深度图像数据建立所述待重建物体在世界坐标系下的几何模型,并将采集的所述纹理图像数据映射到所述几何模型上,得到所述待重建物体的三维纹理模型;
利用马尔科夫算法得到所述三维纹理模型的最优分割结果,并提取分割后各图像区域的边缘三角形;
对分割后的所述三维纹理模型的纹理接缝进行融合,重建所述待重建物体的真实感三维模型。
本发明实施例的另一目的在于提供一种物体的三维真实感重建系统,所述系统包括:
三维模型建模单元,用于利用三维扫描设备采集待重建物体的深度图像数据和纹理图像数据,利用所述深度图像数据建立所述待重建物体在世界坐标系下的几何模型,并将采集的所述纹理图像数据映射到所述几何模型上,得到所述待重建物体的三维纹理模型;
分割单元,用于利用马尔科夫算法得到所述三维模型建模单元得到的所述三维纹理模型的最优分割结果,并提取分割后各图像区域的边缘三角形;
融合处理单元,用于对所述分割单元分割后的所述三维纹理模型的纹理接缝进行融合,重建所述待重建物体的真实感三维模型。
本发明实施例的另一目的在于提供一种电子设备,所述电子设备包括一如上所述的物体的三维真实感重建系统。
本发明实施例提供的物体的三维真实感重建方法及系统中,在建立物体的三维纹理模型后,首先通过马尔科夫算法对三维纹理模型进行分割,得到各区域间纹理接缝最小的最优分割方式,再结合对不同区域的边缘三角形进行处理,达到消除纹理接缝的目的,重建物体的真实感三维模型。相对于现有在建立三维纹理模型后直接对边缘三角形处理或对重叠区域的纹理进行处理来实现纹理融合的方法,该方法能够更有效的消除纹理接缝,实现三维纹理模型中各图像区域之间的平滑、自然过渡,融合效果也更佳。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明实施例提供的物体的三维真实感重建方法中,在建立物体的三维纹理模型后,首先通过马尔科夫算法对三维纹理模型进行分割,得到各区域间纹理接缝最小的最优分割方式,再结合对不同区域的边缘三角形进行处理,达到消除纹理接缝的目的。
图1示出了本发明实施例提供的物体的三维真实感重建方法的流程,包括以下步骤:
步骤S11:利用三维扫描设备采集待重建物体的深度图像数据和纹理图像数据,利用深度图像数据建立待重建物体在世界坐标系下的几何模型,并将采集的纹理图像数据映射到几何模型上,得到待重建物体的三维纹理模型。其中,深度图像中的每一坐标值表示扫描点的空间坐标信息,其定义为本领域技术人员所公知,在此不再赘述。
本发明实施例中,三维扫描设备包括:投影仪,用于向待重建物体表面投影结构光(如:条形光等);置于投影仪一侧的黑白相机,用于采集待重建物体的深度图像数据;置于投影仪另一侧的彩色相机,用于采集待重建物体的纹理图像数据。则骤S11中,利用三维扫描设备采集待重建物体的深度图像数据和纹理图像数据,利用深度图像数据建立待重建物体在世界坐标系下的几何模型的步骤可进一步包括以下步骤:
步骤S111:三维扫描设备中的投影仪向待重建物体表面投射结构光,以产生采集区域的约束条件,之后三维扫描设备中的黑白相机和彩色相机围绕待重建物体,从不同视角采集待重建物体的深度图像数据和纹理图像数据。
步骤S 112:利用局部坐标系之间的变换关系,将采集到的深度图像数据统一到世界坐标系下,得到不同采集视角下的待重建物体在世界坐标系下的空间三维点坐标。
在本发明实施例中,假设世界坐标系上一点Xw在相邻采集视角的两个坐标系的成像点分别为mRc,mp,空间坐标点Xw即为两个坐标系射影的交点,从而构成三角法。根据主动立体视觉原理,将采集到的深度图像数据统一到世界坐标系的步骤可以表示为:
其中,X
w(x
w,y
w,z
w)表示世界坐标系的空间三维点坐标,R
Rc为3×3的矩阵,表示从世界坐标系到黑白相机的采集坐标系的旋转变换,t
Rc为3×1的矩阵,表示从世界坐标系到黑白相机的采集坐标系的平移向量。而
表示齐次坐标,即
表示在黑白相机的采集坐标系下X
Rc的齐次坐标,s
c表示尺度因子,δ(m
Rc;θ
c)表示黑白相机镜头的畸变,θ称为畸变系数,不同镜头畸变系数不相同。为精确的重建空间三维点,考虑镜头畸变的影响,
为真实测量像素坐标值,
在祛除畸变后的得到理想坐标像素坐标值m
Rc。R
s为从黑白相机的采集坐标系到投影仪的投影坐标系的旋转变换,t
s为从黑白相机的采集坐标系到投影仪的投影坐标系的平移向量,且R
s、t
s分别满足:
式(2)中,Rs、tsRp、tp、KRc、Kp可根据黑白相机的标定得到,从而利用式(1)和式(2),即可解得空间三维点坐标Xw(xw,yw,zw)。
步骤S113:对统一到世界坐标系下的深度图像数据进行融合和建模,以祛除得到的空间三维点坐标中的冗余数据,得到待重建物体的深度图像点云数据(即离散的空间三维点坐标),并以建模后的三角形网格模型表达待重建物体,得到待重建物体在世界坐标系下的几何模型。
另外,步骤S11中,将采集的纹理图像数据映射到几何模型上,得到待重建物体的三维纹理模型的步骤可进一步包括以下步骤:
步骤S114:利用平面标靶对三维扫描设备中的彩色相机进行标定,并根据一已知标志点的空间坐标和对应的图像坐标对下式(3)进行最小化优化求解,得到彩色相机参数,该相机参数表征了彩色相机相对几何模型的姿态:
其中,
为已知标志点的实际图像坐标,
为根据非线性相机模型已知标志点在世界坐标空间坐标值X投影得到的理论图像坐标,(K,R,t,θ)即为待求解的彩色相机参数。
本发明实施例采用了微软亚洲研究院Zhang提出的基于平面标靶的相机标定方法(详见文献Z.Zhang.A flexible new technique for camera calibration.Technical Report,MSR-TR-98-71,Microsoft Research,1998),通过Zhang法提出的相机标定确定彩色相机相对几何模型的姿态。
步骤S115:根据得到的彩色相机参数,将彩色相机采集到的纹理图像数据映射到几何模型的相应区域,得到纹理面片,从而得到待重建物体的三维纹理模型。
步骤S12:利用马尔科夫(MRF)算法得到三维纹理模型的最优分割结果,以使得三维纹理模型的不同区域之间的纹理接缝最小,并提取分割后各图像区域的边缘三角形。其中,边缘三角形是指,当三维纹理模型上,相邻的两个三角形的纹理颜色不是来自同一纹理图像时,相邻三角形边缘会出现不连续的纹理,则该相邻的两个三角形即为边缘三角形。
本发明实施例是基于采集视角和采集到的纹理图像之间的色彩差异,得到最优分割结果的,该算法可有效地对较小的重叠区域的纹理进行处理。具体地,利用马尔科夫算法得到三维纹理模型的最优分割结果的步骤可表示为:
其中,第一项是对彩色相机采集视角的最优化,
表示几何三角形Δi的最优纹理图像来自第m
i视角采集的纹理图像(即第m
i-th张纹理图像数据),这里
等于三角形法向量与采集视角方向夹角的余弦值,其中m
i为输入的纹理图像,且m
i∈{1,2,3,…,m},m为纹理图像的数量;第二项是对相邻纹理三角形而纹理色彩来自不同采集视角的色彩差异的衡量,假设F
ij为相邻几何三角形的公共边缘,则
可以表示为:
其中,
表示空间三维点投影到第m
i-th纹理图像的投影矩阵,d(·)为RGB空间的颜色欧式距离,并且d(·)≥0,λ为尺度因子。若m
i=m
j,则说明相邻三角形的纹理来自同一视角采集的纹理图像。
步骤S13:对分割后的三维纹理模型的纹理接缝进行融合,以消除三维纹理模型表面由于光照变化、物体表面非完全漫反射、几何模型的重建精度以及纹理图像和几何模型的匹配误差等因素引起的纹理接缝或人工痕迹,重建真实感三维模型。具体地,对分割后的三维纹理模型的纹理接缝进行融合的步骤进一步包括以下步骤:
步骤S131:建立分割后的三维纹理模型中边缘三角形的三个顶点的向量、以及边缘三角形内部的采样点。假设边缘三角形Δi的三个顶点的向量分别为Va,Vb,Vc,边缘三角形内部的采样点为pi,则有:
pi=αVa+βVb+γVc (6)
即是说,边缘三角形的内部采样点能被边缘三角形三个顶点的向量线性表示,且有α+β+γ=1。
步骤S132:根据步骤S114得到的相机参数,将边缘三角形的三个顶点的向量投影到纹理图像中,得到边缘三角形的有效纹理图,将有效纹理图标记为IΔi={Imk,k=1,2,3…l}。该有效纹理图满足如下三个条件:一是边缘三角形的法向量与视线方向的夹角不大于π/2,其中的视线方向为连接边缘三角形中心与彩色相机中心的射线;二是边缘三角形经投影变换后,投影在纹理图像Imk图像区域内;三是边缘三角形Δi的三个顶点和彩色相机中心的连线与三角形网格模型没有交点。
步骤S133:利用均值法或复合权重法得到边缘三角形的三个顶点的向量在有效纹理图的颜色值,之后利用插值法计算边缘三角形内部的采样点的颜色值。假设利用均值法或复合权重法得到的边缘三角形的三个顶点的向量V
a,V
b,V
c在有效纹理图的颜色值分别为
边缘三角形内部的采样点为p
i的颜色值为C
pi,则插值法可表示为:
图2示出了本发明实施例提供的物体的三维真实感重建系统的结构原理,为了便于说明,仅示出了与本发明实施例相关的部分。
本发明实施例提供的物体的三维真实感重建系统包括:三维模型建模单元11,用于利用三维扫描设备采集待重建物体的深度图像数据和纹理图像数据,利用深度图像数据建立待重建物体在世界坐标系下的几何模型,并将采集的纹理图像映射到几何模型上,得到待重建物体的三维纹理模型;分割单元12,用于利用马尔科夫(MRF)算法得到三维模型建模单元11得到的三维纹理模型的最优分割结果,以使得三维纹理模型的不同区域之间的纹理接缝最小,并提取分割后各图像区域的边缘三角形;融合处理单元13,用于对分割单元12分割后的三维纹理模型的纹理接缝进行融合,以消除三维纹理模型表面由于光照变化、物体表面非完全漫反射、几何模型的重建精度以及纹理图像和几何模型的匹配误差等因素引起的纹理接缝或人工痕迹,重建真实感三维模型。其中,分割单元12利用马尔科夫算法得到三维纹理模型的最优分割结果的过程如上所述,在此不再赘述。
图3示出了图2中三维模型建模单元11的结构原理。
具体地,三维模型建模单元11可以包括:三维扫描设备111,三维扫描设备111中的投影仪向待重建物体表面投射结构光,以产生采集区域的约束条件,三维扫描设备111中的黑白相机和彩色相机围绕待重建物体,从不同视角采集待重建物体的深度图像数据和纹理图像数据;坐标变换模块112,用于利用局部坐标系之间的变换关系,将三维扫描设备111采集到的深度图像数据统一到世界坐标系下,得到不同采集视角下的待重建物体在世界坐标系下的空间三维点坐标,其具体过程如上所述,在此不再赘述;融合及建模模块113,用于对坐标变换模块112统一到世界坐标系下的深度图像数据进行融合和建模,并以建模后的三角形网格模型表达待重建物体,得到待重建物体在世界坐标系下的几何模型;相机参数求解模块114,用于利用平面标靶对三维扫描设备111中的彩色相机进行标定,并根据一已知标志点空间坐标和对应的图像坐标对式(3)进行最小化优化求解,得到彩色相机的参数;映射模块115,用于根据相机参数求解模块114得到的彩色相机参数,将彩色相机采集到的纹理图像数据映射到融合及建模模块113得到的几何模型的相应区域,得到纹理面片,从而得到待重建物体的三维纹理模型。
图4示出了图2中融合处理单元13的结构原理。
具体地,融合处理单元13可以包括:建立模块131,用于建立分割单元12分割后的三维纹理模型中边缘三角形的三个顶点的向量、以及边缘三角形内部的采样点;投影模块132,用于根据相机参数求解模块114得到的相机参数,将边缘三角形的三个顶点的向量投影到彩色相机采集到的纹理图像中,得到边缘三角形的有效纹理图;颜色值计算模块133,用于利用均值法或复合权重法得到边缘三角形的三个顶点的向量在投影模块132得到的有效纹理图的颜色值,之后利用插值法计算建立模块131建立的边缘三角形内部的采样点的颜色值。
本发明实施例还提供了一种电子设备,包括一如上所述的物体的三维真实感重建系统,该电子设备优选是计算机。
本发明实施例提供的物体的三维真实感重建方法及系统中,在建立物体的三维纹理模型后,首先通过马尔科夫算法对三维纹理模型进行分割,得到各区域间纹理接缝最小的最优分割方式,再结合对不同区域的边缘三角形进行处理,达到消除纹理接缝的目的,重建物体的真实感三维模型。相对于现有在建立三维纹理模型后直接对边缘三角形处理或对重叠区域的纹理进行处理来实现纹理融合的方法,该方法能够更有效的消除纹理接缝,实现三维纹理模型中各图像区域之间的平滑、自然过渡,融合效果也更佳。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成,所述的程序可以在存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。