CN106204710A

CN106204710A - 基于图像二维信息熵的纹理块映射到三维网格模型的方法

Info

Publication number: CN106204710A
Application number: CN201610546065.5A
Authority: CN
Inventors: 刘怡光; 舒杰; 曹丽萍
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2016-07-13
Filing date: 2016-07-13
Publication date: 2016-12-07

Abstract

本发明涉及基于图像二维信息熵的纹理块映射到三维网格模型的方法。针对三维物体重建过程中应用到的图像序列光照不一致，以及拍摄时与物体过于接近或者远离时造成的重影或者模糊现象的问题，该方法在基于传统的马尔科夫随机场能量优化解决纹理分配给三角化模型问题的同时，加入了预处理步骤解决了纹理块亮度值异常的选项，引入了图像二维信息熵，根据纹理块的内部亮度信息确定纹理块对应的数据项能量值，对三角形的顶点与边作出亮度的修改，以及对整体泊松编辑。

Description

基于图像二维信息熵的纹理块映射到三维网格模型的方法

技术领域

本发明涉及一种纹理映射到三维网格结构的算法，尤其涉及一种基于图像二维信息熵的全局能量优化的马尔科夫随机场的纹理选择方法，属于三维视觉领域。

背景技术

纹理映射是计算机视觉领域中的重要研究方向之一，在测绘等领域有着广泛的应用。为此，国内外许多研究人员一直致力于该方向的研究。纹理映射的过程一般是将原图中的纹理块到一个3D网格模型中三角形。随着计算机技术和图像处理算法研究的快速发展，纹理映射方法也有了长足的进步，其中基于马尔科夫随机场（MRF）能量优化的方式为三角化的三维网格中的每个三角形选择纹理的方式由于效果好得到了广泛的应用。基于MRF的能量优化方式，是一个统筹全局的能量优化方式，首先创建了一张无向图，图中的每个节点对应于三维网格模型中的每一个三角形，然后根据一定的方式为每一个节点创建一个能量项，根据节点与邻域节点的关系创建数据项，最后基于一定的方法（LBP，GC等）求解该能量的一个全局最优解。但是在传统的基于MRF的纹理选择中，并没有考虑到纹理块的内部信息，因此当拍摄图像的时候，当摄像机过于接近物体或者过于远离物体的时候，会造成图像模糊或者重影。这样当这些图像的纹理块被选择映射到网格模型的时候会造成3D模型局部的模糊化，会严重的影响到外观

发明内容

本发明所要解决的技术问题是提供一种基于图像二维信息熵的MRF能量优化的算法来确定纹理标签（即来自于哪张原图），并对该过程生成的初始纹理映射结果进行优化的方法。

本发明的解决方案是：去除掉一些纹理信息异常的块，根据图像的二维信息熵以及全局能量标签的多少来创建MRF的能量项以及数据项，对初始的贴上纹理的3D网格模型进行优化，使得结果更加贴近真实的物体。

本方法是基于已经重建好了的3D 三角网格模型。对于该模型，是从图像序列中提取的特征点加以融合加密并三角化得到的。对于模型中的每个三角形可能被多个图像所看到（即重建物体的某部分出现在多张图像中），对于每个三角形创建了一个集合包含所有能看到的纹理块

本发明为实现上述解决方案，其方法步骤如下所示：

1，去除掉纹理信息异常的选项。A,计算三角网格中的每一个三角形所对应的纹理块的亮度均值记作.其中t为三角网格中一个三角形所对应纹理块的数目，表示第i个纹理块的亮度值，G表示该亮度值的集合。B,计算G 的平均值,记作M。C,计算G中的每一个元素与M的欧氏距离，从纹理块集合中去除掉值最大的块。D，重复B,C直到所有三角形的纹理块集合的元素个数不大于4，或者距离都不大于1e-6为止。

2，选择纹理标签。创建MRF的一般能量方程：，其中E(M)为能量和，为数据项之和，为平滑项之和，其中对应与三角网格中的第i个三角形，F为三角网格中三角形的集合，I为所对纹理块集合，，为该集合中的一个元素。H(X)操作即为计算图像块X的二维信息熵，（,i位当前像素值（），j为其邻域像素值（，f(i,j)为该像素值组合所出现的次数，N为像素的数目）表示投影操作（三维网格中的三角形投影到原图）。，N纹理集合块的数目（来自于同一张图的纹理块映射到了三角网格中相邻的三角形），是参数。LBP（Loopy belief propagation）被用来解决这个多标签的分配问题。

3，颜色调整。前面已经获得了每个三角形的唯一纹理标签。相邻的三角形可能来自于不同的图像，这个时候映射到三角网格的时候就会产生冲突，我们这里对颜色进行了调整。对于相邻的三角形A,B的共用顶点，我们取亮度值较大的那个，即计算一个额外的亮度值V ,如果,那么。而对于公共边，我们取二者之间的均值，即对于公共边上的每一个为止计算一个V，。

4，颜色编辑。经过以上所有的步骤，对于相邻的三角形亮度值还是存在差异，这种差异在视觉上表现为可见的缝隙。由于第3步我们已经修改了一些顶点与边的值，为了保持每个纹理块的内部梯度值，为此我们为每一个纹理块的像素值计算一个附加的纹理亮度值g，使得修改过后的纹理块与原图的图像块的梯度足够的接近：

在这个过程中，我们认为那些在第3步中已经修改过的像素的附加值为0。

Claims

1.一种基于图像二维信息熵的纹理块映射到三维网格模型的方法，其特征在于包括以下步骤：

去除掉纹理亮度值异常的选项；

选择纹理标签；

颜色调整；

颜色编辑。

2.根据权利1所述的一种基于图像二维信息熵的纹理块映射到三维网格模型的方法，其特点在于去除掉纹理信息异常的选项的方法步骤：

计算三角网格中的每一个三角形所对应的纹理块的亮度均值记作,其中t为三角网格中一个三角形所对应纹理块的数目，表示第i个纹理块的亮度值，G表示该亮度值的集合；

计算G 的平均值,记作M；

计算G中的每一个元素与M的欧氏距离，从纹理块集合中去除掉值最大的块；

重复B,C直到所有三角形的纹理块集合的元素个数不大于4，或者距离都不大于1e-6为止。

3.根据权利1所述的一种基于图像二维信息熵的纹理块映射到三维网格模型的方法，其特点在于选择纹理标签的方法步骤：

创建MRF的一般能量方程，，其中E(M)为能量和，为数据项之和，为平滑项之和，其中对应与三角网格中的第i个三角形，F为三角网格中三角形的集合，I为所对纹理块集合，，为该集合中的一个元素，H(X)操作即为计算图像块X的二维信息熵，（,i位当前像素值（），j为其邻域像素值，f(i,j)为该像素值组合所出现的次数，N为像素的数目）表示投影操作（三维网格中的三角形投影到原图），，N纹理集合块的数目（来自于同一张图的纹理块映射到了三角网格中相邻的三角形），是参数；

LBP（Loopy belief propagation）被用来解决这个能量方程。

4.根据权利1所述的一种基于图像二维信息熵的纹理块映射到三维网格模型的方法，其特点在于颜色调整的方法步骤：

前面已经获得了每个三角形的唯一纹理标签，相邻的三角形可能来自于不同的图像，这个时候映射到三角网格的时候就会产生冲突，我们这里对颜色进行了调整，对于相邻的三角形A,B的共用顶点，我们取亮度值较大的那个，即计算一个额外的亮度值V ,如果,那么，而对于公共边，我们取二者之间的均值，即对于公共边上的每一个为止计算一个V，。

5.根据权利1所述的一种基于图像二维信息熵的纹理块映射到三维网格模型的方法，其特点在于颜色编辑的方法步骤：

经过以上所有的步骤，对于相邻的三角形亮度值还是存在差异，这种差异在视觉上表现为可见的缝隙，由于第3步我们已经修改了一些顶点与边的值，为了保持每个纹理块的内部梯度值，为此我们为每一个纹理块的像素值计算一个附加的纹理亮度值g，使得修改过后的纹理块与原图的图像块的梯度足够的接近：

在这个过程中，我们认为那些在权利4中已经修改过的像素的附加值为0。