CN112215959A - 一种利用图片切割的三维模型贴图系统 - Google Patents

Abstract

本发明公开了一种利用图片切割的三维模型贴图系统，包括中央处理器、图片输入模块、数据处理模块、数据库、更新模块、检测模块和三维模型生成模块，所述数据库集成于中央处理器中，所述图片输入模块的输出端与数据处理模块的输入端连接，所述更新模块的信号接收端与中央处理器的信号输出端连接，所述检测模块的输出端与中央处理器的输入端连接。本发明通过在对目标场景或物体进行自动化三维点云模型构建并转换成连续表面物方三角网格后，利用图像切割算法的三维模型贴图系统不用定义立方体元素分割空间区域，当已知各边权值时，该算法计算速度快，且只需较小内存，具有很强的适用性。

Description

一种利用图片切割的三维模型贴图系统

技术领域

本发明涉及三维建模相关技术领域，具体为一种利用图片切割的三维模 型贴图系统。

背景技术

三维建模是将我们所想展示的目标场景或物体以三维形式储存并在计算 机中显示的技术。和二维图片不同的是，三维模型通过计算机软件生成后可 以从多个角度、立体反映目标场景或物体的某一部分或全局的描述。起初三 维建模的方式是利用Maya或3dsMax等基础建模软件进行的比较繁重的纯手 工劳动。随着图像特征点检测技术、图像切割等技术的日趋完善，计算机的 图形处理能力的逐渐增强，基于特定群组照片通过计算机软件算法对目标场 景或物体进行自动化三维点云模型构建后转换成连续表面物方三角网格，再 对物方三角网格表面进行纹理映射、图片网格化贴图生成三维实景模型的建 模技术也在近些年逐渐发展起来。

目前基于特定群组照片通过计算机软件算法对目标场景或物体进行自动 化三维点云模型构建并转换成连续表面物方三角网格后，一般使用 MC(Marching Cubes)方法对物方三角网格表面进行纹理映射和图片网格化贴 图后生成三维实景模型，MC(MarchingCubes)方法是一种可完整、准确地定 义立方体元素以及立方体元素内等值面的构网方法；但其必须处理空间区域 分割的所有小立方体元素，很耗时间和内存；其在定义立方体元素上，具有 一般化和固定化；同时，在处理较高密度、大数据量的数据时，区域内会存 在大量三角面，其算法计算效率会更慢。同时，MC(Marching Cubes)方法在 处理点云数据时，对点云分布条件要求较高，当输入点云数据分布较好时， 才可得到较好的构网效果，因此，其在适用性方向上具有一定程度的限制性， 需要进行改进。

发明内容

本发明的目的在于提供一种利用图片切割的三维模型贴图系统，以解决 上述背景技术中提到的现有的MC(Marching Cubes)方法使用时很耗时间和内 存，且在定义立方体元素上，具有一般化和固定化；同时，在处理较高密度、 大数据量的数据时，区域内会存在大量三角面，其算法计算效率会更慢，在 适用性方向上具有一定程度的限制性的问题。

为实现上述目的，本发明提供如下技术方案：一种利用图片切割的三维 模型贴图系统，包括中央处理器、图片输入模块、数据处理模块、数据库、 更新模块、检测模块和三维模型生成模块，所述数据库集成于中央处理器中， 所述图片输入模块的输出端与数据处理模块的输入端连接，所述更新模块的 信号接收端与中央处理器的信号输出端连接，所述检测模块的输出端与中央 处理器的输入端连接，所述三维模型生成模块的输入端与中央处理器的输出 端连接。

优选的，所述图片输入模块用于将待处理的图片输入系统内，并将输入 的图片存储在数据库中。

优选的，所述数据处理模块用于对输入的图片依次进行计算初始的三维 模型、构建初始颜色模型和自动为输出的图片构建初始剪影处理。

优选的，所述更新模块包括更新包围轮廓、更新背景GMM模型和更新前 景GMM模型。

优选的，所述检测模块用于对过分割区域进行检测并估计深度，然后将 检测的结果送入到中央处理器内。

优选的，所述三维模型生成模块用于将系统处理的结果进行输出并生成 相应的三维模型。

优选的，包括如下运行步骤：

步骤1：构建颜色模型；

为要重构的物体构建一个全局的GMM模型，对每一张输入图片构建一个 背景GMM模型；其中，前景和背景GMM模型的component个数分别设为7和5；

步骤2：系统初始化；

由于有物体整体都在图片中的假设，对每张输入图片反投影出一个视锥 并将他们在空间中求交的结果作为初始的三维模型；然后将这个初始模型投 影到每张输入图片上；

步骤3：迭代优化；

在浏览模式和推荐模式下，对被选择的输入图片进行修正，修正过程包 括如下：

(5)更新外包轮廓；

当输入图片的剪影得到修正后，根据新的剪影来得到更“贴合”物体表 面的外包轮廓；

(6)更新颜色模型；

当有了新的剪影和外包轮廓后，可以通过重采样的方法来更新颜色的GMM 模型，由于新的剪影和外包轮廓更接近于所期望的模型，因此得到的前景和 背景颜色模型也会更准确；

(7)处理过分割的问题；

由于使用了外包轮廓投影这样一个信息，很容易就可以将次分割的信息 传播到其他图片上。如果要传播对过分割区域上的修正信息，需要利用到深 度估计算法，而这一算法将依赖于多视角一致性信息。假设知道了物体表面 的三维空间坐标，那么可以强制使该坐标在其他图片上所投影到的位置也属 于前景。因为不然的话，这些输入图片反射出的视锥的交将是空，这通常也 称为剪影一致性。而这种强制性可以通过设置输入图片所构造的图片切割的 相应像素点的数据项为极大值，使得其一定被分割为前景。当所有剪影的相应位置被修正为前景后，新生成的模型将能把物体遗失的区域修正。由于我 们只需要修改一张图就可以将其他输入图片也修正，这样就减少了用户交互 量，提升了用户体验

对于估计深度算法，可以通过对r_j中过分割区域上的一块m×m的小区域 进行采样，这样的区域最好能有突出的纹理区别，以此来保证估计的准确性。 对于某一对输入图片<r_i，r_j>，我们在r_i的极线上寻找相对应的采样区域， 他是与r_j最邻近的图片上对应区域的NCC值最高的一块采样区域所确定的， 而通过该区域在极线上的位置，可以知道采样区域的深度，其中r_i为输入的 图；r_j为需要修正的剪影图片；

(8)更新剪影；

一旦更新了颜色模型和外包轮廓模型，就可以通过图片切割算法对所有 未分类的输入图片进行分割；其中的惩罚项设置参照如下公式进行：

C_i＝C_1i+α·C_2i+(1-α)·C_3i

其中Ci是校准参数，这个参数是由在i处的视线与其他输入图片的视锥 的交所得到的，在原始的论文中，他只是简单地选择某一视线求交产生的间 隔中包含视锥数最大的那个值。考虑到我们是一个交互式的系统，我们将这 一计算分为三部门；C_1i是在某一间隔中那些被修正过的图片的个数，C_2i是那 些没有被修正过的图片的个数，C_3i是那些没有出现在这一间隔中的图片的个 数；α值表示的是可以在多大程度上信赖那些当前未被修正果的剪影。

本发明提供了一种利用图片切割的三维模型贴图系统，具备以下有益效 果：

(1)本发明通过在对目标场景或物体进行自动化三维点云模型构建并转 换成连续表面物方三角网格后，利用图像切割算法的三维模型贴图系统不用 定义立方体元素分割空间区域，当已知各边权值时，该算法计算速度快，且 只需较小内存，具有很强的适用性。

(2)本发明采用通过优化优化Gibbs函数的图像切割算法只需少量的用 户交互便可区分物体的前景和背景，在较短的时间内、在较少占用系统内存 资源的前提下就能将离散的三维点云转换成连续表面物方三角网格并对物方 三角网格表面进行纹理映射和图片网格化贴图生成实景三维模型，便于使用。

附图说明

图1为本发明的整体模块结构示意图；

图2为本发明的为输入图片和初始的bounding box示意图；

图3为本发明的迭代结果示意图；

图4为本发明的图片迭代处理过程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述。

实施例1:

如图1所示，本发明提供一种技术方案：一种利用图片切割的三维模型 贴图系统，包括中央处理器、图片输入模块、数据处理模块、数据库、更新 模块、检测模块和三维模型生成模块，所述数据库集成于中央处理器中，所 述图片输入模块的输出端与数据处理模块的输入端连接，所述更新模块的信 号接收端与中央处理器的信号输出端连接，所述检测模块的输出端与中央处 理器的输入端连接，所述三维模型生成模块的输入端与中央处理器的输出端 连接。

所述图片输入模块用于将待处理的图片输入系统内，并将输入的图片存 储在数据库中。

所述数据处理模块用于对输入的图片依次进行计算初始的三维模型、构 建初始颜色模型和自动为输出的图片构建初始剪影处理。

所述更新模块包括更新包围轮廓、更新背景GMM模型和更新前景GMM模 型。

所述检测模块用于对过分割区域进行检测并估计深度，然后将检测的结 果送入到中央处理器内。

所述三维模型生成模块用于将系统处理的结果进行输出并生成相应的三 维模型。

需要说明的是，一种利用图片切割的三维模型贴图系统，在工作时，通 过图片输入模块将需要处理的图片信息输入，然后通过数据处理模块对输入 的图片信息进行处理，依次进行计算初始的三维模型、构建初始颜色模型和 自动为输出的图片构建初始剪影处理，将当前轮廓模型投影到图片上，并旋 转需要修正的剪影图片，通过用户交互修正剪影图片，然后通过更新模块依 次更新包围轮廓，更新前景GMM模型，并通过检测模块对过分割区域进行检 测并估计深度，然后将检测的结果送入到中央处理器内，并通过数据处理模块对过分割的问题进行处理，然后更新背景GMM模型，并根据新的颜色模型 校准参数，最后根据处理结果用更新的剪影计算新的物体模型，并通过三维 模型生成模块生成相应的三维模型。

实施例2：

如图2-4所示，本发明提供一种技术方案:一种利用图片切割的三维模型 贴图系统，包括如下运行步骤：

步骤1：构建颜色模型；

为要重构的物体构建一个全局的GMM模型，对每一张输入图片构建一个 背景GMM模型；其中，前景和背景GMM模型的component个数分别设为7和5；

步骤2：系统初始化；

由于有物体整体都在图片中的假设，对每张输入图片反投影出一个视锥 并将他们在空间中求交的结果作为初始的三维模型；然后将这个初始模型投 影到每张输入图片上；如图2.(b)，这样得到的轮廓可以作为图片切割算法的 输入，并由此得到初始的剪影。

步骤3：迭代优化；

在浏览模式和推荐模式下，对被选择的输入图片进行修正，修正过程包 括如下：

(1)更新外包轮廓；

当输入图片的剪影得到修正后，根据新的剪影来得到更“贴合”物体表 面的外包轮廓；如图2.(b)初始的bounding box和图3.(c)一次迭代后的结 果，展示了经过更新的外包轮廓的投影，可以发现，外包轮廓更接近于真实 物体形状，图3.(d)为三次迭代后的结果，而经过三次用户修正之后，得到的 模型已经非常贴近于最终需要的结果了。

(2)更新颜色模型；

当有了新的剪影和外包轮廓后，可以通过重采样的方法来更新颜色的GMM 模型，由于新的剪影和外包轮廓更接近于所期望的模型，因此得到的前景和 背景颜色模型也会更准确；

(3)处理过分割的问题；

所谓的过分割(over-segmentation)，就是指原本应该属于前景的部分 被错误地分成了背景。与之相对的是次分割(under-segmentation)，也就是 应该属于背景的部分被错误地分成了前景。

由于使用了外包轮廓投影这样一个信息，很容易就可以将次分割的信息 传播到其他图片上。如果要传播对过分割区域上的修正信息，需要利用到深 度估计算法，而这一算法将依赖于多视角一致性信息。假设知道了物体表面 的三维空间坐标，那么可以强制使该坐标在其他图片上所投影到的位置也属 于前景。因为不然的话，这些输入图片反射出的视锥的交将是空，这通常也 称为剪影一致性。而这种强制性可以通过设置输入图片所构造的图片切割的 相应像素点的数据项为极大值，使得其一定被分割为前景。当所有剪影的相应位置被修正为前景后，新生成的模型将能把物体遗失的区域修正。由于我 们只需要修改一张图就可以将其他输入图片也修正，这样就减少了用户交互 量，提升了用户体验

对于估计深度算法，可以通过对r_j中过分割区域上的一块m×m的小区域 进行采样，这样的区域最好能有突出的纹理区别，以此来保证估计的准确性。 对于某一对输入图片<r_i，r_j>，我们在r_i的极线上寻找相对应的采样区域， 他是与r_j最邻近的图片上对应区域的NCC值最高的一块采样区域所确定的， 而通过该区域在极线上的位置，可以知道采样区域的深度，其中r_i为输入的 图；r_j为需要修正的剪影图片；

(4)更新剪影；

一旦更新了颜色模型和外包轮廓模型，就可以通过图片切割算法对所有 未分类的输入图片进行分割；其中的惩罚项设置参照如下公式进行：

C_i＝C_1i+α·C_2i+(1-α)·C_3i

其中Ci是校准参数，这个参数是由在i处的视线与其他输入图片的视锥 的交所得到的，在原始的论文中，他只是简单地选择某一视线求交产生的间 隔中包含视锥数最大的那个值。考虑到我们是一个交互式的系统，我们将这 一计算分为三部门；C_1i是在某一间隔中那些被修正过的图片的个数，C_2i是那 些没有被修正过的图片的个数，C_3i是那些没有出现在这一间隔中的图片的个 数；α值表示的是可以在多大程度上信赖那些当前未被修正果的剪影。

通常过分割问题都能通过几轮迭代后得到解决。图4展示了校准参数在 迭代过程中的变化，其中图4(a)为某输入图片；图4(b)为初始的校准参 数；图4(c)为修改一张图片后的结果；图4(d)为修改三张图片后的结果。

其中，在处理过程中，图片切割算法会不断地得到新的强限制使某些像 素成为前景，算法需要记录所有这些强限制。因此，在算法中会将之前记录 下的限制都用在构造上。这个策略可以保证新的分割结果不会违反之前的剪 影一致性，以保证被自动更新的剪影一定会比更新前的更好。

本发明对目标场景或物体进行自动化三维点云模型构建并转换成连续表 面物方三角网格后，利用图像切割算法的三维模型贴图系统不用定义立方体 元素分割空间区域，当已知各边权值时，该算法计算速度快，且只需较小内 存，具有很强的适用性。因此，采用通过优化优化Gibbs函数的图像切割算 法只需少量的用户交互便可区分物体的前景和背景，在较短的时间内、在较 少占用系统内存资源的前提下就能将离散的三维点云转换成连续表面物方三 角网格并对物方三角网格表面进行纹理映射和图片网格化贴图生成实景三维 模型。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。

Claims (7)

1.一种利用图片切割的三维模型贴图系统，其特征在于，包括中央处理器、图片输入模块、数据处理模块、数据库、更新模块、检测模块和三维模型生成模块，所述数据库集成于中央处理器中，所述图片输入模块的输出端与数据处理模块的输入端连接，所述更新模块的信号接收端与中央处理器的信号输出端连接，所述检测模块的输出端与中央处理器的输入端连接，所述三维模型生成模块的输入端与中央处理器的输出端连接。

2.根据权利要求1所述的一种利用图片切割的三维模型贴图系统，其特征在于：所述图片输入模块用于将待处理的图片输入系统内，并将输入的图片存储在数据库中。

3.根据权利要求1所述的一种利用图片切割的三维模型贴图系统，其特征在于：所述数据处理模块用于对输入的图片依次进行计算初始的三维模型、构建初始颜色模型和自动为输出的图片构建初始剪影处理。

4.根据权利要求1所述的一种利用图片切割的三维模型贴图系统，其特征在于：所述更新模块包括更新包围轮廓、更新背景GMM模型和更新前景GMM模型。

5.根据权利要求1所述的一种利用图片切割的三维模型贴图系统，其特征在于：所述检测模块用于对过分割区域进行检测并估计深度，然后将检测的结果送入到中央处理器内。

6.根据权利要求1所述的一种利用图片切割的三维模型贴图系统，其特征在于：所述三维模型生成模块用于将系统处理的结果进行输出并生成相应的三维模型。

7.根据权利要求1所述的一种利用图片切割的三维模型贴图系统，其特征在于，包括如下运行步骤：

步骤1：构建颜色模型；

为要重构的物体构建一个全局的GMM模型，对每一张输入图片构建一个背景GMM模型；其中，前景和背景GMM模型的component个数分别设为7和5；

步骤2：系统初始化；

由于有物体整体都在图片中的假设，对每张输入图片反投影出一个视锥并将他们在空间中求交的结果作为初始的三维模型；然后将这个初始模型投影到每张输入图片上；

步骤3：迭代优化；

在浏览模式和推荐模式下，对被选择的输入图片进行修正，修正过程包括如下：

(1)更新外包轮廓；

当输入图片的剪影得到修正后，根据新的剪影来得到更“贴合”物体表面的外包轮廓；

(2)更新颜色模型；

当有了新的剪影和外包轮廓后，可以通过重采样的方法来更新颜色的GMM模型，由于新的剪影和外包轮廓更接近于所期望的模型，因此得到的前景和背景颜色模型也会更准确；

(3)处理过分割的问题；

由于使用了外包轮廓投影这样一个信息，很容易就可以将次分割的信息传播到其他图片上。如果要传播对过分割区域上的修正信息，需要利用到深度估计算法，而这一算法将依赖于多视角一致性信息。假设知道了物体表面的三维空间坐标，那么可以强制使该坐标在其他图片上所投影到的位置也属于前景。因为不然的话，这些输入图片反射出的视锥的交将是空，这通常也称为剪影一致性。而这种强制性可以通过设置输入图片所构造的图片切割的相应像素点的数据项为极大值，使得其一定被分割为前景。当所有剪影的相应位置被修正为前景后，新生成的模型将能把物体遗失的区域修正。由于我们只需要修改一张图就可以将其他输入图片也修正，这样就减少了用户交互量，提升了用户体验

对于估计深度算法，可以通过对r_j中过分割区域上的一块m×m的小区域进行采样，这样的区域最好能有突出的纹理区别，以此来保证估计的准确性。对于某一对输入图片<r_i，r_j>，我们在r_i的极线上寻找相对应的采样区域，他是与r_j最邻近的图片上对应区域的NCC值最高的一块采样区域所确定的，而通过该区域在极线上的位置，可以知道采样区域的深度，其中r_i为输入的图；r_j为需要修正的剪影图片；

(4)更新剪影；

一旦更新了颜色模型和外包轮廓模型，就可以通过图片切割算法对所有未分类的输入图片进行分割；其中的惩罚项设置参照如下公式进行：

C_i＝C_1i+α·C_2i+(1-α)·C_3i

其中Ci是校准参数，这个参数是由在i处的视线与其他输入图片的视锥的交所得到的，在原始的论文中，他只是简单地选择某一视线求交产生的间隔中包含视锥数最大的那个值。考虑到我们是一个交互式的系统，我们将这一计算分为三部门；C_1i是在某一间隔中那些被修正过的图片的个数，C_2i是那些没有被修正过的图片的个数，C_3i是那些没有出现在这一间隔中的图片的个数；α值表示的是可以在多大程度上信赖那些当前未被修正果的剪影。

Images