CN109509249A - 一种基于部件的虚拟场景光源智能生成方法 - Google Patents

Abstract

本发明设计一种基于部件的虚拟场景光源智能生成方法，包括以下步骤：对预定义的模型布置光源并手动分割，组合光源和部件形成光源部件。使用基于SDF的模型分割方法对目标模型进行分割，获得模型部件；使用基于视图的模型检索方法在查找中最相似的光源部件，形成匹配的一组部件。之后进行光源生成，首先进行模型的预处理，包括对模型进行体素化，使用PCA对匹配模型的方向进行校正，并且计算模型表面体素之间的测地线距离；根据光源模式的不同，使用两种策略生成光源，分别是基于最小生成树组织光源的方法和基于纹理合成的方法。光源生成后，对光源的颜色和位置进行校正，在3DMAX中渲染得到最终效果。本发明能够根据局部的几何相似性，对大规模场景进行快速的光源编辑，极大的提升了光源编辑效率。

Description

一种基于部件的虚拟场景光源智能生成方法

技术领域

本发明属于光源编辑技术领域，具体涉及模型分割，模型检索等模型处理方法和基于最小生成树和纹理合成的光源传递方法。

背景技术

随着计算机图形学技术的不断进步，硬件设备的不断更新，在虚拟场景中的模型细节越来越多，规模越来越大，更加优化的场景建模给虚拟现实带来了更好的沉浸式的体验。这些高精度，高细致化的模型需要相应的光照条件进行渲染，优秀的光照对三维场景的渲染效果起到了至关重要的作用。因此，在场景中设置光源位置，确定光源属性，成为三维场景建模过程最重要的环节之一。为了满足虚拟场景中的各个渲染需求，美工人员在完成场景建模工作后，还需要投入大量时间进行场景光源的设计，尤其在场景较大的，光源复杂的情况下，工作量十分巨大，而且需要不断的渲染，调整光源，再渲染，同时需要与其他职能的工作人员反复沟通，迭代，才能得到较好的工作效果，耗时巨大。同时大规模虚拟场景中往往存在多个结构、形状类似的几何对象。例如建筑物群中会有结构相似的柱子，门窗，墙壁，房顶等建筑物，城市中会有相似的公路，路灯等，对这类对象逐个进行多光源建模工作繁杂冗余。因此，为了提升建模效率，本发明针对在复杂场景中的光源编辑问题，提出了基于部件的虚拟场景光源智能生成方法，美术人员仅在代表性对象的几何模型上进行多光源的设计与布置，生成样例模型，通过基于局部几何相似性的大规模场景光源智能编辑方法可以将样例模型上的多光源排列模式，光源参数等传递到类似形状的对象上，减少对大规模场景进行光源设计与布置的时间开销，极大的提升工作效率。

虚拟现实的不断发展，应用场景的不断增多，对于虚拟场景建模的重要性愈发凸显，虚拟场景建模成为了虚拟现实最重要的研究方向之一。在三维场景的几何建模方面，很多国内外研究机构和研究者都在三维场景的几何建模上做出了重要的贡献。目前的光源编辑方法主要分为基于素描的光源设计和基于高级描述的光源设计。文献1SCHOENEMAN C.,DORSEY J.,SMITS B.,ARVO J.,GREENBERG D.:Painting with light.In Conference onComputer Graphics and Interactive Techniques(1993),pp.143–146.提出根据光照效果反推光源参数，并且提供用户界面帮助设计人员探索参数空间，达到理想的照明效果。文献2 GUMHOLD S.:Maximum entropy light source placement.In Visualization,2002.Vis(2002),pp.275–282.提出从一个场景出发，使用优化方法得到光源的参数，通过迭代优化的方法从初始的位置出发，对光源位置颜色等进行优化，得到较好的效果。

目前的光源建模的方法存在较大的问题。首先，现有方法能够处理的几何场景结构简单，光源数量小。现有方法通常是针对仅包含单个几何对象或几个对象的三维场景提出的，光源数量从几个到几十个。随着采集设备和几何建模技术的进步，需要处理的三维场景规模越来越大，结构越来越复杂，能够处理的范围越来越有限。其次现有方法采用的用户交互操作较为简单，只能表达较为粗糙的光照效果。现有方法通常是借助交互界面让用户来绘制、标明光照的效果，然后算法采用优化算法来优化位置，用户通过多次交互输入细节，经过迭代生成最终的效果，但最终效果很可能达不到用户的需求。再者现有方法输入信息单一，大部分方法都是以用户经过简单交互输入的指示光照或阴影信息的图像作为输入的。因此本发明提出了一种基于部件的虚拟场景光源智能生成方法，能够以预定义已经排列光源的模型进行输入，根据局部几何相似性，在部件之间传递光源位置和参数，达到和预定义光源相近的效果。能够快速处理大规模场景，得到较好的效果。

发明内容

本发明要解决的技术问题是：克服现有方法针对小场景，需要用户主动表达有限的光照效果要求，输入单一，优化时间长的缺点。从已经编辑光源的模型出发，利用模型的局部几何相似性，使用部件传递光源位置和参数，快速处理大规模场景，达到与预定义效果相似的照明效果。

本发明解决上述技术问题的技术方案为：一种基于部件的虚拟场景光源智能生成方法，包括如下步骤：

(1)对预定义的模型进行手动分割并布置光源，组合光源和部件形成光源部件。对目标模型使用基于SDF的分割方法分割成部件，然后使用基于视图的模型检索方法在光源库中检索到最相似的部件，将检索到的光源部件光源模式作为目标部件光源生成的来源，形成一组匹配部件；

(2)从步骤(1)分割后的部件与光源库部件的匹配关系，对部件进行光源编辑。首先需要对部件进行预处理，包括对部件进行体素化，目标部件和光源部件使用相同的体素尺度，计算每个光源最近的一个体素，作为该光源在部件上的代表，称为光源体素；使用PCA对目标部件和光源部件进行主方向对齐。使用两种策略进行光源生成：基于最小生成树的方法，首先计算光源体素之间的测地线距离，对光源体素生成最小生成树，将对齐后的目标部件和光源部件进行归一化并平移到同一单位正方体，根据位置的对应关系，找到每一个光源部件中光源体素到目标部件中最近的体素，将这个体素标记为目标部件的光源体素；将最小生成树关系从光源部件传递到目标部件，重新计算每条边的距离，根据距离比对光源体素进行插值和合并。基于纹理合成的办法，计算目标部件和光源部件表面的纹理坐标；将光源体素视为纹理上的纹素，标记为对应颜色，其他纹素标记为全黑，展开纹理，获得光源部件的纹理图片；根据目标部件的纹理尺寸，使用光源部件纹理进行纹理合成，将合成的纹理按照纹理坐标贴在目标部件上，根据每个体素上纹理的颜色，确定是否是光源体素。

(3)将步骤(2)中得到的光源位置和颜色进行校正。光源位置由光源体素代替，真实位置可能会在模型内部，需要根据表面情况进行偏移；在进行光源插值时，在位置插值同时需要对光源颜色进行插值。经过校正后，得到较好的效果。

所述步骤(1)具体实现如下：对预定义的模型进行手动分割，例如分割成窗户，门窗，墙壁，柱子等，然后对部件进行光源布置，例如随机的光源，环绕光源，线性光源等，然后组合光源和部件形成光源部件。对目标模型首先进行分割，使用基于SDF的分割方法，首先计算模型表面三角面片的SDF值，首先软聚类确定每个面片属于每个类别的概率，再结合面片的连接关系和二面角，硬聚类得到每个面片的最终类别，并且可以手动对分割情况进行调整；使用基于视图的模型检索方法，对部件进行投影，与每个部件的光源投影进行比较，查找最相似的光源部件，该光源部件将作为目标部件光源编辑的来源。

所述步骤(2)包括：步骤(2)中使用基于最小生成树的方法：首先计算了光源体素之间的测地线距离，作为生成树中节点之间的距离，测地线距离使用的是基于图论最短路径的方法，建立最小生成树后，对目标部件和目标部件进行归一化操作，计算模型包围盒，缩放平移到同一个单位正方体空间，计算得到光源部件中每一个光源体素最接近的目标体素，标记为目标部件的光源体素，同时传递原来的最小生成树关系，逆归一化后重新计算最小生成树边的距离，根据前后的距离比进行光源体素的插值和合并，得到光源传递效果。

所述步骤(2)中使用的基于纹理合成的方法：首先计算目标部件和光源部件的纹理坐标，从包围盒的一个角点出发，进行水平和竖直方向的搜索，遍历所有的表面体素，得到每个体素的纹理坐标，将光源体素在纹理中标注成对应的颜色，其他的则标注为黑色，展开得到原始的纹理。根据目标纹理的尺寸，以光源纹理为基础进行纹理合成操作，将纹理映射到对应目标体素上，将光源对应颜色的体素标记为光源体素。

所述步骤(3)使用的光源位置和颜色校正方法如下：

(1)对光源位置进行校正，生成光源过程中使用的是光源体素代替光源位置，在最终决定光源位置时，根据目标模型表面的情况对光源位置沿着模型中心和当前体素的连线方向进行偏移，保证光源在模型表面，进行校正；

(2)对光源颜色进行校正，在进行光源位置插值的同时，对光源颜色进行插值；经过校正后，得到与光源部件相近的渲染效果。

本发明的原理：

(1)使用基于最小生成树传递光源

在获得目标部件和光源部件后，对模型进行体素化和对准，获得每个光源的对应的光源体素。使用测地线距离作为每对光源体素之间距离衡量的方式，对光源体素组成的图生成最小生成树，记录对应边和光源体素的关系。对目标部件和光源部件进行归一化操作，平移放缩到同一单位正方体中，计算每个光源体素对应的目标部件的体素，作为目标部件的体素，同时传递对应体素的最小生成树关系，重新计算最小生成树边的距离，根据对应边的距离比对光源体素进行插值或者合并，

(2)使用基于纹理合成原理传递光源

对目标部件和光源部件生成表面纹理坐标。计算部件的包围盒，从包围盒的一个角点出发，在表面体素进行水平和竖直方向搜索，扫描所有的表面体素，得到每个表面体素的纹理坐标。根据光源体素的位置，在对应纹理上设置对应颜色的纹素，其他的则设置为黑色，将部件表面展开生成纹理。获得纹理后，根据目标部件的纹理实际大小，以光源纹理按照纹理生成的方法生成对应尺寸的目标纹理。将生成的纹理映射到目标部件上，将光源纹素映射到的体素设置为光源体素。

本发明与现有技术相比的优点在于：本发明能够从预定义的模型出发，快速对相似模型进行光源编辑，达到相似的光源效果。本发明主要由两点贡献：第一，将最小生成树的思想用于光源的组织和传递，使用最小生成树组织和传递光源，能够确保密度和位置的正确性，能够应对模型大小，形状的差异带来的变形。第二，将光源视为纹理，只要能够获得正确的纹理坐标，就能够使用纹理合成的方法，将光源按照纹理的形式传递到对应模型上，达到快速和相似的光照效果，纹理合成的方法可以克服模型尺寸形状带来的差异。

附图说明

图1为本发明方法整体流程图；

图2为本发明对模型进行体素化的效果图；

图3为本发明中模型表面的纹理坐标分布图；左边为水平方向右边为竖直方向；

图4为本发明中使用最小生成树组织光源原理图；

图5为本发明中使用纹理合成传递光源原理图；

图6为本发明中使用最小生成树和纹理合成传递光源的效果图；左边为水平方向右边为竖直方向；

图7为本发明使用位置和颜色校正后的效果图；

图8为本发明最终的光源传递效果图，第一列为预定义模型，后面为光源生成效果。

具体实施方式

下面结合附图以及本发明的具体实施方式进一步说明本发明。

对于该光源编辑方法，本发明的输入是一个已经布置光源的三维模型，并且对模型已经分割，将光源与部件组合成光源部件，以及一个待布置光源的模型。整个过程包括以下步骤如图1所示，

步骤(1)是找到匹配的光源部件。首先对输入模型进行分割，使用基于SDF的模型分割方法，计算模型表面的SDF值，设定聚类的个数，首先软聚类确定每个面片属于每个类别的概率，再结合面片连接关系和二面角，硬聚类得到每个面片的最终类别，得到最终分割效果，由于建筑物的模型较为复杂，可能会有误分割的情况发生，需要手动对分割后的模型进行调整，得到具有一定语义的模型。使用基于视图的模型检索方法，对模型进行投影，得到每个方向的视图，与光源部件每个方向的投影比较，根据每个视图的相似性，计算出一个得分序列，寻找最相似的光源部件，作为光源传递的来源。

步骤(2)分成两个部分，分别是模型的预处理阶段，光源生成阶段。

第一部分：模型预处理阶段。首先对模型进行体素化，体素化能够简化很多三维模型的操作和计算。在这里模型体素化，首先计算模型的包围盒，划定体素格子的大小，确定空间中划分的体素空间，对于每一个体素，遍历每一个三角面片，计算三角面片和体素格子的交集，确认体素格子是否被占用，如果有交集，说明该体素格子属于该模型。遍历所有的体素格子，计算三角面片与格子的相交性，可以得到该模型的体素化效果，如图2所示。获得体素化结果后，需要对模型的方向进行校正，这样能够方便找到模型之间对应位置的体素联系。使用PCA进行方向校正，首先获得协方差矩阵，计算协方差矩阵的特征值和特征向量，按照特征值对特征向量进行排序，将特征向量组成变换矩阵，将原来的模型使用变换矩阵进行变换，这样匹配的一组模型的主方向将会相同。求解模型表面的纹理坐标，划分模型的包围盒后，从模型的角点出发，沿着水平和竖直方向搜索，在体素的26邻域内进行搜索。为了避免模型的重复搜索，对于每一层的体素，确定体素的中心，然后保证沿着一个方向搜索，比如顺时针或者逆时针，搜索得到的结果如图3所示，颜色分别是纹理坐标的两个方向的值，颜色深度代表的对应坐标值的大小，左边是水平方向的纹理坐标，右边是竖直方向的纹理坐标。对于每一个表面体素，都可以得到其纹理坐标。在后续的操作中，为简化光源，对于每一个光源，寻找模型表面最接近的一个体素，作为模型的附着体素，以这个体素的位置代替光源的位置，称为光源体素。

第二部分：第二部分是光源的生成部分，由于模型之间的大小存在差异，在光源扩展时，可能是直接按照纹理的形式重复，也可能是根据尺寸进行插值，不同的策略将带来不同的效果。在这里使用两种策略对光源进行传递和生成。分别是基于最小生成树和基于纹理合成的策略。

(a)基于最小生成树的方式，将模型表面的光源体素按照最小生成树的方式组织起来，方便传递时在最小生成树的边上进行插值。计算最小生成树需要知道每个边的权值，这里的权值计算时依据光源体素之间的测地线距离。测地线距离同样依赖于体素化，对于任意两个体素之间的测地线，使用图论中单源最短路径方法，从源体素开始扩展，沿着表面体素进行扩展，直到找到目的体素，确定测地线长度，表面体素可以通过滤波算子确定。直到扩展到对应的目标体素，就可以得到两者之间的测地线距离。得到测地线距离后，使用最小生成树的生成策略，生成的最小生成树效果如图4所示，上面一行是光源的渲染效果图，下一行是将光源建立的最小生成树示意图，依次选区权重最小的边，加入到集合，然后选择和集合有交集的最短的边加入到集合，直到所有的边都已经加入到集合之中。

得到最小生成树之后，之前已经对模型进行对齐，现在对模型进行归一化，计算模型的包围盒，将模型平移到原点，对模型进行放缩，将每个模型放置在同一个单位正方体中，计算每一个光源体素对应的最近的目标体素，将它作为目标部件上的光源。同时将对应的最小生成树的边关系传递过去，对归一化的模型反变换，得到传递过来的体素原来的体素位置，同时标记光源体素。

接下来重新计算在目标部件中对应最小生成树边之间的大小关系，计算同样使用的是测地线距离，根据前后同一条最小生成树边距离的比例关系，对光源体素进行插值或者合并，达到光源密度的自适应。

(b)基于纹理合成的方式，将模型表面光源视为纹理上的纹素，通过纹理映射的方式传递光源。在模型处理阶段得到模型表面的纹理坐标后，将光源体素对应位置的纹素设置为对应的颜色，其他的设置为黑色。展开光源部件的纹理盒目标部件的纹理，根据目标纹理的尺寸，从光源纹理出发使用纹理合成得到对应尺寸的纹理。

纹理合成技术可以从一个纹理出发，合成任意尺寸的纹理。先确定扩展块的大小，随机选择一个块放置在目标纹理原点；确定每次扩展时重叠区域的大小，遍历原始纹理，得到每一个和扩展块相同尺寸的区块，放置在重叠区域，计算与重叠区内两个块的距离；遍历所有的块后，找到距离最近的块，将这个块作为扩展块加入。当在确定扩展边界时，使用贪心算法搜索扩展边界，寻找在重叠区域两者最相近的一条路径。比如可以从第一行出发，选择第一行最相近的纹素，然后下一行的边界值只在这一个纹素的邻域里查找。按照这样的扩展方式，得到对应尺寸的纹理。

获得合成的纹理后，将对应的纹理映射到目标模型上，对于每一个纹理位置，查看是否是光源色素，并将光源属性添加到对应的体素上。合成的效果如图5所示，上面一行是原始纹理的光源渲染效果图，下面一行是合成纹理图的光源渲染效果图。

最终使用两种方法进行光源编辑后的效果如图6所示，第一行是原始光源部件渲染效果图，第二行是使用最小生成树方式生成的光源渲染效果图，第三行是使用纹理合成生成的光源渲染效果图。

步骤(3)是光源位置和颜色的纠正，效果如图7所示，左边是原始光源部件渲染效果图，右边是光源生成后，并且经过光源位置和颜色校正后的渲染效果图。在光源生成的过程中，以光源体素的位置代表光源的位置，由于体素计算时只需要有占用就标记为体素，但可能只占用了极小的部分，可能造成的问题就是光源在模型内部，因此需要对最终生成的光源位置进行适当的偏移。计算每一层体素的中心位置，然后得到中心和光源体素的连线，设置一个阈值，将光源沿着中心体素与光源体素的连线上往外偏移一个尺寸，得到正确的光源位置。

同时需要对颜色进行校正，在之前进行的光源生成中，只是生成光源的位置，对于颜色没有处理。在这里，对于最小生成树的方法，在进行光源插值时，不只是对光源的位置进行插值，同时需要对光源的颜色进行插值。在使用纹理合成的方法时，需要将光源的颜色同样加入到纹理中来，使得纹理合成时能够处理不同颜色的纹理，达到较好的效果。

在得到光源位置和颜色后，使用3DMAX script将光源位置和颜色批量导入到场景中，渲染得到最终的效果，最终效果如图8所示，第一列是预定义光源模型渲染效果图，后面三列是光源生成后的渲染效果图。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (5)

1.一种基于部件的虚拟场景光源智能生成方法，其特征在于：包括以下步骤：

(1)对目标模型使用基于SDF的分割方法分割成目标部件，使用基于视图的模型检索方法在光源部件中检索到最相似的光源部件，作为一组匹配部件，将光源部件的光源模式作为目标部件光源生成的来源；

(2)将步骤(1)得到匹配部件并进行光源编辑，首先需要对匹配部件进行预处理，所述预处理包括对匹配件进行体素化，目标部件和光源部件使用相同的尺度，计算每个光源最近的一个体素，作为该光源在光源部件上的代表，成为光源体素；使用PCA对目标部件和光源部件进行方向对齐；根据光源形式使用两种策略进行光源生成，对于需要保留位置属性的光源使用基于最小生成树的方法，对于需要保留整体形状的光源使用纹理合成的办法，得到光源位置和颜色；

(3)将步骤(2)中得到的光源位置和颜色进行校正，光源位置由光源体素代替，真实位置可能会在模型内部，需要根据表面情况进行偏移；在进行光源插值时，在位置插值同时需要对光源颜色进行插值；经过校正后，得到与光源部件相近的渲染效果。

2.根据权利要求1所述的基于部件的虚拟场景光源智能生成方法，其特征在于：所述步骤(1)具体实现如下：

(11)对预定义的模型进行手动分割，对分割后部件进行光源布置，设计多种光源形式，多种光源形式包括随机的光源，环绕光源，和线性光源，将每种光源形式和部件形成光源部件；

(12)对目标模型首先进行分割，使用基于SDF的分割方法，计算模型三角面片的SDF值，先进行软聚类得到属于每一个类别的概率，再结合面片的连接信息和二面角，使用硬聚类确定每个面片的最终类别，得到分割结果，并根据实际情况手动对分割情况进行调整；

(13)使用基于视图的模型检索方法，对部件进行投影，与每个部件的光源投影进行比较，查找最相似的光源部件，该光源部件将作为目标部件光源编辑的来源。

3.根据权利要求1所述的基于部件的虚拟场景光源智能生成方法，其特征在于：步骤(2)中基于最小生成树策略的光源生成方法如下：

(21)计算光源体素之间的测地线距离，作为生成树中节点之间的距离，测地线距离使用的是基于图论最短路径的方法，对节点建立最小生成树；

(22)对目标部件和目标部件进行归一化操作，计算模型包围盒，缩放平移到同一个单位正方体空间；

(23)计算得到光源部件中每一个光源体素最接近的目标体素，标记为目标部件的光源体素，传递原来的最小生成树关系；

(24)逆归一化后重新计算最小生成树边的距离，根据前后的距离比进行光源体素的插值和合并，得到光源位置和颜色。

4.根据权利要求1所述的基于部件的虚拟场景光源智能生成方法，其特征在于：步骤(2)中使用的基于纹理合成策略的光源生成方法：

(31)计算目标部件和光源部件的纹理坐标，计算部件的包围盒，从包围盒的一个角点出发，进行水平和竖直方向的搜索，遍历所有的表面体素，得到每个体素的纹理坐标，将光源体素在纹素中标注成对应的颜色，其他的则标注为黑色，展开得到原始的纹理；

(32)根据目标纹理的尺寸，以光源纹理为基础进行纹理合成操作，得到对应尺寸的纹理；

(33)将纹理映射到对应目标体素上，根据每个体素上对应纹素的颜色确定是否是光源体素，得到光源位置和颜色。

5.根据权利要求1所述的基于部件的虚拟场景光源智能生成方法，其特征在于：步骤(3)使用的光源位置和颜色校正方法如下：

(41)对光源位置进行校正，生成光源过程中使用的是光源体素代替光源位置，在最终决定光源位置时，根据目标模型表面的情况对光源位置沿着模型中心和当前体素的连线方向进行偏移，保证光源在模型表面，进行校正；

(42)对光源颜色进行校正，在进行光源位置插值的同时，对光源颜色进行插值；经过校正后，得到与光源部件相近的渲染效果。