CN109685879B - 多视影像纹理分布的确定方法、装置、设备和存储介质 - Google Patents

多视影像纹理分布的确定方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109685879B
CN109685879B CN201811526861.8A CN201811526861A CN109685879B CN 109685879 B CN109685879 B CN 109685879B CN 201811526861 A CN201811526861 A CN 201811526861A CN 109685879 B CN109685879 B CN 109685879B
Authority
CN
China
Prior art keywords
node
triangular
determining
weight
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811526861.8A
Other languages
English (en)
Other versions
CN109685879A (zh
Inventor
熊友谊
张文金
王勇
熊四明
范鲁燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Qihui Urban Information Co ltd
Original Assignee
Guangdong Qihui Urban Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Qihui Urban Information Co ltd filed Critical Guangdong Qihui Urban Information Co ltd
Priority to CN201811526861.8A priority Critical patent/CN109685879B/zh
Publication of CN109685879A publication Critical patent/CN109685879A/zh
Application granted granted Critical
Publication of CN109685879B publication Critical patent/CN109685879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)

Abstract

本申请实施例公开了一种多视影像纹理分布的确定方法、装置、设备和存储介质，该方法包括：根据设定的三角网格模型确定各个三角面片，获取与每个三角面片对应的多视影像；分别计算三角面片对应的各个影像的目标权重，并确定各个三角面片对应的目标影像；遍历无向图的每个节点，根据当前节点的相邻节点的节点信息更新当前节点的节点信息；相邻节点的节点信息和当前节点的节点信息分别包括节点值以及标签，节点值包括该节点的三角面片对应的目标影像，标签包括目标影像中满足设定条件的目标影像；根据更新后的当前节点的节点信息确定三角网格模型三角面片的纹理分布。提高了多视影像中重建自然场景时的纹理质量，增强了纹理映射效果。

Description

多视影像纹理分布的确定方法、装置、设备和存储介质
技术领域
本申请实施例涉及三维模型重建技术，尤其涉及一种多视影像纹理分布的确定方法、装置、设备和存储介质。
背景技术
随着三维重建相关技术的迅速发展，从多视影像中重建高精度的自然场景的三维模型已经越来越成熟，但要实现对自然三维场景的逼真展示，仅恢复其三维几何模型是不够的，还需要恢复其表面的真实纹理。因此，如何有效地为重建的三维模型贴上真实的纹理同样是一个值得关注的课题。
多影像为纹理映射提供了丰富的纹理数据源，且，模型表面的三角面片在多个视角的影像中均可见，但是直接将多影像用作模型纹理时导致纹理质量参差不齐，直接影像自动纹理映射效果。
相关技术中，通常应用多视影像序列来实现自然场景三维建模的纹理映射，该方法能够创建真实感的纹理贴图，但是，该方法只能处理简单的三维物体模型，对于多影像的复杂自然场景数据，很难进行有效处理。
发明内容
本申请提供了一种多视影像纹理分布的确定方法、装置、设备和存储介质，以解决现有技术中在处理复杂三维物体模型时，多视影像的复杂自然场景中的纹理质量以及纹理映射效果差的问题。
本发明采用如下技术方案：
第一方面，本申请实施例提供了一种多视影像纹理分布的确定方法，该方法包括：
根据设定的三角网格模型确定各个三角面片，以及，获取与每个三角面片对应的多视影像；
针对每个三角面片，分别计算所述三角面片对应的各个影像的目标权重，并确定各个三角面片对应的目标影像；
遍历无向图的每个节点，根据当前节点的相邻节点的节点信息更新所述当前节点的节点信息；
根据更新后的当前节点的节点信息确定所述三角网格模型三角面片的纹理分布。
第二方面，本申请实施例提供了一种多视影像纹理分布的确定装置，该装置包括：
影像获取模块，用于根据设定的三角网格模型确定各个三角面片，以及，获取与每个三角面片对应的多视影像；
目标影像确定模块，用于针对每个三角面片，分别计算所述三角面片对应的各个影像的目标权重，并确定各个三角面片对应的目标影像；
节点信息更新模块，用于遍历无向图的每个节点，根据当前节点的相邻节点的节点信息更新所述当前节点的节点信息；
纹理分布确定模块，用于根据更新后的当前节点的节点信息确定所述三角网格模型三角面片的纹理分布。
第三方面，本申请实施例提供了一种设备，包括存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的多视影像纹理分布的确定方法。
第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的多视影像纹理分布的确定方法。
本发明采用的技术方案中有如下有益效果：根据设定的三角网格模型确定各个三角面片，以及，获取与每个三角面片对应的多视影像；针对每个三角面片，分别计算所述三角面片对应的各个影像的目标权重，并确定各个三角面片对应的目标影像，以剔除不符合要求的影像，选出可见的影像。遍历无向图的每个节点，根据当前节点的相邻节点的节点信息更新所述当前节点的节点信息；由于每个节点对应一个三角面片，该特征考虑了相邻三角面片的依赖关系，从而提高了纹理质量，减少了纹理缝隙，提高了纹理映射的效果。根据更新后的当前节点的节点信息确定所述三角网格模型三角面片的纹理分布，从而提高了使得在多视影像中重建高精度自然场景过程中的纹理映射的效果，进而应用该纹理分布为重建的三维模型贴上真实的纹理。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请实施例提供的一种多视影像纹理分布的确定方法的流程图；
图2是本申请实施例提供的一种三角网格模型抽象为三角面片的示意图；
图3是本申请实施例提供的一种与图2对应的无向图；
图4是本申请实施例提供的另一种多视影像纹理分布的确定方法的流程图；
图5是本申请实施例提供的一种多视影像纹理分布的确定装置的结构示意图；
图6是本申请实施例提供的一种设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
首先对本申请实施例的应用场景进行介绍，在三维模型重建中，纹理映射是增强三维图形真实感最为关键的技术，本申请实施例中的三角面片的可见性分析是多视影像纹理映射过程中的一种分析方法，多视影像为纹理映射提供了丰富的纹理数据源。利用图像获取装置(例如可以是装有摄像装置的无人机等)从多个视角拍摄同一个实体，获得多个影像，称为多视影像。一般来说，从靠近原始影像摄取位置的位置观察纹理映射后的模型效果最好，因此，使用多张视角相关的影像作为纹理可以提供比使用单一影像更好的视觉性能，则需要对每个三角面片，均储存多个视角的纹理图，当几何模型的面数较多时，会存在大量的数据冗余，且基于视角的渲染使渲染过程更加复杂，则挑选一个最优的视角影像作为三角面片纹理的效果尤为重要。本申请实施例中的每个三角面片均使用一个真实影像作为纹理贴图，确定每个三角面片的真实纹理贴图的过程称为纹理映射分布的确定过程，下面通过各个实施例阐述如何从多视影像中选取最佳视角的影像作为模型三角面片的纹理贴图来确定最优的纹理分布过程。
图1给出了本申请实施例提供的一种多视影像纹理分布的确定方法的流程图，本实施例提供的多视影像纹理分布的确定方法可以由多视影像纹理分布的确定装置来执行，该多视影像纹理分布的确定装置可通过硬件和/或软件的方式实现。参考图1，该方法具体可以包括：
步骤101、根据设定的三角网格模型确定各个三角面片，以及，获取与每个三角面片对应的多视影像。
其中，三角网格是多边形网格的一种，是计算机图形学中用于为各种不规则物体建立模型的一种数据结构。现实世界中的物体表面直观上看都是由曲面构成的；而在计算机世界中，由于只能用离散的结构去模拟现实中连续的事物，因此，所以现实世界中的曲面实际上在计算机里是由无数个小的多边形面片去组成的。在计算机渲染后由肉眼看是十分平滑的曲面，而实际上，计算机内部使用了大量的小三角形片去组成了这样的形状，这样的小面片则称为三角面片，使用全由三角形组成的三角网格来表示物体表面。
在本申请实施例中，在三维模型重建过程中的三角面片可见性分析过程中，应用三角网格模型进行分析。具体的，可以通过定义模型中的各个点以及三角形，并根据对应的算法，来确定各个三角面片。根据三角面片与多视影像对应关系列表，按照设定的对应关系，获取与每个三角面片对应的各个影像，由于是从不同角度获取的影像，因此可称为多视影像。在一个具体的例子中，该过程可以通过对应的算法实现，例如，若多个影像中均包括某一个位置的图像，例如，在多角度拍摄清华园门的过程中，当多个影像中均拍到了“清”字，则可以将该多个影像与一个三角面片对应。
步骤102、针对每个三角面片，分别计算所述三角面片对应的各个影像的目标权重，并确定各个三角面片对应的目标影像。
具体的，根据设定的三角网格模型确定多个三角面片，每个三角面片对应至少一个影像，下面针对一个三角面片，对确定其对应的目标影像的过程进行说明。
针对每个三角面片，在理想情况下，其对应的影像应直接取自垂直于拍摄视角的影像，因为角度倾斜的影像，会导致纹理出现大量的失真，因此，在计算各个影像的目标权重的过程中，需要考虑该三角面片对应的各个影像到当前三角面片的垂直程度。
其次，纹理分辨率，即单位面积的三角网格模型表面所述包含的像素数，由于多视影像是从各个方向的角度获得的，所以在同一个影像中各拍摄对象存在一个较大的分辨率范围，例如，从前景中的每像素代表几厘米到远距离建筑物的每像素代表几米，纹理分辨率越高，其用作纹理时色彩质量就越好。因此，在计算各个影像的目标权重的过程中，需要考虑各个分辨率的权重。
最后，由于镜头畸变的存在，一般认为离镜头中心越远的区域，影像变形越大，其用作纹理时质量也越差，因此，在计算各个影像的目标权重的过程中，需要考虑各个影像远离对应影像中心的权重。
根据所述三角面片对应的各个影像的目标权重，按照一定的筛选规则，选取该三角面片对应的目标影像。同理，针对其他三角面片，确定对应的目标影像的过程相同，在此不赘述。
步骤103、遍历无向图的每个节点，根据当前节点的相邻节点的节点信息更新所述当前节点的节点信息。
其中，若一个图中每条边都是无方向的，则称为无向图。具体的，根据三角网格模型以及三角面片构建无向图，无向图用G(V,E)表示，其中，V＝{v1,v2,v3,…,vi}，E＝{e1,e2,e3,…,ea}，无向图的每个节点vi分别对应一个三角面片，节点之间的边ea表示三角面片之间是相邻的，具有一定的概率依赖关系，无向图中的每个节点的节点值包括三角面片对应的目标影像，也即，对应该三角面片的可见影像列表中的所有影像。
具体的，根据当前节点的相邻节点的节点信息更新所述当前节点的节点信息，示例性的，更新过程可以是将相邻节点的节点信息替换当前节点的节点信息。其中，所述无向图的每个节点分别对应一个三角面片，所述相邻节点的节点信息包括该相邻节点的节点值以及标签，当前节点的节点信息包括当前节点的节点值以及标签，所述节点值包括该节点的三角面片对应的目标影像，所述标签包括所述目标影像中满足设定条件的目标影像。在一个具体的例子中，设定条件可以是在节点值的各个目标影像中，权重最大的影像。
在一个具体的例子中，图2示出了一种三角网格模型抽象为三角面片的示意图，图3示出了一种与图2对应的无向图。参考图2和图3，选取其中的11个三角面片，也即，对应的无选取向图中有11个节点，各节点的相邻关系可以从图3中获取，无向图中的各个节点中存储的节点信息与三角面片一一对应。在一个具体的例子中，以三角面片Fi为例，节点v1代表的节点信息包括三角面片对应的目标影像以及权重最大的目标影像。
步骤104、根据更新后的当前节点的节点信息确定所述三角网格模型三角面片的纹理分布。
具体的，针对每个节点的节点信息，按照本申请实施例的方法更新节点信息，判断全部节点的节点信息是否更新完成，若是，则根据每个节点更新后的节点信息，确定三角网格模型的纹理分布，也即，确定了该三角网格模型的每个三角面片中的真实影像，每个三角面片的真实影像的集合以及对应关系成为该三角网格模型三角面片的纹理分布。
本申请实施例的有益效果：根据设定的三角网格模型确定各个三角面片，以及，获取与每个三角面片对应的多视影像；针对每个三角面片，分别计算所述三角面片对应的各个影像的目标权重，并确定各个三角面片对应的目标影像，以剔除不符合要求的影像，选出可见的影像。遍历无向图的每个节点，根据当前节点的相邻节点的节点信息更新所述当前节点的节点信息；其中，所述无向图的每个节点分别对应一个三角面片，所述相邻节点的节点信息和所述当前节点的节点信息分别包括节点值以及标签，所述节点值包括该节点的三角面片对应的目标影像，所述标签包括所述目标影像中满足设定条件的目标影像；由于每个节点对应一个三角面片，该特征考虑了相邻三角面片的依赖关系，从而提高了纹理质量，减少了纹理缝隙，提高了纹理映射的效果。根据更新后的当前节点的节点信息确定所述三角网格模型三角面片的多视影像纹理分布，从而提高了在多视影像中重建高精度自然场景过程中的纹理映射的效果，进而应用该多视影像纹理分布为重建的三维模型贴上真实的纹理。
在上述实施例的基础上，图4给出了本申请实施例提供的另一种多视影像纹理分布的确定方法的流程图。该多视影像纹理分布的确定方法是对上述多视影像纹理分布的确定方法的具体化。参考图4，该多视影像纹理分布的确定方法包括：
步骤401、根据设定的三角网格模型确定各个三角面片，以及，获取与每个三角面片对应的多视影像。
其中，三角面片用Fi(i＝1,2,3,…I)表示，其中I为三角面片的个数，多视影像用It(t＝1,2,3,…,T)表示，T为多视影像的个数，Fi的标签为Ln，表示将用Ln所代表的影像作为三角面片Fi的纹理。
步骤402、针对每个三角面片对应的各个影像，分别获取第一权重、第二权重和第三权重。
其中，所述第一权重包括当前三角面片对应的各个影像到当前三角面片的垂直程度；所述第二权重包括各个分辨率的权重，其中，所述分辨率包括各个影像映射到当前三角面片的分辨率；所述第三权重包括各个影像远离对应的影像中心的权重。
具体的，以一个三角面片Fi及其对应的影像It为例，由于理想情况下，该三角面片对应的纹理视图应直接取自垂直于拍摄视角的影像，角度倾斜的纹理视图会导致纹理出现较大的失真。因此，将三角面片Fi的中心坐标到拍摄装置中心所在位置的向量为视线方向，其中，拍摄装置可以是相机，也可以是装有相机的无人机等。通过如下公式求得影像It到三角面片Fi中心的垂直程度：
上述公式中，norm()为归一化函数，为三角面片中心法线。
为了确定每个影像It到Fi的分辨率Rti，可以利用投影的二维的三角面片内的像素数npixels除以对应的三维的三角面片的面积得到，计算公式如下：
纹理分辨率越高，其用作纹理时色彩质量就越好，通过如下方程确定各分辨率的影像It所占的权重：
其中，Fi在Ij中可见，也即，Ij表示全部可见影像。
由于镜头畸变的存在，一般认为离镜头中心越远的区域，影像的变形越大，其作用纹理时的质量也越差，通过下述公式确定影像It远离对应的影像中心的权重：
其中，和/>分别为模型三角面片Fi的中心点反映射到影像It上的x和y分量，W为影像的宽度，H为影像的高度。
步骤403、根据所述第一权重、第二权重和第三权重计算每个三角面片对应的各个影像的目标权重，剔除小于零的目标权重对应的影像，选取大于零的目标权重对应的影像作为三角面片对应的目标影像。
具体的，根据第一权重、第二权重和第三权重计算每个三角面片对应的各个影像的目标权重，在一个具体的例子中，针对同一个影像，将第一权重、第二权重和第三权重相乘，获得目标权重。目标权重可以用Wt表示，其中，Wt＝wat·wrt·wdt，若Wt小于零，则剔除该目标权重对应的影像，若Wt大于零，则选取该目标权重对应的影像作为三角面片对应的目标影像。
步骤404、根据所述目标影像更新所述无向图中各个节点的节点值以及每个节点值对应的权重。
具体的，遍历无向图中的各个节点，针对每一个三角面片，应用本申请实施例中的上述方法计算每个三角面片对应的目标影像。更新无向图中的各个节点的节点值以及每个节点值对应的权重，其中，节点值是该节点对应的三角面片对应的目标影像。在实际的应用过程中，当遍历完成后，将每个节点的标签Li更新为节点值中权重最大的目标影像。
步骤405、遍历无向图的每个节点，确定与当前节点的相邻节点以及各个相邻节点的标签。
具体的，遍历无向图中的每个节点，将当前节点记为vi，根据无向图的特性，确定与当前节点vi的相邻节点以及各个相邻节点的标签，并计算各个标签的出现的概率。在一个具体的例子中，当前节点以v11为例，其相邻节点为v2、v6和v10，v11的节点值(也即，三角面片F11对应的目标影像)为I1,I2,I3，v2的标签L2是I1，v6的标签L6是I1，v10的标签L10是I2，则I1出现的概率是2/3，I2出现的概率是1/3，出现概率最大是I1，为2/3。
步骤406、判断出现概率最大的标签是否属于所述当前节点的节点值，若是，则执行步骤407，否则，执行步骤408。
具体的，将出现概率最大的标签记为LmaxPn，如果概率相同，则取权重最大的标签。用LmaxPn与vi的节点值(I1,I2,I3,…,Ik)相比较，若LmaxPk∈(I1,I2,I3,…,Ik)，则更新vi的标签为LmaxPn；若不做任何操作，也即，执行步骤270。
在一个具体的例子中，仍以上述当前节点v11为例，其节点值为I1,I2,I3，相邻节点中出现概率最大的是I1，属于当前节点的节点值，则执行步骤407。
步骤407、将所述出现概率最大的标签替换所述当前节点的标签，以通过更新所述当前节点的标签更新所述当前节点的节点信息。
具体的，将出现概率最大的标签替换当前节点的标签，在这个具体的例子中，将v11的标签L11替换为I1，通过更新当前节点的标签来更新当前节点的节点信息。在这个具体的例子中，影像I1作为三角面片F11的纹理贴图。在实际的应用过程中，相邻的三角面片取自相同的影像时，纹理质量更好，纹理映射效果更好。
步骤408、保持所述当前节点的标签和节点值不变。
其中，当出现概率最大的标签不属于当前节点的节点值时，表明当前三角面片与相邻的三角面片不是取自相同的影像，则无需考虑该相邻的三角面对当前三角面片的影响，保持当前节点的标签和节点值不变。
步骤409、根据更新后的当前节点的节点信息确定更新的无向图，根据所述更新后的无向图对应的各个节点的节点信息确定每个节点对应三角面片对应的真实影像。
具体的，对无向图中的每一个节点进行更新后，也即，整个无向图进行相应的更新，具体更新内容包括每个节点的节点信息，其中，节点信息是指，节点对应的三角面片对应的目标影像，以及，其中出现概率最大的影像。根据更新后的无向图对应的各个节点的节点信息确定每个节点对应三角面片对应的真实影像，该真实影像用于恢复三角网格模型表面的真实纹理。
步骤410、根据各个三角面片对应的真实影像确定所述三角网格模型三角面片的纹理分布。
示例性的，将各个三角面片对应的真实影像与各自对应的三角面片的对应关系进行整理，以形成三角网格模型三角面片的纹理分布。
在实际的三维模型重建过程中，在三角面片可见性分析完成后，得到最优纹理分布，也即，本申请实施例中的三角网格模型三角面片的纹理分布；然后进行全局颜色调整、局部缝隙消除以及纹理序列生成，最终完成三维模型的重建过程。
在上述实施例的而基础上，本申请实施例中，针对每个三角面片对应的多视影像，分别根据所述第一权重、第二权重和第三权重计算每个三角面片对应的各个影像的目标权重，剔除小于零的目标权重对应的影像，选取大于零的目标权重对应的影像作为三角面片对应的目标影像，通过消除冗余的影像的方法提高了纹理质量。同时，遍历无向图的每个节点，确定与当前节点的相邻节点以及各个相邻节点的标签，判断出现概率最大的标签是否属于所述当前节点的节点值，将所述出现概率最大的标签替换所述当前节点的标签，以通过更新所述当前节点的标签更新所述当前节点的节点信息，在从多视影像视角、纹理分辨率以及投影三角面片到图像边缘的距离等因素的基础上，考虑了相邻的三角面片，当相邻的三角面片取自相同的影像时，能实现很好的纹理映射效果。还根据更新后的当前节点的节点信息确定更新的无向图，根据所述更新后的无向图对应的各个节点的节点信息确定每个节点对应三角面片对应的真实影像，根据各个三角面片对应的真实影像确定所述三角网格模型三角面片的影像纹理分布，通过应用该影像多视影像纹理分布，以使三维模型的重建过程更准确。
在上述实施例的基础上，图5为本申请实施例提供的一种多视影像纹理分布的确定装置的结构示意图。参考图5，本实施例提供的多视影像纹理分布的确定装置具体包括：影像获取模块501、目标影像确定模块502、节点信息更新模块503和纹理分布确定模块504。
影像获取模块501，用于根据设定的三角网格模型确定各个三角面片，以及，获取与每个三角面片对应的多视影像；
目标影像确定模块502，用于针对每个三角面片，分别计算所述三角面片对应的各个影像的目标权重，并确定各个三角面片对应的目标影像；
节点信息更新模块503，用于遍历无向图的每个节点，根据当前节点的相邻节点的节点信息更新所述当前节点的节点信息；
纹理分布确定模块504，用于根据更新后的当前节点的节点信息确定所述三角网格模型三角面片的纹理分布。
根据设定的三角网格模型确定各个三角面片，以及，获取与每个三角面片对应的多视影像；针对每个三角面片，分别计算所述三角面片对应的各个影像的目标权重，并确定各个三角面片对应的目标影像，以剔除不符合要求的影像，选出可见的影像。遍历无向图的每个节点，根据当前节点的相邻节点的节点信息更新所述当前节点的节点信息；由于每个节点对应一个三角面片，该特征考虑了相邻三角面片的依赖关系，从而提高了纹理质量，减少了纹理缝隙，提高了纹理映射的效果。根据更新后的当前节点的节点信息确定所述三角网格模型三角面片的多视影像纹理分布，从而提高了使得在多视影像中重建高精度自然场景过程中的纹理映射的效果，进而应用该多视影像纹理分布为重建的三维模型贴上真实的纹理。
进一步的，所述无向图的每个节点分别对应一个三角面片，所述相邻节点的节点信息和所述当前节点的节点信息分别包括节点值以及标签，所述节点值包括该节点的三角面片对应的目标影像，所述标签包括所述目标影像中满足设定条件的目标影像。
进一步的，节点信息更新模块503具体用于：
遍历无向图的每个节点，确定与当前节点的相邻节点以及各个相邻节点的标签；
判断出现概率最大的标签是否属于所述当前节点的节点值；
若是，则将所述出现概率最大的标签替换所述当前节点的标签，以通过更新所述当前节点的标签更新所述当前节点的节点信息。
进一步的，还包括节点信息保持模块，用于在遍历无向图的每个节点，确定与当前节点的相邻节点以及各个相邻节点的标签，之后，在出现概率最大的标签不属于所述当前节点的节点值时，保持所述当前节点的标签和节点值不变。
进一步的，纹理分布确定模块504具体用于：
根据更新后的当前节点的节点信息确定更新的无向图；
根据所述更新后的无向图对应的各个节点的节点信息确定每个节点对应三角面片对应的真实影像；
根据各个三角面片对应的真实影像确定所述三角网格模型三角面片的纹理分布。
进一步的，目标影像确定模块502包括：
权重获取子模块，用于针对每个三角面片对应的各个影像，分别获取第一权重、第二权重和第三权重；
目标权重计算子模块，用于根据所述第一权重、第二权重和第三权重计算每个三角面片对应的各个影像的目标权重；
其中，所述第一权重包括当前三角面片对应的各个影像到当前三角面片的垂直程度；
所述第二权重包括各个分辨率的权重，其中，所述分辨率包括各个影像映射到当前三角面片的分辨率；
所述第三权重包括各个影像远离对应的影像中心的权重。
进一步的，目标权重计算子模块，具体用于：
针对每个影像，分别将所述第一权重、第二权重和第三权重进行设定的运算，计算每个影像的权重，以计算所三角面片对应的各个影像的目标权重。
进一步的，目标影像确定模块502还用于：
剔除小于零的目标权重对应的影像，选取大于零的目标权重对应的影像作为三角面片对应的目标影像。
进一步的，还包括：
节点值以及权重更新模块，具体用于在所述确定各个三角面片对应的目标影像之后，根据所述目标影像更新所述无向图中各个节点的节点值以及每个节点值对应的权重。
本申请实施例提供了一种设备，且该设备中可集成本申请实施例提供的多视影像纹理分布的确定装置。图6是本申请实施例提供的一种设备的结构示意图。参考图6，该设备包括：处理器60、存储器61。该设备中处理器60的数量可以是一个或者多个，图6中以一个处理器60为例。该设备中存储器61的数量可以是一个或者多个，图6中以一个存储器61为例。该设备的处理器60和存储器61可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的多视影像纹理分布的确定方法对应的程序指令/模块(例如，影像获取模块501、目标影像确定模块502、节点信息更新模块503和纹理分布确定模块504)。存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的多视影像纹理分布的确定方法，该多视影像纹理分布的确定方法包括：根据设定的三角网格模型确定各个三角面片，以及，获取与每个三角面片对应的多视影像；针对每个三角面片，分别计算所述三角面片对应的各个影像的目标权重，并确定各个三角面片对应的目标影像；遍历无向图的每个节点，根据当前节点的相邻节点的节点信息更新所述当前节点的节点信息；根据更新后的当前节点的节点信息确定所述三角网格模型三角面片的纹理分布。
上述提供的设备可用于执行上述实施例提供的影像多视影像纹理分布的确定方法，具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种影像多视影像纹理分布的确定方法，该影像多视影像纹理分布的确定方法包括：根据设定的三角网格模型确定各个三角面片，以及，获取与每个三角面片对应的多视影像；针对每个三角面片，分别计算所述三角面片对应的各个影像的目标权重，并确定各个三角面片对应的目标影像；遍历无向图的每个节点，根据当前节点的相邻节点的节点信息更新所述当前节点的节点信息；根据更新后的当前节点的节点信息确定所述三角网格模型三角面片的纹理分布。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的多视影像纹理分布的确定方法，还可以执行本申请任意实施例所提供的多视影像纹理分布的确定方法中的相关操作。
上述实施例中提供的多视影像纹理分布的确定装置、存储介质及设备可执行本申请任意实施例所提供的多视影像纹理分布的确定方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的多视影像纹理分布的确定方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (9)

1.一种多视影像纹理分布的确定方法，其特征在于，包括：
根据设定的三角网格模型确定各个三角面片，以及，获取与每个三角面片对应的多视影像；
针对每个三角面片，分别计算所述三角面片对应的各个影像的目标权重，并确定各个三角面片对应的目标影像；
遍历无向图的每个节点，根据当前节点的相邻节点的节点信息更新所述当前节点的节点信息；其中，包括遍历无向图的每个节点，确定与当前节点的相邻节点以及各个相邻节点的标签；判断出现概率最大的标签是否属于所述当前节点的节点值；若是，则将所述出现概率最大的标签替换所述当前节点的标签，以通过更新所述当前节点的标签更新所述当前节点的节点信息；所述无向图的每个节点分别对应一个三角面片，所述相邻节点的节点信息和所述当前节点的节点信息分别包括节点值以及标签，所述节点值包括该节点的三角面片对应的目标影像，所述标签包括所述目标影像中满足设定条件的目标影像；
根据更新后的当前节点的节点信息确定所述三角网格模型三角面片的纹理分布；其中，包括根据更新后的当前节点的节点信息确定更新的无向图；根据所述更新后的无向图对应的各个节点的节点信息确定每个节点对应三角面片对应的真实影像；根据各个三角面片对应的真实影像确定所述三角网格模型三角面片的纹理分布。
2.根据权利要求1所述的方法，其特征在于，所述遍历无向图的每个节点，确定与当前节点的相邻节点以及各个相邻节点的标签，之后，还包括：
若出现概率最大的标签不属于所述当前节点的节点值，则保持所述当前节点的标签和节点值不变。
3.根据权利要求1所述的方法，其特征在于，针对每个三角面片，分别计算所述三角面片对应的各个影像的目标权重，包括：
针对每个三角面片对应的各个影像，分别获取第一权重、第二权重和第三权重；
根据所述第一权重、第二权重和第三权重计算每个三角面片对应的各个影像的目标权重；
其中，所述第一权重包括当前三角面片对应的各个影像到当前三角面片的垂直程度；
所述第二权重包括各个分辨率的权重，其中，所述分辨率包括各个影像映射到当前三角面片的分辨率；
所述第三权重包括各个影像远离对应的影像中心的权重。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一权重、第二权重和第三权重计算每个三角面片对应的各个影像的目标权重，包括：
针对每个影像，分别将所述第一权重、第二权重和第三权重进行设定的运算，计算每个影像的权重，以计算所三角面片对应的各个影像的目标权重。
5.根据权利要求3所述的方法，其特征在于，所述确定各个三角面片对应的目标影像，包括：
剔除小于零的目标权重对应的影像，选取大于零的目标权重对应的影像作为三角面片对应的目标影像。
6.根据权利要求5所述的方法，其特征在于，所述确定各个三角面片对应的目标影像之后，还包括：
根据所述目标影像更新所述无向图中各个节点的节点值以及每个节点值对应的权重。
7.一种多视影像纹理分布的确定装置，其特征在于，包括：
影像获取模块，用于根据设定的三角网格模型确定各个三角面片，以及，获取与每个三角面片对应的多视影像；
目标影像确定模块，用于针对每个三角面片，分别计算所述三角面片对应的各个影像的目标权重，并确定各个三角面片对应的目标影像；
节点信息更新模块，用于遍历无向图的每个节点，根据当前节点的相邻节点的节点信息更新所述当前节点的节点信息；其中，包括遍历无向图的每个节点，确定与当前节点的相邻节点以及各个相邻节点的标签；判断出现概率最大的标签是否属于所述当前节点的节点值；若是，则将所述出现概率最大的标签替换所述当前节点的标签，以通过更新所述当前节点的标签更新所述当前节点的节点信息；所述无向图的每个节点分别对应一个三角面片，所述相邻节点的节点信息和所述当前节点的节点信息分别包括节点值以及标签，所述节点值包括该节点的三角面片对应的目标影像，所述标签包括所述目标影像中满足设定条件的目标影像；
纹理分布确定模块，用于根据更新后的当前节点的节点信息确定所述三角网格模型三角面片的纹理分布；其中，包括根据更新后的当前节点的节点信息确定更新的无向图；根据所述更新后的无向图对应的各个节点的节点信息确定每个节点对应三角面片对应的真实影像；根据各个三角面片对应的真实影像确定所述三角网格模型三角面片的纹理分布。
8.一种设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一所述的多视影像纹理分布的确定方法。
9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6任一所述的多视影像纹理分布的确定方法。
CN201811526861.8A 2018-12-13 2018-12-13 多视影像纹理分布的确定方法、装置、设备和存储介质 Active CN109685879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811526861.8A CN109685879B (zh) 2018-12-13 2018-12-13 多视影像纹理分布的确定方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811526861.8A CN109685879B (zh) 2018-12-13 2018-12-13 多视影像纹理分布的确定方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109685879A CN109685879A (zh) 2019-04-26
CN109685879B true CN109685879B (zh) 2023-09-29

Family

ID=66186699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811526861.8A Active CN109685879B (zh) 2018-12-13 2018-12-13 多视影像纹理分布的确定方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN109685879B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446951B (zh) * 2020-11-06 2024-03-26 杭州易现先进科技有限公司 三维重建方法、装置、电子设备及计算机存储介质
CN112734629B (zh) * 2020-12-30 2022-12-27 广州极飞科技股份有限公司 一种正射影像生成方法、装置、设备及存储介质
CN113223149A (zh) * 2021-05-08 2021-08-06 中煤(西安)航测遥感研究院有限公司 三维模型纹理生成方法、装置、设备及存储介质
CN115761154A (zh) * 2022-10-20 2023-03-07 中铁第四勘察设计院集团有限公司 一种三维模型生成方法、装置和电子设备
CN115546379A (zh) * 2022-11-29 2022-12-30 思看科技(杭州)股份有限公司 一种数据处理方法、装置和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345771A (zh) * 2013-06-28 2013-10-09 中国科学技术大学 一种基于建模的图像高效渲染方法
CN108648270A (zh) * 2018-05-12 2018-10-12 西北工业大学 基于eg-slam的无人机实时三维场景重建方法
CN108734728A (zh) * 2018-04-25 2018-11-02 西北工业大学 一种基于高分辨序列图像的空间目标三维重构方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149368B2 (en) * 2002-11-19 2006-12-12 Microsoft Corporation System and method for synthesis of bidirectional texture functions on arbitrary surfaces
US8630509B2 (en) * 2009-11-03 2014-01-14 Samsung Electronics Co., Ltd. Structured grids for label propagation on a finite number of layers
US9396585B2 (en) * 2013-12-31 2016-07-19 Nvidia Corporation Generating indirection maps for texture space effects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345771A (zh) * 2013-06-28 2013-10-09 中国科学技术大学 一种基于建模的图像高效渲染方法
CN108734728A (zh) * 2018-04-25 2018-11-02 西北工业大学 一种基于高分辨序列图像的空间目标三维重构方法
CN108648270A (zh) * 2018-05-12 2018-10-12 西北工业大学 基于eg-slam的无人机实时三维场景重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
城市三维重建中的自动纹理优化方法;李明等;《测绘学报》;20170315(第03期);全文 *
基于三角网格模型的纹理映射研究;万燕等;《计算机应用与软件》;20160415(第04期);全文 *

Also Published As

Publication number Publication date
CN109685879A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109685879B (zh) 多视影像纹理分布的确定方法、装置、设备和存储介质
US10540576B1 (en) Panoramic camera systems
KR101923845B1 (ko) 이미지 처리 방법 및 장치
Eder et al. Pano popups: Indoor 3d reconstruction with a plane-aware network
Li et al. Detail-preserving and content-aware variational multi-view stereo reconstruction
US9437034B1 (en) Multiview texturing for three-dimensional models
CN112434709A (zh) 基于无人机实时稠密三维点云和dsm的航测方法及系统
US20140240310A1 (en) Efficient approach to estimate disparity map
CN114143528A (zh) 多视频流融合方法、电子设备、存储介质
CN112215880A (zh) 一种图像深度估计方法及装置、电子设备、存储介质
CN114519772A (zh) 一种基于稀疏点云和代价聚合的三维重建方法及系统
CN113920275B (zh) 三角网格构建方法、装置、电子设备及可读存储介质
CN111627119A (zh) 纹理贴图方法及装置、设备、存储介质
CN114202632A (zh) 网格线性结构恢复方法、装置、电子设备及存储介质
JP2018032938A (ja) 画像処理装置、画像処理の方法およびプログラム
CN109785421B (zh) 一种基于空地影像组合的纹理映射方法及系统
CN115063485B (zh) 三维重建方法、装置及计算机可读存储介质
CN112819937B (zh) 一种自适应多对象光场三维重建方法、装置及设备
US20240153207A1 (en) Systems, methods, and media for filtering points of a point cloud utilizing visibility factors to generate a model of a scene
CN116109758B (zh) 一种光源投影位置定位、场景渲染的方法及装置
Wu et al. Automatic image interpolation using homography
CN115100354A (zh) 一种三维静态模型重建方法及装置
CN113496509A (zh) 深度图像帧的生成方法、装置、计算机设备及存储介质
CN116563492A (zh) 基于稀疏点云选取相关性图像的方法及系统
CN117764954A (zh) 一种新视图合成与检测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant