CN114419121A - 一种基于图像的bim纹理生成方法 - Google Patents

Abstract

本发明公开了一种基于图像的BIM纹理生成方法，包括：对获取的室内图像和BIM图像进行融合，获得第一图像；对第一图像进行处理，获得每个语义的候选纹理；将模型纹理库的数据作为数据集输入纹理生成模型进行训练；将每个语义的候选纹理输入纹理生成模型，生成若干个候选纹理，对若干个候选纹理进行评价，获取评价最高的候选纹理并进行修复，获得最终的BIM纹理。本发明对BIM数据进行解析，将BIM拆分成地面，墙，天花板，桌子等元素，再与图像识别对应，以实现BIM与图像信息的关联融合，从而从图片生成纹理，反馈BIM信息，有着不依赖纹理库，可动态更新和有着不依赖于训练语义而能得到BIM构建与监控图像对应关系的优点。

Description

一种基于图像的BIM纹理生成方法

技术领域

本发明属于BIM纹理生成领域，特别是涉及一种基于图像的BIM纹理生成方法。

背景技术

当前数字孪生已经成为学术界和产业界的研究热点与前沿，BIM作为高精的数字模型，是数字孪生的重要基础，但BIM只具有结构、语义信息，纹理常为CAD格式，仅为单一颜色，这样不够真实的数字模型，不能满足数字孪生的需求。而监控视频作为最易获取、也是量最大的图像信息来源，其记录了真实的纹理信息，将之与BIM信息融合，从中提取真实纹理信息赋予BIM中相应构件，将可使得BIM更加真实，也可为真正的数字孪生奠定基础。

融合BIM和计算机视觉的纹理推理主要目的是使模型更真实，是BIM模型信息的一个重要补充、完善，从而为建造更真实的数字场景提供有力基础。该技术不依赖于固有模型纹理库，充分利用BIM语义信息，可以更自由的生成不同模型的纹理，不受制约，更加符合真实场景的需求，广泛应用于各类场景的数字孪生。甚至可以将真实纹理拓展至不同风格，以此建造更丰富的模型，将真实场景渲染至各种虚拟主题，用于游戏、VR体验等的场景建设。

发明内容

本发明的目的是提供一种基于图像的BIM纹理生成方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于图像的BIM纹理生成方法，包括：

将室内图像和BIM图像进行融合，获得第一图像；

对所述第一图像进行处理，获得每个语义的候选纹理；

构建纹理生成模型，将模型纹理库的数据作为数据集输入所述纹理生成模型进行训练，直到训练结束；

将每个语义的所述候选纹理输入训练结束的纹理生成模型，生成若干个第一候选纹理，对若干个所述第一候选纹理进行评价，获取评价最高的所述第一候选纹理；

对评价最高的所述第一候选纹理进行修复，获得最终的BIM纹理。

可选的，将室内图像和BIM图像进行融合之前，所述方法还包括：

获取待测室内场景的RGB图像，作为所述室内图像；

基于BIM模型获取所述待测室内场景的BIM图像，所述BIM图像和所述RGB图像的视角相同。

可选的，对获取的图像和BIM模型进行融合的过程中包括：

基于UperNet网络对所述室内图像进行语义分割，获得第一语义分割图像；

将所述第一语义分割图像中的杂项剔除，获得杂项剔除图像；

将所述BIM图像和所述杂项剔除图像进行融合，获得精准BIM图像；

将所述精准BIM图像和所述RGB图像进行融合，获得所述第一图像。

可选的，对所述第一图像进行分割处理，获得不同语义，对每个语义进行修补，获得每个语义的候选纹理的过程中包括：

对所述第一图像进行第二语义分割，获得第二语义分割图像；

基于inpaint函数对所述第二语义分割图像中RGB值占比较大的图像进行修补，获取每个语义的候选纹理。

可选的，将模型纹理库的数据作为数据集输入所述纹理生成模型进行训练的过程中包括：

将模型纹理库的数据在HSV通道上作减均值处理；

将经过减均值处理的所述模型纹理库的数据输入所述纹理生成模型进行训练，生成纹理。

可选的，所述纹理生成模型进行训练的过程中还包括，采用了两个损失函数：

采用VGG感知层对输入图像与输出纹理进行感知误差的计算，用于保证输入与生成的纹理保持相似性；

采用分类损失分支，用于保证单一模型在不同材质的表现。

可选的，将每个语义的所述候选纹理输入所述纹理生成模型，生成若干个第一候选纹理，对若干个所述第一候选纹理进行评价，获取评价最高的所述第一候选纹理的过程中包括：

将每个语义的所述候选纹理输入所述纹理生成模型，生成若干个第一候选纹理；

基于所述VGG感知层对若干个所述第一候选纹理进行评价，选取loss最低的最为评价最高的所述第一候选纹理。

可选的，对评价最高的所述第一候选纹理进行修复，获得最终的BIM纹理的过程中包括：

基于Multiresolution Stochastic Texture Synthesis的api函数对评价最高的所述第一候选纹理进行修复，获得最终的BIM纹理。

本发明的技术效果为：

本发明给定相机参数后，可将图像和相应BIM建立联系，从而根据裁剪的候选纹理，通过神经网络模型生成真实纹理，生成的纹理优于原BIM默认的单一颜色的CAD格式纹理，与真实更相符。且本发明对BIM数据进行解析，将BIM拆分成地面，墙，天花板，桌子等元素，再与图像识别对应，以实现BIM与图像信息的关联融合，即本发明能够不依赖于训练语义而得到BIM构建与监控图像的对应关系，从而从图片生成纹理，反馈BIM信息，而不是从纹理库检索，有着不依赖纹理库、可动态更新的优点。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的流程图；

图2为本发明实施例中的UperNet网络结构图；

图3为本发明实施例中的纹理生成网络结构图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例中提供一种基于图像的BIM纹理生成方法，致力于输入BIM模型及对应场景的相机信息，将RGB图像信息融合到BIM，针对室内场景中具有在给定输入图片中占比20％或同等大小、物体本身拓扑结构简单，由较大平面或较平缓的曲面组成的大块物，诸如墙、地面、桌子等，进行纹理贴补。补充完善BIM纹理信息，使之更真实。

如图1所示，本发明的具体框架主要分为左部分的图像与BIM信息融合的预处理过程，以及右部分的纹理生成过程，通过BIM模型与RGB图像作为整体算法的输入，输出BIM中相应构件的真实纹理。

针对所描述的框架，分如下几个部分详细展开。

RGB图像的语义分割：

首先，本发明的目标是针对室内场景的大块物进行纹理推理，但是由于现实中室内场景的复杂性，包括但不限于人员的走动，桌面书本、电脑、盆栽的摆放等等，会导致得到的RGB图像I充满了大量的无用噪声，会极大地影响后续纹理的推理。那么首先利用语义分割UperNet，记为U，对输入图像进行像素级的推理，得到初步的语义分割图I_{m_rgb0}，所述语义分割UperNet的结构如图2所示。

但正如之前所说，相机图像中具有大量无用的信息，于是根据语义分割的结果，mask掉干扰项，诸如人、椅子、花盆、电脑等小物件(这一过程记为F_noise)，于是得到筛除无用语义后的mask图I_{m_rgb}。因为此测试场景中只有桌子、墙、地是目标物块，分别将他们设为蓝色、绿色、红色以作区分。

I_{m_rgb}＝F_noise(I_{m_rgb0})＝F_noise(U(I))

BIM信息的相机矫正：

相机图像得到预处理后，接下来进行BIM信息与图像信息的对齐，以将二者的信息融合，得到更精确的信息。

要做到这点，首先从BIM文件中解析出需要的大物块模型，并将目标物体，对于本测试场景既是桌子、墙、地面分别渲染为蓝、绿、红三纯色纹理，并获取与相机图像同视角下语义图片I_{m_BIM}。

建立BIM模型与图像对应关系并裁剪出候选纹理：

由此，根据筛除无用语义后的mask图I_{m_rgb}与BIM同视角语义图I_{m_BIM}，将二者取交，即可得到精准的BIM与图像对应mask(记为I_{mask_rgb2bim})，其中蓝、绿、红分别是图像中对应BIM模型桌子、墙、地面的部分I_rgb2bim。再与输入相机图像I取交，即可得到精准的可用相机图像区域。

I_rgb2bim＝I_{mask_rgb2bim}∩I＝I_{m_rgb}∩I_{m_BIM}∩I

式中c代表某一个BIM的构件，L_c代表BIM图像中对应构件c的区域，在第一语义图的同等位置部分中出现最多的标签，运算符

为哈达玛积(Hadamard product)，上式用于保证建立监控图像与BIM构建关系时，不依赖于提前设好的语义名称。

得到I_rgb2bim后，将图像按语义随机切割(本测试场景即为桌子、墙、地面)成128x128的候选纹理I_{t_crop0}，语义分割图I_rgb2bim的不规则性，为了扩大候选区域的可用性，使用OpenCV封装的inpaint函数(Navier-Stokes，流体动力学和图像和视频修补)，对一些rgb值占比较大的图像crop(无rgb值即黑色部分占比10％以下的图像)进行修补。最终每个语义获取10张候选纹理I_{t_crop}。

I_{t_crop}＝Inpaint(I_{t_crop0})

纹理生成与打分：

如图3所示，为本节采用的纹理生成模型的结构图。

训练部分包括：

1.为了去除光照对纹理的影响，该模型在HSV通道上进行训练，并在HSV通道上作减均值的处理。

2.处理后图像送入一个encoder-decoder的神经网络模型(Neural Texture，简称NT)中做纹理生成。

3.为了生成更稳定平和的纹理，数据集采用模型纹理库进行组建。

4.训练时引入两个损失函数。

其一，加入额外的VGG感知层，分别对输入图像与输出纹理进行感知误差的计算，以此保证输入与生成的纹理还保持一定的相似性；

其二，引入分类损失分支，保证单一模型在不同材质的表现，而不用特意针对每个不同的材质进行单独的Finetune，但此分支在推理时不需要使用，直接舍弃。

以上文中得到各个语义的10张候选纹理I_{t_crop}，分别使用纹理生成模型生成候选生成纹理I_{t_gen}，由于裁剪了大量的候选纹理I_{t_crop}，一般的处理方式是取多个纹理的平均值作为平均纹理，但这样的纹理会让原本平滑干净的的生成纹理，再次变得杂乱不堪，所以使用模型中的VGG感知损失作为评分，选取loss最低的结果。即选择第三种生成纹理结果为最终的桌面纹理，其他语义以此类推。

处理Tile缝隙，生成最终纹理：

虽然在训练时已经设置了可tile(可以片式渲染整个模型)的纹理为groundtruth，但仍不可完美生成可tile的纹理。因此加入一步后处理，使用mask图(记为M_o)为基准再次进行图像修复，黑色部分为待修复图像，本次图像修复使用MultiresolutionStochastic Texture Synthesis的api，可以得到处理后的纹理较处理前的纹理边缘部分更平滑，更有利于纹理的tile渲染，使得到的纹理块更自然达到无拼接缝隙的效果。

I_o＝msts(I_{t_gen}|M_o)

至此即得到最终的由图像生成的BIM纹理I_o，继而进行BIM的渲染。

实施环境：计算机配置为RTX 2080Ti，

Core^TM i9-10850K CPU@3.60GHz×20 64G；使用的摄像机为小米智能摄像机云台2k版。

数据集：

所用BIM为首钢大厦10\13层南办公区BIM，图像即小米智能摄像机拍摄图片。

本发明给定相机参数后，可将图像和相应BIM建立联系，从而根据裁剪的候选纹理，通过神经网络模型生成真实纹理，生成的纹理优于原BIM默认的单一颜色的CAD格式纹理，与真实更相符。且本发明对BIM数据进行解析，将BIM拆分成地面，墙，天花板，桌子等元素，再与图像识别对应，以实现BIM与图像信息的关联融合，从而从图片生成纹理，反馈BIM信息，而不是从纹理库检索，有着不依赖纹理库的优点。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于图像的BIM纹理生成方法，其特征在于，包括以下步骤：

将室内图像和BIM图像进行融合，获得第一图像；

对所述第一图像进行分割处理，获得不同语义，对每个语义进行修补，获得每个语义的候选纹理；

构建纹理生成模型，将模型纹理库的数据作为数据集输入所述纹理生成模型进行训练，直到训练结束；

将每个语义的所述候选纹理输入训练结束的纹理生成模型，生成若干个第一候选纹理，对若干个所述第一候选纹理进行评价，获取评价最高的所述第一候选纹理；

对评价最高的所述第一候选纹理进行修复，获得最终的BIM纹理。

2.根据权利要求1所述的方法，其特征在于，将室内图像和BIM信息进行融合之前，所述方法还包括：

获取待测室内场景的RGB图像，作为所述室内图像；

基于BIM模型获取所述待测室内场景的BIM图像，所述BIM图像和所述RGB图像的视角相同。

3.根据权利要求2所述的方法，其特征在于，对获取的图像和BIM模型进行融合的过程中包括：

基于UperNet网络对所述室内图像进行语义分割，获得第一语义分割图像；

将所述第一语义分割图像中的杂项剔除，获得杂项剔除图像；

将所述BIM图像和所述杂项剔除图像进行融合，获得精准BIM图像；

将所述精准BIM图像和所述RGB图像进行融合，获得所述第一图像。

4.根据权利要求1所述的方法，其特征在于，对所述第一图像进行分割处理，获得不同语义，对每个语义进行修补，获得每个语义的候选纹理的过程中包括：

对所述第一图像进行第二语义分割，获得第二语义分割图像；

基于inpaint函数对所述第二语义分割图像中RGB值占比较大的图像进行修补，获取每个语义的候选纹理。

5.根据权利要求1所述的方法，其特征在于，将模型纹理库的数据作为数据集输入所述纹理生成模型进行训练的过程中包括：

将模型纹理库的数据在HSV通道上作减均值处理；

将经过减均值处理的所述模型纹理库的数据输入所述纹理生成模型进行训练，生成纹理。

6.根据权利要求5所述的方法，其特征在于，所述纹理生成模型进行训练的过程中还包括，采用了两个损失函数：

采用VGG感知层对输入图像与输出纹理进行感知误差的计算，用于保证输入与生成的纹理保持相似性；

采用分类损失分支，用于保证单一模型在不同材质的表现。

7.根据权利要求6所述的方法，其特征在于，将每个语义的所述候选纹理输入所述纹理生成模型，生成若干个第一候选纹理，对若干个所述第一候选纹理进行评价，获取评价最高的所述第一候选纹理的过程中包括：

将每个语义的所述候选纹理输入所述纹理生成模型，生成若干个第一候选纹理；

基于所述VGG感知层对若干个所述第一候选纹理进行评价，选取loss最低的最为评价最高的所述第一候选纹理。

8.根据权利要求1所述的方法，其特征在于，对评价最高的所述第一候选纹理进行修复，获得最终的BIM纹理的过程中包括：

基于Multiresolution Stochastic Texture Synthesis的api函数对评价最高的所述第一候选纹理进行修复，获得最终的BIM纹理。

Images